# 説明可能な検索ベースの文書分類手法の提案

中井優 ${ }^{1}$ 中野雄介 $^{1}$ 徳永優也 ${ }^{1}$ 上田亮 ${ }^{1}$ 谷中瞳 ${ }^{1}$
1 東京大学
\{nakai-yu623, nakano-yusuke,yn-noob\}@g.ecc.u-tokyo.ac.jp
\{ryoryoueda, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

現在，文書分類などの様々な自然言語処理のタス クにおいて，判断根拠が説明可能な手法の重要性が 高まっている. 本研究では，分類に有効な文書を訓練事例や外部の知識コーパスから検索して利用す る，検索べースの文書分類手法を提案する. 提案手法は，分類に利用した文書を出力することができ，文書分類に説明可能性を与える. 本論文では, AG News データセットを用いて学習・推論を行い, 分類精度・説明可能性の 2 つの側面から提案手法の有効性を検証した。実験の結果，知識コーパスを利用し ない既存の大規模言語モデルと比べて，知識コーパ スの検索結果を利用することによって精度が向上す ることを確認した．また，モデルが分類根拠として 示す文書と分類対象の文書との文間類似度と，人手評価との間に有意な相関を確認することができた.

## 1 はじめに

自然言語処理のタスクに文書分類がある。文書分類とは，与えられた文書に対して事前に定義された ラベル群から適切なラベルを推定するタスクのこ とである. 文書分類を自動化するための技術は実社会でも広く活用されており，その社会実装に対する ニーズも相まり，近年文書分類のためのニューラル ネットワーク (NN) モデルが盛んに研究されている.他方で，NN モデルの推論機構はブラックボック ス化されており，結果に対する判断根拠の不透明さ が社会実装を妨げる課題となっている. このような 不透明性を軽減するための一連の技術が，説明可能 Al (XAI) という研究トピックを形成している.説明可能 AI の一分野として，事例ベース XAI と 呼ばれるものがある $[1,2,3]$. 事例べース XAI とは,評価データに対する $\mathrm{NN}$ モデルの予測において，そ の予測に最も影響を与えたであろう訓練事例を探る ことで，予測における判断根拠を説明しようとする
アプローチである.

本研究では，分類に有効な文書を訓練事例や外部 の知識コーパスから検索して利用する，検索ベース の文書分類手法を新たに提案する．提案手法は，分類に利用した文書を出力することにより分類の根拠 に説明可能性を与える. この検索ベースの手法は，訓練事例や外部の知識コーパスを直接参照すること で文書分類の性能向上を図る手法であり，事例べー スXAI とは訓練事例の扱い方が異なるものの, 文書分類の根拠が説明可能であるという点で類似するア プローチであるといえる.

提案する NN モデルは Retriever と Classifier の $2 \supset$ のネットワークより構成される. Retriever は分類対象の文書に対して知識コーパス（以降では，検索対象の文書を総称して知識コーパスと呼ぶ）からその 分類に有意な文書を検索・抽出し, Classifier は分類対象の文書と抽出した文書を用いて分類を行う．こ の新たに提案する検索ベースの文書分類モデルを検索ベース分類器 (Retrieval-based Classifier) と呼ぶ.

本論文では，ニュース記事の分類タスクのデータ セットである AG News データセットを用いて学習・推論を行い, (i) 分類精度と (ii) 説明可能性という 2 つの側面から，提案手法の有効性を検証する．実験 の結果，知識コーパスを利用しない既存の大規模言語モデルと比べて，知識コーパスの検索結果を利用 することによって精度が向上することを確認した。 また，モデルが分類根拠として示す文書と分類対象 の文書の文間類似度と，人手評価との間にも有意な 相関を確認することができた。

## 2 関連研究

自然言語処理の分野において，これまで説明可能 AIに関する様々な研究が行われてきた. 以下では その中での本研究の位置付けを明らかにするととも に，提案手法のベースになるモデルである検索拡張言語モデルについて説明する。

## 2.1 自然言語処理における説明可能 AI

[4]によれば，説明可能 AI における説明の種類 は，大きく分けて次の 2 つに分類される：
- Post-Hoc : モデルの予測後に追加の操作を行っ て予測を説明する
- Self-Explaining：モデルの予測過程から得られ る情報によって予測を説明する

提案手法はモデルの予測過程で利用した文書を出力することによって文書分類の判断根拠が説明可能 であることから, Self-Explaining な説明可能 AI とし て位置付けられる。

自然言語処理における Self-Explaining な説明可能 AI としては, Attention や First-derivative saliency など の特徴量の重要度から説明を導出する方法 $[5,6]$ が 提案されている. これに対して，提案手法は分類に 利用した文書を予測過程から出力できるため, 既存手法よりも直接的に文書分類の判断根拠を提示する 手法である.

## 2.2 事例ベース XAI

XAI の一分野として，事例ベース XAI というもの がある．事例ベース XAI とは，評価データに対する $\mathrm{NN}$ モデルの予測において，その予測に最も影響を 与えたであろう訓練事例を探索することで，予測に おける判断根拠を説明しようとするアプローチで ある。

事例ベース XAI のアプローチから着想を得て，我々は，検索べースの文書分類手法を XAI として活用できないかと考えた. すなわち，モデルが分類時 に選択した知識コーパスの文書が暗に分類時の判断根拠となっているとみなせば，選択した文書を出力 することでモデルの判断根拠を説明できる可能性が ある. ただし, 我々の提案手法は Self-Explaining な ものであるのに対し，多くの事例ベース XAI [1, 2, 3] は，ブラックボックスな NN モデルの推論結果に後 から説明可能性を与えるという意味で Post-Hoc [4] な手法として位置付けられる点に相違がある. 本研究では，分類時に選択した知識コーパスの文書の説明可能性について，実験を通して検証を行う。

## 2.3 検索拡張言語モデル

ドメインが指定されていない質疑応答タスク である Open-Domain Question Answering の分野にお
いては，検索拡張言語モデル (Retrieval-Augmented Language Models) [7, 8, 9, 10] が広く用いられている.検索拡張言語モデルは通常 Retriever と Reader の 2 つのネットワークによって構成される. Retriever は 入力の質問文に対して外部の知識コーパスからその 解答の作成に有意な文書を検索・抽出し, Reader は 質問文と抽出した文書を用いて回答文を作成する。

提案した検索ベース分類器は，この Retrieverと Readerからなる構成から着想を得た。

## 3 提案手法

本研究で提案するモデルである検索ベース分類器は，図 1 で示すように知識コーパスから分類対象 の文書に関連する文書を抽出する Retriever と，分類対象の文書と抽出された文書から文書分類を行う Classifierの2つのネットワークによって構成される.分類対象の文書 $x$, 外部の知識コーパス $z$, 分類 クラスのラベル $y$ として，分類時の計算手順は次の 数式で表される.

$
p(y \mid x) \propto \sum_{z \in \operatorname{Top}_{\mathrm{k}}(p(\cdot \mid x))} p_{\mu}(z \mid x) p_{\theta}(y \mid x, z)
$

ただし $p_{\mu}$ と $p_{\theta}$ はそれぞれ，次に説明する Retriever と Classifierを指す.

## 3.1 Retriever

Retriever は，知識コーパスの埋め込みを行う Document Encoder，分類対象の文書の埋め込みを行 う Query Encoder，及び分類対象の文書と知識コーパ ス中の文書との最大内積探索 (MIPS) から構成され る.ここで最大内積探索では，知識コーパス中の文書の埋め込み表現のうち，分類対象の文書の埋め込 み表現とのコサイン類似度が高いものを探索する。

Document Encoder $d$ と Query Encoder $q$ に対して,知識コーパス中の文書 $z$ の尤度を次式によって算出 する。

$
p_{\mu}(z \mid x)=\frac{d(z)^{T} q(x)}{\|d(z)\|^{2}\|q(x)\|^{2}}
$

この式の $p_{\mu}(z \mid x)$ が，分類対象の文書 $x$ に対する,知識コーパス中の文書 $z$ の文間類似度を示す.

## 3.2 Classifier

Classifier の計算手順は, 文書分類器 $p$ を用いて次式によって表される. ここで, \|は系列の結合を行

図 1 検索ベース分類器の構造. Retriever は Query Encoder と最大内積探索 (MIPS) を用いて知識コーパスから文書の抽出 (図中の external evidence passage)を行い，Classifier は分類対象の文書と文書を用いて分類を行う.

う演算子を指す。

$
p_{\theta}(y \mid x, z)=p(x \| z)
$

本研究では文書分類器 $p$ として，大規模言語モデ ル BERT [11]と 1 層の全結合層からなる構造を利用 した.

## 4 実験

## 4.1 実験設定

データセット 判断根拠提示の実用上の意義の観点から，データセットとしては英文ニュース記事の 分類タスクである AG News データセット [12]を利用した. AG News は，約 16 万件の英文ニュース記事とそのジャンルに関するラベルを有するデータ セットである.

評価指標 分類性能の評価指標として, Accuracy を採用した. 説明可能性の判断指標として，異なる 2 文の類似度を評価するための指標である意味類似度 (STS) [13]を採用した.ここでは情報系の大学院生 3 名 (いずれも日本語話者) が STS [13] の定義に基 づき 5 段階で評価を行い，その平均を取った。なお 本アノテーションにおいては報酬などは用意せずに 実施した。

実験設定 AG News の 1,600 件のニュース記事を 訓練データ，158,400 件のニュース記事のうちの一部を知識コーパス，7,600 件のニュース記事を評価用データとして利用し，次の 2 つの実験を行った.
1つ目に，Retriever の精度に与える影響を評価する ことを目的として，(i) Classifier のみによる文書分類，(ii) 予測過程にて訓練事例のみを利用した文書分類，(iii) 予測過程にて訓練事例と知識コーパスを 利用した文書分類の 3 通りについて，ランダムシー ド値を変えてそれぞれ 10 回ずつ実験を行った. 2 つ 目に，Retriever が出力する文書の説明可能性を評価 することを目的として，評価用データからサンプリ ングした 40 件のニュース記事について Retriever を 用いて関連文書との文間類似度を出力し，その文間類似度と人手評価による意味類似度との相関を分析 する実験を行った．文間類似度について満遍なく実験を行うため，サンプリングでは Retriever の出力す る文間類似度が $1,10,100,1000$ 番目に高い関連文書 を抽出した。

学習条件 Retrieverには, Query Encoder と Document Encoder のそれぞれの BERT について教師な し対照学習により事前学習を行ったモデルであ る, Contriever [14]の学習済み重みを初期重みとし て利用した. Document Encoderにより訓練データ及 び知識コーパス中の文書の埋め込みを行い，最大内積探索用ライブラリである faiss [15] のインデッ クスとして追加した. Classifier は BERT [11] の学習済み重みを初期重みとして利用した。全結合層は Xavierの重みの初期化 [16] を行なった. 訓練デー タを用いた Retrieval-based Classifier の学習時には, Document Encoder の重みとインデックスは固定し， Query Encoder と Classifier のファインチューニング
表 1 (i) Classifier のみによる文書分類，(ii) 予測過程にて 訓練事例のみを利用した文書分類，(iii) 予測過程にて訓練事例と知識コーパスを利用した文書分類の，AG News に おける分類精度の平均と標準誤差. どの場合も, AG News の $1 \%$ のみを学習データとして利用した。

を行なった．また，最適化関数には Adam [17]を利用し, 損失関数としては交差エントロピー損失を利用した.

## 4.2 実験結果

## 4.2.1 分類精度の比較評価

(i) Classifier のみによる文書分類，(ii) 予測過程に て訓練事例のみを利用した文書分類，(iii) 予測過程 にて訓練事例と知識コーパスを利用した文書分類 のそれぞれの場合の AG News の分類精度を表 1 に 示す.

この結果から, Retriever の導入により分類精度が 向上することを確認できた．知識コーパスを利用せ ずに訓練事例のみを用いた場合には，Classifierのみ の場合と比較して若干精度が落ちてしまっているも のの, 訓練事例に加えて知識コーパスまで含めて検索対象にすることで，Classifierのみの場合よりも高 い精度を達成できた。このことから，適切な量の知識コーパスのもとで，Retriever は分類精度の向上に 寄与する可能性があると推察される。

なお，(iii) 予測過程にて訓練事例と知識コーパス を利用した文書分類では事前に適切な知識コーパス の量の探索を行っており，知識コーパスが訓練事例数の 3 倍の文書数を持つときに最も高い性能を発揮 した.これらの知識コーパスの量に対する分類精度 の変化に関する結果は付録 A に記載した。

## 4.2.2 説明可能性の評価

Retriever が分類根拠として示す文書と分類対象の文書との間の，人手評価に基づく意味類似度と Retrieverの示す文間類似度との関係を散布図に示したのが図 2 である。相関係数は 0.61 $\left(p=3.0 \times 10^{-5}\right)$ であり，人手による意味類似度と Retriever の示す文間類似度には有意な相関があるこ とを示している.

図 2 Retriever が分類根拠として示す文書と分類対象の文書との間の, 人手評価に基づく意味類似度と Retriever の 示す文間類似度との関係を表す散布図。

この結果は Retriever が分類時に利用した文書は人間から見ても分類対象の文書と有意に関連のある文書であることを示しており，提案手法が説明可能性 を有することを裏付ける。

なお，Retrieverが実際に分類根拠として示した文書の例を付録 B に記載した。

## 5 結論

本研究では，分類に有効な文書を訓練事例や外部 の知識コーパスから検索して利用する，検索ベー スの文書分類手法 (Retrieval-based Classifier) を提案 した. 提案手法の性能を評価するために， AG News データセットを対象とし， Retriever や知識コーパス の存在が分類精度にどのように影響するのかを評価 した。また，事例べース XAIに関する先行研究から 着想を得て，提案手法における Retriever が選択した 根拠文が説明可能性に寄与する可能性に着目し，そ れに関する定性的な評価を行なった。一連の実験の 結果から，文書分類モデルに Retriever の機構を導入 することで，精度を落とすことなく説明可能性を与 えられることが確認できた．ただし，今回は特定の データセットを対象として，限られた人数での定性評価をするにとどまっている．適用するドメインや データセットの種類を増やしていくとともに，より 信頼性の高い定性評価を行うことで，我々の提案手法の有用性を明瞭にしていくことが今後の課題で ある。

## 謝辞

本研究は，JSPS 科研費 JP20K19868，JST さきがけ

JPMJPR21C8 の助成を受けたものです.

参考文献

[1] Chih-Kuan Yeh, Joon Sik Kim, Ian En-Hsu Yen, and Pradeep Ravikumar. Representer point selection for explaining deep neural networks. In Advances in Neural Information Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada, pp. 9311-9321, 2018.

[2] Rajiv Khanna, Been Kim, Joydeep Ghosh, and Sanmi Koyejo. Interpreting black box predictions using fisher kernels. In The 22nd International Conference on Artificial Intelligence and Statistics, AISTATS 2019, 16-18 April 2019, Naha, Okinawa, Japan, Vol. 89 of Proceedings of Machine Learning Research, pp. 3382-3390. PMLR, 2019.

[3] Amirata Ghorbani and James Y. Zou. Data shapley: Equitable valuation of data for machine learning. In Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA, Vol. 97 of Proceedings of Machine Learning Research, pp. 2242-2251. PMLR, 2019.

[4] Marina Danilevsky, Kun Qian, Ranit Aharonov, Yannis Katsis, Ban Kawas, and Prithviraj Sen. A survey of the state of explainable AI for natural language processing. In Proceedings of the 1st Conference of the AsiaPacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 447-459, Suzhou, China, December 2020. Association for Computational Linguistics.

[5] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[6] Jiwei Li, Xinlei Chen, Eduard Hovy, and Dan Jurafsky. Visualizing and understanding neural models in NLP. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 681-691, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent retrieval for weakly supervised open domain question answering. In Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 6086-6096. Association for Computational Linguistics, 2019.

[8] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Ming-Wei Chang. Realm: Retrieval-augmented language model pre-training. In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org, 2020.

[9] Patrick S. H. Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive NLP tasks. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 612, 2020, virtual, 2020.

[10] Gautier Izacard, Patrick Lewis, Maria Lomeli, Lucas Hosseini, Fabio Petroni, Timo Schick, Jane Dwivedi-Yu, Armand Joulin, Sebastian Riedel, and Edouard Grave. Atlas: Few-shot learning with retrieval augmented language models, 2022. https://arxiv.org/abs/2208.03299v3.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[12] Xiang Zhang, Junbo Zhao, and Yann LeCun. Characterlevel convolutional networks for text classification. In Advances in Neural Information Processing Systems, Vol. 28. Curran Associates, Inc., 2015.

[13] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[14] Gautier Izacard, Mathilde Caron, Lucas Hosseini, Sebastian Riedel, Piotr Bojanowski, Armand Joulin, and Edouard Grave. Towards unsupervised dense information retrieval with contrastive learning. CoRR, Vol. abs/2112.09118, , 2021.

[15] J. Johnson, M. Douze, and H. Jegou. Billion-scale similarity search with gpus. IEEE Transactions on Big Data, Vol. 7, No. 03, pp. 535-547, jul 2021.

[16] Xavier Glorot and Yoshua Bengio. Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, AISTATS 2010, Chia Laguna Resort, Sardinia, Italy, May 13-15, 2010, Vol. 9 of JMLR Proceedings, pp. 249-256. JMLR.org, 2010.

[17] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

図 3 Retrieverにて用いる知識コーパスの量に対する分類精度の変化.

表 2 分類対象の文書と Retriever が抽出したエビデンス文書

分類対象の文書

iran may soon resume uranium enrichment ( ap ) ap iran may resume uranium enrichment any moment, the nation' $s$ intelligence minister said on state television monday, two days after the $u$. n. nuclear watchdog agency demanded that tehran halt all such activity.

japan's smfg in $\$ 29$ b bid for ufj sumitomo mitsui financial group inc. laid out a $\$ 29$ billion bid for ufj holdings on tuesday, challenging a rival offer by mitsubishi tokyo financial group to form the world's biggest bank.抽出したエビデンス文書

iran stresses nuclear freeze is voluntary, brief tehran ( reuters ) - iran stressed on monday its decision to freeze sensitive nuclear work was a voluntary move to dispel concerns it was secretly building atomic arms and would last only for a short time.

japan's sumitomo tables ufj bid the battle to form the world's biggest bank has intensified after sumitomo mitsui financial group tabled an offer to buy japanese rival ufj holdings.

## A 知識コーパスの量に対する分類精度の変化

図 3 は，Retriever で用いる知識コーパスの量を AG News の 1\%から 100\%まで変化させたときの分類精度の 変化を示す.

この結果から，検索対象の知識コーパスの量が少なすぎる場合や多すぎる場合には，むしろ Retriever の導入は精度を悪化させる可能性があり，適切な量の知識コーパス (今回であれば訓練事例数の 3～10 倍の文書数)を利用することで精度向上に寄与する可能性があるということが推察される.

## B Retriever が抽出した文書の例

表 2 には，分類対象の文書と知識コーパスより Retriever が抽出した文書のぺアの一例を示す。この例から 分かるように，ある程度関連性のある文書を分類の根拠として出力することができているといえる．例の 1 つ目はイランの核開発問題，2つ目は日本のフィナンシャルグループの買収に関する記事である.
 中井優 ${ }^{1}$ 中野雄介 $^{1}$ 徳永優也 ${ }^{1}$ 上田亮 ${ }^{1}$ 谷中瞳 ${ }^{1}$ 1 東京大学 \{nakai-yu623, nakano-yusuke,yn-noob\}@g.ecc.u-tokyo.ac.jp \{ryoryoueda, hyanaka\}@is.s.u-tokyo.ac.jp  