# XAI における忠実性評価手法の考察

牧野 雅紘 ${ }^{1}$ 浅妻佑弥 1,2 佐々木 翔大 ${ }^{2,1}$ 鈴木潤 1,2
東北大学 ${ }^{1}$ 理化学研究所 ${ }^{2}$
\{masahiro.makino.r6、asazuma.yuya.r7\}@dc. tohoku.ac.jp
shota.sasaki.yvariken.jp jun.suzuki@tohoku.ac.jp

## 概要

本稿では、XAIを評価する際に重要視されている 忠実性において評価手法は複数存在しており、どの 評価手法を使用して評価を行うのか同意が取れてい ないという課題について検証する。実験では複数あ る忠実性評価手法間の相関を測定した。その結果、忠実性という 1 つの軸で論じられている評価手法で あるにも関わらず、相関がない評価手法の組み合わ せもあり、それぞれの評価手法が異なった観点で評価を行なっている可能性があることが判明した。本稿では、複数の忠実性評価手法を組み合わせて多角的に説明の忠実性を評価することを提案する。

## 1 はじめに

近年、深層学習を中心人工知能技術の発展が著 しい。しかしこの発展を支える深層学習の手法の多 くは、内部の挙動が人間に理解できない複雑な数値計算により成立している。予測結果の理由が理解で きないため，いくら正確な予測をしても利用者の信頼を得られず、高い信頼性を重要視する諸分野（金融・医療）における発展の妨げになりうる。

この問題を解消するために、モデル内部や予測の挙動を説明することのできる説明可能な AI (XAI) に関する研究が盛んに行われている。その 中でもモデルの出力毎に事後的な説明を生成する 手法は Feature Attribution と呼ばれる $[1,2,3,4,5]$ 。代表的な例として Local Interpretable Model-agnostic Explanations (LIME) [1] がある。LIME はモデルの出力が行われたのちに、入力の近傍で局所的に線形近似することで説明を生成する。

Feature Attribution によって生成された説明がモデ ルを正確に説明することができているかを表す指標が忠実性である。この忠実性が XAI の性能を測 る代表的な指標の一つとなっており、忠実性評価に ついて盛んに議論が行われている $[6,7]$ 。実際に自然言語処理分野における代表的な会議である ACL、 NAACL、EMNLP の論文を 2020-2022 年分調査した 結果、説明を評価する際に忠実性が最も重要視され ていることがわかった。しかしながら、この忠実性評価には、忠実性を評価する指標が複数存在し、ど の指標を使用すれば良いのかの同意が取れていない という大きな課題がある。

そこで本稿では、異なる指標の評価結果間の相関 を計算することで、評価手法間の関係性を分析す る。その結果、忠実性という 1 つの軸で論じられて いる評価手法にも関わらず、結果に相関のない評価手法の組み合わせが存在することがわかった。ゆえ に、実験結果から複数の評価手法を使用して忠実性 を多角的に評価する必要があると結論づけた。本稿 が説明の忠実性を評価する際、どの指標を用いて評価すればいいのかを選択する一助となり、忠実性の 正しい評価へとつながることを期待する。

## 2 関連研究

モデルの出力毎に事後的な説明を生成する手法 を Feature Attribution と呼ぶ。この手法には線形近似を利用した LIME [1] や勾配を利用した Integrated Gradients [2] などが存在する。

忠実性とは，Feature Attribution によって生成され た説明がモデルを正確に説明することができている かを表す指標である。複数の既存研究が、忠実性に よる説明間の性能比較を行っている $[8,9,10]$ 。説明評価の際に忠実性が重要視されているため、複数の忠実性評価手法が提案されてきた。しかし どの忠実性評価手法を使用するかは各論文で同意が 取れておらず、著者に判断が委ねられている。その ため忠実性評価手法を分析し、評価手法を評価する 試みが行われている [6, 7]。Chan ら [6] は、忠実性評価手法每に評価結果が大きく異なる場合があると 言及し、6つの評価手法間において2つの評価軸か ら優劣を議論した結果 2 つの評価手法の使用を提案
表 1 論文本数調査

表 2 指標調査

した。

我々は、評価手法毎に結果が大きく異なる理由を 明らかにするために、結果間の相関の計算による分析を行った。その結果から，非類似性を持つ評価手法を組み合わせた多角的な忠実性評価を提案する。

## 3 忠実性評価手法

説明がモデルを正確に説明することができている かを表す忠実性について調査した結果、複数の仮説 が生じた。この章では具体的な調査結果と仮説につ いて表記する。

## 3.1 文献調査の結果

まずは 2020-2022年の間の ACL、EMNLP、NAACL を対象に XAIに関連する論文を収集した。その結果を表 1 に示す。

次に収集した論文を Future Attribution 手法の XAI について論じられている論文に絞り、どのような観点で評価が行われているのかを調査した。その結果 を表 2 に示す。この結果から実際に説明を評価する 際には忠実性が重要視されている傾向にあることが わかった。

加えて、異なる忠実性評価手法がいくつ存在して いるかの調査を行った。調査の結果、9つの忠実性評価手法の存在を確認した。9つの評価手法は、分類タスクにおいて、入力文の一部がモデルの予測ラ ベルの確率にどのように影響を与えるかを測定する 点で共通していた。例えば、XAIが分類において重要度が高いと判断した入力文の一部をマスクした 際にモデルの予測ラベルが大きく減少すれば、この XAIによる説明はモデルを正しく説明していると言
えるため高い評価を得る。

しかし、この9つの評価手法は、どの評価手法を 使用すればいいのかの同意が取れていないことがわ かった。論文ごとに研究者が独断で使用する評価手法を選択している状況である。この状況は、どの評価手法を使用するかで異なった評価結果を示す [6]中で、XAIの忠実性を正しく評価できていない可能性を示唆している。

## 3.2 仮説

以上の調査結果から、XAI の説明を評価する際に 忠実性は重要視されているものの、評価手法が複数存在し、どの手法を使用するかで大きく結果が異な るという状況にあるということがわかった。

しかしながら、複数の忠実性評価が異なった結果 を示すことは先行研究で部分的に示唆されているも のの、評価手法間の類似性や非類似性などの関係性 の定量的に調査は不十分である。そこで本稿では、評価手法間の類似性や非類似性などの関係性を定量的に分析し、以下の仮説を検証する。

・評価手法間の関係性を分析することで、手法を 分類することができるのではないか。

・分類により、結果が異なる原因や適切な評価手法の選択が可能となり、説明を正しく評価する 一助になるのではないか。

## 4 実験方法

3.2 節で示した仮説を以下の方法で検証する。ま ずは、文書分類タスクにおいてモデルに予測ラベル を出力させる。このモデルに対して XAIによって 説明を行う。具体的には予測ラベルの結果に影響を 与えた単語に対して重要度を付与する。

次に説明として得られた単語重要度に対して9つ の忠実性評価手法を用いて忠実性を計算する。最後 に各分類モデルごとに、それぞれの忠実性評価手法 によって得られた結果間でピアソン相関を計算する ことで、評価手法間の関係性を分析する。

## 4.1 データと分類モデル

文書分類タスクのデータセットとして $\mathrm{AG}$ NEWS [11] を使用した。AG NEWS は、4つのクラス ("World"、"Sports"、"Business"、"Sci/Tech") の記事の 見出しと説明フィールドを集めて構築したニュー ス記事のデータセットで、訓練データ 800 個、開
発データ 100 個、評価データ 100 個で構成され る。このデータセットを用いて 3 つの分類モデル (BERT [12]、LSTM [13]、CNN [14]) を学習した。そ の結果、評価セットにおけるモデルの性能値 (F1) は を BERT が 0.919、LSTM が 0.904、CNN が 0.926 と なった。

## 4.2 XAI

XAI は LIME [1]、Integrated Gradients [2]、Deep Lift [3]、InputXGradient [4]、Vanila Gradient [5] を使用した。LIME はモデルを入力の近傍で線形近似 を利用することで説明を生成する。また Integrated Gradients、InputXGradient、Vanila Gradient は勾配を 利用して説明を生成する手法である。

## 4.3 評価手法

忠実性評価手法は、Most Informative Token (Most) [15], Decision Flip (Flip) [16], Comprehensiveness (Com) [17]、Sufficiency (Suf) [17]、Correlation between Importance and Output Probability (Cor) [18], Monotonicity (Mono) [18]、 Logodds (Log) [19]、NAUC (NA) [20]、 RAUC (RA) [21] の9つを使用した。実験では先行研究に習い、式 (3)、(4) で $q \in B=\{1 、 5 、 10 、 20 、 50\}$ とし、式 (7)、(8) で $t=20 \%$ とした。詳しい数式は 付録に記載した。

## 5 実験結果/考察

得られた忠実性評価結果について相関を計算し、考察したことを以下に示す。高い正の相関を示し た評価手法の組み合わせは Flip、Com、Log、NA で あった。また、これらの指標の組み合わせはモデル と使用する XAI に依存することなく同じ結果を示 す傾向にあることがわかった。この様子を図 1 に 示した。なお箱ひげ図である図 $1 、 2$ は対象とする XAI を複数種類用意したときの値の分布をあらわし ている。

Cor、Mono、Most、Suf、RA は、弱い正の相関を 示した評価手法の組み合わせがあるものの、高い正 の相関を示す評価手法の組み合わせは存在しなかっ た。これらの評価手法と Flip との相関を図 2 に示 した。ここでは (Flip、Com、Log、NA) と他の評価手法間の相関が弱いことを示すために、代表して Flip との相関を示している。またCor、Mono、Most、 Suf、RA 間の相関を図 2 に表した。

図 1 と図 2 の結果から、9つの評価手法の中で

図 1 正の相関を示した評価手法

図 2 Flipと評価手法の相関

(Flip、Com、Log、NA) は同じ観点で評価を行なって いる可能性が高いことがわかる。一方でその他の評価手法は、それぞれ異なった観点で説明の忠実性を 測っている可能性が高いことがわかる。

この実験結果から 9 つの評価手法の分類について の考察を行う。各評価手法がどの程度の重要度を持 つ単語に注目して忠実性を評価しているかに注目し て分類を行なった。また各評価手法の測定している 性質に注目して分類を行った。各評価手法が忠実性 を評価する際に注目している単語重要度の範囲を示 したのが図 4 であり、各評価手法が注目する単語と 測定する性質を軸に分類した表が 3 である。

9 つ評価手法は評価の際に注目する単語によっ て4つに分類した。また評価で測定する性質でさら に分類した。単調増加性とは、入力に重要度の低い 単語を順に一つずつ追加していった際に分類ラベル の確率が単調に増加するかを表す。相関性とは単語

図 3 Cor、Mono、Most、Suf、RA 間の相関

図4 各評価手法の注目している単語

表 3 忠実性評価手法の分類

の重要度と分類ラベルの確率変動の間の相関を表 す。ランダム優位性とはランダムに単語をマスクし た際と重要度の高い単語順にマスクした際の分類ラ ベルの確率変動の違いを表す。確率変動性とは単語 をマスクした際に分類ラベルの確率がどの程度変動 するかを示す。つまり忠実性をはかる評価手法の中 で、測定している性質が異なるということである。

そこで本稿では、複数の評価手法を用いて、さま ざまな観点から忠実性評価を行う必要があると主張 する。ある評価手法で、高い評価を得たとしても違 う評価手法では低い評価を得る可能性があるからで ある。特に評価手法間で優劣がはっきりしていない からこそ複数の評価手法を用いて多角的に評価する 必要がある。

## 6 おわりに

本稿では、忠実性が XAI 評価において重要視され ていることを示した。しかしその忠実性を測る指標 は乱立し、どの評価手法を使用するのか同意が取れ ていないことがわかった。

そこで本稿の実験で、9つの忠実性評価手法を対象にそれぞれの相関を計算し、9つの評価手法間の 関係を分析した。その 4 つの評価手法間で高い相関 が見られた一方で他の 5 つの評価手法間では相関が なかった。つまり多くの評価方法間で、異なった結果を示すことが定量的に示された。

そこで本稿では、複数の評価手法を用いて、さま ざまな観点から忠実性評価を行う必要があると主張 する。ある評価手法で、高い評価を得たとしても違 う評価手法では低い評価を得る可能性があるからで ある。特に評価方法間で優劣がはっきりとしていな いからこそ複数の評価手法を用いて多角的に評価す る必要がある。

本研究では、複数の評価手法のうち、どの手法を 用いて多角的に評価すべきかまでは分析することが できなかった。そのため、各評価手法が何を評価し ているのか、そして各評価手法の使用に優劣をつけ ることができるのかを分析することが今後の方針と して考えられる。この分析により具体的にどの評価手法を用いて説明を評価するべきかを特定していき たい。

## 謝辞

本研究は、JSPS 科研費 JP21H04901、JST ムーン ショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである。

## 参考文献

[1] Marco Ribeiro, Sameer Singh, and Carlos Guestrin. "why should I trust you?": Explaining the predictions of any classifier. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 97-101, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic Attribution for Deep Networks. In International Conference on Machine Learning, pp. 3319-3328, 2017.

[3] Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje. Learning Important Features Through Propagating Activation Differences, 2019.

[4] Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje. Learning important features through propagating activation differences. In Proceedings of the 34th International Conference on Machine Learning.

[5] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. 2014.

[6] Chun Sik Chan, Huanqi Kong, and Liang Guanqing. A Comparative Study of Faithfulness Metrics for Model Interpretability methods. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Long Papers), Vol. 1, pp. 5029-5038, 2022.

[7] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4198-4205, Online, July 2020. Association for Computational Linguistics.

[8] Giuseppe Attanasio, Debora Nozza, Eliana Pastor, and Dirk Hovy. Benchmarking post-hoc interpretability approaches for transformer-based misogyny detection. In Proceedings of NLP Power! The First Workshop on Efficient Benchmarking in NLP, pp. 100-112, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Pepa Atanasova, Jakob Grue Simonsen, Christina Lioma, and Isabelle Augenstein. A diagnostic study of explainability techniques for text classification. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3256-3274, Online, November 2020. Association for Computational Linguistics.

[10] George Chrysostomou and Nikolaos Aletras. Improving the Faithfulness of Attention-based Explanations with Task-specific Information for Text Classification. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 477-488, 2021.

[11] Ag's corpus of news articles, 2004. http://groups .di.unipi. it/ gulli/AG_corpus_of_news_articles.html.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computa- tional Linguistics.

[13] Felix A Gers, Jurgen Schmidhuber, and Fred Cummins. Learning to forget: Continual prediction with LSTM. Neural computation, pp. 2451-2471, 2000.

[14] Krizhevsky, Sutskever, and Hinton. Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems 25, pp. 1097-1105, 2012.

[15] George Chrysostomou and Nikolaos Aletras. Improving the faithfulness of attention-based explanations with task-specific information for text classification. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 477-488, Online, August 2021. Association for Computational Linguistics.

[16] Sofia Serrano and Noah A. Smith. Is attention interpretable? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2931-2951, Florence, Italy, July 2019. Association for Computational Linguistics.

[17] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C. Wallace. ERASER: A benchmark to evaluate rationalized NLP models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4443-4458, Online, July 2020. Association for Computational Linguistics.

[18] Vijay Arya, Rachel K. E. Bellamy, Pin-Yu Chen, Amit Dhurandhar, Michael Hind Samuel C. Hoffman, Stephanie Houde, Q. Vera Liao, Ronny Luss, Aleksandra Mojsilović Sami Mourad, Pablo Pedemonte, Ramya Raghavendra, John Richards, Prasanna Sattigeri Karthikeyan Shanmugam, Moninder Singh, Kush R. Varshney, Dennis Wei, and Yunfeng Zhang. One Explanation Does Not Fit All: A Toolkit and Taxonomy of AI Explainability Techniques.

[19] Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje, editors. Learning important features through propagating activation differences.

[20] Hillary Ngai and Frank Rudzicz. Doctor XAvIer: Explainable diagnosis on physician-patient dialogues and XAI evaluation. In Proceedings of the 21st Workshop on Biomedical Language Processing, pp. 337-344, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[21] Andreas Madsen, Vaibhav Adlakha Nicholas Meade, and Siva Reddy. Evaluating the Faithfulness of Importance Measures in NLP by Recursively Masking Allegedly Important Tokens and Retraining. 2021.

## 付録

## 忠実性評価手法

入力文を $x$ とする。 $x$ の単語の数を $l_{x}$ とする。 $x$ の予測されるクラスは $c(x)$ とし, クラス $j$ に対応す る予測確率を $p_{j(x)}$ とする。説明が与えられたとき $k$ 番目の重要な単語を $x_{k}$ とする。上位 $k$ 個 (または 上位 $q \%$ )の重要な単語のみを含む入力列を $x_{: k}$ (また は $x_{: q \%}$ ) とする。修正された単語部分列が含まれる 修正された入力列を $x^{\prime}$ をスクした修正入力系列 を $x / x^{\prime}$ とする。

また Area Under the Curve (AUC) は分類ラベルの確率を、重要度の降順でマスクした単語の割合に対し てプロットすることで得られる曲線と $x$ 軸間の面積 である。 $y$ を、 $x$ の重要度で降順に並べ替えた単語列 とすると図 5 の $\operatorname{AUC}\left(y_{10: 20 \%}\right)$ は $y$ を上位 $0 \%-20 \%$ の単語をマスクした際に計算される AUC を表す。

マスクした単語の割合 $q$

図 $5 \mathrm{AUC}$ の略図

Most Informative Token (Most) 入力文の中の最 も重要度の高い単語をマスクした際に分類ラベルが 変化した時、忠実と判断される指標である。

$
\text { Most }= \begin{cases}1 & \text { if } c(x) \neq c\left(x / x_{: 1}\right) \\ 0 & \text { if } c(x)=c\left(x / x_{: 1}\right)\end{cases}
$

Decision Flip (Flip) 分類ラベルが変化するまで、重要度の高い順に単語をマスクしていき、分類ラべ ルを変化させるのに必要とした単語のインスランス 内全ての単語に対する割合を計算する。

$
\text { Flip }= \begin{cases}-\min \frac{k}{l_{x}} & \text { s.t. } c(x) \neq c\left(x / x_{: k}\right) \\ -1 & \text { if } c(x)=c\left(x / x_{: k}\right) \text { for any } k\end{cases}
$

Comprehensiveness (Com) 分類ラベルの確率と 重要度の高い単語をマスクしていった際の分類ラべ
ルの確率の差を計算する。

$
\operatorname{Com}=\frac{1}{|B|} \sum_{q \in B}\left(p_{c(x)}(x)-p_{c(x)}\left(x / x_{: q \%}\right)\right)
$

Sufficiency (Suf) 分類ラベルの確率と重要度の 低い単語をマスクした後の分類ラベルの確率の差を 計算する。

$
\operatorname{Suf}=-\frac{1}{|B|} \sum_{q \in B}\left(p_{c(x)}(x)-p_{c(x)}\left(x_{: q \%}\right)\right)
$

## Correlation between Importance and Output Prob- ability (Cor) 重要度の高い単語を一つずつマスク していき、その際の分類ラベルの確率との相関を計算する。

$
\text { Cor }=-\rho(\boldsymbol{u} 、 \boldsymbol{p})
$

$\boldsymbol{u}$ は単語の重要度を降順に並べたベクトルである。 $\boldsymbol{p}=\left[p_{c(x)}(x), p_{c(x)}\left(x / x_{1}\right), p_{c(x)}\left(x / x_{2}\right), \cdots, p_{c(x)}(x /\right.$ $\left.x_{l_{x}}\right) . \rho$ はピアソン相関係数を表している。

Monotonicity (Mono) 単語の重要度とその単語 を追加した後の分類ラベルの確率を計算する。

$
\text { Mono }=\rho(\boldsymbol{u} 、 \boldsymbol{p})
$

$\boldsymbol{u}$ は単語の重要度を降順に並べたべクトルである。 $\boldsymbol{p}=\left[p_{c(x)}(x), p_{c(x)}\left(x / x_{: 1}\right), p_{c(x)}\left(x / x_{: 2}\right), \cdots, p_{c(x)}(x /\right.$ $\left.x_{: l_{x-1}}\right) . \rho$ はピアソン相関係数を表している。

Logodds (Log) 単語重要度の高い単語をマスク する前と後の予測されたクラスに関する負の対数確率を計算する。

$
\log =\log \frac{p_{c(x)}\left(x / x_{: l_{x}}\right)}{p_{c(x)}\left(x / x_{: t \%}\right)}
$

NAUC (NA) 縦軸を予測ラベルの確率、横軸をマ スクする単語の割合とする。予測ラベルの確率とマ スクした単語の割合の乗算 (つまり四角形の面積) に 対して AUC が占める割合を計算する。

$
\mathrm{NA}=\frac{\operatorname{AUC}\left(y_{0 \%: t \%}\right)}{q \cdot p_{c(x)}(x)}
$

RAUC (RA) 単語をランダム順でマスクした際の AUC に対して単語を重要度の降順でマスクした際 の AUC が占める割合を計算する。 $z$ を $x$ をランダム に並び替えた単語列とする。

$
\mathrm{RA}=\sum_{k=0}^{9} \frac{\operatorname{AUC}\left(y_{k * 10 \%:(k+1) * 10 \%}\right)}{\operatorname{AUC}\left(z_{k * 10 \%:(k+1) * 10 \%}\right)}
$
 牧野 雅紘 ${ }^{1}$ 浅妻佑弥 1,2 佐々木 翔大 ${ }^{2,1}$ 鈴木潤 1,2 東北大学 ${ }^{1}$ 理化学研究所 ${ }^{2}$ \{masahiro.makino.r6、asazuma.yuya.r7\}@dc. tohoku.ac.jp shota.sasaki.yvariken.jp jun.suzuki@tohoku.ac.jp  