# 特徵マップによる説明の信頼性評価手法の定量的分析

$\dagger$ 東北大学 $¥$ 理化学研究所
${ }^{1}$ asazuma.yuya.r7@dc.tohoku.ac.jp ${ }^{2}$ kazuaki.hanawa@riken.jp ${ }^{3}$ inui@tohoku.ac.jp

## 1 はじめに

機械学習モデルの性能が日々向上している一方 で，未だに多くのモデルは自身の動作について十分 な説明を行うことができない。特に，医療分野にお いては判断結果に根拠を持つことが要求されている ため，機械学習モデルの動作を説明するための手法 が研究されている.

説明手法の優劣を議論するには説明の有効性を評価する必要がある. 最も単純な方法は人間の直観に 基づく方法 (Plausibility) で，人手でアノテーション した特徴マップとの一致度を測る。

しかし，人間の直観に基づく手法のみでは不十分 であることが指摘されており [1]，あくまで説明は判断根拠の明示を目的にしているため，機械の内部動作に基づいていることが要求される (Faithfulness). ゆえに，人間の直観に頼らない評価法も必要に なる。

そのため，各研究において信頼性に則した説明手法の評価が行われている [2][3][4][5][6]. 多種多様な 評価方法で説明手法の信頼性が主張されている一方で，それらの評価方法自体の関係性は十分に考慮 されていない．また，データセットやモデルの特性 から受ける影響に関しても分析されていない。 よっ て，同一の信頼性を議論しているつもりでもそれぞ れ別種の性質を評価している可能性が存在する.

本研究では，既存の信頼性評価手法について定量的な評価を行う。問題の簡略化のために扱う説明の 形式を特徵マップに限定し，以下の解明を目的に実験を行う。

・データセットの特性による評価結果の変化

・複数の評価手法における結果の一貫性・変化

最終的に，各評価手法がどの程度データセットの 影響を受けるか分析し, 各手法に一貫する性質につ いて考察を行った.

図 1 ある入力例に対する特徴マップの生成例

## 2 説明の生成手法

1 節で述べたように, 本研究では説明として特徴 マップのみを扱う. 特徴マップとは, 出力要素に対 する入力要素の重要度を求める手法である．ある感情分析タスクにおける特徴マップの例を図 1 に示 す. 感情に関わる単語に強い重要度が与えられてい ることが確認できる.

本節では，これ以降，検証に使用する四つの特徴 マップの生成手法について説明する。

## 2.1 Saliency Map

Saliency Map は入力に対する出力の勾配を求める シンプルな手法である [7]. 勾配の逆伝搬によって 容易に計算することができるため，ベースライン手法として扱われることが多い。

## 2.2 Input X Gradient

上述した Saliency Map を拡張した手法であり，勾配に入力特徴量を乗算する [8]. 単純な手法である が，生成された特徴マップは入力特徴量を考慮する ことが可能になる.

## 2.3 Integrated Gradients

Integrated Gradeints は, 文献 [9] で考案された特徴 マップ生成法である. 生成法が満たすべき公理とし て Sensitivity と Implementation Invariance を定義し， これらを満たす手法としてベースライン入力から入力例に対するモデルの勾配を積分することで，特徴
表 1 本研究で使用するデータセットの統計値

図 $2 \mathrm{LSTM}+$ Attention model $の$ 図解

マップの生成を行う.

## 2.4 Attention Weights

近年の NLP 界隈において広く普及した手法に Attention Mechanism が存在する [10]. 隠れ層の重み 付けを行うため, Attention Weights は入力特徴の重要度に近しいものとして学習される. ゆえに, 一種 の特徴マップとして扱うことができる [11].

## 3 実験条件

## 3.1 データセット

本稿ではテキスト分類タスクを分析の対象とす る. コーパスとしてIMDB, SST, AG News, 20 News を使用する．ただし問題の単純化のためにすべての コーパスを 2 值分類タスクに変換する．例として， 20 News は 20 值の分類問題であるため，9番と 10 番 ラベルの 2 值分類問題として扱う.

表 1 に使用するデータセットの統計値を示す.こ の条件設定は文献 [4] に合わせたものである.

## 3.2 モデル

テキスト分類モデルとして LSTM に基づくモデル を使用する. Attention Weightsを取得する必要があ るため，LSTM + Attention Layer を含むモデルを使用 する．図 2 に使用したモデルを図解する。

上述のモデルについて，3.1 節のコーパスで訓練 を行った. 訓練後のテストセットにおける Accuracy, F1 スコアを表 2 に示す.

図 3 本研究の実験手順の図解

## 3.3 評価手法

本研究では図 3 に示すように，説明手法の信頼性 を評価する 3 つの手法について検証を行う．4，5， 6 節において，タスク・コーパスの違いにおける傾向の変化を評価する． 7 節において，手法横断的に 分析を行う.

## 4 ERASER 法を用いた検証

特徴マップの信頼性評価手法として著名な研究に ERASER 法がある [3]. これは，特徵マップの降順 に入力特徵を削除した際の出力の変化を観測する評価方法である. 同様の評価手法が，人間の主観的評価に依存しない評価として多くの研究に採用されて いる [6][12].

本実験で使用する ERASER 法は以下の手順で構成される.

1. 出力ラベルが変化するまで，対応する特徴マッ プの値が高い順に入力要素を MASK する

2. 削除率 $=$ MASK した要素数 / 入力要素数を計算

3. 全要素を MASK しても変化しなかった場合，削除率 $=1.0$ とする

特徴マップが入力要素の重要度を捉えていた場合，重要な入力特徵量から消去することになるた め，早い段階で出力が変化すると考えられる．よっ て，多くの入力における削除率が低いほどその解釈性手法が優秀であると述べることができる.

## 4.1 実験

3 節で述べた実験設定において ERASER 法の検証 を行う．データセット毎の傾向を確認するため，消去率の平均を求めたものを表 3 に示す.

図 4 弱学習器のモデル図解

データセット間で比較を行うと，同じ説明手法で も削除率の值が全く異なることが確認できる. 表 2 において精度の高い IMDB，AG News 間で比較する と大きな差が存在するため, 本来のタスクとしての 難易度が無関係であることも確認できる.

一方で，多くのタスクにおいて Integrated Gradients, Input X Gradient が優秀であり, Saliency や Attention Weights は奮わない結果であることが確認 できる。ゆえに，データセットを通して，解釈手法間の順位的な傾向は保たれていると考えることがで きる。

## 5 弱学習器による検証方法

S.Wiegreffe らは弱学習器を使用した Attention Weights の正当性検証を行っている [5]. 図 4 にモデ ルの概要を示す. 特徴マップを出力への重み付けと して使用し，LSTM 層を多層パーセプトロンに置換 する. 特徴マップが重要度として適切な値になって いなければ精度が大きく下がると考えられるため，一種の信頼性の評価手法として用いる.

本来は Attention Weights のための手法であるが，本研究では一般的な特徴マップを生成する手法に 拡張する. そのためにいくつかの実験条件を追加 する.

・ 3.2 節のモデルから特徴マップを生成する

・モデルが予測したラベルに対して特徴マップを 生成する (教師ラベルを使用しない)

・特徴マップのノルムを 1.0 に正規化する

・ベースライン手法として Uniform，Random を 追加する
- Uniform: 特徵マップを均一として扱う
- Random: 特徴マップを毎回ランダムに生成する

## 5.1 実験

3 節で述べた実験設定において弱学習器を用いた 検証を行う. それぞれ訓練した弱学習器において， テストセットにおける F1 score を求めたものを表 4 に示す.

実験結果より，データセットによって傾向が異な ることが確認できる。IMDB・AG News では解釈手法間の差が微小な二方で, SST・20 News では大きな 差が発生することが確認できた. 手法間の順位関係 もデータセットによって大きく異なり, $\mathrm{IMDB} \cdot \mathrm{AG}$ News では Integrated Gradients，Input X Gradient が高 い精度となるが，SST では Uniform が最も優秀にな る一方で Input X Gradient の精度が低下してしまう。 よって，この手法はデータセットの特性に大きな影響を受けると考えられる。また，精度の変化も微小 なものであることが多い.

一方で図 5 に示すように，IMDB における訓練時 の Validation Loss の推移を観測すると手法間で収束 の特性が大きく異なることが確認できる. Integrated Gradients・Input X Gradient が早期に収束する一方 で，Saliency・Attention Weights は収束に時間が必要 となる.

収束が早い要因として，重み付けの前後の線形層 を十分に訓練しなくても精度が出せることが考え られる．現に，線形層を十分に訓練する必要のある Uniform は最も収束が遅い結果となる. 仮説止まり ではあるものの，特徴マップがモデルの分類に有効 な特徵量であるほど，収束が早くなる可能性が存在 する．そのため，Loss の収束特性が意味を持つ可能性が十分に考えられる.

図 5 IMDB における訓練時の Validation Loss の推移

## 6 シャッフルを用いた検証方法

文献 [4] では Attention Weights の頑健性評価のた め，シャッフルを用いた実験が行われた. Attention Weights が分類において有効な特徴量であれば， シャッフルによって出力が大きく乱れるため，モデ ルに対する特徴マップの信頼性を測ることが可能と 考えられる。

本来は Attention Weights のための手法であるが，本研究では一般的な特徴マップを生成する手法に拡張する。実験は以下の手順で行う。

1. 弱学習器モデルを用いて入力 $\boldsymbol{x}$ ・特徴マップか ら出力ラベルの予測確率 $\boldsymbol{y}$ を求める

2. 重み付けに使用した特徴マップをランダムに入 れ替える

3. 再度, 出力ラベルの予測確率 $\hat{\boldsymbol{y}}$ を求める

4. 出力ラベルの変化を Total Validation Distance (TVD) を用いて計算する

5. 2〜4を 100 回試行し，TVD の中央値を取る

TVD は以下の式で計算する。TVD は確率分布の 距離尺度となるため, TVD が大きな值を取るほど シャッフルによって出力が乱れているとみなすこと ができる.

$
T V D(\boldsymbol{y}, \hat{\boldsymbol{y}})=\frac{1}{2} \sum_{i}\left|y_{i}-\hat{y}_{i}\right|
$

## 6.1 実験

それぞれの解釈手法・データセットについて実験を行い，TVD の平均値を計算した結果を表 5 に 示す.

平均値の値の傾向は ERASER 法より安定するも のの, 同一の評価手法でもデータセットによる値 の変化はある程度確認できる。例として， $\mathrm{SST} ・ \mathrm{AG}$ News における Saliency の TVD は. 093 と非常に低い 值となるが，IMDB では. 273 と大きい値となる。ゆ えに，データセットを跨いだ値の比較検証は不可能表 5 データセット・解釈手法毎の TVD の平均値

であると言える.

各データセットにおける順位的な関係に注目す ると，Input X Gradient が特に優秀であり，次点で Integrated Gradients が高いスコアとなる.この 2 手法が優秀である点は ERASER 法や弱学習器の収束特性で見られた傾向と一致する。

## 7 議論

多くの評価手法・データセットに共通して Integrated Gradients と Input X Gradient は高いスコア を記録しており，手法間の性能差は小さいものにな る.また，Saliency は殆どの実験で他手法より劣る 結果となる。由えに今回の実験設定では，特徴マッ プの生成手法ごとに一貫した順位的な性質が確認で きる.

一方で，各評価手法が同一の性質を測定してい るとは断言できない. ERASER 法/IMDB におけ る Saliency $\cdot$ Attention Weights と Integrated Gradients $\cdot$ Input X Gradient には確たる差が存在するものの, シャッフル法 / IMDB では差が小さい. ゆえに，現状の研究成果では評価手法間に何らかの関連性が推測できるものの，同一の性質を測定していると断定 することができない.

同一性を検証するためには，各評価手法がどの ような性質を分析しているか調査する必要がある.今後の研究では, 評価手法を最大化するような特徴 マップの性質を特定するなど，より定性的な検証を 中心に行う予定である。

また, データセットよりも粒度の細かい単位での 検証や，モデルのパラメータの考慮など，より多く の条件で実験できるよう改良する予定である.

## 参考文献

[1] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 41984205, Online, July 2020. Association for Computational Linguistics.

[2] Julius Adebayo, Justin Gilmer, Michael Muelly, Ian Good-
fellow, Moritz Hardt, and Been Kim. Sanity checks for saliency maps. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, $A d-$ vances in Neural Information Processing Systems, Vol. 31, pp. 9505-9515. Curran Associates, Inc., 2018.

[3] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C. Wallace. ERASER: A benchmark to evaluate rationalized NLP models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 44434458, Online, July 2020. Association for Computational Linguistics.

[4] Sarthak Jain and Byron C. Wallace. Attention is not Explanation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3543-3556, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Sarah Wiegreffe and Yuval Pinter. Attention is not not explanation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 11-20, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Sofia Serrano and Noah A. Smith. Is attention interpretable? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 29312951, Florence, Italy, July 2019. Association for Computational Linguistics.

[7] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. CoRR, Vol. abs/1312.6034, , 2013.

[8] Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje. Learning important features through propagating activation differences. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 3145-3153, International Convention Centre, Sydney, Australia, 06-11 Aug 2017. PMLR.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 33193328, International Convention Centre, Sydney, Australia, 06-11 Aug 2017. PMLR.

[10] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate, 2014. cite arxiv:1409.0473Comment: Accepted at ICLR 2015 as oral presentation.

[11] Jiwei Li, Will Monroe, and Dan Jurafsky. Understanding neural networks through representation erasure. CoRR, Vol. abs/1612.08220, , 2016.

[12] Akash Kumar Mohankumar, Preksha Nema, Sharan Narasimhan, Mitesh M. Khapra, Balaji Vasan Srinivasan, and Balaraman Ravindran. Towards transparent and explainable attention models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4206-4216, Online, July 2020. Association for Computational Linguistics.
 $\dagger$ 東北大学 $¥$ 理化学研究所 ${ }^{1}$ asazuma.yuya.r7@dc.tohoku.ac.jp ${ }^{2}$ kazuaki.hanawa@riken.jp ${ }^{3}$ inui@tohoku.ac.jp  