# 説明性の高いニューラルモデルの予測確信度に関する分析

$\dagger$ 東北大学 理化学研究所
$\left.\{{ }^{1}}.$ shun.sato, ${ }^{5}$ inui $\}$ @ecei.tohoku.ac.jp
$\left.\{{ }^{2}}.$ hiroki.ouchi, ${ }^{3}$ shota.sasaki.yv, ${ }^{4}$ kazuaki.hanawa $\} @$ riken.jp

## 1 はじめに

ニューラルネットワークを用いたモデルによっ て，自然言語処理の各タスクにおける予測性能は飛躍的に向上した.一方で，「モデルがなぜそのよう な予測をしたのか」を理解することは，人間にとっ て極めて困難であることが指摘されている [1]. そ のような状況で， $k$ 近傍法のような，学習事例との 類似度にもとづいて予測を行うモデルが注目を集め ている.この種のモデルでは予測への貢献度の高い 学習事例を提示することが容易であり，機械学習の 専門知識を持たないユーザにとってもモデルの挙動 を直感的に理解可能な場合が少なくない。

これに加え，「モデルがどの程度確信を持ってそ のような予測をしたのか」がわかるなら，人間の意思決定や人間と機械の協働がさらに促進されると考 えられる。たとえばモデルが確信度の低い予測をし た場合，人間による確認を入れるといった対策が打 てる.このような背景から, 多様な確信度計算手法 が提案されており，特に近年では，学習事例との類似度にもとづいてモデルの予測確信度を算出する手法が注目を集めている [5].

我々はニューラルネットワークモデルを使う際 にモデルの予測の根拠と予測確信度が両方が同時に わかることが重要であると考えている。本研究では この 2 つの条件を満たすモデルの挙動に対する理解 を深めるため，モデルが $k$ 近傍法を用いて予測を行 う場合に，訓練方法やデータの類似尺度の違いが確信度計算や近傍事例に与える影響について実験，分析を行った. 本研究の貢献は以下の 2 点である.

・ニューラルネット上で $k$ 近傍法を用いて予測を 行う場合に，訓練手法 (Cross Entropy Loss によ る訓練，Triplet Loss による訓練) やデータの類似尺度 (L2 距離, コサイン距離, 内積)を変えて 性能評価を行い，各条件における確信度の性能
の違いを明らかにした。
- 多くの評価事例の近傍に重複して現れる訓練 データ（ハブ）の出現度合いと確信度計算手法 Trust Score の関係を分析し，類似尺度が L2 距離やコサイン距離の時には，ハブが多く発生し ている予測に対して低い確信度が割り当てられ ることを明らかにした。

## 2 説明性の高いモデルの実現

この節では 1 節で述べたように，予測の根拠と予測確信度の両方がわかるような説明性の高いニュー ラルネットワークモデルの実現方法について述 べる.

## 2.1 モデルの予測確信度

ニューラルネットワークの予測確信度に関する研究は数多くなされており，その研究の方向性のとし ては大きく2つの方向性がある．1つ目はモデルの 予測確率を直接予測確信度として使えるように補正 を行う研究である。具体的な手法には， temperature scaling[4] が挙げられる. temperature scaling は過剩 に高い值がつく傾向にあるニューラルネットワーク モデルの予測確率に対して温度パラメータという新 しいパラメータを導入し，開発セットを用いて温度 パラメータの値を変えながら予測確率が適切な確信度となるように補正を行う。

2 つ目は予測時に追加の計算を行うことで予測確率とは異なる予測確信度を計算する研究である。代表的な手法としては Trust Score[5] が挙げられる. Trust Score は評価データと訓練データの間の距離を 用いて確信度を計算する手法であり,$k$ 近傍法によ る予測とも自然に組み合わせることが可能である.

本研究では $k$ 近傍法による予測と Trust Score によ る確信度計算を組み合わせることで，モデルの予測 に対して「なぜその予測が行われたのか」「その予
測がどれくらい信用できるのか」の 2 点が明示的に わかるニューラルネットワークモデルを実現する.

## 2.1.1 Trust Score による予測確信度の算出

予測確信度として用いる Trust Score の算出方法について述べる. クラスラベルの集合を $C=\left.\{l_{1}, l_{2}, \ldots, l_{M}\right.\}$ とし, 入力 $x_{i}$ とそのラベル $y_{i} \in$ $C$ からなる $n$ 個の訓練データ集合を $\mathbf{X}_{\text {train }}=$ $\left.\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ とする. また, 入力 $x$ の 文ベクトル $\mathbf{h}_{x} \in \mathbb{R}^{d \times 1}$ を計算するエンコーダを $f(\cdot)$ とする。訓練済みのエンコーダに $\mathbf{X}_{\text {train }}$ を大力して 得られた文べクトルの集合を $\mathscr{H}:=\left.\{\mathbf{h}_{x_{1}}, \mathbf{h}_{x_{2}}, \ldots, \mathbf{h}_{x_{n}}\right.\}$ とし，評価データ $x_{\text {test }}$ に対する文ベクトルを $\mathbf{h}_{x_{\text {test }}}$ とする.ここで, $\mathbf{h}_{x_{i}}=f\left(x_{i}\right), \mathbf{h}_{x_{\text {test }}}=f\left(x_{\text {test }}\right)$ であ る. また, 評価データ $x_{\text {test }}$ に対するモデルの予測 が $\hat{y}_{\text {test }}=l$ である時, 集合 $\mathscr{H}$ の中で正解ラベルが $l$ である集合を $\mathscr{H}_{l}=\left.\{\mathbf{h}_{j} \in \mathscr{H} \mid 1 \leq j \leq n \wedge y_{j}=l\right.\}$ と する.この時に評価データ $x_{\text {test }}$ に対する Trust Score $S\left(x_{\text {test }}, \mathscr{H}\right)$ は以下の式で算出される.

$
S\left(x_{\text {test }}, \mathscr{H}\right)=\frac{d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)}{d_{\mathrm{p}}\left(x_{\text {test }}, \mathscr{H}\right)+d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)}
$

ただし

$
\begin{aligned}
& d_{\mathrm{p}}\left(x_{\text {test }}, \mathscr{H}\right)=\min _{\mathbf{h} \in \mathscr{H}_{l}} d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right) \\
& d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)=\min _{\mathbf{h} \in\left(\mathscr{H} \backslash \mathscr{H}_{l}\right)} d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right)
\end{aligned}
$

ここで $d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right)$ は $\mathbf{h}_{x_{\text {test }}}, \mathbf{h}$ の間の距離を表す. Trust Score は予測したクラスの代表点までの距離が近い ほど，また予測していないクラスの代表点までの距離が遠いほど大きな確信度が付けられる. またこの 計算式 (1) は, 確信度が 0 から 1 までの範囲に収ま るように Trust Score を提案している論文 [5] 内にお ける式に修正を加えたものである.

## 3 分析を行う項目

本研究では 2 節で述べた説明性の高いニューラル ネットワークに関して分析を行う，具体的には $k$ 近傍法による予測と Trust Score の計算に大きな影響 を及ぼす (1) データ間の類似尺度と (2) データ同士 の位置関係の 2 つの項目について変化させた時の Trust Score の挙動について分析を行う.

(1)のデータ間の類似尺度については, Trust Score では L2 距離が用いられることが多いが，その他の 類似尺度を用いた際の Trust Score 挙動についてはま だ明らかになっていない。具体的には L2 距離以外
にもコサイン距離や内積を類似尺度として用いるこ とで，Trust Score の挙動が変化すると考えられる.

(2) のデータ同士の位置関係はモデルの訓練方法 に大きく依存する. 通常の $M$ クラスの分類問題に おいては損失関数として次の Cross Entropy Loss が 用いられることが多い.

$
L_{\text {CrossEntropy }}(x)=-\mathbf{t} \log \left(\operatorname{Softmax}\left(\mathbf{W} \mathbf{h}_{x}+\mathbf{b}\right)\right)
$

ただし, $\mathbf{h}_{x}=f(x)$ とし, $\mathbf{W} \in \mathbb{R}^{M \times d}$ は重み行列, $\mathbf{b} \in \mathbb{R}^{M \times 1}$ はバイアス項, $\mathbf{t} \in \mathbb{R}^{1 \times M}$ は $x$ の正解ラべ ルの箇所に 1 がたつ 1-hot ベクトルである. また データ間のラベルの違いを明示的に距離関係として 学習させる Triplet Loss[10] を用いることで, Cross Entropy Lossを用いた際のデータ間の位置関係と は大きく異なった位置関係になると考えられる。 Triplet Loss はある訓練データ $x$ に対して，同じクラ スの訓練データ $x_{\mathrm{p}}$ と異なるクラスの訓練データ $x_{\mathrm{n}}$, マージン $m$ を用いて算出される.

$
L_{\text {Triplet }}(x)=\operatorname{ReLU}\left(d\left(\mathbf{h}_{x}, \mathbf{h}_{x_{\mathrm{p}}}\right)-d\left(\mathbf{h}_{x}, \mathbf{h}_{x_{\mathrm{n}}}\right)+m\right)
$

ただし $\mathbf{h}_{x}=f(x), \mathbf{h}_{x_{\mathrm{p}}}=f\left(x_{\mathrm{p}}\right), \mathbf{h}_{x_{\mathrm{n}}}=f\left(x_{\mathrm{n}}\right)$ とし, $d(\cdot)$ は L2 距離，コサイン距離，内積のいずれかを表す.以上を踏まえて本研究では，データ間の類似尺度 (L2 距離/コサイン距離/内積) とモデルの訓練方法 (Cross Entropy Loss/Triplet Loss) をそれぞれ変化させ た場合の Trust Score の挙動の分析を行う.

## 4 実験

## 4.1 タスク設定

今回 Trust Score の分析に用いるタスク設定として は文書分類タスクを用いる。予測確信度に関する先行研究 $[2,3,5]$ では確信度の性能評価を画像データ やテキストデータに対する分類タスクを用いて論じ ており，本研究でもそれに従う。

データセットには 20 Newsgroups データセット [7]を用いる.このデータセットは 20 種類の異なる ニュース記事を収集したデータセットであり，20 クラスの文書分類問題として用いる. データ数は 約 20,000であり，今回そのうち 10182 個を訓練デー タ，1132 個を開発データ，7532 個を評価データと して分割した.

## 4.2 評価指標

予測確信度の評価指標としては E-AURC (ExcessArea Under the Risk-coverage Curve)[3] を用いる。ま

図 1 E-AURC の説明図. AURC が risk-coverage 曲線に囲 まれる面積 (青色+灰色) であり, そこから現在のモデルの 予測性能で達成しうる最も小さい risk-coverage 曲線の面積 (灰色)を除いた部分の面積 (青色) が E-AURC の値となる. なお図は訓練方法を Triplet Loss, データの類似尺度をコサ イン距離とした場合のものである.

ず AURC (Area Under the Risk-coverage Curve) につい て述べる. AURC は図 1 のように risk-coverage 曲線 に囲まれる面積として求められる。 risk-coverage 曲線は全ての評価データをそのデータに対するモデル の予測確信度について降順に 1つずつ見ていき，見 ているデータまでの予測の累計の誤り率をプロット して描かれる曲線である。この AURC が小さいほ ど，ある確信度を閾値とした時に正しい予測と誤っ た予測が明確に分離されており，優れた確信度計算手法であることを意味する。

しかし，この AURC は，モデルの予測性能に依存 しており，異なるモデル間での性能比較が困難であ る. E-AURC は AURC (図 1 の灰色部分+青色の部分) からを各モデルが達成しうる最小の risk-coverage 曲線 (図1 の灰色部分) を取り除いて正規化を行うこと で，異なるモデル同士の確信度としての性能比較を 行えるようにした指標である. E-AURC の詳細な計算方法については付録 A. 1 を参照されたい. 今回の 実験では，訓練方法や予測方法が異なるモデル間で の，確信度の性能を比較するため，E-AURC を性能評価の指標として採用した. また結果の視認性の向上のため E-AURC の值は全て 1000 倍して表示した.

## 4.3 モデル設定

今回は文書分類モデルを入力として訓練済みの 単語ベクトル, 系列のモデリングに畳み込みニュー ラルネットワーク (CNN)[11]を用いて実装した. 訓練済みの単語ベクトルには 200 次元の Glove[8]を 用い，訓練中に単語ベクトルの値の更新も行った. CNN にはカーネルサイズを 3 , フィルタのサイズを表 1 訓練方法，データ間の類似尺度を変えた時の予測性

3,4,5 とした Max Pooling を行った. 損失の最適化に は Adam [6] を用い，学習率の初期値は $\rho=0.001$ と した.

今回実験では損失関数には Cross Entropy Loss と Triplet Loss のいずれかを用いた. Triplet Loss のマー ジン $m$ としては距離尺度が L2 距離, コサイン距離,内積の場合にそれぞれ $m=1.0, m=0.005, m=0.01$ とした。このマージンの値は開発セット用いて最も 確信度の性能が高くなった場合の値を用いた。

次にモデルの予測方法と確信度計算について述べ る. 各モデルの予測は各評価データについて近傍の 訓練データに基づいて $k$ 近傍法を用いて行う. 今回予測に用いる近傍の訓練データの数は $k=10$ とし た. Trust Score の計算には先行研究 [5] に従い, モ デルの最終層のデータの文べクトルを用いて計算を 行った. また全ての実験の計測はシード值の異なる 3つのモデルを用いて行い，その平均値を記載した.

## 4.4 実験結果

表 1 に訓練方法, データ間の類似尺度を変えた時 のモデルの予測性能と Trust Score の確信度の性能 を示す. 表 1 から，類似尺度が内積の場合には L2 距離やコサイン距離の時に比べて，予測性能，確信度の性能ともに最も性能が低くなった. また訓練方法ごとに比較すると, 類似尺度がコサイン距離の場合が最も確信度の性能が高くなった. 全条件で比較 すると Triplet loss で訓練を行い，類似尺度をコサイ ン距離とした場合に最も E-AURC の値が小さく, 確信度として優れた性能を発揮することがわかった。 Triplet loss で訓練を行い，類似尺度をコサイン距離 とした場合の E-AURC は図 1 の青い部分の面積であ り，その他のいくつかの条件の E-AURC の様子につ いても付録 A. 3 に記載した。

## 5 分析

この節ではなぜ Triplet Lossを用いて訓練を行い， データの類似尺度をコサイン距離とした場合に他の 条件に比べて Trust Score が確信度として優れた性能を発揮したのかを考察する．我々は原因を探るた

図 2 Triplet/ $\cos$ モデルにおける予測クラスごとの平均 Trust Score とハブの出現度合い $S_{N_{1}}$ の関係

め, Trust Score と $k$ 近傍法において発生するハブと いう現象の間の関係について分析を行った。

## 5.1 近傍検索におけるハブの出現

$k$ 近傍法を用いた予測においては，異なる評価 データの近傍事例として同じ訓練データが重複し て検索されてしまう現象が観測されており，そうし た訓練データはハブと呼ばれている [9]. 一般に予測の根拠として，同じ事例が何度も出てきてしまう ことは，有意義な予測の根拠とは言えない. 今回の 我々が行った実験においても多くの条件でもこのハ ブが観測された。

## 5.1.1 ハブの出現度合い

先行研究 [9] に従い，ハブの出現度合いの計算に は各評価事例の予測に用いられる $k$ 個の訓練デー タの中に各訓練データが何回含まれるかという分布 $N_{k}$ の歪度 $S_{N_{k}}$ を用いて行う. この $S_{N_{k}}$ の值が大 きいほど，特定の訓練データが重複して近傍事例と して選択されており，ハブが発生していることを表 す. 計算方法の詳細については付録 A. 2 を参照され たい.

## 5.2 Trust Score とハブの関係

図 2 に Triplet Loss を用いて訓練を行い，類似尺度をコサイン距離とした時の予測クラスごとの平均 Trust Score と各予測の最近傍点におけるハブの発生度合い $S_{N_{1}}$ の関係を示す. 図 2 から八ブが多く発生しているクラスでは，Trust Score が平均的に小さ く，逆にハブのあまり発生してないクラスでは Trust Score が平均的に大きくなっていることがわかった.

他の 5 つの条件とも比較するため，予測クラス ごとの最近傍点におけるハブの発生度合い $S_{N_{1}}$ と Trust Score との相関, 及び最近傍点におけるハブの 発生度合いと予測の適合率の相関をピアソンの相関表 2 各条件における予測クラスごとの $S_{N_{1}}$ と Trust Score(TS), $S_{N_{1}}$ と適合率の相関係数

係数を用いて計測した結果が表 2 である. 表 2 から は類似尺度が L2 距離とコサイン距離の場合に，各予測クラスごとの $S_{N_{1}}$ と Trust Score， $S_{N_{1}}$ と適合率 の間に負の相関関係が読み取ることができる。この 負の相関関係は全条件の中で Triplet Loss で訓練し，距離尺度をコサイン距離とした場合に最も強くなっ ていた。すなわち，この条件下では，ハブの発生し ている予測クラスでの予測は誤りやすくまた，その 予測に低い確信度がつきやすい傾向が最も強くで たため，確信度として最も優れた性能を発揮したと 考えられる。予測クラスごとの詳細な実験值は付録 A. 3 を参照されたい.

## 6 終わりに

本論文ではニューラルネットワークモデルの予測 についてモデルの予測の根拠と予測確信度が両方同時にわかることが重要だと考え，予測を $\mathrm{k}$ 近傍法 で行う場合の Trust Score の挙動について訓練方法 やデータの類似尺度を変えて分析を行った．その結果，損失関数を Triplet Loss, データの類似尺度をコ サイン距離とした場合に確信度として最も優れた性能を発揮することを明らかにした。

また分析の過程で， $k$ 近傍法で検索される近傍事例において，同じ訓練データが重複して検索される ハブという現象に注目し，ハブが発生している場合 に Trust Score による予測確信度が低くつく傾向があ ることを明らかにした. なぜこのような現象が起こ るのかの解明は今後の研究課題としたい.

## 謝辞

本研究は JSPS 科研費 JP19H04425 の助成を受けた ものです.

## 参考文献

[1]Marina Danilevsky et al. "A Survey of the State of Explainable AI for Natural Language Processing". In: Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing. 2020.

[2]Yarin Gal and Zoubin Ghahramani. "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep

Learning". In: Proceedings of The 33rd International Conference on Machine Learning. 2016.

[3]Yonatan Geifman, Guy Uziel, and Ran El-Yaniv. "BiasReduced Uncertainty Estimation for Deep Neural Classifiers". In: Proceedings of the 7th International Conference on Learning Representations. 2019.

[4]Chuan Guo et al. "On Calibration of Modern Neural Networks". In: Proceedings of the 34th International Conference on Machine Learning. 2017.

[5]Heinrich Jiang et al. "To Trust Or Not To Trust A Classifier”. In: Advances in Neural Information Processing Systems. 2018.

[6]Diederik P. Kingma and Jimmy Ba. "Adam: A Method for Stochastic Optimization". In: Proceedings of the 3rd International Conference on Learning Representations. 2015.

[7]Ken Lang. "NewsWeeder: Learning to Filter Netnews". In: Proceedings of the 12th International Machine Learning Conference. 1995.

[8]Jeffrey Pennington, Richard Socher, and Christopher Manning. "GloVe: Global Vectors for Word Representation". In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. 2014.

[9]Miloš Radovanovi; Alexandros Nanopoulos, and Mirjana Ivanovi; "Hubs in Space: Popular Nearest Neighbors in HighDimensional Data". In: Journal of Machine Learning Research (2010).

[10]Jiang Wang et al. "Learning Fine-grained Image Similarity with Deep Ranking". In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014.

[11]Kim Yoon. "Convolutional Neural Networks for Sentence Classification". In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. 2014.

## A 付録

## A. 1 E-AURC の計算方法

risk-coverage 曲線の面積である AURC は，各々の データにつけられた確信度について降順に並べ替え た $m$ 個の評価データ集合 $\left.\{x_{1}, x_{2}, \ldots, x_{m}\right.\}$ について以下の式 (6) によって計算される.

$
\mathrm{AURC}=\sum_{i=1}^{m} \frac{\sum_{j=1}^{i} g\left(x_{j}\right)}{i \times m}
$

ただし，関数 $g$ は評価データ $x$ に対する分類器の予測が当たっている場合には 0 , 外れている場合には 1 を返す 2 値関数である

E-AURC を提案している論文 [3] では，AURC の 正規化を行うための最小の risk-coverage 曲線の面積 $\mathrm{AURC}_{\text {min }}$ (図 1 の灰色部分) を求めるために以下の式 (7)のような近似計算を行なっている.

$
\mathrm{AURC}_{\text {min }} \approx \int_{0}^{\hat{r}} \frac{x}{1-\hat{r}+x} d x=\hat{r}+(1-\hat{r}) \log (1-\hat{r})
$

ここで $\hat{r}$ は評価データ全体に対する予測の精度 $\alpha$ に ついて $\hat{r}=1-\alpha$ として定まる値である.

最終的に式 (6) で求まる AURC から, 式 (7) で求 めた最小の risk-coverage 曲線の面積を引くことで E-AURC の値を求めることができる.

## A. 2 ハブの出現度合いの計算

先行研究 [9] に従い，ハブの出現度合いの計算に は式 (8)のように，各評価事例の予測に用いられる $k$ 個の事例の中に各訓練データが何回含まれるかと いう分布 $N_{k}$ の歪度 $S_{N_{k}}$ を用いて行う.

$
S_{N_{k}}=\frac{\sum_{i=1}^{l}\left(N_{k}(i)-E\left[N_{k}\right]\right)^{3} / l}{\operatorname{Var}\left[N_{k}\right]^{3 / 2}}
$

ここで $l$ は訓練データの数であり，E,Var はそれぞ れ期待值と分散を表す. 式 (8) の値が大きいほど評価事例の $k$ 近傍に頻繁に含まれる訓練データが存在 し，ハブが出現していることを表す。

## A. 3 実験値の詳細

表 3 に Triplet loss を用いて訓練し，距離尺度をコ サイン距離とした時の予測クラスごとの最近傍にお けるハブの発生度合い $S_{N_{1}}$ と, 予測の適合率, Trust Score の平均値を記載した。

また Cross Entropy Loss で訓練を行い類似尺度を コサイン距離とした場合の E-AURC の結果を図 3表 $3 \mathrm{Triplet} / \cos$ モデルにおける予測クラスごとの $S_{N_{1}}$, 予測の適合率，平均 Trust Score

に，Triplet Loss で訓練を行いコサイン距離以外の類似尺度を用いた場合の E-AURC の結果を図 4,5 記載 した。

図 3 Cross Entropy/cos モデルにおける E-AURC の様子

図 4 Triplet/12 モデルにおける E-AURC の様子

図 $5 \mathrm{Triplet} / \mathrm{dot}$ モデルにおける E-AURC の様子
 $\dagger$ 東北大学 理化学研究所 $\left.\{{ }^{1}}.$ shun.sato, ${ }^{5}$ inui $\}$ @ecei.tohoku.ac.jp $\left.\{{ }^{2}}.$ hiroki.ouchi, ${ }^{3}$ shota.sasaki.yv, ${ }^{4}$ kazuaki.hanawa $\} @$ riken.jp  