# 分類タスクにおける不確実性の高い文章の傾向調査

太田真人 1 ファイサル・ハディプトラ 1
1 電通国際情報サービス
\{ota.m, faisal.hadiputra\}@isid.co.jp

## 概要

信頼性のある AI システムの実現には精度だけで なく, 予測の不確実性や説明性が必要である. 予測 の不確実性の推定は，分類を人に委ねるかの意思決定に役立つ. しかし, 不確実性の高い文章の中に分類容易な文章が多いと，人は $\mathrm{AI}$ に不信感を抱く.そ こで，分類タスクにおける BERT モデルの予測の不確実性を軸に，文章傾向と精度を調査する．3つの 分類タスクで実験をおこない，予測の不確実性の高 い文章には精度が低く, 分類困難な要因が多く存在 することを示す.

## 1 はじめに

信頼される AI システムは，金融や医療など，人命や損害をともなう応用先で利用される. AI の信頼性の研究は, 説明性や予測の不確実性が中心であ る [1]. 予測の不確実性は, 確率モデリングのべイ ズ推論をもとに推定されてきた [2]. 自然言語処理 と予測の不確実性の研究は, 分布外検知 [1], 文章要約の高品質化 [3], 能動学習 [4] といった品質・安全・効率化で取り組まれている。

信頼される AI システムの実現には，誤分類リス クが高い文章の傾向を調査する必要がある. 人と AI の協調では，誤分類リスクの高い文章は，人間に 判断を委ねる安全な設計をする [5]. 人は誤分類が多 いと AI システムを信頼せず，システムから離脱す る.しかし, 人と AI の協調後も同様に，システムか ら離脱する恐れがある。 それは，誤分類リスクの高 い文章が人間にとって自明な文章が多いときであ る.したがって，私たちは，誤分類リスクの高い文章に分類困難な文章が多く含まれることを期待す る.ここで，予測モデルの分類困難な文章は，訓練 データ不足, クラス被覆, データバイアス, 外れ值 の文章を指す。

私たちは，誤分類リスクに予測の不確実性を用 い，不確実性の高い文章傾向を調査する．先の予測
モデルの分類困難な傾向は，予測の不確実性が高い ときのみ顕著に存在し, 精度が低い文章傾向とす る. 本研究の目的は, 不確実性の高い文章中から分類困難な傾向を特定できるのか，また，どの程度存在するのかを明らかにする。予測の不確実性は，モ デルの不確実性とデータの不確実性に分けられ，そ れぞれで調査する。データの不確実性は分類境界上 で不確実性が高く, モデルの不確実性は訓練データ 分布外で高くなるとされる [6]. 実験は, 事前学習済みモデル BERT[7] を用い，代表タスクとして，ネ ガポジ判定を 2 種類とニュース分類を 1 種類おこ なう。

以下に本研究の貢献を示す.

・3つの不確実性において，データの不確実性が 誤分類リスクと最も関係があることを示す。

・ネガポジ判定では，データの不確実性から，ネ ガポジ両方の感情を含むハードサンプルやデー タノイズを含む 6 つ傾向を特定し，モデルの 不確実性から，低頻度・未知語や皮肉を含む 5 つの傾向を特定する。
- 定量化可能な不確実性の高い文章傾向の 7 種類中 5 種類は分類困難な要因であることを示す.

## 2 問題設定

本章では BERT 分類モデルの予測の不確実性の種類とその定量化方法を説明する. 入力文章とラベル の組 $(x, y) \in(X, Y)$ を複数持つデータセットを $\mathscr{D}$ と する. 予測はモデルパラメータ $w$ を持つ事前学習済 みモデルの出力 $f(x ; w)$ とする. 不確実性の推定の 準備として，モデルパラメータの事前確率を $p(w)$ とし，予測分布を $p(y \mid x, w)$ とする. テストデータ $\left(x^{*}, y^{*}\right) \in \mathscr{D}_{\text {test }}$ に対する周辺予測分布は，パラメー タの事後分布 $p(w \mid \mathscr{D})$ を用いて以下の式で与えら れる。

$
p\left(y^{*} \mid x^{*}, \mathscr{D}\right)=\int p\left(y^{*} \mid x^{*}, w\right) \underbrace{p(w \mid \mathscr{D})}_{\text {posterior }} d w
$

## 2.1 不確実性の推定

本節では，不確実性の種類とその尺度を紹介する [6]. 予測の不確実性の定量化はベイズ推論からおこ なえる [8][2].

## 2.1.1 全体の不確実性

全体の不確実性は，周辺予測分布 $p(y \mid x, \mathscr{D})$ の不確実性である．全体の不確実性の尺度は，周辺予測分布の分散やエントロピーで表される. 周辺予測分布のエントロピーは，後に説明するデータの不確実性の予測エントロピーの期待值とモデルの不確実性 の相互情報量との和として式変形できる [9][10].

$
\underbrace{\mathbb{H}[Y \mid x, \mathscr{D}]}_{\text {predictive }}=\underbrace{\mathbb{[}[Y ; \omega \mid x, \mathscr{D}]}_{\text {model }}+\underbrace{\mathbb{E}_{\mathrm{p}(\omega \mid \mathscr{D})}[\mathbb{H}[Y \mid x, \omega]]}_{\text {data }} .
$

## 2.1.2 モデルの不確実性

モデルの不確実性は，モデルが特徴表現として獲得できていない，知識の欠如に由来する不確実性で ある. 特に訓練データ分布と大きく異なる文章に対 し, 不確実性が高くなる. 知識の欠如のため, 該当 する訓練データを増やすことで減少する不確実性と して知られている。 モデルの不確実性の尺度は，(1)式の第一項で表す, パラメータ $w$ と出力 $y$ との相互

## 2.1.3 データの不確実性

分類境界上の複雑な入力に対し, データの不確実性は高くなる. 訓練データを増やすだけでは減少し ない不確実性であり，根本的に該当するデータを取 り除くか修正する必要がある．データの不確実性の 尺度は, 事後分布 $p(\omega \mid D)$ からサンプリングされた モデルパラメータに対する予測エントロピーの期待值 $\mathbb{E}_{\mathrm{p}(\omega \mid \mathscr{)})}[\mathbb{W}[Y \mid x, \omega]]$ として表される.

## 2.2 不確実性に基づく文章の分析方法

本節では不確実性に基づく文章の分析方法を説明 する. テストデータから不確実性を軸に誤分類リス クの高い文章傾向を分析する. モデルの不確実性の 尺度を用い，データ不足が要因の文章傾向を調べ， データの不確実性の尺度を用い，データの複雑さが 要因となる文章傾向を調べる。分析方法はそれぞれ の尺度の高い文章と低い文章を上位 $k \%$ を人が読
み，頻出する文章パターンの傾向をまとめる.

## 3 実験

3 種類の文章分類データセットを用いて，データ の不確実性とモデルの不確実性の高い文章傾向を調査する.

## 3.1 データセットとモデル

3 種類の文章分類データセットを用いる. 感情分析に2クラス分類の Amazon 商品レビュー marc-ja [11] と3クラス分類の twitter の呟きデータ wrime [12]，9クラス分類のニュース記事 livedoor-news を 用いる。事前学習済み cl-tohoku/bert-base-japanese ${ }^{1 \text { ) }}$ を用いる。BERTのアーキテクチャは 12 層, 隠れ次元数は 768 , アテンションヘッド数は 12 ある $110 \mathrm{M}$ パラメータを持つ. 事前学習には, 約三千万データ を含む日本語版の Wikipediaを使用している. トー クナイザーにはワードピースレベルで MeCabを用 いる。語彙数は 32,768 である.

## 3.2 実験設定

不確実性の定量化手法には Deep Ensembles [13] を 用いる. Deep Ensembles は BERT の出力層の初期値 の seed 值を変えて， $M=5$ でアンサンブルする. BERT を微調整するために，エポック数 3 , 学習率 は $5 e-5$, バッチサイズは 16 , 文章長は marc-ja と livedoor-news で 512, wrime は 140 とする.

各不確実性と誤分類リスクとの関係調査に, [14] が提案した選択的予測に使われる RCC-AUC と Accuracy（Acc）を用いる.リスクカバレッジカー ブ (RCC) は，予測棄却基準に応じたテストデータに 対する累積誤分類数を示すグラフである。曲線下の 面積が小さいほど，不確実性の推定値が誤分類リス クの基準に良いことを示す. 予測棄却基準に全体の 不確実性 (TU), データの不確実性（DU），モデル の不確実性（MU）を用いる. それぞれの不確実性 の尺度には， 2.1 節で説明した指標を用いる.

本実験では，文章傾向の定性的調査にデータ分析経験 2 年以内の NLP の業務経験もない分析者 3 名が おこなう。これは，事前知識と経験をもとに傾向を 発見するのを防ぐためである. 分析者は marc-ja の テストデータ全体の $5 \%$ \%たる不確実性の高い文章 300 件と不確実性が低い 300 件から傾向を探す.

分析者が発見した不確実性の高い文章傾向を定量

1) https://huggingface.co/cl-tohoku/bert-base-japanese
化し，分類困難な要因か検証する．分類困難な要因 は，不確実性の高い文章の傾向が不確実性の低い文章と比較し, 出現頻度が高く, 精度が低いとする. したがって, 定量化可能な傾向は, 不確実性の高い 文章集合と低い文章集合に対し, 出現数と精度を計算する.

## 3.3 実験結果

各データセットでの Deep Ensembles の Accuracy を表 1 に示す. wrime は twitter のデータで口語調 のため, 精度が低い. 各データセットでの Deep Ensembles の RCC-AUC を表 2 に示す. RCC-AUC が 小さいほど，誤分類リスクのある文章を不確実性の 尺度で棄却できる。結果，DU が 2 つのデータセッ トで最も小さく, wrime は TUが最も小さい. marc-ja における定性的傾向分析結果を表 3 と表 4 に示す. 表 3 はデータの不確害性の高い文章から 発見できた定性的な傾向を示す。 ハードサンプルは 文章の文脈的にラベル付けが困難なサンプルであ る. “ネガポジ・ポジネガ文”は, 文章の序盤はポジ ティブだが，終盤ではネガティブな内容な文章を指 す. “ネガポジ形容詞なし" は，明示的にネガポジに 関する形容詞はでてこず，暗黙的に感情が表現され ている文章を指す。”変換ミス”は，タイピングミス を指す. ”別商品と比較” は，レビュー対象の商品 ではなく, 比較対象の商品を評価する文章である. データノイズは文章の文脈に依存しないエンコード ミスといった表面上のノイズを表す。”同じ文字の 繰り返し”は，1 文章の中に 3 回以上続けて同じ文字が使われる文章を指す。

表 4 はモデルの不確実性の高い文章から発見でき た定性的な傾向を示す. カテゴリを未知語・低頻出 と悪評や皮肉のような表現と分類する.未知語・低頻出は訓練データにほどんど存在しない珍しい文章 を表す。 “英単語” は，文中に英単語が 10 単語以上 ある文章を表す。”固有名詞” は，文中の固有名詞の 割合が $10 \%$ 以上ある文章を表す。”特殊記号” は，文中の英数字以外の文字列が $10 \%$ 以上ある文章を表 す. 悪評や皮肉のような表現は，文章全体ではポジ ティブだがネガティブと予測される言い回しであ る. 定性的な調査では, “良い意味で” に続くフレー ズがネガティブな内容なため, ネガティブと予測さ れている文章が散見された。

表 5 に各定性的分析結果から出現数と精度を示 す. 7 項目中 5 項目は予測モデルの分類困難な要因

表 1 各データセットの精度比較結果

表 2 各データセットの RCC-AUC $\downarrow$ 比較結果

と考えられる。一方で，"同じ文字の繰り返し”と”英単語” に関しては不確実性が高さに関係がなく,分析者のバイアスだった.

## 4 考察

## 4.1 モデルの不確実性とデータの不確実性 が誤分類と関係があるのか

両方の不確実性の推定が予測精度と関係はある が，DU の方が顕著な傾向が見えた．表 2 の結果か ら，RCC-AUC では，DUが最も性能が高く，誤分類 リスクを測る尺度であることがわかる。この結果 は，[15] の事前学習みモデルを用いないLSTM の結果と類似する。事前学習済みモデルの微調整でも同様の結果が得られた. TU は DU と類似した結果を 示すが，MU を含み，わずかに劣る結果になった. この結果は，MU が分布外サンプルの検出精度が高 いが，本実験のテストデータには，分布外データが 少ないことによるものと考えられる. 今後は日本語文章の分布外検出精度を評価する。

## 4.2 モデルの不確実性やデータの不確実性 が高くなる文章の傾向はあるのか

発見した傾向のカテゴリは既存研究と同様の結果 が得られた [15]. 表 3 と表 5 からデータの不確実性 が高い文章の傾向カテゴリは，人間が読んでも分類 が困難な文章やデータノイズである。しかし，本研究では，詳細に傾向を調べた。具体的な分類困難な 文章は，表 5 の”ネガポジ・ポジネガ”や”ネガポジ 形容詞なし”からわかる. 特に, “ネガポジ形容詞な し”は不確実性の高い上位 300 件に 24 文章含む。一方で，不確実性が低い上位 300 件には 3 件しか含ま れておらず，DUが高い顕著な傾向である．また， そのときの正答率も $41 \%$ 差がある.

同様にモデルの不確実性が高い文章の傾向は，訓練データに少ない単語や記号を含む文章である．分析者が見つけた傾向の “固有名詞”と"特殊記号” は,

 &  &  \\

表 5 予測の不確実性の文章傾向の定量化の結果 (Marc-ja). 傾向の黒字は, 不確実性が高いときにカウント が多く，正答率が低い分類困難な要因を表す.

 & 正答率 \\

& Low & $40(13 \%)$ & 1.00 \\

& Low & $3(1 \%)$ & 1.00 \\

& Low & $1(0.3 \%)$ & 1.00 \\

& Low & $48(16 \%)$ & 1.00 \\

& Low & $15(5 \%)$ & 0.98 \\

& Low & $2(0.6 \%)$ & 1.00 \\

& Low & $10(3 \%)$ & 1.0 \\

訓練データに低頻出な文章と考える. “特殊記号”の 場合，MUが高い 300 件中 20 件含まれ，精度は $62 \%$ と低い.一方で，MU が低い 300 件中に 10 件しか なく，精度が $100 \%$ と高いことから，"特殊記号”は MU が高い傾向と考える.

## 4.3 予測の不確実性に基づく文章分析は分類困難な要因を示せるか

予測モデルの分類困難な要因を示すため，予測の 不確実性を定量化し，定性的な分析をおこなった。予測の不確実性が高いときのみ文章数が多く，精度 が低い文章傾向を分類困難な要因とした。表 3 と表 4 から不確実性に基づく文章分析は，データの不確実性からハードサンプルとデータノイズを発見で き，モデルの不確実性から未知語や低頻出な単語を 発見できた. また，表 5 の結果から，この傾向は不確実性が高い文章のみ精度が低く, 出現頻度が多い ことがわかる. さらに，表 5 の定量化可能な傾向に 絞ると，分類困難な要因は 7 個中 5 個あった. この 結果から，予測の不確実性から発見する傾向の多く は分類困難な要因を表す。

## 5 まとめ

予測の不確実性に基づく文章分析から分類が困難 な文章傾向を実験的に示した．定量化可能な傾向の 7 種類中 5 種類は，不確実性が高い文章で誤分類率 が高く, 文章の出現頻度も高く, 分類困難な文章傾向だった. 結果として，不確実性の高い文章には予測モデルの分類困難な文章傾向が多く発見された. しかし，定量化できていない傾向も多く，人が全て の文章をグループ化したわけではない. グループ化 されていない文章が人に与える影響の調査が今後の 課題である.

## 参考文献

[1] Yibo Hu and Latifur Khan. Uncertainty-aware reliable text classification. In Proceedings of the 27th ACM

SIGKDD Conference on Knowledge Discovery amp; Data Mining, p. 628-636, 2021.

[2] Radford M Neal. Bayesian learning for neural networks, Vol. 118. Springer Science \& Business Media, 2012.

[3] Alexios Gidiotis and Grigorios Tsoumakas. Should we trust this summary? Bayesian abstractive summarization to the rescue. In Findings of the Association for Computational Linguistics: ACL 2022, pp.4119-4131, May 2022.

[4] Liat Ein-Dor, Alon Halfon, Ariel Gera, Eyal Shnarch, Lena Dankin, Leshem Choshen, Marina Danilevsky, Ranit Aharonov, Yoav Katz, and Noam Slonim. Active Learning for BERT: An Empirical Study. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7949-7962, November 2020 .

[5] Neeraj Varshney, Swaroop Mishra, and Chitta Baral. Towards improving selective prediction ability of NLP systems. In Proceedings of the 7th Workshop on Representation Learning for NLP, pp. 221-226, May 2022.

[6] Jakob Gawlikowski, Cedrique Rovile Njieutcheu Tassi, Mohsin Ali, Jongseok Lee, Matthias Humt, Jianxiang Feng, Anna Kruspe, Rudolph Triebel, Peter Jung, Ribana Roscher, et al. A survey of uncertainty in deep neural networks. arXiv preprint arXiv:2107.03342, 2021.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), June 2019.

[8] David John Cameron Mackay. Bayesian methods for adaptive models. California Institute of Technology, 1992.

[9] Lewis Smith and Yarin Gal. Understanding measures of uncertainty for adversarial example detection. arXiv preprint arXiv:1803.08533, 2018.

[10] Yarin Gal. Uncertainty in deep learning. 2016.

[11] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, June 2022.

[12] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, June 2021.

[13] Balaji Lakshminarayanan, Alexander Pritzel, and Charles Blundell. Simple and scalable predictive uncertainty estimation using deep ensembles. Advances in neural information processing systems, Vol. 30, , 2017.

[14] Ran El-Yaniv and Yair Wiener. On the foundations of noise-free selective classification. J. Mach. Learn. Res., Vol. 11, p. 1605-1641, aug 2010.
[15] Yijun Xiao and William Yang Wang. Quantifying uncertainties in natural language processing tasks. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 7322-7329, 2019.
 太田真人 1 ファイサル・ハディプトラ 1 1 電通国際情報サービス \{ota.m, faisal.hadiputra\}@isid.co.jp  