# 一般性を考慮した言語処理モデルの Shortcut Reasoning $の$ 自動検出

原口大地 ${ }^{1}$ 白井清昭 1 井之上直也 ${ }^{1,2}$
1 北陸先端科学技術大学院大学 2 理化学研究所
\{s2110137,kshirai,naoya-i\}@jaist.ac.jp

## 概要

Shortcut Reasoning は言語処理モデルの非合理的 な推論であり，頑健性を損ねる主な原因とされて いる. 先行研究では，Shortcut Reasoningを発見し，低減させる試みが行われているが，それらの手法 は様々な問題点を抱えている。本研究では，推論 パターンとその一般性をモデルから抽出・計算し， Shortcut Reasoning を自動的に検出する手法を提案す る. 実験の結果，提案手法は既に明らかになってい る Shortcut Reasoning を検出できたことに加え，未知 のものを発見することにも成功した.

## 1 はじめに

近年，事前学習モデルをはじめとした自然言語処理モデルがあらゆるタスクで精度の向上を見せてい る。一方で，学習データ内の交絡あるいは疑似相関 (Spurious Features) [1, 2, 3] にモデルが依存すること で発生する，推論プロセスにおける非合理的な推論 (Shortcut Reasoning) が指摘されている $[4,5,6]$.

Shortcut Reasoning は，学習データと同じ分布 を持つデータ (Independent and Identically Distributed: IID) と比べて，異なる分布を持つデータ (Out of Distribution: OOD) の解析性能を下げる，すなわち頑健性を低下させることが懸念されている。

Shortcut Reasoningを発見・解消させようとする 試みは既に行われているが $[7,8,9]$, そこで提案さ れた手法は，(i) Shortcut Reasoning の形態について 事前に想定している，(ii) モデルの内部情報を考慮 していない，(iii)人手による判定を必要としてい るという制約を持っている。(i) は事前に想定した Shortcut Reasoning に対してのみ検証をするため，モ デルに潜在する未知のものを明らかにできない可能性がある。（ii)については，内部情報を使わない手法の多くが何らかの編集や特徴を加えた入力を作成
し，それに対する出力を分析することで，Shortcut Reasoning の存在を明らかにしようとしているが， この手法によって我々が知り得るのはモデルの出力のみであり，得られる情報には限度がある。(iii) に関しては，単純にコストがかかるのに加え，一見 Shortcut Reasoning に見えないような事例を見逃す可能性がある等の課題を抱えている.

以上の 3 つの課題の解決に取り組んだ研究 [10] は いまだ少数であり，十分な研究成果が得られていな いのが現状である。本論文は，最小限の仮定で，内部情報を利用しながら，人手での判定を必要とせず に自動的に Shortcut Reasoning を検出する手法を提案する．具体的には，モデルの推論プロセスにお ける規則性 (推論パターン) を抽出し，IID と OOD の入力に対する有効性を比較することで，Shortcut Reasoning の存在とその形態を明らかにする.

## 2 Shortcut Reasoning の検出

本節では，Shortcut Reasoning の検出に先立ち，推論パターン (2.1 項) とその抽出方法 (2.2 項), 一般性 (2.3 項)，Shortcut Reasoning の判定手法 (2.4 項)を定義し，これを踏まえて Shortcut Reasoning 検出の具体的な手順を説明する (2.5 項).

## 2.1 推論パターン

本研究では，ある入力に対するモデル $f$ の推論 プロセスにおいて，何らかのトリガー (Trigger) が特定のラベル (Label) の予測をもたらす規則を推論パ ターンと定義する。推論パターン $p$ は形式的に次の ように定義できる.

$
p \stackrel{\text { def }}{=} \text { Trigger } \xrightarrow{f} \text { Label }
$

以降，簡易な記法として $p=(t, l)$ と表す。 $t$ はトリ ガー， $l$ はラベルを表す.

## 2.1.1 推論パターンの分類

Shortcut Reasoning は学習データの Spurious Features によりもたらされるが，それらが推論パターンにお けるトリガーとラベルであることは，その推論パ ターンが Shortcut Reasoning であることの必要条件 といえる. したがって，推論パターンの定義におい て, Spurious Features の特徴を十分に考慮する必要 がある.

Pezeshkpour らは, Spurious Features には Granular feature (語彙的素性) と Abstract feature (抽象的素性) の 2 種類があると分類している [8]. 前者は, “Spielberg”のような予測と無関係な個別の単語であ る. 後者は，単語の重複 (Lexical overlap) のように表層的に現れない高次なパターンのことを指す.

この分類を推論パターンにも適用し, Granular featureをトリガーとする推論パターンを語彙的推論 パターン, Abstract feature をトリガーとする推論パ ターンを抽象的推論パターンとする．なお，抽象的推論パターンについては，この論文では扱わず，今後の課題とする. 以後，特に断りがない限り，「推論パターン」あるいは「p」は語彙的推論パターン を指すものとする。

## 2.1.2 語彙的推論パターンの定義

2.1.1 の分類より, 語彙的推論パターンのトリガー $t$ を単語の系列 $\mathbf{w}=\left.\{w_{1}, w_{2}, \ldots, w_{n}\right.\}$ で表す (式 (2)).

$
p_{\text {granular }} \stackrel{\text { def }}{=} \mathbf{w} \xrightarrow{f} \text { Label }
$

単語の系列である理由は，語彙的素性はある特定の 一単語ではなく, 複数単語の組み合わせ等の多様な 形態を持っていると想定し, それに対応するためで ある。

## 2.2 推論パターンの候補の抽出

推論パターンを抽出する手法として，新たに Input Reduction (IR)を導入する．IR では，式 (2)における トリガー $\mathbf{w}$ につて，ラベルの予測に必要となる最低限の単語の系列と考える。 また, Label はそれを 入力としたときの出力ラベルとする. これは，トリ ガーがある予測ラベルを引き起こすためだけに用い られた情報であることを保証するためである.

IR の大きな流れは以下の通りである。あるデー タセットすを入力として受け取った後，データセッ トの各インスタンス $(x, y)$ について，推論パターン の候補 $w=(\mathbf{w}, l)$ を抽出し, その集合 $C$ を出力する.

候補の抽出では，入力系列 $x$ が与えられたとき， $x$ に含まれる各単語に対して一つずつマスクをかける ([MASK] に置換する). マスクの数を増やしていき， それを入力をしたときの予測が変化するまで繰り返 す. 予測が変われば，その直前の系列をトリガーと する推論パターンの候補を得る。

しかしながら，ナイーブな実装ではマスクの組 み合わせが膨大になり計算量が負担となる。した がって，Integrated Gradient (IG)[11]を利用して，予測に対する重要度の低い単語順にマスクをかける (Algorithm 1).

## 2.3 一般性の計算

推論パターンを，推論における「パターン」と呼 ぶためには，一定の規則性が認められなければなら ない. そこで，推論パターンの一般性を計算する。

$C$ の $i$ 番目の推論パターン候補 $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right)$ の一般性 $g_{i}$ を次のように計算する。Dとは別のデータ セット $D^{\prime}$ を用意し，トリガーの単語の系列 $\mathbf{w}_{i}$ を含 む事例の集合 $\left(x_{j}^{\prime}, y_{j}^{\prime}\right) \in E\left(\mathbf{w}_{i}\right)$ を $D^{\prime}$ から取得する. このとき，それぞれの事例に対する予測 $f\left(x_{j}^{\prime}\right)$ がラ ベル $l_{i}$ と一致する割合をその推論パターンの候補の 一般性とする。形式的には次のように定義する ${ }^{1)}$ :

$
g_{i} \stackrel{\text { def }}{=} \frac{\sum_{x_{j}^{\prime} \in E\left(\mathbf{w}_{i}\right)}\left[f\left(x_{j}^{\prime}\right)=l_{i}\right]}{\left|E\left(\mathbf{w}_{i}\right)\right|} \times 100
$

## 2.4 Shortcut Reasoning の判定

1 節より，推論パターンが Shortcut Reasoning であ ることの条件として，(i) IID の入力に対しては有効

に機能するが，(ii) OOD の入力に対しては有効では ないことの両方を満たしていることが挙げられる。

条件 (i) は，IID のデータセット $D_{\text {IID より抽出さ }}$ れた推論パターンが正しく正解ラベルを予測できて いれば，その条件を満たすことになる。条件 (ii) は， OOD のデータセット DOOD からトリガー $\mathbf{w}$ に合致 する事例の集合 $\left(x^{\prime}, y^{\prime}\right) \in E(\mathbf{w})$ を取得し，その予測 の多くが誤りであればその条件を満たすといえる. そこで， $E(\mathbf{w})$ と $D_{\mathrm{OOD}}$ における予測の F1 スコアの 差 $\Delta$ を計算し(式(4)), その差を推論パターンがどれ だけ OODでの予測に失敗しているかの指標とする。

$
\Delta \stackrel{\text { def }}{=} \mathrm{F} 1(E(\mathbf{w}), f)-\mathrm{F} 1\left(\mathscr{D O O D}_{\mathrm{OD}}, f\right)
$

したがって，ある推論パターン $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right)$ が Shortcut Reasoning であるとは，そのトリガー $\mathbf{w}_{i}$ に 合致する $E\left(\mathbf{w}_{i}\right)$ について $\Delta_{i}$ が小さく, かつラベル $l_{i}$ に関する条件 (i)を満たすことと定義する. 形式的 には, Shortcut Reasoning の集合 $\tilde{P}$ は式 (5) のように 書ける。

$
\tilde{P} \stackrel{\text { def }}{=}\left.\{p_{i}=\left(\mathbf{w}_{i}, l_{i}\right) \in C \mid l_{i}=y_{i}, \Delta_{i}<0\right.\}
$

ここで， $y_{i}$ は推論パターン $p_{i}$ の抽出に用いた IID の データの正解ラベルである.

## 2.5 Shortcut Reasoning 検出の手順

手順は大きく分けて 3 つのステップから成る．ス テップ 1 では， D 補 $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right) \in C$ を抽出する．ステップ2では，抽出された候補の一般性 $g_{i}$ を $D_{\mathrm{OOD}}$ を用いて計算し，一般性の高いものを推論パターンとして定義する。最後に，ステップ 3 では，推論パターンのうち，条件 (i, ii) に当てはまるものを Shortcut Reasoning と判定する(式 (5)).

## 3 実験

## 3.1 設定

Sentiment Analysis (SA) と Natural Language Inference (NLI)の2つのタスクを対象に，提案手法の実験を行 う. 提案手法が適切に Shortcut Reasoning を検出で きているかの検証に既知の情報を必要とするが，こ れらのタスクは先行研究によって Shortcut Reasoning の形態が報告されていることが採用の背景にある.

今回の実験では，Shortcut Reasoning の基準を $\Delta<-5$ と設定する．また，一般性の低い推論パター
ンをより正確に排除するために， $|E| \geq 100$ である推論パターンのみを分析の対象とする。

## 3.1.1 データセットと予測モデル

SA TweetEval [12] は Twitter に投稿されたツイー トにいくつかの情報がアノテーションされた英語の データセットである. sentiment はそのサブセットで あり，positive/neutral/negative の 3 つの極性クラスが ラベル付けされている。 MARC [13] は Amazon にお ける多言語の商品レビューと 5 段階の星の数による 評価がアノテーションされたデータセットである.今回は英語を使う．前処理として，5 段階の評価に 関して，星の数が 4 以上のレビューを positive， 3 を neutral，2 以下を negative とした.

NLI MNLI [14] は, premise と hypothesis の 2 つの 文に対し entailment/neutral/contradiction の 3 つのラ ベルがアノテーションされた NLI のデータセッ トである. contradiction がラベル付けされている 事例の hypothesis の多くに negation が含まれると いう Spurious Feature が明らかになっている [1]. ANLI [15] は MNLI 同様に 3 種類のラベルがアノ テーションされており，MNLIよりも複雑で難易度 の高い NLI のデータセットである.

本実験では，IID として TweetEval と MNLI，OOD として，MARC と ANLIを使用する。実験に使用し たデータセットの詳細を付録 A に示す.

予測モデルは, Huggingface で公開されている RoBERTa [16] ベースの fine-tuned モデルを使用する.詳細は付録 B に示す。

## 3.1.2 Input reduction の適用先

Input reduction の入力として, train (学習データ) と test (テストデータ)の 2 通りを用いる. 前者はモデ ルの傾向 (内部状態)を捉えた推論パターンが得られ ることを期待する。後者は，推論パターンを得るた めの最も直観的な手法である．本実験では，ランダ ムに選んだ 1,000 件のデータに IRを適用する.

## 3.2 結果

検出された Shortcut Reasoning に該当する推論パ ターンを表 1 に示す. train/test は，推論パターンが それぞれ train, test に対して IRを適用して抽出され たかを表し，パターンが得られた場合は $\mathrm{T}$ ，なけれ ば $\mathrm{F}$ と記す.

$\mathbf{S A}$ 得られた推論パターン全体を見てみると，そ
表 1 検出された Shortcut Reasoning の例

の多くが [“love”] $\rightarrow$ positive や [“awful”] $\rightarrow$ negative 等 の感情語に関連したものであった. このことから， SA においてモデルは感情語を予測の重要な手がか りとしていることがわかる. Shortcut Reasoning であ るものについても，感情語を含む推論パターンが多 かった.したがって，Shortcut Reasoning は必ずしも 先行研究で報告されている [“Spielberg”] $\rightarrow$ poitive の ような予測と無関係な単語のみに反応しているので はないことがわかる。一方，そのような予測と無関係な単語がトリガーとなる推論パターンは得られな かったが，IID と OODを逆にした設定では異なる結果が得られる可能性がある.

MARC に関して, neutral とラベル付けされたレ ビュー(星3つ)においては positiveな表現と negative

が大きい推論パターンを観察してみると，総じて neutral を誤って予測していることから，本来であれ ばレビューを総合的に評価しなければならないにも 関わらず，レビュー中のどちらか一方の極性の感情語だけに依存して推論していることがわかった.

NLI“s”は入力の premise と hypothesis を隔てる目印である. 得られた推論パターンを概観してみる と, hypothesis に含まれる単語がトリガーの大半を 占め, premise の中の単語を含む推論パターンは数件しかなかった. この結果はモデルが hypothesis に 依存して文間関係を予測している2)ということを意味し, 同様の結果が Poliak 等によって報告されてい る [2]. さらに，否定表現が hypothesis に含まれてい る推論パターンが多く Shortcut Reasoning として判定されたが，これについても先行研究 [1] で指摘さ れている Shortcut Reasoning である. 以上から，提案手法が多様な Shortcut Reasoning を適切に検出でき ていることがわかった.

train or test Input reduction の適用先について, train と testから得られた推論パターンには大きな差は見 られなかった. 具体的なパターンは異なるが, 特徴 はおおむね同じであった。
論パターンに分類されるものである.

## 未知の Shortcut Reasoning と考えられるもの NLI では hypothesis に含まれる [“popular”] $\rightarrow$ neutral や， [“as", "well"] $\rightarrow$ neutral が新しい Shortcut Reasoning と して得られた. どちらも一般性，スコア差ともに 十分に Shortcut Reasoning と判断できる水準にある.一方，SA については特に見つけることができな かった。

## 4 関連研究

Wang らは, 事前の定義なしに自動的に Shortcut Reasoning を検知する手法を提案している [10]. こ の研究では出力ラベルの予測に有効な特徴 ([“good”] $\rightarrow$ positive, [“bad"] $\rightarrow$ negative 等) は Shortcut Reasoning になりえないとし，それらを排除した上で明らか に予測に関係のない特徴 ([“Spielberg”] $\rightarrow$ positive 等）のみを検知しょうとしている. しかしなが ら, Joshi らによると, 自然言語処理のタスクにお いて Shortcut Reasoning の原因となる特徵（Spurious Features）は，大半が予測のための有力な情報であ ることを示しており [17]，このような特徴を排除す ることは適切とは言えない. さらに, 2.3 項で述べ た推論パターンの一般性を考慮していないため，検出された Shortcut Reasoning が実際にどの程度予測 に影響を与えているのかわからないという問題点を 持っている.

## 5 おわりに

本研究では，モデルの推論パターンを新たに定義 し， Shortcut Reasoning を検知する手法を提案した。実験結果では, Shortcut Reasoning の形態についての 最小限の定義で, 先行研究で明らかになっていた Shortcut Reasoning に加え，少量ながら未知な新しい ものを自動的に検知することに成功した. 今回設定 した推論パターンは語彙的推論パターンにのみ対応 しており，抽象的推論パターンへの対応は今後の課題である. さらに, 抽出型の機械読解等のより複雑 なタスクへの対応や，この手法で得られた Shortcut Reasoning の情報を応用し，モデルの頑健性を向上 させることにも取り組みたい。

## 謝辞

本研究は JSPS 科研費 19K20332 の助成を受けたも のです.

## 参考文献

[1] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation Artifacts in Natural Language Inference Data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Adam Poliak, Jason Naradowsky, Aparajita Haldar, Rachel Rudinger, and Benjamin Van Durme. Hypothesis Only Baselines in Natural Language Inference. In Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, pp. 180-191, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Viktor Schlegel, Goran Nenadic, and Riza Batista-Navarro. Beyond Leaderboards: A survey of methods for revealing weaknesses in Natural Language Inference data and models, May 2020. arXiv:2005.14709 [cs].

[5] Xuezhi Wang, Haohan Wang, and Diyi Yang. Measure and Improve Robustness in NLP Models: A Survey. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4569-4586, Seattle, United States, July 2022. Association for Computational Linguistics.

[6] Xanh Ho, Johannes Mario Meissner, Saku Sugawara, and Akiko Aizawa. A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension, September 2022. arXiv:2209.01824 [cs].

[7] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[8] Pouya Pezeshkpour, Sarthak Jain, Sameer Singh, and Byron Wallace. Combining Feature and Instance Attribution to Detect Artifacts. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1934-1946, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Xiaochuang Han, Byron C. Wallace, and Yulia Tsvetkov. Explaining Black Box Predictions and Unveiling Data Arti- facts through Influence Functions. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5553-5563, Online, July 2020. Association for Computational Linguistics.

[10] Tianlu Wang, Rohit Sridhar, Diyi Yang, and Xuezhi Wang. Identifying and Mitigating Spurious Correlations for Improving Robustness in NLP Models, May 2022. arXiv:2110.07736 [cs].

[11] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic Attribution for Deep Networks, June 2017. arXiv:1703.01365 [cs].

[12] Francesco Barbieri, Jose Camacho-Collados, Luis Espinosa Anke, and Leonardo Neves. TweetEval: Unified benchmark and comparative evaluation for tweet classification. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1644-1650, Online, November 2020. Association for Computational Linguistics.

[13] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online, November 2020. Association for Computational Linguistics.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[15] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, Online, July 2020. Association for Computational Linguistics.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[17] Nitish Joshi, Xiang Pan, and He He. Are All Spurious Features in Natural Language Alike? An Analysis through a Causal Lens, October 2022. arXiv:2210.14011 [cs].

[18] Twitter-roBERTa-base for sentiment analysis, 20231 閲 覧. https://huggingface.co/cardiffnlp/ twitter-roberta-base-sentiment.

[19] roberta-large-mnli, 2023-1 閲 覧. https: //huggingface.co/roberta-large-mnli.

## A データセットの詳細

## B 使用したモデルの詳細


 原口大地 ${ }^{1}$ 白井清昭 1 井之上直也 ${ }^{1,2}$ 1 北陸先端科学技術大学院大学 2 理化学研究所 \{s2110137,kshirai,naoya-i\}@jaist.ac.jp  