# コンテキストの量が質問応答モデルのショートカット推論に与 える影響について

秋元康佑 竹岡邦紘 小山田昌史
NEC データサイエンス研究所
$\{$ kosuke_a,k_takeoka, oyamada\}@nec.com

## 概要

質問応答は近年活発に研究が進められている言語理解タスクであるが, 近年の深層学習を利用した質問応答モデルは訓練データセット中のバイアスを利用したショートカット推論に陥りやすいことが知ら れている.一方この問題に関する既存研究の分析は ショートカット推論を促す情報源文章の特徴に関 するものがほとんどであり, 情報源文章の数（長さ） が変化した場合のショートカット推論の挙動につい ては詳しくわかっていない. 本研究ではオープンド メイン質問応答の設定に注目し, 特に検索によって 得られた情報源文章を利用する retrieve-then-read 方式の質問応答モデルが持つショートカット推論の挙動が情報源文章の数によってどのように変化するか を調べた. 実験の結果, そのような質問応答モデルは 回答に必要ない不要な情報源文章の数が増えるほど ショートカット推論を引き起こしやすくなり,この 問題が主にモデルに悪影響を及ぼす一部の文章に よって引き起こされていることがわかった.

## 1 はじめに

質問応答 (question answering) とは, 利用可能な情報源文章（コンテキスト）を基にユーザーから与えら れた質問文に対する回答を自動的に作成するタスク である. 近年では大規模なベンチマークデータセッ 卜[1]が公開されるなど活発に研究が行われており,大規模言語モデルの利用などによって一部のベンチ マークデータセットに対する性能が人間を超えるな ど性能面での進歩も著しい [2].

一方で質問応答モデルが本来意図されていた言語理解能力ではなく, 訓練に利用したデータセットに 含まれるバイアスなどを利用したショートカット推論 [3] を学習してしまう事例も報告されており,ベン チマークデータセット以外への実応用に向けた課題
となっている. 例えば [4]では質問応答モデルが質問と単語の重複が大きいコンテキスト文に依存して おり,そうした文に正答が含まれない場合に誤答が 増える結果が報告されている。

本研究では特にコンテキストが明示的にシステ ムに与えられないオープンドメイン質問応答の設定に注目し，そのような設定で近年よく用いられる retrieve-then-read 方式 [5] と呼ばれるシステムが持つ ショートカット推論への脆弱性について研究する. retrieve-then-read 方式のシステムは質問文をクエリ としてコンテキストを外部コーパスから検索して得 る. そのため質問文とコンテキストとの単語的・意味的な類似度が大きくなりやすい特徴があり, 前述 した従来研究において指摘されているショートカッ 卜推論に対する脆弱性が大きな課題となりうる.さ らにこうしたシステムでは検索の recall を確保する ため比較的多くの文章 (100 個程度まで) を利用する ことが一般的 [6] であるため, モデルにショートカッ 卜推論を促す文が複数含まれる可能性がある。

しかしショートカット推論に関する従来研究はコ ンテキストに含まれる文章の内容（意味や単語）を 対象に分析を行っており,コンテキストに含まれる 文章の量に関連するショートカット推論の挙動は著者らの知る限り [7] における限定的な実験があるの みである.

さらにコンテキストの量は推論時だけでなく， retrieve-then-read 方式の質問応答モデルを訓練する 際にも性能に影響を与えていることが示されている $[6,8]$. しかし特に質問応答に不要なコンテキストの 量が性能に与える影響が明らかになっていないな ど, 訓練時のコンテキストの量に関する研究もまだ 十分行われているとは言えない。

そこで本研究では retrieve-then-read 方式の質問応答システムの訓練および推論の挙動が,コンテキス ト中の必要な文章 (positive passage) と必要ない文章
(negative passage)の量にどのように影響を受けるか を分析する.この研究は現在進行中であるが, 本稿で は執筆時点で完了している推論時の挙動に関する実験の結果について報告する。

## 2 関連研究

与えられた自然言語文のコンテキストを利用して 質問応答を行う機械読解の分野は近年 SQuAD デー タセット [1] などの大規模なべンチマークが公開 されるなど活発に研究が行われており, 大規模言語モデルを利用した手法 [9] などが提案されてい る.またコンテキストが明に与えられないオープン ドメイン質問応答の分野の研究も盛んに行われて おり, Wikipedia などの外部知識源から質問に関連 する文章を検索してコンテキストとして利用する retrieve-then-read 方式 [5] が現在主流となっている. retrieve-then-read 方式ではコンテキストに含まれる 情報の recallを増やすため比較的多くの文章をコン テキストとして利用することがあり, 効率的に複数 の文章の情報を利用するために RAG[10] や FiD[6] などのモデルが提案されている.

一方で学習された質問応答モデルがデータセット に含まれるバイアスに頼ったショートカット推論 [3]を学習してしまっていることを示唆する事例も 多数報告されている $[11,4,12,13,14,15,16,17,7,18]$.例えば $[11,4,7]$ ではモデルが質問文と単語的な重複 が大きい文に注目して誤答してしまう傾向があるこ とを示す結果が報告されており, [16] では特にモデ ルが注目している質問文中の単語が重複している場合にこの傾向が強いことが示されている. また質問応答モデルはエンティティの型情報も利用してお り,エンティティの型のみを考慮して正答が得られ るバイアス [14]を利用したショートカット推論を学習してしまいうることが示されている [15]. これら の既存研究では主にモデルにショートカット推論を 促しやすいコンテキストの内容に関する分析を行っ ているが,一方でそのようなコンテキストの量に関連した分析も行っている研究は著者らの知る限り [7] のみで比較的少ない. ショートカット推論以外の 分野では, コンテキストに含まれる矛盾した情報の 量による質問応答モデルの挙動を分析した論文がつ い最近発表されている $[19,20]$.

## 3 実験

本章ではまず retrieve-then-read 方式の質問応答モ デルの推論時の性能が, コンテキスト1) 中の回答に 必要な情報を含む文章 (positive passage) と必要ない 文章 (negative passage) の量に依存することを示し (§3.3), この性能低下が特に質問応答モデルに性能低下を促す一部の文章 (hard negative passage) によって 引き起こされていることを示す.

## 3.1 データ

本稿における実験では, オープンドメイン質問応答のベンチマークデータセットである Natural Question[21]を利用した. 本実験では retrieve-thenread 方式の検索部分については分析の対象外とし, Wikipedia から DPR[22] によって検索された文章が 各質問に対するコンテキストとして予め付与されて いる, [6] における前処理済みデータを利用した.こ れらのデータセットにおける各質問のコンテキスト について,アノテーションされている正答を文字列的に完全一致で含む文章を positive passage, 含んでい ない文章を negative passage として取り扱った. 後述 するモデルの学習には train サブセットを利用する こととし ${ }^{2)}$, モデルの性能評価には $\operatorname{dev}$ サブセット を利用した ${ }^{3)}$.

## 3.2 質問応答モデル

本稿における実験では, 質問応答モデル (reader) として近年高い性能を示している FiD[6] と呼ば れる encoder-decoder モデルを対象とした．FiD は text-to-text タスクで利用される T5[23] を拡張したモ デルであり,より効率的な推論を実現するため複数 の入力文 $\left.\{s_{1}, \ldots, s_{n}\right.\}$ をそれぞれ独立に encoder $f_{\text {enc }}$ によってエンコードする ${ }^{4}$ ことが特徴である. 各入力文 $s_{i}$ のエンコード結果 $f_{\mathrm{enc}}\left(s_{i}\right)$ は結合されて decoder $f_{\mathrm{dec}}$ に入力され, 自己回帰的に出力文 $o$ が生成される ${ }^{\text {) }}$.(すなわち $[x ; y]$ をべクトル列 $x$ と $y$ の

1）本稿では個々の情報源文章 (passage) と，それらの集合とし てのコンテキストを用語として区別する。

2）実際に訓練データとして利用されるデータと early stopping のための検証用データの 2 つにさらに分割した.

3）全ての実験で同じ質問集合が評価に利用されるよう,この うち positive passage を 8 個以上, negative passage を 64 個以上持つような質問のみを利用した。

4） T5 と同様に, 大力文中の各トークンごとにベクトルが計算 される.

5） FiD は与える入力文の順序の並べ替えによって出力がほと んど変化しないことが報告されており [8], 著者らの予備実験
結合として, $o=f_{\mathrm{dec}}\left(\left[f_{\text {enc }}\left(s_{i}\right) ; \ldots ; f_{\mathrm{enc}}\left(s_{n}\right)\right]\right)$ である. $)$質問応答モデルとして利用される際は,一般的に質問文 $q$ とコンテキスト中の $i$ 番目の文章 $p_{i}$ を用い て $s_{i}=$ "question: $q$ context: $p_{i}$ "のようなテンプレー 卜に従い入力文 $s_{i}$ を作成し, 出力文 $o$ として正答を 出力させるように学習する ${ }^{6}$. また FiD を初期化す るための T5 モデルとしては, transformers ライブラ リ [24] の t5-base を利用した。

## 3.3 positive, negative passage の量による 性能変化

本節では質問応答モデルの性能がコンテキスト中 の positive passage と negative passage の個数によって どのように変化するかを調べる.

まず実応用に近い自然なコンテキストが入力され た際の挙動を調べるため, 各質問毎に positive passage と negative passage をそれぞれ重複なしで指定した個数サンプルフ)した場合の正答率を測った. 結果は表 1 の上部のようになっており ${ }^{8}$, 以下のような傾向が 観察された。

(1) 同じ positive passage の集合を与えられていて も, negative passage の個数が増えると正答率が 低下する。

(2) (1) の傾向は, positive passage の個数が少なくな るとより顕著となる。

より個数変化のみによる影響を評価するため, あ る 1 つの negative passage を指定した個数だけコピー してコンテキストに加えた場合の正答率も評価した (以後この設定を「重複コピー設定」と呼ぶ $)^{9}$. 結果 は表 1 の下部のように前述した (1)と同様の結果が 得られた. このことから (1) の結果は含まれる情報 の内容に一切の変化が無く個数のみが変化する場合 でも起こることが確認できた.

さらに (1) の結果がどの程度 negative passage 中の 矛盾する情報10) や正答の表記ゆれ由来の効果による

でも同様の結果が確認できたことから, 本実験ではコンテキ スト中の文章の順序については学習時, 推論時共に特に意識 しないこととした

6）本実験ではコンテキスト中の各文章 $p_{i}$ のタイトル $t_{i}$ も用 いて $s_{i}=$ "question: $q$ title: $t_{i}$ context: $p_{i}$ "とした.

7）各質問に対しランダムに 5 通りサンプルして結果を平均し た.

8）各行, 各列はそれぞれ同じ positive, negative passage の集合 に対する実験結果である。

9）各質問ごとに, 全ての negative passage に対して正答率を評価し結果を平均した。

10）例えば正答以外の別解が存在することを示す情報が挙げ られる.このような矛盾を含むコンテキストに対する分析も 行われているが $[19,20]$, そのようなコンテキスト中の矛盾に 対するモデルの望ましい挙動は応用次第で変わりうる. その表 1 positive および negative passage の個数の変化による 質問応答モデルの正答率 (exact match)の変化. all は各質問毎に利用できる positive または negative passage を全て利用 したことを示す.

図 1 negative passage が持つ相対スコアのヒストグラム.

ものなのかを明らかにするため, negative passage の 追加によって回答が変化した事例 ${ }^{11} を 100$ 個サンプ ルして人手評価を行った. その結果, positive passage のみ与えられていた場合にモデルが正解できていた 事例は 87 個存在し, そのうち変化後の回答が正答の 表記ゆれだった事例は 16 個 (18\%), negative passage 中に正答に矛盾する情報が含まれていた事例は 20 個 $(22 \%)$ であった. この結果から, 残りのおよそ半数 の事例については negative passage に矛盾する情報が 含まれないにも関わらずモデルが誤答を出力してし まっていることが確認された.

## 3.4 negative passage ごとの性能変化に及 ぼす程度の違い

本節では 83.3 で確認された negative passage の悪影響が, 個々の negative passage によってどのように 異なるかについて調べる.

## 3.4.1 hard negative passage

ある negative passage がモデルに悪影響を及ぼし ている度合いの指標として,ここでは $\$ 3.3$ の重複コ ピー設定でその negative passage を 64 個コピーして


図 2 ある閾値以下の相対スコアを持つ negative passage のみをコンテキストに追加した際の正答率の変化 (赤実線). 青破線は各閾值について同数の negative passage をラ ンダムに選んで追加した場合の正答率の変化を示す.

コンテキストに追加した場合に正答が出力される対数尤度 ${ }^{12)}$ がどれだけ変化したかの「相対スコア」13) を利用する. negative passage の相対スコア分布は図 1 のヒストグラムのようになっており,ほとんどの negative passage が 0 に近い相対スコアを持ってい る. 一方で一部の negative passage は大きな負の相対 スコアを持っており, モデルが正答を生成すること を強く阻害していることがわかる (以後このような negative passage を hard negative passage と呼ぶ).

そこで $\$ 3.3$ で確認された negative passage が及ぼ す悪影響が実際にはこの一部の hard negative passage の影響で引き起こされたのではないかという仮説を 検証するため, 相対スコアの昇順に negative passage を追加した際に正答率がどのように変化するかを 調べた (図 2). その結果, 相対スコアが昇順になるよ うに negative passage を追加した場合, 20 個程度しか 追加していない状態で全 negative passage を追加した 場合と同程度の正答率低下を再現できることがわ かった. このことから, 相対スコアが 0 に近い大部分 の文章はモデルの推論に大きな影響を与えず、主に hard negative passage が性能低下の原因であると考え られる。

## 3.4.2 hard negative passage の識別可能性

最後に \$3.4.1 でモデルの推論に対する悪影響が明 らかになった hard negative passage を, その文章の内


表 2 各文章特徴量と相対スコアの間の相関係数.

容から識別可能かどうかを調べた. §2 で述べたよう に既存研究においていくつかの文章特徴量にショー トカット推論との関連性が指摘されている.ここで はそれらのうち, 質問と文章の間の最長一致 $n$-gram 長 [11], 共通単語数 [4], および文べクトル間のコサ イン類似度 [14], そして retrieve-then-read システムの 検索システムによる文章の検索順位,の 4 つの特徴量を計算し相対スコアとの間のケンドールの順位相関係数 $\tau_{b}$ [25] によって相関の程度を評価した. 結果 は表 2 のようになっており, 弱い相関の存在は確認 できたものの hard negative passage かどうかの識別が 可能なほどの強い相関は確認できなかった ${ }^{14)}$.

## 4 結言

本稿では retrieve-then-read 方式の質問応答モデル が,コンテキストとして与えられる文章の量によっ てどのような影響を受けるかを調べた. その結果質問応答モデルは質問への回答に不要な文章が多くな るほど正答率が低下すること, そしてこの影響が主 にモデルの推論に悪影響を与えやすい一部の hard negative passage によって引き起こされていることが わかった. さらにある 1 つの不要な文章に注目した とき,コンテキスト中に何度も重複して出現させる ことで正答率を下げることができることも確認さ れた.

今後の課題としては, 本稿における実験結果を踏 まえて hard negative passage に対してよりロバストな 質問応答モデルを学習する方法を検討することが挙 げられる。

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. Squad: $100,000+$ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[2] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert:

14）特徴量による相対スコアの分布の変化は付録の図も参照 されたい.

A lite bert for self-supervised learning of language representations. In International Conference on Learning Representations, 2019.

[3] Robert Geirhos, Jörn-Henrik Jacobsen, Claudio Michaelis, Richard Zemel, Wieland Brendel, Matthias Bethge, and Felix A Wichmann. Shortcut learning in deep neural networks. Nature Machine Intelligence, Vol. 2, No. 11, pp. 665-673, 2020.

[4] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4208-4219, 2018.

[5] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading wikipedia to answer open-domain questions. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1870-1879, 2017.

[6] Gautier Izacard and Édouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874-880, 2021.

[7] Yichen Jiang and Mohit Bansal. Avoiding reasoning shortcuts: Adversarial evaluation, training, and model development for multi-hop qa. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2726-2736, 2019.

[8] Shujian Zhang, Chengyue Gong, and Xingchao Liu. Passage-mask: A learnable regularization strategy for retriever-reader models. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 3931-3943, 2022.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474, 2020.

[11] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2021-2031, 2017.

[12] Miyoung Ko, Jinhyuk Lee, Hyunjae Kim, Gangwoo Kim, and Jaewoo Kang. Look at the first sentence: Position bias in question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1109-1121, 2020.

[13] Wee Chung Gan and Hwee Tou Ng. Improving the robustness of question answering systems to question para- phrasing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6065-6075, 2019.

[14] Mingzhu Wu, Nafise Sadat Moosavi, Andreas Rücklé, and Iryna Gurevych. Improving qa generalization by concurrent modeling of multiple biases. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 839-853, 2020.

[15] Yuxuan Lai, Chen Zhang, Yansong Feng, Quzhe Huang, and Dongyan Zhao. Why machine reading comprehension models learn shortcuts? In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 989-1002, 2021

[16] Pramod Kaushik Mudrakarta, Ankur Taly, Mukund Sundararajan, and Kedar Dhamdhere. Did the model understand the question? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1896-1906, 2018.

[17] Kazutoshi Shinoda, Saku Sugawara, and Akiko Aizawa. Which shortcut solution do question answering models prefer to learn? arXiv preprint arXiv:2211.16220, 2022.

[18] Kazutoshi Shinoda, Saku Sugawara, and Akiko Aizawa. Look to the right: Mitigating relative position bias in extractive question answering. arXiv preprint arXiv:2210.14541, 2022.

[19] Hung-Ting Chen, Michael JQ Zhang, and Eunsol Choi. Rich knowledge sources bring complex knowledge conflicts: Recalibrating models to reflect conflicting evidence. arXiv preprint arXiv:2210.13701, 2022.

[20] Orion Weller, Aleem Khan, Nathaniel Weir, Dawn Lawrie, and Benjamin Van Durme. Defending against poisoning attacks in open-domain question answering. arXiv preprint arXiv:2212.10002, 2022.

[21] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, et al. Natural questions: a benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 453-466, 2019.

[22] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, 2020.

[23] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, pp. 1-67, 2020.

[24] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

[25] Maurice G Kendall. The treatment of ties in ranking problems. Biometrika, Vol. 33, No. 3, pp. 239-251, 1945.

## A 実験設定に関する詳細情報

モデルの学習には transformers ライブラリの Seq2SeqTrainer クラスを利用し, 学習率は $5 \times 10^{-5}$, ステップ数は 15000 , バッチサイズは 64 , weight decay の係数は 0.01 , warmup のステップ数は 1000 とした.開発データでの評価は 500 ステップごとに行い, 評価指標としては開発データでの正答率を利用した。学習および評価に利用したデータセットのサイズは 表 3 の通りである.

## B hard negative passage $の$ 普遍性 について

ある相対スコアの negative passage を持つ質問の 割合を調べた結果は図 3 のようになっており, hard negative passage が一部の質問に限らず多くの質問に ついて存在していることがわかる. また異なるシー ド值で学習した 5 つのモデルの相対スコアのばらつ きは図４のようになっており, モデルによってばら つきがあるもののおおむね相関していることが確認 された.

図 3 ある相対スコアの negative passage を持つ質問の 割合.

## C negative passage の特徵量によ る相対スコア分布変化

§3.4.2 の実験における negative passage の各特徴量 による相対スコアの分布の変化は図 5,6のように なっている.ここで青点線, 黒線, 赤破線, 赤点線はそ れぞれ $95,50,20,5 \%$ 分位点である.

図4 異なる seed で学習したモデルによる相対スコア分布. 赤, 青破線はそれぞれ $5,95 \%$ 分位点.

図 5 最長一致 $n$-gram 長および共通単語数による相対ス コア分布変化.

図 6 コサイン類似度および検索順位による相対スコア分布変化.
 秋元康佑 竹岡邦紘 小山田昌史 NEC データサイエンス研究所 $\{$ kosuke_a,k_takeoka, oyamada\}@nec.com  