# 抽出型質問応答における相対位置バイアスの除去

篠田一聡 1,2 菅原朔 2 相澤彰子 1,2
1 東京大学大学院 2 国立情報学研究所
shinoda@is.s.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp

## 概要

抽出型質問応答において，質問-文章間で重複し ている語彙の回答スパンから見た相対位置の分布が 訓練セットにおいて偏っている時，質問応答モデル はそれを利用した解き方を学習してしまう問題を発見した. 本研究では訓練セットで相対位置がどのよ うな偏り方をしていても適用可能なバイアス除去手法を提案する。訓練時に見たことのない相対位置の データへの汎化性能の評価によって提案手法の有効性を示した。

## 1 はじめに

深層学習に基づく自然言語理解モデルが訓練セッ ト中のバイアスを利用した解き方を学習してしま い，汎化性能が悪化してしまうことが自然言語理解分野における重大な課題となっている [1,2]. 特に 意図的に分布が偏った訓練セットで訓練された自然言語理解モデルは，入力と出力の間の因果関係では なく， バイアスを利用した解き方をより学習しやす い傾向があることが知られている $[3,4,5]$. 実応用 においても開発者が独自に作成した訓練セットの分布が何らかの観点で偏ってしまう恐れは十分にあ る. ゆえに，分布が偏った訓練セットからバイアス を利用しない解き方を学習するための方法を開発す ることが重要である.

文章から回答スパンを抽出して質問に答える抽出型質問応答 [6] においては，質問-文章間で重複して いる語彙（重複語彙）の回答スパンから見た相対位置が偏っている時に，質問応答モデルがその相対位置に関するバイアスを学習する傾向があることを新 たに発見した. 例えば，訓練セット中で重複語彙と 回答スパンが隣接している（相対位置の絶対値が 1 の）データのみで構成されている時，読解モデルは テストセットで同様のデータでは精度を高く保てる が，そうでないデータでは精度を大幅に落としてし まう現象が確認された (図 1).これはモデルが重複

図 $1 \mathrm{SQuAD}$ 開発セットにおける回答に最も近い重複語彙の回答から見た相対位置 $d$ ごとの $\mathrm{F} 1$ スコア. 凡例の ALL は SQuAD 訓練セットの全てのデータで訓練された モデルを指し，その他はそれぞれの条件式が満たされる データでのみ訓練されたモデルを指す.モデルにはいず れも BERT-base を用いた。訓練時に見たことがある $d$ の データでは ALL と比べて精度を保てるが，その他では精度が悪化する. $d$ の定義は式 3 を参照されたい.

語彙の隣接箇所から回答を探す解き方を優先して学習しているとも捉えられる。訓練セットの相対位置 の分布が異なる時も同様の現象が観測された。

本研究では，抽出型質問応答の訓練セットが相対位置に関して偏っていても，モデルが相対位置のみ を利用した解き方の学習をせずに，相対位置の分布 が異なるテストセットでも回答スパンも正しく予測するための学習方法の開発を目的とする。そのた めに，相対位置バイアスを利用して予測をするバイ アスモデルと，実際に予測をするメインモデルの product-of-experts [7] を用いた手法を提案する。これ によってメインモデルが相対位置バイアスだけを 利用した解き方を学習しないょう促進する．実験に おいて，提案手法は相対位置に関してバイアスがか かっていない時に近い精度を達成することを示す。 さらに，提案手法は訓練セットが相対位置に関して 異なる偏り方をしていても汎用的に効果的であるこ とを示す。

## 2 相対位置バイアス

## 2.1 定式化

抽出型質問応答タスクにおいて回答スパンから最 も近い重複語彙の回答から見た相対位置を $d$ とお く. 正確には $w$ を単語, 文章を $c=\left.\{w_{i}^{c}\right.\}_{i=0}^{N}$, 質問を $q=\left.\{w_{i}^{q}\right.\}_{i=0}^{M}$, 回答を $a=\left.\{w_{i}^{c}\right.\}_{i=s}^{e}(0 \leq s \leq e \leq N)$ と したとき，相対位置 $d$ は以下のように定義する.

$
\begin{aligned}
& f(j, s, e)= \begin{cases}j-s, & \text { for } j<s \\
0, & \text { for } s \leq j \leq e \\
j-e, & \text { for } j>e\end{cases} \\
& D=\left.\{f(j, s, e) \mid w_{j}^{c} \in q\right.\} \\
& d=\operatorname{argmin}_{d^{\prime} \in D}\left|d^{\prime}\right|
\end{aligned}
$

ここで $0 \leq j \leq N$ は文章中の単語 $w_{j}^{c}$ の位置, $f(i, s, e)$ は $w_{i}^{c}$ の $a$ から見た相対位置, $D$ は $q$ と $c$ で重複している全ての単語の相対位置の集合を表 す. ${ }^{1)}$ 式 3 で最も絶対值が小さいものを相対位置と して定義して用いるのは, 質問応答モデルが重複語彙から近い位置のスパンをより優先して予測する傾向があること [8] や, 回答スパンと重複語彙の絶対的な距離が大きい時に精度が悪化すること [9] が知 られているからである.2)

## 2.2 相対位置の分布

図 2 に SQuAD [6] の訓練セットにおける相対位置 $d$ の度数分布を示す. $d$ の値は 0 の周辺に偏って いることがわかる. SQuAD 以外の質問応答データ セットにおいても 0 の周辺に偏る傾向は一貫してい る一方で，データセット間で分布の形に違いが見ら れる.（詳細は付録 Aを参照されたい.）この違いは データセットの集め方や文章のドメインによって生 じたものと考えられる. よって，特定の相対位置の 分布に特化した学習は避け, 相対位置のバイアスを 学習しない質問応答モデルの構築が求められる.

## 3 手法

## 3.1 バイアス除去手法

バイアス除去のためのアルゴリズムには, productof-experts [7] を応用した手法である BiasProduct と


図 2 SQuAD 訓練セットの相対位置 $d$ の度数分布

LearnedMixin $[10,11]$ を用いる.これらの手法で は，共にバイアスを利用した予測をする Biased model をまず用意し，それと Main model を混合した product-of-experts を用いて損失関数を求める. Main model の訓練時は Biased model は固定した上で誤差関数を最小化する。そしてテスト時には Main model のみを用いて予測を行う. 既存研究 $[12,13]$ に倣い, モデル $\hat{p}$ は回答スパンの始点 $s$ と終点 $e$ の確率 $\hat{p}(s)$ と $\hat{p}(e)$ を出力し, 誤差関数は始点と終点の交差エ ントロピー誤差の和とする。以降簡単のため $\hat{p}(s)$ と $\hat{p}(e)$ の区別はせず $\hat{p}$ と表記する.

## 3.1.1 BiasProduct

BiasProduct では以下のように Biased model の出力確率 $b$ と Main model の出力確率 $p$ の対数の和を softmax 関数に入力して $\hat{p}$ を得る.

$
\hat{p}=\operatorname{softmax}(\log p+\log b)
$

これによって，Biased model が正しく予測をできる ようなバイアスを含むデータよりも， Biased model が予測を誤るようなバイアスを含まないデータで Main model の学習が強く促進される.

## 3.1.2 LearnedMixin

BiasProduct は Biased model の出力確率に強く依存 した学習手法である. Main model が Biased model の 予測を信頼できるかどうかを各データごとに予測す る LearnedMixin を用いることで Main model がより 頑健なモデルになることが知られている.

$
\hat{p}=\operatorname{softmax}(\log p+g(c, q) \log b)
$

ここで $g \geq 0$ は学習可能な関数である.

## 3.2 Biased model

3.1 節で述べた Biased model の構築方法を述べる.

## 3.2.1 Answer prior

訓練セットの相対位置 $d$ の分布に応じて，回答 スパン $a$ の始点と終点の事前確率を経験的に定め た Answer Prior (AnsPrior) を Biased model として用い る. 具体的には, 図 1 の凡例に示した 4 つの条件を 満たす訓練セットのサブセットそれぞれに対して，文章中の単語 $w_{i}^{c}$ が始点または終点である事前確率 $b_{i}$ を以下のように定める.

$
b_{i}= \begin{cases}\mathbb{1}\left[w_{i+1}^{c} \in q\right] / Z, & \text { for } d \leq-1 \\ \mathbb{1}\left[\left(w_{i+1}^{c} \in q\right) \vee\left(w_{i-1}^{c} \in q\right)\right] / Z, & \text { for }|d|=1 \\ \mathbb{1}\left[w_{i}^{c} \in q\right] / Z, & \text { for } d=0 \\ \mathbb{1}\left[w_{i-1}^{c} \in q\right] / Z, & \text { for } d \geq 1\end{cases}
$

ここで $Z$ は正規化定数である. これらの事前確率は 訓練セットで回答になりやすい箇所に等しく確率を 割り当てる発見的手法に基づいている. そのため，特定の訓練セットの相対位置 $d$ の分布に特化した事前確率である点で柔軟性に欠ける。

## 3.2.2 Position-only model

訓練セットで相対位置 $d$ がどのような偏り方をし ていても適用可能な Position-only model (PosOnly)を Biased model として提案する. PosOnly は，文章中の 各単語の絶対的な位置と, 各単語が質問と重複して いるか否かのみの情報を入力として，回答スパンの 始点と終点を出力として訓練する. PosOnly が回答 スパンを予測するためには重複単語からの相対的な 距離と絶対的な位置のみしか利用できる情報がない ため，訓練セットの相対位置がどのように偏ってい たとしても相対位置バイアスを利用した解き方を学習することが期待される.

## 4 実験

## 4.1 実験設定

データセット データセットには SQuAD 1.1 [6] を用いた. モデルが相対位置 $d$ が偏ったデータか ら見たことのある相対位置に依存しない解き方を 学習できているかを評価するために，SQuAD 訓練 セットから 4 つの異なる方法で意図的に相対位置 バイアスを含むサブセットを取得して別々に訓練 に用いた. 4 つのサブセットは, 相対位置 $d$ が条件 $d \leq-1,|d|=1, d=0, d \geq 1$ を満たすデータのみ
を抽出してそれぞれ構築した. サイズはそれぞれ 33,256，30,003，21,266，25,191である. 比較のため に全ての訓練セットを用いた場合のスコアも報告す る. 評価には $\mathrm{SQuAD}$ 開発セットの相対位置ごとの 性能を評価した. 抽出型質問応答タスクの評価指標 には，回答スパンの完全一致を測る Exact Match ス コアと部分一致を測る F1 スコアが用いられてきた [6] が，紙面の節約のため F1 スコアのみ報告する.

比較手法 バイアス除去のための学習手法として BiasProduct と LearnedMixin の 2 種類, それぞれに使 われる Biased model として AnsPrior と PosOnly の 2 種類の全ての組み合わせ 4 通りと，何も工夫せずに 訓練した場合の計 5 通りの訓練方法を比較してこれ らの有効性を評価した. Main model と PosOnly には いずれも BERT-base [13]を用いた.

## 4.2 結果

表 1 に結果を示す.まず，訓練セットを全て用い た場合 (ALL), BERT-base の性能は $|d|=1,2$ の時 に 90 ポイントを超える一方で $|d| \geq 3$ の時には 8 ポ イント程度低下していた. 2.2 節で示したように訓練セットの相対位置 $d$ の分布が 0 付近に偏っていた ことから，訓練セットで頻度が高い $d$ では精度が高 くなり，逆に頻度が低い $d$ では精度が低くなるとい う仮説が立てられる。

相対位置 $d$ の分布を意図的に偏らせた訓練セット を使って BERT-base の通常の訓練を行なった結果は この仮説の信頼性を高めるものであった. 相対位置 $d$ が $|d|=1$ を満たすデータのみで通常の訓練を行 なったところ，|d|=1 では F1 スコアが ALL に比べ て2 ポイント未満しか低下しなかったのに対して， $|d| \neq 1$ では $\mathrm{F} 1$ スコアが 10 15 ポイント低下した.他のサブセットを用いた通常の訓練でも同様の傾向 が見られた. これが示唆するのは, 同じ相対位置 $d$ の値を持つデータで成り立つ擬似相関をモデルが利用して推論を行なっているということである.

訓練セットのサブセットが満たす $d$ の条件が同 じ下で，提案する 4 種類のバイアス除去手法と通常の訓練をそれぞれ比較して得られる結論を述べ る. まず学習手法としては多くの場合 BiasProduct よりも LearnedMixin の方が高い F1 スコアが得られ た. この結果は各データで Biased model の予測結果 を Main model の訓練に反映させる度合いを学習す ることの有効性を示している。また, Biased model としては，訓練時にモデルが見たことのない相対

表 1 SQuAD 開発セットの各サブセットにおける F1 スコア. 灰色 で示した箇所では訓練時と評価時の $d$ が重複して いる. 灰色 では全ての訓練セットを用いた場合 (ALL) に比べてスコアが高く保たれる傾向にある.

位置 $d$ のデータへの汎化性能一すなわち表 1 の白 い箇所のスコアーを向上させるためには, AnsPrior よりも PosOnly の方が優れていることがわかった.特に訓練時に $d=0$ でテスト時に $d \leq-3$ の場合 や，訓練時に $d \leq-1$ でテスト時に $d \geq 3$ の場合は， LearnedMixin-PosOnly は LearnedMixin-AnsPrior より も 5 ポイント程度優っていた. 一方で，訓練時に 見たことのある相対位置 $d$ のデータへの汎化性能一すなわち表 1 の 灰色 の箇所のスコア一の観点では, LearnedMixin-AnsPrior が最も優れていた. LearnedMixin-AnsPrior 以外の提案モデルは通常の訓練と比べてスコアを悪化させてしまうことが多いこ ともわかった. バイアス除去の既存研究 [14]でも 指摘されているが，相対位置のバイアス除去でも訓練時と同じ分布と違う分布のテストセットでの精度にトレードオフが生じるという問題が明らかに なった.

## 5 関連研究

訓練セットに特有なバイアスを利用した解き方を 自然言語理解モデルが学習していること, または訓練セットと同じ分布のテストセットで高い精度を出
すにはバイアスを利用するだけで十分であることを 指摘する研究が近年増えている。自然言語推論では 特定の語彙 [15] や, 語彙の重複 [1] とラベルとの擬似相関をモデルが利用してしまう問題が指摘され た. 抽出型質問応答では質問と回答のタイプ一致だ けで解ける質問が多いこと $[16,9]$ や，回答の絶対的 な位置のバイアスをモデルが学習しやすいこと [4] が知られている. モデルが人らしい読解スキルを学習できているかどうかを評価するには，訓練時とテ スト時で違う分布のデータを使うことが最も有効な 方法の一つである. 本研究では相対位置という新し い観点でこれについて分析して問題を発見し，有効 なバイアス除去手法を開発した。誤差関数は既存研究 [4] と同じものを用い，相対位置バイアスのため の Biased model は独自に設計した.

## 6 おわりに

抽出型質問応答でモデルが相対位置に関するバイ アスを利用しうることを示し，それを解決するため の有効なバイアス除去手法を提案した. 他のデータ セットでの検証，モデルの中間表現や学習過程につ いての分析が今後の展望である.

## 謝辞

本研究は, JST 次世代研究者挑戦的研究プログラ ム JPMJSP2108 の支援を受けたものです. 本研究は JSPS 科研費 JP21H03502, JP20K23335 の助成を受け たものです.

## 参考文献

[1] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Robert Geirhos, Jörn-Henrik Jacobsen, Claudio Michaelis, Richard Zemel, Wieland Brendel, Matthias Bethge, and Felix A. Wichmann. Shortcut learning in deep neural networks. Nature Machine Intelligence, Vol. 2, No. 11, pp. 665-673, November 2020.

[3] Mike Lewis and Angela Fan. Generative question answering: Learning to answer the whole question. In International Conference on Learning Representations, 2019.

[4] Miyoung Ko, Jinhyuk Lee, Hyunjae Kim, Gangwoo Kim, and Jaewoo Kang. Look at the first sentence: Position bias in question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1109-1121, Online, November 2020. Association for Computational Linguistics.

[5] Charles Lovering, Rohan Jha, Tal Linzen, and Ellie Pavlick. Predicting inductive biases of pre-trained models. In International Conference on Learning Representations, 2021 .

[6] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[7] Geoffrey E Hinton. Training products of experts by minimizing contrastive divergence. Neural computation, Vol. 14, No. 8, pp. 1771-1800, 2002.

[8] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2021-2031, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4208-4219, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[10] Christopher Clark, Mark Yatskar, and Luke Zettlemoyer. Don't take the easy way out: Ensemble based methods for avoiding known dataset biases. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 4069-4082, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11] He He, Sheng Zha, and Haohan Wang. Unlearn dataset bias in natural language inference by fitting the residual. In Proceedings of the 2 nd Workshop on Deep Learning Approaches for Low-Resource NLP (DeepLo 2019), pp. 132-142, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Minjoon Seo, Aniruddha Kembhavi, Ali Farhadi, and Hannaneh Hajishirzi. Bidirectional attention flow for machine comprehension. In International Conference on Learning Representations, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Prasetya Ajie Utama, Nafise Sadat Moosavi, and Iryna Gurevych. Mind the trade-off: Debiasing NLU models without degrading the in-distribution performance. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8717-8729, Online, July 2020. Association for Computational Linguistics.

[15] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[16] Dirk Weissenborn, Georg Wiese, and Laura Seiffe. Making neural QA as simple as possible but not simpler. In Proceedings of the 21 st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 271-280, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[17] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014 .

## A 相対位置の分布

SQuAD, NewsQA, TriviaQA, NaturalQuestions の開発 セットにおける相対位置の度数分布を図 3 に示す. データセットによって違いはあるものの，いずれも 相対位置が 0 の周辺に偏っていることがわかる.

## B 訓練の詳細

各モデルの訓練のエポック数は 2 , バッチサイズ は 32 とし，学習率は 3e-5 から線形に 0 まで減少さ せ，最適化には Adam [17]を用いた。

(a) SQuAD

(b) NewsQA

(c) TriviaQA

(d) NaturalQuestions

図 3 回答から見た重複語彙の相対位置の度数分布
 篠田一聡 1,2 菅原朔 2 相澤彰子 1,2 1 東京大学大学院 2 国立情報学研究所 shinoda@is.s.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp  