# Winograd Schema Challenge への ニューラル言語モデルの適用における人名の影響

米川和仁 松崎拓也
東京理科大学大学院 理学研究科 応用数学専攻
1419523@ed.tus.ac.jp
matuzaki@rs.tus.ac.jp

## 1 はじめに

機械学習モデルが獲得した常識的知識を評価する タスクの一つとして，Winograd Schema Challenge (以降，WSC) [7] というものが構想された. WSC にお ける問題文の例を以下に示す.

When Debbie splashed Tina, she got wet.

この例に対して，回答者は先行詞候補 Debbie と Tina から代名詞 she に対応する先行詞を特定することを 求められる。適切に解くためには「水をかけられた ら濡れる」といった常識的な知識が必要となる. し かし，このような知識は明文化されにくい. そのた め, 単語の共起などの単純な統計的手法では WSC に対して十分な精度を得ることが難しいとされて いる.

一方で，近年の研究では BERT [3] などのニュー ラル言語モデルによるWSC に対する大幅な精度向上が報告されている $[5,10,12]$.このことから， ニューラル言語モデルが常識的な知識を獲得しつ つあるのではないかと考えられる．BERT 等に基 づく手法の訓練は，大量の教師無しデータによる pre-training と比較的少量の教師付きデータによる fine-tuning の 2 つの段階から成る.この学習方法は 従来の手法と大きく異なる特徴の一つであり，大幅 な精度向上の理由の一つと考えられている。しかし ながら，各段階においてデータセットからどの様な 知識が抽出されているかは明らかでない。

本研究では，WSCへのニューラル言語モデルの 適用において，先行詞候補である人名がモデルの予測に与える影響を分析した. 結果として，人名の組 み合わせの変化がモデルの予測に大きく影響する問題の存在が確認できた. また，確認された人名の影響が fine-tuning に使用したデータセットにおいて先行詞候補として出現する人名の偏りによるものでは ないことがわかった.

## 2 関連研究

機械学習手法を用いて WSC を解くために，多く の常識的知識をどの様に素性として表現するかが 議論されてきた. Rahman ら [9] は素性として，「A

といった事態間知識を機械的に収集したものを用 いている。他にも，彼らは接続詞や単語の極性, FrameNetなどを素性として利用している.

人手による素性抽出の取り組みに対して，ニュー ラル言語モデルによる WSCへのアプローチが盛ん になりつつある。Kocijan ら [5] は BERTを用いた手法を提案している。彼らの手法は, [MASK] トーク ンに置き換えられた代名詞の部分に先行詞候補のど ちらが当てはまるのかをモデルに学習させるという ものである.この手法によって，WSC に対する機械学習手法の精度はニューラル言語モデルを用いな い手法に比べ 8.8 ポイントも向上した.

この様な精度向上への取り組みの一方で，モデル が本当に常識的知識を基に WSC を解いているのか という議論が注目されている. Abdou ら [1] は，先行詞の性別の変更や同義語への置換などの言語的摄動に対してモデルによる予測が大きく変化すること を示している。また，同様の摂動に対して人間の回答が安定していることを確認している．以上の結果 から，彼らはモデルが論理的根拠を背景とした回答 を常にしているわけではないと主張している.

## 3 準備

本節では，本研究で用いたデータセットや手法の 詳細について述べる。

## 3.1 Winogrande

近年の研究では，オリジナルの WSC データセッ トの一部は統計的手法でも解くことが可能であるこ

とが報告されている [13].また，データセットに は 273 件の問題しか含まれておらず，訓練及び評価 データをどのように分割すべきかという問題も議論 されてきた.

本研究では，WSC データセットの一つである Winograndeを訓練及び評価データとして用いた. Winogrande は，上で述べたオリジナルの WSC デー タセットの弱点を改良したデータセットとされてい る [11].

本論文でのニューラル言語モデルに対する Winogrande の入力例を表 1 に示す. モデルへの入力文は代名詞（_）を先行詞候補（太字）で穴埋めした ものであり, 各問題に対して2つ用意される. この 2 つの文を同一のモデルへと入力し, $[$ CLS] ベクト ルと分類のためのパラメータベクトルとの内積が大 きい方の文を回答として選択する. Winogrande に対 するニューラル言語モデルの精度を表 2 に示す. 表中の RoBERTa-large（人名）は後述する先行詞候補 がいずれも人名である問題に対する精度である.

## 3.2 影響関数

あるテストサンプルの予測に特定の学習サンプ ルが与える影響を定量的に解析する場合，学習サン プルを 1つずつ除いたデータでモデルを再学習さ せるという方法が考えられる. この手法は単純であ る一方で，解析にかかる時間とコストが膨大になる という問題がある．影響関数 [6] は，この問題を解決し効率的に各訓練データの影響を測ることを可能にする手法である．まず，以下の式で訓練データ $\left.\{\left(x_{1}, y_{1}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ から学習サンプル $\left(x_{i}, y_{i}\right)$ を取 り除いた場合のモデルのパラメータ $\theta$ の変化 $\theta_{\text {change }}$ を求める。

$
\theta_{\text {change }}=-\left(\frac{1}{n} \sum_{j=1}^{n} \nabla_{\theta}^{2} L\left(x_{j}, y_{j}, \hat{\theta}\right)\right)^{-1} \nabla_{\theta} L\left(x_{i}, y_{i}, \hat{\theta}\right)
$

ここで， $L$ は学習に用いた損失関数， $\hat{\theta}$ は学習済 みのモデルのパラメータを示す. 次に，連鎖律を適用しテストサンプル $\left(x_{\text {test }}, y_{\text {test }}\right)$ に対する損失の変化 $L_{\text {change }}$ を以下の式で求める.

$
L_{\text {change }}=\nabla_{\theta} L\left(x_{\text {test }}, y_{\text {test }}, \hat{\theta}\right)^{\top} \theta_{\text {change }}
$

この $L_{\text {change }}$ を基に，あるテストサンプルの予測に 学習サンプルが与える影響を定量的に評価できる。 Han ら [4] は，この手法が BERT の fine-tuning で用い られるデータセットの分析方法として有効であると 示している.

## 4 手法

本研究は, 先行詞候補がいずれも人名である問題 を対象として，人名に対する摂動によるモデルの挙動の変化を調べる. 具体的な摂動の手法は，表 1 に 示すように先行詞候補を異なる人名で置き換えると いうものである．摂動に用いる人名及び対象となる 問題は CoreNLP [2] の Stanford NER (3 class)を用い て抽出した. Winogrande の訓練データ全体に対し検出された 63 個の人名を組み合わせて, 問題当たり に 3,905 件の摂動例を生成した. また，抽出された 問題に対する RoBERTa [8] の精度を表 2 に示す.

## 5 実験

本節では，前節で述べた摂動がニューラル言語モ デルに与える影響について分析を行う。まず，摂動 による予測値の変化の有無について確認する. 次 に, 予測値の変化と問題文中の文法誤りなどノイズ 的要素の関係について述べる. 最後に, fine-tuning で用いた訓練データが摂動による予測値の変化の原因となっているのかについて分析を行う.

## 5.1 実験設定

Winogrande に対して最も精度が良い RoBERTaを 摄動実験の対象とする. 摂動は評価データのみに与 え，38,000 件の訓練データで fine-tuning されたモデ ルの, 評価データに対する予測スコアの変化を観察 した. 本研究における予測スコアとは，代名詞を正 しい先行詞候補で置き換えた問題文に対する出力値 のことである.

## 5.2 摂動の影響

まず，各問題における摂動の影響の度合いを測 る. 影響の度合いを示す score $_{\text {diff }}$ は，原文における 予測スコア score と各摄動例における予測スコア ${ }^{\text {score }}{ }_{i}$ の差分の平均として計算する:

$
\text { score }_{\text {diff }}=\frac{1}{N} \sum_{i=1}^{N}\left(\text { score }_{i}{ }_{i}-\text { score }\right)
$

## ここで $N$ は摄動例の件数である.

摂動による予測スコアの変化の分布を図 1 に示 す. 図 1 の 0 付近のビンから，1684 件中 1400 件ほ どのテストデータで score $_{\text {diff }}$ の絶対値が 0.1 未満で あることがわかる.このことから，RoBERTaは人名 に関する単純な摂動の影響に対して頑健であると考 えられる。一方で，200 件ほどの問題で摄動の影響

表 2 Winogrande に対する各モデルの正解率

図 1 摄動による予測スコアの変化の分布

が観測された.

## 5.3 摂動とノイズの関係

評価データにおける問題文と摂動の影響の例を表 3 に示す. 摄動の影響を大きく受けた問題について 見てみると文法的もしくは意味的な誤りなどのノイ ズが含まれた文が見られた. 例えば，番号 1 の問題 では文中の they という代名詞が指し示す対象が不明瞭である. また，番号 6 の問題のように代名詞の直前に冠詞がついているものも確認された. その一方 で，ノイズがあるにも関わらず摂動の影響を受けて いない問題も多く見られた. 例えば，番号 3 の問題 では trilingual な人物を選択する必要があるが，先行詞候補はどちらも trilingual では無い.このようなノ イズがあるにも関わらず，番号 3 の問題の score $_{\text {diff }}$ は $1.31 \times 10^{-4}$ と非常に小さい. したがって，ノイズ と摂動の影響の間に強い関係があると考えるのは難 しい.

図 2 人名の組み合わせによる予測スコアの分布.縦軸が正解，横軸が誤りの先行詞候補を表す。

## 5.4 摂動と人名の関係

特定の人名に対して予測スコアの偏りがあるの か，すなわち特定の人名に対して大きな/小さなスコ アが付与される傾向の有無を検証する．図 2 に，表 3 の番号 2 の問題に対する各摂動についての予測ス コアの分布 (一部) を示す. 先行詞候補の組み合わ せによって，予測スコアが大幅に変化していること がわかる．また，この図で見られるような縦及び横方向にのびる縞模様が多くの問題で確認された. 例 えば，Joseph や Christopher という人名が正解とな る摂動例はもう一方の人名とのどの組み合わせでも ほぼ一貫して高い予測スコアを示している。このこ とから，モデルの予測と人名の間に強い関係が存在 する場合があると考えられる。

## 5.5 訓練データの影響

摂動例において，特定の人名に対する予測スコア が高くなる例が見られた。このことから，訓練デー タにおいて正解になりやすい人名がテストデータ で選択されやすくなっていることが予想される。本項ではこれを検証する．各摂動例に対して，影響が
表 3 摂動の影響の例

図 3 訓練データにおいて正解となる先行詞候補の出現頻度.

縦軸が摄動例（正解-誤り），横軸が訓練データにおける正解の先行詞候補を示す.

大きい訓練データの上位 3000 件を，影響関数の值 に基づき抽出した. 各摄動例に対し抽出された訓練 データ中での，正解となる人名の出現頻度を図 3 に 示す. 図は表 3 における番号 2 の問題に対する結果 の一部である。各行は一つの摄動例を表し，図に示 した 13 の摄動例は全ての摄動例からランダムサン プリングしたものである.また，各列は訓練デー タにおける正解の先行詞候補を表し，訓練データ に含まれる全ての先行詞候補から図に示した 13 個 の摄動例に用いた人名のみ抽出している. 図 3 か ら, Christine や Leslieの様にどの摂動例に対しても，影響が大きい訓練データに正解として現れる数が ほとんど変化しない人名が多く見られる。一方で， Matthew や Samuel の様に出現頻度が大きく変化して いる列も確認できる。この様な列で確認された偏り の例として, Matthew という先行詞候補の出現頻度 が (Dennis-Kyle) の組み合わせに対して高くなるとい うものがあげられる。このような例は他にもいくつ
か確認できたが，摄動に用いられた人名と同一のも のが，摂動例に対し大きな影響を持つ訓練データの 中で特に多い/少ないという例は確認できなかった.以上のことから，前節で確認された特定の人名に対 する予測スコアの偏りは Winogrande の訓練データ に起因するものではないと考えられる。

## 6 おわりに

本研究では，人名の変更という摄動によってモ デルの挙動がどう変化するかを分析した。結果と して，特定の人名に対して極端な予測を行う問題 の存在を示した. しかし，確認された人名への偏 りが fine-tuning に用いられたデータセットによるも のではないことを確認した。よって，この偏りは pre-training に用いられたデータに起因すると予想さ れる. 今後の課題としては，今回確認された偏りが pre-trainig に用いられたデータセットのどの部分に よるものかについての分析が挙げられる.

## 参考文献

[1] Mostafa Abdou, Vinit Ravishankar, Maria Barrett, Yonatan Belinkov, Desmond Elliott and Anders Søgaard. The Sensitivity of Language Models and Humans to Winograd Schema Perturbations. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020

[2] Manning, Christopher D., Mihai Surdeanu, John Bauer, Jenny Finkel, Steven J. Bethard, and David McClosky. The Stanford CoreNLP Natural Language Processing Toolkit In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations. 2014.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). 2019.

[4] Xiaochuang Han, Byron C. Wallace, and Yulia Tsvetkov. Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020.

[5] Vid Kocijan, Ana-Maria Cretu, Oana-Maria Camburu, Yordan Yordanov and Thomas Lukasiewicz. A Surprisingly Robust Trick for the Winograd Schema Challenge. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019.

[6] Pang Wei Koh and Percy Liang. Understanding black-box predictions via influence functions. Proceedings of the 34th International Conference on Machine Learning. 2017.

[7] Hector Levesque, Ernest Davis, and Leora Morgenstern. The winograd schema challenge. In Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning. 2012.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692. 2019.

[9] Altaf Rahman and Vincent Ng. Resolving complex cases of definite pronouns: The winograd schema challenge. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. 2012.

[10] Yu-Ping Ruan, Xiaodan Zhu, Zhen-Hua Ling, Zhan Shi, Quan Liu, and Si Wei. Exploring Unsupervised Pretraining and Sentence Structure Modelling for Winograd Schema Challenge. arXiv:1904.09705. 2019

[11] Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Winogrande: An adversarial winograd schema challenge at scale. Proceedings of the AAAI Conference on Artificial Intelligence. 2019.

[12] Maarten Sap, Hannah Rashkin, Derek Chen, Ronan Le Bras, and Yejin Choi. Social IQa: Commonsense Rea- soning about Social Interactions. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). 2019.

[13] Paul Trichelair, Ali Emami, Adam Trischler, Kaheer Suleman, and Jackie Chi Kit Cheung. How Reasonable are Common-Sense Reasoning Tasks: A Case-Study on the Winograd Schema Challenge and SWAG. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP). 2019
 米川和仁 松崎拓也 東京理科大学大学院 理学研究科 応用数学専攻 1419523@ed.tus.ac.jp matuzaki@rs.tus.ac.jp  