# JCommonsenseQA 2.0: 計算機と人の協働による 常識推論データセットの改良

栗原健太郎 1 河原大輔 1 柴田知秀 2
1 早稲田大学理工学術院 2 ヤフー株式会社
\{kkurihara@akane., dkw@\}waseda.jp tomshiba@yahoo-corp.jp

## 概要

計算機モデルの言語理解能力のさらなる向上に 向けて、ベンチマークを改良し、より高度な言語理解能力を測ることができるようにする必要があ る。本研究では多肢選択式の常識推論データセット JCommonsenseQA [1] に焦点をあて、計算機と人の 協働によってデータセットを改良する。このデータ セットの計算機による精度はすでに $90 \%$ を越えてお り難易度が低いため、常識推論能力を測るには適切 ではない。難易度が低い要因の一つとして、誤り選択肢群の中に正解とあまり関連がない選択肢が含ま れていることが挙げられる。この問題に対処するた め、まず正解と類似している誤り選択肢をテキスト 生成モデルで自動生成し、次に生成された誤り選択肢候補の中からクラウドソーシングで適切な誤り 選択肢を選択することによって、難易度の高いデー タセットを構築する。実験の結果、構築したデータ セットは元のデータセットよりも難易度が高くなっ ていることを確認した。

## 1 はじめに

高性能な言語理解モデルを開発するためには、言語理解の能力を様々な観点から評価し分析するため のベンチマーク (データセット群) が必要である。英語においては、GLUE (General Language Understanding Evaluation) [2] が構築、公開されている。GLUE であ る程度の高スコアを達成できる言語理解モデルが開発されると、より難易度の高いベンチマークとして SuperGLUE [3] などが構築され、ベンチマーク構築 と言語理解モデル開発の好循環が生まれている。

このような英語における言語理解研究活性化の潮流に乗じて、世界中の各言語におけるベンチマーク 構築が進んでいる。日本語については、言語理解べ ンチマーク JGLUE [1] を我々が構築した。それに伴

図 1 JCommonsenseQA の改良フロー

い、多くの計算機モデルが JGLUE 上で評価されて いる。英語の GLUE と同様に、多くのタスクで計算機モデルが人間を越える、もしくは、人間に近い精度を達成している。

日本語においても、計算機モデルの言語理解能力 のさらなる向上に向けて、ベンチマークを改良し、 より高度な言語理解能力を測ることができるように する必要がある。本研究では、言語理解に直接的な 関係があると考えられる質問応答 $(\mathrm{QA})$ データセッ トである JCommonsenseQA (JGLUE に含まれている データセットのうちの一つ) にフォーカスし、より 難易度が高いデータセットに改良する。

JCommonsenseQA は、CommonsenseQA [4] の日本語版データセットであり、常識推論能力を評価する ための 5 択の QA で構成されている。人間の精度は 98.6\%であるが、汎用言語モデル RoBERTa [5] (large) は $90.7 \%$ の精度であり、すでに十分に高い精度を達成している。モデルにとって解きやすくなっている 要因の一つとして、誤り選択肢群に正解とほとんど 関連がないものが存在することが挙げられる。図 1

の上の例では、正解選択肢の「万年筆」と「屋外」 や「ムーン」はほとんど関連がない。このような問題はモデルによって正解が簡単に弁別できてしまう ため、常識推論能力を測るには適切ではないと考え られる。

本論文では、計算機と人の協働によって JCommonsenseQA を改良する手法を提案する。具体的に は、まず正解と類似している誤り選択肢をテキスト 生成モデルで自動生成し、次に自動生成された誤り 選択肢候補の中からクラウドソーシングで適切な選択肢を選択する。実験の結果、構築したデータセッ トは以前構築したデータセットよりも難易度が高く なっていることを確認した。

## 2 関連研究

英語における SQuAD [6] や CommonsenseQA など の $\mathrm{QA}$ データセットにおいて、高性能な言語理解モ デルの開発とともに、より難易度の高いデータセッ トを構築する流れが生まれている。

SQuAD は段落、質問、答えの 3 つ組から成る QA データセットで、答えとなるスパンを段落から抽出 するタスクである。SQuAD 1.1 においては段落内 に答えが必ず存在するという仕様であった。後に 構築された SQuAD 2.0 [7] では、段落内に答えが必 ずしも存在しないという仕様に変更されたことで、 SQuAD 1.1 より難易度の高いデータセットとなって いる。また、異なるタイプの難易度の高い QA デー タセットとして、マルチホップ推論の能力を測る HotpotQA [8] や、算術演算の能力を測る DROP [9] な どが提案されている。

敵対的なデータセットの構築による難易度向上の流れも存在する。Jia ら [10] は SQuADにつ いて、質問の答えにはなっていないものの関連 している文を段落の最後に追加することで、敵対的な SQuADを構築している。多肢選択式 $\mathrm{QA}$ の CommonsenseQA についても、ゲーミフィケー ションを用いた model-in-the-loop を実施することに よって敵対的でより難易度の高い CommonsenseQA 2.0 [11] が構築されている。しかし、選択肢は yes / no の 2 択形式に簡略化されている。

T5 [12] や GPT-2,3 [13,14] などのテキスト生成モ デルはデータセット構築にも利用されている。Liu ら [15] は、自然言語推論データセット MultiNLI [16] を基に敵対的データを獲得し、GPT-3を用いてデー タ拡張することによって WANLIを構築している。

質問: 電車に人が乗り降りする場所を何という？選択肢: 駅 鉄道会社線路 空港港

誤り選択肢追加

図 2 JCommonsenseQA v1 の構築フロー

## 3 JCommonsenseQA の構築方法と 問題点

提案手法の説明をする前に、本節では、以前提案 した JCommonsenseQA の構築方法とその問題点につ いて説明する。以降、以前提案したバージョンを v1、本論文で提案するバージョンを $\mathrm{v} 2$ と呼ぶ。

JCommonsenseQA は CommonsenseQA の日本語版 データセットであり、常識推論能力を評価するため の 5 択の QA で構成されている。JCommonsenseQA は、知識ベース ConceptNet [17]をシードとし、クラ ウドソーシングを用いて構築している。ConceptNet は、2つの概念 (concept) と、その間の関係 (relation) を表す 3 つ組からなる多言語知識ベースである。 3 つ組は方向性を持ち、例えば新幹線が駅に存在 するという関係は (新幹線, AtLocation, 駅) のよう に (source concept, relation, target concept)として表さ れる。逆方向の関係性を持つ知識は (source concept, relation $^{-1}$, target concept)と表す1)。

構築方法 JCommonsenseQA v1 の構築フローを図 2 に示す。まず、source concept とそれに対して同じ 関係を持つ 3 つの target concept $の$ 集合 (以下 Question Set, $\mathrm{QS}$ と呼ぶ) を収集する。次に各 $\mathrm{QS}$ 内の 3 つの target concept について、それぞれの target concept $の$ みが正解となる質問の作文タスクをクラウドソーシ ングを用いて実施する。最後にそれぞれの質問に対 して、誤り選択肢を 2 つ追加するタスクをクラウド ソーシングを用いて実施する。

問題点 JCommonsenseQA v1 には、誤り選択肢に 正解とほとんど関連がないものが含まれていると いう問題がある。この問題が生じる原因として、

1）例えば、駅に新幹線が存在するという関係は(駅, AtLocation ${ }^{-1}$, 新幹線) と表す。

ConceptNet を用いた選択肢の自動獲得が挙げられ る。 5 つの選択肢のうち 3 つは、ConceptNet から収集した QS 内の 3 つの target concept に由来している が、これらの target concept 間に関連性がほとんどな い場合がある。例えば、「綺麗」と “HasProperty-1" の関係を持つ target concept として「万年筆」「屋外」「ムーン」の3つが抽出される²)が、これらはほとん ど関連していない。

## 4 JCommonsenseQA の改良

JCommonsenseQA v1 の問題に対処するため、テキ スト生成モデルとクラウドソーシングによるフィル タリングを用いて、正解と類似した誤り選択肢を新 たに導入する。提案手法は、図 1 に示すとおり、4 つのステップからなる。なお、各ステップにおいて 事例がフィルタリングされることで最終的に獲得で きる事例数が少なくなってしまうことから、v1 と同 じ構築手法を用いて事前に $\mathrm{v} 1$ の拡張を行う。各ス テップの詳細を以下に示す。

ステップ 1 テキスト生成モデル $\mathrm{T} 5$ を用いて、正解と類似した誤り選択肢候補を生成する。 5 は質問を入力し、正解を出力するようにファインチュー ニングする。この際、 2 種類のテキスト生成モデル を用いる3)ことによって、多様な誤り選択肢候補を 生成する。なお、正解により類似した誤り選択肢候補を得るため、v1 の全件を用いてクローズドな訓練 を行う。

2 つのモデルそれぞれから 20 件の生成結果を得 る。この生成結果には長い語句や不自然なものが含 まれている。これらに対処するため、ConceptNet に エントリが存在しない生成結果を除去する。また、生成結果に正解自体が含まれていれば除去する。こ の結果、各モデルから 5 件の誤り選択肢候補が得ら れた事例を次のステップに渡す。例えば図 1 の例 では、1つのモデルから得られた誤り選択肢候補は 「ペンシル」「ノート」「鉛筆」「手提げ袋」「消しゴ ム」である。

ステップ 2 生成された誤り選択肢候補には、正解の同義語などの別解が含まれる可能性が高い。そ れらを除去するため、クラウドソーシング4)を用い

2）この source concept と関係からは、「虹「夕焼け」「夜空」 のような良い 3 つ組も抽出される。

3） Hugging Face Hub にある "google/mt5-large" と "sonoisa/t5base-japanese" の 2 つの事前学習モデルを用いる。

4) Yahoo!クラウドソーシング  を用いた。
てフィルタリングを行う。クラウドワーカに、質問 と、生成した誤り選択肢候補 5 件に正解を加えた 6 つの選択肢を提示し、正解となりうるものを全て選 んでもらう。5人のクラウドワーカから回答を収集 し、1 人も正解として選択しなかった選択肢のうち、生成結果における確率がもっとも高いものを誤り選択肢として採用する。上記の処理を 2 つのモデルの 誤り選択肢候補それぞれで実行し、2つの誤り選択肢を得る。いずれかのモデルの誤り選択肢候補にお いて、 5 件中の全ての候補が正解とみなされた場合、 その事例は除去し、次のステップに渡さない。

ステップ 35 択問題を作成するために、2つの新 しい誤り選択肢以外に誤り選択肢が 2 つ必要であ る。v1の誤り選択肢において、正解とほとんど関連 のない誤り選択肢が存在する一方で、多くの場合、正解と関連している誤り選択肢も存在している。そ のため、v1 の誤り選択肢から正解に類似したものを 2 つ選択する。これには事前学習モデル BERT [18] ${ }^{5}$ に基づく類似度を用いる。まず、正解を含む 5 つの 選択肢のそれぞれを BERT の Embedding 層に入力 し、 5 つのべクトルを取得する6)。次に、正解との コサイン類似度が高い誤り選択肢を 2 つ選択する。

ステップ 2 と 3 によって得られた 4 つの誤り選択肢と正解を用いて選択肢を再構成する。得られた 選択肢と v1 の質問をぺアにし、人間にとって解答可能かどうかをクラウドソーシングで検証する。10 人のクラウドワーカに回答してもらい、7 人以上が 正解した事例のみを採用する。この結果得られる データセットを v2-誤り選択肢生成データセットと 呼ぶ。

ステップ 4 選択肢間の類似性が上がったことに より、正解と誤り選択肢間の弁別性が低下する恐れ がある。例えば図 1 の例では、「ペンシル」は正解 の「万年筆」に近く、人間・計算機の双方が誤答す る可能性がある。弁別性を上げるために、新しい選択肢を基に質問の再作成をクラウドソーシングで 行う。正解の選択肢のみが正解になるようにクラウ ドワーカに質問を作成してもらう。作成された質問 は、v1と同様の方法でフィルタリングを行う7)。

v2-誤り選択肢生成データセットと同様に、人間 にとって解答可能かどうかをクラウドソーシングで

表 1 各種モデルの評価結果

} & \multicolumn{2}{|c|}{} \\

検証する。解答不可能なものを除去した結果得られ るデータセットを $\mathbf{2}$-質問リライトデータセットと 呼ぶ。

以上の手順により、拡張 v1 の 27,400 件から 13,117 件からなる $\mathrm{v} 2$-誤り選択肢生成データセットと、 10,524 件からなる v2-質問リライトデータセットを 構築した。2つのデータセットに共通の事例を抽出 し、 8,899 件からなる 2 種類の実験用データセット を構築した。これは次節の比較実験で使用する。

## 5 事前学習モデルによる評価

本研究で構築した $\mathrm{v} 2$ データセットが以前構築し たv1よりも難易度が上がっているかを事前学習モ デルを用いて評価した。また、v2-誤り選択肢生成 データセットと $\mathrm{v} 2$-質問リライトデータセットの比較も行った。

## 5.1 実験設定

広く用いられている事前学習モデルをファイン チューニングし、精度を算出した。実験に用いた事前学習モデルの詳細を付録 B に示す。モデルのファ インチューニングでは、 $\mathrm{v} 1$ と同様に、質問と選択肢 を連結した多肢選択式問題を解く8)。実験に用いた ハイパーパラメータを付録 Cに示す。また、v1 構築時と同様に、クラウドソーシングを用いて人間に よる精度を算出し、人間のスコアとモデルのスコア も比較する。

## 5.2 実験結果・考察

結果を表 1 に示す。まず、v2 の難易度が v1 より も高くなっていることがわかる。また、質問リライ トデータセットの難易度は誤り選択肢生成データ セットよりも下がっている。これは、正解と誤り選択肢間の弁別性が上がり、計算機にとっては解き


質問: つゆにつけてズルズルと音を立てて食べる頳類は？選択肢: コシヒカリご飯担々缅そばラーメン

質問: 修学旅行でもよく行く赤い色の電波塔は?選択肢: 東京タワー浅草寺 お台場 東京ドーム スカイツリー

図 3 早稲田大 RoBERTaLARGE $の$ 誤り例 (太字が正解、下線が不正解の出力）

やすい問題となっていることがわかる。例えば図 1 で、誤り選択肢生成データセットでは、システムの 出力は「ペンシル」となり誤っているが、質問リラ イトデータセットではシステムの出力は「万年筆」 となって正解できている。また、人間のスコアは全 てのデータセットにおいてほぼ同じ高いスコアであ ることから、v2が v1 に比べて問題の質が低下して いるわけではないことがわかる。

v1 と v2 の精度を比べると多くのモデルでかなり 精度が低下しているが、最も精度の高かった早稲田

しか精度が低下していないことがわかる。その強力 なモデルでの誤り例を図 3 に示す。このような問題 に正解するにはどのようにして常識的な知識を獲得 すればよいのか、今後の事前学習モデルの改良を考 える上での手がかりとなればよいと考えている。

## 6 おわりに

本論文では、計算機と人の協働によって常識推論 データセット JCommonsenseQA を改良する手法を提案した。実験の結果、v2 はv1よりも難易度の高い データセットであることを確認できた。本データ セットの構築によって、日本語において初めてベン チマーク構築と言語理解モデルの改良のサイクルを 一周回せたと考えている。v2 は今後、v1 と同じサ イト  で公開する予定である。

今後、さらに難易度の高いデータセットの検討を 進めるとともに、別の種類の質問応答データセット の構築にも取り組む予定である。

## 謝辞

本研究はヤフー株式会社と早稲田大学の共同研究 により実施した。

## 参考文献

[1] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the 13th LREC, pp. 29572966, Marseille, France, June 2022.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. SuperGLUE: A stickier benchmark for general-purpose language understanding systems. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in NeurIIPS, Vol. 32, 2019.

[4] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the NAACL-HLT, pp. 4149-4158, Minneapolis, Minnesota, June 2019.

[5] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

[6] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on EMNLP, pp. 2383-2392, Austin, Texas, November 2016.

[7] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th ACL, pp. 784-789, Melbourne, Australia, July 2018.

[8] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on EMNLP, pp. 2369-2380, Brussels, Belgium, October-November 2018.

[9] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In Proceedings of the 2019 Conference of the NAACL-HLT, pp. 2368-2378, Minneapolis, Minnesota, June 2019.

[10] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on EMNLP, pp. 2021-2031, Copenhagen, Denmark, September 2017.

[11] Alon Talmor, Ori Yoran, Ronan Le Bras, Chandra Bhagavatula, Yoav Goldberg, Yejin Choi, and Jonathan Berant. CommonsenseQA 2.0: Exposing the limits of AI through gamification. In Thirty-fifth Conference on NeurIIPS Datasets and Benchmarks Track (Round 1), 2021.

[12] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.

[13] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[14] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in NeurlIPS, Vol. 33, pp. 1877-1901, 2020.

[15] Alisa Liu, Swabha Swayamdipta, Noah A. Smith, and Yejin Choi. Wanli: Worker and ai collaboration for natural language inference dataset creation. arXiv. abs/2201.05955.

[16] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the NAACL-HLT, pp. 1112-1122, New Orleans, Louisiana, June 2018.

[17] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, AAAI'17, p. 4444-4451, 2017.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the NAACL-HLT, pp. 41714186, Minneapolis, Minnesota, June 2019.

## A JCommonsenseQA 構築における 質問のフィルタリング方法

クラウドソーシングによる質問の作成後、正解の 文字数やキーワードの指定などでヒントを与えられ た難易度の低い質問、及び不適切な形式の質問を除去するために、以下のいずれかに該当する質問を持 つ問題を除去している。

・質問に選択肢の言葉が含まれる

・例えば「海の対義語を漢字 1 文字で？」など、質問に「○文字」という文字列が含まれる $(\bigcirc$ は数字)

・質問の文末が「?」ではない

## B事前学習モデルの詳細

実験に用いた事前学習モデルの詳細を表 2 に 示す。

 \\

表 2 実験に用いた事前学習モデルの詳細。モデル名の丸括弧内は Hugging Face Hub での名称を示す。どちらのモ デルも LARGE サイズも使用する。事前学習テキストの CC は Common Crawl を表す。

## C ハイパーパラメータ

実験に用いたハイパーパラメータを表 3 に示す。


 栗原健太郎 1 河原大輔 1 柴田知秀 2 1 早稲田大学理工学術院 2 ヤフー株式会社 \{kkurihara@akane., dkw@\}waseda.jp tomshiba@yahoo-corp.jp  