# 複数文書の読解を要する質問の自動生成と 質問応答システムへの応用

小林俊介 河原大輔
早稲田大学理工学術院
\{carlike787@toki., dkw@\}waseda.jp

## 概要

オープンドメイン質問応答タスクは質問に対す る文書の検索と読解で構成され、そのデータセッ トには、複数の文書を読解しなければ解答できな い質問が多く存在する。本研究では、テキスト生成モデルをべースとした質問応答モデルである Fusion-in-Decoder [1] を用いて、複数文書の読解を要 する質問を自動生成する。生成された質問を、オー プンドメイン質問応答システムに応用した結果、正答率が約 $2 \%$ 向上し、質問生成の有効性が示された。

## 1 はじめに

自然言語処理における機械学習の利用において は、学習データの量が重要であり、多量かつ高品質 なデータセットの取得が課題の 1 つになっている。 データセットを作成する手法としてアノテーション が使われる。しかし、アノテーションを人手で行う とコストが高くなってしまうため、データ作成・拡張を自動で行う手法が用いられることもある。

本研究ではデータ拡張をオープンドメイン質問応答タスクに応用する。オープンドメイン質問応答タ スクは質問に対する文書の検索と読解で構成され、 そのデータセットには、複数の文書を読解しなけれ ば解答できない質問が多く存在する。本研究では、 テキスト生成モデルをべースとした質問応答モデル である Fusion-in-Decoder [1] ${ }^{1}$ (FiD) を用いて質問を 自動生成する手法を提案する。提案手法の FiD は解答と複数の文書を入力とし、与えられた解答に対応 する質問を生成する。FiD は元来、複数の文書を考慮した出力の生成が可能であり、生成される質問は 複数の文書を参照しなければ解答できないものにな ることが期待される。

一方で、生成された質問は矛盾や不自然な表現を

1) https://github.com/facebookresearch/FiD含む場合や、異なる解答を持つ場合があり、そのま ま追加データとするには不適切な場合がある。この ため、元の質問と表現が異なり、かつ解答が同一で ある質問を選別するため、生成された質問と元の質問との類似度を用いたフィルタリングを行う。

選別された質問をデータセットに追加して質問応答システムの学習を行った結果、データ拡張を行 わずに学習を行った場合と比べて、正答率が最大で 2\%改善し、自動生成された質問が学習に貢献する ことが示された。また、1つの文書のみで生成した 質問を加えた場合、複数文書で生成した質問で学習 した場合よりも正答率が悪化し、複数文書で生成を 行う提案手法が有効であることが示された。また、 フィルタリングを行うと、正答率が最大で $0.6 \%$ 向上 し、フィルタリングも効果があることが示された。

## 2 関連研究

英語における質問応答タスク用のデータセット では、関連文書を与えて質問に答える形式のものが 多く、SQuAD [2]、TriviaQA [3]、Natural Questions [4] などがある。日本語における質問応答タスク用の データセットには、SQuAD の形式を踏襲した運転 ドメイン QA データセット [5] や、JGLUE [6] に含 まれているJSQuAD、クイズ形式の質問文で、日本語 Wikipediaを関連文書とする JAQKET [7] などがあ る。SQuAD と TriviaQA では訓練用の質問が 100,000 件前後、Natural Questions では 300,000 件以上用意さ れている。一方で運転ドメイン $\mathrm{QA}$ データセット は 34,000 件強、JSQuAD は訓練用データで 64,000 件弱、JAQKET では評価用を合わせても 24,000 件前後 と、英語データセットに対して一桁少ない。

自然言語処理の各タスクで大きな精度向上を達成 したモデルが、Transformer に基づく汎用言語モデル である。その中でもテキストを生成できるモデルと して T5 [8] がある。

図 $1 \quad N=3$ における質問生成の流れ

Izacard ら [1] は T5をべースとした質問応答のモ デルとして、複数の文書を入力に用いることができ る FiDを提案した。このモデルでは入力される文書 ごとに、質問文と結合してエンコードが行われ、得 られた埋め込みべクトルは一括してデコーダに入力 される。これにより、解答生成の際に複数の文書か ら情報を得られるという特徴があり、より精度の高 い解答を生成できる。

質問の生成については、Du ら [9] が DNNによる 質問生成を行い、精度を改善させたことから、特に テキスト生成が可能な言語モデルによる質問生成 が行われてきた。Murakhovs'ka ら [10] は、1つの比較的長い文書を入力とし、異なる解答を持つ複数の 質問を生成できる MixQG を提案している。既存モ デルから $10 \%$ 以上の精度向上を達成しているが、入力が 1 文書であり、複数の文書を参照した質問には なっていない。日本語においても、折原ら [11]によ り、日本語 $\mathrm{T} 5$ モデルを用いて、ニュース記事から クイズを生成する試みが行われた。既存のクイズ サービスに掲載されている質問を例に、生成された クイズが単に正答を問うだけではなく、面白みのあ るクイズになっているかについて考察している。し かし、ここでも入力する記事は 1 つだけであり、ま た使用された訓練データ数も 220 件と少ない。

## 3 複数文書による質問生成

## 3.1 質問の生成とフィルタリング

本研究の目標は、複数の文書を読解しないと解答 することができない質問の生成である。この要素を 満たす FiDを本研究での質問生成で用いるモデルと する。提案するモデルは FiD と同一の構造であり、入出力の形式が異なるのみである。通常、FiD の入力は、質問文と、読解すべき文書のタイトルおよび 内容を大力するが、本研究では、質問文の代わりに 解答と、解答を含む関連文書 $N$ 個を入力する。 $N=3$ の場合の質問生成の流れを図 1 に示す。

ただし生成された質問は、そのままでは矛盾や不自然な表現を含む場合や、異なる解答を持つ場合が あり、そのまま追加データとするには不適切な場合 がある。そこで、元の質問と表現が異なり、かつ解答が同一である質問を選別するために、フィルタリ ングを行う。フィルタリングは元の質問と生成さ れた質問の類似性を測定することで実現し、その 指標として BERTScore [12] と BLEU [13] を用いる。 いずれも 2 つの文の類似度を測定する指標である が、BLEU が N-gram 単位の表層的な類似度を測定 するのに対し、BERTScore は BERT の出力する埋め 込みべクトルに基づく意味的な類似度を測定する。 よって、同じ解答で異なる表現の質問を得るには、 BERTScore が高く、かつ BLEU のスコアが低い質問 が適している。加えて、元の質問は事実に基づいた ことが書かれているため、生成される質問に矛盾等 が生じていれば、BERTScore の值は低くなると考え られる。以下の例 (1) はそのような質問のペアであ る。解答は「夜明け前」であり、元の質問 $\mathrm{a}$ のよう に書き出しは「木曽路はすべて山の中である」であ るが、生成された質問 b は異なる書き出しになって おり、矛盾が生じている。

(1) a.「木曽路はすべて山の中である」という一文で始まる、島崎藤村の小説は何でしょう？ b.「だから、私はその家を飛び出した」とい う書き出しで始まる、島崎藤村の小説は何 でしょう?

## 3.2 実験

## 3.2.1 実験設定

2020 年から質問応答タスクのコンペティション 「AI王」のデータセットとして JAQKET データセッ トが利用されている。本研究では、同コンペティ ションの第 2 回大会 ${ }^{2}$ で提供されている、JAQKET をべースとしたクイズ形式のデータセット、および

2) https://sites.google.com/view/project-aio/ competition2

日本語 Wikipedia 記事の文書集合3）を用いた実験を 行う。各質問には前処理として、Elasticsearch ${ }^{4}$ を用 いた、各質問の解答を含む関連文書5)の抽出が行わ れている。このデータをもとに、FiD の学習で必要 とされる質問、解答、関連文書の組を抽出した。

FiD で用いる日本語 T5 モデルは、Hugging Face Transformers ライブラリに存在するものを用いた6)。学習で設定したハイパーパラメータを付録 A に示 す。質問生成で使用する文書数は、関連文書のうち 3 つ、および、1つのみとする 2 パターンとした。生成においては各入力に対し、beam searchにより生起確率の高い出力 7 つを取得した。

モデルの評価では、評価用データセットを用い て、各入力に対して質問の生成を行い、人手による 評価を行った。自動生成そのものの結果を評価する ため、フィルタリング前に無作為に抽出した 50 問 を評価対象とし、評価の観点は矛盾や文法ミスがな いなど、質問に自然さがあるかどうかと、複数文書 の読解を要するか否かの 2 つとした。

## 3.2 .2 実験結果と議論

質問の生成 以上の設定の下で、質問生成に対応 した FiDのファインチューニングを行った。評価結果を表 1 に示す。以下に、 3 つの関連文書を用いて 生成された質問の例を示す。

(2) 1971 年に独立するまでは「東パキスタン」と 呼ばれていた、首都をダッカに置く国はどこで しょう?

（3）『斜陽』『人間失格』『堕落論』などの作品を残 した、昭和を代表する作家は誰でしょう？

(4) 花見大根、桜島大根といえばどんな野菜の品種 でしょう?

例 (2) は、質問文に矛盾や文法的誤りがなく、適切 な生成が行われた例である。一方、例 (3) は「太宰

3) https://github.com/cl-tohoku/AI02_DPR_baseline/blob/ master/scripts/download_data.shに記載のスクリプトでダ ウンロードできる。

4) https://www.elastic.co/jp/

5）関連文書は日本語 Wikipedia 記事をパッセージの集合に分割したものである。

6) https://huggingface.co/megagonlabs/ t5-base-japanese-web治」を解答とする質問であるが、「郢落論」は坂口安吾の作品であり、事実に矛盾する例となっている。 また、例 (4) は矛盾こそないものの、質問文中で解答の「大根」に言及してしまっているため、質問と して全く意味を成していない。FiD がベースとする T5 の出力生成では、出力文全体の意味を考慮した デコードが難しいため、このような不適切な質問が 生成されると考えられる。

次に、複数文書の読解を要する質問について、3 つの関連文書を用いて生成した例を (5) に示す。(6) は参照の必要がある文書の抜粋である。

（5）「眠り猫」の銅像が有名な、徳川家康を祀った 神社は何でしょう?

（6） a. 眠り猫 (ねむりねこ) は、栃木県日光市 の日光東照宮の回廊にある建築装飾彫刻作品。

b. 日光東照宮 (にっこうとうしょうぐう) は、日本の関東地方北部、栃木県日光市に所在 する神社。江戸幕府初代将軍・徳川家康を 神格化した東照大権現 (とうしょうだいご んげん)を主祭神として祀る。

複数の文書の読解を要する質問は多く生成できな かったが、この原因として、訓練で利用した質問の 多くが単一の文書の読解のみで解答できてしまうこ とが考えられる。オリジナルの質問を 50 問サンプ リングして検証した結果、22 問が単一文書の読解で 解答可能であり、これらのデータによる学習が複数 の文書を参照することを妨げていると推測される。

また、関連文書 1 つのみを用いて生成した質問に は、複数文書を読解しないと解答できない質問は存在しなかった。

質問のフィルタリング 次に、フィルタリングの 効果を検証するため、BERTScore と BLEU ${ }^{7)}$ を計算 し、3 文書で生成された自然な質問の割合がどのよ うに変化するか調査した。その結果を表 2 に示す。 なお、1 行目にはフィルタリングがない場合の結果 を示す。表 2 から、自然な質問を多く残せているこ とが分かる。ただ、不自然な質問も多く残り、全体 に占める自然な質問の割合は $40 \%$ 程度にとどまっ た。フィルタリングによる質問除去は一定の効果が あるものの、改善の余地も十分にあるといえる。

表 2 フィルタリング前後の質問の内訳と、自然な質問の 割合 (BS は BERTScoreを表す)

## 4 質問応答システムへの応用

## 4.1 質問応答システムの学習

生成された質問を、質問応答システムの学習に応用する。まず、訓練用データセットの質問および、 その各質問から生成された質問に対し、質問応答シ ステム用の訓練データの選抜を行った。具体的に は、AI 王で提供されている DPR [14] のベースライ ン8)を用いて、日本語 Wikipedia の記事から文書 100 個を抽出し、その中に解答が含まれないデータは訓練データから外した。

また、生成された質問と、生成元の質問を用い て、BERTScore と BLEUによる類似度計算9)を行っ た。 3 節に従い、BERTScore を用いる選別では、一定のしきい値以上の質問を、BLEUを用いる選別で は、一定のしきい值以下の質問を採用した。そし て、元の訓練用データセットに、これらのしきい值双方を満たすよように選別された生成質問群を追加 した。この際、追加する質問は生起確率の高い質問 3つまでに制限した上で追加を行い、システムの学習を行った。また、予備実験において、無制限に質問を追加しても精度の向上が見られなかったため、追加するデータ量は各実験設定で 6,000 問とした。

評価においては、評価用データセットで DPRに よる関連文書 100 件の抽出を行い、解答が存在する 文書を抽出できた質問を入力し、解答を生成した。 そのうえで、データに存在する想定解答と、生成さ れた解答が完全一致しているかを基準とする Exact Match (EM) による評価を行った。この実験を各しき い値の組み合わせごとに、異なるシード値を用いて 5 回実施し、EMによる正答率の平均を算出した。

8) https://github.com/cl-tohoku/AI02_DPR_baseline

9） BERTScore は 0 から 1 まで、BLEUは 0 から 100 までの値 をとる。いずれも類似度が高いときに大きい値になるが、全 く関連のない文同士では BERTScore は 0.6 程度になる。表 3 各実験設定の詳細と評価データセットでの EM 正答率。文書数は生成時に用いた文書数を示す。

## 4.2 結果

表 3 に、元のデータを使用した場合と、生成され たデータを様々なしきい値によって選別した際の、 EM 正答率を示す 10 )。

生成された質問をシステムの学習に用いたこと で、精度は最大で約 $2 \%$ 向上し、提案手法によって 生成された質問が学習に貢献していることが確認さ れた。生成時の文書数が 1 つだけの質問を追加した 場合と比較すると、同じしきい值で 3 文書を使用し たケースが最大 $1.7 \%$ 前後正答率で上回った。この 結果から、複数の文書の読解を要する質問を生成す ることの有効性が確認できた。3つの文書を用いて 生成した質問を利用した実験において、類似度によ る選別を行わない場合と行う場合を比較すると、選別を行った場合は $0.3 \%$ から $0.6 \%$ の正答率向上が確認でき、フィルタリングに一定の効果があることが 示された。

## 5 おわりに

本研究では、FiDを用いて、複数文書の読解を要 する質問データの生成を試みた。質問生成の結果、同じ解答を違う表現を用いて導くような質問が生成 できた。また、質問応答タスクのデータとして追加 した結果、正答率が最大 $2 \%$ 向上した。加えて単一文書だけの読解で解答できる質問は、精度の改善幅 が小さく、生成データの有用性が確認できた。今後 の研究では、BERTScore や BLEU のフィルタリング で対応しきれない、意味は全く違うが求められる解答が同じ質問を自動で生成する方法を追求したい。


## 謝辞

本研究はキオクシア株式会社の委託研究において 実施した。

## 参考文献

[1] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874880, Online, April 2021. Association for Computational Linguistics.

[2] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[3] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1601-1611, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, MingWei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: A benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 452-466, March 2019.

[5] Norio Takahashi, Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. Machine comprehension improves domain-specific Japanese predicate-argument structure analysis. In Proceedings of the 2nd Workshop on Machine Reading for Question Answering, pp. 98-104, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[7] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ 卜の構築. 言語処理学会第 26 回年次大会 (NLP2020)発表論文集, pp. 237-240, Online, March 2020. 言語処理学会.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Ma- chine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[9] Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1342-1352, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Lidiya Murakhovs'ka, Chien-Sheng Wu, Philippe Laban, Tong Niu, Wenhao Liu, and Caiming Xiong. MixQG: Neural question generation with mixed answer types. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1486-1497, Seattle, United States, July 2022. Association for Computational Linguistics.

[11] 折原良平, 鶴崎修功, 森岡靖太, 島田克行, 狭間智恵,市川尚志. クイズビジネスにおける作問作業支援.言語処理学会第 28 回年次大会 (NLP2022) 発表論文集, pp. 1401-1405, Online, March 2022. 言語処理学会.

[12] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

## A 学習時のハイパーパラメータ

表 4 に、FiD の学習で用いたハイパーパラメータ を示す。


 小林俊介 河原大輔 早稲田大学理工学術院 \{carlike787@toki., dkw@\}waseda.jp  