# 根拠を説明可能な質問応答システムのための 日本語マルチホップ QA データセット構築

石井愛 ${ }^{1}$ 井之上直也 ${ }^{1,2}$ 関根聡 ${ }^{1}$
${ }^{1}$ 理化学研究所 AIP ${ }^{2}$ 北陸先端科学技術大学院大学
\{ai. ishii, satoshi. sekine\}@riken.jp naoya-i@jaist. ac.jp

## 概要

推論の根拠を説明可能な質問応答システムの実現 のためには，知識データを適切に活用するスキルを 開発するための根拠情報を含むデータセットが必要 だと考える. 本稿では，クラウドソーシングにより 新たに生成する 3 つ組を用いた日本語のマルチホッ プ QA データセット構築の枠組みを提案し, 初期版 のデータセットを公開する。調查分析結果から, 多様な表現の質問に応じて, 知識データの連鎖や数值比較等の様々なスキルが要求されることが示された.

## 1 はじめに

答えを導き出すために複数の情報や知識を用いて 推論し, その推論の根拠を説明できる質問応答シス テムの実現には，構造化された知識を連鎖させなが ら適切に活用するスキルが重要となると考える. そ のようなスキルに関連する既存のデータセットとし ては, HotPotQA[1], R4C[2], 2WikiMultiHopQA[3]等 の推論の根拠となる情報を含むマルチホップ $\mathrm{QA}$ タ スクがある． R4C は HotPotQA をベースとして，推論過程を 3 つ組の組み合わせで付与したデータセッ トである．R4C の3つ組は HotPotQA の文単位の根拠から単純に 3 つ組を抽出することでは得られず,推論に関連した箇所を適切に出力することで高い評価を得られることが示されている[2].

構造化された知識としては, Wikidata[4], 森羅プ ロジェクト[5]の Wikipedia 構造化データ[6]等, 3 短組形式で利用可能な知識データがある. これらの知識を活用するスキルを開発するためのデータセット としては, 2WikiMultiHopQA のように知識データの 3 つ組を用いて質問を生成することが考えられる.

図 1 構成質問の例

ただし，その質問を解く際に用いる知識データが質問作成時に用いたものと同一の場合, その知識デー タを活用するスキルはうまく開発されない可能性が ある. また, 既存の知識データでは計算機が利用し やすいよう，3つ組の関係の記述は統一されている. そのため，作成された質問にバリエーションが生ま れにくいと考える.

そこで本稿では, クラウドソーシングにより新た な 3 つ組を生成し，それをべースに質問，回答，お よび根拠の 3 つ組のセットを作成するデータセット 構築の枠組みを提案する. クラウドソーシングによ る新たな 3 つ組を用いることで，用いる知識データ に依らず知識データの活用スキルを開発でき,かつ,多様で自然な表現が含まれるデータセットを生成す ることを狙う。本稿の貢献は以下のとおりである.

・クラウドソーシングに基づく3つ組を用いたマ ルチホップ QA データセット構築の枠組みを提案する。

・ データセットの初期版および, データセット構築の枠組みを公開するi.

- 生成したデータセットの定量的・定性的な分析結果を示す.


## 2 データセットの概要

## 2.1 データセットの目的

本データセットでは，マルチホップ推論が必要な 質問 $\mathrm{Q}$ と回答 $\mathrm{A}$ および，その根拠を 3 つ組のセッ 卜として提供する. 質問 $\mathrm{Q}$ から回答 $\mathrm{A}$ までの推論経路を導出するタスクにより, 知識データを適切に 活用するスキルが開発されることを目的とする.

## 2.2 問題の種類

2 つの 3 つ組を前提として，根拠の説明を求める 質問は，3つ組のどこか 1 つが共通しているか，並行しているかの 2 パターンと考えられる. 本データ セットでは，共通するエンティティをブリッジエン ティティとする(1)構成問題, 2 つの 3 つ組を比較す る(2)比較問題の 2 種類の問題を作成する.

(1) 構成問題 2 つのページから生成された 2 つ の 3 つ組 $(e, r 1, e 1)$ と $(e 1, r 2, e 2)$ を中心, $e 1$ をブ リッジエンティティとして $, e, r 1$, および 2 を用 いて質問， $e 2$ を用いて回答を作成する. ブリッジェ ンティティは, 図 1 の “ルーブル美術館”に相当す る.

(2) 比較問題 2 つのページに内在する 3 つ組 $(e 1, r 1, e 2)$ と $(e 3, r 2, e 4)$ の $e 2$ と $e 4$ を比較する質問 を作成する. 生年月日（例 $: e 1$ と $e 3$ どちらが先に生 まれたか? ）や設立年, 所在地や出身国（例 : $e 1$ と $e 3$ の出身国は同じか?）等の情報から質問を作成す る.

## 3 データセットの構築

本データセットは，(1)構成問題のための 3 つ組 の生成, (2)3つ組を用いた構成問題の生成, (3)比較問題の生成の 3 つのクラウドソーシングタスクに より生成する. 対象とするぺージが人物や企業に関 するページに偏らないよう，拡張固有表現[7](ENE) が Wikipedia ページに付与された分類データ[8]を使用し分布を調整する.

## 3.1 クラウドソーシングタスク

(1)構成問題のための 3 つ組の生成 まず, 人気

体とほぼ同等となるように対象とするぺージ群を選定する。その際, 固有表現のハイパーリンクが含ま れにくい概念の説明のページや，データセットにふ さわしくないと考えられるぺージが含まれるカテゴ リを手作業で確認し除外した. クラウドソーシング では，ページ右側の表（Infobox）および冒頭部分

(Abstract) のハイパーリンクを対象に，ページタ イトルを Subject, リンク先を Object とする 3 つ組 の関係を記述するタスクを実施する。関係記述用画面（図 2）では，クラウドワーカーが関係を記述 するボックスを選択すると, 右側の Web ページ部分の対象箇所がハイライトされる.

図 23 つ組の関係記述画面

(2) 3 つ組を用いた構成問題の生成 起点とする ページの 3 つ組に含まれるブリッジェンティティの 候補について, ENE の分布が調整されるよう重みづ けしてランダムに選定し，ブリッジェンティティで つながる 2 つの 3 つ組のぺアを生成する。その際， Infobox に含まれる情報のほうが問題生成に使われ やすいという事前の調査結果から，Abstract に含ま れブリッジェンティティが 6 割以上選択されるよう

図 3 構成質問生成時の根拠選択画面

調整する.クラウトトソーシングタスクでは，ブリッ ジエンティティでつながる 2 つのページの 3 つ組を ぞれぞれ表で表示し（図 3），クラウドワーカーは 2 つの表の情報を用いて問題を作成し, 使用した 3 つ 組を各表から選択して根拠のセットとする.

(3)比較問題の生成 まず, 対象のページ群を Wikipedia ページに付与されているカテゴリ情報で グルーピングし， ランダムにグループを選定する。 そのグループ内からランダムに 2 ページのぺアを作成する。 その際，ENE の分布が調整されるよう重み づけをする. クラウドソーシングタスクでは，クラ ウドワーカーは左右に表示された 2 つぺージ（図 4）を見て，質問と答えを作成し，その際使用した情報を 3 つ組の形となるよう入力する. なお, 左右に 2 つのページを表示する画面では, Infoboxを表示す るかどうかを制御し，ランダムに 4 割程度 Infobox が表示されるようにする.

図 42 2のページの比較画面

## 3.2 データセットの統計

以下に作成したデータセットの統計を示す. クラ ウドソーシングは Lancersiiiのタスク形式で実施し,問題として成立しないセットを簡易的な自動チェッ クおよび手作業にて構成問題 127 件, 比較問題 378 件除外した。

表 1 データセットの統計

## 3.3 データセットのサンプル

データセットのサンプルとして, 付録表 4 に構成問題の例，付録表 5 に比較問題の例を示す.

## 4 分析

作成したデータセットについての調査, 分析結果 を示す.

## 4. 1 問題の分野の多様性

問題作成時に対象とする Wikipedia ページの ENE カテゴリが Wikipedia 全体の分布に近くなるよう調整した結果, 表 4 の分布となった. 分布は多少前後 するものの，人気の高いページに非常に多く含まれ る人名カテゴリへの偏りはある程度避けられてい る. 構成問題の起点ページ，ブリッジェンティティ のページ，比較問題のページの ENE カテゴリの種類数はそれぞれ，46，56，58 と幅広い分野の質問 が作成されたといえる. 表 4 の CONCEPT 等, 事前調查によりブリッジエンティティとなるような固有名詞が含まれにくいカテゴリや，「○○の一覧」等のまとめぺージが多く含まれる IGNORED, R18 の制限に相当するようなページが含まれるカテゴリ はあらかじめ除外したため $0 \%$ となっている.

表 2 ENE カテゴリの分布（上位 10 カテゴリ）

} & Wikiped & \multicolumn{2}{|l|}{ 構成問題 } & \multirow{2}{*}{ 比較問 } \\
\cline { 3 - 4 } & ia 全体 & 起点 & ブリッジ & 題 \\



## 4. 2 問題を解くために要求されるスキル

付録表 4 に示した構成問題は，クラウドソーシ ングで作成した 3 つ組を用いるため, その 3 つ組の 関係がどのように表現されているかに質問の自然さ が左右されている.

付録表 5 に示した比較問題は $1 \sim 4$ が数値を比較 する問題である. 数値の意味をとらえた上で比較や 計算するスキルが要求される。 3 は生年月日を用い て初土俵時の年齢を計算した上で比較する必要があ る. 4 は個数を数える問題であり，「豊富なのはど ちら」という質問に対し, 個数が多いほうを答える 必要がある. 5, 6 は数値以外を比較する問題であ り，5 のように片方が持つ属性値について質問し， それを持つのはどちらかを問う問題，または 6 のよ うに両方の属性値が合致しているかどうかを問う問題がある. 6 のように属性によらず「石川県」が含 まれているかを問う，「ゆかりのある」という表現 の意味をとらえるスキルを要求する問題も作成され た. 数値を比較する問題の割合は $34 \%$ であった. これは作成開始当初生年月日を比較する問題が多く 作成されたため, 数値の比較以外の問題を作成する インストラクションをしたことによる.

## 4. 3 根拠の 3 つ組の特徴

Wikidata と比較した特徵 クラウドソーシングで 作成された 3 つ組の一部を Wikidata と比較した結果, 本研究の 3 つ組のほうが関係の数は多い傾向が あった. Wikipedia は関係の記述が統一されているた め, 汎用的である. 対して本研究の 3 つ組は, 表記 ゆれが多く質問のバリエーションを高める用途には 適していると考える. ただし, 低品質な記述も散見 されるため, 改善方法の検討が必要である.

3 つ組抽出元のページ内位置 表 3 に問題の根拠と して使用された 3 つ組のページ内での出現位置を示 す. 構成質問のブリッジェンティティはほぼ設定ど おりの割合であり, 比較問題ではクラウドワーカー に見せる画面で比較問題に使用しやすいInfobox を 表示するかどうかをランダムにしている効果から， Abstract とそれ以外の本文をあわせた割合と比較し て Infobox が 5\%程度少ない結果となった. Both は Infobox と Abstract 両方に含まれる場合の割合であ り, other は 3 つ組の Object がページ内の表現と完全一致しない割合である。比較問題の3つ組はクラ ウドワーカーがページ内の該当箇所をコピーして
Object エンティティとし, 関係を自由記述するよう インストラクションに記載しているが， ゚゚ージ内の 不要な情報を削除したケースや表 5 の 5 例のよう に，ページ内で存在しない情報を3つ組にしたケー スが含まれる。

表 3 使用された 3 つ組の出現箇所

## 5 おわりに

知識データを適切に活用するスキルの開発を目的 とした，推論の根拠を 3 つ組のセットで含む日本語 のマルチホップ QA データセット構築の枠組みを提案した. 調査分析結果から, 幅広いカテゴリの多様 な表現の質問が含まれること, その多様な表現の意味を捉えた上での知識データの連鎖や数値比較等,様々なスキルが要求されることを示した。構築は継続中であるがこれまで構築した初期版となるデータ セット，および構築のための枠組みとなるスクリプ 卜等を

https://github.com/aiishii/jpn_explainable_qa_dataset に て公開予定である。

今後の課題として, 2WikiMultiHopQA にて提案 されているような構成問題と比較問題を組み合わせ たバリエーションや，2つの 3つ組から新たな関係 を導いて用いる問題の追加があげられる。また，デ 一タセットの規模を大きくしていく上で品質を確保 する手段についても今後検討する予定である.

## 謝辞

本研究は JSPS 科研費 JP20269633 および

19K20332 の助成を受けたものです.

## 参考文献

[1] Z. Yang et al., "HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering," EMNLP 2018, pp. 2369-2380, 2018, doi: 10.18653/V1/D181259 .

[2] N. Inoue, P. Stenetorp, and K. Inui, "R4C: A Benchmark for Evaluating RC Systems to Get the Right Answer for the Right Reason," ACL 2020, pp. 6740-

6750, Jul. 2020, doi:

10. 18653/V1/2020. ACL-MAIN. 602.

［8］関根聡，安藤まや，小林暁雄， and 隅田飛鳥，“拡張固有表現定義の更新と日本語 Wikipedia 分類データ 2019,” 言語処理学会 第26回年次大会, 2020.

## A 付録

表 4 構成問題の例

 & 長野県 &  \\

## 表 5 比較問題の例

 & NO & (奈良市, 人口, 約 35 万 2000 人),(ドバイ, 人口, 約 331 万人) \\


 石井愛 ${ }^{1}$ 井之上直也 ${ }^{1,2}$ 関根聡 ${ }^{1}$ ${ }^{1}$ 理化学研究所 AIP ${ }^{2}$ 北陸先端科学技術大学院大学 \{ai. ishii, satoshi. sekine\}@riken.jp naoya-i@jaist. ac.jp  