# 価値判断を伴うファクトイド質問応答

$\dagger$ 奈良先端科学技術大学院大学 先端科学技術研究科
‡国立研究開発法人 情報通信研究機構 (NICT)
seki.naoya.si8@is.naist.jp
\{junta-m, rovellia, julien, ryu.iida, torisawa\}@nict.go.jp

## 1 はじめに

ユーザはしばしば「糖尿病患者は何を食べるとい い?」のように、何かをうまくやる，もしくはまず いことを避けるための質問を発する。このような 質問のうち，名詞句を回答とするものを，本研究 では「価値判断を伴うファクトイド質問」(Opinion Factoid Question Answering, 以下 OFQA）と呼ぶ。従来の質問応答システムでは, 価值判断を伴うファ クトイド質問には対応できない。その結果, 例え ば質問「糖尿病患者は何を食べるといい?」に対 し,「ケーキ」といった不適切な回答が出力されて しまう.

本研究では, 日本語の OFQA データセットを作成 し, これと, 価值判断を考慮していないファクトイ ド QA のデータセットや一見質問応答とは関連の薄 い因果関係認識認識に関するデータセットを組み 合わせて fine-tuning した, BERT ベースの質問応答手法を開発した.この精度はセンチメント分析等,複数の異なるタスク用の分類器/抽出器を組み合わ せたパイプライン方式よりも精度が高かった。これ らのパイプライン方式の開発では, 価値判断の根拠 （例えば，「糖尿病患者がケーキをたべてはまずい」 の「まずい」）を表す入力中の表現を特定するため 追加的なアノテーション等も行ったが, それらの追加アノテーションや各種モジュールを使用しなくて も，BERT がいわゆる end-to-end でょり高い精度を 達成できたことは興味深い。

## 2 データセットの構築

本研究で構築した OFQA データセットは, 質問・回答候補・回答候補が抽出された文（以下，元文） の 3 つ組と, 質問に対し回答候補が適切か否かの二值ラベルで構成される. 本研究では, 関らのファク

トイド $\mathrm{QA}$ (以降, $\mathrm{FQA}$ と呼ぶ. 価値判断は考慮さ れていない) データセット [1] の訓練事例から抽出 した 7,887 事例（抽出条件の詳細は付録を参照）と，大規模情報分析システム WISDOM X[2][3] で新規に 収集したファクトイド質問応答の出力からデータ セットを作成する．WISDOM X は，ユーザから与 えられた質問からバイナリパタンもしくはユナリパ タンと呼ばれるパタンを抽出し，それらパタンを用 いて Web 文書 40 億件から回答候補を検索する．表 1 に検索結果の例を示す.

バイナリパタンとは，係り受けで繋がった 2 つの 変数化された名詞をもつ「A は B 引き起こす」の ようなパタンを指す [4]. ユナリパタンは 1 つの変数化された名詞をもつ「Aを引き起こす」のよう な形式で表されるパタンを指す. WISDOM X では， Web40 億文書に形態素解析など処理を行い，バイナ リ（ユナリ）パタンを抽出し，検索用インデックス を構築する。検索の際は，与えられた質問からパ夕 ンとパタンの変数に当てはまる名詞（例 : A が B を 食べる, $\mathrm{A}=$ 糖尿病患者）を抽出し，検索用インデッ クスに照合して回答候補を検索する。また，柔軟な 照合を行うために，抽出されたパタンと含意関係に あるパタンも利用して回答候補を検索する [4].こ うしたパタンを用いることで単純に名詞等でキー ワード検索するよりも，より少数の，正解の可能性 が高い回答候補を絞り込むことができる.

アノテーション作業では, 表 2 に示したような質問, 回答候補, 元文の 3 つ組を対象に, 質問に対し て回答候補が適切か否かを判定する。ただし，質問

は「といい？」といったような表現で表される価値判断を伴う質問となっているため，その価値判断も 含めて判定を行う．例えば，この表の質問に対して は, 表 1 にある元文から抽出された回答候補「ケー キ」は「糖尿病患者が食べるといいもの」ではない ので，正解とはみなされない.

 \\

また, 上記のアノテーション作業時, 元文中に回答候補の価值判断の根拠（以降，根拠表現と呼ぶ） があれば，その根拠表現を特定する作業も同時に行 なった，表 2 の例では，「血糖値を下げるのに効果的です」が根拠表現となる. 抽出した根拠表現は後述する比較手法で用いる.

質問文については，Web40 億文書から質問文を疑問代名詞の有無など簡単なルールで抽出した後, 質問一般性判定によるフィルタリングを行なった。こ の判定では，例えば「IOT で何が変わるのか？」の ように，質問文が単独で知識，意見を求めている質問として成立していれば質問一般性が成り立つと判断する。一方, 「この英単語の意味わかりますか?」 のように，文脈がないと理解できない質問について は質問一般性が成り立たないと判断する. 本研究で は, NICT が開発した BERT ベースの質問一般性判定モデルを用いて質問一般性を判定する. 判定の結果，約 161 万件のファクトイド質問が獲得できた。

このようにして得られたファクトイド質問につい て, UniLM[5] を用いた質問変換器で WISDOM X で 検索しやすい形式の質問に言い換えた質問を作成す る. 例えば， Webから抽出した質問が「Q1. 糖尿病患者って何を食べるんですかねえ？」だとすると，「糖尿病患者は何を食べる？」のように言い換えた 質問を作成する．ついで，言い換え後の質問に「と いい？」または「とまずい？」のいずれか，価値判断を表す表現をランダムに選んで付加し, 価値判断 を伴う質問を作成する．なお，「といい？」といっ た表現を付加すると不自然な質問となる場合がある ため，最終的に人手で質問が意味的に自然か否かを 判定した。約 161 万件のファクトイド質問からサン プリングした 10,000 件の質問に対して上記判定を 行い，7,643 件の質問を得た。

ついで，WISDOM X は価值判断を伴う質問に対応していないため,「といい？」あるいは「とまず い?」を付加する前段階の質問について，WISDOM $\mathrm{X}$ で回答候補と元文を検索する．質問あたりの回答候補の検索上限数は 10 件とし, 回答が重複しない ようにした。この結果, 7,643 質問に対し 29,659 件 の回答候補と元文の組が収集できた。

これらの回答候補には，価值判断を考慮しなくて も正解とは言えない回答候補も含まれる. そうした 回答候補を大量にアノテーションするのは効率が悪 いため, 関らの FQA 分類器 [1] を用い, 価値判断を 考慮しない場合に正解とみなされる事例のみをアノ テーションすることにした。さらに，元文に根拠表現が含まれる可能性の高い事例を抽出するため，元文の末尾の表現に着目してフィルタリングを行っ た (詳細は付録参照). 最終的に, 5,273 件の質問,回答候補，元文の組が得られた。一方，評価時にこ のフィルタリングの影響を軽減するため, 本研究で は，1,774 件の質問・回答・元文の組をフィルタリン グ抜きで作成し, テストデータに加えた.

これらのデータに加えて, 関らの FQA データセッ 卜 [1] の訓練事例の正例から抽出した 7,887 事例を 加えて, 価値判断も考慮した正例/負例のアノテー ション, さらには前述した価值判断の根拠の特定の アノテーションを行った. 回答候補の適切さ及び根拠表現の特定のアノテーションは一つのインスタン スに対して，3名のアノテータが行い，正例／負例 のラベルは多数決で決定した．異なるアノテータに よるラベルの一致度を示すカッパ値はテストデータ に追加したフィルタリングしていないデータに関し てが 0.53 , それ以外が 0.57 であり，良好なアノテー ションであると考える。ついで，質問が重複しない ようにこれらのデータを以下の表 3 にあるように訓練, 開発，テストの 3 種に分割した。

## 3 手法

本研究では, 提案手法, 自明なべースライン手法 の他に比較手法として複数のモジュールを組み合 わせたパイプライン方式も二つテストした。以下 では，まず，それらのパイプライン方式を説明す る. なお，提案手法も含めて，以下で述べるべース

ライン, 比較手法で使われている各モジュールは, すべて全て 22 億文からなる因果関係文を含む Web コーパス（サイズは約 353GB）[6] で事前学習した

## 3.1 比較手法

図 1 根拠表現を用いるパイプライン方式

パイプライン方式の一つ目は，ファクトイド $\mathrm{QA}$ モデル [1], 根拠表現抽出器, センチメント分析を 組み合わせたパイプライン方式である（図 1).こ の手法では，ファクトイド $\mathrm{QA}$ モデルで正解とされ た回答に関して, 根拠表現抽出器を用いて価値判断 の根拠を特定し，その根拠のセンチメントが質問の 価值判断と一致している場合（つまり，「といい?」 の質問に対しては positive なセンチメント，「とまず い?」の質問に対しては negative なセンチメント) のみ，回答を正解とする.

ファクトイド $\mathrm{QA}$ モデルは BERT を関らの FQA のデータセットと OFQA データセットの二つでマル チタスクで fine-tuning したものを用いる. 根拠表現抽出器には BERT のトークン分類モデル（つまり，各トークンの出力に二値の softmax を接続し，その トークンが根拠表現にふくまれるかどうか判定する モデル）を用い，前述したように，データセットに 付与された価值判断の根拠表現で fine-tuning した. センチメント分析器も同様に BERT を用いた二值分類器である. (詳細は付録).

もう一つのパイプライン手法は, ファクトイド $\mathrm{QA}$, WISDOMXのどうなる型 QA[7][8][6] とセンチ メント分析器のパイプライン方式である (図 2). WISDOM X のどうなる型 QA は「A とどうなる？」 というタイプの質問に A の因果的帰結で回答する サービスである．例えば，質問「糖尿病患者は何を 食べるといい?」と回答候補「ケーキ」から「糖尿病患者はケーキを食べるとどうなる？」というどう なる型質問を作成し検索すると, 「救急車で運ばれ

図 2 どうなる型 $\mathrm{QA}$ を用いるパイプライン方式

る」といった因果的な帰結句が得られるが，これら の帰結句は回答候補に対する価値判断の根拠とも考 えられる.この手法では，こうした見方に基づき，帰結句にセンチメント分析を適用した結果と質問の 価值判断が一致した回答で, ファクトイド $\mathrm{QA}$ が正例とみなした回答だけを正解とする. ファクトイド $\mathrm{QA}$ とセンチメント分析器は前述したものを再利用 した.

## 3.2 提案手法

本節では, 提案手法として, BERT の一段階目の ファインチューニングを OFQA と異なるタスク，二段階目を OFQA で学習する二段階 fine-tuning を提案する。より具体的には, 関らの FQA データセッ ト [1] と, Hashimoto らの因果関係認識データセッ ト [7] を合わせたデータで一段階目の fine-tuning を 行い, FQA と因果関係認識に対する性能の平均が最 も性能の高いモデルを二段階目の fine-tuning に用い た。価値判断を伴わない FQA と OFQA では回答が 正解となる基準は異なるが，どちらもファクトイド 質問を対象とした質問応答であり, 必要とする知識 も共通する部分があると考えられる。また，前述し たように，元文中の回答候補にまつわる表現の因果的帰結 (「糖尿病患者がケーキを食べる」に対して 「救急車で運ばれる」）は価值判断と密接に関係があ ると考えることもできる。提案手法では，これら の仮説に基づき FQA と因果関係認識のデータセッ トで一段階目の fine-tuningを行い，それらのデータ セットが含む知識を OFQA で使うことを狙う。

## 4 実験

提案手法及びベースライン, パイプライン方式 の比較手法で用いる FQA モデルの fine-tuning 時に は表 6 （付録を参照）のパラメータを探索した。前
述したパイプライン方式の比較手法の他に, ベー スライン手法として前述した BERT $\mathrm{BARGE}$ を (1) 関 らの FQA データセット, (2) OFQA データセット, (3)FQA データセットと OFQA をマージしたデータ （FQA+OFQA）の 3 通りのデータセットで fine-tuning をしたモデル, また, (4) 提案手法で用いた因果関係，FQA，OFQA を段階を踏んで fine-tuning をする のではなく, 一気にマルチタスクで学習したモデル の 4 種類を評価した。

表 4 に OFQA のテストデータに対する実験結果を 示す. なお, 実験時間が足りなかったため, パイプ ライン（どうなる型 $\mathrm{QA}$ ）は OFQA のテストデータ の一部（1,774 件）に対する実験結果である. 提案手法 (テストデータ一部) はそれとの比較のため, 提案手法を同じテストデータで評価したものとなる. また, 提案手法 (-因果関係) は, 提案手法の 1 段回目の fine-tuning 時に因果関係のデータセットを使わ なかったモデルである.

表 4 OFQAのテストデータで評価した結果

提案手法の精度はベースラインも含め比較手法の いずれをも上回った. 特に, 提案手法が (4) マルチ タスク及び提案手法 (-因果関係) の性能を上回った ことはそれぞれ 2 段階 fine-tuning, 因果関係データ セットの有効性を示している。特に, 因果関係とい う一見 OFQA，ファクトイド $\mathrm{QA}$ とかけ離れたデー タセットがポジティブな影響を持っていることは興味深い. また, パイプライン手法は二つとも提案手法よりも高い精度を達成することはできなかった。 これはこれらのパイプライン手法が根拠表現やセン チメント，さらには因果関係に関係する別のデータ で学習した各種モジュールを使っていることを考 えると興味深い。つまり, この結果は, OFQA デー タセットだけから BERT が学習した価値判断の方 が, 少なくとも我々の設定では, それらの追加の学習データで別途学習した内容よりも高品質であるこ とを意味しており, BERT の end-to-end 学習の強力 さを示すものであると考えられる.
また, FQAのみで学習したべースライン (1) は 精度が極めて低く, OFQA+FQA の組み合わせ (3) がベースラインの中では一番精度が高い。なお， OFQA で高い精度を達成するためには, そのベース となっている価値判断の判定と, そもそも価值判断 を考慮せずに FQA の正解を正しく認識することの 両者が必要であると考えることができる.ここで, OFQA のデータセットはあくまで価値判断の判定を 適切に学習することに貢献しているのであって, 価值判断を考慮しない FQA の精度向上によって間接的に OFQA タスクの精度向上を果たしているわけ ではないことを確認するため, 追加で以下の実験 を行った。この実験では，（価值判断を考慮しない） FQA のテストデータでベースラインの精度を評価 した。（表 5).

表 5 FQAのテストデータで評価した結果

これによると, OFQA だけで学習したべースライ

(2) も, FQA と OFQA の両者で学習したベースラ イン (3)も，FQA だけで学習したベースライン (1) の性能を下回った。これは, OFQA のデータセット は価値判断を考慮しない FQA の性能向上には貢献 しないことを示している.このことから，FQAを学習データに追加することで学習されているのは確か に価值判断であることが分かる.

## 5 おわりに

本研究では「価値判断を伴うファクトイド質問」 を新たなタスクとして提案し，データセットを作成 の上，そのタスクのための質問応答モデルを開発し た. 因果関係認識や FQA といった別タスクの学習 データを利用することで性能が向上することを示し た.モデルは BERTをいわば end-to-end で学習した ものであり, 別途アノテーションした価値判断の根拠やセンチメント分析を利用したパイプライン方式 よりも精度が高かった。これはいわば，このタスク においてはパイプライン方式を考えた人間の開発者 を BERT が上回ってしまったと考えることもできる かもしれない.

## 参考文献

[1] 関直哉, 水野淳太, 門脇一真, 飯田龍, 鳥澤健太郎. ファクトイド質問応答における BERT の pre-trained モデルの影響の分析. 言語処理学会第 26 回年次大会, 2020

[2] Masahiro Tanaka, Stijn De Saeger, Kiyonori Ohtake, Chikara Hashimoto, Makoto Hijiya, Hideaki Fujii, and Kentaro Torisawa. WISDOM2013: A large-scale web information analysis system. In The Companion Volume of the Proceedings of IJCNLP 2013: System Demonstrations, pp. 45-48, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[3] Junta Mizuno, Masahiro Tanaka, Kiyonori Ohtake, JongHoon Oh, Julien Kloetzer, Chikara Hashimoto, and Kentaro Torisawa. WISDOM X, DISAANA and D-SUMM: Large-scale NLP systems for analyzing textual big data. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 263-267, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[4] Julien Kloetzer, Stijn De Saeger, Kentaro Torisawa, Chikara Hashimoto, Jong-Hoon Oh, Motoki Sano, and Kiyonori Ohtake. Two-stage method for large-scale acquisition of contradiction pattern pairs using entailment. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 693-703, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[5] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and HsiaoWuen Hon. Unified language model pre-training for natural language understanding and generation. In 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), December 2019

[6] Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, JongHoon Oh, and Julien Kloetzer. Event causality recognition exploiting multiple annotators' judgments and background knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5816-5822, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 987-997, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[8] Canasai Kruengkrai, Kentaro Torisawa, Chikara Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks, 2017.
[9] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: $100,000+$ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[10] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics.

## 付録

## A データ収集

Web から抽出した質問には不要な記号（「れ」,「个」,「*」,「Q1.」等）や質問の内容に大きく影響しない単語列（「ところ で」,「そもそも」,「技術における企業の最責任者, C T Oの仕事 とは？」の下線部等)が含まれ，そのまま WISDOM X に入力す ると十分な数の回答候補が得られない可能性がある. そこで， Web から抽出した質問を対象に，不要な部分を取り除いて簡単な 形式に言い換えた質問を生成する。言い換えた質問の生成には NICT が開発した UniLM[5] ベースの質問変換器を用いた.

末尾表現は，WISDOM X のファクトイド質問応答で用いられ るバイナリ (ユナリ) パタン [4] が合致した箇所以降の単語列を 指す. 表 1 の例では「が，まずいと思います.」が末尾表現とな る. 回答候補に対する価值判断の根拠は, この末尾表現に出現し やすいと考えられるため，2 節のデータ収集では，価值判断の根拠が含まれる可能性の低い未尾表現が 4 文字未満の事例は取り除 いた.

本研究では, 関らの FQA データセットの訓練事例 174,765 事例から，（1）回答候補がユナリパタン [4] で抽出されている, （2）回答候補が正解である，（3）元文の末尾表現が 4 文字以上存在する，（4）質問一般性が成り立つ，の条件を全て満たす事例 を抽出する。（4）について，FQA データセットの質問の一部は WISDOM X によりルールベースで生成されており，文法的，意味的に不自然な質問が含まれる場合があるため, 質問一般性判定 によりフィルタリングを行う．（1）から（4）の条件で抽出した 結果, 7,887 件の質問, 回答候補, 元文の組が得られた.次に，質問に「といい？」もしくは「とまずい？」を付加して 価値判断を伴う質問を作成する.「といい?」「とまずい?」のど ちらを付加するかは, 組となる元文の末尾表現のセンチメントで 決定し，センチメントがポジティブであれば「といい?」を，ネ ガティブあれば「とまずい?」を質問に付加する．センチメント の特定には BERT ベースのセンチメント二值分類器を用いた（C を参照). 最後に，価値判断を伴う質問，回答候補，元文を組と しアノテーション作業を行なった。

## B fine-tuning のパラメータ探索

本研究では, 表 6 のパラメータの組み合わせに対し個別に fine-tuning し, 開発データで $\mathrm{F} 1$ スコアが最も高いモデルを選択 した.

表 6 fine-tuning のパラメータ探索

## C センチメント分析

本研究では, センチメント分析を事象を表す文が与えられた 際，その事象がポジティブなのかネガティブなのかを分類する 二值分類のタスクとする．センチメント分析モデルは， NICT が

データセットは NICT がクロールした Web40 億文書から抽出さ れた事象と事象に対する感情表現のペアから作成されたセンチ メント分析データセットを用いる（表 7)。上記データセットで 学習したモデルをテストデータで評価すると非常に高い精度で センチメントを分類できていることが分かる（表 8）。

表 7 センチメント分析データセットの統計値

表 8 センチメント分析モデルの性能

## D 根拠表現抽出

本研究では，(1) 最長一致 (longest) と完全一致 (exact), (2) minor,（3）ofqa-neg の条件を組み合わせて根拠箇所を選択し，根拠表現抽出データセットを作成した。

最長一致は，アノテータが抽出した根拠箇所が一部重なる 場合，重複しない部分も含めた最長の単語列を根拠表現とす る。例えば，根拠表現として「ビタミン C が豊富に含まれ，美容にも良い」,「美容にも良いし, 風邪予防にもなる.」という 単語列が抽出された場合, 「ビタミン $\mathrm{C}$ が豊富に含まれ，美容 にも良いし，風邪予防にもなる.」を根拠表現とする。完全一致は, アノテータが抽出した根拠箇所のうち, 重複する単語列 （「美容にも良い」）を選択する．minor は，（1）で根拠箇所が決ま らなかった場合に，（1）で最終的に洗濯されなかった根拠表現， アノテータ 3 人のうち 1 人のみが抽出している根拠表現からラン ダムに 1 つを選択する. ofqa-neg は，回答候補が適切な事例に対 し抽出された根拠表現に加え，回答候補が不適切な事例に対し抽出された根拠表現も利用する。

本研究では, 予備実験において最も性能が高かった exact+minor+ofqa-neg の組み合わせを用いる. 表 9 に根拠表現抽出データセットの統計値を示す.

根拠表現抽出に用いるトークン分類モデルの入力は質問・回答候補・元文の 3 つ組とし，「〈質問の単語列〉 $[\mathrm{SEP}]$ 〈回答候補の 単語列 〉[SEP] 〈元文の単語列〉」の形式で入力する. 評価指標は SQuAD[9][10] の評価に用いられる Exact Match(EM)，F1 スコアを 用いる. パイプライン手法で用いた根拠表現抽出器を根拠表現抽出データのテストデータで評価すると, EMで 76.6, F1 スコア で 80.8 の性能が得られた.

 \\

開発 & 1,648 & $491(29.8 \%)$ \\
テスト & 5,064 & $1,366(27.0 \%)$

 $\dagger$ 奈良先端科学技術大学院大学 先端科学技術研究科 ‡国立研究開発法人 情報通信研究機構 (NICT) seki.naoya.si8@is.naist.jp \{junta-m, rovellia, julien, ryu.iida, torisawa\}@nict.go.jp  