# ビジネスシーン対話対訳コーパスの構築と対話翻訳の課題

中澤敏明李凌寒 Matīss Rikters
東京大学
\{nakazawa, li0123, matiss\}@logos.t.u-tokyo.ac.jp

## 1 はじめに

機械翻訳の研究には対訳コーパスが必須であり、今や様々な言語対・ドメイン・サイズのデータが自由に使える形で公開されているが、それらの多くは 書き言葉を対象としている。例えば Web のクロー ルデータ1) $[1]$ 、ニュース解説 2 )、特許文書 [2]、科学技術論文 [3] などは全て書き言葉である。話し言葉 を対象としたデータもいくつか存在するが、一人が 喋り続る TEDのようなモノローグ形式のもの $[4,5]$ であったり、複数名の対話であっても多くのノイズ を含んでいたり $[6,7]$ と、自由に使えるクリーンな 対話の対訳コーパスはほとんど存在しないのが現状である。 $\mathrm{WMT}^{3)} 、 \mathrm{IWSLT}^{4)} 、 \mathrm{WAT}^{5}$ な などの機械翻訳の評価ワークショップでも書き言葉やモノロー グ、ノイズを含む対話を翻訳対象としている。唯一、IWSLT で用いられているデータの一つにスペイ ン語と英語間のクリーンな対話対訳コーパス [8] が あるが、このようなコーパスは希少である。

書き言葉やモノローグの機械翻訳精度は利用可能 な対訳コーパスの堌強やニューラルネットワーク技術の発展により非常に向上したが、複数名の対話の 機械翻訳についてはまだ精度向上の余地が多く残さ れている。典型的な例は代名詞補完で、日本語のよ うに代名詞が省略可能な (pro-drop) 言語から英語の ように省略できない言語に翻訳する場合に、より自然な訳文とするためには適切な代名詞を補って訳出 する必要がある。代名詞の省略は書き言葉よりも話 し言葉の方が圧倒的に多いため、対話の翻訳におい てはこの問題は重要である。このような問題を解決 するために文脈(ここでは翻訳対象文よりも前の文 を指す)を考慮した翻訳モデル $[9,10,11]$ が提案され ているが、文脈つきの対話対訳コーパスはノイズの

) https://commoncrawl.org/

2) http://www.statmt.org/wmt20/translation-task.html

3) http://www.statmt.org/wmt20/

4) https://iwslt.org/2021/

5) http://lotus.kuee.kyoto-u.ac.jp/WAT/多い OpenSubtitles ${ }^{6}$ や $\mathrm{JESC}^{7)}$ などを除くとほとんど 存在しない。

そこで我々は新たに日英ビジネスシーン対話対訳コーパス (The Business Scene Dialogue (BSD) corpus) を構築し、その一部を公開した8)。ライセ ンスは Creative Commons Attribution-NonCommercialShareAlike (CC BY-NC-SA) であるので、商用でなけ れば自由に利用できる。公開したデータ量やフォー マットの詳細はホームページや本稿の付録を参照し ていただきたい。

BSD コーパスは他の言語資源を参照して構築さ れたものではなく、一から構築されたものである。「ビジネス」における「対話」を対訳コーパスのドメ インとして選択した理由は二つあり、一つはビジネ スシーンがドメインとして広すぎず狭すぎず適当な 粒度であると考えた点で、もう一つはノイズの少な い対話の対訳コーパスが機械翻訳研究の新たな方向 を開くのに有用と考えた点である。対話のコーパス であるので、機械翻訳だけでなくもちろん対話の研究にも役立つのではないかと考える。

本稿では BSDコーパスの紹介と、これを利用した WAT2020[12] 翻訳タスクの結果の紹介、翻訳結果の 誤り分析から得られた対話翻訳の課題を報告する。

## 2 BSD コーパスの概要

## 2.1 特徴

BSDコーパスは「シナリオ」を大きな単位として 用いている。ビジネスにおける様々なシチュエー ションを想定し、そのシチュエーションで行われる 一連の対話を一つのシナリオとして収録している。各シナリオには 6 種類のタグからなるシーン情報と シナリオタイトル (より詳細な状況説明)が付与され ている。これらの情報を用いることで、例えば対話

6) https://www.opensubtitles.org/

7) https://nlp.stanford.edu/projects/jesc/

8) https://github.com/tsuruoka-lab/BSD

の文脈からだけでは難しいような訳語の選択 (日本語の「すみません」を英訳する場合など) が行えた り、将来的な実利用の場面ではカメラにより周囲の 状況 (シーンや会話のシチュエーション)を認識しつ つ適切な翻訳を行うといったマルチモーダル翻訳の 実現も考えられる。また各発話には話者の情報も付与されている。

## 2.2 構築手順

BSD コーパスは 1) ビジネスシーンの選定、2) シーンに沿った日本語および英語での会話シナリオ 作成、3) シナリオの英語および日本語への翻訳の 3 つのステップを経て構築した。なおシナリオ作成に は 28 名の日本語シナリオライターおよび 23 名の英語シナリオライターが携わり、日英翻訳は 8 名、英日翻訳は 13 名の翻訳者によって行われた(シナリオ 作成と翻訳を兼ねる者も数名いた)。また全体的な 質を担保するために、3名が全体の品質チェックを 行った。さらに、シナリオがビジネスシーンとして 適切であることを保証するために、広く一般に知ら れているメディア等でビジネス会話の関連したコン テンツに主として関わった経験があり、日本語、英語ともビジネスシーンにおいて問題なく会話がで き、自らもビジネスに携わった経験を保有している ものを監修者として 1 名置き、全体的な内容の確認 を行った。

## 1) ビジネスシーンの選定

ビジネスシーンは会議、交渉、雑談など様々なビ ジネスの状況をカバーするように慎重に選定した。 また特定の業種にしか該当しないようなシーンは避 け、様々な業種で汎用的に用いられるようなシーン を選定した。今回は「対面対話 (2 名での仕事上の 対話)」「電話応対」「雑談」「会議 (複数名での対話)」「研修」「プレゼン」の6つのシーンを選定した。

## 2) 単言語でのシナリオ作成

対話のシナリオは選定されたビジネスシーンに 沿って、日本語および英語それぞれ半数ずつ、単言語で作成した。半数ずつとした理由は、ビジネス シーンにおいて各言語で特徴的に利用されるような 表現をなるべく幅広くカバーするためである。一方 の言語でのみシナリオを作成しこれを相手言語に翻訳するだけでは、表現のバリエーションが限られて しまう (いわゆる translationese) 可能性があり、これ
を回避することを狙っている。

## 3) シナリオの翻訳

作成された単言語のシナリオは人手で相手言語に 翻訳した。機械翻訳の利用は禁止とし、正確性だけ でなく相手言語における流暢性や会話としての自然 さも重視するよう指示した。例えば英語を日本語に 翻訳する場合には、逐語的に訳すと英文中の全ての 代名詞を日本語文に訳出することになるが、日本語対話においては多くの代名詞 (特に一人称と二人称) は省略されることが普通である。逆に主語の省略さ れた日本語を英語に訳す場合には、無理に受動態で 翻訳することは避け、適当な主語を補完した自然な 能動態として翻訳するよう指示した。

## 3 WAT2020 での BSD 翻訳タスク

## 3.1 タスク概要

WAT2020 において BSD コーパスを利用した翻訳 タスクを設定した。参加者は BSD コーパスのテス トデータの翻訳結果を提出することが求められる。 モデルの訓練には BSD コーパスの訓練データだけ でなく、他の既存の対訳コーパス (外部データ)を用 いることもできる。日英翻訳には 4 チーム、英日翻訳には 3 チームの参加があった。

## 3.2 人手評価

人手評価基準として特許庁が公開している「特許文献機械翻訳の品質評価手順 ${ }^{99}$ の中の「内容の伝達 レベルの評価」を採用した。これは機械翻訳結果が 原文の実質的な内容をどの程度正確に伝達している かを、参照訳の内容に照らして 5 段階 (評価値 5 が 最もよく、1が最も悪い) の評価基準で主観的に評価 するものであり、いわゆる Adequacy(正確性) 評価と 同等のものである。正確性評価は合計の文数が 400 文になるようにテストデータからランダムにシナリ 才を選択したものを対象として行い、各文を 2 名の 評価者が独立に評価した。また文脈を考慮して適切 な訳となっているかという点も考慮に入れている。

図 1 亿正確性評価結果を示す。WAT のポリシー に従いチーム名は匿名化して表示しているが、各グ ラフで同じチーム名のものは実際に同じチームか らの投稿であったことを示している。なお Team B

図 1 日英 (上) および英日 (下)BSD 翻訳タスクの正確性評価結果 (グラフ内の数字は各評価値の割合を、チーム名 の下の括弧内の数字は評価の平均を表す)

は本稿の著者らの結果である。両方向とも評価の平均值は最も高いもので 4.2 程度であり非常に高精度 で訳されていると思われるが、BSDコーパスの性質上、相槌など非常に短い文なども含まれているた め、 4.2 という値がどの程度満足のいくものなのか はより深く分析する必要があると思われる。

## 3.3 各チームの手法と知見

評価結果はどのチームも近い値であったが、用い た翻訳モデルや外部データは異なっている。Team A は翻訳対象文と直前の 3 文を文脈として同時に使っ た mBART[13] を用いている。他のチームは文脈情報は用いず、単文での翻訳だった。どのチームも大規模な外部データを併用して翻訳モデルの訓練を行 い、BSDなどの対話コーパスで fine-tuning するとい う戦略を取った。

興味深い知見として、BSDコーパスのみを用い た fine-tuning は効果がなく、むしろ翻訳精度が悪化 すると多くのチームから報告があった。しかしなが ら、BSD に加えて外部の対話データ (OpenSubtitles や JESC) も併用した fine-tuning は効果的で、翻訳精度が向上するとも報告された。このことから機械翻訳では fine-tuning においてもある程度の量の対訳 コーパスが必要であると結論づけられる。

また Team D からの報告では、sub-word の語彙サ イズを小さく (報告では 6,000 を用いていた)する方表 1 翻訳誤りの傾向調査結果

 &  & 合計 \\

が翻訳精度が向上するとのことだった。はっきりと した理由は不明だが、会話文においては使われる語彙がニュース記事や科学技術論文などと比べてそれ ほど大きくないためである可能性がある。この点に ついては今後深く分析する必要がある。

## 4 対話翻訳における課題

現状の対話翻訳においてどのような課題があるの かを分析するために、WAT2020の BSD 翻訳タスク での Team B(本稿の著者ら) の翻訳結果について、翻訳誤り傾向を調査した。誤りのタイプを「誤訳 (文脈に関係なく誤り)」「訳抜け」「過剩訳」「文脈上不適切」「代名詞訳出誤り」の 5 種類に分類し、2 名の 評価者で分類が一致したものを計数したものを表 1 に示す。なお 1 つの文で複数の分類が付与される場合もあるため、数字は延べ数である。ここでは特に 「文脈上不適切」「代名詞訳出誤り」の 2 つについて 例を示しつつ分析を行う。

## 4.1 文脈上不適切

文脈上不適切な訳になっている例を図 2 および図 3 に示す。図 2 は文脈情報を使うことで適切な訳が 出力できるであろう例で、実際に一つ前の文を連結 して用いる手法 $[9,14]$ を用いて翻訳を行うと一番右 の列のように翻訳が改善することがわかる。一方、図3 に示す例は単に前の文の情報を用いるだけで は解決が難しく、ぼんやりと会話全体の流れをとら え、さらにその流れに沿って適切な表現を選択する 必要がある。これには mBART のような事前学習モ デルを利用することで解決が期待できるため、まず は Team A の翻訳結果の分析を行う予定である。

## 4.2 代名詞訳出誤り

代名詞の訳出誤りは日英翻訳における典型的な翻訳誤りであるが、その解決に必要となる情報源には 我々が観測した範囲では三つのタイプが存在する。一つ目は文脈文に出現する名詞等の情報を用いた り、目的言語側の過去の出力を利用 [15]するなどす れば解決可能なものである。二つ目は図 4 に示すよ うに、文脈文を用いずとも当該文の動詞に後続する

 & Could I have your name please? & May I have your name? & May I have your name? \\

図 2 日英翻訳における文脈上不適切な訳の例 (文脈文を用いることである程度解決が可能)

 & 正直なところ、少し緊張しているんだ。 &  \\

図 3 英日翻訳における文脈上不適切な訳の例 (全体的な会話の流れを掴んだり、一般常識等を用いる必要がある)

$
\begin{array}{|c|c|c}

\end{array}
$

多国籍チームだけの話じゃない、営業グ I'm not just talking about Multinational team, It's not just about Multinational team, it's talking

図 4 原文の機能語列の情報を利用することで省略された代名詞が推測可能な例

 &  &  \\

図 5 正しい代名詞を補完するために話者情報が必要となる例 (3 文目や 4 文目は木内さんの発言の可能性もある)

機能語列から代名詞が推測可能なものであり、例え ば Kudo ら [16] の手法などにより解決可能なもので ある。三つ目は図 5 に示すように、話者情報が必要 となるものである。例えば 3 文目は木内さんの発言 としても解釈可能であり、その場合は出力文の方が 正しい訳となる。

## 5 まとめ

本稿では BSDコーパスおよび WAT2020 での BSD 翻訳タスクの結果の紹介を行い、翻訳結果の分析か ら対話翻訳の課題について議論した。公開した BSD コーパスがこれらの課題の解決の一助となれば幸い である。BSDを利用した翻訳タスクはWAT202110) においても設定しているので、興味のある方はぜひ 参加していただきたい。WAT2021では新たな開発

10) https://lotus. kuee.kyoto-u.ac.jp/WAT/WAT2021/
データとテストデータを追加で公開予定である。

また本稿では触れていないが、AMI Meeting Corpus[17] を和訳することで対訳コーパスとした

ただければと思う。

## 謝辞

本研究成果は独立行政法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化のための ディープラーニング技術の研究開発」により得られ たものです。

またビジネスシーン対話対訳コーパスの構築にあ たっては、株式会社バオバブ様に設計の段階からご 協力いただきました。ここに御礼申し上げます。

## 参考文献

[1] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[2] Isao Goto, Bin Lu, Ka Po Chow, Eiichiro Sumita, and Benjamin Tsou. Overview of the patent machine translation task at the ntcir-9 workshop. In Proc. of NTCIR-9 Workshop Meeting, pp. 559-578, 122011.

[3] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[4] Mauro Cettolo, Christian Girardi, and Marcello Federico. $\mathrm{Wit}^{3}$ : Web inventory of transcribed and translated talks. In Proceedings of the $16^{\text {th }}$ Conference of the European Association for Machine Translation (EAMT), pp. 261268, Trento, Italy, May 2012.

[5] Mattia Antonino Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuST-C: a Multilingual Speech Translation Corpus. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), Minneapolis, MN, USA, June 2019.

[6] Jörg Tiedemann. Finding alternative translations in a large corpus of movie subtitle. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), pp. 3518-3522, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[7] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: Japanese-English Subtitle Corpus. Language Resources and Evaluation Conference (LREC), 2018.

[8] Elizabeth Salesky, Susanne Burger, Jan Niehues, and Alex Waibel. Towards fluent translations from disfluent speech. In Proceedings of the IEEE Workshop on Spoken Language Technology (SLT), Athens, Greece, December 2018.

[9] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 8292, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Elena Voita, Pavel Serdyukov, Rico Sennrich, and Ivan Titov. Context-aware neural machine translation learns anaphora resolution. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1264-1274, Melbourne, Australia, July 2018. Association for Computational Lin- guistics.

[11] Elena Voita, Rico Sennrich, and Ivan Titov. When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1198-1212, Florence, Italy, July 2019. Association for Computational Linguistics.

[12] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 7th workshop on Asian translation. In Proceedings of the 7th Workshop on Asian Translation, pp. 1-44, Suzhou, China, December 2020. Association for Computational Linguistics.

[13] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[14] Rico Sennrich and Barry Haddow. Linguistic input features improve neural machine translation. In Proceedings of the First Conference on Machine Translation: Volume 1, Research Papers, pp. 83-91, Berlin, Germany, August 2016. Association for Computational Linguistics.

[15] Hideya Mino, Hitoshi Ito, Isao Goto, Ichiro Yamada, and Takenobu Tokunaga. Effective use of target-side context for neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4483-4494, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[16] Taku Kudo, Sora Ichikawa, and Hideto Kazawa. Language independent null subject prediction for statistical machine translation. Journal of Natural Language Processing, 2015.

[17] Iain McCowan, Jean Carletta, Wessel Kraaij, Simone Ashby, S Bourban, M Flynn, M Guillemot, Thomas Hain, J Kadlec, Vasilis Karaiskos, et al. The ami meeting corpus. In Proceedings of the 5th International Conference on Methods and Techniques in Behavioral Research, Vol. 88, p. 100, 2005.
表 2 公開したビジネスシーン対話対訳コーパスの統計量 (シナリオ数 / 文数)

起点言語：日本語 シーン：電話応対 シナリオタイトル：伝言への折り返し電話 打ち合わせ日程調整

 \\

図 $6 \mathrm{BSD}$ コーパスの対訳例

## A 公開データ数とシーンごとの内訳

表 2 に公開したデータのシナリオ数および文数、またシーンごとの内訳を示す。訓練データは合計 2 万対訳文で、開発データとテストデータはそれぞれ約 2,000 文ずつである。なおWATでの利用を想定して、毎年新たな開発データとテストデータを同量程度ずつ追加公開する予定である。

## B BSD 対訳例

図 6 に BSDコーパスの対訳例を示す。なおデータはjson 形式で配布されている。

## CBSD コーパス構築の詳細仕様

BSD 構築における詳細な仕様のうち、主だったものを以下に示す。

・口語でそのまま発音しない略語 (NY など) は使わず、会話で使われる表記を用いる (New Yorkなど)

・時刻は数字ではなく文字表記で訳出し、「:」は使用しない

・翻訳時にあまりにもて長であったり不自然な場合は訳文を2文にしてもよい

・1 シナリオあたり対話は 3 ターン (6 文) 以上、上限は 20 ターン (40 文) まで

・「プレゼン」と「研修」はモノローグ (登場人物が 1名のみ)でもよい

・日本語では標準語を英語ではアメリカ英語を極力用いること (方言やスラングなど極端にくだけた表現は避ける)

・1 シナリオ内の登場人物は 4 人以下とする

・個別の実在する会社名の使用は避け、A 社、B 社などを用いる (ただしサービス名としての Facebook や twitter、イン スタなどの使用はよしとする)

・対面ではない発話の状況を示すような情報、また話者の役職、肩書等は、本文とは別に「付属情報」に記載する


# オープンドメイン QA における DPR の有効性検証

加藤 拓真 $1 *$ 宮脇峻平 $1 *$ 西田京介 2 鈴木潤 1,3
}

1 東北大学 ${ }^{2} \mathrm{NTT}$ メディアインテリジェンス研究所 3 理化学研究所

 }^{1}$ takuma.kato, miyawaki.shumpei, jun.suzuki\}@ecei.tohoku.ac.jp

${ }^{2}$ kyosuke.nishida.rx@hco.ntt.co.jp
## 1 はじめに

計算機による自然言語の適切な理解を実現するこ とは，自然言語処理および人工知能研究の最終目的 の一つである。その実現に向けた取り組みとして，質問応答（QA）タスクに関する研究が近年大きな 注目を集めている。QAタスクでは，質問に関連す る適切な知識に基づいて解答を推定することが求 められるが，関連知識を含む文書集合が用意されな いという状況は少なくない。このような状況に対し て, オープンドメイン $\mathrm{QA}[1]$ は, 問題を解くために 必要な知識源を特に規定しない $\mathrm{QA}$ タスクとして,非常に重要な役割を持つ.

一般的にオープンドメイン QA では，1) 検索モ ジュール (retriever) が，質問に対して関連する文書 を大規模な文書集合から検索し，2）読解モジュール （reader）が，検索した関連文書を用いて質問の解答 を推定する，二つのプロセスを用いて取り組まれ ることが多い，特に関連文書の検索性能が， QA シ ステムの性能に与える影響は大きく[1], Karpukhin ら [2] は，ニューラルモデルによる文書エンコーダ によって密なベクトル表現にエンコードされた意味的な情報を，関連文書の検索に用いる Dense Passage Retriever（DPR）を提案し，QA システムの性能改善を実現した。DPR を用いたオープンドメイン QA に対する取り組みは，今後更なる発展が期待されて いるが，DPR の詳細な実験設定がオープンドメイン QA に与える影響を調査した研究は少なく，DPRに ついて明らかにされていない要素が多い。そこで本研究では, DPR の応用的な利用を目的として, 特に 次元数を変化させたときの検索時間や性能変化につ いて定量的な評価および分析を行う。

図 1 DPR を用いたオープンドメイン QA システムの概要図. 1) 質問に対する関連文書を抽出するため, エン コードされた質問と文書の類似度を計算する retriever と， 2) retriever が抽出した関連文書から質問に対する解答の 推定を行う reader の二つのモジュールで構成される。

## 2 関連研究

オープンドメイン $\mathrm{QA}$ では, モデルの予測性能に 大きな影響を与える関連文書の検索方法を対象に，様々な研究が行われてきた。従来, 関連文書の検索方法には TF-IDF や BM25 [3] のように，質問中に存在する単語に対する文書中の出現頻度などの統計量 を用いたマッチングが使用された。しかし $\mathrm{QA}$ タス クでは，質問文の表現と検索対象に記載される情報 の表記が必ずしも同じであるとは限らないため, 表層一致を仮定する BM25 やTF-IDF といった抽出方法では，適切な文書が検索できない可能性が高いこ とが問題として広く知られている。この問題の解決策として, 近年急速に発達した単語埋め込みや深層 ニューラルネットに基づく意味的な情報を含む密 なべクトル表現を用いて，質問に対して意味的に類似する文書を抽出する方法が挙げられる，意味的な 情報を含む密なべクトル表現を用いることで，質問中に含まれる単語の出現頻度に基づくマッチング だけでは抽出できなかった，未知の情報に関する関連文書の取得が可能となる．密なベクトル表現を用 いた関連文書の抽出方法は様々なタスクに対して 研究されてきており [4][5][6], 中でも Karpukhi らは

DPR という手法を提案し, 密なベクトル表現によっ て QA システムの性能が向上したことを報告してい る. retrieverについて調査している先行研究として, Luan ら [7] は密なベクトル表現の次元数についての 調査を行なっている. Luan らの研究では, 密なべク トル表現 の次元数がオープンドメイン $\mathrm{QA}$ に与える 影響が明らかになっていない点と, DPR を研究対象 としていない点が，我々の研究と異なっている.

## 3 DPR を用いたオープンドメイン QA システム

1 章で述べたように，オープンドメイン $\mathrm{QA}$ シス テムは，文書検索を行う retriever と検索した文書か ら解答を推定する reader の二つのモジュールで構成 される. 本研究では, retriever における関連文書の 検索手法として Dense Passage Retriever（DPR）[2] を用いた QA システムを使用する (概要を図 1 に示 す). 本章では, この DPRを用いた QA システムに ついて説明する.

## 3.1 retriever による文書検索

本節では，retriever として DPR を用いた文書検索 について説明する.

## 3.1.1 DPR の学習

DPR では与えられた質問 $q$ および文書 $p$ の類似度を計算し, 質問に関連する文書の類似度が高くな るように学習を行う. 類似度は, 質問 $q$ と文書 $p$ と の内積によって計算される（式 1).

$
\operatorname{sim}(q, p)=E_{Q}(q)^{\top} E_{P}(p)
$

ここで， $E_{Q} ， E_{P}$ はそれぞれ質問，文書に対する二 つのエンコーダを表す. DPRでは, これら二つの エンコーダについて学習を行う. 学習データは, $D=\left.\{\left.\langle q_{i}, p_{i}^{+}, p_{i, 1}^{-}, \cdots, p_{i, n}^{-}\right.\rangle\right.\}$で定義される. ここで, $p_{i}^{+}$は正例の文書, $p_{i, j}^{-}$は負例の文書を示す. モデル は式 2 の損失関数が最小になるようにエンコーダ $E_{Q}$ と $E_{P}$ を学習する.

$
\begin{aligned}
& L\left(q_{i}, p_{i}^{+}, p_{i, 1}^{-}, \cdots, p_{i, n}^{-}\right) \\
& \quad=-\log \frac{e^{\operatorname{sim}\left(q_{i}, p_{i}^{+}\right)}}{e^{\operatorname{sim}\left(q_{i}, p_{i}^{+}\right)}+\sum_{j=1}^{n} e^{\operatorname{sim}\left(q_{i}, p_{i, j}^{-}\right)}}
\end{aligned}
$

各質問に対して, 式 2 で求められる損失は, 正例文書との類似度が高いほど，また負例文書との類似度 が低いほど，值が小さくなる．3.1.2 項では，正例お よび負例となる文書の選択方法について説明する。

## 3.1.2 正例・負例の選択

本項では, 3.1.1 項で述べた, 正例および負例の文書について，その選択方法を述べる．以下，正例文書をポジティブパッセージとする. また, 負例文書 をネガティブパッセージおよびハードネガティブ パッセージの二つに分ける.

ポジティブパッセージ文書集合のうち，与え られた質問に対する解答が文書中にも含まれ，か つ, BM25 スコアによる質問と文書間の関連度の高 い上位 100 件に含まれる文書をポジティブパッセー ジとして定義する。なお上位 100 件以内に解答が含 まれない場合, その質問解答ぺアはデータセットと して使用しないものとする.

ネガティブパッセージ 質問 $q_{i}$ に対して，同一 ミニバッチ内に存在する他の質問解答ペアが保持す るポジティブパッセージを，質問 $q_{i}$ に対するネガ ティブパッセージとして定義する1).

ハードネガティブパッセージ 質問に対する解答が含まれない 文書集合のうち, 質問との関連度が 最も高い文書をハードネガティブパッセージとして 定義する.

## 3.2 reader による解答推定

本節では, reader の解答推定について説明する. reader では, retriever が検索した関連文書から問題 の解答となる箇所を推定する．retriever が検索した 上位 $k$ 件の文書を, BERT [8] でエンコードし, 分散表現 $\mathbf{P}_{i} \in \mathbb{R}^{L \times h}(1 \leq i \leq k)$ を獲得する. ここで， $L$ は文書の最大長, $h$ は BERT の隠れ層の次元数であ る. 解答を推定するための文書を決定するため, 獲得した分散表現に対して, 式 3 を用いて各文書のス コアを求める. また, $i$ 番目の文書について, 文書中の位置 $s$ のトークンが解答スパンの開始トーク ンになる確率 $P_{\text {start }, i}$ と, 位置 $t$ のトークンが解答ス パンの終了トークンになる確率 $P_{\mathrm{start}, i}$ を，それぞれ 式 4,5 で求める.

$
\begin{aligned}
P_{\text {selected }}(i) & \left.=\operatorname{softmax}\left(\hat{\mathbf{P}}^{\top} \mathbf{w}_{\text {selected }}\right)\right)_{i} \\
P_{\text {start }, i}(s) & =\operatorname{softmax}\left(\mathbf{P}_{i} \mathbf{w}_{\text {start }}\right)_{s} \\
P_{\text {end }, i}(t) & =\operatorname{softmax}\left(\mathbf{P}_{i} \mathbf{w}_{\text {end }}\right)_{t}
\end{aligned}
$

ここで, $\mathbf{P}=\left[\mathbf{P}_{1}^{[\mathrm{CLS}]}, \ldots \mathbf{P}_{k}^{[\mathrm{CLS}]}\right]$ ([CLS] は BERT の [CLS] トークン) であり, $\mathbf{w}_{\text {selected }}, \mathbf{w}_{\text {start }}, \mathbf{w}_{\text {end }} \in \mathbb{R}^{h}$ は, reader が学習する重みベクトルである。また, softmax

1）訓練時にはランダムにミニバッチの作成が行われる度，プ ログラム上で動的にネガティブパッセージの作成を行う.
表 1 データセットの質問数

の添字 $i, s, t$ は，それぞれ $\operatorname{softmax}$ の結果から添字 $i, s, t$ の行を取得するという意味である. 最終的 に, 式 3 で求めたスコアが最も高い文書について, $P_{\text {start }, i}(s) \times P_{\text {end }, i}(t)$ の值が最大となるスパン $(s, t)$ を, reader が予測結果として出力する.

## 4 実験設定

## 4.1 データセット

本実験では, QA タスクの日本語データセットと して JAQKET [9] を用いた。また, 検索対象の文書 となるオープンソースの文書集合として，920,172 の記事からなる日本語 Wikiepdia のデータを用いた。

## 4.2 データセットの前処理

MeCab [10] を使用して Wikipedia の 記事をトーク ナイズし, 各文書のトークン数が 200 となるよう に各記事を分割した ${ }^{2}$ ．トークナイズによる文書 の作成をにより, 合計で $6,125,433$ からなる文書集合を取得した。また3.1.2 項における正例および負例の文書の選択は, ElasticSearch ${ }^{3)}$ を用いて質問と Wikipedia の文書間の関連度となる BM25 スコアを 算出し, 求めた関連度に基づいて選択を行った。前処理を行ったデータセットの統計情報を表 1 に示 す4).

2) トークン数は， $\{50,100,150,200\}$ から，開発セットにおけ る順位平均値が最も低い値を示した 200 を選択した。

3) https://github.com/elastic/elasticsearch

4）前処理の前後でデータサイズが減少しているが，これ は3.1.2 項で述べたように，質問と解答が含まれる文書との関連度が上位 100 件に含まれない場合，その質問はデータセッ トとして使用しないことが原因である.

## 4.3 モデルアーキテクチャ

本実験で用いる $\mathrm{QA}$ システムは， 3 章で述べた， retriever と reader の二つのモジュールから構成さ れるモデルを使用した。エンコーダには retriever, reader 共に事前訓練済みの日本語 $\mathrm{BERT}^{5)}$ を用いた.表 2 に retriever および reader のハイパーパラメータ の値を示す6). retriever による関連文書の抽出には，質問および文書に関する二つのエンコーダから取得した密なべクトル表現を用いて，式 1 の内積值に 基づく関連度を算出した。関連度の計算ツールに は，検索時間の効率化を図るため， faiss ${ }^{7)}$ を使用し た. faiss の検索手法には，最大内積探索に基づいた IndexFlatIPを用いて，関連文書の検索を行った。な お全ての文書のエンコードに要する時間は，TITAN X（Pascal）を用いた場合，およそ 5 時間 25 分ほど であった. reader の性能を測る評価指標として，質問に対する正解の解答との完全一致を用いた。

## 5 実験

本実験では，DPR の要素の 1 つである密なべク トル表現の次元数が $\mathrm{QA}$ システムの性能に与える 影響を明らかにするために， ベクトルの次元数を変 えたときの性能評価を行った。retriever の性能評価 として，5.1 節では， faiss を用いて関連文書の検索 を行った際の検索時間の結果を，また 5.2 節では,抽出した関連文書の評価結果を示す. さらに 5.3 節 では，質問に対する QA システムの正解率の結果を 示す.

## 5.1 関連文書の検索時間

retriever の文書エンコーダを用いて，Wikipedia の 全文書のエンコードを行い，faiss を用いた関連文書 の検索を行った．密なべクトル表現の各次元に対し て, faiss のインデックスの構築時間，および関連文書の検索時間を表 3 に示す。なお GPU は TITAN X （Pascal）を使用した。また関連文書は上位 300 件ま でを対象に抽出を行った。実験結果より，関連文書 の検索に要する時間は，検索に用いる質問および文書におけるべクトル表現の次元数におおよそ比例す ることが分かった。これは関連文書の検索に用いた

5) https://github.com/cl-tohoku/bert-japanese

6）開発セットを用いて, retriever では順位平均值が最小となっ た值，reader では完全一致した数が最多となった值を，設定值とした.

7) https://github.com/facebookresearch/faiss
表 3 faiss によるインデックス構築時間および検索時間

図 2 開発セットにおける retriever の正解率

手法が，式 1 に示す内積計算に基づいたもので，べ クトル表現の次元数に比例して, 演算の計算量が増加するためであると考えられる.

## 5.2 retriever の性能評価

各質問に対して, retriever が抽出した上位 $k$ 件 までの文書中に解答が含まれる場合を正解とし， retriever の性能評価を行った。評価結果を図 2 に示 す. 図 2 より，密なベクトル表現の次元数が大きい ほど，解答を含む文書の抽出漏れが少ないことを確認した。しかし，上位 100 件までの文書集合でさえ 解答が含まれる割合は七割程度であり, 残り三割程度の質問は解答不可能であることを示している。

## 5.3 QA システムの性能評価

retrieverが抽出した関連文書の集合のうち，上位 $k$件までの文書を使用した時の正解率を評価指標とし て，QA システムの性能評価を行った。評価結果を 図 3 に示す. 図 3 より, 密なベクトル表現の次元数 が最も大きい 768 次元での正解率が, 最も高い値と なった。また，与えられた質問に対して，reader が 予測した解答のスパンに対して, 正解のスパンと部分的に一致している事例がどれほど存在しているか 調查を行った。具体的には，式 6 に示す Intersection over Union の値を算出し， $\lambda$ の値を超えた場合の予測事例を正解と判定した場合の正解率を算出した。

$
\frac{T_{\text {gold }} \cap T_{\text {pred }}}{T_{\text {gold }} \cup T_{\text {pred }}} \geq \lambda
$

ここで, $T_{\text {gold }}, T_{\text {pred }}$ は, 正解の解答およびモデル が予測した解答を，それぞれ MeCabでトークン単

図 3 開発セットにおける QA システムの正解率

表 4 密ベクトルの次元数に対する QA システムの正解率

位に分割した集合を表す. $\lambda$ はモデルの予測が正解 とどの程度一致しているかを定めるハイパーパラ メータである.今回は抽出された上位 100 件の文書を対象として, readerの予測に対する正解率を， $\lambda=1.0$ と $\lambda=0.5$ それぞれについて算出した. 評価結果を表 4 に示す. 表 4 より, $\lambda=1.0$ および $\lambda=0.5$ では性能の差がほとんどみられなかった。このこと から，モデルの予測が誤っている場合，その予測ス パンは，正解の解答スパンとは異なった部分を文書 から抜き出しているということが考えられる。

## 6 おわりに

本研究では，DPR を用いた密なべクトル表現が， $\mathrm{QA}$ システムの性能にどのような影響を与えるか調査するため, JAQKET データセットを用いて, QA シ ステムの予測性能や関連文書の検索時間に与える影響を評価した。結果として，密なベクトル表現の次元数が文書の検索時間やモデルの性能に与える影響 が明らかになった。本実験では，一つのデータセッ トに対象を限定して実験を行ったが，今後は複数の データセットに対して同様の実験を行い，データ間 での横断的な比較について調査を行っていきたい。

謝辞本研究の一部は JSPS 科研費 JP19H04425 の助成を受けたものである.

## 参考文献

[1] Ellen M. Voorhees. The TREC-8 question answering track report. In TREC, 1999.

[2] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick S. H. Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In $E M N L P, 2020$.

[3] S. Robertson and H. Zaragoza. The probabilistic relevance framework: Bm25 and beyond. Found. Trends Inf. Retr., Vol. 3, , 2009.

[4] Wen-tau Yih, Kristina Toutanova, John C. Platt, and Christopher Meek. Learning discriminative projections for text similarity measures. In CoNLL, 2011.

[5] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry P. Heck. Learning deep structured semantic models for web search using clickthrough data. In ACM CIKM, 2013.

[6] Daniel Gillick, Sayali Kulkarni, Larry Lansing, Alessandro Presta, Jason Baldridge, Eugene Ie, and Diego GarcíaOlano. Learning dense representations for entity retrieval. In CoNLL, 2019.

[7] Yi Luan, Jacob Eisenstein, Kristina Toutanova, and Michael Collins. Sparse, dense, and attentional representations for text retrieval. CoRR, Vol. abs/2005.00181, , 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In $N A A C L-H L T$, 2019.

[9] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ 卜の構築. 言語処理学会, 2020.

[10] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In $E M N L P, 2004$.


# クラウドソーシングによる Web サイトマイニングを用いた 翻訳モデルの即時領域適応

森下 睦 1,2, 鈴木 潤 2, 永田 昌明 1
${ }^{1}$ NTTコミュニケーション科学基礎研究所 2 東北大学
\{makoto.morishita.gr, masaaki.nagata.et\}@hco.ntt.co.jp
jun.suzuki@ecei.tohoku.ac.jp

## 1 はじめに

2020 年は新型コロナウイルス感染症の流行によ り、正しい情報を迅速に収集し行動することが求め られた。しかし、日本国内においては政府や自治体 からの情報の大半は日本語により発信されたため、日本国内に滞在する非日本語話者にとっては最新の 情報を受け取りにくい状況が生じていた。機械翻訳 を用いて日本語を多言語に翻訳するケースも見受け られたが、特殊な用語が多く含まれる分野ゆえに十分な翻訳品質が得られない場合があった [1]。

このような状況で十分な翻訳品質が得られない原因の一つは翻訳モデルの学習データにあると考えら れる。近年のニューラル機械翻訳モデルの多くは対訳コーパスをもとに学習を行う。この際、翻訳対象領域に関する対訳コーパスが十分に学習していない 場合、翻訳品質が低下する欠点がある [2]。そのた め、必要十分な翻訳品質を達成するためには、翻訳 したい領域 (分野) の対訳コーパスを十分に用意し、適用領域に特化した翻訳モデルを構築するのが、最 も有効な手段だと考えられる。しかし、一般に存在 する対訳コーパスは限定的であり、特化したい領域 の対訳文を十分に用意できない場合多い。

本研究では、特定領域に特化した機械翻訳モデル が必要となった際に、既存の翻訳モデルを迅速かつ 安価に適応する手法を検討する。具体的には、図 1 のようにクラウドワーカーから特定領域に関連する 対訳となっているURL 対の提供を受け、翻訳対象領域の対訳コーパスを迅速に Web から構築し、翻訳 モデルを適応することで高い翻訳品質を達成する。本手法により、前述のような緊急事態発生時にも数日以内に高い翻訳品質を持った翻訳器を提供するこ とを目標とする。

特定領域に関する対訳 URL クロール/対訳文抽出

特定領域に関する対訳文

ファインチューニング

領域特化翻訳モデル

図 1 クラウドソーシングを用いた領域適応の概要図

## 2 関連研究

## 2.1 翻訳モデルの領域適応

翻訳対象領域が限定されている際に、翻訳モデル を特定領域に特化させることを領域適応という。近年主流のニューラル機械翻訳では、大規模対訳コー パスで事前に学習した翻訳モデルを、適応対象領域 の対訳コーパスを用いてファインチューニングす る手法が主流となっている。Kiyono らは WMT2020 シェアードタスクにおいて、本手法により翻訳モデ ルをニュース領域に適応させることで、最大 2.2 ポ イントの BLEU スコア向上を記録した [3]。ただし、本手法は適応対象領域のみを含んだ対訳コーパスが 存在する場合に使用可能である。一般的には、特定領域のみを含んだ対訳コーパスが存在することは稀 なため、大規模な対訳コーパスから適応対象領域に 近い文を抽出し領域適応を行う場合が多い [4]。
本研究では、適応対象領域に近い対訳文を Web から収集し、得られた対訳文を用いて翻訳モデルを ファインチューニングすることで領域適応を実現す る。これまでの手法は、既存の大規模対訳コーパス から適応対象領域に近い対訳文を抽出し学習するも のが大半だったのに対し、本手法では対訳文を新た に Web から収集するため、既存の対訳コーパスが網羅していない分野についても適応可能である。

## 2.2 Web からの対訳文収集

近年は Web から対訳文を抽出し、大規模な対訳 コーパスを構築する研究が進んでいる。ParaCrawl プロジェクトは、Webをもとに EU 公式言語-英語間 の大規模な対訳コーパスを作成している [5]。また、日本語-英語間では 1000 万文対を超える Web ベー ス大規模対訳コーパス JParaCrawl が公開されてい る [6]。これらのコーパスは、CommonCrawl から各 Web サイトに含まれる言語別データ量を分析し、収集対象言語対のデータが一定以上の Web サイトを クロール対象とすることで構築されている。この手法では、膨大な Webから効率的に対訳文を収集する ことができるが、目的言語対のデータ量がしきい値未満の Web サイトについては取りこぼしが発生す るほか、CommonCrawl に含まれていない Web サイ トについては収集対象とならない久点があった。さ らに、本研究のように翻訳したい領域があらかじめ 決まっている状態でも、それに合わせた対訳文を収集することはできなかった。

Ling らはクラウドソーシングを活用して Twitter から対訳文を抽出する手法を提案した [7]。この手法では、安価に対訳文を収集することができるもの の、特定領域に特化した対訳文は収集できない。

また Papavassiliou らは、Webクローラを活用する ことで特定領域の対訳コーパスを構築する手法を提案した [8]。本手法は、特定領域に関する対訳文を 収集できるものの、Webクローラを動作させるため には時間とコストがかかる。

以上の研究をもとに、本研究では特定領域の対訳文を Web から迅速かつ安価に収集する手法を検討 する。これにより、得られた対訳文を用いて特定領域に特化した翻訳モデルが学習可能となる。

## 3 特定領域対訳文収集

## 3.1 クラウドソーシングによる対訳 URL 収集

図 1 に示したように、本研究ではクラウドソーシ ングを活用して特定領域対訳文を収集し、領域特化翻訳モデルの実現を目指す。具体的な手順は以下の 通りである。まず、適応対象領域に関する少量の対訳コーパス ( 1000 文程度)を人手で用意しこれを Dev セットとする。クラウドワーカーへ Dev セット を提示し、Devセットに近い対訳文を含む Web ペー ジ URL 対の報告を依頼する。クラウドワーカーへ は発見した URL1 対につき、規定の報酬を支払う1) (3.3 節参照)。

本研究では、クラウドワーカーはこれまでの経験 や勘を活かし、対訳となっている Webページを探し 出せると仮定している。この仮定が成り立てば、本手法によりこれまでは難しかった特定領域に特化し た対訳文収集が可能になる。

## 3.2 対訳文抽出

クラウドワーカーから対訳となっている URL 対 の報告を受けると、自動的に対訳文抽出を行う。 ParaCrawl 等の先行研究では、文書対応付けを行い Web サイト全体からどのページ同士が対応している かを求め、その後対訳文対応付けを行っていた。し かし、本研究ではクラウドワーカーから対応してい るぺージの URL 対を受け取るため、文書対応付け は必要ない。対訳文対応付けには、vecalignを用い る [9]。vecalign は LASER [10] の出力である多言語文埋め込みを受け取り、対訳文を抽出する。本研究 では、vecalign が出力するスコア 0.5 以上の対訳文 のみを正しい対訳になっていると仮定して以降の実験で使用する。

## 3.3 報酬設定

クラウドワーカーへ支払う報酬は、報告された対訳 URL から得られた対訳文数、対訳品質および適応対象領域への類似度により変化させる。これによ り、クラウドワーカーはより翻訳品質向上に寄与す る Web ページを探索する意欲が増すことが期待さ れる。また、不適切な作業については報酬を低く抑 えることができ、コストの削減にも繋がる。実際の

1）ただし、すでに報告されている URL との重複は許さない。
報酬額は以下のように決定される。

対訳品質スコア 報告された対訳 URL から得ら れた対訳文を $\mathbb{D}=\left.\{\left(x_{1}, y_{1}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ とする。こ こで、 $x_{i}$ は $i$ 番目の原言語文、 $y_{i}$ は $i$ 番目の目的言語文を表す。対訳品質スコア $S_{a}$ は vecalignによっ て算出された 0 から 1 の值を持つスコア $\mathrm{V}(x, y)$ を 用いて以下のように計算される。

$
S_{a}=\sum_{\left(x_{i}, y_{i}\right) \in \mathbb{D}} \mathrm{V}\left(x_{i}, y_{i}\right)
$

領域類似度スコア 抽出された原言語文全体の平均文埋め込みを求め、これを Web ページ全体の文書埋め込み $e$ とする。

$
\boldsymbol{e}=\frac{1}{|\mathbb{D}|} \sum_{i=1}^{|\mathbb{D}|} \mathrm{L}\left(x_{i}\right)
$

ここで、 $\mathrm{L}(x)$ は文 $x$ について LASER による多言語文埋め込みを返す関数、||D| は抽出された対訳文数を 表す。

本研究では、適応領域に関するDevセットは文書単位に分割されていることを仮定する。 $m$ 文書から なるDevセットに関して、文書埋め込みを同様に計算する: $\boldsymbol{E}_{d}=\left(\boldsymbol{e}_{d_{1}}, \ldots, \boldsymbol{e}_{d_{m}}\right)$ 。

領域類似度スコア $S_{d}$ は、 Web ページ文書埋め込 み $\boldsymbol{e}$ と Dev セット文書埋め込み $\boldsymbol{E}_{d}$ の $\cos$ 類似度を 用いて以下のように計算する。

$
S_{d}=|\mathbb{D}| \max _{\boldsymbol{e}_{d} \in \boldsymbol{E}_{d}} \frac{\boldsymbol{e} \cdot \boldsymbol{e}_{d}}{\|\boldsymbol{e}\|\left.\|\boldsymbol{e}_{d}\right.\|}
$

最終的な報酬額 $r$ は、上記のスコアをもとに最低保証金額である 20 円を加え、 $r=20+3 S_{a}+3 S_{d}$ 円と した。ただし、報告された URL 対から 1 文も対訳文が得られなかった場合は報酬は 0 円となる。

クラウドワーカーに対しては、各作業について報酬及び各種スコアをフィードバックする。これによ り、ワーカーはより高い報酬を得るよう、より品質 が上がるように作業内容を変化させることが期待さ れる。

## 4 実験

## 4.1 実験設定

対訳文収集 本実験では、適応対象領域として新型コロナウイルス感染症を対象とした。本領域に関 する対訳コーパス構築のために、クラウドワーカー を 10 人募集し、 5 日間かけて対訳文収集を実施し
Dev/Test セットに含まれる文数および英語側単語数

表 2 BLEUスコア

表 3 分野別 BLEU スコア

図 2 データ収集日数による BLEU スコアの変化

た。報酬額の設定は 3.3 節の通りである。

翻訳モデル 本実験では、英日翻訳を対象とし た。分野適応前の汎用翻訳モデルとして、約 1000 万文の日英対訳コーパス JParaCrawl v2.0 で学習した Transformer Big モデル [11]を使用した。JParaCrawl は新型コロナウイルス感染症流行前に収集されたも のであるため、対象領域に関する対訳文は含んでい ない。汎用翻訳モデルの学習に関するハイパーパラ メータは Morishita らの設定と同一である [6]。

本実験では、汎用翻訳モデルをもとに、提案法に よりクラウドソーシングを活用して収集した対訳文 を用いてモデルをファインチューニングすることで 領域適応を行った。また、領域適応のベースライン として、既存の大規模対訳コーパス (JParaCrawl) か ら特定領域に近い文を抽出し学習する Moore-Lewis の手法を使用する [12]。本手法は、2010 年に提案さ れた比較的古い手法ではあるものの、2020 年に提案

 \\

図 3 翻訳品質が改善した例

された手法とほぼ同等の性能をもった強力なべース ラインとなっている [13]。ファインチューニング時 のハイパーパラメータを付録 表 4 に示す。

適応対象領域に関する Dev セットおよび Test セッ トとして、新型コロナウイルス感染症に関する多言語テストセットである TICO-19 [14] を日本語訳し使用した。使用した Dev セットおよび Test セットの文数、単語数を表 1 に示す ${ }^{2}$ 。

## 4.2 実験結果/考察

5 日間のデータ収集の結果、提案法により得られ た対訳文数は 6,772 文、総報酬額は 31,079 円となっ た。得られた対訳文をもとに汎用翻訳モデルをファ インチューニングした際の BLEU スコアを表 2 に示 す3)。既存の Moore-Lewis 法では汎用翻訳モデルと ほぼ同等の品質に留まったが、提案法により収集し た対訳文を用いた領域適応は 1.5 ポイントの BLEU スコア向上を達成した。これは、既存の対訳コーパ ス中に適応領域に近い対訳文が十分に含まれていな かったことが原因だと考えられる。また、提案法に よる BLEU スコア向上はクラウドワーカーが適切に 適応領域に近い対訳 URL を探索できたことを示し ている。

図 2 に、データ収集日数による BLEU スコアの変化を示す。収集 1 日目は収集できた対訳文数が少 ない ( 1,152 文) こともありベースラインモデルを下回っているが、2 日目にはベースラインを大幅に上回る翻訳品質を達成している。

2）翻訳作業期間の都合上、Dev セットおよび Test セットの一部のみを翻訳し使用する。そのため、本来の TICO-19 全体に 含まれる文数および単語数と差が生じている。

3） Moore-Lewis 法では、使用する対訳文数を変えて複数のモ デルを学習し最も Dev セットの BLEU が高かかったモデル (上位 4,000 文)を使用した。試行した対訳文数は次の通り: ス コア上位 1,000 文, 2,000 文, 4,000 文, 6,000 文, 10,000 文, 25,000 文, 50,000 文, 100,000 文。
TICO-19 に含まれる分野別 BLEU スコアを表 3 に 示す。提案法による領域適応モデルは、ほとんどの 分野でベースラインモデルを上回るスコアを達成し ている。特に、ニュース分野に関してはべースライ ンモデルと比較して 4 ポイントの BLEU スコア向上 が見られる。これは、新型コロナウイルス感染症に 関連したニュースサイトがクラウドワーカーによっ て多く報告されたことに起因すると思われる。

提案法により翻訳品質が改善した例を図3 亿示 す。JParaCrawl のみを用いて学習したモデルでは “novel coronavirus”を正しく翻訳できていないのに対 し、提案法による領域適応を行ったモデルでは「新型コロナウイルス」と正しく翻訳できていることが わかる。このように、適応対象領域の対訳文を新た に収集することにより、適応領域に関する専門用語が正しく翻訳可能になるケースが多く見受けら れた。

以上の実験から、提案法により、特定領域の翻訳品質を迅速かつ安価に向上させられることを示 した。

## 5 おわりに

本稿では、クラウドワーカーを活用した翻訳モデ ルの即時適応手法を提案した。新型コロナウイルス 感染症に関する領域を対象に行なった実験により、提案法を用いることで既存の対訳コーパスが網羅し ていない領域に対しても迅速かつ安価に領域適応を 行うことができることを示した。今後、日英以外の 言語対や、新型コロナウイルス感染症以外の様々な 領域に対しても適応可能であることを示していき たい。

## 参考文献

[1] 厚労省 HP、新型肺炎の外国語情報で誤訳多発 「手洗い重要」が「トイレ重要」.毎日新聞.

[2] Mathias Müller, Annette Rios, and Rico Sennrich. Domain robustness in neural machine translation. In Proceedings of the 14th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), pages 151-164, 2020.

[3] Shun Kiyono, Takumi Ito, Ryuto Konno, Makoto Morishita, and Jun Suzuki. Tohoku-AIP-NTT at WMT 2020 news translation task. In Proceedings of the 5th Conference on Machine Translation (WMT), pages 145-155, 2020.

[4] Amittai Axelrod, Xiaodong He, and Jianfeng Gao. Domain adaptation via pseudo in-domain data selection. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 355-362, 2011 .

[5] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pages 4555-4567, 2020.

[6] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC), pages 3603-3609, 2020.

[7] Wang Ling, Luís Marujo, Chris Dyer, Alan W. Black, and Isabel Trancoso. Crowdsourcing high-quality parallel data extraction from Twitter. In Proceedings of the 9th Workshop on Statistical Machine Translation (WMT), pages 426-436, 2014.

[8] Vassilis Papavassiliou, Prokopis Prokopidis, and Stelios Piperidis. Discovering parallel language resources for training MT engines. In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), 2018.

[9] Brian Thompson and Philipp Koehn. Vecalign: Improved sentence alignment in linear time and space. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 13421348, 2019.

[10] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Transactions of the Association for Computational Linguistics (TACL), 7:597-610, 2019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st Annual Conference on Neural Information Processing Systems (NeurIPS), pages 60006010, 2017.
[12] Robert C. Moore and William Lewis. Intelligent selection of language model training data. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (ACL), pages 220-224, 2010.

[13] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pages 7747-7763, 2020.

[14] Antonios Anastasopoulos, Alessandro Cattelan, Zi-Yi Dou, Marcello Federico, Christian Federmann, Dmitriy Genzel, Franscisco Guzmán, Junjie Hu, Macduff Hughes, Philipp Koehn, Rosie Lazar, Will Lewis, Graham Neubig, Mengmeng Niu, Alp Öktem, Eric Paquin, Grace Tang, and Sylwia Tur. TICO-19: the translation initiative for COvid-19. In Proceedings of the 1st Workshop on NLP for COVID-19 (Part 2) at EMNLP 2020, 2020.

[15] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

[16] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 15:1929-1958, 2014.

[17] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pages 2818-2826, 2016.

[18] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT), pages 4853,2019 .
表 4 ファインチューニング時のハイパーパラメータ

## A ハイパーパラメータ

4 節で、既存汎用翻訳モデルを特定領域対訳コー パスを用いてファインチューニングする際のハイ パーパラメータを表 4 に示す。


# 二段階 fine-tuning を用いた条件付きなぜ型質問応答技術

二宮大空 $\$$ 呉鍾勲 $\$$ Julien Kloetzer ${ }^{\ddagger}$ 飯田 龍 $\$$ 鳥澤 健太郎†
†奈良先端科学技術大学院大学 先端科学技術研究科
$\ddagger$ 国立研究開発法人 情報通信研究機構
ninomiya.hirotaka.ng8@is.naist.jp
\{rovellia, julien, ryu.iida, torisawa\}@nict.go.jp

## 1 はじめに

近年，SQuAD[1] のような事実を名詞で回答する ファクトイド質問応答タスクについては，汎用的 な事前学習言語モデル BERT（Bidirectional Encoder Representations from Transformers）[2] 等の発展によ りその性能が人間の性能を超えたことが報告されて いる。一方，説明的な回答が求められるノンファク トイド質問応答は, 未だ発展途上であり, ノンファ クトイド質問応答の一つであるなぜ型質問応答など において盛んに研究が進められている $[3,4,5,6]$.

本研究では，より高度ななぜ型質問応答を実現す るために，「なぜ地球温暖化が進むと海水面が上昇 する」のような, なぜ型質問に条件 (「地球温暖化 が進む」）が含まれるより複雑な質問に対して回答 する質問応答を対象とする。本稿では，このような 質問応答を条件付きなぜ型質問応答と呼ぶ.この条件付きなぜ型質問に回答するためには, 質問「なぜ （事象 A）と（事象 B）？」に対し, 事象 A の因果的帰結であり，かつ，事象 B の原因であるものを回答 する必要があるため, 単純ななぜ型質問 (「なぜ（事象 B）？」）と比べてより難しい問題となっている.一方で，「なぜ地球温暖化が進むと海水温が上昇す る？」のような条件付きなぜ型質問は,「地球温暖化 が進むとどうなる？」といったどうなる型質問応答 $[7,8,9]$ の結果, 得られた回答が「海水温が上昇す る」であった場合にその理由を問うための自然な質問の形式だと考えられるため, この条件付きなぜ型質問応答の技術を発展させることで, 単純な質問応答に付随して発生する, さらなる深掘りを行う質問 に適切に回答することが可能になると考えられる。

ただし, 我々が知る限り, 条件付きなぜ型質問応答に特化した学習・評価用データは存在しない. そ こで，本研究では，まず表 1 に示すような条件付き

} & \\

なぜ型質問応答のデータを作成した。このデータ作成では, 日本語 Web4 億文書を対象に検索して得ら れたパッセージ1) (以降, 回答候補パッセージ）に対 して，人手でアノテーションを行った。さらに，こ のデータを用い，BERTを fine-tuning することで回答候補パッセージのランキングを行う分類器を開発 した ${ }^{2)}$. その際，なぜ型質問応答に関連する 4 つの タスク（因果関係認識 [10]，因果関係連鎖判定，な ぜ型質問応答 [3][4]，ファクトイド質問応答 [11]）の 学習データも用い, 最終的な条件付きなぜ型質問応答の fine-tuning $の$ 前に実施する fine-tuning, もしく は, 条件付きなぜ型質問応答との Multi-task learning を行うことで，条件付きなぜ型質問応答の性能が向上するかの調査も行った。この結果, 組み合わせる タスクと組み合わせ方によってはべースラインであ る単純な BERT の fine-tuning と比較して有意に性能 が向上することを明らかにした（P@1で約 $1.2 \%$ の 向上).

## 2 関連研究

Oh ら [3] の日本語を対象としたなぜ型質問応答手法では，因果関係を認識する問題を系列ラベリング

問題と捉え, Conditional Random Fields を用いて文書中の原因部と結果部を特定した。それにより一文内 の因果関係と文をまたがる因果関係を含む多様な形式で表される因果関係を自動抽出した後, 抽出した 因果関係をなぜ型質問応答の回答リランキング時に 利用し, 一文内の因果関係と文をまたがる因果関係 が共に回答リランキングの性能向上に寄与している ことを示した. さらに, Oh ら [4] はなぜ型質問応答 において敵対的学習を用いたモデルを提案し, 回答精度を大幅に向上させた。

また，英語を対象にしたノンファクトイド質問応答に関して, Fan ら [12] は回答が長文となる質問応答データセット ELI5 を作成している. ELI5 のデー タ中の約 $45 \%$ が why から始まるなぜ型質問である が，ELI5 の全データを対象にした評価では Seq2Seq をべースにした手法の性能は人間の性能を大幅に下回っていることが報告されている。また, Hashemi ら [13] は Web から抽出したノンファクトイド質問 を含む質問応答データセットを作成した。

## 3 条件付きなぜ型質問応答のデータ 作成

1 節で述べたように，条件付きなぜ型質問は典型的には「なぜ (事象A) と (事象B)？」という形式で 記述されるため, 事象 $\mathrm{A}$ と事象 B に埋まる表現の対 が必要となる. この 2 つの事象を表す表現は一般的 には「なぜ地球温暖化が進むと海水温が上昇する？」 の「地球温暖化が進む」と「海水温が上昇する」の 対のように因果関係が成り立つ対であると考えられ るため, そのような対を自動で収集して質問を作成 する。一方，そのような人工的な条件付きなぜ型質問だけでは人間が記述する多様な条件付きなぜ型質問をカバーできない可能性があるため, 自然な条件付きなぜ型質問についてもデータを作成し, 評価を 行う.

データ作成の手順は下記の通りである.

## 手順 1 : 条件付きなぜ型質問の作成

Train, Dev1, Dev2 の質問の作成方法として, まず は Hashimoto ら [7] の因果関係認識器を Web40 億文書に適用して得られた因果関係を表す原因句と帰結句の対を利用し，「なぜ（原因句）と（帰結句)」と することで人工的な条件付きなぜ型質問を作成す る. 一方, 最終評価用のデータ (Test) の作成時に は，質問は Web40 億文書から抽出した「なぜ」を含 む単語列から抽出した条件付きなぜ型質問である.詳細を付録 A で述べる. 質問の作成後, 質問が曖昧

でない自然なものであるかをアノテータ 3 名による 多数決で判定した。

手順 2 : 回答候補パッセージの抽出とアノテーション

手順 1 で得られた各質問に対して, Murata らの検索手法 [14] を用いて, Web4 億文書から質問 に対する回答が含まれている可能性が高い回答候補 パッセージを最大 20 件抽出した. さらに, 質問と 回答候補パッセージを見て, 回答候補パッセージ中 に質問に対する答えが含まれているかをアノテータ 3 人で判定し, 多数決でラベルを決定した。 ${ }^{31}$

本研究で作成したデータの 4$)$ の総事例数とそれぞ れの正例の割合は表 2 に示す通りである.5)

## 4 比較手法

条件付きなぜ型質問応答とは同じ質問応答という 観点で関連するファクトイド質問応答 (以降, FQA) [11], なぜ型質問応答（以降，WhyQA） [3,4], また,因果関係を対象とするという点で関連すると考えら れる因果関係認識（以降，Causality）[10], 因果関連連鎖判定（以降，Chain）の学習データ（それぞれの 詳細は表 3 参照）も利用することで条件付きなぜ型質問応答の性能が向上するという仮説に基づき，下記の Step1と Step2 からなる二段階の fine-tuning 手法を実験する。

Step1 事前学習済みの BERT モデルをCausality, Chain, WhyQA, FQAのいずれか（もしくはその組 み合わせ）のデータで fine-tuning する.

Step2 Step2 で得られた fine-tuning 済み BERT モデル を Causality, Chain, WhyQA, FQA のいずれか（も しくはその組み合わせ）のデータと条件付きなぜ

3） Train, Dev1，Dev2においては，答えが含まれていると 1 人以上判定したものは正例である可能性が高いと考え，それら に対して質問に対する答えを回答侯補パッセージから抽出す る作業をアノテータ 3 人で行った. その後, 抽出可能である かにより最終的なラベルを決定した。

4） Train, Dev1，Dev2 で質問が重複しないようにランダムに分割する。

5） Oh[4] が利用している一般的ななぜ型質問応答データの正例の割合は Train, Dev, Test でそれぞれ $12.5 \%, 23.4 \%, 24.1 \%$ であり, それらと比べて正例の割合が小さく, ランキングが より困難な問題となっている.
表 3 二段階 fine-tuning で用いるタスクの詳細

 &  &  \\

条件付きなぜ型質問の作成に用いた Hashimoto ら [7] の因果関係認識器は因果関係認識のデータで学習されているた め, 条件付きなぜ型質問応答に関連する情報を含まないように, Train, Dev1, Dev2 中の条件付きなぜ型質問の作成 に用いた句が含まれる事例を, 因果関係認識と因果関係連鎖判定のデータからそれぞれ 3,675 件, 985 件除外した.表 4 はこれらを除外した件数である.

表 4 関連するタスク 4 種類のデータセット

型質問応答（以降，CoWhyQA）のデータを用いて Multi-task learning でさらに fine-tuning する.

## 5 実験

## 5.1 実験設定

実験で利用する BERT のモデルサイズは Devlin ら

Kadowaki ら [8] と同様に, 自動検出された因果関係 を含むテキスト約 22 億文のコーパス（データサイ ズは 353GB であり, T5[15] の事前学習で利用されて いるコーパスの約半分に相当する [11]）を用いる. このコーパスは, Oh ら [3] の因果関係認識器により 検出された文とその前後の文で構成された 7 文の パッセージから得られた文集合からなる. 事前学習時のバッチサイズは 4,096 であり, token 最大長 128 で 100 万ステップ, さらに追加で token 最大長 512 で 10 万ステップ事前学習を行っている6).

6）事前学習と fine-tuning 時には Kadowaki ら [8] と同様に learning rate warmup (warmup rate $=0.01$ ) を用いた. fine-tuning 時のバッチサイズは 32 であり, 学習率 は 8e-6, 9e-6, 1e-6 の 3 通り, epoch 数は 1, 2, 3 の 3 通りの組み合わせである 9 通りから Dev の P@1 （最上位の回答の精度）が最大となるパラメタを手法ごとに選択した. Step1 のモデル選択に関しては WhyQA の場合はDev1のP@1で，それ以外はDev1 の平均精度でベストなモデルを選択した. 最終的な 条件付きなぜ型質問応答の評価では $\mathrm{P} @ 1$ に加え, MAP（回答の平均精度の平均値）でも評価し, 各手法の結果を比較する. ベースラインとして, 前述の 因果関係を含むテキスト約 22 億文のコーパスで事前学習した BERT モデルを条件付きなぜ型質問応答 のデータだけで fine-tuning したものを利用する.

また, 二段階 fine-tuning で用いるデータセット の事例数を表 4 に示す. 二段階 fine-tuning $の$ Step1, Step2におけるパラメタ探索範囲や学習方法, その 他の実験設定は共に fine-tuning 時の設定に従う.

## 5.2 実験結果

結果を表 5 に示す. 表の (c)〜(f) が Step1 の finetuning の学習データを変更した場合の結果である が, この内, WhyQA と FQA で fine-tuning した場合 が Dev1, Dev2, Test で一貫して性能が向上してお り, 因果関係認識に関するデータ (Causality, Chain)
表 5 二段階 fine-tuning に関する実験結果

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{3}{|c|}{ Test } \\

Oracle は全ての質問に対して適切に回答できた場合の理想的な精度を, 相対值は「(手法ごとの P@1)/(Oracle の $\mathrm{P} @ 1 ） \times 100 」$ で求めた值である．P@1における括弧内の值は BERT（ベースライン）の $\mathrm{P} @ 1$ との性能差 を表しており, Dev2 と Testにおいては McNemar 検定（有意水準 5\%）で有意差が確認されたものを†で示す.

よりも質問応答に関するデータ（WhyQA, FQA）で Step1 の学習を行うことに効果があると考えられ る.また, 表 5 の $(\mathrm{g}) \sim(\mathrm{j})$ が Step1 の fine-tuning を行 わず, Step2 で Multi-task learning を行った結果であ るが，この結果については特に WhyQA で Multi-task learning した場合の Test の P@ 1 が最も高くなってお り，対象となる条件付きなぜ型質問と最もタスクが 近いなぜ型質問応答との Multi-task learning に効果が あったと考えられる.

また，表 5 の (c)と (d) に着目した場合，Dev2，つ まり, 質問の形式が「なぜ（事象 A）と（事象 B)」 の場合には $\mathrm{P} @ 1$ が向上しているのに対し, 自然な 質問の形式である Testにおいては P @ 1 がベースラ インよりも低下するという結果となった。これは Causality や Chain の学習データの個々の事象を表す 表現が必ず名詞+助詞+述語であるのに対し, Test の 質問ではそれらの表現が「運動すればなぜ内藏脂肪 が減るのでしょうか？」の「運動する」のように必 ずしも名詞+助詞+述語の形式とはなっていないこと が影響している可能性がある.

最後に, Step1 の選択肢と Step2 の選択肢を組 み合わせることで性能が向上するかについても 調査を行った. 具体的には Step1 で効果があっ た Causality と FQA（表 5 の (c)〜(f) で Dev2 の P@1 の上位 2 つ）を利用する場合としない場合の 組み合わせ 4 通り,また, Step2で効果があっ た Chain, WhyQA, FQA（表 5 の $(\mathrm{g}) \sim(\mathrm{j})$ で Dev2 の P@1 がベースラインよりも良かったもの)を利用する場合としない場合の組み合わせ 8 通り,合わせて 32 通りに対して実験を行い, Dev2 の $\mathrm{P} @ 1$ が最大となる組み合わせを決定した.この結果, 表 5 の (k)Step1=FQA, Step2=CoWhyQA+WhyQA, (1)Step1=Causality+FQA, Step2=CoWhyQA の 2 つが同 じ $\mathrm{P} @ 1$ だったため選択された. ただし，表に示すよ うに,この2つでTestの $\mathrm{P} @ 1$ が良かった $(\mathrm{k})$ のその值 は, (i) に示す Step1=なし, Step2=CoWhyQA+WhyQA と変わらないため, Step1 と Step2 の組み合わせは 効果がなく, Step1 もしくは Step2 のいずれかで類似するタスクの学習を行うだけで十分であること がわかる。一方で, (k) と (l)の Dev2の P@1の值は 他の (b)～(j) のいずれをも上回っているため, 質問 の形式が学習データと同じ場合においては Step1 と Step2 で複数のタスクを組み合わせることに効果が あることがわかる.このように, 現状では質問の形式（人工的な質問 or 自然な質問）が学習データと異 なることが，二段階の fine-tuning が有効であるかに 影響していると考えられるため, 今後は質問の形式 が異なっていたとしても性能を劣化させない頑健な 手法を開発していく必要がある.

## 6 おわりに

本研究では, 条件が含まれるなぜ型質問に対する 応答技術の開発を目指し, 条件付きなぜ型質問応答 のデータを作成した. さらに，BERTを用いた分類器を構築し, 条件付きなぜ型質問応答に関連する タスクを用いて二段階で fine-tuningを行うことで,分類器の性能向上を図った. 実験の結果, 二段階 fine-tuning を行うことで, 最上位の回答の精度 P@1 がベースラインである BERT を約 $1.2 \%$ 上回った。

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Motoki Sano, Stijn De Saeger, and Kiyonori Ohtake. Whyquestion answering using intra- and inter-sentential causal relations. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1733-1743, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[4] Jong-Hoon Oh, Kazuma Kadowaki, Julien Kloetzer, Ryu Iida, and Kentaro Torisawa. Open-domain why-question answering with adversarial learning to encode answer texts. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4227-4237, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Fatima T AL-Khawaldeh. Answer extraction for why arabic questions answering systems: Ewaq. arXiv preprint arXiv:1907.04149, 2019.

[6] Andrei Dulceanu, Thang Le Dinh, Walter Chang, Trung Bui, Doo Soon Kim, Manh Chien Vu, and Seokhwan Kim. Photoshopquia: A corpus of non-factoid questions and answers for why-question answering. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[7] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 987-997, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[8] Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, JongHoon Oh, and Julien Kloetzer. Event causality recognition exploiting multiple annotators' judgments and background knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5816-5822, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Canasai Kruengkrai, Kentaro Torisawa, Chikara
Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, 2017.

[10] Chikara Hashimoto, Kentaro Torisawa, Stijn De Saeger, Jong-Hoon Oh, and Jun'ichi Kazama. Excitatory or inhibitory: A new semantic orientation extracts contradiction and causality from the web. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 619-630, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[11] 関直哉, 水野淳太, 門脇一真, 飯田龍, 鳥澤健太郎. ファクトイド質問応答における bert の pre-trained モ デルの影響の分析. 言語処理学会第 26 回年次大会発表論文集, pp. 105-108, 32020.

[12] Angela Fan, Yacine Jernite, Ethan Perez, David Grangier, Jason Weston, and Michael Auli. ELI5: Long form question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3558-3567, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Helia Hashemi, Mohammad Aliannejadi, Hamed Zamani, and W Bruce Croft. Antique: A non-factoid question answering benchmark. In European Conference on Information Retrieval, pp. 166-173. Springer, 2020.

[14] Masaki Murata, Sachiyo Tsukawaki, Toshiyuki Kanamaru, Qing Ma, and Hitoshi Isahara. A system for answering non-factoid japanese questions by using passage retrieval weighted based on type of answer. In NTCIR, 2007.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv preprint arXiv:1910.10683, 2019.

## 付録

## A 条件付きなぜ型質問の抽出

Web40 億文書から抽出した「なぜ」を含む単語列 から条件付きなぜ型質問を抽出する際, 質問中に条件を表す部分を含む必要があるため，以下を全て 満たすものを対象とする．単語や品詞の連続は+で 表す.

・動詞，または形容詞+接尾辞を単語列中に 2 つ 以上含む.

$\cdot$「と，ば，たら」で区切った時, 前後半共に動詞，または形容詞+接尾辞が存在する。

・以下のいずれかを満たす.
- 動詞+「と」を含む. ただし，動詞は「い う，言う，よぶ，呼ぶ，思う，感じる，す る」を除く。

一未尾が「ば，たら」の動詞を含む。
- 動詞+末尾が「ば，たら」の接尾辞を含む.
- 形容詞+接尾辞+「と」を含む.

一形容詞十末尾が「ば, たら」の接尾辞を含む.


# 競技クイズ・パラレル問題の基本構造と文型

橋元 佐知佐藤理史宮田玲 小川浩平
名古屋大学大学院工学研究科
hashimoto.sachi@d.mbox.nagoya-u.ac.jp

## 1 はじめに

与えられた質問に対して答を導く質問応答 (QA) タスクでは、質問としてクイズの問題がしばしば 用いられる。クイズ問題を解くシステムとしては、 クイズ番組 Jeopardy!で人間のチャンピオンを破っ た IBM の Watson が有名である [1]。この他にも、 TriviaQA [2], SearchQA [3], QANTA[4] など、クイズ の問題を用いて作成された $\mathrm{QA}$ タスク評価用データ セットが存在する。これらは英語のデータセットで あるが、日本語でも、JAQKET というデータセット が作成されている [5]。

一般に、QA タスクでは、問題文がテキストとし て完全に与えられるのが普通である。しかしなが ら、人間がクイズに解答する状況は、これとは異な る場合がある。問題文が読み上げられる形式の早押 しクイズでは、解答者は、他の解答者に先んじるた めに、問題文が最後まで読み上げられる前に答える ことがしばしばある。このような場合、解答者は、完結しない問題文から答を導くことが必要となる。

このような読み上げ・早押しクイズ特有のひっか け問題に、以下のようなパラレル問題がある。

(1) アイルランドの首都はダブリンですが、アイ スランドの首都はどこでしょう?

たとえば、競技クイズの大会の一つである abc/EQIDEN ${ }^{1}$ の過去問では、全体の約 $11 \%$ のようなパラレル問題である。このような問題に 「アイルランドの首都は」の段階で答えると、「ダブ リン」という誤答になりそうである。

しかしながら、優れた解答者は、その段階で正し い答を導くことが多い。実際、「12 時間ガチクイズ 生放送」という YouTube 動画でパラレル問題の解答状況を調査したところ、95 問中 63 問が「アイルラ ンドの首都で」に相当する段階で解答されており、 そのうちの 54 問が正解であった。

1) http://abc-dive.com

図 1 パラレル問題の 4 項構造

ここで、次のような疑問が生じる。

1.なぜ、問題文の途中までで、高い精度で正し く答えることができるのか？

2. これを機械的に実現することは可能か？

これらの疑問に答えるために、我々は、まず、パ ラレル問題の基本構造と文型を調査した。そして、 その結果に基づいて、問題文の途中までで答を導く 解答システムを試作した。本論文では、これらの内容について報告する。

## 2 パラレル問題の基本構造と文型

パラレル問題の基本構造と文型を把握するため に、abc/EQIDEN の過去問2) に含まれる約 1,000 問の パラレル問題を調査した。その結果、以下の観察結果を得た。

1. パラレル問題の基本構造は、図 1 に示すよう な 4 項構造である。

本論文では、これらの 4 項を順に、 $X, Y, Z, Q$ で表 す。これらには、次の関係がある。

i. 対比関係: $X \leftrightarrow Z$

ii. 同一関係: $X: Y=Z: Q$

2. パラレル問題を成立させているのは、 $X$ と $Z$ の対比関係である。

主要な対比関係の種類は、表 1 に示す 5 種類に整理 できる。

3. 問題文は、図 2 に示すような 4 つのパートか ら構成される。

これらを順に、 $\mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D}$ パートと呼ぶ。 $\mathrm{A}, \mathrm{C}$ パー

2) http://abc-dive.com/questions/
表 1 対比関係の種類

} \\

図 2 問題文のパート構成

トの末尾は、典型的には提題表現 (提題助詞「は」) であり、 $\mathrm{B}$ パートの末尾は、典型的には並列節の節末表現 (接続助詞「が」) である。これらの強い手が かりにより、人間は、各パートの終了点を正しく認識できると考えらえる。

以上の観察に基づき、問題文の途中までで正解を 導くために必要なことを整理すると、以下のように なる。

1. Cパートまでで答える すべての情報が揃っているので、通常の問題と 同じように解ける
2. $\mathrm{B}$ パートまでで答える

$X$ と対比関係にある $Z$ を推測できれば、通常の 問題と同じように解ける
3. $\mathrm{A}$ パートまでで答える

$Z$ に加え、 $X$ から $Y$ を推測し、その間の関係を 同定できれば、通常の問題と同じように解ける

## 3 過去問のデータベース化

解答システムを作成する準備として、パラレル問題の過去問にアノテーションを施し、データベース を作成した。アノテーションでは、問題文を 4 つの パートに分割して末尾の正規化を行った後、表 2 に 示す要素をマークアップした。アノテーションの具体例を図 3 に示す。

このようにマークアップしたテキストから、デー タベースのレコードを作成する。レコードの具体例表 2 マークアップする要素

図 3 問題文のアノテーション

表 3 データベースのレコード形式

を表 3 に示す。この例に示すように、レコードの作成では、以下のことを行う。

1. 順方向のレコードと逆方向の (A, B パートと、 $\mathrm{C}, \mathrm{D}$ パートを入れ替えた) レコードを作成する。

2. A, B, C, D の各パートの文型パターンも登録 する。
3. $x$ と $z$ 、および、 $y$ と $w$ は、一方が空である場合は、他方で補完する (下線部)。

## 4 解答システム

作成した解答システムの構成を図 4 に示す。本シ ステムは、前節で示したデータベースを検索する ことで、問題の答を求める。システムは、以下のモ ジュールから構成されている。

図 4 解答システムの構成

## 1. パート取得

問題文の各パートを順に取得する。まず、A パートのみを取得し、 $\mathrm{B}$ パート以降は、要求が あった場合のみ取得する。

## 2. パート解析

取得したパートを解析し、表 2 のマークアッ プ要素と文型に分解する。この分解には、デー タベースに格納されている、該当パートの文型パターンを利用する。一般に、複数の文型パ ターンが存在するので、可能な分解をすべて求 める。

## 3. 検索条件設定

得られた要素や文型、後述の解答判定により得 られるフィードバック情報を用いて、データ ベースを検索する条件を設定する。

## 4. データベース検索

設定した検索条件で、データベースを検索し、得られたレコードから答 $W$ を取得する。

## 5. 解答判定

$W$ の種類に応じて、以下のように分岐する。

(a) $W$ が一意に定まる場合

$W$ を解答として出力する

(b) $W$ が複数得られる場合

検索条件を強めるフィードバックを生成する

(c) $W$ がひとつも得られない場合

検索条件を緩めるフィードバックを生成する

検索条件を強めるとは、検索条件に新たな要素を 追加することを意味する。これには、次のパートを 取得して要素を追加することも含まれる。一方、検表 4 検索条件に含める要素

索条件を緩めるとは、検索条件に含まれるいずれか の要素を削除することを意味する。表 4 に、それぞ れのパートまで取得した場合に、どのような要素を 検索条件に含めるかを示す。

この表の記号は、以下のことを意味する。

記号 $\mathbf{r}$ (required) 検索条件に必ず含める。

記号 o (optional) 取得済のパートに存在する場合に含 める。検索条件を緩める場合は、この要素を削除す る。削除した場合は、それ以降は使用しない。記号 a (additional) 検索条件を強める場合に追加す る。追加によって $W$ がひとつも得られなくなる場合は、それ以降は使用しない。

たとえば、 $\mathrm{A}$ パートから $X$ と $y$ が得られ、これら で検索すると複数の $W$ が得られたとしよう。その 場合は、まず、文型 $\mathrm{A}$ を検索条件に追加する。それ でも $W$ がひとつに絞れない場合に、B パートを取得 し、そこから検索条件に追加する要素を取得する。 なお、文型 $\mathrm{A}$ を追加して $W$ がひとつも得られなく なった場合は、文型 $\mathrm{A}$ を除外して、B パートに進む。

一方、 $\mathrm{A}$ パートから $X$ と $y$ と $D$ が得られ、これら で検索すると $W$ が得られない場合は、要素 $y$ を削除した条件、および、 $D$ を削除した条件で検索し、 それらの結果をマージして次の判断を行う。なお、 $X$ だけでも $W$ がひとつも得られない場合は、 $\mathrm{C}$ パー 卜まで取得して、それ以降の検索では、 $X$ と $Y$ を条件に含めない。「(r)」は、このことを意味する。

$\mathrm{C}$ パート以降では、 $z$ と $w$ がパートから得られな い場合は、 $x$ と $y$ の情報を利用する。「o*」は、この ことを意味する。

最終的に、 $W$ がひとつに絞れない場合、および、 $W$ がひとつも得られない場合は、解答不能とする。
表 5 過去問に正解するための検索条件

## 5 解答にどのパートまで必要か

ここでは、まず、データベースに登録した過去問 970 問を解く場合、どのパートまでで正解を出力で きるかを調べた。その結果を表 5 に示す。過去問を 解く場合は、正解を導くレコードは必ず存在するた め、検索条件を緩めるフィードバックがかかること はない。この表の「要素」の闌は、各パートから取得した要素をすべて検索条件として用いた場合、「+文型」の欄は、それに各パートの文型を追加した場合の、答を一意に絞り込めた問題数を示す。

この表から以下のことがわかる。

1. 過去問の $98.8 \%$ (958/970) は、A パートで正解 を導くことができる。

データベースのサイズが大きくなると、この值は低下すると考えられるが、実際に出題されるパラレル 問題の大半は、事実上、A パートだけで正解が定ま る問題となっている可能性がある。

2. 正解を導くのに文型が必要な問題は、 $3.3 \%$ (32/970)にすぎない。

$\mathrm{A}$ パートから $X$ 以外の要素が得られた 773 問中、文型が必要だったのは 13 問 $(1.7 \%)$ のみで、残りの 760 問は抽出した要素だけから答が一意に決定できた。一方、 $X$ しか得られなかった場合は、185 問中 19 問 $(10.3 \%)$ が文型を必要とした。このことは、設定し た $x, y, D$ が、答を絞り込むために適切に機能して いることを意味する ${ }^{3}$ 。実際、先の 760 問中、 $X$ だ けで答を一意に絞り込める問題は 523 問で、残りの 237 問は $X$ 以外の要素が答の限定に寄与している。

次に、逆方向のレコードを使用する場合と使用し ない場合で、正解を出力するために必要なパートが

3）これらの要素が抽出できれば、パート内の文型の差異は無視できる。表 6 逆方向のレコードの影響

どう変化するか調べた。その結果を表 6 に示す。逆方向のレコードを使用しない場合は、 $\mathrm{A}$ パートのみ で正解を出力できる問題が 7 問増える。逆方向レ コードを使用すれば、潜在的に解ける問題が 2 倍に なることを考慮すれば、この差は許容できる。実際、現在のシステムは、過去問 970 問の前半部と後半部を入机替えた問題のうち、950 問を解くことが できる4)。

現在のシステムは、解答判定に基づき検索条件を 緩めたり強めたりするので、A パートの文型の摇れ をある程度許容する。たとえば、以下の例では、い ずれか一方が過去問として登録されていれば、他方 を解くことができる。

（2） a. 『半七捕物帳』を書いたのは岡本綺堂で すが、『人形左七捕物帳』を書いたのは誰で しょう?

b. 『半七捕物帳』の作者は岡本綺堂ですが、『人形左七捕物帳』の作者は誰でしょう?

## 6 おわりに

本研究では、競技クイズのパラレル問題の基本構造と文型を分析し、問題文の途中までで解答するシ ステムを作成した。現在のシステムは、答を導くた めの知識源として過去問のみを利用しており、過去問と同一の問題、前半と後半を入れ換えた問題、文型が一部異なる問題を解くことができる。しかしな がら、完全に未知の問題に対しては無力である。

競技会に参加する人間の解答者は、過去問を調査 するのに加え、出題の可能性があるパラレル問題を 予想し、準備する。この準備は、本システムでは、 データベースに新たなレコードを追加することに対応する。パラレル問題の基本構造である 4 項構造に おいて、まず対比関係となるぺア $(X$ と $Z)$ を見つ け、それらに対して残りの 2 項 $(Y$ と $W)$ を設定すれ ば、新しいレコードを作成できる。すなわち、未知 の問題を解く能力と、問題を作成する能力は、本質的に同じである。

4）解けない 20 問は、前半部と後半部の表現の違いが原因であ る。

## 参考文献

[1] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building Watson: An overview of the DeepQA project. AI Magazine, Vol. 31, No. 3, pp. 59-79, Jul. 2010.

[2] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 16011611. Association for Computational Linguistics, 2017.

[3] Matthew Dunn, Levent Sagun, Mike Higgins, V. Ugur Güney, Volkan Cirik, and Kyunghyun Cho. SearchQA: A new Q\&A dataset augmented with context from a search engine. CoRR, 2017.

[4] Pedro Rodriguez, Shi Feng, Mohit Iyyer, He He, and Jordan L. Boyd-Graber. Quizbowl: The case for incremental question answering. CoRR, 2019.

[5] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET:クイズを題材にした日本語 QA データセッ 卜の構築. 言語処理学会第 26 回年次大会発表論文集, pp. 237-240, 2020.


# 問い返し質問文生成によって曖昧性解消を行う 質問応答システム

中野佑哉 1,3 河野誠也 ${ }^{1,2}$ 吉野幸一郎 $2,3,1$ 須藤克仁 ${ }^{1,3}$ 中村哲 1,3
1 奈良先端科学技術大学院大学
2理化学研究所ロボティクスプロジェクト
3 理化学研究所革新知能統合センター AIP
}

\{nakano.yuya.nw9, kawano.seiya.kj0, koichiro, sudoh, s-nakamura\}@is.naist.jp
## 1 はじめに

質問応答は自然言語の質問を入力としてその回答 を出力するタスクである。特に近年の質問応答ベン チマーク [1][2] で定義されているような, 回答候補 が含まれる文書群を与えた上でそこから回答を導き 出すような質問応答は機械読解とも呼ばれ [3], 機械による自然言語の理解がどの程度進んでいるかを 測る重要な指標となっている.

こうした既存の質問応答タスクでは，ユーザが発 する質問が応答に十分な情報を含んでいることを仮定している。しかし実際の質問応答タスクを考えた 場合，システムに与えられるユーザ発話はしばしば 曖昧で，正しい回答を導き出すために追加の情報を 必要とする. こうした曖昧なユーザ発話にどう対応 するかについては，発話外の情報を用いる [4]，ユー ザに問い返しを行う [5] など，様々なアプローチが 検討されている。特にシステムからの問い返しを行 う枠組みは対話的情報検索 [6] と呼ばれ，ユーザと の言語的なやり取りを通じて必要な情報を取得する ためにどのような問い返しが必要かということにつ いて検討が行われている [7].

しかし，こうした問題に対して大規模ベンチマー クを構築することは難しい。一番の問題点は，実際 の曖昧な質問とその真の意図を大規模に収集するこ とが困難な点にある．また，どのような曖昧さが質問応答システムの回答を困難にするかも明らかでは ない. そこで本研究では，質問文の文構造に基づい た変換によって，意図が曖昧となる質問を疑似生成 する手法を提案する. 文構造を用いて質問文中に含 まれる情報を選択的に除くことにより，曖昧さを制御した疑似質問文を生成することができる。本論文 では特に句に着目した情報選択手法を提案した。

図 1 曖昧な質問文生成の流れ

また，このような疑似生成された曖昧な質問文を 与えた場合に，必要な情報を復元する機能が必要と なる. そこで，自動生成された問い返し質問文に よって必要な情報を回復する枠組みを構築した。こ の問い返し質問文生成には，格フレームを用いた。

評価では，まず変換に基づく質問文に対する曖昧性付与によって，実際にどの程度既存の質問応答モ デルからの回答が難しくなるかについて評価した. その上で, システムからの問い返しに対してユーザ が正しく回答した場合，元の質問文への曖昧性付与 によって低下した質問応答の精度がどの程度復元さ れるかについて評価を行った。

## 2 文構造を用いた曖昧な質問文生成

まず，本論文では質問応答のベンチマークとして 広く利用されている HotpotQA データセット [2] を 用いる.この既存の質問応答タスク向けデータセッ トでは，データセット中の質問文が与えられた場合，データセット内の回答候補文書内から回答が一意に定められるような質問文が定義されている.こ のデータに対して，これまで著者らが検討してきた 通り，文構造，特に句に着目した変換によって曖昧 な質問文を疑似生成する [8]. 本節では，この変換手法の概要と生成質問文の品質評価について述べる.

表 1 質問応答モデルの回答精度比較

表 2 主観評価の結果

## 2.1 質問文変換手法

変換手法の流れを図 1 に示す. 元の完全な質問文 から曖昧な質問文への変換を行うため，まずデータ セット中に定義されている質問文の統語構造を得 る. 統語構造解析には Stanford Parser ${ }^{11}$ [9][10] を用い る. 統語構造として得られた木に対して，VP，PP となる部分木を欠落対象として選択する。選択され た部分木を欠落させた文を，該当箇所の情報が欠落 した曖昧な質問文として生成して用いる. 久落候補 が複数存在する場合は, 久落対象の範囲がもっとも 短い部分木を選択する。

## 2.2 疑似生成された曖昧な質問文の評価

生成された曖昧な質問文に対して既存の質問応答 モデルの回答精度を求めることで，実際にどの程度質問応答のために必要な情報が欠落できているかを 確認する。また，生成した質問文が文法的におかし い場合は変換が適切でないことが予想されるため，疑似生成結果の質を担保するため英文としての自然 さを確かめる主観評価をあわせて行った。

回答精度比較実験（表 1）では，変換後の曖昧な 質問文が質問応答モデルの回答精度にどのような影響を与えるか確認する。VP，PP，その両方（Mixed） をそれぞれ久落対象として生成された質問文を用 いた実験結果を示している．表中にある EM は同一 の BERT を用いた質問応答モデル [11] が出力する 回答の正解率，F1 はそのモデルによって出力され る回答の再現率と適合率の調和平均を表す. 質問応答モデルの学習には HotpotQA データセットの学習 セット部分を，評価には開発セット部分を用いた。 Original は変換前の質問文を入力とした場合のスコ

図 2 問い返し質問文生成の流れ

アを表す. Original のスコアと比較して, 全ての変換において質問応答モデルの回答精度が低下してお り，提案する変換によって生成した曖昧な質問文が モデルの回答を困難にしていることが確認できた。

主観評価では，生成した曖昧な質問文が英文とし て自然かどうかについて被験者 3 名が評価した.こ の実験では，変換によってモデルの回答が変換前と 異なるような質問文を評価の対象とした. 元の質問文の統語構造から VP，PP，その両方（Mixed）を欠落の起点とした場合で，それぞれランダムに 200 文 ずつサンプリングし，英文としての自然さを 3 段階 で評価をしてもらった. 各条件に対する評価の平均 を表 2 に示す. ここで， Normal Form は元の質問文 が疑問詞から始まる一般的な質問文の形であるも のを指し， Irregular Form は疑問文以外の形で質問 を行っている文を指す．VPのみを用いた変換では，久落範囲が大きくなりすぎてしまう場合があり，PP のみを用いた変換と比較して自然性が低くなる結果 となった．今回の実験結果からは，PPのみを用い る場合と，VP と PP の両方を用いた場合の間に有意 な差 $(p<0.05)$ は認められなかった。これは，PPを 用いた場合の欠落候補箇所が VP を用いる場合と比較して短く, 長さの観点から優先されて多く出現し たことが原因として考えられる。また，設定した変換の全てで Irregular Form の質問文に対する評価の 平均は Normal Form より低く，自然な文が生成され にくいことが明らかとなった。これは，問いたい内容を表す疑問詞が文中から欠落してしまっているこ とが主な原因と考えられる。

図 3 問い返し対話例

## 3 ユーザヘの問い返し質問文生成

前節では文構造を用いることで，実際に既存の質問応答システムが回答できない形に質問文に曖昧性 を付与できることがわかった. このような曖昧な質問文が持つ曖昧性を解消するには，何らかの方法で 久落した情報を補完する必要がある.こうした曖昧性解消を試みるため, 大塚ら [4] はユーザの真の意図と推定される改訂質問をユーザに提示するモデル を提案した.このモデルでは，質問者は自身の質問意図に近い改訂質問を選択することで，所望の回答 を得ることができる. しかしこうした手法ではあく までシステムが改訂質問を生成するため, ユーザか ら得られる情報の量に限界がある。

これに対して本研究では，ユーザへ問い返し質問 を生成することで，対話的に不足情報を補うことが できるシステムの構築を目指す. 具体的には，用言 の依存関係に基づいた問い返し箇所推定と，格フ レーム辞書を基にした適切な疑問詞の決定・問い返乙質問文生成を行う。

## 3.1 格フレームを用いた問い返し質問文生成

格フレームは，用言とそれに係る名詞の役割を用言の各用法ごとに整理したものである [12][13]. そ の中でも河原ら [13] は, 大規模汎用英語コーパスと Webから収集した文から格フレーム辞書を教師なし で構築する手法を提案した. 本研究では, この研究 で構築された英語格フレームを用いる. 古川ら [5] は，格フレーム中の格要素，格の種類と疑問詞対応規則を定義して，問い返し文候補を生成する手法を 提案した. しかし, この手法を用いて問い返し質問 を行うためには，問い返しの対象となる格を推定す る必要がある. そこで本研究では, 問い返しの対象 となる格を適切に推定するために，文中の動詞との 共起情報を用いる。

問い返し質問文生成の流れを図 2 に示す。まずは じめに，入力された曖昧な質問文に対して構文解析 を行い，文中に出現する用言と用言の係る依存関係元の質問文曖昧な質問文問い返し文問い返しへの回答

What major truck road is located
in Backford Cross?
What major truck road is located?
where was the road located?
Backford Cross

表 3 有効な問い返し例

表 4 タスク全体の回答精度

タグ (格)を抽出する. 用言として判別する品詞タ グは, $\mathrm{VB} ・ \mathrm{VBD} \cdot \mathrm{VBG} \cdot \mathrm{VBN} \cdot \mathrm{VBP} \cdot \mathrm{VBZ} の 6$ 種類 の動詞タグとした。解析には Stanford Parserを用い た. 次に，抽出された格と用言のペアおよび格フ レーム辞書を参照しながら，文中に出現しない格を 辞書中の頻度順に抽出する. 用言の選択には, 抽出 された中でもっとも文末に出現するものを優先し た. また，質問文によく出現する格の頻度情報を反映させるため，質問応答の学習データ中に出現する 用言（動詞）に係る格役割の頻度情報を用いる。学習データには HotpotQA 学習用データを用いた。格 フレームから抽出された格の中から，学習データ中 でもっとも頻度が高い格役割を問い返す格として決定する2).これは，質問文に頻出の格を問い返すこ とが質問応答の情報補完に有効と考えられるためで ある。ここで再度格フレーム中の抽出された格役割 を参照し，その中で最も出現頻度の高い疑問詞を問 い返す疑問詞として決定する。最後に，選択された 用言と疑問詞を用いて問い返し文を生成する。例え ば，図 2 の例では曖昧性を付与したユーザ質問文の うち最後尾の用言が “had” であり，格フレームから 推定された必要な格役割のうち，質問文学習データ 中で最も頻度が高いものが“advmo”であった. そこ でこの格で最も頻度の高い“when”を用いて，“when did the writer have?”という質問を生成している.

## 4 問い返し質問応答による評価

ここまでに質問文に対する曖昧性付与と，この曖昧性を解消するための問い返し質問文生成手法を説明した。本節ではこの問い返しによって，実際に対話的な曖昧性解消が可能なのかについて評価を行 う。まず問い返しタスクの設定を説明し，精度評価結果について述べる.

2）データセット中の用言（動詞）とそれに係る格の頻度を付録に示す.
元の質問文

曖昧な質問文

問い返し文

問い返しへの回答

元の質問文を入力した場合の出力

結合後の質問文を入力した場合の出力
Which author dedicated a 1985 romance novel to the author who did in 2009 and wrote under the pen name Gwyneth Moore?

Which author dedicated a 1985 romance novel to the author who? when did the author dedicate?

2009

Eva Ibbotson

Patricia Veryan

表 5 問い返しによって正解できなかった例

## 4.1 タスク設定

タスクの概要を図 3 に示す. 本タスクではまず， 2 節の変換手法を用いて生成した曖昧な質問文をシ ステムの入力として与える. システムは受け取った 質問文を基に問い返し質問文を生成し，ユーザの返答から追加情報を得る.こうして得られた追加情報 と入力された曖昧な質問文とを，既存の質問応答モ デルの入力とした場合の回答をシステムの出力とす る. システムに用いる質問応答モデルは，2 節で用 いたものと同様に曖昧性を含まない完全な質問文の みから学習した。問い返し質問文に対するユーザの 返答は，元の質問文を知っている場合に答えること ができる適切な返答を人手で用意した。曖昧な質問文とユーザからの返答を結合しモデルに入力した場合の出力回答が，曖昧な質問文のみを入力とした場合から程度改善されるかについて評価する。

## 4.2 質問応答モデルの精度評価

問い返し質問による質問応答の改善度合いを測る ため，問い返す対象の曖昧な質問文を以下のような 制約で限定して実験を実施した. この条件に該当す るものは，HotpotQA 開発用データセット中の質問文約 7,400 文に対して 312 文存在した。

1. 質問応答モデルの回答が変換による曖昧性付与 によって正解 $\rightarrow$ 不正解となる質問文

2. 変換による久落箇所の長さが最小である質問文

3. 疑問詞から始まる質問文 (Normal Form)

上記の制約によって抽出された対象となる質問文 312 文に対してそれぞれ問い返し質問文生成を行っ たところ，欠落箇所への問い返し質問が生成されて いる例が 123 文存在した $(39.4 \%)$. 有効な問い返し と回答の例を表 3 に示す. 問い返し文として有効な 123 文を用いた場合のタスク全体での回答精度は表 4 の通りである．表 4 中のスコアは，曖昧な質問文 と問い返しによって得られた回答とを結合し，質問応答モデルに入力した場合の出力の正解率 EM と 調和平均 $\mathrm{F} 1$ を表す。

これらの結果から，曖昧な質問文のみでは回答で きない場合に，問い返しで得た追加情報を用いて質問応答の精度を向上することができることを確認で きた. しかし，変換前はモデルが回答できるものだ けを対象とした実験であっても，単純な結合だけで は完全な回答精度復元には至らなかった。これは，得られた追加情報だけではモデルが正確な回答を出力できないようなものが含まれていたか，あるいは 追加で得られた情報の結合方法などに課題があった と考えられる．有効な問い返しによって正解を導き 出せなかった例を表 5 に示す。表 5 では変換によっ て関係代名詞 “who”以降の従属節の内容が大きく欠落しており，ユーザから追加で得られた情報だけで は答えを正しく出力することができなかったと考え られる。

## 5 まとめと今後の課題

本研究では，文構造に着目した質問文変換により 情報を欠落させた曖昧な質問文を疑似生成し，これ に対して適切な問い返し質問文を生成することで，対話的に曖昧性を解消できる質問応答システムを提案した。この結果，問い返しによって必要な情報を 追加情報を得て質問応答精度を向上することがで きたものの，この情報の復元は限定的な範囲となっ た. 今後，変換によって生成した曖昧な質問文の品質向上や，より適切な用言や疑問詞を選択するため の手法の提案などに取り組む必要がある.

## 謝辞

英語版格フレームを提供して頂いた早稲田大学の 河原大輔先生と京都大学の黒橋禎夫先生に感謝いた します。

## 参考文献

[1]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[2]Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2369-2380, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[3]西田京介, 斉藤いつみ, 大塚淳史, 西田光甫, 野本済央,浅野久子. 機械読解による自然言語理解への挑戦. NTT 技術ジャーナル, 2019.

[4] 大塚淳史, 西田京介, 斉藤いつみ, 西田光甫, 浅野久子,富田準二. 問い返し可能な質問応答: 読解と質問生成 の同時学習モデル. 日本データベース学会和文論文誌, 2020.

[5]古川智雅, 吉野幸一郎, 須藤克仁, 中村哲. 曖昧性を持っ たユーザ発話に対する格フレームを用いた聞き返し発話候補の生成. 言語処理学会 第 24 回年次大会 発表論文集, pp. 905-908, 2019.

[6]Yongfeng Zhang, Xu Chen, Qingyao Ai, Liu Yang, and W. Bruce Croft. Towards conversational search and recommendation: System ask, user respond. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, CIKM '18, p. 177-186, New York, NY, USA, 2018. Association for Computing Machinery.

[7]Mohammad Aliannejadi, Julia Kiseleva, Aleksandr Chuklin, Jeff Dalton, and Mikhail Burtsev. Convai3: Generating clarifying questions for open-domain dialogue systems (clariq). 2020.

[8]中野佑哉, 河野誠也, 吉野幸一郎, 須藤克仁, 中村哲. 文構造に基づく質問文への曖昧性付与と質問生成. 人工知能学会言語・音声理解と対話処理研究会 (SLUD)第 90 回研究会, 2020.

[9]Richard Socher, John Bauer, Christopher D. Manning, and Andrew Y. Ng. Parsing with compositional vector grammars. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 455-465, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[10]Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP natural language processing toolkit. In Proceedings of 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 55-60, 2014.

[11]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for
Computational Linguistics.

[12]Daisuke Kawahara and Sadao Kurohashi. A fully-lexicalized probabilistic model for japanese syntactic and case structure analysis. In Proceedings of the Main Conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics, HLT-NAACL '06, p. 176-183, USA, 2006. Association for Computational Linguistics.

[13]Daisuke Kawahara, Daniel Peterson, Octavian Popescu, and Martha Palmer. Inducing example-based semantic frames from a massive amount of verb uses. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 58-67, Gothenburg, Sweden, April 2014. Association for Computational Linguistics.

## 付録. A 学習データから集計された格と頻度

表 A. 1 学習データ中に出現する用言の格と頻度


# JointQA モデルによる質問応答精度向上の日本語データセット JAQKET への適用検討

竹下恭史朗
早稲田大学大学院情報生産システム研究科
tkstria@ruri.waseda.jp

## 1 はじめに

質問応答 (Question answering または Answer generation) タスクとは、与えられた文書などの知識をもと に、入力された質問や読解問題に正しく応答するこ とを目指すタスクである。一方、問題生成 (Question generation) タスクとは、入力された言葉を解答とす る問題を出力することを目指すタスクである。これ らは問題、解答、背景知識の 3 つの要素で構成され ており、2 つの要素から残り 1 つの要素を導くこと ができる。例えば質問応答においては、問題に対し て背景知識を元に解答を導く。問題生成において は、解答になるべき語句に対して背景知識を用いて 問題文を生成する。ここで、背景知識とは問題と解答の関係性を示す文書や、多くの文書から学習した 単語の数学的表現 (word2vec など) が挙げられる。 これらのタスクには多くのモデルが用いられ、これ までに多様な改善が試みられ、優れたモデルは社会 に応用されてきた。

質問応答と問題生成は互いにその質を補完する関係が知られており、同一のモデルで質問応答と問題生成の同時に訓練したモデル (これを JointQA モデ ルと呼ぶ) は、個々のタスクに特化したモデルより も教師データとの一致が高いという報告が見られ る。そこで、本研究では、2020 年に発表された日本語の質問応答データセット JAQKET[12]を用いて、質問応答と問題生成の質の相関を観察した。

## 2 関連研究

WikiQA[11] や SQuAD[6] に代表される質問応答 データセットを用いた研究として、問題から解答を 導く質問応答のみならず、解答からそれを問う問題 を作る問題生成が知られている。そしてこの問題生成は質問応答よりも長い単語列を出力しなくてはな らないためタスクとして難しく、また、受け入れら
れうる問題が教師データとして与えられているもの 以外にも多様に考えられるなど、多くの課題を抱え ている。

ところで、質問応答・問題生成に関する興味深い 事象として、JointQA モデルによる質問応答、問題生成の質の向上がある。JointQA モデルとは、質問応答・問題生成の双方を同時に訓練した深層学習モ デルのことで、JointQA モデルの学習によって、単 に一つのタスクのみを学習したモデルよりも精度の 高い出力が得られるというものがある。

JointQA モデルによる質問応答の精度の向上は多 くのデータセットで確認されており [8]、問題生成 の訓練が、質問応答をする上で有効な Attention 機構 の作用に寄与することが原因と見られている。これ までそういった JointQA モデルの研究の題材となっ ていたのは英語で書かれたデータセットによるもの が多かった。

しかし、2020 年に鈴木らにより日本語で書かれた 質問応答データセット JAQKET がリリースされ、構造化された日本語の質問応答データセットの供給に より、日本語の問題生成や質問応答の研究が行える ようになった。

これまでに行われた質問応答と問題生成の精度の 相関を見る研究は、英語で書かれたデータセットの ものが多く、日本語での問題生成に着目した研究は 見られていない。

## 3 研究目的

本研究では、JAQKETで与えられた問題文、解答、解答についての Wikipedia 記事、これら三つの要素 を用いて、質問応答と問題生成をさまざまな条件で 行い、JAQKET を質問応答のみならず問題生成につ いても活用することを試みる。

もっとも注目する点として、他のデータセットに 見られていた JointQA モデル 1 による質問応答の一

図 1 入力する問題と文書を連結したもの シアン=問題、黄=弁別のための値、緑=文書

図 2 入力する解答と文書を連結したもの マゼンタ=解答、黄=弁別のための値、緑=文書

致度の向上が、JAQKET においても見られるかを観察する。

## 4 実験

入力として、質問応答タスクの場合は問題と解答 に対する情報を含んだ文書を入力し、深層学習モデ ルによって解答を出力することを目指す。問題生成 タスクの場合は解答とその解答に関する情報を含ん だ文書を入力し、教師データに近い問題を生成する ことを目指す。

## 4.1 入出力データ

データ資源として、2020 年に鈴木らが発表した JAQKET を用いる。JAQKET は各タプルに ID、問題、解答、真の解答と 19 のダミーを含んだ選択肢、正規化 (全角文字を半角にするなど) 前の問題文・解答を含んだデータセットで、別のデータが、各選択肢についての Wikipedia 記事全文を与えている。実際の JAQKET の一部を図 1 に示す。訓練用デー タとして 13,061、開発用データとして 997、評価用 データとして 995 の問題 - 解答対がある。今回の研究では、JAQKET から問題と解答と Wikipedia 記事 を sentencepiece で分かち書きしたものの先頭 500 サ ブワードを抽出し、質問応答の場合は問題文に、問題生成の場合は解答の語句にそれを連結した。この 際、各タスクのどちらを行うかの弁別のために、問題あるいは解答と記事の間に、問題生成の場合は 「0」を、質問応答の場合は「1」を付与し、モデルが どちらの学習を行っているか把握する上での助けと した。(図 1,2 )表 1.JAQKET に含まれるデータの一例

 \\

実験の条件として、解答と文書から問題 (q-gen の み)、問題と文書から解答を導く (a-gen のみ) ものに 加え、JointQA による精度の改善を観測するために、全データを半分に分けてそれぞれ a-gen と q-gen を 一つのモデルで同時に行う a-gen $\vee \mathrm{q}$-gen、全データ を a-gen にも q-genにも用いる a-gen $\wedge$ q-gen、これら 四つの条件で実験を行った。各条件の入力におけ る、訓練データ、開発データの数を表 2 に示す。

表 2. 各条件における入力

このとき、a-gen $\vee$ q-gen は一つの問題 - 解答対は 質問応答と問題生成のどちらかにしか使わない一方、a-gen $\wedge$ q-gen は一つの問題－解答対を質問応答 と問題生成の双方に使うことに注意されたい。

## 4.2 実験条件

先述の入出力を扱うため、ニューラル機械翻訳に 用いられるフレームワークである OpenNMT[3] を用 いて深層学習モデルを構築した。

具体的には、モデルとしてLSTMを用い、SQuAD を用いた過去の研究および OpenNMT が推奨する設定を参考に、学習係数は 1.0、バッチサイズは 32、入出力次元は 500 、ドロップアウトは 0.3 とした。最適化関数として、Adadeltaを用いた。

## 4.3 評価の手法

既存の質問応答・問題生成の研究においては、 データセットごとに推奨される評価の手法があり、 たとえば SQuAD の場合は a-gen の場合 F1 スコアと EM(Exact match)、q-gen の場合 BLEU[5]を用いてい る。今回は a-gen と q-gen の評価について、SQuAD に倣い a-gen は EM とF1 スコア、q-gen は BLEU を 用いた。

## 5 結果

各条件の a-gen、q-gen の結果を表 3 に示す。表 3. 各条件で訓練したモデルの出力の評価

結果から、a-gen(EM) においては、a-gen のみの入力よりも a-gen $\wedge$ q-gen の入力のほうが大きい値を得 ており、JointQA による精度の向上が見られた。一方、a-gen(F1)においては、a-gen のみも a-gen $\wedge$ q-gen も同じ值を得た。出力の一例を付録中の表 5,6 に 示す。

また、q-gen に関して、過去の研究で Sachan ら [8] がデータセットとして SQuAD を用いて報告した值 を表 4 に示す。

表 4.SQuAD を用いた既存研究の q-gen の評価 [8]より引用

IR は編集距離を元にした生成アルゴリズム、MOSES は統計的機械翻訳に用いられるモデル、DirectIn は longest sub-sequence を問題として出力するモデル、 H\&S はあらかじめ設定されたルールベースで問題を多く生成し、ランキングするというモデルで ある。「Tang ら，2017」は GRUを用いたニューラル ネットワークを用いたモデルで、「Du ら，2017」は
LSTM を用いたニューラルネットワークを用いたモ デルである。

出力の例を付録の

## 6 考察

## 6.1 a-gen の評価の SQuAD との比較

a-gen に関して、a-gen のみでの訓練で 37.81 の EM、 0.7500 の F1 スコアを得た。また、a-gen に加え て q-gen の訓練をすることで 52.76 の EM、0.7500 の F1を得た。本研究で参考としているSQuAD の公式 サイトでは、コンペティションの形式で各モデルの EM と F1 スコアを載せるリーダーボードを公開し ている1)。そこでは末席である 63 位のモデル (匿名) でも、EM 53.698 を記録しており、当研究で得ら れた最大の EM である 52.76 を上回っている。一方 で、当研究で記録した F1 スコアの 75.00 に関して は、リーダーボードの 55 位と 56 位の間に位置して いる。なお、 57 位には、当研究でも実装した LSTM を含む、CNN モデルが大っている。

低いスコアを記録した一因として JAQKET が SQuAD に比べて新しく、探索がされていないデー タセットであるという以外にも、JAQKET が本来 20 の選択肢の中から正しい選択肢を選択する課題のた めのデータセットとしてリリースされたため、問題 から自由に解答を出力する形式のタスクとしては困難なことが考えられる。

## 6.2 q-gen の BLEU の低さ

q-gen に関して、本研究の BLEU を考察する。本研究では LSTM を用いているため、その他のハイ パーパラメータの影響はあるにせよ、表 4 に挙げた なかでのモデルでは、LSTM を用いて SQuAD を処理した Du らの実装により近いといえるだろう。Du らの結果 12.28 に比べ、本研究では q-genのみの訓練で 3.9、a-gen $\wedge$ q-gen の条件で 2.8 とそれを大きく 下回る結果となった。

原因として考えられるのは、一つは単にハイパー パラメータやモデルの選択に余地がある可能性であ る。今回の学習では、特に q-gen, a-gen $\vee$ q-gen, a-gen $\wedge$ q-gen の学習において過学習の傾向がある。より 適切に実装を行うことで、精度が改善する可能性が ある。

他にもデータセットの特徴が影響している可

能性がある。例えば SQuAD は英語で書かれた、 Wikipedia の一段落に基づいて作成された問題 - 解答対を含むデータセットである。対して JAQKET は 日本語で書かれた、あらかじめ存在したクイズ問題文に Wikipedia の全文を文書として与え、それが情報として十分であることが保証されていないデータ セットである。

## 6.3 a-gen $\vee$ q-gen における値の低さ

a-gen $\vee$ q-gen の入力条件について、単一のタスク を訓練したモデルや a-gen $\wedge$ q-gen を訓練したモデル よりも、各タスクにおいて低い数值を得ることがわ かった。

この研究において、a-gen $\vee$ q-gen は一つのデータ セットを半分に分け、片方を質問応答、もう片方を 問題生成のみに用いる入力である。つまり、質問応答だけに使われる問題と、問題生成だけに使われる 解答が存在することになる。一方、a-gen $\wedge$ q-gen は データセットに含まれるデータすべてを質問応答に も問題生成にも用いる入力である。つまり、すべて の問題・解答が、質問応答にも問題生成にも用いら れることになる。向上が a-gen $\wedge$ q-gen だけに見られ たのだとすれば、一つの問題－解答対の両方を学習 に用いることが必要になるということである。

JointQA による精度の向上のメカニズムは未だ議論されているが、一説には文書への attention 機構が より効果的に訓練されることが述べられている。本研究での a-gen $\vee$ q-gen で向上が起こらなかったのに は、ある一つの文書を質問応答・問題生成のどちら かにしか使わず、文書への attentionへの訓練を、質問応答と問題生成の両方で訓練しなかったことが一 つの原因として考えられる。

## 6.4 a-gen $\wedge$ q-gen における a-gen のみとの比較

a-gen $\wedge$ q-gen について、a-gen(EM) については 52.76、a-gen(F1)については 75.00 の値を得た。a-gen のみと比較して、F1 スコアは同程度のものを得 たが、EM については、q-gen の訓練を行うことで 37.81 から 52.76への向上を得た。q-genについては、 q-gen のみの訓練が 3.9 に対して、a-gen $\wedge$ q-gen は 2.8 を得たため、q-gen については向上を得られなかっ た。また、表 4 におけるDu らの結果はLSTMを用 いたモデルであるから、本研究で実装したものと近 いものであるが、それは SQuAD においては 12.28 の BLEU を記録しており、それに比べると低い值を得たことがわかった。これは SQuAD における q-gen のみの訓練をしたモデルの結果だが、これが本研究 と同じ LSTM を用いて実装されたものであることを 考えると、その他のハイパーパラメータの影響を無視すれば、この差はデータセットによるものだと考 えられる。

## 7 おわりに

今回の研究では JAQKET を用いて質問応答・問題生成、およびそれらの相互関係について踏み込 む研究を行った。今後の課題として、問題生成を SQuAD などの既存のデータセットを用いた研究と 同程度の精度で出力を得ること、単に正解データと の一致度だけでなく、問題生成の解答可能性や多様性を評価することなどが挙げられる。

## 参考文献

[1]Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension, 2017.

[2]Michael Heilman. Automatic Factual Question Generation from Text. PhD thesis, USA, 2011.

[3]Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4]Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[5]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[6]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[7]Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8]Mrinmaya Sachan and Eric Xing. Self-training for jointly learning to ask and answer questions. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 629-640, 2018.

[9]Linfeng Song, Zhiguo Wang, Wael Hamza, Yue Zhang, and Daniel Gildea. Leveraging context information for natural question generation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 569-574, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[10]Duyu Tang, Nan Duan, Tao Qin, Zhao Yan, and Ming Zhou. Question answering and question generation as dual tasks, 2017.

[11]Yi Yang, Wen-tau Yih, and Christopher Meek. WikiQA: A challenge dataset for open-domain question answering. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2013-2018, Lisbon,
Portugal, September 2015. Association for Computational Linguistics.

[12]鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ トの構築. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

## A 付録

## A. 1 質問応答・問題生成出力の例と正解データとの比較

各入力条件の出力結果と、目標となる正解データを表 5、表 6 に示す。

表 5. 質問応答の出力の例

 &  \\

表 6. 問題生成の出力の例

 &  & (空出力) &  &  &  \\


# 価値判断を伴うファクトイド質問応答

$\dagger$ 奈良先端科学技術大学院大学 先端科学技術研究科
‡国立研究開発法人 情報通信研究機構 (NICT)
seki.naoya.si8@is.naist.jp
\{junta-m, rovellia, julien, ryu.iida, torisawa\}@nict.go.jp

## 1 はじめに

ユーザはしばしば「糖尿病患者は何を食べるとい い?」のように、何かをうまくやる，もしくはまず いことを避けるための質問を発する。このような 質問のうち，名詞句を回答とするものを，本研究 では「価値判断を伴うファクトイド質問」(Opinion Factoid Question Answering, 以下 OFQA）と呼ぶ。従来の質問応答システムでは, 価值判断を伴うファ クトイド質問には対応できない。その結果, 例え ば質問「糖尿病患者は何を食べるといい?」に対 し,「ケーキ」といった不適切な回答が出力されて しまう.

本研究では, 日本語の OFQA データセットを作成 し, これと, 価值判断を考慮していないファクトイ ド QA のデータセットや一見質問応答とは関連の薄 い因果関係認識認識に関するデータセットを組み 合わせて fine-tuning した, BERT ベースの質問応答手法を開発した.この精度はセンチメント分析等,複数の異なるタスク用の分類器/抽出器を組み合わ せたパイプライン方式よりも精度が高かった。これ らのパイプライン方式の開発では, 価値判断の根拠 （例えば，「糖尿病患者がケーキをたべてはまずい」 の「まずい」）を表す入力中の表現を特定するため 追加的なアノテーション等も行ったが, それらの追加アノテーションや各種モジュールを使用しなくて も，BERT がいわゆる end-to-end でょり高い精度を 達成できたことは興味深い。

## 2 データセットの構築

本研究で構築した OFQA データセットは, 質問・回答候補・回答候補が抽出された文（以下，元文） の 3 つ組と, 質問に対し回答候補が適切か否かの二值ラベルで構成される. 本研究では, 関らのファク

トイド $\mathrm{QA}$ (以降, $\mathrm{FQA}$ と呼ぶ. 価値判断は考慮さ れていない) データセット [1] の訓練事例から抽出 した 7,887 事例（抽出条件の詳細は付録を参照）と，大規模情報分析システム WISDOM X[2][3] で新規に 収集したファクトイド質問応答の出力からデータ セットを作成する．WISDOM X は，ユーザから与 えられた質問からバイナリパタンもしくはユナリパ タンと呼ばれるパタンを抽出し，それらパタンを用 いて Web 文書 40 億件から回答候補を検索する．表 1 に検索結果の例を示す.

バイナリパタンとは，係り受けで繋がった 2 つの 変数化された名詞をもつ「A は B 引き起こす」の ようなパタンを指す [4]. ユナリパタンは 1 つの変数化された名詞をもつ「Aを引き起こす」のよう な形式で表されるパタンを指す. WISDOM X では， Web40 億文書に形態素解析など処理を行い，バイナ リ（ユナリ）パタンを抽出し，検索用インデックス を構築する。検索の際は，与えられた質問からパ夕 ンとパタンの変数に当てはまる名詞（例 : A が B を 食べる, $\mathrm{A}=$ 糖尿病患者）を抽出し，検索用インデッ クスに照合して回答候補を検索する。また，柔軟な 照合を行うために，抽出されたパタンと含意関係に あるパタンも利用して回答候補を検索する [4].こ うしたパタンを用いることで単純に名詞等でキー ワード検索するよりも，より少数の，正解の可能性 が高い回答候補を絞り込むことができる.

アノテーション作業では, 表 2 に示したような質問, 回答候補, 元文の 3 つ組を対象に, 質問に対し て回答候補が適切か否かを判定する。ただし，質問

は「といい？」といったような表現で表される価値判断を伴う質問となっているため，その価値判断も 含めて判定を行う．例えば，この表の質問に対して は, 表 1 にある元文から抽出された回答候補「ケー キ」は「糖尿病患者が食べるといいもの」ではない ので，正解とはみなされない.

 \\

また, 上記のアノテーション作業時, 元文中に回答候補の価值判断の根拠（以降，根拠表現と呼ぶ） があれば，その根拠表現を特定する作業も同時に行 なった，表 2 の例では，「血糖値を下げるのに効果的です」が根拠表現となる. 抽出した根拠表現は後述する比較手法で用いる.

質問文については，Web40 億文書から質問文を疑問代名詞の有無など簡単なルールで抽出した後, 質問一般性判定によるフィルタリングを行なった。こ の判定では，例えば「IOT で何が変わるのか？」の ように，質問文が単独で知識，意見を求めている質問として成立していれば質問一般性が成り立つと判断する。一方, 「この英単語の意味わかりますか?」 のように，文脈がないと理解できない質問について は質問一般性が成り立たないと判断する. 本研究で は, NICT が開発した BERT ベースの質問一般性判定モデルを用いて質問一般性を判定する. 判定の結果，約 161 万件のファクトイド質問が獲得できた。

このようにして得られたファクトイド質問につい て, UniLM[5] を用いた質問変換器で WISDOM X で 検索しやすい形式の質問に言い換えた質問を作成す る. 例えば， Webから抽出した質問が「Q1. 糖尿病患者って何を食べるんですかねえ？」だとすると，「糖尿病患者は何を食べる？」のように言い換えた 質問を作成する．ついで，言い換え後の質問に「と いい？」または「とまずい？」のいずれか，価値判断を表す表現をランダムに選んで付加し, 価値判断 を伴う質問を作成する．なお，「といい？」といっ た表現を付加すると不自然な質問となる場合がある ため，最終的に人手で質問が意味的に自然か否かを 判定した。約 161 万件のファクトイド質問からサン プリングした 10,000 件の質問に対して上記判定を 行い，7,643 件の質問を得た。

ついで，WISDOM X は価值判断を伴う質問に対応していないため,「といい？」あるいは「とまず い?」を付加する前段階の質問について，WISDOM $\mathrm{X}$ で回答候補と元文を検索する．質問あたりの回答候補の検索上限数は 10 件とし, 回答が重複しない ようにした。この結果, 7,643 質問に対し 29,659 件 の回答候補と元文の組が収集できた。

これらの回答候補には，価值判断を考慮しなくて も正解とは言えない回答候補も含まれる. そうした 回答候補を大量にアノテーションするのは効率が悪 いため, 関らの FQA 分類器 [1] を用い, 価値判断を 考慮しない場合に正解とみなされる事例のみをアノ テーションすることにした。さらに，元文に根拠表現が含まれる可能性の高い事例を抽出するため，元文の末尾の表現に着目してフィルタリングを行っ た (詳細は付録参照). 最終的に, 5,273 件の質問,回答候補，元文の組が得られた。一方，評価時にこ のフィルタリングの影響を軽減するため, 本研究で は，1,774 件の質問・回答・元文の組をフィルタリン グ抜きで作成し, テストデータに加えた.

これらのデータに加えて, 関らの FQA データセッ 卜 [1] の訓練事例の正例から抽出した 7,887 事例を 加えて, 価値判断も考慮した正例/負例のアノテー ション, さらには前述した価值判断の根拠の特定の アノテーションを行った. 回答候補の適切さ及び根拠表現の特定のアノテーションは一つのインスタン スに対して，3名のアノテータが行い，正例／負例 のラベルは多数決で決定した．異なるアノテータに よるラベルの一致度を示すカッパ値はテストデータ に追加したフィルタリングしていないデータに関し てが 0.53 , それ以外が 0.57 であり，良好なアノテー ションであると考える。ついで，質問が重複しない ようにこれらのデータを以下の表 3 にあるように訓練, 開発，テストの 3 種に分割した。

## 3 手法

本研究では, 提案手法, 自明なべースライン手法 の他に比較手法として複数のモジュールを組み合 わせたパイプライン方式も二つテストした。以下 では，まず，それらのパイプライン方式を説明す る. なお，提案手法も含めて，以下で述べるべース

ライン, 比較手法で使われている各モジュールは, すべて全て 22 億文からなる因果関係文を含む Web コーパス（サイズは約 353GB）[6] で事前学習した

## 3.1 比較手法

図 1 根拠表現を用いるパイプライン方式

パイプライン方式の一つ目は，ファクトイド $\mathrm{QA}$ モデル [1], 根拠表現抽出器, センチメント分析を 組み合わせたパイプライン方式である（図 1).こ の手法では，ファクトイド $\mathrm{QA}$ モデルで正解とされ た回答に関して, 根拠表現抽出器を用いて価値判断 の根拠を特定し，その根拠のセンチメントが質問の 価值判断と一致している場合（つまり，「といい?」 の質問に対しては positive なセンチメント，「とまず い?」の質問に対しては negative なセンチメント) のみ，回答を正解とする.

ファクトイド $\mathrm{QA}$ モデルは BERT を関らの FQA のデータセットと OFQA データセットの二つでマル チタスクで fine-tuning したものを用いる. 根拠表現抽出器には BERT のトークン分類モデル（つまり，各トークンの出力に二値の softmax を接続し，その トークンが根拠表現にふくまれるかどうか判定する モデル）を用い，前述したように，データセットに 付与された価值判断の根拠表現で fine-tuning した. センチメント分析器も同様に BERT を用いた二值分類器である. (詳細は付録).

もう一つのパイプライン手法は, ファクトイド $\mathrm{QA}$, WISDOMXのどうなる型 QA[7][8][6] とセンチ メント分析器のパイプライン方式である (図 2). WISDOM X のどうなる型 QA は「A とどうなる？」 というタイプの質問に A の因果的帰結で回答する サービスである．例えば，質問「糖尿病患者は何を 食べるといい?」と回答候補「ケーキ」から「糖尿病患者はケーキを食べるとどうなる？」というどう なる型質問を作成し検索すると, 「救急車で運ばれ

図 2 どうなる型 $\mathrm{QA}$ を用いるパイプライン方式

る」といった因果的な帰結句が得られるが，これら の帰結句は回答候補に対する価値判断の根拠とも考 えられる.この手法では，こうした見方に基づき，帰結句にセンチメント分析を適用した結果と質問の 価值判断が一致した回答で, ファクトイド $\mathrm{QA}$ が正例とみなした回答だけを正解とする. ファクトイド $\mathrm{QA}$ とセンチメント分析器は前述したものを再利用 した.

## 3.2 提案手法

本節では, 提案手法として, BERT の一段階目の ファインチューニングを OFQA と異なるタスク，二段階目を OFQA で学習する二段階 fine-tuning を提案する。より具体的には, 関らの FQA データセッ ト [1] と, Hashimoto らの因果関係認識データセッ ト [7] を合わせたデータで一段階目の fine-tuning を 行い, FQA と因果関係認識に対する性能の平均が最 も性能の高いモデルを二段階目の fine-tuning に用い た。価値判断を伴わない FQA と OFQA では回答が 正解となる基準は異なるが，どちらもファクトイド 質問を対象とした質問応答であり, 必要とする知識 も共通する部分があると考えられる。また，前述し たように，元文中の回答候補にまつわる表現の因果的帰結 (「糖尿病患者がケーキを食べる」に対して 「救急車で運ばれる」）は価值判断と密接に関係があ ると考えることもできる。提案手法では，これら の仮説に基づき FQA と因果関係認識のデータセッ トで一段階目の fine-tuningを行い，それらのデータ セットが含む知識を OFQA で使うことを狙う。

## 4 実験

提案手法及びベースライン, パイプライン方式 の比較手法で用いる FQA モデルの fine-tuning 時に は表 6 （付録を参照）のパラメータを探索した。前
述したパイプライン方式の比較手法の他に, ベー スライン手法として前述した BERT $\mathrm{BARGE}$ を (1) 関 らの FQA データセット, (2) OFQA データセット, (3)FQA データセットと OFQA をマージしたデータ （FQA+OFQA）の 3 通りのデータセットで fine-tuning をしたモデル, また, (4) 提案手法で用いた因果関係，FQA，OFQA を段階を踏んで fine-tuning をする のではなく, 一気にマルチタスクで学習したモデル の 4 種類を評価した。

表 4 に OFQA のテストデータに対する実験結果を 示す. なお, 実験時間が足りなかったため, パイプ ライン（どうなる型 $\mathrm{QA}$ ）は OFQA のテストデータ の一部（1,774 件）に対する実験結果である. 提案手法 (テストデータ一部) はそれとの比較のため, 提案手法を同じテストデータで評価したものとなる. また, 提案手法 (-因果関係) は, 提案手法の 1 段回目の fine-tuning 時に因果関係のデータセットを使わ なかったモデルである.

表 4 OFQAのテストデータで評価した結果

提案手法の精度はベースラインも含め比較手法の いずれをも上回った. 特に, 提案手法が (4) マルチ タスク及び提案手法 (-因果関係) の性能を上回った ことはそれぞれ 2 段階 fine-tuning, 因果関係データ セットの有効性を示している。特に, 因果関係とい う一見 OFQA，ファクトイド $\mathrm{QA}$ とかけ離れたデー タセットがポジティブな影響を持っていることは興味深い. また, パイプライン手法は二つとも提案手法よりも高い精度を達成することはできなかった。 これはこれらのパイプライン手法が根拠表現やセン チメント，さらには因果関係に関係する別のデータ で学習した各種モジュールを使っていることを考 えると興味深い。つまり, この結果は, OFQA デー タセットだけから BERT が学習した価値判断の方 が, 少なくとも我々の設定では, それらの追加の学習データで別途学習した内容よりも高品質であるこ とを意味しており, BERT の end-to-end 学習の強力 さを示すものであると考えられる.
また, FQAのみで学習したべースライン (1) は 精度が極めて低く, OFQA+FQA の組み合わせ (3) がベースラインの中では一番精度が高い。なお， OFQA で高い精度を達成するためには, そのベース となっている価値判断の判定と, そもそも価值判断 を考慮せずに FQA の正解を正しく認識することの 両者が必要であると考えることができる.ここで, OFQA のデータセットはあくまで価値判断の判定を 適切に学習することに貢献しているのであって, 価值判断を考慮しない FQA の精度向上によって間接的に OFQA タスクの精度向上を果たしているわけ ではないことを確認するため, 追加で以下の実験 を行った。この実験では，（価值判断を考慮しない） FQA のテストデータでベースラインの精度を評価 した。（表 5).

表 5 FQAのテストデータで評価した結果

これによると, OFQA だけで学習したべースライ

(2) も, FQA と OFQA の両者で学習したベースラ イン (3)も，FQA だけで学習したベースライン (1) の性能を下回った。これは, OFQA のデータセット は価値判断を考慮しない FQA の性能向上には貢献 しないことを示している.このことから，FQAを学習データに追加することで学習されているのは確か に価值判断であることが分かる.

## 5 おわりに

本研究では「価値判断を伴うファクトイド質問」 を新たなタスクとして提案し，データセットを作成 の上，そのタスクのための質問応答モデルを開発し た. 因果関係認識や FQA といった別タスクの学習 データを利用することで性能が向上することを示し た.モデルは BERTをいわば end-to-end で学習した ものであり, 別途アノテーションした価値判断の根拠やセンチメント分析を利用したパイプライン方式 よりも精度が高かった。これはいわば，このタスク においてはパイプライン方式を考えた人間の開発者 を BERT が上回ってしまったと考えることもできる かもしれない.

## 参考文献

[1] 関直哉, 水野淳太, 門脇一真, 飯田龍, 鳥澤健太郎. ファクトイド質問応答における BERT の pre-trained モデルの影響の分析. 言語処理学会第 26 回年次大会, 2020

[2] Masahiro Tanaka, Stijn De Saeger, Kiyonori Ohtake, Chikara Hashimoto, Makoto Hijiya, Hideaki Fujii, and Kentaro Torisawa. WISDOM2013: A large-scale web information analysis system. In The Companion Volume of the Proceedings of IJCNLP 2013: System Demonstrations, pp. 45-48, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[3] Junta Mizuno, Masahiro Tanaka, Kiyonori Ohtake, JongHoon Oh, Julien Kloetzer, Chikara Hashimoto, and Kentaro Torisawa. WISDOM X, DISAANA and D-SUMM: Large-scale NLP systems for analyzing textual big data. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 263-267, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[4] Julien Kloetzer, Stijn De Saeger, Kentaro Torisawa, Chikara Hashimoto, Jong-Hoon Oh, Motoki Sano, and Kiyonori Ohtake. Two-stage method for large-scale acquisition of contradiction pattern pairs using entailment. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 693-703, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[5] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and HsiaoWuen Hon. Unified language model pre-training for natural language understanding and generation. In 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), December 2019

[6] Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, JongHoon Oh, and Julien Kloetzer. Event causality recognition exploiting multiple annotators' judgments and background knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5816-5822, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 987-997, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[8] Canasai Kruengkrai, Kentaro Torisawa, Chikara Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks, 2017.
[9] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: $100,000+$ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[10] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics.

## 付録

## A データ収集

Web から抽出した質問には不要な記号（「れ」,「个」,「*」,「Q1.」等）や質問の内容に大きく影響しない単語列（「ところ で」,「そもそも」,「技術における企業の最責任者, C T Oの仕事 とは？」の下線部等)が含まれ，そのまま WISDOM X に入力す ると十分な数の回答候補が得られない可能性がある. そこで， Web から抽出した質問を対象に，不要な部分を取り除いて簡単な 形式に言い換えた質問を生成する。言い換えた質問の生成には NICT が開発した UniLM[5] ベースの質問変換器を用いた.

末尾表現は，WISDOM X のファクトイド質問応答で用いられ るバイナリ (ユナリ) パタン [4] が合致した箇所以降の単語列を 指す. 表 1 の例では「が，まずいと思います.」が末尾表現とな る. 回答候補に対する価值判断の根拠は, この末尾表現に出現し やすいと考えられるため，2 節のデータ収集では，価值判断の根拠が含まれる可能性の低い未尾表現が 4 文字未満の事例は取り除 いた.

本研究では, 関らの FQA データセットの訓練事例 174,765 事例から，（1）回答候補がユナリパタン [4] で抽出されている, （2）回答候補が正解である，（3）元文の末尾表現が 4 文字以上存在する，（4）質問一般性が成り立つ，の条件を全て満たす事例 を抽出する。（4）について，FQA データセットの質問の一部は WISDOM X によりルールベースで生成されており，文法的，意味的に不自然な質問が含まれる場合があるため, 質問一般性判定 によりフィルタリングを行う．（1）から（4）の条件で抽出した 結果, 7,887 件の質問, 回答候補, 元文の組が得られた.次に，質問に「といい？」もしくは「とまずい？」を付加して 価値判断を伴う質問を作成する.「といい?」「とまずい?」のど ちらを付加するかは, 組となる元文の末尾表現のセンチメントで 決定し，センチメントがポジティブであれば「といい?」を，ネ ガティブあれば「とまずい?」を質問に付加する．センチメント の特定には BERT ベースのセンチメント二值分類器を用いた（C を参照). 最後に，価値判断を伴う質問，回答候補，元文を組と しアノテーション作業を行なった。

## B fine-tuning のパラメータ探索

本研究では, 表 6 のパラメータの組み合わせに対し個別に fine-tuning し, 開発データで $\mathrm{F} 1$ スコアが最も高いモデルを選択 した.

表 6 fine-tuning のパラメータ探索

## C センチメント分析

本研究では, センチメント分析を事象を表す文が与えられた 際，その事象がポジティブなのかネガティブなのかを分類する 二值分類のタスクとする．センチメント分析モデルは， NICT が

データセットは NICT がクロールした Web40 億文書から抽出さ れた事象と事象に対する感情表現のペアから作成されたセンチ メント分析データセットを用いる（表 7)。上記データセットで 学習したモデルをテストデータで評価すると非常に高い精度で センチメントを分類できていることが分かる（表 8）。

表 7 センチメント分析データセットの統計値

表 8 センチメント分析モデルの性能

## D 根拠表現抽出

本研究では，(1) 最長一致 (longest) と完全一致 (exact), (2) minor,（3）ofqa-neg の条件を組み合わせて根拠箇所を選択し，根拠表現抽出データセットを作成した。

最長一致は，アノテータが抽出した根拠箇所が一部重なる 場合，重複しない部分も含めた最長の単語列を根拠表現とす る。例えば，根拠表現として「ビタミン C が豊富に含まれ，美容にも良い」,「美容にも良いし, 風邪予防にもなる.」という 単語列が抽出された場合, 「ビタミン $\mathrm{C}$ が豊富に含まれ，美容 にも良いし，風邪予防にもなる.」を根拠表現とする。完全一致は, アノテータが抽出した根拠箇所のうち, 重複する単語列 （「美容にも良い」）を選択する．minor は，（1）で根拠箇所が決ま らなかった場合に，（1）で最終的に洗濯されなかった根拠表現， アノテータ 3 人のうち 1 人のみが抽出している根拠表現からラン ダムに 1 つを選択する. ofqa-neg は，回答候補が適切な事例に対 し抽出された根拠表現に加え，回答候補が不適切な事例に対し抽出された根拠表現も利用する。

本研究では, 予備実験において最も性能が高かった exact+minor+ofqa-neg の組み合わせを用いる. 表 9 に根拠表現抽出データセットの統計値を示す.

根拠表現抽出に用いるトークン分類モデルの入力は質問・回答候補・元文の 3 つ組とし，「〈質問の単語列〉 $[\mathrm{SEP}]$ 〈回答候補の 単語列 〉[SEP] 〈元文の単語列〉」の形式で入力する. 評価指標は SQuAD[9][10] の評価に用いられる Exact Match(EM)，F1 スコアを 用いる. パイプライン手法で用いた根拠表現抽出器を根拠表現抽出データのテストデータで評価すると, EMで 76.6, F1 スコア で 80.8 の性能が得られた.

 \\

開発 & 1,648 & $491(29.8 \%)$ \\
テスト & 5,064 & $1,366(27.0 \%)$


# ゼロ代名詞デー夕拡張による日英機械翻訳の改善

李凌寒中澤敏明鶴岡 慶雅
東京大学大学院情報理工学系研究科
\{li0123, nakazawa, tsuruoka\}@logos.t.u-tokyo.ac.jp

## 1 はじめに

ニューラル機械翻訳は単文単位の翻訳において 高い性能を発揮する一方で、談話単位での文脈が関 わる言語現象を扱う点において未だ課題が残って いる。その課題の一つが日英翻訳におけるゼロ代名詞の翻訳である。日本語では文脈から聞き手が推定可能な主語や目的語を省略することができるが、こ れを英語に翻訳する際は省略された項を推定した上 で適切に翻訳しなければならない。例えば、以下の 例文では日本語で省略された主語が一人称である ことを推定して、英語では $I$ を出力しなければなら ない。

うなぎが食べたいな。

I feel like eating eel.

ゼロ代名詞の推定には、本質的には談話内におけ るトピック、旧情報、世界知識などを参照して可能 になるが、一方でゼロ代名詞を含む文内の言語学的 な情報が手がかりとなる場合もある [1]。例えば、上記の文では “たいな”という願望を表す機能語列 が、主語が一人称であることを示唆している。

この局所的文脈情報とゼロ代名詞の対応を学習す ることは、既存の単文単位でのニューラル機械翻訳 でも解決できるはずの問題であるが、低リソースの 状況下ではその対応を十分に学習できない可能性が ある。特に、ゼロ代名詞を多く含む傾向にある会話 ドメインの翻訳は、現状パラレルコーパスが豊富だ と言い難い状況にある。

従って、本研究では局所的文脈情報とゼロ代名詞、特に人称代名詞の翻訳の対応の学習を促進する 手法として、ゼロ代名詞データ拡張を提案する（図 1)。本手法では、訓練データを対象に翻訳元言語に 現れる人称代名詞を削除し、人工的にゼロ代名詞を 含むような翻訳対を作り出す。これにより局所的文脈情報とゼロ代名詞の対応を学習できるような訓練 データを増やすねらいがある。

図 1 ゼロ代名詞データ拡張。

本論文では、まず局所的文脈情報からある程度ゼ 口代名詞を予測できることを示した上で、実際にゼ 口代名詞データ拡張によって機械翻訳モデルのゼロ 代名詞予測の精度が上がることを示す。

## 2 関連研究

## 2.1 文脈つきニューラル機械翻訳

単文単位の翻訳品質が向上するのに従って、その 範囲で扱えないような文脈を考慮した翻訳をするモ デルの研究が近年盛んに行われている。最もシンプ ルなアプローチとして、モデルの構造は変えず、入力や出力を複数文に拡張した 2to1, 2to2 モデルが提案されており、文脈情報を捉えた翻訳の品質を向上 させることが示されている [2]。

## 2.2 ゼロ代名詞

日本語を始めとする一部の言語では述語の項が 省略されることがあり、省略された項をゼロ代名詞 (zero pronoun) と呼ぶ。この省略された項を同定する タスクはゼロ照応解析と呼ばれ以前から研究されて いるが [3]、本研究では特に翻訳におけるゼロ代名詞の問題について考える。

翻訳の際に問題となるのが、ゼロ代名詞が翻訳先 の言語では統語的に必須な要素である場合である。

この場合、翻訳の際に省略されたゼロ代名詞を補つ て翻訳する必要があり、これには翻訳元の文章に加 えて、その前の文章などの広い文脈情報が必要と なる。

一方で、文内に存在する局所的文脈情報が、決定的でないにしろ、手がかりになる場合もある $[1,4]$ 。例えば、日本語では敬語表現（「申し上げる」）や依頼表現（「〜してくれますか？」）などがゼロ代名詞 の推測に有用である。

本研究は、広い文脈情報を明示的にモデル化した り、ゼロ照応解析を明示的に行うことをせず、局所的文脈情報から推測できるゼロ代名詞の翻訳を向上 させることを主なねらいとする。同様の問題意識に 基づく研究として、Wang らによる対訳データのゼ 口代名詞を補ったデータを作成して訓練に使うも のがある [5, 6]。しかし、Wang らの手法では、対訳 データからゼロ代名詞を補うときに英文と中国語文 の単語アラインメントが対角線上に並ぶことが多い というヒューリスティクスを用いているが、この手法は語順が大きく異なる日英翻訳に適用すること が難しい。そこで本研究では、ゼロ代名詞を補った データを活用するのではなく、元々代名詞を含む文 からその代名詞を削除したデータを活用する、ゼロ 代名詞データ拡張を提案する。

## 2.3 デー夕拡張

データ拡張 (data augmentation) は画像分野で盛ん に行われており [7]、訓練データに対してタスクに おける意味を損なわない範囲での処理を施すことで データ量を増やす手法のことである。自然言語処理 の分野においては、入力文中の単語を同義語に置換 したり [8]、折り返し翻訳により同じ意味を持つ文 を生成することで [9]、データ拡張する手法が提案 されている。

本研究では、日英翻訳において、翻訳元の日本語 の代名詞を削除することで、翻訳元の文の意味を保存したままゼロ代名詞を含む文を獲得する。

## 3 ゼロ代名詞と局所的文脈情報の 分析

本研究は和文内の局所的文脈情報が、英文へと翻訳する際のゼロ代名詞の推定に有用であるという仮定に基づいている。そこで本節では、実際に局所的文脈情報からどの程度ゼロ代名詞を推定できるの か、またどのような局所的文脈情報が有用であるの

図 2 分析データ中の英語代名詞について、翻訳が和文に 現れるものと (Non-ZP) 現れないもの (ZP) の数。

かを分析する。

分析データとして日英ビジネスシーン対話コーパ ス [10] から公開されている対訳データに加えて、研究グループ内で使用できるものを合わせて 104,961 文対を用いた。

## 3.1 ゼロ代名詞を含む対訳を同定する

和文におけるゼロ代名詞の同定には日本語の構文解析器を用いる方法が考えられるが、今回は翻訳に 関わるゼロ代名詞を分析するため対訳コーパスから のアラインメントを活用した方法を採用する。具体的な手順は以下の通りである。

1. 分析用の対訳データから GIZA++1）を用いて 単語アラインメントを学習する。単語分割に は、和文に $\mathrm{Mecab}^{2)}$ 、英文に $\mathrm{spaCy}^{3}$ )を用いた。

2. 英文中の代名詞が和文の NULL に対応づけら れているとき、その英文での代名詞が和文では ゼロ代名詞として実現されているとみなす。

この結果、得られた代名詞の数を図 2 に示す。会話ドメインにおいては、一人称代名詞 $I$ や二人称代名詞 you が頻出かつ、日本語では省略されやすいこ とがわかる。また、基本的に英文では高頻度の代名詞ほど、日本語ではゼロ代名詞になることが示され ている。

## 3.2 ゼロ代名詞と共起している局所的文脈情報を抽出する

検出された和文のゼロ代名詞を特徴付けるため に、その述語部に現れる単語を抽出する。今回は日本語の構文解析器を用いておらず、ゼロ代名詞は英

文の代名詞とアラインメントで結び付けられている ため、英文の係り受け構造をアラインメントを通じ て和文に投影することで述語部を抽出する。前項ま での処理に引き続き、以下の手順で行った。

3. ゼロ代名詞に対応している英代名詞の係り受 け先の単語を抽出する。

4. その単語にアラインメントで対応づけられて いる和文中の単語と後続の機能語列4)を局所的文脈情報として抽出する。

## 3.3 局所的文脈情報からゼロ代名詞を予測 する

この局所的文脈情報から、ゼロ代名詞がどの程度推定可能かを調べるために、ロジスティック回帰を 用いた分析を行った。局所的文脈情報として抽出し た単語列からのユニグラム、バイグラム、トライグ ラムを入力素性とし、英文における代名詞を予測す る。 5 分割交差検証による各代名詞の再現率を表 1 に示す。ベースラインとして、訓練データに含まれ る代名詞の分布に従ってランダムに予測した場合の 値を採用している。

頻度の高い I, you, we は、局所的文脈情報を用いた 場合ベースラインに比べて有意に高い精度で予測で きることが分かる。しかし一方で、頻度の低いその 他の代名詞はベースラインと比べても同等か低い数值を記録している。これら頻度の低い代名詞は、局所的文脈情報からだけでは予測することが困難であ ることが示唆される。

具体的にどのような局所的文脈情報が予測に有用なのかを調べるために、ロジスティック回帰の 各出力ラベルに対して、入力素性に対応する重み の値が高いものを抽出し、解釈可能なもの調べた。 その結果、一人称単数 $I$ の予測には、認識に関わる 動詞（思う、わかる、感じる）、謙譲語（申し上げ る、存じる)、間投助詞（なあ、よ）、願望を表す助動詞 (たい)、二人称単数 you については、質問を表 すフレーズ（かな？、ました？）、推測（でしょ、だ ろ?）、尊敬語（仰る、いただける）、一人称複数 we には義務（なきゃ、べき）、願望（たい）が有用であ ると分かった。その他の代名詞については、代名詞予測に有用であると解釈可能なものは認められな かった。

4）ここでは機能語を Mecab で定義されている品詞の ["助詞", "助動詞", "記号"] とした。

## 4 実験

前章の分析により、局所的文脈情報がゼロ代名詞 の予測に有用であることが確認できた。ここでは、翻訳元である和文中の省略可能な代名詞を助詞とと もに削除することでゼロ代名詞を含むデータを人工的に作り出す、ゼロ代名詞データ拡張が有用である かどうかを検証する。こうして作られたデータはゼ 口代名詞と局所的文脈情報の結びつきを学習するた めに有用な訓練信号を与えると考えられる。

人工データの使用法として、訓練データにそのま ま加える、もしくはゼロ代名詞補完をマルチタスク で学習させる手法 [6] が考えられる。本論文では、訓練データに加える方法を検討する。

## 4.1 実験設定

## ゼロ代名詞データ拡張

本研究におけるゼロ代名詞データ拡張では、翻訳元である日本語の文中の省略可能な代名詞を助詞 とともに削除することで、ゼロ代名詞を含むデータ を人工的に作り出す。代名詞の検出には、人手でパ ターンを作成し該当する文字列を検索することで 行った。パターンの具体的な作成方法は付録を参照 されたい。

## コーパス

今回の実験は日英会話コーパス [11]を公開されて いるものに加え、プロジェクト内で使用可能分を加 えたものを用いた。データの統計を表 2 に示す。

## モデル

翻訳モデルは Transformer [12]を用いた。モデル サイズは Vaswani らの base モデルを 4 層に減らした もの、最適化器には Adam を用いた。今回は、通常 の単文単位の翻訳の他に、入力に前文を付加した 2to1 の設定 [13] についても実験を行った。

## 評価方法

日英会話コーパスにおける BLEU [14] と日英翻訳ゼロ代名詞評価データセットを用いて評価した [15]。ゼロ代名詞評価データセットは、入力文、正 しい代名詞を含む出力文、誤った代名詞を含む出力文のデータからなる。モデルの評価には、モデルに 入力文と出力文を入力し、正しい出力文に対する

表 1 代名詞毎のゼロ代名詞予測の再現率。

表 2 日英会話コーパスの文数

パープレキシティが低い、つまり正しい出力文の方 を予測する確率が高い場合に正答したとみなして精度を算出した。

## モデル選択

ニューラルネットワークに基づくモデルはハイ パーパラメータやランダムシードの選択に大きく結果が左右されることが知られている。今回は、各設定において一定の計算資源を投入した際の一番良い モデルを用いて性能を比較した [16]。具体的には、 ハイパーパラメータとして学習率、ドロップアウト

10 回の試行の内、開発データにおける BLEU スコア が一番高いものについて、テストデータの BLEU と ゼロ代名詞評価の精度を算出した。より詳細な設定 については付録を参照されたい。

## 4.2 実験結果

実験結果を図 3 に示す。

表 3 ベースラインとゼロ代名詞データ拡張を行ったモデ ルの評価。表中の值はそれぞれ BLEU / ゼロ代名詞評価の 精度。

1to1 と 2to1 どちらの設定においても、ゼロ代名詞 データ拡張によって、BLEU スコアの改善は観察さ れないが、ゼロ代名詞評価の精度は有意に向上して いる。1to1 と前文を考慮したモデルである 2to1を 比較すると、baseline の設定においては、前文を加え ることでゼロ代名詞翻訳の性能は $80.5 \%$ から $84.4 \%$ に向上している。一方で、baseline+pro_aug の設定 では $91.1 \%$ から $85.2 \%$ と、前文の文脈を考慮しない

方が性能が高い。これは、入力として前文を加える 2to1 の設定では、入力文が長くなるために、その文 ゼロ代名詞と局所的文脈情報の関連をモデルが学習 しづらくなっているのではないかと推測する。

## 5 おわりに

日英の会話翻訳におけるゼロ代名詞翻訳の問題に ついて、和文中のゼロ代名詞を同じ文内に存在する 局所的文脈情報からある程度予測できることを示 し、この局所的文脈情報とゼロ代名詞の結びつきを 翻訳モデルに学習させるための手法としてゼロ代名詞データ拡張を提案した。ニューラル機械翻訳モデ ルを訓練した実験の結果、ゼロ代名詞データ拡張は ゼロ代名詞翻訳の精度を有意に向上させることが示 された。

一方で、ゼロ代名詞データ拡張はゼロ代名詞を含 む文の外に、ゼロ代名詞翻訳に必要な情報が存在す る場合を本質的に解決するものではない。また、分析の結果、局所的文脈情報は一人称、二人称ゼロ代名詞の推測には有用であるが、三人称代名詞の推測 には有用ではないことが示唆されており、本手法に よる改善は限られていると考えられる。これらの課題は、会話中のトピックや登場人物などを捉えるこ とのできるモデルが必要であると考える。

## 謝辞

本研究成果は独立行政法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化のための ディープラーニング技術の研究開発」により得られ たものです。

## 参考文献

[1] 工藤拓, 市川宙, 賀沢秀人. Language independent null subject prediction for statistical machine translation.言語処理学会 第 21 回年次大会 発表論文集, 2015.

[2] Elena Voita, Rico Sennrich, and Ivan Titov. When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy, July 2019.

[3] Kenji Imamura, Kuniko Saito, and Tomoko Izumi. Dis-
criminative approach to predicate-argument structure analysis with zero-anaphora resolution. In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, Suntec, Singapore, August 2009.

[4] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Japanese zero reference resolution considering exophora and author/reader mentions. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, Seattle, Washington, USA, October 2013.

[5] Longyue Wang, Zhaopeng Tu, Xiaojun Zhang, Hang Li, Andy Way, and Qun Liu. A novel approach to dropped pronoun translation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego, California, June 2016.

[6] Longyue Wang, Zhaopeng Tu, Xing Wang, and Shuming Shi. One model to learn both: Zero pronoun prediction and translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, November 2019.

[7] Patrice Simard, Yann LeCun, John S. Denker, and Bernard Victorri. Transformation invariance in pattern recognition-tangent distance and tangent propagation. In Neural Networks: Tricks of the Trade, This Book is an Outgrowth of a 1996 NIPS Workshop, Berlin, Heidelberg, 1998. Springer-Verlag.

[8] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), New Orleans, Louisiana, June 2018.

[9] Adams Wei Yu, David Dohan, Minh-Thang Luong, Rui Zhao, Kai Chen, Mohammad Norouzi, and Quoc V. Le. Qanet: Combining local convolution with global self-attention for reading comprehension. CoRR, Vol. abs/1804.09541, , 2018.

[10] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, Hong Kong, China, November 2019.

[11] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Document-aligned japanese-english conversation parallel corpus. In Proceedings of the Fifth Conference on Machine Translation, Online, November 2020.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, Copenhagen, Denmark, September 2017.
[14] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, Philadelphia, Pennsylvania, USA, July 2002.

[15] Sho Shimazu, Sho Takase, Toshiaki Nakazawa, and Naoaki Okazaki. Evaluation dataset for zero pronoun in Japanese to English translation. In Proceedings of the 12th Language Resources and Evaluation Conference, Marseille, France, May 2020. European Language Resources Association

[16] Jesse Dodge, Suchin Gururangan, Dallas Card, Roy Schwartz, and Noah A. Smith. Show your work: Improved reporting of experimental results. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, November 2019.

## 付録

## ゼロ代名詞削除に用いた代名詞+助詞リスト

ゼロ代名詞削除は、代名詞リスト（表 4）と助詞のリスト（表 5）からの全組み合わせを列挙し、そのパ ターンに該当する文字列を文中から削除することで行った。

以下の代名詞は、コーパスの文を Mecab を用いて品詞解析したときに代名詞にあたる単語から、人手で人称代名詞を抽出したものである。

表 4 ゼロ代名詞削除に用いた代名詞のリスト

助詞については、人称代名詞に続く助詞の中から頻出かつ削除しても文意が伝わると思われるものを人手 で選定した。

表 5 ゼロ代名詞削除に用いた助詞のリスト

## 機械翻訳実験のハイパーパラメータ

機械翻訳実験におけるハイパーパラメータの值は表 6 に示す範囲で Optuna を用いて探索した。

表 6 ハイパーパラメータ探索の範囲