# 問い返し質問文生成によって曖昧性解消を行う 質問応答システム

中野佑哉 1,3 河野誠也 ${ }^{1,2}$ 吉野幸一郎 $2,3,1$ 須藤克仁 ${ }^{1,3}$ 中村哲 1,3
1 奈良先端科学技術大学院大学
2理化学研究所ロボティクスプロジェクト
3 理化学研究所革新知能統合センター AIP
}

\{nakano.yuya.nw9, kawano.seiya.kj0, koichiro, sudoh, s-nakamura\}@is.naist.jp
## 1 はじめに

質問応答は自然言語の質問を入力としてその回答 を出力するタスクである。特に近年の質問応答ベン チマーク [1][2] で定義されているような, 回答候補 が含まれる文書群を与えた上でそこから回答を導き 出すような質問応答は機械読解とも呼ばれ [3], 機械による自然言語の理解がどの程度進んでいるかを 測る重要な指標となっている.

こうした既存の質問応答タスクでは，ユーザが発 する質問が応答に十分な情報を含んでいることを仮定している。しかし実際の質問応答タスクを考えた 場合，システムに与えられるユーザ発話はしばしば 曖昧で，正しい回答を導き出すために追加の情報を 必要とする. こうした曖昧なユーザ発話にどう対応 するかについては，発話外の情報を用いる [4]，ユー ザに問い返しを行う [5] など，様々なアプローチが 検討されている。特にシステムからの問い返しを行 う枠組みは対話的情報検索 [6] と呼ばれ，ユーザと の言語的なやり取りを通じて必要な情報を取得する ためにどのような問い返しが必要かということにつ いて検討が行われている [7].

しかし，こうした問題に対して大規模ベンチマー クを構築することは難しい。一番の問題点は，実際 の曖昧な質問とその真の意図を大規模に収集するこ とが困難な点にある．また，どのような曖昧さが質問応答システムの回答を困難にするかも明らかでは ない. そこで本研究では，質問文の文構造に基づい た変換によって，意図が曖昧となる質問を疑似生成 する手法を提案する. 文構造を用いて質問文中に含 まれる情報を選択的に除くことにより，曖昧さを制御した疑似質問文を生成することができる。本論文 では特に句に着目した情報選択手法を提案した。

図 1 曖昧な質問文生成の流れ

また，このような疑似生成された曖昧な質問文を 与えた場合に，必要な情報を復元する機能が必要と なる. そこで，自動生成された問い返し質問文に よって必要な情報を回復する枠組みを構築した。こ の問い返し質問文生成には，格フレームを用いた。

評価では，まず変換に基づく質問文に対する曖昧性付与によって，実際にどの程度既存の質問応答モ デルからの回答が難しくなるかについて評価した. その上で, システムからの問い返しに対してユーザ が正しく回答した場合，元の質問文への曖昧性付与 によって低下した質問応答の精度がどの程度復元さ れるかについて評価を行った。

## 2 文構造を用いた曖昧な質問文生成

まず，本論文では質問応答のベンチマークとして 広く利用されている HotpotQA データセット [2] を 用いる.この既存の質問応答タスク向けデータセッ トでは，データセット中の質問文が与えられた場合，データセット内の回答候補文書内から回答が一意に定められるような質問文が定義されている.こ のデータに対して，これまで著者らが検討してきた 通り，文構造，特に句に着目した変換によって曖昧 な質問文を疑似生成する [8]. 本節では，この変換手法の概要と生成質問文の品質評価について述べる.

表 1 質問応答モデルの回答精度比較

表 2 主観評価の結果

## 2.1 質問文変換手法

変換手法の流れを図 1 に示す. 元の完全な質問文 から曖昧な質問文への変換を行うため，まずデータ セット中に定義されている質問文の統語構造を得 る. 統語構造解析には Stanford Parser ${ }^{11}$ [9][10] を用い る. 統語構造として得られた木に対して，VP，PP となる部分木を欠落対象として選択する。選択され た部分木を欠落させた文を，該当箇所の情報が欠落 した曖昧な質問文として生成して用いる. 久落候補 が複数存在する場合は, 久落対象の範囲がもっとも 短い部分木を選択する。

## 2.2 疑似生成された曖昧な質問文の評価

生成された曖昧な質問文に対して既存の質問応答 モデルの回答精度を求めることで，実際にどの程度質問応答のために必要な情報が欠落できているかを 確認する。また，生成した質問文が文法的におかし い場合は変換が適切でないことが予想されるため，疑似生成結果の質を担保するため英文としての自然 さを確かめる主観評価をあわせて行った。

回答精度比較実験（表 1）では，変換後の曖昧な 質問文が質問応答モデルの回答精度にどのような影響を与えるか確認する。VP，PP，その両方（Mixed） をそれぞれ久落対象として生成された質問文を用 いた実験結果を示している．表中にある EM は同一 の BERT を用いた質問応答モデル [11] が出力する 回答の正解率，F1 はそのモデルによって出力され る回答の再現率と適合率の調和平均を表す. 質問応答モデルの学習には HotpotQA データセットの学習 セット部分を，評価には開発セット部分を用いた。 Original は変換前の質問文を入力とした場合のスコ

図 2 問い返し質問文生成の流れ

アを表す. Original のスコアと比較して, 全ての変換において質問応答モデルの回答精度が低下してお り，提案する変換によって生成した曖昧な質問文が モデルの回答を困難にしていることが確認できた。

主観評価では，生成した曖昧な質問文が英文とし て自然かどうかについて被験者 3 名が評価した.こ の実験では，変換によってモデルの回答が変換前と 異なるような質問文を評価の対象とした. 元の質問文の統語構造から VP，PP，その両方（Mixed）を欠落の起点とした場合で，それぞれランダムに 200 文 ずつサンプリングし，英文としての自然さを 3 段階 で評価をしてもらった. 各条件に対する評価の平均 を表 2 に示す. ここで， Normal Form は元の質問文 が疑問詞から始まる一般的な質問文の形であるも のを指し， Irregular Form は疑問文以外の形で質問 を行っている文を指す．VPのみを用いた変換では，久落範囲が大きくなりすぎてしまう場合があり，PP のみを用いた変換と比較して自然性が低くなる結果 となった．今回の実験結果からは，PPのみを用い る場合と，VP と PP の両方を用いた場合の間に有意 な差 $(p<0.05)$ は認められなかった。これは，PPを 用いた場合の欠落候補箇所が VP を用いる場合と比較して短く, 長さの観点から優先されて多く出現し たことが原因として考えられる。また，設定した変換の全てで Irregular Form の質問文に対する評価の 平均は Normal Form より低く，自然な文が生成され にくいことが明らかとなった。これは，問いたい内容を表す疑問詞が文中から欠落してしまっているこ とが主な原因と考えられる。

図 3 問い返し対話例

## 3 ユーザヘの問い返し質問文生成

前節では文構造を用いることで，実際に既存の質問応答システムが回答できない形に質問文に曖昧性 を付与できることがわかった. このような曖昧な質問文が持つ曖昧性を解消するには，何らかの方法で 久落した情報を補完する必要がある.こうした曖昧性解消を試みるため, 大塚ら [4] はユーザの真の意図と推定される改訂質問をユーザに提示するモデル を提案した.このモデルでは，質問者は自身の質問意図に近い改訂質問を選択することで，所望の回答 を得ることができる. しかしこうした手法ではあく までシステムが改訂質問を生成するため, ユーザか ら得られる情報の量に限界がある。

これに対して本研究では，ユーザへ問い返し質問 を生成することで，対話的に不足情報を補うことが できるシステムの構築を目指す. 具体的には，用言 の依存関係に基づいた問い返し箇所推定と，格フ レーム辞書を基にした適切な疑問詞の決定・問い返乙質問文生成を行う。

## 3.1 格フレームを用いた問い返し質問文生成

格フレームは，用言とそれに係る名詞の役割を用言の各用法ごとに整理したものである [12][13]. そ の中でも河原ら [13] は, 大規模汎用英語コーパスと Webから収集した文から格フレーム辞書を教師なし で構築する手法を提案した. 本研究では, この研究 で構築された英語格フレームを用いる. 古川ら [5] は，格フレーム中の格要素，格の種類と疑問詞対応規則を定義して，問い返し文候補を生成する手法を 提案した. しかし, この手法を用いて問い返し質問 を行うためには，問い返しの対象となる格を推定す る必要がある. そこで本研究では, 問い返しの対象 となる格を適切に推定するために，文中の動詞との 共起情報を用いる。

問い返し質問文生成の流れを図 2 に示す。まずは じめに，入力された曖昧な質問文に対して構文解析 を行い，文中に出現する用言と用言の係る依存関係元の質問文曖昧な質問文問い返し文問い返しへの回答

What major truck road is located
in Backford Cross?
What major truck road is located?
where was the road located?
Backford Cross

表 3 有効な問い返し例

表 4 タスク全体の回答精度

タグ (格)を抽出する. 用言として判別する品詞タ グは, $\mathrm{VB} ・ \mathrm{VBD} \cdot \mathrm{VBG} \cdot \mathrm{VBN} \cdot \mathrm{VBP} \cdot \mathrm{VBZ} の 6$ 種類 の動詞タグとした。解析には Stanford Parserを用い た. 次に，抽出された格と用言のペアおよび格フ レーム辞書を参照しながら，文中に出現しない格を 辞書中の頻度順に抽出する. 用言の選択には, 抽出 された中でもっとも文末に出現するものを優先し た. また，質問文によく出現する格の頻度情報を反映させるため，質問応答の学習データ中に出現する 用言（動詞）に係る格役割の頻度情報を用いる。学習データには HotpotQA 学習用データを用いた。格 フレームから抽出された格の中から，学習データ中 でもっとも頻度が高い格役割を問い返す格として決定する2).これは，質問文に頻出の格を問い返すこ とが質問応答の情報補完に有効と考えられるためで ある。ここで再度格フレーム中の抽出された格役割 を参照し，その中で最も出現頻度の高い疑問詞を問 い返す疑問詞として決定する。最後に，選択された 用言と疑問詞を用いて問い返し文を生成する。例え ば，図 2 の例では曖昧性を付与したユーザ質問文の うち最後尾の用言が “had” であり，格フレームから 推定された必要な格役割のうち，質問文学習データ 中で最も頻度が高いものが“advmo”であった. そこ でこの格で最も頻度の高い“when”を用いて，“when did the writer have?”という質問を生成している.

## 4 問い返し質問応答による評価

ここまでに質問文に対する曖昧性付与と，この曖昧性を解消するための問い返し質問文生成手法を説明した。本節ではこの問い返しによって，実際に対話的な曖昧性解消が可能なのかについて評価を行 う。まず問い返しタスクの設定を説明し，精度評価結果について述べる.

2）データセット中の用言（動詞）とそれに係る格の頻度を付録に示す.
元の質問文

曖昧な質問文

問い返し文

問い返しへの回答

元の質問文を入力した場合の出力

結合後の質問文を入力した場合の出力
Which author dedicated a 1985 romance novel to the author who did in 2009 and wrote under the pen name Gwyneth Moore?

Which author dedicated a 1985 romance novel to the author who? when did the author dedicate?

2009

Eva Ibbotson

Patricia Veryan

表 5 問い返しによって正解できなかった例

## 4.1 タスク設定

タスクの概要を図 3 に示す. 本タスクではまず， 2 節の変換手法を用いて生成した曖昧な質問文をシ ステムの入力として与える. システムは受け取った 質問文を基に問い返し質問文を生成し，ユーザの返答から追加情報を得る.こうして得られた追加情報 と入力された曖昧な質問文とを，既存の質問応答モ デルの入力とした場合の回答をシステムの出力とす る. システムに用いる質問応答モデルは，2 節で用 いたものと同様に曖昧性を含まない完全な質問文の みから学習した。問い返し質問文に対するユーザの 返答は，元の質問文を知っている場合に答えること ができる適切な返答を人手で用意した。曖昧な質問文とユーザからの返答を結合しモデルに入力した場合の出力回答が，曖昧な質問文のみを入力とした場合から程度改善されるかについて評価する。

## 4.2 質問応答モデルの精度評価

問い返し質問による質問応答の改善度合いを測る ため，問い返す対象の曖昧な質問文を以下のような 制約で限定して実験を実施した. この条件に該当す るものは，HotpotQA 開発用データセット中の質問文約 7,400 文に対して 312 文存在した。

1. 質問応答モデルの回答が変換による曖昧性付与 によって正解 $\rightarrow$ 不正解となる質問文

2. 変換による久落箇所の長さが最小である質問文

3. 疑問詞から始まる質問文 (Normal Form)

上記の制約によって抽出された対象となる質問文 312 文に対してそれぞれ問い返し質問文生成を行っ たところ，欠落箇所への問い返し質問が生成されて いる例が 123 文存在した $(39.4 \%)$. 有効な問い返し と回答の例を表 3 に示す. 問い返し文として有効な 123 文を用いた場合のタスク全体での回答精度は表 4 の通りである．表 4 中のスコアは，曖昧な質問文 と問い返しによって得られた回答とを結合し，質問応答モデルに入力した場合の出力の正解率 EM と 調和平均 $\mathrm{F} 1$ を表す。

これらの結果から，曖昧な質問文のみでは回答で きない場合に，問い返しで得た追加情報を用いて質問応答の精度を向上することができることを確認で きた. しかし，変換前はモデルが回答できるものだ けを対象とした実験であっても，単純な結合だけで は完全な回答精度復元には至らなかった。これは，得られた追加情報だけではモデルが正確な回答を出力できないようなものが含まれていたか，あるいは 追加で得られた情報の結合方法などに課題があった と考えられる．有効な問い返しによって正解を導き 出せなかった例を表 5 に示す。表 5 では変換によっ て関係代名詞 “who”以降の従属節の内容が大きく欠落しており，ユーザから追加で得られた情報だけで は答えを正しく出力することができなかったと考え られる。

## 5 まとめと今後の課題

本研究では，文構造に着目した質問文変換により 情報を欠落させた曖昧な質問文を疑似生成し，これ に対して適切な問い返し質問文を生成することで，対話的に曖昧性を解消できる質問応答システムを提案した。この結果，問い返しによって必要な情報を 追加情報を得て質問応答精度を向上することがで きたものの，この情報の復元は限定的な範囲となっ た. 今後，変換によって生成した曖昧な質問文の品質向上や，より適切な用言や疑問詞を選択するため の手法の提案などに取り組む必要がある.

## 謝辞

英語版格フレームを提供して頂いた早稲田大学の 河原大輔先生と京都大学の黒橋禎夫先生に感謝いた します。

## 参考文献

[1]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[2]Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2369-2380, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[3]西田京介, 斉藤いつみ, 大塚淳史, 西田光甫, 野本済央,浅野久子. 機械読解による自然言語理解への挑戦. NTT 技術ジャーナル, 2019.

[4] 大塚淳史, 西田京介, 斉藤いつみ, 西田光甫, 浅野久子,富田準二. 問い返し可能な質問応答: 読解と質問生成 の同時学習モデル. 日本データベース学会和文論文誌, 2020.

[5]古川智雅, 吉野幸一郎, 須藤克仁, 中村哲. 曖昧性を持っ たユーザ発話に対する格フレームを用いた聞き返し発話候補の生成. 言語処理学会 第 24 回年次大会 発表論文集, pp. 905-908, 2019.

[6]Yongfeng Zhang, Xu Chen, Qingyao Ai, Liu Yang, and W. Bruce Croft. Towards conversational search and recommendation: System ask, user respond. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, CIKM '18, p. 177-186, New York, NY, USA, 2018. Association for Computing Machinery.

[7]Mohammad Aliannejadi, Julia Kiseleva, Aleksandr Chuklin, Jeff Dalton, and Mikhail Burtsev. Convai3: Generating clarifying questions for open-domain dialogue systems (clariq). 2020.

[8]中野佑哉, 河野誠也, 吉野幸一郎, 須藤克仁, 中村哲. 文構造に基づく質問文への曖昧性付与と質問生成. 人工知能学会言語・音声理解と対話処理研究会 (SLUD)第 90 回研究会, 2020.

[9]Richard Socher, John Bauer, Christopher D. Manning, and Andrew Y. Ng. Parsing with compositional vector grammars. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 455-465, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[10]Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP natural language processing toolkit. In Proceedings of 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 55-60, 2014.

[11]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for
Computational Linguistics.

[12]Daisuke Kawahara and Sadao Kurohashi. A fully-lexicalized probabilistic model for japanese syntactic and case structure analysis. In Proceedings of the Main Conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics, HLT-NAACL '06, p. 176-183, USA, 2006. Association for Computational Linguistics.

[13]Daisuke Kawahara, Daniel Peterson, Octavian Popescu, and Martha Palmer. Inducing example-based semantic frames from a massive amount of verb uses. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 58-67, Gothenburg, Sweden, April 2014. Association for Computational Linguistics.

## 付録. A 学習データから集計された格と頻度

表 A. 1 学習データ中に出現する用言の格と頻度


# 競技クイズ・パラレル問題の基本構造と文型

橋元 佐知佐藤理史宮田玲 小川浩平
名古屋大学大学院工学研究科
hashimoto.sachi@d.mbox.nagoya-u.ac.jp

## 1 はじめに

与えられた質問に対して答を導く質問応答 (QA) タスクでは、質問としてクイズの問題がしばしば 用いられる。クイズ問題を解くシステムとしては、 クイズ番組 Jeopardy!で人間のチャンピオンを破っ た IBM の Watson が有名である [1]。この他にも、 TriviaQA [2], SearchQA [3], QANTA[4] など、クイズ の問題を用いて作成された $\mathrm{QA}$ タスク評価用データ セットが存在する。これらは英語のデータセットで あるが、日本語でも、JAQKET というデータセット が作成されている [5]。

一般に、QA タスクでは、問題文がテキストとし て完全に与えられるのが普通である。しかしなが ら、人間がクイズに解答する状況は、これとは異な る場合がある。問題文が読み上げられる形式の早押 しクイズでは、解答者は、他の解答者に先んじるた めに、問題文が最後まで読み上げられる前に答える ことがしばしばある。このような場合、解答者は、完結しない問題文から答を導くことが必要となる。

このような読み上げ・早押しクイズ特有のひっか け問題に、以下のようなパラレル問題がある。

(1) アイルランドの首都はダブリンですが、アイ スランドの首都はどこでしょう?

たとえば、競技クイズの大会の一つである abc/EQIDEN ${ }^{1}$ の過去問では、全体の約 $11 \%$ のようなパラレル問題である。このような問題に 「アイルランドの首都は」の段階で答えると、「ダブ リン」という誤答になりそうである。

しかしながら、優れた解答者は、その段階で正し い答を導くことが多い。実際、「12 時間ガチクイズ 生放送」という YouTube 動画でパラレル問題の解答状況を調査したところ、95 問中 63 問が「アイルラ ンドの首都で」に相当する段階で解答されており、 そのうちの 54 問が正解であった。

1) http://abc-dive.com

図 1 パラレル問題の 4 項構造

ここで、次のような疑問が生じる。

1.なぜ、問題文の途中までで、高い精度で正し く答えることができるのか？

2. これを機械的に実現することは可能か？

これらの疑問に答えるために、我々は、まず、パ ラレル問題の基本構造と文型を調査した。そして、 その結果に基づいて、問題文の途中までで答を導く 解答システムを試作した。本論文では、これらの内容について報告する。

## 2 パラレル問題の基本構造と文型

パラレル問題の基本構造と文型を把握するため に、abc/EQIDEN の過去問2) に含まれる約 1,000 問の パラレル問題を調査した。その結果、以下の観察結果を得た。

1. パラレル問題の基本構造は、図 1 に示すよう な 4 項構造である。

本論文では、これらの 4 項を順に、 $X, Y, Z, Q$ で表 す。これらには、次の関係がある。

i. 対比関係: $X \leftrightarrow Z$

ii. 同一関係: $X: Y=Z: Q$

2. パラレル問題を成立させているのは、 $X$ と $Z$ の対比関係である。

主要な対比関係の種類は、表 1 に示す 5 種類に整理 できる。

3. 問題文は、図 2 に示すような 4 つのパートか ら構成される。

これらを順に、 $\mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D}$ パートと呼ぶ。 $\mathrm{A}, \mathrm{C}$ パー

2) http://abc-dive.com/questions/
表 1 対比関係の種類

} \\

図 2 問題文のパート構成

トの末尾は、典型的には提題表現 (提題助詞「は」) であり、 $\mathrm{B}$ パートの末尾は、典型的には並列節の節末表現 (接続助詞「が」) である。これらの強い手が かりにより、人間は、各パートの終了点を正しく認識できると考えらえる。

以上の観察に基づき、問題文の途中までで正解を 導くために必要なことを整理すると、以下のように なる。

1. Cパートまでで答える すべての情報が揃っているので、通常の問題と 同じように解ける
2. $\mathrm{B}$ パートまでで答える

$X$ と対比関係にある $Z$ を推測できれば、通常の 問題と同じように解ける
3. $\mathrm{A}$ パートまでで答える

$Z$ に加え、 $X$ から $Y$ を推測し、その間の関係を 同定できれば、通常の問題と同じように解ける

## 3 過去問のデータベース化

解答システムを作成する準備として、パラレル問題の過去問にアノテーションを施し、データベース を作成した。アノテーションでは、問題文を 4 つの パートに分割して末尾の正規化を行った後、表 2 に 示す要素をマークアップした。アノテーションの具体例を図 3 に示す。

このようにマークアップしたテキストから、デー タベースのレコードを作成する。レコードの具体例表 2 マークアップする要素

図 3 問題文のアノテーション

表 3 データベースのレコード形式

を表 3 に示す。この例に示すように、レコードの作成では、以下のことを行う。

1. 順方向のレコードと逆方向の (A, B パートと、 $\mathrm{C}, \mathrm{D}$ パートを入れ替えた) レコードを作成する。

2. A, B, C, D の各パートの文型パターンも登録 する。
3. $x$ と $z$ 、および、 $y$ と $w$ は、一方が空である場合は、他方で補完する (下線部)。

## 4 解答システム

作成した解答システムの構成を図 4 に示す。本シ ステムは、前節で示したデータベースを検索する ことで、問題の答を求める。システムは、以下のモ ジュールから構成されている。

図 4 解答システムの構成

## 1. パート取得

問題文の各パートを順に取得する。まず、A パートのみを取得し、 $\mathrm{B}$ パート以降は、要求が あった場合のみ取得する。

## 2. パート解析

取得したパートを解析し、表 2 のマークアッ プ要素と文型に分解する。この分解には、デー タベースに格納されている、該当パートの文型パターンを利用する。一般に、複数の文型パ ターンが存在するので、可能な分解をすべて求 める。

## 3. 検索条件設定

得られた要素や文型、後述の解答判定により得 られるフィードバック情報を用いて、データ ベースを検索する条件を設定する。

## 4. データベース検索

設定した検索条件で、データベースを検索し、得られたレコードから答 $W$ を取得する。

## 5. 解答判定

$W$ の種類に応じて、以下のように分岐する。

(a) $W$ が一意に定まる場合

$W$ を解答として出力する

(b) $W$ が複数得られる場合

検索条件を強めるフィードバックを生成する

(c) $W$ がひとつも得られない場合

検索条件を緩めるフィードバックを生成する

検索条件を強めるとは、検索条件に新たな要素を 追加することを意味する。これには、次のパートを 取得して要素を追加することも含まれる。一方、検表 4 検索条件に含める要素

索条件を緩めるとは、検索条件に含まれるいずれか の要素を削除することを意味する。表 4 に、それぞ れのパートまで取得した場合に、どのような要素を 検索条件に含めるかを示す。

この表の記号は、以下のことを意味する。

記号 $\mathbf{r}$ (required) 検索条件に必ず含める。

記号 o (optional) 取得済のパートに存在する場合に含 める。検索条件を緩める場合は、この要素を削除す る。削除した場合は、それ以降は使用しない。記号 a (additional) 検索条件を強める場合に追加す る。追加によって $W$ がひとつも得られなくなる場合は、それ以降は使用しない。

たとえば、 $\mathrm{A}$ パートから $X$ と $y$ が得られ、これら で検索すると複数の $W$ が得られたとしよう。その 場合は、まず、文型 $\mathrm{A}$ を検索条件に追加する。それ でも $W$ がひとつに絞れない場合に、B パートを取得 し、そこから検索条件に追加する要素を取得する。 なお、文型 $\mathrm{A}$ を追加して $W$ がひとつも得られなく なった場合は、文型 $\mathrm{A}$ を除外して、B パートに進む。

一方、 $\mathrm{A}$ パートから $X$ と $y$ と $D$ が得られ、これら で検索すると $W$ が得られない場合は、要素 $y$ を削除した条件、および、 $D$ を削除した条件で検索し、 それらの結果をマージして次の判断を行う。なお、 $X$ だけでも $W$ がひとつも得られない場合は、 $\mathrm{C}$ パー 卜まで取得して、それ以降の検索では、 $X$ と $Y$ を条件に含めない。「(r)」は、このことを意味する。

$\mathrm{C}$ パート以降では、 $z$ と $w$ がパートから得られな い場合は、 $x$ と $y$ の情報を利用する。「o*」は、この ことを意味する。

最終的に、 $W$ がひとつに絞れない場合、および、 $W$ がひとつも得られない場合は、解答不能とする。
表 5 過去問に正解するための検索条件

## 5 解答にどのパートまで必要か

ここでは、まず、データベースに登録した過去問 970 問を解く場合、どのパートまでで正解を出力で きるかを調べた。その結果を表 5 に示す。過去問を 解く場合は、正解を導くレコードは必ず存在するた め、検索条件を緩めるフィードバックがかかること はない。この表の「要素」の闌は、各パートから取得した要素をすべて検索条件として用いた場合、「+文型」の欄は、それに各パートの文型を追加した場合の、答を一意に絞り込めた問題数を示す。

この表から以下のことがわかる。

1. 過去問の $98.8 \%$ (958/970) は、A パートで正解 を導くことができる。

データベースのサイズが大きくなると、この值は低下すると考えられるが、実際に出題されるパラレル 問題の大半は、事実上、A パートだけで正解が定ま る問題となっている可能性がある。

2. 正解を導くのに文型が必要な問題は、 $3.3 \%$ (32/970)にすぎない。

$\mathrm{A}$ パートから $X$ 以外の要素が得られた 773 問中、文型が必要だったのは 13 問 $(1.7 \%)$ のみで、残りの 760 問は抽出した要素だけから答が一意に決定できた。一方、 $X$ しか得られなかった場合は、185 問中 19 問 $(10.3 \%)$ が文型を必要とした。このことは、設定し た $x, y, D$ が、答を絞り込むために適切に機能して いることを意味する ${ }^{3}$ 。実際、先の 760 問中、 $X$ だ けで答を一意に絞り込める問題は 523 問で、残りの 237 問は $X$ 以外の要素が答の限定に寄与している。

次に、逆方向のレコードを使用する場合と使用し ない場合で、正解を出力するために必要なパートが

3）これらの要素が抽出できれば、パート内の文型の差異は無視できる。表 6 逆方向のレコードの影響

どう変化するか調べた。その結果を表 6 に示す。逆方向のレコードを使用しない場合は、 $\mathrm{A}$ パートのみ で正解を出力できる問題が 7 問増える。逆方向レ コードを使用すれば、潜在的に解ける問題が 2 倍に なることを考慮すれば、この差は許容できる。実際、現在のシステムは、過去問 970 問の前半部と後半部を入机替えた問題のうち、950 問を解くことが できる4)。

現在のシステムは、解答判定に基づき検索条件を 緩めたり強めたりするので、A パートの文型の摇れ をある程度許容する。たとえば、以下の例では、い ずれか一方が過去問として登録されていれば、他方 を解くことができる。

（2） a. 『半七捕物帳』を書いたのは岡本綺堂で すが、『人形左七捕物帳』を書いたのは誰で しょう?

b. 『半七捕物帳』の作者は岡本綺堂ですが、『人形左七捕物帳』の作者は誰でしょう?

## 6 おわりに

本研究では、競技クイズのパラレル問題の基本構造と文型を分析し、問題文の途中までで解答するシ ステムを作成した。現在のシステムは、答を導くた めの知識源として過去問のみを利用しており、過去問と同一の問題、前半と後半を入れ換えた問題、文型が一部異なる問題を解くことができる。しかしな がら、完全に未知の問題に対しては無力である。

競技会に参加する人間の解答者は、過去問を調査 するのに加え、出題の可能性があるパラレル問題を 予想し、準備する。この準備は、本システムでは、 データベースに新たなレコードを追加することに対応する。パラレル問題の基本構造である 4 項構造に おいて、まず対比関係となるぺア $(X$ と $Z)$ を見つ け、それらに対して残りの 2 項 $(Y$ と $W)$ を設定すれ ば、新しいレコードを作成できる。すなわち、未知 の問題を解く能力と、問題を作成する能力は、本質的に同じである。

4）解けない 20 問は、前半部と後半部の表現の違いが原因であ る。

## 参考文献

[1] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building Watson: An overview of the DeepQA project. AI Magazine, Vol. 31, No. 3, pp. 59-79, Jul. 2010.

[2] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 16011611. Association for Computational Linguistics, 2017.

[3] Matthew Dunn, Levent Sagun, Mike Higgins, V. Ugur Güney, Volkan Cirik, and Kyunghyun Cho. SearchQA: A new Q\&A dataset augmented with context from a search engine. CoRR, 2017.

[4] Pedro Rodriguez, Shi Feng, Mohit Iyyer, He He, and Jordan L. Boyd-Graber. Quizbowl: The case for incremental question answering. CoRR, 2019.

[5] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET:クイズを題材にした日本語 QA データセッ 卜の構築. 言語処理学会第 26 回年次大会発表論文集, pp. 237-240, 2020.


# 二段階 fine-tuning を用いた条件付きなぜ型質問応答技術

二宮大空 $\$$ 呉鍾勲 $\$$ Julien Kloetzer ${ }^{\ddagger}$ 飯田 龍 $\$$ 鳥澤 健太郎†
†奈良先端科学技術大学院大学 先端科学技術研究科
$\ddagger$ 国立研究開発法人 情報通信研究機構
ninomiya.hirotaka.ng8@is.naist.jp
\{rovellia, julien, ryu.iida, torisawa\}@nict.go.jp

## 1 はじめに

近年，SQuAD[1] のような事実を名詞で回答する ファクトイド質問応答タスクについては，汎用的 な事前学習言語モデル BERT（Bidirectional Encoder Representations from Transformers）[2] 等の発展によ りその性能が人間の性能を超えたことが報告されて いる。一方，説明的な回答が求められるノンファク トイド質問応答は, 未だ発展途上であり, ノンファ クトイド質問応答の一つであるなぜ型質問応答など において盛んに研究が進められている $[3,4,5,6]$.

本研究では，より高度ななぜ型質問応答を実現す るために，「なぜ地球温暖化が進むと海水面が上昇 する」のような, なぜ型質問に条件 (「地球温暖化 が進む」）が含まれるより複雑な質問に対して回答 する質問応答を対象とする。本稿では，このような 質問応答を条件付きなぜ型質問応答と呼ぶ.この条件付きなぜ型質問に回答するためには, 質問「なぜ （事象 A）と（事象 B）？」に対し, 事象 A の因果的帰結であり，かつ，事象 B の原因であるものを回答 する必要があるため, 単純ななぜ型質問 (「なぜ（事象 B）？」）と比べてより難しい問題となっている.一方で，「なぜ地球温暖化が進むと海水温が上昇す る？」のような条件付きなぜ型質問は,「地球温暖化 が進むとどうなる？」といったどうなる型質問応答 $[7,8,9]$ の結果, 得られた回答が「海水温が上昇す る」であった場合にその理由を問うための自然な質問の形式だと考えられるため, この条件付きなぜ型質問応答の技術を発展させることで, 単純な質問応答に付随して発生する, さらなる深掘りを行う質問 に適切に回答することが可能になると考えられる。

ただし, 我々が知る限り, 条件付きなぜ型質問応答に特化した学習・評価用データは存在しない. そ こで，本研究では，まず表 1 に示すような条件付き

} & \\

なぜ型質問応答のデータを作成した。このデータ作成では, 日本語 Web4 億文書を対象に検索して得ら れたパッセージ1) (以降, 回答候補パッセージ）に対 して，人手でアノテーションを行った。さらに，こ のデータを用い，BERTを fine-tuning することで回答候補パッセージのランキングを行う分類器を開発 した ${ }^{2)}$. その際，なぜ型質問応答に関連する 4 つの タスク（因果関係認識 [10]，因果関係連鎖判定，な ぜ型質問応答 [3][4]，ファクトイド質問応答 [11]）の 学習データも用い, 最終的な条件付きなぜ型質問応答の fine-tuning $の$ 前に実施する fine-tuning, もしく は, 条件付きなぜ型質問応答との Multi-task learning を行うことで，条件付きなぜ型質問応答の性能が向上するかの調査も行った。この結果, 組み合わせる タスクと組み合わせ方によってはべースラインであ る単純な BERT の fine-tuning と比較して有意に性能 が向上することを明らかにした（P@1で約 $1.2 \%$ の 向上).

## 2 関連研究

Oh ら [3] の日本語を対象としたなぜ型質問応答手法では，因果関係を認識する問題を系列ラベリング

問題と捉え, Conditional Random Fields を用いて文書中の原因部と結果部を特定した。それにより一文内 の因果関係と文をまたがる因果関係を含む多様な形式で表される因果関係を自動抽出した後, 抽出した 因果関係をなぜ型質問応答の回答リランキング時に 利用し, 一文内の因果関係と文をまたがる因果関係 が共に回答リランキングの性能向上に寄与している ことを示した. さらに, Oh ら [4] はなぜ型質問応答 において敵対的学習を用いたモデルを提案し, 回答精度を大幅に向上させた。

また，英語を対象にしたノンファクトイド質問応答に関して, Fan ら [12] は回答が長文となる質問応答データセット ELI5 を作成している. ELI5 のデー タ中の約 $45 \%$ が why から始まるなぜ型質問である が，ELI5 の全データを対象にした評価では Seq2Seq をべースにした手法の性能は人間の性能を大幅に下回っていることが報告されている。また, Hashemi ら [13] は Web から抽出したノンファクトイド質問 を含む質問応答データセットを作成した。

## 3 条件付きなぜ型質問応答のデータ 作成

1 節で述べたように，条件付きなぜ型質問は典型的には「なぜ (事象A) と (事象B)？」という形式で 記述されるため, 事象 $\mathrm{A}$ と事象 B に埋まる表現の対 が必要となる. この 2 つの事象を表す表現は一般的 には「なぜ地球温暖化が進むと海水温が上昇する？」 の「地球温暖化が進む」と「海水温が上昇する」の 対のように因果関係が成り立つ対であると考えられ るため, そのような対を自動で収集して質問を作成 する。一方，そのような人工的な条件付きなぜ型質問だけでは人間が記述する多様な条件付きなぜ型質問をカバーできない可能性があるため, 自然な条件付きなぜ型質問についてもデータを作成し, 評価を 行う.

データ作成の手順は下記の通りである.

## 手順 1 : 条件付きなぜ型質問の作成

Train, Dev1, Dev2 の質問の作成方法として, まず は Hashimoto ら [7] の因果関係認識器を Web40 億文書に適用して得られた因果関係を表す原因句と帰結句の対を利用し，「なぜ（原因句）と（帰結句)」と することで人工的な条件付きなぜ型質問を作成す る. 一方, 最終評価用のデータ (Test) の作成時に は，質問は Web40 億文書から抽出した「なぜ」を含 む単語列から抽出した条件付きなぜ型質問である.詳細を付録 A で述べる. 質問の作成後, 質問が曖昧

でない自然なものであるかをアノテータ 3 名による 多数決で判定した。

手順 2 : 回答候補パッセージの抽出とアノテーション

手順 1 で得られた各質問に対して, Murata らの検索手法 [14] を用いて, Web4 億文書から質問 に対する回答が含まれている可能性が高い回答候補 パッセージを最大 20 件抽出した. さらに, 質問と 回答候補パッセージを見て, 回答候補パッセージ中 に質問に対する答えが含まれているかをアノテータ 3 人で判定し, 多数決でラベルを決定した。 ${ }^{31}$

本研究で作成したデータの 4$)$ の総事例数とそれぞ れの正例の割合は表 2 に示す通りである.5)

## 4 比較手法

条件付きなぜ型質問応答とは同じ質問応答という 観点で関連するファクトイド質問応答 (以降, FQA) [11], なぜ型質問応答（以降，WhyQA） [3,4], また,因果関係を対象とするという点で関連すると考えら れる因果関係認識（以降，Causality）[10], 因果関連連鎖判定（以降，Chain）の学習データ（それぞれの 詳細は表 3 参照）も利用することで条件付きなぜ型質問応答の性能が向上するという仮説に基づき，下記の Step1と Step2 からなる二段階の fine-tuning 手法を実験する。

Step1 事前学習済みの BERT モデルをCausality, Chain, WhyQA, FQAのいずれか（もしくはその組 み合わせ）のデータで fine-tuning する.

Step2 Step2 で得られた fine-tuning 済み BERT モデル を Causality, Chain, WhyQA, FQA のいずれか（も しくはその組み合わせ）のデータと条件付きなぜ

3） Train, Dev1，Dev2においては，答えが含まれていると 1 人以上判定したものは正例である可能性が高いと考え，それら に対して質問に対する答えを回答侯補パッセージから抽出す る作業をアノテータ 3 人で行った. その後, 抽出可能である かにより最終的なラベルを決定した。

4） Train, Dev1，Dev2 で質問が重複しないようにランダムに分割する。

5） Oh[4] が利用している一般的ななぜ型質問応答データの正例の割合は Train, Dev, Test でそれぞれ $12.5 \%, 23.4 \%, 24.1 \%$ であり, それらと比べて正例の割合が小さく, ランキングが より困難な問題となっている.
表 3 二段階 fine-tuning で用いるタスクの詳細

 &  &  \\

条件付きなぜ型質問の作成に用いた Hashimoto ら [7] の因果関係認識器は因果関係認識のデータで学習されているた め, 条件付きなぜ型質問応答に関連する情報を含まないように, Train, Dev1, Dev2 中の条件付きなぜ型質問の作成 に用いた句が含まれる事例を, 因果関係認識と因果関係連鎖判定のデータからそれぞれ 3,675 件, 985 件除外した.表 4 はこれらを除外した件数である.

表 4 関連するタスク 4 種類のデータセット

型質問応答（以降，CoWhyQA）のデータを用いて Multi-task learning でさらに fine-tuning する.

## 5 実験

## 5.1 実験設定

実験で利用する BERT のモデルサイズは Devlin ら

Kadowaki ら [8] と同様に, 自動検出された因果関係 を含むテキスト約 22 億文のコーパス（データサイ ズは 353GB であり, T5[15] の事前学習で利用されて いるコーパスの約半分に相当する [11]）を用いる. このコーパスは, Oh ら [3] の因果関係認識器により 検出された文とその前後の文で構成された 7 文の パッセージから得られた文集合からなる. 事前学習時のバッチサイズは 4,096 であり, token 最大長 128 で 100 万ステップ, さらに追加で token 最大長 512 で 10 万ステップ事前学習を行っている6).

6）事前学習と fine-tuning 時には Kadowaki ら [8] と同様に learning rate warmup (warmup rate $=0.01$ ) を用いた. fine-tuning 時のバッチサイズは 32 であり, 学習率 は 8e-6, 9e-6, 1e-6 の 3 通り, epoch 数は 1, 2, 3 の 3 通りの組み合わせである 9 通りから Dev の P@1 （最上位の回答の精度）が最大となるパラメタを手法ごとに選択した. Step1 のモデル選択に関しては WhyQA の場合はDev1のP@1で，それ以外はDev1 の平均精度でベストなモデルを選択した. 最終的な 条件付きなぜ型質問応答の評価では $\mathrm{P} @ 1$ に加え, MAP（回答の平均精度の平均値）でも評価し, 各手法の結果を比較する. ベースラインとして, 前述の 因果関係を含むテキスト約 22 億文のコーパスで事前学習した BERT モデルを条件付きなぜ型質問応答 のデータだけで fine-tuning したものを利用する.

また, 二段階 fine-tuning で用いるデータセット の事例数を表 4 に示す. 二段階 fine-tuning $の$ Step1, Step2におけるパラメタ探索範囲や学習方法, その 他の実験設定は共に fine-tuning 時の設定に従う.

## 5.2 実験結果

結果を表 5 に示す. 表の (c)〜(f) が Step1 の finetuning の学習データを変更した場合の結果である が, この内, WhyQA と FQA で fine-tuning した場合 が Dev1, Dev2, Test で一貫して性能が向上してお り, 因果関係認識に関するデータ (Causality, Chain)
表 5 二段階 fine-tuning に関する実験結果

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{3}{|c|}{ Test } \\

Oracle は全ての質問に対して適切に回答できた場合の理想的な精度を, 相対值は「(手法ごとの P@1)/(Oracle の $\mathrm{P} @ 1 ） \times 100 」$ で求めた值である．P@1における括弧内の值は BERT（ベースライン）の $\mathrm{P} @ 1$ との性能差 を表しており, Dev2 と Testにおいては McNemar 検定（有意水準 5\%）で有意差が確認されたものを†で示す.

よりも質問応答に関するデータ（WhyQA, FQA）で Step1 の学習を行うことに効果があると考えられ る.また, 表 5 の $(\mathrm{g}) \sim(\mathrm{j})$ が Step1 の fine-tuning を行 わず, Step2 で Multi-task learning を行った結果であ るが，この結果については特に WhyQA で Multi-task learning した場合の Test の P@ 1 が最も高くなってお り，対象となる条件付きなぜ型質問と最もタスクが 近いなぜ型質問応答との Multi-task learning に効果が あったと考えられる.

また，表 5 の (c)と (d) に着目した場合，Dev2，つ まり, 質問の形式が「なぜ（事象 A）と（事象 B)」 の場合には $\mathrm{P} @ 1$ が向上しているのに対し, 自然な 質問の形式である Testにおいては P @ 1 がベースラ インよりも低下するという結果となった。これは Causality や Chain の学習データの個々の事象を表す 表現が必ず名詞+助詞+述語であるのに対し, Test の 質問ではそれらの表現が「運動すればなぜ内藏脂肪 が減るのでしょうか？」の「運動する」のように必 ずしも名詞+助詞+述語の形式とはなっていないこと が影響している可能性がある.

最後に, Step1 の選択肢と Step2 の選択肢を組 み合わせることで性能が向上するかについても 調査を行った. 具体的には Step1 で効果があっ た Causality と FQA（表 5 の (c)〜(f) で Dev2 の P@1 の上位 2 つ）を利用する場合としない場合の 組み合わせ 4 通り,また, Step2で効果があっ た Chain, WhyQA, FQA（表 5 の $(\mathrm{g}) \sim(\mathrm{j})$ で Dev2 の P@1 がベースラインよりも良かったもの)を利用する場合としない場合の組み合わせ 8 通り,合わせて 32 通りに対して実験を行い, Dev2 の $\mathrm{P} @ 1$ が最大となる組み合わせを決定した.この結果, 表 5 の (k)Step1=FQA, Step2=CoWhyQA+WhyQA, (1)Step1=Causality+FQA, Step2=CoWhyQA の 2 つが同 じ $\mathrm{P} @ 1$ だったため選択された. ただし，表に示すよ うに,この2つでTestの $\mathrm{P} @ 1$ が良かった $(\mathrm{k})$ のその值 は, (i) に示す Step1=なし, Step2=CoWhyQA+WhyQA と変わらないため, Step1 と Step2 の組み合わせは 効果がなく, Step1 もしくは Step2 のいずれかで類似するタスクの学習を行うだけで十分であること がわかる。一方で, (k) と (l)の Dev2の P@1の值は 他の (b)～(j) のいずれをも上回っているため, 質問 の形式が学習データと同じ場合においては Step1 と Step2 で複数のタスクを組み合わせることに効果が あることがわかる.このように, 現状では質問の形式（人工的な質問 or 自然な質問）が学習データと異 なることが，二段階の fine-tuning が有効であるかに 影響していると考えられるため, 今後は質問の形式 が異なっていたとしても性能を劣化させない頑健な 手法を開発していく必要がある.

## 6 おわりに

本研究では, 条件が含まれるなぜ型質問に対する 応答技術の開発を目指し, 条件付きなぜ型質問応答 のデータを作成した. さらに，BERTを用いた分類器を構築し, 条件付きなぜ型質問応答に関連する タスクを用いて二段階で fine-tuningを行うことで,分類器の性能向上を図った. 実験の結果, 二段階 fine-tuning を行うことで, 最上位の回答の精度 P@1 がベースラインである BERT を約 $1.2 \%$ 上回った。

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Motoki Sano, Stijn De Saeger, and Kiyonori Ohtake. Whyquestion answering using intra- and inter-sentential causal relations. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1733-1743, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[4] Jong-Hoon Oh, Kazuma Kadowaki, Julien Kloetzer, Ryu Iida, and Kentaro Torisawa. Open-domain why-question answering with adversarial learning to encode answer texts. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4227-4237, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Fatima T AL-Khawaldeh. Answer extraction for why arabic questions answering systems: Ewaq. arXiv preprint arXiv:1907.04149, 2019.

[6] Andrei Dulceanu, Thang Le Dinh, Walter Chang, Trung Bui, Doo Soon Kim, Manh Chien Vu, and Seokhwan Kim. Photoshopquia: A corpus of non-factoid questions and answers for why-question answering. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[7] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 987-997, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[8] Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, JongHoon Oh, and Julien Kloetzer. Event causality recognition exploiting multiple annotators' judgments and background knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5816-5822, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Canasai Kruengkrai, Kentaro Torisawa, Chikara
Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, 2017.

[10] Chikara Hashimoto, Kentaro Torisawa, Stijn De Saeger, Jong-Hoon Oh, and Jun'ichi Kazama. Excitatory or inhibitory: A new semantic orientation extracts contradiction and causality from the web. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 619-630, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[11] 関直哉, 水野淳太, 門脇一真, 飯田龍, 鳥澤健太郎. ファクトイド質問応答における bert の pre-trained モ デルの影響の分析. 言語処理学会第 26 回年次大会発表論文集, pp. 105-108, 32020.

[12] Angela Fan, Yacine Jernite, Ethan Perez, David Grangier, Jason Weston, and Michael Auli. ELI5: Long form question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3558-3567, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Helia Hashemi, Mohammad Aliannejadi, Hamed Zamani, and W Bruce Croft. Antique: A non-factoid question answering benchmark. In European Conference on Information Retrieval, pp. 166-173. Springer, 2020.

[14] Masaki Murata, Sachiyo Tsukawaki, Toshiyuki Kanamaru, Qing Ma, and Hitoshi Isahara. A system for answering non-factoid japanese questions by using passage retrieval weighted based on type of answer. In NTCIR, 2007.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv preprint arXiv:1910.10683, 2019.

## 付録

## A 条件付きなぜ型質問の抽出

Web40 億文書から抽出した「なぜ」を含む単語列 から条件付きなぜ型質問を抽出する際, 質問中に条件を表す部分を含む必要があるため，以下を全て 満たすものを対象とする．単語や品詞の連続は+で 表す.

・動詞，または形容詞+接尾辞を単語列中に 2 つ 以上含む.

$\cdot$「と，ば，たら」で区切った時, 前後半共に動詞，または形容詞+接尾辞が存在する。

・以下のいずれかを満たす.
- 動詞+「と」を含む. ただし，動詞は「い う，言う，よぶ，呼ぶ，思う，感じる，す る」を除く。

一未尾が「ば，たら」の動詞を含む。
- 動詞+末尾が「ば，たら」の接尾辞を含む.
- 形容詞+接尾辞+「と」を含む.

一形容詞十末尾が「ば, たら」の接尾辞を含む.


# ニューラル機械翻訳に乱数が与える影響
## 矢野貴大鳥取大学 工学部 \\ b17t2114b@edu.tottori-u.ac.jp

\author{
村上仁一 \\ 鳥取大学 工学部 \\ murakami@tottori-u.ac.jp
}

## 1 はじめに

機械翻訳の方式の一つに，Neural Machine Translation(以下, NMT)[1] がある. NMT は学習を行う際に乱数を用いている. ぞのた, 同じデータで学習を行った としても出力が異なる.しかし, 精度に大きな差はない とされ，今まであまり考慮されてこなかった．本研究では, NMT において同じデータで学習を行った 際，どの程度翻訳結果か変動するかについて調査を行う．

## 2 翻訳評価の手法

## 2.1 翻訳確率 (PRED)

翻訳確率とは, 入力が $\mathrm{a}$ であったときに $\mathrm{b}$ が出力され る尤もらしさを数値化したものである.この翻訳確率の 対数をとった値が，PREDである. PRED の值が 0 に近 いほど，良い翻訳である。

## 2.2 BLEU,METEOR,TER

BLEU[2]，METEOR[3]，TER[4] は機械翻訳の自動評価の手法である . 参照文と翻訳結果をもとに評価を行う

## 2.3 人手評価

著者自身が各出力文に対し $\bigcirc, \triangle, \times$ の 3 つの評価基

準を表 1 に示す。

## 表 1 人手評価の基準

 \\

## 3 調査方法

## 3.1 学習

調査方法における学習の過程では, 同じ学習データを 異なる乱数を用いた上でNMT に学習させることで，8 個の NMT を生成する。

## 3.2 翻訳

テスト文を 8 個の NMT 光れ光れに翻訳させ, 8 個の翻訳結果を生成する。

ここで生成された翻訳結果を用いることで，翻訳結果 の変化についての調査を行う.

## 4 実験

4.1 実験条件

本研究における調査では, OpenNMT[5] を用いて日英 ニューラル機械翻訳を行う。

## 4.2 実験データ

調査に用いるデータの内訳を表 2 に示す. なお, 学習文は全て単文である。

表 2 実験データ

## 4.3 出力結果

出力結果を表 3 に示す.なお，表 3 における評価の列 は , 人手評価の結果を示す。

表 3 出力結果

表 3 の結果より，乱数によって出力結果が異なってく ることが確認できた .

## 4.4 自動評価結果

自動評価結果を表 4 に示す.なお，表 4 に示す PRED 值は，テスト文 16,000 文各文に対して導出された PRED 值の平均値である。

表 4 の結果より，自動評価の値も異なってくることが確認 できた . この表の PRED で最良の値を示したのは NMT 7 であった.また，BLEU で最良の値を示したのは NMT 5であった.

## 4.5 人手評価結果

翻訳を行ったテスト文のうちのランダムな 100 文に対 し, 評価を行った．結果を表 5 に示す。

表 5 人手評価結果 (100 文)

表 5 の結果を見ると，モデルによって人手評価の結果 が大きく異なることが確認できる．このことより，NMT は乱数の影響を強く受けるということが言える。

また，ここで表 5 の結果と表 4 の結果を比較する. PRED の最も良かった NMT 7 と，BLEU の最も良かっ た NMT 5 は，どちらも人手評価では振るわなかった．

このことより、自動評価と人手評価の結果が一致する とは限らないということが言える。

## 5 考察

## 5.1 PRED 值平均

人手評価に対応する PRED 値の値の平均を表 6 に示 す.

表 6 人手評価と対応する PRED 値の平均

表 6 より, PRED 值が高いほど良い人手評価になる傾向 にあることが確認できた．

## 5.2 出力結果 (PRED と人手評価の一致した例)

表 7 に PRED が人手評価と対応がとれている例, 表 8 , 9，10に PRED と人手評価が対応が取れていない例を 示す.

表 7 PRED と人手評価の一致した例 1

表 7 については, 人手評価○の文に対しては高めの
PRED 值が , × の文に対しては低めの PRED 値が出てい ることが確認できる。

表 8 PRED と人手評価の一致した例 2 (繰り返し文)

表8について, NMT 1，8の出力では the president が 繰り返し発生している.しかし意味は取れている文であ るため, 人手評価では○とした . 光して PRED について も良い値を示している．このことより，この例において PRED は繰り返し文に対応出来ていた。

表 9 PRED と人手評価の一致した例 3 (He, She 入れ替わり)

表 9 において NMT 5 の出力は He であるべき部分が She となっている. 光してこの出力の PRED 值は下から 2 番目に悪い．PRED 値は類似の例文をもとに導出する．

今回 She の出力で PRED が悪かったのは , 類似の例文 に Heで始まるものが多かったからではないかと考える． 5.3 出力結果 (PRED と人手評価が一致しなかった例)

表 10 PRED と人手評価が一致しなかった例 1 (肯定否定が逆でも PRED に大差なし)

表 10 について説明する.NMT2, 4,8 の出力は翻訳 すると「自分の将来に不安を感じている」といったニュ アンスになる．しかし入力文は「自分の将来に不安を感 じていない」であり，これらの出力文は意味が逆になっ て出力されている.しかし PRED 值においては正解の出力文と大して変わらない値となっている.
表 11 PRED と人手評価が一致しなかった例 2 (意味不明でも PRED は 光こまで悪くない)

表 11 において，NMT4，5，8 の出力は入力文と大き く異なる訳であるにもかかわらず，PRED の値は良い． この原因については , 類似する例文が少なかったから ではないかと推測する。

表 12 PRED と人手評価が一致しなかった例 3(PRED 低いけど人手評価は○)

表 12 において , NMT4, 6 の出力は人手評価では○と した . しかし PRED 值で見ると , ワーストの 2 文である .

## 5.4 各文に対して最良の PRED 値を選択した際の人手評価結果

表 13 に示す.なお, 表の「PRED 最良」の行では各入力文に対する出力文に最も低い PRED 値を選択した際の 結果を示す.また，「理論値」の行では各入力文に対して の出力文に人手評価が最も良いものを選べた際の結果を 示す。

表 13 人手評洒結果 (100 文)

表 5 と表 13 を比較すると，PRED 値が最良の出力を 選択することで人手評価結果が改善することが確認でき た.このことより，PREDによってある程度は翻訳の良 し悪しを判定できることが分かった . しかし理論値と比較すると , 改善の余地があることが分かる．

5.5 エポック数の妥当性について

エポック数の値が 100,000 で適切であるかどうかを検証した . ステップ数別の PRED と BLEU の值を表 14 に 示す.

表 14 を見ると ,PRED の値は 100,000 以降で , BLEU の值は 70,000 以降頭打ちになっている．光のため，エ ポック数の值は 100,000 が適切であると判断した.

## 6 おわりに

本研究では, NMT において同じデータで学習を行った 際，どの程度翻訳結果が変動するかについて調査を行っ た. 調査結果より, 同一の学習データで学習させたとし ても出力は異なることが分かった . また, 各翻訳評価に おいても差が生じるということが分かった . 考察より， PRED 値を用いることで NMT の出力を改善出来ること が分かった.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473, 2014.

[2] K. Papineni, S. Roukos, T. Ward, and W. J. Zhu. BLEU: a method for automatic evaluation of machine translation. In ACL, 2002

[3] S. Banerjee and A. Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. pages 6572 , 2005.

[4] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. Proceedings of Association for Machine Translation in the Americas, 2006.

[5] G. Klein, Y. Kim, Y. Deng, J. Senellart, and A. M. Rush. OpenNMT: Open-source toolkit for neural machine translation. ArXiv e-prints, 2017.


# 価値判断を伴うファクトイド質問応答

$\dagger$ 奈良先端科学技術大学院大学 先端科学技術研究科
‡国立研究開発法人 情報通信研究機構 (NICT)
seki.naoya.si8@is.naist.jp
\{junta-m, rovellia, julien, ryu.iida, torisawa\}@nict.go.jp

## 1 はじめに

ユーザはしばしば「糖尿病患者は何を食べるとい い?」のように、何かをうまくやる，もしくはまず いことを避けるための質問を発する。このような 質問のうち，名詞句を回答とするものを，本研究 では「価値判断を伴うファクトイド質問」(Opinion Factoid Question Answering, 以下 OFQA）と呼ぶ。従来の質問応答システムでは, 価值判断を伴うファ クトイド質問には対応できない。その結果, 例え ば質問「糖尿病患者は何を食べるといい?」に対 し,「ケーキ」といった不適切な回答が出力されて しまう.

本研究では, 日本語の OFQA データセットを作成 し, これと, 価值判断を考慮していないファクトイ ド QA のデータセットや一見質問応答とは関連の薄 い因果関係認識認識に関するデータセットを組み 合わせて fine-tuning した, BERT ベースの質問応答手法を開発した.この精度はセンチメント分析等,複数の異なるタスク用の分類器/抽出器を組み合わ せたパイプライン方式よりも精度が高かった。これ らのパイプライン方式の開発では, 価値判断の根拠 （例えば，「糖尿病患者がケーキをたべてはまずい」 の「まずい」）を表す入力中の表現を特定するため 追加的なアノテーション等も行ったが, それらの追加アノテーションや各種モジュールを使用しなくて も，BERT がいわゆる end-to-end でょり高い精度を 達成できたことは興味深い。

## 2 データセットの構築

本研究で構築した OFQA データセットは, 質問・回答候補・回答候補が抽出された文（以下，元文） の 3 つ組と, 質問に対し回答候補が適切か否かの二值ラベルで構成される. 本研究では, 関らのファク

トイド $\mathrm{QA}$ (以降, $\mathrm{FQA}$ と呼ぶ. 価値判断は考慮さ れていない) データセット [1] の訓練事例から抽出 した 7,887 事例（抽出条件の詳細は付録を参照）と，大規模情報分析システム WISDOM X[2][3] で新規に 収集したファクトイド質問応答の出力からデータ セットを作成する．WISDOM X は，ユーザから与 えられた質問からバイナリパタンもしくはユナリパ タンと呼ばれるパタンを抽出し，それらパタンを用 いて Web 文書 40 億件から回答候補を検索する．表 1 に検索結果の例を示す.

バイナリパタンとは，係り受けで繋がった 2 つの 変数化された名詞をもつ「A は B 引き起こす」の ようなパタンを指す [4]. ユナリパタンは 1 つの変数化された名詞をもつ「Aを引き起こす」のよう な形式で表されるパタンを指す. WISDOM X では， Web40 億文書に形態素解析など処理を行い，バイナ リ（ユナリ）パタンを抽出し，検索用インデックス を構築する。検索の際は，与えられた質問からパ夕 ンとパタンの変数に当てはまる名詞（例 : A が B を 食べる, $\mathrm{A}=$ 糖尿病患者）を抽出し，検索用インデッ クスに照合して回答候補を検索する。また，柔軟な 照合を行うために，抽出されたパタンと含意関係に あるパタンも利用して回答候補を検索する [4].こ うしたパタンを用いることで単純に名詞等でキー ワード検索するよりも，より少数の，正解の可能性 が高い回答候補を絞り込むことができる.

アノテーション作業では, 表 2 に示したような質問, 回答候補, 元文の 3 つ組を対象に, 質問に対し て回答候補が適切か否かを判定する。ただし，質問

は「といい？」といったような表現で表される価値判断を伴う質問となっているため，その価値判断も 含めて判定を行う．例えば，この表の質問に対して は, 表 1 にある元文から抽出された回答候補「ケー キ」は「糖尿病患者が食べるといいもの」ではない ので，正解とはみなされない.

 \\

また, 上記のアノテーション作業時, 元文中に回答候補の価值判断の根拠（以降，根拠表現と呼ぶ） があれば，その根拠表現を特定する作業も同時に行 なった，表 2 の例では，「血糖値を下げるのに効果的です」が根拠表現となる. 抽出した根拠表現は後述する比較手法で用いる.

質問文については，Web40 億文書から質問文を疑問代名詞の有無など簡単なルールで抽出した後, 質問一般性判定によるフィルタリングを行なった。こ の判定では，例えば「IOT で何が変わるのか？」の ように，質問文が単独で知識，意見を求めている質問として成立していれば質問一般性が成り立つと判断する。一方, 「この英単語の意味わかりますか?」 のように，文脈がないと理解できない質問について は質問一般性が成り立たないと判断する. 本研究で は, NICT が開発した BERT ベースの質問一般性判定モデルを用いて質問一般性を判定する. 判定の結果，約 161 万件のファクトイド質問が獲得できた。

このようにして得られたファクトイド質問につい て, UniLM[5] を用いた質問変換器で WISDOM X で 検索しやすい形式の質問に言い換えた質問を作成す る. 例えば， Webから抽出した質問が「Q1. 糖尿病患者って何を食べるんですかねえ？」だとすると，「糖尿病患者は何を食べる？」のように言い換えた 質問を作成する．ついで，言い換え後の質問に「と いい？」または「とまずい？」のいずれか，価値判断を表す表現をランダムに選んで付加し, 価値判断 を伴う質問を作成する．なお，「といい？」といっ た表現を付加すると不自然な質問となる場合がある ため，最終的に人手で質問が意味的に自然か否かを 判定した。約 161 万件のファクトイド質問からサン プリングした 10,000 件の質問に対して上記判定を 行い，7,643 件の質問を得た。

ついで，WISDOM X は価值判断を伴う質問に対応していないため,「といい？」あるいは「とまず い?」を付加する前段階の質問について，WISDOM $\mathrm{X}$ で回答候補と元文を検索する．質問あたりの回答候補の検索上限数は 10 件とし, 回答が重複しない ようにした。この結果, 7,643 質問に対し 29,659 件 の回答候補と元文の組が収集できた。

これらの回答候補には，価值判断を考慮しなくて も正解とは言えない回答候補も含まれる. そうした 回答候補を大量にアノテーションするのは効率が悪 いため, 関らの FQA 分類器 [1] を用い, 価値判断を 考慮しない場合に正解とみなされる事例のみをアノ テーションすることにした。さらに，元文に根拠表現が含まれる可能性の高い事例を抽出するため，元文の末尾の表現に着目してフィルタリングを行っ た (詳細は付録参照). 最終的に, 5,273 件の質問,回答候補，元文の組が得られた。一方，評価時にこ のフィルタリングの影響を軽減するため, 本研究で は，1,774 件の質問・回答・元文の組をフィルタリン グ抜きで作成し, テストデータに加えた.

これらのデータに加えて, 関らの FQA データセッ 卜 [1] の訓練事例の正例から抽出した 7,887 事例を 加えて, 価値判断も考慮した正例/負例のアノテー ション, さらには前述した価值判断の根拠の特定の アノテーションを行った. 回答候補の適切さ及び根拠表現の特定のアノテーションは一つのインスタン スに対して，3名のアノテータが行い，正例／負例 のラベルは多数決で決定した．異なるアノテータに よるラベルの一致度を示すカッパ値はテストデータ に追加したフィルタリングしていないデータに関し てが 0.53 , それ以外が 0.57 であり，良好なアノテー ションであると考える。ついで，質問が重複しない ようにこれらのデータを以下の表 3 にあるように訓練, 開発，テストの 3 種に分割した。

## 3 手法

本研究では, 提案手法, 自明なべースライン手法 の他に比較手法として複数のモジュールを組み合 わせたパイプライン方式も二つテストした。以下 では，まず，それらのパイプライン方式を説明す る. なお，提案手法も含めて，以下で述べるべース

ライン, 比較手法で使われている各モジュールは, すべて全て 22 億文からなる因果関係文を含む Web コーパス（サイズは約 353GB）[6] で事前学習した

## 3.1 比較手法

図 1 根拠表現を用いるパイプライン方式

パイプライン方式の一つ目は，ファクトイド $\mathrm{QA}$ モデル [1], 根拠表現抽出器, センチメント分析を 組み合わせたパイプライン方式である（図 1).こ の手法では，ファクトイド $\mathrm{QA}$ モデルで正解とされ た回答に関して, 根拠表現抽出器を用いて価値判断 の根拠を特定し，その根拠のセンチメントが質問の 価值判断と一致している場合（つまり，「といい?」 の質問に対しては positive なセンチメント，「とまず い?」の質問に対しては negative なセンチメント) のみ，回答を正解とする.

ファクトイド $\mathrm{QA}$ モデルは BERT を関らの FQA のデータセットと OFQA データセットの二つでマル チタスクで fine-tuning したものを用いる. 根拠表現抽出器には BERT のトークン分類モデル（つまり，各トークンの出力に二値の softmax を接続し，その トークンが根拠表現にふくまれるかどうか判定する モデル）を用い，前述したように，データセットに 付与された価值判断の根拠表現で fine-tuning した. センチメント分析器も同様に BERT を用いた二值分類器である. (詳細は付録).

もう一つのパイプライン手法は, ファクトイド $\mathrm{QA}$, WISDOMXのどうなる型 QA[7][8][6] とセンチ メント分析器のパイプライン方式である (図 2). WISDOM X のどうなる型 QA は「A とどうなる？」 というタイプの質問に A の因果的帰結で回答する サービスである．例えば，質問「糖尿病患者は何を 食べるといい?」と回答候補「ケーキ」から「糖尿病患者はケーキを食べるとどうなる？」というどう なる型質問を作成し検索すると, 「救急車で運ばれ

図 2 どうなる型 $\mathrm{QA}$ を用いるパイプライン方式

る」といった因果的な帰結句が得られるが，これら の帰結句は回答候補に対する価値判断の根拠とも考 えられる.この手法では，こうした見方に基づき，帰結句にセンチメント分析を適用した結果と質問の 価值判断が一致した回答で, ファクトイド $\mathrm{QA}$ が正例とみなした回答だけを正解とする. ファクトイド $\mathrm{QA}$ とセンチメント分析器は前述したものを再利用 した.

## 3.2 提案手法

本節では, 提案手法として, BERT の一段階目の ファインチューニングを OFQA と異なるタスク，二段階目を OFQA で学習する二段階 fine-tuning を提案する。より具体的には, 関らの FQA データセッ ト [1] と, Hashimoto らの因果関係認識データセッ ト [7] を合わせたデータで一段階目の fine-tuning を 行い, FQA と因果関係認識に対する性能の平均が最 も性能の高いモデルを二段階目の fine-tuning に用い た。価値判断を伴わない FQA と OFQA では回答が 正解となる基準は異なるが，どちらもファクトイド 質問を対象とした質問応答であり, 必要とする知識 も共通する部分があると考えられる。また，前述し たように，元文中の回答候補にまつわる表現の因果的帰結 (「糖尿病患者がケーキを食べる」に対して 「救急車で運ばれる」）は価值判断と密接に関係があ ると考えることもできる。提案手法では，これら の仮説に基づき FQA と因果関係認識のデータセッ トで一段階目の fine-tuningを行い，それらのデータ セットが含む知識を OFQA で使うことを狙う。

## 4 実験

提案手法及びベースライン, パイプライン方式 の比較手法で用いる FQA モデルの fine-tuning 時に は表 6 （付録を参照）のパラメータを探索した。前
述したパイプライン方式の比較手法の他に, ベー スライン手法として前述した BERT $\mathrm{BARGE}$ を (1) 関 らの FQA データセット, (2) OFQA データセット, (3)FQA データセットと OFQA をマージしたデータ （FQA+OFQA）の 3 通りのデータセットで fine-tuning をしたモデル, また, (4) 提案手法で用いた因果関係，FQA，OFQA を段階を踏んで fine-tuning をする のではなく, 一気にマルチタスクで学習したモデル の 4 種類を評価した。

表 4 に OFQA のテストデータに対する実験結果を 示す. なお, 実験時間が足りなかったため, パイプ ライン（どうなる型 $\mathrm{QA}$ ）は OFQA のテストデータ の一部（1,774 件）に対する実験結果である. 提案手法 (テストデータ一部) はそれとの比較のため, 提案手法を同じテストデータで評価したものとなる. また, 提案手法 (-因果関係) は, 提案手法の 1 段回目の fine-tuning 時に因果関係のデータセットを使わ なかったモデルである.

表 4 OFQAのテストデータで評価した結果

提案手法の精度はベースラインも含め比較手法の いずれをも上回った. 特に, 提案手法が (4) マルチ タスク及び提案手法 (-因果関係) の性能を上回った ことはそれぞれ 2 段階 fine-tuning, 因果関係データ セットの有効性を示している。特に, 因果関係とい う一見 OFQA，ファクトイド $\mathrm{QA}$ とかけ離れたデー タセットがポジティブな影響を持っていることは興味深い. また, パイプライン手法は二つとも提案手法よりも高い精度を達成することはできなかった。 これはこれらのパイプライン手法が根拠表現やセン チメント，さらには因果関係に関係する別のデータ で学習した各種モジュールを使っていることを考 えると興味深い。つまり, この結果は, OFQA デー タセットだけから BERT が学習した価値判断の方 が, 少なくとも我々の設定では, それらの追加の学習データで別途学習した内容よりも高品質であるこ とを意味しており, BERT の end-to-end 学習の強力 さを示すものであると考えられる.
また, FQAのみで学習したべースライン (1) は 精度が極めて低く, OFQA+FQA の組み合わせ (3) がベースラインの中では一番精度が高い。なお， OFQA で高い精度を達成するためには, そのベース となっている価値判断の判定と, そもそも価值判断 を考慮せずに FQA の正解を正しく認識することの 両者が必要であると考えることができる.ここで, OFQA のデータセットはあくまで価値判断の判定を 適切に学習することに貢献しているのであって, 価值判断を考慮しない FQA の精度向上によって間接的に OFQA タスクの精度向上を果たしているわけ ではないことを確認するため, 追加で以下の実験 を行った。この実験では，（価值判断を考慮しない） FQA のテストデータでベースラインの精度を評価 した。（表 5).

表 5 FQAのテストデータで評価した結果

これによると, OFQA だけで学習したべースライ

(2) も, FQA と OFQA の両者で学習したベースラ イン (3)も，FQA だけで学習したベースライン (1) の性能を下回った。これは, OFQA のデータセット は価値判断を考慮しない FQA の性能向上には貢献 しないことを示している.このことから，FQAを学習データに追加することで学習されているのは確か に価值判断であることが分かる.

## 5 おわりに

本研究では「価値判断を伴うファクトイド質問」 を新たなタスクとして提案し，データセットを作成 の上，そのタスクのための質問応答モデルを開発し た. 因果関係認識や FQA といった別タスクの学習 データを利用することで性能が向上することを示し た.モデルは BERTをいわば end-to-end で学習した ものであり, 別途アノテーションした価値判断の根拠やセンチメント分析を利用したパイプライン方式 よりも精度が高かった。これはいわば，このタスク においてはパイプライン方式を考えた人間の開発者 を BERT が上回ってしまったと考えることもできる かもしれない.

## 参考文献

[1] 関直哉, 水野淳太, 門脇一真, 飯田龍, 鳥澤健太郎. ファクトイド質問応答における BERT の pre-trained モデルの影響の分析. 言語処理学会第 26 回年次大会, 2020

[2] Masahiro Tanaka, Stijn De Saeger, Kiyonori Ohtake, Chikara Hashimoto, Makoto Hijiya, Hideaki Fujii, and Kentaro Torisawa. WISDOM2013: A large-scale web information analysis system. In The Companion Volume of the Proceedings of IJCNLP 2013: System Demonstrations, pp. 45-48, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[3] Junta Mizuno, Masahiro Tanaka, Kiyonori Ohtake, JongHoon Oh, Julien Kloetzer, Chikara Hashimoto, and Kentaro Torisawa. WISDOM X, DISAANA and D-SUMM: Large-scale NLP systems for analyzing textual big data. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 263-267, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[4] Julien Kloetzer, Stijn De Saeger, Kentaro Torisawa, Chikara Hashimoto, Jong-Hoon Oh, Motoki Sano, and Kiyonori Ohtake. Two-stage method for large-scale acquisition of contradiction pattern pairs using entailment. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 693-703, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[5] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and HsiaoWuen Hon. Unified language model pre-training for natural language understanding and generation. In 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), December 2019

[6] Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, JongHoon Oh, and Julien Kloetzer. Event causality recognition exploiting multiple annotators' judgments and background knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5816-5822, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 987-997, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[8] Canasai Kruengkrai, Kentaro Torisawa, Chikara Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks, 2017.
[9] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: $100,000+$ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[10] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics.

## 付録

## A データ収集

Web から抽出した質問には不要な記号（「れ」,「个」,「*」,「Q1.」等）や質問の内容に大きく影響しない単語列（「ところ で」,「そもそも」,「技術における企業の最責任者, C T Oの仕事 とは？」の下線部等)が含まれ，そのまま WISDOM X に入力す ると十分な数の回答候補が得られない可能性がある. そこで， Web から抽出した質問を対象に，不要な部分を取り除いて簡単な 形式に言い換えた質問を生成する。言い換えた質問の生成には NICT が開発した UniLM[5] ベースの質問変換器を用いた.

末尾表現は，WISDOM X のファクトイド質問応答で用いられ るバイナリ (ユナリ) パタン [4] が合致した箇所以降の単語列を 指す. 表 1 の例では「が，まずいと思います.」が末尾表現とな る. 回答候補に対する価值判断の根拠は, この末尾表現に出現し やすいと考えられるため，2 節のデータ収集では，価值判断の根拠が含まれる可能性の低い未尾表現が 4 文字未満の事例は取り除 いた.

本研究では, 関らの FQA データセットの訓練事例 174,765 事例から，（1）回答候補がユナリパタン [4] で抽出されている, （2）回答候補が正解である，（3）元文の末尾表現が 4 文字以上存在する，（4）質問一般性が成り立つ，の条件を全て満たす事例 を抽出する。（4）について，FQA データセットの質問の一部は WISDOM X によりルールベースで生成されており，文法的，意味的に不自然な質問が含まれる場合があるため, 質問一般性判定 によりフィルタリングを行う．（1）から（4）の条件で抽出した 結果, 7,887 件の質問, 回答候補, 元文の組が得られた.次に，質問に「といい？」もしくは「とまずい？」を付加して 価値判断を伴う質問を作成する.「といい?」「とまずい?」のど ちらを付加するかは, 組となる元文の末尾表現のセンチメントで 決定し，センチメントがポジティブであれば「といい?」を，ネ ガティブあれば「とまずい?」を質問に付加する．センチメント の特定には BERT ベースのセンチメント二值分類器を用いた（C を参照). 最後に，価値判断を伴う質問，回答候補，元文を組と しアノテーション作業を行なった。

## B fine-tuning のパラメータ探索

本研究では, 表 6 のパラメータの組み合わせに対し個別に fine-tuning し, 開発データで $\mathrm{F} 1$ スコアが最も高いモデルを選択 した.

表 6 fine-tuning のパラメータ探索

## C センチメント分析

本研究では, センチメント分析を事象を表す文が与えられた 際，その事象がポジティブなのかネガティブなのかを分類する 二值分類のタスクとする．センチメント分析モデルは， NICT が

データセットは NICT がクロールした Web40 億文書から抽出さ れた事象と事象に対する感情表現のペアから作成されたセンチ メント分析データセットを用いる（表 7)。上記データセットで 学習したモデルをテストデータで評価すると非常に高い精度で センチメントを分類できていることが分かる（表 8）。

表 7 センチメント分析データセットの統計値

表 8 センチメント分析モデルの性能

## D 根拠表現抽出

本研究では，(1) 最長一致 (longest) と完全一致 (exact), (2) minor,（3）ofqa-neg の条件を組み合わせて根拠箇所を選択し，根拠表現抽出データセットを作成した。

最長一致は，アノテータが抽出した根拠箇所が一部重なる 場合，重複しない部分も含めた最長の単語列を根拠表現とす る。例えば，根拠表現として「ビタミン C が豊富に含まれ，美容にも良い」,「美容にも良いし, 風邪予防にもなる.」という 単語列が抽出された場合, 「ビタミン $\mathrm{C}$ が豊富に含まれ，美容 にも良いし，風邪予防にもなる.」を根拠表現とする。完全一致は, アノテータが抽出した根拠箇所のうち, 重複する単語列 （「美容にも良い」）を選択する．minor は，（1）で根拠箇所が決ま らなかった場合に，（1）で最終的に洗濯されなかった根拠表現， アノテータ 3 人のうち 1 人のみが抽出している根拠表現からラン ダムに 1 つを選択する. ofqa-neg は，回答候補が適切な事例に対 し抽出された根拠表現に加え，回答候補が不適切な事例に対し抽出された根拠表現も利用する。

本研究では, 予備実験において最も性能が高かった exact+minor+ofqa-neg の組み合わせを用いる. 表 9 に根拠表現抽出データセットの統計値を示す.

根拠表現抽出に用いるトークン分類モデルの入力は質問・回答候補・元文の 3 つ組とし，「〈質問の単語列〉 $[\mathrm{SEP}]$ 〈回答候補の 単語列 〉[SEP] 〈元文の単語列〉」の形式で入力する. 評価指標は SQuAD[9][10] の評価に用いられる Exact Match(EM)，F1 スコアを 用いる. パイプライン手法で用いた根拠表現抽出器を根拠表現抽出データのテストデータで評価すると, EMで 76.6, F1 スコア で 80.8 の性能が得られた.

 \\

開発 & 1,648 & $491(29.8 \%)$ \\
テスト & 5,064 & $1,366(27.0 \%)$


# 変分質問回答ペア生成による質問応答モデルの 汎化性能と頑健性の向上

篠田一聡†菅原朔
$\dagger$ 東京大学大学院情報理工学系研究科 $\ddagger$ 国立情報学研究所
shinoda@is.s.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp

## 1 はじめに

文章を読解して質問に答えるシステムを作るた めに機械読解の研究が盛んに行われている $[1,2,3]$. そのためにはニューラルネットを訓練するための 大量の質問回答ペアが必要であるが，その作成には 膨大な人手コストを要する。そこでコスト削減のた め，自動で質問回答ぺアを生成してデータ拡張を行 う研究が注目を集めている $[4,5,6]$.

一方で質問応答モデルが訓練データと違う分布の 分布外 (out-of-distribution; OOD) データセットには汎化しないこと [7] や質問応答モデルが頑健ではない 困難なテストデータが存在すること $[8,9,10]$ も実用上問題である. データ拡張を適切に行えばモデルの 過学習を回避してこれらの問題を解決できる可能性 がある $[10,8]$ が，質問回答ペア生成の既存研究では このような特性はあまり注目されて来なかった。

本研究では，データ拡張によって訓練データの質問回答ペアの多様性を向上することで，質問応答モ デルの汎化性能と頑健性の向上を目指す. 訓練デー タの多様性を向上するために, 多様な質問回答ペア を生成する「変分質問回答ペア生成モデル」を提案 する. 評価用データセットには分布内テストデータ に加えて，分布外テストデータと困難なテストデー タを用いて汎化性能と頑健性を評価する. 本研究の 貢献は以下の 3 点である.

・変分質問回答ペア生成モデルを提案し，既存の モデルに比べて質問回答ペアの多様性を大幅に 向上させた. このモデルを用いて合成データ セットを作成した.

・作成した合成データセットでデータ拡張を行っ た結果，分布内テストデータにおいて既存の 質問回答ペア生成手法に比肩する結果が得ら れた。

・ターゲットの分布がモデルにとって未知である
にも関わらず，提案手法は分布外テストデータ への汎化性能と困難なテストデータへの頑健性 の向上に寄与することがわかった.

## 2 変分質問回答ペア生成モデル

条件付き変分自己符号化器を拡張することで，多様な質問回答ぺアを単一の文章から生成可能な深層生成モデルを提案する. SQuAD [1] などの人が作成 した質問応答データセットでは，一つの文章 $c$ に複数の回答 $a$ が存在し, 文章と回答のぺアに対して複数の質問 $q$ が作成されうることから，回答と質問を それぞれ異なる潜在空間に埋め込むことが妥当であ ると考えられる。従って，2つの互いに独立な連続潜在変数 $z$ と $y$ を導入し, 回答と質問を多様化する 役割をそれぞれに持たせる．以下の章ではモデルの 詳細について説明する。

## 2.1 目的関数

提案モデルは確率的潜在変数を含むため，対数周辺尤度を直接計算することができない. その代わり にその変分下限を最大化することで訓練ができる. しかし, 変分自己符号化器の変分下限を最大化する と KL 項の值が 0 に収束して復号化器の出力が潜在変数によらず一定になってしまう posterior collapse 問題が起こることが知られている [11]. 提案モデル でもその現象が確認されたため，この問題を回避す るために Burgess ら [12] によって提案された KL 項 の値を明示的に制御する手法を用いる。よって，提案モデルの目的関数 $\mathscr{L}$ は以下のようになる.

$
\begin{aligned}
& \mathscr{L}=\mathbb{E}_{q_{\phi}(z, y \mid q, a, c)}\left[\log p_{\theta}(q \mid y, a, c)+\log p_{\theta}(a \mid z, c)\right] \\
& -\left|D_{\mathrm{KL}}\left(q_{\phi}(z \mid a, c)|| p_{\theta}(z \mid c)\right)-C_{a}\right| \\
& -\left|D_{\mathrm{KL}}\left(q_{\phi}(y \mid q, c)|| p_{\theta}(y \mid c)\right)-C_{q}\right|
\end{aligned}
$

$\theta$ は復号化器の, $\phi$ は符号化器のパラメータであ, $D_{\mathrm{KL}}$ は KL ダイバージェンス, $C_{a}, C_{q} \geq 0$ は KL 項

図 1 提案モデルの全体像. 各構成要素の入力と出力が矢印とともに示されている.

の值を制御するためのハイパーパラメータである.

## 2.2 モデル構造

モデルの全体像を図 1 に示す. 以下各構成要素に ついて説明する。

## 2.2.1 Embedding and Contextual Embedding Layer

文章/質問/回答中の各単語の埋め込みベクトル と文字レベル埋め込みベクトルを結合し，異なる BiLSTM に入力する. 双方向の LSTM の最終時刻の 隠れ状態べクトルを連結したものを $h \in \mathbb{R}^{2 d}$, 各時刻の隠れ状態べクトルを連結したものを $H \in \mathbb{R}^{L \times 2 d}$ とする. 図 1 ではこれらがどの入力から得られたも のかを示すために右肩に添字を付した． $L$ は系列の 長さで $d$ は隠れ状態べクトルの次元数である.

## 2.2.2 Prior and Posterior Distributions

潜在変数の事前確率と事後確率は分散共分散行列 は対角行列の多変量正規分布に従うと仮定する. 潜在変数 $z$ と $y$ の事前確率と事後確率の平均と分散の 対数は $h^{C}, h^{Q}, h^{A}$ を線形層に入力して得られる. そ の後に，サンプリングされた $z$ と $y$ はそれぞれ回答抽出モデルと質問生成モデルに入力する.

## 2.2.3 Answer Extraction Model

ここでは回答抽出を 2 ステップの自己回帰的な復号とみなして, 回答の確率を $p(a \mid c)=$ $p\left(c_{\text {start }} \mid c\right) p\left(c_{\text {end }} \mid c_{\text {start }}, c\right)$ のようにして求める. 回答抽出モデルには，潜在変数 $z$ を線形層に入力して 得られる出力を初期状態の隠れ状態べクトルとする ように pointer network を拡張したものを用いる.こ
の拡張によって潜在変数 $z$ から回答 $a$ への写像を学習することが可能になる． $H^{C}$ を attention スコアの 計算に用いる。

## 2.2.4 Answer-aware Context Encoder

回答の位置を考慮した文章についての情報を得 るために，さらに BiLSTM を用いる． $H^{C}$ に回答の 始点と終点の one-hot ゙クトルを連結したものを BiLSTM に入力し，各時刻の双方向の隠れ状態べク トルを連結して $H^{C A} \in \mathbb{R}^{L \times 2 d}$ を出力として得る.

## 2.2.5 Question Generation Model

潜在変数 $y$ と $H^{C A}$ を元に質問を生成する. 質問生成モデルには LSTM 復号化器と注意機構，コピー 機構 [13] を用いて質問中の単語を先頭から順に予測 する.ここでも $y$ を線形層に入力して得られる出力 を復号化器の初期状態の隠れ状態べクトルとする拡張を行う。 $H^{C A}$ は注意機構とコピー機構で用いる。

## 3 実験・結果

## 3.1 データセット

データセットには Wikipedia の文章からクラウド ワーカーが作成した約 10 万の質問回答ペアからな る SQuAD v1.1 [1]を用いる. SQuAD はテストデー タが公開されていないため，質問生成の先行研究 でよく用いられる SQuAD-Du [14]を用いる. デー タのサイズは訓練データが 70,484 ，検証データが 10,570 ，テストデータが 11,877 である.

## 3.2 回答抽出

提案モデルが抽出した回答と SQuAD-Du の回答 の一致度に加えて，抽出された回答の多様性を検証 するために，提案モデルで各文章から 50 の回答を ランダムに抽出した． $C_{a}$ は様々な値を検証したが，紙幅の関係で限られた値の結果のみ報告する。

評価指標 回答同士の一致度の評価には Proportional Overlap (Prop.) と Exact Match (Exact) を用いた [5]. それぞれの指標について Precision と Recall を 計算して多対多の評価に用いる。多様性の評価には 抽出された回答から重複を省いた後の総数を Dist ス コアとして定義して用いた。

ベースライン 固有表現抽出 (NER) と, BiLSTM$\mathrm{CRF}$ で回答抽出を学習している HarestingQG (HarQG) [5] をべースラインに用いた.

表 1 テストデータにおける回答抽出の結果.

表 2 テストデータにおける質問生成の結果.

結果 表 1 に結果を示す. $C_{a}$ を適切な値に設定 することで，先述の posterior collapse 問題を回避し て多様性を向上しつつより高い再現度を達成し た. SQuAD-Duよりも多様性が向上しているため, Precision の低さは必ずしも抽出された回答の質が低 いことを意味しないと考える。

## 3.3 質問生成

参照質問の再現度と生成された質問の多様性を評価するために，文章と回答を入力としてランダムに 50 の質問を生成させた.

評価指標 再現度の評価には BLEU-1 (B1) / Meteor (ME) / ROUGE-L (RL) の Recall (-R), 多様性の評価 には Dist-1 (D1) / Ent-4 (E4) / Self-BLEU-4 (SB4)を用 いた.

ベースライン SemanticQG (SemQG) [6] をベース ラインとして用いる. 提案手法と公平な比較をする ために, Diverse Beam search で復号を行い，スコア の高い 50 の質問文を各入力について生成した.

結果 表 2 に結果を示す. 提案モデルは既存手法 に比べて多様な質問を生成できている。 また，提案手法の B1/ME/RL の Recall が SemQG のビーム幅 10 の時のスコア 48.59/24.86/46.66 と同等であることか ら，各入力につき少なくとも 1 つはべースラインに 匹敵するスコアの質問を提案モデルが生成できてい ることが分かる. $C_{q}$ が 0 の時に SB4 が 100 に近い
ということは各入力に対してほとんど同じ質問ばか り生成しており, posterior collapse 問題が起きている が， $C_{q}$ を適切な值に設定することでそれを回避で きている。

## 3.4 合成データセットの構築

以上の結果から，複数の設定で構築したモデルで 生成すればより多様なデータが得られると考えら れる。 そこで $\left(C_{a}, C_{q}\right)=(5,5),(5,20),(20,20)$ の 3 つ の設定でモデルを構築し, 訓練データ中の各文章 からそれぞれランダムに 50 の質問回答ペアを生成 した. 得られた合成データセットをそれぞれ $D_{5,5}$, $\mathscr{D}_{5,20}, \mathscr{D}_{20,20}$ とおく. 人手評価（付録 B）によると これらは質の低いデータを含むため，回答が長すぎ るもの，質問が短すぎるか長すぎるもの，疑問詞を 含まないものを省き，質問文中の n-gram の繰り返 しを削除した．以下では基本的にこれら 3 つのデー タセットを混合したものをデータ拡張に用いる.

## 3.5 質問応答

質問回答ペア生成の既存研究に従って BERT-base [15] を質問応答モデルとして使う。 ハイパーパラ メータは元論文に準拠する。データ拡張を行う際は 合成データセットで 1 エポック学習した後にオリジ ナルの訓練データで 2 エポック学習する． $83.2,3.3$ と同様 HarQG と SemQG をべースラインに用いる.

## 3.5.1 半教師あり質問応答

質問回答ペア生成によるデータ拡張（半教師あり 質問応答）の評価を行う. 表 4 に半教師あり質問応答の結果を示す. 提案手法は SemQG に匹敵する精度向上を達成した. BERT-base よりパラメータ数の 多い BERT-large についても同様の実験を行ったが, いずれの手法でも精度向上は見られなかった.

提案した各合成データセットが精度にどれくらい 寄与しているかについて分析するために検証データ でアブレーションを行った. その結果，3つのうち どの合成データセットを除いても EM / F1 スコアが 0.3 / 0.1 0.3 ポイント 減少した. 詳しい結果は付録 Aに載せる. よっていずれの合成データセットも精度向上に寄与していることが分かる。

## 3.5 .2 分布外データセットへの汎化

既存研究において質問応答モデルは分布外データ セットに対してうまく汎化できないことがわかって

表 3 質問応答モデルの汎化性能と頑健性の評価

表 4 半教師あり学習

いる $[7,16]$. ここでは提案手法が分布外データセッ トへの汎化性能を向上するかを評価する．評価用 データセットには NewsQA [2], TriviaQA [3], Natural Questions (NQ) [17]を用いる。NQについては Sen ら [16] に倣って長い回答から短い回答を抽出するタス クに再定式化した。参考としてそれぞれのテスト データと同じ分布の訓練データ（Target）で質問応答モデルを訓練した時の精度も報告する.

表 3 の左に結果を示す. 提案手法は TriviaQA で は最も高い精度を達成し，NQでは SemQG に匹敵 する精度となった. NewsQA ではほとんど向上は見 られなかった. Wikipedia 以外のニュース記事等の 文章を活用することが必要だと考えられる.

## 3.5.3 困難なテストデータへの頑健性

3 種類の困難なテストデータを用いて質問応答モ デルの頑健性を評価する.
- 質問のパラフレーズ [8]: SQuAD の質問のパラ フレーズ（non-Adv）と本来の回答と似ている 回答の近くの単語を使って敵対的に作成したパ ラフレーズ（Adv）の2つのテストデータ

・難しい質問 [9]: SQuAD の検証データを単純な ヒューリスティクスで分割して得られる簡単 な質問（Easy）と難しい質問（Hard）のサブ セット

・一貫性を要する質問 [10]: SQuAD の質問回答ぺ アを含意する質問回答ペアからなるテストセッ

## 卜 (Implications)

結果表 3 の右に結果を示す. non-Adv, Adv, Hard, Implications のすべての困難なテストデータにおい て提案手法がもっとも頑健性の向上に寄与すること がわかった. また表 4 で SemQG と提案手法は同等 の精度であったが，表 3 によると SemQG は Easy の みで精度を向上させている一方で，提案手法は Easy と Hard 双方で精度を向上させる効果があることが 分かる. SemQG はより SQuAD に近い質問を生成す ることを目的としている [6] ことから，合成データ セットの質の向上よりも多様性の向上の方がより頑健性の向上に寄与する可能性が示唆される.

## 4 おわりに

本研究では多様な質問回答ペアを生成可能なモ デルを提案し，合成データセットを構築した. こ れを用いた半教師あり学習において既存手法と匹敵する精度を達成した。そして提案手法は分布外 データセットへの汎化性能だけでなく困難なテス トデータへの頑健性の向上に寄与することがわ かった. 質問応答のための質問回答ペア生成の研究 $[5,6,18,19,20]$ の中ではこのような結果を報告して いる研究は本研究が初であり，質問回答ペアの多様性の向上がもたらす効果について新しい知見が得ら れた。さらに提案したデータ拡張手法は多様性の向上のみを目的としており，既存手法 $[10,8]$ とは異な りターゲット分布を意識したデータ拡張手法ではな いことも注目すべきである．実応用においてモデル が答えることが困難な質問を訓練時に事前に知って おくことは困難なため，訓練時にターゲット分布が 未知なままそれらへの汎化性能を向上させることは 重要である．BERT-large のようなパラメータ数の多 いモデルへのデータ拡張手法の考案は今後の課題と したい.

## 参考文献

[1]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 23832392. Association for Computational Linguistics, 2016.

[2]Adam Trischler, Tong Wang, Xingdi Yuan, Justin Harris, Alessandro Sordoni, Philip Bachman, and Kaheer Suleman. Newsqa: A machine comprehension dataset. In Proceedings of the 2nd Workshop on Representation Learning for NLP, pages 191-200. Association for Computational Linguistics, 2017.

[3]Mandar Joshi, Eunsol Choi, Daniel S. Weld, and Luke Zettlemoyer. Triviaqa: A large scale distantly supervised challenge dataset for reading comprehension. CoRR, abs/1705.03551, 2017.

[4]Zhilin Yang, Junjie Hu, Ruslan Salakhutdinov, and William Cohen. Semi-supervised qa with generative domain-adaptive nets. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1040-1050. Association for Computational Linguistics, 2017.

[5]Xinya Du and Claire Cardie. Harvesting paragraph-level question-answer pairs from wikipedia. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1907-1917. Association for Computational Linguistics, 2018.

[6]Shiyue Zhang and Mohit Bansal. Addressing semantic drift in question generation for semi-supervised question answering. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pages 2495-2509, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7]Alon Talmor and Jonathan Berant. MultiQA: An empirical investigation of generalization and transfer in reading comprehension. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 49114921, Florence, Italy, July 2019. Association for Computational Linguistics.

[8]Wee Chung Gan and Hwee Tou Ng. Improving the robustness of question answering systems to question paraphrasing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, July 2019.

[9]Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4208-4219, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[10]Marco Tulio Ribeiro, Carlos Guestrin, and Sameer Singh. Are red roses red? evaluating consistency of question-answering models. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 6174-6184, Florence, Italy, July 2019. Association for Computational Linguistics.

[11]Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai,
Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pages 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12]Christopher P. Burgess, Irina Higgins, Arka Pal, Loic Matthey, Nick Watters, Guillaume Desjardins, and Alexander Lerchner. Understanding disentangling in $\beta$-VAE. arXiv e-prints, page arXiv:1804.03599, Apr 2018.

[13]Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1073-1083. Association for Computational Linguistics, 2017.

[14]Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1342-1352. Association for Computational Linguistics, 2017.

[15]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16]Priyanka Sen and Amir Saffari. What do models learn from question answering datasets? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 2429-2438, Online, November 2020. Association for Computational Linguistics.

[17]Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Matthew Kelcey, Jacob Devlin, Kenton Lee, Kristina N. Toutanova, Llion Jones, Ming-Wei Chang, Andrew Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: a benchmark for question answering research. Transactions of the Association of Computational Linguistics, 2019.

[18]Chris Alberti, Daniel Andor, Emily Pitler, Jacob Devlin, and Michael Collins. Synthetic QA Corpora Generation with Roundtrip Consistency. arXiv e-prints, page arXiv:1906.05416, Jun 2019

[19]Bang Liu, Haojie Wei, Di Niu, Haolan Chen, and Yancheng He. Asking questions the human way: Scalable questionanswer generation from text corpus. In Proceedings of The Web Conference 2020, WWW' 20, page 2032-2043, New York, NY, USA, 2020. Association for Computing Machinery.

[20]Dong Bok Lee, Seanie Lee, Woo Tae Jeong, Donghwan Kim, and Sung Ju Hwang. Generating diverse and consistent QA pairs from contexts with information-maximizing hierarchical conditional VAEs. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 208-224, Online, July 2020. Association for Computational Linguistics.

## A アブレーション

表 5 にアブレーション結果を示す.

表 5 検証データでのアブレーション

## B 人手評価

表 6 に人手評価の結果を示す. ベースラインに SemQG を用いた. Amazon Mechanical Turk (AMT) を 用いて SQuAD は 100 ，その他は 200 ずつ質問回答 ペアを評価した. 項目は質問が文法的におかしくな くて意味がわかるかどうか，質問が文章と関連して いるかどうか，回答が質問に対する回答として正し いかどうか [19], 回答が文章のメイントピックに関連しているかどうかの 4 つである.

表 6 質問回答ペアの人手評価


# ゼロ代名詞デー夕拡張による日英機械翻訳の改善

李凌寒中澤敏明鶴岡 慶雅
東京大学大学院情報理工学系研究科
\{li0123, nakazawa, tsuruoka\}@logos.t.u-tokyo.ac.jp

## 1 はじめに

ニューラル機械翻訳は単文単位の翻訳において 高い性能を発揮する一方で、談話単位での文脈が関 わる言語現象を扱う点において未だ課題が残って いる。その課題の一つが日英翻訳におけるゼロ代名詞の翻訳である。日本語では文脈から聞き手が推定可能な主語や目的語を省略することができるが、こ れを英語に翻訳する際は省略された項を推定した上 で適切に翻訳しなければならない。例えば、以下の 例文では日本語で省略された主語が一人称である ことを推定して、英語では $I$ を出力しなければなら ない。

うなぎが食べたいな。

I feel like eating eel.

ゼロ代名詞の推定には、本質的には談話内におけ るトピック、旧情報、世界知識などを参照して可能 になるが、一方でゼロ代名詞を含む文内の言語学的 な情報が手がかりとなる場合もある [1]。例えば、上記の文では “たいな”という願望を表す機能語列 が、主語が一人称であることを示唆している。

この局所的文脈情報とゼロ代名詞の対応を学習す ることは、既存の単文単位でのニューラル機械翻訳 でも解決できるはずの問題であるが、低リソースの 状況下ではその対応を十分に学習できない可能性が ある。特に、ゼロ代名詞を多く含む傾向にある会話 ドメインの翻訳は、現状パラレルコーパスが豊富だ と言い難い状況にある。

従って、本研究では局所的文脈情報とゼロ代名詞、特に人称代名詞の翻訳の対応の学習を促進する 手法として、ゼロ代名詞データ拡張を提案する（図 1)。本手法では、訓練データを対象に翻訳元言語に 現れる人称代名詞を削除し、人工的にゼロ代名詞を 含むような翻訳対を作り出す。これにより局所的文脈情報とゼロ代名詞の対応を学習できるような訓練 データを増やすねらいがある。

図 1 ゼロ代名詞データ拡張。

本論文では、まず局所的文脈情報からある程度ゼ 口代名詞を予測できることを示した上で、実際にゼ 口代名詞データ拡張によって機械翻訳モデルのゼロ 代名詞予測の精度が上がることを示す。

## 2 関連研究

## 2.1 文脈つきニューラル機械翻訳

単文単位の翻訳品質が向上するのに従って、その 範囲で扱えないような文脈を考慮した翻訳をするモ デルの研究が近年盛んに行われている。最もシンプ ルなアプローチとして、モデルの構造は変えず、入力や出力を複数文に拡張した 2to1, 2to2 モデルが提案されており、文脈情報を捉えた翻訳の品質を向上 させることが示されている [2]。

## 2.2 ゼロ代名詞

日本語を始めとする一部の言語では述語の項が 省略されることがあり、省略された項をゼロ代名詞 (zero pronoun) と呼ぶ。この省略された項を同定する タスクはゼロ照応解析と呼ばれ以前から研究されて いるが [3]、本研究では特に翻訳におけるゼロ代名詞の問題について考える。

翻訳の際に問題となるのが、ゼロ代名詞が翻訳先 の言語では統語的に必須な要素である場合である。

この場合、翻訳の際に省略されたゼロ代名詞を補つ て翻訳する必要があり、これには翻訳元の文章に加 えて、その前の文章などの広い文脈情報が必要と なる。

一方で、文内に存在する局所的文脈情報が、決定的でないにしろ、手がかりになる場合もある $[1,4]$ 。例えば、日本語では敬語表現（「申し上げる」）や依頼表現（「〜してくれますか？」）などがゼロ代名詞 の推測に有用である。

本研究は、広い文脈情報を明示的にモデル化した り、ゼロ照応解析を明示的に行うことをせず、局所的文脈情報から推測できるゼロ代名詞の翻訳を向上 させることを主なねらいとする。同様の問題意識に 基づく研究として、Wang らによる対訳データのゼ 口代名詞を補ったデータを作成して訓練に使うも のがある [5, 6]。しかし、Wang らの手法では、対訳 データからゼロ代名詞を補うときに英文と中国語文 の単語アラインメントが対角線上に並ぶことが多い というヒューリスティクスを用いているが、この手法は語順が大きく異なる日英翻訳に適用すること が難しい。そこで本研究では、ゼロ代名詞を補った データを活用するのではなく、元々代名詞を含む文 からその代名詞を削除したデータを活用する、ゼロ 代名詞データ拡張を提案する。

## 2.3 デー夕拡張

データ拡張 (data augmentation) は画像分野で盛ん に行われており [7]、訓練データに対してタスクに おける意味を損なわない範囲での処理を施すことで データ量を増やす手法のことである。自然言語処理 の分野においては、入力文中の単語を同義語に置換 したり [8]、折り返し翻訳により同じ意味を持つ文 を生成することで [9]、データ拡張する手法が提案 されている。

本研究では、日英翻訳において、翻訳元の日本語 の代名詞を削除することで、翻訳元の文の意味を保存したままゼロ代名詞を含む文を獲得する。

## 3 ゼロ代名詞と局所的文脈情報の 分析

本研究は和文内の局所的文脈情報が、英文へと翻訳する際のゼロ代名詞の推定に有用であるという仮定に基づいている。そこで本節では、実際に局所的文脈情報からどの程度ゼロ代名詞を推定できるの か、またどのような局所的文脈情報が有用であるの

図 2 分析データ中の英語代名詞について、翻訳が和文に 現れるものと (Non-ZP) 現れないもの (ZP) の数。

かを分析する。

分析データとして日英ビジネスシーン対話コーパ ス [10] から公開されている対訳データに加えて、研究グループ内で使用できるものを合わせて 104,961 文対を用いた。

## 3.1 ゼロ代名詞を含む対訳を同定する

和文におけるゼロ代名詞の同定には日本語の構文解析器を用いる方法が考えられるが、今回は翻訳に 関わるゼロ代名詞を分析するため対訳コーパスから のアラインメントを活用した方法を採用する。具体的な手順は以下の通りである。

1. 分析用の対訳データから GIZA++1）を用いて 単語アラインメントを学習する。単語分割に は、和文に $\mathrm{Mecab}^{2)}$ 、英文に $\mathrm{spaCy}^{3}$ )を用いた。

2. 英文中の代名詞が和文の NULL に対応づけら れているとき、その英文での代名詞が和文では ゼロ代名詞として実現されているとみなす。

この結果、得られた代名詞の数を図 2 に示す。会話ドメインにおいては、一人称代名詞 $I$ や二人称代名詞 you が頻出かつ、日本語では省略されやすいこ とがわかる。また、基本的に英文では高頻度の代名詞ほど、日本語ではゼロ代名詞になることが示され ている。

## 3.2 ゼロ代名詞と共起している局所的文脈情報を抽出する

検出された和文のゼロ代名詞を特徴付けるため に、その述語部に現れる単語を抽出する。今回は日本語の構文解析器を用いておらず、ゼロ代名詞は英

文の代名詞とアラインメントで結び付けられている ため、英文の係り受け構造をアラインメントを通じ て和文に投影することで述語部を抽出する。前項ま での処理に引き続き、以下の手順で行った。

3. ゼロ代名詞に対応している英代名詞の係り受 け先の単語を抽出する。

4. その単語にアラインメントで対応づけられて いる和文中の単語と後続の機能語列4)を局所的文脈情報として抽出する。

## 3.3 局所的文脈情報からゼロ代名詞を予測 する

この局所的文脈情報から、ゼロ代名詞がどの程度推定可能かを調べるために、ロジスティック回帰を 用いた分析を行った。局所的文脈情報として抽出し た単語列からのユニグラム、バイグラム、トライグ ラムを入力素性とし、英文における代名詞を予測す る。 5 分割交差検証による各代名詞の再現率を表 1 に示す。ベースラインとして、訓練データに含まれ る代名詞の分布に従ってランダムに予測した場合の 値を採用している。

頻度の高い I, you, we は、局所的文脈情報を用いた 場合ベースラインに比べて有意に高い精度で予測で きることが分かる。しかし一方で、頻度の低いその 他の代名詞はベースラインと比べても同等か低い数值を記録している。これら頻度の低い代名詞は、局所的文脈情報からだけでは予測することが困難であ ることが示唆される。

具体的にどのような局所的文脈情報が予測に有用なのかを調べるために、ロジスティック回帰の 各出力ラベルに対して、入力素性に対応する重み の値が高いものを抽出し、解釈可能なもの調べた。 その結果、一人称単数 $I$ の予測には、認識に関わる 動詞（思う、わかる、感じる）、謙譲語（申し上げ る、存じる)、間投助詞（なあ、よ）、願望を表す助動詞 (たい)、二人称単数 you については、質問を表 すフレーズ（かな？、ました？）、推測（でしょ、だ ろ?）、尊敬語（仰る、いただける）、一人称複数 we には義務（なきゃ、べき）、願望（たい）が有用であ ると分かった。その他の代名詞については、代名詞予測に有用であると解釈可能なものは認められな かった。

4）ここでは機能語を Mecab で定義されている品詞の ["助詞", "助動詞", "記号"] とした。

## 4 実験

前章の分析により、局所的文脈情報がゼロ代名詞 の予測に有用であることが確認できた。ここでは、翻訳元である和文中の省略可能な代名詞を助詞とと もに削除することでゼロ代名詞を含むデータを人工的に作り出す、ゼロ代名詞データ拡張が有用である かどうかを検証する。こうして作られたデータはゼ 口代名詞と局所的文脈情報の結びつきを学習するた めに有用な訓練信号を与えると考えられる。

人工データの使用法として、訓練データにそのま ま加える、もしくはゼロ代名詞補完をマルチタスク で学習させる手法 [6] が考えられる。本論文では、訓練データに加える方法を検討する。

## 4.1 実験設定

## ゼロ代名詞データ拡張

本研究におけるゼロ代名詞データ拡張では、翻訳元である日本語の文中の省略可能な代名詞を助詞 とともに削除することで、ゼロ代名詞を含むデータ を人工的に作り出す。代名詞の検出には、人手でパ ターンを作成し該当する文字列を検索することで 行った。パターンの具体的な作成方法は付録を参照 されたい。

## コーパス

今回の実験は日英会話コーパス [11]を公開されて いるものに加え、プロジェクト内で使用可能分を加 えたものを用いた。データの統計を表 2 に示す。

## モデル

翻訳モデルは Transformer [12]を用いた。モデル サイズは Vaswani らの base モデルを 4 層に減らした もの、最適化器には Adam を用いた。今回は、通常 の単文単位の翻訳の他に、入力に前文を付加した 2to1 の設定 [13] についても実験を行った。

## 評価方法

日英会話コーパスにおける BLEU [14] と日英翻訳ゼロ代名詞評価データセットを用いて評価した [15]。ゼロ代名詞評価データセットは、入力文、正 しい代名詞を含む出力文、誤った代名詞を含む出力文のデータからなる。モデルの評価には、モデルに 入力文と出力文を入力し、正しい出力文に対する

表 1 代名詞毎のゼロ代名詞予測の再現率。

表 2 日英会話コーパスの文数

パープレキシティが低い、つまり正しい出力文の方 を予測する確率が高い場合に正答したとみなして精度を算出した。

## モデル選択

ニューラルネットワークに基づくモデルはハイ パーパラメータやランダムシードの選択に大きく結果が左右されることが知られている。今回は、各設定において一定の計算資源を投入した際の一番良い モデルを用いて性能を比較した [16]。具体的には、 ハイパーパラメータとして学習率、ドロップアウト

10 回の試行の内、開発データにおける BLEU スコア が一番高いものについて、テストデータの BLEU と ゼロ代名詞評価の精度を算出した。より詳細な設定 については付録を参照されたい。

## 4.2 実験結果

実験結果を図 3 に示す。

表 3 ベースラインとゼロ代名詞データ拡張を行ったモデ ルの評価。表中の值はそれぞれ BLEU / ゼロ代名詞評価の 精度。

1to1 と 2to1 どちらの設定においても、ゼロ代名詞 データ拡張によって、BLEU スコアの改善は観察さ れないが、ゼロ代名詞評価の精度は有意に向上して いる。1to1 と前文を考慮したモデルである 2to1を 比較すると、baseline の設定においては、前文を加え ることでゼロ代名詞翻訳の性能は $80.5 \%$ から $84.4 \%$ に向上している。一方で、baseline+pro_aug の設定 では $91.1 \%$ から $85.2 \%$ と、前文の文脈を考慮しない

方が性能が高い。これは、入力として前文を加える 2to1 の設定では、入力文が長くなるために、その文 ゼロ代名詞と局所的文脈情報の関連をモデルが学習 しづらくなっているのではないかと推測する。

## 5 おわりに

日英の会話翻訳におけるゼロ代名詞翻訳の問題に ついて、和文中のゼロ代名詞を同じ文内に存在する 局所的文脈情報からある程度予測できることを示 し、この局所的文脈情報とゼロ代名詞の結びつきを 翻訳モデルに学習させるための手法としてゼロ代名詞データ拡張を提案した。ニューラル機械翻訳モデ ルを訓練した実験の結果、ゼロ代名詞データ拡張は ゼロ代名詞翻訳の精度を有意に向上させることが示 された。

一方で、ゼロ代名詞データ拡張はゼロ代名詞を含 む文の外に、ゼロ代名詞翻訳に必要な情報が存在す る場合を本質的に解決するものではない。また、分析の結果、局所的文脈情報は一人称、二人称ゼロ代名詞の推測には有用であるが、三人称代名詞の推測 には有用ではないことが示唆されており、本手法に よる改善は限られていると考えられる。これらの課題は、会話中のトピックや登場人物などを捉えるこ とのできるモデルが必要であると考える。

## 謝辞

本研究成果は独立行政法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化のための ディープラーニング技術の研究開発」により得られ たものです。

## 参考文献

[1] 工藤拓, 市川宙, 賀沢秀人. Language independent null subject prediction for statistical machine translation.言語処理学会 第 21 回年次大会 発表論文集, 2015.

[2] Elena Voita, Rico Sennrich, and Ivan Titov. When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy, July 2019.

[3] Kenji Imamura, Kuniko Saito, and Tomoko Izumi. Dis-
criminative approach to predicate-argument structure analysis with zero-anaphora resolution. In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, Suntec, Singapore, August 2009.

[4] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Japanese zero reference resolution considering exophora and author/reader mentions. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, Seattle, Washington, USA, October 2013.

[5] Longyue Wang, Zhaopeng Tu, Xiaojun Zhang, Hang Li, Andy Way, and Qun Liu. A novel approach to dropped pronoun translation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego, California, June 2016.

[6] Longyue Wang, Zhaopeng Tu, Xing Wang, and Shuming Shi. One model to learn both: Zero pronoun prediction and translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, November 2019.

[7] Patrice Simard, Yann LeCun, John S. Denker, and Bernard Victorri. Transformation invariance in pattern recognition-tangent distance and tangent propagation. In Neural Networks: Tricks of the Trade, This Book is an Outgrowth of a 1996 NIPS Workshop, Berlin, Heidelberg, 1998. Springer-Verlag.

[8] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), New Orleans, Louisiana, June 2018.

[9] Adams Wei Yu, David Dohan, Minh-Thang Luong, Rui Zhao, Kai Chen, Mohammad Norouzi, and Quoc V. Le. Qanet: Combining local convolution with global self-attention for reading comprehension. CoRR, Vol. abs/1804.09541, , 2018.

[10] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, Hong Kong, China, November 2019.

[11] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Document-aligned japanese-english conversation parallel corpus. In Proceedings of the Fifth Conference on Machine Translation, Online, November 2020.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, Copenhagen, Denmark, September 2017.
[14] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, Philadelphia, Pennsylvania, USA, July 2002.

[15] Sho Shimazu, Sho Takase, Toshiaki Nakazawa, and Naoaki Okazaki. Evaluation dataset for zero pronoun in Japanese to English translation. In Proceedings of the 12th Language Resources and Evaluation Conference, Marseille, France, May 2020. European Language Resources Association

[16] Jesse Dodge, Suchin Gururangan, Dallas Card, Roy Schwartz, and Noah A. Smith. Show your work: Improved reporting of experimental results. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, November 2019.

## 付録

## ゼロ代名詞削除に用いた代名詞+助詞リスト

ゼロ代名詞削除は、代名詞リスト（表 4）と助詞のリスト（表 5）からの全組み合わせを列挙し、そのパ ターンに該当する文字列を文中から削除することで行った。

以下の代名詞は、コーパスの文を Mecab を用いて品詞解析したときに代名詞にあたる単語から、人手で人称代名詞を抽出したものである。

表 4 ゼロ代名詞削除に用いた代名詞のリスト

助詞については、人称代名詞に続く助詞の中から頻出かつ削除しても文意が伝わると思われるものを人手 で選定した。

表 5 ゼロ代名詞削除に用いた助詞のリスト

## 機械翻訳実験のハイパーパラメータ

機械翻訳実験におけるハイパーパラメータの值は表 6 に示す範囲で Optuna を用いて探索した。

表 6 ハイパーパラメータ探索の範囲


# 相対的意味論に基づく統計機械翻訳における翻訳確率

中村勇太
鳥取大学工学部
m19j4033b@edu.tottori-u.ac.jp
}

村上仁一
鳥取大学工学部
murakami@tottori-u.ac.jp

## 1 はじめに

機械翻訳において様々な手法が提案されている。しか し，それらの手法で得られる出力が異なる場合が多い。

そこで，異なる機械翻訳手法によって得られた複数の 出力 (候補文) から, 最尤の出力を選択する手法である “相対的意味論に基づく統計機械翻訳 (RSMT)”が提案されて いる.この手法を用いることで，各手法の出力から最尤 の出力を得られる.

RSMT では出力を選択するために，学習文対の日本語側 $(A)$, 学習文対の英語側 $(B)$, 入力文 $(C)$, 候補文 $(D)$ につ いて類似度及び翻訳確率を計算する．類似度は同一言語 の文章 $(A$ と $C$ または， $B$ と $D)$ がどれだけ類似しているか を示す。翻訳確率は $C$ が $D$ に翻訳される確率を示す。な お，類似度及び翻訳確率には様々な計算方法が存在する。

本稿の目的は, RSMT で用いる翻訳確率の計算方法と して最適な方法を調査することである. 5 つ翻訳確率の 計算方法を用いてRSMT を動作させ結果を比較する。こ の実験によって，最適な翻訳確率の計算方法を調査する。

## 2 Neural Machine Translation(NMT)

本論では，候補文を得るために “Neural Machine Translation(NMT)”を用いる. 本章で NMT の概要を述べる。

## 2.1 NMT の概要

NMT とはニューラルネットワークを用いて機械翻訳を 行う手法である. 2 言語コーパス等を用いて Attention モ デルと呼ばれる異言語間の単語の対応を学習し, それを 元に入力文の翻訳を行う.

## 2.2 NMT の学習における乱数の影響

今回の実験では，NMT の一種である Open-NMT を用い る. Open-NMT は，学習で乱数を用いている. よって同一のコーパスで学習を行なっても，翻訳結果が異なるモ デルが生成される。本論では Open-NMT のモデルを複数生成し, 同一の入力文を翻訳することで，RSMT の候補文 を獲得する。

## 2.3 Open-NMT $の N$-best 出力

Open-NMT は第 $n$ 候補まで, 複数の出力文を出力でき る. また，一般的に第 1 候補が最も優れている. しかし,第 2 候補以降に優れた出力が存在することも考えられる.本論では RSMT を用いることで，第 1 候補より優れた出力文が選択可能か調查する。

## 3 相対的意味論に基づく統計機械翻訳 (RSMT) $)_{\text {[6] }$}

“相対的意味論に基づく統計機械翻訳”では異なる機械翻訳手法によって得られた複数の出力 (候補文) から，最尤の出力を選択する．そのために，学習文対の日本語側 $(A)$, 学習文対の英語側 $(B)$, 入力文 $(C)$, 候補文 $(D)$ につ いて類似度及び翻訳確率を計算する。出力を選択する手順を示す。

## 3.1 選択の手順

手順 1 学習文対の日本語文と入力文の類似度を計算学習文対の日本語文と入力文の類似度を計算する。計算された値を $\operatorname{sim}_{A C}$ とする.

$\operatorname{sim}_{A C}$ の計算式を式 (1) に示す.

$
\operatorname{sim}_{A C}=\frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(A_{\text {all }}\right)} \times \frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(C_{\text {all }}\right)}
$

count(Match) : 学習文対の日本語文と入力文において共通している単語の総数

$\operatorname{count}\left(A_{\text {all }}\right)$ : 学習文対の日本語文の単語の総数 $\operatorname{count}\left(C_{\text {all }}\right)$ : 入力文の単語の総数

手順 2 学習文対の英語文と各候補文の類似度を計算学習文対の英語文と各候補文の類似度を計算する。計

算された值を $\operatorname{sim}_{B D}$ とする.

$\operatorname{sim}_{B D}$ の計算式を式 (2) に示す.

$
\operatorname{sim}_{B D}=\frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(B_{\text {all }}\right)} \times \frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(D_{\text {all }}\right)}
$

$\operatorname{count}($ Match) : 学習文対の英語文と候補文において共通 している単語の総数

$\operatorname{count}\left(B_{\text {all }}\right)$ : 学習文対の英語文の単語の総数 $\operatorname{count}\left(D_{\text {all }}\right)$ : 候補文の単語の総数

手順 3 入力文と候補文に類似した学習文対を抜粋入力文と各候補文に類似した学習文対を一定数抜粋す る. 抜粋された学習文対の集まりを $D B$ とする。

各候補文について式 (3) の数値が高い順に抜粋する。

$
\operatorname{sim}_{A C} \times \operatorname{sim}_{B D}
$

手順 $4 D B$ 内の学習文対の翻訳確率を計算

$D B$ 内の学習文対の翻訳確率を計算する. 計算された値 を $\operatorname{trans}_{A B}$ とする

ここで用いる式は第 4 章で説明する。

手順 5 入力文から各候補文への翻訳確率を計算

入力文から各候補文への翻訳確率を計算する。計算さ

れた値を trans $_{C D}$ とする.

ここで用いる式は手順 4 と同様である.

手順 6 出力文の決定

計算された值を用いて出力文を決定する.

式 (4) の值が最も高い候補文を, 出力文とする.

RSMT の流れ図を図 1 に示す.

図 1 RSMT の流れ図

## 4 翻訳確率の計算方法

実験で用いる翻訳確率の計算方法を説明する。なお 実際の計算では，2 つの単語の連なりを 1 つの単語と見 なす.

## 4.1 自己相互情報量 (PMI)[2]

自己相互情報量とは，2つの事象の間の関連度合いを測 る尺度である. 日英単語の共起をこの尺度に当てはめる ことで翻訳確率として用いる。計算式を式 (5) に示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right) \operatorname{count}\left(E_{i}\right)}
$
$\operatorname{count}($ ) : 学習文対中での登場回数 $J_{j}$ : 入力文中 $j$ 番目の単語 $E_{i}$ : 候補文中 $i$ 番目の単語 $M$ : 入力文の単語数 $N:$ 候補文の単語数

## 4.2 Joint Probability(Joint) ${ _{[5]}$}

Joint Probability とは，交差エントロピーを拡張した翻訳確率の計算方法である。計算式を式 (6) に示す.

$
\begin{aligned}
& \sum_{j=1}^{M} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{\text {all }}\right) \operatorname{count}\left(E_{\text {all }}\right)} \\
& \times \log _{2} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right) \operatorname{count}\left(E_{i}\right)}
\end{aligned}
$

$\operatorname{count}\left(J_{\text {all }}\right)$ : 全学習文対における日本語単語の総数 $\operatorname{count}\left(E_{\text {all }}\right)$ : 全学習文対における英語単語の総数

## 4.3 Jaccard 係数 (Jaccard) [3]

Jaccard 係数とは 2 つの集合がどれだけ類似しているか を表す係数である。入力文と候補文を「文を構成する単語の集合」とみなすことで，Jaccard 係数を翻訳確率とし て用いる。計算式を式 (7) に示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right)+\operatorname{count}\left(E_{i}\right)-\operatorname{count}\left(J_{j}, E_{i}\right)}
$

## 4.4 Dice 係数 (Dice) [4]

Dice 係数とは Jaccard 係数と同じく，2 つの集合がどれ だけ類似しているかを表す係数である。計算式を式 (8) に 示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{2 \operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right)+\operatorname{count}\left(E_{i}\right)}
$

## 4.5 Simpson 係数 (Simpson) ${ _{[1]}$}

Simpson 係数とは Jaccard 係数と同じく, 2 つの集合が どれだけ類似しているかを表す係数である. Simpson 係数
は，「片方の集合がもう片方の集合の真部分集合である 時，類似度が最大になる」という特徴がある．計算式を 式 (9) に示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\min \left(\operatorname{count}\left(J_{j}\right), \operatorname{count}\left(E_{i}\right)\right)}
$

## 5 Open-NMT の第 1 候補を用いる 実験

## 5.1 実験目的と方法

本章では, Open-NMT の第 1 候補を, RSNT の候補文と して実験を行う． 5 つの翻訳確率計算方法で RSMT を動作させ，翻訳精度を調査する．翻訳精度の調査は自動評価及び人手評価で行う.

## 5.2 実験に使用するデータ

本研究では, 実験に電子辞書などの例文より抽出した 単文コーパス [7] を使用する。

RSMT の候補文は Open-NMT の第 1 候補を用いる. ま た，使用する Open-NMT のモデル数は 32 個である. よっ て候補文は，入力文 1 文につき 32 文存在する. 使用する データの内訳を表 1 に示す.

表 1 実験データの内訳

## 5.3 実験結果

## 5.3.1 自動評価の結果

自動評価の結果を表 2 に示す。

表 2 自動評価の調査結果 (1000 文)

表 2 によると，多くの評価指標において PMI が最も優 れた結果を示す.

## 5.3.2 人手評価の結果

100 文を対象に，人手評価を行った結果を表 3 に示す. また，人手評価の評価基準を示す.

○: 入力文の意味と合致かつ文法の誤りがない $\triangle$ : 入力文の意味と部分的に合致

x : 入力文の意味と合致していない

表 3 人手評価結果 $(100$ 文

表 3 によると, Joint が他の手法と比較して性能が劣る. また，Joint 以外の手法間に大きな差はない。表 4 から表 6 に人手評価の例を示す.
表 4 人手評価の例 1

表 5 人手評価の例 2

 \\

表 6 人手評価の例 3

## 6 Open-NMT の第 8 候補までを用い る実験

## 6.1 実験目的と方法

ここでは, Open-NMT の第 8 候補までを RSMT の候補文として用いて実験を行う．候補文となる基準を引き下 げることで, Open-NMT のモデルを複数生成するよりも 容易に，多くの候補文を得ることができる。ここでは， 5 章の実験との比較のために，候補文の数を揃える。

## 6.2 実験に使用するデータ

実験に使用するデータは表 1 と同様である. 使用する Open-NMT のモデル数は 4 つである. よって候補文は，入力文 1 文につき 32 文存在する.

## 6.3 実験結果

## 6.3.1 自動評価の結果

自動評価の結果を表 7 に示す。

表 7 自動評価の調査結果 (1000 文)

表 7 によると, PMI と Dice が優れた結果を示す.

## 6.3.2 人手評価の結果

100 文を対象に，人手評価を行った結果を表 8 に示す.

表 8 人手評価結果 $(100$

表 3 と表 8 を比較すると, PMI, Jaccard, Dice 以外の手法は○が減少している. 特に, Joint の減少数は顕著であ
る.一方で，PMI, Jaccard は $\bigcirc$ が増加している。また， の数は PMI が最多である。このことから，PMI を用いる ことで，第 1 候補以外の優れた出力文を選択できること が分かる.

表 9 から表 11 に人手評価の例を示す.

表 10 人手評価の例 2

表 11 人手評価の例 3

 \\

## 7 実験のまとめ

本章では第 5 章と第 6 章の結果から判明した事項を述 べる. 最後に総評として, 本論で述べた 5 つの翻訳確率 の計算方法から，RSMT で用いる最適な方法を決定する。

## 7.15 章のまとめ

5 章の実験では, 翻訳確率の各計算方法の性能を比較す るための実験を行った. その結果, Joint は他 4 つの計算方法より性能が若干劣ることが分かった。また，Joint 以外の計算方法間に性能差はほぼなかった。

## 7.26 章のまとめ

6 章の実験では, 候補文に用いる Open-NMT の出力の順位を引き下げることで，第 1 候補以外の優れた候補文を 選択できるか調査した。その結果, PMI 以外の計算方法 は一様に性能が低下した。しかし, PMI は他 4 つと異な り性能が向上した。

## 7.3 総評

総評すると, 5 章の実験で Joint 以外の計算方法にはほ ぼ差がなく, 6 章の実験で PMI が第 1 候補以外の優れた 候補文を選択できることが判明した。よって，RSMT で 用いる翻訳確率の計算方法は, PMI が最も適している.

## 8 考察

## 8.1 Ōpen-NMT の第 1 候補と RSMT の性能比較

RSMT の性能を評価するために Open-NMT の第 1 候補 と性能を比較した。また，人手評価の結果から RSMT が 誤った出力をする原因を考察した。実験に使用するデー タは第 6 章と同様とする．比較のために用いる RSMT の 結果は, 人手評価で最も○が多かった第 6 章の PMI の結果とする.

## 8.1.1 比較結果

Open-NMT の 1best と RSMT の，自動評価と人手評価の 結果をそれぞれ表 12 と表 13 に示す.

表 12 自動評価結果 (1000 文)

表 12 自動評価結果 $(1000$ 文)

表 13 人手評価結果 (100 文)

表 12 によると, RSMT の方が BLEU 以外の指標におい て優れた結果を示した. また, 人手評価も RSMT の方が 優れた結果を示した。人手評価の例を表 14 から表 16 に 示す.また，RSMT が誤った候補文を選んだ原因を考察 する.

表 14 人手評価の例 1

表 16 人手評価の例 3

表 14 では, 前置詞の使い分けがRSMT によって改善 された。しかし, 表 15 では, RSMT は所有格が誤ってい る.これは日本語と英語の所有格の明記の差異が原因で,誤っている候補文の類似度が正しい候補文より高くなっ ている.

表 16 では入力文及び RSMT の出力文が，学習文対「6月 30 日号付け財務諸表の写しをお送り申し上げます。」“It is a pleasure to send you the enclosed copy of our June 30 Financial Statements ." との類似度が高かったことが原因で出力され た.

RSMT はこの例のように，ある学習文対と極度に類似 した候補文を選択する場合が多い。また計算方法の都合,学習文対及び候補文の単語数が多いほど, 翻訳確率が高 くなるため, 単語数が多い候補文が選択されやすい。こ れらが誤りの原因となる可能性がある.

## 8.1.2 単語数の多さが原因である誤りの解決法

この節では，8.1.1の例における誤りの原因を解決する 方法を提案する。

解決方法の 1 つは, 文の単語数によって正規化を行う ことである. 正規化を行うことで，単語数が多いほど選択されやすい問題を解決できる

## 8.2 過剰生成を含む候補文

NMT の出力文の特徵の1つとして「過剰生成」がある. これは表 17 に示すように，同じ単語が複数回, 出力に現 れることを指す. 過剩生成は NMT の出力数を増やすほ ど, 現れる傾向がある. 多くの場合, RSMT は過剩生成を 含む候補文を選択しないことが望ましい。

表 17 過剰生成を含む出力の例

しかし 6 章の実験において，過剩生成を含む候補文が 選択される入力文が増加した。また，それが人手評価で ×とする理由になった数を表 18 に示す.

表 18 過剩生成が理由で人手評価×とした数

それぞれの手法で過剩生成が精度低下の原因となった 入力が存在する。その中でも, Joint と Simpson は過剩生成が精度低下の原因として多かったことを表 18 が示して いる.

## 8.3 類似度の計算方法

本論では, 翻訳確率の計算方法の調査を行った。しか し7.1 節で示したように, RSMT の誤りの理由の 1 つとし て類似度の計算方法が挙げられる。また， RSMT におい て類似度の計算方法も翻訳確率と同様に，様々な方法が 考えられる. 今後の研究では, 類似度の計算方法につい ても調査が必要である.

## 8.4 出力文の決定に用いる計算式

本論では, 出力文の決定の時に式 (4)を用いた。しか し, この時に用いる式によって結果が変化する. 今回用 いたパラメータは 4 種類あるので，それぞれのパラメー 久の使用または不使用の組み合わせだけでも 16 通りの 計算式が考えられる. また， 7.1 節の問題を解决するなら ば，翻訳確率に重みを付与することも考えられる。

今後の研究では，式 (4)を用いた時以上の性能を得られ る式を調査する。

## 9 おわりに

相対的意味論に基づく統計機械翻訳 (RSMT) に最適な 翻訳確率の計算方法の調査を目的として，5つの計算方法 を用いた翻訳結果を比較した。実験により，自己相互情報量 (PMI) が他の計算方法とほぼ同等の性能であると分 かった. さらに PMI は, Open-NMT の第 1 候補以外の優 れた候補文を選択できることが分かった。

よって, 今回述べた計算方法の中では, PMI が RSMT で用いるのに最も適している.

## 参考文献

[1] Bollegala, D., Matsuo, Y., Ishizuka, M. A web search engine-based approach to measure semantic similarity between words. IEEE Trans. on Knowl. and Data Eng., Vol. 23, No. 7, pp. 977-990, 2011.

[2] Church, K. , Hanks, P. Word association norms, mutual information, and lexicography. Computational Linguistics, Vol. 16, No. 1, pp. 22-29, 1990.

[3] Salton, G. , McGill, M. Introduction to modern information retrieval. 自然言語処理学会第 25 回年次大会, 1983.

[4] Smadja, F. , , McKeown, K. R. ,, Hatzivassiloglou, V. Translating collocations for bilingual lexicons: a statistical approach. Comput. Linguist. , Vol. 22, No. 1, pp. 1-38, 1996.

[5] 松本大輝, 村上仁一. 翻訳における分野依存性を軽減 する言語モデルの調査. 自然言語処理学会第 25 回年次大会, 2019.

[6] 村上仁一. 相対的意味論と機械翻訳の応用. 自然言語処理学会第 27 回年次大会, 2021.

[7] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と 著作権の考察. 第一回コーパス日本語学ワークショッ プ, 2012.


# システム訳文のみを用いた自動評価との比較による 機械翻訳自動評価の分析

高橋 洸丞 ${ }^{1}$ 須藤 克仁 ${ }^{1,2}$ 中村哲 1
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{takahashi.kosuke.th0, sudoh, s-nakamura $\}$ is.naist.jp

## 1 はじめに

機械翻訳システムの翻訳能力は年々向上してお り,それに伴い自動評価への需要も高まっている. そ して，近年の自動評価の研究も単語やサブワードの 意味の近さを評価基準とすることで, WMT metrics task $[1,2,3]$ にて評価性能の向上が報告されている.現在主流となっているのは大規模な事前学習モデル である BERT [4] により参照訳文とシステム訳文を 符号化したべクトルを用いて評価値を算出するもの である [5,6]. また我々は入力文を追加で利用し人手評価との相関をさらに改善できることを示した [7].

我々の研究 [7] を通じて,これらの手法は品質の低 いシステム訳文では品質の高いものよりも人手評価 との相関が低くなることが明らかになっている.こ こで主に用いられる自動評価実験用のコーパスに着目してみると, WMT metrics task $[1,2,3]$ で提供され る人手評価は, DA (Direct Assessment) [8] と呼ばれる 0～100 の評価値を標準化した実数値を取る. DA ス コアは対応する参照訳文に対してシステム訳文の意味的な正確性, また流暢性を共に考慮して一文ずつ スコアが与えられている。ここで翻訳誤りには否定関係が逆になっていたり, 副詞や形容詞の係り受け による意味の違いなど多種の誤りがあり, 実用的な 運用の際には重大な誤解を生むリスクのある誤訳に 低い評価值を付けるべきである.しかしながら，DA スコアは 1 次元の実数値のみでスコアリングされて いるため, 文中にどのような翻訳誤りが含まれるの かを直接判別することはできない.

このような背景を踏まえて, 須藤 [9] は, システム 訳文の解釈性と正確性をそれぞれレベル分けする ように人手評価データを新たに構築した.しかし， BERT regressor [5] のモデルを利用した分類評価実験 では, 実務翻訳の立場上許されてはいけないクラス とその他のクラスでの誤分類が見られ, 依然として低品質なシステム訳文の評価が難しいことが示唆さ れる。

須藤 [9] はコーパス面から, 意味の違いに敏感な評価手法へのアプローチをしたが，そもそも現在主流 の評価モデルはどれほど参照訳文とシステム訳文の 意味の違いを識別できるのだろうか. 翻訳の評価は 大きく分けると, 意味の正確性と流暢性という二つ の基準で行われるはずである. 自動評価ではシステ ム訳文と参照訳文を利用して両者を評価している.本研究では, 参照訳文を用いずシステム訳文のみを 入力とする自動評価，すなわち流暢性は評価できて も意味の正確性は評価し得ない方法との比較を通じ て，どれだけ意味の正確性を評価できているのかを 検証する。

## 2 評価モデル

評価モデルは, 全て事前学習済みの大規模言語 モデルと一層の全結合層から構成される (図 1). シ ステム訳文のみを入力とするモデルは図 1(a) に示 す通りで, システム訳文 (翻訳文:hyp)を “[CLS] hyp [SEP]”という形式で入力し, 最終層の [CLS]トーク ンに相当するベクトルを文ベクトルとみなして, 最終的に全結合層で回帰問題として評価值を計算す る. BERT regressor や BLEURT は, 図 1(b) の構造を 取り, 翻訳文と参照訳文を [SEP] トークンで区切り， “[CLS] hyp [SEP] ref [SEP]”という形で二文をま とめて入力する。

また我々が提案したモデル [7] は図 1(c)のよう に, 翻訳文と参照訳文の入力だけでなく, 翻訳文と 原言語文をまとめた入力を追加している。これら 三つのモデルを以降それぞれ "hyp only", "hyp+ref", “hyp+src/hyp+ref" と記述する。

どのモデルも平均二乗誤差 (Mean Squared Error: MSE) を損失関数とし, 誤差逆伝播法により最後の全結合層と符号器の両方のパラメータを更新する.

(a) システム訳文の み (hyp only)

(b) システム訳文+参照訳文 (hyp+ref)

(c) システム訳文+原言語文はステ ム訳文+参照訳文 (hyp+src/hyp+ref)

図 1 入力別のモデル図

## 3 実験

本研究では, システム訳文のみを入力とした意味的な正しさを考慮しない評価モデルにより,どの程度 DA スコアを予測し, 人手評価との相関が得られ るのかを，参照訳文や原言語文を用いた評価手法と 比較して検証した。

## 3.1 実験設定

評価実験は WMT17 metrics taskコーパスの all-en で行った. 含まれる言語対は, チェコ語 (cs)-英語 (en), ドイツ語 (de)-英語 (en), フィンランド語 (fi)-英語 (en), ラトビア語 (lv)-英語 (en), ルーマニア語 (ro)英語 (en), ロシア語 (ru)-英語 (En), トルコ語 (tr)-英語 (en), 中国語 (zh)-英語 (en) の 8 言語対である. その 中でもWMT15, 16 に相当し重複を除いた 5344 文の 内, 534 文を開発用, 残りの 4810 文を訓練用とした.評価テストは WMT17 に相当する 3920 文に対して 行った.

使用した事前学習済み符号化モデルは RoBERTa [10], 合成データで事前学習した BLEURT [6], XLM-RoBERTa [11] である. 実装は全て HuggingFace Transformers ${ }^{1)}$ で行い, RoBERTa は roberta-large, XLMRoBERTa は xlm-roberta-large を使用した. BLEURT のモデルは BLEURT-large-warmedup を pytorch 用に 変換した後に HuggingFace Transformers 9 BERT 用 のクラスで読み込み使用した. RoBERTa と BLEURT モデルは英語のコーパスのみで事前学習されたモ ノリンガルモデルなので, hyp+src/hyp+ref にはマル チリンガルモデルである XLM-RoBERTa で実験を 行った. また参考実験として, システム訳文と原言

語文 (hyp+src)を入力としたモデルでの評価実験も XLM-RoBERTa で行った. そして評価性能の比較対象として, 文レベルでスコアを計算した BLEU (sacre BLEU [12]) と BERTscore [13] でも評価実験を行った.学習時の最適化は Adam [14] で, ミニバッチ学習 を最大 10 エポック行った. 各エポック毎に訓練デー タと開発データはシャッフルし, 開発データのロス 値が下がらない場合に学習率を $\frac{1}{\sqrt{2}}$ 倍した. その他の ハイパーパラメータは以下の組み合わせの中で, 開発データにおいて人手評価とのピアソンの相関係数值が最も高くなるモデルを評価テストに使用した. またそれぞれの試行毎の初期化によって結果が変動 するので, 試行回数もハイパーパラメータとみなし ている.

・初期学習率 : $\{9 \mathrm{e}-6,6 \mathrm{e}-6,3 \mathrm{e}-6\}$

・ミニバッチサイズ : $\{4,8\}$
- 学習エポック数 : $\{1, \ldots, 10\}$
- 最終結合層のドロップアウト率: $\{0.1,0.2,0.3\}$
- 試行回数 : $\{1, \ldots, 10\}$

本研究の評価実験では, モデルの評価値と人手評価とのピアソンの積率相関係数とケンドールの順位相関係数で評価性能を測る. どちらの相関係数値も $-1.0 \sim 1.0$ の值を取り, 1.0 に近い程モデルの評価性能が高いことを示す.

## 3.2 実験結果

表 1,2 に各モデルの評価値と人手評価とのピア ソンの相関係数,ケンドールの相関係数を示す. ど の hyp only のモデルも hyp+ref には及ばないが, ピ アソンの相関係数が 0.6 を上回り,ケンドールの相関係数が 0.45 前後であった. また全ての hyp only が

図 2 DA スコアの区間ごとのピアソンの相関係数の関係 (各区間表記の下の数値は区間内のサンプル数を示す)

図 3 RoBERTa hyp only による評価予測值と DA スコアの散布図
BLEU を超えておりこのコーパスにおいては BLEU などの字句ベースの評価指標より,システム訳文の 流暢性にのみ焦点を当てた評価の方が高い相関を示 した.

また, 表 3 に hyp+ref の hyp only と比較した際の相関係数の上昇率を示す. hyp+ref は hyp only と比較す ると,どの事前学習モデルにおいても, ピアソンの相関係数で約 1.25 倍, ケンドールの相関係数が約 1.3 倍となり, 現在主流な評価モデルは流暢性だけでな く意味の評価がある程度可能だとわかる。

## 3.3 分析および考察

我々の先行研究 [7] で, hyp+ref の評価モデルは品質の低い翻訳文に対して評価性能が下がることが わかっているが, hyp only ではどうなるのだろうか. DA スコアを 0.5 ずつの一定区間に分けてピアソン の相関係数値を見ることで分析を行った (図 2). そ の結果, hyp only は $[-2.0,-1.5),[1.0,1.5)$ の二区間で hyp+ref より評価性能が下がっていることが分かる. それぞれの区域での RoBERTa hyp only の評価予測値 とDA スコアの関係を散布図として, 図 3 に示す.こ の図から, hyp only では低品質な翻訳文で評価値を DA スコアよりも高く予測しているものが多く見受 けられ, 高品質なものでは評価予測値が低く出てし まっていることがわかる. 流暢性のみに着目すると,流暢だが意味的な誤りを含む文や, 流暢かつ意味も 正しい文を上手く評価できないことが示唆される. したがって,システム訳文が参照訳文にほぼ等しい 時や重大な誤訳を含むとき, 流暢性ではなく意味の 正確性を考慮した評価が必要であると考えられる。

現状の hyp+ref 評価モデルでは, 高品質なシステム 訳に対して意味の等価性を識別できているが, 中品質, とりわけ低品質な翻訳文において参照訳文との 意味の違いを正しく識別できていないと考察でき る. 一方で hyp+src/hyp+ref 評価モデルは, 低品質なシ ステム訳文に対して hyp+ref や hyp only より良い評価性能を記録した。

ケンドールの相関係数値についても同様の結果で あったため付録への記載に留める (図 4).

## 4 おわりに

本研究では, システム訳文のみを入力とした流暢性だけを評価するモデルと, 現在主流の正解文を用 いる評価モデルを比較することで, 現在主流のモデ ルの評価能力を分析した. 分析結果から, 現在主流 の hyp+ref モデルは意味の評価がある程度可能では あるが, 低品質な翻訳文の評価に適さないことがわ かった. hyp+src/hyp+ref についても, hyp+ref よりは 低品質な翻訳文に対しても評価性能が高いが, 決し て十分な評価能力ではないため, より意味の違いに 敏感な手法が求められる. また, BLEUを自動評価指標として使用するよりも, システム訳文のみを利用 した手法が人手評価と高い相関を示したことから，特定のデータセットにおける人手評価との相関の高 さが意味の正しさの評価における優位性を必ずしも 示さないことが明らかになった.

## 5 謝辞

本研究は JST さきがけ (JPMJPR1856) の支援を受 けたものである.
表 1 各モデルの WMT17 metrics taskコーパス (all-en)におけるピアソンの相関係数値

表 2 各モデルの WMT17 metrics taskコーパス (all-en)におけるケンドールの相関係数値

表 3 hyp only と比較したときの hyp+ref の相関係数值の上昇率 (\%)

## 参考文献

[1]Ondřej Bojar, Yvette Graham, and Amir Kamran. Results of the WMT17 metrics shared task. In Proceedings of the Second Conference on Machine Translation, pp. 489-513, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[2]Qingsong Ma, Ondřej Bojar, and Yvette Graham. Results of the WMT18 Metrics Shared Task: Both characters and embeddings achieve good performance. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 671-688, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[3]Qingsong Ma, Johnny Wei, Ondřej Bojar, and Yvette Graham. Results of the WMT19 metrics shared task: Segmentlevel and strong MT systems pose big challenges. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 62-90, Florence, Italy, August 2019. Association for Computational Linguistics.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 第 26 巻, pp. 613-634, 92019.

[6]Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[7]Kosuke Takahashi, Katsuhito Sudoh, and Satoshi Nakamura. Automatic machine translation evaluation using source language inputs and cross-lingual language model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3553-3558, Online, July 2020. Association for Computational Linguistics.

[8]Yvette Graham, Timothy Baldwin, and Nitika Mathur. Accurate Evaluation of Segment-level Machine Translation Metrics. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[9]須藤克仁, 高橋洸丞, 中村哲. 深刻な誤訳の識別に向け た分類型翻訳評価データセットの構築. 言語処理学会第 27 回年次大会, 2021.

[10]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[11]Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán,
Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[13]Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[14]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In the Third International Conference on Learning Representations, 2015.

図 4 DAスコアの区間ごとのケンドールの相関係数の関係（各区間表記の下の数値は区間内のサンプル数を示す）