# クラウドソーシングによる大規模読み時間データ収集

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 1 はじめに

本研究では、クラウドソーシングにより、日本語 を対象とした大規模読み時間データを構築したので 報告する。我々は、視線走査装置 ${ }^{1}$ や自己ペース読文法 [1]を用いて、新聞記事を対象として読み時間 データを収集 [2] し、さまざまな分析 $[3,4,5,6,7]$ を おこなってきた。また、教科書・書籍に対しても視線走査装置による小規模の読み時間データを収集 した [8]。しかしながら、被験者を研究室に呼んで、視線走査装置を用いて実験を行うことが困難となっ た。一方、英語においては、Amazon Mechanical Turk で被験者を募集して、読み時間を収集した Natural Story Corpus (NSC) [9] が構築されている。同様の試 みとして、Yahoo! Japan の Yahoo! クラウドソーシン グを用い被験者を募集したうえで、ibex ${ }^{2)}$ を利用し て、ウェブブラウザを介して自己ペース読文法によ り大規模に読み時間データを収集した。本稿では読 み時間収集手法を示すとともに、簡単な統計分析結果を報告する。

## 2 読み時間データの収集手法

## 2.1 刺激文

刺激文は『現代日本語書き言葉均衡コーパス』

権フリーのもの 1 莫科書ンプルを、実験環境とともに結果を公開する。OTは、国語科（現代文）のもの 38 サンプル（小 17、中 9、高 12）を用いた。これは、日本で国語教育を受けた方であれば過去に読んだ ことがある刺激文として、読み時間データを収集し た。今後、国外で国語教育を受けた方や日本語学習者のデータを取得し、国語教育・日本語教育におけ るリーダビリティ評価の対照データとして利用する ことを想定する。PBはコアデータ 83 サンプルを用

2) https://github.com/addrummond/ibex/
いた。これは、係り受けなど多様なアノテーション に基づく検討を行うほか、PNの読み時間データで制限されている商用利用を想定する。

表 1 に、刺激文のサンプル数・文数・文節数（お よび募集被験者数：次節で言及）を示す。対照のた めに NSC のサンプル数・文数・単語数を示す。NSC はおよそ 1,000 語程度の文章をサンフプリングした が、我々のデータもOT・PBサンプルについては平均 1,000 文節以上のデータを刺激として用いた。

各刺激文章に対して、内容をきちんと読んでいる かを確認するための YES/NO で回答する質問を 2 つ ずつ（YES が正解 1 つ、NO が正解 1 つ）設定した。

表 1 刺激文の統計

†本研究と NSC の集計方法は異なる（2.2 節参照）

## 2.2 自己ペース読文法

図 1 移動窓方式による自己ペース読文法

自己ペース読文法は、移動空を用いて疑似的な視線移動環境を設定しながら、部分的に呈示された単
語や文節の表示時間により読み時間を計測する手法 である。図 1 に例を示す。スペースキーを押すたび に逐次的に文節が表示され、スペースキーを押した 時間間隔をミリ秒単位で記録することで読み時間を 計測する。1 文章を読んだ最後に「はい」「いいえ」 の 2 択で答える内容把握の設問を設定した。ブラウ ザ上で自己ペース読文法による被験者実験を行うた め、ibexfarm ${ }^{3}$ を用いた。日本語対応は文献 [11] に 倣った。

## 2.3 被験者

被験者は Yahoo! クラウドソーシング4)により募集した。 2020 年 10 月に、あらかじめ「単語親密度」 の評定実験 [12] を行い、単語親密度の回答におい て、回答の分散が大きい2,092人を対象に募集した。 これは、適切に作業に取り組む方をあらかじめ選別 するほか、単語親密度推定時に被験者毎の語彙力も 推定できるために、事前実験として行った。

OWに対しては、試験的に 500 人募集して実験を 行った。OT・PBに対しては、200人募集した。内容確認質問の正解が YES である実験 100 人、NO で ある実験 100 人募集した ${ }^{5)}$ 。表 1 に示す本研究の被験者数はサンプル毎の募集人員だが、NSC の被験者数はいずれかのサンプルを確認した異なり人数であ る。NSC においては、各被験者は最低 5 サンプルを 確認した。NSC 論文で言及されているように本実験 の作業者の異なりを集計すると 574 人（延べ 24,727 人）であった。

## 3 実験データの整理

## 3.1 不適切なデータの排除

本データの収集は、オンラインで実施したため、 データの品質が対面で収集した際よりも品質が悪 いことが想定される。そこで、不適切なデータの排除を試みる。まず、(1) 実験開始時に実験データの 取り扱いおよび謝金の支払方法に同意していない ものを排除した。次に、(2) 同じ被験者が同じサン プルを複数回実施した場合、 2 回目以降の試行デー タを削除した。さらに、(3) サンプル単位の平均読 み時間が $150 \mathrm{~ms}$ 未満もしくは $2,000 \mathrm{~ms}$ 超過のもの、 (4)YES/NO 質問を誤答しているものを排除した。

最後にデータポイント単位に不適切なデータを排除する。表 3 の「適切なサンプル」の行に、適切な サンプルに含まれるデータポイント数を示す。これ らから、さらに (5) $100 \mathrm{~ms}$ 未満もしくは $3,000 \mathrm{~ms}$ 超過のものを排除した。結果、表中「分析対象」に示 す件数を適切なデータポイントとして扱うことに した。 ${ }^{6}$ NSR のデータポイント数が 848,857 と比し ても、大規模な読み時間データが構築できたとい える。

## 3.2 実験データの形式

表 4 に実験データの形式について示す。データは TSV の帳票形式で 1 行目がヘッダ行で列名を記載し てある。

BCCWJ_Sample_ID と BCCWJ_start が BCCWJ 上 の位置情報で、この情報により BCCWJ 上の形態論情報や各種アノテーションデータと突合ができる。

SPR_sentence_ID と SPR_bunsetsu_ID が実験時の 文 ID と文節 ID で、実質的に実験内の呈示順を表 す。SPR_surface は呈示した表層形であるが、OT と PB はマスクして文字数のみ (SPR_word_length) がわ かるようにした。

SPR_reading_time が分析対象の読み時間である。分析時には、対数読み時間 (SPR_log_reading_time) も生成した。SPR_instructiontime が最初の実験教示 の時間である。2 回目以降の実験においては読み飛 ばされる傾向がある。

SPR_QA_question が実験時の確認用の YES/NO 質問で、SPR_QA_answer がその正解である。 SPR_QA_correct が被験者が YES/NO 質問に正解 したか否かのフラグで、公開データは基本的には正

6）基準として、NSC [9] が $100 \mathrm{~ms}$ 未満もしくは $3,000 \mathrm{~ms}$ 超過の データポイントを削除しているのを参考にした。
表 4 実験データの形式

解したもののみとする。SPR_QA_qatime が被験者が YES/NO 質問に要した回答時間である。

SPR_subj_ID が被験者 ID である。SPR_averageRT が実験時のサンプル単位の平均読み時間である。 SPR_timestamp が実験を実施した時刻、SPR_trial が 当該ジャンルの読み時間計測を行うのが何回目かを 表す。SPR_control が実験時の呈示方法（文節間に 空白があるかないか) である。

読み時間の係り受けの書影響を検討するため に、コアデータの自W・䢂籍に対しては、BCCWJDepPara [13] の情報を付与した。BCCWJ-DepPara は BCCWJ と異なる文境界を定義しているため、呈示した際の文節 ID との䶡踣が生じる (DepPara_bid, DepPara_depid) が、係り受けの数 (DepPara_depnum) は BCCWJ-DepPara の基準に基づく。

また、OTについては、分析対象として教科書の 校種 (BCCWJ_OT_school_type, OT01: 小・OT02:中・ OT03:高等学校) を設定した。

## 4 実験データの分析

## 4.1 分析方法

本稿では、頻度主義的な分析手法 $[14,15]$ による 結果を示す。読み時間の検討を一般化線形混合モデ ル (R[16], lme4[17], stargazer[18])を用いて行う。固定効果として、呈示順の情報である SPR_sentence_ID (実験時の文 ID) ・SPR_bunsetsu_ID (実験時の文節 ID) と、表層形の文字数である SPR_word_lengthを考慮した。OW・PBについては、当該文蓈既の係り受けの数DepPara_depnum を考慮し た。OTにつついては、校種 SPR_OT_school_type を考慮した。OT・PBについては、同一の被験者が複数 のサンプルを読んだ際の試行順序 SPR_trial も固定効果としてモデル化した。

また、被験者間の個人差をモデル化するために

した。OT・PB については、サンプル間の個体差を モデル化するために BCCWJ_Sample_ID (BCCWJ の サンプル ID) もランダム効果として考慮した。分析式は次のとおり：

SPR_reading_time

SPR_sentence_ID+SPR_bunsetsu_ID

+SPR_word_length+SPR_trial

+DepPara_depnum+BCCWJ_OT_school_type

+(1|SPR_subj_ID_factor)+(1|BCCWJ_Sample_ID) .以下では、一度モデルを推定したうえで、3SDより も外側の值のデータポイントを排除し、再推定を 行った結果を示す。なお、対数読み時間の頻度主義的な分析は付録に示す。
表 5 一般化線形混合モデルの基づく分析結果（読み時間）

## 4.2 分析結果

表 5 に分析結果を示す。表中、固定効果に対する 推定値を有意差の有無ともに示す。カッコ内の値は 標準誤差である。

サンプル内の呈示順 (SPR_sentence_ID,

SPR_bunsetsu_ID) については、いずれのレジス タにおいても読み時間が短くなる傾向が確認され た。文字数が長くなるにつれて読み時間が長くなる 傾向も確認された (SPR_word_length)。

自漛・P部については、当該文節の係り受けの数 (DepPara_depnum) との相関を検討した。いずれの結果も係り受けの数が多い文節の読み時間が短くなる 傾向が確認された。

OT・PB については、同一の被験者が複数のサン プルを読んだ際の試行順序SPR_trial も固定効果と して検討した。OTにおいては試行回数を重ねるに あたり読み時間が短くなるが、PB においては試行回数を重敔るにあたり読み時間が長くなる傾向がみ られた。OTについては、校種 SPR_OT_school_type を考慮した。小学校のテキストに比べて、高等学校 の読み時間のほうが短くなる傾向がみられた。OT においては、実験選択画面において小学校 $\Rightarrow$ 中学校 $\Rightarrow$ 高等学校という順で進めやすいようになってお り、実際 SPR_trial と小中高等学校の校種順に相関 がある状態であった。このことが読み時間に対する 試行回数の影響のレジスタ間の䶡䶣をもたらした可能性がある。

最後にレジスタ間の関係について言及する。被験

最初に実験を行ったOWでは、他のレジスタと比べ て長い傾向がみられる。OTは日本国内で国語の教育を受けた場合には一度は目にしている可能性が高 いテキストである。しかしながら、呈示順が影響し

書籍に対しては、日本十進分類法などによるジャン ル間比較を行うことを検討する。

## 5 おわりに

本発表では、クラウドソーシングを用いて構築し た大規模な読み時間データについて紹介した。ブラ ウザ上で動作する自己ペース読文法による実験環境 ibexfarm を用い、Yahoo! クラウドソーシングで被験者を募集することにより、短期間・低価格に大規模読み時間データを構築することができた。実験デー タの分析においては、線形混合モデルによる試行順・係り受けの数の影響を検討し、過去の実験室で 収集したデータによる結果と同様の結果が得られる ことを確認した。さらに、OTの分析においては、小学校の教科書よりも高等学校の教科書のほうが成人日本語話者の読み時間が短くなることを確認した。

本データは https://github.com/masayu-a/ BCCWJ-SPR2 で公開する。今後、BCCWJ のさまざ まなアノテーションとの重ね合わせを行い様々な分析を行うとともに、ベイズ主義的な分析 $[19,20]$ も 進めたい。また、L1 学習者・L2 学習者の読み時間 を収集することにより、言語の読解能力の習得過程 のデータ化を進めたい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 18H05521, 18K18519 の支援を受けました。

## 参考文献

[1]Marcel Adam Just, Patricia A. Carpenter, and Jacqueline D. Woolley. Paradigms and processes in reading comprehension. Journal of Experimental Psychology: General, 3:228-238, 1982.

[2]浅原 正幸, 小野創, and 宮本 エジソン 正. BCCWJEyeTrack-『現代日本語書き言葉均衡コーパス』に対 する読み時間付与とその分析-. 言語研究, 156:67-96, 2019.

[3]浅原 正幸. 名詞句の情報の状態と読み時間について.自然言語処理, 25(5):527-554, 2018.

[4]浅原 正幸. 日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. 自然言語処理, 26(2):301-327, 2019.

[5]浅原 正幸 and 加藤祥. 読み時間と統語・意味分類. 認知科学, 26(2):219-230, 2019.

[6]浅原 正幸. 単語埋め込みに基づくサプライザル. 自然言語処理, 26(3):635-652, 2019.

[7]浅原 正幸. 読み時間と述語項構造・共参照情報につい て. In 言語処理学会第 25 回年次大会発表論文集, pages 249-252, 2019.

[8]森山奈々美, 荻原 亜彩美, 近藤森音, 浅原正幸, and 相澤彰子. BCCWJ-EyeTrack-2: 書籍と教科書の読み時間 データ. In 言語処理学会第 25 回年次大会発表論文集, pages 699-702, 2019.

[9]Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank, Anastasia Vishnevetsky, Steven Piantadosi, and Evelina Fedorenko. The Natural Stories Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[10]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, 48:345-371, 2014.

[11]中谷 健太郎. 自己ペース読文課題を使った実験：ウェ ブ編. In 中谷 健太郎, editor, パソコンがあればできる! ことばの実験研究の方法 容認性調査、読文・産出実験からコーパスまで, chapter 4, pages 81-106. ひつじ書房, 東京, 2019.

[12]浅原 正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[13]浅原正幸 and 松本 裕治. 『現代日本語書き言葉均衡 コーパス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, 25(4):331-356, 2018.

[14]R. Harald Baayen. Analyzing Linguistic Data: A practical Introduction to Statistics using R. Cambridge University Press, 2008.

[15]Shravan Vasishth, Daniel Schad, Audrey Bürki, and Reinhold Kliegl. Linear Mixed Models in Linguistics and Psychology: A Comprehensive Introduction. (近刊).

[16]R Core Team. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria, 2020.

[17]Douglas Bates, Martin Mächler, Ben Bolker, and Steve
Walker. Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1):1-48, 2015.

[18]Marek Hlavac. stargazer: Well-Formatted Regression and Summary Statistics Tables. Central European Labour Studies Institute (CELSI), Bratislava, Slovakia, 2018. R package version 5.2.2.

[19]Tanner Sorensen, Sven Hohenstein, and Shravan Vasishth. Bayesian linear mixed models using Stan: A tutorial for psychologists, linguists, and cognitive scientists. Quantitative Methods for Psychology, 12:175-200, 2016.

[20]Bruno Nicenboim, Daniel Schad, and Shravan Vasishth. An Introduction to Bayesian Data Analysis for Cognitive Science. (近刊).

## A 付録

表 6 に対数読み時間の分析結果を示す。外れ値とみなす $3 \mathrm{SD} よ り$ 外側の削除数が若干減ったが、基本的に 読み時間と同様の結果が得られた。

表 6 一般化線形混合モデルに基づく分析結果（対数読み時間）


# ビジネスシーン対話対訳コーパスの構築と対話翻訳の課題

中澤敏明李凌寒 Matīss Rikters
東京大学
\{nakazawa, li0123, matiss\}@logos.t.u-tokyo.ac.jp

## 1 はじめに

機械翻訳の研究には対訳コーパスが必須であり、今や様々な言語対・ドメイン・サイズのデータが自由に使える形で公開されているが、それらの多くは 書き言葉を対象としている。例えば Web のクロー ルデータ1) $[1]$ 、ニュース解説 2 )、特許文書 [2]、科学技術論文 [3] などは全て書き言葉である。話し言葉 を対象としたデータもいくつか存在するが、一人が 喋り続る TEDのようなモノローグ形式のもの $[4,5]$ であったり、複数名の対話であっても多くのノイズ を含んでいたり $[6,7]$ と、自由に使えるクリーンな 対話の対訳コーパスはほとんど存在しないのが現状である。 $\mathrm{WMT}^{3)} 、 \mathrm{IWSLT}^{4)} 、 \mathrm{WAT}^{5}$ な などの機械翻訳の評価ワークショップでも書き言葉やモノロー グ、ノイズを含む対話を翻訳対象としている。唯一、IWSLT で用いられているデータの一つにスペイ ン語と英語間のクリーンな対話対訳コーパス [8] が あるが、このようなコーパスは希少である。

書き言葉やモノローグの機械翻訳精度は利用可能 な対訳コーパスの堌強やニューラルネットワーク技術の発展により非常に向上したが、複数名の対話の 機械翻訳についてはまだ精度向上の余地が多く残さ れている。典型的な例は代名詞補完で、日本語のよ うに代名詞が省略可能な (pro-drop) 言語から英語の ように省略できない言語に翻訳する場合に、より自然な訳文とするためには適切な代名詞を補って訳出 する必要がある。代名詞の省略は書き言葉よりも話 し言葉の方が圧倒的に多いため、対話の翻訳におい てはこの問題は重要である。このような問題を解決 するために文脈(ここでは翻訳対象文よりも前の文 を指す)を考慮した翻訳モデル $[9,10,11]$ が提案され ているが、文脈つきの対話対訳コーパスはノイズの

) https://commoncrawl.org/

2) http://www.statmt.org/wmt20/translation-task.html

3) http://www.statmt.org/wmt20/

4) https://iwslt.org/2021/

5) http://lotus.kuee.kyoto-u.ac.jp/WAT/多い OpenSubtitles ${ }^{6}$ や $\mathrm{JESC}^{7)}$ などを除くとほとんど 存在しない。

そこで我々は新たに日英ビジネスシーン対話対訳コーパス (The Business Scene Dialogue (BSD) corpus) を構築し、その一部を公開した8)。ライセ ンスは Creative Commons Attribution-NonCommercialShareAlike (CC BY-NC-SA) であるので、商用でなけ れば自由に利用できる。公開したデータ量やフォー マットの詳細はホームページや本稿の付録を参照し ていただきたい。

BSD コーパスは他の言語資源を参照して構築さ れたものではなく、一から構築されたものである。「ビジネス」における「対話」を対訳コーパスのドメ インとして選択した理由は二つあり、一つはビジネ スシーンがドメインとして広すぎず狭すぎず適当な 粒度であると考えた点で、もう一つはノイズの少な い対話の対訳コーパスが機械翻訳研究の新たな方向 を開くのに有用と考えた点である。対話のコーパス であるので、機械翻訳だけでなくもちろん対話の研究にも役立つのではないかと考える。

本稿では BSDコーパスの紹介と、これを利用した WAT2020[12] 翻訳タスクの結果の紹介、翻訳結果の 誤り分析から得られた対話翻訳の課題を報告する。

## 2 BSD コーパスの概要

## 2.1 特徴

BSDコーパスは「シナリオ」を大きな単位として 用いている。ビジネスにおける様々なシチュエー ションを想定し、そのシチュエーションで行われる 一連の対話を一つのシナリオとして収録している。各シナリオには 6 種類のタグからなるシーン情報と シナリオタイトル (より詳細な状況説明)が付与され ている。これらの情報を用いることで、例えば対話

6) https://www.opensubtitles.org/

7) https://nlp.stanford.edu/projects/jesc/

8) https://github.com/tsuruoka-lab/BSD

の文脈からだけでは難しいような訳語の選択 (日本語の「すみません」を英訳する場合など) が行えた り、将来的な実利用の場面ではカメラにより周囲の 状況 (シーンや会話のシチュエーション)を認識しつ つ適切な翻訳を行うといったマルチモーダル翻訳の 実現も考えられる。また各発話には話者の情報も付与されている。

## 2.2 構築手順

BSD コーパスは 1) ビジネスシーンの選定、2) シーンに沿った日本語および英語での会話シナリオ 作成、3) シナリオの英語および日本語への翻訳の 3 つのステップを経て構築した。なおシナリオ作成に は 28 名の日本語シナリオライターおよび 23 名の英語シナリオライターが携わり、日英翻訳は 8 名、英日翻訳は 13 名の翻訳者によって行われた(シナリオ 作成と翻訳を兼ねる者も数名いた)。また全体的な 質を担保するために、3名が全体の品質チェックを 行った。さらに、シナリオがビジネスシーンとして 適切であることを保証するために、広く一般に知ら れているメディア等でビジネス会話の関連したコン テンツに主として関わった経験があり、日本語、英語ともビジネスシーンにおいて問題なく会話がで き、自らもビジネスに携わった経験を保有している ものを監修者として 1 名置き、全体的な内容の確認 を行った。

## 1) ビジネスシーンの選定

ビジネスシーンは会議、交渉、雑談など様々なビ ジネスの状況をカバーするように慎重に選定した。 また特定の業種にしか該当しないようなシーンは避 け、様々な業種で汎用的に用いられるようなシーン を選定した。今回は「対面対話 (2 名での仕事上の 対話)」「電話応対」「雑談」「会議 (複数名での対話)」「研修」「プレゼン」の6つのシーンを選定した。

## 2) 単言語でのシナリオ作成

対話のシナリオは選定されたビジネスシーンに 沿って、日本語および英語それぞれ半数ずつ、単言語で作成した。半数ずつとした理由は、ビジネス シーンにおいて各言語で特徴的に利用されるような 表現をなるべく幅広くカバーするためである。一方 の言語でのみシナリオを作成しこれを相手言語に翻訳するだけでは、表現のバリエーションが限られて しまう (いわゆる translationese) 可能性があり、これ
を回避することを狙っている。

## 3) シナリオの翻訳

作成された単言語のシナリオは人手で相手言語に 翻訳した。機械翻訳の利用は禁止とし、正確性だけ でなく相手言語における流暢性や会話としての自然 さも重視するよう指示した。例えば英語を日本語に 翻訳する場合には、逐語的に訳すと英文中の全ての 代名詞を日本語文に訳出することになるが、日本語対話においては多くの代名詞 (特に一人称と二人称) は省略されることが普通である。逆に主語の省略さ れた日本語を英語に訳す場合には、無理に受動態で 翻訳することは避け、適当な主語を補完した自然な 能動態として翻訳するよう指示した。

## 3 WAT2020 での BSD 翻訳タスク

## 3.1 タスク概要

WAT2020 において BSD コーパスを利用した翻訳 タスクを設定した。参加者は BSD コーパスのテス トデータの翻訳結果を提出することが求められる。 モデルの訓練には BSD コーパスの訓練データだけ でなく、他の既存の対訳コーパス (外部データ)を用 いることもできる。日英翻訳には 4 チーム、英日翻訳には 3 チームの参加があった。

## 3.2 人手評価

人手評価基準として特許庁が公開している「特許文献機械翻訳の品質評価手順 ${ }^{99}$ の中の「内容の伝達 レベルの評価」を採用した。これは機械翻訳結果が 原文の実質的な内容をどの程度正確に伝達している かを、参照訳の内容に照らして 5 段階 (評価値 5 が 最もよく、1が最も悪い) の評価基準で主観的に評価 するものであり、いわゆる Adequacy(正確性) 評価と 同等のものである。正確性評価は合計の文数が 400 文になるようにテストデータからランダムにシナリ 才を選択したものを対象として行い、各文を 2 名の 評価者が独立に評価した。また文脈を考慮して適切 な訳となっているかという点も考慮に入れている。

図 1 亿正確性評価結果を示す。WAT のポリシー に従いチーム名は匿名化して表示しているが、各グ ラフで同じチーム名のものは実際に同じチームか らの投稿であったことを示している。なお Team B

図 1 日英 (上) および英日 (下)BSD 翻訳タスクの正確性評価結果 (グラフ内の数字は各評価値の割合を、チーム名 の下の括弧内の数字は評価の平均を表す)

は本稿の著者らの結果である。両方向とも評価の平均值は最も高いもので 4.2 程度であり非常に高精度 で訳されていると思われるが、BSDコーパスの性質上、相槌など非常に短い文なども含まれているた め、 4.2 という値がどの程度満足のいくものなのか はより深く分析する必要があると思われる。

## 3.3 各チームの手法と知見

評価結果はどのチームも近い値であったが、用い た翻訳モデルや外部データは異なっている。Team A は翻訳対象文と直前の 3 文を文脈として同時に使っ た mBART[13] を用いている。他のチームは文脈情報は用いず、単文での翻訳だった。どのチームも大規模な外部データを併用して翻訳モデルの訓練を行 い、BSDなどの対話コーパスで fine-tuning するとい う戦略を取った。

興味深い知見として、BSDコーパスのみを用い た fine-tuning は効果がなく、むしろ翻訳精度が悪化 すると多くのチームから報告があった。しかしなが ら、BSD に加えて外部の対話データ (OpenSubtitles や JESC) も併用した fine-tuning は効果的で、翻訳精度が向上するとも報告された。このことから機械翻訳では fine-tuning においてもある程度の量の対訳 コーパスが必要であると結論づけられる。

また Team D からの報告では、sub-word の語彙サ イズを小さく (報告では 6,000 を用いていた)する方表 1 翻訳誤りの傾向調査結果

 &  & 合計 \\

が翻訳精度が向上するとのことだった。はっきりと した理由は不明だが、会話文においては使われる語彙がニュース記事や科学技術論文などと比べてそれ ほど大きくないためである可能性がある。この点に ついては今後深く分析する必要がある。

## 4 対話翻訳における課題

現状の対話翻訳においてどのような課題があるの かを分析するために、WAT2020の BSD 翻訳タスク での Team B(本稿の著者ら) の翻訳結果について、翻訳誤り傾向を調査した。誤りのタイプを「誤訳 (文脈に関係なく誤り)」「訳抜け」「過剩訳」「文脈上不適切」「代名詞訳出誤り」の 5 種類に分類し、2 名の 評価者で分類が一致したものを計数したものを表 1 に示す。なお 1 つの文で複数の分類が付与される場合もあるため、数字は延べ数である。ここでは特に 「文脈上不適切」「代名詞訳出誤り」の 2 つについて 例を示しつつ分析を行う。

## 4.1 文脈上不適切

文脈上不適切な訳になっている例を図 2 および図 3 に示す。図 2 は文脈情報を使うことで適切な訳が 出力できるであろう例で、実際に一つ前の文を連結 して用いる手法 $[9,14]$ を用いて翻訳を行うと一番右 の列のように翻訳が改善することがわかる。一方、図3 に示す例は単に前の文の情報を用いるだけで は解決が難しく、ぼんやりと会話全体の流れをとら え、さらにその流れに沿って適切な表現を選択する 必要がある。これには mBART のような事前学習モ デルを利用することで解決が期待できるため、まず は Team A の翻訳結果の分析を行う予定である。

## 4.2 代名詞訳出誤り

代名詞の訳出誤りは日英翻訳における典型的な翻訳誤りであるが、その解決に必要となる情報源には 我々が観測した範囲では三つのタイプが存在する。一つ目は文脈文に出現する名詞等の情報を用いた り、目的言語側の過去の出力を利用 [15]するなどす れば解決可能なものである。二つ目は図 4 に示すよ うに、文脈文を用いずとも当該文の動詞に後続する

 & Could I have your name please? & May I have your name? & May I have your name? \\

図 2 日英翻訳における文脈上不適切な訳の例 (文脈文を用いることである程度解決が可能)

 & 正直なところ、少し緊張しているんだ。 &  \\

図 3 英日翻訳における文脈上不適切な訳の例 (全体的な会話の流れを掴んだり、一般常識等を用いる必要がある)

$
\begin{array}{|c|c|c}

\end{array}
$

多国籍チームだけの話じゃない、営業グ I'm not just talking about Multinational team, It's not just about Multinational team, it's talking

図 4 原文の機能語列の情報を利用することで省略された代名詞が推測可能な例

 &  &  \\

図 5 正しい代名詞を補完するために話者情報が必要となる例 (3 文目や 4 文目は木内さんの発言の可能性もある)

機能語列から代名詞が推測可能なものであり、例え ば Kudo ら [16] の手法などにより解決可能なもので ある。三つ目は図 5 に示すように、話者情報が必要 となるものである。例えば 3 文目は木内さんの発言 としても解釈可能であり、その場合は出力文の方が 正しい訳となる。

## 5 まとめ

本稿では BSDコーパスおよび WAT2020 での BSD 翻訳タスクの結果の紹介を行い、翻訳結果の分析か ら対話翻訳の課題について議論した。公開した BSD コーパスがこれらの課題の解決の一助となれば幸い である。BSDを利用した翻訳タスクはWAT202110) においても設定しているので、興味のある方はぜひ 参加していただきたい。WAT2021では新たな開発

10) https://lotus. kuee.kyoto-u.ac.jp/WAT/WAT2021/
データとテストデータを追加で公開予定である。

また本稿では触れていないが、AMI Meeting Corpus[17] を和訳することで対訳コーパスとした

ただければと思う。

## 謝辞

本研究成果は独立行政法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化のための ディープラーニング技術の研究開発」により得られ たものです。

またビジネスシーン対話対訳コーパスの構築にあ たっては、株式会社バオバブ様に設計の段階からご 協力いただきました。ここに御礼申し上げます。

## 参考文献

[1] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[2] Isao Goto, Bin Lu, Ka Po Chow, Eiichiro Sumita, and Benjamin Tsou. Overview of the patent machine translation task at the ntcir-9 workshop. In Proc. of NTCIR-9 Workshop Meeting, pp. 559-578, 122011.

[3] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[4] Mauro Cettolo, Christian Girardi, and Marcello Federico. $\mathrm{Wit}^{3}$ : Web inventory of transcribed and translated talks. In Proceedings of the $16^{\text {th }}$ Conference of the European Association for Machine Translation (EAMT), pp. 261268, Trento, Italy, May 2012.

[5] Mattia Antonino Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuST-C: a Multilingual Speech Translation Corpus. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), Minneapolis, MN, USA, June 2019.

[6] Jörg Tiedemann. Finding alternative translations in a large corpus of movie subtitle. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), pp. 3518-3522, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[7] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: Japanese-English Subtitle Corpus. Language Resources and Evaluation Conference (LREC), 2018.

[8] Elizabeth Salesky, Susanne Burger, Jan Niehues, and Alex Waibel. Towards fluent translations from disfluent speech. In Proceedings of the IEEE Workshop on Spoken Language Technology (SLT), Athens, Greece, December 2018.

[9] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 8292, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Elena Voita, Pavel Serdyukov, Rico Sennrich, and Ivan Titov. Context-aware neural machine translation learns anaphora resolution. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1264-1274, Melbourne, Australia, July 2018. Association for Computational Lin- guistics.

[11] Elena Voita, Rico Sennrich, and Ivan Titov. When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1198-1212, Florence, Italy, July 2019. Association for Computational Linguistics.

[12] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 7th workshop on Asian translation. In Proceedings of the 7th Workshop on Asian Translation, pp. 1-44, Suzhou, China, December 2020. Association for Computational Linguistics.

[13] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[14] Rico Sennrich and Barry Haddow. Linguistic input features improve neural machine translation. In Proceedings of the First Conference on Machine Translation: Volume 1, Research Papers, pp. 83-91, Berlin, Germany, August 2016. Association for Computational Linguistics.

[15] Hideya Mino, Hitoshi Ito, Isao Goto, Ichiro Yamada, and Takenobu Tokunaga. Effective use of target-side context for neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4483-4494, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[16] Taku Kudo, Sora Ichikawa, and Hideto Kazawa. Language independent null subject prediction for statistical machine translation. Journal of Natural Language Processing, 2015.

[17] Iain McCowan, Jean Carletta, Wessel Kraaij, Simone Ashby, S Bourban, M Flynn, M Guillemot, Thomas Hain, J Kadlec, Vasilis Karaiskos, et al. The ami meeting corpus. In Proceedings of the 5th International Conference on Methods and Techniques in Behavioral Research, Vol. 88, p. 100, 2005.
表 2 公開したビジネスシーン対話対訳コーパスの統計量 (シナリオ数 / 文数)

起点言語：日本語 シーン：電話応対 シナリオタイトル：伝言への折り返し電話 打ち合わせ日程調整

 \\

図 $6 \mathrm{BSD}$ コーパスの対訳例

## A 公開データ数とシーンごとの内訳

表 2 に公開したデータのシナリオ数および文数、またシーンごとの内訳を示す。訓練データは合計 2 万対訳文で、開発データとテストデータはそれぞれ約 2,000 文ずつである。なおWATでの利用を想定して、毎年新たな開発データとテストデータを同量程度ずつ追加公開する予定である。

## B BSD 対訳例

図 6 に BSDコーパスの対訳例を示す。なおデータはjson 形式で配布されている。

## CBSD コーパス構築の詳細仕様

BSD 構築における詳細な仕様のうち、主だったものを以下に示す。

・口語でそのまま発音しない略語 (NY など) は使わず、会話で使われる表記を用いる (New Yorkなど)

・時刻は数字ではなく文字表記で訳出し、「:」は使用しない

・翻訳時にあまりにもて長であったり不自然な場合は訳文を2文にしてもよい

・1 シナリオあたり対話は 3 ターン (6 文) 以上、上限は 20 ターン (40 文) まで

・「プレゼン」と「研修」はモノローグ (登場人物が 1名のみ)でもよい

・日本語では標準語を英語ではアメリカ英語を極力用いること (方言やスラングなど極端にくだけた表現は避ける)

・1 シナリオ内の登場人物は 4 人以下とする

・個別の実在する会社名の使用は避け、A 社、B 社などを用いる (ただしサービス名としての Facebook や twitter、イン スタなどの使用はよしとする)

・対面ではない発話の状況を示すような情報、また話者の役職、肩書等は、本文とは別に「付属情報」に記載する

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 階層型 Transformer デコーダを用いた文字レベル機械翻訳

高㠃環
東京大学工学部電子情報工学科
takasaki@logos.t.u-tokyo.ac.jp

## 1 はじめに

文字レベル機械翻訳では、単語レベルや部分語レベ ルでの機械翻訳に比べて、一文あたりのトークン数が 増加する。それに伴い、予測の際に長距離間の文脈を 把握することがより難しくなることが考えられる。 そ こで本研究では、翻訳文を出力するデコーダを、単語 レベルのデコーダと文字レベルのデコーダを階層型に 組み合わせたアーキテクチャとすることで、長距離間の文脈を把握する性能を向上させることを目指す.本研究では、文字レベル機械翻訳の先行研究では未 だ行われていない Transformer デコーダの階層化を行 い、通常の Transformer モデルとの性能の比較を行っ た. 提案するアーキテクチャでは、階層型モデルを使用する際に、単語レベルデコーダへの入力のために、文字列を単語レベルに分割する必要が生じる．そこで 本研究では、単語境界での単語分割に対し、文字数 での単語分割を行った場合と比較することで、適切 な単語分割手法を検討した。その結果、階層化した Transformer デコーダ [1]を用いる際に、文字数による 分割を行った場合では精度が低く、単語境界での分割 の方が適していることが明らかになった. また、単語境界によって分割した階層型 Transformer は、従来の Transformer モデルと比較して BLEU スコアの精度は 下回ったものの、階層型 Transformer では文章が途切 れずに翻訳できるケースが複数あるなど、長距離間で の文脈保持に一定の効果があることが観察できた。

## 2 関連研究

## 2.1 文字レベル機械翻訳

ニューラル機械翻訳などの自然言語処理では、文を 単語レベル、部分語レベル、文字レベルで分割する処理が行われる。従来は単語レベルでの分割が主流で あったが、計算コストやメモリ容量の関係で、語彙サ イズが大きい際には低頻度語を辞書に登録せず、未知語として扱う必要がある．そのため、高頻度語と字面

\author{
鶴岡 慶雅 \\ 東京大学大学院情報理工学系研究科 \\ tsuruoka@logos.t.u-tokyo.ac.jp
}

が近い活用語などの単語でも、未知語として処理され てしまうという問題が生じる。この問題を防ぐため に、語彙サイズを抑えた文の分割手法が提案されてき た。文字レベル機械翻訳は、Costa-jussa ら [2] によっ て、単語の形を文字レベルから直接生成するモデルが 提案されて以降、研究が進められている。また、Lee ら [3] は、単語の境界状態などのセグメンテーション を全く用いない文字レベル機械翻訳アーキテクチャを 考案した。また、最近では、ニューラル機械翻訳で Transformer ベースのモデルが広く用いられるように なったことから、文字レベル機械翻訳に最適に改良さ れた Transformer モデル [1] が、Banar ら [4] や Gao ら [5] によって提案されている.

## 2.2 階層型デコーダ

エンコーダ・デコーダから構成される機械翻訳モデ ルにおいて、デコーダを階層化する工夫をした先行研究がいくつか存在する. Luong ら [6] は、単語レベル の分割手法で語彙サイズを一定にすると定頻度語が未知語として扱われる問題に対して、階層型デコーダを 用いることを提案した。通常は単語レベルで自己回帰的に復号し、未知語が出力された場合に限り文字レ ベルで自己回帰的に復号し、単語レベルと文字レべ ルの損失関数の和を最小化するように学習すること で、翻訳品質を向上させた。また、Ataman ら [7] は、 RNN[8] を用いた文字レベル機械翻訳において、単語 レベルと文字レベルデコーダからなる階層型デコーダ を用いることで、部分語に分割した場合に比べてより 少ないパラメータで同等の翻訳精度が得られることを 示すとともに、従来の文字レベル機械翻訳に比べて長距離の文脈・文法依存性をより学習できることを主張 した. 階層型デコーダは、文章生成タスクでも研究 が進められている. Serban ら [9] は、文章の時系列を 予測する文単位でのデコーダと、文ごとに単語の時系列を予測する単語単位でのデコーダを用いた RNN モデルを用いて、文脈を考慮した文章生成の研究を 行った。また、渥美ら [10] は、このモデルを階層型

図 1 階層型デコーダ

Transformer に拡張したモデルを提案し、生成精度が 向上されることを主張した.

## 3 提案手法

## 3.1 階層型 Transformer デコーダ

本実験では、長距離間の文脈把握能力の向上に期待 し、階層型 Transformer デコーダを実装した. これは、 Ataman ら [7] の研究で用いられている階層型 RNN デコーダを、現在機械翻訳タスクで用いられること の多い Transformerに拡張したものである. 階層型デ コーダの大まかな構成を図 1 に示す. 詳細な構造を Ataman らの実装した階層型 RNN デコーダと比較し ながら説明する。

## 3.1.1 文字表現から単語表現への変換

単語ごとの文字レベルトークン列を、Character Embedding 層によってそれぞれの文字べクトルを獲得 した後に、単語表現に変換する必要がある. Ataman ら [7] の階層型 RNN デコーダでは、単語内の文字べ クトルを双方向 RNNに入力し、最終出力を単語表現 としていた. 本実験では、実行速度の観点から、双方向 RNN ではなく、畳み込み層と Highway 層からなる アーキテクチャを構成し、単語表現を獲得している。

## 3.1.2 単語レベル Transformer デコーダ

変換された単語表現を元に、次の単語を予測する 必要がある. Ataman ら [7] の階層型 RNN デコーダで は、エンコーダに対しての注意機構付きRNNを用い て次の単語を予測する表現を獲得していた. 本実験で は、エンコーダの出力を Source-Target Attention とし た Transformerを用いて実装を行った。

## 3.1.3 文字レベル Transformer デコーダ

単語レベル Transformerによって得られた次の単語 の予測表現を元に、単語を構成する文字を復号する 必要がある. Ataman ら [7] の階層型 RNN デコーダで は、文字レベルデコーダも同様に RNN を用いている. そして、単語レベルの RNN デコーダの出力を、文字 レベルデコーダの状態として入力し、単語頭を表す トークンを入力することで文字を逐次的に復号する方法が提案されていた．本実験では、文字レベルデコー ダも Transformer で実装した. 文字レベル Transformer デコーダの Source-Target Attention の Source として、過去に生成した単語の予測表現を利用することで、現在生成する単語についての情報を文字レベルデコーダ に与えるようにした.

## 3.2 単語への分割方法

階層的にデコーディングを行うに当たって、文字レ ベルでのトークン列を、単語などの大きな単位で分割し、次元を一つ増やす整形をする必要がある. 図 2 に、トークン列の整形を行う方法を示す. 本実験で は、二つの方法でトークン列を整形した。一つ目は、単語レベルでの分割手法である. これは、単語が空白 によって分割できる言語において、空白を境界として 単語ごとに整形し直す手法である．単語の境界を活用 する方法は、Ataman ら [7] の手法でも用いられてお り、単語の境界の情報を与えることによって、文字レ ベル機械翻訳の精度が向上する場合があると考察され ている. しかし、この研究では、同じ階層型デコーダ を用いる際に単語の境界情報を与えない場合について は検証されていない，そこで、本研究では、単語の境界情報を与えない整形方法として、文字数を基準とし た分割を採用し、比較することにした。
表 1 データ数の詳細

## 4 実験

## 4.1 データと前処理

今回の実験では、IWSLT'14独英翻訳コーパズ1)を 利用した. 全ての実験において一字ごとにトークン化 し、文頭トークン・文末トークンを必要に応じて付加 した. データ数の詳細を表 1 に示す.

階層型 Transformer を用いたモデルについては、変換したトークン列を次のいずれかの方法で分割し、整形した.

・スペースによる分割（単語の境界による分割）

・文字数による分割（文字数は 4 とした）

分割したトークンの前後には単語頭トークン・単語末 トークンを必要に応じて付与した.

## 4.2 モデル

翻訳モデルのエンコーダには、Gao ら [5] が提案 している、Convolutional Transformerを利用した.デ コーダには、次の二つのいずれかを利用した.

・通常の Transformer デコーダ

・階層型 Transformer デコーダ

通常の Transformer デコーダでは、Vaswani ら [1] の base モデルと同じものを用いた. 階層型 Transformer デコーダの文字レベル表現から単語レベルへの変換に は、フィルタ幅 1 から 7 の畳み込み 7 層と Highway 層 2 層を用いた. 単語レベル、文字レベルでの出力生成 には、Vaswani ら [1]の base モデルと同様のものから、埋め込み層の次元を 512 から 256 に変更したものを使用した.

## 4.3 訓練時の実験設定

モデルの実装と訓練・翻訳には fairseq ${ }^{2}$ を用いた。学習には AdamW[11]を使用し、学習率は 5e-4 から inverse square root schedule にしたがって減衰させた. dropout 0.3 , weight-decay 0.0001 、label-smoothing を 0.1 に設定した。学習の際は、patience を 3 epoch とし、開発用データにおける損失を指標として early-stopping を行った.

2) https://github.com/pytorch/fairseq表 2 各モデルの BLEU スコア

## 4.4 評価時の実験設定

テストデータにおいて翻訳を生成する際には、ビー ムサーチを用いた。階層型 Transformer デコーダを用 いる際には、文字レベルデコーダでビームサーチを用 いて生成する文字を推論し、生成された最も損失が少 ない文字列を最終的な予測単語として確定させた。ま た、ビーム幅は、階層型 Transformer では 1 から 5 を 試し、通常の Transformer ではビーム幅を 5 とした. また、評価用データを用いた機械翻訳の評価指標には BLEU スコア [12]を用いた.

## 5 結果と考察

## 5.1 結果

表 2 は、それぞれのモデルの評価データにおける BLEU スコアである. また、生成された翻訳文の例を 付録 A. 1 に示す.

## 5.2 考察

まず、分割方法を 4 文字毎とした際は、BLEU スコ アが 0.69 と非常に低い值となった. 文字数での分割方法の場合は、訓練時も損失が下がりにくく、タスク 自体が困難であったことが考えられる.この一因とし て、単語分割の場合と異なり、実際の単語境界を跨い で違う単語の接頭辞と接尾辞が単語レベルの表現へと 変換されるケースや、実際には同じ単語内であって も、不適切な部分語として分割されている場合が避け られないことが考えられる．以下の考察では、実際の 単語境界を用いてトークン列の分割を行った場合につ いて述べる.

階層型 Transformer デコーダによって生成された文 の特徴の一つに、通常の Transformer デコーダでは途中で終了していた文を最後まで生成できていることが 多いことが挙げられる。 その一例を表 3 に示す.こ

れは、階層型 Transformer デコーダによって長距離間 の文脈を保持しやすく、長文の復号を完遂しやすいこ とが考えられる. その一方で、表 4 に示すような、比較的短い文の場合でも、同じような語句が繰り返され るケースが散見され、階層型 Transformer デコーダで は近距離での単語出現を把握する能力が低いことが考 えられる。また、階層型 Transformer でのビームサー チについては、ビーム幅が小さいほど BLEU スコアが 高くなり、最もスコアが高かったのはビーム幅が 1 の 場合となった. ビーム幅を変更した場合の生成例を表 5 亿示す.この例にも観察できるように、ビーム幅を 小さくすることで文章の単語ごとの一致だけでなく、文構造も一致するケースがある．このように、文字レ ベルデコーダにおけるビームサーチによって、単語レ ベルデコーダの担う文構造の把握が阻害されるケース が発生する場合があることがわかる. これは、単語デ コーダで実際の単語を生成する際にエンコーダからの 翻訳元の出力を利用していないため、翻訳元の文構造 を把握する能力が低いことが一因として考えられる。文字レベルデコーダでのビームサーチを行うと、単語 を生成する文字列としてのスコアが低いものがより選 ばれやすい一方で、エンコーダの出力からの情報より も、実際に Source-Target Attention で注視している単語レベルデコーダの出力からの情報の影響をより受け やすいことが想定される.

## 6 まとめ

本研究では、文字レベル機械翻訳において、単語レ ベルと文字レベルのデコーダを組み合わせた階層型 デコーダを Transformer に拡張し、通常の Transformer モデルと比較を行った. その結果、BLEU スコアでは 劣るものの、長文を途切れることなく復号すること に適しているということが判明した。また、階層型 Transformer デコーダを構成するにあたって、単語レ ベルへのトークン列の分割方法を複数検討したとこ ろ、単語境界で分割した場合に比べ、文字数で分割し た場合は学習が適切に行われないということが明らか になった. 今後の研究としては、文字レベルデコーダ において、エンコーダの情報を利用するアーキテク チャを考案することが挙げられる。また、文字レベル 機械翻訳における復号時間の増大を解消するために、文字レベルデコーダを非自己回帰的な手法を用いた場合の検証を行う予定である。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[2] Marta R. Costa-jussà and José A. R. Fonollosa. Characterbased neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 357-361, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Jason Lee, Kyunghyun Cho, and Thomas Hofmann. Fully character-level neural machine translation without explicit segmentation. Transactions of the Association for Coтpиtational Linguistics, Vol. 5, pp. 365-378, 2017.

[4] Nikolay Banar, Walter Daelemans, and Mike Kestemont. Character-level transformer-based neural machine translation. arXiv preprint arXiv:2005.11239, 2020.

[5] Yingqiang Gao, Nikola I. Nikolov, Yuhuang Hu, and Richard H.R. Hahnloser. Character-level translation with self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1591-1604, Online, July 2020. Association for Computational Linguistics.

[6] Minh-Thang Luong and Christopher D. Manning. Achieving open vocabulary neural machine translation with hybrid word-character models. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1054-1063, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Duygu Ataman, Orhan Firat, Mattia A Di Gangi, Marcello Federico, and Alexandra Birch. On the importance of word boundaries in character-level neural machine translation. arXiv preprint arXiv:1910.06753, 2019.

[8] Alex Graves. Generating sequences with recurrent neural networks. arXiv preprint arXiv:1308.0850, 2013.

[9] Iulian Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-to-end dialogue systems using generative hierarchical neural network models. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[10] 渥美和大, 狩野芳伸. Hierarchical transformer によるス トーリー生成. 言語処理学会 第 26 回年次大会, 2020.

[11] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A 付録

## A. 1 翻訳文の生成例

表 3 通常の Transformer では文が途中で途切れる例

ソース文 aber tatsächlich war es eine ausgabe auf den frühen 80ern, als ich gerade mit der grundschule anfing und damit begann , mein selbstbild außerhalb meines familiären umfelds aufzubauen und zu formen, auch in bezug auf andere kinder und zur übrigen welt um mich herum .

but, in fact, the print date was the early 1980s, when i would have been starting primary school

ターゲット文 and forming an understanding of myself outside the family unit and as related to the other kids and the world around me .

Transformer but in fact , it was an early \' 80s copy when i was just starting with the elementary school and beginning to build my self-image outside of my family environment , in terms of other children and it was actually a copy on the early \' 80s when i was just starting to school with elementary school ,

階層型 Transformer and $i$ was starting to build and shape my self-assembly set outside my family sphere , also in terms of other children and the rest of the world around me .

表 5 階層型 Transformer でビーム幅を変化させた例 wir haben tausende organismen die das tun können .


# 知識グラフ埋め込みを用いたニューラル機械翻訳における エンティティ表現の改良

坂井 優介
渡辺 太郎
奈良先端科学技術大学院大学
\{sakai.yusuke.sr9, taro\}@is.naist.jp
}

藤田 篤
情報通信研究機構
atsushi.fujita@nict.go.jp

## 1 はじめに

ニューラル機械翻訳の課題として，訓練データ中 に出現しない未知語（OOV）や訓練データに含まれ ていても出現頻度が低い低頻度語に対して翻訳品質 が低いことが挙げられる。この課題に対処するため に近年のニューラル機械翻訳ではサブワード化を行 うことで OOV 問題を解決している $[1,2,3,4]$. しか しサブワード化を行うことは単語の表層表現しか 着目しておらず，単語の意味表現を考慮して OOV 問題に対処しているとはいえない。一方, 知識グラ フ等の単言語資源は機械翻訳で用いられる対訳文 よりも豊富で入手しやすいことを活かし, 単言語資源を用いてニューラル機械翻訳の精度を向上させ る取り組みが存在している。その中でも本研究では 知識グラフを用いた手法について着目する. 知識グ ラフをニューラル機械翻訳に注入する手法である KG-NMT[5] を改良し, 知識グラフをニューラル機械翻訳に注入する際に，エンティティをタグに置き換 える手法と，エンティティをサブワードに分割にし た知識グラフをニューラル機械翻訳に注入する手法 の 2 種類提案する. WMT の newtest データセットに よる英独翻訳での実験の結果，提案手法ではベース ラインより BLEU スコアが高いことを確認できた。

## 2 関連研究

## 2.1 知識グラフ

知識グラフとはトリプレットと呼ばれる形で記述されており， $h$ をへッドエンティティ,$t$ をテー ルエンティティ,$r$ を $h$ と $t$ の関係としたとき, (奈良先端科学技術大学院大学, alias, NAIST) のように $(h, r, t)$ の順に記される. 知識グラフを用いたタス クとして $h$ と $r$ が与えられたとき $t$ を予測する知識 グラフ推論が存在しており, 知識グラフ埋め込み $[6,7]$ や強化学習 [8], グラフニューラルネットワー ク $[9,10]$ などによる知識グラフ推論手法が提案され ている.これらの手法は, 質問応答システム [11] や 推薦システム [12] などで広く利用されている.

## 2.2 知識グラフの機械翻訳への応用

知識グラフを用いたニューラル機械翻訳の取り組 みは主に知識グラフをデータ拡張に用いる手法と知識グラフを直接ニューラル機械翻訳に注入する手法 に大別できる。データ拡張に知識グラフを用いた研究として, Zhao ら [13] は訓練データ中のエンティ ティを知識グラフを用いて類似したエンティティに 置換することで訓練データを拡張した.

一方，知識グラフを直接ニューラル機械翻訳に注入する手法として，知識グラフ埋め込みを用いる手法 $[5,14]$ とニューラル機械翻訳と知識グラフ推論の 同時学習を行う手法 [15] が存在する. Moussalem ら [5] は KG-NMT を提案した。KG-NMT は知識グラフ 埋め込みを用いて，文章中に出現するエンティティ と知識グラフ中のエンティティが一致したものに対 して，Sennrichらの手法 [16] を用いて該当するエン ティティに，そのエンティティの知識グラフ埋め込 みを結合することで, 知識グラフ埋め込みの注入を 行った. KG-NMT は訓練データ中に出現しないエン ティティに対しても, 知識グラフ埋め込みを用いて いるため，エンティティ間の関係も含めて注入する ことができている.しかしこれらの手法では知識グ ラフ中のエンティティと訓練データ中のエンティ ティが一致した場合にのみしか有効ではない.

$D$ をニューラル機械翻訳の入力文の集合としたと き， $D$ に含まれるエンティティの集合を $V(D)$ と表 す. また知識グラフ $K$ を関係のインスタンス $(h, r, t)$ の集合としたとき, 知識グラフ $K$ 中のエンティティ の集合は $V(K)=\{h \mid(h, *, *) \in K\} \cup\{t \mid(*, *, t) \in K\}$ と なる.
he's gonna shack up at auberge du soleil.

NER

he's gonna shack up at auberge du soleil.

Replace to tag

図 1 KG-tag NMT の手続きの概要

このとき実際のエンティティは,$U$ をすべてのエ ンティティの集合としたとき，ニューラル機械翻訳 の訓練データにのみ含まれるエンティティの集合 $(V(D)-V(K))$, 知識グラフのみに含まれるエンティ ティの集合 $(V(K)-V(D))$, どちらにも出現するエン ティティの集合 $(V(D) \cap V(K))$, どちらにも出現し ないエンティティの集合 $(U-(V(D) \cup V(K)))$ の計 4 種類の集合が存在する. KG-NMT では $V(D) \cap V(K)$ の集合しか扱うことができなかった。また KG-NMT ではエンティティ単位で訓練データと知識グラフの 対応付けを行うため，サブワード化ができず，扱う 語彙が大きくなるという問題が生じる.

Zhao ら [15] はそれら 4 つのエンティティの集合 についてもニューラル機械翻訳へ活用するために， エンティティをサブワード化したあと, ニューラル 機械翻訳と知識グラフ推論の学習を同時に行った。 しかし Zhao らの手法はニューラル機械翻訳と知識 グラフ推論の学習を同時に行っているため, 新たな 言語対に対するモデルを学習する際, ニューラル機械翻訳モデルだけでなく, 知識グラフ埋め込みも 再度学習する必要がある. よって Zhao らの手法で $N$ 言語間の多言語機械翻訳を行おうとすると, 知識グラフ推論の学習を $N(N-1)$ 回行うことになる. そのため, Zhao らの手法は学習コストが高い上に ニューラル機械翻訳と知識グラフ推論モデルを組み 合わせることは容易ではない.

## 3 知識グラフ埋め込みを利用した ニューラル機械翻訳の改良

本研究では KG-NMT を発展させ, エンティティ をタグに置き換える手法と知識グラフ埋め込みの作成時にエンティティのサブワードに基づいて学習し he's gonna shack up at auberge du soleil.

subworded

he's gonna sh ack up at au ber ge du sole il .

図 2 Subworded KG-NMT の手続きの概要

た知識グラフ埋め込みをニューラル機械翻訳に注入 する手法の 2 種類を提案する.

## 3.1 KG-NMT におけるエンティティの抽象化

KG-NMT の問題を解決するために，本研究では KG-tag NMT を提案する. KG-tag NMT は未知語処理の手法である Back-off モデル $[18,19]$ を参考にし， データセット内の該当するエンティティに知識グ ラフに基づく埋め込みの情報を注入後, そのエン ティティを特殊タグに置き換える。具体的な手続 きの例を図 1 に示す. 図 1 のように知識グラフを 注入後, <entity>という特殊なタグに置き換える. KG-tag NMT では知識グラフ情報を注入後にサブ ワード化が行えるため, KG-NMT の課題である語彙数を削減できる. しかし KG-tag NMT では依然とし て $V(D) \cap V(K)$ 内のエンティティしか扱えない.

## 3.2 サブワードに基づく知識グラフ埋め 込み

サブワードに基づく知識グラフ埋め込みを行う ために Subworded KG-NMT を提案する. Subworded KG-NMT はすべてのエンティティを扱うために，知識グラフ内のエンティティ $V(K)$ のサブワード化を 行う.

サブワード化した知識グラフの埋め込み表現を作成する方法として Transformer [17] を使用する. 知識グラフ推論を seq 2 seq の枠組みで行い，作成され た埋め込み表現を知識グラフ埋め込みとする。エン ティティ $h, t$ を SentencePiece [4] を用いてサブワー ド化したあと, $h$ と $r$ が与えられた際に $t$ を推論す るタスクを， $h$ と $r$ を原言語の入力文として $t$ を目的言語の出力文を得るタスクとみなす．知識グラフ
表 1 BLEUによる各モデルの比較

$K$ が与えられた際の損失関数は式 (1) となる.

$
L\left(K ; \theta_{e}, \theta_{d}\right)=\sum_{(e, r, t) \in K} \log p\left(t \mid h, r ; \theta_{e}, \theta_{d}\right)
$

ここで， $\theta_{e}$ と $\theta_{d}$ はそれぞれエンコーダとデコーダ のパラメータである.

エンティティをサブワード化することにより，知識グラフ $K$ に含まれないエンティティに対しても 埋め込みを得ることができる．またニューラル機械翻訳と知識グラフ埋め込みのエンティティの対応付 けはサブワード単位で行う．Subworded KG-NMT の 具体的な手続きの例を図 2 に示す. 図 2 のようにサ ブワード化した知識グラフ埋め込みをニューラル機械翻訳に注入することで，エンティティ $D$ に対する 知識グラフの注入量を向上させる．知識グラフ埋め 込みの注入手法は KG-NMT [5] に倣う。

知識グラフ埋め込みをサブワード化する手法は Zhao らの手法 [15] と似ているが，Zhao らは知識グ ラフ推論とニューラル機械翻訳を同時に学習するこ とによって，知識グラフをニューラル機械翻訳に活用した。一方, Subworded KG-NMT では知識グラフ 推論とニューラル機械翻訳をそれぞれ独立して学習 している. Subworded KG-NMT はニューラル機械翻訳と知識グラフ推論を独立して学習するため, 新た な目標言語へのニューラル機械翻訳を学習する際 に，以前学習した知識グラフ埋め込みの再利用が可能となる。そのため $N$ 言語間の多言語機械翻訳を 行うときは Subworded KG-NMT では知識グラフの学習を $N$ 回行うだけでよい.この利点はZhao らの手法 [15] の欠点を補っている.

## 4 実験

## 4.1 実験設定

実験は英独翻訳を対象とし，訓練データとし て JRC-Acquis3.0と Europarl を用い, 検証用データ に WMT の newstest2011, テストデータに WMT の newstest2012 から 2018 までを用いた。知識グラフは 英語版の DBpedia [20]を用いた。また訓練データ
に WMT2017，検証用データに newstest2016，テスト データに newstest2017を用いることにより同一ドメ イン内での翻訳についても評価を行った。

Transformer の実装には fairseq ${ }^{1)}$ と OpenNMT-py ${ }^{2)}$ を用いた。またサブワード化には SentencePiece[4] 3) を用いた. SentencePieceの学習にはニューラル機械翻訳の訓練データを用いた。また知識グラフ中のエ ンティティに対するサブワード化と訓練データに 対するサブワード化は同じ SentencePiece のモデル を使用した。知識グラフ埋め込みは Transformer を 用いて作成した. NER は spaCy ${ }^{4)}$ を使用し, DBpedia 内のエンティティを辞書として用いた。

既存研究のベースラインとして Transformer [17] と KG-NMT [5] を用いた。なお KG-NMT についてサ ブワード化してしまうと, エンティティに知識グ ラフ情報を注入することができなくなるため，サ ブワード化は行わなかった。評価には SacreBLEU $[21]^{5)}$ を用いた。

## 4.2 実験結果

表 1 に実験結果を示す. 2 つの提案手法はすべ てのテストデータに対して KG-NMT より BLEU ス コアが向上している。これは KG-NMT では行えな かったサブワード化が提案手法では可能になったこ とより，未知語として処理される単語数が減少した ため BLEU スコアが上昇したと考えられる．KG-tag NMT では KG-NMT の手法を改良し，エンティティ をタグに置き換えることでサブワード化を行えるよ うにした。そのため, Transformer と同等の精度を保 ちつつ, $V(K) \cap V(D)$ エンティティについては知識 グラフを活用することができるため，BLEU スコア が向上したと考えられる。

一方 Subworded KG-NMT では，翻訳の訓練データ 中のエンティティ $V(D)$ と知識グラフ中のエンティ

表 2 テストセットのエンティティ $V(D)$ に対する

ティ $V(K)$ が完全に一致していなくてもサブワー ド単位で一致していれば知識グラフ埋め込み情報 を注入できる。そのためエンティティ $V(D)$ に対 して知識グラフを注入可能な範囲が拡大するので, KG-tag NMT よりも多くの知識グラフをニューラル 機械翻訳に注入することができる。このことから 全体としての知識グラフの注入量が向上した結果, Subworded KG-NMT の BLEU スコアが向上したと考 えられる。

## 4.3 エンティティの分析

提案手法と Transformer [17] の BLEU スコアを比較すると, KG-tag NMT ではスコアの向上は見られ るものの，知識グラフ埋め込みを注入したことによ り, むしろスコアが低下しているテストデータが存在している。そこで KG-tag NMT によってエンティ ティ $V(K)$ とエンティティ $V(D)$ の対応付けが行え たエンティティ $V(K) \cap V(D)$ の数を調べた. その結果を表 2 に示す. 表 2 よりエンティティ $V(K) \cap V(D)$ はエンティティ $V(D)$ の 1 2\%ほどしか存在して いないことがわかる。また既存手法の KG-NMT と Transformer を比較すると, $V(K) \cap V(D) / V(D)$ の割合によって BLEU スコアの差が大きくなる傾向があ る.これは KG-NMT がサブワード化を行うことに よって OOV 問題を解決するのではなく, 知識グラ フを用いて OOV 問題の解決を図っていることに起因している。そのため知識グラフの注入量と翻訳品質には相関があると考えられる。

## 5 Transformer による知識グラフ推論の精度

Transformer による知識グラフ推論の精度について 考察するための実験を行った。知識グラフ推論用 データセットに YAGO3-10 [22] を使用し，知識グラ フ推論の比較対象モデルを ConvKB [6] と ComplEx [7] とした. Transformerによる知識グラフ推論では表 3 知識グラフ推論精度の比較

エンティティのサブワード化の有無による比較も 行った。実験結果を表 3 に示す。

HITS@T はそれぞれ推論したエンティティのうち 上位 $T$ 番目以内に正解エンティティが含まれる割合 を示している。表 3 の結果より, seq2seq での知識 グラフ推論はエンティティをサブワード化しない場合，既存手法である ConvKB [6] や ComplEx [7] と同等の性能であることがわかった。またサブワード化 を行った場合でも，上位 10 位以内に正解エンティ ティが含まれる割合が 3 割ほどあり，サブワード化 を行っても知識グラフを学習できているといえる. そのため Transformerによる seq2seq での知識グラフ 推論は有効であるといえる。

知識グラフ推論の既存手法ではデータセット中に 含まれていない未知のエンティティを推論すること ができないが，サブワード化し， seq2seq で知識グラ フ推論を行った場合エンティティを生成するため,未知のエンティティを推論することができる利点が ある. そのため, 潜在的に $U-(V(D) \cup V(K))$ に対 しても知識グラフ情報を学習していると予測できる ので，今後その予測を検証していく。

## 6 まとめ

本研究ではニューラル機械翻訳の品質向上を目的 とし, OOV 問題に対処するために知識グラフを注入する手法を 2 種類提案した. 実験を行った結果，提案手法では BLEU スコアが既存手法よりも向上し ていることを確認した。また知識グラフの注入量に よって翻訳精度が変化するため, 単言語データであ る知識グラフの注入量を増やすことにより，翻訳精度が向上する可能性があることがわかった。さらに seq2seqによる知識グラフ推論の有用性も確認した. その結果, 未知のエンティティに対する推論可能性 をもちつつ, 既存手法と同等の精度で推論すること ができた，今後の課題として，多言語ニューラル機械翻訳への適用を予定している。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Minh-Thang Luong and Christopher D. Manning. Achieving open vocabulary neural machine translation with hybrid word-character models. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1054-1063, Berlin, Germany, August 2016.

[3] Junyoung Chung, Kyunghyun Cho, and Yoshua Bengio. A character-level decoder without explicit segmentation for neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1693-1703, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Taku Kudo and J. Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In $E M N L P, 2018$.

[5] Diego Moussallem, Axel-Cyrille Ngonga Ngomo, Paul Buitelaar, and Mihael Arcan. Utilizing knowledge graphs for neural machine translation augmentation. K-CAP '19, page 139-146, New York, NY, USA, 2019. Association for Computing Machinery.

[6] Dai Quoc Nguyen, Tu Dinh Nguyen, Dat Quoc Nguyen, and Dinh Phung. A novel embedding model for knowledge base completion based on convolutional neural network. In Proceedings of the 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pages 327-333, 2018.

[7] C. Demir and Axel-Cyrille Ngonga Ngomo. Convolutional complex knowledge graph embeddings. ArXiv, abs/2008.03130, 2020.

[8] Wenhan Xiong, Thien Hoang, and William Yang Wang. DeepPath: A reinforcement learning method for knowledge graph reasoning. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 564-573, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Deepak Nathani, Jatin Chauhan, Charu Sharma, and Manohar Kaul. Learning attention-based embeddings for relation prediction in knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Coтputational Linguistics. Association for Computational Linguistics, 2019.

[10] Rui Wang, Bicheng Li, Shengwei Hu, Wenqian Du, and Min Zhang. Knowledge graph embedding via graph attenuated attention networks. IEEE Access, PP:1-1, 122019.

[11] Antoine Bordes, Nicolas Usunier, Sumit Chopra, and Jason Weston. Large-scale simple question answering with memory networks. CoRR, abs/1506.02075, 2015.

[12] Fuzheng Zhang, Nicholas Jing Yuan, Defu Lian, Xing Xie, and Wei-Ying Ma. Collaborative knowledge base embedding for recommender systems. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '16, page 353-362, New York, NY, USA, 2016. Association for Computing Machinery.

[13] Yang Zhao, Jiajun Zhang, Yu Zhou, and Chengqing Zong. Knowledge graphs enhanced neural machine translation. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pages 4039-4045. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[14] Yu Lu, Jiajun Zhang, and Chengqing Zong. Exploiting knowledge graph in neural machine translation. In Jiajun Chen and Jiajun Zhang, editors, Machine Translation, pages 27-38, Singapore, 2019. Springer Singapore.

[15] Yang Zhao, Lu Xiang, Junnan Zhu, Jiajun Zhang, Yu Zhou, and Chengqing Zong. Knowledge graph enhanced neural machine translation via multi-task learning on sub-entity granularity. In Proceedings of the 28th International Conference on Computational Linguistics, pages 4495-4505, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[16] Rico Sennrich and Barry Haddow. Linguistic input features improve neural machine translation. In Proceedings of the First Conference on Machine Translation: Volume 1, Research Papers, pages 83-91, Berlin, Germany, August 2016. Association for Computational Linguistics.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31 st International Conference on Neural Information Processing Systems, NIPS'17, page 6000-6010, Red Hook, NY, USA, 2017. Curran Associates Inc.

[18] S. Jean, Kyunghyun Cho, R. Memisevic, and Yoshua Bengio. On using very large target vocabulary for neural machine translation. ArXiv, abs/1412.2007, 2015.

[19] Thang Luong, Ilya Sutskever, Quoc Le, Oriol Vinyals, and Wojciech Zaremba. Addressing the rare word problem in neural machine translation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 11-19, Beijing, China, July 2015. Association for Computational Linguistics.

[20] Sören Auer, Christian Bizer, Georgi Kobilarov, Jens Lehmann, Richard Cyganiak, and Zachary Ives. Dbpedia: A nucleus for a web of open data. In The Semantic Web, pages 722-735, Berlin, Heidelberg, 2007. Springer Berlin Heidelberg.

[21] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pages 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[22] F. Mahdisoltani, J. Biega, and Fabian M. Suchanek. Yago3: A knowledge base from multilingual wikipedias. In CIDR, 2015 .


# エンコーダ・デコーダの学習に効果的な摂動の調査

高瀬 翔
東京工業大学
sho.takase@nlp.c.titech.ac.jp
}

清野 舜
理化学研究所 / 東北大学
shun.kiyono@riken.jp

## 1 はじめに

機械翻訳や要約，文法誤り訂正などの系列変換夕 スクにおいて，エンコーダ・デコーダモデルは目覚 ましい性能を達成している $[1,2,3]$. ニューラルモ デルの表現力は極めて高いため，過学習を防ぐため に，ドロップアウトを始めとして，様々な正則化手法が提案されてきた [4].

ニューラルモデルの正則化のために，元々の入力 に対して，摂動と呼ばれる微小な変化を加えた事例 の使用が提案されている $[5,6]$. 学習に摂動を用い た際は，摄動を加えた事例と加えていない事例のい ずれに対しても，正確なラベルを予測するよう，モ デルを学習する．系列変換タスクにおいては，入力文内のトークンの一部を別のトークンに置換した ものと，埋め込み空間において微小なノイズを加 えたものという，2 種類の摄動事例が用いられてい る [7, 8]. 例えば Bengio ら [9] はスケジュールドサ ンプリングという，デコーダの出力確率分布を元に トークンをサンプリングし，これを摂動としてデ コーダの入力に用いる手法を提案した. Sato ら [8] は，モデルの損失を大きくする敵対的摂動をエン コーダ・デコーダの埋め込み空間に適用している。

これらの研究は提案手法によって，頑健なエン コーダ・デコーダモデルが構築できたと報告してい る. 一方で，これらの手法は摂動を計算するため に，最低一回は前向き計算を行わなければならない ため，摂動を用いず，単純にエンコーダ・デコーダ を学習する場合と比べて，学習に多大な時間を要す る. 実際，スケジュールドサンプリングにおいて は，用いる摂動の個数と同じ回数デコーダを計算し なければならない．また，敵対的事例を用いる場合 には，勾配を用いて摄動を計算するため，前向き計算に加えて，誤差逆伝播を行う必要がある $[9,8]$.

学習に多大な時間を要する性質は, 学習に要 する費用の増大につながる．例えば，Transformer (big) [10] モデルについて，広く使われている，WMT

図 1 本研究で用いる摂動の概要. 各摂動は独立なので，本図のように組み合わせることが可能.

英-独の訓練データを用い [11]，AWS のインスタン ス上で，敵対的摂動 [8] を用いて学習する場合，約 18 万円必要である．性能向上のためには，ハイパー パラメータの探索はもちろん，複数モデルを用いた アンサンブルを行うことも多々あり [12]，上記の ような摂動を用いた学習では莫大な費用がかかっ てしまう. Strubell ら [13] や Schwartz ら [14] は近年 のニューラルモデルの学習は計算量が増大してお り，計算量に比して効率的な手法を探る必要を示唆 した. 例えば，Li ら [15] は定められた時間の中で， もっとも良いモデルを得る戦略を調査している。し かしながら，摂動を用いた学習については，注意が 払われていない。

そこで本研究では，摂動を用いたエンコーダ・デ コーダの学習において，時間的に効率の良い手法を 探る. 単語ドロップアウト [16] やランダムに入力 トークンを置換して摂動事例とする手法のように，計算量の小さな手法も含めて比較を行う．このよう な計算量の小さな手法は，既存研究においてはべー スラインとして用いられていることもあるが [9],多大な計算時間を要する手法 $[9,8]$ と比較して，短 い時間で同等の性能を達成できる，すなわち，時間的効率が良いことが実験を通して明らかになった。

## 2 エンコーダ・デコーダ

本研究ではエンコーダ・デコーダを用いて，機械翻訳のような系列変換タスクに取り組む。本節では

エンコーダ・デコーダの定義を概説する。

系列変換タスクでは，エンコーダ・デコーダは入力系列に対応した系列を生成する. 長さ $I$ の入力 トークン列および長さ $J$ の出力トークン列をそれぞ れ $\boldsymbol{x}_{1: I}, \boldsymbol{y}_{1: J}$ とすると, エンコーダ・デコーダは次 の条件付き確率を計算する：

$
p(\boldsymbol{Y} \mid \boldsymbol{X})=\prod_{j=1}^{J+1} p\left(y_{j} \mid \boldsymbol{y}_{0: j-1}, \boldsymbol{X}\right)
$

ここで， $y_{0}$ おび $y_{J+1}$ はそれぞれ文頭，文末を示す 特殊なトークンとし, $X=x_{1: I}, Y=y_{1: J+1}$ とする.

学習においては，訓練データにおける負の対数尤度を最小化するパラメータ $\boldsymbol{\theta}$ を探す. $\boldsymbol{X}_{n}$ と $\boldsymbol{Y}_{n}$ とい う，対応する系列のペアを含む訓練データを $D$ と する, すなわち, $\mathscr{D}=\left.\{\left(\boldsymbol{X}_{n}, \boldsymbol{Y}_{n}\right)\right.\}_{n=1}^{|D|}$ とすると，次の 損失関数を最小化するように学習を行う.

$
\mathscr{L}(\boldsymbol{\theta})=-\frac{1}{|\mathscr{D}|} \sum_{(\boldsymbol{X}, \boldsymbol{Y}) \in \mathscr{D}} \log p(\boldsymbol{Y} \mid \boldsymbol{X} ; \boldsymbol{\theta})
$

## 3 摂動

本節では，本研究で用いる，置換，単語ドロップ アウト，敵対的摂動の 3 種類の摄動を概説する. 図 1 に示したように，これらの摂動は独立な手法なの で，組み合わせることも可能であり，実際に，実験 では置換と単語ドロップアウトの組み合わせも用 いる.

## 3.1 置換

スケジュールドサンプリング [9] のように，本来 の入力トークンをサンプリングしたトークンに置き 換える手法を，本研究では置換と呼ぶ. 置換では,入力系列 $\boldsymbol{X}$ 内のトークン $x_{i}$ について，ある分布 $Q_{x_{i}}$ からサンプリングしたトークン $\hat{x}_{i}$ と確率 $\alpha$ で置き 換えることで，新たな入力系列 $\boldsymbol{X}^{\prime}$ を構築する。

$
\begin{aligned}
\hat{x}_{i} & \sim Q_{x_{i}}, \\
x_{i}^{\prime} & = \begin{cases}x_{i} & \text { 確率 } \alpha \\
\hat{x}_{i} & \text { 確率 } 1-\alpha .\end{cases}
\end{aligned}
$

同様にして，Y から $\boldsymbol{Y}^{\prime}$ を構築する.

Bengio ら [9] はカリキュラム学習の発想で, 学習 が進むにつれ，徐々に $\alpha$ が減少するような関数を 用いた.この関数により, 学習初期では正しい入力 トークンを頻繁に用い，学習後期ではサンプリング したトークンを頻繁に用いるようになる. 本研究で
も同様な関数を用いて $\alpha$ の計算を行う.

$
\alpha_{t}=\max \left(q, \frac{k}{k+\exp \left(\frac{t}{k}\right)}\right)
$

ここで $q$ と $k$ はハイパーパラメータである. 上記 の式により， $\alpha_{t}$ は 1 から $q$ まで，学習ステップ $t$ に 依存して減少していく.この $\alpha_{t}$ を各ステップにお ける $\alpha$ として用いる.

分布 $Q_{x_{i}}$ については, 条件付き確率, 一様分布,類似度の 3 種類を用いる。

条件付き確率： $\operatorname{REP}(\mathbf{S S})$ Bengio ら [9] は訓練時と 推論時における差異に対処するため，スケジュール ドサンプリングを提案した. スケジュールドサンプ リングは次の条件付き確率を $Q_{y_{i}}$ として用いる.

$
p\left(\hat{y}_{i} \mid \boldsymbol{y}_{0: i-1}^{\prime}, \boldsymbol{X}\right)
$

スケジュールドサンプリングはデコーダ側の摄動を 計算する手法であり， $Q_{x_{i}}$ に対応する関数はなく, エンコーダ側の入力については手を加えない.

元来のスケジュールドサンプリングはデコーダ側 のトークン数分デコーダの前向き計算を行う必要が あり，デコーダ側の入力系列長に比例した計算時間 を要する。これに対処するため，Duckworth ら [17] はデコーダ側の全入力に対応する条件付き確率を 1 度に計算してしまう，並列化したスケジュールドサ ンプリングを提案した.この並列化したスケジュー ルドサンプリングは時間的効率が良いと報告されて いるため，本研究ではこれを用いる。

一様分布：REP(UNI) 並列化したスケジュールドサ ンプリングを用いたとしても，式（6）を計算する ために，最低 1 回はデコーダの前向き計算を行わな ければならない．より時間的効率の良い摂動を探る ために, 本研究では一様分布と類似度という 2 種類 の高速な摂動の計算手法との比較を行う。一様分布 （ReP(UnI)）はその名の通り，各語彙における一様分布を $Q_{x_{i}}$ や $Q_{y_{i}}$ として用いる. 例えばエンコーダ側 の摂動事例を得るために，エンコーダ側の語彙から ランダムに 1 つサンプリングし, 式 (4) の $\hat{x}_{i}$ とし て用いる. 本手法は既存研究においてべースライン としても用いられている手法である [9].

類似度： $\boldsymbol{R E P}($ SIM) 式 (6) の条件付き確率は, 元々 の入力トークンに似たトークンに対して高い確率を 付与していると考えられる. このため，一様分布よ りも摂動として適したトークンを得る手法として，似たトークンに高い確率を付与している分布を考え る. エンコーダ側の語彙を $\mathscr{V}_{x}$, エンコーダ側の埋

め込み表現（次元数は $d_{x}$ ）を $\boldsymbol{E}_{x} \in \mathbb{R}^{\left|\mathscr{V}_{x}\right| x d_{x}}$ ，トーク ン $x_{i}$ に対応する埋め込み表現を $\boldsymbol{e}\left(x_{i}\right)$ と表すとした とき，次の確率分布を $Q_{x_{i}}$ として用いる.

$
\operatorname{softmax}\left(\boldsymbol{E}_{x} \boldsymbol{e}\left(x_{i}\right)\right),
$

ここで， $\operatorname{softmax}($.$) はソフトマックス関数である.$ すなわち，式（7）は $\boldsymbol{e}\left(x_{i}\right)$ に似た埋め込み表現に高 い確率を付与する。言い換えれば，式（7）は文脈を 考慮していない場合の， $x_{i}$ の類似トークンに高い確率を付与する。デコーダ側についても， $\boldsymbol{e}\left(y_{i}\right)$ を用 いて同様に計算する。

## 3.2 単語ドロップアウト：WDROP

単語ドロップアウトは入力トークン $x_{i}$ について, ランダムに，埋め込み表現 $\boldsymbol{e}\left(x_{i}\right)$ の代わりに，ゼロ ベクトルを摂動として用いる [16].

$
\begin{aligned}
b_{x_{i}} & \sim \operatorname{Bernoulli}(\beta), \\
\operatorname{WDrop}\left(x_{i}, b_{x_{i}}\right) & =b_{x_{i}} \boldsymbol{e}\left(x_{i}\right),
\end{aligned}
$

ここで， $\operatorname{Bernoulli}(\beta)$ は確率 $\beta$ で 1 を返し，それ以外に 0 を返す関数である。すなわち, $\operatorname{WDrop}\left(x_{i}, b_{x_{i}}\right)$ は $\beta$ で $\boldsymbol{e}\left(x_{i}\right)$ を，それ以外にゼロベクトルを返す関数である. 式（9）を入力系列の各トークンに適用 し，得られた系列を摂動事例として用いる。

## 3.3 敵対的摂動：ADV

Miyato ら [6] は埋め込み空間において敵対的摄動 を計算する手法を提案した。この手法では，元々の 入力トークンを別のものと置き換えるのではなく，入力トークンの埋め込み表現に敵対的摄動を加え る. Sato ら [8] は本手法をエンコーダ・デコーダに 適用し，性能向上を報告しており，本研究はこれに ならって敵対的摂動を計算する。

敵対的摄動，すなわち，損失の値に深刻な悪影響を及ぼす摂動は損失関数 $\mathscr{L}(\boldsymbol{\theta})$ の勾配を元に計算する. 入力トークン $x_{i}$ についての敵対的摄動を $\boldsymbol{r}_{x_{i}} \in \mathbb{R}^{d_{x}}$ としたとき, 敵対的摂動を適用した埋め込 み表現 $\boldsymbol{e}^{\prime}\left(x_{i}\right)$ は次式で計算する。

$
\begin{aligned}
\boldsymbol{e}^{\prime}\left(x_{i}\right) & =\boldsymbol{e}\left(x_{i}\right)+\boldsymbol{r}_{x_{i}} \\
\boldsymbol{r}_{x_{i}} & =\epsilon \frac{\boldsymbol{c}_{x_{i}}}{\left.\|\boldsymbol{c}_{x_{i}}\right.\|} \\
\boldsymbol{c}_{x_{i}} & =\nabla_{\boldsymbol{e}\left(x_{i}\right)} \mathscr{L}(\boldsymbol{\theta})
\end{aligned}
$

ここで， $\epsilon$ は敵対的摄動のノルムを調整するハイ パーパラメータである. この式を入力系列のすべて のトークンに適用することで，摄動事例を得る.

## 3.4 学習

置換や単語ドロップアウトを用いた場合の学習と しては，摄動事例から正しい系列を予測するよう学習する。例えば，置換を用いた際は，次の負の対数尤度を最小化する。

$
\begin{aligned}
\mathscr{L}^{\prime}(\boldsymbol{\theta}) & =-\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \log p\left(\boldsymbol{Y} \mid \boldsymbol{X}^{\prime}, \boldsymbol{Y}^{\prime} ; \boldsymbol{\theta}\right), \\
& =-\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \sum_{j=1}^{J+1} \log p\left(y_{j} \mid \boldsymbol{y}_{0: j-1}^{\prime}, \boldsymbol{X}^{\prime} ; \boldsymbol{\theta}\right) .
\end{aligned}
$

敵対的摄動を用いた場合には，既存研究になら い $[18,8]$ ，一度行った前向き計算を利用し，元の損失関数と敵対的摂動を用いて計算した損失 $\mathscr{A}(\boldsymbol{\theta})$ の 合計を最小化する。

$
\mathscr{F}(\boldsymbol{\theta})=\mathscr{L}(\boldsymbol{\theta})+\lambda \mathscr{A}(\boldsymbol{\theta}),
$

ここで， $\lambda$ はつの損失関数を釣り合わせるための ハイパーパラメータである. $\mathscr{A}(\boldsymbol{\theta})$ としては，元の入力に対する出力確率分布を正例とする。すなわち，

$
\mathscr{A}(\boldsymbol{\theta})=\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \operatorname{KL}(p(\cdot \mid \boldsymbol{X} ; \boldsymbol{\theta}) \| p(\cdot \mid \boldsymbol{X}, \boldsymbol{r} ; \boldsymbol{\theta})),
$

ここで， $\boldsymbol{r}$ は各入力トークンに対する敵対的摂動を つなぎ合わせたべクトルとし，KL($\cdot$\|$\cdot$) はカルバッ ク・ライブラー情報量とする.

## 4 機械翻訳における実験

系列変換における代表的なタスクとして，翻訳タ スクでの実験を行う1)，広く使用されているデータ セットとして，WMT 英-独データセットを用いる。具体的には，Ott ら [11] と同じ前処理を行った，450 万文対を訓練データとして用い，newstest2010-2016 で性能を評価する。性能評価には，SacreBLEU [19] を用いて BLEU を計算する。

エンコーダ・デコーダとしては Transformer [10] の big 設定を用いる. 実装は fairseqを元に行っ $た^{2)}$. 各ハイパーパラメータについては, $q=0.9$, $k=1000, \beta=0.9$ とし， ADv については，既存研究 [8] と同じ値を使用した. 学習ステップ数は全て の手法で 50,000とした.

## 4.1 結果

摄動なしの Transformer（w/o perturbation）および 各摄動を用いた際の BLEU 値を表 1 に示す。なお，

2) https://github.com/pytorch/fairseq
表 1 newstest2010-2016での BLEU 値，それらの平均値，摂動なしの Transformer 基準とした際の各手法での計算速度.

 & 24.22 & 22.11 & 22.69 & 26.60 & 28.46 & 30.50 & 33.58 & 26.88 & $\times 1.00$ \\

(a) NLL

(b) BLEU

(c) 摂動なしの Transformer の BLEU値に到達するまでの時間

図 2 newstest 2013 での負の対数尤度（NLL），BLEU 値，摂動なしの Transformer の BLEU 值に到達するまでの時間.

表 1 に記したように，デコーダ側の摂動計算手法で ある $\operatorname{ReP}(\mathrm{SS})$ 以外はエンコーダ側，デコーダ側の両方に摂動を適用した．BLEU 值に加えて，表 1 は摂動なしの Transformerを基準とし，各摂動を用いた 際の計算速度を示している. また，高速な手法であ る WDroP， $\operatorname{Rep}(\mathrm{UnI}), \operatorname{Rep}(\operatorname{Sim})$ については，組み合 わせた際の結果も記した。

まず，摄動なしの Transformer は newstest 2014 に おいて, 28.46 と既存研究 [10] と同程度の BLEU 值 を達成しており，強いべースラインとみなして良い と考えられる．BLEU の平均値において，摂動を用 いた全ての手法が摂動なしの場合よりも高い値を達成しており，攝動を用いることで，エンコーダ・デ コーダの性能が向上することが分かる. 加えて, 素朴な手法である WDROP, $\operatorname{Rep}\left(\mathrm{UnI}^{2}\right), \operatorname{ReP}\left(\mathrm{Sim}_{\mathrm{Im}}\right)$, およ びその組み合わせは，既存研究で優れているとされ ていた Adv や ReP(SS) に対し $[9,8]$, 計算速度も速 く，BLEU 值でも上回っている.

図 2 は訓練時間に対する, 各手法での newstest 2013 における負の対数尤度 (a)，BLEU 値 (b)，お よび，摂動なしの Transformer の学習修了時の BLEU 値に到達するまでの時間（c）を示している，図 (a) (b) より, 学習の早い段階で, WDROP, $\operatorname{REP}(U N I)$, $\operatorname{REP(SIM)}$ は摂動なしの Transformer よりも良い負の 対数尤度と BLEU 值に到達していることが分かる。 さらに, 図の（c）から，これらの手法は摂動なしの Transformer 最終的な BLEU 值を, REP(SS) や ADv,摂動なしの場合よりも高速に達成していることが分 かり，特に，ADvよりも2 倍高速である。これらの 結果から, WDROP, $\operatorname{REP}(\mathrm{UnI}), \operatorname{ReP}(\operatorname{Sim})$ およびその 組み合わせは，時間的効率の良い摂動と言える。

## 5 おわりに

本研究では，エンコーダ・デコーダに様々な摂動 を適用し，系列変換タスクにおいて，時間的効率の 良い摄動を調査した。既存研究では，スケジュール ドサンプリングや敵対的摄動の有用性が報告されて いたが $[9,20,8]$, 本研究の設定においては, 単語ド ロップアウト [16] のような単純な手法がこれらと同等の性能を高速に達成可能であることを示した. こ の結果から，エンコーダ・デコーダに摂動を適用す る際は，まずは単純な手法を試すことを勧めたい。実際に頑健なモデルを構築するため，摄動を選択す る際に，また，これからの摂動に関する研究の実験的な比較において，本研究が一助となれば幸いで ある.

## 参考文献

[1]Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to Sequence Learning with Neural Networks. In Advances in Neural Information Processing Systems 27 (NIPS), pp. 3104-3112, 2014.

[2]Alexander M. Rush, Sumit Chopra, and Jason Weston. A Neural Attention Model for Abstractive Sentence Summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 379-389, 2015.

[3]Jianshu Ji, Qinlong Wang, Kristina Toutanova, Yongen Gong, Steven Truong, and Jianfeng Gao. A nested attention neural hybrid model for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 753-762, 2017

[4]Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research (JMLR), Vol. 15, No. 56, pp. 1929-1958, 2014.

[5]Ian Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. In Proceedings of the $3 \mathrm{rd}$ International Conference on Learning Representations (ICLR), 2015.

[6]Takeru Miyato, Andrew M. Dai, and Ian Goodfellow. Adversarial training methods for semi-supervised text classification. In Proceedings of the 5th International Conference on Learning Representations (ICLR), 2017.

[7]Yong Cheng, Lu Jiang, and Wolfgang Macherey. Robust neural machine translation with doubly adversarial inputs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4324-4333, 2019.

[8]Motoki Sato, Jun Suzuki, and Shun Kiyono. Effective adversarial regularization for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 204-210, 2019.

[9]Samy Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In Advances in Neural Information Processing Systems 28 (NIPS), pp. 1171-1179. 2015

[10]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008. 2017.

[11]Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of the Third Conference on Machine Translation (WMT), pp. 1-9, 2018.

[12]Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (WMT), pp. 1-61, 2019.

[13]Emma Strubell, Ananya Ganesh, and Andrew McCallum. Energy and policy considerations for deep learning in NLP. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3645-3650, 2019.

[14]Roy Schwartz, Jesse Dodge, Noah A. Smith, and Oren Etzioni. Green AI. CoRR, Vol. abs/1907.10597, , 2019.

[15]Zhuohan Li, Eric Wallace, Sheng Shen, Kevin Lin, Kurt Keutzer, Dan Klein, and Joseph E. Gonzalez. Train large, then compress: Rethinking model size for efficient training and inference of transformers. In Proceedings of the 37th International Conference on Machine Learning (ICML), pp. 11432-11442, 2020.

[16]Yarin Gal and Zoubin Ghahramani. A theoretically grounded application of dropout in recurrent neural networks. In Advances in Neural
Information Processing Systems 29 (NIPS), pp. 1019-1027. 2016.

[17]Daniel Duckworth, Arvind Neelakantan, Ben Goodrich, Lukasz Kaiser, and Samy Bengio. Parallel scheduled sampling. CoRR, 2019.

[18]Takeru Miyato, Shin ichi Maeda, Masanori Koyama, Ken Nakae, and Shin Ishii. Distributional smoothing with virtual adversarial training. In Proceedings of the 4th International Conference on Learning Representations (ICLR), 2016.

[19]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation (WMT),pp. 186-191, 2018.

[20]Wen Zhang, Yang Feng, Fandong Meng, Di You, and Qun Liu. Bridging the gap between training and inference for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4334-4343, 2019.

[21]Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, and Kentaro Inui. Massive exploration of pseudo data for grammatical error correction. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2134-2145, 2020.

[22]Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[23]Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 Shared Task on Grammatical Error Correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning (CoNLL), pp. 1-14, 2014.

[24]Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments. In Proceedings of the 26th International Conference on Computational Linguistics (COLING), pp. 825-835, 2016.

[25]Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 568-572, 2012.

[26]Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. Unified language model pre-training for natural language understanding and generation. In Advances in Neural Information Processing Systems (NeurIPS), pp. 13063-13075, 2019.

[27]Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. Mass: Masked sequence to sequence pre-training for language generation. In International Conference on Machine Learning (ICML), pp. 59265936, 2019.

[28]Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. Pegasus: Pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning (ICML), 2020.

[29]Weizhen Qi, Yu Yan, Yeyun Gong, Dayiheng Liu, Nan Duan, Jiusheng Chen, Ruofei Zhang, and Ming Zhou. ProphetNet: Predicting future n-gram for sequence-to-SequencePre-training. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2401-2410.

[30]Courtney Napoles, Matthew Gormley, and Benjamin Van Durme. Annotated Gigaword. In Proceedings of the Joint Workshop on Automatic Knowledge Base Construction and Web-scale Knowledge Extraction (AKBC-WEKEX), pp. 95-100, 2012.

[31]Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT), pp. 3999-4004, 2019.

[32]Rowan Zellers, Ari Holtzman, Hannah Rashkin, Yonatan Bisk, Ali Farhadi, Franziska Roesner, and Yejin Choi. Defending against neural fake news. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems (NeurIPS), pp. 9054-9065, 2019.
表 2 各手法の $\mathrm{F}_{0.5}$. また，摄動なしと同一の設定とし て，Kiyono ら [21] の報告値を掲載した.

## A 文法誤り訂正における実験

系列変換タスクとして，文法誤り訂正と生成的要約タスクでの実験を行う，文法誤り訂正の評価 データとしては，広く用いられている，BEAデータ セットの開発データとテストデータ [22]，および， CoNLL-2014 のテストデータ（CoNLL） [23]を用い る. BEA については ERRANT [24] で計算した $\mathrm{F}_{0.5}$, CoNLL については $M^{2}$ [25] を評価に用いる.

既存研究 [21] にならい，疑似パラレルコーパス でエンコーダ・デコーダ（Transformer）を学習した 後，摂動を用いたファインチューニングを BEA の 訓練データ上で行う．各ハイパーパラメータについ ては，4節と同様の值を用いた。

## A. 1 結果

表 2 に各手法での結果を示す.これらのスコア は，5つの異なるランダムシードを用いてファイ ンチューニングを行い，その平均值である。加え て，本表には摂動なしと同一の設定として，Kiyono ら [21] の報告値を記している3).

表 2 より，BEA テストデータ（テスト）におけ る $\operatorname{REP}\left(\mathrm{UnI}_{\mathrm{NI})}\right.$ と $\operatorname{ReP}\left(\mathrm{SIm}_{\mathrm{Im}}\right)$ を除き，摂動を用いる全て の手法が摂動なしのスコアを上回っていることが 分かる。機械翻訳における実験と同様に，WDROP， およびこれと $\operatorname{ReP}(\mathrm{UNI}), \operatorname{ReP}(\mathrm{SIM})$ の組み合わせが ADv と同等の性能を達成している. これらの手法は $\operatorname{ReP}(\mathrm{SS})$ や ADv よりも計算が高速であることから，文法誤り訂正タスクにおいても，時間的な効率の良 い手法であると言える.

## B 生成的要約における実験

生成的要約の評価データとして，広く用いられ ている, Annotated English Gigaword から抽出された,

3）表 2 の摂動なしの結果は Kiyono ら [21] と比べて僅かに低い が，これは学習におけるランダム性によるものと考えられる.表 3 Annotated English Gigaword テストデータにおける，各手法の ROUGE-1，2，L の $\mathrm{F}_{1}$ 值（R-1，R-2，R-L). 本表の下の部分は近年の研究における報告値である.

1951 の文と要約（正確には見出し文）のぺアからな るテストデータ $[30,2]$ を用いる.

訓練データとしては，既存研究 $[2,31]$ にならい， Annotated English Gigaword から抽出した 380 万の文 と要約のペアを用いる。また，近年の生成的要約タ スクでは，大規模コーパスで事前学習したエンコー ダ・デコーダを用いることも多く [26, 27, 28, 29], これらの研究にならい, REALNEWS [32] と News Crawl [12] から文と要約のペアを抽出し，訓練デー タとした。合計で，1700万の文と要約ペアを訓練 データに用いた. 機械翻訳, 文法誤り訂正と同様, エンコーダ・デコーダには Transformer [10] を用い, ハイパーパラメータについては 4 節と同じ値を用い た.なお，敵対的摂動については，勾配が爆発して しまい，学習を安定させることができなかった. ラ ンダムシードを変更して何度か学習を行ったが全て 発散してしまい，また，ハイパーパラメータの探索 を行うことも予算の都合上難しかったため，本実験 においては，敵対的摂動は除くこととする。

## B. 1 結果

表 3 に Annotated English Gigaword テストデータに おける，各手法の ROUGE-1，2，Lの $\mathrm{F}_{1}$ 值，および，近年の研究における報告値を示した $[26,27,28,29]$.表 3 より，機械翻訳や文法誤り訂正での結果と同じ く，摂動を用いた全ての手法が摂動なしのスコア を上回っていることが分かる. WDROP, $\operatorname{ReP}\left(U_{N I}\right)$, $\operatorname{REP}(\operatorname{Sim})$ ，およびその組み合わせは $\operatorname{ReP}(\mathrm{SS})$ よりも 高い ROUGE 值を達成している. これらは計算速度 も高速であることから，生成的要約タスクにおいて も，時間的効率の良い手法であることが伺える，加 えて, $\operatorname{ReP}\left(\mathrm{UNI}^{2}\right)$ と WDROP はそれぞれ, ROUGE-1 と L，ROUGE-2 において，現状のトップスコア [29] りも高い値を達成している。


# クラウドソーシングによる Web サイトマイニングを用いた 翻訳モデルの即時領域適応

森下 睦 1,2, 鈴木 潤 2, 永田 昌明 1
${ }^{1}$ NTTコミュニケーション科学基礎研究所 2 東北大学
\{makoto.morishita.gr, masaaki.nagata.et\}@hco.ntt.co.jp
jun.suzuki@ecei.tohoku.ac.jp

## 1 はじめに

2020 年は新型コロナウイルス感染症の流行によ り、正しい情報を迅速に収集し行動することが求め られた。しかし、日本国内においては政府や自治体 からの情報の大半は日本語により発信されたため、日本国内に滞在する非日本語話者にとっては最新の 情報を受け取りにくい状況が生じていた。機械翻訳 を用いて日本語を多言語に翻訳するケースも見受け られたが、特殊な用語が多く含まれる分野ゆえに十分な翻訳品質が得られない場合があった [1]。

このような状況で十分な翻訳品質が得られない原因の一つは翻訳モデルの学習データにあると考えら れる。近年のニューラル機械翻訳モデルの多くは対訳コーパスをもとに学習を行う。この際、翻訳対象領域に関する対訳コーパスが十分に学習していない 場合、翻訳品質が低下する欠点がある [2]。そのた め、必要十分な翻訳品質を達成するためには、翻訳 したい領域 (分野) の対訳コーパスを十分に用意し、適用領域に特化した翻訳モデルを構築するのが、最 も有効な手段だと考えられる。しかし、一般に存在 する対訳コーパスは限定的であり、特化したい領域 の対訳文を十分に用意できない場合多い。

本研究では、特定領域に特化した機械翻訳モデル が必要となった際に、既存の翻訳モデルを迅速かつ 安価に適応する手法を検討する。具体的には、図 1 のようにクラウドワーカーから特定領域に関連する 対訳となっているURL 対の提供を受け、翻訳対象領域の対訳コーパスを迅速に Web から構築し、翻訳 モデルを適応することで高い翻訳品質を達成する。本手法により、前述のような緊急事態発生時にも数日以内に高い翻訳品質を持った翻訳器を提供するこ とを目標とする。

特定領域に関する対訳 URL クロール/対訳文抽出

特定領域に関する対訳文

ファインチューニング

領域特化翻訳モデル

図 1 クラウドソーシングを用いた領域適応の概要図

## 2 関連研究

## 2.1 翻訳モデルの領域適応

翻訳対象領域が限定されている際に、翻訳モデル を特定領域に特化させることを領域適応という。近年主流のニューラル機械翻訳では、大規模対訳コー パスで事前に学習した翻訳モデルを、適応対象領域 の対訳コーパスを用いてファインチューニングす る手法が主流となっている。Kiyono らは WMT2020 シェアードタスクにおいて、本手法により翻訳モデ ルをニュース領域に適応させることで、最大 2.2 ポ イントの BLEU スコア向上を記録した [3]。ただし、本手法は適応対象領域のみを含んだ対訳コーパスが 存在する場合に使用可能である。一般的には、特定領域のみを含んだ対訳コーパスが存在することは稀 なため、大規模な対訳コーパスから適応対象領域に 近い文を抽出し領域適応を行う場合が多い [4]。
本研究では、適応対象領域に近い対訳文を Web から収集し、得られた対訳文を用いて翻訳モデルを ファインチューニングすることで領域適応を実現す る。これまでの手法は、既存の大規模対訳コーパス から適応対象領域に近い対訳文を抽出し学習するも のが大半だったのに対し、本手法では対訳文を新た に Web から収集するため、既存の対訳コーパスが網羅していない分野についても適応可能である。

## 2.2 Web からの対訳文収集

近年は Web から対訳文を抽出し、大規模な対訳 コーパスを構築する研究が進んでいる。ParaCrawl プロジェクトは、Webをもとに EU 公式言語-英語間 の大規模な対訳コーパスを作成している [5]。また、日本語-英語間では 1000 万文対を超える Web ベー ス大規模対訳コーパス JParaCrawl が公開されてい る [6]。これらのコーパスは、CommonCrawl から各 Web サイトに含まれる言語別データ量を分析し、収集対象言語対のデータが一定以上の Web サイトを クロール対象とすることで構築されている。この手法では、膨大な Webから効率的に対訳文を収集する ことができるが、目的言語対のデータ量がしきい値未満の Web サイトについては取りこぼしが発生す るほか、CommonCrawl に含まれていない Web サイ トについては収集対象とならない久点があった。さ らに、本研究のように翻訳したい領域があらかじめ 決まっている状態でも、それに合わせた対訳文を収集することはできなかった。

Ling らはクラウドソーシングを活用して Twitter から対訳文を抽出する手法を提案した [7]。この手法では、安価に対訳文を収集することができるもの の、特定領域に特化した対訳文は収集できない。

また Papavassiliou らは、Webクローラを活用する ことで特定領域の対訳コーパスを構築する手法を提案した [8]。本手法は、特定領域に関する対訳文を 収集できるものの、Webクローラを動作させるため には時間とコストがかかる。

以上の研究をもとに、本研究では特定領域の対訳文を Web から迅速かつ安価に収集する手法を検討 する。これにより、得られた対訳文を用いて特定領域に特化した翻訳モデルが学習可能となる。

## 3 特定領域対訳文収集

## 3.1 クラウドソーシングによる対訳 URL 収集

図 1 に示したように、本研究ではクラウドソーシ ングを活用して特定領域対訳文を収集し、領域特化翻訳モデルの実現を目指す。具体的な手順は以下の 通りである。まず、適応対象領域に関する少量の対訳コーパス ( 1000 文程度)を人手で用意しこれを Dev セットとする。クラウドワーカーへ Dev セット を提示し、Devセットに近い対訳文を含む Web ペー ジ URL 対の報告を依頼する。クラウドワーカーへ は発見した URL1 対につき、規定の報酬を支払う1) (3.3 節参照)。

本研究では、クラウドワーカーはこれまでの経験 や勘を活かし、対訳となっている Webページを探し 出せると仮定している。この仮定が成り立てば、本手法によりこれまでは難しかった特定領域に特化し た対訳文収集が可能になる。

## 3.2 対訳文抽出

クラウドワーカーから対訳となっている URL 対 の報告を受けると、自動的に対訳文抽出を行う。 ParaCrawl 等の先行研究では、文書対応付けを行い Web サイト全体からどのページ同士が対応している かを求め、その後対訳文対応付けを行っていた。し かし、本研究ではクラウドワーカーから対応してい るぺージの URL 対を受け取るため、文書対応付け は必要ない。対訳文対応付けには、vecalignを用い る [9]。vecalign は LASER [10] の出力である多言語文埋め込みを受け取り、対訳文を抽出する。本研究 では、vecalign が出力するスコア 0.5 以上の対訳文 のみを正しい対訳になっていると仮定して以降の実験で使用する。

## 3.3 報酬設定

クラウドワーカーへ支払う報酬は、報告された対訳 URL から得られた対訳文数、対訳品質および適応対象領域への類似度により変化させる。これによ り、クラウドワーカーはより翻訳品質向上に寄与す る Web ページを探索する意欲が増すことが期待さ れる。また、不適切な作業については報酬を低く抑 えることができ、コストの削減にも繋がる。実際の

1）ただし、すでに報告されている URL との重複は許さない。
報酬額は以下のように決定される。

対訳品質スコア 報告された対訳 URL から得ら れた対訳文を $\mathbb{D}=\left.\{\left(x_{1}, y_{1}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ とする。こ こで、 $x_{i}$ は $i$ 番目の原言語文、 $y_{i}$ は $i$ 番目の目的言語文を表す。対訳品質スコア $S_{a}$ は vecalignによっ て算出された 0 から 1 の值を持つスコア $\mathrm{V}(x, y)$ を 用いて以下のように計算される。

$
S_{a}=\sum_{\left(x_{i}, y_{i}\right) \in \mathbb{D}} \mathrm{V}\left(x_{i}, y_{i}\right)
$

領域類似度スコア 抽出された原言語文全体の平均文埋め込みを求め、これを Web ページ全体の文書埋め込み $e$ とする。

$
\boldsymbol{e}=\frac{1}{|\mathbb{D}|} \sum_{i=1}^{|\mathbb{D}|} \mathrm{L}\left(x_{i}\right)
$

ここで、 $\mathrm{L}(x)$ は文 $x$ について LASER による多言語文埋め込みを返す関数、||D| は抽出された対訳文数を 表す。

本研究では、適応領域に関するDevセットは文書単位に分割されていることを仮定する。 $m$ 文書から なるDevセットに関して、文書埋め込みを同様に計算する: $\boldsymbol{E}_{d}=\left(\boldsymbol{e}_{d_{1}}, \ldots, \boldsymbol{e}_{d_{m}}\right)$ 。

領域類似度スコア $S_{d}$ は、 Web ページ文書埋め込 み $\boldsymbol{e}$ と Dev セット文書埋め込み $\boldsymbol{E}_{d}$ の $\cos$ 類似度を 用いて以下のように計算する。

$
S_{d}=|\mathbb{D}| \max _{\boldsymbol{e}_{d} \in \boldsymbol{E}_{d}} \frac{\boldsymbol{e} \cdot \boldsymbol{e}_{d}}{\|\boldsymbol{e}\|\left.\|\boldsymbol{e}_{d}\right.\|}
$

最終的な報酬額 $r$ は、上記のスコアをもとに最低保証金額である 20 円を加え、 $r=20+3 S_{a}+3 S_{d}$ 円と した。ただし、報告された URL 対から 1 文も対訳文が得られなかった場合は報酬は 0 円となる。

クラウドワーカーに対しては、各作業について報酬及び各種スコアをフィードバックする。これによ り、ワーカーはより高い報酬を得るよう、より品質 が上がるように作業内容を変化させることが期待さ れる。

## 4 実験

## 4.1 実験設定

対訳文収集 本実験では、適応対象領域として新型コロナウイルス感染症を対象とした。本領域に関 する対訳コーパス構築のために、クラウドワーカー を 10 人募集し、 5 日間かけて対訳文収集を実施し
Dev/Test セットに含まれる文数および英語側単語数

表 2 BLEUスコア

表 3 分野別 BLEU スコア

図 2 データ収集日数による BLEU スコアの変化

た。報酬額の設定は 3.3 節の通りである。

翻訳モデル 本実験では、英日翻訳を対象とし た。分野適応前の汎用翻訳モデルとして、約 1000 万文の日英対訳コーパス JParaCrawl v2.0 で学習した Transformer Big モデル [11]を使用した。JParaCrawl は新型コロナウイルス感染症流行前に収集されたも のであるため、対象領域に関する対訳文は含んでい ない。汎用翻訳モデルの学習に関するハイパーパラ メータは Morishita らの設定と同一である [6]。

本実験では、汎用翻訳モデルをもとに、提案法に よりクラウドソーシングを活用して収集した対訳文 を用いてモデルをファインチューニングすることで 領域適応を行った。また、領域適応のベースライン として、既存の大規模対訳コーパス (JParaCrawl) か ら特定領域に近い文を抽出し学習する Moore-Lewis の手法を使用する [12]。本手法は、2010 年に提案さ れた比較的古い手法ではあるものの、2020 年に提案

 \\

図 3 翻訳品質が改善した例

された手法とほぼ同等の性能をもった強力なべース ラインとなっている [13]。ファインチューニング時 のハイパーパラメータを付録 表 4 に示す。

適応対象領域に関する Dev セットおよび Test セッ トとして、新型コロナウイルス感染症に関する多言語テストセットである TICO-19 [14] を日本語訳し使用した。使用した Dev セットおよび Test セットの文数、単語数を表 1 に示す ${ }^{2}$ 。

## 4.2 実験結果/考察

5 日間のデータ収集の結果、提案法により得られ た対訳文数は 6,772 文、総報酬額は 31,079 円となっ た。得られた対訳文をもとに汎用翻訳モデルをファ インチューニングした際の BLEU スコアを表 2 に示 す3)。既存の Moore-Lewis 法では汎用翻訳モデルと ほぼ同等の品質に留まったが、提案法により収集し た対訳文を用いた領域適応は 1.5 ポイントの BLEU スコア向上を達成した。これは、既存の対訳コーパ ス中に適応領域に近い対訳文が十分に含まれていな かったことが原因だと考えられる。また、提案法に よる BLEU スコア向上はクラウドワーカーが適切に 適応領域に近い対訳 URL を探索できたことを示し ている。

図 2 に、データ収集日数による BLEU スコアの変化を示す。収集 1 日目は収集できた対訳文数が少 ない ( 1,152 文) こともありベースラインモデルを下回っているが、2 日目にはベースラインを大幅に上回る翻訳品質を達成している。

2）翻訳作業期間の都合上、Dev セットおよび Test セットの一部のみを翻訳し使用する。そのため、本来の TICO-19 全体に 含まれる文数および単語数と差が生じている。

3） Moore-Lewis 法では、使用する対訳文数を変えて複数のモ デルを学習し最も Dev セットの BLEU が高かかったモデル (上位 4,000 文)を使用した。試行した対訳文数は次の通り: ス コア上位 1,000 文, 2,000 文, 4,000 文, 6,000 文, 10,000 文, 25,000 文, 50,000 文, 100,000 文。
TICO-19 に含まれる分野別 BLEU スコアを表 3 に 示す。提案法による領域適応モデルは、ほとんどの 分野でベースラインモデルを上回るスコアを達成し ている。特に、ニュース分野に関してはべースライ ンモデルと比較して 4 ポイントの BLEU スコア向上 が見られる。これは、新型コロナウイルス感染症に 関連したニュースサイトがクラウドワーカーによっ て多く報告されたことに起因すると思われる。

提案法により翻訳品質が改善した例を図3 亿示 す。JParaCrawl のみを用いて学習したモデルでは “novel coronavirus”を正しく翻訳できていないのに対 し、提案法による領域適応を行ったモデルでは「新型コロナウイルス」と正しく翻訳できていることが わかる。このように、適応対象領域の対訳文を新た に収集することにより、適応領域に関する専門用語が正しく翻訳可能になるケースが多く見受けら れた。

以上の実験から、提案法により、特定領域の翻訳品質を迅速かつ安価に向上させられることを示 した。

## 5 おわりに

本稿では、クラウドワーカーを活用した翻訳モデ ルの即時適応手法を提案した。新型コロナウイルス 感染症に関する領域を対象に行なった実験により、提案法を用いることで既存の対訳コーパスが網羅し ていない領域に対しても迅速かつ安価に領域適応を 行うことができることを示した。今後、日英以外の 言語対や、新型コロナウイルス感染症以外の様々な 領域に対しても適応可能であることを示していき たい。

## 参考文献

[1] 厚労省 HP、新型肺炎の外国語情報で誤訳多発 「手洗い重要」が「トイレ重要」.毎日新聞.

[2] Mathias Müller, Annette Rios, and Rico Sennrich. Domain robustness in neural machine translation. In Proceedings of the 14th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), pages 151-164, 2020.

[3] Shun Kiyono, Takumi Ito, Ryuto Konno, Makoto Morishita, and Jun Suzuki. Tohoku-AIP-NTT at WMT 2020 news translation task. In Proceedings of the 5th Conference on Machine Translation (WMT), pages 145-155, 2020.

[4] Amittai Axelrod, Xiaodong He, and Jianfeng Gao. Domain adaptation via pseudo in-domain data selection. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 355-362, 2011 .

[5] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pages 4555-4567, 2020.

[6] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC), pages 3603-3609, 2020.

[7] Wang Ling, Luís Marujo, Chris Dyer, Alan W. Black, and Isabel Trancoso. Crowdsourcing high-quality parallel data extraction from Twitter. In Proceedings of the 9th Workshop on Statistical Machine Translation (WMT), pages 426-436, 2014.

[8] Vassilis Papavassiliou, Prokopis Prokopidis, and Stelios Piperidis. Discovering parallel language resources for training MT engines. In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), 2018.

[9] Brian Thompson and Philipp Koehn. Vecalign: Improved sentence alignment in linear time and space. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 13421348, 2019.

[10] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Transactions of the Association for Computational Linguistics (TACL), 7:597-610, 2019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st Annual Conference on Neural Information Processing Systems (NeurIPS), pages 60006010, 2017.
[12] Robert C. Moore and William Lewis. Intelligent selection of language model training data. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (ACL), pages 220-224, 2010.

[13] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pages 7747-7763, 2020.

[14] Antonios Anastasopoulos, Alessandro Cattelan, Zi-Yi Dou, Marcello Federico, Christian Federmann, Dmitriy Genzel, Franscisco Guzmán, Junjie Hu, Macduff Hughes, Philipp Koehn, Rosie Lazar, Will Lewis, Graham Neubig, Mengmeng Niu, Alp Öktem, Eric Paquin, Grace Tang, and Sylwia Tur. TICO-19: the translation initiative for COvid-19. In Proceedings of the 1st Workshop on NLP for COVID-19 (Part 2) at EMNLP 2020, 2020.

[15] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

[16] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 15:1929-1958, 2014.

[17] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pages 2818-2826, 2016.

[18] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT), pages 4853,2019 .
表 4 ファインチューニング時のハイパーパラメータ

## A ハイパーパラメータ

4 節で、既存汎用翻訳モデルを特定領域対訳コー パスを用いてファインチューニングする際のハイ パーパラメータを表 4 に示す。


# オープンドメイン QA における DPR の有効性検証

加藤 拓真 $1 *$ 宮脇峻平 $1 *$ 西田京介 2 鈴木潤 1,3
}

1 東北大学 ${ }^{2} \mathrm{NTT}$ メディアインテリジェンス研究所 3 理化学研究所

 }^{1}$ takuma.kato, miyawaki.shumpei, jun.suzuki\}@ecei.tohoku.ac.jp

${ }^{2}$ kyosuke.nishida.rx@hco.ntt.co.jp
## 1 はじめに

計算機による自然言語の適切な理解を実現するこ とは，自然言語処理および人工知能研究の最終目的 の一つである。その実現に向けた取り組みとして，質問応答（QA）タスクに関する研究が近年大きな 注目を集めている。QAタスクでは，質問に関連す る適切な知識に基づいて解答を推定することが求 められるが，関連知識を含む文書集合が用意されな いという状況は少なくない。このような状況に対し て, オープンドメイン $\mathrm{QA}[1]$ は, 問題を解くために 必要な知識源を特に規定しない $\mathrm{QA}$ タスクとして,非常に重要な役割を持つ.

一般的にオープンドメイン QA では，1) 検索モ ジュール (retriever) が，質問に対して関連する文書 を大規模な文書集合から検索し，2）読解モジュール （reader）が，検索した関連文書を用いて質問の解答 を推定する，二つのプロセスを用いて取り組まれ ることが多い，特に関連文書の検索性能が， QA シ ステムの性能に与える影響は大きく[1], Karpukhin ら [2] は，ニューラルモデルによる文書エンコーダ によって密なベクトル表現にエンコードされた意味的な情報を，関連文書の検索に用いる Dense Passage Retriever（DPR）を提案し，QA システムの性能改善を実現した。DPR を用いたオープンドメイン QA に対する取り組みは，今後更なる発展が期待されて いるが，DPR の詳細な実験設定がオープンドメイン QA に与える影響を調査した研究は少なく，DPRに ついて明らかにされていない要素が多い。そこで本研究では, DPR の応用的な利用を目的として, 特に 次元数を変化させたときの検索時間や性能変化につ いて定量的な評価および分析を行う。

図 1 DPR を用いたオープンドメイン QA システムの概要図. 1) 質問に対する関連文書を抽出するため, エン コードされた質問と文書の類似度を計算する retriever と， 2) retriever が抽出した関連文書から質問に対する解答の 推定を行う reader の二つのモジュールで構成される。

## 2 関連研究

オープンドメイン $\mathrm{QA}$ では, モデルの予測性能に 大きな影響を与える関連文書の検索方法を対象に，様々な研究が行われてきた。従来, 関連文書の検索方法には TF-IDF や BM25 [3] のように，質問中に存在する単語に対する文書中の出現頻度などの統計量 を用いたマッチングが使用された。しかし $\mathrm{QA}$ タス クでは，質問文の表現と検索対象に記載される情報 の表記が必ずしも同じであるとは限らないため, 表層一致を仮定する BM25 やTF-IDF といった抽出方法では，適切な文書が検索できない可能性が高いこ とが問題として広く知られている。この問題の解決策として, 近年急速に発達した単語埋め込みや深層 ニューラルネットに基づく意味的な情報を含む密 なべクトル表現を用いて，質問に対して意味的に類似する文書を抽出する方法が挙げられる，意味的な 情報を含む密なべクトル表現を用いることで，質問中に含まれる単語の出現頻度に基づくマッチング だけでは抽出できなかった，未知の情報に関する関連文書の取得が可能となる．密なベクトル表現を用 いた関連文書の抽出方法は様々なタスクに対して 研究されてきており [4][5][6], 中でも Karpukhi らは

DPR という手法を提案し, 密なベクトル表現によっ て QA システムの性能が向上したことを報告してい る. retrieverについて調査している先行研究として, Luan ら [7] は密なベクトル表現の次元数についての 調査を行なっている. Luan らの研究では, 密なべク トル表現 の次元数がオープンドメイン $\mathrm{QA}$ に与える 影響が明らかになっていない点と, DPR を研究対象 としていない点が，我々の研究と異なっている.

## 3 DPR を用いたオープンドメイン QA システム

1 章で述べたように，オープンドメイン $\mathrm{QA}$ シス テムは，文書検索を行う retriever と検索した文書か ら解答を推定する reader の二つのモジュールで構成 される. 本研究では, retriever における関連文書の 検索手法として Dense Passage Retriever（DPR）[2] を用いた QA システムを使用する (概要を図 1 に示 す). 本章では, この DPRを用いた QA システムに ついて説明する.

## 3.1 retriever による文書検索

本節では，retriever として DPR を用いた文書検索 について説明する.

## 3.1.1 DPR の学習

DPR では与えられた質問 $q$ および文書 $p$ の類似度を計算し, 質問に関連する文書の類似度が高くな るように学習を行う. 類似度は, 質問 $q$ と文書 $p$ と の内積によって計算される（式 1).

$
\operatorname{sim}(q, p)=E_{Q}(q)^{\top} E_{P}(p)
$

ここで， $E_{Q} ， E_{P}$ はそれぞれ質問，文書に対する二 つのエンコーダを表す. DPRでは, これら二つの エンコーダについて学習を行う. 学習データは, $D=\left.\{\left.\langle q_{i}, p_{i}^{+}, p_{i, 1}^{-}, \cdots, p_{i, n}^{-}\right.\rangle\right.\}$で定義される. ここで, $p_{i}^{+}$は正例の文書, $p_{i, j}^{-}$は負例の文書を示す. モデル は式 2 の損失関数が最小になるようにエンコーダ $E_{Q}$ と $E_{P}$ を学習する.

$
\begin{aligned}
& L\left(q_{i}, p_{i}^{+}, p_{i, 1}^{-}, \cdots, p_{i, n}^{-}\right) \\
& \quad=-\log \frac{e^{\operatorname{sim}\left(q_{i}, p_{i}^{+}\right)}}{e^{\operatorname{sim}\left(q_{i}, p_{i}^{+}\right)}+\sum_{j=1}^{n} e^{\operatorname{sim}\left(q_{i}, p_{i, j}^{-}\right)}}
\end{aligned}
$

各質問に対して, 式 2 で求められる損失は, 正例文書との類似度が高いほど，また負例文書との類似度 が低いほど，值が小さくなる．3.1.2 項では，正例お よび負例となる文書の選択方法について説明する。

## 3.1.2 正例・負例の選択

本項では, 3.1.1 項で述べた, 正例および負例の文書について，その選択方法を述べる．以下，正例文書をポジティブパッセージとする. また, 負例文書 をネガティブパッセージおよびハードネガティブ パッセージの二つに分ける.

ポジティブパッセージ文書集合のうち，与え られた質問に対する解答が文書中にも含まれ，か つ, BM25 スコアによる質問と文書間の関連度の高 い上位 100 件に含まれる文書をポジティブパッセー ジとして定義する。なお上位 100 件以内に解答が含 まれない場合, その質問解答ぺアはデータセットと して使用しないものとする.

ネガティブパッセージ 質問 $q_{i}$ に対して，同一 ミニバッチ内に存在する他の質問解答ペアが保持す るポジティブパッセージを，質問 $q_{i}$ に対するネガ ティブパッセージとして定義する1).

ハードネガティブパッセージ 質問に対する解答が含まれない 文書集合のうち, 質問との関連度が 最も高い文書をハードネガティブパッセージとして 定義する.

## 3.2 reader による解答推定

本節では, reader の解答推定について説明する. reader では, retriever が検索した関連文書から問題 の解答となる箇所を推定する．retriever が検索した 上位 $k$ 件の文書を, BERT [8] でエンコードし, 分散表現 $\mathbf{P}_{i} \in \mathbb{R}^{L \times h}(1 \leq i \leq k)$ を獲得する. ここで， $L$ は文書の最大長, $h$ は BERT の隠れ層の次元数であ る. 解答を推定するための文書を決定するため, 獲得した分散表現に対して, 式 3 を用いて各文書のス コアを求める. また, $i$ 番目の文書について, 文書中の位置 $s$ のトークンが解答スパンの開始トーク ンになる確率 $P_{\text {start }, i}$ と, 位置 $t$ のトークンが解答ス パンの終了トークンになる確率 $P_{\mathrm{start}, i}$ を，それぞれ 式 4,5 で求める.

$
\begin{aligned}
P_{\text {selected }}(i) & \left.=\operatorname{softmax}\left(\hat{\mathbf{P}}^{\top} \mathbf{w}_{\text {selected }}\right)\right)_{i} \\
P_{\text {start }, i}(s) & =\operatorname{softmax}\left(\mathbf{P}_{i} \mathbf{w}_{\text {start }}\right)_{s} \\
P_{\text {end }, i}(t) & =\operatorname{softmax}\left(\mathbf{P}_{i} \mathbf{w}_{\text {end }}\right)_{t}
\end{aligned}
$

ここで, $\mathbf{P}=\left[\mathbf{P}_{1}^{[\mathrm{CLS}]}, \ldots \mathbf{P}_{k}^{[\mathrm{CLS}]}\right]$ ([CLS] は BERT の [CLS] トークン) であり, $\mathbf{w}_{\text {selected }}, \mathbf{w}_{\text {start }}, \mathbf{w}_{\text {end }} \in \mathbb{R}^{h}$ は, reader が学習する重みベクトルである。また, softmax

1）訓練時にはランダムにミニバッチの作成が行われる度，プ ログラム上で動的にネガティブパッセージの作成を行う.
表 1 データセットの質問数

の添字 $i, s, t$ は，それぞれ $\operatorname{softmax}$ の結果から添字 $i, s, t$ の行を取得するという意味である. 最終的 に, 式 3 で求めたスコアが最も高い文書について, $P_{\text {start }, i}(s) \times P_{\text {end }, i}(t)$ の值が最大となるスパン $(s, t)$ を, reader が予測結果として出力する.

## 4 実験設定

## 4.1 データセット

本実験では, QA タスクの日本語データセットと して JAQKET [9] を用いた。また, 検索対象の文書 となるオープンソースの文書集合として，920,172 の記事からなる日本語 Wikiepdia のデータを用いた。

## 4.2 データセットの前処理

MeCab [10] を使用して Wikipedia の 記事をトーク ナイズし, 各文書のトークン数が 200 となるよう に各記事を分割した ${ }^{2}$ ．トークナイズによる文書 の作成をにより, 合計で $6,125,433$ からなる文書集合を取得した。また3.1.2 項における正例および負例の文書の選択は, ElasticSearch ${ }^{3)}$ を用いて質問と Wikipedia の文書間の関連度となる BM25 スコアを 算出し, 求めた関連度に基づいて選択を行った。前処理を行ったデータセットの統計情報を表 1 に示 す4).

2) トークン数は， $\{50,100,150,200\}$ から，開発セットにおけ る順位平均値が最も低い値を示した 200 を選択した。

3) https://github.com/elastic/elasticsearch

4）前処理の前後でデータサイズが減少しているが，これ は3.1.2 項で述べたように，質問と解答が含まれる文書との関連度が上位 100 件に含まれない場合，その質問はデータセッ トとして使用しないことが原因である.

## 4.3 モデルアーキテクチャ

本実験で用いる $\mathrm{QA}$ システムは， 3 章で述べた， retriever と reader の二つのモジュールから構成さ れるモデルを使用した。エンコーダには retriever, reader 共に事前訓練済みの日本語 $\mathrm{BERT}^{5)}$ を用いた.表 2 に retriever および reader のハイパーパラメータ の値を示す6). retriever による関連文書の抽出には，質問および文書に関する二つのエンコーダから取得した密なべクトル表現を用いて，式 1 の内積值に 基づく関連度を算出した。関連度の計算ツールに は，検索時間の効率化を図るため， faiss ${ }^{7)}$ を使用し た. faiss の検索手法には，最大内積探索に基づいた IndexFlatIPを用いて，関連文書の検索を行った。な お全ての文書のエンコードに要する時間は，TITAN X（Pascal）を用いた場合，およそ 5 時間 25 分ほど であった. reader の性能を測る評価指標として，質問に対する正解の解答との完全一致を用いた。

## 5 実験

本実験では，DPR の要素の 1 つである密なべク トル表現の次元数が $\mathrm{QA}$ システムの性能に与える 影響を明らかにするために， ベクトルの次元数を変 えたときの性能評価を行った。retriever の性能評価 として，5.1 節では， faiss を用いて関連文書の検索 を行った際の検索時間の結果を，また 5.2 節では,抽出した関連文書の評価結果を示す. さらに 5.3 節 では，質問に対する QA システムの正解率の結果を 示す.

## 5.1 関連文書の検索時間

retriever の文書エンコーダを用いて，Wikipedia の 全文書のエンコードを行い，faiss を用いた関連文書 の検索を行った．密なべクトル表現の各次元に対し て, faiss のインデックスの構築時間，および関連文書の検索時間を表 3 に示す。なお GPU は TITAN X （Pascal）を使用した。また関連文書は上位 300 件ま でを対象に抽出を行った。実験結果より，関連文書 の検索に要する時間は，検索に用いる質問および文書におけるべクトル表現の次元数におおよそ比例す ることが分かった。これは関連文書の検索に用いた

5) https://github.com/cl-tohoku/bert-japanese

6）開発セットを用いて, retriever では順位平均值が最小となっ た值，reader では完全一致した数が最多となった值を，設定值とした.

7) https://github.com/facebookresearch/faiss
表 3 faiss によるインデックス構築時間および検索時間

図 2 開発セットにおける retriever の正解率

手法が，式 1 に示す内積計算に基づいたもので，べ クトル表現の次元数に比例して, 演算の計算量が増加するためであると考えられる.

## 5.2 retriever の性能評価

各質問に対して, retriever が抽出した上位 $k$ 件 までの文書中に解答が含まれる場合を正解とし， retriever の性能評価を行った。評価結果を図 2 に示 す. 図 2 より，密なベクトル表現の次元数が大きい ほど，解答を含む文書の抽出漏れが少ないことを確認した。しかし，上位 100 件までの文書集合でさえ 解答が含まれる割合は七割程度であり, 残り三割程度の質問は解答不可能であることを示している。

## 5.3 QA システムの性能評価

retrieverが抽出した関連文書の集合のうち，上位 $k$件までの文書を使用した時の正解率を評価指標とし て，QA システムの性能評価を行った。評価結果を 図 3 に示す. 図 3 より, 密なベクトル表現の次元数 が最も大きい 768 次元での正解率が, 最も高い値と なった。また，与えられた質問に対して，reader が 予測した解答のスパンに対して, 正解のスパンと部分的に一致している事例がどれほど存在しているか 調查を行った。具体的には，式 6 に示す Intersection over Union の値を算出し， $\lambda$ の値を超えた場合の予測事例を正解と判定した場合の正解率を算出した。

$
\frac{T_{\text {gold }} \cap T_{\text {pred }}}{T_{\text {gold }} \cup T_{\text {pred }}} \geq \lambda
$

ここで, $T_{\text {gold }}, T_{\text {pred }}$ は, 正解の解答およびモデル が予測した解答を，それぞれ MeCabでトークン単

図 3 開発セットにおける QA システムの正解率

表 4 密ベクトルの次元数に対する QA システムの正解率

位に分割した集合を表す. $\lambda$ はモデルの予測が正解 とどの程度一致しているかを定めるハイパーパラ メータである.今回は抽出された上位 100 件の文書を対象として, readerの予測に対する正解率を， $\lambda=1.0$ と $\lambda=0.5$ それぞれについて算出した. 評価結果を表 4 に示す. 表 4 より, $\lambda=1.0$ および $\lambda=0.5$ では性能の差がほとんどみられなかった。このこと から，モデルの予測が誤っている場合，その予測ス パンは，正解の解答スパンとは異なった部分を文書 から抜き出しているということが考えられる。

## 6 おわりに

本研究では，DPR を用いた密なべクトル表現が， $\mathrm{QA}$ システムの性能にどのような影響を与えるか調査するため, JAQKET データセットを用いて, QA シ ステムの予測性能や関連文書の検索時間に与える影響を評価した。結果として，密なベクトル表現の次元数が文書の検索時間やモデルの性能に与える影響 が明らかになった。本実験では，一つのデータセッ トに対象を限定して実験を行ったが，今後は複数の データセットに対して同様の実験を行い，データ間 での横断的な比較について調査を行っていきたい。

謝辞本研究の一部は JSPS 科研費 JP19H04425 の助成を受けたものである.

## 参考文献

[1] Ellen M. Voorhees. The TREC-8 question answering track report. In TREC, 1999.

[2] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick S. H. Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In $E M N L P, 2020$.

[3] S. Robertson and H. Zaragoza. The probabilistic relevance framework: Bm25 and beyond. Found. Trends Inf. Retr., Vol. 3, , 2009.

[4] Wen-tau Yih, Kristina Toutanova, John C. Platt, and Christopher Meek. Learning discriminative projections for text similarity measures. In CoNLL, 2011.

[5] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry P. Heck. Learning deep structured semantic models for web search using clickthrough data. In ACM CIKM, 2013.

[6] Daniel Gillick, Sayali Kulkarni, Larry Lansing, Alessandro Presta, Jason Baldridge, Eugene Ie, and Diego GarcíaOlano. Learning dense representations for entity retrieval. In CoNLL, 2019.

[7] Yi Luan, Jacob Eisenstein, Kristina Toutanova, and Michael Collins. Sparse, dense, and attentional representations for text retrieval. CoRR, Vol. abs/2005.00181, , 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In $N A A C L-H L T$, 2019.

[9] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ 卜の構築. 言語処理学会, 2020.

[10] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In $E M N L P, 2004$.


# JointQA モデルによる質問応答精度向上の日本語データセット JAQKET への適用検討

竹下恭史朗
早稲田大学大学院情報生産システム研究科
tkstria@ruri.waseda.jp

## 1 はじめに

質問応答 (Question answering または Answer generation) タスクとは、与えられた文書などの知識をもと に、入力された質問や読解問題に正しく応答するこ とを目指すタスクである。一方、問題生成 (Question generation) タスクとは、入力された言葉を解答とす る問題を出力することを目指すタスクである。これ らは問題、解答、背景知識の 3 つの要素で構成され ており、2 つの要素から残り 1 つの要素を導くこと ができる。例えば質問応答においては、問題に対し て背景知識を元に解答を導く。問題生成において は、解答になるべき語句に対して背景知識を用いて 問題文を生成する。ここで、背景知識とは問題と解答の関係性を示す文書や、多くの文書から学習した 単語の数学的表現 (word2vec など) が挙げられる。 これらのタスクには多くのモデルが用いられ、これ までに多様な改善が試みられ、優れたモデルは社会 に応用されてきた。

質問応答と問題生成は互いにその質を補完する関係が知られており、同一のモデルで質問応答と問題生成の同時に訓練したモデル (これを JointQA モデ ルと呼ぶ) は、個々のタスクに特化したモデルより も教師データとの一致が高いという報告が見られ る。そこで、本研究では、2020 年に発表された日本語の質問応答データセット JAQKET[12]を用いて、質問応答と問題生成の質の相関を観察した。

## 2 関連研究

WikiQA[11] や SQuAD[6] に代表される質問応答 データセットを用いた研究として、問題から解答を 導く質問応答のみならず、解答からそれを問う問題 を作る問題生成が知られている。そしてこの問題生成は質問応答よりも長い単語列を出力しなくてはな らないためタスクとして難しく、また、受け入れら
れうる問題が教師データとして与えられているもの 以外にも多様に考えられるなど、多くの課題を抱え ている。

ところで、質問応答・問題生成に関する興味深い 事象として、JointQA モデルによる質問応答、問題生成の質の向上がある。JointQA モデルとは、質問応答・問題生成の双方を同時に訓練した深層学習モ デルのことで、JointQA モデルの学習によって、単 に一つのタスクのみを学習したモデルよりも精度の 高い出力が得られるというものがある。

JointQA モデルによる質問応答の精度の向上は多 くのデータセットで確認されており [8]、問題生成 の訓練が、質問応答をする上で有効な Attention 機構 の作用に寄与することが原因と見られている。これ までそういった JointQA モデルの研究の題材となっ ていたのは英語で書かれたデータセットによるもの が多かった。

しかし、2020 年に鈴木らにより日本語で書かれた 質問応答データセット JAQKET がリリースされ、構造化された日本語の質問応答データセットの供給に より、日本語の問題生成や質問応答の研究が行える ようになった。

これまでに行われた質問応答と問題生成の精度の 相関を見る研究は、英語で書かれたデータセットの ものが多く、日本語での問題生成に着目した研究は 見られていない。

## 3 研究目的

本研究では、JAQKETで与えられた問題文、解答、解答についての Wikipedia 記事、これら三つの要素 を用いて、質問応答と問題生成をさまざまな条件で 行い、JAQKET を質問応答のみならず問題生成につ いても活用することを試みる。

もっとも注目する点として、他のデータセットに 見られていた JointQA モデル 1 による質問応答の一

図 1 入力する問題と文書を連結したもの シアン=問題、黄=弁別のための値、緑=文書

図 2 入力する解答と文書を連結したもの マゼンタ=解答、黄=弁別のための値、緑=文書

致度の向上が、JAQKET においても見られるかを観察する。

## 4 実験

入力として、質問応答タスクの場合は問題と解答 に対する情報を含んだ文書を入力し、深層学習モデ ルによって解答を出力することを目指す。問題生成 タスクの場合は解答とその解答に関する情報を含ん だ文書を入力し、教師データに近い問題を生成する ことを目指す。

## 4.1 入出力データ

データ資源として、2020 年に鈴木らが発表した JAQKET を用いる。JAQKET は各タプルに ID、問題、解答、真の解答と 19 のダミーを含んだ選択肢、正規化 (全角文字を半角にするなど) 前の問題文・解答を含んだデータセットで、別のデータが、各選択肢についての Wikipedia 記事全文を与えている。実際の JAQKET の一部を図 1 に示す。訓練用デー タとして 13,061、開発用データとして 997、評価用 データとして 995 の問題 - 解答対がある。今回の研究では、JAQKET から問題と解答と Wikipedia 記事 を sentencepiece で分かち書きしたものの先頭 500 サ ブワードを抽出し、質問応答の場合は問題文に、問題生成の場合は解答の語句にそれを連結した。この 際、各タスクのどちらを行うかの弁別のために、問題あるいは解答と記事の間に、問題生成の場合は 「0」を、質問応答の場合は「1」を付与し、モデルが どちらの学習を行っているか把握する上での助けと した。(図 1,2 )表 1.JAQKET に含まれるデータの一例

 \\

実験の条件として、解答と文書から問題 (q-gen の み)、問題と文書から解答を導く (a-gen のみ) ものに 加え、JointQA による精度の改善を観測するために、全データを半分に分けてそれぞれ a-gen と q-gen を 一つのモデルで同時に行う a-gen $\vee \mathrm{q}$-gen、全データ を a-gen にも q-genにも用いる a-gen $\wedge$ q-gen、これら 四つの条件で実験を行った。各条件の入力におけ る、訓練データ、開発データの数を表 2 に示す。

表 2. 各条件における入力

このとき、a-gen $\vee$ q-gen は一つの問題 - 解答対は 質問応答と問題生成のどちらかにしか使わない一方、a-gen $\wedge$ q-gen は一つの問題－解答対を質問応答 と問題生成の双方に使うことに注意されたい。

## 4.2 実験条件

先述の入出力を扱うため、ニューラル機械翻訳に 用いられるフレームワークである OpenNMT[3] を用 いて深層学習モデルを構築した。

具体的には、モデルとしてLSTMを用い、SQuAD を用いた過去の研究および OpenNMT が推奨する設定を参考に、学習係数は 1.0、バッチサイズは 32、入出力次元は 500 、ドロップアウトは 0.3 とした。最適化関数として、Adadeltaを用いた。

## 4.3 評価の手法

既存の質問応答・問題生成の研究においては、 データセットごとに推奨される評価の手法があり、 たとえば SQuAD の場合は a-gen の場合 F1 スコアと EM(Exact match)、q-gen の場合 BLEU[5]を用いてい る。今回は a-gen と q-gen の評価について、SQuAD に倣い a-gen は EM とF1 スコア、q-gen は BLEU を 用いた。

## 5 結果

各条件の a-gen、q-gen の結果を表 3 に示す。表 3. 各条件で訓練したモデルの出力の評価

結果から、a-gen(EM) においては、a-gen のみの入力よりも a-gen $\wedge$ q-gen の入力のほうが大きい値を得 ており、JointQA による精度の向上が見られた。一方、a-gen(F1)においては、a-gen のみも a-gen $\wedge$ q-gen も同じ值を得た。出力の一例を付録中の表 5,6 に 示す。

また、q-gen に関して、過去の研究で Sachan ら [8] がデータセットとして SQuAD を用いて報告した值 を表 4 に示す。

表 4.SQuAD を用いた既存研究の q-gen の評価 [8]より引用

IR は編集距離を元にした生成アルゴリズム、MOSES は統計的機械翻訳に用いられるモデル、DirectIn は longest sub-sequence を問題として出力するモデル、 H\&S はあらかじめ設定されたルールベースで問題を多く生成し、ランキングするというモデルで ある。「Tang ら，2017」は GRUを用いたニューラル ネットワークを用いたモデルで、「Du ら，2017」は
LSTM を用いたニューラルネットワークを用いたモ デルである。

出力の例を付録の

## 6 考察

## 6.1 a-gen の評価の SQuAD との比較

a-gen に関して、a-gen のみでの訓練で 37.81 の EM、 0.7500 の F1 スコアを得た。また、a-gen に加え て q-gen の訓練をすることで 52.76 の EM、0.7500 の F1を得た。本研究で参考としているSQuAD の公式 サイトでは、コンペティションの形式で各モデルの EM と F1 スコアを載せるリーダーボードを公開し ている1)。そこでは末席である 63 位のモデル (匿名) でも、EM 53.698 を記録しており、当研究で得ら れた最大の EM である 52.76 を上回っている。一方 で、当研究で記録した F1 スコアの 75.00 に関して は、リーダーボードの 55 位と 56 位の間に位置して いる。なお、 57 位には、当研究でも実装した LSTM を含む、CNN モデルが大っている。

低いスコアを記録した一因として JAQKET が SQuAD に比べて新しく、探索がされていないデー タセットであるという以外にも、JAQKET が本来 20 の選択肢の中から正しい選択肢を選択する課題のた めのデータセットとしてリリースされたため、問題 から自由に解答を出力する形式のタスクとしては困難なことが考えられる。

## 6.2 q-gen の BLEU の低さ

q-gen に関して、本研究の BLEU を考察する。本研究では LSTM を用いているため、その他のハイ パーパラメータの影響はあるにせよ、表 4 に挙げた なかでのモデルでは、LSTM を用いて SQuAD を処理した Du らの実装により近いといえるだろう。Du らの結果 12.28 に比べ、本研究では q-genのみの訓練で 3.9、a-gen $\wedge$ q-gen の条件で 2.8 とそれを大きく 下回る結果となった。

原因として考えられるのは、一つは単にハイパー パラメータやモデルの選択に余地がある可能性であ る。今回の学習では、特に q-gen, a-gen $\vee$ q-gen, a-gen $\wedge$ q-gen の学習において過学習の傾向がある。より 適切に実装を行うことで、精度が改善する可能性が ある。

他にもデータセットの特徴が影響している可

能性がある。例えば SQuAD は英語で書かれた、 Wikipedia の一段落に基づいて作成された問題 - 解答対を含むデータセットである。対して JAQKET は 日本語で書かれた、あらかじめ存在したクイズ問題文に Wikipedia の全文を文書として与え、それが情報として十分であることが保証されていないデータ セットである。

## 6.3 a-gen $\vee$ q-gen における値の低さ

a-gen $\vee$ q-gen の入力条件について、単一のタスク を訓練したモデルや a-gen $\wedge$ q-gen を訓練したモデル よりも、各タスクにおいて低い数值を得ることがわ かった。

この研究において、a-gen $\vee$ q-gen は一つのデータ セットを半分に分け、片方を質問応答、もう片方を 問題生成のみに用いる入力である。つまり、質問応答だけに使われる問題と、問題生成だけに使われる 解答が存在することになる。一方、a-gen $\wedge$ q-gen は データセットに含まれるデータすべてを質問応答に も問題生成にも用いる入力である。つまり、すべて の問題・解答が、質問応答にも問題生成にも用いら れることになる。向上が a-gen $\wedge$ q-gen だけに見られ たのだとすれば、一つの問題－解答対の両方を学習 に用いることが必要になるということである。

JointQA による精度の向上のメカニズムは未だ議論されているが、一説には文書への attention 機構が より効果的に訓練されることが述べられている。本研究での a-gen $\vee$ q-gen で向上が起こらなかったのに は、ある一つの文書を質問応答・問題生成のどちら かにしか使わず、文書への attentionへの訓練を、質問応答と問題生成の両方で訓練しなかったことが一 つの原因として考えられる。

## 6.4 a-gen $\wedge$ q-gen における a-gen のみとの比較

a-gen $\wedge$ q-gen について、a-gen(EM) については 52.76、a-gen(F1)については 75.00 の値を得た。a-gen のみと比較して、F1 スコアは同程度のものを得 たが、EM については、q-gen の訓練を行うことで 37.81 から 52.76への向上を得た。q-genについては、 q-gen のみの訓練が 3.9 に対して、a-gen $\wedge$ q-gen は 2.8 を得たため、q-gen については向上を得られなかっ た。また、表 4 におけるDu らの結果はLSTMを用 いたモデルであるから、本研究で実装したものと近 いものであるが、それは SQuAD においては 12.28 の BLEU を記録しており、それに比べると低い值を得たことがわかった。これは SQuAD における q-gen のみの訓練をしたモデルの結果だが、これが本研究 と同じ LSTM を用いて実装されたものであることを 考えると、その他のハイパーパラメータの影響を無視すれば、この差はデータセットによるものだと考 えられる。

## 7 おわりに

今回の研究では JAQKET を用いて質問応答・問題生成、およびそれらの相互関係について踏み込 む研究を行った。今後の課題として、問題生成を SQuAD などの既存のデータセットを用いた研究と 同程度の精度で出力を得ること、単に正解データと の一致度だけでなく、問題生成の解答可能性や多様性を評価することなどが挙げられる。

## 参考文献

[1]Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension, 2017.

[2]Michael Heilman. Automatic Factual Question Generation from Text. PhD thesis, USA, 2011.

[3]Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4]Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[5]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[6]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[7]Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8]Mrinmaya Sachan and Eric Xing. Self-training for jointly learning to ask and answer questions. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 629-640, 2018.

[9]Linfeng Song, Zhiguo Wang, Wael Hamza, Yue Zhang, and Daniel Gildea. Leveraging context information for natural question generation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 569-574, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[10]Duyu Tang, Nan Duan, Tao Qin, Zhao Yan, and Ming Zhou. Question answering and question generation as dual tasks, 2017.

[11]Yi Yang, Wen-tau Yih, and Christopher Meek. WikiQA: A challenge dataset for open-domain question answering. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2013-2018, Lisbon,
Portugal, September 2015. Association for Computational Linguistics.

[12]鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ トの構築. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

## A 付録

## A. 1 質問応答・問題生成出力の例と正解データとの比較

各入力条件の出力結果と、目標となる正解データを表 5、表 6 に示す。

表 5. 質問応答の出力の例

 &  \\

表 6. 問題生成の出力の例

 &  & (空出力) &  &  &  \\