# 文脈文アノテーションによる ドキュメント機械翻訳の精度向上に関する研究

安本 玄樹 須藤 克仁 中村 哲
奈良先端科学技術大学院大学
\{yasumoto.genki.ye1, sudoh,s-nakamura\}@is.naist.jp

## 1 はじめに

ニューラル機械翻訳の台頭により，機械翻訳の精度は高まってきており，文単位の翻訳においては人間とほとんど同等のレベルであるという報告もある [1].しかしながら，ドキュメント単位での翻訳にお いては人間翻訳が上回っていると報告されている [2].これは前後文の文脈や文章全体の話題を考慮し た翻訳が，現在のニューラル機械翻訳では困難であ ることを意味する．以上の背景から，文脈を利用し てニューラル機械翻訳の精度を高める研究が近年盛 んに行われており，周辺文の情報を活用するモデル $[3,4]$ やドキュメント全体を参照して文脈情報を利用するモデル $[5,6]$ などが提案されている.

周辺文の情報を利用する場合，その中に翻訳に必要な情報が含まれていれば翻訳をより良いものにで きると考えられるが，含まれていない場合は文脈を 活用することはできず，却ってノイズとなってしま うこともある。一方でドキュメント全体を参照する 場合，必要な情報を特定の文や単語に絞ることが難 しいという問題が生じる。

このような問題を解消するために，周辺文の文脈 を用いるモデルでは，使用する文脈文を選択するこ とで [7]，ドキュメント全体の文脈を用いるモデル では，アテンションをスパースに当てることで [6],精度を向上させている．結局のところ，文脈情報を 必要なときに必要なだけ利用することができれば， これらの問題は解消されるはずである.

そこで本研究では，文脈文をアノテーションで作成し，必要だと思われる文脈情報を活用できた場合，ドキュメント機械翻訳モデルが十分な精度を出 すことができるのかを検証する。翻訳の言語対とし ては，日英を選択した。これは日英翻訳において，日本語の省略がよく問題になるため，それを補う形 でアノテーションを行うことを想定したためであ
る.なお，作成したアノテーションデータは公開予定である1)

## 2 文脈文アノテーション

各ドキュメントに対して以下の 2 種類の文脈文ア ノテーションを行う.

・ドキュメントから文脈として最適であると考え られる文を 1 文抜き出す場合

・ドキュメントから文脈として最適であると考え られる文をアノテータが書き出す場合

アノテーションを行う際は，原言語のドキュメン トのみを参照し，目的言語のドキュメントは参照し ないこととする. アノテーションに関する作業は全 て筆者が行った．文脈文アノテーションの詳細は次 に示す通りである。

## 2.1 文脈文を 1 文抜き出す場合

ドキュメントが与えられたとき，それぞれの文を 翻訳するのに必要だと思われる文脈をドキュメント の中の他の文から選択して文脈文とする．文脈を必要としないと判断した場合は，空文を表す “_blank” トークンを文脈文の代わりとする。このアノテー ションを施した例を表 1 に示す.

## 2.2 文脈文を 1 文書き出す場合

文脈文を書き出す場合は，ドキュメントの情報か ら自由に文脈文を作成することができる。このアノ テーションを施した例を表 2 に示す。文脈文を 1 文抜き出す場合（表 1）と比較して，1文目の文脈文 が異なっていることがわかる。これは 1 文目を翻訳時に主語の情報が必要になると考え，主語に相当す る情報を書き出したことによる。このように，状況 に応じて必要な情報を文脈文として書き出す。文脈

表 1 選択した文脈例（一部抜粋）

表 2 書き出した文脈例（一部抜粋）

が不要な場合は，同様に“_blank”トークンを文脈文 の代わりとする.

## 3 実験

## 3.1 データ

本実験では，OpenSubtitles2018 [8] の日英対訳を用 いる。翻訳は日本語から英語へと行う. 全てのデー タを作品 IDごとに分けた後, train, dev, test に分割し た. 分割は dev, test において，それぞれの文数が $50 \mathrm{k}$以上になるように，作品をランダムにサンプリング し, 残ったものを train セットとした. 分割後のド キュメント数，文数については表 3 の通りである。

トークナイズには sentencepiece [9] を用い，語彙サ イズは日本語，英語ともに $30 \mathrm{k}$ とした ${ }^{2)}$. 特殊トー クンである，“_blank”などは 30k の語彙に含まない.

## 3.2 モデル

実験に使用するモデルは, Dual Encoder Transformer [10] および CADec [4] とする.

## 3.2.1 Dual Encoder Transformer

Li ら [10] の提案した Dual Encoder Transformer は 2 種類あり, Decoder の内部で目的言語と文脈文の アテンションを利用するもの（inside-context）と， Decoder の外部で原言語文と文脈文のアテンショ ンをとり，それを Decoderに入力するというもの （outside-context）である．実装は Li ら [10]のものを

2）日本語の character coverage は 0.9995 , 英語の character coverage は 1 とした。用い，ハイパーパラメータはデフォルト値を利用し $た^{3)}$.

## 3.2.2 CADec (Context-Aware Decoder)

CADec (Context-Aware Decoder) では，一度文脈文，原言語をそれぞれ Transformerに入力して原言語お よび目的言語側の embedding を得る. そして CADec にそれらを入力して文脈情報を汲み取るモデルと なっている．著者による公開実装を利用し4），八イ パーパラメータもデフォルトの設定に従った.

## 3.3 学習

これらのモデルはどちらも Transformer [11]をべー スとしており，2 段階で学習される。最初にそれぞ れベースとなる Transformerを文脈なしの状態で学習し，その Transformerをべースとして文脈を処理 する部分を含めた全体の学習を行う。ベースとな る Transformerの学習は，全ての train データを利用 して行った。学習の際, train, dev データそれぞれ に“_blank”トークンを 1 組ずつ追加し，“_blank”が “_blank”と対応していることも学習させる。

2 段階目の学習は, 文脈文と原言語を入力として 行う. Dual Encoder Transformer には，直前の文を文脈文として与え，CADec には，翻訳する文の直前に 述べられている文を最大 3 文まで文脈文として与 える。ドキュメントの最初の文を翻訳する時のみ， “_blank”トークンを文脈文とした。この 2 段階目の 学習にも，全ての trainデータを用いた。

## 3.4 文脈文アノテーション

文脈文アノテーションは test セットのみに対して 行う. OpenSubtitles の日英対訳の中には，アライメ

表 4 実験結果（全ての test データ：全 70 ドキュメント／51033 文）

}} & \multicolumn{4}{|c|}{ "なし } & \multicolumn{4}{|c|}{ 周辺文 } \\

ントが十分にとれていないものも多いため，CADec のベース Transformerを用いて一度 test セットの各ド キュメントを翻訳し，BLEU [12]を閾値としてスコ ア 20 以上のドキュメントのみをアノテーション対象とした. 今回の実験では，3つのドキュメントに 対して文脈文アノテーションを行った．各ドキュメ ントの文数は表 6 の通りである.

## 3.5 実験結果

BLEU，BERTScore [13]を評価指標として用いる. BLEU を測定する際のトークナイザは， mosestokenizer を利用し ${ }^{5)}$ ，BLEU の実装は multi-bleu.perl を 利用した ${ }^{6)}$. BERTScore は，著者の公開実装を利用 し7), fine-tuning は行わず, rescaling をした結果を示 す. 基本的なモデルの性能を示すため，アノテー ションした文脈文を用いずに， test セットを翻訳し た結果を表 4 に示す. アノテーションしたドキュメ ントを用いた場合と直前の文脈を用いた場合の結果 を表 5 に示す. BLEU，BERTScore 共に百分率表示 とする.

## 3.6 分析および考察

BLEU や BERTScore で評価した結果については,有意な差は見て取れず，モデルによる明らかな性能

5) https://github.com/luismsgomes/mosestokenizer

6) https://github.com/OpenNMT/OpenNMT-py/ blob/master/tools/multi-bleu.perl

7) https://github.com/Tiiiger/bert_score
の違いは認められなかった。実際の翻訳例を表 7 に 示す.

翻訳が改善している例では，文脈文にある“ヤツ ら” と言う表現をもとに，主語が “They” と正しく 翻訳されている。ただしこの翻訳例において, Dual Encoder Transformer の訳出に変化は見られなかった. このように，文脈文は十分だと考えられる場合で あっても，上手く訳出されない例は他にも見受けら れた。

翻訳に変化が見られない例について述べる. 目的言語の “they” にあたる “鹿” という単語は，選択し た文脈文，書き出した文脈文共に含まれていたが，翻訳では “I”と，誤って訳出されてしまっている.翻訳に変化を与えることができなかった理由とし ては，

・学習時に文脈文を参照して翻訳を行わなければ ならないケースが割合として少なく，文脈文を 翻訳に利用する学習ができていない可能性

・原言語を参照するよりも，目的言語の言語モデ ルに強く依存した翻訳になっている可能性

が考えられる．前者に関しては，OpenSubtitles の日英対訳ドキュメント自体がデータとして不十分，も しくはクリーニングが必要であることが示唆され る. 後者に関しては, train に使用したデータ量が多 いほど，翻訳を行う時に原言語の情報を利用するこ とが報告されている [14]. 文脈を活かしきれなかっ たともいえる.

翻訳が悪くなった例では，アノテーション時にド キュメントを誤読しており，書き出した文脈文の“私たち”という表現を受けて“We”と誤って訳出さ

れてしまっている. OpenSubtitles は字幕データであ るが，映像を含まないテキストのみのデータである ため, 日本語の曖昧性によって多少の誤読が発生し 得る.その影響を受けた例といえる。書き出した文脈文を“私は” と修正したところ，主語は正しく“I” と翻訳された。この他にも，“_blank”を文脈文とし たときに，訳抜けが発生してしまった例などがあっ た. 文脈文が翻訳に悪い影響を与えてしまった理由 としては,

・アノテーションした文脈文はドキュメント内で 使用されている日本語と分布が異なるため，言語分布が異なる入力を与えると翻訳に悪影響を 及ぼす可能性

が考えられる. 特に“_blank”トークンに関しては， これに当てはまる.

その他の翻訳例は付録とした。翻訳例を見る限

り，CADec の方が文脈に即した翻訳を行うことが 多かった. これは学習時に CADec は最大 3 文の文脈を用いており，その中で推論に必要なものが含 まれていた割合が高いと考えられる. Dual Encoder Transformer は直前の 1 文のみを文脈として学習させ たため，その文脈から推論する例が CADec と比較 して少なく, 学習が不十分だった可能性が残る. 学習データに関する，より詳細な分析が必要である.

## 4 おわりに

本研究では，アノテーションした文脈文を利用し て，翻訳結果が改善されるのかを検証した．結果と しては，アノテーションした文脈文をテスト時に利用しても，翻訳結果が十分に改善されることはな かった. その理由として学習時の工夫（データク リーニングやデータ量の増大，“blank”トークンの 扱い方など）が必要とされる可能性が示唆された.

今回のアノテーションでは，目的言語のドキュメ ントを参照しなかったが，参照しても良いという条件下で，より質の良いアノテーションデータを作成 してみること，学習データに対してもアノテーショ ンデータを作成し，モデルの学習が十分に行われる ことを保証することは今後の課題としたい。

## 5 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.表 7 文脈文の変化による機械翻訳出力の違い

## 翻訳が改善している例

 & I'm here to drink. \\

注 1 : 文脈によって出力に変化がある場合のみ，モデル 名十文脈文の種類を記し，出力に変化がなかった場合は， モデル名のみの記載としている

注 2 : CADec の周辺文は 3 文全て，Dual Encoder Transformer の周辺文は最後の 1 文となる

## 参考文献

[1]Hany Hassan, Anthony Aue, Chang Chen, Vishal Chowdhary, Jonathan Clark, Christian Federmann, Xuedong Huang, Marcin Junczys-Dowmunt, William Lewis, Mu Li, Shujie Liu, Tie-Yan Liu, Renqian Luo, Arul Menezes, Tao Qin, Frank Seide, Xu Tan, Fei Tian, Lijun Wu, Shuangzhi Wu, Yingce Xia, Dongdong Zhang, Zhirui Zhang, and Ming Zhou. Achieving human parity on automatic chinese to english news translation, 2018.

[2]Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4791-4796, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3]Lesly Miculicich, Dhananjay Ram, Nikolaos Pappas, and James Henderson. Document-level neural machine translation with hierarchical attention networks. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2947-2954, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[4]Elena Voita, Rico Sennrich, and Ivan Titov. When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1198-1212, Florence, Italy, July 2019. Association for Computational Linguistics.

[5]Sameen Maruf and Gholamreza Haffari. Document context neural machine translation with memory networks. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1275-1284, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6]Sameen Maruf, André F. T. Martins, and Gholamreza Haffari. Selective attention for context-aware neural machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3092-3102, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7]Ryuichiro Kimura, Shohei Iida, Hongyi Cui, Po-Hsuan Hung, Takehito Utsuro, and Masaaki Nagata. Selecting informative context sentence by forced back-translation. In Proceedings of Machine Translation Summit XVII Volume 1: Research Track, pp. 162-171, Dublin, Ireland, August 2019. European Association for Machine Translation.

[8]Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[9]Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Process- ing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[10]Bei Li, Hui Liu, Ziyang Wang, Yufan Jiang, Tong Xiao, Jingbo Zhu, Tongran Liu, and changliang li. Does multiencoder help? a case study on context-aware neural machine translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3512-3518. Association for Computational Linguistics, July 2020.

[11]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[12]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[13]Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. CoRR, Vol. abs/1904.09675, , 2019.

[14]Elena Voita, Rico Sennrich, and Ivan Titov. Analyzing the source and target contributions to predictions in neural machine translation. arXiv preprint arXiv:2010.10907, 2020.

## 付録

表 8 文脈文の変化による機械翻訳出力の違い

 \\

注 1 : 文脈によって出力に変化がある場合のみ，モデル名十文脈文の種類を記し，出力に変化がなかった場合は，モデル名のみの記載としている

注 2：CADec の周辺文は 3 文全て, Dual Encoder Transformer の周辺文は最後の 1 文となる
 安本 玄樹 須藤 克仁 中村 哲 奈良先端科学技術大学院大学 \{yasumoto.genki.ye1, sudoh,s-nakamura\}@is.naist.jp  