# 分割統治的ニューラル機械翻訳

加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{kano.yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

ニューラル機械翻訳によって、統計的機械翻訳よ りも流暢な訳文を生成できるようになった。しか し、長い文を翻訳することは未だ難しく、重複訳 や、訳抜けなどが発生する。アテンション機構を用 いたニューラル機械翻訳モデルである、Transformer [1]でも、その問題は解決できていない [2]。

統計的機械翻訳では、長い文を短く区切って翻訳 し、並べ替えて繫げるという分割統治的な手法でこ れらの問題を軽減する試みがあった [3]。ニューラ ル機械翻訳においては、Pouget-Abadie ら [4] は、長 い文を短く区切って、各セグメントをRNNを用い て翻訳した。その後、翻訳されたセグメントを、前 から順につなぎ合わせたものを翻訳結果としてい る。しかし、この手法では、語順が大きく異なる言語対を翻訳する際に、出力文が不自然なものになっ てしまう。

そこで、本研究では、翻訳されたセグメントを、 セグメントどうしの関係性を表すトークンを用いて 繋げ、別のニューラルネットワークモデルに入力す る。それによって、セグメントの並べ替えと編集を 実現し、自然な訳文を生成する。

提案手法はベースラインに比べて、BLEUでは顕著な差が見られなかったが、出力文の長さがより参照文へと近くなることがわかった。よって、ニュー ラル機械翻訳における分割統治的手法が、訳抜けを 防ぐために、有効である可能性が示された。今後、並べ替えやセグメント翻訳の精度を上げることによ り、さらなる発展が期待される。

## 2 関連研究

Sudoh ら [3] は、長い文を翻訳するため、統計的機械翻訳に分割統治的手法を用いた。入力文を節の単位に区切って翻訳し、その結果を節の階層構造に基 づいて並べ替えることで、精度を向上させていた。

ニューラル機械翻訳においては、Pouget-Abadie ら
[4] の研究が Sudoh ら [3] と似た手法を用いている。 この手法では、対訳コーパスを用いて学習された、 RNNを用いて最適な文の区切れ目を見つけ、その 各セグメントを翻訳する。しかし、文法的に適切な 境界で分割される保証がないため, 特に語順の異な る言語対において結合した翻訳結果が不自然な文に なる懸念がある。

機械翻訳以外の分野でも、長い文を短く区切って 言い換えるという研究がなされている。Aharoni ら [5] は長い文を、copy 機構を用いた seq2seq モデルに 入力し、複数の短い文で言い換えた。しかし、必要 な情報が抜けたり、不必要な単語が出力されてしま う問題は解決されていない。

短い単位に区切るものとは異なるアプローチで、長い文の機械翻訳を改善する研究もある。Neishi ら [2] は、Transformer の長い文の翻訳精度を上げるた め、RNNを使った相対的位置情報を用いた。

本研究では、Pouget-Abadie ら [4] の手法で問題 であった並べ替えを、セグメント翻訳とは別の ニューラルネットワークモデルで実行する。それに よって、Sudoh ら [3] のような分割統治的な手法を、 ニューラル機械翻訳において実現する。本研究は、 Sudoh [3] らの手法とは異なり、節単位の対訳対応付 けを必要としない。節の翻訳は、文単位の対訳コー パスから学習されたニューラルネットワークモデル により取得する。

## 3 提案手法

## 3.1 提案手法の処理概略

提案手法での翻訳は、大きく分けて、4つのス テップで行われる。図 1 に、英語から日本語への翻訳の概略図を示す。この図では、簡略化のため、サ ブワード分割はされていない。

まず、原言語文を構文解析し、節の境界を探す。次に、節の始めと終わりを境界としてセグメント に区切る。節の中に節を含む場合も、すべての節境

Step1:構文解析

 & Parser & $\Rightarrow$ \\

図 1 提案手法の処理概略

界で分割を行う。Pouget-Abadie ら [4] は、2つの学習済み RNN モデルを用いて最適な境界を探索して いたが、必ずしも、文法的に適切な境界で区切られ るとは限らない。よって、本研究では節単位で区切った。各セグメントの翻訳は、周囲のセグメント の影響を受けるが、節という、比較的大きな意味の ある単位で区切ることによって、その影響を抑える ことが期待できる。

その次に、各セグメントをモデル 1 で翻訳する。 このモデル 1 として、Transformer を用いる。推論時 には、モデル 1 のビーム探索のスコアが最高となる 節の翻訳を出力する。

最後に、モデル 2 を用いてこの結果を並べ替え、編集することで、最終的な訳文を出力する。このモ デル 2 にも Transformer を用いるが、モデル 1 とは 別に学習されたものである。モデル 2 の入力は、原言語の節とその翻訳結果を繋げたものである。具体的には、原言語の各節とその翻訳結果を“@@@” で繋げた。そして、それらの節のペアを“III”で繋げ た。“@@@”や“III” は元の訓練データに含まれてお らず、特殊な一つのトークンとして語彙に含めた。例えば、「I think it is good.」を日本語に翻訳する時に
は、「I think @ @ @ 私は思う。III it is good @ @ @ それ は良い。III.@@@。」のような形で、モデル 2 に 入力されることが想定されている。翻訳された各セ グメントどうしが、どのような関係性をもつのかと いう情報を持っていないため、このように、原言語 の情報を付与する必要がある。Xu ら [6] は、原言語 の文と似た目的言語の文を繋げたものを、モデルに 入力する手法を提案した。本研究では、似ている文 ではなく、翻訳された複数の節を繋げることによっ て、並べ替えと編集をモデル 2 によって実現した。

## 3.2 学習

学習時には、まず、元の対訳コーパスを用いて、英日翻訳をモデル 1 で学習する。その後、図 1 のス テップ 1 からステップ 3 までを、全ての学習データ に対して行う。最後に、ステップ 3 の節の翻訳を図 1 のステップ 4 と同様の形式で繋げたものを入力と し、目的言語文を出力とすることで、モデル 2 を学習させる。

モデル 2 の学習時には、モデル 1 が出力する、複数の翻訳候補を利用して学習を行う。本研究では ビームサイズを 4 としているので、 4 つの候補が出力される。よって、節の翻訳の候補でスコアが最も 高いもののみを繋げた文、2 番目に高いもののみを 繋げた文、というように、四種類の形式をモデル 2 の入力として与えることができる。このように、英語の節の部分は同じだが日本語の部分のみ違うとい う入力文を用いることで、最終的に、モデル 2 のト レーニングデータは 4 倍になった。対応する目的言語の文は、4種類に対して、全て同じものを使う。

## 4 実験

提案手法の有効性を検証するために以下の実験を 行った。

## 4.1 実験設定

対訳コーパスとして、ASPEC [7] の英日 100 万文 (train-1)を用いた。Transformer [1] は、fairseq [8] で 実装されたものを用いた。基本的には、Vaswani ら [1]の結果を再現するためのウェブページ1)に従っ てハイパラメーターを設定した。dropout は 0.3 と し、 length penalty は 1 とした。 checkpoint はパラメー タを 1000 回更新する毎にごとに保存し、開発デー タの loss が最小となる checkpoint を選択した。これ

1) https://sgithub.com/pytorch/fairseq/issues/1352
表 1 入力トークン長ごとの BLEU

表 2 入カトークン長ごとの ratio

以上の詳細は付録に添付する。サブワード分割に は、SentencePiece [9]を用い、語彙の大きさを 16000 とし、日英で語彙を共有した。英語の構文解析に は、stanza [10]を用いた。モデル 1 の入力には、構文解析で出力された単語を空白で繋ぎ、それを SentencePiece でサブワードに分割したものを利用し た。このモデル 1 は、ベースラインの Transformer で あり、モデル 2 を学習する際に必要となるモデルで もある。

実験のベースラインとして，モデル 1 として用 いた通常の Transformer の他に以下の二つの手法を 比較した。一つ目は、線形化された構文木 [11]（構文木をカッコとラベル、単語の系列で表したもの） を Transformerに入力したものである。二つ目は、 Pouget-Abadie らの手法と同様に、モデル 1 から出力 された節の翻訳を、前から順に繋げたものを最終的 な訳文とするモデルである。

テストデータの BLEU [12] スコアは、MeCab [13] によって単語分割し、sacrebleu [14] を用いて算出 した。

## 4.2 実験結果

表 1 と表 2 が英日翻訳の結果である。これらは test データの文を、モデル 1 の入力文のサブワード トークン長さ別に分け、それぞれに対して BLEU と ratioを算出した結果を示している。

ratio は出力文と参照文の長さの比を表し、1より 小さいということは、訳抜けが発生している可能性 を示している。全てのテストデータに対する ratio は、線形化された構文木のモデルや Transformer に 比べ、提案手法の方が大きかった。その一方で、翻訳精度を表す BLEU は Transformer と提案手法では同等である。この結果から、提案手法は訳抜けを防 ぐために長い訳文を出力できるが、参照文に含まれ ていない情報も出力している可能性がある。また、 モデル 2 を使った並べ替えを行わず、モデル 1 の出力を前から順に繋げたモデルは、ratio は 1を大きく 上回っており，また BLEU も比較モデルの中で最も 低かった。この結果は、不必要な情報が翻訳結果に 多く含まれて訳質が低下していることを示してい る。また、提案手法ではモデル 2 の処理によってそ うした不必要な情報を取り除いて訳文を構成できて いることも分かる。

次に、長さ別のスコアを見ると、原言語のサブ ワードトークン数が 60 よりも大きいものに対して、提案手法の BLEU は比較対象の中で最も高い。2 番目に高い Transformer の BLEUを 0.8 上回っており、 ratio も提案手法の方がわずかながら高いことから、提案手法が長文の翻訳において有効であることが示唆される。

長さが 20 以内の短い文に対しても、提案手法は Transformer の BLEUを、0.5 上回った。短い文では、長い文に比べて、節の数が少ない。その結果、分割 が発生しないこともあり、モデル 2 の入力が、原言語文に、その文の翻訳を繋げただけのものもある。 これは、Xu ら [6] の用いた似た訳文の代わりに、モ デル 1 による翻訳を用いたことで、同様の効果が あったと推定される。

表 3 は、各モデルの実際の出力例である。 Transformer では、「伊那谷と木曽谷を結ぶ」という 部分の地名が抜け、代わりに「インターチェンジ・ ゾーンエリアを結ぶ」となっている。「交流圈域」と 類似した意味をもつ「インターチェンジ・ゾーンエ リア」という表現が入っているが、これは、本来な らば、参照訳にあるような「交流圏域の拡大」とい う文脈のみで使われる単語である。また、線形化さ れた構文木のモデルでは、「振興・創出について検討した。」となっているが、「振興・創出をめざす地域整備の方策を検討した。」となるべきである。

これに比べて、提案手法は、より訳抜けを改善し、統語構造も参照訳に近いものとなっている。「イン ダニと木曽谷を結ぶ」の部分では、「木曽谷」とい う地名を出力し、「振興と創出を目指した地域整備 の方策を検討した。」という、参照文に近い構造を 持っている。

実際のモデル 2 の入力は付録に記載するが、表 3 の、モデル 1 による節の翻訳例を見ると、“National

 \\

Route 361 connecting Inadani and Kisodani was approved in the business as a high standard road" という英語の節 が、「インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可された。」とデル 1 によっ て翻訳されている。この節の翻訳がモデル 2 に入力 されていることで、「木曽谷」を正確に翻訳できて いると言える。しかし、節の翻訳は、「地域におけ る産業の振興と創出について検討した。」のように、構文木を使ったモデルと同じような統語構造を持っ ている。これに対し、その節と一つ前の節の「交流圏域の拡大を目指した地域整備の方策」がモデル 2 によって並べ替え、編集されることによって正しい 統語構造が出力されていることが分かる。

## 4.3 考察

提案手法は Transformerに比べ、テストデータ全体に対して、ratio が若干改善したが、BLEU の改善 には結びつかなかった。その理由の一つとして、提案手法の推論時に、ビーム探索によるスコア最大の 節翻訳結果のみを考慮していることが挙げられる。節の翻訳は、隣の節にも依存するため、ビーム探索 の結果の 1-best ではなく、k-best を考慮したモデル を考えることで、より精度の高い節翻訳結果の選択 と結合が行える可能性がある。また、本研究では節 の始めと終わりで区切っているため、節と節の間を 繋ぐ、短いセグメントが生じ得る。そのような短い 単位の翻訳では、重複訳が発生する傾向があった。例えば、“, and”は、「又, 及び, また, そのためのもの である。」のようにモデル 1 によって翻訳されてい る。そのため、節の分割の方法に対する更なる検討 が必要と言える。

また、線形化された構文木のモデルの結果から、構文情報を入力文に付与することが必ずしも長い文 の精度向上に役立つわけではないということが示さ れた。

## 5 おわりに

本研究では、長い文を分割して翻訳し、その結果 を並べ替えて繋げるという分割統治的なニューラ ル機械翻訳の手法を提案した。それによって、訳抜 けを防止できる可能性を示した。コーパス単位の BLEU で顕著な差はなかったが、長文においては一定の効果が見られ、出力長を参照文に近づけること ができた。今後はセグメント分割の手法、セグメン ト単位の翻訳の結合の方法についてさらに検討を進 める。

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである。

## 参考文献

[1]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and

andIllia Polosukhin. Attention is all you need. CoRR, p. Vol.abs/1706.03762, 2017.

[2]Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pages 328-338., 2019.

[3]K. Sudoh, K. Duh, H. Tsukada, T. Hirao, and M. Nagata. Divide and translate: improving long distance reordering in statistical machine translation. In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR(SMT'10). pages 418-427., 2010.

[4]Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van Merrienboer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the curse of sentence length for neural machine translation using automatic segmentation. In Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, pages 78-85., 2014.

[5]Roee Aharoni and Yoav Goldberg. Split and rephrase: Better evaluation and stronger baselines. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 719-724. Association for Computational Linguistics., 2018.

[6]Jitao Xu, Josep Crego, and Jean Senellart. Boosting neural machine translation with similar translations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1580-1590, Online, July. Association for Computational Linguistics., 2020.

[7]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[8]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[9]Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics., 2018.

[10]Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pages 101-108, Online., 2020.

[11]Roee Aharoni and Yoav Goldberg. Towards string-to-tree neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 132-140. Association for
Computational Linguistics., 2017.

[12]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics., 2002.

[13]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer., 2005. http://mecab. sourceforge . net/.

[14]Matt Post. A call for clarity in reporting bleu scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics., 2018.

## A 付録

## A. 1 実験設定の詳細

開発データの loss が 5 回改善が見られない時に学習を止めた。提案手法のモデル 2 では、入力の長さが ベースラインの約 2 倍となる。 1 バッチあたりに含まれる文の数をべースラインに合わせるため、モデル 2 の学習では、update-freqをべースラインの 2 倍にした。同様の理由により、線形化された構文木を入力とす るモデルの update-freq をベースラインの 4 倍にした。

## A. 2 実際のモデル 2 の入力例

The measures for regional improvement aiming at expansion of the inter ch ang ing zone area @ @ @ 交流圈 域の拡大を目指した地域整備の方策。III, and @@@ 又,及び，また,そのためのものである。III promotion and creation of the industry in the area were examined, @ @ @ 地域における産業の振興と創出について検討した 。 I|| taking advantage of the time that @@@時間の利点を活かした。 ||| National Ro ute 361 connecting In ad ani and $\mathrm{K}$ is od ani was approv ed in the business as a high standard road @@@インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可された。III. @ @ @その他。

## A. 3 モデル 2 の入力例を SentencePiece でデコードしたもの)

The measures for regional improvement aiming at expansion of the interchanging zone area@ @ @ 交流圈域の拡大を 目指した地域整備の方策。III, and @ @ 又 又, 及び, また, そのためのものである。III promotion and creation of the industry in the area were examined,@@ @ 地域における産業の振興と創出について検討した。III taking advantage of the time that@@ @ 時間の利点を活かした。III National Route 361 connecting Inadani and Kisodani was approved in the business as a high standard road@@@ @インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可 された。III.@@@その他。
 加納保昌 須藤克仁 中村哲 奈良先端科学技術大学院大学 \{kano.yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp  