# 対訳文のない言語対の NMT の検討
}

\author{
Bui Tuan Thanh 秋葉友良塚田元 \\ 豊橋技術科学大学大学院
}

\{bui.tuan.thanh.mg, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

# 
# 概要

ニューラル機械翻訳では高い性能を発揮するため に、大規模かつ品質が高い対訳コーパスが必要にな る。しかし、対訳コーパスのない言語対が数多くあ る。本稿では、日本語（日）とべトナム語（越）を 対訳文のない言語対として、中間語の英語を介した 英日と英越対訳データのみを用いて、日越と越日そ れぞれの翻訳モデルを学習する手法を提案する。提案手法は、英語との 2 つの対訳データを使用して、多様性のある日越擬似データを構築する。IWSLT の 対訳データを用いた実験により、提案手法は小規模 な対訳データで学習された教師あり翻訳モデルやピ ボット翻訳手法を上回ることを示した。ピボット翻訳手法と比較すると、日越方向の性能 (BLEU スコ ア) が+1.96、越日方向の性能が+1.75 向上した。

## 1 はじめに

近年、ニューラルネットワークを用いたニューラ ル機械翻訳 (Neural Machine Translation: NMT)[1,2] は 従来の統計的機械翻訳の性能を上回り、非常に高い 性能を実現している。ニューラル機械翻訳は、翻訳 の品質を飛躍的に向上させるために、大規模かつ品質が高い対訳コーパス (学習データ) が必要になる。 しかし、そのようなデータを入手するのは困難で、高いコストがかかる。少数言語対においては、利用 できる対訳コーパスが少数である低資源言語対の問題、さらには対訳データを利用できないという問題 がある。そのような問題に対応するために、低資源言語対の機械翻訳 $[3,4,5,6]$ 及び対訳データのない 言語対の機械翻訳の研究が行われている $[7,8,9]$ 。

対訳文のない言語対の翻訳モデルを学習する最 も単純な手法はピボット翻訳 [8] である。ピボット 翻訳は 2 つの翻訳モデルを利用するため、翻訳時間がかかり、エラー伝播の問題がある。Ren らは第
3 言語を介して低資源言語対の翻訳精度を上げる Triangular Architecture を提案し、その手法が対訳文 のない言語対にも応用する見込みがあることを主張 している。しかし、その応用の有効性を実験的に示 していない。また、単言語コーパスのみを利用し、翻訳モデルを学習する手法 $[10,11,12]$ がある。これ らの手法では、Sennrich ら [3] の逆翻訳で対訳デー タを構築する。 He ら [7] は逆翻訳がソース側の学習 データと評価データのギャップを生じることを示 し、順翻訳と逆翻訳で生成された擬似対訳データを 組み合わせて利用する手法を提案した。

本稿は、日越を対訳文のない言語対として、英日 と英越対訳データのみを用いて、日越と越日それぞ れの翻訳モデルを学習する手法を提案する。提案法 では英語との 2 つの対訳データを用いて、順翻訳と 逆翻訳で日越の複数の擬似データを構築し、それら の擬似データで翻訳モデルを学習する。実験結果か ら、この手法が有効であることを示す。

## 2 関連研究

## 2.1 ピボット翻訳

ビボット翻訳 [8] は、対訳文のない言語対の翻訳 システムを中間言語を介して構築する最も単純な手法である。中間言語とソース言語、中間言語とター ゲット言語との対訳データを用いる。この手法で は、(ソース言語 $\rightarrow$ 中間言語）翻訳モデルと（中間言語 $\rightarrow$ ターゲット言語）翻訳モデルを用いて、ソー ス言語の文をターゲット言語に翻訳する。2 段階で 翻訳を行うため、翻訳時間がかかる手法である。ま た、第 1 段回目の翻訳の失敗が、第 2 段回の翻訳は 誤った入力を翻訳するとこになり、エラーが増幅す る。これをエラー伝播と呼ぶ。

図 1 提案手法の仕組み

## 2.2 zero-shot 翻訳

Johnson ら [9] は、複数の言語対を用いて1つの翻訳モデルを学習することで、直接学習データのない 言語対も翻訳できることを示した。Johnson らの研究では 12 の言語対を用いた。この手法では、多く の言語対の対訳データが必要になる。本研究の実験 で、2つの対訳データのみを用いた zero-shot 翻訳は 有効ではなかった。

## 2.3 Triangular Architecture

Ren ら [6] は、豊富な対訳データをもつ中間言語 $\mathrm{Y}$ を介して、低資源言語対 X-Z の翻訳制度を上げるの に Triagular Architectureを提案した。X-Y 対訳データ を豊富な対訳データとする。Triagular Architecture で は、 $\mathrm{X} \rightarrow \mathrm{Z}$ 翻訳モデルの精度を上げるために、 $(\mathrm{X}, \mathrm{Y})$対訳データと $(\mathrm{Y}, \mathrm{Z})$ 対訳データを利用する。 $\mathrm{X} \rightarrow \mathrm{Z}$ 翻訳モデルを直接学習せずに、 $\mathrm{Z}$ を潜在変数 (latent variable）として $\mathrm{X} \rightarrow \mathrm{Y}$ 翻訳モデルを学習する。その 後、 $\mathrm{X} \rightarrow \mathrm{Y}$ 翻訳モデルの学習は低資源言語対 $(\mathrm{X}, \mathrm{Y})$ と $(\mathrm{Y}, \mathrm{Z})$ それぞれの翻訳モデルを学習することにな る。その 2 つのモデルの最適化を双方向 EM アルゴ リズムで行う。この手法は単言語のデータを用いる 逆翻訳と組み合わせることができる。Ren らは、対訳文のない言語対に応用する見込みがあることを主張しているが、実験的に有効性を示していない。本稿も中間言語を利用しているが、中間言語との対訳 データのみを用いて目的の言語対の擬似対訳データ
を構築する。

## 2.4 Data Diversification

Nguyen ら [5] は複数の順翻訳モデルと逆翻訳モデ ルを用いて、それらのモデルで生成された複数の擬似データとオリジナル学習データを統合し、新しい 学習データを構築する手法を提案した。Nguyen ら の研究によれば、同じモデルの数を用いる際、パラ メータの初期化をランダムに実行された複数のモデ ルはパラメータの初期化を固定した複数のモデル より性能が良くなった。この手法は English-Nepali、 Nepali-English、English-Sinhala、Sinhala-English など の低資源言語対に有効性があることが示されてい る。提案手法では、擬似データの作成に際して Data Diversification の考えを活用する。

## 3 提案手法

本稿では、対訳データのない日越言語対の翻訳 モデルを学習するために、英語を介した 2 つの対訳データのみを用いて日越の擬似データを構築す る手法を提案する。提案手法の仕組みを図 1 に示 す。ここでは、(en-1、vi) は英越の対訳コーパスで あり、(en-2、ja) は英日の対訳コーパスである。en-1 と en-2 は対になっている必要はない。

最初に、英越と英日の対訳コーパスから、複数の 英越翻訳モデル (en2vi）と英日翻訳モデル（en2ja) を学習する。ここでは、seed の値の変更により、各 のモデルのパラメータの初期値をランダムに設定す

る。この方法で、異なる翻訳モデルを学習すること ができる。

次に、学習できたモデルを用いて、擬似対訳コー パスを生成する。具体的には、英日コーパスの英語文（en-2）を英越翻訳モデル（en2vi）でベトナム語 に翻訳し、擬似対訳文（vi， ja）を構築する。同様 に、英越コーパスの英語文（en-1）を英日翻訳モデ ルで日本語に翻訳し、擬似対訳コーパス（vi、 ja'） を作成する。同じ文を異なる翻訳モデルで翻訳して 擬似対訳文を作ることで、多様性のある擬似データ を作ることができる。予備実験では順翻訳または逆翻訳の擬似データのみを用いるよりもそれらのコー パスを統合して学習したほうが性能が高かった。そ のため、本稿の提案手法はすべて擬似データを統合 して、最終モデルを学習する。

## 4 実験

## 4.1 対訳コーパス

本稿では、International Workshop on Sopken Language Translation (IWSLT) の英越対訳コーパス (IWSLT 2015)、英日対訳コーパス (IWSLT 2017) と日越対訳コーパス (IWSLT 2012)を用いる。英越 の言語対は tst2012を開発データとし、tst2013をテ ストデータとする。英日言語対に対しては、 $\operatorname{dev} 2010$ を開発データとし、tst2015をテストデータとして 利用する。日越言語対に対しては、dev2010を開発 データとし、tst2010をテストデータとして利用す る。各言語対の文数を表 1 に示す。

英語文は Moses キットでトークン化される。べ トナム語文を pyvi ライブラリの ViTokenizerを用い てトークン化した。日本語は Mecab[13] でトーク ン化した。また、英語文とベトナム語文は Moses の truecased を用いて処理した。各言語は Byte Pair Encoding (BPE) で 16000 のサブワードに分割した。

## 4.2 実験条件

fairseq[14]を用いてニューラル機械翻訳システム を構成した。すべてのニューラル機械翻訳モデル
は Transformer で学習した。学習の際は、すべての モデルを同じパイパーパラメータと学習エポック 数（=30）を用いて、学習率は $1 \times 10^{-8}$ 、ウォーム アップは 4000 ステップ、学習率減衰は逆平方根、 ラベル平滑化は $0.1 、$ ドロップアウトは 0.3 、重み減衰は 0.0001 、損失関数はラベル平滑化クロスエン トロピーとした。Adam の最適化アルゴリズムでは $\left(\beta_{1}=0.9, \beta_{2}=0.98\right)$ を使用した。

教師ありモデル：教師あり翻訳モデルを IWSLT の 日越対訳データで学習した。日越対訳データを 使用したのは本モデルのみである。以後のモデ ルは日越対訳データを使用していない。

zero-shot 翻訳: Johnson ら [9]の Many-to-Many 翻訳 モデルを用いて zero-shot 翻訳を行った。英日、日英、英越と越英という４つの翻訳を可能にす る1つの翻訳モデルを学習した。モデルを学習 する際、各バッチでその４つの対訳データの割合を 1:1:1:1 にした。

ピボット翻訳: ピボット翻訳は、英語を中間語と して、ソース文を英語に翻訳し、翻訳できた英語文をターゲット言語に翻訳する。たとえば、日越方向翻訳をする際、日本語文を日英翻訳モ デルを用いて英語に翻訳する、翻訳できた英語文を英越翻訳モデルでベトナム語に翻訳する。 ピボット翻訳に使用したモデルの性能を表 3 に 示す。

提案手法: $(e n 2 v i \times k+e n 2 j a \times k)$ は、それぞれ異な る $k \supset$ en2vi モデル及び異なる $k \supset$ en2ja モデルを用い、擬似対訳コーパスを生成する。 $k=3,4,5$ で実験を行った。提案手法の使用さ れていたモデルを表 4 に示す。

## 4.3 実験結果

実験結果を表 2 に示す。実験結果により、ピボッ 卜翻訳手法は日越両方向で教師ありモデルを上回っ た。日越と越日それぞれの zero-shot 翻訳はできな かった。その原因は少数の言語対で Many-to-Many 翻訳モデルを学習したと考える。擬似データを用 いたことで、日越翻訳性能と越日翻訳性能は向上 した。 $(e n 2 v i \times 1+e n 2 j a \times 1)$ はべースラインを比較 すると越日方向が +0.83 、日越方向が+ 1.01 向上 した。

複数の擬似対訳コーパスを導入すると、越日翻訳性能と日越翻訳性能はさらに改善した。越日翻訳性
能は 13.30 で、日越翻訳性能は 11.65 であった。し かし、en2vi モデルと en2ja モデルをそれぞれ 5 つ以上のモデルを使用すると、有効に働かなかった。

表 2 実験結果 (dev / test)

表 3 ピボット翻訳に使用したモデル $(\mathrm{dev} /$ test)

表 4

提案手法で使用したモデル (dev / test)

## 4.4 擬似データの多様性

実験結果から、擬似データの多様性により、日越 と越日それぞれの翻訳性能か向上したと考えられ る。しかし、多様性ではなく、学習データが増えた から、性能が改善した単に可能性もある。このこと を検証するために、 $(e n 2 v i \times 3+e n 2 j a \times 3)$ の実験を 用いて以下の 3 つのケースで、実験を行った。実験結果を表 5 に示す。

・ケース 1：3つの同じ翻訳モデルを使用する。 すなわち、これらのモデルで生成された擬似データ は全く同じとする。

・ケース $2 ： 3$ モデルの内、2つのモデルは 同じモデルである。

・ケース $3 ： 3$ つ異なる翻訳モデルを使用す る。これらのモデルで生成された擬似データは異な る。(提案手法)表 5 擬似データの多様性の有効性 (dev / test)

表５の結果により、全く同じ擬似対訳データを用 いることより異なる擬似データを使用した方がいい ことがわかる。以上の提案手法は多様な擬似データ を用いて en2vi モデルと en2ja モデルの翻訳性能を 改善することで、日越の擬似対訳コーパスの品質を 向上させることができた。

## 5 おわりに

本稿は、対訳文のない日越言語対の翻訳モデルを 学習するために、英日と英越対訳データのみを用い て、日越の擬似対訳データを生成する手法を提案し た。英語を介した 2 つの対訳コーパスで英越と英日 それぞれ複数の翻訳モデルを学習した。それらの翻訳モデルを用いて、順翻訳と逆翻訳を組み合わせ、日越の複数の擬似データを生成し、すべての擬似 データを統合して、日越と越日それぞれの翻訳モデ ルを学習した。実験では IWSLT の対訳データを用 いて提案手法を検証した。実験結果により、本稿の 提案手法は、小規模の対訳データで学習された教師 ありモデルおよびピボット翻訳手法を上回ること を示した。さらに、追加実験で、多様性のある擬似 データを用いることの有効性を示した。

今後は多様性のある擬似データを構成する手法を 用いて、日越の擬似データを生成する英越翻訳モデ ルと英日翻訳モデルの翻訳性能を改善する予定であ る。英越翻訳モデルと英日翻訳モデルの翻訳性能が 向上すれば、日越の擬似データの品質が改善でき、日越と越日それぞれの翻訳精度はさらに向上させら れると考えている。また、提案手法を適用し、他の 対訳データのない言語対の翻訳モデルの性能を改善 したいと考えている。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 01062$ の助成を受けたも のです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Infor-
mation Processing Systems - Volume 2, NIPS'14, p. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[2] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Xuan-Phi Nguyen, Shafiq Joty, Wu Kui, and Ai Ti Aw. Data diversification: A simple strategy for neural machine translation. In Proceedings of the 34th International Conference on Neural Information Processing Systems, NIPS'20, Red Hook, NY, USA, 2020. Curran Associates Inc.

[6] Shuo Ren, Wenhu Chen, Shujie Liu, Mu Li, Ming Zhou, and Shuai Ma. Triangular architecture for rare language translation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 56-65, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Zhiwei He, Xing Wang, Rui Wang, Shuming Shi, and Zhaopeng Tu. Bridging the data gap between training and inference for unsupervised neural machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics.

[8] DE GISPERT A. Catalan-english statistical machine translation without parallel corpus : Bridging through spanish. Proceedings of 5th International Conference on Language Resources and Evaluation (LREC), Genoa, Italy, 2006, pp. 65-68, 2006.

[9] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[10] Guillaume Lample, Alexis Conneau, Ludovic Denoyer, and Marc'Aurelio Ranzato. Unsupervised machine translation using monolingual corpora only. In International Conference on Learning Representations (ICLR), 2018.

[11] Zhen Yang, Wei Chen, Feng Wang, and Bo Xu. Unsupervised neural machine translation with weight sharing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1:
Long Papers), pp. 46-55, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[12] Mikel Artetxe, Gorka Labaka, Eneko Agirre, and Kyunghyun Cho. Unsupervised neural machine translation. In Proceedings of the Sixth International Conference on Learning Representations, April 2018.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.
}  \author{ Bui Tuan Thanh 秋葉友良塚田元 \\ 豊橋技術科学大学大学院 }  \{bui.tuan.thanh.mg, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp  