# ニューラル機械翻訳における Iterative Back-Translation を利用した コンパラブルコーパスの活用

山本 優紀 秋葉 友良 塚田 元
豊橋技術科学大学
\{yamamoto.yuki.pr, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

ニューラル機械翻訳 (NMT) の学習に用いる対訳 コーパスの構築法として, 文書単位で対応付けられ た 2 つの言語のコーパス (コンパラブルコーパス) から、対応付けられる文ペアを自動的に抽出する 手法が広く採用されている. しかし, 文単位で意味 が対応するものは少なく,多くの文は抽出されず捨 てられてしまう. 本研究では、対訳コーパスとし て抽出されなかった文を含めて,コンパラブルコー パス全体を NMT の学習に活用する手法を提案す る. 評価実験により, コンパラブルコーパスでデータ 拡張を行うことや, コンパラブル性の利用, Iterative Back-Translation の活用によって翻訳モデルの性能が 向上することを確認した.

## 1 はじめに

機械翻訳の分野では, 深層学習の発達により, ニューラルネットワークを用いるニューラル機械翻訳 (Neural Machine Translation:NMT) が, 従来手法の統計的機械翻訳よりも高い性能を示しており, 様々な 研究が行われている. NMT では, ニューラルネット ワークで構築した翻訳モデルを, 翻訳元の言語 (原言語) の文と,その訳の言語 (目的言語) の文のぺアにし た対訳コーパスを用いて学習を行う. NMT は, 対訳 コーパスから翻訳に関わる様々な知識を学習するた め, 対訳コーパスの質や量が NMT モデルの翻訳性能 に大きく影響する.しかし, 大規模な対訳コーパスを 人手で作成することは困難という問題点がある.

この問題の解決策として, 既存の日本語と英語の 翻訳テキストから対訳コーパスを構築する手法が提案されている.[1]これは, 新聞などの文書単位で対応付けつけられた 2 つの言語コーパス (コンパラブ ルコーパス) から, 対応付けられる文ぺアを自動的
に抽出することで対訳コーパスを構築する方法で ある. しかし,コンパラブルコーパスの中で文単位 で意味が対応するものは少なく,多くの文は抽出さ れずに捨てられてしまう. 実際, 本論文で使用した PatentMT の調査では 1 つの文書から平均約 $27.1 \%$ の文しか抽出されていなかった.

本研究では, 対訳コーパスとして抽出されなかっ た文を含めて,コンパラブルコーパス全体を NMT の 学習に活用する手法を提案する. データ拡張手法と して, 逆翻訳 (Back-Translation:BT)[2] や, その拡張手法である Iterative Back-Translation (IBT)[3][4][5] を利用することで，より効果的なデータ拡張手法を探す. さらに, 上記の手法をコンパラブルコーパスのコン パラブル性を活用して行い, その効果を調べる.

## 2 提案手法

## 2.1 コンパラブルコーパスの再現

本研究では, 対訳コーパスの抽出元であるコン パラブルコーパスを翻訳モデル学習に活用するこ とを目的とする. しかし, 実験で用いる NTCIR-10 PatentMT[6] のコンパラブルコーパスを直接入手す ることができなかったため, 以下の方法で対訳コー パスからコンパラブルコーパスを再現した.
1. $C=\{\}$ と初期化する.

2. 対訳コーパス $P$ の各文ペア $(x, y) \in P$ について 以下を繰り返す。

$2.1 x$ と $y$ の抽出元の文書である $D_{x}$ と $D_{y}$ を特定する。

2.2 特定した $D_{x}$ と $D_{y}$ を文書ペア $\left(D_{x}, D_{y}\right)$ と し, $C$ に $C \leftarrow C \bigcup\left.\{\left(D_{x}, D_{y}\right)\right.\}$ と追加する.

最終的にコンパラブルコーパス $C=$ $\bigcup_{(x, y) \in P}\left.\{\left(D_{x}, D_{y}\right)\right.\}$ が得られる.

## 2.2 データ拡張手法

節 2.1 で構築したコンパラブルコーパスを利用 して, データ拡張を行う. 本研究では, 4 つの手法で データ拡張実験を行い, 比較を行うことで, より効果的なコンパラブルコーパスの活用方法を模索する.

## 2.2.1 Back-Translation

逆翻訳手法 (Back-Translation:BT) は, Sennrich ら [2] の提案した手法である. BT の流れを図 1 に示す. 図 1 では, 言語 $X$ から言語 $Y$ の翻訳モデルの構築 を考えている. はじめに, 対訳コーパスを利用して $Y \rightarrow X$ 方向の翻訳モデル Model $_{Y \rightarrow X} 0$ を作成する.次に,このモデルを用いて, 単言語コーパス $C_{Y}$ mono からサンプリングして得たサブセット $\hat{C}_{Y}$ mono を 逆翻訳し, 翻訳結果 $\hat{C}_{X}^{\prime}$ mono を得る. 翻訳結果と元 の単言語コーパスを組み合わせて疑似対訳コーパ ス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono $)$ を構築する. 構築した疑似対訳コーパスと対訳コーパスを混合し, 言語 $X$ から 言語 $Y$ の翻訳モデル Model $_{X \rightarrow Y} 1$ を学習する. 以上 が BT の流れである. 本研究では, 構築したコンパ ラブルコーパス $C=\bigcup_{(x, y) \in P}\left.\{\left(D_{x}, D_{y}\right)\right.\}$ の Y 言語側 $C_{Y}=\bigcup_{(x, y) \in P}\left.\{D_{y}\right.\}$ を単言語コーパスとすることで BTを利用する。

図 1 Back Translation

## 2.2.2 Iterative Back-Translation

Iterative Back-Translation(IBT) は, 原言語の単言語 コーパスと目的言語の単言語コーパスを用いて, BT を双方向かつ反復的に繰り返す手法である. IBT の 流れを図 2 に示す. 図では, 言語 $X$ と言語 $Y$ におけ る IBT の流れを示している. IBT は以下のようにし てモデルを学習する。

1. 対訳コーパスを用いて, $X \rightarrow Y, Y \rightarrow X$ の各方向 の翻訳モデル Model $_{X \rightarrow Y} 0$, Model $_{Y \rightarrow X} 0$ を学習 し, $i \leftarrow 0$ に初期化する.

2. 以下の手順で Model $_{X \rightarrow Y} i$ を更新する.

2.1 Model $_{Y \rightarrow X} i$ で単言語コーパス $C_{Y}$ mono からサンプリングして得たサブセッ ト $\hat{C}_{Y}$ mono を翻訳し, 疑似対訳コーパス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono) を得る.

2.2疑似対訳コーパス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono) と対訳コーパス $\left(C_{X}, C_{Y}\right)$ を結合し, $\operatorname{Model}_{X \rightarrow Y} i$ を fine-tuning し, $\operatorname{Model}_{X \rightarrow Y}(i+1)$ を学習 する。

3. ステップ 2 と同様に Model $_{Y \rightarrow X} i$ を更新する.
4. $i \leftarrow i+1$ としてステップ 2 に戻る.

本研究では, BT と同じように, 構築したコンパラブ ルコーパスを, 単言語コーパスとすることでIBT を 利用する。

図 2 Iterative Back-Translation
表 1 実験に使用したコーパスサイズ

## 2.2.3コンパラブル性を利用した IBT

コンパラブル性を利用した IBT では, 構築したコ ンパラブルコーパスが文書単位で対応付けられてい ることを利用して, IBT に利用する両言語の単言語 コーパスをコンパラブルになるように選択する方法 である. 具体的には, IBT のステップ 2.1 および 3.1 で 単言語コーパスから $\hat{C}_{X}$ mono および $\hat{C}_{Y}$ mono をサン プリングする際, $\hat{C}_{X}$ mono と $\hat{C}_{Y}$ mono が互いにコン パラブルになるように選ぶ. すなわち, 指定されたサ ンプリングサイズを満たすように最小限のコンパラ ブルコーパスのサブセット $C_{s u b}=\left.\{\left(D_{X}, D_{Y}\right)\right.\} \subset C$ をサンプリングして, $\hat{C}_{X}$ mono $\subseteq \cup_{\left(D_{X}, D_{Y}\right) \in C_{\text {sub }}}\left.\{D_{X}\right.\}$ および $\hat{C}_{Y}$ mono $\subseteq \cup_{\left(D_{X}, D_{Y}\right) \in C_{\text {sub }}}\left.\{D_{Y}\right.\}$ のように単言語コーパスを選択する。

## 3 評価実験

## 3.1 データセット

本研究では, 使用する大規模なコーパスとして 特許機械翻訳テストコレクションである NTCIR 10 PatentMT[6] を使用した. PatentMT は特許文書から文 を抽出することで構築されている対訳コーパスであ る. PatentMT の対訳コーパスから, 2.1 節の方法でコ ンパラブルコーパスを構築した. このとき,数式を含 む文や長い文を除いた. 使用した対訳コーパスと構築したコンパラブルコーパスのサイズを表 1 に示す.

また, PatentMT の対訳コーパスと構築したコンパ ラブルコーパスの関係を調査した. コンパラブル コーパスの全文書は 66,414 文書である. このうちの 20,485 文書は, 文書内の $10 \%$ 以下の文しか対訳コー パスとして抽出されていないことがわかった. また,構築したコンパラブルコーパスを利用することで，約 67\%の文を新しく学習に使用することができるこ とがわかった.表 2 コンパラブルコーパスの効果確認実験の結果

} & \multicolumn{2}{|c|}{ BLEU(dev/test) } \\

## 3.2 データセットの前処理

前処理として英語文, 日本語文ともに NFKC 正規化を行った. また, 英語文は Moses[7] に付属する トークナイザーと truecaser でトークナイズ大文字小文字の表記を統一した. 学習前の事前処理として, SentencePiece[8] で語彙サイズを 16,000 でサブワー ド化を行った.

## 3.3 ニューラル機械翻訳のパラメータ

NMT システムには Fairseq[9] の Transformer を使用した. エンコーダー及びデコーダは Transformer を 6 層とした. 学習率は 5e-4 とし, Warmup は 4000 ス テップ, dropout は 0.1 としている. 損失関数は, ラべ ル平滑化クロスエントロピーを使用した. 最適化関数は Adam を利用し, パラメータである $\beta_{1}$ を $0.9, \beta_{2}$ を 0.98 に設定した。

## 3.4 コンパラブルコーパスの効果

今回構築したコンパラブルコーパスの効果を確認 するための実験を行った. PatentMT の対訳コーパス のみで学習した翻訳モデルと,コンパラブルコーパ スを利用してデータ拡張を行った翻訳モデルを比較 する。

ベースラインは, PatentMT の対訳コーパスのみで 学習したものを利用した. コンパラブルコーパスを 利用した翻訳モデルは, ベースラインに加え, 全ての コンパラブルコーパスを利用したものと,対訳コー パスと同サイズである $3,186,254$ 文をコンパラブル コーパスから抽出したものの 2 つで実験を行った. ベースラインを利用してそれぞれ BTを行い, デー 夕拡張して学習を行った. ベースラインは 20epoch, コンパラブルコーパスを利用した翻訳モデルはどち らも 10epoch の学習を行った. 評価尺度は BLEU[10] を用いる。また, NTCIR-10 のベスト翻訳モデルとも 比較を行った。

コンパラブルコーパスの効果確認の実験結果を表
表 3 翻訳モデルの BLEU

} & \multicolumn{3}{|c|}{} & \multicolumn{3}{|c|}{} \\

2 に示す. なお, 表 2 のサイズは, 左が対訳コーパス の使用文数, 右が単言語コーパスの使用文数となっ ている.

コンパラブルコーパスを利用した 2 つの結果が ベースラインを上回ったことから，これまで利用さ れていなかったコンパラブルコーパスを活用するこ との有効性を示している. また, NTCIR-10 のベスト 翻訳モデルと BLEU を比較すると, BLEU を大きく 上回っており, 本実験で作成された翻訳モデルは十分な性能があるといえる.

## 3.5 データ拡張手法の比較

節 2.2 で説明した BT, IBT, コンパラブル性を利用 したIBT の 3 つの手法で実験を行い, データ拡張手法の比較を行った. データ拡張は学習データのサイ ズが少ないほど効果が見られるため, 学習に使用す るデータ数を減らして実験を行った. ベースライン は対訳コーパスを 10 万文使用して学習を行った. 提案手法である 3 つのデータ拡張手法では, ベースラ インに加え, 10 万文ずつコンパラブルコーパスから サンプリングし, データ拡張を行い, モデルを更新し た. モデルの更新後, 新たに 10 万文をコンパラブル コーパスからサンプリングし, 対訳コーパスと混合 してデータ拡張を行う. これを繰り返すことで, モデ ルの更新を進める. モデルの更新は 3 手法とも 5 回行った. 比較は, 開発データで最も高い BLEU スコア のモデルで比較を行った.

データ拡張手法の比較を行うために, BT, IBT, コ ンパラブル性を利用した IBT の 3 つの手法を行っ た. 実験の翻訳モデルの学習結果を, 表 3 に示す. な お, 表 3 の学習データサイズは, 左が対訳コーパスの 使用文数, 右が単言語コーパスの使用文数となって いる. なお, 太字になっている BLEU スコアが, 開発
データで最も高い BLEUを示した Model である.英日方向における各手法の BLEU を比較すると， コンパラブル性を利用した IBT が最も性能が高く,続いて IBT の性能が高い. 日英方向における各手法 の BLEU を比較すると, 英日と同じく,コンパラブル 性を利用した IBT が最も性能が高く, 続いて IBT の 性能が高い. IBT は, BT と比較して, BLEU が高いこ とが確認できる. コンパラブル性を利用した IBT は， コンパラブル性を利用していない BT や IBT と比較 して, BLEUが高いことが確認できる.

## 4 結論

対訳コーパスをとして抽出されなかった文を含め たコンパラブルコーパスを利用してデータ拡張を行 うことで, 翻訳モデルの性能が向上し, これまで利用 されていなかったコンパラブルコーパスを活用する ことの有効性を確認した. また, コンパラブルコーパ スの活用方法として, IBT を利用することの有効性 と, 利用する単言語コーパスにコンパラブル性を持 たせることの効果を確認することができた.

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 01062$ の助成を受けた.

## 参考文献

[1] 内山将夫. 対訳データの効率的な構築方法. 情報通信研究機構季報 Vol.58, pp. 37-43, 2012.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[3] Vu Cong Duy Hoang, Phiilpp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, 2018.

[4] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 555562, 2018.

[5] 森田知熙, 秋葉友良, 塚田元. 双方向の逆翻訳を利用 したニューラル機械翻訳の教師なし適応の検討. 情報処理学会研究報告 2018-NL-238 (第 5 回自然言語処理シンポジウム), pp. 1-5, 2018.

[6] Isao Goto, Ka Po Chow, Bin Lu, Eiichiro Sumita, and Benjamin K. Tsou. Overview of the patent machine translation task at the NTCIR-10 workshop. Proceedings of the 10th NTCIR Conference, pp. 260-286, 2013.

[7] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ond`rej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.

[8] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.
 山本 優紀 秋葉 友良 塚田 元 豊橋技術科学大学 \{yamamoto.yuki.pr, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp  