# ニューラル機械翻訳における Iterative Back-Translation を利用した コンパラブルコーパスの活用

山本 優紀 秋葉 友良 塚田 元
豊橋技術科学大学
\{yamamoto.yuki.pr, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

ニューラル機械翻訳 (NMT) の学習に用いる対訳コーパスの構築法として, 文書単位で対応付けられた 2 つの言語のコーパス (コンパラブルコーパス) から、対応付けられる文ペアを自動的に抽出する手法が広く採用されている. しかし, 文単位で意味が対応するものは少なく,多くの文は抽出されず捨てられてしまう. 本研究では、対訳コーパスとして抽出されなかった文を含めて,コンパラブルコー パス全体を NMT の学習に活用する手法を提案する. 評価実験により, コンパラブルコーパスでデータ拡張を行うことや, コンパラブル性の利用, Iterative Back-Translation の活用によって翻訳モデルの性能が向上することを確認した.

## 1 はじめに

機械翻訳の分野では, 深層学習の発達により, ニューラルネットワークを用いるニューラル機械翻訳 (Neural Machine Translation:NMT) が, 従来手法の統計的機械翻訳よりも高い性能を示しており, 様々な研究が行われている. NMT では, ニューラルネットワークで構築した翻訳モデルを, 翻訳元の言語 (原言語) の文と,その訳の言語 (目的言語) の文のぺアにした対訳コーパスを用いて学習を行う. NMT は, 対訳コーパスから翻訳に関わる様々な知識を学習するため, 対訳コーパスの質や量が NMT モデルの翻訳性能に大きく影響する.しかし, 大規模な対訳コーパスを人手で作成することは困難という問題点がある.

この問題の解決策として, 既存の日本語と英語の翻訳テキストから対訳コーパスを構築する手法が提案されている.[1]これは, 新聞などの文書単位で対応付けつけられた 2 つの言語コーパス (コンパラブルコーパス) から, 対応付けられる文ぺアを自動的
に抽出することで対訳コーパスを構築する方法である. しかし,コンパラブルコーパスの中で文単位で意味が対応するものは少なく,多くの文は抽出されずに捨てられてしまう. 実際, 本論文で使用した PatentMT の調査では 1 つの文書から平均約 $27.1 \%$ の文しか抽出されていなかった.

本研究では, 対訳コーパスとして抽出されなかった文を含めて,コンパラブルコーパス全体を NMT の学習に活用する手法を提案する. データ拡張手法として, 逆翻訳 (Back-Translation:BT)[2] や, その拡張手法である Iterative Back-Translation (IBT)[3][4][5] を利用することで，より効果的なデータ拡張手法を探す. さらに, 上記の手法をコンパラブルコーパスのコンパラブル性を活用して行い, その効果を調べる.

## 2 提案手法

## 2.1 コンパラブルコーパスの再現

本研究では, 対訳コーパスの抽出元であるコンパラブルコーパスを翻訳モデル学習に活用することを目的とする. しかし, 実験で用いる NTCIR-10 PatentMT[6] のコンパラブルコーパスを直接入手することができなかったため, 以下の方法で対訳コー パスからコンパラブルコーパスを再現した.
1. $C=\{\}$ と初期化する.

2. 対訳コーパス $P$ の各文ペア $(x, y) \in P$ について以下を繰り返す。

$2.1 x$ と $y$ の抽出元の文書である $D_{x}$ と $D_{y}$ を特定する。

2.2 特定した $D_{x}$ と $D_{y}$ を文書ペア $\left(D_{x}, D_{y}\right)$ とし, $C$ に $C \leftarrow C \bigcup\left.\{\left(D_{x}, D_{y}\right)\right.\}$ と追加する.

最終的にコンパラブルコーパス $C=$ $\bigcup_{(x, y) \in P}\left.\{\left(D_{x}, D_{y}\right)\right.\}$ が得られる.

## 2.2 データ拡張手法

節 2.1 で構築したコンパラブルコーパスを利用して, データ拡張を行う. 本研究では, 4 つの手法でデータ拡張実験を行い, 比較を行うことで, より効果的なコンパラブルコーパスの活用方法を模索する.

## 2.2.1 Back-Translation

逆翻訳手法 (Back-Translation:BT) は, Sennrich ら [2] の提案した手法である. BT の流れを図 1 に示す. 図 1 では, 言語 $X$ から言語 $Y$ の翻訳モデルの構築を考えている. はじめに, 対訳コーパスを利用して $Y \rightarrow X$ 方向の翻訳モデル Model $_{Y \rightarrow X} 0$ を作成する.次に,このモデルを用いて, 単言語コーパス $C_{Y}$ mono からサンプリングして得たサブセット $\hat{C}_{Y}$ mono を逆翻訳し, 翻訳結果 $\hat{C}_{X}^{\prime}$ mono を得る. 翻訳結果と元の単言語コーパスを組み合わせて疑似対訳コーパス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono $)$ を構築する. 構築した疑似対訳コーパスと対訳コーパスを混合し, 言語 $X$ から言語 $Y$ の翻訳モデル Model $_{X \rightarrow Y} 1$ を学習する. 以上が BT の流れである. 本研究では, 構築したコンパラブルコーパス $C=\bigcup_{(x, y) \in P}\left.\{\left(D_{x}, D_{y}\right)\right.\}$ の Y 言語側 $C_{Y}=\bigcup_{(x, y) \in P}\left.\{D_{y}\right.\}$ を単言語コーパスとすることで BTを利用する。

図 1 Back Translation

## 2.2.2 Iterative Back-Translation

Iterative Back-Translation(IBT) は, 原言語の単言語コーパスと目的言語の単言語コーパスを用いて, BT を双方向かつ反復的に繰り返す手法である. IBT の流れを図 2 に示す. 図では, 言語 $X$ と言語 $Y$ における IBT の流れを示している. IBT は以下のようにしてモデルを学習する。

1. 対訳コーパスを用いて, $X \rightarrow Y, Y \rightarrow X$ の各方向の翻訳モデル Model $_{X \rightarrow Y} 0$, Model $_{Y \rightarrow X} 0$ を学習し, $i \leftarrow 0$ に初期化する.

2. 以下の手順で Model $_{X \rightarrow Y} i$ を更新する.

2.1 Model $_{Y \rightarrow X} i$ で単言語コーパス $C_{Y}$ mono からサンプリングして得たサブセット $\hat{C}_{Y}$ mono を翻訳し, 疑似対訳コーパス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono) を得る.

2.2疑似対訳コーパス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono) と対訳コーパス $\left(C_{X}, C_{Y}\right)$ を結合し, $\operatorname{Model}_{X \rightarrow Y} i$ を fine-tuning し, $\operatorname{Model}_{X \rightarrow Y}(i+1)$ を学習する。

3. ステップ 2 と同様に Model $_{Y \rightarrow X} i$ を更新する.
4. $i \leftarrow i+1$ としてステップ 2 に戻る.

本研究では, BT と同じように, 構築したコンパラブルコーパスを, 単言語コーパスとすることでIBT を利用する。

図 2 Iterative Back-Translation
表 1 実験に使用したコーパスサイズ

## 2.2.3コンパラブル性を利用した IBT

コンパラブル性を利用した IBT では, 構築したコンパラブルコーパスが文書単位で対応付けられていることを利用して, IBT に利用する両言語の単言語コーパスをコンパラブルになるように選択する方法である. 具体的には, IBT のステップ 2.1 および 3.1 で単言語コーパスから $\hat{C}_{X}$ mono および $\hat{C}_{Y}$ mono をサンプリングする際, $\hat{C}_{X}$ mono と $\hat{C}_{Y}$ mono が互いにコンパラブルになるように選ぶ. すなわち, 指定されたサンプリングサイズを満たすように最小限のコンパラブルコーパスのサブセット $C_{s u b}=\left.\{\left(D_{X}, D_{Y}\right)\right.\} \subset C$ をサンプリングして, $\hat{C}_{X}$ mono $\subseteq \cup_{\left(D_{X}, D_{Y}\right) \in C_{\text {sub }}}\left.\{D_{X}\right.\}$ および $\hat{C}_{Y}$ mono $\subseteq \cup_{\left(D_{X}, D_{Y}\right) \in C_{\text {sub }}}\left.\{D_{Y}\right.\}$ のように単言語コーパスを選択する。

## 3 評価実験

## 3.1 データセット

本研究では, 使用する大規模なコーパスとして特許機械翻訳テストコレクションである NTCIR 10 PatentMT[6] を使用した. PatentMT は特許文書から文を抽出することで構築されている対訳コーパスである. PatentMT の対訳コーパスから, 2.1 節の方法でコンパラブルコーパスを構築した. このとき,数式を含む文や長い文を除いた. 使用した対訳コーパスと構築したコンパラブルコーパスのサイズを表 1 に示す.

また, PatentMT の対訳コーパスと構築したコンパラブルコーパスの関係を調査した. コンパラブルコーパスの全文書は 66,414 文書である. このうちの 20,485 文書は, 文書内の $10 \%$ 以下の文しか対訳コー パスとして抽出されていないことがわかった. また,構築したコンパラブルコーパスを利用することで，約 67\%の文を新しく学習に使用することができることがわかった.表 2 コンパラブルコーパスの効果確認実験の結果

## 3.2 データセットの前処理

前処理として英語文, 日本語文ともに NFKC 正規化を行った. また, 英語文は Moses[7] に付属するトークナイザーと truecaser でトークナイズ大文字小文字の表記を統一した. 学習前の事前処理として, SentencePiece[8] で語彙サイズを 16,000 でサブワー ド化を行った.

## 3.3 ニューラル機械翻訳のパラメータ

NMT システムには Fairseq[9] の Transformer を使用した. エンコーダー及びデコーダは Transformer を 6 層とした. 学習率は 5e-4 とし, Warmup は 4000 ステップ, dropout は 0.1 としている. 損失関数は, ラべル平滑化クロスエントロピーを使用した. 最適化関数は Adam を利用し, パラメータである $\beta_{1}$ を $0.9, \beta_{2}$ を 0.98 に設定した。

## 3.4 コンパラブルコーパスの効果

今回構築したコンパラブルコーパスの効果を確認するための実験を行った. PatentMT の対訳コーパスのみで学習した翻訳モデルと,コンパラブルコーパスを利用してデータ拡張を行った翻訳モデルを比較する。

ベースラインは, PatentMT の対訳コーパスのみで学習したものを利用した. コンパラブルコーパスを利用した翻訳モデルは, ベースラインに加え, 全てのコンパラブルコーパスを利用したものと,対訳コー パスと同サイズである $3,186,254$ 文をコンパラブルコーパスから抽出したものの 2 つで実験を行った. ベースラインを利用してそれぞれ BTを行い, デー 夕拡張して学習を行った. ベースラインは 20epoch, コンパラブルコーパスを利用した翻訳モデルはどちらも 10epoch の学習を行った. 評価尺度は BLEU[10] を用いる。また, NTCIR-10 のベスト翻訳モデルとも比較を行った。

コンパラブルコーパスの効果確認の実験結果を表
表 3 翻訳モデルの BLEU

2 に示す. なお, 表 2 のサイズは, 左が対訳コーパスの使用文数, 右が単言語コーパスの使用文数となっている.

コンパラブルコーパスを利用した 2 つの結果がベースラインを上回ったことから，これまで利用されていなかったコンパラブルコーパスを活用することの有効性を示している. また, NTCIR-10 のベスト翻訳モデルと BLEU を比較すると, BLEU を大きく上回っており, 本実験で作成された翻訳モデルは十分な性能があるといえる.

## 3.5 データ拡張手法の比較

節 2.2 で説明した BT, IBT, コンパラブル性を利用したIBT の 3 つの手法で実験を行い, データ拡張手法の比較を行った. データ拡張は学習データのサイズが少ないほど効果が見られるため, 学習に使用するデータ数を減らして実験を行った. ベースラインは対訳コーパスを 10 万文使用して学習を行った. 提案手法である 3 つのデータ拡張手法では, ベースラインに加え, 10 万文ずつコンパラブルコーパスからサンプリングし, データ拡張を行い, モデルを更新した. モデルの更新後, 新たに 10 万文をコンパラブルコーパスからサンプリングし, 対訳コーパスと混合してデータ拡張を行う. これを繰り返すことで, モデルの更新を進める. モデルの更新は 3 手法とも 5 回行った. 比較は, 開発データで最も高い BLEU スコアのモデルで比較を行った.

データ拡張手法の比較を行うために, BT, IBT, コンパラブル性を利用した IBT の 3 つの手法を行った. 実験の翻訳モデルの学習結果を, 表 3 に示す. なお, 表 3 の学習データサイズは, 左が対訳コーパスの使用文数, 右が単言語コーパスの使用文数となっている. なお, 太字になっている BLEU スコアが, 開発
データで最も高い BLEUを示した Model である.英日方向における各手法の BLEU を比較すると， コンパラブル性を利用した IBT が最も性能が高く,続いて IBT の性能が高い. 日英方向における各手法の BLEU を比較すると, 英日と同じく,コンパラブル性を利用した IBT が最も性能が高く, 続いて IBT の性能が高い. IBT は, BT と比較して, BLEU が高いことが確認できる. コンパラブル性を利用した IBT は， コンパラブル性を利用していない BT や IBT と比較して, BLEUが高いことが確認できる.

## 4 結論

対訳コーパスをとして抽出されなかった文を含めたコンパラブルコーパスを利用してデータ拡張を行うことで, 翻訳モデルの性能が向上し, これまで利用されていなかったコンパラブルコーパスを活用することの有効性を確認した. また, コンパラブルコーパスの活用方法として, IBT を利用することの有効性と, 利用する単言語コーパスにコンパラブル性を持たせることの効果を確認することができた.

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 01062$ の助成を受けた.

## 参考文献

[1] 内山将夫. 対訳データの効率的な構築方法. 情報通信研究機構季報 Vol.58, pp. 37-43, 2012.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[3] Vu Cong Duy Hoang, Phiilpp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, 2018.

[4] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 555562, 2018.

[5] 森田知熙, 秋葉友良, 塚田元. 双方向の逆翻訳を利用したニューラル機械翻訳の教師なし適応の検討. 情報処理学会研究報告 2018-NL-238 (第 5 回自然言語処理シンポジウム), pp. 1-5, 2018.

[6] Isao Goto, Ka Po Chow, Bin Lu, Eiichiro Sumita, and Benjamin K. Tsou. Overview of the patent machine translation task at the NTCIR-10 workshop. Proceedings of the 10th NTCIR Conference, pp. 260-286, 2013.

[7] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ond`rej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.

[8] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.