# Fine-Tuninng と混成的な逆翻訳サンプリングに基づく NMT の双方向反復的教師なし適応の改善

森田 知熙
morita.tomohiro.al@tut.jp
}

秋葉友良
豊橋技術科学大学
akiba.tomoyoshi.tk@tut.jp tsukada.hajime.hl@tut.jp

## 1 はじめに

機械翻訳においては，学習に使用する対訳コーパ スの量と質が最終的な翻訳精度に直結する。しかし ながら，対訳コーパスは単言語コーパスに比べて 収集，構築が困難である．そのため，豊富な単言語 コーパスを活用し，ドメイン内での翻訳精度を向上 させるドメイン適応の研究が盛んに行われている.

中でも，Sennrich ら [1] は単言語コーパスを利用 した半教師あり学習手法として単言語コーパスを逆翻訳して疑似対訳コーパスを生成し，翻訳モデルを 学習することで翻訳精度の向上を達成した.

さらに Hoang ら [2], Zhang[3] らはこの手法を双方向に繰り返し行う，つまり疑似対訳コーパスの生成と翻訳モデルの学習を 2 つの言語間で交互に繰り 返すことでさらなる翻訳精度の向上を達成してい る.この手法では，疑似対訳コーパスにより翻訳精度が改善された翻訳モデルにより更に質の高い疑似対訳コーパスを生成できるため，これを繰り返す ことで翻訳精度を大きく改善することができる。ま た，森田ら [4] 藤澤ら [5], Jin ら [6] はこれらの手法 のドメイン適応での有効性を評価している。

本論文では，単言語コーパスを利用した繰り返し の半教師あり学習によるドメイン適応手法におい て，さらに fine-tuning により，以前の翻訳モデルか ら再学習する方法を提案する。また，繰り返し学習 の際，疑似対訳コーパスの単調化を防ぐため，beam search による逆翻訳文と random sampling による逆翻訳文を組み合わせることで疑似対訳コーパスの質を 維持しつつ多様性を増加させる逆翻訳手法を提案 する。

科学技術論文ドメインから特許ドメインへの適応 について英日翻訳，日英翻訳の実験を行った結果， fine-tuning を行わない既存の繰り返し学習手法に対 して，英日方向で+2.59 BLEU が向上した. さらに， random sampling と beam searchにより生成した疑似対訳コーパスを併用することで，最終的な BLEU 值 はそれぞれ英日方向で 40.58 , 日英方向で 38.22 と なり，完全な対訳コーパスで教師あり学習を行った Oracle モデルの BLEU 値 $(41.95,40.04)$ に迫る翻訳精度を達成した。

## 2 関連研究

ニューラル機械翻訳におけるドメイン適応手法 は，主にターゲットドメインに対訳コーパスがある ことを前提とした教師あり学習手法と，単言語コー パスを利用する半教師あり学習手法を用いたものに 大別され，本論文は後者に該当する。

対訳コーパスに比べ収集，構築が容易な半教師あ り学習は様々な手法が提案されている. Gülçehre ら [7] はターゲット側の単言語コーパスから学習した 言語モデルを利用する方法を提案している. Cehng ら [8] はオートエンコーダを用いて単言語コーパス と対訳コーパスを組み合わせて学習する方法を提案 している. Zhang ら [3] も同様にオートエンコーダ を用いて翻訳と文の並べ替えを同時に学習するマル チタスク学習手法を提案している。これらの手法は 単言語コーパスを用いるために翻訳システムの変更 が必要となる.

一方で，翻訳モデルの大規模な変更を必要とし ない半教師あり学習手法も多く提案されている. Currey ら [9] はターゲット側の文をそのままソー ス側にコピーして入力する方法を提案している. Sennrich ら [1] は少量の対訳コーパスから学習した ターゲット側の翻訳モデルで単言語コーパスを逆翻訳し，疑似対訳コーパスとして利用する方法を提案している。今村ら [10][11][12] は，Sennrich らの手法を拡張し，逆翻訳の際に random sampling を用い ることで，疑似ソース文に多様性を持たせることで 翻訳品質が向上することを報告している. Graça ら

[13] は，今村ら [10][11]の提案を踏まえ，N-ベスト サンプリングにより探索空間を制限することで高品質な疑似対訳コーパスのみを生成する方法を提案し ている.

Zhang ら [3] や Hoang ら [2] は Sennrich らの手法を 拡張し，ターゲット側だけでなくソース側の翻訳モ デルも同様の手順で性能を改善することで，双方向 の翻訳モデルの性能を改善する. さらに二つの性能 が改善されたモデルで単言語コーパスをもう一度逆翻訳し，疑似対訳コーパスの質を向上させることが できる。これを繰り返し，二つの言語間で双方向に 疑似対訳コーパスの生成と翻訳モデルの更新を同時 に繰り返し行うことにより翻訳精度のさらなる改善 を達成している. また, Jin ら [6] や藤澤ら [5], 森田ら [4] はこれらの手法のドメイン適応での実験を 行っており，その有効性を評価している。これらの 手法では, 各繰り返しで直前のモデルで生成した疑似対訳コーパスを用いて一から次の翻訳モデルを学習している.

## 3 提案法

本論文で提案する手法は，Zhang ら [3]，Hoang ら [2], Jin ら [6], 森田ら [4] や藤澤ら [5] の双方向反復的教師なし適応手法をもとに，fine-tuning を取り入 れたものである.

従来の双方向反復的教師なし適応手法 [4] では,同時に両方向の翻訳モデルの性能を改善するが，実際には両方向の翻訳モデルは交差する関係にあり，独立した二つの系列として交わることはない.

そのため，二つの系列どうしで翻訳精度に差が生 じ，また，優れた系列側の知識をもう一つの系列の 性能改善に活かせないという問題があった. 藤澤ら [5] は異なる系列の疑似対訳コーパスをもう一つの 系列の疑似対訳コーパスと結合することで翻訳精度 を改善できることを報告しているが，学習データが 増大するために, 繰り返し学習全体の時間の増大を 避けることができない.

本論文で提案する手法は，翻訳モデルを学習する 際，一からモデルを学習するのではなく一つ前のモ デルから fine-tuning することで異なる二つの系列の 疑似対訳コーパスの知識を学習することができる. また，学習データのサイズは従来手法 [4] と変わら ないため, 繰り返し学習全体の時間コストも増加し ないという利点がある.

源言語を $\mathrm{X}$ ，目的言語を $\mathrm{Y}$ とし，Xから $\mathrm{Y} へ$ の翻訳を X-Y，YからXへの翻訳を $\mathrm{Y}-\mathrm{X}$ とす. 提案法 の手順は以下のとおりである。（図 1)

1 ドメイン外対訳コーパス $\left(D_{X}^{\text {out }}, D_{Y}^{\text {out }}\right)$ から両方向の翻訳モデル $\left(\right.$ Model $_{X-Y} 0$, Model $\left._{Y-X} 0\right)$ を学習する。

2 以下の手順で $\operatorname{Model}_{X-Y}(i)$ を更新する.

2.1 Model $_{Y-X} i$ で単言語コーパス $D_{Y}^{i n}$ を翻訳 し，疑似対訳コーパス $\left(D_{X}^{i n^{\prime}}, D_{Y}^{i n}\right)$ を得る.

2.2 疑似対訳コーパス $\left(D_{X}^{i n^{\prime}}, D_{Y}^{i n}\right)$ と対訳コー パス $\left(D_{X}^{\text {out }}, D_{Y}^{\text {out }}\right)$ を混合し, $\operatorname{Model}_{X-Y}(i)$ から fine-tuning を行い $\operatorname{Model}_{X-Y}(i+1)$ を 得る.

3 以下の手順で Model $_{Y-X} i$ を更新する.

3.1 Model $_{X-Y} i$ で単言語コーパス $D_{X}^{i n}$ を翻訳 し，疑似対訳コーパス $D_{Y}^{i n}{ }^{\prime}, D_{X}^{i n}$ を得る.

3.2 疑似対訳コーパス $\left(D_{Y}^{i n^{\prime}}, D_{X}^{i n}\right)$ と対訳コー パス $\left(D_{Y}^{\text {out }}, D_{X}^{\text {out }}\right)$ を混合し, $\operatorname{Model}_{Y-X} i$ から fine-tuning を行い $\operatorname{Mode}_{Y-X}(i+1)$ を得る.

$4 \mathrm{i} \leftarrow \mathrm{i}+1$ としてステップ 2 に戻る.

また，今村ら [12] は，逆翻訳による半教師あり学習手法において， random sampling により疑似原文を 複数生成することで翻訳精度が向上することを指摘 しているが，学習データが増大するために，学習時間が増加するという欠点がある。さらに, Edunov ら [14] は，初期対訳コーパスサイズが小さい場合，逆翻訳器の翻訳精度が低いために, beam search 以外の 逆翻訳手法は逆効果になることを報告している.

そこで，疑似対訳コーパスを生成する際に，半分 を beam search，もう半分を random sampling により 逆翻訳し，これらを混合する Combining Sampling を 提案する. この手法は, 逆翻訳器の性能が低い場合 でも，ノイズが小さい beam search による翻訳文が 混在するため疑似対訳コーパスの質の低下を防ぎつ つ多様性の増加を期待できる。 さらに，学習データ サイズが増加しないため, 繰り返し学習においても デメリットなしで使用できる.

なお，学習データの質の偏りを防ぐため，逆翻訳 の際に 1 行ごとに交互にサンプリング方法を切り替 え，また上記の手順で翻訳モデルの更新を行うたび に単言語コーパスの偶数行と奇数行を入れ替える.

## 4 実験

in domain

Parallel corpus

図 1 fine-tuning を導入した双方向反復的教師なし適応手法の流れ

## 4.1 データセット

ドメイン外の対訳コーパスとして Asian Scientific Paper Excerpt Corpus(ASPEC)[15]を，ドメイン内の単言語コーパスとして NTCIR8-PATENT を使用した.

ASPEC コーパスには訓練データが約 300 万文対 するが，この内，先頭から 100 万文対をドメイン内対訳コーパスとして使用した。

PATENT コーパスは約 318 万文対の訓練データの 内，英語と日本語の単言語コーパスが対訳にならな いように，先頭の 10 万文対を除いたものを半分に 分割し, 先頭の 154 万文を英語の単言語コーパス,後ろの 154 万文を日本語の単言語コーパスとして 使用した. 事前の処理として，両コーパスのすべて のデータを NFKC 正規化し，英語側のコーパスは Moses[16] に付属するトークナイザーでトークナイ ズしたあと, Moses[16] の truecaser で大文字小文字 の表記の統一を行った. また, 学習前の事前処理と して SentencePiece[17] により各データをサブワード 化した. SentencePiece のモデルの学習には，ドメイ ン外対訳コーパスとドメイン内単言語コーパスを結合したものを用いた.

## 4.2 実験方法

ドメイン外対訳コーパスである ASPECコーパス を使用し，英日，日英方向の翻訳モデル (Model0)を 学習する. 次に, 学習した日英翻訳モデルで, ドメ イン内単言語コーパスである NTCIR8-PATENTコー
パスを逆翻訳し疑似対訳コーパスを作成する。この 対訳コーパスと ASPECコーパスを混合し，新たに 英日方向の翻訳システムを学習する．英語の単言語コーパスに対しても同様の手順で疑似対訳コー パスを生成し，新たに日英翻訳モデルを学習する。 これを Model1 とし，以降翻訳システムを学習する ごとに Mode12, Model3, ...ModelN とする. ただし, Model2 以降は，翻訳システムを学習する際に，一つ 前の同方向のモデルから fine-tuning を行う. Model2 の英日翻訳システムは, Model1 の英日翻訳システム から fine-tuning し，日英方向の翻訳モデルは Model1 の日英翻訳モデルから fine-tuning する. Model3 の 翻訳システムも同様に Model 2 の翻訳システムから fine-tuning し，以降これを繰り返す。

ベースラインとして，fine-tuningを行わない通常 の繰り返し学習を行ったモデルと性能を比較する。 また，逆翻訳の方法による疑似対訳コーパスの質の 違いも調べるため，以下の 5 つのモデルで性能の比較を行う。

Oracle NTCIRコーパス約 300 万文を完全な対訳 コーパスとして APSEC コーパスと結合し通常 の教師あり学習を行う。

Baseline fine-tuningを行わず，通常の繰り返し学習 を行う [4]. beam searchにより逆翻訳を行う。

Best Sampling 通常の beam searchにより逆翻訳を 行う.

Random Sampling 尤度の高い文ではなく，モデル の事後確率による random sampling により文を
生成し逆翻訳を行う.

Combining Sampling 上記の二つの方法を組み合 わせて疑似対訳コーパスを作成する. 英日方向では，単言語コーパスの偶数行を random sampling, 奇数行を beam searchにより逆翻訳し，日英方向では奇数行を random sampling, 偶数行 を beam searchにより逆翻訳する。ただし，翻訳システムの更新が Model1, Model2, ...ModelN と進むごとに偶数行と奇数行を入れ替える.

## 4.3 実験条件

翻訳システムとして, OpenNMT-py[18] の Transformerを使用した. エンコーダ，デコーダともに 6 層とし，隠れ層の次元を 512 とした。最適化には Adam を使用した. サブワードの分割サイズは $16 \mathrm{~K}$

学習ステップは, ASPECコーパスのみから学習を 行う初期モデルは 10000 ステップ, 以降の ASPEC コーパスと PATENTコーパスから学習を行うモデ ルは 25000 ステップとした. また, 初期モデルでは 1000 ステップ，以降のモデルでは 2500 ステップご とに翻訳モデルを保存し，性能評価は BLEU[19] に より行った. 英日翻訳では, テストセットの翻訳結果をデトークナイズしたあとに, Meacb により分か ち書きし，評価を行った. 開発データでの BLEUが 最も高いモデルをテストデータでの性能評価, 及び 単言語コーパスの逆翻訳に用いた。

## 4.4 実験結果

各条件において Mode19 まで学習したなかで， NTCIRコーパスの開発データに対する BLEU 值が 最も高い Model のテストデータに対する BLEUを 表 1 に示す. 各条件でのすべてのモデルの BLEU 值 は付録に示す. fine-tuning を行わないモデルに比べ, beam search による fine-tuning を行ったモデル (Fine tuning + Best Sampling)では英日方向では+2.59 BLEU値が向上したが，日英方向では-2.29 BLEU 値が下 がった. しかし，二つの逆翻訳手法を組み合わせた モデル (Combining Sampling) は最も大きく BLEU 值 が向上し, fine-tuning を行わないモデルに比べ英日方向で+4.67, 日英方向で $+2.78 \mathrm{BLEU}$ 值が向上した. random sampling で逆翻訳をしたモデルではベース ラインよりも BLEU 值が低くなっている。これは， random sampling では逆翻訳文の質が低下し，ステッ プが進むごとに疑似対訳コーパスの質が低くなる ためであると考えられる. 同様の結果は、先行研究 [14] において、初期モデルの性能が低い場合は random Sampling が有効でないことが示されている。一方で Combining Sampling で翻訳精度が大きく向上していることから， beam searchによる最もノイズ の少ない翻訳文を混ぜることにより，初期モデルの 精度が低い場合でも疑似対訳コーパスの質の低下を 防ぐことができていると考えられる。

以上から，Combining Sampling は，従来の逆翻訳手法 [10][11][12][13] では翻訳精度の改善が困難で あった初期モデルの精度が低い場合でも翻訳精度を 改善することができると言える。

ただし，今回は beam search と Random sampling に よる逆翻訳文の割合を $1: 1$ として実験を行ったがよ り最適な混合割合がある可能性は残っている。

## 5 おわりに

本論文では，繰り返し学習によるドメイン適応手法で，fine-tuning を行うことでさらに翻訳精度が向上することを確認した。これは，異なる系列の翻訳 モデルの知見を利用することができるためである と考えられ，手法は異なるが藤沢ら [5] の主張と一致する。また，疑似対訳コーパスを生成する際に beam search と random sampling による逆翻訳した文 を混合することで翻訳精度がより大きく改善され，通常の教師あり学習を行った Oracle モデルに迫る翻訳精度を得た。

今後の研究としては beam search と random sampling による逆翻訳文の適切な混合割合を調査したい。ま た，ドメイン外対訳コーパスに対しても同様に逆翻訳文を混合することで翻訳精度が向上するかを実験 したい.

謝辞本研究は JSPS 科研費 $19 \mathrm{~K} 11980$ および 18H01062 の助成を受けた.

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics. https://www.aclweb.org/anthology/P16-1009.

[2] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics. https: //www.aclweb.org/anthology/W18-2703.

[3] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018. https://ojs.aaai.org/ index.php/AAAI/article/view/11248.

[4] 森田知熙, 秋葉友良, 塚田元. 双方向の逆翻訳を利用した ニューラル機械翻訳の教師なし適応の検討. 言語処理学会第 25 回年次大会 発表論文集, pp. 1451-1454. Information Processing Society of Japan, March 2019. https://www.anlp.jp/ proceedings/annual_meeting/2019/pdf_dir/A6-1.pdf.

[5] 藤澤兼太, 秋葉友良, 塚田元. ニューラル機械翻訳における双方向反復的教師なし適応の改善. 言語処理学会 第 26 回年次大会 発表論文集, pp. 744-747. Association for Natural Language Processing, March 2020. https://www.anlp.jp/proceedings/ annual_meeting/2020/pdf_dir/P3-26.pdf.

[6] Di Jin, Z̄Zhijing Jin, Joey Tianyi Zhou, and Peter Szolovits. A simple baseline to semi-supervised domain adaptation for machine translation, 2020. https://arxiv.org/abs/2001.08140.

[7] Çaglar Gülçehre, Orhan Firat, Kelvin Xu, Kyunghyun Cho, Loïc Barrault, Huei-Chi Lin, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. On using monolingual corpora in neural machine translation. CoRR, Vol. abs/1503.03535, , 2015. http://arxiv. org/abs/1503.03535.

[8] Yong Cheng, Wei Xu, Zhongjun He, Wei He, Hua Wu, Maosong Sun, and Yang Liu. Semi-supervised learning for neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1965-1974, Berlin, Germany, August 2016. Association for Computational Linguistics. https://www.aclweb.org/ anthology/P16-1185.

[9] Anna Currey, Antonio Valerio Miceli Barone, and Kenneth Heafield. Copied monolingual data improves low-resource neural machine translation. In Proceedings of the Second Conference on Machine Translation, pp. 148-156, Copenhagen, Denmark, September 2017. Association for Computational Linguistics. https://www.aclweb.org/anthology/W17-4715.

[10] 今村賢治, 藤田篤, 隅田英一郎. 単言語コーパスと逆翻訳を 用いたエンコーダー・デコーダーの訓練法. 言語処理学会 第 24 回年次大会 発表論文集, pp. 29-32. Information Processing Society of Japan, March 2018. https://www.anlp.jp/ proceedings/annual_meeting/2018/pdf_dir/B1-3.pdf.

[11] Kenji Imamura, Atsushi Fujita, and Eiichiro Sumita. Enhancement of encoder and attention using target monolingual corpora in neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 55-63, Melbourne, Australia, July 2018. Association for Computational Linguistics. https://www.aclweb.org/anthology/W18-2707.

[12] 今村賢治, 藤田篤, 隅田英一郎. サンプリング生成 に基づく複数逆翻訳を用いたニューラル機械翻訳. 人工知能学会論文誌, Vol. 35, No. 3, pp. A-JA9_19, 2020. https://www.jstage.jst.go.jp/article/tjsai/35/3/ 35 A-JA9/ article/-char/ja/.
[13] Miguel Graça, Yunsu Kim, Julian Schamper, Shahram Khadivi, and Hermann Ney. Generalizing back-translation in neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 45-52, Florence, Italy, August 2019. Association for Computational Linguistics. https://www.aclweb.org/anthology/W19-5205.

[14] Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, Brussels, Belgium, October-November 2018. Association for Computational Linguistics. https://www. aclweb.org/anthology/D18-1045.

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA). https: //www.aclweb.org/anthology/L16-1350.

[16] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics. https://www.aclweb.org/anthology/P07-2045.

[17] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics. https: //www.aclweb.org/anthology/D18-2012.

[18] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander M. Rush. Opennmt: Open-source toolkit for neural machine translation. CoRR, Vol. abs/1701.02810, , 2017. http: //arxiv.org/abs/1701.02810.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics. https://www.aclweb.org/anthology/P02-1040.

## A 付録

表 2 Fine tuning + Best Sampling の各繰り返しごとの BLEU 值 ASPEC NTCIR

表 3 Fine tuning + Random Sampling の各繰り返しごとの BLEU 值 ASPEC NTCIR

表 4 Fine tuning + Combining Sampling の各繰り返しごとの BLEU 値


 森田 知熙 morita.tomohiro.al@tut.jp }  秋葉友良 豊橋技術科学大学 akiba.tomoyoshi.tk@tut.jp tsukada.hajime.hl@tut.jp  