# 単言語データを用いた逆翻訳と順翻訳による データ拡張の効果の比較

美野 秀弥 ${ }^{1}$ 衣川和卉 ${ }^{1}$ 伊藤 均 ${ }^{1}$ 後藤 功雄 ${ }^{1}$ 山田 一郎 ${ }^{1}$ 田中 英輝 ${ }^{2}$
川上貴之 ${ }^{3}$ 大嶋 聖一 ${ }^{3}$ 朝賀 英裕 ${ }^{3}$
${ }^{1}$ NHK 放送技術研究所 ${ }^{2}$ NHK エンジニアリングシステム ${ }^{3}$ 時事通信社
\{mino.h-gq, kinugawa.k-jg, itou.h-ce, goto.i-es, yamada.i-hy\}@nhk.or.jp
tanaka.hideki@nes.or.jp, \{kawakami, sohshima, asaka\}@jiji.co.jp

## 1 はじめに

ニューラル機械翻訳（NMT）の精度を向上さ せるアプローチの 1 つに、単言語データを用い たデータ拡張がある。Sennrich ら [1] は、既存 の対訳データで学習した目的言語から原言語へ 翻訳する NMT モデルを用いて目的言語の単言語データを原言語に翻訳した擬似的な対訳デー タを生成し、それを既存の対訳データに追加し て学習することで翻訳精度が向上することを示 した。目的言語から原言語に翻訳することは 「逆翻訳」と呼ばれており、逆翻訳によって生成された擬似対訳データは、目的言語側のデー タの流暢性が担保されていることから、訳文の 流暢性が向上することが知られている。一方 で、原言語の単言語データを目的言語に翻訳す ること (以下、順翻訳と呼ぶ) で得られる擬似的な対訳データを用いたデータ抳張の効果につ いて報告した研究 $[2,3,4]$ は順翻訳によるデー タ拡張による翻訳精度の向上のみに言及してお り、逆翻訳との比較や対訳データの規模による 違いなどの詳細な分析はない。そこで、本稿で は、規模の異なる対訳データと内容がほぼ均衡 した日英の単言語データを用い、逆翻訳と順翻訳によって生成された異なる擬似対訳データに よるデータ拡張の効果を日英、英日の NMT シ ステムの性能比較を通じて検証した。検証の結果、順翻訳で生成した疑似対訳データと、逆翻訳で生成した疑似対訳データは共に、データ拡張による翻訳の精度向上に寄与することを確認表 1 時事通信社ニュースの各コーパスの文数

した。また、両方の擬似対訳データを併用する ことでさらに翻訳精度が向上することを確認し た。既存の対訳データの分量を小規模にして 行った実験では、逆翻訳で生成された擬似対訳 データの効果が大きいことを確認した。

## 2 実験概要

## 2.1 データセット

本稿では、国立研究開発法人情報通信研究機構の委託で進められている機械翻訳の研究プロ ジェクト内で開発されたニュースの日英均衡対訳コーパス $[5,6,7]$ と自動アライメント手法に よって抽出された日英自動アライメントコーパ スとを用いる。表 1 に各コーパスの文数を示 す1)。日英均衡対訳コーパスは、日英翻訳コー パスと日本語修正コーパスの 2 種類に分けられ る。日英翻訳コーパスは、時事通信社の日本語記事の文を過不足なく人手で英語に翻訳した対訳コーパスである。日本語修正コーパスは、時事通信社の日英記事に対して記事アライメント を自動で行い、英語記事を文単位で内容が等価 になるように日本語文を修正した対訳コーパス である。日英自動アライメント対訳コーパス

1）田中らが構築したコーパス [5] の一部を利用。

は、文単位に分割された日本語と英語のニュー ス記事を入力として日英の文単位間が交差しな いように結びっける文アライメントアルゴリズ ム [8] により抽出された対訳コーパスである。 テストセット、開発用セットには、WAT2020の JIJI タスク [9] のデータセットを用いた ${ }^{21}$ 。

## 2.2 実験設定

NMT システムには、Transformer モデル [10] が実装されている Sockeye 2 [11]を用い、日英、英日の 2 種類の翻訳モデルを学習した。英語 については Moses のツール3)、日本語について は Kytea [12]をそれぞれ用いてトーカナイズし た。語彙サイズは、Byte Pair Encoding (BPE) [13] を用いて 64,000 語に定めた。最大文長は 150 トークン、最大エポック数は 30 とし、チェッ クポイント間隔は 5,000 とした。連続して 15 回チェックポイントで開発用データのパープレ キシティの値が改善しない場合は学習を終了し た。学習時のその他の設定は Sockeye のデフォ ルト值を用いた。翻訳時は、ランダムシードを 変えて学習した 5 つのモデルをアンサンブルし たモデルを用い、ビーム幅を 30 とした。全て のシステムは、BLEU [14] で評価した。

## 2.3 ベースライン

ベースラインとして、表 1 の日英均衡コーパ ス(日英翻訳コーパスと日本語修正コーパス) で学習した翻訳モデルを用意した。事前実験で タグを用いた適応化による効果が得られたた め、日英翻訳コーパスには〈J-JIJ〉タグ（日本語 が時事通信社のスタイルであることを示すタ グ）を、日本語修正コーパスには〈E-JIJ〉タグ （英語が時事通信社のスタイルであることを示 すタグ）をそれぞれ原言語側のデータの先頭 に付与して翻訳モデルを学習した。翻訳時は、〈E-JIJI〉タグ（日英翻訳時）、または〈J-JIJIタグ （英日翻訳時）を入力文の先頭に付与した。

2）自動アライメント手法により抽出された対訳データ からノイズが多いものが人手で取り除かれている。

3) https://github.com/mosessmt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl表 2 各コーパスへの付与タグ (学習時)

## 2.4 単言語データによるデータ拡張

日英均衡コーパスに、日本語と英語の単言語 データを翻訳することで構築した 2 種類の擬似対訳コーパスを加えて翻訳モデルを学習した。日本語と英語の単言語データには、日本語側、英語側の内容がほぼ均衡している表 1 の日英自動アライメントコーパスを用いた。

単言語データの翻訳にはベースラインシステ ムを用い、日英自動アライメントコーパスの 英語側を日本語に翻訳した擬似対訳コーパス （以下、MonoEn と呼ぶ）と日本語側を英語に翻訳した擬似対訳コーパス（以下、MonoJa と呼 ぶ)、それぞれ 391,538 対を得た。内容がほぼ 均衡している日本語、および英語の単言語デー タを用いることで、MonoEn と MonoJaはほぼ 同じ情報を有したコーパスとなっている。本稿 では、ベースラインシステムの学習で用いた日英均衡コーパスに、MonoENを加えて学習した 翻訳モデル、MonoJaを加えて学習した翻訳モ デル、MonoEnと MonoJa の両方を加えて学習 した翻訳モデル、の 3 種類の翻訳モデルを構築 した。Caswell らは、学習時に擬似対訳コーパ スと正規の対訳コーパスを区別するタグを付与 して学習する手法 [15] を提案しており、本稿 でもこの手法を用いた。原言語側、あるいは目的言語側が時事通信社のニュース文のスタイル であることを示すスタイルタグと、対訳データ が擬似対訳か正規の対訳かを示す擬似対訳タ グ、の 2 種類のタグを原言語側データの先頭 に付与して翻訳モデルを学習した。表 2 に、各 コーパスに付与するタグを示す。日英翻訳時 は“〈E-JIJI> 〈NOMT>”を付与し、英日翻訳時は “〈J-JIJI> 〈NOMT>”を付与した。
表 3 日英翻訳の実験結果

表 4 英日翻訳の実験結果

## 2.5 小規模対訳データ

小規模な対訳データにおけるデータ拡張の効果を確認するために、表 1 の日英翻訳コーパス と日本語修正コーパスから 75,000 データをそ れぞれランダムに抽出した日英均衡コーパス 150,000 データを対訳データとし、同様に日英自動アライメントデータを用いてデータ拡張 を行い、翻訳モデルを学習した。データ拡張に は、日英均衡コーパス 150,000 データで学習し た翻訳モデルを利用した。英日翻訳について は、タグ付与の翻訳モデルよりもタグ未付与の 翻訳モデルの翻訳精度が高かったため、データ 拡張時もタグ未付与で学習した。英日翻訳で タグ付与の翻訳モデルの翻訳精度が下がった 理由としては、翻訳時に付与するくJ-JIJ〉タグ は学習データの原言語（英語）が時事通信社の ニュース文ではない翻訳文であることに対応し ているが、テストデータは英語、日本語共に時事通信社のニュース文であるため、その乘離が 影響したためと考えられる。

## 3 実験結果

日英、英日ニュース翻訳の実験結果を表 3,4 に示す。参考のため、タグを付与しない場合の 結果も載せた。日英、英日ともに順翻訳デー タ、逆翻訳データの追加による翻訳精度の向上 を確認した。また、順翻訳データと逆翻訳デー タの両方を追加することにより、さらに翻訳精表 5 英日翻訳の一対比較評価（100 文）

度が向上することを確認した。英日翻訳につい ては、テストセットの中の 100 文について、「日英均衡+MonoEn (順翻訳)」、日英均衡+MonoJa (逆翻訳)」、「日英均衡+MonoEn+MonoJa」、で学習した翻訳モデル間の一対比較評価を評価者 1 名により実施した ${ }^{4)}$ 。表 5 に評価結果を示 す。BLEUの評価では、順翻訳データ (MonoEn) を加えて学習した翻訳モデルと逆翻訳データ (MonoJa)を加えて学習した翻訳モデルの差は なかった (表 4 の 3,4 行目) が、一対比較評価で は逆翻訳データを追加した翻訳モデルよりも順翻訳データを追加した翻訳モデルの結果が良 い評価を得た。また、順翻訳、逆翻訳の両方の データを追加して学習した翻訳モデルは、どち らか一方のデータのみを加えた翻訳モデルと比較して良い評価を得られる傾向があった。本実験結果より、原言語側と目的言語側の両方の単言語データの利用の有効性が確認された。

表 6 に英日翻訳の翻訳例と評価結果を示す。 \#1 の例では、"crew member" の翻訳の違いによ り、日英均衡+ MonoJa (逆翻訳) の結果（隊員） よりも日英均衡+MonoEn (順翻訳) を用いた翻訳モデルの結果（乗組員）が良いと評価され た。\#2 の例では、"moving service fees” の翻訳の 違いにより、日英均衡+MonoEn (順翻訳) の結果（移動サービス料）よりも日英均衡 + MonoJa (逆翻訳) を用いた翻訳モデルの結果（引越し料金）が良いと評価された。

逆翻訳によるデータ拡張により翻訳結果の流暢性が向上することは知られているが、BLEU および人手評価の結果から、順翻訳によるデー タ拡張でも翻訳結果の流暢性が向上することが あることが分かる。

4） 2 の出力のうち、どちらが翻訳として適切かどう かを評価した。同じ品質の場合は「同等」と評価した。

 &  \\

表 7 日英翻訳の実験結果（小規模対訳データ）学習データ 文数 BLEU

日英均衡 (タグ付与) $\quad 150,000 \quad 20.5$

日英均衡+MonoEn(逆翻訳) $\quad 541,538 \quad 22.7$

日英均衡+MonoJa(順翻訳) $\quad 541,538 \quad 20.6$

日英均衡+MonoEn+MonoJa 933,076 22.8

表 8 英日翻訳の実験結果（小規模対訳データ）学習データ 文数 BLEU

日英均衡 (タグ付与) $\quad 150,000 \quad 24.6$

日英均衡+MonoEn(順翻訳) $\quad 541,538 \quad 27.8$

日英均衡+MonoJa(逆翻訳) $\quad 541,538 \quad 27.8$

日英均衡+MonoEn+MonoJa 933,076 27.9

小規模対訳データを用いた日英、英日ニュー ス翻訳実験結果を表 7,8 に示す。日英翻訳につ いては、順翻訳と比較して逆翻訳のデータ拡張 による翻訳精度の向上が大きかった。英日翻訳 については、順翻訳、逆翻訳のデータ拡張によ る翻訳精度の向上に差はなかった。一方で、日英翻訳、英日翻訳ともに、順翻訳と逆翻訳の両方のデータ拡張による翻訳精度の向上は小さ かった。

## 4 おわりに

本稿では、単言語データによるデータ拡張の 効果を、時事通信社のニュースコーパスを用い
て検証した。原言語側の単言語データによる順方向の翻訳（順翻訳）と、目的言語側の単言語 データによる逆方向の翻訳（逆翻訳）の 2 種類 のデータ拡張を用いて日英、英日の翻訳実験を 行い、両方のデータ拡張を併用することで翻訳精度が向上することを確認した。さらに、対訳 データを小規模にして同様の実験を実施したと ころ、逆翻訳によるデータ拡張の効果が大きく なることを確認した。「逆翻訳」によるデータ 拡張は対訳データが小規模のときに有用である ことが知られており[1]、これを裏付ける結果 となった。小規模の対訳データの実験では、順翻訳と逆翻訳の 2 種類のデータ拡張の併用によ る BLEU の向上は小さかったが、本稿でも指摘 しているように、BLEU の評価で差が小さい場合でも人手による一対評価で差が大きくなる場合があるので、今後人手評価を実施したい。

## 謝辞

本研究成果は独立行政法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化の ためのディープラーニング技術の研究開発」に より得られたものです。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Xuan-Phi Nguyen, Shafiq Joty, Wu Kui, and Ai Ti Aw. Data diversification: A simple strategy for neural machine translation. In Advances in Neural Information Processing Systems 32. Curran Associates, Inc., 2020.

[3] Maja Popović, Alberto Poncelas, Marija Brkic, and Andy Way. Neural machine translation for translating into Croatian and Serbian. In Proceedings of the 7 th Workshop on NLP for Similar Languages, Varieties and Dialects, pp. 102-113, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics (ICCL).

[4] Tingxun Shi, Shiyu Zhao, Xiaopu Li, Xiaoxue Wang, Qian Zhang, Di Ai, Dawei Dang, Xue Zhengshan, and Jie Hao. OPPO's machine translation systems for WMT20. In Proceedings of the Fifth Conference on Machine Translation, pp. 282-292, Online, November 2020. Association for Computational Linguistics.

[5] 田中英輝, 中澤敏明, 美野秀弥, 伊藤均, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英均衡対訳コーパスの 構築-第 3 報. 言語処理学会第 27 回年次大会, 2021.

[6] 田中英輝, 中澤敏明, 美野秀弥, 伊藤均, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英均衡対訳コーパスの 構築-第 2 報. 言語処理学会第 26 回年次大会, pp. 545-548, 2020.

[7] 田中英輝, 美野秀弥, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュース の日英均衡対訳コーパスの構築-第 1 報. 言語処理学会第 25 回年次大会, pp. 371-374, 2019.

[8] Masao Utiyama and Hitoshi Isahara. A japaneseenglish patent parallel corpus. In In proceedings of the Machine Translation Summit XI, 2007.

[9] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 7th workshop on Asian translation. In Proceedings of the 7th Workshop on Asian Translation, pp. 1-44, Suzhou, China, December 2020. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, $Ł$ ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[11] Tobias Domhan, Michael Denkowski, David Vilar, Xing Niu, Felix Hieber, and Kenneth Heafield. The sockeye 2 neural machine translation toolkit at AMTA 2020. In Proceedings of the 14th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers), pp. 110115, Virtual, October 2020. Association for Machine Translation in the Americas.

[12] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[13] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[15] Isaac Caswell, Ciprian Chelba, and David Grangier. Tagged back-translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 53-63, Florence, Italy, August 2019. Association for Computational Linguistics.
 美野 秀弥 ${ }^{1}$ 衣川和卉 ${ }^{1}$ 伊藤 均 ${ }^{1}$ 後藤 功雄 ${ }^{1}$ 山田 一郎 ${ }^{1}$ 田中 英輝 ${ }^{2}$ 川上貴之 ${ }^{3}$ 大嶋 聖一 ${ }^{3}$ 朝賀 英裕 ${ }^{3}$ ${ }^{1}$ NHK 放送技術研究所 ${ }^{2}$ NHK エンジニアリングシステム ${ }^{3}$ 時事通信社 \{mino.h-gq, kinugawa.k-jg, itou.h-ce, goto.i-es, yamada.i-hy\}@nhk.or.jp tanaka.hideki@nes.or.jp, \{kawakami, sohshima, asaka\}@jiji.co.jp  