# 単言語データを用いた逆翻訳と順翻訳による データ拡張の効果の比較

美野 秀弥 ${ }^{1}$ 衣川和卉 ${ }^{1}$ 伊藤 均 ${ }^{1}$ 後藤 功雄 ${ }^{1}$ 山田 一郎 ${ }^{1}$ 田中 英輝 ${ }^{2}$
川上貴之 ${ }^{3}$ 大嶋 聖一 ${ }^{3}$ 朝賀 英裕 ${ }^{3}$
${ }^{1}$ NHK 放送技術研究所 ${ }^{2}$ NHK エンジニアリングシステム ${ }^{3}$ 時事通信社
\{mino.h-gq, kinugawa.k-jg, itou.h-ce, goto.i-es, yamada.i-hy\}@nhk.or.jp
tanaka.hideki@nes.or.jp, \{kawakami, sohshima, asaka\}@jiji.co.jp

## 1 はじめに

ニューラル機械翻訳（NMT）の精度を向上さ せるアプローチの 1 つに、単言語データを用い たデータ拡張がある。Sennrich ら [1] は、既存 の対訳データで学習した目的言語から原言語へ 翻訳する NMT モデルを用いて目的言語の単言語データを原言語に翻訳した擬似的な対訳デー タを生成し、それを既存の対訳データに追加し て学習することで翻訳精度が向上することを示 した。目的言語から原言語に翻訳することは 「逆翻訳」と呼ばれており、逆翻訳によって生成された擬似対訳データは、目的言語側のデー タの流暢性が担保されていることから、訳文の 流暢性が向上することが知られている。一方 で、原言語の単言語データを目的言語に翻訳す ること (以下、順翻訳と呼ぶ) で得られる擬似的な対訳データを用いたデータ抳張の効果につ いて報告した研究 $[2,3,4]$ は順翻訳によるデー タ拡張による翻訳精度の向上のみに言及してお り、逆翻訳との比較や対訳データの規模による 違いなどの詳細な分析はない。そこで、本稿で は、規模の異なる対訳データと内容がほぼ均衡 した日英の単言語データを用い、逆翻訳と順翻訳によって生成された異なる擬似対訳データに よるデータ拡張の効果を日英、英日の NMT シ ステムの性能比較を通じて検証した。検証の結果、順翻訳で生成した疑似対訳データと、逆翻訳で生成した疑似対訳データは共に、データ拡張による翻訳の精度向上に寄与することを確認表 1 時事通信社ニュースの各コーパスの文数

した。また、両方の擬似対訳データを併用する ことでさらに翻訳精度が向上することを確認し た。既存の対訳データの分量を小規模にして 行った実験では、逆翻訳で生成された擬似対訳 データの効果が大きいことを確認した。

## 2 実験概要

## 2.1 データセット

本稿では、国立研究開発法人情報通信研究機構の委託で進められている機械翻訳の研究プロ ジェクト内で開発されたニュースの日英均衡対訳コーパス $[5,6,7]$ と自動アライメント手法に よって抽出された日英自動アライメントコーパ スとを用いる。表 1 に各コーパスの文数を示 す1)。日英均衡対訳コーパスは、日英翻訳コー パスと日本語修正コーパスの 2 種類に分けられ る。日英翻訳コーパスは、時事通信社の日本語記事の文を過不足なく人手で英語に翻訳した対訳コーパスである。日本語修正コーパスは、時事通信社の日英記事に対して記事アライメント を自動で行い、英語記事を文単位で内容が等価 になるように日本語文を修正した対訳コーパス である。日英自動アライメント対訳コーパス

1）田中らが構築したコーパス [5] の一部を利用。

は、文単位に分割された日本語と英語のニュー ス記事を入力として日英の文単位間が交差しな いように結びっける文アライメントアルゴリズ ム [8] により抽出された対訳コーパスである。 テストセット、開発用セットには、WAT2020の JIJI タスク [9] のデータセットを用いた ${ }^{21}$ 。

## 2.2 実験設定

NMT システムには、Transformer モデル [10] が実装されている Sockeye 2 [11]を用い、日英、英日の 2 種類の翻訳モデルを学習した。英語 については Moses のツール3)、日本語について は Kytea [12]をそれぞれ用いてトーカナイズし た。語彙サイズは、Byte Pair Encoding (BPE) [13] を用いて 64,000 語に定めた。最大文長は 150 トークン、最大エポック数は 30 とし、チェッ クポイント間隔は 5,000 とした。連続して 15 回チェックポイントで開発用データのパープレ キシティの値が改善しない場合は学習を終了し た。学習時のその他の設定は Sockeye のデフォ ルト值を用いた。翻訳時は、ランダムシードを 変えて学習した 5 つのモデルをアンサンブルし たモデルを用い、ビーム幅を 30 とした。全て のシステムは、BLEU [14] で評価した。

## 2.3 ベースライン

ベースラインとして、表 1 の日英均衡コーパ ス(日英翻訳コーパスと日本語修正コーパス) で学習した翻訳モデルを用意した。事前実験で タグを用いた適応化による効果が得られたた め、日英翻訳コーパスには〈J-JIJ〉タグ（日本語 が時事通信社のスタイルであることを示すタ グ）を、日本語修正コーパスには〈E-JIJ〉タグ （英語が時事通信社のスタイルであることを示 すタグ）をそれぞれ原言語側のデータの先頭 に付与して翻訳モデルを学習した。翻訳時は、〈E-JIJI〉タグ（日英翻訳時）、または〈J-JIJIタグ （英日翻訳時）を入力文の先頭に付与した。

2）自動アライメント手法により抽出された対訳データ からノイズが多いものが人手で取り除かれている。

3) https://github.com/mosessmt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl表 2 各コーパスへの付与タグ (学習時)

## 2.4 単言語データによるデータ拡張

日英均衡コーパスに、日本語と英語の単言語 データを翻訳することで構築した 2 種類の擬似対訳コーパスを加えて翻訳モデルを学習した。日本語と英語の単言語データには、日本語側、英語側の内容がほぼ均衡している表 1 の日英自動アライメントコーパスを用いた。

単言語データの翻訳にはベースラインシステ ムを用い、日英自動アライメントコーパスの 英語側を日本語に翻訳した擬似対訳コーパス （以下、MonoEn と呼ぶ）と日本語側を英語に翻訳した擬似対訳コーパス（以下、MonoJa と呼 ぶ)、それぞれ 391,538 対を得た。内容がほぼ 均衡している日本語、および英語の単言語デー タを用いることで、MonoEn と MonoJaはほぼ 同じ情報を有したコーパスとなっている。本稿 では、ベースラインシステムの学習で用いた日英均衡コーパスに、MonoENを加えて学習した 翻訳モデル、MonoJaを加えて学習した翻訳モ デル、MonoEnと MonoJa の両方を加えて学習 した翻訳モデル、の 3 種類の翻訳モデルを構築 した。Caswell らは、学習時に擬似対訳コーパ スと正規の対訳コーパスを区別するタグを付与 して学習する手法 [15] を提案しており、本稿 でもこの手法を用いた。原言語側、あるいは目的言語側が時事通信社のニュース文のスタイル であることを示すスタイルタグと、対訳データ が擬似対訳か正規の対訳かを示す擬似対訳タ グ、の 2 種類のタグを原言語側データの先頭 に付与して翻訳モデルを学習した。表 2 に、各 コーパスに付与するタグを示す。日英翻訳時 は“〈E-JIJI> 〈NOMT>”を付与し、英日翻訳時は “〈J-JIJI> 〈NOMT>”を付与した。
表 3 日英翻訳の実験結果

表 4 英日翻訳の実験結果

## 2.5 小規模対訳データ

小規模な対訳データにおけるデータ拡張の効果を確認するために、表 1 の日英翻訳コーパス と日本語修正コーパスから 75,000 データをそ れぞれランダムに抽出した日英均衡コーパス 150,000 データを対訳データとし、同様に日英自動アライメントデータを用いてデータ拡張 を行い、翻訳モデルを学習した。データ拡張に は、日英均衡コーパス 150,000 データで学習し た翻訳モデルを利用した。英日翻訳について は、タグ付与の翻訳モデルよりもタグ未付与の 翻訳モデルの翻訳精度が高かったため、データ 拡張時もタグ未付与で学習した。英日翻訳で タグ付与の翻訳モデルの翻訳精度が下がった 理由としては、翻訳時に付与するくJ-JIJ〉タグ は学習データの原言語（英語）が時事通信社の ニュース文ではない翻訳文であることに対応し ているが、テストデータは英語、日本語共に時事通信社のニュース文であるため、その乘離が 影響したためと考えられる。

## 3 実験結果

日英、英日ニュース翻訳の実験結果を表 3,4 に示す。参考のため、タグを付与しない場合の 結果も載せた。日英、英日ともに順翻訳デー タ、逆翻訳データの追加による翻訳精度の向上 を確認した。また、順翻訳データと逆翻訳デー タの両方を追加することにより、さらに翻訳精表 5 英日翻訳の一対比較評価（100 文）

度が向上することを確認した。英日翻訳につい ては、テストセットの中の 100 文について、「日英均衡+MonoEn (順翻訳)」、日英均衡+MonoJa (逆翻訳)」、「日英均衡+MonoEn+MonoJa」、で学習した翻訳モデル間の一対比較評価を評価者 1 名により実施した ${ }^{4)}$ 。表 5 に評価結果を示 す。BLEUの評価では、順翻訳データ (MonoEn) を加えて学習した翻訳モデルと逆翻訳データ (MonoJa)を加えて学習した翻訳モデルの差は なかった (表 4 の 3,4 行目) が、一対比較評価で は逆翻訳データを追加した翻訳モデルよりも順翻訳データを追加した翻訳モデルの結果が良 い評価を得た。また、順翻訳、逆翻訳の両方の データを追加して学習した翻訳モデルは、どち らか一方のデータのみを加えた翻訳モデルと比較して良い評価を得られる傾向があった。本実験結果より、原言語側と目的言語側の両方の単言語データの利用の有効性が確認された。

表 6 に英日翻訳の翻訳例と評価結果を示す。 \#1 の例では、"crew member" の翻訳の違いによ り、日英均衡+ MonoJa (逆翻訳) の結果（隊員） よりも日英均衡+MonoEn (順翻訳) を用いた翻訳モデルの結果（乗組員）が良いと評価され た。\#2 の例では、"moving service fees” の翻訳の 違いにより、日英均衡+MonoEn (順翻訳) の結果（移動サービス料）よりも日英均衡 + MonoJa (逆翻訳) を用いた翻訳モデルの結果（引越し料金）が良いと評価された。

逆翻訳によるデータ拡張により翻訳結果の流暢性が向上することは知られているが、BLEU および人手評価の結果から、順翻訳によるデー タ拡張でも翻訳結果の流暢性が向上することが あることが分かる。

4） 2 の出力のうち、どちらが翻訳として適切かどう かを評価した。同じ品質の場合は「同等」と評価した。

 &  \\

表 7 日英翻訳の実験結果（小規模対訳データ）学習データ 文数 BLEU

日英均衡 (タグ付与) $\quad 150,000 \quad 20.5$

日英均衡+MonoEn(逆翻訳) $\quad 541,538 \quad 22.7$

日英均衡+MonoJa(順翻訳) $\quad 541,538 \quad 20.6$

日英均衡+MonoEn+MonoJa 933,076 22.8

表 8 英日翻訳の実験結果（小規模対訳データ）学習データ 文数 BLEU

日英均衡 (タグ付与) $\quad 150,000 \quad 24.6$

日英均衡+MonoEn(順翻訳) $\quad 541,538 \quad 27.8$

日英均衡+MonoJa(逆翻訳) $\quad 541,538 \quad 27.8$

日英均衡+MonoEn+MonoJa 933,076 27.9

小規模対訳データを用いた日英、英日ニュー ス翻訳実験結果を表 7,8 に示す。日英翻訳につ いては、順翻訳と比較して逆翻訳のデータ拡張 による翻訳精度の向上が大きかった。英日翻訳 については、順翻訳、逆翻訳のデータ拡張によ る翻訳精度の向上に差はなかった。一方で、日英翻訳、英日翻訳ともに、順翻訳と逆翻訳の両方のデータ拡張による翻訳精度の向上は小さ かった。

## 4 おわりに

本稿では、単言語データによるデータ拡張の 効果を、時事通信社のニュースコーパスを用い
て検証した。原言語側の単言語データによる順方向の翻訳（順翻訳）と、目的言語側の単言語 データによる逆方向の翻訳（逆翻訳）の 2 種類 のデータ拡張を用いて日英、英日の翻訳実験を 行い、両方のデータ拡張を併用することで翻訳精度が向上することを確認した。さらに、対訳 データを小規模にして同様の実験を実施したと ころ、逆翻訳によるデータ拡張の効果が大きく なることを確認した。「逆翻訳」によるデータ 拡張は対訳データが小規模のときに有用である ことが知られており[1]、これを裏付ける結果 となった。小規模の対訳データの実験では、順翻訳と逆翻訳の 2 種類のデータ拡張の併用によ る BLEU の向上は小さかったが、本稿でも指摘 しているように、BLEU の評価で差が小さい場合でも人手による一対評価で差が大きくなる場合があるので、今後人手評価を実施したい。

## 謝辞

本研究成果は独立行政法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化の ためのディープラーニング技術の研究開発」に より得られたものです。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Xuan-Phi Nguyen, Shafiq Joty, Wu Kui, and Ai Ti Aw. Data diversification: A simple strategy for neural machine translation. In Advances in Neural Information Processing Systems 32. Curran Associates, Inc., 2020.

[3] Maja Popović, Alberto Poncelas, Marija Brkic, and Andy Way. Neural machine translation for translating into Croatian and Serbian. In Proceedings of the 7 th Workshop on NLP for Similar Languages, Varieties and Dialects, pp. 102-113, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics (ICCL).

[4] Tingxun Shi, Shiyu Zhao, Xiaopu Li, Xiaoxue Wang, Qian Zhang, Di Ai, Dawei Dang, Xue Zhengshan, and Jie Hao. OPPO's machine translation systems for WMT20. In Proceedings of the Fifth Conference on Machine Translation, pp. 282-292, Online, November 2020. Association for Computational Linguistics.

[5] 田中英輝, 中澤敏明, 美野秀弥, 伊藤均, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英均衡対訳コーパスの 構築-第 3 報. 言語処理学会第 27 回年次大会, 2021.

[6] 田中英輝, 中澤敏明, 美野秀弥, 伊藤均, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英均衡対訳コーパスの 構築-第 2 報. 言語処理学会第 26 回年次大会, pp. 545-548, 2020.

[7] 田中英輝, 美野秀弥, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュース の日英均衡対訳コーパスの構築-第 1 報. 言語処理学会第 25 回年次大会, pp. 371-374, 2019.

[8] Masao Utiyama and Hitoshi Isahara. A japaneseenglish patent parallel corpus. In In proceedings of the Machine Translation Summit XI, 2007.

[9] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 7th workshop on Asian translation. In Proceedings of the 7th Workshop on Asian Translation, pp. 1-44, Suzhou, China, December 2020. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, $Ł$ ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[11] Tobias Domhan, Michael Denkowski, David Vilar, Xing Niu, Felix Hieber, and Kenneth Heafield. The sockeye 2 neural machine translation toolkit at AMTA 2020. In Proceedings of the 14th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers), pp. 110115, Virtual, October 2020. Association for Machine Translation in the Americas.

[12] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[13] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[15] Isaac Caswell, Ciprian Chelba, and David Grangier. Tagged back-translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 53-63, Florence, Italy, August 2019. Association for Computational Linguistics.


# 知識蒸留によるニューラル機械翻訳の高速化検討

今村 賢治
国立研究開発法人 情報通信研究機構
kenji.imamura@nict.go.jp

## 1 はじめに

知識蒸留 (knowledge distillation)[1, 2] は、teacherstudent 方式とも呼ばれ、教師モデルが学習した知識 を生徒モデルに移行する方法の一つである。教師モ デルと生徒モデルは、アーキテクチャを含めて異な るものを用いることができる。

一方、ニューラル機械翻訳 (NMT) においても、実行時の高速化は、実用性を高めるために必須であ る。高速化方法にはいくつもの種類があるが、シン プルな方法としては、モデルを縮小（パラメーター の削減）することによる計算量削減と、ビーム幅を 狭くすることによる探索空間の削減がある。知識蒸留と組み合わせる場合、教師モデルより小規模な生徒モデルにすることで、高速化する場合が多い。

本稿では、知識蒸留と組み合わせた機械翻訳の高速化について、翻訳品質と翻訳速度の観点から、実験的に検討を行う。知識蒸留と組み合わせた場合、 どの方法が翻訳品質を落とさずに高速化が可能であ るのか、検証するのが本稿の目的である。

## 2 知識蒸留と高速化

## 2.1 知識蒸留

知識蒸留自体は、教師モデル（teacher model、親 モデル parent model とも呼ばれる）が出力する結果 を模倣するように、生徒モデル (student model)を学習することを言う。

たとえば、マルチクラス分類タスクでは、出力は 全クラスの事後確率分布であるので、(正解クラス だけでなく）すべてのクラスの確率分布が教師モデ ルと一致するように損失関数を設定し、生徒モデル を学習する [1]。NMT でも、各単語はすべての語彙 からのマルチクラス分類によって選択されるため、上記の知識蒸留手法が適用できる（単語レベル知識蒸留と呼ぶ)。

しかし、同様な効果を持ち、さらにシンプルな方

(a) 系列レベル知識蒸留 (b) 逆翻訳

図 1 知識蒸留と逆翻訳の手順

法として、教師の翻訳結果で疑似対訳を作成し、そ れを基に生徒モデルを訓練する方法も提案されてい る（系列レベル知識蒸留と呼ぶ）[2]。系列レベル知識蒸留は、データの加工のみで知識蒸留を実現し、 モデルや損失関数は既存の方式を使えるという利点 がある。機械翻訳で知識蒸留と言った場合、系列レ ベル知識蒸留を指すことが多い。

なお、知識蒸留の目的は、教師モデルの知識をで きる限り正確に生徒モデルに移すことであるので、一般的には生徒モデルが教師モデルの精度を超える ことはない1)。

## 2.2 逆翻訳との関係

基になる機械翻訳器を使って、疑似対訳を作成す るという点で、系列レベル知識蒸留 (以下、単に知識蒸留と呼ぶ）と、逆翻訳法 [6] は似ている（図 1)。最大の違いは、逆翻訳が目的言語を原言語に翻訳す ることで疑似対訳を生成するのに対して、知識蒸留 は原言語を目的言語に翻訳した疑似対訳を使う点で ある。疑似対訳を作成するデータについては、逆翻訳は対訳コーパスとは異なる単言語コーパスを用い ることを前提としているのに対して、知識蒸留は、使用するコーパスを規定していない。そのため、教

表 1 知識蒸留と逆翻訳の対比

師モデルの訓練に使用した対訳コーパスの原言語部分を使う場合も多い。

知識蒸留と逆翻訳の翻訳方向が逆であるという特徵は、人手作成した対訳コーパスの翻訳方向によっ て効果が変わってしまうという特徴にも繋がる。

文献 [3] では、人手翻訳の方向と逆翻訳の関係を 調べ、逆翻訳は目的言語が original（以下「原文」と 訳す）で、原言語が translationese（以下人手翻訳文 と訳す）の場合に BLEU が向上することを確認し た2)。もともと逆翻訳はデコーダーを強化するため に開発された手法なので、目的言語に自然な文を与 えると翻訳品質は向上する。逆に原言語はさまざま な入力に対応する必要があるので、多様性が求めら れる。そのため、疑似対訳作成時にサンプリング、 ノイズ混入、複数逆翻訳で多様性を増強させると、翻訳品質が向上する $[4,5]$ 。

一方、知識蒸留では、原言語が原文で、目的言語 が人手翻訳文の方が効果が高まる。これは、目的言語の翻訳文が均質（多様性が少ない）になるため、 デコーダーの学習効果が高まるためと考えられる。 また、知識蒸留は教師モデルの出力を模倣させるた め、教師モデルの品質が直接生徒モデルの品質に影響する。そのため教師モデルにはできるだけ高品質 なものを用いるのが望ましい。知識蒸留と逆翻訳の 対比を表 1 にまとめる。

## 2.3 高速化方法

本稿では、モデルの縮小（パラメーター削減）に よる高速化と、探索空間の縮小による高速化につい て検討する。

モデルを縮小するためには、(a) 深層モデルのレ イヤー数を削減する方法、(b) 分散表現の次元数を 削減する方法がある。

また、ニューラル機械翻訳に特有のパラメーター

2）彼らの実験では、原言語が原文で、目的言語が人手翻訳文 の場合は BLEU に対する効果は少なかった。しかし、主観評価では、翻訳方向に関わらず効果があった。削減方法としては、(c) 語彙サイズを縮小する方法 がある。語彙サイズを縮小すると、デコーダーの出力層の SoftMax 操作の計算量が削減され、高速化さ れる。近年、NMT ではサブワードを用いることが 一般的になっているが、これは語彙数を指定して分割するため、語彙数を制御することが可能である。本稿では、SentencePiece (unigram モデル) [7]によ るサブワード化で語彙を縮小する。

探索空間の削減は、(d) 翻訳時のビーム幅を縮小 することで高速化を行う。

## 3 実験

## 3.1 実験条件

言語対・コーパス 本稿では、日本語と英語の科学技術文献対訳コーパスである ASPEC-JE[8]を使用する。このコーパスは、約 300 万文の訓練セッ ト、1,812 文のテストセットなどで構成されている。 ASPEC は、日本語の文献を英語に翻訳したものな ので、日本語が原文で、英語が人手翻訳文である。

翻訳システム・環境 本稿では、fairseq 翻訳器 [9]を使用する。これは、PyTorch 上に作られた翻訳器で、Transformer [10]を含んでいる。テストに 使用したハードウェアは、Intel Xeon Gold 6150 CPU (2.7GHz)、NVIDIA V100 GPU (32GB) 1 個で、OS は CentOS 7.9 である。

教師モデル・知識蒸留 教師モデルは、ASPEC の 訓練セットをすべて使用して、ランダムシードを 変えた Transformer big モデル（6 層、モデル次元数 $1,024, \mathrm{FFN}$ 次元数 4,096）を 4 個作成した。なお、教師モデルの訓練時には、SentencePiece を用いて、日本語、英語それぞれ約 1.6 万のサブワードに分割 した。

知識蒸留には、ASPEC の訓練セットすべての原言語側を使用し、上記 4 モデルのアンサンブルで翻訳し、疑似対訳を作成した。
表 2 翻訳方向による知識蒸留の効果

生徒モデル今回使用する生徒モデルは、 Transformer base モデル（6 層、モデル次元数 512、 FFN 次元数 2,048）を基本にし、設定を以下のとお り可変にする。

(a)エンコーダー、デコーダーのレイヤー数をそれ ぞれ 1,2,4, 6 層にした場合。

(b)モデル次元数を $128,256,512,1024$ にした場合。 なお、FFN 次元数はモデル次元数の 4 倍とし、 ヘッド数は 64 次元固定とする。つまり、モデ ル次元数を変えるとへッド数が変わることに なる。

(c)語彙数を 4 千、 8 千、 1.6 万、 3.2 万、 6.4 万に した場合。2.3 節で述べたように、語彙数は SentencePiece によるサブワード化で制御する。

(d)生徒モデルとしては Transformer base モデルを 用いるが、テスト時のビーム幅を $1,2,3,5,7,10$, 20 と変えた場合。

なお本稿では、知識蒸留による疑似対訳を使用し た生徒モデルを知識蒸留モデル、ASPEC 訓練セッ トを直接使って作成したモデルを直接モデルと呼称 する。

評価指標 本稿では、翻訳品質の評価は case sensitive BLEU [11] で行う。これは Workshop on Asian Translation [12] の評価方法と同じである。

速度の評価は、 1 秒あたりの翻訳トークン数で行 う。これは、テストセットのトークン数を翻訳時間 （初期化を含まない）で割ったものである。

## 3.2 実験結果

## 3.2.1 日英翻訳 vs. 英日翻訳

まず、翻訳方向による知識蒸留の効果を確認する ため、日英翻訳 (original $\rightarrow$ translationese) と英日翻訳 (translationese $\rightarrow$ original) の翻訳品質を確認する。

結果を表 2 に示す。知識蒸留の効果は、日英では Base モデルで+2.03 あるのに対して、英日では+0.45 しかなく、知識蒸留は翻訳方向によって、効果に大 きな差があることがわかる。

なお、ASPEC データは、日英の対訳記事から自動で文アライメントを作成しているため、対訳文と

図 2 知識蒸留と直接モデルの比較 ((a)レイヤー削減)

図 3 知識蒸留と直接モデルの比較 ((d) ビーム幅)

して（そもそも単語が対応しない）不適切なデータ も含まれている。英日翻訳で BLEU が向上した理由 は、不適切な対訳文が新たに生成されることで対訳文の品質が向上したためと考えられる。

以下、知識蒸留の効果が大きい日英翻訳に限定し て、実験を行う。

## 3.2.2 知識蒸留モデル vs. 直接モデル

次に、知識蒸留の高速化への効果を確認するた め、(a)レイヤー削減、(d) ビーム幅変更について、直接モデルと知識蒸留モデルの翻訳品質と速度を比較する。

図 2 は (a)レイヤー削減について、直接モデルと 知識蒸留モデルを比較したグラフである。横軸が翻訳速度、縦軸が BLEU スコアを表している。ボック ス内の数字はそれそれエンコーダー、デコーダーの レイヤー数である。どちらのモデルも、レイヤー数 を削減するに伴い、翻訳速度が向上し、BLEU スコ アは低下する傾向がある。しかし、BLEU スコアに 着目すると、6レイヤーから1レイヤーに削減した 場合、直接モデルでは 4.63 低下したのに対して、知
表 3 エンコーダー・デコーダーのレイヤー数別の翻訳速度と翻訳品質

図4 モデル縮小方式ごとの翻訳速度と翻訳品質

識蒸留モデルでは 1.83 の低下で収まった。

一方、図 3 は、(d) ビーム幅について同様に比較し たグラフである。ボックス内の数字はビーム幅を表 す。このグラフでは、ビーム幅を狭くするのに伴い 翻訳速度が向上するが、BLEU スコアについては、 ビーム幅を 20 から 1 に変更した場合、直接モデル では 3.18 低下したのに対して、知識蒸留モデルでは 0.66 の低下にとどまった。

知識蒸留モデルは、目的言語の多様性を低減する 方式であるため、モデルパラメーターを少なくした り、探索空間を狭くしても、翻訳品質の劣化が少な い方式であると言える。

## 3.2.3高速化に適したモデル縮小法

本節では、(a) レイヤー削減、(b) 次元数の削減、 (c) 語彙サイズについて、知識蒸留と組み合わせた 場合の翻訳品質と速度を検証する。

知識蒸留モデルにおける翻訳速度と翻訳品質の 関係を図 4 に示す。各データポイントの詳細は省略 しているが、モデル縮小方式ごとの傾向は見てとれ る。これによると、まず、高速化を目標とした場合、 レイヤー削減による高速化が最も効果が大きく、次元削減による高速化の効果は限定的である。

また、語彙サイズに関しては、大きい場合に翻訳品質が低下する傾向が得られたが、これを小さくし ても速度は大きく向上しない。
レイヤー削減が高速化に高い効果がある傾向が得 られたため、次に、これを詳細に分析する。表 3 は、 エンコーダーとデコーダーのレイヤー数を独立に変更したときの翻訳品質と速度の測定結果である。

まず、BLEUスコアに着目すると、エンコーダー・ デコーダーともに 6 層の条件から、エンコーダーの み 1 層に減らした場合、デコーダーのみ 1 層に減ら した場合、それぞれ 29.21、29.28であるので、どち らを減らしても翻訳品質への影響は少ない。

一方、翻訳速度に着目すると、エンコーダーのレ イヤー数を変更しても、速度への影響は少ない。逆 にデコーダーのレイヤー数を削減すると、翻訳速度を速くすることができる。これは、Transformer の エンコーダーは 1 ステップですべての入力トーク ンを処理するのに対して、デコーダーは自己回帰型 (autoregressive) 方式で、1トークンずつ生成する ためである。まとめると、レイヤー数を削減する場合、デコーダーを優先する方が高速化効果が高い。

## 4 まとめ

知識蒸留は、目的言語の多様性を削減するため、翻訳品質をあまり落とさずに高速化ができる。本稿 で確認した知見は以下のとおりである。
- 知識蒸留は、翻訳方向が原文 $\rightarrow$ 人手翻訳文 （ASPEC の場合、日英翻訳）のときに効果が大 きい。

・知識蒸留を行うことで、翻訳品質の低下を抑え て高速化することができる。

・モデルの縮小方式には、レイヤー数削減が高速化に効果的である。

・レイヤー数を削減する場合、エンコーダーより デコーダーを削減した方が効率的に高速化が可能である。

この検討結果を踏まえて、NMT を構築してゆく。

## 参考文献

[1] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network, 2015.

[2] Yoon Kim and Alexander M. Rush. Sequence-level knowl-
edge distillation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1317-1327, Austin, Texas, November 2016.

[3] Sergey Edunov, Myle Ott, Marc'Aurelio Ranzato, and Michael Auli. On the evaluation of machine translation SystemsTrained with back-translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2836-2846, Online, July 2020.

[4] Kenji Imamura, Atsushi Fujita, and Eiichiro Sumita. Enhancement of encoder and attention using target monolingual corpora in neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 55-63, 2018.

[5] Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, 2018.

[6] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[7] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018.

[8] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, Philadelphia, Pennsylvania, USA, 2002.

[12] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 7th workshop on Asian translation. In Proceedings of the 7th Workshop on Asian Translation, pp. 1-44, Suzhou, China, December 2020.


# Altering Parallel Data into User-Generated Texts with Zero-Shot Neural Machine Translation

Benjamin Marie Atsushi Fujita
National Institute of Information and Communications Technology
\{bmarie, atsushi.fujita\}@nict.go.jp

## 1 Introduction

Neural machine translation (NMT) requires large parallel data for training. However, even when trained on large clean parallel data, NMT generates translations of very poor quality when translating out-of-domain or noisy texts. For instance, Michel and Neubig [1] empirically showed that NMT systems trained on clean parallel data poorly perform at translating user-generated texts (UGT) from a social media. UGT can be from various domains and manifest various forms of natural noise which are characteristics of their style. In this paper, we posit that the NMT system should preserve the style during the translation.

A major difficulty in training NMT for UGT is that we do not usually have bilingual parallel data of UGT created by professional translators to train or adapt an NMT system. Nevertheless, previous work on NMT for UGT merely focused on scenarios for which we have UGT parallel data, such as the MTNT dataset [1].

In this work, we do not assume the availability of parallel data of UGT. We propose to synthesize parallel data of UGT from monolingual data, through a zero-shot NMT system, to train better NMT systems for UGT.

## 2 Zero-Shot NMT for Synthesizing Parallel Data

## 2.1 Objective and Prerequisites

Let $\mathrm{L} 1$ and $\mathrm{L} 2$ be two languages for clean texts and R1 and R2 for the same languages, respectively, but for UGT. The data prerequisites for our NMT system described in Section 2.2 are as follows:
- P P1-L2 parallel data of clean and formal texts that are usually used for training NMT,
- $\mathrm{M}_{\mathrm{L} 1}$ and $\mathrm{M}_{\mathrm{L} 2}$ monolingual data from any domains, and
- $\mathrm{M}_{\mathrm{R} 1}$ and $\mathrm{M}_{\mathrm{R} 2}$ monolingual data of UGT.

$\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}, \mathrm{M}_{\mathrm{L} 1}$, and $\mathrm{M}_{\mathrm{L} 2}$, parallel and monolingual data, are usually used to build state-of-the-art NMT systems. $\mathrm{M}_{\mathrm{R}}$ and $M_{R 2}$ monolingual data are for UGT, which can be obtained for instance by crawling social media.

Our objective is to synthesize parallel data of UGT, which we henceforth denote $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$. To this end, we propose to alter a clean parallel data $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ into $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$. We alter the $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ parallel data by performing $\mathrm{L} 1 \rightarrow \mathrm{R} 2$ and $\mathrm{L} 2 \rightarrow \mathrm{R} 1$ translations.

Note that $\mathrm{L} 1 \rightarrow \mathrm{R} 2$ and $\mathrm{L} 2 \rightarrow \mathrm{R} 1$ are both zero-shot translation tasks, since we do not assume any $\mathrm{P}_{\mathrm{L} 1-\mathrm{R} 2}$ or $\mathrm{P}_{\mathrm{L} 2-\mathrm{R} 1}$ parallel data, nor any parallel data using a pivot language.

## 2.2 Zero-Shot NMT

To synthesize parallel data of UGT, i.e., $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$, we build only one multilingual and multidirectional NMT system (see Figure 1). Inspired by previous work in unsupervised NMT [2], we first pre-train a cross-lingual language model to initialize the NMT system. We use the XLM approach [2] trained with the combination of the following two different objectives:

Masked Language Model (MLM): MLM has a similar objective to BERT [3] but uses text streams for training instead of pairs of sentences. We optimize the MLM objective on the $\mathrm{M}_{\mathrm{L} 1}, \mathrm{M}_{\mathrm{L} 2}, \mathrm{M}_{\mathrm{R} 1}$, and $\mathrm{M}_{\mathrm{R} 2}$ monolingual data.

Translation Language Model (TLM): TLM is an extension of MLM where parallel data are leveraged so that we can rely on context in two different languages to predict masked words. We optimize the TLM objective on $\mathrm{P}_{\text {L1-L2 }}$ parallel data, alternatively exploiting both translation directions.

The XLM approach alternates between MLM and TLM objectives to train a single XLM model. We then train

Figure 1 Our zero-shot NMT framework.

an NMT model, initializing its encoder and decoder embeddings with those of the pre-trained XLM model, and exploiting unsupervised NMT objectives [4] to which we associate a supervised NMT objective as follows:

Auto-encoder (AE) objectives: Using a noise model that drops and swaps words, the objective is to reconstruct the original sentences. We use AE objectives for L1, L2, R1, and R2.

Back-translation (BT) objectives: For training translation directions for which we do not have parallel data, a round-trip translation is performed during training in which a sentence $s$ from monolingual data is translated, and its translation back-translated, with the objective of generating $s$. We use the BT objectives corresponding to our targeted zero-shot translation directions: $\mathrm{L} 1 \rightarrow \mathrm{R} 2 \rightarrow \mathrm{L} 1, \mathrm{R} 2 \rightarrow \mathrm{L} 1 \rightarrow \mathrm{R} 2, \mathrm{~L} 2 \rightarrow \mathrm{R} 1 \rightarrow \mathrm{L} 2$, and $\mathrm{R} 1 \rightarrow \mathrm{L} 2 \rightarrow \mathrm{R} 1$.

Machine translation (MT) objectives: We use this objective for $\mathrm{L} 1 \rightarrow \mathrm{L} 2$ and $\mathrm{L} 2 \rightarrow \mathrm{L} 1$, for which we have parallel data.

$\mathrm{AE}$ and BT are unsupervised NMT objectives used to train our zero-shot translation directions. We also use MT objectives for the necessary supervision.

## 3 Parallel Data Alteration

As illustrated in Figure 2, given $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$, we perform $\mathrm{L} 1 \rightarrow \mathrm{R} 2$ and $\mathrm{L} 2 \rightarrow \mathrm{R} 1$ translation for each of $\mathrm{L} 1$ and $\mathrm{L} 2$ sentences, respectively, to obtain a synthetic R1-R2 version, i.e., $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$, of the original $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$. The resulting

Figure 2 Alteration of $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ parallel data to synthesize $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ parallel data.

$\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ can be too noisy to be used to train NMT. To filter $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$, we evaluate the similarity between original $\mathrm{L} 1$ and L2 sentences with their respective R1 and R2 versions using sentence-level BLEU [5] (sBLEU). Given a sentence pair in $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$, if either $\mathrm{SBLEU}$ of $\mathrm{L} 1$ with respect to $\mathrm{R} 1$ or sBLEU of L2 with respect to R2 is below a pre-determined threshold $T$, we filter out the sentence pair.

## 4 Experiments

## 4.1 Data

We conducted experiments for two language pairs, English-French (en-fr) and English-Japanese (en-ja), with the MTNT translation tasks [1]. The test sets were made from posts extracted from an online discussion website, Reddit.

For parallel data, we did not use any of the Reddit parallel data of the MTNT. To make our settings comparable with previous work, we used only the clean parallel data in MTNT as $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ data for training and validating our NMT systems. For the en-fr pair, $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ data contain 2.2M sentences pairs consisting of the news-commentary (news commentaries) and Europarl (parliamentary debates) corpora provided by WMT15 [6]. For the en-ja pair, $\mathrm{P}_{\text {L1-L2 }}$ data consist of the KFTT (Wikipedia articles), TED (transcripts of online conference talks), and JESC (subtitles) corpora giving in a total of $3.9 \mathrm{M}$ sentence pairs. All $\mathrm{P}_{\mathrm{L1-L} 2}$ parallel data can be considered rather clean and/or formal in contrast to Reddit data.

As monolingual data, $\mathrm{M}_{\mathrm{L} 1}$ and $\mathrm{M}_{\mathrm{L} 2}$, we used the entire News Crawl provided for $\mathrm{WMT}^{1)}$ for Japanese, $3.4 \mathrm{M}$ lines, and a sample of $25 \mathrm{M}$ lines for English and French. As $M_{R 1}$ and $M_{R 2}$, we crawled data using the Reddit API. For English and French, we tokenized and truecased all the data with the Moses tokenizer. As for Japanese, we only tokenized the data with MeCab. ${ }^{2)}$

For English, we selected the noisiest part of Reddit, $25 \mathrm{M}$ sentences, similarly to [1] when they built the MTNT dataset. Since there are significantly less Japanese and French Reddit data, $0.8 \mathrm{M}$ and $1.2 \mathrm{M}$ sentences, respectively, we used all the French and Japanese sentences.

For validation, we used the $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ validation data from the MTNT dataset. For evaluation, we used SacreBLEU [7].3) We tested the significance of our results via bootstrap re-sampling and approximate randomization with MultEval [8].4)

## 4.2 Baselines Systems

We evaluated vanilla NMT systems and other baseline systems exploiting tagged back-translation (TBT) and synthetic noise generation (SNI), using the Transformer [9] implementation in Marian [10] with standard hyperparameters for all the NMT systems.

We generated back-translations from Reddit monolingual data and News Crawl, tagged [11] and concatenated them to the original $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ parallel data, and trained a new NMT system from scratch. In all experiments, we used as much monolingual sentences as in the $\mathrm{P}_{\text {L1-L2 }}$ parallel, or all of the Reddit data for French and Japanese since we do not have enough Reddit data to match the size of $\mathrm{P}_{\text {L1-L2 }}$.

We also evaluated the methods proposed by [12] for SNI, since it does not require any manually produced $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}$. We applied their method to $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ using their scripts ${ }^{5}$ to create a noisy version of parallel data, i.e., $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$. In addition to the use of the resulting $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ data for fine-tuning as in [12], we also evaluated NMT systems trained from scratch on the concatenation of the $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ and $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$.

1) http://www.statmt.org/wmt20/translation-task.html

2) https://taku910.github.io/mecab/

3) The sacreBLEU signatures, where $x x$ is among \{en,fr,ja $\}$ are as follows: BLEU+case.mixed+lang.xxxx+numrefs. 1 +smooth.exp+test.mtnt1.1/test+tok.13a+version.1.4.2; chrF2+case.mixed+lang.en-ja+numchars.6+numrefs. 1 +space.False+test.mtnt1.1/test+version.1.4.2

4) https://github.com/jhclark/multeval

5) https://github.com/MysteryVaibhav/robust_mtnt
Table 1 Results for the MTNT test sets. TBT systems were trained on back-translations of News Crawl or Reddit monolingual data. " + " indicates that the synthesized parallel data were concatenated to the original $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ parallel data. "FT" denotes the fine-tuning of the vanilla NMT system. "*" denotes systems significantly better $(p<0.05)$ than the vanilla NMT system.

Table 1 reports on the results. Back-translations of Reddit were mostly useful but dramatically failed for $\mathrm{ja} \rightarrow$ en potentially due to the very low quality of the back-translations generated by the en $\rightarrow$ ja vanilla NMT system. Using backtranslations of News Crawl is more helpful especially for $\mathrm{fr} \rightarrow \mathrm{en}$ and $\mathrm{ja} \rightarrow \mathrm{en}$. Fine-tuning our vanilla NMT system on SNI improves translation quality for all the tasks, except en $\rightarrow \mathrm{ja}$. Using the $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ synthetic parallel data concatenated to the original $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}^{\mathrm{S}}$ leads to lower BLEU scores than fine-tuning, except for $\mathrm{ja} \rightarrow \mathrm{en}$.

## 4.3 System Settings for our Approach

To train XLM, we used the data presented in Section 4.1 on which we applied the same BPE segmentation used by our vanilla NMT systems. For the MLM objectives, we used the News Crawl corpora as $\mathrm{M}_{\mathrm{L} 1}$ and $\mathrm{M}_{\mathrm{L} 2}$ and the Reddit corpora as $M_{R 1}$ and $M_{R 2}$ monolingual data. For the TLM objectives, we used the parallel data used to train our vanilla NMT system as $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ parallel data. We used the publicly available XLM framework ${ }^{6}$ ) with the standard hyper-parameters proposed for unsupervised NMT. We used text streams of 256 tokens and a mini-batch size of 64. The Adam optimizer [13] with a linear warmup [9] was used. During training, the model was evaluated every $200 \mathrm{k}$ sentences on the MTNT validation parallel data for TLM and the monolingual validation data of MTNT for MLM. The training was stopped when the averaged perplexity of MLM and TLM had not been improved for 10 consecutive times.

We initialized our zero-shot NMT with XLM and trained

6) https://github.com/facebookresearch/XLM. The only difference is that we used our data in different languages, which is also used to train our own BPE vocabulary.

Figure 3 Examples of English sentences from the Europarl and News Commentary corpora (L1) altered by our approach (R1). Bold indicates the alterations that we want to highlight for each example. We have manually masked a profanity in En4 with “*******”.

Table 2 Results for the MTNT test sets using $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ synthesized by our approach. "zero-shot NMT" is the NMT system used for synthesizing $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$. "FT on $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ " are configurations for which we sampled 100k sentence pairs from $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ to fine-tune the vanilla NMT system. The last row is given for reference: the vanilla NMT system fined-tuned on the official MTNT training parallel data. "*" denotes systems significantly better $(p<0.05)$ than the FT on SNI system.

} \\

With the Reddit training parallel data from MTNT $\begin{array}{lllll}\text { FT on MTNT } & 29.0^{*} & 27.5^{*} & 9.9^{*} & 0.192^{*}\end{array}$

it with the AE, BT, and MT objectives presented in Section 2.2, all having the same weights, using the same hyper-parameters as XLM. We evaluated the model every 200k sentences on the MTNT validation parallel data and stopped training when the averaged BLEU of $\mathrm{L} 1 \rightarrow \mathrm{L} 2$ and $\mathrm{L} 2 \rightarrow \mathrm{L} 1$ had not been improved for 10 consecutive times.

Finally, we synthesized $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ data with our approach using this system, and filtered them with $T=0.5$ for en-fr and $T=0.25$ for en-ja, respectively, resulting 196,788 and 301,519 sentence pairs. Then, we trained our final NMT models on the resulting $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$.

## 4.4 Results

The results of our models are presented in Table 2. First, we checked the performance of our zero-shot NMT system. Whereas for fr $\leftrightarrow$ en, it was comparable with the vanilla NMT system, for ja $\leftrightarrow$ en, it performed much worse than the vanilla NMT model as expected. This is due to the use of unsupervised MT objectives that were shown to be very difficult to optimize for distant and difficult language pairs [14] with almost no shared entries in the respective vocabulary of the two languages.

Fine-tuning on $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ brings larger improvements than doing so on SNI, except for $\mathrm{fr} \rightarrow \mathrm{en}$. Despite the small size of the $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$, concatenating it with $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ achieves the best BLEU with up to 3.0 BLEU points of improvements. We conclude that our approach successfully alters $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ into $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ useful data to train NMT for UGT.

## 5 Example of Clean Sentences Altered into UGT

For a more concrete illustration of our synthetic data, we present in Figure 3 four English example sentences altered by our approach. These examples are all instances of a successful alteration of clean texts into UGT. En1 introduces an English contraction "we're" that is a characteristic of less formal English. En2 and En3 show spelling errors that may guide the system to make itself more robust. En4 introduces an instance of Internet slang with a profanity. We also observed many instances of person names written with Reddit syntax for referring to a Reddit user account by prepending "/u/," e.g., "Berlusconi" becomes "/u/Berlusconi." All these examples are evidences that our approach successfully generates UGT in the style of Reddit.

## 6 Conclusion

We described our method for synthesizing parallel data to train better NMT systems for UGT. We successfully altered clean parallel data into parallel data that exhibit the characteristics of UGT of the targeted style. We showed that it improves translation quality for UGT.

Acknowledgments: This work was partly supported by JSPS KAKENHI grant numbers 20K19879 and 19 H05660.

## References

[1] Paul Michel and Graham Neubig. MTNT: A testbed for machine translation of noisy text. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 543-553, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[2] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In Proceedings of Advances in Neural Information Processing Systems 32, pp. 70577067, Vancouver, Canada, 2019. Curran Associates, Inc.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, USA, June 2019. Association for Computational Linguistics.

[4] Guillaume Lample, Myle Ott, Alexis Conneau, Ludovic Denoyer, and Marc' Aurelio Ranzato. Phrase-based \& neural unsupervised machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5039-5049, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[5] Chin-Yew Lin and Franz Josef Och. ORANGE: A method for evaluating automatic evaluation metrics for machine translation. In Proceedings of the 20th International Conference on Computational Linguistics, pp. 501-507, Geneva, Switzerland, aug 23-aug 272004.

[6] Ondřej Bojar, Rajen Chatterjee, Christian Federmann, Barry Haddow, Matthias Huck, Chris Hokamp, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Matt Post, Carolina Scarton, Lucia Specia, and Marco Turchi. Findings of the 2015 workshop on statistical machine translation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 1-46, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[7] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[8] Jonathan H. Clark, Chris Dyer, Alon Lavie, and Noah A. Smith. Better hypothesis testing for statistical machine translation: Controlling for optimizer instability. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 176-181, Portland, USA, June 2011. Association for Computational Linguistics.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of Advances in Neural Information Processing Systems 30, pp. 5998-6008, Long Beach, USA, 2017. Cur- ran Associates, Inc.

[10] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Tomasz Dwojak, Hieu Hoang, Kenneth Heafield, Tom Neckermann, Frank Seide, Ulrich Germann, Alham Fikri Aji, Nikolay Bogoychev, André F. T. Martins, and Alexandra Birch. Marian: Fast neural machine translation in C++. In Proceedings of ACL 2018, System Demonstrations, pp. 116-121, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Isaac Caswell, Ciprian Chelba, and David Grangier. Tagged back-translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 53-63, Florence, Italy, August 2019. Association for Computational Linguistics.

[12] Vaibhav Vaibhav, Sumeet Singh, Craig Stewart, and Graham Neubig. Improving robustness of machine translation with synthetic noise. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1916-1920, Minneapolis, USA, June 2019. Association for Computational Linguistics.

[13] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, Vol. abs/1412.6980, , 2014.

[14] Benjamin Marie, Haipeng Sun, Rui Wang, Kehai Chen, Atsushi Fujita, Masao Utiyama, and Eiichiro Sumita. NICT’s unsupervised neural and statistical machine translation systems for the WMT19 news translation task. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 294-301, Florence, Italy, August 2019. Association for Computational Linguistics.


# 逆順デコーダを用いた係り受け構造に基づく Transformer ニュー ラル機械翻訳

佐々木 拓馬 ${ }^{1}$, 田村 晃裕 ${ }^{1}$, 出口 祥之 ${ }^{2}$, 二宮 崇 ${ }^{2}$, 加藤 恒夫 ${ }^{1}$
1 同志社大学 理工学部, 2 愛媛大学 大学院理工学研究科
${ }^{1}$ \{cgub0052@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp
2 \{deguchi@ai., ninomiya@\}cs.ehime-u.ac.jp

## 1 はじめに

自然言語処理の分野において機械翻訳は古く から盛んに研究されており，近年では，ニューラ ルネットワークを用いた機械翻訳（Neural Machine Translation; NMT）が主流となっている. NMT の中 でも，特に，文内の単語間の関連の強さを捉える self-attention を備えた Transformer NMT [7] が，NMT 初期に広く使われていた RNN や CNN ベースの NMT の翻訳精度を上回り，現在注目を集めている。

これまで，統計的機械翻訳や NMT では，文構造 （句構造や係り受け構造など）を考慮することで翻訳精度が改善されている. Transformer NMT におい ても例外ではなく, 原言語文や目的言語文の文構造を活用することで，その翻訳精度が向上するこ とが報告されている $[1,3,6,9,10,11,13]$. 出口ら [13] は, self-attention の一部に対して, 係り先の単語に注意が向くような制約を与えて学習すること で，文の係り受け構造を捉える self-attention（以降， dependency-based self-attention（DBSA）と呼ぶ）を提案し，Transformer NMT のエンコーダとデコーダで DBSA を使うことで，翻訳時に原言語文と目的言語文の係り受け構造を考慮して翻訳を行うモデルを提案した. そして, Asian Scientific Paper Excerpt Corpus (ASPEC) [5] の日英, 英日翻訳において翻訳精度の 改善を確認している。

通常の Transformer NMT では，デコーダの selfattention を学習する際，推論時には生成していない 単語に対する関連を算出しないように自身より後方 の単語をマスクする. 出口らのモデルにおいても, デコーダの DBSA が未生成の単語に対して注意を向 けないように，自身より後方の単語に係る係り受け 関係はマスクして学習される. そのため, デコーダ の DBSA は後方に向かう係り受け関係は活用できな
い。一方，言語によっては，後方に向かう係り受け 関係が多く生じる。例えば日本語では，通常，係り 先は自分の文節より後方の文節になる。そのような 言語が目的言語の場合，デコーダの DBSA の効果が 十分に得られないと考えられる。文献 [13] におい て，日英翻訳では提案モデルにより BLEUが 1.04 ポ イント向上したが，英日翻訳では 0.30 ポイントの向上にとどまっていることもこれを裏付けていると考 えられる。

そこで本研究では，ほとんどの係り受け関係に おいて係り先が自身より後方になる日本語が目的言語となる翻訳を想定し，目的言語文（日本語文） の文構造を self-attention で効果的に捉えるための Transformer NMT モデルを提案する。具体的には， DBSA に基づくモデル [13] のデコーダにおいて，目的言語文を文頭単語から順に生成するのではなく,文末単語から順に通常の逆順で生成する。この逆順 デコーダにより，自身より後方の単語に係る係り受 け関係に対して，係り先の単語は係り元の単語より 先に生成されるため，マスクされることなくデコー ダの DBSA で捉えることが可能となる。

ASPEC の英日翻訳実験において提案モデルと従来の出口らのモデル [13] を比較した結果, 目的言語文を逆順で生成することにより，DBSA に基づく Transformer NMT の性能が，学習データが 10 万文対 の場合は BLEU で 0.74 ポイント， 100 万文対の場合 は 0.11 ポイント改善することを確認した.

## 2 従来モデル:DBSAに基づくTransformer NMT

本節では，提案モデルの基礎となる DBSA に基 づく Transformer NMT [13] を概説する。概要図を 図 1 に示す. DBSA に基づくモデルは，Transformer NMT [7] のエンコーダとデコーダに，係り受け関係

図 1 DBSA に基づくTransformer NMT [13] の概要図

を一部のヘッドで捉える multi-head self-attention で ある DBSA を導入し，原言語文と目的言語文の係り 受け構造を考慮した翻訳を行う，図 1 では，DBSA が $p_{\text {enc }}$ 層目のエンコーダと $p_{d e c}$ 層目のデコーダに 組み込まれている.

DBSA に基づくモデルの学習では，次式の目的関数 $\mathscr{L}$ 最小化することで，翻訳と係り受け解析を 同時に学習する.

$
\mathscr{L}=\mathscr{L}_{\text {trans }}+\lambda_{\text {enc }} \mathscr{L}_{\text {encdep }}+\lambda_{\text {dec }} \mathscr{L}_{\text {decdep }}
$

ここで, $\lambda_{\text {enc }}>0$ と $\lambda_{\text {dec }}>0$ はハイパーパラメー タである. $\mathscr{L}_{\text {trans }}$ は翻訳に関する誤差であり，ラ ベル平滑化交差エントロピーにより算出する。ま た, $\mathscr{L}_{\text {encdep }}$ と $\mathscr{L}_{\text {decdep }}$ はそれぞれエンコーダ側と デコーダ側の DBSA で捉える係り受け解析に関する 誤差であり，交差エントロピーによって算出する。 ただし， $\mathscr{L}_{\text {decdep }}$ を算出する際は，推論時には予測 していない単語に注意を向けないようにするため,自身より後方の単語への係り受け関係はマスクさ れる。

## 2.1 Transformer NMT

Transformer NMT は，入力文を中間表現に変換す るエンコーダと中間表現から出力文を生成するデ コーダを組み合わせたエンコーダ・デコーダモデル である. エンコーダやデコーダの入力は, 入力単語 の埋め込み表現に，入力単語の文における位置情報 をエンコードした位置エンコーディングを加えた
ものである．エンコーダとデコーダでは，それぞれ エンコーダレイヤとデコーダレイヤが複数層積み 重ねられている。エンコーダレイヤは，入力側から 順に, self-attention, 位置毎のフィードフォーワード ネットワークの 2 つのサブレイヤで構成されてい る. デコーダレイヤはエンコーダレイヤのサブレ イヤに，原言語文と目的言語文間の encoder-decoder attention を加えた 3 つのサブレイヤで構成されてい る. 各サブレイヤ間では，残差接続を行った後，層正規化が適用される.

self-attention 及び encoder-decoder attention は multihead attention により実現される. multi-head attention は, 単語間の関連の強さを捉える機構であり, 単語の 埋め込み次元 $(d$ 次元 $)$ を $n_{\text {head }}$ 個の $d_{\text {head }}\left(=d / n_{\text {head }}\right)$次元の部分空間に射影し，部分空間毎に attention の計算を行う．各部分空間をへッドと呼ぶ. $h$ 番目のヘッドでは， $h$ 番目の部分空間に射影された multi-head attention の入力 $Q_{h}, K_{h}, V_{h}$ に基づき，次式 の演算により，単語間の関連の強さを重みとする重 み付き和表現 $M_{h}$ を得る。

$
\begin{array}{r}
A_{h}=\operatorname{softmax}\left(d_{\text {head }}^{-0.5} Q_{h} K_{h}^{T}\right) \\
M_{h}=A_{h} V_{h}
\end{array}
$

ここで， $A_{h}$ が単語間の関連の強さを表す行列であ る. ただし，デコーダの self-attention を学習する際 は，推論時には予測していない単語との関連を求め ないように, $Q_{h}$ の各単語に対する後方の単語を表す $K_{h}$ の各成分をマスクしてから $A_{h}$ を求める. 全へッ ドの計算が終わったら，それらの出力 $M_{1, \ldots, n_{\text {head }}}$ を 結合し，単語の埋め込み次元に線形変換した以下の $M$ が， multi-head attention の出力となる.

$
M=W^{M}\left[M_{1} ; M_{2} ; \ldots ; M_{n_{\text {head }}}\right]
$

ここで， $W^{M} \in \mathbb{R}^{d \times d}$ はパラメータ行列である.

目的言語文は，デコーダの最終層の出力を単語の 語彙数次元に線形変換した後，ソフトマックス関数 をかけることで得られる単語出力確率分布に基づき 生成する。

## 2.2 DBSA

DBSA は， multi-head attention の一部のヘッドにお いて, Deep Biaffine parser [2] の要領で係り受け関係 を捉える。具体的には，係り受け関係を捉えるへッ ドの入力を $Q_{d e p}, K_{d e p}, V_{d e p}$ とすると，まず次式 の通り，bi-affine 変換によって単語間の係り受け関
係を示す行列 $A_{\text {dep }}$ を求める.

$
A_{d e p}=\operatorname{softmax}\left(Q_{d e p} U^{(1)} K_{d e p}^{\top}+Q_{d e p} U^{(2)}\right)
$

ここで, $U^{(1)} \in \mathbb{R}^{d_{\text {head }} \times d_{\text {head }}}, U^{(2)}=\overbrace{(\mathbf{u} \ldots \mathbf{u})}^{n}, \mathbf{u} \in$ $\mathbb{R}^{d_{\text {head }}}$ はパラメータ行列である. また, $A_{d e p}$ の要素 $A_{d e p}[v, w]$ は, 単語 $w$ が単語 $v$ の係り先である確率を示している. その後, $A_{d e p}$ と $V_{d e p}$ をかけ合わ せることで単語間の係り受け関係の強さを重みとす る重み付き和表現 $M_{d e p}$ を得る.

$
M_{d e p}=A_{d e p} V_{d e p}
$

multi-head self-attention において，ある 1 つのへッド を $M_{d e p}$, 残りを通常のヘッドとしたものが DBSA である. つまり， $M_{\text {dep }}$ と $n_{\text {head }}-1$ 個の通常のへッ ド $\left(M_{2, \ldots, n_{\text {head }}}\right)$ を結合し, 単語の埋め込み次元に線形変換した以下の $M^{(p)}$ が，DBSA の出力である.

$
M^{(p)}=W^{M^{(p)}}\left[M_{\text {dep }} ; M_{2} ; \ldots ; M_{n_{\text {head }}}\right]
$

ここで, $W^{M^{(p)}} \in \mathbb{R}^{d \times d}$ はパラメータ行列である.

DBSA はサブワード列に適用できるように拡張さ れている. サブワード単位の DBSA は，まず，単語単位の係り受け構造をサブワード単位の係り受け構造に変換する. 具体的には，1つの単語が複数のサ ブワードを含む場合，右端以外の各サブワードの係 り先は隣接する右側のサブワードとし，右端のサブ ワードの係り先は元の単語の係り先1)とする. その 後, 変換したサブワード単位の係り受け構造に対し て DBSA を適用することで，サブワード列に対して DBSA に基づくモデルが適用できる.

## 3 提案モデル：逆順デコーダを用い た DBSA に基づく Transformer NMT

2 節で述べた通り，従来の DBSA に基づくモデル は，デコーダの DBSA を学習する際，自身より後方 の単語に係る係り受け関係はマスクされるため, 目的言語文内の後方への係り受け関係を捉えることが できない。一方で，日本語は自分より後方の文節に 係るという特徴があるため, 日本語が目的言語であ る場合，従来モデルでは日本語文の係り受け関係を ほとんど活用できない.

そこで提案モデルでは，目的言語文を文末から文頭に向かって生成する逆順デコーダを導入すること で前記問題点を解決する．具体的には，提案モデル

1）係り先の単語が複数のサブワードを含む場合，左端のサブ ワードを係り先とする。

(a) 目的言語文とその係り受け構造

(b) 従来モデルのDBSA

(c) 提案モデルのDBSA

図 2 従来モデルと提案モデルのデコーダ側の DBSA の例

を学習する際の目的言語文として，対訳データの目的言語文を逆順に並べ替えた文を用いる。これによ り，元の文では自身より後方にあった係り先が並び 替え後は前方に位置することになり，その係り先へ の係り受け関係がマスクされずに学習できる. そし て推論時には，学習した逆順デコーダを用いて，目的言語文を文末から文頭に向かって生成する.これ により，元の文では後方に向かう係り受け関係を捉 えながら翻訳を行うことが可能となる。そして最後 に，逆順デコーダで生成した逆順の目的言語文を逆 から並べ変えた文を翻訳文として出力する。こうす ることで，自分より後方に係るという特徴を持つ日本語を目的言語とする翻訳において，提案モデルは 日本語文の係り受け構造を活用でき，翻訳精度の向上が期待できる.

図 2 に従来モデルと提案モデルのデコーダ側の DBSA の例を示す. 例文は ASPEC の日本語文の実例である. 図 2 において，斜線のセルはマスクされ る要素，黒いセルは係り先を表す。つまり，学習時 には，係り受け関係を捉えるへッドは黒いセルの確率が 1 に近づくように学習される. 図より, 従来モ デルでは，ほとんどの係り受け関係がマスクされて 考慮されないことが分かる. これは日本語の係り受 け関係が文頭に近い方から文末に近い方に係る特徴 があるためである．また，従来モデルをサブワード
列に適用する際，単語内の各サブワードは，右端の サブワードを除き，右隣に係るように係り受け構造 の変換が行われる（2.2 節参照）ため，単語内のサブ ワード間の係り受け関係も考慮されない。一方で，提案モデルのデコーダでは，目的言語文を逆順にし て扱うため，全ての係り受け関係がマスクされずに 考慮できていることがわかる.

## 4 実験

## 4.1 実験設定

提案モデルの有効性を確かめるため, ASPEC の日英翻訳タスクにおいて，提案モデルを従来の DBSA に基づくモデル [13] と比較する. それぞれのモデ ルを「DBSA (逆順)」,「DBSA (正順)」と表記する. また，係り受け構造を活用しない Transformer NMT に対しても，逆順デコーダの有効性を確認するた め, Transformer NMT モデル [7] とその Transformer NMT において目的言語文を逆順で扱うモデルの 性能も評価する。それぞれのモデルを「Transformer (正順)」,「Transformer（逆順）」と表記する. データ セットは ASPEC[5] の日英対訳コーパスを使用した.学習データは train-1.txt から抽出した上位 10 万文対 と, train-1.txt と train-2.txt から抽出した上位 150 万文対の 2 種類を用いた. 英語の単語分割には Moses Tokenizer，日本語文の単語分割には KyTea を用い た. また，各文は BPEによりサブワードに分割し た. 原言語側と目的言語側で独立に BPE モデルを 学習し, それぞれの語彙数は 16,000 トークンとし た. 英語文の係り受け解析には Stanza, 日本語文の 係り受け解析には EDAを用いた. 従来モデル及び 提案モデルの設定は, 基本的には文献 [13] に従っ た. 文献 [13] の設定からの変更点は, DBSAを組み 込む層を $p_{e n c}=3, p_{d e c}=3$ とし, ミニバッチの大きさ を 100 文，エポック数を学習データが 10 万文対の時 は 50 エポック，150万文対の時は 20 エポックとし た点である. また，ハイパーパラメータ $\lambda_{e n c}, \lambda_{d e c}$ は，0.05,0.1，0.5，1.0を試し，開発データで最も良 い性能であった值を評価時に採用した。

## 4.2 実験結果

表 1 に実験結果を示す。翻訳性能は BLEUにより 評価した. 表 1 より，学習データが 10 万文対と 150 万文対の両方の場合において，DBSA（正順）より 提案モデルである DBSA（逆順）の方が翻訳精度が表 1 実験結果

高いことが分かる. 具体的には，DBSA（逆順）は DBSA（正順）と比べて，学習データが 10 万文対の 場合は BLEUで 0.74 ポイント，学習データが 150 万文対の場合は 0.14 ポイント翻訳性能が高い。これ より，逆順デコーダを用いることで，DBSAに基づ く Transformer NMT の英日翻訳性能が改善でき，提案手法が英日翻訳において有効であることを確認 した.

また，係り受け構造を活用しない Transformer NMT においても，逆順デコーダを用いることで，学習データが 10 万文対の場合は BLEU が 0.53 上が り, 150 万文対の場合は BLEU が 0.24 上がっている ことが分かる. これは, 文献 [8] などで報告されて いる通り, Transformer の self-attention の一部では係 り受け関係などの文構造を捉えている可能性があ り，係り受け構造を教師信号として与えなくても，逆順デコーダを用いることで潜在的に係り受け関係 に近い構造を self-attention で捉えることが可能にな り，DBSA に基づくTransformer モデルと同様の効果 が表れたのではないかと思われる.

## 5 おわりに

本研究では，係り先が自身より後方になる特徵を 持つ日本語が目的言語の場合の翻訳精度を改善す るため，DBSA に基づく Transformer NMT において 目的言語文を逆順で生成する逆順デコーダを活用 する手法を提案した．ASPEC の英日翻訳タスクの 評価実験を通じて，提案手法により，学習データが 10 万文対の場合は BLEU が 0.74 ポイント， 100 万文対の場合は 0.14 ポイント改善することを確認した.今後は中日翻訳などの英日翻訳以外の翻訳対に対す る有効性を確認したい. また，文献 [4] や [12] など のように正順方向と逆順方向のデコーダを組み合わ せた方法への拡張も行いたい。

## 参考文献

[1] Emanuele Bugliarello and Naoaki Okazaki. Enhancing machine translation with dependency-aware self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, 2020.

[2] Timothy Dozat and Christopher D Manning. Deep biaffine attention for neural dependency parsing. arXiv preprint arXiv:1611.01734, 2016.

[3] Chunpeng Ma, Akihiro Tamura, Masao Utiyama, Eiichiro Sumita, and Tiejun Zhao. Improving neural machine translation with neural syntactic distance. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2032-2037, 2019

[4] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. NTT neural machine translation systems at WAT 2019. In Proceedings of the 6th Workshop on Asian Translation, pp. 99-105, 2019.

[5] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 2204-2208, 2016.

[6] Yutaro Omote, Akihiro Tamura, and Takashi Ninomiya. Dependency-based relative positional encoding for transformer nmt. In Proceedings of the International Conference Recent Advances in Natural Language Processing 2019, pp. 854-861, 2019

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d$ vances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[8] Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, and Ivan Titov. Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5797-5808, 2019.

[9] Xing Wang, Zhaopeng Tu, Longyue Wang, and Shuming Shi. Self-attention with structural position representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 1403-1409, 2019.

[10] Shuangzhi Wu, Dongdong Zhang, Zhirui Zhang, Nan Yang, Mu Li, and Ming Zhou. Dependency-to-dependency neural machine translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 11, pp. 2132-2141, 2018

[11] Meishan Zhang, Zhenghua Li, Guohong Fu, and Min Zhang. Syntax-enhanced neural machine translation with syntax-aware word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1151-1161, 2019.

[12] Long Zhou, Jiajun Zhang, and Chengqing Zong. Synchronous bidirectional neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 91-105, 2019.

[13] 出口祥之, 田村晃裕, 二宮崇. 係り受け構造に基づく attention の制約を用いた transformerニューラル機械翻訳. 自然言語処理, Vol. 27, No. 3, pp. 553-571, 2020.


# 人手書き起こしの知識を用いた音声認識誤りに頑健な機械翻訳

福田りょう 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{fukuda.ryo.fo3, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

一般的な音声翻訳システムは, 発話をテキスト化 する音声認識モデル (ASR) と,テキストを他言語へ 翻訳する機械翻訳モデル (MT) を持つ.こうしたシ ステムにおいて, MT が入力として受け取る ASR 出力には音声認識誤りが含まれることがあり, 翻訳精度低下の原因となる。

本研究では, 高精度かつ音声認識誤りに対して頑健な音声翻訳システムの実現を目的とし, 人手の書 き起こしと ASR の出力を効果的に組み合わせた機械翻訳モデルの学習手法を提案する. 具体的には, 書 き起こしを入力として学習した MT の出力を教師信号として, ASR 出力を入力とする MTを学習する.こ れは, 高品質な対訳で学習した教師モデルの知識を 実環境用のモデルへ引き継ぐ知識蒸留であり, 高い 翻訳精度を維持しつつ音声認識誤りに対して頑健に なることを期待するものである.

実験では, 書き起こしと音声認識誤りを混合して 学習させたモデルに対して, およそ $0.5 \mathrm{pt}$ の BLEU ス コア向上を示した. また, ドメイン適応学習の手法で ある Fine-tuning との併用を検討し, より高い翻訳精度が得られることを確認した。

## 2 関連研究

音声翻訳システムにおける, ASR 出力の曖昧性や 音声認識誤りを考慮した機械翻訳の研究がこれまで 多く行われている. Sperber ら [1] は ASR のラティス 構造を, Osamura ら [2] は ASR の出力分布をニュー ラル機械翻訳 (NMT) の入力として用いることで, ASR 出力の曖昧性を考慮する翻訳手法を提案した. Sperber ら [3], Xue ら [4] は, 対訳の原言語文に擬似的 な音声認識誤りを含ませることで, 音声認識誤りに 対する翻訳精度が向上することを示した。

知識蒸留 (Knowledge Distillation) [5, 6] は, 機械学習 において教師モデルの出力を生徒モデルに模倣させ る学習手法であり, よりパラメータの多い複雑なモ

(a) Knowledge Distillation

(b) Fine-tuning

図 1 本稿の学習方式.

デルから軽量なモデルへ, あるいは高機能で低速な モデルから高速なモデルへといった形で利用されて きた.

また, 低資源下における機械翻訳の学習手法とし てドメイン適応 (Domain Adaptation) [7] が知られて いる.ドメイン適応は, 対訳データの少ない対象ドメ インの翻訳学習に, 外部ドメインの対訳データや対象ドメインの単言語データを利用する手法である。

Di Gangi ら [8] は, 話し言葉機械翻訳において, 書 き起こしと ASR 出力を併用したドメイン適応学習 を行うことで，一方のみを用いた場合と比較して翻訳精度が向上することを示した. 本研究では, 書き起 こしと ASR 出力のより効果的な活用を目指し, 知識蒸留に基づく学習, 及びドメイン適応との併用を検討した.

## 3 提案手法

## 3.1 知識蒸留

知識蒸留を用いた学習の概略を図 1(a) に示す.ま ず教師モデル $\left(N M T_{\text {teacher }}\right)$ として, 人手による書き 起こし $\left(X_{\text {gold }}\right)$ を入力とした機械翻訳を学習する。
表 1 Fisher データセットのデータ統計. 対訳文の数と, 前処理後のファイルのトークン数. Dev, Test データにおいては 4 通りの Disfluent translation, 2 通りの Fluent translation がそれぞれ用意されている

続いて, 生徒モデル $\left(N M T_{\text {student }}\right)$ として ASR 出力 $\left(X_{a s r}\right)$ を入力とした機械翻訳を学習する.この時, 出力 $\left(Y_{\text {asr }}^{\prime}\right)$ が教師モデル $\left(Y_{\text {gold }}^{\prime}\right)$ と同一になるように交差エントロピー損失の最小化が行われる. 知識蒸留 の手法として sequence-level knowledge distillation [9] を用いる.これは, 教師モデルの出力分布を学習する word-level knowledge distillation と対照的に, 教師モデ ルでビーム探索を行い, 決定した出力トークンの系列を学習する方式である. また, 教師と生徒のモデル 構造は同一とする.つまり一般的な知識蒸留が「"強 い"モデルの知識を"弱い"モデルへ蒸留する」ことに 対し,ここでは「"強いデータ"で学習したモデルの知識を"弱いデータ"で学習するモデルへ蒸留する」こ とを行う。

## 3.2 ドメイン適応

今回, ドメイン適応の典型的な手法である Multi-domain 学習 [7] と Fine-tuning [10] を検討した. Multi-domain 学習はドメイン外データとドメイン 内データを混合して学習に用いる手法である。 Fine-tuning は, ドメイン外データでモデルを事前学習後, ドメイン内データで追加学習を行う手法で ある. 図 1(b) に Fine-tuning による学習の概略を示 す. 上段では, 人手による書き起こしを入力として ニューラル機械翻訳 (NMT) の事前学習を行い, 後段 では, ASR 出力を大力として $N M T$ を追加学習する.

## 4 実験

## 4.1 実験設定

## 4.1.1 データセット

実験には, IWSLT 2020 Conversational Speech Translation [11] の Fisher データセットを使用して, スペイ ン語から英語へのテキスト翻訳を学習する.これは, 160 時間のスペイン語会話音声とその書き起こし (Gold transcript) である LDC Fisher Spanish speech コー パス [12] に ASR 出力 (ASR output) と英語の翻訳テ
キスト (Disfluent translation) [13], フィラーや言い淀 みなどを除去した流暢な英語の翻訳テキスト (Fluent translation) [14] を加えたマルチウェイ対訳データ セットである. その中で, 今回は Gold transcript, ASR outputを入力として, Fluent translation を出力として 用いた. データ統計を表 1 に示す.

## 4.1.2 モデル

Transformer [15] を構築した. Transformer の構成およ びハイパーパラメータは transformer_base [15] に準 じる. Encoder, Decoder はそれぞれ 6 層とし,トーク ンの埋め込みべクトル, 各層の隠れ状態べクトル, フィードフォーワードネットワークの次元数をそれ ぞれ 512, 512, 2048 とした. サブレイヤの dropout は 0.1 の確率で行い, Multi-head attention のヘッド数は 8 とした. 最適化アルゴリズムは Adam を使用し, その パラメータを $\beta_{1}=0.9, \beta_{2}=0.997$ に設定の上, 学習率の初期値を 0.0007 として Vaswani ら [15] の方法 で学習率を変化させた. ミニバッチのサイズは 4096 トークンとして, 8 個積み重ねて 1 回更新することを 学習が収束するまで行った. モデルは 5000 回更新 する毎に Dev セットで損失を計算し, 最終的に最も 小さい値を獲得したモデルでテストを行った. また データは, subword-nmt ${ }^{2}$ を用いて Byte Pair Encoding (BPE) によるサブワード分割 [16] を行った. 語彙数 はそれぞれ最大およそ 8000 に設定している。

実験では,ベースラインとして
- Single ${ }_{\text {gold }}$ : Gold transcript で学習したモデル
- Single $_{a s r}$ : ASR output で学習したモデル

を用意した. また, ドメイン適応手法として

データを混合した Multi-domain 学習モデル
- $\mathrm{FT}_{\text {gold } \rightarrow \text { asr }}$ : Single gold に対し ASR output で追加学習を行った Fine-tuning モデル

を作成した. また知識蒸留は ASR outputを入力とし，

表 2 BLEU スコアによる翻訳精度の比較.†はベースラインモデル Single $_{\text {asr }}$, ‡は Fine-tuning モデル FT $_{\text {gold } \rightarrow \text { asr }}$ より有意 に高いことを示す(いずれも $p<0.05)$.

- $\mathrm{KD}_{\text {gold }}$ : Single gold の出力を教師信号として学習 したモデル

して学習したモデル
- $\mathrm{FT}+\mathrm{KD}_{\text {gold }}$ : Single gold $^{\mathrm{K}^{2}} \mathrm{KD}_{\text {gold }}$ の方式で追加学習を行う, Fine-tuning と知識蒸留を組み合わ せたモデル

を作成した. Dev セットで検証する際には, ASR output の入力に対して行い, 出力を 2 通りの Fluent translation で評価した. Test セットによる評価時は, Gold transcript と ASR outputを入力とし, 2 通りの Fluent translation (Fisher/Test0, Fisher/Test1) それぞれ に対して BLEU スコアを測定した. また, ベースラ インと提案手法間でブートストラップ再サンプリ ング方式による BLEU スコアの有意差検定 [17] を 行った. 実装は util-scripts の paired-bootstrap.py ${ }^{3}$ を使用し, 有意水準を $5 \%$ とした.

## 4.2 実験結果

実験結果を表 2 に示す. ベースライン同士を比較

訳精度である一方, ASR outputを入力した場合にお

よって結果が大きく変化せず,いずれも Single gold に Gold transcript を入力した場合を $9 \mathrm{pt}$ 程度下回った.書き起こしを入力として学習した MT は, 高い翻訳能力を獲得し得るが, 音声認識誤りに対する頑健性 が低い. 反対に, 音声認識誤りを含む入力を用いて 学習した MT は, 音声認識誤りに頑健であるものの 基本となる翻訳能力が低い. そのため実用の場面で ASR output を入力することを想定した場合, 両モデ

図 2 ベースラインモデル Single $_{\text {asr }}$ と, 知識蒸留を行った 提案手法 $\mathrm{KD}_{\text {gold }}$ の学習曲線の比較.

ルはおよそ対等であると言える。

また Single gold と比較して,ドメイン適応を行った 2 手法 (Multi gold\&asr, $\mathrm{FT}_{\text {gold } \rightarrow \text { asr }}$ ) は, Gold transcript に対する精度が 1 2pt 低下する代わりに ASR output に対する精度が 0.7 0.9pt 向上した. これは人手の書 き起こしと ASR 出力を併用した学習が, 翻訳精度向上に効果的であることを示している。

## 4.2.1 知識蒸留の効果

$\mathrm{KD}_{\text {gold }}$ は, ASR output に対する翻訳精度がベース ラインやドメイン適応のモデルより有意に高く, 知識蒸留の有用性を示している. Single ${ }_{\text {asr }}$ と比較し た時, 学習の差は教師信号を人手による参照訳から Single $_{\text {gold }}$ の出力に変更した点である.この変更で， ASR output に対しおよそ $1 \mathrm{pt}$ の向上が観測された. その理由として, MTを通すことで自然発話の多様性 または複雑性が失われ, 学習の難しさが緩和された ことが考えられる. 実際に, 学習時の損失の変化を示 した図 2 では, $\mathrm{KD}_{\text {gold }}$ がより低い位置で推移してい ることが見て取れる. しかし, 反対に Gold transcript に対しては $1 \mathrm{pt}$ の低下があった. 教師として与えた MT 出力と Test セットの人手による参照訳との間で

成例. 上の例で, Single ${ }_{a s r}$ は音声認識誤り (“sur”) を直訳 (“South”) したが, FT + $\mathrm{KD}_{\text {gold }}$ はこれを無視した. また ASR output が記号や大文字を含まないことも翻訳精度低下の原因になりうる. 下の例で, 記号 (“i”, “?”)を含まない疑問文に対し, Single $_{\text {asr }}$ は平叙文を訳出したが, $\mathrm{FT}+\mathrm{KD}_{\text {gold }}$ では疑問符を回復した.

表 4 知識蒸留における教師モデルの出力の BLEU ス

生じた分布の差異がこの原因として考えられる.

他方, $\mathrm{KD}_{\text {gold\&asr }}$ は, 大きく精度が低下した.知識蒸留を行ったそれぞれの教師モデル (Single gold , Multi ${ }_{\text {gold\&asr }}$ ) の Train データにおけ る BLEU スコアを表 4 に示す. Train データに対し，両者には $10 \mathrm{pt}$ 近いスコアの差がある. Multi ${ }_{\text {gold\&asr }}$ は Single $_{\text {gold }}$ と比べて, ASR output に頑健であるが, Gold transcript の翻訳精度は低い.このことから, 生徒モデルの教師となるデータにはある程度の高品質 さが求められることが分かる.

## 4.2.2 知識蒸留とドメイン適応の併用

知識蒸留と Fine-tuning を組み合わせた $\mathrm{FT}+\mathrm{KD}_{\text {gold }}$ は, ASR output に対し最も高い翻訳精度を達成し， ベースラインと比較して $1 \mathrm{pt}$ 程度の向上が確認され た. 生成例の比較を表 3 亿示す. また知識蒸留のみ 行ったモデルと比較して, Gold transcript に対する翻訳精度が大きく向上しており, Single gold の基本翻訳性能の高さを引き継ぎながら音声認識誤りに対す る頑健性を獲得できたと言える. Fine-tuning はパラ メータを, 知識蒸留は出力の知識を, それぞれ事前学習モデルや教師モデルから引き継ぐ. このように 両者は異なる情報を継承するため, 併用することで それぞれを単体で用いたモデルより高い評価値を 得た.

## 5 おわりに

本研究では, 書き起こしテキストと ASR 出力の併用による機械翻訳モデルの学習手法を検討した. 実験では, 知識蒸留とドメイン適応が音声認識誤りへ の頑健性獲得のために有効であることを示し, 更に これらを併用することでより高い翻訳精度を達成で きることを確認した。

今後の課題として, まず ASR 出力の精度による提案手法の有効性の変化を検証する. 今回用いた ASR 出力は, HMM に基づく音声認識モデルによるもので あり, Fisher/Test に対し WER 36.5pt [13] と比較的多 くの誤りを含んでいる.より音声認識誤りの少ない ASR 出力に対しても本研究の手法が有効であるかど うかを確認したい. また, 学習手法についても広範に 検証を行っていく必要がある. 例えばドメイン適応 の一手法である Multi-domain 学習にも, 文頭にドメ インタグを付加して区別させる方法やドメイン間の データ数を揃える upsampling や downsampling など 数多くの変種が存在する. 知識蒸留では, word-level knowledge distillationを用いてより豊富な知識を継承 することで更なる向上が期待できる.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1] Matthias Sperber, Graham Neubig, Jan Niehues, and Alex Waibel. Neural lattice-to-sequence models for uncertain inputs. arXiv preprint arXiv:1704.00559, 2017.

[2] Kaho Osamura, Takatomo Kano, Sakriani Sakti, Katsuhito Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. architecture, Vol. 21, p. 22, 2018

[3] Matthias Sperber, Jan Niehues, and Alex Waibel. Toward robust neural machine translation for noisy input sequences. In International Workshop on Spoken Language Translation (IWSLT), 2017.

[4] Haiyang Xue, Yang Feng, Shuhao Gu, and Wei Chen. Robust neural machine translation with asr errors. In Proceedings of the First Workshop on Automatic Simultaneous Translation, pp. 15-23, 2020.

[5] Cristian Buciluă, Rich Caruana, and Alexandru NiculescuMizil. Model compression. In Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 535-541, 2006.

[6] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[7] Chenhui Chu, Raj Dabre, and Sadao Kurohashi. An empirical comparison of domain adaptation methods for neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 385-391, 2017.

[8] Mattia Antonino Di Gangi, Robert Enyedi, Alessandra Brusadin, and Marcello Federico. Robust neural machine translation for clean and noisy speech transcripts. arXiv preprint arXiv:1910.10238, 2019.

[9] Yoon Kim and Alexander M Rush. Sequence-level knowledge distillation. arXiv preprint arXiv:1606.07947, 2016.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. arXiv preprint arXiv:1511.06709, 2015.

[11] Ebrahim Ansari, Nguyen Bach, Ondřej Bojar, Roldano Cattoni, Fahim Dalvi, Nadir Durrani, Marcello Federico, Christian Federmann, Jiatao Gu, Fei Huang, et al. Findings of the iwslt 2020 evaluation campaign. In Proceedings of the 17th International Conference on Spoken Language Translation, pp. 1-34, 2020.

[12] David Graff, Shudong Huang, Ingrid Cartagena, Kevin Walker, and Christopher Cieri. Fisher spanish speech (ldc2010s01). Web Download. Philadelphia: Linguistic Data Consortium, 2010.

[13] Matt Post, Gaurav Kumar, Adam Lopez, Damianos Karakos, Chris Callison-Burch, and Sanjeev Khudanpur. Improved speech-to-text translation with the fisher and callhome spanish-english speech translation corpus. In Proc. IWSLT, 2013.

[14] Elizabeth Salesky, Matthias Sperber, and Alex Waibel. Fluent translations from disfluent speech in end-to-end speech translation. arXiv preprint arXiv:1906.00556, 2019.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[16] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. arXiv preprint arXiv:1508.07909, 2015.

[17] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 388-395, 2004.


# 画像生成による疑似教師データを用いた マルチモーダルニューラル機械翻訳

岩本 裕司 ${ }^{1}$ 田村 晃裕 ${ }^{2}$ 二宮崇 ${ }^{1}$
1 愛媛大学 2 同志社大学
${ }^{1}$ \{iwamoto@ai., ninomiya@\}cs.ehime-u.ac.jp ${ }^{2}$ aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年，ニューラル機械翻訳（Neural Machine Translation; NMT）の性能を向上させる手段の 1 つとして，マルチモーダルニューラル機械翻訳 (Multimodal Neural Machine Translation; MNMT) が注目されている. MNMT は翻訳元の文（原言語文）だけでなく関連画像も用いることで，これらの 画像を手がかりに状況に即したより自然な翻訳文 （目的言語文）を生成することを目的としている. MNMT モデルの学習には通常，対訳テキストデー 夕に加えて関連画像が必要となるが，そのような原言語文, 目的言語文, 関連画像で構成される 3 つ組 の対訳データは通常の対訳データに比べ非常に小規模なものしか存在していない。また，通常の対訳 データに比べ，MNMT 学習のための 3 つ組データが 存在する言語ぺアや領域は非常に限られている.

本研究では，従来の MNMT 用学習データ（3つ組 データ）に比べて比較的入手が容易な対訳テキスト データと，原言語側の画像キャプションデータから MNMT の学習を行う方法を提案する. 提案手法で は，まず対訳テキストデータから NMT モデルを学習し，画像キャプションデータの原言語文を NMT モデルで翻訳することで初期疑似 3 つ組データを生成する. 次に, MNMT モデルと, 対訳文ペアから画像を生成する text-to-image（T2I）モデルの 2 つのモ デルを，初期擬似 3 つ組データから学習し，両モデ ルを初期化する．最後に，T2I モデルと MNMT モデ ルを逆翻訳形式のフレームワークを用いて交互に再学習する. このフレームワークでは, MNMT モデ ルは対訳テキストデータと T2I モデルによって生成 された画像による疑似 3 つ組データで学習し, T2I モデルは画像キャプションデータと MNMT モデル によって生成された目的言語文による疑似 3 つ組 データで学習する。実験では，学習データとして Multi30kデータセッ ト [1] の英独対訳テキストデータと MSCOCO デー タセット [2] の画像キャプションデータを用いた. そして，テストデータとして Multi30kテストデータ セットを用いて，英独翻訳タスクで提案手法の評価 を行った. その結果, 提案の MNMT モデルは大力画像を用いない NMT モデルよりも優れた翻訳性能 を持つことを確認し（+1.38 BLEU スコア），提案す る逆翻訳形式の学習方法は MNMT の翻訳性能を向上させる（+2.8 BLEU スコア）ことが示された. ま た，実験を通じて，提案の学習方法により訓練され た MNMT は, 真の 3 つ組データ（Multi30K訓練デー タセットの 3 つ組データ）から訓練された MNMT モデルよりも優れていることが示された. さらに， WMT14 データセットおよび GoodNews データセッ 卜[3]を用いた事前学習を行った結果，翻訳精度が さらに改善される（+1.07 BLEU スコア）ことが示さ れた。

## 2 関連技術

## 2.1 Transformer ベースの MNMT

近年，ニューラルネットワークをべースとしたモ デルがマルチモーダル機械翻訳のためによく用い られており，特に Transfomer NMT モデル [4] をマル チモーダル機械翻訳に拡張した Transformer ベース の MNMT モデル [5] が非常に高い性能を実現してい る. 本研究でも Transformer ベースの MNMT モデル を使用する。

本研究で使用する Transformer ベースの MNMT モデルの構造を図 1 に示す.このモデルは， Transformer NMT モデルに入力画像用のエンコーダ が追加され，画像エンコーダ，テキストエンコー ダ，テキストデコーダで構成されている。また，テ キストエンコーダには，画像特徵と原言語文の各単

入力画像

入力文

(予測済み)

図 1: MNMT モデルの構造

語との関係の強さを計算する視覚的注意機構 [6] が 組み込まれている. 画像エンコーダは，まず入力画像から CNN を用いて画像特徴量を抽出し，その 後，線形変換を施すことで画像を画像特徴ベクトル にエンコードする。なお，本研究では CNN として ResNet50 [7] を用いた. テキストエンコーダとテキ ストデコーダは，テキストエンコーダ内の各レイ ヤーが，画像と原言語文の各単語との間のマルチ ヘッドアテンション（視覚的注意機構）を有するこ とを除いて，Transformer NMT と同じである.

## 2.2 Text-to-Image モデル

Text-to-Image（T2I）モデルは，入力として文およ びランダムノイズを受け取り，受けとった文の意味 に沿った本物に近い画像を生成するモデルである. ランダムノイズは，背景やオブジェクトの位置，向 きなどの，文には現れない情報を決定するために入力される. T2I モデルは敵対的生成ネットワークを 用いて学習され，主に画像を生成する生成器と，画像が本物であるかを識別する識別器の 2 つのモデル で構成されている。

従来の T2I モデルでは，1 つの文から 1 つの画像 を生成する. しかし，本提案手法では対訳テキスト （原言語文と目的言語文）から 1 つの画像を生成す る T2I モデルを用いる。具体的には，最先端の T2I モデルの 1 つである AttnGAN モデル [8] をバイリン ガルな設定（対訳文ペアを入力にするモデル）に拡

張する. 本研究では， AttnGAN のテキストエンコー ダーと注意機構を改良し，AttnGAN をバイリンガル な設定に拡張する。以降では，改良したAttnGANを BiAttnGAN と呼ぶ. BiAttnGANでは，原言語文と目的言語文のそれぞれに対してエンコーダと注意機構 を導入し，これら２つのエンコーダと注意機構の出力をそれぞれ連結したものを生成器と識別器で用 いる。具体的には，原言語／目的言語文エンコーダ $E n c_{s r c / t g t}$ は，以下の式のように原言語／目的言語文 $x_{s r c / t g t}$ を単語特徴量 $e_{s r c / t g t}$ と文特徴量 $\bar{e}_{s r c / t g t}$ に符号化する。

$
\begin{array}{r}
e_{s r c}, \bar{e}_{s r c}=E n c_{s r c}\left(x_{s r c}\right) \\
e_{t g t}, \bar{e}_{t g t}=E n c_{t g t}\left(x_{t g t}\right)
\end{array}
$

そして，2つの特徴量を連結したもの（[ $\left.e_{s r c} ; e_{t g t}\right]$ や $\left[\bar{e}_{s r c} ; \bar{e}_{t g t}\right]$ ）をテキスト特徴量として用いる.ま た，以下のように注意機構を用いて，画像とテキス トとの関連性を反映した画像特徴量 $h^{\prime}$ を用いる.

$
h^{\prime}=\left[\operatorname{Attn}_{s r c}\left(h, e_{s r c}, e_{s r c}\right), \operatorname{Attn}_{t g t}\left(h, e_{t g t}, e_{t g t}\right)\right]
$

ここで，hと Attnは，それぞれテキストエンコーダ の隠れ状態と注意機構である。

## 3 MNMT のための逆翻訳学習

本節では, 対訳テキストデータ $B=\left(B_{s r c}, B_{t g t}\right)$ と,原言語側の画像キャプションデータ $C=\left(C_{i m g}, C_{s r c}\right)$ から MNMT モデルを学習する手法を提案する．以降は，接尾辞の $s r c, t g t, i m g$ は，それぞれ原言語文，目的言語文，画像を表す. 提案手法の流れをアルゴ リズム 1 に示す. 本手法では，まず対訳テキスト データから NMT モデルを学習し，学習した NMT によって原言語側の画像キャプションデータのキャ プション文を翻訳することで，初期疑似 3 つ組デー タを生成する (1 行目). 次に，生成した初期擬似 3 つ組データを用いて MNMT モデルと T2I モデルの 初期化を行う（2 行目）. 最後に，MNMT モデルと T2I モデルを交互に反復逆翻訳フレームワークを用 いて際学習する $(3 \text { から } 5 \text { 行目 })^{1)}$.

## 3.1 モデルの初期化

逆翻訳形式による学習の準備として，Transformer ベースの MNMT モデルと BiAttnGAN モデルの初期化を行う. これらの初期化に用いる 3 つ組データ は，Transformer NMT を用いて擬似的に作成する。

1）実験では，アルゴリズム 1 の 3 行目における $\mathrm{N}$ の值は 15 に 設定した.

## アルゴリズム 1：学習アルゴリズム

入力 : $B=\left(B_{s r c}, B_{t g t}\right), C=\left(C_{s r c}, C_{i m g}\right)$

1. 初期擬似 3 つ組データの生成：まず，NMT モデル $P_{s r c \rightarrow t g t}$ を $B$ から学習する. その後, 3 つ組データ $\left(C_{s r c}, C_{t g t^{\prime}}, C_{\text {img }}\right)$ を生成する. ただし $C_{t g t^{\prime}}=P_{s r c \rightarrow t g t}\left(C_{s r c}\right)$ である.

2. モデルの初期化：MNMT モデル $P_{(s r c, i m g) \rightarrow t g t}^{(0)}$ と $\mathrm{T} 2 \mathrm{I}$ モデル $P_{(s r c, t g t) \rightarrow i m g}^{(0)}$ を初期擬似 3 つ組データ $\left(C_{s r c}, C_{t g t^{\prime}}, C_{i m g}\right)$ を用いて学習する。

## 3. for $k=1$ to $\mathbf{N$ do}

4. MNMT の再学習：MNMT モデル $P_{(s r c, i m g) \rightarrow t g t}^{(k)}$ を擬似 3 つ組データ $\left(B_{s r c}, B_{i m g^{\prime}}, B_{t g t}\right)$ を用いて 再学習する。

5. ただし $B_{i m g^{\prime}}=P_{(s r c, t g t) \rightarrow i m g}^{(k-1)}\left(B_{s r c}, B_{t g t}\right)$ である. T2I の再学習：T2I モデル $P_{(s r c, t g t) \rightarrow i m g}^{(k)}$ を 擬似 3 つ組データ $\left(C_{s r c}, C_{\text {img }}, C_{t g t^{\prime}}\right)$ を用いて 再学習する. 6. end ただし $C_{t g t^{\prime}}=P_{(s r c, i m g) \rightarrow t g t}^{(k-1)}\left(C_{s r c}, C_{i m g}\right)$ である.

まず，対訳テキストデータから Transformer NMT モ デルを学習する。 そして，学習させた NMT モデル を用いて，原言語側の画像キャプションデータの キャプション文を目的言語の文に翻訳する。このよ うにして作成した初期擬似 3 つ組データを用いて， MNMT モデルおよび BiAttnGAN モデルを学習する ことで，両モデルの初期化を行う.

## 3.2 MNMT の再学習

MNMT モデルの再学習では, BiAttnGAN モデル を用いて再学習を行う。まず，BiAttnGAN モデルを 用いて，対訳テキストデータの各対訳文ペアから画像を生成する. 次に, 対訳テキストデータと生成し た画像で構成される疑似 3 つ組データから MNMT モデルを学習する。学習では, 原言語文と生成画像 から予測された目的言語文 $y$ が疑似 3 つ組データの 目的言語文 $t$ と同じになるように，以下のクロスエ ントロピー損失 $L_{M}$ を最小化する.

$
L_{M}=-\sum_{i=0}^{l-1} t_{i} \times \log P\left(y_{i}\right)
$

ここで，lは目的言語文の長さである.

## 3.3 T2I の再学習

BiAttnGAN モデルの再学習では, MNMT モデル を用いて再学習を行う．まず，MNMT モデルを用 いて，画像キャプションデータから目的言語文を生成する. 次に，画像キャプションデータと生成した 疑似目的言語文で構成される擬似 3 つ組データから BiAttnGAN モデルを学習する。

学習では，原言語文と擬似目的言語文から生成さ れた画像 $y_{i m g}$ と, 本物画像 $t_{i m g}$ が同じになるよう に，次のクロスエントロピー損失 $L_{G}$ を最小化する.

$
L_{G}=-\frac{1}{2} \log P_{R}\left(y_{i m g}\right)-\frac{1}{2} \log P_{S}\left(y_{i m g}, x_{s r c}\right)
$

ここで， $P_{R}$ は生成された画像が本物かどうかを表 す確率であり， $P_{S}$ は生成された画像と文が一致す るかどうかを表す確率である.

## 4 実験

## 4.1 実験設定

本提案手法を英独翻訳による実験で評価した。実験では，Multi30k データセット [1] の英独対訳文 29,000 文対と，画像ごとに 5 つのキャプションが 付与されている MS COCO 2014 データセット [2] の 82,783 枚の画像とそのキャプションを，2 種類の学習データセット（対訳テキストデータと画像キャ プションデータ）として使用した. Multi30k デー タセットの開発データ (1,014 組) とテストデータ (1,000 組)をそれぞれ開発データとテストデータと して使用した. Multi30k データセットの各データは 原言語文, 目的言語文, 画像の 3 つ組で構成される が，提案手法の学習では目的言語文は使用していな いことに注意されたい。

また，提案手法を事前学習に用いる場合の有効性 を調べるため，Multi30k データセットとは異なるド メインの大規模データセットを用いて MNMT モデ ルを事前学習した場合の性能も評価した．事前学習 では，対訳テキストデータとして WMT14 英独デー タセットを，画像キャプションデータセットとして GoodNews データセットを用いた.

初期擬似 3 つ組データを生成する際に用いる Transformer NMT モデルのハイパーパラメータと, Transformer ベースの MNMT モデルのハイパーパラ メータは，Vaswani ら [4] に倣い，レイヤー数を 6 層, 注意機構のヘッド数を 8 個, 隠れ層の次元数
表 1: 実験結果

を 512 に設定した。また，BiAttnGAN のハイパーパ ラメータに関しては，オリジナルの AttnGAN [8] に 倣い, 生成器の次元数を 48, 識別器の次元数を 96 とした. 最適化手法としては Adam [9] を使用した. BiAttnGAN モデルは，ミニバッチサイズ 32 とし, エポック数は初期化時は 100 , 再学習時は 15 で実験 を行った. Transformer NMT モデルは，ミニバッチ 数を 128 ，エポック数を 40 として学習を行った. そ して，Trasformer MNMT モデルは，ミニバッチ数を 128, エポック数は初期化時は 25 , 再学習時は 15 で 学習を行った. また, 単語辞書の作成には Byte Pair Encoding [10]を使用し，トークンサイズを英独合わ せて 7,000とした. なお，これらの翻訳モデルを用 いた目的言語文の推論時には貪欲法を用いた.

## 4.2 実験結果

実験では，次の 6 つのモデルを評価した。(1) 提案 MNMT モデル $\left(M N M T_{\text {prop }}\right)$, (2) 画像入力なし NMT モデル $(N M T)$ ，(3) 初期化時の MNMT モデル $\left(M N M T_{\text {init }}\right)$, (4) 真の 3 つ組データを用いた MNMT モデル $\left(M N M T_{\text {gold }}\right),(5)$ 大規模データセットによる 事前学習を行い, 擬似データを用いて教師無し再学習を行った MNMT モデル $\left(M N M T_{\text {pre_un }}\right)$ ， (6) 大規模データセットによる事前学習を行い，真の 3 つ組 データを用いて教師あり再学習を行った MNMT モ デル $\left(M N M T_{\text {pre_semi }}\right)$ である. $M N M T_{\text {prop }}, N M T$, $M N M T_{\text {init }}, M N M T_{\text {gold }}$ では事前学習を行っていな い.また, NMT は, Multi30k データセットの学習 データの画像を使わずに対訳文から学習したモデル である. $M N M T_{\text {gold }}$ は, Multi30k データセットの学習データに含まれる 29,000 組の 3 つ組データから学習した MNMT モデルであり， $M N M T_{i n i t}$ は，初期疑似 3 つ組データで学習した MNMT モデル（アルゴ リズム 1 の $\left.P_{(s r c, i m g) \rightarrow t g t}^{(0)}\right)$ である.

各モデルの翻訳性能は，開発データの BLEU スコ アが最も高いエポックモデルを選択し，テストデー
タの case-insensitive BLEU4 [11] で測定した．実験結果を表 1 に示す.

表 1 から分かる通り，MNMT $T_{\text {prop }}$ は $M N M T_{\text {init }}$ よ りも高い性能を示している。このことは，擬似 3 つ 組データを用いて MNMT モデルと T2I モデルを交互に学習することで，MNMT の性能が向上するこ とを示している。すなわち，提案手法である逆翻訳形式のフレームワークが有効であることを示してい る. また, $M N M T_{\text {prop }}$ は $N M T$ よりも性能が優れて おり，画像情報の有効性が示されている。 さらに，真の 3 つ組データを用いた $M N M T_{\text {gold }}$ よりも，擬似 3 つ組データを用いた $M N M T_{\text {prop }}$ の方が性能が 高くなっている。これは擬似画像生成による多様な 画像によって学習が行われたためであると考えられ

事前学習を行わないモデルによりも性能が向上して おり，提案手法による大規模データセットを用いた 事前学習が有効であることを示している.

## 5 まとめ

本研究では，マルチモーダル機械翻訳における低 リソース問題を解決するために，対訳テキストデー タと画像キャプションデータから MNMT モデルを 学習するための新しい逆翻訳形式のフレームワーク を提案した。提案手法では，T2I モデルと MNMT モ デルを用いて，一方のモデルにより生成された疑似 3 つ組データに基づいて他方のモデルを学習するこ とで，T2I モデルと MNMT モデルを交互に学習す る。英独翻訳タスクでの評価の結果，提案した逆翻訳形式のフレームワークは MNMT の性能を向上さ せ，提案手法によって学習された MNMT モデルは，真の 3 つ組データから学習した MNMT モデルより も性能が優れていることが示された. また，提案手法による大規模データセットを用いた事前学習が有効であることも示された. 今後は異なる規模やドメ イン，言語対のデータセットを用いた実験を行い，提案手法の有効性を確認したい。

## 謝辞

本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 20K19864 の助成を受けた ものである.ここに謝意を表する。

## 参考文献

[1] D. Elliott, S. Frank, K. Sima'an, and L. Specia. Multi30k: Multilingual english-german image descriptions. In Proc. of the 5th Workshop on Vision and Language (VL16), pp. 70-74, 2016.

[2] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.

[3] Ali Furkan Biten, Lluis Gomez, Marcal Rusinol, and Dimosthenis Karatzas. Good news, everyone! context driven entity-aware captioning for news images. In Proc. of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), June 2019.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d$ vances in Neural Information Processing Systems 30, pp. 5998-6008, 2017.

[5] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proc. of the Third Conference on Machine Translation: Shared Task Papers(WMT18), pp. 603-611, October 2018.

[6] 宅島寛貴, 田村晃裕, 二宮崇, 中山英樹. CNN と Transformer エンコーダを用いたマルチモーダル ニューラル機械翻訳. 言語処理学会第 25 回年次大会, pp. 743-746, 2019.

[7] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proc. of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 770-778, 2016.

[8] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proc. of 2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2018), pp. 1316-1324, 2018.

[9] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, Vol. abs/1412.6980, , 2014.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, jul 2002.


# 分割統治的ニューラル機械翻訳

加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{kano.yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

ニューラル機械翻訳によって、統計的機械翻訳よ りも流暢な訳文を生成できるようになった。しか し、長い文を翻訳することは未だ難しく、重複訳 や、訳抜けなどが発生する。アテンション機構を用 いたニューラル機械翻訳モデルである、Transformer [1]でも、その問題は解決できていない [2]。

統計的機械翻訳では、長い文を短く区切って翻訳 し、並べ替えて繫げるという分割統治的な手法でこ れらの問題を軽減する試みがあった [3]。ニューラ ル機械翻訳においては、Pouget-Abadie ら [4] は、長 い文を短く区切って、各セグメントをRNNを用い て翻訳した。その後、翻訳されたセグメントを、前 から順につなぎ合わせたものを翻訳結果としてい る。しかし、この手法では、語順が大きく異なる言語対を翻訳する際に、出力文が不自然なものになっ てしまう。

そこで、本研究では、翻訳されたセグメントを、 セグメントどうしの関係性を表すトークンを用いて 繋げ、別のニューラルネットワークモデルに入力す る。それによって、セグメントの並べ替えと編集を 実現し、自然な訳文を生成する。

提案手法はベースラインに比べて、BLEUでは顕著な差が見られなかったが、出力文の長さがより参照文へと近くなることがわかった。よって、ニュー ラル機械翻訳における分割統治的手法が、訳抜けを 防ぐために、有効である可能性が示された。今後、並べ替えやセグメント翻訳の精度を上げることによ り、さらなる発展が期待される。

## 2 関連研究

Sudoh ら [3] は、長い文を翻訳するため、統計的機械翻訳に分割統治的手法を用いた。入力文を節の単位に区切って翻訳し、その結果を節の階層構造に基 づいて並べ替えることで、精度を向上させていた。

ニューラル機械翻訳においては、Pouget-Abadie ら
[4] の研究が Sudoh ら [3] と似た手法を用いている。 この手法では、対訳コーパスを用いて学習された、 RNNを用いて最適な文の区切れ目を見つけ、その 各セグメントを翻訳する。しかし、文法的に適切な 境界で分割される保証がないため, 特に語順の異な る言語対において結合した翻訳結果が不自然な文に なる懸念がある。

機械翻訳以外の分野でも、長い文を短く区切って 言い換えるという研究がなされている。Aharoni ら [5] は長い文を、copy 機構を用いた seq2seq モデルに 入力し、複数の短い文で言い換えた。しかし、必要 な情報が抜けたり、不必要な単語が出力されてしま う問題は解決されていない。

短い単位に区切るものとは異なるアプローチで、長い文の機械翻訳を改善する研究もある。Neishi ら [2] は、Transformer の長い文の翻訳精度を上げるた め、RNNを使った相対的位置情報を用いた。

本研究では、Pouget-Abadie ら [4] の手法で問題 であった並べ替えを、セグメント翻訳とは別の ニューラルネットワークモデルで実行する。それに よって、Sudoh ら [3] のような分割統治的な手法を、 ニューラル機械翻訳において実現する。本研究は、 Sudoh [3] らの手法とは異なり、節単位の対訳対応付 けを必要としない。節の翻訳は、文単位の対訳コー パスから学習されたニューラルネットワークモデル により取得する。

## 3 提案手法

## 3.1 提案手法の処理概略

提案手法での翻訳は、大きく分けて、4つのス テップで行われる。図 1 に、英語から日本語への翻訳の概略図を示す。この図では、簡略化のため、サ ブワード分割はされていない。

まず、原言語文を構文解析し、節の境界を探す。次に、節の始めと終わりを境界としてセグメント に区切る。節の中に節を含む場合も、すべての節境

Step1:構文解析

 & Parser & $\Rightarrow$ \\

図 1 提案手法の処理概略

界で分割を行う。Pouget-Abadie ら [4] は、2つの学習済み RNN モデルを用いて最適な境界を探索して いたが、必ずしも、文法的に適切な境界で区切られ るとは限らない。よって、本研究では節単位で区切った。各セグメントの翻訳は、周囲のセグメント の影響を受けるが、節という、比較的大きな意味の ある単位で区切ることによって、その影響を抑える ことが期待できる。

その次に、各セグメントをモデル 1 で翻訳する。 このモデル 1 として、Transformer を用いる。推論時 には、モデル 1 のビーム探索のスコアが最高となる 節の翻訳を出力する。

最後に、モデル 2 を用いてこの結果を並べ替え、編集することで、最終的な訳文を出力する。このモ デル 2 にも Transformer を用いるが、モデル 1 とは 別に学習されたものである。モデル 2 の入力は、原言語の節とその翻訳結果を繋げたものである。具体的には、原言語の各節とその翻訳結果を“@@@” で繋げた。そして、それらの節のペアを“III”で繋げ た。“@@@”や“III” は元の訓練データに含まれてお らず、特殊な一つのトークンとして語彙に含めた。例えば、「I think it is good.」を日本語に翻訳する時に
は、「I think @ @ @ 私は思う。III it is good @ @ @ それ は良い。III.@@@。」のような形で、モデル 2 に 入力されることが想定されている。翻訳された各セ グメントどうしが、どのような関係性をもつのかと いう情報を持っていないため、このように、原言語 の情報を付与する必要がある。Xu ら [6] は、原言語 の文と似た目的言語の文を繋げたものを、モデルに 入力する手法を提案した。本研究では、似ている文 ではなく、翻訳された複数の節を繋げることによっ て、並べ替えと編集をモデル 2 によって実現した。

## 3.2 学習

学習時には、まず、元の対訳コーパスを用いて、英日翻訳をモデル 1 で学習する。その後、図 1 のス テップ 1 からステップ 3 までを、全ての学習データ に対して行う。最後に、ステップ 3 の節の翻訳を図 1 のステップ 4 と同様の形式で繋げたものを入力と し、目的言語文を出力とすることで、モデル 2 を学習させる。

モデル 2 の学習時には、モデル 1 が出力する、複数の翻訳候補を利用して学習を行う。本研究では ビームサイズを 4 としているので、 4 つの候補が出力される。よって、節の翻訳の候補でスコアが最も 高いもののみを繋げた文、2 番目に高いもののみを 繋げた文、というように、四種類の形式をモデル 2 の入力として与えることができる。このように、英語の節の部分は同じだが日本語の部分のみ違うとい う入力文を用いることで、最終的に、モデル 2 のト レーニングデータは 4 倍になった。対応する目的言語の文は、4種類に対して、全て同じものを使う。

## 4 実験

提案手法の有効性を検証するために以下の実験を 行った。

## 4.1 実験設定

対訳コーパスとして、ASPEC [7] の英日 100 万文 (train-1)を用いた。Transformer [1] は、fairseq [8] で 実装されたものを用いた。基本的には、Vaswani ら [1]の結果を再現するためのウェブページ1)に従っ てハイパラメーターを設定した。dropout は 0.3 と し、 length penalty は 1 とした。 checkpoint はパラメー タを 1000 回更新する毎にごとに保存し、開発デー タの loss が最小となる checkpoint を選択した。これ

1) https://sgithub.com/pytorch/fairseq/issues/1352
表 1 入力トークン長ごとの BLEU

表 2 入カトークン長ごとの ratio

以上の詳細は付録に添付する。サブワード分割に は、SentencePiece [9]を用い、語彙の大きさを 16000 とし、日英で語彙を共有した。英語の構文解析に は、stanza [10]を用いた。モデル 1 の入力には、構文解析で出力された単語を空白で繋ぎ、それを SentencePiece でサブワードに分割したものを利用し た。このモデル 1 は、ベースラインの Transformer で あり、モデル 2 を学習する際に必要となるモデルで もある。

実験のベースラインとして，モデル 1 として用 いた通常の Transformer の他に以下の二つの手法を 比較した。一つ目は、線形化された構文木 [11]（構文木をカッコとラベル、単語の系列で表したもの） を Transformerに入力したものである。二つ目は、 Pouget-Abadie らの手法と同様に、モデル 1 から出力 された節の翻訳を、前から順に繋げたものを最終的 な訳文とするモデルである。

テストデータの BLEU [12] スコアは、MeCab [13] によって単語分割し、sacrebleu [14] を用いて算出 した。

## 4.2 実験結果

表 1 と表 2 が英日翻訳の結果である。これらは test データの文を、モデル 1 の入力文のサブワード トークン長さ別に分け、それぞれに対して BLEU と ratioを算出した結果を示している。

ratio は出力文と参照文の長さの比を表し、1より 小さいということは、訳抜けが発生している可能性 を示している。全てのテストデータに対する ratio は、線形化された構文木のモデルや Transformer に 比べ、提案手法の方が大きかった。その一方で、翻訳精度を表す BLEU は Transformer と提案手法では同等である。この結果から、提案手法は訳抜けを防 ぐために長い訳文を出力できるが、参照文に含まれ ていない情報も出力している可能性がある。また、 モデル 2 を使った並べ替えを行わず、モデル 1 の出力を前から順に繋げたモデルは、ratio は 1を大きく 上回っており，また BLEU も比較モデルの中で最も 低かった。この結果は、不必要な情報が翻訳結果に 多く含まれて訳質が低下していることを示してい る。また、提案手法ではモデル 2 の処理によってそ うした不必要な情報を取り除いて訳文を構成できて いることも分かる。

次に、長さ別のスコアを見ると、原言語のサブ ワードトークン数が 60 よりも大きいものに対して、提案手法の BLEU は比較対象の中で最も高い。2 番目に高い Transformer の BLEUを 0.8 上回っており、 ratio も提案手法の方がわずかながら高いことから、提案手法が長文の翻訳において有効であることが示唆される。

長さが 20 以内の短い文に対しても、提案手法は Transformer の BLEUを、0.5 上回った。短い文では、長い文に比べて、節の数が少ない。その結果、分割 が発生しないこともあり、モデル 2 の入力が、原言語文に、その文の翻訳を繋げただけのものもある。 これは、Xu ら [6] の用いた似た訳文の代わりに、モ デル 1 による翻訳を用いたことで、同様の効果が あったと推定される。

表 3 は、各モデルの実際の出力例である。 Transformer では、「伊那谷と木曽谷を結ぶ」という 部分の地名が抜け、代わりに「インターチェンジ・ ゾーンエリアを結ぶ」となっている。「交流圈域」と 類似した意味をもつ「インターチェンジ・ゾーンエ リア」という表現が入っているが、これは、本来な らば、参照訳にあるような「交流圏域の拡大」とい う文脈のみで使われる単語である。また、線形化さ れた構文木のモデルでは、「振興・創出について検討した。」となっているが、「振興・創出をめざす地域整備の方策を検討した。」となるべきである。

これに比べて、提案手法は、より訳抜けを改善し、統語構造も参照訳に近いものとなっている。「イン ダニと木曽谷を結ぶ」の部分では、「木曽谷」とい う地名を出力し、「振興と創出を目指した地域整備 の方策を検討した。」という、参照文に近い構造を 持っている。

実際のモデル 2 の入力は付録に記載するが、表 3 の、モデル 1 による節の翻訳例を見ると、“National

 \\

Route 361 connecting Inadani and Kisodani was approved in the business as a high standard road" という英語の節 が、「インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可された。」とデル 1 によっ て翻訳されている。この節の翻訳がモデル 2 に入力 されていることで、「木曽谷」を正確に翻訳できて いると言える。しかし、節の翻訳は、「地域におけ る産業の振興と創出について検討した。」のように、構文木を使ったモデルと同じような統語構造を持っ ている。これに対し、その節と一つ前の節の「交流圏域の拡大を目指した地域整備の方策」がモデル 2 によって並べ替え、編集されることによって正しい 統語構造が出力されていることが分かる。

## 4.3 考察

提案手法は Transformerに比べ、テストデータ全体に対して、ratio が若干改善したが、BLEU の改善 には結びつかなかった。その理由の一つとして、提案手法の推論時に、ビーム探索によるスコア最大の 節翻訳結果のみを考慮していることが挙げられる。節の翻訳は、隣の節にも依存するため、ビーム探索 の結果の 1-best ではなく、k-best を考慮したモデル を考えることで、より精度の高い節翻訳結果の選択 と結合が行える可能性がある。また、本研究では節 の始めと終わりで区切っているため、節と節の間を 繋ぐ、短いセグメントが生じ得る。そのような短い 単位の翻訳では、重複訳が発生する傾向があった。例えば、“, and”は、「又, 及び, また, そのためのもの である。」のようにモデル 1 によって翻訳されてい る。そのため、節の分割の方法に対する更なる検討 が必要と言える。

また、線形化された構文木のモデルの結果から、構文情報を入力文に付与することが必ずしも長い文 の精度向上に役立つわけではないということが示さ れた。

## 5 おわりに

本研究では、長い文を分割して翻訳し、その結果 を並べ替えて繋げるという分割統治的なニューラ ル機械翻訳の手法を提案した。それによって、訳抜 けを防止できる可能性を示した。コーパス単位の BLEU で顕著な差はなかったが、長文においては一定の効果が見られ、出力長を参照文に近づけること ができた。今後はセグメント分割の手法、セグメン ト単位の翻訳の結合の方法についてさらに検討を進 める。

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである。

## 参考文献

[1]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and

andIllia Polosukhin. Attention is all you need. CoRR, p. Vol.abs/1706.03762, 2017.

[2]Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pages 328-338., 2019.

[3]K. Sudoh, K. Duh, H. Tsukada, T. Hirao, and M. Nagata. Divide and translate: improving long distance reordering in statistical machine translation. In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR(SMT'10). pages 418-427., 2010.

[4]Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van Merrienboer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the curse of sentence length for neural machine translation using automatic segmentation. In Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, pages 78-85., 2014.

[5]Roee Aharoni and Yoav Goldberg. Split and rephrase: Better evaluation and stronger baselines. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 719-724. Association for Computational Linguistics., 2018.

[6]Jitao Xu, Josep Crego, and Jean Senellart. Boosting neural machine translation with similar translations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1580-1590, Online, July. Association for Computational Linguistics., 2020.

[7]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[8]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[9]Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics., 2018.

[10]Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pages 101-108, Online., 2020.

[11]Roee Aharoni and Yoav Goldberg. Towards string-to-tree neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 132-140. Association for
Computational Linguistics., 2017.

[12]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics., 2002.

[13]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer., 2005. http://mecab. sourceforge . net/.

[14]Matt Post. A call for clarity in reporting bleu scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics., 2018.

## A 付録

## A. 1 実験設定の詳細

開発データの loss が 5 回改善が見られない時に学習を止めた。提案手法のモデル 2 では、入力の長さが ベースラインの約 2 倍となる。 1 バッチあたりに含まれる文の数をべースラインに合わせるため、モデル 2 の学習では、update-freqをべースラインの 2 倍にした。同様の理由により、線形化された構文木を入力とす るモデルの update-freq をベースラインの 4 倍にした。

## A. 2 実際のモデル 2 の入力例

The measures for regional improvement aiming at expansion of the inter ch ang ing zone area @ @ @ 交流圈 域の拡大を目指した地域整備の方策。III, and @@@ 又,及び，また,そのためのものである。III promotion and creation of the industry in the area were examined, @ @ @ 地域における産業の振興と創出について検討した 。 I|| taking advantage of the time that @@@時間の利点を活かした。 ||| National Ro ute 361 connecting In ad ani and $\mathrm{K}$ is od ani was approv ed in the business as a high standard road @@@インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可された。III. @ @ @その他。

## A. 3 モデル 2 の入力例を SentencePiece でデコードしたもの)

The measures for regional improvement aiming at expansion of the interchanging zone area@ @ @ 交流圈域の拡大を 目指した地域整備の方策。III, and @ @ 又 又, 及び, また, そのためのものである。III promotion and creation of the industry in the area were examined,@@ @ 地域における産業の振興と創出について検討した。III taking advantage of the time that@@ @ 時間の利点を活かした。III National Route 361 connecting Inadani and Kisodani was approved in the business as a high standard road@@@ @インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可 された。III.@@@その他。