# 複数の参照訳を考慮したニューラル機械翻訳モデルの学習手法

宮崎桂輔 徳永健伸
東京工業大学 情報理工学院
\{miyazaki.k.am@m, take@c\}.titech.ac.jp

## 概要

文の翻訳では訳者や文脈などの条件により異なる 訳文が期待され，機械翻訳タスクのベンチマークに 用いられる対訳コーパス内にも一つの原文に複数の 参照訳が対応している例が多く存在する。一方で既存の機械翻訳モデルの学習手法ではこうしたコーパ ス内の構造は明示的には用いられない. そこで本研究では，コーパス内の原文が複数の参照訳を持って いるという情報を，機械翻訳モデルの学習に明示的 に用いる手法を提案する. 評価実験において，提案手法を用いて学習したモデルは旧来の最尤誤差損失 のみを用いたモデルに劣る結果となったが，提案手法が文レベル最適輸送損失を用いて学習するモデル の性能向上には寄与することが示された.

## 1 はじめに

文の翻訳において，訳者や文脈などの条件によっ て目的言語の訳文は異なるものが期待されうる。実際，機械翻訳タスクのベンチマークによく用い られる対訳コーパスにおいて, 原文に対して複数 の参照訳を持つ文対が共存することがある. 日英対訳コーパス JESC[1] および英独対訳コーパス WMT14 En-De[2] の学習データセットにおいて, 複数の参照訳を持つ原文の数および原文を共有する参照訳ののべ数を表 1 に示す. また，一つの原文が持 つ参照訳の個数の分布を図 1 に示す. 機械翻訳タス クによく用いられる対訳コーパスに，一つの原文が 複数の参照訳を持つ例が無視できない割合で存在す ることがわかる.

一方で，既存の機械翻訳モデルの学習時に，対訳 コーパス内に前述のような例が存在するという情報 は明示的には用いられない. そこで，本研究では一 つの原文が複数の参照訳を持っているという情報を 明示的にモデリングした機械翻訳モデルの学習損失 を提案する。

提案手法により，対訳コーパス内に存在する，原表 1 学習データセットの統計量

文が複数の参照訳を持っているという情報を機械翻訳モデルの学習に明示的に使用することができ，機械翻訳モデルの性能向上が見込まれる。なお，本研究では機械翻訳タスクのみを扱うが，提案手法は機械翻訳に限らず自己回帰生成を用いた文章生成全体 に適用可能である.

## 2 関連研究

本研究では文レベル最適輸送損失 [3] を用いる.文レベル最適輸送損失は，モデルの生成文と参照訳 を埋め込み空間上の点の集合とみなして得られる 二文間の最適輸送コストであり，自動微分可能な最適輸送アルゴリズムである IPOT[4]を用いて計算す ることでモデルの損失として学習に用いるもので ある。旧来の最尤誤差損失に加えて文レベル最適輸送損失を学習に用いることにより LSTM ベースの GNMT モデル [5] の性能を向上させることが，検証 により示されている [3].

各時刻における次単語予測の最尤誤差の総和とし て計算される旧来の最尤誤差損失よりも，生成文と 参照訳の間の最適輸送コストである文レベル最適輸送損失を活用する方が，複数の参照訳が存在すると いう情報をモデリングするのに適切であると考え， この既存研究に注目した。

## 3 提案手法

## 3.1 損失の定義

提案手法では文レベル最適輸送損失 [3] を用い て，一つの原文が複数の参照訳を持っているとい う情報を明示的に学習に利用する. 文レベル最適

図 1 原文が持つ参照訳の数 $x$ (横軸) と，参照訳を $x$ 個持 つ原文の数 (縦軸) の関係

輸送損失は，モデルが生成した訳文 $g$, 参照訳 $r$ に対して，最適輸送アルゴリズム IPOTを用いて $\mathscr{L}_{\text {seq }}(g, r)=\operatorname{IPOT}(g, r)$ と計算される.

データセット内の原文 $s$ に対して，モデルが生成 した訳文を $g$ ，参照訳の集合を $\mathscr{R}=\left(r_{1}, \ldots, r_{n}\right)$ とし たとき，原文 $s$ に対する複数の参照訳を考慮した文 レベル最適輸送損失 $\mathscr{L}_{\mathrm{seq}}^{*}(g, \mathscr{R})$ は, 生成した訳文と 各参照訳から計算される文レベル最適輸送損失の平均または総和とする。すなわち, 複数の参照訳を考慮した文レベル最適輸送損失を

$
\mathscr{L}_{\mathrm{seq}}^{*}(g, \mathscr{R})=\frac{1}{n} \sum_{r \in \mathscr{R}} \mathscr{L}_{\mathrm{seq}}(g, r)=\frac{1}{n} \sum_{r \in \mathscr{R}} \operatorname{IPOT}(g, r)
$

または

$
\mathscr{L}_{\mathrm{seq}}^{*}(g, \mathscr{R})=\sum_{r \in \mathscr{R}} \mathscr{L}_{\mathrm{seq}}(g, r)=\sum_{r \in \mathscr{R}} \operatorname{IPOT}(g, r)
$

と定める。

## 3.2 損失の実装

提案手法はミニバッチ作成の工夫による実現が可能である．具体的には，同一の原文を持つ対訳が同 じミニバッチに入るような制約を課してミニバッチ を作成すればよい。 なお, 本研究では fairseq[6] で実装されているミニバッチ作成のアルゴリズムを利用 し，以下の三通りのミニバッチ作成アルゴリズムを 用いる.

図 2 文対の重複を削除したデータセットにおける，原文 が持つ参照訳の数 $x$ (横軸) と，参照訳を $x$ 個持つ原文の数 (縦軸) の関係

・参照訳の文長が近い文対を集めてミニバッ チを作成する方法 (ベースラインの手法. 以下，"base"と記載)

・同一の原文を持つ対訳が同じミニバッチに 入る制約を設け，参照訳の最大文長が近い 原文を集めてミニバッチを作成する方法 (以下, ”samebatch"と記載)

・同一の原文を持つ対訳が同じミニバッチに入 り，かつミニバッチ内に参照訳を複数持つ原文と参照訳を一つのみ持つ原文が共存しない， という制約を設けて，参照訳の最大文長が近 い原文を集めてミニバッチを作成する方法 (以

下，"divided"と記載)

なお，同一の原文を持つ対訳の数が多すぎて一つの ミニバッチに入りきらない例が存在した場合は，制約を緩和し，複数のミニバッチに分けたうえで，連続する学習ステップで学習に用いられるような処理 を施すこととした。

また，文レベル最適輸送損失の平均をとる式 (1) と総和をとる式 (2) の二種類の計算方法を提案した. これらは，ミニバッチ内で損失の和を計算する際に 単純に総和をとる方法 (ベースラインの手法. 以下 “base” と記載）と，参照訳を $n$ 個持つ原文に関する 損失を $1 / n$ するような重みつき和をとる方法（以
下，“decloss”と記載）により実現可能である。

さらに，本研究で扱うコーパスにおいて，原文・参照訳ともに一致する対訳が散見された. そこで， コーパス内から原文・参照訳ともに一致するよう な対訳の重複を削減する措置 (以下，“deldupl” と表記）をとった. 対訳の重複を削減した後のデータ セットにおける，一種類の原文が持つ参照訳の個数 の分布を表 2 に示す. なお，この処理で削除された 文対の数は, JESC が 1,502 文対, WMT14 En-De が 36,274 文対であった. この処理を行わない手法は以下“base”と表記する.

以上より，実装におけるオプションの種類は

1. ミニバッチ作成の手法: base, samebatch, divided

2. ミニバッチ内の損失の集約に関する手法：base, decloss

3. 重複する対訳の処理に関する手法: base, deldupl のとおりである. 以下ではオプションの選び 方に応じて，手法の表記を“[ミニバッチ作成の 手法 $]+[$ ミニバッチ内の損失の集約に関する手法]+[重複する対訳の処理に関する手法]”のように 記す. 提案手法は samebatch+base+deldupl，または samebatch+decloss+deldupl と表せる.

## 4 実験設定

## 4.1 データセット

本研究では, JESC[1]を用いた英日翻訳と， WMT14 En-De[2] を用いた英独翻訳を行った。

JESC は, MeCab[7]を用いて形態素単位の分かち 書きを行ってから BPEによるサブワード分割を 行った. BPE のマージ回数は, 日本語, 英語ともに 32,000 から文字べースの語彙数を引いた値とした.最終的な英語の語彙数は 31,932 , 日本語の語彙数は 31,604となった.

WMT14 En-De は, fairseq で公開されている前処理 スクリプト1)を用いてデータの前処理および BPE[8] によるサブワード分割を行った。なお，BPEのマー ジ回数は 32,000 とした. 最終的な英語の語彙数は 33,616 , ドイツ語の語彙数は 34,888 となった.

## 4.2 モデル

モデルは Transformer の base モデル [9]を用いた. ベースラインモデルとして，学習に最尤誤差損失の

1) https://github.com/facebookresearch/fairseq/blob/ main/examples/translation/prepare-wmt14en2de.sh
みを用いるモデルを作成した. さらに，最尤誤差損失と文レベル最適輸送損失の和を用いるモデルを 作成した.このモデルは, 提案手法のオプションが base+base+base である場合に相当する。

提案手法として，最尤誤差損失と文レベル最適輸送損失の和を用い, さらにオプションとして samebatch+base+deldupl および samebatch+decloss+deldupl を用いるモデルを作成した。

さらに，アブレーション実験として， 3.2 節に示 した提案手法のオプションの種類を組み合わせた全 12 種類のオプションについてもモデルを作成した.

## 4.3 学習設定

最適化アルゴリズムとして Adam[10]を用いた.学習率は固定の値とせず，ウォームアップステッ プ中の学習率は初期学習率の $10^{-7}$ から最大学習率に線形に推移するようにし, ウォームアップ ステップ以降はステップ数の平方根に反比例す るように学習率を減衰させた. 学習率の最大値 は, $\{0.0001,0.0002,0.0005,0.000666,0.001\}$ から探索 を行った. ウォームアップステップ数は, JESC の 場合 6,000, WMT14 En-De の場合 27,000とした.

ドロップアウト率は 0.3 とし, 最尤誤差損失の計算時に平滑化値 0.1 のラベル平滑化 [11]を行った.

文レベル最適輸送損失では Soft-copying mechanism は適用しないものとし, 微分可能な文章生成のため に $\operatorname{argmax}$ の代わりに温度 $\tau=0.1$ の Soft-argmax を 用いた. 最尤誤差損失に足し合わせる際の重みパラ メータ $\gamma$ は 0.1 とした.

ミニバッチサイズは 1GPU あたり 3,584トークン とし， NVIDIA Tesla P100 GPU を 4 つ用いて学習を 行った.

最大学習ステップ数は 150,000 とした. 1 エポッ ク毎に検証データセットに対するモデルの損失を計算し，損失が一番低いモデルを選択した。

## 4.4 評価方法

各条件においてモデルを 1 回のみ学習し, 評価を 行った. 評価指標は BLEU とし, 脱トークン化した 生成文に対して sacreBLEU[12]により算出した. た だし，JESC を用いた評価時には，目的言語側であ る日本語のテストセット内の文を $\mathrm{MeCab}$ を用いて 形態素単位に分かち書きしてから評価に用いた.

生成時のビームサーチの探索幅については, JESC の場合 1 から 10 までの間で 1 刻みに探索を行っ

た. WMT14 En-De の場合は， 4 に固定した. ビー ムサーチに付随する文長に対する罰則は，JESC， WMT14 En-De ともに 0.5 から 1.5 までの間で 0.1 刻 みに探索を行った。

## 4.5 追加実験

4.3 節に示した学習設定で実験を行ったところ, WMT14 En-De における BLEU スコアが先行研究 [9] で報告されている値よりも著しく低いものとなっ た.そこで，追加実験として，WMT14 En-Deを用 い，学習パラメータを変えて再度実験を行った. 前述した 1 回目の実験と異なる点は，ミニバッチサイ ズを 1GPU あたり 4,096トークンとし, update_freq を 2 とすることで実質ミニバッチサイズを $1 \mathrm{GPU}$ あたり 8,192 とした点, 学習率を 0.0007 とした点, ウォームアップステップ数を 4,000 とした点， ド ロップアウト率を 0.1 とした点である.

## 5 実験結果

実験結果を表 2 に示す. なお，ベースラインモデ ルの一つである base+base+base よりも高い BLEU ス コアは太字で，各データセットにおける最高スコア は太字十下線で示した。

提案手法である samebatch+base+deldupl は，文レ ベル最適輸送損失を用いたべースラインモデルで ある base+base+base よりも一貫して高い性能を示し た.この結果から, 文レベル最適輸送損失を用いて 学習を行う際に samebatch+base+deldupl の提案手法 を追加することの有効性は示された。

一方で，JESC および WMT14 En-De の一回目の実験において, 文レベル最適輸送損失を用いたすべて のモデルが旧来の最尤誤差損失のみを用いるモデル に劣る結果となった. WMT14 En-Deの二回目の実験においても, 文レベル最適輸送損失を用いたべー スラインモデルをはじめとする複数のモデルが旧来 の最尤誤差損失のみを用いるモデルに劣る結果を示 した. この原因として，本実験におけるパラメータ のチューニングが不足しており文レベル最適輸送損失の効果を引き出しきれていないこと，または文レ ベル最適輸送損失の有効性が限定的であることが考 えられる。

また，アブレーション実験を見ると，複数の参照訳を持つ原文の割合が比較的高かった JESC におい て，バッチ作成アルゴリズムに divided を用いた際 の結果が base+base+base よりも 0.4 ポイント以上低表 2 テストデータセットに対する BLEU スコア. dec. は decloss，del. は deldupl の適用の有無を示す.

 & & & & & \\

base & $\times$ & $\times$ & 13.45 & 24.47 & 25.87 \\

samebatch & $\bigcirc$ & $\bigcirc$ & $\mathbf{1 3 . 7 0}$ & $\mathbf{2 4 . 6 2}$ & 25.64 \\
base & $\bigcirc$ & $\times$ & $\mathbf{1 3 . 7 1}$ & $\mathbf{2 4 . 6 3}$ & $\mathbf{2 6 . 1 4}$ \\
base & $\times$ & $\bigcirc$ & 13.40 & $\mathbf{2 4 . 6 4}$ & $\mathbf{2 6 . 0 3}$ \\
base & $\bigcirc$ & $\bigcirc$ & 13.28 & $\mathbf{2 4 . 6 0}$ & 25.71 \\
samebatch & $\times$ & $\times$ & 13.19 & $\mathbf{2 4 . 6 5}$ & $\mathbf{2 6 . 1 4}$ \\
samebatch & $\bigcirc$ & $\times$ & 13.10 & $\mathbf{2 4 . 5 4}$ & $\mathbf{2 6 . 1 5}$ \\
divided & $\times$ & $\times$ & 12.53 & $\mathbf{2 4 . 6 5}$ & 25.81 \\
divided & $\bigcirc$ & $\times$ & 13.00 & $\mathbf{2 4 . 6 2}$ & 25.81 \\
divided & $\times$ & $\bigcirc$ & 12.47 & 24.38 & $\mathbf{2 5 . 9 2}$ \\
divided & $\bigcirc$ & $\bigcirc$ & 13.04 & 24.33 & 25.85 \\

くなっている. さらに，バッチ作成アルゴリズム に samebatch を用い, deldupl を適用しなかった場合 についても base+base+base より劣る結果となってい る.このことから，複数の参照訳を持つ原文の割合 が高く，一つの原文に対して多数の参照訳が紐づく 例が存在するデータセットにおいては, 参照訳の数 が極端に多い原文に影響を受けて，バッチ作成アル ゴリズムを divided にするとバッチ作成時の制約が 強すぎてモデルの学習がうまくいかないこと, そし て samebatch を用いる場合も deldupl を適用しないと 有効なバッチの作成が行えないことが考えられる.

## 6 おわりに

本研究では，コーパス内の原文が複数の参照訳を 持っているという情報を，機械翻訳モデルの学習に 明示的に用いる手法を提案した. 実験において提案手法は旧来の最尤誤差損失のみを用いる学習手法に 劣る結果となったが，文レベル最適輸送損失を用い るモデルに限れば提案手法が既存手法よりも良い性能を示した。

今後取り組むべき課題として，モデル学習時のパ ラメータの探索を行うことが挙げられる。

今後の展望としては, データセット内の複数参照訳を持つ原文の割合が提案手法の性能に与える影響 を調査することを検討している。また，近年機械翻訳を含む幅広いタスクで活用されている近傍事例を 用いて，提案手法を拡張することを検討している。

## 謝辞

研究について貴重なコメントをくださった山中光

さん，飯島慧さん，論文のレビューをくださった石渡太智さん，伊藤光一さん，鈴木偉士さんに感謝の 意を表す。

## 参考文献

[1] Reid Pryzant, Youngjoo Chung, Dan Jurafsky, and Denny Britz. JESC: Japanese-English subtitle corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[2] Ondřej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, and Aleš Tamchyna. Findings of the 2014 workshop on statistical machine translation. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 12-58, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.

[3] Liqun Chen, Yizhe Zhang, Ruiyi Zhang, Chenyang Tao, Zhe Gan, Haichao Zhang, Bai Li, Dinghan Shen, Changyou Chen, and Lawrence Carin. Improving sequence-to-sequence learning via optimal transport. In International Conference on Learning Representations, 2019

[4] Yujia Xie, Xiangfeng Wang, Ruijia Wang, and Hongyuan Zha. A fast proximal point method for computing exact wasserstein distance. In Ryan P. Adams and Vibhav Gogate, editors, Proceedings of The 35th Uncertainty in Artificial Intelligence Conference, Vol. 115 of Proceedings of Machine Learning Research, pp. 433-453. PMLR, 22-25 Jul 2020.

[5] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation, 2016.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[7] MeCab: Yet Another Part-of-Speech and Morphological Analyzer. https://taku910.github.io/mecab/.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units.
In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 59986008. Curran Associates, Inc., 2017.

[10] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[11] Gabriel Pereyra, George Tucker, Jan Chorowski, Lukasz Kaiser, and Geoffrey Hinton. Regularizing neural networks by penalizing confident output distributions, 2017.

[12] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.
 宮崎桂輔 徳永健伸 東京工業大学 情報理工学院 \{miyazaki.k.am@m, take@c\}.titech.ac.jp  