# Non-Autoregressive Translation モデルにおける 事前並び替え適用手法の検討

瓦祐希
大阪大学大学院情報科学研究科
kawara.yuki@ist.osaka-u.ac.jp
}

Chenhui Chu
京都大学大学院情報学研究科
chu@i.kyoto-u.ac.jp
}

荒瀬 由紀

大阪大学大学院情報科学研究科

arase@ist.osaka-u.ac.jp
## 1 はじめに

統計的機械翻訳 (SMT) において、原言語と目的言語間の語順の相違は翻訳精度に大きな影響を与える ことが知られている $[8]$ 。この問題を解決する手法 として、翻訳器に入力する前に原言語文を目的言語文の語順に近づくように並び替える事前並び替え手法が提案されてきた $[8,4]$ 。特に英語・日本語間の ように語順の大きく異なる言語対において、事前並 び替えを行うことで SMT での翻訳精度は大きく改善した $[8,4]$ 。しかし、Autoregressive Translation (AT) では、事前並び替えを行なった文をそのまま入力と して使用すると、事前並び替えを行わなかった文を 入力として使用した場合と比較して翻訳精度が低下 することが報告されている $[1,4,5]$ 。

近年では、推論時に翻訳文の全単語を一度に出力する Non-Autoregressive Translation (NAT) が提案さ れ、盛んに研究されている $[2,12,10]$ 。NAT モデル によって翻訳にかかる速度は上昇した。しかし各単語を独立に出力するため、前に出力した単語を考慮 した翻訳が出来ず、AT モデルと比較して翻訳精度 が低下するという問題点がある。また NAT モデル で翻訳を行う際は、デコーダの入力としてエンコー ダの出力をそのままの順序で使用するため、語順の 相違を考慮することが出来ない。

本研究では、NAT モデルにおける事前並び替えの 効果的な適用手法の検討を行う。事前並び替えを行 なった原言語文をエンコーダに入力する手法、エン コーダの出力を並び替える手法、エンコーダの入力 で事前並び替えの情報を使用する方法で検証を行 なった。ASPEC コーパス [9]を使用した英日翻訳実験の結果、NAT モデルでは AT モデルと異なり，事前並び替えを行なった文をそのままエンコーダに入力することで翻訳精度が向上することが明らかと なった。

## 2 関連研究

代表的な AT モデルである Transformer [13] は、 self-attentionを使用して翻訳を行うモデルである。 このモデルは推論の際に以前に出力した単語に基 づいて次の単語の予測を行うため、デコード処理の 並列化ができず、翻訳文の長さに比例した時間がか かる。そこで $\mathrm{Gu}$ ら [2] は翻訳文を一度に出力する NAT モデルを提案した。NAT モデルは AT モデルと 比較すると翻訳速度が大幅に向上したが、各単語を 独立に出力するため周辺の単語に基づいた翻訳が出来ず、翻訳精度が低下してしまうといった問題があ る。特に英語・日本語のように語順の大きく異なる 言語対の翻訳では、語順の考慮が困難である。

Shu ら [12] は潜在変数モデルによる NAT モデル (LaNMT) を提案した。目的言語文の不確かさを低次元の潜在変数によってことでモデリングし、その潜在変数に基づいて翻訳文の出力を行うことでより精度の高い翻訳を可能にしており、最高性能を達成し た翻訳手法の一つである。しかし、エンコーダの出力をそのままの順序で使用してデコーダの入力とし て使用しているため、並び替えは考慮していない。本研究では LaNMT に対し、効果的に事前並び替え を適用する手法を検討する。

Ran ら [10] は、Transformerにより原言語文の語順 を並び替えた隠れ変数を NAT のデコーダに入力す ることで翻訳精度が向上すると報告している。しか し本手法を LaNMT に直接適用することはできず、 また Transformerによる事前並び替えは、AT モデル

図 1 LaNMT モデルの全体図。

と同様、文の長さに比例した時間がかかるという課題がある。

## 3 LaNMT における事前並び替えの 適用

## 3.1 前提知識：LaNMT

LaNMT モデルの全体図を図 1 に載せる。LaNMT は大きく四つのサブモデルからなり、原言語文であ る $x$ から潜在変数 $z$ を予測するモデル、 $x$ と目的言語文 $y$ から $z$ を予測するモデル、 $z$ から目的言語文 の長さ $l_{y}$ を予測するモデル、 $x 、 z 、 l_{y}$ から $y$ を予測 するモデルである。学習は、以下の式 (1) で示され る変分下限を最大化することを目的に学習を行う。

$\mathscr{L}(\omega, \phi, \theta)$

$
\begin{aligned}
& =\mathbb{E}_{z \sim q_{\phi}}\left[\sum_{i=1}^{|y|} \log p_{\theta}\left(y_{i} \mid x, z, l_{y}\right)+\log p_{\theta}\left(l_{y} \mid z\right)\right] \\
& \quad-\sum_{k=1}^{|x|} \operatorname{KL}\left[q_{\phi}\left(z_{k} \mid x, y\right) \| p_{\omega}\left(z_{k} \mid x\right)\right]
\end{aligned}
$

$\omega$ はエンコーダ側の、 $x$ が分かっている時の事前分布をモデル化するパラメータ、 $\phi$ はエンコーダ側 の、 $x$ と $y$ が分かっている時の事後分布をモデル化 するパラメータ、 $\theta$ はデコーダ側のパラメータを表 す。事前分布、事後分布は予測された潜在変数 $z$ か ら linear 層によって計算される。推論時は $y$ は存在 しないため、まず原言語文 $x$ から $z$ の計算を行い、 それをデコーダの入力として使用して翻訳文 $y^{\prime}$ の 予測を行う。それから出力した $y^{\prime} を$ 使用して $z$ の再

図 2 Length-transform の例。この例では、エンコーダの 出力は 6 単語、デコーダへの入力は 4 単語としている。

計算を行い、新たな翻訳文の出力を行う。これを決 められた回数行い、最後の出力を最終的な翻訳文と する。

原言語文の長さと目的言語文の長さは異なる ことがあるため、デコーダの入力はエンコーダ の出力から計算を行う必要がある。LaNMT では length-transform という機構によってエンコーダの出力からデコーダの入力を計算している。図 2 に例を 示す。エンコーダの出力 $z$ からデコーダの入力 $z^{\prime}$ は、以下の式に従って各位置を基準に計算された重 みを使用し $z$ の重み付き和によって計算される。

$
\begin{aligned}
z_{j}^{\prime} & =\sum_{k=1}^{|x|} w_{k}^{j} z_{k} \\
w_{k}^{j} & =\frac{\exp \left(a_{k}^{j}\right)}{\sum_{k^{\prime}=1}^{|x|} \exp \left(a_{k^{\prime}}^{j}\right)} \\
a_{k}^{j} & =-\frac{1}{2 \sigma^{2}}\left(k-\frac{|x|}{l_{y}} j\right)^{2}
\end{aligned}
$

$j$ はデコーダの入力のインデックス、 $k$ はエンコー ダの出力のインデックス、 $a_{k}^{j}$ はデコーダの入力に 対するエンコーダの出力のアテンション、 $w_{k}^{j}$ はデ コーダの大力に対するエンコーダの出力の重みを表 す。各 $z^{\prime}$ に対する重みは式 (3) によってそれぞれの 位置を中心とした正規分布によって計算される。

## 3.2 事前並び替えの適用

本研究では、(1) 事前並び替えを行なった原言語文をエンコーダに入力するシンプルな手法、(2) 潜在変数 $z$ を並び替える手法、(3) 事前並び替えのイン デックスの position encoding を足し合わせる手法に よって事前並び替えの利用の検証を行う。以降では (2) および (3) の手法について説明する。

(2) 潜在変数 $z$ を並び替える手法 LaNMTでは原言語文の潜在変数 $z$ の順番をそのまま使用している

表 1 英日対における翻訳結果。それぞれのモデルのベースラインと $p<0.05$ で有意差があり、精度が向上したものを $\uparrow$ で、精度が低下したものをしで示す。

表 2 英日対における翻訳結果。それぞれのモデルのベースラインと $p<0.05$ で有意差があり、精度が向上したものを个 で、精度が低下したものをしで示す。“w/o knowledge distillation”と “w/ knowledge distillation”の行はそれぞれ knowledge distillation をせず訓練した結果と knowledge distillation して訓練した結果を表す。

が、そのままでは語順の相違を考慮することが出来 ない。そこで潜在変数 $z$ の変換の際に以下の式 (4) に示すように並び替えた後のインデックスを使用す ることで語順の相違を考慮した翻訳が可能になると 期待される。

$
z_{j}^{\prime}=\sum_{k=1}^{|x|} w_{k}^{j} z_{r_{k}}
$

$r_{k}$ は原言語文の $k$ 番目の単語の、並び替えた後のイ ンデックスである。 $z_{k}$ を並び替えてから重み付き 和を計算することで、対応した目的言語文の位置に 近い $z_{r_{k}}$ の重みが大きくなり、並び替えた後の文に おける周辺単語をより考慮した $z^{\prime}$ が計算できる。

(3) 事前並び替えのインデックスの position encoding を足し合わせる手法 ここでは事前並び 替えを利用するため、事前並び替えのインデックス の position encoding を足し合わせる手法を設計する。 Kawara ら [5] は AT モデルにおいて事前並び替えの インデックスによる position encoding を足し合わせ ることで翻訳精度が向上したことを報告している が、NAT モデルにおける効果は定かではない。NAT
モデルにおいて事前並び替えのインデックスによる position encoding を足し合わせることで、エンコー ダで語順を考慮した潜在変数の計算を行うことが可能になる。

## 4 翻訳実験

## 4.1 実験設定

ASPEC コーパス [9] を使用して英日翻訳実験を行 なった。ASPECコーパスに含まれている訓練デー タは 300 万分、開発データは 1,790 文、テストデー タは 1,812 文である。翻訳器の学習には上位 200 万文のうち、原言語、目的言語がともに 3 単語以上 50 単語以下で、かつ単語数の比が 9 未満である約 180 万文を使用した。

英語文の単語分割および品詞タグ付けに は Stanza1）を使用した。日本語の形態素解析は Juman 2) で行なった。

事前並び替え手法として BTG [8] を使用した。事前並び替えモデルは、訓練データのうち上位 50 万

文からランダムにサンプリングした 10 万文を使用して 20 イテレーションの訓練を行なった。単語 クラスタ数は 256 に設定し、単語アライメントは MGIZA $^{3 ）}$ を使用して計算した。

事前並び替えの適用手法 (2) および (3) は Shu ら による LaNMT の公開モデル $\left.{ }^{4}\right)$ 上に実装した。訓練 は 50000 ステップ行なった。分散表現の次元数およ び学習率は Shu らの設定に従った。また Shu らと同様、翻訳は 1 度 refinement した。翻訳結果において 同じ単語が 2 回以上繰り返されている場合は 2 回目以降を除去した。

評価指標として BLEU [6] と RIBES [3] を使用し た。有意差検定はブートストラップ法 [7] に従って 行なった。

## 4.2 実験結果

実験結果を表 1 に示す。ここで Gold-standard は 単語アライメントの計算をした後、アライメント の交差がなくなるように並び替えたものを指す。 AT モデルでは先行研究同様、事前並び替えをその まま使用するとべースラインと比較して BLEU お よび RIBES が低下した (それぞれ -4.33 ポイント、 -2.53 ポイント)。一方、NAT モデルでは事前並び替 えをそのまま使用するとベースラインと比較して BLEU が向上した (+1.87 ポイント)。Gold-standard を使用して学習を行なった翻訳実験では、AT モデ ルにおいても NAT モデルにおいても大幅に翻訳精度が向上した (AT モデルで BLEU が +9.31 ポイン ト、RIBES が +6.17 ポイント、NAT モデルで BLEU が +10.25 ポイント、RIBES が +6.84 ポイント)。こ れは、翻訳の学習において並び替えの情報が有用で あることを示唆している。

zを並び替える方法では、Gold-standard の順に並 び替える方法においても BTG の順に並び替える 方法においてもべースラインより BLEU が低下し た (Gold-standard で -6.43 ポイント、BTG で -8.65 ポイント)。また、position encoding に並び替えのイ ンデックスを使用する方法でも BLEU は低下した (Gold-standard で -1.09 ポイント、BTG で -6.65 ポイ ント)。翻訳精度が低下した原因として、 $z$ を並び替 えることで潜在変数同士の依存関係が崩れてしまっ たためであると考えられる。また、position encoding を足し合わせる手法では、 $z$ の変換では原言語文の


語順をそのまま使用しているため、並び替え後のイ ンデックスが離れている潜在変数の重みが大きくな る場合があるためであると考えられる。

## 4.3 Knowledge Distillation に対する影響

NAT の訓練では、訓練データの参照訳をそのま ま使用するのではなく、AT モデルで翻訳した出力を使用した訓練を行う Knowledge Distillation によ り、翻訳性能が大幅に向上することが知られている $[2,12]$ 。表 2 に、事前並び替えを適用した各モデル において、Knowledge Distillationをし訓練を行なっ た結果を示す。ここで、BTGで AT モデルの訓練を 行うとべースラインよりも精度が低下し結果とし て NAT モデルの訓練結果も低下すると考えられる ため、Knowledge Distillation は全て Gold-standard な 並び替えを行なった文によって AT モデルを訓練し 翻訳したものを使用している。先行研究と異なり、 Gold-standard による Knowledge Distillation で訓練を 行うと、全てのモデルで Knowledge Distillation しな かったものよりも精度が低下した。今回の実験では Byte Pair Encoding (BPE) [11]を適用しておらず未知語が出力されるため、その影響によって Knowledge Distillation による翻訳結果が低下してしまったと考 えられる。Knowledge Distillation における BPE の有無の影響調査は今後の課題である。

## 5 結論

本研究では LaNMT モデルにおける事前並び替え の適用手法について調查を行なった。NAT モデル では AT モデルの場合と異なり、事前並び替えを行 なった文をそのまま入力することで翻訳精度が向上することが明らかとなった。一方、潜在変数を 並び替える手法や事前並び替えのインデックスの position encoding を足し合わせる手法では翻訳精度 が低下した。今後の課題として、よりうまく語順の 情報を活用した NAT モデルの検討が挙げられる。

謝辞本研究は、日本電信電話株式会社コミュニ ケーション科学基礎研究所および科研費\#19K20343 の助成を受けたものである。

## 参考文献

[1] Jinhua Du and Andy Way. Pre-reordering for neural machine translation: Helpful or harmful? The Prague Bulletin of Mathematical Linguistics (PBML), Vol. 108, pp. 171-182, June 2017.

[2] Jiatao Gu, James Bradbury, Caiming Xiong, Victor O. K. Li, and Richard Socher. Non-autoregressive neural machine translation. In Proc. of the ICLR, Vancouver, Canada, Apr-May 2018

[3] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proc. of the EMNLP, pp. 944-952, Cambridge, USA, October 2010.

[4] Yuki Kawara, Chenhui Chu, and Yuki Arase. Recursive neural network based preordering for englishto-japanese machine translation. In Proc. of the $A C L-S R W$, pp. 21-27, July 2018.

[5] Yuki Kawara, Chenhui Chu, and Yuki Arase. Preordering encoding on transformer for translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2020.

[6] Papineni Kishore, Roukos Salim, Ward Todd, and Zhu Wei-Jing. BLEU: a method for automatic evaluation of machine translation. In Proc. of the ACL, pp. 311-318, Philadelphia, USA, July 2002.

[7] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proc. of the EMNLP, pp. 388-395, Barcelona, Spain, July 2004.

[8] Tetsuji Nakagawa. Efficient Top-Down BTG Parsing for Machine Translation Preordering. In Proc. of ACL-IJCNLP, pp. 208-218, Beijing, China, July 2015.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian Scientific Paper Excerpt Corpus. In Proc. of the LREC, pp. 2204-2208, Portorož, Slovenia, May 2016.

[10] Qiu Ran, Yankai Lin, Peng Li, and Jie Zhou. Guiding non-autoregressive neural machine translation decoding with reordering information. AAAI, February 2021.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of the ACL, pp. 17151725, Berlin, Germany, 2016.

[12] Raphael Shu, Jason Lee, Hideki Nakayama, and Kyunghyun Cho. Latent-variable nonautoregressive neural machine translation with deterministic inference using a delta posterior. AAAI,
February 2020.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, pp. 5998-6008. Long Beach, USA, December 2017.
 瓦祐希 大阪大学大学院情報科学研究科 kawara.yuki@ist.osaka-u.ac.jp }  Chenhui Chu 京都大学大学院情報学研究科 chu@i.kyoto-u.ac.jp }  荒瀬 由紀  大阪大学大学院情報科学研究科  arase@ist.osaka-u.ac.jp 