# Positional Encoding への摂動付与による長さ制御を用いた 非自己回帰型機械翻訳のための知識蒸留

岡佑依 須藤 克仁 中村哲
奈良先端科学技術大学院大学
\{oka.yui.ov2, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

近年, ニューラルネットを用いた機械翻訳（NMT） の手法が多く考案されている。これらの手法におい て，注視機構を用いた自己回帰型エンコーダ・デ コーダモデルは自然性があり高い精度の翻訳結果を 残している. 特に，Transformer[1] は Self-Attention, Multi-Head Attention, Positional Encoding という独自 の機構を利用して，高い精度の翻訳結果を残した。我々の研究 [2] では，高瀬ら [3] が提案した長さ制約付き Positional Encoding を機械翻訳に適用し，摄動 を加えることによって翻訳精度を改善した. さらに 通常の Transformer と比べ長く出力することを可能 とした. また，推論時に与えられる長さが参照訳の 長さと一致する場合，大きく翻訳精度を改善した。

非自己回帰型エンコーダ・デコーダモデルは，自己回帰型モデルと比べ高速な翻訳を可能とするが，翻訳精度は低く, 通常の自己回帰型モデルと比べて さらに短い文を生成する傾向にある。

本研究では，長さ制約つき Positional Encoding へ の摂動を用いて知識蒸留をすることで非自己回帰型モデルの翻訳精度の改善を試みた。さらに，既存の非自己回帰型モデルの一つである Levenshtein Transformer[4] に長さ制約付き Positional Encoding へ の摂動を適用することで長い文を生成し，訳抜けを 改善することを試みた。

## 2 関連研究

## 2.1 Positional Encoding による出力長制御

Positional Encoding（以下，PE）は, Transformer の エンコーダ・デコーダ両者において各埋め込み表現 に対し，その位置に対応した絶対的な値を足し合わ せることで位置情報を与える役割を持つ. その時足 し合わせる値は正弦関数と余弦関数の式で表され
る. トークンの位置を pos, 埋め込み表現の次元数 を $d$ とすると $i$ 番目の次元の埋め込み表現に足し合 わせる $P E$ は以下のようになる. このとき，偶数次元は正弦関数，奇数次元は余弦関数で定義される.

$
\begin{gathered}
P E_{(p o s, 2 i)}=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right) \\
P E_{(p o s, 2 i+1)}=\cos \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right)
\end{gathered}
$

高瀬ら [3] はデコーダ側の PE の式に所望の出力長 の値を組み込んだ。これにより，文生成時に所望の 出力長までの残りのトークン数を考慮することが可能である。提案された式は終端までの比率に応じた LRPE (length-ratio positional encoding), 終端までの差 に応じた LDPE (length-difference positional encoding) の 2 種類がある，例えば LDPE は以下のように表さ れる。

$
\begin{gathered}
L D P E_{(p o s, l e n, 2 i)}=\sin \left(\frac{\text { len }-p o s}{10000^{\frac{2 i}{d}}}\right) \\
L D P E_{(p o s, l e n, 2 i+1)}=\cos \left(\frac{\text { len }-p o s}{10000^{\frac{2 i}{d}}}\right)
\end{gathered}
$

len は所望の出力長を表す. LRPE，LDPE の值は ベースラインの Transformer の PE と同じように各埋 め込み表現に足し合わせる。また，エンコーダ側に はベースラインの Transformer と同様の PE の式が適用される。

## 2.2 長さ制約付き Positional Encoding への 摂動

機械翻訳において，LRPE，LDPE を用いると，出力長制御性と引き換えに翻訳精度が大きく落ちる ことがわかっている.これを改善するため，長さ 制約付き PEへの摄動 (Perturbation into Length-aware Positional Encoding)を，我々は[2]で提案した. LDPE に摂動を与える場合，以下の式で定義される。
$\operatorname{perLDPE_{(pos,len,2i)}}=\sin \left(\frac{\text { len }- \text { pos }+ \text { perturbation }}{10000^{\frac{2 i}{d}}}\right)$

$\operatorname{perLDPE_{(pos,len,2i+1)}}=\cos \left(\frac{\text { len }- \text { pos }+ \text { perturbation }}{10000^{\frac{2 i}{d}}}\right)$

摄動 perturbation は学習時，ある特定の整数の範囲から一様分布に基づいて選択され, 文単位ごと に足し合わされる. 我々は [2] において，摄動範囲 $[-2,2], \quad[-4,4]$ の負の値も含める範囲で実験を行っ た. さらに，大規模言語モデル BERTを用いて推論時の出力長の予測を行うことで翻訳精度を改善し た. また，参照訳と同じ長さを LDPE，LRPE に入力 するとき，翻訳精度は大きく改善することが明らか になっている.

## 2.3 Levenshtein Transformer

非自己回帰型ニューラル機械翻訳モデル (以下， NAT) は，各ステップの出力トークンを次のステッ プの入力に利用する自己回帰 (autoregression) に基 づいて翻訳するモデル (以下，AT) とは異なり，自己回帰を用いず文内のトークンを並列に予測する プロセスを繰り返して翻訳を行う [5].これによっ て並列計算が可能になり, 非常に高速な翻訳を実現する. Jiatao Gu ら [4] が提案した，NAT モデルの 一つである Levenshtein Transformer は，空トークン <PLH>を插入する (placeholder) 機構，空トークンに 単語を挿入する (insert) 機構，不必要なトークンを削除する (deletion) 機構の 3 つのデコーダを持つ. デ コーダでは全て Position Embedding が用いられてお り, 各 embedding はエンコーダ, デコーダで共有さ れる. 翻訳時に，これら 3 つの処理を繰り返し行う ことで高速かつ Transformer に近い翻訳文生成を可能にした.

## 2.4 知識蒸留

上述した NAT モデルは高速な翻訳を実現するが，翻訳精度は AT と比べ大きく劣る.これを改善する ため，NAT モデルを訓練する際，既存の AT モデル を用いて知識蒸留した訓練データを用いる。この 時，AT モデルは教師モデル (通常，Transformer が用 いられる)，NAT モデルは生徒モデルとなる。これ によって，高品質な AT モデルの出力を NAT モデル に模倣させることが可能であり，NAT モデルの翻訳精度は教師モデルである AT モデルに依存する [6].

## 3 提案手法

Levenshtein Transformer

提案手法

図 1 Levenshtein Transformer と提案手法の比較

通常の知識蒸留を用いた Levenshtein Transformer と提案手法の流れを図 1 に示す。

## 3.1 長さ制約つき Positional Encoding への 摂動を用いた知識蒸留

本研究では，この知識蒸留で教師モデルとして用 いる Transformerに長さ制約付き $\mathrm{PEへの}$ 摂動を適用 することで，生徒モデルである NAT モデルの翻訳精度を改善する手法を提案する．知識蒸留における 訓練データの翻訳時において出力すべき長さが既知 (正解参照訳長が存在する) であるため，翻訳時に 長さ制約付き $\mathrm{PE}$ に入力する長さは参照訳の長さを 入力する. これにより教師モデルである AT モデル が出力する翻訳文の精度を改善することで，生徒モ デルである NAT モデルの翻訳精度の改善が期待さ れる。

## 3.2 長さ制約つき Positional Encoding への 摂動を用いた Levenshtein Transformer

さらに, Levenshtein Transformer の空トークン <PLH>を插入する機構 (placeholder) に長さ制約付

る機構は placeholder のみであることから，挿入機構 (insert), 削除機構 (deletion) には通常の position embedding を適用した.また, エンコーダ側も position embedding を適用した. 先行研究では $[-2,2]$ のように負の值も PEへの摂動範囲に加えるが，本研究では $[0,2]$ のように正の値のみを摂動範囲と して適用する。これは，モデルができるだけ長い 文を生成するように学習するためである。また， Levenshtein Transformer ではエンコーダ・デコーダ間 の embedding を共有して学習するが，提案手法では 共有しないとする。 そして翻訳時では, [2] と同様,学習済み言語モデルで予測した長さを入力する場合 と, [7] と同様に，原言語文の長さを入力する場合を 検証する。

## 4 実験

## 4.1 実験設定

提案手法による知識蒸留と Levenshtein Transformer の性能を調べることを目的とし，実験を行っ た. 本研究では，英日・英独翻訳をタスクとし た. データセットには，英日翻訳には対訳コーパ ス ASPEC[8], 英独翻訳には WMT14[9] を用いた. ASPEC は 1,783,817 文対の学習データ，1,790 文対の 開発データ，1,812 文対のテストデータからなり, 今回学習には 100 万文対の学習データである train-1.txt のみを使用した. 英語及び日本語の入出力はサブ ワードとし, Sentencepiece[10]を使いトークナイズ を行った. このとき, 語彙サイズは 16,000 とし, 言語間で共有した. WMT14 は, Stanford NLP group ${ }^{1)}$ で配布された前処理済みのデータセットを用いた。学習データは 440 万文対で構成され, 各文は 50 語以内で構成される. 開発データには 3,000 文対で構成 される newstest2013, テストデータには 2,737 文対で 構成される newstest2014を用いた. トークナイズ方法は ASPEC と同様であり, 語彙サイズのみ 32,000 とした。実装には fairseq[11]を用いた。 ハイパーパ ラメータは全てにおいて2)と同じにした。

本研究ではlen に出力文のトークン長を与え る.このトークン長は Sentencepiece でトークナイ ズされたときのものである. 教師モデルのベー スラインには, sinusoidal Positional Encoding を用い た base Trasnformer を, 生徒モデルのベースライン には, Position Embedding を全デコーダに適用した Levenshtein Transformerを用いた. 提案手法では，知識蒸留に用いる教師モデル Transformer に適用する 長さ制約付きPEはLDPEを用い, 学習時に与える摂動範囲は英日翻訳の時 $[-4,4]$, 英独翻訳の時 $[-6,6]$ とした. また, 生徒モデル Levenshtein Transformer に 適用する長さ制約付き PE は LDPE を用い，学習時 に与える摄動範囲は $[0,2]$ のみとした.

翻訳時，英日翻訳では [2] と同様に，BERT[12]の エンコーダーの最後の層にある $[\mathrm{CLS}]$ ベクトルの出力を回帰問題として出力長を予測した. 英独翻訳で は [7] と同様に原言語文長の長さをLDPE の入力と した. さらに，両方の翻訳において参照訳の長さを 入れた場合も比較した.


表 1 知識蒸留の教師モデルとして用いた AT モデルの比

表 2 日英対訳コーパス ASPEC における NAT モデルの

翻訳文の評価手法には機械翻訳の自動評価として 一般的な BLEU[13] とサブワード単位の Length ratio を用い，sacreBLEU[14] で計算した。また，知識蒸留の教師モデルの評価にも [6] と同様，BLEUを用 いる.

## 4.2 実験結果

表 1 に知識蒸留の教師モデルとして用いた AT モ デルの学習データの翻訳精度を示す. 提案手法の知識蒸留法が既存手法よりも文単位の知識蒸留におい て優れていることがわかる.

表 2, 表 3 に各コーパスにおける生徒モデルの 翻訳精度を示す.太文字はベースラインである Levenshtein Transformer より BLEU が向上したもの，下線部は参照訳長が既知の時，すなわち正解長を入力した時 Levenshtein Transformer より BLEU が向上 したものを示す.

英日翻訳では，提案手法である知識蒸留を用いた 場合，全ての生徒モデルにおいて翻訳精度が改善し た. 通常の Levenshtein Transformer で比べると， 0.3 ポイントの BLEU 値の改善が見られた. さらに，提案する知識蒸留法を用いない場合でも，提案手法で ある Levenshtein TransformerにLDPEへの摄動を適用した時，翻訳精度は改善することがわかった. 参照訳長を用いた場合, 0.6 ポイントの BLEU 値の改善 (34.6) が見られ, 入力長によっては最大 0.6 ポイ ントの BLEU 值の改善が見込めることがわかった. さらに，学習済みモデルで長さを予測し入力するこ とで LR が上がったことも BLEU 值の改善に繋がっ

たことがわかる. しかしながら, 全ての生徒モデル において，BLEU 值は教師モデルとして用いた AT モデルである通常の Transformer に劣る結果となっ た。また，BERTによる長さ予測の精度は，参照訳長との平均トークン誤差が 3.0, トークン誤差分散 が 19.92 であった. 原言語文長と参照訳長との平均 トークン誤差は 6.54 , トークン誤差分散は 72.45 で あった。これは，英日翻訳では，原言語文長ではな く，BERTによって予測された長さの方が参照訳長 に近いことを示している。

英独翻訳では，英日翻訳のような結果は見られな かった. 提案手法である知識蒸留を用いると，同じ Levenshtein Transformer においても BLEU の向上は 見られなかった. さらに，提案する NAT モデルに おいて，原言語文長を用いた場合，BLEU は下がっ た.しかしながら，提案するNAT モデルに参照訳長を用いた時，通常の Transformer より 0.9 ポイント BLEU 值の改善する (31.0)ことがわかった.

## 4.3 摂動範囲による翻訳精度の推移

提案した NAT モデルの摂動範囲を変えることで，翻訳精度が改善するのかを英日・英独翻訳それぞれ で検証した。知識蒸留に用いた教師モデルは表 1 の ベースライン Transformer，実験設定は 4.1 と同じで ある。検証した摄動範囲は $[0,2]$ に加え， $[0,4],[0,6]$ である。表 4 に，実験結果を示す. 英日・英独翻訳両方において，摂動範囲が大きくなるにつれて， Length ratio が下がっていることがわかった. 英日翻訳において，摂動範囲 $[0,6]$ の時，摄動範囲 $[0,2]$ を用いた時と比べて 0.1 の BLEU の改善が見られた が，それ以外で改善は見られなかった. また，英独翻訳では摄動範囲を大きくしてもべースラインの Levenshtein Transformer と比べ翻訳精度の改善は見 られなかった。

## 4.4 考察

実験結果より，提案した知識蒸留は英日翻訳にお ける生徒モデルの翻訳結果の向上に有効であると考 えられる。また，生徒モデルである NAT モデルに 長さ制約付き $\mathrm{PE} へ の$ 摂動を用いた提案手法におい て，参照訳長を用いた場合より BERT による予測長 を用いた場合において翻訳精度が下がった原因は 長さ予測の精度にあると考えられる。これは BP の 値を見比べたとき，参照訳長を用いた場合 BP の値 が大きく変化していることからもわかる．英独翻訳 では提案した知識蒸留と NAT モデル両方において 有効性は見られなかった。しかしながら，提案した NAT モデルに参照訳長を入力した時，翻訳精度は大 きく改善することから，入力する長さを改善するこ とで翻訳精度が改善すると考えられる。

## 5 おわりに

留に用いる教師モデル，そして生徒モデルである Levenshtein Transformerへ適用することを提案した.結果として，最大 0.3 ポイントの BLEU 値の向上が 見られた。英日翻訳において。提案した知識蒸留と NAT モデルは有効であることがわかった. 英独翻訳では出力長予測精度の影響で改善が見られず，よ り高精度な出力長予測が今後の検討課題である.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[2]Yui Oka, Katsuki Chousa, Katsuhito Sudoh, and Satoshi Nakamura. Incorporating noisy length constraints into transformer with length-aware positional encodings. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3580-3585, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[3]Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3999-4004, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4]Jiatao Gu, Changhan Wang, and Junbo Zhao. Levenshtein transformer. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 1118111191. Curran Associates, Inc., 2019.

[5]Jiatao Gu, James Bradbury, Caiming Xiong, Victor O.K. $\mathrm{Li}$, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018.

[6]Chunting Zhou, Jiatao Gu, and Graham Neubig. Understanding knowledge distillation in non-autoregressive machine translation. In International Conference on Learning Representations, 2020.

[7]Surafel Melaku Lakew, Mattia Di Gangi, and Marcello Federico. Controlling the Output Length of Neural Machine Translation. In Proceedings of the 16th International Workshop on Spoken Language Translation (IWSLT 2019), October 2019.

[8]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[9]Ondrej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, and Aleš Tamchyna. Findings of the 2014 workshop on statistical machine translation. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 12-58, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.

[10]Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[11]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[12]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[13]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.
 岡佑依 須藤 克仁 中村哲 奈良先端科学技術大学院大学 \{oka.yui.ov2, sudoh, s-nakamura\}@is.naist.jp  