# 英日翻訳のための Positional Encoding を用いた正則化手法

岡佑依 田中貴秋永田昌明
日本電信電話株式会社 コミュニケーション科学基礎研究所
\{yui.oka.vf, takaaki.tanaka.tb, masaaki.nagata.et\}@hco.ntt.co.jp

## 概要

日常会話などで使用される話し言葉，すなわち自由発話における翻訳では，データセット量が少な い，語順の自由度が高いといった問題があり高品質 な翻訳のためにはまだ多くの課題が残っている. 本研究では，句単位の摄動を用いた正則化手法によっ てモデル内で様々な書き言葉文を表現し学習するこ とで翻訳精度の改善を試みる.この句単位の摂動は トークンではなく Positional Encoding に付与するこ とで欠陥文をサンプリングする.

## 1 はじめに

近年，機械翻訳はニューラルネットワークに よって大きく発展した. 特に, Transformer[1]は SelfAttention, Multi-Head Attention, Positional Encoding と いう独自の機構を利用して，高い精度の翻訳結果を 残した。これは英日翻訳でも同様で，高い精度の翻訳が可能である.しかしながら，日常会話などで使用される話し言葉話における翻訳では，データセッ トが少ない，間投詞や言い淀みなどを含む，などと いった問題があり書き言葉の翻訳と比べると翻訳精度はかなり低い。さらに, 日本語など語順の自由度 が高い言語では，話し言葉は書き言葉と比べ語順の 自由度が大きく異なる傾向にある。

一方，摄動を用いた正則化手法 $[2,3,4]$ は，モデル の頑健性の向上に有効であることが示されており，複数の正則化手法を組み合わせることで，推論時の 精度をさらに向上させることが知られている. 例え ば， Word Dropout や Word Replacement などの手法で は，トークン単位の摂動を入力文または出力文に加 えることで欠陥文をサンプリングして学習する.こ れらのトークン単位の摂動は学習中に欠陥文をモデ ル内で表現しており，欠陥文から目的言語文を予測 するよう学習することと同じであると考えられる.

本研究では，英日翻訳における書き言葉の翻訳精度を向上させることを目的とし，Positional Encoding

図 1 提案手法における位置表現の直感的な例. 通常の位置表現とは異なり，，パソコンで，の出現位置がずれた欠陥文同等の位置表現をする。

部分に句単位の摂動を付与することで学習中に欠陥 のある文を表現し，頑健性を向上させることを試み た. 図 1 亿提案手法の直感的な例を示す. 整数範囲 の離散的な摂動を付与することで句単位での摂動を 表現し，IBM Models 3 や 4[5] で作成される欠陥文同等の位置情報を表現する。この時，トークン単位 ではなく，句単位の摂動を付与することで，意味的 に不完全な欠陥文を生成するのではなく，語順が入 れ替えられた文を生成する．実験結果から，話し言葉・書き言葉の英日翻訳において若干の BLEU の改善が見られた。

## 2 関連研究

## 2.1 摄動を用いた正則化手法

正則化手法は，機械学習で過学習を防ぐために使 われる. NMT においても同様であり，モデルのパ ラメータの過学習を防ぐために，損失関数に特定の 項を足し合わせる手法や，入力にノイズ，すなわち 摂動を付与し正確な文を予測するよう学習する手法 などが用いられている。本稿では摄動を用いた正則化手法について述べる。

Gal ら [3] は，確率的にトークンの埋め込みをゼロ ベクトルに確率的に置き換える Word Dropout 法を提案した. Bengio ら [2] は，入力トークンをエンコー ダ側またはデコーダ側のスケジュールドサンプリン グしたトークンに置き換える Word Replacement 法を 提案した。しかし，このようなサンプリングした別

図 2 提案手法による位置表現の例. 通常はトークンごとに絶対的位置表現 $p o s$ を決定するが (1 行目)，提案手法では摄動範囲 $[-1,+1]$ 内で確率的に句単位の摂動 per を決定し（2 行目）通常の絶対位置表現 pos に足し合わせる. (最終行目).

トークンを摂動として使用する手法では，摂動を計算する計算量がかかり学習時間が長くなる傾向があ る. 高瀬ら [4] は，単純な正則化手法を様々に組み 合わせて，学習時間を比較した.その結果，比較的単純な手法である Word Dropout や Word Replacement およびそれらを組み合わせた手法が，計算速度だけ でなく翻訳精度においても従来の Transformerを上回ることがわかった。

## 2.2 Positional Encoding

Sinusoidal Positional Encoding (以下, SPE) は, Transformer のエンコーダ・デコーダ両者において各埋め 込み表現に対し，文中における絶対位置を足し合わ せることで位置情報を与える役割を持つ. その時足 し合わせる值は正弦関数と余弦関数の式で表され る. トークンの位置を pos, 埋め込み表現の次元数 を $d$ とすると $i$ 番目の次元の埋め込み表現に足し 合わせる SPE は以下の式 $(1,2)$ で表される. このと き，偶数次元は正弦関数，奇数次元は余弦関数で定義される.

$
\begin{gathered}
S P E_{(p o s, 2 i)}=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right) \\
S P E_{(p o s, 2 i+1)}=\cos \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right)
\end{gathered}
$

また，上記のような式ではなく，完全に学習可能な Embedding で絶対位置を表現し，同じように各単語埋め込み表現に足し合わせる Position Embedding と いう位置表現手法も存在する。

Relative Position Representation（以下，RPE）は，文中における各単語の相対的な位置を表現する [6]. SPE が各単語埋め込みに足し合わせるのに対し, Self-Attention 内部で表現する.

## 3 提案手法

従来の手法ではトークン単位で摄動を付与してい た.しかし，自然な文をサンプリングするにはトー クン単位ではなく句単位で摂動を付与する方が適切 であると考えられる。一方で従来の手法はトークン 単位の摂動でありながら翻訳精度の改善が期待でき るため従来の手法と組合せな可能な手法を提案す る. 本研究では，SPE内のトークン位置 $p o s$ にトー クン単位ではなく句単位の整数摂動を付与するこ とで日本語の書き言葉文に近い欠陥文をモデル内で 表現する手法を提案する。図 2 に提案手法の位置表現例を示す. SPEに摂動を組み込むことで，他の正則化手法と同様にNMT の頑健性を向上させること ができ，また，モデル構造中の位置表現を操作する ため他の正則化手法と補完することが期待される. さらに，トークン単位ではなく句単位で摂動を付与 することで書き言葉文に近い文を表現し学習するこ とで書き言葉における翻訳での精度向上が期待され る. 提案手法はSPEを拡張した式 $(3,4)$ で表される.

$
\begin{aligned}
& \operatorname{perSP} E_{(p o s, 2 i)}=\sin \left(\frac{p o s+p e r}{10000^{\frac{2 i}{d}}}\right) \\
& \operatorname{perSPE_{(pos,2i+1)}}=\cos \left(\frac{p o s+p e r}{10000^{\frac{2 i}{d}}}\right) \text {, }
\end{aligned}
$

ここで, per は一様分布からの整数摂動である. また，開始トークンの per は常に 0 とする. 例え ば，摄動範囲が $[-1,+1]$ の場合，開始トークンを除 いて $-1,0,+1$ の整数がランダムに決定する. [7] で提案されている on-the-fly subword sampling のように，摂動は文・エポック毎にサンプリングされ，文・エ ポック毎に異なる SPE が各トークンに付加される.摂動は学習中にのみ付与され, 生成時は通常の SPE を使用する。

## 4 実験

実験は大きく次の 3 ステップに分けて行った. (1) まず事前実験として PE の Ablation study を行った. これはエンコーダ・デコーダどちらに摂動を付与す るべきか，それとも従来のまま絶対位置を付与する べきか検討するために行った. (2) 次に話し言葉に おける実験を行った. (3) 最後に書き言葉において も同様に効果があるのかを検証するために書き言葉 における実験を行った。

データセット 英日翻訳の実験のためのデータ セットには，書き言葉の実験には対訳コーパス ASPEC[8], 話し言葉の実験には IWSLT2017[9], 加え て JParaCrawl[10] からランダムに選択した 400 万文 を用いた. ASPEC は $1,783,817$ 文対の学習データ, 1,790 文対の開発データ, 1,812 文対のテストデータ からなり, 今回学習には 100 万文対の学習データで ある train-1.txt のみを使用した. IWSLT2017 はオリ ジナルの 232,423 文対の学習データから Moses[11] の clean-corpus-n.perl 1)を使いクリーニングを 行った 9,250 文対を学習データとして用い, 開発に は dev2010 の 871 文対，テストには tst2015 の 1,194 文対を使用した. JParaCrawl はオリジナルの 1,000 万分からランダムに 400 万文抽出し学習データとし て使用した. 英語及び日本語の入出力はサブワード とし, Sentencepiece[12]を使いトークナイズを行っ た. このとき, 語彙サイズは 16,000 とし, 言語間で 共有した。

実験設定 実装には fairseq[13] を用いた。バッチ サイズは実験 4.1 において 2048, 実験 4.2 において 8192 にした. それ以外のハイパーパラメータは全 てにおいて [1] と同じにした.

摂動 英日翻訳の目的言語側，すなわち日本語側で句構造の解析を行い, 解析結果から句単位の 摂動を付与する. MeCab[14]を使って形態素解析 を行い，MeCab が出力した品詞列に対して正規表現で句単位に区切るルールを定義し, nltk[15] の RegexpParser でチャンキングを行った. このチャ ンキングは学習時に行うと学習時間が膨大となるた め, 学習データ作成時に行いチャンキング結果を目的言語文と共にモデルに渡すことでベースラインと 変わらない速度での学習を行った. 摄動範囲は全て において $[-1,+1]$ に統一し，一様分布に基づいて選択


表 1 ASPEC 英日翻訳における BLEU

される.

評価 翻訳文の評価手法には機械翻訳の自動評価 として一般的な BLEU[16] を用い，sacreBLEU[17]で 計算した.

## 4.1 事前実験

摂動をエンコーダ・デコーダどちら側に付与する べきなのか検証するため，エンコーダ側，デコーダ 側それぞれにおいて通常の SPE(絶対位置)，RPE(相対位置) を付加しない場合の実験を行った. 本研究 では [18] と同様, Query と Key のみに適用する簡略化された RPE を用いた. 実験結果を表 1 に示す.

エンコーダに SPE を付加しない場合，デコーダ における SPE の有無関係なしに大きく BLEU が下 がった. 一方で，デコーダ側の SPE の有無は翻訳精度に大きく影響を与えることはなかった．RPE の場合でも同様の傾向が見られた. したがってエンコー ダ側の絶対的な位置表現が翻訳精度に大きく影響を 与えていることがわかる.

## 4.2 話し言葉・書き言葉における実験

表 3 ASPEC 英口翻訳における BLEU

話し言葉における実験 事前実験から，エンコー ダ側にはSPEによる絶対的な位置情報を与えた方が 良く, デコーダ側の SPE の位置情報の与え方には改善の余地があると考えられた. そこでデコーダ側に 提案手法を適用し実験を行った. IWSLT2017 データ セットと JParaCrawl データセットを使った英日翻訳

の結果を表 2 に示す. 通常, 話し言葉の翻訳では,話し言葉のデータセットのみでの fine-tuning を行う が，この実験結果では fine-tuning は行っていない.結果から，提案手法がベースラインと比べて 0.8 ポ イント BLEU が向上したことがわかる. また，デ コーダ側にSPE を与えなかった場合，ベースライン と比べて 0.1 ポイント BLEUが下がった.

書き言葉における実験 話し言葉と同様に，デ コーダ側に提案手法を適用し実験を行った. 表 3 に ASPEC データセットを使った書き言葉における実験結果を示す. 結果より, ベースラインと比べると 0.4 ポイントの BLEU の向上が見られた. また，デ コーダ側にSPE を与えなかった場合, ベースライン と比べて 0.1 ポイント BLEUが下がった.

## 5 考察

事前実験 事前実験の結果から，デコーダの位置表現が翻訳精度に大きく影響を与えるとは考えに くい. 生成時, Transformer は自己回帰的に生成を行 $い$, 生成した前の単語 (時刻 $\mathrm{t}$ 単語) から次の単語 (時刻 $\mathrm{t}+1$ の単語) の予測を行うようデコーダの Self-Attention ではマスクを行う．このように時系列 に沿った生成を行うため, 位置情報は必要ではない と考えられる。また，絶対位置表現，相対位置表現両方において同じ傾向であったことから，位置表現 の違いやどこで位置情報を足し合わせるかは精度に 大きく関係しないと考えられる。

提案手法 話し言葉，書き言葉における実験では 翻訳精度の改善が見られた. さらに, デコーダ側で SPE を付与しない時と比べても翻訳精度の改善が 見られた. デコーダ側の位置表現が必須でないなら ば，位置表現において正則化を行うことで若干の改善が可能であることを示唆している. 若干の改善し か見られなかったのは，デコーダ側の位置情報が翻訳精度にそれほど大きな影響を与えないことが原因であると考えられる。このように単語埋め込みに 直接作用する摂動を用いた正則化手法 $[2,3,4]$ と比 べると大きく改善するとは言い難いが，提案手法は これらの手法と組み合わせが容易に可能であるた め, 組み合わせることで更なる精度の改善が期待で きる.

トークン単位の摂動 また，先行研究のように句単位ではなくトークン単位で摂動を付与した場合，翻訳精度が改善するのか実験を行った. 表 1 と同じ パラメータで実験を行った結果を表 4 に示す.トー表 4 ASPEC 英日翻訳においてトークン単位の摄動を付与した場合の実験結果. perSPE の摂動範囲はすべて [-2, +2] である.

クン単位の摂動を付与した場合でも若干の翻訳精度の改善 (+0.4 の BLEU の改善) が見られた. また, SPEをデコーダに付与しない場合と比較しても若干 の改善が見られた, これはデコーダ側では絶対位置 を付与するのではなく, 正則化を行う提案手法を適用することで翻訳の改善が見込めることを示すと考 えられる。一方で，エンコーダに摂動を付与したと き翻訳精度がベースラインより下がったことから， エンコーダ側ではやはり絶対的な位置表現をしたほ うがよいと考えられる.

## 6 まとめ

本稿では，書き言葉における英日翻訳のため，句単位の摂動を Positional Encoding に付与する正則化手法を提案した. 実験結果から，書き言葉・話し言葉における英日翻訳それぞれにおいて若干の翻訳精度の改善が見られた。一方で，他の正則化手法と 比べると精度の改善が小さいという問題点もある.今後の課題としては，他正則化手法との組み合わせ の検証，他ランダムシードでの検証などが挙げら れる.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[2] S. Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam M. Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In NIPS, 2015.

[3] Yarin Gal and Zoubin Ghahramani. A theoretically grounded application of dropout in recurrent neural networks. In Daniel D. Lee, Masashi Sugiyama, Ulrike von Luxburg, Isabelle Guyon, and Roman Garnett, editors, Advances in Neural Information Processing Systems 29: Annual Conference on Neural Information Processing Systems 2016, December 5-10, 2016, Barcelona, Spain, pp. 1019-1027, 2016.

[4] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of the 2021 Conference of the North American Chapter of
the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780, Online, June 2021. Association for Computational Linguistics.

[5] Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, and Robert L. Mercer. The mathematics of statistical machine translation: Parameter estimation. Computational Linguistics, Vol. 19, No. 2, pp. 263-311, 1993 .

[6] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Selfattention with relative position representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 464-468, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[9] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Niehues Jan, Stüker Sebastian, Sudoh Katsuitho, Yoshino Koichiro, and Federmann Christian. Overview of the iwslt 2017 evaluation campaign. 2017.

[10] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[11] Philipp Koehn, Hieu T. Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondrej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In ACL, 2007.

[12] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations,
2019.

[14] Taku Kudo. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/, 2005.

[15] Steven Bird and Edward Loper. NLTK: The natural language toolkit. In Proceedings of the ACL Interactive Poster and Demonstration Sessions, pp. 214-217, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[17] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[18] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.
 岡佑依 田中貴秋永田昌明 日本電信電話株式会社 コミュニケーション科学基礎研究所 \{yui.oka.vf, takaaki.tanaka.tb, masaaki.nagata.et\}@hco.ntt.co.jp  