# 人エデータでの事前学習によるニューラル機械翻訳の性能向上

田村弘人平澤寅庄 金輝槡 岡照晃 小町守
東京都立大学
\{tamura-hiroto, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

転移学習において非言語データで事前学習するこ とで，言語情報以外のどのような特性が転移される かの研究が行われている $[1,2,3,4]$. ニューラル機械翻訳 (NMT) においては Aji ら [5] が人エデータで 事前学習した場合，事前学習なしのモデルよりも高 い性能を示したと報告している。しかし彼らはそれ ぞれ 1 種類の人工データ，事前学習法でしか実験し ていない. 本研究では様々な特性を持つ人工データ を用意し，2つの目的関数を用いて事前学習した場合の NMT での性能を比較調査する。また転移学習 に対する ablation studyを行い，各事前学習データ，事前学習法でモデルの各コンポーネントへの影響を 調査した. 結果として, トークンの頻度情報を持た せた人工データで事前学習したモデルは，実データ で事前学習したものよりも高い性能を示した.

## 1 はじめに

転移学習は NMT の性能向上に効果的な手法であ り，特に少資源状況において顕著な性能改善が見ら れる $[6,7,8,9,10]$. 言語情報の知識転移が性能向上 の主な貢献とされる一方，様々なタスクにおいて人 エデータで事前学習することで，言語情報以外のど のような特性が転移されるかが調査されている。

Chiang と Lee [3] は Transformer [11] ベースの言語 モデルで，事前学習データ内の意味以外のどのよう な特性が下流タスクの性能に影響するかを調査し た. 人工データで事前学習し GLUE [12] タスクでの 性能を評価した結果，事前学習なしの場合よりも高 い性能を示した. Transformer ベースの系列変換モデ ルでは Krishna ら [4] が要約タスクにおいて，人工 データで事前学習したモデルが実データで事前学習 した場合に匹敵する性能を示したと報告している。

Aji ら [5] は NMT において，人工データを用い た自己符号化で事前学習することで事前学習なしの
モデルよりも高い翻訳性能を示し，特に少資源言語対において顕著な性能向上が見られた. しかし彼ら の実験はランダムな数字列で構成された人工データ でのみ実験しており，他の特性を備えた人工データ での実験は未調査である。また事前学習法として自己符号化を採用しているが，他の学習法での翻訳性能に対する影響も未知である.

そこで本研究では，下流タスクをNMT として 様々な種類の人工データを用いて事前学習するこ とで，NMT でどのような特性を持った人工データ が翻訳性能に効果的かを調査する。 また事前学習法 として，自己符号化と MAsked Sequence to Sequence pre-training (MASS) ${ }^{1)}$ [9] を選択し，事前学習法ごと の人工データの特性の影響も調査する。さらに転移学習に対して ablation studyを行い，事前学習時の データセットや学習法ごとにモデルのどのコンポー ネントの転移が性能に貢献しているか，反対にどれ をファインチューニングした方が良いかを調査す る. 本研究での主な貢献は以下の通りである：

1. 対訳データが少資源の場合，人工データでの事前学習により，事前学習なしのモデルよりも高 い性能を示した2).

2. 事前学習法が自己符号化の場合，トークンの頻度情報を含めた人工データで事前学習すると，実データの場合よりも高い性能を示した。

3. 事前学習法が MASS の場合，人工データでの学習は不十分であり実データで訓練する必要があ ることを示した。

4. Ablation study により事前学習法が自己符号化 の場合，頻度情報を学習した encoders が下流夕 スクの主な性能の要因であることを明らかに した.

1） MASS は Song ら [9] によって提案された系列変換の masked language model であり，多量の単言語データで事前学習するこ とで特に少資源 NMT で顕著な性能向上が確認されている。

2）多資源状況では性能向上が見られなかったため，対訳デー タを 3 万文対， 10 万文対として実験を行った.

## 2 事前学習データ

## 2.1 実データ

本研究では英語からドイツ語への翻訳タスクに おける人工データを用いた事前学習の影響を分析 する. ファインチューニング時に使用する対訳デー タは WMT14 [13] の英独翻訳タスクから獲得して いる.そのため事前学習に用いる英語, ドイツ語 データもドメインの観点から同じくWMT14 の対訳 データから抽出し, 各言語の単言語データとして 扱った。

English (En) 全対訳データの英語側から，ファイ ンチューニング時に使用する訓練データと重複しな い文をランダムに抽出する。

German (De) “English” と同様にドイツ語データ を抽出する。

English + German (En + De) "English", "German"で のデータサイズが約 5,000 万トークンになるように， それぞれの言語データから文を抽出し，混合する。

## 2.2 人エデータ

本研究で使用する人工データは全て数字列で構成 される. 具体的には，0から（ファインチューニン グに使用する対訳データの語彙サイズ - 1）の範囲 の整数が人工データの語彙に含まれる ${ }^{3}$. 系列長は 全て 128 である.

Random 各数字は語彙の一様分布から独立に抽出され，系列が作成される.

Unigramファインチューニングで使用する対訳 データから unigram 分布を作成し, その分布に沿っ て数字を独立に抽出し系列を作成する。

Zipf Zipf 分布（式 1）から独立に各数字が抽出さ れ，系列が作成される。

$
f(k ; s, N)=\frac{1 / k^{s}}{\sum_{n=1}^{N}\left(1 / n^{s}\right)}
$

ここで $N$ はトークンの要素数, $k$ はトークンの頻度順位， $s$ は分布を特徴付ける指数であり, $s$ が小さい ほど滑らかな分布になる. 本実験では $s=1.0$ とし た. “Unigram”では対訳データから分布を求めてい るが，この手法では一切実データを用いていない.


表 1 異なる対訳データサイズにおける, 事前学習法,事前学習データごとのテストセットでの BLEU スコア. “N/A” は事前学習なしのモデルを表す。“AE” は自己符号化を表す。

## 3 実験設定

事前学習データのデータサイズは約 1 億トーク ンである.ファインチューニングに使用する対訳 データは全対訳データ約 450 万文対からランダムに 3 万文対と 10 万文対を抽出し，それぞれのデータサ イズでNMT モデルの訓練を行った。開発セットは newstest2013，テストセットは newstest2014を使用し た. 全ての実データは $\mathrm{Moses}^{4}$ [14] で正規化，トー クン化し，その後 BPE [15] でサブワード化を行っ た. BPE の語彙サイズは対訳データが 3 万文対, 10 万文対の場合それぞれ 8,000，16,000である。また 事前学習時に使用する実データは上で学習した語彙 を用いてサブワード化する。

全ての実験は Song ら [9] のコード5)を用いて行っ た. モデルは Transformer (base)を使用し，事前学習済モデルの重みで初期化後, ファインチューニング を行った。初期化の際，語彙の割り当ては frequency assignment [5]を採用している。主なハイパーパラ メータは付録 A に示す. 事前学習の更新回数は 10 万ステップである. ファインチューニング時は early stopping を採用しており，開発セットでのロスが 10 エポック間減少しなかった場合，訓練を終了する。事前学習は各データセットで 1 回だけ行い，ファイ ンチューニングと事前学習なしのモデルの訓練は 異なるシードで 3 回行った. 評価は SacreBLEU6) 7) [16] を用いて, case-sensitive BLEUを計算した. 報告する全てのスコアは 3 つのシードでの平均値で ある.
+tok.13a+version.1.5.1
}

## 4 結果

表 1 にファインチューニング時の各対訳データサ イズにおける，事前学習法，事前学習データごとの テストセットでの BLEU スコアを示す.

対訳データサイズ：3万事前学習法が自己符号化の場合は, 全ての事前学習データで，事前学習な しの場合よりも性能向上が見られる（貢献 1). 実 データで事前学習したモデルは “Random”よりは良 い性能であるが，下から 2 つの人工データでのモデ ルより低い性能を示している。 “Unigram” と “Zipf" は頻度情報のみを考慮したデータセットであること から，頻度情報のみを学習することで十分な性能が 発揮できることを示している (貢献 2). 事前学習法 が MASS の場合は，人工データで事前学習したモデ ルは事前学習なしのものよりも高い性能ではある が，実データで事前学習したモデルが人工データで の事前学習よりも明らかに高い性能を示している。実データは共起性や構造性など頻度以外の情報も含 んでいる。よって MASS では頻度情報は性能に貢献 するが，頻度以外の情報も学習することで更なる性能向上が達成されることを示している（貢献 3).

対訳データサイズ：10万 自己符号化の場合，全 ての事前学習データで，事前学習なしの場合よりも 性能が悪化しており, どのデータでも同程度のスコ アが得られる. MASS の場合も全事前学習データ で，事前学習なしの場合よりも低いスコアしか達成 できないが，人工データよりも実データで事前学習 した方が良いという傾向はデータサイズが 3 万の時 と同じである.これらから対訳データサイズが 10 万の場合は, 各事前学習法, 事前学習データで性能向上が見られなかった.

以上の結果から 5 節では対訳データサイズを 3 万 とし, 各事前学習法, 事前学習データによるモデル の各コンポーネントへの影響を分析する。

## 5 分析

4 節では各事前学習法により，実データで訓練 した場合と, 人工データでの場合とで異なる結果 を確認した．これを受け，事前学習データが “En” と “Zipf” の場合の各事前学習法での挙動を確認す る. 具体的にはモデルを embeddings (emb), encoders (enc), cross-attentions (x-attn), decoders ( $\mathrm{dec})^{8}$ の の大きく

8） emb は encoder 側と decoder 側, 両方の embeddings を対象と している. enc, dec は self-attentions と layer-norms, feed-forwardnetworksを含む．x-attn は layer-norms を含む.表 2 各コンポーネントを転移した時の，事前学習法，事前学習データごとのテストセットにおける BLEU スコア. “ $\checkmark$ は該当するコンポーネントを転移していることを意味する。

4 つのコンポーネントに分けて転移学習に対する ablation studyを行う.

表 2 に選択的に各コンポーネントを転移し，ファ インチューニングした時の BLEU スコアを示す。ま た，表 3 に全てのコンポーネントを転移した後，あ る部分のみをフリーズしてファインチューニングし た場合の BLEU スコアを示す.

emb の転移の影響 表 2 から事前学習法が自己符号化の場合，embのみを転移した場合を除いて emb の影響はわずかである。emb 以外を全て転移した場合では，全てのコンポーネントを転移した場合より も高い性能を出している (8 行目)。一方で事前学習 データが “En”の時，“Zipf”の場合に比べて emb は 性能に貢献している (1,9行目). 表 3 から，embを フリーズすると両事前学習データとも性能が悪化し ているが，“Zipf”よりも “En”の方が悪影響を受け ている。これは embの重みを enc 側と dec 側とで共有しており，“En”の場合 emb は英語に最適化され ているが，ドイツ語の emb としても使用されている ためである。これに対し “Zipf”では言語横断的な頻度情報のみを $\mathrm{emb}$ は学習しているため性能悪化が小 さいと考えられる．以上から，自己符号化では $\mathrm{emb}$ の情報を少しは転移しているが，ファインチューニ ングで重みが再学習されると考えられる。 そして，主な性能貢献は emb 以外のコンポーネントの影響に よるものであり, それはトークンの頻度の学習で達
成されると推測できる.

MASS の場合，表 2 より明らかに embを転移する と性能向上している。特に事前学習データが “En” だと “Zipf”よりも emb の性能に対する貢献が強い と確認できる。表 3 から embをフリーズした時，両事前学習データとも性能が悪化しているが, “En” よりも “Zipf” の方が悪影響を受けている。これは “En”では文脈的な emb が得られたが, “Zipf” では無理に文脈的な embを獲得しようとして低品質なもの が生成されてしまったからだと考えられる。

enc の転移の影響 自己符号化の場合，表 2 から 事前学習データに依らず enc の転移が性能に貢献し ていることが確認できる（5 8 行目). 表 3 から両事前学習データともに encをフリーズしても何も フリーズしない場合と同程度の性能を出している. よって enc の学習は頻度情報のみで十分であり, 主 な翻訳性能の貢献に繋がると考えられる（貢献 4).

MASS の場合，表 2 より事前学習データが “En” では enc が性能に貢献しているが，“Zipf”では他 のコンポーネントの場合と同程度のスコアである （10 12 行目). 表 3 からは encをフリーズした場合,他のコンポーネントをフリーズした場合よりも低い スコアが見られる. これは MASS で enc が学習した 表現は NMT で必要とされる表現とは異なり，NMT での再学習が必要であることを示している. また事前学習データが “Zipf” の時は大幅な性能低下が見ら れるため, 頻度情報のみでは enc の学習は上手く行 われない。よって MASS では, enc は共起性や構造性を持つ実データでの事前学習が必要であり, 下流 タスクで enc を再学習する必要がある。

x-attn の転移の影響 自己符号化の場合，表 2 か ら事前学習データによらず x-attn のみを転移すると 大幅に性能が下がるため，他のコンポーネント（特 に enc）と組み合わせる必要がある，これはトークン の対応がそのトークン自身とで取られており，NMT で求められるトークンの対応とかけ離れた表現が 学習されているためと考えられる. また, 表 3 でフ リーズしても比較的性能が下がらないのは, 事前学習済み enc と組み合わせているためと考えられる。

MASS の場合，表 2 から “En”ではかなり低いス コアが見られる (3行目).これは英語からドイツ語 へのトークンの対応が学習されていないためと考 えられる。一方で “Zipf”だと大きなスコアの変動は 見れられない。“Zipf”データはトークンが独立に抽出されるため, MASS での学習であまり偏りのない表 3 全てのコンポーネントを転移した後，各部分をフ リーズした時の, 事前学習法, 事前学習データごとのテ ストセットにおける BLEU スコア. “ $x ”$ は該当するコン ポーネントをフリーズしていることを意味する。

トークン同士の対応分布が獲得できたためと考えら れる. 表3でのフリーズの結果は自己符号化と同様 に，事前学習済み enc と組み合わせているため比較的性能が下がらないと考えられる.

$\operatorname{dec}$ の転移の影響 自己符号化の場合，表 2 より 両事前学習データともに同程度のスコアを出してい る（4,12 行目）。表 3 より decをフリーズした場合， enc, x-attn に比べ性能が下がるが，両事前学習デー タで同程度のスコアである. よって decでも頻度の 学習が行われているが，下流タスクで再学習する必要がある.

MASS の場合は表 2 からは両事前学習データとも に同程度のスコアである (4, 12 行目). 表 3 より enc の場合と同様に, “Zipf" で訓練したものは “En”より も性能が低いため実データで学習する必要がある.

## 6 おわりに

本研究では実データ，人工データを自己符号化と MASS の 2 つの事前学習法で訓練し NMT での性能 を調査した。自己符号化の場合は，トークンの頻度 を考慮したデータセットで学習したモデルが実デー タでのものよりも高い性能であったが，MASS では 実データで学習する必要があることを示した.

また転移学習に対する ablation study を行い，モデ ルの各コンポーネントが各事前学習データ, 事前学習法により受ける翻訳性能への影響を調査した。自己符号化の場合, 事前学習データの種類に関わらず embeddings 以外のコンポーネントが主な性能に貢献 しており, encoders がトークンの頻度情報を学習す るだけで高い性能が発揮されることを示した. 一方 MASS では実データで学習することで embeddings が性能に大きく貢献することを示した。

今後の展望として, MASSでも人工データでの事前学習で高い性能を出せるような, 共起性, 構造性 を考慮した人工データの作成を目指している。

## 参考文献

[1] Isabel Papadimitriou and Dan Jurafsky. Learning Music Helps You Read: Using transfer to study linguistic structure in language models. In EMNLP, 2020.

[2] Cheng-Han Chiang and Hung yi Lee. Pre-training a language model without human language. arXiv preprint arXiv:2012.11995, 2020.

[3] Cheng-Han Chiang and Hung yi Lee. On the transferability of pre-trained language models: A study from artificial datasets. arXiv preprint arXiv:2109.03537, 2021.

[4] Kundan Krishna, Jeffrey Bigham, and Zachary C. Lipton. Does pretraining for summarization require knowledge transfer? In Findings of EMNLP, 2021.

[5] Alham Fikri Aji, Nikolay Bogoychev, Kenneth Heafield, and Rico Sennrich. In neural machine translation, what does transfer learning transfer? In ACL, 2020.

[6] Barret Zoph, Deniz Yuret, Jonathan May, and Kevin Knight. Transfer learning for low-resource neural machine translation. In EMNLP, 2016.

[7] Raj Dabre, Tetsuji Nakagawa, and Hideto Kazawa. An empirical study of language relatedness for transfer learning in neural machine translation. In PACLIC, 2017.

[8] Ye Qi, Devendra Sachan, Matthieu Felix, Sarguna Padmanabhan, and Graham Neubig. When and why are pre-trained word embeddings useful for neural machine translation? In NAACL, 2018.

[9] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. MASS: Masked sequence to sequence pre-training for language generation. In ICML, 2019.

[10] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL, 2020.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

[12] Alex Wang, Amanpreet Singh, Julian Michael, Felix
Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In ICLR, 2019.

[13] Ondrej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, and Aleš Tamchyna. Findings of the 2014 workshop on statistical machine translation. In WMT, 2014.

[14] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In ACL, 2007.

[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In ACL, 2016.

[16] Matt Post. A call for clarity in reporting BLEU scores. In WMT, 2018.

## A ハイパーパラメータ

表 4 に本実験で設定した主なハイパーパラメータを示す. word-mask 率は MASS で事前学習を行う際，入力系列をどれだけマスクするかの割合である.

表 4 各事前学習法ごとの事前学習時 (PT) とファインチューニング時 (FT) のハイパーパラメータ.

 & & 4,096 &  & クン & \\


 田村弘人平澤寅庄 金輝槡 岡照晃 小町守 東京都立大学 \{tamura-hiroto, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp \{teruaki-oka, komachi\}@tmu.ac.jp  