# 対訳データを用いた継続事前訓練による 大規模言語モデルの翻訳精度評価

近藤海夏斗 ${ }^{1}$ 宇津呂武仁 ${ }^{1}$ 森下睦 ${ }^{2}$ 永田昌明 ${ }^{2}$
1 筑波大学大学院 システム情報工学研究群 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
s2320743_a_u.tsukuba.ac.jp utsuro_@_iit.tsukuba.ac.jp
\{makoto.morishita, masaaki.nagata\}_@_ntt.com

## 概要

大規模言語モデルが，多くの自然言語処理タスクで成果を収めている。しかし, パラメーター数が 100 億前後の大規模言語モデルでは，既存手法である Encoder-Decoder モデルより，翻訳精度が大きく劣ることが報告されている。そこで本論文では，対訳データを用いた継続事前訓練を提案する。対訳デー タで大規模言語モデルを継続事前訓練した後，少量の人手データで Supervised Fine-Tuning し, WMT22 のテストデータをはじめとする 12 種のテストセットで評価した.その結果，提案手法を適用したモデルは，対訳データで訓練された Encoder-Decoder モデルより BLEU・COMET の両方で統計的に有意な差が示された。

## 1 はじめに

機械翻訳では，2017 年に Google から Transformer [1] が提案されて以降, Transformer ベースの Encoder と Decoder で構成されたモデルが使用されている.一方で，GPT [2,3]をはじめとする大規模言語モデルは, Transformer の Decoder のみで構成されている. そして, XGLM [4], PaLM [5], そして LLaMA-2 [6] など多言語で事前訓練された大規模言語モデルが提案された. しかし, パラメーター数が 100 億前後の大規模言語モデルの翻訳精度は，既存手法である Encoder-Decoder モデルに大きく劣ることが報告されている。例えば，日英翻訳において XGLM-7.5B の 8-shot は，対訳データで訓練された Encoder-Decoder モデルである NLLB-1.7B と比較すると，BLEUで 25 ポイント以上, COMET で 34 ポイント以上低いスコアであることが報告されている [7].

この問題に対し本論文では，対訳データを用いた継続事前訓練を提案する．大規模言語モデルを対訳データで継続事前訓練し, 少量の人手データで Supervised Fine-Tuning(以下 SFT という)を行ったモデルを，WMT22 [8] のテストデータをはじめとする 12 種のテストセットで評価した結果，対訳デー タで訓練された Encoder-Decoder モデルより BLEU・ COMET の両方で統計的に有意な差が示された.

## 2 関連研究

Briakou ら [9] は, 翻訳例などの偶発的な bilingual データが，大規模言語モデルの翻訳性能に与える影響を調査した。具体的には，パラメーター数が 10 億および 80 億の大規模言語モデルに対し，事前訓練データにおける bilingual データの有無による翻訳性能の影響について調査した. その結果, bilingual データが存在することで，大規模言語モデルの翻訳性能が向上することが明らかとなった.

また，Xu ら [10] は，LLaMA-2 に対して 2 段階の fine-tuning を行う ALMA という手法を提案した. ALMA は第 1 段階目に単言語データを用いた fine-tuning, そして第 2 段階目に少量の高品質な対訳データで fine-tuning を行う。この ALMAにより， SoTA モデルに匹敵する翻訳精度を達成した。

そして, Zhou ら [11] は，大規模言語モデルのほぼ全ての知識は事前訓練中に学習され，モデルから高品質の出力を得るために必要なのは限られた instruction tuning データのみであるという仮説を提唱した。この仮説を検証するため，LLaMA-2を人手で作成された 1,000 件のデータのみで instruction tuning した LIMA というモデルを提案した. LIMA はたった 1,000 件のデータで訓練されたのにもかかわらず，RLHF で訓練されたモデルより優れた性能を示した。

本論文ではこれらの報告に着目し，対訳データを用いた継続事前訓練を提案する。

## 3 対訳データを用いた継続事前訓練

事前訓練済みの大規模言語モデルをそのまま対訳データで SFT すると, 既存の翻訳モデルより翻訳精度が劣ることが報告されている [10]. 本論文でも予備実験を行った結果，同様の現象が確認された. ${ }^{1)}$ この現象の原因として，Zhou らが提唱した仮説をもとに，単言語データで事前訓練された大規模言語モデルは，翻訳に必要な知識を有していないという仮説を提唱する。

この仮説をもとに本論文では，対訳データを用いて継続事前訓練することを提案する。この継続事前訓練により，大規模言語モデルが翻訳に必要な知識を獲得することを期待する．そして，継続事前訓練したモデルに対して SFTを行うことで，対訳データで訓練された Encoder-Decoder モデルを凌駕したことを報告する。

## 4 評価手順

## 4.1 概要

今回の評価実験では, 単言語データで事前訓練された大規模言語モデルとして rinna/bilingual-gpt-neox-4b ${ }^{2}$ ) (以下 rinna-4b という)を使用した.このモデルに対して，対訳デー タを用いた継続事前訓練を行った後，SFTを行った際の翻訳性能を評価した。また, baselineとして, JParaCrawl v3.0で訓練された transformer モデル [12]を使用した. さらに，rinna-4bをそのまま SFT した場合についても評価を行った。なお，SFT では full fine-tuning と LoRA [13] チューニングの両方とも評価を行った。推論時は，開発データの誤差が最小となるモデルを用いて greedy decoding で生成した.

## 4.2 データセット

## 4.2.1継続事前訓練

継続事前訓練のデータとして，JParaCrawl v3.0 [12], 開発データとして，WMT20 [14]の開発，テストデータ，および WMT21 [15] のテストデータを使用した。なお，継続事前訓練で使用する JParaCrawl v3.0 は，LEALLA-large ${ }^{3)}$ [16] で取得した文埋め込み

1）詳細は付録 $\mathrm{A}$ を参照.

2) https://huggingface.co/rinna/bilingual-gpt-neox-4b

3) https://huggingface.co/setu4993/LEALLA-large
ベクトルのコサイン類似度をもとに，2,080万文対をサンプリングした. ${ }^{4)}$

本論文では，対訳データを用いた継続事前訓練の最適なデータ形式を調査するため, 以下 5 通りの継続事前訓練を行った。

1. monolingual: 対訳データを日本語と英語の単言語データとみなす。

2. En-Ja: 英文 1 サンプルの直後に，和訳文を結合する。すなわち，英日方向のみ対訳となる。

3. Ja-En: 和文 1 サンプルの直後に，英訳文を結合する。すなわち，日英方向のみ対訳となる.

4. mix: 2.および3. で作成したデータから, 重複しないよう $50 \%$ ずつランダムサンプリングする.

5. En-Ja2mix: 2. の形式で継続事前訓練したモデルを，3. のデータを $99 \% ， 2$. のデータを $1 \%$ 重複しないようランダムサンプリングしたデータでさらに継続事前訓練する. ${ }^{5)}$

## 4.2.2 SFT

SFT の訓練データは，WMT20 および Flores200 [18] の開発，テストデータ，そして KFTT [19]の訓練データから作成した. ${ }^{6)}$ なお， KFTT の訓練デー タは，全データから 10,000 件をランダムサンプリングした。作成した訓練データの数は，英日と日英それぞれ約 15,000 件ずつとなった．また，SFT の開発データは WMT21 のテストデータを使用した. これらのデータに対し，ALMA の実装7）を参考に以下のプロンプトを適用した。本論文では，プロンプトを原言語文側の言語とし，プロンプト部分の誤差は除外して訓練を行った. そしてテストセットの推論時にも同じプロンプトを使用した。

## 英日翻訳のプロンプト

Translate this from English to Japanese:

English: $\{$ 原言語文 $\}$

Japanese: $\{$ 目的言語文 $\}$

## 日英翻訳のプロンプト

これを日本語から英語に翻訳してください:

英語: $\{$ 原言語文 $\}$

日本語: $\{$ 目的言語文 $\}$

4）サンプリングの詳細は付録 B を参照.

5） 2. のデータを $1 \%$ 含めた理由は破壊的忘却を防ぐためであり, $1 \%$ という割合は既存研究 [17] を参考にした.

6）SFT では，データの品質が重要であることが報告されている $[10,11]$.そのため，現存する対訳コーパスの中でも，人手で翻訳された高品質なデータを選択した.

7) https://github.com/fe1ixxu/ALMA
表 1 英日翻訳の評価結果 (BLEU / COMET)．5つの継続事前訓練済みモデルの詳細は 4.2.1 節を参照. 各データで最高スコアを太字，baselineを上回るスコアを下線で示す。*は baseline と有意差あり $(p<0.05)$.

## 4.2.3 テストセット

SFT を行ったモデルの翻訳性能を評価するため, JParaCrawl v3.0の評価で用いられたテストセットを使用した。なお，WMT20 および WMT21 のテストデータは，継続事前訓練およびSFT の訓練・開発データに含まれるため除外し, WMT22 のテストデータを追加した. これにより，テストセットは全 12 種となった. ${ }^{8)}$

## 4.3 ハイパーパラメータ

以下にハイパーパラメータを一部抜粋して示す. より詳細な設定は付録 C に示す.

## 4.3.1継続事前訓練

継続事前訓練では， optimizer として AdamW [20] を使用した. そして, 通常の事前訓練と同様に固定長 2,048 トークンをモデルへ入力し, 次単語を予
$ を参照.
}

測するよう訓練を行った。また，エポック数を 1 ， バッチサイズを 256 とした.

## 4.3.2 SFT

SFT も継続事前訓練と同様に，optimizer として AdamW を使用した. また，エポック数を 5，バッチサイズを 64 とした. また, LoRAチューニングでは，学習可能パラメータは約 640 万となり，オリジナルモデルのパラメータ数の約 $0.17 \%$ となった.

## 4.4 評価指標

評価指標として，BLEU [21] および COMET $^{9 ）}$ [22] を使用した．BLEU は sacreBLEU ${ }^{10)}$ [23]を用いて計測した. COMET のモデルは wmt22-comet-daを使用した.

表 2 日英翻訳の評価結果 (BLEU / COMET).

## 5 評価結果

表 1 ，表 2 にそれぞれ英日方向，日英方向の BLEU および COMET を示す. まず，オリジナルのモデルと，対訳データを単言語データとみなして継続事前訓練したモデルをそれぞれ SFT した場合，両者に翻訳精度の違いは見られなかった。一方で，英日方向もしくは日英方向のみ対訳となるように継続事前訓練したモデルは，継続事前訓練した言語方向のみ baseline と同等もしくはそれ以上のスコアとなった. しかし，継続事前訓練で対訳になっていない言語方向については，オリジナルのモデルをそのまま SFT した場合と翻訳精度に違いは見られなかった. そして, 英日・日英方向の両方とも継続事前訓練したモデルは，英日 -日英の両方向とも baseline と同等もしくはそれ以上のスコアとなった.

以上のことから，対訳データを用いた継続事前訓練によって，大規模言語モデルに対して翻訳に必要な知識を学習させることが可能であることが示唆さ
れた。そして，継続事前訓練によって翻訳能力を得たモデルに対し, 少量の人手データで SFTを行うことで，対訳データで訓練された Encoder-Decoder モデルを凌駕することが明らかとなった．また，継続事前訓練によって大規模言語モデルが獲得する翻訳能力は，対訳文対を結合する際の言語方向に依存することも明らかとなった。

## 6 おわりに

本論文では，大規模言語モデルをそのままSFTしても，対訳データで訓練された Encoder-Decoder モデルより翻訳精度が劣るという問題に対し，対訳データを用いた継続事前訓練を提案した.この提案手法の効果を検証するため，継続事前訓練を行ったモデルを SFT し，WMT22 のテストデータをはじめとする 12 種のテストデータで評価した. その結果,提案手法を適用したモデルは，対訳データで訓練された Encoder-Decoder モデルより BLEU・COMET の両方で統計的に有意に有意な差が示された.

## 参考文献

[1] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In Proc. 30th NIPS, pp. 5998-6008, 2017.

[2] T. Brown, et al. Language models are few-shot learners. In Proc. 33rd NIPS, pp. 1877-1901, 2020.

[3] OpenAI. GPT-4 technical report. arXiv:2303.08774, 2023.

[4] X. Lin, et al. Few-shot learning with multilingual generative language models. In Proc. EMNLP, pp. 9019-9052, 2022.

[5] A. Chowdhery, et al. PaLM: Scaling language modeling with pathways. arXiv:2204.02311, 2022.

[6] H. Touvron, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv:2307.09288, 2023.

[7] W. Zhu, H. Liu, Q. Dong, J. Xu, S. Huang, L. Kong, J. Chen, and L. Li. Multilingual machine translation with large language models: Empirical results and analysis. arXiv:2304.04675, 2023.

[8] T. Kocmi, et al. Findings of the 2022 conference on machine translation (WMT22). In Proc. 7th WMT, pp. 1-45, 2022.

[9] E. Briakou, C. Cherry, and G. Foster. Searching for needles in a haystack: On the role of incidental bilingualism in PaLM's translation capability. In Proc. 61st ACL, pp. 9432-9452, 2023.

[10] H. Xu, Y. Kim, A. Sharaf, and H. Awadalla. A paradigm shift in machine translation: Boosting translation performance of large language models. arXiv:2309.11674, 2023.

[11] C. Zhou, et al. LIMA: Less is more for alignment. In Proc. 37th NIPS, 2023.

[12] M. Morishita, K. Chousa, J. Suzuki, and M. Nagata. JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proc. 13th LREC, pp. 6704-6710, 2022.

[13] E. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, and W. Chen. LoRA: Low-rank adaptation of large language models. In Proc. 10th ICLR, 2022.

[14] L. Barrault, et al. Findings of the 2020 conference on machine translation (WMT20). In Proc. 5th WMT, pp. 1-55, 2020.

[15] F. Akhbardeh, et al. Findings of the 2021 conference on machine translation (WMT21). In Proc. of the 6th WMT, pp. 1-88, 2021.

[16] Z. Mao and T. Nakagawa. LEALLA: Learning lightweight language-agnostic sentence embeddings with knowledge distillation. In Proc. 17th EACL, pp. 1886-1894, 2023.

[17] T. Scialom, T. Chakrabarty, and S. Muresan. Fine-tuned language models are continual learners. In Proc. EMNLP, pp. 6107-6122, 2022.

[18] NLLB Team, et al. No language left behind: Scaling humancentered machine translation. arXiv:2207.04672, 2022.

[19] G. Neubig. The Kyoto free translation task. http://www.phontron.com/kftt, 2011.

[20] I. Loshchilov and F. Hutter. Decoupled weight decay regularization. In Proc. 7th ICLR, 2019.

[21] K. Papineni, S. Roukos, T. Ward, and W. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. 40th ACL, pp. 311-318, 2002.

[22] R. Rei, J. C. de Souza, D. Alves, C. Zerva, A. Farinha, T. Glushkova, A. Lavie, L. Coheur, and A. Martins. COMET-22: Unbabel-IST 2022 submission for the metrics shared task. In Proc. 7th WMT, pp. 578-585, 2022.

[23] M. Post. A call for clarity in reporting BLEU scores. In Proc. 3rd WMT, pp. 186-191, 2018.

[24] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proc. 10th LREC, pp. 2204-2208, 2016.

[25] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: JapaneseEnglish subtitle corpus. In Proc. 11th LREC, 2018.

[26] M. Cettolo, C. Girardi, and M. Federico. WIT3: Web inventory of transcribed and translated talks. In Proc. 16th EAMT, pp. 261268, 2012.
[27] M. Rikters, R. Ri, T. Li, and T. Nakazawa. Designing the business conversation corpus. In Proc. 6th WAT, pp. 54-61, 2019.

[28] Xian Li, Paul Michel, Antonios Anastasopoulos, Yonatan Belinkov, Nadir Durrani, Orhan Firat, Philipp Koehn, Graham Neubig, Juan Pino, and Hassan Sajjad. Findings of the first shared task on machine translation robustness. In Proc. 4th WMT, pp. 91-102, 2019.

[29] L. Specia, Z. Li, J. Pino, V. Chaudhary, F. Guzmán, G. Neubig, N. Durrani, Y. Belinkov, P. Koehn, H. Sajjad, P. Michel, and X. Li. Findings of the WMT 2020 shared task on machine translation robustness. In Proc. 5th WMT, pp. 76-91, 2020.

[30] A. Anastasopoulos, et al. FINDINGS OF THE IWSLT 2021 EVALUATION CAMPAIGN. In Proc. 18th IWSLT, pp. 1-29, 2021.

## A 予備実験の詳細

JParaCrawl v3.0 で LoRA チューニングによる SFT を行った rinna-4bを，WMT22 のテストデータで評価した. エポック数は 1 とし, 使用した JParaCrawl v3.0 は LEALLA-large で取得した文埋め込みべクトルのコサイン類似度が 0.76 以上 0.95 未満の 1,000 万文対をサンプリングし，訓練を行った。開発データは WMT20 および 21 の開発，テストデータとし，開発データの誤差が最小となるモデルで greedy decoding による推論を行った. また，rinna-4bは，英日・日英の両方向をそれぞれ別々に訓練を行い，学習可能パラメータは 1,680 万である.その結果を表 3 に示す. rinna-4b は単言語データで事前訓練されており，かつ 1,000万文対で LoRAチューニングを行ったのにもかかわらず，BLEU と COMET ともに baseline に劣る結果となった.

## B JParaCrawl v3.0 のサンプリング

継続事前訓練に用いる JParaCrawl v3.0 は，LEALLA-large で取得した文埋め込みべクトルのコサイン類似度が 0.4 以上 0.95 未満の文対をサンプリングした. 類似度が 0.4 未満のサンプルは，和文と英文とで文章の長さが不相応というような，不適切なサンプルが目視で散見されたため除外した．また，類似度が 0.95 以上の文対は，和文と英文がほぼ同一の文章となっているサンプルがほとんどであったため除外した. このサンプリングにより，継続事前訓練の総トークン数は rinna-4b の tokenizer で約 18 億となった.

## C ハイパーパラメータの詳細

継続事前訓練で用いる AdamW は, $\beta_{1}=0.9, \beta_{2}=0.95, \epsilon=10^{-8}$ とした. そして, weight decayを 0.1 , gradient clipping を 1.0 とした. また, 最大の学習率を $1.5 \times 10^{-4}$ とし, warmup ratio を $1 \%$ の cosine scheduler とした.

SFT では，継続事前訓練で用いた AdamW のパラメータのうち， $\beta_{2}=0.999$ に変更した. そして， weight decay と gradient clipping は継続事前訓練と同じ値とした. 最大の学習率を full fine-tuning では $3.0 \times 10^{-5}$, LoRA チューニングでは $2.0 \times 10^{-4}$ とし, warmup ratio を $1 \%$ の inverse square scheduler とした. LoRAでは, $r=16, \alpha=32$, dropoutを 0.05 とし, multi-head attention に存在する Query, Key, Valueの Linear 層に適用した.

## Dテストセットの詳細

表 4 テストセット各データの分野および対訳文数

