# Decoder のみを用いた機械翻訳モデルの分析

木山朔 金輝燦 平澤寅庄 岡照晃 小町守
東京都立大学
\{kiyama-hajime,kim-hwichan, hirasawa-tosho\}@ed.tmu.ac.jp
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

現在の機械翻訳モデルの主流は Encoder-Decoder モデルである。一方で，Encoder を使わず Decoder のみの翻訳モデル (Decoder-only モデル) が提案され ており，Encoder-Decoder モデルと同程度の BLEU が報告されている. しかし既存研究が実験に用い た評価指標や言語対は限定的であり，十分な検証 が行われているとは言えない。そこで本研究では Encoder-Decoder モデルと Decoder-only モデル間の 詳細な比較・分析を報告する．特に英日方向につい て人手評価の結果，流暢性と妥当性で Decoder-only モデルの有用性が確認された.

## 1 はじめに

自然言語処理の様々なタスクにおいて EncoderDecoder モデルは広く用いられている $[1,2]$. 特に 機械翻訳や文書要約などの生成タスクで EncoderDecoder が主流になっている．その一方 GPT $[3,4,5]$ を代表する Decoder-only モデルの高精度な言語生成 も注目を集めている。

Wang ら [6] は GPT-3 の few-shot learning での翻訳 が教師なしモデルと同程度の BLEUを獲得したこと から, Decoderのみを使った翻訳モデル (Decoder-only モデル)を提案した. 原言語文と目的言語文を結合させ，言語モデリングタスクで Decoderを学習し，翻訳モデルとする。図 1 に Decoder-only モ デルの推論時の概要図を示す. 原言語文とタグ （<en2ja>など）を入力とし目的言語文を生成して いる. また Gao ら [7] は Wang らのモデルに対し 原言語文全体を self-attention で見れるように拡張 することで Encoder-Decoder モデルと同等の BLEU を達成できることを報告した。これよりGao らは Encoder-Decoder モデルは壳長であると主張してい る.しかし彼らの実験では BLEU や TER [8]によ る自動評価しか行われておらず，Encoder-Decoder，

図 1: Decoder-only モデルの推論時の概要図

Decoder-only モデル間の翻訳結果の詳細な分析がな されていない.

そこで本研究では自動評価，人手評価の 2 つの 観点から Decoder-only モデルの詳細な分析を行っ た. 自動評価では流暢性を測るために perplexity を，妥当性を測るために BLEU に加えて COMET [9] と WMD [10] を追加した. 人手評価では定量的な評価 として流暢性と妥当性を，定性的な評価として翻訳 の質の評価（誤訳の分類）を行なった。本研究での 主な発見は以下の通りである：
- 自動評価指標 BLEU，COMET，WMD では Encoder-Decoder モデルの方がスコアが高いが， Perplexity では Deocder-only モデルが EncoderDecoder モデルを上回った.
- 人手評価において流暢性と妥当性は Decoderonly モデルが良く，Mis-translation も EncoderDecoder モデルと比較して少ない.

## 2 関連研究

## 2.1 Encoder-Decoder

機械翻訳とは，原言語文 $\mathbf{x}=\left.\{x_{1}, x_{2}, \ldots, x_{N}\right.\}$ を目的言語文 $\mathbf{y}=\left.\{y_{1}, y_{2}, \ldots, y_{M}\right.\}$ に翻訳するタスクである. ここで $x_{i} \in \mathbf{x}, y_{j} \in \mathbf{y}$ は各言語の文のトークンを示 す。ニューラル機械翻訳では以下の条件付き確率が 最大になるように目的言語文を生成する.

$
P(\mathbf{y} \mid \mathbf{x})=\prod_{t=1}^{M} P\left(y_{t} \mid \mathbf{x}, \mathbf{y}_{<t}\right)
$

ここで $\mathbf{y}_{<t}$ は $t-1$ 番目までの目的言語文のトー クンである. Sutskever ら [1] は，条件付き確率 $P を$ LSTM [11] で構成される Encoder と Decoder という 二つのニューラルネットワークでモデル化した. 学習時には，対訳データ $\mathbf{X}=\left.\{\mathbf{x}_{1}, \ldots, \mathbf{x}_{j}\right.\}, \mathbf{Y}=\left.\{\mathbf{y}_{1}, \ldots, \mathbf{y}_{j}\right.\}$ を使い，以下の損失が最小になるようにパラメータ を更新する。

$
\begin{aligned}
L_{\mathrm{MT}} & =\sum_{(\mathbf{x}, \mathbf{y}) \in(\mathbf{X}, \mathbf{Y})}-\log P(\mathbf{y} \mid \mathbf{x}) \\
& =\sum_{(\mathbf{x}, \mathbf{y}) \in(\mathbf{X}, \mathbf{Y})} \sum_{t=1}^{M}-\log P\left(y_{t} \mid \mathbf{x}, \mathbf{y}_{<t}\right)
\end{aligned}
$

Encoder-Decoder モデルは機械翻訳や文書要約な どの様々なタスクで広く用いられている。特に self-attention を用いた Encoder-Decoder モデルであ る Transformer [2] は現在の手法のベースとなって いる.

## 2.2 Decoder-only

Decoder-only モデルとして GPT が挙げられる $[3$, 4, 5]. GPT は Transformerの Decoder のみを用いたモ デルであり非常に高精度な言語生成が可能である. Wang ら [6] は GPT-3 の few-shot learning での翻訳が 教師なしモデルと同程度の BLEU を獲得したことか ら，LM4MT という Decoder-only の翻訳モデルを提案した. Decoder-only モデルでは，原言語文 $\mathbf{x}$ にタ グ（<en2ja>など）を結合させたものを入力とし，目的言語文 $\mathbf{y}$ を生成する。なお，原言語文 $\mathbf{x}$ は教師強制的 (Teacher forcing) に処理を行い，目的言語文 $\mathbf{y}$ は自己回帰により生成を行う.

Decoder-only モデルの学習時には, 原言語側には 自己符号化の損失 $L_{\mathrm{AE}}$, 目的言語側には $L_{\mathrm{MT}}$ を用い る. ハイパーパラメータ入で重み付けした $L_{\mathrm{AE}}$ と $L_{\mathrm{MT}}$ の和である $L_{\mathrm{LM}}$ が最小になるようにパラメー タを学習する。

$
\begin{aligned}
& L_{\mathrm{AE}}=\sum_{\mathbf{x} \in \mathbf{X}} \sum_{s=1}^{N}-\log P\left(x_{s} \mid \mathbf{x}_{<s}\right) \\
& L_{\mathrm{LM}}=\lambda L_{\mathrm{AE}}+L_{\mathrm{MT}}
\end{aligned}
$

Wang らは学習が進むにつれ入を小さくなるように スケジューリングし，目的言語文側の損失を重視す るように学習している。

Gao ら [7] は上記 Decoder-only モデルの改良を 行った. Gao らは原言語部分の Attention mask を原言語全体が見れるように変更し，原言語文に対し てノイズを加え Decoder-only モデルを学習するこ
とで, Encoder-Decoder と同様の BLEUを達成した. このことから, Encoder-Decoder モデルは壳長であ り，Decoder のみで十分であると主張した.

このように既存研究では, Decoder-only モデルの 有用性が報告されているが，BLEU や TER のみで しか評価がされておらず，その他の自動評価や人手評価を用いた詳細な分析がなされていない. そこ で, 本研究では, BLEU に加え Perplexity, COMET, WMDを用いて自動評価を行い，また，英日対の人手評価として流暢性，妥当性，翻訳の質を分析し た. 人手評価では Decoder-only モデルが流暢性と妥当性がともに高いことがわかった.

## 3 実験設定

データセット en-de, en-ja の 2 つの言語対に実験を行った. en-de では WMT16 [12]を，en-ja では ASPEC [13] を用いた. データサイズは順に 4.5M， 3.0M である. トークナイズには英語とドイツ語で は moses ${ }^{11}[14]$ を, 日本語は $\mathrm{MeCab}^{2)}+$ ipadic を利用 した. その後, en-de 対では joint-BPE ${ }^{3)}$ [15] モデル, en-ja 対では言語ごとに BPE の SentencePiece ${ }^{4)}$ [16] モデルを学習し，サブワード分割を行った．分割回数はそれぞれ 32,000と4,000とした.

モデル Encoder-Decoder, Decoder-only モデルは 共に Transformer ベースのモデルを用いる. EncoderDecoder モデルをベースラインとして Decoder-only モデルとの比較を行う. Encoder-Decoder モデル は，Vaswani ら [2]を参考に，各層を 6 層にした。 Decoder-only モデルは, 層数を 12 層に設定した. また Decoder の入力と出力の単語分散表現を共有した．損失の計算では $\lambda=1$ とする．詳細な八 イパーパラメータは付録 A に示す. 実装は共に fairseq ${ }^{5)}[17]$ を利用した。

自動評価自動評価においては，Perplexity， BLEU， COMET 6) [9]，WMD [10]を用いた。Perplexity は XGLM-1.7B ${ }^{7)}$ [18] を用いており，流暢性 を測る目的で計測した．BLEU は sacreBLEU ${ }^{8)}$ [19] を用いて計測した. COMET は複数言語で学習され た単語分散表現，WMD は目的言語に対応する単

表 1: 各モデルの翻訳の自動評価

表 2: en-ja 対における pair-wise の流暢性と妥当性の人手評価. win は Decoder-only の方が良く，tie は同程度， lose は Decoder-only の方が悪いことを示す.

語分散表現 9）10）[20]を用いて計算を行い，それぞ れ原文，または参照文と出力文との意味的な妥当性を評価する目的で計測した. COMET のモデルは wmt20-comet-qa-daを用いた.

英日モデルの人手評価 日本語話者 4 名による， en-ja モデルの人手評価を行った. ASPEC のテスト データからランダムに 100 文をサンプリングし, pair-wise による流暢性と妥当性の評価，翻訳の質 に関する評価を行なった．翻訳の質の評価として， Under-translation (不十分な翻訳), Mis-translation (誤訳），Over-translation（過翻訳）の 3 つの側面に関し て，人手で計測した。なお評価の際には参考のため 参照訳を併記し，モデル名は伏せた。

## 4 実験結果

自動評価 表 1 に各モデルの翻訳の自動評価結果 を示す. Perplexity は Decoder-only が良く，流暢性と いう観点では Decoder-only が Encoder-Decoderを上回った. 一方で BLEU や COMET, WMD などの自動評価指標では Encoder-Decoder が良い.

英日モデルの人手評価 表 2 に英日対における pair-wise による流暢性と妥当性の人手評価を示す.流暢性に関してはアノテータ 1, 2, 4 は Decoder-only の方が良いと評価している.これは Perplexity の自動評価と一致する結果である．妥当性に関してもア ノテータ 1，2，4 は Decoder-only の方が良いと評価 している。これは COMETや WMD の自動評価とは 相反する結果である.


表 3: 英日対における翻訳の質の人手評価. U は Undertranslation，M は Mis-translation，O は Over-translation を示す.

表 3 に en-ja 対における翻訳の質の人手評価を 示す. Under-translation と Over-translation については 各モデル間で大きな差異がみられなかった.し かし Mis-translation については Deocder-only の方が Encoder-Decoder より大幅に少ない. この結果から 見ても，人手評価では自動評価と反対に Decoderonly の方が妥当性が良いと評価されることがわ かった.

自動・人手評価の考察 ここでは自動評価手法として COMETを使い，自動評価と人手評価 での妥当性の不一致を分析する．翻訳の質に問題がある例で不一致が起きやすいことがわかっ た. 表 4 に Encoder-Decoder は Mis-translation してい るが，Decoder-only は正確に訳せている例を示す. Encoder-Decoder の出力では「放電」という単語が 存在し,「スクラバする」といった誤った訳が出力 されている. 本来は「discharges」が「放出する」と 訳されるはずであるが，「discharges」を名詞として 捉えてしまったため「放電」と訳されたと考えら れる。一方で Decoder-only の出力は参照訳に近く 流暢かつ妥当である. COMET による自動評価で は Encoder-Decoder は 0.9152, Decoder-only は 0.9055 であり Encoder-Decoder が良い. 人手評価では 4 人全員が Decoder-only のほうが妥当性は高く不一致 が起こっている. 同様の例が Under-translation の時 にも見られた (付録 B).これより COMET では Mis-translation や Under-translation といった翻訳の質 の問題に対応しきれていないと考えられる.

人手評価において Decoder-only は妥当性が良く, Mis-translation が Encoder-Decoder と比べ減ることが

図 2: 各アノテータごとの流暢性と妥当性の関係

表 4: Encoder-Decoder で Mis-translation があり，Decoder-only で Mis-translation が見られなかった例

 &  \\

表 5: 英日対における推論速度の比較

わかった. 多言語モデルの学習に関する既存研究 [21] では， パラメータのシェアが言語横断的なモ デルを学習する上で重要であることが示されてい る. Decoder-only は原言語, 目的言語間でパラメー タをシェアしており, Transformer より言語横断的な 内部表現を学習していると考えられ，これが妥当性 の改善につながったと考察する。

流暢性と妥当性の人手評価の分布を調査した.図 2 に各アノテータごとの流暢性と妥当性の関係 を示す. 横が流暢性を，縦が妥当性の評価結果を 示している. どのアノテータも Encoder-Decoder と Decoder-only の流暢性と妥当性を同程度と判断し ているものが最も多い. 一方, Encoder-Decoder で は流暢性が良いが Decoder-only では妥当性が高い, Encoder-Decoder では妥当性が良いが Decoder-only では流暢性が高いといった極端に性質が分かれる例 は少なかった. これは評価の際に原文と参照訳を併記したためと考えられる. 既存研究 [22]では原文 と翻訳結果，参照訳と翻訳結果による人手評価より も，原文と参照訳と翻訳結果のすべての情報を持っ た人手評価の方が良いと示されている.

推論速度 Decoder-only モデルの問題点として推論速度が挙げられる. 表 5 に英日対における推論速度の比較結果を示す. 推論時に使用した GPU
は NVIDIA A6000 である. ASPEC のテストデータ 1,812 文を推論に用いた。1 秒あたりの処理するトー クン数が Encoder-Decoder では 5537.08，2936.39で あり，推論速度は Encoder-Decoder と比べて 4 倍程度遅くなった. 原因としては，原言語文と目的言語文をタグで結合させているためトークン数が 2 倍 になっていること， causal に処理する部分が 2 倍に なっていることで 1 トークンあたりの処理時間が 2 倍になっていることが挙げられる.この点におい て Decoder-only は Encoder-Decoder よりも推論速度 が遅く，改善が必要である.

## 5 おわりに

本論文では Encoder-Decoder と Decoder-onlyを比較しDecoder の性質を調查した. 流暢性は自動評価と人手評価とともに Decoder-only が高く，妥当性 においても人手評価では Decoder-only の方が良い. これは自動評価とは相反する結果であり翻訳の質 を自動評価では考慮しきれていないと考えられる。 Decoder-only で妥当性が上がった理由としては原言語と目的言語間でのパラメータシェアが挙げられ る.また人手評価において，流暢性と妥当性との関連を示唆する結果となった。一方で Decoder-only の 問題点として推論速度の低下がある。

今後の方針としては Decoder-only モデルに基づい た新たな機械翻訳モデルの開発，機械翻訳タスク以外での Decoder-only モデルの再検討, 翻訳の質を考慮した自動評価手法の検討, 人手評価の流暢性と妥当性との関連の分析が挙げられる.

## 謝辞

人手評価を行なった東京都立大学の榎本大晟さ ん，佐藤郁子さん，中島京太郎さんに感謝いたし ます。

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K.Q. Weinberger, editors, NeurIPS, Vol. 27. Curran Associates, Inc., 2014.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, Vol. 30. Curran Associates, Inc., 2017.

[3] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[4] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, NeurIPS, Vol. 33, pp. 18771901. Curran Associates, Inc., 2020.

[6] Shuo Wang, Zhaopeng Tu, Zhixing Tan, Wenxuan Wang, Maosong Sun, and Yang Liu. Language models are good translators. arXiv preprint arXiv:2106.13627, Vol. abs/2106.13627, , 2021.

[7] Yingbo Gao, Christian Herold, Zijian Yang, and Hermann Ney. Is encoder-decoder redundant for neural machine translation? In AACL, pp. 562-574, Online only, November 2022. Association for Computational Linguistics.

[8] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In AMTA, pp. 223-231, Cambridge, Massachusetts, USA, August 8-12 2006. Association for Machine Translation in the Americas.

[9] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In EMNLP, pp. 2685-2702, Online, November 2020. Association for Computational Linguistics

[10] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. In ICML, pp. 957966. PMLR, 2015.

[11] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[12] Ondřej Bojar, Rajen Chatterjee, Christian Federmann, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana Neves, Martin Popel, Matt Post, Raphael Rubino, Carolina Scarton, Lucia Specia, Marco Turchi, Karin Verspoor, and Marcos Zampieri. Findings of the 2016 conference on machine translation. In WMT, pp. 131-198, Berlin, Germany, August 2016. Association for Computational Linguistics.

[13] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao
Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In LREC, pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[14] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In ACL, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In ACL, pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In EMNLP, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In NAACL, pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona T. Diab, Veselin Stoyanov, and Xian Li. Few-shot learning with multilingual language models. EMNLP, 2022.

[19] Matt Post. A call for clarity in reporting BLEU scores. In WMT, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[20] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. TACL, Vol. 5, pp. 135-146, 2017.

[21] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In ACL, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.

[22] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation. TACL, Vol. 9, pp. 1460-1474, 2021.

## A ハイパーパラメータ

表 6: Encoder-Decoder と Decoder-only のハイパーパラメータの相違点

## B Under-translation での妥当性の不一致

表 7 に Under-translation で妥当性の不一致が起きた例を示す. COMET による自動評価では Encoder-Decoder は 0.1101，Decoder-only は 0.1342であり Decoder-only が良い。人手評価では 4 人全員が Encoder-Decoder が良 いと判断しており，Decoder-only の翻訳を Under-translation と判断している.「ゴムを用いた」という部分が Decoder-only ではないため妥当性が低いと判断された.

表 7: Under-translation で妥当性の不一致が起きた例

 \\
reference & ゴムを用いてアルミニウム合金管の胴部の一部に枝管を成形する実験を行った。 \\

Decoder-only & アルミ合金管の主管の一部に分岐管を形成する実験を行った。 \\


 木山朔 金輝燦 平澤寅庄 岡照晃 小町守 東京都立大学 \{kiyama-hajime,kim-hwichan, hirasawa-tosho\}@ed.tmu.ac.jp \{teruaki-oka, komachi\}@tmu.ac.jp  