# 事前学習済みモデルに基づく検索モデルにおける ドメイン適応手法の比較と相乗効果の検証

飯田大貴 1,2 岡崎直観 1
1 東京工業大学 2 株式会社レトリバ
\{hiroki.iida@nlp.c., okazaki@c.\}titech.ac.jp

## 概要

BERT 等の事前学習済みモデルを用いた検索モデ ルは，教師データのドメイン外で使用すると検索精度が低下することが知られている。特に，学習デー タと対象データの語彙が大きく異なる場合は，大幅 な精度低下につながる．そのため，検索モデルのド メイン外での検索精度を向上させる手法が複数提案 されている. 本論文では，統一された実験設定にお いて各手法の性能やその組み合わせによる相乗効果 の有無を検証した。その結果，事前学習済みモデル のドメイン適応，BM25 など語彙の一致に基づく検索モデルを併用すること，及びその組み合わせが複数の事前学習済みモデルを用いた検索モデルで有効 であることが明らかになった。さらに BM25 のみな らず複数の検索モデルを併用することで，現時点で の世界最高性能を上回る結果を得た。

## 1 はじめに

BERT [1]を始めとする事前学習済みモデルを用い て，教師データとなる検索データセットで検索モデ ルを訓練することにより，BM25 [2]などの語彙の一致に基づく検索モデルを大きく上回る検索精度を 達成できることが明らかになった [3]. 代表的な検索モデルとしては，クエリと文書を密ベクトルに変換し，その内積を関連度スコアとする密ベクトル検索 [4], 疎ベクトルに変換する SPLADE [5]，クエリ の各トークンベクトルに対して，それぞれ文書の全 トークンベクトルとの内積を計算し，その類似度が 最大のものの和をとる ColBERT[6] などが挙げられ る.しかしながら，どの検索モデルを訓練する場合 も，大量の教師データが必要であるため，適用でき るドメインが限定される。 また，大量の教師データ が存在するドメインで訓練した検索モデルは, 語彙 が大きく異なるドメインに適用した場合に，検索精度が大きく低下することが知られている。

そのため，ドメイン外において教師なしで検索モ デルの精度向上を試みる研究が進められており，擬似クエリを使用した密べクトル検索の教師なしドメ イン適応 $[7,8]$, 事前学習済みモデルの継続事前学習を用いた教師なしドメイン適応 [9]，IDFを通じた 重み調整によるドメイン適応 [9], 語彙一致検索と の併用 $[7,10,11]$ などが提案されている.

しかしながら，これらのドメイン適応手法を複数用いた場合の効果は明らかになっていない。また， あるドメイン適応手法がどの検索モデルに対して効果的に働くのか，俯瞰的に分析した事例はない。

そこで，本研究では，まず各ドメイン適応手法が どのような検索モデルに対して効果があるかを明ら かにするために，事前学習済みモデルを用いた代表的な検索モデルである，密ベクトル検索，SPLADE， ColBERT に対して，擬似クエリを使用したドメイン 適応，事前学習済みモデルのドメイン適応，重み調整によるドメイン適応，及び語彙一致検索（BM25） との併用を適用した. その結果，どの検索モデルで も大きな効果を示すドメイン適応方法は, 事前学習済みモデルのドメイン適応と語彙一致検索との併用 であることが分かった.

次に，ドメイン適応手法を複数適用した場合に相乗効果を示すかを明らかにするために，ドメイン適応手法を複数適用した場合について実験を行なっ た. その結果，事前学習済みモデルのドメイン適応 と語彙一致検索との併用を一緒に用いる場合が複数 の検索モデルで有効であること，この二つを適用し た場合に擬似クエリを使用する手法と重み調整は性能向上にほとんど寄与してないことが分かった.

語彙一致検索の併用は複数の検索モデルのアンサ ンブルと見なせる．そこで，検索モデルによるアン サンブルは更なる検索精度の向上をもたらすかを 検証した。事前学習済みモデルのドメイン適応と語

図 1 実験で使用した検索モデルとドメイン適応手法の概要図

彙一致検索との併用を適用すると共に，密べクトル 検索，SPLADE，ColBERT のアンサンブルを行い，現時点での世界最高の性能 $[9,12]$ を上回る結果を 得た.

まとめると，本論文の貢献は以下の通りである.

・異なる検索モデルのアンサンブルが，ドメイン 適応に対して有効であることを示した。

・事前学習済みモデルのドメイン適応が，アンサ ンブルと相乗効果をもたらすことを示した.

## 2 実験手法

本研究では，事前学習済みモデルに基づく検索モ デルを語彙が大きく異なるドメインに適用する際 に，ドメイン適応手法の有効な組み合わせを明らか にすることにある. 以下では，今回用いたドメイン 適応手法を紹介する。

擬似クエリを使用した検索モデルのドメイン適応として，GPL [8] を用いる．GPLでは，元ドメイ ンにおける正例のクエリ・文書ぺアを教師データと し， T5 [13]を用いて文書を入力としたクエリ生成器を学習する. そして, 対象ドメインにおいて各文書からクエリを生成し，そのぺアを正例とする。次 に，生成したクエリで学習対象とする検索モデルで 検索を行い，負例を生成する．その後，クロスエン コーダの検索モデル1) [3] を用いてスコアリングを する．クロスエンコーダは，クエリと文書を結合

トークン（BERT の場合は $[\mathrm{SEP}]$ ）を用いて連結し て，検索モデルとしてファインチューニングした事前学習済みモデルに入力し, クエリと文書の関連度 スコアを推定する方式である．最後に，クロスエン コーダのスコアを用いて，知識蒸留で検索モデルの 訓練を行う。

事前学習済みモデルのドメイン適応として, AdaLM [14] を用いる. AdaLM は，対象ドメインの コーパスを用いて，語彙拡張とマスク付き言語モデ ルによる継続事前学習を行う手法である.これは， Iida and Okazaki [9] において，検索タスクでの有効性が示されている。

重み調整によるドメイン適応において，IDFを用 いた。本稿ではこの手法をIDF 重みと呼ぶ。密べク トル検索では重みつき平均によって重みを反映させ ている. SPLADE はエンコーダの語彙次元の疎べク トルにテキストをエンコードする．そのため，文書側のベクトルの各要素に直接 IDFの重みを付けた。 ColBERT については，クエリのベクトルを IDFで重 み付けした。なお，検索文書中に存在しない語彙に ついては，重みを 1 とした。

語彙一致検索との併用において，語彙一致検索 には，BM25を採用した2) . 本論文ではこの手法を BM25 併用と呼ぶ. 併用方法は，各検索モデルと BM25 のそれぞれ上位 100 件の文書のスコアの和と した ${ }^{3)}$. 和を計算する際，片方の検索結果にしか出

2）具体的には，pyserini [15]を用いた.

3）積を計算する方法 [16] も提案されているが，和を計算す
表 1 各検索モデルにドメイン適応手法を適用した 結果. 適用なしの場合については，数値は NFCorpus, TREC-COVID, SCIDOCS, Scifact データセットの nDCG@ 10 の平均值である. ドメイン適応手法を適用した結果は適用なしの場合からの差（向上幅）である. 各モデルで最 も性能が向上したものを太字にしている.

現しない文書のスコアとして，もう片方の検索結果 100 位の文書のスコアを用いた。

事前学習済みモデルを利用した検索モデルのアン サンブルでは，語彙一致検索との併用の場合と同様 に，上位 100 件の文書のスコアの和を計算した.

## 3 結果

本節では，事前学習済みモデルを用いた各検索モ デルに対して単一のドメイン適応手法を用いた場合の結果，複数の手法を組み合わせて用いた場合の 結果，及び有効なドメイン適応手法を用いて複数の 検索モデルをアンサンブルした結果を述べる．デー タセットは，ドメイン外での検索性能を計測する際 に広く使われている BEIR [17]を用いた. BEIR は複数のデータセットから構成されており，その中で も NFCorpus [18], TREC-COVID [19], SCIDOCS [20], Scifact [21]を用いた。また， 3.3 節では BioASK [22] も用いた.これらは, 重みつき Jaccard 係数で計測 した場合, 検索モデルを学習した際のデータセット である MS MARCO [23] から最も離れたデータセッ トである [17]. その他の実験設定の詳細は付録 $\mathrm{A}$ に 記した。

## 3.1 各ドメイン適応手法はどのような検索 モデルに対して効果があるか

各ドメイン適応手法の性能を表 1 に記す。全ての ドメイン適応手法が検索の精度を改善していること が分かる. 特に，BM25 併用と AdaLM は性能を大き く向上させている. BM25 併用は密ベクトル検索で 最も検索精度を向上させた. これは, Formal ら [24] が指摘するように，事前学習済みモデルを用いた検索モデルが教師データ中の低頻度な単語の重要度を 低く捉えてしまうという状況を緩和するためと考え られる，BM25 併用を用いることで，単独では最も 検索精度が低かった密ベクトル検索が他の検索モデ

表 2 各検索モデルに, AdaLM と一緒に他のドメイン適応手法を適用した結果. 数值は NFCorpus, TREC-COVID, SCIDOCS，Scifact データセットの $\mathrm{nDCG} @ 10$ の平均值で ある。他のドメイン適応手法を適用した結果は AdaLMを 適用した場合からの差（向上幅）である. 各モデルで性能が最も向上したものを太字にしている.

ルを上回っている.

他のドメイン適応手法の中では，AdaLM が SPLADE と ColBERT に対して最も効果的であった.擬似クエリを用いる GPL は，密べクトル検索で有効であるが，他のモデルにおいてあまり改善してい ない．また，IDF 重みはSPLADE では高い効果を示 すが，他のモデルでは効果が薄かった.

## 3.2 ドメイン適応手法を複数適用した場合 に相乗効果があるか

次に，表 1 の実験で全般的に改善効果が最も高 かった AdaLM を選び，さらに他のドメイン適応手法を適用した場合の結果を表 2 に記す。この実験で は，BM25 併用が全てのモデルにおいて検索精度の 向上をもたらした. ょって, AdaLM には単語重要度の補正以外の効果があると考えられる. 例えば， SPLADE や ColBERT のモデルを考えると， ドメイ ン特有の単語の埋め込みの学習が進んでいることが 期待される.

擬似クエリを用いる GPL は，全ての検索モデル で検索精度が低下した。しかしながら，データセッ トにおける性能を詳しく調べると，その効果はデー タセットによってばらつきがあった．密べクトル検索と ColBERT では，TREC-COVID で大幅に性能が 低下していたため, 平均での検索精度の低下が見ら れたが，それ以外のデータセットでは改善が見られ た.また，SPLADEでは，NFCorpus と Scifactで検索精度が低下している。このように，事前学習済み 言語モデルのドメイン適応を行った場合は，その効果はデータセットやモデルに依存していた.

表 1 では IDF 重みが SPLADE での性能の改善に 大きく寄与していたが，表 2 ではその効果がほぼ見 られなくなった，密べクトル検索では，むしろ IDF 重みは逆効果となっている. IDF 重みは対象ドメイ ンにおける重要語に着目する効果があると考えられ るが，AdaLM でもその効果が果たされているため と考えられる。

さらに, AdaLM と BM25 併用に加えて GPL 及び IDF 重み適用した場合について実験を行なったが， ほとんど効果はなかった. 結果は付録 B に記した。

## 3.3 検索モデルによるアンサンブルは更な る検索精度の向上をもたらすか

BM25 併用は，事前学習済みモデルを用いた検索 モデルとのアンサンブルと見なすことができる. そ こで，事前学習済みモデルを用いた検索モデル間 でアンサンブルをすることで，検索精度の更なる 改善を試みた. 表 2 で最も高い検索精度に達した AdaLM と BM25 併用を適用した密ベクトル検索に 対し, SPLADE と ColBERTをアンサンブルした. 実験結果を表 3 に記す。密ベクトル検索とSPLADEを アンサンブルした場合, 密ベクトル検索と ColBERT をアンサンブルした場合のどちらも，検索の精度に 改善が見られる. よって, AdaLM 及び BM25 併用 によるドメイン適応と事前学習済みモデルを用いた 検索モデルのアンサンブルは検索精度のさらなる改善をもたらした。一方，密ベクトル検索，SPLADE， ColBERT を全てアンサンブルした場合は，密ベクト ル検索と ColBERT をアンサンブルした場合と同程度の検索精度に留まった。

次に, 既存の最高性能の検索モデルと比較する.密ベクトル検索の手法である COCO-DR [12] は,我々の知る限り NFCorpus, TREC-COVID, SCIDOCS, Scifact データセットの $\mathrm{nDCG} @ 10$ の平均で最も高い 值に到達している。また， SPLADE に AdaLM，IDF 重み，BM25 併用を適用した CAI [9] は，先ほどの 4 件のデータセットに BioASKを加えた 5 件のデータ セットのnDCG@10の平均で最高値を示している.表 3 においてこれらの検索モデルと比較すると， AdaLM 及び BM25 併用を適用した検索モデルのア ンサンブルが 4 データセットでは COCO-DR と同等 の值を示しており，5 データセットでは ColBERT と アンサンブルした場合に最も高い値に達した.

複数検索モデルのアンサンブル単独による効果を 検証するため，AdaLMを適用しない場合について，各検索モデルのアンサンブルを行った. ドメインに よる違いを観察するために，教師データと同じドメ インである MS MARCO でも実験を行っている. MS MARCO において最も検索精度の高かった ColBERT に対して，密ベクトル検索と SPLADE をアンサン ブルした.これに加えて，BM25 併用を適用した実験も行った. その結果を表 4 に示す. 教師データの ドメイン外である 4 データセットの平均において，表 3 AdaLM と BM25 併用を適用した密ベクトル検索に AdaLM を適用した SPLADE と ColBERT をアンサンブル した結果. 数值は NFCorpus, TREC-COVID, SCIDOCS, Scifact の四データセットにおける $\mathrm{nDCG}^{10} 10$ の平均とさ らに BioASKを加えた五データセットにおける nDCG@10 の平均. それぞれ最も性能が良いものを太字にしている。

表 4 ColBERT に対して密ベクトル検索と SPLADE の アンサンブルを行った結果. 数值は MS MARCO におけ るnDCG@10の值と NFCorpus, TREC-COVID, SCIDOCS, Scifact の四データセットの nDCG@10 の平均値である.

アンサンブルを行うことで検索精度が改善した.ま た，密ベクトル検索，SPLADE，ColBERT の全ての 検索モデルをアンサンブルし，BM25 併用を適用し た場合に，最も高い数値となった．しかしながら， どの結果も表 3 のドメイン適応した検索モデルのア ンサンブル結果を下回っている。この結果より，表 3 において, 特に AdaLMが検索モデルのアンサンブ ルと相乗効果をもたらすと考えられる。

なお, 教師データと同ドメインである MS MARCO においては，アンサンブルを行っても ColBERT の 結果から改善していない. 単純な和によるアンサン ブルはドメイン適応において有効と推察される.

## 4 結論

本論文では，検索モデルのドメイン適応におい て, 事前学習済みモデルのドメイン適応, 語彙一致検索との併用，およびその組み合わせを検証し，語彙が大きく異なるデータの場合に特に効果的である ことを示した。また，語彙一致検索のみならず，複数の検索モデルのアンサンブルが有効であること， その場合も事前学習済みモデルのドメイン適応と相乗効果があることを示した. 今後の課題として，検索モデル相互の特性をより活用したアンサンブル手法の探求などを考えている.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP18002) の結果得られたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[2] S E Robertson and S Walker. Some simple effective approximations to the 2-poisson model for probabilistic weighted retrieval. In SIGIR, pp. 232-241, 1994.

[3] Rodrigo Nogueira and Kyunghyun Cho. Passage reranking with BERT. arXiv:abs/1901.04085, January 2019.

[4] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and WenTau Yih. Dense passage retrieval for Open-Domain question answering. In EMNLP, pp. 6769-6781, 2020.

[5] Thibault Formal, Carlos Lassance, Benjamin Piwowarski, and Stéphane Clinchant. SPLADE v2: Sparse lexical and expansion model for information retrieval. arXiv:abs/2109.10086, 2021.

[6] Omar Khattab and Matei Zaharia. ColBERT: Efficient and effective passage search via contextualized late interaction over BERT. In SIGIR, pp. 39-48, 2020.

[7] Ji Ma, Ivan Korotkov, Yinfei Yang, Keith Hall, and Ryan McDonald. Zero-shot neural passage retrieval via domaintargeted synthetic question generation. In EACL, pp. 10751088, 2021.

[8] Kexin Wang, Nandan Thakur, Nils Reimers, and Iryna Gurevych. GPL: Generative pseudo labeling for unsupervised domain adaptation of dense retrieval. In NACL, pp. 2345-2360, 2022.

[9] Hiroki Iida and Naoaki Okazaki. Unsupervised domain adaptation for sparse retrieval by filling vocabulary and word frequency gaps. In AACL-IJCNLP, pp. 752-765, 2022.

[10] Yi Luan, Jacob Eisenstein, Kristina Toutanova, and Michael Collins. Sparse, dense, and attentional representations for text retrieval. TACL, Vol. 9, pp. 329-345, 2021.

[11] Luyu Gao, Zhuyun Dai, Tongfei Chen, Zhen Fan, Benjamin Van Durme, and Jamie Callan. Complement lexical retrieval model with semantic residual embeddings. In ECIR, Vol. 12656, pp. 146-160, 2021.

[12] Yue Yu, Chenyan Xiong, Si Sun, Chao Zhang, and Arnold Overwijk. COCO-DR: Combating distribution shifts in Zero-Shot dense retrieval with contrastive and distributionally robust learning. 2022.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.
[14] Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong, and Furu Wei. Adapt-and-distill: Developing small, fast and effective pretrained language models for domains. In Findings of ACL-IJCNLP 2021, pp. 460-470, 2021.

[15] Jimmy Lin, Xueguang Ma, Sheng-Chieh Lin, Jheng-Hong Yang, Ronak Pradeep, and Rodrigo Nogueira. Pyserini: A Python toolkit for reproducible information retrieval research with sparse and dense representations. In SIGIR, pp. 2356-2362, 2021.

[16] Canwen Xu, Daya Guo, Nan Duan, and Julian McAuley. LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval. In Findings of ACL, pp. 35573569, 2022.

[17] Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava, and Iryna Gurevych. BEIR: A heterogeneous benchmark for zero-shot evaluation of information retrieval models. In NeurIPS, 2021

[18] Vera Boteva, Demian Gholipour, Artem Sokolov, and Stefan Riezler. A Full-Text learning to rank dataset for medical information retrieval. In ECIR, pp. 716-722, 2016.

[19] Ellen Voorhees, Tasmeer Alam, Steven Bedrick, Dina Demner-Fushman, William R. Hersh, Kyle Lo, Kirk Roberts, Ian Soboroff, and Lucy Lu Wang. Trec-covid: Constructing a pandemic information retrieval test collection. SIGIR Forum, Vol. 54, No. 1, feb 2021.

[20] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel Weld. SPECTER: Document-level representation learning using citation-informed transformers. In ACL, pp. 2270-2282, 2020.

[21] David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, and Hannaneh Hajishirzi. Fact or fiction: Verifying scientific claims. In EMNLP, pp. 7534-7550, 2020.

[22] George Tsatsaronis, Georgios Balikas, Prodromos Malakasiotis, Ioannis Partalas, Matthias Zschunke, Michael R Alvers, Dirk Weissenborn, Anastasia Krithara, Sergios Petridis, Dimitris Polychronopoulos, Yannis Almirantis, John Pavlopoulos, Nicolas Baskiotis, Patrick Gallinari, Thierry Artiéres, Axel-Cyrille Ngonga Ngomo, Norman Heino, Eric Gaussier, Liliana Barrio-Alvers, Michael Schroeder, Ion Androutsopoulos, and Georgios Paliouras. An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition. BMC Bioinformatics, Vol. 16, p. 138, April 2015.

[23] Tri Nguyen, Mir Rosenberg, Xia Song, Jianfeng Gao, Saurabh Tiwary, Rangan Majumder, and Li Deng. MS MARCO: A human generated machine reading comprehension dataset. In NIPS, Vol. 1773 of CEUR Workshop Proceedings, 2016.

[24] Thibault Formal, Benjamin Piwowarski, and Stéphane Clinchant. Match your words! a study of lexical matching in neural information retrieval. In ECIR, p. 120-127, 2022.

[25] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The Semantic Scholar Open Research Corpus. In ACL, pp. 4969-4983, 2020.

[26] Sebastian Hofstätter, Sheng-Chieh Lin, Jheng-Hong Yang, Jimmy Lin, and Allan Hanbury. Efficiently teaching an effective dense retriever with balanced topic aware sampling. In SIGIR, pp. 113-122. 2021.

表 6 SPLADE学習時のハイパーパラメータ

学習率2 2 e-5

エポック 30

Warmup ステップ 1000

表 7 ColBERT 学習時のハイパーパラメータ

バッチサイズ 32

最大文書長 220

学習率3e-6

一クエリあたりの負例数 48

エポック 1

最大訓練ステップ数 500,000

表 8 GPL 使用時のハイパーパラメータ（ColBERTを 除く)

## A 実験設定

今回使用した対象データは，BioASK [22]，NFCorpus [18], TREC-COVID [19] がバイオ・医療ドメイン であり，SCIDOCS [20]，Scifact [21] が科学ドメイン である。そのため， AdaLM を適用するコーパスと して, バイオ・医療ドメインは PubMed ${ }^{4)}$ の要旨を用 いた．科学ドメインは S2ORC [25] の要旨を用いた.

元ドメインにおける検索モデルの学習について は，全ての検索モデルでクロスエンコーダ5) [3] を 知識蒸留することで訓練した. 知識蒸留の方法とし て，密ベクトル検索と SPLADEでは，あるクエリに 対する正例文書と負例文書のクロスエンコーダにお けるスコアの差であるマージン二乗誤差損失 [26] を 用いた。また，密ベクトル検索と SPLADE の関連度 スコアは内積を用いて計算した. ColBERT につい ては，クロスエンコーダにおけるスコアと検索モデ ルのスコアそれぞれに対してソフトマックス関数を 適用し，KL ダイバージェンスをとった. GPL学習

4) https://pubmed.ncbi.nlm.nih.gov/

5）モデルには，cross-encoder/ms-marco-MiniLM-L-6-v2 を使用 している.表 9 各検索モデルに，AdaLM，BM25 併用と一緒に他 のドメイン適応手法を適用した結果. 数值は NFCorpus, TREC-COVID, SCIDOCS, Scifact データセットのnDCG@10 の平均值である. 他のドメイン適応手法を適用した結果 は AdaLM と BM25 併用を適用した場合からの差（改善幅）である。

時にも同様に知識蒸留を行った。

各検索モデルの事前学習済みモデルには $\mathrm{BERT}^{6}$ ) を用いた。学習時のハイパーパラメータを表 $5 ， 6$, 7 に記す。また，密ベクトル検索と SPLADE に対し て，GPLを適用した際のハイパーパラメータを表 8 に記す。なお，ColBERT は GPL 適用時も表 7 と同様である。また，一文書あたりのクエリ数は表 8 と 同様である.

## B AdaLM・BM25 併用に加えてドメ イン適応を行なった結果

AdaLM と BM25 併用に加えて，GPL，IDF を適用 した場合の実験結果を表 9 に記す。GPL はどの手法 においても，検索精度の向上に寄与していない，密 ベクトル検索ではその検索精度が大きく低下してお り，各データセットの詳細を調べても，改善が見ら れたのは SCIDOCS のみであった。密ベクトル検索 において，GPLによる改善効果の多くが AdaLM と BM25 併用で実現されていたと推察される．IDF 重 みについては，検索モデルによって差があり，密べ クトル検索及び SPLADE は検索精度が下がってい る. BM25 は TF-IDF によるランキングアルゴリズ ムであるため，BM25 併用によってすでに IDF 重み と同様の効果が得られたことが要因と考えられる。一方，ColBERT では改善している。AdaLMによる 埋め込みの改善が，語彙 BM25 併用による効果以外 にも改善をもたらしたと考えられる。

6）bert-base-uncased を使用している。


# JParaCrawl を用いた単文翻訳におけるドメイン適応

名村太一 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学工学部電気情報系学科
2 鳥取大学工学部
${ }^{1}$ B19T2076C@edu.tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

NMT において様々なドメイン適応 (domain adaptation) の手法が研究されている [1]. また，ドメ イン適応のためには大規模なコーパスが必要であ る.そこで大規模コーパスとして JParaCrawl[2] が 開発された。しかし，まだ人手の翻訳精度に及ば ない. 本研究ではファインチューニングに用いる コーパスが小さいことが原因だと考える。そこで JParaCrawl からテスト文に類似する対訳を抽出し， コーパスを拡張しファインチューニングを行う．実験の結果，対訳を追加しなかった場合と比較して， $\mathrm{BLEU}$ 值が 1.7 向上 $\mathrm{s}$ した.

## 1 はじめに

NMT においてドメイン適応についての様々な研究がされてきた [1]. また，ドメイン適応を行うた めには十分なコーパスが必要である。しかし，日英対訳コーパスにおいては一般的なドメインの大規模 コーパスが無かった. そこでウェブから大規模かつ 特定のドメインに特化しない日英対訳コーパスとし て JParaCrawl[2] が開発された. しかし，まだ人手の 翻訳精度に及ばない。

本研究ではファインチューニングに用いるコーパ スが小さいことが原因だと考える．そこで，ファイ ンチューニングに用いるコーパスを拡張することで 翻訳精度の向上を図る. まず，目的ドメインのテス ト文に類似する対訳を JParaCrawl から抽出する．次 に，抽出したコーパスと目的ドメインのコーパスを 合わせた新たなコーパスを作成する。そして新たな コーパスを用いて JParaCrawl の事前学習済みモデル のファインチューニングを行う.

また，目的ドメインのコーパスのみを用いて JParaCrawl の事前学習済みモデルをファインチュー ニングしたものを BaseLine とする. BaseLine と提案手法の比較を，BLEU 値による自動評価と人手に よる対比較評価で行う.

## 2 過去研究 \\ 2.1 JParaCrawl

NTTコミュニケーション科学基礎研究所によっ て作成された日英対訳コーパスである. 対訳文は約 2000 万文が用意されている.

## 2.2 ドメイン適応

ドメイン特有の言い回しや表現がある。そのため NMT において，汎用的なシステムよりそのドメイ ンに適応したシステムの方が翻訳精度が向上する [4]. ドメイン適応するために様々な手法が研究され ているが，コーパス中心とした適応 (data centric) と， モデル中心とした適応 (model centric) に大きく分け られる [1]. 本研究ではこれらを組み合わせてドメ イン適応を行う。

## 2.2.1 データ選択

データ選択 (data selection) とはコーパスによるド メイン適応の手法である [1]. 目的ドメインのコー パスに類似する文を他のコーパスから抽出し，コー パスを拡張する。様々なアルゴリズムが考案されて いるが [5], 本研究では TF-IDFを用いる.

## 2.2.2 ファインチューニング

ファインチューニング (fine-tuning) とはドメイン 適応の手法である [6][1]. 事前学習済みモデルを目的ドメインのコーパスを用いてパラメータを微調整することである.これによってモデルをドメイ ンに適応させる. 本研究では JParaCrawl のファイン チューニングの方法に従って行う.

## 3 提案手法

本研究では，以下の手順を提案する.

1. TF-IDF でテスト文に類似する対訳を JParaCrawl から抽出

2. 抽出した対訳を目的ドメインのコーパスに付け 加えて，新たなコーパスを作成

3. 新たなコーパスを用いて，JParaCrawl で学習さ れた事前学習済みモデルをファインチューニ ング

## 4 実験

## 4.1 実験データ

実験に用いるデータを表 1 に表す. 単文対訳コー パスとテスト文は電子辞書を中心に採取された単文 を用いる [7]. また，本実験では JParaCrawl の対訳の 内，Bicleanerの値を 0.7 以上の対訳のみを使用する.

表 1 実験データ

## 4.2 実験設定

FAIRSEQ[8] を用いて実験を行う. 学習のパラメー 夕は [2] に従って, 同様の設定で行う. そのため, 事前学習済みモデルから 2,000 ステップの学習を行 うことでファインチューニングを行う．また，前処理には sentencepiece[9] を用いて，語彙数 32,000 と し， unigram 単位で分割する。

## 4.3 実験手順

1. TF-IDF でテスト文に類似する文を JParaCrawl から抽出する

2. 単文対訳コーパスと抽出した文を合わせたコー パスを用いて，JParaCrawl で学習された事前学習済みモデルをファインチューニングする

3. テスト文の翻訳を行い，評価を行う

抽出する量を，テスト文 1 文に対して類似した上位 10 文を Proposed として実験を行う。

評価には SacreBLEU[10] を用いて, BLEU[11]を 計算する. また，人手による対比較評価も行う.

## 4.4 BaseLine

本実験では，BaseLine を単文対訳コーパスのみを 用いて事前学習済みモデルをファインチューニング した結果とする.

## 5 実験結果 \\ 5.1 自動評価

表 2 に BLEU 値の評価結果を示す。

表 2 提案手法と BaseLine の BLEU 值

表 2 より, BLEU 値において Proposed は BaseLine より向上することが確認できた.

## 5.2 人手評価

人手評価は同研究室の学生 4 名に行ってもらっ た. そしてその平均値を人手評価とする。

Proposed と BaseLine の対比較評価を行う. テスト 文の中からランダム 100 文に対して，Proposed の方 が良い，BaseLine の方が良い，ほとんど差がないの 3 つの分類で対比較評価を行った. その結果を表 3 に示す.

表 3 Proposed と BaseLine の対比較評価

その結果，BaseLineの方が良いが 16.8\%に対して， Proposed の方が良いが $28.5 \%$ で上回った. 人手評価 でも Proposed が BaseLine を上回る結果になった.

## 5.3 出力例

## 5.3.1 Proposed の良い例

BaseLine の翻訳結果と比較して Proposed の方が良 い文を，追加された文とともに表 4 に示す.

表 4 より, BaseLine では「知床」が翻訳されな かったのに対して，Proposedでは「知床」が含まれ る文が追加されることによって，正しく翻訳される ようになった.

## 5.3.2 Proposed が悪かった例

BaseLine の翻訳結果と比較して Proposed の方が悪 かった翻訳と，追加された文を表 5 に示す。

「葬られた」の翻訳は「hushed up」が正しいが,「葬られた」と「buried」を含む対訳を学習したため，間違った翻訳をしたと考えられる。
表 4 Proposedの良い翻訳例と，追加された文

 \\

表 5 Proposed の悪い翻訳例と，追加された文

類似文 1 日本語文 遺体は後に，裸にされて傷つけられ た状態で発見され,ブロードフット の遺体とともにラグマーニーにあ
る私の兄の要塞の近くに葬られた。

類似文 1 英語文 The body was afterwards found, naked and mutilated, and, with Broadfoot's, maunee.

## 6 考察

## 6.1 抽出するデータ量を変更

## 6.1.1 自動評価結果

この節では JParaCrawl から抽出するデータ量を変更する. Proposed ではテスト文 1 文に対して類似す る上位 10 文を抽出していた.ここではテスト文 1 文 に対して類似する上位 1 文と 100 文としたものを top1と top100として実験を行う.

表 6 より，top1 では BaseLine より BLEU 值が向上した. Proposed の方が top1 と比べて BLEU 值が高 かった. また， top100では BaseLine より BLEU 值が 低下した.

## 6.1.2 Proposed と top1 の違いの例

top1 の結果から BaseLine よりも BLEU 值が高い ため, Proposed と比較したものを表 7 に示す.

表 7 top1, Proposed, BaseLine の翻訳を比較

 \\

## この結果では, BaseLine より top1 の方がよくなっ た. しかし, JParaCrawl より抽出する量を増やした Proposed はかえって悪くなった. この原因として， top1 には無かったが Proposed には含まれていた類似文が影響したと考える.

## 6.2 ランダムに追加

この節では JParaCrawl からランダムに抽出した 対訳を追加し，学習を行う。それぞれ 1 万，10万， 100 万の対訳を抽出し, 追加したコーパスで学習を 行った. その結果を表 8 に示す.

表 8 BaseLine と randomに 1 万，10万，100万を追加し て学習した BLEU 值

random 100,000が最も BLEU 值が高い結果だった. しかし，類似文を追加した Proposed の方が BLEU 值 が向上した.

## 6.3 抽出した対訳のみでファインチューニ ング

この節では単文対訳コーパスを使用せずに， JParaCrawl より抽出したコーパスのみでファイン チューニングを行う．抽出する量をテスト文 1 文 に対して 1 文， 10 文，100 文とし，それぞれ JPara top1，JPara top10，JPara top100とする. その結果を 表 9 に示す.

表 9 より, 全ての結果で BaseLine を下回ったが，類似する文を増やすと BLEU 値が向上した。一方表
表 9 JParaCrawl からテスト文に類似する文を抽出した コーパスのみでファインチューニングを行ったモデルの BLEU 值

6 では，top100において，コーパスを大きくしすぎ ると BLEU 值が低下した. しかし，この実験では BLEU 值が向上した.

## 6.4 JParaCrawl+単文対訳コーパスから 抽出

テスト文により類似したコーパスでファイン チューニングを行えば翻訳精度が向上すると考 える。そのため，この節では単文対訳コーパスと JParaCrawl を合わせたコーパスからテスト文に類似 する文を抽出する. 抽出する量は，テスト文 1 文に 対して 1 文， 10 文， 100 文とし，それぞれを JPara+単文 top1，JPara+単文 top10，JPara+単文 top100 とす る. その結果を表 10 に示す.

表 10 単文対訳コーパス+JParaCrawl からテスト文に類似する文を抽出したコーパスでファインチューニングを 行ったモデルの BLEU 值

表 10 より，全ての結果で BaseLine を下回ったが，類似する文を増やすと BLEU 值が向上した．また，表 9 と比較して全体的に BLEU 値が向上した.

この結果より，テスト文に類似していることより 一定量の単文対訳コーパスが重要であると考える.単文対訳コーパスは単文の短い文で構成されてい る. それに対して JParaCrawl の多くは長い文で構成 される.この違いにより表 2 の結果が最も良かった と考える。

## 6.5 Google 翻訳との比較

Google 翻訳との比較を行う. 表 11 で Google 翻訳 と BLEU 値で比較する。 また, 表 12 に, Proposed と Google 翻訳の対比較評価の結果を示す.表 11 Google 翻訳と BLEU 值で比較

表 12 Proposed と Google 翻訳の対比較評価

表 13，14 に Google 翻訳と Proposed の例を示す.

表 13 Proposed と Google 翻訳を比較して, Proposed が良 かった例

表 14 Proposed と Google 翻訳を比較して, Google が良 かった例

 \\

表 11 より，BLEU 值において，Proposed の値は Google 翻訳の值に近かった. しかし, 表 12 の結果 ではまだ及ばなかった.

## 7 おわりに

本研究では，TF-IDFを用いて JParaCrawl からテ スト文に類似する対訳文を抽出した. その対訳文を 目的ドメインのコーパスに追加することでコーパ スを拡張した. 拡張したコーパスを用いて事前学習済みモデルのファインチューニングを行うことで BaseLine と比較して BLEU 值と人手評価の両方で翻訳精度の向上が見られた. 具体的には BLEU で 1.7 向上した.

コーパスを拡張しすぎると翻訳精度の低下が確認 されたので，適切なコーパスの量や，他の対訳の抽出法を今後の課題にする.

## 謝辞

人手評価に協力してくれた，以下の 5 名の学生の 協力を得ました. 感謝致します. (柳原弘哉，丸山京祐，深谷 諒，松本 武尊）

## 参考文献

[1] Chenhui Chu and Rui Wang. A survey of domain adaptation for neural machine translation. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1304-1319, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[2] 森下睦, 帖佐克己, 鈴木潤, 永田昌明. Jparacrawl v3.0:大規模日英対訳コーパス. 言語処理学会第 28 回年次大会 発表論文集 (2022 年 3 月) , 2022.

[3] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, et al. Paracrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, 2020.

[4] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. arXiv preprint arXiv:1706.03872, 2017 .

[5] Alberto Poncelas, Gideon Maillette de Buy Wenniger, and Andy Way. Transductive data-selection algorithms for fine-tuning neural machine translation. arXiv preprint arXiv:1908.09532, 2019.

[6] Minh-Thang Luong and Christopher D Manning. Stanford neural machine translation systems for spoken language domains. In Proceedings of the 12th International Workshop on Spoken Language Translation: Evaluation Campaign, 2015.

[7] 村上仁一. 日英対訳データベースの作成のための 1 考察. 言語処理学会第 17 回年次大会発表論文集, D4-5, pp. 979-82, 2011.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. arXiv preprint arXiv:1904.01038, 2019.

[9] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[10] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 翻訳における文パターンの利用

深谷諒 1 村上仁一 ${ }^{2}$
1 鳥取大学工学部電気情報系学科
2 鳥取大学工学部
1b19t2092k@edu. tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

NMT の翻訳は単語ごとに行う傾向にある.光の ため，文全体を考えず翻訳することになり，間違っ た翻訳になることがある. 光れを要素合成法の問題 という．光こで本研究では，文全体を考えて翻訳す るために NMT の学習データに文パターンを追加す ることを考えた . 実験の結果 , 文パターンを追加し たほうが精度がわずかに向上した。

## 1 はじめに

近年，機械翻訳の 1 つに NMT がある.しかし NMT は単語ごとに翻訳する傾向にある. 光こで本研究は NMT に文パターンを追加することにより，翻訳精度の向上を試みる . 文パターンを追加するこ とにより，単語ごとの部分的な翻訳ではなく, 文全体を考えた翻訳ができると考えられる。

## 2 要素合成法の問題

NMT を用いて文を翻訳する際，単語ごとに翻訳 すると間違った訳になる場合がある．例を以下の表 1 に示す.

この出力文は，"通した"を"passed"，"我"を"me"と 単語ごとに訳しているため間違いが起きている.こ のように英文を単語ごとに訳し，間違った翻訳にな ることを要素合成法の問題という．

## 3 文パターン

文パターンとは，変数を用いてパターン化された 文である. 本研究の文パターンは, 対訳学習文から 自動抽出した変数が 1 つのものを用いる（森本 [1] 参照) . 文パターンの作成の方法を以下に示す.また，文パターンの例を表 2 に示す。

手順 1 GIZA++[2]を用いて対訳学習文から翻訳確率を得る.光して任意の対訳学習文と翻訳確率から，対訳単語を作成する。

手順 2 任意の対訳学習文から対訳単語を変数化 し，対訳文パターンを作成する。

手順 3 任意の対訳学習文から対訳文パターンの変数部を抽出し，対訳句とする。

手順 4 手順 3で作った対訳句から, 対訳文パター ンを生成する。

手順 5 もう一度任意の対訳学習文から対訳文パ ターンの変数部を抽出し，対訳句とする。

手順 6 最後に対訳句から 1 変数の対訳文パターン を抽出する。

## 4 提案手法

単語ごとの翻訳ではなく，文全体を考えて文パ ターンを追加することによって, 要素合成法の問題 が解決され，翻訳精度が向上すると考える. 文パ ターンを追加する流れと手順を以下に示す．

図 1 提案手法の流れ

手順 1 対訳学習文に文パターンを追加して，新た な学習データを作る。

手順 2 手順 1 のデータをNMT で学習する.

手順 3 手順 2 で学習した NMT モデルを使って翻訳を行う。

## 5 実験

## 5.1 実験手順

手順 1 NMT に単文対訳学習文約 16 万文を学習 する.

手順 21 で学習した NMT モデルを用い，テスト 文を翻訳しベースラインとする。

手順 3 対訳学習文に変数が 1 つの文パターン 65 万パターンを追加し，新たな学習データを 作る.

手順 43 の学習データを使って NMT で学習 する.

手順 54 で学習させた NMT モデルを用い，テス ト文を翻訳し提案手法とする。

手順 6 提案手法とベースラインを比較して自動評価 (BLEU, METEOR, RIBES, TER) を行う .

手順 7 出力文からランダムに選んだ 100 文につ いて提案手法とベースラインを比較して人手評価を行う。

## 5.2 実験条件

本研究では，OpenNMT[3] を用いて日英ニューラ ル機械翻訳を行う。

## 5.3 実験データ

実験に用いるデータの内訳を表 3 に示す．表 3 実験データ

## 6 実験結果

## 6.1 自動評価結果

テスト文約 1 万 6 千文を入力文として翻訳実験 を行い，出力文に対して自動評価を行った. 表 4 に，自動評価 (BLEU, METEOR, RIBES, TER) の結果を示 す.

表 4 自動評価の比較

表 4 の結果より，自動評価ではベースラインと比較して提案手法の精度が良いことがわかった．

## 6.2 人手評価結果

出力文からランダムに選んだ 100 文を用い, 人手 による対比較評価を行った。評価結果を表 5 に示 す. 表 5 の結果は, 4 名が同じ 100 文を評価し, 光 の結果をまとめた. 以下の表 5 では 4 名の被験者を 光れ光れ被験者 $\mathrm{A}$, 被験者 $\mathrm{B}$, 被験者 $\mathrm{C}$, 被験者 $\mathrm{D}$ とし以下では $\mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D}$ とする.また，評価の説明 を以下に示す。

提案手法口

提案手法とベースラインの比較した際，ベース ラインの出力文の方が入力文の意味に近い.

ベースラインロ

提案手法とベースラインを比較した際, 対訳句追加時の出力文の方が入力文の意味に近い。

互角

提案手法とベースラインを比較した際，両手法 の出力文の評価が互角 .

表 5 対比較評価の結果

表 5 の結果より，人手評価では提案手法がわずか に精度がいいことがわかった。

## 6.3 出力結果の例

ベースラインと提案手法との対比較評価におい て，提案手法○とした例を表 6,7 に示す.ベースラ イン○とした例を表 8 ，9 に示す.互角の例を表 10 ， 11 に示す.また, 表 6〜8には, 提案手法の出力結果 に影響したであろう文パターンを光れ艾れ示す。

## 6.3.1 提案手法口の例

表 6 提案手法口の例 1

 \\

表 6 の例において, "手掛かり"に対して"harbinger" という比較的近い訳が得られている提案手法を口 と した.

表 7 提案手法口 の例 2

 \\

表 7 の例において, "戦闘中"に対して"in the battle" という比較的近い訳が得られている提案手法を口 した.表 8 ベースラインロ 例 1

表 8 の例において , "flickering"より"swinging"のほ うが適していると考え, ベースラインロとした。

表 9 ベースラインロの例 2

 \\

表 9 の例において, 提案手法の後半が不要だと感 じた.よって,ベースラインロとした.

## 6.3.3 互角の例

表 10 の例において, どちらも正しい訳と判断し て，互角とした．

表 11 互角の例 2

 \\

表 11 の例において，どちらも間違った訳と判断 して，互角とした。

## 7 おわりに

本研究では, 要素合成法の問題を解決するため に，NMT の学習データに文パターンを追加した。
実験結果より，提案手法の BLEU 値が約 0.7 ポイン トベースラインを上回った．また，人手評価では提案手法がベースラインの精度をわずかに上回った．今後は , パターンを選択して追加する予定である.

## 謝辞

人手評価には，以下４名の学生の協力を得まし た. 感謝いたします. (矢野貴大，松本武尊，名村太一, 丸山京祐)

## 参考文献

[1] 森本世人 村上仁一: 類似度を利用した変換テーブルの精度向上

[2] Franz Josef Och, Hermann Ney:" A System- atic Comparison of Various Statistical Alignment Models" Computational Linguistics, pp.19-51, 2003.

[3] OpenNMT : https://pypi.org/project/OpenNMT-py/1.2.0/


# NMT による複文翻訳における単文対訳学習文の利用

丸山京祐 ${ }^{1}$ 村上仁一 2
1 鳥取大学工学部電気情報系学科
2 鳥取大学工学部
${ }^{1}$ b19t2110u@edu.tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

NMT を使った複文翻訳においては複文対訳文を 学習して翻訳する。しかし, 多くの複文対訳文を集 めることには限界がある．艺こで，複文対訳文だけ でなく, 単文対訳文を学習に使用することで複文翻訳の精度を向上させることを考えた .

本論文では，複文翻訳の学習文に複文対訳文だけ でなく，単文対訳文も同時に学習した結果を示す。

## 1 はじめに

NMT において翻訳する文と同じ分野の文を学習 することが望ましいとされている [1] . 光のため，複文翻訳においては複文対訳文を学習して翻訳す る.しかし, 多くの複文対訳文を集めることには限界がある。そとで，複文対訳文だけでなく単文対訳文を学習に使用することで複文翻訳の精度を上げ ることを考えた . 複文は単文の組み合わせの構造に なっている. ぞため, 単文の学習が翻訳の精度向上に影響すると考えている。

本論文では，NMT を使用して複文翻訳するとき の単文対訳文の量の影響を調査する。

## 2 提案手法

複文は複数の単文を組み合わせた構造になってい る. そのため，複文学習文に単文を追加することで 複文翻訳の精度向上ができると考えた。

本研究では，以下の手法を提案する。

1. 複文対訳学習文と単文対訳学習文を合わせた コーパスを作成

2. 作成したコーパスを NMT で学習

3. 学習した NMT で複文テスト文を翻訳

## 3 実験

本実験では，OpenNMT-py[2]を用いて翻訳実験を 行う.

NMT に複文対訳学習文 9 万文のみを学習したモ デルと半分の 4 万 6 千文のみ学習したモデルを作成 し複文テスト文を翻訳する。光して，光れ光れの複文対訳学習文に単文対訳学習文を 2 万文，4万文， 8 万文，16万文を加えてモデルを作成し，光れ光れの モデルで複文テスト文を翻訳する。

## 3.1 実験データ

実験には，電子辞書などの例文より抽出したコー パス [3]を用いる.使用するデータの内訳を表 1 に 示す.

表 1 実験データ

表 2 に単文対訳学習文の例文を示す. 表 3 に複文対訳学習文の例文を示す. 表 4 に複文テスト文の例文を示す.

表 2 単文対訳学習文の例文

 \\

表 3 複文対訳学習文の例文

 &  \\

表 4 複文テスト文の例文

その国はこの戦いを前から予知して光れ に備えてきた。

彼らは、わがXYZ 社への訪問中、当社が 完全にオープンで協力的であつたことに同意するでしょう。

## 4 実験結果

## 4.1 自動評価結果

複文のテスト文 9243 文の翻訳結果の出力文に対 して自動評価指標 BLEU[4]による自動評価を行っ た. 表 5 に複文 9 万文に単文を加えた学習の自動評価結果を示す. 表 6 に複文 4 万 6 千文に単文を加え た学習の自動評価結果を示す.

表 5 複文 9 万文に単文を加えた学習の自動評価結果

表 6 複文 4 万 6 千文に単文を加えた学習の自動評価結果

表 5,6 より, 複文に単文を加えるほど精度は向上していくことがわかる.

## 4.2 出力結果の例文

複文対訳学習文 9 万文に単文対訳学習文を加えて 学習する実験の出力結果の例文を示す. 表 7 に翻訳精度が向上した例文を示す. 表 8 に翻訳精度が低下 した例文を示す。表 7 翻訳精度が向上した例

 \\

表 8 翻訳精度が低下した例

 \\

## 4.3 人手評価結果

複文テスト文 9243 文を翻訳した結果から 100 文 を抽出し，人手による対比較評価を行った . 評価者

は著者 1 名である. 表 9 に複文対訳学習文 9 万文の みの結果と学習文に単文対訳学習文 16 万文を加え た結果を比較した結果を示す。

表 9 複文 9 万文, 複文 9 万文 + 単文 16 万文の対比較評価

表 9 から，複文 9 万文のみの結果より単文 16 万文を加えた結果の方が良い結果となっていることが 示された。

## 4.4 実験のまとめ

実験結果より，複文対訳学習文に単文対訳学習文 を多く加えて学習するほど複文翻訳の精度が向上す ることがわかる .

## 5 考察

5.1 学習文が単文対訳学習文のみの複文翻訳の精度

複文対訳学習文の必要性を確認するため，単文対訳学習文のみを学習した場合の複文翻訳の精度を示 す.

## 5.1.1 出力結果の例文

学習文が単文対訳学習文のみの出力結果の例文を 表 10 に示す.

表 10 単文対訳学習文のみの出力例

 \\

## 5.1.2 自動評価結果

複文のテスト文 9243 文を入力文として翻訳実験 を行い, 出力文に対して自動評価指標 BLEU による 自動評価を行った。

表 11 単文対訳学習文のみの自動評価結果

表 11 より, 単文対訳学習文のみでは複文翻訳の 精度がかなり低いことがわかる. 表 5,6 の結果と 比較すると，複文対訳学習文の量が単文対訳学習文 よりも精度に対する影響が大きいことがわかる．

## 5.2 BLEU 値の考察

複文対訳学習文のみの学習の結果と単文対訳学習文を加えた結果において，自動評価の有用性を調へ る.光のために，BLEU 値の近い複文対訳学習文 9 万文の結果と複文対訳学習文 4 万 6 千文に単文対訳学習文 8 万文を加えた結果を人手で比較する。

## 5.2.1 出力結果の例文

複文対訳学習文 9 万文の結果と複文対訳学習文 4 万 6 千文に単文対訳学習文 8 万文を加えて実験した ときの出力結果の例文を示す. 複文対訳学習文 9 万文の結果が良い例を表 12 に示す.また，複文対訳学習文 4 万 6 千文に単文 8 万文を加えた結果が良い 例を表 13 に示す。

表 12 複文対訳学習文 9 万文の結果が良い例

 \\

表 13 複文対訳学習文 4 万 6 千文 + 単文 8 万文の結果が 良い例

 \\

## 5.2.2 人手評価結果

複文テスト文 9243 文を翻訳した結果から 100 文 を抽出し，人手による対比較評価を行った. 評価者 は著者 1 名である.表 14 に複文対訳学習文 9 万文 のみの結果と複文対訳学習文 4 万 6 千文に単文対訳学習文 8 万文を加えた結果を対比較評価した結果を 示す.

表 14 複文 9 万文, 複文 4 万 6 千文 + 単文 8 万文の対比較
評価

表 14 から, 人手評価では複文 9 万文のみの結果 の方が少し良い結果となっていることがわかる．表 12の1つ目に示す例文のように出力単語は良く見え る.しかし，文全体では意味がおかしい．このよう な出力結果が複文 4 万 6 千文 + 単文 8 万文では比較的多く見られた．このことが自動評価と人手評価の 結果の違いになっていると考えられる。

## 6 おわりに

本研究では，NMT による複文翻訳において複文対訳学習文と単文対訳学習文光れ光れを学習した翻訳と複文対訳学習文に単文対訳学習文を加えて学習 し翻訳をした。

光の結果，複文翻訳において以下のことがわ
かった

・複文対訳学習文に単文対訳学習文を加えること で翻訳精度が向上する

・複文対訳学習文の量は単文対訳学習文よりもさ らに翻訳精度に大きく影響する

・複文対訳学習文のみと単文対訳学習文を加えた 学習文の比較において, 単語よりも文全体の意味か間違うことが比較的多くなるので, 自動評価が参考になりにくい

今後の研究では, 本研究で使用した NMT のモデ ルとは異なる翻訳モデルについての調査を行う．

## 参考文献

[1] Rui Wang, Masao Utiyama, Andrew Finch, Lemao Liu, Kehai Chen, and Eiichiro Sumita. Sentence selection and weighting for neural machine translation domain adaptation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 10, pp. 1727-1741, 2018.

[2] Opennmt - open-source neural machine translation, 2017. https://opennmt.net/.

[3] 村上仁一. 日英対訳データベースの作成のための 1 考察. 言語処理学会第 17 回年次大会発表論文集, D4-5, pp. 979-82, 2011.

[4] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.


# 多言語事前学習モデルを前提とした 非英語間ピボット翻訳の特徵調査

今村 賢治隅田英一郎
国立研究開発法人情報通信研究機構
\{kenji.imamura, eiichiro.sumita\}@nict.go.jp

## 概要

多言語翻訳モデルは、複数の言語を一つのモデル で扱えるようにしたものであるが、学習していない 言語対（ゼロショット翻訳）の翻訳品質は非常に悪 い。一方、ピボット翻訳は英語等のピボット言語を 介して原言語 $セ$ ピボット $\rightarrow$ 目的言語の翻訳を行う方法で、原言語と目的言語の直接対訳がなくても機械翻訳を行うことができる。

本稿では、多言語モデルを用いてピボット翻訳を 行い、直接翻訳と比較する。また、逆翻訳で生成し た疑似対訳で多言語モデルをファインチューニング することで、直接対訳がなくても翻訳品質を向上で きることを示す。

## 1 はじめに

多言語ニューラルネットワークモデルは、複数の 言語を一つのモデルで学習させたもので、機械翻訳 や言語横断処理に有効である。処理対象に類似した 言語（たとえば、同じ言語属のもの）もリソースと して活用することで、低リソースでも処理対象言語 の精度を向上させられるという利点がある。1) 機械翻訳の場合、原言語と目的言語の組み合わせで翻訳 を行うため、言語特化モデルでは組み合わせ数のモ デルを用意しなければならない。多言語モデルを用 いると、さまざまな言語対を一つのモデルで扱える ため、管理が容易となる。そのため、対訳コーパス で事前学習したエンコーダ・デコーダモデルもいく つか公開されている。

たとえば、OPUS-100 コーパスを事前学習した多言語翻訳モデル $[1]^{2)}$ が公開されている。これは、

100 言語と英語間の翻訳モデル（いわゆる英語中心 English-Centric モデル）である。M2M-100 モデル $[2]^{3)}$ の対象も 100 言語であるが、英語以外の対訳 コーパスを追加することで、 2,200 方向の事前学習 を行っている。なお、mBART $[3,4]$ もエンコーダ. デコーダ型の事前学習モデルだが、これは単言語 コーパスだけで訓練されている。

100 言語を翻訳対象とした場合、のべ 9,900 方向 の翻訳を行う可能性があるが、多言語翻訳モデルを 用いても、対訳コーパスで学習されていない言語対 （ゼロショット翻訳 [5] と呼ばれている）の翻訳品質 は非常に悪く、実用に適さない場合が多い。

対訳コーパスの入手が困難な言語対で、ある程度精度のよい翻訳を実現する方法として、ピボット翻訳 [6] がある。これは、原言語と目的言語の間にピ

ボット言語 $\rightarrow$ 目的言語を実現する (図 1(a))。ピボッ トには、対訳コーパスが豊富な言語が有利なため、英語が用いられることが多い。ピボット翻訳は統計翻訳でよく利用されていたが、ニューラル機械翻訳 にも適用可能である。多言語事前学習モデルにピ ボット翻訳を適用することで、対訳コーパスが存在 しない言語間 (ゼロリソース言語。主に非英語間) の翻訳であっても、 1 つのモデルで実用的な翻訳が 実現できる。

本稿では、ゼロリソース言語対に対して、多言語事前学習モデルを用いたピボット翻訳を適用し、翻訳品質の測定と、逆翻訳を併用した品質向上法につ いて議論する。

## 2 本稿の多言語事前学習モデル

今回、CC-100 コーパス $[7,8]$ と、OPUS-100コー パス $[9,10]$ または CCAligned v1 コーパス [11] がカ バーする 103 言語に対応した英語中心モデルを新た

表 1 コーパスサイズ

 & テスト \\

ASPEC-JC & 669,923 & 2,090 & 2,107 \\

に訓練した。CC-100 は単言語コーパス、OPUS-100 と CCAligned は対訳コーパスである。いずれも Web のクロールデータを基にしている。

構築方法は以下のとおりである。

1. まず、[12]の方法を踏襲し、mBART-50 [3] モデ ルの単語埋込を、CC-100コーパスがカバーす る 109 言語に拡張した。拡張部分はランダム初期化している。

2. 次に、CC-100コーパスを用いて、上記モデル に対してノイズ除去の追加訓練した。この訓練 は、mBART-50 の訓練と同じである。

3. その後、OPUS-100とCCAligned コーパスのう ち、英語 ↔外国語対訳を用いて、モデルを追加訓練した。言語対によって、コーパスサイズ に大きな差があるため、温度サンプリング [13] を行い、コーパスサイズが大きな言語対はダウ ンサンプリング、小さな言語対はアップサンプ リングしながら訓練した（温度係数 $T=0.7$ )。

作成されたモデルは、基本的には mBART-50 と同 じ構造なので、エンコーダ、デコーダはそれぞれ 12 層、埋込 1,024 次元、FFN4,096 次元、 16 ヘッド、単語埋込は 25 万語である。なお、mBART-50 は、原言語と目的言語を言語タグという形で指定するため、本モデルも翻訳時に原言語、目的言語が明確になっ ている必要がある。

本モデルの訓練コーパスサイズ（一部）と、3 節 で用いる ALTコーパスの言語と英語間の翻訳品質 を付録に示す。

## 3 翻訳実験

本稿では、外国語と日本語間翻訳について実験を 行う。

## 3.1 実験設定

## 3.1.1 コーパス

今回は、ゼロリソース言語と、直接対訳が存在し た場合を比較するため、以下の対訳コーパスを利用した。コーパスサイズを表 1 に示す。なお、訓練直接翻訳

ピボット翻訳

(a) 翻訳方式

## 基本モデル

2節のモデルを

そのまま使用

## $+X X \rightarrow$ Enモデル

ピボットの前半部を強化

(b) モデル

## +直接対訳モデル

ピボットを経由せずに 直接翻訳を強化

## $+E n \rightarrow X X$ モ゙ルル

ピボットの後半部を強化

図 1 翻訳方式とモデル

セットは、著しく長さが異なる対訳を取り除いたあ とのサイズである。

低リソース言語の実験では、Asian Language Treebank (ALT) Parallel コーパス [14] ${ }^{4}$ を使用した。 これは、英語 $(\mathrm{En}) 、 日$ 本語 $(\mathrm{Ja})$ の他、ベンガル語

語 (Lo)、マレー語 $(\mathrm{Ms})$ 、ミャンマー語 $(\mathrm{My})$ 、タイ語 $(\mathrm{Th}) 、$ タガログ語 $(\mathrm{Tl}) 、$ 、ベトム語 $(\mathrm{Vi})$ 、中国語簡体字 $(\mathrm{Zh})$ をカバーする多言語コーパスである。同 じ英語 Wikinews の文を各言語に翻訳しているため、英語以外の言語間でも対訳となっているのが特徴で ある。実験は、日本語と英語以外の外国語間の翻訳 について行う。

中リソース言語の実験では、ASPEC-JC[15]5)を使用する。これは日本語 $(\mathrm{Ja})$ と中国語 $(\mathrm{Zh})$ の対訳コー パスで、科学技術文献を基にしている。対応する英語はない。主として、逆翻訳の有効性を確認するた めに使用する。

## 3.1.2 比較方式・翻訳システム

本稿では、直接翻訳とピボット翻訳の比較を行う (図 1(a))。その際、使用するモデルは、2 節の多言語事前学習モデルをそのまま使用する場合を基本

モデルとし、それを対訳コーパスでファインチュー ニングしたモデルの翻訳結果と比較する (図 1(b))。 ファインチューニングは、以下の対訳コーパスを用 いて行った。

## - +直接対訳:

外国語 ↔ 日本語対訳でファインチューニング した場合。ピボットを経由してないため、翻訳方式は直接翻訳となる。6)

## - $+\mathbf{X X \rightarrow$ En:}

外国語 $\rightarrow$ 英語対訳でファインチューニングし た場合。ピボット翻訳の前半部を強化した状態 となる。なお、ピボット翻訳の後半部は基本モ デルを使用する。

## - +En $\rightarrow \mathbf{X X :$}

英語 $\rightarrow$ 外国語対訳でファインチューニングし た場合。ピボット翻訳の後半部を強化した状態 となる。ピボット翻訳の前半部は基本モデルを 使用する。

ピボット翻訳を用いると、ゼロリソース言語対で も機械翻訳を行うことができるので、直接対訳コー パス（人手翻訳）以外にも、目的言語のコーパスを ピボット経由で逆翻訳した疑似対訳を用いてファイ ンチューニングすることもできる。本稿では、人手翻訳と逆翻訳で作成した疑似対訳の比較も行う。な お、原言語から作成した疑似対訳は本稿では順翻訳 と呼ぶ。逆翻訳は単語サンプリング $[17,18]$ を使っ て、目的言語 1 文に対して 1 つの疑似原文を生成し た。順翻訳は、翻訳品質が直接最終翻訳品質に影響 するため、1 ベスト訳を使用した。

## 3.1.3 その他の実験設定

ファインチューニングとテスト時のハイパーパラ メータを表 2 に示す。

評価は sacreBLEU [19] で行った。ミャンマー語な ど、トークナイザーが対応していない言語は BLEU [20] で評価するのが不適切な場合もあるため、トー クナイザー非依存の評価方法である ChrF [21] の評価結果を併記する。

## 3.2 実験結果

ALT コーパスによる実験結果を表 3、ASPEC-JC コーパスによる実験結果を表 4 に示す。なお、ALT

6）ファインチューニングしていない言語は catastrophic forgetting 現象 [16] により翻訳品質が著しく低下するため、ピ ボット翻訳は適用できない。表 2 ハイパーパラメータ一覧

コーパスの結果は外国語 $\leftrightarrow$ 日本語の結果の平均值 を示している。

## 3.2.1 ピボット翻訳 vs. 直接翻訳

ALT コーパスも、ASPEC-JC コーパスも、言語方向によらず、基本モデルで直接翻訳した結果 (No. 1) は非常に低い値となっている。これはゼロショット 翻訳となっているためである。しかし、同じモデル でピボット翻訳を使う (No. 2) と、 12 ポイント以上 の BLEU スコアで翻訳することができ、ゼロリソー ス言語でもある程度の翻訳品質が確保できる。直接対訳でファインチューニングすると（No. 5a)、No. 2 に比べも ALT コーパスで 3 ポイント 以上、ASPEC-JCコーパスでは 18 ポイント以上、 BLEU スコアが向上する。ALT コーパスは 1.8 万文 しかファインチューニングに使用していないので、翻訳品質向上を目指すなら、できる限り直接対訳を 整備すべきである。

## 3.2.2ピボット翻訳の前半部と後半部

表 3 の No. 3a、4a はそれぞれ基本モデルの一部の 言語を対訳コーパスでファインチューニングしたも のである。No. 3a はピボットの前半部、No. $4 \mathrm{a}$ は後半部を強化したことに相当する。

No. 2 と No.3a は、大きな差異がないが、No. 4a は BLEU スコアが 3 ポイント程度向上している。つま り、ピボット翻訳の前半部と後半部では、後半部を 強化した方が、効率的に品質を向上させることがで きた。これは、基本モデルが Web から取得したコー パスで学習されているおり、ドメインが異なってい るためで、ピボット後半をドメイン適応させること で品質向上したものと考えられる。
表 3 ALTコーパスの翻訳結果。太字はモデル・翻訳方式で最高品質を表す。

表 4 ASPEC-JC コーパスの翻訳結果。太字はモデル・翻訳方式で最高品質を表す。

## 3.2.3機械翻訳によるデー夕拡張

表 3、表 4 の No. 3a, 4a, 5a は、人手翻訳による対訳コーパスでファインチューニングしたモデル、 No. 3b, 4b, 5b は、機械翻訳（逆翻訳または順翻訳） で作成した疑似対訳でファインチューニングしたモ デルによる結果である。

ピボット翻訳のベースライン (No. 2) と比べると、 ピボットの前半部を疑似対訳で強化 (No. 3b) して も、翻訳品質はほとんど変わらない。

一方、逆翻訳で作成した疑似対訳でピボットの後半部を強化 (No. 4b) したり、直接対訳でファイン チューニングすると (No. 5b)、ベースラインより大幅に翻訳品質を向上させることができる。人手翻訳 (No. 5a) の翻訳品質には到達できないが、逆翻訳は 目的言語の単言語コーパスがあれば可能である。単言語コーパスが豊富にあるならば、ゼロリソース言語対でも、（疑似）直接対訳をピボット逆翻訳で作成しファインチューニングすれば、効率的に翻訳品質を向上させることができると考えられる。

## 4 まとめ

ピボット翻訳はゼロリソース言語対でも翻訳が可能である。目的言語の単言語コーパスがあれば、逆翻訳により疑似対訳コーパスを生成することがで きるので、ゼロリソース状態でも翻訳品質を向上さ せることができる。翻訳品質そのものは直接翻訳の 方が高いため、実用システムを目指すなら、直接対訳コーパスを充実させるべきであるが、直接翻訳が実現できない場合でも、これに準じる性能を実現で きるピボット翻訳は有用である。さらに、機械翻訳 を新しい言語対に拡張する際、翻訳結果を確認した り、逆翻訳で作成した疑似対訳を後編集することで 直接対訳作成の補助にも利用できる。

ピボット翻訳と直接翻訳を適切に使い分けなが ら、多言語化を進める予定である。

## 謝辞

本件は、総務省の「ICT 重点技術の研究開発プロ ジェクト (JPMI00316)」における「多言語翻訳技術 の高度化に関する研究開発」による委託を受けて実施した研究開発による成果です。

## 参考文献

[1] Biao Zhang, Philip Williams, Ivan Titov, and Rico Sennrich. Improving massively multilingual neural machine translation and zero-shot translation. arXiv e-print, 2004.11867, 2020.

[2] Angela Fan, Shruti Bhosale, Holger Schwenk, Zhiyi Ma, Ahmed El-Kishky, Siddharth Goyal, Mandeep Baines, Onur Celebi, Guillaume Wenzek, Vishrav Chaudhary, Naman Goyal, Tom Birch, Vitaliy Liptchinsky, Sergey Edunov, Edouard Grave, Michael Auli, and Armand Joulin. Beyond english-centric multilingual machine translation. arXiv e-print, 2010.11125, 2020.

[3] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan

Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Melvin Johnson, Mike Schuster, Quoc Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, No. 0, pp. 339-351, 2017.

[6] Masao Utiyama and Hitoshi Isahara. A comparison of pivot methods for phrase-based statistical machine translation. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Proceedings of the Main Conference, pp. 484-491, Rochester, New York, April 2007.

[7] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[8] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4003-4012, Marseille, France, May 2020. European Language Resources Association.

[9] Roee Aharoni, Melvin Johnson, and Orhan Firat. Massively multilingual neural machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3874-3884, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Jörg Tiedemann. Parallel data, tools and interfaces in opus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Mehmet Uğur Doğan, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC'12), Istanbul, Turkey, may 2012. European Language Resources Association (ELRA).

[11] Ahmed El-Kishky, Vishrav Chaudhary, Francisco Guzmán, and Philipp Koehn. CCAligned: A massive collection of cross-lingual web-document pairs. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5960-5969, Online, November 2020. Association for Computational Linguistics.
[12] Zihan Wang, Karthikeyan K, Stephen Mayhew, and Dan Roth. Extending multilingual BERT to low-resource languages. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2649-2656, Online, November 2020. Association for Computational Linguistics.

[13] Naveen Arivazhagan, Ankur Bapna, Orhan Firat, Dmitry Lepikhin, Melvin Johnson, Maxim Krikun, Mia Xu Chen, Yuan Cao, George Foster, Colin Cherry, Wolfgang Macherey, Zhifeng Chen, and Yonghui Wu. Massively multilingual neural machine translation in the wild: Findings and challenges. arXiv e-print, 1907.05019, 2019.

[14] Hammam Riza, Gunarso Michael Purwoadi, Teduh Uliniansyah, Aw Ai Ti, Sharifah Mahani Aljunied, Luong Chi Mai, Vu Tat Thang, Nguyen Phuong Thai, Vichet Chea, Rapid Sun, Sethserey Sam, Sopheap Seng, Khin Mar Soe, Khin Thandar Nwet, Masao Utiyama, and Chenchen Ding. Introduction of the asian language treebank. In Oriental COCOSDA, 2016.

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[16] Ian J. Goodfellow, Mehdi Mirza, Da Xiao, Aaron Courville, and Yoshua Bengio. An empirical investigation of catastrophic forgetting in gradient-based neural networks. arXiv preprint, 2013.

[17] Kenji Imamura, Atsushi Fujita, and Eiichiro Sumita. Enhancement of encoder and attention using target monolingual corpora in neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 55-63, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[18] Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[19] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[21] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015. Association for Computational Linguistics.
表 5 基本モデルの訓練コーパスと英語間翻訳品質

## A 基本モデルの英語 $\leftrightarrow$ 外国語間翻訳品質

本稿で対象とした言語について、基本モデルの訓練コーパスサイズと、英語間翻訳品質を表 5 に示 す。CC-100 は単言語コーパスの文数、OPUS-100と CCAligned は英語 ↔外国語間の対訳文数である。

翻訳品質は、ALT コーパステストセットについ て、基本モデルで翻訳したもである。翻訳方式は直接翻訳を使用した。なお、表中の‡は、sacreBLEU のトークナイザーが非対応かつスペース区切りが （ほぼ）ない言語を表す。†はトークナイザーが非対応だが、スペース区切りがある言語を表す。


# TED 講演の英日翻訳と日英翻訳の検討

足立十一郎山本一公 中川聖一
中部大学 工学部 情報工学科
}

\{ep19002-1545@sti, kazumasayamamoto@isc, nakagawa@isc\}.chubu. ac. jp
## 概要

我々は、MIT の講義や TED 講演を対象に、テキ スト入力や音声入力の英日機械翻訳の研究を行って きた。本稿では、Transformerの翻訳モデルを用い て、英日・日英共通の双方向モデル、TED の英-西 の英語側コーパス、および日本語話し言葉コーパス CSJ の模擬講演を使用したデータ拡張、大量の書き 言葉対訳コーパスである ASPEC を用いた転移学習 などによる改善について報告する。また、TED 講演の BLEU 値が如何に低いかを複数人による翻訳結果の比較と人間による評価により検討した結果に ついて報告する。

## 1 はじめに

我々は、MIT の講義や TED 講演を対象に、テキ スト入力や音声入力の英日機械翻訳の研究を行って きた $[1,2,3]$ 。機械翻訳技術の進展とともに、統計的機械翻訳手法、系列変換によるニューラル機械翻訳手法を検討してきたが、今回、Transformerによる翻訳手法を導入し、改善を図ったので報告する。

TED 講演の英日機械翻訳は、講演が話し言葉であ るため文単位が曖昧であり、また学習に使用するパ ラレルデータが少ないという問題があり、100 万ぺ アある ASPEC のような書き言葉の翻訳と比べて格段に難しい $[2,3]$ 。TED 講演の英日翻訳に関しては、 IWSLT のワークショップで、2021 年には英日の瞬時テキスト翻訳が、2022 年には英日の瞬時音声翻訳 がタスクに加えられている[4,5]。Fukuda らは、 Transformer の学習に TED の英日 22 万文のパラレル コーパス以外に、WMT20 news の 1800 万文ペアを 用いて、IWSLT2021 Devセットに対してテキスト入力のオフライン翻訳で 16.8、瞬時翻訳で 15.6 の BLEU 値を得ている[6]。瞬時翻訳は、オフライン翻訳に比べて BLEU 值で 10\% 20\%程度低下する。ま た、音声入力の音声翻訳は、音声認識性能に大きく 依存するが、テキスト翻訳に比べて、BLEU 値で $10 \%$ ～20\%低下寸る $[4,5]$ 。

パラレルデータ不足を補うために単言語コーパス によるデータ拡張手法がある[7]。これは、単言語コ 一パスを翻訳することで疑似的なパラレルコーパス を作成し、ベースとなるパラレルコーパスと混合し て学習に用いる手法である。山岸らは、本手法の単言語コーパスとして、日本語話し言葉コーパス CSJ の学会講演の書き起こしを使用した[8]。本研究では、 TED の英語-スペイン語のパラレルーパスの英語側 の単言語と CSJ の日本語単言語の模擬講演コーパス を使用する。

同じく山岸らは、Fukuda らと同様に、ドメインの 異なる大規模パラレルコーパスを用いた転移学習を TED 翻訳に適用した $[8]$ 。具体的には、IWSLT2010の TED のテストデータに対して、書き言葉の 100 万文英日ペアの ASPEC や字幕データの 280 万文ぺアの JESC からの転移学習で、それぞれ $14.19,15.47$ の BLEU 値を得ている $[7,9]$ 。本研究でもこの手法を利用する。

低リソース言語のモデルの学習手法として、マル チリンガル学習がある[10]。この手法は、多言語のパ ラレルデータで多言語翻訳モデルを学習し、エンコ 一ダの出力である表現を汎用的な意味空間に写像す るものと考えられ、小規模のパラレルデータでこの モデルを適応学習する方法である。この類似な方法 として、双方向翻訳モデルが提案されている $[11]$ 。こ れは、対訳コーパスからソースとターゲットを順逆両方向の 2 つのパラレルデータを構築して、順逆両方向の翻訳モデルを共通なモデルとして学習する。 Thanh らは、TED 講演の英語-ベトナム語の双方向翻訳に適用し、有効性を示している[12]。本研究ではパ

ラレルコーパスの規模とこの手法の有効性との関係 を明らかにする。最後に TED 講演の翻訳の困難さを BLEUと人手による評価で検討する。

## 2 翻訳モデル

## 2.1 LSTM モデル [13]

LSTM(Long-short Term Memory)はある入力単語シ 一ケンス $\left.\{\mathrm{x}_{1}, \mathrm{x}_{2}, \ldots \mathrm{x}_{\mathrm{i}}\right.\}$ から別の出力単語シーケンス $\left.\{\mathrm{y}_{1}, \mathrm{y}_{2}, \ldots \mathrm{y}_{\mathrm{j}}\right.\}$ に変換するリカレントネットワークによ る sequence-to-sequence モデルである。エンコーダと デコーダはLSTM によって構成される。LSTM とは 再帰型ニューラルネットワーク $(\mathrm{RNN})$ の一種で時系列データも考慮したモデルである。LSTM は忘却ゲ 一ト、入力ゲート、出力ゲートによって RNN で発生 する勾配消失問題の改善を行っている。

本研究ではLSTM モデルの翻訳モデルとして 1 層 の双方向の LSTM をエンコーダ、 1 層の単方向の LSTM をデコーダに利用する。またエンコーダの出力の全体ではなく一部に注目する注意機構を用いた。

## 2.2 Transformer モデル [14]

Transformer モデルは再帰型ニューラルネットワ ークの様に時系列データを用いて学習を行う。出力 を求める際は RNN ではなくセルフアテンション機構を用いる。エンコーダは同じ構成のエンコーダの 積み重ねによって構成されており、それらのエンコ ーダはセルフアテンションとフィードフォワードネ ットワーク(FFNN)により構成される。デコーダも同 じ構成のデコーダが積み重ねられている。一つのデ コーダはセルフアテンションと FFNN に加えてその 間に注意機構が入っている。標準モデルはエンコー ダ 6 層、デコーダ 6 層であるが、最適な数は学習デ 一夕量に依存する。IWSLT の 22 万文ぺアの英日パ ラレルコーパスで 20 epoch 学習した場合は、 6 層-6 層で $0.80,5$ 層-5 層で $1.94,4$ 層-4 層で $10.36,3$ 層-4 層で 13.66, 3 層-3 層で 13.22 の BLEU 値であった。本研究ではエンコーダとデコーダは 3 層とした。

## 2.3 単方向翻訳モデルと双方向翻訳モデル

単方向翻訳モデルの場合は、原言語と目的言語の ペアで学習することで翻訳モデルを作成する。双方向翻訳モデルの場合は原言語と目的言語のぺアとそ れを入れ替えた目的言語と原言語のペアから成るデ ータセットによって学習する。一つの共通モデルで英日、日英翻訳を実現する。

## 3 翻訳モデルの改善

## 3.1 データ拡張

本実験で使用する TED 講演のIWSLT (International Workshop on Spoken Language Translation )のコーパスには英語と日本語の対訳コ 一パスが少ないため、英語または日本語の単言語コ ーパスをベースモデル $\mathrm{g}$ で翻訳することで英語と日本語の疑似対訳コーパスを作成し、翻訳モデル学習 の追加の学習データとすることでデータ拡張を行う。 データ拡張には IWSLT2018 英語-スペイン語ペアの 英語側コーパスと CSJ(Corpus of Spontaneous Japanese )日本語コーパスの模擬講演を用いた。

## 3.2 ASPEC(書き言葉)からの転移学習

100 万文ペアからなる ASPEC (Asian Scientific Paper Excerpt Corpus )コーパスにより単方向翻訳モ デル、双方向翻訳モデルを学習し、そのパラメータ を初期値として IWSLT 及びデータ拡張したデータ セットで翻訳モデルを学習する。なお、ASPEC コー パスによる翻訳モデル学習の際には、TED 語彙ファ イルに合わせて学習を行った。

## 4 翻訳実験

## 4.1 使用するデータ

本研究では IWSLT2016 英日対訳コーパスを使用 した。単言語コーパスとして IWSLT2018 英語-スペ イン語ペアの英語側と日本語の単言語コーパスであ るCSJ をデータ拡張に用いた。表 1 に学習文数、開発文数、テスト文数を示す。

## 4.2 各翻訳モデルの仕様

LSTM モデルの学習には OpenNMT[15]Ver. 0.7.0 を使用した。エンコーダは 1 層の双方向 LSTM、デ コーダは 1 層の単方向 LSTM を使用した。LSTM の 隠れ層の次元数と単語分散表現の次元数は 1024 と した。学習の最適化はSGD、学習率はファインチュ ーニング時は 0.01562 、それ以外は 1.0 、学習 step 数 はファインチューニング時は開発データで一番性能 が良かった step 数を選び、それ以外は単方向翻訳モ デルでは 80000 、双方向翻訳モデルでは 100000 とし た。
表 2: TED 講演の翻訳実験結果(BLEU)（無印は 5 つのモデルの平均値、*印は単一の固定 seed モデル）

} & ベースライン & $9.52^{*}$ & 9.94* & $14.42 *$ & $14.10^{*}$ \\

表 1: 使用データセット

 &  &  &  \\

(日本語 $)$ & 21,9229 & & \\

(2 分野 $)$ & (2 分野 $)$ & (24 分野 $)$ \\

バッチサイズは 64 で epoch 数に換算すると単方向 のベースラインは約 23epoch である。語彙サイズは ソース・ターゲットそれぞれ 50000 語とした。

Transformer モデルの学習には fairseq[16]Ver.0.12.2 を使用した。エンコーダとデコーダの層数はそれぞ れ 3 層、単語分散表現の次元数は 1024 とした。学習 の最適化は Adam、学習率は 0.0005、学習 epoch 数 は 20 まで学習した。

## 4.3 評価方法

翻訳モデルの性能評価には BLEU を用いる。本研究では 4-gram までの値を計算し、翻訳モデルの評価 に使用した。また、LSTM モデルについては一部を 除いてランダム初期値のため、5つのモデルを学習 して BLEU 値の平均を求めた。

TED の日本語訳を用いた参照訳は直訳ではなく 意訳が多く、機械による訳と相当異なる結果になる。 そこで、翻訳業者 $\mathrm{A}$ と B 依頼して、新たな参照文 として使用し、比較する。

## 5 翻訳実験結果

## 5.1 翻訳モデルの比較

LSTM と Transformer による各翻訳モデルの主な 評価結果を表 2 に示す(詳細な結果は付録に示す)。 LSTM と Transformer を比べると全体で Transformer の方が BLEU 値で 3 程度性能が良い結果となった。

## 5.2 単方向翻訳モデルと双方向翻訳モデル

LSTM モデルではベースラインから双方向翻訳モ デルにすることによって BLEU 值が+1.17 改善され た。Transformer モデルでは単方向翻訳モデルと双方向翻訳モデルを比較すると BLEU 値の差はあまりな かった。単方向翻訳モデルと双方向翻訳モデルの優劣は学習データ量に依存するかを調べるために ASPEC で評価した。表 3 に結果を示す。Transformer ではすべての場合で単方向翻訳モデルが良かったが、 LSTM モデルにおいて 100 万文では単方向翻訳モデ ルが良く、50万文では同等、 25 万文の場合は双方向翻訳モデルが性能を上回った。

表 3: ASPEC による単方向、双方向翻訳モデル の翻訳結果

## 5.3 単言語データからのデータ拡張

## 一 英語コーパス 対 日本語コーパス 一

(a)英日翻訳

表 2 の「英日翻訳」欄に各モデルの英日翻訳結果

を示す。LSTM モデルの単方向翻訳モデルではデー 夕拡張を行うことでベースラインから BLEU 值が改善されることが分かる。IWSLT2018 と CSJによるデ 一夕拡張を比較すると、CSJ によるデータ拡張の方 が良くなった。双方向翻訳モデルの場合は、CSJ よ りも IWSLT2018 によるデータ拡張の万が良い結果 となった。Transformer モデルでは双方向翻訳モデル +IWSLT2018 によるデータ拡張で BLEU 值が向上し た。

データ拡張による学習後、元の英日コーパス (英日翻訳用）もしくは日英コーパス（日英翻訳用）で ファインチューニングをすると、LSTM モデルでも Transformer モデルでも IWSLT2018 によるデータ拡張をしたモデルで改善が見られた。

(b) 日英翻訳

表 2 の「日英翻訳」欄に各モデルの日英翻訳結果 を示す。LSTM の双方向翻訳モデルでは IWSLT2018 のデータ拡張により多くの場合でBLEU 値が改善さ れた。一方、CSJ によるデータ拡張ではあまり改善 が見られなかった。Transformer モデルの双方向翻訳 モデルでは IWSLT2018 によるデータ拡張で BLEU 値が改善された。

ファインチューニングをすると、英日翻訳の結果 と同じ傾向で LSTM モデルでも Transformer モデル でも IWSLT2018 によるデータ拡張をしたモデルで 改善が見られた。

## 5.4 ASPEC モデルからの転移学習

表 2 に示すように ASPEC モデルからの転移学習で、 LSTM でも Transformer モデルでも多くの場合で BLEU 值が改善された。データ拡張と fine tuning に より日英翻訳で 15.02 の BLEU 値が得られた。

## 5.5 人手による評価

(a) 二つの翻訳業者 A, Bによって翻訳されたIWSLT の 12 講演のうち 3 講演のテスト文 254 文を参照文 とした場合と IWSLT2016 (TED) 参照文と比較した。 また、TED 参照文に翻訳業者 $\mathrm{A}, \mathrm{B}$ の翻訳文を加えた マルチリファレンスとした結果を表 5 示す。翻訳業者同士の比較でも BLEU 值は低い。特に翻訳業者A の BLEU 值が低い。マルチリファレンスでの BLEU 値は 24.03 と大きく改善した。TEDの翻訳は人間で も摇れが大きい。TED 参照文は意訳であり、機械翻訳に対するターゲットとしては必ずしも適切とは言 えない。IWSLT2021では、直訳に近い参照文でも評価され、BLEU スコアが $10 \% \sim 20 \%$ 向上、 2 つマ ルチリファレンスだと $50 \%$ 以上向上している[4]。我々の場合は、 3 つのマルチリファレンスで $100 \%$ 以上向上した。

(b) 二つの翻訳業者による翻訳文と Transformer モデ ル (CSJ によるデータ拡張+ASPEC による転移学習 をした単方向翻訳モデル) による機械翻訳結果を, T $\mathrm{ED}$ 参照文と比較して男女 2 名 (C, D) の人手によっ て 1 文ずつ 5 点満点で評価した結果を表 6 に示す。評価基準を以下に示す。

5: TED 参照文の意味と同じ意味である。

4: TED 参照文の意味と概ね同じ意味である。

3: TED:参照文の意味と大まかには似ており、意図はほぼ通じる。

2: TED 参照文の意味と一部やや外れている。

1 TED:参照文の意味とかなり離れていて、意図 は正しく伝わらない。

結果は、翻訳業者 $\mathrm{B}>$ 翻訳業者 $\mathrm{A}>$ Transformer と、表 4 の BLEU 值と同じ傾向であり、BLEU 值と 人手による評価は相関があると思われる。

表 5: 人手による翻訳との比較（TED 3 講演）

 & 24.03 \\

表 6: 人手による TED 参照文と翻訳結果の比較

## 6 まとめ

本研究では、 22 万文ぺアと小規模データでは双方向翻訳モデルが単方向翻訳モデルよりも翻訳性能が 向上した。データ拡張やファインチューニング、転移学習を組み合わせるとさらに翻訳性能が向上した。 ただし、Transformer のベースラインの性能が高く、 Transformerに対する改善効果は比較的小さい。最良 モデルの英日で 15.02 , 日英で 15.49 の BLEU 值が得 られた。

## 謝辞

本研究は、豊橋技術科学大学の秋葉友良准教授お よび秋葉研究室の学生諸君にご協力をいただいた。 また、JSPS 科研費 18 H01062 の研究助成を受けた。

## 参考文献

[1] 後藤 統興, 山本 一公, 中川 聖一：音声認識誤りを考慮した英語講義音声の日本語への音声翻訳システムの検討，言語処理学会第 23 回年次大会, pp.1054-1057, 2017.

[2] 佐橋 広也, 秋葉 友良, 中川 聖一：科学技術論文抄録と講義の英日機械翻訳のリスコアリ ングの検討，言語処理学会第 25 回年次大会、 pp. 1165-1168, 2019.

[3] 松永凌：トピック分散表現と逆翻訳によるデ 一タ拡張を用いた英日機械翻訳，中部大学卒業論文, 2022

[4] Antonios Anastasopoulos, Ondřej Bojar, et.al: Findings of the IWSLT 2021 evaluation campaign, Proc. IWSLT-2021, pp.1-29, 2021.

[5] Antonios Anastasopoulos, Loïc Barrault, et.al: Findings of the IWSLT 2022 evaluation campaign, Proc. IWSLT-2022, pp. 98-158, 2022.

[6] Ryo Fukuda, et al.: NAIST English-to-Japanese simultaneous translation system for IWSLT 2021 simultaneous text-to-text task, Proc. IWSLT-2021, pp. 39-45, 2021.

[7] Rico Sennrich, Barry Haddow, Alexandra Birch: Improving neural machine translation models with monolingual data, Proc. ACL, pp. 86-96, 2016.

[8] 山岸 勇輝, 秋葉 友良, 塚田 元 : 逆翻訳を用 いたデータ拡張と転移学習を利用した英日講演字幕翻訳の改善, 言語処理学会第 26 回全国大会, pp.1277-1280, 2020.

[9] 山岸 勇輝, 秋葉 勇輝, 塚田 元: 入力側単言語資源と転移学習を利用による講演字幕を対象とした英日ニューラル機械翻訳の改善，言語処理学会第 28 回全国大会, pp.1317-1321, 2022.

[10] Raj Dabre, Chenhui Chu, Anoop Kunchukuttan: A survey of multilingual neural machine translation, ACM Computer Surveys, vol.53, no.3, 2020.

[11] Liang Ding,Di Wu, Dachen Tao: Improving neural machine translation by bidirectional training, arXiv:2109.07780, 2021.

[12] Bui Tuan Thanh, 秋葉 友良, 塚田 元: 双方向翻訳モデルと反復逆翻訳を用いた低資源言語 に対するニューラル機械翻訳の性能向上, 言語処理学会第 28 回全国大会, pp. 1756-1760, 2022.

[13] Ilya Sutskever, Oriol Vinyals, Quoc V. Le: Sequence to sequence learning with neural networks, Advances in Neural Information Processing Systems (NIPS 2014), 27, 2014.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob, Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin: Attention is all you need. Conference on Neural Information Processing Systems (NIPS2017), 30, 2017.

[15] Open Source Neural Machine Translation in PyTorch, 2023 年 1 月 12 日, https://github.com/OpenNMT/OpenNMT-py.

[16] Facebook AI Research Sequence-to-Sequence Toolkit written in Python, 2023 年 1 月 12 日, https://github.com/facebookresearch/fairseq.
付録 A: TED 講演の翻訳実験結果 (BLEU) (無印は 5 つのモデルの平均値、*印は単一の固定 seed モデル)

付録 B：翻訳例

 \\


# Decoder のみを用いた機械翻訳モデルの分析

木山朔 金輝燦 平澤寅庄 岡照晃 小町守
東京都立大学
\{kiyama-hajime,kim-hwichan, hirasawa-tosho\}@ed.tmu.ac.jp
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

現在の機械翻訳モデルの主流は Encoder-Decoder モデルである。一方で，Encoder を使わず Decoder のみの翻訳モデル (Decoder-only モデル) が提案され ており，Encoder-Decoder モデルと同程度の BLEU が報告されている. しかし既存研究が実験に用い た評価指標や言語対は限定的であり，十分な検証 が行われているとは言えない。そこで本研究では Encoder-Decoder モデルと Decoder-only モデル間の 詳細な比較・分析を報告する．特に英日方向につい て人手評価の結果，流暢性と妥当性で Decoder-only モデルの有用性が確認された.

## 1 はじめに

自然言語処理の様々なタスクにおいて EncoderDecoder モデルは広く用いられている $[1,2]$. 特に 機械翻訳や文書要約などの生成タスクで EncoderDecoder が主流になっている．その一方 GPT $[3,4,5]$ を代表する Decoder-only モデルの高精度な言語生成 も注目を集めている。

Wang ら [6] は GPT-3 の few-shot learning での翻訳 が教師なしモデルと同程度の BLEUを獲得したこと から, Decoderのみを使った翻訳モデル (Decoder-only モデル)を提案した. 原言語文と目的言語文を結合させ，言語モデリングタスクで Decoderを学習し，翻訳モデルとする。図 1 に Decoder-only モ デルの推論時の概要図を示す. 原言語文とタグ （<en2ja>など）を入力とし目的言語文を生成して いる. また Gao ら [7] は Wang らのモデルに対し 原言語文全体を self-attention で見れるように拡張 することで Encoder-Decoder モデルと同等の BLEU を達成できることを報告した。これよりGao らは Encoder-Decoder モデルは壳長であると主張してい る.しかし彼らの実験では BLEU や TER [8]によ る自動評価しか行われておらず，Encoder-Decoder，

図 1: Decoder-only モデルの推論時の概要図

Decoder-only モデル間の翻訳結果の詳細な分析がな されていない.

そこで本研究では自動評価，人手評価の 2 つの 観点から Decoder-only モデルの詳細な分析を行っ た. 自動評価では流暢性を測るために perplexity を，妥当性を測るために BLEU に加えて COMET [9] と WMD [10] を追加した. 人手評価では定量的な評価 として流暢性と妥当性を，定性的な評価として翻訳 の質の評価（誤訳の分類）を行なった。本研究での 主な発見は以下の通りである：
- 自動評価指標 BLEU，COMET，WMD では Encoder-Decoder モデルの方がスコアが高いが， Perplexity では Deocder-only モデルが EncoderDecoder モデルを上回った.
- 人手評価において流暢性と妥当性は Decoderonly モデルが良く，Mis-translation も EncoderDecoder モデルと比較して少ない.

## 2 関連研究

## 2.1 Encoder-Decoder

機械翻訳とは，原言語文 $\mathbf{x}=\left.\{x_{1}, x_{2}, \ldots, x_{N}\right.\}$ を目的言語文 $\mathbf{y}=\left.\{y_{1}, y_{2}, \ldots, y_{M}\right.\}$ に翻訳するタスクである. ここで $x_{i} \in \mathbf{x}, y_{j} \in \mathbf{y}$ は各言語の文のトークンを示 す。ニューラル機械翻訳では以下の条件付き確率が 最大になるように目的言語文を生成する.

$
P(\mathbf{y} \mid \mathbf{x})=\prod_{t=1}^{M} P\left(y_{t} \mid \mathbf{x}, \mathbf{y}_{<t}\right)
$

ここで $\mathbf{y}_{<t}$ は $t-1$ 番目までの目的言語文のトー クンである. Sutskever ら [1] は，条件付き確率 $P を$ LSTM [11] で構成される Encoder と Decoder という 二つのニューラルネットワークでモデル化した. 学習時には，対訳データ $\mathbf{X}=\left.\{\mathbf{x}_{1}, \ldots, \mathbf{x}_{j}\right.\}, \mathbf{Y}=\left.\{\mathbf{y}_{1}, \ldots, \mathbf{y}_{j}\right.\}$ を使い，以下の損失が最小になるようにパラメータ を更新する。

$
\begin{aligned}
L_{\mathrm{MT}} & =\sum_{(\mathbf{x}, \mathbf{y}) \in(\mathbf{X}, \mathbf{Y})}-\log P(\mathbf{y} \mid \mathbf{x}) \\
& =\sum_{(\mathbf{x}, \mathbf{y}) \in(\mathbf{X}, \mathbf{Y})} \sum_{t=1}^{M}-\log P\left(y_{t} \mid \mathbf{x}, \mathbf{y}_{<t}\right)
\end{aligned}
$

Encoder-Decoder モデルは機械翻訳や文書要約な どの様々なタスクで広く用いられている。特に self-attention を用いた Encoder-Decoder モデルであ る Transformer [2] は現在の手法のベースとなって いる.

## 2.2 Decoder-only

Decoder-only モデルとして GPT が挙げられる $[3$, 4, 5]. GPT は Transformerの Decoder のみを用いたモ デルであり非常に高精度な言語生成が可能である. Wang ら [6] は GPT-3 の few-shot learning での翻訳が 教師なしモデルと同程度の BLEU を獲得したことか ら，LM4MT という Decoder-only の翻訳モデルを提案した. Decoder-only モデルでは，原言語文 $\mathbf{x}$ にタ グ（<en2ja>など）を結合させたものを入力とし，目的言語文 $\mathbf{y}$ を生成する。なお，原言語文 $\mathbf{x}$ は教師強制的 (Teacher forcing) に処理を行い，目的言語文 $\mathbf{y}$ は自己回帰により生成を行う.

Decoder-only モデルの学習時には, 原言語側には 自己符号化の損失 $L_{\mathrm{AE}}$, 目的言語側には $L_{\mathrm{MT}}$ を用い る. ハイパーパラメータ入で重み付けした $L_{\mathrm{AE}}$ と $L_{\mathrm{MT}}$ の和である $L_{\mathrm{LM}}$ が最小になるようにパラメー タを学習する。

$
\begin{aligned}
& L_{\mathrm{AE}}=\sum_{\mathbf{x} \in \mathbf{X}} \sum_{s=1}^{N}-\log P\left(x_{s} \mid \mathbf{x}_{<s}\right) \\
& L_{\mathrm{LM}}=\lambda L_{\mathrm{AE}}+L_{\mathrm{MT}}
\end{aligned}
$

Wang らは学習が進むにつれ入を小さくなるように スケジューリングし，目的言語文側の損失を重視す るように学習している。

Gao ら [7] は上記 Decoder-only モデルの改良を 行った. Gao らは原言語部分の Attention mask を原言語全体が見れるように変更し，原言語文に対し てノイズを加え Decoder-only モデルを学習するこ
とで, Encoder-Decoder と同様の BLEUを達成した. このことから, Encoder-Decoder モデルは壳長であ り，Decoder のみで十分であると主張した.

このように既存研究では, Decoder-only モデルの 有用性が報告されているが，BLEU や TER のみで しか評価がされておらず，その他の自動評価や人手評価を用いた詳細な分析がなされていない. そこ で, 本研究では, BLEU に加え Perplexity, COMET, WMDを用いて自動評価を行い，また，英日対の人手評価として流暢性，妥当性，翻訳の質を分析し た. 人手評価では Decoder-only モデルが流暢性と妥当性がともに高いことがわかった.

## 3 実験設定

データセット en-de, en-ja の 2 つの言語対に実験を行った. en-de では WMT16 [12]を，en-ja では ASPEC [13] を用いた. データサイズは順に 4.5M， 3.0M である. トークナイズには英語とドイツ語で は moses ${ }^{11}[14]$ を, 日本語は $\mathrm{MeCab}^{2)}+$ ipadic を利用 した. その後, en-de 対では joint-BPE ${ }^{3)}$ [15] モデル, en-ja 対では言語ごとに BPE の SentencePiece ${ }^{4)}$ [16] モデルを学習し，サブワード分割を行った．分割回数はそれぞれ 32,000と4,000とした.

モデル Encoder-Decoder, Decoder-only モデルは 共に Transformer ベースのモデルを用いる. EncoderDecoder モデルをベースラインとして Decoder-only モデルとの比較を行う. Encoder-Decoder モデル は，Vaswani ら [2]を参考に，各層を 6 層にした。 Decoder-only モデルは, 層数を 12 層に設定した. また Decoder の入力と出力の単語分散表現を共有した．損失の計算では $\lambda=1$ とする．詳細な八 イパーパラメータは付録 A に示す. 実装は共に fairseq ${ }^{5)}[17]$ を利用した。

自動評価自動評価においては，Perplexity， BLEU， COMET 6) [9]，WMD [10]を用いた。Perplexity は XGLM-1.7B ${ }^{7)}$ [18] を用いており，流暢性 を測る目的で計測した．BLEU は sacreBLEU ${ }^{8)}$ [19] を用いて計測した. COMET は複数言語で学習され た単語分散表現，WMD は目的言語に対応する単

表 1: 各モデルの翻訳の自動評価

表 2: en-ja 対における pair-wise の流暢性と妥当性の人手評価. win は Decoder-only の方が良く，tie は同程度， lose は Decoder-only の方が悪いことを示す.

語分散表現 9）10）[20]を用いて計算を行い，それぞ れ原文，または参照文と出力文との意味的な妥当性を評価する目的で計測した. COMET のモデルは wmt20-comet-qa-daを用いた.

英日モデルの人手評価 日本語話者 4 名による， en-ja モデルの人手評価を行った. ASPEC のテスト データからランダムに 100 文をサンプリングし, pair-wise による流暢性と妥当性の評価，翻訳の質 に関する評価を行なった．翻訳の質の評価として， Under-translation (不十分な翻訳), Mis-translation (誤訳），Over-translation（過翻訳）の 3 つの側面に関し て，人手で計測した。なお評価の際には参考のため 参照訳を併記し，モデル名は伏せた。

## 4 実験結果

自動評価 表 1 に各モデルの翻訳の自動評価結果 を示す. Perplexity は Decoder-only が良く，流暢性と いう観点では Decoder-only が Encoder-Decoderを上回った. 一方で BLEU や COMET, WMD などの自動評価指標では Encoder-Decoder が良い.

英日モデルの人手評価 表 2 に英日対における pair-wise による流暢性と妥当性の人手評価を示す.流暢性に関してはアノテータ 1, 2, 4 は Decoder-only の方が良いと評価している.これは Perplexity の自動評価と一致する結果である．妥当性に関してもア ノテータ 1，2，4 は Decoder-only の方が良いと評価 している。これは COMETや WMD の自動評価とは 相反する結果である.

表 3: 英日対における翻訳の質の人手評価. U は Undertranslation，M は Mis-translation，O は Over-translation を示す.

表 3 に en-ja 対における翻訳の質の人手評価を 示す. Under-translation と Over-translation については 各モデル間で大きな差異がみられなかった.し かし Mis-translation については Deocder-only の方が Encoder-Decoder より大幅に少ない. この結果から 見ても，人手評価では自動評価と反対に Decoderonly の方が妥当性が良いと評価されることがわ かった.

自動・人手評価の考察 ここでは自動評価手法として COMETを使い，自動評価と人手評価 での妥当性の不一致を分析する．翻訳の質に問題がある例で不一致が起きやすいことがわかっ た. 表 4 に Encoder-Decoder は Mis-translation してい るが，Decoder-only は正確に訳せている例を示す. Encoder-Decoder の出力では「放電」という単語が 存在し,「スクラバする」といった誤った訳が出力 されている. 本来は「discharges」が「放出する」と 訳されるはずであるが，「discharges」を名詞として 捉えてしまったため「放電」と訳されたと考えら れる。一方で Decoder-only の出力は参照訳に近く 流暢かつ妥当である. COMET による自動評価で は Encoder-Decoder は 0.9152, Decoder-only は 0.9055 であり Encoder-Decoder が良い. 人手評価では 4 人全員が Decoder-only のほうが妥当性は高く不一致 が起こっている. 同様の例が Under-translation の時 にも見られた (付録 B).これより COMET では Mis-translation や Under-translation といった翻訳の質 の問題に対応しきれていないと考えられる.

人手評価において Decoder-only は妥当性が良く, Mis-translation が Encoder-Decoder と比べ減ることが

図 2: 各アノテータごとの流暢性と妥当性の関係

表 4: Encoder-Decoder で Mis-translation があり，Decoder-only で Mis-translation が見られなかった例

 &  \\

表 5: 英日対における推論速度の比較

わかった. 多言語モデルの学習に関する既存研究 [21] では， パラメータのシェアが言語横断的なモ デルを学習する上で重要であることが示されてい る. Decoder-only は原言語, 目的言語間でパラメー タをシェアしており, Transformer より言語横断的な 内部表現を学習していると考えられ，これが妥当性 の改善につながったと考察する。

流暢性と妥当性の人手評価の分布を調査した.図 2 に各アノテータごとの流暢性と妥当性の関係 を示す. 横が流暢性を，縦が妥当性の評価結果を 示している. どのアノテータも Encoder-Decoder と Decoder-only の流暢性と妥当性を同程度と判断し ているものが最も多い. 一方, Encoder-Decoder で は流暢性が良いが Decoder-only では妥当性が高い, Encoder-Decoder では妥当性が良いが Decoder-only では流暢性が高いといった極端に性質が分かれる例 は少なかった. これは評価の際に原文と参照訳を併記したためと考えられる. 既存研究 [22]では原文 と翻訳結果，参照訳と翻訳結果による人手評価より も，原文と参照訳と翻訳結果のすべての情報を持っ た人手評価の方が良いと示されている.

推論速度 Decoder-only モデルの問題点として推論速度が挙げられる. 表 5 に英日対における推論速度の比較結果を示す. 推論時に使用した GPU
は NVIDIA A6000 である. ASPEC のテストデータ 1,812 文を推論に用いた。1 秒あたりの処理するトー クン数が Encoder-Decoder では 5537.08，2936.39で あり，推論速度は Encoder-Decoder と比べて 4 倍程度遅くなった. 原因としては，原言語文と目的言語文をタグで結合させているためトークン数が 2 倍 になっていること， causal に処理する部分が 2 倍に なっていることで 1 トークンあたりの処理時間が 2 倍になっていることが挙げられる.この点におい て Decoder-only は Encoder-Decoder よりも推論速度 が遅く，改善が必要である.

## 5 おわりに

本論文では Encoder-Decoder と Decoder-onlyを比較しDecoder の性質を調查した. 流暢性は自動評価と人手評価とともに Decoder-only が高く，妥当性 においても人手評価では Decoder-only の方が良い. これは自動評価とは相反する結果であり翻訳の質 を自動評価では考慮しきれていないと考えられる。 Decoder-only で妥当性が上がった理由としては原言語と目的言語間でのパラメータシェアが挙げられ る.また人手評価において，流暢性と妥当性との関連を示唆する結果となった。一方で Decoder-only の 問題点として推論速度の低下がある。

今後の方針としては Decoder-only モデルに基づい た新たな機械翻訳モデルの開発，機械翻訳タスク以外での Decoder-only モデルの再検討, 翻訳の質を考慮した自動評価手法の検討, 人手評価の流暢性と妥当性との関連の分析が挙げられる.

## 謝辞

人手評価を行なった東京都立大学の榎本大晟さ ん，佐藤郁子さん，中島京太郎さんに感謝いたし ます。

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K.Q. Weinberger, editors, NeurIPS, Vol. 27. Curran Associates, Inc., 2014.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, Vol. 30. Curran Associates, Inc., 2017.

[3] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[4] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, NeurIPS, Vol. 33, pp. 18771901. Curran Associates, Inc., 2020.

[6] Shuo Wang, Zhaopeng Tu, Zhixing Tan, Wenxuan Wang, Maosong Sun, and Yang Liu. Language models are good translators. arXiv preprint arXiv:2106.13627, Vol. abs/2106.13627, , 2021.

[7] Yingbo Gao, Christian Herold, Zijian Yang, and Hermann Ney. Is encoder-decoder redundant for neural machine translation? In AACL, pp. 562-574, Online only, November 2022. Association for Computational Linguistics.

[8] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In AMTA, pp. 223-231, Cambridge, Massachusetts, USA, August 8-12 2006. Association for Machine Translation in the Americas.

[9] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In EMNLP, pp. 2685-2702, Online, November 2020. Association for Computational Linguistics

[10] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. In ICML, pp. 957966. PMLR, 2015.

[11] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[12] Ondřej Bojar, Rajen Chatterjee, Christian Federmann, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana Neves, Martin Popel, Matt Post, Raphael Rubino, Carolina Scarton, Lucia Specia, Marco Turchi, Karin Verspoor, and Marcos Zampieri. Findings of the 2016 conference on machine translation. In WMT, pp. 131-198, Berlin, Germany, August 2016. Association for Computational Linguistics.

[13] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao
Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In LREC, pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[14] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In ACL, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In ACL, pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In EMNLP, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In NAACL, pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona T. Diab, Veselin Stoyanov, and Xian Li. Few-shot learning with multilingual language models. EMNLP, 2022.

[19] Matt Post. A call for clarity in reporting BLEU scores. In WMT, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[20] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. TACL, Vol. 5, pp. 135-146, 2017.

[21] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In ACL, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.

[22] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation. TACL, Vol. 9, pp. 1460-1474, 2021.

## A ハイパーパラメータ

表 6: Encoder-Decoder と Decoder-only のハイパーパラメータの相違点

## B Under-translation での妥当性の不一致

表 7 に Under-translation で妥当性の不一致が起きた例を示す. COMET による自動評価では Encoder-Decoder は 0.1101，Decoder-only は 0.1342であり Decoder-only が良い。人手評価では 4 人全員が Encoder-Decoder が良 いと判断しており，Decoder-only の翻訳を Under-translation と判断している.「ゴムを用いた」という部分が Decoder-only ではないため妥当性が低いと判断された.

表 7: Under-translation で妥当性の不一致が起きた例

 \\
reference & ゴムを用いてアルミニウム合金管の胴部の一部に枝管を成形する実験を行った。 \\

Decoder-only & アルミ合金管の主管の一部に分岐管を形成する実験を行った。 \\


# 複数の参照訳を考慮したニューラル機械翻訳モデルの学習手法

宮崎桂輔 徳永健伸
東京工業大学 情報理工学院
\{miyazaki.k.am@m, take@c\}.titech.ac.jp

## 概要

文の翻訳では訳者や文脈などの条件により異なる 訳文が期待され，機械翻訳タスクのベンチマークに 用いられる対訳コーパス内にも一つの原文に複数の 参照訳が対応している例が多く存在する。一方で既存の機械翻訳モデルの学習手法ではこうしたコーパ ス内の構造は明示的には用いられない. そこで本研究では，コーパス内の原文が複数の参照訳を持って いるという情報を，機械翻訳モデルの学習に明示的 に用いる手法を提案する. 評価実験において，提案手法を用いて学習したモデルは旧来の最尤誤差損失 のみを用いたモデルに劣る結果となったが，提案手法が文レベル最適輸送損失を用いて学習するモデル の性能向上には寄与することが示された.

## 1 はじめに

文の翻訳において，訳者や文脈などの条件によっ て目的言語の訳文は異なるものが期待されうる。実際，機械翻訳タスクのベンチマークによく用い られる対訳コーパスにおいて, 原文に対して複数 の参照訳を持つ文対が共存することがある. 日英対訳コーパス JESC[1] および英独対訳コーパス WMT14 En-De[2] の学習データセットにおいて, 複数の参照訳を持つ原文の数および原文を共有する参照訳ののべ数を表 1 に示す. また，一つの原文が持 つ参照訳の個数の分布を図 1 に示す. 機械翻訳タス クによく用いられる対訳コーパスに，一つの原文が 複数の参照訳を持つ例が無視できない割合で存在す ることがわかる.

一方で，既存の機械翻訳モデルの学習時に，対訳 コーパス内に前述のような例が存在するという情報 は明示的には用いられない. そこで，本研究では一 つの原文が複数の参照訳を持っているという情報を 明示的にモデリングした機械翻訳モデルの学習損失 を提案する。

提案手法により，対訳コーパス内に存在する，原表 1 学習データセットの統計量

文が複数の参照訳を持っているという情報を機械翻訳モデルの学習に明示的に使用することができ，機械翻訳モデルの性能向上が見込まれる。なお，本研究では機械翻訳タスクのみを扱うが，提案手法は機械翻訳に限らず自己回帰生成を用いた文章生成全体 に適用可能である.

## 2 関連研究

本研究では文レベル最適輸送損失 [3] を用いる.文レベル最適輸送損失は，モデルの生成文と参照訳 を埋め込み空間上の点の集合とみなして得られる 二文間の最適輸送コストであり，自動微分可能な最適輸送アルゴリズムである IPOT[4]を用いて計算す ることでモデルの損失として学習に用いるもので ある。旧来の最尤誤差損失に加えて文レベル最適輸送損失を学習に用いることにより LSTM ベースの GNMT モデル [5] の性能を向上させることが，検証 により示されている [3].

各時刻における次単語予測の最尤誤差の総和とし て計算される旧来の最尤誤差損失よりも，生成文と 参照訳の間の最適輸送コストである文レベル最適輸送損失を活用する方が，複数の参照訳が存在すると いう情報をモデリングするのに適切であると考え， この既存研究に注目した。

## 3 提案手法

## 3.1 損失の定義

提案手法では文レベル最適輸送損失 [3] を用い て，一つの原文が複数の参照訳を持っているとい う情報を明示的に学習に利用する. 文レベル最適

図 1 原文が持つ参照訳の数 $x$ (横軸) と，参照訳を $x$ 個持 つ原文の数 (縦軸) の関係

輸送損失は，モデルが生成した訳文 $g$, 参照訳 $r$ に対して，最適輸送アルゴリズム IPOTを用いて $\mathscr{L}_{\text {seq }}(g, r)=\operatorname{IPOT}(g, r)$ と計算される.

データセット内の原文 $s$ に対して，モデルが生成 した訳文を $g$ ，参照訳の集合を $\mathscr{R}=\left(r_{1}, \ldots, r_{n}\right)$ とし たとき，原文 $s$ に対する複数の参照訳を考慮した文 レベル最適輸送損失 $\mathscr{L}_{\mathrm{seq}}^{*}(g, \mathscr{R})$ は, 生成した訳文と 各参照訳から計算される文レベル最適輸送損失の平均または総和とする。すなわち, 複数の参照訳を考慮した文レベル最適輸送損失を

$
\mathscr{L}_{\mathrm{seq}}^{*}(g, \mathscr{R})=\frac{1}{n} \sum_{r \in \mathscr{R}} \mathscr{L}_{\mathrm{seq}}(g, r)=\frac{1}{n} \sum_{r \in \mathscr{R}} \operatorname{IPOT}(g, r)
$

または

$
\mathscr{L}_{\mathrm{seq}}^{*}(g, \mathscr{R})=\sum_{r \in \mathscr{R}} \mathscr{L}_{\mathrm{seq}}(g, r)=\sum_{r \in \mathscr{R}} \operatorname{IPOT}(g, r)
$

と定める。

## 3.2 損失の実装

提案手法はミニバッチ作成の工夫による実現が可能である．具体的には，同一の原文を持つ対訳が同 じミニバッチに入るような制約を課してミニバッチ を作成すればよい。 なお, 本研究では fairseq[6] で実装されているミニバッチ作成のアルゴリズムを利用 し，以下の三通りのミニバッチ作成アルゴリズムを 用いる.

図 2 文対の重複を削除したデータセットにおける，原文 が持つ参照訳の数 $x$ (横軸) と，参照訳を $x$ 個持つ原文の数 (縦軸) の関係

・参照訳の文長が近い文対を集めてミニバッ チを作成する方法 (ベースラインの手法. 以下，"base"と記載)

・同一の原文を持つ対訳が同じミニバッチに 入る制約を設け，参照訳の最大文長が近い 原文を集めてミニバッチを作成する方法 (以下, ”samebatch"と記載)

・同一の原文を持つ対訳が同じミニバッチに入 り，かつミニバッチ内に参照訳を複数持つ原文と参照訳を一つのみ持つ原文が共存しない， という制約を設けて，参照訳の最大文長が近 い原文を集めてミニバッチを作成する方法 (以

下，"divided"と記載)

なお，同一の原文を持つ対訳の数が多すぎて一つの ミニバッチに入りきらない例が存在した場合は，制約を緩和し，複数のミニバッチに分けたうえで，連続する学習ステップで学習に用いられるような処理 を施すこととした。

また，文レベル最適輸送損失の平均をとる式 (1) と総和をとる式 (2) の二種類の計算方法を提案した. これらは，ミニバッチ内で損失の和を計算する際に 単純に総和をとる方法 (ベースラインの手法. 以下 “base” と記載）と，参照訳を $n$ 個持つ原文に関する 損失を $1 / n$ するような重みつき和をとる方法（以
下，“decloss”と記載）により実現可能である。

さらに，本研究で扱うコーパスにおいて，原文・参照訳ともに一致する対訳が散見された. そこで， コーパス内から原文・参照訳ともに一致するよう な対訳の重複を削減する措置 (以下，“deldupl” と表記）をとった. 対訳の重複を削減した後のデータ セットにおける，一種類の原文が持つ参照訳の個数 の分布を表 2 に示す. なお，この処理で削除された 文対の数は, JESC が 1,502 文対, WMT14 En-De が 36,274 文対であった. この処理を行わない手法は以下“base”と表記する.

以上より，実装におけるオプションの種類は

1. ミニバッチ作成の手法: base, samebatch, divided

2. ミニバッチ内の損失の集約に関する手法：base, decloss

3. 重複する対訳の処理に関する手法: base, deldupl のとおりである. 以下ではオプションの選び 方に応じて，手法の表記を“[ミニバッチ作成の 手法 $]+[$ ミニバッチ内の損失の集約に関する手法]+[重複する対訳の処理に関する手法]”のように 記す. 提案手法は samebatch+base+deldupl，または samebatch+decloss+deldupl と表せる.

## 4 実験設定

## 4.1 データセット

本研究では, JESC[1]を用いた英日翻訳と， WMT14 En-De[2] を用いた英独翻訳を行った。

JESC は, MeCab[7]を用いて形態素単位の分かち 書きを行ってから BPEによるサブワード分割を 行った. BPE のマージ回数は, 日本語, 英語ともに 32,000 から文字べースの語彙数を引いた値とした.最終的な英語の語彙数は 31,932 , 日本語の語彙数は 31,604となった.

WMT14 En-De は, fairseq で公開されている前処理 スクリプト1)を用いてデータの前処理および BPE[8] によるサブワード分割を行った。なお，BPEのマー ジ回数は 32,000 とした. 最終的な英語の語彙数は 33,616 , ドイツ語の語彙数は 34,888 となった.

## 4.2 モデル

モデルは Transformer の base モデル [9]を用いた. ベースラインモデルとして，学習に最尤誤差損失の

1) https://github.com/facebookresearch/fairseq/blob/ main/examples/translation/prepare-wmt14en2de.sh
みを用いるモデルを作成した. さらに，最尤誤差損失と文レベル最適輸送損失の和を用いるモデルを 作成した.このモデルは, 提案手法のオプションが base+base+base である場合に相当する。

提案手法として，最尤誤差損失と文レベル最適輸送損失の和を用い, さらにオプションとして samebatch+base+deldupl および samebatch+decloss+deldupl を用いるモデルを作成した。

さらに，アブレーション実験として， 3.2 節に示 した提案手法のオプションの種類を組み合わせた全 12 種類のオプションについてもモデルを作成した.

## 4.3 学習設定

最適化アルゴリズムとして Adam[10]を用いた.学習率は固定の値とせず，ウォームアップステッ プ中の学習率は初期学習率の $10^{-7}$ から最大学習率に線形に推移するようにし, ウォームアップ ステップ以降はステップ数の平方根に反比例す るように学習率を減衰させた. 学習率の最大値 は, $\{0.0001,0.0002,0.0005,0.000666,0.001\}$ から探索 を行った. ウォームアップステップ数は, JESC の 場合 6,000, WMT14 En-De の場合 27,000とした.

ドロップアウト率は 0.3 とし, 最尤誤差損失の計算時に平滑化値 0.1 のラベル平滑化 [11]を行った.

文レベル最適輸送損失では Soft-copying mechanism は適用しないものとし, 微分可能な文章生成のため に $\operatorname{argmax}$ の代わりに温度 $\tau=0.1$ の Soft-argmax を 用いた. 最尤誤差損失に足し合わせる際の重みパラ メータ $\gamma$ は 0.1 とした.

ミニバッチサイズは 1GPU あたり 3,584トークン とし， NVIDIA Tesla P100 GPU を 4 つ用いて学習を 行った.

最大学習ステップ数は 150,000 とした. 1 エポッ ク毎に検証データセットに対するモデルの損失を計算し，損失が一番低いモデルを選択した。

## 4.4 評価方法

各条件においてモデルを 1 回のみ学習し, 評価を 行った. 評価指標は BLEU とし, 脱トークン化した 生成文に対して sacreBLEU[12]により算出した. た だし，JESC を用いた評価時には，目的言語側であ る日本語のテストセット内の文を $\mathrm{MeCab}$ を用いて 形態素単位に分かち書きしてから評価に用いた.

生成時のビームサーチの探索幅については, JESC の場合 1 から 10 までの間で 1 刻みに探索を行っ

た. WMT14 En-De の場合は， 4 に固定した. ビー ムサーチに付随する文長に対する罰則は，JESC， WMT14 En-De ともに 0.5 から 1.5 までの間で 0.1 刻 みに探索を行った。

## 4.5 追加実験

4.3 節に示した学習設定で実験を行ったところ, WMT14 En-De における BLEU スコアが先行研究 [9] で報告されている値よりも著しく低いものとなっ た.そこで，追加実験として，WMT14 En-Deを用 い，学習パラメータを変えて再度実験を行った. 前述した 1 回目の実験と異なる点は，ミニバッチサイ ズを 1GPU あたり 4,096トークンとし, update_freq を 2 とすることで実質ミニバッチサイズを $1 \mathrm{GPU}$ あたり 8,192 とした点, 学習率を 0.0007 とした点, ウォームアップステップ数を 4,000 とした点， ド ロップアウト率を 0.1 とした点である.

## 5 実験結果

実験結果を表 2 に示す. なお，ベースラインモデ ルの一つである base+base+base よりも高い BLEU ス コアは太字で，各データセットにおける最高スコア は太字十下線で示した。

提案手法である samebatch+base+deldupl は，文レ ベル最適輸送損失を用いたべースラインモデルで ある base+base+base よりも一貫して高い性能を示し た.この結果から, 文レベル最適輸送損失を用いて 学習を行う際に samebatch+base+deldupl の提案手法 を追加することの有効性は示された。

一方で，JESC および WMT14 En-De の一回目の実験において, 文レベル最適輸送損失を用いたすべて のモデルが旧来の最尤誤差損失のみを用いるモデル に劣る結果となった. WMT14 En-Deの二回目の実験においても, 文レベル最適輸送損失を用いたべー スラインモデルをはじめとする複数のモデルが旧来 の最尤誤差損失のみを用いるモデルに劣る結果を示 した. この原因として，本実験におけるパラメータ のチューニングが不足しており文レベル最適輸送損失の効果を引き出しきれていないこと，または文レ ベル最適輸送損失の有効性が限定的であることが考 えられる。

また，アブレーション実験を見ると，複数の参照訳を持つ原文の割合が比較的高かった JESC におい て，バッチ作成アルゴリズムに divided を用いた際 の結果が base+base+base よりも 0.4 ポイント以上低表 2 テストデータセットに対する BLEU スコア. dec. は decloss，del. は deldupl の適用の有無を示す.

 & & & & & \\

base & $\times$ & $\times$ & 13.45 & 24.47 & 25.87 \\

samebatch & $\bigcirc$ & $\bigcirc$ & $\mathbf{1 3 . 7 0}$ & $\mathbf{2 4 . 6 2}$ & 25.64 \\
base & $\bigcirc$ & $\times$ & $\mathbf{1 3 . 7 1}$ & $\mathbf{2 4 . 6 3}$ & $\mathbf{2 6 . 1 4}$ \\
base & $\times$ & $\bigcirc$ & 13.40 & $\mathbf{2 4 . 6 4}$ & $\mathbf{2 6 . 0 3}$ \\
base & $\bigcirc$ & $\bigcirc$ & 13.28 & $\mathbf{2 4 . 6 0}$ & 25.71 \\
samebatch & $\times$ & $\times$ & 13.19 & $\mathbf{2 4 . 6 5}$ & $\mathbf{2 6 . 1 4}$ \\
samebatch & $\bigcirc$ & $\times$ & 13.10 & $\mathbf{2 4 . 5 4}$ & $\mathbf{2 6 . 1 5}$ \\
divided & $\times$ & $\times$ & 12.53 & $\mathbf{2 4 . 6 5}$ & 25.81 \\
divided & $\bigcirc$ & $\times$ & 13.00 & $\mathbf{2 4 . 6 2}$ & 25.81 \\
divided & $\times$ & $\bigcirc$ & 12.47 & 24.38 & $\mathbf{2 5 . 9 2}$ \\
divided & $\bigcirc$ & $\bigcirc$ & 13.04 & 24.33 & 25.85 \\

くなっている. さらに，バッチ作成アルゴリズム に samebatch を用い, deldupl を適用しなかった場合 についても base+base+base より劣る結果となってい る.このことから，複数の参照訳を持つ原文の割合 が高く，一つの原文に対して多数の参照訳が紐づく 例が存在するデータセットにおいては, 参照訳の数 が極端に多い原文に影響を受けて，バッチ作成アル ゴリズムを divided にするとバッチ作成時の制約が 強すぎてモデルの学習がうまくいかないこと, そし て samebatch を用いる場合も deldupl を適用しないと 有効なバッチの作成が行えないことが考えられる.

## 6 おわりに

本研究では，コーパス内の原文が複数の参照訳を 持っているという情報を，機械翻訳モデルの学習に 明示的に用いる手法を提案した. 実験において提案手法は旧来の最尤誤差損失のみを用いる学習手法に 劣る結果となったが，文レベル最適輸送損失を用い るモデルに限れば提案手法が既存手法よりも良い性能を示した。

今後取り組むべき課題として，モデル学習時のパ ラメータの探索を行うことが挙げられる。

今後の展望としては, データセット内の複数参照訳を持つ原文の割合が提案手法の性能に与える影響 を調査することを検討している。また，近年機械翻訳を含む幅広いタスクで活用されている近傍事例を 用いて，提案手法を拡張することを検討している。

## 謝辞

研究について貴重なコメントをくださった山中光

さん，飯島慧さん，論文のレビューをくださった石渡太智さん，伊藤光一さん，鈴木偉士さんに感謝の 意を表す。

## 参考文献

[1] Reid Pryzant, Youngjoo Chung, Dan Jurafsky, and Denny Britz. JESC: Japanese-English subtitle corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[2] Ondřej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, and Aleš Tamchyna. Findings of the 2014 workshop on statistical machine translation. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 12-58, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.

[3] Liqun Chen, Yizhe Zhang, Ruiyi Zhang, Chenyang Tao, Zhe Gan, Haichao Zhang, Bai Li, Dinghan Shen, Changyou Chen, and Lawrence Carin. Improving sequence-to-sequence learning via optimal transport. In International Conference on Learning Representations, 2019

[4] Yujia Xie, Xiangfeng Wang, Ruijia Wang, and Hongyuan Zha. A fast proximal point method for computing exact wasserstein distance. In Ryan P. Adams and Vibhav Gogate, editors, Proceedings of The 35th Uncertainty in Artificial Intelligence Conference, Vol. 115 of Proceedings of Machine Learning Research, pp. 433-453. PMLR, 22-25 Jul 2020.

[5] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation, 2016.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[7] MeCab: Yet Another Part-of-Speech and Morphological Analyzer. https://taku910.github.io/mecab/.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units.
In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 59986008. Curran Associates, Inc., 2017.

[10] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[11] Gabriel Pereyra, George Tucker, Jan Chorowski, Lukasz Kaiser, and Geoffrey Hinton. Regularizing neural networks by penalizing confident output distributions, 2017.

[12] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.


# 漸進的アプローチでの編集量を制御するニューラル機械翻訳

美野秀弥 衣川和卉 後藤功雄 山田一郎
NHK 放送技術研究所
\{mino.h-gq, kinugawa.k-jg, goto.i-es, yamada.i-hy\}@nhk.or.jp

## 概要

言語生成タスクで現在主流となっているモデルは 最終結果のみ観察可能で，生成結果に対して修正を 加えながら最終結果を出力する漸進的なモデルでは ない。本稿では生成タスクの1つである機械翻訳に 焦点を当て，人間のコンテンツ生成のプロセスを参考にした漸進的アプローチによる制御を考慮した ニューラル機械翻訳の手法を提案する。提案手法は 途中結果を確認できる他, 途中の翻訳結果に対して 編集前後の編集量に応じた制御パラメータを与える ことで生成結果を制御することができる．翻訳実験 の結果，提案手法の翻訳精度は既存手法と比較して 有意な差はなかったが，データごとに適切な制御パ ラメータを与えると有意に翻訳精度が向上した.

## 1 はじめに

ニューラル機械翻訳をはじめとしたテキスト生成 タスクの手法は 1 度に正解を出力するモデルが主流 であり，生成結果を段階的に編集しながら正解を出力することを想定していない. しかし，公開資料作成などのコンテンツ生成時，人間は一度にコンテン ツを完成させるのではなく，段階的にコンテンツを 確認，編集しながら完成させることが多い．例えば 翻訳品質を保証するための要求事項を定めた国際規格である ISO17100では，翻訳，セルフチェック，バ イリンガルチェック, 最終検品などのプロセスが定 められており, 図 1 のように段階的な作業が必須と なっている，そこで，本稿では生成タスクの 1 つで ある機械翻訳に焦点を当て，途中の生成結果を確認 でき，かつ制御可能なニューラル機械翻訳の手法を 提案する。制御は編集前後の編集量とする．提案手法は，翻訳元の文に加えて編集前の機械翻訳結果と 制御パラメータとを入力して編集後の翻訳結果を出力するモデルであり，モデルが出力した翻訳結果と 制御パラメータとを繰り返し同じモデルに入力する ことで最終的な翻訳結果を得る。制御パラメータに

図 1 漸進的な翻訳作業の例.

は編集前と編集後との翻訳結果間の編集距離をべー スにしたスコアを用いる。人間のコンテンツ生成の プロセスを参考にした漸進的なアプローチを用いる ことで途中結果を確認できるだけでなく，途中の翻訳結果に対してどの程度編集すべきか編集距離に応 じたスコアを与えることで編集量を制御することが できる。科学技術論文から抜粋された日英対訳コー パスである ASPEC を用いた日英・英日翻訳実験を 行った結果，提案手法は既存のトランスフォーマー ベースのモデルと比較して翻訳精度に有意な差はな かった。しかし，モデルが出力した機械翻訳結果に 対してデータごとに適切な制御パラメータを与える ことで翻訳精度が向上することを確認した。

## 2 提案手法

## 2.1 漸進的アプローチを用いたニューラル 機械翻訳モデル

本稿では，Reid ら [1]の手法を参考にして漸進的 アプローチを用いたニューラル機械翻訳を提案す る. 図 2 に提案手法が用いるモデルの概要図を示 す. 翻訳元の文を $x$ とし，編集ステップごとの出力 を $y_{1}, \ldots, y_{t}$ とし，最終出力である翻訳結果を $y_{T}$ と する。この一連の編集過程を以下のようにモデル化 して学習する。

$
P\left(y_{T}\right)=\prod_{t=1}^{T-1} p_{\theta}\left(y_{t+1} \mid y_{t}, x\right)
$

$\theta$ は学習パラメータである． $y_{1}$ は編集前のデータが 存在しないため特殊なトークン ([NULL])を用いる. $p_{\theta}\left(y_{t+1} \mid y_{t}, x\right)$ は以下の式で計算する.

$
p_{\theta}\left(y_{t+1} \mid y_{t}, x\right)=p_{\theta}^{g e n}\left(y_{t+1} \mid y_{t}, x, e_{t}\right)
$

図 2 提案手法のモデルの概要図.

$e_{t}$ は制御パラメータであり， $y_{t+1}$ と $y_{t}$ との間のトー クンを単位とした編集距離1)を用いる. $t=1$ の場合 は編集前のデータがない特殊なケースと見なし，制御パラメータも特殊な值 (999) を用いる.

翻訳時は，式 1 に，翻訳元データと途中の翻訳結果と制御パラメータとを併せて入力する．ステップ 数 $T$, および制御パラメータ $e_{t}$ は，開発データを用 いた事前実験により固定する。

## 2.2 学習データの構築方法

提案手法のモデルを学習するためには，（翻訳元 データ，編集前の翻訳結果のデータ，編集後の翻訳結果のデータ）の 3 つ組のデータが必要となる2).一般的な対訳データは（翻訳元データ $s$, 最終的な 翻訳結果のデータ $t$ ）から構成されており，途中の 翻訳結果のデータを入手することができないため，新たに構築する必要がある. 人手による翻訳，編集作業結果を用いることが理想だが，膨大なコストが かかるため現実的ではない。そこで，精度の異なる 複数の機械翻訳器を用い, 下記の手順により既存の 対訳データ $(s, t)$ から擬似的な編集前後の翻訳結果 $u$ を含むデータ対 $((s, u), t)$ を構築する.

1. 機械翻訳器 $\mathrm{A}$ により翻訳元文 $s$ の機械翻訳結果 $u_{A}$ を獲得する.

2. 機械翻訳器 $\mathrm{B}$ により翻訳元文 $s$ の機械翻訳結果 $u_{B}$ を獲得する。
3. $\left(\left(s, u_{A}\right), t\right),\left(\left(s, u_{B}\right), t\right)$ を学習データに追加する。

4. 参照訳 $t$ と機械翻訳 $u_{A}$ の編集距離 $e_{t-u_{A}}$, 参照訳 $t$ と機械翻訳 $u_{B}$ の編集距離 $e_{t-u_{B}}$ を計算し， $e_{t-u_{A}}<e_{t-u_{B}}$ の場合は $\left(\left(s, u_{B}\right), u_{A}\right)$ を， $e_{r-u_{A}}>e_{r-u_{B}}$ の場合は $\left(\left(s, u_{A}\right), u_{B}\right)$ を学習デー タに追加する。

精度の異なる複数の機械翻訳器は，ビームサーチや アンサンブルモデルなどのデコード時の工夫や，学習データを減らして学習することなどにより構築可能である。しかし，ベースの機械翻訳器はビーム幅 を最大値にしたアンサンブルモデルであるため，新

表 1 データセットの概要 (ASPEC).

たに構築する機械翻訳器はベースの機械翻訳器と 比較して精度が低くいものとなり，ベースの機械翻訳器の翻訳結果よりも精度の高い翻訳結果を含む 学習データを構築できない. すなわち，デコード時 の工夫のみで構築した機械翻訳器で作る学習デー タ内の編集後のデータは，参照訳を除くと，ベース の機械翻訳器による翻訳結果よりも高い翻訳精度 のデータとならない. 高い翻訳精度を出すために は，編集前のデータにベースの機械翻訳器の翻訳精度以上の翻訳結果を入力し, 編集後のデータとし て編集前よりも高い翻訳精度の結果を出力する必要があり，この条件を満たす学習データの構築が 必要となる。そこで，目的言語側のデータを特権情報として入力時に与える語彙制約付きニューラ ル機械翻訳器 [2] を用いる. 語彙制約付きニューラ ル機械翻訳器は, 目的言語側の参照訳から複数の 単語を翻訳元文と併せて入力することで翻訳結果 に重要な単語が含まれやすくなる。学習時，翻訳時ともに，出力される単語を入力する必要がある ため，特殊な条件が必要だが，ベースとなる機械翻訳器よりも精度の高い機械翻訳器となっており，目的に合致する。本稿では，美野ら [3] の”Propernoun constraint", "Mistranslated-word constraint", "Both constraints", "Random-word constraint”の語彙制約付 きニューラル機械翻訳で学習データを構築する。

## 3 実験

## 3.1 実験設定

提案手法の効果を確認するため，科学技術論文 コーパス ASPEC [4]を用いた日英・英日翻訳実験 を行った. 本稿では ASPEC の中の対訳として対応度の高い 200 万文を用いた。表 1 に本稿で用い るコーパスの統計データを示す. 英語のデータの クリーニング，および単語分割には Moses toolkit ${ }^{3}$ の clean-corpus-n.per ${ }^{4)}$ ， tokenizer.per1 ${ }^{5)}$ を用いた。日

3) https://github.com/moses-smt/mosesdecoder

4) https://github.com/moses-smt/mosesdecoder/blob/master/scripts/ training/clean-corpus-n.perl

5) https://github.com/moses-smt/mosesdecoder/blob/master/scripts/ tokenizer/tokenizer.perl
表 2 実験結果 (BLEU).

本語の形態素解析には, KyTea [5] を利用した. 各 タスクで語彙数を制限するため，バイトペア符号化（byte pair encoding）を用いたサブワード [6] を 用いた. 語彙数は 46,000 とし, 頻度が 35 以下の 語彙はサブワードに分割した。ニューラル機械翻訳には, Transformer モデル [7]を用い, Sockeye3 [8] で実装した。本稿のモデルの学習には Adam [9] を optimizer として用い，学習率は 0.0002 とした. バッ チ内のデータは 5000 トークン以内になるように 構築した. 翻訳時の各エンコーダへの入力の最大長は設定しなかった。 翻訳時は，ビームサーチを 用い，ビーム幅を 10 とした. ハイパーパラメータ であるステップ数 $T$ と制御パラメータ $e_{t}$ は，開発 データを用いた事前実験6)により，日英について は $\left(T=3, e_{2}=5, e_{3}=3\right)$, 英日については $(T=1)$ と なった ${ }^{7)}$. 翻訳の評価には一般的に用いられてい る自動評価尺度 BLEU [10] を用いた. BLEU スコア の計算には SacreBLEU ${ }^{8}$ [11]を用い, case-insensitive BLEU-4 の結果で評価した. また，サンプル数を 10000 に設定した paired-bootstrap.py9)を用い，BLEU スコアにおける提案手法と既存手法との有意差を調 べた.

## 3.2 比較手法

本稿では，下記の 2 つの手法を比較手法とした。 1つ目は，漸進的アプローチを用いない手法 (従来手法)である． 2 つ目は，漸進的アプローチを用い た手法として，拡散モデルをべースにした，翻訳結果にノイズを混入してデータを構築する手法 [1] (ノ イズ付与)である. 2 つ目の比較手法は，学習デー タの構築方法を比較するための手法であり，翻訳結果に挿入，削除ノイズを加えることで，ノイズを加 えたデータを編集前，ノイズを加える前のデータを 編集後のデータとして（翻訳元データ，編集前の翻

6） 事前実験はステップ数 $\mathrm{T}$ の値を 1-30 にして開発データの翻訳を行い，最も精度の高かった値を $T$ とした。

7）制御パラメータ $e_{1}$ は特殊トークン 999 で固定.

8) https://github.com/mjpost/sacrebleu

9) https://github.com/neubig/util-scripts/blob/master/pairedbootstrap.py表 3 データごとに制御パラメータを与えた翻訳結果.

訳結果のデータ, 編集後の翻訳結果のデータ）の学習データを構築する。

## 3.3 実験結果

表 2 に実験結果を示す. 有意差検定を行った結果従来手法と比較して有意な差は確認できなかっ たが，日英翻訳タスクについては従来手法よりも BLEU スコアが高くなった. 英日では，開発データ を用いた事前実験の結果ハイパーパラメータである ステップ数 $T=1$ となってしまい，最初のステップ $(t=1)$ による翻訳のみが行われ，翻訳結果に対する 編集は行われなかった。

参照訳にランダムにノイズを含ませることで学習 データを構築する手法 (ノイズ付与) は翻訳精度が 有意に低下した。この手法は低コストで大量の学習 データを構築可能だが，翻訳時には入力される可能性のない学習データが大量に含まれるおそれがあ る.これらのデータが学習時のノイズとなり精度が 低下したと考えられる。

初期ステップに従来手法の結果を入力するモデル 英日タスクにおいて提案手法の BLEU スコアが低下した原因として，最初のステップ $(t=1)$ で翻訳 ( $x_{1}$ の生成) を行い 2 回目以降のステップで編集を 行っており，翻訳と編集の 2 つのタスクを取り扱う モデルとなっているために翻訳のみに特化した従来手法よりも性能が低下したと考えられる. そこで， $x_{0}$ に [NULL] ではなく，従来手法の結果を用いた場合のモデル（提案手法+初期值修正）で実験を行っ た. 表 2 より，提案手法と同様に，従来手法と比較 して有意に精度が向上することはなかったが，日英 では BLEU スコアが向上したことに加え，英日では 従来手法の結果をそのまま出力することで翻訳精度 の低下を防ぐモデルとなった。

## データごとに適切な制御パラメータを与えた場合

提案手法は，翻訳時の制御パラメータはあらかじ め開発データをもとにタスクごとに固定値を与え た。しかし，実際には適切な制御パラメータはデー タごとに異なるはずである。 そこで，文ごとの適切 な制御パラメータが分かっていると仮定し，文ごと に参照訳との編集距離を算出してそれをオラクル値 として与えた場合の結果を表 3 に示す. その結果，
表 4 大きな制御パラメータ值を与えた翻訳結果.

 &  \\

日英，英日ともに，従来手法と比較して有意に精度 が向上した。提案手法は文ごとに制御パラメータを 推定するようなモデルとはなっていないが，制御パ ラメータを推定する機構を組み込むことで精度向上 が期待できる.

## 制御パラメータによる編集制御

提案手法は，開発データを用いて制御パラメータ を設定した結果小さい値となったが，制御パラメー タを大きくすることで正確性や流暢性をある程度維持しつつ，バリエーションのある翻訳結果を生成で きる可能性がある．そこで，英日タスクで大きな制御パラメータ値を与えてテストセットを翻訳した。表 4 に例を示す. \#1 の例では, 編集前後で文の構造が変わり，編集後の翻訳結果が編集前と比較して 参照訳の構造に近づいていることが分かる。 \#2 の 例では, 編集前の翻訳結果の方が参照訳に近く, 編集後の翻訳結果の「この方法によって得られたデー タについて報告した」の部分が過剩訳となっている ことが分かる．翻訳元にはない情報が過剩訳となる ことで意味が変わってしまい \#3 の例では，＃2 の例 とは異なり，編集後の翻訳結果に訳抜けが生じてい る.「励起光強度依存性の詳細解析により」の訳抜 けについては意味が変わることはないが，「判断し た」の訳抜けは意味が変わってしまい問題である. \#1 の例のように，正確性が損なわれなずに文の構造を変えることができればよいが，＃2 や＃3 の例の ように意味が変わる例もある。翻訳結果のバリエー ションが増やせない単純な文について過剰訳や訳抜 けになる傾向があると考えられる，今後，人手評価 を行い，より詳細な分析を行いたい。

## 4 関連研究

ニューラル機械翻訳には，トランスフォーマー ベースの自己回帰的なモデル [7] に加え，非自己回帰的なモデル [12]も提案されている. 非自己回帰的なモデルの 1 つである Levenshtein Transformer [12] はトークンを並列に予測するプロセスを繰り返すこ とで翻訳を行う．このモデルは，並列計算が可能と なり高速な翻訳を実現するだけでなく, 反復ステッ プにより自動ポストエディットなどのタスクにも有効であることを示したが，翻訳精度は自己回帰的モ デルを下回る.

Reid ら $[1,13]$ は，自己回帰モデルを用いて段階的に編集を行うテキスト生成モデルを提案し [13], それを拡張して拡散モデルベースの生成モデル DIFFUSER を提案した [1]. 提案手法は Reid ら [1] の手法を参考にしているが，参照訳にノイズを付与 して対訳データを作成してノイズを除去するように 学習する拡散モデルを用いず，順方向の機械翻訳器 を用いて対訳データを作成している。

## 5 おわりに

本稿では，翻訳元の文と機械翻訳結果とを入力し て新たな機械翻訳結果を出力する，漸進的なアプ ローチを用いたニューラル機械翻訳を提案してその 効果を検証した．翻訳実験の結果，提案手法が既存手法と同等の精度を出すことを確認した。また，入力する機械翻訳結果の品質評価を適切に行うことが できれば，既存手法よりも精度が向上することを確認した. 今後は，文ごとに適切な制御パラメータを 推定できるような品質評価の機構を組み込んだモデ ルを考案・実装したい，また，本稿では，学習デー タの構築時に, 学習データの目的言語文と機械翻訳結果との編集距離をもとにした制御パラメータを用 いたが，編集距離を挿入，削除，置換に細分化した 制御パラメータを用いることでより細かな制御が可能となると考えられる。適切な制御パラメータを検討して効果を確認していきたい.

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究（課題 225）により得られたものです.

## 参考文献

[1] Machel Reid, Vincent J. Hellendoorn, and Graham Neubig. Diffuser: Discrete diffusion via edit-based reconstruction, 2022. arXiv preprint arXiv:2210.16886.

[2] Guanhua Chen, Yun Chen, Yong Wang, and Victor O.K. Li. Lexical-constraint-aware neural machine translation via data augmentation. In Proceedings of the TwentyNinth International Joint Conference on Artificial Intelligence, pp. 3587-3593. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[3] Hideya Mino, Kazutaka Kinugawa, Hitoshi Ito, Isao Goto, Ichiro Yamada, and Takenobu Tokunaga. NHK's lexicallyconstrained neural machine translation at WAT 2021. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 46-52, Online, August 2021. Association for Computational Linguistics.

[4] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation, pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association.

[5] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[6] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[8] Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, and Marcello Federico. Sockeye 3: Fast neural machine translation with pytorch, 2022. arXiv preprint arXiv:2207.05851.

[9] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.
[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[11] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[12] Jiatao Gu, Changhan Wang, and Junbo Zhao. Levenshtein transformer. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[13] Machel Reid and Graham Neubig. Learning to model editing processes. In Conference on Empirical Methods in Natural Language Processing (EMNLP), Abu Dhabi, UAE, December 2022.