# ニューラル機械翻訳のためのノイズ寛容なアンカー学習

根石 将人
東京大学大学院 情報理工学系研究科
neishi@tkl.iis.u-tokyo.ac.jp

## 概要

機械翻訳モデルの学習に用いられる大規模な学習データは収集方法ゆえにノイズデータを含み、そ れらはモデルの性能低下を引き起こす。本研究は、 SVM モデルに打いて提案されたノイズデータがモ デルに及ぼす悪影響を低減するアンカー学習手法に 注目し、これをニューラル機械翻訳 (NMT) 亿導入 することを試みる。実装上問題となる計算コストを 抑えるアンカー表現手法を、ランダムグルーピング 手法と組み合わせ手法の 2 通り提案し、ASPEC 英日翻訳と WMT2017 英独翻訳の 2 つの翻訳タスクでそ の効果を確認した。

## 1 はじめに

高品質な NMT モデルの学習には大規模な対訳文対データが必要であるが、そのようなデータは Web クローリングなどで自動収集されているために対訳関係にないノイズデータが含まれ、これが翻訳モデ ルの品質低下を引き起こすことが知られている [1]。

この問題に対処するため、Conference on Machine Translation (WMT) では 2018 2020 年にかけて対訳 コーパスフィルタリングに関する Shared Task が開催された $[2,3,4]$ 。これらの Shared Taskを通して提案されたフィルタリング手法を用いて、Herold ら [5] は独語から英語の翻訳タスクにおいて合成混入させ たノイズデータの内多くの種類について 90\%以上の 除外成功したと報告している。しかしながら、 イズの種類によっては除外精度が 70\%程度に過ぎ ず、またクメール語から英語のタスクにおいては全体的に精度が低下した。現状のフィルタリング手法 ではノイズデータは除外しきれず、また認識されて いる種類以外のノイズデータの存在も考えられる。

そこで本研究では、Goldberg ら [6]がサポートベ クタマシン (SVM) [7]を用いた分類タスクのために 提案したアンカー学習に注目した。SVM は二値分

\author{
吉永 直樹 \\ 東京大学 生産技術研究所 \\ ynaga@iis.u-tokyo.ac.jp
}

(a) SVM モデルにおけるアンカー学習 [6]

(b) NMT モデルにおけるアンカー学習 (提案手法)

図 1:2つのモデルにおけるアンカー学習

類を行う識別モデルで、学習データとして特徴量べ クトルと二値分類ラベルを使用する。アンカー学習 では、この特徴量ベクトルに各学習データ固有の新 たな特徵量 (アンカー特徵量) を追加し拡張する (図 1a)。この新たに追加されたデータ固有の特徵量に よって、各データがその他のデータに対して線形分離可能になる。これによりSVM モデルは、元々の 特徴量から出力の推論が難しい場合においても、ア ンカー特徴量から正解の出力を推論することを丸覚 えする選択肢が与えられる。こうしてアンカー学習 は、誤った入出力関係をもつノイズデータからの学習におけるモデルへの悪影響を低減し、モデルの性能を向上させることが期待できる。

なお、正確にはアンカー学習は入力から出力の推論が難しい場合 (hard-to-learn cases) に対応しており、 これは翻訳タスクでの例としては低頻度な慣用句 などの厳密にはノイズデータではない場合も含む。本研究では便宜的にそのような場合も含めノイズ データと呼称し、一方で入力から出力の推論が易し いデータを綺麗なデータと呼称する。
本研究では、系列変換モデルを用いた機械翻訳夕 スクを対象としたアンカー学習を提案する。機械学習モデルおよび入力データ形式の違いから、個々の 学習データを弁別化するアンカーとして、アンカー 特徴量ではなくアンカートークンを導入する。ま た、ナイーブにはアンカーは学習データと同数用意 する必要があるが、大規模な学習データを用いる場合にアンカートークンの数が爆発し膨大な計算資源 を必要とする問題がある。この解決のために本研究 では、ランダムグルーピング手法と組み合わせ手法 の 2 種類のアンカートークン手法を提案する。

実験は ASPEC 英日翻訳と WMT2017 英独翻訳の 2つの翻訳タスクでノイズデータを混合したデータ セットで行い、組み合わせ手法によるアンカー学習 が、計算コストの増加を抑えつつ翻訳の BLEU スコ アを向上させることを確認した。

## 2 系列変換モデルのための アンカー学習

本研究では、SVM 分類タスクで提案されたアン カー学習を、系列変換モデルを用いた機械翻訳タス クに導入するのだが、機械学習モデルや学習データ の形式およびデータ数の違いにより、そのままでは 適用出来ない。SVM モデルの入力データは高次元疎ベクトルであり、一方で系列変換モデルの入力は 低次元密ベクトルの系列である。また、SVMによ る分類タスクに比べて機械翻訳のような生成タスク は、一般に学習データ数が大きい。

まず機械学習モデル及びデータの形式の違いに 対応するため、アンカー特徴量の代わりにアンカー トークン (もしくはアンカーベクトル)を導入する (図 1b)。アンカートークンは、モデルの通常入力で ある単語やサブワードなどと同様に扱い、通常入力 に連結することでモデルへ入力する。一方、アン カーは基本的には学習データと同数必要なため、大規模な学習データに対してはアンカーの数が大きく なり、それに対応してアンカートークンをベクトル へ変換する埋め込み層のパラメータ数が増大し、学習時の計算コストが莫大になる問題がある。この学習データサイズの問題に対して、用意するアンカー トークン数を削減する 2 つの手法を提案する。

## 2.1 アンカートークン数削減のための アンカー表現手法

ランダムグルーピング手法 アンカートークン数削減の一つ目の手法として、一つのアンカートーク ンを複数の学習データ間で共有するランダムグルー ピング手法 (RGA: Random Grouping Anchor)を提案 する。この手法では用意するアンカートークンの 数 $N_{g}$ をハイパーパラメータとして設定し、各学習 データに対してランダムにアンカートークンを割り 当てる。

アンカーは本来学習データと同数求められるが、学習データはノイズデータのみならず綺麗なデータ も含み、この綺麗なデータにはアンカーは不要であ る。またノイズデータと綺麗なデータが同一のアン カーを共有している場合、アンカーがノイズデータ の推論に役立つよう学習されることで、逆に綺麗な データについてはアンカーを無視するような学習が 促進される効果も期待できる。しかしながら複数の ノイズデータが同一のアンカーを共有する可能性も あり、この場合は期待されるノイズ低減効果は得ら れず、用意するアンカートークンの数については学習データ中のノイズデータの数や割合を念頭に適切 に調整する必要がある。

組み合わせ手法 ランダムグルーピング手法はア ンカートークンの数を大幅に削減するものの、アン カートークン数は学習データに対して比例の関係に 過ぎない。そこで学習データのさらなる増加に対応出来るように、単一のアンカートークンではなく、複数のアンカートークンの系列をアンカーとして使用する組み合わせ手法 (CA: Combination Anchor) を 提案する。組み合わせ手法では、各学習データに固有のアンカーを用意するために、限られた数のアン カートークンを用意し、それらを組み合わせたアン カートークン系列をアンカーとして利用する。例え ば 32 個のアンカートークンを用意し、系列長を 3 とした場合、 $32^{3}=32768$ 個までの学習データに対し て固有アンカーを割り振ることが出来る。本研究の 実装ではハイパーパラメータとしてアンカートーク ン数 $N_{c}$ のみを設定し、系列長は学習データ数に足 りる最小值を採用した。

組み合わせ手法では系列を構成するアンカートー クンはそれぞれ複数回使用されるため、アンカー トークン系列同士も類似した表現になる可能性があ る。この問題の解決、さらにランダムグルーピング 手法と条件を揃える為に、組み合わせ手法には回帰型ニューラルネットワーク (RNN) を導入し、アン カートークン系列を単一のアンカー表現に変換す る。結果として NMT モデルのパラメータ数は若干
増加するが、学習データと同数のアンカートークン を用意する場合やランダムグルーピング手法と比較 して、増加量は大幅に抑えられる。

## 2.2 アンカートークンの入カ方法

NMT モデルへのアンカートークンの入力箇所と して、エンコーダ側の入力の先頭および最後尾、ま たデコーダ側の入力の先頭の 3 箇所が候補として考 えられる。本研究では、テキスト以外の情報を系列 に追加する先行研究 $[8,9,10,11]$ を踏まえ、先頭を 採用する。またエンコーダ側へのアンカーの入力で は、アンカー情報がエンコーダ内部で入力文との相互処理を経て文脈化され、アンカーがより有用な情報を所持することが期待できる。デコーダ側先頭へ の入力はこれが期待できないため、本研究ではエン コーダ側の入力の先頭を入力箇所として採用する。

アンカーによる推論を補助する情報の追加は、所謂 prompt 手法 [12] と類似しており、特に追加する 情報自体を学習するという点では soft prompt [13] と 同じである。しかしながらメインのモデルの学習と 同時に追加情報であるアンカーを学習する点、また タスク毎ではなく学習データの事例毎に追加情報を 用意する点に違いがある。

先行研究 [6] を参考に、アンカートークンは学習時のみに使用し、推論時は通常通りアンカートーク ンは存在しないまま処理を行う。本研究では NMT モデルとして Transformer[14] ベースのモデルを利用 するが、オリジナルのモデルで使用する絶対的な位置情報では、学習時には常にアンカートークンが特定の位置にあるのに対して、推論時にその特定の位置にアンカートークン以外のトークンが現れるとい う不整合が起きる。これを避けるために本研究では 相対位置に基づく Transformer [15] を採用する。

## 3 実験設定

提案手法が、NMT モデルの学習においてノイズ データの悪影響を低減する効果を確かめるため、2 つの翻訳タスクにおいて実験を行う。学習データと しては、綺麗と見做されているデータセットとノイ ズデータが多いと見做されているデータセットの両方を用意する。基本の実験として両方のデータセッ トを混合したデータセットを用いるが、綺麗と見做 されているデータセットにもノイズデータが含まれ ていることを考慮し、これを単一で用いた場合での 実験も行う。

## 3.1 モデル

NMT モデルとして、PyTorch ${ }^{1)}$ (ver. 1.12.0) で実装 した相対位置を利用する Transformer[15]を用いる。提案手法の実装のために、アンカートークンおよび アンカートークン用の単語埋め込み層、また組み合 わせ手法における RNN として単一の GRU 層をエン コーダに追加実装した。モデルのハイパーパラメー タについては概ね Vaswani らの Base モデル [14] に 従い、また相対位置べクトルの最大距離についての パラメータ $\mathrm{k}$ は 16 とした。

提案手法に関するハイパーパラメータとして、 ランダムグルーピング手法については、用意する アンカートークンの数がノイズデータとされる データの数のおよそ $1,10,100 \%$ となる場合を実験 する。組み合わせ手法のアンカートークン数につい ては、アンカートークン系列長が 3 4 程度となる $N_{c}=128,256,512$ の場合を実験する。

## 3.2 データセット

翻訳タスクとして ASPEC[16] による科学技術論文ドメインの英日翻訳と、WMT2017 [17] による ニュースドメインの英独翻訳を用いる。

ASPEC データセットについては、英語のデー タは Moses toolkit ${ }^{2}$ (ver. 2.2.1)を用いてトークン化及び Truecasing を行い、日本語のデータは $\mathrm{KyTea}^{3)}$ (ver. 0.4.2) による単語分割を行った。以上の処理の 後、SentencePiece[18] により両言語合わせて語彙数 を 16000 として unigram モデルにてサブワード化し た。ASPEC の学習データは対訳文の類似度が高い 順に並べられている4)ため、前半 150 万文を綺麗な データセットとして、また後半 150 万文をノイズの 多いデータセットとして採用した。

WMT2017データセットについては、公式に配布さ れている前処理済みデータ5)を使用し、newstest2015 を開発データ、newstest2016をテストデータとした。 ノイズの多いデータセットとしては ParaCrawl[19] を採用し、Moses toolkitを用いて前処理済みデー

1) https://pytorch.org/

2) http://www.statmt.org/moses/

3) http://www. phontron.com/kytea/

4）データに付属する README に、「訓練データは、類似度の 高い対訳文から順に並べて、上位 100 万文を train-1、次の上位 100 万文を train-2 とし、残りを train-3 とした。それゆえ、 train-2 や train-3 に含まれるデータは、train-1 と比べると対訳文としての質が低い。ととる。

5) https://data.statmt.org/wmt17/translation-task/ preprocessed/
表 1: ASPEC 英日翻訳における BLEU スコアおよび ノイズ混入データでのモデルのパラメータ数

タセットと同様の前処理を行った。以上の処理の 後に、語彙数を 40000 として ASPEC と同様のサブ ワード化を行った。

両データセット共に、学習時には最大文長を 100 とし、それを超えるデータは排除した。

## 3.3 ノイズ混入データ

現実的なノイズデータが混ざった学習データの 条件の設定するために、綺麗なデータセットとノイ ズの多いデータセットの混合データセットを用意 する。Khayrallah ら [1] の実験結果を踏まえ、ノイズ データによるモデルの性能低下を確認できるよう綺麗なデータとノイズデータの割合は 100:50とした。 ASPEC 英日翻訳では先頭 150 万文と後尾 75 万文を 混ぜ、また WMT2017 英独翻訳では配布データセッ トの全 590 万文と ParaCrawl の先頭 300 万文を混ぜ て、ノイズが混入した学習データを作成した。

## 3.4 評価

前処理としてサブワード化を行ったため、評価時 には単語単位での評価のための処理を行う。ASPEC 英日翻訳では出力を全て連結した後に KyTea による 単語分割を再度行い、WMT2017 英独翻訳では出力 に対して Moses toolkit による Detokenizationを行っ た。評価には sacreBLEU[20] を用いた BLEU スコア [21] 使用した。学習は 30 万ステップ行い、 1 万ス テップ毎に開発データでのスコアを算出し、それが 最も高い時点のモデルを最終的なテストデータでの スコア算出に用いた。BLEU スコアの算出のための NMT モデルの出力は全て貪欲法にて行った。

## 4 実験結果

ASPEC 英日翻訳における結果を表 1 に、WMT2017 英独翻訳における結果を表 2 に示す。WMT2017 ノ イズ混入データにおける組み合わせ手法 $\left(N_{c}=512\right)$ のみ通常学習を下回るスコアであった。それ以外で表 2: WMT2017 英独翻訳における BLEU スコアおよ びノイズ混入データでのモデルのパラメータ数

は、どちらの言語対においても、またデータセット のノイズ含有度合いに関わらず、通常の学習に比べ てアンカー学習がより高いスコアを出した。アン カー学習の効果が概ね確認され、さらに綺麗と見做 されているデータセットでもノイズデータの混入に よるモデルの精度低下が認められた。

今回の結果では、2つのアンカー数を抑えた提案手法に BLEU スコアでの優劣差は認められず、それ ぞれのハイパーパラメータについても明確な傾向は 掴めなかった。これらについては学習の複数回試行 を含め、より厳密な分析が必要である。

提案手法によるモデルのパラメータ数の変化につ いて、表 1、2 右端列にノイズ混入データセットに おける実験での NMT モデルのパラメータ数を示す。通常モデルにおける ASPEC 英日翻訳と WMT2017 英独翻訳のパラメータ数の違いは語彙数の違いによ るものである。ランダムグルーピング手法ではアン カートークン数が大きい場合にパラメータ数が大幅 に増加している一方で、組み合わせ手法は GRU 層 の追加によるパラメータ数の増加がありつつも、ア ンカートークン数は大幅に少ないため全体的には 数\%程度の増加に留まっている。結果としてランダ ムグルーピング手法は学習データが大きい場合には 実用的ではなく、組み合わせ手法のみが実用的な範囲に収まっている。

## 5 おわりに

本研究は NMT の学習において、ノイズデータの 悪影響を低減するアンカー学習の手法を導入した。計算コストの面からアンカートークン数を抑える手法として、ランダムグルーピング手法と組み合わせ 手法の 2 つを提案し、ASPEC 英日翻訳と WMT2017 英独翻訳の 2 つの翻訳タスクにてその効果を確認し た。2つの提案手法による BLEU スコアの向上幅は 同程度であり、パラメタ数増加の観点から、組み合 わせ手法の方が優れた手法であると言える。

## 謝辞

本研究は JSPS 科研費 JP21H03494 の助成を受けた ものです。

## 参考文献

[1] H. Khayrallah and P. Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, 2018.

[2] P. Koehn, H. Khayrallah, K. Heafield, and M. L. Forcada. Findings of the WMT 2018 shared task on parallel corpus filtering. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 726739, 2018.

[3] P. Koehn, F. Guzmán, V. Chaudhary, and J. Pino. Findings of the WMT 2019 shared task on parallel corpus filtering for low-resource conditions. In Proceedings of the Fourth Conference on Machine Translation (Volume 3: Shared Task Papers, Day 2), pp. 54-72, 2019.

[4] P. Koehn, V. Chaudhary, A. El-Kishky, N. Goyal, P. Chen, and F. Guzmán. Findings of the WMT 2020 shared task on parallel corpus filtering and alignment. In Proceedings of the Fifth Conference on Machine Translation, pp. 726-742, 2020.

[5] C. Herold, J. Rosendahl, J. Vanvinckenroye, and H. Ney. Detecting various types of noise for neural machine translation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2542-2551, 2022.

[6] Y. Goldberg and M. Elhadad. SVM model tampering and anchored learning: A case study in Hebrew NP chunking. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 224-231, 2007.

[7] V. N. Vapnik. The nature of statistical learning theory. 1995.

[8] D. Britz, Q. Le, and R. Pryzant. Effective domain mixing for neural machine translation. In Proceedings of the Second Conference on Machine Translation, pp.118126, 2017.

[9] M. Johnson, M. Schuster, Q. V. Le, M. Krikun, Y. Wu, Z. Chen, N. Thorat, F. Viégas, M. Wattenberg, G. Corrado, M. Hughes, and J. Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[10] S. Sato, N. Yoshinaga, M. Toyoda, and M. Kitsuregawa. Modeling situations in neural chat bots. In Proceedings of ACL 2017, Student Research Workshop, pp. 120127, 2017.

[11] Y. Wang, C. Hoang, and M. Federico. Towards modeling the style of translators in neural machine translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1193-1199, 2021.

[12] T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D Ka- plan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwin, S. Gray, B. Chess, J. Clark, C. Berner, S. McCandlish, A. Radford, I. Sutskever, and D. Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901, 2020.

[13] B. Lester, R. Al-Rfou, and N. Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3045-3059, 2021.

[14] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NIPS) 30, pp. 5998-6008, 2017.

[15] P. Shaw, J. Uszkoreit, and A. Vaswani. Self-attention with relative position representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 464-468, 2018.

[16] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC), pp. 2204-2208, 2016.

[17] O. Bojar, R. Chatterjee, C. Federmann, Y. Graham, B. Haddow, S. Huang, M. Huck, P. Koehn, Q. Liu, V. Logacheva, C. Monz, M. Negri, M. Post, R. Rubino, L. Specia, and M. Turchi. Findings of the 2017 conference on machine translation (WMT17). In Proceedings of the Second Conference on Machine Translation, pp. 169-214, 2017.

[18] T. Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

[19] Marta Bañón, P. Chen, B. Haddow, K. Heafield, H. Hoang, M. Esplà-Gomis, M. L. Forcada, A. Kamran, F. Kirefu, P. Koehn, S. Ortiz Rojas, L. Pla Sempere, G. RamírezSánchez, E. Sarrías, M. Strelec, B. Thompson, W. Waites, D. Wiggins, and J. Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, 2020.

[20] M. Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, 2018.

[21] K. Papineni, S. Roukos, T. Ward, and W. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A NMT モデルの学習におけるハイパーパラメータ


 根石 将人 東京大学大学院 情報理工学系研究科 neishi@tkl.iis.u-tokyo.ac.jp  