# JParaCrawl v4.0: クラウドソーシングを併用した 大規模対訳コーパスの構築

森下 睦, 帖佐 克己, 永田 昌明
${ }^{1}$ NTTコミュニケーション科学基礎研究所
makoto.morishita@ntt.com

## 概要

現在の機械翻訳モデルは主に対訳コーパスを用いて学習されており、その翻訳精度は対訳コーパスの質と量に大きく依存している。本稿では、新たにウェブをクロールし日英対訳文を抽出することで大規模日英対訳コーパスを構築し、翻訳精度の底上げを狙う。なおこの際クラウドソーシングを活用して対訳文が存在するウェブサイトを発見することで、効率的な対訳文収集を目指す。今回ウェブから収集した対訳文と以前作成した日英対訳コーパス JParaCrawl v3.0 を合わせることで、合計 4400 万文を超える日英最大規模の対訳コーパスを作成することに成功した。実験により、新たな対訳コーパスを用いて学習した翻訳モデルが様々な分野で高い翻訳精度を発揮することを示す。なお、今回作成した対訳コーパスを JParaCrawl v4.0と名付け、我々のウェブサイト上で研究目的利用に限り無償公開する予定である。1)

## 1 はじめに

現在のニューラル機械翻訳モデルは、主に対訳コーパスを用いた教師ありの手法 $[2,3,4,5]$ で学習されている。また大規模言語モデル (LLM) の事前学習時に対訳コーパスを使用することで、多言語文の理解・生成性能が向上することが知られており [6]、対訳コーパスの重要性はさらに増している。これらのモデル学習時、対訳コーパスの質と量が翻訳・言語理解性能に大きな影響を与えること知られているが、大規模対訳コーパスが一般に公開されている言語対は限られている。例えば、独英などの言語対ではすでに数億文の対訳文が公開されているものの、日英ではまだ同程度のものは存在せず、モデル学習時に大きな問題となっている。そのため、本

1）本稿は JParaCrawl v3.0 発表時の原稿 [1] をもとに加筆修正したものである。稿ではさらに大規模なウェブベースの日英対訳コー パスを構築する。現在、日英で最大規模の対訳コー パスの 1 つは約 2100 万文の対訳文を含む JParaCrawl v3.0 [7] であり、これはウェブを大規模にクロールし対訳文を自動的に抽出することで構築されている。本コーパスは欧州言語対と比較すると小規模であり、2022 年を最後に更新が止まっているため、最新の情報を含んでいない。そのため、本研究ではウェブを全面的に再クロールし、対訳文を抽出することで JParaCrawl コーパスを拡大/更新する。本研究では、この際クラウドワーカーから日英対訳文が存在するウェブサイトの報告を受けることで、より効率良く対訳文を抽出することを目指す。また、新たに作成した対訳コーパスを用いて、英日および日英の機械翻訳の精度がどのように向上するかを実験的に示す。本研究で作成した対訳コーパスは JParaCrawl v4.0 と名付け、今後の研究のために我々のウェブサイト2)で公開する予定である。

## 2 関連研究

対訳コーパスは様々な文書から対訳文を抽出することで作成されることが多い。例えば、欧州議会の議事録から作成された Europarl [8]、国連の翻訳文書から作成された UN 対訳コーパス [9] などがある。 これらの文書は、通常プロの翻訳者が翻訳しており、文書 ID などのメタデータを持っていることもあるので、容易に対訳文を抽出することができる。 しかし、一般にメタデータが整った状態で公開されている対訳文書は多くない。

近年では、ウェブから対訳文を抽出する手法も多く提案されている。ウェブ上には 2 言語以上で書かれたウェブサイトが多数存在し、こういったウェブサイトから対訳文を抽出する。ウェブ上には、様々な言語や分野の対訳文が存在しており、大規模な対

表 1 JParaCrawl コーパスに含まれる重複を取り除いた対訳文数および英語側単語数

表 2 収集対象ウェブサイト数および対訳文抽出成功ウェブサイト数

訳コーパスを作成するための有望な情報源である。 ウェブから対訳文を抽出する初期の研究としては、大規模な分散システムを構築し対訳文を抽出したもの [10]、Common $\mathrm{Crawl}^{3}$ )から対訳文を抽出したもの [11] などがある。また、多言語文埋め込みを用いた対訳文対応手法を用いて、Wikipedia や Common Crawl から大規模な多言語対訳コーパスを作成する研究も報告されている $[12,13]$ 。

また、ParaCrawl プロジェクトはヨーロッパ言語の大規模な対訳コーパスをウェブから継続的に作成している [14]。我々は以前この活動にヒントを得て、大規模な対訳コーパスが存在しない日英向けの大規模な対訳コーパスを作成した $[15,7]$ 。このコー パスは JParaCrawl と名付けられ、2100万文を超える対訳文を含む日英における最大規模の対訳コーパスとなっている。しかし、JParaCrawl コーパスは、独英などの欧州言語対と比較するとまだ小規模であり、これをもとにした翻訳モデルの精度も欧州言語対と比較すると低精度である。ゆえに、さらに大きな日英対訳コーパスの作成が求められている。本研究では、ウェブを新たにクロールし対訳文をさらに抽出することで、JParaCrawl コーパスをさらに拡張することを目指す。

## 3 JParaCrawl v4.0

本研究では、ウェブから対訳文を抽出することで大規模な対訳コーパスを構築する。この際の基本的な収集作業は以下の 4 ステップとなる。


## 3.1 対訳文を含むウェブサイトの発見

本研究ではまず対訳文が存在すると思われるウェブサイト (対訳ウェブサイト)をリストアップし、これらのサイトから対訳文を抽出することを考える。本工程は成果物となる対訳コーパスの質と量に大きく影響する。そのため、JParaCrawl v3.0 以前で使用していた CommonCrawl 解析による手法に加え、クラウドソーシングを活用した手法、既存対訳コーパスの解析による手法を併用して対訳ウェブサイトリストを作成した。各手法により列挙されたクロール対象ドメイン数を表 2 に示す。

CommonCrawl 解析 CommonCrawl 上のテキストデータを言語判定ツール $\mathrm{CLD} 2^{4}$ によって解析し、各ドメインの言語別データ量を得る。その後、英語と日本語が同量程度含まれるウェブサイトには対訳文が存在する可能性があるという仮説に基づき、 クロール対象ウェブサイトを列挙する。本研究では、2021 年 9 月から 2023 年 6 月までに公開された Common Crawl のテキストアーカイブデータ 12 セット (合計 104TB) を分析対象とし、ウェブサイトの規模が大きく、英語と日本語の文章が同程度であるウェブサイトを列挙した。2021 年 8 月以前に公開されたデータについては、JParaCrawl v3.0 作成時に既に分析済みであるため除外した。なお、本手順には ParaCrawl プロジェクトが提供する extractor5)を使用した。JParaCrawl v2.0 までは本手法のみを使用した。JParaCrawl v3.0では本手法を主力とし、試験的に一部次項のクラウドソーシングを実施した。

クラウドソーシングの活用 Morishita ら [16] は、 クラウドワーカーはこれまでの経験をもとに対訳ウェブサイトを手動で効率的に列挙できるという仮説を立て、ドメイン適応のための対訳文収集時にクラウドソーシングを活用する手法を提案した。 また、JParaCrawl v3.0 作成時は、試験的にクラウドソーシング由来の対訳ウェブサイトを少量クロールし、CommonCrawl 由来のウェブサイトより対訳文抽出効率が高いことを確認した [7]。上記の結果を受け今回の対訳コーパス構築時も、より大規模にクラウドソーシングを活用することで効率的に対訳文を抽出できると考えた。本研究では、対象ドメインを絞らずクラウドワーカーに日英対訳が存在するウェブサイトの報告を依頼し、列挙されたウェブサ

4) https://github.com/CLD2Owners/cld2

5) https://github.com/paracrawl/extractor

イトをクロール対象とした。6)

既存対訳コーパスの解析本研究では、これまで対訳文が大量に抽出できたウェブサイトは、時間の経過により有用な対訳文が増加している可能性があるという仮説を立てた。前回作成した JParaCrawl v3.0には、各対訳文がどのドメインから得られたものかがメタデータとして付与されている。そのため、JParaCrawl v3.0 から多く対訳文が抽出できた上位ドメインを列挙し、再クロール対象した。

## 3.2 ウェブサイトのクロール

次に、前節で列挙されたウェブサイト全体をクロールする。本研究では、Heritrix7) を用いて、各ウェブサイトに対して最大 48 時間のクローリングを行った。この際 JParaCrawl v3.0 にならい、プレーンテキストに加え、Word、PDFファイルについてもクロール対象とした。

## 3.3 対訳文抽出

次に、クロールされたウェブサイトから対訳文を抽出する。本手順には、ParaCrawl プロジェクトが提供するBitextor8)を日本語に対応させ使用した。対訳文書と対訳文の対応付けには、機械翻訳を用いた対応付けツールbleualign [17]を使用した。このツールでは、まず機械翻訳を用いて日本語文を英文に翻訳し、BLEU スコアを最大化する日英の文ペアを発見する。この際、日英翻訳には JParaCrawl v3.0 で学習した Transformer ベースのニューラル機械翻訳（NMT）モデルを使用した。

## 3.4 ノイズ除去

最後の手順として、正しく対応付けられていない、翻訳が不正確など、学習時のノイズとなる文対をフィルタリングする。本手順には、 Bicleaner9) [18] を使用した。

## 3.5 作成結果

上記手順により得られたクリーンな対訳文と JParaCrawl v3.0を結合し、重複文を削除した。これにより 4400 万文以上を含む新しい大規模日英対


訳コーパス JParaCrawl v4.0 の構築に成功した。表 1 に、これまでの JParaCrawl および今回作成した $\mathrm{v} 4.0$ の重複を削除した対訳文数および英語側単語数を示す。また、表 2 に、クリーンな対訳文を 1 文以上含んでいた対訳ウェブサイト数 (抽出成功数)を示す。CommonCrawl 由来の収集対象と比較して、クラウドソーシングにより列挙された対訳ウェブサイトは、対訳文抽出の成功率が高くより効率的にクロールできていることがわかる。なお、クラウドソーシングにより列挙されたウェブサイトのうち、 CommonCrawl により得られたサイトと重複していたものは約 6\%であり、ほとんどが CommonCrawl からは発見できない対訳ウェブサイトであったことも特筆に值する。

## 4 実験

本節では、新たに作成した JParaCrawl v4.0 の翻訳精度への影響を確認するために、NMT モデルを学習し様々なテストセットでその精度を評価した。以降では、使用したテストセットの詳細およびモデル学習時の設定について述べる。

## 4.1 実験設定

## 4.1.1 テストセット

様々な分野で NMT モデルの精度を評価するために、19 種類のテストセットでモデルを評価する。付録表 4 に使用するテストセットの分野および統計情報を示す。これらには、以前の JParaCrawl 発表時に報告した ASPEC [19] (科学技術論文), JESC [20] (映画字幕), KFTT [21] (Wikipedia 記事), TED (tst2015) [22] (講演) などが含まれる。さらに本実験では、WMT22、WMT23 の General 翻訳夕スク $[23,24]$ で使用されたテストセットを追加した。 これらは、汎用的な機械翻訳精度を測ることを目的として設計され、ニュース文、対話文、SNS 上の文書、インターネット通販サイトの文書等が含まれている。なおシェアードタスク用テストセットの中には、特定の翻訳方向 (英 $\rightarrow$ 日など) で使用することを前提としたものもあるが、参考までに英日、日英の両方向で評価した。また付録表 5 に示すように、いくつかのコーパスには学習データが付属しているものがある。比較のため、これらの学習データで分野別モデルを学習した際のスコアを付録の表 6 に示す。
表 3 JParaCrawl で学習した翻訳モデルの自動評価値 (BLEU / COMET)。JParaCrawl モデルのうち最高スコアのものを太字で示す。E-J は英日、J-E は日英翻訳を想定して作成されたテストセットであることを示す。

## 4.1.2 学習設定

翻訳モデルの学習には fairseq [25]を用い、 small、base、bigの 3 つの異なる大きさの Transformer [5] モデルを学習した。付録表 7 に詳細な学習設定を示す。以前の JParaCrawl の報告に基づき、 TED (tst2015) では small モデルを、KFTT では base モデルを、その他のテストセットでは big モデルを使用した。自動評価値として sacreBLEU [26] を用いた BLEU スコア [27]、Unbabel/wmt22-comet-da モデルを用いた COMET スコア [28] を報告する。なお、以前の実験との整合性を保つために、すべてのテストセットを NFKC 正規化した。詳細な実験設定については付録 Aに示す。

## 4.2 実験結果

表 3 に様々なテストセットにおける BLEU スコアおよび COMET スコアを示す。以降では BLEU スコアより人手評価との相関が高いとされる COMET スコアを中心に議論する [29]。JParaCrawl v4.0で学習したモデルは、19 のテストセットのうち英日では 16、日英では 17 のテストセットで以前の JParaCrawl を上回る精度を達成した。科学技術論文、ニュース、SNS などの様々な分野において、新しい JParaCrawl が NMT モデルの精度を押し上げている。WMT20、21ニュース翻訳タスクの精度向上ついては、以前報告されているように、ウェブペー ジから近年のニュース文に関連した対訳文を抽出
できたことによるものだと考えられる。[7]。また、 WMT22、23 General 翻訳タスクについても精度が向上している。複数領域の対訳文から構成されている General 翻訳タスクテストセットと様々な領域を含むウェブデータの相性が良いことが要因の一つとして考えられる。

## 5 おわりに

本研究では、これまでの大規模日英対訳コーパス JParaCrawl をさらに拡張した JParaCrawl v4.0を作成した。本対訳コーパスは、従来の CommonCrawl 解析に加え、クラウドソーシングの活用および既存対訳コーパスの解析を行い、対象となったウェブサイトをクロール、対訳文抽出を行うことで作成した。新たな JParaCrawl v4.0は 4400 万以上の対訳文を含んでおり、これは JParaCrawl v3.0 の倍以上の大きさである。本対訳コーパスを用いることで、様々な分野の翻訳精度が向上することを実験的に確認した。今後の課題としては、継続的な JParaCrawl の更新や、より優れた対訳ウェブサイト検出方法/対訳文抽出手法/フィルタリング手法の提案などが挙げられる。また、より大規模な対訳モデルで本コーパスを学習した際の翻訳精度や、LLM で本コーパスを活用した際の効果は計測できておらず、今後取り組んでいきたいと考えている。なお、本研究で作成した JParaCrawl v4.0 は我々のウェブサイトで研究目的に限り無償で公開する予定である。

## 参考文献

[1] 森下睦, 帖佐克己, 鈴木潤, 永田昌明. JParaCrawl v3.0: 大規模日英対訳コーパス. 言語処理学会第 28 回年次大会 (NLP2022), 2022.

[2] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 28th Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 3104-3112, 2014.

[3] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

4] Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Effective of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1412-1421, 2015.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 6000-6010, 2017.

[6] Rohan Anil, et al. Palm 2 technical report. arXiv preprint arXiv:2305.10403, 2023.

[7] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, 2022

[8] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In Proceedings of the Machine Translation Summit X, pp. 79-86, 2005.

[9] Micha 1 Ziemski, Marcin Junczys-Dowmunt, and Bruno Pouliquen. The united nations parallel corpus v1.0. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC), pp. 3530-3534, 2016.

[10] Jakob Uszkoreit, Jay M. Ponte, Ashok C. Popat, and Moshe Dubiner. Large scale parallel document mining for machine translation. In Proceedings of the 23rd International Conference on Computational Linguistics (COLING), pp. 1101-1109,2010.

[11] Jason R Smith, Herve Saint-Amand, M Plamada, P Koehn, C Callison-Burch, and Adam Lopez. Dirt cheap web-scale parallel text from the common crawl. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1374-1383, 2013.

[12] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. WikiMatrix: Mining $135 \mathrm{~m}$ parallel sentences in 1620 language pairs from Wikipedia. arXiv preprint arXiv:1907.05791, 2019.

[13] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, and Armand Joulin. CCMatrix: Mining billions of high-quality parallel sentences on the web. arXiv preprint arXiv:1911.04944, 2019.

[14] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamirezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for corpora. In Proceedings of the 58th Annual Meeting of

[15] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC), pp. 3603-3609, 2020

[16] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. Domain adaptation of machine translation with crowdworkers. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: Industry Track, pp. 606-618, 2022.

[17] Rico Sennrich and Martin Volk. Iterative, MT-based sentence alignment of parallel texts. In Proceedings of the 18th Nordic Conference of Computational Linguistics (NODALIDA), pp. 175-182, 2011

[18] Víctor M. Sánchez-Cartagena, Marta Bañón, Sergio Ortiz-Rojas, and Gema Ramírez-Sánchez. Prompsit's submission to WMT 2018 parallel corpus filtering shared task. In Proceedings of the 3rd Conference on Machine

[19] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC), 2016.

[20] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: Japanese-English Subtitle Corpus. arXiv preprint arXiv:1710.10639, 2017.

[21] Graham Neubig. The Kyoto free translation task. http://www. phontron.com/kftt, 2011.

[22] Mauro Cettolo, Christian Girardi, and Marcello Federico. WIT3: web inventory of transcribed and translated talks. In Proceedings of the 16th Annual Conference of the European Association for Machine Translation (EAMT), pp. 261-268, 2012.

[23] Tom Kocmi, Rachel Bawden, Ondřej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Rebecca Knowles, Philipp Koehn, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Michal Novák, Martin Popel, and Maja Popović. Findings of the 2022 conference on machine translation (WMT22). In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. $1-45,2022$.

[24] Tom Kocmi, Eleftherios Avramidis, Rachel Bawden, Ondřej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Markus Freitag, Thamme Gowda, Roman Grundkiewicz, Barry Haddow, Philipp Koehn, Benjamin Marie, Christof Monz, Makoto Morishita, Kenton Murray, Makoto Nagata, Toshiaki Nakazawa, Martin Popel, Maja Popović, and Mariya Shmatova. Findings of the 2023 conference on machine translation (WMT23): LLMs are here but not quite there yet. In Proceedings of the Eighth Conference on Machine Translation, pp. 1-42, 2023.
[25] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan $\mathrm{Ng}$, David Grangier, and Michael Auli. fairseq: A fast, extensible toolki for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT), pp. 48-53, 2019.

[26] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 186-191, 2018.

[27] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, 2002

[28] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-

[29] Markus Freitag, Nitika Mathur, Chi-kiu Lo, Eleftherios Avramidis, Ricardo Rei, Brian Thompson, Tom Kocmi, Frederic Blain, Daniel Deutsch, Craig Stewart, Chrysoula Zerva, Sheila Castilho, Alon Lavie, and George Foster Results of WMT23 metrics shared task: Metrics might be guilty but references are not innocent. In Proceedings of the Eighth Conference on Machine Translation, pp. 578-628, 2023 .

[30] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 54-61, 2019.

[31] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 1-55, 2020

[32] Farhad Akhbardeh, Arkady Arkhangorodsky, Magdalena Biesialska, Ondře Bojar, Rajen Chatterjee, Vishrav Chaudhary, Marta R. Costa-jussa, Cristina España-Bonet, Angela Fan, Christian Federmann, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Leonie Harter, Kenneth Heafield, Christopher Homan, Matthias Huck, Kwabena AmponsahKaakyire, Jungo Kasai, Daniel Khashabi, Kevin Knight, Tom Kocmi, Philipp Koehn, Nicholas Lourie, Christof Monz, Makoto Morishita, Masaaki Nagata, Ajay Nagesh, Toshiaki Nakazawa, Matteo Negri, Santanu Pal, Allahsera Auguste Tapo, Marco Turchi, Valentin Vydrin, and Marcos Zampieri. Findings of the 2021 conference on machine translation (WMT21). In Proceedings of the 6th Conference on Machine Translation (WMT), pp. 1-93, 2021.

[33] Xian Li, Paul Michel, Antonios Anastasopoulos, Yonatan Belinkov, Nadir K Durrani, Orhan Firat, Philipp Koehn, Graham Neubig, Juan M. Pino, and Hassan Sajjad. Findings of the first shared task on machine translation robustness. In Proceedings of the 4th Conference on Machine Translation (WMT), 2019.

[34] Lucia Specia, Zhenhao Li, Juan Pino, Vishrav Chaudhary, Francisco Guzmán, Graham Neubig, Nadir Durrani, Yonatan Belinkov, Philipp Koehn, Hassan Sajjad, Paul Michel, and Xian Li. Findings of the WMT 2020 shared task on machine translation robustness. In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 76-91, 2020.

[35] Antonios Anastasopoulos, Ondřej Bojar, Jacob Bremerman, Roldano Cattoni, Maha Elbayad, Marcello Federico, Xutai Ma, Satoshi Nakamura, Matteo Negri, Jan Niehues, Juan Pino, Elizabeth Salesky, Sebastian Stüker, Katsuhito Sudoh, Marco Turchi, Alexander Waibel, Changhan Wang, and Matthew Wiesner FINDINGS OF THE IWSLT 2021 EVALUATION CAMPAIGN. In Proceedings of the 18th International Conference on Spoken Language Translation (IWSLT), pp. 1-29, 202

[36] Graham Neubig. Forest-to-string SMT for asian language translation: NAIST at WAT2014. In Proceedings of the 1st Workshop on Asian Translation (WAT), pp. 20-25, 2014

[37] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

[38] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, pp. 1929$1958,2014$.

[39] Razvan Pascanu, Tomas Mikolov, and Yoshua Bengio. On the difficulty of training recurrent neural networks. In Proceedings of the 30th International

40] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbig niew Wojna. Rethinking the Inception Architecture for Computer Vision. In Proceedings of CVPR, pp. 2818-2826, 2016.

[41] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 1-9, 2018.

[42] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint

[43] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 66-71, 2018.
表 4 テストセットに含まれる分野、対訳文数および英語側単語数

表 5 分野別学習データに含まれる文数および英語側単語数。ASPEC は本来約 300 万文の学習データを含んでいるが、先行研究に基づき先頭 200 万文のみを学習に使用した [36]。

表 6 分野別コーパスのみで学習した翻訳モデルの自動評価値 (BLEU / COMET)

## A 詳細な実験設定

表 4 にテストセットに含まれる分野、対訳文数および英語側単語数を示す。また、表 5 に分野別学習データに含まれる文数および英語側単語数を示す。 なお、ASPEC は本来約 300 万文の学習データを含んでいるが、先行研究に基づき先頭 200 万文のみを学習に使用した [36]。分野別学習データのみで学習した翻訳モデルの自動評価値を表 6 に示す。

JParaCrawl v4.0を用いた翻訳モデル学習時の前処理として、対訳コーパスを sentencepiece [43]を用いて unigram 確率をもとにサブワード単位に分割した。この際、語彙数は 64,000、character coverage は 0.9999 とした ${ }^{10)}$ 。また、未知文字については

10） JParaCrawl v3.0 作成時は語彙数を 32,000 としたが、コー パスの拡張に伴い各単語埋め込みの学習が十分に行われると考え語彙数を増加させた。表 7 ハイパーパラメータの一覧

 & Transformer [5] \\

Byte-fallback により UTF-8 のバイト列の組み合わせによる表現を行った。翻訳モデルを学習する際の詳細なハイパーパラメータを表 7 に示す。