# JParaCrawl を用いた単文翻訳におけるドメイン適応

名村太一 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学工学部電気情報系学科
2 鳥取大学工学部
${ }^{1}$ B19T2076C@edu.tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

NMT において様々なドメイン適応 (domain adaptation) の手法が研究されている [1]. また，ドメ イン適応のためには大規模なコーパスが必要であ る.そこで大規模コーパスとして JParaCrawl[2] が 開発された。しかし，まだ人手の翻訳精度に及ば ない. 本研究ではファインチューニングに用いる コーパスが小さいことが原因だと考える。そこで JParaCrawl からテスト文に類似する対訳を抽出し， コーパスを拡張しファインチューニングを行う．実験の結果，対訳を追加しなかった場合と比較して， $\mathrm{BLEU}$ 值が 1.7 向上 $\mathrm{s}$ した.

## 1 はじめに

NMT においてドメイン適応についての様々な研究がされてきた [1]. また，ドメイン適応を行うた めには十分なコーパスが必要である。しかし，日英対訳コーパスにおいては一般的なドメインの大規模 コーパスが無かった. そこでウェブから大規模かつ 特定のドメインに特化しない日英対訳コーパスとし て JParaCrawl[2] が開発された. しかし，まだ人手の 翻訳精度に及ばない。

本研究ではファインチューニングに用いるコーパ スが小さいことが原因だと考える．そこで，ファイ ンチューニングに用いるコーパスを拡張することで 翻訳精度の向上を図る. まず，目的ドメインのテス ト文に類似する対訳を JParaCrawl から抽出する．次 に，抽出したコーパスと目的ドメインのコーパスを 合わせた新たなコーパスを作成する。そして新たな コーパスを用いて JParaCrawl の事前学習済みモデル のファインチューニングを行う.

また，目的ドメインのコーパスのみを用いて JParaCrawl の事前学習済みモデルをファインチュー ニングしたものを BaseLine とする. BaseLine と提案手法の比較を，BLEU 値による自動評価と人手に よる対比較評価で行う.

## 2 過去研究 \\ 2.1 JParaCrawl

NTTコミュニケーション科学基礎研究所によっ て作成された日英対訳コーパスである. 対訳文は約 2000 万文が用意されている.

## 2.2 ドメイン適応

ドメイン特有の言い回しや表現がある。そのため NMT において，汎用的なシステムよりそのドメイ ンに適応したシステムの方が翻訳精度が向上する [4]. ドメイン適応するために様々な手法が研究され ているが，コーパス中心とした適応 (data centric) と， モデル中心とした適応 (model centric) に大きく分け られる [1]. 本研究ではこれらを組み合わせてドメ イン適応を行う。

## 2.2.1 データ選択

データ選択 (data selection) とはコーパスによるド メイン適応の手法である [1]. 目的ドメインのコー パスに類似する文を他のコーパスから抽出し，コー パスを拡張する。様々なアルゴリズムが考案されて いるが [5], 本研究では TF-IDFを用いる.

## 2.2.2 ファインチューニング

ファインチューニング (fine-tuning) とはドメイン 適応の手法である [6][1]. 事前学習済みモデルを目的ドメインのコーパスを用いてパラメータを微調整することである.これによってモデルをドメイ ンに適応させる. 本研究では JParaCrawl のファイン チューニングの方法に従って行う.

## 3 提案手法

本研究では，以下の手順を提案する.

1. TF-IDF でテスト文に類似する対訳を JParaCrawl から抽出

2. 抽出した対訳を目的ドメインのコーパスに付け 加えて，新たなコーパスを作成

3. 新たなコーパスを用いて，JParaCrawl で学習さ れた事前学習済みモデルをファインチューニ ング

## 4 実験

## 4.1 実験データ

実験に用いるデータを表 1 に表す. 単文対訳コー パスとテスト文は電子辞書を中心に採取された単文 を用いる [7]. また，本実験では JParaCrawl の対訳の 内，Bicleanerの値を 0.7 以上の対訳のみを使用する.

表 1 実験データ

## 4.2 実験設定

FAIRSEQ[8] を用いて実験を行う. 学習のパラメー 夕は [2] に従って, 同様の設定で行う. そのため, 事前学習済みモデルから 2,000 ステップの学習を行 うことでファインチューニングを行う．また，前処理には sentencepiece[9] を用いて，語彙数 32,000 と し， unigram 単位で分割する。

## 4.3 実験手順

1. TF-IDF でテスト文に類似する文を JParaCrawl から抽出する

2. 単文対訳コーパスと抽出した文を合わせたコー パスを用いて，JParaCrawl で学習された事前学習済みモデルをファインチューニングする

3. テスト文の翻訳を行い，評価を行う

抽出する量を，テスト文 1 文に対して類似した上位 10 文を Proposed として実験を行う。

評価には SacreBLEU[10] を用いて, BLEU[11]を 計算する. また，人手による対比較評価も行う.

## 4.4 BaseLine

本実験では，BaseLine を単文対訳コーパスのみを 用いて事前学習済みモデルをファインチューニング した結果とする.

## 5 実験結果 \\ 5.1 自動評価

表 2 に BLEU 値の評価結果を示す。

表 2 提案手法と BaseLine の BLEU 值

表 2 より, BLEU 値において Proposed は BaseLine より向上することが確認できた.

## 5.2 人手評価

人手評価は同研究室の学生 4 名に行ってもらっ た. そしてその平均値を人手評価とする。

Proposed と BaseLine の対比較評価を行う. テスト 文の中からランダム 100 文に対して，Proposed の方 が良い，BaseLine の方が良い，ほとんど差がないの 3 つの分類で対比較評価を行った. その結果を表 3 に示す.

表 3 Proposed と BaseLine の対比較評価

その結果，BaseLineの方が良いが 16.8\%に対して， Proposed の方が良いが $28.5 \%$ で上回った. 人手評価 でも Proposed が BaseLine を上回る結果になった.

## 5.3 出力例

## 5.3.1 Proposed の良い例

BaseLine の翻訳結果と比較して Proposed の方が良 い文を，追加された文とともに表 4 に示す.

表 4 より, BaseLine では「知床」が翻訳されな かったのに対して，Proposedでは「知床」が含まれ る文が追加されることによって，正しく翻訳される ようになった.

## 5.3.2 Proposed が悪かった例

BaseLine の翻訳結果と比較して Proposed の方が悪 かった翻訳と，追加された文を表 5 に示す。

「葬られた」の翻訳は「hushed up」が正しいが,「葬られた」と「buried」を含む対訳を学習したため，間違った翻訳をしたと考えられる。
表 4 Proposedの良い翻訳例と，追加された文

 \\

表 5 Proposed の悪い翻訳例と，追加された文

類似文 1 日本語文 遺体は後に，裸にされて傷つけられ た状態で発見され,ブロードフット の遺体とともにラグマーニーにあ
る私の兄の要塞の近くに葬られた。

類似文 1 英語文 The body was afterwards found, naked and mutilated, and, with Broadfoot's, maunee.

## 6 考察

## 6.1 抽出するデータ量を変更

## 6.1.1 自動評価結果

この節では JParaCrawl から抽出するデータ量を変更する. Proposed ではテスト文 1 文に対して類似す る上位 10 文を抽出していた.ここではテスト文 1 文 に対して類似する上位 1 文と 100 文としたものを top1と top100として実験を行う.

表 6 より，top1 では BaseLine より BLEU 值が向上した. Proposed の方が top1 と比べて BLEU 值が高 かった. また， top100では BaseLine より BLEU 值が 低下した.

## 6.1.2 Proposed と top1 の違いの例

top1 の結果から BaseLine よりも BLEU 值が高い ため, Proposed と比較したものを表 7 に示す.

表 7 top1, Proposed, BaseLine の翻訳を比較

 \\

## この結果では, BaseLine より top1 の方がよくなっ た. しかし, JParaCrawl より抽出する量を増やした Proposed はかえって悪くなった. この原因として， top1 には無かったが Proposed には含まれていた類似文が影響したと考える.

## 6.2 ランダムに追加

この節では JParaCrawl からランダムに抽出した 対訳を追加し，学習を行う。それぞれ 1 万，10万， 100 万の対訳を抽出し, 追加したコーパスで学習を 行った. その結果を表 8 に示す.

表 8 BaseLine と randomに 1 万，10万，100万を追加し て学習した BLEU 值

random 100,000が最も BLEU 值が高い結果だった. しかし，類似文を追加した Proposed の方が BLEU 值 が向上した.

## 6.3 抽出した対訳のみでファインチューニ ング

この節では単文対訳コーパスを使用せずに， JParaCrawl より抽出したコーパスのみでファイン チューニングを行う．抽出する量をテスト文 1 文 に対して 1 文， 10 文，100 文とし，それぞれ JPara top1，JPara top10，JPara top100とする. その結果を 表 9 に示す.

表 9 より, 全ての結果で BaseLine を下回ったが，類似する文を増やすと BLEU 値が向上した。一方表
表 9 JParaCrawl からテスト文に類似する文を抽出した コーパスのみでファインチューニングを行ったモデルの BLEU 值

6 では，top100において，コーパスを大きくしすぎ ると BLEU 值が低下した. しかし，この実験では BLEU 值が向上した.

## 6.4 JParaCrawl+単文対訳コーパスから 抽出

テスト文により類似したコーパスでファイン チューニングを行えば翻訳精度が向上すると考 える。そのため，この節では単文対訳コーパスと JParaCrawl を合わせたコーパスからテスト文に類似 する文を抽出する. 抽出する量は，テスト文 1 文に 対して 1 文， 10 文， 100 文とし，それぞれを JPara+単文 top1，JPara+単文 top10，JPara+単文 top100 とす る. その結果を表 10 に示す.

表 10 単文対訳コーパス+JParaCrawl からテスト文に類似する文を抽出したコーパスでファインチューニングを 行ったモデルの BLEU 值

表 10 より，全ての結果で BaseLine を下回ったが，類似する文を増やすと BLEU 值が向上した．また，表 9 と比較して全体的に BLEU 値が向上した.

この結果より，テスト文に類似していることより 一定量の単文対訳コーパスが重要であると考える.単文対訳コーパスは単文の短い文で構成されてい る. それに対して JParaCrawl の多くは長い文で構成 される.この違いにより表 2 の結果が最も良かった と考える。

## 6.5 Google 翻訳との比較

Google 翻訳との比較を行う. 表 11 で Google 翻訳 と BLEU 値で比較する。 また, 表 12 に, Proposed と Google 翻訳の対比較評価の結果を示す.表 11 Google 翻訳と BLEU 值で比較

表 12 Proposed と Google 翻訳の対比較評価

表 13，14 に Google 翻訳と Proposed の例を示す.

表 13 Proposed と Google 翻訳を比較して, Proposed が良 かった例

表 14 Proposed と Google 翻訳を比較して, Google が良 かった例

 \\

表 11 より，BLEU 值において，Proposed の値は Google 翻訳の值に近かった. しかし, 表 12 の結果 ではまだ及ばなかった.

## 7 おわりに

本研究では，TF-IDFを用いて JParaCrawl からテ スト文に類似する対訳文を抽出した. その対訳文を 目的ドメインのコーパスに追加することでコーパ スを拡張した. 拡張したコーパスを用いて事前学習済みモデルのファインチューニングを行うことで BaseLine と比較して BLEU 值と人手評価の両方で翻訳精度の向上が見られた. 具体的には BLEU で 1.7 向上した.

コーパスを拡張しすぎると翻訳精度の低下が確認 されたので，適切なコーパスの量や，他の対訳の抽出法を今後の課題にする.

## 謝辞

人手評価に協力してくれた，以下の 5 名の学生の 協力を得ました. 感謝致します. (柳原弘哉，丸山京祐，深谷 諒，松本 武尊）

## 参考文献

[1] Chenhui Chu and Rui Wang. A survey of domain adaptation for neural machine translation. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1304-1319, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[2] 森下睦, 帖佐克己, 鈴木潤, 永田昌明. Jparacrawl v3.0:大規模日英対訳コーパス. 言語処理学会第 28 回年次大会 発表論文集 (2022 年 3 月) , 2022.

[3] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, et al. Paracrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, 2020.

[4] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. arXiv preprint arXiv:1706.03872, 2017 .

[5] Alberto Poncelas, Gideon Maillette de Buy Wenniger, and Andy Way. Transductive data-selection algorithms for fine-tuning neural machine translation. arXiv preprint arXiv:1908.09532, 2019.

[6] Minh-Thang Luong and Christopher D Manning. Stanford neural machine translation systems for spoken language domains. In Proceedings of the 12th International Workshop on Spoken Language Translation: Evaluation Campaign, 2015.

[7] 村上仁一. 日英対訳データベースの作成のための 1 考察. 言語処理学会第 17 回年次大会発表論文集, D4-5, pp. 979-82, 2011.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. arXiv preprint arXiv:1904.01038, 2019.

[9] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[10] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.
 名村太一 ${ }^{1}$ 村上仁一 ${ }^{2}$ 1 鳥取大学工学部電気情報系学科 2 鳥取大学工学部 ${ }^{1}$ B19T2076C@edu.tottori-u.ac.jp ${ }^{2}$ murakami@tottori-u.ac.jp  