# 多言語文符号化器の言語表現と意味表現の分離に基づく 機械翻訳の品質推定

黒田勇斗 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 荒瀬 由紀 ${ }^{3}$ 二宮崇 ${ }^{2}$
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科 ${ }^{3}$ 大阪大学大学院情報科学研究科
kuroda@ai.cs.ehime-u.ac.jp kajiwara@cs.ehime-u.ac.jp
arase@ist.osaka-u.ac.jp ninomiya@cs.ehime-u.ac.jp

## 概要

本研究では，多言語文符号化器に基づく文表現か ら言語固有の情報を取り除き，言語非依存な意味表現を抽出する。機械翻訳の品質推定における教師な し設定での実験の結果，提案手法は既存の多言語文符号化器に基づく手法を上回る性能を達成した。他 のアプローチと比較しても，提案手法は少資源言語対において人手評価に対する最も高い相関を得た.

## 1 はじめに

機械翻訳の研究開発の場では BLEU [1] などの参照訳に基づく自動評価が行われているものの，実世界における機械翻訳の使用者は参照訳を事前に用意 できない場合が多い，本研究では，機械翻訳の実世界での利用を進める上で重要な，参照訳を用いない 生成文の自動評価（品質推定）[2] に取り組む.

機械翻訳に関する国際会議 WMT における品質推定タスク [3] を中心に，多言語 BERT（mBERT） [4] や XLM-RoBERTa（XLM-R） [5] などの事前訓練さ れた多言語文符号化器に基づく教師あり品質推定モ デル [6-8] が提案されてきた. しかし，これらの教師あり品質推定モデルは，再訓練に「原言語文・目的言語文・人手評価値」の 3 つ組を必要とする.こ のようなデータセットの作成は, 原言語と目的言語 の両方に精通したアノテータが必要となるため, 非常にコストが高い. そのため, 教師あり品質推定モ デルは，わずかな言語対でしか構築できない.

人手評価値を用いず対訳コーパスのみで訓練する 教師なし品質推定 [9] では, 多言語文符号化器の言語特異性が問題となる。つまり, 多言語文符号化器 から得られる文のべクトル表現は，意味よりも言語 の影響を強く受けており，再訓練なしでは言語を超 えての文間の意味的類似度を正確に推定できない。
この課題に対して先行研究の DREAM [9] では，正例としての対訳コーパスおよび擬似的な負例を用い $\tau$, 多言語文符号化器から得られる文のベクトル表現を言語固有の言語表現と言語非依存の意味表現に 分離した. DREAM の意味表現は教師なし品質推定 タスクにおいて人手評価との高い相関を達成した が，意味表現に言語固有の情報が含まれないことは 保証されていない。

本研究では，意味表現に言語固有の情報が含まれ ないことを保証するための敵対的学習を用いて，多言語文符号化器から得られる文のベクトル表現を意味表現と言語表現に分離する。提案手法は訓練時に 負例を必要としないため，先行研究よりも単純な構造で訓練できるという利点を持つ. WMT20 の品質推定タスク [3] における実験の結果，提案手法は既存の多言語文符号化器に基づく教師なし品質推定手法よりも高い人手評価との相関を達成した. また，復号器を用いる他のアプローチと比較しても，提案手法は少資源言語対において最高性能を更新した。

## 2 提案手法

図 1 に示すように，本研究では $\mathrm{MLP}_{L}$ および $\mathrm{MLP}_{M}$ の 2 つの多層パーセプトロンからなる自己符号化器を用いて，多言語文符号化器から得た文のべ クトル表現を言語固有の言語表現と言語非依存の 意味表現に分離する. $\mathrm{MLP}_{L}$ は言語表現を抽出し， $\mathrm{MLP}_{M}$ は意味表現を抽出するものである．言語表現 と意味表現を足し合わせることで，文のベクトル表現が復元される. 提案手法では，これらの多層パー セプトロンを，以下の 4 つの損失関数に基づく多言語のマルチタスク学習によって訓練する。

$
L=L_{R}+L_{C}+L_{L}+L_{A}
$

図 1 提案手法の概要

## 2.1 復元損失 $L_{R$}

復元損失は我々の自己符号化器を学習するための 基本的な損失関数であり, 意味表現 $\hat{\boldsymbol{e}}_{M} \in \mathbb{R}^{d}$ と言語表現 $\hat{\boldsymbol{e}}_{L} \in \mathbb{R}^{d}$ から文表現 $\boldsymbol{e} \in \mathbb{R}^{d}$ を復元できること を表している。ただし， $d$ は文表現の次元数である。以下のように復元損失を定義 ${ }^{1)}$ する。

$
L_{R}=1-\cos \left(\boldsymbol{e},\left(\hat{\boldsymbol{e}}_{M}+\hat{\boldsymbol{e}}_{L}\right)\right),
$

ここで， $\hat{\boldsymbol{e}}_{M}$ と $\hat{\boldsymbol{e}}_{L}$ は，それぞれ $\mathrm{MLP}_{M}(\cdot)$ と $\mathrm{MLP}_{L}(\cdot)$ によって抽出された意味表現と言語表現である.

$
\begin{aligned}
\hat{\boldsymbol{e}}_{M} & =\operatorname{MLP}_{M}(\boldsymbol{e}) \\
\hat{\boldsymbol{e}}_{L} & =\operatorname{MLP}_{L}(\boldsymbol{e})
\end{aligned}
$

## 2.2 交差復元損失 $L_{C$}

対訳文の原言語文 $s$ と目的言語文 $t$ は意味的に等価である。そこで，対訳文において意味表現同士を 置換できることを保証するために，交差復元損失を 用いる。これは，原言語の言語表現 $\hat{s}_{L}$ と目的言語 の意味表現 $\hat{t}_{M}$ から原言語の文表現 $s$ を復元でき，同様に目的言語の言語表現 $\hat{t}_{L}$ と原言語の意味表現 $\hat{s}_{M}$ から目的言語の文表現 $\boldsymbol{t}$ を復元できることを表 している. 以下のように交差復元損失を定義する.

$
L_{C}=2-\cos \left(\boldsymbol{s},\left(\hat{\boldsymbol{s}}_{L}+\hat{\boldsymbol{t}}_{M}\right)\right)-\cos \left(\boldsymbol{t},\left(\hat{\boldsymbol{s}}_{M}+\hat{\boldsymbol{t}}_{L}\right)\right) .
$

## 2.3 言語表現損失 $L_{L$}

対訳文の原言語文 $s$ と目的言語文 $t$ は異なる言語 の文である。そこで，対訳文において言語表現同士

1） 余弦類似度はベクトルの方向のみを考慮するため, 本手法 は厳密にはベクトルの復元を評価していない。しかし，先行研究 [9] で用いられた平均二乗誤差よりも高い性能が得られ るため，本手法を採用した．詳しい検証は今後の課題である.
が類似しないことを保証するために，言語表現損失 を用いる。以下のように言語表現損失を定義する。

$
L_{L}=\max \left(0, \cos \left(\hat{s}_{L}, \hat{t}_{L}\right)\right)
$

## 2.4 敵対的損失 $L_{A$}

本研究では，多言語文符号化器から得られる文表現を言語表現と意味表現に分離することによって，言語非依存の意味的類似度推定を実現したい. そこ で，意味表現に言語固有の情報が含まれないことを 保証するために，敵対的損失を用いる。これは，意味表現 $\hat{\boldsymbol{e}}_{M}$ から入力文の言語を識別できないことを 表している.

敵対的訓練として言語を識別するため，新たに多層パーセプトロン $\mathrm{MLP}_{D}$ を用意する．以下のように 意味表現から言語を識別する $N$ クラス分類を行う.

$
\hat{\boldsymbol{y}}=\operatorname{softmax}\left(\operatorname{MLP}_{D}\left(\hat{\boldsymbol{e}}_{M}\right)\right),
$

ここで， $\operatorname{softmax}(\cdot)$ は softmax 関数を表す. $\operatorname{MLP}_{D}$ は，以下のように多クラス交差エントロピー損失を 用いて訓練する。

$
L_{D}=-\sum_{j} \boldsymbol{y}_{j} \log \hat{\boldsymbol{y}}_{j}
$

ここで，式 (8) は $\mathrm{MLP}_{D}$ を訓練するための損失関数であり, $\mathrm{MLP}_{M}$ および $\mathrm{MLP}_{L}$ を訓練するための 式 (1)には含まれないことに注意されたい.

この敵対的モデルに対して，本研究では意味表現 から言語を識別できないことを目指すため，言語識別における $\hat{\boldsymbol{y}}$ の分布を一様分布に近づける．以下の ように敵対的損失を定義する.

$
L_{A}=-\sum_{j} \frac{1}{N} \log \hat{\boldsymbol{y}}_{j}
$

ここで， $N$ は訓練用データに含まれる言語の種類数 である．言語の識別に関しては，意味表現から言語

を識別可能にする式 (8) の訓練と, 意味表現から言語を識別不可能にする式 (9) の訓練の両方によって，敵対的な訓練を行う。

## 3 評価実験

WMT20 の品質推定タスク [3] において提案手法 の性能を評価する。提案手法では，原言語文および 機械翻訳による出力文（目的言語文）を多言語文符号化器によって文表現に変換し，それぞれの意味表現を抽出する．品質推定には，意味表現間の余弦類似度を用いる。公式の評価方法に従い，モデルが推定した翻訳品質と人手評価値の間のピアソン相関に よって性能評価を行う.

## 3.1 実験設定

データセット WMT20の品質推定タスクには, 6 つの言語対 ${ }^{2}$ が含まれる. 英語からドイツ語 （en-de）および英語から中国語（en-zh）の多資源言語対，ルーマニア語から英語 (ro-en) およびエス トニア語から英語（et-en）の中資源言語対，ネパー ル語から英語 (ne-en) およびシンハラ語から英語 （si-en）の少資源言語対である. 各言語対において, 1,000 文対の原文および機械翻訳の出力文と, 人手評価値の組が提供されている. 評価対象の機械翻訳 は， fairseqツールキット ${ }^{3)}[10]$ を用いて訓練された Transformer モデル [11] である.

我々のモデルの訓練には，WMT20 の品質推定夕 スクで利用可能な対訳コーパスの一部4)を使用し た. 多資源言語対は 100 万文対ずつ，中資源言語対 は 20 万文対ずつ，少資源言語対は 5 万文対ずつの 対訳コーパスを用いて訓練した。

モデル 本研究では, 全ての $\operatorname{MLP}\left(\mathrm{MLP}_{M}, \mathrm{MLP}_{L}\right.$, $\mathrm{MLP}_{D}$ ) に 1 層のフィードフォワードニューラル ネットワークを用いた. 文表現を得るための多言語文符号化器には, 先行研究 [9] において品質推定の 性能が最高であった $\mathrm{LaBSE}^{5}$ [12]を用いた. 文表現 には，LaBSEの [CLS]トークンに対応する最終層の 出力を用いた。なお，対訳コーパスを使用して訓練 するのは MLP のみであり，LaBSE は再訓練しない.

我々のモデルは，バッチサイズを 512 ，最適化手法を Adam [13], 学習率を $1 e-5$ として HuggingFace


Transformers [14]を用いて訓練した．検証用データ における式 (1)の損失が 10 エポック改善しない場合 に訓練を終了した．検証用データは，訓練用データ から $10 \%$ を無作為抽出して作成した.

比較手法 本実験では，教師なし品質推定の既存手法と提案手法を比較する. LaBSE [12] のベース ラインは，提案手法による意味表現の抽出を行う 前の文表現を用いて品質推定を行う．LaBSE から 意味表現を抽出する先行研究として, DREAM ${ }^{6)}$ [9] と比較する. その他の多言語文符号化器による品質推定として, $\operatorname{LASER}^{7)}[15,16] \cdot \mathrm{mSBERT}^{8)}$ [17] $\cdot$ BERTScore $^{9)}[18] の 3$ 手法と比較する. なお, 各モ デルの事前訓練の設定に従い，LASER では双方向 LSTM の最終層の最大プーリング, mSBERT では最終層の平均プーリングを，それぞれ文表現として用 いた. BERTScore には，最高性能が報告されている xlm-roberta-large モデルを使用した.

また，参考のために，系列変換モデルに基づ く教師なし品質推定手法である D-TP [19] および Prism$^{10)}$ [20], WMT20 の品質推定タスクでベースラ インとして採用されている教師あり品質推定手法で ある Predictor-Estimator ${ }^{11)}[22]$ とも比較する.

## 3.2 実験結果

表 1 に実験結果を示す. 上段には，LaBSE ベース ラインおよび LaBSE から抽出した意味表現による 品質推定の結果を示している. まず，LaBSE と提案手法を比較すると，提案手法によって全ての言語対 において性能が向上しており, 本研究での意味表現 の抽出が有効であることがわかる．また，DREAM との比較においても，全ての言語対において改善が 見られるため，提案手法によってより良い意味表現 を抽出できていると考えられる。

表 1 の中段には，多言語文符号化器による教師な し品質推定の比較手法の性能を示している. これら と比較して，提案手法は少資源言語対を中心に優れ た結果を示しており，6 言語対の平均值としては人手評価との最も高い相関を達成している.

表 1 の下段には，他のアプローチによる品質推定

表 1 WMT20 品質推定タスクにおける人手評価とのピアソン相関係数

の性能を示している. 全言語対において，提案手法は教師ありベースラインである Predictor-Estimator の性能を上回った. 多言語文符号化器に基づく教師 なし品質推定手法（上段および中段）の中で，全て の言語対において教師ありベースラインを上回るの は提案手法のみであり，提案手法の有効性が明らか になった. また，教師なし品質推定手法である D-TP および Prism と比較して，少資源言語対においては 提案手法が優れた性能を示しており，提案手法は少資源言語対における教師なし品質推定の最高性能を 更新した.なお，D-TP は評価対象の機械翻訳の内部状態にアクセスする必要があり, Prism は大規模な 対訳コーパスを用いて訓練する必要があるため，才 ンライン機械翻訳サービスなどのブラックボックス 機械翻訳の品質推定や少資源言語対における品質推定において，提案手法は特に有効であると言える。

## 3.3 アブレーション分析

提案手法で用いている式 (1)の 4 種類の損失関数 の影響を考察するために，同じく WMT20 の品質推定タスクにおいてアブレーション分析を行った．表 2 に分析結果を示す. なお，表 2 の上段では基本と なる復元損失 $L_{R}$ とその他の 1 種類の損失を組み合 わせた際の性能を，下段では 1 種類ずつの損失を取 り除いた際の性能を，それぞれ示している.

全ての損失を用いた際の性能は 0.491 であるため, (g) および (h) から, 復元損失 $L_{R}$ および交差復元損失 $L_{C}$ の影響は小さいことがわかる．上段の結果か ら，交差復元損失 $L_{C}$ および言語表現損失 $L_{L}$ とは 異なり，敵対的損失 $L_{A}$ は基本の復元損失 $L_{R}$ のみと表 2 アブレーション分析におけるピアソン相関係数

の組み合わせでも有効であることがわかる. 下段の 結果から，言語表現損失 $L_{L}$ を除外した際に最も性能が低下するため，言語表現損失からは他の損失で 補完できない重要な情報が学習されると言える. 本分析から，言語表現同士が類似しないことを保証す る言語表現損失および意味表現に言語固有の情報が 含まれないことを保証する敵対的損失の 2 つが，提案手法の性能改善に特に貢献することがわかった.

## 4 おわりに

本研究では，事前訓練された多言語文符号化器に 基づく教師なし品質推定に取り組んだ。提案手法 は，文表現から言語固有の情報を取り除くことで言語非依存の意味表現を抽出し，言語を超えた文間の 意味的類似度の推定を可能にした. 6 つの言語対に おける実験の結果，提案手法は最先端の多言語文符号化器の性能を一貫して改善し, 特に少資源言語対 において教師なし品質推定の最高性能を達成した。

## 謝辞

本研究は JSPS 科研費 (若手研究, 課題番号: JP20K19861）の助成を受けたものです.

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: A Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, p. 311-318, 2002.

[2] Lucia Specia, Carolina Scarton, and Gustavo Henrique Paetzold. Quality Estimation for Machine Translation. Synthesis Lectures on Human Language Technologies, Vol. 11, No. 1, pp. 1-162, 2018.

[3] Lucia Specia, Frédéric Blain, Marina Fomicheva, Erick Fonseca, Vishrav Chaudhary, Francisco Guzmán, and André F. T. Martins. Findings of the WMT 2020 Shared Task on Quality Estimation. In Proc. of WMT, pp. 743-764, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[5] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proc. of ACL, pp. 8440-8451, 2020.

[6] Tharindu Ranasinghe, Constantin Orasan, and Ruslan Mitkov. TransQuest: Translation Quality Estimation with Cross-lingual Transformers. In Proc. of COLING, pp. 5070-5081, 2020.

[7] Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Vishrav Chaudhary, Mark Fishel, Francisco Guzmán, and Lucia Specia. BERGAMOT-LATTE Submissions for the WMT20 Quality Estimation Shared Task. In Proc. of WMT, pp. 1010-1017, 2020.

[8] Akifumi Nakamachi, Hiroki Shimanaka, Tomoyuki Kajiwara, and Mamoru Komachi. TMUOU Submission for WMT20 Quality Estimation Shared Task. In Proc. of WMT, pp. 1037-1041, 2020.

[9] Nattapong Tiyajamorn, Tomoyuki Kajiwara, Yuki Arase, and Makoto Onizuka. Language-agnostic Representation from Multilingual Sentence Encoders for Cross-lingual Similarity Estimation. In Proc. of EMNLP, pp. 7764-7774, 2021.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48-53, 2019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, undefinedukasz Kaiser, and Illia Polosukhin. Attention is All You Need. In Proc. of NIPS, pp. 6000-6010, 2017.

[12] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT Sentence Embedding. arXiv:2007.01852, 2020.
[13] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[14] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP, pp. 38-45, 2020.

[15] Mikel Artetxe and Holger Schwenk. Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings. In Proc. of ACL, pp. 3197-3203, 2019.

[16] Mikel Artetxe and Holger Schwenk. Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 597-610, 2019.

[17] Nils Reimers and Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. In Proc. of EMNLP, pp. 4512-4525, 2020.

[18] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In Proc. of ICLR, pp. 1-43, 2020.

[19] Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Francisco Guzmán, Mark Fishel, Nikolaos Aletras, Vishrav Chaudhary, and Lucia Specia. Unsupervised Quality Estimation for Neural Machine Translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 539-555, 2020.

[20] Brian Thompson and Matt Post. Automatic Machine Translation Evaluation in Many Languages via Zero-Shot Paraphrasing. In Proc. of EMNLP, pp. 90-121, 2020.

[21] Fabio Kepler, Jonay Trénous, Marcos Treviso, Miguel Vera, and André F. T. Martins. OpenKiwi: An Open Source Framework for Quality Estimation. In Proc. of ACL, pp. 117-122, 2019.

[22] Hyun Kim, Hun-Young Jung, Hongseok Kwon, JongHyeok Lee, and Seung-Hoon Na. Predictor-Estimator: Neural Quality Estimation Based on Target Word Prediction for Machine Translation. ACM Transactions on Asian and Low-Resource Language Information Processing, Vol. 17, No. 1, pp. 1-22, 2017.
 黒田勇斗 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 荒瀬 由紀 ${ }^{3}$ 二宮崇 ${ }^{2}$ 1 愛媛大学工学部 2 愛媛大学大学院理工学研究科 ${ }^{3}$ 大阪大学大学院情報科学研究科 kuroda@ai.cs.ehime-u.ac.jp kajiwara@cs.ehime-u.ac.jp arase@ist.osaka-u.ac.jp ninomiya@cs.ehime-u.ac.jp  