# 多言語雑音除去自己符号化器による教師なし品質推定

品質推定の教師あり学習は, 言語対ごとに翻訳品質ラベルを人手で付与する必要が あり，コストが高い。そこで，対訳コーパスのみで訓練された機械翻訳器を用いる 教師なし品質推定が研究されているが，既存手法は少資源言語対では性能が低下す る。本研究では, 事前訓練された多言語雑音除去自己符号化器を活用することで, 大規模な対訳コーパスが存在しない言語対にも適用可能な教師なし品質推定を提案す る. 具体的には, 多言語雑音除去自己符号化器を対訳コーパスを用いて再訓練する ことで多言語機械翻訳器を構築する。 そして, 評価対象の機械翻訳器による出力文 を原文から forced-decoding する際の文生成確率によって翻訳品質を推定する。大規模な単言語コーパスにより事前訓練された多言語雑音除去自己符号化器は言語間の 特性を捉えられるため, 提案手法では少資源または対訳コーパスが存在しない言語対においても品質推定が可能となる。WMT20の品質推定タスクにおける評価の結果，提案手法は 6 言語対のうち 5 言語対について，ブラックボックス設定における 教師なし品質推定の最高性能を達成した。詳細な分析の結果, ゼロショット設定の 品質推定においても提案手法は良好な性能を示すことが明らかとなった.

キーワード：品質推定，機械翻訳
## Unsupervised Quality Estimation via Multilingual Denoising Autoencoder

\author{
Tetsuro Nishihara $^{\dagger}$, Yuji Iwamoto ${ }^{\dagger}$, Masato Yoshinaka $^{\dagger \dagger}$, Tomoyuki Kajiwara ${ }^{\dagger}$, \\ YUKI ARASE $^{\dagger \dagger}$ and TAKASHI NinOMIYA ${ }^{\dagger}$
}

Supervised quality estimation methods require a corpus that manually annotates qualities of translation outputs. To avoid such costly annotation process, previous studies have proposed unsupervised quality estimation methods based on machine translation models trained on a large-scale parallel corpora. However, these methods are not applicable to low-resource or zero-resource language pairs. This study addresses this problem by utilising a pre-trained multilingual denoising autoencoder. Specifically, the proposed method constructs a machine translation model by fine-tuning the multilingual denoising autoencoder with parallel corpora. It then estimates the translation quality as a forced-decoding probability of a translation output given its

source sentence. The pre-trained denoising autoencoder captures linguistic characteristics across languages, which allows our method to evaluate translation quality of low-resource and zero-resource language pairs. Evaluation results on the WMT20 quality estimation task confirm that the proposed method achieves the best unsupervised quality estimation performance for five language pairs under the black box settings. Detailed analysis shows that the proposed method also performs well on under the zero-shot setting.

Key Words: Quality Estimation, Machine Translation

## 1 はじめに

BLEU (Papineni et al. 2002) や METEOR (Banerjee and Lavie 2005) などの参照文に基づく自動評価指標は, ベンチマーク上での機械翻訳 (MT) システムの開発に貢献してきた. しかし, ユーザが実際に MT システムを使用する際には，事前に参照文を用意できない場合が多いため， これらの自動評価指標を用いてユーザが MTの品質を確認することは難しい．本研究では，参照文を用いない自動評価である品質推定 (Quality Estimation, QE) (Specia et al. 2018)に取り組む， QEでは，原文とそれに対応する MT 出力文を比較することで， MT 品質を推定する．人手評価との相関が高い $\mathrm{QE}$ 手法を開発することにより，MT 出力文をそのまま使用するか，手動または自動で後編集するか，他のMT システムを利用するかというユーザの判断を支援できる.

国際会議 WMT における QE タスク (Specia et al. 2020)を中心に，これまで多くの教師あり QE 手法 (Specia et al. 2013; Kim et al. 2017; Ranasinghe et al. 2020) が提案されてきた. しかし，これらの教師あり $\mathrm{QE}$ モデルの訓練には，「原文・対応する $\mathrm{MT}$ 出力文・人手評価値」の 3 つ組が必要である。このような $\mathrm{QE}$ 訓練データの構築は, 翻訳者などの原言語と目的言語の両万に精通したアノテータによる作業が必要となるため, 非常にコストが高い. そのため, WMT の QE タスクに含まれるような，わずかな言語対でしか教師あり $\mathrm{QE}$ モデルを得られないのが現状である.

この問題を解決するために，教師なし QEが研究されている．教師なし QE の先行研究は多言語 MT システムに基づいており，MT システムの符号化器のみを用いる手法 (Artetxe and Schwenk 2019) および MT システムの符号化器と復号器の全体を用いる手法 (Thompson and Post 2020; Fomicheva et al. 2020b) に大別できる. これらの既存手法は, 人手評価のアノテー ションこそ不要なものの, 評価対象の言語対における大規模な対訳コーパスを用いた訓練が必要である.

本研究では，大規模な対訳コーパスを用意できない言語対においても翻訳品質を推定できる教師なしQE 手法を提案する. Thompson and Post (2020) と同様に, 提案手法は多言語 MT システムに基づき，原文を入力として評価対象の MT 出力文を forced-decoding する際の翻訳確率

を品質推定に用いる。提案手法では, 事前訓練された多言語雑音除去自己符号化器 (Lewis et al. 2020; Liu et al. 2020)を活用することで，少資源，ひいては対訳コーパスが存在しない言語対においても QE を可能とする。大規模な単言語コーパスによって訓練された多言語雑音除去自己符号化器を再訓練して得られる MT システムはゼロショット設定の言語対においても機械翻訳が可能となることが示されている (Liu et al. 2020). 同様の効果が QEにおいても期待され, 一部の言語対における対訳コーパスを用いた再訓練によって他の言語対の $\mathrm{QE}$ 性能も向上すること，さらには対訳コーパスを用意できない言語対におけるゼロショット $\mathrm{QE}$ も実現できると考えられる。

WMT20 QE タスク (Specia et al. 2020) における実験の結果，提案手法は既存の教師なし QE 手法よりも高い人手評価との相関を達成した。また，詳細な分析の結果，対象言語対の対訳コー パスを使用しないゼロショットの設定においても提案手法は良好な結果が得られ，教師なし $\mathrm{QE}$ における単言語コーパスを用いた雑音除去自己符号化器の事前訓練の有効性を確認できた.

## 2 関連研究

本節では， $\mathrm{QE}$ における先行研究を議論する．まず 2.1 節では，教師あり $\mathrm{QE}$ について代表的な研究を紹介する。続いて 2.2 節では, 符号化器のみを用いる教師なし $\mathrm{QE}$ 手法を紹介する. 最後に 2.3 節では, 符号化器と復号器の両方を用いる教師なし $\mathrm{QE}$ 手法を紹介する. なお, 本研究の提案手法は, 2.3 節のアプローチの拡張として位置付けられる.

## 2.1 教師あり品質推定

多くの QE 手法 (Specia et al. 2013; Kim et al. 2017; Ranasinghe et al. 2020) は, 教師あり学習を採用している。深層学習に基づく強力な教師あり QE 手法として知られる Predictor-Estimator (Kim et al. 2017) は, 対訳コーパス上で目的言語文の各単語を原言語文および目的言語文中の周辺単語から推定するように事前訓練された Predictor と, Predictor によって得られる特徴表現から QEラベルを推定する Estimatorで構成される. Predictor-Estimator は, WMT17 QEタスク (Bojar et al. 2017) で最高性能を達成し, WMT20 QE タスク (Specia et al. 2020) では OpenKiwi (Kepler et al. 2019) で実装された LSTM に基づく Predictor-Estimator がベースライン手法として用いられている.

WMT20 の QE タスクにおける上位の手法 (Ranasinghe et al. 2020; Fomicheva et al. 2020a; Nakamachi et al. 2020) は, 事前訓練された多言語の文符号化器である mBERT (Devlin et al. 2019) や XLM-R (Conneau and Lample 2019; Conneau et al. 2020) に基づく教師あり QE 手法である.これらの多言語の文符号化器は，100を超える言語における単言語コーパスを用いて Masked Language Modeling の訓練を行った自己注意ネットワーク (Vaswani et al. 2017) である.

WMT20の QE タスクにおいて最高性能を達成した TransQuest (Ranasinghe et al. 2020) や同じく上位の TMUOU システム (Nakamachi et al. 2020) は, 原文とその MT 出力文を [SEP] トー クンで区切って連結した文対を XLM-R に入力し, 文頭の [CLS］トークンの出力を用いて回帰モデルを訓練する.

これらの教師あり $\mathrm{QE}$ は人手評価との高い相関を達成できるが, 先述の通り人手評価値のアノテーションはコストが高く, 多くの言語対においてアノテーションコーパスは利用できない. そこで本研究では, 人手評価値のアノテーションを必要としない教師なし $\mathrm{QE}$ 手法を提案する.

## 2.2 Encoder QE：符号化器に基づく教師なし品質推定

WMT19 の QE タスク (Fonseca et al. 2019) では，対訳コーパスを用いて訓練した多言語の文符号化器である LASER (Artetxe and Schwenk 2019) がベースライン手法として採用されている. LASER は, 再帰型ニューラルネットワークに基づく多言語 MT システムの符号化器部分である.このLASER による QE は教師なし手法であり，原文とそのMT 出力文をそれぞれ LASERによってべクトル化し，それらの余弦類似度によってMT 出力文の品質を推定する.

QEタスクでは検証されていないものの, LaBSE (Feng et al. 2020) や mSBERT (Reimers and Gurevych 2020) などの最先端の多言語文符号化器は, 言語をまたいだ文間類似度推定タスク (Cer et al. 2017) において LASER を超える性能を達成している. LaBSE や mSBERT は, mBERT や XLM-R などの単言語コーパスで事前訓練された文符号化器を, 対訳コーパスを用いて再訓練した多言語の文符号化器である。LaBSE は, mBERTの事前訓練に加えて, Translation Language Modeling や Translation Ranking による再訓練を実施している。 mSBERT は, 文の類似度推定タスク (Cer et al. 2017) に最適化したXLM-Rを用いた Multilingual Knowledge Distillation によって, 多言語の文符号化器を得ている. LASER と同様に, これらの多言語文符号化器も, 余弦類似度による教師なし $\mathrm{QE}$ に使用できる。

4 章の評価実験において示す通り, 符号化器に基づく手法では, 各言語の単言語コーパスで事前訓練したモデル（mBERT やXLM-R）よりも対訳コーパスで訓練したモデル (LASER)の方が教師なし QEの性能は高い. さらに，単言語コーパスで事前訓練したモデルを対訳コーパスで再訓練したモデル（LaBSE や mSBERT）は, これらの性能を上回る. つまり, 表 1 にま

 \\

表 1 教師なし品質推定の先行研究と本研究の関係

とめた教師なし $\mathrm{QE} の$ 先行研究のうち, 右に位置するアプローチほど $\mathrm{QE}$ 性能が高い.

## 2.3 EncDec QE：符号化器と復号器に基づく教師なし品質推定

機械翻訳 (Thompson and Post 2020) や文書要約 (Yuan et al. 2021) において近年注目を集めている自動評価手法に, 符号化器と復号器からなる雑音除去自己符号化器に基づく手法がある.代表的な手法である Prism (Thompson and Post 2020) は，自己注意ネットワークに基づく系列変換モデル (Vaswani et al. 2017) を訓練し, そのモデルで参照文から生成文への系列変換を行う際の文生成確率を用いて生成文の品質を評価する。この系列変換モデルが多言語 MT システムであれば，原文から MT 出力文への系列変換を行う際の文生成確率を用いて教師なし QE を実現できる。Prism は WMT19の QE タスク (Fonseca et al. 2019)において高い性能を示したが，系列変換モデルの訓練のために大規模な対訳コーパスが必要であるため，少資源言語対や対訳コーパスを用意できないゼロショットの設定では利用できない.

Prism の他に，系列変換モデルに基づく QE 手法として Fomicheva et al. (2020b) の D-TP および D-Lex-Sim がある. D-TP および D-Lex-Sim はモンテカルロ・ドロップアウト (Gal and Ghahramani 2016) を用いて MT システムのパラメータを変化させ，MT 出力文の候補を複数生成する。D-TPでは各候補の文生成確率を平均することによって翻訳品質を推定し，D-Lex-Sim では候補間の METEOR スコア (Banerjee and Lavie 2005) によって翻訳品質を推定する．Prism が評価対象の MT システムとは独立に QE 用の系列変換モデルを用意する一方で，D-TP および D-Lex-Sim は評価対象の MT システム自身を用いてMT 出力文の品質を推定する．D-TP および D-Lex-Sim は教師なしQE としての最高性能を達成しているものの, このようなホワイトボックスの設定が利用可能なケースは限定的である。一般的には, MT システムのユーザは MT システムの内部パラメータにはアクセスできず，MT 出力文のみを得られる．そのため本研究では, 2.2 節の符号化器に基づく手法や Prism のような, ブラックボックス設定における教師なしQEの性能改善を目指す.

## 3 提案手法

2.2 節の議論を踏まえると, 表 1 にまとめたように, 各言語の単言語コーパスで事前訓練した系列変換モデルを対訳コーパスで再訓練することで，より高品質な教師なし QE の実現を期待できる，本研究では，図 1 に示すように，系列変換モデルに基づく教師なし QE 手法を改良する.

図 1 提案手法の概要：mBART に基づく多言語機械翻訳器を用いて翻訳品質を教師なしで推定

## 3.1 系列変換モデルによる教師なし品質推定

本研究では, Prism (Thompson and Post 2020) と同様に, 符号化器と復号器からなる系列変換モデルを用いて計算する文の生成確率に基づき，MT 出力文の品質を推定する．Prismでは，自己注意ネットワークに基づく一般的な系列変換モデル (Vaswani et al. 2017) を用いて文の生成確率を求めるが, 復号器において一般的な貪欲法やビームサーチによる復号の代わりに, “forced-decoding”を用いる，つまり，モデルが推定するトークン生成確率によらず，指定されたトークン（QEの場合は MT 出力文に含まれるトークン）の出力を強制する。提案手法も Prism に倣い, この “forced-decoding”によって文の生成確率を求める. 具体的には, 原文 $x$ とその MT 出力文 $y$ が与えられたとき，翻訳品質 $\hat{Q}(y \mid x)$ を以下のように計算する.

$
\hat{Q}(y \mid x)=\frac{1}{|y|} \sum_{t=1}^{|y|} \log p\left(y_{t} \mid y_{i<t}, x\right)
$

ここで,$y_{i<t}$ はタイムステップ $t$ より前の出力トークンである. 長文ほど高い対数確率が与えられることを防ぐために，文レべルの対数確率を文長 $|y|$ で割っていることに注意されたい.

Prism および提案手法は, 訓練の際に真の翻訳品質 $Q(y \mid x)$ を用いない教師なし $\mathrm{QE}$ 手法である。系列変換モデルには，対訳コーパスを用いて訓練された多言語 MT システムを用いる．ただし，Prismではこれを一から訓練するが，提案手法では単言語コーパスを用いて事前訓練された系列変換モデルを対訳コーパス上で再訓練することでより高品質な $\mathrm{QE}$ を実現する.

## 3.2 多言語機械翻訳器の構築

大規模な対訳コーパスを用意できない言語対においても翻訳品質を推定できる教師なし $\mathrm{QE}$ を実現するために，本研究では単言語コーパスを用いて事前訓練された系列変換モデルを対訳コーパス上で再訓練することによって，QEのための多言語 MT システムを構築する。事前訓練を行わない先行研究 (Thompson and Post 2020) と比較して, 本手法には以下の 2 の利点が

ある.
- 単言語コーパスは対訳コーパスよりも収集コストが低いため，大規模な単言語コーパスを用いた訓練を実現できる。そのため，モデルはより多様な文に触れることができ，様々な言語的特徴を捉えられる。
- 対訳コーパス上での再訓練により, 対訳コーパス中の文対数が限られた言語対や対訳コー パスに含まれていない言語対であっても，事前訓練がサポートしている言語であれば $\mathrm{QE}$性能を改善できる。

一方，事前訓練なしの Prism は，対象外の言語対に対しては，トークンが語彙に含まれていないことや文法に関する知識を全く持っていないなどの問題のために QE の実現は期待できない.

本研究では，代表的な事前訓練済み系列変換モデルのひとつである BART (Lewis et al. 2020) を利用する. BART は Transformer 符号化器と自己回帰型の復号器によって構成される標準的な系列変換モデル (Vaswani et al. 2017) であり，雑音関数によって一部の情報が欠落したテキストから元のテキストを復元する雑音除去自己符号化器として教師なし学習により訓練されている．BART の事前訓練では，トークンの穴埋めや並び替えの復元を訓練するために，文中の一部を [MASK] トークンに置き換える雑音関数を用いる．BART の雑音除去自己符号化器を目的タスクの対訳コーパスで再訓練することによって, 文書要約や対話応答生成などの多くのテキスト生成タスクの性能改善が報告されている (Lewis et al. 2020).

多言語 MT システムへの拡張のために, 本研究では多言語版の BART (mBART) を用いる. mBART (Liu et al. 2020) は，複数言語のそれぞれで大規模な単言語コーパスを用意し，それらを用いて BART (Lewis et al. 2020)の雑音除去自己符号化を訓練した雑音除去自己符号化器である. Liu et al. (2020)の研究では, 事前訓練された mBART を対訳コーパス上で再訓練した MT システムが，特に少資源言語対において優れた翻訳品質を発揮している。また， mBARTを特定の言語対（例えば，韓国語 $\rightarrow$ 英語）における対訳コーパスで再訓練した MT システムが，他の言語からの MT（例えば，イタリア語 $\rightarrow$ 英語）も実現できることが確認されている. 本研究では, mBARTのこれらの特性を活かし, 系列変換に基づく高品質な教師なし $\mathrm{QE}$ を実現する. 提案手法では, 事前訓練された mBART を複数の対訳コーパス上で再訓練して多言語 MT システムを構築し, これを用いて 3.1 節の方法で翻訳品質を推定する.

## 4 評価実験

WMT20の QE タスク (Specia et al. 2020)において提案手法の性能を評価する.

## 4.1 実験設定

## タスクの詳細

WMT20の QE タスクには，7つの言語対が含まれる. 英語からドイツ語 (en-de) および英語から中国語 (en-zh) の多資源言語対, ルーマニア語から英語 (ro-en) ・エストニア語から英語 (et-en) ・ロシア語から英語 (ru-en) の中資源言語対, ネパール語から英語 (ne-en) およびシンハラ語から英語 (si-en) の少資源言語対である。各言語対において 1,000 文対の原文およびその MT 出力文が提供され, 人手で付与された $\mathrm{QE}$ スコアとモデルが推定した $\mathrm{QE}$ スコアの間のピアソン相関係数によって QE 性能を評価する. WMT20の QE タスクで翻訳品質の評価対象となる MT システムは, fairseq ツールキット¹ (Ott et al. 2019)を用いて訓練された Transformer モデル (Vaswani et al. 2017) である.

## 提案手法の実装

提案手法の QEモデルには, 事前訓練された $\mathrm{mBART}^{2}$ (Liu et al. 2020) を用いた. この mBART は, 50 言語の単言語コーパスで事前訓練された雑音除去自己符号化器であり, 16 種類の自己注意ヘッドを持つ 12 層 1,024 次元の Transformer モデル (Vaswani et al. 2017) である.

mBART を我々が再訓練した多言語 MT システム (mBART+MT) と， Tang et al. (2020)によって再訓練された多言語 MT システム (mBART $+\mathrm{M} 2 \mathrm{M})$ の両方を評価した. $\mathrm{mBART}+\mathrm{MT}$ の再訓練には，表 2 に示すように, WMT20の QE タスク3で利用可能な対訳コーパスの一部 4 を使用した。なお, ru-en 言語対については, WMT20の QEタスクにおいて対訳コーパスが配布されていない。そのため, 本稿では提案手法のうち mBART+MT については ru-en をゼロショッ卜設定の言語対として扱う.

これらの対訳コーパスに含まれる全ての文について, mosesdecoder の detokenizer.per ${ }^{5}$ (Koehn et al. 2007)を適用した上で, mBART のトークナイザ (Wolf et al. 2020)によるトークン化の前処理を施した。そして，原言語文と目的言語文がそれぞれ 100 トークン以下の長さである文対のみを再訓練に用いた。最適化には AdamW (Loshchilov and Hutter 2019)を用い，学習率は $5.0 \times 10^{-6}$ に設定した. バッチサイズは 1,000 文とし，対訳コーパス上で 75,000 ステップの交差エントロピー損失最小化の再訓練を実施した.

mBART $+\mathrm{M}_{2} \mathrm{M}^{6}$ (Tang et al. 2020) は， mBART を表 3 の対訳コーパスを用いて再訓練した
^{4}$ Vaswani et al. (2017) など, MT 研究で広く使用されている WMT14 en-de タスク（約 450 万文対）を参考に多資源言語対の文対数を設定した。また，中資源言語対については公開されている et-en 言語対の総文対数に合わせて ro-en 言語対の文対数を, 少資源言語対については ne-en 言語対の総文対数に合わせて si-en 言語対の文対数を設定した。

5 https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/detokenizer.perl

 }^{6}$ https://huggingface.co/facebook/mbart-large-50-many-to-many-mmt


表 $2 \mathrm{mBART}+\mathrm{MT}$ の訓練用文対数

表 $3 \mathrm{mBART}+\mathrm{M} 2 \mathrm{M}$ の訓練用文対数

多言語 MT システムである。これらの対訳コーパスには，WMT やIWSLT などの MT コンペティションにおいて公開されている多様なデータが含まれる. mBART+MT モデルが 6 言語対の合計 1,286万文対で訓練されているのに比べて, mBART+M2M モデルは 49 言語対の合計 2 億文対という非常に大規模な対訳コーパスで訓練されていることに注意されたい.

## 比較手法

本実験では，2 節で紹介した教師なし $\mathrm{QE}$ 手法と提案手法を比較する. 符号化器に基づく手法 (Encoder QE) として, 単言語コーパスで訓練された $\mathrm{mBERT}^{7}$ (Devlin et al. 2019) および XLM-R ${ }^{8}$ (Conneau and Lample 2019; Conneau et al. 2020), 対訳コーパスで訓練された LASER ${ }^{9}$ (Artetxe and Schwenk 2019), 単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された LaBSE ${ }^{10}$ (Feng et al. 2020) および mSBERT ${ }^{11}$ (Reimers and Gurevych 2020) と比較する. WMT19の QE タスク (Fonseca et al. 2019)における LASER による教師なしQE と同様に, これらの多言語文符号化器を用いて原文とその MT 出力文をそれぞれベクトル化し，それらの余弦類似度によって MT 出力文の品質を推定する。各モデルの事前訓練の設定に従い, LASER は双方向 LSTM の最終層の最大プーリング, mSBERT は最終層の平均プーリング, その他のモデルは文頭の [CLS] トークンに対する最終層の出力をそれぞれ文べクトルとして使用する。

符号化器と復号器に基づく手法 (EncDec QE) として, 単言語コーパスで訓練された mBART (Liu et al. 2020) および対訳コーパスで訓練された Prism (Thompson and Post 2020)を，単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された提案手法（mBART+MT および mBART $+\mathrm{M} 2 \mathrm{M} ）$ と比較する。本実験で使用する Prism は， mBART と同じ構造の系列変換モ


デルであり，表 2 の対訳コーパスを用いて我々が訓練したものである. ただし, ru-en 言語対については，先述の通り WMT20の QE タスクにおいて対訳コーパスが配布されていない。そのため, 本稿では Prism についても ru-en をゼロショット設定の言語対として扱う. 提案手法と mBART および Prism は， いずれも式 (1)によって MT 出力文の翻訳品質を推定する.

また, 参考のために, ホワイトボックス設定の教師なし QE 手法である D-TP および D-Lex-Sim (Fomicheva et al. 2020b), 教師あり QE 手法である Predictor-Estimator ${ }^{12}$ (Kim et al. 2017) および TransQuest ${ }^{13}$ (Ranasinghe et al. 2020) も比較する. 教師あり QE モデルは, WMT20の QE タスク (Specia et al. 2020) において公開されている 7,000 件ずつの訓練用データおよび 1,000 件ずつの検証用データを用いて，検証用データのピアソン相関係数を最大化するように訓練した。

## 4.2 実験結果

表 4 に実験結果を示す. 表 4 において, 上段の 1 および 2 は比較対象の教師なし $\mathrm{QE}$ 手法,下段の 3 および 4 はホワイトボックス設定および教師ありの QE 手法である. 表中の Mono お

表 4 WMT20の QE タスクにおけるピアソン相関係数.†はゼロショット設定を示す.


よび Paraの列は，教師なしＱE モデルが単言語コーパスを用いて訓練されているか，対訳コー パスを用いて訓練されているかを表す. Mono と Paraの両方にチェックが入っている教師なし $\mathrm{QE}$ モデルは, 単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練されている. なお, ru-en 言語対については，Prism および mBART+MT はゼロショット設定となっている．全体としては，教師なし QE 手法は以下の順番で人手評価との相関が高い.

(1) 単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された EncDec $\mathrm{QE}$ （提案手法)

(2) 単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された Encoder QE

(3) 対訳コーパスで訓練された Encoder QE

(4) 対訳コーパスで訓練された EncDec QE

(5) 単言語コーパスで訓練された EncDec QE

(6) 単言語コーパスで訓練された Encoder QE

上段 1 の Encoder QE について, 単言語コーパスのみで訓練された mBERT や XLM-R は,単純な余弦類似度に基づく教師なし QEでは人手評価との相関が見られなかった. mBERT や XLM-R に比べて，対訳コーパスで訓練されたLASER は人手評価との高い相関を持つことがわかる。単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された LaBSE や mSBERT は，さらに高い相関を達成している．特に，LaBSE は少資源言語対， mSBERT は多資源言語対において，特に優れた性能を発揮することがわかる.

上段 2 の EncDec QE についても同様の傾向が見られた。つまり，単言語コーパスで訓練された mBART よりも対訳コーパスで訓練された Prism が人手評価との高い相関を示し，単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された提案手法（mBART $+\mathrm{MT}$ および mBART+M2M）がさらに高い相関を達成した。同じく単言語コーパスのみで訓練された mBERT や XLM-R が全ての言語対において人手評価との相関を持たない一方で， mBART は少資源言語対において 0.2 程度の弱相関を持ち, 中資源言語対においては 0.4 程度の中相関を持っており，EncDec QEの有効性を確認できる。提案手法は，ne-en 以外の言語対において，教師なし $\mathrm{QE}$ としての最高性能を達成した。特に，より大規模な対訳コーパスを用いて再訓練した mBART $+\mathrm{M} 2 \mathrm{M}$ が多くの言語対においてより高い人手評価との相関を示している.

ゼロショット設定である ru-en 言語対については, mBART+MT が mBART や Prism よりも高い性能を示しており，提案手法の有効性を確認できる。また, ru-enの対訳コーパスを用いて訓練した mBART+M2M は，さらに大きな性能改善を達成している.

次に，具体的な出力をもとに，提案手法の有効性を定性評価する，表 5 に，英日翻訳における品質推定の実例を示す。上の例は，MT 出力文が「見つけられるしばしば」のように文法的に不適格な翻訳となっているため，低い $\mathrm{QE}$ スコアを出力することが期待される．Prism とは異なり, 提案手法の mBART+MT は期待通り低い $\mathrm{QE}$ スコアを出力できた。これは, mBART+MT

 \\

表 5 英日機械翻訳に打ける品質推定の例。 モデルごとに 0 から 1 までの範囲に正規化した $\mathrm{QE}$ スコアを表示している．上段は適切に品質推定できた例であり，下段は誤推定をした例である.

では事前訓練によって文法構造を捉えられていたために，適切に翻訳品質を推定できたと考えられる。下の例は，MT 出力文が適切な翻訳であるため，高い $\mathrm{QE}$ スコアが期待される例である.しかし, この例では Prism と mBART+MT の両方が低い $\mathrm{QE}$ スコアを出力した.「ビドルフ」や「チェシャー」のような低頻度語は, その単語の生成確率が低くなるため, 本アプロー チでは低評価になりやすい傾向があると考えられる.

## 4.3 多資源言語対における品質推定と少資源言語対における品質推定

対訳コーパスを用いて訓練する $\mathrm{QE}$ 手法においては， より多くの文対から訓練できる多資源言語対における $\mathrm{QE}$ 結果が中資源言語対や少資源言語対に比べて人手評価との相関が高くなると期待される。しかし，表４の実験結果では，アプローチに関わらず，多資源言語対における $\mathrm{QE}$ 性能が中資源言語対や少資源言語対における $\mathrm{QE}$ 性能を下回っている。本節では，この期待が外れる理由を調査する。

分析の結果, 翻訳品質ラベルの分布の偏りが $\mathrm{QE}$ 推定結果に影響を与えている可能性があることが明らかとなった，図 2 に，多資源言語対の en-de および少資源言語対の si-en における翻訳品質ラベル頻度のヒストグラムを示す。図中の青色の部分は en-de のヒストグラム, 赤色の部分は si-en のヒストグラム，紫色の部分はグラフが重なっている部分を表している. 少資源言語対における MT システムの翻訳品質が正規分布に近い分布を示しているのに対して，多資源言語対における MT システムの出力は高品質なものが極端に多い。このような翻訳品質ラベルの偏りがあると，高品質な翻訳の中で優劣をつけることになるため, 多資源言語対における $\mathrm{QE}$ を難しくしている可能性がある。

## 5 ゼロショット設定での品質推定

3.2 節で述べたように, mBART (Liu et al. 2020)を対訳コーパス上で再訓練して得た MT システムは, 再訓練に使用していない言語対の MT（ゼロショットMT）を実現できることが知られている。本節では, mBART に基づく教師なし QEが同様の特性を持つか, つまり, 再訓練に使用した対訳コーパスに含まれない言語対の QE を実現できるかを検証する．表 6 に, Prism および mBART+MT を多資源および中資源の 4 言語対の対訳コーパスのみで訓練したアブレー ション分析（w/o 少資源言語対）の結果を示す。また，他言語のデータとの同時訓練の影響を

図 2 品質ラベルのヒストグラム

表 6 EncDec QE のアブレーション分析.†はゼロショット設定であることを示す.
調べるために, 対象言語対のみ,つまり, ne-en または si-en の対訳コーパスのみで訓練したアブレーション分析の結果も示す.

これらの実験結果から, 対訳コーパスによる再訓練を実施しない mBART と比べて, mBART+ MT（w/o 少資源言語対）が少資源言語対の QEにおいて，人手評価との相関を大きく改善できることがわかる．ゼロショット MT (Liu et al. 2020)と同様に，mBART に基づくQEモデルがゼロショット QE を実現できることを確認できた。さらに，対象言語対の対訳コーパスを用いた再訓練や対象言語対を含む大規模な対訳コーパスによる再訓練には及ばないものの， mBART+MT（w/o 少資源言語対）の少資源言語対における性能は，強力な教師ありべースラインである Predictor-Estimator (Kim et al. 2017) と同等である. QE ラベルの収集コストのために教師あり QEが多くの言語対において実現できない現状を考えると, 本手法のゼロショット性能は有望である.

また，表 6 のアブレーション分析からは，単言語コーパスにおける事前訓練を実施していない Prism が小規模な対訳コーパスからは充分な QE 性能が得られないこと，また他の言語対の大規模な対訳コーパスと同時に訓練しても少資源言語対における $\mathrm{QE}$ 性能が改善しないことが確認できる。一方で, mBART+MT（対象言語対のみ）と mBART+MTの比較から, 提案手法は他の言語対の大規模な対訳コーパスとの同時訓練によって, 少資源言語対における $\mathrm{QE}$ 性能が改善されることがわかる.

## 6 おわりに

本研究では事前訓練された多言語雑音除去自己符号化器を活用した機械翻訳の教師なし品質推定手法を提案した，提案手法は，多言語雑音除去自己符号化器を対訳コーパスにより再訓練することで得た多言語 MT システムにおいて，原文から評価対象の MT 出力文を forced-decoding する際の文生成確率によって翻訳品質を推定する。品質推定モデルの事前訓練には mBART (Liu et al. 2020)を用い，50 言語に適用可能な教師なし品質推定手法を実現した.

6 つの言語対における実験の結果, 提案手法は多くの言語対において教師なし品質推定の最高性能を達成した。また, 再訓練に使用する対訳コーパスに含まれないゼロショット設定での品質推定では, 教師あり $\mathrm{QE}$ 手法と同等の性能を示した. さらに, 多資源言語対の対訳コーパスとの同時訓練によって少資源言語対における品質推定の性能が改善され, 收集コストが高い翻訳品質ラベルや大規模な対訳コーパスを得られない設定における提案手法の有効性を確認した.

今後の課題として，モデルサイズの削減がある。符号化器のみを用いる LaBSE (Feng et al. 2020) や mSBERT (Reimers and Gurevych 2020) が約 2 GB のモデルサイズを持つのに対して,復号器も用いる提案手法は約 7 GB の記憶領域を必要とする。主に符号化器において活発に研究されているモデル圧縮の技術を応用し, 知識蒸留 (Sanh et al. 2019) やパラメタ共有 (Lan et al.

2020)によって多言語雑音除去自己符号化器に基づく品質推定のモデル圧縮を検討したい.

## 謝 辞

本研究は JSPS 科研費（若手研究，課題番号：JP20K19861）および国立研究開発法人情報通信研究機構の委託研究による助成を受けたものです.

## 参考文献

Artetxe, M. and Schwenk, H. (2019). "Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3197-3203.

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72.

Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huang, S., Huck, M., Koehn, P., Liu, Q., Logacheva, V., Monz, C., Negri, M., Post, M., Rubino, R., Specia, L., and Turchi, M. (2017). "Findings of the 2017 Conference on Machine Translation (WMT17)." In Proceedings of the 2nd Conference on Machine Translation, pp. 169-214.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation." In Proceedings of the 11th International Workshop on Semantic Evaluation, pp. 1-14.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Representation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451.

Conneau, A. and Lample, G. (2019). "Cross-lingual Language Model Pretraining." In Proceedings of the 33rd Conference on Neural Information Processing Systems, pp. 7059-7069.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186.

Feng, F., Yang, Y., Cer, D., Arivazhagan, N., and Wang, W. (2020). "Language-agnostic BERT

Sentence Embedding." arXiv preprint arXiv:2007.01852.

Fomicheva, M., Sun, S., Yankovskaya, L., Blain, F., Chaudhary, V., Fishel, M., Guzmán, F., and Specia, L. (2020a). "BERGAMOT-LATTE Submissions for the WMT20 Quality Estimation Shared Task." In Proceedings of the 5th Conference on Machine Translation, pp. 1010-1017.

Fomicheva, M., Sun, S., Yankovskaya, L., Blain, F., Guzmán, F., Fishel, M., Aletras, N., Chaudhary, V., and Specia, L. (2020b). "Unsupervised Quality Estimation for Neural Machine Translation." Transactions of the Association for Computational Linguistics, 8, pp. 539-555.

Fonseca, E., Yankovskaya, L., Martins, A. F. T., Fishel, M., and Federmann, C. (2019). "Findings of the WMT 2019 Shared Tasks on Quality Estimation." In Proceedings of the 4th Conference on Machine Translation, pp. 1-10.

Gal, Y. and Ghahramani, Z. (2016). "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning." In Proceedings of the 33rd International Conference on Machine Learning, pp. 1050-1059.

Kepler, F., Trénous, J., Treviso, M., Vera, M., and Martins, A. F. T. (2019). "OpenKiwi: An Open Source Framework for Quality Estimation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 117-122.

Kim, H., Jung, H.-Y., Kwon, H., Lee, J.-H., and Na, S.-H. (2017). "Predictor-Estimator: Neural Quality Estimation Based on Target Word Prediction for Machine Translation." ACM Transactions on Asian and Low-Resource Language Information Processing, 17 (1), pp. 1-22.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, pp. 177-180.

Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., and Soricut, R. (2020). "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations." In Proceedings of the 8th International Conference on Learning Representations.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880.

Liu, Y., Gu, J., Goyal, N., Li, X., Edunov, S., Ghazvininejad, M., Lewis, M., and Zettlemoyer, L. (2020). "Multilingual Denoising Pre-training for Neural Machine Translation." Transactions of the Association for Computational Linguistics, 8, pp. 726-742.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In Proceedings
of the 7th International Conference on Learning Representations.

Nakamachi, A., Shimanaka, H., Kajiwara, T., and Komachi, M. (2020). "TMUOU Submission for WMT20 Quality Estimation Shared Task." In Proceedings of the 5th Conference on Machine Translation, pp. 1037-1041.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Ranasinghe, T., Orasan, C., and Mitkov, R. (2020). "TransQuest: Translation Quality Estimation with Cross-lingual Transformers." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5070-5081.

Reimers, N. and Gurevych, I. (2020). "Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 4512-4525.

Sanh, V., Debut, L., Chaumond, J., and Wolf, T. (2019). "Distilbert, a Distilled Version of Bert: Smaller, Faster, Cheaper and Lighter." In Proceedings of the 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing.

Specia, L., Blain, F., Fomicheva, M., Fonseca, E., Chaudhary, V., Guzmán, F., and Martins, A. F. T. (2020). "Findings of the WMT 2020 Shared Task on Quality Estimation." In Proceedings of the 5th Conference on Machine Translation, pp. 743-764.

Specia, L., Scarton, C., and Paetzold, G. H. (2018). "Quality Estimation for Machine Translation." Synthesis Lectures on Human Language Technologies, 11 (1), pp. 1-162.

Specia, L., Shah, K., de Souza, J. G., and Cohn, T. (2013). "QuEst-A Translation Quality Estimation Framework." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 79-84.

Tang, Y., Tran, C., Li, X., Chen, P.-J., Goyal, N., Chaudhary, V., Gu, J., and Fan, A. (2020). "Multilingual Translation with Extensible Multilingual Pretraining and Finetuning." arXiv preprint arXiv:2008.00401.

Thompson, B. and Post, M. (2020). "Automatic Machine Translation Evaluation in Many Languages via Zero-Shot Paraphrasing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 90-121.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All You Need." In Proceedings of the 31st Conference on Neural Information Processing Systems, pp. 6000-6010.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45.

Yuan, W., Neubig, G., and Liu, P. (2021). "BARTScore: Evaluating Generated Text as Text Generation." In Proceedings of the 35th Conference on Neural Information Processing Systems, pp. 27263-27277.

## 略歴

西原哲郎：2020 年愛媛大学工学部情報工学科卒業. 2022 年同大学大学院理工学研究科電子情報工学専攻修了. 自然言語処理の研究に従事.

岩本裕司 : 2020 年愛媛大学工学部情報工学科卒業. 2022 年同大学大学院理工学研究科電子情報工学専攻修了. 自然言語処理の研究に従事.

吉仲真人：2020 年大阪大学工学部電子情報工学科卒業. 2022 年同大学大学院

情報科学研究科マルチメディア工学専攻修了. 自然言語処理の研究に従事.

梶原智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)，大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)，同年, 北京の Microsoft Research Asia に入社, 自然言語処理に関する研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現認識と生成, 機械翻訳技術, 対話システムに興味を持つ。

二宮崇：1996 年東京大学理学部情報科学科卒業. 1998 年同大学大学院理学系研究科修士課程修了. 2001 年同大学大学院理学系研究科博士課程修了. 同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 博士

(理学). 言語処理学会, アジア太平洋機械翻訳協会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

(2021 年 12 月 1 日受付)

(2022 年 3 月 1 日再受付)

(2022 年 3 月 30 日採録)