# 単語単位で評価が可能な機械翻訳向け自動評価

高橋洸丞 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{takahashi.kosuke.th0, sudoh, s-nakamura $\}$ is.naist.jp

## 概要

機械翻訳の自動評価として広く用いられている BLEU[1] や COMET[2] などは、文単位で評価スコア を算出するように設計されている。しかし、文単位 の評価は文内部の誤り箇所や誤り度合いを明示でき ないという欠点がある。そこで本研究では、文単位 よりも細かい、単語単位で誤り評価が行われた人手評価データを使用して、単語単位での評価を行い、 その評価結果を基に文単位での評価スコアを算出す る自動評価モデルを提案する。

2021 年の WMT metrics タスクによる実験におい て、提案手法は、従来の文単位でのみ評価を行うモ デルと同等もしくは言語対によっては上回る人手評価との相関が得られた。

## 1 はじめに

自動評価には、(a) 単語単位で誤り計算をした後 に文単位の評価値を算出するモデルや、(b) 人手評価を教師信号として文単位の評価値を直接学習す るモデルがある。前者のモデル (a) として広く使用 されている BLEU、BERTscore[3] は、単語の一致ま たは一致度合いをそれぞれの単語で計算した後に、一致数や一致度合いの合計を文単位の評価値とし ている。しかし、これらのモデルは本質的に文中に 含まれる単語数やトークン数、また機能語の数に よって評価結果が変動してしまう問題がある。さら に、評価素性が字面の一致のみであることもあり、 WMT の metrics タスクにおいて (a) のようなモデル は (b) の自動評価モデルに比べて人手評価との相関 が低い。後者のモデル (b) の BLEURT[4], COMET な どは、XLM (Crosslingual Language Model) [5][6] とい う大規模な事前学習済の transformer[7] エンコーダ を使用したモデルで、評価対象のシステム訳文・参照訳文・原言語文の三つを入力として、エンコーダ を通して得た文べクトルから文単位の人手評価と 同じ評価値を予測するように学習をしている。そし
て、これらのモデルは WMT metrics タスクの 20-22 年度で人手評価との高い相関を記録している。

自動評価システムが文単位の評価性能を向上させ ていく一方で、人手評価は文単位から単語単位へと 変容している。年々と機械翻訳システムの翻訳性能 が向上している為、曖昧な文単位の評価から、より 細かい評価が可能な単語単位の評価へと、WMT の 人手評価が変更された。19 年度まで文単位で人手評価を行う DA (Direct Assessment) [8] を採用してい たが、20 年度からは MQM (Multidimentional Quality Metrics) [9] という単語単位で誤り度合いや誤りの種類を記述する評価手法となり、人手評価の信頼性が 向上した。

本研究は、こうした人手評価の変化を受けて、自動評価でもより細やかな評価を行えるように、単語単位でのエラーの有無、エラースコアを計算する。 また同時に、文スコアに与える各単語の重要度を計算し、それらを基に文単位での評価値も算出するモ デルを提案する。提案手法は単語単位での評価が 可能な上に、実験の結果、文単位のみの評価手法 (ベースライン)と、同程度の人手評価との相関、あ るいは言語対によってはより高い相関値を得ること ができた。

## 2 関連研究

WMT の metrics タスクでは、DA と MQM の二種類の人手評価手法が取り入れられており、DAが WMT15-21 の翻訳結果に、MQM が WMT20-22 の翻訳結果にアノテーションされている。DA は 0-100 の整数値で参照訳文に対して翻訳文の出来を評価す る手法で、高性能な翻訳システムの評価には信頼性 が欠けるとされている [10]。一方で、MQM は翻訳誤りの種類や程度を誤翻訳されている箇所にアノ テーションし、その誤りの種類や程度によって各翻訳文の評価スコアを決定する。

翻訳文の自動評価というタスクでは、MQM の採用によって 21 年度より単語単位の評価が重要視さ

れ始めたが、品質推定のタスクではそれ以前より単語単位での評価が行われてきた。これらの二つのタ スクの違いは、参照訳文の有無であり、本研究は参照訳文付きの翻訳文評価タスクでの使用を想定して いる。

MQM を使用した評価モデルには WMT22 で発表された、COMET22 $\tilde{y}_{\text {tag }}$ [11] や MaTESe[12] がある。 COMET22 $\tilde{y}_{\text {tag }}$ は、これまでの COMET と同様の文単位で評価値を出力する線形層に加えて、単語単位で OK/BAD という誤りの有無を出力する線形層を持ち マルチタスク学習をしている。そして、MaTESe は 単語単位で誤りの有無や、誤り度合いが Major なの か Minor なのかを、BIO ラベルで系列ラベリング問題を解く形で予測するモデルであり、COMET から 文単位のスコア予測の線形層が取り除かれた構造を している。

本研究の提案手法は、これらのモデルと比較する と、以下の点で異なる。

1. 単語単位で誤りの有無と誤りのスコアを共に出力する点

2. 単語単位の誤り予測結果を基に文単位のスコア を計算する点

## 3 提案手法

従来の評価モデルは、文単位の評価しか行えない ので、文中のどこがどの程度誤っているのかを提示 できない。また、COMET22 $\tilde{y}_{\text {tag }}$ などの単語単位評価モデルは、文単位スコアが単語単位スコアに依ら ずに決定されるため、文単位と単語単位で一貫性の ない設計となっている。そこで本研究では、システ ム訳文の単語単位のエラーの有無、エラースコア、 そして文単位のエラースコアをそれぞれ出力する ことができる手法を提案する。提案手法の評価モデ ルは、図 1 のように、システム訳文・原言語文・参照訳文の三つの入力文から、XLMを通したトーク ンごとの embedding を用いて評価を行う。また図 1 内の Transformer に対して、XLM のそれぞれの出力 に、positional embedding と入力の種類によって異な る token type embedding をそれぞれ足し合わせたも のを、[システム訳文, 原言語文, 参照訳文] の順に結合したものを入力する。(図 2)

単語単位のエラーの有無はIO ラベルによって予測され、cross-entropy ロスを用いた学習をする。ま た単語単位のエラースコアは回帰問題として予測さ れ、MSEロスを用いて学習する。そして文単位のエ

図 1 提案手法の全体構造

図 2 提案モデルの transformerへの入力。XLM から出力された分散表現に PE(Positional Embedding) と TE(Token Type Embedding) を足し合わせて、システム訳文・原言語文・参照訳文の順に結合したものを入力する。

ラースコアは、エラーの有無を表現するエラーラベ ルとエラースコア、そしてスコア重みの三つの掛け 合わせによって決定され、MSEロスを用いて学習も 行う。

MQM データの前処理MQM のデータは評価者 によって誤りの位置や誤り度合い・誤りカテゴリも 異なるので、評価者が誤りだと表記した単語ごとに google の MQM の重みスコア (表 1) に従ったスコア を割り振り、同一システム訳文の全評価者分で単語 ごとのスコア平均を取る。このスコア平均を単語単位エラースコアの正解データとして扱い、その中で もスコアが 0 以上の単語についてはエラー有りラべ ルを、スコアが 0 の単語はエラー無しのラベルを付
与し、これを単語単位のエラー識別の正解データと する。また、単語単位ではなく文単位でスコア平均 を取ったものを文単位のエラースコアの正解データ として扱う。

表 $1 \mathrm{MQM}$ の誤り度合いとカテゴリによる重みスコア

## 4 実験

実験は WMT metrics shared taskの 21 年度のデータ を用いて行なった。

## 4.1 実験設定

newstest20 と TED 共に en-de (英-独) と zh-en (中英) の言語対から 9:1 の割合で訓練データと開発 データに分けて使用し、newstest21 の en-de、zh-en の言語対において自動評価の性能評価を行なっ た。性能評価は、ピアソンの相関係数、ケンドー ルの相関係数を用いて文単位の人手評価との相関 を計測し、単語単位での性能評価は予測エラーラ ベルの適合率、再現率、F1, エラースパンの適合率 (HSH) ・再現率 (TSH)[12]を用いて行なった。ま た、モデルの性能比較のために、単語単位のエラー 有無・エラースコアを一切予測せず、直接文スコ アを予測するモデル (ベースライン) も用意した。 さらに、提案手法と同様に単語単位の評価が行え る COMET22 の公開されているモデル1) から, $\tilde{y}_{\text {tag }}$ モデル (COMET22 tagging) と文単位の出力を行う COMET22 のモデル (COMET22 segment) で評価実験 を行なった。COMET22 の両方のモデルは、提案モ デルよりも DA15-20 のコーパスと MQM20 en-ru 言語対のコーパス分、訓練データが多いため、比較対象ではなく、よりよい条件で訓練されたモデルの 参考として用意した。そして COMET22 tagging は、 OK/BAD の予想確率が各単語の出力となっていたの で、その値が 0.5 以上ならエラー有り、未満ならエ ラー無しとして評価した。


## 4.2 実験結果

評価モデルごとの文単位、単語単位のメ夕評価結果をそれぞれ表 2 と表 3 に示す。実験の結果、各言語対において、文スコアのみを直接予測するモデ ルよりも、提案モデルの方がピアソンの相関係数 とケンドールの相関係数が高かった。また en-de、 zh-en の個々の言語対では参考モデルの COMET22 segmentに及ばないものの、2つの言語対をまとめた 状態でのメタ評価は COMET22 segmentを上回った。 そして単語単位のメタ評価では、提案モデルは適合率よりも再現率が高くなっており、それに伴ってエ ラースパンの適合率よりも再現率の方が高くなって いた。さらに、中国語を含んだコーパスにおいて提案モデルは COMET22 tagging よりもエラースパンの 数値がよかった。

## 4.3 誤り度合いによる評価結果の違い

表 1 より、MQM の誤り度合い Major と Minor の 境目は 5.0 と 1.0 である。本節ではより誤り度合い の大きい文スコア 5.0 に着目し、文単位スコア 5.0 以下と 5.0 超えにテストデータを分けたメタ評価を 行なった (表 4, 5, 6, 7)。その結果、提案モデルは、文スコア 5.0 越えの zh-en 言語対を除いて、文スコ アのみを直接予測するベースラインモデルを上回る 相関係数値を示した。そして表 4 と 5 の相関係数の 変化から、COMET22よりも提案モデルは、より誤 り度合いの高い文に対して相関係数が高くなる傾向 があった。

また、単語単位のメタ評価やエラースパンについ ても、エラースコアが高い文に対してエラー予測の 適合率や再現率が高くなった。

## 5 おわりに

本研究では、単語単位でエラーの有無・エラーの 度合いを予測し、それらの予測結果から文単位のス コアを計算する機械翻訳向けの自動評価を提案し た。WMT21 の評価タスク実験の結果、提案手法は ベースラインと比較してピアソンやケンドールの相関係数値を高く維持したまま、単語単位での評価が 行えていることがわかった。また、適合率・再現率 や事例分析の結果、単語単位のエラー予測について は実用段階には少し早いかもしれないが、エラース パンの予測という観点で見ると、半分程度のスパン 予測の適合・再現が可能であることがわかった。
表 2 WMT21 MQM コーパスでのメタ評価。各言語対のピアソン $(\rho)$ 、ケンドール $(\tau)$ の相関係数値を計測した結果

表 3 WMT21 MQMコーパスでの単語エラー予測を適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 $(\mathrm{HSH})$ 、再現率 (TSH) で計測した結果

表 4 文スコアが 5.0 以下、 0.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 5 文スコアが 5.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 6 文スコアが 5.0 以下、 0.0 越えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 (HSH)、再現率 (TSH) で計測した結果

表 7 文スコアが 5.0 超えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 $(\mathrm{HSH})$ 、再現率 (TSH) で計測した結果

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 03651$ の支援を受けたも のである。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[3] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[4] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[5] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[8] Yvette Graham, Timothy Baldwin, and Nitika Mathur. Accurate Evaluation of Segment-level Machine Translation Metrics. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[9] Arle Lommel, Hans. Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics (MQM) : A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica, No. 12, pp. 455-463, 2014.

[10] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation, 2021.

[11] Ricardo Rei, José Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Craig Stewart, Luisa Coheur, and André Martins. COMET22:unbabel-ist 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation. Association for Computational Linguistics, 2022.

[12] Stefano Perrella, Lorenzo Proietti, Alessandro Scirè, Niccolò Campolungo, and Roberto Navigli. MATESE: Machine translation evaluation as a sequence tagging problem. In Proceedings of the Seventh Conference on Machine Translation. Association for Computational Linguistics, 2022

## A 付録

## A. 1 文スコア 1.0 の上下での評価結果の違い

4.3 節では文スコア 5.0 の上下で評価結果の違いを分析したが、本節では文スコア 1.0 の場合の結果を示す (表 8、9、10、7)。文スコア 5.0 の時と同様に、提案モデルはより誤り度合いの高い文に対してメタスコアが よくなっている。

表 8 文スコアが 1.0 以下、 0.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 9 文スコアが 1.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 10 文スコアが 1.0 以下、 0.0 越えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 (HSH)、再現率 $(T S H)$ で計測した結果

表 11 文スコアが 1.0 超えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 $(\mathrm{HSH})$ 、再現率 (TSH) で計測した結果


 高橋洸丞 須藤克仁 中村哲 奈良先端科学技術大学院大学 \{takahashi.kosuke.th0, sudoh, s-nakamura $\}$ is.naist.jp  