# システム訳文のみを用いた自動評価との比較による 機械翻訳自動評価の分析

高橋 洸丞 ${ }^{1}$ 須藤 克仁 ${ }^{1,2}$ 中村哲 1
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{takahashi.kosuke.th0, sudoh, s-nakamura $\}$ is.naist.jp

## 1 はじめに

機械翻訳システムの翻訳能力は年々向上してお り,それに伴い自動評価への需要も高まっている. そ して，近年の自動評価の研究も単語やサブワードの 意味の近さを評価基準とすることで, WMT metrics task $[1,2,3]$ にて評価性能の向上が報告されている.現在主流となっているのは大規模な事前学習モデル である BERT [4] により参照訳文とシステム訳文を 符号化したべクトルを用いて評価値を算出するもの である [5,6]. また我々は入力文を追加で利用し人手評価との相関をさらに改善できることを示した [7].

我々の研究 [7] を通じて,これらの手法は品質の低 いシステム訳文では品質の高いものよりも人手評価 との相関が低くなることが明らかになっている.こ こで主に用いられる自動評価実験用のコーパスに着目してみると, WMT metrics task $[1,2,3]$ で提供され る人手評価は, DA (Direct Assessment) [8] と呼ばれる 0～100 の評価値を標準化した実数値を取る. DA ス コアは対応する参照訳文に対してシステム訳文の意味的な正確性, また流暢性を共に考慮して一文ずつ スコアが与えられている。ここで翻訳誤りには否定関係が逆になっていたり, 副詞や形容詞の係り受け による意味の違いなど多種の誤りがあり, 実用的な 運用の際には重大な誤解を生むリスクのある誤訳に 低い評価值を付けるべきである.しかしながら，DA スコアは 1 次元の実数値のみでスコアリングされて いるため, 文中にどのような翻訳誤りが含まれるの かを直接判別することはできない.

このような背景を踏まえて, 須藤 [9] は, システム 訳文の解釈性と正確性をそれぞれレベル分けする ように人手評価データを新たに構築した.しかし， BERT regressor [5] のモデルを利用した分類評価実験 では, 実務翻訳の立場上許されてはいけないクラス とその他のクラスでの誤分類が見られ, 依然として低品質なシステム訳文の評価が難しいことが示唆さ れる。

須藤 [9] はコーパス面から, 意味の違いに敏感な評価手法へのアプローチをしたが，そもそも現在主流 の評価モデルはどれほど参照訳文とシステム訳文の 意味の違いを識別できるのだろうか. 翻訳の評価は 大きく分けると, 意味の正確性と流暢性という二つ の基準で行われるはずである. 自動評価ではシステ ム訳文と参照訳文を利用して両者を評価している.本研究では, 参照訳文を用いずシステム訳文のみを 入力とする自動評価，すなわち流暢性は評価できて も意味の正確性は評価し得ない方法との比較を通じ て，どれだけ意味の正確性を評価できているのかを 検証する。

## 2 評価モデル

評価モデルは, 全て事前学習済みの大規模言語 モデルと一層の全結合層から構成される (図 1). シ ステム訳文のみを入力とするモデルは図 1(a) に示 す通りで, システム訳文 (翻訳文:hyp)を “[CLS] hyp [SEP]”という形式で入力し, 最終層の [CLS]トーク ンに相当するベクトルを文ベクトルとみなして, 最終的に全結合層で回帰問題として評価值を計算す る. BERT regressor や BLEURT は, 図 1(b) の構造を 取り, 翻訳文と参照訳文を [SEP] トークンで区切り， “[CLS] hyp [SEP] ref [SEP]”という形で二文をま とめて入力する。

また我々が提案したモデル [7] は図 1(c)のよう に, 翻訳文と参照訳文の入力だけでなく, 翻訳文と 原言語文をまとめた入力を追加している。これら 三つのモデルを以降それぞれ "hyp only", "hyp+ref", “hyp+src/hyp+ref" と記述する。

どのモデルも平均二乗誤差 (Mean Squared Error: MSE) を損失関数とし, 誤差逆伝播法により最後の全結合層と符号器の両方のパラメータを更新する.

(a) システム訳文の み (hyp only)

(b) システム訳文+参照訳文 (hyp+ref)

(c) システム訳文+原言語文はステ ム訳文+参照訳文 (hyp+src/hyp+ref)

図 1 入力別のモデル図

## 3 実験

本研究では, システム訳文のみを入力とした意味的な正しさを考慮しない評価モデルにより,どの程度 DA スコアを予測し, 人手評価との相関が得られ るのかを，参照訳文や原言語文を用いた評価手法と 比較して検証した。

## 3.1 実験設定

評価実験は WMT17 metrics taskコーパスの all-en で行った. 含まれる言語対は, チェコ語 (cs)-英語 (en), ドイツ語 (de)-英語 (en), フィンランド語 (fi)-英語 (en), ラトビア語 (lv)-英語 (en), ルーマニア語 (ro)英語 (en), ロシア語 (ru)-英語 (En), トルコ語 (tr)-英語 (en), 中国語 (zh)-英語 (en) の 8 言語対である. その 中でもWMT15, 16 に相当し重複を除いた 5344 文の 内, 534 文を開発用, 残りの 4810 文を訓練用とした.評価テストは WMT17 に相当する 3920 文に対して 行った.

使用した事前学習済み符号化モデルは RoBERTa [10], 合成データで事前学習した BLEURT [6], XLM-RoBERTa [11] である. 実装は全て HuggingFace Transformers ${ }^{1)}$ で行い, RoBERTa は roberta-large, XLMRoBERTa は xlm-roberta-large を使用した. BLEURT のモデルは BLEURT-large-warmedup を pytorch 用に 変換した後に HuggingFace Transformers 9 BERT 用 のクラスで読み込み使用した. RoBERTa と BLEURT モデルは英語のコーパスのみで事前学習されたモ ノリンガルモデルなので, hyp+src/hyp+ref にはマル チリンガルモデルである XLM-RoBERTa で実験を 行った. また参考実験として, システム訳文と原言


語文 (hyp+src)を入力としたモデルでの評価実験も XLM-RoBERTa で行った. そして評価性能の比較対象として, 文レベルでスコアを計算した BLEU (sacre BLEU [12]) と BERTscore [13] でも評価実験を行った.学習時の最適化は Adam [14] で, ミニバッチ学習 を最大 10 エポック行った. 各エポック毎に訓練デー タと開発データはシャッフルし, 開発データのロス 値が下がらない場合に学習率を $\frac{1}{\sqrt{2}}$ 倍した. その他の ハイパーパラメータは以下の組み合わせの中で, 開発データにおいて人手評価とのピアソンの相関係数值が最も高くなるモデルを評価テストに使用した. またそれぞれの試行毎の初期化によって結果が変動 するので, 試行回数もハイパーパラメータとみなし ている.

・初期学習率 : $\{9 \mathrm{e}-6,6 \mathrm{e}-6,3 \mathrm{e}-6\}$

・ミニバッチサイズ : $\{4,8\}$
- 学習エポック数 : $\{1, \ldots, 10\}$
- 最終結合層のドロップアウト率: $\{0.1,0.2,0.3\}$
- 試行回数 : $\{1, \ldots, 10\}$

本研究の評価実験では, モデルの評価値と人手評価とのピアソンの積率相関係数とケンドールの順位相関係数で評価性能を測る. どちらの相関係数値も $-1.0 \sim 1.0$ の值を取り, 1.0 に近い程モデルの評価性能が高いことを示す.

## 3.2 実験結果

表 1,2 に各モデルの評価値と人手評価とのピア ソンの相関係数,ケンドールの相関係数を示す. ど の hyp only のモデルも hyp+ref には及ばないが, ピ アソンの相関係数が 0.6 を上回り,ケンドールの相関係数が 0.45 前後であった. また全ての hyp only が

図 2 DA スコアの区間ごとのピアソンの相関係数の関係 (各区間表記の下の数値は区間内のサンプル数を示す)

図 3 RoBERTa hyp only による評価予測值と DA スコアの散布図
BLEU を超えておりこのコーパスにおいては BLEU などの字句ベースの評価指標より,システム訳文の 流暢性にのみ焦点を当てた評価の方が高い相関を示 した.

また, 表 3 に hyp+ref の hyp only と比較した際の相関係数の上昇率を示す. hyp+ref は hyp only と比較す ると,どの事前学習モデルにおいても, ピアソンの相関係数で約 1.25 倍, ケンドールの相関係数が約 1.3 倍となり, 現在主流な評価モデルは流暢性だけでな く意味の評価がある程度可能だとわかる。

## 3.3 分析および考察

我々の先行研究 [7] で, hyp+ref の評価モデルは品質の低い翻訳文に対して評価性能が下がることが わかっているが, hyp only ではどうなるのだろうか. DA スコアを 0.5 ずつの一定区間に分けてピアソン の相関係数値を見ることで分析を行った (図 2). そ の結果, hyp only は $[-2.0,-1.5),[1.0,1.5)$ の二区間で hyp+ref より評価性能が下がっていることが分かる. それぞれの区域での RoBERTa hyp only の評価予測値 とDA スコアの関係を散布図として, 図 3 に示す.こ の図から, hyp only では低品質な翻訳文で評価値を DA スコアよりも高く予測しているものが多く見受 けられ, 高品質なものでは評価予測値が低く出てし まっていることがわかる. 流暢性のみに着目すると,流暢だが意味的な誤りを含む文や, 流暢かつ意味も 正しい文を上手く評価できないことが示唆される. したがって,システム訳文が参照訳文にほぼ等しい 時や重大な誤訳を含むとき, 流暢性ではなく意味の 正確性を考慮した評価が必要であると考えられる。

現状の hyp+ref 評価モデルでは, 高品質なシステム 訳に対して意味の等価性を識別できているが, 中品質, とりわけ低品質な翻訳文において参照訳文との 意味の違いを正しく識別できていないと考察でき る. 一方で hyp+src/hyp+ref 評価モデルは, 低品質なシ ステム訳文に対して hyp+ref や hyp only より良い評価性能を記録した。

ケンドールの相関係数値についても同様の結果で あったため付録への記載に留める (図 4).

## 4 おわりに

本研究では, システム訳文のみを入力とした流暢性だけを評価するモデルと, 現在主流の正解文を用 いる評価モデルを比較することで, 現在主流のモデ ルの評価能力を分析した. 分析結果から, 現在主流 の hyp+ref モデルは意味の評価がある程度可能では あるが, 低品質な翻訳文の評価に適さないことがわ かった. hyp+src/hyp+ref についても, hyp+ref よりは 低品質な翻訳文に対しても評価性能が高いが, 決し て十分な評価能力ではないため, より意味の違いに 敏感な手法が求められる. また, BLEUを自動評価指標として使用するよりも, システム訳文のみを利用 した手法が人手評価と高い相関を示したことから，特定のデータセットにおける人手評価との相関の高 さが意味の正しさの評価における優位性を必ずしも 示さないことが明らかになった.

## 5 謝辞

本研究は JST さきがけ (JPMJPR1856) の支援を受 けたものである.
表 1 各モデルの WMT17 metrics taskコーパス (all-en)におけるピアソンの相関係数値

表 2 各モデルの WMT17 metrics taskコーパス (all-en)におけるケンドールの相関係数値

表 3 hyp only と比較したときの hyp+ref の相関係数值の上昇率 (\%)

## 参考文献

[1]Ondřej Bojar, Yvette Graham, and Amir Kamran. Results of the WMT17 metrics shared task. In Proceedings of the Second Conference on Machine Translation, pp. 489-513, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[2]Qingsong Ma, Ondřej Bojar, and Yvette Graham. Results of the WMT18 Metrics Shared Task: Both characters and embeddings achieve good performance. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 671-688, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[3]Qingsong Ma, Johnny Wei, Ondřej Bojar, and Yvette Graham. Results of the WMT19 metrics shared task: Segmentlevel and strong MT systems pose big challenges. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 62-90, Florence, Italy, August 2019. Association for Computational Linguistics.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 第 26 巻, pp. 613-634, 92019.

[6]Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[7]Kosuke Takahashi, Katsuhito Sudoh, and Satoshi Nakamura. Automatic machine translation evaluation using source language inputs and cross-lingual language model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3553-3558, Online, July 2020. Association for Computational Linguistics.

[8]Yvette Graham, Timothy Baldwin, and Nitika Mathur. Accurate Evaluation of Segment-level Machine Translation Metrics. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[9]須藤克仁, 高橋洸丞, 中村哲. 深刻な誤訳の識別に向け た分類型翻訳評価データセットの構築. 言語処理学会第 27 回年次大会, 2021.

[10]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[11]Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán,
Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[13]Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[14]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In the Third International Conference on Learning Representations, 2015.

図 4 DAスコアの区間ごとのケンドールの相関係数の関係（各区間表記の下の数値は区間内のサンプル数を示す）
 高橋 洸丞 ${ }^{1}$ 須藤 克仁 ${ }^{1,2}$ 中村哲 1 1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ \{takahashi.kosuke.th0, sudoh, s-nakamura $\}$ is.naist.jp  