# 自然言語生成タスクの自動評価指標のためのドメイン外検出

伊藤拓海 $^{1}$ 森下睦 ${ }^{2}$ 鈴木潤 1
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
t-ito@tohoku.ac.jp makoto.morishita.gr@hco.ntt.co.jp jun.suzuki@tohoku.ac.jp

## 概要

自然言語生成タスクの評価指標として，ニューラ ルベースの評価指標が急速に発展している. しか し，これらの評価指標は，学習を伴う指標であり，評価するデータが評価指標の学習データのドメイン 外の場合，誤ったスコアを付与する可能性がある.本稿では，機械翻訳のための参照なし評価指標であ る COMET-QE に対して，1クラス分類器を評価指標 に適用することで，ドメイン外検出をする方法を提案する. さらに，1 クラス分類器の分類精度向上を 目指し, 特徴量空間においてドメイン内とドメイン 外のデータ点を分離できるように, 評価指標の学習時に距離学習を適用した. 実験の結果，既存手法で あるモンテカルロドロップアウトを用いた手法を上回るドメイン外検出能力を達成した.

## 1 はじめに

機械翻訳や要約生成などの自然言語生成 (NLG) タスクにおいて, NLG モデルの評価方法の研究が 注目されている。その評価方法は，人手評価と自動評価に大きく分類される. 人手評価は，人がモデル の性能を評価する方法であり，多くのタスクにおい てゴールドスタンダードとされている. しかしなが ら，人手評価は一般に時間的・金銭的なコストが高 く, 再現性の観点でも課題がある. そのため, 代替手法として時間的・金銭的なコストが低く再現性も 高い自動評価指標が用いられる。さらに，自動評価指標は参照あり評価指標と参照なし評価指標に大き く分類することができる。「参照」とは，各 NLG タ スクの評価事例に対して人が作成した解答例とな るテキストである．参照あり手法とは，参照テキス トとシステムが生成したテキストを比べることで 評価をする手法である。一方，参照なし評価指標と は参照テキストを使用しない評価方法である. つま り，参照なし評価指標は，評価事例として NLG モ デルへの入力データとモデルの出力があれば適用可能である．新たなドメインの評価事例などに対し て，より低コストでNLG モデルを評価できる可能性を秘めており，評価のスケールアップが期待され ている. 以前は，参照あり手法に比べて，評価性能 が劣っているとされていたが，近年参照あり手法と 競争的な評価性能を達成する手法がいくつか提案さ れてきている [1]. ${ }^{1)}$ また，参照なし評価指標は NLG モデルの評価だけでなく，NLG モデルの推論時のリ ランキングなどにも使用されるなど，その応用範囲 も広い [2].

こうした参照なし評価指標の発展の背景には, ニューラルベースの教師あり評価指標の発展があ る.2)特に，人が付与した品質評価スコアを教師に， BERT などの言語モデルをべースとした回帰モデル を学習する手法がよく提案されている [3]. しかし， こうした学習が伴う手法では, 機械学習一般の課題 であるが，学習データ中に評価事例の類似事例がな い場合に，その評価事例の評価性能（或いは評価の 信頼性）が低くなるという課題がある。実際，機械翻訳の多くの評価指標が，ドメインに対して頑健で ないことが報告されている [4]. さらに，学習済み のモデルだけが配布されることが多々あり，モデル の学習に使用したデータの詳細が評価指標の利用者 からは特定できない場合も少なくない. 評価指標の 使用方法を誤ったり，本来使用すべきではないデー タに対して使用すると，NLG モデルの開発の失敗 に繋がることや，誤った研究の結論を導く可能性が ある.

本稿では，評価指標に対して評価するデータが学習データに含まれるドメインかどうかを検出する （ドメイン外検出と呼ぶ）機能を組み込むことを目指す。参照なし評価指標は学習データ外のドメイン のデータに対して適用するされる可能性が高いた め, 本稿では参照なし評価指標に焦点を当てる. 評

1）NLG の評価指標は一般に，人手評価と相関（人手相関）が 高いものほど高性能な指標とされている.

2）ニューラルベースの NLG 評価指標は参照あり評価指標に おいても主流となっている.
価指標としての性能を維持したままドメイン外検出 を実現することができれば，より公平で正確な NLG モデルの評価につながる. さらに，ドメイン外検出 は評価指標の解釈性 [5] の向上にも貢献しうる.

## 2 関連研究

COMET [3] とは，機械翻訳タスクのための評価指標のフレームワークであり ${ }^{3}$ ，参照ありと参照 なしの両方のバージョンを提供している（参照な しを COMET-QE [1] と呼ぶ).ここでは, COMET$\mathrm{QE}[1]$ について説明する. 参照なし手法は, 原文 $s$ と, NLG システムの出力文 $h$ を COMET-QE の 入力とする. COMET-QE のモデル構造は，まず， XLM-RoBERTa [6] などの多言語マスク言語モデルに よって原文と NLG システムの出力文から特徴量べ クトル $\boldsymbol{x}$ を得て，それをフィードフォワード層 $f(\cdot)$ に入力し, 評価スコアを出力する. 特徴量べクトル $x$ は以下のように計算される.

$
\begin{aligned}
\mathbf{s} & =\operatorname{XLM}-\operatorname{RoBERTa}(s) \\
\mathbf{h} & =\operatorname{XLM}-\operatorname{RoBERTa}(h) \\
\mathbf{x} & =[\mathbf{h} ; \mathbf{s} ; \mathbf{h} \odot \mathbf{s} ; \mathbf{h}-\mathbf{s}]
\end{aligned}
$

人が付与するスコアを $q$ ，バッチサイズを $n$ とする と，損失関数 $L$ は以下のように計算される。

$
L=\frac{1}{n} \sum_{i=1}^{n}\left(f\left(\mathbf{x}_{i}\right)-q_{i}\right)^{2}
$

本研究と類似し, NLG 評価指標に対して, 信頼性スコアを出力する取り組みが既になされてい る $[7,8]$. ドメイン以外にも, 学習データや参照テキ ストのノイズなども不確定性の要因となり得る. 例 えば, Glushkova ら [7] は, モンテカルロドロップア ウト (MCD) とディープアンサンブルの 2 つの不確実性推定手法を, COMET に適用している. MCD と は，推論時にもドロップアウトを適用し，複数回推論を行い，スコア集合 $Q=\left.\{q_{1}, q_{2}, \ldots, q_{i}\right.\}$ を求める. ガウス分布を仮定し, スコア集合 $Q$ から, 平均と標準偏差を推定する.この平均を新たなスコアとし，標準偏差を信頼性スコアとする. ディープアンサン ブルは，複数のモデルを用意し，スコア集合を得る 方法である. MCD やディープアンサンブルでは，推論に時間を要するという課題がある. Zerva ら [8] は，平均と標準偏差を直接出力するように COMET を学習する手法を提案している。なお, これらの論文は，主に参照ありの設定で実験を行なっている。

3) https://github.com/Unbabel/COMET

## 3 提案手法: 学習ドメイン外検出

本研究の目標は, 評価指標としての性能を維持し たまま，ドメイン外検出を行うことである。本研究 では, 評価指標の学習データを正クラス, 学習デー タ以外のドメインのデータを負クラスと呼ぶ.

## 3.1 1 クラス分類

ドメイン外検出のため 1 クラス分類器を適用す る. 1 クラス分類タスクとは正クラスかどうかを分類するタスクであるが，多クラス分類タスクとは異 なり, 学習時には正クラスのみのデータを使用し,推論時に正クラスか負クラスかを分類する. 本実験 では, 正クラスのインスタンスの COMET-QE の特徴量ベクトルを1クラス分類タスクの学習データとす る.つまり, COMET-QE の学習データを $D_{\text {in-domain }}$ とすると, 1 クラス分類器の学習データ $D_{\text {OneClass }}$ は $D_{\text {OneClass }}=\left.\{\mathbf{x}_{i} \mid\left(s_{i}, h_{i}\right) \in D_{\text {in-domain }}\right.\}$ となる. ま た, この手法は評価指標の学習後に, 1クラス分類器 の学習が可能であり, ドメイン外検出器を搭載する ことは, 評価指標の性能には影響を与えない。なお，本稿では, 1 クラス分類のアルゴリズムとして, 高次元に対応した Empirical-Cumulative-distribution-based Outlier Detection (ECOD) [9] を使用する。

## 3.2 Triplet Margin Loss

本実験では，既存研究 [10]を参考に，1クラス分類の精度向上を目指し, COMET-QE の学習時に距離学習を組み込み，特徴量埋め込みの空間において 正クラスのデータ点を近づけ，正クラスと負クラ スの距離を大きくする. 本研究では, Triplet Margin Loss を使用する。なお，今回は負クラスのデータ点同士が近付くようには学習する必要がないため, ア ンカーには正クラスのサンプルだけを使用する。ま た，ミニバッチ内で作成できる全ての組み合わせを 考慮する。つまり，アンカーを $a$ ，正クラスのイン スタンスを $p$ ，負クラスのインスタンスを $n$ ，ミニ バッチ内での組み合わせの数を $c$ とすると, Triplet Margin Loss は以下のように計算される.

$
L_{\text {triplet }}=\frac{1}{c} \sum_{i}^{c} \max \left.\{d\left(a_{i}, p_{i}\right)-d\left(a_{i}, n_{i}\right)+\text { margin, } 0\right.\}
$

なお， $d$ はインスタンスの特徴量ベクトルの間の L2 距離である.

## 4 実験

第 3 節の手法の有効性を検証する．評価指標とし ての性能を落とすことなく, ドメイン外検出するこ とを目指す。

## 4.1 モデル設定

本実験では，以下の４つの設定を比較する.
- MCD: COMET-QE に対して, MCD を適用 [7].
- OneClass: COMET-QE を学習し，その後 1 ク ラス分類器を学習. 人手相関の観点では, COMET-QE に一致する.
- Margin(.05): COMET-QE の学習時に Triplet Margin Loss を margin 0.05 で学習し，その後 1 クラ ス分類器を学習.
- Margin(.1): COMET-QE の学習時に Triplet Margin Loss を margin 0.1 で学習し, その後 1 クラス分類器を学習.

本研究では, $\mathrm{MCD}$ の推論回数は 100 回に設定し, ドロップアウト率は 0.1 とした。また，本実験では，式 2 と Triplet Margin Loss を重み付けることなく線形に組み合わせた. ハイパーパラメータ等の詳細 な設定は付録 A に示す. なお，第 2 節で紹介した， ディープアンサンブルや Zerva ら [8] の手法も比較可能な手法であるが，今後の課題とする。

## 4.2 学習/評価データセットと評価方法

学習データ. WMT 2022 Metrics Shared Task (WMT22)の学習データとして配布されている newstest2020と newstest2021の MQM データを使用 する. ${ }^{4}$ この $\mathrm{MQM}$ データには，英語-ドイツ語，中国語-英語，英語-ロシア語の 3 つの言語対が含まれ ている。なお，言語対によってスコアを付与した組織が異なり，スコアのレンジが異なる.5)本実験で は，前処理として MQM スコアを正規化してから学習に使用した。また，Triplet Margin Loss で使用する 負クラスのデータは ParaCrawl [11] から，言語対ご とに正クラスと負クラスのサンプルサイズが同数に なるようにサンプリングした．MQM データの 1 割

4) WMT22 では, Direct Assessments (DA) data という WMT の News translation task での人手評価のスコアも評価指標の学習 データとして配布されている. 先行研究 [1] などでは, DA data で事前学習したのち，MQM data で微調整をするという 戦略をとっているが，本実験では DA data は使用しない.

5）英語-ドイツ語と中国語-英語はスコアのレンジは $[-25,0]$ である。一方で，英語-ロシア語はスコアのレンジは $[-\inf (-400), 100]$ である.表 1 英語-ドイツ語の人手相関。值はセグメントレベル のケンドールの順位相関係数.

} \\

表 2 英語-ロシア語の人手相関。值はセグメントレベル のケンドールの順位相関係数.

} \\

表 3 中国語-英語の人手相関. 值はセグメントレベルの ケンドールの順位相関係数.

} \\

を開発データに使用し，残りの9 割を COMET-QE の学習に使用した。

評価データ． WMT21の TedTalks のデータセッ ト [4] と WMT22 の評価用データセット [12]を使用する. どちらのデータも MQM でアノテーショ ンされたデータであり，英語-ドイツ語，中国語-英語，英語-ロシア語の 3 つの言語対を含む. なお， WMT22には news, conversational, e-commerce, social の 4 つのドメインが含まれている. 本実験では, WMT22 の news を正クラスのドメイン, TedTalks と conversational, e-commerce, social の4つを負クラス のドメインとする.

評価方法. 評価指標の性能評価は，MQM スコ アとの相関を報告する. ${ }^{6)}$ ドメイン外検出の評価に は AUROC を使用する。

## 4.3 実験結果

表 $1,2,3$ に各データセットの人手相関（ケンドー ルの順位相関係数7)）の結果を示す. “mixed”とは，

6）相関の計算には https://github.com/google-research/ mt-metrics-eval を使用した。相関の計算時には人手翻訳は 含めていない。

7） ケンドールの順位相関係数は，セグメントレベルの MQM データセットの評価の際に使用される指標である。
表 4 AUROC. 正クラスのデータはwmt22-news.

wmt22 の 4つのドメインを全て混合させた設定であ る.なお，表の conv.と ecはそれぞれ， conversational と e-commerce の略記である。表 4 には AUROC の結果を示す. 付録 B にシステムレベルの評価結果と ケンドールの順位相関係数以外の相関の結果を示 す.なお, OneClassの人手相関は COMET-QE と一致する.

人手相関に関して, news と news 以外のドメイ ンを比較すると, news 以外のドメインでは相関 が弱くなっていることがわかる. 例えば，表 1 の 英語-ドイツ語では, COMET-QE（OneClass）は人手相関が wmt22-news では 0.330 であるのに対して， wmt22-conversation では，0.134である. 今回の実験結果からは, news 以外のドメインのテストデータが ドメイン以外の問題で難易度が高くなっている可能性も捨てきれない. しかし，少なくとも，ドメイン によっては相関が低い場合があることがわかる.

表 4 より，MCD ではほとんどの言語対・データ セットで AUROC が 0.5 前後であり，ドメイン外検出ができていないことがわかる. いくつかの設定で は， 0.5 を下回っている (表の赤字). 特に， $\mathrm{MCD}$ は 中国語-英語の wmt22-conversation, wmt22-social に対 し, AUROC が 0.233，0.193 と低い值になっている. つまり，これらのデータセットでは， MCD では正 のクラス wmt22-news の方が標準偏差の値が大きく なっていることを意味する.

一方, OneClass は一貫して，MCD を超えるドメ イン外検出性能を達成しており, COMET-QE の特徵量ベクトルにドメインの情報が含まれていることが 示唆される. 特に，どの言語対でも conversation の ドメインに対しては AUROC の値が 0.8 を超えてい る. conversation は特に人手相関が弱いドメインで あり，1クラス分類を適用することで，評価指標の 評価性能が悪いドメインを検出できていることが示唆される。

また，Triplet Margin Loss を適用すると，一貫し て AUROC の値が向上していることがわかる. しか し，ドメイン外検出の精度は向上したが，ほとんど
のデータセットで人手相関が弱くなっている. 特 に, OneClass と比較すると, Margin が 0.1 の時に大 きく相関が下がっている。また，正クラスである wmt22-news においても，一貫して相関が弱くなっ ている。距離学習を組み込むことで，特徴量空間に おいて正クラスと負クラスのデータ点を分けること はできたものの，評価指標の評価性能自体に悪影響 を与えてしまっていることが示唆される. 別の距離学習アルゴリズムを使用したり, 距離学習時に使用 する負クラスのサンプルの選択方法を工夫したり，学習戦略やハイパーパラメータの微調整したりする ことによって改善する可能性があると考えている. それらの検証は今後の課題である.

## 5 おわりに

本研究はドメイン外検出の機能を NLG 評価指標 に適用することを目指したものである. 本実験で は，参照なし評価指標に焦点をあて，1クラス分類器を参照なし評価指標に組み込むことを検証した。 また，距離学習である Triplet Margin Loss を用いて，評価指標の特徵量空間において，学習ドメインとそ れ以外のドメインのデータ点の距離を離すことを試 みた. その結果, 先行研究である $\mathrm{MCD}$ と比較して, 1クラス分類器を用いた手法が評価指標としての性能に影響を与えることなく，ドメイン外検出ができ ていることがわかった. また, Triplet Margin Loss を 用いることで，ドメイン外検出の精度は向上した が，評価性能が低下してしまった. 特に，正クラス のドメインに対しても人手相関が弱くなってしまっ ている.

本稿では，参照なし評価指標を対象としたが，本稿の手法は参照あり評価指標にも適用可能であり,今後の課題である. ドメイン外検出に焦点を当てた が，学習ドメイン外でも高性能な評価指標の実現の ため，分布外一般化 [13] も，今後の研究の重要な方向性の一つである. NLG 分野において，高性能で頑健な自動評価指標の開発は重要な研究課題であり,今後更なる研究の推進を期待する.

## 謝辞

本研究は JSPS 科研費 JP21J14152, JST ムーン ショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである.

## 参考文献

[1] Ricardo Rei, Ana C Farinha, Chrysoula Zerva, Daan van Stigt, Craig Stewart, Pedro Ramos, Taisiya Glushkova, André F. T. Martins, and Alon Lavie. Are References Really Needed? Unbabel-IST 2021 Submission for the Metrics Shared Task. In Proceedings of the Sixth Conference on Machine Translation, pp. 1030-1040, Online, November 2021. Association for Computational Linguistics.

[2] Patrick Fernandes, António Farinhas, Ricardo Rei, José De Souza, Perez Ogayo, Graham Neubig, and Andre Martins. Quality-Aware Decoding for Neural Machine Translation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1396-1412, Seattle, United States, July 2022. Association for Computational Linguistics.

[3] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A Neural Framework for MT Evaluation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 26852702, Online, November 2020. Association for Computational Linguistics.

[4] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.

[5] Christoph Leiter, Piyawat Lertvittayakumjorn, Marina Fomicheva, Wei Zhao, Yang Gao, and Steffen Eger. Towards Explainable Evaluation Metrics for Natural Language Generation, 2022.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Taisiya Glushkova, Chrysoula Zerva, Ricardo Rei, and André F. T. Martins. Uncertainty-Aware Machine Translation Evaluation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 39203938, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Chrysoula Zerva, Taisiya Glushkova, Ricardo Rei, and André F. T. Martins. Disentangling Uncertainty in Ma- chine Translation Evaluation. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. arXiv, 2022.

[9] Zheng Li, Yue Zhao, Xiyang Hu, Nicola Botta, Cezar Ionescu, and George Chen. ECOD: Unsupervised Outlier Detection Using Empirical Cumulative Distribution Functions. IEEE Transactions on Knowledge and Data Engineering, pp. 1-1, 2022.

[10] Wenxuan Zhou, Fangyu Liu, and Muhao Chen. Contrastive Out-of-Distribution Detection for Pretrained Transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1100-1111, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-Scale Acquisition of Parallel Corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, Online, July 2020. Association for Computational Linguistics.

[12] Tom Kocmi, Rachel Bawden, Ond $\AA^{\mathrm{TM}}{ }^{\mathrm{e}}$ ej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Rebecca Knowles, Philipp Koehn, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Michal Nov $\tilde{A}_{i} k$, Martin Popel, MajaPopoviÄ $\ddagger$, Mariya Shmatova. Findings of the 2022 Conference on Machine Translation (WMT22). In Proceedings of the Seventh Conference on Machine Translation, pp. 1-45, Abu Dhabi, December 2022. Association for Computational Linguistics.

[13] Zheyan Shen, Jiashuo Liu, Yue He, Xingxuan Zhang, Renzhe Xu, Han Yu, and Peng Cui. Towards Out-OfDistribution Generalization: A Survey, 2021.

## A 実験設定

表 5 COMET-QE のハイパーパラメータ

表 5 に COMET-QE の学習時のパラメータを示す.本実験では，Triplet Margin Lossを使用した際も同様 の設定を用いた. 毎エポック後にモデルを保存し，開発データに対するケンドールの順位相関係数が最 も高かったチェックポイントのモデルを評価に使用 した。なお，ケンドールの順位相関係数に対して， Early Stopping を行った.

## B 実験結果

表 6 英語-ドイツ語のセグメントレベルのピアソンの相関係数.

} \\

表 7 英語-ロシア語のセグメントレベルのピアソンの相関係数.

} \\

表 8 中国語-英語のセグメントレベルのピアソンの相関係数.

} \\

表 $6,7,8$ に各言語対のセグメントレベルのピア ソンの相関係数の結果を，表 $9,10,11$ に各言語対表 9 英語-ドイツ語のセグメントレベルのスピアマンの 順位相関係数。

} \\

表 10 英語-ロシア語のセグメントレベルのスピアマンの 順位相関係数。

} \\

表 11 中国語-英語のセグメントレベルのスピアマンの順位相関係数.

} \\

表 12 システムレベルのピアソンの相関係数.

 &  &  &  &  &  \\

のセグメントレベルのスピアマンの順位相関係数 の結果を示す. また，表 12 にシステムレベルのピ アソンの相関係数を示す. システムレベルについて は，ピアソンの相関係数の值のみを報告するが，こ れは WMT22でも同様にシステムレベルではピアソ ン相関係数が報告されている。なお，システムレべ ルでは，WMT22の全体の結果と TedTalks の結果の みを示す.
 伊藤拓海 $^{1}$ 森下睦 ${ }^{2}$ 鈴木潤 1 1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 t-ito@tohoku.ac.jp makoto.morishita.gr@hco.ntt.co.jp jun.suzuki@tohoku.ac.jp  