# 疑似参照訳文ベクトルの重心に基づく 高速なニューラル最小ベイズリスク復号

出口祥之 坂井優介 上垣外 英剛 渡辺太郎
奈良先端科学技術大学院大学
}

\{deguchi.hiroyuki.db0, sakai.yusuke.sr9, kamigaito.h, taro\}@is.naist.jp
## 概要

翻訳品質の人手評価スコアを予測する COMET モデルを用いた最小ベイズリスク復号法の COMETMBR が，従来のビーム探索等を用いた最大事後確率復号と比較して，翻訳品質の人手評価における最高性能を達成している。しかし，典型的な最小べイズリスク復号では，ある仮説文のベイズリスクは全仮説文との間のスコアの期待值計算によって求められるため，翻訳仮説の文数を $N$ とすると $O\left(N^{2}\right)$ の計算時間を要する. 本研究では, COMET-MBR の復号速度を改善するため，COMET モデルが計算する翻訳候補集合の文ベクトルをクラスタリングし，各クラスタの重心表現を用いてスコアを計算することで，期待值計算を近似する。WMT'22 翻訳タスクの英 $\leftrightarrow$ 日，英 $\leftrightarrow$ 独，英 $\leftrightarrow$ 中の 6 言語方向の翻訳実験を行ったところ，従来の MBR 復号より，同等の COMET スコアを維持しながら， べイズリスクの計算時間が 13.6 倍，うち期待値計算が 26.2 倍高速化することを確認した。

## 1 はじめに

最小ベイズリスク（minimum Bayes risk; MBR）復号による機械翻訳は，複数文からなる翻訳仮説集合全体から計算されるベイズリスクを最小化する出力文を選択することで，頑健かつ品質の高い翻訳を実現する $[14,5,16]$. 特に近年では, 翻訳品質の人手評価スコアを予測する COMET モデル $[19,18]$ を MBR で用いた COMET-MBR が，ビーム探索を用いた従来の最大事後確率復号と比較して, 翻訳品質の人手評価における最高性能を達成している [8]. COMET モデルは原文，仮説文，参照訳文をそれぞれ独立に文ベクトルに符号化し，それら 3 つの文ベクトルを用いてスコアを計算する.

しかし，MBR 復号では，ある仮説文のベイズリ

疑似参照訳文ベクトル

図 1 疑似参照訳文数 $N=5$, クラスタ数 $k=3$ における,従来法（MBR）と提案法（CBMBR）の概要図. 緑色の背景箇所がベイズリスクの期待值計算を表す.

スクが各参照訳との間で計算されるスコアの期待値計算によって求められ，仮説文集合自身を擬似的に参照訳集合とみなす典型的な MBR 復号は，翻訳仮説の数を $N$ とすると $O\left(N^{2}\right)$ の計算時間を要する. $N$ は多い時で 1000 を超えることもあり [9]，二乗オー ダーの計算時間は MBR 復号の大きな課題となっている.これまでに，MBR の復号速度を改善するため，仮説文を枝刈りする手法が提案されており，軽量な代替評価尺度 [6] や $N$-best リランカ [8] を用いる手法などが提案されている。ただし，代替評価尺度の種類を適切に選択する必要が生じたり, リランカモデルの訓練・推論コスト等が生じたりする。

ここで，COMET モデルは仮説文と参照訳文が意味的に近いときに高いスコアを出力するように学習されていることから，文べクトル間の距離が文間の類似度を表現できるのではないかと考えた. 本研究では，COMET-MBR において，翻訳候補集合中の近い文べクトル同士を 1 つにまとめてスコアを算出することで MBR の期待値計算を近似し，復号速度を改善する。提案法では，翻訳候補の文べクトルを $k \ll N$ 個のクラスタにクラスタリングし， $N$ 個の文ベクトルの代わりに各クラスタの $k$ 個の重心べクトルを用いて COMET スコアを算出することで，復号
時のスコア計算回数を $N^{2}$ 回から $N k$ 回に削減する. WMT'22 翻訳タスクの英 $\leftrightarrow$ 日，英 $\leftrightarrow$ 独，英 $\leftrightarrow 中 ~$ の 6 言語方向の翻訳実験より, 従来の MBR 復号と比較して，同等の COMET スコアを維持しながら， ベイズリスクの計算時間が 13.6 倍，うち期待値計算が 26.2 倍速くなることを確認した.

## 2 背景: COMET-MBR

最小ベイズリスク復号とりうる入力文と出力文の全体集合をそれぞれ $x, y$ とする。このとき，最大事後確率 (maximum-a-posteriori; MAP) 復号による出力文 $y_{\mathrm{MAP}}^{*} \in \mathcal{y}$ は次のように求められる:

$
y_{\mathrm{MAP}}^{*}=\underset{y \in \mathcal{Y}}{\operatorname{argmax}} p_{\theta}(y \mid x)
$

なお， $\theta$ は大力文 $x \in X$ が与えられたときに $y$ が出力される尤度を計算する翻訳モデルを表す. とりうる全ての $y \in \mathcal{y}$ について確率を計算することは困難であるため, 通常, ビーム探索などによって枝刈りを行い, 近似解を求める。一方, 最小ベイズリスク（minimum Bayes risk; MBR）復号による出力文 $y_{\mathrm{MBR}}^{*} \in \mathcal{y}$ は, 次のように効用関数 $u: y \times y \rightarrow \mathbb{R}$ の期待値（期待効用）を最大化する仮説が選択される:

$
\begin{aligned}
y_{\mathrm{MBR}}^{*} & =\underset{h \in \mathscr{H}}{\operatorname{argmax}} \underset{\hat{y} \sim P(y \mid x)}{\mathbb{E}}[u(h, \hat{y})] \\
& \approx \underset{h \in \mathscr{H}}{\operatorname{argmax}} \underset{\hat{y} \in \hat{y}}{\mathbb{E}}[u(h, \hat{y})] .
\end{aligned}
$

ただし, $\mathscr{H}=\left.\{h_{1}, \ldots, h_{|\mathscr{H}|}\right.\} \subset \mathscr{y}$ は翻訳仮説集合, $P(y \mid x)$ は大力文 $x \in X$ が与えられたときに $y$ に翻訳される確率であり，一般には，式 3 のようにサンプリングされた参照訳 $\hat{y}=\left.\{\hat{y}_{1}, \ldots, \hat{y}_{|\hat{y}|}\right.\} \subset y$ を用いて近似される。翻訳時は未知の文に対する参照訳集合を手に入れるのが困難であるため，典型的な MBR 復号では機械翻訳による翻訳候補を擬似的な参照訳集合とみなし, $\hat{y}:=\mathscr{H}$ とされる.ここで, $N:=|\mathscr{H}|$ とおくと, $\mathrm{MBR}$ 復号の時間計算量は $\mathcal{O}\left(N^{2}\right)$ となる.

COMET COMET は, 翻訳品質の直接評価 (Direct Assesment; DA）スコアを予測するニューラルモデルを用いた, 人手評価との相関係数が高い評価尺度である [19,18]. 原文 $x \in \mathcal{X}$, 仮説文 $h \in \mathcal{Y}$,参照訳文 $\hat{y} \in y$ の 3 つ組文のそれぞれの文を XLM-RoBERTa (XLM-R) [4] によって $D$ 次元文べクトルに符号化した後, それらの文べクトルを出力層に入力することにより, スコアが計算される. $f: X \cup Y \rightarrow \mathbb{R}^{D}$ を XLM-R による文べクトルへの符号化関数， $s: \mathbb{R}^{D} \times \mathbb{R}^{D} \times \mathbb{R}^{D} \rightarrow \mathbb{R}$ を出力層とすると, COMET スコアは次式のように定式化される。

$
\operatorname{COMET}(x, h, \hat{y})=s(f(x), f(h), f(\hat{y}))
$

COMETを用いた MBR 復号（COMET-MBR）では，式 3 の効用関数 $u$ が $\operatorname{COMET}(\cdot, \cdot, \cdot)$ に置き換えられ,仮説文集合を擬似的に参照訳文集合とみなした上で次のように計算される:

$
y_{\text {COMET-MBR }}^{*}=\underset{h \in \mathscr{H}}{\operatorname{argmax}} \underset{\hat{y} \in \hat{y}}{\mathbb{E}}[s(f(x), f(h), f(\hat{y}))] .
$

このとき， $\hat{y}=\mathscr{H}$ のような, 典型的な MBR 復号の場合，はじめに一度だけ仮説文の文ベクトル集合 $\left.\{f\left(h_{1}\right), \ldots, f\left(h_{\mid \mathscr{H}}\right)\right.\}$ を計算し，その中からぺアを取り出して関数 $s$ を適用することで, 出力層 $s$ のみの $N^{2}$ 回の計算で全ての仮説文に対するベイズリスクが求まる。

## 3 提案法: Centroid-Based MBR

提案法 Centroid-Based MBR (CBMBR) は, COMET 内部の文ベクトル空間に着目し, 近い文ベクトルから計算されるスコアの期待值を，それらの重心から計算する近似により, 復号速度の改善を狙う. 提案法は (1) 文符号化, (2) クラスタリング, (3) 期待効用計算の順に従ってべイズリスクを計算することで復号する。

(1) 文符号化はじめに, 従来の COMET-MBR と同様に，原文 $x$ の文べクトル $f(x) \in \mathbb{R}^{D}$ と各疑似参照訳文の文べクトル $\left.\{f\left(\hat{y}_{1}\right), \ldots, f\left(\hat{y}_{|\hat{y}|}\right)\right.\} \subset \mathbb{R}^{D}$ を計算する。なお， $\hat{y}=\mathscr{H}$ である。

(2) クラスタリング次に，疑似参照訳文ベクトルを $k \ll N$ 個のクラスタにクラスタリングし，各クラスタの重心べクトル $\left.\{\boldsymbol{c}_{1}, \ldots, \boldsymbol{c}_{k}\right.\} \subset \mathbb{R}^{D}$ を求める.ここで，クラスタリングは推論時に行われるため, 復号速度の観点から, 提案法では収束の早いクラスタリング法である $k$-means++ [1] を採用する. $k$-means++は，はじめに，次のような手順に従って重心の初期値を獲得する。
1. $\left.\{f\left(\hat{y}_{1}\right), \ldots, f\left(\hat{y}_{|\hat{y}|}\right)\right.\}$ からランダムに 1 つ文べクトルを選択し，1つめの重心とする。

2. 各文ベクトル $f\left(\hat{y}_{i}\right)$ とそれらの最近傍重心 $\boldsymbol{c}^{*}=\operatorname{argmin}_{\boldsymbol{c} \in\left.\{\boldsymbol{c}_{1}, \ldots, \boldsymbol{c}_{k}\right.\}}\left.\|f\left(\hat{y}_{i}\right)-\boldsymbol{c}\right.\|_{2}$ との間の二乗ユークリッド距離 $d^{2}\left(\hat{y}_{i}\right)=\left.\|f\left(\hat{y}_{i}\right)-\boldsymbol{c}^{*}\right.\|_{2}^{2}$ を求める.

3. 各文ベクトル $f\left(\hat{y}_{i}\right)$ に対して重み $\frac{d^{2}\left(\hat{y}_{i}\right)}{\sum_{j=1}^{|\dot{q}|} d^{2}\left(\hat{y}_{j}\right)}$ を求め, 求めた重みを確率分布とみなして $\hat{y}$ か

ら文ベクトルをサンプリングすることで，新たな重心を 1 つ得る.

4. 重心が $k$ 個得られるまで手順 2,3 を繰り返す.

続いて，獲得した初期値から，一般的な $k$-means によるクラスタリングを行う，具体的には，次の 1) と 2) を反復的に計算する: 1) 各文べクトルの所属を，最近傍の重心を代表べクトルとするクラスタに割り当て，2) 各クラスタに割り当てられた文べクトルの重心を求めてクラスタ重心を更新する.

(3) 期待効用計算最後に，式 5 の $f(\hat{y}) \in \mathbb{R}^{D}$ をクラスタ重心 $\boldsymbol{c} \in \mathbb{R}^{D}$ に置き換えて期待効用を計算する:

$
y_{\mathrm{CBMBR}}^{*}=\underset{h \in \mathscr{H}}{\operatorname{argmax}} \underset{\boldsymbol{c} \in\left.\{\boldsymbol{c}_{i}\right.\}_{i=1}^{k}}{\mathbb{E}}[s(f(x), f(h), \boldsymbol{c})] .
$

従来法では，全ての仮説文の期待効用を計算するために $O\left(N^{2}\right)$ の時間計算量を要していたのに対し，提案法は $O(N k)$ で計算される。

## 4 実験

実験設定提案法 CBMBR の有効性を検証するため, 英 $\leftrightarrow$ 日, 英 $\leftrightarrow$ 独, 英 $\leftrightarrow$ 中の 6 言語方向の翻訳実験を行った. 評価セットに WMT’22 翻訳タスク [13] を用い，COMET スコアを用いて翻訳品質を評価した。翻訳文の生成には訓練済み多言語翻訳モデルの M2M100を用いた. MAP 復号にはビーム探索を用い，ビーム幅は 100 とした. MBR 復号にはビーム探索と top- $p$ サンプリング $(p=0.9)$ を用い, それぞれビーム幅を 100 として 100-best 翻訳を生成し，計 200 文を翻訳仮説とした．比較のため，参照訳を用いない品質推定モデルによるリランキング ( $\mathrm{QE})$ ， QE によって 10 候補に枝刈りした後に MBR 復号する $\mathrm{QE} \rightarrow \mathrm{MBR}[8] ，$ また，参照訳を用いて最大スコアの仮説を選択する品質上限（Oracle）の翻訳品質を評価した。 QE モデルには COMET-QE [20] を用いた。提案法の CBMBR について，GPU を用いた他の復号法と速度を比較するため, $k$-means++は PyTorch で実装した. $k$-means の反復回数は最大 3 回とし, $k=8$ とした. 文符号化と品質推定については全てバッチサイズ 128 文でミニバッチ化して計算した。復号時間については，全実験の復号時間を処理単位で計測し，処理ごとに 1 文あたりの平均処理時間（ミリ秒）を算出した。

翻訳品質はじめに，翻訳品質の比較結果を表 1 に示す. 表中の平均スコアより, MAP 復号と比較して, MBR 復号および提案法の CBMBR 復号表 1 WMT'22 翻訳タスクにおける各復号法の翻訳品質の比較 (COMET\%).

が COMET スコアを $+4.3 \%$ 改善し, Oracle との差

$\mathrm{QE}$ モデルによるリランキングと翻訳品質を比較すると，CBMBR のほうが $0.5 \%$ スコアが高い. $\mathrm{QE} \rightarrow \mathrm{MBR}$ と CBMBR を比較すると，言語方向によって最適な手法が入れ替わるものの，平均的に $0.1 \%$ 以内の差で収まっている。なお，CBMBR は COMET モデルのみで計算するのに対し, $\mathrm{QE} \rightarrow \mathrm{MBR}$ は COMET モデルに加えて COMET-QE モデルを必要とするため，実行時のメモリ使用量が増加する点に注意されたい。

復号速度次に，各復号法の復号時間の比較を表 2 に示す. 表より，復号全体の処理時間は CBMBR が従来の MBR よりも 1.4 倍速いことがわかる. 特に， $O\left(N^{2}\right)$ の計算量を要していたべイズリスクの計算においては， $k$-means++まで含めて 13.6 倍，期待効用計算のみで比較すると 26.2 倍高速化した。また, $\mathrm{QE}$ や $\mathrm{QE} \rightarrow \mathrm{MBR}$ において , 品質推定の時間計算量は $O(N)$ にもかかわらず実際の処理時間が長いが，これは COMET-QE [20] モデルが COMET モデルとは異なり，原文と仮説文の 2 文を結合して符号化するため, 品質推定モデルの入力系列長が COMET モデルよりも長いためであると考えられる。

以上より，実験結果をまとめると，CBMBR は従来の MBR と比較して，メモリ使用量が増加することなく, 同程度の翻訳品質を維持しながら, ベイズリスクの計算時間を 13.6 倍，うち期待値の計算が 26.2 倍高速化することを確認した。

## 5 考察

## 5.1 クラスタ数 $k$ と翻訳品質

クラスタ数 $k$ と翻訳品質の関係を調べるため, $k \in\{1,4,8,12\}$ を変化させたときの翻訳品質を COMET スコアによって評価した. 表 3 は開発セット WMT'21 翻訳タスクにおける実験結果を示す。
表 2 WMT'22 翻訳タスクにおける各復号法の 1 文あたりの平均処理時間 (ミリ秒).

表 3 開発セット WMT'21 翻訳タスクにおけるクラスタ数 $k$ と翻訳品質の比較.

$k=1$ のときは時間計算量が $\mathcal{O}(N)$ となる一方で, $k=4$ のときと比べて COMET スコアが $0.7 \%$ 低い. また， $k$ を $4,8,12$ と増やすにつれ品質も改善しているが， $k=8$ から $k=12$ への増加では品質にほとんど差がないことがわかる。一方で，CBMBR の時間計算量は $O(N k)$ であるため， $k$ を大きくするにつれ $\tau$ ，復号時間は線形に増加する．そのため，4 節の翻訳実験では $k=8$ を採用した。

## 5.2 類似文間の文ベクトル距離

提案法が成り立つための条件である，“COMET の文ベクトル空間では類似文同士のべクトル間距離が近くなる”という仮定を確かめるため，文間意味的類似度（Semantic Textual Similarity; STS）タスクを用いて，類似文間の文べクトル距離を分析した。

評価データには STS-Benchmark (STS-B) [2] を用い，正解類似度との Pearson の相関係数 $r$ を算出した. 実験結果を表 4 に示す。表中の “Pearson $r \times 100$ ” は相関係数 $r$ を 100 倍したスコアを示す. 表より， COMET は，文ベクトル空間に対して対照学習のような教師あり学習を行っていないにもかかわらず，73.6と強い相関を示している。また，COMET は XLM-RoBERTa (XLM-R) [4] に対して翻訳品質を予測するよう追加学習したモデルであるが, XLM-R のスコア 31.6 と比較すると, COMET の追加学習によって間接的に，意味的類似文を近いべクトルに写像するよう学習していることがわかる. さらに，対訳文間の文ベクトル類似度を高める学習を行った [7]より $0.9 \%$ スコアが高いことも確認した。表 4 文間意味的類似度タスク STS-B の開発セットと評価セットにおける評価結果.

以上より，COMET は文ベクトル空間に対して対照学習のような明示的な学習を加えていないにもかかわらず，STS-B タスクにおいて正解類似度と強い正の相関を示し, 翻訳品質を予測する学習を通して, 副次的に類似文のベクトル間距離を近づけるように学習していることが確認できた。

## 6 関連研究

MBR 復号は統計的自動音声認識 [10] や統計的機械翻訳 [14] などで有効性が示され，近年ではニュー ラル機械翻訳への応用が進んでいる $[5,16]$. また，今後，ブラックボックスなテキスト生成システムが増えた場合，複数システムからよりよい生成文を選択するという設定において特に MBR が有用であるといえる [11]. ただし，MBR の復号速度については依然として課題である. 復号速度を改善するために翻訳仮説を枝刈りする手法がいくつか提案されており，翻訳仮説の軽量な代替評価尺度を用いた枝刈り [6], QE モデルによる枝刈り [8], 少量の疑似参照訳から始めて仮説を枝刈りしながら段階的に疑似参照訳を増やしていく手法 [3] が挙げられる. 本研究は先行研究と異なり, 仮説側を枝刈りすることなく，疑似参照訳側を枝刈りした手法とみなせる.

## 7 おわりに

本研究では，COMET モデルを用いた最小ベイズリスク復号 COMET-MBR において, 全ての疑似参照訳を用いる代わりに，疑似参照訳の文べクトルのクラスタ重心表現のみを用いてベイズリスクを計算することにより，復号速度を改善した。実験より，WMT'22 翻訳タスクの英 $\leftrightarrow$ 日，英 $\leftrightarrow$ 独，英 $\leftrightarrow$中の 6 言語方向の翻訳において，従来の MBR 復号と比較して, COMET スコアが低下することなく, ベイズリスクの計算時間が 13.6 倍，うち期待值の計算が 26.2 倍速くなることを確認した. 今後は, ニューラルモデルを用いた他の品質評価尺度である BLUERT [21] 等に向けて提案法を適用したい.

## 謝辞

本研究の一部は JSPS 科研費 JP22J11279, JP22KJ2286 の助成を受けたものである.ここに謝意を表する。

## 参考文献

[1] David Arthur and Sergei Vassilvitskii. K-means++: The advantages of careful seeding. In Proceedings of the Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms, SODA '07, p. 1027 1035, USA, 2007. Society for Industrial and Applied Mathematics

[2] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Julius Cheng and Andreas Vlachos. Faster minimum Bayes risk decoding with confidence-based pruning. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 12473-12480, Singapore, December 2023. Association for Computational Linguistics.

[4] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[5] Bryan Eikema and Wilker Aziz. Is MAP decoding all you need? the inadequacy of the mode in neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4506-4520, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[6] Bryan Eikema and Wilker Aziz. Sampling-based approximations to minimum Bayes risk decoding for neural machine translation. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 10978-10993, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[7] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 878-891, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Patrick Fernandes, António Farinhas, Ricardo Rei, José G. C. de Souza, Perez Ogayo, Graham Neubig, and Andre Martins. Qualityaware decoding for neural machine translation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1396-1412, Seattle, United States, July 2022. Association for Computational Linguistics.

[9] Markus Freitag, Behrooz Ghorbani, and Patrick Fernandes. Epsilon sampling rocks: Investigating sampling strategies for minimum Bayes risk decoding for machine translation. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 9198-9209, Singapore, December 2023. Association for Computational Linguistics.

[10] Vaibhava Goel and William J Byrne. Minimum bayes-risk automatic speech recognition. Computer Speech \& Language, Vol. 14, No. 2, pp. 115-135, 2000.

[11] Ikumi Ito, Takumi Ito, Jun Suzuki, and Kentaro Inui. Investigating the effectiveness of multiple expert models collaboration. In Findings of the Association for Computational Linguistics:
EMNLP 2023, pp. 14393-14404, Singapore, December 2023. Association for Computational Linguistics.

[12] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks for efficient text classification. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 427-431, Valencia, Spain, April 2017. Association for Computational Linguistics.

[13] Tom Kocmi, Rachel Bawden, Ondřej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Rebecca Knowles, Philipp Koehn, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Michal Novák, Martin Popel, and Maja Popović. Findings of the 2022 conference on machine translation (WMT22). In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 1-45, Abu Dhabi, United Arab Emirates (Hybrid), December 2022. Association for Computational Linguistics.

[14] Shankar Kumar and William Byrne. Minimum Bayes-risk decoding for statistical machine translation. In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics: HLT-NAACL 2004, pp. 169-176, Boston, Massachusetts, USA, May 2 - May 7 2004. Association for Computational Linguistics.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[16] Mathias Müller and Rico Sennrich. Understanding the properties of minimum Bayes risk decoding in neural machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 259-272, Online, August 2021. Association for Computational Linguistics.

[17] Matteo Pagliardini, Prakhar Gupta, and Martin Jaggi. Unsupervised learning of sentence embeddings using compositional n-gram features. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 528-540, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[18] Ricardo Rei, José G. C. de Souza, Duarte Alves, Chrysoula Zerva Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, and André F. T. Martins. COMET-22: Unbabel-IST 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 578-585, Abu Dhabi, United Arab Emirates (Hybrid), December 2022. Association for Computational Linguistics.

[19] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[20] Ricardo Rei, Marcos Treviso, Nuno M. Guerreiro, Chrysoula Zerva, Ana C Farinha, Christine Maroti, José G. C. de Souza, Taisiya Glushkova, Duarte Alves, Luisa Coheur, Alon Lavie, and André F. T. Martins. CometKiwi: IST-unbabel 2022 submission for the quality estimation shared task. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 634-645, Abu Dhabi, United Arab Emirates (Hybrid), December 2022. Association for Computational Linguistics.

[21] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics

[22] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu Wei. Text embeddings by weakly-supervised contrastive pre-training, 2022.

## A 参考情報

図 2 COMET モデルの概要図.

表 5 実験設定の詳細.

 &  \\
COMET-QE & \\
演算 & NVIDIA A6000 1 基 \\
GPU & 単精度 \\
浮動小数点精度 \\
その他 & 表 4 および9において, 文符号化 \\
文符号化 & 方法が明示的に定義されていな \\
& いXLM-R [4]などのモデルでは, \\
& COMETに合わせて, 最終層の中 \\
& 間表現の平均べクトルを文べクト \\
& ルとした.

表 6 開発セット WMT’21 翻訳タスクにおける翻訳品質 (COMET スコア) の比較.

1) https://dl.fbaipublicfiles.com/flores101/ pretrained_models/flores101_mm100_615M.tar.gz表 7 開発セット WMT'21 翻訳タスクにおける 1 文あたりの平均処理時間の比較 (ミリ秒).

表 8 開発セット WMT'21 翻訳タスクにおける，クラス夕数と反復回数を変化させたときの 1 文あたりの平均クラスタリング時間 (ミリ秒).

表 9 文間意味的類似度タスクSTS-B の開発セットと評価セットにおける評価結果. 表 4 に加えて単言語モデルの評価結果を含めた. なお，“多言語モデル”は“、”が付いているモデルが多言語に対応していることを示す.

参考情報として，COMET モデル $[19,18]$ の概要図を図 2 に示す。また，実験設定の詳細（表 5)，開発セット WMT'21 翻訳タスクにおける翻訳品質と復号速度の詳細な比較（表 $6,7,8$ ）および，単言語モデルまで含めた文間意味的類似度タスクの比較結果 （表9）をそれぞれ記す。