# 語順の相関に基づく機械翻訳の自動評価法

平尾 努 $\dagger$ ・磯崎 秀樹 $\dagger+$ ・須藤 克仁 $^{\dagger} \cdot$ Duh Kevin ${ }^{\dagger \dagger \dagger}$ ・
塚田 元 $^{\dagger} \cdot$ 永田 昌明 $\dagger$
}

効率的に機械翻訳システムを開発していくためには，質の高い自動評価法が必要と なる。これまでに様々な自動評価法が提案されてきたが，参照翻訳とシステム翻訳 との間で一致する $\mathrm{N}$ グラムの割合に基づきスコアを決定する BLEU や最大共通部分単語列の割合に基づきスコアを決定する ROUGE-L などがよく用いられてきた. し かし，こうした方法にはいつくかの問題がある。ルールベース翻訳 (RBMT) の訳を 人間は高く評価するが, 従来の自動評価法は低く評価する。これは, RBMT が参照翻訳と違う訳語を使うことが多いのが原因である。これら従来の自動評価法は単語 が一致しないと大きくスコアが下がるが，人間はそうとは限らない。一方，統計的機械翻訳 (SMT) で英日，日英翻訳を行うと，「Aなので $\mathrm{B} 」$ と訳すべきところを「B なので $\mathrm{A}\rfloor$ 訳されがちである。この訳には低いスコアが与えられるべきであるが， $\mathrm{N}$ グラムの一致割合に着目するとあまりスコアは下がらない。こうした問題を解決 するため, 本稿では, 訳語の違いに寛大で, かつ, 大局的な語順を考慮した自動評価法を提案する。大局的な語順は順位相関係数で測定し, 訳語の違いは, 単語適合率で測定するがパラメタでその重みを調整できるようにする。 NTCIR-7, NTCIR-9 の特許翻訳タスクにおける英日，日英翻訳のデータを用いてメ夕評価を行ったとこ ろ，提案手法が従来の自動評価法よりも優れていることを確認した.

キーワード：機械翻訳，自動評価法，順位相関
## Evaluating Translation Quality with Word Order Correlations

Tsutomu Hirao $^{\dagger}$, Hideki Isozaki ${ }^{\dagger \dagger}$, Katsuhito Sudoh $^{\dagger}$, Kevin Duh ${ }^{\dagger \dagger \dagger}$, Hajime TsuKada $^{\dagger}$ and MasaAKi Nagata ${ }^{\dagger}$

meaning. Statistical MT (SMT) tends to translate "A because B" as "B because A" in case of translation between Japanese and English. BLEU does not care about global word order, and this severe mistake is not penalized very much. In order to consider global word order, this paper proposes a lenient automatic evaluation metric based on rank correlation of word order. By focusing on only words common between the two translations, this method is lenient with the use of alternative words. The difference of words is measured by precision of words, and its weight is controlled by a parameter. By using submissions of NTCIR-7 \& 9's Patent Translation task, the proposed method outperforms conventional measures in terms of system level comparison.

Key Words: Machine Translation, Automatic Evaluation, Rank Correlation

## 1 はじめに

機械翻訳システムの開発過程では, システムの評価と改良を幾度も繰り返さねばならない.信頼性の高い評価を行うためには，人間による評価を採用することが理想ではあるが，時間的な制約を考えるとこれは困難である。よって，人間と同程度の質を持つ自動評価法，つまり，人間の評価と高い相関を持つ自動評価法を利用して人間の評価を代替することが実用上求められ $る^{1}$.

こうした背景のもと, 様々な自動評価法が提案されてきた. BLEU (Papineni, Roukos, Ward, and Zhu 2002), NIST (Doddington 2002), METEOR (Banerjee and Lavie 2005), Word Error Rate (WER) (Leusch, Ueffing, and Ney 2003) などが広く利用されているが, そのなかでも BLEU (Papineni et al. 2002)は, 数多くの論文でシステム評価の指標として採用されているだけでなく, 評価型ワークショップにおける公式指標としても用いられており, 自動評価のデファクトスタンダードとなっている。その理由は，人間による評価との相関が高いと言われていること，計算法がシステム翻訳と参照翻訳（正解翻訳）との間で一致する $\mathrm{N}$ グラム（一般的に $\mathrm{N}=4$ が用いられる）を数えあげるだけで実装も簡単なことにある.

しかし，BLEUのように Nグラムという短い単語列にのみに着目してスコアを決定すると， システム翻訳が参照翻訳の N グラムを局所的に保持しているだけで，その意味が参照翻訳の意味と大きく乘離していようとも高いスコアを与えてしまう．局所的な N グラムは一致しつつも参照翻訳とは異なるような意味を持つ翻訳をシステムが生成するという現象は，翻訳時に大きな語順の入れ替えを必要としない言語間，つまり，構文が似ている言語間の翻訳ではほとんど起こらない，例えば，構文が似ている言語対である英語，仏語の間の翻訳では大きな語順の入れ替えは必要なく, BLEU と人間の評価結果との間の相関も高い (Papineni et al. 2002). 一方,
^{1}$ 本稿では, 100 文規模程度のコーパスを用いて翻訳システムの性能を評価すること，つまり，システム間の優劣を比較することを目的とした自動評価法について議論する。
}
日本語と英語のように翻訳時に大きな語順の入れ替えが必要となる言語対を対象とすると，先に示した問題が深刻となる。例えば, Echizen-ya らは日英翻訳において, BLEU (Papineni et al. 2002), その変種である NIST (Doddington 2002) と人間の評価との間の相関が低いことを報告している (Echizen-ya, Ehara, Shimohata, Fujii, Utiyama, Yamamoto, Utsuro, and Kando 2009).

文全体の大局的な語順を考慮する自動評価法としては, ROUGE-L (Lin and Och 2004), IMPACT (Echizen-ya and Araki 2007) がある。これらの手法は参照翻訳とシステム翻訳との間で一致する最長共通部分単語列 (Longest Common Subsequence: LCS) に基づき評価スコアを決定する. LCS という文全体での大局的な語順を考慮していることから，英日，日英翻訳システムの評価において， Nグラム一致率に基づく自動評価法よりもより良い評価ができるだろう。しかし， $\mathrm{N}$ グラム一致率に基づく自動評価法と同様, 訳語の違いに敏感すぎるという問題がある. 後に述べるが，NTCIR-9 での特許翻訳タスクにおいては，人間が高い評価を与えるルールベースの翻訳システムに高スコアを与えることができないという問題がある.

本稿では日英，英日という翻訳時に大きな語順の入れ替えを必要とする言語対を対象とした翻訳システムの自動評価法を提案する。提案手法の特徴は， $\mathrm{N}$ グラムという文中の局所的な単語の並びに着目するのではなく, 文全体における大局的な語順に着目する点と, 参照翻訳とシステム翻訳との間で一致しない単語を採点から外し, 別途, ペナルティとしてそれをどの程度重要視するかを調整できるようにすることで訳語の違いに対して寛大な評価を行う点にある。より具体的には，システム翻訳と参照翻訳との間の語順の近さを測るため，両者に一致して出現する単語を同定した後，それらの出現順序の近さを順位相関係数を用いて計算し，これに重み付き単語正解率と短い翻訳に対するぺナルティを乗じたものを最終的なスコアとする.

近年，提案手法と同じく語順の相関に基づいた自動評価法である LRscore が Birch らによって独立に提案されている (Birch and Osborne 2011). LRscore は，参照翻訳とシステム翻訳との間で一致する単語の語順の近さを Kendall 距離で表し，それをさらに低レンジでのスコアを下げるために非線形変換した後，短い翻訳に対するぺナルティを乗じ，さらに BLEU スコアとの線形補間で評価スコアを決定する。提案手法と LRscore は特殊な状況下では同一の定式化となるが，研究対象としてきた言語対が異なることから，相関係数と語彙の一致に対する考え方が大きく異なる.

提案手法がどの程度人間の評価に近いかを調べるため, NTCIR-7, NTCIR-9の日英, 英日, 特許翻訳タスク (Fujii, Utiyama, Yamamoto, and Utsuro 2008; Goto, Lu, Chow, Sumita, and Tsou 2011)のデータを用いて検証したところ，翻訳システムの評価という観点から，従来の自動評価法よりも人間の評価に近いことを確認した.

以下，2 章では BLEU を例として， N グラムという局所的な語順に着目してシステムを評価することの問題点, 3 章では LCS を用いてシステムを評価することの問題点を指摘する．そして，4章でそれら問題点の解決法として，訳語の違いに寞大，かつ，大局的な語順の相関に基づ

く自動評価法を提案する． 5 章で実験の設定を詳述し， 6 章では実験結果を考察する．最後に 7 章でまとめ, 今後の課題について述べる.

## $2 \mathrm{~N$ グラムー致率に基づく自動評価法の問題点}

N グラム一致率を用いてシステム翻訳を評価する際の問題点を以下に定義する BLEU を例として説明する。

システム翻訳文集合を $\mathcal{H}$ ，それに対応する参照翻訳文集合 2 を $\mathcal{R}$ とする。システム翻訳文 $h_{i} \in \mathcal{H}$ には，対応する参照翻訳文の集合 $R_{i} \in \mathcal{R}$ が割り当てられており， $R_{i}$ の $j$ 番目の参照翻訳文を $r_{j}$ とする．なお， $S=|\mathcal{H}|=|\mathcal{R}|$ とする. ここで， BLEUは，以下の式で定義される.

$
\mathrm{BLEU}(\mathcal{H}, \mathcal{R})=\mathrm{BP} \cdot \exp \left(\frac{1}{N} \sum_{n=1}^{N} \log P_{n}\right)
$

$N$ は $\mathrm{N}$ グラムの長さパラメタであり，一般的には $N=4$ である， $P_{n}$ は, $\mathrm{N}$ グラム適合率であり，以下の式で定義される.

$
P_{n}=\frac{\sum_{i=1}^{S} \sum_{t_{n} \in h_{i}} \min \left(\operatorname{count}\left(h_{i}, t_{n}\right), \max \_\operatorname{count}\left(R_{i}, t_{n}\right)\right)}{\sum_{i=1}^{S} \sum_{t_{n} \in h_{i}} \operatorname{count}\left(h_{i}, t_{n}\right)}
$

$\operatorname{count}\left(h_{i}, t_{n}\right)$ は, 任意の $\mathrm{N}$ グラム $\left(t_{n}\right)$ のシステム翻訳文 $h_{i}$ における出現頻度, max_count $\left(R_{i}, t_{n}\right)$ は, $t_{n}$ の参照翻訳文集合 $R_{i}$ における出現頻度の最大値, $\max _{r_{j} \in R_{i}} \operatorname{count}\left(r_{j}, t_{n}\right)$ である. $\mathrm{BP}$ (Brevity Penalty) は，短いシステム翻訳に対するぺナルティであり，以下の式で定義される.

$
\mathrm{BP}=\min \left(1, \exp \left(1-\frac{\text { closest_len }(\mathcal{R})}{\operatorname{len}(\mathcal{H})}\right)\right)
$

closest_len $(\mathcal{R})$ は, 各 $h_{i} \in \mathcal{H}$ に対し, 最も近い単語数の参照翻訳文 $r_{j} \in R_{i}$ を決定した後, それらの単語数を全ての $i$ で合計したもの, $\operatorname{len}(\mathcal{H})$ は, $h_{i}$ 単語数を全ての $i$ で合計したものを表す。

いま, 原文 $(s)$, 参照翻訳 $(r)$, システム翻訳 $\left(h_{1}, h_{2}\right)$ が以下の通り与えられたとしよう.

$s:$ 雨に濡れたので，彼は風邪をひいた.

$r$ : He caught a cold because he got soaked in the rain.

$h_{1}$ : He caught a cold because he had gotten wet in the rain.

$h_{2}$ : He got soaked in the rain because he caught a cold.
^{2}$ BLEU では，原文に対して複数の参照翻文があることを想定している。
}
$r$ は原文の直訳であり， $h_{1}$ はほぼそれと等しい訳であるが， $h_{2}$ は「風邪をひいたので，彼は雨に濡れた」という意味であり, 原文が表す因果関係が逆転している， $h_{1}$ と $h_{2}$ を比較すると,翻訳としての流暢さ (fluency), いわゆる言語モデル的な確からしさは同程度であるが，内容の適切性 (adequacy) は, $h_{1}$ が $h_{2}$ よりも高くならねばならない.

ここで，この 2 つのシステム翻訳を先に示した BLEU で評価してみよう ${ }^{3} . h_{1}, h_{2}$ とも $r$ よりも長いため，ともに $\mathrm{BP}$ は 1 となる． $h_{1}$ の $P_{1} \sim P_{4}$ はそれぞれ，9/12，7/11，5/10，3/9なので，BLEU スコアは 0.53 となる。一方， $h_{2}$ の $P_{1} \sim P_{4}$ はそれぞれ，11/11，9/10，6/9，4/8 なので，BLEU スコアは 0.74 となる。この結果は，我々の直感に反しており，BLEUを最大化するようにシステムを最適化することが，良い翻訳システムの開発に結びつくかどうかは疑問である。

こうした問題が起こる原因は $\mathrm{N}$ グラムという局所的な語の並びにのみに着目してスコアを計算することにある，短い単語列のみを評価対象とすると，先の例のように，参照翻訳の節中の Nグラムを保持していれば，節の順番が入れ替わったとしても十分高いスコアを獲得する.

もちろん， $h_{2}$ のような翻訳をシステムが出力するようなことはほとんどあり得ないのではないかという疑問もあろう。確かに語順が似た言語対を対象とする場合や翻訳システムがルールベースで構築されている場合には起こりにくい問題であるが, 語順が大きく異なる言語対を対象とした統計翻訳 (Statistical Machine Translation: SMT) システムでは十分起こり得る問題である。 以下に Web 上の SMT による翻訳サービスの出力例を示す.

原文：ボブはメアリに指輪を買うためにジョンの店に行った。

参照翻訳： Bob went to John's store to buy a ring for Mary.

SMT 出力： Bob to buy rings, Mary went to John shop.

SMT 出力をみると, 訳語という観点では参照翻訳と良く合致しており，バイグラム，トライグラムでもある程度の数が一致している。しかし, 原文の「店に行く」の主体が「ボブ」であるという構造を捉えることができず，その主体が「メアリ」となってしまっている．SMT システムでは，大きな語順の入れ替えを許すと探索空間は膨大になる。よって，現実的な時間で翻訳文を生成するため，語順の入れ替えにある程度の制限を設けざるを得ない。その結果，Nグラムでは参照翻訳と良く合致するものの原文の意味とはかけ離れた翻訳を出力することがある.

このような状況のもと， BLEU スコアで翻訳システムを比較すると，正しい評価ができない可能性が高い. なお, この問題は BLEU に限ったことではなく, その変種である NIST スコア, METEOR など Nグラム一致率を利用した自動評価法すべてに当てはまる問題である.
^{3}$ 式 (1) の定義から明らかなように BLEU は文集合を引数として評価スコアを計算する. 通常, 1 文を対象としてそのスコアを計算することはないが, ここでは説明のため 1 文での BLEU スコアを計算する.
}

## 3 LCS に基づく自動評価法の問題点

ROUGE-L (Lin and Och 2004), IMPACT (Echizen-ya and Araki 2007) は，参照翻訳とシステム翻訳との間の最長共通部分単語列 (LCS) に基づき評価スコアを決定する。先に挙げた例で説明する。

$s:$ 雨に濡れたので，彼は風邪をひいた.

$r$ : He caught a cold because he got soaked in the rain.

$h_{1}$ : He caught a cold because he had gotten wet in the rain.

$h_{2}$ : He got soaked in the rain because he caught a cold.

$r$ と $h_{1}$ との間の LCS は, "He caught a cold because he in the rain”であり, その長さ（単語数）は 9 である. $r$ の長さは $11, h_{1}$ の長さは 12 であることから, LCS の適合率は $9 / 12$, 再現率は 9/11となる. 一方, $r$ と $h_{2}$ との間の LCS は, “he got soaked in the rain”であり, その長さは 6 である。 $h_{2}$ の長さは 11 なので, LCS の適合率は $6 / 11$, 再現率は $6 / 11$ となる. ROUGE-L スコアは LCS 適合率と再現率の調和平均, $\mathrm{F}$ 値なので $\mathrm{BLEU}$ とは違い， $h_{1}$ を $h_{2}$ より高く評価することができる.

IMPACT は ROUGE-L を改良したものであり，上述の LCS を一度見つけただけでやめるのではなく, 見つかった LCS を削除した単語列に対し, 再度 LCS を探すということを繰り返す。 つまり， $h_{1}$ の例では， $r$ と $h_{1}$ から, “He caught a cold because he in the rain"を削除し,

$r$ : got soaked

$h_{1}$ : had gottten wet

から， $h_{2}$ の例では, “he got soaked in the rain”を削除し,

$r$ : caught a cold because he

$h_{2}$ : because he caught a cold

から，再度 LCS を探し出すという手順を繰り返す。

これらの手法の問題点は, 参照翻訳とシステム翻訳との間の LCS 適合率, 再現率を計算するため，それらの間で一致しなかった単語を評価の対象に含めている点にある．例えば，以下のシステム翻訳 $h_{3}$ を考えると, $r$ と $h_{3}$ との間の LCS は, "he caught a cold the rain”となるので, LCS 適合率, 再現率はそれぞれ，6/13，6/11となり，適合率が $h_{2}$ の場合より低い值をとってしまい， ROUGE-L スコアは $h_{2}$ の場合よりも低くなる.

$h_{3}$ : He caught a cold as a result of getting hit by the rain

このように適合率, 再現率といった参照翻訳とシステム翻訳との間で一致しない単語を評価に含めてしまう尺度を用いると訳語の違いに敏感になり過ぎ，システムを過小評価することがある.

## 4 語順の相関に基づく自動評価法

本稿では, $\mathrm{N}$ グラム一致率に基づく自動評価法の問題点を解決するため, 文内の局所的な語の並びに着目するのではなく, 大局的な語の並びに着目する。つまり, 参照翻訳とシステム翻訳との間で一致して出現する単語の出現順の近さに基づき評価する。さらに，訳語の違いに寛大な評価をするため, システム翻訳の単語適合率の重みを調整できるようにして別途ぺナルティとして用いる.

## 4.1 単語アラインメント

参照翻訳とシステム翻訳の語順との間の相関を計算するため, 双方の翻訳に一致して出現する単語を同定しなければならない。これは, 参照翻訳とシステム翻訳との間の単語アラインメントを決定する問題となる。本稿では，単語の表層での一致に基づくアラインメント法を採用した. Algorithm 1 にその疑似コードを示す.

システム翻訳を長さ $m$, 参照翻訳を長さ $n$ の単語リストして読み込み，アラインメントを格納する配列 worderを初期化する（1～3 行目）. システム翻訳の単語リストの先頭から順に単語 $w_{i}^{h}$ を取り出し, その単語がシステム翻訳, 参照翻訳の双方にただ 1 度のみ出現している場合, $i$ と単語 $w_{i}^{h}$ の参照翻訳における出現位置 $j$ を対応づける ( 5,6 行目). それ以外の場合, $w_{i}^{h}$ を

図 1 単語アラインメントの例

基準として右側に $\mathrm{N}$ グラムを伸長させ，システム翻訳と参照翻訳の双方における出現頻度が 1 となった時点で $i$ と $j$ を対応づける（8１3 行目）．それでも対応がつかない場合， $w_{i}^{h}$ を基準として左側に N グラムを伸長させ，システム翻訳と参照翻訳の双方における出現頻度が 1 となった時点で $i$ と $j$ を対応づける（15～20 行目)。これでも曖昧性が残る（システム翻訳と参照翻訳での頻度が 1 にならない）場合, あるいは対応先が見つからない場合は単語対応付けを行わない. 図 1 に 2 章の例文に対する単語アラインメントを示す。上段の例から, worderの 1 番目の要素, つまり, $h_{1}$ の 1 単語目が $r$ の 1 番目の要素（単語）に対応することがわかる. 下段の例から, $h_{2}$ の 1 単語目が $r$ の 6 番目の単語と対応していることがわかる.

## 4.2 単語出現順の相関

1 対 1 の単語アラインメントを決定することができれば，参照翻訳とシステム翻訳から単語出現位置 ID を要素とするリストを得ることができる。図 1 の例では, $r:[1,2,3,4,5,6,9,10,11]$, $h_{1}:[1,2,3,4,5,6,9,10,11]$ および $r:[1,2,3,4,5,6,7,8,9,10,11], \quad h_{2}:[6,7,8,9,10,11,5,1,2,3,4]$ という $2 \supset の$ リストペアを得る。こうした順序列間の順位相関係数を計算することで参照翻訳とシステム翻訳との間で一致して出現する単語の出現順の近さを測ることができる。本稿では以下に示す Kendall の順位相関係数 $(\tau)$ (Kendall 1975) を採用した。順位相関係数としては, Spearman の順位相関係数 $(\rho)$ もよく知られている。しかし, $\tau$ と比べて $\rho$ は, 順位の小さな入れ替わりには寛容すぎ，大きな入れ替わりには厳しすぎる。予備実験の結果では，人間の評価との間の相関が $\tau$ よりも低い傾向を示したため，本稿では $\tau$ を採用した.
表 1 Kendall の順位相関係数の計算例

$
\tau=\frac{\sum_{i=1}^{n-1} T_{i}-\sum_{i=1}^{n-1} U_{i}}{\frac{n(n-1)}{2}}
$

$T_{i}$ は, アラインメント手続きを用いてシステム翻訳から得た単語出現位置のIDリスト (worder) について, $i$ 番目の要素の値よりも大きな要素が $i+1$ 番目から $n$ 番目の要素までの間に出現する数, $U_{i}$ はその逆に, $i$ 番目の要素の値よりも小さな要素が $i+1$ 番目から $n$ 番目の要素までの間に出現する数を表す。表 1 に図 1 の $h_{2}$ から得た worder と $T_{i}, U_{i}$ をそれぞれ示す.この表より, $r$ と $h_{2}$ との間の語順の相関を Kendallの $\tau$ で計算すると, $\tau\left(r, h_{2}\right)=(21-34) /((11 \cdot 10) / 2)=-0.236$ となる.同様に図 1 の $h_{1}$ から得た worder を用いて $\tau\left(r, h_{1}\right)$ を計算すると $\tau\left(r, h_{1}\right)=(36-0) /((9 \cdot 8) / 2)=1$ となる。 $\tau$ は参照翻訳とシステム翻訳との語順が完全一致する場合に 1 , 逆順の場合に -1 をとる.

BLEU では, $h_{2}$ が $h_{1} よりも$ 高いスコアを獲得したが, 文全体での語順に着目し, システム翻訳と参照翻訳との間の語順の順位相関を計算すると， $h_{1}$ が $h_{2}$ よりも高いスコアを獲得でき，我々の直感に合致した結果を得ることができた.

ただし， $\tau$ は負の値をとり得るため, 従来の自動評価法が出力するスコアレンジと同様 $[0,1]$ の値をとるよう以下の式で正規化する.

$
\text { Normalized Kendall's } \tau: \text { NKT }=\frac{\tau+1}{2}
$

## 4.3 ペナルティ

参照翻訳とシステム翻訳との間の語順の相関を計算するためには, 単語アラインメントを決定し, 双方に一致して出現する単語のみを評価の対象としなければならない. しかし, 参照翻訳とシステム翻訳との間で一致する単語のみを評価対象とすることには以下の 2 つ問題がある.

（1）システム翻訳の単語数に対し, 参照翻訳との間で一致する単語の割合が少ない場合, 過剰に高いスコアを与える可能性がある.

（2）システム翻訳の単語数が少ない場合，過剰に高いスコアを与える可能性がある,

(1)に関して，以下の例を考えよう.

$r$ : John went to a restaurant yesterday
$h$ : John read a book yesterday

$h$ は 5 単語からなる訳であり，そのうち “John”, “a”, “yesterday”のみしか参照翻訳と一致していない. しかし, その出現順が参照翻訳と一致していることから NKT は 1 となる。 つまり，システムが出力した単語数に関係なく順位相関だけをみていると不当に高いスコアを獲得する可能性がある。

次に $(2)$ に関して，以下の例を考えよう.

$r$ : John went to a restaurant yesterday

$h:$ to a

システム翻訳は 2 単語しかない意味の無い訳であるにもかかわらず，単語正解率は 1 であり， 2 単語の出現順序も参照翻訳と一致していることから，NKTも 1 となる．つまり，単語数が少ない場合, 順位相関と単語正解率だけでは不当に高いスコアを獲得する可能性がある.

このように，順位相関係数を用いると，システム翻訳の 2 単語のみが参照翻訳と出現順まで一致すると，不当に高いスコアを獲得する可能性がある。よって，本稿では，前者に対して単語正解率 $(P)$, 後者に対しては BLEU の BP をぺナルティとして導入する。それぞれの定義を以下に示す.

$
\begin{gathered}
P\left(h_{i}, r_{i}\right)=\frac{\text { len (worder) }}{\operatorname{len}\left(h_{i}\right)} \\
\mathrm{BP}_{s}\left(h_{i}, r_{i}\right)=\min \left(1, \exp \left(1-\frac{\operatorname{len}\left(r_{i}\right)}{\operatorname{len}\left(h_{i}\right)}\right)\right)
\end{gathered}
$

単語正解率は, システム翻訳の単語のうちアラインメントをとることができた単語数 (len(worder)) の割合であり, len $(r)$ は, 参照翻訳の単語数, len $(h)$ はシステム翻訳の単語数である. BLEU の BP は文集合全体で計算していたが，ここでは，文単位で計算することに注意されたい。これらを用いて最終的な自動評価スコアを以下の式 (8) で定義する。なお, この手法を RIBES (Rank-based Intuitive Bilingual Evaluation Score) と名付け, http://www.kecl.ntt.co. jp/icl/lirg/ribes/にてオープンソースソフトウェアとして公開している.

$
\operatorname{RIBES}(\mathcal{H}, \mathcal{R})=\frac{\sum_{h_{i} \in \mathcal{H}} \max _{r_{j} \in R_{i}}\left.\{\operatorname{NKT}\left(h_{i}, r_{j}\right) \cdot P\left(h_{i}, r_{j}\right)^{\alpha} \cdot \mathrm{BP}_{s}\left(h_{i}, r_{j}\right)^{\beta}\right.\}}{|\mathcal{H}|}
$

$\alpha(\geq 0)$ は単語適合率の重みであり， $\alpha$ が大きいほど訳語の違いに敏感になる.
- 参照翻訳が 1 つしかない場合，参照翻訳にはない訳語をシステムが出力する可能性が高いため， $\alpha$ は小さめに設定した方がよいだろう.
- 参照翻訳が複数の場合，参照翻訳のいずれかに出現する単語をシステムが出力する可能性が高くなる。そこで，不適切な訳語を厳しく採点するため $\alpha$ は高めに設定した方がよいだろう。
$\beta(\geq 0)$ は BP の重みであり， $\beta$ が大きいほど訳文の長さに敏感になる.
- 参照翻訳が 1 つしかない場合，それよりも短い翻訳があり得る可能性が高いので， $\beta$ は小さめに設定してよいだろう.
- 参照翻訳が複数ある場合，一番短い翻訳を基準にして考えれば， $\beta$ を高めに設定してよいだろう。

## 5 実験の設定

## 5.1 実験データ

RIBES の有効性を示すため, NTCIR-7, NTCIR-9 の特許翻訳タスク (PATMT) のデータを用いて評価実験（評価指標の評価なので，以降メ夕評価と呼ぶ）を行った。言語対は英日 (EJ),日英 (JE) とした. それぞれのデータセットの文数, 1 文あたりの参照翻訳の数, 評価者の数,参加システム数を表 2 に示す。なお，カッコ内の数字はルールベースシステムの数を示す.

NTCIR ワークショップの事務局から公開されているデータには, EJ, JE夕スクとも 1 つの参照翻訳しか含まれていない。そこで，NTCIR-7のデー夕に対してのみ，特許翻訳の専門家に依頼し，参照翻訳を独自に追加した。また，NTCIR-7のEJタスクに関しては，5 システムたけにしか人間の主観評価の結果が与えられていなかったため, 特許に精通した被験者 5 名で再度 $\mathrm{JE}$ タスクと同様，5段階評価で主観評価を行った。さらに，評価対象とする翻訳システムに著者のグループの英日翻訳システム (Isozaki, Sudoh, Tsukada, and Duh 2010b) を追加し, 計 14 システムで実験を行った.

全てのデータに対し，メタ評価の対象は翻訳の内容としての適切性 (adequacy)のみとした. これは，翻訳の流暢さよりも内容の適切性を自動評価できた方がより良い翻訳システムの開発に貢献できると考えたからである.

なお，各システム翻訳文に対し複数の人間の評価スコアが与えられている場合には，その平均値を文に対する評価スコアとした。このように各システム翻訳文に対して評価値を決定し， これを文集合全体での平均したものを人間がシステムに与えた評価スコアとした。

表 2 実験データの詳細

## 5.2 比較した自動評価手法

比較評価には, $\mathrm{N}$ グラム一致率に基づく評価手法として先に説明した BLEU, 大局的な単語列を考慮した評価法として同じく先に説明したROUGE-L (Lin and Och 2004), その改良版である IMPACT (Echizen-ya and Araki 2007) を用いた. IMPACT には，LCS の長さに応じた重みパラメ夕，語順の入れ替えに応じた重みパラメタがある。詳細については文献 (Echizen-ya and Araki 2007) を参照されたい. なお, ROUGE-L, IMPACT とも参照翻訳が複数ある場合には個々の参照翻訳を用いて求めたスコアの最大值を評価スコアとして採用した．BLEU の計算には mteval-v13a, ROUGE-L には, ROUGE-1.5.5, IMPACT には IMPACT version 4 を利用した。

また, LRscore (Birch, Osborne, and Blunsom 2010; Birch and Osborne 2010, 2011) も比較評価の対象とした．LRscore は，参照翻訳とシステム翻訳との間の語順の近さを表すスコアと BLEU スコアとの間の線形補間で評価スコアを決定する。語順の近さを表す尺度としては， 八ミング距離 $d_{h}(h, r)$ を利用するものと Kendall の $\tau$ に基づく $d_{k}(h, r)$ を利用するものがあるが,以降では，本稿との関連が深い後者について述べる. LRscore の定義を以下に示す.

$
\operatorname{LRscore}(\mathcal{H}, \mathcal{R})=\gamma R(\mathcal{H}, \mathcal{R})+(1-\gamma) \operatorname{BLEU}(\mathcal{H}, \mathcal{R})
$

$R(\mathcal{H}, \mathcal{R})$ は以下の式で定義される.

$
R(\mathcal{H}, \mathcal{R})=\frac{\sum_{h_{i} \in \mathcal{H}} d\left(h_{i}, r_{i}\right) \mathrm{BP}_{s}\left(h_{i}, r_{i}\right)}{|\mathcal{H}|}
$

$d_{k}(h, r)$ は, 文献 (Birch and Osborne 2011) に従うと $d_{k}(h, r)=1-\sqrt{1-\mathrm{NKT}(h, r)}$ で定義されるが，それ以前の文献 (Birch et al. 2010; Birch and Osborne 2010) では, $d_{k}(h, r)=\mathrm{NKT}(h, r)$ も用いられている. 以降, 前者を $d_{k 1}$, 後者を $d_{k 2}$ とよぶ. RIBES で $\alpha=0, \beta=1$ と設定したときと，LRscore に $d_{k 2}$ を採用， $\gamma=1$ と設定したとき，これら 2 つの手法は一致する. しか L, LRscore は日本語, 英語のような大きな語順の入れ替えがある言語対を対象として考案された手法ではなく，ヨーロッパ言語間，中英4翻訳という比較的語順が似た言語を対象として考案されたため, 最終的には $d_{k 1}$ を採用することで順位相関の低レンジスコアの感度を下げ, さらに語順の近い言語対を対象としたときに実績のある BLEU 5 の恩恵を受けるため，それとの間の線形補間という定式化に至ったのであろう。後述するが，英日，日英翻訳の評価では BLEU を利用するメリットは期待できない。 さらに，NKT を $d_{k_{1}}$ にって非線形変換することで低レ


ンジスコアの感度をさらに下げるメリットも元々高い NKT を得ることが難しい英日，日英翻訳タスクでは期待できない。以上より，LRscore は確かに RIBES と良く似た手法といえるが， BLEU を補うために派生した評価指標と捉えた方が自然であり，RIBES とはその根底にある研

究の動機に大きな違いがある。なお, LRscore には, 参照翻訳とシステム翻訳との間の単語アラインメントを決定する手段が提供されないため，以降の実験では本稿での単語アラインメントを利用した。

## 5.3 メタ評価の指標

本稿では, メ夕評価の指標として広く用いられている Pearson の積率相関係数, Spearman の順位相関係数，Kendall の順位相関係数を用いた．Pearsonの積率相関係数は人間の評価と自動評価の結果がどの程度線形の関係にあるかを評価し, Spearman, Kendall の相関係数は人間の評価と自動評価の結果の順位がどの程度近いかを評価する. Spearman と Kendall の違いは,先にも説明したように順位の差に対して重みをどのように与えるかという点にある.

## 5.4 実験の手順

RIBES に対してはシステム翻訳の長さに対する重みパラメタと単語正解率に対する重みパラメタ，IMPACT に対してはLCS に対する重みパラメタと語順の違いに対する重みパラメタ， LRscore には順位相関係数と BLEU スコアの重みを調整するパラメタがある. これらの手法に対しては，以下の手順でパラメ夕の最適化を行い，メ夕評価を行った.

(1) 文の ID をランダムに 10 個選択する.

（2）選択した IDによる 10 文の集合を用いて，文集合全体での人間の評価スコアと自動評価スコアとの間の Spearman の順位相関係数が最大となるようパラメタを決定する。

（3）（2）で決定したパラメ夕を用いて (1)の残りの文集合全体を用いてメ夕評価を行い，相関係数を記録する。

(4)（1）から (3) を 100 回繰り返し, 相関係数の平均値を求める.

なお, パラメタが存在しない BLEU と ROUGE-Lに対しては, (2)をスキップし, 同様の手順でメ夕評価を行った。

## 6 実験結果と考察

## 6.1 NTCIR-7 データ

表 3 にオーガナイザから配布された参照翻訳のみを用いた時の相関係数の平均値, 表 4 に複数参照翻訳を用いた時の相関係数の平均値を示す. 平均値の差の検定には, ペアワイズの比較に Wilcoxon の符号順位検定 (Wilcoxon 1945)を採用し, Holm 法 (Holm 1979) による多重比較
表 3 メ夕評価の結果（NTCIR-7 データ，単一参照翻訳）

表中， 1 は RIBES， 2 は LRscore $\left(d_{k_{1}}\right), 3$ は LRscore $\left(d_{k_{2}}\right), 4$ は ROUGE-L, 5 は IMPACT， 6 は BLEU に対し，有意水準 $5 \%$ で有意差があることを示す.

表 4 メ夕評価の結果（NTCIR-7 データ，複数参照翻訳）

表中, 1 は RIBES, 2 は LRscore $\left(d_{k_{1}}\right), 3$ は LRscore $\left(d_{k_{2}}\right), 4$ は ROUGE-L, 5 は IMPACT, 6 は BLEU に対し，有意水準 $5 \%$ で有意差があることを示す.

を用いた。

表 3，4 より，どの手法に対しても Spearman の順位相関係数の方が Kendall の順位相関係数よりも高い. Kendall の順位相関係数は，2つの順序列の間で一致する半順序関係の数に基づき決定されるため, 細かな順位の間違いに敏感である。一方, Spearman の順位相関係数は順序列の間の順位の差に基づき決定されるため, 細かな順位の間違いには鈍感である。本稿で用いたデータでは，自動評価法にとって，明らかに良いシステムと悪いシステムの区別が容易であったため, 大きな差での順位の不一致が減少し, Spearman の順位相関係数が Kendall の順位相関係数よりも相対的に高い値を記録したのであろう．ただ，全体の傾向としては両者の間に大きな違いはない．Pearson の積率相関係数は順位相関係数より高い值を示しており，BLEU ではその差が特に大きい，たとえば，表 4 の英日タスクでは，Pearson が 0.9 以上であることに対し, Spearmanは 0.7 程度でしかない. これは, 人間の評価との順位付けはやや強い程度相関でしか示していないにも関わらず，線形の相関は非常に強いことを意味する．Pearson の積率相関係数は外れ值がある場合, その値が過剰に高く見積もられるということが知られているが,

その影響が強く出ているのではないかと考える。よって，以降では主に順位相関に焦点をあてて議論する。

表 3 より，日英翻訳に関しては，RIBES が他のすべての手法に対して統計的有意に優れている. 英日翻訳に関しては, RIBES と $\operatorname{LRscore}\left(d_{k 1}\right)$ が同程度で優れており, 十分強い相関である. ROUGE-L, IMPACTが, RIBES ほどではないものの比較的よい相関を得ていることに対し，BLEU は双方の言語対において，相関係数の平均值が他のほぼ全ての手法に対し統計的に有意な差で劣っている。 さらに, 順位相関係数は弱い相関程度でしかない. この結果は, 英日,日英翻訳という大きな語順の入れ替えを必要とする言語対を対象とした場合，N グラム一致率で自動評価を行うことが不適切であることを示唆している。

表 4 より，参照翻訳の数が増えると相関係数の平均値は上昇する傾向にある．BLEU の相関係数が他の手法よりも有意に劣っていることは単一参照翻訳の場合と同様であるが, 順位相関係数はやや強い相関程度にまで上昇している．ROUGE-L, IMPACT の相関係数も上昇しており， ROUGE-L は日英翻訳に関しては，他のすべての手法に対して，英日翻訳に関しては，RIBES 以外の手法に対して統計的有意に優れている。 RIBES は，日英翻訳では ROUGE-L に次いで IMPACT と同程度, 英日翻訳では ROUGE-L と同程度であるが, 十分強い相関を示している。

BLEU, ROUGE-L, IMPACT の相関係数が複数参照翻訳が与えられた場合に顕著に改善される理由は, 語彙のバリエーションが増えたことであらう. これらの手法は, $\mathrm{N}$ グラム一致率, LCS 適合率, 再現率を利用しているため, 参照翻訳とシステム翻訳との間で一致しない単語も評価対象となる。よって, 語彙の一致判定を単に文字列としての一致だけで判定すると, 意味的には一致するはずのものが一致せずに不当に低いスコアを得るという問題が起こる。しかし，複数参照翻訳の場合には, 語彙のバリエーションが増えるためこうした問題は軽減されるのであろう。一方, RIBESでもシステム翻訳と参照翻訳との間の単語一致率は利用するため, 一致しない単語を評価対象として用いているが，パラメ夕によりその影響を小さく抑えることができる。よって，単一参照翻訳でも複数参照翻訳でも安定して高い相関を示すことができた.

## 6.2 NTCIR-9 データ

表 5 に相関係数の平均値を示す. NTCIR-7 のデータとは異なり，どの手法も相関係数の平均值は大幅に低下している．特に ROUGE-L，IMPACT，BLEU は，非常に弱い相関，あるいは無相関と言えるほどである。この原因は先の実験結果と同様, 参照翻訳の数が 1 つであることに加え，評価対象となる翻訳システムの中でのルールベースの翻訳システム（SMT とのハイブリッドも含む）の占める割合が増したことにある．NTCIR-7 と比較すると，日英翻訳に関してはルールベースシステムは 2 システムから 6 システムへ, 英日翻訳に関しては 1 システムから 5 システムへと増えた。

図 2 にユニグラム適合率と人間のスコアの関係を示す. 図中四角のマーカ (RBMT-1～6,
表 5 メ夕評価の結果（NTCIR-9 データ, 単一参照翻訳）

表中, 1 は RIBES, 2 は LRscore $\left(d_{k_{1}}\right), 3$ は LRscore $\left(d_{k_{2}}\right), 4$ は ROUGE-L, 5 は IMPACT, 6 は BLEU に対し，有意水準 $5 \%$ で有意差があることを示す.

JE

EJ

図 2 ユニグラム適合率と人間のスコアの関係

JAPIO, TORI, EIWA) がルールベースの翻訳システムである。図から明らかなように，ルー ルベースの翻訳システムはユニグラム適合率が低いにも関わらず人間の評価では高いスコアを獲得している。つまり, これらのシステムの翻訳は, 参照翻訳と一致する単語の割合が少ないにも関わらず人間の評価では高いスコアを獲得している。ルールベースの翻訳システムは，訓練データから訳語を推定するSMT システムほど語彙の統制がとれていない. よって，翻訳対象のドメインに合致した語彙，すなわち，特許特有の語彙を用いて翻訳できるとは限らない。しかし, SMT システムにとって大きな問題となる語順の入れ替えに関しては, 記述されたルールに当てはまる限りは問題となり得ない。よって, 特許の訳語として多少おかしくとも文全体で意味が通る翻訳となり，その結果，人間が高いスコアを与えたのであろう。先にも説明した通り，BLEU は， $\mathrm{N}$ グラムの適合率， ROUGE-L と IMPACT は LCS の適合率・再現率に基づきスコアを決定する。つまり，参照翻訳と一致する単語の割合が大きいシステム翻訳にしか高いスコアを与えることができない。 よって，ルールベースシステムに高いスコアを与えることはできず，それらの性能を低く見積もってしまったことにより，相関が著しく低下したと考える。
一方, RIBES と LRscore はこれらの手法とは異なり, 単語正解率, BLEU スコアをパラメタで軽減することで単語一致率の低いシステムであっても高いスコアを与えることができるという特徴がある．実際，日英，英日の双方において ROUGE-L，IMPACT，BLEU といった従来の自動評価法に対し，統計的有意に高い相関係数を獲得していることがそれの有効性を示唆している.

ユニグラム適合率が低いところでの自動評価法の性能をより詳細に調べるため, ルールベー スの翻訳システムのみを取り出し，同様の実験を行い相関係数の平均値を求めたところ，表 6 を得た。翻訳システム数は日英翻訳タスクで 6 ，英日翻訳タスクで 5 である。サンプル数が少ないため，相関係数の値に対する信頼性がこれまでの実験よりも劣ることに注意されたい．表 6 より，RIBES は日英翻訳タスクで ROUGE-L，IMPACT に劣るものの全体を通してみれば他の手法より良い相関を得ている。参照翻訳が 1 つしかないという影響もあるが，英日翻訳タスクでは ROUGE-L, IMPACT, BLEU は負の相関でしかない. さらに，先に示したとおり，表 5 において RIBES がルールベースシステム，SMT システム双方を含む場合でも良い相関を得たこともふまえると，参照翻訳とシステム翻訳との間で一致する単語が少ない場合でも RIBES は有効であると考える。

以上より, BLEU, ROUGE-L, IMPACT といった単語の一致に強く依存する従来の自動評価法は, 単一参照翻訳時, 評価対象としてルールベースシステムが多く混在する場合には著しく信頼性が低下することを示した，特に，参照翻訳は常に複数与えられるとは限らないため，自動評価法としては単一参照翻訳でも人間の評価結果との間の相関が高いことが望ましい. RIBES は, 参照翻訳数, ルールベースシステムの数が変化した場合でも安定して高い相関であることから，従来の自動評価法よりも優れていると考える．ただし，RIBES には単語正解率と短い翻訳に対するペナルティを調整するための重みパラメタがある。これらパラメタを最適化するためには，いわゆる教師データが必要となることから，それを必要としない BLEU, ROUGE-L

表 6 RBMT だけを用いたメ夕評価の結果（NTCIR-9データ，単一参照翻訳）

表中， 1 は RIBES, 2 は LRscore $\left(d_{k_{1}}\right), 3$ は LRscore $\left(d_{k_{2}}\right), 4$ は ROUGE-L, 5 は IMPACT, 6 は BLEU に対し，有意水準 $5 \%$ で有意差があることを示す.

よりもコストのかかる手法とも言える。しかし，実験結果より，各システムに対し 10 文を人間が評価した結果を教師データとしてパラメ夕を最適化できることを示した。よって，十分低いコストでパラメタの最適が可能である.

## 6.3 獲得されたパラメタに関する考察

最後に RIBES と LRscore について獲得されたパラメタ， $\alpha, \beta, \gamma$ の違いから考察する. 図 3 に $\alpha, \beta$ の分布, 図 4 に $\gamma$ 分布を示す.

図 3 より, パラメタ最適化のための訓練事例が 10 文と少ないことも影響してか, 獲得されたパラメ夕にばらつきがあるが，単一参照翻訳の場合には小さな $\alpha$ が選択されている割合が多

JE

図 3 獲得されたパラメタの分布 (RIBES)
平尾, 磯崎, 須藤, Duh, 塚田, 永田

JE

語順の相関に基づく機械翻訳の自動評価法

EJ

図 4 獲得されたパラメタの分布 (LRscore)

く, 4.3 節の仮説と一致する. また, NTCIR-9 のように単一参照翻訳かつルールベースシステムの数が多い場合には， $\alpha=0$ の場合が非常に多い. 一方, 複数参照翻訳がある場合, 比較的大きな $\alpha$ が選択されている。 $\beta$ に関しては, 複数参照翻訳時には高い値が選ばれている割合が高く, 4.3 節の仮説と一致するが, 単一参照翻訳時には必ずしも低い值が選ばれておらず先の仮説と一致しない. しかし, 人間の評価との間の相関をみる限り, RIBES は従来法よりも比較的高い相関を得ていることから, これは大きな問題ではないと考える.

図 4 より, LRscore の NTCIR-9 では, $\gamma=1$ 付近が多く選択されており, 語順の相関に対する重みを上げ，語彙の一致（BLEU スコア）に対する重みを下げるようにパラメ夕を選択して

おり, RIBES と同様の傾向を示している，しかし， NTCIR-7 では，単一参照翻訳，複数参照翻訳に関わらず 0.3 から 0.6 までの値が多く選ばれており，NTCIR-9 の場合ほど BLEU スコアに対する重みを下げるようなパラメタが選択されていない． NTCIR-7 では RIBES の相関が概ね LRscore の相関を上回っていたが，その原因はこうした語彙の一致に対する重みの違いによると考える。さらに RIBES は 2 つのパラメタ $\alpha, \beta$ があることに対し, LRscore は 1 つのパラメタ $\gamma$ しかない. よって, RIBES は LRscoreよりもより柔軟にデータにフィットできる点が双方の手法のパラメ夕選択，相関係数の差に影響を与えたとも考える。

5.2 節でも述べたが, $\alpha=0, \beta=1, \gamma=1$ とした場合, RIBES も LRscore も語彙の一致スコアを考慮せず順位相関と短い翻訳に対するペナルティだけを考慮することになり，両者はほぼ一致する. 図 4 より, LRscore では $\gamma=1$ が試行の半数近くで選択されているが，図 3 の NTCIR-9 でそうした例がみられるものの全体に占める割合は決して多くはない。また, LRscore の語順相関の計算法として $d_{k 1}$ と $d_{k 2}$ の双方を試したが，一貫して， $d_{k 1}$ の方がよい相関を示した。こうしたことから，基本的には RIBES と LRscore は違うものと捉えて差し支えないだろう.

## 7 まとめと今後の課題

本稿では，翻訳時に大きな語順の入れ替えが必要となる英日，日英翻訳システムを対象として, 文全体での大局的な語順の相関を Kendall の順位相関係数に基づき決定し, これと単語適合率，短い翻訳に対するぺナルティを重み付きで乗じた自動評価法である RIBES (Rank-based Intuitive Bilingual Evaluation Score) を提案した．NTCIR-7, NTCIR-9 の特許翻訳タスクのデー 夕を用いてメ夕評価を行ったところ，BLEU，ROUGE-L, IMPACT といった従来の自動評価法は，参照翻訳の数が少ない場合，評価対象システムにおけるルールベースシステムの割合が大きい場合に相関が低下することに対し, RIBES は, こうした状況でも安定して高い相関を示すことを確認した．また，RIBES と同じくKendall の順位相関係数に基づく自動評価手法である LRscore と比較しても RIBES が少なくとも同等以上の性能であることを確認した．評価実験では，英日，日英翻訳システムを対象としたが，これ以外にも翻訳時に大きな語順の入れ替えを必要とする言語対を対象とした翻訳システムの評価時には有効であると考える.

本稿では, 100 文規模程度のコーパスを用いて翻訳システム間の優劣を人間と同様に自動評価すること，つまり，システム単位での人間の評価結果に対して相関が高い自動評価法を実現することを目的としたが，こうした粗い評価だけではなく，翻訳システムの特徴をより詳細に分析するため，個々の文に対して人間が与えたスコアと自動評価法が与えたスコアとの間の相関を向上させることを目的とした研究もある (Kulesza and Shieber 2004; Gamon, Aue, and Smets 2005; Echizen-ya and Araki 2010). 機械翻訳システムが発展していくにつれ，文単位で細かな評価をしたいという要求はより増していくと考えられるので, こうした着眼点は極めて重要で
表 7 文単位でのメ夕評価の結果

 &  & NTCIR-9 &  &  & NTCIR-9 \\

ROUGE-L & 0.583 & 0.674 & 0.009 & 0.637 & 0.746 & 0.056 \\
IMPACT & 0.638 & 0.705 & -0.020 & 0.552 & 0.647 & 0.016 \\

表中の数値は Spearman の順位相関係数を表す.

ある. ROUGE-L, IMPACT と同様, RIBES は文単位でも自動評価スコアを計算できるので, これらの手法の文単位での自動評価スコアと人間の評価スコアとの間の Spearman の順位相関係数を計算した，その結果を表 7 に示す. NTCIR-7 データでの相関が NTCIR-9 データでの相関よりも高いという傾向はシステム単位での実験結果と同様であるが，相関係数の値は大きく下がっている。この原因は, 個々の文に対する人間の評価にはゆれがあることだろう． 3 手法とも，NTCIR-7 の日英翻訳タスクではやや弱い相関，英日翻訳タスクではやや強い相関である. RIBES は ROUGE-L とほぼ同程度で，日英翻訳タスクでIMPACT に 4 ポイント程度劣るものの英日翻訳タスクでは IMPACT に 9 ポイント程度勝っている。一方， NTCIR-9 データの場合, もともとシステム単位での相関も NTCIR-7 デー夕ほど高くはなかったが, 文単位での相関は，どの手法でもほぼ無相関という結果であった。この原因には，評価のゆれに加え，各翻訳文に対する評価者が 1 名であることから，人間の評価の信頼性が低いこと， スコアが 5 段階のカテゴリカルデータになってしまったこと, 参照翻訳数が 1 つしかないことが考えられる．今後, より良い自動評価法を開発するため, こうした文単位での相関をシステム単位での相関程度まで向上させることは自動評価法の大きな課題だと考える。

## 謝 辞

本論文の内容の一部は, EMNLP 2010: Conference on Empirical Methods in Natural Language Processing で発表したものである (Isozaki, Hirao, Duh, Sudoh, and Tsukada 2010a).

## 参考文献

Banerjee, S. and Lavie, A. (2005). "Meteor: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgements." In Proceedings of ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and Summarization, pp. 65-72.

Birch, A. and Osborne, M. (2010). "LRscore for Evaluating Lexical and Reordering Quality
in MT." In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, pp. 327-332.

Birch, A. and Osborne, M. (2011). "Reordering Metrics for MT." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 1027-1035.

Birch, A., Osborne, M., and Blunsom, P. (2010). "Metrics for MT Evaluation: Evaluating Reordering." Machine Translation, 24 (1), pp. 15-26.

Doddington, G. (2002). "Automatic Evaluation of Machine Translation Quality Using N-gram Co-Occurrence Statistics." In Proceedings of the 2nd International Conference on Human Language Technology Research, pp. 138-145.

Echizen-ya, H. and Araki, K. (2007). "Automatic Evaluation of Machine Translation based on Recursive Acquisition of an Intuitive Common Parts Continuum." In Proceedings of the MT Summit XII Workshop on Patent Translation, pp. 151-158.

Echizen-ya, H. and Araki, K. (2010). "Automatic Evaluation Method for Machine Translation Using Noun-Phrase Chunking." In Processings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 108-117.

Echizen-ya, H., Ehara, T., Shimohata, S., Fujii, A., Utiyama, M., Yamamoto, M., Utsuro, T., and Kando, N. (2009). "Meta-Evaluation of Automatic Evaluation Methods for Machine Translation using Patent Translation Data in NTCIR-7." In Proceedings of the 3rd Workshop on Patent Translation, pp. 9-16.

Fujii, A., Utiyama, M., Yamamoto, M., and Utsuro, T. (2008). "Overview of the Patent Machine Translation Taks at the NTCIR-7 Workshop." In Proceedings of NTCIR-7 Workshop Meeting, pp. 389-400.

Gamon, M., Aue, A., and Smets, M. (2005). "Sentence-level MT Evaluation Without Reference Translations: Beyond Language Modeling." In Proceedings of the European Association for Machine Translation (EAMT), pp. 103-111.

Goto, I., Lu, B., Chow, K. P., Sumita, E., and Tsou, B. K. (2011). "Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop." In Proceedings of NTCIR-9 Workshop Meeting, pp. 559-573.

Holm, S. (1979). "A Simple Sequentially Rejective Multiple Test Procedure." Scandinavian Journal of Statistics, 6, pp. 65-70.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., and Tsukada, H. (2010a). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP)-2010, pp. 944-952.

Isozaki, H., Sudoh, K., Tsukada, H., and Duh, K. (2010b). "Head Finalization: A Simple Reordering Rule for SOV Languages." In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, pp. 250-257.

Kendall, M. G. (1975). Rank Correlation Methods. Charles Griffin.

Kulesza, A. and Shieber, S. M. (2004). "A Learning Approach to Improving Sentence-Level MT Evaluation." In Proceedings of the 10th International Conference on Theoretical and Methodological Issues in Machine Translation (TMI), pp. 75-84.

Leusch, G., Ueffing, N., and Ney, H. (2003). "A Novel String-to-String Distance Measure with Application to Machine Translation Evaluation." In Proceedings of the MT Summit IX, pp. 240-247.

Lin, C.-Y. and Och, F. J. (2004). "Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statistics." In Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics, pp. 311-318.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistic (ACL), pp. 311-318.

Wilcoxon, F. (1945). "Individual Comparisons by Ranking Methods." Biometrics Bulletin, 1 (6), pp. 80-83.

## 略歴

平尾努：1995 年関西大学工学部電気工学科卒業. 1997 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年株式会社 NTT データ入社. 2000 年より NTT コミュニケーション科学基礎研究所に所属. 博士（工学). 自然言語処理の研究に従事. 言語処理学会, 情報処理学会, ACL 各会員.

磯崎秀樹：1983 年東京大学工学部計数工学科卒業. 1986 年同大学院修士課程修了. 同年日本電信電話株式会社入社. 2011 年より岡山県立大学情報工学部教授. 博士 (工学). 言語処理学会, $\mathrm{ACM}$, 情報処理学会, 人工知能学会, 電子情報通信学会各会員.

須藤克仁 : 2000 年京都大学工学部卒. 2002 年同大大学院情報学研究科修士課程修了. 同年日本電信電話株式会社入社. 現在に至る. 音声言語処理, 統計的機械翻訳に関する研究に従事.

Duh Kevin: 2003 年米国ライス大学工学部電気工学専攻卒業. 2006 年米国ワシントン大学大学院電気工学研究科修士課程修了. 2009 年同大学院博士後期課程修了。同年 NTTコミュニケーション科学基礎研究所リサーチアソシェ

イト. 2012 年奈良先端科学技術大学院大学助教. 自然言語処理に関する研究に従事。

塚田元：1987 年東京工業大学理学部情報科学科卒業. 1989 年同大学院理工学研究科修士課程修了. 同年日本電信電話株式会社入社. 現在, NTT コミュニケーション科学基礎研究所に所属. 統計的機械翻訳の研究に従事. 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会, 日本音響学会, ACL 各会員。

永田昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所主幹研究員 (上席特別研究員). 工学博士. 統計的自然言語処理の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

