# 語順の相関に基づく機械翻訳の自動評価法

平尾 努 $\dagger$ ・磯崎 秀樹 $\dagger+$ ・須藤 克仁 $^{\dagger} \cdot$ Duh Kevin ${ }^{\dagger \dagger \dagger}$ ・
塚田 元 $^{\dagger} \cdot$ 永田 昌明 $\dagger$
}

効率的に機械翻訳システムを開発していくためには，質の高い自動評価法が必要と なる。これまでに様々な自動評価法が提案されてきたが，参照翻訳とシステム翻訳 との間で一致する $\mathrm{N}$ グラムの割合に基づきスコアを決定する BLEU や最大共通部分単語列の割合に基づきスコアを決定する ROUGE-L などがよく用いられてきた. し かし，こうした方法にはいつくかの問題がある。ルールベース翻訳 (RBMT) の訳を 人間は高く評価するが, 従来の自動評価法は低く評価する。これは, RBMT が参照翻訳と違う訳語を使うことが多いのが原因である。これら従来の自動評価法は単語 が一致しないと大きくスコアが下がるが，人間はそうとは限らない。一方，統計的機械翻訳 (SMT) で英日，日英翻訳を行うと，「Aなので $\mathrm{B} 」$ と訳すべきところを「B なので $\mathrm{A}\rfloor$ 訳されがちである。この訳には低いスコアが与えられるべきであるが， $\mathrm{N}$ グラムの一致割合に着目するとあまりスコアは下がらない。こうした問題を解決 するため, 本稿では, 訳語の違いに寛大で, かつ, 大局的な語順を考慮した自動評価法を提案する。大局的な語順は順位相関係数で測定し, 訳語の違いは, 単語適合率で測定するがパラメタでその重みを調整できるようにする。 NTCIR-7, NTCIR-9 の特許翻訳タスクにおける英日，日英翻訳のデータを用いてメ夕評価を行ったとこ ろ，提案手法が従来の自動評価法よりも優れていることを確認した.

キーワード：機械翻訳，自動評価法，順位相関
## Evaluating Translation Quality with Word Order Correlations

Tsutomu Hirao $^{\dagger}$, Hideki Isozaki ${ }^{\dagger \dagger}$, Katsuhito Sudoh $^{\dagger}$, Kevin Duh ${ }^{\dagger \dagger \dagger}$, Hajime TsuKada $^{\dagger}$ and MasaAKi Nagata ${ }^{\dagger}$

meaning. Statistical MT (SMT) tends to translate "A because B" as "B because A" in case of translation between Japanese and English. BLEU does not care about global word order, and this severe mistake is not penalized very much. In order to consider global word order, this paper proposes a lenient automatic evaluation metric based on rank correlation of word order. By focusing on only words common between the two translations, this method is lenient with the use of alternative words. The difference of words is measured by precision of words, and its weight is controlled by a parameter. By using submissions of NTCIR-7 \& 9's Patent Translation task, the proposed method outperforms conventional measures in terms of system level comparison.

Key Words: Machine Translation, Automatic Evaluation, Rank Correlation

## 1 はじめに

機械翻訳システムの開発過程では, システムの評価と改良を幾度も繰り返さねばならない.信頼性の高い評価を行うためには，人間による評価を採用することが理想ではあるが，時間的 な制約を考えるとこれは困難である。よって，人間と同程度の質を持つ自動評価法，つまり，人間の評価と高い相関を持つ自動評価法を利用して人間の評価を代替することが実用上求められ $る^{1}$.

こうした背景のもと, 様々な自動評価法が提案されてきた. BLEU (Papineni, Roukos, Ward, and Zhu 2002), NIST (Doddington 2002), METEOR (Banerjee and Lavie 2005), Word Error Rate (WER) (Leusch, Ueffing, and Ney 2003) などが広く利用されているが, そのなかでも BLEU (Papineni et al. 2002)は, 数多くの論文でシステム評価の指標として採用されているだけでな く, 評価型ワークショップにおける公式指標としても用いられており, 自動評価のデファクト スタンダードとなっている。その理由は，人間による評価との相関が高いと言われていること，計算法がシステム翻訳と参照翻訳（正解翻訳）との間で一致する $\mathrm{N}$ グラム（一般的に $\mathrm{N}=4$ が 用いられる）を数えあげるだけで実装も簡単なことにある.

しかし，BLEUのように Nグラムという短い単語列にのみに着目してスコアを決定すると， システム翻訳が参照翻訳の N グラムを局所的に保持しているだけで，その意味が参照翻訳の意味と大きく乘離していようとも高いスコアを与えてしまう．局所的な N グラムは一致しつつも 参照翻訳とは異なるような意味を持つ翻訳をシステムが生成するという現象は，翻訳時に大き な語順の入れ替えを必要としない言語間，つまり，構文が似ている言語間の翻訳ではほとんど 起こらない，例えば，構文が似ている言語対である英語，仏語の間の翻訳では大きな語順の入 れ替えは必要なく, BLEU と人間の評価結果との間の相関も高い (Papineni et al. 2002). 一方,
^{1}$ 本稿では, 100 文規模程度のコーパスを用いて翻訳システムの性能を評価すること，つまり，システム間の優劣を 比較することを目的とした自動評価法について議論する。
}
日本語と英語のように翻訳時に大きな語順の入れ替えが必要となる言語対を対象とすると，先 に示した問題が深刻となる。例えば, Echizen-ya らは日英翻訳において, BLEU (Papineni et al. 2002), その変種である NIST (Doddington 2002) と人間の評価との間の相関が低いことを報告し ている (Echizen-ya, Ehara, Shimohata, Fujii, Utiyama, Yamamoto, Utsuro, and Kando 2009).

文全体の大局的な語順を考慮する自動評価法としては, ROUGE-L (Lin and Och 2004), IMPACT (Echizen-ya and Araki 2007) がある。これらの手法は参照翻訳とシステム翻訳との間で一致す る最長共通部分単語列 (Longest Common Subsequence: LCS) に基づき評価スコアを決定する. LCS という文全体での大局的な語順を考慮していることから，英日，日英翻訳システムの評価 において， Nグラム一致率に基づく自動評価法よりもより良い評価ができるだろう。しかし， $\mathrm{N}$ グラム一致率に基づく自動評価法と同様, 訳語の違いに敏感すぎるという問題がある. 後に述 べるが，NTCIR-9 での特許翻訳タスクにおいては，人間が高い評価を与えるルールベースの翻訳システムに高スコアを与えることができないという問題がある.

本稿では日英，英日という翻訳時に大きな語順の入れ替えを必要とする言語対を対象とした 翻訳システムの自動評価法を提案する。提案手法の特徴は， $\mathrm{N}$ グラムという文中の局所的な単語の並びに着目するのではなく, 文全体における大局的な語順に着目する点と, 参照翻訳とシス テム翻訳との間で一致しない単語を採点から外し, 別途, ペナルティとしてそれをどの程度重要視するかを調整できるようにすることで訳語の違いに対して寛大な評価を行う点にある。よ り具体的には，システム翻訳と参照翻訳との間の語順の近さを測るため，両者に一致して出現 する単語を同定した後，それらの出現順序の近さを順位相関係数を用いて計算し，これに重み 付き単語正解率と短い翻訳に対するぺナルティを乗じたものを最終的なスコアとする.

近年，提案手法と同じく語順の相関に基づいた自動評価法である LRscore が Birch らによっ て独立に提案されている (Birch and Osborne 2011). LRscore は，参照翻訳とシステム翻訳と の間で一致する単語の語順の近さを Kendall 距離で表し，それをさらに低レンジでのスコアを 下げるために非線形変換した後，短い翻訳に対するぺナルティを乗じ，さらに BLEU スコアと の線形補間で評価スコアを決定する。提案手法と LRscore は特殊な状況下では同一の定式化と なるが，研究対象としてきた言語対が異なることから，相関係数と語彙の一致に対する考え方 が大きく異なる.

提案手法がどの程度人間の評価に近いかを調べるため, NTCIR-7, NTCIR-9の日英, 英日, 特許翻訳タスク (Fujii, Utiyama, Yamamoto, and Utsuro 2008; Goto, Lu, Chow, Sumita, and Tsou 2011)のデータを用いて検証したところ，翻訳システムの評価という観点から，従来の自動評価法よりも人間の評価に近いことを確認した.

以下，2 章では BLEU を例として， N グラムという局所的な語順に着目してシステムを評価 することの問題点, 3 章では LCS を用いてシステムを評価することの問題点を指摘する．そし て，4章でそれら問題点の解決法として，訳語の違いに寞大，かつ，大局的な語順の相関に基づ

く自動評価法を提案する． 5 章で実験の設定を詳述し， 6 章では実験結果を考察する．最後に 7 章でまとめ, 今後の課題について述べる.

## $2 \mathrm{~N$ グラムー致率に基づく自動評価法の問題点}

N グラム一致率を用いてシステム翻訳を評価する際の問題点を以下に定義する BLEU を例と して説明する。

システム翻訳文集合を $\mathcal{H}$ ，それに対応する参照翻訳文集合 2 を $\mathcal{R}$ とする。システム翻訳文 $h_{i} \in \mathcal{H}$ には，対応する参照翻訳文の集合 $R_{i} \in \mathcal{R}$ が割り当てられており， $R_{i}$ の $j$ 番目の参照翻訳文を $r_{j}$ とする．なお， $S=|\mathcal{H}|=|\mathcal{R}|$ とする. ここで， BLEUは，以下の式で定義される.

$
\mathrm{BLEU}(\mathcal{H}, \mathcal{R})=\mathrm{BP} \cdot \exp \left(\frac{1}{N} \sum_{n=1}^{N} \log P_{n}\right)
$

$N$ は $\mathrm{N}$ グラムの長さパラメタであり，一般的には $N=4$ である， $P_{n}$ は, $\mathrm{N}$ グラム適合率で あり，以下の式で定義される.

$
P_{n}=\frac{\sum_{i=1}^{S} \sum_{t_{n} \in h_{i}} \min \left(\operatorname{count}\left(h_{i}, t_{n}\right), \max \_\operatorname{count}\left(R_{i}, t_{n}\right)\right)}{\sum_{i=1}^{S} \sum_{t_{n} \in h_{i}} \operatorname{count}\left(h_{i}, t_{n}\right)}
$

$\operatorname{count}\left(h_{i}, t_{n}\right)$ は, 任意の $\mathrm{N}$ グラム $\left(t_{n}\right)$ のシステム翻訳文 $h_{i}$ における出現頻度, max_count $\left(R_{i}, t_{n}\right)$ は, $t_{n}$ の参照翻訳文集合 $R_{i}$ における出現頻度の最大値, $\max _{r_{j} \in R_{i}} \operatorname{count}\left(r_{j}, t_{n}\right)$ である. $\mathrm{BP}$ (Brevity Penalty) は，短いシステム翻訳に対するぺナルティであり，以下の式で定義される.

$
\mathrm{BP}=\min \left(1, \exp \left(1-\frac{\text { closest_len }(\mathcal{R})}{\operatorname{len}(\mathcal{H})}\right)\right)
$

closest_len $(\mathcal{R})$ は, 各 $h_{i} \in \mathcal{H}$ に対し, 最も近い単語数の参照翻訳文 $r_{j} \in R_{i}$ を決定した後, それらの単語数を全ての $i$ で合計したもの, $\operatorname{len}(\mathcal{H})$ は, $h_{i}$ 単語数を全ての $i$ で合計したものを 表す。

いま, 原文 $(s)$, 参照翻訳 $(r)$, システム翻訳 $\left(h_{1}, h_{2}\right)$ が以下の通り与えられたとしよう.

$s:$ 雨に濡れたので，彼は風邪をひいた.

$r$ : He caught a cold because he got soaked in the rain.

$h_{1}$ : He caught a cold because he had gotten wet in the rain.

$h_{2}$ : He got soaked in the rain because he caught a cold.
^{2}$ BLEU では，原文に対して複数の参照翻文があることを想定している。
}
$r$ は原文の直訳であり， $h_{1}$ はほぼそれと等しい訳であるが， $h_{2}$ は「風邪をひいたので，彼は 雨に濡れた」という意味であり, 原文が表す因果関係が逆転している， $h_{1}$ と $h_{2}$ を比較すると,翻訳としての流暢さ (fluency), いわゆる言語モデル的な確からしさは同程度であるが，内容の 適切性 (adequacy) は, $h_{1}$ が $h_{2}$ よりも高くならねばならない.

ここで，この 2 つのシステム翻訳を先に示した BLEU で評価してみよう ${ }^{3} . h_{1}, h_{2}$ とも $r$ よ りも長いため，ともに $\mathrm{BP}$ は 1 となる． $h_{1}$ の $P_{1} \sim P_{4}$ はそれぞれ，9/12，7/11，5/10，3/9なの で，BLEU スコアは 0.53 となる。一方， $h_{2}$ の $P_{1} \sim P_{4}$ はそれぞれ，11/11，9/10，6/9，4/8 な ので，BLEU スコアは 0.74 となる。この結果は，我々の直感に反しており，BLEUを最大化す るようにシステムを最適化することが，良い翻訳システムの開発に結びつくかどうかは疑問で ある。

こうした問題が起こる原因は $\mathrm{N}$ グラムという局所的な語の並びにのみに着目してスコアを計算することにある，短い単語列のみを評価対象とすると，先の例のように，参照翻訳の節中の Nグラムを保持していれば，節の順番が入れ替わったとしても十分高いスコアを獲得する.

もちろん， $h_{2}$ のような翻訳をシステムが出力するようなことはほとんどあり得ないのではな いかという疑問もあろう。確かに語順が似た言語対を対象とする場合や翻訳システムがルール ベースで構築されている場合には起こりにくい問題であるが, 語順が大きく異なる言語対を対象とした統計翻訳 (Statistical Machine Translation: SMT) システムでは十分起こり得る問題で ある。 以下に Web 上の SMT による翻訳サービスの出力例を示す.

原文：ボブはメアリに指輪を買うためにジョンの店に行った。

参照翻訳： Bob went to John's store to buy a ring for Mary.

SMT 出力： Bob to buy rings, Mary went to John shop.

SMT 出力をみると, 訳語という観点では参照翻訳と良く合致しており，バイグラム，トライ グラムでもある程度の数が一致している。しかし, 原文の「店に行く」の主体が「ボブ」である という構造を捉えることができず，その主体が「メアリ」となってしまっている．SMT システ ムでは，大きな語順の入れ替えを許すと探索空間は膨大になる。よって，現実的な時間で翻訳文を生成するため，語順の入れ替えにある程度の制限を設けざるを得ない。その結果，Nグラ ムでは参照翻訳と良く合致するものの原文の意味とはかけ離れた翻訳を出力することがある.

このような状況のもと， BLEU スコアで翻訳システムを比較すると，正しい評価ができない 可能性が高い. なお, この問題は BLEU に限ったことではなく, その変種である NIST スコア, METEOR など Nグラム一致率を利用した自動評価法すべてに当てはまる問題である.
^{3}$ 式 (1) の定義から明らかなように BLEU は文集合を引数として評価スコアを計算する. 通常, 1 文を対象としてそ のスコアを計算することはないが, ここでは説明のため 1 文での BLEU スコアを計算する.
}

## 3 LCS に基づく自動評価法の問題点

ROUGE-L (Lin and Och 2004), IMPACT (Echizen-ya and Araki 2007) は，参照翻訳とシス テム翻訳との間の最長共通部分単語列 (LCS) に基づき評価スコアを決定する。先に挙げた例で 説明する。

$s:$ 雨に濡れたので，彼は風邪をひいた.

$r$ : He caught a cold because he got soaked in the rain.

$h_{1}$ : He caught a cold because he had gotten wet in the rain.

$h_{2}$ : He got soaked in the rain because he caught a cold.

$r$ と $h_{1}$ との間の LCS は, "He caught a cold because he in the rain”であり, その長さ（単語数）は 9 である. $r$ の長さは $11, h_{1}$ の長さは 12 であることから, LCS の適合率は $9 / 12$, 再現率 は 9/11となる. 一方, $r$ と $h_{2}$ との間の LCS は, “he got soaked in the rain”であり, その長さ は 6 である。 $h_{2}$ の長さは 11 なので, LCS の適合率は $6 / 11$, 再現率は $6 / 11$ となる. ROUGE-L スコアは LCS 適合率と再現率の調和平均, $\mathrm{F}$ 値なので $\mathrm{BLEU}$ とは違い， $h_{1}$ を $h_{2}$ より高く評価することができる.

IMPACT は ROUGE-L を改良したものであり，上述の LCS を一度見つけただけでやめるの ではなく, 見つかった LCS を削除した単語列に対し, 再度 LCS を探すということを繰り返す。 つまり， $h_{1}$ の例では， $r$ と $h_{1}$ から, “He caught a cold because he in the rain"を削除し,

$r$ : got soaked

$h_{1}$ : had gottten wet

から， $h_{2}$ の例では, “he got soaked in the rain”を削除し,

$r$ : caught a cold because he

$h_{2}$ : because he caught a cold

から，再度 LCS を探し出すという手順を繰り返す。

これらの手法の問題点は, 参照翻訳とシステム翻訳との間の LCS 適合率, 再現率を計算する ため，それらの間で一致しなかった単語を評価の対象に含めている点にある．例えば，以下の システム翻訳 $h_{3}$ を考えると, $r$ と $h_{3}$ との間の LCS は, "he caught a cold the rain”となるので, LCS 適合率, 再現率はそれぞれ，6/13，6/11となり，適合率が $h_{2}$ の場合より低い值をとって しまい， ROUGE-L スコアは $h_{2}$ の場合よりも低くなる.

$h_{3}$ : He caught a cold as a result of getting hit by the rain

このように適合率, 再現率といった参照翻訳とシステム翻訳との間で一致しない単語を評価 に含めてしまう尺度を用いると訳語の違いに敏感になり過ぎ，システムを過小評価することが ある.

## 4 語順の相関に基づく自動評価法

本稿では, $\mathrm{N}$ グラム一致率に基づく自動評価法の問題点を解決するため, 文内の局所的な語の 並びに着目するのではなく, 大局的な語の並びに着目する。つまり, 参照翻訳とシステム翻訳 との間で一致して出現する単語の出現順の近さに基づき評価する。さらに，訳語の違いに寛大 な評価をするため, システム翻訳の単語適合率の重みを調整できるようにして別途ぺナルティ として用いる.

## 4.1 単語アラインメント

参照翻訳とシステム翻訳の語順との間の相関を計算するため, 双方の翻訳に一致して出現す る単語を同定しなければならない。これは, 参照翻訳とシステム翻訳との間の単語アラインメ ントを決定する問題となる。本稿では，単語の表層での一致に基づくアラインメント法を採用 した. Algorithm 1 にその疑似コードを示す.

システム翻訳を長さ $m$, 参照翻訳を長さ $n$ の単語リストして読み込み，アラインメントを格納する配列 worderを初期化する（1～3 行目）. システム翻訳の単語リストの先頭から順に単語 $w_{i}^{h}$ を取り出し, その単語がシステム翻訳, 参照翻訳の双方にただ 1 度のみ出現している場合, $i$ と単語 $w_{i}^{h}$ の参照翻訳における出現位置 $j$ を対応づける ( 5,6 行目). それ以外の場合, $w_{i}^{h}$ を

図 1 単語アラインメントの例

基準として右側に $\mathrm{N}$ グラムを伸長させ，システム翻訳と参照翻訳の双方における出現頻度が 1 となった時点で $i$ と $j$ を対応づける（8１3 行目）．それでも対応がつかない場合， $w_{i}^{h}$ を基準と して左側に N グラムを伸長させ，システム翻訳と参照翻訳の双方における出現頻度が 1 となっ た時点で $i$ と $j$ を対応づける（15～20 行目)。これでも曖昧性が残る（システム翻訳と参照翻訳 での頻度が 1 にならない）場合, あるいは対応先が見つからない場合は単語対応付けを行わな い. 図 1 に 2 章の例文に対する単語アラインメントを示す。上段の例から, worderの 1 番目の 要素, つまり, $h_{1}$ の 1 単語目が $r$ の 1 番目の要素（単語）に対応することがわかる. 下段の例 から, $h_{2}$ の 1 単語目が $r$ の 6 番目の単語と対応していることがわかる.

## 4.2 単語出現順の相関

1 対 1 の単語アラインメントを決定することができれば，参照翻訳とシステム翻訳から単語出現位置 ID を要素とするリストを得ることができる。図 1 の例では, $r:[1,2,3,4,5,6,9,10,11]$, $h_{1}:[1,2,3,4,5,6,9,10,11]$ および $r:[1,2,3,4,5,6,7,8,9,10,11], \quad h_{2}:[6,7,8,9,10,11,5,1,2,3,4]$ という $2 \supset の$ リストペアを得る。こうした順序列間の順位相関係数を計算することで参照翻訳とシステム 翻訳との間で一致して出現する単語の出現順の近さを測ることができる。本稿では以下に示す Kendall の順位相関係数 $(\tau)$ (Kendall 1975) を採用した。順位相関係数としては, Spearman の 順位相関係数 $(\rho)$ もよく知られている。しかし, $\tau$ と比べて $\rho$ は, 順位の小さな入れ替わりに は寛容すぎ，大きな入れ替わりには厳しすぎる。予備実験の結果では，人間の評価との間の相関が $\tau$ よりも低い傾向を示したため，本稿では $\tau$ を採用した.
表 1 Kendall の順位相関係数の計算例

$
\tau=\frac{\sum_{i=1}^{n-1} T_{i}-\sum_{i=1}^{n-1} U_{i}}{\frac{n(n-1)}{2}}
$

$T_{i}$ は, アラインメント手続きを用いてシステム翻訳から得た単語出現位置のIDリスト (worder) について, $i$ 番目の要素の値よりも大きな要素が $i+1$ 番目から $n$ 番目の要素までの間に出現する数, $U_{i}$ はその逆に, $i$ 番目の要素の値よりも小さな要素が $i+1$ 番目から $n$ 番目の要素までの間に出現す る数を表す。表 1 に図 1 の $h_{2}$ から得た worder と $T_{i}, U_{i}$ をそれぞれ示す.この表より, $r$ と $h_{2}$ と の間の語順の相関を Kendallの $\tau$ で計算すると, $\tau\left(r, h_{2}\right)=(21-34) /((11 \cdot 10) / 2)=-0.236$ となる.同様に図 1 の $h_{1}$ から得た worder を用いて $\tau\left(r, h_{1}\right)$ を計算すると $\tau\left(r, h_{1}\right)=(36-0) /((9 \cdot 8) / 2)=1$ となる。 $\tau$ は参照翻訳とシステム翻訳との語順が完全一致する場合に 1 , 逆順の場合に -1 を とる.

BLEU では, $h_{2}$ が $h_{1} よ り も$ 高いスコアを獲得したが, 文全体での語順に着目し, システム 翻訳と参照翻訳との間の語順の順位相関を計算すると， $h_{1}$ が $h_{2}$ よりも高いスコアを獲得でき，我々の直感に合致した結果を得ることができた.

ただし， $\tau$ は負の値をとり得るため, 従来の自動評価法が出力するスコアレンジと同様 $[0,1]$ の値をとるよう以下の式で正規化する.

$
\text { Normalized Kendall's } \tau: \text { NKT }=\frac{\tau+1}{2}
$

## 4.3 ペナルティ

参照翻訳とシステム翻訳との間の語順の相関を計算するためには, 単語アラインメントを決定し, 双方に一致して出現する単語のみを評価の対象としなければならない. しかし, 参照翻訳とシステム翻訳との間で一致する単語のみを評価対象とすることには以下の 2 つ問題がある.

（1）システム翻訳の単語数に対し, 参照翻訳との間で一致する単語の割合が少ない場合, 過剰に高いスコアを与える可能性がある.

（2）システム翻訳の単語数が少ない場合，過剰に高いスコアを与える可能性がある,

(1)に関して，以下の例を考えよう.

$r$ : John went to a restaurant yesterday
$h$ : John read a book yesterday

$h$ は 5 単語からなる訳であり，そのうち “John”, “a”, “yesterday”のみしか参照翻訳と一致 していない. しかし, その出現順が参照翻訳と一致していることから NKT は 1 となる。 つま り，システムが出力した単語数に関係なく順位相関だけをみていると不当に高いスコアを獲得 する可能性がある。

次に $(2)$ に関して，以下の例を考えよう.

$r$ : John went to a restaurant yesterday

$h:$ to a

システム翻訳は 2 単語しかない意味の無い訳であるにもかかわらず，単語正解率は 1 であり， 2 単語の出現順序も参照翻訳と一致していることから，NKTも 1 となる．つまり，単語数が少 ない場合, 順位相関と単語正解率だけでは不当に高いスコアを獲得する可能性がある.

このように，順位相関係数を用いると，システム翻訳の 2 単語のみが参照翻訳と出現順まで 一致すると，不当に高いスコアを獲得する可能性がある。よって，本稿では，前者に対して単語正解率 $(P)$, 後者に対しては BLEU の BP をぺナルティとして導入する。それぞれの定義を 以下に示す.

$
\begin{gathered}
P\left(h_{i}, r_{i}\right)=\frac{\text { len (worder) }}{\operatorname{len}\left(h_{i}\right)} \\
\mathrm{BP}_{s}\left(h_{i}, r_{i}\right)=\min \left(1, \exp \left(1-\frac{\operatorname{len}\left(r_{i}\right)}{\operatorname{len}\left(h_{i}\right)}\right)\right)
\end{gathered}
$

単語正解率は, システム翻訳の単語のうちアラインメントをとることができた単語数 (len(worder)) の割合であり, len $(r)$ は, 参照翻訳の単語数, len $(h)$ はシステム翻訳の単語数である. BLEU の BP は文集合全体で計算していたが，ここでは，文単位で計算することに注意されたい。こ れらを用いて最終的な自動評価スコアを以下の式 (8) で定義する。なお, この手法を RIBES (Rank-based Intuitive Bilingual Evaluation Score) と名付け, http://www.kecl.ntt.co. jp/icl/lirg/ribes/にてオープンソースソフトウェアとして公開している.

$
\operatorname{RIBES}(\mathcal{H}, \mathcal{R})=\frac{\sum_{h_{i} \in \mathcal{H}} \max _{r_{j} \in R_{i}}\left.\{\operatorname{NKT}\left(h_{i}, r_{j}\right) \cdot P\left(h_{i}, r_{j}\right)^{\alpha} \cdot \mathrm{BP}_{s}\left(h_{i}, r_{j}\right)^{\beta}\right.\}}{|\mathcal{H}|}
$

$\alpha(\geq 0)$ は単語適合率の重みであり， $\alpha$ が大きいほど訳語の違いに敏感になる.
- 参照翻訳が 1 つしかない場合，参照翻訳にはない訳語をシステムが出力する可能性が高 いため， $\alpha$ は小さめに設定した方がよいだろう.
- 参照翻訳が複数の場合，参照翻訳のいずれかに出現する単語をシステムが出力する可能性が高くなる。そこで，不適切な訳語を厳しく採点するため $\alpha$ は高めに設定した方がよ いだろう。
$\beta(\geq 0)$ は BP の重みであり， $\beta$ が大きいほど訳文の長さに敏感になる.
- 参照翻訳が 1 つしかない場合，それよりも短い翻訳があり得る可能性が高いので， $\beta$ は 小さめに設定してよいだろう.
- 参照翻訳が複数ある場合，一番短い翻訳を基準にして考えれば， $\beta$ を高めに設定してよ いだろう。

## 5 実験の設定

## 5.1 実験データ

RIBES の有効性を示すため, NTCIR-7, NTCIR-9 の特許翻訳タスク (PATMT) のデータを 用いて評価実験（評価指標の評価なので，以降メ夕評価と呼ぶ）を行った。言語対は英日 (EJ),日英 (JE) とした. それぞれのデータセットの文数, 1 文あたりの参照翻訳の数, 評価者の数,参加システム数を表 2 に示す。なお，カッコ内の数字はルールベースシステムの数を示す.

NTCIR ワークショップの事務局から公開されているデータには, EJ, JE夕スクとも 1 つの 参照翻訳しか含まれていない。そこで，NTCIR-7のデー夕に対してのみ，特許翻訳の専門家に 依頼し，参照翻訳を独自に追加した。また，NTCIR-7のEJタスクに関しては，5 システムた けにしか人間の主観評価の結果が与えられていなかったため, 特許に精通した被験者 5 名で再度 $\mathrm{JE}$ タスクと同様，5段階評価で主観評価を行った。さらに，評価対象とする翻訳システム に著者のグループの英日翻訳システム (Isozaki, Sudoh, Tsukada, and Duh 2010b) を追加し, 計 14 システムで実験を行った.

全てのデータに対し，メタ評価の対象は翻訳の内容としての適切性 (adequacy)のみとした. これは，翻訳の流暢さよりも内容の適切性を自動評価できた方がより良い翻訳システムの開発 に貢献できると考えたからである.

なお，各システム翻訳文に対し複数の人間の評価スコアが与えられている場合には，その平均値を文に対する評価スコアとした。このように各システム翻訳文に対して評価値を決定し， これを文集合全体での平均したものを人間がシステムに与えた評価スコアとした。

表 2 実験データの詳細

## 5.2 比較した自動評価手法

比較評価には, $\mathrm{N}$ グラム一致率に基づく評価手法として先に説明した BLEU, 大局的な単語列を考慮した評価法として同じく先に説明したROUGE-L (Lin and Och 2004), その改良版で ある IMPACT (Echizen-ya and Araki 2007) を用いた. IMPACT には，LCS の長さに応じた重 みパラメ夕，語順の入れ替えに応じた重みパラメタがある。詳細については文献 (Echizen-ya and Araki 2007) を参照されたい. なお, ROUGE-L, IMPACT とも参照翻訳が複数ある場合に は個々の参照翻訳を用いて求めたスコアの最大值を評価スコアとして採用した．BLEU の計算 には mteval-v13a, ROUGE-L には, ROUGE-1.5.5, IMPACT には IMPACT version 4 を利用 した。

また, LRscore (Birch, Osborne, and Blunsom 2010; Birch and Osborne 2010, 2011) も比較評価の対象とした．LRscore は，参照翻訳とシステム翻訳との間の語順の近さを表すスコアと BLEU スコアとの間の線形補間で評価スコアを決定する。語順の近さを表す尺度としては， 八 ミング距離 $d_{h}(h, r)$ を利用するものと Kendall の $\tau$ に基づく $d_{k}(h, r)$ を利用するものがあるが,以降では，本稿との関連が深い後者について述べる. LRscore の定義を以下に示す.

$
\operatorname{LRscore}(\mathcal{H}, \mathcal{R})=\gamma R(\mathcal{H}, \mathcal{R})+(1-\gamma) \operatorname{BLEU}(\mathcal{H}, \mathcal{R})
$

$R(\mathcal{H}, \mathcal{R})$ は以下の式で定義される.

$
R(\mathcal{H}, \mathcal{R})=\frac{\sum_{h_{i} \in \mathcal{H}} d\left(h_{i}, r_{i}\right) \mathrm{BP}_{s}\left(h_{i}, r_{i}\right)}{|\mathcal{H}|}
$

$d_{k}(h, r)$ は, 文献 (Birch and Osborne 2011) に従うと $d_{k}(h, r)=1-\sqrt{1-\mathrm{NKT}(h, r)}$ で定義さ れるが，それ以前の文献 (Birch et al. 2010; Birch and Osborne 2010) では, $d_{k}(h, r)=\mathrm{NKT}(h, r)$ も用いられている. 以降, 前者を $d_{k 1}$, 後者を $d_{k 2}$ とよぶ. RIBES で $\alpha=0, \beta=1$ と設定した ときと，LRscore に $d_{k 2}$ を採用， $\gamma=1$ と設定したとき，これら 2 つの手法は一致する. しか L, LRscore は日本語, 英語のような大きな語順の入れ替えがある言語対を対象として考案され た手法ではなく，ヨーロッパ言語間，中英4翻訳という比較的語順が似た言語を対象として考案 されたため, 最終的には $d_{k 1}$ を採用することで順位相関の低レンジスコアの感度を下げ, さら に語順の近い言語対を対象としたときに実績のある BLEU 5 の恩恵を受けるため，それとの間 の線形補間という定式化に至ったのであろう。後述するが，英日，日英翻訳の評価では BLEU を利用するメリットは期待できない。 さらに，NKT を $d_{k_{1}}$ にって非線形変換することで低レ

ンジスコアの感度をさらに下げるメリットも元々高い NKT を得ることが難しい英日，日英翻訳タスクでは期待できない。以上より，LRscore は確かに RIBES と良く似た手法といえるが， BLEU を補うために派生した評価指標と捉えた方が自然であり，RIBES とはその根底にある研

究の動機に大きな違いがある。なお, LRscore には, 参照翻訳とシステム翻訳との間の単語ア ラインメントを決定する手段が提供されないため，以降の実験では本稿での単語アラインメン トを利用した。

## 5.3 メタ評価の指標

本稿では, メ夕評価の指標として広く用いられている Pearson の積率相関係数, Spearman の 順位相関係数，Kendall の順位相関係数を用いた．Pearsonの積率相関係数は人間の評価と自動評価の結果がどの程度線形の関係にあるかを評価し, Spearman, Kendall の相関係数は人間 の評価と自動評価の結果の順位がどの程度近いかを評価する. Spearman と Kendall の違いは,先にも説明したように順位の差に対して重みをどのように与えるかという点にある.

## 5.4 実験の手順

RIBES に対してはシステム翻訳の長さに対する重みパラメタと単語正解率に対する重みパ ラメタ，IMPACT に対してはLCS に対する重みパラメタと語順の違いに対する重みパラメタ， LRscore には順位相関係数と BLEU スコアの重みを調整するパラメタがある. これらの手法に 対しては，以下の手順でパラメ夕の最適化を行い，メ夕評価を行った.

(1) 文の ID をランダムに 10 個選択する.

（2）選択した IDによる 10 文の集合を用いて，文集合全体での人間の評価スコアと自動評価 スコアとの間の Spearman の順位相関係数が最大となるようパラメタを決定する。

（3）（2）で決定したパラメ夕を用いて (1)の残りの文集合全体を用いてメ夕評価を行い，相関係数を記録する。

(4)（1）から (3) を 100 回繰り返し, 相関係数の平均値を求める.

なお, パラメタが存在しない BLEU と ROUGE-Lに対しては, (2)をスキップし, 同様の手順でメ夕評価を行った。

## 6 実験結果と考察

## 6.1 NTCIR-7 データ

表 3 にオーガナイザから配布された参照翻訳のみを用いた時の相関係数の平均値, 表 4 に複数参照翻訳を用いた時の相関係数の平均値を示す. 平均値の差の検定には, ペアワイズの比較 に Wilcoxon の符号順位検定 (Wilcoxon 1945)を採用し, Holm 法 (Holm 1979) による多重比較
表 3 メ夕評価の結果（NTCIR-7 データ，単一参照翻訳）

表中， 1 は RIBES， 2 は LRscore $\left(d_{k_{1}}\right), 3$ は LRscore $\left(d_{k_{2}}\right), 4$ は ROUGE-L, 5 は IMPACT， 6 は BLEU に対し，有意水準 $5 \%$ で有意差があることを示す.

表 4 メ夕評価の結果（NTCIR-7 データ，複数参照翻訳）

表中, 1 は RIBES, 2 は LRscore $\left(d_{k_{1}}\right), 3$ は LRscore $\left(d_{k_{2}}\right), 4$ は ROUGE-L, 5 は IMPACT, 6 は BLEU に対し，有意水準 $5 \%$ で有意差があることを示す.

を用いた。

表 3，4 より，どの手法に対しても Spearman の順位相関係数の方が Kendall の順位相関係数よりも高い. Kendall の順位相関係数は，2つの順序列の間で一致する半順序関係の数に基づ き決定されるため, 細かな順位の間違いに敏感である。一方, Spearman の順位相関係数は順序列の間の順位の差に基づき決定されるため, 細かな順位の間違いには鈍感である。本稿で用 いたデータでは，自動評価法にとって，明らかに良いシステムと悪いシステムの区別が容易で あったため, 大きな差での順位の不一致が減少し, Spearman の順位相関係数が Kendall の順位相関係数よりも相対的に高い値を記録したのであろう．ただ，全体の傾向としては両者の間 に大きな違いはない．Pearson の積率相関係数は順位相関係数より高い值を示しており，BLEU ではその差が特に大きい，たとえば，表 4 の英日タスクでは，Pearson が 0.9 以上であることに 対し, Spearmanは 0.7 程度でしかない. これは, 人間の評価との順位付けはやや強い程度相関 でしか示していないにも関わらず，線形の相関は非常に強いことを意味する．Pearson の積率相関係数は外れ值がある場合, その値が過剰に高く見積もられるということが知られているが,

その影響が強く出ているのではないかと考える。よって，以降では主に順位相関に焦点をあて て議論する。

表 3 より，日英翻訳に関しては，RIBES が他のすべての手法に対して統計的有意に優れてい る. 英日翻訳に関しては, RIBES と $\operatorname{LRscore}\left(d_{k 1}\right)$ が同程度で優れており, 十分強い相関であ る. ROUGE-L, IMPACTが, RIBES ほどではないものの比較的よい相関を得ていることに対 し，BLEU は双方の言語対において，相関係数の平均值が他のほぼ全ての手法に対し統計的に 有意な差で劣っている。 さらに, 順位相関係数は弱い相関程度でしかない. この結果は, 英日,日英翻訳という大きな語順の入れ替えを必要とする言語対を対象とした場合，N グラム一致率 で自動評価を行うことが不適切であることを示唆している。

表 4 より，参照翻訳の数が増えると相関係数の平均値は上昇する傾向にある．BLEU の相関係数が他の手法よりも有意に劣っていることは単一参照翻訳の場合と同様であるが, 順位相関係数はやや強い相関程度にまで上昇している．ROUGE-L, IMPACT の相関係数も上昇しており， ROUGE-L は日英翻訳に関しては，他のすべての手法に対して，英日翻訳に関しては，RIBES 以外の手法に対して統計的有意に優れている。 RIBES は，日英翻訳では ROUGE-L に次いで IMPACT と同程度, 英日翻訳では ROUGE-L と同程度であるが, 十分強い相関を示している。

BLEU, ROUGE-L, IMPACT の相関係数が複数参照翻訳が与えられた場合に顕著に改善さ れる理由は, 語彙のバリエーションが増えたことであらう. これらの手法は, $\mathrm{N}$ グラム一致率, LCS 適合率, 再現率を利用しているため, 参照翻訳とシステム翻訳との間で一致しない単語も 評価対象となる。よって, 語彙の一致判定を単に文字列としての一致だけで判定すると, 意味的には一致するはずのものが一致せずに不当に低いスコアを得るという問題が起こる。しかし，複数参照翻訳の場合には, 語彙のバリエーションが増えるためこうした問題は軽減されるので あろう。一方, RIBESでもシステム翻訳と参照翻訳との間の単語一致率は利用するため, 一致 しない単語を評価対象として用いているが，パラメ夕によりその影響を小さく抑えることがで きる。よって，単一参照翻訳でも複数参照翻訳でも安定して高い相関を示すことができた.

## 6.2 NTCIR-9 データ

表 5 に相関係数の平均値を示す. NTCIR-7 のデータとは異なり，どの手法も相関係数の平均值は大幅に低下している．特に ROUGE-L，IMPACT，BLEU は，非常に弱い相関，あるいは 無相関と言えるほどである。この原因は先の実験結果と同様, 参照翻訳の数が 1 つであること に加え，評価対象となる翻訳システムの中でのルールベースの翻訳システム（SMT とのハイブ リッドも含む）の占める割合が増したことにある．NTCIR-7 と比較すると，日英翻訳に関して はルールベースシステムは 2 システムから 6 システムへ, 英日翻訳に関しては 1 システムから 5 システムへと増えた。

図 2 にユニグラム適合率と人間のスコアの関係を示す. 図中四角のマーカ (RBMT-1～6,
表 5 メ夕評価の結果（NTCIR-9 データ, 単一参照翻訳）

表中, 1 は RIBES, 2 は LRscore $\left(d_{k_{1}}\right), 3$ は LRscore $\left(d_{k_{2}}\right), 4$ は ROUGE-L, 5 は IMPACT, 6 は BLEU に対し，有意水準 $5 \%$ で有意差があることを示す.

JE

EJ

図 2 ユニグラム適合率と人間のスコアの関係

JAPIO, TORI, EIWA) がルールベースの翻訳システムである。図から明らかなように，ルー ルベースの翻訳システムはユニグラム適合率が低いにも関わらず人間の評価では高いスコアを 獲得している。つまり, これらのシステムの翻訳は, 参照翻訳と一致する単語の割合が少ない にも関わらず人間の評価では高いスコアを獲得している。ルールベースの翻訳システムは，訓練データから訳語を推定するSMT システムほど語彙の統制がとれていない. よって，翻訳対象 のドメインに合致した語彙，すなわち，特許特有の語彙を用いて翻訳できるとは限らない。し かし, SMT システムにとって大きな問題となる語順の入れ替えに関しては, 記述されたルール に当てはまる限りは問題となり得ない。よって, 特許の訳語として多少おかしくとも文全体で 意味が通る翻訳となり，その結果，人間が高いスコアを与えたのであろう。先にも説明した通 り，BLEU は， $\mathrm{N}$ グラムの適合率， ROUGE-L と IMPACT は LCS の適合率・再現率に基づき スコアを決定する。つまり，参照翻訳と一致する単語の割合が大きいシステム翻訳にしか高い スコアを与えることができない。 よって，ルールベースシステムに高いスコアを与えることは できず，それらの性能を低く見積もってしまったことにより，相関が著しく低下したと考える。
一方, RIBES と LRscore はこれらの手法とは異なり, 単語正解率, BLEU スコアをパラメタ で軽減することで単語一致率の低いシステムであっても高いスコアを与えることができるとい う特徴がある．実際，日英，英日の双方において ROUGE-L，IMPACT，BLEU といった従来 の自動評価法に対し，統計的有意に高い相関係数を獲得していることがそれの有効性を示唆し ている.

ユニグラム適合率が低いところでの自動評価法の性能をより詳細に調べるため, ルールベー スの翻訳システムのみを取り出し，同様の実験を行い相関係数の平均値を求めたところ，表 6 を得た。翻訳システム数は日英翻訳タスクで 6 ，英日翻訳タスクで 5 である。サンプル数が少 ないため，相関係数の値に対する信頼性がこれまでの実験よりも劣ることに注意されたい．表 6 より，RIBES は日英翻訳タスクで ROUGE-L，IMPACT に劣るものの全体を通してみれば他 の手法より良い相関を得ている。参照翻訳が 1 つしかないという影響もあるが，英日翻訳タス クでは ROUGE-L, IMPACT, BLEU は負の相関でしかない. さらに，先に示したとおり，表 5 において RIBES がルールベースシステム，SMT システム双方を含む場合でも良い相関を得 たこともふまえると，参照翻訳とシステム翻訳との間で一致する単語が少ない場合でも RIBES は有効であると考える。

以上より, BLEU, ROUGE-L, IMPACT といった単語の一致に強く依存する従来の自動評価法は, 単一参照翻訳時, 評価対象としてルールベースシステムが多く混在する場合には著しく信頼性が低下することを示した，特に，参照翻訳は常に複数与えられるとは限らないため，自動評価法としては単一参照翻訳でも人間の評価結果との間の相関が高いことが望ましい. RIBES は, 参照翻訳数, ルールベースシステムの数が変化した場合でも安定して高い相関であること から，従来の自動評価法よりも優れていると考える．ただし，RIBES には単語正解率と短い翻訳に対するペナルティを調整するための重みパラメタがある。これらパラメタを最適化するた めには，いわゆる教師データが必要となることから，それを必要としない BLEU, ROUGE-L

表 6 RBMT だけを用いたメ夕評価の結果（NTCIR-9データ，単一参照翻訳）

表中， 1 は RIBES, 2 は LRscore $\left(d_{k_{1}}\right), 3$ は LRscore $\left(d_{k_{2}}\right), 4$ は ROUGE-L, 5 は IMPACT, 6 は BLEU に対し，有意水準 $5 \%$ で有意差があることを示す.

よりもコストのかかる手法とも言える。しかし，実験結果より，各システムに対し 10 文を人間 が評価した結果を教師データとしてパラメ夕を最適化できることを示した。よって，十分低い コストでパラメタの最適が可能である.

## 6.3 獲得されたパラメタに関する考察

最後に RIBES と LRscore について獲得されたパラメタ， $\alpha, \beta, \gamma$ の違いから考察する. 図 3 に $\alpha, \beta$ の分布, 図 4 に $\gamma$ 分布を示す.

図 3 より, パラメタ最適化のための訓練事例が 10 文と少ないことも影響してか, 獲得され たパラメ夕にばらつきがあるが，単一参照翻訳の場合には小さな $\alpha$ が選択されている割合が多

JE

図 3 獲得されたパラメタの分布 (RIBES)
平尾, 磯崎, 須藤, Duh, 塚田, 永田

JE

語順の相関に基づく機械翻訳の自動評価法

EJ

図 4 獲得されたパラメタの分布 (LRscore)

く, 4.3 節の仮説と一致する. また, NTCIR-9 のように単一参照翻訳かつルールベースシステ ムの数が多い場合には， $\alpha=0$ の場合が非常に多い. 一方, 複数参照翻訳がある場合, 比較的大きな $\alpha$ が選択されている。 $\beta$ に関しては, 複数参照翻訳時には高い値が選ばれている割合が 高く, 4.3 節の仮説と一致するが, 単一参照翻訳時には必ずしも低い值が選ばれておらず先の仮説と一致しない. しかし, 人間の評価との間の相関をみる限り, RIBES は従来法よりも比較的高い相関を得ていることから, これは大きな問題ではないと考える.

図 4 より, LRscore の NTCIR-9 では, $\gamma=1$ 付近が多く選択されており, 語順の相関に対す る重みを上げ，語彙の一致（BLEU スコア）に対する重みを下げるようにパラメ夕を選択して

おり, RIBES と同様の傾向を示している，しかし， NTCIR-7 では，単一参照翻訳，複数参照翻訳に関わらず 0.3 から 0.6 までの値が多く選ばれており，NTCIR-9 の場合ほど BLEU スコア に対する重みを下げるようなパラメタが選択されていない． NTCIR-7 では RIBES の相関が概 ね LRscore の相関を上回っていたが，その原因はこうした語彙の一致に対する重みの違いによ ると考える。さらに RIBES は 2 つのパラメタ $\alpha, \beta$ があることに対し, LRscore は 1 つのパラ メタ $\gamma$ しかない. よって, RIBES は LRscoreよりもより柔軟にデータにフィットできる点が双方の手法のパラメ夕選択，相関係数の差に影響を与えたとも考える。

5.2 節でも述べたが, $\alpha=0, \beta=1, \gamma=1$ とした場合, RIBES も LRscore も語彙の一致スコア を考慮せず順位相関と短い翻訳に対するペナルティだけを考慮することになり，両者はほぼ一致 する. 図 4 より, LRscore では $\gamma=1$ が試行の半数近くで選択されているが，図 3 の NTCIR-9 でそうした例がみられるものの全体に占める割合は決して多くはない。また, LRscore の語順相関の計算法として $d_{k 1}$ と $d_{k 2}$ の双方を試したが，一貫して， $d_{k 1}$ の方がよい相関を示した。こ うしたことから，基本的には RIBES と LRscore は違うものと捉えて差し支えないだろう.

## 7 まとめと今後の課題

本稿では，翻訳時に大きな語順の入れ替えが必要となる英日，日英翻訳システムを対象とし て, 文全体での大局的な語順の相関を Kendall の順位相関係数に基づき決定し, これと単語適合率，短い翻訳に対するぺナルティを重み付きで乗じた自動評価法である RIBES (Rank-based Intuitive Bilingual Evaluation Score) を提案した．NTCIR-7, NTCIR-9 の特許翻訳タスクのデー 夕を用いてメ夕評価を行ったところ，BLEU，ROUGE-L, IMPACT といった従来の自動評価法 は，参照翻訳の数が少ない場合，評価対象システムにおけるルールベースシステムの割合が大 きい場合に相関が低下することに対し, RIBES は, こうした状況でも安定して高い相関を示す ことを確認した．また，RIBES と同じくKendall の順位相関係数に基づく自動評価手法である LRscore と比較しても RIBES が少なくとも同等以上の性能であることを確認した．評価実験で は，英日，日英翻訳システムを対象としたが，これ以外にも翻訳時に大きな語順の入れ替えを 必要とする言語対を対象とした翻訳システムの評価時には有効であると考える.

本稿では, 100 文規模程度のコーパスを用いて翻訳システム間の優劣を人間と同様に自動評価 すること，つまり，システム単位での人間の評価結果に対して相関が高い自動評価法を実現す ることを目的としたが，こうした粗い評価だけではなく，翻訳システムの特徴をより詳細に分析するため，個々の文に対して人間が与えたスコアと自動評価法が与えたスコアとの間の相関 を向上させることを目的とした研究もある (Kulesza and Shieber 2004; Gamon, Aue, and Smets 2005; Echizen-ya and Araki 2010). 機械翻訳システムが発展していくにつれ，文単位で細かな 評価をしたいという要求はより増していくと考えられるので, こうした着眼点は極めて重要で
表 7 文単位でのメ夕評価の結果

 &  & NTCIR-9 &  &  & NTCIR-9 \\

ROUGE-L & 0.583 & 0.674 & 0.009 & 0.637 & 0.746 & 0.056 \\
IMPACT & 0.638 & 0.705 & -0.020 & 0.552 & 0.647 & 0.016 \\

表中の数値は Spearman の順位相関係数を表す.

ある. ROUGE-L, IMPACT と同様, RIBES は文単位でも自動評価スコアを計算できるので, これらの手法の文単位での自動評価スコアと人間の評価スコアとの間の Spearman の順位相関係数を計算した，その結果を表 7 に示す. NTCIR-7 データでの相関が NTCIR-9 データでの相関よりも高いという傾向はシステム単位での実験結果と同様であるが，相関係数の値は大きく 下がっている。この原因は, 個々の文に対する人間の評価にはゆれがあることだろう． 3 手法と も，NTCIR-7 の日英翻訳タスクではやや弱い相関，英日翻訳タスクではやや強い相関である. RIBES は ROUGE-L とほぼ同程度で，日英翻訳タスクでIMPACT に 4 ポイント程度劣るもの の英日翻訳タスクでは IMPACT に 9 ポイント程度勝っている。一方， NTCIR-9 データの場合, もともとシステム単位での相関も NTCIR-7 デー夕ほど高くはなかったが, 文単位での相関 は，どの手法でもほぼ無相関という結果であった。この原因には，評価のゆれに加え，各翻訳文に対する評価者が 1 名であることから，人間の評価の信頼性が低いこと， スコアが 5 段階の カテゴリカルデータになってしまったこと, 参照翻訳数が 1 つしかないことが考えられる．今後, より良い自動評価法を開発するため, こうした文単位での相関をシステム単位での相関程度まで向上させることは自動評価法の大きな課題だと考える。

## 謝 辞

本論文の内容の一部は, EMNLP 2010: Conference on Empirical Methods in Natural Language Processing で発表したものである (Isozaki, Hirao, Duh, Sudoh, and Tsukada 2010a).

## 参考文献

Banerjee, S. and Lavie, A. (2005). "Meteor: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgements." In Proceedings of ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and Summarization, pp. 65-72.

Birch, A. and Osborne, M. (2010). "LRscore for Evaluating Lexical and Reordering Quality
in MT." In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, pp. 327-332.

Birch, A. and Osborne, M. (2011). "Reordering Metrics for MT." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 1027-1035.

Birch, A., Osborne, M., and Blunsom, P. (2010). "Metrics for MT Evaluation: Evaluating Reordering." Machine Translation, 24 (1), pp. 15-26.

Doddington, G. (2002). "Automatic Evaluation of Machine Translation Quality Using N-gram Co-Occurrence Statistics." In Proceedings of the 2nd International Conference on Human Language Technology Research, pp. 138-145.

Echizen-ya, H. and Araki, K. (2007). "Automatic Evaluation of Machine Translation based on Recursive Acquisition of an Intuitive Common Parts Continuum." In Proceedings of the MT Summit XII Workshop on Patent Translation, pp. 151-158.

Echizen-ya, H. and Araki, K. (2010). "Automatic Evaluation Method for Machine Translation Using Noun-Phrase Chunking." In Processings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 108-117.

Echizen-ya, H., Ehara, T., Shimohata, S., Fujii, A., Utiyama, M., Yamamoto, M., Utsuro, T., and Kando, N. (2009). "Meta-Evaluation of Automatic Evaluation Methods for Machine Translation using Patent Translation Data in NTCIR-7." In Proceedings of the 3rd Workshop on Patent Translation, pp. 9-16.

Fujii, A., Utiyama, M., Yamamoto, M., and Utsuro, T. (2008). "Overview of the Patent Machine Translation Taks at the NTCIR-7 Workshop." In Proceedings of NTCIR-7 Workshop Meeting, pp. 389-400.

Gamon, M., Aue, A., and Smets, M. (2005). "Sentence-level MT Evaluation Without Reference Translations: Beyond Language Modeling." In Proceedings of the European Association for Machine Translation (EAMT), pp. 103-111.

Goto, I., Lu, B., Chow, K. P., Sumita, E., and Tsou, B. K. (2011). "Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop." In Proceedings of NTCIR-9 Workshop Meeting, pp. 559-573.

Holm, S. (1979). "A Simple Sequentially Rejective Multiple Test Procedure." Scandinavian Journal of Statistics, 6, pp. 65-70.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., and Tsukada, H. (2010a). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP)-2010, pp. 944-952.

Isozaki, H., Sudoh, K., Tsukada, H., and Duh, K. (2010b). "Head Finalization: A Simple Reordering Rule for SOV Languages." In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, pp. 250-257.

Kendall, M. G. (1975). Rank Correlation Methods. Charles Griffin.

Kulesza, A. and Shieber, S. M. (2004). "A Learning Approach to Improving Sentence-Level MT Evaluation." In Proceedings of the 10th International Conference on Theoretical and Methodological Issues in Machine Translation (TMI), pp. 75-84.

Leusch, G., Ueffing, N., and Ney, H. (2003). "A Novel String-to-String Distance Measure with Application to Machine Translation Evaluation." In Proceedings of the MT Summit IX, pp. 240-247.

Lin, C.-Y. and Och, F. J. (2004). "Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statistics." In Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics, pp. 311-318.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistic (ACL), pp. 311-318.

Wilcoxon, F. (1945). "Individual Comparisons by Ranking Methods." Biometrics Bulletin, 1 (6), pp. 80-83.

## 略歴

平尾努：1995 年関西大学工学部電気工学科卒業. 1997 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年株式会社 NTT データ入社. 2000 年より NTT コミュニケーション科学基礎研究所に所属. 博士（工学). 自然言語処理の研究に従事. 言語処理学会, 情報処理学会, ACL 各会員.

磯崎 秀樹：1983 年東京大学工学部計数工学科卒業. 1986 年同大学院修士課程修了. 同年日本電信電話株式会社入社. 2011 年より岡山県立大学情報工学部教授. 博士 (工学). 言語処理学会, $\mathrm{ACM}$, 情報処理学会, 人工知能学会, 電子情報通信学会各会員.

須藤 克仁 : 2000 年京都大学工学部卒. 2002 年同大大学院情報学研究科修士課程修了. 同年日本電信電話株式会社入社. 現在に至る. 音声言語処理, 統計的機械翻訳に関する研究に従事.

Duh Kevin: 2003 年米国ライス大学工学部電気工学専攻卒業. 2006 年米国ワ シントン大学大学院電気工学研究科修士課程修了. 2009 年同大学院博士後期課程修了。同年 NTTコミュニケーション科学基礎研究所リサーチアソシェ

イト. 2012 年奈良先端科学技術大学院大学助教. 自然言語処理に関する研究 に従事。

塚田 元：1987 年東京工業大学理学部情報科学科卒業. 1989 年同大学院理工学研究科修士課程修了. 同年日本電信電話株式会社入社. 現在, NTT コミュ ニケーション科学基礎研究所に所属. 統計的機械翻訳の研究に従事. 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会, 日本音響学会, ACL 各会員。

永田 昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所主幹研究員 (上席特別研究員). 工学博士. 統計的自然言語処理の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.


# 音声言語コーパスにおける speaking style の自動推定転記テキストに着目して一

沈 睿

近年, 計算機技術の進歩に伴って大規模言語データの蓄積と処理が容易となり, 音声言語コーパスの構築と実用化の研究が盛んに行われている. 我々は, speaking style に関心を持つ利用者に音声言語コーパスを探しやすくさせるために, 音声言語コー パスの speaking styleの自動推定を目指している. 本研究では, 1993 年に Eskenazi が提唱した speaking style の 3 尺度を導入し, 従来の文体・ジャンルの判別や著者推定などの自然言語処理の分野で用いられた言語の形態論的特徵を手がかりとし,音声に付随する書き起こしテキスト（本論文では転記テキストと呼ぶ）に着目した speaking style 推定モデルの構築を試みた. 具体的な手続きとしては, はじめに様々 な音声言語コーパスから音声に付随する転記テキストを無作為に抽出する. 次にこ れらの転記テキストを刺激として用い, 3 尺度の speaking styleの評定実験を行う。 そして, 評定結果を目的変数, 転記テキストの品詞・語種率と形態素パタンを説明変数とし, 重回帰分析により 3 尺度それぞれの回帰モデルを求める. 交差検定を行っ た結果, 本研究の提案手法によって 3 尺度の内 2 尺度の speaking style 評定値を高 い精度で推定できることを確認した。

キーワード : 発話スタイル, 音声言語コーパス, 転記テキスト, 推定, 回帰モデル
## Automatic Estimation of Speaking Style in Speech Corpora Focusing on Speech Transcriptions

\author{
Raymond Shen ${ }^{\dagger}$ and Hideaki Kikuchi ${ }^{\dagger \dagger}$
}

Recent developments in computer technology have allowed the construction and widespread application of large-scale speech corpora. To enable users of speech corpora to easier data retrieval, we attempt to characterise the speaking style of speakers recorded in the corpora. We first introduce the three scales for measuring speaking style which were proposed by Eskenazi in 1993. We then use morphological features extracted from speech transcriptions that have proven effective in discriminating between styles and identifying authors in the field of natural language processing to construct an estimation model of speaking style. More specifically, we randomly choose transcriptions from various speech corpora as text stimuli with which to conduct a rating experiment on speaking style perception. Then, using the features extracted from these stimuli and rating results, we construct an estimation model of speaking style, using a multi-regression analysis. After cross-validation (leave-1-out), the results show that

among the three scales of speaking style, the ratings of two scales can be estimated with high accuracy, which proves the effectiveness of our method in the estimation of speaking style.

Key Words: speaking style, speech corpora, transcriptions, estimation, regression model

## 1 はじめに

計算機技術の進歩に伴い，大規模言語デー夕の蓄積と処理が容易になり，音声言語コーパス の構築と活用が盛んになされている。海外では, アメリカの Linguistic Data Consortium (LDC) とヨーロッパの European Language Resources Association (ELRA)が言語データの集積と配布 を行う機関として挙げられる。これらの機関では, 様々な研究分野からの利用者に所望のコーパ スを探しやすくさせるために検索サービスが提供されている。日本国内においても，国立情報学研究所音声資源コンソーシアム (NII-SRC) や言語資源協会 (GSK) などの音声言語コーパスの 整備・配布を行う機関が組織され，コーパスの属性情報に基づいた可視化検索サービスが開発・提供されている (Yamakawa, Kikuchi, Matsui, and Itahashi 2009, 菊池, 沈, 山川, 板橋, 松井 2009). コーパスの属性検索と可視化検索を同時に提供することで，コーパスに関する知識の多少に関わらず所望のコーパスを検索可能にできることも示されている (Shen and Kikuchi 2011).検索に用いられるコーパスの属性情報として，収録目的や話者数などがあるが， speaking style も有効な情報と考えられる．郡は speaking style と類似の概念である「発話スタイル」が個別言語の記述とともに言語研究として重要な課題であると指摘している (郡 2006). Jorden らに よれば，どの言語にもスタイルの多様性があるが，日本語にはスタイルの変化がとりわけ多い (Jorden and Noda 1987). しかしながら, 現状では, 前述の機関では対話や独話などの種別情報 が一部で提供されているに過ぎない。また，同一のコーパスにおいても話者や収録条件によっ て異なる speaking styleが現れている可能性もある。そこで，本研究では speaking style に関心 を持つ利用者に所望の音声言語コーパスを探しやすくさせるため，音声言語コーパスにおける 部分的単位ごとの speaking styleの自動推定を可能にし，コーパスの属性情報としてより詳細な speaking styleの集積を提供することを目指す.

Speaking styleの自動推定を実現するためには，まず speaking styleの定義を明確にする必要 がある。Joos は発話のカジュアルさで speaking style を分類し(Joos 1968), Labov は speaking style が話者の発話に払う注意の度合いとともに変わると示唆した (Labov 1972). Biber は言語的特徴量を用いて因子分析を行い，6因子にまとめた上で，その 6 因子を用いて異なるレジス夕 のテキストの特徴を評価した (Biber 1988)，Delgado らはアナウンサーの新聞報道や，教師の教室内での発話など，特定の職業による発話を “professional speech”として提案し (Delgado and Freitas 1991), Cid らは発話内容が書かれたスクリプトの有無を speaking styleのひとつの指標

にした (Cid and Corugedo 1991). Abe らは様々な韻律パラメータとフォルマント周波数を制御 することにより小説，広告文と百科事典の段落の 3 種類の speaking style を合成した (Abe and Mizuno 1994). Eskenazi は様々な speaking style 研究の考察からメ夕的に speaking style の全体像を網羅した 3 尺度を提案した (Eskenazi 1993). Eskenazi は，人間のコミュニケーションは， あるチャンネルを通じて，メッセージが話し手から聞き手へ伝達されることであり， speaking style を定義する際，このメッセージの伝達過程を考慮することが必要であると主張した。その 上で, 「明暸さ」(Intelligibility-oriented, 以降 I とする),「親しさ」(Familiarity, 以降 F とする),「社会階層」(soCial strata, 以降 C とする)の 3 尺度で speaking style を定義した.「明瞭さ」は 話し手の発話内容の明膫さの度合いであり, メッセージの読み取りやすさ・伝達内容の理解し やすさや，読み取りの困難さ・伝達内容の理解の困難さを示す. 又これは，発話者が意図的に 発話の明瞭さをコントロールしている場合も含んでいる。「親しさ」は 話し手と聞き手との親 しさにより変化する表現様式の度合いであり，家族同士の親しい会話や，お互いの言語や文化 を全く知らない外国人同士の親しくない会話などに現れる speaking styleを示す.「社会階層」 は発話者の発話内容の教養の度合いであり, 口語的な, 砕けた, 下流的な表現（社会階層が低 い）や，洗練された，上流的な表現（社会階層が高い）を示している. 話し手と聞き手の背景 や会話の文脈によって変化する場合もある.

ここで，本研究が目指すコーパス検索サービスにとって有用な speaking style 尺度の条件を 整理し，Eskenazi の尺度を採用する理由を述べる。まず，一つ目の条件として，幅広い範囲の データを扱える必要がある，音声言語コーパスは, 朗読, 雑談, 講演などの様々な形態の談話 を含み，それらは話者ごと，話題ごとなどの様々な単位の部分的単位により構成される。限ら れた種類の形態のデータからボトムアップに構築された尺度では, 一部の speaking styleがカ バーできていない恐れがある. Eskenazi の尺度は, 様々な speaking style 研究の考察からメ夕的 に構築されたものであり，幅広い範囲のデー夕を扱える点で本研究の目的に適している。デー 夕に基づいてボトムアップに構築された他の尺度（例えば (Biber 1988) など）の方が信頼性の 点では高いと言えるが，現段階では網羅性を重視する。次に，二つ目の条件として，上述した 目的から，コーパスの部分的単位ごとに付与できる必要がある．新聞記事，議事録，講演など のジャンルごとに speaking styleのカテゴリを設定する方法では，一つの談話内での speaking styleの異なり・変動を積極的に表現することが困難である. 一方, Eskenazi の尺度は必ずしも 大きな単位に対象を限定しておらず，様々な単位を対象にした多くの先行研究をカバーするよ うに構築されているため, この条件を満たす。最後に三つ目の条件として，日本語にも有効で あることが求められる。(郡 2006) や (Jorden and Noda 1987) から, speaking style の種類は言語ごとに異なると言え, 特定の言語の資料に基づいてボトムアップに構築された尺度では, 他 の言語にそのまま適用できない恐れがある. Eskenazi の尺度はコミュニケーションモデルに基 づいて特定の言語に依存することなく構築されたものであるため, 本研究で対象とする日本語

にも他の言語と同様に適用して良いものと考える.

したがって本研究では, Eskenazi の 3 尺度を用いて音声言語コーパスの部分的単位ごとの speaking style 自動推定を行い，推定結果の集積をコーパスの属性情報として提供することを目指す。これによって, 推定された 3 尺度の値を用いて, 例えばコーパス内の部分的単位の speaking style 推定結果を散布図で可視化したり，所定の明瞭さ，親しさ，社会階層のデー夕を多く含む コーパスを検索するなどの応用を可能にする.

以降，2 章では, speaking style 自動推定の提案手法について述べる. Speaking style の推定に 用いる学習データを収集するための評定実験については 3 章で説明する。 4 章では評定実験結果の分析, speaking styleの自動推定をするための回帰モデルの構築および考察を述べる. 最後 の 5 章ではまとめおよび今後の方向性と可能性の検討を行う.

## 2 Speaking styleの自動推定手法

Speaking styleの自動推定に寄与する要素として, イントネーションや時間構造などの音声的特徴と形態素や統語的構造などの言語的特徴との両方が考えられる. Eskenazi は, speaking style の先行研究のレビューに基づいて音声的特徴と言語的特徴の双方の重要性を述べている (Eskenazi 1993). 郡の調査 (郡 2006) によって示された日本語の口調（speaking style と類似の 概念）には，「ですます口調」や「漢文口調」など主に書きことばとしてのスタイルや言語形式 によって特徵づけられるものが数多くあげられている. これらから, 本研究では speaking style を扱ううえでまず言語的特徴に焦点を当てる。

一方，自然言語処理の分野においては，言語的特徴を手がかりとしたテキストに対する文体・ ジャンルの判別や著者推定などの研究が多く行われ, 比較的精度の高い成果が得られている.小磯らは現代日本語書き言葉均衡コーパスと日本語話し言葉コーパスにおける 7 つのサブコー パス (白書, 新聞, 小説, Yahoo!知恵袋, 国会議事録, 学会講演, 模擬講演) に対して, 漢語率,名詞率, 接続詞率, 副詞率, 形容詞率, 機能語率を手がかりとする判別分析を行い, 約 $80 \%$ の 精度でサブコーパスの分類が可能であることを示した (小磯, 小木曽, 小椋, 宮内 2009). 小山 らは形態素出現パタンを手がかりとし，学会における研究発表抄録データの類似性を評価し，い くつかの異なる学会間の類似度をほぼ再現する距離尺度を構成できることを示唆した (小山, 竹内 2008). Mairesse らは言語的手がかりをパーソナリティの自動認識に用いることを試み, 複数 の機械学習の手法によって精度の比較と有効な特徴量の検討を行った (Mairesse, Walker, Mehl, and Moore 2007). これらの研究においては, 品詞・語種率と形態素パタンなどの形態論的特徴 を特徴量とした方法が有効であることがわかった.

上述の理由と先行研究を踏まえた上で, 我々はまず音声言語デー夕の形態論的特徵から着手 し, 従来のテキストの文体・ジャンル判別の手法を用い, 音声に付随する書き起こしテキスト

（本論文では転記テキストと呼ぶ）に着目した speaking style 推定モデルを構築することにより, speaking styleの自動推定を試みる.

音声的特徴については，上述したように speaking styleの推定に有用な特徵であり，今後の 導入を検討しているが本稿では扱わない。前述した音声言語コーパスの検索サービスにおいて，形態論的特徴のみに基づく speaking style 推定結果を提供することも，例えば形態論的側面に 焦点を当てた日本語教育に用いる資料や, 話し言葉における言語情報の話者性変換技術 (水上, Neubig, Sakti, 戸田, 中村 2013) などの学習デー夕を求めるような需要に応えることが可能と 考える。

Speaking style 推定モデルの構築の具体的な流れを図 1 を用いて説明する.

まず, speaking styleの異なる様々な音声言語コーパスから音声の転記テキストを選出し（3.2.1 節詳述), speaking styleの最も安定する部分と思われる最中部の約 300 字程度のテキストを抽出する (3.2.2 節)。続いて抽出したテキストに対し, Eskenazi の speaking styleの 3 尺度を用い て speaking style 推定モデルの構築に用いる学習デー夕を収集するための評定を行う（3.3 節).同時に, UniDic を辞書として用いた MeCabで形態素解析を行い, 品詞・語種率, 形態素パ夕 ンを特徵量として抽出する (4.1 節). 評定実験で得られた評定結果の平均を求め, 3 尺度の学習データとする。最後に重回帰分析により 3 尺度それぞれの回帰モデルを求め, speaking style 推定モデルとする (4.2 節).

構築した speaking style 推定モデルを用いて, 任意の転記テキストに対して, speaking style を自動推定することが可能になる.

図 1 Speaking style 推定モデルの構築の流れ

## 3 評定実験

本章では， 2 章で述べた評定実験の詳細について述べる.

## 3.1 評定者

本評定は，情報科学を専門とした大学生男女 22 名（その内男性は 15 名）の評定者による。全 ての評定者は本研究に関わっていない.

## 3.2 刺激

刺激には音声言語コーパス内の転記テキストを使用する.

## 3.2.1 音声言語コーパス

Speaking styleの多様さと実験のコストの両方を考慮した上で，本評定実験で使用する音声の 転記テキストを，以下の 6 種類の音声言語コーパス（カテゴリ）から収録条件や話者の役割な どによっての違いを区別せず，それぞれ 10 サンプルずつ無作為に選出した.

I. 日本語話し言葉コーパス (前川, 籠宮, 小磯, 小椋, 菊池 2000)-講演 (CSJ1 と呼ぶ)

日本語話し言葉コーパス (the Corpus of Spontaneous Japanese, CSJ) は, 日本語の自発音声 を大量に集めて多くの研究用情報を付加した, 質・量ともに世界最高水準の話し言葉研究用の データベースである。本研究では, CSJ に収録された多様な speaking styleの中でも，特に学会講演及び模擬講演を対象とする。

II. 日本語話し言葉コーパス-インタビュー（CSJ2 と呼ぶ）

I と同じくCSJから選出した, インタビュー形式の対話である。講演音声と対話音声の speaking style は著しく異なると思われるので, 今回の実験目的を考慮し, 別のカテゴリとした. なお, インタビュアーとインタビュイーの発話を区別しないことにした。このコーパス（カテゴリ） は対面の自由対話である.

III. 新入生対話コーパス (中里, 大城, 菊池 2013)（FDC と呼ぶ）

大学の研究室に所属の大学生同士の間の自由対話を収録したコーパスである。本コーパスは 低親密度の二人の対話音声が, 時間経過および二人の親密性の向上とともにどのように変化す るのかを調べることを目的としている。このコーパスは大学生同士の間の自由対話である.

IV. 車載環境における質問応答の対話コーパス (宮澤, 影谷, 沈, 菊池, 小川, 端, 太田, 保泉,三田村 2010)（AUTO と呼ぶ）

本コーパスは，模擬車内環境でドライビングゲームをプレイしたドライバー役被験者と，同乗してナビゲーションを行ったナビゲーター役被験者に対して, 走行実験終了後に, 実験中の 動画を見せながら感想やナビゲーションの的確さをインタビューした際の対話音声である. 質
問がほぼ決まっているため, 対話内容が定型文に近く, 自由度の低い対話である。なお, イン タビュアーとインタビュイーの発話を区別しないことにした。

V. 千葉大地図課題対話コーパス (堀内，中野，小磯，石崎，鈴木，岡田，仲，土屋，市川 1999) (MAPTASK と呼ぶ)

地図課題を遂行するための対話コーパスである。地図課題とは，目標物と経路の描かれた地図を持つ話者（情報提供者）が，目標物のみ描かれた地図を持つ話者（情報追随者）に対し， ルートを教えるという課題である。なお，情報提供者と情報追随者の発話も，話者の面識あり・面識なしなどのパラメータも区別しないことにした。このコーパスは課題による対話である.

VI. 研究室メンバー同士の対話コーパス (岩野, 杉田, 松永, 白井 1997) (TRAVEL と呼ぶ)旅行の計画を立てるため，二人の研究室メンバーの間で交わされた対話を収録したコーパス である。このコーパスは高親密度な大学生同士の対話者の間の対面対話である.

## 3.2 .2 転記テキストの加エ

上述の 6 種類のコーパス（カテゴリ）から 10 個ずつ合計 60 個の音声サンプルを無作為に選出する。なお, 対話に関しては, 話者ごとに一つのサンプルとした． CSJ2 は話者数が少ないた め, 結果として 4 話者のデータが 2 サンプル以上選択されていた. これ以外について話者の重複はなかった。

Speaking style の最も安定する部分を抽出するため，上記の各音声に付随する転記テキスト中部約 300 字（約 1 分の音声の転記量に相当し, speaking style の知覚に十分だと考えるため）の テキストを切り出す.なるべく発話の内容の影響を避け, speaking styleだけで評定するよう， テキストの名詞（代名詞は除く）の部分を全て「○○」に自動変換した（図 2 参照）。名詞の表現の使い分け（例えば「マイク」と「マイクロホン」など）も speaking styleの一つと扱えるが,名詞を刺激にそのまま表示すると, 本来 speaking style とは独立させるべき話題内容が明確に伝 わってしまう恐れがある。したがって, データの話題内容によらない speaking styleを推定する ことを目指すために，話題を強く想起させ得る名詞（代名詞以外）を伏せることにした．なお，転記テキストにある時間情報，フィラー，言い上どみ，笑い，咳などの情報を消し，書式を統一し，図 2 に例を示したような仮名漢字文字の表記に揃えた上で評定の刺激とした。

図 2 転記テキストからの刺激作成（例）

## 3.3 評定方法

本評定には SD 法を用いる。一つのテキストを読んだ後, 3 尺度のそれぞれについて 7 段階 で評定してもらう，「明瞭さ」に関して，不明瞭の場合を 1 , 明瞭の場合を 7 ,「親しさ」に関し て，親しくない場合を 1 ，親しい場合を 7 ，「社会階層」に関して，低い場合を 1 ，高い場合を 7 とする．評定はウェブブラウザ上のアンケートページを介して行う，評定の前に，尺度につい ての詳細説明をよく読むように指示した. 刺激用の転記テキストはランダマイズして提示する. テキストを読み終えてから評定するように指示し, 評定中何度でも読み直して良いとした。な お, 評定実験に先立って，3名の評定者（評定実験の被験者には含まれない）による予備実験を 行い, 3 尺度に関しての説明の妥当性および評定の安定性を確認した。その結果, 3 尺度 I, F, C の級内相関係数 (Intraclass Correlation Coefficient, ICC) (Koch 1982)の ICC(2,1)（評定者間 の信頼性）はそれぞれ $0.50,0.79$ と 0.82 であり, Landisら (Landis and Koch 1977)によれば，I は “moderate”, F は “substantial”, Cは “almost perfect”であるため, 予備実験における評定者間の信頼性が高いことを確認できた。 3 尺度に関しての説明を若干修正した上で評定実験を 行った．評定実験で用いた教示の例を図 3 に示す.

(1/60)

を開けてくれて凄いいらっやいませって言ってくれたんですけどでも 00 買えないのにでおOOの OOにいる

にびびりました

## 上のテキストを読み、次の全ての項目について、その印象がどれくらいか、1から7の7段階の評価で選んでください。各項目について中立の印象は4になります。中立の場合には必ず4にチェックしてください。 \\ テキストは何度読んでも構いません。

項目に関しての説明:

1: Intelligibility-oriented(明瞭さ):

発話者の発話内容の明瞭さの度合いです。

情報の読み取りやすざ伝達内容の理解しやすすさや、読み取りの困難さ・伝達内容の理解の困難さを示します。発話者が意図的に発話の明瞭さをコントロールしている場合も含みます 明瞭さが低い場合は1、明瞭さが高い場合は7で、1から7の7段階の評価で選んでください。

2: Familiarity(親しさ)

発話者と聞き手との親しさにより変化する表現様式の度合いです。

䒯族同士の親しい会話や、お互いの言語や文化を全く知らない外国人同士の親しくない会話などにあらわれる発話様式を 示します。

親しさが低い場合は1，親しさが高い場合は7で、1から7の7段階の評価で選んでください。

3: Social strata(社会階層)

発話者の発話内容の教養の度合いです。

口語的な、砕けた、下流的な表現(社会階層が低い)や、洗練された、上流的な表現(社会階層が高い)を示します。発話者と聞き手の背景や会話の文脈にようて変化する場合もあります。社会階層が低い場合は1, 社会階層が高い場合は7で、1から7の7段階の評価で選んでください。

図 3 評定実験で用いた教示の例

## 3.4 評定結果

3 尺度は独立した尺度であることを想定しているが，全 22 名の評定者の評定結果に基づいて 尺度間の相関係数を求めたところ, 明瞭さ I と親しさ $\mathrm{F}$ の相関係数が -0.27 , 明瞭さ I と社会階層 $\mathrm{C}$ が 0.48 , 親しさ $\mathrm{F}$ と社会階層 $\mathrm{C}$ が -0.55 であった. 明瞭さ I と親しさ $\mathrm{F}$ の相関は弱いが,社会階層 $\mathrm{C}$ と明膫さ I ・親しさ $\mathrm{F}$ との間には中程度の相関が見られた. Eskenazi は 3 尺度の独立性については特に言及していないが，今回の実験で日本語を対象としたため，一部に 3 尺度 の独立性が見受けられないことは，日本語での話し方や発話内容の教養度が話者の間の関係に 影響されるという傾向によるものだと考えられる。1 章で述べた音声言語コーパス検索サービ スでの応用を考えると，属性情報による絞り込み検索や可視化検索などにおいて必ずしも属性間の独立性を保証する必要はないため, 尺度の間に相関があっても大きな支障はないと考える。

6 コーパス（カテゴリ）の speaking style 評定値が実際にどのように分布してコーパスの特性 と合致しているかを見るために，全 22 名の評定者の評定結果の平均を用い, I と F （図 4 の左上), $\mathrm{F}$ と $\mathrm{C}$ (図 4 の右上), $\mathrm{I}$ と $\mathrm{C}$ (図 4 の下部）のそれぞれの 2 次元散布図と箱ひげ図（図 5）

図 4 Speaking style 評定結果の二次元散布図（全評定者の評定結果の平均による）

を作成した，図 4 において， CSJ1 は他のコーパス（カテゴリ）に比べて I が高く分布してい る (有意水準 $5 \%$ の $\mathrm{t}$ 検定によって, MAPTASKを除いて有意). 図 5 の平均値でも CSJ1 は最 も高い.これは, CSJ1 が講演音声であり話者が明瞭な発話を意識しているためと考えられる. CSJ2 は， CSJ1 と比べて F が高く $\mathrm{C}$ が低く分布している（t 検定によって有意傾向が見られ，図 5 の平均値についても同様の傾向)。これは, CSJ2が CSJ1 と異なり, 講演話者へのインタ ビューであり，対話の形をとることによると考えられる．FDCは C が低く分布している（有意水準 $5 \%$ の $\mathrm{t}$ 検定によって，図 5 の平均值では TRAVEL についで 2 番目に有意に低い)。これ は FDC は大学生同士の間の自由対話であることによると考えられる。AUTO は F が低く分布

図 5 刺激ごとの評定結果の平均（左上は $\mathrm{I}$ ，右上は $\mathrm{F}$, 下は $\mathrm{C}$ )

している (有意水準 $5 \%$ の $\mathrm{t}$ 検定によって, CSJ1 を除いて有意, 図 5 の平均値においても同様 の傾向)。これは AUTO は実験者と被験者との間の自由度の低い対話であることによると考え られる. MAPTASK は, Iが広く分布し, 同じ課題対話である AUTO と比較して F や $も$ 広く 分布している。これは, MAPTASKが話者の面識ありとなしの両方を含むことによると考えら れる．TRAVEL は他のコーパス（カテゴリ）に比べて I が低く F が高く分布している（有意水準 $5 \%$ ，検定によって, FDC（Iのみ）を除いて有意, 図 5 の平均値においても同様の傾向). これは対話者同士が同じ研究室の大学生であることに加えて, 同じ大学生同士の FDC よりも高親密度であることによると考えられる．以上のことから，3.2.1 節で述べた各コーパス（カテゴ リ）の speaking styleに関する特性が評定値の分布に現れているといえる。一方, 3.2.1 節で述 ベたように, speaking styleが多様になることを意図して 6 コーパス（カテゴリ）を選び，上述 の考察から予想されたように評定値が分布しており多様なデー夕を確保できたと言える。しか L, 例えば $\mathrm{I}$ と $\mathrm{F}$ 評定値がともに高い刺激などは少なく, 他にもスパースな象限が複数見ら れる，今後，より多様なコーパスを扱い，本研究の手法の有効性を検証する必要がある.

なお，評定値の安定性を確認するために， 3 尺度の級内相関係数 (Koch 1982)を算出した， 3 尺度 I, F , C の $\operatorname{ICC}(2,1)$ （評定者間の信頼性）はそれぞれ $0.11,0.53$ と 0.35 であり， $\operatorname{ICC}(2, \mathrm{k})$ (平均の信頼性) は $0.72,0.96$ と 0.92 であった. Landisら (Landis and Koch 1977)によれば, ICC の目安として, 0.0-0.20 が “slight”, 0.21-0.40 が “fair”, 0.41-0.60 が “moderate", 0.61-0.80 が "substantial”, 0.81-1.00が “almost perfect”とされている.これにしたがえば, $\operatorname{ICC}(2,1)$ に おいて F と C は許容範囲内の信頼性といえ，また評定者数が多いことに起因して $\operatorname{ICC}(2, \mathrm{k})$ に おいて I, F , C のいずれも評定值の平均の信頼性が高く, モデル構築に用いて良いと考える。な お, 本研究が目指すコーパス検索サービスのための尺度としては，評定者によって大きく異な らないものであることが望ましく, 上記の結果からIの尺度はこのままでは検索用途に適さな い.今後，尺度の説明の見直しなど，検討の必要がある。

## 4 Speaking style 推定モデルの構築

3 章で述べた評定実験によって得られた評定結果と刺激に用いたテキストに現れた特徴量に よってモデル構築を行う。

## 4.1 特徴量抽出

2 章で述べた理由で, 本研究では主に品詞・語種率, 形態素パタンなどの形態論的特徵を特徴量とする.

## 4.1.1 形態素解析

3 章で述べた 60 転記テキストに対し, UniDic (伝, 小木曽, 小椋, 山田, 峯松, 内元, 小磯 2007) を辞書として用いた MeCabで自動解析する.

## 4.1.2 品詞・語種率

各コーパス（カテゴリ）の品詞・語種率（感動詞 int, 助動詞 aux, 動詞 $\mathrm{v}$, 接頭詞 pref, 副詞 adv, 代名詞 pron, 接続詞 conj, 助詞 par, 形容詞 adj, 連体詞 adno, 機能語 func の合計 11 種) を箱ひげ図で示す (図 6 参照)。図 6 の縦軸は品詞・語種率の割合であり, 横軸は左から CSJ1, CSJ2, FDC, AUTO, MAPTASK, TRAVEL の順に 6 コーパス（カテゴリ）ごとの結果を示して いる。なお, 個々の品詞・語種率は, 転記テキストごとの延べ語数に対する各品詞・語種の延 べ語数の割合として求めた.

図 6 に示したように, 品詞・語種率の傾向はコーパス (カテゴリ)ごとに異なることがわかった.

例えば，AUTO や MAPTASK のような自由度の低い発話のコーパス（カテゴリ）に比べて, CSJ2, FDC，TRAVELのような相対的に自由度の高い発話のコーパス（カテゴリ）の代名詞 (pron)の割合が高い（有意水準 $5 \%$ の 検定によって有意）ことや，AUTOのような定型文に 近く自由度の低い対話のコーパス（カテゴリ）の助動詞 (aux) の割合が高い（有意水準 $5 \%$ の $\mathrm{t}$ 検定によって有意）ことなど, 品詞・語種率が特徴量として speaking styleの自動推定に寄与 する見込みがあることを示している.

## 4.1.3 形態素パタン

小山らによると, 文章に出現する形態素パタンが文章間の類似性を定量化するための特徴量 として有効である (小山，竹内 2008)，沈らは日本語話し言葉コーパスの転記テキストから主に 形態論情報や統語論情報などの言語的特徴を手がかりとし，印象形成に寄与すると思われる特徵を 43 パタン抽出した (沈，菊池，太田，三田村 2012). 沈らが用いた特徴は全て音声コーパス の転記テキストから抽出したものであり，今回の推定対象となったコーパスの転記テキストの 性質と一致している。金水によれば，ある種の日本語の話し方（speaking style と類似の概念） は, その話し手として，特定の人物像を想起させる力を持つ発話スタイルのことを「役割語」と 名づけた (金水 2011). したがって, speaking style と特定のキャラクタ像の形成との間に関連 はあるものと考え，これらのパタンを本研究に用いた。そのため, 我々はこの 43 パタンについ て， 3 章の評定実験に使用する転記テキストに現れた 23 パタンの出現数を本研究における使用特徴量とした (表 1 参照)。なお, 刺激ごとに形態素数が異なるため, 刺激内のパタン出現数を 刺激内の形態素数で正規化した。

図 6 コーパス（カテゴリ）ごとの品詞・語種率（転記テキストごとの延べ語数に対する各品詞・語種の 延べ語数の割合を縦軸とした箱ひげ図）
表 1 形態素パタン

(形態素パタンの記法は「出現形 [辞書形](品詞)」の形式で 1 形態素を表し, “.”は任意の 1 文字以上の文字列を表し，“A|B”は「Aまたは B」を表す.)

## 4.2 モデルと考察

Speaking styleの自動推定をするため，重回帰分析により推定モデルを構築した．分析には， ステップワイズ変数選択（変数減増法）1の手法で，各コーパス（カテゴリ）の品詞・語種率と 形態素パタンを説明変数とし, 評定実験の結果の平均を目的変数として最適なモデルを求めた. もとめたモデルの有意性を検定するために，「全ての偏回帰係数がゼロである」という帰無仮説 を立てた $\mathrm{F}$ 検定を行った。その結果， 3 尺度共に有意水準 $1 \%$ でモデルの有意性が証明された。

さらに，モデルの信頼性を確認するため, 交差検定 (leave-1-out) によりモデルの決定係数 (Montgomery and Peck 1982)を求めた。その結果を表 2 に示す. 表 2 に示した結果は, ことわ
$ の step 関数を用いる。まず全変数を取り込んで AIC を最も改善させる一つの変数を 削除する，次に AIC が最も改善するように一つの変数を削除あるいは追加する，削除しても追加しても AIC が改善しないなら止める.
}
表 2 交差検定 (leave-1-out) の結果（決定係数/調整済決定係数）

りのない限り全て，テストデータと同一コーパスの他データを学習データに含めて交差検定を 行った結果であるが，交差検定の際に同一コーパスの他データを学習データに含めるかどうか を応用目的に照らして検討する必要がある。同一コーパスの他データを学習データに含めた場合の交差検定 (leave-1-out) は, 同一コーパスの他データの評定値が部分的に既知である場合に 相当する。実際の応用において，推定精度をあげるためにコーパス内の一部の部分的単位に人手で推定結果を与えてモデル学習に利用することは充分考えられる。そこで, この方法の交差検定結果を表 2 の「全特徴量」に示した. 一方で, 同じコーパスの他データを学習データに含め ない場合の交差検定 (leave-1-out) は, 同一コーパスの評定値が全て未知である場合に相当する.実際の応用においてこうしたケースもあり得るため, この方法の交差検定結果を「全特徴量（同一コーパスを含めない)」に示した，3.2.1 節に述べたように，評定実験では speaking styleの多様さと実験のコストの両方を考慮した上で， 60 サンプルを評定の刺激としたが，モデル構築の ためのサンプルとしては少ないことが懸念される。サンプル数の少なさの影響を考慮するため に自由度調整済決定係数を求めたところ, 同一コーパスが学習データとして存在する場合, I は 0.37, F は $0.81, \mathrm{C}$ は 0.66 であった. 1 章で述べたとおり, 本研究では, 一つのコーパスに対し て複数の部分的単位ごとの推定結果の集積が利用されることを想定しており, 全ての部分的単位に対して正しく推定できていなくても， 50 \%以上の部分的単位を説明できることに相当する 推定精度（決定係数 0.50 以上）があれば， 1 章に述べたような応用は実現可能と考える．F と C の決定係数は 0.50 を大きく上回っているため応用には十分と考える. 全特徴量（同一コーパ スを含めない）の場合, すなわち, 未知のコーパスの場合, 自由度調整済決定係数は I が 0.13 , F が 0.74 , C が 0.52 であり，精度が下がるが，F，C はやはり 0.5 を超えているため応用にとっ て有効と考える．Iについてはいずれの場合も推定の精度が高くなく，また Cについては今後 さらなる改善が必要と考える.

さらに, 表 2 には品詞・語種率のみと形態素パタンのみを使用した場合の決定係数を示す.こ の結果から, 3 尺度ともに, 品詞・語種率と形態素パタンの両方を使用した場合のモデルの精度 は，それぞれを単独で使用した場合よりも高いことがわかり，両方を特徴量として用いること の有効性が示された。

表 3 に選択された説明変数とその偏回帰係数を示す. F のモデルにおいて, 形態素パタン「.[で

す](助動詞) |.[ます](助動詞)」の偏回帰係数は 2 番目に絶対値が大きく, です・ます調の出現は F のモデルに負の働きがあるといえる。これは, 心的距離が近ければ普通体を用いることが多 い (川村 1998) といった先行研究と対応付いている. 4 番目の「.[ちゃう](助動詞)」(例：行っ ちゃう）などの音の変化形の出現 (川村 1998) も F のモデルに大きく貢献することがわかった.他にも， 3 番目の「よ [よ](助詞)」(例：よ)，6 番目の「ね [ね](助詞)」(例：ね）のような終助詞の出現が F のモデルに正に働くことがわかった。「よ」や「ね」などの終助詞は，会話を親し げにしたり，同意を求める雾囲気にしたりする機能を持つという先行研究 (川崎 1989) の主張 と対応付いている，Cのモデルにおいては，形態素パタン「.[けれど](助詞) も [も](助詞)」の偏回帰係数が最も大きく,「けれども」などの出現が Cのモデルに正の働きがあるとわかった. こ のことは「けれども」などがよく改まった会話に用いられるという指摘 (川村 1994) と一致し ている。ほかにも，5 番目の「連体詞率」などの形態素パタンが C のモデルに大きく貢献する ことがわかった.

## 5 おわりに

本研究では, speaking styleに関心を持つ利用者に所望の音声言語コーパスを探しやすくさせる ために, 音声言語コーパスの speaking style を自動推定して属性情報として付与することを目指 す. 本研究では, 従来のテキストの文体・ジャンル判別の手法を用い, 音声に付随する転記テキ ストの形態論的特徴を手がかりとし, speaking style 推定モデルを構築することにより, speaking styleの自動推定を試みた. 先行研究より, speaking styleを「明暸さ」(Intelligibility-oriented),「親しさ」(Eamiliarity),「社会階層」(soCial strata)の３尺度で定義し，6コーパス（カテゴリ） から選出した音声の転記テキストを刺激とし， speaking styleの評定を行った。評定実験によっ て得られた評定結果の分布がコーパスの特性と合致していることを確認した上で，重回帰分析 を行い, speaking styleにおける 3 尺度のそれぞれの回帰モデルを求めた. モデル構築の際，テ キストの文体・ジャンル判別や著者推定などの従来手法において重要性が確認されている品詞・語種率以外に, 文書分類や印象形成に有効だと思われる形態素パタンを特徴量として導入した.交差検定を行った結果, 特に同一コーパスのサンプルが学習データとして使用できる場合には,本研究の提案手法によって 3 尺度中 $\mathrm{F}$ と $\mathrm{C}$ speaking style 評定値を高い精度で推定できるこ とを確認した。

本稿では，言語的特徴としてまず形態論的特徴に絞って扱ったが，係り受け情報のような統語的特徴も speaking style の推定に役立つ可能性がある. 今後, こうした特徴を加えて推定精度 の向上を目指す.

本研究で提案した speaking style の自動推定手法によって, コーパスの部分的単位ごとの speaking style を推定した結果はコーパス全体の speaking styleの判断材料となる. 今後の方針

として, speaking style 推定モデルを用いて，一つのコーパスに付随する転記テキストに対して speaking style を自動推定した上で，3 尺度の空間上でそのコーパス全体の speaking style を可視化できるようにすることを目指す.

また，本研究の成果を外国語教育分野において， speaking styleの習得支援に生かせるように する予定である。

## 参考文献

Abe, M. and Mizuno, H. (1994). "Speaking Style Conversion by Changing Prosodic Parameters and Formant Frequencies." In Proceedings of the International Conference on Spoken Language Processing, pp. 1455-1458.

Biber, D. (1988). Variation Across Speech and Writing. Cambridge University Press.

Cid, M. and Fernandez Corugedo, S. G. (1991). "The Construction of a Corpus of Spoken Spanish: Phonetic and Phonological Parameters." In Proceedings of the European Speech Communication Association Workshop, 17, pp. 1-5.

Delgado, M. R. and Freitas, M. J. (1991). "Temporal Structures of Speech: Reading News on TV." In Proceedings of the European Speech Communication Association Workshop, 19, pp. $1-5$.

伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵 (2007). コーパス日本語学 のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, 22, pp. 101-122.

Eskenazi, M. (1993). "Trends in Speaking Styles Research." In Proceedings of Eurospeech, pp. 501509.

European Language Resources Association (ELRA). http://www.elra.info/

言語資源協会 (GSK). http://www.gsk.or.jp/index_e.html

堀内靖雄, 中野有紀子, 小磯花絵, 石崎雅人, 鈴木浩之, 岡田美智男, 仲真紀子, 土屋俊, 市川喜 (1999). 日本語地図課題対話コーパスの設計と特徴. 人工知能学会誌, 14 (2), pp. 261-272.

岩野裕利, 杉田洋介，松永美穂，白井克彦 (1997). 対面および非対面における対話の違い〜頭の 振りの役割分析〜. 情報処理学会研究報告, 97 (16), pp. 105-112.

Joos, M. (1968). "The Isolation of Styles." In Fishman, J. A. (Ed.), Readings in the Sociology of Language, pp. 185-191. The Hague: Mouton.

Jorden, E. and Noda, M. (1987). Japanese the Spoken Language. New Haven \& London: Yale University Press.

川村よし子 (1994). 上級クラスにおける表現の指導一「改まり度」に応じたことばの使い分け 一. 講座日本語教育, 29, pp. 120-133.
川村よし子 (1998). 目上に対して「親しさ」を表す会話のストラテジー. 講座日本語教育, 33, pp. $1-19$.

川崎晶子 (1989). 日常会話のきまりことば. 日本語学, 8 (2).

菊池英明, 沈睿, 山川仁子, 板橋秀一, 松井知子 (2009). 音声言語コーパスの類似性可視化シス テムの構築. 日本音響学会秋季研究発表会講演論文集, pp. 441-442.

金水敏 (2011). “現代日本語の役割語と発話キャラクタ.” 金水敏(編), 役割語研究の展開, pp. 7-16.

くろしお出版.

Koch, G. G. (1982). "Intraclass Correlation Coefficient." In Kotz S. and Johnson N. L. (Eds.)

Encyclopedia of Statistical Sciences, Vol. 4, pp. 213-217. New York: John Wiley \& Sons.

小磯花絵, 小木曽智信, 小椋秀樹, 宮内佐夜香 (2009). コーパスに基づく多様なジャンルの文体

比較一短単位情報に着目して一. 言語処理学会年次大会発表論文集, pp. 594-597.

国立情報学研究所音声資源コンソーシアム (NII-SRC). http://research.nii.ac.jp/src/郡史郎 (2006). 日本語の「口調」にはどんな種類があるか. 音声研究, 10 (3), pp. 52-68.

小山照夫, 竹内孔一 (2008). 形態素出現パタンに基づく文書集合類似性評価. 情報処理学会研究報告 自然言語処理研究会報告, 2008 (113), pp. 51-56.

Labov, W. (1972). "The Isolation of Contextual Styles." In Labov, W. (Ed.) Sociolinguistic Patterns, pp. 70-109. Oxford: Basil Blackwell.

Landis, J. R. and Koch, G. G. (1977). "The Measurement of Observer Agreement for Categorical Data." Biometrics, 33, pp. 159-174.

Linguistic Data Consortium (LDC). http://www.ldc.upenn.edu/

前川喜久雄, 籠宮隆之, 小磯花絵, 小椋秀樹, 菊池英明 (2000). 日本語話し言葉コーパスの設計. 音声研究, $\mathbf{4}(2)$, pp. 51-61.

Mairesse, F., Walker, M. A., Mehl, M. R., and Moore, R. K. (2007). "Using Linguistic Cues for the Automatic Recognition of Personality in Conversation and Text." Journal of Artificial Intelligence Research, 30, pp. 457-500.

宮澤幸希, 影谷卓也, 沈睿, 菊池英明, 小川義人, 端千尋, 太田克己，保泉秀明，三田村健 (2010).自動車運転環境下におけるユーザーの受諾行動を促すシステム提案の検討. 人工知能学会誌, $25(6)$, pp. 723-732.

水上雅博, Neubig, G., Sakti, S., 戸田智基, 中村哲 (2013). 話し言葉の書き起こし文章の話者性 の変換. 人工知能学会全国大会論文集, pp. 1-4.

Montgomery, D. C. and Peck, E. A. (1982). Introduction to Linear Regression Analysis (2nd edition), New York: John Wiley \& Sons.

中里収, 大城裕志, 菊池英明 (2013). 音声対話における親密度と話し方の関係. 電子情報通信学会技術研究報告, 112 (483), pp. 109-114.

Shen, R. and Kikuchi, H. (2011). "Construction of the Speech Corpus Retrieval System: Corpus Search \& Catalog-Search." In Proceedings of Oriental COCOSDA, pp. 76-80.

沈睿，菊池英明，太田克己，三田村健 (2012). 音声生成を前提としたテキストレベルでのキャラ クタ付与. 情報処理学会論文誌, 53 (4), pp. 1269-1276.

Yamakawa, K., Kikuchi, H., Matsui, T., and Itahashi, S. (2009). "Utilization of Acoustical Feature in Visualization of Multiple Speech Corpora." In Proceedings of Oriental COCOSDA, pp. 147-151.

## 略歴

沈 睿：2005 年中国華東師範大学中国語教育学科卒, 2009 年早大大学院修士課程了. 同年同大学院博士課程入学. 2012 年より早大人間科学学術院助手. 音声言語コーパス, 言語教育の研究に従事. 言語処理学会会員.

菊池 英明：1991 年早大 - 理工・電気卒, 1993 年同大大学院修士課程了. 同年株式会社日立製作所中央研究所入社. 早大理工総研助手, 国立国語研究所非常勤研究員, 早大人間科学部非常勤講師・専任講師・准教授を経て, 2012 年よ り早大人間科学学術院教授. 博士 (情報科学). 音声言語, 音声対話, ヒュー マン・エージェント・インタラクションの研究に従事. 人工知能学会, 日本音響学会, ヒューマンインタフェース学会, 情報処理学会, 電子情報通信学会等会員

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 表層類似度に基づくセンター試験『国語』現代文傍線部問題ソルバー

佐藤 理史 $^{\dagger} \cdot$ 加納 隼人 $\dagger \cdot$ 西村 翔平 $\dagger \dagger \cdot$ 駒谷 和範 $+\dagger \dagger$
}

大学入試センター試験『国語』の現代文で出題される, いわゆる「傍線部問題」を 解く方法を定式化し，実装した。本方法は, 問題の本文の一部と 5 つの選択肢を照合し，表層的に最も類似した選択肢を選ぶことにより問題を解く，実装した方法は，「評論」の「傍線部問題」の半数以上に対して正解を出力した. キーワード : 大学入試センター試験, 国語現代文, 傍線部問題, 表層類似度
## A Surface-Similarity-Based Solver of Comprehension Questions Referring to Underlined Passages in Contemporary Japanese of the National Center Test

\author{
Satoshi Sato $^{\dagger}$, Hayato Kanou $^{\dagger}$, Shohei Nishimura ${ }^{\dagger \dagger}$ and Kazunori Komatani ${ }^{\dagger \dagger \dagger}$
}

We formalized and implemented a method for solving comprehension questions referring to underlined passages in Contemporary Japanese of the National Center Test. A target question consists of a text body extracted from a critical essay or novel, a question sentence, and five choices; the question sentence refers to an underlined passage in the text body and asks a question related to the passage, such as the interpretation of the passage, the reason for the author's claim (in the essay), and the emotional state or feeling of a character (in the novel). Given a question, the method determines which text segment is the key to the question and selects the choice that is most similar to the segment. The method correctly solved more than half the "critical essay" questions in previous tests of the National Center Test.

Key Words: the National Center Test, Contemporary Japanese, questions referring to underlined passages, surface similarity

## 1 はじめに

日本において, 大学入試問題は, 学力（知力および知識力）を問う問題として定着している. この大学入試問題を計算機に解かせようという試みが, 国立情報学研究所のグランドチャレン ジ「ロボットは東大に入れるか」というプロジェクトとして 2011 年に開始された (新井, 松崎

2012). このプロジェクトの中間目標は, 2016 年までに大学入試センター試験で, 東京大学の二次試験に進めるような高得点を取ることである.

我々は, このプロジェクトに参画し， 2013 年度より，大学入試センター試験の『国語』現代文の問題を解くシステムの開発に取り組んでいる，次章で述べるように，『国語』の現代文の設問の過半は，傍線部問題とよばれる設問である。船口 (船口 1997) が暗に指摘しているように,『国語』の現代文の「攻略」の中心は，傍線部問題の「攻略」にある.

我々の知る限り，大学入試の『国語』の傍線部問題を計算機に解かせる試みは, これまでに 存在しない1. そのため, この種の問題が，計算機にとってどの程度むずかしいものであるかさ え，不明である。このような状況においては，色々な方法を試すまえに，まずは，比較的単純 な方法で, どのぐらいの正解率が得られるのかを明らかにしておくことが重要である.

本論文では，このような背景に基づいて実施した，表層的な手がかりに基づく解法の定式化・実装・評価について報告する，我々が実装したシステムの性能は，我々の当初の予想を大幅に 上回り,「評論」の傍線部問題の約半分を正しく解くことができた.

以下，本稿は，次のように構成されている。まず，2 章で，大学入試センター試験の『国語』 の構成と，それに含まれる傍線部問題について説明する． 3 章では，我々が採用した定式化に ついて述べ，4章ではその実装について述べる，5 章では，実施した実験の結果を示し，その結果について検討する．最後に， 6 章で結論を述べる.

## 2 センター試験『国語』と傍線部問題

大学入試センター試験の『国語』では, 毎年, 大問 4 題が出題される (教学社編集部 2013). その大問構成を表 1 に示す.この表に示すように, 現代文に関する出題は, 第 1 問の「評論」と 第 2 問の「小説」であり，『国語』の半分を占めている.

第 1 問の「評論」は，何らかの評論から抜き出された文章（本文）と，それに対する 6 問の 設問から構成される。 6 問の内訳は，通常，以下のようになっている。

問 1 漢字の書き取り問題が 5 つ出題される.

表 1 センター試験『国語』の大問構成一出典 (教学社編集部 2013)

} & 第 1 問 & 評論 & 50 点 \\
\cline { 2 - 4 } & 第 2 問 & 小説 & 50 点 \\

\cline { 2 - 4 } & 第 4 問 & 漢文 & 50 点 \\

^{1}$ CLEF2013では, QA4MREのサブタスクの一つとして, Entrance Exams が実施され，そこでは， センター試験 の『英語』の問題が使用された.
}
問 2-問 5 本文中の傍線部について，その内容や理由が問われる。

問 6 本文全体にかかわる問題で，2006 年以降は本文の論の進め方や本文の構成上の特徴など が問われる。

一方，第 2 問の「小説」は，何らかの小説から抜き出された文章（本文）と，それに対する 6 問の設問から構成される。 6 問の内訳は，通常，以下のようになっている.

問 1 語句の意味内容を問う問題が 3 つ出題される.

問 2-問 5 本文中の傍線部を参照し，登場人物の心情・人物像・行動の理由などが説明問題の 形で問われる。

問 6 本文全体の趣旨や作者の意図，表現上の特徴などが問われる。

これらの設問のうち,「評論」「小説」の両者の問 2 から問 5 を傍線部問題と呼ぶ. 傍線部問題 の具体例を図 1 に示す。この図に示すように，傍線部問題は，原則として 5 つの選択肢の中か ら正解を一つ選ぶ 5 択問題である。傍線部問題の配点は, 2009 年度本試験では, 第 1 問 32 点,第 2 問 33 点の計 65 点であり, 現代文の配点 100 点の約 $2 / 3$ を占める.

問 5 傍線部D「行為と行為をつなぐこの空間の密度を下げているのが、現在の住宅である」 とあるが、それはどういうことか。その説明として最も適当なものを、次の 1 ～5 のうか ら一つ選べ。

1 現在の住宅では、仕事部屋や子ども部屋など目的ごとに空間が切り分けられており、 それぞれの用途とはかかわらない複数の異なる行為を同時に行ったり、他者との関係 を作り出したりするような可能性が低下してしまっていること。

2 現在の住宅では、ゾーニングが普及することでそれぞれの空間の独立性が高められて おり、家族であってもそれぞれが自室で過ごす時間が増えることで、人と人とが触れ あい、関係を深めていくことが少なくなってしまっていること。

3 現在の住宅では、空間の慣習的な使用規則に縛られない設計がなされており、居住者 たちがそのときその場で思いついたことを実現できるように、各自がそれぞれの行為 を同時に行えるようになっていること。

4 木造家屋などかつての居住空間では、居間や台所など空間ごとの特性が際立っていた が、現代の住宅では、居住者が部屋の用途を交換でき、空間それぞれの特性がなくなつ てきていること。

5 木造家屋などかつての居住空間では、人体の運動と連動して空間が作り変えられるよ うな特性があったが、空間ごとの役割を明確にした現在の住宅では、予想外の行為に よって空間の用途を多様にすることが困難になっていること。

図 1 傍線部問題の例（2011 年度本試験第 1 問の問 5 (2011M-E5)）
表 2 使用する傍線部問題の一覧

## 使用する試験問題

本研究では, 2001 年度から 2011 年度の奇数年の大学入試センター試験の本試験および追試験 の『国語』（2005 年以前は『国語 I・II』）を使用する，ただし，諸般の事情により，本文等が欠け ているものがあり, それらは使用しない. 表 2 に, 本研究で使用する傍線部問題の一覧を示す.

なお，以降では，設問を指し示す ID として，以下のような 4 つの情報を盛り达んだ形式を採用する。

(1) 年度 (4 桁)

(2) 試験区分（M: 本試験， S: 追試験）

(3) 出題区分 (E: 評論, $\mathrm{N}$ : 小説)

(4) 設問番号 $(2,3,4,5)$

たとえば，図 1 に示した，2011 年度本試験第 1 問「評論」の問 5 は,「2011M-E5」と表す。な お,この例に示したとおり, (2)と (3)の間に，ハイフォン‘-をを挟む.

## 3 傍線部問題の定式化

## 3.1 定式化

センター試験『国語』現代文傍線部問題では，正解となる選択肢の根拠が必ず本文中に存在 すると指摘されている (船口 1997)。そして, その根拠となる部分は, 傍線部の付近に存在する ことが多いことが，板野の分析によって明らかにされている (板野 2010). 我々は，これらの知見に基づき，傍線部問題を，図 2 に示すように定式化する。

この定式化は，次のことを意味する。
入力 (a) 本文 $T$

（b）設問文 $Q$ (本文中のどこを参照しているかの情報が含まれるものとする)

(c) 選択肢集合 $C=\left.\{c_{1}, c_{2}, c_{3}, c_{4}, c_{5}\right.\}$

出力 $c=\underset{c_{i} \in \text { pre_select }(C, Q)}{\arg \max } \operatorname{score}\left(\operatorname{extract}(T, Q), c_{i}\right) \operatorname{polarity}(Q)$

関数 (a) $\operatorname{extract}(T, Q)$ : 本文 $T$ から，その一部を抽出する

(b) $\operatorname{score}\left(\widehat{T}, c_{i}\right)$ : テキスト $\widehat{T}$ と $c_{i}$ から，照合スコアを計算する

(c) $\operatorname{polarity}(Q)$ : 設問文の極性を判定する

(d) pre_select $(C, Q)$ : 選択肢集合 $C$ から，その部分集合を選ぶ

図 2 傍線部問題の定式化

（1）それぞれの設問を入力とする。設問は，本文 $T$, 設問文 $Q$, 選択肢集合 $C$ から構成され るものとする。（図 1 では，これらのうち，本文 $T$ を除いた，設問文 $Q$ と選択肢集合 $C$ を示している.)

（2）設問文 $Q$ と本文 $T$ から，選択肢と照合する本文の一部 $\widehat{T}=\operatorname{extract}(T, Q)$ を定める.

（3）選択肢集合 $C$ の中から，実際に本文の一部 $\widehat{T}$ と照合する部分集合 $\widehat{C}=\operatorname{pre} \operatorname{select}(C, Q)$ を定める。これは，選択肢の事前選抜に相当する。

(4) 設問文の極性 polarity $(Q)$ を判定する。この関数は，設問文 $Q$ が「適当なもの」を要求し ている場合に +1 を，「適当でないもの」を要求している場合に -1 を返すものとする.

(5) 事前選択済の選択肢集合 $\widehat{C}$ に含まれる選択肢 $c_{i}$ と, 本文の一部 $\widehat{T}$ と照合スコア $\operatorname{score}\left(\widehat{T}, c_{i}\right)$ を計算する。これに設問文の極性 $\operatorname{polarity}(Q)$ をかけたものを，その選択肢の最終スコア とする。

（6）事前選択済の選択肢集合 $\widehat{C}$ に含まれる選択肢 $c_{i}$ のなかで，最終スコアが最大のものを，解として出力する.

この定式化の特徴は，図 2 に示した (a)-(d)の 4 つの関数に集約される.これらの背後にある 考え方について，以下で説明する。

## 3.2 本文の一部と照合する

正解の選択肢の根拠となる箇所は, 多くの場合, 本文中の傍線部の周辺にあると考えるのが 妥当である. 先に述べたように，この点についての詳細な分析が，板野によってなされている (板野 2010). 実際, 我々人間が傍線部問題を解くとき, 本文中の傍線部の前後に注目するのは,標準的な戦略である.

このような戦略は, 選択肢 $c_{i}$ を本文 $T$ 全体と照合するのではなく, あらかじめ, 本文から,
根拠が書かれていそうな部分 $\widehat{T}$ 抜き出し, $\widehat{T} と c_{i}$ の照合スコアを計算することで, 具体化で きる。

本文の一部を取り出す方法として，

（2）一つ前の設問で参照された傍線部から，当該傍線部までを $\widehat{T}$ とる，

などの方法が考えられ，これらと，採用する単位（文または段落）を組み合わせることにより，多くのバリエーションが生まれることになる. もちろん, 設問毎に, 設問文 $Q$ や本文 $T$ に応じ て異なる（適切な）方法を採用してもよい.

関数 extract は，これらの方法を抽象化したもので，以下のような関数として定義する.

$
\widehat{T}=\operatorname{extract}(T, Q)
$

なお，厳密に言えば，設問文 $Q$ には一つ前の設問の傍線部の情報は含まれないが，その情報 は本文を参照することによって得られるものと仮定する，事実，センター試験では，傍線部に は A, B , C, D の記号が順に振られるため, 当該傍線部が B であれば，一つ前の設問の傍線部は Aであることがわかる。

## 3.3 照合スコアを採用する

本文の一部 $\widehat{T}$ が，選択肢 $c_{i}$ とどの程度整合するか（その根拠となりうるか）を，照合スコア $\operatorname{score}\left(\widehat{T}, c_{i}\right)$ として抽象化する。本来的には, 整合するかしないかの 2 值であるが，そのような 判定を機械的に下すのは難しいので， 0 から 1 の実数をとるものとする.

## 3.4 設問文の極性を考慮する

ほとんどの傍線部問題の設問文は，「最も適当なものを，次の 1 ののうちから一つ選べ」と いう形式となっている。しかし，2001S-E4のように，「適当でないものを，次の 1 ののうち から一つ選べ」という形式も存在する。このような「適当でないもの」を選ぶ設問に対しては,照合スコアを逆転させる（照合スコアが最も小さなものを選択する）のが自然である.

上記のような設問形式に応じた選択法の変更を採用するために，設問文 $Q$ の極性を判定する 関数 $\operatorname{polarity}(Q)$ を導入する。この関数は, 設問が「適当なもの」を要求している場合に +1 ,「適当でないもの」を要求している場合に -1 を返すものとする.

## 3.5 選択肢の事前選抜を導入する

本定式化では，「設問文と 5 の選択肢をよく読めば，本文を参照せずとも，正解にはならな い選択肢のいくつかをあらかじめ排除できる」場合が存在すると考え ${ }^{2}$, 選択肢の事前選抜を明示的に導入する。事前選抜 pre_select は, 選択肢集合 $C$ と設問文 $Q$ から， $C$ の部分集合を返す 関数として定式化する。

$
\widehat{C}=\text { pre_select }(C, Q), \quad \widehat{C} \subseteq C
$

## 4 実装

前節の定式化に基づいて傍線部問題ソルバーを実装するためには, score, polarity, extract, pre_selectの 4 つの関数を実装する必要がある。表 3 に，今回実装した方法の概要を示す（詳細 は，以下で説明する）。お，前節の定式化では，正解と考えられる選択肢を一つ出力する形に なっているが，実際のシステムは，選択肢を照合スコア順にソートした結果（すなわち，それ ぞれの選択肢の順位）を出力する仕様となっている。なお, 照合スコアが一致した場合は, 選択肢番号の若いものを上位とする ${ }^{3}$.

表 3 実装の概要

 &  \\

## 4.1 オーバーラップ率

照合スコア score, および，選択肢の事前選抜 pre_select の実装には，オーバーラップ率を用 いる．オーバーラップ率の定義には, 服部と佐藤の定式化 (服部, 佐藤 2013; Hattori and Sato 2013)を採用する.

この定式化では，まず，ある集合 $E$ を仮定する。この集合の要素が，オーバーラップ率を計算する際の基本単位となる，集合 $E$ としては，たとえば，文字集合 $A$ ，形態素集合 $W$ ，あるい は，文字 $n$-gram の集合 $A^{n}$ などを想定する.

オーバーラップ率の算出の出発点となる式は, 2 の文字列 $t_{1}$ と $t_{2}$ に共通に出現する集合 $E$ の要素の数を求める次式である。

$
\operatorname{overlap}\left(E ; t_{1}, t_{2}\right)=\sum_{e \in E} \min \left(\operatorname{fr}\left(e, t_{1}\right), \operatorname{fr}\left(e, t_{2}\right)\right)
$

ここで, $\operatorname{fr}(e, t)$ は，文字列 $t$ における $e(\in E)$ の出現回数を表す.この値を， $t_{2}$ の長さ，あるい は, $t_{1}$ と $t_{2}$ の長さの和で正規化することにより，オーバーラップ率を定義する.

$
\begin{aligned}
& \operatorname{overlap\_ ratio~}_{D}\left(E ; t_{1}, t_{2}\right)=\frac{\operatorname{overlap}\left(E ; t_{1}, t_{2}\right)}{\sum_{e \in E} \operatorname{fr}\left(e, t_{2}\right)} \\
& \text { overlap_ratio }_{B}\left(E ; t_{1}, t_{2}\right)=\frac{2 \text { overlap }\left(E ; t_{1}, t_{2}\right)}{\sum_{e \in E} \operatorname{fr}\left(e, t_{1}\right)+\sum_{e \in E} \operatorname{fr}\left(e, t_{2}\right)}
\end{aligned}
$

前者の overlap_ratio ${ }_{D}$ は， $t_{2}$ の長さのみで正規化したもので，方向性を持った (directional) オー バーラップ率となる. 後者の overlap_ratio ${ }_{B}$ は, $t_{1}$ と $t_{2}$ の長さの和で正規化したもので，方向性を持たない，双方向性 (bidirectional) のオーバーラップ率となる.

## 4.2 照合スコア

本文の一部 $\widehat{T}$ と選択肢 $c_{i}$ の照合スコアには, 方向性を持ったオーバーラップ率 overlap_ratio ${ }_{D}$ を用いる。

$
\operatorname{score}\left(\widehat{T}, c_{i}\right)=\text { overlap_ratio }_{D}\left(E, \widehat{T}, c_{i}\right)
$

ここで，オーバーラップを測る際の単位（要素）集合 $E$ として，以下の 4 種類を実装した。

(1) $A$ : 文字集合

(2) $A^{2}:$ 文字 bigram $の$ 集合

(3) $W$ : 形態素表層形の集合

(4) $L$ : 形態素原形の集合

いずれの場合も, 句読点は要素に含めなかった.

形態素解析器には mecab-0.994を, 形態素解析辞書には, ipadic-2.7.0 または unidic-2.1.0を 用いた。すなわち， $W$ と $L$ は，それぞれ 2 種類存在することになる.

## 4.3 設問文の極性判定

設問文の極性判定は，文字列マッチングで実装した，具体的には，正規表現「/（適切|適当） でないものを/」に一致した場合は negative (-1), それ以外は positive $(+1)$ と判定する. 対象 とした問題は限られているので，極性判定結果は，人間の判断とすべて一致する.

## 4.4 本文の一部の抽出

段落 $(\mathrm{P})$ 単位および文 $(\mathrm{S})$ 単位の抽出を実装した。抽出する領域は，連続領域を採用した。す なわち, 抽出単位, 抽出開始点, 抽出終了点の 3 つの情報によって, 抽出領域は定まる.

抽出開始・終了点は, 当該傍線部を含む単位（段落または文）を基準点 0 とし, その前後何単位であるかを，整数で表す．たとえば，S- $m-n$ は，当該傍線部を含む文と，その前 $m$ 文，後 $n$ 文を表す（全部で $m+1+n$ 文となる）。この他に, 本文先頭 (a), 前問の傍線部の位置 (b),本文末尾 (e) という 3 種類の特別な位置を指定できるようにした. さらに，当該傍線部を含む 文を除外するというオプション $(\bar{X})$ も実装しだ．

## 4.5 選択肢の事前選抜

選択肢の事前選抜には，次の方法を採用した。

（1）それぞれの選択肢 $c_{i}$ において，以下に示す事前選択スコア $\operatorname{ps}\left(c_{i}, C\right)$ を計算する.

$
\operatorname{ps}\left(c_{i}, C\right)=\frac{1}{|C|-1} \sum_{c_{j} \in C, c_{j} \neq c_{i}} \text { overlap_ratio }_{B}\left(A ; c_{i}, c_{j}\right)
$

このスコアは, 他の選択肢 $c_{j}$ との双方向文字オーバーラップ率 overlap_ratio ${ }_{B}\left(A ; c_{i}, c_{j}\right)$ の平均値である。

（2）得られた事前選択スコアが低い選択肢を, 選択肢集合から除外する。（最終順位付けで は，かならず 5 位とする)

なお，この実装は，いわば「もっとも仲間はずれの選択肢を一つ除外する」という考え方に 基づいている.

## 5 実験と検討

## 5.1 実験結果

実装した傍線部問題ソルバーを用いて，評論傍線部問題 40 問を解いた結果を表 4 および表 5 に示す.この表の各行の先頭の欄 (ID) は, 本文抽出法 (extract) に対応しており, 次の 2 つの数字は，その抽出法 (ID) で抽出された文数（40 問の平均値），および，該当傍線部を含む文を除外した場合 $(\overline{\mathrm{ID}})$ の文数を示す ${ }^{5}$. 斜線で区切られた 4 つの数字は，ある要素集合を単位として オーバーラップ率を計算した場合に対応し, それぞれの数字は, 順に, 以下の場合の正解数を 示す.

（1）抽出法 ID + 事前選択なし (no)

(2) 抽出法 $\overline{\mathrm{ID}}+$ 事前選択なし (no)

（3）抽出法 ID + 事前選択あり (yes)

（4）抽出法 $\overline{\mathrm{ID}}+$ 事前選択あり (yes)

表 4 の 2 行目 (P-a-0)の $A$ 闌の最初の数字 20 が, 我々に衝撃を与えた数字である. これは,

$\widehat{T}$ と各選択肢 $c_{i}$ との照合スコアを文字オーバーラップ率 $(A)$ で計算して,

スコアが最大値を取る選択肢を選んだ場合,

「評論」の傍線部問題の半分 $(20 / 40)$ が正しく解ける

ことを意味する。

センター試験の設問は 5 択問題であるので，解答する選択肢をランダムに選んだとしても $1 / 5$ の確率で正解する。 40 問においてランダムに解答を選んだ場合，正解する問題数は， $8 \pm 4.96$ $(p=0.05)$ である ${ }^{6}$. この値と比べ, 正解数 20 問は有意に多い.

我々は，このような性能が得られることを，まったく予期していないかった. この結果を受 けて，我々は，色々な設定 $(84 \times 6 \times 4-12=2,004$ 通り）7での性能を網羅的に調べた。こうし て得られたのが表 4 と表 5 である。これらの表では, 正解数 20 以上をボールド体で表示した. さらに，正解数が 22 以上となった 16 の設定とその設定における正解の順位分布（第 $n$ 位とし て出力された正解がいくつあるか）を，表 6 に示した.
^{5} \mathrm{~S}-m-n$ で文数が $m+1+n$ を越えるのは，2003S-E5 の設問文が複数の傍線部（正確には，波線部）を含むためで ある。この場合，最初に現れる波線部の前方 $m$ 文から，最後に現れる波線部の後方 $n$ 文までを抽出する.

${ }^{6} B\left(40, \frac{1}{5}\right) \approx N\left(8,2.53^{2}\right)$. 故に $1.96 \times 2.53 \approx 4.96$

7 傍線部を含む段落が 1 文のみから構成されている場合があるので，抽出法 $\overline{\mathrm{P}-0-0}$ は設定しない.これが -12 に相当する. 84 は，表 $4-5$ の行数の合計を， $6 \times 4$ は 1 行に記述される設定数を示す.
}
表 4 「評論」に対する実験結果（その 1）

} & $A$ & $A^{2}$ & $W$-ipadic & $W$-unidic & $L$-ipadic & $L$-unidic \\

表 5 「評論」に対する実験結果（その 2）

} & $A$ & $A^{2}$ & $W$-ipadic & $W$-unidic & $L$-ipadic & \multirow{2}{*}{} \\

## 5.2 実験結果を検討する

表 4 と表 5 を観察すると，以下のことに気づく.

（1）照合するテキスト $\widehat{T}$ が極端に短い場合を除き，ほとんどの場合（2,004 通り中 1,828 通り の設定）で，正解数はランダムな方法より有意に多い。すなわち，「評論」の傍線部問題 に対しては，本論文で示した解法は，有効に機能する。

（2）照合スコアのオーバーラップ率の計算には，文字 $(A)$ を用いると相対的に成績がよい場合が多い，文字オーバーラップ率が有効に機能するという，この結果は，日本語の含意
表 6 正解数が 22 以上の設定と正解の順位分布（「評論」）

認識 (RITE2) における服部らの結果 (服部, 佐藤 2013; Hattori and Sato 2013) に合致す る. 文字オーバーラップ率が有効に機能するのは, おそらく, 日本語の文字の種類が多 いこと，および，漢字 1 文字が内容的情報を表しうること，の 2 つの理由によるものと 考えられる。

(3) 照合スコアのオーバーラップ率の計算に, 文字 $\operatorname{bigram}\left(A^{2}\right)$, 形態素出現形 $(W)$, 形態

比較的短いテキストの照合では, 語や文字 bigram などの, より長い要素の一致が大き な意味を持つためと考えられる。今回の実験で最も成績がよかった正解数 23 は, 抽出法 $\overline{\mathrm{S}-9-0}$, 照合法 $A^{2}$ または $L$-unidic，事前選抜あり (yes)の場合に得られた.

（4）照合テキスト $\widehat{T} か ら ，$ 当該傍線部を含む文を除外した方が，除外しなかった場合よりも，成績は若干よい傾向を示す. 脚注 4 でも述べたように，傍線部の言い換えを求めるよう な設問では, 該当傍線部自身は, 選択肢の根拠とはならないことが多い.このような設問に対しては，該当傍線部を含む文を除外することによる効果があると考えられる。

（5）選択肢の事前選抜は，正解数を増やす効果が見られる。なお, 今回使用した 40 問におい て，正解が事前選抜によって除外される設問は， 1 問 (2005M-3) だけ存在した.

（6）用いる形態素解析辞書によって, 得られる結果は若干異なる.これは, 形態素として認
定する単位，および，原形の認定法の違い8による，今回の実験では，ipadicを使用した 方が，相対的によい結果が得られた場合が多かった。

## 5.3 性能の上限を見積もる

本論文で提案した方法で, どの程度の性能が達成可能であるかを見積もってみよう．性能の 上限は，それぞれの設問において，

（1）最も適切な本文の一部 $\widehat{T}$ が選択でき，かつ，

（2）最も適切な照合スコアを選択できる

と仮定した場合の正解率で与えられる。ここでは,

・ 形態素解析辞書には ipadic のみを用いる
- 選択肢の事前選択は行なわない9

こととした $668(=84 \times 4-4)$ 通りの設定 ${ }^{10}$ を採用し, 各設問毎に 668 通りの設定の成績（正解 の順位) を集計した。その結果を表 7 に示す.

表 7 に示すように， 668 通りの設定のいずれにおいても正解を出力できなかった設問は, 2 問 (2001S-E5 と 2009M-E4)のみであった. すなわち, 38/40(=95\%) の設問に対して，本論文で 示した解法は正解を出力できる可能性がある.

表 7 において，1位となった設定数が多い設問は，言わば「ストライクゾーンが広い」設問 である。つまり，パラメータ選択に「鈍感」であり，機械にとってやさしい設問である．たと えば，2003S-E3（1 行目）は，668 通り中 664 通りの設定で正解が得られている，逆に， 1 位 となった設定数が少ない設問は，正解を出力するのが難しい設問である．たとえば， 2003M-E5 （下から 3 行目）は， 668 通り中 14 通りの設定でしか正解が得られない.

これらのことを考慮して，次に，もうすこし現実的な到達目標を考えよう。正解率 $1 / 5$ でラ ンダムに 668 回の試行を行なった場合の正解数は $133.6 \pm 20.26(p=0.05)$ である.この値の上限をひとつの目安として ${ }^{11}$, これよりも多い正解数が得られた設問は, 設問に応じた適切なパ ラメータ選択により，正解を導ける可能性が高いとみなそう。このような設問は, 40 問中 27 問 $(67.5 \%)$ である，実際，今回の実験で得られた最大正解数は 23 であり，正解数 27 は, 現実的に到達可能な範囲にあると考えられる。

## 5.4 好成績の理由を考える

このような比較的単純な解法でも, 半数以上の設問が正しく解けるのは, どうしてだろうか. その理由は, おそらく,「センター試験がよく練られた試験問題である」ということになろう.
-0-0}$ は設定しないことに対応する. 11 表 7 の左側の区切り線は,この境界を示す.
}
表 7 各設問における正解順位分布（「評論」）

センター試験の問題は, 当然のことながら, 「正解が一意に定まる（大多数の人が, 正解に納得 できる)」ことが必要である.

答の一意性を保証できる『数学』の問題とは異なり,『国語』の傍線部問題は, 潜在的には多数の「正解文」が存在する，作問者の立場に立てば，そのうちの一つを選択肢に含め，それ以外を選択肢に含めないように問題を作らなければならない。そのため，正解選択肢とそれ以外 の選択肢の間に，明示的な差異を持ち込まざるを得なくなる。そして，そのために持ち込まれ た差異は，オーバーラップ率のような表層的な指標においても，識別できる差異として現れて しまうのであろう，もし，この推測が正しいとすれば，「良い問題であれば，機械にも解ける」 ということであり，本論文で提案した解法は， センター試験ならではの性質を利用しているこ とになろう.

## 5.5 正解が得られない設問

すでに何度も述べたように, 我々は, 本論文で提案した解法で「評論」の傍線部問題の半数以上が解けてしまうことが驚きであり，解けない設問があることに何の不思議さも感じない. し かしながら，査読者より，採録条件として，「提案手法では正解が得られない設問に対する分析

（定性的な議論）が必要である」との指摘があったので，この点についての我々の見解を以下に 述べる。

まず，（ある特定パラメータを使用した）この解法によって正解が得られない直接的な理由は,抽出した本文の領域 $\widehat{T}$ と正解選択肢との照合スコア（オーバーラップ率）が低いことによる. この理由をさらに分解すると，次の 3 つの理由に行きつく。

R1 そもそも本文中に根拠がない

R2 不適切な領域 $\widehat{T}$ 抽出している

R3 照合スコアが意味的整合性を反映していない

しかしながら, 特定の設問が解けない理由を, このどれか一つに特定することは難しい.

まず，理由Ｒ1 であるが，確かに，これがほぼ明白なケースは存在する，たとえば，2003M-E4 は，傍線部の「具体例」を問う問題であるが，本文中にはその具体例は述べられていない．しか しながら,「根拠」という言葉はいささか曖昧であり, 広くも狭くも解釈できるため, その解釈 を固定しない限り，根拠の有無を明確に判断することは難しい，受験対策本がいう「根拠」は，「正解選択肢を選ぶ手がかり」という広い意味であり，「『適切に語句や表現を言い換えれば，選択肢の表現に変換できる』本文の一部」という狭い意味ではない．前者の意味では，ほとんど の設問に根拠は存在するが，後者の意味では，ほとんどの設題に根拠は存在しない，評論の傍線部問題で問われるのは, 本文全体の理解に基づく傍線部の解釈であり, 表現レベルの単純な 言い換えではない.

次に, 理由 R2であるが，今回の解法では，選択肢と照合する領域として文または段落を単位 とする連続領域のみを扱っている。しかし, 実際の（広い意味での）根拠は，より小さな句や 節といった単位の場合もあり，かつ，不連続に複数箇所存在する場合も多い. 現在の実装の自由度における最適な領域が，必ずしも真の意味で適切な領域であるとは限らない。

最後に, 理由 $\mathrm{R} 3$ であるが, 現在の照合スコアが意味的整合性を適切に反映しない場合が存在 するのは自明である。しかし, 問題はそれほど単純ではない. 照合スコアの具体的な値は, 照合領域 $\widehat{T} に$ 依存する。最適な領域が定まれば，使用している照合スコア計算法の善し悪しを議論できるが，最適な領域が不定であれば，正解を導けない原因を，領域抽出の失敗 (R2) に帰す べきか, 照合スコアの不適切さ (R3)に帰すべきかは, 容易には定まらない.

以上のように, 特定の設問が解けない理由を追求し, 解けない設問を類形化することは, かな り難しい，さらに，チャンスレベルは $20 \%$ であるから，たまたま解ける設問も存在する ${ }^{12}$. そ のような困難さを踏まえた上で，解けない設問を大胆に類形化するのであれば，次のようにな ろう.
- 正解選択肢を選ぶ根拠が, 傍線部のかなり後方に位置する設問.

- 正解選択肢を選ぶ根拠が, 本文全体に点在している設問.
- 正解選択肢が, 本文全体の理解・解釈を前提として, 本文中には現れない表現で記述さ れている設問。
- 本文と整合しない部分を含む選択肢を除外していくこと（いわゆる消去法 (板野 2010)） によって，正解選択肢が導ける設問。

## 5.6 「小説」に適用する

本論文で提案した解法を, そのまま「小説」の傍線部問題に適用すると, どのような結果が得 られるであろうか. その疑問に答えるために，「評論」と同様の実験を，「小説」に対しても実施した. 対象とした「小説」の傍線部問題は計 38 問なので，ランダムに解答すると， $7.6 \pm 4.83$問 $(p=0.05)$ の正解が得られることになる.

実験において, 統計的に有意な結果（正解数 13 以上）が得られたのは, 2,004 通り中 13 通りの 設定のみであった。これらを表 8 に示す. さらに,「評論」と同様に, 各設問に対しても 668 通 りの実験結果を集計した ${ }^{13}$ 。正解数が $133.6 \pm 20.26$ の上限を越えたのは, 38 問中 10 問であっ た. これらの結果より,「小説」に対しては，本論文で提案した解法の性能は，チャンスレベル と大差がないとみなすのが妥当であろう.

表 8 正解数が 13 以上の設定と正解の順位分布 (「小説」)

## 6 結論

本研究で得られた結果をまとめると，次のようになる。

（1）センター試験『国語』現代文の傍線部問題に対する解法を提案・定式化した.

(2) 本論文で示した解法は, 「評論」の傍線部問題に対しては有効に機能し, 半数以上の設問 に対して正解を出力することができる。今回の実験から推測される性能の上限は $95 \%$,現実的に到達可能な性能は 65-70\%である.

(3) 本論文で示した解法は,「小説」の傍線部問題に対しては機能しない. その性能はチャン スレベルと同等である.

本論文で示した解法で「『評論』が解ける」という事実を言い換えるならば，それは，「『評論』 では，本文に書かれていることが問われる」ということである. これに対して，「『小説』が解 けない」という事実は，その裏返し，すなわち，「『小説』では，本文に書かれていないこと（心情や行間）が問われる」ということを示している. このような差異の存在を, 船口 (船口 1997) も指摘しているが, 表層的なオーバーラップ率を用いる比較的単純な方法においても，その差異が明確な形で現れることが判明した.

## 謝 辞

本研究では, 国立情報学研究所のプロジェクト「ロボットは東大に入れるか」から，データの 提供を受けて実施した。本研究の一部は，JSPS 科研費 24300052 の助成を受けて実施した．本研究では, mecab/ipadic, mecab/unidic を使用した.

## 参考文献

新井紀子, 松崎拓也 (2012). ロボットは東大に入れるか?一国立情報学研究所「人工頭脳」プロ ジェクト一. 人工知能学会誌, 27 (5), pp. 463-469.

船口明 (1997). きめる！センター国語現代文. 学研教育出版.

服部昇平, 佐藤理史 (2013). 多段階戦略に基づくテキストの意味関係認識：RITE2 タスクへの

適用情報処理学会研究報告, 2013-NLP-211 No.4/2013-SLP-96 No.4, 情報処理学会.

Hattori, S. and Sato, S. (2013). "Team SKL's Straregy and Expericence in RITE2" In Proceedings

of the 10th NTCIR Conference, pp. 435-442.

板野博行 (2010). ゴロゴ板野のセンター現代文解法パターン集. 星雲社.

教学社編集部 (2013). センター試験過去問研究 国語（2014 年版センター赤本シリーズ）. 教学社.

## 略歴

佐藤 理史：1988 年京都大学大学院工学研究科博士後期課程電気工学第二専攻研究指導認定退学. 京都大学工学部助手, 北陸先端科学技術大学院大学助教授, 京都大学大学院情報学研究科助教授を経て, 2005 年より名古屋大学大学院工学研究科教授. 工学博士. 現在, 本学会理事.

加納 隼人：2010 年名古屋大学工学部電気電子・情報工学科入学. 2014 年同学科卒業. 現在, 名古屋大学大学院工学研究科電子情報システム専攻在学中.

西村 翔平：2010 年名古屋大学工学部電気電子・情報工学科入学. 2014 年同学科卒業.

駒谷 和範：1998 年京都大学工学部情報工学科卒業. 2000 年同大学院情報学研究科知能情報学専攻修士課程修了. 2002 年同大学院博士後期課程修了. 博士 (情報学). 京都大学大学院情報学研究科助手 - 助教, 名古屋大学大学院工学研究科准教授を経て, 2014 年より大阪大学産業科学研究所教授. 現在, SIGDIAL Scientific Advisory Committee member. 情報処理学会, 電子情報通信学会, 人工知能学会, 言語処理学会各会員.