# 多重タグ付き英語学習者コーパスの開発と 英語能力自動測定への応用

本論文では, まず, e ラーニングシステムの研究開発のために構築された英語学習者コーパスについて解説し, 次に, このコーパスの分析と, これを用いた英語能力自動測定実験について述べている。本コーパスは，496 名の被験者が各々 300 文の 日本語文を英語に翻訳したテキストから構成されており, 各被験者の英語の習熟度 がTOEICにより測定されている。 また, これらに加え, 日英バイリンガルによる正解訳も整備されていることから, 訳質自動評価の研究に利用することが可能である. このコーパスを用いた応用実験として, BLEU, NIST, WER, PER, METEOR, GTM の6つの翻訳自動評価スコアを用いた実験を行なっている．実験において，各自動評価スコアと TOEIC スコアとの相関係数を求めたところ，GTM の相関係数が 最も高く, 0.74 となった. 次に, GTM や, 英訳結果の文長や単語長などからなる 5 つのパラメータを説明変数とし, TOEIC を目的変数とした重回帰分析を行なった結果，重相関係数は 0.76 となり，0.02の相関係数の改善が得られた.

キーワード: 学習者コーパス, TOEIC, BLEU, e ラーニング
## Development and Applications of an English Learner Corpus with Multiple Information Tags

\author{
Keisi Yasuda $^{\dagger}$, KeIsuke Kitamura $^{\dagger \dagger, \dagger \dagger \dagger}$, Seilchi Yamamoto $^{\dagger \dagger}$ and
}

MasuZO YanaGIDA ${ }^{\dagger \dagger}$

Introduced in this paper is an English learner corpus built for the $\mathrm{R} \& \mathrm{D}$ of an e-Learning system. Analysis and application experiments of the corpus are also shown. The corpus consists of English sentences that were translated from Japanese by Japanese English learners. Each of them translated 300 Japanese sentences into English. Their English proficiencies were measured through TOEIC. Reference sentences, translated by bilinguals, were also collected for automatic evaluation of the translation quality. In the experiments, automatic scores such as BLEU, NIST, WER, PER, METEOR and GTM were used. According to the experimental results, GTM gives the highest correlation, 0.74 for an automatic score and TOEIC. By adding 4 parameters (sentence length, word length of the translation of the English learners, etc.) for the multiple linear regression analysis, the correlation improves to 0.76 .

Key Words: English learner corpus, TOEIC, BLEU, e-learning


## 1 はじめに

経済のグローバル化に伴い, 英語が言わば国際共通語となった現在, 日本人の英語によるコミュニケーション能力を向上させることは, 国際的なビジネスの場などでの発表や交涉・議論を効果的に行うためには極めて重要な課題である. このような能力を向上させるためには, 従来型の学習方法に加え, 情報通信技術を応用した e ラーニングによる学習の効率化が有効な解決策となりうる。

ここで，英語によるコミュニケーションに必要な能力について注目する．英語による円滑なコミュニケーションを行なうには, 以下に述べる種々の英語に関連した能力を総合的に向上させる必要がある.
- 英語表現を正確に聞き取る能力
- 英語表現を正確に発音する能力
- 語順や単語を適切に選んで英語文を構成する能力（英語表現能力）

これらの個別の能力の内，発音と聴き取りに関しては，既に e ラーニングシステムの研究開発が進んでおり，一定の成果を上げている (Hirose, Ishi, and Kawai 2001; Akahane-Yamada, Kato, Adachi, Watanabe, Komaki, Kubo, Takada, and Ikuma 2004). その反面, 英語表現能力を扱った eラーニングシステムに関する取り組みは少ない. そこで本研究では, 英語学習者コーパスの開発と英語表現能力を扱う e ラーニングシステムの研究開発について取り組んでいる.

英語表現能力を e ラーニングにおいて扱う場合, 従来の授業型の英語学習で教師により行なわれている「学習者の習熟度に適合した課題の選択」と「翻訳誤りの指摘とその訂正」という機能を自動化する必要がある。これらの 2 つの機能を自動化する上で，まず，的確に英語表現能力を自動測定する手法の確立が必要である.

英語表現能力の測定においては, 課題文を提示してその英訳文の適切性を評価する手法が一般的であるが，正解訳は一意に決定できないことから，学習者の作成した英文の評価は人手による主観的な評価によるのが現状である．英訳文の質を客観的に評価する手法については，機械翻訳の分野で，課題文に対する複数の正解訳文（以下参照訳と略称する）を予め用意しておき, 編集距離や単語 $n$ グラムの一致度を用いて評価する手法が検討されている。このような評価手法は， 統計的翻訳システムの評価においては，主観評価値と一定の相関を示すことが実証されているが (Papineni, Roukos, Ward, and Zhu 2002), その反面, ルールベースなどの機械翻訳の方式によっては, 必ずしも適切な指標とはならないことも指摘されている (Callison-Burch, Osborne, and Koehn 2006).

このような手法が英語学習者の翻訳文の評価においても有効であれば，英語表現能力の測定を自動化することが可能となる．この点を検証するためには，様々な英語能力を持つ英語学習者が翻訳した英訳文が必要である。現状の大規模学習者コーパスとしては，NICT JLEコーパ

ス (Izumi, Uchimoto, and Isahara 2004)や, JEFLL コーパス (投野 2007) があるが, これらは比較的自由度の高い会話やエッセイ方式によりデータ収集が行われているため，同一日本語文に対する複数の被験者による英訳文や，英語母語話者が翻訳した複数種類の英訳文を集積していないなど, 英語表現能力の自動評価の検討を行うには, 必ずしも十分満足できるものではない. そのため，まず，学習者の英語表現能力を自動評価する手法に対する検討のための基盤となる学習者コーパスを開発した。これは，学習者の英語表現能力の客観的評価手法の研究を行うための基盤として, TOEIC スコアで表現される様々なレベルの英語能力を持つ英語学習者が同一の日本語文を翻訳した英訳文のデータを収集したコーパスである.

本論文では，まず，この学習者コーパスの収集方法に関する説明を行なう。次に，収集したコーパスの基本的な統計量について示すとともに, 被験者による英訳難易度, 英訳の平均文長,英訳の平均単語長などの特徴量と, TOEIC スコアとの関係に関する分析を行なう。最後に, 本コーパスの訳質自動測定への応用について述べる。

以下，2では開発した学習者コーパスの収集方法について述べ，3では，コーパスの基礎的な分析結果について述べる．4では，本コーパスの訳質自動測定への応用について述べ，最後に， 5 では全体をまとめる.

## 2 学習者コーパスの収集方法

## 2.1 課題文

学習者コーパス収集に用いる英訳課題として，以下の 6 種からなる日本語文 1,500 文を利用した. これらの 1,500 文をランダムに 5 等分し, 300 文からなる課題セットを 5 つ作成した.
- 英訳課題文の内訳 $(300$ 文 $\times 5$ セット)
- 中学と高校の英語教科書に出題されている英訳問題文

－ 旅行会話用フレーズブックから抽出された日本語文 (Kikui, Sumita, Takezawa, and Yamamoto 2003)
- e-mail 用フレーズブックから抽出された日本語文

－ビ゙ネス会話用フレーズブックから抽出された日本語文

－ 留学用フレーズブックから抽出された日本語文

－ 音声翻訳システムの研究開発のために収集された旅行会話 (SLDB)(Takezawa 1999) の日本語文

表 1 にこれらの英訳課題文の詳細を示す.
表 1 英訳課題文の詳細

 \\

## 2.2 英語学習者のデータ収集

英訳データの収集方法は，被験者 1 人につき，課題セット 1 つ（300 文）を割り当て，課題文をWEB ブラウザ上に提示し，496 名の被験者に英訳を行なわせた. 被験者毎にタイピング能力が異なることから，英訳時における時間制限は設けなかった．英訳時には，辞書や参考書の使用を禁止した，また，被験者には，英訳時において，各課題文に対する英訳の難易度を $1 \sim 5$ の 5 段階（1 非常に簡単， 2 簡単， 3 普通， 4 難しい， 5 非常に難しい）で主観評価させた．全ての課題文に対する英訳が終了した後，各被験者にスペルミスと思われる箇所を提示し，スぺルミスの修正を行なわせた，スペルミスの修正作業時には，辞書や参考書の利用を許可した。

被験者の能力を測定するための試験として TOEICを採用し, データ収集と同時期に, TOEIC 公開テストか, 団体試験である TOEIC IP テストのどちらかを，全ての被験者に受験させている¹ TOEIC IP テストは，過去の TOEIC 公開テストの問題を用いた試験であり，スコア自体は TOEIC 公開テストのものと等価であることから, これらのスコアは同等に扱っている。なお, TOEIC は, Reading と Listening の試験から構成される試験であるものの, Speaking や Writing の能力とも高い相関を示すスコアである点 (Woodford 1982)や, 日本における受験者が多く, 多数の被験者を集めやすい点を勘案して採用した.

## 2.3 バイリンガルによる参照訳の収集

先に述べた英語学習者による英訳結果の他に, 同じ英訳課題文 1,500 文に対して, 英語を母語とする 5 名のバイリンガルによる参照訳を収集している．参照訳にバリエーションを持たせるため，英訳課題 1 文に対して，バイリンガル 1 名が 2 訳を作成することにより，のべ 10 文の参照訳を収集している，参照訳全体に対する 1 文あたりの平均単語数は, 10.2 単語である.
^{1} 2006$ 年 5 月に TOEIC の各パートの問題数が変更されたが，この変更以前の試験を受験させている.
}

## 2.4 バイリンガルによる英訳難易度評価

日本語を母語とするバイリンガル 3 名（通訳者, 英語教育経験者, 言語処理関連デー夕作成経験者）により，「英訳難易度」に関する評価を実施した。各評価者には，1,500 文全ての課題文に対する評価を行なわせている。

2.2 で述べた被験者による作業は, 英訳と英訳難易度評価を並行して行なう作業であるのに対し, ここでのバイリンガルによる作業は, 英訳難易度評価のみを行なう作業である。そのため,評価作業に集中でき，同一評価者内における評価の一貫性の維持が比較的容易であると考えられる。これらの理由から，バイリンガルによる評価では， 2.2 で述べた評価基準（5段階）とは異なり,より細かい 7 段階の評価基準（1 非常に簡単, 2 簡単, 3 少し簡単, 4 普通, 5 少し難しい 6 難しい, 7 とても難しい) にて評価を実施した.

次に，2.3で述べた参照訳収集と，英訳難易度評価とにおいて，バイリンガルの母語が異なる理由について述べる，参照訳収集では，英語として一切誤りの無い完璧な訳を収集する必要があるため, 英語が母語であるバイリンガルに依頼した，一方，英訳難易度評価においては，日本語母語話者に対する，日本語を英訳する際の難易度の測定が目的であるため, 日本語が母語であるバイリンガルに依頼した.

## 3 学習者コーパスの分析

ここでは，2で述べた方法により収集されたデー夕の基本的な統計量について示すとともに， TOEIC スコアとの関連性という観点からの分析を行なう.

まず，被験者の TOEIC スコアの分布を示し，次に，被験者の TOEIC スコアと，被験者による英訳難易度，英訳の平均文長，英訳の平均単語長などとの関係について分析する．最後に，3 名のバイリンガルによって行なわれた英訳難易度の評価結果とその分析について示す.

## 3.1 被験者のスコア分布

図 1 に, 英語学習者 496 名の TOEIC スコアのヒストグラムを示す.ここでの平均は 559.4 ,標準偏差は 208.1 である。日本人の TOEIC 受験者全体の TOEIC スコアの平均（580 前後）と標準偏差（170 前後）(ETS 2008) と比較すると, 平均スコアは低く, 標準偏差は大きくなっている.これは, 被験者を募集する際に，英語能力の分布は，可能な範囲内で均一となるように努めたためである.

## 3.2 TOEIC スコアと英訳課題の主観的英訳難易度

ここでは分析のため, まず，496名の英語学習者を TOEIC スコアが低い順に 100 名づつグー ピングしていき，5つのグループに分けた，以下に各グループの TOEIC スコア帯を示す.

## TOEIC score

図 1 英語学習者の TOEIC スコア

グループ 1 TOEIC スコア 175〜365の 100 名.

グループ 2 TOEIC スコア 365〜465 の 100 名.

グループ 3 TOEIC スコア 470〜605の 100 名.

グループ 4 TOEIC スコア 605〜760の 100 名.

グループ 5 TOEIC スコア 765〜990の 96 名.

図 2 は，このグループ分けを用い，次式により定義する英語学習者 $(i)$ ごとの課題文に対する主観難易度の平均値 $\left(D_{i}\right)$ を，各グループごとにプロットしたヒストグラムである。

$
D_{i}=\frac{1}{n_{\text {test }}} \sum_{j=1}^{n_{\text {test }}} d\{i, j\}
$

ただし, $n_{\text {test }}$ は, 英語学習者 $i$ が英訳した課題文の数（ここでは，300）で, $d\{i, j\}$ は, 英語学習者 $i$ が課題文 $j$ に対して付与した 5 段階の主観難易度（1～5) である.

図 2 を見ると TOEIC スコアが低い学習者ほど，難しい英訳問題であると感じており，TOEIC スコアが上がるにつれ，簡単な問題であると評価する割合が高くなっていくことがわかる.

被験者全体における $D_{i}$ の平均は, 3.2 であった. この点と, 日本人の平均的な TOEIC スコアであるグループ 3 の難易度が，3付近に集中している点とを考慮すると，英訳課題文の難易度の設定としては，程よいレベルであったといえる。

図 2 英語学習者による翻訳難易度

## 3.3 TOEIC スコアと英訳結果の文長との関係

2.3 で述べたように，バイリンガルによる参照訳の平均文長は 10.2 単語であるが, これに比べると被験者全体での平均文長は短く, 8.0 単語であった.

被験者の TOEIC スコアと英訳の文長の関係を見るため, 3.2 で述べたものと同様の 5 グルー プ分類を用いてプロットした各被験者の英訳結果の平均文長（平均単語数）のヒストグラムが図 3 である. 図 3 では, TOEIC スコアが 605 以上の英語学習者の平均文長もこの付近に集中している．また，グループ 5 とグループ 4 とでは，分布に大きな差が無いが，グループ 3 以降, TOEIC スコアが低くなるにつれ，平均文長が短くなっていく傾向にある.

## 3.4 英訳の単語長と TOEIC スコアの関係

図 4 は, 図 3 の平均文長を平均単語長（1 単語当たりの平均文字数）に置き換えてプロットしたヒストグラムである。全体的な傾向としては, 図 3 で示した文長と TOEIC スコアとの関係の場合と同様, TOEIC スコアが高い英語学習者ほど長い単語を使うという傾向がみられた.

しかしながら, グループ毎に細かく見ていくと, 文長の場合ではグループ 5 とグループ 4 が非常に似かよった分布となっている反面，単語長の場合については，グループ 5 とグループ 4 の分布形状は異なり，グループ 4 とグループ 3 が似かよった分布形状となっている.

これらのことから, TOEIC のスコア帯が 605 から 760 のグループ 4 と, $765 \sim 990$ のグループ

図 3 英訳結果の文長

Average length of words used in translated sentences

(in characters)

図 4 英訳結果の単語長

5 では, 英訳結果に含まれる文長（単語数）においては大きな差が無いものの, グループ 5 はグループ 4 と比較し，英訳時に長い単語を使う傾向があると言える.

## 3.5 英訳におけるスペルミスと TOEIC スコアの関係

2.2 で述べたように，各英語学習者には， 300 文全ての翻訳が終了した後に，スペルミスと思われる箇所を提示し，修正させた2 ${ }^{2}$.ここでは，修正が行なわれた文数について分析する.

図 5 は，スペル修正が行なわれた文の数を学習者ごとに合計し，プロットしたヒストグラムである.グループ分けの方法についてはこれまでと同様である.

図 5 を見ると，英語学習者の能力が高いほど，スペル修正された文の数が少ないことが分かる. $0 \sim 30$ のランクで， TOEIC スコアが最も低いグループ 1 の頻度が高くなっているが，これは，英語学習者による英訳が不可能で，英訳結果が空欄の場合については，スペルミスが無い英訳として集計していることが起因していると考えられる.

図 5 スペルミスを含む英訳文数


## 3.6 バイリンガルによる英訳難易度評価に関する分析

ここでは， 2.4 で述べた，バイリンガル 3 名により行なわれた英訳難易度評価の結果について分析する。図 6 は， 3 名の評価者により評価された 1,500 文の難易度のヒストグラムである。図 6 では, 図 2 とは異なり, 全テスト文での平均をとるのではなく, 文単位の難易度を用いてプロットしている，図 6 を見ると，同一の課題文集合を評価しているにもかかわらず，難易度の分布が大きく異なることが分かる．特に評価者 3 においては, 難易度 3 (少し簡単) と難易度 4 （普通）が多くなっている。

表 2 は, 各評価者の難易度評価結果間の相関係数と $\kappa$ 係数 (Cohen 1960)を示す. 相関係数で見ると, 全ての組み合わせにおいて， 0.65 以上の値が得られており，ある程度の相関があることが分かるが, $\kappa$ 係数で見ると 0.2 程度と非常に低く, 評価結果の一致の度合いは非常に低いことが分かる。この点については, 今後, 評価指標の再検討, 評価マニュアルの整備を行うなどして，安定した評価結果が得られるように検討していく必要がある.

図 7 は, 表 1 の分類ごとに計算した平均難易度である. 図 7 において, 横軸は各分類ごとの平均難易度を，エラーバーは標準偏差をそれぞれ表している。図 7 を見ると，e-mail 用フレーズブックの難易度が最も高くなっている。これは, 表 1 に示したように，課題文 1 文あたりの文長

図 6 バイリンガルによる英訳難易度評価結果のヒストグラム

表 2 バイリンガルによる英訳難易度評価の分析結果

図 7 英訳課題文の各分類ごとの難易度

が長いことが影響していると考えられる．ただし，SLDB と旅行会話用フレーズブックとを比較すると，SLDB の文長は，旅行会話用フレーズブックの文長の倍以上にもかかわらず，SLDB の難易度の方が低くなっており, 必ずしも課題文の文長だけで説明できる訳ではない. 今後,英訳難易度を自動判定するためには，英訳課題文に含まれる単語の性質も考慮に入れ，更なる分析を行っていく必要がある.

## 4 訳質自動評価への応用

2 では, 英語学習者コーパスの収集方法について説明した， 3 においては，収集されたコーパスの基本的な統計量について示すとともに, TOEIC スコアとの関連性という観点からの分析を行なった。ここでは，実際に収集されたコーパスをもとに，機械翻訳の分野における翻訳自動評価技術を, 英語学習者による英訳の訳質評価に応用し，翻訳自動評価のスコアを英語学習者の TOEIC スコアの自動推定に用いる実験を行っている.

まず，従来の英語能力測定法について述べ，次に，翻訳自動評価法について概説する。最後に，翻訳自動評価のスコアの妥当性を検証するための相関分析と，TOEIC スコアを自動推定するための回帰分析について述べる.

## 4.1 従来の能力測定法との関係

TOEIC に代表される現在の英語能力測定においては, 採点の容易さから, 多肢選択形式の問題が多用されている.このような問題形式は, 文法的な規則に関する知識や, 訳語選択に対する能力を直接的に測定することは容易であるが，英語表現能力を直接的に測定することは出来ない. そのため, 英語表現能力を構成すると考えられる文法能力や訳語選択能力などの諸能力を測定することにより，間接的に英語表現能力を測定しているというのが現状である.

本実験では, このような方法ではなく, 英訳問題を採点することにより, 直接的に英語表現能力を測定するという方法をとる．このような方法は，従来では人手による英訳の採点が必要であることから, 非常にコストの高い形式であった. しかしながら本研究では, 近年の機械翻訳の研究開発において発展を遂げた翻訳自動評価技術を応用することにより, 英訳採点部分を自動化し，高い評価コストをかけること無しに，英語表現能力を直接的に測定することを可能にすることを目的としている.

## 4.2 翻訳自動評価法の概要

本実験で用いる全ての翻訳自動評価手法は，参照訳と評価対象文とを比較し，類似度を計算するという考え方に基づいている。翻訳の正解は一つだけではないため, 多数存在する翻訳の正解訳に対する網羅性を高める目的から，複数の参照訳を用いることが多く，また，これにより自動評価の性能を上げることができる。翻訳自動評価においては, 参照訳と評価対象文の間の類似度をどのように計算するかによって，様々なスコアが存在する。本実験では, $n$-gram の一致率に基づくスコアである BLEU と NIST, 単語単位の一致率を測定する WER と PER, 最長一致単語列を用いてスコアリングを行なう GTM，単語の一致度に関するスコアと一致した単語の連続性に関するスコアとの積により計算する METEOR の 6 つ (安田, 隅田 2008; Turian and Luke Shen 2003)を用いる.

## 4.3 翻訳自動評価法による訳質評価

2.3 で述べたバイリンガルによる翻訳結果を参照訳として用い, BLEU, NIST, WER, PER, GTM, METEORの 6 つのスコアを, 課題セット（300文）単位で計算した. 図 8 に, 課題セット単位の BLEU スコアと，TOEIC スコアの関係を示す。図中の縦軸は TOEIC スコアを，横軸は課題セット単位の BLEU スコアをそれぞれ表している。また, 2.1 で述べたように，課題セットは 5 種類あることから, それぞれの課題セットに対して異なるシンボルを割り当て, 英語学習者 1 名を 1 つの点とし, 496 名分の結果をプロットしている.

通常，異なるセット間の自動評価スコアは，直接的に比較することは出来ないが，図 8 を見ると，5つのセット全てが，ほぼ同様の分布となっており，それぞれの課題セットが同様の特性の課題文集合となっていることが示唆される。今回の課題セットについては，全課題文 1,500

図 8 TOEIC スコアと BLEU スコアの関係

表 3 TOEIC スコアと翻訳自動評価スコアの相関係数

文の集合から，各課題セットが 300 文になるようにランダムに振り分けることにより，このような結果が得られたが，課題セットのサイズを小さくしすぎると，課題セット毎にスコアが大きく異なるようになると考えられる。

表 3 には, TOEIC スコア, 自動評価スコア間の相関係数を示している。ここでの相関係数は,課題セットの違いを無視し，全てのサンプル（496 人分）を用いて計算した値である。表 3 を見ると，全ての自動評価スコアにおいて， 0.7 以上の高い相関 ${ }^{3}$ が得られており, 中でも GTM が
^{3}$ WER と PER は，誤り率であるため，正しい翻訳ほど低いスコアとなる。このため相関係数は負の値となっている.
}
表 4 重相関分析の結果

最も高い相関となっていることが分かる.

## 4.4 重回帰分析

ここでは, 先に述べた自動評価スコアと， $3.2 \sim 3.5$ で述べた 4 つのパラメータ（英語学習者自身による英訳難易度，英訳結果の平均文長，英訳結果の平均単語長，スペルミスが修正された文の数）とを用いた重回帰分析を行なう.

表 3 から分かるように，翻訳自動評価間の相関は非常に高い，今回実施した重回帰分析では,多重共線性の問題を回避するため, GTMのみを用いている.

表 4 が, 重回帰分析の結果で, 各説明変数に対する重回帰係数と $P$ 値が示されている. ここでの $P$ 値は，各重回帰係数が 0 であるという帰無仮説を検定するための値である。また，表 4 の重回帰係数を用いた場合の重相関係数は 0.76 , 標準誤差は 134.84 であった. GTM のみを用いた場合と比較し, 相関係数では約 0.02 , 標準誤差で約 6.37 の改善が得られている。表 4 を見ると, 英訳の平均文長 (Sentence length) と英訳の平均単語長 (Word length) の $P$ 値は非常に高くなっている，このことより, この 2 つの変数は, 図 3 と図 4 では, TOEIC スコアとのある程度の関連性は観測されたものの, TOEIC スコアを推定するための説明変数としては不適切であると言える。GTMについてみると, $P$ 值も低く, 重回帰係数の値も大きいことから, 最も重要な説明変数であると言える。また，英語学習者自身による英訳難易度とスペルミスが修正された文の数の 2 変数については, 重回帰係数の値は低いため寄与は小さいものの, $P$ 值も低いことから有意な説明変数であると言える.

## 5 まとめと今後の課題

TOEIC スコアで能力測定された 496 名の英語学習者が, 300 文からなる英訳課題を翻訳することにより収集された英語学習者コーパスについて解説した。まず，データの収集方法について説明し, 次に, 英語学習者自身による英訳難易度評価結果, 英訳結果の平均文長, 英訳結果の平均単語長, スペルミスの観点からのコーパスの分析結果について述べた.
最後に, 本コーパスの応用例として, 英語学習者の能力を自動測定するための実験を行なった。本実験では，まず，バイリンガルにより翻訳された参照訳と既存の翻訳自動評価技術とを用いて, 英訳課題セット単位の自動評価スコアを計算した. BLEU, NIST, WER, PER, GTM, METEROR の 6 つの自動評価スコアと，TOEIC スコアとの相関係数を求めたところ，GTM の相関係数が最も高く, 0.74 となった，次に，GTMに，先の分析で用いた 4 つのパラメータ（英語学習者自身による英訳難易度評価結果，英訳結果の平均文長，英訳結果の平均単語長，スぺルミスが修正された文の数）を加えてこれらを説明変数とし，TOEICを目的変数とした重回帰分析を行なった。重回帰分析の結果，重相関係数は 0.76 ，標準誤差は 134.68 となり，GTM のみを用いた場合と比較し，相関係数では約 0.02 , 標準誤差で約 6.37 の改善が得られた.

本研究においては， 300 文からなる課題セット単位での自動評価を取り扱ったが，今後は，パラグラフや文といったより小さな単位での自動評価や誤り検出への取り組みを行うとともに，英訳難易度の測定技術の研究を進め,「学習者の習熟度に合った英訳問題の提示」と「訳質自動評価と評価結果と診断結果の提示」とを繰り返すことにより効率的な学習を行うことができる e ラーニングシステムの開発につなげて行きたい.

## 謝 辞

本研究は, 科学研究費補助金（基盤研究 B）（課題番号 16300048）による助成研究の一部である。

## 参考文献

Akahane-Yamada, R., Kato, H., Adachi, T., Watanabe, H., Komaki, R., Kubo, R., Takada, T., and Ikuma, Y. (2004). "ATR CALL: A speech perception/production training system utilizing speech technology." In Proceedings of the 18th International Congress on Acoustics, Vol. III, pp. 2319-2320.

Callison-Burch, C., Osborne, M., and Koehn, P. (2006). "Re-evaluating the Role of Bleu in Machine Translation Research." In Proceedings of the 11th Conference of the European Chapter of the Association for Computational Linguistics, pp. 249-256.

Cohen, J. A. (1960). "A coefficient of agreement for nominal scales." Educational and Psychological measurements, 20, pp. 37-46.

ETS (2008). "http://www.toeic.or.jp/toeic/data/data_avelist.html.".

Hirose, K., Ishi, C. T., and Kawai, G. (2001). "On the use of speech recognition technology for foreign language pronunciation teaching." Journal of the Phonetic Society of Korea, 42,
pp. $37-46$.

Izumi, E., Uchimoto, K., and Isahara, H. (2004). "The NICT JLE Corpus: Exploiting the language learners' speech database for research and education." Special Issues of International Journal of the Computer, the Internet, and Management (IJCIM), 12 (2), pp. 119-125.

Kikui, G., Sumita, E., Takezawa, T., and Yamamoto, S. (2003). "Creating corpora for speechto-speech translation." In Proceedings of Eurospeech, pp. 381-384.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318.

Takezawa, T. (1999). "Building a Bilingual Travel Conversation Database for Speech Translation Research." In Proceedings of 2nd International Workshop on East-Asian Language-Resources and Evaluation-Oriental COCOSDA Workshop '99-, pp. 17-20.

投野由紀夫 (2007). 日本人中高生一万人の英語コーパス中高生が書く英文の実態とその分析. 小学館.

Turian, J. P. and Luke Shen, I. D. M. (2003). "Evaluation of Machine Translation and Its Evaluation." In Proceedings of MT Summit, pp. 386-393.

Woodford, P. E. (1982). An introduction to TOEIC: The initial validity study. Educational Testing Service.

安田圭志, 隅田英一郎 (2008). 機械翻訳の研究・開発における翻訳自動評価技術とその応用. 人口知能学会誌, 23 (1), pp. 2-9.

## 略歴

安田圭志：1999 年同志社大学工学部知識工学科中退（飛び級進学のため）. 2004 年同志社大学大学院工学研究科博士課程了. 工学博士. 現在, 独立行政法人情報通信研究機構において機械翻訳システムの研究に従事. 2006 年電子情報通信学会 ISS ソサイエテイ論文賞受賞. 情報処理学会, 電子情報通信学会, 音響学会各会員.

喜多村圭祐：2006 年同志社大学工学部知識工学科卒業. 2008 年同大学大学院知識工学研究科修士課程了. 工学修士. 機械翻訳の研究開発に従事. 現在 (株) NEC.

山本誠一：1972 年大阪大学工学部電子工学科卒業. 1974 年同大学大学院基礎工学研究科修士課程了. 同年 (株) KDD 入社. ATR 音声言語コミュニケー ション所長などを経て, 現在同志社大学理工学部教授. 工学博士. この間,適応信号処理, 音声合成, 音声認識, 音声翻訳の研究に従事. 1981 年度電子
情報通信学会学術奨励賞, 日本音響学会第 3 回技術開発賞, 第 5 回技術開発賞，電子情報通信学会 ISS ソサイエテイ論文賞，電気通信普及財団テレコム技術賞などを受賞。電子情報通信学会 FELLOW, IEEE FELLOW．言語処理学会, 日本音響学会各会員.

柳田益造：1969 年大阪大学工学部電子工学科卒業. 1971 年同大学大学院修士課程了. 同年 NHK 入局. 1978 年大阪大学大学院博士課程了. 工学博士. 同年大阪大学産業科学研究所助手, 1978 1979 年オランダ国立 Groningen 大学音声研究所客員研究員, 1987 年郵政省電波研究所（現情報通信研究機構）音声研究室長などを経て, 現在同志社大学理工学部教授. 音響信号処理, 音声言語情報処理ならびに音楽知覚・情報処理の研究に従事. 2004 日本音響学会佐藤論文賞, 2006 年電子情報通信学会 ISS ソサイエテイ論文賞などを受賞.著書 (分担執筆)：「ファジイ科学」(海文堂)，「信号処理」(オーム社)，「メディア情報処理」(オーム社), 訳書 (分担)：「ソフトコンピューティング」(海文堂)，日本音響学会音楽音響研究会委員長, 日本音楽知覚認知学会理事, 電子情報通信学会, 情報処理学会, IEEE, 米音響学会など各会員.

$(2008$ 年 8 月 31 日受付)
$(2008$ 年 11 月 17 日再受付 $)$
$(2009$ 年 4 月 3 日再々々受付 $)$
$(2009$ 年 7 月 17 日採録)