# 論文
## 日英ニューラル機械翻訳におけるアテンションを用いた 未知語置き換えの手法

\author{
伊部早紀
}

ニューラル機械翻訳では, 従来の統計的機械翻訳に比べ文法的に流暢な文が生成されるが，出力結果に未知語が含まれることがしばしば指摘される。この問題に対処する方法としては, 学習コーパス中の低頻度語を分割したり, 未知語に位置情報を付け加えるなどの方法があるが，どれも日英翻訳では効果が低い．そこで本論文では， アテンションから構成した単語アライメント表を用いて出力文中の未知語と対応する入力文中の単語を見つけ，その単語を翻訳した単語で未知語を置き換えることで未知語をなくす手法を提案する。本論文の有効性を示すために ASPEC, NTCIR-10 の 2 種類のコーパスを用いて実験を行った結果, 本論文で提案する単語アライメント表の構成法を用いると，未知語を全く発生させず，かつ，BLEU 値を向上させることができた。

キーワード：機械翻訳，ニューラルネットワーク，未知語, アテンション

## Replacement of Unknown Words Using an Attention Model in Japanese to English Neural Machine Translation

\author{
SAKI Ibe $^{\dagger}$, Yoshitatsu Matsuda $^{\dagger}$ and Kazunori Yamaguchi ${ }^{\dagger}$
}

\begin{abstract}
It is well known that machine translation using recurrent neural networks often composes fluent sentences but may include many unknown words. Although there have been many works to address the unknown word problem, they are ineffective in Japanese to English translation. In this study, we propose a hybrid method that makes an alignment table using an attention weight matrix, detects input words that are aligned with each unknown words, and finally replaces those unknown words with the translated words using a statistical machine translation method. We evaluate our approach by using two corpora: ASPEC and NTCIR-10. The results showed that the proposed method generated no unknown words and improved the BLEU (BiLingual Evaluation Understudy) score.
\end{abstract}

Key Words: Machine Translation, Neural Networks, Unknown Words, Attention Mechanism

## 1 はじめに

ニューラル機械翻訳 (Bahdanau, Cho, and Bengio 2014; Sutskever, Vinyals, and Le 2014; Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares, Schwenk, and Bengio 2014)は,ソース言語を数値ベクトルによる分散表現で表し，それをニューラルネットワークを用いて変換して求めた数値ベクトルからターゲット言語の単語列を求めることで翻訳を行う手法である. 従来の統計的機械翻訳 (Koehn, Och, and Marcu 2003) では対訳コーパスから求めた変換規則の確率を用いてソース言語の単語やフレーズをターゲット言語への単語やフレーズに変換していたため, フレーズ同士の長い区間でのつながりが十分に反映されていなかった。これに対して, ニューラル機械翻訳では, リカレントニューラルネットワークおよびLSTM (Long Short Term Memory) の利用により，長い区間での単語のつながりが考慮されている。そのため, ニューラル機械翻訳を用いると従来の統計的機械翻訳と比べて流暢な文を生成できるが，訳抜けや繰り返しがあることや, 出力結果に未知語 (UNK) が含まれる (Luong, Sutskever, Le, Vinyals, and Zaremba 2015; Jean, Cho, Memisevic, and Bengio 2015) という問題が指摘されている.未知語が含まれる問題に対処するこれまでに提案されている主な手法には以下のものがある.

まず，コーパスに前処理を行う方法としては，コーパス中の未知語をすべて未知語トークンに置き換え，位置情報を付け加えて学習を行う PosUNK(Luong et al. 2015) がある. 通常の手法では, 語彙制限のために未知語が生じた場合は, ソース言語およびターゲット言語内の未知語を一律に特殊な未知語トークンUNKで置き換える。一方 PosUNKにおいては, ソース言語内の未知語はすべて UNKに置き換えるのは同じだが, ターゲット言語の未知語は位置情報を利用して区別する。具体的には，ソース言語を $f_{1}, \ldots, f_{n}$ とし， ターゲット言語を $e_{1}, \ldots, e_{m}$ として, ソース言語に未知語 $f_{i}$ が存在したとする. $f_{i}$ に対応する未知語 $e_{j}$ がターゲット言語内に存在した場合は, 相対位置 $d=j-i$ を利用して, $e_{j}$ を位置情報付き未知語トークン PosUNK ${ }_{d}$ に置き換える。ただし，ソース言語に対応する未知語を持たないターゲット言語の未知語は,空集合 $\phi$ に対応する $\operatorname{PosUNK}_{\phi}$ に置き換える. これにより学習した翻訳機は, 未知語を一律に UNK としてではなく, $\operatorname{PosUNK}_{d}$ として相対位置付きで推定するため, $\mathrm{d}$ を利用して対応するソース言語内の単語を推定することができる。しかしながら, この手法を日英の言語対で実験を行ったところ, 効果が低かった (4.3 節参照). この手法は, ターゲット言語とソース言語において, 単語間の相対位置は同一であると仮定しているため, 日英のような文法構造が大幅に異なる言語間では適用が困難であるためと考えられる.

また,コーパス中の単語を分割して全体の単語の種類を少なくする BPE (Byte Pair Encoding) (Sennrich, Haddow, and Birch 2016) がある，BPEは頻度の低い単語を複数の文字列に分割することで，単語の頻度を増やし学習しやすくする方法である.この手法も日英の言語対で実験を行ったところ, 効果が低かった (4.3 節参照)、ヨーロッパ言語などの文字の種類が少なく単
語の成り立ちが類似する言語間に比べ，日本語と英語では単語の構成が大きく異なり，日本語は文字の種類が多いことが原因たと考えられる。ニューラル機械翻訳のモデルを変更する方法としては，アテンションの計算で単語翻訳確率を考慮する方法 (Arthur, Neubig, and Nakamura 2016), coverage を導入する方法 (Tu, Lu, Liu, Liu, and Li 2016; Tu, Liu, Lu, Liu, and Li 2017),統計的機械翻訳で作成したフレーズテーブルを組み入れる方法 (Stahlberg, Hasler, Waite, and Byrne 2016; Khayrallah, Kumar, Duh, Post, and Koehn 2017; Zhang, Utiyama, Sumita, Neubig, and Nakamura 2018), 入力文中の単語が既知語の場合はそのまま処理し, 未知語の場合は単語を文字に分解して処理する方法 (Luong and Manning 2016) などがあるが，いずれもニューラルネットワークの性能を改善させることが主眼であり，未知語そのものを完全に消去することを目的としていない。ニューラル機械翻訳の出力結果の単語列を統計的機械翻訳を用いて並べ替える手法 (Skadina and Rozis 2016) もあるが, この手法では単語の辞書を作るためだけにニュー ラル機械翻訳を使っており，最終的な翻訳は統計的機械翻訳で行っている。よってニューラル機械翻訳の利点である単語間の長区間でのつながりを考慮した流暢性が失われてしまう。以上のように従来の手法の多くは, 未知語を減少させることはできているが，日英翻訳では翻訳精度の向上が期待できない.

そこで本論文では，ニューラルネットワークのモデルや探索方法を変更することなく未知語を減少させ，かつ翻訳精度を向上させる手法を提案する，そのために，アテンションに基づいたニューラル機械翻訳をソース言語に対して適用することで生成されたアテンションを利用する. アテンションは翻訳におけるソース言語の単語とターゲット言語の単語の対応を数値化したもの (Bahdanau et al. 2014)で，統計的機械翻訳における 2 言語間の単語の対応を表す単語アライメント表 (Koehn et al. 2003) と類似したものである. (Hashimoto, Eriguchi, and Tsuruoka 2016) 及び (Freitag and Al-Onaizan 2016) では, この性質を利用し，アテンションを元に対応する未知語を推定する手法を提案している。ともに未知語が対応する単語はアテンションが最も高い値を持つ単語だとしている。しかしながら，類似しているとはいえ，アテンションは単語アライメント表そのものではなく, 数値の大小と実際のアライメントが一致しない場合も多い. また, 言語学的な性質を満たしているとも限らない. 本研究では, 隣接関係等の, 単語間の対応関係の言語学的性質に関するヒューリスティックを利用して，アテンションから単語アライメント表を推定する手法を提案する。 そして，その単語アライメント表を利用して未知語を置き換える。これによりニューラル翻訳の利点を生かしたアテンションと言語学的な性質の双方を組み合わせた未知語問題の解決を行う。本論文はアテンションを用いた未知語解決に関する論文 (伊部, 松田，山口 2018)の内容を発展させたものである. ASPEC と NTCIR-10の 2 つのコーパスに提案手法を適用したところ，未知語を完全に除くことができ，BLEU 値も上昇させることができた.

## 2 背景

本章では，ニューラル機械翻訳の手法と統計的機械翻訳の手法の中から本論文で使用している手法の説明を行う.

## 2.1 フレーズに基づく統計的機械翻訳

本論文では, 未知語を置き換える単語を探す時にフレーズベース機械翻訳 (Koehn et al. 2003) で生成されるフレーズテーブルを使うため，フレーズベース機械翻訳について説明する。フレー ズベース機械翻訳は，統計的手法を用いて翻訳規則を学習し，翻訳を行う手法である。手順を以下に示す.

（1）対訳コーパスにアライメントモデルを適用し，単語アライメント表を作成する。単語アライメント表の計算では同時に単語翻訳確率 $t(e \mid f)$ も計算される。単語アライメント表をソース言語からターゲット言語, またその逆に対して作成し, grow-diag-final-and (gdfa) などのヒューリスティックを用いて 2 つの表を重ね合わせたものを最終的な単語アライメント表とする.

(2) 作成した単語アライメント表とソース言語・ターゲット言語をもとに, ソース言語における単語列がターゲット言語におけるどの単語列に翻訳されるかを表す翻訳規則と，フレー ズ翻訳確率 $P(\boldsymbol{e} \mid \boldsymbol{f})$ を学習する。規則の抽出は (Och and Ney 2004) などの方法がある.

（3）翻訳規則を利用して出力候補文をいくつか生成する．各候補文に対し翻訳規則の確率と言語モデルを用いて翻訳確率を計算し，翻訳確率が最も高い候補文を出力結果とする。

## 2.2 アテンションに基づくニューラル機械翻訳

アテンションに基づくニューラル機械翻訳 (Bahdanau et al. 2014) は, アテンションを用いて翻訳するソース言語の各単語に異なる重みを与えるニューラル機械翻訳である.

入力文 $\boldsymbol{f}=\left(f_{1}, f_{2}, \ldots, f_{J}\right)$ とその分散表現 $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{J}\right)$, 出力文 $\boldsymbol{e}=\left(e_{1}, e_{2}, \ldots, e_{I}\right)$ とその分散表現 $\boldsymbol{y}=\left(y_{1}, y_{2}, \ldots, y_{I}\right)$ のぺアの条件付き確率を最大化するように学習する.

$
p(\boldsymbol{e} \mid \boldsymbol{f})=\prod_{i=1}^{I} p\left(e_{i} \mid e_{1}, \ldots, e_{i-1}, \boldsymbol{f}\right)
$

$e_{i}$ の生成確率は以下で与えられる.

$
p\left(e_{i} \mid e_{1}, \ldots, e_{i-1}, \boldsymbol{x}\right)=g\left(y_{i-1}, s_{i}, c_{i}\right)
$

$s_{i}$ は $i$ 番目の出力単語列の隠れ状態であり, 以下の式 (3) で計算される.

$
s_{i}=f\left(s_{i-1}, y_{i-1}, c_{i}\right)
$
$c_{i}$ は出力文の $i$ 番目の単語の文脈ベクトルといい, 以下の式 (4)で計算される.

$
c_{i}=\sum_{j=1}^{J} \alpha_{i j} h_{j}
$

$\alpha_{i j}$ はアテンション值といい, $y_{i}$ に関連しているのが $x_{j}$ である確率である. 式 (5) と式 (6) に従って計算する。

$
\begin{gathered}
\alpha_{i j}=\frac{\exp e_{i j}}{\sum_{k=1}^{J} \exp e_{i k}} \\
e_{i j}=a\left(s_{i-1}, h_{j}\right)
\end{gathered}
$

$h_{j}$ は入力文の $j$ 番目の単語の文脈ベクトルで, 式 (7) に従って計算する1.

$
h_{j}=h\left(x_{j}, h_{j-1}\right)
$

以上の $a(), f(), g(), h()$ は入力変数の重み付き線形和を何らかの非線形関数（通常は $\tanh$ 関数）で変換したものである。具体的には， 入力変数群を $v_{1}, \ldots, v_{n}$ とすると， $a\left(v_{1}, \ldots, v_{n}\right)=$ $\tanh \left(\sum_{i} w_{i} v_{i}+c\right)$ と表される. $w_{i}$ は各変数の重みであり， $c$ は切片である. 全ての $\mathrm{w}_{i}$ および $\mathrm{c}$ がパラメータとして, 損失関数を最小化するために最適化される。学習では, 以下の式 (8)で定義されるクロスエントロピーを損失関数として用いる.

$
L=-\sum_{j} z_{j} \log z_{j}^{\prime}
$

$z_{j}$ はコーパスにおける $y_{j}$ に対応する単語 $e_{j}$ の出現確率, $z_{j}^{\prime}$ は学習したパラメータを用いて翻訳を行った時に $y_{j}$ に対応する単語 $e_{j}$ が出力される確率である。学習後の翻訳では式 (1)を最大化する eをビームサーチなどで求める.

## 3 手法

本章ではニューラル機械翻訳を用いてモデル学習し翻訳を行った後, アテンションから単語アライメント表を作成し, 作成した単語アライメント表を用いて未知語を適切な単語に置き換える手法を説明する， 3.1 節では， 単語アライメント表の作成の方法として, 従来手法である intersection と gdfaを説明し, 提案手法である gdfa-f (gdfa fill) を導入する． 3.2 節では, 生成した単語アライメント表にしたがって未知語に対応する単語を決定する方法を説明する.
^{\prime}$ を計算し， $h_{j}$ と $h_{j}^{\prime}$ を連結したベクトルを使うが，ここでは説明は省略する。
}

## 3.1 単語アライメント表の作成

単語アライメント表の作成アルゴリズムの intersection と gdfa は (Koehn et al. 2003) で提案されたもので, gdfa-f は gdfaを改良した提案手法である. ある $i, j$ に対する $a_{i j}$ や単語アライメント表の要素をセルと呼ぶ.

intersection ソース言語とターゲット言語どちらから見てもアテンション値が最も高いセルを対応付ける. 各セルの値 $b_{i j}$ は以下の式に従って計算する.

$
b_{i j}= \begin{cases}1 & \text { if } i=\underset{i^{\prime}}{\arg \max } a_{i^{\prime} j} \text { and } j=\underset{j^{\prime}}{\arg \max } a_{i j^{\prime}} \\ 0 & \text { otherwise }\end{cases}
$

gdfa gdfa では, intersectionにより作成した $b_{i j}=1$ となるセルに隣接するセル群をまず候補として抽出する。最初は全ての候補セルの値は 0 である。 ある候補セルのアテンション値が，他のソース単語に対応するアテンション値と比べて大きい場合，そのセルの値を 1 とする。言い換えれば, そのセルのアテンション値が, その列内で最大値をとる場合, セルの値を 1 とする。また, ある候補セル内のアテンション値が, 他のターゲット単語に対応するアテンション値と比べて大きい場合（すなわち，行内で最大值をとる場合）も， そのセルの値を 1 とする（厳密な定義は以下の式を参照のこと）。これはソース言語の 1 つの単語がターゲット言語において複数の単語に対応している場合, それらは隣り合うことが多いので，すでに単語アライメント表に入っている単語と隣り合う単語のみを表に追加することを許すという考え方による. gdfaによる単語アライメント表 $b_{i j}^{\prime}$ は， $b_{p, q}$ の（上下左右の）隣接セルの中で 1 をるセルの個数を返す関数

$
n e i g h b o r\left(b_{p q}\right)=b_{(p-1) q}+b_{(p+1) q}+b_{p(q-1)}+b_{p(q+1)}
$

を使って以下のように計算する.

gdfa-f gdfaにおいて作成した行列 $b_{i j}^{\prime}$ をとに, ソース言語のそれぞれの単語に対して, 対応付けされているターゲット言語の単語がなければ, アテンション值が最も高いセルに対応付ける. ターゲット言語のそれぞれの単語に対しても同様の操作を行う. gdfa-fによる単語アライメント表 $b_{i j}^{\prime \prime}$ は以下の式に従い計算する.

$
b_{i j}^{\prime \prime}= \begin{cases}1 & \text { if } b_{i j}^{\prime}=1 \text { or }\left(j=\underset{j^{\prime} \in \mathcal{J}}{\arg \max } a_{i j^{\prime}} \text { and } i \in \mathcal{I}\right) \text { or }\left(i=\underset{i^{\prime} \in \mathcal{I}}{\arg \max } a_{i^{\prime} j} \text { and } j \in \mathcal{J}\right) \\ 0 & \text { otherwise }\end{cases}
$

e4

(a) アテンション $a_{i j}$

(c) gdfa の単語アライメント表 $b_{i j}^{\prime}$

(b) intersection の単語アライメント表 $b_{i j}$

(d) gdfa-f の単語アライメント表 $b_{i j}^{\prime \prime}$

図 1 intersection, gdfa, gdfa-f の例

ここで $\mathcal{I}, \mathcal{J}$ はそれぞれ以下の式で定義される.

$
\mathcal{I}=\left.\{i \mid \sum_{j} b_{i j}^{\prime}=0\right.\} \text { and } \mathcal{J}=\left.\{j \mid \sum_{i} b_{i j}^{\prime}=0\right.\}
$

アテンションから intersection, gdfa, gdfa-f を求めた例を図 1 に示す. 図中の各セルはそれぞれ $b_{i j}, b_{i j}^{\prime}, b_{i j}^{\prime \prime}$ の值を表し, 白は 0 , 灰色は 1 とした. gdfa-fでは, 出力文中の各単語に対して,少なくとも一つの入力文中の単語が必ず対応する。言い換えれば，gdfa-f により，出力文中の全ての未知語に対して，既知の入力文中の単語を必ず割り当てることができる.

## 3.2 未知語の置き換え

生成した単語アライメント表を用いて, ニューラル機械翻訳の出力文中の未知語 $e_{i}$ を単語に置き換える方法について説明する。 まず, $e_{i}$ に対応している入力文中の単語列 $\boldsymbol{f}_{\boldsymbol{i}}$ を $\boldsymbol{f}_{\boldsymbol{i}}=\left.\{f_{j} \mid b_{i j}=1\right.\}$ とする。次に， $\boldsymbol{f}_{\boldsymbol{i}}$ の翻訳となる単語列を決定して未知語 $e_{i}$ と置き換える。本論文では $\boldsymbol{f}_{\boldsymbol{i}}$ の翻訳となる単語列の決定方法として IBM と ChangePhrase (Koehn et al. 2003) と Dict を用いた.

IBM 単語アライメント表の主な作成法は (Hashimoto et al. 2016; Arthur et al. 2016) などで用いられている IBM モデルが挙げられる。ここではIBM モデル 4 を用いた。対訳コー パスに IBM モデル 4 を適用したときの単語翻訳確率 $t(e \mid f)$ を使い, $\boldsymbol{f}_{\boldsymbol{i}}=\left(f_{i_{1}}, \ldots, f_{i_{n}}\right)$ の要素それぞれにおいて最も確率の高い $e_{\text {best }}=\arg \max t\left(e \mid f_{i}\right)$ を選択する手法である.

ChangePhrase $f_{i}$ の翻訳を統計的機械翻訳で作成したフレーズテーブルから参照し，コーパスから計算したフレーズ翻訳確率 $P(\boldsymbol{e} \mid \boldsymbol{f})=\frac{c(\boldsymbol{e}, \boldsymbol{f})}{c(\boldsymbol{f})}$ が最も高いフレーズ $\boldsymbol{e}_{\boldsymbol{b} \boldsymbol{e} \boldsymbol{s}}=\arg \max P\left(\boldsymbol{e} \mid \boldsymbol{f}_{\boldsymbol{i}}\right)$ を選択する手法である. $c(\boldsymbol{f})$ はコーパス中のフレーズ $\boldsymbol{f}$ の出現回数, $c(\boldsymbol{e}, \boldsymbol{f})$ はフレーズ $e$ との同時出現回数である. フレーズで置き換えるため, 未知語を複数単語と置き換えることもある。

Dict外部の辞書から $f_{j}$ の各単語の訳を検索した単語を選択する手法である.

## 4 実験

## 4.1 実験データ・方法

対訳コーパスとしては ASPEC(Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016), NTCIR-10の patentMT(Goto, Chow, Lu, Sumita, and Tsou 2013)2を用いた. コーパスのサイズと単語数を表 1 に示す. モデル学習およびデコーダには nematus ${ }^{3}$ を用い，日英および英日の翻訳を行った。隠れ層の数は 1,000 , 単語べクトルの次元数は $512, \mathrm{RNN}$ は GRU,学習アルゴリズムは Adam, 学習率は 0.0001 , バッチサイズは 40 , dropout は未使用で学習を行った. 英語の構文解析には Stanford Parser4を，日本語のトークン化には KyTea ${ }^{5}$ を用いた。IBM モデル 4 の実装としては GIZA++ ${ }^{6}$ を用いた. フレーズテーブルの抽出は mosesdecoder ${ }^{7}$ 用いた.未知語の置き換えの手法の Dict では外部辞書として EDict (Breen 2000)を用いた. コー パスの前処理としては, (Neubig 2013) を参考に, 単語数 51 以上の文は学習データから取り除いた。

ASPEC で語彙数を 1 万から 5 万まで 1 万ずつ変化させた時の翻訳結果の BLEU 値を計算し

表 1 各コーパスのサイズと全語彙数

train は学習に, devはパラメータチューニングに, test はテストに用いた.

表 2 ASPEC において語彙数を変化させたときの日英の翻訳結果の BLEU 値

太字は最も高い値.

表 3 語彙数を制限した時の未知語の割合

た結果を表 2 に示す.この結果から, 最も BLEU 値が高かった語彙数 4 万を実験で用いた. パラメータを統一するために NTCIR-10でも同じパラメータで実験を行った．語彙数を 4 万に制限した時の（延べ）全単語数における未知語の割合を表 3 に示す.

次にニューラル機械翻訳のコーパスからの学習における適切な更新回数を調べるために，更新回数 1 万から 15 万まで 1 万ごとに損失関数の値を計算した。その結果 ASPEC は 10 万回, NTCIR-10 は 12 万回以降, 損失関数の値が変化しなくなったため, これらを更新回数として設定した。

## 4.2 評価指標

翻訳精度の評価指標には BLEU (Papineni, Roukos, Ward, and Zhu 2002), METEOR (Banerjee and Lavie 2005)の 2 つを用いた.また METEOR は日本語の評価には対応していないため日英翻訳の評価のみに用いた。

## 4.3 実験結果と考察

コーパスとして ASPEC を用いた翻訳の結果を表 4 に示す. baseline はアテンションベースのニューラル機械翻訳のシステムである nematus のデフォルトの設定で学習したモデルである。BPEは (Sennrich et al. 2016), PosUNK は (Luong et al. 2015) を再実装して実験した結果である。語彙数はそれぞれ 4 万とした。語彙数を変更した実験も行ったが，BLUE 値や未知語の割合に大きな変化はなかったため, ここでは提案手法と同様の 4 万とした，学習の更新回数については, 提案手法同様に損失関数の値が最も小さくなった時の BLEU 值を採用した. intersection+ChangePhrase 以下が提案手法を実装して実験した結果である.これは baseline である nematus で求めたアテンションから intersection, gdfa, gdfa-f のいずれかを用いて単語アライメント表を作成し, ChangePhrase, IBM, Dictのいずれかを用いて未知語に置き換える単語列を決めたものである。単語アライメント表の作成方法と未知語に置き換える単語列の決め
方の $3 \times 3$ 通りの全ての組合せを実行した。

表 4 より, 未知語を置き換える手法としては ChangePhrase よりIBM の方が良い結果が出ている. ChangePhraseでは未知語が複数連続している場合にそれらをまとめてフレーズとするため，そのフレーズの訳が見つからなければ置き換えることができないが，IBM では 1 単語ずつ未知語を置き換えているので，学習コーパス中にある単語であ机必ず置き換えることができるので，それが原因として考えられる。

単語アライメントを求める方法としては, gdfa-f とIBM を組み合わせるとすべての未知語を別の単語で置き換えることができている。またBLEU 値もよく使われる手法であるintersection と比べて大差がなく, 同等の結果となっている。一方, 既存手法である BPE と PosUNKでは,未知語の数を大幅に減らすことはできているが，翻訳性能そのものはむしろ悪化している，コー パスとして NTCIR-10を用いて同じ実験を行った結果を表 5 に示す. NTCIR-10では語彙数を 4 万に制限した場合に未知語の数自体が少なくBLEU 値などに差が少ないが，ASPEC と同様に gdfa-f+IBM を使うとすべての未知語を別の単語で置き換えることができている。また BLEU 値も intersection と比べて大差がなく，同等の結果となっている.

表 4 を見ると METEOR では gdfa-f + IBM が最も高い数值を出している. METEOR は BLEU と違い同義語に高いスコアを与える翻訳の評価指標であるため，これは gdfa-f を適用することで意味の近い単語を選択できているということを示唆する。

次に, gdfa-f+IBM において, パラメータ更新回数と BLEU 値および UNK の出現率の関係を

表 4 ASPEC コーパスでの翻訳結果の精度比較結果

 &  &  &  &  \\

BPE & 21.47 & 28.34 & $\mathbf{0 . 0 0}$ & 29.54 & $\mathbf{0 . 0 0}$ \\
PosUNK & 24.25 & 31.63 & 0.07 & 34.47 & 0.17 \\
+intersection+ChangePhrase & 25.34 & 31.97 & 1.10 & 34.64 & 0.57 \\
+intersection+IBM & $\mathbf{2 5 . 5 6}$ & 32.06 & 0.42 & 34.63 & 0.50 \\
+intersection+Dict & 25.05 & 31.71 & 2.00 & 34.58 & 0.81 \\
+ gdfa+ChangePhrase & 25.37 & 32.03 & 1.00 & 34.67 & 0.36 \\
+ gdfa+IBM & 25.50 & 32.14 & 0.14 & 34.65 & 0.23 \\
+gdfa+Dict & 25.04 & 31.72 & 1.96 & 34.58 & 0.99 \\
+gdfa-f+Changephrase & 25.37 & 32.06 & 0.89 & $\mathbf{3 4 . 6 8}$ & 0.16 \\
+ gdfa-f+IBM & 25.51 & $\mathbf{3 2 . 1 6}$ & $\mathbf{0 . 0 0}$ & 34.66 & $\mathbf{0 . 0 0}$ \\
+gdfa-f+Dict & 25.05 & 31.73 & 1.91 & 34.59 & 1.10 \\

太字は最も高い（UNK の場合は最も低い）值.

グラフに表したものが図 2 および図 3 である. ここからパラメータ更新回数が少ない場合でも gdfa-f+IBM を適用することで未知語をなくし，BLEU 値も若干あげることができることがわかる.

表 5 NTCIR-10 コーパスでの翻訳結果の精度比較結果

 &  &  &  &  \\

BPE & 32.95 & 31.12 & $\mathbf{0 . 0 0}$ & 33.26 & $\mathbf{0 . 0 0}$ \\
PosUNK & 34.88 & 33.52 & 0.09 & 36.39 & 0.03 \\
+intersection+ChangePhrase & 35.33 & 33.92 & 1.12 & 36.76 & 0.20 \\
+intersection+IBM & $\mathbf{3 5 . 3 7}$ & 33.99 & 0.21 & $\mathbf{3 6 . 8 3}$ & 0.05 \\
+intersection+Dict & 35.33 & 33.91 & 1.16 & 36.74 & 0.28 \\
+ gdfa+ChangePhrase & 35.31 & 31.88 & 1.08 & 36.77 & 0.18 \\
+ gdfa+IBM & 35.31 & 34.02 & 0.10 & $\mathbf{3 6 . 8 3}$ & 0.03 \\
+ gdfa+Dict & 35.32 & 33.91 & 1.20 & 36.74 & 0.27 \\
+ gdfa-f+changePhrase & 35.33 & 33.90 & 1.01 & 36.77 & 0.21 \\
+gdfa-f+IBM & 35.31 & $\mathbf{3 4 . 0 3}$ & $\mathbf{0 . 0 0}$ & $\mathbf{3 6 . 8 3}$ & $\mathbf{0 . 0 0}$ \\
+ gdfa-f+Dict & 35.32 & 33.91 & 1.17 & 36.73 & 0.26 \\

太字は最も高い（UNK の場合は最も低い）値.

iteration回数とBLEUおよびUNKの関係

図 2 パラメータ更新回数と BLEU 值の関係（日英）

図 3 パラメータ更新回数と BLEU 值の関係（英日）

## 5 おわりに

本論文では，ニューラル機械翻訳により生成されたアテンションをもとに，単語の重複がないように単語アライメント表を作成することで, 出力結果における未知語が入力文のどの単語に対応しているかを判別し, 統計的機械翻訳でのモデルを用いて未知語を適切な単語に置き換える手法を提案した. その結果, 提案手法の gdfa-f を用いて単語アライメント表を作ることで未知語をなくすことができ，BLEU 值なども向上させることができることがわかった. 今後はより大きな外部辞書を活用するなどしてさらに翻訳精度を高めていきたい. また, 本論文で提案した手法はターゲット言語における 1 つの未知語が単語もしくはフレーズに対応しているという仮定に基づいているが，未知語とその周辺の単語またはフレーズが一つの単語に対応している，すなわち置き換えた単語と周辺の単語が重複する状況も考えられる。 そのような場合も考慮した手法を検討していきたい。

## 参考文献

Arthur, P., Neubig, G., and Nakamura, S. (2016). "Incorporating Discrete Translation Lexicons into Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1557-1567.

Bahdanau, D., Cho, K., and Bengio, Y. (2014). "Neural Machine Translation by Jointly Learning to Align and Translate." arXiv preprint arXiv:1409.0473.

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of ACL Workshop on In-
trinsic and Extrinsic Evaluation Measures for Machine Translation And/or Summarization, Vol. 29, pp. 65-72.

Breen, J. (2000). "A www Japanese Dictionary." Japanese Studies, 20 (3), pp. 313-317.

Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1724-1734, Doha, Qatar. Association for Computational Linguistics.

Freitag, M. and Al-Onaizan, Y. (2016). "Fast Domain Adaptation for Neural Machine Translation." arXiv preprint arXiv:1612.06897.

Goto, I., Chow, K.-P., Lu, B., Sumita, E., and Tsou, B. K. (2013). "Overview of the Patent Machine Translation Task at the NTCIR-10 Workshop." In NTCIR.

Hashimoto, K., Eriguchi, A., and Tsuruoka, Y. (2016). "Domain Adaptation and Attentionbased Unknown Word Replacement in Chinese-to-Japanese Neural Machine Translation." In Proceedings of the 3rd Workshop on Asian Translation (WAT2016), pp. 75-83.

伊部早紀, 松田源立, 山口和紀 (2018). 日英ニューラル機械翻訳における未知語への対応. 言語処理学会第 24 年次大会発表論文集, pp. 1046-1049.

Jean, S., Cho, K., Memisevic, R., and Bengio, Y. (2015). "On Using Very Large Target Vocabulary for Neural Machine Translation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), Vol. 1, pp. 1-10.

Khayrallah, H., Kumar, G., Duh, K., Post, M., and Koehn, P. (2017). "Neural Lattice Search for Domain Adaptation in Machine Translation." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), Vol. 2, pp. 20-25.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-based Translation." In NAACL HLT-Volume 1, pp. 48-54. ACL.

Luong, M.-T. and Manning, C. D. (2016). "Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 1054-1063.

Luong, T., Sutskever, I., Le, Q., Vinyals, O., and Zaremba, W. (2015). "Addressing the Rare Word Problem in Neural Machine Translation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), Vol. 1, pp. 11-19.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara,

H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Calzolari, N., Choukri, K., Declerck, T., Grobelnik, M., Maegaard, B., Mariani, J., Moreno, A., Odijk, J., and Piperidis, S. (Eds.), Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, PortoroÅ, Slovenia. ELRA.

Neubig, G. (2013). "Travatar: A Forest-to-String Machine Translation Engine based on Tree Transducers." In ACL System Demonstrations, pp. 91-96.

Och, F. J. and Ney, H. (2004). "The Alignment Template Approach to Statistical Machine Translation." Computational Linguistics, 30 (4), pp. 417-449.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In $A C L$, pp. 311-318. ACL.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 1715-1725.

Skadina, I. and Rozis, R. (2016). "Towards Hybrid Neural Machine Translation for EnglishLatvian." In Human Language Technologies-The Baltic Perspective: Proceedings of the Seventh International Conference Baltic HLT 2016, Vol. 289, p. 84. IOS Press.

Stahlberg, F., Hasler, E., Waite, A., and Byrne, B. (2016). "Syntactically Guided Neural Machine Translation." In The 54th Annual Meeting of the Association for Computational Linguistics, p. 299.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Advances in Neural Information Processing Systems, pp. 3104-3112.

Tu, Z., Liu, Y., Lu, Z., Liu, X., and Li, H. (2017). "Context Gates for Neural Machine Translation." Transactions of the Association for Computational Linguistics, 5, pp. 87-99.

Tu, Z., Lu, Z., Liu, Y., Liu, X., and Li, H. (2016). "Modeling Coverage for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 76-85.

Zhang, J., Utiyama, M., Sumita, E., Neubig, G., and Nakamura, S. (2018). "Guiding Neural Machine Translation with Retrieved Translation Pieces." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), Vol. 1, pp. 1325-1335.

## 略歴

伊部早紀：2017 年東京大学教養学部学際科学科卒業. 東京大学大学院総合文化研究科広域システム科学専攻修士課程在学中。言語処理に関する研究開発

## に従事.

松田源立：1997 年東京大学教養学部卒業. 2002 年東京大学大学院総合文化研究科博士課程修了. 博士 (学術). 学振特別研究員 (PD), 青山学院大学理工学部助教を経て, 2013 年より東京大学大学院総合文化研究科学術研究員.

山口和紀 : 1979 年東京大学理学部数学科卒業. 1985 年理学博士 (東京大学). 1992 年東京大学教養学部助教授. 2007 年より東京大学大学院総合文化研究科教授、コンピュータのためのモデリング全般に興味を持つ.

$(2018$ 年 5 月 1 日 $\quad$ 受付 $)$
$(2018$ 年 7 月 30 日 $\quad$ 再受付 $)$
$(2018$ 年 9 月 6 日 $\quad$ 採録 $)$


# 論文
## 名詞句の情報の状態と読み時間について

\author{
浅原正幸 $\dagger$
}

日本語は冠詞のない言語である。日本語名詞句の情報の状態は, テキストに陽に表出せず，限られた文脈情報や世界知識のみに基づく手法では推定することは難しい.情報の状態は情報の新旧や定・不定などの観点で分析される. しかしながら, 日本語の言語処理においては, この概念が適切に扱われていない. そこで，本稿では， まず，日本語名詞句の情報状態について解説する，次に，読み時間を手がかりとして，名詞句の情報の状態（新旧・定不定）を推定することを検討する。具体的には日本語名詞句の情報の状態が文の読み時間にどう影響するかについて調査する．結果，名詞句の読み手の側の情報状態（情報）が読み時間に対して影響を与えることを明らかにしたので報告する。

キーワード：情報状態, 読み時間, アノテーション・ベイジアン線形混合モデル

## Between Reading Time and the Information Status of Noun Phrases

\author{
MASAYUKI AsAHARA $^{\dagger}$
}

Japanese noun phrases are not marked by articles. The information status of Japanese noun phrases is not overt. Due to limited contextual information and world knowledge, it is difficult to estimate the information status, which is analyzed through the given/new status or indefinite/definite status. However, in Japanese language processing, the notion of the information status is yet to be understood. In this paper, we explain the information status of Japanese noun phrases. Then, we explore how the information status of Japanese noun phrases is estimated through the reading time. As a first step, we investigate the correlation between reading time and the information status of Japanese noun phrases. The statistical evaluation shows that readers' information status affects reading time in Japanese.

Key Words: Information Status, Reading Time, Annotation, Bayesian Linear Mixed Model

## 1 はじめに

本稿では日本語名詞句の情報の状態を推定するために読み時間を用いることを目指して, 情報の状態と読み時間の関連性について検討する，名詞句の情報の状態は，情報の新旧に関する

だけでなく, 定性・特定性など他言語の冠詞選択に与える性質や, 有生性・有情性などの意味属性に深く関連する。他言語では冠詞によって情報の性質が明確化されるが，日本語においては情報の性質の形態としての表出が少ないために推定することが難しい.

情報の状態は，書き手の立場のみで考える狭義の情報状態 (information status) と読み手の立場も考慮する共有性 (commonness) の 2 つに分けられる，前者の情報状態は，先行文脈に出現するか（既出：discourse-old）否か（未出：discourse-new）に分けられる．後者の共有性は，読み手がその情報を既に知っていると書き手が仮定しているか（既知：hearer-old）, 読み手がその情報を文脈から推定可能であると書き手が仮定しているか（ブリッジング：bridging），読み手がその情報を知らないと書き手が仮定しているか（未知：hearer-new）に分けられる．以後,一般的な情報の新旧を表す場合に「情報の状態」と呼び，書き手の立場のみで考える狭義の情報の新旧を表す場合に「情報状態」(information status) と呼ぶ.

これらの情報の状態は，言語によって冠詞によって明示される定性 (definiteness) や特定性 (specificity) と深く関連する。また, 情報の状態は, 有生性 (animacy), 有情性 (sentience), 動作主性 (agentivity) とも関連する。日本語のような冠詞がない言語においても,これらの「情報の状態」は名詞句の性質として内在しており, ヒトの文処理や機械による文生成に影響を与える.

機械翻訳を含む言語処理における冠詞選択手法は, これらの名詞句にまつわる様々な特性を区別せずに機械処理を行っているきらいがある。例えば，(乙武，永田 2016) は，本来，定・不定により決定される英語の冠詞推定に情報の新旧の推定をもって解決することを主張している.彼らの主張では，談話上の情報の新旧をもって定・不定が推定できると結論付けている.

また，自動要約や情報抽出においても，既出・未出といった情報状態の観点，つまり書き手側の認知状態が主に用いられ, 既知・想定可能・未知といった共有性の観点, つまり読み手側の認知状態が用いられることは少ない. これらを適切に区別して, 識別することが重要である.特に，読み手の側の情報状態は，自動要約や情報抽出の利用者の側の観点である。さらにその推定には読み手の側の何らかの手がかりをモデルに考慮することが必要になると考える.

言語処理的な解決手法として，大規模テキストから世界知識を獲得して情報状態を推定する方法が考えられる一方，読み手の反応を手がかりとして共有性を直接推定する方法が考えられる. 読み手の反応に基づいて, 読み手側の解釈に基づく日本語の情報状態の分析は殆どない.

そこで，本稿では，対象とする読み手に対する情報の状態が設定されているであろう新聞記事に対する読み時間データが，名詞句の情報の状態とどのような関係があるのかを検討する。 もし読み時間が名詞句の情報の状態と何らかの関係があるのであれば, 視線走查装置などで計測される眼球運動などから，情報の状態を推定することも可能であると考える．特に共有性は読み手の側の情報状態であるにかかわらず，既存の日本語の言語処理では読み手の側の特徴量を用いず推定する手法が大勢であった. なお, 本研究の主目的は冠詞選択にはなく, 日本語の名詞句の情報状態を推定することにある。その傍論として既存の冠詞選択手法が定・不定など

の名詞句の特性と本稿で扱う書き手・読み手で異なる情報状態とで差異があり，言語処理の分野において不適切に扱われてきた点について言及する.

以下， 2 節では関連研究を紹介する． 3 節に情報状態の概要について示す. 4 節に読み時間の収集方法について示す。5 節では今回利用する読み時間データおよび情報の状態アノテーションデータと分析手法について示す. 6 節で実験結果と考察について示す. 7 節で結論と今後の方向性について示す.

## 2 関連研究

情報状態に関するアノテーションについての関連研究を示す. Götze らは情報状態（既出 (given)/想定可能 (accessible)/未出 (new)）や話題 (aboutness/frame setting) や焦点（新情報焦点 (new-information focus)/対照焦点 (contrastive focus)）に関する言語非依存のアノテーション基準を提案している (Götze, Weskott, Endriss, Fiedler, Hinterwimmer, Petrova, Schwarz, Skopeteas, and Stoel 2007). Prasad らは, Penn Discourse Treebank (Prasad, Dinesh, Lee, Miltsakaki, Robaldo, Joshi, and Webber 2008) および PropBank (Palmer, Gildea, and Kingsbury 2005) に対するブリッジングアノテーションの基準について議論している (Prasad, Webber, Lee, Pradhan, and Joshi 2015).

次に，英語の冠詞推定に関連する研究について言及する。先に述べた (乙武, 永田 2016)では，情報の新旧と定・不定の近似による手法を提案している。（竹内，河合，細田，永田 2013) では，ブリッジング（想定可能）にも言及しているが，単語の共起をもってブリッジングとしており，実際に読み手が想定可能かどうかについての言及はしていない.これらは，英語の冠詞が表出する定・不定を誤って理解していることによるものだと考える.

最後に, 視線走査関連についての関連研究を示す. Dundee Eye Tracking Corpus (Kennedy and Pynte 2005) は英語とフランス語の新聞社説をそれぞれ 10 人の母語話者に呈示して視線走査装置を用いて収集した読み時間データである。また, 視線走査データを用いた言語学的な分析について紹介する. Demberg らは Dundee Eye Tracking Corpus を用いて, Gibson の dependency locality theory (DLT)(Gibson 2008) や Hale の surprisal theory (Hale 2001)を検証した (Demberg and Keller 2008). Barret らは視線走査データに基づいて品詞タグ付けを行う手法を提案している (Barrett, Bingel, Keller, and Søgaard 2016). Klerke らは視線走査により，機械処理されたテキストの文法性判断を行う手法を提案している (Klerke, Martínez Alonso, and Søgaard 2015). このように視線走査を用いて，読み手側の要因をいれた研究が盛んに進められている。

## 3 名詞句の情報の状態について

本節では名詞句の情報の状態について概説する。なお, 本節は (Miyauchi, Asahara, Nakagawa， and Kato 2018; 宮内, 浅原, 中川, 加藤 2018) に記載されているものの一部であるが, 查読者の指示で掲載する。

本研究で利用するアノテーションデータ BCCWJ-Infostr では以下の 7 種類の情報の状態にまつわる属性について検討する。

（1） a. 情報状態 (information status)

「新情報 (discourse-new)」「旧情報 (discourse-old)」

b. 共有性 (commonness)

「共有 (hearer-new)」「非共有 (hearer-old)」

c. 定性 (definiteness)

「定 (definite)」「不定 (indefinite)」

d. 特定性 (specificity)

「特定 (specific)」「不特定 (unspecific)」

e. 有生性 (animacy)

「有生 (animacy)」「無生 (inanimate)」

f. 有情性 (sentience)

$\lceil$ 有情 (sentient)」「無生 (insentient)」

g. 動作主性 (agentivity)

「動作主 (agent)」「被動作主 (patient/theme)」

アノテーション対象とする『現代日本語書き言葉均衡コーパス』(BCCWJ) (Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka, and Den 2014) では, 長単位と短単位という 2 の単位が採用されているが, 本研究では, 短単位の名詞をアノテーション対象とする。アノテータは BCCWJ-DepParaPAS (植田, 飯田, 浅原, 松本, 徳永 2015; 浅原, 大村 2016) に付与された共参照情報を確認しながら, 作業を行う. ただし, 複合語については, 前部要素には指示性 (referentiality) がないこと等を考慮して, 前部要素まで含めて一つの名詞と捉えることにより，実質的に長単位名詞句へのアノテーションを行うことになる．この単位に対する方針については，基本的には BCCWJ-DepParaPAS の作業方針と同じである．上記に示したタグは言語学の専門的な知識を持つものでないとアノテーションができないために, 1 人の言語学博士課程の学生がアノテーションし, 3 人がその結果を確認した.

定性・特定性 ・有生性・有情性・動作主性については, 与えられた文脈から判断できない場
合に「どちらでもよい」というタグを認めた。特に動作主性については，ある名詞句が主節から見た場合と従属節から見た場合と異なる場合に付与した。なお，共有性・特定性・動作主性については，その概念が認めがたい場合に「どちらでもない」というタグを認めた.

以下，実例と共にそれぞれのラベルのアノテーション基準を示す.

## 3.1 情報状態・共有性

（1a）の情報状態とは，いわゆる旧情報と新情報の区別である。ある談話において，新たな情報は「新情報」となり，聞き手／読み手が知っている情報は「旧情報」となる。一つのテクスト（BCCWJ 新聞サンプルにおける記事単位）全体を一つの談話とみなし，アノテーションを行った.

(2) a. 担任だった池田弘子先生は違った。

b. スクールカウンセラーでもあった先生の授業は

読売新聞 [BCCWJ:PN1c_00001]

(2a)の下線部の名詞「池田弘子先生」はこのテクストで初出の実体であるために, 末尾の短単位名詞に新情報夕グが付与される。一方, (2b) 下線部の名詞「先生」は (2a)の「池田弘子」を指示しているため旧情報タグが付与される。これらの名詞は共参照関係にあり，BCCWJ-DepParaPAS のアノテーションから展開できるが, 展開したのち, 全数確認を行いラベル付与した.

(1b) の共有性は, 情報を聞き手が既に知っていると話し手が想定しているか否かを示す分類である。聞き手が既に知っていると話し手が想定している情報は「共有 (hearer-old)」であり,知らないと想定している情報は「非共有 (hearer-new)」である. なお, この判断の際はアノテー 夕の世界知識を使ってもよいこととし, 「想定可能」というラベルも許す.このラベルは, ブリッジング (bridging) を起こしている際に付与される.

(3) $a$ キャンティ街道を抜け、 $\underline{b}$ オリーブ畑に囲まれた田園地帯の $\underline{c}$ レストランで、読売新聞 [BCCWJ:PN4c_00001]

3 の下線部 a. の名詞「キャンティ街道」は, 世界遺産にも登録されている, ワインで有名な街道であり，アノテータは既にこの街道について知っていたため，共有の夕グが付与された. 下線部 b. の名詞「オリーブ畑」はこの記事からどんなオリーブ畑であるのか判断できないため,非共有のタグが与えられる。下線部 c. の名詞「レストラン」はキャンティ街道のレストランを指しており，ある種のブリッジングを起こしているため，想定可能の夕グが付与される.

## 3.2 定性 - 特定性

(1c) の定性とは，指示対象を聞き手が同定できるか否かを示す分類である。指示対象を聞き手が同定できると話し手が想定していれば「定 (definite)」であり，同定できないと想定してい

れば「不定 (indefinite)」である。本研究では，判定する際に確認する文脈として前後 3 文を見ることとする。

（4）高等部では自由な校風もあって、流行に乗ってかばんを薄くつぶしたり、ピアスをしたり。呼び出して注意する先生もいたが、二、三年時に担任たっった池田弘子先生 （七十五）は違った。「そんな薄い ${ }_{a}$ かばんじゃ $\underline{b}_{b}$ 遊び道具も入らないよ」読売新聞 [BCCWJ:PN4c_00001]

(4) の下線部 a. の名詞「かばん」はスコープである (4)の前 3 文以内に既出の名詞であり，ここでは具体的に聞き手の持ち物のかばんを指示している。話し手はこの「かばん」は聞き手により同定しうると想定していると考えられるため, 定のタグが与えられる。 (4)の下線部b.の名詞「遊び道具」は特に具体的な何か遊び道具を指示しているわけではないため, 不定のタグが付与される。

(1d) の特定性は，定性と少々似た概念であるが，話し手が特定の事物を想定しているか否かを示す意味論的カテゴリーである。話し手が特定の事物を想定しているならば「特定 (specific)」 となり，想定していなければ「不特定 (unspecific)」となる。定性と同様, 特定性に関しても文脈として前後 3 文を見ることとする.

（5）米どころの同町では、降霜対策で農家による廃夕イヤの野焼きが行われてきたが、ダイオキシン問題や交通妨害が指摘され、行き場を失った $a_{a}$ 廃夕イヤがあぜ道や $\underline{b}_{\underline{b} \text { 納屋 }}$ の横に放置されてきた。同町が昨秋行った調査では、廃タイヤは農家が抱えるものや不法投棄を含め約三万本に上るという。

読売新聞 [BCCWJ:PN4c_00001]

5 の下線部 a. の名詞「廃タイヤ」は, 北海道鷹栖町に放置された約 30,000 本のタイヤを具体的に指しており, これは 5 の前後 3 文から読み取ることが可能であるため特定の夕グが付与される. 5 の下線部 b.の名詞「納屋」は特定の納屋が想定されているわけではなく, 不特定の夕グが与えられる.

## 3.3 有生性 ・ 有情性

(1e) の有生性とは，生きているか否かを示すカテゴリーである。生物（人間，動物など）は 「有生 (animate)」であり，無生物（植物を含む）は「無生 (inanimate)」である．有生性は名詞句レベルのみで判断し, 付与されるものとする.

有生性と似た概念として (1f) の有情性がある。これは, 情意があるか否かを示すパラメター である．自由意志による移動が可能な場合は「有情 (sentient)」となり, 自由意志による移動がないなら「非情 (insentient)」となる。日本語については, 有生／無性の区別よりも有情／非情

の区別が重要であるとする立場もあり，また，有生性と有情性の値が異なる場合もあり得ることから，このパラメターの設定が必要となる，情意の有無は名詞句単体では判定できない場合があるため，有情性は述語-項レべルまで見た上で判断し，付与されるものとする。

(6) オオクチバスなどの ${ }_{a}$ ブラックバス類が、少なくとも四十三都道府県の七百六十一のため池や $\underline{b}$ 湖沼に侵入し、

読売新聞 [BCCWJ:PN4c_00001]

(6) の下線部 a. の名詞「ブラックバス」は生物であるため, 有生の夕グが付与される。 また, ブラックバスに情意があるか否かは判断が難しいが，その述語は「侵入する」となっており，これは意志的な動作，行為を表しているため，ここでの「ブラックバス」は有情の夕グが付与されることになる。(6)の下線部 b. の名詞「湖沼」は無生物であり，情意もないと判断されるため，それぞれ，無生，非情のタグが与えられる。

## 3.4 動作主性

(1g)の動作主性は, 事態に関わる事物や人物がその事態で果たしている役割を示す. 行為を意図的に実現するものは「動作主 (agent)」とし，行為によって変化を被るものを「被動作主 (patient/theme)」とする. このパラメターについては節レべルまで見て判断し, タグを付与することとする。その際，主節と従属節の両方を考慮する。また，「どちらでもよい」「どちらでもない」を許す。

a. 編み笠をかぶった人なつっこい笑顔を見るだけで、

b. もみじの木にとまって仲良く寄り添う二羽のキジバト。

c. 独特な雾囲気の写真になりました。

読売新聞 [BCCWJ:PN1d_00001]

(7a)の下線部の名詞「笑顔」は, 主節では被動作主であり従属節では動作主である。このような場合に「どちらでもよい」というタグを付与する。(7b)の下線部の名詞「キジバト」は，それを含む文がこの名詞で終わる体言止めの文であるため主節では動作主性の判断ができないが，従属節では動作主であるため,「動作主」というタグを付与する。(7c)の下線部の名詞「写真」 は動作主でも被動作主でもないため,「どちらでもない」となる.

## 3.5 名詞句の情報の状態のまとめ

このように名詞句の情報の状態は, 多様な観点が分析される。しかしながら, 2 節で示した日本人工学研究者による英語の冠詞推定手法のように, これらが混同されて扱われてきた.

なお，我々の興味は，冠詞推定にはなく，情報の状態にある。情報の状態は 3.1 節に示した
通り，書き手にとっての情報の新旧である情報状態と，読み手にとっての情報の新旧である共有性の 2 つの観点がある．前者の情報状態については，談話の出現について言及する共参照解析により言語処理に分野では扱われてきた。本稿では，後者の共有性を読み手の視線情報により捉えるかを検証する。一般に，情報抽出や自動要約のために必要なのは，アプリケーションを利用する受け手側から見た情報の新旧である共有性にある.

## 4 読み時間の収集方法

本節では読み時間の収集方法について説明する。なお, 本節は言語学会論文誌『言語研究』に投稿中のものの一部であるが，査読者の指示で掲載する.

読み時間を収集する対象は，BCCWJ(Maekawa et al. 2014)のコアデータの新聞記事データ (PN サンプル) の一部とした. コーパスアノテーションの分野では, できる限り同じテキストに様々な情報を付与するという取組が進められている。対象の記事は, 研究者コミュニティで共有されているアノテーションの優先順位 ${ }^{1}$ に基づいて選択した。これにより, 係り受け (Asahara and Matsumoto 2016) ・節境界 (Matsumoto, Asahara, and Arita 2018) $\cdot$ 分類語彙表番号 (加藤,浅原, 山崎 2017) ・情報構造 (Miyauchi et al. 2018; 宮内他 2018) ・述語項構造および共参照 (植田他 2015)・否定の焦点 (松吉 2014) などのアノテーションとの重ね合わせに基づく分析が可能になる. Dundee Eye Tracking Corpus においても Dundee Treebank (Kennedy, Hill, and Pynte 2003) など品詞・係り受け・共参照の整備が進んでいるが, 本研究の BCCWJ-EyeTrack のようにコーパス言語学的な統語・意味・談話レベルの情報が重畳的に付与されていない.

読み時間データの収集方法として，自己ペース読文法と視線走査法を用いた。

自己ペース読文法は, キーボード入力などに基づき, 逐次的に文字列を表示し, 実験協力者のペースで文を読む課題である。図 1 に課題の画面例を示す。最初，コンピューター画面上には，文の長さを表すアンダーバーが表示されている，被験者がスペースキーを押すごとに，刺激文の始めから 1 文節（もしくは 1 単語）ずつ表示され，直前に表示されていた文節はアンダー バーに戻る，文節が表示されてから，次にボタンを押すまでの時間が，その文節の読解時間としてミリ秒単位で記録される。英語においては視線走査で得られる読み時間との高い相関があることが知られており (Just, Carpenter, and Woolley 1982), 安価な機器で読み時間を取得することができる。刺激の呈示方法として移動空方式を用いた．自己ペース読文法を実施するソフトウェアとして Linger 2 を用いた。

視線走査法は，実験協力者がディスプレイ画面上のどの文字を注視しているのかを取得する

図 1 移動空方式による自己ぺース読文法

視線走査装置を用いて，視線注視箇所と注視時間を計測する手法である。自己ぺース読文法と異なり，読み戻しなどのより自然な読み時間を取得することができる。視線走査装置として SR Research 社の EyeLink 1000 シリーズ（タワーマウント）を用い, 時間解像度は $1,000 \mathrm{~Hz}$ で, ミリ秒単位のデータが収集可能である.

視線走査法においては刺激となるテキストは等幅フォント（MS 明朝 24 ポイント）を用いて横書きで 1 画面に最大 5 行を 21.5 インチのディスプレイに呈示した. 横方向には全角で最大 53 文字を呈示し，後述のとおり文節境界に半角スペースを入れた場合には，最大全角 53 文字を超えないようにした単位で折り返し， 1 画面に 5 行まで表示した。文境界には必ず改行を入れた.視線走査装置の上下方向の誤差を吸収するために, 各行は 3 行空けて呈示した. 実験協力者はあご台に顔を固定した状態で，ハーフミラー越しに画面を見るという姿勢で，課題に取り組んた.自己ペース読文法では，ハーフミラーつきのあご台を用いない以外は同条件で実験を行った.

文字列を呈示する基本単位として BCCWJ に付与されている国語研文節単位を用いた。自己ペース読文法では，文節単位でテキストを表示した。また文節境界に半角スペースを空けた条件と空けていない条件の 2 つの条件を用意し，読み時間を計測した。実験は新聞記事 20 件を A, B， C，Dの４つのユニットに分割し，視線走査法による計測を 2 セッション実施したのちに，自己ぺース読文法による計測を 2 セッション実施した。実験協力者は各新聞記事 20 件を一度だけ読む，各ユニットの文節数，文数，画面数を表 1 に示す。 1 件の新聞記事を読み終わり，次の新聞記事が始まる際には，必ず画面を改めた。実験協力者は 3 人ずつ 8 つのグループに分け,表 2 のように実験を行った．全実験協力者は視線走査法を行ったのちに，自己ぺース読文法を行った.
表 1 それぞれの記事ユニットに含まれる文節数，文数，画面数

表 2 実験計画 : 各被験者グループにおける記事ユニットと課題・文節境界の空白の有無の対応関係

## 5 データと分析手法

本研究では『現代日本語書き言葉均衡コーパス』(Maekawa et al. 2014)（以下 BCCWJ）に対する読み時間データ BCCWJ-EyeTrack (Asahara, Ono, and Miyamoto 2016)に，情報の状態アノテーション BCCWJ-Infostr (Miyauchi et al. 2018; 宮内他 2018)を重ね合わせたもの（表 3） を用いる。これらをべイジアン線形混合モデル (Sorensen, Hohenstein, and Vasishth 2016) により回帰分析することにより，読み時間と情報の状態との関係を明らかにする.

以下では，それぞれのデータについて概説する。

## 5.1 BCCWJ-EyeTrack: 読み時間のデータ

自己ぺース読文法で取得したデー夕は，取得時に語句が文節単位に呈示され，読み戻しができないために，文節単位の読み時間がそのままデータとなる。視線走査法で取得したオリジナルのデータは文字の半角単位に Start Fixation Time（注視開始時刻）と End Fixation Time（注視終了時刻）と Fixation Time（注視時間）を得た.このデータを国語研文節単位でグループ化しなおしたものを注視順データと呼ぶ。この注視順データを，視線走査法を用いた読み時間計測で標準的に用いられている，以下の５つの計測時間データ (measures) に加工した (Van Gompel, Fischer, Murray, and Hill 2007).これらは国語研文節単位を注視領域として作成した。
- First Fixation Time (FFT)
- First-Pass Time (FPT)
- Second-Pass Time (SPT)
- Regression Path Time (RPT)
- Total Time (TOTAL)

説明のために図 2 の例を用いる。図中 1-12 の数字が視線走査順を表す.

First Fixation Time (FFT) はその注視領域に初めて視線が停留した際の注視時間である. 例中の「初年度決算も」の FFT は 5 の注視時間となる.

表 3 利用するデータの概要

図 2 視線走査順の例

First-Pass Time (FPT) は, 注視領域に初めて視線が停留し, その後注視領域から出るまでの総注視時間である. 出る方向は右方向でも左方向でも構わない. 例中の「初年度決算も」の FPT は 5,6 の注視時間の合計である.

Second-Pass Time (SPT) は, 注視領域に初めて視線が停留し, 注視領域から出たあと, 2 回目以降に注視領域に停留する総注視時間である。例中の「初年度決算も」のSPT は 9,11 の注視時間の合計である。尚, FPT + SPT が後に説明する Total Time になる.

Regression Path Time (RPT) は, 注視領域に初めて視線が停留し, その後領域の右側の境界を超えて次の領域に出るまでの総注視時間である。視線が領域の左側の境界を超えて戻った場合の注視時間も，元の注視領域の RPT として合算する。例中の「初年度決算も」のRPT は 5 , $6,7,8,9$ の注視時間の合計である. 左側に戻り再度注視領域に停留しない場合も合算する. つまり，「初年度決算も」に対する 9 の視線停留がない場合の RPT は $5,6,7,8$ の注視時間の合計となる.

Total Time (TOTAL) は注視領域に視線が停留する総注視時間である。例中「初年度決算も」 の TOTAL は $5,6,9,11$ の注視時間の合計である.

テキスト生起順データにおいて, サッケード（跳躍眼球運動）の時間は集計しない.これらの時間情報を各種情報とともに CSV 形式に整形して公開する。公開データにおいては, 平均読み時間や標準偏差などを用いたトリミングなどの時間情報削除処理は実施していない.

データは，時間情報を元テキストの情報・実験協力者の情報などとともに読み時間の種類ごとの CSV 形式のデータである。表 3 左にデータ形式を示す.

出現書字形 (surface: factor) は実験協力者に呈示した文字列である。国語研文節単位にしたもので全角空白は除去する.

読み時間 (time: int) は各実験で得た時間情報である. 自己ぺース読文法の場合は実験協力者がその文節を見ていた時間である。視線走査法の場合は前小節で示した First Fixation Time (FFT), First-Pass Time (FPT), Second-Pass Time (SPT), Regression Path Time (RPT), Total Time (Total) の 5 種類のいずれかである。単位はミリ秒とする。読み時間の種類 (measure: factor) として \{'SelfPaced', 'EyeTrack:FFT', 'EyeTrack:FPT', 'EyeTrack:SPT', 'EyeTrack:RPT', 'EyeTrack:Total'\}を定義する. 尚, 配布データは読み時間の種類ごとに 1 ファイル作成する.対数読み時間 (logtime: num) は timeの常用対数をとったものである.

文字数 (length: int) は, 呈示した文節の出現書字形 surface を構成する文字の数である.注視対象の面積に相当する. 文節境界の有無 (space: factor) は呈示した画面に文節境界に半角スペースがあるかないかを表す。係り受け関係 (dependent: int) は当該文節に係る文節数. 文節係り受けは人手で付与したもの (Asahara and Matsumoto 2016)を重ね合わせた.

記事に関するデータとして sample, article, metadata_orig, metadata の 4 つを整備した. サンプル名 (sample: factor) は, 各セッションごとに準備した記事ユニットで $\{\mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D}\}$ から

なる。各ユニットは新聞記事 5-6 件から構成されている。記事情報 (article: factor) は, 記事単位の一意な識別子で，BCCWJ のアノテーション優先順位・BCCWJ 内サンプル ID・記事番号をアンダースコアで連結したものとする。文書構造タグ (metadata_orig: factor) は BCCWJ 内文書構造タグで，BCCWJ の XML の ancestor axis にある夕グ情報をスラッシュで連結したものである.メタデータ (metadata: factor) は前述の metadata_orig から記事の特性のみを抽出したものである. \{authorsData (著者情報), caption（キャプション）, listItem（リスト）, profile（プロフィール）, titleBlock（タイトル領域），未定義 \}のいずれかであり，BCCWJ 内の文書構造タグの誤り・久落を人手で修正したものである.

次に記事や画面の呈示順の情報について説明する。セッション順 (sessionN: int)は実験法ごとに文節境界空白有と文節境界空白無の 2 種類のセッションの順序を表す。記事呈示順 (articleN: int) はセッションごとの記事の呈示順 (1-5) を表す. 画面呈示順 (screenn: int) は複数の画面にわたる記事があり，記事ごとの画面呈示順を表す。行呈示順 (lineN: int) は画面ごとの行呈示順 (1-5)であり，画面上の垂直方向の位置を表す。文節呈示順 (bunsetsuN: int) は行ごとの文節呈示順である，画面上の水平方向の位置を表す。これらの呈示順情報により画面推移上の一意な識別が可能である.

また, 文頭の文節は常に係り受けの数が 0 であり, 文末の文節は係り受けの数が多い傾向にある. また, 画面レイアウト上, 最左要素・最右要素・右から 2 番目の要素は眼球運動中に「復帰改行」の操作の影響がある. この問題を扱うために, レイアウト情報として, 最左要素 (is_first: bool) ・最右要素 (is_last: bool) ・右から 2 番目の要素 (is_second_last: bool)を固定要因とする. sample_screenは，画面に対する一意な識別子である.

実験協力者 ID (subj: factor) は実験協力者を表示する一意な識別子である. 実験協力者の特性として 2 の情報を持つ．1つはリーディングスパンテスト得点 (rspan: num)であり, 1.5-5.0 の 0.5 刻みの値を持つ。もう 1 つは語彙数テストの結果 (voc: num)であり, オリジナルの結果を 1,000 語で割ったもの (37.1-61.8)である.

視線走査法の場合にはゼロ秒（注視されていない文節）は排除して集計した.

## 5.2 BCCWJ-Infostr: 『現代日本語書き言葉均衡コーパス』に対する情報の 状態アノテーション

本節では BCCWJ に対する情報の状態アノテーション BCCWJ-Infostr (Miyauchi et al. 2018;宮内他 2018) について概説する。同データでは名詞句（文節）に対して 3 節に示した 7 種類の情報の状態を付与する。
- 情報状態 (infostatus:is)
- 定性 (definiteness:def)
- 特定性 (specificity:spec)
- 有生性 (animacy:ani)
- 有情性 (sentience:sent)
- 動作主性 (agentivity:ag)
- 共有性 (commonnness:com)

情報状態は名詞句が談話文脈中で新情報か旧情報かの区別である。書き手が新しい情報として提示しているものを未出 is:disc-new と呼び，書き手が談話文脈中に既に情報として提示しているものを既出 is:disc-old と呼ぶ. 同情報は, BCCWJ に対する共参照情報アノテーション (BCCWJ-PAS) などから展開することができる.

定性は，読み手が名詞句の参照対象が特定できるか否か (Lyons 1999; Heim 2011) を表す分類である。ある名詞句の参照対象を読み手が特定可能であると書き手が想定している場合に定 def:definite とし, そうでない場合に不定 def:indefinite とする. 特定性は, 書き手が名詞句の参照対象を特定しているか否か (von Heusinger 2011)を表す分類である．ある名詞句の参照対象が唯一無二もしくは書き手が特定可能であるとみなしている場合に特定 spec:specific とし，そうでない場合に spec:unspecific とする。定性と特定性はアノテーション時には前後 3 文を読んだうえでタグ付けを行う。

有生性は名詞句の参照対象が生きているか否かの区別である. 生物（ヒト，動物）は有生 ani:animate で，無生物（植物を含む）は無生 ani:inanimate とする. アノテーション時には名詞句単体で評価する。似た分類で有情性がある，有情性は名詞句の参照対象が感情を持つかどうかを表し, 他言語における有生性と対照して，日本語学で議論されている概念である．例えば，動詞「ある」「いる」のどちらが利用できるかにより識別される．有生性と区別するために名詞句とその係り先の述語の対をもって，有情 sent: sentient か無情 sent: insentient かを区別する。

動作主性は, 名詞句がある状況でどのような役割を担うかを表す分類である. 名詞句の参照対象が意思をもって行動する場合に動作主 ag: agent とし, ある動作により変化を伴う場合に被動作主 ag:patient とする. どちらでもないものを ag:neither とする.1つの名詞句が主節述語と従属節述語の両方と格関係を持つ場合がある。この場合に動作主であって被動作主でもあるもの ag:bothを許す.

共有性は, 聞き手が参照対象を既に知っていると書き手が仮定しているかを表す分類である.聞き手が既に知っていると書き手が仮定している場合に既知 com:hearer-oldとし, 聞き手が知らないと書き手が仮定している場合に未知 com:hearer-new とする。また, ブリッジングなどで聞き手が想定可能であると書き手が仮定している場合には想定可能 com:bridging とする. アノテーション時には, 作業者は世界知識を用いながら判定する.

表 4 に，BCCWJ-EyeTrack と重ね合わせた情報の状態のラベルの基礎統計を示す. 文脈によって判断ができず，どちらでもよいことを表す $*:$ either を定性 (def:either), 特定性
表 4 情報の状態の基礎統計

} & \multicolumn{2}{c}{ is:disc-old } \\

& 1,122 & 899 & 2 & - \\

& 1,157 & 749 & 116 & 1 \\

& 337 & 1,678 & 8 & - \\

& 192 & 338 & 2 & 1,491 \\

& 494 & 1,036 & 489 & 4 \\

(spec:either), 有生性 (ani:either), 有情性 (sent:either), 動作主性 (ag:either) に対して定義する．また，名詞句によっては定義することが不適切な場合に，どちらでもないことを表すneitherを特定性 (spec:neither), 動作主性 (ag:neither), 共有性 (com:neither) に対して定義する.

表 3 右に統計分析に利用するデータについて示す. なお, 分析対象は一般化線形混合モデルに基づく分析結果 (Asahara 2017) に基づき，各要因の相関関係をみながら，情報状態 (is:*)・定性 (def:*)・有生性 (ani:*)・共有性 (com:*)の 4 つに限定して行った. 具体的には定性・特定性間と有生性・有情性間に強い相関関係があり，モデル化において多重共線性の問題が発生する。さらに動作主性については, ag:neither が多く, 一般化線形混合モデルにおいて効果が見られなかったために排除した。交互作用については一般化線形混合モデル構築時に収束したモデルが構築できなかったために今回も考慮しない，今回は，視線走査法の結果のみについて検討する，統計分析においては，名詞句でない文節も検討し，それぞれ*:NILとする，また，ラベルとして*:neitherがついているものについては, 統計処理においては*:neitherのままとした.

## 5.3 Bayesian Linear Mixed Model: 統計分析手法

先に述べた読み時間データ BCCWJ-EyeTrack と情報の状態アノテーション BCCWJ-Infostr を重ね合わせたものをべイジアン線形混合モデルにより分析を行う (Sorensen et al. 2016). 帰無仮説を立てた仮説論証的な分析においては一般化線形混合モデルのような頻度主義的な考え方に基づき, 有意差を検証する試みが一般的である. しかし本稿のような仮説探索的な分析に

おいては, ベイズ主義的な考え方に基づき, 強い証拠を探索する試みが適切だと考え, ベイジアン線形混合モデルを用いる。前処理として，手修正した metadata ${ }^{3}$ が $\{$ authorsData, caption, listItem, profile, titleBlock\} であるものを削除した。また読み時間データから全てのゼロミリ秒のデータポイントを排除した。統計分析は，読み時間 time をlognormal 関数により, レイアウト情報・提示順・係り受けの数・情報の状態などを固定要因とし，記事と被験者をランダム要因として, ベイズ推定を行う.

具体的には次のような式を用いる：

$
\begin{aligned}
\text { time } \sim & \text { lognormal }(\mu, \sigma) \\
\mu= & \alpha+\beta^{\text {length }} \cdot \text { length }(x)+\beta^{\text {space }} \cdot \chi_{\text {space }}(x)+\beta^{\text {dependent }} \cdot \text { dependent }(x) \\
& +\beta^{\text {sessionN }} \cdot \operatorname{sessionN}(x)+\beta^{\text {articleN }} \cdot \operatorname{articleN}(x)+\beta^{\text {screenN }} \cdot \operatorname{screenN}(x) \\
& +\beta^{\text {lineN }} \cdot \text { lineN }(x)+\beta^{\text {segmentN }} \cdot \operatorname{segmentN}(x) \\
& +\beta^{\text {is_first }} \cdot \chi_{\text {is_first }}(x)+\beta^{\text {is_last }} \cdot \chi_{\text {is_last }}(x)+\beta^{\text {is_second_last }} \cdot \chi_{\text {is_second_last }}(x) \\
& +\sum_{\text {is:* }} \beta^{\text {is:* }} \cdot \chi_{\text {is:* }}(x)+\sum_{\text {def:* }} \beta^{\text {def:* }} \cdot \chi_{\text {def:* }}(x)+\sum_{\text {ani:* }} \beta^{\text {ani:* }} \cdot \chi_{\text {ani:* }}(x) \\
& +\sum_{\text {com:* }} \beta^{\text {com:* }} \cdot \chi_{\text {com:* }}(x)+\sum_{\mathrm{a}(\mathrm{x}) \in \mathrm{A}} \gamma^{\text {article=a }(\mathrm{x})}+\sum_{\mathrm{s}(\mathrm{x}) \in \mathrm{S}} \gamma^{\text {subj=s }(\mathrm{x})} .
\end{aligned}
$

ここで time は推定する読み時間である． lognormal は rstan の対数正規分布関数である。 $\sigma$ は lognormal の標準偏差 $\mu$ は lognormal の平均で線形式で表される。 $\alpha$ は線形式の切片を表す. $\beta^{\text {length }}$ は文節の長さ length $(x)$ の傾きである。 $\beta^{\text {space }}$ は空白の有無 $\chi_{\text {space }}(x)^{4}$ の傾きである. $\beta^{\text {sessionN }}, \beta^{\text {articleN }}, \beta^{\text {screenN }}, \beta^{\text {lineN }}, \beta^{\text {segmentN }}$, 呈示順 $\operatorname{sessionN}(x), \operatorname{articleN}(x), \operatorname{screenN}(x)$, $\operatorname{lineN}(x), \operatorname{segmentN}(x)$ に対する固定要因である。 $\beta^{\text {is_first }}, \beta^{\text {is_last }}, \beta^{\text {is_second_last }}$ は，レイアウト $\chi_{\text {is_first }}(x), \chi_{\text {is_last }}(x), \chi_{\text {is_second_last }}(x)$ に対する固定要因である. $\sum_{\text {is:* }} \beta^{\text {is:* }} \cdot \chi_{\text {is:* }}(x)$ は情報状態に対する固定要因， $\sum_{\text {def:* }} \beta^{\text {def:* }} \chi_{\text {def:* }}(x)$ は定性に対する固定要因， $\sum_{\text {ani:* }} \beta^{\text {ani:* }}$. $\chi_{\mathrm{ani}: *}(x)$ は有生性に対する固定要因, $\sum_{\mathrm{com}: *} \beta^{\mathrm{com}: *} \cdot \chi_{\mathrm{com}: *}(x)$ は共有性に対する固定要因である. $\sum_{a(x) \in A} \gamma^{\text {article=a(x) }}$ は, $x$ の記事を意味する $a(x)$ に対するランダム要因である. $\sum_{s(x) \in S} \gamma^{\text {subj=s }(\mathrm{x})}$ は， $x$ の被験者識別子を意味する $s(x)$ に対するランダム要因である。ベイズ推定はウォームアップ（100 回）のあと，イテレーション 5,000 回を 4 chains 実施し, 全てのモデルは収束した. なお，一般化線形混合モデルにおけるモデリングは (Asahara 2017) を参照されたい。一般化
^{3}$ BCCWJ の原版のメタデータ (metadata_orig) が不完全であったために改めて夕グ付けしたもの.

 }^{4} \chi_{A}$ は指示関数 $\chi_{A}(x)=\left.\{\begin{array}{lll}1 & \text { if } & x \in A, \\ 0 & \text { if } & x \notin A .\end{array}\right.$

線形混合モデルにおいては AIC による前進的選択法に基づき, 6 種類の読み時間データ全てで収束したものを報告している。その過程で各変数の交互作用についても検討したが，うまく収束させたモデルが構築できなかった. 今回のベイジアンモデルにおいては, 既発表の読み時間全体の傾向で用いた固定効果（レイアウト情報・呈示順・係り受けの数）に対して, 情報の状態として情報状態・共有性・定性・有生性の 4 種に限定して分析を行う。これは，一般化線形混合モデルを構築する際に問題となった, 定性と特定性の相関・有生性と有情性の相関に基づく多重共線性の問題と, 動作主性において効果が観察されなかったことに基づき，回帰式を構成した。

## 6 結果と考察

## 6.1 結果

図 3（付録表 6）に Total Time の情報の状態以外の固定要因に対する係数を示す.グラフは,中央のラインで事後平均值を，曲線でカーネル密度推定量を，色付きの背景で $50 \%$ 区間を表

$\beta^{\text {sessionN }}, \beta^{\text {screenN }}, \beta^{\text {lineN }}, \beta^{\text {segmentN }}$ が負であることから, 実験が進むにつれて慣れていくことに

をセットごとにある程度固定して行ったうえで，記事に対するランダム要因 $\gamma^{\operatorname{article}=\mathrm{a}(\mathrm{x}) \text { を入 }}$ れたために，これに吸収されたと考える。 $\beta^{\text {is_first }}, \beta^{\text {is_last }}, \beta^{\text {is_second_last }}$ は，レイアウト要因で先頭要素で読み時間を要し，末尾要素を読み飛ばしたうえで，末尾から 2 つ目の要素で読み戻しの眼球運動の準備のために時間がかかる傾向がみられる。これらは, 情報の状態要因なしの分析 (Asahara et al. 2016) と同様の結果である.

図4（および付録表 7）に Total Time の情報の状態の固定要因に対する係数を示す.

名詞句以外である $\beta^{*: N L L}$ は読み時間が短い. 別の調査において, 名詞句以外と名詞句とを比較すると名詞句のほうが読み時間が長くなる傾向がわかっており (Asahara and Kato 2017), それの追試となった.

情報の新旧の観点においては, 情報状態と共有性の双方, 新情報 $\beta^{\text {info:disc-new, }}$

とがわかった。旧情報は予測がつくため処理が早くなる一方，新情報は処理に時間がかかるためであろう．差異については情報状態よりも共有性のほうが明確な差がある．ブリッジング（想

定性においては，定名詞句 $\beta^{\text {def:definite }}$ のほうが，不定名詞句 $\beta^{\text {def:indefinite よりも読み時間 }}$

が長い傾向がある。また, 有生性においては, 有生 $\beta^{\text {ani:animate }}$ のほうが, 無生 $\beta^{\text {ani:inanimate }}$ よりも読み時間が短い傾向がある。

Total Time のみでは眼球運動の仔細について検討できないために，以下では First Fixation Time, First Path Time, Second Pass Time, Regression Path Time について検討する.

First Fixation Time（図 5・付録表 8）では，領域の最初の停留のみを評価する．有生性と無生性の差が大きい傾向がある。また，情報の新旧において，情報状態では差がないが，共有性においては差がみられることがわかる. First Pass Time（図 6・付録表 9）では，領域内の最初の停留から，領域外に出るまでの停留時間の合計を評価する。ほぼ Total Time と同様な傾向がみられた. Second Pass Time（図 7 ・付録表 10）では， 2 回目以降の視線停留の合計を評価す

図 3 Total Time: 情報の状態以外の固定要因

図 5 First Fixation Time: 情報の状態の固定要因

図 4 Total Time: 情報の状態の固定要因

図 6 First Pass Time: 情報の状態の固定要因

る。定性, 有生性, 共有性で差がみられる. Regresion Path Time（図 8 ・付録表 11）では, 領域の最初の停留から，領域外を右に出るまでの停留時間の合計を評価する．有生性の差がもっとも大きい.

## 6.2 考察

表 5 に読み時間型ごとの情報の状態の固定要因の事後平均の差分を事後標準偏差とともに

図 7 Second Pass Time: 情報の状態の固定要因

図 8 Regression Path Time: 情報の状態の固定要因

表 5 情報の状態の固定要因の差分

示す.

まず，共参照などに基づく情報状態は安定した差がどの読み時間型にも出ていないことがわかる。冠詞推定に重要な定性についても，1標準偏差を超える差は見られない.

有生性においては，すべての読み時間型において有生名詞句が無生名詞句より読み時間が短い傾向があり，First Pass Time と Regression Path Time においては 1 標準偏差を超える差であった.

共有性においては, 情報の新旧の観点 (com:hearer-new, com:hearer-old)では, First Fixation を除く読み時間型で新情報のほうが時間がかかる傾向にあり, Total Time, First Pass Time, Second Pass Time において 1 標準偏差を超える差があった. ブリッジングの観点 (com:hearer-new， com:bridging) では， すべての読み時間型で新情報のほうが時間がかかる傾向にあり， Total Time, First Pass Time において 1 標準偏差を超える差があった.

有生性はシソーラスなど語彙言語資源からその情報の性質を推定できる一方, 共有性は共参照情報や世界知識を入れてもその性質を推定することは難しい.しかしながら，今回得られた知見は読み時間などから読み手側の情報の新旧を読み手の反応である眼球運動から推定できる可能性を示唆する.

## 7 おわりに

本稿では，明確に表出しない日本語の名詞句の情報の状態を推定することを目標として，読み時間と日本語の名詞句の情報の状態について対照比較した。読み時間は視線走査装置を用いてミリ秒単位で計測を行ったデータを利用した。名詞句の情報の状態は，情報の新旧について書き手の観点による情報状態と読み手の観点による共有性のほか, 定性や有生性について検討した. ベイジアン線形混合モデルによる分析の結果，共有性や有生性の特性の違いにより読み時間に差があることがわかった. 情報の状態のうち, 残念ながら定性については読み時間に明確な差が見られなかったが, 表層の言語情報からはとらえにくい共有性に差があることが重要である。読み時間の事後平均の差は事後標準偏差 1 程度のものであるが, 周辺の言語情報とともに機械学習モデルの特徵量として用いることにより共有性の違いを明らかにできる可能性があることが示唆される。

本研究は, 言語学・認知科学的な観点に基づく調査であるが, 工学研究者に向けて 3 点言及する，1点目は，英語の冠詞推定においては, 定・不定を同定する必要があり, 多くの研究は情報の新旧に基づいて処理されており, 関連はするが, 本質的には異なる名詞句の性質を用いている， 2 点目は，情報の新旧には書き手視点と読み手視点の 2 つの考え方（情報状態・共有性） があり, 本研究は読み手側の反応である読み時間を入れることで, 既存の技術では適切に扱われてこなかった読み手視点の情報の新旧を得ようとするものである， 3 点目は, 情報抽出や自
動要約などのアプリケーションにおいて本質的に重要なのは，書き手視点の談話上の情報の新旧ではなく, アプリケーション利用者側の読み手視点の新旧である. 読み手視点の新旧を, 読み手側の反応を取り入れながら適切にモデル化することが工学応用に求められている.

今後の研究の方向性として，共通の読み手を想定している新聞記事ではなく，共通の読み手を想定していない読み手ごとに理解の差がある文書を用いて，読み時間に差があるかを検討したい.これにより読み手ごとの情報抽出・自動要約が眼球運動計測により実現する可能性を調查する。

他の研究の方向性として, 文章の可読性評価が考えられる. 文章の可読性は, 文字（漢字）や語彙の難易度および頻度に基づいて統制し，調査方法も評定評価等による研究が多かった．本研究は可読性に対する反応である読み時間を直接評価するものであり, 各文章の可読性は記事のランダム要因として得ることができる。書誌情報と対照比較することにより可読性の傾向を分析したい.

## 謝 辞

本研究の一部は, 国立国語研究所基幹型共同研究プロジェクト「コーパスアノテーションの基礎研究」, 国立国語研究所コーパス開発センター共同研究プロジェクト「コーパスアノテー ションの拡張・統合・自動化に関する基礎研究」, 国立国語研究所の所長裁量経費, および情報・システム研究機構の機構間連携・文理融合プロジェクト「わかりやすい情報伝達の実現に向けた言語認知機構の解明とその工学的応用」によるものです。本研究は JSPS 科研費 25284083 , 17H00917, 18H05521 の助成を受けたものです.

なお，本論文は The 31st Pacific Asia Conference on Language, Information and Computation PACLIC 31(2017) の発表 “Between Reading Time and Information Structure”をもとに, ベイジアン線形混合モデルにより統計分析をしなおしたものです. 3 節は国立国語研究所論集 16 号「『現代日本語書き言葉均衡コーパス』への情報構造アノテーションとその分析」, 4 節は言語学会論文誌『言語研究』に投稿中の内容を含みます.これは查読者の指示により内容に含めたもので，著者には自己剽窃の意図はありません.

## 参考文献

Asahara, M. (2017). "Between Reading Time and Information Structure." In Proceedings of the 31st Pacific Asia Conference on Language, Information and Computation, pp. 15-24. The National University (Phillippines).

Asahara, M. and Kato, S. (2017). "Between Reading Time and Syntactic/Semantic Categories." In Proceedings of the The 8th International Joint Conference on Natural Language Processing, pp. 404-412.

Asahara, M. and Matsumoto, Y. (2016). "BCCWJ-DepPara: A Syntactic Annotation Treebank on the 'Balanced Corpus of Contemporary Written Japanese'." In Proceedings of the 12th Workshop on Asian Langauge Resources (ALR12), pp. 49-58.

浅原正幸，大村舞 (2016). BCCWJ-DepParaPAS: 『現代日本語書き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会第 22 回年次大会発表論文集, pp. 489-492.

Asahara, M., Ono, H., and Miyamoto, E. T. (2016). "Reading-Time Annotations for 'Balanced Corpus of Contemporary Written Japanese'." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684-694.

Barrett, M., Bingel, J., Keller, F., and Søgaard, A. (2016). "Weakly Supervised Part-of-speech Tagging Using Eye-tracking Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 579-584.

Demberg, V. and Keller, F. (2008). "Data from Eye-tracking Corpora as Evidence for Theories of Syntactic Processing Complexity." Cognition, 109 (2), pp. 193-210.

Gibson, E. (2008). "Linguistic Complexity: Locality of Syntactic Dependencies." Cognition, 68, pp. $1-76$.

Götze, M., Weskott, T., Endriss, C., Fiedler, I., Hinterwimmer, S., Petrova, S., Schwarz, A., Skopeteas, S., and Stoel, R. (2007). "Information Structure." In Dipper, S., Götze, M., and Skopeteas, S. (Eds.), Information Structure in Cross-linguistic Corpora: Annotation Guidelines for Phonology, Morphology, Syntax, Semantics and Information Structure, Vol. 7, pp. 147-187. Universitätsverlag Potsdam.

Hale, J. (2001). "A Probabilistic Earley Parser as a Psycholinguistic Model." In Proceedings of the 2nd Conference of the North American Chapter of the Association for Computational Linguistics, Vol. 2, pp. 159-166.

Heim, I. (2011). "Definiteness and Indefiniteness." In von Heusinger, K., Maienborn, C., and Portner, P. (Eds.), Semantics: An International Handbook of Natural Language Meaning, Vol. 2, pp. 996-1025. Mouton de Gruyter.

Just, M. A., Carpenter, P. A., and Woolley, J. D. (1982). "Paradigms and Processes in Reading Comprehension." Journal of Experimental Psychology: General, 3, pp. 228-238.

加藤祥, 浅原正幸, 山崎誠 (2017). 『現代日本語書き言葉均衡コーパス』に対する分類語彙表番号アノテーション. 言語処理学会第 23 回年次大会発表論文集, pp. 306-309.

Kennedy, A., Hill, R., and Pynte, J. (2003). "The Dundee Corpus." In Proceedings of the 12th European Conference on Eye Movement.

Kennedy, A. and Pynte, J. (2005). "Parafoveal-on-foveal Effects in Normal Reading." Vision Research, 45, pp. 153-168.

Klerke, S., Martínez Alonso, H., and Søgaard, A. (2015). "Looking Hard: Eye Tracking for Detecting Grammaticality of Automatically Compressed Sentences." In Proceedings of the 20th Nordic Conference of Computational Linguistics (NODALIDA 2015), pp. 97-105.

Lyons, C. (1999). Definiteness. Cambridge University Press, Cambridge.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48, pp. 345-371.

Matsumoto, S., Asahara, M., and Arita, S. (2018). "Japanese Clause Classification Annotation on the 'Balanced Corpus of Contemporary Written Japanese'." In Proceedings of Workshop on Asian Language Resources 13 (ALR13), pp. 1-8.

松吉俊 (2014). 否定の焦点情報アノテーション. 自然言語処理, 21 (2), pp. 249-270.

宮内拓也, 浅原正幸, 中川奈津子, 加藤祥 (2018). 『現代日本語書き言葉均衡コーパス』への情報構造アノテーションとその分析. 国立国語研究所論集, 16.

Miyauchi, T., Asahara, M., Nakagawa, N., and Kato, S. (2018). "Annotation of Information Structure on "The Balanced Corpus of Contemporary Written Japanese." In Computational Linguistics: 15th International Conference of the Pacific Association for Computational Linguistics, PACLING 2017, Yangon, Myanmar, August 16-18, 2017, Revised Selected Papers, pp. 155-165.

乙武北斗, 永田亮 (2016). 冠詞推定のための情報構造仮説の検討. 言語処理学会第 22 回年次大会発表論文集, pp. 493-496.

Palmer, M., Gildea, D., and Kingsbury, P. (2005). "The Proposition Bank: An Annotated Corpus of Semantic Roles." Conputational Linguistics, 31 (1), pp. 71-105.

Prasad, R., Dinesh, N., Lee, A., Miltsakaki, E., Robaldo, L., Joshi, A., and Webber, B. (2008). "The Penn Discourse TreeBank 2.0." In Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC'08), pp. 2961-2968.

Prasad, R., Webber, B., Lee, A., Pradhan, S., and Joshi, A. (2015). "Bridging Sentential and Discourse-level Semantics through Clausal Adjuncts." In Proceedings of the 1st Workshop on Linking Computational Models of Lexical, Sentential and Discourse-level Semantics, pp. 64-69.

Sorensen, T., Hohenstein, S., and Vasishth, S. (2016). "Bayesian Linear Mixed Models using Stan:

A Tutorial for Psychologists, Linguists, and Cognitive Scientists." Quantitative Methods for Psychology, 12, pp. 175-200.

竹内裕已, 河合敦夫, 細田直見, 永田亮 (2013). 前方文脈を考慮した冠詞の推定. 言語処理学会第 19 回年次大会発表論文集, pp. 717-720.

植田禎子, 飯田龍, 浅原正幸, 松本裕治, 徳永健伸 (2015). 『現代日本語書き言葉均衡コーパス』に対する述語項構造・共参照アノテーション. 第 8 回コーパス日本語学ワークショップ, pp. 205-214.

Van Gompel, R. P., Fischer, M. H., Murray, W. S., and Hill, R. L. (2007). "Eye-movement Research: An Overview of Current and Past Developments." Eye Movements: A Window on Mind and Brain, pp. 1-28.

von Heusinger, K. (2011). "Specificity." In von Heusinger, K., Maienborn, C., and Portner, P. (Eds.), Semantics: An International Handbook of Natural Language Meaning, Vol. 2, pp. 1058-1087. Mouton de Gruyter.

## 付録

## A 固定要因の詳細

表 $6,7,8,9,10,11$ では固定要因の係数の推定値を示す. 各列の意味は以下の通り：
- Parameter: 推定する固定要因
- Rhat: 収束判定指標（1.1 以下を収束とみなす）
- $\mathrm{n} \_$eff: 有効サンプル数
- mean: 事後平均値
- $\mathrm{sd}$ : 事後標準偏差
- se_mean: 事後平均の標準誤差
- $2.5 \%: 2.5 \%$ 位値
- $50 \%$ : 中央値
- $97.5 \%: 97.5 \%$ 位値
表 6 Total Time の係数（情報の状態以外）

表 7 Total Time の係数（情報の状態のみ）

表 8 First Fixation Time の係数（情報の状態のみ）

表 9 First Pass Time の係数（情報の状態のみ）

表 10 Second Pass Time の係数（情報の状態のみ）

表 11 Regression Path Time の係数（情報の状態のみ）

## 略歴

浅原正幸：2003 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2004 年より同大学助教。2012 年より国立国語研究所コーパス開発センター准教授.

(2018 年 4 月 30 日受付)

(2018 年 7 月 30 日再受付)

(2018 年 9 月 11 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 論文
## 文法性・流暢性・意味保存性に基づく文法誤り訂正の 参照無し評価

\author{
浅野広樹 ${ }^{+, \dagger \dagger} \cdot$ 水本智也 ${ }^{\dagger \dagger} \cdot$ 乾健太郎 ${ }^{\dagger,+\dagger}$
}

文法誤り訂正の研究開発では, 訂正システムの性能を自動評価することは重要であると考えられている，従来の自動評価手法では参照文が必要であるが，参照文は人手で作成しなければならないため, コストが高く網羅性に限界がある。この問題に対処するために，参照文を用いず，文法性の観点によって訂正を評価する参照無し手法が提案されたが, 従来の参照有り手法の性能を上回ることはできなかった. そこで本研究では, 先行研究で提案された手法を拡張し, 参照無し手法の可能性について調查する。具体的には, 文法性に加えて流暢性と意味保存性を組み合わせた参照無し手法が, 従来の参照有り手法よりも人手評価スコアを正確に予測できることを実験的に示す。また, 参照無し手法は文単位でも適切な評価が可能であることと,文法誤り訂正システムに応用可能であることを示す.

キーワード：文法誤り訂正, 自動評価

## A Reference-less Evaluation Metric Based on Grammaticality, Fluency, and Meaning Preservation in Grammatical Error Correction

\author{
Hiroki Asano ${ }^{\dagger, \dagger \dagger}$, Tomoya Mizumoto ${ }^{\dagger \dagger}$ and Kentaro Inui ${ }^{\dagger, \dagger \dagger}$
}

In grammatical error correction (GEC), the automatic evaluation of system performance is thought to be an essential driving force. Previous methods for automated system assessment require gold-standard references, which have to be created manually and thus tend to be both expensive and limited in coverage. To address this problem, a reference-less approach has recently emerged; however, previous referenceless metrics, which only consider the grammaticality of system outputs, have not performed as well as reference-based metrics. In this study, we explore the potential of extending a prior grammaticality-based method to establish a reference-less evaluation method for GEC systems. We empirically show that a reference-less metric that combines both fluency and meaning preservation with grammaticality provides a better estimate of manual scores than that of commonly used reference-based metrics. Additionally, we show that the reference-less metric can provide appropriate evaluation at the sentence-level and that it can be applied to GEC systems.

Key Words: Grammatical Error Correction, Evaluation Metric

## 1 序論

文法誤り訂正 (Grammatical Error Correction: GEC) は，言語学習者の書いた文の文法的な誤りを訂正するタスクである。GEC は本質的には機械翻訳や自動要約などと同様に生成タスクであるため, 与えられた入力に対する出力の正解が 1 つだけとは限らずその自動評価は難しい. そのため, GECの自動評価は重要な課題であり自動評価尺度に関する研究が多く行われてきた。

GEC システムの性能評価には， システムの出力を正解データ（参照文）と比較することにより評価する手法（参照有り手法）が一般的に用いられている。この参照有り手法では, 訂正が正しくても参照文に無ければ減点されるため, 正確な評価のためには可能な訂正を網羅する必要がある. しかし参照文の作成は人手で行う必要があるためコストが高く, 可能な訂正を全て網羅することは現実的ではない. この問題に対処するため, Napoles, Sakaguchi, and Tetreault (2016)は参照文を使わず訂正文の文法性に基づき訂正を評価する手法を提案した. しかし参照有り手法である GLEU (Sakaguchi, Napoles, Post, and Tetreault 2016) を上回る性能での評価は実現できなかった。

そこで本論文では Napoles et al. (2016) の参照無し手法を拡張し，その評価性能を調べる。具体的には, Napoles et al. (2016) が用いた文法性の観点に加え, 流暢性と意味保存性の 3 観点を考慮する組み合わせ手法を提案する。流暢性は GEC システムの出力が英文としてどの程度自然であるかという観点であり，意味保存性は訂正前後で文意がどの程度保たれているかという観点である。各評価手法により訂正システムの性能の評価を行ったところ, 提案手法が参照有り手法である GLEUよりも人手評価と高い相関を示した。

これに加えて, 各自動評価尺度の文単位での評価性能を調べる実験も行った。文単位での評価が適切にできれば，GEC システムの人手による誤り分析に有用であるが文法誤り訂正の自動評価において文単位の性能を調べた研究はこれまでない。そこで，文単位評価の性能を調べる実験を行ったところ，提案した参照無し手法が参照有り手法より高い性能を示した. この結果を受けて，参照無し手法のもうの可能性も調査した. 参照無し手法は正解を使わずに与えられた文を評価できるため, 複数の訂正候補の中から最も良い訂正文を選択するために本手法が使えると考えられる．このことを実験的に確かめるために複数の GEC システムの出力を参照無しで評価し, 最も良いものを採用するアンサンブル手法の誤り訂正性能を調べたところ，アンサンブル前のシステムの性能を上回った。

## 2 自動評価尺度の評価方法

自動評価尺度に求められる性質のうち最も重要なものは, 人手評価との相関が高いことであるとされている (Banerjee and Lavie 2005). このため, 評価尺度の良さは人手との相関係数で評価されるのが一般的である。機械翻訳の評価尺度の shared task である WMT 2017 Metrics Shared Task (Bojar, Graham, and Kamran 2017) においても自動評価尺度は人手評価との相関によって比較されている。このタスクにおいて評価尺度のメ夕評価には, 翻訳システム単位と文単位で評価が行われている。システム単位のメ夕評価では, 人手評価によるシステムに対する評価と自動評価尺度によるシステムに対する評価を比べることで評価する. 文単位のメ夕評価では, システムの翻訳ごとに人手で優劣が付けられており, 自動評価尺度によってその優劣を識別できるかで評価する。システム単位の評価尺度に対してはピアソンの相関係数やスピアマンの順位相関係数, 文単位の評価尺度に対してはケンドールの順位相関係数1が用いられた。

文法誤り訂正の分野においても自動評価尺度の性能は, 訂正システムに対する人手評価スコアと自動評価スコアの相関によって検証されてきた (Grundkiewicz, Junczys-Dowmunt, and Gillian 2015; Sakaguchi et al. 2016; Napoles et al. 2016)。一方で，我々の知る限り，自動評価尺度の文単位での性能は検証されていない. そこで本研究では, 提案手法と従来手法の自動評価尺度を先行研究に従ってシステム単位で比較するとともに，機械翻訳タスクで行われているように各評価尺度の文単位評価における性能も調査する。システム単位評価, 文単位評価に関しては 5.1.1 節，5.2.2 節でそれぞれ詳述する。

## 3 既存の評価尺度

機械翻訳の分野では, BLEU (Papineni, Roukos, Ward, and Zhu 2002)などの自動評価尺度によって翻訳システムが比較できるようになり, 研究が発展してきた. 文法誤り訂正の分野においても自動評価尺度は重要である. これまでの文法誤り訂正の研究では, 機械翻訳と同様に参照有り手法による自動評価が用いられてきた。 そこで本節では参照有り評価尺度の代表的な手法について述べ，その後参照無し評価尺度の手法について述べる.

## 3.1 参照有り手法

訂正システムの評価では，学習者の書いた文に対する訂正の正解デー夕（参照文）を使うことが一般的である。この参照有り評価は $\mathrm{M}^{2}$ (Dahlmeier and Ng 2012), I-measure (Felice and Briscoe 2015), GLEU (Napoles, Sakaguchi, Post, and Tetreault 2015; Sakaguchi et al. 2016) が
^{1}$ WMT 2017 Metrics Shared Task では人手評価で同順とされた文対を除外する計算法が使用された.
}
考案されている，参照有り手法では正確な評価のために，各入力文に対する参照文を 1 個たけげなく複数個用いることができる。参照文を複数用いる場合, 各文の評価は $\mathrm{M}^{2}$ および I-measure では最大值が採用され，GLEU は平均値が採用される。

$\mathbf{M}^{2}$ 文法誤り訂正の初期の研究では, 訂正システムが行った編集操作がどの程度正解の編集と一致しているかを F 值で評価していた (Dale and Kilgarriff 2011; Dale, Anisimoff, and Narroway 2012). しかし, 長いフレーズの編集が必要な場合などに訂正システムを過小評価してしまうという問題があった。この問題を解決するために $\mathrm{M}^{2}$ は “edit lattice”を用いることにより，システムが行った編集操作を正解と最大一致するように同定する. $\mathrm{M}^{2}$ によって算出された $\mathrm{F}_{0.5}$ 值が CoNLL 2014 Shared Task on GEC で採用されて以降,文法誤り訂正の評価尺度として最も用いられている。

I-measure 上述の $\mathrm{M}^{2}$ の問題点として, 訂正を全く行わないシステムと誤った訂正をしたシステムに対するスコアがどちらも 0 となる点が挙げられる。 そこで, 入力文が改善されれば正の値，悪化すれば負の値をとる尺度である I-measure が提案された. I-measure は入力文, 訂正文, 参照文に対してトークンレベルでアライメントを行い, 精度 (accuracy) に基づきスコアを計算する。

GLEU 機械翻訳の標準的な評価尺度である BLEU (Papineni et al. 2002)を GEC のために改善した評価尺度である。GLEU は訂正文 $(H)$ と参照文 $(R)$ で一致する n-gram 数から, 原文 $(S)$ に現れるが参照文に現れない n-gram 数を減算することによって計算される。形式的には次式で表される。

$
\begin{gathered}
\mathrm{GLEU}+=\mathrm{BP} \cdot \exp \left(\sum_{n=1}^{4} \frac{1}{n} \log \left(p_{n} \prime\right)\right) \\
p_{n} \prime=\frac{N(H, R)-[N(H, S)-N(H, S, R)]}{N(H)}
\end{gathered}
$

ただし， $N(A, B, C, \ldots)$ は集合間での n-gram 重なり数を表し，BP は BLEU と同様の brave penalty を表す. brave penalty は入力文に対して出力文が短い場合に n-gram 適合率を減点する項である。これまでに提案された参照有り手法の中では最も人手評価との相関が高い (Napoles et al. 2016).

## 3.2 参照無し手法

機械翻訳の分野では, 参照文を用いずに翻訳の品質を評価する品質推定 (Quality Estimation) と呼ばれるタスクも行われており, 近年は shared taskも開催されている (Bojar, Chatterjee, Federmann, Graham, Haddow, Huck, Jimeno Yepes, Koehn, Logacheva, Monz, Negri, Neveol, Neves, Popel, Post, Rubino, Scarton, Specia, Turchi, Verspoor, and Zampieri 2016; Bojar, Chatterjee, Federmann, Graham, Haddow, Huang, Huck, Koehn, Liu, Logacheva, Monz, Negri,

Post, Rubino, Specia, and Turchi 2017). 機械翻訳の品質推定タスクでは, 翻訳システムの出力の良さを測るために, Human-targetd Translation Error Rate (HTER) (Snover, Dorr, Schwartz, Micciulla, and Makhoul 2006)と呼ばれる，人間の翻訳とシステムの翻訳の編集距離がどの程度近いかを計算する指標が用いられる。機械翻訳の品質推定の手法では, 各システムの出力に対して HTERが付与された大量のデータを用いてシステムを学習する。文法誤り訂正の参照無し評価用のデータセットには, 一部の少量の文に対してのみ人手の評価が付与されているため, 品質推定の手法を文法誤り訂正の参照無し評価に応用することは難しい.

文法誤り訂正の分野では，参照文を用いずに訂正の品質を評価する手法を Napoles et al. (2016) が初めて提案した。文法誤り訂正では訂正システムの入出力文に対して訂正の品質が付与されたデータが十分にないため, 訳文品質推定の標準的な手法を用いることができない。 そこで Napoles et al. (2016)は，訂正システムの出力文の文法性を評価する 3 つの手法を提案した. 1 つ目は e-rater ${ }^{\circledR}$ による文法誤り検出数に基づく評価, 2 つ目は Language Tool (Miłkowski 2010) による文法誤り検出数に基づく評価, 3 つ目は Heilman, Cahill, Madnani, Lopez, Mulholland, and Tetreault (2014)の言語学的な素性に基づく文法性予測モデルを用いた評価である。実験の結果, e-rater ${ }^{\circledR}$ を用いる手法が最も優れており, 参照有り手法である GLEU と同等の性能であることが示された. しかし, e-rater ${ }^{\circledR}$ は通常, 自然言語処理の研究目的でオープンに利用することはできない2，そこで，本研究では e-rater ${ }^{\circledR}$ を用いず， Language Tool および Heilman et al. (2014)のモデルなどを組み合わせることで性能向上を図る.

## 4 提案手法

人手評価に近い参照無し評価を実現するために, Napoles et al. (2016)の文法性に基づく参照無し評価を拡張する。人手による訂正の傾向を捉えるために，文法性，流暢性，意味保存性の 3 つの観点を考慮した参照無し評価手法（各観点, 意味保存性 (Meaning preservation), 流暢性 (Fluency), 文法性 (Grammaticality) の頭文字を取って MFG と呼ぶ.）を提案する。Napoles， Sakaguchi, and Tetreault (2017) が参照文作成の際に用いたガイドラインでは, 自然な文にすること，文法的な誤りは訂正すること，文意は保存することが指示されており，人手による訂正では一般的にこのような観点に基づいて訂正されることが多い.

文法性は，GEC システムの出力に標準英語上の文法誤りがあるかどうかという観点であり，先行研究でも用いられた (Napoles et al. 2016). 流暢性は, GEC システムの出力がどの程度自然な英文であるかという観点である。この観点は先行研究 (Sakaguchi et al. 2016) において文
^{2}$ e-rater ${ }^{\circledR}$ は English Testing Service (ETS) の作文評価サービス Criterion の 1 機能として提供されており, Criterion は教育機関向けの有償サービスであるため.
}
法性と区別され, 重要性が示された. 意味保存性は, 訂正の前後で文意が変わっていないかという観点である.

提案手法は, 参照文を使わずにこれら 3 つの観点に基づき GEC システムを評価する。本稿では，ある入力文 $s$ に対する訂正文が $h$ であったとき $(s, h)$ に対するスコアを，文法性のスコア $S_{G}$, 流暢性のスコア $S_{F}$, 意味保存性のスコア $S_{M}$ の重み付き和によって求める.

$
\operatorname{Score}(h, s)=\alpha \mathrm{S}_{\mathrm{G}}(h)+\beta \mathrm{S}_{\mathrm{F}}(h)+\gamma \mathrm{S}_{\mathrm{M}}(h, s),
$

ただし $\mathrm{S}_{\mathrm{G}}, \mathrm{S}_{\mathrm{F}}, \mathrm{S}_{\mathrm{M}}$ の値域は $[0,1]$ であり, $\alpha+\beta+\gamma=1$ である. システムのスコアは各 $\mathrm{Score}(\mathrm{h}, \mathrm{s})$ の平均を用いる。各観点は参照文を用いずに以下の手法によりモデル化する.

## 4.1 文法性

Napoles et al. (2016) が参照無し評価に用いたモデルのうち, Heilman et al. (2014)の言語学的な素性に基いたモデルを行う手法をべースに用いる。具体的には, 文法性のスコア $\mathrm{S}_{\mathrm{G}}(h)$ は言語学的な素性に基づくロジスティック回帰により求める。素性については, Heilman et al. (2014) が用いたスペルミス数, n-gram 言語モデルスコア, out-of-vocabulary 数, PCFG およびリンク文法に基づく素性に加え, 依存構造解析に基づく数の不一致素性と Language Tool3ㄹによ誤り検出数を素性として用いた.

モデルの学習は GUGデータセット (Heilman et al. 2014) に対して Napoles et al. (2016)の実装4を用いた。さらに，言語モデルの学習のために Gigaword (Parker, Graff, Kong, Chen, and Maeda 2011)と TOEFL11 (Blanchard, Tetreault, Higgins, Cahill, and Chodorow 2013)を用いた.

GUG データセットのテストセットにおいて文法性 2 值予測タスクを行ったところ，元々の Napoles et al. (2016) 実装の正解率が $77.2 \%$ だったのに対し, 我々が修正を加えたモデルの正解率は $78.9 \%$ であった。

## 4.2 流暢性

文法誤り訂正における流暢性の重要性は (Sakaguchi et al. 2016; Napoles et al. 2017)において示されたが，流暢性を考慮する参照無し評価手法はこれまでに提案されていない．流暢性は言語モデルによってとらえることができる (Lau, Clark, and Lappin 2015). 具体的には, 訂正文 $h$ に対し, 流暢性 $\mathrm{S}_{\mathrm{F}}(h)$ を次のように求める ${ }^{5}$.

$
\mathrm{S}_{\mathrm{F}}(h)=\frac{\log P_{m}(h)-\log P_{n}(h)}{|h|}
$
^{3}$ https://languagetool.org

4 https://github.com/cnap/grammaticality-metrics/tree/master/heilman-et-al

 }^{5} S_{N}$ は多くの場合 0 以上 1 未満であるが, 0 未満のとき $S_{N}=0,1$ 以上のとき $S_{N}=1$ とする

$|h|$ は文長， $P_{m}$ は言語モデルによる生成確率， $P_{n}$ はユニグラム生成確率である.

本研究では，言語モデルには Recurrent Neural Network (RNN) 言語モデル (Mikolov 2012) を採用し，実装は faster-rnnlm²を用いた。学習には British National Corpus (BNC Consortium 2007) および Wikipedia の 1,000 万文を用いた. 作成したモデルは Lau et al. (2015) のテストデータにおいて，人間の容認性判断に対するピアソンの相関係数が 0.395 であった.

## 4.3 意味保存性

文法誤り訂正においては原文の意味が訂正後も保存されていることは重要である。例えば,以下の文 (1a)が文 (1b) に訂正される事例を考える.

(1) a. It is unfair to release a law only point to the genetic disorder. (original)

b. It is unfair to pass a law. (revised)

文 (1b) は文法的であるが, 文 (1a)の意味が保存されていないため, 文 (1b) は不適切な訂正である。

意味がどの程度保存されているかを測る単純な方法は, 原文の単語が訂正後の文でも出現する割合を計算する方法である。このような目的のために機械翻訳の評価尺度を用いる方法が考えられる。本研究では, METEOR (Denkowski and Lavie 2014) を訂正前後の文に適用することで，どの程度文意が保存されているかを評価する．METEOR は BLEU などの評価尺度と比べて意味的な類似度を重視した評価尺度である。本稿では入力文 $s$ と訂正文 $h$ に対する意味保存性のスコア $\mathrm{S}_{\mathrm{M}}(h, s)$ を次式により求める.

$
\begin{aligned}
P & =\frac{m\left(h_{c}\right)}{\left|h_{c}\right|} \\
R & =\frac{m\left(s_{c}\right)}{\left|s_{c}\right|} \\
\mathrm{S}_{\mathrm{M}}(\mathrm{h}, \mathrm{s}) & =\frac{P \cdot R}{t \cdot P+(1-t) \cdot R}
\end{aligned}
$

$h_{c}$ は GEC システムの出力中の内容語, $s_{c}$ は原文中の内容語である.$m\left(h_{c}\right)$ は出力中の内容語のうちマッチングされた単語数, $m\left(s_{c}\right)$ は原文中の内容語でマッチングされた単語数を表す. $t$ の値はデフォルト値である 0.85 を用いた．METEOR の単語マッチングでは表層だけでなく，活用形，類義語，パラフレーズも考慮される。これに加え，本稿ではスペルミスが訂正されてもマッチングされるよう，スペルチェッカを用いて METEOR を拡張した.
^{6}$ https://github.com/yandex/faster-rnnlm
}

## 5 実験

2 節で述べたように, 本研究ではシステム単位と文単位で評価尺度のメ夕評価を行うことで参照無し評価の有効性を確かめる.

## 5.1 自動評価尺度による訂正システム単位評価

本節では, 提案手法および従来手法による自動評価がシステム単位の評価でどの程度人間に近いかを調べるための実験について述べる。

## 5.1.1 実験設定

Napoles et al. (2016) と同様に, 各自動評価手法で訂正システムの出力文を評価し, 各文に対するスコアの平均を訂正システムに対するスコアとし, 図 1 のように人手評価と比較することで評価尺度のよさを調査した。人手評価との近さを測るためにピアソンの相関係数とスピアマンの順位相関係数を用いた。各相関係数は (Grundkiewicz et al. 2015) の Table 3cの人手評価を用いて計算した。

この実験では, CoNLL 2014 Shared Task (Ng, Wu, Briscoe, Hadiwinoto, Susanto, and Bryant 2014) のデータセット，およびそれに対してGrundkiewicz et al. (2015) が作成した人手評価を用いた. このデータセットは, テストデータ 1,312 文と, それに対する参加 12 システムの訂正結果を含む. このデータに対し, Grundkiewicz et al. (2015)は人手で文ごとに評価した少量のデータを使い, レーティングアルゴリズムである TrueSkill (Herbrich, Minka, and Graepel 2007) を用いて訂正システム単位の人手評価スコアを算出した。また，このテストデータに対しては多くの参照文が作成されている。公式の参照文が 2 個, Bryant and $\mathrm{Ng}(2015)$ による参照文が 8 個, Sakaguchi et al. (2016)による参照文が 8 個作成されている。本実験では, 従来の参照有り手法の性能を最大にするためにこれら 18 個全ての参照文を用いた.

提案手法である MFGの重み $\alpha, \beta, \gamma$ の選択は JFLEG データセットを用いて行った。これは

図 1 自動評価尺度のシステム単位評価

CoNLL データセットを dev データと test データに分割することができないためである. また，実際に MFGを使ってシステムを評価する際にも，全く同じシステムの集合に対して人手順位評価がついているデータセットが事前に手に入ることは期待できないため，システム単位の評価では devデータと test データに分割して重みを決めることは適切ではない. GEC の評価尺度の性能評価に使えるデータセットは現在 CoNLL と JFLEG の 2 つしかないため, 本研究では JFLEG データセットで重みを調整した，たたし，このデータセットは CoNLL データセットとは次の 2 点において性質が大きく異なる。(1) 訂正システムの数が異なる。 CoNLLデータセットには 12 システムが含まれているのに対し，JFLEGデータセットには 4 システムしか含まれていない. (2) 各システムの編集率の分散が小さい. CoNLL データセットにおいて各システム

質の大きく異なるデータセットを使った場合にも一方で調整した $\alpha, \beta, \gamma$ が他方でもうまく働くとすれば，将来においても $\alpha, \beta, \gamma$ の調整はそれほど困難にならない可能性がでてくると考えられる。

そこで，性質の大きく異なるデータセットで重みの調整が可能かを調査するために，実際に， CoNLL と JFLEG の 2 つのデータセットにおいて重みの値を 0.01 刻みでグリッドサーチし，ピアソンの相関係数を計算し各データセットの傾向を調查した．図 2 に結果を示す. どちらのデー タセットにおいても概ね同じ傾向が見られた。いずれのデータセットにおいても， $\alpha, \beta, \gamma$ 値の広い領域で安定的に高い性能を示しており，またその領域は 2 つのデータセットで概ね一致している. このことは, 一方のデータセットで調整した $\alpha, \beta, \gamma$ がもう一方のデータセットでも有効に働くことを意味している。そこで，JFLEGデータセットを使って適当な $\alpha, \beta, \gamma を$ 選択し，その重みが CoNLL データセットにおいても有効であるかを実験する。具体的には, JFLEGデータ

JFLEG

CoNLL

図 2 JFLEG データセットと CoNLL データセットにおけるピアソン相関係数. $x$ 軸は $\gamma, y$ 軸は $\beta, z$ 軸はピアソンの相関係数を表す。

セットにおいて相関が 0.9 以上となっている $\alpha, \beta, \gamma$ の領域（図 2 を $\mathrm{z}$ 軸から見た図 3 ）の中心の点の重み，およびその周辺 4 点の重みを用いた。中心の重みは $(\alpha, \beta, \gamma)=(0.35,0.35,0.3)$, 周辺の 4 点の重みはそれぞれ $(\alpha, \beta, \gamma)=(0.25,0.35,0.4),(0.25,0.45,0.3),(0.45,0.25,0.3),(0.45,0.35,0.2)$ を使用した。

## 5.1.2 実験結果

表 1 に各手法の人手との相関を示す. 3 つの観点を用いる提案手法は，中心点の重みを使つた場合とその周辺の点 4 つの内, 最も高い相関だった点と最も低い相関だった点の結果を示す.文法性のみ，流暢性のみの評価尺度では $\mathrm{M}^{2}$ を上回ったが GLEUには及ばなかった．意味保存

図 3 図 2 左を $\mathrm{z}$ 軸方向から見た図

表 1 自動評価による訂正システムのランキングと人手評価間の相関係数

性のみの評価は人手評価との相関が弱いという結果になった. しかし, 意味保存性に流暢性を組み合わせることにより性能が改善し，GLEU を上回った。意味保存性, すなわち METEOR は，表層の類似度に基づく評価となっているため，あまり訂正を行わないシステムに対し高い評価を与えてしまう。それにもかかわらず，流暢性と組み合わせたときに重要な役割を果たしていると考えられる。また， 3 観点を全て組み合わせるとさらに性能が向上 $(\rho=0.885)$ した. この結果の意義は, 参照無しでも参照有り手法である GLEUよりも人手に近い評価ができる可能性を初めて示したことである。また, 我々の知る限りこの値は参照無し手法の最高性能である.

また, 中心点の周辺の点の重みで実験した結果，相関が最も高い点では $\rho=0.912$ となり, 相関が最も低い点で $\rho=0.851$ となった。相関が最も低い点でもGLEUとほぼ同等の性能であり， ピアソンの相関係数では GLEU を上回った。この結果は特定の 2 つのデータセットから得られた結果であり，全く新しいデータセットに必ずしも一般化して適応できるわけではないが，性質の異なるデータセットを開発データとして用いたとしても，参照無し手法で参照有り手法を越える可能性があることを実験的に明らかにしたことに意義がある.

一方，本実験では文法性の必要性は示されなかった，本実験では 3 観点から文法性を除いたときの方が高性能 $(\rho=0.929)$ となったことからも, 文法性は $\alpha, \beta, \gamma$ の調整次第ではかえって悪影響を与える場合があるといえる。本実験で流暢性モデルとして用いた RNN 言語モデルでは文構造を完全には捉えられないと言われているが (Linzen, Dupoux, and Goldberg 2016), 学習者の文の大半は単純な構造であることと，一般に流暢な文は文法的であることが多いことから，流暢性モデルが文法性モデルを包含している部分があり，文法性モデルを用いなくても十分正確な評価ができたと考えられる。流暢性を除いた場合の相関が $\rho=0.786$, 意味保存性をのぞいた場合の相関が $\rho=0.863$ となり, 3 つの観点を使った場合よりも低い相関になっていることから，流暢性・意味保存性は参照無し評価において重要であると言える.

## 5.2 文単位評価の性能調査

5.1 節の実験で, GLEU および提案手法はシステム単位では人手評価と強く相関していることを示した。しかし, システム単位評価が適切であるからといって, それぞれの文に対して正しくスコアがつけられているとは限らない。例えば，図 4 のような例を考える。この例の人手評価では，システム $\mathrm{A}$ が $\mathrm{B}$ よりもいと判断している。システム単位の評価を見ると，自動評価尺度も Aに対して $0.8, \mathrm{~B}$ に対して 0.6 をつけている。これは人手評価と同じ結果であり，システム単位では正しく評価ができている。文単位で見ると 3 文中 2 つがシステム $\mathrm{A}$ がよいと言っているが, 自動評価尺度の結果は真逆になっている（図 4 の右）。このように文単位のスコアを見たとき，自動評価による優劣判定が人手評価と異なっている文があれば，その自動評価尺度は文単位では訂正文を正しく評価できていないことになる。そこで本研究では，これまで提案された自動評価尺度である $\mathrm{M}^{2}$, I-measure, GLEU および参照無し評価尺度が文単位でどの程
度正確に評価できるかを調査する。

## 5.2.1 文単位評価の実験設定

文単位評価の性能調査のためには，訂正システムの出力それぞれに対して人手評価が付与されているデータが必要である。本研究では前節で用いたデータ，すなわち Grundkiewicz et al. (2015) によって作られたデータを使用する。このデータはシステム単位の人手評価のために作られたものではあるが，訂正システムの各出力に対して人手評価が付与されているため，その情報を用いる．具体的には表 2 のように，1つの入力文に対して複数システムの出力が与えられており，それらに対して人手評価が 5 段階の相対評価で与えられている.

文単位評価の場合，あるテストセットに対する複数システムの出力が得られた時，そのごく一部を人手で評価し, 残りを自動評価尺度で評価することは, 必ずしも不自然な設定ではない. そこで，本実験では CoNLL データセットを devデータと test データに分割することで提案手法である MFGの重み $\alpha, \beta, \gamma を$ 調整した，今回は CoNLLデータセットをおよそ $1: 9$ の割合で dev セットと test セットに分割し, dev セット上で後述の正解率が最大となる重みを 0.01 刻みのグリッドサーチにより調整した。調整の結果, $(\alpha, \beta, \gamma)=(0.03,0.51,0.46)$ の重みとなった.

図 4 文単位評価が不適切な例

表 2 入力文 $s$ に対する複数の訂正システムの出力 $h$ と人手評価

5 が最も良く, 1 が最も悪い.

## 5.2.2 文単位評価のメタ評価方法

文法誤り訂正の評価尺度のシステム単位での性能を検証する場合には相関係数を用いた。しかしながら通常の相関係数は複数システムの出力に対する人手評価が全て同じ，もしくは自動評価が全て同じ値の場合に定義することができない，文単位の場合，自動評価尺度によっては訂正が異なっていても全て同じスコアになる場合があるため，相関係数では適切に評価できない。また，人手評価が同じ訂正に関しては自動評価尺度で近いスコアが付くことが望ましいと考えられる，そこで，本研究では任意の 2 つの訂正に対する人手評価が異なる場合と同じ場合に分けて評価した。

人手評価が異なるぺアに対しては，自動評価尺度が人手評価で優れている方に高いスコアが与えられていれば正答とみなし，正解率 (Accuracy) により評価した。

$
\text { Accuracy }=\frac{\text { 大小関係を適切に評価できたぺア数 }}{\text { 人手評価の順位が異なるぺア数 }}
$

例えば，表 2 の例では， $\left(h_{1}, h_{2}\right),\left(h_{1}, h_{3}\right),\left(h_{1}, h_{4}\right),\left(h_{2}, h_{3}\right),\left(h_{2}, h_{4}\right)$ の 5 つの組み合わせが人手評価の異なるぺアである。自動評価尺度がこのうち 2 つのぺアの大小関係を適切に評価できた場合，Accuracy $=2 / 5$ になる。また， 2 節で述べた，WMT17 Metrics Shared Taskで使用されたケンドールの順位相関係数 $\tau$ による評価も行った.

$
\tau=\frac{\text { 大小関係を適切に評価できたぺア数 }- \text { 大小関係を逆順に評価したぺア数 }}{\text { 人手評価の順位が異なるぺア数 }}
$

この $\tau$ は, Accuracy と比べると，人手評価の順位が異なっているにもかかわらず，自動評価で同じ值がつく事例を軽視している。この評価を優劣判定調査と呼ぶ.

人手評価が同じぺアは自動評価スコアもできるだけ近い値になるのが望ましい。そのため自動評価スコア同士の平均絶対誤差 (Mean Absolute Error: MAE) で評価した.

$
M A E=\frac{\sum \mid \text { score }_{1}-\text { score }_{2} \mid}{\text { 人手評価が同順のペア数 }}
$

例えば表 2 における $\left(h_{3}, h_{4}\right)$ は人手評価が同じぺアであり，この 2 つに対して自動評価尺度で付けたスコアから MAEを計算する。ただし，もともとスコアの分散が小さい評価尺度が有利になるのを防ぐため, 各評価尺度のスコアは平均が 0 , 分散が 1 になるよう標準化した. この評価を類似性判定調査と呼ぶ.

テストデータとして用いる Grundkiewicz et al. (2015)の人手評価は， 8 人の評価者がそれぞれ CoNLL2014 Shared Task のデータからサンプリングされた入力文および訂正文に対してランキングを付与することによって作成された.このため，一部の（入力文，訂正文）の組については複数人のランキングが付与されているが，本実験ではそれらを別インスタンスと見なして評価した。テストデータにおいて，優劣判定調查の対象は 14,822 組，類似性判定調査の対象は 5,964 組存在した.

## 5.2.3結果

優劣判定調査の結果人手評価が異なる 2 文に対する優劣判定の性能を表 3 に示す. 提案手法である MFG は参照有り手法と比べて高い正解率を示した。参照有り手法の中では GLEUが $M^{2}$ やI-measure よりも正解率が高かった. MFG と GLEU の正解率の差についてマクネマー検定を行ったところ，5\%水準で統計的に有意であった．ケンドールの順位相関係数においても提案手法は参照有り手法よりも高い性能を示した。参照有り手法の中では I-measure が最も高い $\tau$値を示した. 提案手法と I-measureの $\tau$ 值の差についてブートストラップ検定を行ったところ， $5 \%$ 水準で統計的に有意であった.

類似性判定調査の結果人手評価が同じ 2 文に対するスコアの平均絶対誤差を表 4 に示す. MFG の平均絶対誤差が小さく, 人手評価が同じ 2 文に対して最も近いスコアを与えることができている，参照有り評価手法の中では， GLEUが最も良い結果となっており, 優劣判定調査・類似性判定調査の両方で優れている。

システム単位評価の結果と文単位評価の結果を比較すると, 各評価尺度の性能の序列は文単位でも同じとなっている。しかし, システム単位評価では I-measure と GLEU の間に差があるが, 優劣判定能力においては差は認められない。一方, 類似性判定調査の結果では GLEUが I-measure を上回っている。これらの結果から I-measure は優劣判定はできるが, その評価スコア自体は適切につけられていないことが示唆される.

## 5.2.4 事例分析

参照無し手法が人手評価の異なる訂正を適切に評価できていた例を示す。表 5 の例で訂正 A は文法的であるが訂正 B は主語と述語の数が一致していないため文法的ではない. この例で参

表 3 人手評価が異なる 2 文に対する優劣判定の性能

表 4 人手評価が同じ 2 文に対するスコアの平均絶対誤差

照無し手法は A の方を高く評価できたが，参照有り手法は B の方を高く評価した. これは訂正 B の表層が参照文と似ているからであるが，参照有り手法は訂正と参照文が異なっている箇所の重大性を考慮せずに評価するからであると考えられる。

一方，参照無し手法は失敗したが従来手法は正答できたものとしては，冠詞だけが異なっている事例が多く見られた. 例えば，表 6 における訂正 $\mathrm{A}$ には冠詞誤りが 2 箇所存在しており,参照無し評価尺度では人手評価が高い方に低いスコアをつけてしまっている。これは適切な冠詞選択のためには文脈情報が必要なことが多く, 参照無し手法は文脈情報を一切用いないのに

表 5 リファレンスベース手法の優劣判定の誤り例

人手評価は 5 が最も良く, 1 が最も悪い.

表 6 リファレンスレス手法の優劣判定の誤り例

原文
In the view of my point , a carrier of a known genetic risk should
not be obligated to tell his or her relatives.

} \\

人手評価は 5 が最も良く, 1 が最も悪い.
表 7 人手評価が同じ文に対するリファレンスベース手法の誤り例

} \\

自動評価スコアは標準化前の値.

対し, 従来手法は文脈を考慮して作成された参照文と訂正を比較しているからであると考えられる。

人手評価が同じ訂正に対し，参照有り手法の絶対誤差が大きかった例を表 7 に示す. 訂正 A と B は人手評価に影響を与えるほどの差異は無い. しかし訂正 A は参照文に無く, 訂正 B は参照文と完全に一致している。このため $\mathrm{M}^{2}$ および I-measure は人手評価が同じにも関わらず大きく異なる評価を行っている。 GLEU は比較的近い值をつけている。理由としては，GLEUは n-gram 適合率に基づく評価である点や, 参照文が複数あるときにその平均值を採用している点が考えられる. しかし, 標準化を行うとその差は 0.674 となる。一方, 参照無し手法は標準化を行ってもその差は 0.109 に収まっており, 人間に近い評価ができている.

## 5.3 参照無し評価の文法誤り訂正への応用可能性の調査

5.2 節の実験より，提案手法が文単位においても参照有り手法を上回る可能性があることが明らかになった，それを受け，本節では参照無し評価尺度のもうの可能性を調査する．参照無し評価尺度は正解データを必要としないため, 正解データのない文に対しても評価スコアを与えることができる，つまり，参照無し評価尺度を使えば，GEC システムの出力した訂正文の候補の中から最もよい訂正文を選択することで誤り訂正の精度を改善できる可能性がある。そこで本節では，複数の訂正候補から最もよい訂正を選択する訂正システムを想定したときに実際に訂正性能が向上するかどうかを調べた，以下，この手法をアンサンブルシステムと呼ぶ.

## 5.3.1 実験設定

図 5 のように, 各入力文に対する複数の GEC 訂正システムの出力を参照無し手法で評価し, 最もスコアの高い訂正を選択するシステムを構築した。評価用のデータとして CoNLL 2014 Shared Task on GEC のテストセットを使用した．アンサンブルするシステムとしては， CoNLL 2014 Shared Task on GEC 参加 12 システムの訂正結果を使用する 7 .

## 5.3.2 評価方法

アンサンブルにより GEC システムの性能が向上するかどうかを調べるために, Grundkiewicz et al. (2015) や Napoles et al. (2017) がシステム単位の人手評価值を求めるために使った方法を使用する，彼らと同様に，システム単位の人手評価を Grundkiewicz らのデータセットを用いて各システムに対する人手評価を TrueSkill (Herbrich et al. 2007)により再計算することにより求めた。ただし，人手評価は一部の入力文（1,312 文中 663 文）に対する一部の訂正にしか与えられていないため, 人手評価が与えられている文のみを使用した.

また, 全入力文に対する訂正を評価するために, 参照有り手法による評価も行った. 評価尺度としては $\mathrm{M}^{2}$ と GLEUを用いた. GECの先行研究と直接比較することができるように $\mathrm{M}^{2}$ は, GEC システムの評価で最も一般的な方法に従い計算した．5.1 節, 5.2 節で用いた $\mathrm{M}^{2}$ と異なるのは, 参照文には公式の 2 セットのみを用いる点, システム単位のスコアが macro- $\mathrm{F}_{0.5}$ 值によって算出される点である。GLEUについては 5.1 節, 5.2 節と同様, 正確な評価のために参照文に 18 セット全てを用い, システム単位のスコアは文単位のスコアの平均によって算出した.

## 原文1 評価値 原文2 評価値

## 出力文1 出力文2

図 5 アンサンブルシステムの概要. 各システムの訂正を参照無し手法によって評価し，最善の文を出力する.

表 8 訂正システムに対するスコア

トップシステムは CoNLL2014 参加システムで各スコアが最良のシステムを意味し, 括弧内にシステム名を示した。

## 5.3.3結果

アンサンブルシステムによる文法誤り訂正の実験結果を表 8 に示す.いずれの評価尺度でも参照無し手法で訂正を選択することにより訂正性能が向上した. TrueSkill のスコアが約 2 倍になっていることは訂正が 2 倍改善したことを意味するものでは無いが，明らかな性能向上を示している． $\mathrm{M}^{2}$ スコアや GLEU+についても性能が改善することが確かめられた.

この実験結果から参照無し評価手法は，文法誤り訂正の性能向上に有用であると言える。また, 本研究で行ったアンサンブル手法ではなく, 参照無し評価手法のコンポーネントである文法性, 流暢性, 意味保存性の尺度を直接 GEC システムの中に取り达んだモデルを作ることも考えることができる。アンサンブル手法は従来モデルの訂正候補から最良のものを選択するのに対し, そうしたモデルは 3 観点を考慮した訂正を出力できるため, さらなる性能向上が期待できる。

## 6 結論

本研究では, GEC システムを自動で評価するための参照無し手法を提案し, 文法性, 流暢性,意味保存性の観点を組み合わせることにより，GEC システムの自動評価を従来手法よりも正確に行える可能性があることを実験的に示した。また，文単位での評価性能を調べる実験を行ったところ, 提案した参照無し手法が従来手法より高い性能を示した. さらに, 参照無し評価を使ったアンサンブル手法による誤り訂正の性能を調査し, 参照無し評価尺度を使うことで文法誤り訂正の性能を向上させることができることを明らかにした.

今後の展望としては，大量のデータを活用し，各観点の評価方法をより精緻な手法にすることで性能の向上を図ることが考えられる。例えば，誤り訂正の対訳コーパスから，ニューラルネットワークを用いて文法性を学習する手法が考えられる。また, 3 観点の組み合わせ方を線形和ではなく，意味保存性のスコアが減点項として働くような組み合わせ方に変更することが考えられる。

## 謝 辞

本論文の查読にあたり，著者の不十分な記述などに対してご意見・ご指摘をくださった査読者の方々へ感謝します。本論文の内容の一部は, 情報処理学会第 4 回自然言語処理シンポジウ么・第 234 回自然言語処理研究会 (浅野, 水本, 松林, 乾 2017) および The 8th International Joint Conference on Natural Language Processing (Asano, Mizumoto, and Inui 2017) で発表したものです.

## 参考文献

Asano, H., Mizumoto, T., and Inui, K. (2017). "Reference-based Metrics can be Replaced with Reference-less Metrics in Evaluating Grammatical Error Correction Systems." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 343-348. Asian Federation of Natural Language Processing.

浅野広樹, 水本智也, 松林優一郎, 乾健太郎 (2017). 文法誤り訂正の文単位評価におけるリファレンスレス手法の評価性能. 情報処理学会第 4 回自然言語処理シンポジウム・第 234 回自然言語処理研究会.

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72. Association for Computational Linguistics.

Blanchard, D., Tetreault, J., Higgins, D., Cahill, A., and Chodorow, M. (2013). TOEFL11: A Corpus of Non-Native English. Technical report, Educational Testing Service.

BNC Consortium (2007). The British National Corpus. version 3 (BNC XML Edition). Distributed by Oxford University Computing Services on behalf of the BNC Consortium.

Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huang, S., Huck, M., Koehn, P., Liu, Q., Logacheva, V., Monz, C., Negri, M., Post, M., Rubino, R., Specia, L., and Turchi,

M. (2017). "Findings of the 2017 Conference on Machine Translation." In Proceedings of the 2nd Conference on Machine Translation, pp. 169-214. Association for Computational Linguistics.

Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huck, M., Jimeno Yepes, A., Koehn, P., Logacheva, V., Monz, C., Negri, M., Neveol, A., Neves, M., Popel, M., Post, M., Rubino, R., Scarton, C., Specia, L., Turchi, M., Verspoor, K., and Zampieri, M. (2016). "Findings of the 2016 Conference on Machine Translation." In Proceedings of
the 1st Conference on Machine Translation, pp. 131-198. Association for Computational Linguistics.

Bojar, O., Graham, Y., and Kamran, A. (2017). "Results of the WMT17 Metrics Shared Task." In Proceedings of the 2nd Conference on Machine Translation, pp. 489-513. Association for Computational Linguistics.

Bryant, C. and Ng, H. T. (2015). "How Far are We from Fully Automatic High Quality Grammatical Error Correction?" In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 697-707. Association for Computational Linguistics.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572.

Dale, R., Anisimoff, I., and Narroway, G. (2012). "HOO 2012: A Report on the Preposition and Determiner Error Correction Shared Task." In Proceedings of the 7th Workshop on Building Educational Applications Using NLP, pp. 54-62. Association for Computational Linguistics.

Dale, R. and Kilgarriff, A. (2011). "Helping Our Own: The HOO 2011 Pilot Shared Task." In Proceedings of the Generation Challenges Session at the 13th European Workshop on Natural Language Generation, pp. 242-249. Association for Computational Linguistics.

Denkowski, M. and Lavie, A. (2014). "Meteor Universal: Language Specific Translation Evaluation for Any Target Language." In Proceedings of the 9th Workshop on Statistical Machine Translation, pp. 376-380. Association for Computational Linguistics.

Felice, M. and Briscoe, T. (2015). "Towards a Standard Evaluation Method for Grammatical Error Detection and Correction." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 578-587. Association for Computational Linguistics.

Grundkiewicz, R., Junczys-Dowmunt, M., and Gillian, E. (2015). "Human Evaluation of Grammatical Error Correction Systems." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 461-470. Association for Computational Linguistics.

Heilman, M., Cahill, A., Madnani, N., Lopez, M., Mulholland, M., and Tetreault, J. (2014). "Predicting Grammaticality on an Ordinal Scale." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 174-180. Association for Computational Linguistics.

Herbrich, R., Minka, T., and Graepel, T. (2007). "TrueSkill"TM A Bayesian Skill Rating System." In Schölkopf, B., Platt, J. C., and Hoffman, T. (Eds.), Advances in Neural Information Processing Systems 19, pp. 569-576. MIT Press.

Lau, J. H., Clark, A., and Lappin, S. (2015). "Unsupervised Prediction of Acceptability Judgements." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1618-1628. Association for Computational Linguistics.

Linzen, T., Dupoux, E., and Goldberg, Y. (2016). "Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies." Transactions of the Association for Computational Linguistics, 4, pp. 521-535.

Mikolov, T. (2012). "Statistical Language Models Based on Neural Networks." Presentation at Google, Mountain View, 2nd April.

Miłkowski, M. (2010). "Developing an Open-source, Rule-based Proofreading Tool." Software: Practice and Experience, 40 (7), pp. 543-566.

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2015). "Ground Truth for Grammatical Error Correction Metrics." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593. Association for Computational Linguistics.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2016). "There's No Comparison: Reference-less Evaluation Metrics in Grammatical Error Correction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2109-2115. Association for Computational Linguistics.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234. Association for Computational Linguistics.

Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto, R. H., and Bryant, C. (2014). "The CoNLL-2014 Shared Task on Grammatical Error Correction." In Proceedings of the 18th Conference on Computational Natural Language Learning: Shared Task, pp. 1-14. Association for Computational Linguistics.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Parker, R., Graff, D., Kong, J., Chen, K., and Maeda, K. (2011). English Gigaword 5th Edition LDC2011T07. Philadelphia: Linguistic Data Consortium.

Sakaguchi, K., Napoles, C., Post, M., and Tetreault, J. (2016). "Reassessing the Goals of Grammatical Error Correction: Fluency Instead of Grammaticality." Transactions of the Association for Computational Linguistics, 4, pp. 169-182.

Snover, M., Dorr, B., Schwartz, R., Micciulla, L., and Makhoul, J. (2006). "A study of translation edit rate with targeted human annotation." In Proceedings of Association for Machine Translation in the Americas, pp. 223-231.

## 略歴

浅野広樹：1993 年生. 2017 年東北大学工学部情報科学研究科卒業. 同年, 同大学大学院情報科学研究科修士課程システム情報科学専攻に進学. 現在に至る. 自然言語処理の研究に従事.

水本智也：2015 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). 同年より東北大学情報科学研究科特任助教を経て 2017 年より理化学研究所革新知能統合研究センター特別研究員. 文法誤り訂正や記述式答案の自動採点など自然言語処理による言語学習／教育支援に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

乾健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任. 情報処理学会論文誌編集委員長, 同会自然言語処理研究会主査等を歴任, 2018 年より言語処理学会論文誌編集委員長.