# 仮説検定に基づく英文書の母語話者性の判別
## 冨浦 洋一†・青木さやか呫・柴田 雅博 $\cdot$ 行野 顕正 ${ ^{\dagger \dagger}$}

本論文では，ベイズ識別と仮説検定に基づいて，英文書の作成者の母語話者／非母語話者の判別を高精度で行う手法を提案する．品詞 $n$-gram モデルを言語モデルとし, 判別対象の文書の品詞列の生起確率を, 母語話者言語モデルにより求めた場合と非母語話者言語モデルにより求めた場合とで比較し, 判別を行う. $n$ を大きくすると, 母語話者/非母語話者固有の特徴をより良く扱うことが可能となり, 判別精度の向上が期待できる反面，ゼロ頻度問題およびスパースネスの問題が顕在化し，品詞 $n$-gram モデルのパラメ夕の最尤推定値を信頼することはできくなる。そこで,提案手法では, 仮説検定に基づいた方法で両言語モデルにおける生起確率の比を推定する．実験の結果，従来手法を上回る $92.5 \%$ の精度で判別できることを確認している.

キーワード：母語話者性判別，言語推定，仮説検定

## Discernment of Nativeness of English Documents Based on Statistical Hypothesis Testing

\author{
Yoichi Tomiura ${ }^{\dagger}$, Sayaka Aoki ${ }^{\dagger \dagger}$, Masahiro Shibata $^{\dagger}$ and Kensei Yukino ${ }^{\dagger \dagger \dagger}$
}

This paper proposes a method to discern the nativeness of English documents with high precision based on Bayes decision and a statistical hypothesis testing. Regarding a document as a sequence of part-of-speeches, the proposed method makes a comparison between probabilities of a document by the statistical language model of native English and by that of non-native English to discern the nativeness of the document. The statistical language model used here is a $n$-gram model. The $n$-gram model with a large $n$ can be expected to treat well the difference between the native English and the non-native one and has the potential to discern the nativeness with high precision. However, when we use the $n$-gram model with a large $n$, the zero frequency problem and the sparseness problem become acute and we cannot rely on the maximum likelihood estimates of $n$-gram probabilities. The proposed method estimates the ratio of the probability of the document by the native English language model to that by the non-native English language model using a statistical hypothesis testing. The experimental result shows that the proposed method discerns the nativeness with the precision $92.5 \%$, which is significantly higher than by traditional methods.

Key Words: Discernment of Nativeness, Language Identification, Statistical Hypothesis

Testing

## 1 はじめに

本論文では， ベイズ識別と仮説検定に基づいて，英文書の作成者の母語話者／非母語話者の判別（母語話者性の判別）を高精度で行う手法を提案する.

WWW 上の英文書を英語教育や英文書作成支援に利用する研究が盛んに行われている (大鹿,佐藤, 安藤, 山名 2005 ; 佐野, 猪野 2000 ; 大武, 河本, 竹腰, 国村, Morren, 竹内, 鵜川, 藤田，金子 2004). WWW 上にはオーサライズされた言語コーパスとは比べものにならないくらいの大量の英文書が存在するため, これを言語データとして活用することで, 必要な言語デー 夕の量の問題をかなり克服できる，しかし， WWW上の英文書の質は様々であり，英語を母語とする者あるいはそれと同等の英語運用能力を有する者が書いた英文書（本論文では母語話者文書と呼ぶ）と英語を母語としない者が書いた誤りや不自然な表現を含む英文書（本論文では非母語話者文書と呼ぶ）とが混在している．WWW上の英文書を英語学習教材として使用する場合，あるいは，英語表現の用例集として使用する場合は，使用する英文書を母語話者文書に制限するのが望ましい. また, 非母語話者に特有の文法的特徵や使用語彙の傾向を調査したり,非母語話者が犯しがちな不自然な表現を収集するには，大量の母語話者文書および非母語話者文書を必要とする。したがって，英語教育や英文書作成支援を目的としてWWW上の英文書を使用する場合，英文書の母語話者性判別を行う技術は非常に重要である.

本論文で提案する英文書の母語話者性判別手法では, 品詞 $n$-gram モデルを言語モデルとし,判別対象の文書の品詞列（文書中の単語をその品詞で置き換えた列）の母語話者言語モデルによる生起確率と非母語話者言語モデルによる生起確率との比に基づいて判別を行う． $n=5,6,7$ といった比較的大きな $n$-gram モデルを言語モデルとすることで, 母語話者／非母語話者固有の特徴をより良く扱うことが可能となり, 判別精度の向上が期待できる. しかしその反面, 両言語モデルのパラメタ（ $n$-gram 確率）を最尤推定した場合, 母語話者/非母語話者文書間で品詞 $n$-gram モデルのパラメ夕值に大きな違いがあるのか, 学習データの統計的な摇らぎに起因するものなのかが区別できない. $n=3$ という条件部が短い $n$-gram モデルを用いて判別を行う場合でさえ， ゼロ頻度問題およびスパースネスの問題に対処するために，通常なんらかのスムージングを行う。これに対し，提案手法では，仮説検定に基づいた方法で両言語モデルにおける文書の生起確率の比を推定する.

## 2 文書クラス識別の枠組み

本研究で扱う母語話者性の判別問題は, 文書 $d$ が属すクラスの識別問題の一種である。本節では，文書が属すクラスの識別の枠組みについて，その一般論を述べておく。

文書が属す可能性のあるクラスとして $, C_{1}, C_{2}, \cdots, C_{M}$ があるとする. 文書 $d$ がクラス $C$ に属す文書である尤もらしさ（尤度） $\operatorname{Lh}(d, C)$ を何らかの方法で設定し, $L h(d, C)$ が最大の $C$, つまり，

$
\arg \max _{C \in\left.\{C_{1}, C_{2}, \cdots, C_{M}\right.\}} L h(d, C)
$

を文書 $d$ が属すクラスとして識別する．文書 $d$ のどのような構成要素（特徴）を用いて $\operatorname{Lh}(d, C)$ をどのように定義するかにより，どのようなクラスの識別ができるか，および，その識別精度が異なって来る。次節で述べる言語識別, 本論文で扱う母語話者性の判別の他, ジャンルの識別, 著者識別, さらに迷惑メールの判別 (spam filter) もこの朹組みで議論することができる.

文書 $d$ の属すクラスが $C$ である尤度 $L h(d, C)$ を $d$ が与えられたときのクラス $C$ の事後確率 $P(C \mid d)$ とし, 文書 $d$ の属すクラスを,

$
\arg \max _{C \in\left.\{C_{1}, C_{2}, \cdots, C_{M}\right.\}} P(C \mid d)
$

と推定することもできる。これは，統計的パターン認識で用いられる事後確率最大化識別 (ベイズ識別) (麻生, 津田, 村田 2003) である. 文書 $d$ の生起確率を $P(d)$, クラス $C$ での $d$ の生起確率（クラス $C$ に属す文書が生起するときにその文書が $d$ である条件付き確率）を $P_{C}(d)$, クラス $C$ に属す文書の生起確率（ $C$ の事前確率）を $P(C)$ とすると, 上記の事後確率 $P(C \mid d)$ は

$
P(C \mid d)=\frac{P(C) P_{C}(d)}{P(d)}
$

と表せるので，式 (1)は,

$
\arg \max _{C \in\left.\{C_{1}, C_{2}, \cdots, C_{M}\right.\}} P(C) P_{C}(d)
$

と等しい，適当な統計的言語モデルを設定し，各クラス $C_{i}$ の文書集合（ $C_{i}$ の学習デー夕）を用いて， $C_{i}$ の言語モデルのパラメタを推定すれば，式 $(2)$ を用いて $d$ が属すクラスの識別をすることができる.

代表的な統計的言語モデルとして, $n$-gram モデルがある。一般に, ある時点で生起する事象の確率が，その直前の $n$ 個の時点で生起した事象だけの影響を受けるとき，これを $n$ 重マルコフ過程と呼び, $n$-gram モデルは, 記号の生起を $(n-1)$ 重マルコフ過程で近似したモデルであ

る (北 1999). 特に, $n=1$ の場合を uni-gram モデル, $n=2$ の場合を bi-gram モデル, $n=3$ の場合を tri-gram モデルと呼ぶ. $n$-gram モデルでは, 記号列 $\boldsymbol{a}=a_{1} a_{2} \cdots a_{\ell}$ の生起確率は,

$
P(\boldsymbol{a})=\prod_{i=1}^{\ell+1} P\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)
$

で表される. ただし， $j \leq 0$ のとき $a_{j}=@_{s}$ であり， @ $s_{s}$ は文頭を表す特殊記号である.また， $a_{\ell+1}=@_{e}$ であり， $@_{e}$ は文末を表す特殊記号である．記号としては，文字，単語，品詞などが考えられる，本論文では，記号が文字であるものを文字 $n$-gram モデル，記号が品詞であるものを品詞 $n$-gram モデルと呼ぶことにする. 条件付き確率 $P\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ は $n$-gram 確率と呼ばれる。本論文では，言語クラス $C$ の $n$-gram 確率を $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ と添え字を付けて表す。学習データの生起確率を最大にするようにモデルのパラメタを推定する最尤推定 (野田, 宮岡 1992)では, $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ は

$
\frac{f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1} a_{i}\right)}{\sum_{a \in A} f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1} a\right)}
$

すなわち,

$
\frac{f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1} a_{i}\right)}{f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1}\right)}
$

と推定される. $f_{C}(\boldsymbol{a})$ は言語クラス $C$ の学習データにおける記号列 $\boldsymbol{a}$ の出現頻度であり， $A$ は記号の全体集合である。しかし, $n$ が大きい場合, $n$-gram 確率を単純に式 (3)により推定すると,学習データ中に出現しない記号列 $a_{i-n+1} \cdots a_{i-2} a_{i-1} a_{i}$ に対して, $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ を 0 と推定してしまうという大きな問題がある。また，たとえ学習データ中に出現したとしても，条件部の記号列 $a_{i-n+1} \cdots a_{i-2} a_{i-1}$ の出現頻度が小さい場合は，統計的に信頼性のある確率值を推定するのが難しい，前者はゼロ頻度問題, 後者はスパースネスの問題と呼ばれている (北 1999). したがって, これらの問題に対処するために, 通常は $n$-gram 確率のスムージングを行う. 代表的なスムージング手法としては, 加算スムージング, 線形補間などがある (北 1999).一般に，線形補間の方が加算スムージングより精度が高いと言われている.

また, 多くの識別問題で高い性能を実現している 2 クラスの識別器である Support Vector Machine(麻生他 2003) を使って, 文書 $d$ の属すクラスを識別することもできる.

## 3 関連研究

文書の母語話者性の判別と関連の深い研究分野として, 文書の記述言語を推定する言語識別がある.

Cavnar らは，出現頻度上位の文字列とその順位を言語および文書の特徴と考える言語識別を
行っている (Cavnar and Trenkle 1994). 各言語 $L_{i}$ の学習データ文書中での 1～5 の長さの文字列のうち出現頻度上位 300 個の文字列とその順位を求めて，言語 $L_{i}$ における順位表を作成しておく，同様に，識別対象文書 $d$ に対しても順位表を作成する．dの順位表中の各文字列の順位と $L_{i}$ の順位表での順位との差の絶対値の和を $d$ と $L_{i}$ の非類似度 $\operatorname{dissim}\left(d, L_{i}\right)$ と考え, $\operatorname{dissim}(d, L)$ が最小の言語 $L$ を $d$ 記述言語として識別する. これは，前節で述べた枠組みに対して, $\operatorname{dissim}\left(d, L_{i}\right)$ の逆数を尤度 $L h\left(d, L_{i}\right)$ と考えたことに相当する.

また, 前田らは, 長さ 2 の文字列の出現頻度分布をユークリッド空間上のベクトル（頻度べクトル）であると考え，識別対象文書 $d$ の頻度ベクトルと各言語 $L_{i}$ の学習データ文書の頻度ベクトルとの余弦を,$d$ と言語 $L_{i}$ の類似度 $\operatorname{sim}\left(d, L_{i}\right)$ とする言語識別を行っている (前田, 関,吉川，植村 2001).これは，前節で述べた枠組みに対して， $\operatorname{sim}\left(d, L_{i}\right)$ を尤度 $\operatorname{Lh}\left(d, L_{i}\right)$ と考えたことに相当する。

行野らは，長い文字列の頻度は統計的な摇らぎが大きいものの，言語を特定する能力が高いと考え，1７の長さの文字列を言語および文書の特徴と考える言語識別の手法を提案している (行野, 田中, 冨浦, 松本 2006). 彼らの手法は, 識別対象文書 $d$ に出現する 1〜7 の長さの文字列集合と言語 $L_{i}$ の学習データに出現する 1～7 の長さの文字列集合の積集合の大きさを $L h\left(d, L_{i}\right)$ とする手法である. 長い文字列を特徵として使用した結果, 類似言語間の識別や識別対象文書が極めて短い場合の識別でも，Cavanr らの手法, 前田らの手法に比べ高い識別精度を実現したと報告している.

Dunning は文字 $n$-gram モデルにより $P_{L_{i}}(d)$ を求め, 言語の事前確率を等確率 $\left(P\left(L_{i}\right)=P\left(L_{j}\right)\right)$ と仮定して，ベイズ識別により，dの属す言語の識別を行っている (Dunning 1994). ただし， ゼ口頻度問題に対処するため，加算スムージングによる $n$-gram 確率のスムージングを行っている. $n=1 \sim 5$ を試した結果, $n=2$ の場合, つまり, bi-gram モデルの場合が最も識別精度が高かったと報告している.

Sibun らは, 長さ $n$ の文字列の確率分布を言語および文書の特徴と考え（実際には $n=1$ または $n=2$ を採用している), 確率分布間の相違尺度である KL-Divergence に基づいた言語識別手法を提案している (Sibun and Reynar 1996). 確率分布 $P$ と $Q$ の KL-Divergence (Kullback-Leibler 距離) $D_{K L}(P \| Q)$ は

$
D_{K L}(P \| Q)=\sum_{x \in \mathcal{X}} P(x) \log \frac{P(x)}{Q(x)}
$

で定義される (北 1999). Sibun らの手法は, $D_{K L}\left(P_{d} \| P_{L_{i}}\right)$ が最小の $L_{i}$ をの記述言語として識別する手法である。ただし， $P_{d}(\boldsymbol{a})$ は文書 $d$ における文字列 $\boldsymbol{a}$ の生起確率， $P_{L_{i}}(\boldsymbol{a})$ は言語クラス $L_{i}$ における文字列 $\boldsymbol{a}$ の生起確率である. $P_{d}(\boldsymbol{a})$ は

$
P_{d}(\boldsymbol{a})=\gamma \cdot f_{d}(\boldsymbol{a}) \quad \text { ただし, } \gamma=\frac{1}{\sum_{\boldsymbol{a} \in A^{n}} f_{d}(\boldsymbol{a})}
$

と推定されるので $\left(f_{d}(\boldsymbol{a})\right.$ は $d$ での文字列 $\boldsymbol{a}$ の出現頻度, $A$ は記号の全体集合, $A^{n}$ は可能な $n$ 長さの文字列の全体の集合)，言語 $L_{i}$ における文書 $d$ の生起確率 $P_{L_{i}}(d)$ を

$
P_{L_{i}}(d)=\prod_{\boldsymbol{a} \in A^{n}} P_{L_{i}}(\boldsymbol{a})^{f_{d}(\boldsymbol{a})}
$

と大胆に近似するならば,

$
D_{K L}\left(P_{d} \| P_{L_{i}}\right)=\sum_{\boldsymbol{a} \in A^{n}} P_{d}(\boldsymbol{a}) \log \frac{P_{d}(\boldsymbol{a})}{P_{L_{i}}(\boldsymbol{a})}=-\gamma \cdot \log P_{L_{i}}(d)+\sum_{\boldsymbol{a} \in A^{n}} P_{d}(\boldsymbol{a}) \log P_{d}(\boldsymbol{a})
$

となる.つまり, $D_{K L}\left(P_{d} \| P_{L_{i}}\right)$ が最小の $L_{i}$ を $d$ 記述言語として識別する Sibun らの手法は,式 (4)の近似を行った上で, 言語の事前確率を等確率と仮定して, ベイズ識別により, $d$ の属す言語の識別を行うことと等価である。なお, Sibun らもゼロ頻度問題に対処するために, $P_{L_{i}}(\boldsymbol{a})$ は

$
P_{L_{i}}(\boldsymbol{a})=\frac{f_{L_{i}}(\boldsymbol{a})+\delta}{\sum_{\boldsymbol{a} \in A^{n}}\left.\{f_{L_{i}}(\boldsymbol{a})+\delta\right.\}}
$

のように，加算スムージングによりスムージングしている（ $\delta$ は非負の定数 $).$

次に，本論文で扱う文書の母語話者性判別に関する従来研究について述べる.

Tomokiyo らは, 長さ $n(n=1,2,3)$ の記号列（記号としては, 単語, 品詞, および単語品詞混合の 3 種を試している）を言語および文書の特徴と考え, 文書（あるいは, 文書を構成する単語をその品詞に置き換えたもの, 文書を構成する一部の単語を品詞に置き換えたもの）の生起確率を式 (4)で近似し, ベイズ識別に基づく母語話者／非母語話者クラスの判別を行っている (Tomokiyo and Jones 2001). しかし, 彼らは, 子供用ニュース記事の音読による発話や観光などに関する自発的発話を, 音声認識器によりテキストにした文書, および, 人手で書き起こした文書を対象としている。音読では読み間違いが非母語話者の大きな特徴であり, 自発的発話では, 使用語彙が母語話者／非母語話者の間の大きな違いである。一方, 我々は, 論文などのように十分推敲して作成されているフォーマルな文書を対象としており，母語話者／非母語話者判別に有効な特徴量も異なってくるため, 彼らの判別実験結果と直接比較することはできない.

藤井らは, 品詞 tri-gram モデルを言語モデルとし, ゼロ頻度問題に対処できる Skew Divergence を用いて英文書の母語話者性の判別を行っている (藤井, 冨浦, 田中 2005). 以下で定義される判別対象文書 $d$ と言語クラス $C(\in\{N, N N\}, N$ : 母語話者言語クラス, $N N$ : 非母語話者言語クラス) との相違度 $E D(d ; C)$

$
E D(d ; C)=\sum_{\langle a b\rangle \in H^{2}} f_{d}(a b) D\left(P_{d}^{\langle a b\rangle} \| P_{C}^{\langle a b\rangle}\right)
$

を求め, $E D(d ; C)$ を最小にする $C(\in\{N, N N\})$ を $d$ が属すクラスとして推定する. ただし， $H$

は品詞の全体集合, $P_{d}^{\langle a b\rangle}$ は文書 $d$ における条件を $a b$ とする品詞 tri-gram 分布, $P_{C}^{\langle a b\rangle}$ はクラス $C$ における条件を $a b$ とする品詞 tri-gram 分布 ${ }^{1}, D$ は確率分布間の相違度である. 確率分布間の相違度 $D$ として KL Divergence を用いた場合, $E D(d ; C)$ を最小にする $C(\in\{N, N N\})$ は, 文書 $d$ の各単語をその品詞で置き換えた品詞列の生起確率を最大にする言語クラスである. したがって藤井らの手法は, 品詞 tri-gram モデルを言語モデルとし, 言語の事前確率を等確率と仮定して, Bayes 識別に基づいて $d$ が属すクラスを判定する方法と本質的には同じである.藤井らの手法の特徴は, 分布間の相違度 $D$ として KL Divergence を用いるのではなく, 以下で定義される Skew Divergence (Lee 1999) を用いている点にある.

$
D_{\text {skew }}(p \| q)=\sum_{x \in \mathcal{X}} p(x) \log \frac{p(x)}{\alpha \cdot q(x)+(1-\alpha) \cdot p(x)}
$

Skew Divergence はゼロ頻度問題に弱い KL Divergence を改良したものである。藤井らは， $\alpha$ を, 分布 $q\left(\right.$ つまり, $\left.P_{N}^{\langle a b\rangle}, P_{N N}^{\langle a b\rangle}\right)$ の推定に用いた学習データのサイズに応じて, $a b$ 毎に

$
\alpha(a b)=1-\exp \left(-\sqrt{\beta \cdot \min \left(f_{N}(a b), f_{N N}(a b)\right)}\right)
$

と設定している，彼らは， Skew Divergence を用いることで, 線形補間を施した品詞 tri-gram 分布による KL Divergence を用いた手法および多くの識別問題で高い精度を実現している Support Vector Machine を用いた手法よりも有意に高い判別精度を実現できたと報告している。

英文書の母語話者性判別は, 母語話者英語, 非母語話者英語という類似した言語の識別問題と捉えることもできる，青木らは，文書を，それを構成する単語を品詞で置き換えた品詞列と見なし，基本的には KL-Divergence を用いた Sibun らの言語識別手法に基づいて，文書の母語話者性の判別を行っている (青木, 冨浦, 行野, 谷川 2005).「長い文字列も言語特徴とすることで類似言語の識別精度が向上する」という行野らの知見からの予想通り, 長い品詞列の頻度情報を利用した場合の判別精度が高く $(n=6$ のときが最も精度が高い $)$, 藤井らの手法より高精度で母語話者性を判別できたと報告している。

著者らは, 青木らの主張と同じく, 長い品詞列の頻度情報も利用することが文書の母語話者性判別に有効であると考えている。藤井らの手法は言語モデルを $n>3$ の品詞 $n$-gram モデルとしてもそのまま適用できる。しかし, 藤井らは, 式 $(6)$ を
- $\alpha$ は $f=\min \left(f_{N}(a b), f_{N N}(a b)\right)$ の単調増加関数,
- $\lim _{f \rightarrow \infty} \alpha=1, \lim _{f \rightarrow 0} \alpha=0$
^{\langle a b\rangle}(x)$ は文書 $d$ において, 品詞列 $a b$ の次に品詞 $x$ が生起する確率 $P_{d}(x \mid a b), P_{C}^{\langle a b\rangle}(x)$ は言語クラス $C$ において, 品詞列 $a b$ の次に品詞 $x$ が生起する確率 $P_{C}(x \mid a b)$ である.
}

を満たす $\alpha$ の設定法の一例として用いたに過ぎず， $n$ を大きくした場合に，式 (6) で良いのかどうかは疑問である。 さらに， $n$ を大きくしたとき, 式 (6)では高い精度が得られない場合に,式 (6) に代えて，上記の性質を満たす $f=\min \left(f_{N}(a b), f_{N N}(a b)\right)$ のどのような関数を $\alpha$ の設定に用いればよいのかも明らかではない. 一方, 青木らの手法は, 統計的パターン認識の立場で見るならば, 近似式 (4)を仮定したべイズ識別による判別法である. しかし, 品詞 $n$-gram モデルに比べ，式 (4)は，近似としては非常に粗い.

$n$ が大きな品詞 $n$-gram モデルを言語モデルとして使用し, かつ, ゼロ頻度問題およびスパー スネスの問題を克服する新たな母語話者性判別手法を次節で述べる.

## 4 提案手法

本論文で提案する母語話者性判別手法は, 長い品詞列の頻度情報を利用することで, より高精度で判別を行うことをねらったもので, 長い品詞列の頻度情報を使うことによる信頼性の低下を防ぐために仮説検定を利用しているのが大きな特徴である.

藤井らおよび青木らの研究と同じく, 文書をそれを構成する単語を品詞で置き換えた品詞列とみなす. 品詞 $n$-gram モデルを言語モデルとし, 文書内の各文が独立に生起すると仮定すると, 品詞列に変換した文書 $d$ のクラス $C$ での生起確率 $P_{C}(d)$ は,

$
P_{C}(d)=\prod_{\boldsymbol{a} \in d} \prod_{i=1}^{\ell(\boldsymbol{a})+1} P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)
$

と表せる．ただし， $\ell(\boldsymbol{a})$ は文（品詞列） $\boldsymbol{a}$ の長さであり， $a_{i}$ は $\boldsymbol{a}$ の $i$ 番目の品詞である。また, $j \leq 0$ のとき $a_{j}=@_{s}$ であり， $a_{\ell(\boldsymbol{a})+1}=@_{e}$ である（2 節参照）. Bayes 識別に基づく文書 $d$ の母語話者性判別では，母語話者文書と非母語話者文書の事前確率を 0.5 とすると ${ }^{2}$,

$
\begin{array}{ll}
\frac{P_{N}(d)}{P_{N N}(d)}>1 & \Longrightarrow \text { 母語話者文書クラス }(N) \\
\frac{P_{N}(d)}{P_{N N}(d)}<1 & \Longrightarrow \text { 非母語話者文書クラス }(N N) \\
\text { その他 } & \Longrightarrow \text { 未定 }
\end{array}
$

と判別することになる.

生起確率の比の対数を取り, 文書（品詞列）の生起確率を式 (7)を用いて展開すると,

$
\log \frac{P_{N}(d)}{P_{N N}(d)}=\sum_{\boldsymbol{a} \in d} \sum_{i=1}^{\ell(\boldsymbol{a})+1} \log \frac{P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}{P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}
$

となる. 上式が正ならば $d$ は母語話者文書，負ならば $d$ は非母語話者文書と判別することになる。

より大きな $n$ における品詞 $n$-gram モデルは, 母語話者英語と非母語話者英語における品詞列の生起確率の相違をより良く取り扱うことができると予想される。しかし，現実的なサイズの学習データから最尤推定により求めた品詞 $n$-gram 確率による

$
\frac{P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}{P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}
$

では, この値が 1 から大きくずれる場合に，これが両言語の大きな相違を示しているのか，統計的な摇らぎに起因するものかが分からない（ゼロ頻度問題，スパースネスの問題）。そこで,式 (9) を仮説検定に基づいた以下に述べる 2 種類の手法により控えめに（最尤推定値を用いた場合の比より 1 に近い值として）推定し，これを用いて式 (8) の計算を行い母語話者性の判別を行う。

## 4.1 手法 1

手法 1 では, 式 (9) の値を以下のようにして推定する. ただし, $\widehat{P}_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ を $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の最尤推定值とする.

(A) $\widehat{P}_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)>\widehat{P}_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\begin{cases}\text { 帰無仮説： } & P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \leq \mu \cdot P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \\ \text { 対立仮説 }: & P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)>\mu \cdot P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)\end{cases}
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め, $\mu>1$ ならば $n$-gram 確率の比 $(9)$ を $\mu$ と推定し, $\mu \leq 1$ （つまり， $P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ が $P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ より有意に大きいと言えない) ならば 1 と推定する. $f_{C}(\boldsymbol{a})$ を言語クラス $C(\in\{N, N N\})$ のモデルの学習データにおける品詞列 $\boldsymbol{a}$ の出現頻度とすると，上記の $\mu$ は，

$
\begin{aligned}
x & =f_{N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1} a_{i}\right), & & y=f_{N N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1} a_{i}\right), \\
m & =f_{N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1}\right), & & n=f_{N N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)
\end{aligned}
$

として，付録 B の $\widehat{\mu}(x, m, y, n)$ で求めることができる.

(B) $\widehat{P}_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)<\widehat{P}_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\begin{cases}\text { 帰無仮説 : } & \mu \cdot P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \geq P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \\ \text { 対立仮説 }: & \mu \cdot P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)<P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)\end{cases}
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め, $\mu>1$ ならば $n$-gram 確率の比 $(9)$ を $1 / \mu$ と推定し, $\mu \leq 1$ (つまり, $P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ が $P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ より有意に小さいと言えない) ならば 1 と推定する。このような $\mu$ は, $x, m, y, n$ を前述 (A)のように定めると, $\widehat{\mu}(y, n, x, m)$ として求めることができる.

(C) $\widehat{P}_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)=\widehat{P}_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の場合 $n$-gram 確率の比 (9) を 1 と推定する.

つまり，頻度情報の統計的摇らぎを考慮し， $1-\alpha$ の信頼度で， $n$-gram 確率の比 $(9)$ を控えめに（最尤推定値を用いた場合の比より 1 に近い値として）推定する。一方の $n$-gram 確率が他方より有意に大きいと言えない場合, 両 $n$-gram 確率に大きな違いはないということで, この $n$-gram 確率の比を 1 と推定し，母語話者性判別に影響しないようにする.

表 1 に $n$-gram 確率の比の推定例を示す（有意水準 $\alpha=0.05 ）$. 例 (a) は頻度が小さいため有意水準 0.05 で一方の $n$-gram 確率が他方の $n$-gram 確率より大きいと判断できない場合で, 比を 1 と推定している。例 (b)〜 (e) は最尤推定値を用いた場合より 1 に近い値を推定している （つまり，スパースネスの問題に対処できている），例 $(\mathrm{f})(\mathrm{g})$ は，最尤推定值を用いると $n$-gram 確率の比がそれぞれ $\infty, 0$ となってしまう場合であるが，有意水準 0.05 での推定では 0 より大きな有限の値となっており，母語話者性の判別に決定的な影響を与えることを避けている（つまり，ゼロ頻度問題にも対処できている)。

表 $1 n$-gram 確率の比の推定例

 &  \\

(b) & 10 & 20 & 10 & 50 & 2.5 & 1.342 \\
$($ c) & 100 & 200 & 10 & 50 & 2.5 & 1.596 \\
$(\mathrm{~d})$ & 100 & 200 & 100 & 500 & 2.5 & 2.069 \\
$(\mathrm{e})$ & 10 & 50 & 10 & 20 & 0.4 & 0.745 \\
$(\mathrm{f})$ & 10 & 100 & 0 & 100 & $\infty$ & 4.897 \\
$(\mathrm{~g})$ & 0 & 100 & 10 & 100 & 0.0 & 0.204 \\

## 4.2 手法 2

手法 2 は, 手法 1 を拡張し, $n$-gram 確率の比 (9) の推定において, 有意水準 $\alpha$ では両言語モデルにおける $n$-gram 確率の一方が他方より有意に大きいと判断できない場合に, $3 \leq k<n$ の $k$-gram 確率の比の推定値を用いるものである ${ }^{3}$.

(1) $k \longleftarrow n$

(2) 以下の 3 つの場合に応じて,

$
\frac{P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)}{P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)}
$

を推定する.

(A) $\widehat{P}_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)>\widehat{P}_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\begin{cases}\text { 帰無仮説： } & P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \leq \mu \cdot P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \\ \text { 対立仮説 }: & P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)>\mu \cdot P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)\end{cases}
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め, $\mu>1$ ならば $k$-gram 確率の比 $(10)$ を $\mu$ と推定し， $\mu \leq 1$ ならば 1 と推定する.

(B) $\widehat{P}_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)<\widehat{P}_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\left.\{\begin{array}{l}
\text { 帰無仮説 : } \quad \mu \cdot P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \geq P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \\
\text { 対立仮説 }: \quad \mu \cdot P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)<P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)
\end{array}\right.
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め， $\mu>1$ ならば $k$-gram 確率の比 $(10)$ を $1 / \mu$ と推定し, $\mu \leq 1$ ならば 1 と推定する.

(C) $\widehat{P}_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)=\widehat{P}_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)$ の場合 $k$-gram 確率の比 (10) を 1 と推定する.

(3) 推定した $k$-gram 確率の比 (10) が 1 で，かつ， $k>3$ ならば， $k \longleftarrow k-1$ として (2)へ. そうでないならば, この推定値を式 (9) の推定值とする.

## 5 実験

2 つの提案手法, つまり,
- 式 (9)の値の推定を手法 1 で行う判別手法 (Hypo1),

$\cdot$ 式 (9)の值の推定を手法 2 で行う判別手法 (Hypo2)
^{3} 2 \leq k<n$ も実験では試してみたが， $3 \leq k<n$ の場合より, 若干精度が低下した. これは, bi-gram モデルでは母語話者/非母語話者文書の相違を扱うにはモデルが単純過ぎることを意味している.
}

を用いた母語話者性判別実験を行った。また，

・ 藤井らの手法で使用する言語モデルを $n$-gram に拡張した手法 (Skew),
- 青木らの手法 (KL)

による母語話者性判別を行い, 提案手法との比較を行った.

実験データは以下の 2 種類を用意した。

## ・データ 1

電気情報関係の国際会議で発表された英語科学技術論文. 内訳は,
- 英語圈（米国，英国，カナダ，オーストラリア）で開催された採択率 $50 \%$ 未満の国際会議の論文で, 第一著者が英語圈所属の非日本人名である論文 602 件,
- 東/東南アジアで開催された採択率 $50 \%$ 以上の国際会議の論文で, 第一著者が日本所属の日本人名の論文 679 件

である。擬似的に，前者を母語話者文書集合，後者を非母語話者文書集合とした。なお,母語話者文書集合／非母語話者文書集合における品詞列の出現頻度情報の信頼度がほぼ同一となるように, 両文書集合中の延べ単語数（下記の前処理後の単語数）がほぼ同数になるように文書数を設定した。

## ・データ 2

電気情報関係の国際会議で発表された英語科学技術論文で，校正専門家（母語話者）が母語話者性を判定したもの 60 件 (母語話者文書 25 件, 非母語話者文書 35 件).これは, (青木他 2005) で使用されている評価用論文と同一のものである.

なお, 論文の収集に際しては，両文書集合に母語話者／非母語話者以外の特徵の差が現れないように注意を払った. すなわち, 複数の研究分野から論文を収集し, 図表や数式, ヘッダやフッ夕などの情報を削除するという前処理を行った。単語列から品詞列への変換には Tree Tagger4を用いた．変換後の品詞異なり数は 57 であった（文頭, 文末の特殊記号 $\varrho_{s}, @_{e}$ を除く).

データ 1 に付与された母語話者性 $(N / N N$ の別) はかなり精度は高いものの, 勿論誤りを含む. そこで，参考としてデータ 2 をテストデータ（判別対象文書）とした実験（評価実験 2）も行った. データ数が少ないため, 各手法に対して有意な差は期待できないが, データ 1 での結果と同様の傾向が見られるかどうかを調べた.

各手法の評価は, 以下の 2 つの精度

$
\begin{gathered}
\operatorname{Prec}(N)=\frac{\text { 母語話者文書で母語話者文書と判別された文書数 }}{\text { 母語話者文書と判別された文書数 }} \operatorname{Prec}(N N)=\frac{\text { 非母語話者文書で非母語話者文書と判別された文書数 }}{\text { 非母語話者文書と判別された文書数 }}
\end{gathered}
$
^{4}$ http://www.ims.uni-stuttgart.de/projekte/corplex/TreeTagger/DecisonTreeTagger.html
}

のうち值の低い方（これを MinPrec と表記する）を用いて評価する. これは, 本手法の目的が,母語話者文書および非母語話者文書をともに高精度で収集することにあるからである。

## 5.1 評価実験 1

以下のようにして, 各手法の精度をデータ 1 を用いて 10 交差検定 (10-fold cross validation)(北 1999) で求める.

（1）データ 1 の母語話者文書集合を $B_{1}^{N}, B_{2}^{N}, \cdots, B_{10}^{N}$ と 10 ブロックに分割する. 同様にデー 夕 1 の非母語話者文書集合を $B_{1}^{N N}, B_{2}^{N N}, \cdots, B_{10}^{N N}$ と 10 ブロックに分割する.

(2) 各 $t=1,2, \cdots, 10$ に対して，以下を行う.

(a) 各 $i=1,2, \cdots, 10(\neq t)$ に対して, $B_{t}^{N}, B_{i}^{N}$ を除く 8 ブロックの母語話者文書を母語話者言語モデルの学習データ， $B_{t}^{N N}, B_{i}^{N N}$ を除く 8 ブロックの非母語話者文書を非母語話者言語モデルの学習データとして, $\left(B_{i}^{N}, B_{i}^{N N}\right)$ の各文書の母語話者性を判別し, MinPrec が最大となるメタパラメタの値を求める.

(b) 上記で求めたメタパラメタの値（9 個）の平均値をメタパラメタの値として設定し， $B_{t}^{N}$ を除く 9 ブロックの母語話者文書を母語話者言語モデルの学習データ， $B_{t}^{N N}$ を除く 9 ブロックの非母語話者文書を非母語話者言語モデルの学習データとして， $\left(B_{t}^{N}, B_{t}^{N N}\right)$ の各文書の母語話者性を判別する.

（3）上記 (b) で求めた母語話者性判別結果より，精度を求める.

なお，各手法におけるメタパラメ夕は，手法 Hypo1 と Hypo2 では有意水準 $\alpha$, 手法 Skew では式 (6)の $\beta$, 手法 $\mathrm{KL}$ では式 (5)の加算項 $\delta$ である. 上記 (2)の (a) での各 $\left(B_{i}^{N}, B_{i}^{N N}\right)$ に対する MinPrec が最大となるメタパラメタの値は,

$
\begin{aligned}
& \alpha \in\{0.01,0.03,0.05,0.07,0.09,0.11\} \quad(\text { Hypo 1, 2) } \\
& \beta \in\{0.01,0.02, \cdots, 0.15\} \quad \text { (Skew) } \\
& \delta \in\left.\{1 \times 10^{-7}, 3 \times 10^{-7}, 5 \times 10^{-7}, 1 \times 10^{-6}, 3 \times 10^{-6}, \cdots, 5 \times 10^{-4}\right.\}
\end{aligned}
$

の範囲で求めた.

## 5.2 評価実験 2

以下のようにして，データ 1 を学習データ，データ 2 をテストデータとした場合の各手法の精度を求める。

（1）データ1の母語話者文書集合を $B_{1}^{N}, B_{2}^{N}, \cdots, B_{10}^{N}$ と 10 ブロックに分割する. 同様にデー 夕 1 の非母語話者文書集合を $B_{1}^{N N}, B_{2}^{N N}, \cdots, B_{10}^{N N}$ と 10 ブロックに分割する.

(2) 各 $i=1,2, \cdots, 10$ に対して, $B_{i}^{N}$ を除く 9 ブロックの母語話者文書を母語話者言語モデルの学習データ， $B_{i}^{N N}$ を除く 9 ブロックの非母語話者文書を非母語話者言語モデルの学習データとして, $\left(B_{i}^{N}, B_{i}^{N N}\right)$ の各文書の母語話者性を判別し, MinPrec が最大となるメタパラメタの值を求める.

（3）上記で求めたメタパラメタの値（10個）の平均値をメタパラメ夕の値として設定し, デー 夕 1 の全母語話者文書を母語話者言語モデルの学習データ，データ 1 の全非母語話者文書を非母語話者言語モデルの学習データとして, データ 2 の各文書の母語話者性を判別し, 精度を求める。

上記 (2) での MinPrec が最大となるメタパラメタ値は前節と同様の範囲で求めた.

## 5.3 結果と考察

$n=3,4,5,6,7,8$ なる品詞 $n$-gram を言語モデルとした場合の 2 つ評価実験の結果を表 2 に示す. 表には, MinPrec だけでなく, 参考のため, $\operatorname{Prec}(\mathrm{N}), \operatorname{Prec}(\mathrm{NN})$ も挙げている.また,『未定』の判定になった数を挙げている. 手法 Skew のみ未定があるが, これは, 条件部の品詞列の学習データにおける頻度が高い品詞 $n$-gram 分布が存在し, 用いた計算機の精度では式 (6) の值が 1 となり, その結果 $E D(d ; N)$ も $E D(d ; N N)$ もとなってしまったことによる.評価実験 1 では, 各手法とも， $n>3$ で MinPrec が最も高い. 手法 Skew は， $\alpha$ の設定式 (6) が最適とは限らないことを述べたが, それでも， $n=5$ の場合は $n=3$ の場合より精度が $1 \%$ 向上しており, このことからも, 条件部の長い品詞 $n$-gram モデルを言語モデルとすることの有効性が分かる。

提案手法では, Hypo2 の $n=7$ の場合の $\operatorname{MinPrec}$ が最も高く, $\operatorname{MinPrec}=\operatorname{Prec}(N)=$ $552 / 597 \simeq 0.925$ である. 一方, 従来手法では, Skew の $n=5$ の場合の MinPrec が最も高く, $\operatorname{MinPrec}=\operatorname{Prec}(N)=546 / 606 \simeq 0.901$ である. 2 つの二項母集団の母比率の差の検定 (竹村 1991）を行うと, 有意水準約 $8 \%$ で有意差があることが示せ, AIC に基づく2つの二項母集団の母比率の差の検定 (鈴木 1995) でも有意差が示せる.

2 つの提案手法 Hypo1 と Hypo2 の比較では, 同一の $n$ に対する MinPrec は Hypo2 の方が概ね高い. 特に， $n=6,7,8$ ではその差は大きく, $n$-gram 確率に関して, 母語話者 $/$ 非母語話者文書間で有意な差がない場合に， $k<n$ なる $k$-gram 確率を利用して式 (9) を推定する効果が現れていることが分かる.

評価実験 2 でも, 各手法とも $n>3$ で MinPrec が最も高く, そのうち, Hypo2 の MinPrec が最も高い. また, Hypo1 と Hypo2における同一の $n$ に対する MinPrec は Hypo2 の方が概ね高い，評価実験 2 では使用したテスト文書数が少ないため，信頼性のある結果とは言えないが, このように評価実験 1 とある程度同様の傾向が現れていることが分かる.
表 2 評価実験 1，2 の結果

 &  &  &  &  &  &  \\

## 6 おわりに

英文書を品詞列と見なし, 品詞 $n$-gram モデルを統計的言語モデルとしたべイズ識別に基づく母語話者性判別手法を提案した，提案した手法は，長い品詞列の頻度情報を利用し，仮説検定を利用して，長い品詞列の頻度情報を使うことによる信頼性の低下を防ぐもので，従来手法からの判別精度の改善が確認できた。

現在, Web 上から科学技術論文を収集し, 提案した母語話者性判別システムを用いて母語話者／非母語話者英語論文コーパスを構築することを検討している.

## 謝 辞

本研究の一部は, 科学研究費補助金・基盤研究 B（課題番号 20320082）により行われた.

## 参考文献

Cavnar, W. B. and Trenkle, J. M. (1994). "N-Gram-Based Text Categorization." In Proceedings of SDAIR-94, 3rd Annual Symposium on Document Analysis and Information Retrieval, pp. 161-175 Las Vegas, US.

Dunning, T. (1994). "Statistical Identification of Language." Techical report MCCS-94-273, Computing Research Lab (CRL), New Mexico State University.

Lee, L. (1999). "Measures of Distributional Similarity." In 37th Annual Meeting of the Association for Computational Linguistics, pp. 25-32.

Sibun, P. and Reynar, J. C. (1996). "Language Identification: Examining the Issues." In 5th Symposium on Document Analysis and Information Retrieval, pp. 125-135 Las Vegas, Nevada, U.S.A.

Tomokiyo, L. M. and Jones, R. (2001). "You're Not From Round Here, Are You? Naive Bayes Detection of Non-native Utterance Text." In Proceedings of the 2nd Meeting of the North American Chapter of the Association for Computational Linguistics (NAACL-01), pp. 239-5246.青木さやか, 冨浦洋一, 行野顕正, 谷川龍司 (2005). “言語識別技術を応用した英語における母語話者文書・非母語話者文書の判別.”情報科学技術レターズ, 第 5 巻, pp. 85-88.

野田一雄, 宮岡悦良 (1992). 数理統計学の基礎. 共立出版.

麻生英樹, 津田宏治, 村田昇 (2003). 統計科学のフロンティア 6 パターン認識と学習の統計学.岩波書店.

鈴木義一郎 (1995). 情報量規準による統計解析入門. 講談社.

北研二 (1999). 言語と計算 4 確率的言語モデル. 東京大学出版会.

行野顕正, 田中省作, 冨浦洋一，松本英樹 (2006). “低頻度 byte 列を活用した言語識別.”情報処理学会論文誌, 47 (4), pp. 1287-1294.

藤井宏, 冨浦洋一, 田中省作 (2005). “Skew Divergence に基づく文書の母語話者性の推定." 自

然言語処理, 12 (4), pp. 79-96.

大鹿広憲, 佐藤学, 安藤進, 山名早人 (2005). “Google を活用した英作文支援システムの構築."

In Data Engineering Workshop, pp. 4B-i8.

竹村彰通 (1991). 現代数理統計学. 創文社.

大武博, 河本健, 竹腰正隆, 国村正子, Brian Morren, 竹内浩昭, 鵜川義弘, 藤田信之, 金子
周司 (2004). “インターネット利用による電子英文情報の即時教材化システムの開発とその教育利用.”情報処理学会研究会報告, FI, No.77, pp. 23-32.

佐野洋, 猪野真理枝 (2000). “英語文法の難易度計測と自動分析.”情報処理学会研究会報告, CE, No.58, pp. 5-12.

前田亮，関慶妍，吉川正俊，植村俊亮 (2001). “Web 文書の符号系および使用言語の自動識別."

電子情報通信学会論文誌, J84-D-II (1), pp. 150-158.

## 付録

## A 2 つの二項母集団の母比率の比の検定

標本 $\boldsymbol{X}$ の統計モデルを $\{P(\cdot ; \theta) \mid \theta \in \Theta\}$ とし $(\Theta$ はパラメ夕空間 $), \Theta_{0}$ と $\Theta_{1}$ を $\Theta_{0} \cap \Theta_{1}=\emptyset$, $\Theta_{0} \cup \Theta_{1}=\Theta$ なる $\Theta$ の部分集合とする. $\theta \in \Theta_{0}$ は帰無仮説, $\theta \in \Theta_{1}$ は対立仮説と呼ばれる.標本 $\boldsymbol{X}$ の值（観測値） $\boldsymbol{x}$ を基に $\theta \in \Theta_{0}$ か $\theta \in \Theta_{1}$ かを決定することを統計的仮説検定という（詳しくは，たとえば，文献 (野田，宮岡 1992）を参照)，標本 $\boldsymbol{X}$ の統計量 $T(\boldsymbol{X})$ を用いて $T(\boldsymbol{x}) \geq t$ のとき帰無仮説を棄却する検定を考える．与えられた $\Theta_{0}$ と $\alpha$ に依存させて $t$ を

$
\forall \theta \in \Theta_{0} P(T(\boldsymbol{X}) \geq t ; \theta) \leq \alpha
$

を満たすように設定すると, この検定は, 有意水準 $\alpha$ の検定（帰無仮説が正しいにもかかわらず帰無仮説を棄却してしまう確率が $\alpha$ 以下である検定）となる.

確率変数 $X$ が二項分布 $B(m, p)^{5}$ に従い, 確率変数 $Y$ が二項分布 $B(n, q)$ に従うとし, $x / m>y / n$ である場合に， $(X, Y)$ の観測値 $(x, y)$ を基に $p / q>\mu$ であるか否かの判定を行いたい.このような判定を行う検定は, 著者の知る限りでは, 確率・統計のテキストなどでは解説されていない．望ましい性質を持つことで知られる尤度比検定を行うことも考えられるが， $m$, $n$ が大きくなった場合, 棄却判定の計算に時間を要する. したがって, 尤度比検定を用いた場合，現実的な時間内で一つの文書の母語話者性の判別ができないことがある.

そこで，本研究では，このような判定を高速に行う近似的な検定手法を新たに考案し，これを母語話者性の判別に利用する。一様最強力検定や第 2 種の誤り（帰無仮説が正しくないにもかかわらず帰無仮説を採択してしまう）確率が本手法より小さな検定で高速なものが求まるならば，これらの検定を利用することで母語話者性の判別の精度はより向上すると考えられる.
^{5} X$ の確率関数 $f_{X}(x)$ が以下で与えられる分布である.

$
f_{X}(x)= \begin{cases}{ }_{m} C_{x} p^{x}(1-p)^{m-x} & ; x=0,1,2, \cdots, m, \\ 0 & ; \text { その他 }\end{cases}
$
}
帰無仮説と対立仮説を以下のように設定した検定を考える。

$
\begin{aligned}
& \text { 帰無仮説 : }(p, q) \in \Theta_{0}=\{(p, q) \mid p \leq \mu q, 0 \leq p \leq 1,0 \leq q \leq 1\} \\
& \text { 対立仮説 : }(p, q) \in \Theta_{1}=\{(p, q) \mid p>\mu q, 0 \leq p \leq 1,0 \leq q \leq 1\}
\end{aligned}
$

本論文では母比率の比の検定と呼ぶ，本質的には， $p \leq \mu q$ であるか否かであるが，ここでは上記のように正確に両仮説を記述しておく．帰無仮説が棄却されるならば， $p / q>\mu$ と判定したことになる。対立仮説が正しい場合に，その観測值が大きな値となる傾向を持つ統計量 $T^{\dagger}(X, Y)$

$
T^{\dagger}(X, Y)=\frac{X / m}{(Y+1) /(n+1)}
$

を用いて， $T^{\dagger}(x, y) \geq t^{\dagger}(\mu)$ のとき帰無仮説を棄却することにする. 分母の ‘ +1 ’ は $Y$ の観測値が 0 の場合でも $T^{\dagger}$ が定義できるように導入したものである. 式 (11)より, $t^{\dagger}(\mu)$ は

$
\forall(p, q) \in \Theta_{0} \quad P\left(T^{\dagger}(X, Y) \geq t^{\dagger}(\mu) ; p, q\right) \leq \alpha
$

を満たすように， $\mu$ と有意水準 $\alpha$ に応じて設定される。

本手法では, $t^{\dagger}(\mu)$ を求めて帰無仮説の棄却判定を行う代わりに, 観測値 $(x, y)$ の $p$-値を用いて棄却判定を行う。 $(x, y)$ の $p$-値とは, $(x, y)$ を基に帰無仮説を棄却できる最小の有意水準のことである。明らかに, $P\left(T^{\dagger}(X, Y) \geq t ; p, q\right)$ は $t$ の減少関数であり, $T^{\dagger}(x, y) \geq t^{\dagger}(\mu)$ のとき帰無仮説を棄却するのであるから， $(x, y)$ の $p$-值は以下で与えられ，

$
\max _{(p, q) \in \Theta_{0}} P\left(T^{\dagger}(X, Y) \geq T^{\dagger}(x, y) ; p, q\right)
$

この值が $\alpha$ 以下である場合に，有意水準 $\alpha$ で帰無仮説を棄却することになる.ここで新たに

$
T(X, Y)=\frac{X}{Y+1}
$

と定義すると，式 (13) は，以下と等しい.

$
\max _{(p, q) \in \Theta_{0}} P(T(X, Y) \geq T(x, y) ; p, q) .
$

$Y$ が $B(n, q)$ に従うとき, $0 \leq y_{0}<n$ なる任意の $y_{0}$ に対して $P\left(Y \leq y_{0} ; q\right)$ は $q$ の単調減少関数であり， $y_{0}<0$ なる任意の $y_{0}$ に対して $P\left(Y \leq y_{0} ; q\right)=0$ であり, $y_{0} \geq n$ なる任意の $y_{0}$ に対して $P\left(Y \leq y_{0} ; q\right)=1$ である. この性質と, $0<x, y<n(\because$ 前提 $x / m>y / n)$, および,

$
P(T(X, Y) \geq T(x, y) ; p, q)=\sum_{x^{\prime}=0}^{m}{ }_{m} C_{x^{\prime}} p^{x^{\prime}}(1-p)^{m-x^{\prime}} \cdot P\left(\frac{x^{\prime}}{Y+1} \geq T(x, y) ; q\right)
$

と表すことができることから, $(x, y)$ の $p$-值である式 $(14)$ は,

$
\max _{(p, q) \in \Theta_{0}^{\prime}} P(T(X, Y) \geq T(x, y) ; p, q)
$

と等しい. ただし， $\Theta_{0}^{\prime}=\{(p, q) \mid p=\mu q, 0 \leq p \leq 1,0 \leq q \leq 1\}$ である.

観測値 $(x, y)$ に基づいた, $(p, q) \in \Theta_{0}^{\prime}$ の下での $p, q$ の最尤推定值（つまり， $(x, y)$ の生起確率を最大にする $p, q$ の値) を $p^{*}(\mu), q^{*}(\mu)$ で表すと,

$
\begin{aligned}
p^{*}(\mu) & =\mu \cdot q^{*}(\mu) \\
q^{*}(\mu) & =\frac{x+\mu y+\mu m+n-\sqrt{(x+\mu y+\mu m+n)^{2}-4(x+y)(m+n) \mu}}{2(m+n) \mu}
\end{aligned}
$

である。本手法では，検定に要する時間を考慮し，式 $(15)$ を $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)$ で近似し,

$
P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right) \leq \alpha
$

ならば帰無仮説を棄却する。

二項分布 $B(m, p)$ に従う確率変数の分布関数は, $m p>5$ かつ $m(1-p)>5$ の場合, 正規分布で近似できる。そこで, $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right) \leq \alpha$ の判定に必要な $P(T(X, Y) \geq t ; p, q)$ の計算は， $X, Y$ の分布を正規分布で近似できるか否かにより，4つの場合に分けて行った， $X$, $Y$ 共に正規分布で近似できる場合と，Xのみ正規分布で近似できる場合の計算をそれぞれ以下の(1)(2)に示す。以下に示すとおり，正規分布の性質を利用して高速な計算が可能である.

(1) $5<m p<m-5$ かつ $5<n q<n-5$ の場合

$
P(T(X, Y) \geq t ; p, q)=P(X-t Y \geq t ; p, q)
$

である．X の分布は正規分布 $N(m p, m p(1-p))$ で近似でき $6, Y$ の分布は $N(n q, n q(1-q))$ で近似できるので，正規分布の性質より，

$
P(T(X, Y) \geq t ; p, q)=P\left(Z \geq \frac{t-m p+t n q}{\sqrt{m p(1-p)+t^{2} n q(1-q)}}\right)
$

である．ただし， $Z$ は標準正規分布に従う確率変数である.

(2) $5<m p<m-5$ かつ $[n q \leq 5$ または $n-5 \leq n q]$ の場合

$
P(T(X, Y) \geq t ; p, q)=\sum_{y^{\prime}=0}^{n} P\left(Y=y^{\prime} ; q\right) \cdot P\left(X \geq t\left(y^{\prime}+1\right) ; p\right)
$
$ の正規分布を $N\left(\xi, \sigma^{2}\right)$ で表す.
}

である. $X$ の分布は正規分布 $N(m p, m p(1-p))$ で近似できるので,

$
P(T(X, Y) \geq t ; p, q)=\sum_{y^{\prime}=0}^{n}{ }_{n} C_{y^{\prime}} q^{y^{\prime}}(1-q)^{n-y^{\prime}} \cdot P\left(Z \geq \frac{t\left(y^{\prime}+1\right)-m p}{\sqrt{m p(1-p)}}\right)
$

である。ただし， $Z$ は標準正規分布に従う確率変数である.

## B 仮説検定を利用した母比率の比の推定

$X$ を二項分布 $B(m, p)$ に従う確率変数, $x$ をその観測値, $Y$ を二項分布 $B(n, q)$ に従う確率変数, $y$ をその観測值とする（勿論， $p, q$ は未知である）. $x / m>y / n$ を前提として, 前節の仮説検定で，帰無仮説を棄却できる最大の $\mu$ ，つまり，

$
P\left(T(X, Y) \geq T(x, y) ; p^{*}(\widehat{\mu}(x, m, y, n)), q^{*}(\widehat{\mu}(x, m, y, n))\right)=\alpha
$

なる $\widehat{\mu}(x, m, y, n)$ を以下のようにして求める.

$
p v(\mu ; x, y)=P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)
$

とおき, $p v(\mu ; x, y)$ が $\mu$ の増加関数になっていることを利用して 7,2 分法により求める.

(1) $\mu_{L}=1$ とし, $p v\left(\mu_{L} ; x, y\right)<\alpha$ となるまで, $\mu_{L} \leftarrow \mu_{L} / 2$ を繰り返す.

$
\mu_{R}=1 \text { とし, } p v\left(\mu_{R} ; x, y\right)>\alpha \text { となるまで, } \mu_{R} \leftarrow 2 \cdot \mu_{R} \text { を繰り返す. }
$

(2) $\mu_{R}-\mu_{L}$ が十分小さくなるか, $p v\left(\left(\mu_{L}+\mu_{R}\right) / 2 ; x, y\right)=\alpha$ となるまで以下を繰り返す.

$-\mu_{C} \leftarrow\left(\mu_{L}+\mu_{R}\right) / 2$
- $\left.\{p v\left(\mu_{L} ; x, y\right)-\alpha\right.\}$ と $\left.\{p v\left(\mu_{C} ; x, y\right)-\alpha\right.\}$ が同符号ならば, $\mu_{L} \leftarrow \mu_{C}$ とし, そうでないならば, $\mu_{R} \leftarrow \mu_{C}$ とする.

(3) $\left(\mu_{L}+\mu_{R}\right) / 2$ が $\widehat{\mu}(x, m, y, n)$ である.

最後に, 前節で述べた $T^{\dagger}(X, Y)$ による $p / q$ の信頼区間を文献 (野田, 宮岡 1992) に従って

ミュレーションによりこれを確かめる.

標本 $\boldsymbol{X}$ の統計モデルを $\{P(\cdot ; \theta) \mid \theta \in \Theta\}$ とし， $S(\boldsymbol{x})$ を $\Theta$ の部分集合とする.

$
\forall \theta \in \Theta \quad P(\theta \in S(\boldsymbol{X}) ; \theta) \geq 1-\alpha
$
^{7} p^{*}(\mu)$ は $\mu$ の増加関数, $q^{*}(\mu)$ は $\mu$ の減少関数になっていることが示せる.

このことから, $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)$ が $\mu$ の増加関数になっていることが示せる.
}

となるとき， $S(\boldsymbol{X})$ を $\theta$ の 100(1- $\alpha) \%$ 信頼領域（ $S(\boldsymbol{X})$ が区間になる場合は信頼区間）と言う. $p / q$ はパラメタではないが, この定義に当てはめるならば, 統計量 $L(X, Y)$ が

$
\forall(p, q) \in[0,1]^{2} \quad P(L(X, Y)<p / q ; p, q) \geq 1-\alpha
$

を満たすならば, $(L(X, Y), \infty)$ は $p / q$ の 100(1- $\alpha) \%$ 信頼区間である.これは, $(X, Y)$ の観測値を 100 個得たとき， $L(x, y)<p / q$ を満たす観測値 $(x, y)$ が $100(1-\alpha)$ 個程度以上あることを意味している。観測値 $(x, y)$ に対する $L(x, y)$ は,

$
L(x, y)=\max \left.\{\mu \mid T^{\dagger}(x, y) \geq t^{\dagger}(\mu)\right.\}
$

で求めることができる，以下にこれを示す．上記定義より， $\left(p_{0}, q_{0}\right)$ を任意に選んだとき，

$
L(x, y)<p_{0} / q_{0} \Longleftrightarrow T^{\dagger}(x, y)<t^{\dagger}\left(p_{0} / q_{0}\right)
$

が成立する。したがって，

$
\begin{aligned}
P\left(L(X, Y)<p_{0} / q_{0} ; p_{0}, q_{0}\right) & =P\left(T^{\dagger}(X, Y)<t^{\dagger}\left(p_{0} / q_{0}\right) ; p_{0}, q_{0}\right) \\
& =1-P\left(T^{\dagger}(X, Y) \geq t^{\dagger}\left(p_{0} / q_{0}\right) ; p_{0}, q_{0}\right) \\
& \geq 1-\alpha \quad\left(\because p_{0} \leq\left(p_{0} / q_{0}\right) q_{0} \text { と式 }(12)\right)
\end{aligned}
$

$p_{0}, q_{0}$ は任意に選んだので， $L(X, Y)$ は式 (17) を満たすことが分かる， $L(x, y)$ の定義より, $L(x, y)$ は帰無仮説 $(p \leq \mu q)$ を棄却できる最大の $\mu$ である。前節で述べた検定は, $p$-値 $(15)$ (つまり $p$-值 $(13))$ を $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)$ で近似しているため, $\widehat{\mu}(x, m, y, n)$ は $L(x, y)$ の近似と考えられる.

$\widehat{\mu}(x, m, y, n)$ が $L(x, y)$ の近似となっていることを確かめるために, シミュレーションを行った. 有意水準 $\alpha$ を 0.05 とし, いくつかの $m, p, n, q$ に対して, $B(m, p)$ および $B(n, q)$ に従って $(x, y)$ を 10,000 個発生させ, $x / m \neq y / n$ なる各 $(x, y)$ に対し,
- $x / m>y / n$ のとき, $\widehat{\mu}(x, m, y, n)<p / q$ ならば成功, $\widehat{\mu}(x, m, y, n) \geq p / q$ ならば失敗,
- $x / m<y / n$ のとき, $p / q<1 / \widehat{\mu}(y, n, x, m)$ ならば成功 $p / q \geq 1 / \widehat{\mu}(y, n, x, m)$ ならば失敗とし, 求めた信頼区間に $p / q$ が含まれる割合を求めた。結果を表 3 に示す.この表から，近似の影響はあるものの, $\widehat{\mu}(x, m, y, n)<p / q$ あるいは $p / q<1 / \widehat{\mu}(y, n, x, m)$ がほぼ $100(1-\alpha) \%$ の割合で成立していることが分かる.
表 $3 p / q$ の信頼区間の推定の成功率

## 略歴

冨浦洋一：1984 年九州大学工学部電子工学科卒業, 1989 年同大学院工学研究科電子工学専攻博士課程単位取得退学. 同年九州大学工学部助手, 1995 年同助教授, 現在, 九州大学大学院システム情報科学研究院准教授. 博士 (工学).自然言語処理, 計算言語学に関する研究に従事.

青木さやか：2006 年九州大学工学部電気情報工学科卒業, 2008 年同大学院シ

ステム情報科学府知能システム学専攻修了, 現在, 新日鉄ソリューションズ

（株）に勤務. 自然言語処理に関する研究に従事.

柴田雅博: 1996 年九州大学工学部情報工学科卒業, 2005 年同大学院システム情報科学研究科知能システム学専攻博士課程単位取得退学. 同年九州システム情報技術研究所特別研究助手, 2006 年九州大学ベンチャー・ビジネス・ラボラトリー講師 (中核的研究機関研究員), 現在, 九州大学大学院システム情報科学研究院テクニカルスタッフ. 博士 (工学). 自然言語処理に関する研究に従事.

行野顕正：2001 年九州大学工学部電気情報工学科卒業, 2007 年同大学院システム情報科学府知能システム学専攻博士課程修了, 現在, 株式会社ジャストシステムに勤務. 博士 (工学). 自然言語処理に関する研究に従事.

$(2007$ 年 11 月 22 日受付 $)$
$(2008$ 年 7 月 4 日再受付 $)$
$(2008$ 年 10 月 2 日採録)


# 話し言葉における引用節・挿入節の自動認定および 係り受け解析への応用

浜辺 良二 ${ }^{\dagger} \cdot$ 内元 清貴 ${ }^{\dagger} \cdot$ 河原 達也 $\dagger \cdot$ 井佐原 均 $\dagger \dagger$
}

話し言葉の係り受け解析を行なう際の最大の問題は, 文境界や引用節・挿入節など の境界が明示されていないことである。本論文では，話し言葉に対して，引用節・插入節を自動認定するための手法, および自動認定した引用節・挿入節の情報を用 いて係り受け解析を改善するための手法を提案する. 形態素やポーズの情報などを もとに，SVM を用いたテキストチャンキングによって，引用節・挿入節の始端と終端を決定する，始端を決定する際には，自動推定した係り受けの情報をあわせて利用する。日本語話し言葉コーパス (CSJ) を用いた評価実験により，自動認定した引用節・挿入節の情報を利用することで係り受け解析精度が $77.7 \%$ から $78.7 \%$ に改善 されることを確認し, 本手法の有効性を示した.

キーワード：話し言葉, 係り受け解析, 節境界, 引用節, 挿入節, 機械学習
## Detection of Quotations and Inserted Clauses and its Application to Dependency Structure Analysis in Spontaneous Japanese

Ryoji Hamabe $^{\dagger}$, Kiyotaka Uchimoto $^{\dagger \dagger}$, Tatsuya Kawahara $^{\dagger}$ and Hitoshi Isahara ${ }^{\dagger \dagger}$

Japanese dependency structure is usually represented by relationships between phrasal units called bunsetsus. One of the biggest problems with dependency structure analysis in spontaneous speech is that clause boundaries are ambiguous. This paper describes a method for detecting the boundaries of quotations and inserted clauses and that for improving the dependency accuracy by applying the detected boundaries to dependency structure analysis. The quotations and inserted clauses are determined by using an SVM-based text chunking method that considers information on morphemes, pauses, etc. The information on automatically analyzed dependency structure is also used to detect the beginning of the clauses. Our evaluation experiment using Corpus of Spontaneous Japanese (CSJ) showed that the automatically estimated boundaries of quotations and inserted clauses helped to improve the accuracy of dependency structure analysis from $77.7 \%$ to $78.7 \%$.

Key Words: spontaneous Japanese, dependency structure analysis, clause boundary, quotation, inserted clause, machine learning

## 1 はじめに

係り受け解析は日本語解析の重要な基本技術の一つとして認識されており,これまでに様々な手法が提案されてきた (黑橋, 長尾 1994; 白井, 池原, 横尾, 木村 1995; 藤尾, 松本 1997; 春野, 白井,大山 1998; 内元, 関根, 井佐原 1999; 内元, 村田, 関根, 井佐原 2000; Kudo and Matsumoto 2000;工藤, 松本 2002; Matsubara, Murase, Kawaguchi, and Inagaki 2002; 工藤, 松本 2004; Kawahara and Kurohashi 2006; Ohno, Matsubara, Kashioka, Maruyama, and Inagaki 2006). しかし, そのほとんどは書き言葉を対象としたものであった. これに対し, 本研究では, 話し言葉, 特に『日本語話し言葉コーパス (CSJ) (古井, 前川, 井佐原 2000)』のような長い独話を対象とする.ここで CSJ とは, 主に学会講演や模擬講演などの独話を対象に, 約 660 時間（約 750 万語）の自発音声を収録した世界最大規模の話し言葉コーパスのことである。このコーパスには音声デー夕だけでなく書き起こしも含まれており，コアと呼ばれる一部の書き起こしには，人手により形態素・係り受け・節境界・引用節・挿入節・談話構造など様々な情報が付与されている.

一般に, 話し言葉には特有の現象が見られるため, 書き言葉と比べて話し言葉の係り受け解析は難しい，例えば，CSJを用いた実験によると，話し言葉特有の現象の影響をなくした場合とそうでない場合で，係り受け解析精度に大きな差があることが報告されている (Uchimoto， Hamabe, Maruyama, Takanashi, Kawahara, and Isahara 2006). 特に，引用節・挿入節などの境界が認識されていない場合に係り受け解析精度の低下が著しい。そこで本論文では, 引用節・㨁入節を自動認定する方法, および, 自動認定した引用節・挿入節の情報を係り受け解析に利用する方法を提案し, 提案手法により係り受け解析精度が有意に向上することを定量的に示す.

## 2 話し言葉に特有の現象と係り受け構造

話し言葉には, 書き言葉にはない特有の現象が見られる。 そして, その話し言葉特有の現象が係り受け解析精度の低下を招くことが多い. 本研究では, その中でも節境界が曖昧であるという現象に着目する。そして, 本論文では, 係り受け解析精度に及ぼす影響の大きさを考慮し,節の中でも, 特に, 引用節・挿入節と係り受け構造との関係を取り上げる.ここで, 節および係り受け構造の定義は CSJに従うものとする。

以下, 2.1 節では, 話し言葉における節境界と係り受け構造の定義, および, 引用節と挿入節との関係について述べる. 次に, 2.2 節では, 話し言葉特有の現象, 特に, 節境界が曖昧であるという現象が係り受け解析に及ぼす影響について言及する。そして， 2.3 節では，その他の話し言葉特有の現象に関して, 本研究での係り受け解析時の扱いについて述べる.

## 2.1 節境界と係り受け構造の定義および引用節・挿入節との関係

一般に，書き言葉においては，係り受け構造などを付与する単位として，いわゆる「文」を用いることが多い. しかし, 自発的な話し言葉を対象とする場合, 文は必ずしも自明な単位ではない。そこで CSJでは，より適切な分割単位として，「節」に基づく文の単位が定義されている。節境界としては，次の 3 種類が定義されている。

絶対境界：いわゆる文末表現で，述語の終止形・終助詞・「と文末」など.

強境界 ：並列節「ケレドモ」「ガ」「シ」・「ましテ」節・「でしテ」節など.

弱境界 : 理由節「カラ」「ノデ」・連用節・引用節・条件節「夕ラ」「ト」「ナラ」「レバ」など. そして, これらの節境界を表層表現などに基づいて自動検出した後 (丸山, 柏岡, 熊野, 田中 2003),文節係り受けを考慮して人手により文境界を特定する (高梨, 丸山, 内元, 井佐原 2003). 上の 3 種類の境界のうち, 絶対境界と強境界は基本的に文境界となり, 弱境界は機能的に区切れていると判断される箇所のみが文境界となる. 引用節と挿入節についてもこのときに認定され, 基本的に, 引用節の終端は弱境界, 挿入節の終端は強境界となる.

CSJにおける係り受け構造は, 原則として「京大コーパス」(黒橋長尾 1997)の付与基準に準拠して付与されており, 話し言葉特有の現象に対しては新たな基準が設けられている (内元, 丸山, 高梨, 井佐原 2003). 係り受けは文内で閉じており, 引用節・插入節の内部でも同様に係り受けが閉じている。したがって, 文境界が特定されれば, 引用節と挿入節の始端は係り受け構造に基づいて特定できる。 すなわち，直前の文節が終端より後方に係る文節のうち，最も終端に近いものが引用節の始端となる。そのような文節がない場合は, 文頭の文節が始端となる.

話し言葉，特に CSJのような長い独話における引用節・挿入節の特徴は次の通りである．以下では，引用節・挿入節と係り受け構造との関係の例も示す.

## (引用節)

引用節は，主に人の言ったことや思ったことを発話に取り込む際に用いられる。書き言葉では引用節の前後に引用符や読点が付与されるのに対し, 発話においては, その境界が明示されることはない，以下の例文 1 では， \{\} 内が引用節に相当し，「昔から」が引用節の後方に係るため「一度でも」が始端となる。

(例文 1)

CSJでは, 引用節の終端の文節に「引用節」というラベルが付与されている. 本研究では，それに加え「トイウ節」のラベルの付いたものも引用節として扱う．トイウ節は，以下の例文 2 のように引用を表わすために多く用いられる。例文 2 では，引用節の終端を越えて係る文節はないので,「本当に」が始端となる.

(例文 2)

以降，引用節・トイウ節を合わせて引用節とする。

## (挿入節)

插入節は，発話の途中で話者の発話プランが変更されたとき，節の途中に別の節が注釈のような形で挿入されることにより発生するものである。書き言葉ではこのような表現はあまり用いられない，例文 3 では，（）内が挿入節に相当する。

(例文 3)

CSJでは，插節の終端の文節に「挿入節」というラベルが付与されている．挿入節の終端は基本的に強境界となっているが，挿入節を越えて前方から後方に係る係り受けが存在するため，文境界ではなく挿入節の終端と認定される.

## 2.2 節境界の曖昧さが係り受け解析に及ぼす影響

従来研究では，話し言葉において節境界の曖昧さが係り受け解析に及ぼす影響については, ほとんど考慮されていなかった。下岡ら (下岡, 内元, 河原, 井佐原 2005) は, 話し言葉では文境界が曖昧であることが係り受け解析に与える影響が最も大きいことを指摘し，その影響を定量的に示した．彼らは，正しい文境界の情報を与えることにより，文境界を自動推定した場合に比べて約 $3 \%$ 高い係り受け解析精度が得られると報告している。 また, 文境界を推定する方法および文境界の自動推定結果を係り受け解析に利用する方法を提案し, その有効性も示した.しかし，その他の節境界については，係り受け解析に及ぼす影響は明らかではなかった。大野ら

(Ohno et al. 2006) は，文を節境界で分割して得られる節境界単位を基本として，節境界単位内の係り受けと節境界単位間の係り受けを別々に解析する方法を提案し，その有効性を示している。しかし，節境界単位は節とは異なるため，本来は節を超える係り受けを正しく推定することができない，例えば， 2.1 の例文 1 や例文 3 では，節の始端は節境界ではないため，「昔から」 と「思っていたところです」，「早速」と「チェックしました」は節境界単位をまたぐ係り受けとみなされ，正しく推定することができない，内元ら (Uchimoto et al. 2006) は文境界，言い直しの存在，挿入節・引用節などの境界の曖昧さ，係り先のない文節に着目し，正しい文境界の情報を与えた場合，さらに言い直し関係のうち係り元の文節を削除した場合，さらに挿入節・引用節の境界の情報を与えた場合，さらに係り先のない文節を削除した場合のそれぞれについて，係り受けモデルを学習しテストした場合に得られる係り受け解析精度を調べた。その結果，挿入節・引用節の境界の情報を与えた場合に約 $2 \%$ 高い精度が得られたと報告している. これは,話し言葉においては引用節や挿入節を含む文は節構造が複雑で，引用節あるいは挿入節の内部と外部とを結んでしまう係り受け解析誤りが多くなるためであると考えられる。逆に，引用節・挿入節の範囲を取得することができれば，係り受け解析精度の向上が期待できるが，そこまでは明らかにはされていない，そこで，本論文では，引用節・挿入節を自動認定する手法，および，その結果を利用して係り受け解析を行なう手法を提案し，引用節・挿入節を自動認定した結果を用いることで係り受け解析精度が有意に向上することを示す。手法については， 3 章で詳しく述べる。

## 2.3 係り受け解析におけるその他の話し言葉特有の現象の扱い

その他の話し言葉特有の現象および本研究における係り受け解析時の扱いについては次の通りである.

## (1) 文境界が明示されていない

話し言葉では文境界が明示されない。そのため，すべての文節に対して係り受けを特定しようとすると, 文間関係も文節の関係として特定することになる。 しかし, 文間関係については人間の判断が摇れる場合が多い。また, 自動要約のために文圧縮をしたり格関係を抽出する場合など，実際に必要となる係り受けの情報は文単位の係り受けであることが多い，そこで本研究では，文間関係は推定せず文境界を推定するにとどめ，係り受けは文内の文節間係り受けのみを対象として解析する.

(2) 係り先がない文節がある

話し言葉では, 途中で発話のプランが変わったために係り先が消失したり，またフィラー や言いよどみなど，係り受け関係を特定しても用途がほとんど考えられず，係り受けを定義することに意味がない場合がある。このような場合, CSJでは係り受けが付与されていない. フィラーや言いよどみについては, 浅原らの手法 (浅原松本 2003) を用いるこ

とである程度特定できると考え，本研究ではすべて削除して扱う。ただし，どこにフィラーがあったかについての情報は残しておき，後の解析に利用する。本来これらの文節については, 正しく「係り先なし」と推定するべきであるが, これについては今後の課題とする。それ以外の係り先を持たない文節については，以下に述べる条件に従って便宜的に係り先を設定する。
- 挿入節の終端の文節は, 交差を発生させない範囲で文内のできるだけ後方に係るとする．２．1 節の例文 3 では，「着いたんですけども」の係り先は「チェックしました」とする.
- 引用節や插入節の内部に絶対境界・強境界が含まれる場合, その内部境界の直前の文節の係り先は, 後方に最初に現れる内部境界の直前または引用節・挿入節の終端の文節とする。以下の例文 4 にその例を示す。「：」は内部境界を表わす.「必要かな」「確保できないし」は係り先を持たないが，それぞれ「確保できないし」「作れるんじゃないかな」に係るとする。

(例文 4)

$
\begin{aligned}
& \text { ナイフがないと何も確保できないし： } \\
& \text { まずはもしかしたら何年間も } \\
& \text { 掛けてカヌーぐらい作れんじゃないかな\} と思いましてね }
\end{aligned}
$
- 上記以外の係り先を持たない文節は，直後の文節に係るとする.

## (3) 係り受け関係が交差する

一般に，日本語の書き言葉においては「係り受け関係は互いに交差しない」という非交差条件が成り立つと言われている。しかし, 話し言葉ではこの非交差条件が成り立たないことも多い，例えば，以下の例文 5 では，「これが」が「正しいと」に係り，「私は」が 「思う」に係るので係り受け関係が交差している.

(例文 5)

思う

しかし, 今回用いた 188 講演において, 係り受け関係が交差している箇所は 689 個とそれほど多くないため, 本論文では, 係り受けの非交差条件が成り立つと仮定して係り受け解析を行なう。したがって, 評価の際, 交差している係り受けのいずれかは解析誤りとなる. 交差している場合への対処については今後の課題である.

## (4) 言い直しが多い
話し言葉ではしばしば言い直しが生じる。CSJでは言い直し関係には係り受け関係と同様の関係が付与され, さらにD というラベルが付与されている。 以下の例文 6 にその例を示す。

(例文 6）

本来は，文節間の関係の推定のみではなくそれがどういった関係なのかまで推定すべきである。しかし，書き言葉を対象にした研究においても多くの場合は関係の有無の推定のみを対象としているため, 本論文でも同様に, 言い直し関係を係り受け関係として特定し，言い直し関係かどうかのラベルの推定までは行なわない.

(5) 倒置表現がある

話し言葉ではしばしば倒置表現が用いられる。 CSJでは, 倒置は左係りで表現されている. 本論文では, 関係を特定することが重要と考え, CSJにおける倒置に対しては修正を行ない，便宜上すべて右係りとして扱った，例えば，以下の例文 3 では，「これは」が 「耐えられないんです」に倒置で係っているが, 「耐えられないんです」が「これは」に係るように修正した。

(例文 7)

私は一

耐えられないんです

しこれは

なお，上記の対処法については (2) 以外は下岡らの手法 (下岡他 2005) に従っている.

## 3 係り受け解析と引用節・挿入節の自動認定のアプローチ

## 3.1 係り受け解析と境界推定の相互処理

図 1 に本手法で提案する処理の概要を示す。処理の流れは下記の通りである。 入力は, 形態素および文節の情報が付与されたテキストであり, CSJを対象とする場合, 一講演のテキストおよび形態素, 文節の情報が入力となる。図 1 およびその説明において, 文境界と引用節・挿入節の境界をまとめて境界と表現している.
- 境界推定 (1回目)

図 1 係り受け解析と境界推定の相互処理の概要

入力テキストに対し, まず, 3.3 節で述べる手法により, 表層表現 ・品詞・活用形, ポー ズ長の情報などを素性として用いて，文境界，引用節，挿入節の境界を推定する。このとき，引用節・挿入節および文境界の 3 つの境界の推定は同時に行なう.
- 係り受け解析 (1 回目)

次に，境界推定（1 回目）で推定された文境界によりテキストを文に分割し，各文について，3.2節で述べる手法により係り受け解析を行なう。このとき，素性としては表層表現・品詞・活用形, 文節間距離などを用いる。境界推定（1 回目）で得られた情報のうち, 引用節・插入節の境界に関する情報はここでは用いない.
- 境界推定 (2 回目)

さらに，元の入力テキストに対し，文境界，引用節，挿入節の境界を再推定する。このとき，係り受け解析（1 回目）で得られた係り受けの確率の情報も素性として用いる。この素性は境界の情報により場合分けされており，その場合分けには，境界推定（1回目） で得られた引用節・挿入節の境界のうち，終端の情報を用いる.
- 係り受け解析 (2 回目)
最後に，境界推定（2 回目）で得られた文境界により元の入力テキストを文に分割し, 各文について，3.2 節で述べる手法により係り受けの再解析を行なう。このとき，境界推定

（2 回目）で得られた引用節・挿入節の境界の情報も素性として用いる.

以上の処理により，入力テキストに対し，文境界，引用節，挿入節の境界情報，および，各文内について文節係り受けの情報が得られる。

以下では，係り受け解析および引用節・挿入節の自動認定の手順についてそれぞれ説明する.

## 3.2 係り受け解析

本研究では, 内元らの手法 (内元他 2000) に基づき, 係り受け解析モデルを統計的に学習する。統計的係り受け解析では，文中の各文節がどの文節に係りやすいかを確率值で表わし，それらを要素とした係り受け行列を作成する。そして，一文全体が最適な係り受け関係になるように，それぞれの係り受けを決定する。ここで，2つの文節間の関係を「間」「係る」「越える」 の 3 カテゴリとして学習することにより, 着目している 2 文節の間にある文節や，それらより後方にある文節との関係も考慮して確率值を計算できる。この係り受け解析モデルは最大エントロピー (ME) モデルとして実装され, 素性には, 単語の表層表現・品詞・活用形$\cdot$文節間距離など，およびそれらの組合せが利用されている.

本研究ではさらに，着目している 2 文節の係り受けを仮定した場合に，その係り受けが引用節・挿入節の境界と交差するかどうかを素性に加える。より具体的には次の通りである。仮定した係り受けと引用節・挿入節の境界との関係は下記の 3 つの場合に分類できる。そして，引用節と挿入節のそれぞれについて，2 文節の関係が下記の分類のうちどれに属するかを素性値として与える。

## ・ 仮定した係り受けと引用節・挿入節の境界とが交差する場合

交差が発生するのは, 以下の 2 通りの場合である。このとき， 2 文節が実際に係り受け関係を持つことはない，ただし，対象の 2 文節のうち係り文節が引用節あるいは挿入節の終端となっている場合はこの分類に含めない.
- 2 文節の一方のみが引用節・插入節の内部に含まれる
- 2 文節の双方が異なる引用節・挿入節の内部に含まれる

## - 仮定した係り受けと引用節・挿入節の境界とが交差しない場合交差が発生しないのは，以下の 2 通りの場合である.
- 2 文節がともに引用節・挿入節の内部に含まれない
- 2 文節がともに同一の引用節・挿入節の内部に含まれる

## - 2 文節のうち係り文節が引用節・挿入節の終端となっている場合

この場合には， 2.3 節で述べたように，節の外部と内部との係り受けが例外的に結ばれるので，別の分類とする.

ただし，引用節・挿入節の境界が適切に推定されていることが望ましいため，この素性は図 1 の係り受け解析（2 回目）のみに用いる。この素性を用いることにより，2 文節間に仮定した係り受けと引用節・挿入節の境界とが交差する場合には，この 2 文節が実際に係り受け関係を持つ確率は低く推定される。

## 3.3 引用節・挿入節の自動認定

本研究では, 下岡らが提案した機械学習による文境界推定法 (下岡他 2005) に基づき, 引用節・挿入節の自動認定をテキストチャンキングの問題として扱う。これにより,引用節・挿入節の自動認定と文境界推定を同時に行なうことが可能となり，これらを別々に行なう場合に比べて，文境界推定の誤りに対しても頑健に動作することが期待できる.

テキストチャンカには, SVM (Support Vector Machines)に基づく YamCha(Kudo and Matsumoto 2001) を用いる. YamChaでは，カーネル関数として多項式カーネルを用いることにより, 複数の素性の組合せを考慮した学習が可能である。また, 推定により得られた前後のチヤンクラベルを動的素性として用いることができる.

本手法では，チャンクラベルは文節ごとに付与する，ラベルには，文境界に関する夕グ（ $\mathrm{E}$ :文末, I: 文末以外）と，引用節および挿入節に関する夕グ（表 1）の 3 つ組を用いる．以下の例文 8 にラベル付与の例を示す. ラベル内のタグは, 順に（文境界に関する夕グ，引用節に関する夕グ，挿入節に関する夕グ）を表わしている。例えば「予算の」に付与されているラべル（I， B，B）は，この文節が文末の文節ではなく，引用節・挿入節の始端となっていることを示す. 3 つの夕グは同時に推定されるため, このモデルでは文境界・引用節・插入節の関係が考慮されている，例えば，引用節・挿入節の範囲が文境界を越えることはないので，（E，I，0）などというラベルが推定されることはない.

(例文 8 )

YamCha の多項式カーネル次数は 3 , 解析方向は Right to Left とし, 後方 3 文節の動的素性を利用する．SVM に与える素性としては，以下のものを用いる。

## (1) 単語情報

単語情報として, 表層表現・読み・品詞情報・活用の種類・活用形を用いる.引用節の
表 1 チャンキングに使用する夕グの種類

終端では「〜と思う」「〜って言う」などの表現が，挿入節の終端では「〜ですが」「〜 けれども」などの表現が多用される.

## (2) 文節の前後のポーズ長

引用節や挿入節の前後にはポーズが入りやすいと考えられる。そこで, 文節の前後のポー ズ長を素性として利用する。なおポーズ長としては, 講演ごとに平均と分散で正規化した值を用いる. CSJでは, $200 \mathrm{msec}$ 以上のポーズで区切られた単位を転記単位として,書き起こしデータが作成されており，各転記単位には開始・終了時刻が付与されているため, これからポーズ長が計算できる.

引用節・挿入節の終端を推定する際には単語情報が大きな手がかりとなるが，以上の素性はすべて局所的な情報であり，これらだけから始端も同時に推定するのは困難である．例えば，以下の例文 9 では，「この辺りは父から聞いた話なんですけど」の部分だけを見た場合，「（他に自分が体験したことを話している途中で）この辺り（の話）は父から聞いた話なんですけど」という意味でも解釈できるため,「父から」が引用節の始端であるとは決定できない. この場合,「この辺りは父から聞いた話なんですけど」の全体が挿入節に含まれる可能性もある.

(例文 9)

$
\text { この }
$

辺りは

このように，引用節・挿入節の始端を決定するためには，大域的な情報も必要となる．そこで，始端を決定する際には，自動推定した係り受けの情報をあわせて利用する．引用節・挿入節の終端が既に得られている場合, 2.1 節および 3.2 節で述べたような引用節・挿入節と係り受け構造との関係により，始端より前の文節の係り受けには図 2 のような制約が成り立つ. 本手

(b) 始端の直前の文節は節の後方に係る

図 2 引用節・挿入節の始端以前の係り受けに関する制約

法ではこの制約を利用し，チャンキングを 2 回にわたって行なう。 1 回目のチャンキング（図 1 の境界推定（1 回目））では，上述の素性のみを用いて文境界および引用節・挿入節を自動認定する。そして，ここで得られた文ごとに係り受け解析（図1の係り受け解析（1 回目）を行ない, 1 回目のチャンキングで自動認定された引用節・挿入節の終端の情報をもとに, 以下の係り受けの確率を素性に加えて，2 回目のチャンキング（図 1 の境界推定（2 回目））を行なう。学習デー夕に対する係り受け確率は，学習デー夕内で 10 -fold cross validation によって係り受け解析を行なうことで求める.

(a) 着目している文節より前方にある文節が, 着目している文節と終端の間の文節に係る確率 (b) 着目している文節の直前の文節が, 終端より後方の文節に係る確率

図 2 から, 例えば，(a) の確率が小さく (b) の確率が大きければ，その文節は始端になりやすいと推測される。先の例文 9 では, 「辺りは」「聞いた」「話なんですけど」は前方の文節が着目している文節に係るため，(a)の確率が大きくなる。また「父から」については, 直前の文節「辺りは」が挿入節の終端「話なんですけど」より後方に係るため, (b) の確率が大きくなる. これより，「父から」が挿入節の始端であると推定できることが期待される.

## 4 評価実験

引用節・挿入節の自動認定および係り受け解析の評価実験を行なった．実験に用いたコーパスは CSJ のコア 188 講演（模擬講演 111 講演と学会講演 77 講演）の書き起こしである.この中には 6,148 個の引用節と 818 個の挿入節が含まれている.このうち 168 講演を学習データ, 20 講演（模擬講演 11 講演と学会講演 9 講演）をテストデータとして用いた.

まず，下岡らの手法 (下岡他 2005) に従い, 単語情報とポーズ長を用いて文境界を推定した後で，得られた文ごとに係り受け解析を行ない，べースライン精度を求めた。文境界推定の $\mathrm{F}$ 値は 85.6 で, 係り受け解析精度は, open テストで $77.7 \%$, closed テストで $86.6 \%$ であった. closed テストでは, 188 講演のすべてを学習に利用している.

## 4.1 引用節・挿入節の自動認定結果

3.3 節で述べた手法を用いて, 引用節・插入節の自動認定を行った. その結果を表 2 に示す.表 2 には以下の 5 種類の実験結果を示している.
- 係り受けを用いない場合（1 回目のチャンキング：図 1 の境界推定（1 回目））の認定精度
- open テストで得られた係り受けを用いた場合（2回目のチャンキング：図 1 の境界推定 (2 回目)）の認定精度
- closed テストで得られた係り受けを用いた場合（2回目のチャンキング：図 1 の境界推定 （2 回目）の認定精度
- 正解の係り受けを用いた場合（2回目のチャンキング：図 1 の境界推定 $(2$ 回目)）の認定精度（係り受け確率はすべて 1.0 とする）
- 1 回目のチャンキング（図 1 の境界推定（1 回目））における終端のみについての認定精度

表 2 によると，引用節の終端のおよそ 9 割は正しく検出できている。検出できなかったものの中には「〜と」で終わる文末や，「〜っちゅう」「〜みたいな」など，使われる頻度が比較的少ない表層表現があった，始端とともに正解した精度は，open テストで自動推定された係り受けを利用することによって向上した，個々の文節における引用節のチャンクタグの推定結果についてマクネマー検定を行なったところ， $p<0.01$ で有意な改善が得られていることが分かった.これは，本手法で素性として利用した係り受け情報が有効に作用したことを表わしている。

表 2 引用節・挿入節の認定精度（文境界が未知の場合）

例えば，以下の例文 10 では， 1 回目のチャンキングでは「多分私が飼っていたさくらの方だった」の部分が引用節だと誤って自動認定されたものの，2 回目のチャンキングで係り受けを利用することにより，「逃げたのは多分私が飼っていたさくらの方だった」の範囲が引用節であると正しく自動認定されるようになった.

(例文 10)

\{逃げたのは
多分一
私が一
飼っていた口
さくらの一
方だった $\}$

思うんですけれども

さらに，closedテストで得られた係り受けや正解の係り受けを用いた場合は，引用節の認定精度は大きく向上している。このことから, 係り受け解析精度が改善されるのに伴って, 引用節の認定精度も向上することが分かる.

一方，挿入節については，係り受けを利用してもほとんど検出できず，挿入節の終端の大半は文境界であると推定されていた，插入節は，文末表現としてもよく用いられる「〜けれども」「〜ですが」の形で終わるものが多く, 文境界との区別が難しいことが原因であると考えられる.これらの区別は，本手法で用いた素性だけでは困難である。そこで， 4.5 節に述べるように，フィラーの有無や話速，韻律情報などを素性として用いてみたが，有意な精度向上は見られなかった，今後，より広範な素性を検討する必要があると考える。

## 4.2 節の自動認定結果を用いた係り受け解析結果

次に，自動認定された引用節・挿入節を用いて，3.2 節の手法で係り受け解析（図 1 の係り受け解析（2回目））を行なったところ, 表 3 に示す結果となった. ここで用いる引用節・挿入節の自動認定結果は, 表 2 において open テストで得られた係り受けを利用したものである。学習データにおいても同様に， 2 -fold cross validationによって引用節・插入節の自動認定を行なった.引用節・挿入節の自動認定結果を利用することで, open テストにおける係り受け解析精度

表 3 係り受け解析精度（文境界が未知の場合）

表 4 引用節・挿入節の境界と交差する係り受けの数（文境界が未知の場合）

は $1.0 \%$ 向上した. マクネマー検定を行なったところ, 本手法を用いた係り受け解析精度はベー スラインの精度より $p<0.01$ で有意に上回っていることがわかった. この結果は，引用節・挿入節の推定に誤りがある場合でも，係り受け解析モデルが頑健に作用したことを示唆している.

そこで次に，引用節・挿入節を含む文の係り受け解析における解析誤りの数の変化について考察した. 表 4 に, 引用節・挿入節の内部と外部を結ぶ誤った係り受けが推定された数を示す. このような係り受け解析誤りの数は, 引用節・挿入節の推定結果を利用することで, 639 個から 572 個に削減された. 特に, 引用節の内部から外部へと係る解析誤りの数が, 217 個から 128 個へと大きく削減された。その理由は次のように考えられる。一般に，引用節や挿入節がある場合は，その前方にある文節は引用節や挿入節を越えて遠くの文節に係ることが多い. その結果,従来の係り受けモデルでは，遠くに係る係り受けが誤って優先され，引用節・挿入節の内部から終端を越えて節の後方に係るような係り受け解析の誤りが多く発生していた。しかし，本手法によって，引用節については，認定精度の高かった終端の情報を活用することで，このような解析誤りを削減することができるようになったと考えられる。例えば，以下の例文 11 では，引用節・挿入節の情報を利用せずに係り受け解析を行なった場合には，「挟んで」(引用節内部) が「覚えてきて」(引用節外部) に係ると誤って推定されていたものの，「顔挟んで外に出てしまう」の部分を引用節として自動認定できたことにより，「挟んで」（引用節内部）が「出てしまうという」(引用節内部) に係るように修正された。

(例文 11)

出てしまう\} という—

覚えてきて

また，表 3 には，引用節・挿入節の正解を与えた場合，すなわち認定精度が $100 \%$ たっったと仮定した場合の係り受け解析の結果も示す. この場合, 係り受け解析精度はさらに改善されており,引用節・插入節の認定精度の向上に伴って係り受け解析精度も改善されることが分かる.

## 4.3 節の自動認定と係り受け解析の相互作用に関する考察

上述の実験結果から, 引用節・插入節の自動認定および係り受け解析の精度は, 相互の情報を利用することにより高精度化されることが確認できた. 単純には, 同様のサイクルを繰り返すことにより, さらなる精度向上が期待される. そこで, 引用節・挿入節の自動認定結果と係り受け解析の結果を再度相互に利用して, それぞれの精度がさらに改善されるかどうか調べた。 しかしながら，引用節の認定精度および係り受け解析精度に有意な変化は見られなかった. これは, 一度引用節・挿入節の情報を利用して推定した係り受けは, 現在得られている節の認定範囲に対して最適な状態になっており, その結果を用いても始端の位置はほとんど修正できないためと考えられる.

逆に，再度相互に推定結果を利用することで，引用節の外部から内部へと係る解析誤りがわずかに増加する結果となった。これは， 2 回目のチャンキングで引用節の始端を再推定する際に，誤った係り受けの情報が優先され，始端の位置が誤って文頭側にずれたことが原因と推測される. 今後の課題として, 特に引用節の始端付近について係り受けの傾向を詳細に分析し, より適切な係り受けの利用法を検討したい。

## 4.4 文境界が既知の場合の実験結果

次に，文境界推定の誤りの影響を調べるために，正解の文境界を与えて，引用節・挿入節の自動認定および係り受け解析を行なった。評洒結果を表 5 〜表 7 に示す.

表 5 引用節・挿入節の認定精度（文境界が既知の場合）

表 6 係り受け解析精度（文境界が既知の場合）

表 7 引用節・挿入節の境界と交差する係り受けの数（文境界が既知の場合）

結果として, 文境界を与えることにより, 引用節・挿入節の認定精度, 係り受け解析精度ともに大きく上昇した，表 5 からは，引用節だけでなく挿入節についても係り受けを利用することで認定精度が向上すること，表 6 からは，引用節・挿入節の自動認定結果を用いることで open テストでの係り受け解析精度が $0.6 \%$ 向上することなどが分かる。また, 引用節・挿入節の正解を与えた場合，係り受け解析精度はさらに改善されることも分かる。これらの結果は，文境界推定の誤りの影響がいかに大きいかを示している。

しかしながら，話し言葉において曖昧となる引用節・挿入節および文境界の情報をすべて与えても，書き言葉における係り受け解析精度と比べると依然として大きな差がみられる。話し言葉における係り受け解析精度をさらに向上させるためには, 話し言葉特有の問題点について, さらに調査を行なう必要がある。これは今後の課題である.

## 4.5 その他の素性を追加した場合の実験結果

3.3 節で述べた素性 (1) と (2) に下記の素性を加え, それぞれの素性の組み合わせを用いて 4.1 節や 4.2 節と同様の実験を行なった。

## 文節の前後のフィラーの有無

引用節や挿入節の前後にはポーズだけでなくフィラーも入りやすいと考えられる．そこで，文節の前後のフィラーの有無も素性として利用する.

## 文節の話速

挿入節では，話者が早口になると考えられるため，各文節の話速をポーズ長と同様に正規化してから用いる。話速は，モーラあたりの平均発声時間によって定義する。 すなわ

ち文節 $b$ の話速 rate (b) は, 文節 $b$ が転記単位 $u$ に含まれるとき, 次式で計算できる.

$
\operatorname{rate}(b)=\frac{t_{\text {end }}(u)-t_{\text {begin }}(u)}{\operatorname{mora}(u)}
$

ここで $t_{\text {begin }}(u), t_{\text {end }}(u)$ は転記単位 $u$ の開始・終了時刻を表わし, $\operatorname{mor} a(u)$ は転記単位 $u$ に含まれるモーラ数である.

## 文節内の基本周波数の最大値

引用節・挿入節の境界の前後では, 基本周波数 (F0)の上昇や下降が起こることが予想される，そこで，各文節における基本周波数の最大値を講演ごとに正規化したものを素性として用いる，CSJでは，F0 曲線の頂点や，曲線の変化率が大きく変わる点（屈曲点） に対して，自動抽出された $\mathrm{F} 0$ 值が付与されており，素性としてはその值を用いる。

## 文節の先頭・末尾の韻律ラベル

CSJでは，韻律の変化に関するラベリングが行なわれている。ラベリング体系には，日本語の韻律ラベリング法として従来用いられてきたJ_ToBI (Japanese Tones and Break Indices) (Venditti 1995) を自発音声に適用するための拡張が施されたX-JToBI (eXtended J_ToBI) (前川菊池 2001) が用いられている. これらのラベルは, 音声の基本周波数のパターンや，音韻の時間長変化によるリズムを考慮して定義されたものである.

引用節・挿入節の始端や終端では, これらの韻律特徵に変化が起こることが考えられる. そこで，各文節の先頭および末尾に付与されているX-JToBI のトーン層ラベルを素性と

して用いる. X-JToBI で定義されているトーン層ラベルの例を表 8 に示す.

それぞれの素性の組み合わせに対し，個々のチャンクラベルの推定結果についてマクネマー 検定を行なったところ, 単語情報とポーズ長以外の素性, すなわち, フィラーの有無・話速・基本周波数・韻律ラベルを用いても, 有意水準 $p=0.01$ とした場合, 有意な改善は得られなかった. これは, 話速・基本周波数・韻律ラベルといった音響的特徴の現れ方が，引用節・挿入節において不安定であることや，上記の素性から得られる情報がすでに単語情報やポーズ長から得られていることなどが原因と考えられる.

表 8 X-JToBI トーン層ラベルの例

## 5 おわりに

本論文では，CSJを対象として，引用節・挿入節を自動認定し，その自動認定結果を係り受け解析に適用する手法について述べた。評価実験により，自動認定した引用節・挿入節の情報を係り受け解析に利用することで, 係り受け解析精度が改善されることを示した. 特に, 引用節の終端は高い精度で推定することができたため, その情報を利用することで, 引用節の内部から終端を越えて外部に係る解析誤りを削減することができた，今後の課題としては，実験の考察を踏まえ，より広範な素性の考慮，より適切な係り受けの利用法の検討などにより，さらなる精度の改善を図ることや, 音声認識結果に誤りがある場合の頑健性について検討することなどが挙げられる。また，係り受け解析における話し言葉特有の問題点についてもさらなる調査を行ないたい.

## 参考文献

浅原正幸, 松本裕治 (2003). “形態素解析とチャンキングの組み合わせによるフィラー／言い直

し検出.”言語処理学会第 9 回年次大会発表論文集, pp. 651-654.

藤尾正和, 松本裕治 (1997). “統計的手法を用いた係り受け解析.”情報処理学会自然言語処理研

究会 NL117-12, pp. 83-90.

古井貞熙, 前川喜久雄, 井佐原均 (2000). “科学技術振興調整費開放的融合研究推進制度一大規

模コーパスに基づく『話し言葉工学』の構築—." 日本音響学会誌, 56 (11), 752-755.

春野雅彦, 白井諭, 大山芳史 (1998)。“決定木を用いた日本語係受け解析.”情報処理学会論文誌,

39 (12), 3177-3186.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-Lexicalized Probabilistic Model for Japanese

Syntact ic and Case Structure Analysis." In Proceedings of the Human Language Technology

Conference of the North American Chapter of the Association for Computational Linguistics

(HLT-NAACL2006), pp. 176-183.

工藤拓, 松本裕治 (2002). “チャンキングの段階適用による係り受け解析.” 情報処理学会論文誌,

43 (6), 1834-1842.

工藤拓, 松本裕治 (2004).“相対的な係りやすさを考慮した日本語係り受け解析モデル.”情報処理学会論文誌, 46 (4), 1082-1092.

Kudo, T. and Matsumoto, Y. (2000). "Japanese Dependency Structure Analysis Based on Support Vector Machines." In Proceedings of the 2000 Joint SIGDAT Conference on Empirical Methods in Natural Language Processing and Very Large Corpora, pp. 18-25.

Kudo, T. and Matsumoto, Y. (2001). "Chunking with Support Vector Machines." In Proceedings
of the 2nd Meeting of the North American Chapter of the Association of Computational Linguistics (NAACL 2001), pp. 192-199.

黒橋禎夫, 長尾眞 (1994). “並列構造の検出に基づく長い日本語文の構文解析.” 自然言語処理, 1 (1), 35-57.

黒橋禎夫, 長尾眞 (1997). “京都大学テキストコーパス・プロジェクト.”言語処理学会第 3 回

年次大会発表論文集, pp. 115-118.

前川喜久雄, 菊池英明 (2001). “X-JToBI：自発音声の韻律ラベリングスキーム.”電子情報通信学会技術研究報告, SP2001-106, pp. 25-30.

丸山岳彦, 柏岡秀紀, 熊野正, 田中英輝 (2003). “節境界自動検出ルールの作成と評価.”言語処理学会第 9 回年次大会発表論文集, pp. 517-520.

Matsubara, S., Murase, T., Kawaguchi, N. and Inagaki, Y. (2002). "Stochastic Dependency

Parsing of Spontaneous Japanese Spoken Language." In Proceedings of the 19th International Conference on Computational Linguistics (COLING 2002), pp. 640-645.

Ohno, T., Matsubara, S., Kashioka, H., Maruyama, T. and Inagaki, Y. (2006). "Dependency Parsing of Japanese Spoken Monologue Based on Clause Boundaries." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics (COLING-ACL), pp. 169-176.

白井諭, 池原悟, 横尾昭男, 木村淳子 (1995). “階層的認識構造に着目した日本語従属節間の係り

受け解析の方法とその精度.”情報処理学会論文誌, 36 (10), 2353-2361.

下岡和也, 内元清貴, 河原達也, 井佐原均 (2005). “日本語話し言葉の係り受け解析と文境界推定

の相互作用による高精度化.” 自然言語処理, 12 (3), 3-18.

高梨克也, 丸山岳彦, 内元清貴, 井佐原均 (2003). “話し言葉の文境界一CSJコーパスにおける文

境界の定義と半自動認定一.”言語処理学会第 9 回年次大会発表論文集, pp. 521-524.

内元清貴, 関根聡, 井佐原均 (1999). “最大エントロピー法に基づくモデルを用いた日本語係り

受け解析.”情報処理学会論文誌, 40 (9), 3397-3407.

内元清貴, 村田真樹, 関根聡, 井佐原均 (2000). “後方文脈を考慮した係り受けモデル.” 自然言語処理, 7 (5), 3-17.

内元清貴, 丸山岳彦, 高梨克也, 井佐原均 (2003). “『日本語話し言葉コーパス』における係り受け構造付与.”平成 15 年度国立国語研究所公開研究発表会予稿集.

Uchimoto, K., Hamabe, R., Maruyama, T., Takanashi, K., Kawahara, T. and Isahara, H. (2006).

"Dependency-structure Annotation to Corpus of Spontaneous Japanese." In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC 2006), pp. 635-638.

Venditti, J. (1995). "Japanese ToBI Labelling Guidelines." Papers from the Linguistics Labora-
tory. Ohio State University Working Papers in Linguistics, 50, 127-162.

## 略歴

浜辺良二: 2005 年京都大学工学部情報学科卒業. 2007 年同大学院情報学研究科修士課程修了. 現在, パナソニックコミュニケーションズ株式会社に勤務.在学中, 話し言葉処理の研究に従事.

内元清貴：1994 年京都大学工学部電気工学第二学科卒業. 1996 年同大学院修士課程修了. 博士 (情報学). 同年郵政省通信総合研究所入所. 現在, 独立行政法人情報通信研究機構主任研究員. 自然言語処理の研究に従事. 言語処理学会, 情報処理学会, ACL, 各会員.

河原達也：1987 年京都大学工学部情報工学科卒業. 1989 年同大学院修士課程修了. 1990 年同博士後期課程退学. 同年京都大学工学部助手. 1995 年同助教授. 1998 年同大学情報学研究科助教授. 2003 年同大学学術情報メディアセンター教授. 現在に至る。この間, 1995 年から 1996 年まで米国べル研究所客員研究員. 1998 年から ATR 客員研究員. 1999 年から 2004 年まで国立国語研究所非常勤研究員. 2001 年から 2005 年まで科学技術振興事業団さきがけ研究 21 研究者. 音声言語処理, 特に音声認識・理解に関する研究に従事. 京大博士 (工学). 1997 年度日本音響学会粟屋潔学術奨励賞受賞. 2000 年度情報処理学会坂井記念特別賞受賞. 情報処理学会連続音声認識コンソーシアム代表, IEEE SPS Speech TC 委員, IEEE ASRU 2007 General Chair, 言語処理学会理事, を歴任. 情報処理学会音声言語情報処理研究会主査. 日本音響学会, 人工知能学会各評議員. 情報処理学会, 電子情報通信学会, 言語処理学会, IEEE 各会員.

井佐原均：1978 年京都大学工学部電気工学第二学科卒業. 1980 年同大学院修士課程修了. 博士 (工学). 同年通商産業省電子技術総合研究所入所. 1995 年郵政省通信総合研究所. 現在, 独立行政法人情報通信研究機構上席研究員およびタイ自然言語ラボラトリー長. 自然言語処理, 語彙意味論の研究に従事.言語処理学会, 情報処理学会, 人工知能学会, 日本認知科学会, ACL, 各会員.

(2007 年 3 月 22 日受付) (2007 年 7 月 4 日再受付) (2008 年 8 月 10 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 優先順位型質問応答の解スコア分布に基づくリスト型質問応答
## 石下 円香 $\dagger \cdot$ 森 辰則 $\dagger \dagger$

\begin{abstract}
本論文では, リスト型質問応答に対する回答群の選択手法を提案する。リスト型質問応答とは，与えられた質問に対し決められた知識源の中から過不足なく解を見つけ列挙するタスクである。提案手法では, 既存の質問応答システムが解候補に付与するスコア分布を利用する．解候補を，そのスコアを基にいくつかのクラスタに分離することを考える。すなわち, それぞれのクラスタを一つの確率分布とし, 各確率分布のパラメタを EM アルゴリズムにより推定する。そして，それぞれの分布を正解集合を形成するスコア分布と不正解集合を形成するスコア分布のどちらであるかを推定し, 正解集合のスコア分布に由来すると推定された解候補群を最終的な回答とする。質問応答システムには一般に不得意な質問が存在するが，提案手法では，複数の分布のパラメ夕を比較することにより，質問応答システムが正解を適切に見つけられているか否かを判定することも可能である。評価実験によれば，スコア分布を求め，それを利用することがリスト型質問応答に対して有効に働くことがわかった. キーワード：質問応答システム，リスト型質問応答，スコア分布
\end{abstract}

## A Method of List-type Question-answering Based on the Distribution of Anwer Score Generated by Ranking-type Q/A System

\author{
Ishioroshi, MAdokA ${ }^{\dagger}$ and Mori, TAtsunori ${ }^{\dagger \dagger}$
}

In this paper, we propose a method of the list-type question-answering. The listtype question-answering is the task in which a system is requested to enumerate all correct answers to given question. In the method, we utilize the distribution of the score that an existing question answering system gives to answer candidates. Answer candidates are separated into some clusters according to their scores. Here, we assume that each cluster results from a probabilistic model. Under the assumption, the parameters of these probabilistic distribution models are estimated by using the EM algorithm. Then, the method judges whether each distribution model is a source of correct answers or a source of incorrect answers. Answer candidates that originate from the distribution models corresponding to correct answers are regarded as final answers. Moreover, by comparing model parameters, we can also judge whether or not the question-answering system appropriately found correct answers. The experimental

results show that the use of the score distribution is effective in the list-type questionanswering.

Key Words: $Q / A$ system, list type $Q / A$, score distribution

## 1 はじめに

近年，文書情報に対するアクセス技術として，質問応答が注目されている。質問応答は，利用者が与えた自然言語の質問文に対し，その答を知識源となる大量の文書集合から見つける技術である．利用者が，ある疑問に対する解を知るために質問応答システムを単体で利用する場合には，各解候補のスコアに基づき，解候補群を順序づけて上位から提示することが多い．本稿では，この処理を優先順位型質問応答と呼ぶことにする。この場合は解答として採用するか否かは，利用者の判断に委ねられている.

一方，質問応答技術は他の文書処理技術の中で活用されることも期待されている．質問応答の出力を他の文書処理技術の入力として容易に利用可能とするためには, 優先順位型質問応答において利用者が行なっていた上記判断を自動的に行なう必要がある。また,「日本三景は何と何と何か」といったように複数の正解が存在する質問が存在することも考慮すべきである。これらのことより，決められた知識源の中から過不足なく与えられた質問の解を見つけ列挙する能力も重要であると考えられる。優先順位型質問応答の用件に加え, この能力を持つ仕組みをリスト型質問応答と呼ぶ (Fukumoto, Kato, and Masui 2002)(加藤, 桝井, 福本, 神門 2004).

本稿では, 上記の背景の下, リスト型質問応答を行なうための一手法を提案する。本手法では，優先順位型質問応答により得られた解候補の集合のスコアを基にいくつかのクラスタに分離することを考える。それぞれのクラスタを一つの確率分布とし, 各確率分布のパラメ夕を $\mathrm{EM}$ アルゴリズムにより推定し，いくつかの分布に分離する。最後に，それぞれの分布を正解集合のスコアの分布と不正解集合のスコア分布のどちらであるかを判定し, 各解候補がいずれの分布に由来するものなのかを推定し, 最終的な正解集合を求める. 質問応答システムには一般に精度が低くなりがちな質問（以下，「不得意な質問」と記す）が質問の型等に依存して存在するが1, 本手法では, 複数の分布のパラメタを比較することにより, 優先順位型質問応答により正解が適切に見つけられているか否かを判断することも可能である。ここで, 正解が適切に見つけられているとは，優先順位型質問応答により正しい解が求められており，その解が上位にある（複数の場合は上位に集まっている）場合を指すこととする.

## 2 関連研究

リスト型質問応答については, 米国における大規模検索実験プロジェクトである, TREC (Text REtrieval Conference) における, Qusetion Answering Track（以下, TREC QA と記述）で議論されている.

TREC QA でリスト型質問応答のタスクが始まったのは, 2001 年からである. 2001 年 (M.Voorhees 2001) と 2002 年 (M.Voorhees 2002) のリスト型質問応答のタスクでは, 正解の個数は質問文中に示されており, システムは示された個数の解候補を出力し, その精度で評価された。2003 年 (M.Voorhees 2003) では, リスト型質問応答はメインタスクに含まれる質問のうちの一種類になった. 2003 年からは正解数が陽に示されることはなくなり, システムは正解の個数を判定しなければならなくなった. システムの評価は $\mathrm{F}$ 值で行なわれる。2004２006 年 (M.Voorhees 2004)(M.Voorhees and Dong 2005)(Dong, Lin, and Kelly 2006)の TREC QA のメインタスクの質問セットは, シリーズ型質問の集合になっている. シリーズ型質問には, 初めにそのシリーズの話題が示されており，その次に何問かの factoid 質問, list 質問があり, 最後に other 質問がある．factoid 質問と list 質問では，どちらも事実を問う質問であり，要求される解の種類は同じである. factoid 質問と list 質問の違いは正解の数で, 正解数が一つの質問は factoid 質問, 正解数が複数の質問は list 質問という様に分けられている． factoid 質問ではシステムはただ一つの回答を出力し, list 質問ではリスト形式で回答を出力する. other 質問は, 質問文は与えられておらず，そのシリーズの話題に関連することを出力することが要求される. ただし, factoid 質問と list 質問で問われていないことのみを出力しなければならない. 各質問が factoid, list, otherのどれであるかは質問文と共に与えられている.

list 質問では, システムは与えられた質問の正解を過不足無く出力することが要求される。正解の数は明記されておらず，システム自身が判定する必要がある。 2006 年の質問セットでは,全質問の正解の平均数は 10 個であり, 最小のものは 2 個, 最大のものでは 50 個ある.

factoid 質問と list 質問は要求される回答数が違うだけであるので，参加したほとんどのチー ムは，そのチーム自身の factoid 質問に対するシステムと同じものを用い，出力する回答数のみを変えていた，以下に，具体例を紹介する．F 值のみではリスト型処理の善し悪しが分からないため, factoid 質問に対する精度 (Accuracy) も併記する.

Harabagiu et al (Harabagiu, Moldovan, Clark, Bowden, Williams, and Mensly 2003)は, 一位の解候補と二位以下の各解候補の間の類似度を求め，類似度に閥値を設けて回答選択をする手法を提案している。閥値は一位の解候補と最下位の解候補の類似度を基に求められる。類似度が閾値以上になる解候補のうち, 最下位に順位づけされているものまでを回答リストに加えている.このシステムの list 型質問に対する精度は, $\mathrm{F}$ 値で 0.433 であった. また, このシステムの基になった factoid 質問に対するシステムの精度は，0.578であった.

Bos (Bos 2006) は，質問文から正解の個数が推定できる場合には，上位からその個数を回答とし，それ以外の場合にはあらかじめ決められた個数の解候補を回答とする手法を用いていた. このシステムの list 型質問に対する精度は， F 值で 0.127 であった。また，このシステムの基になった factoid 質問に対するシステムの精度は，0.15であった。

Burger (Burger 2006)は，期待される F 値を求め，それを最大化するように回答の個数を決める手法を提案している。このシステムの list 型質問に対する精度は, $\mathrm{F}$ 値で 0.208 であった. また，このシステムの基になった factoid 質問に対するシステムの精度は， 0.087 であった.

また，国立情報学研究所主催の質問応答に関する一連の評価型ワークショップである NTCIR QACにおいても同様にリスト型質問応答について議論されている.

NTCIR4 QAC2 の subtask1 では, システムは与えられた質問に対して, 順位付けされた 5 つの回答を出力することが求められる。システムの精度には MRR (Mean Reciprocal Rank. 正解順位の逆数の各質問平均）が用いられる。正解が複数存在する質問に対しては，システムはそのうちの一つを出力できれば良いとされている.

NTCIR4 QAC2の subtask2 (リスト型タスク) (Fukumoto, Kato, and Masui 2004a)でも TREC QAの list 質問と同様に, システムは与えられた質問の正解を過不足無く出力することが要求される，全質問の解の平均数は 3.2 個であり, 最小のものは 1 個, 最大のもので 15 個あり, TREC QA に比べると少なくなっている。各質問に対する正解の数が与えられていないことも TREC QA と同様であるが，TREC QA では正解数が 1 個の factoid 質問と 2 個以上の list 質問が分けられていたのに対し, NTCIR4 QAC2 のリスト型タスクでは分けられていないという違いがある。システムの精度には, 修正 $\mathrm{F}$ 值（MF 値）の全質問平均である, $\mathrm{MMF}$ 値が用いられる。修正 $\mathrm{F}$ 値の詳しい説明は，5 節で述べる.

NTCIR4 QAC2 に参加したシステムは TREC QA に参加したシステムと同様に, factoid 質問に対するシステムを基にしており，各解候補に付けられたスコアの値を基に上位何件を回答するかの線引きを行なっている。以下に具体例を説明する。 MMF 値のみでは順位付けの善し悪しが分からないため，QAC2 subtask1に対する精度 (MRR) も併記する。

秋葉ら (秋葉, 伊藤, 藤井 2004) は期待効用最大化原理に基づく回答群選択手法を提案している。これは, リスト型質問応答の評価指標である $\mathrm{F}$ 值に着目し, その期待値を求め, 期待值を最大化するように回答数を求める手法である。また，リスト内の解候補の重複を避けるために, 複数の解候補が同じ内容を指していると判断される時には, スコアの高いものを残して削除するということをしている。このシステムの， QAC2 subtask2のテストセットに対する精度は, MMF で 0.318 であった. また, このシステムの基になった factoid 質問に対するシステムの，QAC2 subtask1のテストセットに対する精度は，MRRで 0.495 であった.

福本ら (Fukumoto, Niwa, Itogawa, and Matsuda 2004b) は, スコアの差が最も開いているところよりも上位のものを回答とする手法を提案している. さらに, 質問文の表層表現から解の個
数を判別している（「誰と誰」なら二つ，など）. このシステムの QAC2 subtask2 のテストセットに対する精度は， MMF で 0.164 であった。また，このシステムの基になった factoid 質問に対するシステムの, QAC2 subtask1 のテストセットに対する精度は, MRR で 0.311 であった.

村田ら (Murata, Utiyama, and Isahara 2004) は最大スコアに対する比率に閾値を設けて回答を選択する手法を採用しており，QAC2 subtask2のテストセットに対する精度は，MMFで 0.321 であった。また, このシステムの基になった factoid 質問に対するシステムの， QAC2 subtask1 のテストセットに対する精度は，MRRで 0.566 であった。

高木ら (Takaki 2004) は $\mathrm{n}$ 番目の解候補のスコアと $\mathrm{n}+1$ 番目の解候補のスコアの比率を求め, それが閾値以上ならば $\mathrm{n}$ 番目までの解候補を回答とするという手法を用いている。このシステムの QAC2 subtask2 のテストセットに対する精度は，MMF で 0.229 であった。また，このシステムの基になった factoid 質問に対するシステムの，QAC2 subtask1のテストセットに対する精度は, MRRで 0.335 であった。

上記の各手法と本論文で提案する手法でとでは，スコアの並びを見て動的に回答の数を変えるという点で類似している。しかし， スコアが複数の混合分布から生成されると仮定することにより，スコア分布のパラメ夕より解候補が適切に見つかっているかどうかを判定できるという付加機能を有する点において，我々の提案手法は新しい。また，精度についても他の単純な手法に対して比べて精度が高いという結果となった.

## 3 優先順位型質問応答システム

## 3.1 システムの概要

本節では, 本研究で使用している質問応答システム (Mori 2004)の概要を説明する。この質問応答システムでは, 利用者が自然言語で質問文を入力すると, 各解候補のスコアに基づき，解候補群を順序付けて上位から利用者が指定した数たけ提示する，各解候補のスコアは，知識源の文書中の，各解候補と質問文中に含まれるキーワードとの近さなどを基にしている。本稿ではこれを優先順位型質問応答システムと呼ぶことにする。本研究で使用している質問応答システムの全体の構成を図 1 に示す。本システムは主に四つのモジュール，すなわち，質問文解析モジュール，文書検索モジュール，パッセージ検索モジュール，そして解抽出モジュールから構成されている．解抽出モジュールの中には，解を整形するサブモジュールもある.

## 3.1.1 質問文解析モジュール

利用者が入力した質問文から質問応答に有用な情報を抽出するのが質問文解析モジュールの役割である。解析により得られる情報を次に示す.
- 形態素解析および構文解析の結果

図 1 質問応答システム概要
- キーワード（質問文中の内容語）
- 人名, 地名など質問の求める回答の種類を表す質問型
- 疑問詞に対応する数量表現（質問型が数量表現であった場合）

## 3.1 .2 文書検索モジュール

本モジュールは質問文解析により得られたキーワードを元に，文書検索を行う。検索エンジンには，TFIDFによる語の重みづけとべクトル空間法による類似度尺度を用いて，与えられたキーワード集合と各文書の類似度を求めるものを採用している.

## 3.1.3 パッセージ検索モジュール

文書検索で得られた関連文書の中でも，質問の解となる情報が書かれているのはその一部だけである。文書全体から解抽出を行なうことは計算量の面で非効率的なので，正解に関わる文脈を小さなコストで先に切り出しておいたほうがよい. これを行うのがパッセージ検索モジュー ルである。パッセージとは，文章における連続した一部分のことであり，パッセージ検索は文書集合から正解を含む可能性の高いパッセージを取り出すために行う。本システムのパッセー ジ検索では，一パッセージを三文として抽出を行なっている。パッセージを三文とした時の有効性は，村田ら (Murata, Utiyama, and Isahara 2005)により考察されている。それぞれのパッセージには，パッセージ中に出現するキーワードの異なり数などを基にしたスコアが付けられ， スコアが大きいパッセージが次の解抽出モジュールに渡される。

## 3.1.4 解抽出モジュール

解抽出は, パッセージ検索までの処理で得られたパッセージから, 質問の解を抜き出す処理である。パッセージを文単位に分割し，それぞれの文（これを検索文と呼ぶ）と質問文とを照合することにより，解となる形態素を決定する，スコアが高い形態素が得られたら，その形態素を中心にして最終的な解候補を生成する.

本システムの文照合は 2-gram 照合, キーワード照合, 係り受け照合, 質問型照合の四種の照合からなる。それぞれの照合において照合の一致の度合に応じて検索文の文字または形態素にスコアが与えられ，全てのスコアの和がその形態素のスコアとなる。そしてスコアの高い形態素から順に解候補が生成される。

2-gram 照合とキーワード照合では, 解を含む可能性の高い文の中で, ある形態素を解と仮定した時の質問文との照合の良さを，2-gram とキーワードの観点から測定する。一方，質問型照合は，質問型と一致する形態素にスコアを与えるために行なわれる，質問タイプには，人名，地名, 組織名, その他数量表現などがある。係り受け照合では, 質問文と検索文との構造の一致の度合を見る．本システムの係り受け照合では，一文対一文の照合を基本としているが，質問文の内容が検索文の二文以上にわかれて出現している場合もある。そこで，このような場合には前文の最後の文節を次文の提題の文節に仮想的に係り受けさせるという手法で複数文を連結し，仮想的に一文であるとみなして質問文との照合を行なっている.

形態素 mor の最終スコアは, 2 gram, キーワード, 係り受け, 質問型の各照合によって与えられたスコアの和 $S\left(m o r, L_{i}\right)$ で表され，スコアの和の高い形態素 $m o r$ から，解を整形するサブモジュールを用いて解が作成される。ここで， $L_{i}$ は検索文である.

$
\begin{aligned}
S\left(m o r, L_{i}\right)= & S b\left(m o r, L_{i}\right)+S k\left(\operatorname{mor}, L_{i}\right)+S d\left(\operatorname{mor}, L_{i}\right)+S t\left(m o r, L_{i}\right) \\
S b\left(m o r, L_{i}\right) & =2 g r a m \text { 照合でのスコア } \\
S k\left(m o r, L_{i}\right) & =\text { キーワード照合でのスコア } \\
S d\left(m o r, L_{i}\right) & =\text { 係り受け照合でのスコア } \\
S t\left(m o r, L_{i}\right) & =\text { 質問型照合でのスコア }
\end{aligned}
$

解を整形するモジュールで作られた解候補 $A C$ のスコア $S\left(A C, L_{i}\right)$ は, 解を形成している形態素のうち, スコア $S\left(m o r, L_{i}\right)$ が最大のものとなる.

複数の異なる検索文から見つかった同じ解候補に対してより高いスコアを付与する，疑似的な多数決方式がこのシステムでは採用されている。 さまざまな質問応答システムにおいて, 解候補の㔯長性を解の選定に役立てることが有効であることが示されている (Clarke, Cormack, and Lynam 2001)(Xu, Licuanan, and Weischendel 2003). 多数決方式はその一つである. 一方で，我々のシステムでは，探索制御が行なわれており指定される数の解が見つかった時点で残り

の解候補を調べることはせずに探索を打ち切る，そのため，探索の過程において，通常の多数決方式は採用できない. しかし, 指定された求める解の数は異なり数である，そのため，指定された数になるまでにすでに求められている解と同じものが改めて見つかる可能性がある。そこで，その時にはその解のスコアを出現回数に応じて高くしている，以下では，複数回同じ解が求められた場合，その解に複数投票が入った，と表現することにする。

多数決方式を用いたときのある解候補 $A C$ の最終スコア score $_{\text {raw }}(A C)$ は，以下の式で与えられる。

$
\operatorname{score}_{\text {raw }}(A C)=\left.\{1+\log _{10} \operatorname{frec}(A C, \text { AnsList })\right.\} \cdot \max _{L_{i}} S\left(A C, L_{i}\right)
$

ここで，AnsListは解候補のリストであり，frec $(x, L)$ は $L$ 中の $x$ の頻度である.

式 (2)に示される通り, 多数決方式のスコアは単純に頻度を最大のスコアに乗じるのではなく, 頻度の対数値を乗じることにより頻度に対するスコアの上がり具合が穏やかになるように調整されている。このような, 頻度に対するスコアの上がり具合を調整する多数決方式の有効性は, 村田ら (Murata et al. 2005) により考察がなされており, この手法は, 高精度の他の多数決手法と同等程度の性能を持つことが示されている。

## 4 解スコア分布に基づくリスト型質問応答

質問応答の基本的な仕組みは，先に述べたように，

段階 1 知識源となる文書集合の中から，与えられた質問に対する解候補群を見つけること，

段階 2 各解候補に対し，その質問に対する答としての「良さ」を与える数値，すなわち， スコアを付与すること

からなる。リスト型質問応答の基本は, 上記の二段階に加え,

段階 3 優先順位型質問応答システムの出力, すなわち, スコア付きの解候補群を正解（と思

しき）集合（最終的な回答群）と不正解（と思しき）集合の二つに分割する

ことである。これは，スコアの値に基づき，上位何件の解候補を正解と判断するかを決定することに等しい.

我々はその為の手法として，解候補の集合を，そのスコアを基にいくつかのクラスタに分離することを考える。そこで，本手法では，まず，確率密度分布に基づくクラスタリングで用いられる混合分布モデルと同様に

仮説 1 あるクラスタ中の解候補のスコアの値密度分布が，ある一つの確率分布に従っており，異なるクラスタは異なるパラメタの確率分布に由来すること，そして，

仮説 2 解候補群全体のスコアの密度分布はこの複数の確率分布の混合分布に従っていることを仮定する．次に，各確率分布のパラメ夕を EMアルゴリズムにより推定し，いくつかの分布

に分離する。最後に，それぞれの分布を正解集合のスコアの分布と不正解集合のスコア分布のどちらであるかを判定し，各解候補がいずれの分布に由来するものなのかを推定し，最終的な正解集合を求める。ここで，上記クラスタ数はいくつの群に分けて分析をするかを表す一種のパラメタであり，何らかの手法で決める必要がある．正解集合には何らかの共通点があり 1 2 程度の少数のクラスタから構成されることが期待されるが, 不正解集合にこのような性質があるとは限らない，しかし本論文では，手法の分析のしやすさから，2３程度のクラスタに分ける場合について検討を行なう。

一方, 基本となる優先順位型質問応答において, システムの求める解析精度が十分でないこともある。例えば，我々の利用しているシステム (Mori 2004) では, 順位づけにおいても未だ満足のいくものではない. 同システムでは, MRR 值が 0.5 程度であり, 平均すると 2 位に正解を見つけることができるという評価であるが，実際のところは $1 / 3$ 程度の問題について 1 位に正解を返し，2５位に正解を返すのが $1 / 3$ 程度，残りの問題については全く正解を得ることが出来ていない，つまり，システムにとって得意な問題と不得意な問題が存在している.

我々は，不得意な問題の場合は，各解候補に対するスコア付けがうまくいっておらず，上述の仮説 1 , 仮説 2 が成立していないと考えた. そこで，推定した確率分布のパラメ夕に基づき，複数に分割された分布それぞれが正解集合の分布であるか，不正解集合のそれかを判定し，正解集合の分布と不正解集合の分布とが明確に分割できるか否かを調べる。これにより，正解が適切に見つかっているか否かを判断することがある程度可能であると考える.

解候補のスコア分布が正解集合の分布と不正解集合の分布とに分けられるとしている本提案手法では, 全ての質問対し, 一つ以上の正解があることを前提としており, 最低でも一つの回答を出力する．正解が全くない質問については，正解が適切に見つかっていないと判定された質問の一部ととらえることができるが，現在対応できていない.

## 4.1 解候補スコアの分布の計算

優先順位型質問応答システムの出力は解候補とそのスコアの組のリストであり，スコアを数直線上に示すと, 図 2 （上）の様になる。それを視覚的に分かりやすくするために, 一定区間で区切ってヒストグラムにしたものが, 図 2 (中）である。これは説明の為に示した図であり,実際の処理ではヒストグラムは求めていない. 本研究では平滑化した確率密度関数を求めるための手法として, スコア分布をいくつかの正規分布の混合分布とみなし, 各分布のパラメタを求めるのに EM アルゴリズムを用いている.

本提案手法では, 複雑な要因（本手法では，3.1.4 節に示す, 解候補のスコア）が重なりあってできるばらつきは正規分布に近付くという，統計学における中心極限定理を基にして，仮定する分布を正規分布とした．解候補のスコアの分布が，正解集合が成すいくつかの分布と不正解集合のそれとの混合分布であること，並びにそれらの分布がいずれも正規分布であることを

図 2 スコア分布の計算

仮定すると, 混合分布は式 (3)で与えられる。なお, 本稿では, 各解候補のスコアは全て, 各問について各解候補のスコアを最大値で除し, $[0,1]$ の範囲となるように正規化したものを用いる.

$
p_{s}(x)=\sum_{i=1}^{n} \xi_{i} \phi_{i}\left(x: \mu_{i}, \sigma_{i}^{2}\right)
$

ここで,$x$ はスコアの値に対応する確率変数, $n$ は仮定する分布数, $\phi_{i}\left(x: \mu_{i}, \sigma_{i}^{2}\right)$ は平均値 $\mu_{i}$, 分散 $\sigma_{i}^{2}$ の正規分布, $\xi_{i}$ はそれぞれの確率分布の混合比を決めるパラメタである. 解のスコア付けが正しく行なわれ，スコア分布が混合分布であるという仮説が成り立つのであれば，スコアの平均値が大きい分布が正解集合がなす分布となる。降では，スコアの平均値の大きい方の分布から順に番号をつけ $\phi_{1}, \phi_{2} \ldots$ とする.

解候補スコアの観測値の集合が与えられた場合, 式 (3)における各パラメタの推定は, EMアルゴリズムにより行なうことができる。これらの分布のパラメタから次節で述べる手法により正解集合の分布と不正解集合の分布とが明確に分割できると判定できる場合には， スコアにより回答候補群を正解の群と不正解の群に分けられると判断する.

また, 使用している優先順位型質問応答システムには, 3.1.4 節に示すように, スコア付けに,多数決方式が採用されている。この多数決スコアがスコアの分布に大きな影響を及ぼしていると考えられる (図3). 複数回出現した解候補のスコアはその出現回数に応じて高くなり, 複数回出現した解候補のグループが，スコアの高い分布を形成しやすくなり, 分布が別れやすくなる.このことについては 5.1 節において実験，考察する。

（a）多数決方式を用いない場合（同じ表現の解候補はスコアが高いものだけを使用）

抽出された解候補群 (同じ表現の解候補は同じ記号を付与)

(b) 多数決方式を用いた場合（出現回数が 2 以上の解候補のスコアが多数決方式により上昇）

図 3 多数決方式によるスコアの変化

## 4.2 解候補スコアの分布の分割の明確さの判定

スコアの降順で解候補が並んでおり， $i$ 番目の解候補を $A C_{i}$, その最終スコア $\operatorname{score}_{\text {raw }}\left(A C_{i}\right)$ を正規化したスコアを $\operatorname{score}\left(A C_{i}\right)$ とする．解候補のスコアが明確に分割できるかどうかの判定は，隣接した正規分布の平均值の差の值の最大値 $\left(\max _{j}\left.\{\mu_{j}-\mu_{j+1}\right.\}\right)$, 隣接解候補のスコアの差の最大値 $\left(\max _{k}\left.\{\operatorname{score}\left(A C_{k}\right)-\operatorname{score}\left(A C_{k+1}\right)\right.\}\right)$ に基づいて行なう. これは, 解候補を二群に分けるという観点において, 隣接した正規分布の平均値の差の値の最大値 $\left(\max _{j}\left.\{\mu_{j}-\mu_{j+1}\right.\}\right)$ が大きいほど，スコア分布が大きく二つのグループに分離できると考えられるからである．また，解の分布の如何によらず，解候補をスコアにしたがって二群に分けることを考えると，最も素朴な手法は, 隣接する解候補のスコアの差が最も大きい箇所で分離するものであろう. この時, その差の最大値が大きい時ほどスコアの分布が明確に二つに分かれると考えられる.

本稿では，以上の二つの指標，すなわち

分離指標 $1 \max _{j} \mu_{j}-\mu_{j+1} \geq T h_{\mu_{\text {diff }}}$

分離指標 $2 \max _{k}\left.\{\operatorname{score}\left(A C_{k}\right)-\operatorname{score}\left(A C_{k+1}\right)\right.\} \geq T h_{\text {diff }}$

を採用することとし，上記分離指標のいずれかを満たす場合を，スコアの分布が明確に分かれていると判断した. ここで， $T h_{\mu_{\text {diff }}}, T h_{\text {diff }}$ はそれぞれスコア分布が明確に分離できると判断する閾値である。

図 4 は実際に質問応答システムが出力した解候補のスコア分布の例である。上位 30 件を採用

(a) 正解が上位に含まれているもの

(b) 正解が上位に含まれていないもの

図 4 実際のスコアの分布

した。 それぞれの質問文は, 図 4(a)では「サッカーのワールドカップフランス大会で日本が対戦した国はどこですか。」（QAC2subtask2のテストセット中の質問．ID は QAC2-20055-01）であり，知識源は毎日新聞，読売新聞それぞれの 98 年と 99 年の 2 年分の記事である。図 $4(\mathrm{~b})$ では「小沢征爾はいつからボストン交響楽団の音楽監督を務めていましたか。」（QAC1 のテストセット中の質問. ID は QAC1-1047-01）であり，知識源は毎日新聞の 98 年と 99 年の 2 年分の記事である．棒グラフが実際の解の分布（ヒストグラム）を示しており，実線が EM アルゴリズムにより推定された複数の分布, 破線がその混合分布である。 図 4(a) は上位の解候補に正解が含まれている場合, 図 4(b) は上位の解候補に正解が含まれていない場合であり, 正解の位置はそれぞれの図に矢印で示してある。

上位に正解が含まれている場合（図 4(a)）では隣接した分布同士の平均値の差が，最大の所で 0.16 と大きく, いくつかの分布が独立しているように見え，スコアの大きい分布と小さい分
布とに明確に分けられそうである。それに対して，上位の解候補に正解が含まれていない場合 （図 4(b)）では隣接した分布同士の平均値の差が最大の所でも 0.05 と小さくなっており, 全体で大きな一つの分布であるかように観察される。このことから，大きく二つの分布に分けられるときには上位に正解があり，そうでないときには上位に正解が含まれていないということが期待される。

## 4.3 分割する分布の数の決定

分割する分布の数（以下，分布数と表記）は，スコアを正解集合と不正解集合に分けると言う観点では二つと考えられるが，二つの分布に分けた時にうまくいかない例が存在するため，二つ以上のクラスタに分けることを考える。

二つの分布で分離した時にうまくいかない例を図 5 に示す。棒グラフが実際の解の分布（ヒストグラム）を示しており，実線が EM アルゴリズムにより推定された二つ，もしくは三つの分布である。図中の破線は，スコアが一番大きい分布を正解集合の分布と考えた場合の正解分布と不正解分布の境界となるスコアの值であり，これより大きいスコアを持つ解候補が回答として選ばれる。二つの分布で分離した場合（図5(a)）を見ると，スコアが小さいところで一つの大きな分布が計算されており，もう一つの分布はそれ以外の部分を被覆するように，分散が大きな分布が計算されている. 二つの分布で分離し, スコアの高い方の分布を正解分布として回答選択をすると，正解以外の解候補も多数回答に含まれてしまい，回答の精度が悪くなってしまう，一方，三つの分布で分離した場合（図 5(b)）を見ると，二つの場合と比べ，スコアが大きい分布が新たに計算されている。三つの分布で分離し，スコアの最も高い分布を正解分布として回答選択をすると，余計なものを含まずに正解を精度良く回答することが可能になる.

パラメタ調整用に用いた質問セット 200 問（QAC1の 1～50 問目と 101～150 問目及び $\mathrm{QAC} 2$ の $51 \sim 150$ 問目）では，実際に上位に正解があるかどうかに関わらず，分布の形として図 5 と同様の傾向を持つ質問が約 40 問あった。この様な例は, 最上位の解候補のスコアと, 最下位の解候補のスコアの差が大きい時によく見られた。最上位の解候補のスコアが，他の解候補よりも格段に高いスコアであった場合, それが正解である可能性が高いと考えられる．そのため, 図 5(a)の様に，二分布に分けた結果を用いて，多数の解候補を回答とするのは望ましくない. 図 5 の例だけでなく, パラメ夕調整用の質問セット中の同様の質問においても, 図 5(b) の様に分布数を三つにすることで, 回答の数が不適当に多くなってしまうことをある程度解消できることが分かった。

このため, 我々は二つに分けてうまくいかない例は三つにすればカバーできると考え, 混合分布の数は二つか三つに限定した.

あるスコア群を二つの分布に分けるのか, 三つの分布に分けるかの決定法には以下のものが考えられる。指標 2,3 は，EMアルゴリズムを用いて求められた分布と実際のスコアの並びを

(a) 二つの分布で分離した場合

(b) 三つの分布で分離した場合

図 5 分離する分布の数の違い

観察した結果得られたものである.

分布数決定指標 1 MDL (minimum description length)(Rissanen 1999)を用いて最適な分布数を決定する．MDL はパラメタで記述されたモデルのクラスからモデルを選択する基準である．MDLの値が小さくなる方の分布を適切な分布とする．MDLの値は以下のように計算する。

$
\begin{gathered}
M D L=-\log f i t_{m}+\frac{3 m-1}{2} \log N \\
f i t_{m}=\sum_{i=1}^{N} p_{s}\left(\operatorname{score}\left(A C_{i}\right)\right)
\end{gathered}
$

ここで， $m$ は仮定する分布の数, fit $_{m}$ は仮定した分布の数が $m$ 個のときの実際のスコア
分布との適合度の度合であり， $\mathrm{N}$ は優先順位型質問応答システムが出力した解候補の数である． 2 項目の $3 m-1$ は，パラメ夕数を表している。各分布には, 混合比, 平均値,分散という 3 つのパラメタがあるが，混合比は合計値が 1 と決まっているために，一つの分布については求める必要がない。そのため，パラメ夕数は $3 m-1$ となる． MDLの值が小さい方の分布数を採用する.

分布数決定指標 2 スコア分布を二つの分布の混合分布と仮定した時，スコアが大きい分布の分散と, 小さい分布の分散の比率が閾値 $T h_{q}$ 以上なら分布の数を三つに増やす。すなわち, スコア分布を二つの分布の混合分布とした時, $\sigma_{1}^{2} / \sigma_{2}^{2} \geq T h_{q}$ ならば, 分布の数を三つにする。

これは，図５の例にあるように，二分布で分離した時にスコアの大きな分布が回答を多くとりすぎてしまう場合，スコアの小さいところで一つの大きな分布ができ， スコアの大きい方の分布はその他の部分を被覆するために，分散が大きな分布になっているという観察結果を基にしている。

分布数決定指標 3 スコア分布を二つの分布の混合分布と仮定した時, 二分布の平均値の差が閥値 $T h_{\mu_{r}}$ 以上の時は，分布の数を三つにする。すなわち，スコア分布を二つの分布の混合分布とした時, $\mu_{1}-\mu_{2} \geq T h_{\mu_{r}}$ ならば，分布の数を三つにする.

これは二分布の平均値の差の値が極近い分布では, 全解候補中に正解があっても上位に位置していない場合が多いため, 回答数が多くなる傾向にある二分布で正解判定をすると言う考えである.

## 4.4 解候補の正解判定

解候補の正解判断では，まず，複数に分割した分布それぞれが正解集合の分布（以下，正解分布と呼ぶ）であるか，不正解集合のそれ（以下，不正解分布と呼ぶ）であるかを判定する。その後, 正解分布に含まれる解候補を回答とする。そのために，式 (5) で定義される間値 $T h_{s}$ を設け，閾値以上のスコアを持つ解候補を回答とする.

$
\begin{aligned}
& T h_{s}=\underset{t}{\operatorname{argmax}}\left.\{S_{\text {correct }}(t)-S_{\text {incorrect }}(t)\right.\} \\
& S_{\text {correct }}(t)=\sum_{i \in D_{\text {correct }}} \int_{t}^{\infty} \phi_{i}(x) d x \\
& S_{\text {incorrect }}(t)=\sum_{j \in D_{\text {incorrect }}} \int_{t}^{\infty} \phi_{j}(x) d x \\
& D_{\text {correct }}=\text { 正解分布と判定された分布の番号の集合 } \\
& D_{\text {incorrest }}=\text { 不正解分布と判定された分布の番号の集合 }
\end{aligned}
$

また, 正解分布は以下のように決める. 正解分布と判定されなかった分布は不正解分布とする.
分布数がニつの時スコアの大きい方の分布を正解分布とする.

分布数が三つの時以下のものが考えられる.

・ スコアの大きい方からいくつめの分布までを正解分布とするかあらかじめ決めておく
- 隣接分布間の距離が大きいところで正解分布と不正解分布とに分ける $(j=$ $\operatorname{argmax}\left.\{\mu_{j}-\mu_{j+1}\right.\}$ となるとき， $j$ 番目の分布までを正解分布とする).

なお，この間値を設けて回答を決める手法は, Murata et al (Murata et al. 2004)などで用いられている，スコアの閥値に基づく手法に似ているが, 確率分布の上で閥値を設定している点が異なる。

## 5 実験及び評価

NTCIR3 QAC1(Fukumoto et al. 2002) 及びNTCIR4 QAC2 の task2 (リスト型タスク) (Fukumoto et al. 2004a)のテストコレクションを用いて実験を行なった. 知識源は，QAC1の質問に対しては, 毎日新聞の 98 年と 99 年の 2 年分の記事を用い, $\mathrm{QAC} 2$ の問いに対しては, 読売新聞と毎日新聞の 98 年と 99 年の 2 年分の記事を用いている。また, 優先順位型質問応答システムからの出力は上位 10 件を採用している。リスト型質問の評価は一問あたりの $\mathrm{F}$ 値の全質問平均の平均 MF 值（Mean Modified F-measure, MMF 值）を用いる。なお,ここでの F 值は加藤らが提案する修正 $\mathrm{F}$ 值である (加藤他 2004). すなわち, 同じ解答もしくは同じものを表現する異なる表現を複数リストに含めた場合は，そのうちひとつだけを正解とし，それ以外は誤答とする。また，正解のない質問には空リストを返した時にのみ 1.0 が与えられ，それ以外の場合はすべて 0.0 とする.

本節の構成は以下の通りである。5.1 節では正解が適切に見つかっている質問の判定に対する分離指標の有効性を調べる. 特に, 5.1.2 節では, 多数決方式の違いによる結果の違いを見る.多数決方式の有無やその方法により，スコアの分布が違ってくることが考えられ，それにより正解が適切に見つかっている質問の判定をしたときの結果が違ってくることが考えられる．多数決方式を変えて 5.1.1節と同様の実験をし, その結果の違いを調べた. 5.1.3 節では, 3.1.4 節に示したスコア付け手法以外の手法でも，分離指標が有効かどうかを調べた。 また, 多数決方式の有無による結果の違いが 5.1.2 節での結果と同様のものになるかどうかも実験した.

5.2 節では，用いた分離指標の妥当性を見るために，スコアの分布が二つに明確に分割できると判断するための各尺度と精度である $\mathrm{F}$ 値との相関関係を求めた.

5.3 節では, 4.4 節に示した正解判断のための間値決定法及び 4.3 節に示した分布数判定指標の有効性を調べるために実験を行なった.

5.1 節〜5.3 節では, スコアの分布として正規分布を仮定して実験を行なっているが, 5.4 節で

は, 正規分布以外の分布としてポアソン分布を仮定し, 5.1 節〜5.3 節の実験と同様の実験をし, その結果が正規分布を用いた時と同じような傾向になるかどうかを調べた.

## 5.1 正解が適切に見つかっている質問の判定

本節では, NTCIR3 QAC1 (Fukumoto et al. 2002) 及びNTCIR4 QAC2の task2（リスト型夕スク) (Fukumoto et al. 2004a) のテストコレクションを平均正解数が同じになるように, 二つの組に分け，一方をパラメ夕調整用，もう一方を評価用とした。パラメ夕調整用の質問は, $\mathrm{QAC} 1$ の 1〜50 問目と 101〜150 問目及び $\mathrm{QAC} 2$ の 51〜150 問目の計 200 問である. 評価用の質問は, QAC1 の 51〜100 問目と 151～200 問目及び QAC2 の 1～50 問目と 151～200 問目であり，うち一問が不適切な質問とされているため, 計 199 問である。 パラメ夕調整用のセットの平均正解数は 2.31 個, 評価用のセットの平均正解数は 2.33 個である.

## 5.1.1 分離指標の有効性

まず，分布の分割の明確さを判定することの有効性を見るために，スコアの分布の分離が明確な場合とそうでない場合とに分割し，それぞれの場合について 4.4 節の手法で解候補の正解判定を行なった. 回答選択の手法は, 分布数の判定を行なわない手法を用いた. 5.3 節において,分布数の推定を行なっているが, 推定が失敗する可能性を考慮にいれて, 分布数は固定とした. ここでは，分布数の判定を行なわない手法の中で最もMMF が高い，すべての質問において三つの分布の混合分布であると仮定し, 三つの分布のうち正解分布はスコアが一番大きい分布のみとした手法を用いている.

また, スコアの分布の分離が明確かどうかの判定には, 4.2 節で述べた分離指標を用い, 次のいずれかを満たすものをスコアの分布の分離が明確であると判断している．以下で示している各パラメ夕は予備実験の結果に基づきその値を決定した。予備実験ではパラメ夕調整用の質問セットを用い, それぞれの閾値を 0.01 単位で動かした時に, 正解が適切に求められている質問 （解候補中に正解があり，かつそれらが上位に順位づけされている）とそうでない質問とを有効に分けられるかどうかの結果を基に決定した.

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.25 \\
T h_{\text {diff }}=0.2
\end{gathered}
$

評価用の質問セットについて上記閥値に基づき 4.2 節の分離指標により, スコアの分布の分離が明確な場合とそうでない場合とに分割した時の平均回答数と MMF を表 1 に示す.

表 1 によると，分布の分割が明確な場合と不明確な場合とで MMF に明確な差がでている. また, 分布の分割が明確な場合, 平均回答数を見ると正解の平均数よりも少ない傾向にあるが, MMF が高く，選んだ回答群の精度が良いことが窺える。分布の分割が不明確な場合には平均
回答数が多くなっており, 平均正解数に近い值ではあるが, MMF は低く, 回答の精度が低いことが分かる.

このことから，提案手法により正解が見つかっており，かつそれが上位に順位づけされている質問のみを抽出することがある程度可能であることが分かる.

## 5.1.2 多数決方式の違いによる精度の違い

多数決方式による解候補のスコア付けは，解候補のスコア分布に大きな影響を与えていると考えられる．多数決方式を用いた場合, 複数投票が入った解候補はスコアが高くなり, 回答として選ばれやすくなる。まず，複数投票が入った解候補の有無（多数決方式によるスコアの変化の有無）という観点で質問文を分けた時の精度の違いを求めた。結果を表 2 に示す.

表 2 より，複数投票が入った解候補がある場合と無い場合とで，精度に大きな差があるのが分かる.このことより, 解候補が適切に見つかっているかどうかの判定に, 複数投票が入った解候補のある，なしという情報も使えるということが分かる，表 1 と比べると， スコアの分布の分割が明確な場合と, 複数投票が入った解候補がある場合とではスコアの分布の分割が明確な場合の方が MMF が高く, より正解が適切に見つかっている質問を抽出できている．スコアの分布の分割が不明確な場合と，複数投票が入った解候補がない場合とでは複数投票が入った解候補がない場合の方が MMF が低く，より正解が見つかっていない質問を抽出できると考えられる。

また，多数決方式を利用したスコアの分布と多数決方式を利用しない場合のスコア分布の違いを見るために，分離指標を用いた以下の実験も行なった．多数決方式によってスコアが変化するのは，複数投票が入った質問のみであるので，表 2 において，複数投票が入った解候補があった 121 問に対して, 優先順位型質問応答システムの解スコアを利用してリスト型質問応答を実行した，3.1.4 節に示した頻度に対する上がり具合を調整する多数決方式（以後, 最大値乗

表 1 スコアの分布の分離の明確さの違いによる平均回答数と MMF の違い

表 2 複数投票が入った解候補がある質問と無い質問とでの平均回答数と MMF

算方式と呼ぶ）の他に, 複数投票があった場合, その解候補のスコアを単純に加算する多数決方式（以後，単純加算方式と呼ぶ）を用いた場合及び，多数決方式を用いない場合，それぞれについて，分布の分割が明確かどうかを分けたときの，平均回答数と MMF を求めた.

4.2 節で述べた, 分布が明確に分離できるかどうかの各分離指標のパラメ夕は, 5.1.1 節と同様の予備実験を行ない，以下のように決定した。この時に使用した質問は，質問セット中の，複数投票が入った質問のみである.
- 最大値乗算方式の多数決方式を用いた場合

$
\begin{aligned}
& T h_{\mu_{\text {diff }}}=0.3 \\
& T h_{\text {diff }}=0.25
\end{aligned}
$
- 単純加算方式の多数決方式を用いた場合

$
\begin{aligned}
T h_{\mu_{\text {diff }}} & =0.5 \\
T h_{\text {diff }} & =0.5
\end{aligned}
$
- 多数決方式を用いない場合

$
\begin{aligned}
T h_{\mu_{\text {diff }}} & =0.15 \\
T h_{\text {diff }} & =0.1
\end{aligned}
$

結果を表 3 に示す.

表 3 より, どの手法においても分布の分割が明確な場合と不明確な場合で, MMF に大きく差が出ている. このことから, 多数決方式の違いに関わらず, 分布の分割の明確さをみることで,正解が適切に見つかっている質問を抽出することが，ある程度可能であることが分かる.

また，表 3 での， 121 問全体の MMF の違いを見てみると，3.1.4 節に示した頻度に対する上がり具合を調整する最大値乗算方式を用いた場合で 0.446 と最も高い値となっている.

最大値乗算方式を用いた場合のMF 値と単純加算方式や多数決方式を用いない場合でのMF 値との間に統計的有意差があるか，表 3 で用いた 121 問でウィルコクソンの符合付順位和検定 （両側検定）によって求めた. その結果, 最大値乗算方式と単純加算方式との間で有意水準 $5 \%$ で統計的有意差があったが $(p=0.033<0.05)$, 最大値乗算方式と多数決方式を用いない場合との間では, 統計的有意差は認められない $(p=0.23)$ ということが分かった.

## 5.1.3 スコア付け手法の違いによる精度の違い

3.1.4節で示した以外の解候補のスコア付け手法でも分離指標が有効に働くかどうかを調べるために，質問文中のキーワードと解候補との距離に基づいた単純なスコア付け方法を用いて同様の実験を行なった．この距離に基づいたスコア付け手法は，構文解析を用いずに解候補のス
表 3 多数決方式の違いによる結果の違い

(a) 最大値乗算方式の多数決方式を用いた場合

(b) スコアを単純加算する多数決方式を用いた場合

(c) 多数決方式を用いない場合

コアを決定する素朴な手法である。この手法では，全てのキーワードからの距離が近い解候補ほど大きなスコアが与えられる。このスコア $S_{\text {dist }}(m o r)$ は, 式 (14)によって与えられる. ここで， $K_{n}$ は質問文中の $n$ 番目のキーワードである.

$
S_{d i s t}(m o r)=\sum_{n} \frac{1}{\log \operatorname{dist}\left(m o r, K_{n}\right)+1}
$

$\operatorname{dist}\left(\operatorname{mor}, K_{n}\right)$

= 解候補となる形態素 $m o r$ とキーワード $K_{n}$ との間の距離を形態素単位で計ったもの

この手法でも，探索制御において，同じ解が複数回求められた場合には 3.1.4節で示した多数決方式を用いて最終的なスコアを求めている．スコアの分布が明確に分離できるかどうかの各パラメタは， パラメタ調整用質問セットを用いた予備実験の結果以下のように決定した。

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.25 \\
T h_{\text {diff }}=0.2
\end{gathered}
$

解候補のスコア分布は, 5.1.1 節と同じく三つの分布の混合分布であると仮定し, 三つの分布のうち正解分布はスコアが一番大きい分布のみとしている.

スコア分布が明確に分割できる質問とそうでない質問とに分けた時の平均回答数とMMFを
表 4, 複数投票が入った解候補がある場合とない場合とで分けた時の同様の結果を表 5 に示す.

表 4 , 表 5 より, 分布の分割が明確な場合とそうでない場合，また複数投票が入った解候補がある場合とない場合とで MMF に明確な差がでているのが分かり，3.1.4 節で示した解候補のスコア付け法を用いた場合と同様の結果が得られた。分布の分割が明確な場合は正解が適切に見つかっている質問を抽出でき，複数投票が入った解候補がない場合では正解が適切に見つかっていない質問を抽出できるという傾向も同じである.

距離に基づいたスコア付け方法でも 5.1.2 節と同様に, 多数決方式を利用したスコア分布と多数決方式を利用しない場合のスコア分布の違いを見るための，分離指標を用いた実験を行なった。表 5 において複数投票が入った解候補があった 125 問に対して, リスト型質問応答を実行した。 分布の分割が明確かどうかの判断のためのパラメ夕は，予備実験の結果，以下のように決定した。その結果を表 6 に示す.

表 4 距離に基づいたスコアを使った時の，スコアの分布の分割の度合の違いによる平均回答数と MMF の違い

表 5 距離に基づいたスコアを使った時の，複数投票が入った解候補がある質問とない質問との結果の違い

表 6 距離に基づいたスコアを使った時の，多数決方式のあるなしによる精度の違い

(a) 最大値乗算方式の多数決方式を使った場合

(b) 多数決方式を使わない場合

・ 最大値乗算方式の多数決方式を用いた場合

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.25 \\
T h_{\text {diff }}=0.2
\end{gathered}
$
- 多数決方式を用いない場合

$
\begin{aligned}
& T h_{\mu_{\text {diff }}}=0.1 \\
& T h_{\text {diff }}=0.1
\end{aligned}
$

表 6 より，いずれの場合でも，ある程度正解が適切に見つかっている質問を分けることができた。また多数決方式を用いた場合とそうでない場合とでは MF 値について， 125 問全体を対象にした時の MF 值にも差が出ているが, 統計的有意差は認められない（ウィルコクソンの符合付順位和検定（両側検定）で， $p=0.31$ ).

距離に基づいたスコア付け手法を利用した際にも分離指標が有効であること, 複数投票が入った解候補がある質問とない質問で精度に大きく差がでることなどから本論文で提案した解候補の分割の指標及び解候補の選択手法は解候補に対するスコア付け手法が単純なものであっても,有効であると考えられる。

## 5.2 スコアの分布がニつに分離できると判断するための各尺度の間の相関関係

分離指標としていた尺度の妥当性の検証のために，スコアの分布の分離指標として用いていた各尺度と回答精度である MF 値との相関関係を調べた。ここで用いた質問は，QAC1 の 51～100 問目と 151 200 問目及び $\mathrm{QAC} 2$ の 1～50 問目と 151～200 問目（うち一問が不適切な質問とされている）の計 199 問である。相関を求める際, MF 值は質問毎に, 優先順位型質問応答システムの出力のうち上位 $\mathrm{n}$ 件に対する解候補の $\mathrm{F}$ 値を $\mathrm{n}$ を変化させて求め, その最大値（以後最大 $\mathrm{F}$ 值と表す）を用いている，相関を求めた結果を表 7 に示す. 表中の値はピアソンの相関係数である. $\mu_{\text {diff }}(2)$ は, スコア分布を二つの分布の混合分布としたときの, 二つの正規分布の平均值の差, $\mu_{\text {diff }}(3)$ は, スコア分布を三つの分布の混合分布したときの, 隣接した正規分布の平均値の差の大きい方, $\max _{\text {diff }}$ は隣接スコアの差の最大値 $\left(\max _{\text {diff }}=\max _{j}\left.\{\operatorname{score}\left(A C_{j}\right)-\operatorname{score}\left(A C_{j+1}\right)\right.\}\right)$, を表している。以上の値に注目したのは， $\mu_{\text {diff }}$ と $\max _{\text {diff }}$ はその値が大きいほどスコア分布は

表 7 スコアの分布が二つに分離できると判断するための各尺度の相関関係

分布は明確に分離できると期待できるためである.

表 7 より，各尺度間には非常に強い相関があることがわかる。また，各尺度と最大 MF 値にも相関があることが示されている。最大 $\mathrm{F}$ 値が高い質問は上位に正解が集まっている質問といえる。各尺度と最大 MF 値との間に相関関係があるということから, 各尺度が, 正解が上位に順位付けされている質問を抽出するための分離指標として，利用可能である考えられる．

## 5.3 正解判断指標の有効性

4.4 節で提案した回答選択手法の有効性を調べるために，実験を行なった．提案手法では，「分布数の決定法」ならびに「分布数が三つの場合の正解分布の決め方」に各々数種類ずつ選択肢がある。また，比較対象であるべースラインとなる手法についても様々な観点からいくつかの候補がある。そのため， QAC1 及び $\mathrm{QAC} 2$ のテストコレクションをパラメタ調整セット，開発セット，評価用セットの三つに分けた。まず，パラメ夕調整セットにより各パラメタを調整する。そして, 開発セットによって, 有効なべースライン手法及び, 提案手法における各選択肢の有効な組合せを決定した後, テストセットによって, ベースライン手法と提案手法の精度の比較を行なう，パラメタ調整用の質問セットは，QAC1の $34 \sim 66$ 問目，167 200 問目及び $\mathrm{QAC} 2$ の $1 \sim 33$ 問目，134 166 問目（計 133 問，平均正解数 2.32 個）, 開発用の質問セットは, QAC1 の 67〜133 問目及び $\mathrm{QAC} 2$ の 34 66 問目，167 200 問目であり，うち一問が不適切な質問とされている（計 133 問，平均正解数 2.34 個)，評価用の質問セットは，QAC1 の 1～ 33 問目， 134 $\sim 166$ 問目及び $\mathrm{QAC} 2$ の $67 \sim 133$ 問目（計 133 問，平均正解数 2.29 個）である.

## 5.3.1 ベースライン手法の決定

ベースライン手法の候補として，先行研究を考慮し以下のものを検討する。
- スコアの値の上位から決まった個数の解候補を回答とする手法.
- スコアの値に単純な閾値を設ける手法. $\operatorname{score}\left(A C_{i}\right) \geq T h_{r}$ なる $A C_{i}$ のリストを回答とする。ただし, 提案手法が式 (5) で求める値と違い， $T h_{r}$ は全問に共通の一定の値である. また, $\operatorname{score}\left(A C_{i}\right)$ は最大値が 1 になるように正規化されていることに注意されたい.
- 秋葉ら (秋葉他 2004)の手法を用いて回答する手法.

質問の正解数の平均は約 2.3 個であるため, 決まった個数の解候補を回答とする手法では, 回答とする解候補の数を 1 ～個の場合それぞれについて結果を求めた.

スコアの値に単純な間値を設ける手法での閥値 $T h_{r}$ は，値を 0.5 から 0.99 まで 0.01 刻みで変えていき，パラメ夕調整用の質問セットで最も MMF が高かった以下の值を採用した.

$
T h_{r}=0.78
$

開発セットにおけるべースライン手法の各候補の精度を，表 8 に示す。表中の再現率，適合
表 8 開発セットにおけるベースライン手法の精度

率はそれぞれ，

再現率 $=$ 全質問に対する正答数 $/$ 全質問の正解数の合計,

適合率 $=$ 全質問に対する正答数 $/$ 全回答数,

と計算した。ここで, 正答数とは, 回答中に現れた正解の数であり, 全回答数は, 全質問に対する回答数である。表中の MMF は上記の再現率, 適合率から求めた値ではなく, それぞれの質問のMF 値の全質問平均であることに注意されたい.

表 8 より, MMF 值が最も高い秋葉らの手法を, 提案手法と比較するベースライン手法として採用する。

## 5.3.2 提案手法における,「分布数の決定法」及び, 「分布数が三つの場合の正解分布の決定法」 の組合せの決定

提案手法では回答は 4.4 節の式 (5) で求められる閥値以上のスコアを持つ解候補を回答とする.ここで，「分割する分布数の決定法」及び，「分割されたいくつかの分布のうち，どこまでを正解分布とするかの決定法」についてそれぞれいくつかの候補が存在する。本節では，開発セットを用いて,「分布数の決め方」と「分布数が三つの場合の正解分布の決め方」の最も良い組合せを選ぶ.

分布数が二つの時は，スコアの大きい方の分布が正解分布となる. 分布数が三つの時の正解分布の決め方として，以下の三種類を検討する.

固定 (1) 最もスコアが大きい分布を正解分布とする.

固定 (2) スコアが大きい方から二つ目の分布までを正解分布とする.

可変隣接分布の平均値の差が大きいところで正解分布と不正解分布とに分ける $(j=$ $\operatorname{argmax}\left.\{\mu_{j}-\mu_{j+1}\right.\}$ となるとき， $j$ 番目の分布までを正解分布とする）).

また，分布数の決定法は以下の場合を検討する。

・ 分布数をあらかじめ決定しておく.
- 4.3 節の分布数決定指標 1 を用いて分布数を決定する.
- 4.3 節の分布数決定指標 2 を用いて分布数を決定する.

・ 4.3 節の分布数決定指標 3 を用いて分布数を決定する.
- 4.3 節の分布数決定指標 2 と 3 の両方を用いて分布数を決定する. 分布数決定指標 2 と同 3 の両方で分布数が三つと判定された質問だけを分布数が三であると仮定し，それ以外は分布数を二と仮定する。

各候補の組合せを表 9 に示す。表 9 では，それぞれの設定において，パラメ夕調整用のセットで調整する必要があるパラメ夕名を併せて示している.

分布数決定指標 2 のパラメタ $T h_{q}$ はパラメタ調整用の質問セットを用いて，値を 1 から 10 まで 0.5 刻みで変えて実験した結果，式 (22)の通りに決定した。また，分布数決定指標 3 のパラメタ $T h_{\mu_{r}}$ はパラメタ調整用の質問セットを用いて, 值を 0.01 から 0.2 まで 0.01 刻みで変えて実験した結果，式 (23)の通りに決定した.

$
\begin{gathered}
T h_{q}=2.5 \\
T h_{\mu_{r}}=0.15
\end{gathered}
$

「分布数の決定法」と「分布数が三つの場合の正解分布の決定法」のそれぞれの候補の組合せにおける求解精度を表 10 に示す.

表 10 より, 最も MMF 值が高い, 「分布数決定指標 2 で分布数を決定し, 分布数が三つの場合には最もスコアが高い分布のみを正解分布とする手法」を最終的な提案手法とする.

## 5.3.3 提案手法とベースライン手法の精度比較

評価用の質問セットを用いて，5.3.1 節及び5 5.3.2 節で選んだベースライン手法と提案手法の

表 9 提案手法の「分布数の決定法」と「分布数が三つの場合の正解分布の決定法」のそれぞれの候補の

} & \multirow{2}{*}{ なし } & 固定 & なし \\

設定の組合せ
精度の比較を行なった. ベースライン手法は秋葉らの手法 (秋葉他 2004) である. 提案手法は, 4.3 節の分布数決定指標 2 で分布数を決定し, 分布数が三つの場合には最もスコアが高い分布のみを正解分布とし， 4.4 節の式 (5) で求められる閾値以上のスコアを持つ解候補を回答とする手法である. 分布数決定指標 2 のパラメタ $T h_{q}$ の値は 2.5 である.

結果を表 11 に示す.

表 11 より，提案手法の MMF 值がベースライン手法を若干上回っていることが分かる。たたし, この差に統計的有意差は無く（ウィルコクソンの符合付順位和検定（両側検定）での $\mathrm{p}$ 值 $=0.453)$, 同等の精度であるといえる。一方で，再現率と適合率を見ると，再現率には大きな差がないのに対し，適合率は提案手法の方が大きく勝っている。再現率を下げずに平均回答数を少なくすることに成功していることが分かる.

表 10 開発セットにおける,「分布数の決定法」と「分布数が三つの時の正解分布の決定法」のそれぞれの候補の組合せにおける求解精度

 & 再現率 & 適合率 & 平均回答数 & MMF \\

表 11 評価用セットにおける，提案手法とベースライン手法の精度比較

## 5.4 スコアの分布に正規分布以外の分布を使った時の求解精度

本研究では，スコアの分布として，正規分布を仮定して分布を求めていた。これは, 統計学における中心極限定理に根拠をおいている。しかしながら，正規分布による近似が最適であるという保証はない.

一方, 言語処理において, 単語の出現頻度の確率分布は, ポアソン分布に近似できるといわれている。ポアソン分布は, 一定の期間や一定の大きさの空間において, ごく稀に起こる現象の確率分布であるそこで本節では，スコアの確率分布をモデル化する正規分布以外の分布として, ポアソン分布を仮定し, 正規分布の場合と同様の求解手順により求められた解の精度を調べることとする.

ポアソン分布は二項分布の特殊例で, 二項分布の期待値と分散が等しい場合となる。ポアソン分布の式は以下のように表される.

$
p(x)=\frac{e^{-\lambda} \cdot \lambda^{x}}{x !} \quad x=0,1,2 \cdots
$

ここで， $\lambda$ は平均値で， 0 以上の値をとる．解候補スコアの分布をポアソン分布と仮定して，同じように EMアルゴリズムで分離した。ポアソン分布は離散分布であるので，解候補のスコアを非負の整数で表現する必要がある。そこで，最大值を 100 とするために正規化スコアを 100 倍し，小数点以下は四捨五入したものを用いた.

## 5.4.1 仮定する分布の違いによるスコア分布の違い

図 6(a) は優先順位型質問応答システムが出力した, 上位 30 件の正規化した解候補スコアのヒストグラム（ヒストグラムのデータ区間は 0.04 毎）であり，実線はハニング空関数を用いてスコアの密度分布を求めたものである（ハニング密関数の窓幅は 0.02 ). 図 6(b) は正規分布, ポアソン分布それぞれの混合分布でスコア分布を近似したものである。 ハニング窓関数を用いて求めた密度分布がだいたい三つの分布から成り立っているように観察できるため, 分布数は三つとしている. 正規分布の混合分布とポアソン分布の混合分布を比べると, ポアソン分布の混合分布の方が，なだらかに変化しており，分布の切れ目が判断しづらい. 図6(a)のハニング空関数を用いて平滑化したものと図 6(b) の各分布を比べてみると, 正規分布で近似したもののほうが類似しているのが見てとれる。このことから, 正規分布の方がより正確に近似できていると言えそうである。この違いは，ポアソン分布のパラメタ数と正規分布のパラメタ数の差から来ている。ポアソン分布ではパラメタが平均値 $\lambda$ のみであるのに対し, 正規分布では平均值 $\mu$ と分散 $\sigma^{2}$ があるため, 実際のスコア分布に対する近似はパラメ夕数の多い正規分布の方が優れていると考えられる。

(a) スコアのヒストグラム

解候補スコア (最大值100)

(b) 混合分布

図 6 仮定するスコアの分布による混合分布の違い

## 5.4.2 ポアソン分布を仮定した場合のリスト型質問応答

解候補スコアの分布として正規分布を仮定した場合とポアソン分布を仮定した場合の違いを比較する。用いた質問の内訳は 5.1 節と同様で，パラメ夕調整用の質問は， QAC1の 1〜50 問目と 101 150 問目及び $\mathrm{QAC} 2$ の 51 150 問目の計 200 問（平均正解数 2.31 個）である。評価用の質問は, QAC1の 51〜100 問目と 151〜200 問目及び QAC2 の 1〜50 問目と $151 \sim 200$ 問目 （うち一問が不適切な質問とされている）の計 199 問（平均正解数 2.33 個）である.

まず， 4.2 節の分離指標を用いて，回答が適切に見つかっている質問の判定ができるかどうか
実験を行なった。分離指標に関する各パラメタは予備実験の結果，以下のように決定した。予備実験ではパラメ夕調整用の質問セットを用い，それぞれの閾値を 0.01 単位で動かした時に，正解が適切に求められている質問（解候補中に正解があり，かつそれらが上位に順位づけされている）とそうでない質問とを有効に分けられるかどうかの結果を基に決定した.

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.2 \\
T h_{\text {diff }}=0.2
\end{gathered}
$

ここでは，すべての質問において，解候補のスコア分布は，三つの分布の混合分布であるとし, 三つの分布のうち正解分布はスコアが一番大きい分布のみとしている。結果を表 12 に示す.

表 12 より, 分布の分割が明確な場合と不明確な場合とでMMF に差がでており, ポアソン分布を仮定した場合にも，正解が適切に見つかっている質問を判定するのに分離指標は有効であるといえる。ただし，この結果は表 1 とは少し違い, 分布の分割が不明確な質問のMMFがかなり低く，どちらかといえば，正解が適切に見つかっていない質問の判定に適しているといえる.

次に, 解候補スコアの分布として正規分布を仮定した場合とポアソン分布を仮定した場合の, リスト型質問応答としての精度の違いを比較する。ここでは，すべての質問において，解候補のスコア分布は, 三つの分布の混合分布であるとし, 三つの分布のうち正解分布はスコアが一番大きい分布のみとしている.

結果を表 13 に示す. 表中の再現率と適合率の値については 5.3 節でのものと計算法は同じである.

表 13 より，MMF にやや差がでており，正規分布を仮定した場合の方が精度が良くなっている。ただし，ポアソン分布を仮定した場合と正規分布を仮定した場合とでは，MF 值について， ウィルコクソンの符合付順位和検定（両側検定）を行った結果，統計的有意差は認められなかった $(p=0.089)$. また，ポアソン分布を仮定した場合と正規分布を仮定した場合の平均回答数は,

表 12 ポアソン分布を仮定した時のスコアの分布の分割の度合の違いによる平均回答数と MMF の違い

表 13 スコアの分布とリスト型質問応答の精度の違い

表 14 ポアソン分布を仮定した際の，スコアの分布が二つに分離できると判断するための各尺度の相関関係

ポアソンを仮定した場合の方が少なめである。再現率と適合率を見ても，平均回答数が少なめのポアソン分布の方は適合率が高くなっており, 平均回答数が多めの正規分布ではポアソン分布を仮定した場合と比べ, 再現率が高く, 適合率が低くなっており, 傾向が違っているのが観察される。

## 5.4.3 ポアソン分布を仮定した際のスコアの分布がニつに分離できると判断するための各尺度 の相関関係

5.2 節と同様に，ポアソン分布を仮定した際のスコアの分布が二つに分離できると判断するための各尺度と最大 $\mathrm{MF}$ 值の相関係数を求めた。用いた質問は, 5.2 節と同様, QAC1 の 51〜100 問目と 151～200 問目及び QAC2 の 1〜50 問目と 151～200 問目（うち一問が不適切な質問とされている) の計 199 問である.

その結果を表 14 に示す. 表中の値はピアソンの相関係数である。 $\mu_{\text {diff }}(2)$ は，スコア分布を二つの分布の混合分布としたときの, 二つの正規分布の平均値の差, $\mu_{\text {diff }}(3)$ は, スコア分布を三つの分布の混合分布したときの, 隣接した正規分布の平均値の差の大きい方, $\max _{\text {diff }}$ は隣接スコアの差の最大値 $\left(\max _{\text {diff }}=\max _{j}\left.\{\operatorname{score}\left(A C_{j}\right)-\operatorname{score}\left(A C_{j+1}\right)\right.\}\right)$, を表している.

表 14 より, 5.2 節での結果と同様の傾向を持つ結果となっているのが分かる. この結果より, スコア分布を二つの分布の混合分布としたときの, 二つの正規分布の平均値の差や, スコア分布を三つの分布の混合分布したときの，隣接した正規分布の平均値の差の大きい方，という尺度は，ポアソン分布，正規分布のいずれの分布を仮定した時でも有効な指標であると考えられる.

## 6 考察

## 6.1 スコアの分布の分割の有効性

5.1 節から 5.3 節の結果より, 提案手法は, ベースライン手法の候補の中で最も優れていた秋葉らの手法 (秋葉他 2004) と同等以上の精度があることが分かった. さらに秋葉らの手法に対し，スコアの分布を求めることにより，正解が適切に見つかっている質問を判定できるという点で，本手法は優れている.

4.2 節で提案した分離指標を用いてスコアの分布が明確に分離できるかどうか判断し，正解が適切に見つかっているか否かの判断をすることは可能であるということが分かった. しかし，正解が適切に見つかっている質問を全て抽出できているわけではない. 例えば， 1 位に正解があるような例でも適切に判断できないこともある。これは，解候補のスコアの分布が明確だと判断する条件をある程度厳しくしている為だと考えられる。条件を厳しくしているのは確実な質問についてのみ求解を行なうためである。判断の基準を変えることによって，より確実な質問に重点をおくのか，正解を見つけられていない質問を見つけることに重点をおくのかなどの調整は可能である。

さらに， 4.3 節に示した分布数決定指標のうち, 経験則である分布数決定指標 2 を用いた手法が最も有効であることが分かった. しかし， MDL を用いた分布数決定法は有効でないことが分かった。この理由の一つとして，MDLの計算に用いるパラメタ数がある。一つの分布につきパラメ夕は, 混合比, 平均値, 分散と三つあるため, 分布が一つ増えただけでパラメ夕数の増大が大きく，MDL 值が大きくなりやすくなるため多くの質問のスコア分布が二つと判定されてしまったと考えられる。しかし，それ以外の，精度が良くない原因については現在調査中であり，今後の課題としたい.

## 6.2 スコアの分布として仮定した確率分布の違いによる結果

スコアの分布としてポアソン分布として仮定した場合，正規分布を仮定した場合と比べて 5.4 節の結果より以下のことが言える.

（1） 正規分布を仮定したときと同様に， 4.2 節で提案した分離指標を用いて，正解が適切に見つかっている質問を判定することが可能である.

（2）正解が適切に見つかっていると判断された質問については，正規分布を仮定した場合と同等の MMF である.

（3）正解が適切に見つかっていないと判断された質問については，MMFはとても低い.

（4）全体として，ポアソン分布を用いてリスト型質問応答を行ったときと，正規分布を用いた時では, ポアソン分布を仮定した時の方が平均回答数が少なく, MMFがやや悪くなっている.

## 7 おわりに

本稿では, リスト型質問応答処理にスコアの分布を用いる手法を提案した. リスト型の回答を作る際に, 解候補のスコアの分布を求めることにより正解が適切に見つかっている質問の判定をする手法も提案した。

我々は，優先順位型質問応答システムの出力する解候補群のスコアをまずいくつかのクラス
夕に分けることを考え，それぞれのクラスタを一つの確率分布と考えた．さらに，正解集合のスコア分布と不正解集合のスコア分布に明確に分割できる場合には，その質問の回答が適切に見つかっていると判断できると考えた。この考えを基に，正解集合に含まれる解候補を回答とするための正解判定法と，二つの分布が明確に分割できるかどうか判断するための分離指標を用いる手法を提案した。

これらの手法は解候補の頻度情報を用いた, 頻度によるスコアの上がり具合を調整する多数決方式を用いたスコアの分布に有効であることが分かった．また， スコアの分布を用いた正解判断指標は他の単純な指標に比べて精度が高かった。正解判断の指標をスコアの分布により使い分けることも有効であるということも分かったが，使い分けるための有効な手法を検討する必要がある。

今後は, 正解が存在しない質問への対応が課題である。また, 本手法で正解が適切に求められていないと判定された質問に対して，解候補の最順位づけなどを行なうことによって，精度の向上が期待できる. Parger et al (Prager, Duboue, and Chu-Carroll 2006)は, 解候補を用いて質問文中のキーワードを解答とする新たな質問文を作り，解候補の検証を行なうことによって，解候補候補の再順位づけ及び正解無しの判定を行なう手法を提案している. 本手法で正解が適切に求められていないと判定された質問に対して, このような手法が有効であるか検討したい.

## 参考文献

Bos, J. (2006). "The "La Sapienza" Question Answering system at TREC-2006." In The Fifteenth Text REtrieval Conference Proceedings.

Burger, J. D. (2006). "MITRE' s Qanda at TREC-15." In The Fifteenth Text REtrieval Conference Proceedings.

Clarke, C. L., Cormack, G. V., and Lynam, T. R. (2001). "Exploiting redundancy in question answering." Proceeding of SIGIR' 01: the 24th Annual International ACM SIGIR Confersnce on Reserch and Development in Information Retrival.

Dong, H. T., Lin, J., and Kelly, D. (2006). "Overview of the TREC 2006 Question Answering Track." In The Fifteenth Text REtrieval Conference Proceedings.

Fukumoto, J., Kato, T., and Masui, F. (2002). "Question Answering Challenge (QAC-1) — Question answering evaluation at NTCIR Workshop 3 -." In Proceedings of the Third NTCIR Workshop Meeting, pp. 1-6.

Fukumoto, J., Kato, T., and Masui, F. (2004a). "Question Answering Challenge for Five Ranked Answers and List Answers - Overview of NTCIR4 QAC2 Subtask 1 and 2." In Proceedings of the Fourth NTCIR Workshop Meeting.

Fukumoto, J., Niwa, T., Itogawa, M., and Matsuda, M. (2004b). "Rits-QA: List Answer Detection and Context Task with Zero Anaphora Handling." In Proceedings of the Fourth NTCIR Workshop Meeting.

Harabagiu, S., Moldovan, D., Clark, C., Bowden, M., Williams, J., and Mensly, J. (2003). "Answer Mining by Combining Extraction Techniques with Abductive Reasoning." In The Tewlfth Text REtrieval Conference Proceedings.

Mori, T. (2004). "Japanese Q/A System using A* Search and Its Improvement: Yokohama National University at QAC2." In Proceedings of the Fourth NTCIR Workshop Meeting.

Murata, M., Utiyama, M., and Isahara, H. (2004). "Japanese Question-Answering System Using Decreased Adding with Multiple Answers." In Proceedings of the Fourth NTCIR Workshop Meeting.

Murata, M., Utiyama, M., and Isahara, H. (2005). "Use of Multiple Documents as Evidence with Dcreased Adding in a Japanese Qusetion Answering." In Journal of Natural Language Processing Volume 12 Number 2.

M.Voorhees, E. (2001). "Overview of the TREC 2001 Question Answering Track." In The Tenth Text REtrieval Conference Proceedings.

M.Voorhees, E. (2002). "Overview of the TREC 2002 Question Answering Track." In The Eleventh Text REtrieval Conference Proceedings.

M.Voorhees, E. (2003). "Overview of the TREC 2003 Question Answering Track." In The Tewlfth Text REtrieval Conference Proceedings.

M.Voorhees, E. (2004). "Overview of the TREC 2004 Question Answering Track." In The Thirteenth Text REtrieval Conference Proceedings.

M.Voorhees, E. and Dong, H. T. (2005). "Overview of the TREC 2005 Question Answering Track." In The Fourteenth Text REtrieval Conference Proceedings.

Prager, J., Duboue, P., and Chu-Carroll, J. (2006). "Improving QA Accuracy by Question Inversion." In Proceeding of the 21st International Conference on Comoutational Linguistics and 44th Annual Meeting of the ACL.

Rissanen, J. (1999). "MDL Denoising." In IEEE Trans. Information Theory.

Takaki, T. (2004). "NTT DATA Question-Answering Experiment at the NTCIR-4 QAC2." In Proceedings of the Fourth NTCIR Workshop Meeting.

Xu, J., Licuanan, A., and Weischendel, R. (2003). "TREC2003 QA at BBN:Answering definitional questions." In The Tewlfth Text REtrieval Conference Proceedings.

加藤恒昭, 桝井文人, 福本淳一, 神門典子 (2004). “リスト型質問応答の特徵付けと評価指標."自然言語処理研究会報告 2004-NL-163, 情報処理学会.
秋葉友良, 伊藤克亘, 藤井敦 (2004). “質問応答における常識的な解の選択と期待効用に基づく回答群の決定." 自然言語処理研究会報告 2004-NL-163, 情報処理学会.

## 略歴

石下円香：2006 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 同年同専攻博士課程後期進学, 現在に至る. 自然言語処理に関する研究に従事.

森辰則：1986 年横浜国立大学工学部情報工学科卒業. 1991 年同大学大学院工学研究科博士課程後期修了. 工学博士. 同年, 同大学工学部助手着任. 同講師、同助教授を経て, 現在, 同大学大学院環境情報研究院教授. この間, 1998 年 2 月より 11 月まで Stanford 大学 CSLI 客員研究員. 自然言語処理, 情報検索, 情報抽出などの研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, ACM 各会員.