# 仮説検定に基づく英文書の母語話者性の判別
## 冨浦 洋一†・青木さやか呫・柴田 雅博 $\cdot$ 行野 顕正 ${ ^{\dagger \dagger}$}

本論文では，ベイズ識別と仮説検定に基づいて，英文書の作成者の母語話者／非母語話者の判別を高精度で行う手法を提案する．品詞 $n$-gram モデルを言語モデルとし, 判別対象の文書の品詞列の生起確率を, 母語話者言語モデルにより求めた場合と非母語話者言語モデルにより求めた場合とで比較し, 判別を行う. $n$ を大きくすると, 母語話者/非母語話者固有の特徴をより良く扱うことが可能となり, 判別精度の向上が期待できる反面，ゼロ頻度問題およびスパースネスの問題が顕在化し，品詞 $n$-gram モデルのパラメ夕の最尤推定値を信頼することはできくなる。そこで,提案手法では, 仮説検定に基づいた方法で両言語モデルにおける生起確率の比を推定する．実験の結果，従来手法を上回る $92.5 \%$ の精度で判別できることを確認している.

キーワード：母語話者性判別，言語推定，仮説検定

## Discernment of Nativeness of English Documents Based on Statistical Hypothesis Testing

\author{
Yoichi Tomiura ${ }^{\dagger}$, Sayaka Aoki ${ }^{\dagger \dagger}$, Masahiro Shibata $^{\dagger}$ and Kensei Yukino ${ }^{\dagger \dagger \dagger}$
}

This paper proposes a method to discern the nativeness of English documents with high precision based on Bayes decision and a statistical hypothesis testing. Regarding a document as a sequence of part-of-speeches, the proposed method makes a comparison between probabilities of a document by the statistical language model of native English and by that of non-native English to discern the nativeness of the document. The statistical language model used here is a $n$-gram model. The $n$-gram model with a large $n$ can be expected to treat well the difference between the native English and the non-native one and has the potential to discern the nativeness with high precision. However, when we use the $n$-gram model with a large $n$, the zero frequency problem and the sparseness problem become acute and we cannot rely on the maximum likelihood estimates of $n$-gram probabilities. The proposed method estimates the ratio of the probability of the document by the native English language model to that by the non-native English language model using a statistical hypothesis testing. The experimental result shows that the proposed method discerns the nativeness with the precision $92.5 \%$, which is significantly higher than by traditional methods.

Key Words: Discernment of Nativeness, Language Identification, Statistical Hypothesis


Testing

## 1 はじめに

本論文では， ベイズ識別と仮説検定に基づいて，英文書の作成者の母語話者／非母語話者の判別（母語話者性の判別）を高精度で行う手法を提案する.

WWW 上の英文書を英語教育や英文書作成支援に利用する研究が盛んに行われている (大鹿,佐藤, 安藤, 山名 2005 ; 佐野, 猪野 2000 ; 大武, 河本, 竹腰, 国村, Morren, 竹内, 鵜川, 藤田，金子 2004). WWW 上にはオーサライズされた言語コーパスとは比べものにならないくらいの大量の英文書が存在するため, これを言語データとして活用することで, 必要な言語デー 夕の量の問題をかなり克服できる，しかし， WWW上の英文書の質は様々であり，英語を母語とする者あるいはそれと同等の英語運用能力を有する者が書いた英文書（本論文では母語話者文書と呼ぶ）と英語を母語としない者が書いた誤りや不自然な表現を含む英文書（本論文では非母語話者文書と呼ぶ）とが混在している．WWW上の英文書を英語学習教材として使用する場合，あるいは，英語表現の用例集として使用する場合は，使用する英文書を母語話者文書に制限するのが望ましい. また, 非母語話者に特有の文法的特徵や使用語彙の傾向を調査したり,非母語話者が犯しがちな不自然な表現を収集するには，大量の母語話者文書および非母語話者文書を必要とする。したがって，英語教育や英文書作成支援を目的としてWWW上の英文書を使用する場合，英文書の母語話者性判別を行う技術は非常に重要である.

本論文で提案する英文書の母語話者性判別手法では, 品詞 $n$-gram モデルを言語モデルとし,判別対象の文書の品詞列（文書中の単語をその品詞で置き換えた列）の母語話者言語モデルによる生起確率と非母語話者言語モデルによる生起確率との比に基づいて判別を行う． $n=5,6,7$ といった比較的大きな $n$-gram モデルを言語モデルとすることで, 母語話者／非母語話者固有の特徴をより良く扱うことが可能となり, 判別精度の向上が期待できる. しかしその反面, 両言語モデルのパラメタ（ $n$-gram 確率）を最尤推定した場合, 母語話者/非母語話者文書間で品詞 $n$-gram モデルのパラメ夕值に大きな違いがあるのか, 学習データの統計的な摇らぎに起因するものなのかが区別できない. $n=3$ という条件部が短い $n$-gram モデルを用いて判別を行う場合でさえ， ゼロ頻度問題およびスパースネスの問題に対処するために，通常なんらかのスムージングを行う。これに対し，提案手法では，仮説検定に基づいた方法で両言語モデルにおける文書の生起確率の比を推定する.

## 2 文書クラス識別の枠組み

本研究で扱う母語話者性の判別問題は, 文書 $d$ が属すクラスの識別問題の一種である。本節では，文書が属すクラスの識別の枠組みについて，その一般論を述べておく。

文書が属す可能性のあるクラスとして $, C_{1}, C_{2}, \cdots, C_{M}$ があるとする. 文書 $d$ がクラス $C$ に属す文書である尤もらしさ（尤度） $\operatorname{Lh}(d, C)$ を何らかの方法で設定し, $L h(d, C)$ が最大の $C$, つまり，

$
\arg \max _{C \in\left.\{C_{1}, C_{2}, \cdots, C_{M}\right.\}} L h(d, C)
$

を文書 $d$ が属すクラスとして識別する．文書 $d$ のどのような構成要素（特徴）を用いて $\operatorname{Lh}(d, C)$ をどのように定義するかにより，どのようなクラスの識別ができるか，および，その識別精度が異なって来る。次節で述べる言語識別, 本論文で扱う母語話者性の判別の他, ジャンルの識別, 著者識別, さらに迷惑メールの判別 (spam filter) もこの朹組みで議論することができる.

文書 $d$ の属すクラスが $C$ である尤度 $L h(d, C)$ を $d$ が与えられたときのクラス $C$ の事後確率 $P(C \mid d)$ とし, 文書 $d$ の属すクラスを,

$
\arg \max _{C \in\left.\{C_{1}, C_{2}, \cdots, C_{M}\right.\}} P(C \mid d)
$

と推定することもできる。これは，統計的パターン認識で用いられる事後確率最大化識別 (ベイズ識別) (麻生, 津田, 村田 2003) である. 文書 $d$ の生起確率を $P(d)$, クラス $C$ での $d$ の生起確率（クラス $C$ に属す文書が生起するときにその文書が $d$ である条件付き確率）を $P_{C}(d)$, クラス $C$ に属す文書の生起確率（ $C$ の事前確率）を $P(C)$ とすると, 上記の事後確率 $P(C \mid d)$ は

$
P(C \mid d)=\frac{P(C) P_{C}(d)}{P(d)}
$

と表せるので，式 (1)は,

$
\arg \max _{C \in\left.\{C_{1}, C_{2}, \cdots, C_{M}\right.\}} P(C) P_{C}(d)
$

と等しい，適当な統計的言語モデルを設定し，各クラス $C_{i}$ の文書集合（ $C_{i}$ の学習デー夕）を用いて， $C_{i}$ の言語モデルのパラメタを推定すれば，式 $(2)$ を用いて $d$ が属すクラスの識別をすることができる.

代表的な統計的言語モデルとして, $n$-gram モデルがある。一般に, ある時点で生起する事象の確率が，その直前の $n$ 個の時点で生起した事象だけの影響を受けるとき，これを $n$ 重マルコフ過程と呼び, $n$-gram モデルは, 記号の生起を $(n-1)$ 重マルコフ過程で近似したモデルであ

る (北 1999). 特に, $n=1$ の場合を uni-gram モデル, $n=2$ の場合を bi-gram モデル, $n=3$ の場合を tri-gram モデルと呼ぶ. $n$-gram モデルでは, 記号列 $\boldsymbol{a}=a_{1} a_{2} \cdots a_{\ell}$ の生起確率は,

$
P(\boldsymbol{a})=\prod_{i=1}^{\ell+1} P\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)
$

で表される. ただし， $j \leq 0$ のとき $a_{j}=@_{s}$ であり， @ $s_{s}$ は文頭を表す特殊記号である.また， $a_{\ell+1}=@_{e}$ であり， $@_{e}$ は文末を表す特殊記号である．記号としては，文字，単語，品詞などが考えられる，本論文では，記号が文字であるものを文字 $n$-gram モデル，記号が品詞であるものを品詞 $n$-gram モデルと呼ぶことにする. 条件付き確率 $P\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ は $n$-gram 確率と呼ばれる。本論文では，言語クラス $C$ の $n$-gram 確率を $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ と添え字を付けて表す。学習データの生起確率を最大にするようにモデルのパラメタを推定する最尤推定 (野田, 宮岡 1992)では, $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ は

$
\frac{f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1} a_{i}\right)}{\sum_{a \in A} f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1} a\right)}
$

すなわち,

$
\frac{f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1} a_{i}\right)}{f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1}\right)}
$

と推定される. $f_{C}(\boldsymbol{a})$ は言語クラス $C$ の学習データにおける記号列 $\boldsymbol{a}$ の出現頻度であり， $A$ は記号の全体集合である。しかし, $n$ が大きい場合, $n$-gram 確率を単純に式 (3)により推定すると,学習データ中に出現しない記号列 $a_{i-n+1} \cdots a_{i-2} a_{i-1} a_{i}$ に対して, $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ を 0 と推定してしまうという大きな問題がある。また，たとえ学習データ中に出現したとしても，条件部の記号列 $a_{i-n+1} \cdots a_{i-2} a_{i-1}$ の出現頻度が小さい場合は，統計的に信頼性のある確率值を推定するのが難しい，前者はゼロ頻度問題, 後者はスパースネスの問題と呼ばれている (北 1999). したがって, これらの問題に対処するために, 通常は $n$-gram 確率のスムージングを行う. 代表的なスムージング手法としては, 加算スムージング, 線形補間などがある (北 1999).一般に，線形補間の方が加算スムージングより精度が高いと言われている.

また, 多くの識別問題で高い性能を実現している 2 クラスの識別器である Support Vector Machine(麻生他 2003) を使って, 文書 $d$ の属すクラスを識別することもできる.

## 3 関連研究

文書の母語話者性の判別と関連の深い研究分野として, 文書の記述言語を推定する言語識別がある.

Cavnar らは，出現頻度上位の文字列とその順位を言語および文書の特徴と考える言語識別を
行っている (Cavnar and Trenkle 1994). 各言語 $L_{i}$ の学習データ文書中での 1～5 の長さの文字列のうち出現頻度上位 300 個の文字列とその順位を求めて，言語 $L_{i}$ における順位表を作成しておく，同様に，識別対象文書 $d$ に対しても順位表を作成する．dの順位表中の各文字列の順位と $L_{i}$ の順位表での順位との差の絶対値の和を $d$ と $L_{i}$ の非類似度 $\operatorname{dissim}\left(d, L_{i}\right)$ と考え, $\operatorname{dissim}(d, L)$ が最小の言語 $L$ を $d$ 記述言語として識別する. これは，前節で述べた枠組みに対して, $\operatorname{dissim}\left(d, L_{i}\right)$ の逆数を尤度 $L h\left(d, L_{i}\right)$ と考えたことに相当する.

また, 前田らは, 長さ 2 の文字列の出現頻度分布をユークリッド空間上のベクトル（頻度べクトル）であると考え，識別対象文書 $d$ の頻度ベクトルと各言語 $L_{i}$ の学習データ文書の頻度ベクトルとの余弦を,$d$ と言語 $L_{i}$ の類似度 $\operatorname{sim}\left(d, L_{i}\right)$ とする言語識別を行っている (前田, 関,吉川，植村 2001).これは，前節で述べた枠組みに対して， $\operatorname{sim}\left(d, L_{i}\right)$ を尤度 $\operatorname{Lh}\left(d, L_{i}\right)$ と考えたことに相当する。

行野らは，長い文字列の頻度は統計的な摇らぎが大きいものの，言語を特定する能力が高いと考え，1７の長さの文字列を言語および文書の特徴と考える言語識別の手法を提案している (行野, 田中, 冨浦, 松本 2006). 彼らの手法は, 識別対象文書 $d$ に出現する 1〜7 の長さの文字列集合と言語 $L_{i}$ の学習データに出現する 1～7 の長さの文字列集合の積集合の大きさを $L h\left(d, L_{i}\right)$ とする手法である. 長い文字列を特徵として使用した結果, 類似言語間の識別や識別対象文書が極めて短い場合の識別でも，Cavanr らの手法, 前田らの手法に比べ高い識別精度を実現したと報告している.

Dunning は文字 $n$-gram モデルにより $P_{L_{i}}(d)$ を求め, 言語の事前確率を等確率 $\left(P\left(L_{i}\right)=P\left(L_{j}\right)\right)$ と仮定して，ベイズ識別により，dの属す言語の識別を行っている (Dunning 1994). ただし， ゼ口頻度問題に対処するため，加算スムージングによる $n$-gram 確率のスムージングを行っている. $n=1 \sim 5$ を試した結果, $n=2$ の場合, つまり, bi-gram モデルの場合が最も識別精度が高かったと報告している.

Sibun らは, 長さ $n$ の文字列の確率分布を言語および文書の特徴と考え（実際には $n=1$ または $n=2$ を採用している), 確率分布間の相違尺度である KL-Divergence に基づいた言語識別手法を提案している (Sibun and Reynar 1996). 確率分布 $P$ と $Q$ の KL-Divergence (Kullback-Leibler 距離) $D_{K L}(P \| Q)$ は

$
D_{K L}(P \| Q)=\sum_{x \in \mathcal{X}} P(x) \log \frac{P(x)}{Q(x)}
$

で定義される (北 1999). Sibun らの手法は, $D_{K L}\left(P_{d} \| P_{L_{i}}\right)$ が最小の $L_{i}$ をの記述言語として識別する手法である。ただし， $P_{d}(\boldsymbol{a})$ は文書 $d$ における文字列 $\boldsymbol{a}$ の生起確率， $P_{L_{i}}(\boldsymbol{a})$ は言語クラス $L_{i}$ における文字列 $\boldsymbol{a}$ の生起確率である. $P_{d}(\boldsymbol{a})$ は

$
P_{d}(\boldsymbol{a})=\gamma \cdot f_{d}(\boldsymbol{a}) \quad \text { ただし, } \gamma=\frac{1}{\sum_{\boldsymbol{a} \in A^{n}} f_{d}(\boldsymbol{a})}
$

と推定されるので $\left(f_{d}(\boldsymbol{a})\right.$ は $d$ での文字列 $\boldsymbol{a}$ の出現頻度, $A$ は記号の全体集合, $A^{n}$ は可能な $n$ 長さの文字列の全体の集合)，言語 $L_{i}$ における文書 $d$ の生起確率 $P_{L_{i}}(d)$ を

$
P_{L_{i}}(d)=\prod_{\boldsymbol{a} \in A^{n}} P_{L_{i}}(\boldsymbol{a})^{f_{d}(\boldsymbol{a})}
$

と大胆に近似するならば,

$
D_{K L}\left(P_{d} \| P_{L_{i}}\right)=\sum_{\boldsymbol{a} \in A^{n}} P_{d}(\boldsymbol{a}) \log \frac{P_{d}(\boldsymbol{a})}{P_{L_{i}}(\boldsymbol{a})}=-\gamma \cdot \log P_{L_{i}}(d)+\sum_{\boldsymbol{a} \in A^{n}} P_{d}(\boldsymbol{a}) \log P_{d}(\boldsymbol{a})
$

となる.つまり, $D_{K L}\left(P_{d} \| P_{L_{i}}\right)$ が最小の $L_{i}$ を $d$ 記述言語として識別する Sibun らの手法は,式 (4)の近似を行った上で, 言語の事前確率を等確率と仮定して, ベイズ識別により, $d$ の属す言語の識別を行うことと等価である。なお, Sibun らもゼロ頻度問題に対処するために, $P_{L_{i}}(\boldsymbol{a})$ は

$
P_{L_{i}}(\boldsymbol{a})=\frac{f_{L_{i}}(\boldsymbol{a})+\delta}{\sum_{\boldsymbol{a} \in A^{n}}\left.\{f_{L_{i}}(\boldsymbol{a})+\delta\right.\}}
$

のように，加算スムージングによりスムージングしている（ $\delta$ は非負の定数 $).$

次に，本論文で扱う文書の母語話者性判別に関する従来研究について述べる.

Tomokiyo らは, 長さ $n(n=1,2,3)$ の記号列（記号としては, 単語, 品詞, および単語品詞混合の 3 種を試している）を言語および文書の特徴と考え, 文書（あるいは, 文書を構成する単語をその品詞に置き換えたもの, 文書を構成する一部の単語を品詞に置き換えたもの）の生起確率を式 (4)で近似し, ベイズ識別に基づく母語話者／非母語話者クラスの判別を行っている (Tomokiyo and Jones 2001). しかし, 彼らは, 子供用ニュース記事の音読による発話や観光などに関する自発的発話を, 音声認識器によりテキストにした文書, および, 人手で書き起こした文書を対象としている。音読では読み間違いが非母語話者の大きな特徴であり, 自発的発話では, 使用語彙が母語話者／非母語話者の間の大きな違いである。一方, 我々は, 論文などのように十分推敲して作成されているフォーマルな文書を対象としており，母語話者／非母語話者判別に有効な特徴量も異なってくるため, 彼らの判別実験結果と直接比較することはできない.

藤井らは, 品詞 tri-gram モデルを言語モデルとし, ゼロ頻度問題に対処できる Skew Divergence を用いて英文書の母語話者性の判別を行っている (藤井, 冨浦, 田中 2005). 以下で定義される判別対象文書 $d$ と言語クラス $C(\in\{N, N N\}, N$ : 母語話者言語クラス, $N N$ : 非母語話者言語クラス) との相違度 $E D(d ; C)$

$
E D(d ; C)=\sum_{\langle a b\rangle \in H^{2}} f_{d}(a b) D\left(P_{d}^{\langle a b\rangle} \| P_{C}^{\langle a b\rangle}\right)
$

を求め, $E D(d ; C)$ を最小にする $C(\in\{N, N N\})$ を $d$ が属すクラスとして推定する. ただし， $H$

は品詞の全体集合, $P_{d}^{\langle a b\rangle}$ は文書 $d$ における条件を $a b$ とする品詞 tri-gram 分布, $P_{C}^{\langle a b\rangle}$ はクラス $C$ における条件を $a b$ とする品詞 tri-gram 分布 ${ }^{1}, D$ は確率分布間の相違度である. 確率分布間の相違度 $D$ として KL Divergence を用いた場合, $E D(d ; C)$ を最小にする $C(\in\{N, N N\})$ は, 文書 $d$ の各単語をその品詞で置き換えた品詞列の生起確率を最大にする言語クラスである. したがって藤井らの手法は, 品詞 tri-gram モデルを言語モデルとし, 言語の事前確率を等確率と仮定して, Bayes 識別に基づいて $d$ が属すクラスを判定する方法と本質的には同じである.藤井らの手法の特徴は, 分布間の相違度 $D$ として KL Divergence を用いるのではなく, 以下で定義される Skew Divergence (Lee 1999) を用いている点にある.

$
D_{\text {skew }}(p \| q)=\sum_{x \in \mathcal{X}} p(x) \log \frac{p(x)}{\alpha \cdot q(x)+(1-\alpha) \cdot p(x)}
$

Skew Divergence はゼロ頻度問題に弱い KL Divergence を改良したものである。藤井らは， $\alpha$ を, 分布 $q\left(\right.$ つまり, $\left.P_{N}^{\langle a b\rangle}, P_{N N}^{\langle a b\rangle}\right)$ の推定に用いた学習データのサイズに応じて, $a b$ 毎に

$
\alpha(a b)=1-\exp \left(-\sqrt{\beta \cdot \min \left(f_{N}(a b), f_{N N}(a b)\right)}\right)
$

と設定している，彼らは， Skew Divergence を用いることで, 線形補間を施した品詞 tri-gram 分布による KL Divergence を用いた手法および多くの識別問題で高い精度を実現している Support Vector Machine を用いた手法よりも有意に高い判別精度を実現できたと報告している。

英文書の母語話者性判別は, 母語話者英語, 非母語話者英語という類似した言語の識別問題と捉えることもできる，青木らは，文書を，それを構成する単語を品詞で置き換えた品詞列と見なし，基本的には KL-Divergence を用いた Sibun らの言語識別手法に基づいて，文書の母語話者性の判別を行っている (青木, 冨浦, 行野, 谷川 2005).「長い文字列も言語特徴とすることで類似言語の識別精度が向上する」という行野らの知見からの予想通り, 長い品詞列の頻度情報を利用した場合の判別精度が高く $(n=6$ のときが最も精度が高い $)$, 藤井らの手法より高精度で母語話者性を判別できたと報告している。

著者らは, 青木らの主張と同じく, 長い品詞列の頻度情報も利用することが文書の母語話者性判別に有効であると考えている。藤井らの手法は言語モデルを $n>3$ の品詞 $n$-gram モデルとしてもそのまま適用できる。しかし, 藤井らは, 式 $(6)$ を
- $\alpha$ は $f=\min \left(f_{N}(a b), f_{N N}(a b)\right)$ の単調増加関数,
- $\lim _{f \rightarrow \infty} \alpha=1, \lim _{f \rightarrow 0} \alpha=0$
^{\langle a b\rangle}(x)$ は文書 $d$ において, 品詞列 $a b$ の次に品詞 $x$ が生起する確率 $P_{d}(x \mid a b), P_{C}^{\langle a b\rangle}(x)$ は言語クラス $C$ において, 品詞列 $a b$ の次に品詞 $x$ が生起する確率 $P_{C}(x \mid a b)$ である.
}

を満たす $\alpha$ の設定法の一例として用いたに過ぎず， $n$ を大きくした場合に，式 (6) で良いのかどうかは疑問である。 さらに， $n$ を大きくしたとき, 式 (6)では高い精度が得られない場合に,式 (6) に代えて，上記の性質を満たす $f=\min \left(f_{N}(a b), f_{N N}(a b)\right)$ のどのような関数を $\alpha$ の設定に用いればよいのかも明らかではない. 一方, 青木らの手法は, 統計的パターン認識の立場で見るならば, 近似式 (4)を仮定したべイズ識別による判別法である. しかし, 品詞 $n$-gram モデルに比べ，式 (4)は，近似としては非常に粗い.

$n$ が大きな品詞 $n$-gram モデルを言語モデルとして使用し, かつ, ゼロ頻度問題およびスパー スネスの問題を克服する新たな母語話者性判別手法を次節で述べる.

## 4 提案手法

本論文で提案する母語話者性判別手法は, 長い品詞列の頻度情報を利用することで, より高精度で判別を行うことをねらったもので, 長い品詞列の頻度情報を使うことによる信頼性の低下を防ぐために仮説検定を利用しているのが大きな特徴である.

藤井らおよび青木らの研究と同じく, 文書をそれを構成する単語を品詞で置き換えた品詞列とみなす. 品詞 $n$-gram モデルを言語モデルとし, 文書内の各文が独立に生起すると仮定すると, 品詞列に変換した文書 $d$ のクラス $C$ での生起確率 $P_{C}(d)$ は,

$
P_{C}(d)=\prod_{\boldsymbol{a} \in d} \prod_{i=1}^{\ell(\boldsymbol{a})+1} P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)
$

と表せる．ただし， $\ell(\boldsymbol{a})$ は文（品詞列） $\boldsymbol{a}$ の長さであり， $a_{i}$ は $\boldsymbol{a}$ の $i$ 番目の品詞である。また, $j \leq 0$ のとき $a_{j}=@_{s}$ であり， $a_{\ell(\boldsymbol{a})+1}=@_{e}$ である（2 節参照）. Bayes 識別に基づく文書 $d$ の母語話者性判別では，母語話者文書と非母語話者文書の事前確率を 0.5 とすると ${ }^{2}$,

$
\begin{array}{ll}
\frac{P_{N}(d)}{P_{N N}(d)}>1 & \Longrightarrow \text { 母語話者文書クラス }(N) \\
\frac{P_{N}(d)}{P_{N N}(d)}<1 & \Longrightarrow \text { 非母語話者文書クラス }(N N) \\
\text { その他 } & \Longrightarrow \text { 未定 }
\end{array}
$

と判別することになる.

生起確率の比の対数を取り, 文書（品詞列）の生起確率を式 (7)を用いて展開すると,

$
\log \frac{P_{N}(d)}{P_{N N}(d)}=\sum_{\boldsymbol{a} \in d} \sum_{i=1}^{\ell(\boldsymbol{a})+1} \log \frac{P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}{P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}
$

となる. 上式が正ならば $d$ は母語話者文書，負ならば $d$ は非母語話者文書と判別することになる。

より大きな $n$ における品詞 $n$-gram モデルは, 母語話者英語と非母語話者英語における品詞列の生起確率の相違をより良く取り扱うことができると予想される。しかし，現実的なサイズの学習データから最尤推定により求めた品詞 $n$-gram 確率による

$
\frac{P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}{P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}
$

では, この値が 1 から大きくずれる場合に，これが両言語の大きな相違を示しているのか，統計的な摇らぎに起因するものかが分からない（ゼロ頻度問題，スパースネスの問題）。そこで,式 (9) を仮説検定に基づいた以下に述べる 2 種類の手法により控えめに（最尤推定値を用いた場合の比より 1 に近い值として）推定し，これを用いて式 (8) の計算を行い母語話者性の判別を行う。

## 4.1 手法 1

手法 1 では, 式 (9) の値を以下のようにして推定する. ただし, $\widehat{P}_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ を $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の最尤推定值とする.

(A) $\widehat{P}_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)>\widehat{P}_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\begin{cases}\text { 帰無仮説： } & P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \leq \mu \cdot P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \\ \text { 対立仮説 }: & P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)>\mu \cdot P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)\end{cases}
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め, $\mu>1$ ならば $n$-gram 確率の比 $(9)$ を $\mu$ と推定し, $\mu \leq 1$ （つまり， $P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ が $P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ より有意に大きいと言えない) ならば 1 と推定する. $f_{C}(\boldsymbol{a})$ を言語クラス $C(\in\{N, N N\})$ のモデルの学習データにおける品詞列 $\boldsymbol{a}$ の出現頻度とすると，上記の $\mu$ は，

$
\begin{aligned}
x & =f_{N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1} a_{i}\right), & & y=f_{N N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1} a_{i}\right), \\
m & =f_{N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1}\right), & & n=f_{N N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)
\end{aligned}
$

として，付録 B の $\widehat{\mu}(x, m, y, n)$ で求めることができる.

(B) $\widehat{P}_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)<\widehat{P}_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\begin{cases}\text { 帰無仮説 : } & \mu \cdot P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \geq P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \\ \text { 対立仮説 }: & \mu \cdot P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)<P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)\end{cases}
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め, $\mu>1$ ならば $n$-gram 確率の比 $(9)$ を $1 / \mu$ と推定し, $\mu \leq 1$ (つまり, $P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ が $P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ より有意に小さいと言えない) ならば 1 と推定する。このような $\mu$ は, $x, m, y, n$ を前述 (A)のように定めると, $\widehat{\mu}(y, n, x, m)$ として求めることができる.

(C) $\widehat{P}_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)=\widehat{P}_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の場合 $n$-gram 確率の比 (9) を 1 と推定する.

つまり，頻度情報の統計的摇らぎを考慮し， $1-\alpha$ の信頼度で， $n$-gram 確率の比 $(9)$ を控えめに（最尤推定値を用いた場合の比より 1 に近い値として）推定する。一方の $n$-gram 確率が他方より有意に大きいと言えない場合, 両 $n$-gram 確率に大きな違いはないということで, この $n$-gram 確率の比を 1 と推定し，母語話者性判別に影響しないようにする.

表 1 に $n$-gram 確率の比の推定例を示す（有意水準 $\alpha=0.05 ）$. 例 (a) は頻度が小さいため有意水準 0.05 で一方の $n$-gram 確率が他方の $n$-gram 確率より大きいと判断できない場合で, 比を 1 と推定している。例 (b)〜 (e) は最尤推定値を用いた場合より 1 に近い値を推定している （つまり，スパースネスの問題に対処できている），例 $(\mathrm{f})(\mathrm{g})$ は，最尤推定值を用いると $n$-gram 確率の比がそれぞれ $\infty, 0$ となってしまう場合であるが，有意水準 0.05 での推定では 0 より大きな有限の値となっており，母語話者性の判別に決定的な影響を与えることを避けている（つまり，ゼロ頻度問題にも対処できている)。

表 $1 n$-gram 確率の比の推定例

 &  \\

(b) & 10 & 20 & 10 & 50 & 2.5 & 1.342 \\
$($ c) & 100 & 200 & 10 & 50 & 2.5 & 1.596 \\
$(\mathrm{~d})$ & 100 & 200 & 100 & 500 & 2.5 & 2.069 \\
$(\mathrm{e})$ & 10 & 50 & 10 & 20 & 0.4 & 0.745 \\
$(\mathrm{f})$ & 10 & 100 & 0 & 100 & $\infty$ & 4.897 \\
$(\mathrm{~g})$ & 0 & 100 & 10 & 100 & 0.0 & 0.204 \\

## 4.2 手法 2

手法 2 は, 手法 1 を拡張し, $n$-gram 確率の比 (9) の推定において, 有意水準 $\alpha$ では両言語モデルにおける $n$-gram 確率の一方が他方より有意に大きいと判断できない場合に, $3 \leq k<n$ の $k$-gram 確率の比の推定値を用いるものである ${ }^{3}$.

(1) $k \longleftarrow n$

(2) 以下の 3 つの場合に応じて,

$
\frac{P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)}{P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)}
$

を推定する.

(A) $\widehat{P}_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)>\widehat{P}_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\begin{cases}\text { 帰無仮説： } & P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \leq \mu \cdot P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \\ \text { 対立仮説 }: & P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)>\mu \cdot P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)\end{cases}
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め, $\mu>1$ ならば $k$-gram 確率の比 $(10)$ を $\mu$ と推定し， $\mu \leq 1$ ならば 1 と推定する.

(B) $\widehat{P}_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)<\widehat{P}_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\left.\{\begin{array}{l}
\text { 帰無仮説 : } \quad \mu \cdot P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \geq P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \\
\text { 対立仮説 }: \quad \mu \cdot P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)<P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)
\end{array}\right.
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め， $\mu>1$ ならば $k$-gram 確率の比 $(10)$ を $1 / \mu$ と推定し, $\mu \leq 1$ ならば 1 と推定する.

(C) $\widehat{P}_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)=\widehat{P}_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)$ の場合 $k$-gram 確率の比 (10) を 1 と推定する.

(3) 推定した $k$-gram 確率の比 (10) が 1 で，かつ， $k>3$ ならば， $k \longleftarrow k-1$ として (2)へ. そうでないならば, この推定値を式 (9) の推定值とする.

## 5 実験

2 つの提案手法, つまり,
- 式 (9)の値の推定を手法 1 で行う判別手法 (Hypo1),

$\cdot$ 式 (9)の值の推定を手法 2 で行う判別手法 (Hypo2)
^{3} 2 \leq k<n$ も実験では試してみたが， $3 \leq k<n$ の場合より, 若干精度が低下した. これは, bi-gram モデルでは母語話者/非母語話者文書の相違を扱うにはモデルが単純過ぎることを意味している.
}

を用いた母語話者性判別実験を行った。また，

・ 藤井らの手法で使用する言語モデルを $n$-gram に拡張した手法 (Skew),
- 青木らの手法 (KL)

による母語話者性判別を行い, 提案手法との比較を行った.

実験データは以下の 2 種類を用意した。

## ・データ 1

電気情報関係の国際会議で発表された英語科学技術論文. 内訳は,
- 英語圈（米国，英国，カナダ，オーストラリア）で開催された採択率 $50 \%$ 未満の国際会議の論文で, 第一著者が英語圈所属の非日本人名である論文 602 件,
- 東/東南アジアで開催された採択率 $50 \%$ 以上の国際会議の論文で, 第一著者が日本所属の日本人名の論文 679 件

である。擬似的に，前者を母語話者文書集合，後者を非母語話者文書集合とした。なお,母語話者文書集合／非母語話者文書集合における品詞列の出現頻度情報の信頼度がほぼ同一となるように, 両文書集合中の延べ単語数（下記の前処理後の単語数）がほぼ同数になるように文書数を設定した。

## ・データ 2

電気情報関係の国際会議で発表された英語科学技術論文で，校正専門家（母語話者）が母語話者性を判定したもの 60 件 (母語話者文書 25 件, 非母語話者文書 35 件).これは, (青木他 2005) で使用されている評価用論文と同一のものである.

なお, 論文の収集に際しては，両文書集合に母語話者／非母語話者以外の特徵の差が現れないように注意を払った. すなわち, 複数の研究分野から論文を収集し, 図表や数式, ヘッダやフッ夕などの情報を削除するという前処理を行った。単語列から品詞列への変換には Tree Tagger4を用いた．変換後の品詞異なり数は 57 であった（文頭, 文末の特殊記号 $\varrho_{s}, @_{e}$ を除く).

データ 1 に付与された母語話者性 $(N / N N$ の別) はかなり精度は高いものの, 勿論誤りを含む. そこで，参考としてデータ 2 をテストデータ（判別対象文書）とした実験（評価実験 2）も行った. データ数が少ないため, 各手法に対して有意な差は期待できないが, データ 1 での結果と同様の傾向が見られるかどうかを調べた.

各手法の評価は, 以下の 2 つの精度

$
\begin{gathered}
\operatorname{Prec}(N)=\frac{\text { 母語話者文書で母語話者文書と判別された文書数 }}{\text { 母語話者文書と判別された文書数 }} \operatorname{Prec}(N N)=\frac{\text { 非母語話者文書で非母語話者文書と判別された文書数 }}{\text { 非母語話者文書と判別された文書数 }}
\end{gathered}
$
^{4}$ http://www.ims.uni-stuttgart.de/projekte/corplex/TreeTagger/DecisonTreeTagger.html
}

のうち值の低い方（これを MinPrec と表記する）を用いて評価する. これは, 本手法の目的が,母語話者文書および非母語話者文書をともに高精度で収集することにあるからである。

## 5.1 評価実験 1

以下のようにして, 各手法の精度をデータ 1 を用いて 10 交差検定 (10-fold cross validation)(北 1999) で求める.

（1）データ 1 の母語話者文書集合を $B_{1}^{N}, B_{2}^{N}, \cdots, B_{10}^{N}$ と 10 ブロックに分割する. 同様にデー 夕 1 の非母語話者文書集合を $B_{1}^{N N}, B_{2}^{N N}, \cdots, B_{10}^{N N}$ と 10 ブロックに分割する.

(2) 各 $t=1,2, \cdots, 10$ に対して，以下を行う.

(a) 各 $i=1,2, \cdots, 10(\neq t)$ に対して, $B_{t}^{N}, B_{i}^{N}$ を除く 8 ブロックの母語話者文書を母語話者言語モデルの学習データ， $B_{t}^{N N}, B_{i}^{N N}$ を除く 8 ブロックの非母語話者文書を非母語話者言語モデルの学習データとして, $\left(B_{i}^{N}, B_{i}^{N N}\right)$ の各文書の母語話者性を判別し, MinPrec が最大となるメタパラメタの値を求める.

(b) 上記で求めたメタパラメタの値（9 個）の平均値をメタパラメタの値として設定し， $B_{t}^{N}$ を除く 9 ブロックの母語話者文書を母語話者言語モデルの学習データ， $B_{t}^{N N}$ を除く 9 ブロックの非母語話者文書を非母語話者言語モデルの学習データとして， $\left(B_{t}^{N}, B_{t}^{N N}\right)$ の各文書の母語話者性を判別する.

（3）上記 (b) で求めた母語話者性判別結果より，精度を求める.

なお，各手法におけるメタパラメ夕は，手法 Hypo1 と Hypo2 では有意水準 $\alpha$, 手法 Skew では式 (6)の $\beta$, 手法 $\mathrm{KL}$ では式 (5)の加算項 $\delta$ である. 上記 (2)の (a) での各 $\left(B_{i}^{N}, B_{i}^{N N}\right)$ に対する MinPrec が最大となるメタパラメタの値は,

$
\begin{aligned}
& \alpha \in\{0.01,0.03,0.05,0.07,0.09,0.11\} \quad(\text { Hypo 1, 2) } \\
& \beta \in\{0.01,0.02, \cdots, 0.15\} \quad \text { (Skew) } \\
& \delta \in\left.\{1 \times 10^{-7}, 3 \times 10^{-7}, 5 \times 10^{-7}, 1 \times 10^{-6}, 3 \times 10^{-6}, \cdots, 5 \times 10^{-4}\right.\}
\end{aligned}
$

の範囲で求めた.

## 5.2 評価実験 2

以下のようにして，データ 1 を学習データ，データ 2 をテストデータとした場合の各手法の精度を求める。

（1）データ1の母語話者文書集合を $B_{1}^{N}, B_{2}^{N}, \cdots, B_{10}^{N}$ と 10 ブロックに分割する. 同様にデー 夕 1 の非母語話者文書集合を $B_{1}^{N N}, B_{2}^{N N}, \cdots, B_{10}^{N N}$ と 10 ブロックに分割する.

(2) 各 $i=1,2, \cdots, 10$ に対して, $B_{i}^{N}$ を除く 9 ブロックの母語話者文書を母語話者言語モデルの学習データ， $B_{i}^{N N}$ を除く 9 ブロックの非母語話者文書を非母語話者言語モデルの学習データとして, $\left(B_{i}^{N}, B_{i}^{N N}\right)$ の各文書の母語話者性を判別し, MinPrec が最大となるメタパラメタの值を求める.

（3）上記で求めたメタパラメタの値（10個）の平均値をメタパラメ夕の値として設定し, デー 夕 1 の全母語話者文書を母語話者言語モデルの学習データ，データ 1 の全非母語話者文書を非母語話者言語モデルの学習データとして, データ 2 の各文書の母語話者性を判別し, 精度を求める。

上記 (2) での MinPrec が最大となるメタパラメタ値は前節と同様の範囲で求めた.

## 5.3 結果と考察

$n=3,4,5,6,7,8$ なる品詞 $n$-gram を言語モデルとした場合の 2 つ評価実験の結果を表 2 に示す. 表には, MinPrec だけでなく, 参考のため, $\operatorname{Prec}(\mathrm{N}), \operatorname{Prec}(\mathrm{NN})$ も挙げている.また,『未定』の判定になった数を挙げている. 手法 Skew のみ未定があるが, これは, 条件部の品詞列の学習データにおける頻度が高い品詞 $n$-gram 分布が存在し, 用いた計算機の精度では式 (6) の值が 1 となり, その結果 $E D(d ; N)$ も $E D(d ; N N)$ もとなってしまったことによる.評価実験 1 では, 各手法とも， $n>3$ で MinPrec が最も高い. 手法 Skew は， $\alpha$ の設定式 (6) が最適とは限らないことを述べたが, それでも， $n=5$ の場合は $n=3$ の場合より精度が $1 \%$ 向上しており, このことからも, 条件部の長い品詞 $n$-gram モデルを言語モデルとすることの有効性が分かる。

提案手法では, Hypo2 の $n=7$ の場合の $\operatorname{MinPrec}$ が最も高く, $\operatorname{MinPrec}=\operatorname{Prec}(N)=$ $552 / 597 \simeq 0.925$ である. 一方, 従来手法では, Skew の $n=5$ の場合の MinPrec が最も高く, $\operatorname{MinPrec}=\operatorname{Prec}(N)=546 / 606 \simeq 0.901$ である. 2 つの二項母集団の母比率の差の検定 (竹村 1991）を行うと, 有意水準約 $8 \%$ で有意差があることが示せ, AIC に基づく2つの二項母集団の母比率の差の検定 (鈴木 1995) でも有意差が示せる.

2 つの提案手法 Hypo1 と Hypo2 の比較では, 同一の $n$ に対する MinPrec は Hypo2 の方が概ね高い. 特に， $n=6,7,8$ ではその差は大きく, $n$-gram 確率に関して, 母語話者 $/$ 非母語話者文書間で有意な差がない場合に， $k<n$ なる $k$-gram 確率を利用して式 (9) を推定する効果が現れていることが分かる.

評価実験 2 でも, 各手法とも $n>3$ で MinPrec が最も高く, そのうち, Hypo2 の MinPrec が最も高い. また, Hypo1 と Hypo2における同一の $n$ に対する MinPrec は Hypo2 の方が概ね高い，評価実験 2 では使用したテスト文書数が少ないため，信頼性のある結果とは言えないが, このように評価実験 1 とある程度同様の傾向が現れていることが分かる.
表 2 評価実験 1，2 の結果

 &  &  &  &  &  &  \\

## 6 おわりに

英文書を品詞列と見なし, 品詞 $n$-gram モデルを統計的言語モデルとしたべイズ識別に基づく母語話者性判別手法を提案した，提案した手法は，長い品詞列の頻度情報を利用し，仮説検定を利用して，長い品詞列の頻度情報を使うことによる信頼性の低下を防ぐもので，従来手法からの判別精度の改善が確認できた。

現在, Web 上から科学技術論文を収集し, 提案した母語話者性判別システムを用いて母語話者／非母語話者英語論文コーパスを構築することを検討している.

## 謝 辞

本研究の一部は, 科学研究費補助金・基盤研究 B（課題番号 20320082）により行われた.

## 参考文献

Cavnar, W. B. and Trenkle, J. M. (1994). "N-Gram-Based Text Categorization." In Proceedings of SDAIR-94, 3rd Annual Symposium on Document Analysis and Information Retrieval, pp. 161-175 Las Vegas, US.

Dunning, T. (1994). "Statistical Identification of Language." Techical report MCCS-94-273, Computing Research Lab (CRL), New Mexico State University.

Lee, L. (1999). "Measures of Distributional Similarity." In 37th Annual Meeting of the Association for Computational Linguistics, pp. 25-32.

Sibun, P. and Reynar, J. C. (1996). "Language Identification: Examining the Issues." In 5th Symposium on Document Analysis and Information Retrieval, pp. 125-135 Las Vegas, Nevada, U.S.A.

Tomokiyo, L. M. and Jones, R. (2001). "You're Not From Round Here, Are You? Naive Bayes Detection of Non-native Utterance Text." In Proceedings of the 2nd Meeting of the North American Chapter of the Association for Computational Linguistics (NAACL-01), pp. 239-5246.青木さやか, 冨浦洋一, 行野顕正, 谷川龍司 (2005). “言語識別技術を応用した英語における母語話者文書・非母語話者文書の判別.”情報科学技術レターズ, 第 5 巻, pp. 85-88.

野田一雄, 宮岡悦良 (1992). 数理統計学の基礎. 共立出版.

麻生英樹, 津田宏治, 村田昇 (2003). 統計科学のフロンティア 6 パターン認識と学習の統計学.岩波書店.

鈴木義一郎 (1995). 情報量規準による統計解析入門. 講談社.

北研二 (1999). 言語と計算 4 確率的言語モデル. 東京大学出版会.

行野顕正, 田中省作, 冨浦洋一，松本英樹 (2006). “低頻度 byte 列を活用した言語識別.”情報処理学会論文誌, 47 (4), pp. 1287-1294.

藤井宏, 冨浦洋一, 田中省作 (2005). “Skew Divergence に基づく文書の母語話者性の推定." 自

然言語処理, 12 (4), pp. 79-96.

大鹿広憲, 佐藤学, 安藤進, 山名早人 (2005). “Google を活用した英作文支援システムの構築."

In Data Engineering Workshop, pp. 4B-i8.

竹村彰通 (1991). 現代数理統計学. 創文社.

大武博, 河本健, 竹腰正隆, 国村正子, Brian Morren, 竹内浩昭, 鵜川義弘, 藤田信之, 金子
周司 (2004). “インターネット利用による電子英文情報の即時教材化システムの開発とその教育利用.”情報処理学会研究会報告, FI, No.77, pp. 23-32.

佐野洋, 猪野真理枝 (2000). “英語文法の難易度計測と自動分析.”情報処理学会研究会報告, CE, No.58, pp. 5-12.

前田亮，関慶妍，吉川正俊，植村俊亮 (2001). “Web 文書の符号系および使用言語の自動識別."

電子情報通信学会論文誌, J84-D-II (1), pp. 150-158.

## 付録

## A 2 つの二項母集団の母比率の比の検定

標本 $\boldsymbol{X}$ の統計モデルを $\{P(\cdot ; \theta) \mid \theta \in \Theta\}$ とし $(\Theta$ はパラメ夕空間 $), \Theta_{0}$ と $\Theta_{1}$ を $\Theta_{0} \cap \Theta_{1}=\emptyset$, $\Theta_{0} \cup \Theta_{1}=\Theta$ なる $\Theta$ の部分集合とする. $\theta \in \Theta_{0}$ は帰無仮説, $\theta \in \Theta_{1}$ は対立仮説と呼ばれる.標本 $\boldsymbol{X}$ の值（観測値） $\boldsymbol{x}$ を基に $\theta \in \Theta_{0}$ か $\theta \in \Theta_{1}$ かを決定することを統計的仮説検定という（詳しくは，たとえば，文献 (野田，宮岡 1992）を参照)，標本 $\boldsymbol{X}$ の統計量 $T(\boldsymbol{X})$ を用いて $T(\boldsymbol{x}) \geq t$ のとき帰無仮説を棄却する検定を考える．与えられた $\Theta_{0}$ と $\alpha$ に依存させて $t$ を

$
\forall \theta \in \Theta_{0} P(T(\boldsymbol{X}) \geq t ; \theta) \leq \alpha
$

を満たすように設定すると, この検定は, 有意水準 $\alpha$ の検定（帰無仮説が正しいにもかかわらず帰無仮説を棄却してしまう確率が $\alpha$ 以下である検定）となる.

確率変数 $X$ が二項分布 $B(m, p)^{5}$ に従い, 確率変数 $Y$ が二項分布 $B(n, q)$ に従うとし, $x / m>y / n$ である場合に， $(X, Y)$ の観測値 $(x, y)$ を基に $p / q>\mu$ であるか否かの判定を行いたい.このような判定を行う検定は, 著者の知る限りでは, 確率・統計のテキストなどでは解説されていない．望ましい性質を持つことで知られる尤度比検定を行うことも考えられるが， $m$, $n$ が大きくなった場合, 棄却判定の計算に時間を要する. したがって, 尤度比検定を用いた場合，現実的な時間内で一つの文書の母語話者性の判別ができないことがある.

そこで，本研究では，このような判定を高速に行う近似的な検定手法を新たに考案し，これを母語話者性の判別に利用する。一様最強力検定や第 2 種の誤り（帰無仮説が正しくないにもかかわらず帰無仮説を採択してしまう）確率が本手法より小さな検定で高速なものが求まるならば，これらの検定を利用することで母語話者性の判別の精度はより向上すると考えられる.
^{5} X$ の確率関数 $f_{X}(x)$ が以下で与えられる分布である.

$
f_{X}(x)= \begin{cases}{ }_{m} C_{x} p^{x}(1-p)^{m-x} & ; x=0,1,2, \cdots, m, \\ 0 & ; \text { その他 }\end{cases}
$
}
帰無仮説と対立仮説を以下のように設定した検定を考える。

$
\begin{aligned}
& \text { 帰無仮説 : }(p, q) \in \Theta_{0}=\{(p, q) \mid p \leq \mu q, 0 \leq p \leq 1,0 \leq q \leq 1\} \\
& \text { 対立仮説 : }(p, q) \in \Theta_{1}=\{(p, q) \mid p>\mu q, 0 \leq p \leq 1,0 \leq q \leq 1\}
\end{aligned}
$

本論文では母比率の比の検定と呼ぶ，本質的には， $p \leq \mu q$ であるか否かであるが，ここでは上記のように正確に両仮説を記述しておく．帰無仮説が棄却されるならば， $p / q>\mu$ と判定したことになる。対立仮説が正しい場合に，その観測值が大きな値となる傾向を持つ統計量 $T^{\dagger}(X, Y)$

$
T^{\dagger}(X, Y)=\frac{X / m}{(Y+1) /(n+1)}
$

を用いて， $T^{\dagger}(x, y) \geq t^{\dagger}(\mu)$ のとき帰無仮説を棄却することにする. 分母の ‘ +1 ’ は $Y$ の観測値が 0 の場合でも $T^{\dagger}$ が定義できるように導入したものである. 式 (11)より, $t^{\dagger}(\mu)$ は

$
\forall(p, q) \in \Theta_{0} \quad P\left(T^{\dagger}(X, Y) \geq t^{\dagger}(\mu) ; p, q\right) \leq \alpha
$

を満たすように， $\mu$ と有意水準 $\alpha$ に応じて設定される。

本手法では, $t^{\dagger}(\mu)$ を求めて帰無仮説の棄却判定を行う代わりに, 観測値 $(x, y)$ の $p$-値を用いて棄却判定を行う。 $(x, y)$ の $p$-値とは, $(x, y)$ を基に帰無仮説を棄却できる最小の有意水準のことである。明らかに, $P\left(T^{\dagger}(X, Y) \geq t ; p, q\right)$ は $t$ の減少関数であり, $T^{\dagger}(x, y) \geq t^{\dagger}(\mu)$ のとき帰無仮説を棄却するのであるから， $(x, y)$ の $p$-值は以下で与えられ，

$
\max _{(p, q) \in \Theta_{0}} P\left(T^{\dagger}(X, Y) \geq T^{\dagger}(x, y) ; p, q\right)
$

この值が $\alpha$ 以下である場合に，有意水準 $\alpha$ で帰無仮説を棄却することになる.ここで新たに

$
T(X, Y)=\frac{X}{Y+1}
$

と定義すると，式 (13) は，以下と等しい.

$
\max _{(p, q) \in \Theta_{0}} P(T(X, Y) \geq T(x, y) ; p, q) .
$

$Y$ が $B(n, q)$ に従うとき, $0 \leq y_{0}<n$ なる任意の $y_{0}$ に対して $P\left(Y \leq y_{0} ; q\right)$ は $q$ の単調減少関数であり， $y_{0}<0$ なる任意の $y_{0}$ に対して $P\left(Y \leq y_{0} ; q\right)=0$ であり, $y_{0} \geq n$ なる任意の $y_{0}$ に対して $P\left(Y \leq y_{0} ; q\right)=1$ である. この性質と, $0<x, y<n(\because$ 前提 $x / m>y / n)$, および,

$
P(T(X, Y) \geq T(x, y) ; p, q)=\sum_{x^{\prime}=0}^{m}{ }_{m} C_{x^{\prime}} p^{x^{\prime}}(1-p)^{m-x^{\prime}} \cdot P\left(\frac{x^{\prime}}{Y+1} \geq T(x, y) ; q\right)
$

と表すことができることから, $(x, y)$ の $p$-值である式 $(14)$ は,

$
\max _{(p, q) \in \Theta_{0}^{\prime}} P(T(X, Y) \geq T(x, y) ; p, q)
$

と等しい. ただし， $\Theta_{0}^{\prime}=\{(p, q) \mid p=\mu q, 0 \leq p \leq 1,0 \leq q \leq 1\}$ である.

観測値 $(x, y)$ に基づいた, $(p, q) \in \Theta_{0}^{\prime}$ の下での $p, q$ の最尤推定值（つまり， $(x, y)$ の生起確率を最大にする $p, q$ の値) を $p^{*}(\mu), q^{*}(\mu)$ で表すと,

$
\begin{aligned}
p^{*}(\mu) & =\mu \cdot q^{*}(\mu) \\
q^{*}(\mu) & =\frac{x+\mu y+\mu m+n-\sqrt{(x+\mu y+\mu m+n)^{2}-4(x+y)(m+n) \mu}}{2(m+n) \mu}
\end{aligned}
$

である。本手法では，検定に要する時間を考慮し，式 $(15)$ を $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)$ で近似し,

$
P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right) \leq \alpha
$

ならば帰無仮説を棄却する。

二項分布 $B(m, p)$ に従う確率変数の分布関数は, $m p>5$ かつ $m(1-p)>5$ の場合, 正規分布で近似できる。そこで, $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right) \leq \alpha$ の判定に必要な $P(T(X, Y) \geq t ; p, q)$ の計算は， $X, Y$ の分布を正規分布で近似できるか否かにより，4つの場合に分けて行った， $X$, $Y$ 共に正規分布で近似できる場合と，Xのみ正規分布で近似できる場合の計算をそれぞれ以下の(1)(2)に示す。以下に示すとおり，正規分布の性質を利用して高速な計算が可能である.

(1) $5<m p<m-5$ かつ $5<n q<n-5$ の場合

$
P(T(X, Y) \geq t ; p, q)=P(X-t Y \geq t ; p, q)
$

である．X の分布は正規分布 $N(m p, m p(1-p))$ で近似でき $6, Y$ の分布は $N(n q, n q(1-q))$ で近似できるので，正規分布の性質より，

$
P(T(X, Y) \geq t ; p, q)=P\left(Z \geq \frac{t-m p+t n q}{\sqrt{m p(1-p)+t^{2} n q(1-q)}}\right)
$

である．ただし， $Z$ は標準正規分布に従う確率変数である.

(2) $5<m p<m-5$ かつ $[n q \leq 5$ または $n-5 \leq n q]$ の場合

$
P(T(X, Y) \geq t ; p, q)=\sum_{y^{\prime}=0}^{n} P\left(Y=y^{\prime} ; q\right) \cdot P\left(X \geq t\left(y^{\prime}+1\right) ; p\right)
$
$ の正規分布を $N\left(\xi, \sigma^{2}\right)$ で表す.
}

である. $X$ の分布は正規分布 $N(m p, m p(1-p))$ で近似できるので,

$
P(T(X, Y) \geq t ; p, q)=\sum_{y^{\prime}=0}^{n}{ }_{n} C_{y^{\prime}} q^{y^{\prime}}(1-q)^{n-y^{\prime}} \cdot P\left(Z \geq \frac{t\left(y^{\prime}+1\right)-m p}{\sqrt{m p(1-p)}}\right)
$

である。ただし， $Z$ は標準正規分布に従う確率変数である.

## B 仮説検定を利用した母比率の比の推定

$X$ を二項分布 $B(m, p)$ に従う確率変数, $x$ をその観測値, $Y$ を二項分布 $B(n, q)$ に従う確率変数, $y$ をその観測值とする（勿論， $p, q$ は未知である）. $x / m>y / n$ を前提として, 前節の仮説検定で，帰無仮説を棄却できる最大の $\mu$ ，つまり，

$
P\left(T(X, Y) \geq T(x, y) ; p^{*}(\widehat{\mu}(x, m, y, n)), q^{*}(\widehat{\mu}(x, m, y, n))\right)=\alpha
$

なる $\widehat{\mu}(x, m, y, n)$ を以下のようにして求める.

$
p v(\mu ; x, y)=P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)
$

とおき, $p v(\mu ; x, y)$ が $\mu$ の増加関数になっていることを利用して 7,2 分法により求める.

(1) $\mu_{L}=1$ とし, $p v\left(\mu_{L} ; x, y\right)<\alpha$ となるまで, $\mu_{L} \leftarrow \mu_{L} / 2$ を繰り返す.

$
\mu_{R}=1 \text { とし, } p v\left(\mu_{R} ; x, y\right)>\alpha \text { となるまで, } \mu_{R} \leftarrow 2 \cdot \mu_{R} \text { を繰り返す. }
$

(2) $\mu_{R}-\mu_{L}$ が十分小さくなるか, $p v\left(\left(\mu_{L}+\mu_{R}\right) / 2 ; x, y\right)=\alpha$ となるまで以下を繰り返す.

$-\mu_{C} \leftarrow\left(\mu_{L}+\mu_{R}\right) / 2$
- $\left.\{p v\left(\mu_{L} ; x, y\right)-\alpha\right.\}$ と $\left.\{p v\left(\mu_{C} ; x, y\right)-\alpha\right.\}$ が同符号ならば, $\mu_{L} \leftarrow \mu_{C}$ とし, そうでないならば, $\mu_{R} \leftarrow \mu_{C}$ とする.

(3) $\left(\mu_{L}+\mu_{R}\right) / 2$ が $\widehat{\mu}(x, m, y, n)$ である.

最後に, 前節で述べた $T^{\dagger}(X, Y)$ による $p / q$ の信頼区間を文献 (野田, 宮岡 1992) に従って

ミュレーションによりこれを確かめる.

標本 $\boldsymbol{X}$ の統計モデルを $\{P(\cdot ; \theta) \mid \theta \in \Theta\}$ とし， $S(\boldsymbol{x})$ を $\Theta$ の部分集合とする.

$
\forall \theta \in \Theta \quad P(\theta \in S(\boldsymbol{X}) ; \theta) \geq 1-\alpha
$
^{7} p^{*}(\mu)$ は $\mu$ の増加関数, $q^{*}(\mu)$ は $\mu$ の減少関数になっていることが示せる.

このことから, $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)$ が $\mu$ の増加関数になっていることが示せる.
}

となるとき， $S(\boldsymbol{X})$ を $\theta$ の 100(1- $\alpha) \%$ 信頼領域（ $S(\boldsymbol{X})$ が区間になる場合は信頼区間）と言う. $p / q$ はパラメタではないが, この定義に当てはめるならば, 統計量 $L(X, Y)$ が

$
\forall(p, q) \in[0,1]^{2} \quad P(L(X, Y)<p / q ; p, q) \geq 1-\alpha
$

を満たすならば, $(L(X, Y), \infty)$ は $p / q$ の 100(1- $\alpha) \%$ 信頼区間である.これは, $(X, Y)$ の観測値を 100 個得たとき， $L(x, y)<p / q$ を満たす観測値 $(x, y)$ が $100(1-\alpha)$ 個程度以上あることを意味している。観測値 $(x, y)$ に対する $L(x, y)$ は,

$
L(x, y)=\max \left.\{\mu \mid T^{\dagger}(x, y) \geq t^{\dagger}(\mu)\right.\}
$

で求めることができる，以下にこれを示す．上記定義より， $\left(p_{0}, q_{0}\right)$ を任意に選んだとき，

$
L(x, y)<p_{0} / q_{0} \Longleftrightarrow T^{\dagger}(x, y)<t^{\dagger}\left(p_{0} / q_{0}\right)
$

が成立する。したがって，

$
\begin{aligned}
P\left(L(X, Y)<p_{0} / q_{0} ; p_{0}, q_{0}\right) & =P\left(T^{\dagger}(X, Y)<t^{\dagger}\left(p_{0} / q_{0}\right) ; p_{0}, q_{0}\right) \\
& =1-P\left(T^{\dagger}(X, Y) \geq t^{\dagger}\left(p_{0} / q_{0}\right) ; p_{0}, q_{0}\right) \\
& \geq 1-\alpha \quad\left(\because p_{0} \leq\left(p_{0} / q_{0}\right) q_{0} \text { と式 }(12)\right)
\end{aligned}
$

$p_{0}, q_{0}$ は任意に選んだので， $L(X, Y)$ は式 (17) を満たすことが分かる， $L(x, y)$ の定義より, $L(x, y)$ は帰無仮説 $(p \leq \mu q)$ を棄却できる最大の $\mu$ である。前節で述べた検定は, $p$-値 $(15)$ (つまり $p$-值 $(13))$ を $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)$ で近似しているため, $\widehat{\mu}(x, m, y, n)$ は $L(x, y)$ の近似と考えられる.

$\widehat{\mu}(x, m, y, n)$ が $L(x, y)$ の近似となっていることを確かめるために, シミュレーションを行った. 有意水準 $\alpha$ を 0.05 とし, いくつかの $m, p, n, q$ に対して, $B(m, p)$ および $B(n, q)$ に従って $(x, y)$ を 10,000 個発生させ, $x / m \neq y / n$ なる各 $(x, y)$ に対し,
- $x / m>y / n$ のとき, $\widehat{\mu}(x, m, y, n)<p / q$ ならば成功, $\widehat{\mu}(x, m, y, n) \geq p / q$ ならば失敗,
- $x / m<y / n$ のとき, $p / q<1 / \widehat{\mu}(y, n, x, m)$ ならば成功 $p / q \geq 1 / \widehat{\mu}(y, n, x, m)$ ならば失敗とし, 求めた信頼区間に $p / q$ が含まれる割合を求めた。結果を表 3 に示す.この表から，近似の影響はあるものの, $\widehat{\mu}(x, m, y, n)<p / q$ あるいは $p / q<1 / \widehat{\mu}(y, n, x, m)$ がほぼ $100(1-\alpha) \%$ の割合で成立していることが分かる.
表 $3 p / q$ の信頼区間の推定の成功率

## 略歴

冨浦洋一：1984 年九州大学工学部電子工学科卒業, 1989 年同大学院工学研究科電子工学専攻博士課程単位取得退学. 同年九州大学工学部助手, 1995 年同助教授, 現在, 九州大学大学院システム情報科学研究院准教授. 博士 (工学).自然言語処理, 計算言語学に関する研究に従事.

青木さやか：2006 年九州大学工学部電気情報工学科卒業, 2008 年同大学院シ

ステム情報科学府知能システム学専攻修了, 現在, 新日鉄ソリューションズ

（株）に勤務. 自然言語処理に関する研究に従事.

柴田雅博: 1996 年九州大学工学部情報工学科卒業, 2005 年同大学院システム情報科学研究科知能システム学専攻博士課程単位取得退学. 同年九州システム情報技術研究所特別研究助手, 2006 年九州大学ベンチャー・ビジネス・ラボラトリー講師 (中核的研究機関研究員), 現在, 九州大学大学院システム情報科学研究院テクニカルスタッフ. 博士 (工学). 自然言語処理に関する研究に従事.

行野顕正：2001 年九州大学工学部電気情報工学科卒業, 2007 年同大学院システム情報科学府知能システム学専攻博士課程修了, 現在, 株式会社ジャストシステムに勤務. 博士 (工学). 自然言語処理に関する研究に従事.

$(2007$ 年 11 月 22 日受付 $)$
$(2008$ 年 7 月 4 日再受付 $)$
$(2008$ 年 10 月 2 日採録)