# 日本語文章における Katz K Mixture Model の分析

服部 祥大 ${ }^{1}$ 吉田 光男 ${ }^{2}$ 梅村 恭司 ${ }^{1}$
1,2 豊橋技術科学大学 情報・知能工学系
 }^{1}$ hattori.shota.mu,umemura $\} @$ tut.jp
${ }^{2}$ yoshida@cs.tut.ac.jp

## 1 はじめに

文書中における語の繰り返し出現を表現するモデ ルとして，Katz K Mixture Model が存在する。このモ デルは，文章中に語がちょうど $k$ 回出現する確率を 推定することができる [1].

文章中における語の繰り返しは，語の持つ意味と 深く関わっていることが知られている。 ある文章に 語が 1 回以上出現した場合に，その文章に語が 2 回以上出現する条件付き確率は反復度と呼ばれ，固有名詞や専門用語，キーワードなどにおいて高くなる [2]. 更に，日本語のような語の境界の情報を持たな い言語においても，部分文字列の反復度を用いるこ とで語の境界を特定し，キーワード抽出を行うこと が可能である [3]. また，Katz K Mixture model にお ける語の再出現の条件付き確率が一定であるという 仮定をもとにして，条件付き確率が，繰り返しの回数に応じて単調増加しないものをテンプレートに使用される語句として抽出する試みも行われている [4].

これらの手法を利用するためには文書頻度を求 める必要がある. この文書頻度を効率的に計算する アルゴリズムが存在し，コーパス中のすべての部分文字列に対して文書頻度を求めることができる [5]. このアルゴリズムを用いることでコーパス中の語を 網羅的に調査することが可能となる.

Xu らは Katz K Mixture Model の仮定によって発生 する問題に対応することで，推定の精度が向上する ことを報告している [6]. この報告は英字新聞コー パスにおいて実験・観察を行った結果に基づいてお り, 日本語で同様の現象が生じるかは確認されてい ない。そのため，本論文では英字新聞コーパスにお いて確認された振る舞いが日本語コーパスにおいて も生じているかを確認し, 日本語においても同様の 改善が可能であるかを調査した結果を報告する.日本語では，英語と言語の構造が異なり，特に代名詞が使われることが少ないことから，語の繰り返 しの出現はより顕著であると考えられる．また，今回の実験では，コーパスに百科事典である Wikipedia を用いており，百科事典は特定の項目に対する説明 の集合である。そのため, 主題となりうる語の繰り 返しは，新聞よりも顕著になると考えられる。

この 2 点から, Wikipedia 日本語版における実験で は, 繰り返しが多いときに問題となる Katz K Mixture Model における仮定について，より考慮するべきで あると考えられる．本論文では，英字新聞の場合と 同じようにこの仮定が問題となることを確認した。

## 2 Katz K Mixture Model

Katz K Mixture Model は 3-way classification をもと に考案されている [1]. 3-way classification とはある 語に対して文章を

unrelated 語が出現せず，語と文章が関係ない non-topical 語が出現し，語が文章の主題ではない topical 語が出現し，語が文章の主題である

の 3 つに分類するもので，これらの文章の比率 が Katz K Mixture Model のパラメータとなる.ここ で，non-topical な文章と topical な文章の分類は，主題となる語は著者によって繰り返し用いられる という仮定をもとに，語が 1 回のみ出現する文章 が non-topical に分類され，複数回出現する文章は topical に分類される。また，topical な文章における 語の再出現の条件付き確率は一定であると仮定さ れ, モデル化される. このとき, non-topical の文書 を特別扱いしない，2 パラメータモデルも提案され ている.

Xu らは繰り返しの条件付き確率が一定値として 扱われることで，non-topical な文章において語が偶然に繰り返す場合が見落とされていると考え，再出現の条件付き確率について調査を行った。調査によ

り，形容詞や代名詞，接続詞などの機能語では上記 の仮定が成り立つが，固有名詞などの内容語では，語の繰り返しが多いほど再出現の条件付き確率は高 くなり，大きな出現数で安定する傾向にあることが 分かった. また，この結果を元にして語の出現回数 が少ない場合に対応する減衰係数と, 分布の末尾に 対応する減衰係数を組み合わせることで頻度推定の 精度が高まることが示された。

本論文で使用する記号の定義を以下に示す。これ らの記号は Xu らの論文に従っている。

 \\

以降は $w$ を省略して $c f や d f(k)$ のように表記を する。

Xu らの論文において Katz の 3 パラメータモデル は次の式で表されている.

$
\begin{aligned}
& P(t f(D)=k) \\
& =(1-\alpha) \delta_{k, 0}+\alpha \times(1-\gamma) \times \delta_{k, 1} \\
& \quad+\frac{\alpha \times \gamma}{\beta+1}\left(\frac{\beta}{\beta+1}\right)^{k-2} \times\left(1-\delta_{k, 0}-\delta_{k, 1}\right) \\
& \delta_{i, j}= \begin{cases}1 & \text { iff } i=j \\
0 & \text { otherwise }\end{cases}
\end{aligned}
$

パラメータは次の式で推定される.

$
\begin{aligned}
\hat{\alpha} & =\frac{d f(1)}{N} \\
\hat{\gamma} & =\frac{d f(2)}{d f(1)} \\
\hat{\beta} & =\frac{c f-d f(1)-d f(2)}{d f(2)}=\frac{c d f(3)}{d f(2)}
\end{aligned}
$

ここで

$
\frac{\beta}{\beta+1}=\frac{c d f(3)}{c d f(2)}
$

が topical な文章における再出現の条件付き確率とな り，この減衰係数に従って繰り返し回数が多くなる ほど語が丁度 $k$ 回出現する確率が減少していく。

2 パラメータモデルでは, その減衰係数は次の式 で表される.

$
\frac{\beta}{\beta+1}=\frac{c d f(2)}{c f}
$

## 3 実験

本論文の実験ではコーパスとして日本語 Wikipedia のダンプデータ（総記事数 $1,225,965$ 件） を使用し，本文の抽出には WikiExtractor.pyを用い た.また，長い文章が多い Wikipedia の本文をその まま使用すると語が偶然に繰り返すことが多く発生 し, 条件付き確率の分布の様子を確認することが難 しくなってしまったため, 本文の最初から 4 段落目 までを対象とすることで文章長の制限した.

$\mathrm{Xu}$ らと同じように条件付き確率を $P(k+1 \mid k), 1 \geq$ $k \geq 8$ において観察するため, 分析の対象とする語 は $d f(9) \geq 2$ かつ $d f(k+1) \neq d f(k)$ を満たすものと した.

## 3.1 機能語と内容語の分布の違い

機能語と内容語の間では，再出現の条件付き確率 の分布の様子が異なると，Xu らは報告している.日本語コーパスにおいても同様の特徴があるか確認 するため，いくつかの機能語と内容語について条件付き確率の分布を求めた. それぞれの分布を図 1 と 図 2 にプロットする.

Katz は，語が一回だけ使用されている non-topical な状態から，語が繰り返し使用される topical な状態 へと変化する確率が $P(2 \mid 1)$ であり $, P(k+1 \mid k), k \geq 2$ は topical な状態のときにどの程度の確率で, 語が 再度使われるかの確率であるとしている. 図 1 を確認すると，機能語では，分布の末尾部分が不安定に なっていることを無視すれば，殆どの語の条件付き

図 $1:$ 機能語の条件付き確率の分布

図 2: 内容語の条件付き確率の分布

確率がおおよそ $\mathrm{x}$ 軸に水平であり，Katz K Mixture Model の仮定に沿っているといえる。

図 2 の内容語では, $P(2 \mid 1)$ が $P(3 \mid 2)$ と比べて明 らかに小さいことが確認できる。 また， $P(3 \mid 2)$ と $P(4 \mid 3)$ を比較すると $P(4 \mid 3)$ の方が大きな値をとって おり, 出現回数 $k$ が増えるとともに, $P(k+1 \mid k)$ の值 が徐々に大きくなり，安定していくことが分かる. これは，繰り返し出現の回数が大きくなるほど，偶発的な再出現が減り, 主題となる再出現の影響が大 きくなるためである.この条件付き確率の振る舞い は Katz K Mixture Model における条件付き確率が一定値であるという仮定とは一致していない.

## 3.2 減衰係数と条件付き確率の比較

より詳しく内容語の条件付き確率の分布について 調査する. 142 個の内容語においてそれぞれのモデ ルの減衰係数と条件付き確率の平均値, 中央値, 第 1 ・第 3 四分位数を比較したグラフを図 3 に示す. す べての統計值において 3.1 で確認された結果と同様 に， $P(2 \mid 1)$ の確率が $P(k+1 \mid k), k \geq 2$ と比較してか なり小さいことが分かる。また，条件付き確率は繰
り返し回数に応じて大きくなっていき一定の值で落 ち着く傾向にあることが確認できる。これは，語の 繰り返し回数が少ない場合には偶然に語が繰り返す ことの影響が残っており, 繰り返し回数が多くなる ほどに主題に関連した繰り返しの影響が大きくなっ ていくことが理由であると考えられる。ここで，2 パラメータモデルの減衰係数である $c d f(2) / c f$ を条件付き確率と比較すると $P(k+1 \mid k), k \geq 2$ はこのモ デルにおいて実際の値よりも小さく見積もられてい ることがわかる．同様に 3 パラメータモデルの減衰係数である $c d f(3) / c d f(2)$ においては $P(3 \mid 2)$ が過大 に見積もられる一方で， $P(k+1 \mid k), k \geq 3$ が実際の値 よりも小さく見積もられている.

それぞれの語に対する減衰係数と $P(2 \mid 1), P(3 \mid 2)$ の比較をを図 4 にプロットする．殆どの語におい て $d f(3) / d f(2)$ が， $c d f(2) / c f$ と $c d f(3) / c d f(2)$ の間 に存在することが確認でき，日本語においても Katz の 3 パラメータモデルは繰り返しの確率 $P(3 \mid 2)$ を高 く見積もり過ぎているということが示された。

Xu らは，特に $P(3 \mid 2)$ について， un-topical な状態 と topical な状態の双方の影響を受けているとして， $\mathrm{k}$ に応じて減衰係数が変化するモデルを構築する ことでより実際の分布に近いモデルを作成した [6].

## 4 おわりに

本論文では，日本語において Xu らが提案したモ デルを Katz K Mixture Model の代替として使用する ことが適当であるか検討した。

結果から，日本語においても語の再出現確率が実際の値よりも高く見積もられる問題が存在すること が確認され，Xu らが提案したモデルによって，推定精度の改善が見込めることがわかった。

これから，日本語において Xu らのモデルを用い ることで精度の改善が実際に行えるかなどを調査し たい.

(a) 平均値

(c) 第 1 四分位数

(b) 中央値

(d) 第 3 四分位数

図 3: 条件付き確率 $P(k+1 \mid k)$ の統計值と減衰率の比較

図 4: 語ごとの条件付き確率と減衰率の比較

## 参考文献

[1] SLAVA M. KATZ. Distribution of content words and phrases in text and language modelling. Natural Language Engineering, Vol. 2, No. 1, p. 15-59, 1996.

[2] Kenneth W. Church. Empirical estimates of adaptation: The chance of two noriegas is closer to $p / 2$ than $p^{2}$. In $C O L-$ ING 2000 Volume 1: The 18th International Conference on Computational Linguistics, 2000.

[3] 武田善行, 梅村恭司. キーワード抽出を実現する文書頻度分析. 情報処理学会研究報告. NL, 自然言語処理研究会報告, Vol. 146, pp. 27-32, 2001.

[4] 藤原大輔, 高瀬暁央, 梅村恭司. テンプレートを構成す る名詞の Katz モデルによる抽出の試み. 情報処理学会研究報告, 2007-NL-180, No. 25, pp. 145-149.

[5] Kyoji Umemura and Kenneth Church. Substring Statistics. In Computational Linguistics and Intelligent Text Processing, pp. 53-71, 2009.

[6] Yinghui Xu and Kyoji Umemura. Improvements of katz k mixture model. Journal of Information Processing, Vol. 12, pp. 131-155, 2005.
 服部 祥大 ${ }^{1}$ 吉田 光男 ${ }^{2}$ 梅村 恭司 ${ }^{1}$ 1,2 豊橋技術科学大学 情報・知能工学系  }^{1}$ hattori.shota.mu,umemura $\} @$ tut.jp ${ }^{2}$ yoshida@cs.tut.ac.jp  