# 辞書からの上位語情報抽出とオントロジー自動生成
## 鈴木 敏 $\dagger$

辞書の定義文を基にした上位語情報の抽出手法を提案し，その結果に基づく単語オントロジーの自動生成を試みた。提案するのは再帰的語義展開による情報抽出手法である。本手法では定義文を再帰的に展開し, 巨大な単語集合として定義文を再定義する。このとき，定義文中に上位語が含まれるという仮定を利用すれば, 非常に多くの単語を上位語候補とすることができる。この手法では上位語となる尤もらしさの指標を得ることができるため, これを利用して多数の候補の中から上位語を効率よく選択できるようになる。本手法を適用した上位語抽出実験では, 構文解析を用いた既存手法を上回る精度を示した. 更に本論文では, 取り出された上位語情報を用いて単語オントロジーの自動生成を試みた。自動生成の手法はまだ完全なものではないが, 実験結果は上位語情報の有用性を示すものであり, 今後のオントロジー 自動生成の可能性を示している.

キーワード：辞書，上位語，オントロジー, 自動生成

## Information Extraction of Hypernyms and Ontology from Dictionaries

\author{
SAtoshi Suzuki ${ }^{\dagger}$
}

This paper proposes a method for information extraction of hypernyms from dictionaries, and presents a result of automatic construction of word ontology based on the extracted information. The method recursively expands word definitions to get much larger word sets, which will be candidates of hypernyms of the headwords. At the same time, this method gives likelyhood of the candidates for hypernyms, which is useful for selecting hypernyms from the candidates. Computational experiments showed that the proposed method gives better results than an existing method, which regards HEAD as hypernyms by parsing the explanatory notes. Additionally, we tryed to create a word ontology with the resulting hypernyms. This method is still underconstruction, but the results showed effectiveness of the resulting hypernyms, and showed possibility of entirely automatic construction of word ontology.

Key Words: dictionary, hypernym, ontology, information extraction


## 1 まえがき

単語オントロジーは自然言語処理の基礎データとして様々な知識処理技術に利用されており, その重要性は年々高まっている。

現在広く知られている日本語オントロジーとしては, 例えば日本語語彙大系 (池原, 宮崎, 白井, 横尾, 中岩, 小倉, 大山, 林 1997) 等が挙げられる. 日本語語彙大系は人手により編集された大規模オントロジーであり, 約 3,000 の意味カテゴリーを木構造状に分類し, 約 40 万語を各意味カテゴリーに割当てている。しかしながら, これらは翻訳への適用を主な目的として作成されており, 利用目的によっては必ずしも適切な分類とはならない. 言い換えれば，オントロジーは利用目的に応じて異なるものが求められるのである.

ところが, オントロジーの作成には膨大な労力が必要であり, また, 言葉が日々進化するものであることを考えると，特定目的に応じたオントロジー作成を人手で行うことは現実的に不可能である．従って，オントロジーの生成は自動化されることが望まれる.

そこで本論文ではオントロジー自動生成手法の検討を行う。技術的検討を行う上では特定目的のオントロジー生成よりも，むしろ一般のオントロジーを取り扱う方が検証を行いやすい.従って, 本論文ではオントロジー自動生成の第一歩として, 日本語語彙大系のような一般的なオントロジーの自動生成を目的とし，検討を進めることとする.

オントロジーは単語の意味的関連性を表すものであり, この点からみると, 基礎となるデー 夕は共起情報を与えるコーパスよりも単語の意味を直接定義している辞書（国語辞典）の方が適していると考えられる。

辞書を用いた関連性抽出の例を挙げると，例えば，鶴丸らは辞書の定義文のパターン抽出により上位語の同定が可能であることを示している (鶴丸, 竹下, 伊丹, 柳川, 吉田 1991). また, オントロジーの自動獲得の試みも行われており, 例えば Nichols らは定義文中に上位語が含まれているという仮定の下での単語階層化手法を提案している (Nichols and Bond 2005).

上記の手法は, 定義文を構文解析し，その主辞を上位語とするものであるが, 必ずしも定義文の主辞が上位語であるとは限らないため, 決定論的に上位語を決めてしまうとオントロジー 生成時に矛盾を引き起こすことになる。従って，決定論的に上位語を決めるのではなく，順位づけられた上位語候補を取り出すことが望まれる。しかしながら，辞書の短い定義文からこれを行うことは難しい.

一方で, 上位語を抽出する方法として, コーパスから"is-a" 構造等を取り出すという方法がある.この方法は統計量が大きければ信頼性の高い情報が得られる一方, 基本的な単語が網羅される保証はなく, 単語の偏りが起こる可能性が高い. また, Snow らは”is-a” 構造を持つデータを利用してオントロジーを構築する手法を提案しているが (Snow, Jurafsky, and Ng 2006), この手法は既存のオントロジーに単語を追加する手法としては有効であるが，オントロジーの骨
格をゼロから作り上げることには向いていない.

このように，上位語抽出とオントロジー構築にはそれぞれの課題があり，オントロジーを生成するためには，上位語の抽出方法と上位語候補を用いたオントロジー生成手法とを分けて考えるべきであり，まず適切な上位語情報を抽出することが重要である．以上の点から，本論文では, 順位付け可能な上位語情報を取り出し, その情報を利用した最適化学習によりオントロジーを生成することを目指す.

ところで，鈴木は辞書の定義文を再帰的に展開することでカバー率の非常に大きい単語類似度計算手法を提案している (Suzuki 2003; 鈴木 2005).この方法によると，辞書の定義文を仮想的に巨大な単語集合と見なすことができ，各単語の出現頻度は確率として与えられるため，上位語候補の不足を解決できる可能性がある.

そこで本論文では上位語情報の抽出を主な目的とし, 辞書の定義文を巨大な単語集合として再定義することにより上位語侯補を増やすという手法を試みる。提案手法では, 定義文中に上位語が含まれるという前堤を保ちつつ, 大きな単語集合の中から上位語候補を確率的指標を伴った形でリストアップする，即ち，辞書の定義文を基に，上位語の尤もらしさを数値として表す手法を提案する. 更に, この上位語候補情報を利用したオントロジー自動生成も試みる。本論文に示す自動生成手法は簡易的なものであるが，前述の上位語候補情報の効果を確認するには非常に有効である.

以下，確率モデルによる定義文の拡張方法を簡単に説明し，この手法により一般的な国語辞典から上位語候補が確率的指標と共に取り出せることを示す.また同時に, 従来手法との比較も行い，その有効性を検証する。次に，この指標の利用例としてオントロジー自動生成手法を提案し, この手法に上記指標を適用した結果を示す.

## 2 辞書からの上位語情報抽出

まずはじめに，辞書から単語の上位語情報を取り出すことを考える。ここで言う上位語情報とは，上位語と相関のある数値情報のことであり，上位語を一意に決定するものではない.

一般に定義文中に同じ単語が複数回現れることは稀なので，そのままでは単語間で差を付けることはできない，そこで，定義文を再帰的に展開し，拡張した定義文の中での出現頻度の差を利用することにする。この再帰的展開は適当な回数の展開を設定しても良いが, 本稿は上位語抽出方法として鈴木による再帰的語義展開手法 (Suzuki 2003; 鈴木 2005) を利用することにする。この手法によれば，定義文を無限に再帰的に展開することにより巨大な仮想定義文を生成し，そこから頻度情報を取り出すことができる。辞書の定義文が見出語に意味を与えるためのものであるとすれば，上位語は単語に意味付けするために非常に重要な要素である．従って， この仮想定義文中には上位語が高い頻度で出現することを期待できる。

## 2.1 再帰的語義展開

再帰的語義展開の基本的な考えは, 定義文中の単語頻度を再帰的に展開し, より多くの単語からなる定義文を作成するということである.

辞書（国語辞典）は見出語と定義文の組合せから成り立っている。定義文は単語の集合であり，これを見出語の集合とみなせば，一つの定義文を複数の定義文の集合として再定義することができる。ところが, このような展開は無限に続いてしまう，従って，展開された定義文中の単語数も無限になり, 頻度計算は一般に不可能になる。しかしながら, 定義文の展開を行なう毎に一定の割合でその影響が小さくなるとすれば，無限に展開された定義文の影響は元の定義文に比べて微小になる。このとき, 定義文の影響力は語義展開の回数に従う等比数列として表すことができる。同時に，様々な染さまで展開した定義文の集合体を考え，その総和を無限級数として計算すると必ず有限な値となる。これにより，定義文の集合体中の単語頻度も有限になり，計算可能となる。これらを確率モデルに置き換えることで，無限の展開を含めた定義文の集合体から単語の出現確率を取り出すことが可能になり，拡張された定義文として再定義することができる.

計算の概要を以下にまとめる。以下， $n$ 回展開された定義文を $n$ 次の定義文と呼ぶ．また，辞書中の定義文を 0 次定義文とする.

まず, 見出語 $w_{i}$ と 0 次定義文中の単語 $w_{j}$ の関係は $P\left(w_{j}^{(0)} \mid w_{i}\right)$ と表すものとする. ここで, $w^{(n)}$ は $n$ 次の定義文中の単語 $w$ を表す. 従って, 確率 $P\left(w_{j}^{(0)} \mid w_{i}\right)$ は, 見出語 $w_{i}$ の 0 次定義文中に現れる $w_{j}$ の出現確率である.

この表記を用いると, 各見出語に関する 0 次定義文中の単語の出現確率は

$
A=\left[\begin{array}{cccc}
P\left(w_{1}^{(0)} \mid w_{1}\right) & \cdots & \cdots & P\left(w_{1}^{(0)} \mid w_{m}\right) \\
P\left(w_{2}^{(0)} \mid w_{1}\right) & \ddots & & \\
\vdots & & \ddots & \\
P\left(w_{m}^{(0)} \mid w_{1}\right) & & & P\left(w_{m}^{(0)} \mid w_{m}\right)
\end{array}\right]
$

の列ベクトルとして表される.ここで， $m$ は辞書中の見出語の数である. 行列 $A$ の各要素 $P\left(w_{j}^{(0)} \mid w_{i}\right)$ は見出語 $w_{i}$ の定義文中の単語頻度 $N_{i}(w)$ を用いて

$
P\left(w_{j}^{(0)} \mid w_{i}\right)=\frac{N_{i}\left(w_{j}^{(0)}\right)}{\sum_{\text {all k }} N_{i}\left(w_{k}^{(0)}\right)}
$

と書ける. このとき, 全ての列べクトルは, 要素の合計が 1 であり, 確率表現となっている. さらに, この表記に従うと, $n$ 次定義文は $A^{n+1}$ にり表される.

目的とする定義文の集合体 $C$ は, 語義展開の度に定義文の影響が一定の割合 $a$ で減少すると仮定すると，

$
C=(1-a)\left(A+a A^{2}+\cdots+a^{n-1} A^{n}+\cdots\right)
$

と書ける. ここで, 係数 $1-a$ は正規化のための定数である.

式 (3) は無限級数の計算から

$
(I-a A) C=(1-a) A
$

と書け，線型計算により解を求めることができる。

計算により得られる行列 $C$ は, 列べクトルの各要素の合計が必ず 1 となり, 確率として扱うことが出来る． $C$ の $(j, i)$ 要素を $P\left(w_{j}^{*} \mid w_{i}\right)$ と書くと, $w^{*}$ は定義文の集合体の中の単語を意味することになる．以下，この定義文の集合体を拡張定義文と呼ぶことにする。すなわち， $P\left(w_{j}^{*} \mid w_{i}\right)$ は拡張定義文中の単語の確率頻度である。

## 2.2 拡張定義文

上記の手法を実際に国語辞典 (金田一，池田 1988) に適用した結果を以下に示す。前処理として, 扱う単語を一般名詞とサ変名詞に限定 (形態素解析は茶鉒 (松本, 北内, 山下, 平野, 松田,高岡，浅原 2000）を利用）し，語義の区別はせず，語義文と例文をまとめて見出語の定義文とした. その結果, 43,915 語の見出語と, 平均約 7 語の 0 次定義文を得た. 以下, $a=0.9$ で行った実験結果を例に詳細を記す。

まず，式 (1)(2) から確率行列 $A$ を計算した。これはスパースな 43,915 次元の正方行列である. 次に式 (4) から線形ライブラリ CLAPACK(Anderson, Bai, Bischof, Blackford, Demmel, Dongarra, Du Croz, Greenbaum, Hammarling, McKenney, and Sorensen 1999)を利用してCを求めた. このときの計算精度は 32 bit 長の浮動小数点演算で, 有効桁は $10^{-7}$ までとした. この結果得られた列べクトルの非ゼロの値を持つ次元数は平均約 33,000であった. すなわち, 平均約 33,000 語の仮想定義文ができたことになる.

表 1 に 0 次定義文と拡張定義文との比較を示す。まず，見出語「通信」に関しては， 0 次定義文では「通信」が頻度 4 ，他の 13 語が等しく頻度 1 で，「通信」のみが突出して頻度が高い。一方, 拡張定義文では全ての単語の確率頻度が異なっており，順位づけすることができる。また,頻度 1 位の「通信」と 2 位の「人」との差は相対的に小さくなっている. さらに， 0 次定義文に現れていなかった「物事」「一つ」が拡張定義文では上位の頻度で現れている．定義文中の語数は，0次定義文では 14 語だったものが，拡張定義文では 32,182 語に大幅に増えている．

同様に, 見出語「傍受」に関しては, 0 次定義文では 5 単語が等しく頻度 1 で現れているのに対し, 拡張定義文では順位が付けられ, 中でも「通信」が相対的に大きな頻度を示している。 また, 見出語「通信」の場合と同様に「人」「物事」「自分」「行動」といった一般的な単語が現れているほか,「電線」「有線」「発信」といった見出語と関連の深い特徵的な単語が現れている.
表 10 次定義文と拡張定義文の比較

本手法を用いると, 辞書全体でよく使われる単語, 即ち一般的な単語が上位に現れやすくなる.この性質により, 等しい頻度の単語でも, より一般的な語が拡張定義文中の上位に現れる傾向があり，場合によっては 0 次定義文に現れない単語が確率頻度最大となることもある.

## 2.3 上位語情報としての評価

見出語 $w_{i}$ の拡張定義文中に上位語 $w_{j}$ があるとすれば，上位語 $w_{j}$ は見出語 $w_{i}$ を説明するために非常に重要な単語であるため, その確率頻度 $P\left(w_{j}^{*} \mid w_{i}\right)$ は高いことが予想される. 従って,見出語 $w_{i}$ の上位語は, その拡張定義文の中から確率頻度 $P\left(w_{j}^{*} \mid w_{i}\right)$ が高い順に尤もらしいと考えることができる. この仮説を検証するために, 日本語語彙大系 (池原他 1997) を正解データとした検証実験を行った，対象としたのは，前節で用いた 43,915 語のうち，日本語語彙大系と表記が一致する 39,982 語である.

1 節で記したように, 日本語語彙大系は意味的上下関係を表した約 3,000 のカテゴリーからなるオントロジーと各カテゴリーに割当てられた合計約 40 万語からなる大規模語彙データである。ただし，単語の割当てに関しては翻訳への適用を主な目的として作成されているため，才ントロジーとしては必ずしも正しいとは限らない，そこで，本論文では，まずはじめに日本語語彙大系をオントロジー検証のための正解データとして適切に利用する方法を検討し, その後,
提案手法に対する評価を行うことにする。

まず，日本語語彙大系のオントロジーとしての性質を調べるため，既存手法による上位語抽出結果と，その結果を人手により修正した正解データ18利用した. この既存手法は, Nichols らにより提案された，辞書定義文の構文解析により得られた主辞を上位語とみなす手法である (Nichols and Bond 2005). ただし, ここで用いた辞書 (Lexeed (笠原, 佐藤, 田中, 藤田, 金杉,天野 2004)）は前節の実験で用いた辞書（学研国語辞典 (金田一，池田 1988)）とは異なる.

これらのデータを利用して, 日本語語彙大系の意味カテゴリー間の関係を上位語の評価指標としての妥当性という観点から評価した。評価方法は，次に示す 3 種類をそれぞれ上位語の正解データとして精度を計算するものである.

(1) 見出語の含まれる意味カテゴリーの直接上位カテゴリー中の全単語

(2) 直接上位カテゴリーを除く全ての上位カテゴリー（間接上位カテゴリー）中の全単語

(3) 見出語と同一カテゴリーに属する全単語

評価結果を表 2 に示す.

人手修正データの評価結果を見ると，直接上位カテゴリーよりもむしろ同一カテゴリーの単語に上位語が多く含まれていることがわかる。人手修正による精度の向上も同一カテゴリーの方が大きく，上位語の多くはここに集まっていると考えられる。逆に，間接上位カテゴリーでは, 人手修正による精度向上率は $-24.5 \%$ であり, 精度を大きく下げている。この結果は, 間接上位カテゴリーは上位語以外の単語を多く含んでおり，間違った結果を正解と判断している率が非常に高いことを示している。言い替えると，間接上位カテゴリーは再現率が非常に低く，一方, 直接上位カテゴリーと同一カテゴリーには従来手法のような構文解析手法では取り出しにくい上位語が集まる傾向があるといえる。ここで，人手修正デー夕に強いバイアスが掛っている（脚注参照）点を考慮すると，実際に修正を加えられた人手修正データの方がより信頼性の高いデータであることに気附く，従って，精度の絶対値ではなく，向上率を重視したほうが

表 2 日本語語彙大系カテゴリーの上位語集合としての妥当性評価

 \\

間接上位カテゴリー & 0.0776 & 0.0586 & $-24.5 \%$ \\
同一カテゴリー & 0.2170 & 0.3486 & $60.6 \%$ \\


信頼性が高いと考えられる。よって，本論文においては，日本語語彙大系を上位語の評価として使う場合には，同一カテゴリーあるいは直接上位カテゴリーを正解とみなして評価を行うことにする．特に同一カテゴリーによる評価を重視する方向で検討をすすめることとする．

この結果を考慮して, 提案手法による上位語情報の抽出結果を日本語語彙大系の直接上位力テゴリーおよび同一カテゴリーを正解データとして評価した。その結果を図 1,2 に示す。図 1 は直接上位カテゴリーを正解とした場合, 図 2 は同一カテゴリーを正解とした場合である。それぞれの図には，横軸に拡張定義文中の確率頻度を降順に並べた順位を，縦軸に正解デー夕に対する精度をとり，全ての見出語に関する統計量でプロットしている．黒丸は前述の人手修正による正解デー夕を，白丸は同じく前述の既存手法による結果である。太い実線は再帰的展開を行わない場合，即ち $a=0$ の結果である。ここでは同一頻度のものは任意に順位を割当てた.破線，細い実線，鎖線はそれぞれ $a=0.1,0.5,0.9$ の場合の結果を示している.

図 1 の順位 1 位を比較すると, 既存手法の精度 0.0399 に対して $a=0.1$ では 0.0402 であり,提案手法の精度が上回っている。また， $a=0.5,0.9$ でもそれぞれ $0.0389,0.0378$ であり，ほぼ同等の結果を得ている。ただし，人手修正による正解デー夕の精度 0.0510 には及んでいない.一方, 図 2 の順位 1 位での比較では, 既存手法の精度 0.2170 に対して $a=0.1,0.5,0.9$ のそれぞれで $0.2628,0.2915,0.2932$ と大きく上回る結果を出している. さらに， $a=0.5,0.9$ は人手修正による正解データの精度 0.2793 をも僅かに上回っている. 2

確率頻度の順位

図 1 出現頻度順位と精度（日本語語彙大系直接上位カテゴリーによる評価）


確率頻度の順位

図 2 出現頻度順位と精度（日本語語彙大系同一カテゴリーによる評価）

また, 再帰的展開前の結果 $(a=0)$ と展開後の結果 $(a=0.1,0.5 .0 .9)$ とを比較してみると, 展開後の結果は, 展開前に比べて順位 1 位の精度が上り, 順位 2,3 位以下では精度が下っている。 これは，再帰的展開により，低い順位にあった上位語が高い順位に移動したことを示しており，再帰的展開の効果を明確に表す結果である.

以上の結果から, 提案手法は既存手法と同等以上の精度を持ち, 評価方法によっては手作業にも劣らない精度を出せることが示された。 さらに，上位語候補として 1 語あるいは数語しか提示できない既存手法に比べて, 提案手法では順位 2 位以下の情報を多量に持っているため, アプリケーションへの応用の際にこれらの情報が有効に働くことを期待できる.

## 3 オントロジーの生成

## 3.1 学習モデル

2節で得られた上位語情報を利用して，単語オントロジーの自動生成を試みた。以下は, 今回検証したモデルである.

まず，目的とするオントロジーは上位語が下位語を意味的に包含するものである．従って，下

らの辞書も国語辞典であり, 同じ性質の文章であるためその影響は非常に小さいと考えられる. 特に, 図 2 の結果は人手修正データとの相対比較という観点からみても大きな差があり, 十分意味を持つものである.
位語は上位語の意味を要素として含まなければならない。逆に，下位語は上位語以外の単語の意味を要素として含んではいけないことになる.

いま，あるオントロジーが存在し，その中の単語 $C$ の上位語が $A, B$ である場合を考える（図 3(a) 参照). このとき, $C$ の持つ意味は $A, B$ 及び $C$ 自身により特徴づけられると考える. ところが，Cは拡張定義文において様々な単語から成り立っている，そこで，単語の意味空間の集合としての見出語の意味空間を考える（図 3(b) 参照）.

拡張定義文中の各単語は見出語を構成する要素（部分空間）であると考え，見出語自身とその上位語のみが，その見出語を特徴づける意味要素として有効であると仮定する．即ち，

オントロジー上に単語 $C$ の上位語として単語 $A, B$ のみが存在する場合, このオントロジー

における $C$ の意味は拡張定義文中の $A, B, C$ で構成される部分空間に限定され, 拡張定義文中の他の単語は無視される。そして, これらの単語の確率頻度の合計が大きいほど, 見出語の本来の意味が再現されると考える。この再現率がオントロジー全体で高いほど，良いオントロジーとなる。

これにオントロジー上の距離の要素を加味し, 単語の確率頻度（2.1 節参照）を用いて, 上位語を $A, B, C, D, \cdots$ としたときの再現率を

$
P^{\prime}(w)=b_{A} P\left(w_{A}^{*} \mid w\right)+b_{B} P\left(w_{B}^{*} \mid w\right)+b_{C} P\left(w_{C}^{*} \mid w\right)+b_{D} P\left(w_{D}^{*} \mid w\right)+\cdots
$

と書くことにする。ただし， $b_{x}$ は単語 $w_{x}^{*}$ の木構造の頂点からのトポロジカルな距離に従う定数 $\left(\sum_{x} b_{x}=1\right)$ である. 以下, この $P^{\prime}(w)$ を意味再現率と呼ぶ.

この仮定の下で, あるオントロジー $T$ が存在している場合, $T$ が存在する確からしさは全単語の意味再現率の積, 即ち,

$
P(T)=\prod_{w_{x}}^{\text {all words }} P^{\prime}\left(w_{x}\right)
$

で表すことができる。つまり，全ての単語がより良く元の意味を再現できている状態がオント

(a)

(b)

図 3 オントロジー学習モデル

ロジーの存在が最も安定している状態であると考える.

計算を簡単にするため，式 (6)の対数をとれば,

$
\begin{aligned}
L(T) & =\log P(T) \\
& =\sum_{w_{x}}^{\text {all words }} \log P^{\prime}\left(w_{x}\right) \\
& =\sum_{w_{x}}^{\text {all words }} \log \sum_{w_{y}^{*}}^{\text {all hypernyms }} b_{y} P\left(w_{y}^{*} \mid w_{x}\right)
\end{aligned}
$

となる.この $L(T)$ を最大化することにより, 前述の仮定の下での最適な単語オントロジーが取り出せる.

## 3.2 計算機実験

本論文では，計算コストを抑えるため，最適化アルゴリズムを各単語の意味再現率最大化と， その組合せとしての全体の最適化の 2 段階に分離して行った。即ち,

(1) $\forall w_{x}, P^{\prime}\left(w_{x}\right)=\sum_{w_{y}^{*}}^{\text {all hypernyms }} b_{y} P\left(w_{y}^{*} \mid w_{x}\right)$ の最大化

(2) $L(T)=\sum_{w_{x}}^{a l l \text { words }} \log P^{\prime}\left(w_{x}\right)$ の最大化

を交互に行うことで，近似的に最適化を行った。オントロジー上の距離に関するパラメータ $b_{y}$ は，上位語の木構造の最上位からの階層の深さを $n$ としたとき, $b_{y} \propto z^{n}, z=0.1,0.5,0.9,0.99$ の 4 種類とした.

学習の前提として, オントロジー上での各単語の直接上位語は 1 語に限定し, 自身を上位語とすることを許可している. 自身が上位語となる場合は, 当該単語は木構造の最上位に位置するものと考える。これらの前提の下, 学習の初期状態は全ての単語が自身を上位語とする状態にあるものとし，学習を行った。

具体的な学習手順は, 次の通りである.

(1) 見出語を 1 つ選ぶ.

（2）上位語候補を $N$ 個選ぶ.

(3) 各上位語候補に対して $P^{\prime}\left(w_{x}\right)$ を計算し，最大となる上位語を決定する.

（4）上記に対し $L(T)$ を計算し，值が増加すれば上位語を置換，それ以外なら元に戻す. を全見出語に関し変化がなくなるまで繰り返す。ただし， $N$ は事前に与えられる定数であり，今回の実験では $N=100$ とした.

## 3.3 結果

以下, $a=0.1$ の場合を例に，結果の詳細を記す.

学習の結果得られたオントロジーの一部を図 4 に示す.「通信」の全上位語および全下位語の
(a) $\mathrm{z}=0.1$

1408:通信丁794:連絡一1815: 交信

6578:外信

-10726:ホットライン

-12126: 不通

-15089: 通謀

-34702:テスター

-39322: 伝書鳩

-40566:Дコュニニケート

-1407:受信-1405:発信--1404:着信--37340:傍受

て1947:送信丁13098:トランシーバー

17118:送受

1982:電信--1406:着電

-3467:マスコミュニケーション

一13413:コミュニケーショ

(b) $\mathrm{z}=0.5$

-1815: 交信

-1982:電信丁34702:テスター

-40566:コミミュニケート

-3467:マスコミュニケーション

-12126: 不通

-39322: 伀書鳩

(c) $\mathrm{z}=0.9$

1408:通信丁1407:受信丁1405:発信丁1404:着信--37340: 傍受

-12126:不通

-13413:コミュニケーション

(d) $\mathrm{z}=0.99$

36:人--542:物事--2503:事柄--181:通達--14554:通告--12064:通知--37375:朗報--34182:快報--2347:知らせ--15101:通報--794:連絡

--1408:通信丁3342:伝達丁13413:コ通道--14554:通告・

-15089:通謀

-24257: 暗号

-18060 :音信-49560:コ訪れ

4970:コンュユケート

$-18203:$ 音通汰

18204:消息--25839:尋ね人

図 4 獲得されたオントロジーの例（「通信」の上位語／下位語）
構造を表示している ${ }^{3}$. (a) はオントロジー上の距離に関するパラメータ $b(z=0.1)$ を用いて学習した結果である。同様に $(\mathrm{b}),(\mathrm{c}),(\mathrm{d})$ はそれぞれ $b(z=0.5,0.9,0.99)$ のときの結果である。この値が大きくなる程，上位語の影響は階層の離れた下位語まで届くため，深い木構造が期待できる，逆にこの値が小さいと，浅い木構造ができることが期待される，今回の実験では，独立した木構造の数は，(a) 1687，(b) $1472 ，(c) 788 ，(d) 142$ であった。 (a), (b), (c) では「通信」は木構造の最上位に位置しているが，(d) では「人」を頂点とする巨大な木構造の一部であり，多くの上位語の下に位置している。これらの結果から，パラメータ $z$ の值が増加するに従い木構造の階層がより深く大きくなるのが確認できる。また, 図 4 を詳細にみると, 上下関係が特定の意味関係で統一されているとは言い難いものの, 関連のある言葉が集まり木構造を構築していることは確認できる。

次に, 生成されたオントロジーの精度を, 2.3 節同様, 日本語語彙大系のカテゴリー間の上下関係との一致度を測ることにより調べた．評価方法は 2.3 節の結果を考慮して， 2 種類の正解データを設定した。一つは，見出語の含まれる意味カテゴリーの直接上位カテゴリーを正解とするもの，もう一つは，見出語の含まれる意味カテゴリーと同一カテゴリーを正解とするものである。これら正解カテゴリー内の単語のいずれかに，生成したオントロジーから得られる上位語が一致すれば正解とみなした。

この手法による評価を，オントロジー上での上位語の距離に対する精度としてプロットしたのが図 5 および図 6 である。横軸は上位語のトポロジカルな距離で，直接上位語であれば “ 1 ”, さらにその上位語であれば “2” というように，オントロジー上の距離を表している。縦軸は精度である。図の各線は, 学習時のパラメータ $b(z=0.1,0.5,0.9,0.99)$ のそれぞれの結果をプロットしたものである。また，白丸はオントロジー生成学習前（拡張定義文中の出現頻度最大の単語を正解とみなした場合）の精度を，黒丸は人手で修正したデー夕の精度（表 2 参照）を表している.

全体的に, 学習時のパラメータ $z$ が小さいほど距離 1 での精度が高く, また, 距離が大きくなるに従い急激に精度を落している。 $z$ が小さいと, 生成された木構造の階層が浅いため大きな距離の上位語は非常に少くなり, 逆に, $z$ が大きいと, 木構造の階層が深くなり, 多くの上位語を同時に学習するため直接上位語の精度が犠牲になると考えられる。ただし, この差は僅かであり，距離 2 以上では逆転するものもあるので， $z$ を如何に設定すべきかは更なる検討が必要である.

さらに，これらの結果を学習の前後で比較してみる。図 5 の距離が 1 （直接上位語）の場合を見ると，オントロジー生成学習前（図では白丸）よりも後の方が大きく精度を下げている。人手修正デー夕の場合（図では黒丸）と比べると, 半分程度の精度である。ここで人手修正デー


## 上位語の距離

図 5 オントロジー上の上位語の精度（直接上位カテゴリーによる評価）

図 6 オントロジー上の上位語の精度（同一カテゴリーによる評価）

夕の性質を考える。このデータはオントロジーを意識して作成されたものではないので，上位語にさらにその上位語を積上げる手法をとっても木構造にはならず，ループ状につながってしまう．従って，木構造にするには，いくつかの上位語を変える必要があり, 多少の精度低下が
起る.この点を考慮すると, 学習前後で精度が低下することは妥当であると思われる.

一方, 図 6 では距離が 1 の各値はオントロジー生成学習前（図の白丸）および人手修正デー 夕（図の黒丸）と比べて大きく精度を上げている．2.3 節の結果を考慮すれば同一カテゴリーによる評価がより重要であるとも考えられるが，同義語など他の要素が影響している可能性も考えられる。この点に関しても更なる検討が必要である。

以上の結果は, $a=0.5,0.9$ の場合でも同様の傾向がみられる.

上述のように，オントロジーとしての十分な評価を下すためには更に検証を加える必要があるが，上記の実験結果は計算により得られた上位語情報を学習によって木構造に組み上げる方法論の妥当性を示唆している。また, 再帰的展開の影響が小さい $a=0.1$ での結果が学習前から大きく改善したことは，辞書から得たカバー率の高い上位語情報が有効に活用されていることを表すものである.

## 4 むすび

本論文では辞書の定義文から上位語情報を取り出し, 検証を行った. 取り出した上位語情報はカバー率が非常に高いという特徴をもっており, 精度の検証では既存の手法を上回る結果を示した。また，上位語情報を利用したオントロジー生成手法を提案し，上位語情報のカバー率の高さが有効に働いていることを示した.

提案したオントロジー生成手法はまだ簡易的なものであるが, パラメータに従い様々な深さの階層をもつオントロジーを生成できる。ただし，その精度の評価方法に関しては更なる検討が必要であることも明らかになった.

今後の課題としては, 第一に評価手法の確立が挙げられる。今回は正解データとして日本語語彙大系のみを利用したが，様々な辞書等を組合せて，より精度の高い評価手法を確立したいと考えている. 更に, 学習の最適化手法の改良に関しても今後の課題である. 今回用いた最適化手法は簡易的なもので, 極めて局所的な最適解しか得られない. この点を改善すれば, 今後の更なる精度の向上も期待できる。

また, 今回の実験では語義の曖昧性については考慮せず， 1 表記につき 1 語義として実験を行ったが, 定義文中の語義曖昧性を排除した辞書（例えば Lexeed(笠原他 2004)）を利用することにより，語義レベルの上位語抽出，オントロジー生成が可能である。今回は特殊な辞書である Lexeed の利用は避けたが，これの再帰的展開への適用については現在検討を進めているところである.

## 参考文献

Anderson, E., Bai, Z., Bischof, C., Blackford, S., Demmel, J., Dongarra, J., Du Croz, J., Greenbaum, A., Hammarling, S., McKenney, A., and Sorensen, D. (1999). LAPACK Users' Guide (Third edition). Society for Industrial and Applied Mathematics, Philadelphia, PA.

Nichols, E. and Bond, F. (2005). "Acquiring Ontologies Using Deep and Shallow Processing." In 11th Annual Meeting of the Association for Natural Language Processing, pp. 494-498 Takamatsu.

Snow, R., Jurafsky, D., and Ng, A. Y. (2006). "Semantic Taxonomy Induction from Heterogenous Evidence." In Proceedings of 44th Annual Meeting of the ACL, pp. 801-808. Association for Computational Linguistics, ACL.

Suzuki, S. (2003). "Probabilistic Word Vector and Similarity based on Dictionaries." Computational Linguistics and Intelligent Text Processing Lecture Notes in Computer Science (In proceedings of CICLing2003), N 2588, pp. 564-574.

池原悟，宮崎正弘，白井諭，横尾昭男，中岩浩巳，小倉健太郎，大山芳史，林良彦 (1997). 日本語語彙大系. 岩波書店.

鶴丸弘昭，竹下克典，伊丹克企，柳川俊英，吉田将 (1991)。“国語辞典情報を用いたシソーラスの作成について." 情報処理学会自然言語研究会, 1991-NL-83.

金田一春彦, 池田弥三朗 (1988). 学研国語大辞典第二版. 学習研究社.

鈴木敏 (2005). “辞書に基づく単語の再帰的語義展開.” 情報処理学会論文誌, 46 (2), pp. 624-630.松本裕治，北内啓，山下達雄，平野善隆，松田寞，高岡一馬，浅原正幸 (2000). “日本語形態素

解析システム『茶鉒』 version 2.2.1 使用説明書.”. http://chasen.aist-nara.ac.jp/.

笠原要, 佐藤浩史, 田中貴秋, 藤田早苗, 金杉友子, 天野成昭 (2004). “「基本語意味デー夕

ベース:Lexeed」の構築 (辞書, コーパス).”情報処理学会研究報告. 自然言語処理研究会報告, 2004 (1), pp. 75-82.

## 略歴

鈴木敏（正会員）：昭和 42 年生. 平成 2 年東京大学教養学部基礎科学科卒.同年 NTT 入社．統計的学習理論，物体認識に関わる計算モデル，自然言語処理のための学習モデルの研究に従事. 平成 $4 \sim 9$ 年 ATR 人間情報通信研究所研究員. 平成 6 年日本神経回路学会研究賞受賞.

(2008 年 6 月 2 日受付)

(2008 年 7 月 11 日再受付)

(2008 年 10 月 14 日再々受付)

(2008 年 10 月 20 日採録)