# ラベルなしデータの二段階分類とアンサンブル学習に基づく
## 半教師あり日本語語義曖昧性解消

井上裁都 $\cdot$ 斎藤博昭 $\dagger$

本稿では，パラメータ調整を簡略化したブートストラッピング的手法による日本語語義曖昧性解消を提案する。本稿で取り上げるブートストラッピングとは，ラベルなしデータを既存の教師あり学習手法を用いて分類し, その中で信頼度の高いデー タをラベル付きデータに加え，この手順を反復することによって分類の性能を向上させる半教師あり学習手法である。従来のブートストラッピングによる語義曖昧性解消においては, プールサイズ，ラベル付きデータに追加するラベルなしデータの事例数, 手順の反復回数といったパラメータをタスクに合わせ調整する必要があった.本稿にて提案する手法はヒューリスティックと教師あり学習（最大エントロピー法） によるラベルなしデータの二段階の分類, および学習に用いるラベルなしデータの条件を変えた複数の分類器のアンサンブルに基づく. これにより必要なパラメータ数は一つになり，かつパラメータの変化に対し頑健な語義曖昧性解消を実現する. SemEval-2 日本語タスクのデータセットを用いたべースラインの教師あり手法との比較実験の結果, パラメータの変化に対し最高で 1.8 ポイント, 最低でも 1.56 ポイントの向上が見られ，提案手法の有効性を示せた.

キーワード：語義曖昧性解消, 半教師あり学習, ブートストラッピング, 最大エントロピー 法, アンサンブル学習, 頑健性

## Semi-Supervised Japanese Word Sense Disambiguation Based on Two-Stage Classification of Unlabeled Data and Ensemble Learning

\author{
Tatsukuni Inoue ${ }^{\dagger}$ and Hiroaki Saito ${ }^{\dagger}$
}

In this paper, we propose a bootstrapping-like method which eases optimal and empirical parameter selection for Japanese word sense disambiguation. Bootstrapping means, in this paper, semi-supervised learning methods based on the following procedures: (1) train a classifier on labeled examples, (2) use the classifier to select confident unlabeled examples, (3) add them to the labeled examples, (4) repeat steps $1-3$. Traditional bootstrapping methods require empirical selection for the parameters including the pool size, the number of the most confident examples and the number of iterations. Our method uses two-stage unlabeled example classification based on heuristics and a supervised method (Maximum Entropy classifier) and combines a series of classifiers along a sequence of varying conditions. This method requires only

one parameter and enables parameter robust word sense disambiguation. Experiments compared with the baseline supervised method on the Japanese WSD task of SemEval-2 shows that our method obtained accuracy improvement between 1.8 and 1.56 points.

Key Words: Word sense disambiguation, Semi-supervised learning, Bootstrapping, Maximum entropy, Ensemble learning, Robustness

## 1 はじめに

語義曖昧性解消は古典的な自然言語処理の課題の一つであり，先行研究の多くは教師あり学習により成果を挙げてきた (Màrquez, Escudero, Martínez, and Rigau 2004; Navigli 2009). しかし，教師あり学習による語義曖昧性解消においてはデータスパースネスが大きな問題となる.多義語の語義がその共起語より定まるという仮定に基づけば，一つの多義語と共起し得る単語の種類が数万を超えることは珍しくなく，この数万種類のパターンに対応するために充分な語義ラベル付きデータを人手で確保し，教師あり手法を適用するのは現実的でない. 一方で語義ラベルが付与されていない，いわゆるラベルなしのデータを大量に用意することは， ウェブの発展, 学術研究用のコーパスの整備などにより比較的容易である. このような背景から, 訓練データと大量のラベルなしデータを併用してクラス分類精度を向上させる半教師あり学習，または訓練データを必要としない教師なし学習による効果的な語義曖昧性解消手法の確立は重要であると言える。

本稿では半教師あり手法の一つであるブートストラッピング法を取り上げ，従来のブートストラッピング法による語義曖昧性解消手法の欠点に対処した手法を提案する. ブートストラッピング法による語義曖昧性解消においては主に Self-training（自己訓練）(Nigam and Ghani 2000) と Co-training（共訓練）(Blum and Mitchell 1998)の二つのアプローチがある (Navigli 2009). まずこれらの手法に共通する手順を述べると次のようになる.

## 一般的ブートストラッピング手順

Step 1 ラベルなしデータ $U$ から事例 $P$ 個をランダムに取り出し $U^{\prime} を$ 作る.

Step 2 ラベル付きデータ $L$ を用いて一つまたは二つの分類器に学習させ $U^{\prime} の$事例を分類する。

Step 3 Step 2 で分類した事例より分類器毎に信頼性の高いものから順に $G$ 個を選び， $L$ に加える。

Step 4 Step 1 から $R$ 回繰り返す.

Self-training と Co-training の違いは, 前者は Step 2 で用いる分類器は一つであるのに対し,後者は二つ用いる点にある。またCo-training においては二つの独立した素性集合を設定し, 各
分類器を一方の素性集合のみを用いて作成する. Co-training においてこのように設定するのは, Step 3 において追加する事例を一方の素性のみから決定することから, 追加事例のもう一方の素性を見たとき新しい規則の獲得が期待できるためである. Self-training と Co-training の欠点はいずれも性能に影響するパラメータが多数存在し，かつこれらのパラメータを最適化する手段がないことである。具体的には Step 1 のプールサイズ $P$, Step 3 の $L$ に加える事例の個数 $G$,手順の反復回数 $R$ は全てパラメータであり，夕スクに合わせた調整を必要とする.

本稿では，ラベル付きデータとラベルなしデータを同時に活用しつつも，パラメータ設定をほとんど不要とする新しい手法を提案する。本手法はまずヒューリスティックと教師あり学習で構築した分類器によるラベルなしデータの二段階の「分類」を行う。ここで「分類」とは語義曖昧性解消を行い，語義ラベルを付与することを意味する．本稿では以後特に断りがない限り, 分類とはこの語義ラベル付与のことを指す。二段階分類したラベルなしデータの中で条件を満たすデータはオリジナルのラベル付きデータに加えられる。その結果，パラメータ設定がほぼ不要なブートストラッピング的半教師あり手法による語義曖昧性解消を実現する。さらに追加するラベルなしデータの条件を変えることで複数の分類器を作成し, アンサンブル学習することで，パラメータの変化に頑健な分類器を生成する.

本稿の構成は以下の通りである．2 節にて関連研究および本研究の位置付けを述べる． 3 節にて提案手法およびその原理を並行して述べる。 4 節にて SemEval-2 日本語タスク (Okumura， Shirai, Komiya, and Yokono 2010) のデータセットに提案手法を適用した実験の結果を示す. 5 節にて結論を述べる.

## 2 関連研究

本節ではまず 1 節でブートストラッピング手法として挙げた Self-training および Co-training を用いた語義曖昧性解消の先行研究を概観する。また，アンサンブル学習に基づく語義曖昧性解消には教師あり学習のアンサンブル, 教師なし学習のアンサンブル, 半教師あり学習のアンサンブルに基づいた手法が提案されており, これら先行研究を併せて概説する.

## 2.1 ブートストラッピングに基づく研究

Self-training に基づいた語義曖昧性解消の先駆けとしては Yarowsky の研究 (Yarowsky 1995) が挙げられる. Yarowsky は「語義はその語の連語より定まる (one sense per collocation)」「語義はその語を含む談話より定まる (one sense per discourse)」という二つのヒューリスティックに基づき，ラベルなしデータに反復的にラベル付けするアルゴリズムを提案した．この手法は二つの観点からラベル付けをするため，Co-trainingの一種であると見ることもできる．また， このヒューリスティックに基づいた Yarowsky のアルゴリズムは Abney (Abney 2004)により,
目的関数の最適化問題として定式化されている.

Co-training を用いた語義曖昧性解消の早期の例としては新納の報告 (新納 2001) がある. 新納は Co-training を適用するにあたり，二組の素性集合の独立性を高めるため，ラベル付きデー 夕に追加するラベルなしデータを素性間の共起性に基づいて選択する手法を提案した。結果,日本語の語義曖昧性解消において通常の Co-training よりも性能が向上したと報告した.

Mihalcea は Co-training と Self-training の両方を語義曖昧性解消に適用し，1 節にて述べたパラメータの影響について調査した (Mihalcea 2004). この報告ではパラメータの自動での最適化はできず，最適な設定と自動による設定に大きな差があったと報告している。また, Mihalcea は同じ報告の中でスムージングした Co-training およびSelf-training を提案した。これは手順の反復のたびに生成される各分類器の多数決より語義判定しブートストラッピングするという方式であり，ブートストラッピングとアンサンブル学習の組合せの一種と見ることができる。この方式は通常のブートストラッピングよりも性能が向上したと報告された.

以上の手法は 1 節で述べたようなパラメータをタスク（データセット）に合わせ調整しなければならないという大きな課題がある.

Niu らは Zhu らの提案したラベル伝播手法 (Zhu and Ghahramani 2002) に基づいた半教師あり手法による語義曖昧性解消について調査した (Niu, Ji, and Tan 2005). ラベル伝播は事例を節点とする連結グラフを考え，重み付きの辺を通してラベルありの事例からラベルなしの事例へとラベル情報を反復的に伝播させる。そして伝播の収束結果よりラベルを推定する。この手法は Senseval-3 (Mihalcea and Edmonds 2004) English lexical sample タスクのデータセットに適用した結果，従来の教師あり学習と比較して著しい成果は得られなかったとしている。

Pham らは Co-training と Smoothed Co-training (Mihalcea 2004) に加え, Spectral Graph Transduction (SGT) (Joachims 2003) およびSGT と Co-training を組合せた Co-training の語義曖昧性解消への適用を調査した (Pham, Ng, and Lee 2005). Transduction とは訓練データから分類器を生成せず，直接テストデータにラベル付けする推論方法である (Vapnik 1998). SGT は $k$ 近傍法の Transductive 版であるとされる．SGT は $k$ 近傍法の応用であるため, $k$ がパラメータとなり，かつ $k$ は性能に与える影響が大きいと報告されている。よってPham らの調査した手法全てにはパラメータ設定の問題が存在していることになる.

手法のアンサンブルを含まないブートストラッピングによる語義曖昧性解消の研究の最後として小町らの報告 (小町, 工藤, 新保, 松本 2010) を挙げる，小町らはブートストラッピング手法の一つである Espresso (Pantel and Pennacchiotti 2006) に対しグラフ理論に基づいて意味ドリフト (Curran, Murphy, and Scholz 2007)の解析を行った。意味ドリフトは，語義曖昧性解消の観点から考えると，どのような語義の語も持つ素性をジェネリックパターンと考え，ジェネリックパターンを持つ（信頼性が低いとされるべき）ラベルなしデータに対し手順の反復過程においてラベルが与えられることにより, 反復終了後に生成される分類器の性能が低下してし

まう現象と解釈できる。この問題への対処のため小町らは二つのリンク解析的関連度算出法を適用した。この手法は意味ドリフトに頑健かつパラメータ数が一つでさらにその調整が比較的容易という利点を持つ. Senseval-3 English lexical sample タスクのデータセットに手法を適用した実験の結果, 小町らの手法は類似したグラフ理論的手法である HyperLex (Véronis 2004) や PageRank (Agirre, Martínez, de Lacalle, and Soroa 2006) と比較して高い性能が得られたと報告している.

## 2.2 アンサンブル学習に基づく研究

教師あり学習のアンサンブルに基づく研究としては, AdaBoost を用いた (Escudero, Màrquez, and Rigau 2000), 素性として用いる文脈の大きさを変えて複数の Naive Bayes 分類器をアンサンブルした (Pedersen 2000), 六種の分類器の組合せによる (Florian, Cucerzan, Schafer, and Yarowsky 2002), 二段階の分類器の出力の選択に基づいた (Klein, Toutanova, Ilhan, Kamvar, and Manning 2002), 複数の Naive Bayes 分類器の出力の比較に基づいた (Wang and Matsumoto 2004) が挙げられる。 ここでは Wang らの手法をより詳しくみる. Wang らはまず Pederson と同様に素性として用いる文脈の大きさ，つまり目標の多義語前後 $k$ 語以内の語を素性として用いるとして， $k$ を変えることで複数の Naive Bayes 分類器を作成する. 次にラベル付きデー夕を各分類器にて分類する。各要素がこの各分類器による分類結果であるべクトルを decision trajectory と呼ぶ。最後に各ラベル付きデータから得た decision trajectory の集合を訓練データとし，これらと入力から得た decision trajectory の類似度に基づいて入力の語義を判定する. Wang らの手法は中国語の語義曖昧性解消実験の結果, Pederson の手法などと比較して最も良い結果が得られたと報告した。

教師なし手法のアンサンブルの例としては Brody らの研究 (Brody, Navigli, and Lapata 2006) が挙げられる. Brody らは過去に語義曖昧性解消において有効と報告された教師なし手法である Extended Gloss Overlap (Banerjee and Pedersen 2003), Distributional and WordNet Similarity (McCarthy, Koeling, Weeds, and Carroll 2004), Lexical Chains (Galley and McKeown 2003) および Structural Semantic Interconnections (Navigli and Velardi 2005)を組合せた手法を提案した.この手法は組合せに用いた各手法と比較し, より良い結果が得られたと報告されている.

最後に本稿で提案する手法に最も関連の深いブートストラッピング手法のアンサンブルを行った Le らの研究 (Le, Shimazu, Huynh, and Nguyen 2008) について述べる. Le らは我々と同様に従来のブートストラッピングによる語義曖昧性解消の問題点に対する解決法を提案した. Le らが解決法を提案した問題点は, (1) ラベル付きデータのラベル毎のデータ数の偏り, (2) ラベル付きデータに追加するラベルなしデータ決定の基準, (3) 手順の反復の停止条件および最終分類器の作成法の三つである. ここで問題 (2)は 1 節にて述べたパラメータ $G$ の決定法, 問題 $(3)$ はパラメータ $R$ の決定法とも換言できる，Le らはこれらの解決のため，追加するラべルなし

データのリサイズ, 複数のデータ追加条件の閥值の設定および対応する複数の追加データ集合の設定, 訓練データを用いた追加データの評価および手順反復停止条件の設定, そして追加デー 夕と教師あり学習手法別の各分類器のいくつかの組合せ法を提案した. ここで追加データの評

価と手順反復停止条件の設定の手法は， Zhou らが提案した Tri-training 法 (Zhou and Li 2005) で用いられた手法を参考に設定している。Tri-training は Co-training を発展させた手法であり， Co-training と異なりパラメータ設定を不要とする特徴がある. 実験は Senseval-2 (Edmonds and Cotton 2001) および Senseval-3 の English lexical sample タスクのデータセットを用いて行われ，従来の教師あり手法と比較し最大で 1.51 ポイントの精度向上が見られたと Le らは報告した.

## 2.3 本研究の位置付け

2.1 節と 2.2 節を踏まえた上での本研究の位置付けは以下の通りである。まず，小町らの手法はパラメータ設定が容易という利点があるが, 他の教師あり手法と組合せるのが困難なのが問題点である．高性能な教師あり手法を用いず，さらに性能を向上させるのは難しい．また, Le らの手法の難点として手順の反復停止条件の設定が挙げられる. これは, 教師あり学習を用い追加データを訓練データとして分類器を作成しオリジナルのラベル付きデータを分類して得られるエラー率，および追加データの総数に基づき設定される。具体的には次の式を用い追加デー 夕の評価値 $q$ を求める.

$
q=m(1-2 \eta)^{2}
$

ここで， $m$ は追加データの総数， $\eta$ はエラー率を示す.この $q$ が前回の值よりも小さければ反復は停止する. しかし反復の停止にこの条件が用いられる具体的根拠は示されていない. 単に反復を自動的に停止するためと述べられているだけである。このためこの停止条件が最適であるかどうか疑問が残る。

そこで本研究の立場だが，まず本稿ではこの停止条件の追究はしない方針とする．しかし， 1 節にて目標としたようにブートストラッピングにおけるパラメータの削減は達成を目指す。そこで本研究では手順の反復回数（パラメータ $R$ ）を一回に留めるという方針を採る。この方針には次の利点が考えられる。
- 手順の回数が固定され計算時間の予測が立てやすい.

・ ラベル付きデータへのラベルなしデータの追加が一度のみとなるため, 追加されたデー 夕に対し分析，考察を加えやすい。
- 反復 1 回目の精度を向上させることで, 手法を複数反復できるように拡張したとき更なる精度向上が見込める。

以上の検討に基づき, 本研究では反復を伴わず，かつ教師あり学習手法を併用した高性能なブートストラッピング的手法を確立する。また反復回数を一回にすることは, 反復回数以外の

パラメータを削減することにもつながる，詳しくは 3 節にて述べる

## 3 提案手法

提案手法は 1 節で述べたラベルなしデータの二段階の分類とその結果を用いたアンサンブル学習による最終分類器作成の全三段階からなる。手法の流れを次に，また本手法に基づくシステム全体像を図 1 に示す.

Stage 1 ヒューリスティックによる分類

(手掛り語獲得，手掛り付き事例抽出・分類 1 回目)

Stage 2 教師あり学習手法による分類

(手掛り付き事例分類 2 回目, 二次分類器作成)

Stage 3 アンサンブル学習による最終分類器作成

まず図 1 の見方を述べる。長方形の囲みは各種処理，楕円の囲みは各処理の出力を示す。各種処理の中には語義分類の処理が三回登場するが, これらの括弧内の分類器はそれぞれの分類処理のために作成し使用する分類器を示している。実線の矢印は各処理において入出力されるデータの流れを示す。点線は入出力するデータへの処理に利用するデータであり, 分類器作成のために訓練データとして用いるデータも含まれる。図 1 における訓練データとはオリジナルのラベル付きデータを指す。本システムにおける最終的な語義曖昧性解消の対象は, テストデー 夕として図 1 のように入力し, その結果は語義分類最終結果として出力される.

図 1 に基づく本システムの概観は次のようになる。まず本システムの最初の手順は手掛り語の獲得である。手掛り語は訓練データから抽出する形で獲得する. 第二の手順はラベルなしデー

図 1 提案手法システム全体像

タからの手掛り付き事例の獲得である。手掛り付き事例の獲得は，手掛り語を用いたラベルなしデータからの手掛り付き事例の抽出・分類（1回目），訓練データを用いて作成された一次分類器による手掛り付き事例の語義分類, 一次分類器による分類結果に基づく手掛り付き事例の分類（2回目）といった多段の手順により実現される. 最後の手順はテストデータの語義曖昧性解消である。これは獲得した手掛り付き事例と訓練デー夕を用いた二次分類器の作成，および異なる条件で作成された複数の二次分類器によるテストデータの分類結果に基づく最終分類器の判定より構成される。

本節では，以後本手法を全三段階に区切り，詳述していく．ここで一つ注意点がある．それは今, 本システムを上述のように手掛り語, 手掛り付き事例, 語義分類最終結果と出力されるデータに着目し，手順を三つに区切ったが，これは以後に述べる三段階の手順と対応関係にないということである。具体的には, 手法第一段階は図 1 の手掛り語獲得から手掛り付き事例抽出・分類 1 回目まで，手法第二段階は一次分類器による手掛り付き事例の分類から二次分類器によるテストデータの語義分類まで, 手法第三段階は最終分類器によるテストデータの語義分類のみと対応する。

手法第一段階はヒューリスティックによるラベルなしデータの分類として一括りし, 手掛り語ならびに手掛り付き事例の詳細と併せて 3.1 節にて詳述する。手法第二段階はラベルなしデー 夕から抽出した手掛り付き事例の教師あり学習手法による分類とその結果に基づく二次分類器の作成として括り出し, 詳細を 3.2 節にて述べる. 手法第三段階はアンサンブル学習による最終分類器の作成として括り， 3.3 節にて詳述する． 3.4 節では本手法のまとめをする。このような手法の全三段階の区切りは，4節にて述べる実験結果の考察において意味を持つことになる.

なお本稿では，訓練データ，テストデータおよびラベルなしデータはいずれも UniDic ${ }^{1}$ 用いて形態素解析済み 2 であり, 訓練データにおいてラベルは各形態素に付与されているものとする。また本稿では便宜上，形態素を単語または語とも呼ぶことにする。

## 3.1 Stage 1：ヒューリスティックによる分類

分類第一段階は訓練データからの手掛り語の獲得ならびにヒューリスティックによるラベルなしデータからの手掛り付き事例の抽出・分類（1回目）からなる.

## 3.1.1 手掛り語の獲得

本手法で獲得する手掛り語 $W_{t s}$ とは，訓練データ $L$ において語義ラベルが付与された対象語3 $t$ の前後 $n_{w}$ 語以内において共起する内容語4 の表層形であり，かつ与えられた訓練データ
^{1} \mathrm{http} / /$ www.tokuteicorpus.jp/dist/

2 SemEval-2 日本語タスクのデータセットは UniDic を用いた自動解析およびその人手での修正が施されている.

3 本稿では語義曖昧性解消の対象語を単に「対象語」と呼ぶ.

4 具体的には 4 節参照のこと.
}
内で共起する $t$ に付与された語義ラベルが必ずある一つの語義ラベル $s$ に定まる語の集合とする. 後者の条件は, $s$ が付与された $t$ を $t_{s}$ とすると, 形態素 $w_{j}$ 共起の下で $t$ が $t_{s}$ である確率を $p\left(t_{s} \mid w_{j}\right)$ とすると,

$
p\left(t_{s} \mid w_{j}\right)=1
$

を満たす $w_{j}$ であることとも書き換えることができる．前者の条件にある窓幅 $n_{w}$ については 3.3 節で詳述する.

このような条件を満たす $w_{t s} \in W_{t s}$ が語義ラベルが付与されていない $t$ と共起したとき, この $t$ は単純に式 (2)より $t_{s}$ である可能性が高いと考え, 以後 $W_{t s}$ は $t$ の語義曖昧性解消の手掛りとして利用する。また表層形を条件としたのは, 基本形, 品詞といった情報は表層形と比べ情報の粒度が荒く，表層形の方が手掛りとしての信頼性が高いと考えたことによる。

もし式 (2)を満たす $w_{j}$ が $L$ 全体で一度だけ出現する語である場合, $t$ が $t_{s}$ に決定付けられる可能性は低いとも考えられるが，これは二度以上出現する語の場合も大差はないと筆者は考える. $p\left(t_{s} \mid w_{j}\right)$ は語義曖昧性解消において単純べイズや決定リストのルールの信頼度などにしばしば用いられ ${ }^{5}$, その中で $p\left(t_{s} \mid w_{j}\right)$ をスムージングして用いる例もいくつかある (Yarowsky 1995;八木, 野呂, 白井, 徳永, 田中 2001 ; 鶴岡, 近山 2002). しかしこの場合は最適な間値を求める必要があり, 問題がかえって難しくなってしまう。このため, 今回は単純な式 $(2)$ を $w_{t s}$ の条件とした.

なお上述の $w_{t s}$ は添え字が示すように共起する $t_{s}$ に付与されていた $s$ の情報を含む. よって実際の手掛り語獲得では, 例えば対象語が「相手」, $n_{w}=2$, 訓練データの一つに「相手に取って不足はない」があり，この文中の「相手」に“117-0-0-3”という語義 $\mathrm{ID}^{6}$ が付与されていたとする.このとき「取っ」という語が訓練データにおいて“117-0-0-3”の語義の「相手」とのみ共起するのであれば，この訓練データからは《取っ, 117-0-0-3》という二つ組一つを抽出する.

## 3.1 .2 手掛り付き事例抽出・分類（1 回目）

ここでは，まず手掛り付き事例抽出の手順を述べる前に SemEval-2 日本語タスクにおける対象語 $t$ の表記ゆれへの対処について述べる．SemEval-2 においては $t$ について与えられる情報は訓練データ $L$ を除くと与えられた辞書に記述された見出し語 $H_{t}$ と語義の語釈文 $D_{t}$ のみであり, $t$ の表記に関する情報は充分には与えられない. 例えば， $t$ の一つに「子供」があるが，これは他にも「子ども」「こども」といった表記があるのに対し， $H_{t}$ にない「子ども」という表
$ は任意の素性である.

6 ここに示した ID は SemEval-2 日本語タスクにて用いられたもの. 上位二つの数字は見出し語の ID, 残り二つはそれぞれ語義の大分類, 中分類の ID を示す. なお “117-0-0-3”の辞書定義文は「自分と対抗して物事を争う人」である.
}
記の情報は与えられていない. この問題に対処しない場合, ラベルなしデータから $t$ の事例を充分な数獲得できないだけでなく, $t$ の表記により語義の傾向が変わる場合も考えられ，抽出する事例の語義に偏りが生まれる可能性も考えられる。このため, UniDic の辞書を用いて, 以下の手順で $t$ の取り得る表記（表層形） $E_{t}$ の獲得を行った。なお下記の Step 2 では実際には $E_{t 0}$ からひらがなのみで構成される表層形を除外して $V_{t}$ を抽出している.これはこのような語は語彙素の同定が困難であり表層形獲得精度の低下を招くためである. また $e_{t} \in E_{t}$ は品詞細分類の情報も合わせて獲得し, 以後 $t$ の事例としてこの二つ組の情報が一致するものを獲得する.

対象語表層形の獲得手順

Step $1 t$ に対し $L$ と $H_{t}$ から獲得可能な全ての表層形 $E_{t 0}$ を抽出する.

Step $2 E_{t 0}$ と対応する語彙素 $V_{t}$ を UniDic の辞書から抽出する.

Step $3 V_{t}$ の全表層形 $E_{t 1}$ をUniDic の辞書から抽出する.

Step $4 E_{t 0}$ および $E_{t 1}$ を合わせて対象語の表層形 $E_{t}$ として獲得する.

続いて，獲得した手掛り語 $W_{t s}$ および対象語の表層形 $E_{t}$ を用いてラベルなしデータ $U$ より手掛り付き事例の抽出および 1 回目の分類を行う。手順を以下に示す.

手掛り付き事例抽出 $\cdot$ 分類（1 回目）の手順

Step $1 U$ から $e_{t} \in E_{t}$ と一致する表層形の形態素を探索し，発見したら $i_{t 0}$ とする.

Step $2 i_{t 0}$ の前後 $n_{w}^{\prime}$ 語以内に $w_{t s} \in W_{t s}$ が共起する場合, $i_{t 0}$ を手掛り付き事例 $i_{t s 1} \in I_{t s 1}$ として抽出する.

手掛り付き事例 $I_{t s 1}$ とは対象語 $t$ の前後に手掛り語 $w_{t s}$ が共起する事例を指し，上記手順より抽出される．また，ここで抽出される $I_{t s 1}$ の $s$ は $w_{t s}$ の添え字の $s$ であり， $i_{t 0}$ に $s$ を付与することで分類したとみなすことができる。 よって上記手順では, 手掛り付き事例の抽出と分類を同時に行っていると解釈できる。一方で， $i_{t 0}$ の集合 $I_{t 0}$ と $U_{s} I_{t s 1}$ の差集合は語義ラべルが付与されないということで，語義判定不可に分類されたと考えることもできる.

上記手順を具体例を挙げ説明すると次のようになる． $E_{t}$ に「相手」， $W_{t s}$ に《取っ, 117-0-0-3》 が含まれているとし，Uより「ゼネコン三十一社を相手取って一人あたり三千三百万円の損害賠償を求めた」という文に対し上記手順を適用するとする。また， $n_{w}^{\prime}=2$ とする. この場合,文中の「相手」が $i_{t 0}$ となり, $t$ の前後 2 語以内に「取っ」が共起するため, $s=$ “117-0-0-3" とし， $i_{t 0}$ を手掛り付き事例 $i_{t s 1}$ として抽出する.

さて, ここでパラメータ $n_{w}^{\prime}$ についてであるが, これは $W_{t s}$ 獲得に用いるパラメータ $n_{w}$ とは区別する。 さらに $n_{w}^{\prime}$ の値は上述の例と同様に“” “固定する。この 2 という数は 3.2 節で述べる教師あり学習による分類の素性として対象語前後 “2” 語以内の形態素を用いることと対応するのだか，その理由を列挙すると以下のようになる。

(1) $W_{t s}$ 獲得に用いる訓練データ $L$ は本タスクにおいて数少ない信頼できるデータである. したがって，Lからは出来る限り多くの特徴を抽出したい.

（2）一方，ラベルなしデータ $U$ は多量に存在するが，これを自動的に分類したデー夕は当然ながら必ずしも信頼できるわけではない.

(3) 反復回数一回でなるべく信頼性が高くかつ充分な数のデータの獲得が望ましい.

（4） $n_{w}^{\prime}$ を教師あり学習の素性抽出の範囲と一致させた場合, 抽出した手掛り付き事例 $i_{t s 1}$ の素性に必ず $w_{t s}$ が含まれる。このため， $i_{t s 1}$ を教師あり手法で再分類したとき高精度の分類が期待できる。

(5) $w_{t s}$ は $n_{w}$ に関わらず式 $(2)$ を満たす。つまりある程度の範囲までは $n_{w}$ を大きくすることで信頼性を維持しつつ多数の $w_{t s}$ を獲得できる.

(6) $w_{t s}$ が充分な数あれば, 一度の処理で多数の $U$ を分類しやはり充分な数のデー夕を $L$ に加えることができる.

上述の理由には従来法の欠点と提案法の利点の両方が含まれている。その対応関係は, 理由

(4) は (2)への対処であり，（5）は (4)の補足かつ (1)への対処であり，（6）は (5) を踏まえた (3) への対処となる。またここに述べた理由は， 3.2 節にて述べる手掛り付き事例分類 2 回目におい

て, 1 節で述べたパラメータ $P, G, R$ が削減可能となる理由にもなる. 詳しくは 3.2 節にて改めて述べる。

以上のアルゴリズムをもって，本手法の第一段階とする，節題の通り，本処理は経験則に基づく部分が多い. しかし, 本処理は以降の処理においても必要とされる性質を備えている。これらは 3.2 節および 3.3 節にて詳述する.

## 3.2 Stage 2：教師あり学習手法による分類

分類第二段階では 3.1 節で抽出・分類した手掛り付き事例に対し, オリジナルの訓練デー夕から得られる一次分類器を用いて 2 回目の分類を行う。そして，その結果得られる手掛り付き事例を用いて二次分類器を作成する.

## 3.2.1 教師あり学習手法

本手法で用いる教師あり学習手法は最適化に L-BFGS (Liu and Nocedal 1989)を用いた最大エントロピー法 (Nigam, Laerty, and McCallum 1999) とした. この理由は SemEval-2 日本語夕スクフォーマルラン参加チームの一つの報告 (Fujita, Duh, Taira, and Shindo 2010) に最大エントロピー法が有効というものがあったためである. また学習の素性も Fujita らの報告を参考に次のように設定した。

## - 範囲

対象語前後 2 語以内

・ 1 グラム素性

形態素の表層形

形態素の基本形 7

$\cdot$ 2 グラム・ 3 グラム・対象語を含むスキップ 2 グラム素性

形態素の表層形

形態素の基本形

形態素の品詞と対象語との相対位置の組合せ

形態素の品詞細分類と対象語との相対位置の組合せ

具体的には, 対象語「相手」の事例「相手に取って不足はない」に対しては次の素性が獲得できる。下記例中の“*”を含む素性はスキップ 2 グラムを示す. また品詞に付与されている番号は対象語との相対位置である。

相手, に, 取っ, トル, 相手に, に取っ, 相手に取っ, 相手 * 取っ, にトル, 相手に

詞-格助詞 1 動詞-一般 2 , 名詞-普通名詞-一般 $0_{0} *$ 動詞-一般 2

## 3.2 .2 手掛り付き事例分類（2 回目）

前述の学習手法, 素性, そして訓練データ $L$ を用いて一次分類器 $C_{1}$ を作成し, $C_{1}$ を用いて 3.1 節で抽出・分類した手掛り付き事例 $I_{t s 1}$ を再分類する. この分類 2 回目の結果が分類 1 回目の結果と一致する，つまり $C_{1}$ の $i_{t s 1} \in I_{t s 1}$ の分類結果を $c_{1}\left(i_{t s 1}\right)$ としたとき， $c_{1}\left(i_{t s 1}\right)=s$ である場合, $i_{t s 1}$ を $i_{t s 2} \in I_{t s 2}$ とし $L$ に加え, これを用いて $C_{1}$ 同様に二次分類器 $C_{2}$ を作成する.

3.1 節で述べたように $i_{t s 1}$ はその素性に必ず手掛り語 $w_{t s}$ を含む。そのため $c_{1}\left(i_{t s 1}\right)$ は $s$ と一致する可能性が高いが，実際に一致を確認し，一致しなければ $C_{2}$ 作成においてこの手掛り付き事例は使わない.この結果, $C_{2}$ 作成に用いられる $I_{t s 2}$ のラベル $s$ は信頼性の高いものとなる.

このシステムの重要な点は単に二種類の分類手法の結果が合致するものを選択することではない. そうだとすれば，分類 1 回目は一般的な教師あり学習手法を用いても良いことになってしまう。重要なのは分類 2 回目にて $C_{1}$ が高い精度で分類可能な事例 $I_{t s 1}$ を分類 1 回目において選択していることにある。つまり，分類 1 回目が分類 2 回目の精度向上を明確に支援していることがポイントである.これにより $I_{t s 2}$ 全てを $L$ に加えても信頼性は保持され, 同時に充分な数のブートストラッピングが可能になる。これは従来法において必要だった 1 節に挙げたパラメータ，ラベル付きデータ $L$ に加える事例の個数 $G$ および手順の反復回数 $R$ を決めることなしに適切な事例を $L$ に加えられることも意味する。なぜなら， $G$ を定めずとも全事例を $L$ に加えればよく， $R$ を定めずとも一度の実行で充分な数の事例の獲得が可能だからである。また

プールサイズ $P$ につては, Blum らの考察 (Blum and Mitchell 1998) から考えるとブートストラッピングの反復において意味を持つ値であると思われる。 よって, 反復回数 1 の本手法は単にプールを設定する必要がなく，事例を全てのラベルなしデータ $U$ から抽出することで処理できる。

また, $W_{t s}$ は $n_{w}>2$ であれば $L$ の素性にない語（つまり対象語から 3 語以上離れた位置にある語）を含むことから， $I_{t s 1}$ の素性はやはり $L$ の素性にない語を含む. すると $I_{t s 1}$ が分類 2 回目の結果， $L$ に追加されれば，上述の通り分類 2 回目の信頼性は高いと言えるため， $C_{2}$ は $C_{1}$ と比べ正しく分類できる $U$ が増える可能性が高い.したがって，本手法は $U$ のへの追加における効率性が高い手法であるとも言うことができる.

上述の性質は Co-training との類似性を指摘することもできる. Co-training は 1 節で述べたように二つの素性集合のうち一方のみに基づいて分類することで他方の素性について新しい規則の獲得が期待できるのが特徴である。本手法では， $W_{t s}$ と $C_{1}$ に用いる素性の二種類の素性を実質的に両方考慮して手掛り付き事例を分類している。しかし， $C_{2}$ に用いる素性は後者の素性のみである。つまり，一方は他方の一部ということになるが，一方の素性で分類した結果を他方の素性を用いる分類器の訓練データに加えるという点では Co-training と共通する。その一方で，提案手法は $L$ に追加する $U$ の分類に二種類，つまり全ての素性を用いており，一方のみを使う場合と比較すると分類結果の信頼性が高いという利点がある。このような変則的な Co-training と通常の Co-training の間にどのような差異が生まれるかは未調査だが, ここに述べた性質は性能の向上に結び付くと期待される.

本処理の直感的な意味としては， $C_{1}$ にまず簡単な問題を解かせ，その結果を $C_{2}$ の学習に利用していると解釈できる。一方で従来のブートストラッピングは, 難易度がランダムな問題を複数解かせ，その中でシステムが自信を持って答えられるものから学習すると考えられる。しかし後者の場合, 回答に対し「間違った自信」を持ってしまい，結果として不適切な学習をしてしまう危険性があり得る。前者の，つまり提案した手法は，確実ではないが $C_{1}$ が解くのが簡単であろう問題を選択しており，この危険性はいくらか低減していると推測される。この推測が正しいとすれば， $C_{1}$ に提示する問題を選択する分類 1 回目の処理は重要な意味を持つことになる．また，ここで提示するのは勿論ラベルなしの文章であるが，見方を変えると「良い文章」 をシステムに提示することでより良い学習が可能になると考えられ，興味深い.

## 3.3 Stage 3 : アンサンブル学習による最終分類器作成

本節では 3.2 節で作成した二次分類器 $C_{2}$ をアンサンブルして最終分類器 $C_{3}$ を作成する方法を述べる。アンサンブルには 3.1 節の手掛り語抽出において決定法を保留していた窓幅 $n_{w}$ を利用する. すなわち, $n_{w}$ をパラメータとする二次分類器を $C_{2}\left(n_{w}\right)$ とし, $n_{w}$ を変化させた $C_{2}\left(n_{w}\right)$ を複数組合せ $C_{3}$ とする. 組合せの方法は各最大エントロピー分類器が出力する各ラベルの推
定確率の中で最高値を出力した分類器の判定を採用する方式とする. つまり入力を $\mathbf{x}, C_{2}\left(n_{w}\right)$ が $\mathbf{x}$ に対し出力する語義 $s$ である推定確率を $p\left(s \mid \mathbf{x}, n_{w}\right)$ とすると,

$
s_{*}(\mathbf{x})=\underset{s}{\arg \max }\left[\max _{n_{w}} p\left(s \mid \mathbf{x}, n_{w}\right)\right]
$

より求まる $s_{*}(\mathbf{x})$ を $C_{3}$ の出力とする.

式 (3)の方式で良い結果が得られる根拠は手掛り語 $W_{t s}$ の条件の一つである式 (2)にある. 式 (2)の制約の下で $n_{w}$ の值を大きくしたとき, 得られる $W_{t s}$ に以下の二つの変化が見られる.
- $n_{w}$ 変化前になくかつ $n_{w}$ 変化後に式 $(2)$ を満たす語が追加される.
- $n_{w}$ 変化前にはあるが $n_{w}$ 変化後に式 $(2)$ を満たさなくなる語が削除される.

ここで重要なのは後者の性質である。式 (2) の性質上, 後者の変化より $W_{t s}$ から削除された語は $n_{w}$ をどんなに大きくしても再度 $W_{t s}$ に追加されることは絶対にない. $n_{w}$ 変化後に削除される語は必ずしも重要度が高い語とも低い語とも言えないが, 少なくとも一度は $W_{t s}$ の条件を満たすため重要度が高い語を含む可能性は高い。よって， $n_{w}$ の変化によって変わる各 $W_{t s}$ の集合には他の集合にはない重要度の高い $W_{t s}$ が含まれている可能性が少なからずあるということになる。したがって， $n_{w}$ の差異により各分類器に長所・短所が生まれ，アンサンブル学習の効果が生まれやすいということができる，逆に， $C_{2}$ をアンサンブルしない場合， $n_{w}$ の差異により性能に大きく差がつくと考えられ， $n_{w}$ をパラメータとした調整は難しいと考えられる。

また $n_{w}$ を増やせば，それだけ対象語から離れた位置にある語を特徴とすることになるため，少しずつ $W_{t s}$ の信頼性が落ちていくものと考えられるが，これに伴い任意の $s$ に対し $C_{2}\left(n_{w}\right)$ の $s$ の推定確率 $p\left(s \mid \mathbf{x}, n_{w}\right)$ も落ちていくと予想される。 すると， $C_{3}$ の出力を式 (3)を満たす $s_{*}(x)$ としたが， $n_{w}$ の増大に従い $C_{2}\left(n_{w}\right)$ の判定が採用される確率も減少していくと考えられる. よって, $n_{w}$ の増大は $W_{t s}$ の信頼性の減少を意味するが，同時に $C_{2}\left(n_{w}\right)$ の判定の採用確率も減ぜられる.このため本手法は $n_{w}$ の増大に対し頑健なアンサンブル手法であるとも言うことができる.

本手法は Mihalcea の Smoothed Co-training (Mihalcea 2004) およびWang ら Trajectory Based の手法 (Wang and Matsumoto 2004) と類似性を持つ.まずWang らは文脈の大きさを変えながら複数の Naive Bayes 分類器を作成しているが，提案手法の処理はこれとよく似ている．Wang らの手法は文脈の大きさというパラメータの影響の差による性能差が小さくなることで性能が上がると見られるが，本手法でも同様の効果が期待できる。また Mihalcea は Co-training の反復過程にて分類器の多数決を適用した結果, 反復回数の差による性能差が小さくなりかつ全体的な性能も向上したと報告したが，本手法における分類器の組合せにおいても同様の効果が期待できる。

なお, 分類器の組合せのもう一つの単純な方式として推定確率を重みとした重み付き多数決
方式，つまり

$
s_{*}(x)=\arg \max _{s}\left[\sum_{n_{w}} p\left(s \mid \mathbf{x}, n_{w}\right)\right]
$

が考えられる.ここで記号の意味は式 (3) と同じである. しかし, 式 (4)の方式は事前実験の結果, 式 (3)の方式ほどは良くないことがわかった. これは, $n_{w}$ の増大に伴い $C_{2}\left(n_{w}\right)$ の推定確率が低くなることに変わりはないが, 式 $(3)$ と比べ $n_{w}$ の大きな $C_{2}\left(n_{w}\right)$ の判定がより重めに考慮されていることが原因と思われる.

最後に本手法唯一のパラメータである $n_{w}$ の変化の範囲について述べる。一つの方法としては範囲を設けない，つまり任意の $n_{w}$ を許すことが考えられるが，当然ながら $n_{w}$ を増やすことで計算時間が増加する。また， $n_{w}$ の増大に伴う分類器の信頼性の減少に対しある程度は頑健であるとはいえ，限度の存在があり得る。このため $n_{w}$ の変化の範囲には何らかの閾値を定めるのが妥当と考えられる． 4 節で述べる実験ではパラメータ $n_{\text {max }}$ を定め， $1 \leq n_{w} \leq n_{\max }$ の範囲で $n_{w}$ を 1 刻みで変化させるとし， $n_{\max }$ の変化により語義曖昧性解消の性能がどのように変化していくか見ていく.

## 3.4 まとめ

提案手法を一つのアルゴリズムとして表現すると次のようになる.

Step $0 \quad n_{w}$ を初期值 $(=1)$ に設定する.

Step 1 訓練デー夕 $L$ 中の語義ラベル $s$ が付与された対象語を $T_{s}$ とする.

Step $2 t_{s} \in T_{s}$ 前後 $n_{w}$ 語以内の式 $(2)$ を満たす内容語の表層形を手掛り語 $W_{t s}$ として獲得する.

Step 3 ラベルなしデータ $U$ から対象語 $t$ に対する事例 $I_{t 0}$ を抽出する.

Step $4 \quad i_{t 0} \in I_{t 0}$ の前後 $n_{w}^{\prime}=2$ 以内に $w_{t s} \in W_{t s}$ が出現するとき， $i_{t 0}$ を手掛り付き事例 $i_{t s 1} \in I_{t s 1}$ として抽出する.

Step $5 L$ を用いて一次分類器 $C_{1}$ を作成し $i_{t s 1}$ を分類した結果を $c_{1}\left(i_{t s 1}\right)$ とする.

Step $6 \quad c_{1}\left(i_{t s 1}\right)=s$ であるとき, $i_{t s 1}$ を $i_{t s 2} \in I_{t s 2}$ とする.

Step $7 L$ に $I_{t s 2}$ を加え二次分類器 $C_{2}$ を作成する.

Step $8 n_{w}$ を $1 \leq n_{w} \leq n_{\max }$ の範囲で変化させ, Step 1 から 7 まで繰り返す.

Step 9 Step 8 で得られた $C_{2}$ をアンサンブルして最終分類器 $C_{3}$ とする.

まず着目すべきは本手法は Step 8 に示した $n_{\max }$ 以外にパラメータが存在しないことである. そして 4 節で示すようにこのパラメータの設定は比較的容易である.

次に留意すべきは 1 節で述べた $P, G, I$ といったパラメータがないにも関わらず，ブートストラッピングの効果が充分に見达めるという点である。このメカニズムは, 上記 Step 2 に示し

た手掛り語 $W_{t s}$ の条件, Step 4 の $I_{t s 1}$ の抽出の条件, Step 6 の $I_{t s 2}$ 抽出の条件, さらに Step 8, 9 が巧妙に作用しあっていることに基づいている.

最後に注意すべきは，本手法は Step 0 から 9 までの 1 度の実行だけで，充分なブートストラッピングが可能であり， 2 回以上の反復を必要としない点である. しかし, Step 4 の $I_{t s 1}$ の抽出は必然的に再現率を犠牲にするため, 本手法 1 回の実行で完全な学習ができる訳ではない。本手法の反復による更なる精度の向上は今後の課題である.

## 4 実験

今回実験に使用したデータセットは SemEval-2 日本語タスク (Okumura et al. 2010) において配布された訓練データ（語義ラベル）, テストデータを含む形態素解析済みコーパス, および語義の定義に用いられた岩波国語辞典 (西尾, 岩淵, 水谷 1994)のデー夕のみである．ラベルなしデータとしては上述の形態素解析済みコーパス全てを利用した。本研究では形態素の基本形の情報も利用するが, SemEval-2 日本語タスクにおいてはデータセットに漢字表記の基本形の情報は付与されていない. しかし, 用言については基本形のカナ表記（bfm; 語形）の情報が付与されているため, 本研究ではこれを基本形として扱った. また本研究では, 配布されたコーパスの形態素に付与されている品詞が名詞, 動詞, 形容詞, 形状詞, 副詞, 接尾辞, 接頭辞のいずれかであるものを内容語とした。

本研究では，訓練データに対する前処理として，SemEval-2 日本語タスクにおいて語義の定義に用いられた岩波国語辞典の語釈文に含まれる用例の訓練データへの追加を行った。まず岩波国語辞典の用例中の対象語は“一”に置きかえられているため, “一”を人手で対象語に置換し直し, 用例を自動と人手による修正により抽出した。用例の形態素解析には SemEval-2 のデー タセットの形態素解析に用いられたのと同様に辞書としてUniDic を用い, $\mathrm{MeCab}^{8}$ を用いて形態素解析した. 形態素解析結果に対する対象語の語義の付与は, 用例の抽出同様, 自動と人手による修正の組合せより行った. ここで追加した用例の総数は 788 であり, 追加後の訓練デー 夕全体の約 $24 \%$ を占める。

上記の辞書中の用例とオリジナルのデータセットの間には性質に相違がある. オリジナルのデータセットはまとまった文章で与えられ，対象語周辺から多くの文脈情報が得られる。対して, 辞書の用例は短い文で与えられ, 得られる文脈情報は少なく, また用例自体は通常の文章に現れにくい表現の場合がある．3.1節にて述べた手掛り語獲得の手法は, 対象語から離れた位置からも手掛り語を獲得することを想定した手法であり，上述のような性質の異なるデータを併用すると不具合が生じる可能性が考えられる。このため実験では, 手掛り語獲得において, 上

記の辞書用例からの追加データを使用する場合と使用しない場合の二通りの実験を行った.

実験は $n_{\max }$ を変化させつつ, 3.3 節で述べた通りに $n_{w}$ を $1 \leq n_{w} \leq n_{\max }$ の範囲で 1 刻みで変化させ最終分類器を作成し, 最終分類器の性能を前述のテストデータを用いて評価した。 $n_{\max }$ の値は $1 \leq n_{\max } \leq 100$ の範囲で 1 刻みで変化させた.

まず手掛り語獲得において辞書用例データを使用しない場合の実験結果を図 2 に示す.ここで Final classifier が提案手法の分類精度であり, 1st classifier の結果は 3.2 節にて述べた一次分類器によるテストデータの分類精度を示す。なお一次分類器はべースラインの教師あり手法であることに注意されたい。また，最終分類器と二次分類器の性能比較のため， $n_{w}$ を $1 \leq n_{w} \leq 100$ の範囲で変化させ二次分類器単体でテストデータを分類したときの評価結果を図 3 に示す.

図 2 と図 3 の共通点としては, どの $n_{\max }, n_{w}$ においても最終分類器, 二次分類器ともに一次分類器の結果を上回っていることがわかる。これより本手法の第二段階の時点で信頼性の高いブートストラッピングができていたことが確認できる。一方で図 3 を見て明らかな通り，二次分類器は最終分類器と比較してパラメータ $\left(n_{w}\right)$ による精度のバラつきがかなり大きいことがわかる. また最終分類器は $n_{\text {max }}=50$ 付近から, 二次分類器は $n_{w}=60$ 付近から $n_{\text {max }}, n_{w}$ の増加に伴い明白に精度が落ちていくことがわかるが, 二次分類器の精度の落ち方は最終分類器と比べ明らかに大きい。これより 3.3 節で述べたように提案手法が $n_{w}$ の増大に対し実際に頑健であることもわかる。二次分類器の最高値は最終分類器と比べると有意に高いと言えるが, そのときの $n_{w}=23$ のすぐ近くに大きな谷 $\left(n_{w}=27\right)$ があり, これより二次分類器のパラメータ調整の難しさがうかがえる。一方で, 最終分類器は特に $35 \leq n_{\max } \leq 50$ の範囲で性能が安定しており，パラメータ調整は比較的容易と言える。

次に手掛り語獲得において辞書用例データを使用した場合の最終分類器の評価結果を図 4 , 二次分類器の評価結果を図 5 に示す。始めに図 4 と図 5 を比較すると, やはり最終分類器の方がパラメータの変化に対し性能が頑健であることがわかる. しかし図 2 と図 4 で最終分類器同士を比較すると， $n_{\max }=10$ 周辺では辞書用例使用の方がわずかに性能が良いが， $n_{\max }$ がこれより大きくなると辞書用例不使用と比べ性能がやや落ちる． $5 \leq n_{\max } \leq 50$ の範囲における性能の安定性を比較すると，これは明確に辞書用例不使用の方が高いと言える。また図 3 と図 5 で二次分類器同士を比較すると, 辞書用例使用の方は $n_{w}=20$ 周辺においてやや安定性が高いが,有意差があるとは言いにくく，いずれにせよこれらは最終分類器より性能の安定性が低い．結論としては，辞書用例使用の有無ではっきりと有意差があるとは言えないが，今回の実験では性能の安定性は辞書用例不使用の方が比較的高いとみることにする．以後は辞書用例不使用の場合の実験結果のみを示す。

続いて $5 \leq n_{w} \leq 20,20 \leq n_{w} \leq 35,35 \leq n_{w} \leq 50,5 \leq n_{w} \leq 50$ の四つの範囲別（ $n_{\max }$ も同様) の二次分類器 - 最終分類器の精度の最高値 ・最低值・平均值, および最頻出語義選択, 一次分類器の精度を表 1 に示す.ここで最高値, 最低値の右括弧内の値はそのときの $n_{w}, n_{\max }$ を

図 $2 n_{\max }$ の変化による提案手法分類精度の推移 (手掛り語獲得で辞書用例不使用)

図 $4 n_{\max }$ の変化による提案手法分類精度の推移 (手掛り語獲得で辞書用例使用)

図 $3 n_{w}$ の変化による二次分類器の分類精度の推移（手掛り語獲得で辞書用例不使用）

図 $5 n_{w}$ の変化による二次分類器の分類精度の推移（手掛り語獲得で辞書用例使用）

示す. 最高値, 最低値の $n_{w}, n_{\max }$ が複数ある場合はその中で最も小さい値を示した.

表 1 において特筆すべきはやはり最終分類器の最低値と平均値の高さである。 以下全て $5 \leq$ $n_{\max } \leq 50$ ( $n_{w}$ も同じ）の範囲について述べる。まず最低值は 0.44 ポイント二次分類器を上回り, 一次分類器を常に 1.56 ポイント上回ることになる. これは二次分類器の平均值よりも高い值である。また最終分類器の平均値は一次分類器を 1.69 ポイント上回る. 一方, 最高値は二次分類器の方が最終分類器を 0.44 ポイント上回り, 最大で一次分類器を 2.24 ポイント上回ることになる。しかし, 最高值と最低值の差は二次分類器は 1.12 ポイントあるのに対し, 最終分類器はわずか 0.24 ポイントである. よって, パラメータの調整を考えると最終分類器の方が手法として扱いやすい.

最後に一次分類器の精度, $n_{\max }$ が表 1 に示した $5 \leq n_{\max } \leq 50$ の範囲における最高値・最低
表 1 各分類器の分類精度の比較（手掛り語獲得で辞書用例不使用）

値の精度のときの値の最終分類器の精度, および $5 \leq n_{\max } \leq 50$ の範囲での最終分類器の精度の平均値のそれぞれについて，SemEval-2 日本語タスクの語義曖昧性解消対象語別に求めた結果を表 2 に示す。なお表 2 に示した最高値・最低値は $n_{\text {max }}$ を対象語別に精度が最高値・最低値になるように変化させたときの値ではないため，表 2 の「子供」の結果のように，最低値の精度が最高値より高い場合も存在する。また対象語右の括弧内の数字は SemEval-2 における判別すべき語義の総数であり，この数字に付記された“+”はテストデータに新語義の語が含まれていたことを示す。ただし本稿では特に新語義判別を考慮した処理はしておらず，本実験での一次, 二次，最終の各分類器の比較に新語義の有無は関係しない.

表 2 において強調してある一次分類器の精度は最終分類器の平均値を上回るもの, 強調してある最終分類器の平均値は一次分類器の精度を 5 ポイント以上上回るものを示している。まず最終分類器の平均値を上回る一次分類器の結果を見てみると, その差は最大で「始める」の 3.7 ポイントと比較的小さい。一方, 一次分類器の結果を上回る最終分類器の結果を見てみると,最大で「教える」が 14.3 ポイント向上しているとわかる.

対象語の語義数と精度の変化の関係を見てみると, 例外的に「もの」は比較的語義数が多くて精度の向上もやや大きいが, 語義数の多い語は一次分類器と比べ最終分類器の精度が落ちる傾向がある。これは, 手掛り語の条件である式 (2)の存在により, 語義数が多いと有益な手掛り語の獲得が難しくなるためと考えられる．対処方法の一つとしては語義数により手掛り語の条件を変えることが考えられるが，どのように条件を変えるべきかは難しい問題である。

最後に全体を見てみると，結局一次分類器と最終分類器の間に差がないものが多いことに気付く．よって提案手法は一部の単語に対し高い効果を持つ手法であるということになる。この原因としては, 本手法で手掛り語として用いたのが内容語の表層形の 1 グラムのみと, 手掛り語が素性としては非常に狭い範囲内に位置するものだったこと, そして手掛り付き事例抽出の
表 2 対象語・分類器別の分類精度の比較（手掛り語獲得で辞書用例不使用）

} & \multirow{2}{*}{} & \multicolumn{3}{|c|}{ 最終分類器 } & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{3}{|c|}{ 最終分類器 } \\

語義数右の“+”はテストデータに新語義の語が含まれていたことを示す.

条件が対象語前後 2 語以内に手掛り語を含むという厳しい制約であったことが考えられる.ここで後者の原因は手掛り付き事例抽出の条件の $n_{w}^{\prime}=2$ を可変にし, さらに多くの二次分類器を作成してアンサンブルすることで取り除ける可能性がある。一方，前者の原因は単に素性の粒度を荒くしただけでは精度が低下する恐れがある。

以上を踏まえると 3.1 節にて述べたヒューリスティックは部分的に有効と言えるが, 汎用性に不安が残る．3.1節の手法第一段階を他の段階と切り離すとすると, 第二段階, 第三段階に変更を加えない場合, 第一段階の要件は

（1）手掛り付き事例を（仮の）ラベルを付与して抽出すること

（2）抽出事例は第二段階の分類を助ける手掛りを持つこと

(3) 第三段階にて二次分類器を複数作成するためのパラメータを持つこと

(4) 要件 $(2)$ の手掛りの信頼性と要件 (3)のパラメータの間に相関があることの四つである.この中で特に難しいと思われるのは要件 (2)であるが，これを実現する方法の一つとしては特徴選択がある。第一段階は狭い意味での特徴選択をしているとも見ることができ，効果的な特徴選択法を利用することで上述の問題への対処，つまりより多くの単語の語義曖昧性解消を実現できる可能性がある。特徴選択を応用した語義曖昧性解消の研究の一つとしては Mihalceaによるものが挙げられる (Mihalcea 2002). Mihalcea は手法は Senseval-2 English all words task において二位の成績から 5.4 ポイント引き離し最高の成績を得た実績がある. よって, Mihalceaの手法を本手法に応用することで更なる性能の向上を見达める可能性がある.

## 5 おわりに

本稿では，従来のブートストラッピング法による語義曖昧性解消手法の欠点であるパラメー 夕調整の難しさに対処するため，パラメータ設定をほぼ不要とするブートストラッピング的半教師あり語義曖昧性解消手法を提案した。この手法は二段階の分類をラベルなしデー夕に適用するものであり, 反復回数を一回に留めるにも関わらず充分な効果があるブートストラッピングを実現した。またラベル付きデータに追加するラベルなしデータの条件を変え, 複数の分類器を作成しアンサンブル学習することで唯一のパラメータの調整も容易とする手法を確立した.

本手法の改良の方針としては次の二つが考えられる.

・ 本手法を通常のブートストラッピング同様に訓練データの反復追加を可能にし，性能が向上するように拡張する。
- 3.1 節にて述べたヒューリスティックによる分類をより多くの語の語義曖昧性解消に有効な汎用的手法に改良する。

これらはいずれも重要度の高い課題であり, 並行して取り組むべき課題であると言える。また,提案した手法は語義曖昧性解消に特化しているが, 3.2 節と 3.3 節で述べたような半教師ありのアンサンブル学習の枠組みを異なる問題に適用することも興味深い課題である.

最後に, 実現可能性は未知数だが本手法の発展の可能性として, 語義曖昧性解消のような分類問題において機械学習を用い人間にとって理解しやすい規則を獲得できるようになれば面白いのではないかと筆者は考えている。これは本稿にて提示したヒューリスティックに基づいた手法そのものを訓練事例とみなし，機械が自動でこの訓練事例に類似し，かつ人間に理解しやすい規則を獲得するというものである。これを実現するには「理解しやすさ」という尺度を定義することから始めなければならないと思われるが，もし実現できれば，従来の機械学習において困難だった獲得した規則の解釈が容易になることが予想される。そうすれば機械学習，またはこれを応用した自然言語処理などの研究の進展が加速するのではないかと期待できる.

## 謝 辞

本研究に用いた評価用データセットをご準備, ご提供くださいました SemEval-2 日本語タスクの運営の皆様, ならび本稿のために有益なコメントをお寄せくたさいました査読者の皆様に深く感謝いたします.

## 参考文献

Abney, S. (2004). "Understanding the Yarowsky algorithm." Computational Linguistics, 30 (3), pp. 365-395.

Agirre, E., Martínez, D., de Lacalle, O. L., and Soroa, A. (2006). "Two Graph-Based Algorithms for State-of-the-art WSD." In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 585-593.

Banerjee, S. and Pedersen, T. (2003). "Extended Gloss Overlaps as a Measure of Semantic Relatedness." In Proceedings of the 18th International Joint Conference on Artificial Intelligence (IJCAI), pp. 805-810.

Blum, A. and Mitchell, T. (1998). "Combining Labeled and Unlabeled Data with Co-Training." In COLT: Proceedings of the Workshop on Computational Learning Theory, pp. 92-100.

Brody, S., Navigli, R., and Lapata, M. (2006). "Ensemble Methods for Unsupervised WSD." In Proceedings of the 44th Annual Meeting of the Association for Computational Linguistics joint with the 21st International Conference on Computational Linguistics (COLING-ACL), pp. 97-104.

Curran, J. R., Murphy, T., and Scholz, B. (2007). "Minimising Semantic Drift with Mutual Exclusion Bootstrapping." In Proceedings of the 10th Conference of the Pacific Association for Computational Linguistics, pp. 172-180.

Edmonds, P. and Cotton, S. (2001). "SENSEVAL-2: Overview." In Proceedings of the 2nd International Workshop on Evaluating Word Sense Disambiguation Systems (Senseval-2), pp. 1-6.

Escudero, G., Màrquez, L., and Rigau, G. (2000). "Boosting Applied to Word Sense Disambiguation." In Proceedings of the 11th European Conference on Machine Learning (ECML), pp. 129-141.

Florian, R., Cucerzan, S., Schafer, C., and Yarowsky, D. (2002). "Combining classifiers for word sense disambiguation." Natural Language Engineering, 8 (4), pp. 327-431.

Fujita, S., Duh, K., Taira, H., and Shindo, H. (2010). "MSS: Investigating the Effectiveness of

Domain Combinations and Topic Features for Word Sense Disambiguation." In Proceedings of the 5th International Workshop on Semantic Evaluations (SemEval-2010), pp. 383-386.

Galley, M. and McKeown, K. (2003). "Improving Word Sense Disambiguation in Lexical Chaining." In Proceedings of the 18th International Joint Conference on Artificial Intelligence (IJCAI), pp. 1486-1488.

Joachims, T. (2003). "Transductive Learning via Spectral Graph Partitioning." In Proceedings of the 20th International Conference on Machine Learning (ICML), pp. 290-297.

Klein, D., Toutanova, K., Ilhan, H. T., Kamvar, S. D., and Manning, C. D. (2002). "Combining Heterogeneous Classifiers for Word-Sense Disambiguation." In Proceedings of the ACL workshop on Word Sense Disambiguation: Recent Successes and Future Directions, pp. 74-80.

小町守, 工藤拓，新保仁，松本裕治 (2010). Espresso 型ブートストラッピング法における意味ドリフトのグラフ理論に基づく分析 : 語義曖昧性解消における評価. 人工知能学会論文誌, 25 (2), pp. 233-242.

Le, A.-C., Shimazu, A., Huynh, V.-N., and Nguyen, L.-M. (2008). "Semi-supervised learning integrated with classifier combination for word sense disambiguation." Computer Speech and Language, 22 (4), pp. 330-345.

Liu, D. C. and Nocedal, J. (1989). "On the limited memory BFGS method for large scale optimization." Mathematical programming, 45, pp. 503-528.

Màrquez, L., Escudero, G., Martínez, D., and Rigau, G. (2004). "Supervised Corpus-Based Methods for WSD." In Agirre, E. and Edmonds, P. (Eds.), Word Sense Disambiguation: Algorithms and Applications, pp. 167-216. Springer.

McCarthy, D., Koeling, R., Weeds, J., and Carroll, J. (2004). "Finding Predominant Word Senses in Untagged Text." In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics, pp. 280-287.

Mihalcea, R. (2002). "Word sense disambiguation with pattern learning and automatic feature selection." Natural Language Engineering, 8 (4), pp. 343-358.

Mihalcea, R. (2004). "Co-training and Self-training for Word Sense Disambiguation." In Proceedings of the 8th Conference on Computational Natural Language Learning (CoNLL), pp. 33-40.

Mihalcea, R. and Edmonds, P. (Eds.) (2004). Proceedings of the 3rd International Workshop on the Evaluation of Systems for the Semantic Analysis of Text (Senseval-3).

Navigli, R. (2009). "Word sense disambiguation: A survey." ACM Computing Surveys, 41 (2), pp. 1-69.

Navigli, R. and Velardi, P. (2005). "Structural semantic interconnections: A knowledge-based ap-
proach to word sense disambiguation." IEEE Transactions on Pattern Analysis and Machine Intelligence, 27 (7), pp. 1075-1088.

Nigam, K. and Ghani, R. (2000). "Analyzing the Effectiveness and Applicability of Cotraining." In Proceedings of the 9th International Conference on Information and Knowledge Management, pp. 86-93.

Nigam, K., Laerty, J., and McCallum, A. (1999). "Using Maximum Entropy for Text Classication." In Proceedings of IJCAI-99 Workshop on Machine Learning for Information Filtering, pp. 61-67.

西尾実，岩淵悦太郎，水谷静夫 (1994). 岩波国語辞典第五版. 岩波書店.

Niu, Z.-Y., Ji, D.-H., and Tan, C. L. (2005). "Word Sense Disambiguation Using Label Propagation Based Semi-Supervised Learning." In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pp. 395-402.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2010). "SemEval-2010 Task: Japanese WSD." In Proceedings of the 5th International Workshop on Semantic Evaluations (SemEval-2010), pp. 69-74.

Pantel, P. and Pennacchiotti, M. (2006). "Espresso: Leveraging Generic Patterns for Automatically Harvesting Semantic Relations." In Proceedings of the 21st International Conference on Computational Linguistics and the 44th Annual Meeting of the Association for Computational Linguistics, pp. 113-120.

Pedersen, T. (2000). "A Simple Approach to Building Ensembles of Naive Bayesian Classifiers for Word Sense Disambiguation." In Proceedings of the 1st Annual Meeting of the North American Chapter of the Association for Computational Linguistics, pp. 63-69.

Pham, T. P., Ng, H. T., and Lee, W. S. (2005). "Word Sense Disambiguation with SemiSupervised Learning." In Proceedings of the 20th National Conference on Artificial Intelligence (AAAI), pp. 1093-1098.

新納浩幸 (2001). 素性間の共起性を検査する Co-training による語義判別規則の学習. 情報処理学会自然言語処理研究会 NL-145-5, pp. 29-36.

鶴岡慶雅, 近山隆 (2002). ベイズ統計の手法を利用した決定リストのルール信頼度推定法. 自然言語処理, $9(3)$, pp. 3-19.

Vapnik, V. N. (1998). Statistical Learning Theory. John Wiley and Sons.

Véronis, J. (2004). "HyperLex: Lexical cartography for information retrieval." Computer Speech and Language, 18 (3), pp. 223-252.

Wang, X. and Matsumoto, Y. (2004). "Trajectory Based Word Sense Disambiguation." In Proceedings of the 20th international conference on Computational Linguistics, pp. 903-909.
八木豊, 野呂智哉, 白井清昭, 徳永健伸, 田中穂積 (2001). 決定リストを用いた語義曖昧性解消. 電子情報通信学会言語とコミュニケーション研究会 NLC2001-42, pp. 47-52.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics, pp. 189-196.

Zhou, Z.-H. and Li, M. (2005). "Tri-training: Exploiting Unlabeled Data using Three Classifiers." IEEE Transactions on Knowledge and Data Engineering, 17 (11), pp. 1529-1541.

Zhu, X. and Ghahramani, Z. (2002). "Learning from Labeled and Unlabeled Data with Label Propagation." Tech. rep., CMU CALD tech report CMU.CALD.02.107.

## 略歴

井上裁都：2009 年慶應義塾大学理工学部情報工学科卒業. 2011 年同大学院修

士課程修了. 修士 (工学).

斎藤博昭：慶應義塾大学理工学部情報工学科准教授. 工学博士.

$
\begin{array}{ll}
(2010 \text { 年 } 9 \text { 月 } 30 \text { 日 } & \text { 受付) } \\
(2010 \text { 年 } 11 \text { 月 } 9 \text { 日 } & \text { 採録) }
\end{array}
$


# 日本語語義曖昧性解消のための訓練データの自動拡張

本稿では, 訓練データの自動拡張による語義曖昧性解消の精度向上方法について述 べる。評価対象として, SemEval-2010 日本語語義曖昧性解消夕スクを利用した。本稿では，まず，配布された訓練データのみを利用して学習した場合の結果を紹介す る. 更に, 辞書の例文, 配布デー夕以外のセンスバンク，ラベルなしコーパスなど， さまざまなコーパスを利用して，訓練データの自動拡張を試みた結果を紹介する。本稿では，訓練データの自動獲得により $79.5 \%$ の精度を得ることができた．更に，対象語の難易度に基づき，追加する訓練データの上限を制御したところ，最高 $80.0 \%$ の精度を得ることができた.

キーワード：SemEval-2010，例文，コーパス，難易度
## Effectiveness of Automatic Expansion of Training Data for Japanese Word Sense Disambiguation

\author{
Sanae Fujita ${ }^{\dagger}$, Kevin Duh $^{\dagger}$, Akinori Fujino ${ }^{\dagger}$, \\ Hirotoshi Taira $^{\dagger}$ and Hiroyuki Shindo ${ }^{\dagger}$
}

In this paper, we propose a method to expand training data automatically, using example sentences of a dictionary, other sensebank and unlabelled corpus. We tested on the data of SemEval-2010 Japanese WSD task and achieved $79.5 \%$ accuracy in our experiments. Then, we limited the number of used training data and achieved $80.0 \%$ accuracy.

Key Words: SemEval-2010, Example sentences, Corpus, Difficulty Analysis

## 1 はじめに

SemEval-2010 において, 日本語の語義曖昧性解消タスクが行われた (Okumura, Shirai, Komiya, and Yokono 2010). 本タスクは，コーパス中に出現する対象語に対し，辞書で定義された語義のうち適切な語義を推定することが課題である。日本語を対象とした類似のタスクとしては, 2001 年に開催された SENSEVAL-2 の日本語辞書タスクがあげられる。ただし, SENSEVAL-2 における日本語辞書タスクとは，2つの点で大きく異なっている。すなわち，対象コーパスの分野が多岐にわたる点, および，辞書に定義されていない語義が出現することもあるという点で異なっている。

語義曖昧性解消は，非常に古くから取り組まれてきている課題であり，さまざまな手法が提案されてきている (Navigli 2009)，教師なし学習法も，クラスタリングに基づく手法 (Pedersen 2006) や，辞書定義文を利用した手法 (Lesk 1986; Baldwin, Kim, Bond, Fujita, Martinez, and Tanaka 2010) などが提案されているが，一般に訓練データが存在する場合には, 教師あり学習法による精度の方が高い (Tanaka, Bond, Baldwin, Fujita, and Hashimoto 2007). SENSEVAL-2, および，SemEval-2010での日本語語義曖昧性解消タスクでも，教師あり学習法による手法が最も高い精度を出している (Okumura et al. 2010; 村田, 内山, 内元, 馬, 井佐原 2003). そこで,本稿でも，教師あり学習法をべースとした実験を行った。

しかし，本タスクにおいて，訓練データとして与えられたのは，各対象語につき 50 例ずつであり，十分な量とはいい難い，実際，評価データにしか出現しない語義（未知語義）も存在する。そのような未知語義は，訓練データのみを用いた学習では推測できない。また，コンテストに参加したチームで，ドメイン適合性に着目した実験を行ったチームもあるが，ドメイン適合性はいずれのチームでもあまり有効に機能していない (Shirai and Nakamura 2010; Fujita, Duh， Fujino, Taira, and Shindo 2010). 我々は，その原因が，訓練デー夕の少なさにあると考え，訓練データの自動獲得による精度向上を試みた。本稿ではその報告を行う。

訓練データを自動的に増やす方法としては，まず，Bootstrapping 法があげられる． Bootstrapping 法では，まずラベル（語義）の付与された訓練データで学習し，ラベルなしデータのラベルを推定し，ある基準において最も信頼できるものをラベルありデータに追加する (Mihalcea 2002， 2004). ここで, ラベルなしデータのラベル推定を決定木で行う研究もある (Yarowsky 1995).

しかしこれらの方法の場合, ラベルなしデータから, いくら訓練データを追加したところで, もともとの訓練データに出現しないような語義を推測することはできない，という問題がある. そのため, この方法でも未知語義には対応できない.

また，訓練データを自動的に増やす他の方法として，単義の同義語を利用する方法も提案されている (Mihalcea and Moldovan 1999; Agirre and Martinez 2000). 彼らは, WordNet の同義語 (synset)のうち, 単義語（例えば, “remember 1 ”に対して“recollect”など）や, 定義文 (gloss)の中のユニークな表現 (例えば, "produce 5 "に対して, glossの一部である "bring onto the market" など）を検索語として Web 検索を行い，獲得したスニペット中の対象語に語義を付与し，訓練データに追加している。この方法であれば，未知語義の訓練データを得て, 推定できる可能性がある。

そこで, 本稿では, 基本的に後者の方法に近い方法を導入する. ただし, (Mihalcea and Moldovan 1999; Agirre and Martinez 2000) らは，WordNet から同義語等を得ることができたが，本夕スクの語義は岩波国語辞典によるため，WordNetの synsetのような同義語を直接獲得することは難しい，そこで，定義文中から比較的抽出しやすい例文に着目し，例文を利用した訓練デー夕の獲得を行う，また，本稿では，既存のコーパスの利用も考える.
本稿では，まず 2 章で，本タスクで配布されたデータ，および，それ以外に本稿で利用したデータについて紹介する。次に 3 章では，本稿で利用する素性，学習方法について述べる， 4 章では実験の結果とそれに基づく議論，5 章では自動獲得した訓練デー夕の評価について， 6 章では結論を述べる.

## 2 データ

## 2.1 SemEval-2010: Japanese WSD タスク配布データ

1 章で述べたように，SemEval-2010: Japanese WSD タスクは, 対象コーパスの分野が多岐にわたるという特徴がある。訓練デー夕は, 白書 (以下, OW), 新聞 (PN), 本や雑誌 (PB) の分野から成り，評価デー夕は，更に，Web 上の Q\&A サイトである，Yahoo! 知恵袋（以下，OC）のデータも含んでいる。これらのデー夕は, 現代日本語書き言葉均衡コーパス $(B C C W J)^{1}$ のうち,形態素解析の誤りを人手で修正したコアデータと呼ばれる部分から抽出されている．なお，形態素解析は, UniDic に基づいて行われている.

また, 本デー夕には, 岩波国語辞典 (西尾, 岩淵, 水谷 1994) の語義を元に, 語義 ID が付与されている。岩波国語辞典に定義されていない新語義（以下，x）も付与されている場合があり， それらの新語義を推定することも，課題の一つである。対象語は 50 語で，辞典に定義された語義数は 219 だった。訓練データでは, 2 種類の新語義 $(X)$ が出現している. 訓練デー夕と評価データは，各語 50 文ずつ与えられた。

図 1 は，本タスクで配布された岩波国語辞典の例である。図 1 に示すように，各エントリは，表記，品詞，定義文や例文などの情報を含んでいる.

図 2 は，訓練データの例である。 ここで， sense="”で示される部分が，付与されている語義 ID を示している。例えば, 図 2, 6 行めの形態素「取っ」の場合, 語義 ID '37713-0-0-1-1'が付与されている。但し, 図 2 において, lemma="”の部分は, 配布デー夕には存在していなかった.これは, 各形態素の基本形を示しており, カタカナによる基本形 (bfm) や, 出現形から推測し, 我々がほぼ自動的に付与したものである。また, 図 2 において, 各行頭に付与した番号は，参照用に便宜的に付与したものである.

## 2.2 岩波国語辞典の例文

本稿では，まず，岩波国語辞典の例文を抽出する。図 1 の例のように，「」で囲まれた部分は，各語義の例文になっている。そこで，「」で囲まれた部分を例文として抽出する。ここで，“一” の部分は，見出し語を補完することができる，それにより，例えば，図 1 に示した見出し語「と

Headword とる【取る・採る・執る・捕る】

37713-0-0-0-0 ((五他))

37713-0-0-1-0 <1>置いてあったもの、離れていたものなどを、みずからの動作で手に持つ。

37713-0-0-1-1 くア>手で握り（つまみ）持つ。「手に一って見る」「手をーって導く」

. .

37713-0-0-3-0<3>身に負い持つ。

37713-0-0-3-1 くア>（進んで）自分がそれを引き受ける。「責任を一」「仲介の労を一」

37713-0-0-3-2 くイ>結果として得る。「百点を一」「不覚を一」「污名を一」

事件だ」

..

37713-0-0-6-0<6>物事の内容をはかり知る。

. .

37713-0-0-6-3 くウ>数える。測る。「数を一」「尺を一」（寸法を測る）「脈を一」（転じて診察する意にも）

図 1 岩波国語辞典の例：「とる」から抜粋

図 2 訓練データの例

る」の場合, 37713-0-0-1-1 の例文として (1), 37713-0-0-3-1 の例文として $(2), 37713-0-0-6-3$ の例文として (3) などが獲得できる。また, 岩波国語辞典の場合, 例文の前方や後方が, “...”という記号によって省略される場合がある。例えば,「“に一って」のような形（図 1 の 37713-0-0-3-3)

である.こうした“..."は, 取り除き，(4)のような形にした3

(1) 手を取って導く (37713-0-0-1-1)

(2) 責任を取る $(37713-0-0-3-1)$

(3) 数を取る $(37713-0-0-6-3)$

(4) にとって (37713-0-0-3-3)

こうして抽出した例文は, 形態素解析器 $\mathrm{Mecab}^{4} の$ UniDic バージョンで解析する。 また, 例文(1)-(3)において, “一”によって見出し語を補完した部分（下線部）には，例文を抽出した語義のID を付与する。但し, 本タスクで推定する語義の粒度は, 中語義（ - で区切られた数字の，最後の部分を除いたもの．37713-0-0-1, 37713-0-0-3 等）なので，実際には，中語義に集約して抽出している。つまり, 例文 (1) は37713-0-0-1, (2), (4) は 37713-0-0-3, (3) は 37713-0-0-6 の例文として利用する。

## 2.3 センスバンク：檜

本稿では，更に数種類の言語資源を利用した。

まず，基本語意味データベース Lexeed (笠原, 佐藤, Francis, 田中, 藤田，金杉, 天野 2004), および，センスバンク「檜」(Bond, Fujita, and Tanaka 2006)を利用する. Lexeed は，日本人にとって最も馴染みの深い 28,270 語を収録した辞書である。収録語は, 心理実験によって選定されており, 語義毎に語義文と例文がある。また, 各語義文と例文の内容語には, Lexeed 自身の語義が付与されている。 更に, 京都大学テキストコーパス 5 の内容語に対しても, Lexeed の語義が付与されている。これらの, Lexeedによって語義付与されたセンスバンクを「檜」(Bond et al. 2006) と呼んでいる。檜のサイズを表 1 に示す. なお, 檜には構文情報も付与されているが, 本稿では利用していない.

表 1 「檜」に付与された語義数

^{3}$ Fujita ら (2010)では, 岩波国語辞典の例文をそのまま追加した場合, 精度はむしろ低下する傾向にあった. この原因は，“...”等で表される省略記号などを取り除かず，そのまま利用したこと，例文そのものは非常に短いものが多く，切れ切れになってしまうことなどが考えられる.

4 http://mecab.sourceforge.net/

5 http://www-lab25.kuee.kyoto-u.ac.jp/nl-resource/corpus.html
}

ここで, Lexeed と岩波国語辞典の語義は，語義文の類似度の高いもの同士がリンクされている (Dridan and Bond 2006). そのため, リンクが存在する語義なら, 檜で付与されている Lexeed の語義を岩波国語辞典の語義に置き換えて，訓練データとして利用することができる.

例えば，岩波国語辞典の「とる」37713-0-0-6-3 の語義文は「数える，測る.」であり，Lexeed の 19036420-49 の語義文「数える。測定する.」と, 非常に類似しており, リンクされている.このリンクを用いることで，例えば，Lexeed の 19036420-49 の例文 (5) を, 岩波国語辞典の 37713-00-6(-3)の訓練データに追加できる。但し, 檜はIPA 品詞体系に基づいた形態素解析が行われているため, UniDicによって形態素解析をやりなおし, 語義 ID のみを対応箇所に付与しなおした.

（5）そこで、医者は患者の顔色を診ながら脈を取った。

## 2.4 現代日本語書き言葉均衡コーパス

2.1 章で述べたように，本タスクのデータは, 現代日本語書き言葉均衡コーパス (BCCWJ)のコアデータから抽出されている. BCCWJのデータは, モニター公開データとして利用可能である。但し，コアデータには，人手修正された形態素解析結果が付与されているが，コアデータ以外の BCCWJには形態素解析結果は付与されていない. 本稿では, BCCWJ の 2009 年度版モニター公開データを利用する。 Readmeによると, BCCWJ 2009 年度版モニター公開データには 4,300 万語が含まれている.

このデータから， 2.2 章で抽出した岩波国語辞典の例文を利用し，訓練データを獲得する。まず， 2.2 章で獲得した例文を文字の列として完全に含む文を抽出し，形態素解析を行う．更に，対象例文の見出し語と, 基本形, および, 品詞大分類が一致する形態素に, 該当する例文の語義 ID を付与する。

例えば，37713-0-0-3-3 の例文「にとって」（図 1 参照）を含む文として，Yahoo! 知恵袋 (OC) から，文 (6)を獲得できる。文 (6) の下線部は, 2.2 章で抽出した例文 (4) と一致した部分である。また, これを形態素解析したものが, 図 3 である.

（6）地運の相性を見ても彼はあなたにとって最高の相手ですが、

このように, 本手法によって獲得した文はラベルあり訓練データとして追加する. 但し, BCCWJ には，評価対象文が含まれるので，評価対象文と同一の文は利用しないという制限を設けた。

また, 新聞デー夕 2 年分（日本経済新聞（以下, NIK), 毎日新聞 $(\mathrm{MAI})$ ) からも, 同様に訓練データを抽出した.

## 2.5 未知語義数, および，獲得データサイズ

表 2 に, 評価デー夕に出現する語義のうち, 訓練データにも出現する語義と, 評価デー夕にのみ出現する語義の数を示す. 辞書に定義された全語義は 219 語義だが, 評価デー夕に出現する語

図 3 新たに獲得した訓練データの例

表 2 評価データに出現する語義の種類と出現回数

義は, 新語義 $(X)$ を除くと, 142 語義 $(=150-8)$ であり, 辞書に定義された全語義の $64.8 \%$ だった。また, 評価デー夕にのみ出現する語義は 9 語義 $(=15-6), 18$ 例 $(=34-16)$ だった.

また, 2.2 章から 2.4 章で紹介した方法で獲得した訓練データのサイズを, 表 3 に示す. 表 3 から, 評価データにのみ出現する 9 語義に対しても, 例文 (EX), 檜の両方から訓練データが獲得できることがわかる。また, 表 3 には, 参考のため, 訓練デー夕の数値も表示している.

本提案手法では, 新語義 $(X)$ の訓練デー夕は獲得できない. また, それ以外の語義に対しても，評価デー夕に出現する語義の異なりに対して，訓練デー夕ほどのカバー率はない，但し，すべてのコーパスを利用すれば，ほぼ，訓練データに近いカバー率を得ることができている。

なお, 表 3 は, 獲得傾向を確認するために, 評価デー夕に出現する語義かどうかを分けて表示しているが，実験では当然，評価デー夕に出現しない語義の例文であっても区別せずに利用している.
表 3 新たに獲得した訓練データの数

}} & \multicolumn{2}{|c|}{ 訓練データにある } & & & & \\

## 3 実験

## 3.1 学習器

学習には, 代表的な識別モデルの一つであり, ラベルありデータを用いて教師あり学習を行う最大エントロピーモデル (Maximum Entropy Method: ME, (Nigam, Lafferty, and McCallum 1999)）を用いた。これは, Fujita ら (2010)によると, Support Vector Machine (SVM, (Chang and Lin 2001))より，ME の精度がはるかに良かったためである.

## 3.2 素性

[基本素性] まず，語義曖昧性解消タスクで一般的に利用される素性を，基本素性として利用する.

各対象語 $w$ に対し, 出現形, 基本形, 品詞, 品詞大分類（名詞, 動詞, 形容詞など）を利用する。また, 対象語が $i$ 番目の語だとすると, 前後 2 語 $(i-2, i-1, i+1, i+2)$ の同じ情報も利用する. 更に, 前後 3 語以内の bigrams, trigrams, skipbigrams も利用する. これらの素性を利用したモデルを BLとする。

[Bag-of-Words] 各対象語 $w$ に対し, 同一文内に出現する全内容語の基本形を素性として利用する。これらの素性を利用したモデルをBOWとする.

[トピック素性] SemEval-2007 English WSD タスクでは, トピック情報を利用したシステムが, 最も高い精度を得ている (Cai, Lee, and Teh 2007). Cai ら (2007)の研究を参考に, トピック
情報を利用した素性を導入した。 Cai らは, Bayesian topic models (Latent Dirichlet Allocation: LDA）を用いて教師なし状態でトピック分類を行い，推定したトピックを素性として利用している.

本稿では, 訓練データと評価デー夕に gibbslda $++^{6}$ を適用し, 文書 (ファイル) 単位でトピック分類を行った。 但し, 新聞 (PN) の場合のみ, 記事毎に分類した。これは, 新聞の場合は, 記事毎に, 内容ががらりと変わることがあるが, それ以外の文書（書籍や Yahoo! 知恵袋, 白書など）では，がらりと変わると思われなかったためである。また，一つの文書，あるいは記事は，複数のトピックに含まれることがある.

本稿では，対象語が属する文書，あるいは記事の含まれるトピック分類を素性として利用し， これらの素性を利用したモデルを TPX とする．ここで，Xは，トピック数であり，Xが多ければ多いほど，分類が細かいことになる。

## 4 結果と議論

## 4.1 配布データのみを利用

Fujita ら (2010) によると, 対象語毎に訓練デー夕の分野の組合せを変えて学習するより, 分野に関係なくすべての訓練データを学習に用いる方が精度が良い。学習器は, 前述のようにMEを用いる，表 5 に，すべての訓練デー夕を学習に用い, 素性の組合せを変えた場合の結果を示す. パラメータは, 訓練データにおける対象語毎の交差検定で最も良い精度を出したものを用いている.また，表 5 には, 参考として, SemEval-2010での Best result (RALI-2 (Brosseau-Villeneuve, Kando, and Nie 2010)) も掲載している.

更に, 対象語を難易度毎に分けて傾向を分析する。そのため, SENSEVAL-2 の日本語辞書夕スクと同様に, 訓練データにおける語義の頻度分布のエントロピー $E(w)$ （式 (1)）を, 単語の難易度の目安として利用し, 対象語を, 高難易度 $\left(D_{\text {diff }}, E(w) \geq 1\right)$, 中難易度 $\left(D_{\text {mid }}, 0.5 \leq E(w)<1\right)$,低難易度 $\left(D_{\text {easy }}, E(w)<0.5\right)$ の 3 つにわけた (白井 2003). 式 (1)において, $p\left(s_{i} \mid w\right)$ は, 単語 $w$ の語義が $s_{i}$ となる確率を表している.

$
E(w)=-\sum_{i} p\left(s_{i} \mid w\right) \log p\left(s_{i} \mid w\right)
$

各難易度に含まれる対象語の数は, それぞれ， $D_{\text {diff }}$ で 9 語, $D_{\text {mid }}$ で 20 語, $D_{\text {easy }}$ で 21 語たっった. 対象語の詳細を，表 4 に示す.

表 5 によると, 基本素性 (BL)だけを利用した場合でも, SemEval-2010の Best result (76.4\%) より高い精度 $(77.7 \%)$ が得られた。最も精度が高かったのは, トピック素性を利用した場合 (BL
^{6}$ http://gibbslda.sourceforge.net/
}
表 4 難易度毎の対象語

 \\

表 5 素性毎の精度 (Precision, \%)

 &  &  &  &  & \\

BL + TP100 & 90.3 & 71.4 & 62.4 & 77.7 & + トピック素性 $(100)$ \\
BL + TP200 & 90.4 & 71.3 & $\mathbf{6 3 . 8}$ & $\mathbf{7 8 . 0}$ & +トピック素性 $(200)$ \\

+TP200) (78.0\%) たっった. BOWを素性として利用する場合は, 精度はかえって低下する傾向にある 7 .

なお，BL +TP200で最も精度が高かった対象語は，「外」(精度 100\%)，「経済」(98\%)，「考える」 $(98 \%)$, 「大きい」 $(98 \%), 「$ 文化」 $(98 \%)$ などである。一方, 最も精度の低かった語は, 「取

## 4.2 自動獲得した訓練データも利用

本節では，自動獲得した訓練データ（表 3 参照）を利用した場合の結果について紹介する （表 6)，表 6 では，素性は基本素性 (BL)のみ利用し，学習器は ME を利用した。

基本素性 (BL)を用いて, 配布された訓練データのみで学習した場合の精度を基準とすると,難易度別に傾向が非常に異なることがわかる．低難易語の場合，訓練データを追加すると，ほとんどの場合で精度が低下している，それどころか，精度が最も高いのは，最頻語義を利用し
$-検定を行ったところ, いずれも有意差はなかった.
}
表 6 自動獲得した訓練デー夕も利用した場合の精度 (\%) （基本素性 (BL)のみ利用）

た Base Lineである。しかし， 中難易語では，精度向上する場合の方が多くなり，高難易語では，すべての場合で，精度が向上している，特に，自動獲得したすべての訓練デー夕を追加した場合，低難易語では最も精度が低くなり，高難易語では最も精度が高くなっている。

これはつまり，そもそも低難易語の場合には，誤りを含むかもしれない訓練デー夕の追加は， むしろマイナスに働く可能性が高いが，中・高難易語の場合，訓練データに含まれる誤りによる悪影響より，訓練データが増えることによる好影響の方が強いことが伺える。

また，表 6 には，配布訓練データを用いず，自動獲得したすべての訓練データだけを用いた場合の実験結果も載せている。それによると, 低・中難易度では, 配布訓練デー夕を用いた精度に及ばないが，高難易度では，配布訓練データのみを用いる場合より高い精度を得ることができた。このように, 自動獲得した訓練データのみを利用した場合も善戦はしているが, 配布訓練データも利用した場合の方が相当精度が高い（最大 11.1 ポイント差）。この原因は, (1) 特に BCCWJ と新聞データは，岩波の例文を含む文のみを抽出しているため，訓練データのバリエーションに乏しい，(2) 例文によって，獲得できる訓練デー夕数に非常にばらつきがあり, 自然な分布にならない, (3) 自動獲得しているため誤りが含まれる，などが考えられる.

また，岩波の例文そのものを追加した場合，精度は若干低下する，しかし，例文を用いて訓練データを追加した，BCCWJも新聞も，OWを除いて，精度向上が見られる。

これは，例文そのものは非常に短いものが多く，切れ切れになってしまうが，例文を含む文全体を追加することで，もう少し広い前後の語などの情報も利用できるために，精度が向上したのだと考えられる8.

また, 本手法の利点の一つに，訓練データで出現しない語義に対しても，訓練デー夕を追加できることがある。そこで, 評価データにしか出現しなかった未知語義 $(9$ 語義 18 例, 2.5 節参照）に対する精度のみを確認した，訓練データに出現しない語義なので，訓練データのみ利用した場合, 精度は $0 \%$ \%゙ある。表 7 に，改良があった結果のみ表示する。表 7 によると，すべて追加した場合でも，2 例正解しただけであるが，訓練データだけでは絶対に正解できなかった部分であり，意義は大きい.

## 4.3 学習曲線

前節では, 各コーパスから追加可能な文はすべて追加して学習した。本節では, 過学習していないか調べるため, 追加する文数と精度との関連を調べた，BCCWJや新聞デー夕の場合, 岩波の例文を完全に含む文を追加するため，例文毎に追加できる最大の文数を設定し，精度との関係を調べた，つまり例えば，最大追加文数を 5 文と設定する場合，例文 (1)-(4)のそれぞれに対し，条件を満たす文のうち，最初に出てきた 5 文までを訓練データとして追加する，但し，当然, 最大の文数まで獲得できない場合もある.

表 8 は, 表 6 で最も良い精度を出した PBを用いた場合の結果である。また，参考までに，図 4 に学習曲線を示した。

表 8 および図 4 から, 難易度によって, 学習曲線が大きく異なることがわかる。低難易語の場合, 10 文追加までは, かろうじて精度が向上している. しかし, その後は, 訓練データを追加すればするほど，精度が低下している。一方で，中・高難易語に対しては，訓練デー夕を

表 7 未知語義（18 例）に対する精度（基本素性）

$-検定を行ったところ, いずれも有意差はなかった.
}
表 8 岩波例文毎に追加する最大文数を制限する場合（難易度別, 基本素性利用, PB）

$(\%)$

図 4 岩波例文毎に追加する最大文数を制限する場合（基本素性, PB）

追加した方が精度は向上する．特に，高難易語での精度向上が大きい9.

この結果から，低難易語には訓練データをほとんど追加せず，中・高難易語には訓練データを追加する方がいいことがわかる．表 8 の「参考」に，中・高難易語にのみ， 300 文を上限に訓練データを追加した場合の結果を示す，但し，本稿の手法の利点の一つは，訓練デー夕に出現しなかった語義にも訓練デー夕を獲得できることであるため，訓練デー夕に出現していない語義に対しては，低難易語であっても訓練データを 5 文を上限として追加している．この場合，低難易語の精度は下がらず，全体精度は $80.0 \%$ 達成，未知語義も 1 例正解できた。

## 5 自動獲得した訓練データの評価

本節では, 2.4 章の訓練データの自動獲得方法で獲得した訓練デー夕に正しい語義が付与されているかどうかを評価した。

評価対象には, 前節（4.3 節）で利用したPBにおいて, 追加できる最大文数を 5 文とした場合に獲得されたデータを用いた。この条件では, 47 語, 114 語義に対し, 1,038 文が獲得されている。人手評価の結果, 正しい訓練データだったものは 979 文 $(94.3 \%)$ ，誤っていたものは 59 文 $(5.7 \%)$ だった。このように $5.7 \%$ の誤りを含んでいたものの, 表 8 によると, 全体で $1.4 \%$ の精度の向上が見られており追加の効果は高い.

誤った訓練デー夕を獲得した原因で最も多かったのは, 慣用表現である。例えば, 語義 ID 20676-0-0-1「ある時刻と他の時刻との間 (の長さ).」の例文「時間の問題」は慣用的な表現である ${ }^{10}$. しかし, 獲得された 5 文のうち， 1 文は, 文 (7)であり, 語義 ID 20676-0-0-3「空間と共に，物体界を成り立たせる基礎形式と考えるもの.」の方がふさわしいだろう。

（7）この本はむずかしい時間の問題を、抽象的な時間論というかたちではなく、...

慣用表現かどうかの判定は非常に難しく(橋本, 河原 $2008 b)$, 本稿の手法で, 慣用表現による誤りを取り除くことは困難である。すべての誤りを取り除くには, 慣用表現辞書 (橋本, 河原 2008a）などを利用し, 慣用表現と思しき表現を利用しないことにするか, 最終的に人手による判断が必要だろう.

次に多かった誤りは，対象語以外の形態素区切りの不一致によるものだった.

例えば，37713-0-0-6の例文「数を取る」の場合, 文 (8) が獲得されている．しかし，37713-0-0-6 は「数える」という意味なので，文 $(8)$ は誤りである.

(8) ペーパーテストではいい点数を取るのかもしれませんがね。

2.4 節で述べたように，訓練データの追加条件は，例文を完全に含むこと以外にも，「対象例文の見出し語と, 基本形, および, 品詞大分類が一致する形態素に, 該当する例文の語義 ID を付与する.」という条件がある。しかし, 見出し語以外は, 形態素解析結果が一致するかは確認していない. だが, 文 (8)の場合, 動詞「取る」の目的語部分（「数」と「点数」）は異なっているため, 例文側も形態素解析し, 前後の形態素も含めて一致する文だけを訓練データに追加すれば，排除できる誤りである.

ここまで述べたように，自動獲得した訓練デー夕には誤りが含まれる。しかし， 1,038 文の正誤評価には 1 日とかからなかったので11, 慣用表現のような, 人手判断が必要な表現であって

も，1 日の人手作業で，正しい訓練データを 4 割近く増やすことができることになる．また，自動獲得では間違いやすい部分のみ，人手作業を行うことも可能である。そのようにして，効率的に正確な訓練データを増やすことも，今後，選択肢の一つになると考えられる．

## 6 おわりに

本稿では, 訓練データの自動拡張による語義曖昧性解消の精度向上方法について述べた. 評価対象として，SemEval-2010 日本語語義曖昧性解消タスクを利用した。

本稿では, 辞書の例文, 配布データ以外のセンスバンク（檜），ラベルなしコーパス (BCCWJ),新聞データなど，さまざまなコーパスを利用して，訓練データの自動拡張を試みた。

配布データ以外のセンスバンク（檜）を利用する場合，語義が定義された辞書同士のリンクを経由して，訓練データを獲得した，辞書同士のリンクは，定義文同士の類似度によって構築されている．檜を追加した場合， $78.8 \%$ の精度を得ることができた。これは，配布デー夕のみを利用した場合の結果 $(77.7 \%)$ より，+1.2\%の改良である.

このように, 異なる品詞体系, 異なる辞書（語義）に基づいて構築されたセンスバンクであっても，自動的に訓練データに追加し, 精度向上に寄与できることを示した. 人手で構築する言語資源は, 構築のための時間と費用が非常にかかるため, こうした既存言語資源の有効利用は, ますます重要になると考えれられる。

また，センスバンク以外のラベルなしデータを用いる場合，辞書の例文を文字の列として完全に含み, かつ, 形態素解析の結果, 対象語と, 基本形, および, 品詞大分類が一致するものを訓練データとして追加した。

最も良い精度を出したラベルなしデータは，書籍（BCCWJのPB）であり， $79.5 \%(+1.8 \%)$ の精度を得た。ここで，追加した例文のうち，1,038 文をサンプリング評価したところ， $94.3 \%$ に正しい語義が付与されていた。このように，自動獲得した訓練データには誤りも含まれるものの，例文そのものを追加するより，本稿の提案手法のように，例文を完全に含む，より自然な文を利用する方が効果が高いことを示した。

難易度に基づいて傾向を分析した結果，低難易語には訓練デー夕を追加せず，中・高難易語には訓練データを追加する方がいいことがわかった。 そのため, 中・高難易語と未知語義にのみ訓練データを追加した場合，最高 $80.0 \%$ の精度を得た。

このように，本稿で紹介したような訓練デー夕の追加は，非常に有効であると言える。

最後に, 今後の課題として以下の 3 点を挙げる.

（1）訓練データを追加する場合（4.2 章参照）も，トピック素性を利用して実験を行う。配布データのみを利用した場合には, トピック素性を利用した場合がもっとも良かった（4.1 章参照）ためである。

（2）辞書定義文から同義語を獲得し, (Mihalcea and Moldovan 1999; Agirre and Martinez 2000) らと同様に，同義語を用いた訓練データの拡張も行う，本稿では，辞書の例文に完全一致する語を訓練データとして追加したが, 本手法の場合, そもそも辞書に全く例文がない場合には, 新しい訓練データは獲得できない. 同義語も利用すれば, 例文のみでは訓練データを新たに獲得できなかった語義についても新しい訓練データを追加できるかもしれない，また，例文に完全一致する文のみの追加では，訓練データに偏りが出る恐れがあるが，その点を補完できると期待できる。

（3）ラベルなしデー夕を利用した半教師あり学習法 (Fujino, Ueda, and Saito 2008)による精度向上を図る。半教師あり学習を適用する場合でも，始めに与える訓練デー夕にない語義は，ラベルなしデータをいくら与えたところで推定できない. そのため, 本稿のようにあらかじめ低頻度語の訓練データを追加しておくことは重要だと思われる。

## 謝 辞

SemEval-2010 Japanese WSD task に関しまして, データ整備, 運営, 開催等にご尽力された皆様に感謝いたします。また,「『現代日本語書き言葉均衡コーパス』モニター公開データ（2009 年度版)」に関しまして，使用を許可して下さった独立行政法人国立国語研究所に感謝いたします.

## 参考文献

Agirre, E. and Martinez, D. (2000). "Exploring Automatic Word Sense Disambiguation with Decision Lists and the Web." CoRR, pp. 11-19.

Baldwin, T., Kim, S. N., Bond, F., Fujita, S., Martinez, D., and Tanaka, T. (2010). "A reexamination of MRD-based word sense disambiguation." Transactions on Asian Language Information Process, Association for Computing Machinery (ACM), 9 (1), pp. 1-21.

Bond, F., Fujita, S., and Tanaka, T. (2006). "The hinoki syntactic and semantic treebank of Japanese." Language Resources and Evaluation, 40 (3/4), pp. 253-261. (Special issue on Asian language technology).

Brosseau-Villeneuve, B., Kando, N., and Nie, J.-Y. (2010). "RALI: Automatic Weighting of Text Window Distances." In Proceedings of the 5th International Workshop on Semantic Evaluation (SemEval-2010), pp. 375-378.

Cai, J. F., Lee, W. S., and Teh, Y. W. (2007). "NUS-ML: Improving Word Sense Disambiguation Using Topic Features." In Proceedings of the Fourth International Workshop on Semantic

Evaluations (SemEval-2007), pp. 249-252.

Chang, C.-C. and Lin, C.-J. (2001). LIBSVM: a library for support vector machines. Software available at http://www.csie.ntu.edu.tw/ ${ }^{\sim}$ cjlin/libsvm.

Dridan, R. and Bond, F. (2006). "Sentence Comparison using Robust Minimal Recursion Semantics and an Ontology" In Workshop on Linguistic Distances, pp. 35-42.

Fujino, A., Ueda, N., and Saito, K. (2008). "Semi-supervised learning for a hybrid generative/discriminative classifier based on the maximum entropy principle" IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 30 (3), pp. 424-437.

Fujita, S., Duh, K., Fujino, A., Taira, H., and Shindo, H. (2010). "MSS: Investigating the Effectiveness of Domain Combinations and Topic Features for Word Sense Disambiguation." In the 5th International Workshop on Semantic Evaluation (SemEval-2010), pp. 383-386.

橋本力, 河原大輔 (2008a). 慣用句の検出と格解析のための言語資源の構築. 言語処理学会第 14 回年次大会発表論文集, pp. 1148-1151.

橋本力, 河原大輔 $(2008 \mathrm{~b})$. 日本語慣用句コーパスの構築と慣用句曖昧性解消の試み. 電子情報通信学会言語理解とコミュニケーション研究会, pp. 1-6.

笠原要, 佐藤浩史, Francis Bond, 田中貴秋，藤田早苗，金杉友子，天野昭成 (2004).「基本語意味データベース：Lexeed」の構築情報処理学会自然言語処理研究会 (2004-NLC-159), pp. $75-82$.

Lesk, M. (1986). "Automatic Sense Disambiguation using Machine Readable Dictionaries: How to Tell a Pine Cone from an Ice Cream Cone." In Proceedings of the 5th Annual International Conference on Systems Documentation, pp. 24-26.

Mihalcea, R. (2002). "Bootstrapping Large Sense Tagged Corpora." In Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC-2002), pp. 1407-1411.

Mihalcea, R. (2004). "Co-training and Self-training for Word Sense Disambiguation." In Proceedings of the Conference on Natural Language Learning (CoNLL-2004), pp. 33-40.

Mihalcea, R. and Moldovan, D. (1999). "An Automatic Method for Generating Sense Tagged Corpora." In Proceedings of the American Association for Artificial Intelligence (AAAI1999), pp. 461-466.

村田真樹, 内山将夫, 内元清貴, 馬青, 井佐原均 (2003). 技術資料 SENSEVAL-2J 辞書タスクでの CRL の取り組み一日本語単語多義性解消における種々の機械学習手法と素性の比較.自然言語処理, $10(3)$, pp. 115-134.

Navigli, R. (2009). "Word sense disambiguation: A survey." ACM Comput. Surv., 41 (2), pp. 1-69.

Nigam, K., Lafferty, J., and McCallum, A. (1999). "Using Maximum Entropy for Text Classification." In IJCAI-99 Workshop on Machine Learning for Information Filtering, pp. 61-67.西尾実, 岩淵悦太郎, 水谷静夫 (1994). 岩波国語辞典. 岩波書店.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2010). "SemEval-2010 Task: Japanese WSD." In Proceedings of the 5th International Workshop on Semantic Evaluation (SemEval2010), pp. 69-74.

Pedersen, T. (2006). Word Sense Disambiguation: Algorithms and Applications, 33, Chap. 6, pp. 133-166. Springer.

Shirai, K. and Nakamura, M. (2010). "JAIST: Clustering and Classification Based Approaches for Japanese WSD." In Proceedings of the 5th International Workshop on Semantic Evaluation (SemEval-2010), pp. 379-382.

白井清昭 (2003). SENSEVAL-2 日本語辞書タスク. 自然言語処理, 10 (3), pp. 3-24.

Tanaka, T., Bond, F., Baldwin, T., Fujita, S., and Hashimoto, C. (2007). "Word Sense Disambiguation Incorporating Lexical and Structural Semantic Information." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL-2007), pp. 477-485.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics (ACL-93), pp. 189-196.

## 略歴

藤田早苗：1997 年大阪府立大学工学部航空宇宙工学科卒業. 1999 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年 4 月よりNTT 日本電信電話株式会社コミュニケーション科学基礎研究勤務. 以来, 自然言語処理の研究に従事. また, 2009 年 3 月奈良先端科学技術大学院大学にて博士号 (工学) 取得. ACL, 言語処理学会各会員.

Kevin Duh: Kevin has been a research associate at NTT CS Labs since 2009/09. He received his B.S. from Rice University (USA) in 2003, and PhD from the University of Washington (USA) in 2009, both in Electrical Engineering. He is interested in natural language processing, information retrieval, and machine learning research.

藤野昭典：1995 年京都大学工学部精密工学科卒業. 1997 年同大学大学院修士課程修了. 2009 年同大学大学院博士課程修了. 博士（情報学）。1997 年 NTT 入社. 機械学習, テキスト処理などの研究に従事. 現在, NTTコミュニケー

ション科学基礎研究所研究主任. 電子情報通信学会 PRMU 研究奨励賞 (2004 年度), FIT 論文賞 (2005 年) 等受賞. 電子情報通信学会, 情報処理学会, IEEE 各会員.

平博順：1994 年東京大学大学理学部化学科卒業. 1996 年同大学院理学系研究科化学専攻修士課程修了. 同年, 日本電信電話株式会社, NTT コミュニケーション科学研究所入所. 意味理解, 文書自動分類, バイオインフォマティクスの研究に従事. 2002 年奈良先端大学院大学情報学専攻博士後期課程修了。博士 (工学)。2005 年〜2007 年株式会社 NTT データ技術開発本部研究主任. 2007 年より NTT コミュニケーション科学基礎研究所研究員, 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, ACL 各会員. 人工知能学会編集委員.

進藤裕之：2009 年早稲田大学大学院先進理工学研究科修士課程修了. 同年 NTT 入社. 統計的自然言語処理の研究に従事. 現在, NTTコミュニケーション科学基礎研究所研究員. ACL 会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# センタリング理論と対象知識に基づく談話構造解析システム DIA

梅澤 俊之呾原田実 ${ }^{\dagger \dagger}$
}

自動要約, 照応解析, 質問応答, 評判分析などの応用では, 文章中の文間の役割的関係や話題の推移の解析が必要になりつつある。本研究ではセンタリング理論と対象知識に基づき談話中の話題の移り変わりを意味的に解析し談話構造を生成する手法を提案し, これに基づく談話構造解析システムDIA を開発した。本研究ではセン タリング理論を拡張し文の依存先の決定に用いる。また，語の語意が表す概念の部分／属性関係，上位一下位関係，類似関係といった対象に関する意味的関係をEDR 電子辞書中の共起辞書と概念体系辞書から抽出し, 文間の接続関係の決定に用いる.談話の中で話題の推移を表すために談話構造木を定義した。談話構造木では, 句点 で区切られた文をノードとし，各ノードはただ 1 つの親ノードを持つ。また，文を 接続しているアークに 9 種類の文間接続関係（詳細化, 展開, 原因一結果, 逆接, 遷移, 転換, 並列, 例提示, 質問一応答）を付与する。談話構造を決定する手法として は，拡張したセンタリング理論を元に各文に対してそれより前にある文に対して親 ノードとなる可能性を得点化し, 最高点のものを親ノードとする。次に各文ノード 間のアークに対して，その接続関係が 9 種のそれぞれである可能性を評価する経験的なルールを 36 個定め, 最高得点を得た関係ラベルをアークに付与する。評価実験 の結果, 接続先の特定では $82 \%$, 文間接続関係の判定では $81 \%$ の精度を実現した。 キーワード：談話構造解析，センタリング理論，文間接続関係，対象知識，文脈解析
## Discourse Structure Analysis System DIA Based on Centering Theory and Object Knowledge

\author{
Toshiyuki Umezawa $^{\dagger}$ and Minoru Harada ${ }^{\dagger \dagger}$
}

We propose the method of the discourse structure analysis based on the centering theory and the domain knowledge. We enhanced the centering theory to utilize it for the analysis of dependency relation among sentences. Moreover, object knowledge among objects such as entire-part relation, parent-child relation, object-attribute relation, resemblance are extracted from the co-occurrence dictionary and concept dictionary in EDR electronic dictionary, and are used for the decision of the functional relation between sentences. We defined the discourse structure tree to show the transition of the topic in the discourse. Here, the sentence punctuated by the period makes a node, and each sentence node has only one parent node. Moreover, nine kinds of connection relationships between sentences: DETAIL, EXPLICATE,

CONTRAST, CAUSE-RESULT, TRANSITION, CONVERSION, PARALLEL, EXAMPLE and QUESTION-RESPONSE are given to each arc between sentence nodes. Next, we have developed 36 rules to evaluate the possibility of the relation between sentences being each one of the nine kinds of relation types. These rules are applied to each arc, and the relation label which obtained the highest score is given to the arc. The evaluation experiment shows the accuracy of $82 \%$ and $81 \%$ respectively in deciding the connection destination and the relationship label.

Key Words: Discourse structure analysis, Centering theory, Inter-sentence relationship, Object knowledge, Context analysis

## 1 はじめに

自然言語処理の研究分野において，1 文を対象にした研究は盛んに行われてきた。特に，形態素解析や構文解析は実用レベルに達しており，様々な自然言語を対象とした応用研究において, 基礎処理として使用されている. しかし, 高度な文章処理を目的としている応用研究, 例えば文章要約や照応解析，質問応答，評判分析などは，当然ながら 1 文を対象にしているわけではなく，高い精度を実現するためには，文章中の話題のまとまりや文間の接続関係といった談話構造の理解が必要になる。このような談話構造解析を用いれば, 文章要約 (田中, 面来, 野口, 矢後, 韓, 原田 2006) では話題のまとまりを考慮した自然な要約が可能になり，照応解析 (南, 原田 2002) では先行詞候補を探索する範囲を談話構造木の照応詞と根を結ぶ経路上へと高い精度で絞り込むことができ, 質問応答システム (加藤, 古川, 蒲生, 韓, 原田 2005)では理由や原因の回答抽出が容易になることが期待される.

談話構造解析の従来研究では様々なモデルが提案されてきた. 何を基本単位とするか, 単位間の関係, 談話構造のモデルなど研究者により様々である. 談話構造のモデルとしては文を基本単位とした木構造モデルが一般的である。黒橋ら (黒橋, 長尾 1994) は文間に 11 種類の結束関係 (並列, 対比, 主題連鎖, 焦点一主題連鎖, 詳細化, 理由, 原因一結果, 変化, 例提示, 例説明, 質問一応答）を定義し, 手掛かり表現・主題連鎖・文間の類似性に着目し判定している。横山ら(横山, 難波, 奥村 2003) は 8 種類（因果, 背景, 呼応, 並列, 対比, 転換, 補足, 例示）の係り受け関係をSVM を用いた機械学習により判定している．Marcu (Marcu 2002) は木構造モデルではなく，連続する 2 文に限り，4 種類の接続関係 (CONTRAST, CAUSE-EXPLANATION-EVIDENCE, CONDITION, ELABORATION）を大量のテキストデータを用いた用例利用型の手法で判定している. 山本ら (山本, 斉藤 2008) は, 同様の手法で, 6 種類の接続関係（累加, 逆接, 因果,並列，転換，例示）を判定している.

以上のように談話構造解析の従来研究では様々な解析方法が提案されているが，大きく 2 つ

の問題がある．1つ目は，文の話題の中心である焦点の推移を詳細に分析できていないという問題である．焦点はその文を象徵する最も重要な手掛かりであり，談話構造解析には欠かせない要素である，2つ目は，基本的に接続詞や文末表現，同一語の出現など，表層的な情報に基づいているという問題である。特に，接続詞が文中に現れる頻度はあまり高くない．シソーラスを用いて類義情報を取り入れている研究もあるが，そもそも利用されている意味解析の精度が低く類義判定が信頼性に欠けること，また談話では主題の属性や部分などへの話題の変化が多く見られ，類義情報のみでは文間のつながりを適切に把握できないなどの問題点がある.

本研究では精度の高い談話構造解析を実現するため, 談話の結束性を評価するセンタリング理論を談話構造解析に導入することで，談話の焦点の推移を詳細に捉えることを可能にする。 そして部分／属性関係など 2 語が表す概念間の意味的関係を定めるにあたって，原田らが開発した意味解析システム Sage（語意精度 95\%, 深層格精度 90\%）（原田，尾見，岩田志，水野 1999;原田，水野 2001; 原田，田淵，大野 2002）を用いて各語の意味（概念）を高精度に定め, さらに EDR 電子辞書 (1995) から抽出した概念間の部分／属性関係を対象知識として, 話題の部分／属性への展開などの検出に用いる手法を提案する。

## 2 提案手法

本研究では談話構造を表すモデルとして談話の話題の推移を表すために「談話構造木」という木構造を定義する。談話構造木では，句点で区切られた文をノードとし，各ノード文はたた 1 つの親ノードを持つ。そして文ノードを接続しているアークに 9 種類の文間接続関係（詳細化, 展開, 原因一結果, 逆接, 遷移, 転換, 並列, 例提示, 質問一応答）を付与する。以下に例を示す。

$\mathrm{N}$ 自動車は 19 日，新車発表会を開催。 $\mathrm{N}$ 自動車としては初となる電気自動車を公開した。電気自動車は, 走行時に $\mathrm{CO}_{2}$ を排出しないとして注目を集めている。しかし, 一充電あたりの航続距離が短いなどの問題点もある。販売を伸ばしているハイブリット車への対抗として， $\mathrm{N}$ 自動車は巻き返しを図る考えだ。

図 1 の例文では， 1 文目と 2 文目ではともに「 $\mathrm{N}$ 自動車」を主な話題としている。そして 3 文目では 2 文目に登場した「電気自動車」へと話題が展開している， 4 文目では， 3 文目の話題「電気自動車」についてさらに情報を付加している。そして 5 文目ではまた「 $\mathrm{N}$ 自動車」へと話題が戻っている，例文では，大まかに分けると「 $\mathrm{N}$ 自動車」とそこから派生した「電気自動車」 についての話題が存在し, 図 1 の談話構造木でその話題の推移を表すことができる.

本研究ではセンタリング理論 (Grosz, Joshi and Weinstein 1995) と対象知識に基づき談話中

図 1 談話構造木の例 1

の話題の移り変わりに着目した談話構造解析の手法を提案する。センタリング理論とは文の話題の中心である焦点の推移に着目して文間の結束性をモデル化した理論である（第 4 章）。また, 対象知識とは, 語の語意が表す概念の部分／属性関係, 上位一下位関係, 類義関係といった 2 概念間の意味的関係を EDR 電子辞書の共起辞書と概念辞書から抽出したものである（第 3 章). 本研究の手法では対象知識により話題の部分や属性などへの展開といった概念の意味的関係を考慮してセンタリング理論を拡張し, 文の話題の推移を的確に捉えられる談話構造解析を可能にする，その結果として，先に述べたように，文をノードとする談話構造木を機械的に生成する。この時, 焦点の推移に基づく文間の結束性を文を表すノード間のアークとして表現する. さらにアークにこの文間の焦点の推移が何を意味するのかを表す理由や展開といった 9 種類の文間接続関係ラベルを割り振ることで，文同士の役割的関係を明らかにする。これによって，質問応答や照応解析の解の探索範囲を絞り込んだり，自動要約で主たる話の流れを示す評価基準を得られることが期待できる.

なお, Grosz らのセンタリング理論では代名詞の扱いに関する規則が与えられているが, 現在筆者らの環境ではゼロ代名詞や指示代名詞の先行詞を高い精度で特定する技術を確立できていないので，それらを考慮するとかえって談話構造木の構築精度を下げる可能性があるので，本研究では代名詞を扱わないことにした.

談話構造木を以下のプロセスを経て構築する.

(1) 形態素 $\cdot$ 構文 $\cdot$ 意味解析

(2) 談話構造木の構築

(3) 文間接続関係の判定

まず，形態素・構文解析を Juman・Knp（黒橋，長尾 1998）を用いて，意味解析を Sage を用いて行う。これにより談話に含まれる各文は, 形態素, 文節に分割され, それぞれに EDR 辞書中の品詞と語意（EDR 辞書で定義された約 40 万概念のどれか）が付与され，文節間の係り受け関係には役割関係を表す深層格（EDR 辞書で定義されたものに Sage で追加された 30 種のどれか）が付与される。つぎに談話構造木の構築と文間接続関係の判定を分割して行う。談話構造木の構築は， センタリング理論，表層パターン，文間距離に着目した手法を用いて行う（第 5 章)。センタリング理論は Grosz (Grosz, Joshi and Weinstein 1995)のものを, 本研究で提案する対象知識を用いて拡張して使用する。最後に，構築された談話構造木中のリンクに文間接続関係を付与する (第 6 章)。文間接続関係の判定には，接続詞，主題，モダリティ・テンス・ アスペクト，語意で表される概念間の部分／属性関係などの対象知識に着目したルールを用いて判定する。

本研究の提案する手法では, センタリング理論と対象知識で話題の推移を的確に捉え，談話構造木の構築と文間接続関係の判定のプロセスを分割して行うことにより，文間接続関係の判定を単純化することが可能になる。なお，研究を具体的に進めるにあたって，文間接続関係の定義やその判定ルールの作成においては，対象となる談話として，新聞や Web の報道・解説 $\cdot$論説記事を用いたので, 研究成果は精度の信頼性においてこれらの談話が対象になるが, 談話構造構築方式はより一般的に適用できると考えている。ただし，会話文などのように言外の指示表現が多用される分野では精度が落ちることが想定される.

本稿では, まず提案手法の基本となる対象知識について 3 章で, センタリング理論について 4 章で述べた後, 実際の談話構造解析のプロセスについて, 5 章で談話構造木の構築方法, 6 章で文間接続関係の判定方法について述べる.

## 3 対象知識

談話の中でも，特に論文や新聞などの報道・解説・論説といった文章では，まず始めにその談話が何について述べられているものなのかを表す談話全体の話題（大話題）が示され，続いてその大話題を説明するために，大話題に関連した幾つかのさらに詳細な話題（小話題）が述べられるといった話題の階層構造を取る場合が多い. 小話題としては大話題の部分／属性, 下位，類義などが現れやすい．以下を例文として説明する．

相模原市は、神奈川県北部にある都市。人口は 70 万人を超え、神奈川県内では横浜市、川崎市についで第 3 位の人口規模を擁する。特に 20 代、 30 代、 50 代周辺の人口が多く、市全体を活気ある雾囲気にしている。市内に大学が多いことで、学生の街としての顔も併せ持つ。

図 2 対象知識の判定方法

例文では，まず冒頭で談話全体の話題である大話題「相模原市」が示されている．そして， 2 文目，3文目で大話題「相模原市」（Sage で求めた語意は Of2ff2: 相模原市という市）の部分／属性「人口」（3c0fa3: 一定の地域に住む人の数）が，4 文目では部分／属性「大学」(1e8598: 高等教育の中核となる学術研究および教育の最高機関）が小話題として説明されている.

したがって，例文のような文章を談話解析するためには，「人口」が「相模原市」の部分／属性であるという対象一部分／属性関係といった知識が必要になる。本研究ではこのような話題となる対象間の関係を対象知識と呼ぶ。対象知識としては，対象一部分／属性関係のほかに,上位一下位関係，類義関係を考える。

概念間に意味的関係があるかどうかの判定（図 2）では，2つの語の語意が表す 2 概念をシソーラスと共起辞書， 品詞，概念類似度を用いた対象知識判定規則に照らし合わせ，適合した場合に当該 2 概念間に対象一部分／属性関係，上位一下位関係，類義関係があると考える。シソーラスには EDR 概念辞書, 共起辞書には EDR 日本語共起辞書（(株）日本語電子辞書研究所 1995）[9] を用いる。以下で対象知識のそれぞれの，対象知識判定規則について述べる。

## 3.1 対象一部分／属性関係判定規則

対象一部分／属性関係とは表 1 のような概念間の関係を示す.ここで注意したいのは, 本研究では，ある概念の部分概念と属性概念を明確に分類しないということである。本研究では, あくまで小話題として現れやすい概念を抽出することを目的としている.

対象一部分／属性関係の判定規則には, 主に共起辞書を用いるものとシソーラスでの上位概念ぺアを用いるものの 2 種類がある.

共起辞書を用いるものは，共起辞書中の共起関係子が助詞「の」であるレコードに着目する. その理由は,「自動車のエンジン」というように, 対象と部分／属性を直接結びつける代表的な助詞として「の」が用いられるからである。対象とするレコードの検索には対象概念と部分／
表 1 対象一部分／属性関係の例

表 2 共起辞書レコードの検索

 \\

属性概念のペアを対象とし, 完全一致だけでなく類義のレコードも対象とすることで対象一部分／属性概念の可能性があるものを漏れなく抽出する.レコードの検索方法は表 2 の 3 種類を用い，適合条件に一致すれば該当レコードありとする。

ここで類義かどうかの判定には, シソーラス上の距離に基づく以下の式 (加藤, 古川, 蒲生, 韓,原田 2005）を用いて類似度を計算し，その類似度が間値（本報告では 0.85 とした）以上のものを類義とする。

$
\text { 類似度 }(\mathrm{a}, \mathrm{b})=\frac{2(1-r) d c}{2(1-r) d c+\left(1-r^{d a}\right)+\left(1-r^{d b}\right)}
$

$r:$ 公比 $(r \neq 1.0)$

$d c$ ：共通上位概念までの概念の深さ

$d a$ : 共通上位概念から語 $\mathrm{a}$ までの深さ

$d b$ : 共通上位概念から語 $\mathrm{b}$ までの深さ

ただし，助詞「の」の用法には，対象が部分／属性を修飾する用法のほかに，「彼の走る姿」といった主格の用法や，「黄色の花」といった対象をその状態が修飾するもの，「13 時の会議」といった時間による修飾などの用法がある。これらの用法を取り除くため，該当レコードに対して, 深層格や品詞, シソーラスでの上位概念による以下の規則を用いてさらに絞り込みを行う.

(1) 対象とする深層格は modifier（修飾）, element-of（要素), part-of（部分）

(2) 品詞は数詞を除く名詞

（3）対象候補は上位概念に「時」，「状態」，「物やものに対する指示的な呼称」，「方向 」，「複数のものの関係によって決まる位置」,「部分」を持たない
以上の共起辞書レコードの検索，深層格や品詞，シソーラスでの上位概念による規則に適合したものを対象一部分／属性関係とする。

つぎに，上位概念ぺアを用いた対象一部分／属性関係の抽出について述べる。EDR 概念辞書には「人間の属性」や「動物の部分」,「具体物の属性」、「機械の部品」などの概念が含まれる.部分／属性概念候補がこれらを上位概念に持ち，さらに対象概念候補がそれら属性を持つにふさわしい概念（表 3 の左列に列挙した概念）を上位概念に持てば，対象一部分／属性関係ありとする。例えば部分／属性候補が「人間の属性」を上位概念に持ち，対象概念候補が「人間」を上位概念に持てば，対象一部分／属性関係ありとする。これらの対象一部分／属性関係を持つ上位概念のペアの一覧を表 3 に示す.

## 3.2 上位一下位関係判定規則

上位一下位関係とは表 4 のような概念間の関係を指す。上位一下位関係はシソーラスを用いることで容易に抽出することができる，ただし，シソーラス中のすべての上位一下位関係を持つ概念を対象にしてしまうと意味が離れすぎてしまうため, 2 概念間に適当な概念間距離間值 （本報告では，距離 2）を設定する。

表 3 部分／属性関係を持つ概念の上位概念ペア一覧

表 4 上位一下位関係の例

## 3.3 類義判定規則

類義に関してもシソーラスを用いることで容易に抽出することができる。式 (1) に基づき類似度を計算し，適当な間値（本報告では 0.85 ）以上の 2 概念間に類義関係ありと判断する.

## 4 センタリング理論

センタリング理論 (Grosz, Joshi and Weinstein 1995) とは, 文の焦点の移り変わりに着目して談話の結束性をモデル化したものである。 センタリング理論では, 談話単位中の各文 $\mathrm{Si}^{1}$ に $\mathrm{Cf}(\mathrm{Si})$ (Forward-looking centers)を，また各文 $\mathrm{Si}$ とその前に出現する各文 $\mathrm{Sj}$ に $\mathrm{Cb}(\mathrm{Si}, \mathrm{Sj}$ ) (Backwardlooking center) を定義する。 $\mathrm{Cf}(\mathrm{Si})$ は文 $\mathrm{Si}$ に出現する要素（話題）のリストであり, 優先順位によりソートされている。 $\mathrm{Cb}(\mathrm{Si}, \mathrm{Sj})$ は, ただ一つの要素を持ち, 文 $\mathrm{Sj}$ から文 $\mathrm{Si}$ に談話が推移した時の焦点をあらわしている，本研究では，以下のように定義する。

$\mathrm{Cf}(\mathrm{Si})$ : Forward-looking centers

・ 文 $\mathrm{Si}$ に出現する名詞節と主辞がサ変名詞である動詞節を要素とするリスト
- 以下の優先順位により降順にソートされている

主題 (ハ格) > ガ格 $>$ 二格 $>$ ヲ格 $>$ その他

$\mathrm{Cb}(\mathrm{Si}, \mathrm{Sj})$ : Backward-looking center
- $\mathrm{Cf}(\mathrm{Sj})$ の要素で $\mathrm{Si}$ に含まれる名詞節と, 同一または同義または対象知識（第 3 章）で判定される部分／属性や上位／下位関係のある概念を表す語を主辞とする文節のうちソー 卜順で最上位要素

・ルートノード文では $\mathrm{Cf}(\mathrm{Si})$ の最上位要素
- $i>j$

文の 3 つ組 $\mathrm{Si}, \mathrm{Sj}, \mathrm{Sk}(\mathrm{i}>\mathrm{j}>\mathrm{k})$ に対して, $\mathrm{Cb}$ の推移 $\mathrm{Cb}(\mathrm{Sj}, \mathrm{Sk}) \rightarrow \mathrm{Cb}(\mathrm{Si}, \mathrm{Sj})$ の值を表 $5^{2}$ の
^{1}$ Grosz 1995 では発話 U としているが本稿では処理対象単位が文であるので S とした.

2 Grosz 1995 では CONTINUATION, RETAINING, SHIFTING の 3 種類.
}
表 5 TRANSITION の分類

 &  \\

ように定義する。これを TRANSITION と呼ぶ. 談話構造木の構築で TRANSITION $\mathrm{Cb}(\mathrm{Sj}$, $\mathrm{Sk}) \rightarrow \mathrm{Cb}(\mathrm{Si}, \mathrm{Sj})$ を求める際には $\mathrm{Sk}$ は確定しており， $\mathrm{Sk}$ は $\mathrm{Sj}$ の親ノードである.

TRANSITION は焦点の連続性を評価している。そして，このTRANSITION の種類により文間の結束性の強さが示される。結束性の強さは以下の順に従う.

$
\text { CONTINUATION }>\text { RETAINING }>\text { SHIFTING }>\text { NOTHING }
$

以下の例文でセンタリング理論における $\mathrm{Cf}, \mathrm{Cb}$ と TRANSITION の判定例を示す.

例文 a

幸子は夕飯の材料が足らないことに気づいた。そこで幸子は弟に買い物を頼んだ。しかし、弟は幸子に嫌だと言った。弟はゲームに夢中だった。

a1. 幸子は夕飯の材料が足らないことに気づいた。

$\mathrm{Cf}(\mathrm{Sa} 1)$ : [幸子, 材料, 夕飯]

$\mathrm{Cb}(\mathrm{Sa} 1, \phi):[$ 幸子]

a2. そこで幸子は弟に買い物を頼んた。

$\mathrm{Cf}(\mathrm{Sa} 2) ：[$ 幸子，弟，買い物]

$\mathrm{Cb}(\mathrm{Sa} 2, \mathrm{Sa} 1)$ : [幸子]

TRNSITION $\mathrm{Cb}(\mathrm{Sa} 1, \phi) \rightarrow \mathrm{Cb}(\mathrm{Sa} 2, \mathrm{Sa} 1):$ CONTINUATION

a3.しかし、弟は幸子に嫌だと言った。

$\mathrm{Cf}(\mathrm{Sa} 3) ：[$ 弟，幸子]

$\mathrm{Cb}(\mathrm{Sa} 3, \mathrm{Sa} 1)$ : [幸子]

TRANSITION $\mathrm{Cb}(\mathrm{Sa} 1, \phi) \rightarrow \mathrm{Cb}(\mathrm{Sa} 3, \mathrm{Sa} 1):$ RETAINING

$\mathrm{Cb}(\mathrm{Sa} 3, \mathrm{Sa} 2)$ : [幸子]

TRANSITION $\mathrm{Cb}(\mathrm{Sa} 2, \mathrm{Sa} 1) \rightarrow \mathrm{Cb}(\mathrm{Sa} 3, \mathrm{Sa} 2):$ RETAINING

a4. 弟はゲームに夢中だった。

例文 $\mathrm{a}$ では, 文 $\mathrm{Sa} 4$ で比較先の文 $\mathrm{Sj}$ により TRANSITION が分かれている。 $\mathrm{Cb}(\mathrm{Sa} 4, \mathrm{Sa} 2)$ と $\mathrm{Cb}(\mathrm{Sa} 4, \mathrm{Sa} 3)$ のときは TRANSITION が SHIFTING となっているが， $\mathrm{Cb}(\mathrm{Sa} 4, \mathrm{Sa} 1)$ の場合は NOTHINGである。これはつまり, 文 $\mathrm{Sa} 4$ は, 文 $\mathrm{Sa} 1$ よりも文 $\mathrm{Sa} 2$ や $\mathrm{Sa} 3$ との間の結束性が高いことを表している.

次の例では，部分／属性で $\mathrm{Cb}$ が決定されている。

例文 b

$\mathrm{N}$ 社は新型自動車を発表した。新型自動車は優れた環境性能を実現。燃費は、23.0 km/l とクラストップレベル。

b1. $\mathrm{N}$ 社は新型自動車を発表した。

$\mathrm{Cf}(\mathrm{Sb} 1) ：[\mathrm{~N}$ 社，新型自動車，発表 $]$

$\mathrm{Cb}(\mathrm{Sb} 1, \phi):[\mathrm{N}$ 社 $]$

b2. 新型自動車は優れた環境性能を実現。

$\mathrm{Cf}(\mathrm{Sb} 2)$ ：[新型自動車，環境性能，実現]

$\mathrm{Cb}(\mathrm{Sb} 2, \mathrm{Sb} 1) ：$ 新型自動車]

TRANSITION $\mathrm{Cb}(\mathrm{Sb} 1, \phi) \rightarrow \mathrm{Cb}(\mathrm{Sb} 2, \mathrm{Sb} 1):$ SHIFTING

b3. 燃費は、 $23.0 \mathrm{~km} / \mathrm{l}$ とクラストップレベル。

$\mathrm{Cf}(\mathrm{Sb} 3):[$ 燃費, $23.0 \mathrm{~km} / \mathrm{l}$, クラストップレベル]

$\mathrm{Cb}(\mathrm{Sb} 3, \mathrm{Sb} 1) ：[$ 燃費（新型自動車）]

TRANSITION $\mathrm{Cb}(\mathrm{Sb} 1, \phi) \rightarrow \mathrm{Cb}(\mathrm{Sb} 3, \mathrm{Sb} 1):$ SHIFTING

$\mathrm{Cb}(\mathrm{Sb} 3, \mathrm{Sb} 2) ：[$ 燃費（新型自動車）]

TRANSITION $\mathrm{Cb}(\mathrm{Sb} 2, \mathrm{Sb} 1) \rightarrow \mathrm{Cb}(\mathrm{Sb} 3, \mathrm{Sb} 2):$ CONTINUATION

例文 bでは，文 $\mathrm{Sb} 3$ の $\mathrm{Cb}$ が先行文内の「自動車」の部分／属性概念である「燃費」である。ま
表 $6 \mathrm{Cb}$ 決定タイプ

た, 文 $\mathrm{Sb} 3$ で比較先の文 $\mathrm{Sj}$ が $\mathrm{Sb} 1$ の時の $\mathrm{Cb}(\mathrm{Sb} 3, \mathrm{Sb} 1)$ の場合は $\mathrm{SHIFTING}, \mathrm{Sb} 2$ の時の $\mathrm{Cb}(\mathrm{Sb} 3$, $\mathrm{Sb} 2)$ の場合は CONTINUATION と分かれており, 文 Sb3 は文 Sb2 との結束性が高い.

$\mathrm{Cb}(\mathrm{Si}, \mathrm{Sj})$ が部分／属性概念などで決定される場合と同一概念や同義概念で決定される場合を談話構造木構築の際に区別するため， $\mathrm{Cb}$ 決定タイプを表 6 のように設定する.

$\mathrm{Cf}(\mathrm{Si})$ の要素と同一概念または同義概念が含まれない場合は, EQUAL 以外の決定タイプが採用される。この場合の優先順位は, ATTRIBUTE, LOWER, SIMILAR の順である.

第 5 章で詳しく述べるが，本研究では，談話構造木の構築にこの TRANSITION の種類における結束性の強さを主な指標として用いる。談話構造木は談話における話題の推移を表す木構造であるので，同じ焦点 $\mathrm{Cb}$ を持つ文同士が接続されることが望ましい.このことは，結束性の強い TRANSITION（CONTINUATION や RETAINING）になる文同士を接続したリンクを多く含む談話構造木を構築すればよいということと同義である.

## 5 談話構造木の構築

## 5.1 談話構造木

本章では談話構造木の構築アルゴリズムについて述べる。談話構造木は文をノードとし, 談話中の話題の推移を表す木構造である。談話構造木中では, 近い話題を持つ, つまり結束性の高い文同士が隣接する。また，ルートノード（談話構造木の根に当たるノード）は談話の先頭文であり，各ノード文は自身よりも前に出現した文のうちのただ一つを親ノード文として持つ.

談話構造木構築アルゴリズムでは, 先頭から順に処理対象文とし, 先頭文はルートノードに,以降の文は自身よりも前に出現した文すべてを接続候補文とし, 最も結束性の高い接続候補文に接続する。文同士の結束性を測るための指標として，センタリング理論（第 4 章）における TRANSITION の種類により結束性の度合いを表すセンタリング得点, 特定の表層パターンの組み合わせに着目した表層パターン得点, 文間距離を用いた文間距離得点の 3 つの指標の和を用いる。以下でそれぞれについて説明する。

## 5.2 センタリング得点 $\mathrm{Cp$}

センタリング理論では，文間の焦点の推移に着目したTRANSITIONを求めることにより文間の結束性の高さを評価できる。接続候補ノード文との TRANSITIONを求め, TRANSITION の種類により結束性が高いものほど高得点とする。ここで TRANSITION の判定には, 対象知識も含める。つまり，接続候補文の $\mathrm{Cb}$ と処理対象文の $\mathrm{Cb}$ の関係が対象知識上の関係に該当すれば TRANSITION は CONTINUATIONかRETAINING になる。ただし， Cbが同一概念や同義概念ではなく対象知識から決定される概念を持つ語の場合は, 同一概念や同義概念の場合よりも得点を低くするように， $\mathrm{Cb}$ の決定タイプにより重み付けする。センタリング得点 $\mathrm{Cp}$ は以下の式に従う。

$
C p=T p \times w_{C b}
$

$T p$ : TRANSITION 得点

$
w_{C b}: C b \text { 重み }
$

Tp は TRANSITION に応じた得点であり, 結束性の高いものほど高得点になるように設定する. $\mathrm{w}_{\mathrm{Cb}}$ は $\mathrm{Cb}$ の決定タイプに応じた重みであり同一概念や同義概念を 1.0 とし, 優先度に応じた値を設定する。表 7 に TRANSITION 得点 $\mathrm{Tp}$, 表 8 に $\mathrm{Cb}$ 決定タイプによる重み $\mathrm{w}_{\mathrm{Cb}}$ の例を示す.

## 5.3 表層パターン得点 $\mathrm{Ep$}

接続候補文と処理対象文が特定の表層パターンの組み合わせ（例えば，接続候補文の表記が 「最初に」で始まり, 処理対象文の表記が「つぎに」で始まる）を持てば，関連の高い話題を

表 7 TRANSITION 得点 $\mathrm{Tp}$ の例

表 $8 \mathrm{Cb}$ 決定タイプによる重み $\mathrm{w}_{\mathrm{Cb}}$ の例

表 9 表層パターン組み合わせの例

順序立てて提示していると考えられ, 結束性は高いと判断し, 表層パターン得点 $\mathrm{Ep}$ を付与する. 表層パターンが現れる場合は接続先として確定的な場合であり, Ep はセンタリング得点の CONTINUATION の場合などよりも高い値に設定する。このような表層パターンの組み合わせの例を表 9 に示す.

## 5.4 文間距離得点 $\mathrm{Dp$}

発話者は，読者にわかりやすいように，話題を徐々に変化させながら談話を構築する，そのため近接する文は関連性の高い話題を持つことが自然である。そこで近接する文ノードほど結束性が高いと判断し，文間距離に反比例する得点を与える.

$
D p=D p_{\max }\left(1-\frac{d}{i}\right)
$

$d:$ 文間距離

$i$ : 処理対象文番号

$D p_{\text {max }}$ : 距離得点上限值

ここで, $\mathrm{d}$ は接続候補文と処理対象文との文間距離, $\mathrm{i}$ は処理対象文番号, $D p_{\max }$ は文間距離得点上限値である。D $p_{\max }$ は TRANSITION 間の得点を大きく超えない値が望ましい. つまり表 7 の場合 CONTINUATIONが 90, RETAINING が 60 であるので $D p_{\max }$ は 30 とした.

## 5.5 談話構造木構築アルゴリズム

以上の 3 つの指標の合計得点を結束性得点とし, 接続候補文それぞれに対して求め, 最高得点を持つ文を親ノードとしてリンクを張る。談話構造木構築アルゴリズムを図 3 に示す.

以下の文章を例に説明する。

$\mathrm{N}$ 自動社は 19 日、新車発表会を開催。 $\mathrm{N}$ 自動車としては初となる電気自動車を公開した。電気自動車は、走行時に $\mathrm{CO}_{2}$ を排出しないとして注目を集めている。販売を伸ばしているハイブリット車への対抗として、 $\mathrm{N}$ 自動車は巻き返しを図る考えだ。

図 3 談話構造木構築アルゴリズム

図 4 談話構造木の構築例

ここで TRANSITION 得点 $\mathrm{Tp}$ は表 7 , 文間距離得点上限値 $D p_{\max }$ は 30 として説明する。まず 1 文目をルートノードにする， 2 文目では，接続候補文は 1 文目のみであるので 1 文目とリンクを張る。 3 文目では， 1 文目と 2 文目が接続候補文になるが，それぞれに対しTRANSITIONを求めると，1文目に対しては NOTHING, 2 文目に対しては SHIFTING となる。表層パターンはなく, 距離得点を加算する。結束性得点は 1 文目 15,2 文目 52.5 となり, 2 文目が最も結束性得点が高くなるので, 2 文目とリンクを張る， 4 文目は， 1 文目から 3 文目までが接続候補文となる.

それぞれに対して，TRANSITIONを求める。図 4 は各接続候補文に対してTRANSITION を求めた状態である。 1 文目と 2 文目に対しては CONTINUATION, 3 文目に対しては SHIFTING となる。表層パターンはなく，距離得点を加算する。結束性得点は，1文目 $97.5,2$ 文目 105, 3 文目 52.5 となり最も得点の高い 2 文目とリンクを張る.

## 6 文間接続関係の判定

## 6.1 文間接続関係

構築された談話構造木中のすべてのリンクに文間接続関係を付与する。文間接続関係はリンクで直接接続された 2 文間の接続関係を表す. 何種類の関係を定義するかは, 研究者により異なっているが ( 6 種類 11 種類), 本研究では, 黒橋ら (黒橋, 長尾 1994) の 11 種類の結束関係 (並列, 対比, 主題連鎖, 焦点一主題連鎖, 詳細化, 理由, 原因一結果, 変化, 例提示, 例説明,質問一応答）を参考に, 事例 13 文章 112 文に試行する過程で, 意味解析結果の語意, 深層格, モダリティや, 対象知識や主題や話題を基にした計算可能性と要約や質問応答などの応用での必要性から, 表 10 の 9 種類を定義し, 利用することにした.

文間接続関係は基本的には，親ノード文から子ノード文への関係である。つまり表 10 での $\mathrm{Si}$ が親ノード文であり， $\mathrm{Sj}$ が子ノード文である，例えば，文間接続関係が「詳細化」といった場合は親ノード文での話題に関して子ノード文でさらに詳細な情報が記述されているということである。ただし，「原因結果」と「逆接」関係に関しては逆向き関係が存在する。

なお, 黒橋らとの比較で言えば, 判定の明確性を維持し 6.2 節の文間接続関係判定ルールを容易に構築できるようにするために，対比を逆接として，変化を遷移として再定義した。また同様の目的から主題連鎖と焦点一主題連鎖の違いを，展開と転換に分離再定義した. 一方，理由と例説明は出現頻度が低いので今回の分類では削除した. 具体的な事例では, これらは詳細化に分類されることが多いと思われる.

表 10 文間接続関係一覧

## 6.2 文間接続関係判定ルール

文間接続関係の判定には，文間接続関係判定ルールを用いる。文間接続関係判定ルールは以下の形式を持つ.
- 接続関係名
- 9 種類の接続関係（表 10）のうち 1 つ
- 条件部
- 接続詞
- 主題
- モダリティ・テンス・アスペクト
- 対象知識
- 構文$\cdot$意味情報
- 得点
- 接続関係名への確信度

文間接続関係判定ルールは接続関係名と条件部, 得点から構成される。条件部は接続詞などの表層表現や主題の推移, 文の認識や話者の態度を表すモダリティ（推量, 疑問など）, 時制を表すテンス・アスペクト，対象知識，構文・意味情報を用いた論理式である。ここで主題とは, その文が何について述べられているのかを示すもので，一般的には，助詞「は」で示される文節のことを指す. 本研究では, 助詞「は」で示される文節のほかに助詞「も」や読点「、」で示される主語格も対象とする。なおモダリティテンスアスペクト，接続詞，構文・意味情報は，モダリティ解析機能が加わった意味解析システムSage (梅澤, 西尾, 松田, 原田 2008 ; 梅澤, 加藤,松田, 原田 2009) で解析された情報に基づく. ルールの例とその適合例を図 5 ～図 7 に示す.

## 接続関係名:展開

## 条件部:子ノ一ド文の主題が親ノ一ド文の主題以外の

## 得点:40

## $\mathrm{N$ 自動車は新型電気自動車を公開。}

電気自動車は、走行時に $\mathrm{CO}_{2}$ を排出しないとして注目を集めている。

図 5 文間接続関係判定ルールの例 1

## 接続関係名:逆接

## 条件部:子ノード文の先頭に接続詞「しかし」 \\ 得点: 100

図 6 文間接続関係判定ルールの例 2

## 接続関係名:詳細化 \\ 条件部:子ノード文の主題が親ノード文の主題の \\ 部分/属性概念

得点: 50

図 7 文間接続関係判定ルールの例 3

図 5 の例では, 親ノード文の主題以外の文節「電気自動車」が子ノード文の主題として現れている。親ノード文の話題「 $\mathrm{N}$ 自動車」から新たな話題「電気自動車」に展開されている。図 6 では，子ノード文が接続詞「しかし」で始まっている。接続詞「しかし」は逆接を表す一般的な接続詞であり。このような接続詞が現れる場合は, 接続関係が明確に現れている場合であり,高得点を与える。図 7 では親ノード文の主題「電気自動車」が子ノード文で部分／属性である 「充電時間」になっている。この場合では親ノード文の話題を引き続きつつより詳細な内容の説明へ移行していると考えている。

ルールの一覧を表 11 に,ルールで使われる接続詞の一覧を表 12 に，それを用いる文間接続関係名ごとに示す.ここで $(\mathrm{R})$ と書かれているものは逆向き関係を表している.
表 11 文間接続関係判定ルール一覧

表 12 接続詞一覧

 \\

## 6.3 文間接続関係判定アルゴリズム

つぎに文間接続関係判定のアルゴリズム図 8 について述べる。文間接続関係判定のアルゴリズムでは，談話構造木に存在するすべてのリンクに対し，1つずつ順に文間接続関係を付与する。まず，リンク 1 つに対し接続関係それぞれに対応する 9 つの適合得点を用意する。そして

## for(すべての文間リンクを対象に) \\ \{ for(すべてのルールを対象に) \\ \{ \\ if(ルールの条件部に適合) \\ 対応する接続関係の適合得点 += ルールの得点 \\ \ \\ リンクの接続関係 $=$ 最高の適合得点を持つ接続関係 \\ \}}

図 8 文間接続関係判定アルゴリズム

表 11 のルール 1 つずつ, 条件部に適合するか判定する。適合した場合には, ルールの得点を対応する接続関係の適合得点に加算する. そしてすべてのルールについて適合判定を行った後,最高の適合得点を持つ接続関係を文間接続関係として決定する.

## 7 評価実験と考察

## 7.1 評価実験

本研究で作成したDIA で談話構造解析を行った様子を図 9 に示す. 左上のテキストボックスに解析するテキストを入力. 実行すると左下に談話解析の結果である談話構造木が表示される.各入力文はノードで表示され，接続関係にある文同士が親ノードから子ノードへのアークで接続されている。また文間接続関係を表すラベルがアーク上に付与される。例えば，4文目「日航株は 1 円の値上がりでも，大幅な上昇率となる。」と 6 文目「ただ，売り抜けることができないと，全額損失になる。」では「株」と「損失」の部分／属性関係を基に，4文目と 10 文目「市場では「一か八かのギャンブル相場入りした」（大手証券関係者）との声が出ている。」では「株」 と「相場」の部分／属性関係を基に正しく接続先の決定ができている。また談話構造木の左下の部分木は，詳細化として株価が 1 円近辺になった時の具体的な値動きについての話題で構成されている。一方，右下の部分木では日航株が話題となっている。この結果を, 自動要約に用いるには，根の文と本文章の最後に近い葉の文に至る道上から要約文を作ることが有効のように思われる。

本研究はこれまでに述べてきたように, 談話構造木中の接続先判定においても, 文間接続関係の決定においても，筆者らの事例調査と経験によって作成したルールによっている。このルー ルを作成するにあたって筆者らが本論文で述べて談話構造木の作成の基本アルゴリズムをべー スに手作業で事例の文章の談話構造木を作成する過程において，アルゴリズム中の表 8 に示した $\mathrm{Cb}$ 決定タイプによる重み $\mathrm{w}_{\mathrm{Cb}}$ などのいくつかの数值パラメタを決定していった. このシス

テム作成時に事例として利用したのは Web 上のニュース記事から抽出した 13 文章 112 文である.これらを対象にクローズドテストを行った.

各種パラメータや得点は出来るだけ正しい談話構造が求まるよう人手で調整した. 実験に用いたパラメータは, TRANSITION 得点の CONTINUATION は 90, RETAINING は 55, SHIFTING は 30, NOTHING は 0 , 距離得点上限値は $33, \mathrm{Cb}$ 決定タイプによる重みは，部分／属性（共起辞書から抽出）は 0.6 , 部分／属性（上位概念ぺア）は 0.3 , 上位一下位 0.6 , 類義 0.3 とした.文間接族関係の判定ルールの得点は表 11 のとおりである。実験結果を表 13 に示す（分母が 99 なのは接続関係の数が $112-13=99$ だからである).

接続先文の正解率は談話構造木の構築で正しい親ノード文を選んだ割合を表している。文間

図 9 DIA の実行例

表 13 実験結果

表 14 実験結果

接族関係の正解率は談話構造木の構築で正しい接続先が選ばれたものの中での文間接族関係の正解率である。全体の正解率は, 正しい接続先を選びかつ正しい文間接族関係を選んだ割合である.

さらに, Web から得た上記とは異なる 12 文章 129 文を対象にオープンテストを実施した. 正解の判定は筆者らが所属する研究室の自動要約を研究している筆者らとは別の学生に依頼した. その結果を表 14 に示す。

## 7.2 考察

実験の結果, 談話構造木の構築では, 同一概念や同義概念が含まれる場合は正しく接続先が特定されたが，部分／属性概念，上位／下位概念など対象知識から得られる概念関係を用いた接続先の決定は表 8 に示した $\mathrm{Cb}$ 決定タイプによる重み $\mathrm{w}_{\mathrm{Cb}}$ に依存し, 誤る事例はこの数値が原因であることが多かった．現在 $\mathrm{w}_{\mathrm{Cb}}$ は経験的に定めているが，今後より多くの正解事例を手作業で作成し機械学習によってよる定めることによってより精度の高い接続先の決定が行えると思われる。

一方, 部分／属性の判定精度を向上できると接続先の決定精度も向上する. 部分／属性の判定は，共起辞書を用いた規則の場合は高い確率で正しい関係を導いている．上位概念ぺアを用いた規則の場合は，部分／属性の上位概念として選定した概念（表 3 の右列に列挙した概念） がシソーラスでの位置で根から近（高層）いことが原因で, 少し精度が低くなっていることがある.より下層の概念（その分概念数は多くなるが）を上位概念として選定すれば誤りを除くことができ, 精度は向上する。また 2 語間だけでみた場合は正しい部分／属性関係であっても，文脈上ではそうではない場合もあった（例：属性が「関係者」でそれを持つ対象が「法人」や 「施設」など文脈上に複数の候補がある場合).

文間接続関係の判定は，高い精度を実現したが，詳細化と遷移間の分離精度が少し低かった。 さらにセンタリング理論で同義概念など概念の関係をみるとき文節を単位に比較したが, 文節の区切りに表現上のゆらぎがあり, さらに大きい単位でみないと正しく比較できない場合があった（例：「通信技術」と「通信の技術」. 後者は 2 文節).

本研究の応用については, 現在, 自動要約, 照応解析, 質問応答に用いることを試行している. 自動要約においては, 要約の種となる重要語を選定する際の得点として, 談話構造木において原文の最初の文から最後の文に至る路上の文に含まれる場合に加点する手法で, 話の主要

な流れを漏れなくカバーする要約文の生成を期待できる。ゼロ代名詞の先行詞の判定を行う照応解析では, 先行詞候補を探索する範囲を談話構造木において先頭の文からゼロ代名詞のある文に至る経路上の文に高い精度で絞り込むことができると期待している。質問応答システムでは，文間接続関係を用いて，理由や原因の回答抽出が容易になることや，質問文と類似度の高い照応文という知識文（新聞や web 中の回答を得ようとする知識ソース中の文）から実際に回答を含む回答文を探索する範囲を談話構造木中で照応文を含む経路上に限定できることなどが期待できる.

## 8 おわりに

本研究では，センタリング理論と対象知識に基づき，談話における話題の推移を，正確に捉える談話構造解析の手法を示した，対象知識を用いることで，同一概念や同義概念だけでなく部分／属性や上位／下位概念への話題の展開を考慮し，表記上の手掛かりがない文章でも焦点の推移を的確にとらえることが可能となった。また，センタリング理論により，焦点の推移と連続性を評価したことで，結束性の高い談話構造木を構築することができた。文間接続関係判定ルールと対象知識判定規則の精緻化や, 機械学習などによる各種パラメータの高精度な決定,辞書の整備，表記のゆれに対する解決などを行えばさらに高い精度を実現できるだと思われる。

## 謝 辞

本研究を進めるにあたって有意義なコメントを頂いた青山学院大学原田研究室の皆様に感謝いたします. 特に, 久保田裕章氏には接続先の決定方法や文間接続関係の選出の議論に参加して頂き有意義な意見を頂いた，また西尾公秀氏には丁寧なオープンテストを実施して頂いた，深く感謝いたします.

## 参考文献

Grosz Barbara J, Weinstein Scott and Joshi Aravind K (1995). "Centering: A Framework for

Modeling the Local Coherence of Discourse." Association for Computational Linguistics, 21, pp. 203-225.

原田実，尾見孝一郎，岩田隆志，水野高宏 (1999). 日本語文章からの意味フレーム自動生成システム SAGE (Semantic frame Automatic GEnerator) の開発研究. 人工知能学会第 13 回全国大会論文集, pp. 213-216.
原田実, 水野高宏 (2001). EDR を用いた日本語意味解析システム SAGE. 人工知能学会論文誌, 16 (1), pp. 85-93.

原田実, 田淵和幸, 大野博之 (2002). 日本語意味解析システム SAGE の高速化・高精度化とコー パスによる精度評価. 情報処理学会論文誌, 43 (9), pp. 2894-2902.

(株) 日本語電子辞書研究所 (1995). EDR 電子化辞書仕様説明書（第 2 版).

加藤直人, 森元逞 (1995). 統計的手法による談話構造解析. 情報処理学会第 51 回全国大会, pp. $99-100$.

加藤裕平, 古川勇人, 蒲生健輝, 韓東力, 原田実 (2005). WEB 検索による知識文の獲得と意味グラフ照合推論による質問応答システム Metis. 情報処理学会第 67 回全国大会論文集, 1G-06,第 2 分冊, pp. 11-12.

黒橋禎夫，長尾真 (1994). 表層表現中の情報に基づく文章構造の自動抽出. 自然言語処理, 1 (1), pp. 3-20.

黒橋禎夫，長尾真 (1998a). 日本語形態素解析システム JUMAN version 3.61. 京都大学大学院情報学研究科.

黒橋禎夫, 長尾真 (1998b). 日本語構文解析システム KNP 使用説明書 version 2.0b6. 京都大学大学院情報学研究科.

Marcu Daniel and Echihabi Abdessamad (2002). "An Unsupervised Approach to Recognizing

Discourse Relations." Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 368-375.

南旭瑞, 原田実 (2002). 語意の類似性を用いた照応解析システムの開発 Anasys. 情報処理学会

第 64 回全国大会論文集, $3 \mathrm{M}-06$ 第 2 分冊, pp. 53-54.

横山憲司, 難波英嗣, 奥村学 (2003). Support Vector Machine を用いた談話構造解析. 情報処理学会研究報告自然言語処理研究会報告, 23, pp. 193-200.

柴田和秀, 黒橋禎夫 (2005). 隠れマルコフモデルによるトピックの遷移を捉えた談話構造解析.

言語処理学会第 11 回年次大会, pp. 109-112.

Sporleder Caroline and Lascarides Alex (2005). "Exploiting Linguistic Cues to Classify Rhetorical Relations." Proceedings of Recent Advances in Natural Language Processing, pp. 532-539.田中信彰, 面来道彦, 野口貴, 矢後友和, 韓東力, 原田実 (2006). 意味解析を踏まえた自動要約システム ABISYS. 言語処理学会論文誌, 13 (1), pp. 143-164.

梅澤俊之, 西尾華織, 松田源立, 原田実 (2008). 意味解析システム SAGE の精度向上とモダリティの付与と辞書更新支援系の開発. 言語処理学会第 14 回年次大会発表論文集, E3-1, pp. $548-551$.

梅澤俊之, 加藤大知, 松田源立, 原田実 (2009). 意味解析システム SAGE の精度向上一モダリティと副詞節について一. 情報処理学会第 191 回自然言語処理研究会, pp. 1-8.
山本和英, 斉藤真実 (2008). 用例利用型による文間接続関係の同定. 自然言語処理, 15 (3), pp. $21-51$.

## 略歴

梅澤俊之：2008 年青山学院大学理工学部情報テクノロジー学科卒業. 2010 年青山学院大学大学院理工学研究科理工学専攻知能情報コース博士前期課程修了.

原田実：1975 年東京大学理学部物理学科卒業. 1980 年東京大学理学系大学院博士課程修了. 理学博士. (財) 電力中央研究所研究員を経て, 1989 年青山学院大学理工学部経営工学科助教授に就任, 2000 年より同情報テクノロジー 学科教授. 1986 年電力中央研究所経済研究所所長賞. 1992 年人工知能学会全国大会優秀論文賞． 2008 年青山学院学術褒賞．主たる研究は, 自動プログラミング, 意味理解, 自動要約, 質問応答, テキストマイニング, 対話応答などにおいて実利用可能な技術開発に従事. 情報処理学会, 電子情報通信学会,人工知能学会, 日本ソフトウエア科学会, IEEE, ACM 各会員.

(2010 年 4 月 20 日受付)

(2010 年 9 月 3 日再受付)

(2010 年 10 月 4 日採録)