# 統計翻訳における人手で作成された 大規模フレーズテーブルの効果

村上 仁一 ${ }^{\dagger}$ 鏡味 良太 ${ }^{\dagger}$ 德久 雅人 $\dagger \cdot$ ・池原 悟 $\dagger$
}

現在, 機械翻訳システムの分野において, 対訳データから自動的に翻訳モデルと言語モデルを獲得し，翻訳を行う統計翻訳が注目されている。翻訳モデルでは, 原言語の単語列から目的言語の単語列への翻訳を，フレーズテーブルで管理する。しか しフレーズテーブルはプログラムで自動作成するため, カバー率は高いが信頼性は 低いと考えられる。一方, 手作業で作成した翻訳対は, 信頼性は高いがカバー率は 低いと考えられる。 そこで, それぞれの長所を生かすために，プログラムで自動作成したフレーズ対に手作業で作成した翻訳対を追加することで翻訳精度が向上する と考えた。

実験では, 手作業で作成された約 13 万の翻訳対に翻訳確率を与え, プログラムで自動作成したフレーズテーブルに追加した。翻訳実験の結果, BLEU スコアが, 日英翻訳の単文では $0.9 \%$, 重複文では $0.8 \%$ 向上した。また人間による対比較実験を行っ たところ, 有効性が確認された。

以上の結果から, 統計翻訳において手作業で作成した翻訳対を追加する提案手法は 有効であることが示された.

キーワード：統計翻訳, Phrase Table, 手作業
## SMT with Handmade Phrase Table

Jin'ichi Murakami $^{\dagger}$, Ryouta Kagami $^{\dagger}$, Masato Tokuhisa $^{\dagger}$ and Satoru Ikehara ${ }^{\dagger}$

Recently, the statistical machine translation (SMT) method is very popular for machine translation. This SMT method uses an automatically calculated translation model and language model for large translation pair sentences. The translation model provides the probability that the foreign string is the translation of the native string and is normally controlled using a phrase table.

However, the phrase table is automatically made; it has high coverage but low reliability. On the other side, there are many translation word pairs made by hand, especially in Japanese English translation. These translation word pairs have low coverage but high reliability. Therefore, we added these handmade translation word pairs into the automatically made phrase table.

In this paper, we used 130,000 translation word pairs and the phrase table with added word pairs. As a result of the experiments, we obtained a BLUE score of $13.4 \%$ for simple sentences and $8.5 \%$ for complex sentences. On the other side, with the base line system, the score was $12.5 \%$ for simple sentences and $7.7 \%$ for complex sentences. We

also studied an ABX test. In simple sentences, 5 sentences were good using the base line, and 23 sentences were good using the proposed method. In complex sentences, 15 sentences were good using the base line, and 35 sentences were good using the proposed method.

As a result of these experiments, the effectiveness of the proposed method was shown.

Key Words: SMT, Phrase Table, Handmade

## 1 はじめに

現在, 機械翻訳システムの分野において，対訳データから自動的に翻訳モデルと言語モデルを獲得し統計的に翻訳を行う，統計翻訳が注目されている。翻訳モデルは, 原言語の単語列から目的言語の単語列への翻訳を確率的に表現するモデルである。言語モデルは, 目的言語の単語列に対して，それらが起こる確率を与えるモデルである。翻訳モデルには，大きくわけて語に基づく翻訳モデルと句に基づく翻訳モデルがある。初期の統計翻訳は，語に基づく翻訳モデルであった。語に基づく翻訳モデルでは, 原言語の単語から目的言語の単語の対応表を作成する。対応する単語が無い場合は NULL MODEL に対応させる [1]. しかし，翻訳文を生成する時, NULL MODEL に対して, 全ての単語の出現を仮定する必要がある。これが翻訳精度が低下する原因の一つになっていた，そのため現在では句に基づく翻訳モデルが主流になっている [2].

句に基づく翻訳モデルは, 原言語の単語列から目的言語の単語列の翻訳に対して確率を付与する。また, NULL MODEL は使用しない. そして, 原言語の単語列から目的言語の単語列への翻訳を，フレーズテーブルで管理する。しかし，フレーズテーブルのフレーズ対はヒューリスティクを用いて自動作成されるため，一般にカバー率は高いが信頼性は低いと考えられる. また, フレーズテーブルのフレーズ対は, 確率值の信頼性を高めるため, 短いフレーズ対に分割される。そのため, 長いフレーズ対は少ない.

ところで, 日英翻訳では, 過去に手作業で作成した日本語の単語列から英語の単語列への翻訳対が大量に作成されている。この翻訳対の信頼性は高いと考えられる。しかし自動作成されたフレーズ対と比較すると，カバー率は低い，そこで，本研究では，それぞれの長所を生かすために，プログラムで自動作成したフレーズ対に手作業で作成された翻訳対を追加することで翻訳精度の向上を目指した。

本研究では, 手作業で作成した原言語の単語列から目的言語の単語列への翻訳対を, 自動的に作成したフレーズテーブルに追加する。この追加されたフレーズテーブルを利用して日英翻訳の精度向上を試みる。実験では, 日英重複文文型パターン辞書 [3] の対訳文対から得られた翻訳対を利用する。手作業で作成された約 13 万の翻訳対に翻訳確率を与え, プログラムで自動作成したフレーズテーブルに追加する。この結果, BLEU スコアが, 単文では $12.5 \%$ から $13.4 \%$ に

0.9\%向上した.また重複文では $7.7 \%$ から $8.5 \%$ に $0.8 \%$ 向上した. また得られた英文 100 文に対し, 人間による対比較実験を行ったところ, 単文では, 従来法が 5 文であるのに対し提案法では 23 文，また重複文では，従来法が 15 文であるのに対し提案法では 35 文，翻訳精度が良いと判断された.

これらの結果から，自動作成されたフレーズテーブルに手作業で作成された翻訳対を追加する, 提案手法の有効性が示された.

## 2 統計翻訳システム

## 2.1 基本概念

日英の統計翻訳は，日本語文 $j$ が与えられたとき，全ての組合せの中から確率が最大になる英語文 $\hat{e} を$ 探索することで翻訳を行う [1]. 以下にその基本式を示す.

$
\hat{e}=\operatorname{argmax}_{e} P(j \mid e) P(e)
$

$P(j \mid e)$ は翻訳モデル, $P(e)$ は言語モデルと呼ぶ. 翻訳モデルは日本語と英語が対になった対訳コーパスから学習して作成する。また, 言語モデルは, 出力文側の言語である英語コーパスから学習して作成する。デコーダは言語モデルと翻訳モデルを用いて, 尤度の最も高い英文を生成する。

## 2.2 翻訳モデル

翻訳モデルは, 日本語の単語列から英語の単語列または英語の単語列から日本語の単語列へ,確率的に翻訳を行うモデルである。翻訳モデルには，大きくわけて語に基づく翻訳モデルと句に基づく翻訳モデルがある。初期の統計翻訳では，語に基づく翻訳モデルを用いていたが，現在は句に基づく翻訳モデルが翻訳精度が高いため主流になっている。句に基づく翻訳モデルでは, 日本語や英語の単語列と確率は, フレーズテーブルで管理される [4]. 表 1 にフレーズテー ブルの例を示す.

このテーブルは, 左から, “日本語フレーズ”, “英語フレーズ”, “フレーズの英日翻訳確率

表 1 フレーズテーブルの例

このあたり ||| this neighborhood ||| 0.0270270 .0119730 .050 .0087394

最終試験 ||| the final examination ||| 0.1250 .2094520 .08333330 .0112749

このトーナメント ||| this tournament ||| 0.06250 .18420 .20 .436971

暖かい冬 ||| a mild winter ||| 0.07142860 .1163790 .1250 .00362893

このテーブルの位置 ||| the position of this table ||| 0.50 .004736310 .50 .00114018
$P(j \mid e)$, “英日方向の単語の翻訳確率の積”, “フレーズの日英翻訳確率 $P(e \mid j)$ ”, “日英方向の単語の翻訳確率の積”である。

## 2.3 フレーズテーブルの作成法

句に基づく翻訳モデルは, 原言語の単語列から目的言語の単語列の翻訳に対して確率を付与する.これをフレーズテーブルで管理する。以下に作成手順について説明する.

手順 1 単語 alignment の計算（日英, 英日）

まず，IBM モデル [1] を利用することで，単語 alignment を得る。これを英日，日英の両方向に対して行う。つまり, 学習データに対して, 英日方向の単語 alignment と日英方向の単語 alignment を計算する。この toolとして GIZA++ [5] が用いられる.

手順 2 単語列 alignment の計算（union と intersection）

次に, 英日・日英両方向の単語 alignment から, 英日・日英両方向に 1 対多の対応を認めた単語列 alignment を求める。この単語列 alignment は英日・日英両方向の単語対応の積集合 (intersection) と和集合 (union)を利用してヒューリスティックスで求める [6]. 尚, 積集合 (intersection) は, 両方向ともに単語 alignment が存在する場合のみ単語列 alignment を残し，和集合 (union) は, 少なくとも片方向に単語 alignment が存在する場合に単語列 alignment を残す. 対称な単語列対応を求めるヒューリスティックス (grow-diag-final) は, まず積集合から始まり, 和集合にしかない単語対応が妥当であるかを判断しながら, 単語対応を徐々に加える [7]. なお通常の統計翻訳では, grow-diag-final が利用されている.

手順 3 フレーズテーブルの抽出

単語列 alignment から，ヒューリステックを用いて日本語単語列と英語単語列のフレー ズ対を得る。そのフレーズ対に対して翻訳確率を計算してフレーズテーブルを作成する。

表 2 を学習データとしたとき, grow-diag-final で作成されたフレーズテーブルを表 3 に示す.また, intersection で作成されたフレーズテーブルを表 4 に示す.

パラメータ intersection で作成したフレーズテーブルは，多くのフレーズ対を持ち，かつ長いフレーズ対を含むことが分かる.

## 2.4 言語モデル

言語モデルは, 目的言語の単語列に対して, それらが起こる確率を与えるモデルである。 日英翻訳では，より英語らしい文に対して高い確率を与えることで，翻訳モデルで翻訳された訳

表 2 対訳文の例

表 3 grow-diag-final で作成されたフレーズテーブル（全 12 フレーズ）

表 4 intersection で作成したフレーズテーブルの例（全 185 フレーズから一部抜粋）

文候補の中から英語として自然な文を選出する，言語モデルとしては $N$-gram モデルが代表的である。

尚, 学習データに表れない単語連鎖確率値を 0.0 とすると, テストデータにおいて, 目的言語の全ての単語列の確率が 0.0 になって, 単語列が出力されないことがある. そのため, 学習データに存在しない単語連鎖確率は，スムージングによって 0.0 以外の確率を割り当てる．代表的なスムージング法として, Backoff や Kneser-Ney がある。これらは高次の $N$-gramに，低次の $N$-gramと閾値を掛けて利用する.

## 2.5 デコーダ

デコーダは翻訳モデルと言語モデルの確率が最大となる文を探索し, 出力する. デコーダとして moses [4] が代表的である. moses はいくつかのパラメータを設定することが出来る. moses

で設定できるパラメータの例を以下に示す.

・ weight-l言語モデルの重み

・ weight-t翻訳モデルの重み
- weight- $\mathrm{d} \cdots$ 単語の移動の距離の重み
- weight-w目的言語の長さに関するぺナルティ
- distortion-limitフフレーズの並び変えの範囲の制限值

これらのパラメータは，パラメータチューニング（2.6節）を行うことで最適値を求めることが出来る.

## 2.6 パラメータチューニング

正解がある development データに対して評価値を最大にするように，デコーダのパラメータを最適化することができる。これをパラメータチューニングと呼ぶ. この方法として, Minimum Error Rate Training (MERT) [8] が一般的によく利用される. MERT は, development データの, 各文について上位 $N$ 個（通常 100 個）の翻訳候補を出力し, 目的の評価値（通常 BLEU） を最大にするようにデコーダのパラメータの値を調節する。

通常，パラメータチューニングを行うと，テストデータの BLEU スコアは上昇する。しかし，実験条件を変更するたびに，パラメータチューニングを行うと，多くの時間がかかる．また，本研究では，全ての実験において，実験条件を同一にする必要がある，そのため，パラメータの最適化は行わない.

## 3 自動的に作成したフレーズテーブルへの翻訳対の追加（提案方法）

## 3.1 翻訳対への翻訳確率の付与

手作業で作成された翻訳対を, 自動的に作成したフレーズテーブルに追加するために, 翻訳対に翻訳確率を付与する必要がある。この翻訳確率として, 自動作成したフレーズテーブルの翻訳確率を利用する。ただし，フレーズテーブルを作成するときにパラメータ grow-diag-final を用いると，確率が付与される翻訳対は少ない。そこで，翻訳確率を与えるためのフレーズテー ブルには，多くのフレーズ対を作成するパラメータ intersection を用いて作成する.

## 3.2 翻訳対の追加手順

手作業で作成した翻訳対をフレーズテーブルに追加する手順を図 1 に示す.

手作業で作成した翻訳対をフレーズテーブルに追加する手順を以下に示す.

手順 1 前処理

日英重複文文型パターン辞書 [3] から対訳文を抽出し“chasen [9]” で形態素解析を行う.

## 翻訳対の追加手順

図 1 手作業で作成したフレーズ対への確率値の付与方法

表 5 パラメータ intersection で作成したフレーズテーブルの例

オーバーコートを脱ぎ捨て ||| flung his coat off ||| $0.53 .88199 \mathrm{e}-080.56 .46865 \mathrm{e}-06$

コートのすそ ||| the edge of my coat ||| $0.50 .0002962460 .1666675 .47368 \mathrm{e}-13$

帽子とコートをかけ ||| hung up his hat and coat ||| $0.04166676 .7781 \mathrm{e}-070.0833333$ 4.50333e-11

英語文に対しては大文字の小文字化を行う，また，句読点の前にスペースを入れる．前

処理を行った後の対訳文の具体例を表 8 に示す.

手順 2 intersection を用いたフレーズテーブルの作成

手順 1 で抽出した対訳文を用いてフレーズテーブルを作成する。作成時のパラメータに

は intersection を用いる。作成したフレーズテーブルの例を表 5 に示す.

手順 3 手作業で作成した翻訳対への翻訳確率値を付与

手順 2 で作成したフレーズテーブルを参照して, 手作業で作成した翻訳対に翻訳確率値を付与する。翻訳対が “オーバーコートを脱ぎ捨て || $\mid$ flung his coat off” の場合は 1 行

目のフレーズ対の翻訳確率値 “0.5 3.88199e-08 0.5 6.46865e-06”を付与する.

手順 4 grow-diag-final をもちいたフレーズテーブルの作成

手順 1 で抽出した対訳文を用いてフレーズテーブルを作成する. 作成時のパラメータに

は grow-diag-final を用いる. 作成したフレーズテーブルの例を表 6 に示す.

手順 5 フレーズテーブルの追加
表 6 パラメータ grow-diag-final で作成したフレーズテーブルの例

表 7 確率值を付与した翻訳対を追加したフレーズテーブルの例

手順 4 で作成したフレーズテーブルに，手順 3 で作成した翻訳確率を付与した翻訳対を追加する.

尚，本稿では，手順 4 で作成したフレーズテーブルを用いた翻訳をべースラインと呼び，手順 5 のフレーズテーブルを用いた翻訳を提案手法と呼ぶ.

## 4 翻訳実験

翻訳実験は，単文と重複文の 2 種類で行う.

## 4.1 学習データ

単文の翻訳実験には，電子辞書などから抽出した単文 10 万文対 [11] を学習データとして用いる。重複文の翻訳実験には日英重複文文型パターン辞書 [3] から抽出した対訳文対， 121,913 文対を用いる，尚，単文 10 万文は，日本語が単文であるが，対訳英文は単文とは限らず複文の場合もある。重複文 121,913 文は, 日本文が重文もしくは複文であるが，英文は複文とは限らず単文である場合もある。

前処理 [手順 1] を行った対訳文の例を表 8 に示す.

## 4.2 手作業で作成された翻訳対

手作業で作成された翻訳対は, 日英重複文文型パターン辞書 $[3]$ から抽出した対訳コーパスから作成された翻訳対 261,453 個を用いる。この翻訳対は，プロの翻訳者が手動で作成した対訳対で，単語，句，節の単位で対応づけられている。また，この翻訳対は日本語文が重複文で英語が単文もしくは重複文である対訳コーパスから抽出されている。文献 $[10]$ に，この翻訳対の
表 8 対訳文の例

表 9 翻訳対の作成例

詳しい説明がある。基本的には, 日本語文と英語文の対訳文から日本語パターンと英語パター ンを作成する。このとき，作成できる日英翻訳対を利用する。翻訳対の抽出において，長さの制限は行っていない. また，重複する句は抽出していない. 例を表 9 に示す.

手作業で作成された翻訳対の例を表 10 に示す。翻訳対の分布図を図 2 に示す.この図では,縦軸が全体に占める割合で, 横軸が 1 つの翻訳対における単語数である。 日本語における単語数を口，英語における単語数を口で示している。これからわかるように， 2 単語のフレーズが最も多く, 単語数と, その単語数がしめる割合は, $\operatorname{zipf} の$ 法則に沿っていることがわかる。なお, 本稿では, 手作業で作成された単語列の対訳対を翻訳対と呼ぶ.
表 10 手作業で作成された翻訳対の例

$
\text { コートのすそ }
$

the edge of my coat

朝晚のラッシュ時に

during the morning and evening rush hours

国産のコートは英国製よりだいぶ落ちる

home-made coats are by far inferior to those made in britain

図 2 手作業で作成した翻訳対の単語数の分布図

## 4.3 テストデータ

テストデータには, 電子辞書などから抽出した単文 1,000 文対 [11] を用いる. 重複文の翻訳実験には日英重複文文型パターン辞書 $[3]$ から抽出した対訳文対 1,000 文対を用いる. ただし， テストデータは学習データ（4.1 節）や手作業で作成された翻訳対（4.2 節）と, 別の辞書を利用する。従って, テストデータは, 学習データや翻訳対に対して open data となる.

## 4.4 翻訳モデルと言語モデルとデコーダ

1. フレーズテーブルの作成

翻訳モデルはフレーズテーブルで管理される. フレーズテーブルの作成には, train-phrasemodel.perl [12] を用いて自動的に作成する. 尚, 本稿では, プログラムで自動作成した単語列の対訳対をフレーズ対と呼ぶ．また，フレーズ対の最大の単語数を決める max phrase length は 20 とする.
2. $N$-gram モデルの学習

言語モデルには， $N$-gram モデルを用いる。 $N$-gram モデルの学習には, "SRILM [13]"

を用いる。本研究では 5 -gram モデルを用いる。また，スムージングのパラメータには， Kneser-Ney である“-ukndiscount”を用いる。

3. デコーダ

デコーダは “moses [4]”を用いる。また，翻訳モデルには，日英翻訳確率と英日翻訳確率の相互情報を用いる [14]. したがって，翻訳モデルの重み “weight-t” は “0.50000 とする。また，翻訳時にフレーズの位置の変化に柔軟に対応するため，単語の移動重み “weight-d”は 0.2 とする。また単語の移動距離の制限 “distortion-limit” は, -1（無制限を意味）とする。その他は, default 值とする。

## 4.5 評価方法

評価は，コンピュータによる自動評価と人間による評価の， 2 種類で行う.

1. 自動評価

機械翻訳システムの翻訳精度を自動評価する手法として，あらかじめ実験者が用意した正解文と，翻訳システムが出力した文とを比較する手法が利用されている。この自動評洒法には多くの方法が提案されている。本研究では， $N$-gram を用いた BLEU [15] と類似単語辞書を用いた METEOR [16] を用いる.

2. 人間による評価

人間による評価として，対比較実験を行う，得られた英文から 100 文をランダムに抽出し, ベースラインの翻訳結果と提案手法の翻訳結果のどちらの翻訳結果が優れているかを人間で判断する。その際，本研究において固有名詞の未知語はローマ字変換して評価し, それ以外の未知語は存在しないとして評価を行う。

## 4.6 実験結果フレーズテーブルの増加数

ベースラインのフレーズ数, 確率值が付与できた翻訳対の数, 最終的に作成されたフレーズ数を表 11 に示す.

手作業で作成された翻訳対は, 261,453 対であった. しかし約半数以上に対して確率值を付与できなくて，削除されていることがわかる。また，提案法におけるフレーズテーブルのフレー ズ数は, ベースラインと比較すると約 2 割増加している.

表 11 総フレーズ数

 &  &  \\

重複文 & 727,848 & 130,892 & 858,740 \\

確率が付与された翻訳対の例を表 12 に示す.

## 4.7 実験結果 翻訳精度の評価

1. 自動評価

日英翻訳のテストデー夕には，単文 1,000 文と重複文 1,000 文を用いる. ベースラインと提案手法の翻訳精度の自動評価の結果を表 13 に示す.

結果から, 単文, 重複文のいずれの翻訳においても提案手法の翻訳精度が向上していることが分かる.

2. 人間による対比較実験

表 13 の日英翻訳結果からランダムに抽出した 100 文に対して, 人間による対比較実験を行う. 対比較実験において, ベースラインの翻訳結果の方が, 優れていると評価した文を, “提案手法 ×”とする。提案手法の翻訳結果が, ベースラインの翻訳結果より優れていると評価した文を, “提案手法 $\bigcirc$ ”とする. また, ベースラインと提案手法で翻訳結果が変化しなかった文を“変化無し”とする。対比較実験の結果を表 14 に示す.

表 12 確率値が付与された翻訳対の例

表 13 実験結果（テストデータ 1,000 文）

表 14 対比較実験の結果

結果から, 全ての翻訳において, 提案手法が優れている割合が高くなっていることが分かる。

## 5 翻訳対の翻訳確率の重みの最適化

4 章の実験では，手作業によって作成した翻訳対に，パラメータ intersection で作成した翻訳確率を付与した. しかし, 手作業で作成された翻訳対は信頼性が高いと考えられる。そこで,翻訳対に付与する翻訳確率の重みを大きくした方が翻訳精度が向上すると考えられる。そこで，翻訳対に付与する翻訳確率の重みを大きくした実験を行う.

## 5.1 翻訳確率の重みを変えた翻訳実験

単文および重複文の翻訳実験において, 手作業で作成した翻訳対の翻訳確率の重みを 2 倍, 4 倍, 8 倍に変化させたときの, BLEU スコアと METEOR の変化を調査する．結果を表 15 に示す.

日英の翻訳において, 単文の翻訳時には翻訳確率の重みを 2 倍, 重複文の翻訳時には 8 倍にした時に翻訳精度がもっとも良かった。最適な翻訳確率の重みを用いたときの提案手法の翻訳精度と, ベースラインの翻訳精度の差を比較した場合, BLEUでは, 単文で $0.9 \%$, 重複文で $0.8 \%$ 向上していることがわかる.

## 5.2 対比較実験

表 15 の翻訳結果 100 文に対して, 表 14 と同じ条件で対比較実験を行った結果を表 16 に示す.表 14 と比較すると，特に重複文において改善が見られる。

表 15 翻訳確率の重みを変化させた時の翻訳実験結果

表 16 対比較実験の結果

## 5.3 対比較実験の解析

表 16 における対比較実験の例文を以下に示す.

1. 提案手法が優れている例

提案手法が優れていると評価した例を表 17 に示す.

2. 提案手法が劣っていると評価した例

提案手法が劣っていると評価した例を表 18 に示す.

## 5.4 パラメータを最適化した翻訳実験

1. パラメータの最適化

通常，統計翻訳においては，翻訳精度の向上を目的として，パラメータの最適化を行う。

この節では，パラメータの最適化を行ったときの，提案方法の有効性を調査する，パラ

表 17 提案手法が優れていると評価した例

表 18 提案手法が劣ると評価した例

メータの最適化には, Minimum Error Rate Training (MERT) [8] を用いる。尚，フレー ズテーブルの作成には moses に付属している train-factored-phrase-model.perl を用いる. また, reordering モデルも組み込む。

2. development データ

development データは，単文の実験も重複文の実験も，テストデータ（4.3 節）と同一の辞書から抽出したデータを利用する。単文の翻訳実験には, development デー夕に単文 100 文を使用してパラメータの最適化を行う. 重複文の翻訳実験には development デー 夕に重複文 1,000 文を使用してパラメータの最適化を行う.

3. 翻訳実験の結果

翻訳実験の結果を表 19 に示す.
表 19 パラメータチューニングを行った実験結果

表 19 の結果から，パラメータの最適化を行った翻訳実験においても，BLEUが単文において $0.9 \%$ ，重複文において $0.2 \%$ 上昇し，提案手法の有効性が示された.

## 6 考察

## 6.1 提案手法の効果の分析

表 5.2 の対比較実験の結果において, 翻訳結果が変化した 78 文中, 58 文が提案手法が優れていると評価した. この評価の理由として, 妥当な語順による向上と未知語の減少に分けることが出来る. 以下にその分析結果を述べる.

1. 妥当な語順による向上

提案手法の翻訳結果がベースラインと比較して, 妥当な語順となって文質が向上したと判断した例を表 20 に示す.

2. 未知語の減少

未知語が減少したことにより翻訳精度が向上した例を表 21 に示す。

3. 妥当な語順になった文と未知語が減少した文の比較

提案手法が優れていると評価した 58 文において, 未知語が減少した文数と, 妥当な語順になった文数を表 22 に示す.

表 22 から, 約 8 割の文が, 未知語の減少よりも妥当な語順になって翻訳精度が向上していると判断された。つまり，提案手法の有効性は，主に妥当な語順になった文の増加にあると言える。

## 6.2 今後の課題

今後の課題として, 以下の項目がある.

1. 手作業で作成された翻訳対の翻訳確率の最適化

手作業で作成された翻訳対は信頼性が高いため, 翻訳確率値が大きい方が, 高い翻訳精度が得られると考え, 第 5 章において翻訳対に付与した翻訳確率の重みを変化させて翻訳実験を行った。この結果, 翻訳精度が向上した（表 15）。しかし, 重みを大きすぎる
表 20 妥当な語順による向上例

と翻訳精度が低下した。この結果から，重みの最適化が必要であると考えている。そして，この重みの最適化に MERT が使用できると考えている。

2. 翻訳確率値を付与できなかった翻訳対の追加

本研究では約 26 万個の手作業で作成された翻訳対のうち, 約 13 万個の翻訳対に翻訳確率値を付与できた。そして，翻訳確率値を付与できなかった翻訳対約 13 万個は，削除した. そこで，翻訳確率值を付与できなかった翻訳対約 13 万個に対して，翻訳確率として間値を与えて，翻訳実験を行った。しかし，どのような閥値を与えても，BLEU，METEOR ともに低下した，今後，確率を付与できなかった翻訳対の，確率の付け方を考えてみたい．

3. 述語節に関する翻訳対の追加

翻訳において，述語節が正しく翻訳されているか否かは，人間の評価において重要な判断要素となりやすい。つまり，述語節が正しく翻訳されると，文の意味が分かりやすくなり，人間による翻訳精度の評価が向上する，そこで，今後は特に，述語節に関する翻
表 21 未知語が減少した例

表 22 妥当な語順になった文数と未知語が減少した文数の比較

訳対を追加し，翻訳精度の調査を行いたいと考えている。また，英辞郎 [17]には，手作業によって作成された 200 万以上の日英の翻訳対がある。これを利用することでさらに翻訳精度が向上すると考えている。

## 7 おわりに

本研究では, 手作業で作成した信頼性の高い翻訳対を, プログラムで自動作成したフレーズテーブルに追加して，単文と重複文における日英翻訳の精度評価を行った．約 13 万の翻訳対を追加し, 追加した翻訳対の翻訳確率の重みを変えた結果，BLEU スコアが日英翻訳において，単文では $12.5 \%$ から $13.4 \%$ に $0.9 \%$ 向上した。また重複文では $7.7 \%$ から $8.5 \%$ に $0.8 \%$ 向上した.また出力英文 100 文に対し人間による対比較実験を行ったところ, 単文では, 従来法が良いと判断された文が 5 文であるのに対し, 提案法では 23 文, また重複文では, 従来法が良いと判断された文が 15 文であるのに対し，提案法では 35 文となった.

以上の結果から, 提案手法の有効性が示された. 今回の実験では日英重複文文型パターン辞書 [3] の対訳文対から, 手作業で作成した翻訳対を追加した. 今後は他の辞書の翻訳対も追加して，翻訳精度の調査をすることを考えている。また，追加する翻訳対の翻訳確率値に対する重みの最適化の方法についても考えていく.

## 謝 辞

日英重複文文型パターン辞書の対訳文対や，この対訳対から得られる翻訳対の作成には，多くの方の協力を得ました．基本的には鳥バンクの作成において関連した方々です。特に，以下の人に厚くお礼を申し上げます（順不同）.

白井諭, 藤波進, 小見佳恵, 阿部さつき, 木村淳子, 竹内奈央, 小船園望 (以上 NTT-AT),池田尚志 (岐阜大学), 佐良木昌 (長崎純心大), 新田義彦 (日本大学), 柴田勝征 (福岡大学),山本理恵 (鳥取大学工学部：事務局), 大山芳史 (NTT-CS 研), 衛藤純司 (ランゲージウエア）

## 参考文献

[1] Brown, Peter F., John Cocke, Stephen Della Pietra, Vincent J. Della Pietra, Frederick Jelinek, John D. Lafferty, Robert L. Mercer, and Paul S. Roossin (1990). "A Statistical Approach to Machine Translation." Computational Linguistics, 16 (2), pp. 7985.

[2] Philipp Koehn, Franz J. Och, and Daniel Marcu (2003). "Statistical phrase-based translation", HLT-NAACL 2003, pp. 127-133.

[3] 鳥バンク, "http://unicorn.ike.tottori-u.ac.jp/toribank/", 2007.

[4] Philipp Koehn, Marcello Federico, Brooke Cowan, Richard Zens, Chris Dyer, Ondej Bojar, Alexandra Constantin, and Evan Herbst (2007). "Moses: Open Source Toolkit for Statistical Machine Translation", In Proceedings of the ACL 2007 Demo and Poster Sessions, pp. 177-

180.

[5] Franz Josef Och, and Hermann Ney (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51, 2003.

[6] Franz Josef Och and Hermann Ney (2003). "A systematic comparison of various statistical alignment models." Computational Linguistics, 29 (1), pp. 19-51.

[7] 山本幹雄, 藤井敦, 内山将夫, 宇津呂武仁 (2007). 統計的機械翻訳における特許文翻訳に関する講習会, pp. 11.

[8] Franz Josef Och (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 160-167.

[9] 松本裕治 (2000). 形態素解析システム「茶筌」, 情報処理 41 (11), pp. 1208-1214.

[10] 池原悟 (2009). 非線形言語モデルによる自然言語処理, 岩波書店, ISBN978-4-00-005882-7, pp. 220-242.

[11] 村上仁一, 池原悟, 徳久雅人 (2002). 日本語英語の文対応の対訳データベースの作成, 第 7 回 「言語, 認識, 表現」年次研究会.

[12] NAACL (2006). "Workshop on Statistical Machine Translation Shared Task, Exploiting Parallel Texts for Statistical Machine Translation Shared Task Baseline System, trainingrelease-1.3.tgz". http://www.statmt.org/wmt06/shared-task/baseline.html

[13] Andreas Stolcke (2002). "SRILM—An Extensible Language Modeling Toolkit", In Proceedigns Intl. Conf. Spoken Language Processing, Denver, Colorado.

[14] Jin'ichi Murakami, Masato Tokuhisa, and Satoru Ikehara (2007). "Statistical Machine Translation using Large J/E Parallel Corpus and Long Phrase Tables", In International Workshop on Spoken Language Translation 2007, pp. 151-155.

[15] Papineni, K., Roukos, S., Ward, T., and Zhu, W. J. (2002). "BLEU: a method for automatic evaluation of machine translation", In 40th Annual meeting of the Association for Computational Linguistics pp. 311-318.

[16] Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments", In Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43th Annual Meeting of the Association of Computational Linguistics (ACL-2005).

[17] EDP 編集 (2008). 英辞郎第 4 版, 株式会社アルク, ISBN 4757414560.

[18] 鏡味良太，村上仁一，徳久雅人，池原悟 (2009). 統計翻訳における人手で作成された大規模フレーズテーブルの効果, 言語処理学会第 15 回年次大会, pp. 224-227.

## 略歴

村上仁一：1984 年筑波大学第 3 学群基礎工学類卒業. 1986 年筑波大学大学院修士課程理工学研究科理工学専攻修了. 同年 NTT に入社. NTT 情報通信処理研究所に勤務. 1991 年国際通信基礎研究所 (ATR) 自動翻訳電話研究所に出向. 1995 年 NTT 情報通信網研究所に復帰. 1997 年豊橋技術科学大学にて博士 (工学). 1998 年鳥取大学工学部知能情報工学科に転職. 現在に至る.主に音声認識のための言語処理の研究を行う. 最近は統計翻訳の研究に従事.電子情報通信学会, 日本音響学会, 言語処理学会各会員.

鏡味良太：2009 年鳥取大学工学部知能情報工学科卒業. 同年エヌデック株式会社に入社. 現在に至る.

徳久雅人：1995 年九州工業大学大学院情報工学研究科博士前期課程修了. 博士 (工学). 同年同大学情報工学部知能情報工学科助手, 2002 年鳥取大学工学部知能情報工学科助手, 現在, 同大学大学院工学研究科情報エレクトロニクス専攻講師. 情報処理学会, 電子情報通信学会, 人工知能学会, 言語処理学会各会員.

池原悟：1967 年大阪大学基礎工学部電気工学科卒業. 1969 年同大学院修士課程終了. 工学博士. 同年日本電信電話公社に入社. 1982 年情報処理学会論文賞. 1993 年情報処理学会研究賞. 1995 年日本科学技術情報センター賞. 1995 年人工知能学会論文賞. 1996 年スタンフォード大学客員教授. 1996 年鳥取大学工学部教授. 2002 年電気通信普及財団賞受賞. 2006 年文部科学大臣表彰科学技術賞. 2009 年 12 月逝去. 数式処理, トラフィック理論, 自然言語処理の研究に従事.


# 単語グループに基づくWeb 文書クラスタリング
## 仁科 朋也 $\dagger \cdot$ 内海 彰 $\dagger \dagger$

サーチエンジンの検索結果などの Web ページ集合をクラスタリングする手法として，抽出された各重要語を含む Webぺージ集合をひとつのクラスタとする手法が広く用いられている. しかし, 従来の研究では重要語間の類似度を考慮していないために，類似した話題を表す語句が重要語として抽出されると，話題が類似するクラス夕が複数出力されてしまうという欠点がある。 そこで本研究では, この問題点を解消するために，単語間の類似度を考慮した Web 文書クラスタリング手法を提案する。本手法は，サーチエンジンが返すタイトルとスニペットの単語分布情報から，互いに類似していない重要語を抽出する。次に，どのクラスタにも属さないWebページをできるだけ減らすために，重要語から直接 Web ページのクラスタを生成せずに，各重要語に類似した Web ページ集合に含まれる単語集合として単語グループを生成し，それらの単語グループのそれぞれに対応する Web ページクラスタを生成する. そして，実際に人手で分類した正解データを用いて従来手法（語句間の類似度を考慮しない方法）との比較評価を行い, 本手法のほうがクラスタリング性能が高く, かつ類似したクラスタを生成してしまうという従来手法の問題点が解消できることを示す.

キーワード：Web ページクラスタリング，文書クラスタリング，単語グループ，スニペット，検索結果

## Web Document Clustering Based on the Clusters of Topic Words

\author{
Tomoya Nishina ${ }^{\dagger}$ and Akira Utsumi ${ }^{\dagger \dagger}$
}

Many Web page clustering systems construct clusters in such a way that, for each of the extracted keywords, one cluster is constructed to contain all the pages that contain this keyword. However, these systems suffer from one serious problem that similar clusters (i.e., clusters that share many Web pages) are likely to be generated from similar keywords, because their clustering method fails to take into account the topical similarity between keywords. To overcome this problem, this study proposes a new Web page clustering method that uses the topical similarity between words. The proposed method first extracts keywords that are dissimilar to each other using distributional statistics of word occurrence in snippets and titles of search results.

After that, in order to reduce the number of unclassified Web pages, the method generates word groups each of which is a set of words similar to each extracted keyword, and then constructs Web page clusters using the word groups, rather than directly generating Web page clusters from keywords. This study also conducts an evaluation experiment in which our method is compared with the existing method that ignores the similarity of keywords using the handmade test data. The result is that our system achieves better performance and can overcome the problem of multiple similar clusters.

Key Words: Web page clustering, Document clustering, Word group, Snippet, Search results

## 1 はじめに

今日, Web からユーザーの望む情報を得る手段として Google などのサーチエンジンが一般的に利用される. しかし, ユーザーの検索要求に合致しないWeb ゚゚ージも多数表示されるため，各ぺージがユーザーの望む情報を含むかどうかを判断するのに時間と労力を割かなけれげならない. このような負担を軽減するための検索支援手法として, 検索結果をクラスタに分類して表示する Web 文書クラスタリングが挙げられる。 Web ページのクラスタリング手法として, Web ペーシのの HTML タグの構造 (折原, 内海 2008) や Web ページ間のリンク関係 (大野,渡辺, 片山, 石川, 太田 2006; Wang and Kitsuregawa 2002)などWeb ページに特有の情報を用いた手法も提案されているが，Webページの内容（Webページに含まれるテキスト・文章）に基づく手法が一般的であり, 多くの手法が提案されている (e.g., 江口, 伊藤, 隈元, 金田 1999; Ferragina and Gulli 2005; Hearst and Pedersen 1996; 平尾, 竹内 2006; 成田, 太田, 片山, 石川 2003; Zamir and Etzioni 1998).

Web ページの内容に基づくクラスタリング手法は, Web ページ間の類似度に基づく手法と共通する語句に基づく手法に大別できる (Fung, Wang, and Ester 2003). 前者は, ベクトル空間モデルなどを用いて各文書間の（非）類似度を計算し, k-means 法などのクラスタリングアルゴリズムを適用する手法である。例えば，最初の Webぺージクラスタリングシステムと言われている Scatter/Gather (Hearst and Pedersen 1996) や江口らのシステム (江口他 1999)はこの手法を用いている。類似度に基づく手法は文書クラスタリング手法として広く用いられている (岸田 2003) が, 実時間性が要求される検索結果のクラスタリングにはあまり適していない. Web ページ間の類似度を適切に計算するためには, Web ページそのものを取得する必要があるが，その取得時間がかかるとともに，文書規模が大きくなると類似度計算にも時間がかかる.

よって, サーチエンジンの検索結果をクラスタリングする手法として, Webページ (スニペッ卜）集合に共通して出現する語句に基づく手法が多く用いられている (Ferragina and Gulli 2005; Fung et al. 2003; 平尾, 竹内 2006; 成田他 2003; Zamir and Etzioni 1998). この手法では, 検
索結果として得られるぺージタイトルやスニペットから何らかの方法を用いて基準となる語句を抽出し，それらの語句を含む文書集合をひとつのクラスタとする。一般的に，ひとつの Web ページ（スニペット）には複数の頻出語句が含まれるため, この手法は本質的に非排他的なクラスタリング（ひとつの文書を複数のクラスタに割り振ることを許すクラスタリング）を行うことになる。この手法は，タイトルやスニペットの情報のみを用いるために情報の取得時間が短く, 文書間の類似度を計算する必要がないために処理時間も短く, ノイズとなる単語が混ざりにくいなどの利点がある。 さらに，Zamir and Etzioni (1998)は，スニペットのみの情報を用いたクラスタリングの性能は Web ページ全体を用いる場合に比べて遜色ないこと, 共通語句に基づくクラスタリング手法が Webページ間の類似度に基づく手法よりも高性能であることを実験的に示している.

共通語句に基づく手法で重要となるのが，クラスタのベースとなる語句の抽出手法である.既存研究では, 文書頻度 (平尾, 竹内 2006; Osiński and Weiss 2005; Zamir and Etzioni 1998), tfidf (Ferragina and Gulli 2005; Zeng, He, Chen, Ma, and Ma 2004), 検索結果のランキング (成田他 2003), 語句の長さ (Zamir and Etzioni 1998; Zeng et al. 2004) などの情報を用いて語句をランク付けし，上位の語句を選択するという手法が用いられている。 しかし, この抽出方法では語句間の意味的な類似関係を考慮していないので, クラスタのベースとなる語句どうしが類似した話題を表していると，同じ文書を多く含む類似したクラスタを出力してしまうという欠点がある。特に，検索結果の Webページ集合には共通する話題が多いことを考えると, この問題点は深刻である。抽出語句からクラスタを作成した後に重複の大きいクラスタをマージする手法 (e.g., Zamir and Etzioni 1998) も考えられているが, 話題が似ているからクラスタが重複する場合（ひとつのクラスタとすべきである場合）と，複数の異なる話題が共通しているから重複する場合（別々のクラスタにすべきである場合）かの区別はできない.

この問題に対して, 本研究では, 語句間の意味関係を考慮してクラスタのべースとなる語句を選択することによって，類似したクラスタをできるだけ出力せずに Web ページを分類できると考える。 さらに，作成されるクラスタに含まれる文書数はその語句の文書頻度と同じであるため, 文書頻度が低い語句が重要語として多く選択される場合には, どのクラスタにも属さない文書の数が多くなってしまう。そこで抽出語句を基準に Webページ集合に含まれる単語のクラスタを作成し, 単語グループから文書クラスタを作成することによって, どのクラスタにも属さないWebページを減らすことができると考えられる.

本論文では, 以上の考え方に基づいて, 検索結果のスニペットとタイトルから互いに話題が類似しない重要語を抽出し, それらを核とした単語グループを生成し, 単語グループに基づいてWebページをクラスタリングする手法を提案する。 そして, 実際に人手で分類した Webペー ジ群を用いて従来手法（語句間の類似度を考慮しない方法）との比較評価を行い，本手法のほうがクラスタリング性能が高く，かつ類似したクラスタを生成してしまうという従来手法の問
題点が解消できることを示す.

## 2 単語グループに基づく Web 検索結果のクラスタリング手法

## 2.1 概要

提案する手法の概要は以下の通りである.

（1）ユーザの入力したクエリを受け取り，Googleによる検索結果のタイトルとスニペットを文書として取得する。本論文の以下では，各ページのタイトルとスニペットをひとつの 「文書」と呼ぶ.

（2） 各文書に対して，茶鉒 (http://chasen-legacy.sourceforge.jp/）を用いて形態素解析を行う.

(3) 形態素解析で名詞・英字と判断された単語から，複合名詞を含む名詞を抽出する.

（4）抽出した名詞から，クラスタの話題を表すと考えられる互いに類似していない重要語を,指定された文書クラスタ数だけ抽出する.

(5) 手順 (3) で抽出されたすべての単語に対して，各重要語から単語グループを生成する.

(6) 単語グループを用いて，文書クラスタを生成する.

以下の 2.2 節から 2.5 節では, 上記の手順 (3) から (6) の各処理の詳細を述べる.

## 2.2 形態素解析結果からの名詞抽出

まず形態素解析により名詞及び英字と判断された単語を抽出する。この際に, 非自立の名詞や代名詞などは除き，英字の連続はひとつの名詞とする。また, 各単語 $w_{i}$ の文書頻度 $d f\left(w_{i}\right)$ $\left(w_{i}\right.$ を含む文書数) を検索結果の文書集合全体から計算し，一定値 $C_{W}$ 以下の単語を除外する. さらにクエリ及びクエリの一部となる単語は, ほぼ全ての文書に出現するため, 手順 (4)の重要語の抽出に大きな影響を及ぼすので除外する。

次に，これらの単語から構成される名詞の $n$ グラム（複合名詞）を，重要語候補として抽出すべきかどうかを判断する，例えば，文書集合中で「情報」や「検索」という名詞が，ほほ「情報検索」という複合名詞でしか用いられていない場合には，「情報検索」をひとつの単位として抽出すべきである。また，形態素解析が固有名詞と認識できないために不適切に分解されてしまう固有名詞（例：「エースコック」）を適切に抽出することも意図している.

以下の手法により，重要語の候補として抽出すべき（複合名詞を含む）名詞を決定する。

(1) $\Sigma_{1} \leftarrow$ (すべての単語の集合)， $n \leftarrow 1$ とする.

(2) $\Sigma_{n+1} \leftarrow \phi$ とする.

(3) 集合 $\bigcup_{i=1}^{n} \Sigma_{i}$ 中の単語 $w_{i}$ と, 集合 $\Sigma_{n}$ 中の単語 $w_{j}$ のすべての組み合わせ $\left(\right.$ たたしし $\left.w_{i} \neq w_{j}\right)$ に対して，以下の処理を行う。

(a) 2 つの単語をつなぎ合わせた語句 $w_{i} w_{j}, w_{j} w_{i}$ のうちで, 全文書における出現頻度

が高い方を合成候補 Str とする。ただし，一方の単語がもう一方の単語を部分文字列として含む場合には，合成はせずに長いほうの単語を Str とする.

（b） 全文書における $w_{i}, w_{j}$ 及び Str の出現頻度（2.3 節の式 (1) で定義される）をそれぞれ $t f\left(w_{i}\right), t f\left(w_{i}\right), t f(S t r)$ としたとき，次式で定義される値 $W M$ を計算する.

$
W M=\frac{t f(S t r)}{\max \left(t f\left(w_{i}\right), t f\left(w_{j}\right)\right)}
$

(c) 上記で計算した $W M$ が閾値 $C_{W M}(>0.5)$ 以上ならば, $\Sigma_{n+1} \leftarrow \Sigma_{n+1} \cup\{S t r\}$, $\Sigma_{1} \leftarrow \Sigma_{1}-\left.\{w_{i}\right.\}, \quad \Sigma_{n} \leftarrow \Sigma_{n}-\left.\{w_{j}\right.\}$ とする. つまり, $w_{i}, w_{j}$ の代わりに Str を複合名詞として用いることになる。

（4） $\Sigma_{n+1}=\phi$ ならば, $\Sigma=\bigcup_{i=1}^{n} \Sigma_{i}$ を複合名詞 (重要語候補) の集合として終了する. $\Sigma_{n+1} \neq \phi$ ならば， $n$ を 1 増やしてから手順 $(2)$ に戻る.

間値 $C_{W M}$ を適切に（0.5より大きく）設定することによって， $w_{i}$ や $w_{j}$ が単独で出現するよりも複合名詞 Str として出現することが多い場合に，複合名詞として抽出することができる.

なお，本論文の以下では，複合名詞を含む重要語候補（ $\Sigma$ の要素）のことを単に「名詞」や 「単語」と表記する。

## 2.3 重要語の抽出

前節で得られた名詞集合 $\Sigma$ から，以下の手順を用いて，重要語を抽出する.

（1）抽出されたすべての名詞に対して，2.3.1節で述べる重み付け手法を用いて，ランク付けする。結果として得られた名詞のランク付きリストを $S$ とする.

(2) リスト $S$ の中でランクの最上位にある名詞を取り出して，重要語とする。

（3）抽出した重要語との類似度（2.3.2 節参照）が基準値 $C$ 以上のすべての名詞をリスト $S$ から取り除く．なお，2.3.3節で述べるように，基準値 $C$ は文書集合に応じて自動的に決定する.

（4） 重要語の個数が指定されたクラスタ数 $n$ に満たない場合には, 手順 (2) に戻る.

上記の手順 (3) において, 抽出された重要語と話題が類似する名詞を重要語（クラスタのべー スとなる語）としないことによって, 本手法は重要語どうしの類似度が低くなるように重要語を抽出する。なお， 1 章で述べた従来の手法は，手順 (1) で得られるリスト $S$ のランク上位 $n$個をクラスタのベースとなる重要語として抽出することに相当する。

## 2.3.1 名詞の重み付け

上記の手順 (1)における名詞の重み付け手法としては, 以下の基準が考えられる．なお， 3 章で述べる評価実験では，これらのどの基準を用いても本手法のほうが優れていることを示す.
文書頻度 $\mathbf{d f}$ 名詞 $w_{i}$ の出現する文書数である $d f\left(w_{i}\right)$ の値が大きいほど，その名詞が重要であると考える。なお，計算に用いる文書は検索結果の文書集合全体である。

出現頻度 $\mathbf{t f}$ 次式で計算される文書集合中の総出現頻度 $t f\left(w_{i}\right)$ が高い名詞が重要であると考える。

$
t f\left(w_{i}\right)=\sum_{j=1}^{N} t f\left(w_{i}, d_{j}\right)
$

ただし, $t f\left(w_{i}, d_{j}\right)$ は文書 $d_{j}$ における単語 $w_{i}$ の出現数, $N$ は文書数をそれぞれ表す.

tfidf 次式で定義される tfidf 値が高い（特定の文書に多く出現する）名詞が重要であると考える。

$
\begin{aligned}
& t f i d f\left(w_{i}\right)=\operatorname{tf}\left(w_{i}\right) \times i d f\left(w_{i}\right) \\
& \quad i d f\left(w_{i}\right)=\log _{2}\left(\frac{N}{d f\left(w_{i}\right)}\right)+1
\end{aligned}
$

SP, LP (成田他 2003) 次式で定義される $S P\left(w_{i}\right)$ もしくは $L P\left(w_{i}\right)$ が高い, つまり検索結果のランキング上位の文書に多く含まれる名詞ほど重要であるとする指標である.

$
\begin{aligned}
& S P\left(w_{i}\right)=\sum_{j=1}^{N}\left[t f\left(w_{i}, d_{j}\right) \times \sin \left(\frac{\pi}{1+\sqrt{j}}\right)\right] \times i d f\left(w_{i}\right) \\
& L P\left(w_{i}\right)=\sum_{j=1}^{N}\left[t f\left(w_{i}, d_{j}\right) \times \log _{N}\left(\frac{N}{j}\right)\right] \times i d f\left(w_{i}\right)
\end{aligned}
$

ただし， $d_{j}$ はサーチエンジン（本研究では google）の検索結果のランキングが $j$ 番目の文書を表す。

TR (Gelgi, Davulcu, and Vadrevu 2007) TR( $\left.{ }_{i}\right)$ は単語をノード，共起の有無をエッジとするグラフの PageRankのように計算される値であり， $T R\left(w_{i}\right)$ が高い（つまり重要な）単語と多く共起している単語は重要であると考える指標である.

$
T R^{(t+1)}\left(w_{i}\right)=\sum_{j=0}^{N} \frac{T R^{(t)}\left(w_{j}\right) \operatorname{corres}\left(w_{i}, w_{j}\right)}{\sum_{k=0}^{N} \operatorname{corres}\left(w_{k}, w_{j}\right)}
$

ただし, $\operatorname{corres}\left(w_{i}, w_{j}\right)$ は $w_{i}$ と $w_{j}$ の共起回数, $t$ は繰り返し計算回数を表し, $T R^{(0)}\left(w_{i}\right)=$ $t f\left(w_{i}\right)$ である.

## 2.3.2 名詞どうしの類似度の計算

上記の手順 $(3)$ において, 名詞どうしの類似度 $\operatorname{sim}\left(w_{i}, w_{j}\right)$ （抽出された重要語とリスト $S$ に含まれる名詞との類似度）には，次式のコサイン $(\cos )$ 類似度を用いる。

$
\operatorname{sim}\left(w_{i}, w_{j}\right)=\cos \left(V_{i}, V_{j}\right)=\frac{\sum_{k=1}^{N} t f\left(w_{i}, d_{k}\right) \cdot t f\left(w_{j}, d_{k}\right)}{\sqrt{\sum_{k=1}^{N} t f\left(w_{i}, d_{k}\right)^{2}} \sqrt{\sum_{k=1}^{N} t f\left(w_{j}, d_{k}\right)^{2}}}
$

つまり, 名詞 $w_{i}$ を, 文書 $d_{k}$ における出現頻度 $t f\left(w_{i}, d_{k}\right)$ を要素とする $N$ 次元べクトルで表現したときのコサイン類似度に相当する。

## 2.3.3基準値 $C$ の設定

基準値 $C$ が 0.05 0.5（0.05 刻み）のいずれかの值をとるものとして，それぞれの値で実際に文書クラスタリングを行い, 最も多くの文書を分類できる（つまりどのクラスタにも属さない文書が最も少ない）値を基準値 $C$ として採用する．たたし抽出した重要語が指定したクラス夕数に満たなかった場合 ${ }^{1}$ には，指定したクラス夕数に最も近いものの中での最適値を基準値とする.

なお，この判定に用いる文書クラスタリング手法は, 2.4 節で述べる単語グループを用いた方法ではなく，本節で述べた方法で抽出した重要語を含む文書をクラスタとする方法である.

## 2.4 単語クラスタリング

前節の方法で得られた重要語に対して, 以下のアルゴリズムを用いて単語グループを生成する.

(1) 各重要語 $x_{i}$ に対応する単語グループ $W G_{i}$ を以下の方法で生成する.

(a) 重要語 $x_{i}$ との $\cos$ 類似度（(7) 式）が基準値 $C^{\prime}$ 以上の名詞（重要語は除く）をリスト $S$ からすべて抽出する.

(b) 抽出した名詞集合に対し, 重要語 $x_{i}$ との $\cos$ 類似度の平均値 $M$ を求める.

(c) 重要語 $x_{i}$ との $\cos$ 類似度が平均値 $M$ 以上の名詞のみを，その重要語を核とした単語グループ $W G_{i}$ に含める.

(2) 複数の単語グループに含まれる名詞を，すべての単語グループから取り除く.

基準値 $C^{\prime}$ は 0.05 0.5（0.05 刻み）のいずれかの值をとるものとし，それぞれの値で実際に文書クラスタリングを行い, 最も多くの文書を分類できる値を基準値 $C^{\prime}$ として採用する. この判別に用いる文書クラスタリング手法は， 2.5 節で述べる手法を用いる.
^{1} 2.3$ 節の手順 (3) において, 重要語と類似しているとして多くの単語が取り除かれる場合に, このようが現象が生じるときがある.
}

## 2.5 単語グループからの文書クラスタリング

以下のアルゴリズムを用いて，単語グループから文書クラスタを生成する.

(1) 単語グループ $W G_{i}(i=1, \cdots, n)$ に対応する空の文書クラスタ $D C_{i}=\phi$ を生成する.

（2）以下の方法で，各文書 $d_{j}(j=1, \cdots, N)$ がどの文書クラスタに含まれるかを決定する.

(a) 文書 $d_{j}$ が単語グループ $W G_{i}$ の核となった重要語 $x_{i}$ を含んでいれば，文書 $d_{j}$ を単語グループに対応する文書クラスタ $D C_{i}$ に含める。（複数の重要語 $x_{i}$ を含んでいれば，複数の文書クラスタに属することになる. )

(b) 全ての単語グループ $W G_{i}$ に対し, 以下の式で定義される $S_{i}\left(d_{j}\right)$ を計算する.

$
\begin{aligned}
S_{i}\left(d_{j}\right) & =\frac{\sum_{w_{k} \in W G_{i}} \delta\left(w_{k}, d_{j}\right)}{\left|W G_{i}\right|} \\
\delta\left(w_{k}, d_{j}\right) & = \begin{cases}1 & \left(\text { 名詞 } w_{k} \text { が文書 } d_{j} \text { に出現する場合 }\right) \\
0 & \left(\text { 名詞 } w_{k} \text { が文書 } d_{j} \text { に出現しない場合 }\right)\end{cases}
\end{aligned}
$

そして,$S_{i}\left(d_{j}\right)$ の値が以下の不等式を満たすならば, 文書 $d_{j}$ を文書クラスタ $D C_{i}$ に含める.

$
S_{i}\left(d_{j}\right) \geq \frac{1}{2} \sum_{k=1}^{n} S_{k}\left(d_{j}\right)>0
$

直観的に言うと, 文書 $d_{j}$ が他の単語グループよりも単語グループ $C W_{i}$ の単語を多く含んでいれば，その文書は $C W_{i}$ に対応する文書クラスタ $D C_{i}$ に分類されることになる.

## 3 評価実験

## 3.1 評価データ

Google の検索結果を人手により分類したものを評価用の正解データとして用いた．正解デー 夕作成にあたり 20 代の男女 10 人に協力を頼んた．協力者が自由にクエリを入力して，Google の検索結果上位 30 件をタイトルとスニペットのみから分類してもらい, 15 セットの正解デー 夕 (平均クラスタ数 3.6 , 最大クラスタ数 5 , 最小クラスタ数 2 , クラスタに含まれる文書数の平均 9.040）を得た. 正解データ作成のために協力者が選んだクエリを表 1 に示す. 検索結果を 30 件としたのは, 検索エンジンのユーザの $54 \%$ が上位 10 件以内, $73 \%$ が上位 20 件以内の検索結果しか閲覧しないという調査結果 (Jansen and Spink 2003) から, 検索結果 30 件をクラスタリングすることで十分な情報をユーザに与えられると考えたためである。 なお，情報の少なさや内容の曖昧さから協力者が分類できないと判断した文書や文書数が 1 であるクラス夕は正解
表 1 評価に用いたクエリ

データから除外した。

## 3.2 評価方法

本研究の手法と比較手法のそれぞれを用いて, 15 セットの評価データのクラスタリングを行い, その性能を比較した，比較手法は，名詞の重み上位順に（2.3 節の概要の (1)のリスト $S$ の順に）指定されたクラスタ数だけ重要語を抽出し，重要語を含む文書集合を文書クラスタとするという，1章で述べた従来手法 (e.g., 平尾, 竹内 2006; 成田他 2003; Zamir and Etzioni 1998) とした。

両手法において, 名詞の重み付けには 2.3.1節の手法を用いた。また, システムが出力するクラスタ（以下，システムクラスタと呼ぶ）の数 $n$ は各正解データセットのクラスタ数とした. なお，正解クラスタ数より少ない重要語しか抽出できなかった場合には，空のクラス夕を出力したとみなして評価を行った。 さらに，提案手法によるクラスタリングにおいて， 2.2 節における閾値を $C_{W}=2, C_{W M}=0.6$ と設定した.

## 3.3 評価基準

評価基準として, F 值, CR (clustering ratio), OR (overlapping ratio)を用いる。これらの値はすべて各データセットごとに計算する.

クラスタリングの精度を表す $\mathrm{F}$ 值は以下の手順で求めることができる (折原, 内海 2008). まず，システムクラスタ $S C_{i}(1 \leq i \leq n)$ と正解クラスタ $A C_{j}(1 \leq j \leq n)$ のすべての対に対して, F 値 $F(S C i, A C j)$ を次式で計算する.

$
\begin{aligned}
F\left(S C_{i}, A C_{j}\right) & =\frac{2 \times R\left(S C_{i}, A C_{j}\right) \times P\left(S C_{i}, A C_{j}\right)}{R\left(S C_{i}, A C_{j}\right)+P\left(S C_{i}, A C_{j}\right)} \\
R\left(S C_{i}, A C_{j}\right) & =\frac{\left|S C_{i} \cap A C_{j}\right|}{\left|A C_{j}\right|} \\
P\left(S C_{i}, A C_{j}\right) & =\frac{\left|S C_{i} \cap A C_{j}\right|}{\left|S C_{i}\right|}
\end{aligned}
$

次に, 次式の $F(M)$ が最大となるようなシステムクラスタと正解クラスタの一対一対応 $M$ を求め，そのときの値をこのシステムクラスタの $\mathrm{F}$ 値とする.

$
F(M)=\sum_{\left(S C_{i}, A C_{j}\right) \in M} \frac{\left|A C_{j}\right|}{\sum_{k=1}^{n}\left|A C_{k}\right|} F\left(S C_{i}, A C_{j}\right)
$

これは，システムクラスタと正解クラスタを 2 つ頂点集合として，それらの間の枝の重みを $\frac{\left|A C_{j}\right|}{\sum_{k=1}^{n}\left|A C_{k}\right|} F\left(S C_{i}, A C_{j}\right)$ とする二部グラフの最大マッチング問題を解くことに相当する.

CR は文書集合のうちのどれだけの割合の文書をクラスタに分類できるかを表しており，次式で計算される (成田他 2003). なお， $N$ は検索結果の文書数である.

$
C R=\frac{\left|\bigcup_{i=1}^{n} S C_{i}\right|}{N}
$

本研究で扱っている共通の語句に基づくクラスタリング手法では, どのクラスタにも属さない文書が生じてしまう可能性がある。したがって CRが高い（1に近い）ほうが望ましい結果であると言える。

OR はクラスタ間で文書が重複する割合の平均であり，次式で計算される。

$
O R=\frac{1}{{ }_{n} C_{2}} \sum_{i=1}^{n} \sum_{j=i+1}^{n} \frac{\left|S C_{i} \cap S C_{j}\right|}{\left|S C_{i} \cup S C_{j}\right|}
$

この値は単純に低いほど（もしくは高いほど）望ましいというわけではなく, 正解クラスタの OR 値に近いほうが望ましい結果であると言える.

## 4 評価結果と考察

本章では, 3 章で述べた評価実験について, 以下の観点から評価結果を述べるとともに, 考察を行う。

・クラスタリングの精度 : 正しい分類をしているか

・クラスタリングの被覆度：どのくらいの文書をクラスタリングできるか

・ システムクラスタ間の類似度：過度に類似したクラスタを出力していないか
- 単語グループの必要性：互いに類似していない重要語を抽出するだけでは不十分か
- 複合名詞の抽出手法 : 2.2 節における複合名詞抽出はどの程度影響があるか

なお，以下で示す評価値はすべて各セットごとに求めた値の平均值を用いている.

## 4.1 クラスタリング精度

クラスタリングの精度を示す評価基準である $\mathrm{F}$ 値の結果（全セットの平均値）を表 2 に示す. なお, 表 2 (およびこれ以降の表) において,「本手法」の値として「単語グループ無」と「単語グループ有」の 2 種類の値が示されている.「単語グループ有」の值は， 2 章で述べた提案手法による評価結果を示している。一方,「単語グループ無」の値は「2.1 節の概要の手順 (5) の単語クラスタリング（2.4 節）を行わず，手順 (4)で抽出した重要語を含む文書の集合を文書クラ
表 2 各手法における $\mathrm{F}$ 値

スタとする方法」による評価結果である。つまり，本研究の提案手法と従来手法の中間に位置する手法と言える。単語グループを用いずに文書クラスタリングを行った場合の評価結果を示したのは, 4.4 節で単語グループの必要性（類似していない重要語の抽出だけで十分かどうか） を検証するためである。

表 2 より, 全ての重み付け手法において, 本手法の $\mathrm{F}$ 値は従来手法よりも高くなった。また従来手法と本手法（単語グループ有）間で平均值の差の検定を行ったところ, df, $\mathrm{tf}$ 以外での重み付け手法において有意差が見られた $(p<0.05)$. df と $\mathrm{tf}$ についても平均値の差は有意傾向 $(\mathrm{df}: p=0.061, \mathrm{tf}: p=0.067)$ となった.この結果から, 本手法は従来手法よりもクラスタリング精度が高い（人手に近いクラスタリングを行うのに有効である）と言える。さらに，単語グループを考慮しなくても従来手法より性能が高いことから, 2.3 節の重要語の抽出手法そのものも有効であると言える.

特に，TRは検索結果を分類するのに有用な (discriminative) 単語が上位にランクされやすい指標である (Gelgi et al. 2007)ので，TRに従来手法を適用しただけで意味的に類似したクラス夕を生成しにくくなる可能性がある。しかし, 従来手法の TRの F 值（0.511）は本手法よりも有意に低い值であることから，この可能性は排除できる。つまり, 表 2 の結果は, 本研究の手法に基づいて重要語を抽出するほうが TRによるランキングに基づく手法よりも性能が高いことを示している。

## 4.2 クラスタリングの被覆度

クラスタの被覆度（クラスタに含まれる文書の割合）を表す評価基準である CR の結果（全セットの平均値）を表 3 に示す。表 3 より，全ての重み付け手法において，本手法の CR は従来手法よりも高くなった. また従来手法と本手法（単語グループ有）間で平均値の差の検定を行ったところ, 全ての重み付け手法において有意差が見られた $(p<0.05)$. この結果から, 本手法は従来手法よりも多くの文書を分類できると言える。さらに，単語グループを考慮しなくても従来手法より CR が高いことから，互いに意味的に類似しない単語のみを抽出する本研究
表 3 各手法における $\mathrm{CR}$

表 4 各手法における平均クラスタサイズ

注）正解クラスタの平均クラスタサイズは 9.040 である.

の重要語抽出手法そのものがより多くの文書を分類するのに有効であると言える.

しかし, 本研究では非排他的クラスタリングを行っているので，単純により多くの文書をひとつのクラスタに含めてしまえば，つまり，クラスタのサイズを大きくしてしまえば，不適切に CR を高くすることが可能である。そこで，適切なクラスタサイズを保ちつつ本手法の CR が高くなっているかどうかを調べるために，表 4 に平均クラスタサイズ（各クラスタに含まれる文書数の平均）を示す. 表 4 を見ると, 本手法（単語グループ有）のクラスタサイズは従来手法よりは大きくなっているものの, 正解データの平均クラスタサイズである 9.040 を大幅に越えるものはない.（重み付け手法が df の場合にクラスタサイズが大きくなっているが, これは従来手法と本手法に共通した現象であり, 本手法だけが不当にクラスタサイズを大きくしているわけではない.）さらに，単語グループを考慮しない場合には従来手法よりもクラスタサイズが小さくなっている，よって，本手法は, 不当にクラスタサイズを大きくせずに，より多くの文書を分類することができると結論づけられる.

## 4.3 クラスタ間の類似度

1 章で述べた, 不適切に類似したクラスタを出力してしまうという従来手法の問題点が本手法で解決されているかどうかを評価するために，クラスタ間の重複割合の平均値である OR の
表 5 各手法における OR

注）正解クラスタの平均 OR は 0.029 である.

結果（全セットの平均値）を表 5 に示す。全ての重み付け手法において, 本手法の OR は従来手法よりも低い值であり，正解クラスタの値（0.029）にかなり近くなっている．したがって，本手法は従来手法よりも類似したクラスタを出力しにくく, 従来手法の問題点を解決していると言える。

## 4.4 単語グループの必要性

本節では, 本手法において単語グループを用いる場合と用いない場合の評価結果を比較することによって，単語グループを用いてクラスタリングすることの必要性を検証する.

表 2 と表 3 から，重み付け手法に関係なく，単語グループを用いたほうが用いないよりも $\mathrm{F}$值, $\mathrm{CR}$ とに高いことがわかる。この結果は, 単語グループの必要性を支持している.

表 4 のクラスタサイズに注目すると，単語グループを用いない場合には，正解データのクラスタサイズである 9.040 よりかなり小さいサイズになっている. これは, 本研究の重要語抽出方法が出現頻度が低い名詞を抽出しやすいためである。一方，単語グループを用いた本手法のクラスタサイズは正解データのサイズ 9.040 と同程度である. したがって, 出現頻度が低い単語が重要語として抽出された場合でも，単語グループを用いることによって適切なクラスタサイズの文書クラスタを生成できると言える。つまり，クラスタサイズの点からも単語グループが必要であると結論できる。

なお, 表5のクラスタ間の類似度 OR は単語グループの有無による差はほぼなく, 単語グルー プを用いることは類似したクラスタを出力しないという利点そのものには貢献していない。しかし, 単語グループを用いない場合と同程度のクラスタ類似度のままで性能（F 值, CR）を向上させていることになり，総合的に単語グループの必要性を示しているといえる.

## 4.5 複合名詞の抽出手法の評価

本節では, 2.2 節で述べた複合名詞の抽出手法の性能を評価するために, この抽出手法を用いる場合と用いない場合の評価結果の比較を行う.

まず，2.2 節の単語合成手法で実際に抽出された複合名詞の例を表 6 に示す. 2.2 節で意図したように，「情報」や「限定」などの一般的な単語に代わり，「店舗情報」，「限定発売」などの具体的な話題を表す複合名詞が抽出されている。また, 形態素解析では複数の名詞に分割されてしまう「綿陽」のような地名や「ブロードバンド」のような専門用語も正しく抽出されている.次に，複合名詞抽出を行う場合と行わない場合の F 值, CR，ORをそれぞれ表 7 , 表 8 , 表 9 に示す. 表 7 より, 本手法では全ての重み付け手法で複合名詞抽出を行うほうが行わないよりも F 值が高いことがわかる。一方, 従来手法では, 重み付け手法が LP, TRのときに複合名詞抽出を行うほうが $\mathrm{F}$ 値が高くなるものの，その他の重み付け手法では同じ値となった。また表 3 と表 5 より, CR と OR は従来手法, 本手法の全ての重み付け手法においてほぼ同じ結果となった。以上の結果から, 複合名詞抽出はクラスタリングの被覆度やクラスタ間の類似度に

表 6 単語合成手法で抽出された複合名詞の例（括弧内は形態素解析による区切りを表す）

表 7 複合名詞抽出の有無による $\mathrm{F}$ 値の比較

表 8 複合名詞抽出の有無による $\mathrm{CR}$ の比較

はあまり影響を与えないが，本手法のクラスタリング精度を向上させる効果があると結論できる。また，語句間の類似度を考慮しない従来方法に対しては，複合名詞抽出はほとんど効果がないと言える。

## 4.6 生成されたクラスタについて

本節では，評価に用いたデータセットに対するクラスタリング結果の実例を示すことによって，本手法を定性的に考察する．表 10～12に，いくつかのクエリによる検索結果を本手法でクラスタリングした結果（重要語，単語グループ，文書クラスタ）を示す.

表 10 のクエリ「伊右衛門」による検索結果のクラスタリング例では, 3 種類のクラスタ (サントリーから発売されている緑茶「伊右衛門」, 京極夏彦の小説「虽う伊右衛門」,「伊右衛門」 をタイトルに含むブログ）が生成されているが，これらのクラスタは正解クラスタと一致する.

表 9 複合名詞抽出の有無による OR の比較

注）正解クラスタの平均 OR は 0.029 である.

表 10 クエリ「伊右衛門」における重要語, 単語グループ, 文書クラス夕

 &  \\

注）単語グループ内の太字の単語は重要語を表す.
表 11 クエリ「四川」における重要語，単語グループ，文書クラス夕

 \\

注）単語グループ内の太字の単語は重要語を表す。

表 12 クエリ「チョコボール」における重要語, 単語グループ, 文書クラスタの例

 \\

注）単語グループ内の太字の単語は重要語を表す.

一方，従来手法では，どの重み付け手法でも「ブログ」に関する単語（表 10 では「日記」）が重要語として抽出されず, 代わりに緑茶に関する単語（サントリー, 飲料, 緑茶など）が重複して重要語として抽出されてしまう.

表 11 や表 12 の例を見ても，表 10 と同様に，類似する単語が重要語として選ばれておらず， それらの重要語を核とする単語グループには，同じ話題を表す同義語や関連語（例えば，表 11 の「地震」から「震源」や「ニユース」）が適切に分類されている。また，表 12 にいて，重要語「エンゼル」から「金」、「銀」、「確率」といった単語が選ばれ，「金（または銀）のエンゼルが当たる確率に関するぺージ集合」というように，文書クラスタの内容が推測しやすくなる単
語グループも見られる。しかし,「商品」や「サイト」といった広い意味を持つ一般的な単語が単語グループに含まれてしまうために，結果的に文書クラスタの精度が下がってしまう例（表 11 の「ゲーム」における「サイト」）も見受けられる。

## 5 おわりに

本研究では, サーチエンジンの検索結果としての Web ページ集合をクラスタリングするために，検索結果のスニペットとタイトルから互いに類似していない話題（トピック）を表す重要語を抽出し, それらの重要語を元に文書中の単語をクラスタリングして, それらの単語グルー プから文書クラスタを生成する手法を提案した。そして，評価実験を通して，重みによるランク上位の単語を単純に取り出してその単語を含む文書をクラスタとする従来手法に比べて，提案手法はクラスタリングの精度, 被覆度ともに優れていることを示した. さらに, 提案手法によって生成されるクラスタのサイズや重複割合も適切であることを明らかにした. これらの結果は, 本研究の提案手法の有効性を示すものである.

今後の課題としては, 検索支援という観点からは検索結果を階層的にクラスタリングすることが望ましいので, 本手法を階層的クラスタリングに応用することである。ひとつの適用方法としては，本手法を用いて生成したクラスタから出発して，それらを凝集もしくは分割していき，階層を生成することが考えられる。また，これに関係して，適切な（初期）クラス夕数をどのように自動に決めるかという課題も残されている. さらに，検索支援の観点からは，生成されたクラスタの内容が何かを示すことも重要であり, そのためのラべル付けや説明文の生成なども興味深い課題である.

## 参考文献

江口浩二, 伊藤秀隆, 隈元昭, 金田彌吉 (1999). 漸次的に拡張されたクエリを用いた適応的文書クラスタリング法電子情報通信学会論文誌, J82-D-I (1), pp. 140-149.

Ferragina, P. and Gulli, A. (2005). "A Personalized Search Engine Based on Web-Snippet Hierarchical Clustering." In Proceedings of the 14th International World Wide Web Conference ( $\left.W W W^{\prime} 05\right)$, pp. 801-810.

Fung, B., Wang, K., and Ester, M. (2003). "Hierarchical Document Clustering Using Frequent Itemsets." In Proceedings of the 2003 SIAM International Conference on Data Mining, pp. 59-70.

Gelgi, F., Davulcu, F., and Vadrevu, S. (2007). "Term Ranking for Clustering Web Search Results." In Proceedings of the 10th International Workshop on Web and Databases (WebDB

2007).

Hearst, M. and Pedersen, J. (1996). "Reexamining the Cluster Hypothesus: Scatter/Gather on Retrieval Results." In Proceedings of the 19th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'96), pp. 76-84.

Jansen, B. and Spink, A. (2003). "An Analysis of Web Documents Retrieved and Viewed." In Proceedings of the 4th International Conference on Internet Computing, pp. 65-69.

岸田和明 (2003). 文書クラスタリングの技法 : 文献レビュー. Library and Information Science, 49, pp. 33-75.

成田宏和, 太田学, 片山薫, 石川博 (2003). Web 文書の非排他的クラスタリング手法及びその評価手法. データベースと Web 情報システムに関するシンポジウム (DBWeb2003) 論文集, pp. 85-92.

大野成義, 渡辺匡, 片山薫, 石川博, 太田学 (2006). MaxFlow アルゴリズムを用いた Webページのクラスタリング方法とその評価. 情報処理学会論文誌: データベース, 47 (SIG4(TOD29)), pp. 65-75.

折原大, 内海彰 (2008). HTML タグを用いた Web ページのクラスタリング手法. 情報処理学会論文誌, 49 (8), pp. 2910-2921.

Osiński, S. and Weiss, D. (2005). "A concept-driven algorithm for clustering search results" IEEE Intelligent Systems, 20 (3), pp. 48-54.

Wang, Y. and Kitsuregawa, M. (2002). "Evaluating Contents-link Coupled Web Page Clustering for Web Search Results." In Proceedings of the 11th ACM International Conference on Information and Knowledge Management (CIKM'02), pp. 499-506.

Zamir, O. and Etzioni, O. (1998). "Web Cocument Clustering: A Feasibility Demonstration." In Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'98), pp. 46-54.

Zeng, H., He, Q., Chen, Z., Ma, W., and Ma, J. (2004). "Learning to Cluster Web Search Results." In Proceedings of the 27th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'04), pp. 210-217.

平尾一樹, 竹内孔一 (2006). 複合名詞に着目した Web 検索結果のクラスタリング. 情報処理学会研究報告, 2006-NL-175, pp. 35-42.

## 略歴

仁科朋也：2008 年電気通信大学電気通信学部システム工学科卒業. 2010 年同大学院電気通信学研究科システム工学専攻博士前期課程修了. 在学中は自然言語処理の研究に従事.
内海彰：1988 年東京大学工学部反応化学科卒業. 1993 年東京大学大学院工学系研究科情報工学専攻博士課程修了. 博士 (工学). 東京工業大学大学院総合理工学研究科システム科学専攻助手, 同研究科知能システム科学専攻専任講師を経て，2000 年から電気通信大学電気通信学部システム工学科助教授，2010 年より同大学院情報理工学研究科総合情報学専攻准教授となり, 現在に至る。言語を中心とした認知科学, 認知修辞学, 言語情報処理の研究に従事. 日本認知科学会, 情報処理学会, 言語処理学会, 人工知能学会, Cognitive Science Society 等各会員.

$(2009$ 年 9 月 3 日 $\quad$ 受付 $)$
$(2010$ 年 1 月 17 日 $\quad$ 再受付 $)$
$(2010$ 年 2 月 9 日 $\quad$ 採録 $)$

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# タグ信頼度に基づく半自動自己更新型固有表現抽出
## 齋藤 邦子†・今村 賢治 $\dagger$

本稿では条件付確率場に基づく固有表現抽出において，新たなドメインにモデルを適応するためのモデル学習コスト一正解データ作成コスト一を低減する 2 つの学習手法を提案する，本手法では，夕グ単位の事後確率をタグ信頼度とみなし，信頼度の低いタグをシステムの解析誤りとして自動的に検出する。そして検出された解析誤りタグのみを修正の対象とするため, 文全体の事後確率を利用する場合と比較して，修正が必要である箇所に効率よくコストを注力させることが可能となる.

第 1 の学習手法として, 能動学習に本手法を適用すると, システム出力の信頼度が低いタグのみを検出して人手修正対象とすることにより, 従来手法と比較して修正コストが $1 / 3$ に低減した。

また，第 2 の学習手法として正解固有表現リストを利用したブートストラップ型学習に適用すると, 解析誤りとして検出されたタグの上位候補から半自動的に正解夕グを発見可能であった。この学習法では，大量のプレーンテキストから，半自動で正解データを作成できるため，更に学習コストを低減させる効果がある.

キーワード：固有表現抽出, 信頼度, 事後確率, 能動学習, ブートストラップ, 学習コスト

## Tag Confidence Measure for Semi-Automatically Updating Named Entity Recognition

\author{
Kuniko Saito ${ }^{\dagger}$ and Kenji Imamura ${ }^{\dagger}$
}

\begin{abstract}
We present two techniques to reduce machine learning cost, i.e., cost of manually annotating unlabeled data, for adapting existing CRF-based named entity recognition (NER) systems to new texts or domains. We introduce the tag posterior probability as the tag confidence measure of an individual NE tag determined by the base model. Dubious tags are automatically detected as recognition errors, and regarded as targets of manual correction. Compared to entire sentence posterior probability, tag posterior probability has the advantage of minimizing system cost by focusing on those parts of the sentence that require manual correction. Using the tag confidence measure, the first technique, known as active learning, asks the editor to assign correct NE tags only to those parts that the base model could not assign tags confidently. Active learning reduces the learning cost by $66 \%$, compared to the conventional method. As the second technique, we propose bootstrapping NER, which semi-automatically corrects dubious tags and updates its model.
\end{abstract}

Key Words: Named entity recognition, Confidence measure, Posterior probability, Active learning, Bootstrap, Learning cost

## 1 はじめに

近年, 様々な言語処理タスクにおいて, 大量の正解データから学習した統計的言語モデルを解析に用いる教師あり機械学習のアプローチが広く普及している。このアプローチでは, 言語の文法的な知識を統計的な特徴量として捉えることができ, 形態素解析や固有表現抽出, 機械翻訳などの自然言語処理で広く活用されている。本稿では固有表現抽出タスクに焦点をあてる.

固有表現抽出は, 形態素解析済みの各単語に対して, 「どの種類の固有表現か」というタグを付与することにより実現されている。近年では，条件付確率場 (Conditional Random Fields; CRF) (Lafferty, McCallum, and Pereira 2001; Suzuki, McDermott, and Isozaki 2006)に基づく系列ラベリングが好成績を収めている。しかし, これらの教師あり機械学習に基づく言語処理では， モデルを学習するための正解データを構築するコストが極めて高いことが常に課題となっている.

一方, 情報検索や情報抽出の分野では, 近年ブログなどの Consumer Generated Media (CGM) を対象とした研究も多くなってきている．CGM は，テキストそのものが日々変化してゆくため, 新しい語や話題が常に出現するという特徴がある. このような日々変化するテキストにモデルを適応させる確実な方法は, 正解の追加データを作成することである. しかし, 人手コスト問題のため, 迅速に対応させるのは困難であった.

これらの人手コストを削減するための従来研究として, 能動学習 (Shen, Zhang, Su, Zhou, and Tan 2004; Laws and Schütze 2008), 半教師あり機械学習 (Suzuki and Isozaki 2008), ブートストラップ型学習 (Etzioni, Cafarella, Downey, Popescu, Shaked, Soderland, Weld, and Yates 2005) などが提案されてきた。能動学習は, 膨大なプレーンテキスト集から学習効果の高いデータを取捨選択し, 正解は選択されたデータのみに対して人手で付与する手法であり, 人手コストを効果的に集中させることに着眼している. そのため, 能動学習では学習効果の高いデータ（文） を選択するという, データセレクションが最も重要なポイントとなる 1. ここでのデータセレクションの単位は常に文である.

一方, もしシステムの解析結果をそのまま正解データとして利用できれば，人手コストは大幅に削減可能である. しかし, 現実には解析結果には解析誤りが存在するため, その解析誤りを一つ一つ人手で確認修正する作業が必要である。データセレクションの単位が文である限り, どこに解析誤りが存在するか明白ではないため, 全ての夕グをチェックする必要がある。しかし, 実際には大部分の夕グが正解であることが多いため, 文全体の全ての夕グを確認するコストは無駄が多い.

本稿では, タグ単位の事後確率に基づいて算出したタグ信頼度を導入する。この手法では,文単位の信頼度ではなく, 各単語に付与されうる全てのタグについてのタグ信頼度を計算する。 そしてタグ信頼度に基づいて解析誤りタグを自動的に検出する。自動的に検出された解析誤り箇所だけを人手チェック・修正の対象とすれば，能動学習の学習効率は更に高まる.

更に，もし検出された解析誤りを自動的に正解に修正できれば，更に学習コストを削減できる。本稿では，シードとなる正解固有表現リストを利用してブートストラップ的に正解データを収集する半自動自己更新型固有表現抽出を提案する。この手法では，予め人手でシードを準備するだけで，膨大なテキストからシードに存在する固有表現を含む正解データ2を自動的に収集し，モデル更新をすることが可能となる。

本稿で提案する 2 つの学習手法の模式図を図 1 に示す. タグ信頼度に基づいて大規模平文データからシステム解析誤りを自動検出し, 誤りタグの有無でデータセレクションを実施する。誤りタグを人手で修正する能動学習（4 章）と, 半自動で修正する自己更新型固有表現抽出 UpdateNER（5 章）を本稿では提案する.

以下，第 2 章では固有表現抽出タスクについて述べ，第 3 章では，今回提案する夕グ信頼度について説明する。第 4 章では，夕グ信頼度を能動学習に適応したときの効果を示し, 第 5 章では半自動自己更新型固有表現抽出について説明する，第 6 章で関連研究について述べ，第 7 章でまとめる.

図 1 本稿で提案する学習手法の模式図

## 2 固有表現抽出

固有表現抽出とは，テキストに含まれる人名, 地名, 組織名などの固有表現を抽出する夕スクである。本稿では，表 1 に示すとおり, IREX (IREX Committee 1999) で定義される 8 種の固有表現を抽出対象とし, IOB2 方式 (Sang and Veenstra 1999)に基づいて 17 種類のタグを使用する。

例えば，“東京/都/に”という文は次のようにタグ付けされる：

$
\text { “東京/B-<LOC }>\text { 都 } / \mathrm{I}-<\mathrm{LOC}>\text { に/O" }
$

このタスクは単語列 $W=w_{1} \ldots w_{n}$ に対して固有表現の種類を表す固有表現タグ列 $T=t_{1} \ldots t_{n}$ を付与する系列ラベリング問題として考えることができる。近年, 系列ラベリング問題では CRF(Lafferty et al. 2001; Suzuki et al. 2006)などの識別モデルが成功を収めている. 本稿では linear-chain CRF を利用し, 固有表現タグ列の事後確率を以下の式で算出する.

$
\begin{aligned}
P(T \mid W) & =\frac{1}{Z(W)} \exp \left.\{\sum_{i=1}^{n}\left(\sum_{a} \lambda_{a} \cdot f_{a}\left(t_{i}, w_{i}\right)+\sum_{b} \lambda_{b} \cdot f_{b}\left(t_{i-1}, t_{i}\right)\right)\right.\} \\
Z(W) & =\sum_{T} \exp \left.\{\sum_{i=1}^{n}\left(\sum_{a} \lambda_{a} \cdot f_{a}\left(t_{i}, w_{i}\right)+\sum_{b} \lambda_{b} \cdot f_{b}\left(t_{i-1}, t_{i}\right)\right)\right.\}
\end{aligned}
$

$w_{i}$ と $t_{i}$ は位置 $i$ に置ける単語（周辺単語を含む）と固有表現タグ， $f_{a}\left(t_{i}, w_{i}\right), f_{b}\left(t_{i-1}, t_{i}\right)$ は当該単語及び固有表現夕グがある条件を満たす時に 1 となる素性関数 3 である。 $\lambda_{a}, \lambda_{b}$ は素性関数の重みであり, 正解データから推定される。 $Z(W)$ は正規化項である. (1) 式を最大化するタグ列が最尤タグ列であり, Viterbi アルゴリズムを利用して求められる.

表 1 固有表現タイプとタグ

3 本稿では素性として, window サイズ 5 単語での表記と品詞に関する $\mathrm{n}$ グラム $(\mathrm{n}=1,2,3)$ と, 固有表現タグの 2 グラムを利用する。

## 3 タグ信頼度に基づく解析誤り検出

## 3.1 タグ事後確率

(1) 式から, 文全体の事後確率を夕グ列全体の信頼度として利用することは自然であり, 従来の能動学習では, 通常, 文全体の事後確率からデー夕選択のための信頼度を算出していた. 本稿では，文ではなくタグ単位の事後確率に着目し，この値をタグ自体の信頼度とみなす。そしてタグ信頼度の値を利用して解析誤りである夕グを自動的に判定する.

図 2 は夕グ信頼度計算の模式図である。単語 $w_{i}$ の夕グ候補 $t_{i, j}$ についての信頼度は, 次式のように計算される。

$
P\left(t_{i, j} \mid W\right)=\sum_{T} P\left(t_{i, j}, T \mid W\right)
$

ここで $\sum_{T} P\left(t_{i, j}, T \mid W\right)$ は夕グ候補 $t_{i, j}$ を通る全ての夕グ列の事後確率を総和したものであり, 周辺確率 (marginal probability) とも呼ばれる。なお， $j=1, \ldots, k$ は表 1 に示す固有表現タグの全種類に対応するものであり，本稿では $k=17$ である．夕グ候補の信頼度は，前向きおよび後向きアルゴリズム (Manning and Schütze 1999) により以下のように効率的に算出することができる.

$
P\left(t_{i, j} \mid W\right)=\frac{1}{Z(W)} \alpha_{i, j} \cdot \beta_{i, j}
$

ここで

$
\begin{aligned}
& \alpha_{i, j}=\sum_{k}\left.\{\alpha_{i-1, k} \cdot \exp \left(\sum_{a} \lambda_{a} \cdot f_{a}\left(t_{i}, w_{i}\right)+\sum_{b} \lambda_{b} \cdot f_{b}\left(t_{i-1}, t_{i}\right)\right)\right.\} \\
& \beta_{i, j}=\sum_{k}\left.\{\beta_{i+1, k} \cdot \exp \left(\sum_{a} \lambda_{a} \cdot f_{a}\left(t_{i+1}, w_{i+1}\right)+\sum_{b} \lambda_{b} \cdot f_{b}\left(t_{i}, t_{i+1}\right)\right)\right.\}
\end{aligned}
$

図 2 夕グ信頼度計算の模式図

$
\begin{array}{r}
\alpha_{0, j}=1 \\
\beta_{n+1, j}=1
\end{array}
$

以上のようにして, 文中の各単語に付与されうる全ての夕グに関して信頼度が得られる.

## 3.2 リジェクター

リジェクターは, タグ信頼度を参照し, システム出力の解析誤りを自動で検出する。各単語において，デコーダが出力した最尤タグ $t_{d}$ と信頼度 1 位夕グ $t_{1}$ を参照し, 以下のような手順で各固有表現タグが正解か不正解かを判定する。なお, 最尤タグ $t_{d}$ は, (1) 式を最大化するタグであり，信頼度 1 位タグ $t_{1}$ は $(3)$ 式を最大化するタグである.

[1] 最尤夕グ $t_{d}$ が信頼度 1 位夕グ $t_{1}$ と不一致ならば，最尤タグ $t_{d}$ を解析誤りとしてリジェクトする 4

[2] [1] でアクセプトされた場合, 信頼度 1 位夕グ $t_{1}$ の信頼度 $c s_{1}$ が閾値 $\theta$ 以下ならば最尤夕グ $t_{d}$ を解析誤りとしてリジェクトする

[3] それ以外であれば最尤夕グ $t_{d}$ を正解としてアクセプトする

閾値が高ければリジェクトされるタグ数が増え，人手のチェック・修正コストが増加する。実際の運用では, 開発データにてリジェクト・アクセプトの判定誤り率が最小となるような閾値を設定すればよい。このようにして，夕グ信頼度を利用することにより，夕グを単位として解析誤りを検出することが可能となる.

## 4 能動学習

タグ単位での誤り検出は能動学習のデータセレクションに有効である。もし, 文中にリジェクトタグが 1 つでも含まれれば，その文は, 現在のモデル（ベースモデル）が確信を持って解析できない，何か新しい事象が存在していることを意味する。すなわち，このような文を優先的にモデル学習の対象とすることで高い学習効果を期待できる。 そこでここでの能動学習では,文中にリジェクトタグを含むか否かに基づいたデータセレクションを採用する．また，選別された文について, 全ての夕グを人手でチェック・修正する必要は無く, リジェクトされたタグのみを対象としてチェック・修正すればよい，図 3 は本稿で提案する能動学習のスキームを示したものである. 固有表現抽出デコーダでは, 初期正解データから学習したベースモデルに基づいて最尤タグが出力される。続いて 3 章で示した手順で最尤タグの解析誤りを検出する. このステップでは，同じベースモデルを利用してタグ信頼度を計算し，その結果を参照してリジェ
$ は稀に信頼度 1 位タグ $t_{1}$ と一致しない. これは $\mathrm{CRF}$ の特徴に由来する.
}

クターで誤り検出を実行する。データセレクションにて少なくとも 1 つ以上のリジェクトタグを含む文のみを選別し，検出された誤りタグ（リジェクトタグ）のみを人手でチェック・修正する。最終的に，人手修正済みデータを初期正解データに追加し，モデルを再学習して更新する.

## 4.1 評価実験

今回，本稿で提案する能動学習の効果を学習コストの面から評価した，実験用にブログデー 夕（45,694 文）を Web から収集し, 表 2 に示すとおり 4 つのセグメントに分割した. 全データに対して予め人手で正解となる固有表現夕グを付与したが，追加平文データに関しては，これらの正解タグは隠しておき，プレーンテキストとして扱う。そして人手修正を模する際にこの正解タグの情報を利用する。開発データは 3.2 節で述べたリジェクター判定に利用する間値を最適化する際に利用した。

学習コストは人手でタグをチェック・修正した単語の割合 (WCR: Word Check Rate) とみなした．WCR は，追加平文データに含まれる総単語数に対するチェックされた単語数の割合で

図 3 提案する能動学習スキーム

表 2 能動学習でのデータ構成

あり, 次式で表される.

$
W C R=\text { チェックした単語数/総単語数 }
$

本方式は, リジェクターの閥值に依存して, 検出されるリジェクトタグ数が変化するため,間値を 0.1 から 1.0 の範囲で 0.1 ずつ段階的に変更し, リジェクトタグを含む文のみをデータセレクションで選別して，誤り検出済みデータとした。それぞれの閾値で得られた誤り検出済みデータのうち, リジェクトタグだけを予め付与していた正解タグと変換した。この手順は，人手修正を模したものである. 修正後のデータを初期正解データに追加し, ベースモデルを再学習する。

この能動学習と比較するため, タグ単位ではなく文単位の信頼度に基づくデータセレクションによる能動学習と比較した. 文全体の事後確率を信頼度とみなし, 低信頼度の文を優先的に選択する能動学習である。本稿で提案するタグ単位の信頼度に基づく能動学習と異なり, 文単位の信頼度の能動学習では, 選択された文は全ての単語について夕グのチェックが必要であるとみなされる。

以上, 2 つ能動学習について, 再学習したモデルの精度と学習コスト (WCR) の関係を評価した。モデルの精度は評価データにおける $\mathrm{F}$ 值を利用した。

$
F=\frac{2 \times \text { recall } \times \text { precision }}{\text { recall }+ \text { precision }}
$

## 4.2 結果と考察

## 4.2.1 学習曲線と精度 :

図 4 に提案手法でのタグ単位のデータセレクションによる能動学習と, 文単位のデータセレクションによる能動学習での学習曲線を示す. 再学習後のモデルの精度が $\mathrm{F}$ 値で 0.76 となるために, 文単位での能動学習では全データの $60 \%$ 手でチェックするコストが必要だが, タグ単位での能動学習では，わずか $20 \%$ で済む。言い換えると，夕グ単位の能動学習は従来の文単位の能動学習と比較して学習コストを $1 / 3$ に低減したことを意味する.

また, 図 4 に, 追加平文データのタグをまったく修正しないで, モデルを再学習して測定した精度も併せて示す. ベースモデルでは $\mathrm{F}$ 值 0.612 であったものが，夕グ修正なしの追加平文データをすべて加えた場合は $\mathrm{F}$ 値 0.602 に若干低下した. タグ修正なしデータには誤りタグが多く残存しており，そのため $\mathrm{F}$ 值が低下したと考えられる。このように，ベースモデルによるデコード結果を単純に加えただけでは，学習デー夕量が増えても精度向上には寄与せず，悪化する場合もある。

## 4.2.2 タグ修正内容の分析 :

更に夕グ単位の能動学習の効果を調べるために，リジェクトタグに対して実施されたタグ修正の内容を以下の 4 タイプに分類して内訳を分析した.
- No Change: リジェクトタグが修正不要

・ OtoBI: リジェクトタグが O タグであり, B-又は I-夕グに置換
- BItoO: リジェクトタグがB-又は I-夕グであり，O夕グに置換
- BItoBI: リジェクトタグが B-又は I-夕グであり, 別の B-又は I-夕グに置換

表 3 はリジェクター閥値が 0.5 の時のリジェクトタグについて, 上記 4 タイプの分類の分布を示している.この閾値は開発データで, リジェクターの判定誤り率が最低となる值である.

表からわかるとおり，No Change タイプの割合が最も多い.これはリジェクターが本来修正の必要の無い夕グまで過剰にリジェクトしていることを意味する。この結果は, 更新するモデルの精度そのものには悪影響を及ぼさないが，学習コストの面では無駄が含まれていることを示している.

追加平文データのWord Check Rate

図 4 能動学習の学習曲線

表 3 リジェクトタグの置換タイプ分布

続いて OtoBI タイプが 2 番目に割合が多く, 全体の $1 / 3$ を占める. 実質的な変化のなかった No Change タイプを除き，何かしらの修正が加わった 3 つのタイプ (OtoBI, BItoO, BItoBI) だけを考慮すると，OtoBI タイプは全修正の約 $60 \%$ 占める。つまり, ベースモデルでは固有表現として認識できなかったものが, 固有表現に修正されたケースが最も多い。このことは,誤り検出済みデータ中には，初期正解デー夕にはない，新しい固有表現が多く含まれていることを示唆している。

## 5 ブートストラップ型固有表現抽出

4 章で述べた通り, 実際の修正では約 $60 \%$ が O タグを B-または I-夕グに変更する必要がある. この事実は固有表現抽出タスクの特徴に由来するものと推察される。つまり, 固有表現抽出夕スクでは，全コーパスの殆どは $\mathrm{O}$ タグで占められている．実際，4章で我々が整備した追加平文データにおいても， $91 \%$ が O夕グであった。そのため固有表現の新語が文中に出現すると， ベースモデルでは O タグが付与されてしまうことが多い.

このように O夕グが支配的であるという傾向があるならば，O夕グではない B- または I-夕グの候補の可能性を考慮することが必要である，即ち，O夕グがリジェクトされたときに，次に信頼度の高いタグは何かを調べることは意味があると考えられる。

そこで, 閾値 0.5 の時の夕グ信頼度が上位 2 位までの夕グについて, その精度を分析したものを表 4 に示す。信頼度 1 位のタグ（1 位タグ）がアクセプトとされた時, その精度は $94 \%$ と高い。一方， 1 位タグがリジェクトされた時， 1 位夕グの精度はわずか $43 \%$ であった. しかし，信頼度 2 位の夕グ（2 位タグ）の精度は $29 \%$ であり， 1 位夕グと 2 位夕グをどちらも考慮すると, いずれかに正解夕グが存在する可能性が $72 \%$ まで高まる。このことから，上位 2 位の夕グまでを考慮することにより, システム出力のリジェクト箇所を自動的に修正できる可能性があることがわかる.

図 5 に, 閥值 0.5 で 1 位夕グがリジェクトされる場合は 2 位夕グまで考慮するときの夕グの状況を示す. 以後, 本稿ではこのラティス構造をタググラフと呼ぶ. “3丁目の夕日”という映画タイトル（固有物名 ART）を 1 位タグだけでは正しく固有表現として認識できていない. し

表 4 上位 2 位の夕グ精度

図 5 タググラフ

かし，2 位タグまで考慮すると，正しい夕グ列が存在していることがわかる．もしこの正解のタグ列を自動的にシステムが発見できれば，この正しいタグ列情報を人手修正した正解データと同等のものとして利用できる.

## 5.1 半自動自己更新型固有表現抽出

以上の考察をふまえ, 新しい学習スキームである半自動自己更新型固有表現抽出 (UpdateNER) を提案する。これは, 予め用意する固有表現リストをシードとし, そのシードを利用してタググラフから正解のタグ列を発見する方式であり， シードを利用して新しいインスタンスを取得するブートストラップ型の学習に類似している。図 6 に UpdateNER の概要を示す. リジェクターでは, タグ信頼度に基づいてリジェクト／アクセプト判定をした後, 適宜 2 位までのタグを考慮したタググラフを出力する。ここでリジェクターは 4 章で述べた処理手続きを以下のように変更して動作する。

[1] 1 位夕グの信頼度スコア $c s_{1}$ が閾値以上であれば， 1 位タグ $t_{1}$ のみをアクセプトする．それ以外は $[2]$ の処理へ進む

[2] $\quad c s_{1}$ が閾値より小さければ， 1 位タグ $t_{1}$ と更に 2 位タグ $t_{2}$ をアクセプトする

後続のデータセレクションでは，2 位までのタグ候補を有するタググラフ構造を持つ文を抽出する。そして，コンテキスト抽出にて以下の手順で正解タグ列が存在するかを調べ，該当するタグ列が存在すればそのタグ列を抽出する。

[1] タググラフ内で最長となる固有表現が成立する夕グ列を選択する

[2] 該固有表現が別途準備するシードリストである固有表現リストに存在していれば文全体のタグ列を正解タグ列として抽出する

図 6 UpdateNER の概要

ステップ [1] では，夕ググラフの中から最も有望と思われるタグ列を選ぶことを意図して, 最長となる固有表現が成立するルートを選択する。例えば, 図 5 で示すタググラフの場合, “ 3 ”, “丁目”, “の”, “夕日”の 4 単語が 2 位夕グまでの候補を有しているため, 16 通りの夕グ列が存在する。例えば, “B I I I", “B I I O”, “B I O O", “O O O I", “O O O O”などである。しかし, ここでは “B I I I”の夕グ列で最長の固有表現（“3丁目の夕日”で固有物名 ART）が構成できるため, このタグ列を選択する。他の部分文字列からなる固有表現, 例えば, “ 3 ”, “ 3 丁目”,“3丁目の”でいずれも固有物名 ART となるような夕グ列は全て無視される.

ステップ [2]では, ステップ [1] で選択した有望なタグ列が本当に正解であるとみなしてよいかを判定する。夕グ列の確からしさを判定するための手がかりが必要となるので，ここではシー ドとなる固有表現リストを準備し, 表記と対応する固有表現タイプを記載しておく。このリストは，人手で必要な固有表現を登録しても良いし，辞書のような外部 DBを利用して自動的に構築しても良い.もし同じ固有表現がステップ [1] で選択されたタグ列および固有表現リストに存在していれば，このタグ列は正解であると判断されて正解データとして抽出される。そして，このようにして抽出されたデータを初期正解データに追加し，モデルを再学習する。

以上のように UpdateNER では, シードを与えるだけで学習データの収集・構築を実行できるため, 日々増大する固有表現にモデルを追随させることが可能となる枠組みを備えている.

## 5.2 評価実験

UpdateNER で 1 週間分のブログテキストからどの程度効果的にモデル更新ができるか評価した. 表 5 に実験でのデータ内訳を示す。モデルの性能評価を行う評価データは 2006 年 12 月のブログを利用する。また，べースモデルの学習に利用する初期正解データは評価デー夕より半年以上古いものである。そのため, 評価データにはベースモデルでは未知の固有表現が存在することが予想される。評価データと同時期の 2006 年 12 月から 1 週間分のブログを収集して追加平文データとし，ここからシードを使ってブートストラップ的に正解データを収集する。なお，評価データのうち，追加平文データと重複するものは予め削除してある.

リジェクターの閥値を 0.5 に設定し，追加平文データから 2 位までのタググラフを含む文を選別した. シードとなる固有表現リストは日本語 Wikipediaのエントリから自動的に収集した. Wikipediaには, 世間で注目される人や固有物が次々とエントリに登場するため, 話題語や新語を獲得する上では貴重な言語資源であると言える。本実験では, Wikipediaの記事タイトルを表記とし, 固有表現タイプは各記事のカテゴリー情報から予め設定したルールにより自動的に推定した. 最終的に 104,296 エントリの固有表現リストを得た.

UpdateNER ではこのシードを利用して, ブログ記事からシードの固有表現を含む夕グ列を自動的に探索する。もし同じ固有表現を発見したら，そのタグ列を正解データとして抽出する. このようにして自動修正したデータを初期正解データに追加し, モデルの再学習を行う。なお, タググラフ探索時には，5.1節で述べた最長固有表現列を採用したが，異なるタイプの固有表現列に展開可能な場合は，複数の候補を別の文として扱い，追加データとした.

今回, 比較のために, シードそのものの効果を調査した。ここでは, シードと同じ単語列を文中に発見したら必ず固有表現と認識するような固有表現抽出システムを想定する。なお他の単語列の部分はベースモデルに基づいて確率的に固有表現を抽出する。このシステムは, ベー スモデルの他に，ユーザが固有表現として認識したいリストをユーザ辞書（シード）として装備したシステムと捉えることができるため, 以後, ユーザ辞書システム (user dic.) と呼ぶ.

更新後のモデルの精度を再現率 (rec.) と適合率 (prec.) で評価した.

表 5 UpdateNER 評価実験でのデータ内訳

## 5.3 結果

実験の結果，のべ 2,100 文が追加データとして抽出された。このデータのうち，6,125夕グが誤りと推定されたリジェクトタグで，その中で 2,038 個は信頼度 2 位の夕グが採用された. 夕ググラフ付きデータが 73,563 文あったことを考えると, 得られた文数は少ない.

表 6 に, 人名 $(\mathrm{PSN})$, 地名 (LOC), 組織名 (ORG), 固有物名 (ART) での解析精度について, ベースモデル，ユーザ辞書システム (user dic.), UpdateNER の結果をそれぞれ示す.

シードをユーザ辞書として扱う場合, 再現率は向上するが, 適合率は殆ど変化しないか, むしろ ART では 0.667 から 0.620 と低下している。これはユーザ辞書を単に追加するだけでは固有表現抽出システムの性能を向上するには十分ではないことを示唆している．ユーザ辞書の枠組みでは, 周囲のコンテキストを利用せず単に同一の単語列（表記）を発見すれば一意に固有表現と認定してしまうため，過剰に固有表現を抽出する危険があるからである.

一方, UpdateNER では再現率と適合率ともに向上している. 例えば, ART では再現率が 0.321 から 0.370 , 適合率が 0.667 から 0.698 へと向上している.この結果から, シードに存在する固有表現だけでなく, その固有表現の周囲の文全体の夕グ列の情報がモデルの再学習には必須であると解釈できる. UpdateNER では, シードの固有表現が出現する文全体での夕グ列, 即ち,固有表現とそのコンテキストのうち, 有望で確からしいものを自動的に発見して抽出すると言う点で優れている。シードを準備するには多少の人手コストが必要ではあるが，そのコストは正解データそのものを作成するコストと比較すれば極めて小さい。そのため, この UpdateNER の学習スキームは, 実際に固有表現抽出システムを運用する場面においては学習コストを抑える 1 つの有望な手法であると考える.

表 6 で示す通り，ユーザ辞書システムも UpdateNER も ORGに対しては効果が見られなかった.これはシードに含まれる固有表現の分布によるものと考えられる. Wikipedia から自動作成したシードでは, PSNの固有表現が $74 \%$ と最も多かった。一方 ORG はわずか $11 \%$ しか存在せず，UpdateNER では ORG についての正解データを抽出する機会が十分になかったものと考えられる。また, 同じ表記でも ORG と PSN の曖昧性が生じるケースはもともと多いため,

表 6 解析精度

PSN が支配的なシードを利用した UpdateNER では ORG をPSN に過剰に学習してしまっている可能性もある。今後, シードの分布とその学習効果への影響は検討を進めたい.

なお, UpdateNER では, 初期正解データへの追加データには誤りが含まれる可能性があることを指摘しておく，実験では，追加したデータにどの程度の誤りが含まれていたかは調査できていない，ただし，第 4 章の実験では誤りタグを含むデータを追加して再学習することは精度を若干低下させることが示されていることと，本実験において精度の低下があまり見られないことを考え合わせると，本手法で追加するデータには， モデルの性能に悪影響を与えるような誤りはほとんど含まれないと推察される.

## 5.4 考察

従来の機械学習の手法と比較して, UpdateNER の一番の特徵は 1 位タグが信頼できない時に 2 位夕グまで考慮する点にある。これにより特に固有表現抽出タスクのようにベースモデルでは O夕グであると認識されたとき，次点の候補が何であるかを考慮することが可能となった。

しかし UpdateNER には，2つの大きな制約がある。1つは 2 位夕グまでに正解が存在しなければ自動的に正解データとして抽出することができない，という点である。もう1つはその固有表現がシードにも存在していなければならない，という点である。これらの 2 つ制約があるため, UpdateNER が自動的に収集・修正できる正解データの範囲は狭いと考えられる。

この弱点を克服するには，実運用にて UpdateNER とタグ単位でのデータセレクションによる能動学習を組み合わせる手法が有望であると考えている。能動学習の場合, 2 位までに正解が存在しなければならないという制約はないため, 単純に解析誤りを人手で優先的に修正して学習対象とすることが可能である．即ち，能動学習ではべースモデルが解析誤りをするデー夕全般を学習対象とすることとなり, その学習範囲は UpdateNER よりも広い. そのため, 能動学習ではベースモデルの精度を底上げするような学習に向いていると考えられる。一方, UpdateNER は日々増大する膨大なテキストから半自動で正解デー夕を収集できるという利点があり，新語への追随学習には向いていると言える。そこで, 例えば, 短期的には UpdateNER で毎週モデルの新語追随学習を実行し, 中期的には 1 カ月或いは半年といった間隔で能動学習を行ってべー スモデルの底上げをする, というような運用形態が考えられる，今後，実際のシステム運用上での本手法の効果について，評価を実施したい.

## 6 関連研究

能動学習は固有表現抽出タスクへの適応 (Shen et al. 2004; Laws and Schütze 2008)に限らず,様々な自然言語処理夕スクへの適応が研究されており, 品詞夕グ付け (Argamon-Engelson and Dagan 1999), テキスト分類 (Lewis and Catlett 1994), 構文解析 (Hwa 2000), 単語選択での曖
昧性解消 (Banko and Brill 2001) など数多くの関連研究がある.いずれの場合も信頼度や情報量といった何かしらの指標に基づいて学習効果の高いデー夕を選択することが重要であり, その指標の算出やデータセレクションの単位は基本的に文, もしくは一定の語数以上の単語列であった，今回我々が提案する能動学習では，モデル出力の信頼度を指標とするが，その算出単位は文単位ではなく，夕グ単位である点が従来研究とは異なる。更にデータセレクションも文単位ではなく，夕グ単位でリジェクト／アクセプトを決定し，リジェクトタグのみを修正箇所対象として絞っているため, 更なる学習コストの削減に繋がった. なお, (Tomanek and Hahn 2009) では, 本稿と同様にタグ単位の信頼度に基づいた能動学習を英語の固有表現抽出タスクで評価しており，本稿と同程度のコスト削減効果を報告している，今回，我々は更に夕グ単位の信頼度を利用して半自動で誤り修正を行う UpdateNER の提案および評価を実施した点が新しい.

一方，特に機械学習の分野において，正解データだけでなく膨大な量のプレーンテキストを利用する半教師あり学習の研究も進められている。自然言語処理タスクでは, 語義曖昧性解消 (Yarowsky 1995)，テキスト分類 (Fujino, Ueda, and Saito 2008), チャンキング・固有表現抽出 (Suzuki and Isozaki 2008) などへも適応されている. 特に近年は, Giga Word 単位のプレーンテキストも入手可能になってきたため, このデータを正解データと組み合わせてモデル学習することにより従来技術の性能限界を超える可能性が示唆されている。ただし，今回我々がター ゲットとしているのは, 日々語彙や話題の変化が激しいブログなどの CGM ドメインにおいて, モデルを低コストで再学習するタスクであり，このような状況を反映するような Giga Word 単位のプレーンテキストを入手するのは困難であると考えられる。そのため，膨大な量のプレー ンテキストを利用する半教師あり学習をそのまま適応することは現実的ではない.

プレーンテキストを利用するという点で半教師あり学習と類似する手法にブートストラップ学習の研究がある (Etzioni et al. 2005; Pantel and Pennacchiotti 2006). これは, 少量のシードを準備して，シードと同じカテゴリに属する新しいインスタンスをプレーンテキストから自動獲得する学習法である。本稿の UpdateNER はシードを準備するだけで，データセレクションとその修正・抽出までを自動的に実行するブートストラップ学習とみなすことができる。しかし，従来のブートストラップは新しいインスタンスを獲得して辞書（シソーラス）を構築することを目的としているのに対し, 本手法では, 固有表現単体ではなく, 固有表現を含む夕グ列,即ちコンテキスト全体を獲得している点が異なる。モデルの再学習のためには固有表現辞書たけではなく, 固有表現を含むコンテキストそのものが必要である. UpdateNER ではブートストラップ学習を適用して最終的には教師あり学習の枠組みでモデル更新を実現するという点が新しい.この学習コストはシードを準備する部分のみのため, 能動学習と比較しても極めて低く抑えられるという利点もあり，本手法は有効である.

## 7 おわりに

本稿では，夕グ単位の事後確率から算出したタグ信頼度を利用してモデルの学習コストを削減する 2 つの手法を提案した. 本手法では夕グ信頼度から解析誤りタグを自動的に判定することが可能である。そしてタグ単位でデータセレクションを行うことでベースモデルが学習対象とすべき箇所を効果的に発見でき，かつ，人手のコストを解析誤り箇所のみに集中させることが可能となった.

まず始めに, 本手法を能動学習に適応して評価した結果, 従来の文単位でデータセレクション・修正する能動学習と比較して，学習コストを $1 / 3$ まで低減できた，能動学習はべースモデルが解析誤りするデー夕全般を学習対象とできるため, モデル全体の精度向上を狙った学習に効果があると考えられる。

次に，本手法を利用して半自動自己更新型固有表現抽出 (UpdateNER)を提案した。この手法はシードと 2 位までの夕グ候補を利用してブートストラップ的に正解データを自動生成するものである。この手法では，予めシードを準備するだけで膨大なテキストから正解デー夕を自動的に収集・構築することが可能となった。この学習では，日々増大する膨大なテキストを利用してモデルを新語追随させることを狙った学習に効果がある．能動学習と UpdateNER を組み合わせることでモデル更新の学習コストを抑えた固有表現抽出システムの運用が可能となる.

## 参考文献

Argamon-Engelson, S. and Dagan, I. (1999). "Committee-based sample selection for probabilistic classifiers." Journal of Artificial Intelligence Research, 11, pp. 335-360.

Banko, M. and Brill, E. (2001). "Scaling to Very Very Large Corpora for Natural Language Disambiguation." In Proceedings of 39th Annual Meeting of the Association for Computational Linguistics, pp. 26-33.

Etzioni, O., Cafarella, M., Downey, D., Popescu, A.-M., Shaked, T., Soderland, S., Weld, D. S., and Yates, A. (2005). "Unsupervised named-entity extraction from the web: an experimental study." Artificial Intelligence, 165 (1), pp. 91-134.

Fujino, A., Ueda, N., and Saito, K. (2008). "Semisupervised learning for a hybrid generative/discriminative classifier based on the maximum entropy principle." IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 30 (3), pp. 424-437.

Hwa, R. (2000). "Sample Selection for Statistical Grammar Induction." In Proceedings $5^{\text {th }}$ EMNLP/VLC, pp. 45-52.

IREX Committee (1999). "The IREX workshop." http://nlp.cs.nyu.edu/irex/.

Lafferty, J., McCallum, A., and Pereira, F. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the 18th International Conference on Machine Learning (ICML-2001), pp. 282-289.

Laws, F. and Schütze, H. (2008). "Stopping Criteria for Active Learning of Named Entity Recognition." In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 465-472, Manchester, UK. Coling 2008 Organizing Committee.

Lewis, D. D. and Catlett, J. (1994). "Heterogeneous Uncertainty Sampling for Supervised Learning." In In Proceedings of the Eleventh International Conference on Machine Learning, pp. 148-156. Morgan Kaufmann.

Manning, C. D. and Schütze, H. (1999). Foundations of Statistical Natural Language Processing. The MIT Press, Cambridge, Massachusetts.

Pantel, P. and Pennacchiotti, M. (2006). "Espresso: Leveraging Generic Patterns for Automatically Harvesting Semantic Relations." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 113-120, Sydney, Australia. Association for Computational Linguistics.

Sang, E. F. T. K. and Veenstra, J. (1999). "Representing Text Chunks." In Proceedings of the Ninth Conference of the European Chapter of the Association for Computational Linguistics (EACL'99), pp. 173-179, Bergen, Norway.

Shen, D., Zhang, J., Su, J., Zhou, G., and Tan, C.-L. (2004). "Multi-Criteria-based Active Learning for Named Entity Recognition." In Proceedings of the 42nd Meeting of the Association for Computational Linguistics (ACL'04), Main Volume, pp. 589-596, Barcelona, Spain.

Suzuki, J. and Isozaki, H. (2008). "Semi-Supervised Sequential Labeling and Segmentation Using Giga-Word Scale Unlabeled Data." In Proceedings of ACL-08: HLT, pp. 665-673, Columbus, Ohio. Association for Computational Linguistics.

Suzuki, J., McDermott, E., and Isozaki, H. (2006). "Training Conditional Random Fields with Multivariate Evaluation Measures." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 217-224, Sydney, Australia. Association for Computational Linguistics.

Tomanek, K. and Hahn, U. (2009). "Semi-Supervised Active Learning for Sequence Labeling." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1039-1047, Suntec, Singapore. Association for Computational Linguistics.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics

(ACL 1995), pp. 189-196.

## 略歴

齋藤邦子：1996 年東京大学理学部化学科卒業. 1998 年同大学院修士課程修了.同年日本電信電話株式会社入社. 現在, NTT サイバースペース研究所研究主任. 自然言語処理の研究 ・開発に従事. 言語処理学会, 情報処理学会, ACL 各会員.

今村賢治：1985 年千葉大学工学部電気工学科卒業. 博士 (工学). 同年日本電信電話株式会社入社. 2000 年 2006 年 ATR 音声言語コミュニケーション研究所. 2006 年より NTT サイバースペース研究所主任研究員. 現在に至る.主として自然言語処理の研究 - 開発に従事. 電子情報通信学会, 情報処理学会, ACL 各会員.

$(2009$ 年 9 月 24 日 $\quad$ 受付 $)$
$(2009$ 年 11 月 27 日 $\quad$ 再受付 $)$
$(2010$ 年 2 月 2 日 $\quad$ 再々受付 $)$
$(2010$ 年 2 月 6 日 $\quad$ 採録 $)$


# シソーラスを組み込んだ意味解析システム

国分 芳宏 $\dagger$. 梅北 浩二 ${ }^{\dagger}$ 松下 栄一 ${ }^{\dagger}$.末岡 隆史 $\dagger$

CGM（消費者生成メディア）が普及してきたため, そのための言語処理技術が必要 になってきた。このような文章データの自然文による検索や翻訳のために，解析精度の向上が求められている. 解析誤りの発生原因である, 用語の異なり, 構文構造 の異なりに対処できる処理方式を実現する。この両者への対策として，シソーラス を用いて用語間の意味的な距離を決定する方式を提案する。具体的には, 用語の標準化や係り受けの正規化をするシステムを実現し, さらに, 付属語を調べて, 省略さ れた主語を復元すること，「文節意図」を付与することを試みた。「Yahoo!知恵袋」の データを用いて解析実験をした結果, シソーラスを用いない場合に比較して約 $1 \%$ の 精度の向上がみられた。システムが用いている辞書の内容について概要を述べる。 キーワード：意味解析，シソーラス，意味的な距離, 用語の標準化, 文節意図, 良しあし
## A Semantic Analysis System of Japanese Assisted by a Thesaurus

\author{
Yoshiniro Kokubu $^{\dagger}$, Kouji Umekita $^{\dagger}$, Eirchi Matsushita ${ }^{\dagger}$ and Takashi Sueoka ${ }^{\dagger}$
}

Because Consumer Generated Media have spread, language processing technologies for that purpose are necessary. The improvement of parsing precision is demanded for both retrieval by a natural sentence and translation of such text data. We realize processing methods which can deal with analysis errors caused by fluctuating terms and ambiguous sentence structures. Specifically, we propose using a thesaurus to decide semantic distance between the terms. We have realized a system which standardizes the terms and normalizes the syntactic dependencies. Further, we examine the internal structure of predicates to recover omitted subjects and determine the "intention of a predicate". When we analyze texts of "Yahoo! Chiebukuro", the precision improves by about $1 \%$ compared with when the thesaurus is not used. We summarize the contents of the dictionaries our system uses.

Key Words: semantic analyzer of Japanese, Thesaurus, Semantic Distance, Term Standardization, intention of a predicate, Value Judgment of Proposition

## 1 はじめに

自然文検索や翻訳，レコメンデーションなどに使用可能な解析システムを実現した。 2000 年に (南 1974; 白井 1995) を参考にして文節に強さを決めて, 同じ強さの文節では, 連用

修飾格は直後の用言に，連体修飾格は直後の体言に係るという規則を用いて構文解析プログラムを開発した。しかし実際の構文構造は，文節を飛び越して係る場合が見受けられた。文法的な情報だけでは不十分だと考え，意味的な情報の導入を検討した結果，シソーラスを組み込んで用語同士の意味的な距離を測って，その距離によって係り先を決定する手法を開発した。

この解析システムを自然文検索に用いる場合，同じ内容のことを言っているのにいくつもの書き方が許されていることからしばしば検索漏れが発生する.この異形式同内容に対応するため, 用語の標準化, 係り受けの正規化を実現した. さらに，翻訳などで使用することを考えて，文節意図（4.1で述べる）を把握しやすくするために係り受けとそれに続く付属語の並びをまとめた形で管理した.

手作業で収集した辞書に手作業でいろいろな情報を付加して機能を実現するという方式で開発した。統計的な手法は用いていない.

文末に試用サイトの URL を示したので試用していたたききたい.

## 2 構文構造の決定

(白井 1995) では等しい階層的認識構造のあいだでは, 構文構造を文節の連体修飾格は体言に,連用修飾格は用言にそれぞれ最初の文節に係るというアルゴリズムで決定していた。しかし複数の受けの候補があるときに，文法情報だけでは正しく決定されないという問題がある。（藤尾 2000)では統計的な手法で決定しているが, 様々な分野に対して大量の解析済みのデータを準備するのは容易ではない．そこで筆者らはシソーラス（5.1で述べる）を用いて用語同士の意味的な距離を計算して，その距離の近いところに係るという方式を採用した。

## 2.1 意味的な距離によって構文構造を決定する

複数の受けの候補があるときに, 図 1 のように意味的な近さ（2.2で述べる）で直後の文節を飛び越して係ることがある.

「ネットで」という連用修飾格は,「行く」か「調べる」という用言に係る可能性がある。これまでは，直後にあるということで「行く」という文節に係るようになっていた．意味的な距離を測って比較すると次のようになる.

「車で行く場所を調べる」

図 1 連用修飾格での例

調べる

図 2 連体修飾格での例

図 3 並列構造の例 $<\mathrm{P}>$ は並列の意味である.

意味的な距離

ネットで一行く $\infty$

ネットで一調べる 1 (筆者らのシステムでの距離)

「ネットで」ー「調べる」の方が意味的な距離が近いので，「ネットで」という文節は「調べる」という文節に係るようにした。

## 連体修飾格での例

同様に連体修飾格でも意味的な距離で係り先を決める。

図 2 では,「おいしい」という形容詞が文法情報だけで評価すると「長野の」か,「リンゴを」 かどちらかの名詞の文節に係る可能性がある。同様に用語同士の意味的な距離を測って「リンゴを」という文節に係ける.

## 並列構造での例

(黒崎 1992) では，並列構造を付属語の類似性で決めている．筆者らのシステムではシソーラスを用いて名詞の意味的な距離で決めている.

「ビール」と「お酒」とは意味的な距離が近いので並列構造になるが,「先生」と「お酒」は並列構造にはならない.

## 2.2 用語同士の意味的な距離の定義

係り受け解析で係り先を決めるために 2 つの用語間の意味的な距離を定義した. 本来, 用語同士の意味的な距離はアナログ的なものである。極端な場合は人によっても異なるが，シソー ラス上の用語同士の関係から表 1 のように定義した.

係り受け語は慣用的によく係り受けを構成する用語の組み合わせをネットなどから手作業で収集した。間に挟まる助詞と良しあしの情報も持っている。また係り受け語には，係の用語に
表 1 意味的な距離の表

意味が指定できる（5.2に示す）.

例 （人）が飲む

（人）は人の意味で人の意味の用語すべてを指定できる.

筆者らのシソーラスでは直近の関係語との関係しか持っていない. 関係語とさらにその関係語との意味的な距離はそれぞれの意味的な距離を加算することにした. 狭義語のさらに狭義語との意味的な距離は $1+1$ で 2 であると定義した. こうすることで，シソーラスにお互いの関係が登録されていない用語間の意味的な距離を定義した。

経験的にあまり遠い関係の用語同士の距離は評価しても意味がないので一定の距離で足切りをしている。足切りの値は係り先を決めるときと，並列構造を決めるときとでは異なる。並列構造を決めるときのほうが，広く関係を評価している。並列構造を決めるときには，係り受け語は考慮しない.

## 意味的な距離を測るときに多義語を区別している

意図したのと異なる意味の用語との距離を測ってしまうことが問題になることがある．例えば「お稲荷さん」には 2 つの意味がある.

意味的な距離

お稲荷さん一稲荷神社 0 (同義語)

お稲荷さん一いなりずし 0 (同義語)

多義語をそれぞれの意味で区別しないで計算すると，「稲荷神社」と「いなりずし」とが 0 （同義語）になってしまう。

稲荷神社一お稲荷さん一いなりずし

このことを防ぐために，我々のシステムでは「お稲荷さん」の 2 つの意味を区別して別の用語として管理している。その結果「稲荷神社」と「いなりずし」との意味的な距離は未定義（無限大）になるので「いなりずしに参拝する」などという無意味な係り受けは排除される.

## 3 係り受けデータの整理

日本語では同じことを言うのにいくつかの書き方が許されている．自然文検索などで漏れを少なくするために形を整理する.

## 3.1 用語の標準化

日本語は表記の摇れを含めて同義語が多い. (国分, 岡野 2010) 著者と検索者とで異なる表記が使われることが検索漏れの一因になっている，検索対象データベース，検索文ともに係り受けにしたあとシソーラスを用いてなかの用語を言語工学研究所が推奨する用語に標準化する.誤った表記, 差別語も標準の表記に置き換える.

例 1

$
\begin{aligned}
& \text { インタフェイス } \\
& \text { インタフェース }(\mathrm{JIS}) \\
& \text { インターフェイス (学術用語) } \\
& \text { インターフェース (新聞) }
\end{aligned} \quad \Longrightarrow \text { インターフェース（言語工学研究所推奨) }
$

## 例 2

米, 米国

USA, U.S.A. $\Longrightarrow$ アメリカ（言語工学研究所推奨）

合衆国, アメリカ合衆国

アメリカ

## 3.2 係り受けを正規化

用言の使い方には限定用法と叙述用法がある. 自然文検索で「青いリンゴ」(限定用法) と書いてある記事を「リンゴが青い」（叙述用法）という係り受けで検索しても検索できない. 検索できるようにするために，原記事，検索文ともに係り受けは限定用法のものをすべて叙述用法に統一して，正規化する。

例青, い, リンゴ $\rightarrow$ リンゴ, が, 青, い

用言が動詞の場合は, 動詞の性質によって名詞との間に挟む助詞が異なる.

例食ベたリンゴ $\rightarrow$ リンゴを食べた（他動詞）落ちたリンゴ $\rightarrow$ リンゴが落ちた（自動詞）

当面, 間に挟む助詞も, 表 2 の 4 種類に限定している.
表 2 係り受けの関係の種類

## 4 情報の付与

今後, 本解析システムを様々な目的へ適用を進める予定である。そこで, 辞書上の情報をもとに用途に応じて解析結果に必要な情報を付与する.

## 4.1 文節意図を付与する

解析の精度を上げるためと, 翻訳などで必要な情報を取り出しやすくするために,「係り受けの語幹まで」と，それに続く「付属語の並び」をまとめて管理している.

例係り受け付属語の並びお酒を飲んでください

さらに，付属語の並びの持つ表 3 のような性質を「文節意図」と呼ぶこととする。これは一般に命題に含まれる否定・肯定, ボイス, テンスなどを，モダリティーと一緒にしたものである (益岡 2000).

乾健太郎「KURA」佐藤理史「醍醐プロジェクト」は, ここでいう係り受けの部分をより分かりやすくするための置き換えを説明したものであるので，本システムとは目的が異なる.

## 文の文節意図の把握

翻訳以外でも，例えば内容が「依頼」の記事を集めようとしたとき，記事を解析して係り受けにまでしても，結局人手で読み直して分類する必要があった.

文末の文節意図が「依頼」の文を含む記事を集めると，その目的が達成される。ほとんどの場合，文末の文節意図が文全体の文節意図を表している.

## 文節意図と主語の推定

省略された主語は文脈を調べないと分からない場合もあるが，文節意図を調べると推測できる場合がある。翻訳などのために省略された主語の人称を推定する（4.3で述べる）.

同じ文節意図でも丁寧さの違いなどでい万い万な書き方がある。表 4 に「依頼」の文節意図の例を上げたが，ここに上げたのはその一部でこのほかにもいくつもの書き方がある.

ひとつの文節が複数の文節意図を持つことがある。たとえば下記の文節は,「禁止」、「否定」,「疑問」，「推量」，「丁寧」の5つの文節意図を持っている.

例逢ってはいけないものでございましょうか
表 3 代表的な「文節意図」と人称の例

表 4 「依頼」の「文節意図」の例

飲んでほしい
飲んでください
飲んでくださいませんか
飲んでくれ
飲んでくれないか
飲んでくれないですか
飲んでくれない
飲んでくれませんか
飲んでくれませんですか

付属語の組み合わせによって，文節意図は変化する

例飲むつもりです 1 人称意志

飲むつもりですね 2 人称確認

このような複雑な文節意図を持つ文節を扱うためと，解析の速度を速くするために，辞書上では数の付属語を「付属語の並び」としてまとめた形で管理している．筆者らのシステムでは解析辞書（5.2で述べる）に $1,300,000$ 行の「付属語の並び」を持っている.

## 4.2 良しあし，注目度を付与する

レコメンデーションでは，良しあしの情報を手がかりのひとつにする.

単独で良しあしの決められる辞書上の用語には，良しあしのフラグを付けてある.

しかし, 用語単独では良しあしが決められず, 係り受け関係を調べないと決められないことがある.

例寿命が延びる （良い）

寿命が短い（悪い）

「寿命」, 「延びる」,「短い」など用語は単独では良しあしの性質は持っていないが, 組み合わされたときに良しあしの性質が出てくる。筆者らのシソーラスでは, 「係り用語」と, 「受けの用語」と，「間にはさまれた格助詞」と，「良しあし」の組で管理している。シソーラスの係り受け語を調べて係り受けの良しあしを決める.

係り，受けのそれぞれの用語の同義語，狭義語をシソーラスで拡張して，係り受け語として登録されていない係り受けにも対応できるようにした。

例ビールが冷えている

$
\begin{array}{llll}
\text { 麦酒 } & \text { が } & \text { 冷えている } & \text { (ビールの同義語) } \\
\text { 生ビール } & \text { が } & \text { 冷えている } & \text { (ビールの狭義語) }
\end{array}
$

## 否定の文節

良しあしは否定があると逆転する。

$
\begin{aligned}
& \text { 例ビールが冷えている (良い) } \\
& \text { ビールが冷えていない (悪い) }
\end{aligned}
$

日本語では「ない」と書いてあっても否定だとは決められない（表 5 参照）．否定になるかどうかも付属語の並びに記述してある（5.2で述べる）。

## 注目度を付与して良しあしを辞書に登録することができる

「良しあし」の判断基準は普遍的なものではない. ユーザーによって異なることがある。また自社や競合他社の商品名のようにその評判をいつも注目しておきたい用語もある.

筆者らのシステムはユーザーにより適切なレコメンデーションをするために，このような用

表 5 「ない」を含んでいても否定にならない例

表 6 良しあし, 注目度の例

語または係り受けに注目度，良しあしをつけて登録する仕組みが用意してある（表 6 参照）.

## 4.3 主語の人称の推定

日本語はしばしば主語が省略されるが，そのまま翻訳すると訳文があいまいになることが少なくない. またビジネス文書でも主語を解析して認識することは重要である。実際の文章では，待遇表現や文節意図で暗に主語の人称を示している。本論文ではこの点に注目して，文節意図の情報を利用することにより主語を推定する方法を説明する。

## 待遇表現によって主語の人称を推定する

ビジネス文書では，待遇表現は適切に使用されているので有効な推定法である。解析辞書には文節がどの待遇表現になるかが記述してある.

謙譲語が使われている動詞の主語は 1 人称である.

例申し上げたのは $\rightarrow$ （1 人称が）申し上げたのは

尊敬語が使われている動詞の主語は 2 人称ないしは 3 人称である.

例おっしゃったのは $\rightarrow （ 2$ 人称が $)$ おっしゃったのは

## 文節意図によって主語の人称を推定する

待遇表現でも主語が推定できなかったときに文節意図によって主語の人称を推定する（表 3 参照).

例えば，文節意図が「意志」のときは，主語は 1 人称である.

例飲みたい「意志」 $\rightarrow$ （1 人称が）飲みたい

文節意図が「依頼」「指示」のときは，受けの主語は 2 人称である.

例送ってくれ「依頼」 $\rightarrow \quad(2$ 人称が $)$ 送ってくれ

## 5 辞書

ブログやメールに代表されるような文書を扱うために，時事的な用語や省略語も積極的に登録している。送り仮名や訳語などの差異による異表記語も網羅的に収集した。よく使われる用語であれば誤った用語（例「キューピット」cupid）も積極的に採択してある. 反面，古語や
文学作品にしか出てこない用語は採択していない.

すべての辞書は共通の品詞に分類してある。用言は語幹と活用形で管理している.

## 5.1 シソーラス

自然言語処理を目的とした一般語を主とするシソーラスである。いわゆる名詞だけでなく，動詞, 形容詞, 形容動詞, 副詞, 代名詞, 擬態語さらに慣用句までを登録している.

「広義語一狭義語」の関係は，自然言語処理で広義語に適用した規則が狭義語にも適用できるように同じ属性のものだけとした.「自動車」一「タイヤ」のような全体一部分関係は関連語とした. 品詞の異なる用語, 「自動詞」一「他動詞」の対応なども関連語とした.

用語間の意味関係として, 表 7 のものを用意した. 詳細は (国分, 岡野 2010)を参照されたい.

## シソーラスのその他の項目

エラーフラグ

誤った表記, 差別語

品詞

動詞の活用形を含めて 24 種類

注目度

$
\text { レコメンデーションのためにユーザーがマークした用語. }
$

異なり語の数

$
440,000 \text { 語 }
$

(竹内 2008) は動詞の性質を分類するために動詞のそれぞれの性質で係り受けする名詞の一例を示したものである。一方筆者らのこのシソーラスでは，受けになる個々の用言を中心に，その用言の係りとなり得る名詞をなるべく網羅的に収集した。

 \\

表 7 シソーラスの用語同士の意味関係

## 5.2 解析辞書

ここで実現しているアルゴリズムは，辞書の情報で制御する方式をとっている，そのために必要になる情報が各用語に付与してある。

## 自立語

自立語の構成要素である接頭辞, 接尾辞, 助数詞なども含む.

語数

240,000 語

品詞

動詞の活用形も含めて 24 種類

良しあし

自立語の良しあしが記入してある

否定フラグ

名詞の意味

係り受け関係を調べるために次の 10 種類ある.

1つの用語が複数の意味を重複して持てる.

## 意味

人

機関

物

時

場所

数量詞

抽象名詞

動作名詞

数詞

不定例

先生, 山田, 雅子

学校, 研究所

机, 物理現象も含む

昨年

東京, 駅前

5 本, 少し

芸術，甘さ

サ変動詞

9 , 二百

代名詞, 未知語などで意味が決定できないもの.

用言かっこ内は活用語尾である.

## 品詞・活用形

サ変名詞形

サ変非名詞形

ザ変

一段

力行五段

力行五段例外

ガ行五段

サ行五段

夕行五段例

勉強（する）

察（する）

信（ずる）

生き（る）

書 (く)

行 $(<)$

泳（ぐ）

押 (す)

立（つ）

自・他動詞限定用法から叙述用法に変換するときに挟む助詞を決定するため.

移動性の動詞自動詞であるが「を格」をとる。例道を行く

待遇表現尊敬語・謙譲語翻訳などで主語を決定するため.

## 付属語の並び

文節意図を付与するために助詞，助動詞だけでなく，いわゆる機能表現とその組み合わせをまとめた形で扱っている。

## 付属語

助詞

助動詞とその活用語尾

形式名詞

機能表現のための動詞およびその活用語尾

例えば推量を表す「〜かも知れない」というときの「知れる」という動詞.

機能表現のための形容詞およびその活用語尾

行数

$
1,300,000 \text { 行 }
$

エラーフラグ

間違つた表記

文節意図表 3 参照

並列フラグ並列を構成しうるかどうか
待遇表現尊敬語・謙譲語

否定フラグなど

## 6 結果

CGM（消費者生成メディア）の例として Yahoo!知恵袋データの 2004 年 4 月分の質問記事 （5,957 記事， 15,883 文）を用いて，評価した。まず，筆者らのシステムと Cabocha との解析精度を比較した．会話体の文章なので両者ともあまり良い結果はでなかったが正解率は Cabocha を 13.8 ポイント上回っている.

正しい間違い正解率

筆者らのシステム 11,690 文 4,193 文 $73.6 \%$

Cabocha

$
9,498 \text { 文 } \quad 6,385 \text { 文 } \quad 59.8 \%
$

両システムの処理時間も比較してみた。筆者らのシステムはシソーラスを参照しているので,処理が遅くなる恐れがあったが，両者はほとんど差がなかった。これは，筆者らのシステムでは付属語をまとめた形で扱うことによって, 辞書へのアクセス回数を減らしたためと考えられる.

筆者らのシステム 1 分 39 秒
Cabocha 1 分 30 秒

次に，筆者らのシステムでシソーラスを組み込んで解析した結果と，組み込まないで解析した結果との差を調べた。係り受け構造の違いと, 並列構造の違いとに分けて集計した.しかし, シソーラスを組み込んだ結果，シソーラスを組み込まないときには正しく解析できた結果を，かえって間違った構造にしてしまった場合もあった。

差分の生じた 172 文の内訳は改善 160 文, 悪化 12 文, 差引 148 文

全体 15,883 文に対して $0.9 \%$ の向上が観測された.

$
\text { 係り受け並列合計 }
$

正しい構造にした 106 文 54 文 160 文

間違った構造にしてしまった8文4文 12 文

合計114 文 58 文 172 文

## 成功例

「音楽がいつまでたっても始まりません.」

「音楽／が／始ま／」という係り受けが登録されているので，「音楽が」という文節が「たつても」という文節ではなく，「始まりません」という文節に係った。

## 間違った構造にしてしまった例

「警察の方に話がいっているかわかりません」

「話／が／分かる／」という係り受けが登録されていたため,「話が」という文節が「いっているのか」という文節ではなく，「わかりません」という文節に係ってしまった。

下記のサイトから使って見られるようにしてあるので，試用して評価していただくことを希望する。

http://www.gengokk.co.jp/koubun/

## 7 おわりに

CGM のような会話体の文章を扱うためには，より一層の誤りを含んだデータに対応できることが要求される。辞書は手作業で収集したもので，漏れも多いと思う．係り受けがシソーラスに登録されていないために，今回の評価の対象にならなかった記事もあると思われる，今後大規模コーパスを解析して, 係り受けを抽出してシソーラスの係り受け語を充実させていく計画である。高速化についても現在改造中で近日中に発表する予定である.

全世界に言語の数は多い. 現在までに日本語から外国語への翻訳プログラムが未着手の言語を対象に，翻訳プログラムが作れないかと思っている．今後，外部の人を含めて実用化を進めたいと思っている。自然文検索や翻訳だけでなく，いろいろな応用が考えられる．

係り受けだけで「良しあし」を決定しているが，3つ以上の文節が組み合わさって「良しあし」が決定される場合がある。これから充実させていく必要がある.

## 謝 辞

本稿に対して有益なご意見，ご指摘をいたたきました査読者の方に感謝いたします.また国立情報学研究所が提供する「Yahoo!知恵袋-研究機関提供用デー夕」を利用させていたたいたことを，感謝いたします。

## 参考文献

益岡隆志 (2000). “命題とモダリティの境界を求めて”日本語文法の諸相. くろしお出版.乾健太郎. “KURA", http://cl.aist-nara.ac.jp/kura/doc/publication_list.html.宮崎和人, 安達太郎, 野田春美, 高梨信乃 (2002). “モダリティ” 新日本基本文法選書. くろしお出版.

国分芳宏, 岡野弘行 (2010). 複数の観点で分類した自然言語処理用シソーラス. 自然言語処理, 17(1), pp.247-263.

黒崎禎夫 (1992). 長い日本語文における並列構造の推定. 情報処理学会論文誌, 33(8), pp.10221031.

佐藤理史. 醍醐プロジェクト, http://sslab.nuee.nagoya-u.ac.jp/ sato/research/daigo.html.仁田義雄 (1991). 日本語のモダリティと人称. ひつじ書房.

竹内孔一 (2008). 動詞項構造シソーラス. 竹内孔一 HP.

藤尾正和 (2000). 語彙統計モデルに基づく日本語依存構造解析. 奈良先端科学技術大学院大学博士情報科学研究科博士論文.

南不二男 (1974). 現代日本語の構造. 大修館書店.

白井諭 (1995). 階層的認識構造に着目した日本語従属節間の係り受け解析の方法とその精度. 情報処理学会論文誌, 36(10), pp.2353-2360.

## 略歴

国分芳宏（正会員）：1966 年東京理科大学理学部応用物理学科卒. 同年日本科学技術情報センター入社. 1985 年株式会社言語工学研究所設立代表取締役就任. 自然言語処理, シソーラス作成に従事情報処理学会会員.

梅北浩二：1990 年日本電子専門学校卒. 1996 年株式会社言語工学研究所入社自然言語処理開発に従事.

松下栄一：1999 年東京理科大学大学院工学研究科工業化学専攻卒. 2004 年株式会社言語工学研究所入社. 自然言語処理開発に従事.

末岡隆史：1975 年東京理科大学理工学部電気工学科卒. 1987 年株式会社言語工学研究所入社. 自然言語処理開発に従事.