# 文章分類と疾患モデルの融合による
## ソーシャルメディアからの感染症把握

## 荒牧 英治 ${ ^{\dagger,+\dagger} \cdot$ 増川佐知子 $\dagger \cdot$ 森田 瑞樹 $\dagger,+\dagger \dagger$}

近年, ウェブの情報を用いて, 感染症などの疾病状態を監視するシステムに注目が 集まっている。本研究では, ソーシャルメディアを用いたインフルエンザ・サーベ イランスに注目する。これまでの多くのシステムは, 単純な単語の頻度情報をもと に患者の状態を調査するというものであった. しかし, この方法では, 実際に疾患 にかかっていない場合の発言を収集してしまう恐れがある。また，そもそも，医療者でない個人の自発的な発言の集計が, 必ずしもインフルエンザの流行と一致する とは限らない，本研究では, 前者の問題に対応するため, 発言者が実際にインフル エンザにかかっているもののみを抽出し集計を行う. 後者の問題に対して, 発言と 流行の時間的なずれを吸収するための感染症モデルを提案する．実験においては， Twitterの発言を材料にしたインフルエンザ流行の推定値は, 感染症情報センターの 患者数と相関係数 0.910 という高い相関を示し, その有効性を示した. 本研究によ り, ソーシャルメディア上の情報をそのまま用いるのではなく, 文章分類や疾患モ デルと組み合わせて用いることで，さらに精度を向上できることが示された.

キーワード: 情報抽出, 医療情報, ソーシャルメディア, 感染症モデル, ツィッター

## Microblog-based Infectious Disease Detection using Document Classification and Infectious Disease Model

\author{
Eiji Aramaki ${ }^{\dagger, \dagger \dagger}$, Sachiko Masukawa ${ }^{\dagger}$ and Mizuki Morita ${ }^{\dagger, \dagger \dagger \dagger}$
}

With the recent rise in popularity and size of social media, there is a growing need for systems that can extract useful information from this amount of data. We address an issue of detecting influenza epidemics. Although previous methods rely mainly on the frequencies of the influenza related words, such methods had suffered from the noisy tweets that do not express influenza symptoms. To deal with this problem, this study proposed two methods. First, the sentence classifier judges whether a person really catches the influenza or not. Next, the infectious model closes a time gap between the people web activity and the illness period. In the experiments, the combination of two techniques achieved the high performance (correlation coefficient 0.910 to the number of the influenza patients). This result suggests that not only natural language processing but also disease study contributes to social media based surveillance.

Key Words: Information Extraction, Medical Informatics, Social Media, Infectious Model, Twitter

## 1 はじめに

感染症の流行は，毎年，百万人を越える患者を出しており，重要な国家的課題となっている (国立感染症研究所 2006). 特に、インフルエンザは事前に適切なワクチンを準備することによ り, 重篤な状態を避けることが可能なため, 感染状態の把握は各国における重要なミッションと なっている (Ferguson, Cummings, Cauchemez, Fraser, Riley, Meeyai, Iamsirithaworn, and Burke 2005). この把握は インフルエンザ・サーベイランスと呼ばれ，膨大なコストをかけて調査・集計が行われてきた.

本邦においてもインフルエンザが流行したことによって総死亡がどの程度増加したかを示す 推定値 (超過死亡概念による死者数) は毎年 1 万人を超えており (大日, 重松, 谷口, 岡部 2003),国立感染症研究所を中心にインフルエンザ・サーベイランスが実施され，その結果はウェブで も閲覧することができる 1.

しかし, これらの従来型の集計方式は, 集計に時間がかかり, また, 過疎部における収集が困難だという問題が指摘されてきた2。2のような背景のもと, 近年, ウェブを用いた感染症サー ベイランスに注目が集まっている。これらは現行の調査法と比べて, 次のような利点がある.

(1) 大規模：例えば，日本語単語「インフルエンザ」を含んだTwitter 上での発言は平均 1,000 発言/日を超えている（2008 年 11 月).このデータのボリュームは, これまでの調査手法, 例えば，本邦における医療機関の定点観測の集計を圧倒する大規模な情報収集を可能とする.

（2） 即時性：ユーザの情報を直接収集するため，これまでにない早い速度での情報収集が可能である。早期発見が重視される感染症の流行予測においては即時性が極めて重要な性質である。

以上のように, ウェブを用いた手法は, 感染症サーベイランスと相性が高い. ウェブを用いた 手法は, ウェブのどのようなサービスを材料にするかで, 様々なバリエーションがあるが, 本研究では近年急速に広まりつつあるソーシャルメディアのひとつである Twitter に注目する。し かしながら，実際に Twitter からインフルエンザに関する情報を収集するのは容易ではない．例 えば，単語「インフルエンザ」を含む発言を収集すると，以下のような発言を抽出してしまう：

(1) カンボジアで鳥インフルエンザのヒト感染例、6 歳女児が死亡（インフルエンザに関す るニュース)

（2）インフルエンザ怖いので予防注射してきました（インフルエンザ予防に関する発言）

（3）やっと... インフルエンザが治った！（インフルエンザ完治後の発言）

上記の例のように，単純な単語の集計では，実際に発言者がインフルエンザにかかっている本人（本稿では，当事者 と呼ぶ）かどうかが区別されない，本研究では，これを文書分類の一種 とみなして, Support Vector Machine (SVM) (Vapnik 1999) を用いた分類器を用いて解決する.

さらに，この当事者を区別できたとしても，はたして一般の人々のつぶやきが正確にインフル エンザの流行を反映しているのかという情報の正確性の問題が残る。例えば，インフルエンザ にかかった人間が，常にその病態をソーシャルメディアでつぶやくとは限らない．また，つぶ やくとしても時間のずれがあるかもしれない。このように，不正確なセンサーとしてソーシャ ルメディアは機能していると考えられる。この不正確性は医師の診断をべースに集計する従来型のサーベイランスとの大きな違いである，実際に実験結果では，人々は流行前に過敏に反応 し，流行後は反応が鈍る傾向があることが確認された。すなわち，ウェブ情報をリソースとし た場合，現実の流行よりも前倒しに流行を検出してしまう恐れがある．本研究では，この時間 のずれを吸収するために，感染症モデル (Kermack and McKendrick 1927)を適応し補正を行う.

本論文のポイントは次の 2 点である：

（1）ソーシャルメディアの情報はノイズを含んでいる。 よって，文章分類手法にてこれを解決する。

(2) ソーシャルメディアのインフルエンザ報告は不正確である. これにより生じる時間的な ずれを補正するためのモデルを提案する.

本稿の構成は，以下のとおりである．２節では，関連研究を紹介する． 3 節では，構築した コーパスについて紹介する，4節では，提案する手法/モデルについて説明する．5 節では, 実験について報告する。 6 節に結論を述べる。

## 2 関連研究

これまで，インフルエンザの流行予測は，政府主導のトップダウンな集計が中心であったが (2.1 節)，現在では，ICT 技術を用いた大規模な調査方法が検討されている (2.2 節)。近年では,検索クエリやソーシャルメディアなどウェブの情報を利用した研究が行われている（2.3 節）.

## 2.1 現在行われている調査方法

インフルエンザの流行に対しては, 事前の十分なワクチン準備が必須の対応となるため, 世界各国で共通の課題として対策が行われてきた。このため，多くの国で，自国の感染症調査のた めの機関が組織されている。例えば，アメリカでは Centers for Disease Control and Prevention
$(\mathrm{CDC})^{3}, \mathrm{EU}$ は EU Influenza Surveillance Scheme (EISS) ${ }^{4}$ を運営している. 本邦では, 国立感染症研究所 (Infection Disease Surveillance Center; IDSC) の感染症情報センター5がこの役目を 担っている。これらの機関は主としてウイルスの遺伝子解析, 国民の抗体保有状況や協力体制 にある医療機関からの報告に頼って集計を行っている。例えば, IDSC は全国約 5,000 の診療所 から情報を集め, 集計結果を発表している。ただし, この集計には時間がかかるため, 1 週間前の流行状況が発表される。この遅延のため, 発表時にはすでに流行入りしている可能性があ り, より迅速な情報収集への期待が高まっている.

## 2.2 新しい調査方法

より早くインフルエンザの流行を捉えるため様々な手法が提案されている. Espino et al. (Espino, Hogan, and Wagner 2003) は電話トリアージ・アドバイス（電話を通じて医療アドバイ スを行う公共サービス) に注目し，一日の電話コールの回数がインフルエンザの流行と相関して いることを明らかにした。後の追試でもその有効性は確かめられている (Yih, Teates, Abrams, Kleinman, Kulldorff, Pinner, Harmon, Wang, and Platt 2009). Magruder (2003) は, インフル エンザ市販薬の販売量 (over-the-counter drug sales) に注目した. ただし, 本邦ではインフルエ ンザ薬の購入には処方が必要となっているように, この手法は万国で有効な手段ではない.こ のため, 近年, 薬事法など国ごとの制度に依存しない手法としてウェブが注目されている.

## 2.2.1 ログ・ベースの手法

近年，もっとも注目されている手法は Google のウェブ検索クエリを用いた手法 (Ginsberg, Mohebbi, Patel, Brammer, Smolinski, and Brilliant 2009)である. 彼らはインフルエンザ流行と 相関のある検索クエリ（相関係数の高い上位 50 語）を調査し，それらをモニタリングすること で，インフルエンザの予測を行っている。彼らの予測は，アメリカの CDC 報告との相関係数 0.97 （最小值 0.92 ; 最大値 0.99）という高い精度を報告している. 同様のアイデアにもとづい た研究は他にも報告されている. 例えば, Polgreen et al. は Yahoo! のクエリを用いて同精度の 予測を行った (Polgreen, Chen, Pennock, Nelson, and Weinstein 2009). Hulth et al. はスイス国内のウェブ検索会社のクエリを用いた (Hulth, Rydevik, and Linde 2009). Johnson et al. は健康情報に関するウェブサイト「HealthLink」の閲覧のアクセスログを用いた (Johnson, Wagner, Hogan, Chapman, Olszewski, Dowling, and Barnas 2009).

これらは，それぞれ異なった情報源を用いているものの，患者の行動を直接調査するという 観点からは同様のアプローチであるとみなせる. このアプローチは, 多くの情報を即時的に収
^{3}$ http://www.cdc.gov/

${ }^{4}$ http://ecdc.europa.eu/en/activities/surveillance/EISN/Pages/index.aspx

5 http://idsc.nih.go.jp/
}
集することができるが，これを実現可能なのは，サービス・プロバイダのみという問題が残る.例えば，ウェブ検索クエリをリアルタイムに利用できる機関は Google, Yahoo! や Microsoft と いったいくつかのサービス・プロバイダに限定されてしまう.

## 2.2.2 ソーシャルメディアベースの手法

前述したように，ログ・ベースの手法はサービス・プロバイダに依存してしまうため，より 利用が容易であるソーシャルメディアを情報源とした手法も 2010 年から開始されている。その 中でも特に Twitter は， 1.2 億ユーザが参加しており，550 万ツイートが毎日やりとりされてい る (2011 年 3 月現在)．このデー夕量と即時性はクエリログに匹敵するため, 感染症の把握につ いて多くの研究が行われてきた (Lampos and Cristianini 2010; Culotta 2010; Paul and Dredze 2011; Aramaki, Maskawa, and Morita 2011; 谷田, 荒牧, 佐藤, 吉田, 中川 2011).これらの研究は，表 1 のように，単語選択，発言の分類などの観点から分類できる.

まず，この単語選択の問題に対しては，経験則で「風邪」や「インフルエンザ」などのキー ワードとなる単語を選択し，その頻度を集計することが考えられ，これまでの多くの先行研究 はこの手法をとっている (Culotta 2010; Aramaki et al. 2011). これに対し, 最近では統計的に 単語の選択を行った手法が模索されている．例えば，L1 正規化を用いて単語の次元を圧縮する 方法 (Lampos and Cristianini 2010)，疾患をある種のトピックとみたてトピックモデルを用い る方法 (Paul and Dredze 2011) や，素性選択の手法を適応する研究 (谷田 他 2011) が試みられ た. 本研究では, これらの最新の単語選択手法を用いず, 経験的に語を決めているが, 単語選択と組み合わせることで，さらに精度を高めることが可能であり，今後の課題としたい.

次に，いかに罹患した発言を集計するかという問題（分類問題）がある。この問題に対して は，高橋ら (2011)が Boosting を用いた文章分類, Aramaki et al. (2011)がSVMによる分類手

表 1 ソーシャルメディア・ベースの疾患サーベイランス研究の分類

Boosting は Iwakura and Okamoto (2008)による Boosting を改良した手法で集計を重み付けている。MRMR では， Minimum Redundancy Maximum Relevance (mRMR) (Peng, Long, and Ding 2005), Maximal Marginal Relevance (MMR) (Carbonell and Goldstein 1998), Mutual Information Feature Selector under Uniform information distribution (MIFS-U) (Kwak and Choi 2002) という 3 つの手法が比較検討されている.
法を提案している. 本研究では後者を用いた.

以上の 2 つの単語選択問題と分類問題が, これまでの研究で扱われてきた主な問題であった. これに加え, 本研究では, 1 節にて指摘したように, そもそもウェブから得られる情報は不正確である可能性に注目し，これを補正するために感染症モデルを用いる.

## 3 インフルエンザ・コーパス

実際に発言者がインフルエンザにかかっている当事者かどうかを分類するためには，コーパ スが必要となる。本節ではこのコーパスの構築方法とその統計について述べる。

まず，材料として，2008 年 11 月から 2010 年 7 月にかけて Twitter API を用いて 30 億発言 を収集した，次に，そこから「インフルエンザ」という語を含む発言を抽出した。この結果 40 万発言が得られ，データを次の 2 つの領域に分割した.

(1) トレーニング・データ：2008 年 11 月から無作為に 5,000 発言. それぞれの発言について 人手で，発言者が実際にインフルエンザにかかっているかどうか（当事者かどうか）を 判定した. 判定の結果, 発言者が実際にインフルエンザにかかっている場合をポジティ ブな発言とみなし (本稿では陽性発言と呼ぶ), 逆にインフルエンザにかかっていない場合をネガティブな発言（陰性発言）とみなす.

（2）テスト・データ：残りのデータ．後述する実験に用いる.

陽性発言と陰性発言の区別は，以下の除外基準に照らし1つでも該当するものがあれば陰性発言とみなした。

（1）非当事者：発言者（または，発言者と同一都道府県近郊の人間）のインフルエンザにつ いてのみ扱い，それ以外の発言は除外する（陰性発言とみなす）。居住地が正確に分から ない場合は陰性発言とみなす.

例えば，「インフルエンザが実家で流行っている」では，「実家」の所在が不正確である ので，陰性発言とみなす。

（2）不適切な時制：現在または近い過去のインフルエンザのみ扱い，それ以外の発言は除外 する。ここでいう「近い過去」とは 24 時間以内とする.

例えば，「昨年はひどいインフルエンザで参加できなかった」は，陰性発言とみなす。

（3）否定／不適切なモダリティ：「インフルエンザでなかった」等の否定の表現（ネゲーショ ン）は除外する。また，疑問文や「かもしれない」と不確定な発言は基準を満たさない ものとする. ここでいうモダリティとは狭義のモデリティの他に法 (仮定法), 表現類型 (疑問文, 命令文), 価値判断（必要, 許可）をも含む.

例えば，「インフルにでもかかってしまえ」（命令文）や，「インフルエンザだとしても，熱がないのが不思議」(仮定法) は陰性発言とみなす.
表 2 コーパスの分類結果

（4）比喻的表現：実際の疾患としての「インフルエンザ」を指さない表現は除外する.例えば，「インフルエンザ的な感染力じゃないですか！ RT @口口：朝から PC の調子 が悪く困っています」におけるインフルエンザは，コンピューターウイルスをインフル エンザと比喻しており陰性発言とみなす。

詳細な基準についてはアノテーション・ガイドラインを公開し, 実際の用例とともに参照で きるようにしている ${ }^{6}$ 。また，構築したコーパスについても同サイトにて配布している。なお，陽性発言／陰性発言のアノテーター間（3人）の平均一致率は $84 \%$ であった.

トレーニング・データについてアノテートした結果, およそ半数の発言が陰性発言となった. すなわち，発言分類を行わない場合，半分近い発言はノイズとなっていることになる．ここで，陰性発言の一部（546 発言）について，原因の割合を調査した（表 2）。陰性発言となる主要な 要因は広告であることが分かる。

## 4 提案手法

提案手法は，陽性発言と陰性発言を分類する手法（4.1 節）と，集計の時間的なずれを補正す る手法（4.2 節）の 2 つからなる.

## 4.1 文章分類器を用いた発言の分類

前節にて述べたように，Twitterの発言の約半数は陰性発言となってしまう。そこで，前章 にて述べたコーパスを用いて，発言を分類することでこれを解決する。このタスクは，スパム メール・フィルタリングや評価表現分析といった文の分類タスクと類似しており, 本研究では, これらの研究で一般的な手法である機械学習による手法を用いる.
^{6}$ http://www.mednlp.jp/resources/
}
表 3 素性

表 4 ウィンドウ・サイズと精度（F 値）

RIGHT $=\infty$ は後方すべての形態素を用いる. LIGHT $=\infty$ は前方すべての形態素を用いる. $\mathrm{BOTH}=\infty$ は文中す べての形態素を用いる.太字はそれぞれの方向での最高値を示す.

【学習アルゴリズム】学習アルゴリズムは先行研究 (Aramaki et al. 2011) で使われていた SVM を用いた. 先行研究では，モダリティごとにアノーテションを行い，これを複数の SVM を用いて学習する手法が提案されていたが, 陰性発言を区別せず，単一のSVM で 学習した場合と比べ，必ずしも精度を向上させず，また，コーパス作成が高コストになっ た. したがって，本研究では，陰性発言の種類を区別せず，一様に扱った。なお，SVM のカーネルは 2 次の多項カーネルとした。他のパラメータは用いたパッケージのデフォ ルト値7を用いた。

【素性の種類】素性は注目している単語「インフルエンザ」または「インフル」とその周辺 の形態素とした。この際，形態素解析器8を用い，原形，読み，品詞を用いた（表 3).

【素性の範囲】周辺文脈の範囲（ウィンドウ・サイズ）は予備実験によって調査した。予備実験は前節のトレーニング・データを 10 分割交差検定することによって行った. パフォー マンスはウインドウ・サイズに依存する。表 4 にウィンドウ・サイズと精度（F 値）の 関係を示す。最もよいパフォーマンスは左右両方のコンテキストを 6 形態素までみる設定（表中の $\mathrm{BOTH}=6$ ）で得られたため，以降の実験ではこの値を用いた.

素性の範囲を決める予備実験が示すように約 $74 \%$ 程度の精度で陰性発言を分類できる。この 精度が，実際のインフルエンザ推定にとって有用かどうかは 5 節の実験にて検証する。

## 4.2 感染症モデルを用いた補正

前節では発言から陰性発言を取り除く手法について述べた。しかし，たとえ全てのノイズが 取り除かれても，個々の発言が必ずしも正確にインフルエンザを報告しているわけではない.

例えば，インフルエンザにかかってしまっても，あまりに症状がひどいとTwitter を使って発言 している余裕がないことも考えられる。このような過誤が起こっているのならば, 正しく発言 を収集したとしても，実際の流行と集計結果との間にずれが生じてしまう。そこで，本研究で は，この時間のずれを吸収するために，感染症の流行モデルである SIR モデル (Kermack and McKendrick 1927) をソーシャルメディア用に修正したモデルを用いる.

SIR モデル (Kermack and McKendrick 1927) は, 感染症流行の古典的な計算モデルである. このモデルでは人間は下記の 3 つの状態のうちのいずれかをとっていると仮定し，各状態間の 遷移確率を定義することで感染シミュレーションを行う。

(1) 状態 S (Susceptible): 感染症に対して免疫を持たない者,

(2) 状態 I (Infectious): 発症者,

(3) 状態 R (Recovered): 感染症から回復し免疫を獲得した者.

状態 $\mathrm{S}$ から状態 I の遷移は, 健康な人に感染者が接触し感染が拡大する過程, 状態 $\mathrm{I}$ から状態 $\mathrm{R}$ は感染者が回復する過程とみなせる。なお, 感染症から回復して状態 $\mathrm{R}$ にたった者は免疫を獲得したものとし再び感染しないものとする。また, 各状態の総和, $\mathrm{S}(t)+\mathrm{I}(t)+\mathrm{R}(t)$, は 人口全体であり定数とみなす.

ここで，異なる状態にある個人同士の接触には，S-I, S-R, I-R の 3 通りがあるが，感染が広 がるのは，発症者と免疫を持たない者の接触である S-I だけである。すなわち，S と Iが多いと 感染は速く広がることになり, 逆に少ないと感染は遅くなる。これを考慮して, 状態 $\mathrm{S}$ と状態 Iの量に比例した割合で S が感染するとみなす.

$
\frac{d \mathrm{~S}}{d t}=-\beta \mathrm{IS}
$

また，状態 I の者は単位時間あたり一定確率で回復し，状態 Rに遷移すると考える。

$
\begin{gathered}
\frac{d \mathrm{I}}{d t}=\beta \mathrm{IS}-\gamma \mathrm{I} \\
\frac{d \mathrm{R}}{d t}=\gamma \mathrm{I}
\end{gathered}
$

ここで $\beta$ は, 状態 $\mathrm{S}$ から状態 $\mathrm{I} へ の$ 遷移確率であり, 感染率とみなせる。同様に, $\gamma$ は状態 $\mathrm{I}$ から状態 $\mathrm{R}$ の遷移確率であり，回復率とみなせる，それぞれの遷移確率は 1 日ごとの確率 とする。つまり，感染者が 100 人いる状態で $\gamma$ が 0.1 とすると翌日には, 10 人が回復し, 90 人 が依然としてインフルエンザ状態のままであることを意味する.

以上 3 つの式を用いることで, 感染者が増えてからピークを迎えやがて収束するインフルエン ザの流行がシミュレーション可能となる。前述のオリジナルの SIR モデルをソーシャルメディ アに適応させるため, 本研究では次の 3 点の修正を行った.

（1）インフルエンザに感染した患者（状態 S-状態 Iへの遷移）がウェブを通じて観測される ものとする。したがって, 式 (1) と式 (2) で用いられる $\Delta \mathrm{S}(=\beta \mathrm{IS})$ が実数として, 直接集計されるものとする.

(2) 状態 I-状態 $\mathrm{R}$ 間の遷移確率（変数 $\gamma$ ）はインフルエンザの先行研究 (Anderson and May 1979) において報告されていた値 $(\gamma=0.38)$ を用いる.

(3) 各シーズンの開始時は, 感染症はまったく流行していないものと仮定する $(\mathrm{I}(0)=0)$.

## 5 実験

## 5.1 実験期間

テストデータのうち, インフルエンザ流行が起こりうる冬季（2009 年と 2010 年の 10 月 1 日 から 3 月 31 日まで）を実験対象とした. 正解データとして, 感染症情報センター (IDSC) から 報告されているインフルエンザの定点当たりの患者数を用いた。これは週 1 回の報告であるの で，各年 24 点（6ヶ月×4 週）のデータポイントが含まれる ${ }^{9}$.

## 5.2 比較手法

提案手法の精度と比較するため以下の 6 つの手法を用意した. 本研究の提案である (1) 発言 の分類と (2)SIR モデルによる補正のうち, 後者に関しては, 他のウェブベースの手法にも適応可能であり, Twitter だけでなく, Google インフルトレンドを用いての検証を行った.

TWITTER: Twitter 上での単語「インフルエンザ」の頻度を用いた手法. 単なる単語頻度 をそのまま出力する (ベースライン).

TWITTER+SVM: 上記手法 TWITTER にSVM による発言の分類を適応した手法. 陽性 と分類された発言のみが集計される。

TWITTER+SIR: ベースラインの手法 TWITTER にSIR モデルを適応した手法.

TWITTER+SVM+SIR: ベースラインの手法TWITTER SVM のよる発言の分類と SIR モデルの両方を適応した手法（提案手法）.

GOOGLE: Google 検索サービスのクエリログを用いた手法 (Ginsberg et al. 2009). Google インフルトレンドのサイトにおいて, 過去の推定値は公開されており10, そのデータを そのまま比較手法として用いた。

GOOGLE+SIR: 上記手法 GOOGLE に SIR モデルを適応した手法.

SIR モデルの挙動はパラメータ $\gamma$ に依存する。 パラメータ $\gamma$ はその季節に流行するインフル エンザによって異なるが, 本実験では, 先行研究 (Anderson and May 1979)において報告されて

いる値 $(\gamma=0.38)$ と, もっともパフォーマンスの高い値であった 0.20 を参考値として用いた.

## 5.3 評価

評価方法は正解データとシステムの出力値の相関係数（ピアソンの相関係数）を用いた。この 評価法は, クエリログを用いた先行研究 (Ginsberg et al. 2009) や Twitter を用いた研究 (Aramaki et al. 2011) と共通である。なお，上記の各手法の出力する値のスケール（最小値や最大値）は それぞれ異なるが，相関係数で評価することで，スケールの差異はキャンセルされる。

## 5.4 結果と考察

各種法の結果を表 5 に示す。文章分類手法を用いた TWITTER+SVM（相関係数 0.902）は, TWITTER（相関係数 0.850）よりも精度を向上させている（統計的には有意ではない）.

次に，SIR モデルは，すべての手法（TWITTER+SIR や GOOGLE+SIR）において精度を 向上させている. 特に, GOOGLE + SIR は $\gamma=0.2$ と $\gamma=0.38$ の両方で有意な精度向上となっ ている。他の場合も，いずれも精度を向上させており，SIR モデルは応用範囲が広い手法であ ると言える。

さらに, 文章分類手法と SIR モデルの両方を組み合わせて用いた場合 (TWITTER+SVM+SIR) には，それぞれを個別に用いたよりも高い精度が得られた. 特に， $\gamma=0.2$ の時に相関係数 0.850 から 0.919 へ有意な $(p=0.10)$ 精度向上が見られた.

この結果により，ソーシャルメディア上の情報をそのまま用いるのではなく, 文章分類や疾患モデルと組み合わせて用いることで，さらにサーベイランス精度を向上できることが示され た. 本研究はインフルエンザを対象としたが，インフルエンザのみならず，熱中症，食中毒な ど，全貌の把握は困難であるが，各個人については把握が可能な疾患は数多く存在する。この

表 5 各手法の推定精度

ような疾患においても，提案手法のパラメータを調整することで, 対応できる可能性があるこ とを強調したい.

## 5.5 誤り分析

発言の分類精度は，前節の実験で示されたように $\mathrm{F}$ 値 $74 \%$ にすぎず（表 4 ）, 4 回に 1 回程度 は誤っていることになる. どのように誤っているか表 6 に示す. 表に示されるように，陽性発言や否定や広告など定型的な表現はうまく判定できているが，不適切な時制や非当事者などは 一部しか除外できていない。この理由は，時制の判定においては過去の程度（24 時間以内かど うか）という判定が高度であること，また，当事者の判定においては，省略された主語の推定 が困難なことなど，種々の原因が考えられる。このような課題はあるものの発言の分類はイン フルエンザ流行推定という最終的な精度を向上できており，今後，より深い言語処理を導入す ることへの動機となりうる。

SIR モデルにおいても，改良の余地がある。推定値を可視化した結果を図 1 に示す。図に示 されるように，TWITTER や GOOGLE の集計結果では，流行前に多めに推定し，流行後は少 なめに推定するという傾向がある。これに対して，SIR モデルは，流行前の発言を後ろにずら して集計し，精度を高めることに成功している。しかし，SIR モデルにおいて，もっとも，高 い推定値であったのは $\gamma=0.20$ であり, 先験的なパラメータ $(\gamma=0.38)$ から外れていた. この ベストパラメータ $(\gamma=0.20)$ を用いた場合, 相関係数 0.919 が得られるはずであり，これがモ デルの上限値となる。今後，いかに，ベストパラメータを事前に設定するかが問題となる.

なお，このパラメータ $\gamma$ は，実験期間におけるインフルエンザ流行型の特質を示していると 考えられ，シーズンを通して不変である可能性がある。この仮定が成り立つならば，シーズン 開始時に正解データと誤差を最小化するようにし, 最適なパラメータを得られる可能性があり,今後の課題としたい.

表 6 コンフュージョン・マトリクス

## 5.6 提案手法の有効性

本稿の冒頭にて, ウェブを用いた感染症サーベイランスの利点として, 大規模性と即時性の 2 つの利点を挙げた。本節では，提案システムをウェブ・サービス11として運用した結果をもと に, これら 2 つの利点について実証的に議論する。

（1） 既存手法との比較：既存手法では全国約 5,000の診療所から情報を集め，集計結果を発表している。ただし，その分布は均一でなく，過疎地については，少数の診療所からの 情報に頼っている。このため，地震などの災害時には，流行把握が不可能な地域が生じ てしまう事がある。例えば，東日本大震災時には， 3 月の中旬と下旬の 2 度にわたって，福島県からの報告が途絶えた（図 2)。一方, 提案手法は, GPS 発信情報が付加された発

図 1 各手法により推定された流行の可視化
* Y 軸は相対頻度を示す（最大值で正規化している）， X 軸は時間軸を示す。

図 2 東日本災害時の福島県のサーベイランス結果（提案手法のサービスのスクリーン・ショット） * $\mathrm{Y}$ 軸は既存手法については患者数（左目盛り），提案手法については陽性発言数を示す（右目盛り），X 軸は時間軸を 示す.

言をもとに，福島県のインフルエンザ・サーベイランスが可能であった.

さらに，既存の手法では， 1 週間前の流行しか把握できない，一方，提案手法では，つね に現状の流行をタイム・ラグなしに把握が可能である.

(2) クエリ・ベースの手法（Googleインフルトレンド）との比較：クエリ・ベースの手法で ある Googleインフルトレンドは，提案手法と同じくウェブを活用し，提案手法と同等の 即時性と大規模性を持つ。ただし，根幹となるリソースの検索クエリは非公開であり， サービスを第三者が構築／拡張できないという問題がある。具体的には，Googleインフ ルトレンドの集計は，平成 24 年 7 月現在，国単位の集計にとどまっており，都道府県単位の集計を行っていない.この拡張を行う事はサービス・プロバイダ (Google) 以外は不可能である。一方，提案手法のリソースである Twitter は，公開されたAPIを通じて柔軟にサービスの開発が可能である.

以上のように，提案手法は, 既存手法と比較し, 大規模性と即時性の両方において上回って いる。また, クエリ・ベースの手法と比較し, 同程度の大規模性と即時性を持つものの, サー ビスの拡張性という点では, ソーシャル・メディアが優位である.

ただし，実用的には，両者のうち優位な方のみを利用するのではなく，いずれかが利用困難 な場合でも，残った手法が稼働できる可能性があり，両者を併用することで頑健なサーベイラ ンスを実現していくのが有効だと考えられる。

## 6 おわりに

本研究ではソーシャルメディアを材料に，インフルエンザの流行の推定に注目した. これまで の多くのシステムは，単純に単語の頻度情報をもとに患者の状態を調査するというものであっ た.しかし，Twitterの情報はノイズを含んでおり，実際に疾患にかかっていない場合の発言を 収集してしまう恐れがある。また，そもそも，ウェブの情報が必ずしもインフルエンザの流行 を反映しているとは限らない.これらの問題に対応するため, 発言者が実際にインフルエンザ にかかっているかどうかの分類を行った。また，現実とウェブ情報の時間の差を吸収するため の感染症モデルを適応した。

実験の結果, 前者は Twitter ベースのシステムの精度を向上させた。また, 後者は Twitter ベースのシステムのみならず, Google インフルトレンドの精度も向上させた. また, これらの 両手法は独立した現象を扱っており, 両方を組み合わせて用いた場合, Twitter において感染症情報センター報告の患者数と相関係数 0.910 という高い推定精度を示すことができた.

本研究により, ソーシャルメディア上の単語頻度を単純に用いるのではなく, 文章分類や疾患モデルを組み合わせることで, さらに精度の向上が可能であることが示された.

## 謝 辞

本研究は, JST 戦略的創造研究推進事業さきがけ「情報環境と人」領域「自然言語処理によ る診断支援技術の開発」，科研費補助金若手研究 $\mathrm{A} 「$ 表記ゆれ及びそれに類する現象の包括的言語処理に関する研究」,および科研費補助金挑戦的萌芽研究「ダミー診療録の構築および自動構造化に関する研究」による.

本論文を書くにあたって有益な議論をいただいた東京大学知の構造化センター宮部真衣氏,東京大学医学部附属病院篠原恵美子氏に謹んで感謝の意を表する.

## 参考文献

Anderson, R. M. and May, R. M. (1979). "Population Biology of Infectious-Diseases." Nature, $280(361)$.

Aramaki, E., Maskawa, S., and Morita, M. (2011). "Twitter Catches The Flu: Detecting Influenza Epidemics using Twitter." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP2011), pp. 1568-1576.

Carbonell, J. and Goldstein, J. (1998). "The use of MMR, diversity-based reranking for reordering documents and producing summaries." In Proceedings of the SIGIR.

Culotta, A. (2010). "Detecting influenza outbreaks by analysing Twitter messages." CoRR, abs/1007.4748.

Espino, J., Hogan, W., and Wagner, M. (2003). "Telephone triage: A timely data source for surveillance of influenza-like diseases." In Proceedings of the AMIA Annual Symposium, pp. 215-219.

Ferguson, N. M., Cummings, D. A. T., Cauchemez, S., Fraser, C., Riley, S., Meeyai, A., Iamsirithaworn, S., and Burke, D. S. (2005). "Strategies for containing an emerging influenza pandemic in Southeast Asia." Nature, 437 (7056), pp. 209-214.

Ginsberg, J., Mohebbi, M. H., Patel, R. S., Brammer, L., Smolinski, M. S., and Brilliant, L. (2009). "Detecting influenza epidemics using search engine query data." Nature, 457 (7232), pp. 1012-1014.

Hulth, A., Rydevik, G., and Linde, A. (2009). "Web Queries as a Source for Syndromic Surveillance." PLoS ONE, 4 (2), p. e4378.

Iwakura, T. and Okamoto, S. (2008). "A fast boosting-based learner for feature-rich tagging and chunking." In Proceedings of the Twelfth Conference on Computational Natural Language Learning (CoNLL), pp. 17-24.

Johnson, H., Wagner, M., Hogan, W., Chapman, W., Olszewski, R., Dowling, J., and Barnas, G. (2009). "Analysis of Web access logs for surveillance of influenza." Studies in Health Technology and Informatics, 107, pp. 1202-1206.

Kermack, W. O. and McKendrick, A. G. (1927). "A Contribution to the Mathematical Theory of Epidemics." In The Royal Society of London, pp. 700-721.

国立感染症研究所 (2006). インフルエンザ・パンデミックに関する Q \& A (2006.12 改訂版).国立感染症研究所 感染症情報センター.

Kwak, N. and Choi, C.-H. (2002). "Input feature selection for classification problems." Neural Networks, 13 (2).

Lampos, V. and Cristianini, N. (2010). "Tracking the flu pandemic by monitoring the social web." In Cognitive Information Processing (CIP), 2010 2nd International Workshop on, pp. 411-416.

Magruder, S. (2003). "Evaluation of over-the-counter pharmaceutical sales as a possible early warning indicator of human disease." In Johns Hopkins University APL Technical Digest (24).

大日康史, 重松美加, 谷口清州, 岡部信彦 (2003). インフルエンザ超過死亡「感染研モデル」 2002 / 03 シーズン報告. Infectious Agents Surveillance Report, 23 (11).

Paul, M. J. and Dredze, M. (2011). "You Are What You Tweet: Analysing Twitter for Public Health." In Processing of the Fifth International AAAI Conference on Weblogs and Social Media (ICWSM).

Peng, H., Long, F., and Ding, C. (2005). "Feature selection based on mutual information: Criteria of max-dependency, max-relevance, and min-redundancy." Pattern Analysis and Machine Intelligence, 27 (18).

Polgreen, P. M., Chen, Y., Pennock, D. M., Nelson, F. D., and Weinstein, R. A. (2009). "Using Internet Searches for Influenza Surveillance." Clinical Infectious Diseases, 47 (11), pp. 1443-1448.

高橋哲朗, 野田雄也 (2011). 実世界のセンサーとしての Twitter の可能性. 電子情報通信学会 情報・システムソサイエティ言語理解とコミュニケーション研究会.

谷田和章, 荒牧英治, 佐藤一誠, 吉田稔, 中川裕志 (2011). Twitter による風邪流行の推測. マ イニングツールの統合と活用\&情報編纂研究会.

Vapnik, V. (1999). The Nature of Statistical Learning Theory. Springer-Verlag.

Yih, W. K., Teates, K. S., Abrams, A., Kleinman, K., Kulldorff, M., Pinner, R., Harmon, R., Wang, S., and Platt, R. (2009). "Telephone Triage Service Data for Detection of InfluenzaLike Illness." PLoS ONE, 4 (4), p. e5260.

## 略歴

荒牧 英治：2000 年京都大学総合人間学部卒業. 2002 年京都大学大学院情報学研究科修士課程修了. 2005 年東京大学大学院情報理工系研究科博士課程修了 (情報理工学博士)。以降, 東京大学医学部附属病院企画情報運営部特任助教 を経て, 現在, 東京大学知の構造化センター特任講師, 科学技術振興機構さ きがけ研究員 (兼任). 自然言語処理の研究に従事.

増川佐知子：1989 年お茶の水女子大学理学部物理学科卒業. 1991 年お茶の水女子大学大学院理学研究科物理学専攻修士課程修了. 同年花王株式会社入社数理科学研究所配属. 以降, 国立福山病院附属看護学校, 福山平成大学, 福山市立女子短期大学非常勤講師を経て, 2010 年より, 東京大学知の構造化セン ター学術支援専門職員. 医療情報および自然言語処理の研究に従事.

森田 瑞樹：2003 年東京工業大学生命理工学部卒業. 2005 年東京工業大学大学院生命理工学研究科修士課程修了. 2008 年東京大学大学院農学生命科学研究科博士課程修了. 同年東京大学大学院農学生命科学研究科特任助教. 2009 年医薬基盤研究所特任研究員. 2012 年東京大学知の構造化センター特任研究員.現在に至る. 生命情報科学, 医療分野における自然言語処理の研究に従事.

$(2012$ 年 5 月 7 日 $\quad$ 受付 $)$
$(2012$ 年 7 月 31 日 $\quad$ 再受付 $)$
$(2012$ 年 9 月 10 日 $\quad$ 採録)


# 言い換えと逆翻字を用いた片仮名複合名詞の分割
## 鉣治 伸裕†・喜連川 優†

日本語を含めた多くの言語において, 複合名詞内部の単語境界は空白で分かち書き されない.こうした複合名詞を構成語列へと分割する処理は, 多くの自然言語処理 の応用において重要な基礎技術となる. 日本語の場合, 片仮名語は生産性が高く未知語が多いことから，特に片仮名複合名詞の扱いが技術的な問題となる。この問題 の解決を図るため，本論文は片仮名複合名詞の言い換えと逆翻字を分割処理に利用 する方法を提案する，実験では，言い換えと逆翻字をラベルなしテキストから抽出 し，その情報を利用することによって，分割精度が統計的に有意に向上することを 確認した。

キーワード：言い換え，逆翻字，片仮名語，複合名詞分割，単語分割

## Splitting Katakana Noun Compounds by Paraphrasing and Back-transliteration

\author{
Nobuhiro Kaji ${ }^{\dagger}$ and Masaru Kitsuregawa ${ }^{\dagger}$
}

\begin{abstract}
Word boundaries within noun compounds are not marked by white spaces in a number of languages including Japanese, and it is beneficial for various NLP applications to split such noun compounds. In the case of Japanese, noun compounds made up of katakana words are particularly difficult to split, because katakana words are highly productive and are often out-of-vocabulary. To overcome this difficulty, we propose using paraphrases and back-transliteration of katakana noun compounds for splitting them. Experiments demonstrated that splitting accuracy is improved with a statistical significance by extracting both paraphrases and back-transliterations from unlabeled textual data, and then using that information for constructing splitting models.
\end{abstract}

Key Words: paraphrasing, back-transliteration, katakana words, noun compound splitting, word segmentation

## 1 はじめに

## 1.1 片仮名語と複合名詞分割

外国語からの借用 (borrowing) は，日本語における代表的な語形成の 1 つとして知られている (Tsujimura 2006). 特に英語からの借用によって, 新造語や専門用語など, 多くの言葉が日々日本語に取り込まれている。そうした借用語は，主に片仮名を使って表記されることから片仮名

語とも呼ばれる。日本語におけるもう 1 つの代表的な語形成として, 単語の複合 (compounding) を挙げることができる (Tsujimura 2006). 日本語は複合語が豊富な言語として知られており, と りわけ複合名詞にその数が多い。これら 2 つの語形成は, 日本語における片仮名複合語を非常 に生産性の高いものとしている.

日本語を含めたアジアおよびョーロッパ系言語においては, 複合語を分かち書きせずに表記 するものが多数存在する（ドイツ語，オランダ語, 韓国語など)。そのような言語で記述され たテキストを処理対象とする場合, 複合語を単語に分割する処理は, 統計的機械翻訳, 情報検索, 略語認識などを実現する上で重要な基礎技術となる．例えば，統計的機械翻訳システムに おいては, 複合語が構成語に分割されていれば, その複合語自体が翻訳表に登録されていなかっ たとしても，逐語的に翻訳を生成することが可能となる (Koehn and Knight 2003). 情報検索 においては，複合語を適切に分割することによって検索精度が向上することが Braschler らの 実験によって示されている (Braschler and Ripplinger 2004). また, 複合語内部の単語境界の情報は，その複合語の省略表現を生成または認識するための手がかりとして広く用いられている (Schwartz and Hearst 2003; Okazaki, Ananiadou, and Tsujii 2008).

高い精度での複合語分割処理を実現するためには，言語資源を有効的に活用することが重要 となる。例えば, Alfonseca ら (2008) は単語辞書を学習器の素性として利用しているが, これが 分割精度の向上に寄与することは直感的に明白である。これに加えて, 対訳コーパスや対訳辞書といった対訳資源の有用性も，これまでの研究において指摘されている (Brown 2002; Koehn and Knight 2003; Nakazawa, Kawahara, and Kurohashi 2005). 英語表記において複合語は分か ち書きされるため，複合語に対応する英訳表現を対訳資源から発見することができれば，その 対応関係に基づいて複合語の分割規則を学習することが可能になる。

複合語分割処理の精度低下を引き起こす大きな要因は, 言語資源に登録されていない未知語 の存在である。特に日本語の場合においては, 片仮名語が未知語の中の大きな割合を占めてい ることが，これまでにも多くの研究者によって指摘されている (Brill, Kacmarcik, and Brockett 2001; Nakazawa et al. 2005; Breen 2009). 冒頭でも述べたように, 片仮名語は生産性が非常に 高いため, 既存の言語資源に登録されていないものが多い. 例えば Breen (2009) らによると,新聞記事から抽出した片仮名語のうち, およそ $20 \%$ は既存の言語資源に登録されていなかった ことが報告されている。こうした片仮名語から構成される複合名詞は, 分割処理を行うことが とりわけ困難となっている (Nakazawa et al. 2005).

分割が難しい片仮名複合名詞として, 例えば「モンスターペアレント」がある.この複合名詞を「モンスター」と「ペアレント」に分割することは一見容易なタスクに見えるが，一般的な 形態素解析辞書 ${ }^{1}$ は「ペアレント」が登録されていないことから, 既存の形態素解析器にとっ

ては困難な処理となっている。実際に，MeCab ver. 0.98 を用いて解析を行ったところ（解析辞書は NAIST-jdic ver. 0.6.0を用いた)，正しく分割することはできなかった.

## 1.2 言い換えと逆翻字の利用

こうした未知語の問題に対処するため，本論文では，大規模なラべルなしテキストを用いる ことによって, 片仮名複合名詞の分割精度を向上させる方法を提案する。近年では特にウェブ の発達によって，極めて大量のラベルなしテキストが容易に入手可能となっている．そうした ラベルなしテキストを有効活用することが可能になれば，辞書や対訳コーパスなどの高価で小規模な言語資源に依存した手法と比べ，未知語の問題が大幅に緩和されることが期待できる。 これまでにも，ラベルなしテキストを複合名詞分割のために利用する方法はいくつか提案され ているが，いずれも十分な精度は実現されていない。こうした関連研究については 2 節におい て改めて議論を行う。

提案手法の基本的な考え方は，片仮名複合名詞の言い換えを利用するというものである。一般的に, 複合名詞は様々な形態・統語構造へと言い換えることが可能であるが，それらの中に は, 元の複合名詞内の単語境界の場所を強く示唆するものが存在する。そのため, そうした言 い換え表現をラベルなしテキストから抽出し, その情報を機械学習の素性として利用すること によって, 分割精度の向上が可能となる。これと同様のことは, 片仮名語から英語への言い換 え，すなわち逆翻字に対しても言うことができる．基本的に片仮名語は英語を翻字したもので あるため, 単語境界が自明な元の英語表現を復元することができれば，その情報を分割処理に 利用することが可能となる.

提案手法の有効性を検証するための実験を行ったところ，言い換えと逆翻字のいずれを用い た場合においても，それらを用いなかった場合と比較して，F 值において統計的に有意な改善 が見られた。また，これまでに提案されている複合語分割手法との比較を行ったところ，提案手法の精度はそれらを大幅に上回っていることも確認することができた. これらの実験結果か ら，片仮名複合名詞の分割処理における，言い換えと逆翻字の有効性を実証的に確認すること ができた。

本論文の構成は以下の通りである。まず 2 節において, 複合名詞分割に関する従来研究, お よびその周辺分野における研究状況を概観する. 次に 3 節では, 教師あり学習を用いて片仮名複合名詞の分割処理を行う枠組みを説明する。続いて 4 節と 5 節においては，言い換えと逆翻字を学習素性として使う手法について説明する。6 節では分割実験の結果を報告し，それに関 する議論を行う。最後に 7 節においてまとめを行う.

## 2 関連研究

## 2.1 複合語分割

これまでにも，ラベルなしテキストを用いた複合語分割手法はいくつか提案されている。そ れらはいずれも, 複合語の構成語の頻度をラベルなしテキストから推定し, その頻度情報に基 づいて分割候補を順位付けするものとなっている (Koehn and Knight 2003; Ando and Lee 2003; Schiller 2005; Nakazawa et al. 2005; Holz and Biemann 2008).とりわけ本研究と関連が深いの は (Nakazawa et al. 2005)であり，彼らもまた片仮名複合名詞を対象としている.しかし，こう した単語頻度に基づく手法は, 対訳資源を用いた手法と比較して, 十分な分割精度が得られな いという問題が指摘されている (Koehn and Knight 2003; Nakazawa et al. 2005). 実際，我々の 実験においても, これら単語頻度に基づく手法と提案手法との比較を行ったが，提案手法の方 が大幅に高い分割精度を実現可能であることを確認した。

一方, Alfonseca ら (2008) は，ラベルなしテキストではなくクエリログを複合語分割に利用 することを提案している ${ }^{2}$. しかし彼らの実験報告によると，クエリログを用いなかった場合の 精度が $90.45 \%$ であるのに対して, クエリログを用いた場合の精度は $90.55 \%$ グあり，その改善幅は極めて小さい。一方, 本研究の実験（6 節）では, 提案手法の導入によって精度は $83.4 \%$ か ら $87.6 \%$ と大きく向上し，なおかつ，その差は統計的に有意であることが確認された．また， クエリログは一部の組織以外では入手が困難であるのに対し，提案手法に必要なラべルなしテ キストは容易に入手することが可能である.

Holz と Biemann (2008) は独語の複合語に対する分割手法と言い換え手法を提案しており, 本研究との関連性が高い. しかし, 彼らが提案しているアルゴリズムは, 複合語の分割と言い換 えをパイプライン的に行うものであるため，提案手法とは異なり，言い換えに関する情報は分割時に用いられない。

## 2.2 その他の関連研究

片仮名複合名詞の分割処理は単語分割の部分問題であると考えることができる。そのため,既存の単語分割器を用いて片仮名複合名詞の分割処理を行うことも可能であるが, 実際問題と して，それでは十分な分割精度を得ることは難しい（6節の実験結果を参照）。この原因として，既存の単語分割器は辞書に強く依存した設計となっており, 未知語が多い片仮名語の解析に失敗しやすいことが挙げられる。これに関する議論は (Nakazawa et al. 2005)が詳しい。単語分割 の視点から見た本研究は, 片仮名複合名詞という特に解析が困難な言語表現に焦点をあてた試 みであると言える.

5 節において我々は，片仮名複合名詞の分割のために逆翻字を利用する手法を提案する。提案手法は，技術的な観点から見ると，ウェブから片仮名語の逆翻字を自動抽出する既存手法 (Brill et al. 2001; Cao, Gao, and Nie 2007; Oh and Isahara 2008; Wu, Okazaki, and Tsujii 2009) と関連が深い。しかしながら，そうした関連研究は翻字辞書や翻字生成システムを構築することを 目的としており, 自動抽出した逆翻字を複合語の分割処理に利用する試みは本研究が初めてで ある.

## 3 教師あり学習に基づく手法

本論文では, 片仮名複合名詞 $x$ が入力として与えられたとき, それを構成語列 $\boldsymbol{y}=\left(y_{1}, y_{2} \ldots y_{|\boldsymbol{y}|}\right)$ へと分割する問題を取り扱う。ここでは, 出力 $\boldsymbol{y}$ が 1 語（すなわち $|\boldsymbol{y}|=1$ ）である場合もあり うることに注意をされたい.

1 節においても議論したように, 片仮名名詞は英語の翻字が多く, 提案する素性の 1 つそ の性質を利用したものとなっているため, 以下では入力される片仮名語は英語の翻字であると 仮定する。この仮定が実テキストにおいてどの程度成立しているのかを検証することは難しい が, 例えばウェブ検索エンジンのクエリにおいては, 片仮名のクエリの約 $87 \%$ は翻字であるこ とが報告されている (Brill et al. 2001). このデータから上記の仮定にはある程度の妥当性があ ることが推測され，実テキストを処理する際にも提案手法の効果を期待することができる.

我々は片仮名複合名詞の分割処理を「片仮名複合名詞 $x$ に対する構成語列 $\boldsymbol{y}$ を予測する構造予測問題」と捉えて，これを以下のような線形モデルを用いて解く.

$
\boldsymbol{y}^{*}=\underset{\boldsymbol{y} \in \mathcal{Y}(x)}{\operatorname{argmax}} \boldsymbol{w} \cdot \boldsymbol{\phi}(\boldsymbol{y})
$

ここで $\mathcal{Y}(x)$ は入力 $x$ に対する全分割候補の集合を表す。 $\boldsymbol{\phi}(\boldsymbol{y})$ は分割候補 $\boldsymbol{y}$ の素性べクトル表現， $\boldsymbol{w}$ は訓練事例から推定される重みべクトルである.

表 1 に我々が実験で用いた素性テンプレートを示す.テンプレート 1 からは，ある構成語

表 1 実験で使用した素性テンプレート

1-gram が出現したか否かを示す 2 值素性が, 訓練事例に出現した全ての構成語 1-gram につい て生成される。テンプレート 2 は同様の 2-gram 素性である. テンプレート 3 からは, 構成語の 文字数 $(1,2,3,4, \geq 5)$ を示す 2 値素性が 5 種類生成される.テンプレート 4 は構成語 $y$ が外部辞書 3 に登録されているか否かを表す 2 値素性であり, 構成語 $y$ が外部辞書に登録されていれば 1 を返す 2 值素性が 1 つ生成される。テンプレート 5 から 7 は, 片仮名複合名詞の言い換えと逆翻字を用いたものであり，4 節と 5 節において詳しく説明する．以下の議論では，テンプレー ト 1 から 4 によって生成される素性を基本素性, テンプレート 5 から生成される素性を言い換 え素性，テンプレート 6 と 7 から生成される素性を逆翻字素性と呼んで互いに区別をする.

重みベクトル $\boldsymbol{w}$ は任意の学習アルゴリズムを用いて最適化することが可能であるが，ここで は計算効率を考慮して平均化パーセプトロン (Freund and Schapire 1999)を用いた. 平均化パー セプトロンはオンライン学習アルゴリズムの一種であり，高速に学習を行うことができると同時に, 多くのタスクにおいて SVM などのバッチ学習アルゴリズムと比較しても遜色のない精度を達成できることが知られている。 パーセプトロンの訓練時およびテスト時には $\boldsymbol{y}^{*}$ を求める 操作が必要となるが, セミマルコフモデルにおいて用いられるのと同様の動的計画法によって 効率的に実行可能である.

## 4 言い換え素性

本節では，片仮名複合名詞の言い換え表現を, 教師あり学習の素性として使う方法について 述べる（表 1 におけるテンプレート 5 に対応する）。

## 4.1 複合名詞の言い換え

一般的に, 複合名詞は様々な形へと言い換えることが可能であるが, そうした言い換え表現 の中には，元の複合名詞の単語境界を認識する手がかりとなるものが存在する．以下に具体例 を示す。

(1) a. アンチョビパスタ

b. アンチョビ・パス夕

c. アンチョビのパス夕

(1b)は, 複合名詞 (1a)の構成語間に中黒を挿入することによって生成された言い換え表現であ る. 同様に (1c) は助詞「の」を挿入することによって生成された言い換え表現である。もしラ ベルなしテキストにおいて (1b)や (1c)のような言い換え表現を観測することができれば，この

ことは複合名詞 (1a)を「アンチョビ」と「パス夕」に正しく分割するための手がかりとなるこ とが考えられる。

## 4.2 言い換え規則

このような言い換えを利用して片仮名複合名詞の分割処理を行うため，複合名詞の言い換え 規則を 7 つ作成した（表 2)．言い換え規則の作成にあたっては，Kageura ら (2004) の研究を参考にしながら，分割処理に有用と思われるものを人手で選定した。作成した言い換え規則は全 て $X_{1} X_{2} \rightarrow X_{1} M X_{2}$ という形式をしており（ $X_{1}$ と $X_{2}$ は名詞, $M$ は助詞などの機能語), 左辺 が言い換え前の複合名詞，右辺が言い換え後の表現に対応している。

## 4.3 言い換え頻度に基づく素性

これらの規則を用いて，次のように新しい素性を定義する。まず前処理として，以下のよう な正規表現を用いることにより, 片仮名複合名詞の言い換え表現の出現頻度をラベルなしテキ ストから求める.

$
\begin{aligned}
& (\text { katakana) }+ \text { (katakana) }+ \\
& (\text { katakana) }+ \text { の (katakana) }+ \\
& (\text { katakana)+ する (katakana)+ } \\
& (\text { katakana)+ した (katakana)+ } \\
& (\text { katakana)+ な (katakana) }+ \\
& (\text { katakana)+ 的 (katakana) }+ \\
& \text { (katakana)+ 的な (katakana)+ }
\end{aligned}
$

ただし (katakana) は片仮名 1 文字にマッチする特殊文字である。また＋は文字の繰り返しを表 す量指定子であり，最長一致が適用されるものとする.

このような正規表現を用いることによって，単語分割処理を行わずに言い換え表現を抽出す ることができるのは，表 2 のような片仮名複合語の言い換え表現に対象を限定しているためで

表 2 作成した言い換え規則の一覧とその適用例， $X_{1}$ と $X_{2}$ は名詞を表す

ある．上記の正規表現にマッチするテキストは, 必ず前後が片仮名以外の文字 (漢字や平仮名) に囲まれていることになる。そのような文字種の変わり目には, 単語境界が存在する場合が多 いため, このような単純な文字列処理であっても言い換え表現を抽出することが可能になって いる.

分割処理時に分割候補 $\boldsymbol{y}$ が提示された際には, 構成語 2-gram に対する言い換え素性 PARA $\left(y_{i-1}, y_{i}\right)$ の值を次のように定義する。まず $X_{1}=y_{i-1}, X_{2}=y_{i}$ と代入することにより，表 2 の 規則から言い換え表現を生成する。そして，生成された 7 つの言い換え表現の頻度の和を $F$ と したとき，その対数 $\log (F+1)$ を素性値として用いる.

ここでは素性値の計算に非常に単純な方法を用いているため, $X_{1}$ や $X_{2}$ に名詞ではなく, 名詞連続が代入された場合であっても，素性が発火してしまうということがある．また逆に，正解となる構成語よりも小さな単位の文字列が代入された場合であっても, 同様に素性が発火し てしまうことがあり，精度に悪影響を及ぼす可能性がある。しかし，このような手法であって も実験において分割精度の向上を十分確認することができたため, シンプルさを重視して現在 のような手法とした.

素性値として頻度ではなく対数頻度を用いているのはスケーリングのためである。予備的な 実験においては，頻度をそのまま素性値として用いることも行ったが，対数頻度を用いた場合 の方が高い精度が得られた。なお, $\log F$ ではなく $\log (F+1)$ としているのは, $F=1$ であった 場合に素性値が 0 となるのを防ぐためである.

## 5 逆翻字素性

片仮名語の多くは英語を翻字したものであり, 元となる英語表現が存在する，以下では，そ のような英語表現のことを原語と呼び, 片仮名語と原語の対のことを翻字対と呼ぶこととする.我々は，片仮名語が原語の発音情報をおおよそ保持しているという特性を利用することによっ て, 単語単位での対応関係が付与された翻字対（単語対応付き翻字対）をラベルなしテキスト から自動抽出する（表 3)。そして，得られた単語対応付き翻字対に基づて，分割結果 $\boldsymbol{y}$ に出現する単語 $n$-gram が, 英単語 $n$-gram と対応付け可能であるかを示す 2 値素性を用いる（表 1 におけるテンプレート 6 と 7 に対応する)，以下本節では，テキストから単語対応付き翻字対を

表 3 単語対応付き翻字対の例. 下線部に付与された数字は単語の対応を表す

自動抽出する方法について説明する.

## 5.1 括弧表現

日本語においては, 括弧表現を使って片仮名語の原語がテキスト中に挿入される場合がある.

(2) a. アメリカでジャンクフード (junk food) と言えば...

b. トラックバックスパム $(\mathrm{spam})$ を撃退するため...

いずれの例文においても，下線を引いた片仮名語に対して，その原語が括弧を使って併記され ている，我々はこのような括弧表現を利用することにより，単語対応付き翻字対の自動抽出を 行う.

こうした括弧表現から単語対応付き翻字対の抽出を行うためには, 少なくとも以下の 3 つの ことが技術的な問題となる

問題 $\mathbf{A}$ 片仮名語の直後に出現する括弧表現が必ずしもその原語であるとは限らないため, 原語が記述されている括弧表現とそうでない括弧表現を区別する必要がある.

問題 B 翻字対の関係にある片仮名語の開始位置を決定しなくてはならない. 例えば $(2 b)$ にお いては, 原語「spam」の翻字は「トラックバックスパム」ではなく「スパム」である.

問題 C 片仮名語と原語の単語対応を求めるためには, 片仮名語を分かち書きしなくてはなら ない. 例えば (2a) から表 3 のような単語対応付き翻字対を獲得するためには, 片仮名列「ジャンクフード」を「ジャンク」と「フード」に分割することが必要である.

## 5.2 発音の類似性の利用

これまでにも，前述のような括弧表現から翻字対を自動抽出する研究は数多く存在するが,問題 $\mathrm{C}$ に対する本質的な解決策はいまだ提案されていない.これまでの研究においては, 基本的に既存の単語分割器を用いることによって片仮名語の分割が行われている (Cao et al. 2007; Wu et al. 2009). しかし, 2 節において議論を行ったように, 片仮名語の分かち書きを行うこと は現在のところ技術的に困難であり，このようなアプローチは望ましくない.

我々は上記の 3 つの問題を解決するため, 片仮名語と原語の発音の類似性を利用することを 提案する，以下の議論では，説明のために，まず問題 Cだけを議論の対象とする．具体例とし て, 片仮名語「ジャンクフード」と原語「junk food」に対して, それらの発音の類似性に基づ き以下のような部分文字列の対応関係が得られたとする.

(3) a. $[\text { ジャン }]_{1}[\text { ク }]_{2}[\text { フー }]_{3}[\text { ド }]_{4}$
b. $[\mathrm{jun}]_{1}[\mathrm{k}]_{2}[\mathrm{foo}]_{3}[\mathrm{~d}]_{4}$

ここでは，括弧で囲まれて同じ番号を添えられている部分文字列が，互いに対応関係にあるも

のとする．括弧表現内の英語は空白を使って分かち書きされているため, 上記のような部分文字列の対応関係を利用すれば，片仮名語と英単語が 1 対 1 に対応するように片仮名列を分かち 書きすることができる。また，その過程において，単語間の対応関係も明らかにすることがで きる.

である。以下の例において，下線が引かれた片仮名語と括弧内の英語表現が翻字対であるか否 かを判定することを考える。

(4) a. 検索エンジン (Google) を使って...

b. トラックバックスパム $($ spam) を撃退する...

このように，括弧内に原語ではない表現が出現したり，片仮名語の開始位置が正しく認識され なかった場合には, 片仮名列とアルファベット列の発音の類似度が低くなることが期待できる ため，フィルタリングできると考えられる。単語対応付き翻字対の具体的な抽出手順について は, 5.4 節において説明を行う.

## 5.3 発音モデル

片仮名語と原語における部分文字列の対応関係の発見には, Jiampojamarn ら (2007) が提案 した生成モデルを用いる． $f$ と $e$ をそれぞれ片仮名列とアルファベット列とし, これらの間の対応関係を見つけることを考える。たたし， 原語には空白が存在する可能性があるが, 空白に対応する片仮名文字列は存在しないことから，部分文字列の対応を求めるときにはアルファベッ ト列から空白を取り除いておく．例えば「ジャンクフード」と「junk food」の部分文字列対応

部分文字列の対応とする。具体的には， $\mathcal{A}$ は対応付けられている部分文字列の組 $\left(f_{i}, e_{i}\right)$ の集合 であり, $f=f_{1} f_{2} \ldots f_{|\mathcal{A}|}$ および $e=e_{1} e_{2} \ldots e_{|\mathcal{A}|}$ となる. この部分文字列対応 $\mathcal{A}$ の確率を以下 のように定義する。

$
\log p(f, e, \mathcal{A})=\sum_{\left(f_{i}, e_{i}\right) \in \mathcal{A}} \log p\left(f_{i}, e_{i}\right)
$

一般に $\mathcal{A}$ は観測することができないため隠れ変数として扱い, モデルのパラメータは翻字対 $(f, e)$ の集合から EM アルゴリズムを用いて推定する。詳細は文献 (Jiampojamarn et al. 2007) を参照されたい．表 4 に「ジャンクフード」と「junkfood」に対する部分文字列対応 $\mathcal{A}$ の具体例，および実験において計算された確率値を示す.

この確率モデルを用いて, 与えられた $(f, e)$ に対する部分文字列の対応を次のように決定する.

$
\mathcal{A}^{*}=\underset{\mathcal{A}}{\operatorname{argmax}} \log p(f, e, \mathcal{A})
$
表 4 片仮名列「 $f=$ ジャンクフード」とアルファベット列 $\Gamma e=$ junkfood」に対する部分文字列対応 $\mathcal{A}$ の具体例 $(|\mathcal{A}|=4)$

このとき $\mathcal{A}^{*}$ の中の部分文字列 $e_{i}$ が空白をまたいでしまうと（ジャンクフードの例であれば $e_{i}=\mathrm{kfoo}$ などとなった場合) , $\mathcal{A}^{*}$ を使って片仮名列 $f$ を分かち書きすることができなくなって しまう，そこで，アルファベット列 $e$ が空白を含んでいた場合は，前述のとおり空白を取り除 いて確率值の計算を行うが, 空白の存在した箇所は記憶しておき，部分文字列 $e_{i}$ が空白をまた

## 5.4 単語対応付き翻字対の抽出

この発音モデルを用いて，以下のような手順で単語対応付き翻字対の抽出を行う.

手順 1 括弧内に出現するアルファベット列 $e$ と, その直前に出現する片仮名列 $f$ を抽出し, そ れらの組 $(f, e)$ を翻字対の候補とする。ただしアルファベット列は全て小文字に正規化 する.

手順 2 翻字対候補 $(f, e)$ に対するスコアを以下のように定義し, それが閥値 $\theta$ を越えたものを 正しい翻字対と判定する.

$
\frac{1}{N} \log p\left(f, e, \mathcal{A}^{*}\right)
$

式中の $N$ は $e$ に含まれる単語数であり， $\frac{1}{N}$ という項は単語数が多い場合にスコアが過剩 に小さくなるのを防ぐために導入している。ここでスコアが閥値を下回っていた場合に は，片仮名語の開始位置を正しく判定できていない可能性がある。そこで，片仮名列 $f$ の最左文字を 1 文字ずつ削除していき，間値を上回るものが見つかればそれを翻字対と 判定し，次の翻字対候補の処理に移る。

手順 3 得られた翻字対 $(f, e)$ に対して, 部分文字列対応 $\mathcal{A}^{*}$ に基づいて片仮名列 $f$ を分かち書 きし，単語の対応関係を求める。これにより，単語対応付き翻字対のリストを得ること ができる.

ただし, 手順 2 においては, 表記摇れやタイポなどの要因により, 1 つ片仮名列に対して複数の逆翻字が見つかる可能性がある。その場合は, 各片仮名列 $f$ に対して, 最もスコアの高い 翻字対 $(f, e)$ のみを保持して，それ以外のものは使用しない.

## 6 実験と議論

本節では，提案する 2 つの素性（言い換え素性と翻字素性）が片仮名複合名詞の分割処理の 精度に与える効果について報告を行う。

## 6.1 実験設定

発音モデルのパラメータ推定に必要な翻字対のデー夕は，外国人の名前を日本語で表記する ときにはほぼ常に翻字が行われることに着目し, Wikipedia4を用いて自動的に構築した. 構築手順としては，まず「存命人物」のカテゴリに所属する Wikipeida 記事のタイトルを抽出する ことにより，片仮名表記の人名リストを作成した。そして次に，Wikipediaの言語間リンクを利

表 5 表 2 の規則をもとに抽出された言い換え表現（の候補）。括弧内の数字は頻度を表す

^{4}$ http://ja.wikipedia.org/
}
表 6 単語対応付き翻字対の例. スラッシュは抽出時に検出された片仮名語の単語境界を示す。単語間の 対応関係は自明なので省略する

用し，各人名に対する原語を抽出した。これにより 17,509 の翻字対を収集することができた. このように自動収集したデータの中には翻字対として不適切なものも含まれている可能性があ るが，大量のデータを手軽に用意できるという利点を重視して，この方法を採用している．実際，このようにパラメータ推定のためのデータを大量に生成するアプローチは，翻字生成にお いて有効であることが報告されている (Cherry and Suzuki 2009)。パラメータ推定時には， EM アルゴリズムの初期値を無作為に 10 回変化させ，尤度が最大となったモデルを以降の実験で用 いた。

平均化パープトロンの学習に必要なラベル付きデータは， 日英対訳辞書 $\mathrm{EDICT}^{5}$ を利用して 手作業で作成した，具体的には，まず，EDICT の見出し語から，翻字である片仮名（複合）名
^{5}$ http://www.csse.monash.edu.au/ jwb/edict_doc.html
}
詞を無作為に抽出した。そして，EDICT に記載されている英訳に基づき，単語境界のラべルを 付与した. この結果, 5286 の片仮名語デー夕を得た. このデータにおける構成語数の分布を調 べたところ，構成語が 1 語のものが 3041,2 語のものが 2081,3 語以上のものが 164 となって いた $(3041+2081+164=5286)$. また, 複合名詞 1 つあたりの平均文字数および平均構成語数 は 6.60 および 1.46 であった. 以下本節において報告する実験結果は, このラベル付きデータを 用いて 2 分割交差検定を行ったものである.

言い換え及び逆翻字を抽出するためのテキストには, ウェブから収集した 17 億文のブログ記事を用いた。このテキストを用いることによって14,966,205の言い換え表現と, 116,027 の単語対応付き翻字対を抽出することができた。表 5 と 6 に，実際に抽出された言い換え表現（の候補）と単語対応付き翻字対の具体例を示す.

単語対応付き翻字対の抽出を行う際には閾値 $\theta$ を設定する必要がある。 $\theta$ は確率の対数に対す る閥值であるため, 0 より小さな任意の値を設定することが可能であるが, ここでは $\{-10,-20, \ldots$ $-150\}$ の範囲で値を変化させ, 実験において最も高い $\mathrm{F}$ 值が得られた値 $(\theta=-80)$ を採用した.

## 6.2 ベースライン手法

実験では，3つの教師なし学習手法 (Unigram, GMF, GMF2)，2つの教師あり学習手法 (AP, $\mathrm{AP}+\mathrm{GMF} 2), 3$ の単語分割器 (JUMAN, MeCab, KyTea) との比較を行った. 以下ではこれ らべースライン手法について簡単に説明を行う.

## 教師なし学習

Unigram分割結果 $\boldsymbol{y}$ に対する 1-gram 言語モデルの尤度 $p(\boldsymbol{y})$ が最も大きくなる分割を 選択する手法 (Schiller 2005; Alfonseca et al. 2008):

$
\boldsymbol{y}^{*}=\underset{\boldsymbol{y} \in \mathcal{Y}(x)}{\operatorname{argmax}} p(\boldsymbol{y})=\underset{\boldsymbol{y} \in \mathcal{Y}(x)}{\operatorname{argmax}} \prod_{i} p\left(y_{i}\right)
$

ここで $p\left(y_{i}\right)$ は構成語 $y_{i}$ の出現確率であり，6.1 節で述べたウェブテキストから推定をした値を用いた。

GMF 構成語 $y_{i}$ の頻度の幾何平均 $\operatorname{GMF}(\boldsymbol{y})$ が最大となる分割 $\boldsymbol{y}$ を選択する手法 (Koehn and Knight 2003):

$
\boldsymbol{y}^{*}=\underset{\boldsymbol{y} \in \mathcal{Y}(x)}{\operatorname{argmax}} \operatorname{GMF}(\boldsymbol{y})=\underset{\boldsymbol{y} \in \mathcal{Y}(x)}{\operatorname{argmax}}\left.\{\prod_{i} f\left(y_{i}\right)\right.\}^{1 /|\boldsymbol{y}|}
$

ここで $f\left(y_{i}\right)$ は構成語 $y_{i}$ の出現頻度であり, $p\left(y_{i}\right)$ と同様にウェブテキストから推定した値を用いた。

GMF2 頻度の幾何平均に構成語の長さに基づく補正を導入したスコアを用いる手法 (Nakazawa et al. 2005):

$
\operatorname{GMF} 2(\boldsymbol{y})= \begin{cases}\operatorname{GMF}(\boldsymbol{y}) & (|\boldsymbol{y}|=1) \\ \frac{\operatorname{GMF}(\boldsymbol{y})}{\frac{C}{N^{l}}+\alpha} & (|\boldsymbol{y}| \geq 2)\end{cases}
$

ここで $C, N, \alpha$ は超パラメータ， $l$ は構成語の平均文字数を表す. 本実験では Nakazawa ら (2005) と同じく $C=2500, N=4, \alpha=0.7$ とした.

## 教師あり学習

AP基本素性（3節参照）のみを用いた平均化パーセプトロン.

AP + GMF2 基本素性に加えて GMF2 の処理結果を素性として用いた平均化パーセ プトロン. Alfonseca ら (2008)に従って, (i) $\operatorname{GMF2}(\boldsymbol{y})$ の値が全分割候補中で最大 であるか否かを表す 2 值素性, (ii) 分割を行わない候補（i.e., $|\boldsymbol{y}|=1$ となる候補) よりも GMF2 の値が大きくなるか否かを表す 2 値素性を追加した.

## 単語分割器

JUMANルールベースの単語分割器6 JUMAN ver. 6.0 (Kurohashi and Nagao 1994).

MeCab 対数線形モデルに基づく単語分割器 MeCab ver. 0.98 (Kudo, Yamamoto, and Matsumoto 2004). 解析辞書には NAIST-jdic ver. 0.6.0を用いた.

KyTea 点推定モデルに基づく単語分割器 KyTea ver. 0.3.1 (Neubig, Nakata, and Mori 2011).

## 6.3 ベースライン手法との比較

表 7 に提案手法 (Proposed) とべースライン手法との比較結果を示す.この表の結果から以下 のようなことが分かる.

表 7 ベースライン手法との比較. 表中の $\mathrm{P}, \mathrm{R}, \mathrm{F}_{1}$ は, 認識された単語境界の適合率, 再現率, $\mathrm{F}$ 値を 示す.またAcc は分割精度，すなわち正しく分割された片仮名複合名詞の割合を示す

まず，Proposedと APの結果の比較から，言い換え素性と逆翻字素性を導入することにより，分割精度が大きく向上したことが分かる，マクネマー検定を行ったところ，この精度変化は統計的に有意なものであることが確認された $(p<0.01)$. この結果は, 提案する 2 つの素性の有効性を示すものである.

次に, 提案手法の精度は, 全ての教師なし学習ベースライン (Unigram, GMF, GMF2) 及び AP + GMF2の精度を上回っていることが確認できる。これらの結果は, 複合名詞の言い換えや逆翻字の情報が，構成語の頻度情報よりも効果的であることを示唆している。なお， マクネマー検定を行ったところ, これらの精度向上も全て統計的に有意であることが確認できた $(p<0.01)$.

単語分割器 (JUMAN, MeCab, KyTea)の結果は, これまでに単語分割タスクにおいて報告さ れている精度 (Kudo et al. 2004; Neubig et al. 2011)を大きく下回っている.このことから，一般的な単語分割と比較して, 片仮名複合語の分割処理が困難な夕スクであることが分かる。さ らに, 提案手法の精度は, 単語分割器の精度を大きく上回っており, 提案手法が既存の単語分割器の弱点補強に有用であることが示唆されている. 例えば, 既存の単語分割器によって「片仮名表記の名詞の連続」と解析された部分を, 提案手法を用いて再分割することにより, 解析結果の改善を期待することができる.

表 8 に，MeCabでは分割に失敗したが，Proposed では正しく分割することができた例を示 す.まず最初の例では, 片仮名語「ディクショナリー」がNAIST-jdic に登録されていなかった ため, MeCabは分割に失敗している。一方, Proposedにおいては, 以下のような単語対応付き 翻字対が学習されており, これに基づいて発火した逆翻字素性 (1-gram) が有効に働いた結果,正しく分割することに成功している.

$
\underline{オ ッ ク ス フ ォ ー ト ゙ ~}_{1} \text { ディクショナリー } 22 \text { oxford }_{1} \text { dictionary }_{2}
$

次の例では「メイン」と「タイトル」が両方ともNAIST-jdic に登録されているにも関わらず, MeCabは分割に失敗している。これは, MeCabの未知語処理に起因する誤りであると考えら れる，その一方で Proposed が分割に成功しているのは，例えば「メインのタイトル」といった 言い換え表現に基づく素性など，分割を示唆する素性がより多く発火しているためたと推測で きる。最後の例では，NAIST-jdicに人名「トミー」が登録されているため, MeCabは過分割を 行ってしまっているが, Proposed では「アナトミー」に対する逆翻字素性が適切に発火してお

表 $8 \mathrm{MeCab}$ と Proposed の出力比較、スラッシュはシステムに認識された単語境界を表す

り，過分割を防ぐことに成功している。

本論文の趣旨からは外れるが, 3 つの単語分割器のなかでは KyTea の精度が他の 2 つを大き く引き離している点は非常に興味深い. これは, JUMAN や MeCabの解析アルゴリズムが, 辞書引きによる候補選択に強く依存しているのに対して, KyTea はそのような候補選択を行って いないことが要因と考えられる。

## 6.4 未知語に関する考察

実験に使用した 5286 の片仮名複合名詞のうち，2542は少なくとも1つの未知語を構成語に含ん でいた. ただし, ここで言う未知語とは, 訓練デー夕に出現せず, なおかつ外部辞書 NAIST-jdic にも登録されていない単語のことを指す.未知語が分割精度に与える影響について考察するた め, 提案手法を含む 3 つの教師あり学習手法 (AP, AP + GMF2, Proposed) と単語分割器 MeCab の分類結果を, 1 つ以上の未知語を含む 2542 の片仮名複合名詞と残る 2744 の片仮名複合名詞 に分けて集計した（表 9），以下では，前者のサブセットをw/OOVデータ，後者をw/o OOV データと呼ぶ.

この表から，3つの教師あり学習手法については，w/o OOV データに対しては $90 \% を$ 越える 高い精度が達成されているのに対して, w/ OOV データの精度は大きく低下していることが確認できる. 同様の傾向は MeCabの結果においても見られる. MeCab は汎用的な単語分割器で あるため, 複合名詞分割というタスクに特化して学習された提案手法 (Proposed) やその他の教師あり学習手法 (AP P AP + GMF2）と比べると, 精度自体はどちらのデータにおいても大き く低下している。しかし, w/ OOV データよりもw/o OOV データのほうが精度が高くなると いう傾向は, 依然として確認することができる。これらの結果は, 片仮名複合名詞の分割処理 を困難にしている要因は未知語であるという我々の主張を支持するものである.

3 つの教師あり学習手法は, w/o OOV データについてはほぼ同じ精度を達成していることが 分かる.これは, 既知語に対しては, 基本素性だを使ってすでに高い分類精度が達成されて いるため, これ以上の精度向上が困難であるからだと考えられる。一方, 精度向上の余地が残

表 9 未知語を含む片仮名複合名詞 (w/OOV) とそれ以外の片仮名複合名詞 (w/o OOV) に対する分割結果の比較

されている $\mathrm{w} / \mathrm{OOV}$ データについては, 3 つのシステムの間に大きな精度の差を見てとること ができる，そのため，表７の結果よりも，言い換え素性と翻字素性を導入する効果をより直接的に確認することができる.

## 6.5 言い換え素性と翻字素性の効果

言い換え素性と翻字素性の有効性について詳細に検証するため，異なる 4 つ素性集合を用 いたときの平均化パーセプトロンの分割結果の比較を行った（表 10）. 表の 1 行目は使用した素性集合を表す。BASIC は基本素性，PARAとTRANS はそれぞれ言い換え素性と翻字素性，ALL は全ての素性集合を表す。この表より，言い換え素性と翻字素性の両方ともが分割精度向上に 大きく貢献していることを確認することができた。いずれの場合においても，基本素性だけを 使った場合と比較して, 精度の向上は統計的に有意であった $(p<0.01$, マクネマー検定 $)$.

次に，各素性の発火率について調査を行った。実験で用いたラベル付きデータには 7709 の構成語が含まれており，そのうち $64.0 \%(4937 / 7709)$ は外部辞書に登録されていた.これに対し て, 単語対応付き翻字対に出現していた構成語の割合は $64.0 \%(4935 / 7709)$, 外部辞書か単語対応付き翻字対のいずれかに出現していたものの割合は $77.1 \%(5941 / 7709)$ であった. これによ り, 翻字素性を導入することによって, 未知語の数が大幅に減少していることが確認された.

表 10 言い換え素性と逆翻字素性の効果. 表中の BASIC, PARA, BACKTRANS は, それぞれ基本素性, 言 い換え素性，逆翻字素性を示す。また ALL はそれら全ての素性を示す

図 1 言い換えと単語対応付き翻字対の抽出に用いたブログデータのサイズ（横軸）と各素性の発火率（縦軸）の関係
一方，ラベル付きデータに含まれる構成語 2-gram の数は 2423 であったが, それらに対して発火していた言い換え素性と翻字素性の割合は，それぞれ $79.5 \%$ (1926/2423) と 12.8\% (331/2423) であった。これらの結果から，提案素性はいずれも精度向上に寄与しているものの，カバレー ジにはまだ改善の余地があることが分かった.

続いて, 素性の発火率と収集元であるブログデータの大きさの関係を調査した（図 1）。ここ ではブログデータの大きさとして, 収集したブログ記事（UTF8 エンコーディング）を gzip で 圧縮したデータのサイズをギガバイト単位で表示している。この図から，大量のブログデータ を使うことによって, 高い発火率を実現できていることが確認できる. しかし, その一方で, データが増えるにつれて，発火率の向上の度合いは鈍りつつある。このことから，データを単純に増加させるだけでは，ここからの大幅な発火率の改善を期待することは難しく，言い換え 規則の拡張などの方法も併せて検討していくことが今後重要になると考えられる.

## 6.6 パラメータ $\theta$

最後に, パラメータ $\theta$ の値を変化させたときの影響について調査を行った（図 $2-4$ ). 図 2 と 3 は，様々な值の $\theta$ に対する，単語対応付き翻字対の抽出数および逆翻字素性の発火した割合 （6.5 節において議論したもの）を示している。これらの図から， $\theta$ の値をある程度小さく設定す れば, 十分な数の翻字対が抽出され, その結果として多くの事例において素性が発火するよう になることが分かる。図 4 は $\theta$ と $\mathrm{F}$ 値の関係を示している。 さきほどの 2 つの図との比較する と, 翻字対の抽出数と素性の発火数の増加が, $\mathrm{F}$ 值の向上に直接結びついていることが分かる.

パラメータの値が極端に大きい場合 (e.g., - 20)においては, F 值が低下する傾向が見られた ものの，パラメータによらず $\mathrm{F}$ 値はおおよそ一定であった。この結果から，提案手法の精度は パラメータ設定に敏感ではなく，パラメータ調整は難しい作業ではないことが示唆される。ま た, 少なくとも実験において調べた範囲では，提案手法はパラメータ值によらず，基本素性の みを用いた場合よりも高い $\mathrm{F}$ 値を達成することができた。そのため，パラメータの微調整が提

図 2 パラメータ $\theta$ (横軸) と抽出された単語対応付き翻字対の数（縦軸）

図 3 パラメータ $\theta$ (横軸) と逆翻字素性の発火率 (縦軸). グラフ中の三角と四角は, それぞれ構成語 1-gram と 2-gram に対する発火率を表す

図 4 パラメータ $\theta$ (横軸) と $\mathrm{F}$ 値 (縦軸) の関係. グラフ中の三角と四角は, それぞれ全素性を使った 場合と, 基本素性のみを使った場合に相当する

案手法の性能に与える影響は小さいと言うことができる.

## 6.7 誤りの分析

提案手法が分割を誤った事例を調べたところ，「アップロード」を「アップ」と「ロード」、「ト ランスフォーマー」を「トランス」と「フォーマー」に分割するなど，単語を過分割している 事例が見られた。ここでの「アップ」や「トランス」は接頭辞であると考えられるため, これ らの分割結果は形態論的分割 (morphological segmentation) としては正しいものであるかもしれ ないが，単語分割としては不適切であると考えられる。

こうした過分割が発生する要因として，接辞と単語の曖昧性を指摘することができる。例え ば「アップ」は，確かに接頭辞の1つであるが，文脈によっては「給料がアップする」のように 独立した名詞として使われる場合もある。同じく「トランス」に対しても「トランス状態」の ような名詞用法を考えることができる。このような曖昧性によって引き起こされる最も顕著な 問題は, 辞書素性（表 1 におけるテンプレート ID4）が過剩に発火することである，前述の過
表 11 過分割結果に影響を与えたと思われる単語対応付き翻字対の一部

 &  \\

分割の事例においては，NAIST-jdicに「アップ」と「トランス」がともに名詞として登録され ていたため, 本来不適切な分割結果であるにも関わらず辞書素性が発火していた。

これと同様の問題は, 辞書素性だけでなく, 逆翻字素性においても発生しうる．5 節で説明し た単語対応付き翻字対の抽出手法は，原語が正しく分かち書きされていることを前提としてい た.しかしながら，実際には接頭辞や接尾辞の前後に空白区切りを挿入しているテキストも存在するため, 不適切な対応関係が学習されてしまう場合がある.

表 11 は上記の過分割結果に影響を与えたと思われる単語対応付き翻字対の一部である。この 表から,「アップロード」と「トランスフォーマー」については, それぞれ原語との対応関係が 適切に学習されていることが確認できる。しかしながら「アップローダー」と「トランスフォー ム」については, 原語が接頭辞の直後で分かち書きされていたため, 不適切な単語対応が学習 されていることが分かる。こうした対応付け結果から導出された逆翻字素性（この例では特に 1-gram）は分割に悪影響を与えている可能性がある．翻字抽出の手法を改善することにより， こうした誤りを減少させることは, 今後の課題の一つであると考えている.

過分割が多くみられた別要因としてデータの偏りを考えることもできる．今回使用したデー 夕の半数以上は構成語数が 1 つであったため, そもそも過分割が発生しやすい設定の実験になっ ていた可能性がある（6.1 節を参照）．現在のところ，当該タスクに対する別のデータセットを 用意することは難しいため，この点をすぐに調査することはできないが，今後の研究の中で議論を深めていくべきであると考えられる.

## 7 おわりに

本論文では，言い換えと逆翻字を用いて，片仮名複合語の分割処理の精度を向上させる方法 を提案した．提案手法により，大規模なラベルなしテキストを分割処理に利用することが可能 となり, 分割精度の低下の要因となる未知語の影響を軽減させることが可能となる．実験にお いては，8つのベースライン手法との比較を通じて，提案手法の有効性を実証的に示した.

今後の課題としては, 提案手法と既存の単語分割手法を融合した解析モデルの構築に取り組

みたい， 6.3 節においては，提案手法を後処理に利用可能であることについて言及したが，そう したアドホックな方法は, 学術的立場からは必ずしも満足のいくものではないと考えている.提案手法と既存の単語分割を組み合わせる方法としては, 今回提案した素性を統計的な単語分割器に追加することなどが考えられるが, 現時点ではその有効性について十分な検証を行うこ とができておらず，今後調查すべき課題であろう。また, 近年では, 教師なし学習による単語分割手法も盛んに研究されているが，そうした手法に言い換えや翻字の情報を取り入れること も興味深い問題である (Mochihashi, Yamada, Naonori, and Ueda 2009).

これに加えて, 本論文の中で提案したアイデアを一般化していくことも, 今後重要な研究課題になると考えている。本論文では議論の対象を英語由来の片仮名複合名詞に限定していたが，同様の手法は，その他の片仮名語に対しても有効である可能性が高い．例えば，翻字素性は，英語以外の言語からの借用語に対しても有効に働くことが期待できる。また，言い換え素性は，和語や漢語の片仮名表記に対しても有効である可能性が高い（例えば「トンコッラーメン」に 対する「トンコッのラーメン」などの言い換え)，さらに，言い換えを単語境界の認識に利用す るという考え方は, 複合名詞に限らず，単語分割処理一般に対しても適用できる可能性がある.今後はこうした方向についても研究を進めていきたい.

## 参考文献

Alfonseca, E., Bilac, S., and Pharies, S. (2008). "German Decompounding in a Difficult Corpus." In Proceedings of CICLing, pp. 128-139.

Ando, R. K. and Lee, L. (2003). "Mostly-unsupervised statistical segmentation of Japanese kanji sequences." Natural Language Engineering, 9 (2), pp. 127-149.

Braschler, M. and Ripplinger, B. (2004). "How effective is stemming and decompounding for German text retrieval?" Information Retrieval, 7, pp. 291-316.

Breen, J. (2009). "Identification of Neologisms in Japanese by Corpus Analysis." In Proceedings of eLexicography in the 21st centry conference, pp. 13-22.

Brill, E., Kacmarcik, G., and Brockett, C. (2001). "Automatically Harvesting Katakana-English Term Pairs from Search Engine Query Logs.” In Proceedings of NLPRS, pp. 393-399.

Brown, R. D. (2002). "Corpus-Driven Splitting of Compound Words." In Proceedings of TMI.

Cao, G., Gao, J., and Nie, J.-Y. (2007). "A System to Mine Large-Scale Bilingual Dictionaries from Monolingual Web Pages." In Proceedings of MT Summit, pp. 57-64.

Cherry, C. and Suzuki, H. (2009). "Discriminative Substring Decoding for Transliteration." In Proceedings of EMNLP, pp. 1066-1075.

Freund, Y. and Schapire, R. E. (1999). "Large margin classification using the perceptron algo-
rithm." Machine Learning, 37 (3), pp. 277-296.

Holz, F. and Biemann, C. (2008). "Unsupervised and Knowledge-Free Learning of Compound Splits and Periphrases." In Proceedings of CICLing, pp. 117-127.

Jiampojamarn, S., Kondrak, G., and Sherif, T. (2007). "Applying Many-to-many Alignment and Hidden Markov Models to Letter-to-phoneme Conversion." In HLT-NAACL, pp. 372-379.

Kageura, K., Yoshikane, F., and Nozawa, T. (2004). "Parallel Bilingual Paraphrase Rules for Noun Compounds: Concepts and Rules for Exploring Web Language Resources." In Proceedings of Workshop on Asian Language Resources, pp. 54-61.

Koehn, P. and Knight, K. (2003). "Empirical Methods for Compound Splitting." In Proceedings of EACL, pp. 187-193.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of EMNLP, pp. 230-237.

Kurohashi, S. and Nagao, M. (1994). "Improvements of Japanese Morphological Analyzer JUMAN." In Proceedings of the International Workshop on Sharable Natural Language Resources, pp. 22-38.

Mochihashi, D., Yamada, T., Naonori, and Ueda (2009). "Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling." In Proceedings of ACL, pp. 100-108.

Nakazawa, T., Kawahara, D., and Kurohashi, S. (2005). "Automatic Acquisition of Basic Katakana Lexicon from a Given Corpus." In Proceedings of IJCNLP, pp. 682-693.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of ACL, pp. 529-533.

Oh, J.-H. and Isahara, H. (2008). "Hypothesis Selection in Machine Transliteration: A Web Mining Approach." In Proceedings of IJCNLP, pp. 233-240.

Okazaki, N., Ananiadou, S., and Tsujii, J. (2008). "A Discriminative Alignment Model for Abbreviation Recognition." In Proceedings of COLING, pp. 657-664.

Schiller, A. (2005). "German Compound Analysis with wfsc." In Proceedings of Finite State Methods and Natural Language Processing, pp. 239-246.

Schwartz, A. S. and Hearst, M. A. (2003). "A simple algorithm for identifying abbreviation definitions in biomedical text." In Proceedings of PSB, pp. 451-462.

Tsujimura, N. (2006). An Introduction to Japanese Linguistics. Wiley-Blackwell.

Wu, X., Okazaki, N., and Tsujii, J. (2009). "Semi-supervised Lexicon Mining from Parenthetical Expressions in Monolingual Web Pages." In Proceedings of NAACL, pp. 424-432.

## 略歴

鍜治 伸裕: 2005 年東京大学大学院情報理工学系研究科博士課程修了. 情報理工学博士. 東京大学生産技術研究所産学官連携研究員および特任助教を経て,現在, 同特任准教授. CGM テキストの解析を中心とした自然言語処理の研究に興味を持つ。

喜連川 優: 1983 年東京大学工学系研究科情報工学専攻博士課程修了. 工学博士. 東京大学生産技術研究所講師. 助教授を経て, 現在, 同教授. 東京大学地球観測デー夕統融合連携研究機構長. 東京大学生産技術研究所戦略情報融合国際研究センター長. 文部科学官. 2005 年から 2010 年まで文部科学省「情報爆発」特定研究領域代表，2007 年から 2009 年まで経済産業省「情報大航海プロジェクト」戦略会議委員長, 情報処理学会フェロー, 2008 年から 2009 年まで副会長, データベース工学の研究に従事.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# トピック情報を用いたブートストラップ法に基づく語彙獲得

貞光 九月 $\dagger$ ・齋藤 邦子 $\dagger \cdot$ 今村 賢治 $^{\dagger} \cdot$ 松尾 義博 $^{\dagger} \cdot$ 菊井玄一郎 $\dagger,+\dagger$

本論文ではブートストラップ法を用いた語彙獲得を行う際に，トピック情報を用い ることでセマンティックドリフトを緩和し，獲得精度を向上できることを示す，獲得対象とする語を含む文書の大域的情報であるトピック情報を，統計的トピックモ デルを用いて推定し，識別モデルを用いたブートストラップ法における 3 つの過程 で利用する. 1 つ目は識別モデルにおける素性として，2つ目は負例生成の選択基準として，3つ目は学習デー夕の多義性解消のために用いる. 実験において，提案手法を用いることでセマンティックドリフトを軽減し, 語彙の獲得精度が 6.7 から 28.7\%向上したことを示す.

キーワード：語彙獲得，ブートストラップ法，セマンテイックドリフト，統計的トピックモ デル, LDA
## Entity Set Expansion based on Bootstrapping Methods using Topic Information

\author{
Kugatsu Sadamitsu $^{\dagger}$, Kuniko Saito $^{\dagger}$, Kenji Imamura ${ }^{\dagger}$, Yoshihiro Matsuo ${ }^{\dagger}$ \\ and Genichiro KiKUI ${ }^{\dagger}, \dagger \dagger$
}

This paper proposes three modules based on latent topics of documents for alleviating "semantic drift" in bootstrapping entity set expansion. These new modules are added to a discriminative bootstrapping algorithm to realize topic feature generation, negative example selection and positive example disambiguation. In this study, we model latent topics with LDA (Latent Dirichlet Allocation) in an unsupervised way. Experiments show that the accuracy of the extracted entities is improved by 6.7 to $28.2 \%$ depending on the domain.

Key Words: Set expansion, Bootstrap, Semantic drift, Statistical topic models, LDA

## 1 はじめに

自然言語処理技術を用いた多様なアプリケーションにおいて, 対象ドメインに特化した辞書 が必要となる場面は多く存在する。例えば情報検索タスクにおいて，検索クエリとドメイン辞書とを併用することで検索結果をドメイン毎に分類して提示することを可能としたり，特定の ドメインに特化した音声認識システムにおいてはそのドメインに応じた認識辞書を用いた方が

音声認識精度が高いことが知られている (廣嶋, 大附, 林 2004).

一方で, 特定のドメインに対する要求でなく, ドメイン非依存の場面においても, 詳細なクラ スに分類した上で体系的な辞書を用いる必要が生じる場合がある。例えば関根らの定義した拡張固有表現 (Sekine 2008) は，従来の IREX 固有表現クラスが 8 クラスであったのに対し，200 もの細分化されたクラスを持つ. 橋本らによって作成された関根の拡張固有表現に基づくラべ ル付きコーパスにより, 機械学習による拡張固有表現抽出器の研究がなされている (橋本, 乾,村上 2008 ; 橋本, 中村 2010) が, コーパスにおいて付与された各クラスの出現数にはばらつき があり，極端に学習データの少ないクラスも存在する。コーパスから単純な学習により固有表現抽出器を構築した場合, これら低頻度のクラスについて正しく学習できないことが予想され るため, 各クラス毎の直接的な辞書の拡充が必要とされる.

このようにドメインやクラスに依存した辞書の重要性は高いが，一方で辞書の作成には大き な人的コストがかかってしまうため, 可能な限りコストをかけずにドメイン依存の語彙を獲得 したいという要求がある。本論文で対象とする語彙獲得タスクは, ドメインやクラスに応じた 少量の語彙集合, 特に固有表現集合で表される教師デー夕を用いて, 新たな固有表現集合を獲得 することを目的とする。なお, 本論文では固有表現をエンティティ, 初期に付与される教師デー タをシードエンティティと呼ぶこととする。語彙獲得タスクにおいては, 教師データを繰り返 し処理により増加させることのできる，ブートストラップ法を用いた手法が多く提案されてお り (Pantel and Pennacchiotti 2006; Bellare, Talukdar, Kumaran, Pereira, Liberman, McCallum, and Dredze 2006), 本論文でも同様にブートストラップ法に基づいた手法を提案する. ブート ストラップ法の適用により, 初期に少量のシードエンティティしか存在しない場合であっても,手掛かりとなる情報，すなわち学習デー夕を逐次的に増加させることが可能であるため, 大規模なエンティティ獲得に繋がる。しかしブートストラップ法を用いたエンティテイ獲得におけ る課題として, 獲得されるエンティティの持つ意味が, シードエンティティ集合の元来の意味 から次第に外れていくセマンティックドリフトと呼ばれる現象があり, エンティティ獲得精度 を悪化させる大きな要因となっている.

本論文では, 従来用いられてきた局所的文脈情報だけではなく, 文書全体から推定されるト ピック情報を併用することで， セマンティックドリフトの緩和とエンティティ獲得の精度向上 を図る，本論文におけるトピックとは，ある文書において述べられている「政治」や「スポー ツ」等のジャンルを指し, 統計的トピックモデル（以下トピックモデル）を用いて自動的に推定する。本論文ではエンティティ獲得精度向上のために，トピック情報を 3 通りに用いた手法 を提案する。第一に，識別器を用いたブートストラップ法における素性として利用する。第二 に, 識別器において必要となる学習用の負例を自動的に生成する尺度として利用する. 第三に,教師データ中のエンティティの多義性を解消することで, 適した教師データのみを利用する.以下 2 節で先行研究とその課題, 3 節でトピック情報を用いた詳細な提案手法, 4 節で実験結果

について報告し, 提案手法が少量のシードからのエンティティ獲得において効果があることを 示す.

## 2 ブートストラップ法を用いた語彙獲得における課題

## 2.1 ブートストラップ法とセマンティックドリフト

本節では, ブートストラップ法によるエンティティ獲得の基本的な処理の流れと, その課題 について述べる。はじめに, ブートストラップ法に基づくエンティティと属性の関係獲得法で ある Espresso (Pantel and Pennacchiotti 2006) について述べる。属性とは獲得対象とするエン ティティ集合において, 複数のエンティティが共通して関係する語 ("has-a” や “is-a" 等の関係) であるとする．例えばエンティティ「ヤクルト」と「巨人」の属性は，「監督」(has-a) や「球団」(is-a) 等となる。関係獲得タスクは語彙獲得タスクを含んだタスクと捉えられるため, 両者 を比較することに意味はある. Espresso では，初期に与えられるシードエンティティとシード 属性の組から，それらを含んで出現する文脈パターンを手掛かりとして，新たなエンティティー 属性ペアに対し, 自己相互情報量 (PMI) に基づいて定義されたスコア関数に基づいてスコアを 付与する。ここでの文脈パターンの例としては，「NTT」をエンティティ $(\mathrm{X}), 「$ 株価」を属性 (Y) とした場合,「X (NTT) /の/Y（株価）/が/反発」といったものがあげられる. Espresso は ブートストラップ法の各繰り返しにおいて，スコア関数値を高くするようなエンティティ-属性 ペアを新たな正例として獲得するフェーズと，文脈パターンの獲得フェーズを交互に行い，必要なエンティティ-属性ペア数が得られるまで繰り返す。ブートストラップ法を用いることで 少量のシードエンティティのみが与えられた場合でも, 教師データを増加させつつ新たなエン ティティを獲得していくことが可能なため, 本稿でも Espresso と同様, ブートストラップ法に 基づいた語彙獲得を行っていく.

ブートストラップ法によって少量のシードエンティテイから新たなエンティティ集合を獲得 する際の主な課題として, 獲得する対象が本来獲得すべき種類とは異なる対象へと次第に変わっ ていってしまうという現象があげられる。例えば獲得対象が企業名である場合に，「NTT」と 「トヨタ」をシードエンティティとして与え, Espresso 等のエンティティ獲得アルゴリズムによ り「ヤクルト」が獲得できたとする。しかし「ヤクルト」には企業名以外にも，プロ野球球団名や飲料品名といった多義性が存在するため, 次の繰り返しにおいて獲得されるエンティティ が「巨人」等の本来獲得対象としていたエンティティではないものに遷移していく場合がある. この現象はセマンティックドリフトと呼ばれ，ブートストラップ法に基づく語彙獲得における 精度低下の大きな要因となっている.

## 2.2 識別モデルに基づくブートストラップ法と課題

先行研究では, 新たなエンティティを選択する際のスコア関数を独自に定義することでセマ ンティックドリフトを抑え，エンティティを精度良く獲得する手法が提案されている (Thelen and Riloff 2002; Sarmento, Jijkuon, Rijke, and Oliveira 2007).これらのスコア関数は, 基本的 には Espresso と同様にシードエンティティの特徴になるべく近い特徴を持つエンティティに対 し，高いスコアを与えるように設計されている.

スコア関数についての研究とは異なる観点で提案されたのが Bellare らの識別モデルに基づく ブートストラップ法である (Bellare et al. 2006). 彼らの方法では識別モデルからのスコアによっ てスコア関数を構築するため, 柔軟な素性設計が可能となる。例えば, $\mathrm{X}(\mathrm{NTT}) /$ の/Y (株価) / が/上昇」という文脈を考えた時, 素性関数 $f$ によって $f$ (surf. = “の”, position $=X+1)=1$, $f($ surf. $=$ “上昇", position $=Y+2)=1$ といった素性が構築される. Bellare らは Espresso と同様に関係獲得タスクに識別モデルに基づくブートストラップ法を適用しているが, 文脈パターン に相当する素性の重みは，識別学習によって自動的に付与される，そのため Espresso における 文脈パターン獲得フェーズは不要となり, 代わりにエンティティ獲得フェーズと属性獲得フェー ズとに分けた手法が提案されている。我々は Bellare らの手法に若干の変更を加えたものをべー スラインとして用いることとした.このべースラインについては 3.1 節で詳しく述べる.

Bellare らの手法及び我々のベースラインシステムには 3 つの課題が残存する．1つ目の課題 は，大域的な情報が識別モデルに反映されていないという点である. 識別モデルの導入により 素性の柔軟な設計が可能になった一方, 彼らは局所的な文脈中の単語の表層と品詞のみを素性 として用いるのみで, 識別モデルの利点を積極的には用いていない. 局所的文脈に基づく素性 のみでは，エンティティの曖昧性を解消できない場合がしばしばある。例えばエンティティ「ヤ クルト」は企業名としても球団名としても存在する．「ヤクルト」に対して「捕手」のような属性を付与することによって，ある程度曖昧性を解消することは可能であるが，属性を付与した 場合でもなお曖昧性が残る場合もある。ここで属性として「広報」が与えられ，文書が次のよ うに与えられている場合を考える。「18日の夜，ヤクルトの広報担当者が取材に対してコメン 卜を発表した。 18 日の試合で途中退場した $\mathrm{Y}$ 選手は, 診断の結果軽いねんざと診断された, と コメントは伝えている.」一文目だけを見た場合，このヤクルトは企業名を指すか球団名を指す かは明らかではない，文書全体を読むことで，このエンティティが「球団名」を指しているこ とが明らかになるが，局所的な文脈パターンのみを用いた場合，文書全体からの大域的情報を 利用することはできない，我々は文書全体を通して存在するトピックを，エンティティ識別の 際の素性として用いる方法を 3.2 節において述べる。

2 つ目の課題は, 識別学習における負例の問題である. 識別学習では正例と負例が必要にな ることが一般的である. Bellare らは現在の正例以外全てを負例として扱っているが，この場合 も偽負例が混じる可能性が排除できない上, 正例と負例の量が大きく乘離するというデータ非
平衡の問題もある。一方, Mintz らは複数のクラスに属する正例群を与えた後, 別のクラスに 属するエンティティと属性を擬似的な負例ぺアとすることで負例を生成している (Mintz, Bills, Snow, and Jurafsky 2009). しかし, 1 つのクラスのみを獲得対象とする場合, このような負の クラスを加えることには人的コストがかかる上, 属性を組み合わせたとしても，エンティティ 「ヤクルト」に対する多義属性「広報」が存在するように，属性の多義性によって偽負例が生成 されてしまう可能性がある。

3 つ目の課題はシードエンティティの質及び獲得された正例エンティティの多義性についての 問題である。少量のシードエンティティのみを手がかりとして行う語彙獲得タスクでは，シー ドエンティティによる精度への影響は大きい. Pantel らは大規模な WEB に対して, 比較的単純 なスコアリング関数を用いて効率的なエンティティ獲得手法を提案しており (Pantel, Crestan, Borkovsky, Popescu, and Vyas 2009), 10 個程度のシードエンティティにより十分な精度でエン ティティ集合が得られると報告している。一方で Vyas らはシードエンティティの選択により エンティティ獲得の結果に影響が出ることを示している (Vyas, Pantel, and Crestan 2009). 特 に多義性のあるシードエンティティが混入した場合にセマンティックドリフトが生じやすく,精度の劣化は大きいと考えられるため, Vyas らは精度を落とす可能性の高いシードを除去する アルゴリズムを提案している。この問題はシードエンティティに限らず，獲得された後に教師 データとして用いられるエンティティについても同様が生じてしまう。

我々はこれら 3 つの課題に対し，トピック情報を用いて解決する手法を以下で提案する.

## 3 トピック情報を用いたブートストラップ法

## 3.1 ベースライン手法

本節では Bellare らの手法を基としたべースライン手法について述べる。なお，本節べースラ イン手法は図 1 の実線矢印で, 次節以降で述べる提案手法は破線矢印で表している。本べース ライン手法が Bellare らの手法と異なる点は, 獲得対象がエンティティに限られるという点であ る.そのため, 本べースライン手法ではエンティティ獲得と属性獲得との交互獲得は行わず,初期に正例属性集合として与えた後の属性集合は不変であるとする．新規属性獲得を行うこと も可能ではあるが，獲得された属性集合に偽正例が混じることによってセマンティックドリフ トが生じるリスクを排除するために，エンティティのみの獲得を行うこととした.

ベースライン法においては, はじめに人手によって $N_{e}$ 個の正例シードエンティティ集合 $E_{P}$ が与えられた後，シードエンティティとの PMI の大きい順に各名詞のランキングを行う．ラン キングされた名詞のうちスコアの高い方から $N_{a}$ 個の正例属性集合 $\left(A_{p}\right)$ を選択する. $N_{e}$ 及び $N_{a}$ は事前に調整するパラメータであり，本論文ではいずれも 10 とした。エエティテイ-属性 ペアとしてのシードは, シードエンティティ集合 $E_{P}$ と正例属性集合 $A_{P}$ とを組み合わせるこ

図 1 提案手法のシステム構成図

とで得た．次にこのエンティティー属性ペアを，正例教師データ用の文書集合を獲得する際の検索クエリとして用いる．検索の結果得られる，あるエンティティ-属性ペア $\{e, a\} を$ 含む正例文書集合を $D_{e, a}$ と表す. 1 つ 1 の文書を個別に教師データとして用いるのではなく, 同じエ ンティティー属性ぺアを含む文書をまとめることにより，過適応の緩和が期待できる．正例文書集合 $D_{e, a}$ を元に $e, a$ の周辺文脈についての素性化を行う一方，学習用の負例についても文書集合全体からランダムに選択した後に素性化を行い，これらを元に識別モデルを学習する。次に 識別モデルの適用方法について述べる。新規正例エンティティとなりうる候補エンティティは,正例属性 $a \in A_{P}$ の近傍に出現する固有表現 $e^{\prime}$ のみに限定する. 訓練データの場合と同様, 過適応緩和のため, 識別対象 $e^{\prime}, a$ は文書集合 $D_{e^{\prime}, a}$ としてまとめられ，素性化処理を行った後に 識別モデルが適用される。識別モデル適用の結果出力されるスコアを $s(e, a)$ とし, 正例属性集合 $A_{p}$ について $s(e, a)$ の和をとったスコア $\sum_{a \in A_{P}} s(e, a)$ の値の高い方から順に, 任意の種類数の新規正例エンティティを獲得する.

## 3.2 トピック素性とトピックモデル

2.2 節で 1 つ目の課題として述べたように, 識別モデルにおける素性としてこれまでは局所的文脈に基づく素性が用いられてきた (Bellare et al. 2006)，我々は文脈情報に加え，トピック情報を併用することでエンティティの持つ曖昧性を解消し， セマンティックドリフトの影響を緩和する．文書の背景にあるトピックを利用する場合，文書に対して明示的にトピックラベルが 付与されているデータであれば，そのラベルを直接トピック情報として用いることができるが，全ての文書にトピックラベルを人手で付与するにはコストがかかる。本稿ではラベル無しの文
書集合しか存在しない場合でもトピック情報の取得を可能にするため, 文書のトピックと単語 との関係をモデル化するトピックモデルを用いる，トピックモデルは，文書のトピックと関連 の強い単語に高い確率を付与することで，文書をより緻密に表現できるモデルであり，情報検索等多様なアプリケーションにおいて利用されている (Hofmann 1999). 例えばある文書のトピッ クがスポーツであるならば,「サッカー」といったスポーツに関する単語が出現しやすく, 「国会」といった単語が出現しにくい，といった大域的情報を扱うことができる。

本稿ではトピックモデルとして，各文書におけるトピック間の共起関係をディリクレ分布に よって表現する Latent Dirichlet Allocation (LDA) を用いることとする (Blei, Ng, and Jordan 2003)．LDA をはじめとするトピックモデルを用いることで，具体的には文書 $d$ におけるトピッ ク $z$ の事後確率 $p(z \mid d)$ を計算することが可能となる．LDAを用いた場合，事後確率を解析的 に求めることは困難であるが，変分べイズ法を用いて近似的に事後確率を求めたり (Blei et al. 2003)，マルコフ連鎖モンテカルロ法を用いて近似的に事後確率を推定することが可能である (Griffiths and Steyvers 2004). 例えば, 2.2 節の「ヤクルト」の例に関して, トピックモデルは トピック $z=$ “野球”に対して高い事後確率を付与することが期待される¹.この事後確率は文書 $d$ のトピック $z$ らしさを表現していることに他ならないので，識別における大域的素性とし て直接的に活用できる，我々の手法において，エンティティ-属性ペア $e, a$ に対するトピック素性 $\phi_{t}(z, e, a)$ は, LDAの事後確率に基づいて以下のように計算される.

$
\phi_{t}(z, e, a)=\frac{\sum_{d \in D_{e, a}} p(z \mid d)}{\sum_{z^{\prime}} \sum_{d \in D_{e, a}} p\left(z^{\prime} \mid d\right)}
$

## 3.3 トピック情報に基づく負例生成

正例のみが存在する状況下で識別モデルを利用する際に問題となるのは，学習用の負例をい かに生成するかという点であり，2.2 節において 2 つ目の課題としていた。例えば初期の正例以外全てを負例として扱う場合や，ランダムに負例を選択する場合，実際には正例である事例を，誤って負例として扱ってしまう偽負例を生じてしまい，識別結果に対しても悪影響を及ぼす可能性がある。我々の目的は偽負例の生成を抑制するというだけでなく, 正例と負例の量を平衡 に保ちつつ，セマンティックドリフトを緩和するために幅広いジャンルから負例としてふさわ しいものを獲得することである。本節ではトピックモデルを用いることでこのような要求を満 たす負例を自動的に獲得する手法について述べる. 負例生成問題は, 正例とラベルなしデータ のみが存在する場合における主要な問題と捉えられている (Liu, Lee, Yu, and Li 2002; Li, Liu, and Ng 2010). しかし先行研究における手法はある程度大きな規模の正例データを想定してお り，我々が用いる非常に少量の正例データについては有効に機能しないと考えられる。
^{1} z$ は離散変数上の確率変数であり, 明示的にトピックを表すような単語を値とはとらない.
}

そこで, 前節で用いたトピックモデルの尺度において, 正例からできるだけ遠い事例を負例 として選択する手法を提案する，トピックの分布は単語の分布と比べ比較的密であり, 少量の 正例データからでも正のトピックが推定可能である．各異なり単語を独立次元とするべクトル 表現では，例えば「プリウス」と「キャディラック」では全く異なる次元に存在するが，トピッ クを独立次元とするべクトル表現で捉えると, これらの単語を含む文書は同じトピック次元上 に存在する可能性が高く, 逆に言えば, 負例はそれ以外のトピック次元中に存在しやすい. ト ピックに基づくこの尺度をトピック $z$ に対する“正のトピックスコア” $P T(z)$ と呼び, 本スコ アを元に負例にふさわしい文書を選択していく，正のトピックスコア $P T(z)$ を，以下のように 正例文書集合 $D_{e, a}$ 中の各文書が与えられた時の事後確率の和として定義する.

$
P T(z)=\frac{\sum_{d \in D_{e, a}} p(z \mid d)}{\left|D_{e, a}\right|} .
$

$P T(z)$ の低い方から $50 \%$ のトピックを負のトピックとし, 負のトピック各々において同数ずつ,総数が正例文書数と等しくなるように文書を選択した。この際の文書の選択基準としては, 負 のトピックに対する事後確率が高く，かつエンティティ候補となり得る固有表現と属性に相当 する名詞が，任意のウインドウサイズ内に現れる文書であるとした．本実験に用いたウインド ウサイズは 3 単語である.

## 3.4 トピック情報による正例の多義性解消

本節では 2.2 節で挙げた 3 つ目の課題, 正例の教師デー夕に多義性が含まれ得るという課題を 解決する手法を提案する. 正例の中には多義性を持つものも存在するため, その正例が出現する 全ての文書を正例の抽出対象として用いることはセマンティックドリフトを引き起こす要因と なる (例えば 2.2 節の「ヤクルト」の例があげられる). 従来研究ではこのようなセマンティック ドリフトを引き起こす要因となるシードエンティティを除外する手法が提案されている (Vyas et al. 2009). これに対し，我々はトピックを用いることにより，エンティティを無条件に除外 するのではなく, ドメインに合ったトピックでは活かし, ドメインから外れたトピックでは除外するといったような, 細かな処理を可能とする手法を提案する。「ヤクルト，広報」というエ ンティティー属性の二つ組に加え，「ヤクルト，広報， $z=$ “野球”」のような三つ組の形とする ことで，より確実性の高い正例集合を作ることができる。

具体的には，前節で述べた正のトピックスコア $P T(z)$ をここでも利用する。まず，任意の閾值 $t h$ において， $P T(z)>t h$ を満たすトピック $z$ を正のトピックとする。もしも条件を満たす $z$ が 1 つもな場合は, 最も $P T(z)$ の高い $z$ を正のトピックとする. そして正例文書集合の中か ら，正のトピックに含まれる全てのトピック $z^{\prime}$ に対し， $p\left(z^{\prime} \mid d\right) \leq t h$ となるような文書 $d$ を正例文書集合から除外する。なお，シードエンティティが与えられているか否かに関わらず，文
書単位のトピック事後確率は事前に全て計算しておくことが可能であるため，本手法の適用は 比較的高速に行うことが可能である。本節で述べた手法は， 3.2 節のトピック素性をハード制約 として用いた場合と捉えることができる.

## 4 実験

## 4.1 実験条件

本節では提案手法の有効性を示すために, 少量のシードエンティティからの新規エンティティ 獲得精度を比較し，その結果についての考察を行う。

実験には 2008 年 5 月の日本語ブログ約 3000 万記事を用いた。単語及び固有表現を処理単位 として素性に変換しており（以後簡単のため固有表現を含めて単語と呼ぶ），形態素解析には JTAG (Fuchi and Takagi 1998)を, IREX 定義に基づく固有表現抽出器には最小誤り分類基準に 基づくCRF を用いた (Suzuki, McDermott, and Isozaki 2006). 素性を獲得する素性テンプレー トとしては “(head) entity (mid.) attribute (tail)”を用いた. head, mid. tailに位置する各単語 は表層, 品詞, 固有表現ラベルに対し, その位置情報を付加した上で素性に変換する。文脈の ウインドウサイズ $(|h e a d|,|m i d|,|t a i l|)$ はそれぞれ最大で 2 単語とし, 素性は正例, 負例を通じ て最低 5 回以上出現しているものを用いた.

本節では「車名」「番組名」「スポーツ組織名」の 3 つのドメインを対象に実験を行う。一回 の繰り返しで獲得するエンティティ種類数は 100 種類とし，合計 10 回の繰り返しを経て, 最終的に 1000 種類の新規エンティティを獲得する. シードとしたエンティティと属性を表 1 に 示す. 正例属性はシードエンティティとの PMI の高いものから順に 10 個を選択したが, 番組

表 1 シードエンティティ及び正例属性

 &  \\

名においては，属性として明らかにふさわしくないと判断したものを主観的に除去した（「この 間」と「さっき」)。識別器には $S V M^{\text {light }}$ (Joachims 1999) の 2 次多項式カーネルを用いた.

トピックモデルの学習と適応には Message Passing Interface (MPI) で LDA を利用できる Parallel LDA を用い (Liu, Zhang, Chang, and Sun 2011), トピック数 100 の LDAを学習, 適応 した. トピックモデルの学習コーパスは，本実験で用いる 2008 年 5 月のブログコーパス 31 日分のうち, 14 日分の記事約 1400 万記事を用いた. 予備実験の検討より, 学習におけるマルコフ 連鎖モンテカルロ法のサンプリング回数は 200 回とし, うち 50 回を初期值への依存を弱めるた めの burn-in として用いた.

実験条件として以下の 4 条件に基づいて実験を行った.
- 1. ベースライン：3.1節で述べたものに相当する
- 2. ベースラインにトピック素性を追加した手法
- 3.2. に対し負例生成法を追加した手法
- 4.3.に対し正例の多義性解消法を追加した手法（図1の全破線矢印部に一致）

システムが獲得した 1000 個のエンティティについて, 2 人の評価者が商用検索エンジンを用い て検索し, エンティティと各ドメイン名の AND 検索の検索結果上位 40 件中に, シードエンティ ティと同じ使い方をされているものが存在するか否かという観点で, 正解または不正解のラべ ルを付与した。また獲得された単語のうち, 固有表現抽出器が誤って獲得した固有表現以外の 単語（例えば「番組名」における「月 9$\rfloor$ 等）については不正解とした．評価者間の $\kappa$ 値は 0.895 であった. 2 人の評価者間で評価が異なった場合, 第 3 の評価者が評価を行い, その評価を正 しい評価として用いた。

## 4.2 実験結果と考察

表 2 に各ドメイン毎の実験結果を示す．表中の值は精度と有意差を表している．トピック素性を用いた手法 2.においては，車名とスポーツ組織名のドメインにおいて改善を示している.

また負例生成法は車名と番組名のドメインにおいて改善を示している。これは, 負例生成法

表 23 ドメインにおける各手法による評価. 太字で示している数値は直前行の結果と二項検定を行い, $5 \%$ の有意差水準において有意に差があったものを示している．斜体は同 $10 \%$ での有意差水準の 場合

が偽負例を選択するリスクを低減させたことが要因の 1 つと考えられる。同様に正例の多義性解消法においても車名と番組名において精度の改善を示している。スポーツ組織名のドメイン においてはトピック素性を追加した場合に明らかな改善が見られたものの，ある程度の改善が なされてしまったために，他の 2 つの手法による改善は見られなかった．車名における精度が 他のドメインより低いのは，「バイク名」のような比較的近い意味のエンティテイが獲得された ことに起因する。これら似たドメインというのは，文脈的特徴が似ているだけでなく，トピッ クによる特徴も近くなったためと考える。

提案手法が有効に機能した結果, ベースラインにおいて生じていたセマンティックドリフト が軽減されたということを示すため, ターゲットドメインに近いトピックと遠いトピックに属 する単語を表 3 に挙げる。表 3 は以下に定義される正のトピック $z_{h}$ と負のトピック $z_{l}, z_{e}$ に属 する特徴的な単語を示している。
- $z_{h}$ （2 行目） $P T(z)$ が最大となるトピックであり, 正のトピックとして用いられる.
- $z_{e}$ (4 行目) ベースラインにおいて観察されるエンティティのセマンティックドリフト を抑えるのに効果があったトピック．PT(z) の大きい順にソートした際に下位半分に現 れる負のトピックの 1 つから選択したトピック.

表 $3 z_{h}, z_{l}, z_{e}$ の 3 トピックに属する特徴的な単語. 獲得対象となるドメインに対し, $z_{h}$ は最も近い $\left(P T(z)\right.$ が最も高い) トピック, $z_{l}$ は最も遠い $(P T(z)$ が最も低い $)$ トピックを表す. $z_{e}$ は負例生成で選ばれる負のトピックの 1 つを表しており，べースラインを用いた場合の結果に見られるエ ンティティのセマンティックドリフト（3 行目）を抑えることに効果があったことを示している

 &  &  &  \\

- $z_{l}$ （5 行目） $P T(z)$ を最小とするトピックであり, 負のトピックとして用いられる.各トピックにおける特徴単語として, スコア $p(v \mid z) / p(v)$ が最も高くなる 3 単語を選択した。こ こで $p(v \mid z)$ は LDA におけるモデルパラメータ, $p(v)$ は単語 $v$ のユニグラム確率であり, コー パス全体からの単純な最尤推定で求められる.

正例の多義性解消法が有効に機能するためには, 正のトピック $z_{h}$ が対象ドメインに近い必要 がある. 反対に負例生成法が有効に機能するためには，下位半分のトピックに含まれるトピッ ク $z_{l}, z_{e}$ が対象ドメインから遠い必要がある. 表 3 を見ると, このいずれもを満たしているこ とが確認できる。例えば表中「車名」において, 最も近いトピックには「車検」という単語等を 含み，最も遠いトピックには「内科」という単語を含んでいるため，対象ドメインに対しそれ ぞれ近い単語，遠い単語が選ばれていると言える。さらに効果的な負のトピックとして，電子機器のトピックが選ばれているために，ベースラインにおいて獲得された「iPod」等の単語が 提案手法では獲得されなかった. この傾向は「車名」以外のドメインにおいても確認でき，提案手法の語彙獲得精度の向上に繋がった要因であると考えられる.

## 5 関連研究

先行研究においては, 文書/文レベルの全ての単語を素性とした分布類似度を用いたアプロー チ (distributional approach) が提案されている (Pantel et al. 2009). これらの手法は大域的情報を用いた手法とみなすことができるが，単語の素性空間は非常に多次元かつ疎な空間であり， データ量が増えた場合においてもこの問題を完全に解消することはできない. 我々の手法はト ピック情報という中間的な単位に落とし込むことでこれらの問題を解消する.

我々が用いたトピックモデルは一種の確率的クラスタリングモデルであるので, エンティティ 獲得にクラスタリング情報を用いた先行研究として Paşca らの研究を挙げて比較する (Paşca and Durme 2008). Paşca らはエンティティの獲得だけでなく, 周辺文脈をクラスタリングし, その中からクラスを代表するにふさわしい単語を選択してクラス名として定義する。さらに検索クエリログを用いて, 当該クラス内のエンティティと共に用いられるクエリを当該クラスの 属性であるとする,「クラス, エンティティ, 属性」の3つ組を取得する手法を提案している. Paşca らの手法ではクラスタリングを用いているものの, クラスタリング対象範囲は周辺の文脈 にとどまる。これに対し我々の手法は文書全体からトピックを推定する点で，より広域な情報 を取り入れることができる。また提案手法は語彙獲得の目的に特化させるため, Paşca らで用 いられていたクラス名を, エンティティの候補が対象クラスに属するか否かを判定するための 属性の1つ（“is-a”の属性）として扱う。属性をクラス名のみに絞った方が適合率は高くなると 考えられるが，局所的な文脈中にはクラス名が存在しない場合も多い. 例えば書籍の場合, 書籍タイトルの前後に「本」や「書籍」といったクラスを表わす単語が共起することは少ない.こ

のため, 他の属性と併用することで, より高精度かつ網羅的なエンティティ獲得が可能となる.

トピックモデルを用いた関連研究として, selectional preferences をモデル化するために, LDA を拡張した生成モデルを利用した Ritter らの研究が挙げられる (Ritter and Etzioni 2010). Ritter らの手法は我々の手法に最も近いものと言えるが，生成モデルであるか識別モデルであるかの 違いがあり，局所的文脈素性と柔軟に統合できるという点で我々のモデルには優位性がある.

3.3 節で述べた負例生成は, 正例とラベルなしデータのみが存在する場合においての主要な問題と捉えられている (Liu et al. 2002; Li et al. 2010). しかし先行研究における手法はある程度 の規模の正例データを想定しており，非常に少量な正例データについては有効に機能しないと 考えられる。これに対し，本稿では少量の正例データからでも適切に負例を生成可能な手法を 提案した。一方 McIntosh は, 複数クラスの語彙獲得タスクにおいて獲得されたエンティティ が，シードエンティティよりもそれ以降のイテレーションに得られたエンティティ集合に近い 場合に負例であると自動的に判定し, さらに負例のクラスタリングと拡張を行うことで, 適切な 負例集合を得る手法を提案している (McIntosh 2010)。また Kiso らは単語の共起関係をグラフ 上で表現し, HITS スコアの高い単語が正例に該当しない場合はそれらをストップリストとして 用いることで， セマンティックドリフトを抑える手法を提案している (Kiso, Shimbo, Komachi, and Matsumoto 2011). McIntosh や Kiso らの手法が，セマンティックドリフトを生じやすい単語を直接的に負例として捉えることを主眼としているのに対し，我々はセマンティックドリフ トが生じる先のトピックに制約を設ける目的で負例を捉えるという点で異なる. 特に McIntosh の手法では， セマンティックドリフトを抑える効果の高い負例を抽出できる可能性が高い反面，本来の正例が負例になってしまう偽負例を生じる可能性がある。本稿ではセマンティックドリ フトを生じやすい単語, 言いかえると正例・負例両方の多義性が存在する単語の場合, 3.4 節の トピック情報による多義性解消を併用することで，負例として当該単語が用いられている事例 では，正例としても負例としても用いないという判断を行っている。一方正例として当該単語 が用いられている事例では, 正例学習データとして用いることで, 学習データを可能な限り増 やしていくというブートストラップ法の観点に見合った手法となっている.

本稿ではリソースとして文書集合を用いたが，一方でクエリログを用いたエンティティ獲得 の研究も進められている。小町らはクエリログ中に共起する単語をエンティティ及び属性とみ なし, ブートストラップ法に基づくエンティティ獲得法の提案を行っている (小町, 鈴木 2008). クエリログを使った他の手法としては, 他にも Sekine らの研究 (Sekine and Suzuki 2007) や Paşca らの研究 (Paşca and Durme 2008) が挙げられる. しかし, クエリログ単独ではトピック のような大域的な文脈を考慮することができず，また，非公開で一般的に入手が困難なリソー スであるという現実的な側面もある。我々はこれらの観点から文書をリソースとして用いるこ ととした.

## 6 まとめと今後の課題

本稿ではトピック情報を用いた 3 通りの手法により, エンティティ獲得精度を改善できるこ とを示した．従来の識別モデルを用いたブートストラップ法の課題であった，大域的情報を取 り达んだ素性の設計, 教師データにおける負例の生成, 正例教師データにおける多義性を持っ たエンティティの存在といった諸問題を, トピックモデルから得られるトピック情報を用いる ことで解消した. 今後のさらなる獲得精度向上のためには, トピックモデルの粒度を目的のド メインに合わせていくことが必要である. このためにはトピックモデルに対する能動学習が有効であると考える (Hu and Boyd-graber 2011). また関連研究の1つとして挙げた分布類似度を 用いたアプローチ (Pantel et al. 2009) との比較や統合についても検証する必要もある. 別の観点としては, ブートストラップ法のグラフ理論的な拡張があげられる. 小町らはエンティティ 獲得のアルゴリズムをグラフ理論に基づいて解釈し, グラフカーネルの一種であるラプラシア ンカーネルを導入することで性能を改善している (小町, 工藤, 新保, 松本 2010). トピックモ デルを扱えるグラフ理論に基づく枠組みとしては，Cohn ら提案したPHITSがあり (Cohn and Chang 2000), 彼らの考えを導入することができれば, より高い精度のエンティティ獲得法を構築できると考える。

## 謝 辞

本研究の一部は, the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies で発表したものである (Sadamitsu, Saito, Imamura, and Kikui 2011). 本論文に関して, 非常に有益なコメントを頂いた査読者の方々に感謝の意を表する.

## 参考文献

Bellare, K., Talukdar, P. P., Kumaran, G., Pereira, F., Liberman, M., McCallum, A., and Dredze, M. (2006). "Lightly-supervised attribute extraction." In Proceedings of the Advances in Neural Information Processing Systems Workshop on Machine Learning for Web Search.

Blei, D. M., Ng, A. Y., and Jordan, M. I. (2003). "Latent dirichlet allocation." The Journal of Machine Learning Research, 3, pp. 993-1022.

Cohn, D. and Chang, H. (2000). "Learning to probabilistically identify authoritative documents." In Proceedings of the 17th International Conference on Machine Learning, pp. 167-174.

Fuchi, T. and Takagi, S. (1998). "Japanese morphological analyzer using word co-occurrenceJTAG." In Proceedings of the 36th Annual Meeting of the Association for Computational

Linguistics and 17th International Conference on Computational Linguistics, pp. 409-413.

Griffiths, T. L. and Steyvers, M. (2004). "Finding scientific topics." Proceedings of the National Academy of Sciences of the United States of America, 101 Suppl (Suppl 1), pp. 5228-5235.

Hofmann, T. (1999). "Probabilistic latent semantic indexing." In Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval, pp. 50-57.

Hu, Y. and Boyd-graber, J. (2011). "Interactive topic modeling." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 248-257.

Joachims, T. (1999). Making large-Scale SVM Learning Practical. Advances in Kernel MethodsSupport Vector Learning. Software available at http://svmlight.joachims.org/.

Kiso, T., Shimbo, M., Komachi, M., and Matsumoto, Y. (2011). "HITS-based seed selection and stop list construction for bootstrapping." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 30-36.

Li, X.-L., Liu, B., and Ng, S.-K. (2010). "Negative training data can be harmful to text classification." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 218-228.

Liu, B., Lee, W. S., Yu, P. S., and Li, X. (2002). "Partially supervised classification of text documents." In Proceedings of the 19th International Conference on Machine Learning, pp. 387-394.

Liu, Z., Zhang, Y., Chang, E. Y., and Sun, M. (2011). "PLDA+: Parallel Latent Dirichlet Allocation with Data Placement and Pipeline Processing." ACM Transactions on Intelligent Systems and Technology, special issue on Large Scale Machine Learning. Software available at http://code.google.com/p/plda.

McIntosh, T. (2010). "Unsupervised discovery of negative categories in lexicon bootstrapping." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 356-365.

Mintz, M., Bills, S., Snow, R., and Jurafsky, D. (2009). "Distant supervision for relation extraction without labeled data." In Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, pp. 1003-1011.

Paşca, M. and Durme, B. V. (2008). "Weakly-supervised acquisition of open-domain classes and class attributes from web documents and query logs." In Proceedings of the 46th Annual

Meeting of the Association for Computational Linguistics, pp. 19-27.

Pantel, P., Crestan, E., Borkovsky, A., Popescu, A.-M., and Vyas, V. (2009). "Web-scale distributional similarity and entity set expansion." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 938-947.

Pantel, P. and Pennacchiotti, M. (2006). "Espresso: Leveraging generic patterns for automatically harvesting semantic relations." In Proceedings of the 21st International Conference on Computational Linguistics and the 44th Annual Meeting of the Association for Computational Linguistics, pp. 113-120.

Ritter, A. and Etzioni, O. (2010). "A Latent dirichlet allocation method for selectional preferences." In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 424-434.

Sadamitsu, K., Saito, K., Imamura, K., and Kikui, G. (2011). "Entity set expansion using topic information." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 726-731.

Sarmento, L., Jijkuon, V., Rijke, M. D., and Oliveira, E. (2007). "More like these: growing entity classes from seeds." In Proceedings of the 16th ACM Conference on Information and Knowledge Management, pp. 959-962.

Sekine, S. (2008). "Extended named entity ontology with attribute information." In Proceedings of the 6th International Language Resources and Evaluation.

Sekine, S. and Suzuki, H. (2007). "Acquiring ontological knowledge from query logs." In Proceedings of the 16th International Conference on World Wide Web, pp. 1223-1224.

Suzuki, J., McDermott, E., and Isozaki, H. (2006). "Training conditional random fields with multivariate evaluation measures." In Proceedings of the 21st International Conference on Computational Linguistics and the 44th Annual Meeting of the Association for Computational Linguistics, pp. 217-224.

Thelen, M. and Riloff, E. (2002). "A bootstrapping method for learning semantic lexicons using extraction pattern contexts." In Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing, pp. 214-221.

Vyas, V., Pantel, P., and Crestan, E. (2009). "Helping editors choose better seed sets for entity set expansion." In Proceeding of the 18th ACM Conference on Information and Knowledge Management, pp. 225-234.

小町守，鈴木久美 (2008). 検索ログからの半教師あり意味知識獲得の改善. 人工知能学会論文誌, $23(3)$, pp. 217-225.

小町守, 工藤拓, 新保仁, 松本裕治 (2010). Espresso 型ブートストラッピング法における意味

ドリフトのグラフ理論に基づく分析. 人工知能学会論文誌, $\mathbf{2 5}$ (2), pp. 233-242.

廣嶋伸章, 大附克年, 林良彦 (2004). 関連語彙獲得に基づく認識辞書のオフライン教師なし適応. 情報処理学会研究報告 (SIG-SLP), 74 号, pp. 107-114.

橋本泰一, 乾孝司, 村上浩司 (2008). 拡張固有表現タグ付きコーパスの構築. 情報処理学会研究

報告 (SIG-NLP), 113 号, pp. 113-120.

橋本泰一, 中村俊一 (2010). 拡張固有表現タグ付きコーパスの構築一白書, 書籍, Yahoo!知恵

袋コアデータ. 言語処理学会第 16 回年次大会, pp. 916-919.

## 略歴

貞光九月：2004 年 筑波大学第三学群情報学類卒業. 2009 年 同大学大学院博

士課程修了。同年日本電子電話株式会社入社. 現在, NTT サイバースペース 研究所 研究員. 自然言語処理の研究に従事. 言語処理学会, 情報処理学会各会員

齋藤邦子：1996 年 東京大学理学部化学科卒業. 1998 年 同大学院修士課程修

了. 同年日本電信電話株式会社入社. 現在, NTT サイバースペース研究所主任研究員. 自然言語処理研究開発に従事. 言語処理学会, 情報処理学会各会員.

今村 賢治：1985 年 千葉大学工学部電気工学科卒業. 同年日本電信電話株式会社入社. 1995 年-1998 年 NTT ソフトウェア株式会社. 2000 年-2006 年 ATR 音声言語コミュニケーション研究所. 2006 年より NTT サイバースペース研究所主任研究員. 現在に至る. 主として自然言語処理の研究・開発に従事. 博士 (工学). 電子情報通信学会, 情報処理学会, 言語処理学会, ISCA 各会員.

松尾 義博：1988 年 大阪大学理学部物理学科卒. 1990 年 同大大学院研究科博士前期課程修了. 同年日本電信電話（株）入社. 機械翻訳，自然言語処理の 研究に従事. 情報処理学会, 言語処理学会, 各会員.

菊井玄一郎：1984 年 京都大学工学部電気工学科卒. 1986 年 同大学大学院工学研究科修士課程電気工学第二専攻修了. 同年日本電信電話 (NTT) 入社. 19901994 (株) 国際電気通信基礎技術研究所 (ATR)。2001 年 ATR 音声言語コミュ ニケーション研究所研究室長. 2006 年 NTT サイバースペース研究所音声.言語基盤技術グループリーダ。 2011 年岡山県立大学情報工学部情報システム 工学科教授. 現在に至る. 博士 (情報学)。言語処理学会, 情報処理学会, 音響学会各会員.

(2011 年 11 月 11 日 受付)

(2011 年 12 月 23 日 再受付)

(2012 年 3 月 1 日 採録)