# 『現代日本語書き言葉均衡コーパス』に対する時間情報表現・事象表現間の時間的順序関係アノテーション

保田 祥 $\dagger$ - 小西 光 ${ }^{\dagger}$ 浅原 ${\text { 正幸 } \dagger \text { - 今田 } \text { 水穂 }^{\dagger} \cdot \text { 前川喜久雄 }}^{\dagger}$

時間情報抽出は大きく分けて時間情報表現抽出, 時間情報正規化, 時間的順序関係解析の三つのタスクに分類される。一つ目の時間情報表現抽出は, 固有表現 - 数値表現抽出の部分問題として解かれてきた。二つ目の時間情報正規化は書き換え系に より解かれることが多い. 三つ目のタスクである時間的順序関係解析は, 事象の時間軸上への対応付けと言い換えることができる。日本語においては時間的順序関係解析のための言語資源が整備されているとは言い難く, アノテーション基準につい ても研究者で共有されているものはない。本論文では国際標準である ISO-TimeML を日本語に適応させた時間的順序関係アノテーション基準を示す. 我々は『現代日本語書き言葉均衡コーパス』(BCCWJ) の新聞記事の部分集合に対して, 動詞・形容詞事象表現に TimeML の〈EVENT〉相当タグを付与し, その事象の性質に基づき 分類を行った. また, この事象表現と先行研究 (小西, 浅原, 前川 2013) により付与されている時間情報表現との間の関係として, TimeMLの〈TLINK〉相当夕グを付与した. 事実に基づき統制可能な時間情報正規化と異なり, 事象構造の時間的順序関係の認識は言語受容者間で異なる傾向がある。このようなレベルのアノテーショ ンにおいては唯一無二の正解データを作ることは無意味である。 むしろ，言語受容者がいかに多様な判断を行うかを評価する被験者実験的なアノテーションが求めら れている。 そこで，本研究では三人の作業者によるアノテーションにおける時間的順序関係認識の嬞䶣の傾向を分析した。アノテーション結果から，時間軸上の相対的な順序関係については一致率が高い一方, 時区間の境界については一致率が低い ことがわかった。

キーワード：時間情報処理，事象意味論，コーパスアノテーション
## Temporal Ordering Annotation on 'the Balanced Corpus of Contemporary Written Japanese'

\author{
Sachi Yasuda ${ }^{\dagger}$, Hikari Konishi ${ }^{\dagger}$, Masayuki Asahara ${ }^{\dagger}$, \\ Mizuho Imada ${ }^{\dagger}$ and Kikuo Maekawa ${ }^{\dagger}$
}

Temporal information extraction can be divided into the following tasks: temporal expression extraction, time normalization and temporal ordering relation resolution. The first task is a subtask of a named entity and numeral expression extraction. The second task is often performed by rewriting systems. The third task consists of event anchoring. This paper proposed a Japanese temporal ordering annotation scheme and

performed annotations by referring to 'the Balanced Corpus of Contemporary Written Japanese' (BCCWJ). We extracted verbal and adjective event expressions as 〈EVENT> in a subset of BCCWJ and annotated a temporal ordering relation 〈TLINK〉 on the pairs of the above event expressions and time expressions obtained from a previous study (Konishi et al. 2013). The recognition of temporal ordering by language recipients tends to disagree compared to the normalization of time expressions. We should not regard making unique gold annotation data as an objective in such a situation. If anything, we should evaluate the degree of inter-annotator discrepancy by subjects of experiments. Then, we analysed inter-annotator discrepancies by three annotators in temporal ordering annotation. The result showed that boundaries of time segments barely exhibit any agreement, whereas the annotation of temporal relative ordering tendency exhibits good agreement by the annotators.

Key Words: Temporal Information Processing, Event Semantics, Corpus Annotation

## 1 はじめに

情報抽出や文書要約の分野において情報の可視化を目的として, テキスト中に出現する事象表現の表す事象が発生した時区間 (Time Interval) を時間軸 (Timeline) 上に写像することが行われている。このためには，テキスト中に出現する時間情報表現の正規化（時間軸への写像）のみならず，対象となる「文書作成日時と事象表現」や「時間情報表現と事象表現」，「二つの事象表現」間の時間的順序関係を付与することが必要になる.

英語においては哲学者・言語学者・人工知能研究者・言語処理研究者が協力して時間情報を含む言語資源の整備を進めている (Pustejovsky, Hanks, Saurí, See, Gaizauskas, Setzer, Sundheim, Ferro, Lazo, Mani, and Radev 2003b). 哲学者・言語学者は言語科学として (a)テキスト中の事象表現とその時間構造を形式的にどのように記述するかを探究することを研究目的とする。人工知能研究者・言語処理研究者は工学研究として (b) テキスト中の事象表現や時間的順序表現を同定し抽出する機械的なモデルの開発や評価を研究目的とする. 前者にとって (b) は手段でしかなく, 逆に後者にとって (a) は手段でしかない. しかしながら, 共通の目標として時間情報の可視化 ${ }^{1}$ 掲げ，前段落にあげたリサーチクエスチョンに対して，「アノテーション」と呼ばれる研究手法により共有言語資源を構築する試みが行われている.

一方, 日本語においては時間情報を含む言語資源の整備は, 人工知能研究者・言語処理研究者によるものが多く, 研究目的も (b) の手段としてのものが多い. 機械的なモデルの開発や評価を目的とすることが多く, 計算機上に実現しやすい時間情報表現の切り出しや正規化レベルのアノテーションにとどまっている (IREX 実行委員会 1999; 小西他 2013). 時間的順序関係の

アノテーションを行うためには，アノテーション対象となる事象構造の意味論的な形式的な記述の作業が必要となる. 人工知能研究者・言語処理研究者にとっての手段とされる研究目的 (a) が重要になる。

時間情報のアノテーションについては，英語のアノテーション基準 TimeML (Pustejovsky， Castaño, Ingria, Saurí, Gaizauskas, Setzer, and Katz 2003a) を元に国際標準化作業が行われてきた. 成果物の ISO-TimeML は策定時に多言語に対してアノテーションすることを想定し，各言語の研究者がそれぞれ適応2作業を実施してきた.

本研究では, 研究目的として哲学者・言語学者の (a)の立場を取り, 『現代日本語書き言葉均衡コーパス』(Balanced Corpus of Contemporary Written Japanese; 以下 "BCCWJ”) (国立国語研究所 2011) の一部に対し時間情報表現と事象表現の時間的順序関係を付与するために，事象表現の切り出しと分類を行った。時間情報表現アノテーションの形式的な基準である国際標準 ISO-TimeML の日本語適応作業を MAMA サイクル (Pustejovsky and Stubbs 2012)（ModelAnnotate-Model-Annotate サイクル．詳しくは 2.1 節で説明）を通して実施し，時間的順序関係付与に適した事象表現分類を行った. さらに, 複数人の時区間の時間的順序関係の認識の差異を評価することを目的として, Allen の時区間論理 (Allen 1983）（詳しくは 3.3 節で説明）に基づいたテキストに出現する時間情報表現と事象表現の時間的順序関係のアノテーションを複数人で実施した，MAMAサイクルを最小にし被験者実験的な設定でアノテーションを行い, 得られたデータの傾向を分析し, 複数人の作業者間の心的空間における時間構造の差異を評価した.

意味論レベルのアノテーションにおいて, 多くの研究が形式意味論的な記述を目標とする.生成された言語を直接何らかの記号的な意味表現に写像するための方法論を確立するためにアノテーションの MAMA サイクルを実施するが，唯一無二の意味表現に写像することを目的とするためにアノテーション一致率という指標を良くする方向に最適化するきらいがある。一方,認知意味論の考え方においては, 生成された言語表現を受容する人間の認知活動という要素を考慮し, 人間の空間認知能力やカテゴリー化などの認知能力を評価する目的で, 被験者実験などの研究手法が用いられている。テキストを刺激として与え，意味表現を記述させる被験者実験も広義のアノテーションと呼ぶことができる.

本研究では人間の時間的順序関係の認知能力の差異の評価を目的として, 教示である MAMA サイクルを必要十分レベルに極小化した, 被験者実験としてのアノテーションを行う．結果, 時区間の境界の一致が困難である一方，時区間の前後関係については $69.5 \%$ の一致率でアノテー ションできることがわかった.

以下本論文の構成について述べる． 2 節では関連研究について述べる， 3 節では策定した基準

について述べる。 4 節で BCCWJ にアノテーションした順序関係ラベルの分析を行い, 結果を報告する．5 節で本論文のまとめを行う.

## 2 関連研究

## 2.1 コーパスアノテーション

一般に言語の生産過程の産物であるアノテーションなしのテキストコーパスからは，言語の受容過程について直接的に調査することは困難である。言語の受容過程の調査には, 生産されたテキストを受容する過程を記号化する必要がある。テキストコーパスに対し作業者が内容を理解して記号を付与するアノテーションは, 工学研究者のベンチマークデータ作成だけでなく,人の言語の受容過程を記録する一研究手法としても利用可能である.

コーパスアノテーション作業には二つの基準を決める必要がある。一つはアノテーションをどのような形式で表現するかという形式的な基準である. アノテーション対象が文字間なのか文字列範囲なのか, 対象に対しシングルラベルを付与するのかマルチラベルを付与するのか,対象間の関係が推移的なのか対称的なのか, 大局的な構造として木をなすのか有向非循環グラフをなすのかなどを決定し, 抽象化する必要がある。抽象化された形式は, インラインで記述するのかスタンドオフで記述するのかなどを基準として定める.この形式的な基準は, 研究者間の相互利用性を高めたり, 構造学習器を実現するための必要な抽象表現の仕様を決定するために利用される．関係する研究者があらかじめ議論をして標準仕様をコミュニティ駆動で策定したり，最初に策定された類似のアノテーションの形式をそのまま事実上の標準にしたりなど，標準化機関以外による何らかの標準化が行われることが多い.

もう一つはコーパスに出現する言語表現をどのような記号に割り当てるかという値割り当てについての基準である。アノテーションにおいては, 個々の事例についてどの形式に割り当てるのかという基準が必要であり, 一般に言語テストなどを作業者に行ってもらいその判断に基づき記号に写像する基準が策定される。しかし, アノテーション作業の当初から完全で健全な基準を作成することは困難であり, 基準の策定とアノテーション作業を何度も繰り返しながら基準を更新する。

Pustejovsky (Pustejovsky and Stubbs 2012) は，基準の策定方法を含めたアノテーション作業に二種類のサイクルがあることを示している。一つは MAMA サイクルで図 1 の左のようなサイクル3である。もう一つは MATTER サイクル（Model-Annotate-Train-Test-Evaluate-Revise サイクル）で図1の右のようなサイクルである. 工学研究のように構造学習器を作成することを

MAMA サイクル

(Pustejovsky and Stubbs 2012) p. 28 (Figure 1-11)より

(Pustejovsky and Stubbs 2012) p. 24 (Figure 1-10)より

図 1 MAMA サイクルと MATTER サイクル

目的とする場合には MATTER サイクルを用いることが多いが, MATTER サイクルで構造学習器が構成できないアノテーション初期においては MAMA サイクルを用いることが多い．言語研究で現象そのものを観察する場合においては MAMA サイクルのみで閉じてアノテーションを行う傾向がある.

このようなアノテーションの基準とサイクルを考えた場合に，アノテーション基準の妥当性はどのように評価されるべきだろうか. 形式的な基準においては利用者系により評価されるべきであり，当該基準を利用するコミュニティの規模などにより定量的に評価され，相互利用における障害の有無などにより定性的に評価されるだろう，後者の值割り当てとしての基準においては，構造学習器の構成を目的として研究を実施するのであれば，未知事例を含めた構造学習器の性能により評価されるだうう。一方, 言語研究を目的とする場合には, アノテーション作業を行う指針である基準の妥当性は，成果物のアノテーションそのものによって評価されるべきである。アノテーション単体としての評価は一致率などの定量的な指標を提示することが可能であるが，言語研究のためのアノテーションにおいては，必ずしも一致率などを目的関数として最適化を行っているわけではない。このようなアノテーション基準の妥当性を評価するためには，MAMA サイクルの外側の言語研究者によって評論として行われるべきである。近年, 均衡コーパスが整備され，コミュニティ駆動によりアノテーション対象の標準化が行われてきた. 各機関で様々なレベルの言語情報のアノテーションが進められている.このような状況を鑑みると, MAMA サイクルの外側の言語研究者による評論の代わりに, 他のアノテーションとの重ね合わせによる齟齰検出結果から，アノテーションそのものの妥当性評価が検証される可能性がある.

## 2.2 コーパスアノテーション基準の標準化

コーパスアノテーションの基準について, 形式的な基準については標準化機関などが共有すべき規格を提案している. 例えば, 国際標準化機構 (International Organization for Standardization:
表 $1 \mathrm{TC} 37 / \mathrm{SC} 4$ の作業部会

 \\

& 言語資源そのものに関する作業部会

ISO) の標準化技術委員会 (Technical Committee) TC 37 は “Terminology and other language and content resources”と題し，言語資源に関するさまざまな標準化を提案している。そのなかに分科会 (Subcommittee) が五つ設定されているが， TC 37/SC 4 が言語資源管理 (Language resource management; LRM) に関する国際規格の規定を行っている。TC 37/SC 4 は作業部会を六つ（表 1）設定しており，さまざまな形式・出自の一次言語データに対するアノテーションや XML に代表される汎用マークアップ言語に基づくアノテーションの表現形式についての仕様記述言語を設計している。例えば，公開されている規格として，語彙表の規格 Lexical Markup Framework (LMF: ISO-24613:2008), 素性構造表現 Feature Structure Representation (FSR: ISO-24610-1:2006), 単語分かち書き（ISO-24615-1:2010 が一般, ISO-24615-2:2011 が日中韓言語)，統語論アノテーション Syntactic Annotation Framework (SynAF: ISO-24615:2010) がある。意味論的アノテーション規格は作業部会 TC 37/SC 4/WG 2 を中心にさまざまな Semantic Annotation Framework (SemAF) が提案されている。時間情報表現関連については，英語で策定された TimeML (Pustejovsky et al. 2003a) をもとに TimeML 開発者と作業部会 TC 37/SC 4/WG 2 が連携をとりながら SemAF-Time (ISO-24617-1:2012) TimeML を提案した。次の 2.3 節では，時間情報表現関連のアノテーションの研究動向を示す.

## 2.3 時間情報表現に関する研究動向

時間情報表現は哲学・言語学・人工知能研究・言語処理など複数分野の研究者により研究されてきた。

以下では言語処理関連の代表的な研究を俯瞰する。テキスト中の時間情報表現を分析する研究は大きく分けて時間情報表現抽出，時間情報正規化，時間的順序関係解析の三つのタスクに分類される。一つ目の時間情報表現抽出は, 固有表現・数値表現抽出の部分問題として解かれ

てきた。 二つ目の時間情報正規化は書き換え系により解かれることが多い. 三つ目のタスクである時間的順序関係解析は，事象の時間軸上への対応付けと言い換えることができる。

表 2 に英語と日本語を対象とした時間情報表現に関連する研究を示す.

英語においては，評価型国際会議 MUC-6 (Grishman and Sundheim 1996)の一夕スク固有表現抽出の中に時間情報表現の抽出が含まれている．MUC-6 で定義されている時間情報表現夕グ〈TIMEX〉は日付表現 (@type="DATE") と時刻表現 (@type="TIME") からなる. アノテーション対象は絶対的な日付・時刻を表す表現にのみ限定され, “last year”などといった相対的な日付・時刻表現は含まれていない。この MUC-6 のアノテーション基準〈TIMEX〉に対し, Setzer は時間情報表現の正規化に関するアノテーション基準を提案している (Setzer 2001)。評価型国際会議 TERN (DARPA TIDES 2004) では，時間情報表現検出に特化したタスクを設定している。TERN で定義された時間情報表現情報タグ〈TIMEX2〉は，相対的な日付・時刻表現，時間表現や頻度集合表現が検出対象として追加されている．時間情報表現の正規化情報を記述する ISO-8601 形式を拡張した @value 属性などが設計され，こちらも自動解析対象となっている.

その後, Pustejovsky らによりアノテーション基準 TimeML (Pustejovsky et al. 2003a)が提案されている。その中では, TERNで用いられている〈TIMEX2〉を拡張した〈TIMEX3〉が提案され, さらに時間情報表現と事象表現の時間的順序関係を関連づけるための情報〈TLINK〉が付加される.これらの情報は人手でアノテーションすることを目的に設計され, TimeBank (Pustejovsky et al. 2003b) や Aquaint TimeML Corpus などの人手による夕グつきコーパスの整備が行われた.

これらのコーパスに基づく時間情報表現の自動解析 (Boguraev and Ando 2005; Mani 2006)が試みられたが，夕グの情報に不整合があったり，付与されている時間的順序関係ラベルに偏りが

## 表 2 関連研究

あったりなど扱いにくいものであった (Boguraev and Ando 2006). 2007 年に開かれた SemEval 2007 の一タスク TempEval (Verhagen, Gaizauskas, Schilder, Hepple, Kats, and Pustejovsky 2007) では，時間的順序関係のラベルを簡略化し，人手で見直したデータによる時間的順序関係同定のタスクが行われた。このタスクでは, 時間情報表現に対する正規化情報 @value 属性などがデー夕にあらかじめ付与されており，事象表現の時間的順序関係同定に利用できる設定になっている.

時間情報表現の自動解析に関する研究は英語中心に行われていたが, やがて言語横断的な研究が進められ, 前の 2.2 節に示したような国際標準化がすすめられた. その成果物として, アノテーション形式の共有可能な基準として ISO-TimeML が策定された. その作業と並行して,評価型会議 TempEval-2 (Verhagen, Saurí, Caselli, and Pustejovsky 2010) が実施され，英語だけでなく，イタリア語，スペイン語，中国語，韓国語に関しても同様なデータを利用したタスクが設定された。2013 年に開かれる SemEval-2013 のサブタスク TempEval-3 (UzZaman, Llorens, Derczynski, Allen, Verhagen, and Pustejovsky 2013) では，データの規模を大きくした英語，スペイン語が対象となっている.

海外においては, 哲学者・言語学者・人工知能研究者・言語処理研究者が共有可能な言語資源を作成するという大義のもと, 分野横断的に研究が進められている. さらに多言語に拡張すべく言語横断的に研究が進められている。このような状況のもと個々の研究について境界を明確に示すことは難しい.

次に日本語の時間情報表現に関する研究を示す。日本語において, 時間情報表現抽出はアノテーションのみならず，評価型会議による解析手法の検討が行われている. IREX (IREX 実行委員会 1999)の一タスクとして, 固有表現抽出タスクが設定された. IREX の時間情報では,日付・時刻表現を対象にし，相対的な表現が定義に含まれている。関根らは拡張固有表現体系 (Sekine et al. 2002) を提案し, 辞書/オントロジやコーパスの作成などを行っており, BCCWJ にも同じ体系の拡張固有表現夕グが付与されている (橋本, 中村 2010). 時間情報表現正規化については，小西らが TimeML に基づく〈TIMEX3〉相当の夕グを BCCWJ の一部に付与し，時間情報表現の正規化を行っている (小西他 2013). しかしながら, 日本語の時間情報表現と事象表現をひもづける時間的順序関係に関する研究は, 著者らが知る限りない.

最後に, 時間的順序関係アノテーションの目的について言及する. 工学研究者は (1) 時間情報を解析する構造学習器の構成やベンチマークデータの整備を目的としている。一方, 言語研究者は, (2) 事象表現の時間構造を表現する形式意味論としての記述体系の精緻化を目的としている. これらに対し, 本研究は (3) 受容者としてのアノテーション作業者という要素を考慮し,認知意味論的な分析を目的とする。(3)の目的のために, 被験者実験的な設定のアノテーションを実施する。

## 2.4 アノテーション対象としての BCCWJ

本節ではアノテーション対象である BCCWJ について述べる.

約 1 億語規模の書き言葉均衡コーパスである BCCWJ は 2006-2010 年に整備され, 2011 年に国立国語研究所（以下「国語研」と略す）から一般公開された。サンプリングの手法から生産サブコーパス・図書館サブコーパス・特定目的サブコーパスの三つに大きく分かれる。生産サブコーパスは 2001-2005 年に出版された書籍 $(\mathrm{PB})$ ・雑誌 $(\mathrm{PM})$ ・新聞 $(\mathrm{PN})$ により構成され,生産実態に基づいてランダムサンプリングされている。図書館サブコーパスは 1986-2005 年に出版された書籍 (LB) により構成され, 流通実態に基づいてランダムサンプリングされている.特定目的サブコーパスは図書館サブコーパスで十分に集まりにくい, 白書 $(\mathrm{OW}) \cdot Y$ Yahoo!知恵袋 $(\mathrm{OC}) \cdot Y$ Yahoo!ブログ $(\mathrm{OY}) \cdot$ 国会会議録 $(\mathrm{OM})$ など様々なレジスタのテキストが収録されている.

BCCWJ にはコアデータと呼ばれる約 110 万語からなる部分集合が設定されている. コアデー 夕には人手により国語研規程の短単位・長単位単語境界, UniDic 品詞体系に基づく形態論情報,文節境界などが付与されている。コアデータは生産サブコーパスから書籍 $(\mathrm{PB})$ ・雑誌 $(\mathrm{PM}) \cdot$新聞 $(\mathrm{PN})$ が, 特定目的サブコーパスから白書 $(\mathrm{OW}) \cdot$ Yahoo!知恵袋 $(\mathrm{OC}) \cdot Y$ Yahoo!ブログ $(\mathrm{OY})$ が収録されている。表 3 に各レジスタのサンプルについての統計を示す.このコアデータに対し, 国内の様々な研究機関により, 係り受け情報・述語項構造・節境界・モダリティ情報・フレームネット知識など重畳的にアノテーションが行われている. しかしながら, 100 万語規模のコアデータ全てに対してアノテーションを実施することは困難である。そこで，コアデータの各サンプルに対してアノテーションの優先順位をつけ，約 5-6万短単位ごとの部分集合（表 $3 \cdot 2$ 列目）を規定している。アノテーションに従事する研究者は, それぞれの目的や能力に応じ, この優先順位に従ってアノテーションを実施する. これにより, 優先順位の高いサンプルについてはより多種の言語情報アノテーションが行われることになる.

各サンプルには書誌情報として様々なメタデータが付与されているが, 本研究に重要なメ夕

表 3 BCCWJ コアデータと部分集合

データとして文書作成日時相当の情報がある。 コアデータに収録されている 6 種類のレジス夕のうち, 新聞 $(\mathrm{PN})$ データのみが日単位の文書作成日時の情報が収録されており, 他のレジス夕は年単位の文書作成日時の情報にとどまっている。

本研究では新聞 $(\mathrm{PN})$ データの部分集合 $\mathrm{A}\left(54\right.$ ファイル ${ }^{4}, 2,541$ 文, 56,518 短単位）を対象にアノテーションを行う。アノテーション作業対象を上記範囲に限定した理由は, BCCWJ のコアデータにおいて新聞データのみが文書作成日時を日単位まで保持していること，生産実態に基づいて適切にサンプリングされており通常の報道記事のみならずレシピやコラムが含まれていること, 作業者が一人月でアノテーションを終えることが可能な分量であることなどがある.

## 3 アノテーション基準

## 3.1 アノテーション作業の概要

アノテーション作業対象は BCCWJ コアデータ新聞データ 54 ファイル（部分集合 A）とする。小西らの時間情報表現の正規化作業により，時間情報表現は〈TIMEX3〉タグにより切り出され，時間情報の正規化情報が与えられている (小西他 2013).

アノテーション作業は，最初に事象表現の境界を認定し〈EVENT〉タグを付与し，〈EVENT〉の属性として事象表現の分類を表す@class 属性を付与する。ⓒlass 属性付与の際には時間軸上に事象のインスタンスが認定できるか否かを判断し，判断できる場合には〈EVENT〉に対して 〈MAKEINSTANCE〉タグをスタンドオフ形式で新たに付与する。次に限定された事象のインスタンス間（「文書作成日時と事象表現」，「時間情報表現と事象表現」，「二つの事象表現」）に対して，時間的順序関係を付与する，以下では，それぞれの作業の基準について示す.

## 3.2 事象表現の認定とクラス分類

時間的順序関係のアノテーションを行うために，アノテーション対象である動詞・形容詞・形状詞が事象表現か否か，事象表現が時間軸上の特定の範囲で生起したものか否かの判断が必要となる。また事象構造が動作なのか状態なのかといった識別が必要になる。また, 事象表現間の時間的順序関係を規定するにあたっては，ある事象が他の事象の項になりうるのか，その場合にどのような事象構造を持つのかを分類する必要がある。

国語研規程による長単位の動詞・形容詞・形状詞 4,953 表現に対して〈EVENT〉タグを付与する。事象表現として切り出す際に国語研長単位が適さない場合には切り出し範囲を大きくする方向で修正を行う。本研究は時間情報表現と事象のインスタンス間の時間的順序関係を付与するため, TimeML のアノテーションの形式的な基準に基づいて, 実世界もしくは架空世界
^{4}$ BCCWJ において1ファイル中に複数の記事が収録されているために記事数ではない
}

の時間軸上の具体的な特定の範囲で生起したインスタンスが認められるか否かの判別を行い, インスタンスが認められたものについては，〈EVENT〉タグの@class 属性にその事象表現の特性を付与し，〈MAKEINSTANCE〉タグを付与する。インスタンスが認められないものについては,〈MAKEINSTANCE〉タグを付与しない.

時間的順序関係が確認できる事象構造には〈MAKEINSTANCE〉タグを付与したうえで, @class 属性を付与する。ⓒlass 属性は, OCCURRENCE, REPORTING, PERCEPTION, ASPECTUAL, I_ACTION, I_STATE，STATE の 7 種類と作業者がインスタンスが認められないと判断した事象表現・静態表現に付与する NULL, NONE の 2 種類に分類される.

OCCURRENCE 項に事象を取らない事象表現一般

REPORTING項に事象を取る表現活動動詞に相当する事象表現

PERCEPTION 項に事象を取る認識・知覚動詞に相当する事象表現

ASPECTUAL項に事象を取るアスペクトを表出する事象表現

I_ACTION項に事象を取る遂行動詞に相当する事象表現

I_STATE項に事象を取る思考・感情動詞に相当する事象表現

STATE 静態動詞, 形容詞

NULL, NONE 時間軸上インスタンスが認められない事象表現

一般の事象表現は OCCURRENCE にあたる．静態動詞はSTATE に分類されるため，STATEにしないもので事物 (Thing) を項とする事象表現はすべて OCCURRENCE とする。残りの 5 種類は, 事物ではなく事象 (Event) を項として導入する事象にのみ用いる。なお，アノテーション対象としての事象は動詞・形容詞・形状詞に限定するが，項として事物か事象かを判断する際には事象名詞も考慮する.

この事象表現のインスタンスの認定とクラス分類は, 作業者二人と監督者一人と助言者一人で議論しながら作業を行った。クラス分類を含めて 75-80\% の一致率がコンスタントに得られるまで作業者二人が同一ファイルを作業し, 基準が固まった時点で分担して作業を行った. 基準の策定にあたっては日本語学・言語学の文献 (工藤 1995, 2004; 中村 2001)にある事象表現の分類を参考にした。

以下にそれぞれの例を挙げる。

## OCCURRENCE：事象表現一般

何かが起こった, 変化した, 発生したなどの一般的な事象構造は, OCCURRENCE とする. すなわち，事象ではなく事物を項とし，静態動詞ではない場合は，すべて OCCURRENCE とする。無意志的（状態・位置）変化動詞や非意志的（現象一般）動詞もこれに含まれる. また，過程 (Process) を示す動詞（例：「住む」）も，OCCURRENCE とみなすこととする。
〈EVENT〉@OCCURRENCE の例

湿地や干潟，河原などが埋め立てで〈EVENT〉減った〈/EVENT〉東京湾.

裸地を好むコアジサシに〈EVENT〉嫌われた〈/EVENT〉か，巣は一つだけ．

ニュース写真として〈EVENT〉掲載させていたたくく/EVENT〉ことがあります.

経常利益は数億円単位の黒字に〈EVENT〉なる〈/EVENT〉.

メニューに〈EVENT〉挑戦した〈/EVENT〉.

## REPORTING：表現活動動詞

表現活動動詞が，事象に関する発言や告知などをはじめ，概ね「〜と」を用いた引用を行う場合などで，REPORTINGに分類する。なお，「〜を」が用いられている場合は項が事物であるため，OCCURRENCE となる，表現活動動詞には，言う・報告する・告げる・説明する・陳述する・指摘する・伝えるなどが含まれる。

〈EVENT〉@REPORTING の例（太字が注目している項）

大学院でのこうした取り組みは初めてと〈EVENT〉いう〈/EVENT〉.

〜どうかと〈EVENT〉 提言する〈/EVENT〉.

## PERCEPTION：認識・知覚動詞

認識動詞や知覚動詞で，主に事象に関する物理的な知覚が，節や句の「〜の」などによる体言化によって導入される場合などは，PERCEPTIONに分類する。但し，項が事物であるときは，OCCURRENCE とする（例「ホスピスという言葉を初めて聞いた」），見る・観察する・見かける・眺める・聞く・聴く・耳にする・睨む・探る・感じるなどが含まれる．〈EVENT〉@PERCEPTION の例（太字が注目している項）母親が炊飯器でおでんを作ったのを〈EVENT〉見て〈/EVENT〉,

なお，新聞データにおいては，文脈により物理的な知覚を導入しない場合が多く, 出現が少ない.

## 〈EVENT〉@PERCEPTION としない例（太字が注目している項）

[個人名] [ [内容] について〈EVENT〉聞いた〈/EVENT〉。（インタビューであるため, OCCURRENCE)

A を B と〈EVENT〉見る〈/EVENT〉.（判断であるため, OCCURRENCE や I_STATE)

## ASPECTUAL : アスペクト動詞

事象のアスペクト（相）を示す動詞が，事象を導入している場合はこれにあたる．明示的に記述されている場合に限定する。そのため, 接頭辞などの造語成分（例：「再」+動詞による「再団結する」「再開発する」など，「終」「開」による「終演する・開幕する」 など）を含む動詞については， ASPECTUAL に含めない.

アスペクトを明示的に表す動詞は，以下のようなものがある.

(1) Initiation：始める・始まる

(2) Reinitiation : 再開する

(3) Termination：終える・止める・終わる・中止する・停止する・あきらめる

(4) Culmination：やり終える・完成させる

（5） Continuation：続ける・続行する・持続する・維持する・やり通す・保つ

〈EVENT〉@ASPECTUAL の例（太字が注目している項）

トーナメントは, 日本時間 10 日夜に第 1 日が〈EVENT〉始まる〈/EVENT〉.

[個人名] が勝てば 3 連覇に〈EVENT〉続く〈/EVENT〉偉業達成.

二年目も引き続き好調を〈EVENT〉維持したいく/EVENT〉.

とろ火状態を〈EVENT〉保つ〈/EVENT〉.

## I_ACTION (Intensional Action): 内包的な動作

明示された事象の導入を行う（項とする）遂行動詞は I_ACTION と分類する。遂行しない場合は後述する I_STATEとして区別を行う。また，イベントが助詞によって分割されている場合の後半部（例：「連絡をとる」「明らかにする」など）は I_ACTION と考える。次の I_STATE との差別として，挑む・予防する・遅らせる・依頼する・要求する・説得する・約束する・決定する・提案するなど，遂行性のある動詞がこれにあたる。また, 同様に, REPORTING との差別として, 宣言する・主張する・申し出る・断定するなど, PERCEPTION との差別として，調査する・精査するなどが I_ACTIONにあたる.

なお, Intentional（意図的）とは異なることに注意されたい.

〈EVENT〉@I_ACTION の例（太字が注目している項）

女性が受け入れられるべきかと〈EVENT〉問われれ〈/EVENT〉ば，イエスだ.

再建を国際社会全体で〈EVENT〉取り組む〈/EVENT〉契機.

支払えないケースが〈EVENT〉出ているく/EVENT〉.

[個人名]は速い転がりを〈EVENT〉確かめていたく/EVENT〉.

## I_STATE (Intensional States): 内包的な静態動詞

事象を導入する（項とする）が，事象を遂行しない動詞は I_STATEとする。代替・候補が言及されるなどの状態の導入が主となる．主に思考動詞や感情動詞がこれにあたり，信じる・思う・望む・欲する・期待する・計画するなどの思考動詞のほか, 恐れる・心配する・悩むなどの感情動詞，また，遂行のない動詞として，求める・〜しょうとする・〜 したがるなど，〜できる・〜できないなども含まれる.
〈EVENT〉@I_STATE の例（太字が注目している項）

連覇を〈EVENT〉狙うく/EVENT〉。生活が〈EVENT〉できる〈/EVENT〉.

未現像でも〈EVENT〉構いませんく/EVENT〉.

よく見ていてくれたと〈EVENT〉感謝する〈/EVENT〉。（遂行性がないため, I_ACTIONではない）

## STATE : 静態動詞, 形容詞, 形状詞

時間的順序関係と直接かかわらない場合, 文書作成時間に従属しない場合には, 〈EVENT〉 タグをつけないが, 以下の種類の静態動詞 (工藤 1995) と形容詞について, 時間と関わる場合に限り,〈EVENT〉@STATE とする.

(1) 存在動詞：ある・いる・存在する・点在する

(2) 空間的配置動詞：そびえている・面している・隣接している

（3）関係動詞：値する・あたる・あてはまる・相当する・意味する・示す・適する

（4） 特性動詞：甘すぎる・大きすぎる・泳げる・話せる・似合う

〈EVENT〉@STATE の例

マネジャーに就任する意向が〈EVENT〉ない〈/EVENT〉ことを明らかにした.（存在）

東京湾岸でも生活〈EVENT〉できる〈/EVENT〉環境さえあれば.（特性動詞.この場合, 「生活ができる」であれば I_STATEとする)

彼女のようにモノをはっきり〈EVENT〉 言える〈/EVENT〉ことがこれからは大切だ. (特性動詞) おいしく〈EVENT〉 食べられますく/EVENT〉。（特性動詞）

NULL, NONE ：時間軸上インスタンスが認定できない事象表現・静態表現

〈MAKEINSTANCE〉を付与しない事象表現・静態表現.〈MAKEINSTANCE〉タグを付与するか否かの判断基準として, 文書作成日時もしくは他の事象表現との時間的順序関係が定義できるかどうかを重要視する．何らかの変化を含む事象表現ではなく，恒常的あるいは一般的なことをいっていると考えられうる事象表現においては, 時間的順序関係のアノテーションは不可能であるため,〈MAKEINSTANCE〉タグは付与しない.

〈MAKEINSTANCE〉タグを付与しない例（太字が付与しない表現）

クラブの運営について 1 票を持っているわけではない.

国際会議 57 件を含め 2,111 件. 火を使わない調理法.

連体修飾節中の動詞が，一般的と判断される場合〈MAKEINSTANCE〉タグを付与しない.〈MAKEINSTANCE〉タグを付与しない例：連体修飾（太字が付与しない表現）旅の安全を守る道祖神. オリーブ畑に囲まれたレストラン.

副詞的用法や慣用的な場合も時間的順序関係が付けがたいため,〈MAKEINSTANCE〉タグを付与しない.
〈MAKEINSTANCE〉タグを付与しない例：慣用表現（太字が付与しない表現）

やむを得ない．相次いで出している。

なりふり構わぬ販売攻勢.

文脈によっては，「ある」「なる」「する」などの動詞も，一般的なことを述べているため時間的順序関係が付けがたい場合がある。この場合〈EVENT〉タグを付与しない.〈MAKEINSTANCE〉タグを付与しない例：「ある」など（太字が付与しない表現）〜のためこの名がある. 〜が基本となる.

〜を原則とする.

以下, NULL と NONE のラベルの違いについて述べる. NULLのラベルは本節の作業を行った作業者二人により付与したものである。NONE のラベルは次節の時間的順序関係認定時に, 三人の作業者が時間軸上にインスタンスを認定することができなかったものについて修正付与する.

事象構造そのもののアノテーションは意味論レベルの情報付与に相当し, 言語学的な知見から様々な記号化手法が考えられる。本研究は時間情報表現・事象表現間の時間的順序関係の可視化を目的としており, そのアノテーション形式の標準化である ISO-TimeML の枠組の範囲内で，値割り当てとしてのアノテーション基準を定めた. 本節のアノテーション作業にあたっては次の 3.3 節で行う被験者実験的な時間的順序関係アノテーションの基底となる情報のために MAMA サイクルに基づき厳密な統制を行った.

## 3.3 時間的順序関係の認定

本研究は時間構造に対する複数人の認識の差異を評価するために, 被験者実験的に時間的順序関係アノテーションを実施する。時間的順序関係について, 事象が表現する時間構造が長さ 0 以上の時区間である（時点は長さ０の時区間として扱う）と仮定をおく.このことにより個々人が認識する事象表現の時間構造を, 人工知能分野でよく研究されている Allen の時区間論理 (Allen 1983)として表現することができる. アノテーション作業者は, 時間軸上に二つの時区間をプロットすることで描画的に事象の時区間を表現することができる．直感的であるために短時間の教示でアノテーションが可能になる.

具体的には, 先行研究で付与されている〈TIMEX3〉夕グ範囲の時間情報表現と〈MAKEINSTANCE〉 タグにより認定した事象表現のインスタンスに対して,〈TLINK〉相当の時間的順序関係を認定する．表 4 に示す Allen の二次の範囲代数に基づくラベル（13 種類）を付与する．採用するラベル集合は, 標準化されているアノテーション形式であるため, 他の研究者が多言語で言語横断的に分析する際にも有効だと考える。

なお, 二つの事象表現が during/equal/contains の三つの時間的順序関係にある場合, 部分事象の関係か全く同一の事象の関係でありうる。 そのような場合には表 5 の三つのラベルを付与
表 4 Allen の範囲代数に基づく時間的順序関係ラベル

 \\

表 5 事象-部分事象間関係を表現するラベル

 \\

する 5 . 計 $13+3$ 種類のラベルをまとめると図 2 のようになる.このほかにテキストの情報だけでは全く時間的順序関係がわからない場合に付与するラベルとして‘vague’を利用する。この作業は TimeML の〈TLINK〉付与の作業に相当し，我々も夕グ名として〈TLINK〉を用いる.

これらの計 $13+3+1$ 種類のラベルを〈TIMEX3〉タグと〈MAKEINSTANCE〉タグの間，もしくは，

図 2 〈TLINK〉時間的順序関係ラベル一覧

二つの〈MAKEINSTANCE〉タグ間に付与する。本作業で用いる〈MAKEINSTANCE〉タグは前節の作業を精査した 3,839 件を固定して用いる。前節の作業を行った二人とは異なる，三人の作業者が時間的順序関係を行う。文書中の〈MAKEINSTANCE〉タグの対の数は文書中の〈MAKEINSTANCE〉 タグの数の組み合わせに相当し，人手で全ての対を検証することは困難である.

英語の TimeBank では，全ての対で作業者が認定できるものという曖昧な基準で一致率が $55 \%$ と報告されている。本研究では, TempEval などの評価型ワークショップで採用されている「文書作成日時と事象表現の順序関係（“DCT” と呼ぶ）」「同一文内の時間情報表現と事象表現間順序関係（“T2E"と呼ぶ）」「隣接事象表現間順序関係（"E2E"と呼ぶ）」「隣接文の末尾の事象表現間順序関係（"MATRIX”と呼ぶ）」の 4 種類の表現対についてのみ付与する.

英語の TimeBank は，どの表現対に関係を付与するかというのは作業者にゆたねられている。一方，本研究では 4 種類の表現対について必ず何らかの関係を付与することとし, 現実世界の事象と仮想世界の事象間，もしくは，二仮想世界の事象間などの場合で時間的順序関係が規定できない場合に 'vague’を付与することとしている．本作業の基準では 4 種類の表現対のうち "DCT", "E2E", “MATRIX"の 3 種類について複数の連結可能な単純道をグラフ上確保しており，基本的にアノテーションは連結グラフを構成する。このグラフ中 'vague’の関係が切断辺となる場合，分離された部分グラフは二つの異なる可能世界（実世界-架空世界，異なる二架空世
界）を明示的に表現する。

なお, アノテーション作業に際し, 以下の点に注意した。
- 時間は基本的に区間としてアノテーションを行う．1秒でも区間とする.
- 事象は瞬間動詞については点（長さ0の区間）とし，それ以外の表現は区間とする.
- 状態動詞などで開始点・終了点がわかりにくいものは, 前工程の〈EVENT〉タグの認定時で排除されているべきだが，わかりにくい場合には作業者の理解にゆだねる.

## 4 アノテーション情報の分析

## 4.1 事象表現の認定とクラス分類

時間的順序関係を行う前に時間情報表現と事象表現の範囲を切り出す必要がある．時間情報表現の切り出しについては先行研究 (小西他 2013)によりなされており, 今回対象の BCCWJ コアデータ新聞データ 54 ファイル上の分布は表 6 のようになっている. 事象表現の認定とクラス分類の分布は表 7 に示す.

表 6 時間情報表現の分布

表 7 事象表現の分布

 & NULL & 1,114 \\

## 4.2 時間的順序関係の認定

作業者三人により時間的順序関係認定作業を開始した。計 $13+3+1$ 種類のラベルを「文書作成日時と事象表現の順序関係 ("DCT”)」「同一文内の時間情報表現と事象表現間順序関係 (“T2E")」「隣接事象表現間順序関係 (“E2E”)」「隣接文の末尾の事象表現間順序関係 (“MATRIX”)」の 4 種類の表現対に対して付与した。

以下，作業者三人分の作業結果を示し，考察する，表 8 が $13+3+1$ 種類のラベルと 4 種類の表現対ごとに集計したものである。で結ばれた三つの数字は，三人の作業者が何件その関係を認定したかを示す. 右 “=” 以下の数字はその中で三人が一致した件数を示す. まず，一致したラベルの件数として，始点・終点の一致を必要としない 'after', 'during', 'contains', 'before'の頻度が多かった．始点・終点のいずれかの一致を必要とするラべルのうち，もっとも一致件数が多いものは時間軸上の完全の一致を示す 'equal’ であった. また 'vague’についても複数の作業者が認定し, 314 件一致しているところから, 文脈を用いても時間的順序関係が推定できないものが少なからずあることがわかる.

表 9 に 4 種類の表現対ごとの一致率を集計したものを示す. 一致率の評価基準として，「ラベル $13+3+1$ 種類を区別するもの（ラベル $13+3+1$ ）」「部分集合であるか否かを区別せず，ラベル $13+1$ 種類を区別するもの（ラベル $13+1$ )」「TempEval で用いられているラベル $5+1$ 種類 ('BEFORE', 'BEFORE-OR-OVERLAP', 'OVERLAP', 'OVERLAP-OR-AFTER', 'AFTER', 'VAGUE' $\left.{ }^{6}\right)$ に縮退するもの（ラベル 5+1）」の 3 種類を用いる。まず，もっとも厳しい一致率

表 8 〈TLINK〉時間的順序関係ラベルの評価 : 作業者間の認定傾向の比較

表 9 〈TLINK〉時間的順序関係ラベルの評価： 4 種類の関係対ごとの一致率

評価基準（ラベル $13+3+1$ ）でも $65.3 \%$ の三人の一致率 (Cohen's kappa 0.733) であった. 我々の手法では事象構造の認定については複数人で合議的に行い, その後限られた関係について時間的順序関係アノテーションを行っているが, 事象構造の認定と関係対に対する関係タグ付与作業を同時に行っている英語のデータ TimeBank 1.2 における〈TLINK〉の一致度（関係対の認定の一致率 $55 \%$ と一致した関係対に対する関係夕グの一致率 $77 \%$ ）と比較しても遜色ないレべルだと考える。 4 種類の関係については，“DCT” が最も一致率が高く，次に “T2E”が高かった.これは片方が時間情報表現である場合に，時間情報表現側の時間軸上の絶対位置が推定しやすいことによるからだと考える。

一致率評価基準について始点$\cdot$終点の境界値一致の認定を緩和することで, "E2E", “MATRIX" の関係は若干一致率があがることから，作業者間で事象構造の時間的な境界値にずれが生じていることがわかる.

表 10 に 〈EVENT〉の@class ごとの一致率を集計したものを示す。まず，どちらかに静態表現であるSTATEを含む表現対の作業者間ラベル一致率が低い傾向にある。これは静態表現の始点・終点の認識が作業者間で一致することが困難であることによると考える．左項が時間情報表現 (DCT，TIMEX) であり，右項がSTATE である表現をみても，他の時間情報表現-事象表現との関係と比して作業者間ラベル一致率が低い. 事象表現を項にとるかどうかの観点でみると，右項が REPORTING，I_ACTION の関係が平均よりも高い傾向にある。しかしながら，時間的順序関係が定義されている事象表現対が係り受け構造上の係り受け関係にあるか，また述語項関係になっているかを判断するためには他のアノテーションとの重ね合わせが必要である．今後他機関が作成しているアノテーションを重ね合わせたうえで検討していきたいと考えている.

最後に意味論アノテーションに打ける正解のあり方について言及する。テキストが表出する意味レベルの情報の正解は，言語受容者によって完全に復元することは困難であり， $100 \%$ 正しいものを作成するためには言語生産者によるアノテーション作業が不可欠である。言語生産者によるアノテーション作業を BCCWJ に対して行うことは困難であるため, 本研究では作業者三人の結果を統合した形での正解は作成しない．言語受容者の個人の心的空間における時間的順序関係の認識はそれぞれ異なっていてしかるべきであり，受容者ごとに正解があると考える。
表 10 〈TLINK〉時間的順序関係ラベルの評価：〈EVENT〉@class ごとの作業者三人の一致率

列が $\{$ DCT,TIMEX, 〈EVENT〉@class $\}$, 行が $\{\langle$ EVENT〉@class $\}$ を表す. 括弧内は各組み合わせの該当件数.

個々の言語受容者の作業結果の正誤判定として，それぞれのアノテーション内での無矛盾性の認定が考えられる．Allen の二次の範囲代数を，三次以上に拡張すると人の処理能力を超え，機械的に処理するにも適切な演算が必要になるため, 今後の課題とする 7.

このアノテーションに基づき解析器の構成を行う場合には何らかの正解を決める必要がある.正解の設定として, 一人の作業者のアノテーションを正解とする方法, 三人の作業者が一致している部分を正解とする方法，三人の作業者それぞれの学習モデルを作成し多数決を取る方法などの様々な方法が考えられる。高性能な構造学習器を構成するためにどのように正解を認めるかについては, 工学研究者に委ねたい.

## 5 おわりに

本研究では『現代日本語書き言葉均衡コーパス』のコアデータ中の新聞データに対して, 時間的順序関係のアノテーションを行い，アノテーションの一致傾向について報告した。時間的順序関係を付与する事象表現の認定にあたり，時間軸上のインスタンスの認定可能性や，取りうる項が事象である場合に他の事象表現にどのような影響を与えるのかに基づいて，事象表現
^{7}$ Allen の範囲代数を拡張すると, 三次で 409 クラス, 四次で 23,917 クラス, 五次で $2,244,361$ クラスになることが知られている.
}

を $7+2$ 種類に分類した.

次に，三人の作業者による時間的順序関係の一致率などを検討した結果，事象構造の時間軸上の始点・終点の認識は摇れるものの, 時間軸上の前後関係は時間情報表現にまつわるもので $73 \%$ 以上（ラベル $5+1$ 評価で DCT $74.8 \%$, T $2 \mathrm{E} 73.4 \%$ )，事象表現にまつわるもので $62 \%$ 以上（ラベル $5+1$ 評価で E2E $62.7 \%$, MATRIX $62.3 \%$ ）の一致率で付与できることがわかった.本研究におけるアノテーションの評価は, 今回策定した基準や作業者で閉じているために限定的である。今後, データを公開8し, 他機関で同じ部分に付与されているさまざまなアノテー ションを重ね合わせ，䶡齬や矛盾を分析することでより深い分析が可能になると考えられる.

また，1節で述べた (b)の意味での目的に応えるために，本データを学習データとして用いた日本語時間的順序関係推定器の開発を今後行っていきたい. 英語の時間的順序関係推定器においては,〈MAKEINSTANCE〉タグに付与されたテンス・アスペクトの情報が有効な特徴量となる.一方，日本語においては，テンス・アスペクトは，準アスペクト表現を除くと「ル」-「夕」× 「テイル」-「テイタ」の二軸の対立しかない. そのうえ「ル」-「夕」の対立は非過去-過去の対立でしかなく,「ル」は定動詞・不定動詞の両方を表現する。このため, 形態素解析結果から直接得られるこれらの情報は時間的順序関係推定器の決定的な特徵量とはならない. 一方, BCCWJ の当該箇所には，他機関によりモダリティ情報・係り受け構造・述語項構造などが付与されている。これらを重ね合わせることで実用的な時間的順序関係推定器が作成できると考えている。

## 謝 辞

本研究を行うにあたり, 助言いたたきました日本 IBM の吉川克正氏, アノテーションに従事していたたいた方々に感謝いたします。本研究は文科省科研費特定領域研究「代表性を有する大規模日本語書き言葉コーパスの構築 : 21 世紀の日本語研究の基盤整備」, 国語研基幹型共同研究プロジェクト「コーパスアノテーションの基礎研究」および国語研「超大規模コーパス構築プロジェクト」によるものです。本論文の一部は The 27th Pacific Asia Conference on Language, Information, and Computation (PACLIC 27) で発表したものです (Asahara, Yasuda, Konishi, Imada, and Maekawa 2013).

## 参考文献

Allen, J. (1983). "Maintaining knowledge about temporal intervals." Communications of the ACM, 26, pp. 832-843.
^{8}$ http://github.com/masayu-a/BCCWJ-Timebank
}

Asahara, M., Yasuda, S., Konishi, H., Imada, M., and Maekawa, K. (2013). "BCCWJ-TimeBank: Temporal and Event Information Annotation on Japanese Text." In Proceedings of the 27th Pacific Asia Conference on Language, Information, and Computation (PACLIC 27).

Boguraev, B. and Ando, R. K. (2005). "TimeML-Compliant Text Analysis for Temporal Reasoning." In Proceedings of the 19th International Joint Conference on Artificial Intelligence (IJCAI-05), pp. 997-1003.

Boguraev, B. and Ando, R. K. (2006). "Analysis of TimeBank as a Resource for TimeML parsing." In Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC-06), pp. 71-76.

DARPA TIDES (2004). The TERN evaluation plan; time expression recognition and normalization. Working papers, TERN Evaluation Workshop.

Grishman, R. and Sundheim, B. (1996). "Message Understanding Conference-6: a brief history." In Proceedings of the 16th International Conference on Computational Linguistics (COLING96), pp. 466-471.

橋本泰一, 中村俊一 (2010). 拡張固有表現夕グ付きコーパスの構築一白書, 書籍, Yahoo! 知恵袋コアデーター. 言語処理学会第 16 回年次大会発表論文集, pp. 916-919.

IREX 実行委員会 (1999). IREX ワークショップ予稿集.

国立国語研究所 (2011). 『現代日本語書き言葉均衡コーパス』利用の手引き(第 1.0 版).

小西光, 浅原正幸, 前川喜久雄 (2013). 『現代日本語書き言葉均衡コーパス』に対する時間情報アノテーション. 自然言語処理, $20(2)$, pp. 201-222.

工藤真由美 (1995). アスペクト・テンス体系とテクスト一現代日本語の時間の表現一. ひつじ書房.

工藤真由美 (2004). 日本語のアスペクト・テンス・ムード体系一標準語研究を超えて一. ひつじ書房.

Mani, I. (2006). "Machine Learning of Temporal Relations." In Proceedings of the 44th Annual Meeting of the Association for Computational Linguistics (ACL-2006), pp. 753-760.

中村ちどり (2001). 日本語の時間表現. くろしお出版.

Pustejovsky, J., Castaño, J., Ingria, R., Saurí, R., Gaizauskas, R., Setzer, A., and Katz, G. (2003a). "TimeML: Robust Specification of Event and Temporal Expressions in Text." In Proceedings of the 5th International Workshop on Computational Semantics (IWCS-5), pp. 337-353.

Pustejovsky, J., Hanks, P., Saurí, R., See, A., Gaizauskas, R., Setzer, A., Sundheim, B., Ferro, L., Lazo, M., Mani, I., and Radev, D. (2003b). "The TIMEBANK Corpus." In Proceedings of Corpus Linguistics 2003, pp. 647-656.

Pustejovsky, J. and Stubbs, A. (2012). Natural Language Annotation. O'Reilly.

Sekine, S., Sudo, K., and Nobata, C. (2002). "Extended Named Entity Hierarchy." In Proceeding of the third International Conference on Language Resources Evaluation (LREC-02), pp. 1818-1824.

Setzer, A. (2001). Temporal Information in Newswire Articles: An Annotation Scheme and Corpus Study. Ph.D. thesis, University of Sheffield.

UzZaman, N., Llorens, H., Derczynski, L., Allen, J., Verhagen, M., and Pustejovsky, J. (2013). "SemEval-2013 Task 1: TempEval-3: Evaluating Time Expressions, Events, and Temporal Relations." In 2nd Joint Conference on Lexical and Computational Semantics (*SEM), Volume 2: Proceedings of the 7th International Workshop on Semantic Evaluation (SemEval 2013), pp. 1-9, Atlanta, Georgia, USA. Association for Computational Linguistics.

Verhagen, M., Gaizauskas, R., Schilder, F., Hepple, M., Kats, G., and Pustejovsky, J. (2007). "SemEval-2007 Task 15: TempEval Temporal Relation Identification." In Proceedings of the 4th International Workshop on Semantic Evaluations (SemEval-2007), pp. 75-80.

Verhagen, M., Saurí, R., Caselli, T., and Pustejovsky, J. (2010). "SemEval-2010 Task 13: TempEval-2." In Proceedings of the 5th International Workshop on Semantic Evaluations (SemEval-2010), pp. 57-62.

## 略歴

保田祥：2011 年神戸大学人文学研究科博士後期課程修了. 2013 年より国立国語研究所コーパス開発センタープロジェクト PDフェロー. 現在に至る.博士 (文学). 認知意味論の研究に従事.

小西光：2005 年上智大学文学部卒業. 2007 年上智大学文学研究科博士前期課程修了. 2008 年より国立国語研究所コーパス開発センタープロジェクト奨励研究員. 現在に至る.『日本語書き言葉均衡コーパス』『日本語話し言葉コーパス』『日本語大規模コーパス』の整備に携わる.

浅原正幸：2003 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2004 年より同大学助教. 2012 年より国立国語研究所コーパス開発センター特任准教授. 現在に至る. 博士 (工学). 形式意味論の研究に従事.

今田水穂：2010 年筑波大学人文社会科学研究科博士課程修了. 筑波大学特任研究員を経て, 2013 年より国立国語研究所コーパス開発センタープロジェクト PDフェロー. 現在に至る. 博士 (言語学). 概念意味論の研究に従事.

前川喜久雄 : 1956 年生. 1984 年上智大学大学院外国語学研究科博士後期課程 (言語学) 中途退学. 国立国語研究所教授. 言語資源系長. コーパス開発セン

ター長. 副所長. 博士 (学術). 専門は音声学ならびに言語資源学.

(2013 年 4 月 24 日受付)

(2013 年 7 月 5 日再受付)

(2013 年 8 月 29 日採録)


# 評価表現と文脈一貫性を利用した 教師データ自動生成によるクレーム検出

乾 孝司 ${ }^{\dagger} \cdot$ 梅澤 佑介 ${ }^{\dagger} \cdot$ 山本 幹雄 $^{\dagger}$

本論文では，レビュー文書からクレームが記述された文を自動検出する課題に対し て, 従来から問題となっていた人手負荷を極力軽减することを指向した次の手続き および拡張手法を提案する：(1) 評価表現と文脈一貫性に基づく教師デー夕自動生成 の手続き．(2) 自動生成された教師データの特性を踏まえたナイーブベイズ・モデル の拡張手法. 提案手法では, 大量のレビュー生文書の集合と評価表現辞書が準備で きれば, クレーム検出規則の作成・維持・管理, あるいは, 検出規則を自動学習す るために必要となる教師データの作成にかかる人手負荷は全くかからない利点をも つ. 評価実験を通して, 提案手法によって検出対象文の文脈情報を適切に捉えるこ とで，クレーム文の検出精度を向上させることができること，および，人手によっ て十分な教師データが作成できない状況においては, 提案手法によって大量の教師 データを自動生成することで，人手を介在させる場合と同等あるいはそれ以上のク レーム検出精度が達成できることを示した。

キーワード：クレーム，評価表現，文脈一貫性，教師データ
## Complaint Sentence Detection via Automatic Training Data Generation using Sentiment Lexicons and Context Coherence

\author{
Takashi Inui $^{\dagger}$, Yusuke Umesawa ${ }^{\dagger}$ and Mikio Yamamoto $^{\dagger}$
}

\begin{abstract}
We propose an automatic method for detecting complaint sentences from review documents. The proposed method consists of two procedures. One is a data generation procedure using sentiment lexicons and context coherence and the other is the expansion of a naive Bayes classifier based on the characteristics of the training data. This method has an advantage of not requiring human effort for the creation of large-scale training data and management of rules for complaint detection. The experimental results indicate that this method is more effective than the baseline methods.
\end{abstract}

Key Words: complaint, sentiment expression, context coherence, labeled data

†筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻, Department of Computer Science, Graduate school of SIE, University of Tsukuba

## 1 はじめに

インターネットの普及により, 個人が Web 上で様々な商品を購入したり, サービスの提供を受けることが可能になった．また，これに伴い，商品やサービスに対する意見や感想が，大量に Web 上に蓄積されるようになった. これらの意見や感想は, ユーザが商品やサービスを購入する際の参考にするだけでなく, 企業にとっても商品やサービスの改善を検討したり, マーケティング活動に活用するなど，利用価値の高い情報源として広く認識されている.

近年ではさらに, ユーザ参加型の商品開発が注目されるなど, ユーザと企業とがマイクロブログやレビューサイト等のソーシャルメディアを通して，手軽に相互にコミュニケーションを持つことも可能となっている。 そして, このようなコミュニケーションの場においては, いわゆる「クレーム」と呼ばれる類のユーザの意見に対して企業側は特に敏感になる必要があり， ユーザが発言したクレームに対しては, 適切に対応することが望まれている. しかしながら, このようなコミユニケーションの場では，次のような理由からユーザのクレームを見落としてしまう懸念がある.
- 見落とし例 1 : 特に, マイクロブログ型サービスを通したコミュニケーションでは, 多対一型のコミュニケーション，つまり，大勢のユーザに対して少数の企業内担当者が同時並行的にコミュニケーションを持つことが多く, そのため, 一部のユーザが発言したクレームを見落としてしまう可能性がある.
- 見落とし例 2 : 特に, レビューサイトを通したコミュニケーションでは, ユーザは様々な意見をひとつのレビュー文書中に書き込むことが多く，その中に部分的にクレームが埋め达まれることがある（図 1 および図 2 に例を示す。下線部がクレームを示す)。この場合, レビューの中からクレームを見つける必要があるが, これらの一部を見落としてしまう可能性がある.

本論文では，上記のうち，2つ目の見落とし問題に対処すべく, レビューからクレームを自動

図 1 クレームが含まれたレビューの例 1

ひさびさの家族旅行のときに利用しました. せっかくの家
族旅行なのにお渢呂の污れが目立っていたことが気になって
しかたがありませんでした. 他はだいたい満足です.

図 2 クレームが含まれたレビューの例 2
検出する手法について述べる。より具体的には，まず，文単位の処理を考え，表 1 のような内容を含む文を「クレーム文」と定義する，そして，レビューが入力された際に，そのレビュー 中の各文のそれぞれに対して，それらがクレーム文かそうでないかを自動判定する手法について検討する。

これまで，テキストからクレームを検出することを目的とした先行研究としては，永井らの研究 (永井, 高山, 鈴木 2002 ; 永井, 増塩, 高山, 鈴木 2003 ) がある. 永井らは, 単語の出現パタンを考慮した検出規則に基づいたクレーム検出手法を提案している．しかしながら，彼らの手法のように人手で網羅的に検出規則を作成するには，作成者がクレームの記述のされ方に関する幅広い言語的知識を有している必要がある。また，現実的に検出規則によって運用するには，膨大な量の規則を人手で作成・維持・管理する必要があり，人的負荷が高いという問題がある。この問題に対する解決策のひとつとして，教師あり学習によって規則を自動学習することが考えられるが，その場合でも，事前に教師デー夕を準備する必要があり，単純には，教師データの作成に労力を要するという別な問題が発生してしまう.

本論文では，上記のような背景を踏まえて，人的な負荷をなるべく抑えたクレーム検出手法を提案する。より具体的には，レビュー文書からクレーム文を自動検出する際の基本的な設定として，テキスト分類において標準的に利用されるナイーブベイズ・モデルを適用することを考え, この設定に対して, 極力人手の負荷を軽减させるために, 次の手続きおよび拡張手法を提案する.
- 評価表現および文脈一貫性に基づく教師デー夕自動生成手法を提案する．従来，学習用の教師データを作成するには負荷の高い人手作業に頼らざるを得なかったが，本研究では既存の言語資源と既存の知見に基づくことで，人手作業に頼らずに教師データを自動生成する手法を提案する。
- 次に，上記で生成された教師デー夕に適したモデルとなるように拡張されたナイーブベイズ・モデルを提案する。上記の提案手法によって生成された教師デー夕は自動化の代償として人手作成されたデータと比べて質が劣化せざるを得ず，標準的な分類モデルをそのまま適用するだけでは期待した精度は得られない。本研究では上記のデータ生成手

表 1 クレーム文の定義

 &  \\

法で生成されるデータが持つ特性を踏まえて，ナイーブベイズ・モデルを拡張する。提案手法では，従来手法で問題となっていた検出規則の作成・維持・管理，あるいは，規則を自動学習するために必要となる教師データの作成にかかる人手負荷は全くかからない利点をもつ。本論文では，上記の手続き执よび拡張手法について，実デー夕を用いた評価実験を通して， その有效性を検証する。本論文の構成は以下の通りである。まず 2 節で教師データの自動生成手法について説明する。その後, 3 節でナイーブベイズ・モデルの拡張について説明し， 4 節で評価実験について述べる．5 節で関連研究を整理した後， 6 節で本論文をまとめる.

## 2 教師データ自動生成

## 2.1 教師データ

まず，生成したい教師データについて整理する。本研究では，クレーム文を検知するためにナイーブベイズ分類器 (Manning and Schutze 1999) を構築し, 文がクレームを表しているか, あるいはクレームを表していないかのどちらかに分類したい。このような分類器の構築に必要となる教師デー夕は，言うまでもなく，クレームを表している文（以下，クレーム文と呼ぶ）の集合と，クレームを表していない文（以下，非クレーム文）の集合となる，以下では，説明の便宜上，このデー夕集合を得る手続きをラベル付けと呼び，【クレーム】および【非クレーム】というラべルによって，どちらの集合の要素となるかを区別することとする。例えば，図 1 の各文に対してラべル付けが実施されたとすると，次のようなラべル付きの教師データが得られる。

-【非クレーム】従業員の方は親切でした。

・【非クレーム】最寄りの病院など教えて頂き, とても助かりました。

・【非クレーム】ありがとうございました.

・【クレーム】ただ残念だったのが，シャワーの使い方がよくわからなかったことです.

・【クレーム】使い方の説明をおいて頂きたいです.

本論文で提案する教師デー夕自動生成手法は, 評価表現の情報に基づくラベル付けステップと，ある文の文脈に対する文脈一貫性の情報に基づくラベル付けステップの 2 ステップで構成される，各ステップをそれぞれ核文ラベル付けおよび近接文ラベル付けと呼ぶことにし，以下で順に説明する。

## 2.2 核文ラベル付け

核文ラベル付けは，評価表現の情報に基いて行う，評価表現とは，「おいしい」や「まずい」等，評価対象に対する評価を明示的にあらわす言語表現のことである。一般的には，これら表現に「おいしい/肯定」や「まずい/否定」のような肯定・否定の評価極性値を付随させたものを集めて評価表現辞書と呼ばれている (乾，奥村 2006).
核文ラベル付けステップでは，評価表現辞書に否定極性として登録されている評価表現に着目し，このような評価表現を含む文はクレームを表しやすいと仮定する。そして，否定極性の評価表現を含む文をクレーム文としてラベル付けする。降，この手続きで得られる文を次ステップで得られる文と区別するため核文と呼び，特に，核文がクレーム文である場合はクレー 么核文と呼ぶ，例えば，「まずい／否定」という単語が評価表現辞書に登録されている場合，次の例文はクレーム核文としてラベル付けされる.

-【クレーム (核)】朝食のカレーがまずい.

もし, ある文が肯定極性をもつ評価表現を含み，かつ「ない」や「にくい」などの否定辞が評価表現の 3 単語以内に後続していた場合もクレーム核文としてラベル付けする. 例えば, 次の例文は「おいしい／肯定」の直後に否定辞「ない」が後続しているため, クレーム核文としてラベル付けされる.

-【クレーム (核)】朝食のカレーがおいしくない.

また，評価表現の否定極性と肯定極性を読み替えて上記と同様の手続きを行った場合に得られる文を非クレーム核文と呼び，クレーム核文と同じょうにラベル付けしておく．

-【非クレーム (核)】朝食のカレーがおいしい.

-【非クレーム (核)】ハヤシライスは別にまずくはない.

さらに,「ほしい」等の要求表現を集めた要求表現辞書が利用できる場合は, 次の例のように要求表現を含む文をクレーム核文としてラベル付けする1. ただ，要求表現に注目したラベル付けの場合は，評価表現の時とは違って，否定辞の有無に関係なくクレーム核文としてラベル付けする。

-【クレーム (核)】朝食に和食メニューをもっと増やしてほしい.

・【クレーム (核)】朝食を洋風なものばかりにしてほしくない.

以降，クレーム核文と非クレーム核文をあわせた文の集合を $\mathcal{S}_{\text {core }}$ であらわす.

## 2.3 近接文ラベル付け

那須川ら (那須川，金山 2004) は，彼らの論文の中で，評価表現の（文をまたいだ）周辺文脈には以下のような傾向があると述べており, これを評価表現の文脈一貫性と呼んた.

文書中に評価表現が存在すると，その周囲に評価表現の連続する文脈 (以降, 評価文脈 ${ }^{2}$ ) が形成されることが多く, その中では, 明示されない限り, 好不評の極性が一致する傾向がある.

本研究では，この評価表現の文脈一貫性の考え方に基いて近接文ラベル付けを行う．先の核文ラベル付けの際に考慮した評価表現（あるいは要求表現）を含む文の周辺文脈について，「評価表現（要求表現）の存在に基づいて（非）クレーム文として選ばれた文の前後文脈に位置する文は，やはり（非）クレーム文である」という仮定をおき，この仮定に従って，核文の周辺文脈に対してラベル付けを行う。この手続きで得られる文を近接文（より詳細にはクレーム近接文あるいは非クレーム近接文）と呼ぶ.

近接文ラベル付けの手続きを Algorithm 1 に示す. この手続きへの入力は, 核文ラベル付けを終えたレビュー $d$ と，核文に対する周辺文脈の長さを決定する窓枠長 $N(\geq 0)$ であり，レビュー $d$ に含まれる核文に対して，レビューの先頭側に現れる核文から末尾側に現れる核文に向かって順に処理が進む。なお, Algorithm 1 において, $s_{i}$ はレビュー $d$ 内の先頭から $i$ 番目の

文をあらわし， $|d|$ は $d$ 内の文数をあらわす. 処理の大きな流れとしては, line.2-9でラベル付けされる文が選択され, line.10-16でラベル付けが実施される. line.17-34の各関数では, 付与するラベルの種類（“クレーム”か“非クレーム”）を確定する際に必要な仮のラベル情報が決められ，その情報が格納される。

図 3 を使って近接文ラベル付けの具体的な実行例を示す. 図の例では，対象となるレビュー は 8 つの文から構成されており，核文ラベル付けによって文 $s_{1}$ が非クレーム核文，文 $s_{5}$ がクレーム核文とラベル付けされた状態であり，この状態から近接文ラベル付けが開始される。窓枠長は $N=2$ とする. この場合，まず，核文 $s_{1}$ の周辺文脈に対する処理がなされる（Algorithm 1 の line.3)． $s_{1}$ は文書の先頭文であり前方文脈 (Backward context) は存在しない. そのため, 後方文脈 (Forward context)の $s_{2}$ と $s_{3}$ に対してのみ処理がなされ (line.6-7), それぞれ“非クレー ム”ラベルが配列に格納される (line.29). 次に核文 $s_{5}$ の周辺文脈に対する処理がなされる． $s_{5}$ はクレーム文であるため，前方文脈では $s_{3}$ に対して 2 つ目のラベル“クレーム”が格納され (line.19), また新たに $s_{4}$ に対して “クレーム”ラベルが格納される (line.19). 後方文脈では，まず $s_{6}$ に対して “クレーム”ラベルが配列に格納される (line.28). その一方で， $s_{7}$ は逆接関係の接続詞「しかし」の影響があるため, “クレーム”ではなく“非クレーム”ラベルが格納される (line.31). 最後に，各文に対して格納されたラベル情報をチェックし，格納されたラベルに不整合がない場合は, そのラベル情報に従ってラベル付けを行う (line.10-16). 不整合が生じている場合はその文に対してどのラベルも付与しない。以上の操作によって，この例では 2 つ核文

図 3 近接文ラベル付けの例（密枓長 $N=2$ の場合）

から新たに 4 つの近接文 $\left(s_{2}, s_{4}, s_{6}\right.$ および $\left.s_{7}\right)$ が得られる.

以降，クレーム近接文と非クレーム近接文をあわせた文の集合を $\mathcal{S}_{s a t}$ 3であらわす，また，必要に応じて, 核文の前方文脈から得られた近接文 $\mathcal{S}_{s a t}^{B}$ と, 後方文脈から得られた近接文 $\mathcal{S}_{s a t}^{F}$ を区別する $\left(\mathcal{S}_{s a t}=\mathcal{S}_{s a t}^{B} \cup \mathcal{S}_{s a t}^{F}\right)$.

## 3 ナイーブベイズ・モデルの拡張

## 3.1 ナイーブベイズ・モデル (Naïve Bayes model; NB)

前節で述べた手法によって自動生成された教師デー夕は，人手によって作成された教師デー 夕と比べて質が劣化せざるを得ず，標準的な分類モデルをそのまま適用するだけでは期待した精度は得られない，そこで，前節で述べた手法で得られる劣化を含むデー夕を使用するという前提をおき，この劣化データがもつ特性を踏まえてナイーブベイズ・モデルを拡張することを考える，以下では，まず，通常のナイーブベイズ・モデル（多項モデル）について述べ，その後, モデルの拡張について述べる.

ナイーブベイズ分類器では, ある文 $s$ の分類クラスを判定する際に, 条件付き確率 $P(c \mid s)$ を考え, この確率値が最大となるクラス $\hat{c}$ を分類結果として出力する. つまり,

$
\hat{c}=\arg \max _{c} P(c \mid s)
$

である．通常のナイーブベイズ・モデルでは上式を次のように展開する。

$
\begin{aligned}
\arg \max _{c} P(c \mid s) & =\arg \max _{c} P(c) P(s \mid c) \\
& =\arg \max _{c}\left.\{\log p_{c}+\sum_{w \in \mathcal{V}} n_{w}(s) \log q_{w, c}\right.\}
\end{aligned}
$

ここで, $\mathcal{V}$ は語彙集合, $n_{w}(s)$ は文 $s$ における単語 $w$ の出現回数をあらわす. また, $q_{w, c}, p_{c}$ は教師データを使ってそれぞれ以下の式で計算される。本研究ではパラメータを推定する際にラプラススムージング (Manning and Schutze 1999)を用いる.

$
\begin{aligned}
q_{w, c} & =\frac{n_{w, c}(\mathcal{D})+1}{\sum_{w} n_{w, c}(\mathcal{D})+|\mathcal{V}|} \\
p_{c} & =\frac{n_{c}(\mathcal{D})+1}{\sum_{c} n_{c}(\mathcal{D})+|\mathcal{C}|}
\end{aligned}
$

ここで， $\mathcal{D}$ は教師データとなる文の集合， $n_{w, c}(\mathcal{D})$ はデー夕 $\mathcal{D}$ においてクラス $c$ に属する文に現れる $w$ の出現回数, $n_{c}(\mathcal{D})$ はデータ $\mathcal{D}$ においてクラス $c$ に属する文の数, $|\mathcal{V}|$ は語彙の種類数, $|\mathcal{C}|$ は分類クラスの種類数である.

以上からもわかるように，通常のモデルでは，分類対象となる文内の情報のみを考慮し，分類対象文の周辺文脈の様子は全く考慮されない。たとえ同一文書内であっても個々の文は独立に評価・分類する．また，教師デー夕の利用にあたっても，当然のことながら，核文であるか近接文であるかといった区別はなく, 両タイプの文が同等にモデルの構築に利用される.

## 3.2 モデル拡張

前節で述べた教師データ生成過程から得られるデータには，核文および近接文という 2 種類の文が存在する。この 2 種類の文のうち, 核文は近接文とは独立にラベル付けされる一方で,近接文は核文の情報に基いて間接的にラベル付けされる。そのため，核文ラベル付けが結果として誤りであった事例に関しては近接文もその誤りの影響を直接受けることになる。また，当然ながら，文脈一貫性の仮定が成立しない事例もあり得る。このような理由から，近接文は核文に比べて相対的に信頼性の低いデータとなる可能性が高い.

そこで，このことを考慮し，核文と近接文の情報をモデル内で区別して扱い，近接文の情報がモデル内で与える影響を下げるよう，式 (2)の代わりに次のような式 (5)を用いる.

$
\begin{aligned}
\arg \max _{c} P(c \mid s)= & \arg \max _{c} P(c) P(s \mid c) \\
= & \arg \max _{c}\left.\{\log p_{c}+\sum_{w} n_{w}(s) \log q_{w, c}^{t g t}\right. \\
& \left.+\frac{1}{|c t x(s, N)|} \sum_{w} n_{w}(c t x(s, N)) \log q_{w, c}^{c t x}\right.\}
\end{aligned}
$

右辺第 3 項に現れる $\operatorname{ctx}(s, N)$ は $s$ の周辺文脈に位置する前方および後方のそれぞれ $N$ 文から構成される文の集合を表しており，この項が分類対象の周辺文脈をモデル化している。この項の係数 $1 /|c t x(s, N)|$ で, 周辺文脈の文数に応じてその影響を調整している。なお, $n_{w}(\operatorname{ctx}(s, N))$ は，集合 $c t x(s, N)$ の要素となる全ての文における単語 $w$ の総出現回数をあらわす。また，右辺第 2 項は通常のモデルと同様に分類対象となる文をモデル化したものであるが, 第 3 項の周辺文脈との区別を明瞭にするため, $q_{w, c}^{t g t}$ という記号を新たに導入した ${ }^{4}$.

式 (5)の $q_{w, c}^{t g t}$ と $q_{w, c}^{c t x}$, および $p_{c}$ はそれぞれ次式で求める. 式中の各記号の意味は式 (3), 式 (4) と同様である．ここで， $\mathcal{D}_{t g t}$ は分類対象文をモデル化するための教師デー夕集合， $\mathcal{D}_{c t x}$ は分類対象の周辺文脈をモデル化するための教師データ集合である．基本的には，前節で得られる教

師データのうち，核文データを $\mathcal{D}_{t g t}$ に割り当て，近接文データを $\mathcal{D}_{c t x}$ に割り当てるが, 正確な記述は後述の 3.3 節で与える.

$
\begin{aligned}
q_{w, c}^{t g t} & =\frac{n_{w, c}\left(\mathcal{D}_{t g t}\right)+1}{\sum_{w} n_{w, c}\left(\mathcal{D}_{t g t}\right)+\left|\mathcal{V}_{t g t}\right|} \\
q_{w, c}^{c t x} & =\frac{n_{w, c}\left(\mathcal{D}_{c t x}\right)+1}{\sum_{w} n_{w, c}\left(\mathcal{D}_{c t x}\right)+\left|\mathcal{V}_{c t x}\right|} \\
p_{c} & =\frac{n_{c}\left(\mathcal{D}_{t g t}\right)+1}{\sum_{c} n_{c}\left(\mathcal{D}_{t g t}\right)+|\mathcal{C}|}
\end{aligned}
$

以降，便宜的にこの拡張されたモデルを $\mathrm{NB}+\operatorname{ctx}$ と呼ぶ.

さらに, 式 (5)の第 3 項について, 周辺文脈を分類対象文からの相対位置で詳細化した

$
\frac{1}{|c t x(s, N)|}\left.\{\sum_{w} n_{w}(B c t x(s, N)) \log q_{w, c}^{B c t x}+\sum_{w} n_{w}(F c t x(s, N)) \log q_{w, c}^{F c t x}\right.\}
$

を代わりに利用するモデルも考えられる。ここで， $\operatorname{Bctx}(s, N)$ は， $s$ の前方文脈に位置する $N$文から構成される文の集合であり, $\operatorname{Fct} x(s, N)$ は同様に後方文脈で構成される文集合である. また, 式中の $q_{w, c}^{B c t x}$ および $q_{w, c}^{F c t x}$ は次式で求める. ただし, $\mathcal{D}_{c t x}=\mathcal{D}_{c t x}^{B} \cup \mathcal{D}_{c t x}^{F}$ である.

$
\begin{aligned}
q_{w, c}^{B c t x} & =\frac{n_{w, c}\left(\mathcal{D}_{c t x}^{B}\right)+1}{\sum_{w} n_{w, c}\left(\mathcal{D}_{c t x}^{B}\right)+\left|\mathcal{V}_{B c t x}\right|} \\
q_{w, c}^{F c t x} & =\frac{n_{w, c}\left(\mathcal{D}_{c t x}^{F}\right)+1}{\sum_{w} n_{w, c}\left(\mathcal{D}_{c t x}^{F}\right)+\left|\mathcal{V}_{F c t x}\right|}
\end{aligned}
$

以降，便宜的にこのモデルを $\mathrm{NB}+\operatorname{ctxBF}$ と呼ぶ.

## 3.3 データ割当規則

ここでは，さきほどの説明で保留していた，パラメータ推定の際に必要となる教師データの与え方について述べる。ここで，前節で述べた手法によって得られるデータ集合を確認すると，
- $\mathcal{S}_{\text {core }}$ : クレーム核文と非クレーム核文をあわせた文の集合
- $\mathcal{S}_{s a t}$ ：クレーム近接文と非クレーム近接文をあわせた文の集合
- $\mathcal{S}_{s a t}^{B}: \mathcal{S}_{s a t}$ の要素のうち, 核文の前方文脈から得られた文で構成される集合
- $\mathcal{S}_{s a t}^{F}: \mathcal{S}_{s a t}$ の要素のうち, 核文の後方文脈から得られた文で構成される集合

であり, $\mathcal{S}_{\text {sat }}=\mathcal{S}_{\text {sat }}^{B} \cup \mathcal{S}_{\text {sat }}^{F}$ であった.

これらデータ集合に対して，まず，核文と近接文を区別しない単純な割当として，得られた全データをまとめて利用することが考えられる。この場合, 拡張モデル $\mathrm{NB}+\mathrm{ctx}$ においての割当は,
- $\mathcal{D}_{\text {tgt }}=\mathcal{S}_{\text {core }} \cup \mathcal{S}_{\text {sat }}$
- $\mathcal{D}_{\text {ctx }}=\mathcal{S}_{\text {core }} \cup \mathcal{S}_{\text {sat }}$

となる。これを以降 $\mathrm{NB}+\operatorname{ctx}(\mathbf{a l l})$ と呼ぶ. また同様に，拡張モデル $\mathrm{NB}+\operatorname{ctxBF}$ においての単純な割当は,
- $\mathcal{D}_{\text {tgt }}=\mathcal{S}_{\text {core }} \cup \mathcal{S}_{\text {sat }}$
- $\mathcal{D}_{c t x}^{B}=\mathcal{S}_{\text {core }} \cup \mathcal{S}_{\text {sat }}$
- $\mathcal{D}_{c t x}^{F}=\mathcal{S}_{\text {core }} \cup \mathcal{S}_{\text {sat }}$

となるが，これは先の $\mathrm{NB}+\operatorname{ctx}(\mathrm{all})$ と事実上同等となるため以降の議論では割愛する.

次に，核文と近接文の区別を考慮したデータ割当を考える。拡張モデル $\mathrm{NB}+\operatorname{ctx}$ においての割当としては,
- $\mathcal{D}_{\text {tgt }}=\mathcal{S}_{\text {core }}$
- $\mathcal{D}_{c t x}=\mathcal{S}_{\text {sat }}$

が考えられる. これを以降 $\mathrm{NB}+\operatorname{ctx}($ divide) と呼ぶ. また同様に, 拡張モデル $\mathrm{NB}+\operatorname{ctxBF}$ においてのデータ割当として,
- $\mathcal{D}_{\text {tgt }}=\mathcal{S}_{\text {core }}$
- $\mathcal{D}_{c t x}^{B}=\mathcal{S}_{s a t}^{B}$
- $\mathcal{D}_{c t x}^{F}=\mathcal{S}_{s a t}^{F}$

が考えられる.これを以降 NB+BFctx(divide) と呼ぶ.

最後に, 通常のナイーブベイズについて考えると, この場合は, もともとのモデルにデー夕を区別する枠組みが存在しないため,
- $\mathcal{D}=\mathcal{S}_{\text {core }} \cup \mathcal{S}_{\text {sat }}$

という割当のみを考えることになる。なお， $\mathcal{D}=\mathcal{S}_{\text {core }}$ という核文のみを考慮し，近接文を利用しない割当も考えられるが，これは $\mathcal{D}=\mathcal{S}_{c o r e} \cup \mathcal{S}_{s a t}$ において近接文の窓枠長を 0 とする場合に等しいため, 割当規則として明示的には議論しないが, 第 4 節の評価実験では, 近接文の密枠長が 0 の場合も含めて議論する。以降, これを $\mathrm{NB}$ と呼ぶ.

ここまでの議論を整理すると, 前節の手法で自動生成された教師デー夕を利用するという前提のもとで，通常のナイーブベイズ・モデルも含めて， 4 つのクレーム文検出モデルが与えられたことになる。次節では，評価実験を通じて，これらの有効性を検証していく．

## 4 評価実験

## 4.1 検証項目

評価実験を通して，提案手法の有効性を検証する，具体的には以下の 3 項目を検証する．

（1）提案手法の比較：前節までで述べた 4 つのクレーム文検出モデルの中で，どのモデルが最良であるかを検証する。

（2）他手法との比較：提案手法と他手法との比較実験を行い, その結果から提案手法の有効性を検証する。

（3）学習データ量とクレーム文検出精度の関係について：提案したデータ生成手法は学習デー 夕を自動生成できるため，人手による生成に比べて遥かに多くの教師データを準備できる.この利点を実験を通して検証する。

## 4.2 実験の設定

実験には, 楽天データ公開5 において公開された楽天トラベルの施設データを利用した。このデー夕は約 35 万件（平均 4.5 文/件）の宿泊施設に関するレビューから構成されており, ここから，無作為に選んだ 1,000 レビューに含まれる文を評価用データとして用い，残りを教師デー

文がクレーム文であった。つまり，4,308 文からクレームを述べている 1,030 文を過不足なく検出することがここでの実験課題である。評価用デー夕の作成では, まず，レビュー文書中の各文が 1 行 1 文となるようにデー夕を整形し, それを作業者に提示した. そして作業者は，与えられたデータの 1 文（1 行）ごとにクレーム文か否かを判定していった。なお，ある文の判定時には，同一レビュー内の他の全ての文が参照できる状態になっている．２名の作業者によって上記の作業を独立に並行に行ったが，このうち 1 名の作業結果を評価用データとして採用した. 2 名の作業者間の一致度を $\kappa$ 係数の値によって評価したところ， $\kappa=0.93$ であった. この結果は, 作業者間の判断が十分に一致していたことを示している. 作業者間で判断が一致しなかった事例としては, 文が長く, ひとつの文で複数の事柄が述べられている場合や，「長身で据え置きのものでは短くて」のように，クレームの原因が宿泊施設側にあるとは必ずしも言えない場合が多かった。

教師データ生成時に必要となる評価表現辞書には, 高村ら (高村, 乾, 奥村 2006)の辞書作成手法に基いて作成された辞書を使用した，ただし，高村らのオリジナルの辞書は自動構築されたもので，そのままでは誤りが含まれているため，以下の手続きによって誤り修正を施し，本実験で使用する辞書として採用した. オリジナルの辞書には各登録語に対して肯定／否定の強
^{5}$ http://rit.rakuten.co.jp/rdr/index.html
}

さを示すと解釈できる $[-1,1]$ の範囲のスコアが付与されている. このスコアは, 値が大きいほど肯定，また，小さいほど否定をあらわし，0付近はどちらでもないことを示していると解釈できる。そこでまず，このスコアの絶対値の大きいものから 0.9 付近までの単語を自動的に選択した。そして，選択された各単語に対して人手による誤り修正を施し，結果として肯定表現 760 件，否定表現 862 件からなる辞書を作成し，本実験に用いた。

また, 要求表現辞書として，「欲しい」，「ほしい」，「べし」からなる辞書を作成して実験に使用した ${ }^{6}$. 周辺文脈の密枠長 $N$ の指定は, データ作成時, モデル学習時, 評価用デー夕の分類時

た，計算の都合上， $N=0$ の場合は $1 /|\operatorname{ctx}(s, N)|=0$ とした.

今回のように，分類すべきクラスがクレーム／非クレームという 2 クラスの分類問題の場合,式 (1)による意思決定は, 以下の式 (12)の符号が正の場合にクレームと判定することになる.

$
P(\text { “クレーム" } \mid s)-P(\text { “非クレーム” } \mid s)
$

しかし, 本研究では, 式 (12)に意思決定の閥値 $\theta$ を加えた次の条件式を新たに導入し, この条件式が成立する場合にクレームと判定し, 成立しない場合は非クレームと判定することとした.

$
P(\text { “クレーム" } \mid s)-P(\text { “非クレーム" } \mid s)>\theta
$

式 (13) の左辺は, クレームと判定する際の確信度を示していると考えることができ, 間値 $\theta$ はこの確信度に応じて出力を制御する役割りを持つ。閾値を $\theta=0$ と設定すると, これは式 (12) を用いた通常の意思決定と同じ動作となる。間値を 0 から大きくすると，より確信度が高い場合のみクレームと判定することになる。実験では, 間値 $\theta$ を増減させ, 以下の式で計算される適合率および再現率，あるいはその要約である 11 点平均適合率 (Manning, Raghavan, and Schutze 2008)を求め, 検出精度を評価した。 11 点平均適合率とは再現率が $\{0.0,0.1, \ldots, 1.0\}$ となる 11 点における適合率の平均値である。

$
\begin{aligned}
& \text { 適合率 }=\frac{\text { 正しくクレーム文として検出できた数 }}{\text { クレーム文として出力された数 }} \\
& \text { 再現率 }=\frac{\text { 正しくクレーム文として検出できた数 }}{\text { クレーム文の数 }}
\end{aligned}
$

データにおけるクレーム文と非クレーム文の割合等に応じて, 検出性能に対して最適な $\theta$ を自動推定することも考えられるが, これについては今後の課題である.

## 4.3 提案手法の比較

実験結果を図 4 に示す.このグラフは， 4 つの各検出モデルについて，考慮する周辺文脈の空枠長を変化させながら性能変化をプロットしたものである. 文脈長 $N=0$ の場合は, どのモデルも同じになるため, グラフ上では 1 点に集まっている.

$\mathrm{NB}$ モデルの結果（“〉”）を基準に考えると，核文と近接文を区別しない $\mathrm{NB}+\operatorname{ctx}(\mathrm{all})$ では文脈長を $N=0$ から $N \geq 1$ のどの文脈の長さに変更しても性能が向上しない一方で，核文と近接文の区別を考慮する $\mathrm{NB}+\operatorname{ctx}$ (divide) と $\mathrm{NB}+\mathrm{BF} c t x($ divide) は文脈長を $N \geq 1$ にすることで，一貫して性能が向上することがわかる。このことから，文脈情報を適切にモデルに反映させるためには，単にモデルを拡張するだけでは効果がなく, データとモデルを上手く組合せて, 核文と近接文を区別することが重要であることが確認できる。性能の向上が見られた NB+ctx(divide) と $\mathrm{NB}+\mathrm{BF} c t x(d i v i d e) を$ 比較すると, どちらも $N \geq 1$ の場合は文脈長の変化に対しては鈍感な傾向を示しているが, 近接文の相対位置を考慮する NB+BFctx(divide) の方が総じて良い結果を示しており，本論文で述べた 4 つのクレーム文検出モデルの中では， NB+BFctx(divide) モデルが最良であることがわかる.

次に，教師データとして自動生成されたクレーム近接文に含まれる単語を確認したところ，表 2 のような単語がクレーム核文には現れず, クレーム近接文にのみ現れていた。このような

図 4 実験結果（提案手法の性能比較）
表 2 クレーム近接文にのみ現れていた単語

「むせ返る」「激臭」「ばらばら」「不遜」

「投げつける」「飛び上がり」「黒焦げ」「むかつく」

単語の情報は, 周辺文脈の情報を取り込むことで初めて考慮できるようになった情報であり, 定性的にもクレーム検出における周辺文脈情報の利用の有効性が確認できる.

また文脈情報を取り込むことで正しく分類ができるようになった事例を以下に示す。下線の引かれた文が分類対象であり，左端の数字は分類対象文からの相対位置を示す.

-【正しくクレーム文であると判定できた例】

-2 : 疲れていたので苦情をいうのも面倒で, さっさとチェックアウトしました.

-1 ：普段だったらクレームを入れるレベルです.

$0 ：$ もう宿泊はないと思います.

+1 ：残念です.

-【正しく非クレーム文であると判定できた例】

-1 ：昨年寒い 1 月に宿泊した際，犬を入室させてもらえ助かりました。

0： 今回は寒くはないが飼い犬のミニチュアダックスが老齢 18 歳で泊めて頂け大変助かりました。

+1 ：また泊めて頂きます.

+2 : 感謝.

次に，誤りの傾向を分析したところ，以下のような事例について，判定誤りが多く見られた.

-【誤ってクレーム文と判定する例】

A. 不満の表明ではあるが, その対象・原因が宿泊者にある場合

*【例】仕事で到着が遅くなり,ゆっくりできなかったのが残念でした.

B. クレームの対象となりやすい事物が文中に多く記述されている場合

*【例】部屋はデスク, 姿見, 椅子, コンセントがあり, “従業員の対応もまずまずでした。

-【誤って非クレーム文と判定する例】

C. 記述の省略を伴う場合

*【【例】バイキングにステーキがあればなあ.

D. 外部的な知識を要する場合

*【【例】全体的な評価としては E ランクでした.

誤ってクレーム文と判定する事例のうち, A. のような事例に対応するには, 意見の対象や原因を特定する等の詳細な自動解析の実現が望まれる．手元のデー夕によると，B. に該当する上述の例のうち, 下線部がクレーム対象となりやすい事物であった。このような事例については,
文中では名詞が多く現れることから, 単語の品詞情報を考慮する等, 単語や単語クラス毎にモデル内での扱いを変更することが考えられる。また，誤って非クレーム文と判定する事例については，「Eランク」を否定極性の単語として扱うなど，ヒューリスティック規則によるチュー ニングは可能であるが，総体的には現在の技術では改善が困難な事例が多い印象である.

## 4.4 他手法との比較

次に, 提案手法と他手法との比較実験を行い, その結果から提案手法の有効性を検証する。他手法としては, 以下に示す 3 手法を検討した。始めの 2 つは, 従来から考えられるラべル付け方法に基づく手法であり, 残りの 1 つは, 教師あり学習を適用しない, 辞書の情報に基づいたルールベースの手法である.

$\cdot$ 人手によって教師データを作成する手法（以下，人手ラベル）

教師データ用のレビュー集合から 2,000 件のレビューを無作為に抽出し，そこに含まれる全ての文に対して人手でクレーム／非クレームのラベル付けを行ったものを教師データとしてモデル学習に用いる。この手法で得られるデータでは核文と近接文の区別がないため, 学習には通常のナイーブベイズ・モデルを用いる。提案手法と比べると, この手法では量は少量だが質の高い学習データが利用できる。このデータ作成作業は, 評価実験の正解デー夕作成と同一の作業となる。ただし, このデータ作成には正解データの作成に従事した作業者のうちの 1 名によって執り行なった。作業時間は約 30 時間であった.

・ 文書ラベルを教師データ作成に用いる手法（以下，文書ラベル）

本実験で使用しているレビューデータには, 本研究でいうクレームとほぼ同等の概念を示している「苦情」というラベルがレビュー単位に付与されている。そこで，ここでは，文よりも粗い文書に対する教師情報を利用して，文単位の教師デー夕を自動生成することを考える (Nigam and Hurst 2004)，具体的には，「苦情」ラベルが付与されたレビュー に含まれている全ての文をクレーム文とみなし, 逆に, 「苦情」ラベルが付与されていないレビューに含まれている全ての文を非クレーム文とみなすことで教師データを自動生成し, モデル学習に用いる. モデルは先と同様の理由で通常のナイーブベイズ・モデルを用いる. 提案手法と比べると, この手法では相対的に質は低いが, 大量の学習デー夕が利用できる。
- 辞書による手法

この手法は教師あり学習は行わず，辞書のエントリをルールとみなしたルールベース手法である。評価用デー夕に対して 2.2 節で述べた核文ラベル付け, および 2.3 節で述べた近接文ラベル付けの手続きを直接適用してクレーム文を検出する。たたし，ここでの焦点はデータ生成時とは違って, クレーム文を検出できるか否かであるため, ラベル付けの結果，クレームとラベル付けされた文以外は全て非クレームであるとみなして評価し

た。なお，辞書は 4.2 節で述べた辞書を用いる.

実験結果を図 5 に示す。また，表 3 に提案手法のラベル付けと人手ラベル，文書ラベルの各手法によるラベル付けの特徴をまとめる。

図 5 において，辞書による手法は，ナイーブベイズモデルを用いた分類時に導入した閾値のパラメータが存在しないため, 11 点平均適合率を計算できない. そのため, ここでは再現率と適合率によって分類性能を評価している。なお，図中の“提案ラベル”が提案手法の結果であり, さきほどの評価実験で最良であった拡張モデル $\mathrm{NB}+\operatorname{ctxBF}$ (divide) で文脈長 $N=2$ の実験結果を揭載している。また，“辞書（核）”は，辞書による手法のうち，核文ラベル付けのみを考慮した場合の結果であり，“辞書（核十近接）”が，核文ラベル付けと近接文ラベル付けの両方を考慮した場合の結果である。

図 5 実験結果（他手法との比較）

表 3 各ラベル付け手法で生成される教師デー夕の特徴

図 5 から，比較したどの手法よりも提案手法が良い性能を示していることがわかる. 辞書による万法は，辞書に登録されている単語が含まれていない文に対しては適用できないため，再現率が低い，近接文を考慮することである程度の再現率を確保することは可能であるが，当然ながらその代償として適合率が下がる結果となっている。ここで, 固有表現抽出課題がそうであるように, 一般に, 辞書に基づいた手法では再現率が低くなるがその一方で適合率が高くなる傾向がある．近接文の情報を用いない“辞書（核）”の結果は特にその傾向を示している．ただし，今回の実験結果では，再現率を固定させて適合率を見ると，ナイーブベイズ・モデルを用いた手法の方が適合率がより高い結果となっていた。これは, 本研究課題では, 辞書に登録されている一部の単語の情報だけでは文全体のクラス（クレーム／非クレーム）が正しく決定できない場合があり,このような場合には, 辞書による方法よりも文内の単語情報を総合的に考慮できるナイーブベイズ・モデルが適していたためと考えられる.

次に，文書ラベルを利用する方法は，文書内のすべての文を教師データとして利用できる．そのため, 提案手法と同程度かそれ以上の教師データが利用できるという特徴がある。しかし, 文書内には一般的にクレームと非クレームが混在することから，文書ラベルと整合していない信頼性の低いデー夕を多く含む結果となり，そのことが性能の低下に繋がっていると考えられる。最後に, 人手作成による方法は, もっとも質の高い教師データを準備することができるが, 作成負荷の高さから，量を確保することが難しい，今回は人手で 2,000 件（ 8,639 文）のレビュー から教師データを作成したが, 提案手法を上回ることはなかった.

## 4.5 学習データとクレーム文検出精度の関係について

先でも述べたように，一般に，人手作成された教師デー夕は質が高い反面, 多くの量を準備することが困難である。一方, 提案手法のように自動生成された教師デー夕は人手作成されたデータよりも質が落ちるが，ラベルのない生データを準備するだけで手軽に増量できる。ここでは，人手によって教師データを作成する場合と第 2 節の提案手法によって教師データを自動生成する場合のそれぞれについて, 教師データの量と分類性能の関係を調査する。 なお, 両者で教師データ以外の実験条件を合わせるために，この実験では，モデルには通常のナイーブベイズ・モデルを用いた。

実験結果を図 6 に示す. 横軸が学習デー夕量（対数スケール）であり，縦軸が 11 点平均適合率である。どちらの実験結果についても，まず今回の実験において最大で利用可能なデー夕量 （人手ラベルの場合：レビュー 2,000 件, 提案ラベルの場合 : レビュー約 347,000 件）から性能測定を開始し，そこから一部の学習デー夕を無作為に削除することで使用できる学習データ量がより少ない環境を設定して, これを繰り返しながらグラフをプロットした.

図 6 から，まず，どちらの手法においてもデー夕量を増やすことで性能が向上することが確認できる．デー夕量が同じ場合は, 当然のことながら, 人手による方法の方が良い性能となる.

しかし，提案手法によってデー夕量を増加させることで，今回の場合は 10,000 件までデー夕量を増やした時点で両者の性能が同等となり，さらにデー夕量を増やすことで提案手法が人手による手法を上回ることができた。

この実験結果は，あくまでひとつのケース・スタデイであり，具体的な数値自体に意味を求めることは困難であると考えられる。しかし，この結果は，人手によって十分な教師データが作成できない状況においては, 自動生成手法を適用することで得られる教師デー夕の量的利点という恩恵を受けられることを示唆していると言える。

## 5 関連研究

従来から，評判分析に関する研究を中心にして，意見を好評／不評に分類する研究が多くなされている (Pang and Lee 2008)。しかし，本論文では，応用面を重視した際，主に製品やサー ビスを提供する企業にとっては意見の好不評という側面たけでは十分でないことから，クレー ムという好不評とは異なる観点を導入し，意見を含むテキストからクレームという特定の意見を検出する手法について述べた，我々と同様に好評／不評以外の意見に着目した研究には，第 1 節で述べた永井らの研究 (永井他 2002,2003 ) の他にも幾つか存在する. 例えば，金山ら (金山，那須川 2005) は，テキストから好評／不評の評判に加えて要望を抽出する手法を提案している。彼らの手法は，文に含まれる評判や要望を意図フレームと呼ばれる独自の形式に自動的

に変換しつつ抽出するようになっており, この変換・抽出処理において, 既存の機械翻訳機構を再利用している．彼らの抽出対象である評判，要望の中に本研究におけるクレームも含まれていると考えられるが, 彼らの手法は, 機械翻訳機構が内部的に備える各種の言語知識のもとに成立しており, 運用には人手による多大な管理負荷を要すると考えられる。一方で, 本研究では極力人手の負荷を軽減することを指向しており，金山らの手法とはアプローチの方向性が異なる。また, 他の関連研究として, 自由記述アンケートから要求や要望を判定することに特化した大塚ら (大塚, 内山, 井佐原 2004) や山本ら (山本, 乾, 高村, 丸元, 大塚, 奥村 2006) の研究がある．彼らの論文中に定義がないため厳密にはよくわからないが, 彼らの扱っている要求や要望といった意見の分類クラスは, 我々のクレームの一部分に該当すると考えられる. Goldberg ら (Goldberg, Fillmore, Andrzejewski, Xu, Gibson, and Zhu 2009)は, 新年の願い事が集められたテキストコーパスからWish（願望）を機械学習を用いて自動抽出する研究を行っている.

本研究では，レビュー中の各文をクレーム／非クレームに分類する課題に対して，ナイーブベイズ・モデルを採用し，データ特性に合わせて，その拡張を行った，拡張モデルでは，文間の周辺文脈をモデルに適切に反映させることができる。ここで，文書中の各文を対象とした分類問題を，文書中の文系列に対するラベリング問題とみなすことで，条件付確率場 (Conditional Random Fileds; CRF) (Lafferty, McCallum, and Pereira 2001)のような, より高度なモデルを適用することについて検討する。まず， 2 節で述べたデー夕生成過程では，文書内のすべての文に対してラベルを付与するわけではなく，ある特定の文のみにラベルを付与することで教師データを作成する。そのため, CRFのような系列の構成要素についての全てのラべルを必要とするようなモデルは本研究の設定では直接は適用できない. 坪井ら (坪井, 森, 鹿島, 小田, 松本 2009) によって, 部分的なアノテーション情報から CRF の学習を行う手法が提案されており,この手法を適用することは不可能ではないが, 彼らの手法を適切に適用するにあたり，アノテーションされている部分は人手による信頼性の高い情報であるという暗黙的な仮定が必要であると考えられ，データの自動生成を前提とする本研究の設定とは相性が良くないと考えられる。

## 6 おわりに

本論文では，レビュー文書からクレームが記述された文を自動検出する手法として，極力人手の負荷を軽減することを指向した次の 2 つの手法を提案した。（1）評価表現と文脈一貫性に基づく教師データ自動生成手法. (2) 自動生成された教師デー夕の特性を踏まえたナイーブベイズ・モデルの拡張手法. そして, 評価実験を通して, これらの提案を組合せ，検出対象となる文の周辺文脈の情報を適切に捉えることで，クレーム文の検出精度を向上させることができ

ることを示した，また，人手によって十分な教師データが作成できない状況においては, 提案したデータ自動生成手法を適用することで得られる教師データの量的恩恵を受けられることを示した.

本論文で議論ができなかった今後の課題としては，以下のような項目があげられる。

・ 分類クラスの事前分布について：ナイーブベイズ・モデルでは, 式 (2)にあるように, 分類クラスの事前分布 $P(c)$ の情報を考慮する. しかし, 本研究のように教師データを自動生成する際は事前分布 $P(c)$ はデー夕自動生成手法に依存しており, 本研究の場合では,利用する評価表現辞書の特徴に依存することになる，今後，評価表現辞書および事前分布 $P(c)$ と検出性能との関係について考察することが必要である.
- 各種のパラメータ調整について: 本研究において, 幾つかのパラメータは恣意的に指定している，例えば，考慮する周辺文脈の長さについて評価実験では可変させていたが，それらは, データ生成, モデル学習, 分類の各過程で同期させている. しかし, 原理的にはデータ生成時のみ文脈長を延長するといった設定も可能であり, これらの最適な調整は今後の課題である。

・学習アルゴリズムについて：本研究では基本モデルとしてナイーブベイズ・モデルを採用して議論を進めたが, 同様の議論を Support Vector Machine (SVM) (Vapnik 1995)のような別の学習アルゴリズムを用いて行うことも興味深い．ただし，SVM にはモデルの学習速度が遅いという久点がある。 そのため, 提案手法の利点である大規模な教師デー 夕を自動生成できるという点を活かすためにはSVM の高速学習を含めた総合的な検討が必要である.
- クレームの内容分類について：本研究はクレーム検出をクレームであるか否かという 2 値分類問題として扱った. しかし, 実利用環境で検出されたクレームを企業内で活かしていくには，クレーム内容も合わせて自動分類できることが望ましい。例えば，対象が宿泊施設の場合では,「部屋」や「食事」といったクレームの対象に関する分類クラスを別途設定し, これらも同時に考慮した検出モデルを検討することも興味深い.
- 見逃し状況について：クレームを見逃す状況として, 本論文では, レビュー文書内に部分的に現れるクレームの見逃しについて扱った。しかし，第 1 節でも述べたように，多対一型のコミュニケーションに起因する見逃しへの対処も重要である. 今後, 多対一型のコミュニケーションに起因する見逃しに対する提案手法の適用可能性についても検討したい.

## 謝 辞

本研究を遂行するにあたり, 楽天株式会社楽天技術研究所の新里圭司氏, 平手勇宇氏, 山田薫氏から示唆に富む多くの助言を頂きました，諸氏に深く感謝いたします。また，実験にあたり, 楽天トラベル株式会社から施設レビューデータを提供して頂きました. ここに記して感謝の意を表します.

## 参考文献

Goldberg, A. B., Fillmore, N., Andrzejewski, D., Xu, Z., Gibson, B., and Zhu, X. (2009). "May All

Your Wishes Come True: A Study of Wishes and How to Recognize Them." In Proceedings of the Human Language Technology Conference and the North American Chapter of the Association for Computational Linguistics, pp. 263-271.

乾孝司, 奥村学 (2006). テキストを対象とした評価情報の分析に関する研究動向. 自然言語処

理, 13 (3), pp. 201-241.

金山博, 那須川哲哉 (2005). 要望表現の抽出と整理. 言語処理学会第 11 回年次大会発表論文集, pp. 660-663.

Lafferty, J., McCallum, A., and Pereira, F. (2001). "Conditional random fields: Probabilistic models for segmenting and labeling sequence data." In Proceedings of the 29th Internatinal Conference on Machine Learning, pp. 282-289.

Manning, C. D. and Schutze, H. (1999). Foundations of Statistical Natural Language Processing. The MIT Press.

Manning, C. D., Raghavan, P., and Schutze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.

永井明人, 高山泰博, 鈴木克志 (2002). 単語共起照合に基づくクレーム抽出方式の改良. 情報科学技術フォーラム, pp. 113-114.

永井明人, 増塩智宏, 高山泰博, 鈴木克志 (2003). インターネット情報監視システムの試作. 情

報処理学会研究報告. 自然言語処理研究会報告, 2003 (23), pp. 125-130.

那須川哲哉, 金山博 (2004). 文脈一貫性を利用した極性付評価表現の語彙獲得. 情報処理学会研究報告. 自然言語処理研究会報告, 2004 (73), pp. 109-116.

Nigam, K. and Hurst, M. (2004). "Towards a Robust Metric of Opinion." In AAAI Spring Symposium on Exploring Attitude and Affect in Text: Theories and Applications, pp. 98-105.大塚裕子, 内山将夫, 井佐原均 (2004). 自由回答アンケートにおける要求意図判定基準. 自然言語処理, $11(2)$, pp. 21-66.

Pang, B. and Lee, L. (2008). Opinion Mining and Sentiment Analysis - Foundations and Trends in Information Retrieval Vol.2, Issue 1-2. Now Publishers Inc.

高村大也, 乾孝司, 奥村学 (2006). スピンモデルによる単語の感情極性抽出. 情報処理学会論文誌, $47(2)$, pp. 627-637.

坪井祐太, 森信介, 鹿島久嗣, 小田裕樹, 松本裕治 (2009). 日本語単語分割の分野適応のための部分的アノテーションを用いた条件付確率場の学習. 情報処理学会論文誌, 50 (6), pp. 1622-1635.

Vapnik, V. N. (1995). The Nature of Statistical Learning Theory. Springer.

山本瑞樹, 乾孝司, 高村大也, 丸元聡子, 大塚裕子, 奥村学 (2006). 文章構造を考慮した自由回答意見からの要望抽出. 言語処理学会第 12 回年次大会併設ワークショップ「感情・評価・態度と言語」。

## 略歴

乾孝司: 2004 年奈良先端科学技術大学院大学情報科学研究科博士課程修了.日本学術振興会特別研究員, 東京工業大学統合研究院特任助教等を経て, 2009 年筑波大学大学院システム情報工学研究科助教. 現在に至る. 博士 (工学).近年は CGM テキストに対する評判分析に興味をもつ.

梅澤佑介：2011 年筑波大学情報学群情報メディア創成学類卒業. 2013 年筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻修了. 同年 4 月から株式会社ヤフー。在学中は自然言語処理の研究に従事.

山本幹雄：1986 年豊橋技術科学大学大学院修士課程修了. 同年株式会社沖テクノシステムズラボラトリ研究開発員. 1988 年豊橋技術科学大学情報工学系教務職員. 1991 年同助手. 1995 年筑波大学電子・情報工学系講師. 1998 年同助教授. 2008 年筑波大学大学院システム情報工学研究科教授. 博士 (工学).自然言語処理の研究に従事. 言語処理学会, 人工知能学会, ACL 各会員.

}} \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# $\mathrm{k$ 近傍法とトピックモデルを利用した語義曖昧性解消の領域適応
}

新納 浩幸 $\cdot$ 佐々木 稔 $\dagger$
}

本論文では語義曖昧性解消 (Word Sense Disambiguation, WSD) の領域適応に対す る手法を提案する. WSD の領域適応の問題は，2つの問題に要約できる. 1 つは領域間で語義の分布が異なる問題, もう 1 つは領域の変化によりデータスパースネス が生じる問題である。本論文では上記の点を論じ, 前者の問題の対策として学習手法に $\mathrm{k}$ 近傍法を補助的に用いること, 後者の問題の対策としてトピックモデルを用 いることを提案する。具体的にはターゲット領域から構築できるトピックモデルに よって, ソース領域の訓練データとターゲット領域のテストデータにトピック素性 を追加する。拡張された素性べクトルから SVM を用いて語義識別を行うが, 識別 の信頼性が低いものには $\mathrm{k}$ 近傍法の識別結果を用いる。BCCWJコーパスの 2 つの 領域 PB（書籍）と OC（Yahoo!知恵袋）から共に頻度が 50 以上の多義語 17 単語 を対象にして，WSD の領域適応の実験を行い，提案手法の有効性を示す. 別種の 領域間における本手法の有効性の確認, 領域の一般性を考慮したトピックモデルを WSD に利用する方法, および WSD の領域適応に有効なアンサンブル手法を考案 することを今後の課題とする.

キーワード：語義曖昧性解消, 領域適応, トピックモデル, $\mathrm{k}$ 近傍法, 教師なし学習
## Domain Adaptation for Word Sense Disambiguation using k-Nearest Neighbor Algorithm and Topic Model

\author{
Hiroyuki Shinnou $^{\dagger}$ and Minoru Sasaki ${ }^{\dagger}$
}

In this paper, we propose the method of domain adaptation for word sense disambiguation (WSD). This method faces the following problems for WSD. (1) The difference between sense distributions on domains. (2) The sparseness of data caused by changing the domain. In this paper, we discuss and recommend the countermeasure for each problem. We use the k-nearest neighbor algorithm (k-NN) and the topic model for the first and second problems, respectively. In particular, we append topic features developed by the topic model for target domain corpus to to training data in source domain and test data in target domain. Using the extended features of support vector machine (SVM) classifier, we solve WSD. However, when the reliability of decision of the SVM classifier for a test instance is low, we use the decision of the k-NN. In the experiment, we select 17 ambiguous words in both domains, PB (books) and OC (Yahoo! Chie Bukuro) in the balanced corpus of contemporary written Japanese (BCCWJ corpus), which appear 50 times or more in these domains, and conduct the experiment of domain adaptation for WSD using these words to show the effectiveness

of our method. In the future, we will apply the proposed method to other domains and examine a way to use the topic model considering the universality of a corpus, and an effective ensemble learning for domain adaptation for WSD.

Key Words: Word Sense Disambiguation, Domain Adaptation, Topic Model, $k$-Nearest Neighbor Algorithm, Unsupervised Learning

## 1 はじめに

自然言語処理のタスクにおいて帰納学習手法を用いる際, 訓練データとテストデータは同じ領域のコーパスから得ていることが通常である。ただし実際には異なる領域である場合も存在する。そこである領域（ソース領域）の訓練データから学習された分類器を, 別の領域（ター ゲット領域）のテストデータに合うようにチューニングすることを領域適応という ${ }^{1}$. 本論文では語義曖昧性解消 (Word Sense Disambiguation, WSD) のタスクでの領域適応に対する手法を提案する.

まず本論文における「領域」の定義について述べる。「領域」の正確な定義は困難であるが，本論文では現代日本語書き言葉均衡コーパス (BCCWJ コーパス)(Maekawa 2007) におけるコー パスの「ジャンル」を「領域」としている。コーパスの「ジャンル」とは，概略，そのコーパスの基になった文書が属していた形態の分類であり，書籍，雑誌，新聞，白書，ブログ，ネッ卜揭示板，教科書などがある，つまり本論文における「領域」とは，書籍，新聞，ブログ等のコーパスの種類を意味する。

領域適応の手法はターゲット領域のラベル付きデータを利用するかしないかという観点で分類できる．利用する場合を教師付き手法, 利用しない場合を教師なし手法と呼ぶ. 教師付き手法については多くの研究がある ${ }^{2}$. また能動学習 (Settles 2010) や半教師あり学習 (Chapelle, Schölkopf, and Zien 2006)は, 領域適応の問題に直接利用できるために，それらのアプローチをとる研究も多い. これらに対して教師なし手法の従来研究は少ない. 教師なし手法は教師付き手法に比べパフォーマンスが悪いが， ラベル付けが必要ないという大きな長所がある。また領域適応は転移学習と呼ばれることからも明らかなように, ソース領域の知識（例えば, ラベル付きデータからの知識）をどのように利用するか（ターゲット領域に転移させるか）が解決の鍵であり，領域適応の手法はターゲット領域のラベル付きデータを利用しないことで，その効果が明確になる.このため教師なし手法を研究することで, 領域適応の問題が明確になると考えている。この点から本論文では教師なし手法を試みる.

本論文の特徴は WSD の領域適応の問題を以下の 2 点に分割したことである.

(1) 領域間で語義の分布が異なる

（2）領域の変化によりデータスパースネスが生じる

領域適応の手法は上記 2 つの問題を同時に解決しているものが多いために，このような捉え方をしていないが，WSD の領域適応の場合，上記 2 つの問題を分けて考えた方が，何を解決しようとしているのかが明確になる。本論文では上記 2 点の問題に対して，ターゲット領域のラベル付きデータを必要としない各々の対策案を提示する。具体的に，(1)に対しては $\mathrm{k}$ 近傍法を補助的に利用し, (2) に対しては領域毎のトピックモデル (Blei, Ng, and Jordan 2003)を利用する。実際の処理は，ターゲット領域から構築できるトピックモデルによって，ソース領域の訓練データとターゲット領域のテストデータにトピック素性を追加する。拡張された素性べクトルから SVM を用いて語義識別を行うが，識別の信頼性が低いものには $\mathrm{k}$ 近傍法の識別結果を用いる.

上記の処理を本論文の提案手法とする。提案手法の大きな特徴は, トピックモデルを WSD に利用していることである。トピックモデルの構築には語義のラベル情報を必要としないために，領域適応の教師なし手法が実現される、トピックモデルを WSD に利用した従来の研究 $(\mathrm{Li}$, Roth, and Sporleder 2010; Boyd-Graber, Blei, and Zhu 2007; Boyd-Graber and Blei 2007) はいくつかあるため，それらとの差異を述べておく。まずトピックモデルを WSD に利用するにしても，その利用法は様々であり確立された有効な手法が存在するわけではなく, ここで利用した手法も 1 つの提案と見なせる。また従来のトピックモデルを利用した WSD の研究では，語義識別の精度改善が目的であり，領域適応の教師なし手法に利用することを意図していない．そのためトピックモデルを構築する際に，もとになるコーパスに何を使えば有効かは深くは議論されていない。しかし領域適応ではソース領域のコーパスを単純に利用すると，精度低下を起こす可能性もあるため，本論文ではソース領域のコーパスを利用せず，ターゲット領域のコー パスのみを用いてトピックモデルを構築するアプローチをとることを明確にしている。この点が大きな差異である.

実験では BCCWJ コーパス (Maekawa 2007)の2つ領域 PB（書籍）と OC（Yahoo!知恵袋） から共に頻度が 50 以上の多義語 17 単語を対象にして, WSD の領域適応の実験を行った. 単純にSVM を利用した手法と提案手法とをマクロ平均により比較した場合，OCをソースデータにして，PBをターゲットデータにした場合には有意水準 0.05 で，ソースデータとターゲットデータを逆にした場合には有意水準 0.10 で提案手法の有効性があることが分かった.

## 2 WSD の領域適応の問題

$\mathrm{WSD}$ の対象単語 $w$ の語義の集合を $C=\left.\{c_{1}, c_{2}, \cdots, c_{k}\right.\}, w$ を含む文（入力データ）を $x$ とする. WSD の問題は最大事後確率推定を利用すると, 以下の式の値を求める問題として表現できる.

$
\arg \max _{c \in C} P(c) P(x \mid c)
$

つまり訓練データを利用して語義の分布 $P(c)$ と各語義上での入力データの分布 $P(x \mid c)$ を推定することで WSD の問題は解決できる. 今, ソース領域を $S$, ターゲット領域を $T$ とした場合, WSD の領域適応の問題は $P_{S}(c) \neq P_{T}(c)$ と $P_{S}(x \mid c) \neq P_{T}(x \mid c)$ から生じている.

$P_{S}(c) \neq P_{T}(c)$ が成立していることは明らかだが, $P_{S}(x \mid c) \neq P_{T}(x \mid c)$ に対しては一考を要する. 一般の領域適応の問題では $P_{S}(x \mid c) \neq P_{T}(x \mid c)$ であるが, WSD に限れば $P_{S}(x \mid c)=P_{T}(x \mid c)$ と考えることもできる. 実際 Chan らは $P_{S}(x \mid c)$ と $P_{T}(x \mid c)$ の違いの影響は非常に小さいと考え, $P_{S}(x \mid c)=P_{T}(x \mid c)$ を仮定し， $P_{T}(c)$ を EM アルゴリズムで推定することで WSD の領域適応を行っている (Chan and Ng 2005, 2006). 古宮らは2つのソース領域の訓練データを用意し, そこからランダムに訓練データを取り出してWSD の分類器を学習している (古宮, 小谷, 奥村 2013)，論文中では指摘していないが，これも $P_{S}(c)$ を $P_{T}(c)$ に近づける工夫である。ソース領域が 1 つだとランダムに訓練データを取り出しても $P_{S}(c)$ は変化しないが，ソース領域を複数用意することで $P_{S}(c)$ が変化する.

ただし $P_{S}(x \mid c)=P_{T}(x \mid c)$ が成立していたとしても, WSD の領域適応の問題が $P_{T}(c)$ の推定に帰着できるわけでない. 仮に $P_{S}(x \mid c)=P_{T}(x \mid c)$ であったとしても，領域 $S$ の訓練データだけから $P_{T}(x \mid c)$ を推定することは困難だからである。これは共変量シフトの問題 (Shimodaira 2000;杉山 2006) と関連が深い. 共変量シフトの問題とは入力 $x$ と出力 $y$ に対して, 推定する分布 $P(y \mid x)$ が領域 $S$ と $T$ で共通しているが, $S$ における入力の分布 $P_{S}(x)$ と $T$ における入力の分布 $P_{T}(x)$ が異なる問題である. $P_{S}(x \mid c)=P_{T}(x \mid c)$ の仮定の下では, 入力 $x$ と出力 $c$ が逆になっているので, 共変量シフトの問題とは異なる。ただしWSD の場合, 全く同じ文 $x$ が別領域に出現したとしても， $x$ 内の多義語 $w$ の語義が異なるケースは非常に稀であるため $P_{S}(c \mid x)=P_{T}(c \mid x)$ が仮定できる． $P_{T}(c \mid x)$ は語義識別そのものなので, WSD の領域適応の問題は共変量シフトの問題として扱えることができる。共変量シフト下では訓練事例 $x_{i}$ に対して密度比 $P_{T}\left(x_{i}\right) / P_{S}\left(x_{i}\right)$ を推定し，密度比を重みとして尤度を最大にするようにモデルのパラメータを学習する。Jiang らは密度比を手動で調整し, モデルにはロジステック回帰を用いている (Jiang and Zhai 2007).齋木らは $P(x)$ を unigram でモデル化することで密度比を推定し, モデルには最大エントロピー モデルを用いている (齋木, 高村, 奥村 2008). ただしどちらの研究もタスクは WSD ではない. WSD では $P(x)$ が単純な言語モデルではなく, 「 $x$ は対象単語 $w$ を含む」という条件が付いて

いるので, 密度比 $P_{T}(x) / P_{S}(x)$ の推定が困難となっている. また教師なしの枠組みで共変量シフトの問題が扱えるのかは不明である.

本論文では $P_{S}(c \mid x)=P_{T}(c \mid x)$ を仮定したアプローチは取らず, $P_{S}(x \mid c)=P_{T}(x \mid c)$ を仮定する。この仮定があったとしても，領域 $S$ の訓練データだけから $P_{T}(x \mid c)$ を推定するのは困難である。ここではこれをスパース性の問題と考える。つまり領域 $S$ の訓練データ $D$ は領域 $T$ においてスパースになっていると考える。 スパース性の問題だと考えれば, 半教師あり学習や能動学習を領域適応に応用するのは自然である³(Rai, Saha, Daumé, and Venkatasubramanian 2010). また半教師あり学習や能動学習のアプローチを取った場合， $T$ の訓練データが増えるので語義の分布の違い自体も同時に解消されていく(Chan and $\mathrm{Ng} 2007)$.

ここで指摘したいのは $P_{S}(x \mid c)=P_{T}(x \mid c)$ が成立しており $P_{T}(x \mid c)$ の推定を困難にしているのがスパース性の問題だとすれば，領域 $S$ の訓練デー夕 $D$ は多いほどよい推定が行えるはずで， $D$ が大きくなったとしても推定が悪化するはずがない点である. しかし現実には $D$ 大きくすると WSD 自体の精度が悪くなる場合もあることが報告されている（例えば (古宮他 2013)）。 これは一般に負の転移現象 (Rosenstein, Marx, Kaelbling, and Dietterich 2005) と呼ばれている. WSD の場合 $P_{T}(x \mid c)$ を推定しようとして, 逆に語義の分布 $P_{T}(c)$ の推定が悪化することから生じる。つまり領域 $T$ における WSD の解決には $T$ におけるデータスパースネスの問題に対処しながら，同時に $P_{T}(c)$ の推定が悪化することを避けることが必要となる.

また領域適応ではアンサンブル学習も有効な手法である。アンサンブル学習自体はかなり広い概念であり，実際，バギング，ブースティングまた混合分布もアンサンブル学習の一種である. Daumé らは領域適応のための混合モデルを提案している (Daumé and Marcu 2006). そこでは, ソース領域のモデル，ターゲット領域のモデル，そしてソース領域とターゲット領域を共有したモデルの 3 つを混合モデルの構成要素としている．Dai らは代表的なブースティングアルゴリズムの AdaBoost を領域適応の問題に拡張した TrAdaBoost を提案している (Dai, Yang, Xue, and Yu 2007).また Kamishima らはバギングを領域適応の学習用に拡張した TrBagg を提案している (Kamishima, Hamasaki, and Akaho 2009). WSD の領域適応については古宮の一連の研究 (Komiya and Okumura 2012, 2011; 古宮, 奥村 2012) があるが, そこではターゲット領域のラベルデータの使い方に応じて学習させた複数の分類器を用意しておき, 単語や事例毎に最適な分類器を使い分けることで，WSD の領域適応を行っている。これらの研究もアンサンブル学習の一種と見なせる.

図 1 分布の影響が少ない $\mathrm{k}-\mathrm{NN}$

## 3 提案手法

## $3.1 \mathrm{k$ 近傍法の利用}

領域 $T$ におけるデータスパースネスの問題に対処する際に， $P_{T}(c)$ の推定が悪化することを避けるために，本論文では識別の際に $P_{T}(c)$ の情報をできるだけ利用しないという方針をとる. そのために $\mathrm{k}$ 近傍法を利用する。どのような学習手法を取ったとしても，何らかの汎化を行う以上, $P_{T}(c)$ の影響を受けるが, $\mathrm{k}$ 近傍法はその影響が少ない. $\mathrm{k}$ 近傍法はデータ $x$ のクラスを識別するのに，訓練データの中から $x$ と近いデータ $k$ 個を取ってきて，それら $k$ 個のデータのクラスの多数決により $x$ のクラスを識別する. $\mathrm{k}$ 近傍法が $P_{T}(c)$ の影響が少ないのは $k=1$ の場合（最近傍法）を考えればわかりやすい，例えば，クラスが $\left.\{c_{1}, c_{2}\right.\}$ であり， $P\left(c_{1}\right)=0.99$, $P\left(c_{2}\right)=0.01$ であった場合, 通常の学習手法であれば, ほぼ全てのデータを $c_{1}$ と識別するが,最近傍法では, 入力データ $x$ と最も近いデータ 1 つだけがクラス $c_{2}$ であれば， $x$ のクラスを $c_{2}$ と判断する (図 1 参照)。つまり $\mathrm{k}$ 近傍法ではデータ全体の分布を考慮せずに $k$ 個の局所的な近傍データのみでクラスを識別するために，その識別には $P_{T}(c)$ の影響が少ない.

ただし $\mathrm{k}$ 近傍法は近年の学習器と比べるとその精度が低い。そのためここでは $\mathrm{k}$ 近傍法を補助的に利用する. 具体的には通常の識別はSVM で行い, SVM での識別の信頼度が閥値 $\theta$ 以下の場合のみ, $\mathrm{k}$ 近傍法の識別結果を利用することにする.

ここで $\theta$ の値が問題だが, 語義の数が $K$ 個である場合, 識別の信頼度（その語義である確率） は少なくとも $1 / K$ 以上の値となる。そのためここではこの値の 1 割をプラスし $\theta=1.1 / K$ とした.なおこの値は予備実験等から得た最適な値ではないことを注記しておく.

## 3.2 トピックモデルの利用

領域 $T$ におりデータスパースネスの問題に対処するために，ここではトピックモデルを利用する。

WSD の素性としてシソーラスの情報を利用するのもデータスパースネスへの 1 つの対策である。シソーラスとしては，分類語彙表などの手作業で構築されたものとコーパスから自動構築されたものがある．前者は質が高いが分野依存の問題がある．後者は質はそれほど高くないが, 分野毎に構築できるという利点がある。ここでは領域適応の問題を扱うので, 後者を利用する。つまり領域 $T$ からシソーラスを自動構築し，そのシソーラス情報を領域 $S$ の訓練事例と領域 $T$ のテスト事例に含めることで, WSD の識別精度の向上を目指す. 注意として, WSDでは単語間の類似度を求めるためにシソーラスを利用する。そのため実際にはシソーラスを構築するのではなく, 単語間の類似度が測れる仕組みを作っておけば良い.この仕組みが単語のクラスタリング結果に対応する。つまり WSD での利用という観点では, シソーラスと単語クラスタリングの結果は同等である。そのため本論文においてシソーラスと述べている部分は, 単語のクラスタリング結果を指している.

この単語のクラスタリング結果を得るためにトピックモデルを利用する. トピックモデルとは文書 $d$ の生起に $K$ 個の潜在的なトピック $z_{i}$ を導入した確率モデルである.

$
p(d)=\sum_{i=1}^{K} p\left(z_{i}\right) p\left(d \mid z_{i}\right)
$

トピックモデルの 1 つである Latent Dirichlet Allocation (LDA) (Blei et al. 2003) を用いた場合, 単語 $w$ に対して $p\left(w \mid z_{i}\right)$ が得られる。つまりトピック $z_{i}$ をひとつのクラスタと見なすことで，LDA を利用して単語のソフトクラスタリングが可能となる.

領域 $T$ のコーパスと LDA を利用して, $T$ に適した $p\left(w \mid z_{i}\right)$ が得られる. $p\left(w \mid z_{i}\right)$ の情報を WSD に利用するいくつかの研究 (Li et al. 2010; Boyd-Graber et al. 2007; Boyd-Graber and Blei 2007) があるが, ここではハードタグ (Cai, Lee, and Teh 2007)を利用する. ハードタグとは $w$ に対して最も関連度の高いトピック $z_{\hat{i}}$ を付与する方法である。

$
\hat{i}=\arg \max _{i} p\left(w \mid z_{i}\right)
$

まずトピック数を $K$ としたとき， $K$ 次元のベクトル $t$ を用意し, 入力事例 $x$ 中に $n$ 種類の単語 $w_{1}, w_{2}, \cdots, w_{n}$ が存在したとき，各 $w_{j}(j=1 \sim n)$ に対して最も関連度の高いトピック $z_{\hat{i}}$ を求め, $t$ の $\hat{i}$ 次元の值を 1 にする。これを $w_{1}$ から $w_{n}$ まで行い $t$ を完成させる．作成できた $t$ をここではトピック素性と呼ぶ，トピック素性を通常の素性ベクトル（ここでは基本素性と呼ぶ）に結合することで, 新たな素性べクトルを作成し, その素性べクトルを対象に学習と識別を行う.

なお, 本論文で利用した基本素性は, 対象単語の前後の単語と品詞及び対象単語の前後 3 単語までの自立語である.

## 4 実験

## 4.1 実験設定と実験結果

現代日本語書き言葉均衡コーパス（BCCWJ コーパス）(Maekawa 2007)の PB（書籍）と OC （Yahoo!知恵袋）を異なった領域として実験を行う．SemEval-2 の日本語 WSD タスク (Okumura， Shirai, Komiya, and Yokono 2010) では PB と OC を含む 4 ジャンルの語義夕グ付きコーパスが公開されているので，語義のラベルはこのデータを利用する.

$\mathrm{PB}$ と OC から共に頻度が 50 以上の多義語 17 単語を WSD の対象単語とする.これらの単語と辞書上での語義数及び各コーパスでの頻度と語彙数を表 1 に示す 4.4 領域適応としては PB をソース領域，OCをターゲット領域としたものと，OCをソース領域，PBをターゲット領域としたものの 2 種類を行う．注意として SemEval-2 の日本語WSD タスクのデータを用いれば，更に異なった領域間の実験は可能であるが，領域間に共通してある程度の頻度で出現する多義語が少ないことなどから本論文では PB と OC 間の領域適応に限定している.

$\mathrm{PB}$ から $\mathrm{OC}$ の領域適応の実験結果を表 2 と図 2 に示す.また $\mathrm{OC}$ から $\mathrm{PB} へ$ 領域適

表 1 対象単語

表 2 各手法による正解率 $(\mathrm{PB} \rightarrow \mathrm{OC})$

図 2 各手法による正解率のマクロ平均 $(\mathrm{PB} \rightarrow \mathrm{OC})$

応の実験結果を表 3 と図 3 に示す. 表 2 と表 3 の数値は正解率を示している.「k-NN」の列は $\mathrm{k}$ 近傍法の識別結果を示す.ここでは $k=1$ としている.「SVM」の列は基本素性だけを用いて学習した SVM の識別結果を示し,「SVM + TM」の列は基本素性にターゲット領域から得たトピック素性を加えた素性を用いて学習した SVM の識別結果を示し，「提案手法」の列は「SVM $+\mathrm{TM}\rfloor$ の識別で信頼度の低い結果を $\mathrm{k}$ 近傍法の結果に置き換えた場合の識別結果を示す.ま
表 3 各手法による正解率 $(\mathrm{OC} \rightarrow \mathrm{PB})$

図 3 各手法による正解率のマクロ平均 $(\mathrm{OC} \rightarrow \mathrm{PB})$

た「self」はターゲット領域の訓練データに対して 5 分割交差検定を行った場合の平均正解率であり, 理想値と考えて良い。ただし一部の単語で「self」の値が「提案手法」などよりも低い. これはそれらの単語のソース領域のラベル付きデータの情報が, ターゲット領域で有効であったことを意味している。つまり「負の転移」が生じていないため, これらの単語については領域適応の問題が生じていないとも考えられる.
本実験の SVM の実行には，SVM ライブラリの libsvm²を利用した. そこで用いたカーネルは線形カーネルである。また識別の信頼度の算出には libsvm で提供されている - b オプションを利用した。このオプションは，基本的には，one vs. rest 法を利用して各カテゴリ（本実験の場合, 語義）までの距離（識別関数値）の比較から，信頼度を算出している．識別結果は最も信頼度の高いカテゴリ（語義）となる。また BCCWJ コーパスは形態素解析済みの形で提供されているため，基本素性の単語や品詞は，形態素解析システムを利用せずに直接得ることができる。またトピックモデルの作成には LDA ツール6を用い，トピック数は全て 100 として実験を行った。

17 単語の正解率のマクロ平均をみると, $\mathrm{PB}$ から $\mathrm{OC} への$ 領域適応と $\mathrm{OC}$ から $\mathrm{PB} への$ 領域適応のどちらにおいても，以下の関係が成立しており，提案手法が有効であることがわかる.

## $\mathrm{k-\mathrm{NN}<\mathrm{SVM}<\mathrm{SVM}+\mathrm{TM}<$ 提案手法}

なお本実験の評価はマクロ平均で行った，マイクロ平均による評価も可能ではあるが，本実験の場合, テストデータの用例数に幅がありすぎ, 結果的にテストデータの用例数の多い単語の識別結果がマイクロ平均の値に大きく影響する。このためここではマクロ平均のみによる評価を行っている。マイクロ平均で評価した場合は, わずかではあるがSVM が最も高い評価値を出していた。

## 4.2 有意差の検定

$\mathrm{t}$ 検定を用いて各手法間の正解率のマクロ平均値の有意差を検定する.

対象単語 $w$ のソース領域でのラベル付きデータからランダムにその 9 割を取り出し, その 9 割のデータから前述した WSD の実験（「SVM $、\lceil\mathrm{SVM}+\mathrm{TM}\rfloor$, 「提案手法」）を行う。この際,「提案手法」では $\mathrm{k}-\mathrm{NN}$ の結果を用いるが，そこでも 9 割のデータしかないことに注意する。これを 1 セットの実験とし， 50 セットの実験を行い，その正解率のマクロ平均を求めた．PB から $\mathrm{OC}$ の領域適応の結果を表 4 に示す. また OC から $\mathrm{PB}$ の領域適応の結果を表 5 に示す.

$\mathrm{t}$ 検定を行う場合, まず分散比の検定から 2 つのデータが等分散と見なせることを示す必要がある。自由度 $(49,49)$ の $\mathrm{F}$ 値を調べることで，有意水準 0.10 で等分散を棄却するためには,分散比が 0.6222 以下か 1.6073 以上の値でなければならない. 表 4 と表 5 から, 各領域適応でどの手法間の組み合わせを行っても，正解率の分散が等しいことを棄却できないことは明らかであり，ここでは $\mathrm{t}$ 検定を行えると判断できる.

$\mathrm{t}$ 検定の片側検定を用いた場合, ここでの自由度は 48 なので有意水準 0.05 で有意差を出す $\mathrm{t}$ 値は 1.6772 以上, 有意水準 0.10 で有意差を出す $\mathrm{t}$ 值は 1.2994 以上の値となる. このため有

表 49 割データでの実験結果 $(\mathrm{PB} \rightarrow \mathrm{OC})$

表 59 割データでの実験結果 $(\mathrm{OC} \rightarrow \mathrm{PB})$

表 6 手法間の有意差 $(\mathrm{PB} \rightarrow \mathrm{OC})$

表 7 手法間の有意差 $(\mathrm{OC} \rightarrow \mathrm{PB})$

意差の検定結果は表 6 と表 7 のようにまとめられる.

結論的には提案手法と SVM との正解率のマクロ平均の差は OC から PB の領域適応では有意だが，PB から OC の領域適応では有意ではない，ただし有意水準を 0.10 に緩和した場合には，PB から OC の領域適応でも有意であると言える.

細かく手法を分けて調べた場合，トピックモデルを利用すること（SVM+TM と SVM の差）

と k-NN を併用すること（提案手法と SVM+TM の差）についての有意性はまちまちであった. ただし有意水準を 0.10 に緩和した場合，トピックモデルを利用する手法について PB から OC の領域適応以外の組み合わせについては全て有意性が認められた。

## 5 考察

## 5.1 語義分布の違い

本論文では, WSD の領域適応は語義分布の違いの問題を解決するだけは不十分であることを述べた． Naive Bayes を利用して，この点を調べた． Naive Bayesの場合，以下の式で語義を識別する。

$
\arg \max P_{S}(c) P_{S}(x \mid c)
$

ここで事前分布 $P_{S}(c)$ の代わりに領域 $T$ の訓練データから推定した $P_{T}(c)$ を用いる. これは語義分布を正確に推定できたという仮定での仮想的な実験である。結果を表 8 に示す.

全体として理想的な語義分布を利用すれば，正解率は改善されるが，効果はわずかしかない.

表 8 理想的語義分布の推定による識別

 &  &  &  \\

入れる & 0.7297 & 0.7297 & 0.6140 & 0.6140 \\
書く & 0.7300 & 0.7300 & 0.8889 & 0.8889 \\
聞く & 0.6640 & 0.6560 & 0.7500 & 0.7500 \\
来る & 0.7947 & 0.7947 & 0.9619 & 0.9619 \\
子供 & 0.1282 & 0.1667 & 0.2447 & 0.2447 \\
時間 & 0.8148 & 0.8148 & 0.8933 & 0.8933 \\
自分 & 0.8682 & 0.8682 & 0.9709 & 0.9709 \\
出る & 0.7046 & 0.7046 & 0.5556 & 0.5556 \\
取る & 0.0968 & 0.2097 & 0.2195 & 0.2439 \\
場合 & 0.9528 & 0.9685 & 0.8406 & 0.8406 \\
入る & 0.6522 & 0.6522 & 0.4286 & 0.4454 \\
前 & 0.9057 & 0.8962 & 0.6398 & 0.6398 \\
見る & 0.5589 & 0.5589 & 0.8358 & 0.8321 \\
持つ & 0.5714 & 0.5714 & 0.7597 & 0.7273 \\
やる & 0.9322 & 0.9322 & 0.9236 & 0.9236 \\
ゆく & 0.6818 & 0.6818 & 0.8657 & 0.8657 \\

また PB から OC の「前」や OC から PB の「見る」「持つ」は逆に精度が悪化している. 更に理想的な語義分布を利用できたとしても，通常の SVM よりも正解率が劣っている。これらのことから, 語義分布の正確な推定のみでは WSD の領域適応の解決は困難であることがわかる.

## 5.2 トピックモデルの領域依存性の度合い

WSD においてデータスパースネスの問題の対処として, シソーラスを利用することは一般に行われてきている. LDA から得られるトピック $z_{i}$ のもとで単語 $w$ が生起する確率 $p\left(w \mid z_{i}\right)$ は,単語のソフトクラスタリング結果に対応しており，これは LDA の処理対象となったコーパスに合ったシソーラスと見なせる。このためトピックモデルが WSD に利用できることは明らかである。ただしその具体的な利用方法は確立されていない.

問題は 2 つある。1つはトピック素性の表現方法である。ここではハードタグを利用したが, ソフトタグの方が優れているという報告もある (Cai et al. 2007). 國井はハードタグとソフトタグの中間にあたるミドルソフトタグを提案している (國井, 新納, 佐々木 2013). いずれにしても，トピック素性の有効な表現方法はトピック数やコーパスの規模にも依存した問題であり，どういった表現方法で利用すれば良いかは未解決である.

もう 1 つの問題はトピックモデルから得られるシソーラスの領域依存性の度合いである。本論文でも LDA から領域依存のトピックモデルが作成できることに着目してトピックモデルを領域適応の問題に利用した。たたし領域 $A$ のコーパスと領域 $B$ のコーパスがあった場合, 各々のコーパスから各々の知識を獲得するよりも，両者のコーパスを合わせて両領域の知識を獲得した方が，一方のコーパスから得られる知識よりも優れていることがある. 例えば森は単語分割のタスクにおいて，各々の領域の夕グ付きデータを使うことで精度を上げることができたが，全ての領域の夕グ付きデータを使えば更に精度を上げることができたことを報告している (森 2012). 領域の知識を合わせることは，その知識をより一般的にしていることであり，領域依存の知識はあまり領域に依存しすぎるよりも，ある程度，一般性があった方がよいという問題と捉えられる。本実験で言えば PB のコーパスと OC のコーパスと両者を合わせて学習したトピックモデルは，各々のコーパスから学習したトピックモデルよりも優れている可能性がある．以下その実験の結果を表 9 に示す.

ターゲット領域が PB の場合, ソース領域の OC のコーパスを追加することで正解率は低下するが，ターゲット領域が OC の場合，ソース領域の PB のコーパスを追加することで正解率が向上する。これは OC (Yahoo!知恵袋) のコーパスの領域依存が強いが, その一方で, PB（書籍）のコーパスの領域依存が弱く, より一般的であることから生じていると考える。一般性の高い領域に領域依存の強い知識を入れると性能が下がるが，より特殊な領域には，その領域固有の知識に一般的知識を組み入れることで性能が更に向上すると考えられる。これらの詳細な分析と対策は今後の課題である.
表 9 両領域コーパスを利用した識別

 &  &  &  \\

入れる & 0.7671 & 0.7808 & 0.7142 & 0.7679 \\
書く & 0.7373 & 0.7374 & 0.8064 & 0.7903 \\
聞く & 0.6612 & 0.6452 & 0.6829 & 0.6667 \\
来る & 0.7989 & 0.7989 & 0.9711 & 0.9712 \\
子供 & 0.2207 & 0.2338 & 0.4193 & 0.3548 \\
時間 & 0.8301 & 0.8302 & 0.8918 & 0.8784 \\
自分 & 0.8750 & 0.8750 & 0.9577 & 0.9416 \\
出る & 0.7099 & 0.7023 & 0.6118 & 0.5855 \\
取る & 0.2950 & 0.2623 & 0.2716 & 0.2716 \\
場合 & 0.9127 & 0.9206 & 0.8467 & 0.8467 \\
入る & 0.5735 & 0.6324 & 0.5254 & 0.4576 \\
前 & 0.8857 & 0.9048 & 0.8312 & 0.8125 \\
見る & 0.5954 & 0.6069 & 0.8424 & 0.8352 \\
持つ & 0.7741 & 0.8387 & 0.7777 & 0.7909 \\
やる & 0.9401 & 0.9402 & 0.9294 & 0.9295 \\
ゆく & 0.6803 & 0.6849 & 0.9097 & 0.8947 \\

## $5.3 \mathrm{k$ 近傍法の効果とアンサンブル手法}

本論文では SVM での識別の信頼度の低い部分を $\mathrm{k}$ 近傍法の識別結果に置き換えるという処理を行った。置き換えが起こったものだけを対象にして, $\mathrm{k}$ 近傍法と SVM での正解数を比較した。結果を表 10 と表 11 に示す.

$\mathrm{PB}$ から $\mathrm{OC}$ の領域適応では「子供」, $\mathrm{OC}$ から $\mathrm{PB} へ$ 領域適応では「入れる」については SVM の方が $\mathrm{k}$ 近傍法の方よりもよい正解率だが，それ以外は $\mathrm{k}$ 近傍法の正解率は SVM の正解率と等しいかそれ以上であった。つまり SVM で識別精度が低い部分に関しては， $\mathrm{k}$ 近傍法で識別する効果が確認できる。

また $\mathrm{k}$ 近傍法の $k$ をこでは $k=1$ とした. この $k$ の値を 3 や 5 に変更した実験結果を図 4 と図 5 に示す.

複数の分類器を組み合わせて利用する学習手法をアンサンブル学習というが, 本論文の手法もアンサンブル学習の一種と見なせる. $\mathrm{k}$ 近傍法自体は $k=1$ よりも $k=3$ や $k=5$ の方が正解率が高いが，本手法のように SVM の識別の信頼度の低い部分のみに限定すれば， $k=1$ の $\mathrm{k}$ 近傍法を利用した方がよい。これはアンサンブル学習では高い識別能力の学習器を組み合わせるのではなく，互いの弱い部分を補強し合うような形式が望ましいことを示している。
表 10 識別結果の変更 $(\mathrm{PB} \rightarrow \mathrm{OC})$

表 11 識別結果の変更 $(\mathrm{OC} \rightarrow \mathrm{PB})$

図 $4 \mathrm{k}$ による変化 $(\mathrm{PB} \rightarrow \mathrm{OC})$

図 $5 \mathrm{k}$ による変化 $(\mathrm{OC} \rightarrow \mathrm{PB})$

## 6 おわりに

本論文では WSD の領域適応に対する手法を提案した。まずWSD の領域適応の問題を，以下の 2 つの問題に要約できることを示し, 関連研究との位置づけを示した.

・ 領域間で語義の分布が異なる

・領域の変化によりデータスパースネスが生じる

次に上記の 2 つの問題それぞれに対処する手法を提案した. 1 点目の問題に対しては $\mathrm{k}$ 近傍法を補助的に用いること，2 点目の問題に対してはトピックモデルを利用することである. BCCWJ コーパスの 2 つ領域 $\mathrm{PB}$ （書籍）と OC（Yahoo!知恵袋）から共に頻度が 50 以上の多義語 17 単語を対象にして，WSDの領域適応の実験を行い，提案手法の有効性を示した。たたし領域は $\mathrm{OC}$ と $\mathrm{PB}$ に限定しており, 提案手法が他の領域間で有効であるかは確認できていない.この点は今後の課題である。また領域の一般性を考慮したトピックモデルをWSD に利用する方法, および WSD の領域適応に有効なアンサンブル手法を考案することも今後の課題である.

## 参考文献

Blei, D. M., Ng, A. Y., and Jordan, M. I. (2003). "Latent dirichlet allocation." Machine Learning Reseach, 3, pp. 993-1022.

Boyd-Graber, J. and Blei, D. (2007). "Putop: Turning Predominant Senses into a Topic Model for Word Sense Disambiguation." In Proceedings of SemEval-2007, pp. 277-281.

Boyd-Graber, J., Blei, D., and Zhu, X. (2007). "A Topic Model for Word Sense Disambiguation." In Proceedings of EMNLP-CoNLL-2007, pp. 1024-1033.

Cai, J. F., Lee, W. S., and Teh, Y. W. (2007). "Improving Word Sense Disambiguation using Topic Features." In Proceedings of EMNLP-CoNLL-2007, pp. 1015-1023.

Chan, Y. S. and Ng, H. T. (2005). "Word Sense Disambiguation with Distribution Estimation." In Proceedings of IJCAI-2005, pp. 1010-1015.

Chan, Y. S. and Ng, H. T. (2006). "Estimating class priors in domain adaptation for word sense disambiguation." In Proceedings of COLING-ACL-2006, pp. 89-96.

Chan, Y. S. and Ng, H. T. (2007). "Domain adaptation with active learning for word sense disambiguation." In Proceedings of ACL-2007, pp. 49-56.

Chapelle, O., Schölkopf, B., and Zien, A. (2006). Semi-supervised learning, Vol. 2. MIT press Cambridge.

Dai, W., Yang, Q., Xue, G.-R., and Yu, Y. (2007). "Boosting for transfer learning." In Proceedings of ICML-2007, pp. 193-200.

Daumé, H. III (2007). "Frustratingly Easy Domain Adaptation." In Proceedings of $A C L-2007$, pp. 256-263.

Daumé, H. III and Marcu, D. (2006). "Domain adaptation for statistical classifiers." Journal of Artificial Intelligence Research, 26 (1), pp. 101-126.

Jiang, J. and Zhai, C. (2007). "Instance weighting for domain adaptation in NLP." In Proceedings of $A C L-2007$, pp. 264-271.

Kamishima, T., Hamasaki, M., and Akaho, S. (2009). "Trbagg: A simple transfer learning method and its application to personalization in collaborative tagging." In Proceedings of the 9th IEEE International Conference on Data Mining, pp. 219-228.

神嶌敏弘 (2010). 転移学習. 人工知能学会誌, 25 (4), pp. 572-580.

古宮嘉那子, 奥村学 (2012). 語義曖昧性解消のための領域適応手法の決定木学習による自動選択. 自然言語処理, $19(3)$, pp. 143-166.

古宮嘉那子, 小谷善行, 奥村学 (2013). 語義曖昧性解消の領域適応のための訓練事例集合の選択. 言語処理学会第 19 回年次大会発表論文集, pp. C6-2.

Komiya, K. and Okumura, M. (2011). "Automatic Determination of a Domain Adaptation Method for Word Sense Disambiguation using Decision Tree Learning." In Proceedings of IJCNLP-2011, pp. 1107-1115.

Komiya, K. and Okumura, M. (2012). "Automatic Domain Adaptation for Word Sense Disambiguation Based on Comparison of Multiple Classifiers." In Proceedings of PACLIC-2012, pp. $75-85$.
國井慎也, 新納浩幸, 佐々木稔 (2013). ミドルソフトタグのトピック素性を利用した語義曖昧性解消. 言語処理学会第 19 回年次大会発表論文集, pp. P3-9.

Li, L., Roth, B., and Sporleder, C. (2010). "Topic Models for Word Sense Disambiguation and Token-based Idiom Detection." In Proceedings of ACL-2010, pp. 1138-1147.

Maekawa, K. (2007). "Design of a Balanced Corpus of Contemporary Written Japanese." In Proceedings of the Symposium on Large-Scale Knowledge Resources (LKR2007), pp. 55-58.森信介 (2012). 自然言語処理における分野適応. 人工知能学会誌, 27 (4), pp. 365-372.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2010). "SemEval-2010 Task: Japanese WSD." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 69-74. Rai, P., Saha, A., Daumé, H. III, and Venkatasubramanian, S. (2010). "Domain adaptation meets active learning." In Proceedings of the NAACL HLT 2010 Workshop on Active Learning for Natural Language Processing, pp. 27-32.

Rosenstein, M. T., Marx, Z., Kaelbling, L. P., and Dietterich, T. G. (2005). "To transfer or not to transfer." In Proceedings of the NIPS 2005 Workshop on Inductive Transfer: 10 Years Later, Vol. 2, p. 7.

Settles, B. (2010). "Active Learning Literature Survey." Tech. rep., University of Wisconsin, Madison.

Shimodaira, H. (2000). "Improving predictive inference under covariate shift by weighting the log-likelihood function." Journal of statistical planning and inference, 90 (2), pp. 227-244.杉山将 (2006). 共変量シフト下での教師付き学習. 日本神経回路学会誌, 13 (3), pp. 111-118.齋木陽介，高村大也，奥村学 (2008). 文の感情極性判定における事例重み付けによるドメイン適応. 情報処理学会研究報告. 自然言語処理研究会報告, 2008 (33), pp. 61-67.

## 略歴

新納浩幸：1985 年東京工業大学理学部情報科学科卒業. 1987 年同大学大学院理工学研究科情報科学専攻修士課程修了. 同年富士ゼロックス, 翌年松下電器を経て, 1993 年 4 月茨城大学工学部システム工学科助手. 1997 年 10 月同学科講師, 2001 年 4 月同学科助教授, 現在, 茨城大学工学部情報工学科准教授. 博士 (工学). 機械学習や統計的手法による自然言語処理の研究に従事.言語処理学会, 情報処理学会, 人工知能学会各会員.

佐々木稔：1996 年徳島大学工学部知能情報工学科卒業． 2001 年同大学大学院
博士後期課程修了. 博士 (工学). 2001 年 12 月茨城大学工学部情報工学科助手. 現在, 茨城大学工学部情報工学科講師. 機械学習や統計的手法による情報検索, 自然言語処理等に関する研究に従事. 言語処理学会, 情報処理学会各会員.