# 画像検索を用いた語義別画像付き辞書の構築

藤田 早苗 ${ }^{\dagger} \cdot$ 平 博順 $\dagger \cdot$ 永田 昌明 $\dagger$
}

既存のテキストのみからなる辞書に対し，インターネット上にある膨大な画像を関連付けることができれば，文字列情報からだけでは得られない，視覚的な情報を利用できるようになり, 用途が広がると期待できる。 そのため, 本稿では, 辞書の出来 る限り広い語義に対して画像を付与することを考える。作成・維持コストを考えれ ば，なるべく自動的に画像を付与することが望ましいが，大量の辞書エントリに対 して，高い精度で画像を付与することは容易ではない。また，そもそもどういった 語義には画像を付与できるのか, あるいはできないのかといった調査が大規模にな された例はなく, 画像が付与できる語義を自動的に判別することも困難である。そ こで本稿では，まず語義別に画像が付与された辞書を人手で構築することを第一の 目標とする。その上で，画像が付与できる語義とできない語義について，品詞や意味クラスとの関連性に着目して分析する。具体的には, 名詞, 動詞, 形容詞, 形容動詞，副詞を含む 25,481 語，39,251 語義を対象に画像付与実験と分析を行ない，そ の結果, 全語義の $94.0 \%$ は画像付与が可能であること, 品詞や意味クラスに応じて 画像付与の可否が変わることを示す。また, 幅広い語義に適切な画像を付与するた め，インターネットから画像検索によって画像を獲得する。検索時に重要となるの が検索語である。本稿の第二の目標は, 語義毎に適切な画像を得るための検索語を 調査することである。本稿では, 複数の検索語の組合せ（以下，検索語セット）の 中から最も適切な画像を得られる検索語セットを作業者に選択してもらい, 適切な 検索語セットがない場合には修正してもらう。こうして最終的に利用された検索語 セットを分析し, 提案手法の改良点を探る。 さらに, 検索語セットの優先順位の決定方法も提案，その妥当性を示すことを本稿の第三の目標とする。新しい辞書への 適用等を考えると, 人手による画像付与ができない場合でも, 優先順位の高い検索語セットによる検索結果が利用できれば，有用だと考えられるからである。提案手法では，対象語義がメジャーな語義かどうかで優先順位を変化させる．実験では， 2 種類の評価方法を通してその妥当性を示す。

キーワード：オントロジ，同義語，多義語，意味クラス，検索
## Enrichment of a Dictionary with Images from the Internet

Sanae Fujita ${ }^{\dagger}$, Hirotoshi Taira $^{\dagger}$ and Masaaki Nagata ${ }^{\dagger}$

The Internet is an immense resource storehouse for images. Establishing a connection between images and dictionary definitions would enable the creation of rich dictionary resources with multimedia information. Therefore, this study aims at providing several suitable images for dictionary definitions. In this study, we targeted 25,481 words, including nouns, verbs, adjectives, and adverbs, split into 39,251 senses by querying

an image search engine. The results showed that $94 \%$ of word senses could be defined as suitable images. Then, we analyzed the relationship between the visualization of each word sense and parts of speech or semantic classes. To obtain images for each word sense, we expanded the query by appending queries extracted from definitions for each word sense. Second, we analyzed both manually-selected and fixed queries and examined query expansion methods more deeply. This paper proposes a method to set queries in priority order depending on the primary word sense. Third, we show the suitability of our method through two types of evaluations because in the application of new dictionaries or new target senses, it is valuable to obtain images automatically using high-priority queries.

Key Words: Ontology, Synonym, Polysemous Word, Semantic Class, Query Expansion

## 1 はじめに

文字による記述だけでなく，画像も付与された辞書は，教育分野 (Popescu et al. 2006) や言語横断検索 (林 他 2012) での利用, 子供や異なる言語の話者 (諏訪 他 2012), 文字の認識に困難を 伴うような人とのコミュニケーションを助けるツール (Mihalcea and Leong 2008; Goldberg et al. 2009) の構築に使うことができるなど，様々な潜在的な可能性を持っている．そのため，本稿で は，できるだけ広範な語義に対して画像が付与された辞書を構築することを第一目標とする.

辞書やシソーラスに画像を付与する研究はこれまでにもいくつか存在する。特に，見出し語 を含む検索語を用いて画像検索を行ない，インターネットから画像を獲得する研究は複数存在 する. PicNet (Borman et al. 2005) やImageNet (Deng et al. 2009) といったプロジェクトで は, WordNet (Fellbaum 1998)の synset に対し, 画像検索で獲得した候補画像の中から適切な 画像を人手で選択して付与している。PicNetやImageNetでは，近年発達してきた Amazon Mechanical Turk サービス1を始めとする，データ作成を行なう参加者をインターネット上で募 り，大量のデータに対して人手でタグを付与する仕組みを用いて大量の画像の収集とタグ付け を行なっている。これらの手法は，大量のデータを精度良く集めることができるため有望であ る.しかし, 現在は対象 synsetが限定されているため, 辞書全体に対するカバー率や, 多義語 の複数語義に対する網羅性には疑問が残る ${ }^{2}$ 。また, PicNet や ImageNet では，上位語や同義語にあたる語で検索語を拡張して用いているが，どのような語による拡張がより有効かといっ た調査は報告されていない.

また, Image Ontology (Popescu et al. 2006, 2007; Zinger et al. 2006) でも, WordNet の synset に対してインターネットから獲得した画像を付与している. Image Ontologyでは，不
^{1} \mathrm{http}: / /$ www.mturk.com/

 }^{2}$ ImageNet の場合, HP (http://www.image-net.org/) によると, 2010 年 4 月 30 日時点で, WordNet の約 100,000 synsets のうち, 21,841 synset には画像が付与されているとしている. 多義性に関する報告はない.

適切な画像を取り除くために，人の顔が含まれるかどうかによる自動的フィルタリングや, 画素情報による分類などを用いている。この手法は，自動的に大量のデータを集めることができ るため有望である。しかし, PicNet や ImageNet と同様, 現在は対象 synsetが具体物などに 限定されているため，辞書全体に対するカバー率や，多義語の複数語義に対する網羅性には疑問が残る ${ }^{3}$.

一方, 語の多義性に着目し, 多義のある語に対しても語義毎に適切な画像を付与する研究と して, (Bond et al. 2009) や (Fujii and Ishikawa 2005)がある. (Bond et al. 2009) では, 日本語 WordNet $^{4} の$ synset に対し, Open Clip Art Library (OCAL) ${ }^{5}$ から獲得した画像を付与してい る。彼らは, OCAL と WordNet の階層構造を比較し, 両方の上位階層で同じ語が出現する画像のみを候補として残すことで, 多義性に対応している。さらに, 候補の画像の中から各 synset の画像として適切な画像を人手で選択している。OCAL は著作権フリーで再配布可能という利点があるが，含まれる画像が限られるため，画像を付与できる語義も限られている.

(Fujii and Ishikawa 2005) では，インターネットから収集した画像を事典検索システム CYCLONE 6 における語義と対応付ける実験を行なっている. 彼らは，辞書の見出し語を検索語と して用い，インターネットから候補となる画像とそのリンク元テキストを収集し，テキストの 曖昧性解消をおこなうことによって，画像の意味を推定している。 これは，多義性に対応でき る手法であるが，出現頻度の低い語義の画像収集は困難だという問題がある。 なぜなら，見出 し語のみを検索語としてインターネット検索を行なった場合, 得られる画像のほとんどは, 最 も出現頻度の高い語義に関連する画像になるからである。例えば，「アーチ」という語には，“上部を弓の形にして支えやすくした建物。”や，“野球で，本畕打。”などの語義があるが，見出し 語である「アーチ」を検索語とした場合に得られた画像のうち，上位 500 画像には後者の語義 に対応する画像はない7。

本稿の第一目標は，できるだけ広範な語義に対して画像が付与された辞書を構築することで ある。本稿では，基本語データベース Lexeed (天野, 小林 2008)の内容語（一般名詞，サ変名詞, 動詞, 形容詞類, 副詞類）を対象に画像付与を試みる。幅広い語義に画像を付与するため, インターネットから画像検索によって画像を獲得する. また, 多義性のある語にも語義毎に適切な画像を付与するため，語義毎に検索語セットを用意する.

第二の目標は, 画像検索を行なう時に重要な問題である検索語の設定方法についての知見を得 ることである．本稿では，作業者が対象語義に画像が付与できるかどうかという判断を行なっ

た後, 用意した検索語セットの中から適切な検索語セットを選択・修正して画像検索に用いる.最終的に利用された検索語セットを分析することで知見を得たい.

第三の目標は, 提案する検索語セットの優先順位, 特に, 最も優先順位が高い検索語セット をデフォルトの検索語セットとして利用することの妥当性を示すことである．今後の作成・維持コストや，新しい辞書への適用を考えると，人手による画像付与ができない場合でも，優先順位の高い検索語セットによる検索結果が利用できれば，有用だと考えられるからである．

以降， 2 章では画像付与の対象である Lexeed について紹介する， 3 章では，まず， 200 語義 を対象として行なった予備実験 (Fujita and Nagata 2010) を紹介する（3.1節）．その結果を踏ま えた上で，画像検索に用いる検索語セットの作成方法を紹介し（3.2 節），検索語セットの優先順位の決定方法を提案する（3.3 節)。4 章では, 作成した検索語セットを用いた画像獲得方法, および，評価方法について述べる。 5 章では，第三の目標である提案した優先順位の決定方法 の妥当性を示す. 6 章では, 第二の目標である最終的に利用された検索語に関する分析と, 改良点の調查を行なう。ここまでの実験で，第一の目標である Lexeed の広範な語義に対する画像付与を行ない， 7 章では，構築した辞書を用いて画像付与可能/不可能な語義について，意味クラスや品詞などの特徴から分析を行なう．最後に， 8 章で本稿の実験と分析をまとめる.

## 2 言語資源

## 2.1 言語資源の概要

本章では，用いる言語資源についての概略を説明する。画像付与対象の辞書である Lexeed と, 関連する言語資源から得られる情報の例を図 1 にまとめて提示する.

## 2.1.1 基本語データベース：語義別単語親密度 (Lexeed)

本稿では, 「基本語データベース：語義別単語親密度」(Lexeed)を画像付与の対象とする. Lexeed は， 心理実験により，対象語の日本人の成人にとっての平均的な馴染み深さを「親密度」 として測定し, 日本人の $95 \%$ 以上が知っていると推定される語を基本語として収録したもので ある. 収録語数は約 29,000 語である。各語は平均 1.7 語義からなり, 語義数では約 48,000 語義収録されている，各エントリは，見出し語，読み，品詞，見出し語の親密度，および，語義毎 の親密度, 定義文と例文から構成される。ここで，見出し語には，複数の表記が含まれる場合 がある。それらは代表的な表記（以下，代表表記）とそれ以外（以下，表記ゆれ）に分けられ ている，例えば，「たまねぎ」の場合，見出し語には「たまねぎ」「玉葱」が含まれるが，「たま ねぎ」が代表表記，「玉葱」は表記ゆれになっている，代表表記は，必ず一つ以上記載されてい るが，表記ゆれは，全エントリに記載されているわけではない，なお，語義は，「アーチ ${ }_{1} 」$ の ように下付き文字で語義番号を付与した形で示す.

 &  &  \\

\text { 例文 } \\
\text { 上位語 } \\
\text { 語義親密度 }\end{array}\right.$} &  \\

\text { 例文 } \\
\text { 上位語 } \\
\text { 語義親密度 }\end{array}\right.$} &  \\

\text { 例文 } \\
\text { 上位語 } \\
\text { 意味クラス } \\
\text { 語義親密度 }\end{array}\right.$} &  \\

但し，下付き文字で表される番号は語義番号を示している。

図 1 Lexeed と檜の例：アーチ

## 2.1 .2 檜オントロジと檜センスバンク

Lexeedの各エントリには，「檜」プロジェクトにより様々な付加情報が付与されている．「檜」 プロジェクトでは, Lexeed を用いたセンスバンクやツリーバンクの構築 (Bond et al. 2006),語義文からの半自動的なオントロジ構築 (Bond et al. 2004), 日本語語彙大系 (池原他 1997) や WordNet などの既存言語資源とのリンク構築 (Nichols et al. 2006) などが行なわれた. 本稿で は,「檜」プロジェクトで構築された檜オントロジ, 檜センスバンク, 日本語語彙大系の一般名詞カテゴリ（以下，意味クラス）とのリンクから得られる情報を用いる。

檜オントロジは, Lexeed の定義文の構文解析結果とルールにより, 見出し語に対する上位語 や同義語, 分野情報などを抽出したものである（図1の下線部）.

檜センスバンクは, Lexeed の語義を付与したコーパスである. Lexeed の語義文と例文, 京都大学テキストコーパス ${ }^{8}$, Senseval-2 日本語辞書タスク (白井 2003)の訓練データ等, 約 194,000 文が含まれ，その内容語のうち約 $1,403,000$ 語に語義が付与されている.

日本語語彙大系は深さ 0 から 11 までの階層構造をもつシソーラスである。意味クラスは, 2,710 個存在し, 各意味クラスには, 固有の番号とクラス名が付与されている. 番号は深さ優先
^{8}$ http://www-lab25.kuee.kyoto-u.ac.jp/nl-resource/corpus.html
}

で振られており，例えば，3から 999 番までの意味クラスはすべて $\langle 2$ : 具体 $\rangle$ の配下であり, 具体的な事物を表すことを示している。また， 1000 以上の番号を持つ意味クラスはすべて $\langle 1000$ :抽象〉の配下であり，抽象的な事物を表すことを示している．なお，意味クラス同士の関係の $97.9 \%$ は is-a 関係9残りの $2.1 \%$ has-a 関係10である。

## 2.2 画像付与実験対象語

Lexeed の内容語（一般名詞，サ変名詞，動詞，形容詞類，副詞類）のエントリを画像付与実験 の対象とした. ただし, 檜オントロジ構築時と出版時のバージョンの違いにより檜オントロジ や意味クラス等の付加情報が付与されていないエントリは, これらの情報との関係分析が行な えないため対象外とした。その結果, 画像付与実験の対象語は, 25,481 語, 39,251 語義となっ た. Lexeed 出版版の収録語のうち内容語は, 27,787 語, 47,106 語義であるため, 今回の対象語 により，語単位で $91.7 \%$, 語義単位で $83.3 \%$ をガーすることになる.

表 1 に，対象語全体の数を品詞毎に示す.ただし, 名詞は, すべての語義が $\langle 1000:$ 抽象 $\rangle$ 配下，すべての語義が $\langle 2$ : 具体 $\rangle$ 配下， $\langle 1000$ : 抽象 $\rangle$ 配下と $\langle 2$ : 具体 $\rangle$ 配下の両方含む，および，サ 変名詞に分割し, それらの小計も表示している. ここで, $\langle 2$ : 具体 $\rangle$ 配下かどうか等は, Lexeed の各語義にリンクされた意味クラスで分類している。例えば，図 1 の「アーチ $\left.{ }_{1}\right.\rfloor$ には意味ク ラス $\langle 865$ : 家屋 (本体) $\rangle$ と $\langle 2435$ : 類型 $\rangle$ が付与されており, それぞれ $\langle 2$ : 具体 $\rangle$ 配下と $\langle 1000:$抽象 $\rangle$ 配下にあるため, 両方含む, と分類される.

表 1 対象語数と品詞内訳

} & \multirow{2}{*}{} & \multirow{2}{*}{ 例 } \\

## 3 検索語の拡張

## 3.1 画像付与予備実験の概要 (Fujita and Nagata 2010)

辞書の語義毎に適切な画像をWeb から獲得する方法を提案した予備実験について紹介する。予備実験では, Lexeed（図 1）とWikipedia という, 非常に傾向の異なる 2 種類の辞書を対象 としているが，本章では，Lexeed を対象とした実験について紹介する．

1 章で述べたように, 見出し語（代表表記）のみで画像検索した場合, 最もメジャーな語義の 画像しか得られないことが多く, 複数の語義に適切な画像を獲得することは難しい。そこで予備実験では, 語義毎に適切な画像を得るため, あらかじめ検索語を語義毎に拡張し, その効果 を評価した，予備実験で検索語として利用したのは，次の 4 通りである。

(1) 代表表記のみ (Baseline), (2) 代表表記と同義語類 (SYN), (3) 代表表記と上位語等 (LNK),基本的に代表表記のみ利用するが，代表表記がひらがなの場合のみ表記ゆれも利用 (MONO) ${ }^{11}$.

また，具体物かどうか，単義語か多義語か，によって傾向と難しさが異なると考えられるた め, Lexeed の対象語義を次の 4 つのタイプに分類した。“具体物で単義語”, “具体物で多義語”, “具体物以外で単義語”, “具体物以外で多義語” である。本稿と同様, $\langle 2$ : 具体 $\rangle$ 配下の意味クラ スだけが付与されている場合を具体物とした．対象語義は，各タイプからランダムに 50 語義ず つ選択, 合計 200 語義について, 適切な画像を付与できるかどうか, また, どの検索語がより 良い画像を得るのに有効かを調べた。

## 3.1.1 予備実験結果の概要

予備実験では，Baseline，SYN，LNK，MONO のそれぞれの検索語によって獲得した画像12を人手評価した. その結果, 以下のようなことがわかった.

-いずれのタイプに対してもSYNの方がLNKによる画像より適合率が高い. つまり, 同義語類の方が上位語等より適切な画像に絞る効果がある.
- 検索語の拡張は特に多義語に対して効果が高い.
- 逆に具体物の単義語の場合, SYN, LNK 共に適合率は Baseline より下がる. これは, 単義語の具体物の場合, 対象語義自体がメジャーな語義になるため, 拡張するとむしろ典型的な画像が獲得できなくなるためだと考えられる.
- 具体物の単義語でも, MONO だけは Baselineより良くなる。つまり,ひらがな以外の語 の利用は，語義を絞る上で効果がある.
- 検索で得られた画像の適合率は, 各タイプの語義に対して, “具体物で単義語” の場合 MONO で $87.7 \%$, “具体物で多義語” の場合 SYN で $69.2 \%$, “具体物以外で単義語” の場

合 MONO で $66.7 \%$, “具体物以外で多義語” の場合 SYNで $66.3 \%$ たたった. また，画像獲得がうまくいかなかった原因を調べた結果，以下のようなことがわかった.

$\cdot$ 多義語でもメジャーな語義に対しては, 単義語と同様拡張しないほうがよい.
- 拡張に使った語の語義がマイナーだった場合, メジャーな語義の画像が得られて適合率 が下がるため, マイナーな語義は拡張に使わない方がよい.

本稿では，こうした予備実験の結果を反映して，検索語セットの作成（3.2 節），および，優先順位の決定方法を提案する (3.3 節).

## 3.2 検索語セットの作成方法

3.1 節の結果から，特に多義語の場合，複数の語義に適切な画像を獲得するためには，検索語 の拡張が有効であることがわかっている。また, 同義語類による拡張が, 適切な画像を獲得す るために有効なことがわかっている。しかし，同義語類はすべての語義で得られるわけではな い.また，他の関連語の効果もより詳細に調查し，今後の改良につながる知見を得たい（第二 の目標)。そのため, 本稿では辞書から得られるできるだけ多くの関連語から検索語セットを作成，比較する，検索語セットに利用する情報は以下の通りである。

## 3.2.1 見出し語：代表表記と表記ゆれ（2.1 節参照）

代表表記は, Lexeedでは必ず一つ以上記載されており, 最も代表的な表記と考えられる。 そ

拡張しない方が良い検索結果が得られる場合が考えられるためである.

また，代表表記がひらがなの場合は漢字の表記ゆれを追加し，ひらがな以外の場合は代表表記のみを用いた検索語セットを用意する（以下， $q_{\text {基本 } ｝ \text { ）これは，予備実験の MONOにあたり， }$曖昧性を軽减するのに有効だったためである，以降の検索語セットはすべて， $q_{\text {基本 }}$ 語追加 して作成する，例えば，「たまねぎ」の場合， $q_{\text {代表 }}$ 「たまねぎ」， $q_{\text {基本 }}$ 「たまねぎ」「玉葱」

の同語義と同様に扱う。なお表記ゆれは，全エントリに記載されているわけではなく，49,245 エントリ中, 11,083 語にのみ存在した.

## 3.2 .2 檜オントロジ（2.1 節参照）

檜オントロジでは，定義文から獲得した同義語，分野情報，上位語などの関連語を，語義ご

る (以下, $q_{\text {関連語 }}$ ） 3.1 節の結果から, 特に多義語では, 関連語（特に同義語）による検索語の 拡張が有効であることがわかっているが，関連語ごとに検索語セットを作成・比較することで，適切な画像を獲得するために有効な検索語の特徵を詳細に調查する。なお, 関連語は檜オント
表 2 檜オントロジの内訳

ロジでは語義番号を含めた語義として抽出されているが，検索語セットでは語義番号は含めず，語として利用する，表 2 に，利用する檜オントロジの内訳を示す.

檜オントロジは, 対象語義側から関連語を参照する（以下，順方向）ように構築されている が，カバー率をあげるため，本稿では逆方向の参照も行なう（以下，逆方向），例えば，「アー チ $\left._{3}\right.\rfloor$ の同義語は「ホームラン $\left.{ }_{1}\right.\rfloor$ なので，逆に「アーチ $\left.{ }_{3}\right.\rfloor$ をホームラン $\left.{ }_{1}\right.\rfloor$ の同義語として 用いることができる.

## 3.2 .3 定義文中, 例文中の特徴的な語

定義文中, および, 例文中に出現する内容語のうち特徴的な語を $q_{\text {基本 }}$ に追加する（以下， $q_{\text {定義文, }}$,

たためである。特徴的かどうかは, 各語の tf:idf (徳永 1999)によって決定する. tf:idf の計算 は，式 (1)を用いる。

$
t f \cdot i d f_{i, j}=\frac{n_{i, j}}{\sum_{k} n_{k, j}} \times \log \frac{D}{d f_{i}}
$

ここで， $n_{i, j}$ は, 文 $j$ 中で，ある語義 ${ }_{i}$ の出現する回数, $\sum_{k} n_{k, j}$ は, 文 $j$ に含まれる内容語の 数, $D$ は全文数, $d f_{i}$ は語義 ${ }_{i}$ の出現する文の数を表している. tf.idf の計算は, 定義文と例文 で別個に行ない，檜オントロジですでに関係が獲得されている語を除き，最もtfidf $の$ 高い語

檜オントロジですでに関係が獲得されているためである.

## 3.2.4検索語セットに利用しない語

前述の情報を用いて検索語セットを作成するが，以下の様な語は利用しない.
表 3 「アーチ」（図 1）の定義文／例文から得られる検索語セット

- 同じ見出し語の語義間で共通する語は用いない.

語義間で共通する語では, 別の語義に関連する画像が得られる可能性があるためである.例えば,「口紅 $\left.{ }_{1}\right.\rfloor$ “化粧品の一種。唇に塗る紅。‥" と,「口紅 $\left.{ }_{2}\right.\rfloor$ “物の周り、特に陶磁器の周囲に赤い色を塗ること。また、その紅。”の場合,「塗る」「紅」は両方の定義文に出現するため利用しない.
- 低頻度語義は利用しない.

ここで低頻度語義とは，語としては一定回数以上出現するにも関わらず，その語義とし てはほとんど利用されない語義である。低頻度語義を利用すると, 意図した語義ではな く, 同じ見出し語のもっとメジャーな語義に関する画像が得られる可能性があるためで ある。本稿では, 檜センスバンク全体で 5 回以上出現する語にも関わらず，自分自身の 例文以外には利用されていない語義を低頻度語義とした。逆に, 語としての出現回数が 少ない場合でも, 例えば $100 \%$ 対象語義として利用されているような場合, 意図した語義以外の画像が得られる可能性は低いため, 対象外とする必要はないと判断した.

例えば，「アイス」は檜センスバンク全体で 9 回出現するが，「アイス ${ }_{3}$ 」“高利貸し ${ }_{1}$. ” の語義はほとんど出現しない．檜オントロジでは，「高利貸し ${ }_{1} 」$ は，「アイス $\left.{ }_{3}\right.\rfloor$ の順方向の同義語として獲得されており,「アイス $\left.{ }_{3}\right.\rfloor$ の検索語の拡張に利用する。しかし, 逆 に「高利貸し ${ }_{1}$ 」の拡張に「アイス ${ }_{3}$ 」を利用することはない.
- 見出し語側に完全に含まれる語は利用しない.

壳長だと考えられるためである。

例えば，「アイス $\left.{ }_{1}\right.\rfloor$ は「イスキャンデー ${ }_{1} 」$ の同義語だが, 完全に含まれるので, 利用しない.
- 檜オントロジで関係が「部分全体」「分野」の場合, 逆方向に参照された語は利用しない.同義語類とは異なり，逆方向では同じ関係にならないためである.

例えば, 「アーチ $\left.{ }_{3}\right.\rfloor$ の分野として「野球 ${ }_{1} 」$ が獲得されているが, 「野球 ${ }_{1} 」$ の拡張に「アー チ $\left._{3}\right.\rfloor$ は利用しない.

## 3.3 検索語セットの優先順位

3.2 節では検索語セットの作成方法を述べた. この方法では複数の検索語セットが作られる.人手で画像付与を行なう場合, これらの検索語セットによる検索結果をすべて表示し, 最も良 い画像を選べば良いだろう。しかし，辞書のエントリが増えた場合や，他の辞書に画像を付与 したい場合など，いつでも人手で画像付与ができるわけではない，そのため，デフォルトで利

Type M: 単義語（以下, MONO ), あるいは, 多義語だが高頻度語義（以下，MAJOR）の場合 ただし，高頻度語義とは，檜センスバンク中で 5 回以上出現する語の, 出現率が $80 \%$ 以上の語義 とした.

If 代表表記がひらがな $=>q_{\text {基本 }}>q_{\text {関連語 }}>q_{\text {代表 }}>q_{\text {定義文 }}>q_{\text {例文 }}$

Else $=>q_{\text {代表 }}>q_{\text {関連語 }}>q_{\text {定義文 }}>q_{\text {例文 }}$

Type P: それ以外 (以下, NOT-MAJOR) の場合

If 代表表記がひらがな $=>q_{\text {関連語 }}>q_{\text {基本 }}>q_{\text {代表 }}>q_{\text {定義文 }}>q_{\text {例文 }}$

Else $=>q_{\text {関連語 }}>q_{\text {代表 }}>q_{\text {定義文 }}>q_{\text {例文 }} \quad$ (例：表 4 「アーチ $\left.\left.{ }_{3}\right.\rfloor\right)$

1. 見出し語との関係により以下のように並び替える.

同義語類（同義語, 別称, 略称, 表記ゆれ）> 分野 $>$ 部分全体 $>$ 上位語 $>$ 下位語 $>$ そ の他

2. さらに同じ関係の語が複数ある場合, 語集合 $Q$ を, 以下のルールに従って並び替える.

2.1. 順方向 $\left(Q_{\text {順 }}\right.$, 逆方向 $\left(Q_{\text {逆 }}\right.$ ) のどちらから得られたかによって分割し, $Q_{\text {順 }}>Q_{\text {逆 }}$

2.2. $Q_{\text {順, }}, Q_{\text {逆 }}$ のそれぞれの中で,

2.2.1 拡張語の tf.idf の高い順にソート

2.2.2 含まれる検索語セット毎に

If 拡張語がカタカナ

If 代表表記もカタカナ =>そのまま

Else =>木尾に移動。（例：「たまねぎ」に対して「オニオン」）

Else If 拡張語がひらがな =>木尾に移動

Else =>そのまま

図 2 検索語セットの優先順位決定方法

表 4 検索語セットと優先順位の例

用する検索語セットを設定しておくことは重要である．そこで本稿では，予備実験（3.1 節）の 結果とヒューリスティックスから，複数の検索語セットの優先順位を決定する方法を提案する (図 2). 付与した優先順位, 特に最も高い優先順位を与えたものがよかったかどうかは, 後の 実験で検証する。また，検索語セットと優先順位の例を表 4 に示す.

## 4 実験方法

本章では, 対象語義に適切な画像を付与する実験手順について述べる ${ }^{13} .4 .1$ 節では, 画像付与, および, 評価の手順について, 4.2 節では, 画像自体の評価基準について述べる.

## 4.1 画像付与・優先順位の妥当性評価方法

本稿では, 複数の検索語セットを用意し, それらに優先順位を付与する方法を提案した。そ こでまず，第三の目標としてあげたように，付与した優先順位の妥当性を評価する．特に，自動的に画像を付与する場合, 最も優先順位が高くなった検索語セット（以下, Best）を用いて 適切な画像が得られるかどうかが重要である。

そこで, 検索語セットの提示方法として 2 通りの方法を試し, 結果を比較する。つまり, すべ ての検索語セットによる検索結果をランダムに表示する方法 (ランダム表示法, 図 3）と, Best による検索結果を最初に表示し, その段階で高い評価の画像が十分獲得できれば, 他の検索語 セットは利用しない方法（ベスト優先法, 図 4) である。いずれの方法でも, 用意した検索語

Step 1: 画像表示可能・不可能の判断

1-1 すべての検索語セットによる検索結果をランダムに表示 (CAND)

1-2 画像表示可能かどうか判断

If 可能 $=>$ Step $2 へ$

Else $=>$ 終了

Step2: 検索語セットの決定

2-1 CAND を参照し, 適切な画像が存在するか判断

If 存在 $=>$ 最も適切な画像が多く含まれる検索語セットを選択し, Step 3 へ

Else $=>$ 検索語を自由に修正（検索語の全候補を参考に提示） L, Step 3 へ

Step3: 画像収集と画像の適合度評価

3-1 決定した検索語セットによって画像 30 枚を提示

3-2 その中から, 良い順に 5 枚の画像を選択（ただし，同じ画像は選ばない）

3-3 各画像に評価値（4.2 節, 図 5）を付与

図 3 評価方法：ランダム表示法

セットでは適切な画像が得られない場合, 作業者に自由に検索語を修正してもらう（図 3 , Step 2-1）。なお, そもそも画像表示できない語義の場合, どのような方法であっても画像を付与で きないため, そのような語義かどうかを判断する箇所も設けてある（図 3, Step-1）.

比較に用いるのは， 10,500 語義 14 ずつ，合計 21,000 語義であり，作業者は各語義につき一人 である。画像の適合度評価（図 3 , Step 3）まで含めた作業にかかる時間は，用意した検索語 セットから選択する場合， 1 語義につき平均約 3 分，作業者が検索語を修正する場合，平均約 4 分と報告されている.

## 4.2 画像の適合度評価

図 3 の Step 3 において, 作業者には, 各語義 5 枚の画像を選択してもらい, 各画像の適合度 を評価してもらった。評価値は，1-5の 5 段階であり，数字が大きい方が適合度が高い。なお,画像表示可能と評価された語義には，評価値 3 以上の画像が少なくとも 1 枚以上付与されるよ うに作業している。図 5 に評価例を示す.

Step 0: Best による検索結果を評価

0-1 Best による検索結果を提示し, 評価値 3 以上（4.2 節, 図 5）の画像が 3 つ以上存在するか 判断

If 存在 $=>$ 検索語セットに Best を選択し, 図 3 の Step 3 へ

Else =>図 3 の Step 1 へ(ただし, CANDに Bestによる結果は含めない)

図 4 評価方法: ベスト優先法

図 5 画像の適合度評価例

## 5 優先順位の妥当性の評価

本章では，提案した優先順位，特に，Bestが妥当かどうかを評価する（第三の目標）その ため, ランダム表示法とべスト優先法のそれぞれの場合で最終的に選択された検索語セットの 優先順位を比較する，比較のため 10,500 語義ずつを選び，それぞれの方法によって作業を行っ た. 選択された検索語セットの優先順位の占める割合を図 6 に示す. なお, 画像表示が出来な いと判断された語義は除いて集計した. 両者の対象語義は異なるので厳密な比較はできないが,各評価における対象語義の品詞割合は同じであり傾向調査としては十分な量であると考える.

図 6 から, ランダム表示法でもべスト優先法でも, 最も多く利用された検索語セットは, Best, つまり，最も良いと予想した検索語セットであることがわかる。検索結果は Step-1 ではランダ ムに表示されており，作業者には優先順位はわからないにも関わらず，利用された検索語セッ トの割合は優先順位の通りになっている. そのため, 提案した検索語セットの優先順位は妥当 だいえる。

さらに, ベスト優先法の場合, Best が利用された割合は, ランダム表示法の場合より非常に 高い（全体で, $+23 \%$ ). これは, 最初に Best を表示し, そこで十分な画像が獲得できれば, 終了しているためである。つまり, ランダムに表示すれば, 同じくらいよい結果があれば他の検索語セットを利用する可能性があるが，Best を先に表示することで，Bestで十分だと判断され ることが多くなっているのだと考えられる。つまり, 特に, 人手で画像付与ができずに自動的 な検索結果を用いる場合, デフォルトの検索語セットとして Bestを利用しておくことは妥当で あるといえる。

ここで，選択は全拡張語候補中から作業者が検索語を選び直した場合，追加は作業者により検索語が追加 された場合, 修正は全組合せ中にない検索語が用いられた場合を示す.

図 6 画像獲得のために利用された検索語セットの優先順位：ランダム表示法とべスト優先法の比較

## 6 検索語に関する分析

本章の目的は, 最終的に利用された検索語の調査である（第二の目標）。検索を行なう場合に, どのような検索語を利用すれば良いかは重要な問題である. 5 章では, 提案した優先順位の決定方法の妥当性を示したが, ベスト優先法の場合でも, 全体の $46.6 \%$ Best 以外の検索語が利用されている。そこで本章では, 最終的に利用された検索語をより詳細に調査し, できれば攵良につながる知見を得たい（6.1 節, 6.2 節)。また, 利用された検索語を手がかりにセンスバン クや語義親密度との関係分析も行なう (6.3 節).

本稿では，5 章で比較のためにべスト優先法を用いた 10,500 語義以外は，ランダム表示法に よって画像付与実験を行なっている。 そこで本章では，評価方法の違いによるバイアスを避け るため, ランダム表示法による画像付与実験結果を対象に, 最終的に利用された検索語を分析 する 15.

## 6.1 利用された検索語セット

ランダム表示法における評価実験で, 作業者によって最終的に選択された検索語セットの内訳 を図 7 に示す. 図 7 によると, 図 2 で定義したMONO と MAJOR の場合, 最も利用されている検索語セットは代表表記のみを用いたものであり, それぞれ $44.9 \%, 31.3 \% を$ 占める. NOT-MAJOR の場合でも， $12.9 \%$ は代表表記のみが用いられている．多義語にも関わらず代表表記のみで検索されている語義は, 少なくとも画像検索では最も出現頻度が高い語義であるといえるだうう。 なお, 代表表記のみが利用された場合の分析は 6.3 節で行なう.

NOT-MAJOR の場合最も多いのは, 人手で追加・修正・削除された検索語セットが用いられ た割合であり，あわせて約 $59 \%$ 占める。これは, こうした語義に適切な検索語セットを自動

図 7 画像獲得に利用された検索語セットの内訳

図 8 図 7 の作業者による追加, 修正, 選択で利用された検索語の内訳

表 5 作成された検索語セットのうち, 実際に利用されたものの割合

的に用意することの難しさを示している．MONO や MAJORでも人手で追加・修正・削除され た場合は多いが，それらを除くと，上位語，定義文から，同義語, 例文からの情報が，よく用 いられている。これらの間には, 高々 $1-2 \%$ 程度の差分しかなく, 予備実験で得られた結果のよ うに明らかに同義語の方が良いとはいいがたい。ただし，すべての語義について同義語が獲得 できているわけではないことを考慮する必要がある。つまり, 同義語があれば同義語の方が良 いが，ないので上位語が用いられた可能性もある。そこで, 各タイプ毎に, 作成された検索語 セットのうち，最終的に利用された検索語セットの割合を表 5 に示す.

表 5 によると, 同義語を用いて作られた検索語セットのうち, $24.9 \%$ は最終的に利用されてい る. また, 同義語の一種である略称 (正式名称への展開) や別称も利用される割合が高い. 分野情報は作られた数自体が少ないが, 特にNOT-MAJORでよく選択されている。逆に, 上位語の 場合は, 作られた検索語セットのうち, 実際に利用されたのは $8.4 \%$ であり, 同義語類に比べる とかなり低い割合である。つまり, 同義語が存在する場合には, 同義語は比較的利用される割合が高いといえる。ただ， MONO, MAJOR, NOT-MAJORのそれぞれにおいて, 利用された検索語セットの割合は相当異なっており, 同じ同語義類でも, MONOでは同義語のうち $31.6 \%$ が 利用されているが, NOT-MAJOR では $10.2 \%$ に留まり, 代わりに略称や別称などが利用される割合が高くなっている. 今後は, 優先順位の決定において, タイプ別にこれらの優先順位を決定 することも考えられる。

## 6.2 人手で追加／修正／選択された検索語

図 7 (6.1節) に示した様に, 人手で検索語が追加／修正／選択された割合は，それぞれ， $21.3 \%$, 16.1\%, 7.7\%と高い. これらの, 人手によって追加／修正／選択されて作られた検索語セットに 含まれる語のタイプを分類した（図 8). 検索語セットには複数の語が含まれることがあるが,語毎に分割して集計してある。同義語類には, 同義語, 略称, 別称などをまとめた.
表 6 画像獲得のために追加された検索語のトップ 10

図 8 によると, 新しく追加された語の割合が最も多い. 次いで, 代表表記が利用される割合 が高く, 定義文, 例文からの語が続く，定義文からの語とは, 定義文中に出現する語のうち, 檜 オントロジでは同義語や上位語といった関係にない語になる。また, 同義語や上位語などもあ り, こうした語や代表表記に, 何らかの語句が追加されているというパターンが多く見られた.

ここで, 追加された検索語のトップ 10 を表 6 に示す. 追加された語で最も多いのは「イラス ト」で， 3,612 回と際だって多く追加されている.「イラスト」が追加された語の品詞を集計す ると, 多い順に, 動詞 $(34.4 \%)$, サ変名詞 $(25.3 \%)$, 名詞 $\langle 1000$ : 抽象〉 $19.7 \%)$ と続いており, 特 に動作を表すような語義や抽象的な語義に対し，イラスト化された画像を得るために多く利用 されたことが推測できる。それ以外にも，「イメージ」「グラフ」「写真」「図」など，語自体が 図や画を想起させる語が多く追加されている。これは画像検索ならではの特徴だと思われる。

また，典型的と思われる事物や用法に具体化するための検索語の追加も多く見受けられる.例えば，「くたくた ${ }_{1} 」$ “布や衣服などが使い古されて, 張りを失い弱くなった様子. ”に対して 「服」が追加され，「くたくたになっている服」の画像が選ばれたり，「災難 ${ }_{1} 」$ “不意に起こる不幸な出来事. "に対し, 「事故」が追加され, 事故場面の写真が選ばれたりしている.

## 6.3 代表表記のみで検索された語義

図 7 （6.1節）によると, NOT-MAJOR, つまり, 多義語において高頻度語義だと判断しなかっ た語義でも，検索には代表表記のみが利用された語義が $12.9 \%$ (1,646 語義) 存在する。同じ見出し語に対し, 語義が複数存在するにもかかわらず, 代表表記のみで検索されているということ は, これらの語義は, 少なくとも画像検索では最も出現頻度が高い語義であるといえるだうう。

本実験では, 檜センスバンクで 5 回以上出現する語の, 出現率が $80 \%$ 以上の語義を高頻度語
義としている (3.3 節参照). この条件はヒューリスティックに設定しており, 厳しかった可能性もある。 そこで，檜センスバンクにおける出現率と，多義語のうち代表表記のみが利用され た語義の関係を調べる. 図 9 に, 多義語のうち 10 回以上出現する語についての関係を示す 16 .出現率は $10 \%$ 単位でまとめて集計してある。

また, 檜センスバンクは, 新聞と辞書定義文, 辞書例文からなるが, これらのコーパスにおける 語義の出現率と人間の感覚は異なっている可能性も考えられる. 本実験で利用した辞書 Lexeed には, 語義別の親密度が付与されており, これは, 各語義に対する馴染み深さを心理実験によ り付与したものである。そこで図 10 に, 語義親密度と, 多義語のうち代表表記のみが利用され た語義の関係を示す. 語義親密度は 1 から 7 の間の值で表わされ, 数値が大きくなるほど親密度が高い. 図 10 では, 1 以上 2 未満, 2 以上 3 未満というようにまとめて集計してある.

まず図 9 から, 基本的には, センスバンクでの出現率が高ければ高いほど, 代表表記のみが 利用される割合も高くなっていることがわかる ${ }^{17}$. そのため, デフォルトの検索語セットを用意する場合, 出現率が高い語は代表表記のみを利用するのは妥当と言えるたろう.

しかしながら, 図 9 からは, センスバンクでの出現率が高ければ必ず代表表記のみが用いら れたわけではないこともわかる. 出現率が $90 \%$ 以上と非常に高い場合であっても，代表表記の み検索に利用されたのは該当する語義の $53 \%$ 程度であり, 残り $47 \%$ 程度は異なる検索語が利用されている.

出現率が高いにも関わらず，代表表記以外で検索されている語を確認したところ，語からイ メージされる，代表的シーンを示す様な検索語が利用されていることが多かった．例えば，「悔 やむ $\left.{ }_{1}\right.\rfloor$ の場合は「悔やむ，マウンド」，「封鎖 $\left.{ }_{1}\right.\rfloor$ の場合は「事件現場」が利用されている．両

図 9 檜センスバンクにおける出現率と, 代表表記のみを検索語に利用した語義の 割合

図 10 語義親密度と, 代表表記のみを検索 に利用した語義の割合

方，センスバンクでの出現率は $100 \%$ \%である.

逆に，出現率が低い（10\%以下）にも関わらず，代表表記で検索されている語も存在する。例えば，「チェック」の6つの語義のうち，代表表記のみが検索に用いられているのは，「チェッ ク ${ }_{3}$ 」“洋服地の基盤の目のような柄."である. この語義の出現率は, $2.1 \%$ ( 96 回のうち 2 回） と非常に低い。それに対し，最も出現率の高い $(89 \%)$ 語義は，「チェック ${ }_{6} 」$ “照合の印を付け ること。また，その印。また，照合して検査すること。”であるが，検索語は作業者による自由修正によって，「チェックマーク，イラスト」が用いられている。なお,「チェック $\left.{ }_{3}\right.\rfloor$ の語義親密度は 4.225 , 「チェック ${ }_{6}$ 」の語義親密度は 5.300 であり, 語義親密度についても「チェッ ク $\left.{ }_{6}\right.\rfloor$ の方が高かった.

同様に語義親密度との関係（図 10）でも，基本的に，語義親密度が高くなれば代表表記のみ が利用される割合は高くなる 18 。たたし，やはり例外も存在する。語義親密度が低いにも関わ らず代表表記のみが利用されている語を調べると, 語義の親密度以外に，その語義に関連する 画像の存在する量も影響している可能性がある。例えば，「縄張り ${ }_{2} 」$ “建築の敷地に縄を張っ て建物の位置を定めること。”は, 語義親密度が 1.825 とかなり低いが, 代表表記のみが利用さ れている.「縄張り ${ }_{2}$ 」は家を建てる時に行なわれ，記念，記録として撮られたらしい写真が多 く存在する。逆に, 「縄張り」の中で, 最も親密度が高い語義は, 「縄張り ${ }_{5}$ 」“動物の個体や集団が，他の侵入を許すまいと努める地域. テリトリー。”（語義親密度 5.225）だが，こちらは 比較的画像で表しにくく19，関連する画像の量自体が少ないのだと思われる。

つまり，画像検索での出現率と，人間のその語義に対する親密度，あるいは， センスバンク での出現率は, 関連はするものの, 完全一致ではなく, 画像として表現しやすいかどうか, 画像として残されやすいかどうか，という条件を加味しなければ，画像検索に代表表記のみを利用すればよい語義を正確に推定することはできないだろう。

## 7 画像表示可能/不可能な語義の分析

第一の目標として, 辞書のほとんどの内容語を対象として画像付与実験を行なったが, 対象語義の中には，そもそも画像表示できない語義も存在している。そのため評価時に，そももも 画像表示可能な語義かどうかを判断している（4.1 節, 図 3, Step 1-2). これまでの分析では,画像表示可能と判断されたものだけを対象にしてきたが，本章では，そもそも画像表示可能，あ るいは, 不可能と判断された語義はどのような特徴を持つのかを調査する。まず， 7.1 節では品詞との関係について，7.2 節では意味クラスとの関係について定量的に調査する。また, 7.3 節 では，画像表示不可能な語義の傾向について述べる.

## 7.1 品詞と画像表示可能 / 不可能の関係

本章では, 品詞と画像表示可能/不可能と判断された語義の関係について述べる。図 11 に,画像表示が可能，あるいは，不可能と判断された語義の品詞毎の割合を示す. どの品詞でも「可能」と判定された語義が最も多くなった． 特に，動詞は $97.8 \%$ が「可能」と判断されており，〈2:具体〉配下の名詞よりも割合が高い. 最も「可能」と判断された語義の割合が少なかったのは,副詞類だが，それでも $60.1 \%$ そ可能」と判断されている.

ただし，本実験は，できるかぎり画像を付与するという方針で行なっているため，画像表示が 「可能」と判断されていても, 適合度が高い画像が獲得できているとは限らない. そこで, 画像表示可能と判定された語義に付与された画像のうち, 評価値が 5 (適切), および, 4 (適合度_高）と評価された画像の枚数を図 12 に示した. 評価の高い画像を多く獲得できているというこ とは, それだけ画像付与が容易な語義であるといえる。実験では, 30 枚の検索結果から, 各語義につき 5 枚ずつ, 評価の高い画像から獲得するようにしており, 最大獲得枚数は 5 枚である.図 12 からは, $\langle 1000$ : 抽象 $\rangle$ 配下の名詞, 形容詞類, 副詞類の場合, 評価値 4 以上の画像が 1 枚 も獲得できていない語義が最も多いことがわかる.

評価自体は作業者によってゆれがあるため, 各画像について評価値毎の詳細な区別は難しい 20. しかし, このように評価值の高い画像が何枚とれたか, という観点でみると, 品詞と, 画像と しての表現しやすさとの傾向が良くわかる.「可能」か「不可能」かという点だけをみると, 動詞は非常に「可能」の割合が高いが，評価値が 4 の画像が 5 枚獲得されているのは, $24.0 \%$ の である。図 12 から, 評価値の高い画像が獲得できている品詞は, 順に, 名詞 $(\langle 2$ :具体 $\rangle$ ), 名詞 (両方含む), サ変名詞, 動詞, 副詞類, 名詞 $(\langle 1000$ : 抽象 $\rangle$ ), 形容詞類となる.

図 11 画像表示可能/不可能と判断された語義の割合

図 12 画像表示可能な語義に付与された画像 のうち, 評価値が 4 (適合度_高) 以上 の画像の枚数

## 7.2 意味クラスと画像表示可能／不可能の関係

7.1 節では，品詞と画像表示可能／不可能の関係について調べた。ただし, 名詞は， $\langle 2$ :具体 $\rangle$配下か, 〈1000: 抽象〉配下か, その両方を含むか, によって分割している. しかし, 意味クラス は 2,710 クラス存在しており, 本章では, さらに詳細な意味クラスとの関係を調査する.

本章では, 各語義に付与された意味クラス毎に, その語義が「可能」「不可能」と判断された 数をカウントする。ただし, 各語義に複数の意味クラスが付与されている場合, すべての意味 クラスでカウントしている。例えば，アーチ ${ }_{1}$ の場合, $\langle 865$ :家屋（本体）〉 $\langle 2435$ : 類型 $\rangle$ が 付与されているため, 両方でカウントする.

50 回以上利用されている意味クラスの中で, 属する語義が「可能」あるいは「不可能」と判断 されている割合を調べた。その結果，すべての語義が「可能」と判断された意味クラスは， $\langle 2$ :具体 $\rangle$ 配下では, $\langle 677$ : 作物〉, 〈818:衣服（本体）〉, $\langle 920$ : 出版物〉などの 23 クラス, $\langle 1000:$ 抽象 $\rangle$ 配下では $\langle 1048:$ 絵画 $\rangle,\langle 2360$ :天気 $\rangle,\langle 2498:$ 構造〉などの 7 クラスたっった。なお，すべての 語義が「不可能」と判断された意味クラスはなかった.

このことから, 画像表示が不可能な語義を, 属する意味クラスのみから判定することは難し いが，逆に，いくつかの意味クラスに関しては，新規の語義であっても，画像表示が可能であ る可能性は高いといえる.

また，個別の意味クラスだけでなく，配下のすべての意味クラスで，属する語義がすべて「可能」と判断されている場合もある。表 7 に，配下の意味クラスに属する語義すべてが画像表示可能と判断された意味クラスを列挙した ${ }^{21}$. こうした意味クラスには, $\langle 838:$ 食料〉, $\langle 671$ : 植物 $\rangle$, $\langle 925$ : 目印・象徵物〉などが存在する。画像表示可能かどうかの判別には, 個別の意味クラスだ けでなく, こうした階層構造も重要だろう.

## 7.3 画像表示不可能な語義の傾向

画像表示不可能と判断された語義として, 作業者から報告された語義の傾向は以下の通りで ある.

(1) 否定的な意味をもつ語義

例「干す $\left.{ }_{4}\right.\rfloor$ “仕事などを与えない.”

「無給 1 」“給料が無いこと. 給料を支給しないこと."

(2) 言語表現

例「悪しからず $\left.{ }_{1}\right.\rfloor$ “悪く思わないで. よろしく，相手の気持ちを考えないで物事をしたと きなどに了承を得るために使う言葉。”

(3) 仮定表現

表 7 配下のすべての意味クラスに属する語義が, 画像表示可能と判断された意味クラス（累計 100 回以上出現する意味クラスのみ)

 &  & 配下の意味クラス &  \\

例 「ひょっとしたら ${ }_{1} 」$ “もしかすると.ひょっとすると。”

(4) 相対表現

例「絶品 $\left.{ }_{1}\right.\rfloor$ “比べるものが無いほど優れた品物や作品. "

「別件 ${ }_{1} 」$ “別の用件. 別の事件. ”

（5）内容を厳密には表せない語義（下線部の意味が画像で表現できない）

例「「だて眼鏡 1 」“実際には掛ける必要が無いのに、お酒落のために掛ける眼鏡. ”

「テストパイロット ${ }_{1}$ 」“新しく製造された航空機の試験飛行をするパイロット．”

画像表示不可能な語義かどうかの判別の自動化の可能性について考えてみると，上記 (5)の 「だて眼鏡 $\left.{ }_{1}\right.\rfloor 「$ テストパイロット ${ }_{1}$ 」のような語義では，自動化は困難だと思われる。

一方，上記 (1) から (4) については, 語義文からある程度の手がかりは獲得できるかもしれな い. 例えば, (2)にあたるものとして, 上位語が「言葉」や「語」の語義は「不可能」と判断さ れる可能性が高いかもしれない，実際に「不可能」とされたのは，本稿での対象語のうち上位語が「言葉」である語義の $11.0 \%{ }^{22}$, 「語」である語義の $25.7 \%{ }^{23}$ だった。この割合は, 全体の 割合に比べればかなり高いが（図 11）, 必ず「不可能」と判断されたわけでもない. なお, こ れらの語義で, 「可能」と判断された語義には, その語が利用される典型的なシーンの画像が付与されることが多かった.

## 7.4 画像の多様性

本章ではこれまで画像表示が可能かどうか, といった観点で調べてきたが,「可能」と判断さ れた語義の中にも，一つの画像だけでなく，多様な画像が求められる場合がある.

例えば，同じ $\left.\langle 537\right.$ : 獣〉という意味クラスに含まれる語であっても，「シロナガスクジラ ${ }_{1} 」$ な らシロナガスクジラの画像のみだが，「家畜 ${ }_{1}$ 」は，豚，鶏，牛など，複数種類の動物の画像が 付与されている。どれか一種類の動物の画像だけであれば，「家畜 ${ }_{1} 」$ がその動物を指すのたと いう誤解を招くおそれがあるが，複数種類の動物の画像を付与することで，これらすべてを含 むような概念であるとわかる.

また, 「牛 $\left.{ }_{1}\right.\rfloor$ のような場合でも, 細分類すると, 白黒の斑のあるホルスタイン種, 茶色いジャー ジー種, 黒毛の和牛など様々な種類があり, 本実験においても出来る限り多くの種類の画像が 付与されている。このように，一つの語義に対して複数の画像を付与するのは，イメージの固定化を防ぎ (諏訪 他 2012)，対象語義の範囲を示す上で重要だと思われる。

また，より具体的な下位概念の方が適切な画像を付与しやすい場合も多い. 作業者によって
_{1}$ 」「見出し ${ }_{1}$ 」「歌詞 2 」「気障 1 」など，逆に「不可能」と判断されたのは, 「一言 2 」「禁句 2 」「殺し文句 ${ }_{1}$ 」「片言 1 」など.

23 上位語が「語」の語義で, 「可能」と判断されたのは, 「謙譲語 1 」「流行語 1 」「反意語 ${ }_{1}$ 」「結び ${ }_{3}$ 」など，逆に「不可能」と判断されたのは, 「ご存じ ${ }_{1}$ 」「良く ${ }_{5}$ 」「むしろ ${ }_{1}$ 」「何なら ${ }_{1}$ 」など.
}
検索語に追加された語に, 対象語義を典型的と思われる事物や用法に具体化するための語句が 多く含まれたのもそのためだろう（6.2 節)。(Popescu et al. 2007) では, WordNetのある対象 synset 配下のリーフノードのみを画像付与の対象にしており，上位 synset は上下関係から間接的にカバーされると述べられている。同様に, 動植物など一部の上下関係に対しては, より具体性の高い下位語義（概念）に対して画像を付与し, 上位概念はその集合として扱うことも可能かもしれない.こうした方法は, 作業量の削減や画像の多様性確保に効果がある可能性があ る。ただし, 抽象的な概念への適用はかなり難しいと考えられるため, 適用範囲に注意する必要がある.

## 8 まとめと今後の課題

画像が付与された辞書は，教育分野や言語横断検索での利用，子供や異なる言語の話者，文字の認識に困難を伴うような人とのコミュニケーションを助けるツールの構築， セマンティッ クギャップを埋めるための研究利用など, 様々な用途が考えられる.

作成・維持コストを考えれば，なるべく自動的に画像を付与することが望ましいが，大量の 辞書エントリに対して，高い精度で画像を付与することは容易ではない。また，そもそもどう いった語義には画像を付与できるのか, あるいはできないのかといった調査が大規模になされ た例はなく，画像が付与できる語義を自動的に判別することも困難である.

そこで，まず語義別に画像が付与された辞書を人手で構築することを第一の目標とした．幅広い語義に適切な画像を付与するため, インターネットから画像検索によって画像を獲得する。 そこで，語義毎に適切な画像を得るための検索語を調査することを第二の目標とした。さらに，本稿では検索語セットの優先順位の決定方法も提案した。今後の作成・維持コストや, 新しい 辞書への適用を考えると, 人手による画像付与ができない場合でも, 優先順位の高い検索語セッ トによる検索結果が利用できれば，有用だと考えられるからである。 そのため, 提案した優先順位の決定方法の妥当性を示すことを第三の目標とした.

まず第一の目標に関して, 本稿全体では, 辞書 Lexeed の名詞, 動詞, 形容詞, 副詞類の 25,481 語, 39,251 語義を対象として, 画像付与実験を行なった. その結果, 対象語義全体の $94.0 \%$ に 画像付与が可能と判断され, 画像が付与できた. 構築した辞書を用いて, 7 章では, 画像付与 が可能/不可能な語義の特徴を, 品詞との関係や意味クラスとの関係に着目して調査した. 品詞との関係では, 語義との適合度が高い画像が獲得できた品詞は, 順に, 名詞 $(\langle 2$ : 具体 $\rangle)$, 名詞 (両方含む), サ変名詞, 動詞, 副詞類, 名詞 (〈1000: 抽象 $\rangle$ ), 形容詞類であることを示した.意味クラスとの関係分析では，意味クラスによってはほぼ確実に画像付与可能なクラスが存在 し, さらに, 画像付与が可能かどうかの判断には階層構造も考慮することが有効だと思われる ことを示した。
第二, 第三の目標は, 辞書の構築過程に関係している.

本稿では，語義毎に，上位語や同義語，例文中の語など，辞書から得られる様々な語を用い た検索語セットを用意し，それらに優先順位を付与する手法を提案した。提案手法では，対象語義が単義語や多義語のメジャーな語義の場合には代表表記のみを利用した検索語セットを優先させ，それ以外の語義の場合は同義語によって拡張した検索語セットを優先させた。本稿で は，用意した検索語セットによる検索結果を作業者に提示し，最も適切な検索語セットを選択 してもらった。 ここで， 2 通りの提示方法を試すことで，デフォルトとして自動的な検索結果 を表示する場合でも，最も優先順位の高い検索語セットによる検索結果を利用することが妥当 であることを示した（5 章，第三の目標）.

第二の目標に関しては, 最終的に作業者によって選択された検索語を分析することで改良点を 探った (6 章). その結果, 同義語類, 分野情報は検索語として選択されやすいことや, メジャー な語義かどうかによって優先順位の決定方法を改良すればよいことがわかった。こうした知見 は，今後追加されるエントリや，新しい辞書への適用時に有効である.

また，検索語については更に 2 種類の分析をおこなった。まず，適切な検索語セットが候補 にない場合に, 追加・修正された検索語の分析を行なった。その結果, 追加された検索語には,「イラスト」や「イメージ」など, 語自体が図や画を想起させる語や, 典型的と思われる事物や 用法に具体化するための語が多く含まれることがわかった.

さらに，多義語であるにも関わらず，代表表記のみが検索語として利用された語義は，少な くとも画像検索においては最頻語義だと考えられるという点に着目し, こうした語義のセンス バンクでの出現率, 語義親密度との関連性についても分析した。その結果, センスバンクでの 出現率や語義親密度と, 画像検索における最頻語義は相関関係があるが，完全一致ではなく，画像として表現しやすいか, 画像として残されやすいかどうか, という条件を加味しなければ,画像検索における最頻語義を正確に推定することは困難であることがわかった.

このように，本稿では，様々な品詞を含む幅広い語義に対して画像を付与する実験と分析を 行なった. 今後はさらに, 画像研究者と協力し, 色や輪郭などの画像自体の特徴と言語的特徴 の両面から，語義と画像の関係分析を行なっていきたい.

また, 提案した検索語セットは，語義曖昧性解消のための学習データ獲得にも利用できるか もしれない. 例えば, 単義の同義語によって検索語を拡張し, Web 検索によって得られた文 を訓練データとして利用する方法も提案されている (Mihalcea and Moldovan 1999; Agirre and Martinez 2000). 同様に, 本稿での提案手法によって優先順位が高くなった検索語セットや, 作業者によって選ばれた検索語セットを用いで学習データを獲得した場合, 語義曖昧性解消の 精度向上に貢献できるかどうか調査したい.

## 参考文献

Agirre, E. and Martinez, D. (2000). "Exploring Automatic Word Sense Disambiguation with Decision Lists and the Web." In Proceedings of COLING-2010 Workshop on Semantic Annotation And Intelligent, pp. 11-19.

天野成昭, 小林哲生 (2008). 基本語データベース：語義別単語親密度. 学習研究社.

Bond, F., Fujita, S., and Tanaka, T. (2006). "The Hinoki Syntactic and Semantic Treebank of Japanese." Language Resources and Evaluation, 40 (3-4), pp. 253-261. (Special issue on Asian language technology).

Bond, F., Isahara, H., Fujita, S., Uchimoto, K., Kuribayashi, T., and Kanzaki, K. (2009). "Enhancing the Japanese WordNet." In Proceedings of the Joint conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing: ACL-IJCNLP-2009, pp. 1-8.

Bond, F., Nichols, E., Fujita, S., and Tanaka, T. (2004). "Acquiring an Ontology for a Fundamental Vocabulary." In Proceedings of the 20th International Conference on Computational Linguistics: COLING-2004, pp. 1319-1325, Geneva.

Borman, A., Mihalcea, R., and Tarau, P. (2005). "PicNet: Pictorial Representations for Illustrated Semantic Networks." In Proceedings of the AAAI Spring Symposium on Knowledge Collection from Volunteer Contributors.

Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., and Fei-Fei, L. (2009). "ImageNet: A LargeScale Hierarchical Image Database." In IEEE Computer Vision and Pattern Recognition (CVPR), pp. 248-155.

Fang, H. and Zhai, C. (2006). "Semantic term matching in axiomatic approaches to information retrieval." In Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval, SIGIR '06, pp. 115-122, ACM.

Fellbaum, C. (Ed.) (1998). WordNet: An Electronic Lexical Database. MIT Press.

Fujii, A. and Ishikawa, T. (2005). "Image Retrieval and Disambiguation for Encyclopedic Web Search." In Proceedings of the International Joint Conference on Artificial Intelligence: IJCAI-2005, pp. 1598-1599.

Fujita, S. and Nagata, M. (2010). "Enriching Dictionaries with Images from the Internet Targeting Wikipedia and a Japanese Semantic Lexicon: Lexeed -." In Proceedings of the 23rd International Conference on Computational Linguistics: COLING-2010, pp. 331-339, Beijing, China.

Goldberg, A. B., Rosin, J., Zhu, X. and Dyer, C. R. (2009). "Toward Text-to-Picture Synthesis." In NIPS 2009 Mini-Symposia on Assistive Machine Learning for People with Disabilities.林良彦, 永田昌明, サワシュ・ボラ (2012). 言語横断情報検索における画像手がかりを用いたイン

タラクティブな翻訳曖昧性解消の評価. 情報処理学会論文誌 データベース, $\mathbf{5}(2)$, pp. 26-35.井手一郎, 柳井啓司 (2009). セマンティックギャップを越えて：画像・映像の内容理解に向け て. 人工知能学会誌, 24 (5), pp. i-ii, 691-699.

池原悟, 宮崎雅弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1997). 日本語語彙大系. 岩波書店.

海野裕也, 宮尾祐介, 辻井潤一 (2008). 自動獲得された言い換え表現を使った情報検索. 言語処理学会第 14 回年次大会 (NLP-2008), pp. 123-126.

Mihalcea, R. and Leong, C. W. (2008). "Toward communicating simple sentences using pictorial representations." Machine Translation, 22 (3), pp. 153-173.

Mihalcea, R. and Moldovan, D. (1999). "An Automatic Method for Generating Sense Tagged Corpora." In Proceedings of the American Association for Artificial Intelligence (AAAI1999), pp. 461-466.

Nichols, E., Bond, F., Tanaka, T., Fujita, S., and Flickinger, D. (2006). "Robust Ontology Acquisition from Multiple Sources." In Proceedings of COLING-2006 2nd Workshop on Ontology Learning and Population: Bridging the Gap between Text and Knowledge, pp. 10-17, Sydney. Popescu, A., Millet, C., and Moëllic, P.-A. (2007). "Ontology Driven Content Based Image Retrieval." In Proceedings of the ACM International Conference on Image and Video Retrieval, pp. 387-394.

Popescu, A., Millet, C., Moëllic, P.-A., and Hède, P. (2006). "Automatic Construction of a Grounded Multimedia Ontology of Objects to Illustrate Concepts in a Learning Process." In NETTIES 2006 Conference: Advanced Educational Technologies for a Future e-Europe.白井清昭 (2003). SENSEVAL-2 日本語辞書タスク. 自然言語処理, 10 (3), pp. 3-24.

諏訪智大, 宮部真衣, 吉野孝 (2012). Web ページにおける文化差可視化システムの開発. 平成 24 年情報処理学会関西支部大会, E-14, pp. 1-4..

徳永健伸 (1999). 情報検索と言語処理, 言語と計算シリーズ, 5 巻. 東京大学出版会.

Voorhees, E. M. (1994). "Query Expansion using Lexical-Semantic Relations." In the 17th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval, pp. 61-69.

Zinger, S., Millet, C., Mathieu, B., Grefenstette, G., Hède, P., and Moëllic, P.-A. (2006). "Clustering and semantically filtering web images to create a large-scale image ontology." In SPIE 18th Annual Symposium Electronic Imaging, Internet Imaging VII, Vol. 6061, pp. 89-97.

## 略歴

藤田 早苗：1999 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年, NTT 日本電信電話株式会社入社. 現在, コミュニケーション科学基礎研究所研究主任. 工学博士. 自然言語処理の研究に従事. 言語処理学会, ACL 各会員.

平博順：1994 年東京大学理学部化学科卒業. 1996 年同大学院修士課程修了.同年, 日本電信電話株式会社入社, 2002 年奈良先端大学院大学情報学専攻博士後期課程修了. 博士（工学）。2005 年〜2007 年株式会社 NTT デー夕技術開発本部. 現在, NTT コミュニケーション科学基礎研究所研究主任. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

永田 昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所主幹研究員 (上席特別研究員). 工学博士. 統計的自然言語処理の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2012 年 11 月 7 日 受付) (2013 年 2 月 6 日 再受付) (2013 年 3 月 26 日 採録)


# Markov Logic による日本語述語項構造解析

吉川 克正 $\dagger \cdot$ 浅原 正幸 $\dagger \dagger$ ・松本 裕治 ${ }^{\dagger \dagger}$
}

本稿ではマルコフロジックを利用した日本語述語項構造解析について述べる。日本語述語項構造解析に関する従来研究の多くは, 格毎に独立した解析器を用意し, 他 の述語項関係との依存関係を無視したまま解析を行っていた. これに対し，本研究 では同一文内にある全ての述語項候補を同時に考慮して解析する手法を提案する. この手法は複数の述語項関係の間にある依存関係を考慮した上で，文内における全 ての述語項関係の候補から, 最適な状態を見つけ出すことができる。 さらに, 本研究では，述語の項として妥当でないものを削除するための新たな論理的制約を考案 し, ゼロ照応も含めて正しい項を効果的に見つけ出すことができるように工夫した. NAIST テキストコーパスにおける実験で, 本研究の提案手法は, 大規模データを利用せずに，従来手法と同等の結果を達成した。

キーワード: マルコフロジック, 述語項構造解析, ゼロ照応
## Jointly Extracting Japanese Predicate-Argument Relation with Markov Logic

Katsumasa Yoshikawa $^{\dagger}$, Masayuki Asahara ${ }^{\dagger \dagger}$ and Yuji Matsumoto ${ }^{\dagger \dagger}$

This paper describes a new Markov Logic approach for Japanese Predicate-Argument (PA) relation extraction. Most previous work built separated classifiers corresponding to each case role and independently identified the PA relations, neglecting dependencies (constraints) between two or more PA relations. We propose a method which collectively extracts PA relations by optimizing all argument candidates in a sentence. Our method can jointly consider dependency between multiple PA relations and find the most probable combination of predicates and their arguments in a sentence. In addition, our model involves new constraints to avoid considering inappropriate candidates for arguments and identify correct PA relations effectively. Compared to the state-of-the-art, our method achieves competitive results without large-scale data.

Key Words: Markov Logic, Semantic Role Labeling, Zero-Anaphora

## 1 はじめに

述語項構造解析は, 言語処理分野における挑戦的な研究分野の一つである. この解析は, 自然文または自然文による文章から, 「誰が, 何を, 誰に, どうした」というような, 基本的な構造情報を抽出する. これらの情報は, 文書要約や機械翻訳など, 他の応用的な言語処理研究に 不可欠なものであり，その他にも幅広い応用が期待されている.

図 1 に, 日本語の述語項構造の一例を示す.この例では, 「行った」が述語であり，この述語 が二つの項を持っている。一つはガ格の「彼」, もう一つは二格の「図書館」である. このよう に, 述語とそれに対応する項を抽出し, 格と呼ばれるラベルを付与するのが述語項構造解析で ある. それゆえに, 述語項構造解析は, 格解析と呼ばれることもある。本稿では, 個々の述語一項の間にある関係を述語項関係，そして，文全体における述語項関係の集合を述語項構造と 呼ぶことにする.

尚, 一般には図 1 の「昨日」という単語も時間格相当の項の対象となり得るが, 本研究の述語項構造解析では限定的な述語項関係を対象としており，「昨日」はその対象としない. この対象の範囲は解析に利用するデータのアノテーション基準に依存する。本研究では NAISTテキ ストコーパス (Iida, Komachi, Inui, and Matsumoto 2007) を利用しており，このデータのアノ テーションに準拠した述語項関係のみの解析を行う.

日本語以外の言語では, 意味役割付与と呼ばれる述語項構造解析に相当する解析が行われ ている. 特に英語では, FrameNet (Fillmore, Wooters, and Baker 2001) や PropBank (Palmer, Kingsbury, and Gildea 2005) など, 意味役割を付与した中規模のコーパスが構築されてきた. さ らに近年では, CoNLL Shared Task¹などの評価型ワークショップが意味役割付与をテーマとし て複数行われ，盛んに研究されている。

日本語の述語項構造解析はいくつかの点で英語の意味役割付与以上に困難であると考えられ ている，中でも特に大きな問題とされるのが, ゼロ照応と呼ばれる現象である。この現象は,述語に対する必須格が省略される現象で，日本語では特にガ格の省略が頻繁に起きる．英語で

図 1 日本語述語項構造の例
^{1}$ CoNLL Shared Task 2004, 2005 では意味役割付与 (Semantic Role Labeling), 同 2008, 2009 では意味論的依存構造解析 (Semantic Dependency Parsing) のタスクが設定された.
}

は対象となる述語の項がその述語と同一の文内に出現する上, 必須格の述語項関係については,直接係り受け関係（係り受け木上の親子関係）になる場合が多い。ゆえにPropBankではタグ 付与の範囲を同一文内に限定しており, 解析も相対的に容易になる。 ゼロ照応には分類があり,述語に対する項の出現位置によって, 文内ゼ口照応, 文間ゼ口照応, 文章外ゼ口照応（外界照応）の三つに大別される。述語項関係の種類は, この 3 種類のゼロ照応に加えて, 直接係り受 け関係にある場合（以下，「直接係り受け」とする），そして同一文節内にある照応（以下，「同一文節内」とする）がある。本研究では「直接係り受け」と「文内ゼロ照応」を対象に解析を 行うものとする.

日本語の述語項構造解析研究では, 平ら (Taira, Fujita, and Nagata 2008) や今村ら (Imamura, Saito, and Izumi 2009) がNAIST テキストコーパスを用いた研究を行っているが, 彼らはいずれ も，コーパス中に存在する 3 種類の格：ガ格， ヨ格，二格について，別々のモデルを構築して解析 を行っている。また別の視点から見ると, 彼らの手法は“述語毎”に解析を行っていると言える.英語における意味役割付与の手法でも，この“述語每”の解析を行った手法が多い (Toutanova， Haghighi, and Manning 2008; Watanabe, Asahara, and Matsumoto 2010).

しかしながら，現実の文書では同じ述語に属する項の間には依存関係があると考えられる。例えば，次の文を考えてみる。

(1) ライオン ${ }_{i}$ がシマウマ ${ }_{j}$ を食べたガ: $i, \exists: j$

この例文の “食べた”という述語に対し，ガ格とチ格がともに “ライオン”になることは考え にくいが，ガ格とヨ格を個別に扱う分類器で解析を行った場合，このような矛盾した結果を生 んでしまうことがありうる.

さらには，ある述語とその項の関係を同定する際に，文内にある他の述語との関係が同定の 手がかりになることがある。次の例文を見てみよう.

(2) ライオン ${ }_{i}$ に追いかけガ: $i, \exists: j$ られた シマウマ ${ }_{j}$ が谷底 $_{k}$ に落ちたガ: $j$, 二: $k$

この例文 (2) において“ライオン”が項として妥当なものであり, 且つ, 述語 “落ちた”の項が “シマウマ”と“谷底”だけであると仮定すると，“ライオン”はもう一つの述語“追いかける”の 項になることが確定する。このように, 同一文内に複数の述語が存在し, 固有表現などを手が かりとして, 項候補が絞り込まれている時には, どの項候補をどの述語に割り当てるべきかと いう述語間の依存関係を考慮することで, 最適な述語一項の配置を得ることができるのである.本研究では日本語の述語項構造解析を扱うが, “文毎” の解析を行う手法を用い, 文内に複数あ る述語項関係の重要な依存関係を利用できるようにする。このような依存関係を大域的な制約と して扱うために, 本研究では Markov Logicを利用した解析器を提案する. 英語の意味役割付与 では Markov Logicによる手法が提案されており，効果的であることが示されている (Meza-Ruiz and Riedel 2009). これは, Markov Logic モデルが複数の述語項関係を捉え, その間の依存関係 を考慮することにより，文内における論理的矛盾を軽減できるためである.

さらに本研究では, 述語項構造の要素として不適切な文節を効率的に削減するため, 新たな 大域的制約を導入する。明らかに不適切な候補を削除することは，適切な述語項構造を抽出す るための探索空間を小さくすることができ，項同定を行う述語の推論をより確かなものとする.本稿の実験では，Markov Logic を用いた日本語述語項構造解析を行い，その大域的制約が効果的に働くことを詳細に示す. 従来手法の結果と比較しても，本研究の提案手法は, 同等以上 の結果を達成していることを示す。また，定性的な分析においても，大域的制約が効果的に働 いた事例を紹介する。

なお，次章以降，本稿の構成は次のようになる。まず 2 章では関連研究についてまとめ, 3 章では Markov Logic について導入の説明を行う．4 章では提案手法として構築される Markov Logic Networkについて詳細に述べる。 5 章は評価実験について述べ, 実験結果について考察す る. 6 章はまとめである.

## 2 関連研究

日本語における述語項構造のタグ付きコーパスとして代表的なものには, 京都大学テキスト コーパス (Kawahara, Kurohashi, and Hashida 2002) と NAIST テキストコーパス (Iida et al. 2007) がある. これら二つのコーパスを中心にして日本語述語項構造解析の研究は進められてき た.また, CoNLL Shared Task 2009 (Hajič, Ciaramita, Johansson, Kawahara, Martí, Màrquez, Meyers, Nivre, Padó, Štěpánek, Straňák, Surdeanu, Xue, and Zhang 2009) は多言語を対象にし た意味役割付与のワークショップであり, 日本語述語項構造解析もタスクの一つとして取り組 まれた。

本研究で用いたデータは NAIST テキストコーパスである. NAIST テキストコーパスは，毎日新聞から抽出された 2,929 記事, 38,384 文に対して, 述語項構造及び照応・共参照の夕グが 付与されている。 NAISTテキストコーパスでは，ガ格， ヨ格，二格の 3 種類の格のみを表層格 レベルで扱っているが，格交替を考慮するなど，京都大学テキストコーパスとは異なる夕グ付 け基準を採用して述語項構造を付与している.

NAIST テキストコーパスが付与するのは述語項構造と照応の情報だけであるが, 京都大学テ キストコーパスのテキストに対してアノテーションされているため, 人手で整備された形態素 や係り受けの情報を利用することができる。本研究でもこれらの情報については京都大学テキ ストコーパスのものを利用する.

本研究で利用するNAIST テキストコーパスにおける日本語述語項構造解析の先行研究として 代表的なものは二つある。一つは平らによる SVM 分類器と決定リストの併用による述語項構造解析 (Taira et al. 2008) で, 彼らの研究では動詞だけで無く, 事態性名詞についても述語項構造の解析を行っている。もう一つは，最大エントロピー法に大規模データから構築した言語モ

デルを組み合わせることで，平らを上回る性能を達成した今村らの研究である (Imamura et al. 2009). 今村らの研究では, 述語項構造の解析対象を述語に限定しており事態性名詞は扱ってい ない。また，述語項が同一文節内にある場合は無視できる程に少ないため，直接係り受け，文内ゼロ照応, 文間ゼロ照応の 3 種類のみの解析を行っている. 本研究の解析対象は今村らの研究よりも一段狭く, 述語と項が同一文内にある場合に限定される。これは文内の全体最適化を 行うためだが，その従来研究手法との差異を以下で説明する。

平らと今村らの手法は，ガ， ヲ，ニという 3 種類の格毎に別々の分類器を構築して解析する ものであった (図 2 左を参照)。ゆえに，彼らの手法では格の間にある依存関係を無視したまま 解析を行っていた。しかし，この格間の依存関係を無視することは，しばしば矛盾した解析結果を出力する危険性を孕むことになる，例えば，図 2 にある左のモデルでは，ガ格と二格の両方に，同じ名詞句 “NP2”を出力しているが，一般に同じ名詞句が一つの述語の二つ以上の格を 占めることは起こりにくく，このような事例は矛盾していることが多い．格間の依存関係を無視したモデルでは，このような事例が起こり得るのである.

本研究で提案する Markov Logic モデルは，三つの格を同時に取扱い，格間の依存関係を考慮 しながら，最適な状態を見つけ出すことができる手法である。その結果として，先に示したよ うな矛盾を排除できるのである（図 2 右). さらに，今村らのモデルとは対照的に，本研究の提案手法は大規模データを利用しない，今村らは大規模データを元に構築した言語モデルを利用 することで，述語と項の間における選択選好性を考慮している。一方，本研究では，文内での 全体最適化により，大規模デー夕を利用することなく解析している.

図 2 本研究の提案手法と従来手法との相違

Markov Logic モデルによる述語項構造解析の先行研究は CoNLL Shared Task 2008, 2009 にあ る.また英語では特に詳しい報告が Meza-Ruiz らによってなされている (Meza-Ruiz and Riedel 2009)，彼らの手法では，述語項構造解析を，述語同定，項同定，語義曖昧性解消，そして意味役割付与の四つの部分問題に分割しており, これらの部分問題を同時に解くモデルを提案して いる. 本研究では彼らの手法を元にして日本語述語項構造解析器を構築する. 実験結果を比較 するため, 平ら及び今村らの実験設定に合わせ, 本研究では述語項構造解析問題のうち, 項同定及び，意味役割付与のみを対象とする，ただ，日本語では格（ガ，ヲ，ニ）の同定が意味役割付与に代わることになる.

Markov Logic を利用しない述語項構造解析の同時推定手法も, CoNLL Shared Task の参加者 を中心に様々なモデルが提案されている. 例えば, (Toutanova et al. 2008) と (Watanabe et al. 2010)は，それぞれ CoNLL Shared Task 2005 と 2009 のデータを利用して同時推定モデルを提案している。ただし, 彼らの手法は述語毎の推定モデルであるのに対し, 本研究や Meza-Ruiz らの Markov Logic モデルが文毎の推定を行うモデルであるのは大きな相違点である. NAIST テキストコーパスは，出現する述語の格フレーム辞書が整備されていない上に，格交替を考慮 した述語項構造アノテーションを持ったデータである. 特に日本語では主節と従属節とで格要素を共有する形式, ゼロ代名詞の出現が多く, このようなデータに対する述語項構造解析は, 一 つの述語を考慮するだけでは, その項の充足が決定できないため, 文毎での解析により文全体 での最適化手法が望ましいと考えられる。 さらに, この最適化手法は直接係り受けの述語項関係と比較して, 述語と項の統語的関係が弱い文内ゼロ照応の場合にこそ, 高い効果を発揮する と期待できる.

## 3 Markov Logic

述語項構造解析を含めて, 我々が現実に遭遇する問題の多くは, 局所的な分類学習たけで挑 んでも十分な解決を望めないことは古くから認識されてきた. 局所的な分類学習に対し, 統計的な変量の間にある全体的（大域的）な相互関係をとらえながら学習を行うのが, 統計的関係学習である (Ng and Subrahmanian 1992).

Markov Logic は近年急速に広まりつつある統計的関係学習法の一つであり, 全体最適化を可能にする学習と推論のための統合的な枠組みである。これは一階述語論理と Markov Networks を組み合わせたもので, 本来矛盾が許されない一階述語論理式に, ある程度の罰則を以って矛盾 を許容する枠組みであると考えることができる。 また，それは Markov Networks を一階述語論理式によって表現するテンプレート言語であるとの解釈もできる. 自然言語処理の分野におい ても， 実体解析 (Singla and Domingos 2006), 情報抽出 (Poon and Domingos 2007), 共参照解析 (Poon and Domingos 2008) など，大域的な制約が重要な分野において特に利用されてきた.
本研究でこの Markov Logic が日本語述語項構造解析に適した枠組みであると考える理由は三 つある。一つ目は, 二律背反の絶対的な制約をモデル化するhard 制約と, 実数值による重みで 強さを制御できる soft 制約の 2 種類の全体制約を利用できること， 二つ目は，識別学習を利用 できること，三つ目は，フリーで利用できるライブラリがあることである．統計的関係学習法 としては，他にも PRM (Koller 1999)や, RMN (Taskar, Pieter, and Koller 2002)があるが, 上 に挙げた 3 点を満たしてはいない。

Markov Logic では，重み付きの論理式の集合を Markov Logic Networks (MLNs) と呼ぶ. 一 つの MLN $M$ は， $(\phi, w)$ の組の集合であり， $\phi$ が一階述語論理式， $w$ が実数値の重みとなる.

定義された一階述語に対する基底述語 (ground atom) の集合を，可能世界と呼び， $M$ は一つ の可能世界に対して，次のような確率分布を定義する。

$
p(\mathbf{y})=\frac{1}{Z} \exp \left(\sum_{(\phi, w) \in M} w \sum_{\mathbf{c} \in C^{\phi}} f_{\mathbf{c}}^{\phi}(\mathbf{y})\right)
$

ここで, $\mathbf{c}$ は論理式 $\phi$ の中にある変数に対して割り当てられる定数の組であり, 論理式 $\phi$ に を割り当てた論理式を基底論理式 (ground formula) と呼んでいる。 $f_{\mathbf{c}}^{\phi}$ は, 対応する基底論理式が可能世界 $\mathbf{y}$ の中で真の場合には 1 , 偽の場合は 0 となるような二値の素性関数である. $C^{\phi}$ は定数組の定義域であり， $\phi$ が持つ変数はこの定義域内の値により全て置き換えることができ る.また $Z$ は正規化定数である。この確率分布は, 一つの Markov Network (Ground Markov Network) に対応しており，このネットワーク構造の中で，頂点が示すのは基底述語，辺を含む 部分完全グラフが示すのは基底論理式である。

Markov Logic における論理式の設計は人手で行う必要があり, この作業は従来の機械学習器 を利用する場合の素性選択に対応する。その前段階として，解くべき問題に合わせて有効な学習手法や効率的な推論手法を選択する必要があるのは Markov Logic においても同様である。し かし，これらの実装については， Alchemy ${ }^{2}$ や Markov thebeast ${ }^{3}$ ど，既存のツールを利用する ことができるので，次節以降では，述語項構造解析のために，どのような論理式を設計するか に焦点を絞って述べるものとする。

## 4 提案手法

この節では日本語述語項構造解析のための Markov Logic モデルについて, その詳細を述べる.
^{3} \mathrm{http}: / /$ code.google.com/p/thebeast/
}

## 4.1 述語定義

まずは Markov Logic Network (MLN) の構築に必要な論理述語を定義することからはじめる.論理述語には 2 種類ある。一つは推定したい情報を表すもので，モデルには学習時にだけの 情報を与えるため, 潜在述語 (hidden predicate) と呼ばれる。もう一つは, 観測述語 (observed predicate) と呼ばれ，学習時と推定時の両方において，モデルにその情報が与えられる.

表 1 には本研究で定義した三つの潜在述語が示されている. これら三つの潜在述語が, 我々 の推定したい情報を定義している。即ち, 文節 $a$ は述語の項になっているか (項同定), 文節 $i$ は削除されるか（項候補削減）, 述語 $p$ は文節 $a$ を項に持ち, その意味役割が $r$ になるか（意味役割付与）である. 最初の二つの推定事項に対しては 1 変数の $\operatorname{isArg}(a)$ と delete $(i)$ が対応し,残り一つに対しては $\operatorname{role}(p, a, r)$ という 3 変数の潜在述語が対応することになる.

本研究の手法は Markov Logic による英語意味役割付与 (Meza-Ruiz and Riedel 2009)を元に している，先に述べた通り，Meza-Ruizらは問題を四つの部分問題に分け，それに対して五つ の潜在述語 (isPredicate, isArgument, hasRole, role, sense) を定義している. しかし, 本研究で は, 先行研究 (Taira et al. 2008; Imamura et al. 2009) との比較のため, 項同定と意味役割付与 に限定して行っている. その結果, 表 1 の三つが本研究で定義する潜在述語となった.

項同定を固有の推定問題として扱うことには議論の余地がある。項同定は述語との組で定義 するべきで，isArg が単体で定義されるのは不自然と考えることもできる．しかし，固有表現抽出などにより同定される, 「人物・組織」といった名詞は, 高確率で何らかの述語の項となり,逆にどの述語とも結びつかないことが不自然である。そこで，項同定を一つの推定すべき問題 として定義することで，項として同定されるものが，孤立するような事象を避けるように解析を 行うのである。同様の議論は Meza-Ruiz らの研究でも見られ，英語においても項同定を一つの タスクとして扱うことで, 一定の性能向上が達成されることを彼らは報告している (Meza-Ruiz and Riedel 2009). ただ, isArg は role や delete と制約で結ばれるため, 学習・推論時に項同定が独立して解析されるわけではなく，項から述語に対する制約を与えるために定義した潜在述語であると捉えることもできる.

一方, 観測述語は潜在述語の推定のために利用される手がかりとなる情報を定義する．例え ば, $\operatorname{form}(i, w)$ は文節 $i$ が表層形 $w$ を持つことを表現する観測述語である. 観測述語で表され

表 1 潜在述語

表 2 観測述語

 & \\

る情報には, 表層形, 品詞, 固有表現など, 様々なものが考えられるため, 潜在述語に比べて その種類は多くなる。全ての観測述語は表 2 にまとめて示した.

潜在述語と観測述語が定義されれば，次はこれらの組み合わせによって論理式を考えていく ことになる.まずは isArg と role に着目し, その局所論理式と大域論理式について, それぞれ 4.2 節と 4.3 節で述べる. delete については 4.4 節でまとめて説明する.

## 4.2 局所論理式

局所論理式 (local formula) とは，潜在述語をただ一つしか含まない論理式のことである。一方，観測述語については任意の数含めることができる。即ち，一つの推定事項に対して，その 素性や制約の組み合わせを考える論理式となる.

isArg や delete に対する局所論理式は, 対象となる一つの文節について, 語彙的及び構文的な 特徴を捉えたものである. 例えば単語表層形に対する局所的な特徴を表現した論理式は次のよ うになる

$
\operatorname{form}(a,+w) \Rightarrow i s \operatorname{Arg}(a)
$

これは文節 $a$ が表層形 $w$ の単語を持つならば項であるということ表している. 尚, + という表現は, この論理式が表層形 $w$ にって別々に重み付けされることを示す.
role に対する局所論理式は，対象とする文節が二つあり，その間の特徴を捉えることになる.例えば,

$
n e(a,+n) \wedge \operatorname{dep}(p, a,+d) \Rightarrow \operatorname{role}(p, a,+r)
$

が表すのは, 文節 $a$ に対する固有表現と, 述語 $p$ と文節 $a$ の間の係り受け関係を組み合わせた 特徴である.この式 (3) と同様に, 表 2 にある goiMatch ${ }^{4}$, dep, pathの三つの観測述語は, 他 の観測述語と組み合わせで論理式を構築する.

式 (2) や式 (3) などの一階述語論理式は, Markov Network の素性テンプレートと考えること ができる. 即ち, 一つのテンプレートからは複数の基底論理式 (ground formula) が生成され,別々の重みがつくことになる。式 (2) が生成する基底論理式を, 図1の例から考えてみると,

$
\begin{gathered}
\operatorname{form}(a, \text { “昨日" }) \Rightarrow \operatorname{isArg}(a) \\
\operatorname{form}(a, \text { “図書館” }) \Rightarrow \operatorname{isArg}(a)
\end{gathered}
$

は，学習によってそれぞれ別の重みを獲得することになる。図 1 の事例から学習すれば，“図書館”は二格になり, “昨日”は項となっていないため, 式 (5) が式 (4) よりも大きな重みを獲得す るものと考えられる。このように, 論理式のもつ曖昧さは重みによって制御されるため, 曖昧 な制約でも記述することができるのである.

## 4.3 大域論理式

局所論理式で扱う素性は, 局所的な分類器でも捉えることできるが, Markov Logic ではさら に次のような記述も可能である.

$
i s \operatorname{Arg}(a) \Rightarrow \exists p . \exists r . \operatorname{role}(p, a, r)
$

これはある文節 $a$ が項であるならば, 少なくとも一つ以上の述語と関係があることを保証する 論理式である. 式 (6)のように, 二つ以上の潜在述語を持つ論理式のことを大域論理式と呼ぶ. この大域論理式を利用することで, 本研究のモデルは複数の決定を同時に行うことができるよ うになる. 即ち, isArg と roleの依存関係まで考慮して, 最適な状態を推定することが可能に なるのである. このような大域的な素性は, 局所的な分類器では捉えることが難しく, Markov Logic を利用する最大の利点となる.

本研究でisArg と role に対して定義する大域論理式は表 3 にまとめて示した. 表 3 にある大域論理式は全て hard 制約であり，潜在述語の間の一貫性を確保するための制約である．MLN

表 3 isArg と role のための大域論理式

の中で，hard 制約は無限の重みを持つ特別な論理式として定義されており，この制約に違反し た可能世界は決して解として選択されない. 例えば，式 (6) は isArg から roleへの一貫性を保証している。

role と isArg の一貫性を保つためにあるもう一つの論理式は,

$
\operatorname{role}(p, a, r) \Rightarrow i s \operatorname{Arg}(a)
$

であり，文節 $a$ が述語 $p$ の項となるならば，文節 $a$ は項であることを保証する.

残る大域論理式は,

$
\operatorname{role}\left(p, a, r_{1}\right) \wedge r_{1} \neq r_{2} \Rightarrow \neg \operatorname{role}\left(p, a, r_{2}\right)
$

のように二つ role 間の関係を表現したもので，述語 $p$ と項 $a$ の間には，ただ一つの意味役割し か成立しないことを保証している。これにより, 図 2 で示したような論理的矛盾を回避できる ことになる.

日本語述語項構造解析において, 大きな障害となるゼロ照応に対しては, 式 (6) と式 (8) が大 きく貢献できると予想される。つまり, 式 (8)は, ある述語において格が重複することを防ぐ ものであり, 式 (6)は, 述語との統語的な関係が弱い項候補であっても, 孤立する（どの述語 の格にもならない）ことが無いように，文全体の項候補に対して適切な述語と格の割り当てを 行うためのものである。これにより, 複数の述語に対して統語的関係の強い項候補が, 他の候補との依存関係を考えずに，格を独占してしまう状態を回避できるのである．

## 4.4 削除論理式

本節では項候補削減に関する論理式を解説する。項候補削減は, 述語と項に関係のない文節 を探索空間から削除することで, 効率的に項の同定を行うとともに, 精度の向上を狙うのが目的である。 どのような考えに基づいて項候補を削減するか，その具体例を図 3 に示した。この 例には，文末に “行った”という述語があり，その項候補となる文節が五つ存在する。この五つ の中から，正しい項として，文節“彼は”をガ格に，“図書館に”を二格に，それぞれ同定するの が述語項構造解析である。そして, 項候補削減は, 五つの候補から項を選ぶのではなく, 項に ならない候補を削除する。もしも“母の新しい車で”という抽出対象ではない具格を構成する句

図 3 具格を持つ述語項構造の例

を削除できたなら，残り二つの候補から正しい項を選ぶことは容易である。この項候補削減の 着想は文書自動要約の要素技術である文圧縮からきており, 近年, 係り受け関係を利用するこ とによって，文の統語構造を維持したままに適切な単語の削除を行い，文を圧縮する手法が提案されている。(Clarke and Lapata 2008; Huang, Shi, Jin, and Zhu 2012) 削除論理式のために 定義された delete は, このような文圧縮の手法を利用して, 述語と項にならない文節を削除す るために定義されたものである.

ただし, ここで重要なことは, 本研究ではこの項候補削減を前処理として行うのではなく, 項同定と同時に行っている点である。なぜなら，過剩な項候補の削減は，再現率を大幅に傷つけ ることになるからで，本研究ではこの現象を過剰削減と呼んでいる。項同定, 項候補削減, 意味役割付与の三つを同時に行うモデルを作ることにより，過剩削減を防いだ上で述語項構造解析の性能を改善している.

削除論理式にも局所論理式と大域論理式がある。まず, 局所論理式として, 次の式 (9)のよ うに，一つだけ hard 制約を導入する。

$
i s P r e d ~(i) \Leftrightarrow \neg \operatorname{delete}(i) .
$

これにより，述語になる文節は削除されないということを表現している。

残りの局所論理式については, 全て soft 制約で, 4.2 節で述べた isArg と同じ素性を使って定義している。例外は, 次の式 (10)で,

$
\operatorname{dep}(i, j,+d) \wedge i s \operatorname{Pred}(j) \Rightarrow \neg \operatorname{delete}(i)
$

これは述語と係り受け関係にある文節は削除しないという制約を表現している。一般に，述語項構造関係にある文節対の多くは統語構造的にも依存関係があることが知られている。表 5 に はコーパスの統計を示したが，述語項構造関係の多くが直接係り受け関係にあることが分かる. この制約も soft 制約であり，削除されないことを保証するわけではない．英語など，ラべルあ りの係り受け解析が行われる場合には，係り受けラベル $d$ によってその制約の強弱が重み付け される。しかし，日本語の係り受けラベルは，多くの場合 “D”になるため，ラベルによる強弱 の差は期待できない.

しかし，局所論理式は一つの文節に対して，それを削除するか否かという視点しか持つこと ができず，削減による十分な性能改善は期待できない. delete の追加により十分な効果を得る ためには，大域論理式の利用が必要になる.

delete のための大域論理式は，表 4 に示すように，三つの hard 制約と一つの soft 制約がある. この表 4 にある上の三つが, isArg 及び role との整合性を保証するための hard 制約である. 例 えば,

$
\operatorname{delete}(i) \Rightarrow \neg i s A r g(i)
$

この論理式は削除された文節は項とならないことを保証している.

表 4 にある最後の論理式は次の soft 制約として定義している，

$
\operatorname{form}(h,+w) \wedge \operatorname{pos}(h,+p) \wedge \operatorname{dep}(h, m,+d) \wedge \operatorname{delete}(h) \Rightarrow \operatorname{delete}(m)
$

これは，親（ヘッド）となる文節 $h$ が削除された時，それに依存した子文節 $m$ も同じく削除す るということを表した大域論理式である。この論理式は常に成り立つものではないが，コーパ スからの学習した重みによって緩和された制約となり，適切な削除が行われる。式 (12)による 制約の働きで，先に述べたような具格になる句の削除が実現される.

図 3 の例を考えてみると，式 (12) は次のように展開される.

$
\operatorname{form}(4, \text { “車で" }) \wedge \operatorname{pos}(4, \text { 名詞十助詞一格助詞 }) \wedge \operatorname{dep}\left(4,2, \text { “ } D^{\prime \prime}\right) \wedge \operatorname{delete}(4) \Rightarrow \operatorname{delete}(2)
$

これはつまり，“車で”が削除されたならば，“母の”も同じく削除されるということを表現し ている. soft 制約なので必ず保証される制約ではないが，割り当てられている重みに準じて削除が行われる。図 4 に示したのは，図 3 の文を解析して出力した係り受け木である。この木の 中では，式 (12)の制約によって，“車で” 以下の部分木に属する文節が全て削除されることに なる。本来, 係り受け木でこのような枝刈りを行う場合, 係り受けのラベルが大きな役割を果 たすことが多い，英語の文圧縮では，係り受けラベルを利用した単語・句の削除が行われてい

 &  \\

る (Clarke and Lapata 2008, 2010). しかし, 日本語ではほとんどのラベルが “D（通常の係り

表 4 大域削除論理式

図 4 係り受け木を利用した具格の削減

受け）”であり，他の “P（並列）”, “A（同格）”, “I（部分並列）”, といったラべルは数が 少なく, 連用修飾や連体修飾といった係り受け関係情報を持たないため, 係り受けラべル $d$ に よって式 (12)の重みを変えることが述語項構造解析に寄与しないと考える。その代替になるも のとして，表層形と品詞の組み合わせを利用している，例えば，式 (13)のように表層形が “車 で”になり, 品詞が “名詞” + “助詞一格助詞”ならば, 具格の可能性が高いので, 重みを大きく することになる。もし, 英語に本研究の削減手法を適用するのであれば, 係り受けのラべルを 利用するのが単純で効果的であろう.

## 5 実験と結果

## 5.1 実験設定

本研究の実験は, 先行研究である平ら (Taira et al. 2008) と今村ら (Imamura et al. 2009)の 実験設定を元にする。まずは実験に利用したデータ及びッールについて述べる．実験データは NAIST テキストコーパスで, この最新版はバージョン 1.5 であるが, 平ら及び今村らの実験設定に合わせるため, 本研究ではバージョン $1.4 \beta$ を選択し，そのニュース記事及び社説記事の両方を利用する．実験に際してこのデータを三つに分割する．訓練データとして，1月 1 日から 1 月 11 日までのニュース記事と, 1 月から 8 月までの社説記事を, 開発データとしては, 1 月 12 日と 1 月 13 日のニュース記事及び，9月の社説記事を，残りの 1 月 14 日から 17 日までのニュー ス記事と， 10 月から 12 月の社説記事を評価データとして利用するものとする。このデータの 分割方法は, 平ら (Taira et al. 2008)の方法と同じである.

次に評価データにおける統計を表 5 に示す。この表に示される通り，述語項関係の格ラベル

としては，ガ格が一番多いことが分かる。また， 2 章でも述べた通り，述語項関係の種類とし て，直接の係り受け関係にあるもの（直接係り受け）が，文内のゼロ照応関係にあるもの（ゼ 口照応 (文内)）よりも多い. しかしながら，日本語は英語などと比較すると，格の省略と呼ば れるゼロ照応が頻出することも確かであり，特にガ格では無視できない数となっている．述語項関係の種類について，より詳細な議論は (Iida, Inui, and Matsumoto 2006)にある.

日本語には文間の述語項関係も存在するが, 本研究で扱う述語項関係は, 文内のものに限ら れる．4 章で述べた通り，本研究で提案する Markov Logic を利用した手法は, 対象とする文全体で最適化を行うことで述語項関係を推定している。この全体最適化の枠組みは，計算量の点 で，文から文章へと単純に拡張することが難しい。このことが本研究では文間の述語項関係を 扱えなかった理由である，実験では，文内の最適化を正しく行うため，文間の述語項関係を含 む文については省いた上で，学習・開発・評価を行うものとする.

素性を抽出するため, 本研究では, 京都大学テキストコーパスの品詞夕グ及び係り受け夕グを 利用する. さらに，CaboCha バージョン $0.53^{5}$ を利用して，固有表現夕グを付与する。平ららの 研究を参考にし, 本研究でも選択選好の素性を扱うために, 日本語語彙大系 (Ikehara et al. 1997) を利用する，学習及び推定には，自然言語処理向けの Markov Logic エンジンである Markov thebeastを利用している.

## 5.2 実験結果

まず，表 6 に示したのは，大域的制約を利用したモデルと利用しないモデルの比較である．大域モデル (Global) が，大域的制約を利用したモデルであり，局所モデル (Local) が，大域的

表 5 評価デー夕における述語項関係の統計

表 6 局所モデル vs 大域モデル（潜在述語の正解率, 再現率, $\mathrm{F}$ 値）

制約を利用していないモデルである。ここで言う大域的制約とは， 4 章で示した表 3 と表 4 の 論理式のことである。表 6 には，潜在述語それぞれについて，精度 $(\mathrm{P})$, 再現率 $(\mathrm{R}), \mathrm{F}$ 值 $(\mathrm{F})$ を示した， F 值で評価すれば，局所モデルに比べて大域モデルは，全ての述語について性能が 改善されている。この改善はマクネマー検定により統計的に有意であることを確認した。大域 モデルが局所モデルよりも性能が良いということは，ただ大域的制約が有効というだけでなく，本研究で扱っている三つの部分問題, 項同定 (isArg), 項候補削減 (delete), 意味役割付与 (role) の間には相互関係があり，同時に解くことが述語項構造解析の性能改善に意味があるというこ とを示している。意味役割付与の結果で特に大きく改善したのは再現率で，より多くの述語項関係を抽出できるようになったことが分かる.

表 7 には，大域モデルに対して，isArg（項同定）を削除した時と，delete（項候補削減）を削除した時，それぞれの意味役割付与の結果がどのように変化するかを示してある.

この表 7 から, delete の削除は isArg よりも性能の低下が大きいことが分かる。また，isArg の削除が精度を下げるのに対し, deleteの削除は再現率を傷つけることも分かる. 両方の潜在述語を削除した時は，局所モデルと同じである.

次に，表 8 では，意味役割付与についてより詳細な結果を示す.この表では, 意味役割付与 の結果をガ格， ヨ格，二格，それぞれに分けて示し，直接係り受けか，文内ゼロ照応か，その 種類によっても分けている。示した数値は全て $\mathrm{F}$ 値である.

大域モデルは文内ゼロ照応において，局所モデルよりも性能が高いことが分かる．特にガ格 の文内ゼロ照応では， $42.1 \%$ から $54.1 \%$ に大きく改善している。この結果は，大域的制約によ り, 文全体での最適化を行ったことから導かれたものと考察できる。即ち, 直接係り受け関係 に無いということは，述語項間に構文的なつながりが薄いことを意味しており，局所的な素性 のみでその関係を捉えることは難しいのである。本研究の大域的制約は特にそのような場合に

表 7 潜在述語 (isArg, delete) を削除した時の意味役割付与 (role) の解析性能

表 8 先行研究との比較

おいて大きな性能改善を実現している.

続いて先行研究である平ら及び今村らの結果との比較を行う。この表 8 には, 格ごとに最も 高い性能の数値を太字で示してある。 ガ格では，本研究の大域モデルが二つの先行研究の結果 を圧倒している。一方, ヲ格とニ格では, 本研究の結果は相対的に低い数値となっている。本研究の提案手法は，三つの格を一つのモデル（大域モデル）で扱うため，ヲ格と二格よりも数の 多いガ格を多く同定し，出力するのである。しかしながら，ガ格は一般に必須格と呼ばれ，述語項構造解析で最も重要な格であることが知られている。従って, 先行研究に比べ，その必須格 を多く正確に抽出できる本研究の提案手法の意義は大きいと考えられる．本研究では，今村ら のように大規模データを利用していないが, 彼らのシステムと同等以上の結果を達成している.

## 誤り分析

ここで示した例文では，三つの述語（網掛け）と三つの項（下線付き）がある。関係節を伴 うために述語項関係が複雑で, システムにとって間違い易い事例である.

局所モデルでこの文を解析した場合, 出力される述語項関係 (role) は,

$
\begin{aligned}
& \{\operatorname{role}(5,6, \text { ガ }), \operatorname{role}(5,4, \text { Э) }, \operatorname{role}(8,6, \text { ガ }), \\
& \operatorname{role}(11,2, \text { ガ }), \operatorname{role}(11,10, \text { Э) })\}
\end{aligned}
$

まず，誤りとして挙げられる点は，“捕獲した”のヲ格が出力されていないことである。この 理由は, NAIST テキストコーパスが格フレーム辞書を持っていないため, “捕獲した”という述語が一般にチ格を取ることが分からないからである.

もう一つの誤りは, 下線のついている role $(11,2$, ガ)のように, “空輸”という述語に対し, “ ため”をガ格として出力していることである。この理由は，“ため”が “空輸”と直接係り受けの 関係にあるからである.

一方，大域モデルで解析した結果を見ると，次のように改善されている。

$
\begin{aligned}
& \{\operatorname{role}(5,6, \text { ガ }), \operatorname{role}(5,4, \text { ヲ), role }(8,6, \text { ガ }), \\
& \underline{\operatorname{role}}(8,10, \text { Э)}, \operatorname{role}(11,6, \text { ガ }), \operatorname{role}(11,10, \text { Э) }\} .
\end{aligned}
$

大域モデルは，格フレーム情報など意味的な素性が少ないにも関わらず，“十二匹を”を“捕獲した”のヲ格として同定できている。この述語項関係は連体修飾である関係節と被修飾名詞 との間に格関係が認められる「内の関係」と呼ばれるものであり，一般に同定することが難し い. 阿辺川らは，連体修飾節と非修飾名詞が格関係にあるかどうかを判別するために，大規模

データを利用している (Abekawa and Okumura 2005). しかし, Markov Logic を利用した本研究の提案手法では，文内の全体最適化でそれを実現している。

さらに言えば，大域モデルでは, $\{$ delete(1), delete(2), delete(7)\}も出力されており, “この” と“ため”はともに項の候補になっていない，結果として，“魚類野性動物局が”を正しく“空輸”に対するガ格として抽出できているのである.

## 6 おわりに

本稿では, Markov Logic を利用した日本語述語項構造解析手法を提案した。この提案手法は,複数の述語項関係の依存関係を捉える制約と，項候補削減を行う制約を組み合わせて文内最適化を行うもので，これらの大域的制約により，述語項構造解析の性能を大幅に向上させること に成功した．実験では，大規模デー夕を利用していないにもかかわらず，先行研究と同等の性能を達成している.

今後の展望としては, 今村らの研究を参考に，大規模データの併用して，さらに解析性能を 向上させることを考えている．大規模データから得られた選択選好性の素性は, 本研究では先行研究に比べて性能が低かったチ格，ニ格について，特に性能の改善が期待できる．また，今回は項候補を削減する際に，文内の局所的な素性・制約を考えるに留まったが，より正確に不要な項候補を削減できるようにするため, 現在, 文圧縮の技術についても調査を進めている.

本研究の提案手法は文内最適化を主軸としたため, 直接係り受けと文内ゼロ照応の 2 種類の 述語項構造のみを扱った。つまり，文間ゼロ照応を含む一般の文書に対して解析を行った場合，本研究の手法のままでは性能が低下することが予想される．NAIST テキストコーパス中におい て, 文間ゼロ照応が述語項関係全体に占める割合は， 格及び二格では $3 \%$ 未満に留まるが，ガ 格の場合には $15 \%$ 程度になり，無視できない数となる (Iida et al. 2007). 本研究の提案手法の 優位性を保ったまま文間ゼロ照応を扱うために考えられる方法として，次の一つが有力だと考 えている。

（1）文間ゼロ照応の項候補を別システムで抽出し，その候補を含めて文内最適化を行う

(2) 文書全体での最適化を行う

まず，一つ目はゼロ照応があると仮定した時の，文外にある先行詞候補を常にリストの形式で 保持しておき, 文内の解析を行う際に，そのリスト内の候補を含めて解析を行う手法である. これはゼロ照応解析の先行詞同定では有効な手法 (Iida, Inui, and Matsumoto 2009) であり, 広大な先行詞の探索空間を大幅に削減して, 効率的な解析を行える手段であると考える．ただし，文内の項候補に比べて，文外の項候補には利用できる素性が大幅に少なくなるため，推論時に は文内と文外でバランスを取る必要があるものと考える.

二つ目の手法は文内の最適化を，文書全体へと拡張する手法であるといえる。この手法の最
大の問題点は文書全体が項の探索空間になることによる膨大な計算量である. 現在の文書最適化手法を単純に拡張するだけでは時間・空間計算量共に実用的な範囲には収まらない。従って， この手法を実現するためには，文圧縮・文書要約の技術を併用することで，可能な限りに項の 探索空間を削減すると共に，制約緩和などの近似手法を併用することも必要と考えられる．

## 謝 辞

本研究の一部は, 国立国語研究所基幹型共同研究「コーパスアノテーションの基礎研究」お よび国立国語研究所「超大規模コーパス構築プロジェクト」による補助を得ています.

## 参考文献

Abekawa, T. and Okumura, M. (2005). "Corpus-Based Analysis of Japanese Relative Clause Constructions." In Proceedings of 2nd International Joint Conference on Natural Language Processing (IJCNLP), pp. 46-57, Jeju Island, Korea.

Clarke, J. and Lapata, M. (2008). "Global Inference for Sentence Compression An Integer Linear Programming Approach." Journal of Artificial Intelligence Research, 31, pp. 399-429.

Clarke, J. and Lapata, M. (2010). "Discourse constraints for document compression." Computational Linguistics, 36 (3), pp. 411-441.

Fillmore, C. J., Wooters, C., and Baker, C. F. (2001). "Building a Large Lexical Databank Which Provides Deep Semantics." In Proceedings of the Pacific Asian Conference on Language, Information and Computation (PACLIC), pp. 3-26, Hong Kong.

Hajič, J., Ciaramita, M., Johansson, R., Kawahara, D., Martí, M. A., Màrquez, L., Meyers, A., Nivre, J., Padó, S., Štěpánek, J., Straňák, P., Surdeanu, M., Xue, N., and Zhang, Y. (2009). "The CoNLL-2009 Shared Task: Syntactic and Semantic Dependencies in Multiple Languages." In Proceedings of the Thirteenth Conference on Computational Natural Language Learning (CoNLL 2009): Shared Task, pp. 1-18, Boulder, Colorado. Association for Computational Linguistics.

Huang, M., Shi, X., Jin, F., and Zhu, X. (2012). "Using First-Order Logic to Compress Sentences." In Twenty-Sixth AAAI Conference on Artificial Intelligence (AAAI'12), pp. 1657-1663.

Iida, R., Inui, K., and Matsumoto, Y. (2006). "Exploiting syntactic patterns as clues in zeroanaphora resolution." In Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics, ACL-44, pp. 625-632, Stroudsburg, PA, USA. Association for Computational Linguistics.

Iida, R., Inui, K., and Matsumoto, Y. (2009). "Capturing Salience with a Trainable Cache Model for Zero-anaphora Resolution." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 647-655, Suntec, Singapore. Association for Computational Linguistics.

Iida, R., Komachi, M., Inui, K., and Matsumoto, Y. (2007). "Annotating a Japanese text corpus with predicate-argument and coreference relations." In Proceedings of the Linguistic Annotation Workshop, LAW '07, pp. 132-139, Stroudsburg, PA, USA. Association for Computational Linguistics.

Ikehara, S., Miyazaki, M., Shirai, S., Yokoo, A., Nakaiwa, H., Ogura, K., Ooyama, Y., and Hayashi, Y. (1997). Nihongo Goi Taikei, A Japanese Lexicon. Iwanami Shoten, Tokyo.

Imamura, K., Saito, K., and Izumi, T. (2009). "Discriminative Approach to Predicate-Argument Structure Analysis with Zero-Anaphora Resolution." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP (ACL-IJCNLP), Conference Short Papers, pp. 85-88, Suntec, Singapore. Association for Computational Linguistics.

Kawahara, D., Kurohashi, S., and Hashida, K. (2002). "Construction of Japanese relevancetagged corpus." In the 8th Annual Meeting of the Association for Natural Language Processing, pp. 495-498.

Koller, D. (1999). Probabilistic Relational Models, pp. 3-13. Springer, Berlin/Heidelberg, Germany.

Meza-Ruiz, I. and Riedel, S. (2009). "Jointly Identifying Predicates, Arguments and Senses using Markov Logic." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 155-163, Boulder, CO, USA. Association for Computational Linguistics.

Ng, R. and Subrahmanian, V. S. (1992). "Probabilistic logic programming." Inf. Comput., 101 (2), pp. 150-201.

Palmer, M., Kingsbury, P., and Gildea, D. (2005). "The Proposition Bank: An Annotated Corpus of Semantic Roles." Computational Linguistics, 31, pp. 71-106.

Poon, H. and Domingos, P. (2007). "Joint Inference in Information Extraction." In Proceedings of the Twenty-Second National Conference on Artificial Intelligence, pp. 913-918, Vancouver, Canada. AAAI Press.

Poon, H. and Domingos, P. (2008). "Joint Unsupervised Coreference Resolution with Markov Logic." In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 650-659, Honolulu, Hawaii. Association for Computational Linguistics.

Singla, P. and Domingos, P. (2006). "Entity Resolution with Markov Logic." In Proceedings of
the Sixth International Conference on Data Mining (ICDM), pp. 572-582, Washington, DC, USA. IEEE Computer Society.

Taira, H., Fujita, S., and Nagata, M. (2008). "A Japanese predicate argument structure analysis using decision lists." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 523-532, Honolulu, HI, USA. Association for Computational Linguistics.

Taskar, B., Pieter, A., and Koller, D. (2002). "Discriminative Probabilistic Models for Relational Data." In Proceedings of the 18th Annual Conference on Uncertainty in Artificial Intelligence (UAI-02), pp. 485-492, San Francisco, CA. Morgan Kaufmann.

Toutanova, K., Haghighi, A., and Manning, C. D. (2008). "A global joint model for semantic role labeling." Computational Linguistics, 34, pp. 161-191.

Watanabe, Y., Asahara, M., and Matsumoto, Y. (2010). "A Structured Model for Joint Learning of Argument Roles and Predicate Senses." In Proceedings of the ACL 2010 Conference Short Papers, pp. 98-102, Uppsala, Sweden. Association for Computational Linguistics.

## 略歴

吉川 克正：2005 年東北大学工学部材料加工学科卒業． 2006 2007 年アイダホ 大学計算機科学科. 2009 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了． 2011 年同大学情報科学研究科博士後期課程修了. 同年より日本学術振興会特別研究員. 2011 2012 年東京工業大学精密工学研究所. 2012 年日本アイ・ビー・エム株式会社入社．同社東京基礎研究所にて自然言語処理の研究開発に従事. 博士 (工学).

浅原 正幸：2003 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2004 年より同大学助教. 2012 年より国立国語研究所コーパス開発セン ター特任准教授．現在に至る．博士（工学）．自然言語処理・コーパス言語学 の研究に従事.

松本裕治：1977 年京都大学工学部情報工学科卒業. 1979 年同大学工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. 1984 1985 年英国 インペリアルカレッジ客員研究員. 1985～1987 年財団法人新世代コンピュー 夕技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授. 現在に至る. 工学博士. 専門は自然言語処理.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# カテゴリ間の兄弟関係を活用した集合拡張
## 高瀬 翔 $\dagger$ ・岡崎 直観 $\dagger,+\dagger$ ・乾 健太郎 $\dagger$

## 集合拡張手法の多くはシードインスタンスだけを手掛かりに新たなインスタンスを 取得するものであり，対象が複数のカテゴリであっても，各カテゴリのインスタン スの収集を独立に行う。しかし，複数カテゴリを対象にした集合拡張ではカテゴリ 間の関係など，シードインスタンスとは別の事前知識も利用できる。本研究ではこ のようなカテゴリ間の関係，特に兄弟関係を事前知識として活用した集合拡張手法 を提案する。 さらに, Wikipedia から半自動で抽出したインスタンスと兄弟関係を 事前知識として実験を行い，兄弟関係が集合拡張に有用であることを示す。 \\ キーワード：知識獲得，集合拡張，ブートストラッピング，意味ドリフト \\ Set Expansion Using Sibling Relationships Between Semantic Categories

\author{
Sho TAKASE $^{\dagger}$, NAOAKI OKazaKI ${ }^{\dagger, \dagger \dagger}$ and Kentaro Inui ${ }^{\dagger}$
}

\begin{abstract}
Most set expansion algorithms are assumed to independently acquire new instances of each of the different semantic categories even when instances of multiple semantic categories are seeded. However, in the setting of set expansion with multiple semantic categories, we might leverage other types of prior knowledge about semantic categories. In this paper, we present a method of set expansion in case ontological information related to target semantic categories is available. Specifically, the proposed method uses sibling relationships between semantic categories as an additional type of prior knowledge. We demonstrate the effectiveness of using sibling relationships in set expansion on a dataset in which instances and sibling relationships are extracted from Wikipedia in a semi-automatic manner.
\end{abstract}

Key Words: Knowledge acquisition, Set expansion, Bootstrapping, Semantic drift

## 1 はじめに

自然言語の理解に向けて，常識的知識の獲得が重要である．特に意味カテゴリに属する固有表現のリストは，質問応答 (Wang and Cohen 2009), 情報抽出 (Mintz, Bills, Snow, and Jurafsky 2009)，語義曖昧性解消 (Pantel and Lin 2002)，文書分類 (Pantel, Crestan, Borkovsky, Popescu, and Vyas 2009), クエリ補完 (Cao, Jiang, Pei, He, Liao, Chen, and Li 2008) など様々なタスク

で有用である，固有表現リストを人手で構築すると多大なコストがかかるうえ，新しい実体や 概念に対応できないため, 固有表現リストを（半）自動的に獲得する方法が研究されてきた.

集合拡張はある意味カテゴリに属する既知の固有表現の集合を入力とし，その意味カテゴリ の未知の固有表現を獲得するタスクである。例えば「プリウス」，「レクサス」，「インサイト」と いう自動車カテゴリの固有表現から，「カローラ」，「シビック」，「フィット」のように自動車力 テゴリに属する固有表現を新たに獲得する。なお本論文では，意味カテゴリに属する固有表現 をその意味カテゴリのインスタンスと呼び，特に入力として与えるインスタンスをシードイン スタンスと呼ぶ.

集合拡張には通常，ブートストラッピング手法を用いる (Hearst 1992; Yarowsky 1995; Abney 2004; Pantel and Ravichandran 2004; Pantel and Pennacchiotti 2006). ブートストラッピング手法とはシードインスタンスを用いて新たなインスタンスを反復的に獲得する手法である. ブー トストラッピング手法では，まず，コーパス中でシードインスタンスと頻繁に共起するパター ンを獲得する．例えば自動車カテゴリについて「プリウス」や「レクサス」のようなシードイ ンスタンスから「トヨタの $\mathrm{X} 」$ やハイブリッド車の $\mathrm{X} 」$ （X は名詞句を代入する変数）のよう なパターンが得られる。次にこれらのパターンと頻繁に共起するインスタンス，すなわち，パ ターンの変数 X 部分に多く現れる名詞句を獲得する。例えば「トヨタのX」というパターンか らトヨタの自動車製品を表す語が得られる。次に新たに得られたインスタンスをシードインス タンスに加え, 再びパターンの獲得を行う。ブートストラッピング手法はこのようにパターン の獲得とインスタンスの獲得を繰り返し行うことにより, 少数のシードインスタンスから大規模なインスタンス集合を獲得する。

しかしブートストラッピング手法はシードインスタンス集合とは無関係なインスタンスを獲得してしまう場合もある。これは対象とする意味カテゴリのインスタンス以外とも共起するパ ターンによって引き起こされる。例えば「プリウス」や「レクサス」といったシードインスタ ンスから「新型の X」というパターンを獲得したとすると, このパターンを用いることにより, $\lceil\mathrm{iPad} 」$ やThinkPad」のようなシードとは無関係なインスタンスを抽出してしまう．ブート ストラッピング手法において, 対象とする意味カテゴリとは無関係なインスタンスを獲得して しまう現象を意味ドリフトと呼ぶ (Curran, Murphy, and Scholz 2007). 意味ドリフトはブート ストラッピング手法において非常に重大な問題である.

ブートストラッピング手法は意味カテゴリに関する事前知識をシードインスタンスという形 で受け取っている. しかしながら, シードインスタンスのみで意味カテゴリを正確に表現するこ とは難しく，意味ドリフトが引き起こされる。一方，事前知識として，Wikipedia における意味 カテゴリ間の上位下位・兄弟関係に見られるように, シードインスタンス以外の知識を得られる 場合がある．例えば人カテゴリに属するインスタンスは男優と女優カテゴリに同時に属するこ とはできないという知識や, 自動車と自動二輪カテゴリという 2 つの異なったカテゴリが共通の
特徴 (例: 乗り物, ガソリン式, 陸上) と異なる特徴（例：タイヤの数, 窓の有無）を持つというよ うな知識が入手できる。近年，テキストに非明示的な情報を推論するため, Machine Reading project (Etzioni, Banko, and Cafarella 2006)に見られるように大規模なテキストコーパスを利用し，ありとあらゆる種類の語彙知識を獲得しようとする研究が盛んである。意味カテゴリの インスタンスの収集においても， Carlson ら (Carlson, Betteridge, Kisiel, Settles, Hruschka Jr., and Mitchell 2010a)のように，複数のカテゴリを対象として同時に収集を行う需要が高まって いる。このような場合には, シードインスタンス以外に, 意味カテゴリ間の関係も事前知識と して利用できると考えられる。

本研究では, 複数の意味カテゴリを対象とした集合拡張において, 事前知識として意味カテ ゴリ間の兄弟関係を活用する手法を提案する，評価実験では，Wikipedia から抽出したインス タンスと兄弟関係を事前知識として集合拡張を行い, 兄弟関係の知識が有用であることを示す.

本論文の構成は以下の通りである。2 節では本研究のベースライン手法である Espresso アル ゴリズムを概説する。また，この節では意味ドリフト問題とその対処法に関する先行研究を紹介する． 3 節では意味カテゴリの兄弟関係を追加の事前知識として活用する手法を提案する．4 節では提案手法の効果を実験で検証し，考察を行う。最後に 5 節で本論文の結論を述べる.

## 2 関連研究

## 2.1 Espresso アルゴリズム

Espresso (Pantel and Pennacchiotti 2006) は, パターンの取得とインスタンスの取得の 2 つの ステップを反復する集合拡張アルゴリズムである。 パターンの取得とインスタンスの取得は共 に，コーパスからの候補の抽出と，候補のランキングという同じ手順にもとづいている。候補 の抽出では既に獲得したインスタンスと共起するパターン, 既に獲得したパターンと共起する インスタンスを抽出する。候補のランキングでは候補インスタンス／パターンのスコアを計算 し，上位 $N$ 個の候補を採用する。 Espresso アルゴリズムでは候補パターン $p$ のスコア $r_{\pi}(p)$ と 候補インスタンス $i$ のスコア $r_{\iota}(i)$ を，それぞれ式 (1) と式 (2) で計算する.

$
\begin{gathered}
r_{\pi}(p)=\frac{1}{|I|} \sum_{i \in I} \frac{\operatorname{pmi}(i, p)}{\operatorname{maxpmi}} r_{\iota}(i) \\
r_{\iota}(i)=\frac{1}{|P|} \sum_{p \in P} \frac{\operatorname{pmi}(i, p)}{\max } \operatorname{pmi} r_{\pi}(p) \\
\operatorname{pmi}(i, p)=\log _{2}\left(\frac{|i, p|}{|i, *||*, p|} \times \operatorname{discounting~factor}\right) \\
\text { discounting factor }=\frac{|i, p|}{|i, p|+1} \times\left(\frac{\min (|i, *|,|*, p|)}{\min (|i, *|,|*, p|)+1}\right)
\end{gathered}
$
$P$ と $I$ は各カテゴリにおけるパターンとインスタンスの集合である。 $|P|$ と $|I|$ はそれぞれ集合 $P$ と $I$ に含まれるパターンとインスタンスの数である. $|i, *|$ と $|*, p|$ はインスタンス $i$ とパ ターン $p$ のコーパス中での出現頻度であり, $|i, p|$ はインスタンス $i$ とパターン $p$ の共起頻度であ る. すなわち, 式 (3)における右辺第 1 項はインスタンス $i$ とパターン $p$ の自己相互情報量であ る. 自己相互情報量は単語間の相関の指標として一般的であるが，めったに出現しない単語に対 して値が大きくなってしまうという問題がある. これに対処するため, Pantel と Ravichandran は式 (4) に示される discounting factor を導入した (Pantel and Ravichandran 2004). また, $\max$ pmi はカテゴリ内のすべてのインスタンスとパターンの pmi の最大值である. なお, 初期值と してシードインスタンスのスコアは 1.0 とする.

Espresso アルゴリズムの動作を説明する。始めに，シードインスタンスと共起するパターン を候補として抽出する。次に，式 (1)で候補パターンのスコアを計算し，上位 $N$ 個のパターン を獲得することで，対象とする意味カテゴリに対応するパターンを獲得する．インスタンスの 獲得については，獲得したパターンと式 (2)を用い, 上記の手順をパターンとインスタンスを 逆にして行うことで達成する。 すなわち, 獲得したパターンと共起するインスタンスを候補と して抽出し, 式 (2) で高スコアのパターンとよく共起するインスタンスを獲得する.

## 2.2 意味ドリフト

ブートストラッピング手法においてシードとは無関係なインスタンスを獲得してしまい, 対象とするカテゴリから逸脱してしまう現象を意味ドリフトと呼ぶ (Curran et al. 2007). 例とし て，「プリウス」や「レクサス」をシードインスタンスとして持つ自動車カテゴリについて考え る. Espresso アルゴリズムは何回か反復を行うと「Xの性能」や「新型のX」など多くのカテ ゴリのインスタンスと共起するパターン（ジェネリック・パターン）を得る。これらのパター ンを用いてインスタンスの収集を行うと，「iPad」や「ThinkPad」のようなインスタンスが抽出され得る. これらは対象とする意味カテゴリの特徴を備えておらず，シードが表そうとして いる意味カテゴリとは無関係なインスタンスである。しかしながら，これらの間違ったインス タンスを獲得してしまうことで，アルゴリズムの取得するパターンは元々の想定からかけ離れ たものになってしまう。

また意味ドリフトは多義性のある語によっても引き起こされる．例えば自動車メーカーのシー ドとして「サターン」や「スバル」を与えた場合，ブートストラッピング手法は「木星」や「天王星」のような星カテゴリに属するインスタンスを獲得してしまう。これは「サターン」や「ス バル」に多義性があり, 自動車メーカーだけでなく天体（惑星や恒星）も表す語だからである.

小町ら (小町, 工藤, 新保, 松本 2010) は Espresso アルゴリズムをグラフ解析の観点から分析することで，ブートストラッピング手法において，意味ドリフトが本質的には回避できない 問題であることを示した.

## 2.3 g-Espresso アルゴリズム

小町ら (小町他 2010) は Espresso アルゴリズムをグラフ解析として定式化し, さらに意味ド リフトへの対処として, グラフカーネルの適用を提案した. 彼らはまず, Espresso アルゴリズ ムを行列計算によって定式化した。なお，ここでは Espresso アルゴリズムにおける，毎回の反復において上位 $N$ 個の候補を獲得する，というステップが省略されており，全パターンと全イ ンスタンスにスコアを付与する形になっている。インスタンスとパターンの共起行列を $M$ と し，その $(p, i)$ 要素 $[M]_{p i}$ は式 (3)の pmi を用いて，

$
[M]_{p i}=\frac{\operatorname{pmi}(i, p)}{\max \operatorname{pmi}}
$

とする。また，シードインスタンスに対応する位置の要素は 1 ，それ以外の要素は 0 である， $|I|$次元のベクトルをシードベクトル $i_{0}$ とする.

このとき， $n$ 回目の反復におけるパターンへのスコアの付与は, $p_{n}=M i_{n}$ を計算した後に $p_{n} \leftarrow p_{n} /|I|$ として正規化する操作に対応する. 同様に，インスタンスへのスコアの付与は, $i_{n+1}=M^{T} p_{n}$ を計算した後に $i_{n+1} \leftarrow i_{n+1} /|P|$ として正規化する操作に対応する. したがっ て, $n$ 回目の反復後に得られるインスタンスのスコアベクトル $i_{n}$ は, 式 (6) と書ける.

$
\begin{gathered}
\boldsymbol{i}_{\boldsymbol{n}}=A^{n} \boldsymbol{i}_{\mathbf{0}} \\
A=\frac{1}{|I||P|} M^{T} M
\end{gathered}
$

$I$ をノード集合, $A$ を隣接行列とした重み付き無向グラフ $G$ を考えると, 反復におけるインス タンスのスコアの更新は，シードインスタンスのスコアがグラフ上を伝播していく過程と見な すことができる。よって，グラフカーネルによりこの過程を形式化することが可能である.

小町ら (小町他 2010) はジェネリック・パターンの影響を減らし, 意味ドリフトを抑制する ために，正則化ラプラシアンカーネル (Smola and Kondor 2003) を用いた. まず， グラフGの ラプラシアン $L$ を式 $(8)$ によって求める.

$
\begin{gathered}
L=D-A \\
{[D]_{i, i}=\sum_{j}[A]_{i j}}
\end{gathered}
$

次に，正則化ラプラシアンカーネルを式 (10) で計算する.

$
R_{\beta}(A)=A \sum_{n=0}^{\infty} \beta^{n}(-L)^{n}=(I+\beta L)^{-1}
$

正則化ラプラシアンカーネルはそれぞれのノードに対し, 次数に応じて接するエッジの重みを 減ずる．このため，ジェネリック・パターンの影響を低く抑えることができる．萩原ら (萩原,
小川，外山 2011)はこのグラフ理論によって再定式化した Espresso アルゴリズムを g-Espresso と呼び，集合拡張において意味ドリフトを抑制する効果があることを示した.

## 2.4 意味ドリフトへの対処

意味ドリフトの影響を軽減するために, 小町ら (小町他 2010) や萩原ら (萩原 他 2011)の 手法に加え, シードインスタンス集合の洗練 (Vyas, Pantel, and Crestan 2009), 分類器の使用 (Bellare, Talukdar, Kumaran, Pereira, Liberman, Mccallum, and Dredze 2007; Sadamitsu, Saito, Imamura, and Kikui 2011; Pennacchiotti and Pantel 2011), 人間の判断の導入 (Vyas and Pantel 2009), 意味カテゴリ間の関係の活用 (Curran et al. 2007; Carlson, Betteridge, Wang, Hruschka Jr., and Mitchell 2010b) など様々な手法が提案されている.

Vyas らはブートストラッピング手法におけるシードインスタンスの影響を調査した (Vyas et al. 2009). その結果，専門家でない人の選んだシードインスタンス集合はランダムに選択し たものよりも結果が悪くなる可能性があることを示した。また彼らは，人手で作成されたシー ドインスタンス集合を洗練し，集合拡張の性能を向上させる手法を提案した.

Bellare らはブートストラッピング手法のランキング時にスコア関数の代わりに分類器を使用 する手法を提案した (Bellare et al. 2007). 分類器を用いる手法はインスタンスのランキング時 にパターン以外の素性を使うためである. Sadamitsu らは Bellare らの手法 (Bellare et al. 2007) を拡張し, Latent Dirichlet Allocation (LDA) から推定されるトピック情報を素性として使用 する手法を提案した (Sadamitsu et al. 2011). 彼らはまた，意味的に近いカテゴリの情報を与 え, LDA のトピックの粒度を調整する手法も提案している (Sadamitsu, Saito, Imamura, and Matsuo 2012). Pennacchiotti と Pantel は分類器のためのトレーニングデータを自動で収集する 手法を提案した (Pennacchiotti and Pantel 2011). しかしながら,これらの研究は複数の意味カ テゴリに対して同時に集合拡張を行うことを想定しておらず， 1 節で説明したような，意味カ テゴリ間の関係知識の利用を考慮していない.

Vyas と Pantel は意味ドリフトの原因となったパターンを検出し，それを削除する手法を提案した (Vyas and Pantel 2009). 彼らは意味ドリフトを防ぐため, ブートストラッピング手法 の反復に人間の正否判定を取り入れた. 彼らの手法では, 人手によって誤りインスタンスが発見された場合，その誤りインスタンスとそれを獲得する原因となったパターンを除去する。ま た，同様の誤りを防ぐため，誤りインスタンスと類似した文脈ベクトルを持つインスタンスも 除去する。彼らもカテゴリ間の関係のような事前知識は使用していない.

Curran らはブートストラッピング手法にカテゴリ間の排他制約を導入した, Mutual Exclusion Bootstrapping という手法を提案した (Curran et al. 2007). Mutual Exclusion Bootstrapping は, インスタンスやパターンの属するカテゴリはたた 1 つであるという制約を取り入れたものであ る。複数のカテゴリに出現するインスタンスやパターンには曖昧性があり，意味ドリフトの原
因になると考えられる。そこで，曖昧性のあるインスタンスやパターンを除去することにより，彼らの手法は高い精度を達成した。

同じく排他関係を使用する手法として Carlson らは Coupled Pattern Learner (CPL) アルゴリ ズムを提案した (Carlson et al. 2010b). CPL アルゴリズムは意味カテゴリのインスタンス (例 :自動車カテゴリのインスタンス）と関係インスタンス（例：CEO-of-Company という関係に対 する (Larry Page, Google) や Company-acquired-Company に対する (Google, Youtube)）を同時に収集する手法である。CPL アルゴリズムはこれらのインスタンスを取得するために，カテ ゴリ間の排他関係とカテゴリ間の意味的関係（例：CEO カテゴリのインスタンスは会社カテゴ リに属するインスタンスのうちいずれかの CEO である）を使用する。しかしながら，カテゴリ 間の意味的関係は関係インスタンスの取得にしか用いられておらず，意味カテゴリのインスタ ンスについては複数カテゴリに対する排他制約という事前知識しか用いていない.

Curran ら (Curran et al. 2007) と Carlson ら (Carlson et al. 2010b) はどちらも事前知識とし てシードインスタンスだけではなくカテゴリ間の排他関係も利用している。しかし，意味カテ ゴリ間には上位下位や兄弟関係など排他関係以外の関係も存在する。兄弟関係は共通の特徴を 持つべきであるカテゴリについての知識であり，排他関係という，インスタンスが同時に属さ ないカテゴリに関する知識とは別種のものである。兄弟関係についての知識は Wikipediaのよ うな既存のリソースから容易に取得することができるため, 事前知識として利用しやすい. 本研究では，既存のリソースから入手できるカテゴリ間の兄弟関係に関する知識を事前知識とし て集合拡張に導入し，その有用性を検証する。

## 3 提案手法

## 3.1 兄弟カテゴリのパターンによるフィルタリング

本節では，意味カテゴリ間の兄弟関係を事前知識として活用する手法を提案する．以降では，兄弟関係にあるカテゴリの集合を兄弟グループと呼ぶこととする．例えば，自動車と自動二輪 のカテゴリは兄弟関係にあるため, 同一の兄弟グループに属する，本研究では, 同一の兄弟グ ループに含まれるインスタンスは共通の特徴を保有していると仮定する. 例えば，自動車と自動二輪の兄弟グループに含まれるインスタンスは「乗り物」や「ガソリン式」という特徵を持 ち,「乗る」や「燃費」などの語と係り受け関係を持ちやすい.この兄弟グループに共通の特徴 を持っていないインスタンスは，正しいインスタンスである可能性が低いと考えられる。その ため，提案手法は兄弟グループのシードインスタンス集合を利用して兄弟グループに共通の特徵を取得し, グループ内の候補インスタンスがこの共通の特徴を保有しているか否かを検証す ることで，誤ったインスタンスの獲得を防ぐ.

同一の兄弟グループに属する自動車と自動二輪カテゴリについて，提案手法を用いて集合拡

図 1 兄弟関係を活用した集合拡張

張の際の誤りインスタンスを除去する例を図 1 に示す。提案手法はまず，この兄弟グループの インスタンスに共通の特徴として,「乗る」や「燃費」という表現と係り受け関係を持ちやすい という知識を得る。既存のブートストラッピング手法では，自動車カテゴリにおいて「新型の $\mathrm{X}\rfloor$ というパターンを獲得してしまった場合, シードや兄弟グループとは無関係のインスタン スである「iPad」を除去することができない。これに対して，提案手法では候補インスタンス が「乗る」や「燃費」と係り受け関係にある文節に出現しているかを，インスタンスの獲得（厳密には候補のランキング）の前に検証することによって，「iPad」のような誤りインスタンスを 取り除くことができる。この結果, 提案手法は「カムリ」のような兄弟グループに共通する特徵を持つインスタンスのみを獲得する。

ここで, 兄弟グループに共通の特徴が, 対象とする意味カテゴリ以外も包含してしまうと, 意味ドリフトが発生してしまう．これを防ぐために，兄弟グループ間は排他関係にあるとし，兄弟グループに共通の特徴は対象としている兄弟グループに固有の特徴とする.

本研究では兄弟グループに共通の特徴は「乗る」や「燃費」などの表現によって表されると仮定する。このような表現をフィルタパターンと呼ぶ。提案手法では，候補インスタンスがフィ ルタパターンと共起しているか, すなわち, 候補インスタンスがフィルタパターンと係り受け 関係にある文節に出現しているかの検証を行うことで，インスタンスが兄弟グループに共通の 特徴を保有しているかを確認する。この確認はインスタンスの獲得の直前に行い, 候補インス タンスの抽出法については, 既存の手法を用いる。 すなわち, 提案手法は Espresso アルゴリズ ムや g-Espresso などの既存手法と組み合わせて利用することができる.

## 3.2 Espresso アルゴリズムをベースとした手法

Espresso アルゴリズムを利用し，図 1 のアイディアをアルゴリズムとして記述したものが Algorithm 1 である. このアルゴリズムは入力として対象とするカテゴリの集合 $C, S_{1}$ から $S_{T}$

までの兄弟グループ，それぞれのカテゴリ $c \in C$ に対応するシードインスタンス集合 $I_{c}$, 反復の回数 $L$, コーパス $W$ を受け取る. 兄弟グループはそれぞれ $C$ の部分集合であり，また，互いに素である. まず， 1 行目から 3 行目において各兄弟集合 $S_{j}$ に対するフィルタパターン $F_{S_{j}}$ を選択する。次に 9 行目において兄弟グループ $S_{j}$ 内の各カテゴリ $c$ のインスタンスを関数 ESPRESSO_EXCLUSIONを用いて取得する．ESPRESSO_EXCLUSIONは要素のそれぞれがインスタ ンス $i$ ，カテゴリ $c$ ，スコア $s$ のタプル，すなわち $(i, c, s)$ からなるリスト $R$ を返す。この関数 において, インスタンスの抽出とスコアの計算は, 2.1 節で説明した Espresso アルゴリズムに,兄弟グループのカテゴリ間でパターンに対する排他制約を導入した手法を用いて行う.

本研究ではパターンはインスタンスと係り受け関係にある文節と定義する。例えば，「プリウ ス」というインスタンスと図 2 に示す文が与えられたとする（図 2 では文を文節で区切り，係 り受け関係を文節間の矢印で表現している)。このとき，プリウスと同じ意味クラスに属するイ

図 2 文節間の係り受け関係の例

ンスタンスを取得するためのパターンとして，
- $\mathrm{X} \longrightarrow$ 販売を
- $\mathrm{X} \longleftarrow$ 新型

を得る。ここで，係り受け関係の向きについて，インスタンスを含む文節が別の文節に係る

めた表現形式をパターンとする。

次に $R$ に含まれる候補インスタンス $i$ が兄弟グループに共通の特徵を持つか否かの検証を，関数 FILTERによって行う（10 行目）。関数 FILTER は 23 行目から 31 行目に書かれている通り であり，Rに含まれる $i$ がそれぞれフィルタパターン $f$ と共起しているかどうかを検証する。こ の関数はフィルタパターンと共起しているインスタンスをそのスコアとともにリストとして返 す. 言い換えれば，この関数はフィルタパターンの集合 $F$ によって表される兄弟グループに共通の特徴を保有していないインスタンスを除去している.

兄弟グループ内でのドリフトを防ぐため, 提案手法は兄弟グループのカテゴリ間に排他制約を 導入している。 パターンやインスタンスが兄弟グループ内の複数のカテゴリで出現している場合, 提案手法はそれらが属するべき最適なカテゴリをたた 1 つ決定する。提案手法ではこの決定 をランキングの結果をもとに行う．例えば自動車と自動二輪カテゴリにおいて「X $\rightarrow$ マフラー」と いうパターンが出現していたとする。 ランキングの結果, もしこのパターンが自動車カテゴリで は 13 位であり自動二輪カテゴリでは 4 位だったとすると, このパターンは自動二輪カテゴリにの み属するものとする。すでに説明したように, Algorithm 1 において関数 ESPRESSO_ExCLUSION はパターンに対する排他制約が導入されているものであるとしており，インスタンスに対する 排他制約は 13 行目から 17 行目に実装されている.

提案手法ではスコア $s$ を元に， 13 行目から 17 行目での排他制約を適用しながら, 反復数 $(l$回目）に応じて上位 $N \times l$ 個のインスタンスを獲得する。すべてのカテゴリについて新たなイン スタンスの取得が終わった後, 次の反復へと進む. 入力として与えた回数だけ反復した後, ア ルゴリズムはそれぞれのカテゴリ $c \in C$ に対応するインスタンス集合 $I_{c}^{\prime}$ 出力する.

## $3.3 \mathrm{~g$-Espresso をべースとした手法}

正則化ラプラシアンカーネルを利用した g-Espresso によるインスタンスの抽出と, フィルタ パターンによる候補インスタンスの特徴の検証を組み合わせた手法を，アルゴリズムとして記述したものが Algorithm 2 である. このアルゴリズムは Algorithm 1 の入力から反復回数 $L$ を 除いたものを入力として受け取る.

Algorithm 2 は Algorithm 1 と同様，まず各兄弟集合 $S_{j}$ に対するフィルタパターン $F_{S_{j}}$ を選択する。次に兄弟グループ $S_{j}$ 内の各カテゴリ $c$ について, 候補インスタンス集合 $I_{v_{c}}$ とパター ンの集合 $P_{v_{c}}$ を関数 ESPRESSO によって，抽出する（8 行目）。関数 ESPRESSO は 2.1 節にお いて説明した Espresso アルゴリズムによって，パターンとインスタンスのスコアを計算し，上位 $N_{\text {pattern }}$ 個のパターンと上位 $N_{\text {instance }}$ 個のインスタンスを返す関数である。なお, ここでの パターンも 3.2 節での関数 ESPRESSO_EXCLUSION で用いたものと同様,「X $\rightarrow$ 発表した」のよ うな係り受け関係の向きも含めたものとする。g-Espresso は対象とするカテゴリ毎に，コーパ ス中の全パターンと全インスタンスを対象とした計算を行うため， ウェブページなどの大規模 コーパスや，複数の意味カテゴリを対象とした場合には計算量が膨大になってしまう．計算量 を抑えるため, 萩原ら (萩原 他 2011) はブートストラッピング手法によって計算対象を制限し, その後グラフカーネルを適用する手法を用いた. 本手法でも同様に, Espresso アルゴリズムに よってシードインスタンス集合と相関の高いパターン／インスタンスを $P_{v_{c}}, I_{v_{c}}$ として抽出し, g-Espresso への入力とする. なお, 今回は萩原ら (萩原 他 2011)を参考に $N_{\text {pattern }}=2,000$ と

し, $N_{\text {instance }}=2,000 \times\left|S_{j}\right|$ とした.

次に候補インスタンス集合 $I_{v_{c}}$ に含まれるインスタンスが兄弟グループに共通の特徴を持つ か否かの検証を, Algorithm 1 における関数 FILTER を用いて行う（9 行目）. 次に $P_{v_{c}}$ と関数 FILTER の返した $I_{v_{c}}$ を対象とし，g-Espresso によってインスタンスのスコアを計算する。これ は関数 G-ESPRESSO を用いて行う（10 行目）。関数 G-ESPRESSO は要素のそれぞれがインスタ ンス $i$ ，カテゴリ $c$ ，スコア $s$ のタプルからなるリスト $R$ を返す.

最後に Algorithm 1 と同様に, 兄弟グループのカテゴリ間での排他制約を考慮しつつ, 各力 テゴリについて，スコアの上位 $N_{a l l}$ 個のインスタンスを獲得し（13行目から 17 行目）, $I_{c}^{\prime}$ と して出力する.

## 3.4 フィルタパターンの獲得

既に説明したように，提案手法はインスタンスが兄弟グループに共通の特徴を持っているか 否かをフィルタパターンを用いて判定する。この節ではフィルタパターンの獲得方法について 述べる。

フィルタパターンの獲得は候補の抽出とランキングの 2 つのステップからなる。候補の抽出 では，兄弟グループのシードインスタンスと共起しているパターンを集める．例えば，自動車 と自動二輪カテゴリからなる兄弟グループに対し, 自動車か自動二輪カテゴリに含まれるシー ドインスタンスと共起しているパターンを抽出する.

フィルタパターンは兄弟グループの特定のカテゴリのインスタンスを取得するためのもので はなく, 兄弟グループに無関係のインスタンスを除去するためのものであるため, 兄弟グルー プに共通の特徴をとらえていることが望ましい. しかし，インスタンスとの係り受け関係の向 きや, 助詞や副詞など構成する語を厳密に指定する形式にしてしまうと, 正解インスタンスま で取り除いてしまう可能性もある1.このため, フィルタパターンは係り先, 係り元といった係 り受け関係の向きを考慮せず，さらに名詞と動詞に限定する。すなわち，フィルタパターンは Espresso アルゴリズムや g-Espresso で用いたパターンとは異なり，「乗る」や「エンジン」,「愛車」などの，インスタンスと係り受け関係にある文節に出現する名詞や動詞とする ${ }^{2}$.

候補のランキングでは, 抽出された候補の中からフィルタパターンとして最適なものを選択す る. 兄弟グループに含まれる意味カテゴリのインスタンスが獲得されるには, フィルタパター ンと共起する必要がある。 そのため, 兄弟グループに属するインスタンスとできるだけ多く共起するようなフィルタパターンが適している。また，フィルタパターンによって，インスタン スが兄弟グループに共通の特徵を保有しているかどうかを検証するため, 兄弟グループ内のカ

テゴリに均等に出現するようなフィルタパターンが適している。この 2 の要素をそれぞれ網羅性と平等性として定式化し, これにもとづいてフィルタパターンの選択を行う.

フィルタパターンは兄弟グループに属する正しいインスタンスを網羅するようなものであ ることが望ましい，そのため，兄弟グループ中の多くのシードインスタンスと共起しているパ ターンが適している。例として，自動車と自動二輪カテゴリのフィルタパターンについて考え る（図 3)。図 3 において，パターンは斜体で表されている。また，パターンの下の四角で覆わ れた朹内の文字はシードインスタンスであり，特にパターンと共起しているものは太字で示し てある。この図の (a)において, パターン「乗る」は「マイナーチェンジ」よりも多くのシード インスタンスと共起しているため, よりフィルタパターンに適していると考える。この要素を 網羅性と呼び，Coverage という指標で測定する．ある兄弟グループ $S_{j}$ に属するパターン $f$ の Coverage は次の式 (11)を用いて計算する.

$
\begin{gathered}
\operatorname{Coverage}\left(S_{j}, f\right)=\frac{\sum_{c \in S_{j}} \sum_{i \in I_{c}} \operatorname{cooccur}(f, i)}{\sum_{c \in S_{j}}\left|I_{c}\right|} \\
\operatorname{cooccur}(f, i)= \begin{cases}1 & i \text { と } f \text { が共起している場合 } \\
0 & \text { それ以外 }\end{cases}
\end{gathered}
$

$I_{c}$ はカテゴリ $c$ のシードインスタンス集合であり， $\left|I_{c}\right|$ はカテゴリ $c$ のシードインスタンスの数 である。 $\operatorname{cooccur}(f, i)$ はインスタンス $i$ がパターン $f$ と共起しているか否かを表しており, 共起 しているなら 1 を，していなければ 0 を返す関数である。よって， $\sum_{i \in I_{c}} \operatorname{cooccur}(f, i)$ はカテゴ リ $c$ に属し，かつパターン $f$ と共起しているシードインスタンスの数を表す.

さらに，フィルタパターンはインスタンスが兄弟グループに共通の特徴を保有しているかど

(a)網羅性

(b)平等性

図 3 フィルタパターンとして望ましい性質

うかを検証するためのものであるため，特定のカテゴリに偏って出現しているパターンは不適当である。したがって，パターンは兄弟グループ内のカテゴリのうち，2つ以上で出現していな ければならないとする。図 3 の (b) において,「エンジン」というパターンは自動車と自動二輪 の両方のカテゴリのインスタンスと共起しているが,「トヨタ」は自動車カテゴリのみでしか出現していない.このため「トヨタ」はフィルタパターンとしては不適当とし, 候補から除去す る.また, 図 3 の (b) では「乗る」というパターンは両方のカテゴリのインスタンスと均等に 共起しているため, 「エンジン」よりもフィルタパターンとして適している.この, パターンが 兄弟グループ内のそれぞれのカテゴリのインスタンスと, どれだけ均等に共起するかという要素を平等性と呼ぶ. 兄弟グループ内のあるカテゴリのインスタンスとパターンが共起するとき， パターンがそのカテゴリに出現したと定義すれば，平等性は兄弟グループ内での，パターンが どのカテゴリに出現するかの分散の大きさと言える。このため, 平等性は情報量 (Entropy)を 用いて測定できる。ある兄弟グループ $S_{j}$ に属するパターン $f$ の Entropy は次の式 (13) を用い て計算する.

$
\begin{gathered}
\operatorname{Entropy}\left(S_{j}, f\right)=-\sum_{c \in S_{j}} P_{c}(f) \log _{|C|} P_{c}(f) \\
P_{c}(f)=\frac{\sum_{i \in I_{c}} \operatorname{cooccur}(f, i)}{\sum_{c \in S_{j}} \sum_{i \in I_{c}} \operatorname{cooccur}(f, i)}
\end{gathered}
$

$|C|$ はパターン $f$ の出現しているカテゴリの数である. もしパターン $f$ が兄弟グループ内のそれ ぞれのカテゴリのインスタンスと均等に共起したとすると, $\operatorname{Entropy}\left(S_{j}, f\right)$ は最も高い値 $(1.0)$ となる.

網羅性と平等性の両方の観点において優れているパターンを獲得するため, パターン $f$ のス コアを次の式 (15) を用いて計算する.

$
\operatorname{Score}\left(S_{j}, f\right)=\operatorname{Entropy}\left(S_{j}, f\right) \times \operatorname{Coverage}\left(S_{j}, f\right)
$

各兄弟グループ $S_{j}$ の候補パターン $f$ について $\operatorname{Score}\left(S_{j}, f\right)$ を計算し, 兄弟グループに共通の特徵を特に表していると考えられる，上位 15 個を兄弟グループのフィルタパターンとして獲得す る. なお, 兄弟グループが他の兄弟グループへ意味ドリフトしてしまうことを防ぐため, 兄弟 グループ間は排他関係にあるとする。そのため, 複数の兄弟グループで候補となっているフィ ルタパターンについては，属する兄弟グループをただ 1 つ決めなければならない. この決定は フィルタパターンの出現頻度にもとづいて行う. すなわち, 兄弟グループ内のシードインスタン スとの共起頻度の和をフィルタパターンの兄弟グループ内での出現頻度とし, これが最大であ る兄弟グループにのみフィルタパターンは属するとする。これにより，それぞれの兄弟グルー プに固有のフィルタパターンが得られる. このフィルタパターンを用いることで, 兄弟グルー

プに共通の特徴を持たない，無関係なインスタンスを除去できる.

## 4 実験

## 4.1 実験設定

本節では集合拡張において，カテゴリ間の兄弟関係を事前知識として使用することの効果を 実験的に検証する。実験では Espresso アルゴリズム (Pantel and Pennacchiotti 2006), Espresso アルゴリズムにカテゴリ間の排他制約を加えたもの（Espresso＋排他制約），Espresso アルゴ リズムにカテゴリ間の排他制約と兄弟関係を事前知識として加えたもの（提案手法（ベース： Espresso)）のブートストラッピング手法と, g-Espresso アルゴリズム (萩原 他 2011), g-Espresso アルゴリズムにカテゴリ間の排他制約と兄弟関係を事前知識として加えたもの（提案手法 (ベー ス：g-Espresso））のグラフカーネルを用いた手法について比較を行う．グラフカーネルを用い た手法における，正則化ラプラシアンカーネルの拡散パラメータは萩原ら (萩原 他 2011) と同様， $\beta=5.0 \times 10^{-4}$ とした. ブートストラッピング手法では反復毎に，各カテゴリのインス夕 ンスとパターンの獲得数を 15 個ずつ増加（すなわち $N=15$ ）させた.

集合拡張は未知のインスタンスを取得するタスクであるため，再現率を正確に測定すること は難しい，そのため，各手法の比較は，同じ数のインスタンスを取得した際の適合率を比べる ことによって行う。 さらに, 各手法の出力した正解インスタンスの集合を正解セットと考え,再現率を疑似的に計算し，比較する。なお，獲得インスタンスの正否は 3 人の評価者によって 判定する.

1 節で説明したように，近年では，全てのカテゴリのインスタンスを収集する需要が高まっ ている.このため実験では, Carlson ら (Carlson et al. 2010a)のように，様々な種類のカテゴリ を対象とする．代表的なカテゴリをまんべんなく対象とするため，関根の拡張固有表現階層の リスト ${ }^{3}$ と Wikipediaを参考に，人手で 41 個のカテゴリを実験対象として選択した．対象カテ ゴリは表 2 に示した通りであり，この表に示した全てのカテゴリについて，同時に集合拡張を 行う，なお，表 2 ではカテゴリを兄弟グループが同一のものでまとめてあり, 兄弟グループ間 は赫線によって区切られている。兄弟グループは同じ上位カテゴリを持つカテゴリの集合とな るよう，Wikipediaを参考に人手で作成した．各カテゴリはただ 1 つの兄弟グループに属する ものとし, 各兄弟グループは 2 つ以上のカテゴリを含む.

シードインスタンスについては Wikipedia から自動でインスタンスを抽出するツール (Sumida， Yoshinaga, and Torisawa 2008)を利用し，各カテゴリ毎に 15 個ずつ用意した。なお，自動で抽出した結果には誤りも含まれているため，人手によって誤りインスタンスを除去している.
^{3}$ https://sites.google.com/site/extendednamedentityhierarchy/
}
実験には 1 億 1 千万の日本語ウェブページをコーパスとして用いた。 ウェブページ中の文は 日本語係り受け解析器である KNP (Kurohashi and Nagao 1994) を用いて係り受け構造を解析 した。また, 計算時間を削減するため, 出現頻度が 2 回以下であるパターンとインスタンスは 除去している.

## 4.2 結果

ブートストラッピングの反復を 10 回行った際の, 各手法における全カテゴリでの獲得インス タンス数とその適合率を図 4 に示す. グラフカーネルを用いた手法では, ブートストラッピング と同数のインスタンスを獲得した際の適合率を示している。また, 提案手法ではフィルタパター ンにおいて係り受け関係の方向を指定しないとしていたが, この効果を確認するため, フィルタ パターンにおいて係り受け関係の方向を指定した手法での結果も記した. この図より, Espresso + 排他制約は Espressoよりも適合率が上昇していることがわかる. Espresso + 排他制約の適合率は Espresso と比べると， 4,305 個のインスタンスを獲得したときに最も上昇し, $2.4 \%$ 高い. また，10 回の反復後，すなわち 6,765 個のインスタンスを獲得したときには $1.3 \%$ 上昇してい る. 提案手法 (ベース：Espresso）は Espresso + 排他制約よりもさらに適合率が上がっており， Espresso と比べると， 4,305 個のインスタンスを獲得したときには $4.4 \%$ 上昇し， 6,765 個のイ ンスタンスを獲得したときには $2.1 \%$ 上がっている. さらに, g-Espresso と提案手法（ベース： g-Espresso）を比較しても，提案手法の適合率が上昇していることがわかる. 提案手法（ベー ス：g-Espresso）の適合率は g-Espresso と比べ， 3,690 個のインスタンスを獲得したときに最も 上昇し, $6.1 \%$ 高い. この結果から, カテゴリ間の兄弟関係についての事前知識は意味ドリフト の抑制に寄与し，集合拡張の精度を向上させることがわかる.

また図 4 より, フィルタパターンにおいて係り受け関係の方向を指定した手法では, Espresso

図 4 各手法における取得インスタンス数とその適合率

よりも適合率が上昇するが，提案手法（フィルタパターンにおいて係り受け関係の方向を指定 しない場合）よりは適合率が低いことがわかる。したがって，フィルタパターンにおいて係り 受け関係の方向まで指定することは厳しすぎる制約であり，フィルタパターンを用いて兄弟グ ループの共通性を検証する際には，係り受け関係の方向を指定する必要はないことがわかる.

小町ら (小町他 2010) や萩原ら (萩原 他 2011) はグラフカーネルを用いることにより， 意味 ドリフトが抑制できることを示した。 しかし, 図 4 において, グラフカーネルを用いた手法で ある g-Espresso の適合率は Espresso より低い。これは， 3.3 節で説明したように，グラフカー ネルを適用するパターンと候補インスタンスを制限しているためであると考えられる．例えば， ヨーロッパの国カテゴリについて,「ドイツ」というシードインスタンスから「X $\rightarrow$ サッカー選手一覧」,「X $\rightarrow$ キーパーは」というパターンが抽出されるため, 「強豪」や「代表」のような,対象とする意味カテゴリとは無関係なインスタンスのスコアが高くなってしまう。この問題に ついて萩原ら (萩原 他 2011) は，グラフの範囲を広げることで解消できるとしたが，複数の意味カテゴリを対象にした集合拡張では，計算量を抑えるためにグラフはできるだけ小さくせね ばならず，避けられない問題であると考えられる。

再現率を疑似的に計算するため, 反復を 10 回行った（すなわち各カテゴリで 165 個のインス タンスを獲得した）ときの，各手法で獲得した正解インスタンスの和集合を正解セットとして，反復毎 ${ }^{4}$ の適合率と再現率を計算した。この結果を図 5 に示した. 図 5 より, 提案手法 (ベー ス：Espresso）は Espresso, Espresso + 排他制約よりも性能が良く, また, 提案手法（ベース： g-Espresso）は g-Espresso よりも性能が良いことがわかる。これより，提案手法は再現率を保っ たまま，適合率を上昇させることが可能であると言える。

図 5 各手法における適合率と再現率

適合率，再現率共に高いブートストラッピング手法に着目し，さらに詳しい分析を行う。ま ず，各手法における取得インスタンスの傾向を調べる。同じ兄弟グループに属する神社と寺カ テゴリについて，各手法で反復を 5 回行った際の，獲得インスタンスのうち上位 15 個を表 1 に 示す.なお，表 1 ではインスタンスを正解と誤りに分けて記している。表 1 によると, Espresso と Espresso + 排他制約は多くの誤りインスタンスを獲得しているが, 誤りの傾向には違いがあ る. Espresso は「八幡宮」や「太宰府天満宮」、「浅草寺」など，いくつかのインスタンスを神社と寺カテゴリの両方に属するものとしてしまっている。これに対して, Espresso + 排他制約 はインスタンスが複数カテゴリに所属しないように，インスタンスの属するただ 1 つのカテゴ リを選択しており, Espressoのような誤りは発生していない. すなわち, 排他制約は意味ドリ フトを緩和する効果があることがわかる。しかしながら, Espresso + 排他制約は寺カテゴリに おいて，「袋屋奨油店」や「あだしのまゆ村」など，対象カテゴリとは無関係のインスタンスを 多く獲得してしまっている．提案手法は兄弟グループの共通性についての知識を利用すること により，このような誤りインスタンスを除去することに成功している。この結果から, 兄弟関係は集合拡張に対して，有用な情報であることがわかる。

反復を 5 回行った際の, 各カテゴリにおける各手法の獲得インスタンスの適合率を表 2 に記

表 1 神社と寺カテゴリにおける各手法の獲得インスタンスの上位 15 個

 &  &  \\

表 2 反復を 5 回行った際の各カテゴリにおける各手法の適合率

 & 提案手法 & 上昇率 &  &  \\

す.また表 2 には提案手法の適合率の, Espresso からの上昇率も示した. さらに，それぞれの 兄弟グループでのフィルタパターンのうち, 上位 3 つをそのスコアとともに記した. 表 2 より,提案手法と Espresso + 排他制約は多くのカテゴリにおいて Espresso よりも適合率が上昇して いることがわかる．この結果は，カテゴリ間の排他関係と兄弟関係は集合拡張の精度を向上さ せることを示している。しかしながら，いくつかのカテゴリにおいては適合率が下がっており，兄弟関係の知識が有効に働いていないようである。この原因は以下の 2 つに分類されると考え られる。

(1) フィルタパターンのスコアが低い

(2) ベースラインでの適合率が高い

(1)の場合は自動車メーカーと医薬品メーカー, 美術館と劇場など, 兄弟グループのカテゴリ すべてで適合率が下がっている。例えば, 自動車メーカーと医薬品メーカーカテゴリについて は, Espresso と比べ，適合率がそれぞれ $14.44 \%, 2.22 \%$ 下がっている.この 2 つのカテゴリを含 む兄弟グループでは, 最もスコアの高いフィルタパターンでさえスコアが 0.1837 とかなり低い.各兄弟グループで取得したフィルタパターンのスコアの最大値と, その兄弟グループの適合率 の Espresso からの上昇率を図 6 に記した. さらに図 6 には一次近似曲線を引き，スコアと上昇率の相関を示した. この図より, 取得したフィルタパターンのスコアの最大値が低いほど上昇率が下がり，スコアが 0.6 以下の場合には Espresso よりも精度が悪くなることがわかる。 フィ ルタパターンのスコアとは, 兄弟グループの共通性を表したパターンをフィルタパターンとし て取得できるよう，兄弟グループのシードインスタンスを用いて計算されたものである。つま り, 取得したフィルタパターンのスコアが低いということは, 提案手法がフィルタパターンに

図 6 各兄弟グループで取得したフィルタパターンのスコアの最大値と適合率の上昇率
必要な要素である, 網羅性と平等性を持つパターンを見つけられなかったことを示唆している.網羅性と平等性を持つパターンを獲得できなかった原因は, 自動車メーカーと医薬品メーカー など共通性の少ないカテゴリを兄弟グループとしてしまったためであると考えられる．兄弟グ ループの選択による提案手法への影響については, 今後調査していきたい.

映画監督やコメディアンカテゴリは (2)にあてはまる。（2）の場合, Espresso において意味ド リフトは起こっていないにもかかわらず，提案手法はフィルタを適用し，正解インスタンスを 削除してしまっている。言い換えれば，提案手法は誤りインスタンスよりも正解インスタンス を多く除去してしまっている。この原因としては，フィルタパターンはシードインスタンスに よってのみ決定されるため，ブートストラッピングの反復中に新たに抽出したインスタンスに よってもたらされる，兄弟グループの共通性を扱えていない可能性がある。これに対処するた めに，ブートストラッピングの反復中にフィルタパターンを更新することが必要であると考え られる。しかし，新たに獲得したインスタンスを用いてフィルタパターンを更新した場合，意味ドリフトを抑制する効果が失われてしまうことも考えられるため，更新は慎重に行わなけれ ばならない.フィルタパターンの更新方法については今後の課題である.

## 5 まとめ

本論文では，ブートストラッピングにおいて，カテゴリ間の兄弟関係を事前知識として利用す る手法を提案し，兄弟関係が集合拡張に対して有用な知識であることを示した．実験では，提案手法はベースラインである Espresso アルゴリズムと比べ, 適合率を最大で $4.4 \%$ 向上させた.

しかしながら，4.2節において述べた通り, 提案手法にはいくつかの副作用もある。この副作用の原因は，共通性の少ない兄弟グループの設計と，フィルタパターンを更新しないためであ ると考えられる。これらの要因への対処は今後の課題である。また，本研究ではカテゴリ間の 兄弟関係がカテゴリのインスタンスを収集する際に有用な情報であることを示したが，今後は， この手法を関係インスタンスの取得に拡張していきたい。すなわち, 関係（例：is-president-of やis-citizen-of）間にある含意関係や因果関係を利用して，関係インスタンスを獲得する手法を 構築したい.

## 謝 辞

本研究は, 文部科学省科研費 (23240018), 文部科学 省科研費 (23700159), および JST 戦略的創造研究推進事業さきがけの一環として行われた.

## 参考文献

Abney, S. (2004). "Understanding the Yarowsky Algorithm." Comput. Linguist., 30 (3), pp. 365-395.

Bellare, K., Talukdar, P. P., Kumaran, G., Pereira, O., Liberman, M., Mccallum, A., and Dredze, M. (2007). "Lightly-Supervised Attribute Extraction." In Proceedings of the Advances in Neural Information Proceeding Systems Workshop on Machine Learning for Web Search, pp. 1-7.

Cao, H., Jiang, D., Pei, J., He, Q., Liao, Z., Chen, E., and Li, H. (2008). "Context-Aware Query Suggestion by Mining Click-Through and Session Data." In Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 875-883.

Carlson, A., Betteridge, J., Kisiel, B., Settles, B., Hruschka Jr., E. R., and Mitchell, T. M. (2010a). "Toward an architecture for never-ending language learning." In Proceedings of the 24th AAAI Conference on Artificial Intelligence, pp. 1306-1313.

Carlson, A., Betteridge, J., Wang, R. C., Hruschka Jr., E. R., and Mitchell, T. M. (2010b). "Coupled Semi-Supervised Learning for Information Extraction." In Proceedings of the 3rd ACM International Conference on Web Search and Data Mining, pp. 101-110.

Curran, J. R., Murphy, T., and Scholz, B. (2007). "Minimising semantic drift with Mutual Exclusion Bootstrapping." In Proceedings of the 10th Conference of the Pacific Association for Computational Linguistics, pp. 172-180.

Etzioni, O., Banko, M., and Cafarella, M. J. (2006). "Machine Reading." In Proceedings of The 21st National Conference on Artificial Intelligence and the Eighteenth Innovative Applications of Artificial Intelligence Conference, pp. 1517-1519.

萩原正人，小川泰弘，外山勝彦 (2011)．グラフカーネルを用いた非分かち書き文からの漸次的語彙知識獲得. 人工知能学会論文誌, 26 (3), pp. 440-450.

Hearst, M. A. (1992). "Automatic Acquisition of Hyponyms from Large Text Corpora." In Proceedings of the 14th Conference on Computational Linguistics, pp. 539-545.

小町守, 工藤拓, 新保仁, 松本裕治 (2010). Espresso 型ブートストラッピング法における意味 ドリフトのグラフ理論に基づく分析. 人工知能学会論文誌, 25 (2), pp. 233-242.

Kurohashi, S. and Nagao, M. (1994). "KN Parser: Japanese Dependency/Case Structure Analyzer." In Proceedings of the Workshop on Sharable Natural Language Resources, pp. 48-55.

Mintz, M., Bills, S., Snow, R., and Jurafsky, D. (2009). "Distant supervision for relation extraction without labeled data." In Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint

Conference on Natural Language Processing of the AFNLP, pp. 1003-1011.

Pantel, P., Crestan, E., Borkovsky, A., Popescu, A.-M., and Vyas, V. (2009). "Web-scale distributional similarity and entity set expansion." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 938-947.

Pantel, P. and Lin, D. (2002). "Discovering word senses from text." In Proceedings of the 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 613-619.

Pantel, P. and Pennacchiotti, M. (2006). "Espresso: Leveraging Generic Patterns for Automatically Harvesting Semantic Relations." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 113-120.

Pantel, P. and Ravichandran, D. (2004). "Automatically Labeling Semantic Classes." In Proceedings of the 2004 Human Language Technology Conference of the North American chapter of the Association for Computational Linguistics, pp. 321-328.

Pennacchiotti, M. and Pantel, P. (2011). "Automatically Building Training Examples for Entity Extraction." In Proceedings of the 15th Conference on Computational Natural Language Learning, pp. 163-171.

Sadamitsu, K., Saito, K., Imamura, K., and Kikui, G. (2011). "Entity Set Expansion using Topic information." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 726-731.

Sadamitsu, K., Saito, K., Imamura, K., and Matsuo, Y. (2012). "Entity Set Expansion using Interactive Topic Information." In Proceedings of the 26th Pacific Asia Conference on Language, Information and Computation, pp. 114-122.

Smola, A. J. and Kondor, R. (2003). "Kernels and Regularization on Graphs." In Proceedings of the Conference on Learning Theory and Kernel Machines, pp. 144-158.

Sumida, A., Yoshinaga, N., and Torisawa, K. (2008). "Boosting Precision and Recall of Hyponymy Relation Acquisition from Hierarchical Layouts in Wikipedia." In Proceedings of the 6th International Conference on Language Resources and Evaluation, pp. 2462-2469.

Vyas, V. and Pantel, P. (2009). "Semi-Automatic Entity Set Refinement." In Proceedings of the 2009 Human Language Technologies Conference of the North American Chapter of the Association for Computational Linguistics, pp. 290-298.

Vyas, V., Pantel, P., and Crestan, E. (2009). "Helping Editors Choose Better Seed Sets for Entity Set Expansion." In Proceedings of the 18th ACM Conference on Information and Knowledge Management, pp. 225-234.

Wang, R. C. and Cohen, W. W. (2009). "Automatic Set Instance Extraction using the Web."

In Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 441-449.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics, pp. 189-196.

## 略歴

高瀬翔：2012 年東北大学工学部情報知能システム総合学科卒業. 同年, 同大学大学院情報科学研究科博士前期課程に進学, 現在に至る. 自然言語処理 の研究に従事.

岡崎 直観 : 2007 年東京大学大学院情報理工学系研究科・電子情報学専攻博士課程修了. 同大学院情報理工学系研究科・特別研究員を経て, 2011 年より東北大学大学院情報科学研究科准教授. 自然言語処理, テキストマイニングの 研究に従事. 情報理工学博士. 情報処理学会, 人工知能学会, ACL 各会員.

乾 健太郎：1995 年東京工業大学大学院情報理工工学研究科博士課程修了. 同研究科助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経 て, 2010 年より東北大学大学情報科学研究科教授, 現在に至る. 博士 (工学).自然言語処理の研究に従事. 情報処理学会, 人工知能学会, ACL, AAAI 各会員.