# カテゴリ名と記事名の意味属性分類に基づくWikipedia からの 上位下位関係オントロジーの構築

柴木 優美 $\dagger$ 永田 昌明 $\dagger \dagger \cdot$ 山本 和英 $\dagger$
}

Wikipediaを is-a 関係からなる大規模な汎用オントロジーへ再構成した. Wikipedia の記事にはカテゴリが付与され, そのカテゴリは他のカテゴリとリンクして階層構造を作っている. Wikipediaのカテゴリと記事を is-a 関係のオントロジーとして利用するためには以下の課題がある。(1) Wikipedia の上位階層は抽象的なカテゴリで 構成されており，これをそのまま利用してオントロジーを構成することは適切でな い. (2) Wikipedia のカテゴリ間, 及びカテゴリと記事間のリンクの意味関係は厳密 に定義されていないため, is-a 関係でないリンク関係が多く存在する。これに対して 我々は (1)を解決するため, 上位のカテゴリ階層を新しく定義し, Wikipedia の上位階層を削除して置き換えた。さらに $(2)$ を解決するため, Wikipediaののテゴリ間，及びカテゴリ記事間の not-is-a 関係のリンクを 3 つの手法により自動で判定し切り 離すことで, Wikipediaののテゴリと記事の階層を is-a 関係のオントロジーとなる ように整形した。本論文では not-is-a 関係を判定するための 3 つの手法を適用した. これにより, “人”, “組織”, “施設”, “地名”, “地形”, “具体物”, “創作物”, “動植物”，“イベント”の 9 種類の意味属性を最上位カテゴリとした，1つに統一された is-a 関係のオントロジーを構築した。実験の結果, is-a 関係の精度は, カテゴリ間で 適合率 $95.3 \%$, 再現率 $96.6 \%$, カテゴリ - 記事間で適合率 $96.2 \%$, 再現率 $95.6 \%$ と 高精度であった。提案手法により，全カテゴリの $84.5 \%$ （約 34,000 件）, 全記事の 88.6\%（約 422,000 件）をオントロジー化できた.

キーワード：オントロジー, シソーラス, is-a 関係, 上位下位関係, Wikipedia
## Constructing Large-Scale General Ontology from Wikipedia

\author{
Yumi Shibaki ${ }^{\dagger}$, Masaaki Nagata $^{\dagger \dagger}$ and Kazuhide Yamamoto $^{\dagger}$
}

We have built a Japanese large-scale general ontology restructured from Wikipedia, that represents a is-a relation hierarchy. A Wikipedia's article page belongs to one or more categories that are organized hierarchically by linking to others. However, there are the following two issues to be solved in order to use the categories and the articles as is-a ontology: (1) The higher levels of the hierarchy seems to be too abstract so that it cannot be applied directly into an ontology. (2) There are many not-is-a links seen in the articles, because of low-quality descriptions that may happen in consumer-generated media. In order to solve these, we (1) redefine the highest

level and replace them to the original category, and (2) cut not-is-a links between categories and category-to-articles. Experimental results show that the accuracy of is-a links between categories is $95.3 \%$ precision and $96.6 \%$ recall, while that of is-a links between a category and the article is $96.2 \%$ and $95.6 \%$ respectively. The accuracies significantly outperform the previous methods. We extracted $84.5 \%$ categories (approximately 34,000) and 88.6\% articles (approximately 420,000) in Wikipedia.

Key Words: ontology, thesaurus, is-a relation, super-subrelation, Wikipedia

## 1 序論

近年, 質問応答や要約, 含意認識などで, 幅広い知識の必要性が高まっている。幅広い分野の一般的知識を記述したものに汎用オントロジーがある. オントロジーとは概念の意味と概念同士の関係を定義したものであり，特定の分野に偏らず幅広い分野に対応したオントロジーを汎用オントロジーという，概念間の関係には，is-a 関係 ${ }^{1}$ (上位 - 下位概念）や part-of 関係（全体 - 部分関係）など様々な種類がある. 固有名詞や日々生まれる新しい語彙への即時対応を目指して, 即時更新性と知識量の多さに優れたオンライン百科事典である Wikipedia を利用した is-a 関係の汎用オントロジーの作成が注目されている (森田，山口 2010).

汎用オントロジーと言われるものには少なくとも 2 つのタイプがある. 一つは, WordNet (Fellbaum 1998)のように，語と語の関係（synset で表現される語義と語義の関係）を表現するものと, 日本語語彙大系 (池原, 宮崎, 白井, 横尾, 中岩, 小倉, 大山, 林 1997)のように, ある語の上位概念をさまざまな粒度で表現したもの（語を階層的に分類したもの）である．前者は，上位下位関係を構成している単語対をたくさん獲得する方法であり，例えば「紅茶はお茶の一種で，紅茶にはアールグレーやダージリンがある」というような，ある単語を中心として上位概念と下位概念を表現する用語の集合を獲得する（ある単語の近傍の単語の集合を密に獲得する）目的に適している。またこのような目的のために， 7.1 節で述べるように Wikipedia から is-a 関係の抽出の研究も行われている.

本研究では後者のタイプの汎用オントロジーを目指す.このタイプの汎用オントロジーからは，葉節点にある概念（Wikipediaの記事の見出し）の上位語を，トップレベルとして設定した 10 個程度の上位概念まで, 細かな粒度から荒い粒度まで順に, 葉節点の概念を分類する用語が並んでいるような知識表現が得られる。このようなオントロジーの典型的な応用は，クエリログの解析のためにアイドルの名前を集めたり，アニメのタイトルのリストを作るといった用語リストを作ることである．特に，何らかのアプリケーションのために，「日本の今」を反映するような固有表現辞書を作る場合に有効である。

Wikipedia の記事にはカテゴリが付与され，そのカテゴリは他のカテゴリとリンクして階層構造を作っている。しかしオントロジーと違い, Wikipediaのカテゴリ間, カテゴリ - 記事間のリンクの意味関係は厳密に定義されていない。そこで, Wikipedia のリンク構造から is-a 関係のリンクを抽出する, 以下のような研究が行われている.

1. Wikipediaのカテゴリ間のリンクから is-a 関係のリンクを抽出し, is-a 関係のリンクでつながる部分的なカテゴリ階層を複数抽出する研究 (Ponzetto and Strube 2007; 桜井, 手島，石川，森田，和泉，山口 2008; 玉川，桜井，手島，森田，和泉，山口 2010)

2. WordNet や日本語語彙大系のような既存のオントロジーに, Wikipedia のカテゴリや記事を接続する研究 (Suchanek, Kasneci, and Weikum 2007; 小林，増山，関根 2008, 2010)

3. 既存のオントロジーの下位に, Wikipedia から抽出した部分的なカテゴリ階層と記事を接続する研究 (柴木, 永田, 山本 2009)

1～3の手法は is-a 関係のリンクの抽出や既存のオントロジーの接続に文字列照合を用いるため,適合率は高いが再現率が低い。手法 2 では, Wikipediaのカテゴリ階層の情報が失われる。手法 3 は Wikipedia のカテゴリ階層の情報をオントロジーに組み达めているが, 上位階層に既存の才ントロジーを用いているため, 多くのカテゴリ階層の情報が失われる。また手法 3 は既存の才ントロジーと Wikipediaのカテゴリの接続部分を人手で判定しているため半自動の手法である.

本研究では, Wikipediaの階層構造を出来るだけそのまま生かし, 新たに定義した上位カテゴリ階層に Wikipedia を整形した階層を接続することで 1 つに統一された is-a 関係のオントロジーを自動で構築する（図 1）。目標とするオントロジーの特徴は主に以下の 2 点である.

1. Wikipediaの各記事名に対して，上位下位関係に基づく順序が付いた上位語のリストを Wikipediaのカテゴリ階層から作成する.

2. Wikipedia の記事名の全体集合を, 網羅的 (broad coverage) かつ重なりなく (disjoint) 分類できるような，上位下位関係に基づく階層的な分類体系をWikipediaのカテゴリ階層から作成する.

本手法では初めに, Wikipediaの上位のカテゴリ階層を削除する。またカテゴリ間とカテゴリ記事間の is-a 関係でないリンク（以下，not-is-a 関係）を高い精度で削除し，残ったリンクをis-a 関係とみなすことで Wikipediaを is-a 関係のリンクのみでつながる階層へ整形する。次にそれらの階層を新たに定義した深さ 1 の上位階層の下位に接続することで， 1 つに統一された階層を再構成する。

本研究では, (1) 全概念を網羅していることを明確化するため (2) 標準的な構造 (3) 計算機処理しやすい, という理由から, 体系が統一された汎用オントロジーの構築を目指す.

（1）一般に「「人オントロジー」「組織オントロジー」など個別のオントロジーを作成してもそれらのオントロジー間の関係は並列とは限らない。また今回作成した 9 つで概念のどれだけを網羅しているのかも分かりにくい，我々は，(ほぼ）全概念を 9 種類の排他的な

図 1 本手法で構築する汎用オントロジーの一部

意味属性で網羅していることを明確化するため，一つのオントロジーとして構築した。

(2) これまでに提案されているオントロジーである日本語語彙大系なども同様の形式であり, このような構造にすることによる恣意性, 特殊性はない. 本研究はオントロジーのあるべき表現構造の議論を行うのが主眼ではないため, 最も標準的な構造のオントロジー構築を目指した。

(3) 計算機で処理する上で全体が統一された一つの構造となっているほうが便利であり，また柔軟性がある。汎用オントロジーとして構築したものの一部（例えば「人」オントロジーのみ）を利用することは可能だが，一般に逆は可能とは限らない.

本研究で作成するオントロジーの利用例として質問応答システムを取り上げる. 集合知によって作成された百科事典である Wikipedia は，一般的な（常識的な）知識を記述したものであり， Wikipediaの記事名の集合は，多くの人が興味を持つ「もの」と「こと」のリストと考えられる. 本研究で構築するオントロジーを用いると, 記事名に関して用途に応じて様々な粒度での
分類や記述が可能になる。例えば質問応答システムにおいて，「ドラゴンボールとは何か?」という質問に対して，その上位語「格闘技漫画」「冒険作品」「週刊少年ジャンプの漫画作品」はいずれも回答となる。また上記項目 2 のように一つの統一された階層分類になっていることで,任意の 2 つの記事名に対して必ず共通の上位語が存在し，共通の上位語に至るまでの上位語は 2 つの記事名の違いを特徴付けることができる。例えば「ONE PIECE と名探偵コナンの違いは?」という質問に対して, 共通の上位語である「漫画作品」と，それぞれの上位にある語「週刊少年ジャンプの漫画作品」,「週刊少年サンデーの漫画作品」を使って,「どちらも漫画作品だが，ONE PIECE は週刊少年ジャンプの漫画で，名探偵コナンは週刊少年サンデーの漫画」というような回答が可能になる.

本論文では以降， 2 章でオントロジーと Wikipedia について説明した後， 3 章で本研究で提案する汎用オントロジー構築手法を示す. 次に 4 章で実験条件, 5 章で実験結果, 6 章で考察を述べる。そして 7 章でWikipedia からのオントロジーを構築する関連研究について紹介し, 最後に 8 章で本論文の結論を述べる.

## 2 オントロジーと Wikipedia

本研究で扱うオントロジーは，対象とする世界に存在する概念とそれらの間に成立する関係を記述したものを指す。概念間の関係は様々なものがあるが，代表的なものは is-a 関係（上位 - 下位概念）と part-of 関係（全体 - 部分関係）である。 is-a 関係とは，B is a A，（B は Aの一つ，B は A の一種）が成り立つときの A と B の関係をいう，例えば図 2 では「自動車は乗り

位語という. part-of 関係とは, B is a part of A（Bは A の一部）が成り立つときの A と B の関係をいう。図 2 では「タイヤは自動車の一部」が成り立つので, 自動車とタイヤは part-of 関

図 2 オントロジーの例
係である。このとき $\mathrm{A}$ を部分語， Bを全体語という。

概念を単語の集合（カテゴリ）と考えると，カテゴリには具体物（インスタンス）が分類される。本研究では，カテゴリ間とカテゴリ - インスタンス間を is-a 関係で表したオントロジー を扱う。

is-a 関係で表したオントロジーを用いれば，階層を用いて語彙を抽象化したり，リンクの距離から類似度を計算したりできる。これらは, 検索, 意味処理, 情報抽出, 機械学習や統計処理など様々な用途に適用可能である.

幅広い分野の一般的知識を記述した汎用オントロジーの一つに日本語語彙大系 (池原他 1997) がある。日本語語彙大系は, 日本語約 30 万語を約 3,000 種類の意味属性で分類したオントロジー である。日本語語彙大系には，約 2,700 のカテゴリと約 10 万のインスタンス（普通名詞）からなる一般名詞の意味体系（図 3）が収録されている ${ }^{2}$ 。語彙大系のカテゴリ階層は木構造になっていて，カテゴリ間，カテゴリ - インスタンス間の関係は is-a 関係で表される ${ }^{3}$ 。また多義性があるインスタンスはいくつかのカテゴリが付与される。例えば，「モデル」は“人”と“玩具”の 2 つの意味があるので，2つのカテゴリ“芸人”と“遊び道具・文房具”が付与される。

現状では, 既存のオントロジーの大部分は, 多大なコストをかけて手動で構築されている (森田, 山口 2010). そこで近年, 半構造化された Wikipedia から（半）自動でオントロジーを構築

図 3 日本語語彙大系

する研究が盛んに行われている。

Wikipedia は即時更新性に優れた自由に利用できるオンライン百科事典であり, Web上で XML 形式のダンプデータが公開されている 4 . 記事の本文には, 見出し語と説明文（本文の第一文は見出し語の定義文であることが多い)，記事を分類するカテゴリが書かれている．そしてこのカテゴリは他のカテゴリとリンクして階層構造を作っている（図 4). しかしオントロジーと違い，カテゴリ間の関係やカテゴリ - 記事間の関係は定義されておらず，is-a 関係が最も多いが is-a 関係でないものもある. 例えば，カテゴリ「変光星」と, このカテゴリが付与されている記事「爆発変光星」は is-a 関係にあるが，同じく「変光星」が付与されている記事「アメリカ変光星観測者協会」とは is-a 関係にない. 2,500 件のサンプル調査の結果, is-a 関係のリンクの割

テゴリと違い, Wikipediaののテゴリ階層は is-a 関係による分類を目的としておらず，ジャンルを分類するための 9 カテゴリ（主要カテゴリ）を最上位としている。

図 4 Wikipedia
^{4}$ http://download.wikimedia.org/jawiki

5 本論文でのサンプル調査は全て 2008 年 7 月 24 日の日本語 Wikipediaを用いた.
}

## 3 汎用オントロジー構築手法

Wikipediaのカテゴリと記事の階層は日本語語彙大系のような 1 つに統一されたオントロジー のように見えるが，前節で述べたように，上位のカテゴリ階層や，カテゴリ間，カテゴリ - 記事間のリンク関係が定義されていないため, オントロジーとは言えない. そこで本手法では Wikipediaの上位のカテゴリ階層を削除して新たに定義した上位カテゴリ階層と置き換える。さらに，カテゴリ間，カテゴリ - 記事間の is-a 関係でないリンク（not-is-a 関係）を自動で切り離し, is-a 関係でつながる階層へと整形する．削除した上位カテゴリ階層と置き換える上位階層として, 図 1 のように“人”, “組織”, “施設”, “地名”, “地形”, “具体物”, “創作物”, “動植物”, “イベント”の 9 種類の意味属性をカテゴリとする深さ 1 の階層を定義した. この上位力テゴリ階層の下位層として, Wikipediaを整形した階層を接続する.

7 節で述べるように, 従来の研究は is-a 関係となっている 2 語の特徴を如何にして捉えるかに注力されてきた。これに対して我々は, is-a 関係の特徵を捉えることよりも, 補集合である not-is-a 関係の特徴を捉えるほうがタスクとして容易であると考え, not-is-a 関係の判別問題としてタスク設定することを提案する。両者は得られた集合の補集合を取ることで結果として同じタスクとなるが，これは両タスクの問題の困難性が同じであることを意味しない.

本章では初めに, 3.1 節で Wikipediaのカテゴリ間, カテゴリ - 記事間のリンクが not-is-a 関係になる場合についての調査結果を述べる. 次に 3.2 節で, 本手法で使用する上位カテゴリ階層を定義する． 3.3 節〜 3.5 節では, not-is-a 関係であるリンクを網羅的に判定することで, is-a 関係のリンクのみを残す手法を提案する。最後に 3.6 節で，新たに設定した上位カテゴリ階層と，整形したWikipediaのカテゴリ階層を接続して1つの階層に再構成する手法について述べる.

## 3.1 Wikipedia のリンクとis-a 関係

図4のように, Wikipediaのカテゴリは主要カテゴリと呼ばれる 9 カテゴリを最上位としている。主要カテゴリは語彙大系の最上位カテゴリと異なり, is-a 関係による分類を目的としたものではない，本手法では，Wikipediaの上位のカテゴリ階層を削除して，新たに定義する上位階層へ置き換える。上位のカテゴリは意味が抽象的な単語（例：社会, 技術）となる傾向があるため, 本手法では意味が抽象的な単語を削除することで上位階層の削除を行う.

一方，下位の階層になるほど分類はより具体的になり is-a 関係になりやすい傾向にある。しかし最下位階層でも, 地名や人名, 組織などの固有名詞がカテゴリ名になっている場合, 「長岡市 $\leftarrow$ 長岡まつり」,「長岡市 $\leftarrow$ 北越銀行」のようにカテゴリと記事は is-a 関係になりにくい傾向にある，以上を踏まえ，我々はWikipediaのカテゴリ間，カテゴリ - 記事間のリンクがis-a 関係になりにくい場合を以下の 3 種類の規則にまとめた.

1. 親子が意味的に類似していない場合は not-is-a 関係とする

(例) 筆記用具 $\leftarrow$ 万年筆メーカー，植物 $\leftarrow$ 草木の神

単語同士が深く関連していても，意味的に類似していない場合は is-a 関係にならない.

2. 親が固有名詞の場合は not-is-a 関係とする

（例）少年ジャンプ $\leftarrow \mathrm{ONE}$ PIECE，新潟県 $\leftarrow$ 長岡市

オントロジーは上位になるほど概念が抽象的になり共通概念が増えるが, 反対に下位となるほど概念が個別化, 具体化する. 最も個別化した固有名詞はすべて最下位の概念に属し, 基本的に下位に単語を持たない.

3. 子名の前方が親名と一致する場合は not-is-a 関係とする

（例）火星 $\leftarrow$ 火星の衛星, 缶 $\leftarrow$ 缶コーヒー

日本語は修飾語が先行して被修飾語が後続する構造のみが許される言語であることから， ある二つの単語が前方一致する（かつ完全一致しない）場合, 概ね一方は修飾語, 他方は被修飾語として使用される。「火星」と「火星の衛星」の場合は，一方の概念は「火星」 だが，他方は「火星」を修飾語として立てる被修飾語，すなわち「火星に何らかの意味関係がある別の概念」（この例の場合は「衛星」）である可能性が高くなる。このように親名の主辞が子名の主辞以外に存在するとき, 子と親は is-a 関係ではなく part-of 関係や話題が類似した関係にあることが多い.

Wikipediaの上位階層の削除と, 規則 1 の判定を行うために, 幅広い分野に適用可能な 9 種類の意味属性（表 1）にカテゴリ名または記事名を分類する。どの意味属性にも分類されない単語は抽象的な単語と判定し, 削除する。また規則 1 は親子が同じ意味属性に分類されなければ意味的に類似していないと判定する。規則 2 は親名が固有名詞かどうかを判定すればよい. 規則 3 は単純な文字列照合で判定可能である.

これらの方法で抽象的すぎる単語を削除, 及びis-a 関係でないリンクを判定したとき, どの程度 is-a 関係を判定できるのか人手で調査した。全カテゴリ間，全カテゴリ - 記事間のリンクから無作為抽出した各 2,500 件のサンプル調査の結果, 9 種類の意味属性での is-a 関係の精度は, カテゴリ間で適合率 $98.9 \%$, 再現率 $99.3 \%$, カテゴリ - 記事間で適合率 $99.3 \%$, 再現率 $98.9 \%$ であった，適合率を下げる誤りは，親子が同じ意味属性かつ親名が普通名詞でも not-is-a 関係となる場合に発生する（例：血液て血球, 千葉県の道路て千葉県の道の駅, 日本の内閣総理大臣て内閣総理大臣夫人)。再現率を下げる誤りは, 親名が固有名詞でも is-a 関係が成り立つ場合 (例：中東欧匹東欧, 沖縄県営鉄道匹沖縄県営鉄道糸満線）や, 子名の前方が親名と一致しても is-a 関係が成り立つ場合（例：日本人て日本人の学者, 映画て映画作品）に発生する。しかし,全体から見ればこれらは少数の例外とみなせるため, 結果として提案した方法で not-is-a 関係のリンクを切り離せば， is-a 関係を高精度で判定できることを確認した。
表 1 意味属性に対応する主な語彙大系のカテゴリと, 分類される単語例

 &  \\

※上記の語彙大系のカテゴリ名に「*」が付与されている場合, そのカテゴリ以下の全てのカテゴリ（ただし，他の意味属性に対応付けされているカテゴリを除く)を指す.

※ 1 つの意味属性に対し, 平均 130 個の語彙大系のカテゴリを対応づけている.

※語彙大系のカテゴリと意味属性は 1 対 1 で対応する.

## 3.2 上位カテゴリ階層の設定

我々は Wikipediaのカテゴリを調査し，独自に Wikipediaの階層を下位層として網羅できるような, 深さが 1 の上位カテゴリ階層を定義した。本手法では図 1 のように“人”, “組織”, “施設”, “地名”, “地形”, “具体物”, “創作物”, “動植物”, “イベント”の計 9 種類の意味属性を最上位カテゴリとして定義する，定義の際，以下の 3 点を考慮した.

1. Wikipediaの記事名の集合を網羅するような上位語の集合であり，かつ，抽象的過ぎないこと.

2. not-is-a 関係の判定手法の 1 つ「1. 親子が意味的に類似していない場合は not-is-a 関係とする」の「意味的に類似していない」を判定できる粒度であること。

3.一般的な上位下位概念の粒度 10 前後の分類とほぼ対応がとれること.

基本的には関根の拡張固有表現階層6の第一階層である 10 カテゴリを参考にしている. これらのカテゴリは語彙大系のカテゴリの第四階層とほぼ対応がとれる。たたし，機械学習による分類器が作れるほどのカテゴリと記事数がないもの（例：規則, スポーツ, 賞）や, 語彙大系に対
^{6} \mathrm{http} / /$ sites.google.com/site/extendednamedentityhierarchy/
}
応付けが難しいもの（例：行為, サービス）に関しては意味属性を設定しても分類精度が落ちるため, 今回は対象外とした。表 1 に意味属性に対応する語彙大系のカテゴリと, 分類される単語の例を示す。また表 2 に提案手法で設定した意味属性と関根の拡張固有表現階層のカテゴリとの対応表を示す. 2,500 件のサンプル調査の結果, Wikipediaのカテゴリでは全体の $86.3 \%$,記事では $90.4 \%$ がいずれかの意味属性に分類された。各意味属性別の割合を図 5 に示す.

表 2 提案手法の意味属性と関根の拡張固有表現階層のカテゴリの対応表

 \\

※上記したカテゴリより下位にカテゴリがある場合はそのカテゴリも含む.

※製品名 - 株名，賞名，勲章名，罪名，便名，等級名，識別番号，主義方式名，規則名，称号名，言語名，単位名，時間表現，数値表現は提案手法の意味属性とは対応していない.

※病気名, 色名は語彙大系においてカテゴリ“自然現象”の下位にあるため“イベント名”に対応づけた。

(a) カテゴリ

(b) 記事

図 5 意味属性に分類される Wikipedia のカテゴリと記事の割合（各 2,500 件調査）

## 3.3 意味属性分類による上位カテゴリ階層の削除と not-is-a 関係の判定

本節では，上位カテゴリ階層の削除，及び 3.1 節の規則 1 「親子が意味的に類似していない場合は not-is-a 関係になる」を判定するために，カテゴリと記事を 9 種類の意味属性に分類する. どの意味属性にも分類されない単語は抽象的な単語と判定し, 削除する。また親子が同じ意味属性に分類されなければ意味的に類似していないと判定する.

本手法では， 9 種類の意味属性をまたがる複数ノードへの所属は許可していない．例えば「シンデレラ」はカテゴリ「グリム童話」であるが他方でカテゴリ「文学の登場人物」でもある。 よって本来は意味属性「創作物」と「人」のどちらにも分類すべき単語である. しかし本提案手法においては（SVM の出力値より）「創作物」と判定され，作成されたオントロジー上では文学の登場人物の意味は失われる。たた，我々の観察ではこのように複数ノードに所属されるべき事例は実際にはほとんどないことから，2 単語が所属する意味属性が異なる場合はほとんど not-is-a 関係ということになり，この性質を利用して高精度に判別している。よって「シンデレラ」のような事例に対しては現状で対処できず，今後の検討課題としている.

一方，同じ意味属性内においては複数ノードへの所属を許している。例えば，「イチロー」は 「アメリカンリーグ首位打者」であり「シアトル・マリナーズの選手」でもあるため，意味属性はどちらも「人」となる。このような状況では「アメリカンリーグ首位打者」と「シアトル・マリナーズの選手」の両カテゴリの下位単語であることを許している。この結果, 作成したオントロジーは木構造とはなっていない.

## 3.3.1 カテゴリ分類

WikipediaのカテゴリをSVM による分類器を用いて 9 種類の意味属性に分類する. 本手法では，多値分類を行うために one-vs-rest 法を用いる．SVM の出力値が 0 以上かつ最も出力値の高い分類器に Wikipediaのカテゴリを分類する．今回は，カテゴリを 9 種類の意味属性に分類するための 9 個の分類器に, 「その他のカテゴリ名」を分類するための分類器を加えた計 10 個の分類器を作成した.

提案手法では, 機械学習による分類器の作成に「再分類法」を用いる. 提案手法における再分類法とは, 初めにあらかじめ用意した少数の学習データを用いて分類器を作成してカテゴリを分類した後, 分類器の出力を学習データに加えて再び分類器を作成し, 前ステップで未分類だったカテゴリを分類する手法である。本手法では，カテゴリを 1 件も分類できなくなるまで再分類を繰り返す。素性作成にはカテゴリ名や以下に定義する周辺の単語などを用いた．以下に使用した単語を示す 7 .

a. 対象カテゴリ名

b. 親カテゴリ名

c. 子カテゴリ名

d. カテゴリ中の記事の定義文からとれる上位語

e. カテゴリと末尾の形態素が一致する記事の定義文からとれる上位語

「定義文からとれる上位語」とは, 記事の定義文（第一文）からパターンマッチで抽出する見出し語の上位語となる単語である。 パターンマッチの例を以下に示す8.

...は , [上位語] の一種である.

...は, [上位語] である.

... [上位語].

例えば, 図 4 の記事の定義文「爆発変光星（ばくはつへんこうせい）とは, 変光星の一種.」からは，見出し語「爆発変光星」の上位語として「変光星」が抽出される。項目 $\mathrm{e}$ は，例えばカテゴリ名が「イタリアの諸島」で, その下位に末尾の形態素が一致する記事「エオリア諸島」が存在した場合, この記事の定義文からとれる上位語「島々」を素性に使用する。記事名がカテゴリ名の末尾の形態素と一致する場合，カテゴリと記事は同じ意味属性である可能性が高い。よって，その記事の定義文からとれる上位語はカテゴリそのものの上位語を指すことが多く，カテゴリ名を抽象化できる。素性作成の際にはこれらの単語の形態素や品詞, JUMAN におけるカテゴリ名9を利用した。また，カテゴリ名の末尾の文字列と最長一致する語彙大系のインスタンスに付与された，語彙大系のカテゴリ名及び表 1 で対応づけた意味属性名を素性にした．例えば Wikipediaのカテゴリ名が「若手小説家」だった場合, 末尾の文字列と最長一致する語彙大系のインスタンスは「小説家」である。よって,「小説家」に付与されている語彙大系のカテゴリ “作家・詩人”を素性にする。また，“作家・詩人”に付与されている意味属性“人”も素性にする ${ }^{10}$ ここのように「若手小説家」を, 語彙大系カテゴリ“作家・詩人”や意味属性 “人”に抽象化することで，高精度な分類が期待できる，a～eの単語は普通名詞であることが多く，JUMAN のカテゴリや語彙大系を利用しやすい，表 3 に，学習に用いた素性と，図 6 において生成される素性を示す。各素性に対し頻度を求めた後, 各素性ごとに最大值が 1 になるように正規化した値を素性べクトルの値とする。例えば，表 3 の 6-d の素性例は，“人”が 2 件，“具体物”が 1 件なので，素性べクトルは人：1，具体物：0.5となる.

本手法のカテゴリ分類では再現率の向上のため, 直前のステップで得られた出力を学習デー

表 3 カテゴリ分類のための基本素性

 &  &  \\

※（○○｜○○）は, それぞれについて別の素性を作成することを意味する。

図 6 カテゴリ分類のための基本素性の例

※ (意味属性:OO)は、前ステック゚までに確定した意味属性を表す

図 7 カテゴリ分類のための，既に意味属性が確定している周辺カテゴリを利用した素性

夕に加える再分類法を用いる。直前のステップまでに決定したカテゴリの意味属性をもとにした素性を設定することで，既に意味属性が決定したカテゴリの周辺カテゴリの意味属性を決定しやすくする．図７の例は，対象カテゴリ「子供」の意味属性が未決で，その周辺の 3 つのカテゴリの意味属性は直前のステップまでに確定した状態である。対象カテゴリ「子供」と子カテゴリ「子役」は語彙大系のカテゴリ“少年・少女”に属するため，意味的に類似しているといえる。意味的に類似した「子役」の意味属性は “人”なので，「子供」の意味属性も“人”である可能性が高くなるように素性を設定する，表 4 に，既に意味属性が決定したカテゴリをもとに設計した素性と, 図 7 において生成される素性を示す。

## 3.3.2 記事分類

カテゴリ分類の後，記事を 9 種類の意味属性に分類する。本手法では，SVMによる分類器を用いて記事分類をした後，どの分類器にも分類されなかった記事を，既に分類された記事情報をもとに分類する．記事のSVMによる分類器はカテゴリ分類器と同様, 素性作成には記事名や以下に定義する周辺の単語，語彙大系を使用した ${ }^{11}$. 以下に記事分類のために使用する単語を示す.

a. 対象記事名

b. 記事の定義文からとれる上位語

c. 対象記事に付与されているカテゴリ名

d. 記事の定義文

表 4 カテゴリ分類のための, 既に意味属性が確定している周辺カテゴリを利用した素性

 &  \\

本手法のSVM による分類器での記事分類では, 精度を向上させるためにカテゴリ名と記事名の類似性を判定し，記事名とカテゴリ名が似ていれば，そのカテゴリの意味属性が優位になるように素性を設計した．例えば，図 9 では記事「ロータリー車」とカテゴリ「鉄道車両（具体物）」 は後方の文字列が両者とも語彙大系のカテゴリ“乗り物 (本体 (移動 (陸圈)))"に文字列照合 (両者は意味的に類似) するので,「ロータリー車」が「鉄道車両」と同じ具体物である可能性が高くなるように素性を設計した，記事分類のための素性を表 5 と表 6 に示す. 表 6 は，既に意味属性が確定しているカテゴリに着目して設定した素性である. 表 5 , 表 6 にそれぞれに, 図 8, 図 9 を例にしたときの素性も合わせて示す.

次に，SVM による分類器で分類できなかった残りの記事を分類する。ここでは, is-a 関係の記事を下位に持つことが多いカテゴリを判定し, そのカテゴリより下位にある意味属性が未確定な記事を，そのカテゴリと同じ意味属性に分類する。

Wikipediaには, is-a 関係の記事を下位に持つことが多いカテゴリと，カテゴリと記事が is-a 関係ではない何らかの関係になっていることが多いカテゴリがある。例えば，カテゴリ「日本の俳優」は「蒼井優」や「反町隆史」などカテゴリと is-a 関係になる記事のみを持つが，カテゴリ「長岡市」は「蒼柴神社」や「長岡まつり」など is-a 関係でない記事を多く持つ. このような is-a 関係の記事を下位に持つことが多いカテゴリを, 以降「上位概念カテゴリ」と呼ぶ.小林ら (2010) は, is-a 関係の記事 ${ }^{12}$ の割合が閾值以上のカテゴリを上位概念カテゴリとみなし,

表 5 記事分類のための素性 1 （カテゴリの分類結果に依存しない）

 &  \\

※ $○ ○ \mid \bigcirc \bigcirc)$ は, それぞれについて別の素性を作成することを意味する。

表 6 記事分類のための素性 2（カテゴリの分類結果に依存する）

 & c & \\

※（○O|OO）は，それぞれについて別の素性を作成することを意味する。

上位概念カテゴリとその全ての下位記事を is-a 関係として抽出している. 本手法ではこの手法を参考にし, 既に決定したカテゴリの意味属性と記事の意味属性が一致する割合を求め, この割合があらかじめ決めた閾値以上であれば，そのカテゴリを上位概念カテゴリとする。そして上位概念カテゴリとされたカテゴリに分類されている，意味属性が未確定の記事を，カテゴリと同じ意味属性に分類する。例えば図 10 のように，カテゴリ「カクテル（具体物）」に分類さ
a 記事名

バーモントカレー

バーモントカレーは、ハウス食品が販売する即席固形カレールーである。

(d) 定義文

b 定義文からとれる上位語

C カテゴリ: 日本のカレー | ハウス食品

(意味属性 : 具体物) (意味属性 : 組織)

※ (意味属性:OO)は、前ステップまでに分類された意味属性を表す

図 8 記事分類の素性作成のための例 1 (カテゴリの分類結果に依存しない)

※ (意味属性:OO)は、すでに確定したカテゴリの意味属性を表す

図 9 記事分類の素性作成のための例 2（カテゴリの分類結果に依存する）

れている，意味属性が決定した記事のうち， 4 件が “具体物”で， 1 件が “人”だったとする。このとき，カテゴリと同じ意味属性である “具体物” の割合は $80 \%$ である。この割合が高いほど， カテゴリ「カクテル (具体物)」には具体物が分類されやすいといえる。 よって，あらかじめ設定した閾值が $80 \%$ 以下であれば意味属性が未確定の記事を“具体物”に分類する.

カテゴリ:カクテル（意味属性:具体物）

} & ウーロンハイ & 具体物 \\
\cline { 2 - 3 } & サワー & 具体物 \\
\cline { 2 - 3 } & ハイボール & 具体物 \\
\cline { 2 - 3 } & ホットカクテル & 具体物 \\
\cline { 2 - 3 } & バーテンダー & 人 \\

\cline { 2 - 3 } & カンパリ・ビア & 未確定 \\

図 10 上位概念カテゴリ判定による未確定記事の意味属性分類例

1 つの記事に対して付与する意味属性は 1 つなので，記事に意味属性の異なる上位概念カテゴリが複数付与された場合は，意味属性を選択しなければならない，本手法ではまず，上記の割合が高いほうの上位概念カテゴリと同じ意味属性を記事に付与する。もし割合が同じだった場合は，カテゴリを分類したときのSVM の出力値が最も高かった上位概念カテゴリの意味属性を付与する。

## 3.4 固有名詞抽出による not-is-a 関係の判定

本節では， 3.2 節の規則 2 「親が固有名詞の場合は not-is-a 関係になる」を解決するために，カテゴリ名（記事が親となることはない）から固有名詞を抽出する. 固有名詞を抽出するために， MeCab と英語 Wikipediaののテゴリ名・記事名を用いた 2 種類の手法を提案する.

## 3.4.1 MeCab を用いた固有名詞抽出

親名が MeCabの辞書に固有名詞として辞書登録されていれば固有名詞と判定する.

## 3.4.2 英語 Wikipedia のカテゴリ名・記事名を用いた固有名詞抽出

日本語 Wikipedia のカテゴリは, 英語 Wikipedia の同じカテゴリにリンクしていることがある. 例えば, 日本語カテゴリ「音楽家」は英語カテゴリ「Musicians」にリンクしている. 英語表記の固有名詞の頭文字のアルファベットは大文字表記であると述べたが，カテゴリ名の頭文字は原則すべて大文字で表されるため, この基準では判定できない.ここでは, 各形態素の頭文字が全て大文字であれば固有名詞である，という基準を用いる（前置詞 “at, of, the, on, and， in, to”，冒頭以外に冠詞 “the”を含む単語を除いて，2 形態素以上ある単語に限る)．たたし，例外として意味属性が “動植物” と判定されたカテゴリは全て普通名詞とみなすことにした。なぜなら，“動植物”のカテゴリ名のほとんどがスミレ科 (Violaceae), バラ亜綱 (Rosidae) など普通名詞であるが，これらの英語表記は，初めの頭文字を大文字のアルファベットとするためで

ある。また，意味属性が “人” と判定されたカテゴリにおいて, 主辞 ${ }^{13}$ が複数形だった場合も普通名詞として扱う。ヨーロッパ系アメリカ人 (European Americans) やアメリカ合衆国上院議員 (United States Senators)のように主辞が複数形であれば，それより下位に is-a 関係の単語を持つからである。このような現象は特に“人”に多いので, “人”のみにこの規則を適用する。図 11 に，英語 Wikipediaののカデリ名を用いた固有名詞抽出のための決定木を示す.

さらに多くのカテゴリ名を固有名詞として抽出するため, Wikipediaの記事も用いる. Wikipedia のカテゴリは通常本文を持たないが，カテゴリ名と同名の記事が分類されていることがある. その場合，カテゴリ名と記事名は同一のものを指すので，記事を解析することでカテゴリ名から固有名詞を抽出する，英語カテゴリ名と同様に，各形態素の頭文字が全て大文字であれば固有名詞である，という基準を用いる。さらに記事の本文に注目し，記事の本文中の文頭以外で記事名が使われているとき，その頭文字のアルファベットが大文字であれば固有名詞とする。図 12 に，英語 Wikipedia の記事名を用いた固有名詞抽出のための決定木を示す.

以上の 2 種類の手法において，いずれの出力も普通名詞でなく，いずれかの出力で固有名詞だったカテゴリ名を，固有名詞と判定する。そして，カテゴリ間，カテゴリ - 記事間において，親名が固有名詞の場合は not-is-a 関係と判定する。しかし「パリメトロடパリメトロ 2 号線」や 「どうぶつの森ャおいでよどうぶつの森」のように, 親名が固有名詞でも is-a 関係が成り立つ場合がある。この場合, 子カテゴリが親カテゴリの固有名詞をさらに細分化した is-a 関係が成

図 11 英語 Wikipedia のカテゴリ名を用いた固有名詞抽出のための決定木

図 12 英語 Wikipedia の記事を用いた固有名詞抽出のための決定木

り立つ。そこで本手法では例外処理として, 以下の 2 つの条件の場合, リンクを not-is-a 関係としないことにした.

が親名と一致した時（パリメトロ，ロックマン），一致部分を削除した部分（2 号線，X） が数字または記号を含む場合は not-is-a 関係としない.

(2)「どうぶつの森ぃおいでよどうぶつの森」,「オールナイトニッポンャゆずのオールナイトニッポン」のように子名の後方が親名と一致した場合は not-is-a 関係としない.

## 3.5 文字列照合による not-is-a 関係の判定

3.1 節の規則 4 で,「子名の前方が親名と一致する場合は not-is-a 関係とする」とした.「火星

合で判定する。ただし，前節で述べたように，「パリメトロடパリメトロ 2 号線」のように，子名の前方が親名と一致した時, 一致部分を削除した部分（2 号線）が数字または記号を含む場合は，子名の前方が親名と一致しても not-is-a 関係としないことにする.

## 3.6 オントロジー階層の再構成

3.3 節〜 3.5 節の手法を用いて抽象的すぎるカテゴリを削除することで Wikipedia の上位階層を削除する。また 3.3 節〜 3.5 節の手法のいずれかでnot-is-a 関係と判定さたカテゴリ間，カテゴリ - 記事間のリンクを切り離す。この状態の Wikipedia は 1 つの階層構造ではなく, 複数の階層に分離している。これら複数の階層を 3.2 節で定義した上位カテゴリ階層である 9 種類の意

図 13 Wikipedia の階層から is-a 関係のオントロジー階層を再構成する例
味属性の下位に接続する，その際，階層の中で親を持たないカテゴリ及び記事（以下，ルートカテゴリ，ルート記事）を，同じ意味属性の最上位カテゴリの下位に接続する。図 13 に Wikipedia の階層から，is-a 関係のオントロジー階層を再構成するまでの例を示す.

Wikipediaのカテゴリ階層には循環がある。提案手法で抽出した部分的な階層が循環していた場合にどこでその循環を切るかという問題は容易には解決できないと考え，本研究では便宜的に下記処理を行った。すなわち，循環している階層を構成するカテゴリの内，最も ID 番号 14 の小さいカテゴリを指す is-a 関係のリンクを not-is-a 関係とすることで，循環のないカテゴリ階層を構築した。

## 4 実験条件

## 4.1 実験設定

2008 年 7 月 24 日時点での日本語 Wikipediaのダンプデータ15を使用して評価実験を行った. カテゴリ数は 40,385 件, 記事数は 475,941 件, カテゴリ間のリンク数は 85,353 件, カテゴリ記事間のリンク数は $1,173,894$ 件である ${ }^{16}$.

## 4.1.1 カテゴリ分類

全カテゴリから無作為抽出した 2,500 件を, 作業者 1 名が人手で 9 種類の意味属性（+その他） に分類したものを，評価データとした，他の作業者 1 名が同じデー夕に正解を付与した結果，一致率は $98.4 \%$ であった。精度評価は, 評価デー夕 2,500 件の 5 分割交差検定で行った。また, 評価データ以外のカテゴリは，評価データから無作為抽出した 2,000 件のカテゴリを学習データとした分類器により分類した. 分類実験では, 単語の形態素, 品詞を抽出するために, 形態素解析器 JUMAN Ver. 6.0 17を使用した。また本手法では JUMAN の代表表記を用いて語彙大系のインスタンスを拡張して使用した，例えば「代表表記：癌／がん」とあった場合，語彙大系のインスタンス“癌”と同じカテゴリに“がん”を追加する．SVM には TinySVM0.098を利用し， カーネルには線形カーネルを用いた。

## 4.1.2 記事分類

全記事から無作為抽出した 2,500 件を, 作業者 1 名が人手で 9 種類の意味属性（+その他）に分類したものを，評価データとした，判定基準は，意味属性に付与した語彙大系の普通名詞を参

考にした. 他の作業者 1 名が同じデー夕に正解を付与した結果, 一致率は $98.9 \%$ あっった. 学習データには, Wikipediaの記事に対して関根の拡張固有表現階層の分類を付与した渡邊らによる NAIST-jene ${ }^{19}$ のデータを用いた ${ }^{20}$. NAIST-jene のデータのうち, 本実験で使用する Wikipedia と記事名が一致し，かつ評価データに含まれない 11,554 件を学習データとした．学習データに対して意味属性を付与する際は，11,554 件を 5 分割交差検定したときの出力を用いた。また，上位概念カテゴリを判定するための間値の決定にもこの 11,554 件のデータを利用し，学習データにおいて最も $\mathrm{F}$ 值の高くなる閾値を評価に用いた.

## 4.1.3 固有名詞抽出

全記事から無作為抽出した 1,000 件に対し, 作業者 1 名が人手で固有名詞または普通名詞を付与したものを，評価データとした，MeCabによる固有名詞抽出では，MeCab 0.98 ${ }^{21}$ で IPA 辞書 Ver.2.7.0を用い, 英語の形態素の複数形を調べるために Apple Pie Parser 5.922を用いた. 英語 Wikipedia は 2011 年 1 月 15 日時点のダンプデータ23を用いた.

## 4.1.4 is-a 関係の判定

全カテゴリ間, 全カテゴリ - 記事間のリンクから無作為抽出した各 2,500 件に対し, 作業者 1 名が人手でis-a 関係か否かを判定したものを評価デー夕とした。他の作業者 1 名が同じデー

さらに，is-a 関係が成り立つ単語対に対しては，意味属性を付与した。

## 4.2 比較手法

本実験では，記事分類，カテゴリ間の is-a 関係判定，カテゴリ - 記事間の is-a 関係判定において関連研究との比較を行う. カテゴリの意味属性分類, 記事名の固有名詞抽出の関連研究は我々が知る限り存在しなかったため, 関連研究との比較を行わない. 本実験では関連研究を独自に実装した結果と比較を行う。

## 4.2.1 記事分類の比較手法

記事分類の比較手法には藤井ら (2010)の手法を用いた。藤井らは Wikipedia の記事を関根の拡張固有表現階層のカテゴリに分類する手法だが，本実験では本研究で設定した 9 種類の意味属性に分類し, 提案手法との比較を行う。記事中の定義文に出現する形態素とぺージのカテゴ
: / /$ sites.google.com/site/masayua/p/naist-jene

20 本手法の意味属性と, 関根の拡張固有表現階層の第一階層は異なる部分があるので, 一部修正して使用した.

$21 \mathrm{http}: / /$ sourceforge.net/projects/mecab/

22 http://nlp.nagaokaut.ac.jp/Apple_Pie_Parser

23 http://download.wikimedia.org/enwiki
}

リ情報を利用して学習を行い, one-vs-rest 法で分類対象となるページの固有表現クラスを一意に決定する。 ここでカテゴリ情報として, Wikipedia のカテゴリ階層構造の最上位のカテゴリである「主要カテゴリ」から対象記事までの最短パス上にあるカテゴリ名の末尾の形態素を素性として用いる。分類器の学習には本実験と同じ TinySVM0.09を用い, 学習データも本実験と同じものを用いた.

## 4.2.2 カテゴリ - 記事間の is-a 関係判定の比較手法

カテゴリ - 記事間の is-a 関係判定の比較手法には小林ら (2008)の手法を用いた. 彼らは語彙大系のカテゴリに is-a 関係となる Wikipediaのカテゴリを接続し, さらに, 分類されている記事をインスタンスとする手法を提案している。語彙大系の下位に構築されたカテゴリ - 記事間の is-a 関係のリンクと，提案手法で判定できたカテゴリ - 記事間の is-a 関係のリンクを比較する.小林ら (2008)の手法の概要を図 14 に示す.この図は, 語彙大系のカテゴリ「星」に Wikipedia のカテゴリと記事の対「変光星飞爆発変光星」を接続した例である．初めに，語彙大系のカテゴリのインスタンスに，末尾の文字列が照合する Wikipediaのカテゴリを，下位カテゴリ候補として対応づける (「星」と「変光星」が文字列照合する). 次に，このカテゴリの下位の記事の定義文からとれる上位語が，接続先の語彙大系のカテゴリまたはそれより上位のカテゴリのインスタンスと文字列照合すれば，カテゴリ－記事を語彙大系カテゴリの下位に接続する（記事「アメリカ変光星観測者協会」の上位語「国際非営利団体」は文字列照合しないが，上位語「爆発変光星」の「変光星」は文字列照合する). 本実験では, 語彙大系のカテゴリと Wikipedia のカテゴリのリンクが is-a 関係であるか否か（正しいか否か）に関係なく，語彙大系に接続した Wikipediaのカテゴリと記事のリンクを is-a 関係とみなし, 提案手法と比較する.

## 4.2.3 カテゴリ間の is-a 関係判定の比較手法

カテゴリ間の is-a 関係判定の比較手法には桜井ら (2008)の手法である「後方文字列照合」を用いた.「後方文字列照合」は,「空港ヶ日本の空港」のように, 子カテゴリ名の後方の文字列

図 14 小林ら (2008) の手法の概要

が親カテゴリ名であった場合，両者を is-a 関係とする手法である。しかしこれでは再現率が低いので，本実験では「アジアの空港ャ日本の空港」のように，親カテゴリと子カテゴリの末尾の形態素が一致した場合に両者を is-a 関係とみなす.末尾の形態素を得るために本実験と同じ JUMAN Ver. 6.0 を使用した.

## 5 実験結果

## 5.1 カテゴリと記事の意味属性分類

本手法では初めに，カテゴリと記事を 9 種類の意味属性へ分類した. カテゴリ分類精度は適合率 $98.0 \%$, 再現率 $98.1 \%$, 記事分類精度は適合率 $96.5 \%$, 再現率 $93.4 \%$ でった. Wikipedia のカテゴリ全体の $84.5 \%$ ( 34,142 件), 記事全体の $88.6 \%$ ( 421,873 件）が 9 種類の意味属性のいずれかへ分類された. カテゴリと記事分類の意味属性別と全体の精度, 分類数, 全体からみた分類数の割合を表 7 に示す.また, 図 15 , 図 16 に, 意味属性別と全体の精度のグラフを示す.

カテゴリ分類は記事分類より全体的に精度が高い.カテゴリ名は普通名詞が多いため, 意味属性に対応づけた語彙大系のカテゴリ情報との一致を素性にすることで高い精度が得られたと考える。適合率は全ての意味属性で $95 \%$ 以上で, 特に“人”, “地形”で適合率が $99 \%$ 以上と高かった。適合率を下げる誤りの約半数は, “その他”が付与されたカテゴリが， 9 種類の意味属性に分類されたことが原因だった. 再現率に関しては “イベント”を除けば全て $95 \%$ 以上である.特に“地名”, “地形”, “動植物” で再現率が $100 \%$ と高かった. “イベント”は種類が多様（表 1） なため学習が難しく, 再現率が他より低くなったと考える.

記事分類での適合率は, 最も低い具体物で $92.0 \%$, 最も高い動植物で $100 \%$ であった。記事名は固有名詞が多くカテゴリに比べて精度が落ちるが，記事に付与されたカテゴリ名や記事の定義文からとれる上位語のような普通名詞を素性に使用したり, 既に意味属性の確定している力テゴリ情報を素性に用いたりすることで高精度な分類ができたと考える。“組織”と “具体物”は他より適合率が低い。他より適合率が低い“具体物”の誤りの多くは，“その他”が付与されたカテゴリが “具体物”に分類されてしまったことが主な原因であった。一方“組織”で適合率が低い主な原因は，“施設”が “組織”に分類されたことにある。“施設”と“組織”は区別が曖昧なことがあり, 例えばカテゴリ「久慈ラジオ中継局」は本評価データでは “施設”を付与したが,分類器では “組織”に分類された。記事分類の再現率はカテゴリ分類の再現率より 4.7 ポイント低い.

再現率が特に低い“動植物”と“イベント”の分類誤りを調査したところ，記事と同じ意味属性のカテゴリが 1 つ付与されていないことが多いことがわかった。例えば，記事「国際切手展 (イベント)」に付与されたカテゴリは「切手 (具体物)」「郵趣 (その他)」なので, 記事と同じ意味属性のカテゴリは付与されていない，評価デー夕を調査したところ，“動植物”と“イ
表 7 カテゴリ，記事の意味属性分類精度（評価データ 2,500 件による）

図 15 カテゴリ分類の意味属性別と全体の精度

図 16 記事分類の意味属性別と全体の精度

ベント”ではそれぞれ $90.8 \%, 81.5 \%$ の記事に同じ意味属性のカテゴリが付与されていたのに対し, 再現率, 適合率がともに高い“人”と“創作物”ではそれぞれ $95.5 \%, 98.1 \%$ と高かった. このことから，カテゴリの意味属性が記事の意味属性の決定に深く関わっているといえる.

## 5.2 固有名詞抽出

本手法の固有名詞抽出手法では「1. MeCabを用いた手法」「2. 英語 Wikipedia のカテゴリを用いた手法」「3. 英語 Wikipedia の記事を用いた手法」の 3 種類の手法により is-a 関係を判定した， 3 手法のいずれでも普通名詞でなく，いずれかで固有名詞と判定されたカテゴリを固有名詞とした結果, 適合率 $95.2 \%$, 再現率 $70.2 \%$ であった。各手法と全ての手法を合わせた固有名詞抽出精度を表 8 に示す. 3 手法を組み合わせることで, 個々の精度より高精度で固有名詞抽出ができたといえる。しかし, 日本語 Wikipedia が英語 Wikipedia にリンクしている件数が少ないことで再現率が低くなっている. 全カテゴリ 40,385 件中, 英語 Wikipedia にリンクしているカテゴリ数と記事数はそれぞれ 20,713 件, 10,136 件24であった. 英語 Wikipedia にリンクが存在していることを前提条件とした場合，「2. 英語 Wikipediaのカテゴリを用いた手法」は再現率 $44.4 \%$ (25/54),「3. 英語 Wikipedia の記事を用いた手法」は再現率 83.6\% (102/122)であった．英語記事が存在さえすれば，高い再現率で固有名詞抽出が可能である．記事を用いた手法は，記事本文での記事名の表記を見ることで固有名詞を抽出するルールにより，本文を持たないカテゴリよりも再現率が高い.

本手法の固有名詞抽出において, 普通名詞を固有名詞としてしまった誤りでとくに多かったのは,「Independent Administrative Institution（独立行政法人）」「Japan Defense Ship（自衛官）」 のように，普通名詞にも関わらず英語表記の各形態素の頭文字が全て大文字のアルファベットだった場合である。また日本語 Wikipedia と英語 Wikipedia でカテゴリの意味が異なる場合に起きる固有名詞抽出誤りもあった. 例えば日本語 Wikipediaのカテゴリ「過去のジャニーズ所属者」は英語 Wikipedia のカテゴリ「Johnny's Jr.」にリンクしているが, 前者は普通名詞であり後者は固有名詞である.

## 5.3 is-a 関係判定

本手法では「1. 意味属性分類」「2. 固有名詞判定」「3. 文字列照合」の 3 種類の手法により is-a 関係を判定した。 3 手法のいずれでも not-is-a 関係と判定されなかったカテゴリ間，カテゴリ -

表 8 カテゴリ名の固有名詞抽出精度（評価デー夕 1,000 件による）

記事間のリンクを is-a 関係とした。その結果, Wikipediaの全てのカテゴリ間で適合率 $95.7 \%$,再現率 $81.9 \%$, is-a 関係数 50,396 件, カテゴリ - 記事間で適合率 $96.6 \%$, 再現率 $91.9 \%$, is-a 関係数 834,474 件であった. カテゴリ - 記事間よりカテゴリ間のほうが再現率が低いのは，カテゴリ - 記事間のほうが 9 種類の意味属性以外の is-a 関係が少ないことが原因である。サンプル調査の結果, 全 is-a 関係のうち 9 種類の意味属性以外の is-a 関係の割合は, カテゴリ間では $15.9 \%$, カテゴリ - 記事間では $4.7 \%$ でった．結果として，カテゴリ - 記事間のほうが削除される is-a 関係が少なく, カテゴリ間よりも再現率が約 10 ポイント高くなった.

9 種類の意味属性に限定した is-a 関係の精度は, カテゴリ間で適合率 $95.3 \%$, 再現率 $96.6 \%$, カテゴリ - 記事間で適合率 $96.2 \%$, 再現率 $95.6 \%$ であった. 本手法では 9 種類の意味属性以外の is-a 関係は抽出対象としていないため, 全体からみれば再現率は低い（カテゴリ間で $81.9 \%$, カテゴリ - 記事間で $91.9 \% ） か ゙ ， 9$ 種類の意味属性に範囲を限定すれば再現率は高かった（カテゴリ間で $96.6 \%$ ，カテゴリ - 記事間で $95.6 \%$ ）．is-a 関係の意味属性別と全体の精度，is-a 関係数を表 9 に，精度のグラフを図 17 , 図 18 に示す.カテゴリ間の is-a 関係の適合率は全ての意味属性で $95 \%$ 以上, 再現率は $93 \%$ 以上と, どの意味属性でも比較的高い精度が得られた。 カテゴリ - 記事間では, “イベント”以外で適合率と再現率が $91 \%$ 以上だが，“イベント”は適合率，再現率が他と比べて大幅に低い．分類誤りを見たところ，イベントは「1. 意味属性分類」の誤りが多いために is-a 関係の精度も低くなっていた。手法別の精度, 各手法の有効性, 誤り解析に関しての詳細は考察 6.3 節で述べる.

## 5.4 構築したオントロジー

本手法で構築したオントロジーの各種数値を表 10 に示す.ルートカテゴリ, ルート記事とは, 最上位カテゴリ（9 種類の意味属性）に直接リンクするカテゴリと記事を指す。言い換えると, Wikipedia 上で上位に is-a 関係の単語を持たないカテゴリと記事のことである。リーフカテゴリとは，Wikipedia 上で下位にis-a 関係のカテゴリを 1 つも持たないカテゴリを指す.

今回作成した Wikipediaのオントロジーのカテゴリ数は約 34,000 件, 記事数（インスタンス数）は約 422,000 件である。語彙大系は普通名詞と固有名詞を合わせると，カテゴリ数約 3,000 件, インスタンス数約 300,000 件なので, 本手法により大規模なオントロジーが構築できたといえる. 特に，カテゴリ階層の規模は語彙大系の 10 倍以上である.

ルートカテゴリ数とルート記事数はそれぞれ約 2,000 件，25,000 件であった。本手法では Wikipediaの is-a 関係のリンクをできるだけそのまま生かして1つに統一されたオントロジーを構築したが，それでも多量のルートカテゴリ，ルート記事が存在していた。表 10 を見ると，“地名”, “組織”, “イベント”で分類されたカテゴリ, 記事から見た, ルートカテゴリ, ルート記事数の割合が高い. 地名は part-of 関係のリンクが多く, 組織は関連会社や統合前の社名などがリンクすることが多いからである。また“イベント”は, そのイベントが起こる時期や場所, 関連
表 9 カテゴリ間，カテゴリ - 記事間の is-a 関係精度（評価デー夕 2,500 件による）

$※ 9$ 種の意味属性以外の is-a 関係を除いた精度.

※ is-a 関係と意味属性が共に正しければ正解とする。

図 17 カテゴリ間の is-a 関係判定精度

図 18 カテゴリ - 記事間の is-a 関係判定精度
表 10 構築したオントロジーの各種数値

} & \multirow[t]{2}{*}{} & \multirow[t]{2}{*}{} \\

する出来事にリンクされることが多いからである。“人”, “創作物” のルート記事数の割合は他に比べて低い。“人”, “創作物”は，1つの記事に多数のカテゴリが設定されていることが多いため，上位に is-a 関係のカテゴリを持つことが多いことが要因だと思われる。“地形”はルートカテゴリ，ルート記事の割合が共に低い。これは，“地形”が他の意味属性に比べて Wikipedia 上で is-a 関係によって体系化されやすいことを示している.

リーフカテゴリの深さの平均は全カテゴリ中で 6.9 であった. ここで言う「深さ」とは，最上位カテゴリからリーフカテゴリまでの最長ルートのリンク数を表す。例えば図 1 のカテゴリ

味属性と各意味属性における，全リーフカテゴリ数からみた各深さでのリーフカテゴリ数の割

味属性別に見ると，最も割合の高い深さは意味属性によって異なる，最も割合の高い梁さが 5 の動植物が最も浅く, 深さ 10 の地形が最も深かった. 動植物が最も浅いのは, 他の意味属性と異なり，「アジアの地形」や「日本のスポーツ選手」のように，地域別の分類（深い階層になりやすい）があまり存在せず，「爬虫類」や「テングダケ科」など分類学に基づく分類体系であることが多いためである.

最後に，抽出した is-a 関係のカテゴリ階層の例と，カテゴリ - 記事間の is-a 関係の例をそれぞれ表 11 , 表 12 に示す. 日本語語彙大系とは全く異なるカテゴリ階層と記事（インスタンス）

図 19 全意味属性と各意味属性における, 全リーフカテゴリ数からみた各深さでのリーフカテゴリ数の割合

を獲得できたといえる。

## 6 考察

## 6.1 関連手法との比較

## 6.1.1記事分類の関連手法との精度比較

関連手法である藤井らの手法と精度, 記事分類数を比較した結果を表 13 に示す. 藤井らの手法より本手法のほうが適合率で 4.9 ポイント, 再現率で 11.0 ポイント上回った. さらに, 分類
表 11 正しく構築できた is-a 関係のカテゴリ階層の例

表 12 正しく獲得できたカテゴリ - 記事の is-a 関係の例

表 13 記事の意味属性分類における藤井らの手法との精度比較

図 20 記事分類における藤井らの手法と提案手法の精度比較

数も提案手法のほうが約 32,000 件多い. 意味属性別と全体の精度の比較を図 20 に示す. 図 20 より，全ての意味属性で適合率と再現率が藤井らの手法を上回っていることがわかる。“人”と “施設”では両手法ともに適合率が高く差がないが，それ以外の意味属性では提案手法のほうが 5〜13 ポイント高い.

再現率の向上幅は適合率より大きく, 組織, 施設, 具体物, 創作物, イベントで，提案手法のほうが $15 \sim 20$ ポイント高くなっている. 本手法の記事分類では， より有効な素性を設定できたといえる。藤井らが，記事に付与されたカテゴリから主要カテゴリまでの最短経路の全てのカテゴリ名を素性に用いているのに対し，本手法では，記事のごく周辺の単語のみを利用しているためノイズとなる素性が少ない。また提案手法では，カテゴリに付与された意味属性を用いたり，定義文からとれる上位語や語彙大系を用いて素性の単語を抽象化することで，高精度な分類ができたと考えられる。さらに提案手法では is-a 関係の記事を持ちやすいカテゴリ（上位概念カテゴリ）を判定することで高い再現率を得られたと考えられる。

## 6.1.2 is-a 関係判定の関連手法との精度比較

カテゴリ間の is-a 関係判定の比較手法には桜井ら (2008)の手法, カテゴリ - 記事間の is-a 関係判定の比較手法には小林ら (2008)の手法を用いた。結果を表 14 , 表 15 に示す. 提案手法のカテゴリ間の is-a 関係の適合率は桜井らの手法より 1.9 ポイント低い.これは，桜井らの手法は is-a 関係を判定するための強力な文字列照合を用いているためだと考えられる. リーフカテ
表 14 カテゴリ間の is-a 関係判定精度の比較

※ 9 種の意味属性以外の is-a 関係も含んた精度.

※意味属性に関係なく, is-a 関係が正しければ正解とする。

表 15 カテゴリ - 記事間の is-a 関係判定精度の比較

※ 9 種の意味属性以外の is-a 関係も含んだ精度.

※意味属性に関係なく， is-a 関係が正しければ正解とする。

ゴリの深さを比較すると, 桜井らの手法で構築したカテゴリ階層のリーフカテゴリの深さの平均が 2.7 だったのに対し, 提案手法のリーフカテゴリの深さの平均は $6.2^{27}$ であった. 提案手法のほうが深いカテゴリを階層を構築できているといえる。一方小林ら (2008) の手法と比較すると，is-a 関係の適合率は 3.6 ポイント高い，小林ら (2008)の手法では，「たつの市飞本竜野駅」「柳井市〔柳井警察署」といった，親名が地名である is-a 関係誤りがほとんどである。語彙大系において, “市”と“駅”, “警察署”は同じカテゴリ“公共機関”に属するため, 小林ら (2008)の手法ではこれらを is-a 関係と判定してしまい，適合率が低くなっていた．提案手法では「親名が固有名詞なら not-is-a 関係とする」という規則により，これらを正しく判定できている。再現率は, どちらの関連手法よりも, 提案手法のほうが 24 ポイント以上高い.

次に, 提案手法と比較手法で抽出できた is-a 関係のリンクを持つ単語対を比較する。評価デー 夕のうち，桜井らの手法のみで正しく抽出できた is-a 関係は 178 件 $(178 / 1802=9.9 \%)$, 提案手法のみで正しく抽出できた is-a 関係は 613 件 $(613 / 1802=34.0 \%)$ であった。提案手法のみで抽出できる is-a 関係数のほうが桜井らの手法のみで抽出できる is-a 関係数より圧倒的に多いといえる。桜井らの手法のみ，提案手法のみで正しく抽出できたカテゴリ間の is-a 関係の例を表 16 に示す，桜井らの手法では，文化，歴史，教育，政治など，提案手法で「抽象的すぎる単語は is-a 関係になりにくい」として除外した分野でis-a 関係を抽出できている。また桜井らの手法は, 提案手法では分類器をつくれるほどのカテゴリ，記事数がなくて対象外とした，スポーツや賞，法律でも is-a 関係を抽出できている。一方提案手法は，カテゴリ間の文字列に関係なく

表 16 桜井らの手法と本手法により抽出できるカテゴリ間の is-a 関係の例

is-a 関係を抽出できているため，桜井らの手法よりも多くの is-a 関係のカテゴリ対を抽出することができた。

評価データのうち, 小林ら (2008)の手法のみで正しく抽出できた is-a 関係は 61 件 $(61 / 1865=$ $3.3 \%)$, 提案手法のみで正しく抽出できた is-a 関係は 506 件 $(506 / 1865=27.1 \%)$ であった. 提案手法のみで抽出できる is-a 関係数のほうが小林ら (2008) の手法のみで抽出できる is-a 関係数より圧倒的に多いといえる。 小林ら (2008)の手法のみ, 提案手法のみで抽出できるカテゴリ間の is-a 関係の例を表 17 に示す。桜井らの手法と同様，本手法で対象外とした分野でis-a 関係を抽出できている．小林ら (2008)の手法では，カテゴリ名や，記事の定義文からとれる上位語が語彙大系のインスタンスと文字列照合しないと, is-a 関係を抽出することができない. しかし提案手法では, 機械学習による分類器を用いることで, アウトレットモールやベーシスト，アプリのように語彙大系に存在しない単語から成る is-a 関係でも抽出可能である.

以上により is-a 関係でないリンクを判定することで，より高い再現率で is-a 関係を抽出する提案手法の有効性が示された.

## 6.2 カテゴリと記事の意味属性分類に関する考察

## 6.2.1 カテゴリ分類器の素性について

本手法ではカテゴリ分類の際, Wikipedia から抽出できる 5 種類の単語（対象カテゴリ名, 親カテゴリ名, 子カテゴリ名, カテゴリ中の記事の定義文からとれる上位語, カテゴリと末尾の
表 17 小林ら (2008)の手法と本手法により抽出できるカテゴリ - 記事間の is-a 関係の例

表 18 カテゴリ分類における，素性に用いる 5 種類の単語を組み合わせたときと，各単語を除いたときの精度比較（評価データ 2,500 件の 5 分割交差検定による）

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{3}{|c|}{} \\

形態素が一致する記事の定義文からとれる上位語）を素性に用いている．各単語が分類器の精度にどの程度影響を与えるかを比較するため, 各単語を用いなかった場合と全ての単語を用いた場合の SVM 分類器の精度（再分類を適用前）を表 18 に示す. 表 18 より, 全ての単語を用いたほうが各単語を除いた場合より精度が高いことから，各単語はSVM 分類器の素性において有効であるといえる。その中でも特に親カテゴリを除いたときに精度が最も下がることから，親カテゴリが最も精度向上に貢献していることがわかる.

## 6.2.2 カテゴリ分類において再分類法を用いる効果

本手法でのカテゴリ分類では，再分類法により再現率の向上を図った。再分類前と後の精度の違いを表 19 に，再分類試行回数ごとの精度と未抽出カテゴリ数の変化を図 21 に示す。表 19 ,
表 19 カテゴリ分類における，再分類法を適用する前と後の精度比較

※ 1 全体の分類数とは, 9 種類の意味属性+その他のカテゴリ名の 10 個の分類器のいずれかへ分類されたカテゴリ数を指す。

※ 2 分類数が飽和するまで再分類の試行を繰り返したときの数値である. 本実験での試行回数は 6 回である.

図 21 カテゴリ分類における再分類回数ごとの精度と未抽出カテゴリ数の変化

図 22 カテゴリ分類における再分類法適用前と適用後の精度比較

図 21 より, 適合率をあまり下げることなく ( -0.3 ポイント $)$, 再現率を大幅に向上させることができ $(+2.7$ ポイント $)$, 再分類法が有効であることが示された. 最初の分類器の学習データはあらかじめ人手で正解を付与した適合率 $100 \%$ の 2,000 件のデータであるが，次のステップ（1 回目の再分類）では学習デー夕は 38,262 件（適合率 $98.3 \%$ ）となる。学習デー夕の適合率が 1.7 ポイント低下しているが, 学習デー夕量は約 19 倍になっている. 結果として, 未分類のカテゴリを分類可能となり, 再現率が大幅に向上し $\mathrm{F}$ 値が向上した.

再分類前と後での，意味属性別と全体の精度の変化を表したグラフを図 22 に示す. 図 22 より, 全ての意味属性で, 適合率をほとんど下げることなく, 再現率を大幅に向上できていることが示された. 特にイベント名での再現率は約 10 ポイントも向上している. イベント名は, 表 1 でも示したように分類する単語の種類が多様なため, 学習デー夕を増やしていく再分類法が有効に働いたと考えられる。

## 6.2.3記事分類器の素性について

本手法での記事分類では, カテゴリを機械学習による分類器で分類した後に, そのカテゴリがどの意味属性に分類されたかの情報を用いる素性を利用している。そこで，カテゴリが分類された意味属性の情報を用いる場合と用いない場合での分類記事数の比較（上位概念カテゴリ適用前）を表 20 に示す。表 21 より，カテゴリの分類結果に依存する素性を用いると，用いな
表 20 カテゴリの分類結果に依存する記事分類の素性の効果

 & 適合率 [\%] & 再現率 [\%] & F 值 [\%] & 全体の分類数 \\

有 & $96.8(2082 / 2151)$ & $92.1(2082 / 2260)$ & 94.4 & 415,514 \\

表 21 上位概念カテゴリによる記事分類前と後の精度と分類数

い場合と比べて適合率は 1.0 ポイント, 再現率は 2.6 ポイント向上した. カテゴリの分類結果を用いることで，より精度高く記事を分類できたことがわかる.

## 6.2.4記事分類において上位概念カテゴリを用いる効果

本手法での記事分類では，記事を機械学習による分類器で分類した後に，「上位概念カテゴリ」 を用いることで未分類の記事を分類する手法を提案した。上位概念カテゴリ適用前と後の精度と分類記事数の比較を表 21 に示す。表 21 より，上位概念カテゴリを適用させると適合率は 0.3 ポイント下がるが再現率は 1.3 ポイント向上し, $\mathrm{F}$ 值が 0.5 ポイント向上した. これにより新たに 6,359 件の記事を分類することができた. 図 23 に意味属性別と全体の精度を比較したグラフを示す. 特に“組織”, “具体物”, “創作物”, “イベント”で再現率が向上している。特に“イベント”は適合率を下げることなく再現率が 8.7 ポイント向上した. “イベント”は多様な単語が分類されるため機械学習による分類器での分類が難しいが, 上位概念カテゴリを用いることで多くの記事を分類できた.

本手法では既に決定したカテゴリの意味属性と記事の意味属性が一致する割合を求め, この割合があらかじめ決めた閾値以上であれば, そのカテゴリを上位概念カテゴリとした. 閾値 $100 \%$ ぞ上位概念カテゴリとした場合は，適合率 $96.6 \%$, 再現率 $93.0 \%$ となり，適用する前より適合率が 0.2 ポイント下がり再現率が 0.9 ポイント上がった. 一方, 閾值 $0 \%$ で位概念カテゴリとした場合は, 適合率 $95.0 \%$, 再現率 $94.4 \%$ となり, 適用する前より適合率が 1.8 ポイント下がり再

記事が，カテゴリと同じ意味属性に分類された状態である。評価データ 2,500 件において, 閥值を変化させたときの適合率と再現率の関係を図 24 に示す. 図 24 をみると, 再現率が $93 \% \sim$ 93.5\%（間値 100\%〜80\%）の間は適合率がほぼ変わらず，再現率が $93.5 \% を$ 超えると再現率に

図 23 上位概念カテゴリによる記事分類前と後の精度比較

図 24 上位概念カテゴリ判定の際の閾値による適合率と再現率の関係

※上位概念カテゴリを適用する前に分類した記事も精度に含志。

※学習データでなく評価デー夕 2,500 件による精度である.

比例して適合率が低下している。これは，カテゴリ名と意味属性の異なる記事（ノイズ）が多少含まれていても ( $20 \%$ 以下), そのカテゴリの上位概念カテゴリらしさは, 全くノイズがないときとあまり変わらないことを示している.

## 6.3 not-is-a 関係判定手法に関する考察

本手法では 3 種類の手法を用いてカテゴリ間，カテゴリ - 記事間の not-is-a 関係を判定することで is-a 関係のリンクを判定している. 本節では手法別の精度, 各手法の有効性, 誤り解析に関して述べる.

各手法と全ての手法を組み合わせた is-a 関係判定精度を表 22 に示す. 表 22 より， 3 手法において，全てをis-a 関係とみなしたときより $\mathrm{F}$ 値が高いことから，個々の手法は is-a 関係判定において有効であるといえる。また, 全ての手法を組み合わせることで, 個々の適合率より高い適合率で is-a 関係が判定できていることがわかる.

個々の手法を見れば， 3 手法とも is-a 関係を判定するために有効だ゙， 3 手法を組み合わせるにあたり，貢献度の高い手法と低い手法があると考えた. 例えば手法 2 で判定できる is-a 関係のほとんどを手法 1 で判定できれば，手法 2 の貢献度は低いといえる。そこで表 23 において，全ての手法を組み合わせた時と，各手法を除いたときの精度を比較した。こうすることで，除いた手法が全ての手法を組み合わせた時の精度に与える影響がわかる。例えば表 23 の上表では，カテゴリ間において，「1．意味属性分類による手法」を適用すると，適用しなかった場合より適合率が 14.1 ポイント上がり, 再現率が 17.1 ポイント下がり, F 値が 1.3 ポイント下がることを示している。この場合 $\mathrm{F}$ 値は減少したが適合率を 14.1 ポイント上げているため, 手法 1
表 22 カテゴリ間，カテゴリ - 記事間の is-a 関係精度（評価デー夕 2,500 件による）

$※ 9$ 種の意味属性以外の is-a 関係も含んだ精度.

※意味属性に関係なく, is-a 関係が正しければ正解とする。

表 23 カテゴリ間，カテゴリ - 記事間の is-a 関係判定における，全ての手法を組み合わせたときと，各手法を除いたときの精度比較（評価デー夕 2,500 件による）

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{3}{|c|}{} \\

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{3}{|c|}{} \\

$※ 9$ 種の意味属性以外の is-a 関係も含んだ精度.

※意味属性に関係なく，is-a 関係が正しければ正解とする。

は適合率において貢献度が高い手法である.「2. 固有名詞抽出による手法」を適用した場合は,手法 1 ほど適合率は上がらない $(+2.3$ ポイント $)$ が再現率の減少が少なく（ -0.2 ポイント $)$, $\mathrm{F}$ 值が 0.8 ポイント向上するため，有効な手法といえる。「3. 文字列照合による手法」を適用した場合は，適合率が 0.5 ポイント上がるが再現率が 0.3 ポイント下がり， $\mathrm{F}$ 値には変化がなかった. 手法 3 は精度の変化が小さく, 他の 2 手法と重複しない not-is-a 関係をほとんど判定できないといえる。しかし，再現率より適合率を重視する場合は有効である.

カテゴリ - 記事間における全ての手法を組み合わせた時と，各手法を除いたときの精度比較

を表 23 の下表に示す.カテゴリ - 記事間で「1. 意味属性分類による手法」を適用した場合は， カテゴリ間と同程度適合率が向上するが，再現率の減少が 7.2 ポイントと少ないため $\mathrm{F}$ 値が向上する ${ }^{28}$ 「 「2. 固有名詞抽出による手法」を適用した場合は，カテゴリ間と同様で，手法 1 ほど適合率は上がらない $(+1.9$ ポイント $)$ が再現率の減少が少なく ( -0.9 ポイント $), \mathrm{F}$ 値が 0.4 ポイント向上するため，有効な手法である「「3．文字列照合による手法」を適用した場合は， 2,500 件の評価データにおいて, 他の 2 手法と重複しない not-is-a 関係が 1 件も存在しなかった。カテゴリ - 記事間において，「3．文字列照合による手法」のみで判定できる is-a 関係は非常に少ないといえる。この結果は, Wikipediaにおいて, 普通名詞かつ意味的に近い単語対はもとからあまりリンクしないことを示しているといえる.

各手法のみで抽出できたカテゴリ間，カテゴリ - 記事間の not-is-a 関係のリンクの例を表 24

表 24 正しく not-is-a 関係と判定されたカテゴリ間，カテゴリ - 記事間

「1. 意味属性分類による is-a 関係判定手法」のみで判定できた not-is-a 関係

「2. 固有名詞抽出による is-a 関係判定手法」のみで判定できた not-is-a 関係

「3. 文字列照合による is-a 関係判定手法」のみで判定できた not-is-a 関係

$ 再現率の減少が少ない理由は結果 5.3 節で述べた.
}

に示す. 表 24 で示すように, 手法 1 では様々な種類の単語対を not-is-a 関係とみなせているため, 最も適合率に貢献できている。しかし手法 1 では, 意味的に近い単語対が not-is-a 関係になる場合は判定できないため, 手法 2,3 が必要となってくる. 手法 2 では, 地名, 創作物名,組織名など固有名詞のカテゴリ名が多い意味属性で貢献度が高かった. 特に多かったのは, 県名匹市名のような part-of 関係, 雑誌名と掲載漫画名の関係, 企業名とその関連企業名の関係である。手法 3 のみで判定できる not-is-a 関係は少ないが, 普通名詞で意味的に近い単語対の not-is-a 関係の判定の際に有効である.

一方, 本手法による not-is-a 関係の判定誤りを見たところ, 誤りの主な原因は以下の 3 種類であった.

1. 意味属性分類を誤った場合

2. 固有名詞抽出を誤った場合
3. 3 種類の is-a 関係判定手法の精度が $100 \%$ でも判定できない is-a 関係の場合各誤り原因による，適合率を下げる誤り例と再現率を下げる誤り例を表 25 , 表 26 に示す。本手法では,「日本の内閣総理大臣（人）ゅ内閣総理大臣夫人（人）」のうに，親名が普通名詞で親子が意味的に近く, is-a 関係判定手法「3. 文字列照合による手法」が適用できなかった場合に，not-is-a 関係を is-a 関係としてしまう（表 25 の 3つ目の表）。また，「チュニジアの世界遺産 (具体物) レイシュケル湖 (地形)」のように, 親子の意味属性が違う is-a 関係を not-is-a 関係としてしまう（表 26 の 3 つめの表）しかし我々は後者の誤りは問題ないと考える。なぜなら，もし「チュニジアの世界遺産（具体物）レイシュケル湖（地形）」をis-a 関係とみなしてしてしまった場合,「イシュケル湖」を上位に辿ったときに最上位カテゴリ“具体物”につながってしまうからである。オントロジーにおける is-a 関係は, 先祖 - 子孫でも成り立たなければならないので, ここでは両者を not-is-a 関係と判定してしまったほうが結果として適切となる.

## 7 関連研究

## 7.1 Wikipedia から is-a 関係を抽出する研究

Ponzetto and Strube (2007) は, 英語Wikipedia のカテゴリ間のリンクから is-a 関係と not-is-a 関係を抽出する手法を提案している。桜井ら (2008)は, Ponzetto and Strubeの手法の一部を利用した手法に独自の手法を加え, 日本語 Wikipedia に対し, カテゴリ階層から is-a 関係のオントロジーを抽出する手法を提案している。 玉川ら (2010) は桜井らの手法に加え, カテゴリ名と Infoboxテンプレートを文字列照合する手法によりさらに多くのカテゴリ間の is-a 関係を抽出している。また, 記事中から「分類」や「種類」といった語を含む節見出しと箇条書きの対をis-a 関係として抽出している。

これらの手法は is-a 関係のリンクの抽出に文字列照合を用いるため, 適合率は高いが再現率
表 25 is-a 関係判定における，適合率を下げる誤りの例

意味属性分類誤りによる適合率を下げる誤り

 & 備考 \\

固有名詞抽出誤りによる適合率を下げる誤り

 & 備考 \\

3 種類の is-a 関係判定手法の精度が $100 \%$ も゙判定できない適合率を下げる誤り

 & 備考 \\

が低い，一方提案手法では，意味属性分類や固有名詞抽出などを用いて not-is-a 関係を判定することにより，文字列照合では抽出できないis-a 関係を抽出できた.

次に隅田らの研究 (隅田他 2009) 及びその成果が利用されている鳥式改 (鳥澤, 隅田, 野口,柿澤，風間，De Saeger，村田，山田，塚脇，太田 2009)と比較を行う，隅田らは, Wikipedia の記事中の箇条書き構造を利用して is-a 関係の単語対を獲得する研究を行った. 彼らは初めに,節見出しとその下位の節見出し，節見出しとその下位の箇条書きをis-a 関係の単語対の候補とし，SVM による分類器でフィルタリングを行って is-a 関係の単語対を獲得している。これを

きたとしている。これに対し本手法では，（隅田らが抽出対象としたWikipediaの記事構造では
表 26 is-a 関係判定における，再現率を下げる誤りの例意味属性分類誤りによる再現率を下げる誤り

 & 備考 \\

固有名詞抽出誤りによる再現率を下げる誤り

 & 備考 \\

 & 備考 \\

なく）Wikipediaのカテゴリ階層から抽出を行い，カテゴリ間においては $95.3 \%$ の精度（再現率

することに成功した．両手法は抽出対象が異なるため直接の比較はできないが，隅田らが論文で報告している ${ }^{29}$ ように隅田らの手法で精度, 再現率を共に $95 \%$ 以上にするのは不可能であり, Wikipedia からの上位下位関係抽出性能としては我々の提案手法に優位性がある.

さらに，隅田らの手法で獲得した上位下位関係は局所的であり，これを階層化することで才ントロジー化する（もしくは既存のオントロジーに連結する）ためには多くの手作業によるクリーニングを要する (黒田，李，野澤，村田，鳥澤 2009) だけでなく，場合によって上位下位関

係を詳細化する ${ }^{30}$ 必要がある (山田，橋本，呉，鳥澤，黒田，De Saeger，土田，風間 2012)。一方, 本手法では最初から階層化されたオントロジー構築を目指し, そのための手法を高精度で実現する手法を提案した，以上の比較から，本提案手法は隅田らの手法に対して一定の有用性を持つと考える。

## 7.2 既存のオントロジーのカテゴリに Wikipediaのカテゴリを結合する研究

Suchanek et al. (Suchanek et al. 2007) は YAGO において英語 Wikipedia のカテゴリを英語 WordNet のクラス (synset)の下位クラスとして統合することにより, 高精度なオントロジー構築を試みている．YAGO は英語 WordNet に英語 Wikipediaを統合する手法だが，カテゴリ名が複数形であれば概念を表すカテゴリになりやすい，というような英語依存の手法を利用しているためそのままでは日本語 Wikipedia に適用できない。そのため小林ら (2008) は, YAGO とは異なる手法で, 日本語語彙大系とWikipediaを統合する手法を提案している. 彼らは語彙大系の意味属性に対して Wikipediaのカテゴリ名と, そのカテゴリの下位記事の定義文からとれる上位語が語彙大系のインスタンスに文字列照合した場合, カテゴリ - 記事の対を語彙大系の 1 つ下位に接続している。小林ら (2010)は, is-a 関係の記事 31 の割合が閥值以上のカテゴリを上位概念カテゴリとみなし，上位概念カテゴリと全ての下位記事を is-a 関係として抽出している。 これらの手法では, Wikipediaのカテゴリ階層の情報が失われてしまう.

そこで我々は, 小林ら (2008)の手法と桜井ら (2008)の手法を組み合わせ, 語彙大系の下位に Wikipedia から抽出した部分的な階層構造を接続した (柴木他 2009). この手法は, Wikipedia のカテゴリ階層の情報をオントロジーに組み込めている点で上記の 2 手法と異なる. しかし上位階層に既存のオントロジーを用いているため, Wikipediaの上位のカテゴリ階層がオントロジーに組み込めないという問題がある。またこれらのように既存のオントロジーに Wikipedia を接続する手法では, is-a 関係のリンクの抽出や既存のオントロジーの接続に文字列照合を用いるため, 適合率は高いが再現率が低い.

本手法では最上位カテゴリ（意味属性）を独自に設定し，機械学習による分類器でカテゴリと記事を意味属性に分類することで, 既存のオントロジーのインスタンスに文字列照合しない Wikipediaのカテゴリと記事もオントロジーに組み込めた.

## 7.3 既存のオントロジーのカテゴリに Wikipedia の記事を分類する研究

Wikipedia 中の単語を関根らの拡張固有表現階層のカテゴリに分類する研究に, 渡邊ら (2008),杉原ら (2009), 藤井ら (2010)の研究がある。渡邊らは, CRF を用いて, Wikipedia の記事中の

箇条書き構造になっている単語を関根の拡張固有表現階層のカテゴリに分類している．杉原ら (2009) は, Wikipedia の記事の見出し語を関根の拡張固有表現階層のカテゴリに分類する手法を提案している。記事のカテゴリ情報を利用して学習を行い, one-vs-rest 法で記事の固有表現クラスを一意に決定する。ここでカテゴリ情報として, Wikipediaのカテゴリ階層構造の最上位のカテゴリである「主要カテゴリ」ページから対象ページまでの最短パス上にあるカテゴリ名を素性として用いている。藤井らは，固有名詞表現抽出のための素性作成を目的とし，杉原らと同じ手法で Wikipedia の記事の見出し語を関根の拡張固有表現階層のカテゴリに分類している，ただし，杉原らの設定した素性に加え，記事の第一文の形態素も用いている.

これらの手法と提案手法における記事の意味属性分類を比較した結果，提案手法のほうが高精度な記事分類ができることがわかった。提案手法では，記事に付与されたカテゴリの意味属性を素性に用いたり，定義文からとれる上位語や語彙大系を用いて素性の単語を抽象化したり， is-a 関係の記事を持ちやすいカテゴリ（上位概念カテゴリ）を判定したりすることで，高い適合率と再現率が実現できたためだと考えられる.

## 7.4 Wikipedia からオントロジーを構築するその他の研究

Bizer et al. (2009) は Wikipediaの記事中にある Infobox, カテゴリなどの半構造化された情報から RDFトリプルを抽出し, DBpedia として公開している. DBpedia は他のオントロジー である YAGO などと関連づけられている。桜井ら (2008) や玉川ら (2010) も Infobox を用いて Infoboxトリプル（インスタンス - プロパティープロパティの値）を抽出する研究を行っている.

中山ら (2008)は, Wikipedia 中の記事間のリンク構造を解析することで単語の意味関係を抽出する手法を提案している。 中山らは記事間のリンク数や間接的にリンクしている場合のリンクの距離などを用いて記事から重要文を抽出し，重要文を構文解析することで単語対とその意味関係を抽出している。

提案手法では，これらの関連研究で用いたInfobox や記事間のリンク関係は利用せず，カテゴリ間やカテゴリ - 記事間のリンクのみを利用してオントロジーを構築した。しかしこれらの知識を用いることでオントロジーを拡張したり精度を向上させたりできる可能性がある。

## 8 結論

本研究では, Wikipedia のカテゴリ階層と記事を利用し, “人”, “組織”, “施設”, “地名”, “地形”, “具体物”, “創作物”, “動植物”, “イベント”の 9 種類の意味属性を最上位カテゴリとした，1つに統一された is-a 関係のオントロジーを構築した．我々はカテゴリ間とカテゴリ－記事間の is-a 関係を高再現率で判定することを目的とした場合，is-a 関係を判定するよりnot-is-a 関係を判定するほうが容易であると考えた。そこで本手法ではカテゴリ間とカテゴリ - 記事間

の not-is-a 関係のリンクを高い精度で削除し, 残ったリンクをis-a 関係とみなすことで, 多くのカテゴリと記事を組み込んだいくつかの階層を生成した。リンクの not-is-a 関係を判定するために，以下の 3 つの判定手法を用いた.

1. 意味属性分類による判定

2. 固有名詞抽出による判定

3. 文字列照合による判定

3 手法のいずれかで not-is-a 関係と判定されなかったカテゴリ間, カテゴリ - 記事間のリンクを is-a 関係とした。is-a 関係のリンクでつながるカテゴリと記事の階層を 1 の階層と考えると，同じ意味属性のカテゴリと記事からなる部分的な階層が複数できることになる．新たに定義した 9 種類の意味属性からなる深さ 1 の上位階層の下位に接続することで，1つに統一された階層を再構成した。

3 手法を組み合わせた結果， 9 種類の意味属性に限定した is-a 関係の判定精度は, カテゴリ間で適合率 $95.3 \%$, 再現率 $96.6 \%$, is-a 関係数 50,396 件, カテゴリ - 記事間で適合率 $96.2 \%$, 再現率 $95.6 \%$, is-a 関係数 834,474 件であった. 構築したオントロジーは, Wikipediaの全カテゴリの $84.5 \%$ (約 34,000 件), 全記事の $88.6 \%$ (約 422,000 件）が組み込まれていることから, 非常に大規模な Wikipediaのオントロジーが構築できたといえる.

一方 Wikipediaの全てのカテゴリ間とカテゴリ - 記事間での is-a 関係の精度は, カテゴリ間で適合率 $95.7 \%$, 再現率 $81.9 \%$, カテゴリ - 記事間で適合率 $96.6 \%$, 再現率 $91.9 \%$ でった。カテゴリ間の is-a 関係の判定精度は，比較手法より適合率が 1.9 ポイント低下したが，再現率は 24.2 ポイント向上した。またカテゴリ - 記事間の is-a 関係の判定精度は, 比較手法より適合率は 3.6 ポイント高く, 再現率も 24.0 ポイント高かった. 上位のカテゴリに語彙大系を用いずに 9 種類の意味属性を用いたことで，比較手法より多くのカテゴリと記事をオントロジーに組み込めた。提案手法では 3 種類の手法を用いて not-is-a 関係を高い精度で削除することでis-a 関係を判定するという手法により, 比較手法とほぼ同程度の適合率で, 比較手法よりも圧倒的に高い再現率で is-a 関係を判定できた.

## 参考文献

Bizer, C., Lehmann, J., Kobilarov, G., Auer, S., Becker, C., Cyganiak, R., and Hellmann, S. (2009). "DBpedia-A crystallization point for the web of data." Web Semantics: Science, Services and Agents on the World Wide Web, 7 (3), pp. 154-165.

Fellbaum, C. (1998). WordNet: An Electronic Lexical Database (Language, Speech, and Communication). The MIT Press.
藤井裕也, 飯田龍, 徳永健伸 (2010). Wikipedia 記事を利用した曖昧性のある表現の固有表現クラス分類. 言語処理学会第 16 回年次大会講演論文集 A1-4.

池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1997). 日本語語彙大系. 岩波書店.

小林暁雄, 増山繁, 関根聡 (2008). 日本語語彙大系と日本語ウィキペディアにおける知識の自動結合による汎用オントロジー構築手法. 情報処理学会研究報告 NL-187-2, pp. 7-14.

小林暁雄, 増山繁, 関根聡 (2010). Wikipedia と汎用シソーラスを用いた汎用オントロジー構築手法. 電子情報通信学会論文誌 D, 情報・システム, 12, pp. 2597-2609.

黒田航, 李在鎬, 野澤元, 村田真樹, 鳥澤健太郎 (2009). 鳥式改の上位語データの人手クリー ニング. 言語処理学会 15 回大会発表論文集, pp. 76-79.

森田武史, 山口高平 (2010). オントロジー学習の現状と動向. 人工知能学会誌, 25 (3), pp. 354-365.中山浩太郎, 原隆浩, 西尾章治郎 (2008). 自然言語処理とリンク構造解析を利用したWikipedia からの Web オントロジ自動構築に関する一手法. データ工学ワークショップ (DEWS) A3-2. Ponzetto, S. P. and Strube, M. (2007). "Deriving a large scale taxonomy from Wikipedia." In Proceedings of the 22nd Conference on the Advancement of Artificial Intelligence (AAAI), pp. 1440-1445.

桜井慎弥, 手島拓也, 石川雅之, 森田武史, 和泉憲明, 山口高平 (2008). 汎用オントロジー構築における日本語 Wikipedia の適用可能性. 人工知能学会第 18 回セマンティック Web とオントロジー研究会 SIG-SWO-A801-06.

柴木優美, 永田昌明, 山本和英 (2009). 日本語語彙大系を用いた Wikipedia からの汎用オントロジー構築. 情報処理学会研究報告 NL194-4.

Suchanek, F. M., Kasneci, G., and Weikum, G. (2007). "Yago: A core of semantic knowledge unifying wordnet and Wikipedia." In Proceedings of the 16th International Conference on World Wide Web (WWW), pp. 697-706.

杉原大悟, 増市博, 梅基宏, 鷹合基行 (2009). Wikipedia カテゴリ階層構造の固有名詞分類実験における効果. 情報処理学会研究報告 NL-189-9, pp. 57-64.

隅田飛鳥, 吉永直樹, 島澤健太郎 (2009). Wikipedia の記事構造からの上位下位関係抽出. 自然言語処理, 16 (3), pp. 3-24.

玉川奨, 桜井慎弥, 手島拓也, 森田武史, 和泉憲明, 山口高平 (2010). 日本語 Wikipedia からの大規模オントロジー学習. 人工知能学会論文誌論文特集「2009 年度全国大会近未来チャレンジ」, $25(5)$, pp. 623-636.

鳥澤健太郎, 隅田飛鳥, 野口大輔, 柿澤康範, 風間淳一, Stijn De Saeger, 村田真樹, 山田一郎, 塚脇幸代, 太田公子 (2009). ウェブ検索ディレクトリの自動構築とその改良一鳥式改一. 言語処理学会 15 回大会発表論文集, pp. 478-481.
山田一郎, 橋本力, 呉鍾勲, 鳥澤健太郎, 黒田航, Stijn DeSaeger, 土田正明, 風間淳一 (2012). Wikipedia を利用した上位下位関係の詳細化. 自然言語処理, 19 (1), pp. 3-23.渡邊陽太郎, 浅原正幸, 松本裕治 (2008). グラフ構造を持つ条件付確率場による Wikipedia 文書中の固有表現分類. 人工知能学会論文誌, 23 (4), pp. 245-254.

## 略歴

柴木優美：2011年 3 月長岡技術科学大学大学院工学研究科修士課程電気電子情報工学専攻修了。修士 (工学)。在学中は Wikipedia を用いてオントロジー を構築する研究に従事.

永田昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学基礎研究所主幹研究員.工学博士. 統計的自然言語処理の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

山本和英：1996 年豊橋技術科学大学大学院工学研究科博士後期課程システム情報工学専攻修了. 博士（工学）。1996 年～2005 年（株）国際電気通信基礎技術研究所 (ATR) 研究員 (2002 年 2005 年客員研究員). 1998 年中国科学院自動化研究所国外訪問学者. 2002 年より長岡技術科学大学電気系, 現在准教授. 言語表現加工技術（要約, 換言, 翻訳), テキストマイニングなどに興味がある. 言語処理学会, 人工知能学会, 情報処理学会, 各会員. 2012 年より電子情報通信学会言語理解とコミュニケーション研究会研究専門委員長. e-mail: yamamoto@jnlp.org

$(2011$ 年 9 月 22 日
(2012 受付)
年 4 月 3 日再受付 $)$
$(2012$ 年 7 月 19 日 $\quad$ 再々受付 $)$
$(2012$ 年 9 月 11 日採録)


# 国語教育的評価項目を考慮した機械学習による日本語文章の 自動評価と評価モデルの構築

藤田 彬 $\dagger$ ・藤田 央 ${ }^{\dagger} \cdot$ 田村 直良 $^{\dagger}$

本稿では，文章に対する評点と国語教育上扱われる言語的要素についての特徴量か ら，個々の評価者の文章評価モデルを学習する手法について述べる。また，学習し た文章評価モデルにおける素性毎の配分を明示する手法について述べる。評価モデ ルの学習には SVR を用いる．SVR の教師データには, 「表層」「語」「文体」「係り 受け」「文章のまとまり」「モダリティ」「内容」というカテゴリに分けられる様々な 素性を用意する。これらには日本の国語科教育において扱われる作文の良悪基準に 関わる素性が多く含まれる。なおかつ, 全ての素性が評価対象文章に設定される論題のトピックに依存しない汎用的なものである. 本手法により, 文章の総合的な自動評価, 個々の評価者が着目する言語的要素の明示, さらに評点決定に寄与する各要素の重みの定量化が実現された。

キーワード：テキスト評価，小論文, 国語教育, 機械学習, 教育用システム
## Automated Evaluation of Japanese Compositions based on Features along Japanese Education and Construction of the Individual Evaluation Model

\author{
Akira Fujita $^{\dagger}$, Hiroshi Fujita $^{\dagger}$ and Naoyoshi Tamura ${ }^{\dagger \dagger}$
}

We propose a method to learn an individual model, which is to evaluate Japanese Compositions via Support Vector Regression, based on features along Japanese education and scores, marked by human in advance. We also propose a method to represent a way of evaluation. Features in training data of SVR are categorized as 7 types according to what each features refer to. The features include some features regarding criterions of Japanese compositions in education. Besides, all the features do not depend on topic of a composition's prompt. Our methods implemented to score an integrated point of a composition automatically, and also to account elements considered by individual evaluator, to quantify weights of the each elements that contributes decision of scores.

Key Words: Text Evaluation, Short Essay, Japanese Education, Machine Learning, Educational System

## 1 はじめに

近年，作文技術の習熟度を評定する目的で文章を自動的に評価する技術に対して，需要が高まっている。大学入試や就職試験等の大規模な学力試験において課される小論文試験の採点や, e-learning 等の電子的な学習システムにおいて学習者の作文技術についての能力を測るために出題される記述式テストの採点が, 例として挙げられる. このような, 多数の文章を同一の基準で迅速に評価する必要がある夕スクにおいて, 対象となる全ての文章を人手で評価することは,多くの場合困難を伴う.

第一に, 評価に要する時間と労力が問題となる。記述式回答の評価は, 選択式回答の評価に比べて, 評価者が捉えるべき情報と考慮すべき基準が多く, それらの情報や基準自体も複雑である.

第二に，評価基準の安定性が問題となる，文章の良悪を決定する基準は，評価者個々において完全に固定的なものではない. 評価する順序による系列的効果や，ある要素についての評価が他要素の特徴に歪められるハロー効果 (Nisbett and Wilson 1977)の影響も考えられる。また, このような状況において他者による評価基準に自基準を合わせる場合，少なくとも他者との基準の差異についての定量的な情報がない限り，基準の統合は困難といえる.

これらの問題の存在は, 「個々の評価者が着目する言語的要素」や「評点決定に寄与する各要素の配分 (重み)」に相違が生じる要因となり得る. 結果的に, それらの相違が評価者間での評点の差異として表れることも考えられる.

これらに対し, 文章評価の自動化は, 評価の公平性を損なう要因となる問題の解消に役立つと考えられる。また, 評価者が着目する言語的要素やその配分の定量的な提示を行うことで,正確かつ円滑な評洒者間の基準統合が可能になると考えられる.

本稿では, 単独の評価者により対象文章に与えられる総合的な評点と, 国語教育上扱われる言語的要素についての多種の特徴量から, 任意の試験設定における個人の評価者の文章評価モデルを推定する手法について述べる。また, 個人の評価者の評価モデルにおいて評点決定に寄与する要素毎の配分 (重み) について, 他の評価者の評価モデルとの間で定量的に比較可能な形で提示する手法について述べる。ただし, 複数の評価者の評価モデルによる評価から最終的な評価判断を導き出すことについては扱わない.

提案手法は, 文章を採点する行為を順序付き多クラス分類として捉え, Support Vector Regression (SVR) (Smola and Sch 1998)を用いた回帰手法により，評価者が付けうる評点を予測する．SVR の教師データには, 表層や使用語彙, 構文, 文章構造などの特徵に関する様々な素性を用意する。これらの素性には，日本の国語科教育において扱われる作文の良悪基準に関わる素性が多く含まれる。なおかつ, 全ての素性は, 評価対象文章で議論されるトピック固有のものは含まない汎用的なものである.
本手法は，国語教育 ${ }^{1}$ 上扱われる言語的要素をSVR の素性に用いて文章評価をモデル化し， SVR の回帰係数の差として評価者間での評価基準の個人差を明示できるという点に，新規性を持つ。国語教育上扱われる要素に基づいて文章評価モデルを説明することができるため, 教育指導を行う立場にある評価者が，普段の指導で参照する要素を介して容易に文章評価モデルを認識，比較することができる。

作文技術についてのあらゆる能力評価に対応可能であるよう，素性を網羅的に設定するが，「文章を意味面で適切に記述する能力」の評価に関しては扱わない。ここでいう意味面での適切さとは，文章中の文が示す個々の内容の正しさを指す，例えば，「月は西から昇る」のような文が示す内容が正しいか正しくないかについての判断は, 本研究では扱わない.

## 2 関連研究

自動的に文章の評価を行うためのモデルを得る先行研究には様々なアプローチが存在する.一つは，評価者による文章のスコアをラベル，文章上の素性を事例として，教師付き学習により単一のスコア推定モデルを求めるものである (Burstein, Kukich, Wolff, Lu, Chadorow, BradenHarder, and Harris 1998; Burstein and Wolska 2003; Elliot 2003; Ellis 1966, 1994; Landauer, Laham, and Foltz 2003b, 2003a; Foltz, Laham, and Landauer 1999; Attali and Powers 2008; Attali and Burstein 2006). もう一方は, 模範と考えられる文章上の素性値を基準として，その基準との距離を用いてスコア推定モデルを求めるものである (Ishioka and Kameda 2006; 石岡,龟田 2003; 石岡 2008b).

e-rater (Attali and Burstein 2006) は, 12 の固定的な素性 ${ }^{2}$ を説明変数，評価者によるスコアを従属変数として重回帰分析を行い，得られた回帰式をスコア推定モデルとする，しかし，この手法では，説明変数として用いられる特徴量が何の変量であるかが抽象的であり，評価者の評価基準の違いを十分に表現できないと考えられる。例えば，e-raterでは「総ワード数に対する語の使用法についてのエラーの割合」や「総ワード数に対する文法エラーの割合」といった特徴量が説明変数として扱われるが，「語の使用法」や「文法エラー」が具体的に示す言語現象が不明膫である。したがって，評価基準の個人差をモデル式の回帰係数の差として示すことはできても，その差が何を意味するかについての具体性がそしく，評価者にとって明確な差として捉えづらいと考えられる。また，モデルが重回帰分析であることから多重共線性が問題となり，扱う特徴量を詳細化する上では，各特徵量の独立性が厳密に保たれる必要がある。この点で，提案手法は，多重共線性の影響が少ない回帰的手法 (SVR) を用いており, 素性間の関連性

を殆ど考慮することなく，多種の詳細な言語現象についての素性を用いて，評価基準をモデル化することができる.

Jess (Ishioka and Kameda 2006) は, あらかじめ三種の観点（修辞，論理構成，内容）に沿って模範となる文章（新聞の社説やコラム）における種々の素性値の分布を獲得し，理想的な分布とする。評価対象文章の各素性値が模範文章における素性値分布の四分位数範囲の 1.5 倍を超える場合，外れ値とみなしてそれぞれについて評点を減ずる．しかしこの手法では，模範文章の選択の妥当性について，評価が行われる背景（試験の目的等）毎に検証が必要である。その検証自体も，実用的に難しいと考えられる．また，評価基準をある基準に固定することが前提とされているため，評価者の基準の個人差を明示する提案手法とは目的が異なる手法であるといえる。

なお, これらの関連研究に関しては石岡によるサーベイ (石岡 2008a) が詳しい.

提案手法は, 多種の詳細な言語現象についての変量を教師付き学習の素性として用いることで,「詳細な言語的要素に視座を置いた，評価基準の個人差の明示」を実現するスコア推定手法である.

## 3 評価基準の共通性に関する調査

図 1 ，表 1 ，表 2 に同一の文章群に対する複数人の手による評価結果の例を示す.これは宇佐美の小論文評価に関する研究 (宇佐美 2011)の中で示された，高校生による 584 編の小論文デー 夕とそれを 4 人の国語教育専門家が評価した結果のデータから，評点当たりの事例数とその分

図 1 各評価者の評点当たりの事例数 ( $x$ 軸は評点, $y$ 軸は小論文の事例数)
表 1 評価者間での評点の $\kappa$ 係数

表 2 各評価者の評点分布の平均と標準偏差

布や一致具合をまとめたものである。評価は特定の観点に沿ったものではなく総合的なもので, 10 段階の絶対評価により施される。評点は 10 点が最高点, 1 点が最低点である.

Krippendorff の考察 (Krippendorff 1980) によれば, あるデータ間の $\kappa$ 係数が 0.7 未満の場合,両デー夕の関連を示すことは困難であることが多いとされる。表 1 において評点の $\kappa$ 係数は全評価者間で 0.7 を下回っている。また, 表 2 と図 1 より, 評点の分布にも異なりが認められる. このことから，本例においては評価者の評価基準が共通のものであるとはいい難い，以上の結果から本研究では，全評価者の評点をまとめた点数ではなく，個々の評価者の評点を再現する評価モデルを推定する方針をとり，前述した 10 段階で評価する小論文試験の設定に沿って評価行為を模倣する。

## 4 評価モデルの学習

## 4.1 自動評価の定式化と学習の手法

文章の自動評価は，入力となる文章についての評点が出力となる。この評点は, 順序関係を持った個別のクラスとみなすことができる。そこで本研究では, 自動評価を, 全順序関係にある多クラスに分類されたスコアを回帰的に推定する問題として定式化し, Support Vector Regression (SVR) を用いて評点の予測を行う.

SVR を用いて全順序関係にある多クラスに分類されたスコアを回帰的に推定する先行研究には, 岡野原らの研究 (岡野原, 辻井 2007) がある. 岡野原らは, 評判分類タスクを順序付き多クラス分類問題として定式化した上で，レビューが評価対象に与える評価の度合を二極指標（実数値）で表す手法を提案している。また，SVRの回帰係数の絶対値がモデル上での重要さに相関することを用いて，レビュー記事の評価決定に重要と思われる表現を導出する手法を提案している．この中で岡野原らは，（順序関係を考慮しない）多クラス分類問題を解く分類器である pairwise Support Vector Machine (pSVM) (Kresel 1999)とSVRの間で，順序付き多クラス分類問題に対する適合性を比較している。その結果，SVRがより高い精度で分類を行うことが
示されている. pSVM は, 予測クラスを間違えた際のペナルティに全クラス間で差が無いため, SVR に比べて分類モデルに大きな誤差を含む可能性が高いと思われる.

## 4.2 システムで採用した素性

評価者は, 様々な言語的要素について文章を捉えて評価を行った上で, その判断結果を評点として数值化する。本研究ではこの過程を国語教育で参照される言語的要素を素性にとってモデル化する.

学校教育上考えられる様々な試験を想定して, それらで参照される言語的要素をマージし,素性として扱う。評価対象文章から自動的にそれぞれの素性値を算出する。得られる数值は, SVRの素性として評価モデルの訓練に用いられる，以下，提案手法において素性として用いる言語的要素を，説明の分かり易さのためカテゴリ毎に列挙した上で，一部の素性についてその詳細を述べる。本研究において独自に設定した素性については, 素性名の末尾に $(*)$ を付す.

## 4.2.1 カテゴリ「表層」の素性群

文字数や文数, 字種などの表層的特徴に関する素性を表 $3^{3}$ に列挙し, 特に FV2について説明する.この群の素性は, 主に, 文章の形式面の妥当性についての評価に役立つ. 国語教育上扱われる事項に関連する素性として，FV2 は「目的や意図に応じて簡単に書いたり詳しく書いたりする」(文部科学省 2008) という事項に，FV10 は「習得した漢字を使用して記述する」という事項にそれぞれ関連する。

FV2 : 文字数制限には, (I) 「〜字以上」, (II) 「〜字以内」, (III)「〜字程度」の 3 種類が存在する．制限（指定）文字数を $r$, 評価対象文章の文字数を $n$ としたとき，下記のように達成度 $d$ を算出することにする。ただし，(I)(II)については制限が守られなかった場合，達成度

表 3 カテゴリ「表層」の素性群

^{3}$ FV8-13 は，当該文字種の文字数を，総文字数で割った値とする。
}

を 0 とする.

$
\begin{aligned}
& \text { (I) }: d=1 \quad \text { (II) }: d=n / r \\
& (\mathrm{III}): d=\left.\{\begin{array}{ll}
\frac{n}{r}, & n \leq r \\
\frac{2 r-n}{r}, & n>r
\end{array}(\text { バートレッド空関数の変形 })\right.
\end{aligned}
$

FV7: 文は長くなるほど, 内部の係り受け関係に曖昧さを生じやすいとされており(森岡 1963), これを用いる。

## 4.2.2 カテゴリ「語」の素性群

単語 4 (特に自立語) の用法や品詞，記法に関する素性を表 $4^{5}$ に列挙する。国語教育上扱われる事項に関連する素性として, FW3, FW4, FW5 は「表現の効果などについて確かめたり工夫したりすること」(文部科学省 2008) という事項に，FW10 は「文章内で数字の表記法を統一する」という事項にそれぞれ関連する。

FW2：自立語の異なり数（タイプ数）を延べ数（トークン数）で割った值とする．ただし用言については活用形を計数の考慮に入れず，異なり数, 延べ数ともにその用言の原形を数える.

FW4：オノマトぺは副詞に分類される。しかし, 論説文におけるオノマトぺの使用は特に着目されることが多いと考えられるため, 副詞とは別途に扱う.

## 4.2.3 カテゴリ「文体」の素性群

文末の形式や文内で用いられる文体等に関する素性を表 5 に列挙する。国語教育上扱われる事項に関連する素性として，FF1，FF9 は「表現の効果などについて確かめたり工夫したりすること」(文部科学省 2008) という事項に，FF7 は「文章の敬体と常体の違いに注意しながら書くこと」(文部科学省 2008) という事項に, FF10 は「話し言葉と書き言葉との違いに気付くこ

表 4 カテゴリ「語」の素性

と」(文部科学省 2008) という事項にそれぞれ関連する.

FF4：述語が “名詞句＋断定の助動詞（「た」「である」「です」等）”で構成される文の出現数を，文の総数で割った値とする。

FF7 : 文中の助動詞に着目し, 文体が一貫している場合は 0 , 混用が認められる場合は 1 を素性値とする。

FF8 : 式 $-\log (n / N)$ により算出する。ただし， $n$ は文の最終文節の表記異なり数， $N$ は文の総数とする。

## 4.2.4 カテゴリ「係り受け」の素性群

同一表層格の多用や文節間の修飾関係の複雑さを捉える素性を表 6 に列挙する。これらの素性は，主に係り受けの適切さに関わる素性である。国語教育上扱われる事項に関連する素性として，FD1～4，FD16は「一文の意味が明確になるように語と語の続き方を考える」(文部科学省 2008) という事項，FD5～8 は「文の中における主語と述語との関係に注意すること」(文部科学省 2008) という事項にそれぞれ関連する。

FD6, FD7：格助詞「ガ」, 係助詞「八」を付属語に持つ文節が文中に出現する回数の最大値を素性値とする。文中で同じ助詞を繰り返し使用することで，文の表す内容が不明瞭になる場合がある (岩淵 1979).

表 5 カテゴリ「文体」の素性

表 6 カテゴリ「係り受け」の素性群

例 : 英語の早期教育がもたらす効果が測れないうちに実行に移すことが問題であることは，言うまでもない.

FD14, FD15：一文中における名詞文節の出現回数を用言の出現回数で割った値を全文について平均した値，またその分散を素性値とする。

FD16：一文中で, 用言の連用形や接続助詞等によって文が途中で中止される回数の最大値を素性値とする。中止法の多用は，係り受け関係を曖昧にする原因となりうる (岩淵 1979).

## 4.2.5カテゴリ「文章のまとまり」の素性群

文章のまとまりに関する性質として，「テキスト一貫性」(田窪，西山，三藤，亀山，片桐 2004) と「テキスト結束性」(Halliday and Hasan 1976) が挙げられる. テキスト一貫性は, 概念や事象の間の意味的なつながりの良さを指す。テキスト一貫性は，隣り合う二文間における一貫性を示す「局所的な一貫性」と，文章全体での話題遷移の一貫性を示す「大域的な一貫性」に区別できる。一方テキスト結束性は，意味的なつながりではなく，文法的なつながりの良さを指す. Barzilay ら (Barzilay and Lapata 2008) は, 局所的な一貫性のモデルとして「entity grid モデル」6を提案している，横野ら (横野，奥村 2010) は，結束性に寄与する要素 7 を entity grid モデルに組み込むことで，結束性と局所的一貫性を同時に捉えるモデルを提案している.

横野らは，結束性を考慮する目的で既存手法に下記の手法を組み込んでいる.

i. 語句要素の文間遷移確率の計算に文間の接続関係の考慮を加え，接続関係の種類別に遷移確率を計算する.

ii. 意味的な類似性に基づいて語句要素のクラスタリングを行う.

iii. 参照表現が正しく機能している割合を素性として導入する.

表 7 カテゴリ「文章のまとまり」の素性群

また, Barzilay らの entity grid において扱われる構文役割は 4 種類（S: 主語， $\mathrm{O}$ : 目的語, $\mathrm{X}$ : その他，一: 出現せず）であるが，横野らは構文役割の体系を日本語に特化する目的で， 2 種類の構文役割 ( $\mathrm{H}$ : 主題, R: 述部要素) を加えている.

本研究では, 文章のまとまりについての特徵を捉える目的に，横野らのモデルに基づいた素性を用いる（表 7)，ただし，FC122のみ筆者らが独自に設定する素性である。接続関係の分類・同定方法, 語句要素が持つ構文役割の同定方法, 参照表現が機能している割合の導出方法は, それぞれ横野らの方法に従う，類似性に基づいた語句要素のクラスタリングについては，EDR 電子化辞書 (日本電子化辞書研究所 2010) の日本語単語辞書内で同一の概念識別子を持つ語句要素を同じクラスタとして扱う。クラスタの持つ構文役割は, $\mathrm{H}>\mathrm{S}>\mathrm{O}>\mathrm{R}>\mathrm{X}$ という優先順位 (cf., (Walker, Iida, and Cote 1994)) に基づいて, クラスタ毎に一つの構文役割を決定する。また，考慮する遷移確率は文 2-gramのみとする。国語教育上扱われる事項に関連する素性として，FC1～121は「語と語や文と文との続き方に注意しながら，つながりのある文章を書くこと」(文部科学省 2008) という事項，FC122は「自分の考えを明確に表現するため，文章全体の構成の効果を考えること」(文部科学省 2008) という事項にそれぞれ関連する.

FC122：並列的に展開して述べる接続関係が文章中に存在する場合に 1, 存在しない場合に 0 を素性値とする．並列的な接続を明示する特定の表現（人手で設定）の有無により，同定する。

以下に，FC1〜FC120の素性值の算出方法を示す. 表 8 において entity gridで表される文章は，文 1 と文 2 の間，文 3 と文 4 の間がそれぞれ論理的結合関係, 文 2 と文 3 の間が多角的連続関係と捉えられている。語句要素 1 は文 1 で主題, 文 2 で主語, 文 4 でその他の構文役割として，語句要素 2 は文 1 と文 3 で目的語として捉えられている.

このとき, $\mathrm{FC} 1$ ～ 36 の素性値は以下のようにして求める． 2 文間での構文役割の遷移パター

2 文間では，合計 4 カ所の遷移箇所のうち，「HS」「-X」の遷移が 1 回ずつ，「O-」の遷移が 2 回出現している。従って，FC1～FC36の素性のうち，「HS」と「-X」の遷移確率を表す素性の値は 0.25 ,「O-」の遷移確率を表す素性の値は 0.5 となる。その他の 33 個の素性の値は全て0となる. FC37 72 の素性値も同様にして求め,「S-」と「-O」の遷移確率を表す素性の

表 8 結束性と局所的一貫性を同時に捉える entity grid の例

値は 0.5 , その他の 34 個の素性の値は全て 0 となる。拡充的合成関係の接続関係は文章中に出現しないので，FC73～FC108の素性值は全て0となる. FC109〜FC114, FC115〜FC120 はそれぞれ，文章始端と文章終端にダミ一要素（始端を $\mathrm{B}$ ，終端を $\mathrm{E}$ ）を持つとした時の遷

值とする。

## 4.2.6 カテゴリ「モダリティ」の素性群

松吉ら (松吉, 江口, 佐尾, 村上, 乾, 松本 2010) は, 情報発信者の主観的な態度（モダリティ）に真偽判断や価值判断などの情報を統合した「拡張モダリティ」を提案し，体系化している。拡張モダリティは主に「態度表明者」，「相対時」，「仮想」，「態度」，「真偽判断」，「価値判断」の 6 項目から成る (文献 (松吉, 佐尾, 乾, 松本 2011) を参考にした)。このうち態度8 と真偽判断について文の特徴を捉え，素性として扱う（表9）。国語教育上扱われる事項に関連する素性として，FM1～8，FM12 は「事実と感想，意見などとを区別すること」(文部科学省 2008) という事項にそれぞれ関連する。

松吉らは態度を 8 種類に，真偽判断を 9 種類に分類している。この分類に基ついて，機能表現辞書つつじ (松吉, 佐藤, 宇津呂 2007 ) に助動詞型機能表現として収録される機能表現と, 分類語彙表 (国立国語研究所 2004) に「精神および行為／心」として収録される用言を手がかりにしたルールベース手法で，文の態度，真偽判断について分類を行う．ただし，真偽判断については，肯否極性とアスペクトに関する区別をせずに判断の程度（強さ）のみを扱うこととし，断定, 推量, 判断程度不明の 3 種類を扱う. これら拡張モダリティ体系に準拠する素性 (FM1 FM11)は全て，当該拡張モダリティカテゴリに分類される文が出現する回数を文の総数で割った値とする.

FM12：最終文節で思考動詞, 知覚・感覚動詞が用いられる文の出現回数を文の総数で割った値を素性値とする．思考動詞，知覚・感覚動詞であるか否かの判断は, 分類語彙表 (国立国

表 9 カテゴリ「モダリティ」の素性群

語研究所 2004$)$ を典拠とする.

## 4.2.7 カテゴリ「内容」の素性群

文章の内容（筆者により書かれた行動, 出来事, 状態）について，その正しさを意味面で判断することは, 本研究の目的としない。 その代わりに，与えられた論題に対して適合した語彙が使用されていることを捉えるための素性を用意する。論題に含まれる名詞と文章中の名詞が, EDR 電子化辞書 (日本電子化辞書研究所 2010) において同一の概念識別子を持つ, もしくは所属概念が直接の上位または下位関係にある場合, 論題に適合する語彙として判断する。このように判断される語彙が文章中の全名詞中で占める割合を素性 (FS1)とする.

## 4.3 評価モデルの構築とそのための素性値の正規化

SVR は，線形カーネルを使用して学習する場合, 回帰係数 $w$ の成分値（以下，成分値）を参照することで，各素性がスコア推定モデルに寄与する度合を知ることができる。これにより，教師データにラベル（評点）をつけた評価者が，各素性に対して「どの程度の配分で評価していたか」，また「加点要素としたか減点要素としたか」を定量化することができる．前者は成分値の絶対値, 後者は成分値の正負に着目することでそれぞれ明らかになる. この方法により個々の評価者の評価モデルにおいて重要な変量を明らかにする。

これらの特徵を素性間で比較する目的で，下記の 2 通りの方法で素性値を正規化する.

(1) $x_{\text {regularized }}=\left(x_{\text {original }}-\min X\right) /(\max X-\min X)$

(2) $x_{\text {regularized }}=\left(x_{\text {original }}-Q_{1}\right) /\left(Q_{3}-Q_{1}\right)$

$x_{\text {original }}$ は任意の文章デー夕における任意の素性の素性値， $X$ は全教師データにおける任意の素性の素性値の集合, $Q_{1}$ は集合 $X$ 中の第 1 四分位値, $Q_{3}$ は集合 $X$ 中の第 3 四分位値である.

(1)は，全教師データ中の素性値が 0 から 1 の間に分布するように正規化する方法である。一方(2は, 全教師データの四分位数範囲に位置する素性值が 0 から 1 の間に分布するように正規化する方法である.

## 5 実験・考察

## 5.1 設定

提案手法の評価のために実験を行う．SVRの学習には SVMlight ${ }^{9}$ を用いる。また，素性の抽

出には形態素解析器 $\mathrm{MeCab}^{10}$, 係り受け解析器 CaboCha ${ }^{11}$ を用いる ${ }^{12}$.

教師データには第 3 章で用いた高校生による小論文を電子化したものを用いる. これらの小論文は, 論題 $\alpha$ 「小学校の授業における, 英語の早期教育は必要であるか否かに対して意見を述べよ」, 論題 $\beta$ 「グラフと説明文を読み，日本人の子育ての態度に関してどのような特色が読み取れるかに関して述べよ」という 2 種類の論題に沿って書かれている。また, 400 字以内と 800 字以内の 2 種類の字数制限が存在する。事例は合計で 584 事例あり, 論題と字数制限毎の内訳は表 10 に示す通りである。

これらの 584 事例に対して 4 人の評価者が総合的につけた 10 段階の評点を，各教師データのラベルとする．ラベルとなる評点は，下記に示す線形変換を行うことで，評価者系列毎に評点分布の平均が 0 , 分散が 1 になるよう正規化する.

$
\text { score }_{i}^{\prime}=\frac{\text { score }_{i}-\overline{\text { score }}}{\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(\text { score }_{i}-\overline{s c o r e}\right)^{2}}}
$

## 5.2 実験

## 実験 1. 評点推定の性能

教師データを用いてSVRを構築し, 各評価者がつけた評点とSVRによる評点推定結果の間の差について検討する。また，本手法とべースラインで評点推定性能を比較することで，素性設計の妥当性についても検証する．SVRによる評点推定の評価指標には平均二乗誤差 (Mean Square Error $)^{13}$ を用いる。また素性値の正規化に，4章で述べた 2 通り (1)，(2)）の方法を適用し，それぞれを教師データに用いて構築したSVRのMSE を比較する。評点推定性能のべー スラインには, 本研究において独自に設定した素性を除いた素性のみでSVR を構築した場合のMSE を設定する。なお，ベースラインにおける正規化手法には(2)の手法を用いた．SVR 構築に以降全て，線形カーネル，コストパラメータ $C=10$ を用いる。それぞれ表 11 に全教師データを用いた場合 (ALL), 論題 $\alpha$ のみ (only $\alpha$ ), 論題 $\beta$ (only $\beta)$ のみの教師デー夕を用い

表 10 教師デー夕事例数の内訳

{n} \sum_{i=1}^{n}\left(y_{i}-f_{i}\right)^{2} \quad y_{i}$ を評価者による評点, $f_{i}$ を SVRにより推定される評点, $n$ を事例数とする.
}
表 11 提案手法の評点推定性能 (MSE)

baseline は独自に設定した素性を除いた素性のみで学習した場合のMSE

た場合の 5 分割交差検定の結果を示す。なお以降の実験では素性値の正規化に(2)の手法を用いる。

## 実験 2. 評価モデルの構築

教師データを全て訓練に用いてSVRを構築し，回帰係数の各成分値について検討する．表 12 に，成分値の絶対値が大きいもの上位 5 素性を正負別に示す.この実験により, 提案手法が国語教育で参照される言語的要素を用いて評価モデルを表現でき，なおかつ個人間での重みの配分の違いを明示できることを確認する。ただし， FC1 から FC120までの素性については，素性が示す意味自体を ID として表記する。これらの素性 ID はそれぞれ，1 文字目が前文， 2 文字目が後文の構文役割を， 3 文字目が 2 文間の接続関係を表す. 構文役割「B」は文章始端，「 $\mathrm{E}\rfloor$ は文章終端のダミー要素に「「N」は前述の「一: 出現せず」に対応する。また接続関係は，1 が論理的結合関係， 2 が多角的連続関係， 3 が拡充的合成関係に対応する. 例えば，FC1～FC36 の素性群（論理的結合関係で接続する文間の構文役割遷移確率）のうち，前文での構文役割が「 $\mathrm{H}$, 後文での構文役割が「 $\mathrm{N}\rfloor$ である語句要素の 2 文間での遷移確率についての素性は「HN1」と表記する。

## 実験 3. 教師データ数と評点推定性能の関係

教師データの増加に伴う評点推定性能の推移について検討する. 図 2 に 584 事例の教師デー 夕の部分集合（無作為抽出）を用いた 5 分割交差検定の結果を示す.
表 12 評価者別の回帰係数 $w$ の成分値

素性 ID と数値は対応する素性と回帰係数における成分値, $\{+,-\}$ は成分値の正負

(*: 本研究において独自に設定した素性)

## 5.3 考察

## 実験 1 の考察

表 11 より，素性値の正規化手法には，(1)の手法に比べて(2)の手法を適用した場合の方が良い結果が得られる傾向がある。全ての結果において, 設定したべースラインよりも低い MSE が得られている。従来の文章自動評価で用いられて来た素性のみを用いる場合に比べ，本研
究において独自に設定した素性を追加する場合の方が，より高い精度で個人の評価モデルを推定できたことがわかる。このことから，本研究で新たに提案する素性は，評価基準のモデル化に有用な素性であるといえる.

教師データのラベル系列（評価者）別に MSE を比較すると，差がみられる。これは，評価者が評価の依拠とした言語的要素の中に，本実験で設定した素性群に含まれないものが存在したことに因るものと考えられる。

論題別の評点推定性能に関して, 論題 $\alpha$ に沿って書かれた小論文の評点性能は, 相対的に低い傾向にある。論題 $\alpha$ は，ある事柄に関して是非を問う類の論題であり，回答は賛成もしくは反対いずれかの立場をとる 2 種類に分類される。そのため, 回答の方向性が定められていない論題 $\beta$ に比べて表現手法や構成に多様性がなく, 教師データが偏りやすいと考えられる.

## 実験 2 の考察

表 12 より,「文字数制限の達成度 (FV2)」「複合名詞の使用率 (FW6)」「真偽判断の程度が 『断定』の文の出現率 (FM9)」は加点要素, 「文末思考知覚感覚動詞使用率 (FM12)」「オノマトぺ使用率 (FW4)」「文末の単調さ (FF8)」は減点要素として，それぞれ一部の評価者の間で共通した傾向があることがわかる。「HN-」「NH-」の素性は，「ある文で主題として出現する語が隣接する前後の文で出現しない」という文章のつながりの悪さを示す素性である。これらの素性についても，減点要素とされる傾向にあることがわかる.

提案手法で独自に設定した素性のうち, カテゴリ「表層」「語」「文体」「モダリティ」に該当する素性に有効な（一部の評価者の間で共通して有効な傾向があるとは限らない）素性が多い傾向がみられた. 特に, 「文字数制限の達成度 (FV2)」「オノマトぺ使用率 (FW4)」「文末の単調さ (FF8)」などの，国語教育に関連する素性に有効なものが多い. 本手法で用いる素性には，既存手法 (Attali and Burstein 2006) (Ishioka and Kameda 2006) でも共通して用いられるものも含まれているが，そのうち回帰係数の大きいものは「文字数 (FV1)」「自立語の最大長 (FW1)」などの一部分に限られた。本手法のように総合面での文章評価を国語教育上扱われる言語的要素を用いてモデル化する手法と, そうでない手法では, 有効な素性が異なると考えられる。

一方，ほとんど影響を持たない素性も存在する，カテゴリ「文章のまとまり」に関する素性群には「OE3」「HN3」など，成分値の絶対値が大きくかつ評価者間で極性が一致する傾向にある素性もあるが，大半の素性は成分値が 0 に近い．カテゴリ「内容」に関する素性も，全評価者において成分値の絶対値が小さく，あまり評点に影響を与えていないことがわかる. なお, ここでは絶対値 0.01 以上の重みをもつ素性を絶対值の大きい素性として扱う.

論題別の評価モデルに関して, 論題 $\alpha$ と論題 $\beta$ では重要な素性が異なる傾向にあることがわかる. 論題 $\alpha$ では, 評価者 $\mathrm{A}, \mathrm{B}$ の評価モデルの推定結果に「真偽判断の程度が『推量』の文の出現率 (FM10)」が大きな減点要素として含まれている。一方, 論題 $\beta$ では評価者 $\mathrm{A}, \mathrm{B}$

ともに加点要素にも減点要素にも含まれていない。論題 $\beta$ はデータを参照した上で推量される事柄を述べる性質の論題であるため, 推量表現は一般的に用いられる. 他方, 論題 $\alpha$ は賛成か反対かを問う論題であるため，断定的な態度をとった文章に比べて，婉曲的な態度の文章は論旨が不明確になりやすいと考えられる。

小論文試験で出題される論題間の異なりは，「内容の異なり」と「形式の異なり」の二種があると考えられる。本研究では内容面について「論題に示された語と関連する語を使っているかどうか」のみを素性として導入している。したがって，出題内容の異なりが評価モデルに影響を与えることはないと考えられる。しかしながら，実験結果に示されたように出題形式の異なりが評価モデルに影響を与えることがある.

評価モデルをより汎用的なものとするために，論題の出題形式を一定の粒度で分類した上で，同類の出題形式の論題に対して同じ評価モデルを適用することが妥当であるかを今後確認する必要がある.

## 実験 3 の考察

図 2 より, 全体的にデー夕の増加に対する MSE の変化は収束傾向にあることがわかる.

## 6 おわりに

本稿では，国語教育的評価項目を「表層」「語」「文体」「係り受け」「文章のまとまり」「モダリティ」「内容」というカテゴリに分けられる素性群で表し, 機械学習を用いて個人の評価者の評価モデルを学習する手法について述べた。また評価モデルにおいて重要な変量を明らかにす

図 2 教師データの増加に伴う MSE の推移 ${ }^{14}$

る手法について述べた.この手法により, 個々の評価者について「総合的評価（採点）処理のシミュレーション」,「国語教育上扱われる言語的要素を用いての評価モデルの説明」,「他者との評価モデルの違いの定量的明示」が可能になった. 予め手本となる評価者を設定し, その評価者による採点結果を本手法で分析すれば，他の評価者による評価がどの要素についてどの程度手本から離れているかを照らし合わすことができる。このように, 本手法により得られる情報は, 多人数での評価作業において公平性を損なう要因となる「評価基準の個人差」についての問題解消に役立つと考えられる.

しかし, 本稿で言及した素性のうち「文章のまとまり」「内容」といったカテゴリの素性群は, ほかの素性群に比べ影響が小さいことが分かった，今後，特にカテゴリ「文章のまとまり」を評価の観点に加えるには, 修辞構造等の文章構造を大域的にとらえたものを素性として加える必要があると考えられる.

本稿では総合面での評点を順序関係付きラベルとして個人の評価者の評価モデルの学習を試みているが，今後個々の観点に関して素性の適性の検討を行う上では観点別の評点をラベルとして学習を行う必要がある．我々が研究対象とした高校生の小論文データには,「総合」評価のほかに「語句」「表現」「語彙」「課題」「簡潔」「明確」「構成」「一貫」「説得」「独創」という観点からの評価も存在する。今後, 「文章のまとまり」「内容」といったカテゴリの素性群の影響が大きく反映される観点（「課題」，「一貫」等）からの評価モデルの学習を試みた上で，各素性についてさらに検討を行う必要があると考えられる.

今後, 個人の評価モデルについての情報が評価基準の個人差の解消にもたらす効果について,臨床的な実験（ある評価者が，他者の評価モデルとの差異についての情報に基づいて自身の基準を再考した後に，再評価した結果を考察する実験）による検証を行いたい。

また本稿では, 複数の評価者の評価モデルによる評価から最終的な評価判断を導き出すことについて扱っていないが, 受験者の最終的な評価を決定することは, 自動評価手法一般に期待される機能であるといえる．今後これらの機能について検討を行う必要がある.

## 謝 辞

本研究については, 公益財団法人博報児童教育振興会の児童教育実践事業についての研究助成事業, 「学習指導要領に立脚した児童作文自動点検システムの実現」(助成番号：11-B-081, 研究代表：藤田彬）の援助を受けた。

また, 高校生の小論文答案をお貸しいたたきき, 研究利用を認めて下さった揚華氏, 宇佐美慧氏, 東京工業大学大学院社会理工学研究科の前川眞一教授に感謝の意を表す.

## 参考文献

Attali, Y. and Burstein, J. (2006). "Automated Essay Scoring With E-rater v.2.0" Article in Journal of Technology, Learning, and Assessment, 4 (3).

Attali, Y. and Powers, D. (2008). "A Developmental Writing Scale" Tech. rep. ETS Research Report No. RR-08-19, Educational Testing Service.

Barzilay, R. and Lapata, M. (2008). "Modeling Local Coherence: An Entity-based Approach." Computational Linguistics, 34 (1), pp. 1-34.

Burstein, J., Kukich, K., Wolff, S., Lu, C., Chadorow, M., Braden-Harder, L. C., and Harris, M. D. (1998). "Automated Scoring Using A Hybrid Feature Identification Technique." In ACL '98 Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Vol. 1.

Burstein, J. and Wolska, M. (2003). "Toward Evaluation of Writing Style: Finding Overly Repetitive Word Use in Student Essays." In EACL '03 Proceedings of the 10th conference on European chapter of the Association for Computational Linguistics, Vol. 1.

Elliot, S. (2003). "How Does IntelliMetric Score Essay Responses?" Tech. rep. RB-929, Vantage Learning, Newtown, PA.

Ellis, B. P. (1966). "The Imminence of Grading Essays by Computer." The Phi Delta Kappan, $47(5)$

Ellis, B. P. (1994). "New Computer Grading of Student Prose, Using Modern Concepts and Software." Journal of Experimental Education.

Foltz, P. W., Laham, D., and Landauer, T. K. (1999). "Automated Essay Scoring: Applications to Educational Technology." Proc. EdMedia '99.

藤田央，藤田彬，田村直良 (2011). Wikipedia から抽出した語彙関係リソースの小論文自動評価タスクへの適用. 第 10 回情報科学技術フォーラム (FIT2011), E-053, 2 巻, pp. 341-344.

Halliday, M. A. K. and Hasan, R. (1976). Cohesion in English. Longman, London.

Ishioka, T. and Kameda, M. (2006). "Automated Japanese Essay Scoring System based on Articles Written by Experts." In Proc. 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 233-240.

石岡恒憲 (2008a). 小論文およびエッセイの自動評価採点における研究動向. 人工知能学会誌, 23 (1), pp. 17-24.

石岡恒憲 $(2008 b)$. 日本語小論文の論理構成の把握とその図式表現. 人工知能学会論文誌, 特集論文「情報編纂：要素技術と可能性」, 23 (5), pp. 303-309.

石岡恒憲, 亀田雅之 (2003). コンピュータによる小論文の自動採点システム Jess の試作. 計算
機統計学, 16 (1), pp. 3-18.

岩淵悦太郎 (1979). 第三版悪文. 日本評論社.

国立国語研究所 (2004). 分類語彙表増補改訂版データベース.

Kresel, U. (1999). Pairwise Classification and Support Vector Machines Methods. MIT Press.

Krippendorff, K. (1980). Content Analysis: An introduction to its methodology. Sage Publications.

Landauer, T. K., Laham, D., and Foltz, P. W. (2003a). "Automated Scoring and Annotation of

Essays with the Intelligent Essay Assessor." In Sherims, M. and Burstein, J. (Eds.), Automated Essay Scoring: A Crossdisciplinary Perspective, pp. 87-112 Hillsdale, NJ. Lawrence Erlbaum Associates.

Landauer, T. K., Laham, D., and Foltz, P. W. (2003b). "The Intelligent Essay Assesor, the Debate on Automated Essay Grading." IEEE Intelligent Systems, 15 (5), pp. 27-31.

益岡隆志 (1991). モダリティの文法. くろしお出版.

松吉俊，江口萌，佐尾ちとせ，村上浩司，乾健太郎，松本裕治 (2010). テキスト情報分析のた

めの判断情報アノテーション. 電子情報通信学会論文誌 D, J93-D (6).

松吉俊, 佐尾ちとせ, 乾健太郎, 松本裕治 (2011). 拡張モダリティ付与コーパス作成の基準 version

$0.8 \beta$, http://cl.naist.jp/nltools/modality/manual.pdf.

松吉俊, 佐藤理史, 宇津呂武仁 (2007). 日本語機能表現辞書の編纂. 自然言語処理, $14(5)$,

pp. 123-146.

文部科学省（著作権所有） (2008). 小学校学習指導要領解説国語編. 東洋館出版社.

森岡健二 (1963). 文章構成法文章の診断と治療. 至文堂.

日本電子化辞書研究所 (2010). EDR 電子化辞書 V4.0. 独立行政法人情報通信研究機構.

Nisbett, R. and Wilson, T. (1977). "The halo effect: Evidence for Unconscious Alternation of

Judgements." Journal of Personality and Social Psychology, 35 (4), pp. 250-256.

岡野原大輔，辻井潤一 (2007). レビューに対する評価指標の自動付与. 自然言語処理, 14 (3), pp. 273-295.

Smola, A. and Sch, B. (1998). "A tutorial on Support Vector Regression." Tech. rep. NeuroCOLT2 Technical Report NC2-TR-1998-030.

田窪行則, 西山佑司, 三藤博, 亀山恵, 片桐恭弘 (2004). 談話と文脈, 言語の科学 7. 岩波書店.宇佐美慧 (2011). 小論文評価データの統計解析一制限字数を考慮した測定論的課題の検討一. 行動計量学, 38 (1), pp. 33-50.

Walker, M., Iida, M., and Cote, S. (1994). "Japanese Discourse and the Process of Centering." Computational Linguistics, 17 (1), pp. 21-48.

横野光, 奥村学 (2010). テキスト結束性を考慮した entity gridに基づく局所的一貫性モデル. 自然言語処理, $\mathbf{1 7}(1)$, pp. 161-182.

## 略歴

藤田彬：2008 年横浜国大教育人間科学部卒業. 2009 年同大大学院環境情報学府博士課程前期短縮修了. 同年より同大大学院環境情報学府博士課程後期.現在に至る. 自然言語処理, 特に文章の自動評価, 教育分野への応用の研究に興味を持つ．公益財団法人博報児童教育振興会第六回児童教育実践についての研究助成事業優秀賞. 言語処理学会, 情報処理学会, 全国大学国語教育学会各会員.

藤田央：2011 年電通大電気通信学部情報通信工学科卒業. 同年より横浜国大大学院環境情報学府博士課程前期. 現在に至る. 自然言語処理の研究に従事. 情報処理学会員.

田村直良：(正会員）1985 年東工大大学院理工学研究科情報工学専攻博士課程了. 工博. 同年東工大助手. 1987 年横浜国大工学部講師. 助教授, 1996 年同大教育人間科学部教授を経て，2001 年同大学院環境情報研究院教授. 自然言語処理，特に文章構造の解析，文章理解の研究，音声合成，認識の応用，福祉情報工学の研究に興味を持つ. FIT2006 論文賞. 2011 年電子情報通信学会論文賞. 言語処理学会, 情報処理学会, 人工知能学会, 電子情報通信学会各会員.

(2011 年 10 月 27 日 $\quad$ 受付 $)$
$(2011$ 年 12 月 30 日再受付 $)$
$(2012$ 年 1 月 6 日再々受付 $)$
$(2012$ 年 7 月 19 日 $\quad$ 再々々受付 $)$
$(2012$ 年 8 月 24 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 外れ値検出手法を利用した新語義の検出
## 新納 浩幸 $\cdot$ 佐々木 稔 $\dagger$

本論文では対象単語の用例集合から, その単語の語義が新語義（辞書に未記載の語義）となっている用例を検出する手法を提案する. ここでのアプローチの基本は，新語義の用例が用例集合中の外れ値になると考え，データマイニング分野の外れ值検出の手法を利用することである。たたし外れ值検出のタスクは教師なしの枠組みになるが, 新語義検出という本タスクの性質を考慮すると, 一部のデータ（用例） にラベル (対象単語の語義) が付与されているという枠組みで考える方が適切である.そのため本論文では一部のデータにラベルがついているという教師付きの枠組みで外れ値検出を行う，具体的には 2 つの手法（教師付き LOF と生成モデル）を用い, それら出力の共通部分（積集合）を最終的な出力とする. この教師付き LOF と生成モデルの積集合を出力する手法を提案手法とする. 実験では SemEval-2 日本語 WSD タスクのデータを用いて，提案手法の有効性を示した。また WSD のアプローチを単独で利用しただけでは，本タスクの解決が困難であることも示した。

キーワード：新語義, 外れ値検出, LOF, 生成モデル, One Class SVM, SemEval-2 日本語 WSD タスク

## Detection of New Word Senses by the Outlier Detection Method

\author{
Hiroyuki Shinnou $^{\dagger}$ and Minoru SasaKi ${ }^{\dagger}$
}

In this paper, we propose a method to detect new word senses of a target word from sentences that contain it. To achieve this, we assume a new word sense sentence as an outlier of a data set constructed by sentences that contain the target word. Then using outlier detection methods in the data mining domain, we detect the new word senses. Generally, outlier detection methods are considered to be unsupervised. However, our method utilises data sets including some sentences with the labelled target word. Therefore, our outlier detection method is classified under the supervised framework. We propose an ensemble method of two methods to detect new word sense sentences: the supervised LOF (Local Outlier Factor) and the supervised generative model. The final output is the intersection of outputs of both methods. We demonstrate the effectiveness of our method using SemEval-2 Japanese WSD task data. Moreover we show that word sense disambiguation systems cannot solve our task by themselves.

Key Words: new word sense, outlier detection, LOF, generative model, One Class SVM, SemEval-2 Japanese WSD task

## 1 はじめに

本論文では対象単語の用例集合から, その単語の語義が新語義（辞書に未記載の語義）となっている用例を検出する手法を提案する。

新語義の検出は語義曖昧性解消の問題に対する訓練デー夕を作成したり, 辞書を構築する際に有用である。また新語義の検出は意味解析の精度を向上させる (Erk 2006). また新語義の用例はしばしば書き誤りとなっているので, 誤り検出としても利用できる. 新語義検出は一般に Word Sense Disambiguation (WSD) の一種として行う方法, 新語義の用例をクラスターとして集める Word Sense Induction (WSI) のアプローチで行う方法 (Denkowski 2009), 及び新語義の用例を用例集合中の外れ值とみなし, 外れ値検出の手法を用いる方法 (Erk 2006) がある. ここでは外れ值検出の手法のアプローチを取る。ただしデータマイニングで用いられる外れ值検出の手法は教師なしであるが，本タスクの場合, 少量の用例に語義のラベルが付いているという教師付きの枠組みで行う方が自然であり，ここでは教師付き外れ値検出の手法を提案する.提案手法は 2 つの検出手法を組み合わせたものである. 第 1 の手法は代表的な外れ值検出手法である Local Outlier Factor (LOF) (Breuning, Kriegel, Ng, and Sander 2000) を教師付きの枠組みに拡張したものである。第 2 の手法は, 対象単語の用例（デー夕）の生成モデルを用いたものである。一般に外れ値検出はデータの生成モデルを構築することで解決できる．提案手法では第 1 の手法と第 2 の手法の出力の積集合を取ることで, 最終の出力を行う.

提案手法の有効性を確認するために，SemEval-2の日本語 WSD タスク (Okumura, Shirai, Komiya, and Yokono 2010)のデー夕を利用した. 従来の外れ值検出の手法と比較することで提案手法の有効性を示す。実験を通して，外れ値検出に教師デー夕を利用する効果も確認する。 またSVM による WSDの信頼度を利用した外れ值検出も行い，WSD システム単独では新語義の検出は困難であることも示す.

## 2 従来の新語義検出手法

## 2.1 WSD の信頼度の利用

WSD は語義を識別するタスクなので，WSD システムを利用すれば新語義を検出できると考えるのは自然である. WSD の対象単語 $w$ の語義のクラスを $C$ とする. 関数 $f(x, c)$ はある WSD システムが出力する用例 $x$ 中の $w$ の語義が $c \in C$ となる信頼度とする. この WSD システムは $\operatorname{argmax}_{c \in C} f(x, c)$ により語義を識別する。新語義の検出はある閾値 $\alpha$ を定め,

$
\forall c \in C \quad f(x, c)<\alpha
$

のときに $x$ を新語義の用例と判定することで，新語義を検出できる.

図 1 識別の信頼度と外れ値の度合い

ただし適切な $\alpha$ の值は単語毎に異なるはずであり，その設定は困難である。また WSD は識別のタスクであり，一般に WSD システムは SVM のような識別モデルをもとに構築される。そのためシステムは語義の識別精度が上がるように最適化されており, $f\left(x, c_{i}\right)$ の値は $f\left(x, c_{j}\right)$ との相対的なものである。つまり式 (1)により新語義が検出できる保証はない. 例えば図 1 のような状況を考えてみる，図 1 のクラス 1 とクラス 2 を分離する直線が，分類器に対応する識別境界とする。データがクラスに属する信頼度は, 一般に, 識別境界までの距離で測るので, 図 1 のデータ a とデータb はクラス 1 と識別され, その信頼度は等しくなる. 識別の場合はデー 夕が識別境界のどちら側に属するかだけが重要なので，それで十分であるが，デー夕 a とデー 夕 bを比べると，明らかにデータb の方がクラス 1 に属する信頼度が低い1.

## 2.2 WSI による検出

従来, 新語義の検出は Word Sense Induction (WSI) というタスクの一部として行われてきた (Schütze 1998; Bordag 2006; 九岡, 白井, 中村 2008). WSI は本質的には対象単語の用例を語義に基づいてクラスタリングするタスクである (Denkowski 2009). 用例集合中に新語義の用例があれば，それらも語義のクラスターとして出現するために新語義の検出として利用できる.

ただし陽に新語義を検出するには, 得られたクラスターに語義のラベルを付与する必要がある (田中, 中村, 白井 2009). Shirai は辞書に記述された語義の定義文を利用して, 得られたクラスターに語義のラベルを付けることで新語義を検出しようとしている (Shirai and Nakamura 2010). また Sugiyama は既存語義の用例を種用例として, 用例集合を半教師なしクラスタリングによりクラスタリングした (Sugiyama and Okumura 2009). 種用例のないクラスターが新語

義のクラスターとなる。ただしどちらもクラスタリング自体の精度が悪く, 新語義の検出までには至っていない.

本来, クラスターに語義のラベルを付けるためには，語義のラベル集合が必要である，語義のラベル集合を定めた場合に，WSI と WSD との違いはほとんどなくなる．WSD を行う前に教師なし学習であるクラスタリングを行うアプローチが, 新語義の検出に有効かどうかは不明である。また用例を語義に基づいてクラスタリングする場合, クラスターの数の決め方が大きな問題になる (Agirre and Soroa 2007)。 また新語義がクラスターを形成するという仮定は, 多くの新語義に対して当てはまらない. クラスターを形成するくらいに, その語義の用例が存在するのであれば，その語義は新語義ではなく既に一般的な語義と考えられる。

## 2.3 外れ値検出による検出

新語義の用例を用例集合内の外れ値と見なし, 外れ値検出の手法を利用して新語義を検出するアプローチがある.

Erk は外れ值検出手法の最近傍法を利用して新語義の検出を試みた (Erk 2006). 対象単語 $w$ の語義が付与された用例集を $D$ とし, 用例 $x$ の外れ値の度合い out $(x)$ を式 (2) で測り, この値が 1 以上の $x$ を新語義の用例とした.ここで $d(x, y)$ は用例 $x$ と用例 $y$ 間の距離である.

$
\text { out }(x)=\frac{d(x, y)}{\min _{z \in D} d(y, z)} \quad \text { where } \quad y=\operatorname{argmin}_{y^{\prime} \in D} d\left(x, y^{\prime}\right)
$

この式は $D$ の中で $x$ と最も距離が近いデータ $y$ を選び，更にその $y$ と最も距離が近い $D$ 内のデータ $z$ を選んで, $d(x, y)$ と $d(y, z)$ の比を取ったものである（図 2 参照）.

たたしし最近傍法が妥当な精度を出すには, 大量の訓練データを必要とするという問題がある.

教師データのセット

図 2 外れ值検出手法の最近傍法

## 3 外れ値検出手法

データマイニング分野の外れ値検出手法は非常に多岐にわたるが，その多くは変化点検出の手法に位置づけられる (山西 2009). つまり時系列的にデータが生起するオンラインでのタスクに対する手法が中心である，新語義検出のようなバッチ的なタスクに対する手法としては，密度ベースの手法, One Class SVM, 生成モデルによる手法が代表的な手法である. ここではこの 3 つの手法を本論文の提案手法との比較手法とする.

## 3.1 密度ベースの手法

外れ值検出は古典的にはマハラノビス距離を用いた距離ベースの手法が中心だが，それを改良したのが密度べースの手法であり, 密度べースの代表的な手法がLOF である. LOF は, デー 夕の近傍の密度を利用することで, そのデータの外れ値の度合いを測り, その値によって外れ値を検出する。

LOF におけるデータ $x \in D$ における外れ値の度合いを $L O F(x)$ と表記する. ここで $D$ はデー 夕全体の集合である，LOF $(x)$ を定義するために，いくつかの式を定義しておく．まず $k \operatorname{dist}(x)$ は $x$ に対する $k$ 距離と呼ばれる値で, 以下の条件を満たすデータ $o \in D$ との距離 $d(x, o)$ として定義される。

(1) 少なくとも $k$ 個のデータ $o^{\prime} \in D \backslash\{x\}$ に対して $d\left(x, o^{\prime}\right) \leq d(x, o)$ が成立する.

(2) 高々 $k-1$ 個のデータ $o^{\prime} \in D \backslash\{x\}$ に対してのみ $d\left(x, o^{\prime}\right)<d(x, o)$ が成立する.

直感的には, 上記のデータ $o$ はデータ $x$ からの $k$ 番目に近いデータとなる. データ $x$ から同じ距離を持つデータが複数存在する場合を考慮して, 上記のようなテクニカルな定義になっている.

次に $k \operatorname{dist}(x)$ を利用して, $N_{k}(x), r d_{k}(x, y)$ 及び $l r d_{k}(x)$ を定義してゆく.

$
N_{k}(x)=\{y \in D \backslash\{x\} \mid d(x, y) \leq k \operatorname{dist}(x)\}
$

これは $x$ の $k$ 近傍と呼ばれる集合であり， $x$ との距離が $k \operatorname{dist}(x)$ 以下になるようなデータの集合である.

$
r d_{k}(x, y)=\max \{d(x, y), k d i s t(y)\}
$

これは $x$ から $y$ の距離を表すが， $x$ が $y$ の $k$ 近傍内に入る場合に，その距離を $k \operatorname{dist}(y)$ で置き換えている．直感的にはデータ間の距離が近い場合に， $k$ 距離で補正している.

$
\operatorname{lr} d_{k}(x)=\frac{\left|N_{k}(x)\right|}{\sum_{y \in N_{k}(x)} r d_{k}(x, y)}
$

これは $x$ の $k$ 近傍内のデータ $y$ の $r d_{k}(x, y)$ の平均の逆数であり, これが $x$ の密度を表して

図 3 LOF による外れ値検出

いる.

これらの式を用いて, $L O F(x)$ は以下で定義される.

$
L O F(x)=\frac{1}{\left|N_{k}(x)\right|} \sum_{y \in N_{k}(x)} \frac{l r d_{k}(y)}{\operatorname{lrd} d_{k}(x)}
$

つまり $x$ の $k$ 近傍内のデー夕の密度と $x$ の密度の比の平均を外れ値の度合いとしている. 直感的には近くのデータの密度は高く, 自身の密度が低い場合に外れ値の度合いが高くなる。また「近くのデータの密度は高く, 自身の密度が低い」というのは, ある密度の高いクラスター があり，そこから離れている独立のデータであるような場合である.

例えば図 3 では，デー夕 a とデータb が外れ值である。距離ベースの手法では，デー夕 b は外れ値として検出できるが，データ a はクラスター A との距離が近いために検出できない。一方 LOF では，クラスターA の密度が高く，データ a の近辺にはデータがなく孤立しているので，外れ値として検出できる。

また LOF ではパラメータとして $k$ が存在する。本論文では $k=5$ としている.

## 3.2 One Class SVM

One Class SVM は $\nu$-SVM (Schölkopf, Platt, Shawe-Taylor, Smola, and Williamson 2001)を利用した外れ值検出の手法である (赤穂 2008)。すべてのデータは +1 のクラスに属し, 原点のみが -1 のクラスに属するとして, $\nu-\mathrm{SVM}$ を使って 2 つのクラスを分離する超平面を求める.原点はすべての点に対して類似度が 0 となるために，外れ值とみなせる。また $\nu-\mathrm{SVM}$ はソフ

図 4 One Class SVM による外れ値の検出

トマージンを利用するので， -1 のクラス側に属するデータを外れ値と判定する.

図 4 で概略を説明する。図の星形の点が外れ值である. 原点は全ての点と内積が 0 となる, つまり類似度が 0 であるために外れ値と考える。図の星形の点（外れ値）も含め, 原点以外のすべての点を正常值と考え，外れ値と正常値を分離する超平面を $\nu-\mathrm{SVM}$ で求める. $\nu-\mathrm{SVM}$ はソフト SVM であり, 教師データのすべての点を正確に分離するわけではなく, 少数の誤りを認める. 図では原点付近に超平面（この場合，直線）を近づければ，識別の精度は向上するが, その場合, 最大マージンが小さくなる. 最大マージンを大きくしようとすると, 識別の精度は下がる．このバランスをうまくとるような超平面を求めるのが $\nu-\mathrm{SVM}$ である．最終的に原点側に属するデータが外れ値と判断される.

One Class SVM を利用する際には，用いるカーネル関数やどの程度のマージンの誤りを認めるかのパラメータの設定が結果に大きく影響する。本論文の実験では One Class SVM のプログラムとして LIBSVM²を用いた。カーネルは線形カーネルを利用し，マージンの誤りはパラメータ $n$ に対応するが， $n=0.02$ で固定した.

## 3.3 生成モデルによる手法

データ $x$ の生成過程を確率モデル $P(x)$ でモデル化したものを生成モデルと呼ぶ. 一般に潜在変数 $z_{i}$ を導入し, ある確率モデル $P_{i}(x)$ の混合分布により $P(x)$ をモデル化する.

$
P(x)=\sum_{i} z_{i} P_{i}(x) \quad \text { s.t. } \quad 0 \leq z_{i} \leq 1, \quad \sum_{i} z_{i}=1
$

モデル化の後に，与えられたデータから $\mathrm{EM}$ 法などを利用して， $z_{i}$ と $P_{i}(x)$ のパラメータを推定することで $P(x)$ を構成する.

データ $x$ の外れ値の度合いとしては $-\log P(x)$ が用いられる.この値が大きいほど外れ値と見なせる。

## 4 提案手法

## 4.1 教師付き外れ値検出

一般に外れ值検出のタスクでは外れ値の定義が不可能である ${ }^{3}$.これは外れ值にラベルをつける意味がないことを示している。なぜなら仮にあるデータが外れ値であり，その外れ值にラべルをつけることができたとしても，他の外れ值がそのラベル付きの外れ値と類似している保証がないからである。また検出元となるデータ集合は，ほぼすべて正常値である．仮にデータにラベルをつけるとすれば，正常値のラベルだけになり，教師データに意味はない．これらのことから外れ値検出の手法は教師なしの朹組みにならざるをえない.

しかし新語義の用例を外れ値と見なした新語義検出のタスクの場合，一般の外れ値検出とは異なった 2 つの特徴がある. 1 つは外れ値の定義が明確という点である。ここでの外れ值は新語義の用例であるが, 新語義とは「辞書に記載されていない語義」というように明確に定義できる. もう1つは正常値のデータは語義のクラスターに分割されるという点である. しかもクラスターの数も明確である。一方, 通常の外れ値検出では正常値の集合がクラスターに分割されるのか，されるとしてもいくつのクラスターに分割されるのかは不明である.

ここではこれらの特徴を利用して外れ值検出を行う。つまり, 検出元となる対象単語の用例集の一部に, 対象単語の語義のラベルを付与し, その設定のもとで外れ値検出を行う.

## 4.2 教師付き $\mathrm{LOF$}

教師データを LOF で利用するには単純に教師データをテストデータに加えればよい. しかしその場合, 教師データからも外れ值が検出される可能性がある. ここでは教師データを $k+1$倍してからテストデータに加えてデータセットを作り, そのデータセットに対して LOF を適用する。ただし $k$ は LOF における $k$ distで使われる $k$ である. LOF の場合, 教師データ $x$ を $k+1$ 倍すると $\operatorname{kdist}(x)=0$ となり, 教師データ $x$ が外れ值として検出されることはなくなる.教師データを $k+1$ 倍することで，テストデータに対して，外れ值検出の精度が高まるという保証はないが，いくつかの予備実験により経験的に精度が向上することは確認している。一般に教師データを増やせば検出の精度は高まる。また，教師データを増やせば既存の教師デー

夕に対する密度が高まるはずなので，教師データを $k+1$ 倍することは精度を高める方向に作用する。また LOF は確率的な手法ではないので，明確には教師デー夕の独立同一性分布を仮定していない.この点で同じデー夕を増やしても精度を落とす方向へ作用しないと考える。また注記として，教師なしの LOF も教師付き LOF も $k$ の値が特に精度に影響を与えている.ここの点は考察の章で述べる。本論文では教師なしの LOF において $k=5$ としたが，教師付きの LOF でも $k=5$ とする.

## 4.3 教師データを利用した生成モデルの構築

対象単語 $w$ の用例 $x$ に対する生成モデル $P(x)$ を教師データを利用して構成する． $w$ の語義を $z_{i}(i=1 \sim K)$ としたとき, 全確率の公式から以下が成立する.

$
P(x)=\sum_{i=1}^{K} P\left(z_{i}\right) P\left(x \mid z_{i}\right)
$

$w$ の教師データが $N$ 個あり, その中で語義 $z_{i}$ のデータが $n_{i}$ 個あれば, $\sum_{i=1}^{K} n_{i}=N$ であり,

$
P\left(z_{i}\right)=\frac{n_{i}}{N}
$

と推定できる.

問題は $P\left(x \mid z_{i}\right)$ の推定である. $x$ は以下のような素性リストで表現されている.

$
x=\left.\{f_{1}, f_{2}, \cdots, f_{m}\right.\}
$

ここでは Naive Bayes で使われる素性間の独立性を仮定して，

$
P\left(x \mid z_{i}\right) \approx \prod_{j=1}^{m} P\left(f_{j} \mid z_{i}\right)
$

と近似する. 教師データの中の語義が $z_{i}$ となっているデータの中で $f_{j}$ が出現した個数を $n\left(z_{i}, f_{j}\right)$ と書くことにする.このとき，

$
P\left(f_{j} \mid z_{i}\right)=\frac{n\left(z_{i}, f_{j}\right)}{n_{i}}
$

と推定できる。ただし式 (3) や式 (4) は頻度が 0 の部分があると不具合が生じる．そこで MAP 推定でスムージングを行い, 以下の補正式を用いる (高村 2010).

$
\begin{aligned}
P\left(z_{i}\right) & =\frac{n_{i}+1}{N+K} \\
P\left(f_{j} \mid z_{i}\right) & =\frac{n\left(z_{i}, f_{j}\right)+1}{n_{i}+2}
\end{aligned}
$

以上より $P(x)$ の値が求まる. 外れ值の度合いは $-\log P(x)$ で測り, この値の大きなものを外

れ値の候補とする。

ここである閾値を定めて外れ値を検出することも考えられるが，単語毎に $-\log P(x)$ の値は大きく異なるために，固定した閥值を定めることはできない。そこでここでは単語毎に，検出対象のデータ（テストデータ）に対して $-\log P(x)$ を計算し, それらの値に対する平均 $\mu$ と分散 $\sigma^{2}$ を求める. $-\log P(x)$ の分布を正規分布と考え, 以下の式の値（正規化した値）に対して閾値 $\theta$ を設けることにした.

$
\frac{-\log P(x)-\mu}{\sigma}
$

上記の正規化した值が $\theta$ 以上の $x$ を外れ値とする.

ここでは予備実験を行い $\theta=1.1$ とした.

## 4.4 教師付き LOF と生成モデルの積集合

本論文の提案手法は, 前述した教師付き LOF による出力と, 教師データを利用して構築した生成モデルの出力の共通部分（積集合）を出力するものである.

一般に外れ值検出のタスクは難しく, 単一の手法ではなかなか高い検出能力が得られない. その 1 つの原因は誤検出が多いことである。提案手法の狙いは, 異なったタイプの手法の出力の積集合を取ることで，誤検出を減らし，全体の検出能力を向上させることである．LOF と生成モデルは外れ値の捉え万が異なるために, 出力の積集合を取る効果が期待できる.

## 5 実験

## 5.1 実験データ

SemEval-2 は語義曖昧性解消に関する評価型の国際会議であり，いくつかのタスクが設定されている。日本語 WSD はその中の 1 つである。通常の日本語の語義曖昧性解消のタスクであるが，最も特徴的な点は識別結果に新語義というカテゴリを含めている点である。 つまりテストデータの中には設定された語義のどれでもないという答えがありえる。そのため，このタスクで用意された教師データとテストデータを用いることで, 教師付きの枠組みでの新語義の検出手法の評価が可能である.

日本語 WSD の対象単語は 50 単語である. この中で「可能」「入る」は教師デー夕内に新語義の用例があるので，それらを外して残り 48 単語を実験対象とした. 各単語を以下に示す.

## 名詞 21 単語

相手, 意味, 関係, 技術, 経済, 現場, 子供, 時間, 市場, 社会, 情報, 手, 電話, 場合,

はじめ, 場所, 一, 文化, ほか, 前, もの

## 動詞 22 単語

会う，あげる，与える，生きる，入れる，教える，考える，勧める， する，出す，立つ，

出る，とる，乗る，始める，開く，見える，認める，見る，持つ，求める，やる

形容詞 5 単語

大きい, 高い, 強い, 早い, 良い

新語義は「意味」で 1 用例，「手」で 3 用例，「前」で 7 用例，「求める」で 1 用例，「あげる」 で 2 用例,「はじめる」で 2 用例の計 16 用例存在する. これらが検出の正解となる. 正解の用例を以下に示す。下線の単語が対象単語である.

1. 一の開きが，ある意味で，科学技術と社会に…

2. 一医業収益等は手入力 $\cdots$

3. 一本部での集約も手入力, $\cdots$

4. ‥経理コンピュータへの予算入力も手入力で...
5. $\cdots$ ランチ $=$ 前十一時半 $\sim$ 後 3 時.
6. $\cdots$ 二十四日火, 前十時後 7 時 $\cdots$

7. ㄱ.⿻未丷年 3 月二十日木までの前十時〜後十時, $\cdots$

8. 一川ウうウワイド $(\mathrm{TBS}=$ 前 $8 \cdot$ 三十） $\cdots$

9. 一三三十日水までの前十一時半〜後 2 時半, $\cdots$
10. $\cdots$, 前十一時半後 2 時半, $\cdots$

11. ‥前十時半と後 6 時, 本館 1 階正面口で...

12. “インフラ不安に要因を求め, その強化対策を…

13. 一国を挙げて緑化を進めた。

14. 一国をあげて緑化に取り組んだシンガポールは, $\cdots$

15. 16. “敦じる・はじまる」は「初」でなく，「始める・始まる」と書きます.

## 5.2 素性の設定

本手法を利用するためには，用例を素性べクトルで表現しなくてはならない，そのために以下の 8 種類の素性を利用した。基本的 WSD で利用する素性である。なお対象単語の直前の単語を $w_{-1}$, 直後の単語を $w_{1}$ としている.
$\mathrm{e} 0 \quad w$ の表記

$\mathrm{e} 1 w$ の品詞

$\mathrm{e} 2 w_{-1}$ の表記

e3 $w_{-1}$ の品詞

e4 $w_{1}$ の表記

$\mathrm{e} 5 w_{1}$ の品詞

e6 $w$ の前後 3 つまでの自立語の表記

e7 e6 の分類語彙表の番号の 4 桁と 5 桁

例えば以下は WSD の対象単語が 16 単語目の“経済”である文の形態素解析結果である ${ }^{4}$.

^{4}$ SemEval-2 の日本語 WSD タスクのデータはこの例のように，形態素解析済みのデータである.
}

上記の用例から以下の素性リストが作成される。全体の素性リストが得られれば，全リストの各要素 (素性) $=$ （素性値）を各次元に設定することで，素性リストを素性ベクトル（実数値ベクトル）に変換できる。またここでは作成した素性べクトルの大きさを 1 に正規化した.

$\mathrm{e} 0$ =経済, e1=名詞-普通名詞一一般, e2=人的, e3=形状詞,

$\mathrm{e} 4=$ 的, e5=接尾辞, e6=人的, e e6=作る, e6=HP, e6=余裕,

e6=ある, e6=中小, e7=2386, e7=1197, e7=11972

素性 e7 について注記しておく，上記例の場合，素性 e6 の値としては，「人的」「作る」「HP」「余裕」「ある」「中小」の 6 つ存在する．各々の分類語彙表の番号を調べると，以下のようになっている ${ }^{5}$.

「人的」「HP」「中小」については分類語彙表に記載はない.「作る」の 2.386 から上位 4 桁を取り e7=2386が作成される。また「余裕」の 1.1972 から上位 4 桁と 5 桁を取り e7=1197 と e7=11972 が作成される. 最後に「ある」に関してだが, この単語からは素性 e7 は作成しない.本論文では全てひらがな文字からなる単語は多義語になっている場合が多い. そのため分類語彙表の番号を素性リストに含めてもノイズの方が多いと考え，そのような処理をしている。

## 5.3 実験結果

## 5.3.1 F 值による評価

まず $\mathrm{F}$ 値による評価実験の結果を表 1 に示す. LOF では LOF 値の大きなもの上位 3 つを取り出すことにする， 3 つというのは, 上位 1 つ, 上位 2 つ, , , 上位 5 つと各実験を行い, 最も検出能力が高かった（F 值が高かった）ものである. OCS は One Class SVM の意味である. OCS $\cap$ LOF は LOF の出力と OCS の出力の積集合をとったものである (Shinnou and Sasaki 2010). この 3 つが教師なしの外れ值検出に相当する. LOF-e は教師データを除いて LOF 值の

表 1 実験結果（F 値）

高い上位 3 つをとたたもの, OCS-e は OCS の出力から教師データを除いたもの, OCS $\cap$ LOF-e は LOF-e と OCS-e の出力の積集合を取ったものである. また NN は (Erk 2006) で用いられた最近傍法であり式 (2) が 1.12 以上のものを取り出している. 1.12 という閾値は出力結果から F 值が最も高くなるように設定した値である ${ }^{6}$. S-LOF は本論文で提案した教師付き LOF を指す. S-LOF では, LOF と同様, LOF 值の高い上位 3 つを取り出すことにする。また G-model は本論文で説明した生成モデルによるものである。この 6 つと S-LOF と G-model の出力の積集合を出力とする本手法の 7 つが教師付きの外れ値検出に相当する.

教師ラベルを全く使わない場合，教師データからも外れ值が検出されるので， $\mathrm{F}$ 値は低くなる。また単純に通常の検出を行った後に教師データを除く方法（表 1 の* ${ }_{-}$の手法）よりも, 積極的に教師データを利用した S-LOF の方が F 值が高い.

また S-LOF と G-model は検出の手法が異なるために，検出結果の重なりが少なく，結果的に両者の積集合を取る本手法の $\mathrm{F}$ 値が最も高かった.

## 5.3.2 平均適合率による評価

前節では手法の評価を $\mathrm{F}$ 値で行った。本節では全デー夕に対して外れ值の度合いの順位を出力し, 平均適合率を求めることで手法の評価を行う.

NN と G-model では出力の值（外れ値の度合い）をソートすることで, 全デー夕に対する外れ値の度合いの順位が得られる。LOF や S-LOF の場合は, 単語每に出力の値のスケールが異なるために, まず G-model で行ったような正規化を行い, 単語毎の出力値のスケールを揃える.次に単語毎の出力値の上位 3 位までの出力値に 100 を加えた後に, 全体をソートすることで,全データに対する外れ値の度合いの順位を得る。「上位 3 位までの出力値に 100 を加える」意

味は, 単語毎の出力值の上位 3 位までを優先して出力することに対応する ${ }^{7}$. これは本来 LOF や S-LOF は単語毎に上位数件を外れ値として出力する手法であり, 取り出さないデー夕の順位に意味があるかどうかは不明であるために導入した処理である．実際，この処理を行った方が，行わなかった場合よりも平均適合率は高かった，OCS の場合は，外れ値と判定したデー夕群の重心を求め, その重心との距離によって, 全デー夕に対する外れ値の度合いの順位を得た。本手法 (G-model $\cap \mathrm{S}-\mathrm{LOF}$ ) の場合, 基本的に G-model の出力の値を外れ値の度合いとするが,本来の S-LOF における出力のデータ（単語毎の LOF 值の上位 3 件）に対しては, G-model での出力の値に 100 を加えた後に，全体をソートした．OCSｎLOF などの LOF 類と積集合を取る手法も本手法と同様に, LOF と組み合わせる方の手法のみで，まず外れ値の度合いを得て，次に本来の LOF における出力のデータ（単語毎の LOF 值の上位 3 件）に対して 100 を加えた後に全体をソートした。

G-model は，それぞれ $\mathrm{O} \cap \mathrm{L}, \mathrm{O} \cap \mathrm{L}-\mathrm{e}, \mathrm{G}-\mathrm{mdl}$ と略記している。表の 1 列目は新語義の現れた個数，表内の数値はその個数の時点での適合率である。例えば，本手法の場合， 1 番目に新語義の現れた順位は 7 であり, その時点での適合率は $1 / 7=0.14286$ であり, 2 番目に新語義の現れた

表 2 実験結果（平均適合率）

図 5 平均適合率

順位は 13 であり, その時点での適合率は $2 / 13=0.15385$ である. これを全ての新語義の個数 16 個まで調べ，各適合率の平均が平均適合率 $($ Average Presision $=\mathrm{AP})$ である．そして各手法に対する平均適合率をグラフ化したものが図 5 である.

表 2 及び図 5 より, 本手法が最も平均適合率が高いことが確認できる。また教師なしの手法にあたる LOF, OCS, OCS $\cap$ LOF の 3 つは 0.005 前後の値となり，教師ラベルを使わずに単純に出力結果から教師データを除く手法 LOF-e, OCS-e, OCS $\cap$ LOF-e の 3 つは 0.010 弱の值になり，教師付き外れ値検出手法にあたる NN, S-LOF, G-model の 3 つは 0.010 強の値になる。これらのことから教師データを外れ值検出に積極的に利用する効果も確認できる.

## 6 考察

## 6.1 教師データを $k+1$ 倍する効果

S-LOF は教師データを $k+1$ 倍した LOF であるが, この倍率を 1 から $k+1$ まで変化させた結果を表 3 に示す. なお倍率 1 倍は通常の LOF である. 正解の検出数及び教師データからの検出（誤検出）は $k$ 倍まではほぼ変化ないが， $k+1$ 倍することで急激に改善される。これにより教師データを $k+1$ 倍する効果が確認できる.

## 6.2 WSD による新語義検出

WSD の教師データが利用できるのであれば，WSD の分類器を学習し，その識別の信頼度を利用して新語義が検出できると考えるのは自然である。たたし単純にそのアプローチだけでは新語義の検出は困難である。

前述した素性を使いSVM を学習し, SemEval-2 日本語 WSD タスクのテストデータ 50 単語全てを対象に語義の曖昧性解消を行ったところ, 平均正解率は 0.7664 であった. 上記タスクの参加システム中最高の正解率は RALI-2 の 0.7636 であり (Okumura et al. 2010), ここで学習できたSVM は十分能力が高いことがわかる。，上記SVM の学習にはLIBSVM を用いたが，そこでは-bのオプションで識別の信頼度（その語義に属する確率値）を求めることができる。このオプションを用いて, 閥値 $\theta$ 以下の信頼度のときに, その用例を新語義の用例とすることで新語義の検出を試みた。

間値 $\theta$ の設定であるが, まず単純に 0.51 から 0.99 までの値を 0.01 刻みで設定し, その値を用いた場合の検出結果に対する $\mathrm{F}$ 值を求めた. そのグラフを図 6 に示す. $\theta=0.73$ のときに検出数 388 正解数 4 となり $\mathrm{F}$ 值が最大の 0.0198 を取る. また語義数が $K$ の場合, SVM が出力する識別の信頼度は明らかに $1 / K$ 以上の値になるので，語義数の影響を受けている可能性があ

表 3 S-LOF における教師データの倍率の変化

図 6 閥値と $\mathrm{F}$ 値

る. そこで閾値を $\theta=(1+\alpha) / K$ と設定し， $\alpha$ を 0.01 刻みで 0.99 まで試したときのグラフを図 7 に示す. $\alpha=0.17$ のときに検出数 39 正解数 2 となり $\mathrm{F}$ 值が最大の 0.0727 を取る.

$\mathrm{F}$ 値 0.0727 は表 1 で示された外れ値検出手法と比較すると, それほど悪いとも言えないが, WSD システム単独では新語義の検出が困難であることがわかる.

また平均適合率の評価も行っておく．システムが識別した語義の信頼度によって, 全体のデー 夕を（昇順に）ソートすることで，平均適合率を調べたところ 0.00638 となった。この値は表 2 に示した外れ值検出手法による平均適合率と比べると高い値とは言えない. 平均適合率の観点からも，WSD システム単独では新語義の検出が困難であることがわかる。

上記では語義の識別の信頼度により新語義を検出するアプローチであったが，ここでは SVM を利用しているので，one-vs-rest 法を利用して，語義毎に SVM を学習し，すべての語義について否と判定されたものを新語義とするアプローチも考えられる。このアプローチによる評価も行っておく.

語義毎に SVM を学習する際にも LIBSVM の-bのオプションを用いる。語義毎の各 SVM が否と識別した信頼度を集め，その最小値 $\gamma$ そのデータの新語義の度合いとする。 $\gamma$ が閥値 $\theta$ よりも大きい場合に, 新語義と判定する. $\theta=0.5$ は語義毎の SVM 全てが否と判定したものを新語義と判定することを意味する. 出力結果の分析から $\theta=0.6996$ のときに検出数 33 正解数 1 となり F 值が最大の 0.0408 を取る。また one-vs-rest 法を利用した場合の平均適合率も調べた. $\gamma$ の値を新語義の度合いとし，全データに対して新語義の度合いの順位を出力することで平均適合率が求まる。結果，平均適合率は 0.0132 であった.

$\mathrm{F}$ 値にしても平均適合率にしても，表 1 や図 5 と比較すると, 通常の教師付きの外れ値検出手法と同程度である. one-vs-rest 法を利用した場合でも，WSD システム単独では新語義の検出が困難であることがわかる.

図 7 語義数を考慮した閾値と $\mathrm{F}$ 値

## 6.3 未出現語義を含めた評価

SemEval-2 日本語 WSD タスクでは，教師データ中には現れないが，テストデータには出現する語義が存在する。このような教師データ中の未出現語義は, 新語義と見なすこともできる. このような用例は「あう」で 1 用例, 「すすめる」で 1 用例, 「出す」で 3 用例, 「立つ」で 1 用例, 「とる」で 3 用例, 「ひとつ」で 1 用例, 「見る」で 6 用例, 「持つ」で 1 用例, 「大きい」で 2 用例,「与える」で 1 用例の合計 20 用例存在する。これらも新語義の用例と見なした場合の検出結果を表 4 に示す. $\mathrm{F}$ 值の括弧内の数値は正解を新語義のみにした場合の正解数と $\mathrm{F}$ 値（表 1 の値）である.

また平均適合率の評価も行っておく. 各手法の平均適合率の求め方は前述した方法で行う.結果を表 5 に示す。表 5 の「新語義のみ」の列は正解を新語義のみにした場合であり，「未出現語義を含む」の列は正解を新語義と未出現語義を合わせたものにした場合である.

表 4 未出現語義を含めた評価（ $\mathrm{F}$ 値）

表 5 未出現語義を含めた評価（平均適合率）

表 6 未出現語義を含めた WSD の評価

$\mathrm{F}$ 値の評価でも平均適合率の評価でも本手法が最も高い値を出しており, 本手法の効果は確認できる。ただし全体的な傾向として, 未出現語義を正解に含めた場合の方が， $\mathrm{F}$ 値も平均適合率も若干高くなるが, 本手法に関しては値が下がっている. S-LOF や G-model は未出現語義を正解に含めると，検出できる正解数は増えるが，共通して検出できる部分がなかったために, このような結果になった. この対策としては, 後述するアンサンブル手法の導入により改良していきたい.

また，前節の WSD システムを用いた場合の評価を表 6 に示す。F 值と平均適合率の括弧内の数值は正解を「新語義のみ」にしたものである.

未出現語義を正解に含めた場合でも, 前節同様, WSD システム単独では新語義の検出が困難であるといえる.

## 6.4 誤検出・未検出の原因

本手法の誤検出の原因について述べる。1つは固有表現や熟語内の単語である。例えば以下のような表現が検出されている.

(a) 未来科学技術共同研究センターの中の研究施設

(b) 昔話の「千代ごこ出やっせ」のように

(c) 中小零細企業の取材は数多く手がかかる割りに

固有表現や熟語内の単語に通常の意味があるとは考えづらく, 新語義の検出という観点では, このような表現を抽出しても完全に誤りとは言えない. 本来，新語義の検出するためには，固有表現や熟語を予め抽出しておくことが必要だと考える.

また誤検出のその他の原因は多様であるが，全体として，対象単語の直前や直後に自立語が現れる複合語の用法や動詞の連体形の用法などが目立った.

(d) わが国が最も重要な貿易相手国の一つ

(e) 人間性を疑ってしまう人とは男女関係なく，

(f) 夏休み等に行って来た時の経験＝古き良き時代を，

複合語が専門性の高い用語である場合は意味のある検出とも見なせるが, ここでは複合語を単なる名詞連続で認識しているために，専門用語との区別は付けられない．新語義の検出に関しては，熟語や固有表現と同様，専門用語も通常の表現とは，区別した方がよいと考える.
本手法の未検出の原因としては，突き詰めれば，用例間の距離の測定方法に帰着される．ある新語義の用例と他の正常値の用例との距離がある程度, 離れていたとしても, 正常値の用例間の距離も同程度は離れているという状況である。これは動詞や形容詞における検出では顕著である.この問題に注目して距離学習を新語義発見に応用した研究も存在する (Sasaki and Shinnou 2012)．ただしこの問題は本質的に語義曖昧性解消の場合と同じであり, 語義曖昧性解消の精度向上の試みが本研究に応用できる.

## 6.5 教師付き LOF とパラメータ $k$

オリジナルの LOF ではパラメータ $k$ が存在し，この値が精度に大きく影響することが指摘されている。ここで提案した教師付き LOF では更に $k$ の設定はシビアである.

教師付き LOF では, テストデータ $y$ と最も近い点が教師データ $x$ であった場合, $x$ の密度が非常に高いために $\operatorname{LOF}(y)$ の値も高くなり, 一見, 不都合に感じる. ただしテストデータ $z$ の場合も, 最も近い点が教師データ $x$ であり,$d(x, y)<d(x, z)$ となっている場合は, $\operatorname{LOF}(y)<\operatorname{LOF}(z)$ となるために, $y$ の外れ値の程度は $z$ より下がる (図 8 参照).

つまり極端に言えば，教師付きLOF は，最も近い点が教師データであり，しかもその点までの距離が大きい場合に外れ値の程度が大きくなる。これは外れ値の性質としては妥当である。現実的にはテストデータ $y$ の $k$ 近傍 $N_{k}(y)$ の中に教師データ $x$ が入るかどうか, $y$ から $x$ までの距離 $d(x, y), \quad N_{k}(y)$ の中にテストデータがいくつ入るか及びそれらの位置関係が $L O F(y)$ の値に影響している。もしも $N_{k}(y)$ の中に教師データが入らない場合は, 入る場合と比較して極端に $L O F(y)$ の值は小さいので, $y$ が外れ值として検出されることはない (図 9 参照).

$\lceil k$ 近傍内に教師データが入らない場合は外れ值ではない」という設定が妥当かどうかは不明である。当然, そうではない場合も想定することは可能だか，実験結果をみると本タスクにおいては上記設定が有効に機能していた。おそらく $k$ 近傍内に教師データが入らない場合は，そのデータ近辺の密度が低いためだと考えられる。

ここで提案した教師付き LOF では， $k$ 近傍内に教師データが入るかどうかで，外れ値かどう

図 8 教師データとの位置関係による外れ値の度合い 1

図 9 教師データとの位置関係による外れ値の度合い 2

かの最初の判定がされていると見なすこともできるので, パラメータ $k$ の値は, 通常の LOF よりも更に精度に影響を与えていると言える。

## 6.6 外れ値検出手法のアンサンブル

外れ値検出手法は数多く提案されており, 本論文で利用した LOF についてもいくつかの改良手法が提案されている (Jin, Tung, Han, and Wang 2006; Papadimitriou, Kitagawa, Gibbons, and Faloutsos 2003). これらの手法をどのようにして教師付きの枠組みへ拡張するかは不明であるが，これらを利用することで本手法の改善も可能である.

また，新たに外れ値検出手法を考案するのではなく，既存の手法を組み合わせる戦略も有効である. Lazavic は複数の外れ値検出の手法を適用して, それら出力結果を総合的に判断して最終的に外れ值候補を出力するという外れ値検出手法のアンサンブル (ensemble) を提案した (Lazarevic and Kumar 2005). ここで提案した LOF と生成モデルの組み合わせも，外れ値検出手法のアンサンブルの一種と考えられる. ここでは単純に出力の積により最終の出力を決めたが，重みを付けて判断するなどの工夫も考えられる．あるいは他の外れ値検出の手法の組み合わせることも有効であろう。表 4 からもわかるとおり, LOF の出力と生成モデルの出力はかなり異なる。単純に出力の和を取ると, 検出数が多くなりすぎて $\mathrm{F}$ 值の評価は下がってしまうが,第 1 段目の候補としては取り出せているので, そこからの選別に工夫することで改善が可能である. ここらが今後の課題である.

また，本論文では S-LOF と G-model のアンサンブルを提案したが，実験の結果をみると NN と G-model のアンサンブルや S-LOF と NN のアンサンブルも有望に見える. それらの実験結果を表 7 に示す8。
^{8}$ G-model $\cap \mathrm{NN}$ の平均適合率の測り方は G-model $\cap$ S-LOF（本手法）と同様である。つまり, G-model の出力の値を外れ値の度合いとし, 本来の NN における出力のデータに対しては, G-model での出力の値に 100 を加えた後に，全体をソートした.
}
表 7 手法の組み合わせの評価

表 7 が示すとおり，提案手法の S-LOF と G-model のアンサンブルが最も優れている。また組み合わせる手法によっては，個々の手法よりも精度が劣化することもありえるので，アンサンブルに用いる手法の選択も重要であることがわかる.

## 7 おわりに

本論文では対象単語の用例集合から，その単語の語義が新語義となっている用例を検出する手法を提案した，基本的に新語義の用例を用例集合中の外れ値と考え，外れ値検出の手法を利用する。ただし従来の外れ値検出では教師なしの枠組みであるが，ここでは夕スクの性質を考慮し, 教師付きの枠組みで行った。

まず LOF を教師データを利用する形に改良した教師付きLOF を提案し, 次に教師データを利用することで生成モデルを構築した. 提案手法は上記 2 つの手法それぞれの出力の共通部分 （積集合）を取るものである。これは 2 つの異なったタイプの外れ値検出の手法の積集合を取ることで誤検出を減らし，結果的に検出能力を高めることを狙いとしている。

タスクの一部として新語義識別を含む SemEval-2 の日本語 WSD タスクのデータを利用して, LOF, One Class SVM, 最近傍法, 教師付き LOF, 生成モデルおよび提案手法による新語義の検出実験を行った．それぞれの手法の $\mathrm{F}$ 値と平均適合率を求めることで，提案手法の有効性を示した。また教師なしの手法 (LOF, OCS, OCS $\cap \mathrm{LOF})$, 単純に教師データを検出結果から除く手法 (LOF-e, OCS-e, OCS $\cap$ LOF-e) 及び教師付きの手法 (NN, S-LOF, G-model) の F 值と平均適合率を比較することで，新語義検出を目的とした外れ値検出では，教師デー夕を積極的に利用することが精度向上に効果があることが確認できた。また WSD システムの識別の信頼度を利用した新語義を検出実験も行った。十分なパフォーマンスを示す WSD システムを用いても，WSD システム単独では新語義の検出が困難であることも示した.

提案手法は外れ值検出手法のアンサンブルの手法と位置づけられる。提案手法における出力結果のアンサンブルは, 積集合をとるという単純なものであるため, この部分に工夫を入れることで更に検出能力が高まると予想している. 出力結果の統合方法を工夫することが今後の課題である.

## 参考文献

Agirre, E. and Soroa, A. (2007). "Semeval-2007 task 02: Evaluating word sense induction and discrimination systems." In SemEval-2007.

赤穂昭太郎 (2008). カーネル多変量解析. 岩波書店.

Bordag, S. (2006). "Word sense induction: Triplet-based clustering and automatic evaluation." In EACL-2006, pp. 137-144.

Breuning, M. M., Kriegel, H.-P., Ng, R. T., and Sander, J. (2000). "LOF: Identifying DensityBased Local Outliers." In ACM SIGMOD 2000, pp. 93-104.

Denkowski, M. (2009). "Survey of Techniques for Unsupervised Word Sense Induction."

Erk, K. (2006). "Unknown word sense detection as outlier detection." In NAACL-2006, pp. 128-135.

Jin, W., Tung, A. K. H., Han, J., and Wang, W. (2006). "Ranking outliers using symmetric neighborhood relationship." In The 10th Pacific-Asia conference on Advances in Knowledge Discovery and Data Mining (PAKDD '06), pp. 577-593.

九岡佑介, 白井清昭, 中村誠 (2008). 複数の特徴ベクトルのクラスタリングに基づく単語の意味の弁別. 第 14 回言語処理学会年次大会, pp. 572-575.

Lazarevic, A. and Kumar, V. (2005). "Feature bagging for outlier detection." In The eleventh ACM SIGKDD international conference on Knowledge discovery in data mining (KDD '05), pp. 157-166.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2010). "SemEval-2010 Task: Japanese WSD." In The 5th International Workshop on Semantic Evaluation, pp. 69-74.

Papadimitriou, S., Kitagawa, H., Gibbons, P. B., and Faloutsos, C. (2003). "LOCI: Fast Outlier Detection Using the Local Correlation Integral." In ICDE-2003, pp. 315-326.

Sasaki, M. and Shinnou, H. (2012). "Detection of Peculiar Word Sense by Distance Metric Learning with Labeled Examples." In LREC-2012, pp. Session-P6.

Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., and Williamson, R. C. (2001). "Estimating the support of a high-dimensional distribution." Neural Computation, 13 (7), pp. 1443-1471.

Schütze, H. (1998). "Automatic word sense discrimination." Computational Linguistics, 24 (1), pp. 97-123.

Shinnou, H. and Sasaki, M. (2010). "Detection of Peculiar Examples using LOF and One Class SVM." In $L R E C$-2010.

Shirai, K. and Nakamura, M. (2010). "JAIST: Clustering and Classification Based Approaches for

Japanese WSD." In The 5th International Workshop on Semantic Evaluation, pp. 379-382. Sugiyama, K. and Okumura, M. (2009). "Semi-supervised Clustering for Word Instances and Its

Effect on Word Sense Disambiguation." In The 10th International Conference on Intelligent

Text Processing and Computational Linguistics (CICLing 2009), pp. 266-279.

高村大也 (2010). 言語処理のための機械学習入門. コロナ社.

田中博貴, 中村誠, 白井清昭 (2009). 新語義発見のための用例クラスタと辞書定義文の対応付

け. 第 15 回言語処理学会年次大会, pp. 590-593.

山西健司 (2009). データマイニングによる異常検知. 共立出版.

## 略歴

新納浩幸: 1985 年東京工業大学理学部情報科学科卒業. 1987 年同大学大学院

理工学研究科情報科学専攻修士課程修了. 同年富士ゼロックス, 翌年松下電器を経て, 1993 年 4 月茨城大学工学部システム工学科助手. 1997 年 10 月同学科講師, 2001 年 4 月同学科助教授, 現在, 茨城大学工学部情報工学科准教授. 博士 (工学). 機械学習や統計的手法による自然言語処理の研究に従事.言語処理学会, 情報処理学会, 人工知能学会各会員.

佐々木稔：1996 年徳島大学工学部知能情報工学科卒業. 2001 年同大学大学院博士後期課程修了. 博士 (工学). 2001 年 12 月茨城大学工学部情報工学科助手. 現在, 茨城大学工学部情報工学科講師. 機械学習や統計的手法による情報検索，自然言語処理等に関する研究に従事．言語処理学会，情報処理学会各会員.

}} \\