# 長単位解析器の異なる品詞体系への適用

小澤 俊介 ${ }^{\dagger}$ ・元 清貴 $\dagger+$ ・伝 康晴柿
}

言語研究において, 新しい品詞体系を用いる場合には, 既存の辞書やコーパス, 解析器では対応できないことが多いため，これらを再構築する必要がある。これらのう ち, 辞書とコーパスは再利用できることが少なく, 新たに構築する場合が多い。一方, 解析器は既存のものを改良することで対応できることが多いものの, どのよう な改良が必要かは明らかになっていない。本論文では, 品詞体系の異なるコーパス の解析に必要となる解析器の改良点を明らかにするためのケーススタディとして,品詞体系の異なる日本語話し言葉コーパス（以下，CSJ）と現代日本語書き言葉均衡コーパス（以下，BCCWJ）を利用して，長単位情報を自動付与した場合に生じる 誤りを軽減する方策について述べる。具体的には，CSJを基に構築した長単位解析器を BCCWJへ適用するため, CSJ と BCCWJ の形態論情報における相違点に応じ て, 長単位解析器の学習に用いる素性やラベルを改善した。評価実験により提案手法の有効性を示す。

キーワード：長単位解析，異なる品詞体系，話し言葉コーパス，書き言葉コーパス
## Adaptation of Long-Unit-Word Analysis System to Different Part-Of-Speech Tagset

\author{
Shunsuke Kozawa $^{\dagger}, \operatorname{Kiyotaka~}^{2}$ Uhimoto $^{\dagger \dagger}$ and Yasuharu Den ${ }^{\dagger \dagger \dagger}$
}

Existing dictionaries, corpora, analyzers are not usually applicable to research using new part-of-speech tagset in the fields of linguistic research. Dictionaries and corpora are often newly constructed. On the other hand, existing analyzers can be reused by improving them. However, it is not clear how they could be improved. This paper describes how an analyzer constructed for analyzing a certain corpus can be applied to another corpus with a different part-of-speech tagset. In particular, we improved the features and labels used to train a long-unit-word analyzer based on Corpus of Spontaneous Japanese (CSJ) by focusing on the differences between CSJ and Balanced Corpus of Comtemporary Written Japanese (BCCWJ) and applied the analyzer to BCCWJ. The experimental results show the advantage of the proposed method.

Key Words: long-unit word, different part-of-speech tagset, spontaneous speech corpus, written corpus

## 1 はじめに

近年, 言語研究において, 言語現象を統計的に捉えるため, コーパスを用いた研究が盛んに 行われている.コーパスを用いた研究は, 語法, 文法, 文体に関する研究 (大名 2009 ; 小磯, 小木曽, 小椋, 宮内 2009), 語彙に関する研究 (田野村 2010), 時代ごとの言語変化を調査する通時的な研究 (近藤 2012), 外国語教育へ適用する研究 (中條, 西垣, 内山, 山崎 2006) など多岐 にわたる。

コーパスを用いる研究では, 新しい言語現象を調査するには新しいコーパスの構築が必要と なる。大規模なコーパスを構築する場合，人手でのアノテーションには限界があるため, 自動 でアノテーションをする必要がある。既存の言語単位や品詞体系を利用できる場合は, 既存の コーパスや解析器を利用することにより，他分野のコーパスに対するアノテーション作業を軽減できる (風間, 宮尾, 辻井 2004). また, 対象分野のアノテーション済みコーパスがある程度必要なものの, 分野適応により, 解析器の統計モデルを対象分野に適合するように調整すること で，他分野のコーパスに対しても既存のコーパスに対するものと同程度の性能でアノテーショ ンが可能となる (Jiang and Zhai 2007; Neubig, Nakata, and Mori 2011). しかし, 研究目的に よっては適切な言語単位や品詞体系が異なるため, 既存の言語単位や品詞体系が利用できない こともある，例えば，国立国語研究所の語彙調査では, 雑誌の語彙調査には $\beta$ 単位, 教科書の 語彙調査には $\mathrm{M}$ 単位というように, どちらも形態素相当の単位ではあるが, 調査目的に応じて 設計し用いている。これらの単位の概略は (林 1982; 中野 1998)に基づいてる。また, 言語現象に応じて異なる場合もあり, 日本語話し言葉コーパス(前川 2004)（以下，CSJ）と現代日本語書き言葉均衡コーパス (Maekawa 2008)（以下，BCCWJ）では異なる言語単位や品詞体系が 定義されている。新しい言語単位や品詞体系を用いる場合, 分野適応の利用は難しく, 辞書や コーパス, 解析器を再構築する必要がある. これらのうち, 辞書とコーパスは再利用できるこ とが少なく, 新たに構築する必要がある。解析器に関しては, 既存のものを改良することで対応できることが多いものの, どのような改良が必要かは明らかではない.

本論文では, 言語単位や品詞体系の異なるコーパスの解析に必要となる解析器の改良点を明 らかにするためのケーススタディとして, 品詞体系の異なる CSJ と BCCWJを利用して長単位解析器を改良する. CSJ と BCCWJには、いずれも短単位と長単位という 2 種類の言語単位が アノテーションされている。本論文ではこのうち長単位解析特有の誤りに着目して改善点を明 らかにする。そのため, 短単位情報は適切にアノテーションされているものと仮定し, その上 で長単位情報を自動でアノテーションした場合に生じる誤りを軽減する方策について述べる.評価実験により提案手法の有効性を示し, 提案手法の異なる品詞体系への適用可能性について 考察する。

本論文の構成は以下の通りである。まず， 2 章で長単位解析器を改良するために重要となる

CSJ と BCCWJ の形態論情報における相違点について述べ， 3 章では CSJに基づいた長単位解析手法を説明し, CSJ と BCCWJ の形態論情報における相違点に基づいた長単位解析手法の改良点について述べる。 4 章では，長単位解析手法の改良点の妥当性を検証し，改良した長単位解析手法を評価する．5 章では， 3 章で述べた長単位解析手法を実装した長単位解析システム Comainu について述べ， 6 章で本論文をまとめる.

## 2 CSJ と BCCWJ の形態論情報における相違点

一般に, 解析器を学習したコーパスとは異なるコーパスに適用する場合, 各コーパスには同 じ粒度のアノテーションが施してある必要がある。 アノテーションの粒度が異なる場合には精度よく解析できないため, 解析器を改良し, 学習しなおす必要がある。解析器の改良にはコー パス間の相違点を把握することが重要となる。本章では，CSJを基に構築した長単位解析器を BCCWJ へ適用する上で必要な改良点を把握するため, 言語単位, 品詞体系, 言語現象, 付加情報に着目して, CSJと BCCWJ を比較し, 形態論情報における相違点について述べる。

## 2.1 言語単位

CSJ と BCCWJではともに，短単位と長単位という 2 種類の言語単位が用いられている，短単位は, 原則として, 現代語で意味を持つ最小の単位 2 つが 1 回結合したものであり, その定義は一般的な辞書の見出しに近いものである。長単位は，概ね，文節を自立語と付属語に分け たものであり，1 短単位からなるか，あるいは，複数の短単位を複合したものからなる.

短単位と長単位の例を表 1 に挙げる。表 1 は「日本型国際貢献が求められています」という 文における文節，長単位，短単位の関係を表している。例えば，「日本型国際貢献」という長単位は「日本」,「型」,「国際」,「貢献」の 4 短単位から構成される.

CSJと BCCWJではいずれも, 短単位と長単位という同じ言語単位を利用しているが, BCCWJ の短単位・長単位の認定規定は，CSJの規定に修正を加えたものを利用しているため，CSJ と BCCWJ の短単位・長単位は完全には一致しない.

表 1 文, 文節, 長単位, 短単位の関係

} & られ & \multicolumn{2}{|c|}{ てい } & ま \\

## 2.2 品詞体系

CSJ と BCCWJでは大きく異なる品詞体系が利用されている，以下に CSJ と BCCWJ，それ ぞれの品詞体系を示す.

CSJ では学校文法に基づく品詞体系が採用されており, 15 種類の品詞, 59 種類の活用型, 8 種類の活用形で構成されている (小椋, 山口, 西川, 石塚, 木村 2004). CSJ の品詞体系は以下 の通りである。活用型の○にはア, カ, サ, 夕などが入る.
- 品詞 (15 種類)

名詞, 代名詞, 形状詞, 連体詞, 副詞, 接続詞, 感動詞, 動詞, 形容詞, 助動詞, 助詞,接頭辞, 接尾辞, 記号, 言いよどみ
- 活用型 (59 種類)

○行五段, ○行上一段, ○行下一段, 力行変格, サ行変格, ザ行変格, 文語 行四段, 文語 行上二段, 文語 $\bigcirc$ 行下二段, 文語力行変格, 文語サ行変格, 文語ナ行変格, 文語ラ 行変格, 形容詞型, 文語形容詞型 1 , 文語形容詞型 2 , 文語形容詞型 3 , 文語
- 活用形 (8 種類)

未然形, 連用形, 終止形, 連体形, 仮定形, 已然形, 命令形, 語幹

BCCWJ は形態素解析用辞書 UniDic(伝, 小木曽, 小椋, 山田, 峯松, 内元, 小磯 2007) に準拠した品詞体系を利用しており, 品詞は「名詞-固有名詞-地名-一般」のように階層的に定義さ れている. 各階層は大分類, 中分類, 小分類, 細分類と呼ばれる.「名詞-固有名詞-地名-一般」 の場合, 「名詞」が大分類, 「固有名詞」が中分類, 「地名」が小分類, 「一般」が細分類である.品詞は 4 階層で定義され，大分類で 15 種類，細分類まで展開すると 54 種類ある．活用型は 3 階層で定義され，大分類で 20 種類，小分類まで展開すると 115 種類ある. 活用形は 2 階層で定義され, 大分類で 10 種類, 中分類では 36 種類ある. BCCWJ の品詞体系のうち, 大分類の体系は以下の通りである。
- 品詞 (15 種類)

名詞, 代名詞, 形状詞, 連体詞, 副詞, 接続詞, 感動詞, 動詞, 形容詞, 助動詞, 助詞,接頭辞, 接尾辞, 記号, 補助記号
- 活用型 (20 種類)

五段, 上一段, 下一段, 力行変格, 开行変格, 文語四段, 文語上一段, 文語上二段, 文語下一段, 文語下二段, 文語力行変格, 文語サ行変格, 文語ナ行変格, 文語ラ行変格形容詞, 文語形容詞, 助動詞, 文語助動詞, 無変化型
- 活用形 (10 種類)

語幹, 未然形, 意志推量形, 連用形, 終止形, 連体形, 仮定形, 已然形, 命令形, ク語法
^{1}$ http://sourceforge.jp/projects/unidic/
}
表 $2 \mathrm{CSJ}$ と BCCWJ の名詞の比較

CSJ が階層のない単純な品詞体系を利用しているのに比べ, BCCWJでは詳細な品詞体系が 利用されている. CSJ の名詞と BCCWJ の名詞を比較した例を表 2 に示す. BCCWJでは名詞 は 15 種類に分類されている。また, CSJでは短単位と長単位の品詞体系が一致しているのに対 し, BCCWJでは短単位と長単位の品詞体系は一部異なっている。これは BCCWJ の短単位で は「名詞-普通名詞-サ変可能」や「名詞-普通名詞-形状詞可能」などの曖昧性を持たせた品詞が 設けられているのに対し，長単位ではこれらを設けていないためである.

## 2.3 言語現象

CSJ は話し言葉コーパスであるのに対し， BCCWJ は書き言葉コーパスであるため，言語現象として，話し言葉と書き言葉という大きな違いがある。例えば，話し言葉の場合，フィラー や言いよどみなどが生じる。一方, 書き言葉の場合, 著者によって使われる表記が異なるため,表記のバリエーションが多い。話し言葉のコーパスである CSJ と書き言葉のコーパスである BCCWJ を比べると, 前者では人手で書き起こす際に表記摇れが吸収され表記は統一されてお り，後者では著者の著したテキストがそのまま使われているため表記は不統一である．次の節 でこれらに関連してコーパスに付加された情報の違いを整理する.

## 2.4 付加情報

CSJ と BCCWJでは短単位に付与されている情報に多少違いがある，以下に，CSJ のみ，及 び，BCCWJのみにしか付与されていない情報について述べる.

CSJ には話し言葉特有の情報など, 以下の情報が付与されている.

・フィラー：フィラーに対してタグ $(\mathrm{F})$ が付与されている

( $\mathrm{F}$ え一)，(F あのね $),(\mathrm{F}$ んーと)

・言いよどみ：言いよどみに対してタグ（D）が付与されている

（D す）すると,（D テニ）昨日のテニスは，（D 情）情報が
- アルファベット：アルファベット, 算用数字, 記号の短単位に対してタグ（A）が付与さ れている.

(A シーディーアール； C D - R)
- 外国語：外国語や古語，方言などに対して夕グ（O）が付与されている.

(O ザッツファイン)
- 名前 : 話者の名前や差別語, 誹謗中傷などに対して夕グ $(\mathrm{R})$ が付与されている.

国語研の $(\mathrm{R} \times \times)$ です
- 音や言葉のメ夕情報：音や言葉に関するメ夕的な引用に対して夕グ（M）が付与されて いる.

助詞の（M は）は（M わ）と発音

一方, BCCWJでは CSJには付与されていない以下の情報が付与されている.
- 語種情報：語種とは, 語をその出自によって分類したものである. BCCWJでは, 短単位に以下の語種のいずれかが付与されている.

和語, 漢語, 外来語, 混種語, 固有名, 記号
- 囲み情報：BCCWJでは, 丸付き数字（1), (2)）や丸秘などの丸で囲まれている文字は 内部の文字のみが短単位となっており, 囲みの情報は別で付与されている。例えば, 「1 林木の新品種の開発」は書字形では「1林木の新品種の開発」となっており, 囲みの情報は別で付与されている。

## 3 長単位解析手法

本章では，まず，CSJに基づいて構築された長単位解析手法（従来手法）について述べ，次 に，提案手法について述べる。従来手法を BCCWJに適用するためには改良が必要であり，提案手法では, CSJ と BCCWJ の形態論情報における相違点に着目した改良を行った.

長単位解析とは長単位境界, 及び, 長単位の語彙素, 語彙素読み, 品詞, 活用型, 活用形を 同定する夕スクである。短単位解析では，辞書を用いることで，高精度に解析が行われてきた (Kudo, Yamamoto, and Matsumoto 2004; Den, Nakamura, Ogiso, and Ogura 2008). 長単位解析でも長単位辞書を構築することによって高精度に解析できることが考えられるが，短単位の 組み合わせからなる長単位の語彙は膨大であり, 辞書の構築には膨大な労力が必要となるため,
効率的でない，そのため，短単位情報を組み上げることにより長単位解析を行う.

## 3.1 CSJ に基づく長単位解析手法（従来手法）

Uchimoto らは長単位を認定する問題を, 入力された短単位列に対する系列セグメンテーション 問題として捉え, チャンキングモデルと後処理に基づいた長単位解析手法を構築した (Uchimoto and Isahara 2007). 図 1 に長単位解析の流れを示す. 短単位列を入力とし，チャンキングによ り長単位境界を認定する。このとき，一部の長単位に対しては品詞情報も付与する。次に，後処理によって長単位の品詞，活用型，活用形，語彙素，語彙素読みを付与する.

## 3.1.1 チャンキングモデル

チャンキングモデルによって, 長単位境界を認定し, 一部の長単位に対しては品詞情報も付与するために, Uchimoto らは下記の 4 つのラベルを定義している.

$\mathrm{Ba}$ 長単位を構成する短単位のうち先頭の要素で, かつ, その品詞, 活用型, 活用形が長単位のものと一致する。

Ia 長単位を構成する短単位のうち先頭以外の要素で, かつ, その品詞, 活用型, 活用形が 長単位のものと一致する。

B 長単位を構成する短単位のうち先頭の要素で, かつ, その品詞, 活用型, 活用形のいず れかが長単位のものと一致しない。

I 長単位を構成する短単位のうち先頭以外の要素で, かつ, その品詞, 活用型, 活用形の いずれかが長単位のものと一致しない.

これは, 長単位を構成する先頭の要素に付与されるラベルは「Ba」か「B」であり, 長単位を構

$\lceil\mathrm{Ia}\rfloor$ が付与された要素は長単位と同じ品詞, 活用型, 活用形を持つことを意味する. したがっ て, このラベルを利用することにより, 長単位境界だけでなく, 多くの場合, 品詞, 活用型, 活用形の情報も得られる。

図 1 長単位解析の流れ
図 2 に 「日本型国際貢献が求められています」に対して，ラベルを付与した例を示す。これ らのラベルを正しく推定できれば, 「Ba」あるいは「I Ia」が付与された短単位から品詞, 活用

図 2 短単位と長単位の例
型, 活用形が得られる. 図 2 は,「ている」以外の長単位については品詞, 活用型, 活用形も得 られることを表わしている。一方，「ている」については品詞がこれらを構成する短単位「て」「いる」のどちらとも異なるため，各短単位には「B」あるいは「I」のラベルしか付与されない. この場合は，ラベルを正しく推定できたとしても品詞などは得られず，単位境界の情報のみが 得られることになるため，次節に述べる後処理により品詞，活用型，活用形を推定する．

チャンキングモデルの素性としては, 着目する短単位とその前後 2 短単位, あわせて 5 短単位について，以下の情報を利用する。
- 短単位情報

書字形, 語彙素読み, 語彙素, 品詞, 活用型, 活用形
- 付加情報

2.4 節で述べた CSJ にのみ付与されている情報（フィラー, 言いよどみ, アルファベッ

卜，外国語，名前，音や言葉のメ夕情報を示すタグ）がそれぞれ着目している短単位の 直前に付与されているか否かを素性として利用する.

## 3.1.2書き換え規則による後処理

3.1.1 節で記したチャンキングモデルにより，ラベルを正しく推定することができれば，図 2 の「日本型国際貢献」や「求める」などは「 $\mathrm{Ba}\rfloor$ または「I $\mathrm{Ia}$ が付与された短単位から品詞, 活用型, 活用形が得られる。一方,「ている」については, 品詞が長単位を構成する短単位「て」及び「いる」とは異なるため，各短単位には「B」あるいは「I」のラベルしか付与されない。こ の場合は，ラベルを正しく推定できたとしても品詞は得られず，単位境界の情報のみが得られ ることになる。これらの長単位に対しては書き換え規則によって品詞, 活用型, 活用形を付与 する。

単位境界のみが分かっている長単位ごと，つまり，「B」あるいは「I」が付与された短単位の みから構成される長単位ごとに書き換え規則を獲得, 適用することによって品詞, 活用型, 活用形の情報を得る。書き換え規則は対象の長単位とその前後の短単位を抽出することによって 自動獲得する。書き換え規則は対象の長単位を構成する短単位, 及び, その前後の短単位から なる前件部と, 対象の長単位からなる後件部で構成される。例えば, 図 2 の「ている」につい ては図 3 のような規則が獲得される。前件部で同じ規則が複数得られた場合, 最も頻度の高い もののみ書き換え規則として獲得する.

図 3 の規則は，「て」「いる」という短単位にそれぞれ「B」,「I」というラベルが付与され，前方 (文頭側) の短単位が「られ」, 後方（文末側）の短単位が「ます」であるとき，「ている」とい う助動詞に書き換えられることを意味している。どの書き換え規則も適用されない場合は，以下の手順で規則を汎化して再適用する。
- 後方文脈を削除

前件部

後件部

図 3 書き換え規則の例
- 前方文脈と後方文脈を削除
- 前方文脈, 後方文脈, 書字形, 語彙素読み, 語彙素を削除

前方文脈とは対象の長単位より前方 (文頭側) の短単位（図 3 の「られ」), 後方文脈とは対象 の長単位より後方 (文末側) の短単位（図 3 の「ます」）を表す。この手順で再適用し, 結果的 にどの規則も適用されなかった場合は, 短単位の先頭の品詞, 活用型, 活用形を適用する.

## 3.2 コーパスの形態論情報における相違点に基づいた長単位解析手法の改善 (提案手法)

本節では， 3.1 節で示した長単位解析手法（従来手法）からの改良点について述べる。

## 3.2.1 品詞体系の差異に応じた改善

CSJ と BCCWJ の品詞体系は 2.2 節で示したように, 大きく異なっている. この問題に対し,以下の点を改善した。

## 汎化素性の利用

CSJ の品詞体系とは異なり, BCCWJ の品詞体系では, 品詞, 活用型, 活用形が階層的に定義されている。しかし, 階層化された素性をそのまま利用した場合, 各階層の情報が考慮され なくなってしまう。そこで，階層化された素性に対して上位階層で汎化した素性をチャンキン グモデルの素性として追加する。例えば「名詞-普通名詞-一般」に対しては，「名詞」「名詞-普通名詞」を素性として追加する。

## カテゴリ推定モデルによる後処理

CSJでは品詞体系が単純であったため, 「B」あるいは「I」のラベルが付与された短単位のみ から構成される長単位が少なく, 後処理については書き換え規則である程度対応できていた。

しかし, 品詞体系が詳細な BCCWJでは, 短単位と長単位の品詞の対応関係が単純ではないた め，書き換え規則で対応するのは困難である。この問題に対し，次に述べるカテゴリ推定モデ ルを用いることで解決することを提案する.

カテゴリ推定モデルは，学習データに現れたカテゴリを候補として，その候補すべてについ て尤もらしさを計算するモデルである。長単位を構成する短単位列を与えると，その長単位に 対して最尤のカテゴリを出力する，推定するカテゴリを品詞，活用型, 活用形とした, 品詞推定モデル，及び，活用型推定モデル，活用形推定モデルをそれぞれ学習・適用し，最も尤もら しい品詞, 活用型, 活用形を推定する.

推定するカテゴリを品詞とする品詞推定モデルでは，学習データに現れた品詞のうち, 助詞 と助動詞を除くすべての品詞候補から最尤の品詞を出力する．助詞と助動詞については長単位 を構成する短単位列が複合辞と一致している場合のみ候補とする．複合辞と一致しているかど うかは，複合辞辞書との文字列マッチングにより自動判定する．複合辞辞書は BCCWJ で認定 された複合辞を予め人手で整理することにより用意した。素性としては，着目している長単位 とその前後の長単位, あわせて 3 長単位に対して, 先頭から 2 短単位と末尾から 2 短単位の計 12 短単位の情報を用いる。長単位が 1 短単位からなる場合は, 先頭から 2 短単位目の情報は与 えられなかったもの (NULL) として扱う. 各短単位に対して, 書字形, 語彙素読み, 語彙素,品詞, 活用型, 活用形, 及び, 階層化された素性に対して上位階層で汎化した情報を素性とし て用いる。

図 2 の「てい」に対して品詞推定モデルを適用する例を図 4 に示す.「てい」では, 前後の長単位をあわせた「られ」「てい」「ます」の 3 長単位に対し, 「られ」「NULL」(「られ」の先頭 2 短単位),「て」「い」(「てい」の先頭 2 短単位),「ます」「NULL」(「ます」の先頭 2 短単位), 及 び, 「NULL」「られ」(「られ」の末尾 2 短単位),「て」「い」(「てい」の末尾 2 短単位),「NULL」「ます」(「ます」の末尾 2 短単位) の各短単位の情報を素性として用いる. 図 4 では, 最尤の品詞として助動詞を出力している.

活用型推定モデル, 及び, 活用形推定モデルは, 推定するカテゴリが品詞ではなくそれぞれ活

図 4 品詞推定モデルの適用例
用型, 活用形となる点, 及び，動的素性を用いる点を除いて品詞推定モデルと同様である．動的素性としては，活用型推定モデルでは着目している長単位の品詞（自動解析時は品詞推定モ デルにより自動推定した品詞）を，活用形推定モデルでは着目している長単位の品詞と活用型 （自動解析時は品詞推定モデル，活用型推定モデルによりそれぞれ自動推定した品詞と活用型） を用いる。

## 3.2 .2 付加情報の差異に応じた改善

2.4 節で示した BCCWJにのみ付与されている以下の情報をチャンキングモデルの素性とし て利用する。
- 語種情報

短単位の語種が和語, 漢語, 外来語, 混種語, 固有名, 記号のいずれであるかを素性と して利用する。
- 囲み情報

BCCWJ では丸付き数字で長単位境界が区切れるため, 囲み情報は長単位境界を判定す るための大きな手がかりとなる。そのため, 短単位に囲み情報が付与されているか否か を素性として利用する。

## 3.2.3 ラベル定義の変更

本節では，コーパスの相違点に限らず，既存の手法にも適用できる改良について述べる.

3.1.1 節で示した 4 つのラベルを以下のように再定義した. 変更点を下線で示す.

$\mathrm{Ba}$ 単独で長単位を構成する短単位で, かつ, その品詞, 活用型, 活用形が長単位のものと 一致する。

Ia 複数短単位で構成される長単位の末尾の短単位で, かつ, その品詞, 活用型, 活用形が 長単位のものと一致する。

B 複数短単位で構成される長単位の先頭の短単位. もしくは, 単独で長単位を構成する短単位で, かつ, その品詞, 活用型, 活用形のいずれかが長単位のものと一致しない.

I 複数短単位で構成される長単位の先頭でも末尾でもない短単位. もしくは, 複数短単位 で構成される長単位の末尾の短単位で, かつ, その品詞, 活用型, 活用形のいずれかが 長単位のものと一致しない.

単独の短単位から構成される長単位に対しては, 短単位の品詞, 活用型, 活用形が長単位のもの と一致する場合には「Ba」, 一致しない場合には「B」が付与される。一方, 複数短単位から構成される長単位に対しては, 先頭の短単位には「B」, 先頭でも末尾でもない短単位には「I , 末尾の短単位にはその品詞, 活用型, 活用形が長単位のものと一致する場合には「Ia」, 一致しな い場合には「I」が付与される。この定義を利用すると, 図 2 の例では, 「Ba」が付与されている
「日本」には「B」,「IIaが付与されている「国際」には「I」のラベルが付与されることになる.本改良は, 長単位の品詞, 活用型, 活用形は, 長単位を構成する短単位のうち, 末尾の短単位の品詞, 活用型, 活用形と一致することが多く，それ以外の位置にある短単位と一致する場合は偶然であることが多いという観察に基づく。「Ba」,「IIaのラベルが付与される短単位を長単位を構成する末尾の短単位のみに限定することにより，チャンキングモデルの精度が向上し，全体の性能が向上することが期待できる.

## 4 評価実験

本章では, 3.2 節で示した改善策の有効性を確認するため, 3.1 節で示した従来手法と各改善策を行った手法の長単位解析精度を比較する。まず，4.2 節では予備実験として，CSJを用いた 実験を行い，従来手法の長単位解析の性能を確認する。また，BCCWJに適用するために行っ た改善策が CSJ に対しても有効であること示す. 次に， 4.3 節で BCCWJを用いた実験を行う.従来手法と 3.2 節で示した提案手法とを比較し, 提案手法の有効性を示す.

## 4.1 設定

3 章に述べた手法のチャンキングモデルの学習と適用には， $\mathrm{CRF}++{ }^{2}$ を用いた. $\mathrm{CRF}++$ は $\mathrm{CRF}$ に基づく汎用チャンカーであり，パラメータは $\mathrm{CRF}++$ のデフォルトのパラメータを用い た. また, 改良した後処理に用いる品詞, 活用型, 活用形推定モデルの学習には YamCha ${ }^{3}$ を用 いた. YamChaはSVM に基づく汎用チャンカーであり，カーネルは多項式カーネル（べき指数 3）を採用し，多クラスへの拡張は one-versus-rest 法を用いた.

実験で用いるデータを表 3 に示す. CSJ, BCCWJともに，コアデータを学習データとテスト データに分け，学習データはモデルの学習に，テストデータはモデルの評価に用いている. CSJ のデータは Uchimoto ら (Uchimoto and Isahara 2007)の実験設定に合わせて，フィラー，言い よどみを削除して用いた。チャンキングモデルで用いるフィラーと言いよどみの情報としては,短単位の直前がフィラーか否か, もしくは，言いよどみか否かの情報を素性として利用してい

表 3 評価データの規模

^{3}$ http://chasen.org/ taku/software/yamcha/
}

る.また, BCCWJ のデータは CSJ の結果と比較しやすいように, CSJ とデータ規模を同程度 にした。なお, 本実験では短単位情報は予め適切な情報が付与されていることを前提とする.

本実験では，正解データの境界（品詞）のうち正しく推定できたものの割合（再現率）と自動推定した境界（品詞）のうち正しく推定できたものの割合（精度）, 下記に示す再現率と精度 の調和平均である $\mathrm{F}$ 值を評価指標として用いる.

$
F \text { 值 }=\frac{2 \times \text { 精度 } \times \text { 再現率 }}{\text { 精度 }+ \text { 再現率 }}
$

## 4.2 予備実験

予備実験として，CSJに対する実験を行った．実験には表 3 に示した CSJ の学習データとテ ストデータを用いた． 3.1 節で記した CSJ を基に構築した長単位解析手法（従来手法）をべー スラインとして, CSJの学習データを用いて学習し, テストデータに適用した。また, 3.2 節で 記した改善のうち, CSJに対しても適用できる以下のモデルを適用した.

## ・ ベースライン+ラベル変更

ベースラインに対して, 3.2 .3 節で示したラベル定義の変更をしたモデル
- ベースライン+推定モデル

ベースラインの後処理を書き換え規則から品詞, 活用型, 活用形推定モデルに変更した モデル

・ ベースライン+ラベル変更+推定モデル

ベースラインに対して, ラベル定義, 及び, 後処理を変更したモデル

結果を表 4 に示す. CSJに対してベースラインを適用した場合, 境界推定で $98.99 \%$, 品詞推定で $98.93 \%$ と高い性能が得られていることがわかる. ラベル定義を変更したモデルはベースラ インに対し，性能が向上しており，ラベル定義の変更が有効に働くことを示している．後処理 に推定モデルを用いたモデルでは品詞推定の精度が向上した. 性能差は $\mathrm{F}$ 值で $0.4 \%$ と小さい ため，CSJへ適用する場合には，書き換え規則でも十分に適用できているといえる。また，ベー スラインに対してラベル定義と後処理を変更した場合が最も性能がよく，CSJに対しても有効 な改良であることがわかった。

表 4 CSJ で学習したモデルを用いた実験結果

次に, CSJ で学習したべースラインのモデルを BCCWJ のテストデータに適用したところ,境界推定で $74.72 \%$, 品詞推定で $65.58 \%$ と大きく精度が落ちる結果となった。これは，当然で はあるが，2 章で記したように，CSJ と BCCWJでは言語単位や品詞体系が異なるためであり， BCCWJ を高精度で解析するには解析器の再構築が必要であることを示唆している.

## 4.3 実験

表 3 に示した BCCWJ のデータを用いて実験した。まず，BCCWJ の学習データを用いて構築したべースラインを BCCWJ のテストデータに適用した。その結果を表 5 の 3 行目に示す.境界推定において $98.74 \%$, 品詞推定において $97.68 \%$ の性能となった. CSJを用いて学習, テ ストした表 4 の 3 行目の結果（ベースライン）と比較すると, 境界推定では $0.25 \%$, 品詞推定 では $1.25 \%$, 性能が低下した。

次に，各改善点の有効性を確認するため, 以下のモデルを用いて実験した。
- ベースライン+汎化素性

ベースラインのチャンキングモデルの素性に 3.2.1 節で示した汎化素性を追加したモデル

$\cdot$ ベースライン十推定モデル

ベースラインの後処理を書き換え規則から 3.2.1 節で示した品詞, 活用型, 活用形推定モ デルに変更したモデル

・ ベースライン+語種情報

ベースラインのチャンキングモデルの素性に 3.2.2 節で示した語種情報を追加したモデル
- ベースライン十囲み情報

ベースラインのチャンキングモデルの素性に 3.2 .2 節で示した囲み情報を追加したモデル

・ベースライン+ラベル変更

ベースラインに対して，3.2.3 節で示したラベル定義の変更をしたモデル

表 5 BCCWJ で学習したモデルを用いた実験結果

結果を表 5 の 4 行目から 8 行目に示す. ベースラインに対して, いずれの改良を加えた場合で も $\mathrm{F}$ 值が向上した。境界推定に関しては，汎化素性が性能向上に大きく貢献した。品詞推定に 関しては，後処理を書き換え規則から品詞，活用型，活用形推定モデルにした手法で大きく性能が向上した.

提案手法として CSJ と BCCWJ の形態論情報における相違点に対する改良をすべて行ったモ デルを適用した。結果を表５の９行目に示す。境界推定では $98.93 \%$, 品詞推定では $98.66 \%$ の 性能が得られ, ベースラインに対して, 境界推定で約 $0.2 \%$, 品詞推定で約 $1 \%$ 向上した. CSJ を用いて学習, テストした表 4 の 6 行目の結果（ベースライン+ラベル変更+後処理）と比較す ると, 境界推定では $0.13 \%$, 品詞推定では $0.39 \%$ 低いが, この性能低下は主として CSJに比べ BCCWJ の方が品詞体系が詳細であるため, 長単位解析自体の問題が難しくなっていることに 起因すると考えられる。

また, ベースラインに対して，品詞体系の相違点に対する対処（汎化素性，後処理）を適用 したモデル（ベースライン十品詞体系対応）を用いた実験を行った。結果を表 5 の 10 行目に示 す. 表 5 の 9 行目の改良手法と同程度の性能が得られており, 主な性能改善は品詞体系の差異 に対応することで得られていることがわかる.

## 4.4 考察

## 4.4.1 誤り傾向の分析

CSJ に対してべースラインを用いた実験（表 4)，BCCWJに対してべースライン，及び，提案手法を用いた実験（表 5）について，誤り傾向を分析した.

まず，境界推定誤りの傾向を，それぞれの実験について調査したところ，共通する 2 つの誤 りの傾向が見られた。1つ目は名詞連続であり, 名詞の短単位列に対する長単位境界を誤るこ とが多かった。表 6 の 2 から 4 行目に誤りの例を示す。表の例では，短単位境界を「／」，長単位境界を「|」で表している。例えば，「医学部倫理委員会」では「医学部」と「倫理委員会」の 2 長単位にすべきところを「医学部倫理委員会」と誤って 1 長単位として判定した. これらを 正しく解析するには,「部」や「庁」などの境界になりやすい短単位の辞書を構築し, 境界にな

表 6 境界誤りの例

りやすい短単位かどうかを素性として追加することで対応できるだろう。ただし，短単位間の 意味的な関係を捉えないと解析が困難な場合もあるため，意味的な関係を考慮できるようにす る必要もある．2つ目は複合辞に関する誤りであり，複合辞相当の長単位を複合辞として判定 できなかったり，逆に複合辞ではない短単位列を複合辞として判定してしまうことが多かった。例を表 6 の 5 から 7 行目に誤りの例を示す。短単位列が複合辞か否かは前後の文脈に大きく依存するため, 正しく解析できるようにするためにはそれらを考慮した素性が必要となるだ万う.表 7 に全体の誤りに対する名詞連続と複合辞の誤りの割合を示す.いずれのデータ，モデルに おいても，名詞連続と複合辞については誤り率が高く，コーパスに関わらず難しい問題である ことがわかる.

次に品詞誤りの傾向を調査した. CSJ については品詞誤りがほとんど見られなかったため, BCCWJ のみを調査した，表 8 に主な品詞誤りの原因とその割合を示す。ベースライン，提案手法のどちらのモデルにおいても, 名詞-普通名詞-一般と名詞-固有名詞-一般などの名詞同士の 誤りが多く見られた。例を表 9 の 2 から 4 行目に示す. 例えば，「欧州連合」を名詞-固有名詞一般と判定すべきところを，名詞-普通名詞-一般と誤って判定した。これに対する改善策として は, 固有名詞になりやすい名詞を学習データから取得し, 素性として利用することが考えられ

表 7 境界推定誤りの傾向

表 8 品詞誤り

表 9 品詞誤りの例

る。また, ベースラインを用いた場合は, 名詞-普通名詞-一般と副詞, 形状詞-一般との誤りが 多く見られた。誤りの例を表 9 の 5 から 8 行目に示す.「最近」という長単位を名詞-普通名詞一般と判定すべきところを，副詞と誤って判定する例などがあった。一方，これらの誤りは提案手法を用いた場合はほとんど見られなかった。これはべースラインでは書き換え規則により 品詞を付与しているためだと考えられる。書き換え規則では頻度が高い規則が適用される。「最近」という長単位の場合, 名詞-普通名詞-一般よりも副詞として出現することが多いために書き 換え規則では誤って副詞と判定してしまう。これに対し, 品詞推定モデルでは前後の文脈を考慮し, 文脈に沿って品詞を判定するため, 名詞-普通名詞一一般と副詞, 及び，名詞-普通名詞-一般と形状詞一一般に関する誤りが大きく減少したと考えられる.

## 4.4.2 人が見たときに気になる誤りへの対処

後処理を書き換え規則から品詞推定モデルにしたことにより, 品詞の推定精度が大幅に向上 した. しかし, 学習による品詞推定をする場合, 人間では誤らないような品詞が付与される可能性がでてくる. これは, 品詞推定の際に, 学習データにでてきたすべての品詞の中から最尤 の品詞を推定するためである。もし, BCCWJ の品詞体系で認められていない形式で品詞が付与されてしまうと, 少数の誤りであっても人が見たときには目立つ誤りとなる. 特に, 研究対象になりやすく, 自動解析も強く求められている複合辞などに対しては配慮する必要がある.例えば,「として」という助詞-格助詞の複合辞に対して, BCCWJ の品詞体系で認められてい ない助詞-係助詞などの品詞を付与したり, 複合辞とは認められていない短単位列を複合辞とし て判定してしまうと，人が見たときに目立つ誤りとなり，解析器の信頼性が大きく低下してし まう. そのため, 3.2.1 節で述べた品詞推定モデルでは, 複合辞については予め複合辞辞書を用意し, 特定の品詞しか付与しないよう対処している.

## 4.4.3 コーパスのアノテーションと自動解析について

アノテーションの精度を高めることは, コーパスを用いた研究を行う場合, 非常に重要であ るが，そのためにはどこに人手をかけるべきかを検討する必要がある. 例えば，言語単位や品詞体系の定義を複雑にすると自動解析が難しくなるため, 自動解析結果の修正に人手をかける 必要が生じる。話し言葉の場合, フィラーや言いよどみなどを適切に自動解析するのは難しい ため, CSJでは書き起こしの段階で人手でタグを付与している。，逆に，コーパスに付加する情報を一部犠牲にして，定義を柔軟にすることで自動解析の精度を向上させることにより，人手 による修正コストを軽減することもできる，例えば，BCCWJでは同格や並列の関係にある場合に, 意味的な関係を考慮し, 連接する短単位それぞれを長単位として適切に自動認定するこ とは困難であるため，1 長単位と定義している，以下の例の「公正」と「妥当」は並列の関係に あるが，1 長単位としている。

## | 公正妥当 |な 実務慣行 $\mid$

CSJ や BCCWJにおいては，長単位情報を付与する前段階で上述のような対処をすることによ り長単位解析器としては対処すべき問題が低减されたという面もある。このように様々な言語現象に対応しつつコーパスに効率良くアノテーションするためには，自動解析によるアノテー ションの前段階で, 自動解析が難しそうな問題に対して柔軟に対処することも重要である.

## 4.4.4 他の品詞体系への適用についての一考察

提案手法で BCCWJ とは異なる品詞体系に対してどの程度対処できるかについて考察する. 4.2 節と 4.3 節での実験により, 提案手法は CSJ, BCCWJ のどちらに対しても有効であった. これは提案手法が従来手法に比べ, 以下の問題に対して汎用的に対処できるようになったため であると考える。
- 長単位の品詞の種類の多さ
- 階層的な品詞体系
- 短単位の品詞と長単位の品詞が異なる

品詞体系が BCCWJ より単純, もしくは, 複雑な場合を考える. まず, 品詞体系が BCCWJ よ り単純な場合は，既に CSJに適用した結果からもわかるように，提案手法により同等以上の性能が得られると考えられる。次に, 品詞体系が BCCWJより複雑な場合であるが，想定される 複雑性は以下の通りである.
- 品詞の種類の増加
- 品詞体系の階層の複雑化
- 短単位の品詞と長単位の品詞の関連性の希薄化

これらは BCCWJ の品詞体系が CSJ の品詞体系に対して複雑になった点でもある. 提案手法で は, 品詞の階層情報 (汎化素性) を用いることにより, 品詞の推定精度が向上した。これは, 上記の複雑性が増した場合でも, 品詞間の関係を別途定義・アノテーションした情報を用いるこ とにより，解析性能を上げることができることを示している，たたし，あまりに複雑な品詞体系の場合, 必要となる学習デー夕量が増えるため, 学習デー夕量が十分ではないことが原因で 解析精度が低下することも考えられる，そのため，品詞体系はバランスを考えて定義すること が重要である.

次に CSJ や BCCWJ とは異なる品詞体系を利用して, コーパスに対して効率よくアノテー ションをする方法について考える。一般に，すべて人手で言語単位や品詞をアノテーションす るのはコストが高い. このコストを軽減するためには, (1) 対象のコーパスを既存の解析器で解析し, 言語単位や品詞体系が異なる部分を修正 (2) 修正結果を学習データとして, 解析器を再学習し, 対象のコーパスを再解析, というプロセスを繰り返すことができるのが望ましい. 次章では，それを可能とするためのツールについて述べる。一方, このプロセスにおいて修正箇
所が少ない場合には差分に相当する部分のみを学習し, 既存の解析器による解析結果に対して,差分の部分を後処理で書き換えるような方法の方が有効であるということも考えられる。この 方法の有効性の検証は今後の課題である.

## 5 長単位解析ツール Comainu

提案手法を用いることにより，CSJ や BCCWJ とは異なる言語単位や品詞体系のコーパスに 対しても長単位を付与することが可能である。より多くの研究者に対して, 品詞体系の異なる コーパスや他分野のコーパスへの長単位情報付与を容易にするためには，長単位解析の学習・解析機能を備えたツールが利用可能になっていることが重要であると考える.

3 章で説明した提案手法を実装することにより，長単位解析ツール Comainu を作成した。モ デルの学習には BCCWJ のコアデータ（45,342 文, 828,133 長単位, $1,047,069$ 短単位）を用い た. 本ツールは, 平文または短単位列を入力すると, 長単位を付与した短単位列を出力するこ とができる。平文が入力された場合, $\mathrm{MeCab}^{4}$ と UniDicにより形態素解析を行った後に長単位解析を行う。 長単位解析のチャンキングモデルにはSVM と CRF のいずれかを用いることがで きる。また, 平文や短単位列の直接入力だけでなくファイル入力にも対応しており, 解析結果 をファイルに保存することも可能である.

図 5 に Comainuによる長単位解析の解析例を示す。図 5 の例では, 平文を入力とし， CRF に

図 5 Comainu による長単位解析の実行例
^{4} \mathrm{http}$ ://mecab.googlecode.com/svn/trunk/mecab/doc/index.html
}

よるチャンキングモデルとSVM による品詞, 活用型, 活用形推定モデルを用いて長単位解析を 実行し, 長単位が付与された短単位列を出力している。出力の $2 \sim 8$ 列目はそれぞれ短単位の書字形，発音系，語彙素読み，語彙素，品詞，活用型，活用形を表し，出力の $9 \sim 14$ 列目はそれ ぞれ長単位の品詞, 活用型, 活用形, 語彙素読み, 語彙素, 書字形を表す.

長単位解析ツール Comainu はオープンソースとしている 5 . これにより, 長単位のアノテー ションが容易になることが期待される.

## 6 まとめ

本論文では, 品詞体系の異なるコーパスの解析に必要となる解析器の改良点を明らかにする ためのケーススタディとして，CSJ と BCCWJを用いて，長単位情報を自動でアノテーション した場合に生じる誤りを軽減する方策について述べた． CSJ と BCCWJ の形態論情報における 相違点に基づき，長単位解析手法を改良し，評価実験により提案手法の有効性を示した。さら に，提案手法の異なる品詞体系への適用可能性について考察した。また，本手法を実装した長単位解析システム Comainu について述べた.

本論文では，長単位解析の入力として正しい短単位列を想定したが，短単位，長単位ともに 自動で解析した場合，短単位解析結果の誤りが伝播して長単位解析の誤りも増える。また，自動解析結果の誤りを効率よくなくしていくようなコーパスのメンテナンスの朹組みも重要であ り, その枠組みの実現のためには, 短単位解析の解析誤りが長単位解析に与える影響の調查, 特 に新たな言語単位や品詞体系を用いた場合にどのような影響がでるかを複数種類のコーパスを 対象として比較調査することが今後必要となると考える.

## 謝 辞

本研究は, 文部科学省科学研究費補助金特定領域研究「代表性を有する大規模日本語書き言葉コーパスの構築」（平成 18 年度 22 年度, 領域代表 : 前川喜久雄）からの助成を得ました.

## 参考文献

中條清美, 西垣知佳子, 内山将夫, 山崎淳史 (2006). 初級英語学習者を対象としたコーパス利用学習の試み. 日本大学生産工学部研究報告 B (文系), 39, pp. 29-50.
^{5}$ http://sourceforge.jp/projects/comainu/
}
伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵 (2007). コーパス 日本語学のための言語資源: 形態素解析用電子化辞書の開発とその応用. 日本語科学, $\mathbf{2 2}$, pp. 101-123.

Den, Y., Nakamura, J., Ogiso, T., and Ogura, H. (2008). "A Proper Approach to Japanese Morphological Analysis: Dictionary, Model, and Evaluation." In Proceedings of the 6th International Language Resources and Evaluation, pp. 1019-1024.

林大（監修） (1982). 図説日本語. 角川小辞典, 9, pp. 582-583.

Jiang, J. and Zhai, C. (2007). "Instance Weighting for Domain Adaptation in NLP." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, pp. 264-271.

風間淳一, 宮尾祐介, 辻井潤一 (2004). 教師なし隠れマルコフモデルを利用した最大エントロ ピータグ付けモデル. 言語処理学会, 11, pp. 3-23.

小磯花絵, 小木曽智信, 小椋秀樹, 宮内佐夜香 (2009). コーパスに基づく多様なジャンルの文

体比較-短単位情報に着目して. 言語処理学会第 15 回年次大会予稿集, pp. 594-597.

近藤泰弘 (2012). 日本語通時コーパスの設計について. 国語研プロジェクトレビュー, 3 , pp. 84-92.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields

to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237.

前川喜久雄 (2004). 『日本語話し言葉コーパス』の概要. 日本語科学, 15, pp. 111-133.

Maekawa, K. (2008). "Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 6th Workshop on Asian Language Resources, pp. 101-102.

中野洋 (1998). 言語情報処理. 岩波講座「言語の科学」,9, pp. 149-199.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp. 529-533.

小椋秀樹, 山口昌也, 西川賢哉, 石塚京子, 木村睦子 (2004). 『日本語話し言葉コーパス』にお ける単位認定基準について. 日本語科学, 16, pp. 93-113.

大名力 (2009).コーパスから見える文法. 国際開発研究フォーラム, 38, pp. 23-40.

田野村忠温 (2010). 日本語コーパスとコロケーション. 言語研究, 138, pp. 1-23.

Uchimoto, K. and Isahara, H. (2007). "Morphological Annotation of A Large Spontaneous Speech Corpus in Japanese." In Proceedings of the 20th International Joint Conferences on Artificial Intelligence, pp. 1731-1737.

## 略歴

小澤 俊介：2009 年名古屋大学大学院情報科学研究科博士前期課程了. 2012 年同大博士後期過程了. 博士 (情報科学). 同年より株式会社はてな. 自然言語処理の研究開発に従事. 言語処理学会会員.

内元 清貴 : 1996 年京都大学大学院工学研究科修士課程修了. 同年, 郵政省通信総合研究所入所. 内閣府出向を経て, 現在, 独立行政法人情報通信研究機構研究マネージャー. 博士 (情報学). 自然言語処理の研究, 研究成果の社会還元活動に従事. 言語処理学会・情報処理学会 - ACL 各会員.

伝 康晴: 1993 年京都大学大学院工学研究科博士後期課程研究指導認定退学.博士 (工学). ATR 音声翻訳通信研究所研究員, 奈良先端科学技術大学院大学情報科学研究科助教授, 千葉大学文学部助教授・准教授を経て, 現在, 千葉大学文学部教授. 専門はコーパス言語学・心理言語学・計算言語学. とく に日常的な会話の分析・モデル化. 社会言語科学会・日本認知科学会 - 人工知能学会 $\cdot$ 日本心理学会 $\cdot$ 日本認知心理学会各会員.


# 述語と項の位置関係ごとの候補比較による日本語述語項構造解析

林部 祐太 ${ }^{\dagger}$-小町守牛 $\cdot$ 松本 裕治 $\dagger$
}

一般に，項は述語に近いところにあるという特性がある。そのため, 従来の述語項構造解析の研究では, 候補を述語との位置関係でグループ分けし, あらかじめ求め ておいたグループ間の優先順序に従って正解項を探索してきた。しかしながら，そ の方法には異なるグループに属する候補同士の比較ができないという問題がある. そこで我々は, 異なるグループごとに最尤候補を選出し, それらの中から最終的な 出力を決めるモデルを提案する。このモデルは優先度の高いグループに属する候補以外も参照することによって最終的な決定を行うことができ, 全体的な最適化が可能である，実験では，提案手法は優先順序に従う解析よりも精度が向上することを 確認した。

キーワード：述語項構造解析，項と述語の位置関係，探索先行分類型モデル
## Japanese Predicate Argument Structure Analysis by Comparing Candidates in Different Positional Relations between Predicate and Arguments

\author{
Yuta Hayashibe $^{\dagger}$, Mamoru Komachi $^{\dagger \dagger}$ and Yuji Matsumoto ${ }^{\dagger}$
}

In general, arguments are located near the predicate. A previous study has exploited this characteristic to group candidates by positional relations between a predicate and its candidate arguments and then searched for the final candidate using a predetermined priority list of the groups. However, in such an analysis, candidates in different groups cannot be compared. Therefore, we propose a Japanese predicate argument structure analysis model that gathers the most likely candidates from all the groups and then selects the final candidate amongst them. We can account for candidates with less priority before making a final decision to perform global optimization. Experimental results show that our model outperforms deterministic models.

Key Words: predicate argument structure analysis, positional relations between predicates and arguments, selection-then-classification model

## 1 はじめに

述語項構造解析の目的は, 述語とそれらの項を文の意味的な構成単位として, 文章から「誰 が何をどうした」という意味的な関係を抽出することである。これは，機械翻訳や自動要約な どの自然言語処理の応用において重要なタスクの 1 つである (Surdeanu, Harabagiu, Williams, and Aarseth 2003; Wu and Fung 2009).

述語は文の主要部で, 他の要素とともに文を構成する (日本語記述文法研究会 2010). 日本語 では, 述語は品詞によって, 形容詞述語・動詞述語・名詞述語の 3 種類に分けられる。述語が 意味をなすためには, 補語（主語を含む）が必要であり，それらは項と呼ばれる，また，述語 と項の意味的関係を表すラベルを格と呼ぶ.

項は前後文脈から推測できるとき省略1されることがあり，省略された項をゼロ代名詞，ゼロ 代名詞が指示する要素を先行詞と呼ぶ. この言語現象はゼロ照応と呼ばれ, 日本語では項の省略がたびたび起きることから, 述語項構造解析はゼロ照応解析としても扱われてきた (河原, 黒橋 2004 ; 笹野, 黒橋 2011).

本稿では, 項と述語の位置関係の種類を次の 4 種類に分類する。述語と同一文内にあり係り 受け関係にある項 ${ }^{2}$, (ゼロ代名詞の先行詞として同一文中に存在する）文内ゼロ,（ゼロ代名詞 の先行詞として述語とは異なる文中に存在する) 文間ゼロ, および (文章中には存在しない) 外界項である。本稿では，それぞれ $I N T R A_{-} D, I N T R A \_Z, I N T E R, E X O$ と呼ぶ。ある述語がある 格にて項を持たないときは，その述語の項は $\mathrm{ARG}_{\text {NULL }}$ だとし，その述語と $\mathrm{ARG}_{\mathrm{NULL}}$ は $N U L L$ という位置関係にあるとして考える。本稿では, EXO と NULL を総称して NO-ARG と呼ぶ.例えば，例 1 において，「受け取った」と「食べた」のヲ格項「コロッケ」はそれぞれINTRA_D・ INTRA_Z，「飲んだ」のガ格項「彼女」はINTERで，二格項は ARG $_{\text {NULL }}$ である.

コロッケを受け取った彼女は，急いで食べた。

( $\phi$ が) ジュースも飲んた。

一般に，項は述語に近いところにあるという特性（近距離特性）を持つ。そのため, これま での述語項構造解析の研究では, この特性の利用を様々な形で試みてきた.

河原, 黒橋 (2004) や Taira, Fujita, and Nagata (2008) は項候補と述語の係り受け関係の種類ごとに項へのなりやすさの順序を定義し，その順序に従って項の探索を行った. また，Iida， Inui, and Matsumoto (2007) は述語と同一文内の候補を優先的に探索した. これらの先行研究 ではあらかじめ定めておいた項の位置関係に基づく順序に従った探索を行い，項らしいものが 見つかれば以降の探索はしない. そのため, 異なる位置関係にある候補との「どちらがより項

らしいか」という相対的な比較は行えず，述語と項候補の情報から「どのくらい項としてふさ わしいか」という絶対的な判断を行わなければならないという問題点がある.

そこで，本稿では，項の位置関係ごとに独立に最尤候補を選出した後，それらの中から最尤候補を 1 つ選出するというモデルを提案する。位置関係ごとに解析モデルを分けることで，柔軟に素性やモデルを設計できるようになる。また，位置関係の優先順序だけでなく，その他の 情報（素性）も用いて総合的にどちらがより“項らしい”かが判断できるようになる。

本稿の実験では，まず，全ての候補を参照してから解析するモデルと，特定の候補を優先し て探索するモデルを比較して，決定的な解析の良し悪しを分析する．また，陽に項の位置関係 ごとの比較を行わないモデルや，優先順序に則った決定的な解析モデルと提案モデルを比較し て，ガ格・ヨ格ではより高い性能を達成できたことも示す.

本稿の構成は以下のようになっている。まず 2 章で述語項構造解析の先行研究での位置関係 と項へのなりやすさの優先順序の扱いについて紹介する。 3 章では提案手法について詳述し, 4 章では評価実験の設定について述べる。 5 章・ 6 章では実験結果の分析を行い， 7 章でまとめを 行う。

## 2 関連研究

ここでは, 述語項構造解析の先行研究における, 位置関係と項へのなりやすさの優先順序の 扱いについて紹介する。先行研究と提案手法の概要を表 1 にまとめた.

## 2.1 決定的な解析を行う方法

## 2.1.1優先順序を統計的に求める方法

河原, 黒橋 (2004) は, 解析をゼロ代名詞検出と先行詞同定の 2 段階に分け, 統計的に求めた 優先順序を先行詞同定の際に用いた。彼らの手法では，まず，格フレーム辞書に基づく格解析

表 1 先行研究と提案手法の概要

によって, ゼロ代名詞の検出を行う。 そして, 項が存在すると判断された場合は, あらかじめ 求めておいた優先順序に従って候補を探索し, 候補と格フレーム用例の類似度が閥値以上かつ 分類器でも正例と分類される候補を先行詞として同定する。分類器は項の位置関係に関わらず,共通のものを作成した。素性には，格フレームとの類似度や品詞などを用いた。

彼らは，従属節，主節，埋め込み文などといった文・文章中の構造をもとに，項の位置関係 （彼らは「位置カテゴリ」と呼んた）を 20 種類に分類した.

彼らは，位置カテゴリごとに，先行詞の取りやすさを

$
\frac{\text { 先行詞がその位置カテゴリにある回数 }}{\text { その位置カテゴリにある先行詞候補の数 }}
$

でスコア化した. そして, 位置カテゴリごとに, 京都大学テキストコーパス (Kawahara, Kurohashi, and Hasida 2002) からスコアを算出し，得られたスコアを降順にソートしてそれぞれの格につ いて優先順序を得た。

## 2.1.2 文内候補を優先的に探索する方法

Iida et al. (2007) は, 先行詞候補とゼロ代名詞の統語的関係をパターン化するために，木を分類するブースティングアルゴリズム BACT (工藤, 松本 2004) を用いた. BACT は木構造デー 夕を入力とし, 全ての部分木の中から分類に寄与する部分木に対して大きな重みをつける．彼 らは，先行詞候補とゼロ代名詞間の係り受け木や，関係を表す素性を，根ノードに子としてつ なげて BACT の入力とした。

文間先行詞の同定には係り受け関係を利用できないため，彼らは先行詞の同定モデルを文内 と文間に分け，文内候補を優先的に探索する以下の方法をとった.

(1) 最尤先行詞同定モデル $M_{10}$ で, 文内最尤先行詞 $C_{1}^{*}$ を求める

（2）照応性判定モデル $M_{11}$ で， $C_{1}^{*}$ の先行詞らしさのスコア $p_{1}$ を求める。あらかじめ定めて おいた䦨值 $\theta_{\text {intra }}$ に対して， $p_{1} \geq \theta_{\text {intra }}$ であれば， $C_{1}^{*}$ を先行詞として決定する。そうで なければ (3) に進む。

(3) 最尤先行詞同定モデル $M_{20}$ で, 文間最尤先行詞 $C_{2}^{*}$ を求める

（4）照応性判定モデル $M_{21}$ で， $C_{2}^{*}$ の先行詞らしさのスコア $p_{2}$ を求める. あらかじめ定めて おいた間値 $\theta_{\text {inter }}$ に対して， $p_{2} \geq \theta_{\text {inter }}$ であれば， $C_{2}^{*}$ を先行詞として決定する。そうで なければ，先行詞なしとする。

$M_{10} \cdots M_{21}$ はそれぞれ BACT を使って学習・分類し, パラメータ $\theta_{\text {intra }}$ と $\theta_{\text {inter }}$ は, 開発デー 夕を用いて最適なものを求める. この手法では, 文内の最尤先行詞同定や照応性判定には文間 の候補の情報は参照せずに，決定的に解析している.

## 2.1.3優先順位を経験的に決める方法

Taira et al. (2008)は, 決定リストを用いて全ての格の解析を同時に行う方法を提案した. 決定リストは規則の集合に適用順位を付けたものであり，機械学習の結果を人が分析しやすいと いう特長がある。彼らは項の位置関係やヴォイス・機能語に加えて, 単語の出現形・日本語語彙大系 (池原, 宮崎, 白井, 横尾, 中岩, 小倉, 大山, 林 1997) から得られる意味カテゴリ・品詞 のいずれか 1 つを加えたものを組として扱い，それぞれの組を 1 つの素性とした。そして，述語ごとに Support Vector Machine の学習で素性の重みを得て, 素性を重みでソートしたものを 決定リストとした。すなわち，1つの素性を1つの決定リストのルールとして扱った.

彼らは項の単位を単語とし, 項の位置関係を係り受け関係に基づいて次の 7 種類に定義して いる.なお, fw と bwは追加的な種類で，その他の種類と兼ねることができる.
- Incoming Connection Type (ic): 項を含む文節が述語を含む文節に係っている 日米交涉が:進展が進展した
- Outgoing Connection Type (oc): 述語を含む文節が項を含む文節に係っている 衝動買いした 新刊本ガ:買い
- Within the Same Phrase Type (sc): 項が述語と同じ文節内にある 日米交渉ガ:日が
- Connection into Other Case role Types (ga_c, wo_c, ni_c)：項を含む文節が述語を含む文節に，他の格の項を介して係っている

- Non-connection Type (nc): 項が述語とは異なる文にある
- Forward Type (fw): 文章内にて, 項が述語の前方にある
- Backward Type (bw): 文章内にて, 項が述語の後方にある

実際の解析は, 各述語について次の手順で行った.

(1) ic，oc，ga_c，wo_c，ni_cについて，決定リストを用いて項を決定する

（2）（1）で決まらなかった格について，scの決定リストを用いて項を決定する

(3) 対象の述語が項を持つ確率が $50 \%$ 以上であれば (4)に進む

(4) nc, fw，bwに関する決定リストを用いて項を決定する

この手法は経験的に, 優先順序を

ic, oc, ga_c, wo_c, ni_c > sc >> nc, fw, bw

のように定めたといえる. ic, oc, ga_c, wo_c, ni_c 間での, 探索の優先関係はない.

この方法は，格と項の位置関係を考慮しつつ，項になりやすいものから決めていくのが特徴 である。ただし, 着目している候補と述語の情報のみを用いて項らしいかどうかを判断してい くため, 必ずしも全ての候補を参照してから最終的な出力を決定するわけではなく, 候補間で どれが項らしいかの相対的な判断は行われない.

## 2.1.4 述語と係り受け関係にある候補を優先的に項であるとみなす方法

笹野, 黒橋 (2011) は, 解析対象述語の格フレーム候補それぞれに対して, 次の手順で格フレー ムと談話要素の対応付け候補を生成した。
- 解析対象述語と直接係り受け関係にある談話要素を, 選ばれた格フレームの格スロット と対応付ける. 談話要素が係助詞をともなって出現した場合や, 被連体修飾節に出現し た場合など，複数の格スロットとの対応付けが考えられる場合は，考えうるすべての対応付けを生成する。
- 上記の処理で生成された対応付け候補に対し, 対応付けられなかったガ格・ヨ格・二格 と, 解析対象述語と係り受け関係にない談話要素の対応付けを行う.

そして, 対数線形モデルにて最も確率的評価が高い対応付けを解析結果として出力した. 素性には, 意味クラスや固有表現情報の他に, 出現格と出現位置に関する 85 個の 2 値素性も用 いた.

この手法では，格ごとに独立に解析を行なっているのではなく，同時に解析を行なう．しか し, 述語と係り受け関係にある候補を優先的に項であるとみなすため, 係り受け関係にある候補と，係り受け関係にない候補または他の文にある候補との比較は行えない.

## 2.2 優先順序を素性として表現する方法

位置関係と項へのなりやすさの関係を優先順序として利用し決定的な解析を行うのではなく，素性として利用した研究もある.

## 2.2.1最大エントロピー法を用いる方法

Imamura et al. (2009)は, 最大エントロピー法に基づく識別的モデルを用いた. 彼らは, 位置関係ごとにモデルを分けるのではなく, 素性として, 述語と候補の位置関係, 係り受け関係 を用いた。そして候補集合に，項を持たないことを示す特別な名詞句 NULLを加え，その中か ら最尤候補を同定するというモデル化を行った。なお, 候補数削減のため, 文間項候補は述語 を含む文の直前の文に出現したものと，これまでの解析ですでに項として同定されたものに限定している.

この方法では格ごとにモデルは 1 つだけ学習すればよい. ただし, この手法では, 候補間の 関係を素性として用いることはできない.

## 2.2.2 Markov Logic を用いる方法

吉川他 (2013) は, Markov Logic を利用して, 文内の複数の述語の 項構造解析を同時に行う 手法を提案した. Markov Logic は一階述語論理と Markov Networksを組み合わせたもので，一階述語論理式の矛盾をある程度のペナルティの上で認めることができる統計的関係学習の枠組

みである。彼らは項同定・項候補削減・格ラベル付与を同時に行うモデルを提案した.

彼らは，文間の項候補を加えるのは計算量の問題から困難だとしている。素性（観測述語）は 述語と候補の係り受け関係などを用いた。

## 3 述語と項の位置関係ごとの候補比較による日本語述語項構造解析

先行研究では, 優先順位の低い位置関係にある候補は参照されずに, 解析が行われていた. こ の方法は，優先順位の高い位置関係にある項の同定の性能は上げることができるが，優先順位 の低い位置関係にある候補の再現率は下げてしまうという問題点がある。また，優先順位の低 い位置関係にある候補も参照してから最終的な決定を行った方が，全体的な解析性能が向上す ると考える。

そこで我々は，探索とトーナメントの 2 つのフェーズからなる，位置関係ごとに最尤候補を 求めてから最終的な出力を決めるモデルを提案する。これは，「探索」・「分類」という 2 つ フェーズを持つ探索先行分類型モデル (Iida, Inui, and Matsumoto 2005) に着想を得て, 後半の 分類フェーズをトーナメント式に置き換えたものである。なお, このモデルは格ごとに解析器 を学習・使用する。

## 3.1 項構造解析における探索先行トーナメントモデル

## 3.1.1 探索

はじめのフェーズでは任意の項同定モデルを用いて INTRA_D, INTRA_Z, INTER の最尤候補を選出する。それぞれ異なる素性やモデルを用いてもよい。モデルには，述語と探索対象の 候補を入力として与え，探索対象の候補の中の1つを出力させる.

## 3.1.2 トーナメント

次のフェーズでは探索フェーズで得られた 3 つの最尤候補を入力とし，そのうちの 1 つか “NO-ARG”を出力する．これにより，最尤候補のうちどれが正解項であるか，もしくは項を持 たないかを判断する.

このフェーズは図 1 に示したように (a) から (c)の 3 つの 2 値分類モデルで構成される。な お, 予備実験にて異なる順序を試したが, 文内最尤候補同士を (a)にて直接比較できるこの順序の性能が最も高かった。

(a) INTRA_Dと INTRA_Zを比較して，よりその述語の項らしい方を選ぶ

（b）INTER と (a)で選出された候補を比較して, よりその述語の項らしい方を選ぶ

（c）（b）で選出された候補と “NO-ARG” を比較して, よりその述語の項らしい方を選ぶ

図 1 トーナメントフェーズでの, 位置関係が異なる候補からの項の同定

(a) から (c)の分類器の学習事例には, Algorithm 1 で示すように探索フェーズで得られた最尤候補を用いる.

## 3.2 提案手法の関連研究

提案手法は 2 つのモデルを参考にしている.

1つ目は名詞句の照応解析における探索先行分類型モデル (selection-then-classification model) (Iida et al. 2005) である.このモデルは最初に, 最尤先行詞を求める（彼らはこれを“探索”と呼 んだ），次に，その最尤先行詞を用いて，名詞句が実際に照応詞であるかどうかを判定する（彼 らはこれを “分類”と呼んだ)．このモデルの利点は，照応性を持たない名詞句も学習事例の生成に使えることである，彼らは実験で，最尤先行詞を用いて照応性判定を行ったほうが，最尤先行詞を用いない場合よりも高い性能が出ること確かめた。提案手法も，位置関係ごとに最尤候補を求めた後, どの候補が実際に項であるのかを判定する. 最尤候補の探索を先に行なうこ とで，位置関係ごとの最尤候補を学習事例の生成に用いることができる。

2 つ目はゼロ照応解析におけるトーナメントモデル (飯田, 乾, 松本 2004 )である. そのモデ ルは，全ての先行詞候補（実際には先行する全ての名詞句）のペアに対して，どちらがより先行詞らしいかの 2 值分類を繰り返す。トーナメントモデルの利点は候補間の関係性の素性を使 うことができる点である. 提案手法のトーナメントフェーズでも同様に，トーナメントモデル を用いて, 位置関係ごとに選出された最尤候補のぺアからどちらが正解項らしいかの 2 值分類 を繰り返し，候補間の比較を行うことができる.

## 4 評価実験

## 4.1 実験データセット

評価実験には NAIST テキストコーパス $1.4 \beta$ (飯田, 小町, 井之上, 乾, 松本 2010) を用い た.これは京都大学テキストコーパス $3.0^{4}$ を基にしており, 述語項構造, 事態性名詞の項構造,
^{4}$ http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/corpus/KyotoCorpus3.0.tar.gz
}

共参照に関する情報が約 40,000 文の新聞記事にわたって付与されている．なお，アノテーショ ンの誤りのため 6 記事 5 を除外した。このコーパスの記事を表 2 で示すように学習・開発（パラ メータチューニング）・評価のために 3 分割した. これは, Taira et al. (2008) や吉川他 (2013) と同じ分割方法である。表 3 に項の分布の統計情報を示す6.

## 4.2 実験設定

実験では, MeCab0.996・IPADIC-2.7.0-20070801で解析して得られた形態素情報, 京都大学 テキストコーパス 3.0 で付与されている文節情報, CaboCha0. 66 で解析して得られた係り受け 関係を用いた。項の候補は文節単位で抽出した。解析は文頭から文末の順で行い，述語を含む 文以降からは項候補を抽出しない。なお, ある述語の格についての解析結果は同じ述語の他の 格についての解析に影響を及ぼさない.

本稿では項同定に焦点を絞るため，述語同定タスクには取り組まない，言い換えると，どれが 述語であるかはあらかじめシステムに与えておく，述語には軽動詞「する」や複合動詞も含む。

最尤候補同定には, トーナメントモデル (飯田他 2004) を用いた. その際, 最尤候補の探索範囲ごとに異なるモデルを作成し, モデルの学習方法も (飯田他 2004) に従った. 例えば, 提案手法は探索フェーズでは INTRA_D, INTRA_Z, INTER の最尤候補を同定するが，それぞれ

表 2 NAIST テキストコーパスの統計情報

表 3 NAIST テキストコーパスにおける項の分布

異なる合計 3 つの解析モデルを最尤候補同定に用いる.

## 4.3 分類器と素性

探索フェーズ・トーナメントフェーズで用いる分類器には, Support Vector Machine (Cortes and Vapnik 1995)を線形カーネルで用いた，具体的には LIBLINEAR1.937の実装を用い，開発 データを用いたパラメータチューニングを行った。

素性には Imamura et al. (2009) で用いられたものとほぼ同一の素性を用いた.
- 述語・項候補の主辞・機能語・その他の語の出現形・形態素情報
- 述語が受け身の助動詞を含むときはその原形
- 係り受け木上の述語と項候補の関係8

係り受け木上の項候補ノード $N_{a}$ と述語ノード $N_{p}$ からそれぞれ ROOT 方向に辿って いくときに初めて交叉するノードを $N_{c}$ とし， $N_{a}$ から $N_{c}$ までの道のりに含むノード列 を $A_{a \cdots c}, \quad N_{p}$ から $N_{c}$ までの道のりに含むノード列を $A_{p \cdots c}$ とする。また， $N_{c}$ から木の ROOT までの道のりに含むノード列を $A_{c_{1}, c_{2}, \cdots c_{r}}$ とする．本実験では，ノード列の文字列表現として,
- 主辞の原形
- 主辞の品詞
- 機能語の原形
- 機能語の品詞
- 機能語の原形 + 機能語の品詞

の 5 通りを用いた。 $A_{a \cdots c}$ の文字列表現を $S_{a \cdots c}, A_{p \cdots c}$ の文字列表現を $S_{p \cdots c}$ とし，それ らの連結を $S_{a \cdots c}+S_{p \cdots c}$ とする。

素性には, $S_{a \cdots c}+S_{p \cdots c}, S_{a \cdots c}+S_{p \cdots c}+S_{c_{1}}, S_{a \cdots c}+S_{p \cdots c}+S_{c_{1}, c_{2}}, \cdots S_{a \cdots c}+S_{p \cdots c}+S_{c_{1}, c_{2}, \cdots, c_{r}}$ の $r+1$ 個の文字列を用いた。つまり。述語と項候補の関係を $5(r+1)$ 個の文字列で表現 した.
- 係り受け木上の 2 つの項候補の関係

上と同様の素性表現を行った。
- 述語と項候補・2つの項候補間の距離（文節単位・文単位ともに）
- 「述語・項候補の主辞・助詞」のコーパス中の共起スコア9

動詞と項の共起のモデル化は(藤田, 乾, 松本 2004) に従った. 名詞 $n$ が格助詞 $c$ を介し
^{9}$ Imamura et al. (2009) では, これに相当するものとして, Good Turing スムージングを施した共起確率を用いて いる。計算は NAIST テキストコーパス相当部分を除いた 1991〜2002 年の毎日新聞を用いた.
}

て動詞 $v$ に係っているときの共起確率 $P(\langle v, c, n\rangle)$ を推定するため, $\langle v, c, n\rangle$ を $\langle v, c\rangle$ と $n$ の共起とみなす.

共起尺度には自己相互情報量 (Hindle 1990) を用いた.

$
P M I(\langle v, c\rangle, n)=\log \frac{P(\langle v, c, n\rangle)}{P(\langle v, c\rangle) P(n)}
$

なお，スムージングは行わなかった。自己相互情報量の算出には次の 2 つのコーパスを 用い，2つの值をそれぞれ二値素性として10用いた。

NEWS: 1995 年を除く 1991 年から 2003 年までの毎日新聞約 1,800 万文. MeCab0.98 ${ }^{11}$ で 形態素解析を行い CaboCha0.60pre4 $4^{12}$ で係り受け解析を行った。辞書は NAIST Japanese Dictionary $0.6 .3^{13}$ を用いた。約 2,700 万対の〈動詞, 格助詞, 名詞〉の組を抽出した ${ }^{14}$.

WEB: Kawahara and Kurohashi (2006) がウェブから収集した日本語約 5 億文. JU$\mathrm{MAN}^{15}$ で形態素解析を行い，KNP ${ }^{16}$ で係り受け解析を行なっている. KNP の項構造解析結果から約 53 億対の〈述語, 格助詞, 項〉の組を抽出した ${ }^{17}$.
- 項候補が以前の項構造解析で項となったか否かを示す 2 值情報
- 項候補の主辞の Salient Reference List (Nariyama 2002)における順位

## 4.4 比較対象

先行研究では, 我々のものと異なる素性や機械学習の手法を使っており実験設定が異なる. そ のため, ベースラインモデルとして IIDA2005, 比較対象モデルとして IIDA2007・IIDA2007+$\cdot$ PPR-を実装し, 位置関係ごとに最尤候補を求めてから最終的な出力を決める提案モデル PPR (Preferences based on Positional Relations)と比較する.

## 4.4.1 IIDA2005

位置関係に関わらずに, 全ての候補の中から最尤の候補を探索フェーズで 1 つ選出した後, トーナメントフェーズでそれが項としてふさわしいか否かを判断するモデル. (Iida et al. 2005) の探索先行分類型モデルである.

全ての候補の中から 1 つを選ぶという点で (Imamura et al. 2009)とほぼ同等のモデルである.
 / /$ sourceforge.jp/projects/naist-jdic/

14 動詞が約 3 万種, 名詞が約 32 万種で, ユニーク数は約 700 万組.

15 http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN

16 http://nlp.ist.i.kyoto-u.ac.jp/index.php?KNP

17 動詞が約 8 億種, 項が約 2.8 億種で, ユニーク数は約 1.6 億組.
}
彼らのモデルと異なる主な点は, 最尤候補同定と照応性判定を異なるモデルで行う点と, 最尤候補同定時に 2 候補間の関係性も素性として用いる点である.

このベースラインモデルとその他のモデルと比較することで, 項の位置関係によって探索の 優先順序をつけることの効果や，位置関係ごとに最尤候補同定モデルを作り最尤候補同士の比較を陽に行う効果を調べる。

## 4.4.2 IIDA2007

文内最尤候補を選出した後，分類器が項としてふさわしいと判断すればそれを項として出力 し，そうでなければ同様に文間候補の探索を行うモデル．2.1.2 節で述べた (Iida et al. 2007)の 文内候補を優先的に探索するモデルである.

彼らのモデルと異なる主な点は, 最尤候補同定や候補の適格性判定を行う分類器に BACT で はなくSVM を用いる点である.

IIDA2005と比較することで，文内候補を優先的に探索することの効果を調べる.

## 4.4.3 IIDA2007+

INTRA_Dの探索後, 最尤候補が項としてふさわしいかどうかの判断（適格性判定）を行う.適格であればそれを出力し終了する。非適格であれば INTRA_Z の探索を行い，同様に適格性判定を行う。それも非適格であればINTER の探索を行い，適格であればそれを出力し，非適格 であれば項は無いと判断する。IIDA2005と IIDA2007の自然な拡張で，述語から統語的な距離 の近いものを優先的に探索する.

IIDA2007 と比較することで，文内候補を細かくINTRA_D と INTRA_Z に分けて優先順序を つけることの効果を調べる。

## 4.4.4 PPR-

このモデルは，提案モデルとほぼ同じモデルであるが，INTRA_D とINTRA_Zを区別せずに，位置関係が INTRA と INTER の 2 グループであると仮定する。図 1 の (b) と (c) で示すように トーナメントフェーズは 2 つの 2 值分類モデルからなる. 分類器 (c) は INTRA と INTER の候補のどちらが最尤候補であるかを判断する.

PPR と比較することで，文内の項の位置関係を細かくINTRA_D と INTRA_Zに分けて最尤候補同定モデルを作り，最尤候補同士の比較を行うことの効果を調べる.

## 4.4.5 比較対象とする先行研究

NAIST テキストコーパスを使い, 全ての項の位置関係で実験を行なっている (Taira et al. 2008) と (Imamura et al. 2009) との比較も行う. ただし, 本実験とは微妙に実験設定が異なるため,
厳密な比較はできないことに注意してほしい.

Taira et al. (2008)の実験では 19,501 個の述語をテストに，49,527 個を学習に，11,023 個を開発に使っている。また学習では京都大学テキストコーパス 4.0 で付与されている係り受け情報 と形態素情報を用いていているが，テストでは独自の係り受け解析器を用いている.

Imamura et al. (2009)の実験では，25,500 個の述語をテストに，67,145 個を学習に，13,594 個 を開発に使っている。我々は京都大学テキストコーパス 3.0 を用いたが, Imamura et al. (2009) は京都大学テキストコーパス 4.0 で付与されている係り受け情報と形態素情報を学習とテスト に用いている.

## 4.4.6 その他の先行研究

笹野, 黒橋 (2011) は, 提案システムは表層格の解析を行うことから, 受け身・使役形である 述語は評価から除外しており, 本稿では比較対象としない.

吉川 他 (2013) は, 文間項は解析対象としていないため, 本稿では比較対象としない.

(渡邊, 浅原, 松本 2010) は述語語義と項の意味役割の依存関係を考慮しながら, 双方を同時 に学習, 解析を行う構造予測モデルを提案している. しかし, 本稿とは異なるデータセットを 用いていることから, 比較対象とはしない.

## 4.5 評価尺度

Precision, Recall, F 值で位置関係ごとに評価を行う.

システムが出力した位置関係が $T$ であるもののうち, 正しく同定できているものの数を $t p_{(T)}$, できていないものの数を $f p_{(T)}$, システムに同定されなかった項のうち位置関係が $T$ であるも のの数を $f n_{(T)}$ とすると，

$
\text { Precision }=\frac{t p_{(T)}}{t p_{(T)}+f p_{(T)}}, \quad \text { Recall }=\frac{t p_{(T)}}{t p_{(T)}+f n_{(T)}}, \quad F=\frac{2 \cdot \text { Precision } \cdot \text { Recall }}{\text { Precision }+ \text { Recall }}
$

と定義できる.

また, システム全体 (ALL)の $t p, f p, f n$ と Precision, Recall, F 値も，同様に定義できる.

## 5 議論

表 $4,5,6$ にガ格・ヲ格・二格の実験結果を示す. $P, R, F, A_{M}$ はそれぞれ Precision, Recall, $\mathrm{F}$ 値, $\mathrm{F}$ 値のマクロ平均（INTRA_D, INTRA_Z, INTERの F 値の算術平均）を示す.

ALL の F 值に関して, PPR-と PPRが IIDA2007 と比較して有意差があるかどうかの検定を
表 4 ガ格の述語項構造解析の比較

表 5 Э格の述語項構造解析の比較

表 6 二格の述語項構造解析の比較

Takamura によるスクリプト18を用いて Approximate Randomization Test (Chinchor, Hirschman, and Lewis 1993)を行った ${ }^{19} .0 .05$ 水準で有意であったものに，記号*を付記した.

## 5.1 決定的に項を同定していくモデルの比較

IIDA2005, IIDA2007, IIDA2007+の ALLのＦ値を比較することで, システム全体の性能につ いて論じる。

## 5.1.1 ガ格の性能

ALL の性能を比較すると，ガ格の性能は IIDA2007>IIDA2005>IIDA2007＋である.

IIDA2007 と IIDA2005 の性能を比較すると, Precision は IIDA2007 の方が高く, Recall は IIDA2005 の方が高い. 探索範囲を文内に限定することで, Precision が上がることが分かる. IIDA2007 の INTER の Recall は減少しているが, 文間項よりも文内項の方が 3 倍以上多いため, システム全体の性能としては向上することが分かる.

IIDA2005と IIDA2007+の性能を比較すると, INTRA_D を優先的に探索することで, INTRA_D の Precisionが上昇し, F 值も上昇することが分かる. INTRA_Zの Precision も上昇するが, Recall は悪化し, INTRA_Zの分量が相当数あるため, 全体としては性能が悪化することが分かる.

## 5.1.2 ヨ格の性能

ガ格と同様であるが, INTRA_Z の数は比較的少ないため INTRA_D を優先的に探索しても,精度はガ格ほど悪化しない.

## 5.1.3 二格の性能

二格の性能はガ格・ヨ格とは異なり, IIDA2007+〜IIDA2007>IIDA2005である.

この傾向は項の分布が影響している。二格は表 3 によると全ての項のうち, 全体の $90 \%$ 以上 がINTRA_Dである。このため, INTRA_Dの探索を優先し, INTRA_Dの Recall を上昇させる ことで，全体としての性能を上昇させることができる.

## 5.2 提案手法の効果

決定的な解析では優先度の低い位置関係にある候補の再現率と $\mathrm{F}$ 值が低下するため, 優先順序をつけるほどマクロ平均は下がっていく。しかし, 提案手法は全ての位置関係について最尤候補を比較するので，マクロ平均を大きく下げずにマイクロ平均（ALL の F 値）も向上させる ことができている.

PPR と PPR-のいずれも, IIDA2005・IIDA2007・IIDA2007+より性能が向上している. そ のため, トーナメントフェーズで最尤候補を陽に比較する提案モデルは, 決定的に項を同定し ていくモデルよりも効果があるといえる.

また, PPRは PPR-と比較して, ガ格・ニ格では性能はほとんど変わないが, ヲ格ではINTRA_D の Precision が向上したため, 全体の性能も向上していることが分かる. そのため, 文内項も INTRA_D と INTRA_Zで, 最尤候補の同定モデルを分けて陽に比較することで, さらに性能を 向上することがあると分かる.

## 5.3 先行研究との比較

ガ格において, 提案手法は Taira et al. (2008) と Imamura et al. (2009)の性能を上回ってい る. Imamura et al. (2009) は候補同士の比較をせず，Taira et al. (2008) は優先順序を用いた決定的な解析を行なっており，それらが，提案手法と比べて性能が低い原因であると考える。格では，提案手法は Taira et al. (2008)の性能を上回っており, Imamura et al. (2009) とも同程度の性能を達成している。

しかしながら, 二格では, Taira et al. (2008) が最も性能が高い. Imamura et al. (2009) も, ガ 格・ヲ格では Taira et al. (2008) を上回る性能を発揮しているのにも関わらず，二格では Taira et al. (2008)よりも性能が低い. この理由として, 二格は INTRA_Dが最も多く, 他の格の解析結果に依存することが挙げられる。一般に，1つの述語に対して異なる格で項を共有することは ない. しかし, 提案手法も Imamura et al. (2009) も各格で独立に解析を行なっており, 他の格 の解析結果の利用ができない，一方，Taira et al. (2008)は「項を含む文節が述語を含む文節に，他の格の項を介して係っている」という関係をモデル化 (ga_c, wo_c, ni_c) し, 他の格の解析結果 を利用して同時に解析を行なっている。そのため, INTRA_Dの解析性能が高いと考えられる.

## 6 事例分析

## 6.1 成功事例

## 6.1.1 特定の位置関係を優先する決定的な解析モデル (IIDA) では解析できず，提案モデル (PPR) で解析できた事例

位置関係の優先順序を用いる決定的な解析モデルの中で, 全体的な性能が最も高い IIDA2007 と, 優先順位を持たない提案モデル $(\mathrm{PPR}-・ \mathrm{PPR})$ を比較すると, INTER の Precision が少し 低下しているが，Recall は上昇し， $\mathrm{F}$ 値も上昇している。ガ格の解析にて, IIDA2007・PPR-・ PPRが解析に誤った事例の内訳を表 7 に Confusion Matrixで示した. PPR-やPPRでは, 誤っ てINTER を出力した事例が増えており（3列目を参照），一方で，誤って「項なし」と判断し た事例が減っていることが分かる (4列目を参照). IIDA2007 は文間の候補を参照せずに，文内

表 7 IIDA2007 (各セル左側) P PPR- (同中央) P PPR (同右側) のガ格の誤り事例の Confusion Matrix

最尤候補が項らしいか否かを判定しなければならないが，PPR－や PPR は文内最尤候補と文間最尤候補を比較した上で, 項として何が適切かを判断できるため, INTER の Recall を上昇さ せることができたと考える。そして，これが全体の性能に影響している。

## 6.1.2 2 種類の最尤候補を用いるモデル (PPR-) では解析できず， 3 種類の最尤候補を用い る提案モデル (PPR) で解析できた事例

PPRーと PPR を比較すると, ガ格は INTRA_D と INTRA_Z の Precision と F 值が上昇して おり， ヨ格は INTRA_Dの Precision と F 値が，上昇している.

PPR は INTRA_Dの最尤候補同定モデルと INTRA_Z の最尤候補同定モデルの 2 つの異なる モデルでINTRA_D と INTRA_Z の最尤候補を選んでから，陽にINTRA_Dの INTRA_Zのどち らが項らしいかを比較することで, 正解項を同定しやすくなっていると考えられる。これは,特に（候補数が増加する）長い文の中にある文内項の同定に効果があった.

一九五二年以来の不平等が続いている「日米航空協定」の平等化を実現するため、「政府がが米側に、米航空会社の新規路線開設を今後認めない強硬方針を通告し ていたことが、十三日明らかになった。

「認める」のガ格に対して，PPR-では誤って「方針」を項として出力したが，PPRは正し く「政府」を出力した。

## 6.2 誤り分析

項構造解析に失敗した事例を分析したところ, 誤り理由の上位 3 つは次のものであった.

1 つ目は, 談話の理解が必要な場合である.

以下の文で，「絡みつく」の二格は「ユリカモメ」である。しかし, システムはニ格は項なし と判断してしまった.

東京・上野の不忍池で、無残な姿の鳥が目立つ。片足が切れたユリカモメ。釣り 糸を引っ掛けて取れなくなって、そのうちに足を切断してしまうケースが多い。竹ぐしが右の首に突き刺さったユリカモメニも。くしが十センチほど体の外にの ぞく。水面に浮かんだゴムガが絡み付き、もがくうちに首まで入ってしまったら しい。

「ユリカモメ」が話題の中心であることが捉えられなかったことが解析に失敗した理由とし て考えられる，今回の実験で，談話を捉えるために，Salient Reference List を用いたが，「絡み 付く」の解析時に「ユリカモメ」は Listには無いため，うまくいかない. これを解析するため には，「ユリカモメは負傷している」「絡み付くは負傷に関する述語である」という知識のもと で，「ユリカモメが絡み付くの二格である」という推論が必要となる。その知識を本文中から取
得するには,「鳥」や 2 回出てくる「ユリカモメ」が照応関係にあるという知識も必要となるこ とから, 固有表現解析や共参照解析などと推論を用いた述語項構造解析を同時に行うことで互 いに精度を高めあうことができると考える。

2 つ目は，格フレームなどの情報を使った格の同時解析が必要な場合である，次の文の「書 く」の二格は「日記」・ヨ格は「矛盾」とアノテートされているが，システムはニ格は「項なし」・ ヲ格は「日記」と判断した。

日記ニには、小説の読後感や将来への夢、希望などをつづるようになり、高校生に

なると、大学受験のこと、沖縄における政治の矛盾ヲなども書くようになった。

一般に,「書く」の二格に「日記」が来ることは少ない. しかし, 京都大学格フレーム (河原,黒橋 2005)20 のような格フレーム辞書を用いれば，「書く」は「日記」を二格にとりうることが わかる．表 8 に京都大学格フレームにおける「書く」の第 1 格フレームと第 3 格フレームを示 した，この表は，それぞれの格フレームを構成する格がどのような項をどのくらい取るのかを， WEB コーパス内の頻度付きで表している，表８より，ヨ格に“補文”（ここでは「沖縄におけ る政治の矛盾」）をとれば，「問い」を二格にとりうる，とわかる。

3 つ目は，一般の述語とは異なる扱いをすべき述語の場合である．NAIST テキストコーパス では名詞述語『名詞句 + コピュラ「だ」』述語としてアノテーションされている.

欧州連合カが十五力国に拡大して初の交涉となる。昨年は欧州市場での乗用車の 売れ行き回復を受け、規制枠を若干上方修正したが、今年については「昨年の新車登録台数集計を踏まえて対応したい」と慎重姿勢だ。

しかしながら, 名詞述語の振る舞いは他の述語とは明らかに異なり, 同一の素性・モデルで 項を同定するのは難しい，そのため，他の述語の解析モデルと分けるべきであると考える。

実際に，PPRを，名詞述語とそれ以外の述語で単純に解析モデルを分けて学習・テストした

表 8 京都大学格フレームにおける「書く」の第 1 ・第 3 格フレーム

表 9 名詞述語とそれ以外の述語とでモデルを分けた場合のガ格の性能の比較

ところ, 表 9 に示したように ${ }^{21}$ ガ格の ALL の $\mathrm{F}$ 值が 77.59 から 77.75 と 0.16 ポイント上昇した.大きな上昇がみられなかったのは, 項と名詞述語の意味的関係を既存の素性ではうまく捉え られないためだと考える. 名詞述語文の働きは様々で,「ラッセルは哲学者だ」のようにある事物がどのような範疇に属するのかを述べたり,「この部屋の温度は 19 度だ」のように記述を満 たす値がどれなのかを述べたりする (今田 2010). このような関係は 4.3 節での素性では捉えら れない. そのため, 京都大学名詞格フレーム (笹野, 河原, 黒橋 2005) や日本語語彙大系 (池原他 1997) などの名詞間の関係を捉える知識を用いる必要があると考える.

また，動詞にも一般動詞とは異なる振る舞いをする動詞「なる」の解析誤りも多かった.

山花氏らにとっては、社会党が離脱を認めるかどうかがか、最初の関門ニとな る。

長さガ 40 メートルニにもなる 3 両編成の大型トラック、ロードトレインに便乗し て大乾燥地帯を行く蛭子。

福井市の中心から足羽川を上流へ十キロたどると、そこガはもうひなびた農村の たたずまいニとなる。

これらの事例の「なる」自体には意味はあまり持たず，二格が名詞述語相当の意味を持って いるとも言える。そのため, 名詞述語同様, 解析モデルを分けるべきであると考える.

## 7 おわりに

本稿では，位置関係ごとに最尤候補同定モデルを作成し，実際の解析時には，各位置関係の 最尤候補の中から最終的な出力を選ぶモデルを提案した．従来の研究では位置関係ごとに優先

順位をつけ，決定的な解析を行ってきたが，それよりも提案手法が精度良く解析できることを 確かめた。

今後の課題は, 複数の格の解析を同時に行う手法と, 本手法を統合させることを考えている. これまでに，同時解析を行うモデルは Taira et al. (2008) や笹野，黒橋 (2011)によって提案され てきたが 22 ，いずれも，特定の位置関係を優先的に決定する手法である。それらの手法を，異 なる位置関係の候補を参照するように発展させることを考えている。

また, 名詞述語などの特殊な述語については, 一般の述語とは解析モデルを分けることで, 精度向上を目指すことも考えている。これらは名詞間の意味的知識がなければ解析が難しいこと が分かったので，日本語語彙大系などのシソーラスを活用することを考えている.

## 謝 辞

ウェブから収集した日本語文デー夕を使用させてくださった河原大輔氏に感謝いたします。 また， Taira et al. (2008)の詳細なアルゴリズムを教えてくださった平博順氏にお礼申し上げま す.そして，多数の有益なコメントをくださった匿名の 3 名の査読者に深謝いたします.

## 参考文献

Chinchor, N., Hirschman, L., and Lewis, D. D. (1993). "Evaluating Message Understanding Systems: An Analysis of the Third Message Understanding Conference (MUG-3)." Computational Linguistics, 19 (3), pp. 409-449.

Cortes, C. and Vapnik, V. (1995). "Support-Vector Networks." Machine learning, 20 (3), pp. 273-297.

藤田篤, 乾健太郎, 松本裕治 (2004). 自動生成された言い換え文における不適格な動詞格構造 の検出. 情報処理学会論文誌, 45 (4), pp. 1176-1187.

Hindle, D. (1990). "Noun Classification from Predicate-Argument Structures." In Proceedings of the 28th Annual Meeting on Association for Computational Linguistics, pp. 268-275. Association for Computational Linguistics.

飯田龍, 乾健太郎, 松本裕治 (2004). 文脈的手がかりを考慮した機械学習による日本語ゼロ代名詞の先行詞同定. 情報処理学会論文誌, 45 (3), pp. 906-918.

飯田龍, 小町守, 井之上直也, 乾健太郎, 松本裕治 (2010). 述語項構造と照応関係のアノテー ション: NAIST テキストコーパス構築の経験から. 自然言語処理, 17 (2), pp. 25-50.

Iida, R., Inui, K., and Matsumoto, Y. (2005). "Anaphora Resolution by Antecedent Identification Followed by Anaphoricity Determination." ACM Transactions on Asian Language Information Processing, 4 (4), pp. 417-434.

Iida, R., Inui, K., and Matsumoto, Y. (2007). "Zero-anaphora Resolution by Learning Rich Syntactic Pattern Features." ACM Transactions on Asian Language Information Processing, 6 (4), pp. 1:1-1:22.

池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1997). 日本語語彙大系. 岩波書店.

今田水穂 (2010). 日本語名詞述語文の意味論的 ・機能論的分析. 博士 (言語学) 学位論文, 筑波大学.

Imamura, K., Saito, K., and Izumi, T. (2009). "Discriminative Approach to Predicate-Argument Structure Analysis with Zero-Anaphora Resolution." In Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, pp. 85-88.

河原大輔, 黒橋禎夫 (2004). 自動構築した格フレーム辞書と先行詞の位置選好順序を用いた省略解析. 自然言語処理, 11 (3), pp. 3-19.

河原大輔, 黒橋禎夫 (2005). 格フレーム辞書の漸次的自動構築. 自然言語処理, 12 (2), pp. 109-131.

Kawahara, D. and Kurohashi, S. (2006). "Case Frame Compilation from the Web using HighPerformance Computing." In Proceedings of the 5th International Conference on Language Resources and Evaluation, pp. 1344-1347.

Kawahara, D., Kurohashi, S., and Hasida, K. (2002). "Construction of a Japanese Relevancetagged Corpus." In Proceedings of the 3rd International Conference on Language Resources and Evaluation, pp. 2008-2013.

工藤拓, 松本裕治 (2004). 半構造化テキストの分類のためのブースティングアルゴリズム. 情報処理学会論文誌, 45 (9), pp. 2146-2156.

Nariyama, S. (2002). "Grammar for Ellipsis Resolution in Japanese." In Proceedings of the 9th International Conference on Theoretical and Methodological Issues in Machine Translation, pp. 135-145.

日本語記述文法研究会 (2010). 現代日本語文法 1. くろしお出版.

笹野遼平, 河原大輔, 黒橋禎夫 (2005). 名詞格フレーム辞書の自動構築とそれを用いた名詞句 の関係解析. 自然言語処理, 12 (3), pp. 129-144.

笹野遼平，黒橋禎夫 (2011). 大規模格フレームを用いた識別モデルに基づく日本語ゼロ照応解析. 情報処理学会論文誌, 52 (12), pp. 3328-3337.

Surdeanu, M., Harabagiu, S., Williams, J., and Aarseth, P. (2003). "Using Predicate-Argument Structures for Information Extraction." In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics, Vol. 1, pp. 8-15.

Taira, H., Fujita, S., and Nagata, M. (2008). "A Japanese Predicate Argument Structure Analysis Using Decision Lists." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 523-532.

渡邊陽太郎, 浅原正幸, 松本裕治 (2010). 述語語義と意味役割の結合学習のための構造予測モ デル. 人工知能学会論文誌, $25(2)$, pp. 252-261.

Wu, D. and Fung, P. (2009). "Can Semantic Role Labeling Improve SMT?" In Proceedings of the 13th Annual Conference of the European Association for Machine Translation, pp. 218-225.吉川克正, 浅原正幸, 松本裕治 (2013). Markov Logic による日本語述語項構造解析. 自然言語処理, $20(2)$, pp. 251-271.

## 略歴

林部祐太：2009 年大阪大学基礎工学部情報科学科中途退学. 2011 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 現在, 同研究科博士後期課程在籍. 修士（工学）．意味解析とその応用に興味をもつ.

小町 守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒. 2010 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士（工学)。同研究科助教を経て，2013 年より首都大学東京システムデザイン学部准教授，現在に至る。大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある。人工知能学会, 情報処理学会, ACL 各会員.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. 1984 1985 年英国インペリアルカレッジ客員研究員. 1985～1987 年財団法人新世代コン ピュータ技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る. 工学博士. 専門は自然言語処理. 言語処理学会, 情報処理学会, 人工知能学会, 認知科学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー, ACL Fellow.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 階層的複数ラベル文書分類におけるラベル間依存の利用
## 村脇 有吾†

階層的複数ラベル文書分類においては，あらかじめ定義されたラベル階層の利用が 中心的な課題となる。本稿では, 複数の出力ラベル間の依存関係という, 従来研究が 用いてこなかった手がかりを利用する手法を提案する。これを実現するために，ま ずはこのタスクを構造推定問題として定式化し，複数のラベルを同時に出力する大域モデルと, 動的計画法による厳密解の探索手法を提案する. 次に, ラベル間依存 を表現する枝分かれ特徴量を導入する。実験では，ラベル間依存の特徴量の導入に より, 精度の向上とともに，モデルの大きさの削減が確認された.

キーワード：文書分類，構造推定問題，木，動的計画法，オンライン学習

## Exploiting Inter-label Dependencies in Hierarchical Multi-Label Document Classification

\author{
YugO MuraWaKI ${ }^{\dagger}$
}

The main challenge in hierarchical multi-label document classification is the means by which hierarchically organized labels are leveraged. In this paper, we propose to exploit dependencies among multiple labels to be output, which has not been considered in previous studies. To accomplish this, we first formalize the task as a structured prediction problem and propose (1) a global model that jointly outputs multiple labels and (2) a decoding algorithm that finds an exact solution with dynamic programming. We then introduce features that capture inter-label dependencies. Experiments show that these features improve performance while reducing the model size.

Key Words: document classification, structured prediction problem, tree, dynamic programming, online learning

## 1 はじめに

電子化されたテキストが利用可能になるとともに，階層的文書分類の自動化が試みられてき た. 階層的分類の対象となる文書集合の例としては，特許 ${ }^{1}$, 医療オントロジー ${ }^{2}$, Yahoo!や Open Directory Project ${ }^{3}$ ようなウェブディレクトリが挙げられる。文書に付与すべきラベルは，夕
^{1} \mathrm{http}: / /$ www.wipo.int/classifications/en/

2 http://www.nlm.nih.gov/mesh/

 }^{3}$ http://www.dmoz.org/

スクによって, 各文書に 1 個とする場合と, 複数とする場合があるが, 本稿では複数ラベル分類に取り組む。

階層的分類における興味の中心は，あらかじめ定義されたラベル階層をどのように自動分類 に利用するかである。そもそも，大量のデータを階層的に組織化するという営みは, 科学以前 から人類が広く行なってきた，例えば，伝統社会における生物の分類もその一例である。そこ では分類の数に上限があることが知られており，その制限は人間の記憶容量に起因する可能性 が指摘されている (Berlin 1992). 階層が人間の制約の産物だとすると，そのような制約を持た ない計算機にとって，階層は不要ではないかと思われるかもしれない.

階層的分類におけるラベル階層の利用という観点から既存手法を整理すると，まず，非階層型と階層型に分けられる。非階層型はラベル階層を利用しない手法であり, 各ラベル候補につ いて，入力文書が所属するか否かを独立に分類する.

ラベル階層を利用する階層型は，さらに 2 種類に分類できる。一つはラベル階層を候補の枝刈りに用いる手法（枝刈り型）である。典型的には，階層を上から下にたどりながら局所的な 分類を繰り返す (Montejo-Ráez and Ureña-López 2006; Qiu, Gao, and Huang 2009; Wang, Zhao, and Lu 2011)．枝刈りにより分類の実行速度をあげることができるため，ラベル階層が巨大な場合に有効である。しかし, 局所的な分類を繰り返すことで誤り伝播が起きるため, 精度が低下 しがちという欠点が知られている (Bennett and Nguyen 2009)。もう一つの手法はパラメータ共有型である。この手法では，ラベル階層上で近いラベル同士は似通っているので，それらを独立に分類するのではなく, 分類器のパラメータをラベル階層に応じて部分的に共有させる (Qiu et al. 2009).これにより分類精度の向上を期待する.

これらの既存手法は，いずれも複数ラベル分類というタスクの特徴を活かしていない．複数 ラベル分類では，最適な候補を 1 個採用すればよい単一ラベル分類と異なり，ラベルをいくつ 採用するかの加減が人間作業者にとっても難しい. 我々は, 人間作業者が出力ラベル数を加減 する際，ラベル階層を参照しているのではないかと推測する．例えば，科学技術文献を分類す る際，ある入力文書が林業における環境問題を扱っていたとする。この文書に対して，「林業政策」と「林業一般」という 2 個のラベルは, それぞれ単独でみると，いずれもふさわしそうであ る.しかし，両者を採用するのは内容的に冗長であり，よりふさわしい「林業政策」だけを採用するといった判断を人間作業者はしているかもしれない. 一方, 別のラベル「環境問題」は 「林業政策」と内容的に競合せず，両方を採用するのが適切を判断できる。この 2 つ異なる判断は，ラベル階層に対応している。「林業政策」と「林業一般」は最下位層において兄弟関係に ある一方，「林業政策」と「環境問題」はそれぞれ「農林水産」と「環境工学」という異なる大分類に属している.

このように, 我々は, 出力すべき複数ラベルの間にはラベル階層に基づく依存関係があると 仮定する。そして, 計算機に人間作業者の癖を模倣させることによって，（それが真に良い分類

であるかは別として）人間作業者の分類を正解としたときの精度が向上することを期待する.本稿では，このような期待に基づき，ラベル間依存を利用する具体的な手法を提案する。ま ずは階層型複数ラベル文書分類を構造推定問題として定式化し，複数のラベルを同時に出力す る大域モデルと，動的計画法による厳密解の探索手法を提案する。次に，ラベル間依存を表現 する枝分かれ特徴量を導入する。この特徴量は動的計画法による探索が維持できるように設計 されている，実験では，ラベル間依存の特徴量の導入により，精度の向上とともに，モデルの 大きさの削減が確認された。

本稿では， 2 節で問題を定義したうえで， 3 節で提案手法を説明する， 4 節で実験結果を報告 する．5 節で関連研究に言及し， 6 節でまとめと今後の課題を述べる.

## 2 問題設定

階層型複数ラベル文書分類では，与えられた文書に対して，それをもっともよく表すラべル の集合 $\mathcal{M} \subset \mathcal{L}$ を返す.ここで， $\mathcal{L}$ はあらかじめ定義されたラべルの集合である． $\mathcal{L}$ は図 1 のよ うに木構造で組織化されているとする 4 . また, 付与対象のラベルは葉のみであり, 内部ノード はラベルとならないとする。図1の場合, $\mathrm{AA}, \mathrm{AB}, \mathrm{BA}$ および $\mathrm{BB}$ がラベル候補となる.

いくつかの記法を整理しておく. leaves $(c)$ は, $c$ の子孫である葉の集合を返す. 例えば, leaves $(\mathrm{A})=$ $\{\mathrm{AA}, \mathrm{AB}\}$. ただし, $c$ 自身が葉の場合は, leaves $(c)=\{c\} . p \rightarrow c$ は親 $p$ から子 $c$ への辺を表す. $\operatorname{path}(c)$ はROOT と $c$ を結ぶ辺の集合を返す. 例えば, $\operatorname{path}(\mathrm{AB})=\{\mathrm{ROOT} \rightarrow \mathrm{A}, \mathrm{A} \rightarrow \mathrm{AB}\}$. また, $\operatorname{tree}(\mathcal{M})=\bigcup_{l \in \mathcal{M}} \operatorname{path}(l)$ とする.これは $\mathcal{M}$ を被覆する最小の部分木に対応する. 例え ば, $\operatorname{tree}(\{\mathrm{AA}, \mathrm{AB}\})=\{\mathrm{ROOT} \rightarrow \mathrm{A}, \mathrm{A} \rightarrow \mathrm{AA}, \mathrm{A} \rightarrow \mathrm{AB}\}$.

文書 $x$ は $\phi(x)$ により特徴量べクトルに変換される。特徴量として, 例えば, 文書分類タスク

図 1 ラベル階層の例（灰色の葉のみが付与対象のラベル）

で一般な単語かばん (bag-of-words) 手法を用いることができる.

本タスクは教師あり設定であり，訓練データ $\mathcal{T}=\left.\{\left(x_{i}, \mathcal{M}_{i}\right)\right.\}_{i=1}^{T}$ が与えられる． $\mathcal{T}$ を用いて モデルを訓練し，これとは別のテストデータによって性能を評価する.

## 3 提案手法

## 3.1 大域モデル

ラベル間依存を利用するための準備として, 入力文書 $x$ に対して出力ラベル集合 $\mathcal{M}$ を同時 に推定する大域モデルを提案する。具体的には, 階層的複数ラベル文書分類を構造推定問題と みなし， $\mathcal{M}$ が作る部分木に対してスコアを定義する.

$
\operatorname{score}^{\text {global }}(x, \mathcal{M})=\mathbf{w}^{\text {global }} \cdot \Phi^{\text {global }}(x, \operatorname{tree}(\mathcal{M}))
$

$\mathbf{w}^{\text {global }}$ は重みべクトルであり，訓練データを用いて学習すべきパラメータである． $\mathbf{w}^{\text {global }}$ は，辺に対応する局所的な重みべクトルを連結することにより構成される. 例えば，図 1 の場合は

$
\mathbf{w}^{\text {global }}=\mathbf{w}_{\mathrm{ROOT} \rightarrow \mathrm{A}} \oplus \mathbf{w}_{\mathrm{ROOT} \rightarrow \mathrm{B}} \oplus \mathbf{w}_{\mathrm{A} \rightarrow \mathrm{AA}} \oplus \mathbf{w}_{\mathrm{A} \rightarrow \mathrm{AB}} \oplus \mathbf{w}_{\mathrm{B} \rightarrow \mathrm{BA}} \oplus \mathbf{w}_{\mathrm{B} \rightarrow \mathrm{BB}}
$

となる. 特徴関数 $\Phi^{\text {global }}$ は, 文書 $x$ と $\operatorname{tree}(\mathcal{M})$ を入力とし, $\mathbf{w}^{\text {global }}$ と同次元のべクトルを返 す. 具体的には, 各 $p \rightarrow c \in \operatorname{tree}(\mathcal{M})$ に対応する部分べクトルに $\phi(x)$ を, 残りの要素に 0 を入 れた特徵量べクトルを返す。したがって, $\operatorname{score}^{\text {global }}(x, \mathcal{M})$ は以下のように書き換えられる.

$
\operatorname{score}^{\text {global }}(x, \mathcal{M})=\sum_{p \rightarrow c \in \operatorname{tree}(\mathcal{M})} \mathbf{w}_{p \rightarrow c} \cdot \phi(x)
$

$
\underset{\mathcal{M}}{\operatorname{argmax}} \operatorname{score}^{\text {global }}(x, \mathcal{M})
$

## 3.2 動的計画法による解探索

大域モデルの, 現在のパラメータ $\mathbf{w}^{\text {global }}$ もとでの厳密解は, 動的計画法により効率的に求 められる. Algorithm 1 に動的計画法の擬似コードを示す. $\operatorname{MAXTREE}(x, p)$ は, $p$ を根とする部分木の集合から，スコアが最大のものを再帰的に探索する. したがって，我々が呼び出すのは $\operatorname{MAXTREE}(x, \operatorname{ROOT})$ である. 子 $c$ は, (1) $c$ を根とするスコア最大の部分木を作るラベル集合, および $(2)$ そのスコアとひも付けされている. ただし, 葉のスコアは 0 である. $p$ から見た $c$ の スコアは， $c$ の部分木のスコアと辺 $p \rightarrow c$ のスコアの和である（3-8行目）.

$p$ の部分木のスコアを最大にするには, 正のスコアを持つ $c$ をすべて採用すればよい（10行

目)、いずれの子も正のスコアを持たない場合は，最大のスコアを持つ子を 1 個採用する（11-13 行目)。採用された子の集合により，pのラベル集合とスコアが決定される（14-15行目）.

このアルゴリズムの拡張としては，上位 $N$ 個の候補集合を出すというものが考えられる。木 に対する動的計画法としては，構文解析 (McDonald, Crammer, and Pereira 2005) よりもはるか に簡単なため, 上位 $N$ 個への拡張 (Collins and Koo 2005) もさほど難しくない.

## 3.3 ラベル間依存の利用

以上の準備により，ラベル間依存を利用する条件が整った。ラベル間依存の捕捉は，大域モ デルに対する特徴量の追加により実現される，具体的には，あるノードがいくつの子を採用し やすいかを制御する枝分かれ特徵量を導入する.

枝分かれ特徴量は $\phi^{\mathrm{BF}}(p, k)$ により表される。ここで $p$ は根あるいは内部ノードであり， $k$ は $p$ が採用する子の数である。ただし，あらゆる $k$ の値に対して特徴量を設けると疎になるため, ある $R$ について， $R+1$ 個 $(1, \cdots, R$ もしくは $>R)$ の特徴量に限定する. さらに，ノードご との特徴量だけでなく, すべての根あるいは内部のノードが共有する $R+1$ 個の特徴量も設け る. つまり, 追加される特徴量は $(I+1)(R+1)$ 個であり, 各ノードに対して 2 個の特徴量が 発火する.ここで，I はラベル階層における根および内部ノードの個数とする.

この枝分かれ特徵量は, 動的計画法による厳密解探索が維持できるように設計されている. この特徴量を組み込むには，Algorithm 1の10-15行目をAlgorithm 2 で置き換えればよい．枝分かれ特徴量のスコア $\mathbf{w}^{\mathrm{BF}} \cdot \phi^{\mathrm{BF}}(p, k)$ は $k$ のに依存する. そこで，まずは採用する子の数 $k$

によって候補をグループ分けし, 各グループのなかでスコアが最大の候補を選ぶ（12-16行目）.最後に，異なるグループ同士を比較し，スコアが最大となる候補を採用する（17 行目）。グルー プ内でスコアが最大の候補を選ぶには，子をスコア順に並べ，上位 $k$ 個を採用すれば良い，候補のスコアは， $p$ から見た各子のスコアと枝分かれ特徴量のスコアの和となる（15行目）.

枝分かれ特徴量の導入により, ラべルの採否の判断が, ラベル同士の相対的な比較によって 行われるようになる，1節で触れた，「林業政策」と「環境問題」というラベルが付与された文書を再び例に挙げる。この文書に対して「林業一般」というラべルはそれほど不適切には見え ないが，枝分かれ特徴量を持たないモデルは,「林業一般」を付与しない理由を， $\phi(x)$ に対応す る重みですべて説明しなければならない. 4.5 節で示すように, 枝分かれ特徴量の重みは, 一般 に, 負の値を持ち, ペナルティとして働く。また, 子の数が増えるにつれてぺナルティが増え るように学習される。したがって，子を 2 個採用するとよりペナルティがかかるので，「林業一般」に対応する重みを無理に引き下げることなく，相対的により適切な「林業政策」のみを採用することが可能となる.

## 3.4 大域訓練

大域モデルの訓練手法をここでは大域訓練と呼ぶ. 本稿では, パーセプトロン系のオンライン 学習アルゴリズムを採用する。具体的には, 構造推定問題に対する Passive-Aggressive アルゴリ ズム (Crammer, Dekel, Keshet, Shalev-Shwartz, and Singer 2006)を用いる. Passive-Aggressive を採用した理由としては, 実装の簡便さ，バッチ学習と異なり，大量の訓練デー夕に容易に対応可能なオンライン学習であること, 次節で述べるように並列分散化が容易に実現できること が挙げられる。ただし，これは提案手法がパーセプトロン系アルゴリズムでしか実現できない ことを意味せず，構造化 SVM (Tsochantaridis, Hofmann, Joachims, and Altun 2004) を含む他 の構造学習アルゴリズムの導入も検討に值する。

大域モデルの場合の擬似コードを Algorithm 3 に示す. ここで， $N$ は訓練の反復数を表し， パラメータ $C$ は 1.0 とする. 現在のパラメータにおける厳密解は上述の動的計画法により求ま

る（5 行目），予測を誤った場合，正解ラベル集合を出力する方向に重みを更新する（10 行目）. ここで，コスト $\rho$ はモデル予測の誤り度合いを表し，重みの更新幅を変化させる， $\rho$ は，正解 ラベル集合とシステムの出力の一致の度合いに基づいている.

## 3.5 大域訓練の並列分散化

大域訓練には学習が非常に遅いという欠点がある. ラベル集合の分類はラベル 1 個の 2 値分類とは比較にならないほど遅い。しかも，大域訓練はモデルを一枚岩とするため，モデルを局所分類器に分割して並列化することができない.

そこで，繰り返しパラメータ混ぜ合わせ法 (McDonald, Hall, and Mann 2010) を用いて並列分散化を行う．基本的な考えは，モデルを分割する代わりに，訓練データを分割することで並列化を行うというものである．別々の訓練デー夕断片から学習されたモデル群を繰り返し混ぜ 合わせることで収束性を保証している.

Algorithm 4 に繰り返しパラメータ混ぜ合わせ法の擬似コードを示す.ここで $N^{\prime}$ は繰り返し パラメータ混ぜ合わせ法の反復数，S は訓練データの分割数を表す. 繰り返しパラメータ混ぜ 合わせ法では，断片ごとに並列に訓練を行う，各反復の最後に，並列に訓練された複数のモデ ルを平均化する．次の反復では，この平均化されたモデルを初期値として用いる.

繰り返しパラメータ混ぜ合わせ法はパーセプトロン向けに提案されたものである。しかし， (McDonald et al. 2010) が言及している通り， Passive-Aggressive アルゴリズムに対しても収束性を証明することができる。

図 2 JSTPlus の文書例

## 4 実験

## 4.1 データ

評価データとして JSTPlus ${ }^{5}$ タい用い. JSTPlus は科学技術振興機構が作成している科学技術文献のデータベースである，各文書は，標題，抄録，著者一覧，ジャーナル名，分類コード一覧や，その他数多くの項目からなる．文書例を図 2 に示す。実験では，標題と抄録を文書分類 に用いるテキストとし, 分類コードを付与すべきラべルとみなす。また, 2010 年の文献のうち,
^{5}$ http://jdream3.com/service/jdream.html
}
日本語の標題と日本語の抄録の両方を含むものを実験の対象とした。その結果, 455,311 件の文書を得た。これを 409,892 件の訓練データと 45,419 件の評価データに分割した.

ラベル（分類コード）は 3,209 個からなり, これは 4,030 個の辺に対応する. ラベル階層は,根を除いて，最大で 5 階層となっている。ただし，いくつかの辺は中間層を飛ばす（例えば，第 2 層のノードの子が第 4 層にある場合がある). 各文書は平均で 1.85 個のラベルが付与されてい る（分散は 0.85 ). 文書ごとの最大ラベル数は 9 である.

文書の特徴関数 $\phi(x)$ には以下の 2 種類の特徴量を用いる。

（1） ジャーナル名． 2 值特徴量で，各文書につき 1 個の特徴量が発火する.

(2) 標題と抄録中の内容語. 値は頻度. ただし，標題中の内容語の頻度は 2 倍する.

よって各文を単語列に分割し, 次に KNP が持つ規則を使って内容語に夕グ付けした。各文書 は平均で 380 文字を含んでいた。これは内容語としては 120 語に相当する.

## 4.2 モデル設定

大域訓練で訓練された大域モデル (GM-GT) について，枝分かれ特徴量 $(\mathbf{B F})$ を用いた場合 と用いなかった場合を比較する。大域モデルの繰り返しパラメータ混ぜ合わせ法については，訓練データを 10 個の断片に分割し, 反復数は $N^{\prime}=10$ とする. 枝分かれ特徴量について, $R=3$ とする.

その他の比較対象として, 従来研究を参考にして以下のモデルを用いる.

## 4.2.1 非階層型

非階層型 $($ FLAT) はラベル階層を無視し, 各ラベル $l$ を文書 $x$ に付与すべきか否かを独立に 決定する。そのために各 $l$ に対して 2 值分類器を用意する。分類器の実装手法としては，ナイー ブベイズ，ロジスティック回帰，サポートベクタマシンなどが用いられてきたが，本稿では，提案手法との比較のために Passive-Aggressive アルゴリズム (Crammer et al. 2006)を用いる.

ラベル $l$ に対する 2 值分類器は重みベクトル $\mathbf{w}_{l}$ を持つ． スコア $\mathbf{w}_{l} \cdot \phi(x)$ が正のとき， $l$ を $x$ に付与する。ただし，文書に対して最低 1 個のラベルを付与する。そのために，いずれのラべ ルも正のスコアを取らない場合は，一番高いスコアを持つラベルを 1 個採用する.

$\mathbf{w}_{l}$ を訓練するために，元の訓練データ $\mathcal{T}$ を以下のようにして $\mathcal{T}_{l}$ に変換する.

$
\mathcal{T}_{l}=\left.\{\left(x_{i}, y_{i}\right) \left.\lvert\, \begin{array}{ll}
y_{i}=+1 & \text { if } l \in \mathcal{M}_{i} \\
y_{i}=-1 & \text { otherwise }
\end{array}\right.\right.\}_{i=1}^{T}
$

各文書はラベル $l$ を持つとき正例，そうでなければ負例となる。擬似コードを Algorithm 5 に 示す. ここで，パラメータ $C$ は 1.0 とする。訓練の反復数は $N=10$ とする. なお, 各 2 值分類器は独立なので，訓練は容易に並列化できる.

## 4.2.2 枝刈り型

枝刈り型 (PRUNE) はラベル階層を利用する手法であり，ラベル階層に対応する 2 值分類器 の集合を持つ (Montejo-Ráez and Ureña-López 2006; Wang et al. 2011; Sasaki and Weissenbacher $2012)^{8}$. 各 2 值分類器はラベル階層上の辺 $p \rightarrow c$ とひも付けされ, 重み $\mathbf{w}_{p \rightarrow c}$ を持つ. $\mathbf{w}_{p \rightarrow c}$.

器も並列に訓練できる。 パラメータ $C$ の値, 訓練の反復数は非階層型と同じとする.

枝刈り型には誤り伝播 (Bennett and Nguyen 2009) とよばれる問題が知られている。すなわち,階層上位の分類器による誤りから回復する手段がないため，累積的に誤りが作用する．誤り伝播 を軽減するために様々な手法が提案されているが, 煩雑さを避けるため, 本稿では, Algorithm 6 に示す単純な実装を採用する。各ノード $p$ において，局所分類器が正のスコアを返す子すべて を採用する（4-7 行目）。ただし，いずれの子も正のスコアを得ない場合は，一番高いスコアを 得た子を 1 つ採用する（8-10 行目）。この操作を葉に到達するまで繰り返す.

2 值分類器の訓練データ $\mathcal{T}_{p \rightarrow c}$ の構築方法としては，以下の 2 種類を試す.

ALL全訓練データを利用する (Punera and Ghosh 2008).

各文書は $c$ のいずれかの子孫のラベルが割り当てられていれば正例, そうでなければ負例となる.

SIB 正例は ALL と同じだが，負例を $c$ の兄弟の子孫が割り当てられている場合に限定する.

$
\mathcal{T}_{p \rightarrow c}=\left.\{(x, y) \left.\lvert\, \begin{array}{ll}
y=+1 & \text { if } \exists l \in \mathcal{M}, l \in \text { leaves }(c) \\
y=-1 & \text { if } \exists l \in \mathcal{M}, l \in \text { leaves }(p) \text { かつ } l \notin \text { leaves }(c)
\end{array}\right.\right.\}
$

こうすることで，全体として小さなモデルが学習される。なぜなら，数の多い階層下位の分類器に与えられる訓練データが小さくなるからである。従来研究ではSIB を採用する場合が多い

(Liu, Yang, Wan, Zeng, Chen, and Ma 2005; Wang et al. 2011; Sasaki and Weissenbacher 2012).

## 4.3 評価尺度

複数ラベル分類に対する評価尺度は数多く存在するが，大きく 2 種類に整理できる．1つは,文書を単位とした評価尺度で，しばしば用例べースの尺度とよばれる (Godbole and Sarawagi 2004; Tsoumakas, Katakis, and Vlahavas 2010). 文書単位の尺度として, 適合率 (EBP), 再現率 $(\mathrm{EBR})$ および $\mathrm{F}$ 値 $(\mathrm{EBF})$ が以下のように定義される.

$
\begin{aligned}
& \mathrm{EBP}=\frac{1}{T} \sum_{i=1}^{T} \frac{\left|\mathcal{M}_{i} \cap \hat{\mathcal{M}}_{i}\right|}{\left|\hat{\mathcal{M}}_{i}\right|} \\
& \mathrm{EBR}=\frac{1}{T} \sum_{i=1}^{T} \frac{\left|\mathcal{M}_{i} \cap \hat{\mathcal{M}}_{i}\right|}{\left|\mathcal{M}_{i}\right|}
\end{aligned}
$

$
\mathrm{EBF}=\frac{1}{T} \sum_{i=1}^{T} \frac{2\left|\mathcal{M}_{i} \cap \hat{\mathcal{M}}_{i}\right|}{\left|\hat{\mathcal{M}}_{i}\right|+\left|\mathcal{M}_{i}\right|}
$

ここで $T$ はテストデータ中の文書数， $\mathcal{M}_{i}$ は $i$ 番目の文書の正解ラベル集合， $\hat{\mathcal{M}}_{i}$ はそれに対応 するシステムの出力とする.

もう一つは，ラベルを単位とした評価尺度で，通常の適合率，再現率および $\mathrm{F}$ 値が用いられ る. ただし, 複数のラベルの集計方法としてマクロ平均とマイクロ平均がある (Tsoumakas et al. 2010)。そのため合計で, LBMaP, LBMaR, LBMaF, LBMiP, LBMiR およびLBMiF の 6 種類の尺度を用いる。

最後に階層的な評価も行う (Kiritchenko 2005). これは, 出力ラベルがラベル階層上において 正解と近いときに「部分点」を与えるものである。今回のように循環がない木構造を仮定した 場合, 適合率 $(\mathrm{hP})$ および再現率 $(\mathrm{hR})$ は以下のように定義される.

$
\begin{aligned}
\mathrm{hP} & =\frac{\sum_{i=1}^{T}\left|\operatorname{tree}\left(\mathcal{M}_{i}\right) \cap \operatorname{tree}\left(\hat{\mathcal{M}}_{i}\right)\right|}{\sum_{i=1}^{T}\left|\operatorname{tree}\left(\hat{\mathcal{M}}_{i}\right)\right|} \\
\mathrm{hR} & =\frac{\sum_{i=1}^{T}\left|\operatorname{tree}\left(\mathcal{M}_{i}\right) \cap \operatorname{tree}\left(\hat{\mathcal{M}}_{i}\right)\right|}{\sum_{i=1}^{T}\left|\operatorname{tree}\left(\mathcal{M}_{i}\right)\right|}
\end{aligned}
$

$\mathrm{F}$ 値 $(\mathrm{hF})$ は $\mathrm{hP}$ と $\mathrm{hR}$ の調和平均として定義される.

## 4.4 結果

各種モデルの精度比較を表 1 に示す. 枝分かれ特徴量を組み込んだ大域モデル (GM-GTBF) が 7 種類の尺度で最高精度を得た. 枝分かれ特徴量なしのモデル (GM-GT) と比較する

表 1 モデルの比較結果

と, EBP, LBMaR 以外の尺度で GM-GT-BF が上回り，すべてのF 值を改善した。この改善 は統計的に有意 $(p<0.01)$ であった.

大域モデルを非階層型 $($ FLAT) と比較すると, 適合率の改善が著しい一方, 再現率に大きな 差は見られない， 2 種類の枝刈り型 (PRUNE) を比較すると，兄弟のみで訓練する場合 (SIB) の方が全体的にやや良い精度が得られた。しかし，多くの尺度で非階層型に敗れており，従来研究の結果を再現する形となっている.

誤り例を見ると，誤って採用したラベル，誤って採用しなかったラベルのいずれも，正解ラ ベルから離れて人間として改めて判断すると，必ずしも誤りとは言い切れない場合が少なくな かった．特に，該当文書にとって周辺的な話題を表すラベルをどこまで採用べきかを判断する のが難しかった，なお，モデル間の分類結果の差分からは，明確な誤り，改善の傾向をつかむ のは困難であった。

時間はテストデータの分類に要した時間であり，モデルの読み込み時間は含まない 9 ，予想さ れる通り, 枝刈り型が圧倒的に速い. GM-GT-BF は PRUNE-ALL と比較して約 60 倍の時間を要した。しかし，FLAT と比較すると，階層を利用するにも関わらず，約 $18 \%$ 増加にと どまっている。これは，GM-GT-BF のモデルの大きさがFLATよりも約 $16 \%$ 小さいことで 説明できるかもしれない.

モデルの大きさは重みべクトル中で，絶対値が $10^{-7}$ より大きい要素の数とする．大きさは PRUNE-SIB が最小で, PRUNE-ALL が最大となった. GM-GT-BF が GM-GT よりも 大きさを約 9\%削減したことは特筆に値する。訓練に用いた Passive-Aggressive アルゴリズムに は重みを 0 につぶそうとする仕組みがないことから，大きさが削減された理由は，学習過程で GM-GT-BF が GM-GT よりも予測を誤る回数が少なかったからと考えられる。このように， より小さなモデルでより高い精度が得られたことは, 出力すべき複数ラべルの間にはラべル階層に基づく依存関係があるという我々の仮定を支持するものと考える.

## 4.5 議論

大域モデルの重み $\mathbf{w}^{\text {global }}$ 自体は, 大域訓練 $(\mathbf{G T})$ だけでなく, 枝刈り型で用いた 2 值分類器群を連結することによっても構成できる (LT). 大域モデルの性質をさらに調べるために，こj したモデルとの比較も行った.

表 2 に大域モデルの訓練方法の比較結果を示す。訓練データとしてSIB を用いた場合，極端 に多くの候補を出力するようになり，その結果，極端に低い適合率と高い再現率を得た．SIB という限定されたデータで訓練された局所的な分類器に対して, 大域モデルが未知の文書の分類を行わせたため, このような不安定な振る舞いとなった。一方，訓練データとして ALLを用
$ CPU の 1 コア， 64 GB のメモリを用い，実装には Perl を用いた.
}

いた場合，枝刈り型 (PRUNE-ALL) から精度を大幅に向上させ，大域訓練とくらべても遜色 のない精度が得られた。モデルの大きさや分類速度において大域訓練に劣りはするものの，大域モデルの最適化を行わずにこのような高精度が得られたことは興味深い。これは，訓練手法 に改善の余地があることを示唆する。本稿では 10 並列による繰り返しパラメータ混ぜ合わせ法 を用いたが，今後の最適化技術の発展が期待される。

表 3 に訓練データに対する精度を示す。訓練データに対しては非階層型 (FLAT) が一番高い 精度を示し，ALLにより局所訓練された大域モデル (GM-LT-ALL) がそれに続いた. 大域訓練を行った場合 (GM-GT-BF) との比較から, 局所訓練が過学習をもたらしているとみられる.

また, 局所訓練と大域モデルの組み合わせにより, 枝刈り型探索が誤りの主要因であること が確認できた。すなわち，PRUNE-ALLを訓練デー夕に適用したところ， $33 \%$ の文書につい て，PRUNE-ALLが出力したラベル集合よりも，正解ラベル集合の方が大域モデルにおいて 高いスコアを持っていた。言い換えると，正しく探索を行えば犯さない誤りであった。ただ， この高い数值には過学習の影響も含まれており, 同じ操作をテストデータに適用した場合は, 割合は $14 \%$ にがった ${ }^{10}$.

表 2 大域モデルの訓練方法の比較

表 3 訓練データにおける精度

}$ が正解 $\mathcal{M}$ より低いス コアを持つ場合, 重みべクトルの更新が無効となってしまう. この問題に対処するための手法がいくつか提案され ている (Collins and Roark 2004; Huang, Fayong, and Guo 2012).
}

より詳細にモデルを調べるために，辺に分解した結果を示す. 図 3 は GT-BF, LT-ALL, LT-SIB の比較である. 図 (a) から (c) は辺に対応する局所べクトルの大きさを示す. ここで,大きさの定義は表 1 と同じである。辺を子の階層によって集約し，大きさを平均した結果を示 す。一般に，上位階層ほど多数の有効な重みべクトルが必要となることが確認できる．GT-BF は LT-ALLよりも大きさが小さいが，辺ごとの大きさの比率は似通っている． LT-SIB と比較すると, GT-BF は上位階層では小さいが，下位階層では大きな有効重みべクトルを持つ. LT-SIB では兄弟からの識別のみを考慮していたが，大域学習ではすべての辺が適切なスコア を返す必要があるため, 有効重みべクトルがより大きくなったとみられる.

図 (d) から (f) は, 各辺が得たスコアの絶対値の平均を表す. ここで，スコアは, テストデー 夕に対するモデル出力から計算されたものである。これにより，どの階層の辺が強くモデル出力に影響しているかが推測できる。この結果から，上位階層ほど大きな影響を持つことがわか る。しかし, GT-BF は他とくらべて上位階層の影響が小さい。すなわち，GT-BFにおいて は下位階層の辺が相対的に重要な役割を果たしている。

枝分かれ特徴量に対応する重みを図 4 にヒートマップとして示す. 各要素の値は, 親ノード に与えられた重み（ノードごとの重みと共有された重みの和）を平均したものである. 平均化

(a) GT-BF

1 層 2層3層 4層 5 層子の階層

(d) GT-BF

(b) LT-ALL

(e) LT-ALL

(c) LT-SIB

(f) LT-SIB

図 3 辺ごとのモデルの大きさとスコアの比較

## 根 1層 2層 3層 4層親ノードの階層

図 4 枝分かれ特徵量のヒートマップ表現

された値はすべて負となり，子の数が増えるにつれてぺナルティが単調増加した．異なる階層間の重みの比較は，それらが重みベクトルの他の部分の值に依存するため難しい. しかし，下位ノードほど子の数に応じた重みの落差が大きいという結果は, 階層上近いラベル候補同士ほ ど強い競合関係にあるという我々の仮説を支持しているようにみえる.

最後に, 訓練データおよび評価データの正解ラベルについて, 正解ラベルを被覆する最小の部分木を作り，親が採用する子の数を調べた．採用した子の数が複数である割合は，根で $34.9 \%$,第 1 層で $10.1 \%$ ，第 2 層で $4.6 \%$ ，第 3 層で $1.5 \%$ ，第 4 層で $0.6 \%$ であり，下位ノードほど強い 競合関係にあることが確認できた.

## 5 関連研究

階層型文書分類において，枝刈り型が非階層型にしばしば敗れることが報告されており，誤 り伝播を軽减するために様々な手法が提案されてきた。 (Sasaki and Weissenbacher 2012) は枝刈り探索時の枝刈り基準を緩め, 最後に候補の枝刈りを行う. すなわち, Algorithm 6 の 7 行目 の閾値を 0 から -0.2 などに引き下げて, より多くの候補を採用する。最後に, 各候補について,根から葉までのパスの（シグモイド関数で変換された）局所スコアの和を取り，これに閥値を設定することによって出力ラベルを絞り込む．S-cut (Montejo-Ráez and Ureña-López 2006; Wang et al. 2011) は, 一律の閥値を用いるのではなく, 局所分類器ごとに間値を設定する手法である. R-cut は上位 $r$ 個の候補を採用する手法で, 選び方には大域的手法 (Liu et al. 2005; Montejo-Ráez and Ureña-López 2006) と局所的手法 (Wang et al. 2011) がある. (Wang et al. 2011) は採用さ れたラベル候補をメ夕分類器にかけ, 最終的な出力を決定する。 メ夕分類器の特徴量としては,根から葉までの局所スコアやその累積などを用いる。本稿ではこれらを総称して後付け補正と よぶ. 後付け補正では，いずれもモデルあるいは探索が本質的に不完全であることを想定し，追加のパラメータによる補正を行なっている。そうしたパラメータは，人手で設定するか，あ

るいは訓練データとは別に開発データを用意して推定しなければならず煩雑である。一方，提案手法には後付け補正は不要であり，モデル自体の改善に専念できる。

ラベル階層を下から上へ探索しながら候補を探すという点で, 提案手法と似た手法が (Bennett and Nguyen 2009)により提案されている. しかし, 彼らの手法では, 大域モデルも大域訓練も 用いられていない。代わりに，階層下位の分類器のスコアが上位の分類器のメ夕特徴量として 用いられている．分類器の訓練は局所的に行われ，煩雑な交差確認を必要とする.

本稿ではあらかじめ定義されたラベル階層を利用した。そうした手がかりがない場合にラべ ル間依存を捉えるための手法も研究されている. (Ghamrawi and McCallum 2005; Miyao and Tsujii 2008) は, 出力すべきラベル集合中のラベルペアを特徴量に組み込んでいる. 本稿のよう にラベル階層が利用できる場合は，それをもとに限られた数のラベル同士の関係を考慮すれば すむ，一方，ラベル階層がない場合は，モデルはすべてのラベルペアを考慮する必要があり，訓練および解探索に大きな計算コストを要する。こうしたモデルの検証は，ラベルの異なり数が 数十程度のデータセットを用いて行われてきた. ラベルの異なり数が大きな場合について，(Tai and Lin 2010) は，ラベル集合を低次元の直交座標系に写像し，この空間上で非階層型の分類器 を学習する手法を提案している。予測時には, 分類器の出力を元の空間へ写像するという自明 でない復号が必要となる。(Bi and Kwok 2011)は，ラベル階層を組み达むために，木あるいは 有向非循環グラフの制約を満たすような復号手法を提案している.

## 6 おわりに

本稿では，階層型複数ラベル文書分類を構造推定問題として定式化し, 動的計画法による厳密解探索方法, 大域訓練, ラベル間依存をとらえる枝分かれ特徴量を提案した。枝分かれ特徴量はモデルの大きさを削減するとともに精度の向上をもたらした。この結果は, 人間作業者が 複数のラベル候補から出力を選択する際, ラベル階層に基づいて, 競合する候補の相対的な重要性を考慮していることを示唆する.

今後の方向性としては，枝分かれ特徴量以外によってラベル間依存をとらえる方法を探究す るというものが考えられる，例えば，「〜その他」や「〜一般」といったラベルは, 他のラベル との関係において特殊な振る舞いをすると予想される。また，本稿では葉のみが付与対象ラべ ルという問題設定を行ったが，従来研究には内部ノードも付与対象である場合を扱ったものが ある (Liu et al. 2005). こうした内部ノードの振る舞いも特殊である. 内部ノードを採用すると き，その子孫へのラベル付与を行わないことが多い. さらに，木構造から有向非循環グラフヘ の提案手法の一般化も課題である.

## 謝 辞

本研究で評価実験に用いた JSTPlus は, 共同研究を通じて, 独立行政法人科学技術振興機構 に提供していただきました。深く感謝いたします。本研究は一部 JST CREST の支援を受けま した.

## 参考文献

Bennett, P. N. and Nguyen, N. (2009). "Refined Experts: Improving Classification in Large Taxonomies." In Proceedings of the 32nd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '09), pp. 11-18.

Berlin, B. (1992). Ethnobiological Classification: Principles of Categorization of Plants and Animals in Traditional Societies. Princeton University Press.

Bi, W. and Kwok, J. (2011). "Multi-Label Classification on Tree- and DAG-Structured Hierarchies." In Proceedings of the 28th International Conference on Machine Learning (ICML-11), pp. 17-24.

Collins, M. and Koo, T. (2005). "Discriminative Reranking for Natural Language Parsing." Computational Linguistics, 31 (1), pp. 25-70.

Collins, M. and Roark, B. (2004). "Incremental Parsing with the Perceptron Algorithm." In Proceedings of the 42nd Meeting of the Association for Computational Linguistics (ACL'04), Main Volume, pp. 111-118.

Crammer, K., Dekel, O., Keshet, J., Shalev-Shwartz, S., and Singer, Y. (2006). "Online PassiveAggressive Algorithms." Journal of Machine Learning Research, 7, pp. 551-585.

Ghamrawi, N. and McCallum, A. (2005). "Collective Multi-label Classification." In CIKM '05: Proceedings of the 14th ACM International Conference on Information and Knowledge Management, pp. 195-200.

Godbole, S. and Sarawagi, S. (2004). "Discriminative Methods for Multi-labeled Classification." In Dai, H., Srikant, R., and Zhang, C. (Eds.), Advances in Knowledge Discovery and Data Mining, Vol. 3056 of Lecture Notes in Computer Science, pp. 22-30. Springer Berlin Heidelberg.

Huang, L., Fayong, S., and Guo, Y. (2012). "Structured Perceptron with Inexact Search." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 142-151.

Kiritchenko, S. (2005). Hierarchical Text Categorization and Its Application to Bioinformatics.

Ph.D. thesis, University of Ottawa.

Labrou, Y. and Finin, T. (1999). "Yahoo! as an Ontology: Using Yahoo! Categories to Describe Documents." In Proceedings of the Eighth International Conference on Information and Knowledge Management (CIKM '99), pp. 180-187.

Liu, T.-Y., Yang, Y., Wan, H., Zeng, H.-J., Chen, Z., and Ma, W.-Y. (2005). "Support Vector Machines Classification with a Very Large-scale Taxonomy." SIGKDD Explorations Newsletter, 7 (1), pp. 36-43.

LSHTC3 (Ed.) (2012). ECML/PKDD-2012 Discovery Challenge Workshop on Large-Scale Hierarchical Text Classification.

McDonald, R., Crammer, K., and Pereira, F. (2005). "Online Large-Margin Training of Dependency Parsers." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 91-98.

McDonald, R., Hall, K., and Mann, G. (2010). "Distributed Training Strategies for the Structured Perceptron." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 456-464.

Miyao, Y. and Tsujii, J. (2008). "Exact Inference for Multi-label Classification using Sparse Graphical Models." In Coling 2008: Companion volume: Posters, pp. 63-66.

Montejo-Ráez, A. and Ureña-López, L. A. (2006). "Selection Strategies for Multi-label Text Categorization." In Advances in Natural Language Processing, pp. 585-592. Springer.

Punera, K. and Ghosh, J. (2008). "Enhanced Hierarchical Classification via Isotonic Smoothing." In Proceedings of the 17th International Conference on World Wide Web ( $W W W$ '08), pp. 151-160.

Qiu, X., Gao, W., and Huang, X. (2009). "Hierarchical Multi-Label Text Categorization with Global Margin Maximization." In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, pp. 165-168.

Sasaki, Y. and Weissenbacher, D. (2012). "TTI'S System for the LSHTC3 Challenge." In ECML/PKDD-2012 Discovery Challenge Workshop on Large-Scale Hierarchical Text Classification.

Tai, F. and Lin, H.-T. (2010). "Multi-label Classification with Principal Label Space Transformation." In Proceedings of the 2nd International Workshop on Learning from Multi-Label Data, pp. 45-52.

Tsochantaridis, I., Hofmann, T., Joachims, T., and Altun, Y. (2004). "Support Vector Machine Learning for Interdependent and Structured Output Spaces." In Proceedings of the Twentyfirst International Conference on Machine Learning (ICML '04), pp. 104-113.

Tsoumakas, G., Katakis, I., and Vlahavas, I. (2010). "Mining Multi-label Data." In Maimon, O. and Rokach, L. (Eds.), Data Mining and Knowledge Discovery Handbook, pp. 667-685. Springer.

Wang, X.-L., Zhao, H., and Lu, B.-L. (2011). "Enhance Top-down Method with MetaClassification for Very Large-scale Hierarchical Classification." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 1089-1097.

## 略歴

村脇 有吾：2006 年京都大学工学部情報学科卒業. 2008 年京都大学大学院情報学研究科修士課程修了. 2011 年, 同博士後期課程修了. 博士 (情報学). 同年京都大学学術情報メディアセンター特定助教. 2013 年, 九州大学大学院シ ステム情報科学研究院助教, 現在に至る. 計算言語学, 自然言語処理の研究 に従事.