# 自動意味役割付与における意味役割の汎化

FrameNet, PropBankといった意味タグ付きコーパスの出現とともに, 機械学習の 枠組みを利用した自動意味役割付与システムが数多く研究されてきた. しかし, こ れらのコーパスは個々のフレームに固有の意味役割を定義するため、コーパス中に 低頻度, 或いは未出現の意味役割が数多く存在し, 効率的な学習を妨げている。本論文は, 意味役割付与における意味役割の汎化問題を取り上げ，既存の汎化指標と 新たに提案する指標を役割の分類精度を通して比較し，それぞれの特徴を探求する. また, 複数の汎化指標を同時に利用する分類モデルが自動意味役割付与の精度を向上させることを示す。実験では, FrameNet において全体の精度で $19.16 \%$ のエラー 削減, F1 マクロ平均で $7.42 \%$ の向上を, PropBankにおいて全体の精度で $24.07 \%$ の エラー削減, 未知動詞に対するテストで $26.39 \%$ のエラー削減を達成した.

キーワード：意味役割, フレーム, フレームネット, PropBank, VerbNet, SemLink
## Generalization of Semantic Roles in Automatic Semantic Role Labeling

A number of studies have applied machine-learning approaches to semantic role labeling with availability of corpora such as FrameNet and PropBank. These corpora define frame-specific semantic roles for each frame. It is crucial for the machinelearning approach because the corpus contain a number of infrequent roles which hinder an efficient learning. This paper focus on a generalization problem of semantic roles in a semantic role labeling task. We compare existing generalization criteria and our novel criteria, and clarify characteristics of each criterion. We also show that using multiple generalization criteria in a model improves the performance of a semantic role classification. In experiments on FrameNet, we achieved $19.16 \%$ error reduction in terms of total accuracy and $7.42 \%$ in macro F1 avarage. On PropBank, we reduced $24.07 \%$ of errors in total accuracy, and $26.39 \%$ of errors in the evaluation for unseen verbs.

Key Words: semantic role labeling, FrameNet, PropBank, VerbNet, SemLink, frame


## 1 はじめに

近年, FrameNet (Baker et al. 1998) や PropBank (Palmer et al. 2005) などの意味役割付与コー パスの登場と共に, 意味役割付与に関する統計的なアプローチが数多く研究されてきた (Màrquez et al. 2008). 意味役割付与問題は, 述語一項構造解析の一種であり, 文中の述語と, それらの項となる句を特定し, それぞれの項のための適切な意味タグ（意味役割）を付与する問題である。述語と項の間の意味的関係を解析する技術は, 質問応答, 機械翻訳, 情報抽出などの様々な自然言語処理の応用分野で重要な課題となっており, 近年の意味役割付与システムの発展は多くの研究者から注目を受けている (Narayanan and Harabagiu 2004; Shen and Lapata 2007; Moschitti et al. 2007; Surdeanu et al. 2003).

これらのコーパスは, 文中の単語（主に動詞）がフレームと呼ばれる特定の項構造を持つという考えに基づく，図 1 に，例として, FrameNet と PropBankにおける sell と buyの二つの動詞に関するフレーム定義を示す. 各フレームはそれぞれのコーパスで特定の名前を持ち，その項としていくつかの意味役割を持つ。また, 意味役割は, それぞれのフレームに固有の役割として定義される。例えば, PropBankの sell. 01 フレームの役割 sell.01::0と, buy. 01 フレームの役割 buy.01::0 は別の意味役割であり，また一見同じ記述 (Seller)のついた sell.01::0 と buy.01::2 もまた, 別の役割ということになる。これは FrameNetについても同様である. 意味役割がフレームごとに独立に定義されている理由は, 各フレームの意味役割が厳密には異なる意味を帯びているからである. しかし, この定義は自動意味役割付与の方法論にとってやや問題である.一般的に, 意味役割付与システムは教師付き学習の枠組みで設計されるが, 意味役割をフレームごとに細分化して用意することは，コーパス中に事例の少ない役割が大量に存在する状況を招き，学習時の疎デー夕問題を引き起こす。実際に，PropBankには 4,659 個のフレーム, 11,500 個以上の意味役割が存在し，フレームあたりの事例数は平均 12 個となっている. FrameNetでは, 795 個のフレーム, 7,124 個の異なった意味役割が存在し, 役割の約半数が 10 個以下の事例しか持たない。この問題を解決するには, 類似する意味役割を何らかの指標で汎化し, 共通点のある役割の事例を共有する手法が必要となる.

図 1 PropBank と FrameNet における動詞 sell, buyに対するフレーム定義の比較
従来研究においても，フレーム間で意味役割を汎化するためのいくつかの指標が試されてきた. 例えば，PropBank上の意味役割付与に関する多くの研究では，意味役割に付加されている

る意味役割は統語的，意味的に一貫性がなく，これらの夕グは汎化指標として適さない，という指摘もある (Yi et al. 2007)。そこで近年では, 主題役割, 統語構造の類似性などの異なる指標を利用した意味役割の汎化が研究されている (Gordon and Swanson 2007; Zapirain et al. 2008).

FrameNet では，意味役割はフレーム固有のものであるが，同時にこれらの意味役割の間には型付きの階層関係が定義されている，図 2 にその抜粋を示す。ここでは例えば，Givingフレー ムと Commerce_sell フレームは継承関係にあり，またこれらのフレームに含まれる役割には，どの役割がどの役割の継承を受けているかを示す対応関係が定義されている。この階層関係は意味役割の汎化に利用できると期待できるが，これまでの研究では肯定的な結果が得られていない (Baldewein et al. 2004). したがって, FrameNetにおける役割の汎化も重要な課題として持ち上がっている (Gildea and Jurafsky 2002; Shi and Mihalcea 2005; Giuglea and Moschitti 2006).

意味役割の汎化を考える際の重要な点は，我々が意味役割と呼んでいるものが，種類の異なるいくつかの性質を持ち合わせているということである。例えば，図 1 における FrameNet の役割 Commerce_sell::Sellerと，Commerce_buy::Sellerを考えてみたとき，これらは「販売者」という同一語彙で説明出来るという点では同じ意味的性質を持ち合わせているが，一方で，動作主性という観点でみると，Commerce_sell::Sellerは動作主であるが，Commerce_buy::Seller は動作主性を持っていない。このように，意味役割はその特徴を単に一つの観点から䌂めあげられるものではなく，いくつかの指標によって異なる説明がされるものである。しかし，これまでに提案されてきた汎化手法では，一つの識別モデルの中で異なる指標を同時に用いてこなかった.また，もう一つの重要なことは，これまでに利用されてきたそれぞれの汎化指標が，意味役割のどのような性質を捉え, その結果として, どの程度正確な役割付与に結びついているかを明らかにすべきだということである。

図 2 FrameNet のフレーム階層の抜粋

そこで本研究では, FrameNet, PropBankの二つの意味役割付与コーパスについて, 異なる言語学的観点に基づく新たな汎化指標を提案し, それらの汎化指標を一つのモデルの中に統合出来る分類モデルを提案する。 また, 既存の汎化指標及び新たな汎化指標に対して実験に基づいた細かな分析を与え，各汎化指標の特徴的効果を明らかにする。

FrameNetにおける実験では, FrameNetが持つフレームの階層関係, 役割の記述子, 句の意味型, さらにVerbNetの主題役割を利用した汎化手法を提案し，これらの指標が意味役割分類の精度向上に貢献することを示す. PropBankにおける実験では, 従来より汎化手法として議論の中心にあった ARG タグと主題役割の効果の違いを，エラー分析に基づいて正確に分析する.また, より頑健な意味役割の汎化のために, VerbNetの動詞クラス, 選択制限, 意味述語を利用した三つの新しい汎化手法を提案し，その効果について検証する。

実験では, 我々の提案する全ての汎化指標について, それぞれが低頻度或いは未知フレームに対する頑健性を向上させることを確認した。また, 複数の汎化指標の混合モデルが意味役割分類の精度向上に貢献することを確認した. 全指標の混合モデルは, FrameNet において全体の精度で $19.16 \%$ のエラー削減, F1 Macro 平均で $7.42 \%$ の向上を達成し, PropBankにおいて全体の精度で $24.07 \%$ のエラー削減, 未知動詞に対するテストで $26.39 \%$ のエラー削減を達成した.

## 2 関連研究

意味役割を汎化することで意味役割付与の疎デー夕問題を解消する方法は，これまでにいくつか提案されてきた. Moschitti et al. (2005)は各役割を主役割, 付加詞, 継続項, 共参照項の四つの荒いクラスに分類した後, それらのクラスに対してそれぞれ専用の分類器で PropBank の ARG タグを分類した. Baldewein et al. (2004)は, 意味役割分類器を学習する際, ある役割の訓練に，類似する他の役割の訓練例を再利用した，類似度の尺度としては，FrameNetにおける階層関係, 周辺的役割, EM アルゴリズムに基づいたクラスタが利用された. Gordon and Swanson (2007) は PropBankの意味役割に対して, 各フレームの統語的類似度に基づいて役割の汎化を行う手法を提案した。

また，異なるフレーム間の意味役割を繋ぐ懸け橋として，フレームに依存しないラベルセットである主題役割も用いられてきた. Gildea and Jurafsky (2002)は FrameNet の意味役割を彼らが選定した 18 種類の主題役割に人手で置き換えることで, 役割の分類精度が向上することを示した. Shi and Mihalcea (2005), Giuglea and Moschitti (2006)は異なる意味コーパスによって定義された役割の共通の写像先として, VerbNet の主題役割を採用した.

意味役割の汎化指標に対する比較研究としては, PropBank 上で ARGタグと主題役割の比較を行った, Yi et al. (2007), Loper et al. (2007), Zapirain et al. (2008)の研究が挙げられる. Yi et al. (2007), Loper et al. (2007) は, 主題役割をPropBankの ARG タグの代替とすることで,
$A R G 2$ の分類精度を向上出来た一方で， ARG1の精度は低下すると報告した.また, Yi et al. (2007)は同時に，ARG2-5は多種にわたる主題役割に写像されることを示した. Zapirain et al. (2008) は最新の意味役割付与システムを用いて, PropBankの ARG タグとVerbNet の主題役割の二つのラベルセットを評価し，全体として, PropBankの ARG タグのほうがより頑健な汎化を達成すると結論付けた. しかしながら, これら三つの研究は, 意味役割付与全体の精度比較しか行っていないため, 各汎化指標により得られる効果の正確な理解のためには, 詳細な検証による理由付けが必要である.

FrameNet, PropBankにおけるこれらの汎化ラベルは，汎化ラベル自身を直接推定するモデルとして設計されたため，コーパス中の意味役割を汎化ラベルで直接置き換える方法か，それに準じる方法で用いられてきた。しかし, この方法では, 異なる汎化指標を一つの分類モデルの中で同時に用いることが出来ない. 役割の特徴を複数の観点から共有しようとする我々の目的のためには，これらの指標を自然に混合できる分類モデルの設計が必要となる.

## 3 フレーム辞書と意味役割付与コーパス

本節では, 我々の実験で利用する意味タグ付き言語資源について，その特徴を簡単に説明する. 我々は FrameNet, PropBankの二つの意味役割付与コーパスの枠組みの基で，それぞれ自動意味役割付与の実験を行う。これらのコーパスは, 図 3 のように，フレームとその意味役割を定義したフレーム辞書と, これらが付与された実テキストからなる.

また, 役割汎化のためのコーパス外の知識としてVerbNet を用いる. FrameNet, PropBank の意味役割と VerbNetの主題役割の対応付けには，SemLinkを利用する．

## 3.1 FrameNet

FrameNet は，フレーム意味論 (Fillmore 1976)を基に作られた意味役割付きコーパスである. FrameNet におけるフレームは意味フレームと呼ばれ，特定のイベントや概念を表す。各フレー ムには，それを想起させる単語が複数割り当てられている。意味役割はフレーム要素と呼ばれ,各フレームに固有の役割として定義されている。また, それに加えて, 各役割がそのフレーム

実テキストアノテーション部分

フレーム辞書

図 3 意味役割付与コーパスの概要図

の中でどの程度重要な位置を占めるかを表す指標として, それぞれの役割に中心性と呼ばれる型を割り振っている。これらは, core, core-unexpressed, peripheral, extra-thematic $の$四つからなり, core と core-unexpressed はそのフレームの中心的な役割を, peripheral は周辺的な役割を, extra-thematic はフレーム外の概念から拡張された役割をそれぞれ表す. FrameNet の特筆すべき特徴として, フレーム間の階層関係がある（図 2).これは, 継承, 使用, 起動,原因, 観点, 部分, 先行の七種類の有向関係によって定義されており, また, 関係が定義されたフレームの意味役割間にもそれぞれ親子関係が定義される。一つのアノテーションは, 文中の一つの想起単語とそれが想起するフレーム, 及び適切な句への意味役割タグの割り当てで構成される。実テキストに対するアノテーションは，British National Corpus より抜き出された約 140,000 文にそれぞれ一アノテーションずつが付けられたものと，追加コーパスに対する全文アノテーションからなり, 全体で約 150,000 のアノテーションが含まれる. 我々の実験では,現時点の最新版である第 1.3 版を用いた.

## 3.2 PropBank

PropBankは, Penn Treebank II の Wall Street Journal 部分の全てのテキストに対して, 動詞の述語一意味役割構造を与えるコーパスである. フレームは, 図 1 の sell.01, buy. 01 などのように動詞ごとに個別に用意され, その動詞の項構造の数に応じて一動詞あたり平均 1.4 個のフレー ムが作られている. テキスト部には112,917アノテーションを含む. PropBankでは, FrameNet にあるようなフレーム間の関係は定義されておらず, 各フレームは定義上独立な関係である。一方, 意味役割の定義は二種類に分かれる。一つは 0 から 5 の数字がふられた役割 $(A R G 0-5)$ で, もう一つは AM タグという, 全フレームに共通な付加詞的意味役割である．ARG0-5については, 図1の sell.01::0 (Seller) と buy.01::0 (Buyer)のように, 同じ数字を持つものでも各フレー ムで役割の意味が大きく異なる。しかし, ARG0と ARG1については, ARG0が Proto-Agent, ARG1が Proto-Patientに大まかに対応するように付けられており, それ以外の数字は動詞に応じて多様な意味を取ることが知られている (Palmer et al. 2005; Yi et al. 2007). AM タグには,所格を表す $A M-L O C ，$ 時格を表す $A M-T M P$ など 14 種類がある.

## 3.3 VerbNet, SemLink

VerbNet (Kipper et al. 2000)は, 動詞間の統語的, 意味的特徴の一般化を目的として作られた, 動詞の階層的なグループ及びそれらのグループに関する特徴の体系的記述である. このグループは Levin (1993) の提案に拡張を加えた 470 のクラスからなり, 各動詞がどの動詞クラスに分類されるかは，そのクラスの動詞が持つべきいくつかの特徴を所有するか否かで決定される. 同じ動詞クラスの動詞は，その所有する項が共通であり，これらは明確に定義された 30 種類の主題役割から選ばれる. 我々はVerbNet 第 2.3 版の情報を利用して, 意味役割の汎化を試

みる。

VerbNet を利用する利点は大きく二つある。一つは，全動詞に対して共通に定められた 30 種類の主題役割が，PropBank や FrameNet の意味役割を適切に汎化する指標となりうることである。もう一つは，動詞グループが捉える細かなレベルの統語的／意味的共通性を利用出来る点である。我々はこれらの情報を用いた汎化手法を 6.4 節, 8 節で提案する.

FrameNet, PropBank, VerbNet の三つはそれぞれ異なるアプローチで開発されているため, VerbNet を役割汎化の指標として利用するためには，これらの意味役割を相互に変換する必要がある。我々はこの目的のために, Loper et al. (2007) などによって作られた SemLink ${ }^{1}$ 利用する. SemLink は異なる方法論で作られた意味タグ同士を対応付ける目的で作られており，その内容は図 4 のように (A) フレーム辞書の対応と (B) 事例レベルの対応の二つの資源からなる. (A)では, FrameNet, PropBankのフレームが適切な VerbNetの動詞クラスと対応付けられ，また, それぞれの意味役割はその動詞クラス内の主題役割と結び付けられる. しかし, FrameNet, PropBank, VerbNetの間では, フレームの切り分け方が異なるため, いくつかのフレームでは,動詞クラスとの対応が多対多となる。そこでSemLinkでは，(B)のような事例レベルでの項構造のマッピングも同時に与えている。これによって資源間の方法論の差による曖昧性を解消し,各事例のフレームと意味役割を正確な動詞クラスと主題役割に写像することを可能にしている.

現段階（第 1.1 版）の SemLink では，この事例レベルの写像は PropBankにのみ与えられ， FrameNetの方は, 辞書レベルのマッピングのみである. FrameNetでは, この辞書マップを通じて 1,726 の意味役割が VerbNet の主題役割に写像される。これは，コーパス中に事例として一回以上出現する役割の $37.61 \%$ にあたる。また, PropBankでは, 実テキスト中の $62.34 \%$ の項構造が VerbNet の動詞クラスと主題役割を用いたアノテーションに写像される.

図 4 SemLink の概要図
^{1}$ http://verbs.colorado.edu/semlink/
}

図 5 役割分類における入出力の例

## 4 意味役割分類問題

意味役割付与は複数の問題が絡み合った複雑なタスクであるため, これをフレーム想起単語特定（フレームを想起する単語の特定），フレーム曖昧性解消（想起単語が取り得るフレームのうち正しいものの選択), 役割句特定（意味役割を持つ句の特定）, 役割分類（役割句に正しい役割を割り当てる)，といった四つの部分問題に分けて解かれることが多い. 今回我々は，これらの部分問題のうち, 役割の疎デー夕問題が直接関係する役割分類のみを取り扱う。これには, この部分問題における入力を正確に与え，他の処理によるエラーを極力排除することにより，意味役割の汎化による効果を厳密かつ詳細に分析する狙いがある.

本研究では, 既存研究の枠組みに従い, 役割分類を以下のように定義する. 入力としては,文, フレーム想起単語, フレーム, 役割の候補, 役割句を与える. 出力は, それぞれの役割句に対する正しい役割の割り当てである。図 5 に FrameNet 上の役割分類における具体的な入出力の例を示す.ここでは, 動詞 sellから Commerce_sell フレームが想起され, 文中に三か所の役割句が特定されている. 役割の候補はフレームによって与えられる \{Seller, Buyer, Goods, Reason, ..., Place\} であり, 各役割句の意味役割は, これらの役割候補の中から一つずつ選ばれる.

## 5 意味役割の汎化と役割分類モデル

## 5.1 意味役割汎化の定式化

意味役割の汎化は, ある（言語学的）観点に基づいて, 複数の意味役割の間に共通する性質を捉え，同じ性質を持つ役割を同一視する行為と言うことが出来る。従来の意味役割の汎化は, コーパス中の意味役割ラベルを一対一対応のとれる汎化ラベルに置き換えることで実現されてきた. しかし, この方法では, 一つの意味役割に対して一つの汎化ラベルしか与えることが出来ない. 一方で我々の立場は, 意味役割の汎化は複数の観点から多面的に行われるべきというものである。したがって，我々は，意味役割の汎化を複数の汎化ラベルの集合で表現し，元の意味役割はこの汎化ラベルの集合を持つという形にする.
具体的な例として, PropBankの意味役割が, $A R G 0-5$ ラベルと主題役割の二つの汎化ラベルで同時に汎化されることを考えてみよう，今，フレーム固有の意味役割として sell. 01 フレームの役割 sell.01::0 (seller)を考えると, これは, ARG タグと主題役割を用いてそれぞれ $A R G 0$, Agent に汎化される，以降，異なる指標で作られたラベル同士を区別するため, 各汎化ラベルを「ラベル名@指標名」で表すことにする．sell.01::0 はこれら二つのラベルを集合として持つと考え，これを関数 gen を用いて，

$
\operatorname{gen}(\text { sell.01::0) }=\{A R G 0 @ A R G, \text { Agent@TR }\}
$

と表すことにする。実際には, これら二つの汎化ラベルは異なる汎化指標から導き出されているものであるので，説明の簡単のため, 汎化指標ごとに関数を分解して表す.

$
\begin{aligned}
\operatorname{gen}_{\text {arg }}(\text { sell.01::0) } & =\{A R G 0 @ A R G\} \\
\operatorname{gen}_{t r}(\text { sell.01::0)} & =\{\text { Agent } @ T R\} \\
\operatorname{gen}(y) & =\operatorname{gen}_{a r g}(y) \cup \operatorname{gen}_{t r}(y)
\end{aligned}
$

これを一般化すれば，意味役割が $n$ 種の汎化指標によるラベルを同時に持つことを表現出来る.ここで, 元の意味役割全体を $R$ とし, 異なる種類の汎化ラベルの集合をそれぞれ $C_{1}, \ldots, C_{n}$, これら全ての汎化ラべルの集合を $C=\bigcup_{i=1}^{n} C_{i}$ とするとき, 意味役割の汎化とは, 関数

$
\begin{aligned}
\text { gen }_{i}: R & \rightarrow\left.\{C_{i}^{\prime} \mid C_{i}^{\prime} \subset C_{i}\right.\} \\
\text { gen }: & \rightarrow\left.\{C^{\prime} \mid C^{\prime} \subset C\right.\} \quad\left(\text { ただし, } \operatorname{gen}(y)=\bigcup_{i} \operatorname{gen}_{i}(y)\right)
\end{aligned}
$

を定義することである. これら意味役割汎化のための関数を FrameNet, PropBank の各々の分類モデルで具体的にどのように定義するかについては， 6 節と 8 節で述べることにする.

## 5.2 役割分類モデル

前節で述べたように，多くの既存研究が意味役割の汎化の際に取ったアプローチは，それぞれの意味役割をフレームから独立な少数の汎化ラベルに置き換える方法であった. これにより，役割分類の過程は, フレーム固有の役割を推定する問題から, これらの汎化ラベルを推定する問題へと変化した. ここで, 文 $s$, フレーム想起単語 $p$, フレーム $f$, 役割句 $x$ が与えられるとき，与えられたフレームにより選択可能な意味役割の集合を $Y_{f}$ とし， $s, p, f$, から観測される対象役割句 $x$ の特徴ベクトルを $\mathbf{x}$ とする。一般的に, 意味役割分類は役割の候補 $Y_{f}$ の中から, 最も適切な役割 $\tilde{y}$ をつ選ぶ問題として定式化される。ここで, 三つ組 $(f, \mathbf{x}, y)$ に対して
$y$ のスコアを生成するモデルがあると仮定すると， $\tilde{y}$ は以下のようにして選択できる.

$
\tilde{y}=\underset{y \in Y_{f}}{\operatorname{argmax}} \operatorname{Score}(f, \mathbf{x}, y)
$

汎化ラベルを直接分類する従来の手法では，訓練データとテストデータ中の意味役割を汎化ラベルで上書きしてきた。例えば，PropBankのある役割 $y$ はその ARG タグ $\arg (y)$ によって汎化出来る。分類モデルは最適な ARGタグ $\tilde{c}$ を以下のようにして選択する.

$
\tilde{c}=\underset{c \in\left.\{\arg (y) \mid y \in Y_{f}\right.\}}{\operatorname{argmax}} \operatorname{Score}_{a r g}(f, \mathbf{x}, c)
$

ここで, $\operatorname{Score}_{a r g}(f, \mathbf{x}, c)$ は $f$ と $\mathbf{x}$ に関する汎化ラベル $c$ のスコアを与える. 既存の多くのシステムは, このモデルを達成するために線形或いは対数線形のスコアモデルを採用し, 特徴関数は $\mathbf{x}$ の要素と $c$ の可能なぺアに対する指示関数として設計された.

$
\begin{aligned}
& \operatorname{Score}_{a r g}(f, \mathbf{x}, c)=\sum_{i} \lambda_{i} g_{i}(\mathbf{x}, c) \\
& g_{1}(\mathbf{x}, c)= \begin{cases}1 & \text { (head of } x \text { is "he" } \wedge c=A R G O @ A R G) \\
0 & \text { (otherwise) }\end{cases}
\end{aligned}
$

ここで, $G=\left.\{g_{1}, \ldots, g_{m}\right.\}$ は $m$ 個の特徴関数, $\Lambda=\left.\{\lambda_{1}, \ldots, \lambda_{m}\right.\}$ は $G$ に関する重みべクトルを表す. $\tilde{y}$ は少なくとも一つ，かつ唯一の役割 $y \in Y_{f}$ が $\tilde{c}$ に対応付けられているときに一意に決定される。従来の汎化指標の比較研究にも，このラベルの置き換えによる手法が用いられてきた (Loper et al. 2007; Yi et al. 2007; Zapirain et al. 2008).

我々は，この手法とは対照に，フレーム固有の役割を直接推定するモデル（式 7）を採用する.その上で, $y$ に関する汎化ラベル集合 $\operatorname{gen}(y)$ を意味役割 $y$ の特徴として利用する.

$
g_{1}(\mathbf{x}, y)= \begin{cases}1 & (\text { head of } x \text { is "he" } \wedge A R G 0 @ A R G \in \operatorname{gen}(y)) \\ 0 & \text { (otherwise) }\end{cases}
$

式 11 では, 特徴関数が $g e n$ の值に $A R G O$ が含まれるかを調べることにより, 役割 $y$ が $A R G O$ ラベルによって汎化されるかどうかをテストしている。このように関数 genを特徴関数の条件部に用いることによって, 複数の汎化ラベルを同時に扱うモデルの設計が可能になる. 例えば,式 11 と同様にして, 同じモデルに主題役割をチェックする特徴関数を導入することも出来る.

$
g_{2}(\mathbf{x}, y)= \begin{cases}1 & (\text { head of } x \text { is "he" } \wedge \text { Agent } @ T R \in \operatorname{gen}(y)) \\ 0 & \text { (otherwise })\end{cases}
$

このアプローチの利点は，一つの役割が複数の汎化ラベルを持つことを考える場合はもちろ

んのこと, 同一フレーム中の複数の意味役割が一つの汎化ラベルに写像される場合にも, より自然な汎化の方法となっていることである. 例えば， 8.4 節で説明する選択制限を用いた汎化では, 同一フレーム内の複数の役割が同じ選択制限のラベルを持つことがありうるが, 従来の置き換え法を用いてこのラベルが推定されると, 汎化ラベルを元の意味役割に復元できない。一方で，我々の方法は，複数の汎化指標を用いて元の意味役割を直接推定する方式のため, このような問題が起こらない。 また, もう一つの利点は, 異なる種類の汎化ラベルを混合する際に, それぞれのラベルに対する重みが，ムの値を通じて学習により自動的に決定されるという点にある。したがって，このモデルでは，我々が事前にどの汎化指標が効果的かどうかを検討する必要がなく，学習プロセスに適切な重みを選ばせればよい.

我々はスコアとして, 最大エントロピー法を用いて求める条件付き確率 $P(y \mid f, \mathbf{x})$ を利用する.

$
\operatorname{Score}(f, \mathbf{x}, y)=P(y \mid f, \mathbf{x})=\frac{\exp \left(\sum_{i} \lambda_{i} g_{i}(\mathbf{x}, y)\right)}{\sum_{y \in Y_{f}} \exp \left(\sum_{i} \lambda_{i} g_{i}(\mathbf{x}, y)\right)}
$

特徴関数の集合 $G$ には, 利用する汎化ラベルの集合 $C$ に含まれる全てのラベルと $\mathrm{x}$ の要素の可能な組に対応する関数を全て含める。特徴関数の最適な重み $\Lambda$ は最大事後確率 (MAP) 推定によって求める. 我々は Limited-memory BFGS (L-BFGS) 法 (Nocedal 1980)を用いて学習デー 夕の対数尤度を $L_{2}$ 正則化のもとで最大化する。パラメータ推定には, classias$^{2} を$ 用いた.

## 6 FrameNet における複数の汎化手法

本節では，FrameNet における役割の汎化指標について説明する. FrameNetでは，フレーム間の階層関係が定義されているため，この構造をうまく利用した汎化ラべルの設計を目指す. また, 役割の名前（記述子）, 項の意味型, VerbNetの主題役割を指標とした, 異なる性質の汎化ラベルも設計する。 以下では，我々の提案する汎化指標について，それぞれのどのように関数 gen を定義するかを説明する， 7 節では，これらについての比較実験を行い，効果の詳細な分析を行う。なお，階層関係と記述子を利用した汎化では，FrameNetの意味役割ラベルを利用して粒度の細かいラべルを作成するため，その全体像が掴みにづらいかもしれない。その際は,実際の意味役割ラベルと階層関係のデータ3 3 を適時参照して頂きたい.

## 6.1 役割間の階層関係

この指標は, 3.1 で説明したフレーム階層上の七種類の有向関係を利用して, 役割間に共通する性質を取り出す指標である。各フレームの意味役割のうちの幾つかは，フレーム間の親子関
^{3} \mathrm{http} / / /$ framenet.icsi.berkeley.edu/FrameGrapher/ ただし, データは FrameNet の最新版によるものであるため,我々の利用する正確なデータは FrameNet 第 1.3 版を参照のこと。
}

図 6 gen $_{\text {hier }}$ を定義するアルゴリズム

図 7 階層関係を辿る方向

係を通して，他フレームの役割と有向関係で結ばれている。役割間の関係を用いた汎化指標の基本的なアイデアは，下位概念にあたる役割が，その上位概念にあたる役割の性質を引き継いでいる，という仮定である．例えば，Commerce_buyフレームの役割 Buyerは Gettingフレームの役割 Recipientの性質を継承しており，また，Killingフレームの Victim とDeathフレームの Protagonistは「死ぬもの」という個体の性質を持っている.

役割間の関係を用いた汎化関数 $g e n_{h r}$ は図 6 のアルゴリズムで定義する. $\operatorname{gen}_{h r}(y)$ は役割 $y$ から階層関係を辿りながら，各ノード $z$ に対応する汎化ラベル $z @ H R$ を収集する。この際，(A)継承, 利用, 観点, 部分の四つの関係に関しては, 親方向に階層を辿り, (B) 起動, 原因の関係については子方向に辿る。これは, (A) のグループでは, 子孫の意味役割が祖先の性質と同じかこれを詳細化した性質を持っており，(B)のグループでは， 子孫の役割がより中立的な立場や, 結果の状態を表すからである。先行関係は, 状態とイベントの遷移系列を表す関係であり,役割の性質の包含関係を単純には特定できなかったため，親と子のどちらの方向に辿るかは実験結果を踏まえて決定することにする（実験は 7.4 節を参照のこと），アルゴリズムは，図 7 のように，一度進んだ方向から逆戻りする方向のラベルは出力しない。また, 階層を辿る深さの影響を観察するため, 深さ 1 の親子関係でたどれるラベルしか含めない $g e n_{h r \_d e p t h 1}$ と, 子孫,先祖を全て辿る $g e n_{h r_{-} a l l}$ の二つの関数を作成した. 実験ではこれらの性能差も比較する.

## 6.2 役割の記述子

FrameNet の意味役割は各フレーム固有の役割であり，異なるフレーム間に同じ識別 ID の役割は存在しない。しかし, それらには専門家によって付けられた Buyer, Sellerなどの人間

に意味解釈可能な簡潔な名前がついている，我々はこの簡潔な名前を役割の記述子と呼ぶことにする。これらの記述子は，ある程度体系立てて付けられており，異なるフレームの異なる意味役割が共通の記述子を持つ場合も多くある。例えば，記述子 Sellerは Commerce_sell::Seller, Commerce_buy::Seller, Commerce_pay::Sellerなどで共有されている. この記述子の汎化指標としての有効性を評価するために，これを汎化ラベルとして利用する。

この指標による汎化関数 $\operatorname{gen}_{\text {desc }}$ は, 役割 $y$ の記述子をメンバとして返す関数として定義する。例えば，役割 Commerce_buy::Buyerの記述子ラベルをBuyer@Desc とすれば，その值は gen desc $($ Commerce_buy::Buyer $)=\{$ Buyer@Desc $\}$ となる. 記述子は各役割を一つの語彙で説明しているため, この汎化指標は語彙的特徴が類似する役割を効果的に集めるかもしれない. また，この方法で得られた汎化ラベルは役割の同値類関係を表現しており，階層関係によるラべルとは異なる構造を持っている。例えば，図 8 の (a), (b)のような階層関係がある場合, (a)の Commerce_goods-transfer::Seller, Commerce_sell::Seller, Commerce_buy::Sellerは階層関係, 記述子どちらによっても一つのラベルに纒め上げられるが, 一方, (b)の Giving::Donor（物の提供者), Commerce_sell::Seller（販売物の提供者）, Commerce_pay::Buyer（対価の提供者）では，各役割の間に「提供者」という意味の類似があるが，記述子を用いた汎化の場合には，それぞれの役割が異なる汎化ラベルを持つことになる.

## 6.3 意味型

FrameNet では, 多くの役割に意味型と呼ばれる型を割り当て, 選択制限に類似した情報を提供している。これは, 図 9 に列挙したようなカテゴリから成り, 意味役割を埋める句の意味的な傾向を表す。例えば，役割 Self_motion::Areaは意味型が Locationであり，これは，この役割が場所を意味する句で埋められる傾向にあることを表す。この情報は意味役割を句の特性の観点から粗くカテゴリ化しており, 特に役割候補句の語彙の特徴と結びついて役割分類に強く貢献すると期待できる事から，我々は意味型を汎化ラベルとして用い，その有用性を検証する。

図 8 役割の階層関係と記述子による汎化の相違点

Temperature, Human_act, Message, Container, Group, Quantity, Physical_entity, Locative_relation, Content, Location, Degree, Manner, Living_thing, Human, Time, Body_part, Source, State_of_affairs, Path, Event, State, Goal, Sentient, Artifact, Speed, Physical_object, Duration, Organization

図 9 FrameNet で役割に対して利用される意味型のリスト

Actor, Actor1, Actor2, Agent, Asset, Attribute, Beneficiary, Cause, Destination, Experiencer, Extent, Instrument, Location, Material, Oblique, Patient, Patient1, Patient2, Predicate, Product, Proposition, Recipient, Source, Stimulus, Theme, Theme1, Theme2, Time, Topic, Value

図 10 VerbNet の主題役割

汎化関数 $g e n_{s t}$ は役割 $y$ の意味型を要素に持つ集合を返すように定義する. 例えば, 役割 Self_motion::Areaの場合, gen st Self_motion $::$ Area $)=\{$ Location@ST $\}$ となる.

## 6.4 VerbNet の主題役割

VerbNet の主題役割は, 図 10 に挙げるような, 動詞の項に付けられた 30 種類の粗い意味分類である。この 30 種のラベルは, 全ての動詞に対して一貫性のある, フレーム横断的なラベルである。我々は SemLinkを用いて FrameNet の意味役割を VerbNet の主題役割にマッピングし, これを汎化ラベルとして導入する. 3.3 節で説明したとおり, FrameNet の意味役割と VerbNet の主題役割は一般に多対多の対応であるが, 現時点の SemLinkでは FrameNet の各事例に主題役割が個別に付与されておらず，単純な方法で意味役割と主題役割の一対一対応を取ることが出来ない. したがって, ある意味役割から主題役割への写像が複数考えられるときには, 汎化関数 gen $_{t r}$ はこれらの主題役割を全て含む集合を返すことにする。例えば，役割 Getting::Theme の場合, 各事例が対応付けられる動詞クラスに応じて, Theme@TR, Topic@TRの二つの主題役割ラベルが考えられるため, gen tr $($ Getting::Theme $)=\{$ Theme@TR, Topic@TR\} となる.

## 7 FrameNet における実験と考察

## 7.1 実験設定

実験には Semeval-2007 Shared task Baker et al. (2007)の訓練データ部分を用いる.このうちランダムに抜き出した $10 \%$ をテストデータとして用い, 残りの $90 \%$ で訓練, 開発を行う。評価は役割に関する Micro F1平均と Macro F1 平均 (Chang and Zheng 2008)で行う.

役割句 $x$ の特徴には, 既存研究によって有効と報告された素性 (Màrquez et al. 2008)を用いた. これらは, フレーム, フレーム想起単語, 主辞, 内容語, 先頭/末尾単語, 左右の兄弟ノードの主辞, 句の統語範疇, 句の位置, 態, 統語パス (有効 /無向／部分), 支配範疇, 主辞の Supersense, 想起単語と主辞の組, 想起単語と統語範疇の組, 態と句の位置の組である. 単語を用いた素性には，表層形の他に，品詞や語幹を用いたものも使用している，構文解析には Charniak and Johnson (2005)の reranking parserを用い, Supersense 素性には，Ciaramita and Altun (2006)の Super Sense Taggerの出力を用いる. ベースライン分類器では役割の汎化を用

いず，元の意味役割のみを利用した分類を行い, 結果 $89.00 \%$ の Micro F1 值を得た.

## 7.2 意味役割の分類精度

表 1 に，それぞれの汎化指標を用いた場合の役割分類の Micro F1 と Macro F1を示す.この実験設定において Micro F1 は役割全体の分類精度と等価であるが，この値は各指標で 0.5 から 1.7 の向上が見られた。また，最も高い精度は，全ての汎化指標によるラベルを同時に利用したモデルで得られ，ベースラインに対して $19.16 \%$ のエラー削減を実現した。この結果は，異なる種類の指標が互いにそれらを補完しあうことを示すものである。汎化指標ごとの性能をみると，記述子による効果が最も高く, フレームの階層関係を用いた汎化はこれに及ばなかった。また,主題役割による結果は，役割の $37.61 \%$ しか主題役割と関連付けることが出来なかったため, 比較的小さな向上に留まったものの，有意な上昇を示した.

Baldewein et al. (2004)の実験では, FrameNet の階層関係は良い結果を得られなかったが,我々の汎化方法では有意な精度向上を確認した。また，我々は記述子において，従来の置き換えによる方法と，記述子ラベルとフレーム固有の役割ラベルを同時に利用する方法を比較した (表 1 の 2 行目と 3 行目). 結果として, 単に元の役割を同時に利用する場合でも, 汎化ラベルに単純に置き換える従来の方法よりも正確に役割を推定出来ることを確認した．また，Macro F1の値から, 我々の提案する汎化指標が低頻度の役割に対する分類精度を効果的に向上させたことが窺える。表 2 では，役割を事例数ごとに分け，それぞれの分類精度を示した．ここでも，我々の提案する汎化指標が特に事例の少ない役割の分類を助けている事が分かる.

## 7.3 記述子に関する分析

上述の実験では，特に記述子による汎化で顕著な向上が見られたため，この理由を細かく分析することにした，表 3 は，役割の中心性 4 ごとにそのタイプの役割だけから記述子の汎化ラべ

表 1 各汎化指標による分類精度

表 2 低頻度役割に対する汎化の効果


表 3 中心性ごとの記述子の効果

表 4 各中心性における役割及び記述子の数と事例数

表 5 役割間関係のタイプ別の効果と辿る深さによる効果

ルを作成し, 評価セット全体の MicroF1を測ったものである. 結果からは, 記述子が特に周辺的な役割の汎化に有効であることが分かる。表 4 は, それぞれの中心性に割り当てられる役割の数, 及び役割あたりの事例数, 各中心性における記述子の数, 記述子あたりの事例数を表したものである.ここで特徴的なのは, peripheralに分類される 1,924 の役割は 250 という比較的小さな数の記述子に緾まっていることである。これは，フレームに意味の依存が薄い役割に同一の記述子が付けられやすいという傾向を示しており, この傾向によって, 記述子が特に周辺的な役割をフレーム横断的に汎化する良い指標になっていると考えられる.

## 7.4 役割間関係のタイプ別効果

役割間の階層関係を用いた汎化については, 関係の型と階層を辿る深さによる効果の違いを調べた。表 5 はそれぞれの Micro F1を示したものである。 タイプ別にみると, 特に継承と使用

でその他の関係よりも精度の向上が見られた。それら以外のものは, 関係の出現数そのものが少なかったために，差が少なく，効果の違いを考察するに至らなかった。また，深い階層関係を持つ役割については，一代先の汎化ラベルだけを用いるよりも，階層を伝って辿れる全てのラベルを用いて汎化する方が，より効果があることを確認した．先行関係については，最も効果の見られた祖先を辿る方法を採用することにした。また，最も高い性能は，階層上の全ての関係を利用した場合に得られた。

## 7.5 各汎化指標の特徴分析

表 6 は中心性のタイプ別に見た，各汎化指標を用いたモデルの適合率，再現率，Micro F1 である。core に相当する意味役割は，汎化を利用しない場合でも $91.93 \%$ の分類精度が得られており, 全ての汎化指標で比較的高い分類精度となった. peripheral と extra-thematic に関しては,最も簡潔な方法である記述子による方法がその他の指標を上回った.

表 7 には，重みの絶対値が上位 1,000 の特徴関数を，タイプ別に分類した。この表から，汎化指標の特徴は, 記述子と意味型のグループと固有役割と階層関係のグループの二つのグルー

表 6 各汎化指標の中心性別にみる適合率と再現率. c は core, p は peripheral, e は extrathematic を表す.

表 7 上位 1,000 個の特徴関数. 各タイプごとの数を表す。'fc'は固有役割, 'hr'は階層関係, 'de'は記述子, 'st'は意味型, 'tr'は主題役割を表す.

プに分かれることが分かる。 記述子と意味型では, 先頭単語や supersense などの, 付加詞の特徵付けを行う素性との組み合わせが高い重みを持つ。固有役割と階層関係では，統語パスや内容語, 主辞などの, 語彙的或いは構造的な素性と強い結びつきがある. このことは, 記述子や意味型を用いた汎化が周辺的，或いは付加詞に対応する役割に対して有効であり，階層関係を用いた汎化が core の役割に効果的であることを示唆する.

## 8 PropBankにおける汎化手法

本節では, PropBankにおける汎化手法について述べる. 我々は, 従来用いられてきた指標である ARGタグ，主題役割に加えて，新たに三つの汎化指標を提案する。これらは, VerbNetの動詞クラス，選択制限，意味述語にそれぞれ基づく。

ARG タグ, 主題役割は, どちらも 6 種類, 30 種類の少数のラベルセットであり,これらを用いた意味役割の分類は, 非常に粗いものだと言える。しかし実際には, 意味役割は各動詞に応じて多様な振る舞いを見せるため, より細かな粒度での汎化が必要と考えられる。 そこで我々は, より頑健な役割分類を目的として，30 種類の主題役割をより統語的，意味的に詳細化された汎化ラベルへ分割し，これらの細かい粒度の汎化ラベルによる効果を検証することにする。

なお，新たに提案する細粒度の汎化ラベルの全貌については, VerbNet 第 2.3 版の実際のデー 夕5を，適時参照を願いたい。

## 8.1 タスク設定とモデルの拡張

以下で説明する汎化手法では， SemLinkによって得られる各アノテーションの動詞クラスと主題役割を利用しているため，これらについて詳しく説明をしておく。

3.3 節で述べた通り, PropBankでは, SemLinkに基づくVerbNet との事例レベルの正確なマッピングにより, 各アノテーションの適切な主題役割と対象動詞の動詞クラスを得ることが出来る。 そこで, 本研究では, 訓練時, 評価時に, 各アノテーションの意味役割と主題役割のどちらの情報も用いることができるものとする。 また, 役割分類の入力には, 対象動詞に対する正しい動詞クラスも与えるものとする.

VerbNet における動詞クラスは, PropBankで言うところのフレームに相当するものであり，意味役割付与システムの実際の運用時には, これらのフレームや動詞クラスを自動的に判定する必要がある。しかし，4節でも述べた通り, 我々の実験においては, 意味役割の汎化が分類


図 11 フレームと動詞クラスが与えられた場合の分類問題.この設定においては, 意味役割, ARG タグ,主題役割の三つのラベル間で全て一対一対応を取る事が出来るため，これらをそれぞれ独立に用いた分類モデルを考えた場合，各モデルは同じ候補の中から最適な一つを選ぶ，という等価な問題に帰着される。

精度にもたらす効果を正確に検証することを目的としているため，フレームと動詞クラスの両方を入力として正しく与えることにする。また，このような設定にすることによって，式 13 の中の全役割候補 $Y_{f}$ に対して, ARG タグと主題役割の両方を一意に与えることができるため, ARG タグを用いた役割分類と, 主題役割を用いた分類を, 同じ候補の中から最適な一つを選ぶ, という等価な問題として比較することが出来る（図 11）.

以降で提案する汎化指標は，そのどれもが動詞クラスの情報を利用してラベルを生成するものである。したがって, 汎化のための関数 $g e n, g e n_{i}$ についも, 意味役割 $y$ と動詞クラス $v$ の二つを引数に取るように拡張する。これに伴い, 式 13 は $v$ の入る形で拡張され,

$
P(y \mid f, v, \mathbf{x})=\frac{\exp \left(\sum_{i} \lambda_{i} g_{i}(\mathbf{x}, y, v)\right)}{\sum_{y \in Y_{f}} \exp \left(\sum_{i} \lambda_{i} g_{i}(\mathbf{x}, y, v)\right)}
$

となり, 式 12 も次のようになる.

$
g_{2}(\mathbf{x}, y, v)= \begin{cases}1 & (\text { head of } x \text { is "he" } \wedge \text { Agent } @ T R \in \operatorname{gen}(y, v)) \\ 0 & \text { (otherwise) }\end{cases}
$

## $8.2 \mathrm{ARG$ ダ, 主題役割}

ARG タグと主題役割については, 5.1 節の式 2 , 式 3 で示したように, 各意味役割の ARG 夕

によって一意に与えられた正しいラべルである。例えば, 図 11 のような対応が与えられているならば,この事例において, 各関数は以下の値を返す.

$
\begin{aligned}
& \operatorname{gen}_{\text {arg }}(\text { buy.01::0, get-13.5.1) }=\{A R G 0 @ A R G\} \\
& \text { gen }_{t r}(\text { buy.01::0, get-13.5.1 })=\{\text { Agent } @ T R\}
\end{aligned}
$

## 8.3 主題役割＋動詞クラス

VerbNet は, 英語の動詞を統語的，意味的に一貫性を持った 470 の階層的なクラスに分類した言語資源である，動詞クラスには，所属する動詞の統語的振る舞いの一貫性を保証するなどの特徵があるため, このクラスの分類は, 主題役割を適切に詳細化するための情報となりうる。例えば，主題役割 Patientは，一般的に目的語や前置詞句としてしか現れないが，クラス cooking-45.3 の動詞では主語として現れることがある，という細かな情報を，動詞クラスを用いることで各主題役割に付加することが出来る。したがって，我々は新しい汎化関数として，対象事例における動詞クラス $v$ と主題役割 $t$ の組を返すような $g e n_{v c}$ を定義する.

$
\operatorname{gen}_{v c}(y, v)=\{\langle t, v\rangle @ V C\} .
$

特徴関数はこの二つ組によるラベルをチェックする形で定義する.

$
g_{3}(\mathbf{x}, y, v)= \begin{cases}1 & (\text { head of } x \text { is "he" } \wedge\langle\text { Patient, cooking-45.3 } @ V C \in \operatorname{gen}(y, v)) \\ 0 & \text { (otherwise) }\end{cases}
$

## 8.4 選択制限

VerbNet は各動詞クラスの主題役割にそれぞれ選択制限の情報を付与している. FrameNet の意味型の場合と同様に, この情報は意味的な類似性のある役割をグループ化するのに役立つと期待される. VerbNetでは，選択制限は正負を持った 36 種類の意味カテゴリ（図 12）を用いた命題論理で表現される。例えば，クラス give-13.1の主題役割 Agent の選択制限は+animate $\vee$ +organizationのように与えられる. 我々はこれらの命題を役割の汎化ラベルとして利用する. gen $n_{s r}$ は動詞クラス $v$ における主題役割 $t$ の選択制限を返す関数として定義する.

$
\text { gen }_{s r}(\text { give.01::0, give-13.1 })=\{(+ \text { animate } \vee+\text { organization }) @ S R\} \text {. }
$

## 8.5 主題役割 + 意味述語

VerbNetでは，各動詞クラスにいくつかの例文が記述されているが，これらの例文には，意味述語と呼ばれる述語表現の組み合わせを用いて，文の意味が表現されている。例えば，クラス give-13.1-1の例文 "I leased the car to my friend for $\$ 5$ a month."には,

abstract, animal, animate, body_part, comestible, communication, concrete, currency, dest, dest_conf, dest_dir, dir, elongated, force, garment, human, int_control, loc, location, machine, nonrigid, organization, path, plural, pointy, refl, region, scalar, solid, sound, spatial, src, state, substance, time, vehicle

図 12 VerbNet に扔ける選択制限のカテゴリ
render.02::0, rent.02::0, retail.01::0, repay.01::0, pass.05::0, refund.01::0, lease.02::0, give.03::0, lend.01::0, give.02::0, peddle.01::0, sell.01::0, give.01::0, loan.01::0, pay.03::0, pass.10::0, pay.01::0, pass.09::0

図 13 意味述語 has_possession( $\operatorname{end}(E)$, ,Agent,Asset) を持つ Agent にあたる役割

has_possession(start(E), Agent,Theme), has_possession(end(E), Recipient,Theme), has_possession(start(E),Recipient,Asset), has_possession(end(E), Agent, Asset), transfer(during $(E)$, Theme ) の五つの意味述語が含まれる。この種の分解された意味表現は,各フレームが持つ役割の意味的性質を細かい粒度で共有することを可能にする．例えば，イべント終了時に対価を持つ Agentにあたる意味役割は, 図 13 のように，各動詞クラスの例文中から述語表現 $s_{1}=$ has_possession(end $(E)$, Agent, Asset) を探すことでグループ化出来る ${ }^{6}$.

そこで我々はこの意味役割のグループをタプル $\left.\langle\right.$ Agent,$\left.s_{1}\right.\rangle$ で表し, 汎化ラベルとして利用する.ここで，ある事例における役割 $y$ の主題役割を $t$ とすれば, 関数 $g e n_{s p}$ は動詞クラス $v$ の例文から得られる意味述語のうち, 引数に $t$ を含むものを全て返す関数として定義する。例えば, lease01::0の主題役割が Agent, 動詞クラスが give-13.1-1だった場合は，以下のようになる.

gen $_{\mathrm{Sp}}($ lease.01::0, give-13.1-1) $=\{\langle$ Agent,has_possession $(\operatorname{start}(E)$, Agent,Theme $)\rangle @ S P$,

$\langle$ Agent,has_possession(end(E), Agent, Asset $)\rangle @ S P\}$

## 9 PropBankにおける比較実験

PropBank における実験では，二つのことを検証する。一つ目は，従来 PropBank 上での意味役割の汎化で議論されてきた ARG タグと主題役割の効果の違いを明らかにすることである.既存研究における ARG タグと主題役割の比較では, 意味役割付与タスク全体を通した精度比較しか行ってこなかった (Loper et al. 2007; Yi et al. 2007; Zapirain et al. 2008). しかしながら, 意味役割付与は複雑な問題が絡み合うタスクなため, そのような比較では, 最終的な精度に影響する原因がどの部分で生じたかが不明瞭になりがちである。特に構文解析時のエラーは,多くの複雑で不整合な統語構造を生むため, 意味役割付与の精度に大きく影響することが知られている (Màrquez et al. 2008)。幸い, PropBankは PennTreebank と同一のテキストに対するコーパスなため, PennTreebankの人手による正解構文木が利用可能である。そこで, 我々はこの構文木を入力として利用することで, 構文解析エラーの影響を無くしたより厳密な状況を作


り，理想的な状況下での役割分類結果のエラー分析を行うことによって，二つの汎化指標が捉えている役割の性質の違いを正確に分析する。

二つ目では, これらの指標に加え, 我々の提案した新しい三つの指標について, それらの汎化性能を比較する，比較は，役割全体の分類精度に加えて，対象動詞に関する素性を除いた設定での評価と，未知動詞に対する評価の三つで行う。

## 9.1 実験設定

実験には Penn Treebank II コーパスの Wall Streed Journal 部分と，それに対応する PropBank のデータを用いる. Wall Street Journalのうち，02-21 節を訓練に，24 節を開発に，23 節を評価に利用する。この実験では，各アノテーションに対して SemLinkによって与えられる動詞クラスと主題役割の情報を用いているため, Zapirain et al. (2008)の方法に準じて, SemLink 1.1 によって主題役割に写像出来るアノテーションだけを実験セットとして用いる. その数は 70,397 アノテーションであり, PropBank 全体の $62.34 \%$ にあたる。また，すでにフレームに独立なラベルとして定義されている $A M$ タグは取り除き，フレーム固有の意味役割として定義されているARG0-5のみの分類精度によって評価を行う。

役割句 $x$ に対する特徴には, FrameNetの場合と同じく, 既存研究で効果が確認された素性を用いる. 具体的には, フレーム, 対象動詞, 主辞, 内容語, 先頭/末尾語, 左右姉妹句の主辞,句の統語範疇, 句の位置, 態, 統語パス, 句に含まれる固有表現カテゴリ, 統語フレーム, 前置詞句の先頭語, 対象動詞と主辞の組, 態と統語範疇の組, 統語フレームと前置詞句の線統語の組である。単語を用いた素性には, 表層形の他, 品詞や語幹を用いたものも併せて利用する.固有表現抽出には, CoNLL-2008 shared task (Surdeanu et al. 2008)の open-challenge dataset に与えられた，意味タガー (Ciaramita and Altun 2006)の三つの出力結果を用いる.

## 9.2 PropBank ARG0-5 と主題役割の比較

ARG タグと主題役割についての比較では，まず役割全体の分類精度による評価を行った．表 8 はこれらの汎化指標を個別に用いた際の分類精度を示す。記号*** は，汎化ラベルを用いないモデルに比べて McNemar テストにより $p<0.001$ で有意であることを意味する. 役割分類に理想的な入力が与えられた場合, 役割の汎化を行わないモデルでも $96.7 \%$ 以上の精度を実現することが可能であった. ARGタグと主題役割を用いた場合には，どちらのモデルも，汎化を行わない場合に比べて分類精度が向上した。また，その効果は事例の少ない役割に対して特に明確に確認できる。表 8 における列「>200」と列「< 50」は，事例数が 200 を超えるフレームと 50 未満のフレームに対する分類精度を表す.これらから, 役割の汎化を行わなかった場合には,事例数 50 未満のフレームに対する精度が，200を超えるフレームに比べて約 9 ポイントと大きく低下することが分かる。一方で，ARG タグや主題役割は，役割をフレームに独立な少数のラ

ベルに汎化するため，事例の少ない役割をより頑健に分類することが出来る.

Yi et al. (2007) と Zapirain et al. (2008)は, 主題役割を用いた意味役割付与は ARG タグを用いる場合に比べて，性能が若干低下すると報告した。しかし我々の実験では，これら二つの汎化ラベルの結果に有意な差は認められなかった $(p \leq 0.838)$. 図 14 の学習曲線を見ても, ARG タグと主題役割の曲線は近く, Yi et al. (2007) と Zapirain et al. (2008) が指摘したような主題役割に対する訓練データの不足は確認出来なかった。また, Yi et al. (2007), Loper et al. (2007) は，ARG タグのうち特に $A R G 2$ で不整合があるとしたが，我々の実験のように，理想的な入力と, フレームによる選択可能なラベルの制約が与えられた場合, ARGタグと主題役割のどちらにおいてもARGO-5の各夕グをほぼ同精度で分類することが出来た（表 9)。これは表 10 に見られるように, verb+pathなどの動詞に関する組み合わせ特徵によって, 各役割の動詞に対する個別の振る舞いを学習していることと, フレームによる選択可能なラベルの制限によって,主題役割のうち Patient や Themeなどの統語的に類似する性質を持つ役割の混在がある程度制限されるためと思われる。

我々は二つの汎化指標の特徴についてより詳しく分析するために, それぞれのモデルで生じたエラーを人手でチェックし，二つのモデルで分類結果の食い違った事例を分析した。図 15 は, ARG タグモデルと主題役割モデルの, 互いに一方が正解し一方が間違った事例と, 双方が間違った事例について，それらの正解ラベルと推定ラベルの組を分類したものである。表

表 8 フレームの事例数別の分類精度

表 $9 \mathrm{ARG}$ タグと主題役割における分類精度の比較

図 14 訓練デー夕量に対する精度の変化
表 10 重みの絶対値が上位 $0.1 \%$ にあたる特徴の分布

図 15 主題役割で見るエラー分類。表 (A) は ARG タグで正解し，主題役割で間違ったもの，表 (B) は逆，表 (C) は両方で間違えたものを表す. 動詞クラスの列は，対応する種類のエラーが生じたクラスを示す。

(A) は ARG タグモデルで正解し, 主題役割モデルで間違った事例であるが，最初の三行のエラーは，異なる動詞クラスの間で，主題役割の統語位置に不整合が出ることが原因である．例えば，クラス amuse-31.1, appeal-31.4の動詞について, Causeは主語の位置に現れる傾向にあり, Experiencer はその他の場所に現れる傾向があるが，クラス marvel-31.3では逆の傾向がある.また，Destination Themeのケースは，一般的に前置詞句として現れるDestinationが，動詞クラス spray-9.7, fill-9.8, butter-9.9, image_impression-25.1においては目的語の位置に現れやすいことが原因である。一方で，PropBankは各動詞に対して，主語の位置に現れやすい役割に $A R G 0 を ，$ 目的語の位置に現れやすい役割に $A R G 1$ を主に割り当てているために, ARG夕グにはこのような曖昧性さが起こりにくい.

表 (B) には逆に, 主題役割モデルで正解し, ARG タグモデルで間違った事例を示す。最初の行は主題役割の有効性を表す良い例である. ARG タグは主に統語的特徴に基づいたグループであるため, $A R G 1$ が主語の位置に出てきた場合にこれを $A R G O$ と間違いやすい.それとは対照に，主題役割はより意味的属性を考慮したグループに分割されているので，主語の位置に現れる Patientに対して, 統語素性からのペナルテイが小さい。その結果, ARGOを用いる場合よりもこれらの役割が比較的正しく分類された.

また, 表 $(\mathrm{C})$ の, ARG タグと主題役割両方のモデルで間違う事例にもいくつかの傾向が見られる．例えば，能格動詞が自動詞として使われるときや，Themeが目的語として現れにくい動詞クラスなどで多くの間違いが見られる。これらの改善のためには, 動詞或いは動詞クラスに対してより詳細化された統語的意味的情報が必要だと思われる。表 15 からは, 総じて二つの汎化ラベルが意味役割の汎化において異なる利点を持っていることが分かる.

さらに，表 11 に見られるように，これら二つの汎化ラベルを同時に利用したモデルの結果も，二つの汎化ラベルが異なる効果をもたらしたことを示す結果となった．記号*** は ARG 夕グのみを使うモデルに比べて，そのモデルの精度が McNemar テストにおいて $p<0.001$ で有意であることを示す. ARG タグ+主題役割のモデルは ARG モデルに比べて $24.07 \%$ のエラーを削減した。このモデルにさらに元の意味役割ラベルを加えた固有役割+ARG タグ+主題役割モデルについても実験を行ったが，ARG タグ+主題役割モデルに対して性能の有意な向上は得られなかった。これは, 既に対象動詞との組み合わせを用いたいくつかの特徵が ARG タグ十主題

表 11 汎化指標の混合による精度

役割モデルに含まれているためと思われる.

## 9.3 提案する汎化指標との比較実験

次に，既存の汎化手法と我々の提案する汎化手法についての比較を示す.この実験では，汎化性能を比較する三つの設定を用意した。設定 (A) は 9.2 節で利用した 9.1 節の設定である. 設定 (B) は (A) と同じデータセットにおいて, フレームと対象動詞に由来する全ての特徴を取り除いたモデルの精度を測るものである。この設定では，各汎化ラベルが動詞固有の情報を使わずに，汎化ラベルのみでどれほどの精度を実現するかを評価する．設定 $(\mathrm{C})$ では，コーパス中の低頻度動詞に関する事例を取り除くことにより人工的に未知動詞を作り，それらの動詞に対する意味役割の分類精度を評価する。この設定は，実際に未学習の動詞が表れたときに，それぞれの汎化指標が頑健にラベルの推定を行えるかを調べるものである。ここでは出現回数が 20 回以下の，1,190 の動詞に関する事例をコーパス中から抜き出し，この抜き出した事例を評価セットとして利用する。図 16 は抜き出した動詞の抜粋である。この操作により実際に抜き出された役割の事例数は 8,809 となった.

表 12 に実験結果を示す。設定 (A)において最も高い性能を示したのは ARGタグ+主題役割モデルであり，より細かい粒度の汎化ラベルを加えたモデルは，ARG夕グ+主題役割モデルに及ばなかった．また，(B)，（）の結果からは， ARG タグ+主題役割モデルが，ARGタグや主題役割を単独で使うモデルに比べて，大きく向上させていることが分かる．特に，未知動詞に対する性能を評価している設定 (C) では, ARG タグや主題役割を個別に用いる方法では, 十分な汎化の効果が得られないことが分かる.

position, perceive, order, matter, inch, hand, feed, detect, crack, consult, appreciate, allocate, worsen, trail, store, shape, ride, relax, package, ...

図 16 隠した動詞の抜粋

表 12 三つの設定における各指標の精度比較

我々の提案する細粒度の汎化指標は, ARG タグや主題役割と組み合わせて利用することによって，(B), (C) の分類精度を向上させることを確認した．特に，意味述語と動詞クラスを用いた汎化が効果的に性能を向上させた。また，未知動詞に関する実験である $(\mathrm{C})$ において最も高い性能を示したのは，ARG タグ＋主題役割十意味述語モデルであり，ARGタグのみを用いた場合に比べて $26.39 \%$ のエラー削減を実現した。これは言い換えれば，各動詞について十分な学習が出来る場合には, 細粒度の汎化によって全体の精度を落とすことがあり, 一方で, 動詞個別の学習が不十分な場合には，異なる観点を織り交ぜた細粒度の汎化が分類精度の向上をもたらすということを意味する。

この結果で興味染いのは, 従来, 意味役割付与においてあまり用いられてこなかった動詞クラスの情報が，意味役割を細かいレベルで適切に汎化し，意味役割分類の頑健性を向上させるということである。この結果は, 意味役割付与問題において, 役割分類の事前処理, 或いは結合モデルとして，対象動詞の動詞クラスを求めることの有用性を表している，今後は，対象動詞に対するフレーム及び動詞クラスを特定する処理を含めた精度の評価が必要であろう。

## 10 まとめ

本稿では, FrameNet, PropBankの二つのコーパスにおいて, 役割を適切に汎化するための複数の指標と方法を提案し，また，異なる種類の汎化ラベルを同時に扱うための分類モデルを導入した，汎化ラベルを意味役割の特徴として扱い，異なる観点，異なる粒度の集合を複合して利用することが，従来のラベルを置き換える方法よりも分類精度を向上させることを確認した. また, 既存の汎化ラベル及び我々の新たな汎化ラベルについて, 比較実験を通して詳細な分析を与え，それぞれの性質を明らかにした。

FrameNetでは, 役割の階層関係, 役割の記述子, 句の意味型, VerbNet の主題役割の四種類の異なる指標を用いて, 汎化ラベルを作成した. これらはそれぞれに分類の性能を向上させ, 役割分類役割分類の疎デー夕問題を効果的に解消することを示した．最も優れた性能を見せたのは役割の記述子による方法であり, 予想に反してFrameNet の階層関係はこれを超えることが出来なかった。したがって, 今後, フレーム階層関係のさらなる有用な活用のため, 階層関係の不足点, 改善点等を解析していく必要があると思われる. また, 各指標の性質として, 記述子や意味型を用いた汎化ラベルは周辺的, 或いは付加詞的役割を捉える特徴と結びつきが強く,階層関係を用いた汎化は中心的役割を捉える特徴と結びつきが強いことを示した. 全ての汎化ラベルを混合したモデルでは, 全体の精度で $19.16 \%$ のエラー削減, F1 Macro 平均で 7.42 の向上を示した，我々の実験では，より多くのフレーム間関係を利用するために，FrameNet の最新版のデータを利用した。その結果, 既存のシステムと直接的な精度比較をすることが出来なかったが, 我々のベースラインにおける F1 Micro 平均 $89.00 \%$ は, SemEval-2007 (Baker et al.

2007) での Bejan and Hathaway (2007)の $88.93 \%$ という值と概ね競合すると言えるため，意味役割の汎化により，意味役割付与システム全体の精度向上が期待出来ると言えるだうう7.

PropBankでは，既存の汎化手法である PropBank の ARG タグと主題役割の二つの汎化ラべルを木構造や項の位置等を与えた厳密な設定で比較し, その結果, ARG夕グは役割の統語位置の性質をより強く捉え，主題役割は意味的側面から比較的位置に対する柔軟性を持つという性質の違いを明らかにした。また, 役割分類における主なエラーの理由は, 動詞ごとの特徴による統語パターンの曖昧性に由来することを明らかにした。ここでも，二つの汎化ラべルの組み合わせが役割分類の精度を向上させる結果となり, ARG タグのみを使う場合に比べて, $24.07 \%$ のエラー削減を実現した。また, 我々は, 事例の少ない或いは未知の役割に対して頑健な役割分類を行うための新たな提案として，VerbNetの動詞クラス情報を用いてより詳細化された三つの汎化指標を導入した，新たな汎化指標は動詞クラス，選択制限，意味述語であったが，実験結果は, これらの詳細化された細粒度のラベルの導入が低頻度及び未知の動詞に対する精度を向上させることを示した. 最も高い効果が得られたのは意味述語を ARG タグと主題役割と共に用いた場合であり, ARGタグのみを用いた場合に比べて $26.39 \%$ のエラー削減を達成した。

総じて, 我々が得た結果は, 意味役割の統語的, 意味的特徴を異なるいくつかの観点から捉えて, それらを役割の特徴として混合する方法が, 意味役割分類の精度を向上させるというものであった。これは言い換え得れば，意味役割を異なる言語学的背景から説明した FrameNet と PropBankの情報を相互に利用すれば，さらなる精度と頑健性の向上が期待できる事を示唆している. 現段階では, FrameNet, PropBank, VerbNetといった, 異なる意味論に基づく資源の間のフレーム, 及び意味役割の対応関係が明確ではなく, そのため, 資源間の意味役割を正確に対応付けることが出来ない. そのため, 今回の実験では, FrameNet, PropBankでそれぞれのコーパスに特有の情報を利用して意味役割の汎化を行っており，これら二つのコーパスの異なる意味論を混合した場合の評価には至っていないが，今後，SemLinkなどの，異なる資源の意味役割を適切に繋ぐデータが充実してくれば，FrameNetの意味役割をPropBank の知識を用いて推定する方法や, 逆に PropBankの意味役割について, FrameNet で用いたような概念の階層的な汎化を同時に利用する方法も, 我々の分類モデルの延長上で原理的に実現可能である.ここの意味でも, 資源間の意味役割の対応関係を記述するデータは, 意味役割付与において重要な位置を占めると考えられる。また加えて, 今後の研究として, 低頻度や未学習の意味役割に対してより高い頑健性を確保するためには, FrameNet や PropBankの意味論が与える汎化の指標以外にも，我々が意味役割と呼ぶ意味付きの項構造がどのような属性の束で表現されるのかを探求していくことが，意味役割付与技術の向上のために重要である.


## 謝 辞

本研究の一部は, 文部科学省科学研究費補助金特別推進研究「高度言語理解のための意味 $\cdot$知識処理の基盤技術に関する研究」の助成を受けています。記して謝意を表します.

## 参考文献

Baker, C., Ellsworth, M., and Erk, K. (2007). "SemEval-2007 Task 19: Frame Semantic Structure Extraction." In Proceedings of SemEval-2007, pp. 99-104.

Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). "The Berkeley FrameNet project." In Proceedings of Coling-ACL 1998, pp. 86-90.

Baldewein, U., Erk, K., Padó, S., and Prescher, D. (2004). "Semantic role labeling with similarity based generalization using EM-based clustering." In Proceedings of Senseval-3, pp. 64-68.

Bejan, C. A. and Hathaway, C. (2007). "UTD-SRL: A Pipeline Architecture for Extracting Frame Semantic Structures." In Proceedings of SemEval-2007, pp. 460-463. Association for Computational Linguistics.

Chang, X. and Zheng, Q. (2008). "Knowledge Element Extraction for Knowledge-Based Learning Resources Organization." Lecture Notes in Computer Science, 4823, pp. 102-113.

Charniak, E. and Johnson, M. (2005). "Coarse-to-fine n-best parsing and MaxEnt discriminative reranking." In Proceedings of ACL 2005, pp. 173-180.

Ciaramita, M. and Altun, Y. (2006). "Broad-coverage sense disambiguation and information extraction with a supersense sequence tagger." In Proceedings of EMNLP-2006, pp. 594-602.

Fillmore, C. J. (1976). "Frame semantics and the nature of language." Annals of the New York Academy of Sciences: Conference on the Origin and Development of Language and Speech, 280, pp. 20-32.

Gildea, D. and Jurafsky, D. (2002). "Automatic labeling of semantic roles." Computational Linguistics, 28 (3), pp. 245-288.

Giuglea, A.-M. and Moschitti, A. (2006). "Semantic role labeling via FrameNet, VerbNet and PropBank." In Proceedings of the Coling-ACL 2006, pp. 929-936.

Gordon, A. and Swanson, R. (2007). "Generalizing semantic role annotations across syntactically similar verbs." In Proceedings of ACL-2007, pp. 192-199.

Kipper, K., Dang, H. T., and Palmer, M. (2000). "Class-based construction of a verb lexicon." In Proceedings of AAAI-2000, pp. 691-696.

Levin, B. (1993). English verb classes and alternations: A preliminary investigation. The Uni-
versity of Chicago Press.

Loper, E., Yi, S., and Palmer, M. (2007). "Combining lexical resources: Mapping between propbank and verbnet." In Proceedings of the 7th International Workshop on Computational Semantics, pp. 118-128.

Màrquez, L., Carreras, X., Litkowski, K. C., and Stevenson, S. (2008). "Semantic role labeling: an introduction to the special issue." Computational linguistics, 34 (2), pp. 145-159.

Moschitti, A., Giuglea, A.-M., Coppola, B., and Basili, R. (2005). "Hierarchical Semantic Role Labeling." In Proceedings of CoNLL-2005, pp. 201-204.

Moschitti, A., Quarteroni, S., Basili, R., and Manandhar, S. (2007). "Exploiting Syntactic and Shallow Semantic Kernels for Question Answer Classification." In Proceedings of ACL-07, pp. $776-783$.

Narayanan, S. and Harabagiu, S. (2004). "Question Answering Based on Semantic Structures." In Proceedings of Coling-2004, pp. 693-701.

Nocedal, J. (1980). "Updating quasi-Newton matrices with limited storage." Mathematics of Computation, 35 (151), pp. 773-782.

Palmer, M., Gildea, D., and Kingsbury, P. (2005). "The Proposition Bank: An Annotated Corpus of Semantic Roles." Computational Linguistics, 31 (1), pp. 71-106.

Shen, D. and Lapata, M. (2007). "Using Semantic Roles to Improve Question Answering." In Proceedings of EMNLP-CoNLL 2007, pp. 12-21.

Shi, L. and Mihalcea, R. (2005). "Putting Pieces Together: Combining FrameNet, VerbNet and WordNet for Robust Semantic Parsing." In Proceedings of CICLing-2005, pp. 100-111.

Surdeanu, M., Johansson, R., Meyers, A., Màrquez, L., and Nivre, J. (2008). "The CoNLL-2008 Shared Task on Joint Parsing of Syntactic and Semantic Dependencies." In Proceedings of CoNLL-2008, pp. 159-177.

Surdeanu, M., Harabagiu, S., Williams, J., and Aarseth, P. (2003). "Using Predicate-Argument Structures for Information Extraction." In Proceedings of ACL-2003, pp. 8-15.

Yi, S., Loper, E., and Palmer, M. (2007). "Can Semantic Roles Generalize Across Genres?" In Proceedings of HLT-NAACL 2007, pp. 548-555.

Zapirain, B., Agirre, E., and Màrquez, L. (2008). "Robustness and Generalization of Role Sets: PropBank vs. VerbNet." In Proceedings of ACL-08: HLT, pp. 550-558.

## 略歴

松林優一郎 (学生会員) : 2010 年東京大学大学院情報理工学系研究科・コンピュー 夕科学専攻博士課程修了. 情報理工学博士. 同年より, 国立情報学研究所$\cdot$
特任研究員. 意味解析の研究に従事. ACL 会員.

岡崎直観（正会員）：2007 年東京大学大学院情報理工学系研究科・電子情報学専攻博士課程修了. 情報理工学博士. 同年より, 東京大学大学院情報理工学系研究科・特別研究員. テキストマイニングの研究に従事. 情報処理学会, ACL 各会員.

辻井潤一（正会員）：1971 年京都大学工学部, 1973 年同修士課程修了. 同大学助手・助教授を経て, 1988 年英国 UMIST 教授, 1995 年より東京大学教授. マンチェスタ大学教授を兼任. TM, 機械翻訳などの研究に従事. 工博. ACL 元会長（2006 年）.

