# 自動意味役割付与における意味役割の汎化

FrameNet, PropBankといった意味タグ付きコーパスの出現とともに, 機械学習の 枠組みを利用した自動意味役割付与システムが数多く研究されてきた. しかし, こ れらのコーパスは個々のフレームに固有の意味役割を定義するため、コーパス中に 低頻度, 或いは未出現の意味役割が数多く存在し, 効率的な学習を妨げている。本論文は, 意味役割付与における意味役割の汎化問題を取り上げ，既存の汎化指標と 新たに提案する指標を役割の分類精度を通して比較し，それぞれの特徴を探求する. また, 複数の汎化指標を同時に利用する分類モデルが自動意味役割付与の精度を向上させることを示す。実験では, FrameNet において全体の精度で $19.16 \%$ のエラー 削減, F1 マクロ平均で $7.42 \%$ の向上を, PropBankにおいて全体の精度で $24.07 \%$ の エラー削減, 未知動詞に対するテストで $26.39 \%$ のエラー削減を達成した.

キーワード：意味役割, フレーム, フレームネット, PropBank, VerbNet, SemLink
## Generalization of Semantic Roles in Automatic Semantic Role Labeling

A number of studies have applied machine-learning approaches to semantic role labeling with availability of corpora such as FrameNet and PropBank. These corpora define frame-specific semantic roles for each frame. It is crucial for the machinelearning approach because the corpus contain a number of infrequent roles which hinder an efficient learning. This paper focus on a generalization problem of semantic roles in a semantic role labeling task. We compare existing generalization criteria and our novel criteria, and clarify characteristics of each criterion. We also show that using multiple generalization criteria in a model improves the performance of a semantic role classification. In experiments on FrameNet, we achieved $19.16 \%$ error reduction in terms of total accuracy and $7.42 \%$ in macro F1 avarage. On PropBank, we reduced $24.07 \%$ of errors in total accuracy, and $26.39 \%$ of errors in the evaluation for unseen verbs.

Key Words: semantic role labeling, FrameNet, PropBank, VerbNet, SemLink, frame

## 1 はじめに

近年, FrameNet (Baker et al. 1998) や PropBank (Palmer et al. 2005) などの意味役割付与コー パスの登場と共に, 意味役割付与に関する統計的なアプローチが数多く研究されてきた (Màrquez et al. 2008). 意味役割付与問題は, 述語一項構造解析の一種であり, 文中の述語と, それらの 項となる句を特定し, それぞれの項のための適切な意味タグ（意味役割）を付与する問題であ る。述語と項の間の意味的関係を解析する技術は, 質問応答, 機械翻訳, 情報抽出などの様々 な自然言語処理の応用分野で重要な課題となっており, 近年の意味役割付与システムの発展は 多くの研究者から注目を受けている (Narayanan and Harabagiu 2004; Shen and Lapata 2007; Moschitti et al. 2007; Surdeanu et al. 2003).

これらのコーパスは, 文中の単語（主に動詞）がフレームと呼ばれる特定の項構造を持つと いう考えに基づく，図 1 に，例として, FrameNet と PropBankにおける sell と buyの二つの動詞に関するフレーム定義を示す. 各フレームはそれぞれのコーパスで特定の名前を持ち，その 項としていくつかの意味役割を持つ。また, 意味役割は, それぞれのフレームに固有の役割と して定義される。例えば, PropBankの sell. 01 フレームの役割 sell.01::0と, buy. 01 フレームの 役割 buy.01::0 は別の意味役割であり，また一見同じ記述 (Seller)のついた sell.01::0 と buy.01::2 もまた, 別の役割ということになる。これは FrameNetについても同様である. 意味役割がフ レームごとに独立に定義されている理由は, 各フレームの意味役割が厳密には異なる意味を帯 びているからである. しかし, この定義は自動意味役割付与の方法論にとってやや問題である.一般的に, 意味役割付与システムは教師付き学習の枠組みで設計されるが, 意味役割をフレーム ごとに細分化して用意することは，コーパス中に事例の少ない役割が大量に存在する状況を招 き，学習時の疎デー夕問題を引き起こす。実際に，PropBankには 4,659 個のフレーム, 11,500 個以上の意味役割が存在し，フレームあたりの事例数は平均 12 個となっている. FrameNetで は, 795 個のフレーム, 7,124 個の異なった意味役割が存在し, 役割の約半数が 10 個以下の事例しか持たない。この問題を解決するには, 類似する意味役割を何らかの指標で汎化し, 共通点のある役割の事例を共有する手法が必要となる.

図 1 PropBank と FrameNet における動詞 sell, buyに対するフレーム定義の比較
従来研究においても，フレーム間で意味役割を汎化するためのいくつかの指標が試されてき た. 例えば，PropBank上の意味役割付与に関する多くの研究では，意味役割に付加されている

る意味役割は統語的，意味的に一貫性がなく，これらの夕グは汎化指標として適さない，という 指摘もある (Yi et al. 2007)。そこで近年では, 主題役割, 統語構造の類似性などの異なる指標 を利用した意味役割の汎化が研究されている (Gordon and Swanson 2007; Zapirain et al. 2008).

FrameNet では，意味役割はフレーム固有のものであるが，同時にこれらの意味役割の間には 型付きの階層関係が定義されている，図 2 にその抜粋を示す。ここでは例えば，Givingフレー ムと Commerce_sell フレームは継承関係にあり，またこれらのフレームに含まれる役割には，ど の役割がどの役割の継承を受けているかを示す対応関係が定義されている。この階層関係は意味役割の汎化に利用できると期待できるが，これまでの研究では肯定的な結果が得られていな い (Baldewein et al. 2004). したがって, FrameNetにおける役割の汎化も重要な課題として持ち 上がっている (Gildea and Jurafsky 2002; Shi and Mihalcea 2005; Giuglea and Moschitti 2006).

意味役割の汎化を考える際の重要な点は，我々が意味役割と呼んでいるものが，種類の異な るいくつかの性質を持ち合わせているということである。例えば，図 1 における FrameNet の 役割 Commerce_sell::Sellerと，Commerce_buy::Sellerを考えてみたとき，これらは「販売者」と いう同一語彙で説明出来るという点では同じ意味的性質を持ち合わせているが，一方で，動作主性という観点でみると，Commerce_sell::Sellerは動作主であるが，Commerce_buy::Seller は動作主性を持っていない。このように，意味役割はその特徴を単に一つの観点から䌂めあげられ るものではなく，いくつかの指標によって異なる説明がされるものである。しかし，これまで に提案されてきた汎化手法では，一つの識別モデルの中で異なる指標を同時に用いてこなかっ た.また，もう一つの重要なことは，これまでに利用されてきたそれぞれの汎化指標が，意味役割のどのような性質を捉え, その結果として, どの程度正確な役割付与に結びついているか を明らかにすべきだということである。

図 2 FrameNet のフレーム階層の抜粋

そこで本研究では, FrameNet, PropBankの二つの意味役割付与コーパスについて, 異なる 言語学的観点に基づく新たな汎化指標を提案し, それらの汎化指標を一つのモデルの中に統合出来る分類モデルを提案する。 また, 既存の汎化指標及び新たな汎化指標に対して実験に基づ いた細かな分析を与え，各汎化指標の特徴的効果を明らかにする。

FrameNetにおける実験では, FrameNetが持つフレームの階層関係, 役割の記述子, 句の意味型, さらにVerbNetの主題役割を利用した汎化手法を提案し，これらの指標が意味役割分類 の精度向上に貢献することを示す. PropBankにおける実験では, 従来より汎化手法として議論の中心にあった ARG タグと主題役割の効果の違いを，エラー分析に基づいて正確に分析す る.また, より頑健な意味役割の汎化のために, VerbNetの動詞クラス, 選択制限, 意味述語 を利用した三つの新しい汎化手法を提案し，その効果について検証する。

実験では, 我々の提案する全ての汎化指標について, それぞれが低頻度或いは未知フレーム に対する頑健性を向上させることを確認した。また, 複数の汎化指標の混合モデルが意味役割分類の精度向上に貢献することを確認した. 全指標の混合モデルは, FrameNet において全体の 精度で $19.16 \%$ のエラー削減, F1 Macro 平均で $7.42 \%$ の向上を達成し, PropBankにおいて全体 の精度で $24.07 \%$ のエラー削減, 未知動詞に対するテストで $26.39 \%$ のエラー削減を達成した.

## 2 関連研究

意味役割を汎化することで意味役割付与の疎デー夕問題を解消する方法は，これまでにいく つか提案されてきた. Moschitti et al. (2005)は各役割を主役割, 付加詞, 継続項, 共参照項の 四つの荒いクラスに分類した後, それらのクラスに対してそれぞれ専用の分類器で PropBank の ARG タグを分類した. Baldewein et al. (2004)は, 意味役割分類器を学習する際, ある役割 の訓練に，類似する他の役割の訓練例を再利用した，類似度の尺度としては，FrameNetにお ける階層関係, 周辺的役割, EM アルゴリズムに基づいたクラスタが利用された. Gordon and Swanson (2007) は PropBankの意味役割に対して, 各フレームの統語的類似度に基づいて役割 の汎化を行う手法を提案した。

また，異なるフレーム間の意味役割を繋ぐ懸け橋として，フレームに依存しないラベルセッ トである主題役割も用いられてきた. Gildea and Jurafsky (2002)は FrameNet の意味役割を彼 らが選定した 18 種類の主題役割に人手で置き換えることで, 役割の分類精度が向上することを 示した. Shi and Mihalcea (2005), Giuglea and Moschitti (2006)は異なる意味コーパスによって 定義された役割の共通の写像先として, VerbNet の主題役割を採用した.

意味役割の汎化指標に対する比較研究としては, PropBank 上で ARGタグと主題役割の比較 を行った, Yi et al. (2007), Loper et al. (2007), Zapirain et al. (2008)の研究が挙げられる. Yi et al. (2007), Loper et al. (2007) は, 主題役割をPropBankの ARG タグの代替とすることで,
$A R G 2$ の分類精度を向上出来た一方で， ARG1の精度は低下すると報告した.また, Yi et al. (2007)は同時に，ARG2-5は多種にわたる主題役割に写像されることを示した. Zapirain et al. (2008) は最新の意味役割付与システムを用いて, PropBankの ARG タグとVerbNet の主題役割 の二つのラベルセットを評価し，全体として, PropBankの ARG タグのほうがより頑健な汎化 を達成すると結論付けた. しかしながら, これら三つの研究は, 意味役割付与全体の精度比較 しか行っていないため, 各汎化指標により得られる効果の正確な理解のためには, 詳細な検証 による理由付けが必要である.

FrameNet, PropBankにおけるこれらの汎化ラベルは，汎化ラベル自身を直接推定するモデ ルとして設計されたため，コーパス中の意味役割を汎化ラベルで直接置き換える方法か，それ に準じる方法で用いられてきた。しかし, この方法では, 異なる汎化指標を一つの分類モデル の中で同時に用いることが出来ない. 役割の特徴を複数の観点から共有しようとする我々の目的のためには，これらの指標を自然に混合できる分類モデルの設計が必要となる.

## 3 フレーム辞書と意味役割付与コーパス

本節では, 我々の実験で利用する意味タグ付き言語資源について，その特徴を簡単に説明す る. 我々は FrameNet, PropBankの二つの意味役割付与コーパスの枠組みの基で，それぞれ自動意味役割付与の実験を行う。これらのコーパスは, 図 3 のように，フレームとその意味役割 を定義したフレーム辞書と, これらが付与された実テキストからなる.

また, 役割汎化のためのコーパス外の知識としてVerbNet を用いる. FrameNet, PropBank の意味役割と VerbNetの主題役割の対応付けには，SemLinkを利用する．

## 3.1 FrameNet

FrameNet は，フレーム意味論 (Fillmore 1976)を基に作られた意味役割付きコーパスである. FrameNet におけるフレームは意味フレームと呼ばれ，特定のイベントや概念を表す。各フレー ムには，それを想起させる単語が複数割り当てられている。意味役割はフレーム要素と呼ばれ,各フレームに固有の役割として定義されている。また, それに加えて, 各役割がそのフレーム

実テキストアノテーション部分

フレーム辞書

図 3 意味役割付与コーパスの概要図

の中でどの程度重要な位置を占めるかを表す指標として, それぞれの役割に中心性と呼ばれる 型を割り振っている。これらは, core, core-unexpressed, peripheral, extra-thematic $の$四つからなり, core と core-unexpressed はそのフレームの中心的な役割を, peripheral は周辺的 な役割を, extra-thematic はフレーム外の概念から拡張された役割をそれぞれ表す. FrameNet の特筆すべき特徴として, フレーム間の階層関係がある（図 2).これは, 継承, 使用, 起動,原因, 観点, 部分, 先行の七種類の有向関係によって定義されており, また, 関係が定義され たフレームの意味役割間にもそれぞれ親子関係が定義される。一つのアノテーションは, 文中 の一つの想起単語とそれが想起するフレーム, 及び適切な句への意味役割タグの割り当てで構成される。実テキストに対するアノテーションは，British National Corpus より抜き出された 約 140,000 文にそれぞれ一アノテーションずつが付けられたものと，追加コーパスに対する全文アノテーションからなり, 全体で約 150,000 のアノテーションが含まれる. 我々の実験では,現時点の最新版である第 1.3 版を用いた.

## 3.2 PropBank

PropBankは, Penn Treebank II の Wall Street Journal 部分の全てのテキストに対して, 動詞 の述語一意味役割構造を与えるコーパスである. フレームは, 図 1 の sell.01, buy. 01 などのよう に動詞ごとに個別に用意され, その動詞の項構造の数に応じて一動詞あたり平均 1.4 個のフレー ムが作られている. テキスト部には112,917アノテーションを含む. PropBankでは, FrameNet にあるようなフレーム間の関係は定義されておらず, 各フレームは定義上独立な関係である。一方, 意味役割の定義は二種類に分かれる。一つは 0 から 5 の数字がふられた役割 $(A R G 0-5)$ で, もう一つは AM タグという, 全フレームに共通な付加詞的意味役割である．ARG0-5について は, 図1の sell.01::0 (Seller) と buy.01::0 (Buyer)のように, 同じ数字を持つものでも各フレー ムで役割の意味が大きく異なる。しかし, ARG0と ARG1については, ARG0が Proto-Agent, ARG1が Proto-Patientに大まかに対応するように付けられており, それ以外の数字は動詞に応 じて多様な意味を取ることが知られている (Palmer et al. 2005; Yi et al. 2007). AM タグには,所格を表す $A M-L O C ，$ 時格を表す $A M-T M P$ など 14 種類がある.

## 3.3 VerbNet, SemLink

VerbNet (Kipper et al. 2000)は, 動詞間の統語的, 意味的特徴の一般化を目的として作られ た, 動詞の階層的なグループ及びそれらのグループに関する特徴の体系的記述である. このグ ループは Levin (1993) の提案に拡張を加えた 470 のクラスからなり, 各動詞がどの動詞クラス に分類されるかは，そのクラスの動詞が持つべきいくつかの特徴を所有するか否かで決定され る. 同じ動詞クラスの動詞は，その所有する項が共通であり，これらは明確に定義された 30 種類の主題役割から選ばれる. 我々はVerbNet 第 2.3 版の情報を利用して, 意味役割の汎化を試

みる。

VerbNet を利用する利点は大きく二つある。一つは，全動詞に対して共通に定められた 30 種類の主題役割が，PropBank や FrameNet の意味役割を適切に汎化する指標となりうることであ る。もう一つは，動詞グループが捉える細かなレベルの統語的／意味的共通性を利用出来る点 である。我々はこれらの情報を用いた汎化手法を 6.4 節, 8 節で提案する.

FrameNet, PropBank, VerbNet の三つはそれぞれ異なるアプローチで開発されているため, VerbNet を役割汎化の指標として利用するためには，これらの意味役割を相互に変換する必要 がある。我々はこの目的のために, Loper et al. (2007) などによって作られた SemLink ${ }^{1}$ 利用 する. SemLink は異なる方法論で作られた意味タグ同士を対応付ける目的で作られており，そ の内容は図 4 のように (A) フレーム辞書の対応と (B) 事例レベルの対応の二つの資源からなる. (A)では, FrameNet, PropBankのフレームが適切な VerbNetの動詞クラスと対応付けられ，ま た, それぞれの意味役割はその動詞クラス内の主題役割と結び付けられる. しかし, FrameNet, PropBank, VerbNetの間では, フレームの切り分け方が異なるため, いくつかのフレームでは,動詞クラスとの対応が多対多となる。そこでSemLinkでは，(B)のような事例レベルでの項構造のマッピングも同時に与えている。これによって資源間の方法論の差による曖昧性を解消し,各事例のフレームと意味役割を正確な動詞クラスと主題役割に写像することを可能にしている.

現段階（第 1.1 版）の SemLink では，この事例レベルの写像は PropBankにのみ与えられ， FrameNetの方は, 辞書レベルのマッピングのみである. FrameNetでは, この辞書マップを通 じて 1,726 の意味役割が VerbNet の主題役割に写像される。これは，コーパス中に事例として 一回以上出現する役割の $37.61 \%$ にあたる。また, PropBankでは, 実テキスト中の $62.34 \%$ の項構造が VerbNet の動詞クラスと主題役割を用いたアノテーションに写像される.

図 4 SemLink の概要図
^{1}$ http://verbs.colorado.edu/semlink/
}

図 5 役割分類における入出力の例

## 4 意味役割分類問題

意味役割付与は複数の問題が絡み合った複雑なタスクであるため, これをフレーム想起単語特定（フレームを想起する単語の特定），フレーム曖昧性解消（想起単語が取り得るフレームの うち正しいものの選択), 役割句特定（意味役割を持つ句の特定）, 役割分類（役割句に正しい 役割を割り当てる)，といった四つの部分問題に分けて解かれることが多い. 今回我々は，これ らの部分問題のうち, 役割の疎デー夕問題が直接関係する役割分類のみを取り扱う。これには, この部分問題における入力を正確に与え，他の処理によるエラーを極力排除することにより，意味役割の汎化による効果を厳密かつ詳細に分析する狙いがある.

本研究では, 既存研究の枠組みに従い, 役割分類を以下のように定義する. 入力としては,文, フレーム想起単語, フレーム, 役割の候補, 役割句を与える. 出力は, それぞれの役割句に 対する正しい役割の割り当てである。図 5 に FrameNet 上の役割分類における具体的な入出力 の例を示す.ここでは, 動詞 sellから Commerce_sell フレームが想起され, 文中に三か所の役割句が特定されている. 役割の候補はフレームによって与えられる \{Seller, Buyer, Goods, Reason, ..., Place\} であり, 各役割句の意味役割は, これらの役割候補の中から一つずつ選ばれる.

## 5 意味役割の汎化と役割分類モデル

## 5.1 意味役割汎化の定式化

意味役割の汎化は, ある（言語学的）観点に基づいて, 複数の意味役割の間に共通する性質 を捉え，同じ性質を持つ役割を同一視する行為と言うことが出来る。従来の意味役割の汎化は, コーパス中の意味役割ラベルを一対一対応のとれる汎化ラベルに置き換えることで実現されて きた. しかし, この方法では, 一つの意味役割に対して一つの汎化ラベルしか与えることが出来ない. 一方で我々の立場は, 意味役割の汎化は複数の観点から多面的に行われるべきという ものである。したがって，我々は，意味役割の汎化を複数の汎化ラベルの集合で表現し，元の 意味役割はこの汎化ラベルの集合を持つという形にする.
具体的な例として, PropBankの意味役割が, $A R G 0-5$ ラベルと主題役割の二つの汎化ラベル で同時に汎化されることを考えてみよう，今，フレーム固有の意味役割として sell. 01 フレーム の役割 sell.01::0 (seller)を考えると, これは, ARG タグと主題役割を用いてそれぞれ $A R G 0$, Agent に汎化される，以降，異なる指標で作られたラベル同士を区別するため, 各汎化ラベル を「ラベル名@指標名」で表すことにする．sell.01::0 はこれら二つのラベルを集合として持つ と考え，これを関数 gen を用いて，

$
\operatorname{gen}(\text { sell.01::0) }=\{A R G 0 @ A R G, \text { Agent@TR }\}
$

と表すことにする。実際には, これら二つの汎化ラベルは異なる汎化指標から導き出されてい るものであるので，説明の簡単のため, 汎化指標ごとに関数を分解して表す.

$
\begin{aligned}
\operatorname{gen}_{\text {arg }}(\text { sell.01::0) } & =\{A R G 0 @ A R G\} \\
\operatorname{gen}_{t r}(\text { sell.01::0)} & =\{\text { Agent } @ T R\} \\
\operatorname{gen}(y) & =\operatorname{gen}_{a r g}(y) \cup \operatorname{gen}_{t r}(y)
\end{aligned}
$

これを一般化すれば，意味役割が $n$ 種の汎化指標によるラベルを同時に持つことを表現出来 る.ここで, 元の意味役割全体を $R$ とし, 異なる種類の汎化ラベルの集合をそれぞれ $C_{1}, \ldots, C_{n}$, これら全ての汎化ラべルの集合を $C=\bigcup_{i=1}^{n} C_{i}$ とするとき, 意味役割の汎化とは, 関数

$
\begin{aligned}
\text { gen }_{i}: R & \rightarrow\left.\{C_{i}^{\prime} \mid C_{i}^{\prime} \subset C_{i}\right.\} \\
\text { gen }: & \rightarrow\left.\{C^{\prime} \mid C^{\prime} \subset C\right.\} \quad\left(\text { ただし, } \operatorname{gen}(y)=\bigcup_{i} \operatorname{gen}_{i}(y)\right)
\end{aligned}
$

を定義することである. これら意味役割汎化のための関数を FrameNet, PropBank の各々の分類モデルで具体的にどのように定義するかについては， 6 節と 8 節で述べることにする.

## 5.2 役割分類モデル

前節で述べたように，多くの既存研究が意味役割の汎化の際に取ったアプローチは，それぞ れの意味役割をフレームから独立な少数の汎化ラベルに置き換える方法であった. これにより，役割分類の過程は, フレーム固有の役割を推定する問題から, これらの汎化ラベルを推定する 問題へと変化した. ここで, 文 $s$, フレーム想起単語 $p$, フレーム $f$, 役割句 $x$ が与えられると き，与えられたフレームにより選択可能な意味役割の集合を $Y_{f}$ とし， $s, p, f$, から観測され る対象役割句 $x$ の特徴ベクトルを $\mathbf{x}$ とする。一般的に, 意味役割分類は役割の候補 $Y_{f}$ の中か ら, 最も適切な役割 $\tilde{y}$ をつ選ぶ問題として定式化される。ここで, 三つ組 $(f, \mathbf{x}, y)$ に対して
$y$ のスコアを生成するモデルがあると仮定すると， $\tilde{y}$ は以下のようにして選択できる.

$
\tilde{y}=\underset{y \in Y_{f}}{\operatorname{argmax}} \operatorname{Score}(f, \mathbf{x}, y)
$

汎化ラベルを直接分類する従来の手法では，訓練データとテストデータ中の意味役割を汎化ラ ベルで上書きしてきた。例えば，PropBankのある役割 $y$ はその ARG タグ $\arg (y)$ によって汎化出来る。分類モデルは最適な ARGタグ $\tilde{c}$ を以下のようにして選択する.

$
\tilde{c}=\underset{c \in\left.\{\arg (y) \mid y \in Y_{f}\right.\}}{\operatorname{argmax}} \operatorname{Score}_{a r g}(f, \mathbf{x}, c)
$

ここで, $\operatorname{Score}_{a r g}(f, \mathbf{x}, c)$ は $f$ と $\mathbf{x}$ に関する汎化ラベル $c$ のスコアを与える. 既存の多くのシス テムは, このモデルを達成するために線形或いは対数線形のスコアモデルを採用し, 特徴関数 は $\mathbf{x}$ の要素と $c$ の可能なぺアに対する指示関数として設計された.

$
\begin{aligned}
& \operatorname{Score}_{a r g}(f, \mathbf{x}, c)=\sum_{i} \lambda_{i} g_{i}(\mathbf{x}, c) \\
& g_{1}(\mathbf{x}, c)= \begin{cases}1 & \text { (head of } x \text { is "he" } \wedge c=A R G O @ A R G) \\
0 & \text { (otherwise) }\end{cases}
\end{aligned}
$

ここで, $G=\left.\{g_{1}, \ldots, g_{m}\right.\}$ は $m$ 個の特徴関数, $\Lambda=\left.\{\lambda_{1}, \ldots, \lambda_{m}\right.\}$ は $G$ に関する重みべクトルを 表す. $\tilde{y}$ は少なくとも一つ，かつ唯一の役割 $y \in Y_{f}$ が $\tilde{c}$ に対応付けられているときに一意に決定される。従来の汎化指標の比較研究にも，このラベルの置き換えによる手法が用いられてき た (Loper et al. 2007; Yi et al. 2007; Zapirain et al. 2008).

我々は，この手法とは対照に，フレーム固有の役割を直接推定するモデル（式 7）を採用す る.その上で, $y$ に関する汎化ラベル集合 $\operatorname{gen}(y)$ を意味役割 $y$ の特徴として利用する.

$
g_{1}(\mathbf{x}, y)= \begin{cases}1 & (\text { head of } x \text { is "he" } \wedge A R G 0 @ A R G \in \operatorname{gen}(y)) \\ 0 & \text { (otherwise) }\end{cases}
$

式 11 では, 特徴関数が $g e n$ の值に $A R G O$ が含まれるかを調べることにより, 役割 $y$ が $A R G O$ ラベルによって汎化されるかどうかをテストしている。このように関数 genを特徴関数の条件部に用いることによって, 複数の汎化ラベルを同時に扱うモデルの設計が可能になる. 例えば,式 11 と同様にして, 同じモデルに主題役割をチェックする特徴関数を導入することも出来る.

$
g_{2}(\mathbf{x}, y)= \begin{cases}1 & (\text { head of } x \text { is "he" } \wedge \text { Agent } @ T R \in \operatorname{gen}(y)) \\ 0 & \text { (otherwise })\end{cases}
$

このアプローチの利点は，一つの役割が複数の汎化ラベルを持つことを考える場合はもちろ

んのこと, 同一フレーム中の複数の意味役割が一つの汎化ラベルに写像される場合にも, より 自然な汎化の方法となっていることである. 例えば， 8.4 節で説明する選択制限を用いた汎化で は, 同一フレーム内の複数の役割が同じ選択制限のラベルを持つことがありうるが, 従来の置 き換え法を用いてこのラベルが推定されると, 汎化ラベルを元の意味役割に復元できない。一方で，我々の方法は，複数の汎化指標を用いて元の意味役割を直接推定する方式のため, この ような問題が起こらない。 また, もう一つの利点は, 異なる種類の汎化ラベルを混合する際に, それぞれのラベルに対する重みが，ムの値を通じて学習により自動的に決定されるという点に ある。したがって，このモデルでは，我々が事前にどの汎化指標が効果的かどうかを検討する 必要がなく，学習プロセスに適切な重みを選ばせればよい.

我々はスコアとして, 最大エントロピー法を用いて求める条件付き確率 $P(y \mid f, \mathbf{x})$ を利用する.

$
\operatorname{Score}(f, \mathbf{x}, y)=P(y \mid f, \mathbf{x})=\frac{\exp \left(\sum_{i} \lambda_{i} g_{i}(\mathbf{x}, y)\right)}{\sum_{y \in Y_{f}} \exp \left(\sum_{i} \lambda_{i} g_{i}(\mathbf{x}, y)\right)}
$

特徴関数の集合 $G$ には, 利用する汎化ラベルの集合 $C$ に含まれる全てのラベルと $\mathrm{x}$ の要素の可能な組に対応する関数を全て含める。特徴関数の最適な重み $\Lambda$ は最大事後確率 (MAP) 推定に よって求める. 我々は Limited-memory BFGS (L-BFGS) 法 (Nocedal 1980)を用いて学習デー 夕の対数尤度を $L_{2}$ 正則化のもとで最大化する。パラメータ推定には, classias$^{2} を$ 用いた.

## 6 FrameNet における複数の汎化手法

本節では，FrameNet における役割の汎化指標について説明する. FrameNetでは，フレーム 間の階層関係が定義されているため，この構造をうまく利用した汎化ラべルの設計を目指す. また, 役割の名前（記述子）, 項の意味型, VerbNetの主題役割を指標とした, 異なる性質の汎化ラベルも設計する。 以下では，我々の提案する汎化指標について，それぞれのどのように関数 gen を定義するかを説明する， 7 節では，これらについての比較実験を行い，効果の詳細な 分析を行う。なお，階層関係と記述子を利用した汎化では，FrameNetの意味役割ラベルを利用 して粒度の細かいラべルを作成するため，その全体像が掴みにづらいかもしれない。その際は,実際の意味役割ラベルと階層関係のデータ3 3 を適時参照して頂きたい.

## 6.1 役割間の階層関係

この指標は, 3.1 で説明したフレーム階層上の七種類の有向関係を利用して, 役割間に共通す る性質を取り出す指標である。各フレームの意味役割のうちの幾つかは，フレーム間の親子関
^{3} \mathrm{http} / / /$ framenet.icsi.berkeley.edu/FrameGrapher/ ただし, データは FrameNet の最新版によるものであるため,我々の利用する正確なデータは FrameNet 第 1.3 版を参照のこと。
}

図 6 gen $_{\text {hier }}$ を定義するアルゴリズム

図 7 階層関係を辿る方向

係を通して，他フレームの役割と有向関係で結ばれている。役割間の関係を用いた汎化指標の 基本的なアイデアは，下位概念にあたる役割が，その上位概念にあたる役割の性質を引き継い でいる，という仮定である．例えば，Commerce_buyフレームの役割 Buyerは Gettingフレーム の役割 Recipientの性質を継承しており，また，Killingフレームの Victim とDeathフレームの Protagonistは「死ぬもの」という個体の性質を持っている.

役割間の関係を用いた汎化関数 $g e n_{h r}$ は図 6 のアルゴリズムで定義する. $\operatorname{gen}_{h r}(y)$ は役割 $y$ から階層関係を辿りながら，各ノード $z$ に対応する汎化ラベル $z @ H R$ を収集する。この際，(A)継承, 利用, 観点, 部分の四つの関係に関しては, 親方向に階層を辿り, (B) 起動, 原因の関係 については子方向に辿る。これは, (A) のグループでは, 子孫の意味役割が祖先の性質と同じ かこれを詳細化した性質を持っており，(B)のグループでは， 子孫の役割がより中立的な立場 や, 結果の状態を表すからである。先行関係は, 状態とイベントの遷移系列を表す関係であり,役割の性質の包含関係を単純には特定できなかったため，親と子のどちらの方向に辿るかは実験結果を踏まえて決定することにする（実験は 7.4 節を参照のこと），アルゴリズムは，図 7 の ように，一度進んだ方向から逆戻りする方向のラベルは出力しない。また, 階層を辿る深さの 影響を観察するため, 深さ 1 の親子関係でたどれるラベルしか含めない $g e n_{h r \_d e p t h 1}$ と, 子孫,先祖を全て辿る $g e n_{h r_{-} a l l}$ の二つの関数を作成した. 実験ではこれらの性能差も比較する.

## 6.2 役割の記述子

FrameNet の意味役割は各フレーム固有の役割であり，異なるフレーム間に同じ識別 ID の 役割は存在しない。しかし, それらには専門家によって付けられた Buyer, Sellerなどの人間

に意味解釈可能な簡潔な名前がついている，我々はこの簡潔な名前を役割の記述子と呼ぶこと にする。これらの記述子は，ある程度体系立てて付けられており，異なるフレームの異なる意味役割が共通の記述子を持つ場合も多くある。例えば，記述子 Sellerは Commerce_sell::Seller, Commerce_buy::Seller, Commerce_pay::Sellerなどで共有されている. この記述子の汎化指標と しての有効性を評価するために，これを汎化ラベルとして利用する。

この指標による汎化関数 $\operatorname{gen}_{\text {desc }}$ は, 役割 $y$ の記述子をメンバとして返す関数として定義す る。例えば，役割 Commerce_buy::Buyerの記述子ラベルをBuyer@Desc とすれば，その值は gen desc $($ Commerce_buy::Buyer $)=\{$ Buyer@Desc $\}$ となる. 記述子は各役割を一つの語彙で説明 しているため, この汎化指標は語彙的特徴が類似する役割を効果的に集めるかもしれない. ま た，この方法で得られた汎化ラベルは役割の同値類関係を表現しており，階層関係によるラべ ルとは異なる構造を持っている。例えば，図 8 の (a), (b)のような階層関係がある場合, (a)の Commerce_goods-transfer::Seller, Commerce_sell::Seller, Commerce_buy::Sellerは階層関係, 記述子どちらによっても一つのラベルに纒め上げられるが, 一方, (b)の Giving::Donor（物の提供者), Commerce_sell::Seller（販売物の提供者）, Commerce_pay::Buyer（対価の提供者）で は，各役割の間に「提供者」という意味の類似があるが，記述子を用いた汎化の場合には，そ れぞれの役割が異なる汎化ラベルを持つことになる.

## 6.3 意味型

FrameNet では, 多くの役割に意味型と呼ばれる型を割り当て, 選択制限に類似した情報を提供している。これは, 図 9 に列挙したようなカテゴリから成り, 意味役割を埋める句の意味的 な傾向を表す。例えば，役割 Self_motion::Areaは意味型が Locationであり，これは，この役割 が場所を意味する句で埋められる傾向にあることを表す。この情報は意味役割を句の特性の観点から粗くカテゴリ化しており, 特に役割候補句の語彙の特徴と結びついて役割分類に強く貢献すると期待できる事から，我々は意味型を汎化ラベルとして用い，その有用性を検証する。

図 8 役割の階層関係と記述子による汎化の相違点

Temperature, Human_act, Message, Container, Group, Quantity, Physical_entity, Locative_relation, Content, Location, Degree, Manner, Living_thing, Human, Time, Body_part, Source, State_of_affairs, Path, Event, State, Goal, Sentient, Artifact, Speed, Physical_object, Duration, Organization

図 9 FrameNet で役割に対して利用される意味型のリスト

Actor, Actor1, Actor2, Agent, Asset, Attribute, Beneficiary, Cause, Destination, Experiencer, Extent, Instrument, Location, Material, Oblique, Patient, Patient1, Patient2, Predicate, Product, Proposition, Recipient, Source, Stimulus, Theme, Theme1, Theme2, Time, Topic, Value

図 10 VerbNet の主題役割

汎化関数 $g e n_{s t}$ は役割 $y$ の意味型を要素に持つ集合を返すように定義する. 例えば, 役割 Self_motion::Areaの場合, gen st Self_motion $::$ Area $)=\{$ Location@ST $\}$ となる.

## 6.4 VerbNet の主題役割

VerbNet の主題役割は, 図 10 に挙げるような, 動詞の項に付けられた 30 種類の粗い意味分類 である。この 30 種のラベルは, 全ての動詞に対して一貫性のある, フレーム横断的なラベルで ある。我々は SemLinkを用いて FrameNet の意味役割を VerbNet の主題役割にマッピングし, これを汎化ラベルとして導入する. 3.3 節で説明したとおり, FrameNet の意味役割と VerbNet の主題役割は一般に多対多の対応であるが, 現時点の SemLinkでは FrameNet の各事例に主題役割が個別に付与されておらず，単純な方法で意味役割と主題役割の一対一対応を取ることが 出来ない. したがって, ある意味役割から主題役割への写像が複数考えられるときには, 汎化関数 gen $_{t r}$ はこれらの主題役割を全て含む集合を返すことにする。例えば，役割 Getting::Theme の場合, 各事例が対応付けられる動詞クラスに応じて, Theme@TR, Topic@TRの二つの主題役割ラベルが考えられるため, gen tr $($ Getting::Theme $)=\{$ Theme@TR, Topic@TR\} となる.

## 7 FrameNet における実験と考察

## 7.1 実験設定

実験には Semeval-2007 Shared task Baker et al. (2007)の訓練データ部分を用いる.このうち ランダムに抜き出した $10 \%$ をテストデータとして用い, 残りの $90 \%$ で訓練, 開発を行う。評価は役割に関する Micro F1平均と Macro F1 平均 (Chang and Zheng 2008)で行う.

役割句 $x$ の特徴には, 既存研究によって有効と報告された素性 (Màrquez et al. 2008)を用 いた. これらは, フレーム, フレーム想起単語, 主辞, 内容語, 先頭/末尾単語, 左右の兄弟 ノードの主辞, 句の統語範疇, 句の位置, 態, 統語パス (有効 /無向／部分), 支配範疇, 主辞 の Supersense, 想起単語と主辞の組, 想起単語と統語範疇の組, 態と句の位置の組である. 単語を用いた素性には，表層形の他に，品詞や語幹を用いたものも使用している，構文解析には Charniak and Johnson (2005)の reranking parserを用い, Supersense 素性には，Ciaramita and Altun (2006)の Super Sense Taggerの出力を用いる. ベースライン分類器では役割の汎化を用

いず，元の意味役割のみを利用した分類を行い, 結果 $89.00 \%$ の Micro F1 值を得た.

## 7.2 意味役割の分類精度

表 1 に，それぞれの汎化指標を用いた場合の役割分類の Micro F1 と Macro F1を示す.この 実験設定において Micro F1 は役割全体の分類精度と等価であるが，この値は各指標で 0.5 から 1.7 の向上が見られた。また，最も高い精度は，全ての汎化指標によるラベルを同時に利用した モデルで得られ，ベースラインに対して $19.16 \%$ のエラー削減を実現した。この結果は，異なる 種類の指標が互いにそれらを補完しあうことを示すものである。汎化指標ごとの性能をみると，記述子による効果が最も高く, フレームの階層関係を用いた汎化はこれに及ばなかった。また,主題役割による結果は，役割の $37.61 \%$ しか主題役割と関連付けることが出来なかったため, 比較的小さな向上に留まったものの，有意な上昇を示した.

Baldewein et al. (2004)の実験では, FrameNet の階層関係は良い結果を得られなかったが,我々の汎化方法では有意な精度向上を確認した。また，我々は記述子において，従来の置き換 えによる方法と，記述子ラベルとフレーム固有の役割ラベルを同時に利用する方法を比較した (表 1 の 2 行目と 3 行目). 結果として, 単に元の役割を同時に利用する場合でも, 汎化ラベル に単純に置き換える従来の方法よりも正確に役割を推定出来ることを確認した．また，Macro F1の値から, 我々の提案する汎化指標が低頻度の役割に対する分類精度を効果的に向上させた ことが窺える。表 2 では，役割を事例数ごとに分け，それぞれの分類精度を示した．ここでも，我々の提案する汎化指標が特に事例の少ない役割の分類を助けている事が分かる.

## 7.3 記述子に関する分析

上述の実験では，特に記述子による汎化で顕著な向上が見られたため，この理由を細かく分析することにした，表 3 は，役割の中心性 4 ごとにそのタイプの役割だけから記述子の汎化ラべ

表 1 各汎化指標による分類精度

表 2 低頻度役割に対する汎化の効果

表 3 中心性ごとの記述子の効果

表 4 各中心性における役割及び記述子の数と事例数

表 5 役割間関係のタイプ別の効果と辿る深さによる効果

ルを作成し, 評価セット全体の MicroF1を測ったものである. 結果からは, 記述子が特に周辺的な役割の汎化に有効であることが分かる。表 4 は, それぞれの中心性に割り当てられる役割 の数, 及び役割あたりの事例数, 各中心性における記述子の数, 記述子あたりの事例数を表し たものである.ここで特徴的なのは, peripheralに分類される 1,924 の役割は 250 という比較的小さな数の記述子に緾まっていることである。これは，フレームに意味の依存が薄い役割に同一の記述子が付けられやすいという傾向を示しており, この傾向によって, 記述子が特に周辺的な役割をフレーム横断的に汎化する良い指標になっていると考えられる.

## 7.4 役割間関係のタイプ別効果

役割間の階層関係を用いた汎化については, 関係の型と階層を辿る深さによる効果の違いを 調べた。表 5 はそれぞれの Micro F1を示したものである。 タイプ別にみると, 特に継承と使用

でその他の関係よりも精度の向上が見られた。それら以外のものは, 関係の出現数そのものが 少なかったために，差が少なく，効果の違いを考察するに至らなかった。また，深い階層関係 を持つ役割については，一代先の汎化ラベルだけを用いるよりも，階層を伝って辿れる全ての ラベルを用いて汎化する方が，より効果があることを確認した．先行関係については，最も効果の見られた祖先を辿る方法を採用することにした。また，最も高い性能は，階層上の全ての 関係を利用した場合に得られた。

## 7.5 各汎化指標の特徴分析

表 6 は中心性のタイプ別に見た，各汎化指標を用いたモデルの適合率，再現率，Micro F1 で ある。core に相当する意味役割は，汎化を利用しない場合でも $91.93 \%$ の分類精度が得られてお り, 全ての汎化指標で比較的高い分類精度となった. peripheral と extra-thematic に関しては,最も簡潔な方法である記述子による方法がその他の指標を上回った.

表 7 には，重みの絶対値が上位 1,000 の特徴関数を，タイプ別に分類した。この表から，汎化指標の特徴は, 記述子と意味型のグループと固有役割と階層関係のグループの二つのグルー

表 6 各汎化指標の中心性別にみる適合率と再現率. c は core, p は peripheral, e は extrathematic を表す.

表 7 上位 1,000 個の特徴関数. 各タイプごとの数を 表す。'fc'は固有役割, 'hr'は階層関係, 'de'は 記述子, 'st'は意味型, 'tr'は主題役割を表す.

プに分かれることが分かる。 記述子と意味型では, 先頭単語や supersense などの, 付加詞の特徵付けを行う素性との組み合わせが高い重みを持つ。固有役割と階層関係では，統語パスや内容語, 主辞などの, 語彙的或いは構造的な素性と強い結びつきがある. このことは, 記述子や 意味型を用いた汎化が周辺的，或いは付加詞に対応する役割に対して有効であり，階層関係を 用いた汎化が core の役割に効果的であることを示唆する.

## 8 PropBankにおける汎化手法

本節では, PropBankにおける汎化手法について述べる. 我々は, 従来用いられてきた指標で ある ARGタグ，主題役割に加えて，新たに三つの汎化指標を提案する。これらは, VerbNetの 動詞クラス，選択制限，意味述語にそれぞれ基づく。

ARG タグ, 主題役割は, どちらも 6 種類, 30 種類の少数のラベルセットであり,これらを用 いた意味役割の分類は, 非常に粗いものだと言える。しかし実際には, 意味役割は各動詞に応 じて多様な振る舞いを見せるため, より細かな粒度での汎化が必要と考えられる。 そこで我々 は, より頑健な役割分類を目的として，30 種類の主題役割をより統語的，意味的に詳細化され た汎化ラベルへ分割し，これらの細かい粒度の汎化ラベルによる効果を検証することにする。

なお，新たに提案する細粒度の汎化ラベルの全貌については, VerbNet 第 2.3 版の実際のデー 夕5を，適時参照を願いたい。

## 8.1 タスク設定とモデルの拡張

以下で説明する汎化手法では， SemLinkによって得られる各アノテーションの動詞クラスと 主題役割を利用しているため，これらについて詳しく説明をしておく。

3.3 節で述べた通り, PropBankでは, SemLinkに基づくVerbNet との事例レベルの正確な マッピングにより, 各アノテーションの適切な主題役割と対象動詞の動詞クラスを得ることが 出来る。 そこで, 本研究では, 訓練時, 評価時に, 各アノテーションの意味役割と主題役割の どちらの情報も用いることができるものとする。 また, 役割分類の入力には, 対象動詞に対す る正しい動詞クラスも与えるものとする.

VerbNet における動詞クラスは, PropBankで言うところのフレームに相当するものであり，意味役割付与システムの実際の運用時には, これらのフレームや動詞クラスを自動的に判定す る必要がある。しかし，4節でも述べた通り, 我々の実験においては, 意味役割の汎化が分類

図 11 フレームと動詞クラスが与えられた場合の分類問題.この設定においては, 意味役割, ARG タグ,主題役割の三つのラベル間で全て一対一対応を取る事が出来るため，これらをそれぞれ独立に用 いた分類モデルを考えた場合，各モデルは同じ候補の中から最適な一つを選ぶ，という等価な問題に帰着される。

精度にもたらす効果を正確に検証することを目的としているため，フレームと動詞クラスの両方を入力として正しく与えることにする。また，このような設定にすることによって，式 13 の 中の全役割候補 $Y_{f}$ に対して, ARG タグと主題役割の両方を一意に与えることができるため, ARG タグを用いた役割分類と, 主題役割を用いた分類を, 同じ候補の中から最適な一つを選ぶ, という等価な問題として比較することが出来る（図 11）.

以降で提案する汎化指標は，そのどれもが動詞クラスの情報を利用してラベルを生成するも のである。したがって, 汎化のための関数 $g e n, g e n_{i}$ についも, 意味役割 $y$ と動詞クラス $v$ の二つを引数に取るように拡張する。これに伴い, 式 13 は $v$ の入る形で拡張され,

$
P(y \mid f, v, \mathbf{x})=\frac{\exp \left(\sum_{i} \lambda_{i} g_{i}(\mathbf{x}, y, v)\right)}{\sum_{y \in Y_{f}} \exp \left(\sum_{i} \lambda_{i} g_{i}(\mathbf{x}, y, v)\right)}
$

となり, 式 12 も次のようになる.

$
g_{2}(\mathbf{x}, y, v)= \begin{cases}1 & (\text { head of } x \text { is "he" } \wedge \text { Agent } @ T R \in \operatorname{gen}(y, v)) \\ 0 & \text { (otherwise) }\end{cases}
$

## $8.2 \mathrm{ARG$ ダ, 主題役割}

ARG タグと主題役割については, 5.1 節の式 2 , 式 3 で示したように, 各意味役割の ARG 夕

によって一意に与えられた正しいラべルである。例えば, 図 11 のような対応が与えられている ならば,この事例において, 各関数は以下の値を返す.

$
\begin{aligned}
& \operatorname{gen}_{\text {arg }}(\text { buy.01::0, get-13.5.1) }=\{A R G 0 @ A R G\} \\
& \text { gen }_{t r}(\text { buy.01::0, get-13.5.1 })=\{\text { Agent } @ T R\}
\end{aligned}
$

## 8.3 主題役割＋動詞クラス

VerbNet は, 英語の動詞を統語的，意味的に一貫性を持った 470 の階層的なクラスに分類した 言語資源である，動詞クラスには，所属する動詞の統語的振る舞いの一貫性を保証するなどの特徵があるため, このクラスの分類は, 主題役割を適切に詳細化するための情報となりうる。例え ば，主題役割 Patientは，一般的に目的語や前置詞句としてしか現れないが，クラス cooking-45.3 の動詞では主語として現れることがある，という細かな情報を，動詞クラスを用いることで各主題役割に付加することが出来る。したがって，我々は新しい汎化関数として，対象事例にお ける動詞クラス $v$ と主題役割 $t$ の組を返すような $g e n_{v c}$ を定義する.

$
\operatorname{gen}_{v c}(y, v)=\{\langle t, v\rangle @ V C\} .
$

特徴関数はこの二つ組によるラベルをチェックする形で定義する.

$
g_{3}(\mathbf{x}, y, v)= \begin{cases}1 & (\text { head of } x \text { is "he" } \wedge\langle\text { Patient, cooking-45.3 } @ V C \in \operatorname{gen}(y, v)) \\ 0 & \text { (otherwise) }\end{cases}
$

## 8.4 選択制限

VerbNet は各動詞クラスの主題役割にそれぞれ選択制限の情報を付与している. FrameNet の 意味型の場合と同様に, この情報は意味的な類似性のある役割をグループ化するのに役立つと 期待される. VerbNetでは，選択制限は正負を持った 36 種類の意味カテゴリ（図 12）を用いた 命題論理で表現される。例えば，クラス give-13.1の主題役割 Agent の選択制限は+animate $\vee$ +organizationのように与えられる. 我々はこれらの命題を役割の汎化ラベルとして利用する. gen $n_{s r}$ は動詞クラス $v$ における主題役割 $t$ の選択制限を返す関数として定義する.

$
\text { gen }_{s r}(\text { give.01::0, give-13.1 })=\{(+ \text { animate } \vee+\text { organization }) @ S R\} \text {. }
$

## 8.5 主題役割 + 意味述語

VerbNetでは，各動詞クラスにいくつかの例文が記述されているが，これらの例文には，意味述語と呼ばれる述語表現の組み合わせを用いて，文の意味が表現されている。例えば，クラ ス give-13.1-1の例文 "I leased the car to my friend for $\$ 5$ a month."には,

abstract, animal, animate, body_part, comestible, communication, concrete, currency, dest, dest_conf, dest_dir, dir, elongated, force, garment, human, int_control, loc, location, machine, nonrigid, organization, path, plural, pointy, refl, region, scalar, solid, sound, spatial, src, state, substance, time, vehicle

図 12 VerbNet に扔ける選択制限のカテゴリ
render.02::0, rent.02::0, retail.01::0, repay.01::0, pass.05::0, refund.01::0, lease.02::0, give.03::0, lend.01::0, give.02::0, peddle.01::0, sell.01::0, give.01::0, loan.01::0, pay.03::0, pass.10::0, pay.01::0, pass.09::0

図 13 意味述語 has_possession( $\operatorname{end}(E)$, ,Agent,Asset) を持つ Agent にあたる役割

has_possession(start(E), Agent,Theme), has_possession(end(E), Recipient,Theme), has_possession(start(E),Recipient,Asset), has_possession(end(E), Agent, Asset), transfer(during $(E)$, Theme ) の五つの意味述語が含まれる。この種の分解された意味表現は,各フレームが持つ役割の意味的性質を細かい粒度で共有することを可能にする．例えば，イべ ント終了時に対価を持つ Agentにあたる意味役割は, 図 13 のように，各動詞クラスの例文中か ら述語表現 $s_{1}=$ has_possession(end $(E)$, Agent, Asset) を探すことでグループ化出来る ${ }^{6}$.

そこで我々はこの意味役割のグループをタプル $\left.\langle\right.$ Agent,$\left.s_{1}\right.\rangle$ で表し, 汎化ラベルとして利用す る.ここで，ある事例における役割 $y$ の主題役割を $t$ とすれば, 関数 $g e n_{s p}$ は動詞クラス $v$ の例文から得られる意味述語のうち, 引数に $t$ を含むものを全て返す関数として定義する。例えば, lease01::0の主題役割が Agent, 動詞クラスが give-13.1-1だった場合は，以下のようになる.

gen $_{\mathrm{Sp}}($ lease.01::0, give-13.1-1) $=\{\langle$ Agent,has_possession $(\operatorname{start}(E)$, Agent,Theme $)\rangle @ S P$,

$\langle$ Agent,has_possession(end(E), Agent, Asset $)\rangle @ S P\}$

## 9 PropBankにおける比較実験

PropBank における実験では，二つのことを検証する。一つ目は，従来 PropBank 上での意味役割の汎化で議論されてきた ARG タグと主題役割の効果の違いを明らかにすることである.既存研究における ARG タグと主題役割の比較では, 意味役割付与タスク全体を通した精度比較しか行ってこなかった (Loper et al. 2007; Yi et al. 2007; Zapirain et al. 2008). しかしなが ら, 意味役割付与は複雑な問題が絡み合うタスクなため, そのような比較では, 最終的な精度 に影響する原因がどの部分で生じたかが不明瞭になりがちである。特に構文解析時のエラーは,多くの複雑で不整合な統語構造を生むため, 意味役割付与の精度に大きく影響することが知ら れている (Màrquez et al. 2008)。幸い, PropBankは PennTreebank と同一のテキストに対する コーパスなため, PennTreebankの人手による正解構文木が利用可能である。そこで, 我々はこ の構文木を入力として利用することで, 構文解析エラーの影響を無くしたより厳密な状況を作

り，理想的な状況下での役割分類結果のエラー分析を行うことによって，二つの汎化指標が捉 えている役割の性質の違いを正確に分析する。

二つ目では, これらの指標に加え, 我々の提案した新しい三つの指標について, それらの汎化性能を比較する，比較は，役割全体の分類精度に加えて，対象動詞に関する素性を除いた設定での評価と，未知動詞に対する評価の三つで行う。

## 9.1 実験設定

実験には Penn Treebank II コーパスの Wall Streed Journal 部分と，それに対応する PropBank のデータを用いる. Wall Street Journalのうち，02-21 節を訓練に，24 節を開発に，23 節を評価 に利用する。この実験では，各アノテーションに対して SemLinkによって与えられる動詞クラ スと主題役割の情報を用いているため, Zapirain et al. (2008)の方法に準じて, SemLink 1.1 に よって主題役割に写像出来るアノテーションだけを実験セットとして用いる. その数は 70,397 アノテーションであり, PropBank 全体の $62.34 \%$ にあたる。また，すでにフレームに独立なラ ベルとして定義されている $A M$ タグは取り除き，フレーム固有の意味役割として定義されてい るARG0-5のみの分類精度によって評価を行う。

役割句 $x$ に対する特徴には, FrameNetの場合と同じく, 既存研究で効果が確認された素性を 用いる. 具体的には, フレーム, 対象動詞, 主辞, 内容語, 先頭/末尾語, 左右姉妹句の主辞,句の統語範疇, 句の位置, 態, 統語パス, 句に含まれる固有表現カテゴリ, 統語フレーム, 前置詞句の先頭語, 対象動詞と主辞の組, 態と統語範疇の組, 統語フレームと前置詞句の線統語 の組である。単語を用いた素性には, 表層形の他, 品詞や語幹を用いたものも併せて利用する.固有表現抽出には, CoNLL-2008 shared task (Surdeanu et al. 2008)の open-challenge dataset に 与えられた，意味タガー (Ciaramita and Altun 2006)の三つの出力結果を用いる.

## 9.2 PropBank ARG0-5 と主題役割の比較

ARG タグと主題役割についての比較では，まず役割全体の分類精度による評価を行った．表 8 はこれらの汎化指標を個別に用いた際の分類精度を示す。記号*** は，汎化ラベルを用いない モデルに比べて McNemar テストにより $p<0.001$ で有意であることを意味する. 役割分類に理想的な入力が与えられた場合, 役割の汎化を行わないモデルでも $96.7 \%$ 以上の精度を実現する ことが可能であった. ARGタグと主題役割を用いた場合には，どちらのモデルも，汎化を行わ ない場合に比べて分類精度が向上した。また，その効果は事例の少ない役割に対して特に明確 に確認できる。表 8 における列「>200」と列「< 50」は，事例数が 200 を超えるフレームと 50 未満のフレームに対する分類精度を表す.これらから, 役割の汎化を行わなかった場合には,事例数 50 未満のフレームに対する精度が，200を超えるフレームに比べて約 9 ポイントと大き く低下することが分かる。一方で，ARG タグや主題役割は，役割をフレームに独立な少数のラ

ベルに汎化するため，事例の少ない役割をより頑健に分類することが出来る.

Yi et al. (2007) と Zapirain et al. (2008)は, 主題役割を用いた意味役割付与は ARG タグを用 いる場合に比べて，性能が若干低下すると報告した。しかし我々の実験では，これら二つの汎化ラベルの結果に有意な差は認められなかった $(p \leq 0.838)$. 図 14 の学習曲線を見ても, ARG タグと主題役割の曲線は近く, Yi et al. (2007) と Zapirain et al. (2008) が指摘したような主題役割に対する訓練データの不足は確認出来なかった。また, Yi et al. (2007), Loper et al. (2007) は，ARG タグのうち特に $A R G 2$ で不整合があるとしたが，我々の実験のように，理想的な入力と, フレームによる選択可能なラベルの制約が与えられた場合, ARGタグと主題役割のどち らにおいてもARGO-5の各夕グをほぼ同精度で分類することが出来た（表 9)。これは表 10 に 見られるように, verb+pathなどの動詞に関する組み合わせ特徵によって, 各役割の動詞に対 する個別の振る舞いを学習していることと, フレームによる選択可能なラベルの制限によって,主題役割のうち Patient や Themeなどの統語的に類似する性質を持つ役割の混在がある程度制限されるためと思われる。

我々は二つの汎化指標の特徴についてより詳しく分析するために, それぞれのモデルで生じ たエラーを人手でチェックし，二つのモデルで分類結果の食い違った事例を分析した。図 15 は, ARG タグモデルと主題役割モデルの, 互いに一方が正解し一方が間違った事例と, 双方 が間違った事例について，それらの正解ラベルと推定ラベルの組を分類したものである。表

表 8 フレームの事例数別の分類精度

表 $9 \mathrm{ARG}$ タグと主題役割における分類精度の比較

図 14 訓練デー夕量に対する精度の変化
表 10 重みの絶対値が上位 $0.1 \%$ にあたる特徴の分布

図 15 主題役割で見るエラー分類。表 (A) は ARG タグで正解し，主題役割で間違ったもの，表 (B) は 逆，表 (C) は両方で間違えたものを表す. 動詞クラスの列は，対応する種類のエラーが生じたク ラスを示す。

(A) は ARG タグモデルで正解し, 主題役割モデルで間違った事例であるが，最初の三行のエ ラーは，異なる動詞クラスの間で，主題役割の統語位置に不整合が出ることが原因である．例 えば，クラス amuse-31.1, appeal-31.4の動詞について, Causeは主語の位置に現れる傾向にあ り, Experiencer はその他の場所に現れる傾向があるが，クラス marvel-31.3では逆の傾向があ る.また，Destination Themeのケースは，一般的に前置詞句として現れるDestinationが，動詞クラス spray-9.7, fill-9.8, butter-9.9, image_impression-25.1においては目的語の位置に現れ やすいことが原因である。一方で，PropBankは各動詞に対して，主語の位置に現れやすい役割 に $A R G 0 を ，$ 目的語の位置に現れやすい役割に $A R G 1$ を主に割り当てているために, ARG夕 グにはこのような曖昧性さが起こりにくい.

表 (B) には逆に, 主題役割モデルで正解し, ARG タグモデルで間違った事例を示す。最初の 行は主題役割の有効性を表す良い例である. ARG タグは主に統語的特徴に基づいたグループで あるため, $A R G 1$ が主語の位置に出てきた場合にこれを $A R G O$ と間違いやすい.それとは対照 に，主題役割はより意味的属性を考慮したグループに分割されているので，主語の位置に現れ る Patientに対して, 統語素性からのペナルテイが小さい。その結果, ARGOを用いる場合より もこれらの役割が比較的正しく分類された.

また, 表 $(\mathrm{C})$ の, ARG タグと主題役割両方のモデルで間違う事例にもいくつかの傾向が見ら れる．例えば，能格動詞が自動詞として使われるときや，Themeが目的語として現れにくい動詞クラスなどで多くの間違いが見られる。これらの改善のためには, 動詞或いは動詞クラスに 対してより詳細化された統語的意味的情報が必要だと思われる。表 15 からは, 総じて二つの汎化ラベルが意味役割の汎化において異なる利点を持っていることが分かる.

さらに，表 11 に見られるように，これら二つの汎化ラベルを同時に利用したモデルの結果 も，二つの汎化ラベルが異なる効果をもたらしたことを示す結果となった．記号*** は ARG 夕 グのみを使うモデルに比べて，そのモデルの精度が McNemar テストにおいて $p<0.001$ で有意 であることを示す. ARG タグ+主題役割のモデルは ARG モデルに比べて $24.07 \%$ のエラーを 削減した。このモデルにさらに元の意味役割ラベルを加えた固有役割+ARG タグ+主題役割モ デルについても実験を行ったが，ARG タグ+主題役割モデルに対して性能の有意な向上は得ら れなかった。これは, 既に対象動詞との組み合わせを用いたいくつかの特徵が ARG タグ十主題

表 11 汎化指標の混合による精度

役割モデルに含まれているためと思われる.

## 9.3 提案する汎化指標との比較実験

次に，既存の汎化手法と我々の提案する汎化手法についての比較を示す.この実験では，汎化性能を比較する三つの設定を用意した。設定 (A) は 9.2 節で利用した 9.1 節の設定である. 設定 (B) は (A) と同じデータセットにおいて, フレームと対象動詞に由来する全ての特徴を取り 除いたモデルの精度を測るものである。この設定では，各汎化ラベルが動詞固有の情報を使わ ずに，汎化ラベルのみでどれほどの精度を実現するかを評価する．設定 $(\mathrm{C})$ では，コーパス中 の低頻度動詞に関する事例を取り除くことにより人工的に未知動詞を作り，それらの動詞に対 する意味役割の分類精度を評価する。この設定は，実際に未学習の動詞が表れたときに，それ ぞれの汎化指標が頑健にラベルの推定を行えるかを調べるものである。ここでは出現回数が 20 回以下の，1,190 の動詞に関する事例をコーパス中から抜き出し，この抜き出した事例を評価 セットとして利用する。図 16 は抜き出した動詞の抜粋である。この操作により実際に抜き出さ れた役割の事例数は 8,809 となった.

表 12 に実験結果を示す。設定 (A)において最も高い性能を示したのは ARGタグ+主題役割 モデルであり，より細かい粒度の汎化ラベルを加えたモデルは，ARG夕グ+主題役割モデルに 及ばなかった．また，(B)，（）の結果からは， ARG タグ+主題役割モデルが，ARGタグや主題役割を単独で使うモデルに比べて，大きく向上させていることが分かる．特に，未知動詞に 対する性能を評価している設定 (C) では, ARG タグや主題役割を個別に用いる方法では, 十分 な汎化の効果が得られないことが分かる.

position, perceive, order, matter, inch, hand, feed, detect, crack, consult, appreciate, allocate, worsen, trail, store, shape, ride, relax, package, ...

図 16 隠した動詞の抜粋

表 12 三つの設定における各指標の精度比較

我々の提案する細粒度の汎化指標は, ARG タグや主題役割と組み合わせて利用することに よって，(B), (C) の分類精度を向上させることを確認した．特に，意味述語と動詞クラスを用 いた汎化が効果的に性能を向上させた。また，未知動詞に関する実験である $(\mathrm{C})$ において最も 高い性能を示したのは，ARG タグ＋主題役割十意味述語モデルであり，ARGタグのみを用いた 場合に比べて $26.39 \%$ のエラー削減を実現した。これは言い換えれば，各動詞について十分な学習が出来る場合には, 細粒度の汎化によって全体の精度を落とすことがあり, 一方で, 動詞個別の学習が不十分な場合には，異なる観点を織り交ぜた細粒度の汎化が分類精度の向上をもた らすということを意味する。

この結果で興味染いのは, 従来, 意味役割付与においてあまり用いられてこなかった動詞ク ラスの情報が，意味役割を細かいレベルで適切に汎化し，意味役割分類の頑健性を向上させる ということである。この結果は, 意味役割付与問題において, 役割分類の事前処理, 或いは結合モデルとして，対象動詞の動詞クラスを求めることの有用性を表している，今後は，対象動詞に対するフレーム及び動詞クラスを特定する処理を含めた精度の評価が必要であろう。

## 10 まとめ

本稿では, FrameNet, PropBankの二つのコーパスにおいて, 役割を適切に汎化するための 複数の指標と方法を提案し，また，異なる種類の汎化ラベルを同時に扱うための分類モデルを 導入した，汎化ラベルを意味役割の特徴として扱い，異なる観点，異なる粒度の集合を複合し て利用することが，従来のラベルを置き換える方法よりも分類精度を向上させることを確認し た. また, 既存の汎化ラベル及び我々の新たな汎化ラベルについて, 比較実験を通して詳細な 分析を与え，それぞれの性質を明らかにした。

FrameNetでは, 役割の階層関係, 役割の記述子, 句の意味型, VerbNet の主題役割の四種類 の異なる指標を用いて, 汎化ラベルを作成した. これらはそれぞれに分類の性能を向上させ, 役割分類役割分類の疎デー夕問題を効果的に解消することを示した．最も優れた性能を見せたの は役割の記述子による方法であり, 予想に反してFrameNet の階層関係はこれを超えることが 出来なかった。したがって, 今後, フレーム階層関係のさらなる有用な活用のため, 階層関係 の不足点, 改善点等を解析していく必要があると思われる. また, 各指標の性質として, 記述子や意味型を用いた汎化ラベルは周辺的, 或いは付加詞的役割を捉える特徴と結びつきが強く,階層関係を用いた汎化は中心的役割を捉える特徴と結びつきが強いことを示した. 全ての汎化 ラベルを混合したモデルでは, 全体の精度で $19.16 \%$ のエラー削減, F1 Macro 平均で 7.42 の向上を示した，我々の実験では，より多くのフレーム間関係を利用するために，FrameNet の最新版のデータを利用した。その結果, 既存のシステムと直接的な精度比較をすることが出来な かったが, 我々のベースラインにおける F1 Micro 平均 $89.00 \%$ は, SemEval-2007 (Baker et al.

2007) での Bejan and Hathaway (2007)の $88.93 \%$ という值と概ね競合すると言えるため，意味役割の汎化により，意味役割付与システム全体の精度向上が期待出来ると言えるだうう7.

PropBankでは，既存の汎化手法である PropBank の ARG タグと主題役割の二つの汎化ラべ ルを木構造や項の位置等を与えた厳密な設定で比較し, その結果, ARG夕グは役割の統語位置 の性質をより強く捉え，主題役割は意味的側面から比較的位置に対する柔軟性を持つという性質の違いを明らかにした。また, 役割分類における主なエラーの理由は, 動詞ごとの特徴によ る統語パターンの曖昧性に由来することを明らかにした。ここでも，二つの汎化ラべルの組み 合わせが役割分類の精度を向上させる結果となり, ARG タグのみを使う場合に比べて, $24.07 \%$ のエラー削減を実現した。また, 我々は, 事例の少ない或いは未知の役割に対して頑健な役割分類を行うための新たな提案として，VerbNetの動詞クラス情報を用いてより詳細化された三 つの汎化指標を導入した，新たな汎化指標は動詞クラス，選択制限，意味述語であったが，実験結果は, これらの詳細化された細粒度のラベルの導入が低頻度及び未知の動詞に対する精度 を向上させることを示した. 最も高い効果が得られたのは意味述語を ARG タグと主題役割と 共に用いた場合であり, ARGタグのみを用いた場合に比べて $26.39 \%$ のエラー削減を達成した。

総じて, 我々が得た結果は, 意味役割の統語的, 意味的特徴を異なるいくつかの観点から捉え て, それらを役割の特徴として混合する方法が, 意味役割分類の精度を向上させるというもの であった。これは言い換え得れば，意味役割を異なる言語学的背景から説明した FrameNet と PropBankの情報を相互に利用すれば，さらなる精度と頑健性の向上が期待できる事を示唆して いる. 現段階では, FrameNet, PropBank, VerbNetといった, 異なる意味論に基づく資源の間 のフレーム, 及び意味役割の対応関係が明確ではなく, そのため, 資源間の意味役割を正確に 対応付けることが出来ない. そのため, 今回の実験では, FrameNet, PropBankでそれぞれの コーパスに特有の情報を利用して意味役割の汎化を行っており，これら二つのコーパスの異な る意味論を混合した場合の評価には至っていないが，今後，SemLinkなどの，異なる資源の意味役割を適切に繋ぐデータが充実してくれば，FrameNetの意味役割をPropBank の知識を用い て推定する方法や, 逆に PropBankの意味役割について, FrameNet で用いたような概念の階層的な汎化を同時に利用する方法も, 我々の分類モデルの延長上で原理的に実現可能である.ここ の意味でも, 資源間の意味役割の対応関係を記述するデータは, 意味役割付与において重要な 位置を占めると考えられる。また加えて, 今後の研究として, 低頻度や未学習の意味役割に対 してより高い頑健性を確保するためには, FrameNet や PropBankの意味論が与える汎化の指標以外にも，我々が意味役割と呼ぶ意味付きの項構造がどのような属性の束で表現されるのかを 探求していくことが，意味役割付与技術の向上のために重要である.

## 謝 辞

本研究の一部は, 文部科学省科学研究費補助金特別推進研究「高度言語理解のための意味 $\cdot$知識処理の基盤技術に関する研究」の助成を受けています。記して謝意を表します.

## 参考文献

Baker, C., Ellsworth, M., and Erk, K. (2007). "SemEval-2007 Task 19: Frame Semantic Structure Extraction." In Proceedings of SemEval-2007, pp. 99-104.

Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). "The Berkeley FrameNet project." In Proceedings of Coling-ACL 1998, pp. 86-90.

Baldewein, U., Erk, K., Padó, S., and Prescher, D. (2004). "Semantic role labeling with similarity based generalization using EM-based clustering." In Proceedings of Senseval-3, pp. 64-68.

Bejan, C. A. and Hathaway, C. (2007). "UTD-SRL: A Pipeline Architecture for Extracting Frame Semantic Structures." In Proceedings of SemEval-2007, pp. 460-463. Association for Computational Linguistics.

Chang, X. and Zheng, Q. (2008). "Knowledge Element Extraction for Knowledge-Based Learning Resources Organization." Lecture Notes in Computer Science, 4823, pp. 102-113.

Charniak, E. and Johnson, M. (2005). "Coarse-to-fine n-best parsing and MaxEnt discriminative reranking." In Proceedings of ACL 2005, pp. 173-180.

Ciaramita, M. and Altun, Y. (2006). "Broad-coverage sense disambiguation and information extraction with a supersense sequence tagger." In Proceedings of EMNLP-2006, pp. 594-602.

Fillmore, C. J. (1976). "Frame semantics and the nature of language." Annals of the New York Academy of Sciences: Conference on the Origin and Development of Language and Speech, 280, pp. 20-32.

Gildea, D. and Jurafsky, D. (2002). "Automatic labeling of semantic roles." Computational Linguistics, 28 (3), pp. 245-288.

Giuglea, A.-M. and Moschitti, A. (2006). "Semantic role labeling via FrameNet, VerbNet and PropBank." In Proceedings of the Coling-ACL 2006, pp. 929-936.

Gordon, A. and Swanson, R. (2007). "Generalizing semantic role annotations across syntactically similar verbs." In Proceedings of ACL-2007, pp. 192-199.

Kipper, K., Dang, H. T., and Palmer, M. (2000). "Class-based construction of a verb lexicon." In Proceedings of AAAI-2000, pp. 691-696.

Levin, B. (1993). English verb classes and alternations: A preliminary investigation. The Uni-
versity of Chicago Press.

Loper, E., Yi, S., and Palmer, M. (2007). "Combining lexical resources: Mapping between propbank and verbnet." In Proceedings of the 7th International Workshop on Computational Semantics, pp. 118-128.

Màrquez, L., Carreras, X., Litkowski, K. C., and Stevenson, S. (2008). "Semantic role labeling: an introduction to the special issue." Computational linguistics, 34 (2), pp. 145-159.

Moschitti, A., Giuglea, A.-M., Coppola, B., and Basili, R. (2005). "Hierarchical Semantic Role Labeling." In Proceedings of CoNLL-2005, pp. 201-204.

Moschitti, A., Quarteroni, S., Basili, R., and Manandhar, S. (2007). "Exploiting Syntactic and Shallow Semantic Kernels for Question Answer Classification." In Proceedings of ACL-07, pp. $776-783$.

Narayanan, S. and Harabagiu, S. (2004). "Question Answering Based on Semantic Structures." In Proceedings of Coling-2004, pp. 693-701.

Nocedal, J. (1980). "Updating quasi-Newton matrices with limited storage." Mathematics of Computation, 35 (151), pp. 773-782.

Palmer, M., Gildea, D., and Kingsbury, P. (2005). "The Proposition Bank: An Annotated Corpus of Semantic Roles." Computational Linguistics, 31 (1), pp. 71-106.

Shen, D. and Lapata, M. (2007). "Using Semantic Roles to Improve Question Answering." In Proceedings of EMNLP-CoNLL 2007, pp. 12-21.

Shi, L. and Mihalcea, R. (2005). "Putting Pieces Together: Combining FrameNet, VerbNet and WordNet for Robust Semantic Parsing." In Proceedings of CICLing-2005, pp. 100-111.

Surdeanu, M., Johansson, R., Meyers, A., Màrquez, L., and Nivre, J. (2008). "The CoNLL-2008 Shared Task on Joint Parsing of Syntactic and Semantic Dependencies." In Proceedings of CoNLL-2008, pp. 159-177.

Surdeanu, M., Harabagiu, S., Williams, J., and Aarseth, P. (2003). "Using Predicate-Argument Structures for Information Extraction." In Proceedings of ACL-2003, pp. 8-15.

Yi, S., Loper, E., and Palmer, M. (2007). "Can Semantic Roles Generalize Across Genres?" In Proceedings of HLT-NAACL 2007, pp. 548-555.

Zapirain, B., Agirre, E., and Màrquez, L. (2008). "Robustness and Generalization of Role Sets: PropBank vs. VerbNet." In Proceedings of ACL-08: HLT, pp. 550-558.

## 略歴

松林優一郎 (学生会員) : 2010 年東京大学大学院情報理工学系研究科・コンピュー 夕科学専攻博士課程修了. 情報理工学博士. 同年より, 国立情報学研究所$\cdot$
特任研究員. 意味解析の研究に従事. ACL 会員.

岡崎 直観（正会員）：2007 年東京大学大学院情報理工学系研究科・電子情報学専攻博士課程修了. 情報理工学博士. 同年より, 東京大学大学院情報理工学系研究科・特別研究員. テキストマイニングの研究に従事. 情報処理学会, ACL 各会員.

辻井 潤一（正会員）：1971 年京都大学工学部, 1973 年同修士課程修了. 同大学助手・助教授を経て, 1988 年英国 UMIST 教授, 1995 年より東京大学教授. マンチェスタ大学教授を兼任. TM, 機械翻訳などの研究に従事. 工博. ACL 元会長（2006 年）.


# コーパスごとの類似度を考慮した用例に基づく 感情推定手法の改善

\begin{abstract}
発話文を感情ごとに分類したコーパスを構築し，入力文と最も類似度が高い発話文 を含むコーパスの感情を推定結果として出力する用例べースの感情推定手法が提案 されている。従来手法ではコーパスを構築する際，発話テキストの収集者が個人個人で発話文の分類先を決定しているため, 分類先を決定する基準が個々によってぶ れてしまう。これにより, 例えば “希望” のコーパスの中に喜びの発話文が混じると いったことが起こり，推定成功率を下げてしまう，本稿ではこの問題を解決するた め，コーパスごとにおける入力文の形態素列の出現回数を用いて，入力文とコーパ スの類似度を定義する。そしてこの類似度を従来手法に導入した新たな類似度計算式を提案する。これにより，誤って分類されてしまった発話文の影響を緩和するこ とができる。評価実験では従来手法と比べて成功率が 21.5 ポイント向上し, 提案手法の有効性が確認できた。
\end{abstract}

キーワード：感性情報処理，類似度計算，用例ベース，N-gram
## An Improvement of Example-based Emotion Estimation Using Similarity between Sentence and each Corpus

\author{
Kenichi Mishina $^{\dagger}$, Seisi Tsuchiya ${ }^{\dagger \dagger}$, Motoyuki Suzuki ${ }^{\dagger \dagger}$ and Fuji Ren ${ }^{\dagger \dagger \dagger}$
}

Example-based emotion estimators need an emotion corpus in which each sentences are assigned with emotion tags. It is difficult to determine emotion tags for the sentence consistently because of ambiguity of emotion. As a result, there are several wrong tags in a corpus. It causes decrease in the performance of an emotion estimation.

In order to solve the problem, a new similarity between input sentence and emotion corpus is proposed. This similarity is based on frequencies of morpheme $\mathrm{N}$-gram of the both input sentence and corpus. Experimental results show that the proposed method improves emotion precision from $60.3 \%$ to $81.8 \%$.

Key Words: Affective computing, Similar calculation, Example-based, N-gram

## 1 はじめに

コミュニケーションの手段として, メールやWebの掲示板を日常的に利用するシーンは非常 に多い. メールやWebの掲示板によるコミュニケーションの特徴として, 非言語情報が欠落し ているため, 会話時に相手から感じる対人圧力が低くなり, 気軽に考えていることを書き出す ことができるメリットがあげられる (杉谷 2007). しかし一方で, メッセージの受け取り手はテ キストの内容のみから相手の考えを読み取らなければならないため, ちょっとした言葉の誤解 が, 感情的な問題へと発展していくことがある (小林 2001)，また，書き方によっては書き手の 感情が伝わりにくいことがあったり (加藤, 杉村, 赤堀 2005), 書き手はそれほど怒っていない にもかかわらず，非常に怒っているようにとらえられたりと，過剰に感情が伝わってしまうこ ともある (小林 2001). このように，書き手が思っている程, 伝えたいことが相手に伝わらない 傾向があるため (Kruger, Epley, Parker, and Ng 2005), メールやWeb の掲示板では相手に誤解 を与えやすいというデメリットを持っているといえる.

そこで我々は上記の問題点を解決するため, テキストから読み手が想起する書き手の感情を 推定し，推定結果を書き手に示すことでテキストを書き手に修正させ，相手に誤解を与えない ようにするシステムの開発を目指した研究を行っている。このようなシステムを実現するため には，読み手が想起する書き手の感情をテキスト中の発話文から推定する手法が必要となる.

発話文からの感情推定手法として, 目良らは複数の事象の格フレームタイプのうち, どれに 入力文が当てはまるかを判定し, 該当した格フレームタイプに対応する情緒計算式を用いて発話者の感情が快か不快かを判定する手法を提案している (目良, 市村, 相沢, 山下 2002). この 手法では，あらかじめ用意した情緒計算式のほかに，ユーザの嗜好情報を基にした単語に対す る好感度データを用いる。単語に限らず，文の冒頭に現れる副詞や文末表現によって話し手の 意図や心的態度を表すモダリティ (日本語記述文法研究会 2009)も, 感情推定に有用であること が考えられる。文末表現から情緒を推定する可能性についての検討を徳久らが行っており (徳久, 前田，村上，池原 2008), 文末表現と情緒の間に若干の相関がみられたと報告している.

単語や文末表現に感情の属性を振ったとしても, 単語や文末表現の組み合わせによって感情 が変化すると考えられる。そのため, 単語や文末表現を用いて感情推定を行うためには, これ らの組み合わせに対応して感情を出力するルールの作成が必要になると考えられる．ルールの 例として，例えば“嬉しい”という語に“喜び”の属性が割り振られていたとする。ここで“嬉 しいことなんてひとつもない”という文の感情を推定する場合, 推定結果としては“喜び”では なく“悲しみ”や“怒り”といった感情が出力されるべきである。“喜び”の単語が含まれている からといって，単純に“喜び”を出力してよいわけではない. ここで“悲しみ”や“怒り”を出力するためのルールを作成しておくことで, 感情推定が可能になる. しかし, このようなルー ルの作成は単語に感情の属性を割り振る作業以上にコストがかかると考えられる。この問題を
解決する方法として, 三品らは用例に基づく感情推定手法を提案している (Mishina, Ren, and Kuroiwa 2006). この手法では, 発話者が表現している感情ごとに発話文を分類した感情コー パスを用い，入力文と最も類似度が高い発話文が含まれる感情コーパスの感情を推定結果とし て得る。類似度計算には機械翻訳システムの性能のスコアを求める BLEU (Papineni, Roukos, Ward, and Zhu 2001)を用いている.この手法を実装するためには発話文を収集して感情ごと に分類した感情コーパスを構築すればよく, 先に述べた例のようなルールを作成する必要がな い. しかし, この手法は感情推定成功率が決して高くないため, 類似度の計算式を改良する必要がある.

この方法では入力文とコーパス中の各文の類似度を計算し，その最大值の文が持つ感情を出力している，そのため, 次のような特異な文によって感情推定に失敗することがある.

（1）感情が異なっていても，たまたま表現や文型が類似している文

(2) コーパスを構築する際に誤って分類された文

感情が異なるが類似している文の例として，“嫌悪”の文“嫌いなんです”と“喜び”の文“好み なんです”があげられる。ともに名詞の後に“なんです”が続く形となっており, 文型が類似し ている。ここで入力文として“好きなんです”が与えられたとき，入力文の“なんです”は二つ の文に存在しており，形態素数も同じであるため，“嫌悪”と “喜び” の文との BLEU スコアは 同じになってしまう，その結果, “嫌悪”と“喜び”が出力されてしまう。この推定結果として は“喜び”のみが出力されることが適切であると考えられる。

また，コーパスを構築する際には誤って分類される発話文を完全に取り除くことは非常に困難であると考えられる。このことから，誤って分類された発話文の影響を最小限に抑える手段 が必要となる。

本稿では三品らの手法を改善し, (1)や (2)の文による影響を抑え, 感情推定成功率を向上さ せる手法を提案する。本稿では，まず 2 章で従来手法である “BLEUを類似度計算に用いた用例に基づく感情推定手法” について述べる。次に 3 章で, 従来手法で用いられていた類似度計算式とは異なる新たな類似度計算式を提案する。また, この新たに提案する類似度計算式で, どのようにして従来手法の問題点を解決するかについて述べる。そして 4 章では従来手法と提案手法の感情推定成功率の比較を行う。また三品らの方法とは異なる感情推定の従来法として, SVM を用いた感情推定を行い, 結果を比較する. 最後に 5 章でまとめと今後の課題を述べる.

## 2 BLEU を類似度計算に用いた用例に基づく感情推定手法

## 2.1 概要

三品らによって提案された類似度計算を用いた用例に基づく感情推定アルゴリズムは次の式 で定式化される。

$
E(x)=\operatorname{argmax} \operatorname{sim}(x, s) \quad\left(s \in C_{e}\right)
$

ここで $x$ を入力文, $E(x)$ を推定結果となる感情, $C_{e}$ を感情 $e$ のコーパス, $s$ を $C_{e}$ に含まれる文, $\operatorname{sim}(x, s)$ を $x$ と $s$ の類似度を返す関数とする。三品らは $\operatorname{sim}(\cdot)$ に BLEU(Papineni et al. 2001) を用いている。この手法は，発話文を発話者の感情別に分類して構築した感情コーパスを用い ることで感情推定を行う用例べースの手法である，発話文の分類先は，発話文の収集者が発話者の感情を判定することで決定する，図 1 に発話文からの感情推定の流れを示す.まず発話者 の感情によって分類された感情コーパスを用意しておく．次に発話者の感情を推定する対象と なる発話文を入力とする。そして，各感情コーパスに含まれる発話文と入力文との類似度を求 める．最後に各感情コーパス別に，得られた類似度の最大値を求める。この類似度が入力文が 表現している感情のスコアとなる。スコアは 0 から 1 までの値をとり，値が大きいほどその感情を表しているという意味になる。得られた類似度の中で最も値が大きい類似度の感情を, 感情推定結果として出力する。この方法では図 1 における類似度の計算に BLEUを用いている.

用例ベースではない手法では，単語や文末表現への感情属性の付与や，単語や文末表現の組

図 1 用例に基づく感情推定

み合わせから感情を導出するルールを作成する必要が出てくるため，作業コストが非常に高い と考えられる。しかし従来手法のような用例べースのシステムを構築する際には，発話文を集 め, 発話者の感情ごとに発話文を分類してコーパスを構築すればよく, 用例べースではない手法と比べて作業コストが低いと考えられる。

## 2.2 BLEU

BLEU は機械翻訳システムが出力した複数の翻訳候補文から，システムの翻訳精度を評価す るための尺度である。BLEU は次のとおりに定義されている (Papineni et al. 2001).

$
\operatorname{BLEU}(x, y)=\mathrm{BP} \cdot \exp \left(\sum_{n=1}^{\mathrm{N}} \frac{1}{\mathrm{~N}} \log p_{n}(x, y)\right)
$

なお, (Papineni et al. 2001) では $\mathrm{N}=4$ を用いている. $p_{n}(x, y)$ は機械翻訳文 $x$ と人による翻訳文 $y$ における共通形態素 N-gram 数の適合率（形態素 N-gram 適合率）を返す関数であり，BP は機械翻訳文が人による翻訳文に比べて簡潔すぎることによる適合率のペナルティである。三品らの方法では，BLEUにおける機械翻訳文をコーパス中の 1 文，人による翻訳文を入力文と 変更して，類似度計算に用いている（以下，式 (2)を $\operatorname{sim}_{\mathrm{BLEU}}$ と表記する）.

## 2.2.1 形態素 N-gram 適合率

形態素 $\mathrm{N}-\mathrm{gram}$ 適合率 $p_{n}(x, s)$ は, 入力文 $x$ と感情コーパス中の 1 文 $s$ の間で共通な形態素 $\mathrm{N}$-gram が多く存在するかを表す値である，共通な形態素 $\mathrm{N}-\operatorname{gram}$ が多いほど $p_{n}(\cdot)$ は大きくなる， $x$ と $s$ を用いて, $p_{n}(x, s)$ は次のとおりに定義されている.

$
p_{n}(x, s)=\frac{\sum_{w_{n} \in G_{n}(s)} \operatorname{Count}_{n}^{*}\left(x, s, w_{n}\right)}{\sum_{w_{n} \in G_{n}(s)} \operatorname{Count}_{n}\left(s, w_{n}\right)}
$

$
\operatorname{Count}_{n}^{*}\left(x, s, w_{n}\right)=\min \left.\{\operatorname{Count}_{n}\left(x, w_{n}\right), \operatorname{Count}_{n}\left(s, w_{n}\right)\right.\}
$

ここで $G_{n}(s)$ を $s$ に含まれる“連続する $n$ 個の形態素から作られる形態素 N-gram”の集合を返 す関数とする. Count $_{n}\left(x, w_{n}\right)$ は， $x$ 中の $w_{n}$ の出現数を返す ${ }^{1} . s$ が $x$ と共通な形態素 N-gram を持っていなければ Count ${ }_{n}^{*}(\cdot)$ はすべての $w_{n}$ で 0 になるため, $p_{n}(\cdot)$ は入力文と感情コーパス 中の 1 文がどれほど共通な形態素 N-gram を持っているかの指標となる.

$p_{n}(\cdot)$ を求める例として, 形態素 unigram の適合率 $p_{1}(x, s)$ と形態素 bigram の適合率 $p_{2}(x, s)$ を計算する， $x$ を“明日からの旅行が楽しみです”,$s$ “明日がすごく楽しみです”とする。この

表 1 Count $_{1}$ と Count ${ }_{1}^{*}$ の例

表 2 Count $_{2}$ と Count Col $_{2}^{*}$ 例

ときの形態素 unigram の $\operatorname{Count}_{1}(\cdot)$ と Count ${ }_{1}^{*}(\cdot)$ の値を表 1 に示す2. 表 1 と式 (4)より, $p_{1}(x, s)$ は $1 / 2$ であることがわかる. また形態素 bigram の Count $(\cdot)$ と Count ${ }_{2}^{*}(\cdot)$ の値を表 2 に示す.表 2 と式 (4) より, $p_{2}(x, s)$ は $2 / 5$ であることがわかる. なお, 形態素 bigramには文頭や文末 を表す記号は (Papineni et al. 2001) と同様に用いていない.

## 2.2.2 適合率のペナルティ

ここでは感情コーパス中の 1 文 $s$ が入力文 $x$ に比べて簡潔すぎることによる適合率のペナル ティ BPについて説明する. $s$ が $x$ に比べて簡潔すぎる場合, $s$ に含まれるほとんどの形態素を $x$ が含んでいる可能性がある. この場合は $p_{n}$ が大きくなり, BLEU スコアが高くなってしまう. つまり，簡潔な文を数多く含んでいる感情コーパスのほうが，入力文との類似度が高くなりや すくなってしまうので，これを防ぐために $\mathrm{BP}$ が用いられる． $g(x)$ を $x$ の形態素数を返す関数 として，BPは次のとおりに定義される。

$
\mathrm{BP}=\left.\{\begin{array}{lll}
1 & \text { if } & g(x)<g(s) \\
e^{(1-g(x) / g(s))} & \text { otherwise }
\end{array}\right.
$

$x$ を明日からの旅行が楽しみです”, $s$ を明日がすごく楽しみです”としたとき, $g(x)=7$, $g(s)=6$ となるため, $\mathrm{BP}=e^{1-7 / 6} \approx 0.846$ となる. これは $s$ が短かすぎるため, 適合率へペナ ルティが課せられることを意味する.

## 3 提案手法

## 3.1 コーパスごとの出現回数を考慮したペナルティ

三品らの方法には次のような文の影響を受け, 感情推定に失敗する問題点がある.

（1）感情が異なっていても，たまたま表現や文型が類似している文

(2) コーパスを構築する際に誤って分類された文

これらの文が影響を及ぼしてしまう原因として，1 文対 1 文の類似度のみを用いて感情推定を 行っている点があげられる。これが原因で，例えば “喜び”の文を入力したとしても，この入力文と表現や文型が類似している文が “希望” のコーパスに存在していれば, 感情推定結果として “希望”が出力される可能性が非常に高くなる。また，“喜び”の文を“希望”のコーパスに分類 されてしまっていた場合, “喜び” の文を入力した時に“希望”が出力される可能性もある.

この問題を解決するために, 形態素 N-gram 適合率に対して新たなペナルティFP を導入す る。FPは入力文の形態素列が各感情コーパスにどの程度偏って存在するかを表す指標であり，各感情コーパス中の出現頻度から計算される。この指標を用いる理由は, 入力文に含まれる形態素列が，他の感情コーパスに比べて相対的に数多く出現している感情コーパスの感情を，入力文は表現している可能性が高いのではないか, と考えたためである. 入力文 $x$ において, 感情 $e$ に対するFPを次のとおりに定義する.

$
\mathrm{FP}_{n}=\frac{1}{\left|G_{n}(x)\right|} \sum_{w_{n} \in G_{n}(x)} \frac{f r e q_{C_{e}}\left(w_{n}\right)}{\sum_{c \in C} f r e q_{c}\left(w_{n}\right)}
$

ここで $C$ をすべての感情コーパス, freq $C_{e}$ を感情コーパス $C_{e}$ における $w_{n}$ の出現回数を返す 関数とする．FPは，たまたま 1 文対 1 文の類似度が高かったとしても，類似度計算に用いてい る文を含むコーパスにおいて入力文の形態素列の出現回数が少なければ, 求められる類似度を 低く押さえる効果を持つ。これにより，(1)と (2)の文による影響を改善する.

一般に，一部の文書に偏って存在している単語を表す指標として, TF-IDFがよく用いられて いる，その意味では，FPのかわりにTF-IDFを用いる方法が考えられる。しかしTF-IDF は, ある感情コーパス中の絶対的な出現頻度（ $t f$ 値）を, 他の感情コーパスにも出現しているかど うか, という形態素 N-gram の一般性を示す值（idf値）を用いて修正したものであり，ある感情コーパス中での出現頻度が低い形態素 N-gram であれば，たとえその感情コーパスに偏って 存在していたとしても，その値は低いものとなる。そのため, TF-IDF を類似度計算に導入し たとしても，FPよりその効果は薄いものとなることが予想される.

## 3.2 RECARE

従来手法で用いられていた $\operatorname{sim}_{\mathrm{BLEU}}$ に $\mathrm{FP}_{n}$ を導入し, 更に式を適切に変更することで, “類似

しているが感情が異なる文”や, “コーパス構築時に誤って分類されてしまった文”を含むコーパ スに対して頑健な感情推定を行うための新たな類似度計算式 RECARE ${ }^{3}$ 定義する. RECARE は二つの文に類似した表現が含まれており，かつ二つの文が同じ感情を表しているかどうかを 表すスコアとなる.

まず, 式 (2)で定義される $\operatorname{sim}_{\mathrm{BLEU}}$ に対し, 前節で定義した $\mathrm{FP}$ を導入する (これを $\operatorname{sim}_{\mathrm{BLEUFP}}+$ と表記する).

$
\begin{aligned}
\operatorname{sim}_{\mathrm{BLEUFP}}(x, s) & =\mathrm{BP} \cdot \exp \left.\{\sum_{n=1}^{\mathrm{N}} \frac{1}{\mathrm{~N}} \log \left(\mathrm{FP}_{n} \cdot p_{n}(x, s)\right)\right.\} \\
& =\mathrm{BP} \cdot \exp \left.\{\frac{1}{\mathrm{~N}} \log \prod_{n=1}^{\mathrm{N}}\left(\mathrm{FP}_{n} \cdot p_{n}(x, s)\right)\right.\} \\
& =\mathrm{BP} \cdot \exp \left.\{\log \left.\{\prod_{n=1}^{\mathrm{N}}\left(\mathrm{FP}_{n} \cdot p_{n}(x, s)\right)\right.\}^{\frac{1}{\mathrm{~N}}}\right.\} \\
& \left.=\mathrm{BP} \cdot\left(\prod_{n=1}^{\mathrm{N}}\left(\mathrm{FP}_{n} \cdot p_{n}(x, s)\right)\right)^{\frac{1}{\mathrm{~N}}}\right.\}
\end{aligned}
$

式 (7) では $\mathrm{FP}_{n} \cdot p_{n}(\cdot)$ の相乗平均を求めていることになるが, $p_{n}(x, s)=0$ となる $n$ が存在し たとき， $\operatorname{sim}_{\mathrm{BLEUFP}}+=0$ となる. これは $n$ が高次になるほど起こりやすくなると考えられる ( $n$ が高次になるほど入力文とコーパス中の 1 文との共通な形態素 N-gram が現れにくくなると 考えられるためである).このままでは, 低次の $p_{n}(\cdot)$ の情報も失われてしまう．しかし，単語 や文末表現の組み合わせによって発話文の感情が決まるとするならば, “隣接する形態素同士の 組み合わせからなる低次の形態素 N-gram”の適合率は積極的に利用すべきである。高次の形態素 N-gram の適合率が 0 になったとしても，低次の形態素 N-gram の適合率を破棄する理由はな い. 以上のことから, 形態素 N-gram の適合率の相乗平均を求めることは, 用例ベースの感情推定には不向きであると考え, 提案する新たな類似度計算式では形態素 $\mathrm{N}-\mathrm{gram}$ の適合率の相加平均を求めることとした，以上のことから，RECARE を次のとおりに定義する.

$
\operatorname{sim}_{\mathrm{RECARE}}(x, s)=\mathrm{BP} \cdot \frac{1}{\mathrm{~N}} \sum_{n=1}^{\mathrm{N}} \mathrm{FP}_{n} \cdot p_{n}(x, s)
$

## 4 評価実験

## 4.1 提案手法と従来手法の比較

提案手法では従来手法と比べ, 下記の 2 点が異なる.
^{3}$ Robust Emotion CAtegorization with Rough Emotion Corpora
}

（1） 各感情コーパスにおける“入力文の形態素 N-gram”の出現回数によって決まるぺナルティ FP の導入

(2) 形態素 N-gram の適合率の相加平均による類似度計算評価実験では上記の 2 点によって感情推定の成功率がどの程度変化するのかを調べる。

## 4.1.1 実験設定

実験には，基本的な感情であり，収集したコーパス中に比較的頻出した “喜び”, “怒り”, “嫌悪”, “希望”の 4 種類の感情カテゴリを用いた。各感情コーパスには 838 文の発話文が含まれ る. 発話文は Web 上の掲示板から 8 名の作業者によって収集した. 発話文の分類先となる感情 コーパスは, 作業者の主観によって決定した。また発話文の分類先は複数選ぶことを許容した.

入力となる文とその感情は次の手順で決定した。まず，感情コーパスに含まれない，別途掲示板から収集した文を無作為な順番で被験者 4 名に提示し, 被験者に文の感情を判定させる。こ のとき，判定結果としての感情を “喜び”, “怒り”, “嫌悪”, “希望” の中から 0 個以上を選げせ る. 被験者 4 名のうち 3 名以上の判定結果が一致した文を各感情ごとに 51 文ずつ用意し, 入力文として用いる。 なお, この予備実験で入力文に割り振られた感情の数はすべて 1 つとなった.感情推定の成功条件として, 出力として得られる 4 つの感情類似度のうち, 最も値が大きい 類似度の感情と, 入力文の感情が一致すれば成功とした.

上記の (1), (2)の効果を確かめるために, 実験に用いた類似度計算式は三品らの方法 (式 (2)) と RECARE（式 (8)）に加え，BLEUにFPのみを導入した $\operatorname{sim}_{\mathrm{BLEUFP}}$ （式 (7)）と, RECARE から FP を除いた $\operatorname{sim}_{\text {RECAREFP- }}$ を用いた。 $\operatorname{sim}_{\text {RECAREFP- }}$ を次のとおりに定義する。

$
\operatorname{sim}_{\text {RECAREFP}}-(x, s)=\mathrm{BP} \cdot \frac{1}{\mathrm{~N}} \sum_{n=1}^{\mathrm{N}} p_{n}(x, s)
$

## 4.1.2 実験結果と考察

類似度の計算に用いる $w_{n}$ の $n$ の値を変化させながら, 推定成功率を計算した. 図 2 に感情推定の成功率を示す. 三品らの方法で最も推定成功率が良好だったのは $\mathrm{N}=2$ を用いたときの $60.3 \%$ であり, 提案手法では $\mathrm{N}=3$ を用いたときの $81.8 \%$ であった. ここでは, まず (1)の FPを 導入したことによる成功率の影響について考察する。図 2 より, FP 無しの $\operatorname{sim}_{\text {RECAREFP- で最 }}$ も良好だった成功率 $57.8 \%(\mathrm{~N}=3)$ と比べて, FP 有りの提案手法 $\operatorname{sim}_{\mathrm{RECARE}}$ の成功率 $81.8 \%$ が 大きく上回っていることがわかる。同様に，FP 無しの従来手法 $\operatorname{sim}_{\mathrm{BLEU}}$ の成功率 $60.3 \%$ と比 ベて, FP 有りの $\operatorname{sim}_{\mathrm{BLEUFP}}$ で最も良好だった成功率 $77.9 \%(\mathrm{~N}=1)$ が大きく上回っている.こ れらのことから, 形態素 $\mathrm{N}-\mathrm{gram}$ の適合率の平均の求め方に関わらず，FP の導入が成功率の向上に寄与していることがわかる.

次に (2) の，類似度計算に形態素 N-gram の適合率の相加平均を用いたことによる成功率の影

相乗平均, FP 無 L( BLEU)

$\Rightarrow$ 相乗平均, FP 有り( BLEUFP+ )

$\nabla$ 相加平均, FP 有り( RECARE)

$\triangle$ 相加平均, FP 無L( RECAREFP- )

図 2 感情推定成功率

響を考察する. $\mathrm{N}=2$ 以降で $\mathrm{N}$ が増加するにつれて, 三品らの方法の成功率は減少しているが,提案手法においては成功率の減少は認められなかった。このことから, 形態素 N-gram の適合率の相加平均を類似度計算に用いることは, 高次の $\mathrm{N}$ を用いたときの成功率の改善に効果があ ることがわかる.

なお，類似度計算に相乗平均を用い，FP を導入した方法 $\left(\operatorname{sim}_{\mathrm{BLEUFP}^{+}}\right)$は， $\mathrm{N}$ を増加させ ると急激にその性能を落としていた。この原因は, $\mathrm{N}$ が大きくなると共通の形態素 $\mathrm{N}$-gram が コーパス中に存在しなくなる割合が増加するため, 式 (6) において, 1 文中のすべての $w_{n}$ で $\operatorname{freq}_{C_{e}}(w)_{n}$ が 0 になる, という場合が増加したためであった. 提案方法においては, 類似度計算に相加平均を用いることでこの問題を解決し，Nが大きい場合においても高い性能を維持し ていることがわかった。

このような場合は, 共通形態素 $\mathrm{N}-$ gram が存在しないため, FP と同様に形態素 $\mathrm{N}$-gram 適合率 $\left(p_{n}(x, s)\right)$ も 0 になる. そこで, $\operatorname{sim}_{\mathrm{BLEUFP}+}$ だけではなく, 同じように相乗平均を利用して いる従来方法 $\left(\operatorname{sim}_{\mathrm{BLEU}}\right)$ も影響を受けると考えられる。本実験においては, 従来方法における 類似度計算に式 $(2)$ を用いている. この式では $p_{n}(x, s)$ の対数をとっているために, 実装上, も し $p_{n}(x, s)=0$ であった場合は, 非常に小さな正の值にフロアリングした上で対数を求めてい た. そのため, $\operatorname{sim}_{\mathrm{BLEUFP}}+$ のように急激に性能を落とすことはなかったと考えられる．この ことを確認するため, 式 (2)を式 (7) と同様, 対数を用いない形に変形した上で，フロアリン グをせずに実験を行ったところ， $\operatorname{sim}_{\mathrm{BLEU}}$ も $\operatorname{sim}_{\mathrm{BLEUFP}}+$ と同様， $\mathrm{N}$ が大きくなるとその性能 を急激に落とす結果となった。

## 4.1.3 感情推定に有効な形態素 N-gram

提案方法（や三品らの方法）においては, 各感情コーパス中に含まれる形態素 N-gramのう ち, 感情ごとに出現頻度に偏りがあるものが, 感情推定において重要な意味を持つ. そこで, ど のような形態素 N-gram が提案方法にとって有効に働いたのか, といったことについて調査を 行った.

感情推定実験において, 三品らの方法では感情判定に失敗し, 提案方法で成功した入力サン プルを抽出し, その中に含まれるすべての形態素 N-gram について, 各感情コーパス内での出現頻度を調べた. 特に正解感情のコーパスに偏って頻出している形態素 N-gram を表 $3 \sim 6$ に示

表 3 喜びの文の感情推定に寄与していた形態素 N-gram のコーパス別出現回数の一部

表 4 怒りの文の感情推定に寄与していた形態素 N-gram のコーパス別出現回数の一部

表 5 嫌悪の文の感情推定に寄与していた形態素 N-gram のコーパス別出現回数の一部

表 6 希望の文の感情推定に寄与していた形態素 N-gram のコーパス別出現回数の一部

す.これを見ると，「喜び」の“ありがとう／感動詞”や“১／名詞”，「怒り」の“むかつく／動詞”,「希望」の “たい／助動詞，です／助動詞” 等, 感情を表現するであろうと思われる形態素 N-gram が感情推定に寄与していたことがわかる.

一方,「喜び」の “でし／助動詞，た／助動詞”や「嫌悪」の “顔／名詞” 等, 一見すると感情 とは無関係と思われる形態素 N-gram も存在した。これらについては, 今後別の角度からの検証（例えば，Web 掲示板において喜びを表現する時は，「〜でした」のような丁寧な表現が用い られることが多い，といった仮説を立て，統計的に検証する）を行う必要があるが，今まで発見されていなかった事実を暗示するものである可能性がある。また，「怒り」に“職場／名詞”, “仕事／名詞”,「嫌悪」に“上司／名詞”, “会社／名詞”がはいっていることも，「Web の掲示板

においては, 仕事に対する不満や愚痴等が多い」といった事実を暗示しているのかもしれない.

## 4.2 FP の導入効果の検証

FP はコーパス中に含まれる以下のふたつの文の影響を低減する目的で提案された.

（1）感情が異なっていても，たまたま表現や文型が類似している文

(2) コーパスを構築する際に誤って分類された文

FP がこうした文に対して，どの程度頑健性を持っているかを検証するため，感情コーパス内に 存在するこうした文を増減させ，その時の性能を評価した。また，FPのかわりにTF-IDF を用 いた時の性能についても評価を行った.

## 4.2.1表現や文型が類似している文の影響

“入力文と感情が異なっているが，たまたま表現や文型が類似している文”の影響について， こうした文を各感情コーパスから削除した時の性能を評価することで検証を行った。

“たまたま表現や文型が類似している文”として “入力文とは感情が異なるコーパス中におい て，BLEU スコアが高い文”と定義し，各感情コーパスにおいて，このような文を BLEU スコ ア順に上位から $n$ 文削除した。また条件を揃えるため，正解となる感情コーパスからは乱数で $n$ 文削除した.

感情の推定成功率を図 3 に示す。ここで横軸は，コーパス 1 つあたりの除去した文数を表す. この結果を見ると, 三品らの方法, 提案方法どちらも “たまたま表現や文型が類似している文”

図 3 表現等が類似している文の影響

を削除することで性能が向上していることから，これらの文の影響を受けていたことがわかる。 しかし, 提案方法では文を一切削除しなかった場合においても比較的性能の低下が抑えられて いることから，その目的である“たまたま表現や文型が類似している文”による影響を抑えるこ とができていることがわかった.

## 4.2.2 感情分類を誤った文の影響

次に，各感情コーパス中で感情分類を誤った文を意図的に増加させ，その時の性能を評価し た. 具体的には，各感情コーパスから $n$ 文を乱数で抽出し，それらを他の感情コーパスへと均等に混入させることで, 感情分類を誤った文を増加させた。

感情推定成功率を図 4 に示す。ここで横軸は，コーパス 1 つあたりの混入させた文数を表す. この結果を見ると, 混入する文が増加するに従って両方法ともに性能が低下し, 感情分類を誤っ た文の影響を大きく受けていることがわかる。しかし, 両者の性能差（表 7）はわずかではある が拡がっており，提案方法の方が若干ではあるが，こうした文の影響を低減できていることが わかった。

図 4 感情分類を誤った文の影響

表 7 感情分類を誤った文に対する性能差

## 4.2.3 TF-IDF の導入との比較

FP の有効性を確認するため，FPのかわりに TF-IDF を用いた実験を行った。ここでは，TFIDF を FP と同様, 0 から 1 の範囲の値とするため, $t f$ 值として拡大正規化索引語頻度 (北, 津田, 獅々掘 2002)を用い, また $i d f$ 値も通常の $i d f$ 値 (Jones 1972)を式 (13) を用いて正規化し,下記のような計算式による TF-IDF 值を用いた.

$
\begin{aligned}
& \operatorname{sim}_{\mathrm{TFIDF}}(x, s)=\mathrm{BP} \cdot \frac{1}{\mathrm{~N}} \sum_{n=1}^{\mathrm{N}} t f i d f_{n} \cdot p_{n}(x, s) \\
& t f i d f_{n}=\frac{1}{\left|G_{n}(x)\right|} \sum_{w_{n} \in G_{n}(x)} t f_{n} \cdot i d f_{n} \\
& t f_{n}=\left.\{\begin{array}{lll}
0.5+0.5 \cdot \frac{\text { freq }_{C_{e}\left(w_{n}\right)}}{\max _{c \in C} f r e q_{c}\left(w_{n}\right)} & \text { if } & \text { freq }_{C_{e}}\left(w_{n}\right)>0 \\
0 & \text { if } & \text { freq }_{C_{e}}\left(w_{n}\right)=0
\end{array}\right. \\
& i d f_{n}=\left.\{\begin{array}{lll}
\frac{\log \frac{|C|}{D\left(w_{n}\right)}+1}{\log |C|+1} & \text { if } & D\left(w_{n}\right)>0 \\
0 & \text { if } & D\left(w_{n}\right)=0
\end{array}\right.
\end{aligned}
$

ここで $D\left(w_{n}\right)$ は $w_{n}$ を含むコーパスの数を返す関数である.

TF-IDF を用いた感情推定実験の結果を図 5 に示す。この結果を見ると，すべての $\mathrm{N}$ におい て FPのほうが 2.5 ポイント〜8 ポイント程度上まわっており, FP の有効性が認められた.

図 5 TF-IDF を用いた感情推定結果

## 4.3 提案手法と SVM の比較

三品らの方法とは異なる従来手法の一つとして, 良好なクラス分類が可能な SVM (Support Vector Machine) による感情推定を行い, 提案手法との比較を行った. 本稿では学習, 分類を行

## 4.3.1特徵ベクトルの生成

SVM を用いて感情推定を行うために，まず感情コーパスの各発話文から特徴ベクトルを生成 する必要がある．今回は特徴べクトルとして, 1 文中に出現する $w_{n}$ の出現回数をべクトルして 表現したものを用いた，特徴べクトルを生成するために，まず考慮する $w_{n}$ の最高次数 $\mathrm{N}$ を決 め, それ以下の各 $n$ について, 感情コーパスから得られる形態素 N-gram すべてに通し番号を 振った（このとき，形態素 N-gram が低次であるほど若い番号を振ることとした），次に，感情 コーパスから取り出した一つの発話文 $s$ の形態素 N-gram を $m, s$ における $m$ の出現回数を $f$, それ以外の次元の值を 0 とする特徴べクトルを生成した. 例えば最高次数を $\mathrm{N}_{\text {max }}=2$ とした 場合, 形態素 unigram と形態素 bigram を用いて発話文から特徴ベクトルを生成する. この時,特徴ベクトルの次元数は, コーパス中に出現するすべての unigram と bigram の種類数となる. $\mathrm{N}_{\text {max }}=1$ とした特徴ベクトルの例として, “ありがとうございました!! !という発話文の場合, 各形態素 unigram に割り振られる番号を表 8 のとおりとすると, “ありがとうございまし た！！”の特徴べクトル $v$ は以下のように表現される.

$
v=(0,1,0,1,1,0,0,1,2,0, \ldots, 0)
$

## 4.3.2 クラス分類モデルの構築

クラス分類モデルは感情コーパスの数と同じ数だけ構築する．例えば，“怒り”の分類モデル を構築する場合, ポジティブデータを“怒り”のコーパスに含まれる発話文から生成した特徴べ

表 8 形態素 unigram に対応する番号

^{4}$ http://svmlight.joachims.org/
}

クトル，ネガティブデータを“怒り”以外の感情コーパスに含まれる発話文から生成した特徴べ クトルと定義し, 学習を行う.

本稿で学習に用いるポジティブデータの量はネガティブデータの量に比べて少なく，デフォ ルト值では良好な分類性能が得られない。そこで cost factor $\left(C_{+} / C_{-}\right)$の計算には，Morik らが 定義した次の式を用いた (Morik, Brockhausen, and Joachims 1999).

$
\frac{C_{+}}{C_{-}}=\frac{\text { number of negative training examples }}{\text { number of positive training examples }}
$

cost factor 以外の学習パラメータはデフォルト値を用いた。 また学習パラメータで与えるカー ネルのタイプもデフォルトである線形カーネルを用いた.

## 4.3.3 実験設定

実験に用いた感情コーパスは， 4.1 節と同様に “喜び”, “怒り”, “嫌悪”, “希望” の各 838 文 であり，入力文も 4.1 節と同様の文を用いた. 成功条件は, 入力文の感情と出力感情が一致す れば推定成功とした。

## 4.3.4実験結果と考察

表 9 に推定成功率を示す. SVM で最も高かった推定成功率が $\mathrm{N}=2$ を用いたときの $80.4 \%$ で あり，提案手法の中で最も高かった成功率 $81.8 \%$ と比べると 1.4 ポイント程度の差になってい る.このことから, 発話文の感情推定において, 適切な $\mathrm{N}$ を選択すれば，SVM と提案手法は 同程度の感情推定成功率が得られることが示された。

しかし，表 9 を見ると， $\mathrm{N}_{\text {max }}>2$ を用いた場合の SVMによる推定精度が急激に減少してい ることがわかる．これは“感情コーパス中で出現回数が少ない高次の形態素 N-gram”を素性と して利用している事例に対する過学習が原因であると考えられる。一方提案方法においては, $\mathrm{N}$ を増加させていってもその性能にはほとんど差がなく, “出現回数が少ない高次形態素 N-gram” の影響をほとんど受けていないことがわかる。これは, RECAREの計算を相加平均で行ったこ

表 9 SVM と提案手法の感情推定成功率

との効果であると考えられる.

一般に感情コーパス中の文数などによって最適な $\mathrm{N}$ は異なることが考えられ，SVM の場合 は，実際の応用に際し評価実験を通して最適値を探索することが必要である。一方 RECAREで あれば，十分大きな $\mathrm{N}$ を設定しておくことで，（計算量や記憶容量等の問題を除けば）常に最適な推定精度を得ることが可能となる。

更に, 例えば 6 形態素からなるある特定の文末表現がある特定の感情に数多く出現する, と いったことがあった場合, SVMであれば，全体として考慮すべき形態素の長さを決定する必要 があるが，RECARE ならば，その特定の文末表現を利用するためだけに $\mathrm{N}=6$ と設定してし まっても，悪影響をほとんど及ぼさない。こうしたことから，SVMに比べて RECAREが有効 であることが示された。

## 5 まとめ

本稿では, “感情が異なっていても，たまたま表現や文型が類似している文”や, “コーパスを 構築する際に誤って分類された文”の影響を改善し, 高い精度で感情推定を実現するための類似度計算手法である RECARE を提案した。

入力文で使われている形態素 N-gram が, 各感情コーパス間でどの程度偏っているか, といっ たことを表す值であるFP を定義し，BLEUをべースとした類似度計算に導入した．更に，高次の N-gram に対する学習サンプル数の不足からくる，いわゆる「ゼロ頻度問題」に対処する ため, 相乗平均で計算される BLEUをべースとした類似度を変形し, 相加平均を用いて類似度計算を行う方法を提案した。

評価実験の結果, 従来手法に比べ, 推定精度が $60.3 \%$ から $81.8 \%$ と大きく向上し, また問題 としていた 2 種類の文のうち，特に“たまたま表現や文型が類似している文”の影響を効果的に 低減させていることを確認した。 また形態素 N-gram を素性に用いたSVMによる感情推定に比 べ，提案手法では $\mathrm{N}$ が大きい場合に推定精度の低下がほとんど見られず，発話文の感情推定に は提案手法が有効であることを示した.

今後, 「希望」や「自信」,「脅迫」といった更に複雑な感情を加えた時の性能の評価, また,必要があれば推定結果として複数の感情を出力することが可能となるようなアルゴリズムの改善について検討を行う予定である.

## 謝 辞

本研究の一部は, 科学研究費補助金（挑戦的萌芽研究, 課題番号 21650030）の補助を受けて 行われた。記して謝意を表す.

## 参考文献

Jones, K. S. (1972). "A statistical interpretation of term specificity and its application in retrieval." Journal of Documentation, 28, pp. 11-21.

Kruger, J., Epley, N., Parker, J., and Ng, Z.-W. (2005). "Egocentrism over e-mail: Can we communicate as well as we think?" Journal of Personality and Social Psychology, 89 (6), pp. 925-936.

Mishina, K., Ren, F., and Kuroiwa, S. (2006). "An emotion similarity calculation using dialog sentence corpora." In Proceedings International Symposium on Artificial Intelligence and Affective Computing 2006, pp. 168-176.

Morik, K., Brockhausen, P., and Joachims, T. (1999). "Combining statistical learning with a knowledge-based approach — a case study in intensive care monitoring." In Proceedings 16th International Conf. on Machine Learning, pp. 268-277.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2001). "BLEU: a method for automatic evaluation of machine translation." In Proceedings 40th Annual Meeting on Association for Computational Linguistics, pp. 311-318.

徳久雅人, 前田浩佑, 村上仁一, 池原悟 (2008). 対話行為と情緒を解析するための文末表現パ ターンの作成. 電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション, 107 (480), pp. 45-50.

北研二, 津田和彦, 獅々掘正幹 (2002). 情報検索アルゴリズム. 共立出版, 東京.

小林正幸 (2001). なぜ、メールは人を感情的にするのか. ダイヤモンド社.

日本語記述文法研究会 (編) (2009). 現代日本語文法. くろしお出版.

加藤由樹，杉村和枝，赤堀㑆司 (2005). 電子メールを使ったコミュニケーションにおいて生じ

る感情への電子メールの内容の影響. 日本教育工学会論文誌, 29 (2), pp. 93-105.

杉谷陽子 (2007). メールはなぜ「話しやすい」のか?：CMC(Computer-Mediated Communication)

における自己呈示効力感の上昇. 社会心理学研究, 22 (3), pp. 234-244.

目良和也, 市村匠, 相沢輝昭, 山下利之 (2002). 語の好感度に基づく自然言語発話からの情緒生起手法. 人工知能学会論文誌, 17 (3), pp. 186-195.

## 略歴

三品 賢一：2006 年徳島大学工学部知能情報工学科卒業. 2008 年同大大学院先端技術科学教育部システム創生工学専攻博士前期課程了。2010 年同博士後期課程中退. 在学中は感性情報処理の研究に従事. 電子情報通信学会会員.
土屋 誠司：2002 年三洋電機株式会社入社. 2007 年同志社大学大学院博士後期課程修了. 博士 (工学). 同年徳島大学大学院助教. 2009 年同志社大学理工学部インテリジェント情報工学科助教. 主に，知識処理，意味解釈の研究に従事. 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会各会員.鈴木 基之：1993 年東北大学工学部情報工学科卒業. 1996 年同大大学院博士後期課程を退学し, 同大大型計算機センター助手. 博士 (工学)。2006 年〜2007 年英国エジンバラ大学客員研究員. 2008 年徳島大学大学院ソシオテクノサイ エンス研究部准教授, 現在に至る。音声認識・理解, 音楽情報処理, 自然言語処理, 感性情報処理等の研究に従事. 電子情報通信学会, 情報処理学会, 日本音響学会, ISCA 各会員.

任福継：1959 年生. 1982 年北京郵電大学電信工程学部卒業. 1985 年同大学大学院計算機応用専攻修士課程修了. 1991 年北海道大学大学院工学研究科博士後期課程修了. 博士 (工学). 広島市立大学助教授を経て，2001年より 徳島大学工学部教授. 現在に至る. 自然言語処理, 感性情報処理, 人工知能 の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, 電気学会, AAMT, IEEE 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/