# 日本語述語項構造解析タスクにおける項の省略を伴う事例の分析

松林優一郎
}

本稿では, 日本語述語項構造解析における中心的課題である項の省略を伴う事例の 精度改善を目指し，現象の特徴を詳細に分析することを試みた。具体的には，文内 に照応先が出現する事例（文内ゼロ照応）に対象を絞り，人手による手がかりアノ テーションと統語的・機能的な構造を元にした機械的分類の二種類の方法により事例を類型化し，カテゴリ毎の分布と最先端のシステムによる解析精度を示した。分析から, 特に照応先と直接係り関係にある述語 $\mathrm{O}$ が対象述語 $\mathrm{P}$ と項を共有する事例 が全体の $58 \%$ 存在し, O と P の間の統語的・意味的関係が重要な手がかりであるこ とを数値的に示したほか，手がかりの種類や組み合わせが広い分布を持つこと，各手がかりが独立に確信度を上げる事例だけでなく, 局所的な手がかりの連鎖が全体 で初めて意味を成す事例が一定数存在することを明らかにした。

キーワード：述語項構造解析，エラー分析，ゼロ照応，項の省略
## Error Analysis of Argument Ellipsis Completion in Japanese Predicate-argument Structure Analysis

\author{
Yuichiroh $^{2}$ Matsubayashi ${ }^{\dagger}$, Shu Nakayama ${ }^{\dagger}$ and Kentaro Inui $^{\dagger}$
}

This paper provides a deep analysis of linguistic phenomena related to argument ellipsis, one of central issues for improving the accuracy of Japanese predicate-argument structure analysis. We specifically focus on cases where a target predicate and its ellipsed argument appear in the same sentence, and we categorize instances based on two criteria: a clue annotation by a human annotator and systematic categorization based on both syntactic and semantic structure. We then show both the distribution of instances among the categories and the accuracy for each category achieved by a state-of-the-art system. As a result, we show that $58 \%$ of the intra-sentencial zero anaphora are the case when an argument of a target predicate $P$ is shared with another predicate $O$ that is in a direct syntactic dependency relation with the argument. This fact implies that analyzing syntactic and semantic relations between $O$ and $P$ is important for Japanese predicate-argument structure analysis. We also show that the distribution of clue combinations is very broad. Finally, we discovered that not only are there cases where each clue independently increases the certainty, but we also discovered cases where clues became relevant when all of them composed a chain.

Key Words: Predicate-Argument Structure Analysis, Semantic Role Labeling, Error Analysis, Zero Anaphora, Argument Ellipsis


## 1 はじめに

述語項構造は，文章内の述語とその項の間の関係を規定する構造である。例えば次の文,

(1)[太郎 $]$ は [手紙 $]$ を書いた。

では，「書く」という表現が述語であり，「太郎」と「手紙」という表現がこの述語の項である.述語と項の間の関係は，それぞれの項に，述語に対する役割を表すラべルを付与することで表現される。役割のラベルは解析に用いる意味論に応じて異なるが，例えば表層格を用いた解析では，上記の「太郎」には「ガ格」，「手紙」には「ヲ格」のラベルが与えられる．このように，文章中の要素を述語との関係によって構造的に整理する事で, 複雑な文構造・文章構造を持った文章において「誰が，何を，どうした」のような文章理解に重要な情報を抽出することができる.このため, 述語項構造の解析は機械翻訳, 情報抽出, 言い換え, 含意関係理解などの複雑な文構造を取り扱う必要のある言語処理において有効に利用されている (Shen and Lapata 2007; Liu and Gildea 2010).

述語項構造解析の研究は，英語に関するコーパス主導の研究に追随する形で, 日本語においても 2005 年以降に統計的機械学習を用いた手法が盛んに研究され，これまでに様々な解析モデルが提案されてきた。表 1 は，今日までの日本語の述語項構造解析に関する研究報告における主要な解析器の精度をまとめたものである. 表には, 新聞記事に対する解析精度（F 值）を, (1)述語（もしくはイベント性名詞。以下，これらを併せて述語と呼ぶ）の項となる文字列が述語

表 1 NAIST テキストコーパス $1.4 \mathrm{~b}$ 上での精度比較（F 値）

ただし, 既存研究のデータセットはそれぞれ訓練, 評価に用いた事例数が異なっており, 厳密な比較を行うことは難しい.

と同一文節内にある事例（文節内事例と呼ぶ），(2) 述語の項となる文字列と述語の間に直接的な統語係り受け関係が認められる事例（係り有り事例と呼ぶ），(3) 述語の項となる文字列が文内に現れるものの, 述語との間に直接的な統語係り受け関係が認められない事例（文内ゼロ照応事例と呼ぶ），(4) 述語の項となる文字列が文の外に現れている事例（文間ゼロ照応事例と呼ぶ）の別に記した。なお，「文節単位」は項として適切な文字列表現の最右の形態素が含まれる文節を正解の範囲として評価したものであり,「形態素単位」はその最右の形態素を正解の範囲として評価したものである。既存の解析器では直接係り受け関係がある比較的容易な事例においては $90 \%$ 弱と高い精度が得られているものの, 統語的な手がかりがより希薄となるゼロ照応の事例においては, 文内ゼロ照応で $50 \%$ 弱, 文間ゼロ照応で $20 \%$ 前後 ${ }^{1}$ と精度が低い水準にとどまっており，解析の質に大きな開きがあることが認められる.

この結果は, 日本語ゼロ照応解析の高い難易度を物語っているが, 一方で, ゼロ照応の問題がタスク全体に占める割合は十分に大きく無視できない. 表 2 には，標準的な訓練・評価用コー パスである NAIST テキストコーパス (NTC) 1.5 版における項の数 2 を示したが, ここから項構造解析全体の約 $40 \%$ はゼロ照応に関わる問題であることが分かる. したがって, 述語項構造解析の研究ではこれら省略された項の解析精度をいかに向上させるかが課題となる.

しかし, 「ゼロ照応の問題」と一括りに言っても, 並列構造や制御動詞構文など比較的統語的な現象として説明可能なものから, 文脈や談話構造を読み解かなければならないもの, 基本的な世界知識を手がかりに推論しなければならないものなど様々であるにもかかわらず, 現状では既存のシステムがどのような種類の問題を解くことができ，あるいは解くことができないのかについて明確な知見が得られていないばかりでなく, 現象の分布すら知られていない.

そこで, 我々はこの難解な項の省略解析へ適切にアプローチするために, 現象の特徵を出来る限り詳細に分析し把握することを試みる。本稿では, ゼロ照応に関する事例のうち, 手始め

表 2 NAIST テキストコーパス 1.5 内の各ラベルの事例数



に探索のスコープが比較的短く, 様々な統語的パターンが観測できる文内ゼロ照応の問題に的を絞り, 各事例が持つ特徴を構文構造分析と人手による手がかり分析という二つの観点から類型化し，カテゴリごとの分布と最先端システムによる解析精度を示す。具体的には以下の二つの方法で分析を進め，今後の研究で注力すべき課題を考慮する際の参考となるべく努めた.

本研究の成果は次のとおりである。(1) 文内ゼロ照応の事例において, 既存の解析モデルがモデル化している述語間の項の共有関係・機能動詞構文・並列構造といった特徴が, 実際の問題にどの程度影響があるかを確かめるために， NTC や京都大学テキストコーパス (KTC) の正解アノテーション情報を利用してこれらの特徴を持つ事例を機械的に分類し, 各カテゴリの事例数や現状の解析精度，各カテゴリが理想的に正答できた場合の精度上昇幅等を示した．結果として, 特に, 対象述語 $\mathrm{P}$ と, 項と直接係り受け関係にある述語 $\mathrm{O}$ と間で項を共有している事例の割合が文内ゼロ照応全体の $58 \%$ 存在することが分かったほか，これらの中には，P と Oが直接的な並列構造や機能動詞構文の形になっているものばかりでなく, 局所的な構造の組み合わせによって解が導かれる事例が一定数存在することが分かった.

(2) 同様に，文内ゼロ照応の事例についてコーパスより抽出した少量のサンプルを用いて，人間が正解を導き出す場合にどのような手がかりを用いるかについてアノテータの内省をもとに分析し，考えられうる手がかりの種類を列挙するとともに，その分布を示した，手がかりの種類を幅広く調査するため, 従来より解析器の学習・評価に用いられている NTC に加えて, 多様なジャンルの文章を含む日本語書き言葉均衡コーパス (BCCWJ) に対する述語項構造アノテー ションデータからもサンプルを収集した。この結果，手がかりの種類とその組み合わせに関する分布が大きな広がりを持っていることが明らかとなった。また, 手がかりの組み合わせに関する性質として，それぞれの手がかりが独立に項候補の確信度を上げるように働くものに加えて, (1)の分析で得られた知見と同様に, 機能動詞や述語間の意味的なつながりを考慮すべきものなど，局所的な解析結果を順を追って重ねていくことで初めて項候補の推定に寄与する種類の事例も多く存在することが明らかとなった。加えて，それぞれの手がかりを用いる事例に対する既存システムの解析精度より，既存のモデルは統語構造や選択選好を用いる事例に関しては相対的に高い解析精度を示すものの, 世界知識や文脈を読み解く必要がある事例や, その他未だ一般化されていない雑多な手がかりを用いる事例に関しては低い精度にとどまっていることが分かり, これらの現象に対する解析の糸口を模索していく必要があることを明らかにした.

## 2 関連研究

ゼロ照応問題に対して解析の手がかりとするための情報は, これまでにも様々考えられてきた. 具体的に推定モデルに組み込まれた例としては, 一般的な統語係り受けパス情報の他に，(1)各述語がどのような語を項として取りやすいかという選択選好の情報として, 名詞, 格助詞, 述
語の共起に関する統計値を用いる手法 (Iida, Inui, and Matsumoto 2006; Iida and Poesio 2011; Imamura, Saito, and Izumi 2009; Sasano, Kawahara, and Kurohashi 2008; Sasano and Kurohashi 2011) や，(2) 語が提題化された場合など，文章中のそれぞれの位置における，特定の語の顕現性を表すスコアを用いる手法 (Sasano et al. 2008; Sasano and Kurohashi 2011; Imamura et al. 2009; Iida and Poesio 2011) などがある.

また, 複数述語間の項の共有に関する情報として, (3) 支援動詞辞書を用いる手法 (小町, 飯田,乾, 松本 2006) や，(4) スクリプト的な知識を学習する手法 (飯田, 徳永 2010; 大内, 進藤, Kevin,松本 2015)，（5）それぞれの述語の格スロットに出現する項の類似度を用いる手法 (Hayashibe， Komachi, and Matsumoto 2011), (6) 直前の述語に対する項構造の解析結果を直後に出現する述語の解析に利用する手法 (Imamura et al. 2009; 林部，小町，松本 2014) などが存在する.

そのほか, 技術資料としては示されていないものの, 述語項構造解析器 ChaPAS の 0.74 版 (渡邊 2013) $\mathrm{KNP}($ 黒橋・河原研究室 2013) は, (7) 項構造解析の前段の処理として並列構造解析を行っている.

しかし一方で, そもそもゼロ照応問題にどのような現象がどの程度あらわれるのか, あるいは, 特定の解析モデルが焦点をあてている課題について，どの程度の割合を解くことが出来たかといった定量的な分析はこれまでになされておらず，今後具体的にどのような種類の問題を中心に取り組めばよいか不明瞭な状態となっている.

## 3 分析対象

## 3.1 分析用データ

本稿では, 分析用データとして NAIST テキストコーパス (NTC) および日本語書き言葉均衡コーパスに対する述語項構造アノテーションデータ (BCCWJ-PAS) の二種類のデー夕を利用する.

NAIST テキストコーパスは, 約四万文の新聞記事に対して項構造アノテーションがなされているコーパスであり, 従来より述語項構造解析の研究において統計的機械学習における訓練や解析モデルの評価に利用されてきたものである。このコーパスは分析に十分なデー夕量を含んでいるため，4 節の構造パターンを利用した分析においてはこのデータを中心に分析を進める.

一方で，項構造のうち特にゼロ照応の関係については，新聞のような多数の読者を想定して客観的に事実を述べる場合と，主観的に意見を述べる場合，レビュー記事や歴史書のように前提となる主題が存在する場合, 対話文や QA などの話者が入れ替わる場合などのように，文章のドメインや構造に応じて本質的に異なった情報が手がかりとされることが想定されるため, このような異質な文章ジャンルをバランスよく含む BCCWJに対して分析を行うことで, 出来る限り多様な手がかりの種類を明らかにすることを目指すほか，新聞記事デー夕における手がか

り分布との対比により, ドメイン依存性の問題も議論する.

BCCWJ-PAS については, 国語研究所・NAIST・東京工業大学で開発が進められている日本語書き言葉均衡コーパスに対する述語項構造アノテーションデータの 2014 年 7 月時点の版のうち, BCCWJ の Core-A セクションにおける以下の 22 文書 1,625 文からなる部分を評価・分析用データとして利用する.
- OW: OW6X_00000 OW6X_00010 の 2 記事
- OY: OY01_00082 OY04_00001 OY04_00017 OY04_00027 OY10_00067 OY12_00005 の 6 記事
- PB: PB12_00001 PB2n_00003 PB40_00003 PB42_00003 PB50_00003 PB59_00001 の 6 記事
- PM: M12_00006 PM24_00003 PM25_00001 PM26_00004 の 4 記事
- PN: PN1b_00002 PN1c_00001 PN1d_00001 PN3b_00001 の 4 記事

BCCWJ-PAS におけるアノテーションは，NTC とおよそ同等の形式で行われている，たたし, この時点で作業者一名によるアノテーションしか行われていなかったため, 同一データに対して第二者によるアノテーションを再度行い，両者のずれを修正したものを利用する 3.

## 3.2 分析対象システムと評価方法

本稿では, 現状の最先端システムにおける事例カテゴリ, 手がかりカテゴリごとの解析精度を測る目的で, 松林 \& 乾の解析器 (松林, 乾 2014) を例に取り, 文内ゼロ照応解析について分析を行う，述語項構造解析の既存研究においては, 利用しているデー夕の違いもあり, 正確に精度を比較することが難しいが，表 1 の概算値比較に基づけば，松林 \& 乾のシステムは文内ゼ口照応の問題において現状での最高精度を達成するシステムの一つであるといえる.

松林 \& 乾の解析器は, 文内の項のみを対象に解析を行うモデルである. 入力として文と解析対象の述語位置を受け取り, 文中の各形態素について, ガ・ヲ・ニである尤度を点推定の線形分類モデルで推定し，文中で最大の尤度を取る形態素を項として出力する。より具体的には，以下のアルゴリズムで出力を決定する.

（1）訓練データ内の統計により，項となることが稀な品詞を持つ項候補を枝刈りする，具体的には, IPA 品詞体系において「名詞」「動詞」「助動詞」「終助詞」「副助詞」「未知語（未定義語)」の品詞をもつ形態素のみを項候補とする。この枝刈りは, 訓練データの $99 \%$ 以上の正解項を保持しつつ, 候補を $36 \%$ 削減する。

（2） L2-正則化 L2-loss のSVM を用いて，項候補に対して $\{$ ガ， ヨ，ニ，NONE $\}$ の多值分類を行うモデルを学習し，各候補について述語毎にそれぞれのラベルに対するスコアを求める.


（3）述語毎に，文内候補から $\{$ ガ，尹,ニ\}の各ラベルについて最もスコアの高いものを一つずつ選ぶ. $\{$ ガ， ヨ，ニ\}のそれぞれについて個別の閥值を定めておき，選出した最尤候補が閥値を超えていれば，その形態素を対象述語の項として認定し，格ラベルと共に出力する。闇值は訓練データでの $\mathrm{F}$ 値が最大となるように調整する.

利用している素性についての詳細は松林 \& 乾 (松林, 乾 2014) を参照されたいが, 主要なものとして, 統語係り受けパス（係り受け方向のみのもの, 品詞や主辞, 助詞等で語彙化したもの），大規模データより取得された（項, 格助詞, 述語）の共起情報，見出し語を名詞クラスタにより汎化した素性等が含まれている.

注意すべき点として, 松林 \& 乾の実験では学習・推定に正解の統語係り受け木を与えたのに対して, 本稿では, KTC と同形式の正解統語係り受け関係データを利用できない BCCWJ と設定を合わせるために，公開されているCaboCha 0.66 モデルの出力結果を用いて学習・推定した結果を用いる。このため，本稿で報告する精度は，元論文で報告されたものより解析精度が低い。

また, 日本語述語項構造解析の分野では, 一般に利用するデー夕や問題設定の違い, デー夕フォーマットに対する前処理の違いにより, 既存研究との正確な精度の比較が困難な状況にある。この状況を改善する目的で，本稿におけるシステムの解析精度評価については，言語処理学会第 21 回年次大会ワークショップ「自然言語処理におけるエラー分析」(関根，乾 2015）の述語項構造解析班報告 (松林他 2015) において提案された評価手法にもとづいて算出した $\mathrm{F}$ 値を用いる。この評価手法は, （項, 格, 述語相当語）のタプルに関して, システムが出力した項の位置が正解データと文節単位で一致しているかを，適合率，再現率， $\mathrm{F}$ 値によって評価するものであるが，各システムの形態素区切りや文節区切りの差異を緩和するよう工夫されたものである（詳細は (松林他 2015)の 2.1 節を参照されたい)。ただし, 京大形式と NAIST 形式の二つの異なる格ラベル形式で解析するシステム同士を比較するために導入された，システム出力と正解の項とのアラインメントを取る処理については，今回はNAIST 形式の格ラベルを用いた解析システムである松林 \& 乾のシステムのみを分析対象とするため, ラベルアラインメント無しの方法を選択した。また, 以降の分析において，正解の構文構造を必要とする分析手法においては, システムの述語項構造出力を正解の係り受け構造がアノテーションされた NTC（京大コーパス形式）の形態素・文節区切りと対応が取れるよう変換し，正解の統語係り受け木を用いて分析を行う.

本節以降, 解析精度とは松林 \& 乾のシステムの精度のことを指す. 評価デー夕における文内ゼロ照応事例の統計値と解析精度は表 3 のとおりである.
表 3 NTC 1.5 評価デー夕における文内ゼロ照応事例数及び解析精度

## 4 構造パターンの自動分類による事例カテゴリ分析

本節では, 既存の解析モデルがモデル化している述語間の項の共有関係・項の類似度, 機能動詞構文，並列構造といった特徴が，実際の問題にどの程度影響があるかを確かめるために，特に文内ゼロ照応の事例に焦点を当て, NTC や京都大学テキストコーパス (KTC) の正解アノテーション情報を利用して上記の特徴を持つ事例を機械的に分類し, 各カテゴリの事例数や現状の解析精度，各カテゴリが理想的に正答できた場合の精度上昇幅等を示す.

既存研究において, 複数の述語間の構造的・意味的な関係を解析に用いる場合の一般的な方法は，述語間の何らかの関係を通して，関係が比較的簡単に求まる述語一項ぺアの情報を難易度の高い述語一項ぺアの解析の手がかりに利用するというものである。このような情報を用いることができる事例を近似的に抽出するために，次の方法を用いて事例を分類する。例えば，図 1 の文において，述語相当の名詞「勉強」（P で表記）に対する力゙格の項（A で表記）は「太郎」であるが，これらは直接係り受け関係にない。そこで，対象の述語 $\mathrm{P}$ と項 $\mathrm{A}$ だけではなく, $\mathrm{A}$ と直接係り受け関係にある語 $\mathrm{O}$ を考える。もし，語 $\mathrm{O}$ も項構造を持っており，かつ，Aが $\mathrm{O}$ の項でもあるならば，P と O は項を共有しているということになり，直接的に項を推定しゃすいAとＯ９関係を，より間接的な関係となっている A と $\mathrm{P}$ の関係推定に利用できる可能性がある。したがって，このような $(\mathrm{A}, \mathrm{O}, \mathrm{P})$ の組を取り出すことで，複数の述語間の構造的・意味的な関係を利用する手法が被覆する事例の数や，そのような事例における既存システムの現状の精度を分析することができる。

ただし，事例によっては文中に A として適切な複数個の共参照関係にある語が存在する場合がある ${ }^{4}$.そのような場合, (i) 「P よりも前にある語を優先する」(ii)「Pに単語位置がより近い語を優先する」の二つのルールを順に適用することで Aを一意に定める。また一般に，A は直接係り受け関係が認められる語の候補として，係り先文節の中にある語および複数の直接係り元文節の中にある語が考えられるため，O を一意に定めるための方法が必要である．本稿では，Aと P の関係において最も関わりが深いと思われる語 $\mathrm{O}$ を以下の方法で選択する。 （手順 1）A に対する係り元文節，係り先文節の主辞を O の候補として抽出する。


図 1 文内の直接係り受け関係にない述語と項の例

（手順 2）（手順 1）で抽出した候補のうち, $\mathrm{P}$ との統語係り受け距離がもっとも近いものを残す. (手順 3）（手順 2）までで得られた候補のうち，Pに単語位置が最も近いものを一つだけ選ぶ. この方法を用いれば，例えば次のような文について， $\mathrm{O}_{2}$ より $\mathrm{O}_{1}$ を優先して選択することが出来る。

(2) a. [ [豊か $\left.{ }_{\mathrm{P}}^{\mathrm{P}}\right]$ で [興味深い $\left.\mathrm{O}_{1}\right][$ 世界 $\mathrm{A}]$ が [広がって $\mathrm{O}_{2}$ ] いる。

b. 手品を [ Lた $\left.\mathrm{O}_{2}\right]\left[\right.$ 人 $\left._{\mathrm{A}}\right]$ が周りに [ [驚き $\left.\mathrm{P}\right]$ を [与える $\left.\mathrm{O}_{1}\right]$ 。

このように定めた $\mathrm{A}, \mathrm{O}, \mathrm{P}$ を利用して，分析対象コーパス中に現れる文内ゼロ照応の事例を詳細に分析するために，以下の 7 つの指標で事例を分類した.
- 対象述語 $(\mathrm{P})$ の品詞 (動詞, サ変名詞, その他)
- $\mathrm{P}$ に対する項 (A)の格（ガ， ヲ，ニ）
- $\mathrm{A}$ と直接的に統語係り受け関係がある語 $(\mathrm{O})$ の種類（動詞述語, 名詞述語, その他の述語, 述語ではない)
- $\mathrm{A}, \mathrm{O}, \mathrm{P}$ の出現順序
- O が述語相当語の場合, O と P が A を項として共有しているか
- $\mathrm{O}$ とが $\mathrm{A}$ を項として共有している場合,
- 二つの格ラベルが一致しているか
- $\mathrm{P}$ とが並列構造で繋がっているか, $\mathrm{P}$ が $\mathrm{O}$ の項であるか, それ以外
- $\mathrm{O}$ との間の係り受け距離

$\mathrm{O}$ が述語相当語，つまり項構造を持つ場合については， $\mathrm{P}$ とが A を共有しているかに加えて, さらに $\mathrm{P}$ と $\mathrm{O}$ が並列関係かどうか, 広義の機能動詞構文に典型的な $\mathrm{P}$ が $\mathrm{O}$ の項となる形になっているかといった観点で分類する。また，O と P で A に対する格関係ラベルが異なる場合は, 二つの述語間で主題や動作主が保存される場合に比べてより難易度の高い問題であると想定して区別して分類する.

$\mathrm{A}, \mathrm{O}, \mathrm{P}$ の出現順序は, 連体修飾などの構造的な特徴を簡潔にとらえるのに役立つ. $\{\mathrm{A}, \mathrm{O}$, P\} の置換として 6 通りの順序組がありうるが, これらを統語係り受け関係・述語一項関係と併記して示すと, 図 2 のようになる. このうち OAP と OPA は上述のO 選択するアルゴリズ么に従えば出現することはない. AOP, APO は最も一般的な構造であり, 並列構造や機能動詞構文（APO の一部）などの構造を含む．POA は $\mathrm{O}$ が A を連体修飾する形であり，この一部には $\mathrm{P}$ との間に構造的な関係が認められる可能性がある. PAO は $\mathrm{P}$ の項が $\mathrm{P}$ より後ろの $\mathrm{O}$

(a) APO

(b) AOP

(c) PAO

(d) POA

(e) OAP

(f) OPA

図 $2 \mathrm{~A}, \mathrm{O}, \mathrm{P}$ の出現順序と統語係り受け関係・述語一項関係の概観実線は直接統語係り受け関係, 破線は述語一項関係。OAP と OPA はO を選択するアルゴリズム上, 出現することはない.

に関連して出現する形である。

分析対象のデータとして，KTCによる正解統語係り受け情報，並列構造情報が利用できる NTC 1.5 版を利用する。コーパスは, 述語項構造解析の研究で一般的に利用されている Taira et al.(Taira, Fujita, and Nagata 2008)の分割に基づいて，訓練，開発，評価用データの区分に分割し, 評価データにおいて事例カテゴリ別に出現頻度と既存システムの解析精度を測定する。 また，各事例カテゴリにおける具体的な例文の提示や，事例ベースの分析には開発データを利用する。

## 4.1 分析結果にもとづく考察

表 4 に分析の結果を示した。まず，格助詞ごとの分布を見ると，文内ゼロ照応の事例はガ格 $81 \%$, ヲ格 $14 \%$, 二格 $4 \%$ と, 殆どの事例がガ格の省略である。解析精度はガ格で最も高く, ヲ格, 二格は殆ど正答が難しい状況となっている。述語側の品詞の分布は動詞 $48 \%$, サ変名詞 $38 \%$ ，その他 $13 \%$ であり，主に動詞とサ変名詞がその大半を占める．品詞別の精度は，動詞が最も高く $45 \%$ 弱, 形容詞が最も低く $31 \%$, その他は概ね $40 \%$ 前後となっている.

次に，Aの直接係り先である O との関係を見ると，まず $\mathrm{O}$ の品詞は動詞が $60 \%$ と強い偏りを見せており，また，全体の $74 \%$ で項構造を持っていることが分かる。さらにこれらの項構造を持つ $\mathrm{O}$ うち, $\mathrm{P}$ と項を共有しているものの割合は約 $78 \%$ と高く, 文内ゼロ照応全体でみても O と P の間に項の共有がある事例が $58 \%$ と半数以上存在することが分かった. これは，並列構造解析や, 機能動詞構文, スクリプト知識などを代表とした, 項構造間の何らかの関係を利用して解ける可能性のある事例が比較的多数存在することを示している.

システムの精度をみると, 項共有の有無によって解析精度に約 $20 \%$ の大きな開きが見られる. これは，松林 \& 乾のシステムは述語構造間の高次の関係を明示的にモデル化していないものの，機能語や主辞情報を含む係り受けパスが項共有の情報をある程度とらえているためと考えられる。

次に，O と P が項を共有している場合のより詳細な分析として,「二つの述語間で格ラベル

が一致しているか」,「P と $\mathrm{O}$ が並列構造で繋がっているか, あるいは $\mathrm{P}$ が $\mathrm{O}$ の項であるか, それ以外か」という二つの指標で事例を分類した結果を述べる。まず，二つの述語で格ラベルが一致しているものは項を共有している事例の $80 \%$ を占めており，更に，格ラベルが異なる場合と比べて $30 \%$ 弱ほど精度が良いことが分かった。次に，P と Oが並列構造で繋がっているものは項を共有する事例の $15 \%$ ，P が O の項である事例（機能動詞構文や制御動詞構文などの事例を含む）は $10 \%$ と比較的少量に留まっており，その他の事例が $75 \%$ と大多数であることが分かった。一方，より明確な手がかりがある並列構造や，O, Pが述語一項関係になっているものは, 解析精度が $65 \sim 67.5 \%$ とそれ以外の事例に比べて高い数値を示す結果となった。これも，前述のとおり松林 \& 乾のシステムでは解析モデルとして項構造の関係を明示的に扱ってはいないながらも，少なからずこれらの現象の特徴をとらえているためと考えられる．また，並列構造や機能動詞構文の形の事例に関して相対的に高精度が得られていることは, これらの事例がゼロ照応解析の有望な手がかりとなっていることを示す証拠であり, 明示的な並列構造解析や機能動詞・制御動詞の辞書的な取り扱いによって精度が更に向上する可能性を示唆していると言える。

表 5 に A, O, P の位置ごとの事例数と解析精度を示した。主要部終端型である日本語では

表 $5 \mathrm{~A}, \mathrm{O}, \mathrm{P}$ の語順, PO 間の係り受け距離別の解析精度

APO，AOP の割合が多く，この形が全体の $77 \%$ を占めている。続いて，O が Aを連体修飾する形の POA，述語 $\mathrm{P}$ と $\mathrm{A}$ の係り先 $\mathrm{O}$ が項 $\mathrm{A}$ を挟む形の PAO の順となっている。解析精度は $\mathrm{APO}$ の語順で最も高く, $\mathrm{F}$ 値で $58 \%$ を達成している。これは前述の並列構造や機能動詞構文のほとんどが APO の語順を取っているためと考えられるが，一方で，二番目に多く，同様に O と P の並列構造を含むと考えられる AOP の語順では， F 值 $27 \%$ と解析精度に大きな開きが見られるのが興味深い.

P とＯの間の係り受け距離と事例数の関係を見ると 1 が $50 \%, 2$ が $24 \%, 3$ が $13 \%$ とおよそ距離に線形に分布している。一般に係り受け距離が遠くなるほど解析精度は低下していくが, $\mathrm{P}$ と O の間に直接係り受け関係が見られる事例では $53 \%$, 特にこのうち APO の語順を取るものについては $65 \%$ と比較的高い精度で解析出来ていることが分かった.

## 4.2 項共有を伴う事例のエラー分析

4.1 節の分析から，文内ゼロ照応の半数以上が，項と直接係り関係にある述語との項共有を伴うことがわかった。項共有を伴うケースは，それを伴わないケースに比べて手がかりを求めやすく, 今後の性能向上の糸口となる可能性が高い. 一方で, 解析対象述語 P のゼロ照応の項 $\mathrm{A}$ が，A と直接係り受け関係にある述語 $\mathrm{O}$ と項共有を伴う事例のうち, $\mathrm{P}$ と $\mathrm{O}$ が直接的に並列構造となっている，もしくは機能動詞構文に典型的な述語 $\mathrm{O}$ が項として $\mathrm{P}$ をっているものの割合は合わせて $25 \%$ 程度にとどまっていた。そこで，我々は項共有を伴う残り $75 \%$ の事例のうち, 松林 \& 乾のシステムで解析エラーとなったものを分析し, どのような情報を用いて複数の述語にまたがる項の関連性をとらえることができるかを分析した.

具体的には，文内ゼロ照応にあたる述語一項ぺアについて， 4.1 節の分析カテゴリのうち， $\mathrm{P}$ と O が項 $\mathrm{A}$ を共有しており，P と O が並列関係でなく，P が O の項となっていない事例について, 開発データ上で松林 \& 乾のシステムが正しい項の位置を当てられなかった事例（偽陰性の事例）を無作為に 50 事例抽出し，これらを人手で分析した。表 6 には，分析した事例をカテゴリ化し，その分布を示した。以下では，それぞれのカテゴリについて簡単に説明する。なお,例文は実際に分析した開発セット中の事例であるが，必要に応じて文構造を簡略化してある.述語の並列構造・広義の機能動詞構文・モダリティ表現の組み合わせ

4.1 節の分析では, P と O が直接的に並列構造となっている, もしくは機能動詞構文に典型的な述語 $\mathrm{O}$ が項として $\mathrm{P}$ をっているもののみを扱ったが，実際にはこれらの局所的な問題の組み合わせによって, 長距離の述語項関係が導き出せる事例が存在する。例えば，次の文では「行政改革委員会」は直接的には「開き」にかかっており，この「開き」 と文末尾の「決めた」が並列関係となっていることから，この二つの述語が主語を共有していることが分かる，さらに，この「決めた」という述語と解析対象の述語「意見具申する」が機能動詞構文の形をとっていることから，「決める」と「意見具申する」の主
表 $6 \mathrm{P}$ と $\mathrm{O}$ が項 $\mathrm{A}$ を共有するもののうち, $\mathrm{P}$ と Oが並列関係でなく, $\mathrm{P}$ が $\mathrm{O}$ の項ではない事例のエラー カテゴリ分布

語が同一であると推定でき, 結果として「具申する」のガ格が「行政改革委員会」であることが導かれる。

行政改革委員 [会ガ] は第二回会合を[開きO] 、行革推進方策について政府に意見具申 $[$ する $\mathrm{P}]$ ことを決めた。

また，モダリティ相当表現が複合する形もよく見られた．以下の例では，「強めており」 と「方針 $($ だ)」が並列関係であるが,「求める方針だ」は「求めるつもりだ」相当の表現であり, このことから, 「強めており」と「求める」の主語が同一であることが導かれる。

める ${ }_{\mathrm{P}}^{\mathrm{P}}$ 方針。

## 係り受けで連鎖する述語・名詞間の意味的関係

統語的・機能的な構造だけからは項の共有が導けないが, P と A の係り受けパスの内側にある述語や名詞の間に，その意味的な関係により項構造の伝播が認められる事例。例えば，次の例では「訪ね」と「要請した」が並列構造であり，その統語関係から主語を共有していることが判断できるが，「訪ね」の目的語である「党首」と「要請した」の述語一項関係は統語的には導けない.しかし, 常識的なスクリプト的知識に基づけば,「Aを訪ね、要請した」は，「Aに要請するために A を訪ねた」と類推できる。その結果を受けて, さらに機能動詞構文の構造により「Aに協力を要請する」は「Aが協力する」 へ,「Aが推進へ協力する」は「Aが推進する」へと読み替えられ，最終的に解析対象述語「推進」のガ格として「党首」を取りうることが導かれる。

への協力を要請した。

## 発言者の認識

文中に発話の引用が含まれ，発話文中の動作主が，発話者であるような事例。このような事例では, 発話内容の範囲, および発話者の特定が解析の手がかりとなる.

研究 [グループガ] は、中心に存在する天体はブラックホール以外に [考え $\mathrm{P}$ ] られないと [結論づけたO]。

## 機能語相当表現の認識

複数の形態素をひとまとまりとして一つの文法的機能を持つ複合辞を認識することで，解析の手がかりとして適切な単位を得ることができる場合がある。例えば，以下の例では「の場合」が提題化の機能相当の表現であり, この部分を一つの副助詞相当とみなせば，「佐藤氏」と「競合する」は直接係り受け関係にある.

佐藤 [氏丶 $\left.{ }_{\text {カ }}\right]$ の $[$ 場合 $\mathrm{O}]$ 、現状では新進党の海部俊樹党首と競合 [する $\left.\mathrm{P}_{\mathrm{P}}\right]$ が (後略)

## 世界知識を用いた推論が必要

文内の情報から述語項関係が読み解けるが，その推定に知識推論が必要と思われる事例.例えば，下の例で「支持する」のガ格とされている「自治労」は，直接的には「中執見解を了承した」という事実だけが言及されており，特段の知識がない場合は「支持する」 と「自治労」は結びつかない. ただし, ここで中執とは中央執行部のことで, 自治労は基本的に中央執行部の意見を会議で承認し, 組合全体としてそれに従うという知識があれば，「支持しないとの中執見解を了承した」という表現から，中央執行部の「支持しない」という意思決定を了承するならば，自治労は支持しない，という関係が読み解ける。

[自治労ガ] は十一日、東京都内のホテルで全国委員長会議を [開きO] 、社会党の山花貞夫・新民主連合会長らによる新党準備会は支持 $\left[L_{\mathrm{P}}\right.$ ] ないとの中執見解を了承した。

## 文脈・背景知識が必要で一文からは判断不可能

下記の例では, 解析対象述語「除名」の選択選好からヲ格は人であることがわかり，また文中に出現する人物は「山花氏ら」しかいないが，除名されるのが山花氏らであるか

どうかを判断するための十分な情報が文中には存在しない.

山花氏 $\left[\right.$ ら $\left._{\text {э }}\right]$ は $[$ 除名 $\mathrm{P}]$ 処分を行わないよう執行部に $[$ 働きかけてO] いる。

カテゴリは, 既存研究で扱っている現象の延長上にあり比較的取り扱いが明瞭な統語的・機能的な現象および単純な共起関係から推定できる選択選好をまとめた「統語的・機能的・選好的」と, 現状では取り扱いが難しい知識を用いた推論や談話構造解析を含む「知識・談話的」,「その他」の三つに大別した. 表 6 から, 従来研究で扱う現象の延長として説明できる「統語的・機能的・選好的」の割合が全体の $46 \%$ 程度, 知識推論や談話構造理解などのより高度な知識処理が必要と思われる事例の割合が $32 \%$ 程度存在することがわかった.

特徴的な点としては， 4.1 節の分析では, $\mathrm{P}$ と $\mathrm{O}$ が直接的に並列構造となっている, もしくは機能動詞構文に典型的な述語 $\mathrm{O}$ が項として $\mathrm{P}$ をっているものなど, 特定の現象が単独で出現する場合のみを区別して扱っていたが，実際にはこれらが部分問題として出現している例が多く見られた．特に，動詞や名詞の項構造が，係り受けの鎖の中で連鎖的に関連しているケー スにおいては, これらの部分的な手がかり同士は, 相補的に確信度を高め合っているのではなく, 統語的関係として隣り合う項構造どうしの関係の連鎖を順に解析することで目的の解にたどり着く事例が多く見られた.このような事例は特に「述語の並列構造・広義の機能動詞構文・ モダリティ表現の組み合わせ」，「係り受けで連鎖する述語・名詞間の意味的関係」，および「世界知識を用いた推論が必要」のカテゴリによく見られた。この結果を受けて, 次に，分析対象事例中に「解析対象述語 P と項を共有し, かつ並列構造にある述語が存在する」「解析対象述語 $\mathrm{P}$ と項を共有し，かつ $\mathrm{P}$ を項に取る述語が存在する」事例を調べることで, これらの現象の解析が正答に直接的にあるいは部分問題として間接的に寄与するであろう事例の数を調べた。また, この際, エラー分析中に顕著に出現した現象である「提題化表現」「発話引用」の事例についても分析に含めた.

表 7 より, 第一に，項が文内で「は」「について」「の場合」などの機能語相当表現で提題化

表 7 事例カテゴリ毎の事例数と解析精度

されている事例はゼロ照応全体の $39 \%$ 存在しており, 文外での提題化とあわせて全体で約半数が提題化の標識を手がかりとできる事例であることが分かる。提題化されている事例では提題化されていない事例に比べて相対的に高い解析精度を示しているが，一方で，文内ゼロ照応の問題のほとんどがガ格を推定する問題であることを鑑みれば，提題化の情報は強い手がかりと想像されるにもかかわらず，現状では提題化されながらも必ずしも正答できない事例が少なからず存在しており，ゼロ照応解析の問題の中に，複雑な現象が絡み合っていることを容易に想像させる。

第二に, 項を共有している述語との並列構造が項特定の部分的な手がかりとして含まれる事例がゼロ照応問題全体の $13 \%$ 弱を占め, 機能動詞構文などに典型的な「P と項を共有し， かつ $\mathrm{P}$ を項に取る述語が存在する」事例が $19 \%$ 弱を占めることがわかった．特に後者の事例は, $\mathrm{P}$ が $\mathrm{A}$ と直接係り受け関係にある $\mathrm{O}$ の項となっている場合の事例数に比べて 3 倍強となっており, 異なる述語間の項構造に関する 2 次以上の特徵量を解析モデルに組み込むことの重要性を示唆している. 表 6 で示した具体的なエラー事例の分類からも，「係り受けで連鎖する述語・名詞間の意味的関係」「述語の並列構造・広義の機能動詞構文の組み合わせ」など，少なくとも $\mathrm{P}$ と O が項を共有する事例の $26 \%$ 程度がこのような複数の述語間の項構造の組み合わせを考慮しなければならない問題であった。

発話文の引用に典型的な「述語が鉤括弧の中にある」事例も全体の $16 \%$ 弱と無視できない割合を占めており，特別の解析を行う必要性を示唆している.

## 4.3 解析精度の理想値

表 8 には，分析対象のカテゴリのうち，今回の分析で特に焦点を当ててきた項の共有が手がかりとなりうる事例について，各々が理想的に正答できた場合の精度上昇幅を参考値として示す。この数値は, 解析対象のシステムについて, 偽陽性の結果はそのままに, 偽陰性の結果を

表 8 解析精度の理想値

過不足なく正答出来たとした時の精度を示したものである。ただし, 「項共有 (並列構造)」「項共有 (P が $\mathrm{O}$ の項)」以外の項目については, 4.2 節で示したサンプリングによるエラーの分布推定に基づいた概算値である。並列構造や広義の機能動詞構文について，それぞれを局所的に解いた場合にゼロ照応全体に与えるインパクトは $\mathrm{F}$ 値で 5 ポイント程度であるのに対して, 局所的な構造の組み合わせを通じて解を得られる種類の事例まで正答した場合， $\mathrm{F}$ 値で 13 ポイン卜程度の上昇を見込めることが分かる。また，これに加えて発言者や提題化された実体・概念,機能語相当表現の正確な認識が達成された場合で $\mathrm{F}$ 値が $60 \%$ 程度となる．精度 $60 \%$ 以上を実現するためには，現状で述語項構造解析の文脈ではあまり取り組まれていない，世界知識を用いた推論や，談話解析などの技術を取り込むか，もしくはそのような後段の処理につなげるための適切な問題設定やインターフェースを用意する必要がある.

O と P が項を共有する事例について, その適合率が $100 \%$ 近くに達した場合でも，文内ゼロ照応全体の $\mathrm{F}$ 值は $70 \%$ 強である。文内ゼロ照応の $42 \%$ は項の共有がない，より手がかりの少ない事例であり, この部分でどのような特徴が手がかりとなりうるかについては今後の分析課題である.

## 5 人間の直感にもとづく手がかりアノテーションによる分析

前節では, 既存研究において焦点が当てられた項の共有関係を背景に, 特定の構造を持つ事例を機械的に分類することで文内ゼロ照応における現象の分布を明らかにした．本節では，特定の事前知識に依存せずにゼロ照応解析に対する手がかりを幅広く調査することを目的として, コーパスよりランダムに抽出した少量のサンプルに対して，人間が正解を導き出す際に根拠とする手がかりの種類を分析する.

具体的な手続きとして, 述語項構造アノテーションデータの一部に, 人手により表 9 のよう

表 9 手がかりアノテーションの例

 &  &  \\

な, 正解分析結果を導き出すための根拠となる手がかりのカテゴリラベルを付与し, 次の項目を調査する。
- 解析に必要な手がかりの種類とその組み合わせの種類

・各手がかりを必要とする事例の分布

・ 各手がかりを必要とする事例に対する既存システムの解析精度

以降では，まず，分析に利用するデータのサンプリング方法について説明し，次に，具体的なアノテーションの方法について述べる。その後, アノテーション結果を利用した手がかりカテゴリの分布に関する分析やシステムの解析精度について詳しく議論する.

## 5.1 データのサンプリング方法

手がかりアノテーションの対象データとして, 述語項構造がアノテートされたコーパスより,文内ゼロ照応の事例と判断される（述語，項，格）の三つ組を一事例として，少量のデータを無作為にサンプルする．本節における分析では，手がかりの種類を幅広く調査するために， 4 節で利用した NTC に加えて, BCCWJに対する述語項構造アノテーションデータからも手がかりアノテーションを行う事例をサンプルした. 抽出対象となる NTC の仕様では, 一般に項は共参照クラスタとして表現されているが, ここでも 4 節と同様の方法で対象の形態素を一意に定める.

一般に，コーパス中の格の出現頻度はガ格に強い偏りがあり，小規模のサンプリングではヨ・二格の数が極端に少なくなるという問題がある。述語一項の関係においては, 格毎に起こりうる現象の分布が異なると考えられるため，手がかりの種類や組み合わせを俯瞰するためには， ガ・ヨ・二格それぞれについて一定数分析を行うのが適切と考えられる。しかしながら，前節までの分析においては，NTCについてガ・ヲ・ニ格全体に対する解析精度を中心に議論を進めていることから，NTC についてはコーパス中のガ・ヲ・二格の分布に従い事例をサンプルし，一方で，BCCWJについては文書ジャンル毎に格ごとのサンプル数を固定してサンプリングを行うこととした.

具体的に, NTCではデータ全体を Taira et al. (2008) と同様の方法で訓練・開発・評価のデータ区分に分け，開発データから文内ゼロ照応に関する 100 事例を無作為にサンプルした. BCCWJ では，評価データとして用意した BCCWJ Core-A セクションにおける OW（白書），OY（ブログ), $\mathrm{PB}$ (書籍), $\mathrm{PM}$ (雑誌), $\mathrm{PN}$ (新聞）から，ジャンルごとにガ・ヲ・ニそれぞれの格を 20 事例ずつランダムサンプルすることを試みた，ただし，実際には，特定の文書ジャンルに関して文内ゼロ照応に関する十分な事例数がない場合があり ${ }^{5}$, 合計では 240 事例となった. NTC および BCCWJコーパスからサンプルした事例における格の分布は表 10 に示す.

表 10 サンプルデータにおける格の分布

## 5.2 手がかりアノテーションの方法

アノテータには，サンプルされた（述語，項，格）の三つ組，及び，当該の述語と項が含まれる文が表 9 の例文の闌に表記されているような形式で与えられる。アノテータはこれに対して，あらかじめ定められている手がかりのカテゴリラベルを付与することを試みる。格関係を判断するにあたって複数の手がかりが必要な場合は, 判断に最低限必要となるラべルをすべて列挙し，ラベルの組み合わせとして表現する 6.

アノテーションの際には，カテゴリラベルを付与するだけでなく，アノテータがどのようにして解を導いたかについても注釈を加える。このようにすることで，カテゴリラベルだけでは説明が難しい複雑な現象に対する内省の結果を残し，後の精緻な分析を補助できるほか，アノテーション修正時にアノテータの意図を確認しながら議論ができるため, 適切な反復修正作業が可能となる.

手がかりのカテゴリラベルは，あらかじめ著者らが列挙したものから始め, アノテーションの過程で新たに必要となったものを順次追加する方法をとった。アノテータはこれまでに列挙された手がかりラべルでは説明できない事例に遭遇した場合, 簡潔な説明と共に「その他」のラベルに分類する．その他のラベルに分類された手がかりのうち，著者らとの協議において一定数の事例を類型化できるものについては, 適切な名称を付けて「その他」から分離した。このようにして最終的に得られた手がかりカテゴリラベルは，以下のとおりである。
- 統語関係：統語的な構造が手がかりとなる。

——統語パス：述語と項の間の係り受け鎖構造が手がかりとなる.

＊語彙化パス：統語パスとその内部の語の語彙知識が手がかりとなる.

相互作用 (意味)：統語パス内の述語の項構造同士が「意味的」に特定の項を共有する。

. 機能語相当表現：機能語の特定が手がかりとなる.

$\cdot$ 連体修飾：連体修飾における格関係の特定が重要な手がかりとなる.受身: 受け身による格交替を判定することが重要な手がかりとなる.

* 相互作用 (形式) : 統語パス内の述語の項構造同士が「形式的」に特定の項を共有する。

. 機能動詞：機能動詞の特定が手がかりとなる.

制御構文：制御構文が手がかりとなる.
* 並列：並列構造の特定が手がかりとなる.

$\cdot$ 談話関係：何らかの談話的関係が手がかりとなる.
- 発話者: 発話者・著者の特定が手がかりとなる.
- 文脈：文脈が手がかりとなる.
- 知識 : 何らかの世界知識が必要.

－ 選択選好：述語と項の間に強い選択選好がある。
- 語義：語の意味が手がかりとなる.
- 複合語：複合語内の形態素間の意味的関係が手がかりとなる.
- 常識: 常識的知識が必要.

$\cdot$ その他：その他の手がかりが必要.

・アノテーションエラー：格ラベルのアノテーションエラー.

カテゴリラベルは「統語関係」「談話関係」「文脈」「知識」「その他」「アノテーションエラー」 のカテゴリをトップノードとして階層構造を成しており, 下層へ行くほど詳細化されたカテゴリラベルとなっている。アノテーションの際は, 現象を詳細化して説明できる場合は, より下層のラベルを優先して付与する。

実際のアノテーションは，著者らとは別の， $4,000 \sim 5,000$ 文規模の述語項構造アノテーションの経験を持つ日本語母語話者のアノテータ一名によって行われた。必要に応じて著者らとの協議を行いながら一周目のアノテーションを行った後, 最終的な著者らとの協議の結果を踏まえ，再修正を行ったものを最終的な分析対象のデータとした。

## 5.3 文内ゼロ照応事例における手がかりの分布

本節のアノテーションにおいては, 各事例に付与されているラベルの組は, その全てが解析に必要な要素であるという前提であるため, 事例ごとの手がかりラべルの組を一つのパターン （ラベルパターンと呼ぶ）とみなして分析を行う.

まず，それぞれの手がかりがどの程度使われたかを示すために，ラベルパターン中に現れる個別のラベルの出現数を表 11,12 に示した。それぞれのコーパスを比較すると，NTCでは「選択選好」「語義」など知識に関するラベルの他に,「機能語相当表現」や「並列」「機能動詞」など統語関係のラベルも上位に含まれている一方で，BCCWJでは，「選択選好」「その他」の他に，「文脈」「常識」など知識や談話に関するラベルが上位のほとんどを占める.

ただし，表 10 に挙げているとおり，NTC と BCCWJではサンプリング方法の違いにより，
分析事例における格の分布が異なる。したがって, これらの手がかりカテゴリの分布の特徴がドメインの違いによるものであるか, あるいは格の分布の違いによってもたらされるものであるかを確かめる必要がある，そこで，表 13 には，NTC・BCCWJ それぞれについて，各ラベルを手がかりカテゴリの階層構造におけるトップノードによって置き換え, その出現数を格ごとに集計したものを示す。結果として，格ごとの手がかりラベルの分布を見ても，BCCWJでは

表 11 NTC における各ラベルの出現数

表 12 BCCWJにおける各ラベルの出現数

表 $13 \mathrm{NTC}$ BCCWJにおけるトップノードカテゴリの出現数

$\mathrm{NTC}$ に比べて「知識」や「文脈」のラベルの比率が上昇していることが分かる. ここから，新聞記事以外のより一般的なドメインの文章を処理するにあたっては，より知識や文脈を重視した解析手法が重要となってくるであろうことがうかがえる。また，格ごとに観察すると， ガ格に比べてヲ・ニ格ではより知識のラベルに分類される手がかりが必要となる傾向にあることも分かる。

次に，ラベルパターンごとの事例数をコーパスごとにそれぞれ表 14 , 表 15 に示す. パター ンの分布を俯瞰すると，組み合わせの分布が非常に広いことがわかる．ラベルパターンの種類は，単体のもの，複数のラベル組み合わせによるものを含め 90 種類存在した. 90 種類あるラベルパターンのうち事例数が 5 以上の高頻出ラベルパターンは,「機能動詞」や「並列相互作用 (意味)」など 1 つや 2 つのラベルで構成される単純なラベルパターンであるが, そのようなラベルパターンの数は 14 種類と多くない.これらの事例のうち, 代表的な事例を表 16 に挙げる. 一方で, 残り 76 種類の事例数 5 未満のラベルパターンは,「その他並列相互作用 (意味)」 や「常識機能語相当表現統語関係連体修飾」など, 複数のラベルを組み合わせた複雑な構成になっているのもが多い，表 17 に複数ラベルの組み合わせによる事例をいくつか挙げるが，このような複雑なラベル構造を成す事例は決して少数ではない.

我々が特に注目すべき点として挙げたいのは，複数のラベルを組み合わせる場合に，それぞれの手がかりが個々に項の確信度を上げる種類のパターンと, 全ての手がかりがそろって初めて正しく解が導かれる種類のパターンの二つの種類が見られた点である．例えば，表 17 の (3) の事例においては，選択選好，発話者情報，といった手がかりが，個別に項候補の確信度を上げているのに対して，表 17 の（5）の事例においては，「教える」の二格に「子」を埋めるための手がかりと, 「勉強を教える」の二格が「勉強する」のガ格と一致するという知識の双方がそろわなければ，正しい解析が難しい例となっている。したがって，ゼロ照応問題へのアプローチを考える際には，これらの複雑な手がかりの組み合わせ事例を個々に観察し，少なくとも，手がかりの組み合わせが重要な意味を持つパターンに対して大域的な構造解析のアプローチを取る必要があると言える.

## 5.4 システム解析結果との比較

前節の手がかりラベルパターンについて，各ラベルパターンの解析精度を分析することで，現状の解析システムがどの種の問題に正答しているかを分析する。たたし，前節での分類結果より, NTC からのサンプル数 100 と BCCWJ からのサンプル数 240 に対して, ラベルパターンの種類が 90 あることがわかっており，個々のラベルパターンに対する精度を求めるための十分な事例数がない．そこで，今回は以下の 4 種類の大分類によってラベルパターンを集約し分析を行った。
表 14 NTC における各ラベルパターンの事例数

表 15 BCCWJにおける各ラベルパターンの事例数

表 16 代表的なラベルパターンの例

 &  \\

$[\mathrm{P}]$ : 述語, [ガ, ヨ, 二]: 格

（a） 統語関係以下のラベルまたは選択選好ラベルのみの組み合わせで表せられるラベルパターン

（b）知識や文脈，談話関係以下のラベルを含むラベルパターン（ただし，その他を含むラべルパターンを除く)

(c) その他を含むラベルパターン

(d) アノテーションエラー

（a）は,「機能動詞」や「選択選好機能語相当表現」などのラベルパターンであり, 従来の解析システムの素性として用いられる手がかりに該当する。(b) のラベルパターンに該当する事例は「知識」や「文脈」，「談話」に関する手がかりが必要であり，解析器としてはより高度な処理が要求されるラベルパターンである。(c)の「その他」ラベルに分類される現象は, 事前に想定されていなかった手がかりで，かつ現状で簡潔に一般化できるほどの出現頻度がなかった現象であり, 既存の解析器では該当の手がかりを適切に捉えにくい事例と考えられるものである.

表 18, 表 19 は NTC と BCCWJにおける手がかりラベルパターンと解析精度である。ここでの分析はサンプルされた特定の（述語, 項, 格）の正解三つ組事例に対する正誤を分析するものであるため，正解事例に対する再現率を評価の基準とした。 なお，BCCWJ は文書ジャンルごとに事例数を揃えてアノテーションを行ったが，定量的な分析を行うにはジャンルごとのアノテーション事例数が不十分であったため，全ての文書ジャンルを統合して分析を行った. (d) のアノテーションエラーについては, 真の正解ではないため, 再現率の評価からは除外した.
表 17 複雑なラベルパターンの事例

 &  &  \\

$[\mathrm{P}]$ : 述語, $[$ ガ, ヨ, ニ]: 格
表 18 NTC における手がかりラベルパターンと解析器の再現率

表 19 BCCWJ における手がかりラベルパターンと解析器の再現率

表 18 の NTC における結果を見ると, 統語関係以下のラベルまたは選択選好ラベルのみの組み合わせで表されるラベルパターンの再現率は 0.57 と比較的高く, 知識や文脈, 談話関係以下のラベルを含むラベルパターンは 0.3 程度となっている。松林 \& 乾のシステムでは統語関係の情報として項候補や述語の位置, 係り受けの情報を使用し, 選択選好の情報として格フレーム7を使用しているため, これらの手がかりの組み合わせのみで表すことのできる事例に対しては比較的高い解析精度となったと考えられる。

また, 表 19 の結果から, BCCWJでは NTC と比べて再現率が落ちる傾向が見られる. 解析器はNTC の学習データを用いて学習しており, 必ずしも BCCWJ の各ドメインに対する適切な学習がされているわけではないため, 特に統語関係または選択選好のみで表せるラベルパターンの精度に関しては, NTCでは比較的高い精度となっているものの, BCCWJでは他のラベルパターンと同程度の精度となった. 松林 \& 乾のシステムは選択選好に対する対応として, Web16 億文から獲得された格フレーム情報を使用していることから，このラベルパターンで精度が下がった原因は，各ドメイン特有の選択選好性によるものではなく，新聞ドメインと他のドメインで統語現象の性質が異なっていることに起因すると考えられる.

また，その他を含むラベルパターンの再現率は，知識や文脈，談話関係以下のラベルを含むラベルパターンと同程度の低い再現率にとどまった。「その他」ラベルに分類される現象は一般化できるほど頻出する現象ではなく, それらの現象を汎化してシステムに組み达むことは簡単ではないが，NTC 及び BCCWJコーパス内の文内ゼロ照応問題の 3 割弱を占めており，ゼロ照応問題全体の解析精度向上のためには無視できない程度の割合で存在しているため, 今後, サ


ンプル事例の規模を増やし，より詳細な分析を行っていく必要があると考える.

## 6 結論

本稿では, 述語項構造解析における中心的な課題である項のゼロ照応問題へ適切にアプロー チするために，現象の特徴を出来る限り詳細に分析し把握することを試みた.

第一に，文内ゼロ照応関係にある述語と項のペアを，統語情報と述語一項関係の情報を用いて機械的に分類可能な 7 つの指標の組み合わせで分類した。分析内容として, 各事例カテゴリにおける事例数の分布を示したほか，松林 \& 乾 (松林, 乾 2014)のシステムを例に取り, 各指標における解析精度の偏りを示した. 特に, 対象述語 $\mathrm{P}$ と, 項と直接係り受け関係にある述語 O との間で項を共有している事例の割合が文内ゼロ照応全体の $58 \%$ 存在することが分かったほか, これらは, $\mathrm{P}$ と $\mathrm{O}$ が直接的な並列構造や機能動詞構文の形になっているものばかりでなく,局所的な構造の組み合わせによって解が導かれる事例が多く存在することが分かった. このことは，複数述語間の項構造に対する高次の特徵を今後どのようにとらえていくべきかに関する知見を与えている．また，発話引用文における発話者の推定が一定の事例数に寄与することも分かった。

第二に，アノテータの内省を頼りに，人間が正解を導き出す場合に用いる手がかりを分析し，考えられる手がかりの種類を列挙するとともに，その分布を示した. 個々のゼロ照応現象を紐解いていくと，手がかりの種類とその組み合わせに関する分布が大きな広がりを持っていることが明らかとなった。また, 手がかりの組み合わせに関する性質として，提題化や選択選好情報のように，それぞれの手がかりが独立に項候補の確信度を上げるように働くものに加えて, 前半の構造ベースの分析で得られた知見と同様に，機能動詞や述語間の意味的なつながりを考慮すべきものなど，局所的な解析結果を順を追って重ねていくことで初めて項候補の推定に寄与する種類の事例も多く存在することが明らかとなった。また, 既存のモデルは統語構造や選択選好を用いる事例に関しては相対的に高い解析精度を示すものの，世界知識や文脈を読み解く必要がある事例や，その他未だ一般化されていない雑多な手がかりを用いる事例に関しては低い精度にとどまっていた。しかしこれら精度の低い事例はゼロ照応問題全体に対して無視できない割合を占めており, 引き続き, これらの現象に対する解析の糸口を模索していく必要がある.

## 謝 辞

本研究は, 文部科学省科研費 (研究課題番号：23240018), (研究課題番号：15K16045）及び, RISTEX 社会技術研究開発センターの研究開発活動「コミュニティがつなぐ安全・安心な都市・地域の創造」の一環として行われた.

## 参考文献

林部祐太, 小町守, 松本裕治 (2014). 述語と項の位置関係ごとの候補比較による日本語述語項構造解析. 自然言語処理, 21 (1), pp. 3-26.

Hayashibe, Y., Komachi, M., and Matsumoto, Y. (2011). "Japanese Predicate Argument Structure Analysis Exploiting Argument Position and Type." In IJCNLP, pp. 201-209.

飯田龍, 德永健伸 (2010). 述語対の項共有情報を利用した文間ゼロ照応解析. 言語処理学会第 16 回年次大会発表論文集, pp. 804-807.

Iida, R., Inui, K., and Matsumoto, Y. (2006). "Exploiting Syntactic Patterns as Clues in Zeroanaphora Resolution." In COLING-ACL 2006, pp. 625-632. Association for Computational Linguistics.

Iida, R. and Poesio, M. (2011). "A Cross-Lingual ILP Solution to Zero Anaphora Resolution." In $A C L$ 2011, pp. 804-813.

Imamura, K., Saito, K., and Izumi, T. (2009). "Discriminative Approach to Predicate-argument Structure Analysis with Zero-anaphora Resolution." In ACL-IJCNLP 2009 Short Papers, pp. 85-88. Association for Computational Linguistics.

小町守, 飯田龍, 乾健太郎, 松本裕治 (2006). 名詞句の語彙統語パターンを用いた事態性名詞の項構造解析. 自然言語処理, 17 (1), pp. 141-159.

Liu, D. and Gildea, D. (2010). "Semantic Role Features for Machine Translation." In Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), pp. 716-724.

松林優一郎, 乾健太郎 (2014). 統計的日本語述語項構造解析のための素性設計再考. 言語処理学会第 20 回年次大会発表論文集, pp. 360-363.

松林優一郎, 吉野幸一郎, 林部祐太, 中山周 (2015). 述語項構造解析「Project NEXT 述語項構造タスク」。言語処理学会第 21 回年次大会発表論文集, pp. 1-157.

大内啓樹, 進藤裕之, Duh Kevin, 松本裕治 (2015). 述語対の項共有情報を利用した文間ゼロ照応解析. 情報処理学会第 220 回自然言語処理研究会研究報告, pp. 1-6.

Sasano, R., Kawahara, D., and Kurohashi, S. (2008). "A Fully-lexicalized Probabilistic Model for Japanese Zero Anaphora Resolution." In COLING 2008 Volume 1, pp. 769-776. Association for Computational Linguistics.

Sasano, R. and Kurohashi, S. (2011). "A Discriminative Approach to Japanese Zero Anaphora Resolution with Large-scale Lexicalized Case Frames." In IJCNLP 2011, pp. 758-766.

関根聡, 乾健太郎 (2015). Project Next NLP 概要 (2014/3-2015/2). 言語処理学会第 21 回年次大会発表論文集, pp. 1-12.

Shen, D. and Lapata, M. (2007). "Using Semantic Roles to Improve Question Answering." In the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL 2007), pp. 12-21.

Taira, H., Fujita, S., and Nagata, M. (2008). "A Japanese Predicate Argument Structure Analysis Using Decision Lists." In EMNLP 2008, pp. 523-532.

黒橋. 河原研究室. “KNP version 4.1.”. http://nlp.ist.i.kyoto-u.ac.jp/index.php? cmd=read\&page=KNP\&alias\%5B\%5D=\%E6\%97\%A5\%E6\%9C\%AC\%E8\%AA\%9E\%E6\%A7\%8B\%E6\%96\%87

\%E8\%A7\%A3\%E6\%9E\%90\%E3\%82\%B7\%E3\%82\%B9\%E3\%83\%86\%E3\%83\%AOKNP Accessed: 2014-05-20.渡邊陽太郎. “ChaPAS version 0.74." https://sites.google.com/site/yotarow/chapas.

Accessed: 2014-05-20.

## 略歴

松林優一郎：1981 年生. 2010 年東京大学大学院情報理工学系研究科・コンピュー 夕科学専攻博士課程修了. 情報理工学博士. 同年より国立情報学研究所・特任研究員. 2012 年より東北大学大学院情報科学研究科・研究特任助教. 意味解析の研究に従事. 情報処理学会, 人工知能学会, ACL 各会員.

中山周：2014 年法政大学情報科学部コンピュータ科学科卒業. 同年東北大学大学院情報科学研究科博士前期課程進学. 現在に至る. 自然言語処理に関する研究に従事.

乾健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同研究科助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より東北大学大学情報科学研究科教授, 現在に至る. 博士 (工学). 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, ACL, AAAI 各会員.

$(2015$ 年 5 月 21 日受付 $)$
$(2015$ 年 8 月 6 日再受付 $)$
$(2015$ 年 9 月 5 日採録)