# 述語項構造と照応関係のアノテーション： NAIST テキストコーパス構築の経験から

本論文では，日本語書き言葉を対象とした述語項構造と照応関係の夕グ付与につい て議論する。述語項構造解析や照応解析は形態素・構文解析などの基盤技術と自然言語処理の応用分野とを繋ぐ重要な技術であり, これらの解析のための主要な手法 は夕グ付与コーパスを用いた学習に基づく手法である。この手法を実現するために は大規模な訓練データが必要となるが, これまでに日本語を対象にした大規模な夕 グ付きコーパスは存在しなかった。 また, 既存のコーパス作成に関する研究で導入 されているタグ付与の基準は, 言語の違いや最終的に出力したい解析結果の粒度が 異なるため，そのまま利用することができない。そこで，我々は既存のいくつかの タグ付与の仕様を吟味し, 述語項構造と共参照関係のアノテーションを行うために タグ付与の基準がどうあるべきかについて検討した。本論文ではその結果について 報告する。また, 京都コーパス第 3.0 版の記事を対象にタグ付与作業を行った結果 とその際に問題となった点について報告する。 さらにタグ付与の仕様の改善案を示 し，その案にしたがい作業をやり直した結果についても報告する.

キーワード：アノテーション, 述語項構造, 照応, 共参照, コーパス
## Annotating Predicate-Argument Relations and Anaphoric Relations: Findings from the Building of the NAIST Text Corpus

\author{
RYu Iida ${ }^{\dagger}$, Mamoru Komachi $^{\dagger \dagger}$, NaOya InOuE ${ }^{\dagger \dagger}$, \\ Inui Kentaro $^{\dagger \dagger}$ and Yuji Matsumoto ${ }^{\dagger \dagger}$
}

This paper addresses how to annotate predicate-argument and anaphoric relations in Japanese written text. Predicate-argument structure analysis and anaphora resolution are important problems because they bridge the gap between basic techniques in NLP such as morpho-syntactic analysis and NLP applications. To solve these problems, researchers have generally made use of annotated corpora for machine learningbased approaches. Although we need large corpora where predicate-argument relations and anaphoric relations are annotated to examine their occurrence in Japanese text, there have been no such resources so far. In addition, existing specifications for annotating predicate-argument and anaphoric relations are not directly applicable

due to the difference of languages and different problem settings. For these reasons, we explore how to annotate these two kinds of relations and then define an adequate specification of each annotation task. In this article, we report the results of annotation, taking the Kyoto Corpus 3.0 as a starting point. Furthermore, we refine our annotating specification to adapt actual phenomena existing in our corpus and then report the results of the annotation work according to the new specification.

Key Words: annotation, predicate-argument structure, anaphora, coreference, corpus

## 1 はじめに

情報抽出や機械翻訳などの NLP の応用処理への需要が高まる中で，その技術を実現するための中核的な要素技術となる照応・共参照と述語項構造の解析に関して多くの研究者が解析技術を向上させてきた。それらの技術の多くは各情報が付与されたコーパス（以後，夕グ付与コー パス）を訓練用データとして教師あり手法を用いるやり方が一般的であり，解析の対象となるコーパス作成の方法論についても議論がなされてきた (Hirschman 1997; Kingsbury and Palmer 2002; Doddington, Mitchell, Przybocki, Ramshaw, Strassel, and Weischedel 2004).

照応・共参照解析については，主に英語を対象にいくつかの夕グ付与のスキーマが提案されており，実際にそのスキーマに従ったコーパスが作成されている (Hirschman 1997; 河原, 黒橋,橋田 2002; Hasida 2005; Poesio 2004; Doddington et al. 2004)．例えば， Message Understanding Conference (MUC) の Coreference (CO) タスク (Hirschman 1997) や，その後継にあたる Automatic Content Extraction (ACE) program の Entity Detection and Tracking (EDT) タスクでは,数年に渡って主に英語を対象に詳細な仕様が設計されてきた。また，述語項構造解析に関しては，CoNLLの shared task ${ }^{1}$ で評価データとして利用されている PropBank (Palmer, Gildea, and Kingsbury 2005) を対象に仕様が模索されてきた.

日本語を対象に述語項構造と照応・共参照の研究をするにあたり, 分析, 学習, 評価のための大規模な夕グ付きコーパスが必要となるが，現状で利用可能な Global Document Annotation (GDA) (Hasida 2005)夕グ付与コーパス (以後, GDA コーパス) や京都テキストコーパス第 4.0 版（以後，京都コーパス 4.0）は，述語項構造や共参照の解析のための十分な規模の評価データとはいえない.

日本語を対象に述語項構造を照応・共参照の研究を進めるためには，英語の場合と同様に夕グ付きコーパスを構築する必要があるが，日本語では述語の格要素が省略されるゼロ照応の現象が頻出するため, 後述するように述語項構造の記述の中で照応現象も同時に扱う必要がある. そのため, 英語では独立に扱われている述語項構造と（ゼロ）照応の関係の両方の夕グ付与の仕
^{1}$ http://www.lsi.upc.edu/ srlconll/
}
様を把握し，2つの関係横断的にどのようにタグ付与の仕様を設計するかについて考える。夕グ付与の仕様は最初から完成したものを目指すのではなく，作業仕様を経験的に定め，人手によるタグ付与の作業を行い，作業結果を検討することで洗練していくことを想定している．本論文ではこれまでに行った仕様に関する比較検討の内容と現在採用している我々の作業仕様について説明する。この際， MUC や ACE の英語を対象に設計されたタグ付与の仕様に加え，日本語を対象に作成された既存の共参照・述語項構造のタグ付きコーパスである Global Document Annotation (GDA) (Hasida 2005) タグ付与コーパス（以後, GDA コーパス）や京都テキストコーパス第 4.0 版（以後，京都コーパス 4.0）2 との比較も行う.

本論文ではまず 2 節で照応と共参照の関係について確認し， 3 節では述語項構造と照応・共参照の夕グ付与に関する先行研究を紹介する。次に，4節で先行研究を踏まえた上の我々の夕グ付与の基準を示し, その基準に従った作業結果についても報告する。 さらに, 5 節で今回作業を行った際に問題となった点について説明し，5 節でその改善案とその案にしたがって作業をやり直した結果について報告し，最後に 7 節でまとめる.

また, 今回の作業の結果作成された述語項構造と照応・共参照タグ付与コーパスを NAIST テキストコーパスとして公開している. 詳細はhttp://cl.naist.jp/nldata/corpus/を参照されたい.

## 2 照応と共参照

照応とはある表現が同一文章内の他の表現を指す機能をいい，指す側の表現を照応詞，指される側の表現を先行詞という。日本語の場合は述語の格要素の位置に出現している照応詞が頻繁に省略される。この省略された格要素をゼロ代名詞といい，ゼロ代名詞と照応関係となる場合をゼロ照応と呼ぶ. 本研究では便宜上ゼロ照応の関係をゼロ代名詞とその先行詞の出現位置で 3 種類に分類する。ゼロ代名詞と先行詞が同一文内に出現している場合を文内ゼロ照応と呼び，また先行詞がゼロ代名詞と同一文章内の異なる文に出現している場合を文間ゼロ照応と呼ぶ。例えば，図 1 で“行く”のガ格が省略されており，その項が述語と係り受け関係にないため, “行く”のガ格のゼロ代名詞とその項 “太郎” は文内ゼロ照応の関係にあると考える ${ }^{3}$. 最後

図 1 文内ゼロ照応


に，ゼロ代名詞の先行詞が文章内に出現しない場合を外界照応と呼ぶ.

一方，二つ（もしくはそれ以上）の表現が現実世界（もしくは仮想世界）において同一の実体を指している場合には共参照（もしくは同一指示）の関係にあるという。先行詞となる表現が固有表現になる場合など，多くの場合は照応関係かつ共参照の関係が成り立つ. 例えば，文章 (1) では, 代名詞 “彼 ${ }_{i}$ が “横尾 $i$ ”を指しており, かつ同一の人物を指しているため, 照応関係かつ共参照関係である。

(1) 横尾 $i_{i}$ は画家でもないし、デザイナーでもない。

要するに、そんなことは彼 $i$ってはどうでもよいことなのだ。

これに対し，文章 $(2)$ では， 2 文目の “それ” なるが，同じ実体を指していないため共参照関係とはならない.

次郎もそれ

このように照応関係にある場合でも，同一の実体を指している場合とそれ以外の場合が存在する。

文献 (Mitkov 2002) では, 前者のような共参照かつ照応関係となる関係を identity-of-reference anaphora (IRA), 後者を identity-of-sense anaphora (ISA) と呼び区別している.

照応と共参照は異なる概念であるにもかかわらず, IRAが両方の性質を兼ねるため, 既存研究ではそれぞれの概念が混同して扱われてきた。 3 節で述べる夕グ付与コーパス作成の先行研究でも同様にいくつかの異なる解釈で仕様が設計されている.

## 3 先行研究

この節では，共参照と述語項構造のタグ付与に関する主な先行研究を説明する.

## 3.1 照応・共参照のタグ付与

情報抽出の主要な会議である Message Understanding Confernce (MUC) では, 第 6 回と第 7 回の会議（以後, MUC-6 と MUC-7）において, 情報抽出の部分問題として共参照解析の問題を扱っている ${ }^{4}$. MUC-6, MUC-7の共参照関係タグ付与コーパスでは名詞句間の共参照関係がタグ付与され (ただし, 動名詞 (gerund) は除く), Soon ら (Soon, Ng, and Lim 2001)や Ng ら (Ng and Cardie 2002a) などさまざまな機械学習に基づく共参照解析手法の gold standard データとして利用されてきた. しかし，このコーパスの仕様では，一般に共参照関係とはみなされないような量化表現（every, mostなど）を伴う場合や同格表現 (Julius Caesar ${ }_{i}$, the/a well-known emperor $\left._{i}, \ldots\right)$ も共参照関係とみなしてタグ付与されているという問題を含んでいる ${ }^{5}$.


図 2 言及 (mention) と実体 (entity)

MUC の共参照解析タスクの後継に相当する Automatic Content Extraction (ACE) (Doddington et al. 2004)の Entity Detection and Tracking (EDT)では, この過剰な共参照関係の認定を回避するために, mention（言及）と entity（実体）という2つの概念を導入しタスクを設定している。言及とは文章中に出現する表現のことで，情報抽出で解析の対象となる特定の種類の固有表現を含む。これに対し，実体とは 2 節で述べた意味での実体，つまり現実世界（もしくは仮想世界）で指せるモノを意味する。例えば，図 2 の例については，“ジョン”と“彼”はそれぞれクラスが names と pronouns の言及であり，その 2 つの表現が実体のレベルではクラスが specific_referenceである同一の実体を指しているという夕グ付与を行う。

EDTの夕グ付与 6 では，言及の型が人名や組織名など特定の種類の固有表現に該当する場合で，かつ総称的 (generic) でない場合にのみ共参照関係の夕グ付与を行う。このため, ACEのデータセットでは文章内に出現する共参照関係に網羅的にタグが付与されず，文章内のすべての実体を対象として解析を行うには不十分なデータとなっている.

日本語に関しても, 京都コーパス 4.0 (河原他 2002) や GDA コーパス (Hasida 2005) などのタグ付きコーパスに共参照相当の夕グが付与されている。京都コーパス 4.0 には，係り受けの情報に加え, 毎日新聞 95 年度版の一部（555 記事, 5,127 文）に114,729もの共参照夕グが付与されている。ただし，このコーパスでは ACEで導入されている実体と実体の間の共参照関係に加え，実体と属性の間にも共参照関係の夕グを付与している。例えば，文 (3)では，実体 “村山富市 $i$ ”とその属性 “首相 $i$ の間に共参照の関係が付与されることになる.

(3) 村山富市 $i$ 首相 $i$ の年頭記者会見の要旨は次の通り。

一方，GDA コーパスでは，表現が実体を指している場合と総称的な表現の場合を区別せずに共参照の関係を認定している。下記の (4) は GDA コーパスから抜粋したものだが, この文章
^{6} \mathrm{http} / / /$ projects.ldc.upenn.edu/ace/annotation/
}

では総称名詞である 2 つの “フロン $i$ "に対して共参照タグが付与されている. このような例が多数見られたため, GDAの共参照夕グはIRAとISAの両方の関係で付与されていると考えられる。

## 3.2 述語項構造のタグ付与

述語とその項 7 の夕グ付与に関しては, 表層格レベルから深層格レベルまでさまざまなレベルでのタグ付与についての議論がある。例えば, 英語を対象とした PropBank (Palmer et al. 2005) では, 述語の項のラベルとして, 基本的には agent や theme などの意味役割に相当する ARG0, ARG1, ..., ARG5, AA, AM, AM-ADV など， 35 種類のタグを用いて文章にタグ付与を行っている。一例をあげると, 文 (5) に出現している動詞 “earned”に対し, “the refiner”を agent 相当である ARG0, “\$66 million, or $\$ 1.19$ a share”を theme に相当する ARG1 としてタグが付与されている.

(5) [ARGM-TMP A year earlier], [ARG0 the refiner] [rel earned] [ARG1 \$66 million, or $\$ 1.19$ a share].

ただし，PropBankでは項が付与される範囲は同一文内に限定されている.

一方，日本語を対象に述語項構造を考える場合は必須格が省略されるゼロ照応の現象が頻繁に起きるため, 文を越えて出現している表現や, もしくは文章外の要素も考慮して夕グ付与を行う必要がある. 京都コーパス 4.0 では文間ゼロ照応, 外界照応となる項に関しても夕グが付与されている。共参照夕グ付与の対象となった 555 記事を対象にガ/ヨ/ニ/カラ/ヘ/ト/ヨリ/マデなどの格助詞相当の表層格に加え, ニツイテのような連語も一つの表層格として述語と項の関係が付与されている。例えば，文（6)に出現している述語“答え（る）”では前方に出現している“状態 $i$ ”をニツイテという表層格でタグ付与している.

（6）体の状態 $i$ について健康と答えたニッィテ:i 人は八七・八\%で、体力に自信を持っているとの回答は八一・一\%だった。

また, GDAコーパスではゼロ照応に関してagent, theme などの粒度で意味役割の夕グが付与されているが, 我々が確認した限りでは, 述語と係り関係にある場合や, ゼロ照応の関係として認定できる場合であっても先行詞が同一文内に出現している場合には夕グが付与されておらず，述語項構造解析の訓練事例として利用するには網羅性の点で問題がある.

## 3.3 事態性名詞のタグ付与

動詞や形容詞などの述語への項構造の付与に加え, 動詞派生名詞やサ変名詞などの名詞（以後, 事態性名詞) についても述語と同様に, 項同定の問題が設計され (Meyers, Reeves, Macleod,


Szekely, Zielinska, Young, and Grishman 2004; Hasida 2005; 河原他 2002), 実際にそれらの問題への取り組みも報告されている (Jiang and Ng 2006; Komachi, Iida, Inui, and Matsumoto 2007; Liu and Ng 2007).

例えば， Meyers らが作成した NomBank (Meyers et al. 2004)では, Penn Treebank (Marcus, Santorini, and Marcinkiewicz 1993) を対象に名詞とその項構造の夕グ付与を行っている。このコーパスでは英語における動詞の名詞化に着目して, PropBank (Palmer et al. 2005) で用いられている意味役割相当の項のラベルを句の中に項が出現している場合に限って夕グ付与している。例えば，文 (7) 中の名詞 “complaints” について，“customer”がagent 相当の表現であり，また “about that issue”が theme 相当の表現であるといったタグ付与を行っている.

(7) There have been [ARGM-NEG no] [ARG0 customer] [rel complaints] [ARG1 about that issue].日本語に関しても, 京都コーパス 4.0 では事態性名詞とその項に対して表層格でタグが付与されている，例えば，文 (8) に示すように “及ぼす”の格要素となっている事態 “影響”に対して，“離党 $i$ が “影響する”ことのガ格として付与されている.

（8）村山富市首相は年頭にあたり首相官邸で内閣記者会と二十八日会見し、社会党の新民主連合所属議員の離党 $i$ 問題について「政権に影響ガ:iを及ぼすことにはならない。離党者がいても、その範囲にとどまると思う」と述べ、大量離党には至らないとの見通しを示した。

複合名詞句の中や “Aノ B” などに縮退される場合もあり，このような場合どこまでを夕グ付与の対象とするかを決定する必要がある.

## 4 NAIST テキストコーパスで採用するタグ付与の仕様

3 節で述べた先行研究の夕グ付与仕様の背景にある考え方，およびまたその仕様を採用した場合に生じる問題点を考慮した結果, 我々は以下の 3 つの基準を基本方針として採用するに至った.

（1） 述語項構造については，述語の基本形にその項となる表現を表層格（ガ格， ᄏ格，二格） レベルでタグ付与する.

（2）事態性名詞についても，述語と同様に表層格レベルで項を付与する.

（3）共参照関係については，IRAの関係のみを対象として共参照の関係を認定する.以下で，それぞれの詳細を説明する。

## 4.1 述語と項のタグ付与

述語そのものの認定に関しては, 品詞体系として IPADIC (浅原, 松本 2003) を採用し, 動詞,形容詞, 名詞十“た（助動詞）”の 3 種類を夕グ付けの対象となる述語とみなし, 作業を行う.
述語の格要素については, 京都コーパス 4.0 が採用しているような表層格, GDA で採用されている agent, themeのような意味役割, また PropBank で付与されている ARG0 や ARG1 といった意味役割相当のラベルなど，さまざまな夕グ付与のレベルが考えられる．この中で我々は「誰が何を何に対してどうする」という情報抽出的な観点でタグを付与することが自然だと考え, 述語の原形の必須格に対して項の夕グを付与するという仕様を採用した. この仕様に従った場合, さらにガ格などの表層格レベルでの夕グ付与を行うか, もしくは agent もしくは ARG0 といった意味役割レベルでタグを付与するかという 2 の選択肢があるが，ここでは表層レべルからなんらかの情報を捨象して意味のレべルを考えることが応用処理横断的に有益かどうかが現状では判断できないという理由で, 格交替の情報のみを捨象した表層格で夕グ付与を行った. 例えば，京都コーパス 4.0 では文 (9) の述語 “食べさせる”に対して“私 $i$ ”, “彼 $j$ ”, “リンゴ $k$ "をそれぞれガ， ヨ，二格でタグ付与するのに対し, 我々の仕様では述語の原形 “食べる” に対して “彼 ${ }_{j}$ ガリンゴ ${ }_{k}$ Э食べる”というタグを付与する. ただし, 述語の原形に対してタグを付与する場合には使役者に相当する“私 $i$ ”と述語“食べる”の間の関係にタグが付与されないことになる。これを回避するため, 格要素を増やす助動詞に対してタグ “追加ガ（ニ）格”を付与した，例えば，文 (9)では，助動詞“させる”に対し“私 $i$ ”を追加ガ格でタグ付与し，文 (10) では助動詞 “やる”に対し“彼 $j$ ”を追加ニ格でタグ付与する.

(9) a. 私は彼 $_{j}$ にリンゴ ${ }_{k}$ を食べさせるガ: $i, \exists: k,=: j$

b. 私は彼 $_{j}$ にリンゴを食べガ:j, Э: $k$ させる追加力格: $i$

(10) 私は彼 $_{j}$ に本 $k$ を読んガ:i, Э:k でやる追加二格: $j$

京都コーパス 4.0 では表層格を網羅する形をとっているが, 今回の作業では, 頻出するガ/ヲ/二格のみを対象にタグ付与を行う。

当面このような基準で作業を進めることで, 今後深層格の情報を夕グとして付与する必要がでてきた場合にも, 述語の基本形の必須格に付与した情報は, agent, themeのような意味役割を付与する場合や語彙概念構造 (LCS) (Jackendoff 1990)の意味述語の情報を付与する際にも役立つと考えられる。

また, ゼロ照応の関係として項を付与する場合には, 前方文脈に先行詞と認め得る名詞句が複数個出現している場合がある。例えば，文章 (11)の 2 文目で動詞“接する”のガ格は省略されており，このゼロ代名詞に対して 1 文目の“村山富市首相”，もしくは 2 文目の“首相”の両方が補完可能である.

（11） 就任後初めて地元の大分県へ里帰りしていた村山富市首相 $_{i}$ は三十一日夕、三泊四日の日程を終えて日航機で羽田空港に到着した。

という感謝の気持ちでいっぱい。期待に応えてしっかり頑張らないといかんという気持ちを一層強く持った」と感想を述べた。
表 1 述語と項の夕グ付与の比較

このような状況の場合, ゼロ照応の正解データとしては両方の表現が先行詞として夕グ付与されているべきであるが，すべての先行詞となり得る表現を作業者が把握しタグ付与していくことは作業効率と作業品質の両方から見て得策とはいえない。このような問題に対し, 我々が行った作業では共参照の関係も同時にタグ付与することで，共参照関係にある表現の集合のうちどれか一つが先行詞として夕グ付与されるだけで，共参照関係にある他の表現にも夕グが付与されたこと同じ結果として考えることができる。文章 (11)の例に戻ると，“村山富市首相”と “首相”が共参照の関係であるとタグ付与されていることで，“接する”のガ格ゼロ代名詞の先行詞はいずれかの表現にタグ付与するだけでよくなる.

最後に，表 1 に述語に関する我々の仕様と他のコーパスの仕様の比較をまとめる.

## 4.2 事態性名詞と項のタグ付与

動詞や形容詞などの述語に加え，事態性名詞に対して述語と同様に必須格となるガ/ヲ/ニ格を付与する。作業者は与えられた名詞（主にサ変名詞）が事態を表しているか否かを判定し，事態性名詞と判断した名詞（句）に対して必須格を付与する．例えば，文 (12)で出現している二つの “電話” という名詞のうち, “電話 $i$ が「電話する」というコトを表しているのに対し, “電話 $j$ ”は「(携帯) 電話」というモノを表している。この状況で作業者は “電話 $i$ ”のみを事態性名詞と認定し，これに対して“彼 $a$ ”をガ格，“私 $b$ ”を二格として付与しなければならない.

(12) 彼からの電話 $_{i_{(\text {カj: } a,=: b)} \text { によると、私 }}$ は彼の家に電話 $j$ を忘れたらしい。

また，夕グ付与の対象が複合語の場合はその構成素を構成的に分解した上でそれぞれの構成素に対して事態性判別の作業を行う。例えば，「紛争仲裁」は構成素 “紛争”と“仲裁”のそれぞれの意味を構成的に組み合せてできた複合語だとみなし, “仲裁”を事態性名詞と判断する.

## 4.3 名詞句間の共参照関係のタグ付与

共参照のタグ付与では，2 節で述べた IRA に加えISAの関係も含めてタグを付与するか否かの選択肢があるが，ISAの関係まで含めてしまうと，総称名詞間の包含関係のような複雑な関係を考慮して作業を行う必要がある，例えば，文章 (13)では，“食べ物”と“食料”が同一の概念であるため，共参照の関係とするか否かの判断が必要となるが，厳密にはこの二つの表現は
表 2 共参照夕グ付与の差異

“兵庫県内で不足している食べ物”と“被災地（兵庫県）を離れた場所にある食料”という異なる概念を指すため ISAの関係として認定すべきではない。このように，概念の同一性を判断するためにはその表現が出現する文脈との関連性を捉え，その表現が指す範囲を考えた上で同じ概念を指しているかを考える必要があり，共参照の認定が非常に困難な作業となる.

(13) 兵庫県内の暗やみの中で、人々が水と食べ物の不足に苦しんでいる同じ夜、隣接した大阪の繁華街ではネオンが光り、飲食店はにぎわっている。

水も食料も、被災地を離れるとふんだんにある。

そこで，述語や事態性名詞が ISA も含めた関係に夕グ付与しているのに対し, 共参照に関してはIRAの関係にのみタグを付与する。ただし, EDTの仕様のように, 実体が組織名や場所名など数種の固有表現に限定して共参照関係のタグを付与することは, さまざまな応用分野で必要となる共参照の表現を網羅できないため望ましくない。そこで，今回の作業では，以下の 3 つの基準に基づいて表現のクラスを限定せずに共参照関係の夕グ付与を行い, どのような問題が生じるのかを調査した。

（1） 照応詞は文節の主辞（最右の名詞自立語）のみに限定する.

（2）談話内に出現した名詞句のみを先行詞とする.

(3) 総称名詞は照応詞, 先行詞とみなさない.

既存の共参照関係のタグ付与の研究と比較すると表 2 のようになる.

## 4.4 統計

4.1，4.2，4.3 の仕様に従い，京都コーパス 3.0 の全記事（2,929 記事， 38,384 文）8を対象に， 2 人の作業者が述語項構造と共参照の関係についてタグ付与作業を行った. 述語/事態性名詞とその項に付与されたタグの個数を表 3 にまとめる. ただし, 項の出現位置によって, 同一文節

表 3 述語と事態性名詞のタグの統計（NAIST テキストコーパス全体）

内 $^{9}$, 係り関係にある場合 10 , 文内のゼロ照応関係，文間のゼロ照応関係，外界照応の 5 に分類して頻度を求めた11，表 3 より，述語の項目ではヨ格，二格の項のほとんどは係り関係にあるのに対し，ガ格の約 6 割はゼロ照応の関係にあることがわかる。これに対して，事態性名詞のヲ格, 二格は同一文節内，つまり複合語の構成素として項が出現している割合が高く，ガ格に関しては約 8 割がゼロ照応の関係にあり, 述語の場合と比較して項の出現箇所がおおきく異なっていることがわかる.

共参照関係のタグについては, タグ付与された実体の総数が 10,531 , 最初に出現した表現を先行詞，その他を照応詞とみなしたときの照応詞の個数が 25,357 であった. 京都コーパス 4.0 より圧倒的に個数が少ないが, これは厳密にISA の関係と判断できる場合のみ夕グ付与を行ったためだと考えられる。また, 共参照に関与する代名詞の個数は 622 と, 京都コーパスと比較してタグ付与した記事に対する割合が小さい。これは作業者が (1) 節照応の付与を行わずに， (2)共参照夕グ付与に関して厳密な実体の一致を強いたために完全に一致するとみなせない場合にはタグが付与されなかったためだと考えられる。代名詞に関しては現状の仕様のようにIRAの関係でタグを付与する立場と，実体の一致を問題としないISAの関係で付与するという立場の二つを考えることができ，どちらが良いかは応用分野によって異なる。そのため，代名詞については追加的に ISA 関係のタグを分けて付与することも今後検討したい.

次に，実際に作業を行っている 2 人の作業者間のタグ付与の一致率を調査するため，ランダム

表 4 タグの一致率（報道 30 記事）

に選択した報道 30 記事を対象に作業を行った。評価は一方の作業者の夕グ付与の結果を正解,他方の作業結果をシステムの出力とみなし再現率と精度で評価する。ただし，それぞれのタグの一致率は各夕グの終了位置の一致で評価した。また, 述語と事態性名詞の項の一致率については，2人の作業者の述語（事態性名詞）が一致した箇所のみを対象に評価した. また，共参照の一致率については MUC score (Vilain, Burger, Aberdeen, Connolly, and Hirschman 1995)を用いて再現率と精度を求めた. これらの基準で評価した結果を表 4 に示す. 表 4 よりわかるように，それぞれのタグ付与は多くの場合 8 割を越える品質で作業ができているが，改善の余地は大きい. 5 節では, 各夕グ付与において, 問題となった主要な点を説明し, その問題を解決するための今後の方向性について議論する.

## 5 タグ付与の問題点と今後の展望

この節では述語, 事態性名詞, 共参照のそれぞれの夕グ付与作業中に生じた問題を説明し, それに対する今後の対応などをまとめる.

## 5.1 述語のタグ付与の問題点

まず，述語そのもののタグ付与に関してだが，夕グ付与対象となる述語が「〜として」のような機能語相当表現と表現上では同一の場合に述語認定に摇れが生じることがわかった。例えば「会社 A が会社 B を子会社として」では「として」が “ある一つの側面からの価値付け・意味付け” という意味の機能語相当表現なのか, それとも「会社 Aが会社 Bを子会社とする」と解釈すべきなのかを判断することが難しい. この機能語相当表現の問題については, 土屋ら (土屋, 宇津呂, 松吉, 佐藤, 中川 2006) がタグ付与作業に関して作業者間の高い一致率を得ており，彼らの作業方針を参考に仕様を洗練していく予定である.

## 5.2 事態性名詞タグ付与の問題点

事態性名詞の認定に関して，今回は「対象となる名詞（句）が出現文脈でモノとコトのどちらを表しているかを判断し，コトの場合のみ項を付与する」という仕様を採用したが，夕グ付与作業の結果, モノとコトの 2 值に分類することが困難な事例が多数出現し, それが作業の摇れの主な原因となった，例えば，例 (14)の名詞 “報告”は “文化庁ガ報告スル”というコトを表していると同時に報告された結果（内容物）というモノを表していることになり，この例からもわかるように，事態性名詞の中にはモノとコトのどちらとも解釈できるものがある.

（14）文化庁の 2005 年の報告によると、各宗教団体の報告による信者数は合計 2 億 1100 万人である。

つまり，項となり得る表現（例 (14)では “文化庁”）が近傍に出現しているか否かがコトを指すか否かの判定におおきく影響し，上のような場合でも項となる表現が近くに出現していない場合はモノと判断されるなど，一貫した作業結果が得られていない.

## 5.3 項のタグ付与の問題点

項の夕グ付与に関しては述語が取り得る格パタンが複数存在するために作業者間で摇れが生じることがわかった．この問題の典型的な例が自動詞と他動詞の交替である．例えば，述語 “実現する”は同じ語義に対して表層格レベルで “agent ガ theme ヨ実現する”と“theme ガ実現する”の 2 つの格パタンが存在するため，文章中ですべての格要素が省略されている場合は，作業者はどちらの解釈でも夕グ付与が可能になってしまう，自他交替の問題と類似して，制度などの表現に動作主性 (agentivity) を認めるか否かで解釈が異なるために摇れが生じる場合もある。例えば，文 (15)において，述語 “しばる”は，直前に出現している“規制”の動作主性を認め, “規制ガ theme チしばる”と “agent ガ規制デ theme チしばる”の 2 つの解釈が存在する.

(15) 我々の生活が知らず知らずにどれだけ規制でしばられているか、規制緩和によって豊かさが変わっていくのかを考えてみた。

このような交替を伴う場合の摇れに関しては, どちらかのパタンを優先するという規則をあらかじめ決めておき作業することで対応できると考えられる。

動作主性の問題に関連して, 組織のような実体にどのくらい動作主性を認めるかが作業者間で異なるために摇れが生じる場合も頻繁に起こった，例えば，文 (16) では，組織 “与野党”もしくはその組織の“党首”が事態“協力（する）”のガ格として解釈可能である.

（16）．.. 自民、さきがけ、新進各党の与野党 $a$ の党首 $b$ 会談を呼び掛けて協力を求めるべきだ。 このような組織とその組織の関係者のような対立や，また文 (17)の“北朝鮮”と“同指導部”のような組織とその部署の関係など，ある名詞が他の名詞と関連しているために，複数の解釈が可能な場合は “（与野党ノ）党首”のように詳細化されているほうに夕グを付与することによって作業者間の摇孔を少なくすることができると考えられる。このように扱うことで，もし〈所
属（党首, 与野党）〉のような名詞間の関係解析が実現できれば，他方の名詞（(16)では “与野党”）と対象となる述語を関連付けて扱うことができる。

(17) 北朝鮮 $a$ における新年の辞は、同指導部 $b$ の施政方針発表に当たる重要行事である。

また図 3(a)のように，項として夕グ付与されるべき名詞句が IRA の関係で他の名詞句と関連付けられている場合は，共参照関係にある名詞句のいずれかを項として同定する問題とみなすことができるが，一方図 3(b) の“子供”と“览童”のような ISAの関係で出現している名詞句については，ラベルが付与されていない“子供”は述語の項として夕グが付与されないという問題が起こる。

また, 本研究では必須格となるガ/ヲ/ニを対象に述語項構造の夕グ付与について議論したが, それ以外の格（カラ/ヘ/ト/ヨリ/マデ/デ）についても付与することが可能であるかを調査する必要がある。そこでコーパスの一部 136 記事を対象にこれらの夕グを試験的に付与し，どのような結果となるかを調査した。ただし，項の出現箇所に制限を加えずに作業を行った場合，作業者は各述語に対し文章全体を対象に格要素を探す必要があるため，すべての項に網羅的に夕グ付与できるかどうかがわからない。そのため，今回は項を同定する範囲を述語と同一文内に限定し, その中で網羅的に項の夕グ付与を行った. 表 5 に作業者 2 人が付与したタグの個数を表層格ごとにまとめる。表 5 より，ガ/ヲ/ニ以外の項についてもある程度の個数が付与可能な

## (a) 先行詞が非総称名詞

村山富市首相;

図 3 先行詞が総称名詞の場合の夕グ付与の漏れ
表 5 ガ/ヲ/ニ格以外の夕グ付与結果（新聞 136 記事）

ように見えるが，このうち文 (18)や文 (19)のような, 複数の述語が同一表現を項として持つ並列や文内ゼロ照応など，明示的にタグを付与すべき現象がどのくらい出現しているかを人手で調査したところ, 作業者 1 と 2 でそれぞれ 16 回と 31 回であった. つまり, 項の夕グ付与の対象を同一文内に限定した場合，ほとんどの項は係り受け関係にあり，かつ明示的にタグ付与対象となる格助詞を伴い出現するため, 今回人手でタグ付与作業を行った結果のほとんどは機械的に処理できる問題となる.

(18) 台北 $i$ では、屋外のスタジアムも満員になりデ:i、失神者が出たデ:iほど。

（19） ...「新民主連合」は六、九の両日に総会 $i_{i}$ を開き $\exists_{: i}$ 、離党問題などの対応を話し合うデ:i ことにしており、党内調整は大きなヤマ場を迎える。

このため，文を越えて述語と任意格の関係を付与することを考慮する必要があるが，どのような基準でその作業に取り組めばよいのかは自明ではなく，今後さらに検討する必要があると考えている.

## 5.4 共参照タグ付与の問題点

共参照関係のタグ付与に関して作業を行った結果，共参照関係を厳密な同一実体を参照している場合に限定したことで, 多くの関係は固有名の間で認定され, 照応の現象と関連する代名詞や指示連体詞を伴う名詞句のような表現についてはほとんどには共参照の関係が付与されなかった。これは, 新聞記事の場合は読み手が理解できる箇所では代名詞のような表現よりゼロ代名詞を優先的に利用している，また，代名詞が名詞句に加え，直前の節を指す場合などが比較的多く, 仕様で定義した共参照関係として認定できない, などの理由がある．たたし，代名詞, 指示連体詞などの指示表現については照応関係を研究するための良い題材になると考えられるので, これらの指示表現に特化した夕グ付与作業を行った。作業結果については 6.2 でまとめる。

また，IRAのみを対象に共参照のタグを付与する作業に関してもいくつかの問題が残る。まず 1 つ目の問題を文章 $(20)$ を例に説明しよう.

（20）グロズヌイからの報道によると三日、大統領官邸の北西一・五キロの鉄道駅付近でロシア軍部隊 $i_{i}$ とチェチェン側部隊が衝突したが、ロシア側 $_{i}$ は中心部への進撃を阻まれて苦戦。... ロシア政府 $j$ は三日、戦況に関する声明を発表し、大統領官邸を含む首都中心部は依然としてロシア側が支配していると強調した。しかし現地からのテレビ映像では、
官邸はじめ中心部は依然としてドゥダエフ政権部隊の兵士が警戒に当たっており、ロシア側 ${ }_{j}$ の発表と食い違いを見せている。

この例で，最初に出現する “ロシア側 $i$ ”が “ロシア軍部隊 $i$ ”の換喻に相当するのに対し，次に出現する“ロシア側 $j$ ”は “ロシア政府 $j$ ”の換喻として解釈できる．現状の仕様では “ロシア軍部隊 $i$ ”と“ロシア側 $i$ ”、“ロシア政府 $j$ ”と“ロシア側 $j$ ”それぞれに共参照関係の夕グを付与することになるが，換喻の解釈しながら夕グ付与作業を行なうことが困難であることに加え，実際の自動解析する際にも非常に困難な問題設定となる。この問題を回避するために，換喻の解釈で共参照の夕グを付与するのではなく，文章に出現している 4 つの“ロシア”を同一の実体としてタグ付与するなどの方法が考えられるが，どのように仕様を決めた方がよいかは明らかでないため今後検討していく必要がある.

また，IRAの認定に関しても，実体が具体名詞である場合は 2 つの言及が同一の実体を指すか否かの認定が容易であるが，抽象名詞の場合は同じものを指しているかの判定が困難である。 4.3 で共参照関係のタグ付与にはあらかじめ名詞のクラスを指定して作業を行うことは望ましくないと述べたが，抽象名詞に関してはいくつかの意味クラスに限定して作業を行い，どのくらい摇れなく作業できるかを調查したい.

## 6 タグの仕様の改善

5 節で見たように，今回採用したタグ付与の基準には解決しなければならないいくつかの問題点が含まれている。この節ではその中で事態性名詞と名詞句の照応関係についてさらに仕様を洗練し，作業を行った結果について報告する。

## 6.1 事態性名詞

5.2 に示したように，事態性名詞に関する典型的な作業の摇れは, 事態性名詞が文脈によってモノとコトの両方の解釈がある場合に「あらかじめ明示的にコトかモノかを判別し，コトへのみ項を付与する」という仕様と矛盾するために起こる。この矛盾を回避するために，以下に示すの 2 つの項目をタグ付与の仕様として採用した。

修正点 1: モノを指す表現へも項を付与するモノとコトの境界を項付与できるか否かで弁別することは困難であり，モノとして解釈できる場合にも項を持つ場合がある。そこで，今回の仕様ではモノである場合でも項を持つと判断できた場合には，モノ/コトの判別とは独立に項を付与する.

修正点 2: モノとコトを指す表現を区別するためモノと判断した根拠もタグ付与する提案 1 で述べた仕様を採用すると，モノの場合も項を付与するため項を付与したことがコトを指すという情報と等価ではなくなる。しかし, 文章中の事態のみを抽出したい応用分野も存在するため,
作業結果には事態性名詞がコトを指すという情報もできる限り残しておくことが望ましい。そこで，まず我々はあらかじめ摇れが起こった事態性名詞を人手分析し，モノとコトの解釈で曖昧性が生じる名詞を結果物/内容，モノ（具体物），役割，述語と事態性名詞との語義のずれの 4 種のクラスに分類した。事態性名詞をモノとして解釈できる場合には, これら 4 つのうちいずれかを夕グ付与することでモノとしての証拠を残す。逆にこれらのタグが付与されないことで純粋に事態を表す事態性名詞を表現する。また，名詞クラスのタグを用意することで，項付与が困難な場合に作業者が無理に項を付与しようとする事態を回避することができる。

上述の 2 つの提案を採用することにより，これまでモノに分類するか項を取るかどちらか一方の情報しか付与できなかった例 (14)の “報告” についても, “モノ（具体物）”としての解釈と “文化庁ガ報告スル” という項構造の両方を情報を付与できるようになる，以下で，今回付与する 4 種の名詞クラスについて説明する。
- 結果物/内容: 典型的には例 (21)のような内容節をとる（トノ, トイウを伴って出現する）場合，“意見”のような名詞は内容節が表す内容と同格であり，“意見スル”というコトを指すとは考えにくい12.

（21）党内には「社会党会派の離脱者は従来通り除名すべきだ」との意見が根強く... この類例としては“提案”, “決定”, “報告”などがある.

また，“連合シタ”結果，“連合”という実体が存在するという解积に基づき，例 (22)のような実体を指すのみで事態を表すとは考えにくい“連合”についても〈結果物/内容〉のタグを付与し，項は付与しない。この類例としては“組織”などの表現がある。

(22) 十日夜には、自由連合の新年会に自民党から森喜朗幹事長、島村宜伸国対委員長らが出席した。

同様に，例 (23)の “規制”も “規制スル” 事態よりも規制の内容そのものを指すと判断した場合は，項は付与せず〈結果物/内容〉タグのみを付与する。

（23）また、経済問題については日本経済の構造変革のため規制緩和に積極的に取り組むと訴える。
- モノ（具体物）：事態性名詞が文脈中でモノ（具体物）を指しているかを判定する．前述の例 (12)のモノとしての “電話 $j$ ”や場所としての “施設”, 道具としての“装備”などの表現がこれに相当する，例えば，ある文脈で“携帯”という表現が“携帯電話”というモノを指す場合は〈モノ〉タグを付与する。
- 役割: “課長補佐”, “松本教授”, “オシム監督”などの表現は, 名詞句全体で個人を指示しており，名詞句内の事態性名詞がコトを指すとは考えにくく，この場合には〈役割〉夕


グを付与することで項の付与を回避する。このような表現は典型的に主辞の位置に出現している場合が多い.
- 述語と事態性名詞との語義のずれ: 事態性名詞が派生前の動詞の意味と異なる場合には,項を付与することができない．例えば，例 (24)のサ変名詞“一定”は動詞 “一定スル”と異なった意味で用いられており，このような場合には〈ずれ〉タグを付与し，項は付与しない.

（24）一定の得票で議席を占めた後に今回と同様「除名」などの騒動が起きれば、...

上述の作業方法を採用することで人手での夕グ付与品質にどのような影響が出るかの調査を行った. 具体的には, 作業者 2 人が新聞報道 50 記事中のサ変名詞 665 箇所に対し, その名詞が項を持つか否かの判定と項を持つ場合は項の付与を行った. この作業とは独立に 3 節に示した名詞クラスの付与を行った，今回の作業では頻出するサ変名詞を対象に作業し, 和語動詞派生の名詞は対象外とした。作業者 2 名の作業結果とその一致率を表 6 に示す. 表 6 より，665 件のサ変名詞のうちどちらの作業者も 550 を越えるサ変名詞に対して項を持つと判定しており，文章中のほとんどのサ変名詞は項付与対象となっていることがわかる。 また，項を持つか否かの作業者間の一致率はそれぞれの作業者について見た場合 0.95 と 0.91 と以前の作業品質の調査 (飯田, 小町, 乾, 松本 2007 ) (一致率は 0.905 と 0.810 ) と比較して一致率が向上しており, 今回の作業方針が品質向上に有効であったことがわかる。また，項を持つか否か Kappa 値で評価したところ 0.522 という結果を得た. 名詞クラスの一致率については良いとは言い難いが, これは作業者間で〈結果物/内容〉と〈ずれ〉にそれぞれ付与するなど，クラス間の摇れが生じたためであり，またそもそもスル接続で表現する頻度が低い“確証” などの事態性名詞に関する解釈の異なりも作業の摇れの原因となった。また，項を取るか否かの夕グ付与が不一致だった 78 事例を調べたところ，44 事例は項を付与するか否かに作業者間で解釈が異なる事例であり，残りは付与の誤りとみなせる事例であった。

次に，2人の作業者が項を持つと判断した 531 事例について, 項（ガ/ヲ/ニ格）がどのくらい一致するかを評価した結果を表 7 に示す。項を取ると判断された事態性名詞のうち付与された

表 6 名詞クラスのタグ付与の作業結果（報道 50 記事, サ変名詞 665 箇所）

項が一致しなかった 265 事例を人手で分析，摇れの原因を調査した結果を表 8 にまとめる ${ }^{13}$. 作業の摇れはおおきく 2 の問題に起因している。一つは，各事態性名詞を述語化して考えた際に作業者間で異なった格パタンを想起したためである。特に，ある事態性名詞に対して，一方の作業者は必須格としてヲ格を取ると判断したが，他方はそれを取らないと判断した場合が摇れの大部分を占めていることがわかった。この問題に関しては, 語彙概念構造 (Jackendoff 1990) を考慮して作成されている動詞辞書 (竹内，乾，藤田 2006)のような情報を作業の際に提示することで，作業者が想起できない格パタンを網羅的に把握することができ，摇れが少なくなると考えられる。このような作業者支援については，野口らの作成しているアノーテションツール (野口，三好，徳永，飯田，小町，乾 2008)でどのように情報を提示するかという問題と同時に考えていきたい.

また，もう一つの主要な摇れの原因は，同定すべき項の粒度に関するものである．例えば，例 (25) で項を持つと判断された“整備”には，前方文脈に出現している“日本鉄道建設公団”という組織が “整備スル”という解釈と，文章中に出現しない“特定の誰か（もしくは集団）”が “整備スル”という 2 つの解釈が存在する。

（25）日本鉄道建設公団は十一日、整備新幹線の北海道新幹線について、ルート公表に向けた

表 7 事態性名詞の項夕グ付与の一致率（サ変名詞 531 箇所）

表 8 タグ付与不一致の原因分析の結果（サ変名詞 265 箇所）


函館市と小樽市付近の調査に一月下旬から着手すると発表した。

調査は、整備新幹線建設費とは別枠の、建設推進準備事業費三十億円の中で行われる。 この問題は「できるだけ文章内から項を選択する」という基準を用いた場合でも，作業結果は作業者の解釈に左右されるため，解決はできず，述語の場合も同様に問題となる。この問題と関連して，これまでの夕グ付きコーパス構築の方法論はできるだけ摇れを無くすことが前提であり，解析はその厳密な設定のもと問題を解くという立場で研究が進められてきたが，今後はその代替案として作業者一人もしくは複数人の摇れを許容するような学習・分類の枠組みを検討すべきかもしれない.

## 6.2 名詞句の照応関係

5.4 で示したように， 4.3 で示した名詞句の共参照関係の仕様に従って作業を進めた場合, 厳密な共参照関係であることを作業者に強いて夕グを付与させるため, 例えば表現が代名詞であっても，照応関係が付与されないことになる．どの粒度での照応関係が応用処理に必要となるかは応用処理それぞれの問題に依存するため, 同一の実体を指していることが保証できない場合でも，照応関係を認定して夕グを付与したい。しかし, この対象を名詞句全体に広げた場合, 4.3 で述べた概念間の包含関係など, 複雑な関係を把握した上で照応関係を付与するという作業を作業者に強いることになる。ここではそのような照応関係を捉える第一歩として，“この” や “その”といった指示連体詞を伴う名詞句を作業対象とすることで，照応関係についてどのような作業を進めていくべきかを考える。以下で示すように，指示連体詞を伴う名詞句を対象にする場合，共参照の関係を含む指定指示（限定指示）や bridging reference (Clark 1977) などの間接照応の関係に相当する代行指示といった複数のの関係を考慮する必要があり, 名詞句全体の照応現象を考える上での良い縮図となっていると考えられる。

指定指示（限定指示）：“指示連体詞 + 名詞（句）〉”が文章中の他の表現と照応関係になる場合にその関係を指定指示（限定指示）という。例えば，例 $(26)$ において，“このデー夕 $i$ ”は先

(26) 図書館で資料 $i_{i}$ 手に入れた。このデー夕 $i_{i}$ は機械的に処理される。

代行指示: 指示連体詞単体が前方文脈の表現と照応関係になる場合にその関係を代行指示とい

う，例えば，例 $(27)$いて，“こ（の）”は前文の“水質調査”と照応関係にある.

(27) 5 年間、水質調査 $i$ を行った。この年 $_{i}$ デー夕は機械的に処理される。

この 2 種類の関係を分けて付与するため，指定指示の場合は “指示連体詞 + 名詞（句）〉”全体を照応詞とし, 代行指示の場合は指示連体詞のみに照応詞の夕グを付与する. また作業の確認のため, 各に指示代名詞にはどちらの関係で出現しているかを明示的に夕グ付与を行う。また, “この日”などの表現は文章中に必ずしも先行詞が存在するとは限らず,このような場合には外界照応のタグを付与し, 指定指示や代行指示と区別する。この結果，指示連体詞には指定
指示，代行指示，外界照応のいずれかのタグが付与されることになる．共参照関係を付与した際には，談話要素間の厳密な共参照関係を強いたため先行詞は名詞（句）に限られたが，指示連体詞を伴う場合には，先行詞の品詞には制約を加えずに作業を行った。このため，照応詞の指し先が節となる場合も含まれる。このような場合は節の主辞（多くの場合は述語）をその節を代表して先行詞としてタグ付与した。例えば，例 (28)では，“その前計算”は “前述のシステムは前もって値を計算する”ことを指しており，この場合はこの節を代表して，“計算する”を先行詞としてタグ付与する。

(28) システムは前もって値を計算する ${ }_{i}$ 。その前計算はシステムの性能を大幅に向上させている.

また, 先行詞の表現によっては指示関係が指定指示なのか代行指示なのか曖昧な例が存在する.例えば，例 (29) では，“その土地”が“アメリカ”を指す指定指示の関係なのか，“その”が“アメリカ”を指し，“アメリカの土地”として解釈すべきかの判断が困難である。

(29) 彼はアメリカ ${ }_{i j}$ へ向かった。その ${ }_{i}$ 土地 $j$ で彼は新しい仕事をみつけるつもりだ。

このような曖昧性のある指示関係については指示関係が曖昧であることを夕グ付与し，明かにわかる指定指示や代行指示の関係とは区別する.

上述の作業内容にしたがい, 一人の作業者が指示関係とその先行詞の夕グ付与作業を行った.作業対象はすでにタグ付与を行った NAIST テキストコーパスの中から指示連体詞を含む記事をあらかじめ抽出し, その記事を対象に作業を行う。茶鉒14で形態素解析した結果を利用し, 品詞が “連体詞”として解析された形態素を含む記事 1,463 記事（報道 883 記事，社説 580 記事） を対象に作業を行った。この結果 4,089 の指示連体詞にタグが付与され，このうち指定指示は 30.9\%（1,264/4,089）代行指示は $57.4 \% （ 2,345 / 4,089 ）$, 外界照応は $11.5 \%(470 / 4,089 ）$ であった. 表 9 に記事の種類や先行詞の種類ごとの出現数をまとめる.

次に, 作業の信頼度を調査するために, 別の作業者がすでにタグ付与した記事の一部（418の指示連体詞）を対象に新たに夕グ付与作業を行い，作業の一致率を見る。まず，指示関係の判別について Kappa 值で評価したところ 0.73 と高い数値を得た。また, 先行詞の一致率について

表 9 照応関係の夕グ付与の統計（新聞 1,463 記事，4,089 の指示連体詞）



は, 評価に使った 418 の指示連体詞のうち, 先行詞を持つ 322 の指示連体詞についてどの程度同じ先行詞にタグ付与されたかの一致率を見た。その結果，指定指示については $80.7 \%$ (88/109) が一致するという高い一致率が見られたが，代行指示については， $62.9 \%(134 / 213)$ と指定指示に比べ低い一致率となった。これは，指定指示についての作業は照応詞に対し先行詞が同じ意味カテゴリに入る候補のみを探す比較的容易な作業であるのに対し, 代行指示に関してはさまざまな意味的な関係を考慮して先行詞を探す必要があり，作業がより困難であることに起因すると考えられる。この品質の向上のためにある意味カテゴリを先行詞として持つ可能性のある表現については，あらかじめその情報を提示した状況で作業を行うなどが考えられる。その点を含め, どのような情報をどのような状況に提示するかについては今後さらに検討していく予定である.

## 7 おわりに

本稿では, 日本語を対象とした述語項構造・共参照タグ付与コーパスに関して, 我々が今回採用したタグ付与の基準について報告した. 3 節の議論に基づき，述語項構造の夕グに関してはISAとIRAの関係両方で, 共参照関係はIRAの関係でタグ付与作業を行い, 京都コーパス 3.0 を対象にこれまでにない大規模な述語項構造・共参照タグ付きコーパスを作成した。また,特に一致率の悪かった事態性名詞の夕グ付与に着目し, 作業仕様の洗練を行った. 具体的にはモノのタグ付与と項付与を独立に扱うことで, 作業品質が向上するという結果を得た. さらに, その他のタグ付与作業に関しても, 作業の過程で起こった問題について考察し, 作業の詳細化のための項目を述べた。

今回作業では述語と事態性名詞の表層ガ/ヲ/二格と共参照関係の夕グ付与を行ったが，情報抽出などの応用分野を想定した場合, 今回作業したラベルに加え, 以下に示す内容に取り組む必要があると考えている.

まず，今回の作業では名詞間の関係として共参照関係のみを作業対象としたが，上位下位や部分全体, 所属関係など，さまざまな関係の解析も述語項構造・共参照解析と同様に応用処理

る“Aノ B”の粒度でタグを付与した場合, この“ノ”で付与した結果には上位下位関係や部分全体関係などさまざまな関係を含んでしまうため，関係抽出の粒度としては不十分である。また, この名詞句間の関係解析は, bridging reference (Clark 1977) や間接照応 (山梨 1992)などの用語で表現される場合もあるが, bridging reference は一般に英語の定情報 (definite) の存在が仮定された上で述べられることが多い。つまり，“the”を伴った名詞句があるにもかかわらず，参照する先行詞が文章中に出現していない場合にどう解釈すればよいかという点が議論の中心となっている。一方, 日本語などの冠詞のが利用できない言語の場合, “the”のような手がかり

がないために，どの名詞句の対に対して間接照応の関係を付与するかという課題設計そのものが困難になると考えられる。ACEの Relation Detection and Characterization (RDC) タスクでは, 3.1 で述べた実体の間の関係にのみ抽出対象となる関係を定義しているが，実体のクラスをオープンにした場合に摇れなく作業できるかについても今後調査したい.

さらに，今回の作業では新聞記事を対象に作業を行ったが，例えば代名詞の出現が少ないなど, このコーパス内の用例だけを学習手法の訓練事例として利用すると, blog などの照応解析,述語項構造解析を適用したい記事との異なりのために適切に解析できない恐れがあり，今後はタグ付与作業をいくつかの領域に拡張して進める必要がある.

また，夕グ付与に関する仕様書に関して，それぞれ個別の仕様について，外延的に例を示すだけで仕様をまとめるのではなく，それぞれの夕グがどのような性質を持っているために付与されているかという内包的な仕様も明示的に記述することで，実際に解析に利用した研究者が問題の性質を分析するのに役立つ仕様書を作成することが重要だと考えており，今後の作業内容については順次 Webぺージ15にまとめていく予定である.

## 謝 辞

本研究は科研費特定領域研究「代表制を有する大規模日本語書き言葉コーパスの構築」, ツー ル班「書き言葉コーパスの自動アノテーションの研究」（研究代表者: 松本裕治）の支援を受けた。記して謝意を表する。

## 参考文献

浅原正幸，松本裕治 (2003). ipadic version 2.6.3 ユーザーズマニュアル.

Clark, H. H. (1977). "Bridging." In Johnson-Laird, P. N. and Wason, P. (Eds.), Thinking: Readings in Cognitive Science. Cambridge University Press.

Doddington, G., Mitchell, A., Przybocki, M., Ramshaw, L., Strassel, S., and Weischedel, R. (2004). "Automatic Content Extraction (ACE) program—task definitions and performance measures." In Proceedings of the 4 rd International Conference on Language Resources and Evaluation (LREC-2004), pp. 837-840.

Hasida，K. (2005). GDA 日本語アノテーションマニュアル草稿第 0.74 版. http://icontent.org/gda/tagman.html.

Hirschman, L. (1997). "MUC-7 coreference task definition. Version 3.0.".

飯田龍, 小町守, 乾健太郎, 松本裕治 (2007). NAIST テキストコーパス: 述語項構造と共参照関係のアノテーション. 情報処理学会研究報告 (自然言語処理研究会) NL-177-10, pp. 71-78. Jackendoff, R. (1990). Semantic Structures. Current Studies in Linguistics 18. The MIT Press. Jiang, Z. P. and Ng, H. T. (2006). "Semantic Role Labeling of NomBank: A Maximum Entropy Approach." In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing (EMNLP 2006), pp. 138-145.

河原大輔, 黒橋禎夫, 橋田浩一 (2002).「関係」タグ付きコーパスの作成. 言語処理学会第 8 回年次大会発表論文集, pp. 495-498.

Kingsbury, P. and Palmer, M. (2002). "From TreeBank to PropBank." In Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC-2002), pp. 1989-1993.

Komachi, M., Iida, R., Inui, K., and Matsumoto, Y. (2007). "Learning Based Argument Structure Analysis of Event-nouns in Japanese." In Proceedings of the Conference of the Pacific Association for Computational Linguistics (PACLING), pp. 120-128.

Liu, C. and Ng, H. T. (2007). "Learning Predictive Structures for Semantic Role Labeling of NomBank." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 208-215.

Marcus, M. P., Santorini, B., and Marcinkiewicz, M. A. (1993). "Building a Large Annotated Corpus of English:The Penn Treebank." In Computational Linguistics, pp. 313-330.

Meyers, A., Reeves, R., Macleod, C., Szekely, R., Zielinska, V., Young, B., and Grishman, R. (2004). "The NomBank Project: An InterimReport." In Proceedings of the HLT-NAACL Workshop on Frontiers in Corpus Annotation.

Mitkov, R. (Ed.) (2002). Anaphora Resolution. Studies in Language and Linguistics. Pearson Education.

Ng, V. and Cardie, C. (2002a). "Improving Machine Learning Approaches to Coreference Resolution." In Proceedings of the 40th ACL, pp. 104-111.

野口正樹, 三好健太, 徳永健伸, 飯田龍, 小町守, 乾健太郎 (2008). 汎用アノテーションツー ル SLAT. 言語処理学会第 14 回年次大会発表論文集.

Palmer, M., Gildea, D., and Kingsbury, P. (2005). "The Proposition Bank: An Annotated Corpus of Semantic Roles." Computational Linguistics, 31 (1), pp. 71-106.

Poesio, M. (2004). "Discourse Annotation and Semantic Annotation in the GNOME Corpus." In Proceedings of the ACL 2004 Workshop on Discourse Annotation, pp. 72-79.

Soon, W. M., Ng, H. T., and Lim, D. C. Y. (2001). "A Machine Learning Approach to Coreference Resolution of Noun Phrases." Computational Linguistics, 27 (4), pp. 521-544.
竹内孔一, 乾健太郎, 藤田篤 (2006). 語彙概念構造に基づく日本語動詞の統語・意味特性の記述. 影山太郎 (編),レキシコンフォーラム, 2 号, pp. 85-120. ひつじ書房.土屋雅稔, 宇津呂武仁, 松吉俊, 佐藤理史, 中川聖一 (2006). 日本語複合辞用例データベースの作成と分析. 情報処理学会論文誌, 47 巻, pp. 1728-1741.

van Deemter, K. and Kibble, R. (1999). "What is coreference, and what should coreference annotation be?" In Proceedings of the ACL '99 Workshop on Coreference and its applications, pp. 90-96.

Vilain, M., Burger, J., Aberdeen, J., Connolly, D., and Hirschman, L. (1995). "A Model-Theoretic Coreference Scoring Scheme." In Proceedings of the 6th Message Understanding Conference (MUC-6), pp. 45-52.

山梨正明 (1992). 推論と照応. くろしお出版.

## 略厤

飯田龍：1980 年生. 2007 年奈良先端科学技術大学院大学情報科学研究科博士後期課程終了。同年より奈良先端科学技術大学院大学情報科学研究科特任助教. 2008 年 12 月より東京工業大学大学院情報理工学研究科助教. 現在に至る. 博士 (工学). 自然言語処理の研究に従事. 情報処理学会員.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年同大学博士後期課程に進学. 修士 (工学). 日本学術振興会特別研究員. 大規模なコーパスを用いた意味解析に関心がある。言語処理学会第 14 回年次大会最優秀発表賞, 情報処理学会第 191 回自然言語処理研究会学生奨励賞受賞. ACL$\cdot$人工知能学会 ・ 情報処理学会各会員.

井之上直也：1985 年生. 2008 年武蔵大学経済学部経済学科卒業. 同年より奈良先端科学技術大学院大学情報科学研究科博士前期課程. 現在に至る. 自然言語処理の研究に従事.

乾健太郎：1967 年生. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同年より同研究科助手. 1998 年より九州工業大学情報工学部助教授. 1998 年〜2001 年科学技術振興事業団さきがけ研究 21 研究員を兼任. 2001 年より奈良先端科学技術大学院大学情報科学研究科准教授. 現在に至る. 博士 (工学). 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 電子情報通信学会, ソフト科学会各会員.

松本裕治：1955 年生. 1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所.

1984 85 年英国インペリアルカレッジ客員研究員. $1985 \sim 87$ 年 (財) 新世代コンピュータ技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授. 現在に至る. 工学博士. 専門は自然言語処理.人工知能学会, 日本ソフトウェア科学会, 情報処理学会, 認知科学会, AAAI, ACL, ACM 各会員.

