# 絵本のテキストを対象とした形態素解析

藤田 早苗 $\dagger \cdot$ 平 博順 $\dagger$.小林 哲生 $^{\dagger} \cdot$ 田中 貴秋 $^{\dagger}$
}

これまで, 主に新聞などのテキストを対象とした解析では, 形態素解析器を始めとし て高い解析精度が達成されている。しかし分野の異なるテキストに対しては, 既存 の解析モデルで，必ずしも高い解析精度を得られるわけではない。そこで本稿では，既存の言語資源を対象分野の特徴にあわせて自動的に変換する手法を提案する。本稿では, 絵本を解析対象とし, 既存の言語資源を絵本の特徴にあわせて自動的に変換し, 学習に用いることで相当な精度向上が可能であることを示す. 学習には既存 の形態素解析器の学習機能を用いる. さらに, 絵本自体にアノテーションしたデー 夕を学習に用いる実験を行い, 提案手法で得られる効果は, 絵本自体への約 11,000 行, 90,000 形態素のアノテーションと同程度であることを示す. また, 同じ絵本の 一部を学習データに追加する場合と, それ以外の場合について, 学習曲線や誤り内容の変化を調査し, 効果的なアノテーション方法を示す. 考察では, 絵本の対象年齢と解析精度の関係や, 解析精度が向上しにくい語の分析を行い, 更なる改良案を 示す.また, 絵本以外への適用可能性についても考察する。

キーワード：ひらがな, 対象年齢, 分野適応, アノテーション
## Japanese Morphological Analysis of Picture Books

Sanae Fujita $^{\dagger}$, Hirotoshi Taira ${ }^{\dagger}$, Tessei Kobayashi ${ }^{\dagger}$ and Takaaki Tanaka ${ }^{\dagger}$

Picture books have a significant influence on children's language development. However, the sentences in picture books are difficult to analyze automatically. Therefore, to improve the accuracy of the morphological analysis of such sentences, we propose an automatic method to transform existing resources into applicable training data for picture books. In this paper, we first compare picture books with common corpora and then analyze the reasons for the difficulty in morphological analysis. Based on this analysis, we propose a transforming method for existing resources and show its effectiveness using the learning function of an existing morphological analyzer. Second, we perform further experiments using annotated data of picture books themselves. Then we reveal that our proposed method provides us with the same effect, with around 11,000 lines, that is 90,000 morphological annotations of picture books. In addition, we demonstrate an effective annotation strategy by investigating the learning curves and change in error types. In a discussion, we analyze the results focused on a picture book's target ages and difficult to learn words and then further refine our proposed method. Finally, we also briefly consider the applicability of our method to other domains.

Key Words: Japanese syllabary characters, Target age, Domain adaptation, Annotation

## 1 はじめに

これまで，主に新聞などのテキストを対象とした解析では，形態素解析器を始めとして高い 解析精度が達成されている. しかし近年, 解析対象は Webデータなど多様化が進んでおり, こ れらのテキストに対しては既存の解析モデルで，必ずしも高い解析精度を得られるわけではな い (工藤, 市川, Talbot, 賀沢 2012; 勝木, 笹野, 河原, 黒橋 2011).

本稿では，そうしたテキストの一つである絵本を対象とした形態素解析の取り組みについ て述べる。絵本は幼坚の言語発達を支える重要なインプットの一つであり (Raikes, Pan, Luze, Tamis-LeMonda, Brooks-Gunn, Constantine, Tarullo, Raikes, and Rodriguez 2006), 高い精度で 解析できれば, 発達心理学における研究や教育支援, 絵本のリコメンデーション (服部, 青山 2013) などへの貢献が期待できる.

絵本の多くは子供向けに書かれており，わかりやすい文章になっていると考えられる。それ にも関わらず，既存の形態素解析器とその配布モデルでは，必ずしもうまく解析できない．な お本稿では, 「モデル」を, 既存の形態素解析器に与えるパラメ夕群という意味で用いる。表 1 に, 既存の形態素解析器である JUMAN ${ }^{1}$ (京都大学黒橋・河原研究室 2012), ChaSen ${ }^{2}$ (松本, 高

表 1 絵本の文の解析例

} & & \multicolumn{11}{|c|}{} \\

解析結果の出現形, 原形, 品詞を記載.

ただし，KyTea の配布モデルでは原形は出力されない. 品詞は適宜簡略化して表示.
^{1}$ http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN, ver.7.0を利用.

2 http://chasen-legacy.sourceforge.jp/, ver.2.4.4を利用.
}
岡, 浅原 2008), $\mathrm{MeCab}^{3}$ (Kudo, Yamamoto, and Matsumoto 2004), $\mathrm{KyTea}^{4}$ (森, 中田, Neubig,河原 2011) とその配布モデルで絵本の文を解析した場合の例を示す. 解析器によって誤り方は 異なるが, すべて正しく解析できた解析器はなく, 既存のモデルでは絵本の解析が難しいこと がわかる.

これは, 一般的な形態素解析モデルを構築するときに用いられる学習データ（ラベルありデー 夕）と, 解析対象である絵本のテキストでは傾向が大きく異なるためだと考えられる。このよ うに，学習デー夕と解析対象の分野が異なる場合には，形態素解析に限らず機械学習を用いる 多くのタスクで精度が低下するため, それに対応するための様々な手法が提案されてきた.

神嶌 $(2010)$ は, この問題に対処するための機械学習の方針として, 半教師あり学習, 能動学習, 転移学習の三つを挙げている。 まず, 半教師あり学習は, 少数のラベルありデータを準備 し, 多数のラベルなしデータを活用して予測精度を向上させる手法であり, 日本語では単語分割を行う手法が提案されている (萩原, 関根 2012). 能動学習は, より効率的な分類ができるよ うに選んだ事例にラベルを付与する。 日本語形態素解析では, 確信度の低い解析結果に対して 優先的に正解ラベルを付与していくことで, 対象分野の解析精度を効率的に改善する方法が提案されている (森 2012; Neubig, Nakata, and Mori 2011). 転移学習は, 関連しているが異なる 部分もあるデータから, 目的の問題にも利用できる情報・知識だけを取り込んで，より予測精度 の高い規則を得ることを目標とする (神嶌 2010). 転移学習は, 元の分野と対象分野のラベルあ りデータの有無によって分類ができる。本稿では, 対象分野のラベルありデータが無い場合を 教師なし分野適応, ある場合を教師あり分野適応と呼ぶ. 工藤ら (2012) が提案した, Web上の ひらがな交じり文に対する形態素解析精度向上の手法では, 大量のWeb 上の生コーパスを利用 しているが，対象分野のラベルありデータは用いておらず，教師なし分野適応の一種と言える. いずれの先行研究も優れた利点がある。しかし, 本稿で対象とする絵本のように, これまで 対象とされてきたコーパスと全く異なり, かつ, 大量のデータの入手が困難な場合, これらの 先行研究をそのまま適用しても高い精度を得ることは難しい.

まず，絵本の大量の生コーパスが存在するわけではないため, Webデー夕を対象とする場合 のような, 大量の生コーパスを用いた半教師あり学習は適さないと考えられる. 能動学習はす ぐれた分野適応の方法であるが，本稿のように， べースとなる初期モデルの学習に利用できる 学習データと対象分野との差異が非常に大きい場合, 解析誤りが多すぎ, 結局ほぼ全文の解析結果を修正しつつラベルを付与する必要に迫られることになる. 工藤ら (2012)の方法は, ひら がな交じり文を対象としており，絵本の解析にも比較的適していると考えられる．しかし，絵本の場合, ひらがな交じりというより, 全文がひらがなで記述されることも多く, 高い精度で

解析できるとは言えない.

そもそも，対象分野のラベルありデータを十分に得ることができれば，通常，教師あり学習 により高い精度が得られる。しかし, 対象分野のラベルありデータを作成するためにも, 何ら かの形態素解析器による解析結果を修正する方法が一般的であり, そもそもの形態素解析精度 が低いとラベルありデータの作成に，コストと時間が非常にかかることになる.

そこで本稿では，既存の辞書やラベルありデータを，対象分野の特徴にあわせて自動的に変換し，それを使って形態素解析モデルを構築する教師なし分野適応手法を提案する．提案手法 では，既存の言語資源を活用することで，コストと時間をかけずに，対象分野の解析に適した 形態素解析モデルを得ることが出来る。また，こうして得た初期モデルの精度が高ければ，さ らに精度を高めるための能動学習や，ラベルありデータの構築にも有利である。本稿では，提案手法で構築したモデルをさらに改良するため, 絵本自体へのアノテーションを行って学習に 利用した教師あり分野適応についても紹介する.

以降，まず 2 章では，解析対象となる絵本データベースの紹介を行い，新聞などの一般向け テキストと絵本のテキストを比較し，違いを調査する。 3 章では，本稿で形態素解析モデルの 学習に利用する解析器やラベルありデータ, 辞書, および, 評価用データの紹介を行う． 4 章で は，絵本のテキストを漢字に変換した場合などの精度変化を調査することで，絵本の形態素解析の問題分析を行う， 5 章では， 2 章， 4 章の調査結果に基づき，解析対象である絵本に合わせ て, 既存の言語資源であるラベルありデータと辞書を変換する方法を提案する。 6 章では, これ らを学習に用いる教師なし分野適応の評価実験を行い，提案手法による言語資源の変換の効果 を示す. さらに, 7 章では, 絵本のラベルありデータを学習に利用する教師あり分野適応の評価実験を行う。また同時に, 提案手法によって得られるラベルありデータが, どの程度の絵本自体のラベルありデー夕と同程度の効果になるかも評価する． 8 章では, 前章までに得たモデル をさらに改良するための問題分析と改良案の提示を行い，提案手法の絵本以外のコーパスへの 適用可能性についても考察する。最後に 9 章では, 本稿をまとめ, 今後の課題について述べる.

## 2 解析対象

本章では，まず，解析対象である絵本データベースの紹介を行う（2.1節)。次に，新聞など の一般向けテキストと絵本のテキストを比較し, 違いを調査する（2.2 節）。また, 評価, 実験用に形態素情報を付与した絵本のラベルありデータ（フルアノテーションデータ）を紹介する (2.3 節).

## 2.1 絵本データベース

本稿では構築中の絵本データベースを解析対象とする (平, 藤田, 小林 2012). 絵本デー夕 ベースは, 発達心理学における研究や, 子供の興味や発達に応じた絵本リコメンデーションを 目的として構築されている。

含まれる絵本は, 2010 年度の紀伊国屋書店グループの売上冊数が上位のファーストブック (以下, FIRST）と絵本 (以下, EHON） ${ }^{5}$ 計 1,010 冊，および, 福音館書店の月刊誌（以下，KODOMO） 190 冊, 合計 1,200 冊である ${ }^{6}$. これらの選定理由は，前者は多くの子供に読まれていると考え られること，後者は対象年齢が比較的はっきりしていることである．後者の対象年齢は $0 \cdot 1 \cdot$ 2 歳向け (以下, $\mathrm{K} 012$ ), 年少 (3歳北) 向け (以下, $\mathrm{K} 3$ ), 年中 (4 歳児) 向け (以下, $\mathrm{K} 4$ ), 年長（5 歳坚）向け（以下，K5）とわかれている。本稿では, これらをまとめて絵本と呼ぶこと とする。なお, KODOMO 以外で対象年齢が記載されていた絵本は, 463 冊 $(45.8 \%)$ にとどまり, その記載方法も「3 歳から小学校初級むき」「乳児から」「4才から」のように多様で, KODOMO のように 1 歳単位で対象年齢が設定されている絵本は少ない.

本稿では, 絵本の本文のテキストを解析対象とする。本文のテキストは人手で入力されてい る7.また文や文節の途中での改行など元のページのレイアウトも忠実に再現されている（例 (1)）。お, 絵本データベースの 1,200 冊のサイズは表 2 の通りである.

(1) もう いつ はるが きて、なつが きたのか、いつが あきで、いつが ふゆなのか、わかりません。

(バージニア・リー・バートン, 石井桃子・訳「ちいさいおうち」p. 24 (1954, 岩波書店) $)$

## 2.2 絵本と他のコーパスの比較

絵本のテキストの特徴を調べるため, 絵本と一般的なコーパスにおける文字種の割合を比較 する。表 3 に, 絵本 1,200 冊（表 2）における文字種と, 現代日本語書き言葉均衡コーパス8 (以

表 2 絵本データベースのサイズ

表 3 文字種毎の数と割合：絵本と他のコーパスの比較

下，BCCWJ），京都大学テキストコーパス9（以下，京大コーパス），および，基本語データベー ス (笠原, 佐藤, Bond, 田中, 藤田, 金杉, 天野 2004) （以下, Lexeed）の定義文, 例文に出現 する文字種の数と割合を示す.

表 3 から, 他のコーパスに比べ，絵本の場合、ひらがなと空白が占める割合が圧倒的に高い ことがわかる。また逆に，漢字が占める割合は非常に低い，表 3 には，参考として，一文に含 まれる平均文字数，および，平均形態素数も記載した，但し，絵本の場合は，一行に含まれる 平均文字数を記載しており, 必ずしも文単位ではない. また, 平均形態素数について, 絵本は 未知であり, BCCWJは品詞体系が異なるため記載していない.

## 2.3 絵本のフルアノテーションデータ

精度評価のために, 絵本の一部に正解の形態素区切り, IPA 品詞, 読み, できるだけ漢字表記にした原形を付与したフルアノテーションデータ（ラベルありデータ）を作成した。ただし，活用型と活用形は付与していない. 付与自体が難しいことと, 作業量が増えるためにコストと 時間がかかること，これらの情報を今後利用する予定がないことが理由である.

絵本に出現した文 (2)に対するフルアノテーションデータを (3) に示す. ただし (3)では, 形態素区切りは “,”で示し, 形態素は “出現形/品詞/読み/原形” の形で示し, 漢字表記にした原形には下線を引いた（以降の例でも同様）.

(2) めには、いちごの あかい みをいれました。

(舟崎靖子「もりのおかしやさん」p. 11 (1979，偕成社))
^{9}$ http://nlp.ist.i.kyoto-u.ac.jp/index.php
}
表 4 絵本のフルアノテーションデータのサイズ

（3）め/名詞-一般/メ/且, に/助詞-格助詞-一般/ニ/に，は/助詞-係助詞/ハ/は,、/記号-読点 /、/，いちご/名詞-一般/イチゴ/菖，の/助詞-連体化/ノ/の，／記号-空白/／，あか い/形容詞-自立/アカイ/赤い，/記号-空白/ / ，み/名詞-一般/ミ/実，を/助詞-格助詞—一般/ヨ/を，/記号-空白/ / ，いれ/動詞-自立/イレ/入れる，まし/助動詞/マシ/ ます, た/助動詞/夕/た, 。/記号-句点/。/。

アノテーションは, 言語学者や研究者ではない一般の作業者によって行ったが, 特に活用語 に対するアノテーションは難しく，既存のラベルありデータを参照しながら作業を行った。 ま た，作業者による不一致や判断のゆれをなくすため, 一定の作業の後には同じ出現形の形態素 に異なる品詞や原形が振られたもの10をリストアップし, 統一的に確認, 修正を行う作業を繰 り返した。なお，実際の作業では，アノテーションしたデータを順次学習データに追加するこ とで，解析精度自体を高めながら作業を進めた（7 章参照).

フルアノテーションを行う対象データは 2 通りの方法で選んだ。まず，対象年齢がはっきり しているKODOMO 190 冊を対象とした。また，それ以外の FIRST，EHONの中から，絵本をラ ンダムに選び，さらにランダムに 1 ページずつ選んで対象とした（以下，Random）。サイズは 表 4 の通りである. フルアノテーションデータは, 6 章の教師なし分野適応実験の評価用デー タとして利用するほか， 7 章の教師あり分野適応実験の学習，評価用データとして利用する.

## 3 形態素解析器

本稿では，既存の辞書やラベルありデータを，対象分野である絵本の特徴にあわせて自動的 に変換する手法を提案する。学習器は学習データと独立に選ぶことができるが, 本稿では, 京都テキスト解析ツールキット KyTea (森ら 2011) の学習機能を利用する.

KyTea では, 点予測を採用しており, 分類器の素性として, 周囲の単語境界や品詞等の推定値 を利用せずに，周囲の文字列の情報のみを利用する，そのため，柔軟に言語資源を利用するこ

とができ，分野適応が容易だという特徴がある (森ら 2011).

KyTea のモデル学習時には, フルアノテーションデータ, 部分アノテーションデータ, 辞書 などの言語資源が利用できる。これらの言語資源は，それぞれ複数利用することができる。ま た，辞書と部分アノテーションデータはなくてもよい.

ここで，フルアノテーションデータとは，文全体に形態素情報が付与されたデータである $(2.3$節，例 (3)）。また，部分アノテーションデータとは，文の一部にだけ単語境界や形態素情報が 付与されたデータである，例えば，例 (4)のように，文 (2)の“め”と “み”にだけ形態素情報を アノテーションしたデータを，部分アノテーションデータとして利用することができる．誤り やすい語や分野特有の語にだけ集中的にアノテーションを付与して利用できるため, 能動学習 や分野適応に有効である。

（4）め/名詞一一般/メ/且,には、いちごのあかい，み/名詞-一般/ミ/実,をい れました。

なお, KyTea の配布版モデルでは, 単語分割と UniDic の品詞大分類, 読みの付与を行ってい るが, 他の種類の品詞や情報を推定するモデルの構築も可能である. 本稿では, 既存言語資源 との整合性を考慮し, 品詞は IPA 品詞体系に準拠した. さらに, 元の漢字表記の推定も同時に 行う，つまり，単語分割, IPA 品詞体系の品詞, 読み, 漢字表記による原形推定を出力とする モデルを構築する。

本稿では，フルアノテーションデータとして，コーパス HINOKI (Bond, Fujita, and Tanaka

さらに教師あり分野適応の実験（7 章）では，絵本のフルアノテーションデータも利用する.

辞書には, NAIST Japanese Dictionary ${ }^{12}$ (以下, NAISTJ), Lexeed, および，日本語語彙大系 (池原, 宮崎, 白井, 横尾, 中岩, 小倉, 大山, 林 1997)の固有名詞, および, 動植物名 ${ }^{13}$ 利用す る. 但し, Lexeed と日本語語彙大系は, 本来 IPA 品詞体系ではないため, 自動的に品詞を変換 した.

## 4 絵本を対象とした形態素解析における問題分析

本章では，絵本を形態素解析するときに起こる精度低下の原因を調査する。

2.2 節では, 一般的なテキストと比べて, 絵本のテキストでは, 空白, ひらがなが圧倒的に多 く, 漢字が非常に少ないことを示した. これらの違いのうち, 直感的には, ひらがなによる曖

昧性の増加が精度低下の主要因であり，空白は解析の手がかりとなるように感じられる。しか しこれまで，この直感が正しいかどうか，また，実際にどの程度精度への影響があるのかを調査した研究はない，そこで本章では，ひらがなと空白の形態素解析への影響を調査する.

## 4.1 実験用解析対象文の作成

調査用の評価データとして, 絵本のKODOMO のフルアノテーションデータをいくつかのルー ルに沿って自動的に変換したデータを作成する。つまり，絵本に出現した文 $(2) （ 2.3$ 節）から 空白を削除したもの（文 (5)），空白を読点に変換したもの（文(6)）、ひらがなをできるだけ漢字に変換したもの（文 (7)），漢字に変換し，かつ，空白を削除したもの（文 (8)），漢字に変換 し，かつ，空白を読点に変換したもの（文 (9)）を作成した。

(5) めには、いちごのあかいみをいれました。

(6) めには、いちごの、あかい、みを、いれました。

（7）目には、苺の 赤い 実を 入れました。

（8）目には、苺の赤い実を入れました。

（9）目には、苺の、赤い、実を、入れました。

## 4.2 実験と結果

調査のため, HINOKIコーパスと NAIST Japanese Dictionary などの辞書（3章）をそのまま学習 に利用したモデル (以下, KyTea（デフォルト））を構築する。これは, 一般的な形態素解析モ デルと同じような学習条件に相当する。また, 表 1 （1 章）で利用した既存の形態素解析モデ ルの中で最も誤りの少なかった MeCab も利用する.

表 5 に，評価用デー夕（文 (2)，および，文 (5) から文 (9)）のそれぞれに対し，形態素解析 を実行し，形態素区切りと品詞一致精度を調べた結果を示す.

表 5 評価結果: 形態素区切り, および, 品詞が一致した数と割合 (KODOMO)

ただし， (2)から (8)は, 対応する評価用デー夕の例の番号を示している.

## 4.3 分析

表 5 の「元データ (2)」の列が，絵本のテキストをそのまま解析した場合の精度であり, KyTea (デフォルト) では $63.0 \%$, MeCab では $83.2 \%$ だった. MeCab はひらがなのままの評価デー夕の 場合でも，ひらがなを考慮しない一般的な学習条件で学習したKyTea（デフォルト）よりも精度 が高い. しかし，新聞である京大コーパスを対象とした場合 $98 \%$ 以上の精度が報告されている のに比べると ${ }^{14}$, はるかに低い精度である。

ここで，空白の影響を分析する．KyTea（デフォルト）では，空白を削除すると精度が向上す る. また，空白を読点に変更すると精度はさらに向上する。これは，学習データに空白が出現 しないため，学習できていないためだと考えられる，空白をただ削除するよりも，読点に変更 した方が精度が高くなることから, 空白の働きをうまく学習することができれば, 区切りの判別の手がかりとして有効に働くだろうことが予想できる.

実際, MeCab の場合, 空白は区切りの判別のための手がかりとして有効に利用されているよ うであり，空白を削除するとむしろ精度は低下する，また，空白を読点に変更した場合と空白 のままの場合の精度は同程度であり，空白が読点の代わりを果たしていることが伺える。

特に，(10)のように，擬音語や擬態語が連なる場合，空白を削除すると，解析が非常に困難 になっており，空白の有無が形態素の判別に有効な手がかりであることがわかる.

$
\text { 「こちょ こちょ こちょ こちょ }
$

(豊田一彦「こちょこちょももんちゃん」p. 24 (2010，童心社))

COR:「,こちょ, , こちょ, , こちょ, , こちょ

RES: Г,こ, ちょこ, ちょこちょこ, ちょ

(ただし, COR: は正解，RES: は空白を削除した場合の結果)

次に，ひらがなが多いことによる影響を分析する。評価データ中のひらがなを漢字に変換し た場合, KyTea（デフォルト）でも MeCabでも，ひらがなのままの評価データより高い精度が得 られる，空白を読点に変換した場合の精度（表 5 の「読点 (6)」と「読点 (9)」）で比較すると， KyTea（デフォルト）では $+11.4 \%, \mathrm{MeCab}$ では $+8.2 \%$ 精度が向上しており, 漢字は大きな手が かりとなっていることがわかる。つまり，一般的なテキストとの大きな違いのうち，ひらがな による曖昧性の増大が解析精度の低下の主な要因だといえる。

なお，元データのままだと解析に失敗するが，漢字に変換すると正解する例には，(11)など があった.

(11) みずを のみにきた うしさんに（たちもとみちこ「おほしさま」p. 10 (2006, 教育画劇)) COR: みず, を，，のみ，に，き，た， ，うし，さん, に，

RES: みず，を，，のみ,に,きた， ,うしさん,に

RES2: 水,を，，飲み，に,来, た，平, さん, に

(ただし， COR: は正解，RES: は結果， RES2: は漢字に変換した場合の結果)

## 5 提案手法

本章では, 絵本の特徴に合わせたラベルありデータと辞書の変換方法を提案する（5.1, 5.2 節）。また，ラベルありデータと辞書の変換と追加の必要性について議論する（ 5.3 節）.

## 5.1 ラベルありデータの変換方法

4 章で示したように, 絵本の解析では, 空白の働きを学習することと, ひらがなが多い文で も解析できることが必要である。そこで，既存のラべルありデータである HINOKIコーパスを 3 通りの方法で自動的に変換する。例えば，文 (12)は, Lexeedでの見出し語 “きしめん”に付与さ れた例文である。この文に，まず，句読点の直後を除く文節毎に空白を挿入する（文 (13)）。ま た，すべての漢字をひらがなの読みに変換する（文(14)）．句読点の直後を除く文節毎に空白を 挿入し，かつ，ひらがなに変換する（文(15)）。このように，元の文に対して 3 通りの変換を行 い，ラベルありデータデータを作成する.

(12) 寄せ鍋, に, きしめん, を, 入れる,。

（13）寄せ鍋，に，，きしめん，を，，入れる,。

(14) よせなべ, に, きしめん,を,いれる,。

(15) よせなべ,に，，きしめん，を，，いれる,。

さらに，元の漢字表記の推定も同時に行うため，元の漢字表記による原形を利用する．つま り, 文 (14)や (15)のようにひらがなに変換した場合でも，原形は漢字表記を利用する。そのた め，例えば (14)は，実際には (16)のような形で与えられる。

（16）よせなべ/名詞-一般/ヨセナべ/寄せ鍋,に/助詞-格助詞一一般/ニ/に,きしめん/名詞-一般/ キシメン/きしめん,を/助詞-格助詞-一般/ヨ/を，いれる/動詞-自立/イレル/入れる,。/記号-句点/。/。

6 章では，ラベルありデータの変換方法毎の効果を検証するため, これらの組み合わせを変 えて利用した場合の精度評価を行う。

なお，空白の插入に利用した文節区切りや，ひらがなへの変換に利用した読みは，元々コー パスに付与されていたものであり，自動的に変換することができる．本稿では HINOKIコーパ スを利用したが，京大コーパスでも文節情報や読みは付与されているため, 同様の変換ができ る.またBCCWJにも読みは付与されている。文節情報は付与されていないが，形態素情報は付与されているため, 助詞と自立語が連続する箇所に空白をいれるなどの簡単なルールによって,同様の自動的変換が可能である.

## 5.2 辞書の変換方法

3 章で紹介した通り, 辞書には NAISTJ, Lexeed, 日本語語彙大系の固有名詞, および, 動植物名を利用しており，これらを絵本の特徴にあわせて変換する。

まず，NAISTJと Lexeed の漢字やカタカナのエントリをひらがなに変換したエントリも作成 し, 辞書に追加する. 固有名詞や動植物名は, カタカナで表記されることも多いため, カタカ ナ, ひらがなの両方に変換したエントリも作成し，辞書に追加する。このとき，原形には漢字 やカタカナの表記を用いる。例えば，“伊予柑”の場合，元の見出し語から得られる辞書エン トリは (17) となるが，ひらがなのエントリ (18) とカタカナのエントリ (19)も追加した. しか し，人名の固有名詞だけは，カタカナはカタカナのまま，ひらがなはひらがなのまま原形とし た.これは，ひらがなで出てくる人名の漢字表記が何かは決められないためである．最終的に 利用した辞書サイズは，表 6 の通りである.

(17) 伊予柑/名詞_一般/イヨカン/伊予柑

（18）いよかん/名詞—一般/イヨカン/伊予柑

(19）イヨカン/名詞-一般/イヨカン/伊予柑

## 5.3 辞書と学習データの追加の必要性についての議論

工藤ら (2012) は, Web 上のひらがな交じり文に対する形態素解析手法の提案にあたり，次の ように述べている.

ひらがな交じりの解析も，通常の日本語の文の解析であることには変わりがないため，以下のような一般的に用いられている既存手法で解析精度を向上させることが可能である.

1.ひらがな単語のユーザ辞書への追加

2. ひらがな交じり文を含む学習デー夕を人手で作成し，再学習

1. は簡単な手法であるが，ひらがなは日本語の機能語に用いられているため，むやみにひ らがな語を追加すると副作用により精度が低下する可能性がある。2. の方法は学習デー夕 の作成が必要なためコストが高い.

これらの理由によって, 工藤ら (2012)では, 辞書への追加や学習デー夕の追加は行われてい ない. 工藤ら (2012)の手法は, 広い分野に対して安定的に比較的高い精度で解析を行える。し

表 6 辞書サイズ：ひらがなやカタカナに展開済み

かし，特定の分野における実用を考えた場合，対象分野においてより高い精度を得ることが重要である．確かに，1．に関して，ひらがな語を多く追加することによる副作用の可能性は否定 できないが，絵本の場合，いずれの語でもひらがなで記述される可能性があるため，すべての エントリをひらがなにする必要がある．また，2．に関しては，提案手法では自動的に学習デー 夕を作成するので問題ない.

本稿では, 提案手法で変換・作成した辞書と学習データを学習に用いることで, 絵本に対し ては既存モデルより高い精度が得られることを示す (6 章). ただし, 本提案手法で得られる精度は, 既存モデルよりは高いが，実用的にはまだ改良の必要がある，そのため，さらなる精度向上のためには, 能動学習や対象分野のラベルありデー夕の構築が必要となるが, その際も, ベースとなるモデルの精度がより高い方がより効率的である.

## 6 評価実験 (1): 教師なし分野適応

本章では, 前章で提案した手法により変換した既存言語資源たけを学習に利用する評価実験, つまり，教師なし分野適応の実験を行う.

前章で紹介した通り，ラベルありデータは 3 通りの変換により作成した。これらと，変換前 のラベルありデータを組み合わせて学習に用いた場合の精度評価を行った（表 7）。表 7 では，形態素区切り，および，品詞の細分類までが一致した精度を示している。表 7 は, 絵本に出現 した文に対する解析精度であり，表 5 の左端「元データ (2)」の列に当たる．比較のため, 表 7 にも結果を再掲した。

表 7 評価結果: 形態素区切り, および, 品詞が一致した数と割合 (KODOMO)

ただし，(12)から (15) は，対応する学習データの例の番号を示している.

また, $[\mathrm{A}]-[\mathrm{C}]$ は参照用に付与した記号である.
既存言語資源をそのまま学習に利用した場合, 精度は $63.0 \%$ と非常に低いが, 空白を追加し たり，ひらがなに変換した学習デー夕を利用することで， $88.5 \%$ だ精度を向上できた。つま り, 新聞データなどの一般向けのテキストを学習デー夕に利用する場合でも, 絵本での出現傾向にあわせて変換することで，相当な精度向上が出来た.

ここで，空白を追加した学習データだけを利用する場合 $[\mathrm{B}]$ より，空白を追加しない学習デー 夕も利用する $[\mathrm{C}]$ の方が精度が高かった。これは, すべての絵本で全文節ごとに空白が入るわ けではないので，両方を学習に利用した方が良かったのだと考えられる。同様に，ひらがなに 変換した学習データだけを利用するより，漢字のままの学習データも利用する方が若干精度が 高かった。これは, すべての絵本で漢字が全く出現しないわけではないためだと考えられる.

以降，最も高い精度を得られたラベルありデー夕（表 $7[\mathrm{C}]$ の “両方利用 (12)〜 (15)”）を HINOKI-Best, 得られたモデルを用いた解析器を KyTea (HINOKI-Best) と呼び，これをべースに， さらに改良を加えることを検討したい，また，絵本によって， 空白や漢字の含有率は非常に異 なるため，これらの含有率によって学習に利用するデータを変更することも考えられる。

## 7 評価実験 (2): 教師あり分野適応

6 章の実験では，ラベルありデータとして既存言語資源から得たコーパスだけを用いた。し かし分野適応では, 同じ分野のラベルありデータを追加すると精度が向上することはよく知ら れており，本章では，絵本自体のラベルありデータを学習に用いた実験を行う。

本章の目的は二つある。一つは, 提案手法によって既存言語資源から自動的に獲得したラべ ルありデータが, どの程度の絵本自体のフルアノテーションデータと同程度の効果があるかを 調べることである。もう一つは，絵本自体へアノテーションするときの効率的な方法を示すこ とである.

## 7.1 学習曲線

本節では，フルアノテーションデータ KODOMO（2.3 節）の各絵本をそれぞれ 10 分割し，そ れらを徐々に学習デー夕に追加した場合の学習曲線を調べる。ここで， 6 章で最も良い精度を 得た学習データである HINOKI-Best と絵本を両方学習に利用する場合と，絵本だを学習に利用する場合の両方の実験を行った。

また, 評価は 2 通り行う。つまり, 学習データを追加した絵本と, (1) 同じ絵本のテキストに よる評価（KODOMOを利用），(2) 違う絵本のテキストによる評価（Randomを利用），を行う。

本節での精度評価は, 品詞まで一致した精度に加え, 原形まで一致した精度評価も行ってい る. 本稿で構築している形態素解析モデルでは, 出現形がひらがなでも, 原形は出来る限り漢字表記を推定している（5.1 節)、ひらがなで出現した語に対し，漢字表記を推定することがで

きれば，その後の解析に有用だらである。例えば，“め”という語が “目”なのか“芽”なの か，“はな”という語が “鼻”なのか“花”なのか，などは，幼览の言語発達を調べるときにも区別する必要がある (小椋, 綿巻 2008)。これは, 本来, 語義曖昧性解消問題として取り組むべき 課題かもしれないが，形態素解析時に同時に推定が可能なら利便性が高い，そこで，本節では，形態素解析時の漢字の原形推定をどの程度の精度で行うことができるかも同時に調査した.

ここで，図 1,3 は，KODOMOの各絵本の $1 / 10$ を評価データとし，それ以外を順次追加した 場合の学習曲線を示している。また, 図 2,4 は, Random を評価データとした場合の精度を示 しており，KODOMO のすべてを学習デー夕に追加した場合の精度も示している。また, 図 1,2 は, 品詞一致の精度, 図 3,4 は, 原形まで一致した精度を示している. ただし, 学習データで は，コーパス HINOKI の漢字等による原形をそのまま原形として利用したため，学習データの 原形に表記ゆれが存在する。そこで，原形一致精度の評価時には，“仔牛”と“子牛”, “雄”と

図 1 学習曲線：同じ絵本を学習デー夕に追加 (KODOMO, 品詞一致)

図 3 学習曲線: 同じ絵本を学習デー夕に追加 (KODOMO, 原形一致)

図 2 学習曲線：異なる絵本を学習デー夕に追加 (Random, 品詞一致)

図 4 学習曲線：異なる絵本を学習デー夕に追加 (Random, 原形一致)

“オス”のように，表記ゆれだとみなせるものは正解に含めている15。また，MeCab は漢字表記 による原形推定はしないため，ひらがなの原形も正解とした．標準表記の決定，学習データの 標準表記への変換は今後の課題としたい.

## 7.2 提案手法の効果 : 評価 $(2)$

提案手法で作成したHINOKI-Best の効果を調べる。 図 1～4から, すべての場合で, HINOKI-Best に絵本データを追加した方が，絵本データだけの場合や, HINOKI-Best だけの場合より精度が向上しており, 絵本とは全く異なる一般向けのテキストであっても, HINOKI-Best を学習に利用す る方が良いことがわかる。

特に，図 2,4 に示した通り，別の絵本 (Random) に対する精度は，学習デー夕に絵本だけを 用いる場合より非常に高い. Random の場合, 品詞一致でも, 原形一致でも, 絵本の学習デー夕 だけでKyTea (HINOKI-Best) と同等の精度を得るには, KODOMO のフルアノテーションデータ 約 11,000 行, 90,000 形態素が必要である. これは, KODOMO のフルアノテーションデータの 8/10 近くにあたる. これだけのフルアノテーション作業には相当な時間とコストがかかってお り，提案手法による自動的な変換による精度向上の効果は高い.

なお，Randomに対する精度は，すべての KODOMOを学習データに追加した場合で，形態素区切り $98.3 \%$, 品詞完全一致 $91.1 \%$, 品詞大分類 $94.7 \%$, 原形一致 $89.0 \%$ だった. これが, 新 しい絵本を解析する場合の精度にあたる。

## 7.3 アノテーション方針の提案

本節では, 同じ絵本を学習データとして追加した場合の効果を調べる. 図 1,3 から, 同じ絵本の学習データは非常に有効であることがわかる. HINOKI-Best を使わない場合でも, 同じ絵本 の 10 分の 2 を学習データとして用いただけでKyTea (HINOKI-Best)の精度より高い精度を得る ことができる. このように，同じ絵本のデー夕の追加のほうが効果が圧倒的に高いため, 同じ 分量のアノテーションを行うのであれば，少しずつでも，できるかぎり全ての絵本からアノテー ションすることが望ましい，同じ絵本のアノテーションが特に有効な理由には, 同じ固有名詞 (7.4, 8.2 節参照）や，同じ表現が出現することがあげられるだろう，絵本は，例えば，例 $(20)$ のように一部の語を変えて同じ表現が繰り返されることが多く，一部をアノテーションする効果が高い. なお, (20)の絵本の場合, “なんて なく?”は 11 回出現している.

(20) かえるは

なんてなく?

なんて なく? (凹工房「どうぶつ なんて なく?」p. 2-3 (2008, ポプラ社))

## 7.4 誤り内容の変化

本節では，絵本を学習データに追加した場合の，誤り内容の変化を調査する。解析を誤った 語を品詞毎に集計し, 「動詞」「名詞-固有名詞」「感動詞」について, それぞれ図 5 と 6,7 と 8 , 9 と 10 に示した. 図 $5 \sim 10$ では, 誤りの絶対数と, 全誤り数に占める対象品詞の割合をプロッ トしている.

誤りの絶対数はどの品詞でも減少しているが, 全誤りに占める各品詞の割合を見ると, 比較的学習しにくい品詞がわかる.「動詞」(図 5,6) はKODOMO でもRandom でも相対的に上昇し ている.「固有名詞」（図 7,8 ）の場合，KODOMO では急激に割合が下がるが，Random では逆 に相対的に上昇している。「固有名詞」は，絵本間で共通のものが少なく，しかも，ひらがな

図 5 解析誤りの数と割合 (KODOMO, 動詞)

図 7 解析誤りの数と割合 (KODOMO, 名詞-固有名詞)

図 6 解析誤りの数と割合 (Random, 動詞)

図 8 解析誤りの数と割合 (Random, 名詞-固有名詞)

図 9 解析誤りの数と割合 (KODOMO, 感動詞)

図 10 解析誤りの数と割合 (Random, 感動詞)

（“ぐり"16, “ぐら”16, “もものこ"17など）や，ひらがなカタカナ混じり（“ウサこ"18，“ネ コみ”18 など）など，非常に解析が難しいものが多いからだと思われる。対照的に，「感動詞」 （図 9, 10）は，Random でも誤る割合が下がっている。これは，異なる絵本でも共通の表現が 多いためだと考えられる。例えば，Random 側で，HINOKI-Bestだけでは正解しなかったが，絵本を追加していくことで正解するようになった感動詞には，“あっぷっぷ”, “ごくろうさま”, “ギャオー"などがあった.

## 8 考察

本章では，前章までに得たモデルをさらに改良するための問題分析と改良案の提示を行う. まず，8.1 節では，対象年齢と形態素解析精度の関係に着目し，精度低下のより詳細な原因調査 を行う． 8.2 節では, 絵本のラベルありデータを追加しても精度が向上しにくかった固有名詞に 焦点をあて, 固有名詞の部分アノテーションによる精度向上の効果を検証する. さらに, 8.3 節 では，提案手法の絵本以外のコーパスへの適用可能性についても考察する.

## 8.1 対象年齢と形態素解析精度

2.1 節で述べたように，KODOMO は対象年齢がはっきり設定されている。そこで本節では, KODOMO を用いて, 対象年齢と形態素解析精度の関係を分析する. KyTea (HINOKI-Best) と， MeCabを使って元データを解析した場合の対象年齢と精度の関係を図 11 に示す。ただし, 図 11 では，K012を 2 歳坚にプロットしている.

図 11 から, KyTea (HINOKI-Best) でも MeCabでも, 対象年齢が低いほど形態素解析精度も低 いことがわかる。 どちらの解析器も，基本的に一般向けのコーパスを学習データとしてモデル が作成されており, 対象年齢が上がるとより一般向けの文に近づいていることが図 11 からも読 み取れる。

表 3（2.2 節）で示したように，絵本と京大コーパスなどに出現する文字種を比較すると, 絵本はひらがなと空白が多く，漢字が少ない点が顕著に異なっていた．また， 4.3 節では，特にひ らがなが形態素解析精度の低下に非常に関わることを示した。そこで，対象年齢によってそれ らの文字種の出現傾向が変わるかどうかを, KODOMO のデータを使って調査した（表 8）.

表 8 によると, 文字種の出現傾向に絵本全体の傾向と顕著な違いは見られず，対象年齢によっ て明らかな変化は見られなかった。つまり，ひらがなの多さだけが精度低下の原因ではないこ

図 11 対象年齢と形態素解析（形態素区切りと品詞一致）精度の関係 (KODOMO)

表 8 文字種毎の数と割合 : 絵本の対象年齢ごと (KODOMO)

とがわかる，たたし，表 8 に参考として示した，行平均の文字数と形態素数は, 対象年齢が上 がるにつれ増加している．京大コーパスと Lexeed の文平均の文字数や形態素数（表 3）と比較 すると，文平均か，行平均かの差はあるが，対象年齢が上がるにつれ Lexeed の数値に近づいて おり，辞書の例文や定義文に近い長さになってきていることがわかる。つまり，語の羅列では なく, 文になってきていると考えられる。

そこで，文字種だけではわからない差分を調査するため，空白を除く全形態素に占める品詞毎の割合を調査した，その結果，対象年齢によってもっとも変化が大きかった品詞は，「助詞」「記号」「副詞」「感動詞」だった. 図 12 に, これらの品詞の占める割合の対象年齢毎の変化と, Lexeedでの割合を示す.ここで，「助詞」の割合は対象年齢と共に単調増加しており，単語の羅列から助詞などを含む文となっていることがわかる，「記号」は，句読点や括弧などを含むため，句読点を使った文や会話文の量や長さに関係すると考えられる。「記号」は，K012とK3 の間で 大きく増加しているが，単調増加ではなく，K5 や Lexeed での割合はむしろ K3 やK4より低い. これは文が長くなるため記号の占める割合が低くなるのだと考えられる。例えば，会話文の場合，記号である“「”と“」”の間に発話内容が記述されるが，発話内容が長くなれば，記号の占 める割合は低くなる。一方，「副詞」の割合は対象年齢に応じて単調減少している。「副詞」に は擬音語や擬態語が多く含まれ，対象年齢が低いほど，そうした語の含まれる割合が高いこと がわかる．また，「感動詞」の割合は K012とK3 の間で大きく減少している.「感動詞」には挨拶などが含まれ，より小さな子供向けの絵本では，挨拶などが多く出現するためだと思われる.

なお, 絵本毎に精度を調査すると, 品詞一致精度で最も精度の高かった絵本と, 最も精度の 低かった絵本は, 両方とも K012に含まれた. これらは, 一行一形態素程度の非常に短い文か らなっており，“ぴょん”“ぼちゃん”“ぶらぶら”などの擬音語や擬態語の繰り返しがほとんど だった。文脈はほぼないため，学習データや辞書に該当する語が存在するかどうかに依存して

図 12 空白を除く全形態素に占める品詞割合：絵本対象年齢每 (KODOMO) と Lexeed
精度が大きく変化したとみられる。そのため, より対象年齢の低い子供向け絵本の解析精度の 向上は, 擬音語や擬態語の辞書や学習デー夕の拡充にかかっているといえるだう．今後は,擬音語や擬態語の収集による精度向上にも取り組みたい.

## 8.2 固有名詞のアノテーション

7.4 節で述べたように, 固有名詞は他の絵本を追加しても解析精度が向上しにくく, 学習デー 夕なしでは解析が難しい語が多い。その上, 固有名詞の誤りは数值以上に精度が悪い印象を与 えかねない. しかし一方で, 活用語や非自立語などに比べ, 固有名詞のアノテーションや辞書 への追加は非常に容易である.

ここで, Randomに出現した固有名詞でもっとも誤り回数が多かった（各 4 回）“ぐり”と“ぐ ら”に着目する。これらを辞書登録したたけでは解析精度は変わらなかったが, KyTea では, 部分アノテーションしたデータを学習データに加えることができる（3 章).そこで, “ぐり”と “ぐら”に対し部分アノテーションを行い，その効果を検証した。

部分アノテーションは以下の流れで行った。まず， [1] 対象語を含む文を字面一致で抽出し，次に, [2] 人手で該当箇所に対象語以外の語が含まれないか確認し, 最後に, [3] 自動的に部分 アノテーションを実行した.

ここで, “ぐり”と“ぐら”の場合, [2] の確認作業で, “どんぐり”, “うすぐらい”, “ぐらい” が混じっていることがわかった. [3] では, 最長一致によってこれらの語のアノテーションも自動的に行った．例えば，文 (21)の場合，下線部をそれぞれ，“ぐり/名詞-固有名詞-人名-一般/ グリ/ぐり”, “ぐらい/助詞-副助詞/グライ/ぐらい”として部分アノテーションした.

(21) ぐりがけいとを まくと、えんどうまめぐらいになりました。

(なかがわりえことやまわきゆりこ「ぐりとぐらのえんそく」p. 15 (1979, 福音館書店) $)$

これにより部分アノテーションされたのは, “ぐら” 135 箇所, “ぐり” 131 箇所, “どんぐ り” 1 箇所, “うすぐらい” 2 箇所, “ぐらい” 6 箇所だった. これらの部分アノテーションデー 夕を学習デー夕に追加したところ, 原形一致の精度が $+0.2 \%$ 改良された. 品詞一致までの精度 は, 小数点第一位までの比較では同じたっったが, “ぐり”と“ぐら”に関する誤りはなくなった.固有名詞は学習しにくく, かつ, 同じ絵本では何度も出現するため, 固有名詞のみを先にアノ テートすることは有効だと考えられる.

固有名詞を含めた固有表現や未知語の抽出方法に関する研究は多く (村脇, 黒橋 2010 ; 勝木ら 2011; 笹野, 黒橋 2007), 特に格フレーム情報を利用する方法 (笹野, 黒橋 2008)は, 絵本でも有効だと考えられる，今後は，絵本やシリーズ毎の固有名詞の抽出や，該当固有名詞を含む他の 語の確認・抽出を自動・半自動化することにより，精度向上を目指したい. また, Neubig et al. (2011) は, SVM 平面からの距離を用いて確信度の低いデータを選び, 部分アノテーションして 学習データに追加する能動学習を提案している。固有名詞のように，一気にアノテートできる
部分を学習に追加した後は, Neubig et al. (2011) と同様に能動学習を行うことが考えられる.

## 8.3 他分野への適用可能性

本節では，提案手法の絵本以外への適用可能性について考察する.

提案手法は, 既存の言語資源と解析対象の言語資源の特徵が大きく異なる場合に有用である.

例えば，小学生は学年毎に習う配当漢字が決められている。そのため教科書では，習ってい ない漢字をひらがなで記載するため, 漢字とひらがなが一般向け文章とは全く異なる交じり方 をする場合があり，形態素解析を難しくしている．例えば，“音楽”の場合，“音”は 1 年生， “楽”は 2 年生の配当漢字であるため，“音がく”と記載される場合がある 19. そこで，教科書等の学童用の文章の解析用には，学年配当漢字に基づいて利用できる漢字を制限し，それ以外 はひらがなに変換して学習データを作成することが考えられる.

あるいは，Webなどに出現するくだけた文章の解析用として，文末表現の変換，利用語彙の 制限などにより，学習データを変換することも考えられる.

このように，学習データを対象分野に合わせて自動的に変換するルールを決定できる場合に は，本提案手法が適用できると考えられる.

## 9 まとめと今後の課題

これまで，主に新聞などのテキストを対象とした解析では，形態素解析器を始めとして高い 解析精度が達成されている。しかし分野の異なるテキストに対しては, 既存の解析モデルで,必ずしも高い解析精度を得られるわけではない。そこで本稿では, 既存の言語資源を対象分野 の特徴にあわせて自動的に変換する手法を提案した。本稿では, 絵本を解析対象とし, 既存の 言語資源を絵本の特徴にあわせて自動的に変換し, 学習に用いることで精度向上できることを 示した。

まず， 2 章では, 解析対象である絵本データベースの紹介を行った。また, 新聞などのテキス トと絵本のテキストの文字種毎の割合を比較し, 絵本では, 漢字が少なく, 空白とひらがなが 多いことを示した。 3 章では, 実験で利用する形態素解析器 KyTea の学習機能について紹介し た.また, 4 章では, 絵本の形態素解析における問題分析のため, 絵本の評価用デー夕に対し, ひらがなを漢字に変換したり, 空白を削除するなどの処理を行った場合の解析精度の変化を調査し，ひらがなが多いことが解析精度低下の主な原因であることを示した.

5 章では, 2 章と 4 章の分析結果に基づき, 既存の言語資源を絵本の特徴にあわせて変換する 手法を提案した. 6 章では, 提案手法によって得た言語資源だを学習に用いた教師なし分野適

応の実験を行い，既存の一般的な形態素解析モデルより高い精度（品詞一致精度で $88.5 \%$ ）が 得られることを示した。また 7 章では，絵本自体のラベルありデータを学習に用いた教師あり 分野適応の実験を行い，学習曲線を調べた。ここで，提案手法によって得た既存言語資源によ るラベルありデータは, 絵本自体のラベルありデータ約 11,000 行, 90,000 形態素と同程度の効果があることを示した。さらに，絵本自体にアノテーションを行う場合，できるかぎり全ての 絵本から，アノテーション対象を選択することが効率的であることを示した。また，新しい絵本に対する解析精度は, 形態素区切り $98.3 \%$, 品詞完全一致で $91.1 \%$, 品詞大分類で $94.7 \%$, 漢字の原形一致で $89.0 \%$ が見込めることを示した.

8 章の考察では, 絵本の対象年齢毎の形態素解析精度の変化を調査し, 対象年齢が低いほど 解析精度も低く，その原因としては，文字種より，助詞などを含む文としての形態を取るかど うかに関連することを示した（8.1 節）。また，他の絵本を学習デー夕に追加しても，固有名詞 の推定精度の向上は難しいが，固有名詞のアノテーションは，活用語などに比べて容易である ことから，固有名詞に対して半自動的に部分アノテーションを行うことで，固有名詞の解析精度が向上できることを示した（8.2 節）.

今後は，標準表記を決定し，学習データの標準表記への変換と，漢字による原形推定精度の 向上に取り組みたい．また，絵本やシリーズ単位での，固有名詞（人や動物の名前）の自動的発見，および，固有名詞の（半）自動的な部分アノテーションに取り組みたい.

また, 本稿で紹介した絵本用形態素解析モデルを利用し, 子供向けの文を対象とした難易度測定や絵本の対象年齢の推定 (藤田, 小林, 平, 南, 田中 2014), 子供の発達や興味に応じた絵本 リコメンデーションを行う予定である.

## 謝 辞

KyTea の利用に際して大変ご協力をいただいた京都大学森信介先生, 奈良先端科学技術大学院大学 Graham Neubig 先生に感謝する。

## 参考文献

Bond, F., Fujita, S., and Tanaka, T. (2006). "The Hinoki Syntactic and Semantic Treebank of Japanese." Language Resources and Evaluation (Special issue on Asian language technology), 40 (3-4), pp. 253-261.

藤田早苗，小林哲生，平博順，南泰浩，田中貴秋 (2014). 絵本を基にした対象年齢推定方法の 検討. 人工知能学会第 28 回全国大会発表論文集, 3D4-4.
萩原正人, 関根聡 (2012). 半教師あり学習に基づく大規模語彙に対応した日本語単語分割. 言語処理学会第 18 回年次大会発表論文集, pp. 1280-1283.

服部正嗣，青山一生 (2013). グラフ索引を用いた絵本の類似探索〜特徴の融合と結果のグラフ 可視化～. 情報処理学会研究会第 10 回ネットワーク生態学シンポジウム.池原悟, 宮崎雅弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1997). 日本語語彙大系. 岩波書店.

神嶌敏弘 (2010). 転移学習. 人工知能学会誌 (JSAI), 25 (4), pp. 572-580.

笠原要, 佐藤浩史, Bond F., 田中貴秋, 藤田早苗, 金杉友子, 天野昭成 (2004).「基本語意味デー

タベース：Lexeed」の構築. 情報処理学会 自然言語処理研究会 (2004-NL-159), pp. 75-82.勝木健太，笹野遼平，河原大輔，黒橋禎夫 (2011). Web 上の多彩な言語表現バリエーションに 対応した頑健な形態素解析. 言語処理学会第 17 回年次大会発表論文集, pp. 1003-1006.

工藤拓，市川宙，Talbot D., 賀沢秀人 (2012). Web 上のひらがな交じり文に頑健な形態素解析.言語処理学会第 18 回年次大会発表論文集, pp. 1272-1275.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Lin, D. and Wu, D. (Eds.), In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp. 230-237.

京都大学黒橋・河原研究室 (2012). 日本語形態素解析システム JUMAN version 7.0 使用説明書.松本裕治, 高岡一馬, 浅原正幸 (2008). 形態素解析システム『茶筌』version 2.4.4 使用説明書.森信介 (2012). 自然言語処理における分野適応. 人工知能学会誌 (JSAI), 27 (4), pp. 365-372.森信介，中田陽介，Neubig, G., 河原達也 (2011). 点予測による形態素解析. 自然言語処理, 18 (4), pp. 367-381.

村脇有吾, 黒橋禎夫 (2010). 形態論的制約を用いたオンライン未知語獲得. 自然言語処理, $\mathbf{1 7}$ (1), pp. 55-75.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Techologies, pp. 529-533.

小椋たみ子, 綿巻徹 (2008). 日本の子どもの語彙発達の規準研究 : 日本語マッカーサー乳幼坚言語発達質問紙から. 発達・療育研究, 24, pp. 3-42.

Raikes, H., Pan, B. A., Luze, G., Tamis-LeMonda, C. S., Brooks-Gunn, J., Constantine, J., Tarullo, L. B., Raikes, H. A., and Rodriguez, E. T. (2006). "Mother-child Bookreading in Low-income Families: Correlates and Outcomes During the First Three Years of Life." Child Development, $7 \mathbf{7}$ (4), pp. 924-953.

笹野遼平, 黒橋禎夫 (2007). 形態素解析における連濁および反復形オノマトぺの自動認識. 言語
処理学会第 13 回年次大会発表論文集, pp. 819-822.

笹野遼平, 黒橋禎夫 (2008). 大域的情報を用いた日本語固有表現認識. 情報処理学会論文誌, 49

(11), pp. 3765-3776.

平博順, 藤田早苗, 小林哲生 (2012). 絵本テキストにおける高頻度語彙の分析. 情報処理学会関

西支部支部大会, F-103.

## 略歴

藤田早苗：1999 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年, NTT 日本電信電話株式会社入社. 現在, NTT コミュニケーショ ン科学基礎研究所研究主任．博士 (工学)．自然言語処理の研究に従事． 2013 年言語処理学会優秀論文賞受賞, 言語処理学会, ACL 各会員.

平博順：1996 年東京大学理学部化学科大学院修士課程修了. 同年, 日本電信電話株式会社入社. 2014 年まで NTT コミュニケーション科学基礎研究所.現在, 大阪工業大学情報科学部准教授. 博士 (工学). 自然言語処理等の研究 に従事. 2013 年言語処理学会優秀論文賞受賞, 情報処理学会, 人工知能学会,言語処理学会, ACL 各会員.

小林 哲生 : 2004 年東京大学大学院総合文化研究科博士課程修了. 博士 (学術).現在, NTTコミュニケーション科学基礎研究所メディア情報研究部主任研究員 (特別研究員). 幼坚の言語発達研究に従事.

田中 貴秋：1994 年大阪大学基礎工学部制御工学科卒業. 1996 年同大学院修士課程修了. 同年, 日本電信電話株式会社入社. 2007 年 2012 年 西日本電信電話株式会社研究開発センタ勤務. 現在, NTT コミュニケーション科学基礎研究所研究主任. 自然言語処理の研究に従事. 言語処理学会, ACL 各会員.


# 外界照応および著者・読者表現を考慮した日本語ゼロ照応解析
## 萩行正嗣',††・河原 大輔†・黑橋 禎夫

\begin{abstract}
日本語では用言の項が省略されるゼロ照応と呼ばれる現象が頻出する。ゼロ照応は 照応先が文章中に明示的に出現する文章内ゼロ照応と, 明示的に出現しない外界ゼ 口照応に分類でき, 従来のゼロ照応解析は主に前者を対象としてきた。 近年, Web が社会基盤となり，Web上でのテキストによる情報伝達がますます重要性をまして いる。そこでは，情報の送り手・受け手である著者・読者が重要な役割をはたすた め, Web テキストの言語処理においても著者・読者を正確にとらえることが必要と なる。しかし, 文脈中で明確な表現（人称代名詞など）で言及されていない著者・読者は, 従来の文章内ゼロ照応中心のゼロ照応解析では多くの場合対象外であった. このような背景から，本論文では，外界ゼロ照応および文章の著者・読者を扱うゼ 口照応解析モデルを提案する。提案手法では外界ゼロ照応を扱うために， ゼロ代名詞の照応先の候補に外界ゼロ照応に対応する仮想的な談話要素を加える。また, 語彙統語パターンを利用することで，文章中で著者や読者に言及している表現を自動的に識別する，実験により，我々の提案手法が外界ゼロ照応解析だけでなく，文章内ゼロ照応解析に対しても有効であることを示す.

キーワード：ゼロ照応解析，外界ゼロ照応，著者$\cdot$読者
\end{abstract}

## Japanese Zero Reference Resolution Considering Zero Exophora and Author/Reader Mentions

\author{
Masatsugu Hangyo $^{\dagger, \dagger \dagger}$, Daisuke $^{, \text {Kawahara }^{\dagger}}$ and Sadao Kurohashi ${ }^{\dagger}$
}

In Japanese, zero references often occur and many of them are categorized into zero exophora, in which a referent is not mentioned in the document. However, previous studies have focused only on zero endophora, in which a referent explicitly appears. We present a zero reference resolution model considering zero exophora and authors/readers of a document. To deal with zero exophora, our model adds pseudoentities corresponding to zero exophora to candidate referents of zero pronouns. In addition, the model automatically detects mentions that refer to the author and reader of a document using lexico-syntactic patterns. We present particular behavior of authors/readers in a discourse as a feature vector of a machine learning model. The experimental results demonstrate the effectiveness of our model for not only zero exophora but also zero endophora.

Key Words: Zero reference resolution, Zero exophora, Author and reader

## 1 はじめに

ゼロ照応解析は近年，述語項構造解析の一部として盛んに研究されている。ゼロ照応とは用言の項が省略される現象であり, 省略された項（ゼロ代名詞）が他の表現を照応していると解釈できることからゼロ照応と呼ばれている.

$
\text { パスタが好きで、毎日 }(\phi \text { ガ })(\phi \text { Э)食べています。 }
$

例えば，例 (1)の「食べています」では，ガ格とヨ格の項が省略されている。ここで，省略さ れたヨ格の項は前方で言及されている「パスタ」を照応しており, 省略されたガ格の項は文章中では明確に言及されていないこの文章の著者を照応している1．日本語では曖昧性がない場合 には積極的に省略が行われる傾向にあるため, ゼロ照応が文章中で頻繁に発生する．例 (1)の 「パス夕」の省略のようにゼロ代名詞の照応先 ${ }^{2}$ が文章中で言及されているゼロ照応は文章内ゼ 口照応と呼ばれ, 従来はこの文章内ゼロ照応が主な研究対象とされてきた. 一方, 例 (1)の著者の省略のようにゼロ代名詞の照応先が文章中で言及されていないゼロ照応は外界ゼロ照応と 呼ばれる，外界ゼロ照応で照応されるのは例 (1)のような文章の著者や読者, 例 (2)のような不特定の人や物などがある ${ }^{3}$.

（2）内湯も空一面がガラス張りで眺望がよく、快適な湯浴みを ([不特定:人] ガ)楽しめる。

従来, 日本語ゼロ照応解析の研究は, ゼロ照応関係を付与した新聞記事コーパス (Kawahara, Kurohashi, and Hasida 2002; Iida, Komachi, Inui, and Matsumoto 2007)を主な対象として行わ れてきた．新聞記事は著者から読者に事件の内容などを伝えることが目的であり，社説や投書 の除いては著者や読者が談話構造中に登場することはほとんどない。一方，近年では Webを通 じた情報伝達が盛んに行われており, Web テキストの言語処理が重要となってきている. Web テキストでは，著者自身のことを述べたり，読者に対して何らかの働きかけをすることも多く，著者・読者が談話構造中に登場することが多い. 例えば，B $\log$ や企業の宣伝ページでは著者自身の出来事や企業自身の活動内容を述べることが多く, 通販ぺージなどでは読者に対して商品 を買ってくれるような働きかけをする。このため，著者・読者に関するゼロ照応も必然的に多 くなり，その中には外界ゼロ照応も多く含まれる。(Hangyo, Kawahara, and Kurohashi 2012) の Webコーパスではゼロ照応関係の $54 \%$ が外界ゼロ照応である。このため, Webテキストに

対するゼロ照応解析では，特に外界ゼロ照応を扱うことが重要となる.

本研究では， ゼロ照応を扱うためにゼロ代名詞の照応先候補として [著者]や [読者] などの文章中に出現しない談話要素を設定することで，外界ゼロ照応を明示的に扱う．用言のある格が 直接係り受け関係にある項を持たない場合，その格の項は表 1 の 3 種類に分類される．1つ目は 「(a) 文章内ゼロ照応」であり, 項としてゼロ代名詞をとり，その照応先は文章中の表現である. 2 つ目は「(b) 外界ゼロ照応」であり，項としてゼロ代名詞をとり，その照応先に対応する表現 が文章中にないものである．3つ目は「(c)ゼロ照応なし」であり，項はゼロ代名詞をとらない， すなわちその用言が本質的にその項を必要としない場合である。外界ゼロ照応を扱うことによ り，照応先が文章内にない場合でも，用言のある格がゼロ代名詞を項に持つという現象を扱う ことができる．これにより，格フレームなどの用言が項を取る格の知識とゼロ代名詞の出現が 一致するようになり，機械学習によるゼロ代名詞検出の精度向上を期待することができる.

用言が項としてゼロ代名詞を持つ場合，そのゼロ代名詞の照応先の同定を行う．従来研究で はその手掛かりとして, 用言の選択選好 (Sasano, Kawahara, and Kurohashi 2008; Sasano and Kurohashi 2011; Imamura, Saito, and Izumi 2009; Hayashibe, Komachi, and Matsumoto 2011) や文脈的な情報 (Iida, Inui, and Matsumoto 2006, 2009) が広く用いられてきた. 本研究では, そ れらに加えて文章の著者・読者の情報を照応先同定の手掛かりとして用いる．先に述べたよう に, 従来研究で対象とされてきた新聞記事コーパスでは, 著者や読者は談話中にほとんど出現し ない. そのため著者や読者の情報が文脈的な手掛かりとして用いられることはなかった。しか し, 著者や読者は省略されやすいためゼロ代名詞の照応先になりやすい，敬語やモダリティな ど著者や読者の省略を推定するための手掛かりが豊富に存在する，などの特徴を持つため，談話中の著者や読者を明示的に扱うことは照応先同定で重要である．また，著者や読者は前述の ような外界ゼロ照応の照応先だけでなく, 文章内に言及されることも多い.

(3) 私著者はもともとアウトドア派ではなかったので, 東京にいた頃もキャンプに行ったこ とはありませんでした。

（4）あなた読者は今ある情報か資料を送って，アドバイザーからの質問に答えるだけ。

表 1 文章内ゼロ照応，外界ゼロ照応，ゼロ照応なしの分類とその例

 & 例 \\

(b) 外界ゼロ照応 & あり & なし & メリットについて ([読者]二)説明させていただきます。 \\
(c) ゼロ照応なし & なし & なし & リラックスタイムが (×ニ)過ごせる。 \\

例 (3) では，文章中に言及されている「私」がこの文章の著者であり，例 (4)では「あなた」が 読者である．本研究ではこのような文章中で言及される著者や読者を著者表現，読者表現と呼 び，これらを明示的に扱うことでゼロ照応解析精度を向上させる．著者や読者は人称代名詞だ けでなく固有表現や役職など様々な表現で言及される。例えば，下記の例 (5)では著者自身の 名前である「梅辻」によって著者が言及されており，例 (6) では著者の立場を表す「管理人」に よって言及されている。また，例 (7) では著者から見た読者の立場である「お客様」という表現によって読者が言及されている。本研究では人称代名詞に限らず，著者・読者を指す表現を 著者・読者表現として扱うこととする.

(5)こんにちは、企画チームの梅辻著者です。

(6)このブログは、管理人著者の気分によって書く内容は変わります。

（7）いくつかの質問をお答えいただくだけで、お客様読者のご要望に近いノートパソコンを お選びいただけます。

著者・読者表現は様々な表現で言及されるため, 表層的な表記のみから, どの表現が著者・読者表現であるかを判断することは困難である，そこで，本研究では談話要素とその周辺文脈の語彙統語パターンを素性としたランキング学習 (Herbrich, Graepel, Bollmann-Sdorra, and Obermayer 1998; Joachims 2002)により, 文章中の著者・読者表現の同定を行う.

文章中に出現する著者・読者表現が照応先となることを推定する際には通常の文章中の表現 に利用する手掛かりと著者・読者特有の手掛かりの両方が利用できる.

(8) 僕は京都に (僕ガ)行こうと思っています。

皆さんはどこに行きたいか (皆さんガ)(僕ニ)教えてください。

(8)の 1 文目では「僕」が文頭で助詞「は」を伴ない，「行こう」を越えて「思っています」に 係っていることから「行こう」のガ格の項であると推測される。これは文章中の表現のみが持 つゼロ照応解析での手掛かりと言える。一方， 2 文目の「教えてください」では, 依頼表現であ ることからガ格の項が読者表現である「皆さん」であり，二格の項が著者表現である「僕」で あると推測できる。このような依頼や敬語，モダリティに関する手掛かりは著者・読者特有の 手掛かりと言える。また，著者・読者特有の手掛かりは外界ゼロ照応における著者・読者にお いても同様に利用できる，そこで，本研究では， ゼロ照応解析において著者・読者表現は文章内ゼロ照応および外界ゼロ照応両方の特徴を持つものとして扱う.

本論文では，文章中の著者・読者表現および外界ゼロ照応を統合的に扱うゼロ照応解析モデ ルを提案し, 自動推定した著者・読者表現を利用することでゼロ照応解析の精度が向上するこ

とを示す. 2 節で関連研究について説明し, 3 節で本研究で利用する機械学習手法であるランキ ング学習について説明する．4 節ではべースラインとなるモデルについて説明し， 5 節で実験で 利用するコーパスについて述べる。その後， 6 節で著者・読者表現の自動推定について説明し， 7 節で著者・読者表現と外界照応を考慮したゼロ照応解析モデルを提案する．8 節で実験結果を 示し， 9 節でまとめと今後の課題とする.

## 2 関連研究

日本語でのゼロ照応解析は文章内ゼロ照応を中心に行われてきた.

ゼロ照応解析の研究では, ゼロ代名詞は既知のものとして照応先の同定のみを行っているも のがある。(Iida et al. 2006) はゼロ代名詞と照応先候補の統語的位置関係を素性として利用する ことでゼロ照応解析を行った。この研究では, 外界照応を, それに対応するゼロ代名詞に照応性がないと判断する形で扱っている。この研究では, 表 1 における (a) 文章内ゼロ照応と (b) 外界ゼロ照応を区別して扱っているが，(c)ゼロ照応なしについては扱っていないといえる。(磯崎, 賀沢, 平尾 2006)は, ランキング学習4を利用することで, ゼロ代名詞の照応先同定を行っ ている。この研究で扱うゼロ代名詞は文章内に照応先があるものに限定しており，表 1 けお る (a) 文章内ゼロ照応の場合のみを扱っているといえる。

ゼロ照応解析は述語項構造解析の一部として解かれることも多い. 述語項構造解析を格ご とに独立して扱っている研究としては (Imamura et al. 2009; Hayashibe et al. 2011)がある. (Imamura et al. 2009)は言語モデルの情報などを素性とした最大エントロピーモデルによるゼロ 照応解析を含めた述語項構造解析モデルを提案している。このモデルでは各格の照応先の候補 として, NULLという特別な照応先を仮定しており, 解析器がこの NULLを選択した場合には,「項が存在しない」または「外界ゼロ照応」としており,これらを同一に扱っている。 (Hayashibe et al. 2011) は述語と項の共起情報などを素性としたトーナメントモデルにより述語項構造解析 の一部としてゼロ照応解析を行っている. この研究でも外界ゼロ照応と項が存在しないことを 区別して扱っておらず，また解析対象はガ格のみとしている。用言ごとに全ての格に対して統合的に述語項構造解析を行う研究としては (Sasano et al. 2008; Sasano and Kurohashi 2011)が ある。(Sasano et al. 2008) は Web から自動的に構築された格フレームを利用し, 述語項構造解析の一部としてゼロ照応解析を行う確率的モデルを提案した. (Sasano and Kurohashi 2011)は 格フレームから得られた情報や照応先の出現位置などを素性として対数線形モデルを学習する ことで，識別モデルによるゼロ照応解析を行った。これらの研究では外界ゼロ照応は扱ってお らず，外界ゼロ照応の場合にはゼロ代名詞自体が出現しないものとして扱っている。これらの

研究では表 1 における (b) 外界ゼロ照応と (c) ゼロ照応なしを区別せず扱っているといえる.

外界ゼロ照応を扱った研究としては (山本, 隅田 1999; 平, 永田 2013) がある。 (山本, 隅田 1999) では対話文に対するゼロ代名詞の照応先の決定木による自動分類を行っている。この研究では, ゼロ代名詞は既知として与えられており, その照応先を 5 種類に分類された外界照応, および文章内照応（具体的な照応先の推定までは行わない）の計 6 種類から選択している。ま た, 話題は旅行対話に限定されている。この研究では, 機能語および用言の語彙情報がゼロ照応における素性として有効であるとしている。機能語，特に待遇表現は著者・読者に関する外界ゼロ照応解析で有効であると考えられ，本研究でも機能語の情報を素性として利用する。一方，用言の語彙情報は文章内ゼロ照応において有効であるとしているが，これは話題を限定し ているためであると考えられ，本研究の対象である多様な話題を含むコーパスに対しては有効 に働かないと考えられる。本研究では，格フレームにおける頻度情報などとして用言の情報を 汎化することで，用言の情報を扱うこととする。また, この研究ではゼロ代名詞を既知として いるため, ゼロ代名詞検出において外界ゼロ照応を扱うことの影響については議論されていな い. (平, 永田 2013) では新聞記事に対する述語項構造解析の一部として外界ゼロ照応も含めた ゼロ照応解析を扱っている．新聞記事コーパスでは外界ゼロ照応自体の出現頻度が非常に低い と報告しており, 外界ゼロ照応の精度（F 值）はガ格で 0.31 , ヲ格で 0.75 , 二格で 0.55 と非常 に低いものとなっている。また, これらの研究では文章中に出現する著者・読者（本論文にお ける著者・読者表現）と外界の著者・読者との関係については扱っていない.

日本語以外では，中国語，ポルトガル語，スペイン語などでゼロ照応解析の研究が行われてい る。中国語においてはゼロ照応解析は独立したタスクとして取り組まれることが多い. (Kong and Zhou 2010) ではゼロ代名詞検出, 照応性判定, 照応先同定の3つのサブタスクにおいて構文木を利用したツリーカーネルによる手法が提案されている。ポルトガル語，スペイン語では 述語項構造解析の一部ではなく, 照応解析の一部としてゼロ照応解析に取り組まれることが多 い.これらの言語では主格にあたる語のみが省略されるが，照応解析の前処理として省略され た主格を検出し，照応先が文章内にあるかを分類する研究が行われている (Poesio, Uryupina, and Versley 2010; Rello, Baeza-Yates, and Mitkov 2012).

英語においてはゼロ照応解析に近いタスクとして意味役割付与の研究が行われている (Gerber and Chai 2010; Ruppenhofer, Sporleder, Morante, Baker, and Palmer 2010). (Gerber and Chai 2010) では頻度の高い 10 種類の動作性名詞に対して，直接係り受けにないものも項として扱い 意味役割付与を行ったデータを作成している。また，共起頻度の情報などを利用して自動的に 意味役割付与を行っている。(Ruppenhofer et al. 2010)では意味役割付与タスクの一部として省略された項を扱っている。また，省略された項については，照応先が特定される Definite Null Instance と照応先が不特定な Indefinete Null Instance を区別して扱っている.

## 3 ランキング学習

本研究では, ゼロ照応解析および著者・読者表現推定において, ランキング学習と呼ばれる 手法を利用する。ランキング学習は優先度学習とも呼ばれ，インスタンス間のランキングを学習するための機械学習手法である (Herbrich et al. 1998; Joachims 2002). ランキング学習では 識別関数を $f(\mathbf{x})=\mathbf{w} \cdot \mathbf{x}$ とし以下のように $\mathbf{w}$ を学習する。ここで $\mathbf{x}$ は, 入力インスタンスの素性表現であり， $\mathrm{w}$ は $\mathrm{x}$ に対応する，重みべクトルである。まずランキングに含まれる各インス タンスの組み合わせを生成する。ここでランキング $A>B>C$ を考えると, 生成される組み合 わせは $A>B, A>C, B>C$ となる. そして各組み合わせにおいて識別関数の值がランキン グ上の順序と同じになるように $\mathrm{w}$ を学習する。炢の例で，各インスタンスに対応する素性べ クトルが $\mathbf{x}_{A}, \mathbf{x}_{B}, \mathbf{x}_{C}$ だとすると， $f\left(\mathbf{x}_{A}\right)>f\left(\mathbf{x}_{B}\right)$ などとなるように学習する. なお，学習す る順位内に同順位のものがあっても，「それらが同順位である」ということは学習されない。例 えば $A>B=C$ という順位があった場合には生成される組み合わせは $A>B, A>C$ だけで あり $B=C$ という関係が考慮されることはない.

また, 同時に複数のランキングを学習することも可能である. 例えば, $A_{1}>B_{1}>C_{1}$ と $A_{2}>B_{2}>C_{2}$ という二つの独立したランキングがあった場合には $A_{1}>B_{1}, A_{1}>C_{1}, B_{1}>C_{1}$, $A_{2}>B_{2}, A_{2}>C_{2}, B_{2}>C_{2}$ のようにそれぞれ独立した組み合わせを生成し, これら全てを満 たすように識別関数を学習する。

未知のインスタンス集合に対するランキング予測では, 各インスタンスに対して学習された $\mathbf{w}$ を用いて $f(\mathbf{x})$ を計算し，その値の順が出力されるランキングとなる.

ランキング学習は二値分類に適用することが可能であり, 正例と負例に対応関係がある場合 には通常の二値分類よりも有効であると言われている (磯崎 他 2006). これは通常の二値分類器 では, 全ての正例と負例を同一の特徴空間に写像するが, ランキング学習では正例と負例の差を 特徴空間に写像するためである。例えば, 入力 $x_{1}$ に対する出力候補が $\left(A_{1}:+, B_{1}:-, C_{1}:-\right)^{5}$,入力 $x_{2}$ に対する出力候補が $\left(A_{2}:+, B_{2}:+, C_{2}:-\right)$ となるような学習事例があったとする.こ の場合, 通常の二值分類器では $\left(A_{1}:+, B_{1}:-, C_{1}:-, A_{2}:+, B_{2}:+, C_{2}:-\right)$ のように事例をひと まとめにして扱うため, 本来直接の比較の対象ではない $A_{1}:+$ と $C_{2}:$-などが同一の特徵空間上で比較されることとなる。一方, ランキング学習であれば, $A_{1}>B_{1}=C_{1}$ と $A_{2}=B_{2}>C_{2}$ のように，ランキングとして表現することで， $A_{1}:+$ と $C_{2}:$ - などが同一特徴空間上で比較さ れることはない.このようにして学習された識別関数は二値分類問題における識別関数として 利用することができ，二値分類の場合と同様に出力の信頼度としても利用できる．そこで本研究では, 入力毎の出力候補に対して正負の正解がラベル付けされた事例からランキング学習に

より識別関数を学習し, 推定の際には識別関数の出力が最も高くなる（最尤）ものを出力する 形でランキング学習を利用する。

## 4 ベースラインモデル

本節では本研究でのベースラインとなる外界ゼロ照応を考慮しないゼロ照応解析モデルを説明する。本研究ではゼロ照応解析を用言単位の述語項構造解析の一部として扱う．用言単位の 述語項構造解析では，用言と複数の項の間の関係を扱うことができる。例えば「(不動産屋ガ $)$物件を紹介する」のガ格のゼロ照応解析ではヲ格の項が「物件」であることが大きな手掛かり となる。

各述語項構造は格フレームと, その格フレームの格スロットとその格スロットを埋める項の 対応付けとして表現される。格フレームは用言の用法毎に構築されており，各格フレームはそ の用言が項を取る表層格（格スロット）とその格スロットの項として取られる語（用例）から なる。本研究では，Webページから収集された 69 億文から (Kawahara and Kurohashi 2006)の 手法で自動構築された格フレームを用いる。構築された格フレームの例を図 1 に示す 6 .

本研究では， ゼロ代名詞の照応先を談話要素という単位で扱う，談話要素とは文中の表現の うち共参照関係にあるものをひとまとめにしたものである．例えば図 1 の例では, 「僕」と「自分」や「ラーメン屋 1 」 , 「その店」,「ラーメン屋 2 」と「お店」は共参照関係にあるので，それ ぞれ一つの談話要素として扱う。そしてゼロ代名詞の照応先はこの談話要素から選択する。例 えば，「紹介したい」のガ格では「僕」に対応する (a)を照応先として選択することになる.

述語項構造解析の例を図 1 に示す 8 . なお, 本研究ではゼロ照応解析の対象としてはガ， ヲ,二，ガ 2 格のみを扱うため，時間格などの他の格については省略することがある。ここでガ 2 格とは京都大学テキストコーパスで定義されている, 二重主格構文における主格にあたる格で ある ${ }^{9}$. この例では，「紹介する」に対応する格フレームから「紹介する (1)」を選択し，そのガ 格に談話要素 (a), ヨ格に談話要素 (c), 時間格に談話要素 (d) を対応付け，それ以外の格には談話要素を対応付けない. ゼロ照応解析の出力としては, ガ格の談話要素 (a)のみが出力される.

ベースラインモデルでは, 先行研究 (Sasano and Kurohashi 2011) と同様に以下の手順で解析 を行う。

（1）形態素解析，固有表現認識，構文解析を行う.

（2） 共参照解析を行いテキスト中に出現した談話要素を認識する.

僕は出町柳にあるラーメン屋 1 によく行きます。

その店はすごく美味しくて, 自分の一番好きなラーメン屋 2 です。

今日はその素敵なお店を 紹介します。

出力される述語項構造

格フレーム:『紹介する (1)』, \{ガ:(a) 僕, ヨ:(c) ラーメン屋, ニ:×, ガ $2: \times$, 時間:(d) 今日 $\}$

図 1 述語項構造解析によるゼロ照応解析の概要

（3）各用言について以下の手順で述語項構造を決定する.

(a) 以下の手順で解析対象用言がとりえる述語項構造（格フレームと談話要素の対応付け）の組み合わせを列挙する。

(i) 解析対象用言の格フレームを 1 つ選ぶ.
(ii) 解析対象用言と係り受け関係にある語と格スロットの対応付けを行う.

(iii) 対応付けられなかったガ格， ヨ格，ニ格，ガ 2 格の格スロットと，対象用言の格スロットとまだ対応付けられていない談話要素の対応付けを行う．

(b) 学習されたランキングモデルによりもっとも高いスコアが与えられたものを述語項構造として出力する.

先行研究と本研究でのベースラインモデルとの違いは, (3b) でのスコア付けの際の重みの学習方法の違いである. 先行研究では対数線形モデルを利用していたが，本研究ではランキング学習を用いた ${ }^{10}$.このランキング学習の詳細は 4.2 節で説明する.

手順 (3) の述語項構造解析について説明する。まず, (3a)の手順で候補となる述語項構造 $(c f, a)$ を列挙する。ここで $c f$ は選ばれた格フレーム，aは格スロットと談話要素の対応付けである. ただし, 同一用言の複数の格に同じ要素が入りにくいという経験則 (村田, 長尾 1997) から, 手順 (3(a)iii) では既に他の格に対応付けられた談話要素は, ゼロ代名詞には対応付けないことと する. 手順 (3a) で列挙される述語項構造の例を図 2 に示す ${ }^{11} . 【 1-1 】 と 【 2-1 】 、 【 1-2 】 と 【 2-2 】$ などは，格と談話要素の割り当ては同じであるが格フレームは異なるため別々の述語項構造候補として扱う.【1-2】と【2-2】のどちらを述語項構造として選んでもゼロ照応解析としての出力は同じになる。この列挙された述語項構造をそれぞれ 4.1 節で説明する手法で素性として表現し， 4.2 節で説明する方法で学習された重みを利用してスコア付けを行い, 最終的に最もスコ アが高かった述語項構造を出力する.

図 2 述語項構造の候補の例
$ 番目の格フレームに対する $\mathrm{j}$ 番目の対応付けを持つ述語項構造に対して便宜的に割り振ったものである.
}

## 4.1 述語項構造を表現する素性

本節では述語項構造を表現する素性について説明する。 入力テキスト $t$ の解析対象用言 $p$ に 格フレーム $c f$ を割り当て, その格フレームの格スロットと談話要素の対応付けを $a$ とした述語項構造を表現する素性べクトルを $\phi(c f, a, p, t)$ とする。 $\phi(c f, a, p, t)$ は直接係り受けがある述語項構造に関する素性べクトル $\phi_{\text {overt-PAS }}\left(c f, a_{\text {ovet }}, p, t\right)$ とゼロ照応解析で対象となる各格 $c$ に談話要素 $e$ が割り当てられることに関する素性べクトル $\phi_{\text {case }}(c f, c \leftarrow e, p, t)$ からなり, 具体的に は以下のような形とする。ここで， $a_{\text {overt }}$ は用言 $p$ と直接係り受けのある談話要素と格スロッ トの対応付けである.

$
\begin{aligned}
\phi(c f, a, p, t)= & \phi_{\text {overt-PAS }}\left(c f, a_{\text {overt }}, p, t\right), \\
& \phi_{\text {case }}\left(c f, \text { ガ } \leftarrow e_{\text {ガ }}, p, t\right), \phi_{\text {case }}\left(c f, \text { ヲ } \leftarrow e_{\ni}, p, t\right), \\
& \left.\phi_{\text {case }}\left(c f, \text { ニ } e_{\text {c }}, p, t\right), \phi_{\text {case }}\left(c f, \text { ガ } 2 \leftarrow e_{\text {ガ } 2}, p, t\right)\right)
\end{aligned}
$

各格に対応する素性べクトル $\phi_{\text {case }}(c f, c \leftarrow e, p, t)$ は格 $c$ に談話要素 $e$ が対応付けられた場合 の素性ベクトル $\phi_{A}(c f, c \leftarrow e, p, t)$ と何も対応付けられなかった場合の素性べクトル $\phi_{N A}(c f, c \leftarrow$ $\times, p, t)$ からなる. $\phi_{\text {case }}(c f, c \leftarrow e, p, t)$ は格 $c$ がゼロ照応として対応付けられた場合にのみ考慮 し，直接係り受け関係にある談話要素に対応付けられた場合には 0 ベクトルとする.

例えば図 2 の【2-2】を表現する素性べクトル $\phi($ 紹介する $(2),\{$ ガ： $(a)$ 僕， ヨ：(c) ラーメン 屋, ニ: ×, ガ $2: \times$, 時間 $:(d)$ 今日 $\})$ は以下のようになる ${ }^{12}$.

$\phi($ 紹介する $(2),\{$ ガ : $(a)$ 僕, ヨ $:(c)$ ラーメン屋, ニ : ×, ガ $2: \times$, 時間 $:(d)$ 今日 $\})=$ $\left(\phi_{\text {overt-PAS }}(\right.$ 紹介する $(2),\{$ ガ : ×, ヨ $:(d)$ ラーメン屋, ニ: ×, ガ $2: \times$, デ格 $:(c)$ ブログ $\})$,

$
\begin{array}{lr}
\phi_{A}(\text { 紹介する }(2), \text { ガ } \leftarrow(a) \text { 僕 }), & \mathbf{0}_{\phi_{N A}}, \\
\mathbf{0}_{\phi_{A}}, & \mathbf{0}_{\phi_{N A}}, \\
\mathbf{0}_{\phi_{\mathbf{A}}}, & \phi_{N A}(\text { 紹介する }(2), \text { ニ } \leftarrow), \\
\mathbf{0}_{\phi_{\mathbf{A}}}, & \left.\phi_{N A}(\text { 紹介する }(2), \text { ガ } 2 \leftarrow \times)\right)
\end{array}
$

述語項構造べクトルを表現する各要素 $\phi_{\text {overt-PAS }}\left(c f, a_{\text {overt }}, p, t\right), \phi_{A}(c f, c \leftarrow e, p, t), \phi_{N A}(c f, c \leftarrow$ $\times, p, t)$ の素性について説明する。まず， $\phi_{\text {overt-PAS }}\left(c f, a_{\text {overt }}, p, t\right)$ には確率的格解析モデル (河原，黒橋 2007) から得られる表層の係り受けの確率を用いる。 $\phi_{A}(c f, c \leftarrow e, p, t)$ に用いる素性 の一覧を表 2 に示す ${ }^{13}$. 格フレーム素性は，格フレームから得られる情報である。 $e$ が複数回

13 値の列で $\log$ と書かれたものは, 実際にはその対数をとったものを素性として利用している. バイナリと書かれた ものは，多値の素性をバイナリで表現したものを素性として利用している．整数値と書かれたものは，その値をそ のまま利用している.
}
表 $2 \phi_{A}(c f, c \leftarrow e, p, t)$ の素性一覧

表 $3 \phi_{N A}(c f, c \leftarrow \times, p, t)$ の素性一覧

言及される場合には，各素性ごとにそれらの値で最も大きいものをその素性の値とする。例え ば, 談話要素 $e$ が格フレーム $c f$ の格 $c$ に対応付く確率の素性を式 (2) のガ格について考える.上述の例ではガ格に対応付けられた談話要素 (a)は「僕」「自分」と 2 回言及されている. そこ で「僕」「自分」が「紹介する (2)」のガ格に対応付く確率をそれぞれ計算し, 最も値が高いも のを (a) が「紹介する (2)」のガ格に対応付く確率とする。用言素性における $p$ の持つモダリ ティなどの情報は, 用言の属する基本句に日本語構文・格解析システム KNP ver. $4.0^{14}$ により 付与された情報を利用する。文脈素性は $e$ が前後の文脈でどのような表現で出現するかを扱う 素性であり， $e$ が複数回言及される場合には，その全てを素性として扱う， $c$ が割り当てられた ことの素性は，その格にどの程度ゼロ代名詞が出現するかを調整するための素性となっている。 $\phi_{N A}(c f, c \leftarrow \times, p, t)$ に用いる素性を表 3 に示す. $\phi_{N A}(c f, c \leftarrow \times, p, t)$ では対応付けられる要素 $e$ がないため, 格フレームに関する素性のみとなっている.

## 4.2 素性の重みの学習

前節で入力テキスト $t$, 解析対象用言 $p$ が与えれられたとき，格フレーム $c f$, 格スロットと 談話要素の対応付け $a$ からなる述語項構造を表現する素性を $\phi(c f, a, p, t)$ としたが，それに対応 する素性の重み $\mathrm{w}$ をランキング学習により学習する。

ランキング学習の学習データ作成は, 対象用言ごとに順位データを作成し, 全用言の順位デー 夕を集約したものとする。もし, 述語項構造の正解が一意に求められるなら, その述語項構造 を上位とし，それ以外の述語項構造を下位とする順位デー夕を作成すればよい。しかし，実際 には以下の 2 つの問題がある.

1つ目は正解コーパスには 1 つの格に対して複数の談話要素が対応付けられたものが含まれる ことである. 例えば図 3 の「焼いている」では正解として $\{$ ガ:×, ヨ:(b)ケーキ+(c)クッキー,二:×，ガ $2: \times$ ，時間:(d) 毎週 \}のように， ヨ格に 2 つの談話要素が対応付けられる。一方，提案手法では先に述べたように 1 つ格に対して1つの談話要素しか対応付けない. そこで，1つ の格に対して複数の談話要素が対応付けられている場合には，そのうちどれか 1 その談話要素

×, ガ $2: \times$, 時間:(d) 毎週 $\}$ と $\{$ ガ: $\times, \quad$ Э:(c) クッキー, ニ:×, ガ $2: \times$, 時間:(d) 毎週 $\}$ を正解の談話要素対応付けとする。また, この正解となる対応付けの集合を $\left(a_{1}^{*}, \cdots, a_{N}^{*}\right)$ とする.

2 つ目はコーパスには格フレームの正解は付与されていないことである. 先に述べたように述語項構造は格フレームと格スロットと談話要素の対応付けからなる。格フレームは用言の用法 ごとに構築されており，述語項構造候補の格フレームには文脈で使用される用法と全く異なる もの ${ }^{15}$ が含まれる，格スロットと談話要素の対応付けは正しいが，文脈での使用とは異なる用法の格フレームを持つような述語項構造を正解として扱った場合, 学習に悪影響を与えると考 えられる。そこで, 確率的ゼロ照応解析 (Sasano et al. 2008)を利用することで, 各文脈におけ る用法の格フレームを推定する。確率的ゼロ照応解析では各述語項構造 $(c f, a)$ に対し格フレー ムの情報などを用いることで $P(c f, a \mid p, \mathbf{e})$ を推定する. ここで $\mathbf{e}$ は文章中に出現する談話要素 $e$ の集合である ${ }^{16}$

具体的には以下の手順で各対象用言 $p$ に対して学習データとなるランキングを生成する.

(1) 用言 $p$ に対して取り得る述語項構造 $(c f, a)$ を訓練事例として列挙する.

(2) 正解となる対応付け $a_{1}^{*}, \cdots, a_{N}^{*}$ について

（a）各 $\left(c f, a_{i}^{*}\right)$ の確率的ゼロ照応解析確率を計算し, 最も確率が高いものを $\left(c f_{i}^{*}, a_{i}^{*}\right)$ とする.

(b) $\left(c f, a_{i}^{*}\right)$ のうち, $\left(c f_{i}^{*}, a_{i}^{*}\right)$ 以外のものを訓練事例から取り除く.

(3) 各 $\left(c f_{i}^{*}, a_{i}^{*}\right)$ が他の $(c f, a)$ より順位が高くなるようなランキングを用言 $p$ に対する学習 データとする.

図 3 の「焼いている」を例に説明する。まず「焼いている」の述語項構造解析の候補として

るもの $\left(c f, a_{i}^{*}\right)$ は, $\{$ ガ:×, ヨ:(b) ケーキ, ニ:×, ガ $2: \times$, 時間:(d) 毎週 $\}$ とっている【1-2】 と【2-2】, \{ガ:×, ヨ:(c)クッキー, ニ:×, ガ $2: \times$, 時間:(d) 毎週 $\}$ となっいる【1-3】と【2-3】 である.【1-2】、【2-2】、【1-3】、【2-3】について確率的ゼロ照応解析スコアを計算した結果,【1-2】 >【2-2】、【1-3】>【2-3】となったとする.この場合【1-2】と【1-3】が $\left(c f_{i}^{*}, a_{i}^{*}\right)$ となる (手順 (2a)）、そこで, 訓練事例から【2-2】と【2-3】を取り除く（手順 $(2 b)$ ). そして,【1-2】=【1-3】 $>【 1-1 】=【 1-4 \rrbracket=\cdots=【 2-1 】=【 2-4 \rrbracket=\cdots$ というランキングを「焼いている」について の学習データとする (手順 $(3)$ ). このように各対象用言に対するランキング学習データを生成 し，それらを統合したものに対してランキング学習を行うことで $\mathbf{w}$ を学習する。

図 31 つの格に複数の談話要素が割り当てられる例

## 5 コーパス

本研究では, Diverse Document Leads Corpus (DDLC) (Hangyo et al. 2012)を利用する. DDLC は Webから収集されたテキストに対して，形態素情報，構文関係，固有表現，共参照関係，述語項構造, 著者・読者表現が付与されている。形態素情報, 構文関係, 固有表現, 共参照関係は 京都大学テキストコーパス (Kawahara et al. 2002) と同様の基準で付与されている. 述語項構造 も京都大学テキストコーパスと同様の基準で付与されており, 文章内ゼロ照応だけでなく外界 ゼロ照応も付与されている. 外界ゼロ照応の照応先としては表 4 の 5 種類が設定されている.著者・読者表現は,「=:[著者]」「=:[読者]」というタグ17で基本句単位に付与されており, 著者・読者表現が複合語の場合にはその主辞に対して付与されている．DDLCでは，著者表現，読者表現は 1 文書中にそれぞれ最大でも 1 つの談話要素と仮定されており，著者・読者が複数回言及される場合には，そのうち 1 つに「=:[著者]」「=:[読者]」を付与し，それ以外のものは，著者・読者表現と共参照関係にある，という形で表現される。下記の例 (9)では，著者は「主婦」や「こま」，「母」など複数の表現で言及されているが，「=:[著者]」は「主婦」に対してた け付与され，「こま」や「母」には「＝:主婦」というタグにより，「主婦」と共参照関係にある という情報が付与されている.

表記は B に対して「rel:A」という情報が付与されていることを示す.
}
表 4 外界ゼロ照応の照応先と例

(9)東京都に住む「お気楽主婦」こまです。

0 歳と 6 歳の男の子の母をしです。

また, 組織のウェブページなどの場合にはその組織名や組織を表す表現を著者表現としている。

(10)ここでは弊社の商品及び事業を簡単にご説明します。

(弊社 $\leftarrow=:$ [著者])

(11)神戸徳洲会病院では地域の医療機関との連携を大切にしています。 (病院 $\leftarrow=:$ [著者])

ウェブページでは実際には不特定多数が閲覧できる状態であることが多いが，著者が特定の読者を想定していると考えられる場合には，その特定の読者を表す表現も読者表現として扱って いる．下記の例 (12)では，想定している読者が「今後就職を迎える人」だと考えられるので， その主辞の「人」に「=:[読者]」が付与されている.

(12) 今後就職を迎える人に，就職活動をどのように考えれば良いのかをお知らせしてみま しょう。

$
(人 \leftarrow=:[\text { 読者 }] \text { ) }
$

一方，想定している読者のうち一部だけを対象とした表現は読者表現として扱っていない.下記の例 (13)では，想定される読者は「オーナーを希望する人」であり，「店舗運営の経験がな い方」はそのうちの一部であると考えられるので，読者表現として扱われていない.

(13）店舗運営の経験がない方でも、ご安心ください。ローソンの研修制度なら、オーナーに
必要とされるノウハウを段階的に修得することができます。

表 8 に DDLC 中の著者・読者表現の例を示す. DDLC 全体 1,000 文書のうち著者表現が付与 された文書は 271 文書，読者表現が付与された文書は 84 文書であった.

DDLC におけるゼロ照応の個数を表 5 に，文章内ゼロ照応，外界ゼロ照応における照応先の 内訳を表 6 と表 7 に示す. 表 6 において著者・読者とは照応先が著者・読者表現にあたること を示す．DDLCにおいてはゼロ照応のうち $54 \%$ が外界ゼロ照応であること， ゼロ照応はガ格で 特に多く起こることが分かる．また，著者や読者に関するゼロ照応はガ格，二格，ガ 2 格で多 く出現し，ヲ格ではほとんど出現しないことが分かる.

表 5 DDLC におけるゼロ照応の個数

表 6 DDLC の文章内ゼロ照応の内訳

表 7 DDLC の外界ゼロ照応の内訳

表 8 著者・読者表現の例

## 6 著者・読者表現推定

日本語では様々な表現で著者や読者が文章中で言及され，5 節で述べたように人称代名詞た けでなく, 固有表現, 役職など様々な表現で言及される。一方, 表 8 に挙げたような表現でも 文脈によっては著者・読者表現にならないこともある．下記の例 (14)では，「お客様」はこの 文章の読者として想定している客とは別の客を指していると考えられるので，読者表現とはな らない.

先月、お部屋のリフォームをされたお客様の例を紹介します。

このように，表記のみから著者・読者表現を同定することは困難である．本研究では著者・読者表現候補自体の表現だけでなく，周辺文脈や文章全体に含まれる情報から文章の著者・読者表現を推定することとする.

5 節で述べたように，DDLC では基本句単位で著者・読者表現がアノテーションされており，共参照関係にある複数の表現が著者・読者表現である場合には，その内の 1 つに対して著者・読者表現を付与するとしている。これは 4 節で述べた談話要素単位に著者・読者表現が付与され ていると言え，本研究でも著者・読者表現は談話要素単位で扱う，著者・読者表現の推定には ランキング学習を利用し, その素性には著者・読者表現自身および周辺文脈の語彙統語パター ンを利用する。

## 6.1 著者・読者表現推定モデル

著者・読者表現の推定は著者表現，読者表現それぞれ独立して行う ${ }^{18}$ ．著者・読者表現の推定にはランキング学習を利用し, 著者・読者表現にあたる談話要素が他の談話要素より上位に なるように学習する。例えば図 4 の著者表現では, 談話要素 (1) が他の談話要素より上位とな る学習データを作成する。そして学習された識別関数により最上位となった談話要素を著者・読者表現と推定する。なお，著者・読者表現候補として扱う談話要素は下記の条件のうち最低 1 つは満たしているもののみとする.

・ 自立語の形態素の JUMAN カテゴリが「人」「組織・団体」「場所」

・ 固有表現である

・形態素に「方」「人」を含む

ここで，学習データ作成時および推定時に考慮しなければならないのは，著者・読者表現が出現しない文書が存在することである。著者・読者表現が出現しない文書は大きく分けて 2 つ 種類がある．1 つ目は図 5 のように談話構造自体に著者・読者が出現しない文書である．2つ目 は図 6 のように談話構造には著者・読者が出現するが著者・読者表現として明示的に言及され ない場合である ${ }^{19}$.これらに対応する仮想的なインスタンスとして，「著者・読者表現なし（談話構造 $)\rfloor$ と「著者・読者表現なし(省略)」を設定する.

「著者・読者表現なし(談話構造)」は談話構造自体に外界ゼロ照応としても著者・読者が出現しないことに対応するインスタンスであり, 文書全体の語彙統語パターンを素性とした文書

米子タウン ホテル著者は米子駅の真正面にございます。

駐車場も完備しており、ビジネスに観光に大変便利な立地のホテルです。

米子にお越しの際はぜひご利用下さい。

著者・読者表現候補となる談話要素

(1) $\{$ 米子タウンホテル, ホテル $\},(2)\{$ 米子駅 $\},(3)\{$ 真正面 $\},(4)\{$ 駐車場 $\},(5)\{$ 立地 $\}$, (6) $\{$ 米子 $\}$

図 4 著者表現が出現する文書例

公共事業の削減で、地方経済は製造業など誘致企業への依存度を強めてきた。

このため、世界的な金融危機による減産が大きなダメージになった。

さらに、アジアなど新興国市場の台頭や円高に伴う工場の海外シフトに苦しんでいる。

著者・読者表現候補となる談話要素

(1) $\{$ 地方 \}, (2) $\{$ 世界的 \}, (3) \{アジア \}, (4) $\{$ 新興国 \}, (5) $\{$ 工場 $\},(6)\{$ 海外 \}

図 5 談話構造自体に著者が出現しない文書例

気がつけば梅雨も明けてました。

毎日暑い日が続きますね。

父の手術も無事に終わり、少しだけほっとしてます。

著者・読者表現候補となる談話要素

(1) $\{$ 父 $\}$

図 6 談話構造に著者が出現するが著者表現が出現しない文書例

ベクトルで表現されるインスタンスである。これは, 著者・読者が談話構造自体に出現しない 文書では，尊敬や謙譲表現が少ないなど文体的な特徴があると考えられ，文書全体の語彙統語 パターンは文体を反映した素性といえるからである.

「著者・読者表現なし(省略)」は談話構造には外界ゼロ照応として著者・読者が出現するが，著者・読者表現として明示的に言及されないことに対応するインスタンスであり，ゼロベクト ルとして表現される。識別関数はゼロベクトルについて常に 0 を返すため，このインスタンス より下位に順位付けされた談話要素は二値分類における負例とみなすことができる。学習され た識別関数によるランキングの結果, これらのインスタンスが最上位となった文書については,著者・読者表現が出現しないものとする。

各文書に対する学習データの作成について説明する．以下の手順で著者表現，読者表現に対 して文書ごとにランキングデータ作成し, 統合したものを最終的な学習データとする.

著者・読者表現が存在する文書については，著者・読者表現にあたる談話要素が他の談話要素および「著者・読者表現なし」より上位になるように学習データを作成する。例えば，図 4 の 文書における著者表現推定では,

$(1)>(2)=(3)=\cdots=(6)=$ 著者表現なし $($ 談話構造 $)=$ 著者表現なし $($ 省略 $)$

となるように学習データを作成する.

談話構造自体に著者・読者が出現しない場合には，「著者・読者表現なし(談話構造)」が文書中の談話要素および「著者・読者表現なし(省略)」より上位になるように学習デー夕を作成す る。例えば，図 5 の文書における著者表現推定では,

著者表現なし (談話構造 $)>(1)=(2)=\cdots=(6)=$ 著者表現なし (省略)

となるように学習データを作成する。
談話構造に著者・読者が出現するが著者・読者表現が出現しない場合には，「著者・読者表現 なし(省略)」が文書中の談話要素および「著者・読者表現なし(談話構造)」より上位になるよ うに学習データを作成する。例えば，図 6 の文書における著者表現推定では，

著者表現なし $($ 省略 $)>(1)=$ 著者表現なし $($ 談話構造 $)$

となるように学習データを作成する。

学習時の談話構造に著者・読者が出現するかの判定には，コーパスに付与された外界ゼロ照応の情報を利用する，外界ゼロ照応の照応先として著者・読者が出現する場合には談話構造に 著者・読者が出現するとし，それ以外の場合には出現なしとする，例えば図 6 では，「気がつけ ば」のガ 2 格,「ほっとしました」のガ格などの照応先で著者が出現するので, 談話構造に著者 が出現していると分かる。なお，この情報はランキングの学習データを作成する際にのみ利用 するので，テストデータに対する著者・読者表現推定時には利用しない.

## 6.2 素性として利用する語彙・統語パターン

談話要素に対しては, 談話要素自身と係り先およびこれらの係り受けの語彙統語パターンを 素性として扱う。ここで, 語彙統語パターンを扱う単位として, 基本句と文節という 2 の単位を考える。談話要素は基本句単位であるが, その基本句が含まれる文節の情報も重要と考え られるからである。

談話要素を表現する語彙統語パターンとしては，談話要素が含まれる基本句・文節，談話要素の係り先の基本句・文節およびこれらの係り受け関係を後述する基準にて汎化したものとな る. 1 つの談話要素が複数言及されている場合には，それらを合わせたものをその談話要素の 素性として用いる。また, 1 文目には自己紹介的な表現が用いられることが多く, 以降の文と 区別して扱うことが有効であると考えられる。そこで， 1 文目で出現した語彙統語パターンは 別の素性としても扱うこととする。例えば, 図 4 の談話要素 (1) に対応する素性として利用す るものは以下のものを汎化したものとなる。

「基本句:ホテルは」「基本句係り先:ございます。」「基本句係受け:ホテルは $\rightarrow$ ございます。」「文節:米子タウンホテルは」「文節係り先:ございます。」「文節係り受け:米子タウンホテル は $\rightarrow$ ございます。」「基本句:ホテルです。」「文節:ホテルです。」「1文目基本句:ホテルは」 $\lceil 1$ 文目基本句係り先:ございます。」「1 文目基本句係受け:ホテルは $\rightarrow$ ございます。」「1文目文節:米子タウンホテルは」「1 文目文節係り先:ございます。」「1 文目文節係り受け:米子 タウンホテルは $\rightarrow$ ございます。」

これらの要素を表 9 の基準で汎化することで語彙統語パターンの素性として利用する。「形態素単位 $\mathrm{A} 」$ の汎化は形態素単位に付与された情報を元に形態素毎に汎化を行う．なお「品詞+
表 9 汎化する種類と基準

 \\

表 10 一人称代名詞と二人称代名詞

一人称 私, 我々, 僕, 俺, 弊社, 当社

二人称 あなた, 皆様, 皆さん

活用」では内容語に対してのみ行い，機能語については汎化しない.

となる汎化表現を持たない場合（固有表現による汎化の際に固有表現を持たない場合など）に は「品詞十活用」で汎化を行う.

「形態素単位 $\mathrm{C}$ では「形態素単位 $\mathrm{B}$ と同様に汎化を行うが, 複数の形態素をまたいだ汎化を行う 場合がある。分類語彙表による汎化では，分類語彙表に複合語として登録されている場合には，そ の複合語の分類語彙表の内容を利用する。例えば,「ゴルフ場」は 2 形態素であるが, 分類語彙表には 「ゴルフ場:土地利用」として登録されているので,「ゴルフ場」を「土地利用」と汎化する．固有表現に よる汎化では, 形態素に付与された固有表現は「固有表現名:head」「固有表現名:middle」「固有表現
名:tail」「固有表現名:single」のように固有表現中での位置が付与されている. 文節による汎化の際 には連続したこれらの表現をまとめて「固有表現」という形に汎化する．例えば「ヤフージャパン株式会社」では「ORGANIZATION:head+ORGANIZATION:middle+ORGANIZATION:middle+ ORGANIZATION:tail」のように固有表現が付与されるが,「ORGANIZATION」として汎化す る. これらの形態素単位での汎化では, 形態素ごとに汎化を行い, その後基本句内, 文節内で 汎化された情報を結合することでその基本句, 文節の語彙統語パターンとする．例えば，「基本句:ホテルは」をカテゴリ (CT)の基準で汎化する祭には，「ホテル」を「CT-場所-施設」に汎化 し,「は」は機能語なのでそのまま「は」とする。そしてこれらを結合した「基本句:CT-場所施設十は」がこの基本句のカテゴリによる汎化表現となる.

上述の形態素単位の汎化の場合には, 基本句, 文節内に含まれる個々の汎化表現も素性とす る. 例えば,「基本句:ホテルは」のカテゴリによる汎化では上述の「基本句:CT-場所-施設+は」 に加えて，「基本句内形態素:CT-場所-施設」も素性とする ${ }^{20}$.

基本句・文節単位での汎化は基本句・文節に付与された情報を元に汎化を行う場合に利用す る. 基本句・文節単位での汎化では基本句・文節に付与された情報そのものを基本句, 文節の 語彙統語パターンとして利用する.このため, 形態素単位による情報は素性としては利用しな い.

## 7 外界照応および著者・読者表現を考慮したゼロ照応解析モデル

本節では, 外界ゼロ照応および著者・読者表現を考慮したゼロ照応解析モデルについて説明 する. 提案モデルでは, ベースラインモデルと同様にゼロ照応解析を述語項構造解析の一部と して解く.

提案モデルではゼロ照応解析は以下の手順で行う.

（1） 形態素解析，固有表現認識，構文解析を行う.

（2） 共参照解析を行いテキスト中に出現した談話要素を認識する.

（3）著者・読者表現の推定を行い，どの談話要素が著者・読者表現にあたるのかを推定する.

（4）推定された著者・読者表現から仮想的な談話要素を設定する（7.1 節で説明）.

（5）各用言について以下の手順で述語項構造を決定する.

(a) 以下の手順で解析対象用言がとりえる述語項構造（格フレームと談話要素の対応付け）の組み合わせを列挙する。

(i) 解析対象用言の格フレームを 1 つ選ぶ.

(ii) 解析対象用言と係り受け関係にある語と格スロットの対応付けを行う.

(iii) 対応付けられなかったガ格， 格，ニ格，ガ 2 格の格スロットと, 対象用言の格スロットとまだ対応付けられていない談話要素の対応付けを行う.

(b) 学習されたランキングモデルによりもっとも高いスコアが与えられたものを述語項構造として出力する。

ベースラインモデルと異なる点は, 手順 (3) で文章中の著者・読者表現を推定すること, 手順 (4) で仮想的な談話要素を設定することである.

## 7.1 外界ゼロ照応を扱うための仮想的談話要素

ベースラインモデルではゼロ代名詞の照応先を文章中の談話要素から選択することとした。提案モデルでは，文章中の談話要素に加えて仮想的な談話要素として [著者], [読者], [不特定:人], [不特定:その他] を設定し, 解析の際の述語項構造の列挙においては，格に対応付ける談話要素の候補としてこれらの仮想的な談話要素も考えることとする ${ }^{21}$. そして, これらが対応付 けられた格は外界ゼロ照応であるとする。例 (15) では，「説明します」のガ格が外界ゼロ照応 で著者を照応しており，二格は外界ゼロ照応で読者を照応しているため，ガ格に [著者]を，ニ 格に [読者]を対応付けた述語項構造として表現される。

$
\text { 今日はお得なポイントカードについて説明します。 }
$

著者・読者表現が文章中に出現する場合には, [著者] と [読者]の仮想的談話要素の扱いが問題 となる. 下記の例 (16)ではゼロ代名詞 $\phi$ の照応先は, 著者表現である「私」とも [著者] とも考 えられる。

（16）肩こりや腰痛で来院された患者さんに対し、私著者は脈を診ることにしています。 それは心臓の状態を $(\phi$ ガ $)$ 診ているだけではなく、身体全体のバランスを $(\phi$ ガ $)$ 診た いからです。

本研究では, このような曖昧性を取り除くため, 照応先としては $[$ 著者], [読者]より著者・読者表現を優先することする，解析の際, 文章中に著者・読者表現が存在する場合には, [著者], [読者]の仮想的談話要素は照応先として対応付けないこととする．図1の「紹介します」に対して 列挙される述語項構造の例を図 7 に示す.この例では,【1-3】のガ格や【1-4】のガ格などに仮想的な談話要素が対応付けられている。また,「(a) 僕」が著者表現にあたるので [著者] はどの 格にも対応付けを行わない.

【1-1】 格フレーム:『紹介する (1)』, \{ガ:×, Э:(c) ラーメン屋, ニ:×, ガ $2: \times$, 時間:(d) 今日 $\}$

【1-2】格フレーム: 『紹介する (1)』, \{ガ:(a) 僕, ヨ:(c) ラーメン屋, ニ:×, ガ $2: \times$, 時間:(d) 今日 $\}$

【1-3】格フレーム:『紹介する (1)』, \{カ̉:[読者], Э:(c) ラーメン屋, ニ:×, ガ $2: \times$, 時間:(d) 今日 $\}$

【1-4】格フレーム:『紹介する (1)』，\{ガ:[不特定:人], Э:(c) ラーメン屋, ニ:×, ガ $2: \times$, 時間:(d) 今日 $\}$

【1-5】格フレーム: 『紹介する (1)』, \{ガ:(a) 僕, ヨ:(c) ラーメン屋, 二:[読者], ガ $2: \times$, 時間:(d) 今日 $\}$

【1-6】格フレーム:『紹介する (1)』, \{ガ:[読者], ヨ:(c) ラーメン屋, ニ:(a) 僕, ガ $2: \times$, 時間:(d) 今日 $\}$

【2-1】格フレーム:『紹介する (2)』, \{ガ:×, ヨ:(c) ラーメン屋, ニ:×, ガ $2: \times$, 時間:(d) 今日 $\}$

【2-2】格フレーム: 『紹介する (2)』, \{ガ:(a) 僕, ヨ:(c) ラーメン屋, ニ:×, ガ $2: \times$, 時間:(d) 今日 $\}$

図 7 提案手法における述語項構造の候補の例

一方，著者・読者表現は外界の [著者] や [読者] と似た振る舞いを取ると考えられる ${ }^{22}$.そこ で, 著者・読者表現は他の談話要素と区別し, 素性表現の際に [著者] や [読者]の性質を持つよ うに素性を与える。詳細は 7.2 節で示す.

## 7.2 素性による述語項構造の表現

ベースラインモデルと同様に提案モデルでも述語項構造単位を素性で表現し, その構成もベー スラインモデルと同様に $\phi(c f, a, p, t)$ は直接係り受けがある述語項構造に関する素性ベクトル $\phi_{\text {overt-PAS }}\left(c f, a_{\text {overt }}, p, t\right)$ とゼロ照応解析で対象となる格 $c$ に談話要素 $e$ が割り当てられること に関する素性べクトル $\phi_{\text {case }}(c f, c \leftarrow e, p, t)$ からなる.

ベースラインモデルと提案モデルの差は $\phi_{\text {case }}(c f, c \leftarrow e, p, t)$ のうち, $c$ に談話要素 $e$ が割り 当てられた場合の素性ベクトル $\phi_{A}(c f, c \leftarrow e, p, t)$ の構成である. ここでベースラインモデルで の $\phi_{A}(c f, c \leftarrow e, p, t)$ を $\phi_{A}^{\prime}(c f, c \leftarrow e, p, t)$ とおく. この $\phi_{A}^{\prime}(c f, c \leftarrow e, p, t)$ と同内容, 同次元の素性べクトルを文章中に出現した談話要素, 外界の [著者], [読者] なとと対応する形で複数並べる ことで $\phi_{A}(c f, c \leftarrow e, p, t)$ を構成する.

具体的には以下のような形となる.

$
\begin{aligned}
\phi_{A}(c f, c \leftarrow e, p, t)= & \phi_{\text {mentioned }}(c f, c \leftarrow e, p, t), \phi_{\text {[著者] }}(c f, c \leftarrow e, p, t), \\
& \phi_{\text {[読者] }}(c f, c \leftarrow e, p, t), \phi_{\text {[不特定:人] }}(c f, c \leftarrow e, p, t), \\
& \left.\phi_{\text {[不特定:その他] }}(c f, c \leftarrow e, p, t), \phi_{\max }(c f, c \leftarrow e, p, t)\right)
\end{aligned}
$

ここで, $\phi_{\text {mentioned }}(c f, c \leftarrow e, p, t)$ は $e$ が文章中に出現した談話要素の場合のみに発火し, 内容は $\phi_{A}^{\prime}(c f, c \leftarrow e, p, t)$ と同内容とする. $\phi_{\text {[著者] }}(c f, c \leftarrow e, p, t), \quad \phi_{\text {[読者] }}(c f, c \leftarrow e, p, t)$ は $e$ が外

界の [著者], [読者] の場合または著者・読者表現に対応する談話要素の場合にのみ発火する. $\phi_{\text {[不特定: 人] }}(c f, c \leftarrow e, p, t), \phi_{\text {[不特定:その他] }}(c f, c \leftarrow e, p, t)$ は $e$ が外界の [不特定:人], [不特定:その他] の場合にのみ発火する。 $\phi_{\text {[著者] }}(c f, c \leftarrow e, p, t), \quad \phi_{\text {[読者] }}(c f, c \leftarrow e, p, t), \quad \phi_{\text {[不特定:人] }}(c f, c \leftarrow e, p, t)$, $\phi_{\text {[不特定:その他] }]}(c f, c \leftarrow e, p, t)$ は外界の談話要素に対応するため, 表記や JUMANカテゴリといった 情報を持たない。そこで, 格フレーム素性で $e$ の表記や JUMAN カテゴリの情報を利用する場合に は擬似的に表 11 の表記や JUMAN カテゴリを利用する。最後の $\phi_{\max }(c f, c \leftarrow e, p, t)$ は各素性に おいて $\phi_{\text {mentioned }}(c f, c \leftarrow e, p, t), \phi_{\text {[著者] }}(c f, c \leftarrow e, p, t), \phi_{\text {[読者] }}(c f, c \leftarrow e, p, t), \phi_{\text {[不特定: 人] }}(c f, c \leftarrow$ $e, p, t), \phi_{\text {[不特定:その他] }]}(c f, c \leftarrow e, p, t)$ で対応する素性の最大値を持つ素性べクトルとする.

このように素性を表現することで，著者・読者表現に対応する談話要素では $\phi_{\text {mentioned }}$ およ び $\phi_{\text {[著者] }} \cdot \phi_{\text {[読者] }}$ が発火することになり, 通常の談話要素と著者・読者としての両方の性質を持 つこととなる。また， $\phi_{\text {max }}$ は全ての要素に対して発火するため， $\phi_{\text {max }}$ に対応する重みでは， ゼ 口照応全体に影響する性質が学習されると考えられる.

ここで，図 7 の述語項構造候補【1-5】ついて各格の $\phi_{A}(c f, c \leftarrow e, p, t)$ の例を示す.

$
\begin{aligned}
& \phi_{A}(c f, \text { ガ } \leftarrow(a) \text { 僕, } p, t)=\left(\phi_{\text {mentioned }}(c f, \text { ガ } \leftarrow(a) \text { 僕 }, p, t), \phi_{\text {[著者] }}(c f, \text { ガ } \leftarrow(a) \text { 僕, } p, t),\right.
\end{aligned}
$

$
\begin{aligned}
& \left.\max \left(\phi_{\text {mentioned }}(c f, \text { ガ } \leftarrow(a) \text { 僕 }, p, t), \phi_{\text {[著者] }}(c f, \text { ガ } \leftarrow(a) \text { 僕 }, p, t)\right)\right)
\end{aligned}
$

まず，ガ格では「僕」は文章中に言及されているので， $\phi_{\text {mentioned }}(c f$, ガ $\leftarrow(a)$ 僕, $p, t)$ が発火し，また著者表現に対応している談話要素なので $\phi_{\text {[著者] }}(c f$, ガ $\leftarrow(a)$ 僕, $p, t)$ も発火する. $\phi_{\text {[読者] }}(c f$, ガ $\leftarrow e, p, t), \quad \phi_{\text {[不特定:人] }}(c f$, ガ $\leftarrow e, p, t), \quad \phi_{\text {[不特定:その他] }}(c f$, ガ $\leftarrow e, p, t)$ は発火せず 0 ベクトルとなる. $\phi_{\max }(c f$, ガ $\leftarrow e, p, t)$ は各要素において $\phi_{\text {mentioned }}(c f$, ガ $\leftarrow(a)$ 僕, $p, t)$ と $\phi_{\text {[著者] }}(c f$, ガ $\leftarrow(a)$ 僕 $, p, t)$ のうち大きい方の値が素性の値となる.

$
\begin{aligned}
& \left.\phi_{A}(c f, \text { 二 [読者] }], p, t\right)=\left(\mathbf{0}_{\phi_{\text {mentioned }}}, \mathbf{0}_{\phi_{\text {[著者] }},},\right. \\
& \left.\phi_{\text {[読者] }}(c f, \text { 二 [読者] }], p, t\right), \mathbf{0}_{\phi_{\text {[不特定:人] }},},
\end{aligned}
$

表 11 疑似表記, JUMAN カテゴリ

二格では文章中に言及されていない読者が対応付けられているので, $\phi_{\text {[読者] }}(c f$, 二 [読者] $, p, t)$ のみが発火し, $\phi_{\max }(c f$, 二 [読者] $, p, t)$ は $\phi_{\text {[読者] }}(c f$, 二 [読者 $\left.], p, t\right)$ と同じ値となる. ヨ格 は直接係り受けのある「ラーメン屋」と対応付けられているので, ベースラインモデルと同様 に素性として考えず， $\phi_{A}(c f, \exists \leftarrow e, p, t), \phi_{N A}(c f$, Э $\leftarrow \times, p, t)$ ともに 0 ベクトルとなる. ガ 2 格は談話要素に対応付けられていないので, ベースラインモデルと同様に $\phi_{N A}(c f$, ガ $2 \leftarrow$ $\times, p, t)$ が発火し, $\phi_{A}(c f$, ガ $2 \leftarrow e, p, t)$ は 0 ベクトルとなる.

## 7.3 使用する素性

提案モデルでは 4.1 節で述べたものに加えて, 著者表現, 読者表現推定スコアを素性として利用 する．著者表現，読者表現推定スコアは 6 節で著者・読者表現を推定した際のランキング学習の 識別関数のスコアである。著者表現推定スコアは $e$ が著者表現の場合に $\phi_{\text {mentioned }}(c f, c \leftarrow e, p, t)$ と $\phi_{\text {[著者] }}(c f, c \leftarrow e, p, t)$ に, 読者表現推定スコアは $e$ が読者表現の場合に $\phi_{\text {mentioned }}(c f, c \leftarrow e, p, t)$ と $\phi_{\text {[読者] }}(c f, c \leftarrow e, p, t)$ に素性として導入する.

## 8 実験

## 8.1 実験設定

実験では DDLC の 1,000 文書を利用し，5 分割交差検定により評価を行った. 述語項構造解析および著者・読者表現推定以外の解析結果が原因となる解析誤りを除くため，形態素情報，係 り受け情報, 固有表現情報, 共参照関係はコーパスに人手で付与された正しい情報を利用する.

## 8.2 著者・読者表現推定実験結果と考察

DDLC に対して, 著者表現および読者表現を推定した結果を表 12 に示す.ここで, 著者表現 と読者表現は独立に推定しているため, 評価も独立して行った. 著者・読者表現はそれぞれ各文書で最大 1 つと仮定されているため, 著者・読者表現推定は文書ごとの多値分類問題といえ る. そのため評価は文書単位で行い, 以下のような数式で求めた.

表 12 著者・読者表現推定結果

適合率 $=\frac{\text { システムが著者・読者表現を正しく推定できた文書数 }}{\text { システムが著者・読者表現ありと推定した文書数 }}$

再現率 $=\frac{\text { システムが著者・読者表現を正しく推定できた文書数 }}{\text { コーパスに著者・読者表現が付与されている文書数 }}$

$
F \text { 値 }=\frac{2 \times \text { 適合率 } \times \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }}
$

精度 $=\frac{\text { システムが著者・読者表現を正しく推定 } o r \text { 著者・読者表現なし推定できた文書数 }}{\text { 全文書数 }}$

この結果より, 著者・読者表現なしを含めた精度では, 著者において 0.829 , 読者において 0.936 と高い精度を達成できた。一方, 再現率はあまり高くなく, 著者表現で 0.509 , 読者表現で 0.595 であった。これはコーパス全体で著者・読者表現が出現文書より著者・読者表現のない文書の 方が多く，学習時に著者・読者表現なしを優先するように学習してしまったためと考えられる.読者において適合率が低いが，これは読者の一部のみを想定した表現を読者表現と推定してし まうことが多かったためと考えられる。

図 8 , 図 9 , 図 10 に誤り例を示す。図 8 では, コーパスでは著者表現が出現しないが誤って 「山形県山上市」を著者表現と推測してしまった．著者表現では固有表現は大きな手掛かりとな り，特に 1 文目に出現する固有表現は著者表現となる傾向が強い．また，文体的に談話構造中 に著者が出現するような表現が多用されている．そのため誤って「山形県山上市」を著者表現 と推測してしまったと考えられる。

図 9 では，コーパスでは「ジュエリー工房」が著者表現だが，著者表現なしと推定してしまっ た. この例では「ジュエリー工房」を表現する語彙統語パターンとして利用する部分は，「ジュ エリー工房だから」「実現します。」のみであり，手掛かりが少ない．また，「ジュエリー工房」 は固有表現でないことも著者表現であると推定することが困難な原因である。

フットサル東北大会のために山形県山上市に来ています。

今回の試合は 3 年生最後の大会ですので全力で戦ってきます。

試合結果など随時ブログで更新します。

図 8 著者推定誤り例 1
特許取得の手に馴染んで装着しやすいオリジナル結婚指輪が人気です。

リングのサイズ直し/ピアス/ネックレス/ペンダントなどの宝石の修理・加工も承ります。 デザインからお渡しまで一貫したジュエリー工房だから高品質で低価格が実現します。

図 9 著者推定誤り例 2

メイクブラシをご購入頂いたお客様から「お手入れはどうすればいいの?」とお問い合わせを頂きま す。

そこで今日から出来る簡単な「日常のお手入れ方法」と「クリーニング方法」をご紹介したいと思い ます。

「クリーニング」は念のため 2 つの洗浄方法をご案内しましたので順番にチェックして下さいね。

図 10 読者推定誤り例 1

図 10 では，コーパスでは読者表現は出現しないが誤って「お客様」を読者表現と推測してし まった。この例では，文中の「お客様」は読者ではなく過去に質問をした人を指している。こ のような場合でも，「様」や「頂きます」のような敬語表現を用いることが多い. これらの表現 は読者に対しても頻繁に利用されるため, これらの表現が用いられている「お客様」を著者表現と推定してしまったと考えられる.

## 8.3 ゼ口照応解析結果と考察

DDLC に対してゼロ照応解析を行った. ベースラインは 4 節で述べた外界ゼロ照応および著者・読者表現を考慮しないモデルである．提案モデルは 7 節で述べたモデルである．「提案モデ ル (推定)」は 6 節で述べた手法により自動推定した著者・読者表現を利用したものである.「提案モデル (正解)」は著者・読者表現についてはコーパスの正解を与えたものである．評価は各
用言の各格ごとに行い，ある格に複数の正解が付与されている場合は，そのうちの 1 つと一致 すれば正解とした，また，先に述べたように，著者・読者表現がある場合には [著者]・[読者]よ り著者・読者表現を照応先として優先するとしたが，提案モデル (推定)において，著者・読者表現がある文書に対して著者・読者表現なし，と推定してしまった場合，本来著者・読者表現 があるにも関わらず，[著者]・[読者]を割り当てる場合がある。ここでは, ベースラインとの比較のため, このようなものは誤りとして扱った. 表 13 はベースラインとの比較のために, 文章内ゼロ照応のみで評価した結果であり, 表 14 は外界ゼロ照応を含めた全てのゼロ照応で評価を 行った結果である。

この結果から，ゼロ照応解析において外界ゼロ照応および著者・読者表現を考慮することで,外界を含めたゼロ照応全体だけでなく, 照応先が文章内に出現する文章内ゼロ照応においても 再現率・適合率が向上することが分かる，文章内ゼロ照応での評価において，提案モデルは推定した著者・読者表現を利用した場合において, ベースラインのモデルよりも適合率, 再現率と もに向上していることが分かる。適合率が向上している原因としては，必須的な格を埋める際 に，無理に文章内から選択せず外界の談話要素を選択することができること，敬語などの表現 の際に著者表現や読者表現を照応先として選択できることが考えられる．例えば，図 11 では，

表 13 文章内ゼロ照応解析結果

表 14 全ゼロ照応解析結果

フレッツ光をはじめるために押さえておきたいポイントをで案内します。

ご利用中の回線から、フレッツ光へ乗り換える方法をご案内します。

あなたにぴったりなプロバイダー選びをお手伝いします。

図 11 提案モデルによりゼロ照応解析が改善した例 1

ガ格ではべースラインでは「あなた」を対応付けているが，提案モデルでは [著者] を対応付け ることで文章内照応に限っても再現率・適合率が向上している．また，敬語表現に対して二格 を読者表現の「あなた」を正しく対応付けることができるようになった.

再現率が向上する原因としては，ベースラインモデルでは学習の際に外界照応をゼロ代名詞 なしと学習してしまうため, 必須的な格でも必ずしも対応付ける必要がないと学習してしまう が, 提案手法では必須的な格はなるべく埋めるように学習するためである. 例えば図 12 では, ベースラインモデルでは必須的な格であるガ格に何も対応付けていない，一方，提案手法では ガ格に対して「神さま」を対応付けることができた.

正解の著者・読者表現を与えた場合には，再現率，適合率ともに大きく向上している。この ことから著者・読者表現の推定精度を向上させることで，ゼロ照応解析の再現率・適合率がよ り向上すると考えられる.

格ごとに評価を行った結果を表 15 ，表 16 ，表 17 ，表 18 ，表 19 ，表 20 ，表 21 ，表 22 に示す.表 15 ，表 16 から，ガ格において特に提案手法により再現率，適合率が共に向上したことが分か る。これは，ガ格では特に著者に関するゼロ照応が多いこと，外界ゼロ照応を考慮することで ほぼ全てのガ格がゼロ代名詞を持つことが原因と考えられる。表 19 , 表 20 から，二格において

むかしむかし、この世界をつくったインデアンの神さまが旅にでました。

そして、雪がいっぱいつもった村にきました。

村にはいると、おばあさんがないています。

図 12 提案モデルによりゼロ照応解析が改善した例 2

表 15 文章内ゼロ照応解析結果 (ガ格)

表 16 全ゼロ照応解析結果 (ガ格)

表 17 文章内ゼロ照応解析結果 (ヲ格)

表 19 文章内ゼロ照応解析結果 (二格)

表 21 文章内ゼロ照応解析結果 (ガ 2 格)

表 18 全ゼロ照応解析結果 (ヲ格)

表 20 全ゼロ照応解析結果 (二格)

表 22 全ゼロ照応解析結果 (ガ 2 格)

も提案手法により再現率, 適合率が共に向上したことが分かる。特に適合率が大きく向上して おり，これはニ格は用言の受け手（「紹介します」の二格など）となることや謙譲語の敬意を示 す対象（「お届けします」）となることが多く，読者の情報が照応先推定に大きく寄与したため と考えられる。一方，表 17 , 表 18 から，丹格では適合率が向上しているものの，再現率が低下 していることが分かる。ヲ格は著者・読者に関するゼロ照応が少なく, 外界ゼロ照応の割合も 少ないことから提案手法が有効に働かなかったものと考えられる。適合率が向上し，再現率が 低下した要因としては格フレームの選択誤りが考えられる。格フレームの用例選択においては 特にヲ格が重要な役割を持っており，ヲ格が省略された場合には正しい格フレームを選択する ことが困難となる。特に他の格が外界ゼロ照応となる場合には， ベースライン手法では他の格 の割り当てを考慮せずに，照応先候補の中にチ格として対応するものが存在する格フレームを 選択することが多い．この場合，格フレームとしてはヨ格に対応付けられることが妥当である が，文脈的には正しくないものも含まれるので，再現率は高くなるが適合率が低くなると考え られる，一方，外界ゼロ照応を考える場合には，ガ格が格フレームに適合するかを考慮する必要があるため, 述語項構造全体として適切な格フレームを選択できない場合がある。その場合 には， ヲ格には適切な照応先がないと判断されてしまうので，再現率が低下していると考えら れる，表 21 , 表 22 からガ 2 格はベースライン, 提案手法ともにほぼ推定できていないことが 分かる. これは, ガ 2 格のゼロ照応での出現が非常に少なく学習時にガ 2 格を割り当てる必要

がないと判断されることと，ガ 2 格を持つ格フレームが少ないことが原因である.

提案手法で誤った例を図 13 と図 14 に示す。図 13 では，提案手法は「捻出しなければならな い」のガ格に [不特定:人] を対応付けてしまった。これは，「提出する」の格フレームではガ格

最も事業仕分けが必要なのは「国」です。

国の事業には、省庁縦割りや前例踏襲主義などの弊害により、まだまだ無駄があります。

これらを少しでも減らして、必要な事業に資金を捻出しなければなりません。

 \\

図 13 提案モデルの誤り例 1

在福岡モンゴル国名誉領事館の公式ホームページを 開設しました。

当名誉領事館の概要、九州沖縄・モンゴル友好協会のイベント情報や活動状況などを掲載してまいり ます。

なお、段階的にページメニューを作成することとしておりますので、何かとご不便をおかけします が、よろしくお願い申し上げます。

図 14 提案モデルの誤り例 2
表 23 正解の条件を緩めて評価した結果

に「国」を対応付ける用例が少なかったため，「国」ではなく外界の [不特定:人] を対応付ける ことを選択してしまったためである。

図 14 は著者表現の推定誤りがゼロ照応解析の誤りの原因である.この文章では著者表現が 「領事館」であるため，「開設しました」のガ格には「領事館」を対応付けなければならない．し かし, 提案手法では誤って著者表現なしと推定してしまったため,「領事館」を対応付けること ができず，[著者]を対応付けてしまった。しかし，このような誤りは著者がが格であるという ことは推定できているため厳密には誤りとは言えない，そこで，このような著者・読者表現を 対応付けるべき格に対して [著者], [読者] を対応付けてしまった場合にも正解とみなして評価 を行った結果を表 23 に示す。表 23 と表 13 および表 14 を比較すると，正解の条件を緩めた場合に再現率, 適合率共に大きく向上している。このことから，提案モデル (推定)の誤りの多く が図 14 のように著者・読者表現の推定が誤りといえる。一方，正解の条件を緩和させた場合で も提案モデル (コーパス著者・読者表現)よりは低い再現率と適合率となっている。これらの差 は，解析時に正しい著者・読者表現を利用できる場合には $\phi_{\text {mentioned }}$ および $\phi_{\text {[著者] }}$ または $\phi_{\text {[読者] }}$ を素性として利用しているが, 解析後に著者・読者表現の情報から [著者], [読者]を正解とする 場合には, 解析時には $\phi_{\text {[著者], }} \phi_{\text {[読者] }}$ みを利用していることである。このことから, 提案手法 のように著者・読者表現に対して文章中に言及される談話要素と仮想的な談話要素の両方の性質を与えることが有効といえる。

## 8.4 京都大学テキストコーパスでの実験

DDLC は先頭 3 文のみで構成されており，文章全体でゼロ照応解析を行った場合の影響が調査できない。そこで，文章全体での本手法の精度を調査するために京都大学テキストコーパス を利用した実験を行った．実験では京都大学テキストコーパスのゼロ照応関係が付与された 567 文書のうち， 454 文書を訓練に，113 文書を評価に利用した．京都大学テキストコーパスには 著者・読者表現が付与されていないため, 全ての文書において著者・読者表現が存在しないと 仮定して実験を行った。その結果を表 24 と表 25 に示す。この結果から，提案モデルはベース ラインモデルに比べ大きく $\mathrm{F}$ 值が向上したとは言い難い. これは, 京都大学テキストコーパス を構成している新聞記事は，著者・読者が談話に登場することが稀であることが大きな原因で ある。提案手法では, 特に著者・読者に着目しており, そのために外界ゼロ照応を扱ったが，著者・読者が談話に出現しない場合，外界ゼロ照応を扱うことの寄与度は低いことが分かる。
表 24 京都大学テキストコーパスにおける文章内 ゼロ照応解析結果

表 25 京都大学テキストコーパスにおける全ゼロ 照応解析結果

一方，文章全体における $\mathrm{F}$ 值がベースラインとほぼ同等であり，提案手法を文章全体適用した 場合についても，悪影響などはないと言える。これらの考察から，提案手法を著者・読者が談話に出現する文章の全体に対して適用した場合，先頭 3 文における実験結果と同様に精度が向上するものと考えられる。

## 9 まとめ

本論文では，外界ゼロ照応および著者・読者表現を考慮した日本語ゼロ照応解析モデルを提案した。 ゼロ照応解析の前処理として文章中の著者・読者表現を語彙統語パターンを用いて自動的に判別し， ゼロ照応解析において他の談話要素と区別して扱った．DDLCを用いた実験の 結果, 外界ゼロ照応だけでなく, 文章内ゼロ照応においても提案手法を用いることで，高い精度が得られた。

今後の課題としては，著者・読者表現の精度向上が挙げられる，本研究では，テキストの内容のみから著者・読者表現推定を行ったが，実際の解析では Web 特有の情報（URL や HTML タグ）が利用できる。これらの情報は，URLのドメインに含まれる表現は著者表現である可能性が高い, .com ドメインでは客が読者表現になりやすい，など，著者・読者表現推定において 有用であると考えれられる。

ゼロ照応解析の精度向上では，事態間関係知識の利用などが考えられる．例えば，「Aを食べ た $\leftarrow$ A が美味しかった」といった関係が分かっていれば，「チョコを食べたが (チョコガ) 美味 しかった」の「美味しかった」のゼロ照応解析で手掛かりになると考えられる.

## 参考文献

Gerber, M. and Chai, J. (2010). "Beyond NomBank: A Study of Implicit Arguments for Nominal Predicates." In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 1583-1592, Uppsala, Sweden. Association for Computational Linguistics.

Hangyo, M., Kawahara, D., and Kurohashi, S. (2012). "Building a Diverse Document Leads Corpus Annotated with Semantic Relations." In Proceedings of the 26th Pacific Asia Conference on Language, Information, and Computation, pp. 535-544, Bali,Indonesia. Faculty
of Computer Science, Universitas Indonesia.

Hayashibe, Y., Komachi, M., and Matsumoto, Y. (2011). "Japanese Predicate Argument Structure Analysis Exploiting Argument Position and Type." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 201-209, Chiang Mai, Thailand. Asian Federation of Natural Language Processing.

Herbrich, R., Graepel, T., Bollmann-Sdorra, P., and Obermayer, K. (1998). "Learning Preference Relations for Information Retrieval." In ICML-98 Workshop: Text Categorization and Machine Learning, pp. 80-84.

Iida, R., Inui, K., and Matsumoto, Y. (2006). "Exploiting Syntactic Patterns as Clues in ZeroAnaphora Resolution." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 625-632, Sydney, Australia. Association for Computational Linguistics.

Iida, R., Inui, K., and Matsumoto, Y. (2009). "Capturing Salience with a Trainable Cache Model for Zero-anaphora Resolution." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 647-655, Suntec, Singapore. Association for Computational Linguistics.

Iida, R., Komachi, M., Inui, K., and Matsumoto, Y. (2007). "Annotating a Japanese Text Corpus with Predicate-Argument and Coreference Relations." In Proceedings of the Linguistic Annotation Workshop, pp. 132-139, Prague, Czech Republic. Association for Computational Linguistics.

Imamura, K., Saito, K., and Izumi, T. (2009). "Discriminative Approach to Predicate-Argument Structure Analysis with Zero-Anaphora Resolution." In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, pp. 85-88, Suntec, Singapore. Association for Computational Linguistics.

磯崎秀樹, 賀沢秀人, 平尾努 (2006). 辞書式順序を持つペナルティによるゼロ代名詞解消. 情報処理学会論文誌, 47 (7), pp. 2279-2294.

Joachims, T. (2002). "Optimizing Search Engines using Clickthrough Data." In Proceedings of the 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 133-142. ACM.

河原大輔, 黒橋禎夫 (2007). 自動構築した大規模格フレームに基づく構文・格解析の統合的確率モデル. 自然言語処理, $\mathbf{1 4}(4)$, pp. 67-81.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis." In Proceedings of the Human Language Technology

Conference of the NAACL, Main Conference, pp. 176-183, New York City, USA. Association for Computational Linguistics.

Kawahara, D., Kurohashi, S., and Hasida, K. (2002). "Construction of a Japanese Relevancetagged Corpus." In Proceedings of The 3rd International Conference on Language Resources Evaluation.

Kong, F. and Zhou, G. (2010). "A Tree Kernel-Based Unified Framework for Chinese Zero Anaphora Resolution." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 882-891, Cambridge, MA. Association for Computational Linguistics.

村田真樹，長尾真 (1997). 用例や表層表現を用いた日本語文章中の指示詞・代名詞・ゼロ代名詞の指示対象の推定. 自然言語処理, 4 (1), pp. 87-109.

Poesio, M., Uryupina, O., and Versley, Y. (2010). "Creating a Coreference Resolution System for Italian." In Proceedings of the 7th Conference on International Language Resources and Evaluation (LREC'10), Valletta, Malta. European Language Resources Association (ELRA).

Rello, L., Baeza-Yates, R., and Mitkov, R. (2012). "Elliphant: Improved Automatic Detection of Zero Subjects and Impersonal Constructions in Spanish." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 706-715. Association for Computational Linguistics.

Ruppenhofer, J., Sporleder, C., Morante, R., Baker, C., and Palmer, M. (2010). "SemEval-2010

Task 10: Linking Events and Their Participants in Discourse." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 45-50, Uppsala, Sweden. Association for Computational Linguistics.

Sasano, R., Kawahara, D., and Kurohashi, S. (2008). "A Fully-Lexicalized Probabilistic Model for Japanese Zero Anaphora Resolution." In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 769-776, Manchester, UK. Coling 2008 Organizing Committee.

Sasano, R. and Kurohashi, S. (2011). "A Discriminative Approach to Japanese Zero Anaphora Resolution with Large-scale Lexicalized Case Frames." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 758-766, Chiang Mai, Thailand. Asian Federation of Natural Language Processing.

平博順, 永田昌明 (2013). 述語項構造解析を伴った日本語省略解析の検討. 言語処理学会第 19 回年次大会発表論文集, pp. 106-109.

山本和英，隅田英一郎 (1999). 決定木学習による日本語対話文の格要素省略補完. 自然言語処理, 6 (1), pp. 3-28.

## 略歴

萩行 正嗣：2008 年京都大学工学部電気電子工学科卒業. 2010 年同大学大学院情報学研究科修士課程修了. 2014 年同大学院博士後期課程修了. 博士（情報学). 現在, 株式会社ウェザーニューズ所属.

河原 大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構研究員, 同主任研究員を経て，2010 年より京都大学大学院情報学研究科准教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学). 言語処理学会, 情報処理学会, 人工知能学会, 電子情報通信学会, ACL, 各会員.

黒橋 禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学)。2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞等を受賞.

$(2013$ 年 12 月 3 日 $\quad$ 受付 $)$
$(2014$ 年 2 月 7 日 $\quad$ 再受付 $)$
$(2014$ 年 3 月 14 日 $\quad$ 再々受付 $)$
$(2014$ 年 4 月 8 日 $\quad$ 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/