# Web情報からの罹患検出を対象とした 事実性解析・主体解析の誤り分析

叶内 晨 $\dagger$ ・北川 善彬 $\dagger$ ・荒牧 英治 ${ }^{\dagger}$ ・岡崎 直観 ${ }^{+\dagger}$ ・小町 守 $\dagger$

ソーシャルメディアサービスの普及により, 人々や社会の状況を調査する新しいア プローチが開拓された. ひとつの応用事例として, ソーシャルメディアの投稿から 疾患・症状の流行を検出する公衆衛生サーベイランスがある。本研究では, 自然言語処理技術を応用して, ソーシャルメディアの投稿から風邪やインフルエンザなど の罹患を検出するタスクに取り組んだ。最先端のシステムのエラー分析を通じて，事実性解析と主体解析という重要かつ一般性のあるサブタスクを見い出した. 本研究では，これらのサブタスクへの取り組みを行い，罹患検出タスクへの貢献を実証 した.

キーワード：ソーシャルメディア, 事実性解析, 主体解析, エラー分析, Twitter
## Infection Detection from the Web with Subject Identification and Factuality Analysis

\author{
Shin Kanouchi $^{\dagger}$, Yoshiaki KitagaWa $^{\dagger}$, Eisi Aramaki ${ }^{\dagger \dagger}$, Naoaki Okazaki ${ }^{\dagger \dagger \dagger}$ \\ and Mamoru Komachi ${ }^{\dagger}$
}

The development and spread of social media services have made it possible for new approaches to be used to survey the public and society. One popular application is health surveillance, that is, predicting disease epidemics and symptoms from texts on social media services. In this paper, we address an application of natural language processing for detecting an episode of a disease/symptom (e.g., flu and cold) in social media texts. Following an error analysis of the state-of-the-art system, we identified two important and generic subtasks for improving the accuracy of the system: factuality analysis and subject identification. We address these subtasks and demonstrate their impact on detecting an episode of a disease/symptom.

Key Words: Social Media, Factuality Analysis, Subject Identification, Error Analysis, Twitter, Epidemiology

## 1 はじめに

2000 年以降の自然言語処理 (NLP) の発展の一翼を担ったのは World Wide Web（以降, Web とする）である。Webを大規模テキストコーパスと見なし，そこから知識や統計量を抽出する ことで, 形態素解析 (鉎治, 福島, 喜連川 2009; Sato 2015), 構文解析 (河原, 黒橋 2005), 固有表現抽出 (Kazama and Torisawa 2007), 述語項構造解析 (小町, 飯田, 乾, 松本 2010; Sasano, Kawahara, and Kurohashi 2010), 機械翻訳 (Munteanu and Marcu 2005) など, 様々なタスクで 精度の向上が報告されている。これらは, Webが NLPを高度化した事例と言える. 同時に, 誰 もが発信できるメディアという特性を活かし, Web ならではの新しい研究分野も形成された.評判情報抽出 (Pang, Lee, and Vaithyanathan 2002) がその代表例である. さらに，近年では， Twitter や Facebook などのソーシャルメディアが懪発的に普及したことで, 自然言語処理技術 をWebデータに応用し，人間や社会をWebを通して「知ろう」とする試みにも関心が集まっ ている.

ソーシャルメディアのデータには, (1) 大規模, (2) 即時性, (3) 個人の経験や主観に基づく情報など, これまでの言語データには見られなかった特徴がある。例えば,「熱が出たので病院で 検査をしてもらったらインフルエンザ A 型だった」という投稿から，この投稿時点（即時性） で発言者は「インフルエンザに罹った」という個人の経験を抽出し, 大規模な投稿の中からこ のような情報を集約できれば，インフルエンザの流行状況を調べることができる。このように， NLP で Web 上の情報をセンシングするという研究は, 地震検知 (Sakaki, Okazaki, and Matsuo 2010), 疾病サーベイランス (Culotta 2010b) を初めとして, 選挙結果予測, 株価予測など応用領域が広がっている.

大規模なウェブデータに対して自然言語処理技術を適用し，社会の動向を迅速かつ大規模に把握しようという取り組みは, 対象とするデータの性質に強く依拠する。 そのため, より一般的な 他の自然言語処理課題に転用できる知見や要素技術を抽出することが難しい. そこで, Project Next NLP ${ }^{1}$ では NLPの Web 応用タスク (WebNLP) を立ち上げ, 次のゴールの達成に向けて研究・議論を行った.

（1）ソーシャルメディア上のテキストの蓄積を自然言語処理の方法論で分析し, 人々の行動,意見, 感情, 状況を把握しょうとするとき, 現状の自然言語処理技術が抱えている問題 を認識すること

（2）応用事例（例えば疾患状況把握）の誤り事例の分析から, 自然言語処理で解くべき一般的な（複数の応用事例にまたがって適用できる）課題を整理すること。ある応用事例の 解析精度を向上させるには，その応用における個別の事例・言語現象に対応することが
^{1} \mathrm{https}$ //sites.google.com/site/projectnextnlp/
}
近道かもしれない. しかし, 本研究では複数の応用事例に適用できる課題を見出し, そ の課題を新しいタスクとして切り出すことで，ソーシャルメディア応用の解析技術のモ ジュール化を目指す。

(3) (2) で見出した個別の課題に対して, 最先端の自然言語処理技術を適用し, 新しいタスク に取り組むことで, 自然言語処理のソーシャルメディア応用に関する基盤技術を発展さ せること

本論文では，NLP によるソーシャルリスニングを実用化した事例の 1 つである，ツイートか らインフルエンザや風邪などの疾患・症状を認識するタスク（第 2 章）を題材に，現状の自然言語処理技術の問題点を検討する，第 3 章では，既存手法の誤りを分析・体系化し，この結果 から事実性の解析，状態を保有する主体の判定が重要かつ一般的な課題として切り出せること を説明する，第 4 章では，事実性解析の本タスクへの貢献を実験的に調査し，その分析から事実性解析の課題を議論する，第 5 章では，疾患・症状を保有する主体を同定するサブタスクに 対する取り組みを紹介する。さらに第 6 章では，事実性解析と主体解析を組み合わせた結果を 示す. その後, 第 7 章で関連研究を紹介し, 最後に, 第 8 章で本論文の結論を述べる.

## 2 コーパス

本研究では，風邪およびその症状に関する Twitter 上での発言を集めたコーパス（以下，風邪症状コーパス）と，インフルエンザに関する Twitter 上での発言を集めたコーパス（以下，イン フルエンザ・コーパス）の 2 つを用いる。風邪症状コーパスは誤り分析及び主体解析の検証に， インフルエンザ・コーパスは事実性判定の検証に用いる。これらは 2008 年 11 月から 2010 年 7 月にかけて Twitter API を用いて 30 億発言 を収集し，そこから「インフルエンザ」や「風邪」といったキーワードを含む発言を抽出したものである（表 1）.

先行研究においても, 風邪やインフルエンザなど感染症に関する研究は多く (Lamb, Paul, and

表 1 検索のためのキーワード

Dredze 2013), 他にも西ナイル熱 (Sugumaran and Voss 2012)などが扱われている.これらの 多くは，経験則により「風邪」や「インフルエンザ」などのキーワードとなる単語を選択し，そ の頻度を集計し，感染状況の把握を行っている (Culotta 2010a; Aramaki, Maskawa, and Morita 2011). 本研究では, 先行研究の 1 つである (Aramaki et al. 2011) で使われたインフルエンザ コーパス, 及び, (荒牧, 森田, 篠原 (山田), 岡 2011) や商用サイト「カゼミル・プラス」で 用いられた風邪症状コーパスを用いる.

## 2.1 風邪症状コーパス

風邪症状コーパスは，「風邪・咳・頭痛・寒気・鼻水・熱・喉の痛み」の 7 種類の症状に関し て, ツイートの発言者が疾患・症状にあるかどうか（正例か負例か）をラベル付けしたもので ある．このコーパスでは，投稿者が以下の除外基準に照らし，1つでも該当するものがあれば 負例とみなした。
- 発言者（または, 発言者と同一都道府県近郊の人間）の疾患でない. 居住地が正確に分 からない場合は負例発言とみなす。例えば，「風邪が実家で流行っている」では，「実家」 の所在が不明であるので，負例とみなす。
- 現在または近い過去の疾患のみ扱い, それ以外の発言は除外する。ここでいう「近い過去」とは 24 時間以内とする. 例えば，「昨年はひどいインフルエンザで参加できなかっ た」は，負例とみなす。
- 「風邪でなかった」等の否定の表現は負例とする。また, 疑問文や「かもしれない」と いった不確定な発言も負例とする。

コーパスサイズは, 疾患の種類ごとに異なる。 それぞれの疾患・症状ごとのコーパスサイズ と疾患のラベル数を表 2 に示す.

表 2 コーパスサイズ

表 3 コーパスのアノテーションの具体例

 \\

## 2.2 インフルエンザ・コーパス

インフルエンザ・コーパスは，「インフルエンザ」を含む 10,443 件の発言に対して，正例か負例かをラベル付けしたものである。アノテーションの基準については, 風邪症状コーパスに準拠している。なお, 正例数が 1,319 件, 負例数が 9,124 件となっている. 実際のコーパスからア ノテーションの具体例を示す（表 3 ).

## 3 誤り分析

本章では，疾患・症状を検出するタスク（以降，罹患検出）について取り組み，風邪症状コー パスを用いて既存のシステムの誤り分析を行った. 既存システムとして, 単語 n-gram 素性を用 いた手法 (Aramaki et al. 2011) と同等の分類器を Support Vector Machine (SVM) にて構築し, その誤りを人手で分類した.

誤りには, 本来, 疾患・症状の事実があると判定すべきであるのに, それができなかった場合である False Negative（以降, FN）の事例と, その逆に, 疾患の事実がないのに誤って疾患と みなしてしまう場合である False Positive（以降，FP）の事例がある．罹患検出は大規模な母集団に対して行われるので，再現率はさほど重要ではなく，適合率が重要になる。そこでFPに 注目し，解析を進めた．FP と判定された事例に対して，なぜそれが Negative な事例なのかと いう観点から，人手で誤りを分類した。誤り原因の分類と発言例を表 4 に示す. 誤りの分類は 以下の通りである。
- 非当事者：疾患・症状を所有する対象が, 発言者およびその周辺の人物ではない. 特定 の二人称，三人称の人物が疾患・症状を保有する場合や，「みんな風邪ひかないように」 といった発言のように一般的な人に向けたものも含める.
- 比喻：比喻的に疾患表現が利用されている場合が当てはまる.「凄すぎて鼻水ふいた」と いう発言は, 実際に疾患として鼻水が出ているとは考えにくく,「鼻水をふいた」という
表 4 誤り分析（FPの原因ごとの例文）

 \\

表現を利用することで大変驚いた様子を比喻的に表しているものだと推測される.

-一般論：そもそも疾患・症状の保有に関する話題ではなく, 疾患そのものについて議論 していたり，「風邪予防マスク」のように疾患が名詞句の一部として出現した場合である.

・モダリティ：「かもしれない」(疑い),「かな？」(疑問) などのモダリティ表現により，疾患の事実が認められない場合を指す。ここでは以下に示す否定，時制を除いた狭義の モダリティ表現を意味し，英語表現で置き換えれば，“must”, “might”, “have to”など の助動詞が当てはまる。
- 時制：疾患のあった時間が異なる。
- 否定：「風邪でなくてよかった」など，疾患の事実が否定されている.
- その他：その他の理由によるもので, 人でも理解不能な発言や, 発言が短すぎて解析に 失敗したものが含まれる。

表 5 に, 風邪症状コーパスの 6 つの疾患・症状について, それぞれ 100 件の誤り (False Positive)事例について分析を行った結果を示す (600 事例)，表 5 より，疾患・症状の種類ごとに誤り方 に大きな違いがあることがわかった。風邪，咳，熱は「非当事者」が原因となる解析誤りが多 く，疾患・症状を保有する主体を識別する部分に課題がある。一方で寒気，鼻水は「非当事者」 による解析誤りが少ない，これは，例えば，鼻水は他人の鼻水について言及することが少ない ことが原因としてあげられる。また, 頭痛, 寒気, 鼻水は比喻的な解析誤りが多く, 改善すべ き点が大きく異なる。事実性の問題（時制，モダリティ，否定）に注目すると，どの疾患・症状においても一定数見られ，一般的な問題と捉えることができる.

これらのエラー分析の結果から, 言語処理の研究課題という観点から整理すると, 疾患があっ たのかという事実性（時制，モダリティ，否定）と，仮に疾患の事実があったとして，疾患を
表 5 誤り分析（False Positive についての誤りの分類）

所有しているのは誰なのかという主体性（非当事者や一般論の問題）と, 比喻の 3 つの大きな 言語現象に大別できる。これらの現象について，少し詳しく説明する。

事実性は，一般的かつ重要な課題でありながら，解析の難しさから高い精度に到達できてい ない (Narita, Mizuno, and Inui 2013; Matsuyoshi, Eguchi, Sao, Murakami, Inui, and Matsumoto 2010). 疾患があったのかという事実性の問題を解消することができれば， 7 つ誤りの分類 のうち, モダリティ $(10.8 \%)$, 時制 (10.1\%), 否定 $(5.9 \%)$ を改善することができ, 最大で合計 $26.8 \%$ のエラーを解消する可能性がある。事実性の問題は Web 文書に特化した話ではなく，言語処理全般における課題である.

仮に疾患・症状の事実があったとして, 疾患・症状を保有しているのは誰なのかという主体 を認識するタスクも重要である。疾患・症状を認識するタスクでは, 地域ごとに疾患・症状の 流行状況を把握したいために，一次情報（本人が観測・体験した情報）であるかどうかの識別 が重要となる。エラー分析を行った結果，発言者とは関係のない有名人や発言者との物理的な 位置関係が明確でない返信先の人物が疾患・症状に罹っている発言が多数見受けられた。一方 で，疾患・症状を意味する表現が名詞句の一部として現れることで，特定の主体を言及するも のではない場合もある。例えば，「風邪予防マスク」のように風邪が名詞句の一部として使われ ているだけの発言が存在する。この場合,「風邪」という単語はただの名詞句の一部として「予防」を修飾しており, 疾患のイベントを保有していないため, その主体も存在しない.

この問題を合わせると, 疾患・症状を保有した対象は存在するのか, 存在する場合は誰なの か，という主体を認識するタスクを考えることができる．7つの誤りの分類のうち, 非当事者 $(23.5 \%)$, 一般論 $(14.8 \%)$ がこのタスクで解決できる課題であり，合わせれば最大で $38.3 \%$ のエ ラーを解消することが可能である。主体解析の問題は, 疾患に限ったことではなく, 評判抽出 （だれの評判なのか？），感性情報処理（だれが喜び／悲しんでいるのか？）など，Web 文章,特にブログなど個人が発言する情報を扱う上で基盤となる技術であり，言語処理が Webを通し

て世の中を把握するため, 解くべき大きな課題である.

Web 上のテキストを扱う上で，比喻 $(20.4 \%)$ の問題も見過ごせない. 例えば「凄すぎて鼻水 でた」という発言があった場合，事実性解析的にはイベントが成立していて，かつ，主体も発言者（一人称）と推定されるが，常識的に考えて症状は発生していない．私たちはこの発言に おいて, 直感的に, 何かのイベントが起きて驚いたことに対する口語的表現として, 「鼻水出 た」という表現が利用されたと判断することができる。この比喻的な表現の問題を解決するに は，比喻に関する人間の常識的な推論が必要である。例えば，「頭が痛い」「寒気がする」「発熱 がある」など，疾患・症状が比喻的に使用される例は多くある.

実用面を考えると, 比喻の問題は重要であるが, 特定の疾患・症状に依存した処理になりが ちである。そこで，本論文では一般性が高いサブタスクとして，先に挙げた 2 つの課題（事実性解析, 主体解析）に取り組み, 罹患検出器の改善に取り組む，以降， 4 章にて事実性解析，5 章にて主体解析において罹患検出器を改善した結果を報告し， 6 章にて事実性解析と主体解析 を組み合わせた結果を示す.

## 4 事実性解析

## 4.1 事実性解析とは

事実性解析については，2 章で説明されたインフルエンザ・コーパスを対象とし実験を行っ た. ここで，インフルエンザ・コーパスを使用して事実性解析を行ったのは，インフルエンザ・ コーパスにおいては，予防方法やニュース等といった「インフルエンザに感染している」とい う事実をもたない発言が多いという傾向が強く見られたことから, 事実性解析の必要性が高い と判断したためである，実際に，他のコーパスに比べて，負例の割合が極端に高い傾向がある.

インフルエンザの流行の検出のためには, 実際にインフルエンザに感染している人がどの程度いるのかを判断する必要がある。しかし, 機械的に「インフルエンザ」を含む発言を集める だけでは感染している人がどの程度存在するかはわからない.このために, 集めた発言を感染者に関する発言かそうでないかの分類を行うことにより流行の検出を行う.

このような分類のためには, 文に記述されている事象が, 実際に起こったことなのか, そうで ないことなのかの事実性を判定する技術が必要となる。これは, 事実性解析 (Factuality analysis) と呼ばれる (Saurí and Pustejovsky 2012).

事実性解析が必要な例は以下のような例である.

(1) 熱があったので、病院に行ったらインフルエンザだった。

(2)インフルエンザに罹ったかもしれない。

(3) インフルエンザに罹っていたら、休まざるを得ないだろう。
例を見ると，インフルエンザであることを「だった」として断定したり，「かもしれない」と推量をしたり，「たら」と仮定をしたりしていることがわかる。これにより，(1) は，「インフルエ ンザに感染する」という事実を持っており，反対に (2), (3) はこの事実を持たないと判断でき る.このような表現はモダリティと呼ばれ，人間が情報の真偽を考える上で重要な手がかりに なる。

## 4.2 事実性解析の活用

本研究における事実性解析の目標は,「インフルエンザに感染している」という事実を持つ発言を検出することである，我々は，これを「対象とする事実」をもつかもたないかの 2 值分類 タスクとして考え，分類器を構築し分類を行った。本章では，モダリティを利用した 2 つの手法について説明する.

## 4.2.1 つつじによる素性

事実性解析を罹患検出に活用する 1つの方法として，つつじ2 の利用を試みた. 日本語の文 を構成する要素には, 主に内容的な意味を表す要素（内容語）以外に，助詞や助動詞といった，主に文の構成に関わる要素がある。ここでは, 後者を総称して,「機能語」と呼び, 「に対して」 や「なければならない」のように，複数の語から構成され，かつ，全体として機能語のように 働く表現である「複合辞」と合わせて, これらを機能表現と呼ぶ (松吉, 佐藤, 宇津呂 2007). つつじは 16,801 の機能表現の表層形を階層的に分類しており, 同じような意味を持つ機能表現 には同じ意味 IDが振られている。

本研究は Twitter のデータを使用しているため，発言の中には文が複数ある場合も多い.こ れにより，注目しているインフルエンザ感染に関連する機能表現と関係のない機能表現も多く 存在すると考えられる。そこで,「インフルエンザ」の右の 15 文字中につつじの機能表現の表層形が含まれる場合にその意味 ID を素性として利用することにした。つつじによる意味 ID 素性の具体例を表 6 に示す.

表 6 つつじによる意味 ID 素性の例

 \\

## 4.2.2Zundaによる素性

次に，2つ目のモダリティの利用法として, Zunda ${ }^{3}$ の解析結果を利用する手法を提案する.

Zunda は文中のイベント（動詞や形容詞, 事態性名詞など）に対して, その真偽判断（イベント が起こったかどうか), 仮想性（仮定の話かどうか）などを解析することのできる日本語拡張モ ダリティ解析器である。本手法においては，Zundaの出力する真偽判断の夕グを利用した．真偽判断についてのラベルとしては, 「成立」, 「不成立」,「不成立から成立」,「成立から不成立」,「高確率」, 「低確率」,「低確率から高確率」,「高確率から低確率」,「0」のラベルが存在する。真偽判断ラベルについての具体的を表 7 に示す. また, これらのラベルのうち頻出の「成立」,「不成立」「0」のラベルの解析精度を表 8 に示す.

これらのラベルが各イベントに対してついているが，つつじを使用した場合と同様にインフ ルエンザに関連するイベントがどこに存在するかを考えなければならない. 我々は Zunda が動詞，事態性名詞を「イベント」として解析していることから，「インフルエンザ」の右に続く動詞, 事態性名詞で一番近いものをインフルエンザに関連するイベントとみなし, そのイベント とイベントに付けられたラベルの組み合わせを素性として利用した。具体例を表 9 に示す.

表 7 Zunda の真偽判断ラベル

表 8 Zunda の真偽判断夕グにおける解析精度

表 9 Zundaによる素性の例

^{3}$ Zunda 拡張モダリティ解析器 https://code.google.com/p/zunda/
}

## 4.3 インフルエンザ感染か否かの 2 值分類の実験・評価

## 4.3.1 実験設定

本研究は，発言をした人物，あるいはその周りの人物がインフルエンザにかかっているか否 かを判定する 2 值分類を L 2 正則化ロジスティック回帰により行った。評価は 5 分割交差検定に よる適合率，再現率，F1-スコアを用いた。ツールとしては， Classias (ver. 1.1) ${ }^{4}$ を使用した. ウィンドウを決めるための形態素解析器としては MeCab (ver. 0.996$)^{5}$ を利用し, MeCab の辞書はIPA-Dic (ver. 2.7.0) を用いた.

本研究のような風邪等の疾患情報を検出するために発言の分類を行うタスクは先行研究 (Aramaki et al. 2011)があり, 分類のためには, 注目している疾患・症状を表す単語の周辺 の単語が良い素性となることが知られている。ここでは，形態素解析により，分かち書きを行 い，形態素を 1 つの単位としたウィンドウを作成した.「インフルエンザ」を含むウィンドウを 中心として, 左側の 3 つの形態素と右側の 3 つの形態素を Bag of Words (BoW) の素性とし, こ れにモダリティに関しての素性以外を加えたものをべースラインの分類器として作成した.

ベースラインに使用した素性を表 10 に示す。つつじによる素性と Zunda による素性に関し ては前節の説明によるものとする.

## 4.3.2 実験結果

インフルエンザ感染に関しての 2 值分類を行った結果を表 11 に示す. まず，BoWの素性に それぞれの素性を加えた結果について言及したい，全体を見ると，適合率は少し減少する傾向 にあるが，再現率は増加する傾向にある，F1-スコアに関しては URL, RP の素性以外について は全て増加している。つつじの意味 IDによる素性 Tsutsuji を加えたときは適合率, 再現率のど ちらも増加している．適合率を上げることが難しいのは使用しているコーパスにおける負例の 割合が非常に大きいためである。このため，再現率をあげることにより負例の多いデータから いかに正例をあつめられるかは重要である。本論文では, 適合率を上げることを主要な目的と

表 10 ベースラインに使用した素性

^{4}$ Classias http://www.chokkan.org/software/classias/index.html.ja

$5 \mathrm{MeCab}$ 日本語形態素解析器 http://taku910.github.io/mecab/
}
表 11 インフルエンザ感染に関しての 2 值分類の結果

しているが, インフルエンザ・コーパスのように正例の割合が小さく, 再現率が低くなる場合, インフルエンザの感染者の増減を捉えることは難しくなる，以上のことから，本節では，適合率と再現率の両方を考慮した F1 スコアの向上により性能を評価する.

次に，つつじによる素性とZunda によるモダリティ素性以外を全て合わせたべースライン (baseline) に対してつつじの意味 ID を加えたところ, F1-スコアが 2.2 ポイントほど向上した. BoWに加えたときと同様に，適合率，再現率が共に上がっている，また，Zunda による素性を ベースラインに加えたところ, F1-スコアは 1.1 ポイントほど向上した.

最後に, ベースラインにつつじに関しての素性と, Zundaに関しての素性を両方を加えた All を使用したとき，最高精度となった．この結果は，提案手法の素性を抜いた baselineより， 3.5 ポイントのF1-スコアの向上が見られるので，提案手法の素性が有用であることを支持する.

## 4.3.3コーパスサイズの影響

データのサイズに対する精度変化を見るために学習曲線を図 1 に示す. これを見ると，デー タサイズの増加により, 適合率は 5,000 件あたりで一定値に収束しているが, 再現率, F1-スコ アは増加し続けている。このことから膨大なデータを利用することでも精度向上が見达める事 がわかる。一方で，コーパスの作成には人手によるアノテーションが必要でありコストがかか るため, 少ないデータでも頑健に分類ができる分類器は有用である.

## 4.4 考察

本論文では，モダリティに関しての素性の貢献を見ることができたが，実際にどのような事例に対して貢献が見られたか，また，うまくいかなくなった事例はどのようなものかについて 調査する。表 12 に実際の発言例を示す.

Number of tweets

図 1 コーパスサイズに対する精度変化

表 12 分類に成功した例と失敗した例

## 4.4.1 つつじによる素性

つつじにおける素性について，分類器の判断に大きく影響を与える素性を調べた。その結果を 表 13 に示す. ここで, 重みはベースラインにつつじによる素性を加えたもの (baseline+Tsutsuji) を利用した。

表 12 の発言例 1 においては，表 13 における，「らしい」のような推量のモダリティ表現をつ つじの意味 ID 素性が捉えることにより，正しい出力を得るようになった.

逆に，発言例 2 においては，ひらがな 1 文字の「と」や「え」が誤ってマッチしてしまって いる. 本来, このようなひらがな 1 文字のものがなければ, 正例として正しい分類をしていた のにも関わらず，誤ってマッチしたことにより，分類に失敗している。ひらがな一文字の場合,機能表現として使われていないのにも関わらずマッチしたり, 本来の意味と違った意味 ID が割 り振られてしまったりすることがある。例えば「I23」の意味 ID をつひらがな「え」は表 13 に示している「うる」，「だ万う」に該当するものであり，正しい意味を捉えることができてい ない. ひらがな一文字の場合は前後の文脈の情報を考慮し, 機能表現として使われているかを
判別すること, どの意味の機能表現として使われているかの曖昧性を解消することが必要であ る.

## 4.4.2 Zunda による素性

次に，Zundaによる素性について，分類器の判断に大きく影響を与える素性を調べた。つつ じの場合と同様に，重みの大きな素性を大きい順に並べた結果を表 14 に示す。ここで，重みは ベースラインにZundaによる素性を加えたもの (baseline+Zunda)を利用した.

表 14 を見るとつつじの素性に比べて直感的に理解できるものが多い. インフルエンザの発言 は，注意を呼びかける発言，予防接種の内容の発言，ニュースに関する発言等が多く，負の重 みによくそれが現れている。正の重みに関しては直接疾患に関係のある名詞や動詞が多くなっ ている.

発言例 3 においては，「かかり＝成立」の素性により，判別できるようになった，Zundaにお

表 13 重みの絶対値の大きい素性とその表層形例（つつじによるもの）

表 14 重みの絶対値の 大きい素性とその表層形例（Zundaによるもの）

いてはこのように素性がうまく働き，分類の成否を分ける例が多く見られた.

発言例 4 においては，実際に感染しているのは発言をしている本人でもなく周りの人でもな いため，ここでは，負例を正解とするのが正しいが，「感染＝成立」という素性のために正例に なってしまっている。このように，確かにインフルエンザに感染しているという事実を持って いるにも関わらず，インフルエンザに罹っている人物が，ソーシャル・メディア上で言及され やすい人物である場合, 今回のインフルエンザ・コーパスの正負の定義から, 分類に失敗する. このことから，インフルエンザに罹っている人物が誰なのかを知る必要がある。これは, 主体解析の問題として次のセクションで言及する.

## 5 主体解析

## 5.1 主体解析が必要な事例

はじめに述べたように，Webデータをフルに利用するためには，事実性解析とならんで，誰 が疾患・症状にあるのかという主体の推定（主体解析）が重要である.

例えば，「娘が風邪を引いた」という発言において「風邪」という疾患を保有するのは「娘」 であることが解析できれば，発言者の近くで「風邪」が出現したことが分かる，一方，「風邪と 風を誤変換していた」という発言では「風邪」という疾患を保有している主体が存在せず，風邪の流行とは無関係である。主体が明らかになることにより，疾患・症状を保有する主体が周辺に存在しない発言を判別することができる。つまり Webの情報を利用して個人の状態を把握 するためには，調べたい状態に言及する表現を認識することに加え，その状態に置かれている 人物の特定が重要となる.

従来の自然言語処理においてこのタスクに最も近いのは, 述語項構造解析である。もし, 調 べたい疾患・症状が事態性名詞である場合（例えば「発熱」）は，そのガ格を調べればよい。し かしながら, 疾患・症状が事態性名詞になるかどうかは, 述語項構造解析のアノテーション基準に依る所が大きく，通常「風邪」「鼻水」などは事態性名詞として扱われない．

代わりに，用言の項構造に着目するアプローチも考えられる。先ほどの「娘が風邪を引いた」 という例では，「風邪」は「引いた」のヲ格で,「娘」は「引いた」のガ格なので,「風邪」の保有者は「娘」と推定できる。しかし, このアプローチにも複数の問題がある. 第 1 に, 風邪を保有していることを表す述語を識別する問題である。例えば「医者が風邪を診察した」という文 では，「風邪」は「診察した」のヲ格で，「医者」は「診察した」のガ格であるが，「風邪」の保有者は「医者」ではない，第 2 に，口語表現特有の解析誤りがある．例えば「風邪引いた」の ようにヨ格が省略されると, 述語項構造解析は失敗してしまう。さらに, 「風邪ツラい」などカ タカナの表現は, 形態素解析にすら失敗する可能性がある。このように, 既存の述語項構造解析の研究と, 疾患・症状を保有する主体を推定するタスクの間には，かなりの乘離がある。そ

のため，既存の述語項構造解析では主体を正しく特定することは期待できない.

この点を鑑み，本章では，疾患・症状を保有する主体を推定するという新しい夕スクに取り

組む。まず，ツイートの本文に対して，疾患・症状を保有する主体をラベル付けしたコーパス を構築するための方針を設計し，アノテーション作業を行った．次に，このデー夕を訓練事例 として用い, 疾患・症状を保有する主体を推定する解析器を設計した。評価実験では, 主体を 推定する解析器の精度を計測すると共に, 主体を推定することによる後続のタスクである罹患検出における貢献を実証した．また，疾患・症状の主体を推定するタスクは，個別の疾患・症状への依存することなく, 一般的な解析器を構築できることが分かった.

## 5.2 コーパスヘのラベル付与

風邪症状コーパスにおいて, 誰が疾患・症状にあるのかの情報を付与した。この作業は, 疾患・症状毎に 500 件ずつ, 合計で 3,000 件行った。図 2 はラベル付けの例を示しており, 疾患 ラベル，ツイート，疾患クエリが 2 章で説明した風邪症状コーパスである。それに対して．疾患・症状を保有する主体が発言内に存在する場合に主体としてラベル付けし，二つ目の例のよ うに省略されている場合には「(省略)」とした。また主体の種類を 5 つに分けた主体ラベルを 用意し, 疾患・症状を保有する主体がどの主体ラベルに当てはまるかをラベル付けした.

ラベルの種類と発言例を表 15 に示す.ソーシャルメディアの分析では, 一次情報（本人が観測・体験した情報）であるかどうかの識別が重要なので，「一人称」「周辺人物」「その他人物」「物体」「主体なし」の5つのラベルを用意した。

-「一人称」のラベルの, 発言した話者が疾患・症状に関与するという意味は, 必ずしも症状にある場合だけではなく, 主体が疾患・症状と関係する場合を全て含む，例えば，表 15 の一人称の発言例のように症状に対して願望を抱いている場合は，今は症状を保有し ていないため，カゼミル＋の応用から考えると抽出したくない情報である．しかし，本章では疾患・症状と関与する主体の推定を目的としているため, 疾患・症状を保有して

図 2 ラベル付けの例
表 15 疾患症状に関する主体ラベルの種類と発言例

 &  \\

いない場合においても主体の同定を行う，願望以外にも，「風邪はひいていない」などの 否定の発言も同様に扱い, 疾患のラベルは「負例」となる一方で主体ラベルは「一人称」 となる。疾患に罹っているかどうかの判断は, 主体を推定した後に事実性の解析で行う べきである. 主体が「周辺人物」「その他人物」の場合にも同様な条件で判断し, 主体ラ ベルを付与した。
- 「周辺人物」のラベルは話者が直接見聞きできる範囲の人物が症状にあるかを一つの分類基準とした. Aramaki らの風邪症状コーパス (Aramaki et al. 2011)は, 話者か話者と 同じ都道府県の人物が症状にある場合に正例となるが, 人手で主体のラベル付けする際 に，同じ都道府県かどうかを判断することは極めて難しいためである。
- 「その他人物」のラベルは, 疾患・症状を保有する主体となる人物が存在するが, 「一人称」「周辺人物」「物体」には該当しない全てのケースを含む．返信先に疾患・症状の主体が存在する場合が一例で, 表 15 の発言例では話者と物理的に見聞きできる距離にいる ことを確認できない，2つ目の例は，症状を保有する人物を観測することができるが，メ ディアの報道によって拡散された情報で，話者が直接見聞きした情報ではない.
- 「物体」のラベルは物体，もしくは人間以外の生物が主体となる場合に付与され，パソ コンなどの物体が発熱した場合が例として挙げられる。

-「主体なし」のラベルは, 発言例にある「風邪薬」のように, 風邪の単語自体に疾患のイ ベントが存在しておらず, 風邪が名詞句の一部として出現する場合を含む。他にも「寒気」が「さむけ」ではなくて「かんき」として使われる場合のように語義が異なる場合 や, 疾患・症状が慣用句的に使われている場合, 記事・作品のタイトルとして出現する 場合にも「主体なし」とした.

表 16 を見ると, 主体が「一人称」の場合にはほぼ省略されるが, 主体が「周辺人物」「その 他人物」「物体」の場合には約 9 割が発言内で言及される。正解ラベルとの比率に着目すると,「一人称」と「周辺人物」の場合は約 8 割が正例である一方で，「物体」「その他人物」「主体な
表 16 疾患クエリを保有する tweet の主体ラベルの比率

## し」の場合は 1 割以下であった.

基本的には主体が認識できれば主体ラベルを認識することができる。たたし，まれに主体が 認識できるのに主体ラベルが認識が難しい場合があり，それは「周辺人物ラベル」と「その他人物ラベル」の違いが見抜けない場合などである。例えば「今日学校へ行ったら A さんが風邪た と知った」という発言では， $\mathrm{A}$ さんが風邪であるという事実を直接に見聞きしているので「周辺人物ラベル」を振っている。しかし実際には, $\mathrm{A}$ さんが有名人で, 有名人 $\mathrm{A}$ さんが風邪であ るというニュースを学校で友人から聞いた, などという場合が存在している.

また, 本実験では 3,000 件のアノテーションを行ったが， 1 つの発言に対象の疾患・症状が複数言及されている発言と, 同じ疾患・症状を保有する主体が複数存在する発言を除いた結果, 表 16 の合計に示されるように 2,924 件となっている.

## 5.3 実験

## 5.3.1 主体ラベル推定器

前節のコーパスを利用して, 発言内での「風邪」や「頭痛」などの疾患・症状を保有してい る主体ラベルを推定する分類器を構築する，今回の実験では，「物体」と「主体なし」のラベル について事例が少なく，また本論文において主たる推定の対象でないため, 「主体なし」に統合 した. ツイート中のリツイート, 返信, URL は, 有無のフラグを残した上で削除した. 分類器 には Classias 1.1 を利用し, L2 正則化ロジスティック回帰モデルを学習した. 利用した素性を 表 17 に示す.

## 5.3.2 推定結果

表 18 に，5 分割交差検定により主体ラベル推定の精度を測定した結果を示す. 訓練事例とし て，6つの疾患・症状に関するコーパスをマージした 3,000 事例を用いた. 全ての素性を組み合 わせた結果, macro F1 スコアはベースライン $(\mathrm{BoW})$ と比べて約 20 ポイント上昇した. これ は, 提案した素性がうまく作用していることを示唆している. 疾患クエリ, リプライの有無, 周辺人物辞書が特に強い貢献を示した.
表 17 主体ラベル推定器の素性

 &  \\

表 18 主体ラベル推定の素性と精度

表 18 において macro F1 スコアが micro F1 スコアより低い理由として, 主体ラベルの正解比率の問題が挙げられる。表 16 より,「一人称」の主体が全体の約 7 割を占めている。この比率 により, 分類器のバイアス項の重みは「一人称」に傾き, 主体ラベル推定器は「一人称」のラ ベルを付与しやすくなっている。 よって, 「一人称」のラベルの再現率が高い一方で, その他の ラベルの再現率は低下している。その結果, 発言数の少ない「周辺人物」「その他人物」「主体

なし」の推定性能が伸び悩み, macro F1 スコアが低下している.

表 19 に予測と正解の Confusion Matrix を示す. 対角成分の太字の数値は予測が正解したケー スである。（＋数字）はべースラインと比べ，予測した事例数が何件変化したかを表す。例えば 「周辺人物」の推定は 34 件成功し, ベースラインからは 22 件増加している.

対角成分である太字の部分を見ると，「一人称」以外においてべースラインから大きく増えて いることがわかる.これは作成した素性を利用することで,「一人称」以外の主体ラべルを推定 する際の精度が向上していることを示している.「主体なし」ラべルの推定精度が大きく向上し た理由として, 疾患クエリごとのラベル比の改善がある「一人称」はどの疾患においても多数存在するが, 「主体なし」は疾患毎にラベルの存在比率が異なる。例えば,「主体なし」は全体

在する。疾患クエリの素性は, これらの疾患毎の主体ラベルの比率を調整し, 推定の精度を向上させている.

表 20 に主体の有無による正解比率を示す.「一人称」の予測は, そもそも主体が明示されな いことが多いので，主体の有無に影響されていない。しかし「周辺人物」と「その他人物」の予測は，主体が明示されていない場合は精度が悪くなっていることがわかる。一方，「主体なし」 は主体が明示されていないほうが正解率が良いという結果になった. これは物体における主体 のバラエティが富んでいて, 現在の BoW や N-gram などのシンプルな素性では特徴を捕らえき れていないことが原因としてあげられる.

表 19 主体ラベルの予測と正解の Confusion Matrix

表 20 主体の有無による予測精度の違い

## 5.3.3 主体ラベル推定における疾患・症状への依存性

前節の実験では，6つの疾患・症状に関する全ての訓練事例を利用した。では, 疾患・症状を 保有している主体を推定するタスクは，どのくらい個別の疾患・症状に依存するのか？もし 主体ラベルの推定が個別の疾患・症状に依存せず，新しい疾患・症状を対象とした主体ラべル を推定する際に，他の疾患・症状の教師データを利用することができれば，新しくその疾患・症状のための教師ありコーパスを構築するコストを削減することができる．この課題を事前に把握するため, 本章では, 風邪症状コーパスに含まれる事例のうち疾患クエリとして「風邪」が 付与されている事例のみを用いた場合と, 風邪症状コーパスに含まれる全ての事例を用いた場合の性能を比較する，以降，簡単のため, 風邪症状コーパスの部分集合として, 疾患クエリと して「風邪」が付与されている事例の集合を, 特に風邪クエリコーパスと呼ぶ.

コーパス毎の相違点としては, 例えば, 「風邪」と「引く」の共起頻度は高い一方で, 別の疾患クエリ，例えば「頭痛」の事例においては，「引く」は寄与しない。よって，風邪クエリコー パスにおける主体の推定と頭痛クエリコーパスにおける主体の推定が異なる課題になっている 可能性があり，そのため，新しい疾患を考えたときに主体ラベル推定の精度が悪化する可能性 がある

図 3 は風邪クエリの主体ラベルを推定する際に 5 分割交差検定を行った結果を示している.実線は風邪クエリコーパスのみを用いて学習した場合で，コーパスサイズを 100 件, 200 件, 300 件, 400 件増やしている。点線は, 風邪症状コーパスに含まれる全ての事例を風邪クエリコー パスに足して学習した場合の性能で, 風邪クエリコーパスを 400 件で固定し, 風邪以外のコー パスをランダムに $625,1,250,1,875 ， 2,500$ 件増やした。風邪クエリの主体ラベルを予測する タスクなので, 風邪クエリに関する学習データとの相性がよく, 400 件の学習データを用いた

図 3 コーパスサイズと推定精度
場合の F1 スコアは 45.1 であった. 一方, 風邪クエリ以外の症状に関する学習デー夕を追加し, 2,900 件の訓練事例を用いて風邪の主体ラベルを予測した場合の $\mathrm{F} 1$ スコアは 57.3 で，風邪クエ リのみの学習データを用いた場合と比較すると 12.2 ポイント向上した.

風邪クエリの主体ラベルを予測するだけであれば，風邪クエリコーパスを増やすことが最も

効果的であるが，風邪クエリ以外の疾患・症状の主体に関する訓練事例を増やすことで，特定 の疾患・症状だけに依存しない汎用的な主体推定器を構築できる可能性が示唆された. 同様の 傾向は，他の疾患・症状を予測対象とした場合でも確認された.

ただ，疾患・症状を保有する主体の事前分布にばらつきがあるため，疾患・症状の依存性が皆無という訳ではない，例えば，頭痛に関する言及では 9 割以上の主体が一人称の頭痛のことを 表すが，熱に関しては物体の状況（例えばPC の発熱など）を言及するものも多い．したがっ て, 幅広い疾患・症状をカバーしたコーパスを構築し, 主体推定器の汎用性を改善していく必要がある.

## 5.3.4推定した主体ラベルを利用いて罹患検出を行った結果

本研究の本来の目的である, 罹患検出において, 本研究で構築した主体ラベル推定器がどの くらい貢献するのか，実験を行った。表 21 は本論文で提案した主体ラベル推定器を利用して 主体ラベルを推定し，その主体ラベルを素性に追加して疾患・症状の有無を判定した結果であ る.なお，ベースライン手法は先行研究 (Aramaki et al. 2011)の設計を参考にしたが，それに 加えて, 主体ラベル推定器によって推定された主体ラベルを素性として利用した. 分類器には Classias 1.1 を使用し, L2 正則化ロジスティック回帰モデルを学習した。学習事例は 6 つの疾患・症状においてそれぞれ 500 件ずつ利用し， 5 分割交差検定を行った.

推定した主体ラベルを素性として利用して罹患検出を行った結果, 寒気の F1 スコアが 5.5 ポ イント，熱のF1 スコアが 2 ポイント向上し, 全体の macro F1 スコアも 1.3 ポイント向上した.本研究で付与した主体の正解ラベル（ゴールドデー夕）を素性として利用した場合とべースラ インを比較すると，「風邪・咳・頭痛・鼻水」は $\mathrm{F} 1$ スコアで $2 \sim 4$ ポイント程度向上し，「寒気・熱」は 10 ポイント以上向上した. これにより主体を正しく判定することができれば，平均で約 6 ポイントの F1 スコアの向上が見込める。本研究で構築した主体推定器により, 特に「寒気・熱」において，ゴールドデータとの差を縮めることができた。寒気の精度が向上した理由のひ

表 21 疾患 ・ 症状判別器の素性と $\mathrm{F}$ 値

とつには，「寒気」が「さむけ」ではなく「かんき」として使われる場合や，「悪寒」が「予感」 として使われる場合を排除できたことが挙げられる。一方で「頭痛」や「鼻水」においては，ほ とんど精度を向上させることができなかった。これは，「頭痛」や「鼻水」が症状の場合に「一人称」が主体として使用される場合が多く，あまり他人の症状に言及していないためだと考え られる。

3 章で罹患検出のエラー分析をした結果から，主体解析により False Positive のうち $38.3 \%$ の エラー 6 を解消することが可能になると述べた。では，実際に主体解析を行った結果として，罹患検出のエラーをどの程度解消できたと言えるだろうか？ 表 21 の一番右のエラー解消率に は，ベースラインと比べたときのエラー解消率が示されている。推定した主体を素性として罹患検出を行った場合には， $8.4 \%$ のエラーを解消することができた。 これより，ベースラインと 比べれば精度が改善されている一方で，まだ主体の推定に誤りが含まれることがわかる。一方 で，主体の正解ラベルを素性として罹患検出を行ったところ， $38.1 \%$ エラーを解消することが できた。これは罹患検出のエラー分析を行った際の主体の違いが原因となったエラー率よりも 高く, 主体の違いによるエラーが解消できていると考えられる.

## 6 事実性解析と主体解析

最後に，4 章の疾患があったのかという「事実性解析」と， 5 章の疾患を所有しているのは誰 なのかという「主体解析」を合わせて実験を行った. ベースライン手法は 4 章の設計を利用し, それに加えて，主体ラベル推定器によって推定された主体ラベルを素性として利用した。主体 ラベルを推定する時には，インフルエンザコーパスからも，発言をランダムに 500 件抽出して 主体の正解ラベルを付与し，それをインフルエンザの主体を学習する際のデータとして扱った。分類器には Classias 1.1 を使用し，L2 正則化ロジスティック回帰モデルを学習した。学習事例 はインフルエンザコーパスと風邪症状コーパスの疾患・症状において，それぞれ 500 件ずつ利用し， 5 分割交差検定を行った。実験結果を表 22 に示す.

表 22 疾患・症状判別器の素性と $\mathrm{F}$ 值

^{6}$ False Positive と False Negative を合わせた全体のエラーのうちでは, およそ $26 \% を$ 占めている.
}

ベースライン 7 と比ベて, ベースラインに事実性解析を追加した結果から, 事実性解析はイン フルエンザにおいては大幅に上昇しているが，風邪症状コーパスに対しては，あまり変化が見ら れなかった. この理由としては, 主体の問題や比喻的な問題が大きく関係していると考えられ る. 主体の問題の例としては, 事実が確認出来たとしても, 発言の返信先の人物が疾患に罹っ ている場合が挙げられる，比喻的な問題としては，例えば，鼻水の発言「面白すぎて鼻水が出 たわ」では，「鼻水」が「出た」事実を解析することができたとしても，それが比喻的な表現で あって, 疾患は成立していない. これらの問題により, 事実性の解析だけではあまり精度の向上が望めなかった。

一方, ベースラインに事実性解析と主体解析の両方を組み合わせた結果, 主体の問題が多少解決されることにより, ベースラインと比べて全体の macro F1 スコアで 3.3 ポイント向上した. これにより，事実性解析と主体解析をうまく組み合わせることで，より精度を向上させること ができることが確認できた.

さらに事実性と主体のゴールドラベルを合わせた結果, 全ての疾患・症状において大幅に精度が向上し, 全体の macro F1 スコアで 9.6 ポイント向上した. 従って, 事実性と主体の情報が 疾患・症状判別タスクに有用な情報であるということが分かる.

## 7 関連研究

自然言語処理の研究は, Twitter を始めとしたソーシャルメディアの解析において 2 つの主要 なタスクに取り組んできたと言える：(1)ひとつは実在する自然言語処理の技術をノイジーなテ キストに適応させることで, (2) もうひとつは, そこから知識や統計量を抽出することである.

前者としては品詞夕グ付けの精度改善 (Gimpel, Schneider, O'Connor, Das, Mills, Eisenstein, Heilman, Yogatama, Flanigan, and Smith 2011) や固有表現認識 (Plank, Hovy, McDonald, and Søgaard 2014)のタスクを始めとして, 崩れた単語の正規化などが行われてきた (Han and Baldwin 2011; Chrupała 2014).

後者としては, イベント抽出やユーザ行動分析など様々なアプリケーションが提案されてきた (表 23). なかでも, 疾患, 特に即時的な把握が必要される感染症の流行検出は, 主要な Twitter 利用法の 1 つとして多くの研究がある.

感染症の流行は, 毎年, 百万人を越える患者を出しており, 重要な国家的課題となっている (国立感染症研究所 2006). 中でも，インフルエンザは事前に適切なワクチンを準備することに より，重篤な状態を避けることが可能なため, 感染状態の把握は各国における重要なミッショ ンとなっている (Ferguson, Cummings, Cauchemez, Fraser, Riley, Meeyai, Iamsirithaworn, and

表 23 Twitter を用いた関連研究

 \\

Burke 2005).

この把握は インフルエンザ・サーベイランスと呼ばれ，膨大なコストをかけて調査・集計が 行われてきた，インフルエンザ以外でも， West Nile ウィルス検出 (Sugumaran and Voss 2012) など感染症の把握に Twitter などのソーシャルメディアを利用する試みは多い.

本邦においてもインフルエンザが流行したことによって総死亡者数は, 毎年 1 万人を超えて おり (大日，重松，谷口，岡部 2003)，国立感染症研究所を中心にインフルエンザ・サーベイラ ンスが実施されている8.

しかし，これらの従来型の集計方式は，集計に時間がかかり，また，過疎部における収集が 困難だという問題が指摘されてきた 9 ．このような背景のもと，近年，ソーシャルメディアを用 いた感染症サーベイランスが，現行の調査法と比べて大規模かつ，即時的な収集を可能にする として，数多く提案されている (Lampos and Cristianini 2010; Culotta 2010a; Paul and Dredze 2011; Aramaki et al. 2011; 谷田，荒牧，佐藤，吉田，中川 2011).

しかしながら, 実際に Twitter からインフルエンザに関する情報を収集するのは容易ではない.例えば，ニュースや有名人の罹患に関するリツイートなど，多くのノイズが混入する. Aramaki ら (Aramaki et al. 2011) によると，「インフルエンザ」に関するツイートの半数は，本人の罹患 に関するものではないと報告されている.

これを解決するための 1 つの方法は，キーワードのセットを適切に選ぶ方法が考えられる．例 えば，「インフルエンザ」だけでなく「高熱」や「休む」などのキーワードを加えることで，より 確かに罹患者を抽出できると考えられる。 そこで，インフルエンザの流行と相関の高いキーワー ド群を，L1 正規化を用いた単語の次元圧縮によって得る方法 (Lampos and Cristianini 2010),疾患をある種のトピックとみたてトピックモデルを用いる方法 (Paul and Dredze 2011) や，素性選択を適応する手法 (谷田 他 2011) などが提案されている.
^{9}$ http://sankei.jp.msn.com/life/news/110112/bdy11011222430044-n1.htm
}
一方で, キーワードを固定して, 疾患・症状がポジティブな発言のみを分類するというアプ ローチもある．高橋ら (高橋, 野田 2011)の Boosting を用いた文書分類, Aramaki ら (Aramaki et al. 2011) がSVMによる分類手法を提案している。本研究も後者をアプローチに属するが，モ ダリティの解析や, 主体の解析いう 2 つの自然言語処理の問題を導入することで, 精度を高め ることに成功した。

以降,この 2 つの自然言語処理研究について関連研究をまとめる.

## 7.1 主体解析の関連研究

本研究で扱った主体解析とは, 疾患に関係のある名詞の項を判別する意味解析だと考えるこ とができる。関連する研究としては, PropBank (Palmer, Gildea, and Kingsbury 2005) は動詞 の意味役割を大規模にアノテートした初めてのコーパスであり, NomBank (Meyers, Reeves， Macleod, Szekely, Zielinska, Young, and Grishman 2004)は, それと似た規則で名詞の項にラべ ルが付与されている. 例えばNomBankでは, “There have been no customer complaints about that issue." において, ARG0 として, “customer"がアノテートされ, ARG1として“issue"がアノ テートされる. さらに，このアノテーションが扱う範囲を広げる研究もある (Gerber and Chai 2010).

日本語においても, 京都大学テキストコーパス $4.0^{10}$ やNAISTテキストコーパス (Iida, Komachi, Inui, and Matsumoto 2007)において，事態性名詞の項が付与されるなど近いアノテーションが 試みられている. Komachi ら (Komachi, Iida, Inui, and Matsumoto 2007) は, 対象となる名詞 に事態性があるか否かの事態性判別と，その後の項同定を別タスクとして扱い，解析精度を報告している。また，「娘の風邪」などの名詞句内の関係を解析する研究 (Sasano and Kurohashi 2009）も関連がある。発言内で疾患・症状の主体が省略されていることも多いため, 省略・照応解析 (Sasano, Kawahara, and Kurohashi 2008)とも関連がある.

本研究で扱う課題も, 基本的には, ある疾患に関する表現に関する項 (ARG0)の同定を行な うタスクとみなすことができる.

しかし, 疾患に関する表現, 例えば, 「寒気」, などは意味としては事態性をもった概念であ るが, 文法的には, 事態性があると認められず, 単純な事態性の名詞の項同定として考えるこ とはできない，つまり，意味的な疾患概念が，文法的な事態に対応づけられない場合がある.

しかも，今までの事態性名詞の研究は主に新聞を元にしたコーパスで行われており，Twitter 上への適応が困難だという技術的問題もある。これらの理由から, 我々は疾患を保有する主体 の推定を目的とし, 主体推定器のためにラベルを付与することを試みた.

## 7.2 モダリティ解析の関連研究

先行研究 (Aramaki et al. 2011) では, モダリティに関しての事例を集めたコーパスを作成す ることでモダリティ情報を利用しているが，本研究では，既存のリソースやツールを活用する ことで，コーパス作成の手間を省き，一般的なモダリティ解析が疾患のモダリティ解析にも貢献することを示した.

日本語モダリティに関するリソースとしては, 文献 (松吉, 江口, 佐尾, 村上, 乾, 松本 2010) が態度表明, 時制, 仮想, 態度, 真偽判断, 価值判断, 焦点などについて詳細に事象アノテー ションを行っている．焦点を除いた 6 種の項目を拡張モダリティと呼び，情報抽出や含意認識 といった自然言語処理のタスクへの応用に向けて研究が行われている。本研究は, 意味 ID と して，これを素性化したが，モダリティ間の類似関係など，さらに䋊密な素性化が可能であり，今後の課題としたい.

また, このような研究は日本語だけでなく英語に関しても活発であり, 文献 (Saurí and Pustejovsky 2012) がモダリティを用いて，事実性の度合いを判断する研究を行っている。また，特 にモダリティの一部である否定 (Negation) や推量 (Speculation) については, 情報抽出の実用化のために重要であり, 専門のワークショップ [NeSp-NLP 2010] が開催されるなど盛んに研究 されてきている.

本研究にこれらの知見を導入することで, さらなる精度向上が期待される.

## 8 おわりに

本論文では, Web 応用タスク (WebNLP) を立ち上げ，実用性を強く意識しつつ，次のゴール の達成に向けて研究・議論を行った。その中で，NLPによるソーシャルリスニングを実用化し た事例の 1 つである，ツイートからインフルエンザや風邪などの疾患・症状を認識する罹患検出のタスクに取り組んだ。まず，ソーシャルメディア上のテキストを分析する際の現状の自然言語処理技術が抱えている問題を認識し，課題を整理した，分析結果から，事実性の解析，状態を保有する主体の判定が重要かつ一般的な課題として切り出せると判断した. これらの課題 を陽に扱った手法により実験した結果，両問題がそれぞれ罹患検出に貢献することを明らかに した.

4 章では, 事実性解析の本タスクへの貢献を実験的に調査し，その分析から事実性解析の課題を議論した. 具体的には, インフルエンザの流行検出のため, モダリティの素性を組み込む 手法を提案し, これが「インフルエンザに感染している」という特定の事実の検出を目標とす る事実性解析に貢献することを示した.

5 章では, 複数の疾患・症状に関して, その疾患・症状を保有する主体を推定する取り組みを 紹介した. 構築したコーパスを訓練事例とした主体推定器を作成し, 主体の推定が micro F1 ス

コアで 84 ポイント程度の性能で行えること, 異なる疾患・症状に対して横断的な主体の推定が 可能であることを報告した。さらに推定した主体が疾患・症状を判定する上でどの程度貢献す るのか実証し, 主体を正しく推定できれば罹患検出を行う際にどの程度までエラーを減らすこ とができるかを示した。

さらに 6 章では, 事実性解析と主体解析を組み合わせた実験を行い，その精度を確認した。

ソーシャルメディア上の発言から個人の状態を分析することは, 疾患の流行検出のみならず,個人の健康状態をモニタリングするなどの重要な応用が多く存在する．今後は，さらに多くの ソーシャルメディア上のテキストでも検証を進め, 両解析技術が発展し, より深くWebテキス トを扱うことが期待される。

## 謝 辞

本研究は, ProjectNextNLP「Web 応用タスク」による. 本研究は首都大学東京傾斜的研究費 (全学分) 学長裁量枠戦略的研究プロジェクト戦略的研究支援枠「ソーシャルビッグデータの分析・応用のための学術基盤の研究」, JST さきがけから部分的な支援を受けた.

## 参考文献

荒牧英治, 森田瑞樹, 篠原 (山田) 恵美子, 岡瑞起 (2011). ウェブからの疾病情報の大規模かつ 即時的な抽出手法. 言語処理学会第 17 回年次大会, pp. 838-841.

Aramaki, E., Maskawa, S., and Morita, M. (2011). "Twitter Catches The Flu: Detecting Influenza

Epidemics using Twitter." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1568-1576.

Bergsma, S., Dredze, M., Van Durme, B., Wilson, T., and Yarowsky, D. (2013). "Broadly Improving User Classification via Communication-Based Name and Location Clustering on Twitter." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1010-1019.

Chrupała, G. (2014). "Normalizing Tweets with Edit Scripts and Recurrent Neural Embeddings." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 680-686.

Culotta, A. (2010a). "Detecting Influenza Outbreaks by Analyzing Twitter Messages." arXiv preprint arXiv:1007.4748.

Culotta, A. (2010b). "Towards Detecting Influenza Epidemics by Analyzing Twitter Messages." In Proceedings of the 1st Workshop on Social Media Analytics (SOMA), pp. 115-122.

Ferguson, N. M., Cummings, D. A. T., Cauchemez, S., Fraser, C., Riley, S., Meeyai, A., Iamsirithaworn, S., and Burke, D. S. (2005). "Strategies for Containing an Emerging Influenza Pandemic in Southeast Asia." Nature, 437 (7056), pp. 209-214.

Gerber, M. and Chai, J. Y. (2010). "Beyond NomBank: A Study of Implicit Arguments for Nominal Predicates." In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 1583-1592.

Gimpel, K., Schneider, N., O’Connor, B., Das, D., Mills, D., Eisenstein, J., Heilman, M., Yogatama, D., Flanigan, J., and Smith, N. A. (2011). "Part-of-Speech Tagging for Twitter: Annotation, Features, and Experiments." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 42-47.

Han, B. and Baldwin, T. (2011). "Lexical Normalisation of Short Text Messages: Makn Sens a \#twitter." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 368-378.

Han, B., Cook, P., and Baldwin, T. (2013). "A Stacking-based Approach to Twitter User Geolocation Prediction." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 7-12.

Iida, R., Komachi, M., Inui, K., and Matsumoto, Y. (2007). "Annotating a Japanese Text Corpus with Predicate-Argument and Coreference Relations." In Proceedings of the Linguistic Annotation Workshop, pp. 132-139.

鍛治伸裕, 福島健一, 喜連川優 (2009). 大規模ウェブテキストからの片仮名用言の自動獲得. 電子情報通信学会論文誌（D 情報・システム）, J92-D (3), pp. 293-300.

河原大輔, 黒橋禎夫 (2005). 格フレーム辞書の漸次的自動構築. 自然言語処理, 12 (2), pp. 109-131.

Kazama, J. and Torisawa, K. (2007). "Exploiting Wikipedia as External Knowledge for Named Entity Recognition." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLPCoNLL 2007), pp. 698-707.

国立感染症研究所 (2006). インフルエンザ・パンデミックに関する Q \& A（2006.12 改訂版）.国立感染症研究所感染症情報センター.

小町守，飯田龍，乾健太郎，松本裕治 (2010). 名詞句の語彙統語パターンを用いた事態性名詞 の項構造解析. 自然言語処理, $\mathbf{1 7}$ (1), pp. 141-159.

Komachi, M., Iida, R., Inui, K., and Matsumoto, Y. (2007). "Learning Based Argument Structure Analysis of Event-nouns in Japanese." In Proceedings of the Conference of the Pacific Association for Computational Linguistics (PACLING), pp. 120-128.

Lamb, A., Paul, M. J., and Dredze, M. (2013). "Separating Fact from Fear: Tracking Flu Infec-
tions on Twitter." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 789-795.

Lampos, V. and Cristianini, N. (2010). "Tracking the flu pandemic by monitoring the Social Web." In 2nd IAPR Workshop on Cognitive Information Processing (CIP 2010), pp. 411-416.

Li, J., Ritter, A., Cardie, C., and Hovy, E. (2014a). "Major Life Event Extraction from Twitter based on Congratulations/Condolences Speech Acts." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1997-2007.

Li, J., Ritter, A., and Hovy, E. (2014b). "Weakly Supervised User Profile Extraction from Twitter." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 165-174.

Marchetti-Bowick, M. and Chambers, N. (2012). "Learning for Microblogs with Distant Supervision: Political Forecasting with Twitter." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 603-612.

Matsuyoshi, S., Eguchi, M., Sao, C., Murakami, K., Inui, K., and Matsumoto, Y. (2010). "Annotating Event Mentions in Text with Modality, Focus, and Source Information." In Proceedings of the 'th conference on International Language Resources and Evaluation (LREC'10), pp. 1456-1463.

松吉俊, 江口萌, 佐尾ちとせ, 村上浩司, 乾健太郎, 松本裕治 (2010). テキスト情報分析のた めの判断情報アノテーション. 電子情報通信学会論文誌 D, 93 (6), pp. 705-713.

松吉俊, 佐藤理史, 宇津呂武仁 (2007). 日本語機能表現辞書の編纂. 自然言語処理, $14(5)$, pp. 123-146.

Meyers, A., Reeves, R., Macleod, C., Szekely, R., Zielinska, V., Young, B., and Grishman, R. (2004). "The NomBank Project: An Interim Report." In Proceedings of the NAACL/HLT Workshop on Frontiers in Corpus Annotation, pp. 24-31.

Munteanu, D. S. and Marcu, D. (2005). "Improving Machine Translation Performance by Exploiting Non-Parallel Corpora." Computational Linguistics, 31 (4), pp. 477-504.

Narita, K., Mizuno, J., and Inui, K. (2013). "A Lexicon-based Investigation of Research Issues in Japanese Factuality Analysis." In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 587-595.

O'Connor, B., Balasubramanyan, R., Routledge, B. R., and Smith, N. A. (2010). "From Tweets to Polls: Linking Text Sentiment to Public Opinion Time Series." In Proceedings of the 4th International AAAI Conference on Weblogs and Social Media (ICWSM), pp. 122-129.

大日康史, 重松美加, 谷口清州, 岡部信彦 (2003)、インフルエンザ超過死亡「感染研モデル」

2002/03 シーズン報告. Infectious Agents Surveillance Report, 24 (11), pp. 288-289.

Palmer, M., Gildea, D., and Kingsbury, P. (2005). "The Proposition Bank: An Annotated Corpus of Semantic Roles." Computational Linguistics, 31 (1), pp. 71-106.

Pang, B., Lee, L., and Vaithyanathan, S. (2002). "Thumbs Up?: Sentiment Classification Using Machine Learning Techniques." In Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing - Volume 10, pp. 79-86.

Paul, M. J. and Dredze, M. (2011). "You Are What You Tweet: Analysing Twitter for Public Health." In Processing of the 5th International AAAI Conference on Weblogs and Social Media (ICWSM).

Plank, B., Hovy, D., McDonald, R., and Søgaard, A. (2014). "Adapting Taggers to Twitter with Not-so-distant Supervision." In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 1783-1792.

Sakaki, T., Okazaki, M., and Matsuo, Y. (2010). "Earthquake Shakes Twitter Users: Real-time Event Detection by Social Sensors." In Proceedings of the 19th international conference on World Wide Web ( $W W W$ ), pp. 851-860.

Sasano, R., Kawahara, D., and Kurohashi, S. (2008). "A Fully-Lexicalized Probabilistic Model for Japanese Zero Anaphora Resolution." In Proceedings of the 22nd International Conference on Computational Linguistics (COLING), pp. 769-776.

Sasano, R., Kawahara, D., and Kurohashi, S. (2010). "The Effect of Corpus Size on Case Frame Acquisition for Predicate-Argument Structure Analysis." IEICE TRANSACTIONS on Information and Systems, E93-D (6), pp. 1361-1368.

Sasano, R. and Kurohashi, S. (2009). "A Probabilistic Model for Associative Anaphora Resolution." In Conference on Empirical Methods in Natural Language Processing, Vol. 3, pp. 1455-1464.

Sato, T. (2015). "Neologism Dictionary Based on the Language Resources on the Web for Mecab." https://github.com/neologd/mecab-unidic-neologd.

Saurí, R. and Pustejovsky, J. (2012). "Are You Sure That This Happened? Assessing the Factuality Degree of Events in Text." Computational Linguistics, 38 (2), pp. 261-299.

Shen, C., Liu, F., Weng, F., and Li, T. (2013). "A Participant-based Approach for Event Summarization Using Twitter Streams." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1152-1162.

Sugumaran, R. and Voss, J. (2012). "Real-time Spatio-temporal Analysis of West Nile Virus Using Twitter Data." In Proceedings of the 3rd International Conference on Computing for

Geospatial Research and Applications, p. 39. ACM.

高橋哲朗, 野田雄也 (2011). 実世界のセンサーとしての Twitter の可能性. 電子情報通信学会情報・システムソサイエティ言語理解とコミュニケーション研究会, pp. 43-48.

谷田和章, 荒牧英治, 佐藤一誠, 吉田稔, 中川裕志 (2011). Twitter による風邪流行の推測. マ イニングツールの統合と活用 \& 情報編纂研究会, pp. 42-47.

Thelwall, M., Buckley, K., and Paltoglou, G. (2011). "Sentiment in Twitter Events." Journal of the American Society for Information Science and Technology, 62 (2), pp. 406-418.

Varga, I., Sano, M., Torisawa, K., Hashimoto, C., Ohtake, K., Kawai, T., Oh, J.-H., and

De Saeger, S. (2013). "Aid is Out There: Looking for Help from Tweets during a Large Scale Disaster." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1619-1629.

Williams, J. and Katz, G. (2012). "Extracting and Modeling Durations for Habits and Events from Twitter." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 223-227.

Zhou, D., Chen, L., and He, Y. (2014). "A Simple Bayesian Modelling Approach to Event Extraction from Twitter." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 700-705.

## 略歴

叶内晨：2011 年東京都立国立高等学校卒業． 2015 年首都大学東京システム デザイン学部システムデザイン学科情報通信システムコース卒業. 同年, 同大学院博士前期課程に進学.

北川 善彬：2010 年私立明法高等学校卒業． 2015 年首都大学東京システムデザ イン学部システムデザイン学科情報通信システムコース卒業. 同年, 同大学院博士前期課程に進学.

荒牧 英治：2000 年京都大学総合人間学部卒業. 2005 年東京大学大学院情報理工系研究科博士課程修了. 博士 (情報理工学). 以降, 東京大学医学部附属病院特任助教を経て, 奈良先端科学技術大学院大学特任准教授. 医療情報学, 自然言語処理の研究に従事.

岡崎 直観：2007 年東京大学大学院情報理工学研究科博士課程終了. 2005 年英国テキストマイニングセンター・リサーチフェロー, 2007 年東京大学大学院情報理工学系研究科・特別研究員を経て, 2011 年より東北大学大学院情報科学研究科准教授. 専門は, 自然言語処理, テキストマイニング, 機械学習.
小町 守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学). 同年より同研究科助教を経て, 2013 年より首都大学東京システ ムデザイン学部准教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, 電子情報通信学会, ACL 各会員.

$(2015$ 年 5 月 21 日 受付 $)$
$(2015$ 年 8 月 7 日 再受付)
$(2015$ 年 9 月 16 日 採録)


# 誤り分析に基づく日本語事実性解析の課題抽出

成田 和弥 $\dagger \cdot$ 水野 敦太 $^{\dagger \dagger} \cdot$ 上岡 裕大 $^{\dagger} \cdot$ 菅野 美和 + 乾 健太郎 $\dagger$

事実性は，文中の事象の成否について，著者や登場人物の判断を表す情報である.事実性解析には，機能表現や，文節境界を越えて事実性に影響を与える語とそのス コープなどの 4 種類の問題が含まれており, 性能の向上が容易ではない. 本研究で は, 事実性解析の課題分析を行うために，機能表現のみを用いたルールベースの事実性解析器を構築し，1,533 文に含まれる 3,734 事象に適用した結果の誤りを分析し た.このとき全ての事象表現について，付随する機能表現に対して人手で意味ラべ ルを付与した。その結果, 主事象の事実性解析については, 機能表現の意味ラベル が正しく解析できれば，現在の意味ラベルの体系と本研究で用いた単純な規則だけ でも， $90 \%$ に近い正解率が得られることがわかった. 従属事象の事実性解析では, 後続する述語やスコープといった従属事象特有の誤りが多く見られた. それらの要素 についてさらなる分析を行い，今後の事実性解析の指針を示した.

キーワード：事実性，モダリティ，機能表現，スコープ
## Understanding the Technical Issues

in Japanese Factuality Analysis Through Error Analysis

\author{
Kazuya Narita $^{\dagger}$, Junta Mizuno ${ }^{\dagger \dagger}$, Yudai Kamioka ${ }^{\dagger}$, \\ Miwa $\mathrm{Kanno}^{\dagger}$ and Kentaro Inui ${ }^{\dagger}$
}

Event factuality is information pertaining to whether events mentioned in the natural language correspond to either actual events that have occurred in the real world or events that are of uncertain interpretation. In factuality analysis, sufficient performance is yet to be achieved because of the complexity of issues such as functional expression and linguistic scope. This paper discusses the issues involved in factuality analysis by analyzing errors when applying a rule-based system to 3,734 events in 1,533 sentences. We annotate functional expression labels for all events. In the main events, the factuality analyzer, consisting of simple functional expression rules, achieves approximately $90 \%$ accuracy if correct functional expression labels are provided. In subordinate events, we found many errors specific to subordinate events, such as errors caused by predicates and linguistic scopes. We provide guidelines for factuality analysis through additional discussion regarding predicates and linguistic scope.

Key Words: Event Factuality, Modality, Functional Expressions, Linguistic Scope

## 1 はじめに

近年, ブログ等の個人が自由に情報を発信できる環境の爆発的な普及に伴い, 膨大なテキス 卜情報が Web 上に加速度的に蓄積され，利用できるようになってきている。これらの情報を整理し，そこから有益な情報を得るためには，「誰が」「いつ」「どこで」「何を」といった情報を 認識するだけでなく, 文に記述されている事象が, 実際に起こったことなのかそうでないこと なのかという情報を解析する必要がある，我々はこのような，文中の事象に対する，著者や文中の登場人物による成否の判断を表す情報を事実性と呼ぶ.

(1) a. 商品 $\mathrm{A}$ を使い始めた。

b. 商品 $\mathrm{A}$ を使うのは簡単ではなかった。

c. 商品 $\mathrm{A}$ を使ってみたい。

d. 商品 $\mathrm{A}$ を使っているわけではない。

e. 商品 $\mathrm{A}$ を使っているはずだ。

(1)に示す例は, いずれも「商品 $\mathrm{A}$ を使う」という事象が含まれるが, その事実性は異なる。(1a) と (1b) は，事象が成立していると解釈できる一方で，(1c) と (1d) は，事象は成立していない と解釈できる。さらに (1e) は，事象の成立を推量していると解釈できる。評判分析などの文脈 で, 商品 A を使っているユーザの情報のみを抽出したい場合, (1)に示した全ての文に対して,「商品 $\mathrm{A}$ を使う」と照合するだけでは， (1c)や (1d) といった, 商品 $\mathrm{A}$ を実際には使っていない ユーザの情報まで抽出されてしまう。そこで事実性解析を用いると，(1a)や (1b) が実際に商品 $\mathrm{A}$ を使っており, (1c)や (1d) が使っていない, (1e) は使っていない可能性がある, ということを 区別することができる。事実性解析は, 評判分析だけでなく, 含意関係認識や知識獲得といっ た課題に対しても重要な技術である (Karttunen and Zaenen 2005; Saurí and Pustejovsky 2007; Hickl 2008).

事実性解析は，事象が実際に起こったかを解析する技術ではあるが，真に起こったかどうか を与えられた文のみから判断することは不可能である．例えば，「太郎は先に帰ったはずです。」 という文に対して，「太郎は帰った」という事象が真に事実か否かは，「太郎」にしか分からな い，そこで本研究では，事実性を，文中の事象の成否について，著者の判断を表す情報と定義 する，ただし，実際には著者の判断も真にはわからないため，著者の判断を読者がどう解釈で きるかによって事実性を表す。前述の例では, 著者は事象「太郎は帰った」の成立を推量して いると読者は解釈できる.

事実性の付与対象となる事象は, 松吉, 江口, 佐尾, 村上, 乾, 松本 (2010) と同様に, 行為,出来事, 状態の総称であると定義する.

b. $\langle\langle$ 混雑 $\rangle$ 状態していたら、別のところに〈〈行き $\rangle$ 行為ます。

（2）に示す例では，「(雨が) 降る」，「(バスで) 行く」，「混雑する」，「(別のところに) 行く」が 全て事象である。〈〈〉で囲まれた述語は，それぞれの事象の中心となる語であり，事象参照表現（あるいは単に事象表現）と呼ぶ。アノテーションや解析において，事実性のラベルは事象表現に付与する.

先行研究では，事実性だけでなく，時制などの関連情報についても，付与基準が議論されると ともに，コーパス構築が進められてきた (Saurí and Pustejovsky 2009; 松吉 他 2010; 川添, 齊藤, 片岡, 崔, 戸次 2011a, 2011b). 日本語を対象とした事実性解析の研究は少なく, 述部 (本研究の事象表現に相当）に続く表現形式によるルールベースの解析（梅澤，西尾，松田，原田 2008) や，機械学習に基づく解析器 (江口，松吉，佐尾，乾，松本 2010) がある．前者はその性能は報告されていないが，後者の解析性能は，9 種類の事実性ラベルの分類性能がマクロ $\mathrm{F}$ 值 で $48 \%$ であり，実用上十分とはいえない.

事実性解析の性能向上が困難である理由の一つは，事象表現に続く機能表現の多様性にある。

もんか」のように，事象が成立しないことを示す機能表現（下線部）が多々ある．機能表現以外に，「《使う〉のをやめた」のように，文節境界を越えて事象の不成立を示唆する述語（下線部）の存在もあり，さらにこれらの要素の組み合わせが，事実性解析の性能向上を阻んでいる.

本研究では, 事実性解析の課題分析を行うために，機能表現のみを用いたルールベースの事実性解析器を構築し，1,533 文に含まれる 3,734 事象に適用した結果の誤りを分析する.このとき 全ての事象表現に続く機能表現に対して意味ラベルを人手で付与する．要素の組み合わせを解 きほぐすために，3,734 事象を, 最も文末に近い主事象 1,533 事象と, それ以外の従属事象 2,201 事象に分割し，それぞれについて誤り分析を行う。

誤り分析の結果，主事象の事実性解析については，機能表現の意味ラベルが正しく解析でき れば，現在の意味ラベルの体系と本研究で用いた単純な規則だけでも， $90 \%$ に近い正解率が得ら れることがわかった．また，機能表現解析の問題を除けば，誤りの半数は副詞に起因するもの であった，一方で，従属事象の事実性解析は，主事象に比べて考慮すべき要素が多いため，性能も低いことがわかった．従属事象でのみ考慮すべき要素は大きく二つあり，文節境界を越え て事実性に影響を与える述語と, 従属事象に直接付随しない機能表現の影響である。前者は,既存の辞書のカバレッジを調査した結果，これを利用することで誤りの一部を解消できるもの の, さらなる拡充が必要であることが分かった. 後者は, 問題となるケースは多様ではないこ とと，隣接する事象の機能表現が及ぼす範囲（スコープ）を精緻に判定することで概ね解決で きることを確認した。

## 2 関連研究

事実性に大きく関連する概念として, 態度表明者の主観的な態度 (モダリティ), および, 肯定／否定があげられる。本研究における事実性は，事象の真偽に対する書き手の確信度を表し た「真偽判断のモダリティ」(益岡 2007) と，肯定／否定の組み合わせに相当している.

## 2.1 タグ体系およびコーパス構築に関する研究

事実性およびその周辺情報を付与するためのタグ体系およびコーパス構築の関連研究として, Saurí (2008), Saurí and Pustejovsky (2009)による FactBank や, 松吉他 (2010), 松吉, 佐尾,乾，松本 (2011)による拡張モダリティタグ付与コーパスなどがある.

Saurí (2008), Saurí and Pustejovsky (2009) は，事象を対象とし，以下の 2 つ組の夕グによっ て事実性を定義した。

modality 事実らしさに対する態度表明者の確信度. CT (Certain), PR (Probable), PS (Possible), U (Underspecified)の 4 種類で表す

polarity 事象に対する確信の方向. + (positive), - (negative), u (underspecified) の 3 種類 で表す

例えば，事象が実際に起こったことである，ということを $\mathrm{CT}+$ と表す。そして，事象とその時間情報や，事象間の時間的順序関係が付与された TimeML (Saurí, Littman, Gaizauskas, Setzer, and Pustejovsky 2006)の上に, 確信度と肯否極性を態度表明者 (source) ごとに付与する枠組み を提案し，FactBankと呼ばれるコーパスを構築した. de Marneffe, Manning, and Potts (2012) は，PR+と PS-，PS+と PR一をそれぞれ論理的に等価なラベルとして扱っており，それらの ラベルを統合した， 5 種類のラベル体系による評価を行っている。

松吉 他 (2010), 松吉 他 (2011) は, 〈態度表明者〉, 〈相対時〉, 〈仮想〉, 〈態度〉, 〈真偽判断〉,〈価値判断〉の 6 項目からなる拡張モダリティタグ体系を設計し, それを現代日本語書き言葉均衡コーパス $(\mathrm{BCCWJ})^{1}$ の各事象に付与したコーパスを構築した. 彼らの夕グ体系の内, 〈真偽判断〉は Saurí and Pustejovsky (2009)の事実性に相当している. 拡張モダリティタグ体系を用 いた解析では, 項目間の依存関係を考慮することが可能であるが，それ故に処理が複雑化して しまうという問題がある.

本研究では, de Marneffe et al. (2012) の枠組みに基づいて事実性のラベルを定義する.この 枠組みを利用することで，事実性を確信度と肯否極性の 2 軸に分けることができるため, 問題 の分析がしやすくなると考えた. 誤り分析には, 松吉他 (2010), 松吉他 (2011) の拡張モダリ ティタグ付与コーパスを用いる。事実性解析における課題分析をする上で十分な量であり，一
^{1}$ http://www.ninjal.ac.jp/corpus_center/bccwj/
}
般に利用可能なコーパスは他にないため，拡張モダリティタグのうち〈真偽判断〉を事実性の 正解として利用し，事実性解析の誤り分析を行う.

## 2.2 解析および課題分析に関する研究

事実性は, 機械学習に基づく手法や, 人手で構築した語彙的・統語的な知識を利用したパ夕ー ンベースの手法などを用いて解析が行われているが，その性能执よ゙課題分析は十分でない.

原, 乾 (2008) は, 事象の事実性情報を，時間情報と話者態度で表現し，SVMを学習器に用いた 解析手法を提案した. Inui, Abe, Hara, Morita, Sao, Eguchi, Sumida, Murakami, and Matsuyoshi (2008) は, 原, 乾 (2008)の提案する夕グ体系を整理統合し, 条件付き確率場を学習器として用 いた解析手法を提案した．SVMを用いるよりも，項目間の依存関係を考慮できる条件付き確率場を用いたほうが，高い精度を示すことが報告されている，江口他 (2010) は，項目間，および 事象間の依存関係を考慮できる Factorial CRF (Sutton, McCallum, and Rohanimanesh 2007)を 用いた拡張モダリティ解析システムを構築した。事実性に関連の深い〈真偽判断〉には 9 種類 のラベルが存在するが，そのマクロ $\mathrm{F}$ 值で $48 \%$ の性能を示している。 さまざまな枠組みによっ て事実性の解析が行われているが，いまだ十分な性能は達成できておらず，その課題を分析す る余地が多分に残されている.

モダリティ解析における課題分析としては, 松吉 他 (2011) が最大エントロピーモデルを用 いた拡張モダリティ解析システム分析を試作し，その中の 1 つの項目である〈態度〉に着目し た誤り分析を行っている。彼らは語義曖昧性解消や連体節内の述語に及ぼす影響の解明，節間 の意味的関係の認識などが，〈態度〉に関するモダリティ解析の精度向上に向けた課題であるこ とを述べている。事実性に，より直接的に関連する〈真偽判断〉の誤り分析でも同様の結果が 得られるかどうかは明らかではない.

英語に㧈いては, Saurí and Pustejovsky (2012)や de Marneffe et al. (2012)が事実性の解析に 取り組んでいる. Saurí and Pustejovsky (2012)は，事象の成立に影響を与える手がかり表現を 利用し, 態度表明者ごとに, 確信度と肯否極性で表される事実性を, 依存構造木の根から伝搬さ せて解析する，パターンベースの決定的アルゴリズムを提案した。例えば notがあれば肯否極性 を反転させる，mayがあれば確信度を下げる，といったルールに基づいて解析を行い，F 值でマ クロ平均 $70 \%$, マイクロ平均 $80 \%$ の性能を実現している。誤り分析の結果，ルールのカバレッ ジや表現の曖昧性が大きな問題であることを報告している. Saurí and Pustejovsky (2012)のア ノテーション基準では，事実性は可能な限り客観的に判断される。一方で, de Marneffe et al. （2012）は，主観的な判断の自動推定に取り組んだ。主観的な判断とは, 例えば態度表明者の社会的な信頼性によるものである。信頼に足る組織が表明した事象の事実性は，CT+にバイア スがかかるが，表明者が不明な場合は事象の事実性は，CT－にバイアスがかかる，彼女らは， FactBank 中の各事象に対して，10名ずつアノテーションを行い，その分布を最大エントロピー

モデルによって推定した。解析性能は, 多数がアノテートしたラベルを正解とした場合に, $\mathrm{F}$值でマクロ平均 $70 \%$, マイクロ平均 $83 \%$ の性能をあげられている.

本研究では, 日本語事実性解析の課題に関して議論するために, 機能表現に基づき, 決定的 に事実性を解析するルールベースのモデルを構築し，誤り分析を行う。ここでルールベースモ デルを用いる理由としては, 機械学習に基づく手法と比べ, 出力結果がどのような要素に基づ いて選択されたかがわかりやすく, 本研究の目的とする, 日本語事実性解析における課題の分析に対して適当であると判断したためである。また，事実性に影響を与える要素はさまざま存在しており，いろいろな要素を複合的に加味したモデルが提案されてきている．しかしながら， どの要素がどの程度事実性に影響を与えるのか, という分析は十分に行われていない. そこで,事実性に影響を与える要素を切り分けることにより，事実性解析における各要素の重要性を議論し，課題の分析を行う.

## 2.3 事実性に影響を与える要素に関する研究

事実性に影響を与える要素としては, 機能表現や後続する述語, および, それらの作用する 範囲（スコープ）などがある.

(3) a. もう《〈遅い〉から、彼は先に〈帰っ〉ているだろう。

b. 問題が〈〈発生する〉のを防いた。

例えば，(3a)の事象「帰る」の事実性は，「だろう」という機能表現に影響を受け，(3b)の事象「発生する」の事実性は，「防いた」という述語に影響を受けている。また，(3a)では，「だうう」 という機能表現は「帰る」のみに影響を与え, 先行する事象「遅い」には影響しない，という ように，機能表現や後続する述語の作用する範囲，即ちスコープを特定することも，事実性解析において重要な要素だと考えられる.

事実性に影響を与える表現として，「〜ない」「〜だろう」などの機能表現があり，このような 日本語機能表現の意味に関連した研究が多く進められている。例えば，機能表現を網羅的に集 めた辞書として, 日本語機能表現辞書『つつじ』(松吉, 佐藤, 宇津呂 2007) が利用されている. この辞書は, 日本語の機能表現の表層形約 17,000 種に対して, その ID, 意味, 文法的機能, 音韻的変化などを網羅的に収録した辞書であり，機能表現の意味として，「対象」や「目的」,「名詞化」など， 89 種類のラベルが定義されている，その中には「推量」や「否定」,「疑問」など,事実性に影響を与えるラベルも多数含まれている。また，機能表現の中には表層を見ただけで は判別が難しいものも存在する。

(4) パソコンが〈壊れ〉てしまったかも知れない。

(4)では, 事象「壊れる」に対して，「てしまっ」「た」「かも知れない」という機能表現が付随 している.「知る」という表現は, 機能表現の一部として用いられるだけでなく, 述語としても 用いられるため, (4)では「かも知れない」で 1 つ機能表現として用いられている, というこ

とを判別する必要がある。このような曖昧性を解消するため，どの部分が機能表現なのかを特定し, その意味を同定する研究も行われている (鈴木, 阿部, 宇津呂, 松吉, 土屋 2011; 今村,泉, 菊井, 佐藤 2011; Kamioka, Narita, Mizuno, Kanno, and Inui 2015).

事実性に影響を与える述語に関する研究としては, 江口 他 (2010) が構築した, モダリティ解析手がかり表現辞書がある，彼らは，「防いだ」のような，拡張モダリティに影響する動詞，形容詞が存在していることに着目した。こうした動詞，形容詞が直前の事象に与える影響を記述 した，モダリティ解析のための手がかりを集めた表現辞書を作成し，機械学習による拡張モダ リティ解析を行う上で，素性として利用している。このような表現を集めた利用可能なリソー スは他に存在しておらず，この辞書を利用することでどの程度事実性解析の性能改善につなが るのか，この辞書でどの程度の述語がカバーできているのか，といったことを調査する必要が ある。

事実性を決定する上で，否定や推量などのスコープを決定することは重要だと考えられる。否定表現および推量表現のスコープを同定する研究は，近年盛んに行われている。例えばBioScope (Szarvas, Vincze, Farkas, and Csirik 2008) は，医学・生物学ドメインのテキストを対象 に，否定表現，様相表現，そして，それらのスコープをアノテーションしたコーパスであり，こ のコーパスを用いて Shared Task (Farkas, Vincze, Móra, Csirik, and Szarvas 2010; Morante and Blanco 2012) が開催されるなど，スコープを特定する研究に広く利用されている. 日本語にお いては，川添他 $(2011 a, 2011 b)$ が，テキストに現れる事実とそれ以外の情報との区別，また推量や仮定などの間に見られる確実性の差を自動的に識別するため, 様相表現, 否定表現といった 「確実性」に影響を与える言語表現を分析・分類し，それに従ってそれらの言語表現およびその スコープをアノテーションしたコーパスを構築しているが，それらの定量的な分析を行うまで には至っていない．松吉 (2014) は，否定の焦点検出システムを構築するための基盤として，日本語における否定の焦点をテキストにアノテーションする枠組みを提案し, 否定の焦点コーパ スを構築している，否定の焦点は，否定のスコープの中で特に否定される部分であるため，焦点の検出はスコープの特定と密接に関連している.

このように，事実性に影響を与える要素がいくつか存在しており，これらの要素を複合的に 考慮することで事実性を決定できると考えられる。しかしながら，どの要素がどの程度事実性 に影響を与えるのか，ということは明確ではない。本研究では，これらの事実性に影響を与え る要素を切り分け, 事実性解析における各要素の重要性を議論することにより, 課題の分析を 行う.

## 3 誤り分析を通した課題分析の方針

本節では，事実性解析に関連する種々の要素（機能表現や副詞など）について整理し，その 関連性を述べる (3.1 節)。事実性は, これらの要素が複合的に組み合わさって決定されるため,各要素の重要性を見極めるためには，これらを切り分けて分析することが肝要である． 3.2 節で は, どのようにしてそれらを切り分けるのかを述べる。 3.3 節では, 課題分析に用いるコーパス について述べ， 3.4 節では，分析に用いるルールベースの事実性解析モデルについて述べる.

## 3.1 事実性解析に関わる言語要素

先行研究によって，事実性解析に関連する言語要素は文内では大きく4つに分けられること が分かっている。事象に含まれる機能表現，疑問詞を含む副詞，文節境界を越えて事実性に影響を与える語とそのスコープ，その他の 4 種類である. 図 1 に，文内での各要素の関係を示す. ここで，事象の中心的な述語を事象表現と呼び，事象の事実性は事象表現に割り当てられると 定義する，以降の例では，〈〈〉〉で囲むことで表す。また，文中での出現位置によって事象表現 を二種類に分類する，各文につき，最も文末に近い事象表現を主事象と呼び，それ以外の事象表現を従属事象と呼ぶ。図中の矢印は，その言語要素が事象表現の事実性に影響することを示 している，以下では，その他以外の 3 つの要素について，事象表現の事実性にどのように関連 するかを述べる。なお，文をまたいだ言語要素による否定や推量も存在するが，本研究では文内の現象のみを取り扱う。

## 3.1.1 機能表現

事象表現に直接後続する機能表現（図 1 では，述語 A に対する機能表現 A, 述語 Bに対する 機能表現 B）の問題は, 多義性と表現の多様性の二つに大きく分けられる.

(5) a. 太郎は《走っ〉〉たんでしたよね態度

b. 太郎は《走る〉〉んですよね疑問

図 1 事実性に関わる言語要素の構造矢印は, 要素が事象表現の事実性に影響することを示す。

まず，多義性について，(5) に示す 2 つの例には，いずれも機能表現「よね」が出現しているが, それが示す意味は異なる。(5a) は「太郎が走る」ことを推量しているが，(5b) は「太郎が走る」 ことを確認していることから事象は成立していないことを示している。このような文を解析す るためには，機能表現の多義性の解消は必須の技術である.

(6) a. 太郎は〈〈走ら 〉ない否定。

b. 太郎は《〈走る 〉わけない否定。

c.太郎が〈〈走ら 〉ね元否定。

d. 太郎が〈走れる》もんか否定。

次に，表現の多様性について，(6) に示す 4 つ例は，いずれも「太郎が走る」という事象が成立していないということを，異なる機能表現によって記述している，そのため，否定を認識す るためには，典型的な否定の機能語である「ぬ，ない」だけでなく，「ねえ，もんか」といった 砕けた表現もとらえる必要がある.

これらに加えて，複数の表現の組み合わせの問題がある。

（7） a. 太郎は《〈走れ〉なくなる否定ようだ推量。

b. 太郎が〈〈走る》かもしれない推量。

機能表現の組み合わせは，複数の表現の意味が組み合わさって事実性を表す場合（7a）と，単語自体では意味を持たず複数の語が組み合わさってはじめて意味を持つ場合（ $7 \mathrm{~b}$ 複合辞と呼ば れる）がある。（7a)は，否定の機能表現「なくなる」と，推量の機能表現「よう」が組み合わ さることで，「太郎が走る」という事象が成立しないことを推測していることを示している。こ の事例を正しく認識するためには，機能語単位での意味ラベルだけでなく，その組み合わせに 従って事実性を演算することが必要となる。一方，(7b) は複合辞の事例であるが，「走る」に後続する 3 つ単語「かも，しれ，ない」は，ひとまとまりで推量の機能表現を構成している。こ のとき，「ない」は否定の意味を持っておらず，機能表現を解釈するには，特定の単語列を複合辞としてまとめた上でその意味を認識する必要がある.

## 3.1 .2 述語周辺の副詞

事実性は, 事象に後続する機能表現だけでなく, 周辺の副詞（図 1 では, 述語 A に対する副詞 $\mathrm{A}$ ，述語 Bに対する副詞 B）によって決定される場合がある。

(8) a. 確か太郎は《〈走っ〉〉た。

b. 太郎は果たして《走る〉のだろうか。

c. どうしたら太郎は《走る》だろう。

(8)に示す例は，いずれも下線部の副詞が事象「太郎が走る」の事実性に影響する。(8a)では,副詞がなければ事象は成立しているが，副詞「確か」が付加されることによって確信度が下が る. (8b) は, 同様に「果たして」が付加されることにより, 事象成立の確信度は大きく下がり,
どちらかといえば事象は成立しないと読み取れる。(8c) は, 下線部の副詞がなければ，推量を 意味する機能表現「だろう」により，事象の成立を推量していると読み取れる。しかし方法を 問う副詞「どうしたら」が付加されることにより，事象は成立していないと読み取れる。また, このとき「だろう」は推量の意味を持たない.

前述の例のように, 事象表現の周辺に副詞が存在する場合, 事実性に大きな影響を与える場合がある。副詞は, 用法がまとめられた辞書はあるものの (飛田, 浅田 1994), 事実性に及ぼす 影響についての研究は進められていない。よって，副詞が事実性に影響を与える事例を収集す るところから着手する必要がある.

## 3.1.3文節境界を越えて事実性に影響を与える語とそのスコープ

機能表現 B）によって，事実性が決定される場合がある.

(9) a. 太郎は《〈走る〉〉ことを拒否した。

b. 太郎は〈〈走る》と言っていたが、やめた。

c. 太郎は〈〈走り〉も歩きもしなかった否定。

d. 太郎は〈〈走った〉かが、楽しくなかった否定らしい伝閁。

(9)に「太郎が走る」という事象が，文節境界を越えた後続の述語や機能表現によって，否定あ るいは推量されている事例を示す. (9a) および (9b) は, 下線部の述語によって事象の成立が否定されている。このような述語は, 他の事象表現の事実性に及ぼす影響を決定すること, その 及ぼす範囲を決定することが重要である.

(9c) は，後続の述語「歩く」に付随する否定の機能表現「なかった」が，事象「太郎が走る」 にも影響して，その事実性が否定であることが示唆される。一方で, $(9 \mathrm{~d})$ は, 後続の述語「楽 しい」に否定の機能表現「なかった」と，伝聞の機能表現「らしい」が付随するが，事象「太郎が走る」の事実性には影響せず，この事象が成立することが読み取れる。このように，後続 の述語に付随する機能表現が，文節境界を越えて事実性に影響する場合があり，その範囲の同定は，否定／推量のスコープの問題として知られている.

## 3.2 課題分析の方針

事実性は, 3.1 節で述べた各言語要素が単体で影響するだけでなく, その組み合わせによって 決定される。

（10） a. 太郎が〈〈走ら〉ない否定というのは間違っていた。（機能表現と後続する述語の組み 合わせ)

b. たぶん太郎は〈〈走ら〉告否定。（副詞と機能表現の組み合わせ）
例えば (10a) は, 事象表現「走る」の直後にある否定の機能表現「ない」と, 後続する述語「間違っていた」が組み合わさって，事象「太郎が走る」が成立することを示している。(10b)は,副詞と機能表現の組み合わせによって，事象が成立しないことが推量されている。

課題分析においては，複合的に影響する要素は可能な限り切り分けることが重要である。そ こで，事実性が機能表現のみで決定可能であるかという点と，文節境界を越えて後続する述語や 機能表現の影響を受けるかという点の 2 つに着目して, 課題を切り分ける。機能表現は, 3.1 節 で述べた 3 種類の要素の中では, 記述的研究に基づいて体系化が進められている領域であり (森田，松木 1989; 遠藤，小林，三井，村木，吉沢 2003), 辞書も整備されている (松吉 他 2007) た め，切り分けが容易であると考えた。文節境界を越えて後続する述語や機能表現の影響を受け る場合とそうでない場合とを切り分けるために, 文の主節（日本語の場合は最も文末に近い述語節）に着目する。主節に位置する事象表現（主事象）は，文節境界を越えて後続する述語や 機能表現を持たないため，その影響を受けることはない。それ以外の事象（従属事象）は，後続の述語や機能表現の影響を受ける可能性がある。まとめると，事実性解析課題の切り分けは 図 2 のようになる。

課題の切り分けを効率的に行うために, 機能表現に基づくルールベースの事実性解析器を構築する（詳細は 3.4 節で述べる）。本解析器は, 各事象表現について, 直接後続する機能表現の 意味ラベルのみに基づいて事実性を決定する。事実性解析において，機能表現のみで事実性が 決定可能な事例は少なくないと考えられる。 そのため, 偶然正解する可能性の低い解析器を用 いることで，難度の低い事例を分析対象から除外し，課題分析に注力することができる．

本解析器を主事象に対して適用すると，正解事例は機能表現のみで決定可能な事例であると 判断できる。一方で，誤り事例は以下の 3 種類に分類できる.

図 2 事実性解析課題の切り分け

（1） 機能表現の意味ラベルや解析器のルールがナイーブであることが原因で誤ったが，機能表現のみで決定可能な事例

（2）副詞の影響を受けるため機能表現のみでは決定できない事例

(3) その他

次に，従属事象に対して適用すると，正解事例は，主事象と同様に，機能表現のみで決定可能 な事例である。一方で，誤り事例は以下の 4 種類に分類できる.

（1）文節境界を越えて影響を及ぼす述語を持つ事例

（2）文節境界を越えて影響を及ぼす機能表現を持つ事例

（3）文節境界を越えて文末側に位置する述語や機能表現の影響を受けず，機能表現の意味ラ ベルや解析器のルールがナイーブであることが原因で誤ったが，機能表現または副詞に よって決定可能な事例

(4) その他

このような誤り分析によって，事実性解析の性能を向上させるには， どの言語要素に注力する ことが重要か, また各要素の部分課題にどの程度の解析性能が要求されるのかが明らかとなる.

## 3.3 課題分析のためのコーパス構築

本研究では, 課題分析のために拡張モダリティタグ付与コーパス (松吉 他 2010 ; 松吉 他 2011)を利用する。拡張モダリティタグ付与コーパスは, 『現代日本語書き言葉均衡コーパス』 $(\mathrm{BCCWJ})^{2}$ を付与対象としており，そのうちの Yahoo!知恵袋データを利用して誤り分析を行う.拡張モダリティタグ付与コーパスを用いるのは, 事実性に関する情報が付与されており，課題分析に十分な事例数が確保できるとともに，同様の規模の利用可能なコーパスが他にないためで ある。拡張モダリティタグ付与コーパスには, Yahoo!知恵袋データの他にも, 新聞, 書籍, 白書 を対象としたデータも含まれているが，本研究ではYahoo!知恵袋デー夕を対象に分析を行い, その他のドメインに対する分析は今後の課題とする。 その理由としては以下の 2 点がある.

1. アノテーションガイドライン 3 の付録 Bに「OC（Yahoo!知恵袋）の 14,089 事象に対して は、実装した解析システムの解析結果をフィードバックさせ、それを参照しながらの夕 グ見直し作業を数回行い、タグの質を向上させている。」と記載がある。できるだけ信頼性の高いタグで誤り分析を行うため，Yahoo!知恵袋データを利用した

2. 言論マップ (水野, 渡邊, ニコルズ，村上，乾，松本 2011) や対災害 SNS 情報分析シス テム (後藤, 大竹, De Saeger, 橋本, Kloetzer, 川田, 鳥澤 2013) などの, Web デー夕 を用いたアプリケーションに対する利用を想定している

拡張モダリティタグ付与コーパスには 6,362 文が収録されている。 6,362 文のうち, 主事象に機能表現を一つ以上含む文は 5,198 文ある。そのうちの約 $30 \% て ゙ あ る ~ 1,533$ 文をランダムに選択 し, 課題分析の対象とした。この中には, 主事象が 1,533 事象, 従属事象が 2,201 事象含まれて いる。

事実性ラベルは，Saurí and Pustejovsky (2009)の体系を一部簡素にした de Marneffe et al. (2012) によるラベル体系を採用する。本体系は, 3 種類の確信度と， 3 種類の肯否極性の 2 軸に 分けて事実性を定義しており，それぞれの軸で評価できることが，課題分析に有効であると考え た. 拡張モダリティタグ付与コーパスの真偽判断タグと, 事実性ラベルとの対応を表 1 に示す.表 2 に, 本実験の解析対象である 1,533 文における, 主事象と従属事象の事実性の分布を示す.

事実性は，それを判断したのが著者なのか，あるいは文中の登場人物なのかによって変化す る. Saurí and Pustejovsky (2009) は，著者以外の文中の登場人物から見た事実性も考慮してア ノテーションを行っている。 以下に Saurí and Pustejovsky (2009)による FactBank のアノテー ション例を示す.

(11) He does not $\underline{\text { think }}_{e_{0}}$ she followed $\underline{e}_{1}$ the rules.

$
\begin{aligned}
& \mathrm{f}\left(e_{0}, \text { author }\right)=\mathrm{CT}- \\
& \mathrm{f}\left(e_{1}, \text { author }\right)=\mathrm{Uu} \\
& \mathrm{f}\left(e_{1}, \text { he_author }\right)=\mathrm{PR}-
\end{aligned}
$

$\mathrm{f}(e, \mathrm{~s})$ は態度表明者 $\mathbf{s}$ から見た事象 $e$ の事実性を示している. この文では, 著者から見た $e_{0}$ (think) の事実性が CT-, 著者から見た $e_{1}$ (followed) の事実性が Uuであることが付与されるととも に，文中の登場人物 $h e$ から見た $e_{1}$ (followed) の事実性を著者は PR-と判断している，という

表 1 確信度と肯否極性の組み合わせによる事実性のラベル

下段は拡張モダリティタグ付与コーパスの真偽判断タグとの対応

表 2 コーパス中の事実性の分布

ことが付与されている. 一方で, de Marneffe et al. (2012) は著者から見た事実性のみに焦点を 当てている，日本語においては，松吉他 (2011) が登場人物ごとの事実性判断をアノテーショ ンしている。しかしながら，彼らの構築したコーパスでは，著者が事実性を判断している事象 が，いずれのドメインにおいても 9 割前後という大きな割合を占め, 著者以外の事実性判断を 認識すべき事象は少ない. これらの事実を背景として, 本研究では著者の事実性のみを解析対象とする．著者以外から見た事実性に関しては，今後の課題とする。

機能表現に関連する問題であるかを切り分けるために，1,533 文に含まれる 3,734 個の事象に ついて，それに続く機能表現に意味ラベルを付与した．機能表現の意味ラベルは，記述的研究 (森田, 松木 1989; 遠藤 他 2003）に基づいて体系化された『つつじ』(松吉他 2007)がある. し かし, 今村他 $(2011)$ によると, 『つつじ』に掲載されていない機能表現および意味ラベルが存在する. 本研究では, 『つつじ』に不足する機能表現や意味ラベルを拡充しながら, 事象表現に 付随する機能表現の意味ラベルを付与した。『つつじ』では 89 種類の意味ラベルが定義されて いるが，1,533 文からなる本コーパスに付与された意味ラベルは 66 種類であった. 『つつじ』に は名詞に続く格助詞なども掲載されているが, それらは本研究では付与対象外であるため, 付与 されたラベルの種類は少なくなる。構築したコーパスは, BCCWJとの差分データとして, ア ノテーション仕様と合わせて公開している 4.

## 3.4 誤り分析に用いる事実性解析モデル

日本語事実性解析における課題分析のため, 挙動が明確なルールベースモデルを用いて事実性解析を行う。事実性解析器の入力は，解析対象となる事象表現，文全体の形態素情報，および 事象表現に付随する機能表現の意味ラベル列であり，入力された事象表現に対して事実性ラべ ルを付与して出力する。事実性を付与すべき事象表現の同定に関しては，あらかじめ正解を与 える。形態素情報は, UniDic 体系で与えられているが, 機能表現は IPA 辞書体系であるため,自動でマッピングを行っている。

本研究では, 事実性の解析に, 各事象表現よりも後ろにある機能表現の意味ラベルを利用す る。例えば，〈否定〉の機能表現が付随している場合には肯否極性を反転する，といった事実性更新ルールを適用する。主事象の事実性は, 文末から主事象の間に存在する，すべての機能表現の意味ラベル列に基づいて更新ルールを適用することで決定される 5 . 従属事象の事実性は,従属事象から次の内容語までの間に連なる機能表現の意味ラベル列に基づいて更新ルールを適用することで決定される. 更新ルールは以下の 3 種類を用いる.

1. 機能表現の意味ラベルが $\langle$ 否定 $\rangle\langle$ 否定意志 $\rangle\langle$ 否定推量 $\rangle\langle$ 無意味 $\rangle\langle$ 不明確 $\rangle\langle$ 不可能 $\rangle\langle$ 回避 $\rangle$
^{4} \mathrm{http} / / /$ tinyurl.com/ja-fe-corpus

5 疑問符も事実性に影響を与える要素として考えられるが，疑問符があっても，事実性が CT+である事象も少なく ないため, 本研究では採用していない.
}
$\langle$ 不必要 $\rangle\langle$ 放置 $\rangle\langle$ 困難 $\rangle$ のいずれかの場合, 肯否極性を反転する

2. 機能表現の意味ラベルが $\langle$ 推量-不確実 $\rangle\langle$ 推量-高確実性 $\rangle\langle$ 否定推量 $\rangle\langle$ 意志 $\rangle\langle$ 否定意志 $\rangle$ $\langle$ 伝聞 $\rangle\langle$ 様態 $\rangle\langle$ 容易 $\rangle\langle$ 困難 $\rangle$ のいずれかの場合，確信度を下げる

3. 機能表現の意味ラベルが $\langle$ 疑問 $\rangle\langle$ 勧誘 $\rangle\langle$ 勧め $\rangle\langle$ 願望 $\rangle\langle$ 依頼 $\rangle$ のいずれかの場合, 事実性を Uuにする

更新ルールは，機能表現の意味ラベルの定義およびその表現例にもとづき，人手で設計した. それぞれの意味ラベルにおける表現例と，コーパス中にその意味ラベルをもつ機能表現が出現 した延べ数を表 3 に示す。延べ数が 0 の意味ラベルは，分析対象のコーパスに一度も出現して いない意味ラベルである.

ルールベースモデルのアルゴリズムを Algorithm 1 に示す. 本モデルは，事象に付随する機能表現に基づく更新ルールを順次適用することで，事象の事実性を決定するモデルとなってい

表 3 更新ルールと意味ラベルの対応

る. 以下にこのアルゴリズムによる解析例を示す.

（12）小さい方がいい場合も〈〈ある〉らしい伝閒ので理由一概にそうとも《言え〉ない否定 みたい推量-不確実です判断。

主事象「言う」の事実性を決定する場合には, 付随している 3 つの機能表現「ない」「みたい」「で す」の意味ラベル列である〈否定〉〈推量-不確実〉〈判断〉に基づいて解析を行う. Algorithm 1 中の $C, P$ は, それぞれ確信度, 肯否極性の值をもつ変数であり, 最終的にこれらの組み合わせ で事実性の値を表す. 初期値として, $C$ に CT, $P$ に+を割り当てる (line 3). 次に, 文末側から 順に，機能表現の意味ラベルに対応した更新ルールを適用していく (line 4-20). まず，「です」 は〈判断〉の機能表現であり, 更新ルール 1-3のいずれにも該当しないため, $C, P$ は更新しな い. 次に,「みたい」は〈推量-不確実〉の機能表現であり, 更新ルール 2 に該当するため, $C$ を PRに更新し, $P$ は更新しない $($ line 12-16). 最後に,「ない」は〈否定〉の機能表現であり, 更新 ルール 1 に該当するため, $C$ は更新せず， $P$ をに更新する (line 5-11). 結果的に, $C=P R$, $P=$-となり, 主事象「言う」の事実性として PR－が得られる (line 21). 従属事象「ある」の

基づいて，更新ルール 2 のみを適用する (line 12-16). その結果, 従属事象「ある」の事実性は $\mathrm{PR}+$ となる.

本モデルは機能表現の意味ラベルのみを用いたシンプルなモデルであるため, 必要以上に多 く誤解析してしまう恐れがある。そこで, 既存の素性 (江口 他 2010)を，オープンソースのモ

ダリティ解析器 Zunda (水野, 成田, 乾, 大竹, 鳥澤 2013) ${ }^{6}$ に実装することで, リファレン スとなる解析性能を得る．Zunda は，拡張モダリティタグ体系に基づいて，夕グごとに線形分類器による多クラス分類を行う。まず，真偽判断夕グのラベルを表 1 に基づいて本研究の事実性ラベルに置き換える。他の 5 種類のタグについては，拡張モダリティタグをそのまま採用す る。次に，素性は，江口 他 (2010) で利用されている素性のうち, リソースが利用可能なもの を利用する。表 4 に，利用した素性の一覧と (12) から抽出される素性の例を示す.「事象選択述語が示唆する事実性」は，5.1 節で詳述するが，解析対象の素性として述語が含まれる文節 の係り先文節に含まれる述語が示唆する事実性である。例えば「たばこを /〈吸う》のを /〈ややる〉〉。について，「やめる」は係り元文節中の「吸う」が $\mathrm{CT}$ 一であることを示唆する述語であることから，「吸う」を解析するとき，その事実性が CT一であることが示唆されるとい う素性を抽出する。最後に，分類器について，江口 他 (2010) は事象間の依存構造が考慮でき る Factorial CRF (Sutton et al. 2007)を利用していたが, Zunda は LIBLINEAR (Fan, Chang, Hsieh, Wang, and Lin 2008) ${ }^{7}$ 利用している。事象間の依存関係を考慮するため, 解析対象の 事象より文末側にあり，かつ最も近傍にある事象の拡張モダリテイタグのうち，真偽判断と態度の 2 つについて，その解析結果を素性として利用する。例えば (12)では，解析対象が「ある」 のときに，素性として「言う」の解析結果を利用する． LIBLINEAR の学習アルゴリズムは，L2 正則化ロジスティック回帰を利用し，パラメータは weight を 0 亿設定した以外はデフォルトの 值を利用した (epsilon $=0.1, \operatorname{cost}=1$, bias $=-1$ ). 評価は 10 分割交差検定によって行う. 文単位で分割することによって，同一文中の複数の事象が学習データとテストデー夕に属すること はない，交差検定の段階では，主事象と従属事象は区別せずに学習させるが，精度と再現率を

表 4 機械学習モデルで用いた素性一覧および (12) における素性抽出例

 &  \\

算出する段階では, 主事象と従属事象を区別する.

ルールベースによる解析モデルを主事象に適用し，誤り分析を行うことで，機能表現のみで 事実性が決定可能な事例の割合を明らかにするとともに，副詞の影響を受ける事例がどの程度存在するのか，また，その他の要素はどのようなものがあるのかを明らかにする．次に，ルー ルベースによる解析モデルを従属事象に適用し，誤り分析を行うことで，機能表現以外の事実性を決定するための要素に関して，その重要性を定量的に分析し，事実性解析の今後の方針を 議論する。

## 4 主事象に対する事実性解析

3.4 節で構築した事実性解析器を主事象に対して適用し, 誤り分析を行うことで, 機能表現の みで決定可能な事象, 副詞の影響を受ける事象, その他の 3 種類に分類する．対象となる事象 は 1,533 事象あり，その解析結果を表 $5 ， 6$ に示す。表 5 には，確信度と肯否極性を組み合わせ た事実性の各ラベルにおける精度，再現率， $\mathrm{F}$ 値，およびそれらのマイクロ平均，マクロ平均 を示した。表 6 には，確信度と肯否極性の二軸それぞれにおける精度，再現率， $\mathrm{F}$ 值，および それらのマクロ平均を示した。これらの結果から，機能表現のみを利用したシンプルなルール ベースモデルであっても肯否極性は高い精度, 再現率で判定可能であることが分かる. 一方で,確信度については, PRの分類性能は高くない. また, 機械学習ベースのモデルでは, 機能表現 などの素性も導入されているものの, 十分な性能があげられていない. これは, 事例数の偏り や，機能表現の多様性などの要因により，事実性解析が簡単な課題ではないことを示している. ルールベースモデルと機械学習ベースのモデルとを比較すると, 全体の事例数が少なく, 大き な偏りもあるため, 機械学習ベースのモデルの方が若干不利ではあることを考慮しても，ルー

表 5 主事象に対する事実性解析の評価

 &  &  &  &  &  & 69.1 \\

ルベースモデルは，機械学習ベースのモデルと遜色ない性能を示している．このことから，本 ルールベースのモデルの性能は極端に低いわけではなく，このモデルを用いた誤りを分析する ことで，事実性解析の課題分析を行うのは妥当であるといえる.

前述の実験で正解した事象は，機能表現のみで決定可能な事象であると判断することができ る。残る 240 個の誤り事例を分析することによって，機能表現の意味ラベルあるいは事実性解析モデルが原因による誤り事例，副詞の影響を受ける事例，その他の事例に分類する。誤り分析の結果を表 7 に示す.

機能表現のみで決定可能な事例が 4 割以上と, まだ多く残されている。本実験で用いたルー ルは人手で構築しているため, ルールの改善の余地が残されている.このようなルールが改善 でき，機能表現をしっかり捉えることが出来るようになると，すでに正解できている 1,293 事例と合わせて，機能表現のみで $90.5 \%(1,387 / 1,533)$ の正解率をあげられることがわかった.

表 6 主事象に対する事実性解析の各軸ごとの評価

} & + & - & $\mathrm{u}$ & \multirow{2}{*}{} \\

表 7 誤りの種類の分布

カッコ内は，事実性のアノテーション誤りを除いた部分での誤りの割合

(13) a. ビタミンは、野菜や海草から〈〈補給する〉〉゙き当為です判断。 (正解ラベルに基づく解析 : CT+, 正解 : Uu)

b. 入札前に〈〈確認す》〉べき当為でし判断た完了態度。

（正解ラベルに基づく解析：CT+，正解：CT-）

c. 大至急オーストラリアへ書類を〈〈送ら 〉なくてはなりません当為。

（正解ラベルに基づく解析：CT+, 正解 : PR+）

(13) は，機能表現だけで事実性を決定できるものの, 現在の更新ルールが不足しているために 誤った事例である。このようなルール不足に起因する誤りとしては，〈当為〉や〈不許可〉のよ うに，更新ルールを割り当てるべき意味ラベルを追加することで改善が期待できる事例が見ら れた. (13a)の機能表現「べき」「です」はそれぞれ〈当為〉〈判断〉の意味をもっているが，これ は，〈当為〉に関する更新ルールが不足していたことによる誤りである。(13a)は〈当為〉を更新 ルール 3 の適用対象に加えれば解決する問題である．今回の分析対象のコーパス中に，〈当為〉 が付随している主事象は， 8 事例見られた，そのうち，更新ルール 3 を変更することによって， もともと正解できていた事例が 2 事例, 誤りだった事例が正解できるようになる事例が 4 事例, もともと誤っており，更新ルール 3 を変更しても正解できない事例が 2 事例あり，正解できて いた事例が誤りとなるような事例は見られなかった. 更新ルール 3 を変更しても正しく解析で きない事例を (13b), (13c) に示す. (13b)では,「確認する」に付随する機能表現列は, 〈当為 \rangle$\langle$ 判断 $\langle$ 完了 $\rangle$ 態度 $\rangle$ であるから, その事実性は CT + となるが, 正解は CT-である。この場合, 更新ルール 1 の適用対象として〈当為〉と〈完了〉の組み合わせを追加し, 更新ルール 3 は 適用しないように変更することで正しく解析することができる。〈当為〉と〈完了〉の両方が付随する事例は，コーパス中に 1 事例のみであることから，この変更による悪影響はない．本分析では，1,533 文を分析したが，このように一度しか現れない機能表現のパターンがある．従っ て，更新ルールを洗練するには，規則ベース，学習ベースのいずれのアプローチをとるにせよ，機能表現の意味ラベルのアノテーションを拡充していく必要があるであろう。(13c)は,「大至急」という副詞があることから PR+と判断されている。この事例は〈当為〉を考慮するたけけで は不十分で，「大至急」という副詞を考慮しなければならない.

一方で，副詞の影響を加味する必要がある事例は半分近くにのぼった.

(14) a. やはりこの御時世、〈〈きつい〉〉のではないでしょうか疑問？

（正解ラベルに基づく解析：Uu，正解：PR+）

b. どうやって《判別し》てるんでしょうか疑問？

（正解ラベルに基づく解析：Uu，正解：CT+)

(14) は, 機能表現だけは不十分であり, 副詞と機能表現とを組み合わせる必要がある事例であ る.いずれの事例も, 〈疑問〉の機能表現が後続しているため, 主事象の事実性は Uu と解析さ れた。しかしながら，(14a)は，問いかけではあるものの，推量の意味合いが強いため, 正解は

PR+となっている。(14b)は, 前提として起こった事象である「判別する」の方法を問う文であ るため，CT+が正解である。このような事象の事実性を決定するためには，〈疑問〉の機能表現 を利用するだけでは不十分であり，「やはり」や「どうやって」のような副詞を手がかりとし， それらを組み合わせて解析する必要がある。

(15) おそらくただの《見栄っ張り〉です。

（正解ラベルに基づく解析：CT+，正解：PR+）

(15) では，事実性に影響を与えるような機能表現は付随していないが，その代わりに副詞「お そらく」によって事実性が決定されている。どのような副詞が事実性に影響を与えるかを分類 し，手がかりとして捉える必要がある.

また，機能表現や副詞のみでは決定できない，その他の誤りとして，機能表現の省略による 誤り事例が見られた。

(16) とれないので〈〈注意〉〉!!

（正解ラベルに基づく解析：CT+, 正解：Uu）

例えば (16)では，事象「注意」で文が終わっており，機能表現が存在していないが，依頼の意味をもつ文であることが解釈できる。しかしながら，機能表現のみに基づいた解析では，機能表現が存在していないために依頼の意味を捉えられず，正しく解析することができない。そこ で，文末の感嘆符など，機能表現以外の要素を利用して解析を行わなければならない。また,「注意」で文が終わる場合には依頼文であることが多いと予測できるため，事象自身の情報を利用することで，「注意」で終わる場合には依頼であると判定する，といったことが考えられる。

形態素解析やアノテーションの誤りについて，正しい情報が与えられた場合についても検証 した。まず，形態素解析および機能表現のアノテーション誤りが解消された場合，事実性も正 しく解析可能であることが分かった。また，事実性のアノテーション誤りについては，システ ムが出力したラべルの方が正しいことが分かった.

以上より，主事象の事実性解析については，機能表現の意味ラベルが正しく解析できれば，現在の意味ラベルの体系と本研究で用いた単純な規則だけでも， $90 \%$ に近い正解率が得られるこ とがわかった. 3 節で述べたように, 現在の機能表現の意味ラベルは, 既存の記述的研究に基づ いた体系になっているが，これが事実性解析に最適な体系になっているかを評価することは容易ではない. しかし, 現在の体系でも $90 \%$ に迫る正解率が得られる余地があることは, この体系に基づく機能表現の解析モデルを研究開発することに一定の支持を与えるものと考える．今後は, Kamioka et al. (2015)のような機能表現解析の研究に注力したい.

もう一つの大きな課題は副詞の扱いである。今回得られた誤りの半数近くは副詞に起因する ものであった．意味解析における副詞の扱いは先行研究も乏しく，辞書の整備を初め，やるべ き課題は多い。まずは事実性解析という切り口で，それに関連する情報に焦点を当ててリソー スを設計・開発していく予定である.

## 5 従属事象における事実性解析

表 8,9 に，2,201 の従属事象に対して事実性解析器を適用した結果を示す. 主事象の場合と 比較すると，全体の性能は下がっており，従属事象の方が解析が難しいことがわかる．機械学習ベースのモデルと比較すると, 主事象の場合と同様に, ルールベースモデルが, 機能表現等 が素性に入った機械学習ベースのモデルと遜色ない性能を示している。従属事象の場合におい ても，本ルールベースのモデルの性能は極端に低いわけではなく，このモデルを用いた誤りを 分析することで，事実性解析の課題分析を行うのは妥当であるといえる.

従属事象において, 機能表現以外に考慮すべき要素として, どのような要素が重要なのかを定量的に分析するために, 正解ラベルを用いた場合の誤り分析を行う。主事象においては機能表現が付随している事象のみ扱ったが，機能表現が付随した主事象を含む文における従属事象を 対象としているため, 必ずしもすべての従属事象に機能表現が付随しているとは限らない。そ

表 8 従属事象に対する事実性解析の評価

 &  &  &  &  &  & 66.1 \\

表 9 従属事象に対する事実性解析の各軸ごとの評価

} & + & - & $\mathrm{u}$ & \multirow{2}{*}{} \\

こで，機能表現が付随している事象であるか否かをまず分類する．また，名詞述語なのか，動詞や形容詞といった述語なのかが，事実性解析の難易度に影響していると考えられるため，名詞述語なのか否かに従属事象を分類する 8 . 510 の誤り事例の中から，200 事例をランダムにサ ンプリングし，誤り分析を行った.

従属事象特有の誤りとしては，後続する述語の影響が事実性を決めている場合と，さらにそ の後ろの機能表現が事実性を決めている場合の 2 種類が考えられる.

(17) a. 安いものだと〈〈防水》〉は怪しいです。

（正解：PR-，システム：CT+）

b. 物語を〈〈楽しみ 》つつ、《〈冒険〉》を堪能してください。

(「楽しむ」正解：Uu，システム：CT+，「冒険する」正解：Uu，システム：CT+) （17）は，機能表現の正解ラベルを用いても正解できなかった従属事象の例である。まず (17a) の従属事象「防水する」は，事実性の正解が PR－であるが，「防水する」自身に付随している 機能表現だけでこれが決まっているわけではなく, 後続する述語であり，疑いをもっているこ とを示す表現である「怪しい」の影響が大きい。このように，従属事象に後続する述語が事実性を決めている場合を「後続する述語の影響」による誤りと分類した。このような事象の事実性を解くためには， どの述語が事実性にどういった影響を与えるかを分類する必要がある．次 に (17b)の「楽しむ」および「冒険する」は，正解が Uuであるが，(17a) と同様に，それぞれ に付随している機能表現だけでは事実性は決定できない。しかしながら, 後続する述語である 「堪能する」自身にそういった影響があるとはいえない。これは，「堪能する」を抽象的な述語「する」に置き換えた場合でも，「楽しむ」および「冒険する」の事実性が Uu と判断できるこ とから明らかである。ではどういった要素が「楽しむ」および「冒険する」の事実性を $\mathrm{Uu}$ に しているかというと，「堪能する」に付随する機能表現「ください」が影響を与えているという ことが考えられる。このように, 後続する述語ではなく, さらにその後ろに見られる機能表現 が広く影響を与えているために，事実性をうまく解析できない事例を「後方の機能表現が影響 する範囲」による誤りと分類した。このような事象の事実性を解くために, 機能表現がどの事象までその影響を与えるのかを解析する必要がある。「後続する述語の影響」と「後方の機能表現が影響する範囲」とを区別する基準としては，後続する述語を「する」などの抽象的な述語 に置き換えた場合に，事実性が変化するかどうかを考える。例えば (17a)において「怪しいで す」を「しています」と置き換えた場合，事実性が全く異なってしまう。このような述語の置 き換えを一つの判断基準として，誤りの分類を行った.

表 10 誤りの種類の分布

カッコ内は，事実性のアノテーション誤りを除いた部分での誤りの割合

誤り分析の結果を表 10 に示す。主事象の場合と同様の誤りも見られたが，従属事象特有の誤 りが誤り全体の 6 割を占めた。，特に，機能表現が付随していない名詞述語においては，機能表現が影響する範囲を考慮すべき誤りが大半を占めていることから，機能表現が影響する範囲を 捉えることの重要性を示している。以降の節では，後続する述語や機能表現が影響する範囲の ような従属事象特有の問題を解決するために，既存のコーパス中における現象を分析すること で，今後の方針について議論する。

## 5.1 事象参照表現に後続する述語に関する分析

「あり得る」のような，事実性に影響を与える述語（以降，事象選択述語と呼ぶ）について は，江口 他 (2010) が構築した辞書がある。江口 他 (2010) は，拡張モダリティを解析する手が かりとして利用するために，拡張モダリティに影響を与える表現を収録した辞書（以降，事象選択述語辞書と呼ぶ）を構築した。事象選択述語辞書は，行為・出来事を表す事象を必須格に とり得る述語を対象に，分類語彙表 (国立国語研究所 2004 ) に収録されている述語の中から，拡張モダリティに影響を与える 8,580 述語を収録している。事象選択述語辞書の項目の例を表 11 に示す。この辞書は，各述語が格にとる事象に与える影響を，直前の事象の時制および，述語 の肯否極性ごとに収録している ${ }^{9}$.この辞書のうち，真偽判断の項目が，事実性解析に利用でき ると考えられる。

(18) a. 問題が〈〈発生する〉のを防いだ。

b. 問題が〈〈発生する〉のを防がなかった。

例えば (18)の「防ぐ」という述語は, (18a)のような肯定環境下では不成立, (18b)のような否

表 11 事象選択述語辞書の記述例

 &  &  &  \\

定環境下では成立というように，事象「発生する」の肯否極性に影響を与える。(19)の「忘れ る」は，直前の事象の時制を考慮した例である.

(19) a. 彼は〈〈発言し〉たのを忘れている。

b. 彼は〈〈発言する〉のを忘れている。

事象「発言する」に対して，(19a)では過去に成立している事象であるが，(19b) では「発言す る」ことが実際には起こっておらず，不成立である。

事象選択述語に関する問題は, このような既存の辞書を手がかりとして解決できると考えら れる. 現在の辞書のカバレッジを見積もるため, 表 10 において, 後続する述語の影響が原因と された誤りである 25 事例を対象に，事象選択述語辞書がカバーできているかどうか，を人手で 分類した。例えば (17a)の「怪しい」といった述語が辞書中に登録されているかを判断する。そ して，「怪しい」が辞書中に登録されている場合，登録されている情報を利用すれば正しく事実性ラベルを選択できるのか，即ち (17a)では，「直前の事象の時制が未来」であり，「述語自身の 肯否極性が成立」である場合に，辞書に「真偽判断が低確率」と登録されているかどうか，を人手で判定した。このとき，直前の事象の時制や述語自身の肯否極性も人手で判定を行った。そ の結果, 25 事例のうち 20 事例については，事象選択述語が辞書に収録されており，辞書の情報 を利用すれば正しく事実性ラベルを選択できることがわかった．現在の辞書でも事実性解析の 精度向上に貢献できることを示している。残りの 5 事例についても，現在の辞書には収録され ていないものの，適切な情報が辞書に収録されていれば，辞書情報を用いて正しく事実性ラべ ルを選択することができる．現在の辞書でカバーできていた述語とカバーできていなかった述語を表 12 に示す.「気がある」「関係ある」などの複合表現が現在の辞書でカバーできていない 傾向が見られ, こうした多様な表現の獲得が今後重要な課題として浮かび上がった.
表 12 誤り事例における事象選択述語

## 5.2 事象間の接続表現に基づくスコープに関する分析

(17b)のように，機能表現が直接付随する事象だけでなく，従属事象にまで影響を与えるこ とによって解析に失敗した事例が，従属事象における誤りの 4 割以上を占めた。このような後方の機能表現が影響する範囲による誤りを解消するために，どのような情報が利用できるのか を分析する．本研究では，機能表現が影響する範囲を決定する問題を，機能表現のスコープを 認識する問題として扱う．スコープとは「否定などの作用が及ぶ範囲」(日本語記述文法研究会 （編）2003)であり，(20)では, 角括弧で囲まれた範囲が否定を表す機能表現のスコープとなる.

(20) a. [仕事で〈〈行っ〉〉た]のではない否定。

b. 〈〈残念〉〉なことに、[鈴木さんは〈〈来〉] 加否定た。

(20a)では,「仕事で行った」という事象が否定されている，(20b)では，「鈴木さんは来た」とい う事象が否定されており，「残念である」という事象は否定されていない。一方で，(17b)では，主事象に付随する「くださ」の影響が，従属事象である「楽しむ」「冒険する」にも影響を与 える．現在のモデルでは，スコープを機能表現の直前の事象のみとして解析を行うため，(17b) は正解できなかった，そこで，スコープを必要に応じて広げ，機能表現の影響をスコープ内の 事例に与えることで，後方の機能表現が影響する範囲による誤りを解消することができる．機能表現のスコープを広げるべき場合とそうでない場合とを認識するために，どのような情報が 利用できるのか，それらの事例の割合はどの程度なのかを分析する。
南 (1974) は，従属節内の要素の表れ方に基づき，従属節を接続助詞で分類している.

(21）a. [夕バコを飲むが] ガンのことは心配していない。

b. [夕バコを飲みながら] おしゃべりしている。

例えば (21a)では，従属節の述語的部分「飲むが」には，「飲まないが」「飲んたが」「飲みます が」「飲むだろうが」などのさまざまな要素を入れられる。一方 $(21 b)$ では,「*飲まないながら」「*飲んだながら」「*飲みましながら」「*飲むだろうながら」などを用いることは出来ず，表れ る要素が制限されている。これは, 「〜ながら」を伴う従属事象では, 主事象に付随する機能表現が否定やモダリティなどを表しており，接続表現「〜ながら」によってスコープが広がって いることを示唆している。また, 有田 (2007) は日本語の時制節性に着目することで, 南 (1974) の分類がさらに分類できることを示している。田窪 (2010) は，南 (1974)の分類を一部修正し, その分類をもとに疑問の焦点やスコープに関して議論している。このように, 主事象と従属事象をつなぐ接続表現の差によって，スコープの判断に接続表現を利用することが考えられる。 そこで，実際にコーパス中に含まれる文を対象に，機能表現のスコープが従属事象にまで及ん でいるかどうかを接続表現ごとに分類することで，スコープを考えるべき事例がどの程度存在 するのか，接続表現がスコープ解析ならびに事実性解析に利用できるのか，を明らかにする.

我々が分析の対象とした従属事象の誤り 200 件のうち, 後方の機能表現を考慮しなかったこ とによる誤りは 80 件あった（表 10 の「後方の機能表現が影響する範囲」）。これらは，(17b)の 従属事象「楽しむ」の事実性のように，文節境界を越えた後方の機能表現（この例では「くださ い」）を事実性推定に考慮していないことによる誤りである。これらの従属事象の事実性は後方 の機能表現の影響を受けるので，それぞれの従属事象は後方の機能表現のスコープの中に入っ ていることになる。上の 80 件の従属事象がそれぞれ後方の機能表現にどのように繋がっている かのパターンを調べると表 13 のような分布が得られた。主なパターンは次のとおりである.

表 13 誤り事例における接続表現の分類

直接の項 従属事象（「冒険」）が上位事象（「堪能し」）の項になっており，上位事象に付随す る機能表現（「ください」）の影響を受けるパターン

(22) 物語を楽しみつつ、《〈冒険 〉を〈〈堪能し》〉てください依頼。

テ形接続 従属事象（「活かし」）がテ形接続で後続事象（「働く」）に係っており，その後続事象の機能表現（「なかっ」）の影響を受けるパターン

(23) うまく《活かし》て《働く》ここどできなかっ否定た。

項を修飾 従属事象（「難しい」）が後続の事象表現（「ある」）の項になっている名詞（「試験」） を修飾しているパターン

(24) そんなに $\langle\langle$ 難しい〉》試験が〈〈ある 〉のでしょうか疑問？

名詞述語を修飾 従属事象（「質問し」が名詞述語（「子かな」）の名詞を修飾しており，その名詞述語の機能表現（「かな」）の影響を受けるパターン

（25）昨日楽譜何がいいって〈質問し〉た〈〈子〉》かな疑問。

これらのパターンについては，事実性解析時に後続の機能表現の影響を考慮する必要がある が，そのためには当該の従属事象が後続の機能表現のスコープ内にあるかどうかを正確に判別 する必要がある。そこで，こうした機能表現のスコープの分布についてさらにデータを拡充し て調査を行った。

拡張モダリティタグ付与コーパスのうち，2 個以上事象が含まれており，かつ，主事象の事実性が CT+ではない文を 140 文ランダムに抽出した。主事象の事実性が CT+でない文では，主事象の後ろに何らかの機能表現が付随している場合が多いため，今回の分析目的にかなうと考 えられる。140 文中には事象表現が全部で 440 個含まれ，そのうち主事象が 140 個, 従属事象 が 300 個であった. この 300 個の従属事象を対象に, 主事象に付随する機能表現のスコープ内 に従属事象が入っているか，主事象と従属事象の間にどのような接続パターンが見られるかを 人手で調査した。ただし，当該の従属事象が主事象から表層的に離れている場合は，隣接する 場合にくらべて主事象に付随する機能表現のスコープ内には入りにくいと予測されるので，表 14 では，上記 300 個の従属事象をさらに主事象に隣接する事例 140 個とそれ以外の 160 個に場合分けして集計した. ここでいう「隣接」とは, 係り受け関係にある事象の中で最も表層上近 いものを指す。係り受けは, CaboCha (工藤, 松本 2002) による自動解析結果を利用した.

表 14 ランダムに抽出した 140 文中の従属事象の分布

まず，主事象から離れた従属事象 160 個について，従属事象が主事象と同じスコープ内に入つ ているかどうかを調べた。表 14 に示すように，スコープ内に入っている従属事象が 11 個，ス コープ外にある従属事象が 147 個，後方の機能表現ではなく事象選択述語の影響を加味すべき 事象が 2 個であり，「スコープ外」への偏りが極めて大きいことがわかった. すなわち，主事象 から離れた従属事象が主事象の機能表現の影響を受けることは極めてまれで，その可能性を事実性解析プロセスの中で考慮しても精度のゲインはほとんど期待できない.

つぎに，当該従属事象が主事象に隣接している事例 140 個の分布を表 14 に示す。上段の「ス コープ内が見られた表現」には，従属事象が主事象に付随する機能表現のスコープ内に入って いる場合が一度でも観察された接続パターンを並べた。「〜てから」のように表 13 に入ってい るが，上記 140 個の事例の中には出現しなかったものも含めてある．表 13 と表 15 をわせる

表 15 主事象と最も近い従属事象との間の接続表現の分類

と興味深い知見が得られる．表 13 の誤りを解消するためには，主として「直接の項」「テ形接続」「項を修飾」「名詞述語を修飾」などの接続パターンのスコープを決定する必要があるが, こ のうち「直接の項」をのぞく 3 つのパターンはいずれもスコープ内外の選択が高度に曖昧であ り (例えば「テ形接続」は「スコープ内」が 5 件,「スコープ外」が 9 件), これらのパターン のスコープを決定する課題に注力することに一定の効用があることがわかる. (26)に「テ形接続」でスコープ内外が異なる例を示す.

(26) a. うまく《活かし 〉て〈〈働く》〉ことができなかつ否定た。（スコープ内）

b. 諸事情が〈〈あっ 〉て《〈離婚する》ことができなかつ否定た。（スコープ外）

一方，「直接の項」については，つねにスコープ内であると判断してもよい。また，「〜が」「〜 ので」「〜たら」などの接続パターンは「スコープ外」への偏りが大きく, 決定的に「スコープ 外」と決めても大きなリスクにはならない可能性がある。その他の接続パターンに関しても， ある程度の偏りが見られ, 規則ベースで決めても問題はないと考えられる. 離れた事象と比較 して，隣接する事象のほうがスコープ内に入る場合が多いことから，事実性解析プロセスの中 で隣接事象のスコープを考慮することによって，ある程度のゲインが期待できる.

隣接事象のスコープを考慮することが，事実性解析の性能改善に繋がるのかを検証するため に，隣接事象のスコープを付与し，それを考慮した解析モデルを適用して，誤り分析を行う。ま ず，隣接事象対に対して同じスコープ内に入るかを人手で付与する。例えば (26a)では，「活か す」と「働く」は同じスコープ内に入ると付与し， (26b)では, 「ある」と「離婚する」は同じス コープに入らないと付与する。次に，解析モデルを，スコープを考慮したものに拡張する。同 じスコープに入ると付与された事象対について, 前件の事象（文頭側の事象）については, 自身に付随する機能表現の意味ラベル列に加えて，後件の事象（文末側の事象）に付随する機能表現の意味ラベル列についても考慮して，事実性の更新ルールを適用する．例えば (26a)では 「活かす」と「働く」が同じスコープ内であり，(26b)では「ある」と「離婚する」が同じスコー プ内にはない，というアノテーションを行う。このアノテーションを利用し, 3.4 節で述べた解析モデルを拡張することで，事実性の解析を行う，具体的には，「同じスコープ内である」と付与された事象対のうち, 前件の事象については, 前件の事象自身に付随する機能表現の意味ラ ベル列に加えて, 後件の事象に付随する機能表現の意味ラベル列に基づいた更新ルールを適用 することで，事実性を決定する．例えば (26a)では「活かす」と「働く」が同じスコープ内で あるため,「活かす」の事実性を決定する際には，「活かす」自身の機能表現がもつ更新ルール を適用する（今回は更新ルールをもつ機能表現は付随していない）だけでなく,「働く」に付随 する機能表現である「なかっ」がもつ更新ルール 1 も適用する.

1,533 文のうち, 2 個以上事象が含まれており, かつ, 主事象の事実性が $\mathrm{CT}+$ ではない 441 文 を抽出し, その中で係り受け関係にある 900 事象対に対してスコープのアノテーションを行っ た. その結果, 同じスコープ内に入ると判断されたのは 120 事象対であった. これらの事象対

のうち, 後件の事象の事実性はスコープに関わらず変化しないが，前件の事象の事実性はスコー プを利用することによって，後件の事象に付随する機能表現の影響を受けて変化する．前件の 事象 120 事象における事実性解析の性能を表 16 , 事実性解析性能の変化を表 17 に示す。事例数 の変化を見ると, 改善事例が多く， 36 事例見られたものの，スコープを考慮しても誤る事例も 51 事例見られた。しかしながら，その誤り原因を確認すると， 51 事例のうち 32 事例は事実性 のアノテーション誤りであり，システムは正しく事実性を解析することができていた。それ以外の事例において，スコープを考慮しても正解できなかったものとしては，以下の事例がある.

(27) あなた自身が〈〈貯金する〉〉せを〈〈つけ〉〉いと当為。

(「つける」正解：Uu，スコープ無：CT+，スコープ有：CT+)

（「貯金する」正解：Uu，スコープ無：CT+, スコープ有：CT+）

(27) では,「貯金する」と「つける」が同じスコープ内にあると判断された事例であるが，従属事象「貯金する」だけでなく，主事象「つける」も誤りとなっている。主事象「つける」が誤っ た原因は，主事象における誤り分析で述べたように，主事象に付随する機能表現である〈当為〉 のルールが不足していることである。このルールが追加されれば, 主事象の改善とともに, 同一スコープ内の事象である「貯金する」も同時に正しく判定できるようになる。このように，主事象で見られた誤りを改善することで，スコープ内と判断された従属事象の性能改善にもつな がる事例が 19 事例見られた．スコープを考慮した事実性解析を行うことで， CT+以外の性能,特に再現率を向上させることができるため, マクロ平均はスコープを考慮した方が大きく上回

表 16 スコープのアノテーションによる事実性解析性能

 &  &  &  &  &  & 52.5 \\

表 17 スコープのアノテーションによる事実性解析結果の変化

る性能となった。このことから，隣接事象対のスコープ判定を精緻に行うことが，事実性解析 の性能向上に貢献することを確認することができた.

以上の観察を合わせると，次のことが言える.
- 調査した接続パターンのうち，誤りの半分近く $(36 / 80)$ にあたる「直接の項」は我々の 分析データを見る限り，全ての場合においてスコープ内に来るので，述語項構造解析の 結果に基づいてスコープを広げることにより，事実性解析の性能を向上させることがで きる.

・ 誤りのうち 4 割以上 $(33 / 80)$ にあたる「テ形接続」「項を修飾」「名詞述語を修飾」等の 接続パターンの場合には，スコープ内外の選択が高度に曖昧であり，これらのパターン のスコープを決定する課題に注力することに一定の効用があることがわかる.
- スコープを人手で付与し, 事実性解析に取り入れることで, CT+以外の性能, 特に再現率を向上させることができるため，マクロ平均はスコープを考慮した方が大きく上回る 性能を得られる。このことから，隣接事象対のスコープ判定を精緻に行うことが，事実性解析の性能向上に貢献することを確認できた.

## 6 おわりに

事実性解析には，事象に含まれる機能表現，疑問詞を含む副詞，文節境界を越えて事実性に 影響を与える語とそのスコープ，その他の 4 種類の問題が含まれている．それぞれは単独でも 一つの研究課題になるほどに，容易な問題ではないが，事実性解析ではさらにその組み合わせ があるため，性能の向上が難しい，本研究では，事実性解析の課題分析を行うために，機能表現のみを用いたルールベースの事実性解析器を構築し，1,533 文に含まれる 3,734 事象に適用し た結果の誤りを分析した。このとき全ての事象表現について，述語に続く機能表現に対して意味ラベルを付与した。

主事象の事実性解析については，機能表現の意味ラベルが正しく解析できれば，現在の意味ラ ベルの体系と本研究で用いた単純な規則だけでも， $90 \%$ に近い正解率が得られることがわかっ た. 本研究で用いた規則は人手で構築したものであるため，その整備は必要ではあるものの, それよりもむしろ, 現在の機能表現の意味ラベル体系に基づいて機能表現解析モデルの研究開発を行うことに一定の支持を与えるものと考える。また，機能表現解析の問題を除けば，誤り の半数は副詞に起因するものであった。したがって，事実性解析は副詞の意味解析の研究を動機付ける良い課題となりうる.

従属事象の事実性解析は, 主事象に比べて考慮すべき要素が多く, 性能も低い. 従属事象で のみ考慮すべき要素は大きく二つあり，文節境界を越えて事実性に影響を与える述語と，従属事象に直接付随しない機能表現の影響である。文節境界を越えて事実性に影響を与える述語に

ついては，既存の事象選択述語辞書が一定のカバレッジを持っており，これを利用することで 誤りの多くを解消できる可能性がある。しかし，複合語のカバレッジに問題があるなど，こj したリソースの整備が今後の課題であることがわかった.

従属事象に直接付随しない機能表現については，直接の親の事象に付随する機能表現の影響 を受ける可能性があるが，その他の事象表現に付随する機能表現の影響はほとんど無視できる ことも明らかになった．前者の場合については，誤りの半分近く $(36 / 80)$ にあたる「直接の項」 は我々の分析データを見る限り，全ての場合においてスコープ内に来るので，述語項構造解析 の結果に基づいてスコープを広げることにより，事実性解析の性能を向上させることができる.一方で，誤りのうち 4 割以上 $(33 / 80)$ 「テ形接続」「項を修飾」「名詞述語を修飾」等の接続パ ターンの場合には，スコープ内外の選択が高度に曖昧であり，これらのパターンのスコープを決定する課題に注力することに一定の効用があることかがわかる。それ以外の主要な接続パター ンはスコープの範囲を規則ベースで決めても大きな問題は生じそうにない．また，離れた事象対と比較して，隣接事象対のスコープを特定する方が，事実性解析に対して大きなゲインが期待できる。実際にスコープを人手で付与し, 事実性解析に取り入れることで, CT+以外の性能,特に再現率を向上させることができた. このことから，隣接事象対のスコープ判定を精㮹に行 うことが，事実性解析の性能向上に貢献することを確認できた.

本研究で報告した誤り分析・課題分析は「Yahoo!知恵袋」のコーパスを用いており，他のド メインやスタイルの文章で同様の傾向が得られるかは明らかでない.今後は調査の範囲を広げ,問題の性質の一般化を図る。また，本研究では，機能表現の意味ラベルに関して正解を与える ことで，人手で構築した規則ベースのモデルでも，主事象においては $90 \%$ 近くの正解率となり， ある程度の性能をあげられることを示した．機能表現の意味ラベルを人手で与えることで，更新ルールや辞書の改善によって得られるゲインよりもかなり大きなゲインが得られていると考 えられる，このことから，更新ルールや辞書の整備も必要な課題ではあるものの，今後は，本研究では正解を与えた, 機能表現の意味ラベルを自動で解析する課題に注力することが重要で あると考える。従属事象においては，主事象同様に機能表現解析も重要な要素となるが，特に 隣接する事象が同一スコープに入るか否かを自動で解析することが，事実性解析の性能向上に 寄与することが明らかになっている。人手で与えていたスコープを自動で解析することが重要 な課題であると考える。

## 謝 辞

本研究は，文部科学省科研費 (15H01702), JST 戦略的創造研究推進事業 CREST，および，文部科学省「ビッグデータ利活用のためのシステム研究等」委託事業「実社会ビッグデータ利活用のためのデータ統合・解析技術の研究開発」の一環として行われた.

## 参考文献

有田節子 (2007). 日本語条件文と時制節性. くろしお出版.

de Marneffe, M.-C., Manning, C. D., and Potts, C. (2012). "Did It Happen? The Pragmatic Complexity of Veridicality Assessment." Computational Linguistics, 38 (2), pp. 301-333.

江口萌, 松吉俊, 佐尾ちとせ, 乾健太郎, 松本裕治 (2010). モダリティ, 真偽情報, 価值情報を 統合した拡張モダリティ解析. 言語処理学会第 16 回年次大会発表論文集, pp. 852-855.

遠藤織枝, 小林賢次, 三井昭子, 村木新次郎, 吉沢靖 (編) (2003). 使い方の分かる類語例解辞典 新装版. 小学館.

Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., and Lin, C.-J. (2008). "LIBLINEAR: A Library for Large Linear Classification." Journal of Machine Learning Research, 9, pp. 1871-1874.

Farkas, R., Vincze, V., Móra, G., Csirik, J., and Szarvas, G. (2010). "The CoNLL-2010 Shared Task: Learning to Detect Hedges and Their Scope in Natural Language Text." In Proceedings of the 14th Conference on Computational Natural Language Learning - Shared Task, pp. 1-12.

後藤淳, 大竹清敬, Stijn De Saeger, 橋本力, Julien Kloetzer, 川田拓也, 鳥澤健太郎 (2013).質問応答に基づく対災害情報分析システム. 自然言語処理, 20 (3), pp. 367-404.

原一夫，乾健太郎 (2008). 事態抽出のための事実性解析. 情報処理学会研究報告, 2008-FI-89, 2008-NL-183, pp. 75-80.

Hickl, A. (2008). "Using Discourse Commitments to Recognize Textual Entailment." In Proceedings of the 22nd International Conference on Computational Linguistics, Vol. 1, pp. 337-344.

飛田良文, 浅田秀子 (1994). 現代副詞用法辞典. 東京堂出版.

今村賢治, 泉朋子, 菊井玄一郎, 佐藤理史 (2011). 述部機能表現の意味ラベルタガー. 言語処理学会第 17 回年次大会発表論文集, pp. 308-311.

Inui, K., Abe, S., Hara, K., Morita, H., Sao, C., Eguchi, M., Sumida, A., Murakami, K., and Matsuyoshi, S. (2008). "Experience Mining: Building a Large-Scale Database of Personal Experiences and Opinions from Web Documents." In Proceedings of the 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology-Volume 01, pp. 314-321.

Kamioka, Y., Narita, K., Mizuno, J., Kanno, M., and Inui, K. (2015). "Semantic Annotation of Japanese Functional Expressions and its Impact on Factuality Analysis." In Proceedings of The 9th Linguistic Annotation Workshop, pp. 52-61.

Karttunen, L. and Zaenen, A. (2005). "Veridicity." In Katz, G., Pustejovsky, J., and Schilder, F. (Eds.), Annotating, Extracting and Reasoning about Time and Events, No. 05151 in Dagstuhl

Seminar Proceedings.

川添愛, 齊藤学, 片岡喜代子, 崔栄殊, 戸次大介 (2011a). 確実性判断のためのアノテーション

済みコーパスの構築. 言語処理学会第 17 回年次大会発表論文集, pp. 143-146.

川添愛, 齊藤学, 片岡喜代子, 崔栄殊, 戸次大介 (2011b). 言語情報の確実性に影響する表現

およびそのスコープのためのアノテーションガイドラインVer.2.4. テクニカル・レポート，

Department of Information Science, Ochanomizu University, OCHA-IS 10-4.

国立国語研究所 (2004). 分類語彙表. 大日本図書.

工藤拓, 松本裕治 (2002). チャンキングの段階適用による日本語係り受け解析. 情報処理学会論

文誌, 43 (6), pp. 1834-1842.

益岡隆志 (2007). 日本語モダリティ探求. くろしお出版.

松吉俊 (2014). 否定の焦点情報アノテーション. 自然言語処理, 21 (2), pp. 249-270.

松吉俊, 佐尾ちとせ, 乾健太郎, 松本裕治 (2011). 拡張モダリティタグ付与コーパスの設計と

構築. 言語処理学会第 17 回年次大会発表論文集, pp. 147-150.

松吉俊, 江口萌, 佐尾ちとせ, 村上浩司, 乾健太郎, 松本裕治 (2010). テキスト情報分析のた

めの判断情報アノテーション. 電子情報通信学会論文誌 D, J93-D (6), pp. 705-713.

松吉俊, 佐藤理史, 宇津呂武仁 (2007). 日本語機能表現辞書の編纂. 自然言語処理, $14(5)$,

pp. 123-146.

南不二男 (1974). 現代日本語の構造. 大修館書店.

水野淳太, 成田和弥, 乾健太郎, 大竹清敬, 鳥澤健太郎 (2013). 拡張モダリティ解析器の試作

と課題分析. ALAGIN \& NLP 若手の会合同シンポジウム.

水野淳太, 渡邊陽太郎, エリックニコルズ, 村上浩司, 乾健太郎, 松本裕治 (2011). 文間関係

認識に基づく賛成・反対意見の俯瞰. 情報処理学会論文誌, 52 (12), pp. 3408-3422.

Morante, R. and Blanco, E. (2012). "*SEM 2012 Shared Task: Resolving the Scope and Focus of Negation." In *SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the Main Conference and the Shared Task, pp. 265-274.森田良行, 松木正恵 (1989). 日本語表現文型用例中心・複合辞の意味と用法. アルク.

日本語記述文法研究会 (編) (2003). 現代日本語文法 3. くろしお出版.

Saurí, R. (2008). "FactBank 1.0 Annotation Guidelines." http://www.cs.brandeis.edu/ roser/pubs/fb_annotGuidelines.pdf.

Saurí, R., Littman, J., Gaizauskas, R., Setzer, A., and Pustejovsky, J. (2006). "TimeML Annotation Guidelines, Version 1.2.1." http://www.timeml.org/site/publications/ timeMLdocs/annguide_1.2.1.pdf.

Saurí, R. and Pustejovsky, J. (2007). "Determining Modality and Factuality for Text Entailment." In Proceedings of the International Conference on Semantic Computing, pp. 509-516.

Saurí, R. and Pustejovsky, J. (2009). "FactBank: A Corpus Annotated with Event Factuality."

Language Resources and Evaluation, 43 (3), pp. 227-268.

Saurí, R. and Pustejovsky, J. (2012). "Are You Sure that This Happened? Assessing the Factuality Degree of Events in Text." Computational Linguistics, 38 (2), pp. 261-299.

Sutton, C., McCallum, A., and Rohanimanesh, K. (2007). "Dynamic Conditional Random Fields: Factorized Probabilistic Models for Labeling and Segmenting Sequence Data." The Journal of Machine Learning Research, 8, pp. 693-723.

鈴木敬文, 阿部佑亮, 宇津呂武仁, 松吉俊, 土屋雅稔 (2011). 大規模階層辞書と用例を用いた日本語機能表現の解析.『現代日本語書き言葉均衡コーパス』完成記念講演会予稿集, pp. 105-110.

Szarvas, G., Vincze, V., Farkas, R., and Csirik, J. (2008). "The BioScope Corpus: Annotation for Negation, Uncertainty and Their Scope in Biomedical Texts." In Proceedings of the Workshop on Current Trends in Biomedical Natural Language Processing, pp. 38-45.

田窪行則 (2010). 日本語の構造 推論と知識管理. くろしお出版.

梅澤俊之, 西尾華織, 松田源立, 原田実 (2008). 意味解析システム SAGE の精度向上とモダリティ の付与と辞書更新支援系の開発. 言語処理学会第 14 回年次大会発表論文集, pp. 548-551.

## 略歴

成田 和弥：2015 年東北大学大学院情報科学研究科博士後期課程科目修了退学.同年より同研究科研究員, 現在に至る. 自然言語処理の研究に従事.

水野 淳太：2012 年奈良先端科学技術大学院大学情報科学研究科博士課程修了.同年より東北大学大学院情報科学研究科研究員. 2013 年より独立行政法人情報通信研究機構耐災害 ICT 研究センター研究員, 現在に至る. 博士 (工学).自然言語処理, 耐災害情報通信の研究に従事. 情報処理学会, 人工知能学会各会員.

上岡 裕大：2014 年東北大学工学部情報知能システム総合学科卒業. 同年, 同大学大学院情報科学研究科博士前期課程に進学, 現在に至る. 自然言語処理 の研究に従事. 情報処理学会学生会員.

菅野 美和：2013 年より東北大学大学院情報科学研究科技術補佐員, 現在に至 る. 自然言語処理研究データのアノテーションに従事.

乾健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同研究科助手, 九州工業大学助教授. 奈良先端科学技術大学院大学助教授を経て, 2010 年より東北大学大学院情報科学研究科教授, 現在に至る. 博士 (工学).自然言語処理の研究に従事. 情報処理学会, 人工知能学会, ACL, AAAI 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/