# 基づく機械学習による自動分類

大山 浩美 $\dagger$ $\cdot$ 小町守柿 ・松本 裕治 $\dagger$
}

近年, 様々な種類の言語学習者コーパスが収集され, 言語教育の調査研究に利用されて いる。ウェブを利用した言語学習アプリケーションも登場し, 膨大な量のコーパスを収集することも可能になってきている。学習者が生み出した文には正用だけでなく誤用 も含まれており, それらの大規模な誤用文を言語学や教育などの研究に生かしたいと考 えている、日本語教育の現場では, 学習者の書いた作文を誤用タイプ別にし, フィード バックに生かしたい需要があるが, 大規模な言語学習者コーパスを人手で分類するのは 困難であると考えられる。 そのような理由から, 本研究は機械学習を用いて日本語学習者の誤用文を誤用タイプ別に分類するというタスクに取り組む. 本研究は, 以下の手順 で実験を行った。まず，誤用タイプが付与されていない既存の日本語学習者コーパスに 対し, 誤用タイプ分類表を設計し, 誤用タイプのタグのアノテーションを行った. 次 に，誤用タイプ分類表の階層構造を利用して自動分類を行う階層的分類モデルを実装し た. その結果, 誤用タイプの階層構造を利用せず直接多クラス分類を行うベースライン 実験より 13 ポイント高い分類性能を得た。また, 誤用タイプ分類のための素性を検討 した。機械学習のための素性は, 単語の周辺情報, 依存構造を利用した場合をべースラ イン素性として利用した。言語学習者コーパスの特徴として, 誤用たけではなく正用も 用いることができるため, 拡張素性として正用文と誤用文の編集距離, ウェブ上の大規模コーパスから算出した正用箇所と誤用箇所の置換確率を用いた。分類精度が向上した 誤用タイプは素性によって異なるが，全ての素性を使用した場合は分類精度がベースラ インより 6 ポイント向上した.

キーワード：機械学習, 誤用タイプ自動分類, 日本語学習者, 学習者コーパス, 誤用コーパス,編集距離，置換確率，階層的アノテーション
## Hierarchical Annotation and Automatic Error-Type Classification of Japanese Language Learners' Writing

\author{
Hiromi Oyama $^{\dagger}$, Mamoru Komachi $^{\dagger \dagger}$ and Yuji Matsumoto ${ }^{\dagger}$
}

Recently, various types of learner corpora have been compiled and utilized for linguistic and educational research. As web-based application programs have been developed for language learners, we can now collect a large amount of language learners' output on the web. These learner corpora include not only correct sentences but also incorrect ones, and we aim to take advantage of the latter for linguistic and educational research. To this end, this study aims to automatically classify incorrect sentences

written by learners of Japanese according to error types (or classes) by a machinelearning method. First, we annotate a corpus of the learners' writing with error types defined in a tree-structured class set. Second, we implement a hierarchical error-type classification model using the tree-structured class set. As a result, the proposed method performs better in the error-classification task than in the flat-structured multiclass classification baseline model by 13 points. Third, we explore features for error-type classification tasks. We use contextual information and syntactic information, such as dependency relations, as the baseline features. In addition, because a corpus of language learners contains not only correct sentences but also incorrect ones, we propose two extended features: the edit distance between correct usages and incorrect ones and the substitution probability at which characters in a sequence change to other characters. Although the performance varies according to error types, the proposed model with all features outperforms the model with the baseline features by six points.

Key Words: Machine Learning, Error Type Classification, Learners of Japanese, Learner Corpora, Error Corpus, Edit Distance, Substitution Probability, Hierarchical Annotation

## 1 はじめに

近年，ビッグデー夕に象徴されるように，世の中のデー夕量は飛躍的に増大しているが，教育分野ではそれらのデータをまだ十分に活用している状態には至っていない。例えば，Lang-8 という SNS を利用した言語学習者のための作文添削システムがある。現在，このウェブサイトは 600,000 人以上の登録者を抱えており，90の言語をサポートしている。このサイトでは，ユーザーが目標言語で書いた作文を入力すると，その言語の母語話者がその作文を添削してくれる．このウェブサー ビスにより蓄積されたデータは，言語学習者コーパスとして膨大な数の学習者の作文を有している ${ }^{1}$ それらは言語学習者コーパスとして調査や研究のための貴重な大規模資源となりえるが，それらを教師や学習者がフィードバックや調査分析などに利用したい場合, 誤用タイプの分類などの前処理が必要となる.

しかしながら, 日本語教師のための学習者コーパスを対象とした誤用例検索システムを構築するというアプリケーションを考えると，誤用タイプに基づいて得られる上位の事例に所望の誤用タイプの用例が表示されればよい。つまり, 人手で網羅的に誤用タイプの夕グ（以後, 「誤用タグ」と呼ぶ）を付与することができなくても，一定水準の適合率が確保できるのであれば，自動推定した結果を活用することができる.

そこで，本稿では実用レベル（例えば， 8 割程度）の適合率を保証した日本語学習者コーパスへの
^{1}$ http://lang-8.com
}
誤用タグ付与を目指し，誤用タイプの自動分類に向けた実験を試みる。学習者の作文における誤用についてフィードバックを行ったり，調査分析したりすることは，学習者に同じ誤りを犯させないようにするために必要であり, 学習者に自律的な学習を促すことができる (Holec 1981; 梅田 2005). そのため，学習者の例文を誤用タイプ別に分類し，それぞれの誤用タイプにタグを付与した例文検索アプリケーションは教師や学習者を支援する有効なツールとなり得る. 現在まで, 誤用夕グ付与作業は人手に頼らざるを得なかったが, Lang-8のようなウェブ上の学習者コーパスは規模が大きく, かつ日々更新されるため, 人手によって網羅的に誤用夕グを付与することは困難である。誤用タイプの自動分類を行うことで, 誤用タグ付与作業を行う際, 人手に頼らなくてもよくなり, 人間が誤用タグ付与を行う際の判定の不一致や一貫性の欠如などの問題を軽減しうる。これまでは, このような誤用タグの自動付与というタスクそのものが認知されてこなかったが, 自動化することで大規模学習者コーパスを利活用する道を拓くことができ, 新たな応用や基礎研究が発展する可能性を秘めている。

今回, 誤用タグが付与されていない既存の日本語学習者コーパスに対し, 階層構造をもった誤用タイプ分類表を設計し，国立国語研究所の作文対訳 DBの事例に対してタグ付け作業を行った．次に，階層的に誤用タイプの分類を行う手法を提案し，自動分類実験を行った。誤用タイプ分類に用いるベースライン素性として, 単語の周辺情報, 統語的依存関係を利用した. さらに, 言語学習者コーパスから抽出した拡張素性として1) 正用文と誤用文の文字列間の編集距離，2）ウェブ上の大規模コーパスから算出した正用箇所と誤用箇所の置換確率を用い, それらの有効性を比較した. 本研究の主要な貢献は, 以下の 3 点である.

・誤用タグが付与されていない国語研の作文対訳DB に誤用タグを付与し, NAIST 誤用コー パスを作成した，異なるアノテーターによって付与されたタグの一致率が報告された日本語学習者誤用コーパスは, 我々の知る限り他に存在しない.
- NAIST 誤用コーパスを対象に機械学習による誤用タイプ自動分類実験を行い，かつアプリケーションに充分堪えうる適合率を実現した（8 割程度)．英語学習者コーパスの誤用タイプの自動分類タスクは過去に提案されている (Swanson and Yamangil 2012) が, 日本語学習者コーパスの誤用タイプの自動分類タスクに取り組んだ研究はこれが初めてであり, 将来的には学習者コーパスを対象とした誤用例検索システムを構築するアプリケーションの開発を目指しているため，その実現化に道筋を付けることができた。
- タグの階層構造を利用した階層的分類モデルを提案し, 階層構造を利用しない多クラス分類モデルと比較して大幅な精度向上を得られることを示した. また，英語学習者の誤用タイプ自動分類で提案されていた素性に加え, 大規模言語学習者コーパスから抽出した統計量を用いた素性を使用し，その有効性を示した。

## 2 関連研究

現在, 研究・教育目的で利用されている日本語学習者コーパスは, 大阪大学の寺村コーパス (寺村 $1990)^{2}$, 名古屋大学の学習者コーパス (大曽, 杉浦, 市川, 奥村, 小森, 白井, 滝沢, 外池 1997) ${ }^{3}$,東京外国語大学の「オンライン日本語「誤用コーパス」辞典」44, 筑波大学の「日本語学習者作文コーパス」(李, 林, 宮岡, 柴崎 2012$)^{5}$, 大連理工大学の中国人日本語学習者による日本語作文コー パス (清水, 宋, 孟, 杜, 壇辻 2004), 国立国語研究所（国語研）で収集された「日本語学習者による日本語作文と, その母語訳との対訳データベースオンライン版」6（以下, 作文対訳 DB）（デー 夕総数は 2009 年時点で 1,754 件）がある.

上記の作文対訳 DB は, 大規模な日本語学習者コーパスの1つであるが, 誤用タイプの情報が付与されていなかった。上記のコーパスのうち, 作文対訳 DB 以外のコーパスは誤用夕グが付与されているが，夕グが一部にしかついていなかったり，入手ができなかったり，コーパスそれぞれにおいて誤用タグの分類基準が異なっていたりする。また, 既存の言語学習者コーパスは言語学や教育の目的で収集されたもので, 自動分類や誤用検出・訂正などの機械処理を考慮した設計にはなっていないため, 人手アノテーション以外の分類処理には必ずしも向いていない，具体的には，コーパスのタグ付けに関するアノテーションの一致率が報告されておらず，機械処理に適した誤用タグ体系になっているかどうか不明である。そこで，今回機械学習用に誤用夕グを付与した NAIST 誤用コーパスを作成した。

また, 自動で誤用検出, 誤用タイプ分類を行うといった言語学習者コーパス整備作業に関する研究は, 英語教育においても日本語教育においても様々なタスクで進められている. 例えば, 英語教育において以下のような研究が行われている。 誤用判定として, 英語のスペルミス検出研究 (WilcoxO'Hearn, Hirst, and Budanitsky 2008), 英語の名詞の可算性 (数えられる名詞), 不可算性 (数えられない名詞) の誤用検出研究 (Brockett, Dolan, and Gamon 2006; 永田, 若菜, 河合, 森広, 桝井,井須 2006), 前置詞の誤用検出に関する研究 (Chodorow, Tetreault, and Han 2007; De Felice and Pulman 2007, 2008; Tetreault and Chodorow 2008; Gamon, Gao, Brockett, Klementiev, Dolan, Belenko, and Vanderwende 2008), 冠詞誤用検出に関する研究 (Han, Chodorow, and Leacock 2006; De Felice and Pulman 2008; Gamon et al. 2008; Yi, Gao, and Dolan 2008; 永田, 井口, 脇寺, 河合, 桝井, 井須 2005) がある. 日本語を対象とする研究では, 格助詞を対象とした研究が多い (大木, 大山, 北内, 末永, 松本 2011; Oyama, Matsumoto, Asahara, and Sakata 2008; 今枝, 河合, 石川, 永田, 桝井 2003; 南保, 乙武, 荒木 2007 ; Suzuki and Toutanova 2006; 今村, 齋藤, 貞光, 西川
^{6} \mathrm{http} / / /$ jpforlife.jp/taiyakudb.html
}

2012). さらに，誤用タイプに特に着目せずに文を誤用文と正用文とに分類する研究もある (Sun， Liu, Cong, Zhou, Xiong, Lee, and Lin 2007; 水本, 小町, 永田, 松本 2013).

これらの誤用検出タスクにおいて，対象となる誤用タイプは限定されている。つまり，誤用タイプがあらかじめわかっていることが前提である。 さらに，誤用タイプを網羅的に夕グ付けするような研究は以下に示す 1 件を除いて存在しない。実際の言語学習者コーパスでは教師によって添削された正用例があったとしても，誤用タイプまで示すことは稀であり，誤用タイプを網羅的にタグ付けし，誤用例を検索できるようにすることは困難である。

誤用タイプ分類タスクを行っているのは， Swanson and Yamangil (2012)のみである。彼らは英語学習者の誤用タグ付きコーパスを用いた教師あり学習による多クラス分類によって，誤用箇所を与えた上で，誤用タグが付与された文を入力とし15 クラスの誤用タイプにに分ける実験を最大エントロピー法で行っている。しかし，日本語における誤用タイプ分類実験はまだ見られない。また， Swanson and Yamangil (2012) は既存の英語学習者コーパスを用いて自動分類器を学習しているが，自動分類に適した誤用タイプのタグ集合を設計しているわけではない，言い換えると，タグの体系が自動分類の精度に与える影響は考慮されていない。さらに，彼らの自動分類器で用いられていた素性は誤用・正用の対応に基づく文字列・単語（品詞）情報，そして文脈素性としては直前の単語のみを用いる非常に単純なものであったが，本研究ではそれらに加えて大規模言語学習者コー パスから計算した置換確率と，正用文と誤用文の編集距離，文脈素性として周辺 3 単語および依存関係も用いた。

## 3 機械学習による誤用タイプ分類実験

## 3.1 データ

誤用タイプ分類実験のために NAIST 誤用コーパスを作成した．NAIST 誤用コーパスは，作文対訳 DBの中で添削が施された 313 名の作文中の誤用箇所にタグを付与し，様々な情報を補完したコーパスである (大山 2009 ; 大山，小町，松本 2012)，ファイル数は作文者ごとに 313 ，総文字数は 191,994 字である。NAIST 誤用コーパスは，作文対訳 DBに対しアノテーションを行っているため，作文対訳 DB とデータは共通しているが，作文対訳 DBには誤用タグがアノテーションされていない.

## 3.2 NAIST 誤用コーパスにおける誤用タグのアノテーション

## 3.2.1誤用タグのアノテーション

先に述べた作文対訳 $\mathrm{DB}$ のアアテーションの方法について説明する．基本的に作文対訳 $\mathrm{DB}$ の添削に基づいて誤用タグを付与しており，添削は変更せず，誤用タイプ分類をした後にタグを付与する。作文対訳 DB の誤用箇所に<goyo>タグを設け，そのタグ内に添削された正用箇所を crr 属性にて示し，誤用タイプを示す type 属性を付与した。誤用を正用にするために複数の誤りを修正する必要がある場合，それぞれ typeN（ただし N は自然数で，順不同）という属性を用いて明示した。また，文章中で複数の添削が相互に依存関係を持っている場合がありうるが，依存関係のアノテーションは今回のタグの精緻化という独立した別のタスクとして切り出すことが可能なため,今回のアノテーションでは依存関係は考慮しない。例えば，以下の例文を考える。

$
\begin{aligned}
& \text { <s>それで, <goyo type1="sem" type2="not/kj" crr="常に">まいにち</goyo>がいこくの } \\
& \text { えんじょがいります. </s> }
\end{aligned}
$

上記の例で，誤用として添削者によって添削された「まいにち」をくgoyo>タグで囲み，添削者による正用例「常に」を crr 属性で示す.この誤用を正用にするためには，「まいにち $\rightarrow$ ねにと 「つねに常に」を訂正する必要があるため, 誤用タイプは, この事例では語彙選択 ("sem") と表記・漢字 ("not/kj")の 2 種類を付与している.

## 3.2 .2 誤用タイプ表の設計方針

誤用タイプ表の設計方針を立てる際に，英語学習者の話し言葉を集めたSST コーパス，日本語学習者の作文を集めた名古屋大学の学習者コーパス (大曽他 1997), 大連理工大学の中国人日本語学習者による日本語作文コーパス (清水他 2004 ), さらに市川 $(1997,2000)$ による「日本語誤用例文小辞典」を基にした。

SSTコーパスは, 学習者の誤用が多岐にわたるため, 体系的な分類が比較的容易な文法的・語彙的誤りに対して, 独自の誤用タイプ表を構築し, 人手でタグ付与を行っている (石田, 伊佐原, 齋賀, Thepchai, 成田, 内元, 和泉 2003). SSTコーパスの誤用タイプ表は, 品詞を第 1 階層に有し,「名詞, 動詞, 助動詞, 形容詞, 副詞, 前置詞, 冠詞, 代名詞, 接続詞, 関係詞, 疑問詞」とに分かれている, さらに, 品詞の第 1 階層の下は第 2 階層に「活用の誤り, 格の誤り, 単複の誤り, 語彙選択の誤り」など文法的・語彙的ルールとに細分化される。 また, ある誤用タイプは各品詞の力テゴリーにまたがっている場合もある，例えば，「活用の誤り」は「名詞」「動詞」，「副詞」，「代名詞」のそれぞれの下位分類に属している。「語彙選択の誤り」も複数のカテゴリーに属している. このように, 品詞の階層カテゴリーの下位階層にそれぞれ同様のタイプが存在すると, 誤用夕グ付与のアノテーターが意識しなければならないタグが増大するため, 人手による夕グ付与作業が煩雑になる，そこで，我々は多クラスの夕グ付けをするのではなく，多ラべルの夕グ付けをするように

NAIST 誤用コーパスを設計し，複雑な階層カテゴリーを把握しなくても夕グ付けが可能なようにした．たたし，SSTコーパスでの品詞の分類は，自動分類をする際に素性として取り出しやすく有効な素性となりうる。そのため, NAIST 誤用コーパスでも品詞による分類を第 1 階層に持つようにした。

誤用タグを構築する際に誤用タイプ分類の方法として, 清水他 (2004) では, 誤用タグの構築方法を2つあげている.

(1) 言語学的な特定の文法記述に基づき誤用を分類し誤用タグを構築している場合

(2) 実際の誤用分析で抽出された誤用タイプに基づいてタグを構築する場合

名古屋大学の学習者コーパス (大曽他 1997) は, 上記 (1) の方法に従い, 言語学的な特定の文法記述に基づき誤用を分類し誤用タグを構築しているが,「脱落, 付加, 混同, 誤形成, 位置」などの分類はない。

大連理工大学の中国人学習者による日本語作文コーパス (清水他 2004) は, 上記 (2) の方法に従い, 中国人日本語学習者の作文を添削し, 独自の誤用夕グを設計, 付与している。清水他 $(2004)$ では，大連工業大学の日本語学習者の作文を誤用分析した結果から抽出した誤用に基づく誤用タイプを用いているため, 大曽他 $(1997)$ や市川 $(1997,2000)$ とは異なる「指示詞」,「形式名詞」,「数量詞」,「漢語」などの誤用タイプが見られる.

市川 $(1997,2000)$ も, 上記 $(2)$ の方法に従い, 日本語学習者の作文によく見られる誤用をムー ド，テンス，アスペクトなどの 8 つの主要分類に分け，その次に細分化された 86 の項目に分ける （表 1)。市川 (2001)では, さらに，下位項目のそれぞれについてさらに「脱落, 付加, 混同, 誤形成，位置，その他」の 6 種類に分類している。

それらの言語学習者コーパスの誤用タイプ分類を基礎に, NAIST 誤用コーパスでは全 76 種の誤用タイプ分類を構築した。その全誤用タイプは, 付録 B「誤用タイプ 76 項目」(表 7) に示す.表 8 は，「誤用タイプ 76 項目」のタグにおいてさらに細かく説明を加えた表である。清水他 (2004)の

表 1 市川の誤用分類

誤用タイプ分類には，市川 $(1997,2000)$ にはないが，必要だと考えられる誤用タグが見られるため，それらを含めた。しかし，清水他 (2004)では，「は／が」の使用誤りの項目と「助詞」を分けていたりと項目の選出には彼ら独自の理由が見られる。また, 中国人日本語学習者を対象にしているため，中国人特有の誤用タイプが見られる。NAIST 誤用コーパスの誤用タイプ分類については, そのような点を割愛し,「指示詞」,「形式名詞」,「数量詞」など詳細かつ重要な誤用夕グを含めた.

市川 $(1997,2000)$ の分類も，日本語学習者がよく誤りやすい項目を基に構成されている。表 1 にあるムードは表 7 の 76 の項目中の「モダリティ」に含めている。テンス，アスペクト，自動詞，他動詞, ヴォイスなどの項目は本稿では「動詞」の下位項目にまとめている。また, 取り立て助詞,格助詞, 連体助詞, 複合助詞は「助詞」の下位項目にしている。連用修飾, 連体修飾は, 「名詞修飾節」の項目に入れている。従属節は,「接続」の項目に含まれている。しかし, 市川 $(1997,2000)$ では「脱落, 付加, 混同 (本稿では, 不足, 余剩, 置換)」などをそれぞれの下位項目のさらに下の項目に分類しているが，本稿では，「Nobu $\{* \phi /$ という $\}$ レストランに行きました」8のような, タグを新たに設定しにくい，もしくは修正部分が長く，誤用分類しにくい添削を「脱落，付加」に入れた。作文対訳 DBにも，市川 $(1997,2000)$ の分類を採用すると，助詞の下位項目に「不足，余剰」などの項目を持つ事例がある。しかし, 付録 A,「不足」の項目で述べているように，それらは少数である，そのため，本コーパスでは，「不足，余剰」を各分類の下位項目ではなく，独立した項として新たに設立した。本研究で使用した誤用タグの構築方法について詳しくは大山 (2009),大山他 (2012)を参照されたい.

## 3.2 .3 本稿における実験に使用した誤用タイプ

実験に使用した誤用タイプは，表 2 に示した 17 種である。全誤用タイプ 76 種が階層的に定義され，その第 1 階層の 23 種から 17 種を選択して使用した。全誤用タイプを第 1 階層までまとめ上げた誤用タイプと研究に必要な誤用タイプとを選択した。誤用タイプのそれぞれの説明は付録 A「誤用タイプ項目」に詳細に示す.

表 2 において，上位 17 種の誤用タイプを実験に利用した。下位の「名詞」や「名詞修飾」などの誤用タイプは今回事例数が少なかっため, 実験対象としなかった「「モダリティ」は，意味や文の作者の主観に起因する場合が多いので, 文脈情報や依存情報よりも意味を扱える素性を考えるべきであるので，今回は困難であると考え実験対象としなかった。「モダリティ」の場合は, 稿を改めて「モダリティ」を中心に必要な素性を追加した実験を行いたいと考えている。「成句」は，きまったフレーズ（「〜たり〜たり」など）がうまく使えなかった誤りを含む．「全文変換」は，文がすべて書き換えられている誤用事例である。「成句」や「全文変換」も，今回誤用タイプ分類実験の対象としなかった。「成句」はフレーズの要素が「〜たり〜たり」などのように離れているもの

表 2 NAIST 誤用コーパスにおける誤用タイプ表（17 種+非使用の 6 種）

表中の $\phi$ は，要素がないことを示す。*は，誤用例を指す.

が多く，アラインメントを取ることが困難であった，また，「全文変換」も同様で，文全体を書き換えているので誤用箇所の特定が難しかったことが理由である。「その他」についても今回実験に用いた誤用タイプよりもより詳細で個別的な誤用タイプであり, 個々が少数事例のものもあったので今回対象外とした。

上記以外にも，研究に必要な「“だ”の誤用」「否定」，「副詞」，「代名詞」「エコロケーション」を誤用タイプに含めて実験を行った。「“だ”の誤用」，「否定」，「副詞」、「代名詞」の誤用タイプにおいては，作文対訳 DB や KYコーパス (鎌田，山内 1999)9を対象とした研究の中で「“だ”の誤用」 (蔭山ハント 2004; 王 2003),「副詞」(浅田 2007, 2008; 松田，森，金村，後藤 2006),「否定」(峰 2011; 吉永 2013),「代名詞」(張 2010) などに関する研究が見られ，言語学習者コーパスを利用した
^{9} \mathrm{KY}$ コーパスは, 英語, 韓国語, 中国語を母語とする日本語学習者各 30 名位, 計 90 名のインタビューが収集された話し言葉コーパスである。
}

このような研究がこれから増えてくると思われるからである.「否定」と「コロケーション」に関しては, Swanson and Yamangil (2012)における誤用タイプ 15 種にも含まれている.「コロケーション」は，コーパスデータを利用する利点があり，重要な誤用タイプだと考えられる (寺嶋 2013). 語彙選択の誤りとコロケーションの誤りとを明確に区別し, 語彙選択の誤りでは, 単語単位のみを対象とした。コロケーションの誤りでは，「形容詞＋名詞」のようなコロケーションも見られるが「名詞＋格助詞＋動詞」の誤りのみを対象とした。

## 3.2.4 アノテーター間の一致率

誤用タグは 2 人のアノテーターによって付与された. 2 人ともアノテーターとして 5 年以上勤務している.コーパス中の一部のデータ（170 文）を対象に 2 人に同じデータへの誤用タグの付与を依頼し， $\kappa$ 值 (Carletta 1996)によりその 2 人のタグ付け一致率を計った. タグ付けの対象とした 170 文は，誤用タイプ 17 種をそれぞれ 10 文ずつ抽出した（10 文× 17 種）、それは，全体の約 $1.2 \%$ に当たる。アノテーターに 1 位に選ぶ誤用タイプと次に選ぶ誤用タイプまで（2 位まで）を選択してもらった。表 2 の誤用タイプにおける一致率は， 1 位までの場合 $\kappa=0.602$ であった. 2 位までの場合， $\kappa=0.654$ であった. $\kappa$ が $0.81 \sim 1.00$ の間にあればほぼ完全な一致， $0.61 \sim 0.80$ の間にあれば実質的に一致しているとみなされることから，今回は実質的に一致していると考えられる (Carletta 1996). 信頼度の高いコーパスを作成するためには，付与したタグがアノテーター間で異なる「夕グの不一致」の問題をできるだけ解決した方がよい，付与したタグの一致率が高ければ， そのタグは一貫性が高く，信頼性が高いタグセットであることが言える。

## 3.2.5 階層構造誤用タイプ分類表を使用した階層的誤用タイプ分類

先行研究の Swanson and Yamangil (2012) では, 誤用タイプ分類実験にフラットな構造の分類表を使用していたので, Oyama, Komachi, and Matsumoto (2013)でもフラットなタイプの誤用タイプ分類表を用いたが，人間はどのように誤用タイプを分類するのか分析するために，誤用タイプ分類に向けた予備実験を行った.

11 人の現役の日本語教師に依頼し, テストデータから無作為に選んた 20 文について誤用タイプ分類を行わせた。その後, 日本語教師各個人に対して聞き取り調査を行い，ある誤用文に対してある誤用タイプに分類する理由を聞いた。この分類実験の結果，次のようなことがわかった.

（1）日本語教師は，多くの誤用文を「語彙選択」に分類しやすい.

(2) 日本語教師は,「動詞」と他の誤用タイプを混同しやすい.

（3）日本語教師は, 誤用タイプを判断する際に 1 文すべて与えられていても誤用箇所と正用箇所で主に判断している.

（4）日本語教師は，誤用箇所と正用箇所の次に参考にする素性は，依存構造である.

日本語教師に行った実験では, 「語彙選択」が他の誤用タイプ（助詞，動詞，コロケーションな

どの誤用タイプ）に最も間違われやすかった。これは，「語彙選択」が最も選択を迷う項目であるということを示している。聞き取り調査の結果，日本語教師は誤用タイプを判断する際に 1 文すべて与えられていても誤用箇所と正用箇所などで主に判断していることがわかった. さらに, 日本語教師は，最小の素性で判断しきれない場合，前後 2 単語, 前後 3 単語先をみるより, 依存している単語は何かに焦点を当てていた。「助詞」の誤りかどうか判断迷った時は，それが依存している動詞を見ている。「副詞」の誤りかどうかの分類も同様である。この結果を受け，「語彙選択」は， どの誤用タイプにも入りやすく, この点が分類を妨げている要因と考えたため, 17 種の誤用タイプ

図 1 階層構造誤用タイプ分類表

をさらに 3 階層に分類し直し, 図 1 に示す構造に変更した.

上記のような流れを受けて, 本実験において 3 段階の階層構造に基づく分類を行った，細川 (1993) では, 寺村 (1972)の誤用の領域を基にし誤用を分類しており，1）語彙レベルの誤用，2）文構成レベルの誤用，3）談話レベルの誤用の 3 レベルを立てている．談話レベルまで扱うのは今回の実験の範疇にないので, 細川 (1993) の分類に従い, 第 2 段階を語彙レベルか文構成レベルかに分類した.図 1 で見られるように，第 1 段階で「不足」，「余剰」，「置換」とに分類する。第 2 段階では，「置換」内部において「文法的誤用」であるか「語彙的誤用」であるかの 2 値分類を行った. 第 3 段階では, 前段階で成功した事例において「文法的誤用」と「語彙的誤用」のそれぞれのグループ内において，多クラス分類を行った。

## 3.3 実験方法

誤用タイプ自動分類実験は, 先行研究の Swanson and Yamangil (2012)にならい, 機械学習法を用いた分類実験を行った． 3.2 節で説明したように誤用タイプ分類実験のデータとして言語学習者が書いた誤用文と正用文に文単位の対応をつけ，誤用タイプを付与した NAIST 誤用コーパスを用意した，実験には，そのコーパスから誤用箇所，正用箇所や誤用タイプラベルを取り出し，さらに素性を抽出し使用した。また，誤用タイプ表（表 2）を階層構造化し実験を行った（図 1）.

NAIST 誤用コーパスから，13,152 事例を取り出し， 10 分割交差検定を行った. 1 の文に別々の誤用が 2 つ以上ある場合は， 1 誤用につき 1 事例として取り出した.

## 3.3.1 実験の流れ

実験の概要を図 2 に示す。まず，NAIST 誤用コーパスから正用文と誤用文のペアを取り出す. それらの 2 種類の文から, 対応する誤用箇所 $(x)$ と, 正用箇所 $(y)$, 誤用タイプ $(t)$ の 3 つ組のラべル $(x, y, t)$ を取り出す. その後, その事例ごとに素性を付与する. ベースラインの素性として, 誤用箇所, 正用箇所の表層の語彙素と, 誤用箇所, 正用箇所の形態素解析結果, 周辺単語情報 (前後 1 から 3 単語), 依存関倸情報を付与した. テストデータにおいても同様の素性を取り出し, 分類判定実験に使用した。分類実験には，最大エントロピー法 ${ }^{10}$ 利用し，多クラス分類を試みた ${ }^{11}$. 最大エントロピー法は確率値を出力することができるため, 閥値を用いて予測結果を調整しやすく,英語・日本語の誤用検出・訂正で広く用いられている (Suzuki and Toutanova 2006; Swanson and Yamangil 2012).

図 2 機械学習による誤用タイプ分類実験の流れ

## 3.3.2 素性

この節では，実験で使用した事例と素性について説明する。表 3 は，今回使用した全ての素性を

用箇所「を」が $x$, 正用箇所「が」が $y, 「$ 助詞」の誤用が $t$ という 3 つ組みのラベルが 1 事例として抽出される。
- （誤）英語をわかる

$\cdot$（正）英語がわかる
- 誤用タイプ：「助詞 $(\mathrm{P})\rfloor$ 使用の誤用

依存関係情報は, 誤用箇所の単語にかかる文節内の単語の bag-of-words および誤用箇所の単語からかかる文節内の単語の bag-of-words を用いた。誤用箇所内が複数の文節にまたがる場合, その全ての文節内の全ての単語の bag-of-words を用いた。さらに，係り元・係り先の文節内にある全形態素の語彙素を用いた。例えば，「*私はりんごを食べった」という文において「食べった」が誤用箇所の場合，誤用箇所に係っている文節内の係り元の「私」，「は」，「りんご」「を」を素性として利用している。
表 3 誤用タイプ分類実験に用いた素性と具体例 :「英語を（誤） $\rightarrow$ が（正）わかる.」の例文に打ける素性

形態素解析には, UniDic-2.1.2 辞書 ${ }^{12}$ と MeCab-0.994 ${ }^{13}$ を利用し, 依存構造解析器 CaboCha$0.68^{14}$ で形態素情報と依存関係を抽出した.

言語学習者コーパスには，ひらがな文字が多く含まれたり，辞書に存在しないような単語が出現したりする。そのためにアライメントに失敗し, 分類精度に影響する。そこで，言語学習者コーパスにおける誤用による影響を軽減するために次の 2 つの拡張素性を用いた実験も行った.

## 編集距離素性

2 の文字列がどの程度異なっているかを示す距離である編集距離を用いた. 正用文と誤用文において動的計画法によるマッチングを用いて置換対の抽出を行い (藤野, 水本, 小町, 永田，松本 2012), 誤用文には存在するが正用文には存在しない文字列を余剩箇所とみなした。同様に, 正用文には存在するが誤用文には存在しない文字列を不足箇所とみなした。ある文字列がある文字列に置き換えられている場合，置換箇所とした。その際に，置換，不足，余剰の誤りの編集距離をいずれも 1 と定義し, 編集距離は実数値素性として用いた。

## 置換確率

拡張素性として, Lang-8 から抽出した正用箇所と誤用箇所のペアの置換確率を利用した. Lang-8 には，言語学習者の書いた誤用文と添削された正用文とが大量に含まれている。この置換確率は，

Lang-8 のような大規模な言語学習者コーパスを利用したことから得られる一つの新しい知見である. Lang-8 から抽出した正用箇所と誤用箇所のペアから, 誤用はどのように訂正されているか（誤用置換確率）と正用文はどのような誤用から訂正されているか（正用置換確率）を計算し，利用した. Lang-8において取り出されたペアは 796,403 ペアである.

例えば，「を」が誤用で「が」が正用である場合の誤用置換確率の式は以下のようになる。

$
P(\text { 正用 }=\text { が } \mid \text { 誤用 }=\text { を })=\frac{P(\text { 正用 }=\text { が, 誤用 }=\text { を })}{P(\text { 誤用 }=\text { を })}
$

「が」が誤用で「は」が正用である場合の正用置換確率の式は以下のようになる.

$
P(\text { 誤用 }=\text { が } \mid \text { 正用 }=\text { は })=\frac{P(\text { 誤用 }=\text { が, 正用 }=\text { は })}{P(\text { 正用 }=\text { は })}
$

## 3.3.3 評価尺度

評価尺度としてＦ＼cjkstart値を利用した。再現率は対象とする各誤用タイプの中で正しく分類された誤用タイプを指し，適合率は，システムがある誤用タイプだと分類したもののうち正解を当てた率である。 $\mathrm{F}$ 値はそれらの調和平均を表している。

$
\text { 再現率 }=\frac{\text { 正しく分類された事例数 }}{\text { 各誤用タイプの全事例数 }} \times 100
$

適合率 $=\frac{\text { 正しく分類された事例数 }}{\text { システムがある誤用タイプだと分類した事例数 }} \times 100$

$
F \text { 値 }=\frac{2 \times \text { 適合率 } \times \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }}
$

## 4 実験結果

## 4.1 階層構造を使用した場合の実験結果

NAIST 誤用コーパスにおける誤用タイプ分類実験の 10 分割交差検定による結果について述べる. 表 4 は，階層構造を使用した場合と使用しなかった場合とを比較した表である。簡単のため前後 1 単語の素性を用いた場合を W1, 前後 2 単語までの素性を用いた場合を W2, 前後 3 単語までの素性を用いた場合を W3 とする。最後の行は, 全体のマクロ平均を示す。この表で分かるように，階層構造を利用したことで分類性能（F 值）が全体的に 49.6 から 62.4 へ向上した. また, $\mathrm{F}$値で 80 以上を達成した誤用タイプは「助詞」,「不足」,「余剩」の3つのみであったが, 階層構造を利用することにより，「語彙選択」，「表記」，「動詞」，「指示詞」も新たに F 値が 80 を超え，実用的な精度で自動推定が行えることが分かった。

「不足」と「余剩」の値は, 階層構造を使用した場合において階層構造を使用しなかった場合よ
表 4 階層構造を使用した場合と使用しなかった場合の実験結果（10 分割交差検定）（F 値）

り精度が下がっている。「不足」と「余剩」の誤用タイプは第 1 階層において「不足」か「余剩」か 「置換」の 3 值分類をする。その際，「不足」は 1,441 事例，「余剩」は 1,177 事例，「置換」は 10,534 事例となり，「置換」の事例数は，「不足」と「余剰」の事例数よりもはるかに多くなる，これが，「不足」と「余剰」の階層構造を使用した場合での精度を下げる原因となったと考えられる。

## 4.2 編集距離，置換確率を加えた実験結果

編集距離, 置換確率を加えた誤用タイプ分類実験の結果を表 5 に示す. ベースライン (BL.) は,誤用タイプの構造が階層構造であり周辺素性および依存関係情報を付加した素性とし, 表 4 における「階層構造あり」の結果を用いた。 さらに，拡張素性として，1) ベースライン＋編集距離 (edit), 2) ベースライン＋置換確率 (sub.)（F 值）を示した. ALLは，それら全ての拡張素性を付加したものである. 表 5 の最下行はマクロ平均値を表し, 表 5 より編集距離を加えることで 4.1 ポイントの分類性能の上昇, 置換確率を加えることで 3.4 ポイントの上昇が見られる。 それら拡張素性を合わせた素性 (ALL) においては 6 ポイントの上昇が見られる.

表 6 は，階層ごとの分類の難しさを示している。まず 1 行目は「不足」か「余剩」か「置換」かの多値分類での平均値である．２行目は「文法的誤用」における多值分類， 3 行目は，「語彙的誤用」 における多値分類での平均値である。
表 5 NAIST 誤用コーパスにおける誤用タイプごとの分類実験結果（10 分割交差検定）（F 値）

表 6 各階層における分類実験結果（10 分割交差検定）（F 値）

表 6 のマクロ平均值において，第 1 段階（余剩，不足，置換）実験において編集距離を加えることで 1.8 ポイントの上昇，置換確率を加えることで 2.4 ポイントの上昇が見られる． ALLでは, 2.5 ポイントの上昇が見られる。文法タイプ内実験において編集距離を加えることで 0.8 ポイントの下がっているが，置換確率を加えることで 2.4 ポイントの上昇が見られる．ALLでは， 1.2 ポイントの上昇が見られる語彙タイプ内実験において編集距離を加えることで 4.0 ポイントの上昇, 置換確率を加えることで 3.4 ポイントの上昇が見られる. ALLでは， 6.3 ポイントの上昇が見られる.

## 5 分類実験に関する考察

この節では, どの素性がどのように自動分類に役立つかについて考察する.「不足」,「余剰」,「語彙選択」,「表記」,「助詞」,「動詞」は事例数が多く, 全体の事例の $91 \%$ 占めている。そのため, それらについて説明する ${ }^{15}$.

全体的に編集距離素性と置換確率素性を入れた実験 (ALL) において精度の向上が見られる. 個別に見ると「語彙選択」、「表記」と「余剰」において, 編集距離素性を用いた実験で精度の向上が見られる。

「語彙選択」において漢字同士の誤用は数多く見られる. 置換確率を入れるとさらに半数程度改善している（成功事例中 44.8\%），語彙の選択誤りは多種多様であるため，Lang-8のような巨大なコーパスから置換確率を計算したとしても出現しない可能性もある. そのような場合においても編集距離素性が効果があったと考えられる。下に例を示す.

《語彙選択 $(\mathrm{SEM})$ 》のたばこという物はどうして人々の必用（誤）－必需品（正）になっているのがわからない.

「語彙選択」の場合, ひらがなやカタカナを漢字に変換する（またはその逆）事例の精度も上がっていた（成功事例中 $41.8 \%$ ) 、日本語学習者の作文ではひらがな, カタカナ, 漢字の混合もよく見られる、ひらがなやカタカナと漢字では, 表記が長くなるか短くなるかで編集距離が異なるため, その差が素性の効果に影響したと考えられる。

《語彙選択 (SEM)》いろい万な飾りが大好きだからたばこを買う代わりにほしがっている飾り物（誤） $\rightarrow$ アクセサリー（正）を買った方がいい.

「表記」の事例において編集距離素性で精度の向上が見られる事例を分析する. 最も向上した事例のパターンは, 以下のようなひらがなが漢字に変更された事例である。そのような事例が編集距離素性を入れたことで分類に成功しており, 成功事例の半分を占めていた $(55.9 \%)$.

《表記 (NOT)》家の外と中をそうじ（誤）～掃除（正）しました.

次に，「余剰」の事例を見る。比較的文字列数が長い物が成功するようになっている。これは, 編集距離の素性の効果だと考える。

《余剰 $(\mathrm{AD})$ 私はその中でいろいろな食べもの（誤） $\rightarrow \phi$ (正) 一番好きなものはレマンです.

次に, 置換確率素性を用いた実験で精度の向上が見られた場合を検証する．全ての素性を組み合

わせた実験 (ALL) において，分類に成功した事例と失敗した事例においての置換確率が利用可能である場合を比較した。分類に成功した事例においては，置換確率が出現した場合が $69.9 \%$ あるるのに対し，分類に失敗した事例中では， $57.8 \%$ となっており，置換確率値があった方が分類に成功していることが分かる.

以下では置換確率素性を用いた実験で精度の向上が見られた「不足」,「動詞」の事例を見る。まず，「動詞」において置換確率を付加したことで分類に成功した事例を見る.

《動詞 $(\mathrm{V})$ 》個人的には, 軽い生活磁器よりも韓国のたましいが感じる（誤）～$\rightarrow$ れる（正）非生活磁器が気に入りました。

誤用置換確率 $=0.046$, 正用置換確率 $=0.475$

上記の例は，「ベースライン＋編集距離」の実験では，「文体」に分類されていた。「動詞」と「文体」が共に文末の誤りであることから，お互い間違われる事例が多いが，誤用箇所「る」正用箇所「られる」の誤用正用パターンが Lang-8 中に出現し, 置換確率が得られたことで分類が成功したと考えられる。「文体」は，付録 Aにあるように，通常「です・ます体」か「だ・である体」で統一されているかどうかの誤用である。この添削文は作文対訳 DBの添削に基づいており，日本語教師が添削を施している ${ }^{16}$ ，その際，日本語教師によって誤用箇所の「る」が「ます」に修正されている。誤用タグを付与するときに，その添削にそってタグをつけている。よって，誤用箇所が「る」 であり，正用箇所が「ます」である事例（またはその反対）が多く出現しており，「文体」に特徴的なパターンとして認識されている。

「不足」、「余剩」の場合の性能についての考察をする.「不足」と「余剩」は一見誤用文字列・正用文字列の長さで簡単に判別できるように思われるが，もし不足しているものあるいは余剰に書かれているものが助詞とはっきりわかるものであれば，助詞へ分類されており（付録参照），誤用文字列・正用文字列の長さを見ただけでは必ずしも判断できない。そして, 助詞は夕グ全体の $1 / 4 を ~$占める誤用タイプ（「不足」と「余剰」はそれぞれ全体の $11 \%$ と 9 ）であるため,「不足」「余剩」 の分類性能に影響を及ぼしたのではないかと思われる。

また，「不足」より「余剰」の分類精度が低いことに関して，「不足」と「余剰」の事例が分類に失敗する場合を比べてみると,「余剩」の方に 10 ポイントほど多く, 他の誤用タイプ（助詞や“だ” の誤用など）に含まれる可能性のある事例が含まれていた，前の段落で書いたように，これが「不足」と「余剩」の分類精度に影響したと考えられる。「不足」と「余剰」の分類精度において差が見られたが，全ての素性を入れた実験においては $3.6 \%$ の差であり, ベースラインと比較すると差が減っている。これは，拡張素性によって正用例と誤用例の文字列を考慮することができるように

なり，より助詞の誤用等と区別しやすくなったからではないかと考えられる。

さらに，全体に共通する傾向として，文脈長を長くすることが必ずしも分類性能の向上につながっていない, ということが確認できる. Swanson and Yamangil (2012)も文脈に関する素性は直前の 1 単語しか使っていないが, これは英語学習者の誤用タイプ分類タスクにおいても文脈の情報が寄与していない可能性がある。誤用の発生している箇所の周辺は形態素解析が失敗しやすいことに加え, そもそも言語学習者の作文自身の形態素解析が困難であることが背景にあると考えられる.言語学習者のテキストに頑健な形態素解析器の作成は今後の課題である.

## 6 おわりに

本稿では，大規模コーパスを言語資源として活用するために，コーパス整備タスクの1つとして日本語学習者コーパスへの誤用タグ付与のための半自動的な処理を目指し, 誤用タイプの自動分類に向けた実験を試みた。

まず，日本語学習者の誤用タグつきコーパスを設計し, 誤用タグ付与作業を行った. 作成したコーパスのアノテーター間の $\kappa$ 值は 0.602 であり, 高い一致率であった. また, 作成したコーパスを用い, 最大エントロピー法によって誤用タグの自動分類タスクに取り組んだ。素性にはべースラインとして単語の周辺情報と依存関係を利用した. さらに, 誤用タイプ分類表を階層構造にし, 分類性能の向上を計った。誤用文の性質を考慮し, 拡張素性として「ベースライン+編集距離」,「ベー スライン＋置換確率」を付加した結果，分類性能を向上させることができた. その結果, F 值のマクロ平均は 49.6 から 68.4 に向上した. 事例数が少なく十分な精度が得られていない誤用タイプも存在するが, 初の誤用タイプ自動分類器において実用的な精度と考えられる．F 値 80 を達成していた誤りタイプはベースライン法では「助詞」,「脱落」,「余剰」の3 種類のみであったのに対し,階層構造を利用することによって新たに「語彙選択」，「表記」，「動詞」，「指示詞」が，置換確率を用いることで新たに「形容詞」が，それぞれ $\mathrm{F}$ 値 80 を達成することができ，自動化に向けて大きく前進することができた。事例数の少ない誤用タイプは精度も低いので, その問題を解決するためにセルフトレーニングを用いて，事例を増やし，精度向上を図ることも現在検討中である.

今回，Lang-8 のように正用文と誤用文の両方が大量に存在するが誤用タイプが不明な場合を想定し, 誤用文を考慮に入れた素性を試したが, 誤用箇所および正用例が示されていない言語学習者コーパスも多数存在する。そのような場合, 誤用タイプ分類の前に誤用検出・訂正をする必要がある. 本研究により, 正用例が誤用タイプ分類に貢献することが示されたが, 誤用タイプが誤用検出・訂正に影響を与えている可能性も考えられる。 そこで, 誤用タグに関しては, 誤用タイプ分類と誤用検出・訂正を同時に行う手法を今後検討していきたい. さらに, 言語教育現場でどのように使用されるかを考慮に入れたタグの使いやすさの評価のためには, 他の誤用タグと比較してどのように自動分類性能が異なるかなども考慮に入れるべきであるが, 自動分類に対応できる誤用タイプの構
築を目指しているため本稿では対象とせず，今後の課題とした.

現在，様々な言語学習者コーパスが存在するが，学習者コーパスをそのまま用いるには情報が足りないため，誤用検出をしたり，誤用タイプに分類し誤用タグを付与したりと前処理をしなければならない，機械学習による誤用タイプ分類の精度が高くなれば，研究のために利用できる学習者コーパスの量が増え，大規模なコーパスでさらに普遍的な現象なども見ることが可能になると考えられる。

## 謝 辞

Lang-8という貴重な資料を提供して頂いた株式会社 Lang-8社長喜洋洋氏に感謝申しげます.論文に対して貴重なご意見を頂いた査読者の方と編集委員の方にも感謝申しげます.

## 参考文献

浅田和泉 (2007). 日本語学習者作文コーパスにみる多義的副詞の習得について. 熊本大学社会文化科学研究科 2007 年度プロジェクト研究報告, 7, pp. 79-96.

浅田和泉 (2008). 中国人日本語学習者の副詞の語順. 熊本大学社会文化科学研究科 2008 年度プロジェクト研究報告, 8 , pp. 37-58.

Brockett, C., Dolan, W., and Gamon, M. (2006). "Correcting ESL Errors Using Phrasal SMT Techniques." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 249-256, Sydney, Australia.

Carletta, J. (1996). "Assessing Agreement on Classification Tasks: The Kappa Statistic." Computational Linguistics, 22 (2), pp. 249-254.

張希朱 (2010). 話者を表す「私は」の用法について：日本語母語話者と日本語学習者の意見文を比較して. 学校教育学研究論集, 22, pp. 23-35.

Chodorow, M., Tetreault, J., and Han, N.-R. (2007). "Detection of Grammatical Errors Involving Prepositions." In Proceedings of the 4 th ACL-SIGSEM Workshop on Prepositions, pp. 45-50, Prague, Czech Public.

De Felice, R. and Pulman, S. (2007). "Automatically Acquiring Models of Prepositional Use." In Proceedings of the 4th ACL-SIGSEM Workshop on Prepositions, pp. 45-50, Prague, Czech Public.

De Felice, R. and Pulman, S. (2008). "A Classifier-based Approach to Preposition and Determiner Error Correction in L2." In Proceedings of the 22nd International Conference on

Computational Linguistics (COLING 2008), pp. 169-176, Manchester, U.K.

藤野拓也, 水本智也, 小町守, 永田昌明, 松本裕治 (2012). 日本語学習者の作文の誤り訂正に向け

た単語分割. 言語処理学会第 18 回年次大会, pp. 26-29.

Gamon, M., Gao, J., Brockett, C., Klementiev, A., Dolan, W., Belenko, D., and Vanderwende,

L. (2008). "Using Contextual Speller Techniques and Language Modelling for ESL Error Correction." In Proceedings of the 3rd International Joint Conference on Computational Linguistics (IJCNLP 2008), pp. 449-456, Hyderabad, India.

Han, N. R., Chodorow, M., and Leacock, C. (2006). "Detecting Errors in English Article Usage by Non-Native Speakers." Natural Language Engineering, 12 (2), pp. 115-129.

Holec, H. (1981). Autonomy and foreign language learning. Pergamon Press, Oxford.

細川英雄 (1993). 留学生日本語作文における格関係表示の誤用について. 早稲田大学日本語研究教

育センター紀要, 5 , pp. 70-89.

市川保子 (1997). 日本語誤用例文小辞典. 凡人社.

市川保子 (2000). 続 ・日本語誤用例文小辞典接続詞・副詞. 凡人社.

市川保子 (2001). 日本語の誤用研究. 国際交流基金日本語グループ (編), 日本語教育通信 (40 版),

pp. 14-15. 国際交流基金.

今枝恒治, 河合敦夫, 石川裕司, 永田亮, 桝井文人 (2003). 日本語学習者の作文における格助詞の

誤り検出と訂正. 情報処理学会研究報告コンピュータと教育研究会報告, pp. 39-46. 情報処理学会.

今村賢治, 齋藤邦子, 貞光九月, 西川仁 (2012). 識別的系列変換を用いた日本語助詞誤りの訂正.

言語処理学会第 18 回年次大会, pp. 18-21.

石田亨, 伊佐原均, 齋賀豊美, S. Thepchai, 成田真澄, 内元清貴, 和泉恵美 (2003). 適合型コミュ

ニケーションの研究開発. 平成 15 年度通信・放送機構研究発表会, pp. 572-581.

蔭山ハント悠子 (2004). 新・はじめての日本語教育 1 日本語教育の基礎知識. アスク, 東京.

鎌田修, 山内博之 (1999). KYコーパス Ver 1.1. テクニカル・レポート, 第二言語としての日本語

の習得に関する総合研究グループ. http://www.opi.jp/shiryo/ky_corp.html.

李在鎬, 林炫情, 宮岡弥生, 柴崎秀子 (2012). 言語処理の技術を利用したタグ付き日本語学習者

コーパスの構築. 2012 年度日本語教育学会春季大会予稿集.

松田真希子, 森篤嗣, 金村久美, 後藤宽樹 (2006). 日本語学習者の名詞句の誤用と言語転移. 留学

生教育, 11, pp. 45-53.

峰布由紀 (2011). 言語処理の発達の観点からみたナイデとナクテの習得過程. In 7th International

Conference on Practical Linguistics of Japanese (ICPLJ7), pp. 92-93, San Francisco, U.S.A.水本智也, 小町守, 永田昌明, 松本裕治 (2013). 日本語学習者の作文自動誤り訂正のための語学学

習 SNS の添削ログからの知識獲得. 人工知能学会論文誌, 28 (4), pp. 420-432.
永田亮, 井口達也, 脇寺健太, 河合敦夫, 桝井文人, 井須尚紀 (2005). 前置詞情報を利用した冠詞誤り検出. 電子情報通信学会論文誌, J88-D-I (4), pp. 873-881.

永田亮, 若菜崇宏, 河合敦夫, 森広浩一郎, 桝井文人, 井須尚紀 (2006). 可算/不可算名詞の判定に基づいた英文の誤り検出. 電子情報通信学会論文誌, J89-D-8, pp. 1777-1790.

南保亮太, 乙武北斗, 荒木健治 (2007). 文節内の特徵を用いた日本語助詞誤りの自動検出・校正.

情報処理学会研究報告自然言語処理研究報告, pp. 107-112. 情報処理学会.

大木環美, 大山浩美, 北内啓, 末永高志, 松本裕治 (2011). 非日本語母国話者の作成するシステム

開発文書を対象とした助詞の誤用判定. 言語処理学会第 17 回年次大会, pp. 1047-1050.

大曽美恵子, 杉浦正利, 市川保子, 奥村学, 小森早江子, 白井英俊, 滝沢直宏, 外池俊幸 (1997).

日本語学習者の作文コーパス：電子化による共有資源化. 言語処理学会第 3 回年次大会論文集, pp. 131-145.

大山浩美 (2009). 日本語学習者コーパスのための誤用タグの構築について. 国文研究，54, pp. 102-114.

大山浩美, 小町守, 松本裕治 (2012). 日本語学習者の作文における誤用タグつきコーパスの構築に

ついて一NAIST 誤用コーパスの開発一. 第一回テキストアノテーションワークショップ.

Oyama, H., Komachi, M., and Matsumoto, Y. (2013). "Towards Automatic Error Type Classification of Japanese Language Learners' Writings." In Proceedings of the 27th Pacific Asia Conference on Language, Information, and Computation (PACLIC 27), pp. 163-172, Taipei, Taiwan.

Oyama, H., Matsumoto, Y., Asahara, M., and Sakata, K. (2008). "Construction of an Error Information Tagged Corpus of Japanese Language Learners and Automatic Error Detection."

In Proceedings of the Computer Assisted Language Instruction Consortium, San Francisco, U.S.A. CALICO.

清水政明, 宋哲, 孟慶栄, 杜鳳剛, 壇辻正剛 (2004). 中国人日本語学習者対訳作文コーパスの構築における誤りタグの構築について. 日本語言文化教学与研究国際学術研討会.

Sun, G., Liu, X., Cong, G., Zhou, M., Xiong, Z., Lee, J., and Lin, C. (2007). "Detecting Erroneous Sentences using Automatically Mined Sequential Patterns." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 81-88, Prague, Czech Public.

Suzuki, H. and Toutanova, K. (2006). "Learning to Predict Case Makers in Japanese." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1049-1056, Sydney, Australia.

Swanson, B. and Yamangil, E. (2012). "Correction Detection and Error Type Selection as an

ESL Educational Aid." In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 357-361, Montreal, Canada.寺嶋弘道 (2013). 日本語教育におけるコーパスの応用一デー夕駆動型学習とその実践方法の考察一.

ポリグロシア, pp. 91-103.

寺村秀夫 (1972). 日本語の文法上・下. 国立国語研究所.

寺村秀夫 (1990). 外国人学習者の日本語誤用例集接続詞・副詞.テクニカル・レポート, 大阪大学・

国立国語研究所.

Tetreault, J. and Chodorow, M. (2008). "The Ups and Downs of Preposition Error Detection

in ESL Writing." In Proceedings of the 22nd International Conference on Computational

Linguistics (COLING 2008), pp. 865-872, Manchester, U.K.

梅田康子 (2005). 学習者の自律性を重視した日本語教育コースにおける教師の役割. 愛知大学言

語と文化, 12, pp. 59-77.

王国華 (2003). 中国人日本語学習者が間違えやすい表現について. 北陸大学紀要, 27, pp. 115-122. Wilcox-O'Hearn, A., Hirst, G., and Budanitsky, A. (2008). "Real-word Spelling Correction with

Trigrams: A Reconsideration of the Mays, Damerau, and Mercer Model." In Gelbukh,

A. (Ed.), Proceedings of 9th International Conference on Intelligent Text Processing and Computational Linguistics (CICLing-2008)(Lecture Notes in Computer Science Vol. 4919), pp. 605-616, Berlin. Springer.

Yi, X., Gao, J., and Dolan, W. (2008). "A Web Based English Proofing System for ESL Users."

In Proceedings of the 3rd International Joint Conference on Computational Linguistics (IJCNLP 2008), pp. 619-624, Hyderabad, India.

吉永尚 (2013).「ナイデ」と「ナクテ」の相違について. 園田学園女子大学論文集, 47, pp. 133-140.

## 付録

## A 誤用タイプ項目

助詞 $(\mathbf{P})$ は, 助詞の不足, 余剰, 誤った助詞の選択であり, 複合助詞の誤用も含まれる。「に関する」や「について」などの複合助詞はしばしば誤用を引き起こす原因となる。表 2 以外の例として「宇宙に関した仕事をする」ではなく「*宇宙に関して仕事をする」といった誤用も見られる。 これは，「仕事」を修飾しているので，「に関して」ではなく「に関した」とならなければならない.

語彙選択 (SEM) は, 一単語内での誤った選択で, ふさわしい語彙を選べなかった（例えば，「国民」を「人民」と書いた）誤りである。表 2 にある例では，誤用は「*部分の人」で，正用は「一
部の人」であり，英語では "some people”となる.

表記 (NOT) には，ひらがな，かたかな，漢字に関する誤りなどが入る。

不足 (OM) は, 不足している単語, 句があれば, このタイプに分類される. 日本語において未知の固有名詞について説明するときには「という」をつけるが（例：「Nobu というレストランに行きました」)，日本語学習者はそれを落としやすい（「*Nobu фレストランに行きました」），たたし，それが「助詞」や「形容詞」などにも入る事例は，そちらを優先する。さらに，「不足の助詞」 や「不足の形容詞」の場合,「助詞」や「形容詞」に分類している。判断がつきにくい事例の場合, (例えば，「の」については，複数の用法がある）。その場合は「不足」や「余剩」に入れる

動詞 $(\mathrm{V})$ カテゴリーの誤用には, 下位分類として動詞の活用, 自動詞か他動詞か, 受け身の誤り，テンスアスペクトの誤り，「〜ている」の不適切な使用が含まれる。「〜ている」はアスペクトと深く関わる問題であるため, 誤用として多く見られる。 そのため, 上級の日本語学習者でさえ「日本に住んでいる」がなかなか使えず，「*日本に住む」という場合がある。

余剰 (AD) は，余分な単語や表現などの付加を指す.「不足」と同様に，「助詞」や「形容詞」などにも入る事例は，そちらを優先する。判断のつきにくい事例においては，「不足」の場合と同様の扱いをする，日本語学習者は，「*天気が寒くて」という文を作りたがるが，日本語では，「天気が」にわざわざ言及せず，「(今日は) 寒くて」とする。

文体 (STL) は，「です・ます体」に関する誤りを指す。日本語の作文では，文末の「です・ます体」か「だ・である体 $\left.{ }^{17}\right.\rfloor の一$ 致を重要視するため, このような誤りが日本語学習者の作文でしばしば見られる。

名詞化 (NOM) の誤りとは，動詞を名詞化するときの「の」と「こと」に関する誤用である．日本語において，英語の “to watch/watching” などのように名詞化するときに，「の」を使う場合と 「こと」を使う場合とがある，例えば，「趣味は英語をみるのです」の文では，「の」は不適切であり，また，「*鳥が飛ぶことをみました」では，「こと」は不自然となる．「の」と「こと」の使い分けは，文脈によって決まっている。

接続 (CONJ) は，文同士，または単語同士を接続させるときに見られる誤用のことである。日本語では，“because”に相当する表現として，「ので」や「から」があるが，文脈，話し言葉，書き言葉の違いによって使用が異なる.

形容詞 (ADJ) は，形容詞に関係する誤用を指す. 形容詞の活用の誤用，選択の誤用などが含まれる. 日本語の形容詞は活用するため, 活用がない言語を母語に持つ学習者にはこの間違いが多い.表 2 にあるように，「*僕は太くて人ですから」は名詞を修飾しているので，「くて」と変換するのは誤りである，実際は，「僕は太い人です」としなければならないが，活用の区別がついておらず，「太くて」と書いてしまう学習者が多々いる。

指示詞 $(D E M)$ は，「こ・そ・あ」に関する誤用を指す。他の言語では，この区別が 2 つしかない場合もあり，日本語学習者にとって使い分けが難しい項目の一つである.

語順 (ORD) は，誤った語順を指す。日本語では助詞があるため文節の出現順が自由である。しかし，名詞と助詞の語順は固定している。例えば，英語のような語順「*より 7 月」ではなく「7 月より」が正しい.

コロケーション (COL) は, 1 単語内の誤りである「語彙選択 (SEM)」とは異なり,「名詞 + 助詞 + 動詞」といった組み合わせについての誤りは，こちらへ分類される。例えば，学習者は「*影響 $($ 名詞 $)+$ を助詞 $)+$ くれる（動詞 $)\rfloor$ と書くが, 日本人教師は「影響（名詞）＋を（助詞 $)$十及ぼす (動詞)」に訂正している。それは 3 つの要素間の共起関係が影響していると見られる。

“だ”の使用 (AUX) は，日本語の複文における従属節に付与するコピュラ“だ”の不適切な使用を指す。例えば，「*あの人は，きれいと思います」のような文における「だ」の不使用誤りなどが含まれる。 さらに，「*あの人はきれいですと思います」という文もこのタイプに含まれる。

否定 (NEG) は，「打ち消し」の意味を表す表現形式での誤りを指す。これには，否定辞「〜ない」の使用誤りや「なくて」と「ないで」の使い分けの誤りなどが含まれる。表 2 にあるように，否定理由を表す時には「なくて」を使用し（「家にいられなくて，外へ行きました」），否定付帯状況を示すときには「ないで」を使用する（「傘をもたないで，外へ行きました」).

副詞 (ADV) の誤用は, 副詞句の使用誤りや副詞語彙の選択誤りなどを指す. 形容詞に「に」や 「と」を添えて，副詞を作り出すことがある．どちらを使うかはその副詞ごとに決まっている．例えば，「のんびりと過ごした」とは言えても，「*のんびりに過ごした」とは言えない，日本語学習者はこの「に」か「と」かで迷う場合が多い.

代名詞 (PRON) に関する誤用は代名詞に関する誤りで，例えば，「*彼たち」は不適切で，「彼ら」としなくてはならない.

## B 誤用タイプ 76 項目

表 7 誤用タイプ 76 項目

 & $\overline{\operatorname{not}} / \mathrm{hg}$ & ねえん \\

 & org &  \\

＊これは"v"（動詞）というカテゴリーの中で"othr"（others: 他の単語）から"vol"（volitional form: 意向形）へと添削されたことを示している.
表 8 誤用タイプ 76 項目におけるタグの説明

## 略歴

大山浩美：1998 年熊本県立大学大学院日本語日本文学課程修了。2001 年イギリスランカスター大学言語学部修士課程修了. 2010 年奈良先端科学技術大学院大学情報科学研究科博士後期課程指導認定退学. 現在, 同大学研究員. 研究テー マは自然言語処理技術を用いた教育支援，第二言語習得，教育工学，日本語教育などである。日本語教育学会員, 日本語文法学会員, 教育システム情報学会員.小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2). 2010 年博士後期課程修了. 博士 (工学). 同年より同研究科助教を経て, 2013 年より首都大学東京システムデザイン学部准教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, 電子情報通信学会, ACL 各会員.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. 1984 85 年英国インペリアルカレッジ客員研究員. 1985～87 年（財）新世代コンピュータ技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授. 工学博士. 専門は自然言語処理. 情報処理学会, 人工知能学会, 言語処理学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー. ACL Fellow.


# 機能的なリテラルを含む公理体系における仮説推論の効率化

山本 風人 $\dagger \cdot$ 井之上直也 ${ }^{\dagger} \cdot$ 乾 健太郎
}

\begin{abstract}
仮説推論は，与えられた観測に対する最良の説明を見つける推論の枠組みである.仮説推論は 80 年代頃から主に人工知能の分野で長らく研究されてきたが，近年，知識獲得技術の成熟に伴い，大規模知識を用いた仮説推論を実世界の問題へ適用する ための土壌が徐々に整いつつある。しかしその一方で，大規模な背景知識を用いる 際に生じる仮説推論の計算負荷の増大は，重大な問題である。特に言語の意味表示上の依存関係を表すリテラル（本論文では機能リテラルと呼ぶ）が含まれる場合に 生じる探索空間の爆発的増大は, 実問題への仮説推論の適用において大きな障害と なっている。これに対し本論文では，機能リテラルの性質を利用して探索空間の枝刈りを行うことで，効率的に仮説推論の最適解を導く手法を提案する。具体的には，意味的な整合性を欠いた仮説を解空間から除外することで，推論全体の計算効率を 向上させる，また，このような枝刈りが，ある条件が満たされる限り本来の最適解 を損なわないことを示す. 評価実験では, 実在の言語処理の問題に対して, 大規模背景知識を用いた仮説推論を適用し, その際の既存手法との計算効率の比較を行っ た. その結果として, 提案手法が既存のシステムと比べ, 数十〜数百倍ほど効率的 に最適解が得られていることが確かめられた.

キーワード：仮説推論, 談話理解, 共参照解析
\end{abstract
## Boosting Abductive Reasoning with Functional Literals

\author{
Kazeto Yamamoto ${ }^{\dagger}$, NaOya Inoue $^{\dagger}$ and Kentaro Inui $^{\dagger}$
}

\begin{abstract}
Abduction is also known as Inference to the Best Explanation. It has long been considered as a promising framework for natural language processing (NLP). While recent advances in the techniques of automatic world knowledge acquisition warrant developing large-scale knowledge bases, the computational complexity of abduction hinders its application to real-life problems. In particular, when a knowledge base contains functional literals, which express the dependency relation between words, the size of the search space will substantially increase. In this study, we propose a method to enhance the efficiency of first-order abductive reasoning. By exploiting the property of functional literals, the proposed method prunes inferences that do not lead to reasonable explanations. Furthermore, we prove that the proposed method is sound under a particular condition. In our experiment, we apply abduction having a large-scale knowledge base to a real-life NLP task. We show that our method significantly improves the computational efficiency of first-order abductive reasoning when compared with a state-of-the-art system.
\end{abstract}

Key Words: Abduction, Discourse Understanding, Coreference Resolution

## 1 はじめに

仮説推論 (Abduction) は，与えられた観測に対する最良の説明を見つける，論理推論の枠組みのひとつである。仮説推論は，自然言語処理や故障診断システムなどを含む，人工知能分野の様々なタスクにおいて古くから用いられてきた (Ng and Mooney 1992; Blythe, Hobbs, Domingos, Kate, and Mooney 2011; Ovchinnikova, Hobbs, Montazeri, McCord, Alexandrov, and Mulkar-Mehta 2011; 井之上, 乾, Ovchinnikova, Hobbs 2012; 杉浦, 井之上, 乾 2012).

自然言語処理への応用のうち, 代表的な先行研究の一つに Hobbs ら (Hobbs, Stickel, Martin, and Edwards 1993) の Interpretation as Abduction (IA) がある. Hobbs らは, 語義曖昧性解消,比喻の意味理解, 照応解析や談話関係認識などの, 様々な自然言語処理の夕スクを, 一階述語論理に基づく仮説推論により統合的にモデル化できることを示した.

詳しくは 2.1 節で述べるが，IA の基本的なアイデアは，談話解析（文章に対する自然言語処理）の問題を「観測された文章（入力文）に対し，世界知識（言語の知識や常識的知識など）を用いて, 最良の説明を生成する問題」として定式化することである。最良の説明の中には, 観測された情報の背後で起きていた非明示的な事象，共参照関係や単語の語義などの情報が含まれる。例文 “John went to the bank. He got a loan.” に対して，IA による談話解析を行う様子を図 1 に示す。まず, 入力文の論理式表現が観測として, 世界知識の論理式表現が背景知識として与えられ, 背景知識に基づいて説明が生成される。例えば, $g o\left(x_{1}, x_{2}\right)$ (John が bank に行った) という観測に対して, $\operatorname{issue}(x, l, y) \Rightarrow g o(y, x) （ x$ が $y$ に対して $l$ を発行するには, $y$ は $x$ の所に行かなければならない）という因果関係（行為の前提条件）の知識を用いて, issue $\left(x_{2}, u_{1}, x_{1}\right)$ （bank が John に対して何か $\left(u_{1}\right)$ を発行した）という説明を生成している. これは, 非明示的な情報の推定に相当する。また, この非明示的な情報を根拠の一つとして生成された説明 $x_{1}=y_{1}$ （John と He は同一人物）は，共参照関係の推定に相当する，以上のように IA では，談話解析の様々なタスクが，説明生成という統一的な問題に帰着される.

仮説推論は，以下の様な点で談話解析の枠組みとして適していると考えられる：

（1） 入力から出力が導かれるまでの過程が，解釈可能な形で得られる。すなわち，どのような仮説を立てて，どのような知識を用いて観測を説明しているかが，図1のような証明木という形で陽に得られる。

（2）様々な種類の世界知識を統一的，かつ宣言的に記述し利用することができる。すなわち, どのような種類の知識であっても，その知識を解析にどう利用するかの手続きを定義する必要がなく，論理式として宣言的に記述するだけで談話解析に利用できる.

（3）語義曖昧性解消や照応解析，プラン認識など，談話理解の様々なサブタスクを一つのモデルに集約して解くことにより，サブタスク間の相互依存性を自然な形で考慮できる。図 1 においても，照応解析と語義曖昧性の解消が同時に起こっていることが確認できる.

## 入力文: John went to the bank. He got a loan.

図 1 仮説推論による談話解析の例. 点線の四角は観測を, 実線の四角は背景知識を表す. 変数対を繋ぐ点線はそれらがその仮説において同一の変数であることを表す。青い吹き出しは推論中で用いられている背景知識の元となった世界知識を表し，赤い吹き出しは得られた仮説に対する解釈を表す.

IA を始めとした仮説推論に基づく談話解析の研究は，1990 年代が全盛期であったが，近年になって再び注目を浴びつつある (Blythe et al. 2011; Ovchinnikova et al. 2011; 井之上他 2012; 杉浦他 2012). これには, 大きく2つの背景があると考えられる. ひとつめに, 仮説推論を実用規模の問題に適用できる程度の，大規模な世界知識を取り揃える技術が昔に比べて大幅に成熟してきたことが挙げられる (Fellbaum 1998; Ruppenhofer, Ellsworth, Petruck, Johnson, and Scheffczyk 2010; Chambers and Jurafsky 2009; Schoenmackers, Etzioni, Weld, and Davis 2010). 例えば文献 (Ovchinnikova et al. 2011) では, WordNet (Fellbaum 1998) と FrameNet (Ruppenhofer et al. 2010)を用いて約数十万の推論規則からなる背景知識を構築し, 含意関係認識のタスクにIAを適用している。 ふたつめの背景には, 計算機性能の向上や効率的な仮説推論エンジンが提案された (Mulkar, Hobbs, and Hovy 2007; Blythe et al. 2011; Inoue and Inui 2011a; 井之上他 2012; Yamamoto, Inoue, Inui, Arase, and Tsujii 2015; Schüller 2015)ことにより，大規模知識を用いた論理推論が計算量の面で実現可能になってきたことが挙げられる。例えば (井之上他 2012) では，約数十万の推論規則からなる背景知識を用いて含意関係認識のデータセットに対して推論を行い, 先行研究より大幅に高速な推論を行えたことが報告されている.

しかしながら, 仮説推論における計算コストの問題は未だ完全に解決されたとはいえないのが
実情である。詳しくは 3 節で詳述するが，とりわけ，主格関係や目的格関係などの単語間の統語的依存関係を表すためのリテラル（便宜的に「機能リテラル」と呼ぶ．形式的な定義は 3.1 節で与える）が知識表現に含まれる場合（例えば, $\operatorname{john}(j) \wedge \operatorname{get}(e) \wedge \operatorname{dobj}(e, l) \wedge \operatorname{loan}(l)$ における get と loanの目的格関係を表す $\operatorname{dobj}(e, l)$ ), 推論時間が増大するという問題がある. 最新の仮説推論エンジンである (Yamamoto et al. 2015) では， A*アルゴリズムに基づいて説明の構成要素（潜在仮説集合) を列挙し, 仮説推論の問題を「説明の構成要素の組み合わせ最適化問題」へ変換したのち, 整数線形計画ソルバにより最良の説明を求める。しかし, 機能リテラルが知識表現に含まれる場合, (1) 機能リテラルをもとにした推論により, 潜在仮説集合の中に, 最良の説明になりえない構成要素が多く入り达んでしまい (例えば, foolish $\left(e_{1}\right) \wedge \operatorname{smart}\left(e_{2}\right) \wedge \operatorname{nsubj}\left(e_{1}, x\right) \wedge \operatorname{nsubj}\left(e_{2}, y\right)$ から, $e_{1}=e_{2}$ を導く), 組み合わせ最適化問題のサイズが無用に肥大化し, 推論時間が増大する，(2) 潜在仮説集合の生成をガイドするヒューリスティック関数の精度低下が起きてしまい,潜在仮説集合の生成における計算効率が低下する，という問題が起こる。このように，実タスクへの適用は未だ困難な状況であり，前述のような利点が本当にあるかどうか，検証する環境が完全に整っていない状況である.

以上のような背景を踏まえ，本論文では，知識表現に機能リテラルを含む仮説推論において，機能リテラルの性質を利用して潜在仮説集合の生成手続きを改良し，効率的に最適解を求め，かつヒューリスティック関数の精度低下を抑制する手法を提案する。より具体的には，一つ目の問題に対しては，潜在仮説集合の生成を行う際に，最良の説明になりえない説明を事前チェックするように潜在仮説集合の手続きを拡張する。例えば，矛盾する二つの事象を等価とみなす説明の構成要素を生成する推論（前述の $e_{1}=e_{2}$ など）を禁止することで, 潜在仮説集合の肥大化を防ぐ。また，二つ目の問題に対しては，ヒューリスティック関数の中で，より良い説明の構成要素を優先的に探索するために用いられる述語グラフの生成手法を工夫することにより対処する. 問題の原因は, 背景知識に頻出する機能リテラルがハブとなり, あらゆる説明の構成要素の候補が最良の説明の生成に寄与すると誤って判断されてしまうことにある。これに対し, 述語グラフにおいて機能リテラルに繋がる一部の枝を適切に排除することにより, 解の最適性を保持しながらヒューリスティック関数の精度を上げる手法を提案する。

本論文における具体的な貢献は次の 3 点である。一つ目に，仮説推論の最新の実装である A*-based Abduction (Yamamoto et al. 2015)の手法に前述の枝刈りを導入する方法を示し, 機能リテラルを知識表現に含む場合でも推論の規模耐性を維持する方法を示す。二つ目に，機能リテラルの性質に基づく探索空間の枝刈りが，ある条件のもとでは本来の解を損なわないことを示す. 三つ目に，大規模な知識べースと実在の言語処理の問題を用いて, A*-based Abduction (Yamamoto et al. 2015)のシステムとの推論時間の比較を行い, 提案手法を評価する。本論文での実験においては，提案手法が (Yamamoto et al. 2015)のシステムと比べ数十〜数百倍ほど効率的に解仮説が得られていることが確かめられた. 仮説推論に基づく談話解析の枠組みを実

タスクへ適用する上で，効率的な推論アルゴリズムの確立は必須の要件である。本研究の成果により，仮説推論に基づく談話解析の研究を進めるための環境整備が大きく前進すると考えられる。

以降の節では，まず仮説推論とその実装に関する先行研究について述べたあと $(2$ 節 $)$, 本論文で取り組む問題について述べ（3節)，提案手法について説明する（4 節, 5 節 $)$ 。次に，提案手法と既存手法の比較実験の結果について報告し（6 節）, 最後に今後の展望を述べる.

## 2 背景

本節では, 本論文の提案手法の基になっている種々の既存研究, すなわち仮説推論およびその実装に関して説明する。

## 2.1 仮説推論

仮説推論とは，与えられた観測に対して最良の説明を求める推論である。本論文では，仮説推論の意味表現として一階述語論理 1 を用い, 仮説推論の形式的な定義を次のように与える。なお, 本論文では関数記号のない (function-free) 一階述語論理を用いるものとし, 全てのリテラルは論理変数, 定数, スコーレム定数を引数に取る.

Given: 背景知識 $B$, 観測 $O$. ただし, $B$ は含意型の一階述語論理式の集合であり, 各論理式の前件および後件にはリテラルの連言のみを許容する。各論理式の前件に含まれる論理変数は全称限量されており，前件に含まれない論理変数は存在限量されているものとする。形式的には, 各論理式は $\forall x_{1}, \ldots, x_{n}\left[\exists y_{1}, \ldots, y_{m}\left[p_{1}\left(x_{1}\right) \wedge \ldots \wedge p_{n}\left(x_{n}\right) \Rightarrow q_{1}\left(y_{1}\right) \wedge \ldots \wedge q_{m}\left(y_{m}\right)\right]\right]$ と表現される。ここで， $x_{i}, y_{i}$ はそれぞれ任意個数の引数列を表す2。また， $O$ は，一階述語論理リテラルおよび論理変数間の等価関係を表す等号あるいはその否定の連言であり, 全ての論理変数は存在限量されているものとする。なお以降の記述では， $B$ および $O$ がそれぞれ矛盾を含まないことを前提とする。

Find: 仮説（または説明）H.H は, 一階述語論理リテラル，および論理変数間の等価関係を表す等号・不等号の連言であり， $H \cup B \models O$ および $H \cup B \nvdash \perp を$ 満たす3.ここで $\models$ は論理的含意を表し， $H$ が $O$ を説明する，という。 $\perp$ は偽を表す。また，連言と集合は

相互変換可能であるとし, 連言 $l_{1} \wedge \ldots \wedge l_{n}$ とリテラル集合 $\left.\{l_{1}, \ldots, l_{n}\right.\}$ とも書けるものとする.

なお, 本論文では背景知識, 観測, 仮説における限量子の記述は基本的に省略する.

一般には, 与えられた $B$ と $O$ に対して, 複数の仮説 $H_{1}, H_{2}, \ldots$ が存在する. 本論文では, それぞれの仮説 $H_{i}$ を候補仮説と呼び, 候補仮説 $H_{i}$ に含まれる各リテラル $h \in H_{i}$ を $H_{i}$ の要素仮説と呼ぶ. また, 可能な全ての候補仮説を $H \equiv\left.\{H_{1}, H_{2}, \ldots\right.\}$ で表す. 例えば図 1 では, 点線で囲まれたリテラルの集合 $\left(j o h n\left(x_{1}\right) \wedge g o\left(x_{1}, x_{2}\right) \wedge \ldots\right)$ が観測 $O$, 実線で囲まれた論理式（例えば, $\left.\operatorname{issue}\left(x_{2}, u_{1}, x_{1}\right) \Rightarrow g o\left(x_{1}, x_{2}\right)\right)$ が背景知識 $B$ の一部である. 候補仮説として, 例えば $H_{1}=j o h n\left(x_{1}\right) \wedge \operatorname{loan}\left(y_{2}\right), H_{2}=j o h n\left(x_{1}\right) \wedge \operatorname{issue}\left(u_{2}, y_{2}, y_{1}\right) \wedge$ financial_inst $\left(x_{2}\right) \wedge \operatorname{loan}\left(y_{2}\right)$ などが考えられる。

仮説推論の目的は, 何らかの評価指標のもとでの最良の候補仮説 $\hat{H}$ を見つけることである. この $\hat{H}$ を解仮説と呼び，形式的には次のように表す：

$
\hat{H}=\underset{H \in \mathbb{H}}{\arg \max } \operatorname{Eval}(H)
$

ここで，Eval は候補仮説 $H$ の蓋然性を表す何らかの評価値を返す関数を表し，このような関数を仮説の評価関数と呼ぶ. 先行研究では, さまざまな評価関数が提案されている (Hobbs et al. 1993; Singla and Mooney 2011; Inoue and Inui 2012; Raghavan and Mooney 2010).

例えば，代表的な評価関数の一つである重み付き仮説推論 (Hobbs et al. 1993) は，「単純な （小さい）仮説ほど良い」という基本的な仮定に基いており, 候補仮説の最小性を候補仮説の評価値として定義している。より具体的には, 候補仮説の評価値 $\operatorname{Eval}(H)$ は, $H$ の要素仮説のコストの負の総和 $-\sum_{h \in H} \operatorname{cost}(h)$ で定義される. 要素仮説のコスト $\operatorname{cost}(h)$ の詳細な計算方法は (Hobbs et al. 1993) に委ねるが，基本的には，(1) 要素仮説 $h$ が観測 $O$ を説明するのに要する背景知識の信頼度, (2) 要素仮説 $h$ が他の要素仮説に説明されているか, の二つの要因を基にコストが決定される.

本研究では， 3 節で示す仮説の整合性条件を保証する任意の評価関数を想定する.

## 2.2 潜在仮説集合に基づく候補仮説の表現

$H \cup B \models O, H \cup B \not \models \perp$ を満たす全ての候補仮説を陽に列挙して最良の仮説を求めることは, 時間・空間的計算量の観点で非現実的である. そのため, 仮説推論エンジンの先行研究 (Inoue and Inui 2011a; 井之上他 2012; Yamamoto et al. 2015) では, (1) 観測からの後ろ向き推論によって各候補仮説を構成するリテラルの集合 $P$ を列挙するに留め, (2) $P$ の要素の組み合わせ（部分集合）で暗に候補仮説を表現し, 組み合わせ最適化問題を解くことで効率化を実現している.この $P$ は，潜在仮説集合と呼ばれる，例えば，図 2 の例では，観測 $O=\operatorname{animal}(x) \wedge \operatorname{bark}\left(e_{1}, x\right)$ と背景知識より, 潜在仮説集合 $P=\{\operatorname{cat}(x), \operatorname{poodle}(x), \operatorname{dog}(x), \operatorname{dog}(y), x=y\}$ を得る. この集合

入力文: 動物が吠えている。

図 2 潜在仮説集合の例。背景知識は, 図中の実線の四角で囲まれた 4 つの含意型論理式である.

の要素の組み合わせ（例えば $\{\operatorname{cat}(x), \operatorname{dog}(x)\} ）$ が，一つの候補仮説に対応する. 本研究では, この潜在仮説集合の生成方法を効率化する手法を提案するため，潜在仮説集合の生成手続きについて，より詳しく説明する.

まず，観測に含まれるリテラルの集合を初期状態として $(P=O)$, 次のように定義される後ろ向き推論操作および単一化仮説生成操作を有限回だけ逐次適用することで，潜在仮説集合 $P$ を生成する。図 2 では, $P=\left.\{\operatorname{animal}(x), \operatorname{bark}\left(e_{1}, y\right)\right.\}$ が初期状態となる.

後ろ向き推論後ろ向き推論は, 背景知識に含まれる含意型の論理式 $p_{1}\left(x_{1}\right) \wedge \ldots \wedge p_{n}\left(x_{n}\right) \Rightarrow$ $q_{1}\left(y_{1}\right) \wedge \ldots q_{m}\left(y_{m}\right)$ と， $\bigwedge_{i=1}^{m} y_{i} \theta=y_{i}^{\prime}$ を満たす変数置換 $\theta$ が存在するようなリテラルの連言 $q_{1}\left(y_{1}^{\prime}\right) \wedge \ldots \wedge q_{m}\left(y_{m}^{\prime}\right)$ を含む潜在仮説集合 $P$ を入力として，前件部のリテラルの連言 $\bigwedge_{i=1}^{n}\left.\{p_{i}\left(x_{i} \theta\right)\right.\}$ を $P$ に追加する操作である. 本論文では， $q_{1}\left(y_{1}^{\prime}\right), \ldots, q_{m}\left(y_{m}^{\prime}\right)$ をそれぞれ $p_{1}\left(x_{1} \theta\right), \ldots, p_{n}\left(x_{n} \theta\right)$ の根拠と呼ぶこととする。図 2 では, 背景知識 $\operatorname{cat}(x) \Rightarrow \operatorname{animal}(x)$ と $P=\left.\{\operatorname{animal}(x), \operatorname{bark}\left(e_{1}, y\right)\right.\}$ を入力として, $\operatorname{cat}(x)$ を $P$ に追加している.このとき， $\operatorname{cat}(x)$ の根拠は $\operatorname{animal}(x)$ である.

単一化仮説生成単一化仮説生成は，同一の述語を持つリテラルの対 $p\left(x_{1}, x_{2}, \ldots\right), p\left(y_{1}, y_{2}, \ldots\right)$ に対して，それらのリテラルの引数間の等価関係 $x_{1}=y_{1}, x_{2}=y_{2}, \ldots$ を潜在仮説集合 $P$ に追加する操作である，本論文では， $x=y$ のような, 単一化仮説生成操作によって仮説される論理変数間の等価関係を等価仮説と呼ぶ. 図 2 では, $P=\{\ldots, \operatorname{dog}(x), \operatorname{dog}(y), \ldots\}$ に対して，本操作を適用し， $x=y$ を $P$ に追加している.

操作の適用回数の決め方には様々な基準が考えられるが, 先行研究 (Inoue and Inui 2011a; 井之
上他 2012; Yamamoto et al. 2015) では, リテラルの深さという概念を用いて, 適用回数を制限している. リテラル $l$ の深さとは， $l$ を潜在仮説集合に追加するまでに実行した後ろ向き推論の回数である，例えば，図 2 では，観測に含まれる全てのリテラルは深さ 0 であり, poodle $(x)$ の深さは 2 である. 先行研究では, 後ろ向き推論を適用する対象をある深さ $d_{\max }$ までのリテラルに制限することにより，操作の適用回数の上限を決めている。このように操作の適用範囲を定めることは，再帰的な推論規則（例えば $p(x) \Rightarrow q(y)$ と $q(y) \Rightarrow p(x)$ ）が背景知識に含まれる場合において, 特に重要である。操作の適用回数が有限回であるならば, 潜在仮説集合に含まれる各リテラルもまた有限回の後ろ向き推論によって仮説されたリテラルであるので, 全ての候補仮説 $H \in \mathbb{H}$ について $H \cup B \models O$ の決定可能性が保証される。また，アルゴリズムの停止性，および潜在仮説集合が有限集合であることについても同様に保証される．以上の議論に基づき，本研究においても以上の手続きによって生成された潜在仮説集合の部分集合を候補仮説として扱う。

## 2.3 仮説推論の実装に関する先行研究

まず，仮説推論の分野における代表的な実装としては Mulkar らの Mini-TACITUS (Mulkar et al. 2007) が挙げられるが，これは計算量の面では非常に非効率であった. そのため，大規模知識を用いた仮説推論を行うにあたっては，より効率的な推論アルゴリズムが必要とされた.

これを受けて Blythe らは, 仮説推論の枠組みを Markov Logic Network (MLN) (Richardson and Domingos 2006)の上で定式化する手法 (MLN-based Abduction) を提案した (Blythe et al. 2011)，彼らは，仮説推論を MLN上で実装することによって，MLN の分野における成熟した最適化手法を仮説推論にも利用することを可能にした.これにより Mini-TACITUS と比べ遥かに高速な推論が実現可能になった。

そしてこれよりも更に高い効果をあげたのが, 井之上らが提案した整数線形計画法 (Integer Linear Programming, ILP) に基づく仮説推論 (ILP-based Abduction) であった (Inoue and Inui 2011a, 2012). 井之上らは, 仮説推論の問題を整数線形計画問題により定式化する手法を提案した。これにより, 仮説推論において解仮説を導出する処理はそのまま ILP 問題の最適解を導く処理と対応付けられ，外部の高速な ILPソルバを利用することで解仮説を効率的に導出することが可能になった。文献 (Inoue and Inui 2012)では, ILP-based Abduction の枠組みが MLN-based Abduction と比べても遥かに高速であることが実験によって定量的に示されている.

Yamamoto らは, ILP-based Abduction (Inoue and Inui 2011a, 2012) における計算コストが潜在仮説集合の規模に強く依存することに着目し, 背景知識における述語間の関連度を事前に推定しておくことで，ILP-based Abduction の潜在仮説集合生成の手続きにおいて解仮説に含まれる見込みの無い要素仮説を潜在仮説集合から除外し, ILP 問題の最適化にかかる時間を大幅に短縮する手法 (A*-based Abduction) を提案した (Yamamoto et al. 2015).

しかしながら， 3 節で示すように， A*-based Abduction には，機能リテラルを含む知識表現において推論時間が増大するという問題がある。本研究は, 我々が知る限り最も効率的な枠組みである A*-based Abduction を拡張する手法を提案するものである。A*-based Abduction の詳細については 5.1 節で述べる.

## 3 関係を表すリテラルに起因する計算非効率性

本節では, 3.1 節で示される意味表現と評価関数に基づくIA を先行研究の仮説推論エンジン (Inoue and Inui 2011a, 2012; Yamamoto et al. 2015) で実現する場合に生じる，潜在仮説集合の計算の非効率性について論じる。本節では，まず本研究が前提とする意味表現・評価関数について述べたあと (3.1 節), 既存研究の問題点について述べる (3.2 節).

## 3.1 本研究が前提とする意味表現と評価関数

仮説の評価関数は，2.1 節で述べたとおり仮説の良さを評価する関数であるが,「良さ」の因子には少なくとも，（1）仮説が表す情報の良さ，（2）仮説に含まれる意味表現の文法的正しさ (well-formedness), の二種類が考えられる。本研究は, これらに対してある前提が成立する状況での推論の非効率性を改善するものであるから, 本節では, 前提とする意味表現と, 仮説の評価関数の概形について述べる.

(1) 意味表現言語表現によって表される情報を, どのような論理式として表すかは重要な問題の一つである。特に, 述語と項の関係の表現形式については, これまでに様々な議論が交わされてきた (Davidson 1980; Hobbs 1985; McCord 1990; Parsons 1990; Copestake, Flickinger, Pollard, and Sag 2005, etc.). 述語項関係の表現形式の基本形としては, 大きくDavidsonian 形式 (Davidson 1980) と Neo-Davidsonian 形式 (Parsons 1990) があり，本論文では Neo-Davidsonian 形式の意味表現の利用を想定する.

Davidsonian 形式では，イベントの必須格をリテラルの項の順番に対応させる．例えば，例文“Brutus stabbed Caesar with a knife.”を stab(e,Brutus, Caesar $) \wedge$ with(e,knife) のように表現する。ここでは $\operatorname{stab}(e$, Brutus, Caesar $)$ の 1 番目の引数が stabイベントそのものを参照する変数, 2 番目の引数がイベントの主格, 3 番目の引数がイベントの目的格に対応している.

一方, Neo-Davidsonian 形式では, 全ての格関係を個別のリテラルとして記述する。例えば,前述の例文を $\operatorname{stab}(e) \wedge n \operatorname{subj}(e$, Brutus $) \wedge \operatorname{dobj}(e$, Caesar $) \wedge$ with $(e, k n i f e)$ のように表現する.こ

あることを, $\operatorname{dobj}(e, x)$ はイベント $e$ の目的格が個体 $x$ であることを表すリテラルである. 本論文では, $n \operatorname{subj}(e, x)$ や $\operatorname{dobj}(e, x)$ のような単語間の統語的な依存関係を表すリテラルを機能リテラルと呼び, その述語を機能述語と呼ぶ。一方, $\operatorname{stab}(e)$ などの, 機能リテラル以外のリテラ

ルを内容語リテラルと呼ぶ．また，ある機能リテラルの第一引数を他の内容語リテラルが引数に持つとき，その内容語リテラルを機能リテラルの親と呼び，逆にそのような内容語リテラルが存在しない場合には，その機能リテラルは親を持たないと表現する。例えば上の例において，

Neo-Davidsonian 形式は，イベントに対する部分的な説明を表現できる（例えば police $(x) \Rightarrow$ $\operatorname{arrest}(e) \wedge n s u b j(e, x)$ のようにイベントの主格だけを取り上げた推論が記述できる）ことや,個々のイベントの必須格と任意格の境界を決める必要が無いなどの利点を持つ. 自然言語の動詞は，動詞ごとに必須格・任意格が異なるため，実世界の様々な文を扱う上では， Neo-Davidson 形式は Davidsonian 形式より IA に適した表現形式であると考えられる。 以上の理由により，本論文では Neo-Davidsonian 形式の意味表現を想定する.

ところで，上で述べたように，機能リテラルは言語表現における単語間の統語的依存関係を表すので，親を持たない機能リテラルは文法的に不正である。このことから本論文では，全ての観測が以下の条件を充足することを仮定する：

条件 1. 全ての観測は親を持たない機能リテラルを含まない.

すなわち, この条件を充足しない観測は，元となった文が文法的に不正であると考えられるので，本研究ではそのような観測は入力として考えないものとする.

(2) 評価関数次に, 本論文で想定する評価関数の概形について述べる。まず第一に, 仮説に含まれる等価仮説の正しさを評価することを前提とし, 次のような条件として定義する：

条件 2 . 評価関数は，不正な等価仮説を含む候補仮説を解仮説として選択しない.

ここでの不正な等価仮説とは, 同一事象を表し得ない変数間の等価仮説を指し, 本論文ではこのような等価仮説を $e_{1}=* e_{2}$ と書く. 2.2 節で述べたとおり, 候補仮説の生成時には, 同じ述語を持つリテラル対に単一化仮説生成を適用することにより等価仮説が生成される。このとき，例えば $\operatorname{smart}\left(e_{1}\right) \wedge$ foolish $\left(e_{2}\right) \wedge e_{1}=e_{2}$ のように, 同一でない二つの事象を表す論理変数が等価であるという候補仮説が生成されてしまう場合がある。条件 2 が満たされる限り，このような候補仮説は解仮説として選択されない.

等価仮説が不正であるか否か，すなわちある 2 つの論理変数が同一事象を表し得るかどうかの判断については，変数の等価性について閉世界仮説 (Reiter 1978)を仮定することで対応する. すなわち, ある論理変数対 $a, b$ が潜在仮説集合 $P$ において同じ型 4 を持つ可能性が存在しないならば（すなわち同じ述語を持ち, 単一化仮説生成によって等価仮説 $a=b$ を導くような内容語リテラル対が潜在仮説集合 $P$ に存在しないならば) 等価仮説 $a=b$ は不正である $\left(a={ }^{*} b\right)$ とする.

第二に，仮説に含まれる論理式の文法的正しさを評価することを前提とし，以下のような条件で表す：

条件 3. 評価関数は親を持たない機能リテラルを含む候補仮説を解仮説として選択しない.

前述のとおり，親を持たない機能リテラルは文法的に不正であるので，本論文ではこの文法的正しさに関して，評価関数が条件 3 を満たしていることを前提とする。以降では，これらの条件 $1,2,3$ をまとめて仮説の整合性条件と呼ぶ.

## 3.2 機能リテラルに係る推論による計算の非効率化

3.1 節で述べた意味表現と評価関数のもとで, 先行研究の仮説推論エンジンを用いて IA を実現する場合, 機能リテラルを根拠とした単一化仮説生成操作および後ろ向き推論操作により, 解仮説に含まれることのない要素仮説が潜在仮説集合に追加され，推論時間を増大させてしまうという問題がある。

例えば図 3 では, 観測に含まれる $\operatorname{nsubj}\left(e_{3}, j\right)$ と $n \operatorname{subj}\left(e_{4}, t\right)$ に対して単一化仮説生成操作を適用することで, 等価仮説 $e_{3}=e_{4}$ (smart イベントと foolish イベントは同一事象), および $j=t$ （John と Tom は同一人物）が潜在仮説集合に追加されている。また図 4 では, 観測に含まれる $\operatorname{smart}\left(e_{1}\right)$ と foolish の主格を表すリテラル $\operatorname{nsubj}\left(e_{2}, t\right)$ を根拠として, $e_{1}=e_{2}$ という仮定のもと知識適用を行い, $\left.\{\operatorname{study}\left(e_{3}\right), n \operatorname{subj}\left(e_{3}, t\right)\right.\}$ を潜在仮説集合に追加している.

しかしながら,これらの推論は論理的には可能であるものの, 3.1 節で述べた仮説の評価関数に関する前提より, これらの仮説が最良の説明として選択されることは無い.このような推論は同じ述語を持つリテラルに対して組み合わせ的に発生し（例えば,「smartを述語に持つリテラルの数 $\times$ $n s u b j$ を述語に持つリテラルの数」の分だけ発生する)，かつ候補仮説の数は潜在仮説集合の規模に対して指数関数的に増大するため, 計算負荷の観点において重大な問題であると考えられる.

入力文: John is smart. Tom is foolish.

図 3 不適切な単一化仮説生成によって誤った解釈が導かれる例

入力文: John is smart. Tom is foolish.

図 4 不適切な後ろ向き推論によって誤った解釈が導かれる例

この問題の本質的な原因は, 先行研究の潜在仮説集合生成手続き（2.2 節）における各操作において, 論理変数間の等価性の意味的な整合性を考慮できていないことにある. 例えば図 3 において, $\operatorname{nsubj}\left(e_{3}, j\right)$ と $\operatorname{subj}\left(e_{4}, t\right)$ に対する単一化仮説生成操作によって等価仮説 $e_{3}=e_{4}$ が潜在仮説集合に追加されるが，このとき，この等価仮説が不正かどうか（つまり，解釈「studyであり，かつ mistakeであるようなイベント $e_{3}\left(=e_{4}\right)$ が存在する」が実現可能なものか）は考慮されていない，その結果，図 3 のように，不正な等価仮説であっても，潜在仮説集合に追加されてしまう。

本節で述べた問題は，意味表現として Neo-Davidsonian 形式を採用した場合に一すなわち述語と項の関係を $\operatorname{nsubj}(x, y)$ のように個別のリテラルとして表現した場合に起こる問題である. しかし, これに限らず, Hobbs らの研究 (Hobbs et al. 1993)のように, 名詞間の意味的関係（部分全体関係など）や統語的関係（複合名詞を構成する名詞間の関係など）を part_of $(x, y)$ や $n n(x, y)$ のようなリテラルで表現する場合にも, 上述のような問題が生じる. このようなリテラルは一階述語論理式で自然言語の情報を表す上で必要不可欠であり，本節で述べた問題は IA の研究において決して些末な問題ではない.

このような問題に対し本論文では, 2.2 節で述べた潜在仮説集合生成に係る操作において等価仮説の生成を伴う場合, 等価仮説が不正でない場合にのみ操作の適用を許すことで, 解として選ばれない等価仮説を潜在仮説集合から除外する手法を提案する。例えば図 3 における $n s u b j\left(e_{3}, j\right)$ と $n \operatorname{subj}\left(e_{4}, t\right)$ に対する単一化仮説生成操作の適用時には，まず 3.1 節で述べた基準により $e_{3}=e_{4}$ の正しさをチェックする（つまり，studyかつ mistakeであるような事象が存在しうるか）。ここで仮に「studyと mistake が同一事象に成り得ない」ことがわかったとすると, $e_{3}=e_{4}$ は不正な等価仮説であり, $e_{3}=e_{4}$ が解仮説に含まれる可能性がないため, 操作の適用を行わない.

4 節では, これらのアイデアに基づき, 2.1 節で説明した潜在仮説集合生成の手続きを拡張し, より効率的に潜在仮説集合を生成する方法を提案する。また 5 節では, これらのアイデアに基

づき， A*-based Abduction (Yamamoto et al. 2015) の計算効率を改善する手法を提案する.

なお，以降の記述では便宜的に，機能リテラルは全て次のような形式をとるものとする：

・アリティは 2 .

・リテラルの第一引数が依存関係の governor, 第二引数が dependent を表す.

自然言語における単語間の依存関係の多くは 2 項間関係として表されること, 多項関係は一般に 2 項間関係の組み合わせとして一般化できることなどから，このように定義を限定した場合においても一般性は失われない.

## 4 等価仮説への制約による効率化

本節では, 2.2 節で定義した後ろ向き推論操作，および単一化仮説生成操作に対して適用条件を付加することにより，不正な等価仮説を探索空間から除外する方法を提案する。

## 4.1 機能的述語の単一化に対する制約

2 節で述べた通り, 先行研究 (Inoue and Inui 2011a; 井之上他 2012; Yamamoto et al. 2015) における単一化仮説生成の適用は, 述語の同一性にのみ依拠している. しかしながら, 3.1 節で述べた設定の下では, 機能リテラル対に対する単一化仮説生成操作によって, 不正な等価仮説が潜在仮説集合に追加されてしまう可能性がある。仮説の整合性条件が充足されているとすると，不正な等価仮説を含む仮説は解仮説として選択されないため，そのような仮説が候補仮説に含まれてしまうことは, 推論効率の面で無駄が生じる.

我々はこの問題に対処するために，機能リテラル対に対する単一化仮説生成を行う際に「それぞれの governor（第一引数）の論理変数の間の等価性を導く, 不正でない等価仮説が既に仮説されていること」という条件を追加する。例えば図 3 の観測における機能リテラル対 $\operatorname{nsubj}\left(e_{3}, j\right)$, $n \operatorname{subj}\left(e_{4}, t\right)$ に対する単一化仮説生成の適用は, 等価仮説 $e_{3}=e_{4}$ が潜在仮説集合に既に含まれている場合に限定する。これにより，親が互いに同一事象に成り得ない機能リテラル対は単一化仮説生成の対象とならず, 不正な等価仮説が潜在仮説集合に追加されなくなるので, 推論効率の向上が期待できる.

より一般的には, 潜在仮説集合 $P$ において, 機能述語 $d$ を持つ機能リテラル対 $d\left(x_{1}, y_{1}\right), d\left(x_{2}, y_{2}\right)$ に対して単一化可能性を認め, そこから導かれる等価仮説 $x_{1}=x_{2}, y_{1}=y_{2}$ を潜在仮説集合に追加するのは, $x_{1}, x_{2}$ が同一の変数である場合か, 等価仮説 $x_{1}=x_{2}$ が $P$ に含まれている場合に限る。このような制約により，機能リテラル間の単一化仮説生成が適用されるのは，それぞれの機能リテラルが表す依存関係の governor が互いに同一である可能性がある場合に限定され，常に不正な等価仮説を導くような単一化仮説生成操作の実行を防止できる。この制約をどのようなアルゴリズムとして実装するかについては 4.3 節で述べる.

## 4.2 後ろ向き推論への拡張

後ろ向き推論操作についても, 単一化仮説生成操作と同様の議論を行うことができる。本節ではそれを踏まえ，前節と同等の制約を後ろ向き推論操作にも課すことを考える。例えば図 4 において，論理式 $\operatorname{study}\left(e_{3}\right) \wedge \operatorname{subj}\left(e_{3}, t\right) \Rightarrow \operatorname{smart}\left(e_{1}\right) \wedge \operatorname{subj}\left(e_{1}, t\right)$ による後ろ向き推論を連言 $\operatorname{smart}\left(e_{1}\right) \wedge \operatorname{nsubj}\left(e_{2}, t\right)$ に対して適用する場合について, この後ろ向き推論操作の適用条件として「潜在仮説集合に不正でない等価仮説 $e_{1}=e_{2}$ が含まれていること」を課す.これにより，不正な等価仮説を導く後ろ向き推論を潜在仮説集合の生成手続きから除外することができる.

このとき, 全ての後ろ向き推論に制約を課してしまうと, 本来除外するべきでない推論が除外されてしまう場合があることに注意する必要がある．例えば図 5 における後万向き推論に上の制約を課した場合, 等価仮説 $x_{1}=x_{3}$ が潜在仮説集合に含まれていることが後ろ向き推論適用の条件となるが, 等価仮説 $x_{1}=x_{3}$ を導くためにはその後ろ向き推論を実行する必要がある. そのため, 上の制約を課した場合にはこの推論は探索空間から除外されてしまう。しかしながら, 図 5 の仮説は最終的には不正な等価仮説を含まないため, 本来は除外するべきでない，以上の議論より本論文では, このような場合を引き起こしうる論理式を用いた後ろ向き推論については制約を課さないことによって，除外すべきでない候補仮説一すなわち不正な等価仮説を含まない候補仮説が探索空間から除外される事態を防ぐ. 上のような場合を引き起こしうる論理式とは, 具体的には, 論理式の後件中の機能リテラルの親になっているリテラルが前件に含まれるような論理式である。そのような論理式を用いた後ろ向き推論については, 制約の対象から除外する。例えば図 5 の例では, 後件の機能リテラル $i n\left(x_{1}, x_{2}\right)$ の第一引数 $x_{1}$ が前件のリテラル $\operatorname{student}\left(x_{1}\right)$ の引数に含まれており, $\operatorname{student}\left(x_{1}\right)$ は $\operatorname{in}\left(x_{1}, x_{2}\right)$ の親であると言えるので, この論理式を用いた後ろ向き推論については制約の対象としない.

以上のアイデアをより一般的に表そう．潜在仮説集合 $P$ において, 含意型論理式 $\bigwedge_{i=1}^{n} p_{i}\left(x_{i}\right) \Rightarrow$ $\bigwedge_{j=1}^{m} q_{j}\left(y_{j}\right)$ を用いた後ろ向き推論を， $P$ に含まれる連言 $\bigwedge_{j=1}^{m} q_{j}\left(z_{j}\right)$ に適用する場合を考える.

図 5 探索空間から除外すべきではないにも関わらず，等価仮説の制約によって実行不可能になってしまう後ろ向き推論の例.

ここで，述語 $q_{f}$ が機能述語であるようなインデックス $f$ の集合を $F$ とすると, この逆向き推論を適用するのは， $F$ の各要素 $f$ が以下の条件のうち少なくとも一つを満たしている場合に限る：

(1) $q_{f}\left(y_{f}\right)$ の第一引数 $y_{f}^{1}$ を引数に持つリテラルが論理式の前件に存在する. すなわち $y_{f}^{1} \in$ $\bigcup_{i=1}^{n} x_{i}$ が成り立つ.

(2) 論理式の後件の $c$ 番目にある内容語リテラル $\left(q_{c}\left(y_{c}\right)\right.$ とおく) の任意の（ $i$ 番目の）引数 $y_{c}^{i}$ が $y_{f}^{1}$ と同一であるとき, 変数対 $z_{c}^{i}, z_{f}^{1}$ が同一であるか, もしくは潜在仮説集合に等価仮説 $z_{c}^{i}=z_{f}^{1}$ が含まれる.

この条件を満たさない逆向き推論は，常に不正な等価仮説を導くので，探索空間から除外できる.この制約をどのようなアルゴリズムとして実装するかについては 4.3 節で述べる.

## 4.3 潜在仮説集合の生成手続きの拡張

4.1 節および 4.2 節では, 単一化仮説生成操作および後ろ向き推論操作の適用条件として, 不正な等価仮説を生成しないことを条件とすることにより，不正な等価仮説が潜在仮説集合に追加されることを回避する手法を示した。本節では，これらの手法を実際にアルゴリズムとして実装する方法を議論する。

まず，各操作の適用条件の充足性と，潜在仮説集合の状態は互いに依存しているため（つまり, 適用条件の充足性は潜在仮説集合の状態で決まり, かつ潜在仮説集合の状態は各操作の適用条件の充足性により変化する), 各操作に対する条件の充足性判定は, 各操作の適用時に一度ずつ行うだけでは不十分である。なぜなら，潜在仮説集合を生成する過程において，ある時点では適用条件を充足せず適用不可能な操作であっても, その後の別の時点では, 別の操作の適用により条件が充足され，適用可能となる場合があるからである。そのため, 最終的に適用されなかった全ての操作が制約を充足しないことを保証できるよう，各操作に対する適用条件の充足性を漏れが無いように判定する必要がある.

以上のような考えに基づき， 2.2 節で述べた潜在仮説集合の生成手続きを次のように変更する：

（1） 観測 $O$ を潜在仮説集合 $P$ に追加する。これが初期状態となる.

（2） 潜在仮説集合 $P$ に対して適用可能な後ろ向き推論および単一化仮説生成操作を, A*-based Abduction の手法に基いて網羅的に適用する。ただし， 4.1 節および 4.2 節で提案した適用条件を満たさない単一化仮説生成・後ろ向き推論は実行しない. 制約条件を満たさずに実行されなかった単一化仮説生成・後ろ向き推論については, 別の記憶領域 $S$ に保持しておく.

（3）この時点で $S$ が空の場合は，潜在仮説集合の生成を終了する.

(4) $S$ に含まれる単一化仮説生成操作および後ろ向き推論操作のそれぞれについて，再び制約を満たすかどうかの判定を行う。満たすのなら操作を適用し， $S$ から除外する。

（5）手続き(4) において一つの操作も実行されなかった場合は潜在仮説集合の生成を終了し,

そうでなければ手続き $(2)$ に戻る.

このような実装を採ることにより，最終的に適用されなかった操作については全て適用条件を満たさないことが保証される。 4.1 節および 4.2 節での議論より, 適用条件を満たさない操作は不正な等価仮説を導くので，仮説の整合性条件より，これらの操作によって導かれる要素仮説が本来の解仮説に含まれることは無い。すなわち，等価仮説への制約を課す前後で解仮説が変化しないことが保証される。

## $5 \quad A^{*$-based Abduction の効率化}

機能リテラルを含む背景知識を用いた仮説推論を A*-based Abduction (Yamamoto et al. 2015) に適用する際，探索空間の枝刈り精度が著しく低下するという問題がある．本節ではそのような問題の解決策として，探索のガイドとして用いるヒユーリスティック関数の計算方法を改良することにより，枝刈りの精度の低下を抑える手法を提案する。

本節では，まず $A^{*}$-based Abduction について説明し（5.1 節），機能リテラルが引き起こす枝刈り精度低下の問題（5.2 節）と解決策（5.3 節）について述べる.

## 5.1 A*アルゴリズムに基づく仮説推論

まず, A*-based Abduction のベースとなる ILP-based Abduction (Inoue and Inui 2011b, 2012) について説明する. ILP-based Abduction では, まず観測と背景知識を入力として受け取り, それらに対して 2.2 節の潜在仮説集合生成手続きを適用し, 潜在仮説集合を生成する. 次に, 潜在仮説集合と評価関数から，ILP 問題を生成する。ここでは，仮説中での各リテラルの有無が ILP 変数の 0-1 值に, 仮説に対する評価関数の値が ILP 問題の目的関数値に対応し, 各リテラル間の論理的な依存関係は ILP 制約として表現される。最後に，ILPソルバ5を用いて ILP 問題を解くことにより，解仮説が得られる.

A*-based Abduction は, ILP-based Abduction の潜在仮説集合の生成手続きをA*アルゴリズムに基づいて改良するものであり，解仮説に含まれる見达みが高い仮説を生成する操作を優先的に適用していくアルゴリズムである。より具体的には，まず事前準備として，背景知識における述語間の意味的な距離を評価しておく。ここでの述語間の意味的な距離とは，一方の述語から他方の述語に至る推論によって生じる評価関数値の増減量のヒューリスティックな見積もりである。同じ論理式に含まれる述語を互いに隣接関係にあると見なすと, 図 6 のように節点を述語，枝を隣接関係とする無向グラフ（以後，述語グラフと呼ぶ）が得られる ${ }^{6}$. 述語間の意味的な距離は，このグラフにおける距離一即ち述語間を繋ぐ枝の長さの総和として与えられ
^{5}$ lp_solve (http://lpsolve.sourceforge.net) や Gurobi Optimizer (http://www.gurobi.com) などがある.

6 論理プログラミング分野の慣習に従い，アリティ（引数の数）が $\mathrm{n}$ であるような述語 $\mathrm{p}$ を $p / n$ と表す.
}

図 6 図 1 の背景知識に対応した無向グラフ

る. 各枝の長さは，枝に対応する知識ごとに自由に定義できる ${ }^{7}$ が，本論文では議論の簡単のために全ての枝の長さを 1 と定める。このとき述語グラフにおける述語間の距離は, 一方の述語から他方の述語に至る推論の段数と一致する。例えば図 6 によれば, 図 1 の背景知識において,述語 bank, issue を持つリテラル同士を推論で繋ぐには最低でも 3 つの論理式を経由しなければならず，また述語 he, moneyを持つリテラル間を結びつけるような推論は存在しない事が分かる。述語グラフの構造は背景知識にのみ依存するので，あらゆる述語対に対する距離を事前に計算しておき，行列として保持しておくことが可能である.

次に，述語グラフに基づいて後ろ向き推論操作の良さを見積もりながら，潜在仮説集合の生成を行う．A*-based Abduction の潜在仮説集合の生成手続きでは,「単一化仮説生成に寄与しないリテラルは解仮説に含まれない」という前提に基づき，解仮説に含まれる見达みがあるリテラル，すなわち単一化仮説生成に寄与しうるリテラルを仮説する後ろ向き推論操作のみを, 評価関数の増減量の見込みがより高いものから優先的に実行していく.より具体的には, 述語グラフにおける述語間の距離を A*アルゴリズムにおけるヒューリスティック関数として用いて，観測中の個々のリテラルから他のリテラルに至る推論を探索8することによって, 単一化仮説生成に寄与しない後ろ向き推論（すなわち他のどのリテラルとも距離が無限大になるようなリテラルを根拠とした後ろ向き推論）は適用対象から除外しつつ，評価関数値の増減量の見込みが高い後ろ向き推論（すなわち他のリテラルとの述語間距離が近いリテラルを根拠にした後ろ向き推論）から優先的に適用していく．これにより，解仮説に含まれ得ないリテラルを仮説するような後ろ向き推論操作は探索空間から除外され, 結果として推論全体の計算効率が改善される. 例えば図 2 の潜在仮説集合における $\operatorname{cat}(x)$ や poodle $(x)$ は, それ自身が単一化仮説生成操作の対象になることも，そこから仮説されたリテラルが単一化仮説生成操作の対象になることも無いので, これらのリテラルを仮説するような後ろ向き推論操作は実行されない.

また, 評価関数値の増減量の見込みが高い推論が優先して実行されることにより, 潜在仮説集合の生成にかけられる時間が制限された状況においても，より良い解が探索空間に含まれるように，与えられた時間内で可能な限り最善の探索を行う。これは実用においては極めて大きな利点である。

さて，以降の議論のために用語を一つ定義する。単一化仮説生成の対象となったリテラル対 $l_{1}$, $l_{2}$ と, それらの根拠である観測リテラル対 $o_{1}, o_{2}$ について, $o_{1}, o_{2}$ から $l_{1}, l_{2}$ をそれぞれ仮説するために必要な後ろ向き推論と, $l_{1}, l_{2}$ 間の単一化仮説生成操作から構成される操作の系列を, $o_{1}$, $o_{2}$ の間の推論パスと呼ぶことにする。例えば図 1 において, リテラル対 $\operatorname{go}\left(x_{1}, x_{2}\right), \operatorname{get}\left(y_{1}, y_{2}\right)$ の間の推論パスは, (1) $g o\left(x_{1}, x_{2}\right)$ から $\operatorname{issue}\left(x_{2}, u_{1}, x_{1}\right)$ への後ろ向き推論, $(2) g o\left(y_{1}, y_{2}\right)$ から $\operatorname{issue}\left(u_{2}, y_{2}, y_{1}\right)$ への後ろ向き推論, (3) issue $\left(x_{2}, u_{1}, x_{1}\right)$ と issue $\left(u_{2}, y_{2}, y_{1}\right)$ の間の単一化仮説生成によって構成される。定義より, 全ての推論パスは, 1 回の単一化仮説生成操作と 0 回以上の後ろ向き推論操作によって構成されることに注意されたい9．また，ある推論パスについて， そこに含まれる操作の系列に関与している観測リテラルの集合, すなわち推論パスで作られる推論が説明している観測リテラル集合を，推論パスの根拠と呼ぶ.

さて, 現在の仮説推論の実装としては A*-based Abduction が最も高速であるが, 彼らの枠組みを適用する際，その評価関数は次の要件を満たしていなければならない。一つ目に，彼らの枠組みは ILP-based Abduction (Inoue and Inui 2011a, 2012)に基づいた枠組みであるため，評価関数は整数線形計画問題で表現可能であるものでなければならない. 二つ目に，壳長な仮説に対しては評価が低下すること，すなわち単一化仮説生成に寄与しないリテラルが解仮説に含まれ得ないことが保証されていなければならない。なお,この条件については, Hobbs らの重み付き仮説推論をはじめとして, Thagard (Thagard 1978)の提唱する「仮説の良さは簡潔さと顕現性によって決定される」とする主張に基づいて定義された評価関数であれば一般に充足される。

ここで, 二つ目の条件を Neo-Davidsonian 形式に合わせて拡張することを考えよう．例えば，図 7(a)の Neo-Davidsonian 形式で表現された推論は, 表す意味そのものは図 7(b)の Davidsonian 形式で表現された推論と同等であることから, 図 7(b) と同様に解仮説には含まれ得ないと考えてよい. すなわち図 7(a)のように，単一の内容語リテラルとそれを親とする機能リテラルだけを根拠とする推論パスは， Thagardの主張に従うならば，解仮説には含まれないものと考えてよい.

以上の議論から, 以降で扱う評価関数は, 整数線形計画問題で等価に表現可能であるとともに，以下に示す条件を充足すると仮定する：
- 評価関数は, 単一化仮説生成に寄与しないリテラルを含む候補仮説を解仮説として選択

(a)

john(J) $\wedge$ apple(A)

観測

(b)

入カ文: John bought an apple.

図 7 異なる意味表現形式における冗長な推論の例。推論 (a) は Neo-Davidsonian 形式で, 推論 (b) は Davidsonian 形式で，それぞれ同様の冗長な推論を表している。

しない.

・ 評価関数は, 単一の内容語リテラルとそれを親とする機能リテラルのみを根拠とした推論パスを含む候補仮説を解仮説として選択しない.

以降ではこれらの条件をまとめて仮説の簡潔性条件と呼ぶ.

## 5.2 述語間距離の推定精度の低下

5.1 節で述べたように A*-based Abduction では, 図 6 のような述語グラフを用いて, 背景知識における述語間の意味的な距離を事前に評価しておき，仮説の探索空間の枝刈りを行う。述語グラフの上では, 論理式の前件に含まれる各述語と後件に含まれる各述語のあらゆる組み合わせが接続されるため, 機能リテラルのような, 他のリテラルと高頻度で共起するリテラルを背景知識に含む場合には，述語グラフの中にハブとなるノードが形成される。その結果, 解仮説を含まれ得るような推論が実際には存在しないリテラル対に対しても，誤って距離を近く見積もってしまう，という問題がある.

例えば図 3 で用いられている背景知識 $B$ を考える：

$
\begin{aligned}
& \operatorname{mistake}\left(e_{1}\right) \wedge \operatorname{nsubj}\left(e_{1}, x\right) \Rightarrow \operatorname{foolish}\left(e_{2}\right) \wedge \operatorname{nsubj}\left(e_{2}, x\right) \\
& \operatorname{study}\left(e_{1}\right) \wedge \operatorname{nsubj}\left(e_{1}, x\right) \Rightarrow \operatorname{smart}\left(e_{2}\right) \wedge \operatorname{nsubj}\left(e_{2}, x\right)
\end{aligned}
$

この背景知識に対して 5.1 節で述べた手続きによって述語グラフを生成すると, 図 8(a)のような述語グラフが作られる。前述のように，背景知識に含まれる機能述語 $n s u b j / 2$ がハブノードとなり，あらゆる内容語述語のペアが互いに到達可能と判定されることがわかる. しかし, こ

(a)

(b)

図 8 提案手法による枝刈りの適用前後における述語グラフ. (a) が従来手法による述語グラフ, (b) が 5.3 節で提案する手法による述語グラフである.

れらの推論パスにより生成される仮説の中には, 解仮説として選択されないことが保証されるものも含まれる，例えば，図 8(a)より，foolish と smart を述語に持つリテラル対を結ぶような推論パスは存在すると推定されるが，3節で見てきたように，この推論パスから生成される仮説は不正な等価仮説を導くため, 解仮説には成り得ない.

このように，従来の述語グラフでは，述語間を繋ぐ推論が不正な等価仮説を導くかどうか考慮できていないために, 機能リテラルを含む背景知識の上での述語間距離の推定精度が低下し, A*-based Abduction の利点が失われてしまっている.

## 5.3 述語グラフの枝刈りによる高速化

本研究では, 5.2 節で述べた問題を解消するために, 述語グラフから特定の枝を除外することを提案する。つまり，図 3 における foolish(e) と smart(e)のように，あるリテラル対を繋ぐ推論パスが常に不正な等価仮説を導く時に，それらの間の距離が無限大となるように，述語グラフの枝を除外する。これにより不正な等価仮説を導く推論は探索空間から除外され，探索を効率化できる。

具体的な手法を述べる。本手法では， A*-based Abduction について，以下の 2 点の拡張を加える：
- 述語グラフの構築において, 機能リテラルとその親の両方が前件あるいは後件に存在する含意型論理式に対しては，親に対する枝だけを述語グラフに追加するものとする．例えば $\operatorname{study}\left(e_{1}\right) \wedge \operatorname{nsubj}\left(e_{1}, x\right) \Rightarrow \operatorname{smart}\left(e_{2}\right) \wedge \operatorname{nsubj}\left(e_{2}, x\right)$ という論理式に対しては, study と smartの間の枝だけを追加し，nsubjへの枝は追加しない.
- 潜在仮説集合の生成において, 機能リテラルと他のリテラルの間の述語間距離には, 機能リテラルの親の述語間距離を代わりに用いるものとする. 例えば図 3 の観測において,
$n \operatorname{subj}\left(e_{1}, j\right)$ の親は $\operatorname{smart}\left(e_{1}\right)$ であるので, $\operatorname{nsubj}\left(e_{1}, j\right)$ と foolish $\left(e_{2}\right)$ の述語間距離には, $\operatorname{smart}\left(e_{1}\right)$ と foolish $\left(e_{2}\right)$ の述語間距離を用いる. なお，親が複数存在する場合には，それらの中での最低値を採用するものとする.

このように拡張することで，不正な等価仮説を導く推論は探索空間から除外される．例えば,図 3 の背景知識では, 図 $8(\mathrm{a})$, (b) に示されるように, 機能述語 $n s u b j / 2$ の枝が述語グラフから取り除かれる。その結果, 述語 smart と foolishの間の距離が無限大となり, 不正な等価仮説を導くsmart, foolishを繋ぐ推論は，探索空間から除外される。

なお, 本手法を適用したときに得られる解は, 仮説の整合性条件および簡潔性条件が充足されている限り，手法を適用しない場合の解と同様の解が得られること，すなわち元々の解が提案手法によって探索空間から枝刈りされないことが保証される。詳細な説明は付録 $\mathrm{A} に$ 委ねるものとする。

## 6 実験

## 6.1 基本設定

本節では，本論文にて行った実験における基本的な設定について述べる.

本実験における観測としては, Rahman ら (Rahman and Ng 2012)によって構築されたWinograd Schema Challenge (Levesque 2011)の訓練デー夕の問題 1,305 問をそれぞれ論理表現に変換したものを用いた．具体的には，各問題文に対して Stanford Core NLP ${ }^{10}$ (Manning, Surdeanu， Bauer, Finkel, Bethard, and McClosky 2014) を用いて構文解析を行い, 文中の単語および単語間の依存関係をそれぞれリテラルに変換した．各観測は平均して 28 個のリテラルから構成される。観測の例を表 1 の $O$ に示す。なお，全ての観測について整合性条件を充足することを確認している。以降はこの観測集合を $O_{w s c}$ と表す.

Winograd Schema Challenge は, 例えば “Tony helped Jeff because he wanted to help.”のような文を入力として，指定された照応表現（ここでは“he”）の照応先として相応しいものを $2 \supset$ の選択肢（ここでは “Tony”と“Jeff”）から選ぶタスクである。仮説推論の上では，照応先の選択は等価仮説の有無に対応する。例えば，表 1 の $O$ に対して得られた解仮説に $E_{1}=e_{5}$ が含まれるなら，“he”の照応先として“Tony”を選ぶことと等しい．なお，本実験では，各問題の照応先に対応する論理変数には定数（この例では $E_{1}, E_{3}$ ）を割り当てることで，二つの照応先候補を同時に選択することを防いでいる。

また背景知識には，我々が ClueWeb1211から自動獲得した因果関係知識を用いた。具体的に

表 1 実験で用いた観測および背景知識の例。なお観測の例は “Tony helped Jeff because he wanted to help."という文に対応する論理表現である.

$
\begin{aligned}
& O=\text { tony_nn }\left(E_{1}\right) \wedge h e l p \_v b\left(E_{2}\right) \wedge j e f f \_n n\left(E_{3}\right) \wedge b e c a u s e_{-} i n\left(E_{4}\right) \wedge h e \_p r(e 5) \wedge \text { want_vb }\left(E_{6}\right) \wedge \\
& \operatorname{to\_ to}\left(E_{7}\right) \wedge h e l p \_v b\left(E_{8}\right) \wedge \operatorname{nsubj}\left(E_{2}, E_{1}\right) \wedge \operatorname{dobj}\left(E_{2}, E_{3}\right) \wedge \operatorname{mark}\left(E_{6}, E_{4}\right) \wedge \\
& \operatorname{nsubj}\left(E_{6}, e_{5}\right) \wedge \operatorname{advcl}\left(E_{2}, E_{6}\right) \wedge \operatorname{aux}\left(E_{8}, E_{7}\right) \wedge x \operatorname{comp}\left(E_{6}, E_{8}\right) \wedge \operatorname{nsubj}\left(E_{8}, e_{5}\right) \\
& B_{e p}=\text { meet_vb }\left(e_{1}\right) \wedge n \operatorname{subj}\left(e_{1}, x\right) \Rightarrow h a v e_{-} v b\left(e_{2}\right) \wedge n \operatorname{subj}\left(e_{2}, x\right) \wedge d o b j\left(e_{2}, y\right) \wedge \text { interest_nn }(y), \\
& \text { graduate_vb }\left(e_{1}\right) \wedge n s u b j\left(e_{1}, x\right) \Rightarrow \text { give_vb }\left(e_{2}\right) \wedge i o b j\left(e_{2}, x\right) \wedge d o b j\left(e_{2}, y\right) \wedge j o b \_n n(y) \\
& g e t_{-} v b\left(e_{1}\right) \wedge n \operatorname{subj}\left(e_{1}, x\right) \wedge \operatorname{dobj}\left(e_{1}, y\right) \wedge d i s c o u n t \_n n(y) \Rightarrow b u y_{\_} v b\left(e_{2}\right) \wedge n s u b j\left(e_{2}, x\right), \ldots \\
& B_{w n}=p l a y \_n n(x) \Rightarrow \text { action_nn }(x) \\
& \text { attack_vb }(e) \Rightarrow a f f e c t \_v b(e)
\end{aligned}
$

は，まず，ClueWeb12に含まれる各文に対して Stanford Core NLP を適用し，共参照関係にある項を持つ動詞・形容詞とその周辺文脈のペア 5 億個を獲得した。例えば, “Tom helped Mary yesterday, so Mary thanked to Tom.” より，Maryを介してぺアとなっている〈Tom help Mary yesterday, Mary thank to Tom〉を獲得した. 獲得したぺアは, そのまま因果関係知識として用いるには特殊すぎる可能性があるため, これらを統計的な基準によって一般化し, 論理表現に変換した。より具体的には，獲得したぺアをさまざまな抽象度に一般化した上で（例えば，〈Tom

などに変換した）頻度カウントを行い，一定以上の頻度のぺアだけを残す，というフィルタリング処理を施した (以降, これらのペアをイベントペアと呼ぶ). 結果として, 278,802 個の含意型論理式の集合 $B_{e p}$ を得た. 知識の例を表 1 の $B_{e p}$ に示す. また, WordNetの Synset によって定義される同義語 ・上位語の知識を論理表現に変換し, 結果として 235,706 個の含意型論理式の集合 $B_{w n}$ を得た. WordNet から生成した論理式の例を表 1 の $B_{w n}$ に示す. 提案手法を適用するにあたっては, 背景知識に出現する格関係および前置詞による修飾関係を表す全ての述語を機能述語として扱うこととした.

評価関数には重み付き仮説推論 (Hobbs et al. 1993)を基に, 整合性条件および簡潔性条件を充足するような評価関数を用いた。具体的には, 重み付き仮説推論の評価関数に対して「全ての候補仮説は仮説の整合性条件および簡潔性条件を満たさなければならない」という制約を加えている。比較対象としては A*-based Abduction (Yamamoto et al. 2015)を用いた. 以降の記述における従来手法とは A*-based Abduction を指す.

を拡張することによって実装した。

## 6.2 推論効率の比較

本節では, 推論効率の比較実験について報告する。この実験では, 提案手法が従来手法と比べてどの程度効率的に最適解を導くことができるかを確かめるために, 従来手法でも最適解が導出できる程度に小規模な設定での比較を行った．また，従来手法のほかに， 4 節の制約のみを用いた設定，5 節の述語グラフの枝刈りのみを用いた設定との比較も行うことで，個々の手法による効率化の度合いを検証した。

具体的な設定を以下に述べる，観測には $O_{w s c}$ に含まれる全ての問題（1,305 問）を用いた。背景知識には, $B_{e p}$ から 187,732 個の論理式を抽出 ${ }^{13}$ して用いた. また, リテラルの深さの最大値は $d_{\text {max }}=1$ とした. これにより後ろ向き推論の入力は観測リテラルのみに限定される。また,推論時間が5分を超えるものについてはタイムアウトとした. この実験設定を, 以降は SMALL と呼ぶ.

実験設定 SMALL における実験結果を図 9 , 図 10, 図 11 に示す. 図中の各点は開発セット 1,305 問のうち, 少なくとも一方の実験設定がタイムアウトせずに最適解を求められた問題 1,095

図 9 実験設定 SMALL での, 提案手法と従来手法との速度比較.
^{13} B_{e p}$ の論理式のうち, ClueWeb 中での共起頻度がある閥値を超えるイベントペアから生成された論理式のみを抽出した。背景知識を適当な規模に縮小する以外の意図は無いので，詳細は省略する。
}

図 10 実験設定 SMALL での，等価仮説の制約の有無における速度比較.

図 11 実験設定 SMALL での, 述語グラフの枝刈りの有無における速度比較.

問14について, それぞれの問題における推論時間を表す. 各点の座標は, 横軸が提案手法による推論時間に対応し, 縦軸が比較対象での推論時間に対応する。図 9 では A*-based Abduction による推論時間, 図 10 では提案手法において 5 節で述べた述語グラフの枝刈りのみを適用した

場合の推論時間，図 11 では提案手法において 4 節で述べた等価仮説への制約のみを適用した場合の推論時間が，縦軸に対応する。なお，5 分以内に解を導くことが出来ずタイムアウトした問題については 300 秒としてプロットしている。また直線は $y=x$ を表す。よって，この直線よりも上にある点については提案手法によって推論時間が改善されていると見做すことができる.

図 9 からは，従来手法と比べたときの，提案手法による効率化の程度を確認できる。この結果より，どのような規模の問題においても提案手法は従来手法と比べて遥かに短い時間で，平均して数十倍から数百倍の速度で解を導けていることが確かめられた。

図 10 からは，4 節で提案した等価仮説の制約による効率化の程度を確認することができる。 この結果から，探索空間が極めて小さい一部の問題に対しては効率の低下が見受けられるものの，それ以外の問題についてはいずれもより効率的な推論が実現できていることが確かめられた. 推論効率が低下している一部の問題については, この制約によって除外されるような単一化仮説生成操作が探索空間に存在しない，あるいはその数が極めて少ないために，制約の判定にかかる計算量が制約を課すことで削減される計算量を上回ってしまっていると考えられる.

図 11 からは，5 節で提案した述語グラフの枝刈りによる効率化の程度を確認することができる。図 9 での結果とほぼ同様の結果であるものの, 述語グラフの枝刈りによって探索空間から除外される推論は，等価仮説の制約によって探索空間から除外される推論の大半を包含していることから，これは極めて自然な結果であるといえる。

また，タイムアウトせずに最適解が得られた問題については，問題設定に関わらず最適解の評価関数值が同じ値であったことが確かめられた。このことから, 提案手法が解の健全性を損なわないことが実験的にも示された.

## 6.3 現実的な設定での比較

前節の実験では，提案手法が従来手法と比べて遥かに効率的に解仮説を導出できていることが確かめられた。しかしながら前節の実験設定 (SMALL) では, 従来手法でも最適解が導けるようにするために, 背景知識や解の探索範囲の縮小や, タイムアウトの時間を長めにとるなど,実際のタスク適用とはかなり乘離した設定になってしまっている.

それを踏まえ本節では，参考実験として，より実際のタスク適用に即した設定において比較実験を行った. この実験では，（本論文の本来のスコープではないものの, ）夕スクの解析精度をみることで，我々のシステムが行っている推論が，意味的な解釈として一定の妥当性を持つ推論を実現できていることを確かめる.

具体的な設定を述べる。前述したように，今回用いたデータセットには，因果関係知識のみでは解くことの出来ない種類の問題一例えば否定や逆接を含む問題, 特定の固有名詞に関する知識が必要な問題, 数量表現を扱う問題など一が多数含まれている。そこで本実験では, $O_{w s c}$ に含まれる観測のうち無作為に選んだ 100 問について, 個々の問題を解くのに必要な知識の種類を
表 2 実験設定 LARGE における実験結果. 各列は従来手法および提案手法での結果を表す. 各行は上から順に, 正解できた問題数 (Correct), 不正解だった問題数 (Wrong), 出力が得られなかった問題数 (No Decision), それらの結果から計算した適合率 (Precision) および再現率 (Recall) を表す.

人手で分類した。そして，その 100 問のうち因果関係知識の適用のみで解けると思われる問題 32 問を観測として用いた。背景知識としては， $B_{e p}$ と $B_{w n}$ に含まれる全ての論理式 $(514,508$個）を用いた。またリテラルの深さの最大值は $d_{\max }=2$ とした. これは， 3 個以上の因果関係を繋げて導かれる仮説は意味的に不自然な説明であることが多いという経験則に基いている. また, 潜在仮説集合の生成は 10 秒で中断し，その時点での潜在仮説集合に対する解を解仮説として扱った，推論全体では，推論時間が 1 分を超えるものをタイムアウトとした。この実験設定を，以降はLARGE と呼ぶ.

実験設定 LARGE における実験結果を表 2 に示す。この結果より，従来手法では殆どの問題で解が得られていない一方で，提案手法ではそれがある程度改善されていることが分かる。これは，述語グラフの枝刈りを導入したことによって， A*-based Abduction における述語間の距離推定の精度が改善され, 後ろ向き推論の候補をより短い時間で列挙できるようになったことが大きいと考えられる。

また，夕スクの解析精度については，表 2 の適合率を見る限り，ある程度意味のある推論が実現できていることが伺える。その一方で再現率は低く, 今後, 解析精度を向上させていくためには, 背景知識の拡充・高精度化や, 評価関数のモデルパラメータの調整など, 様々な改善が必要である.しかしながら, 少なくとも今回の提案手法の導入により, 実世界の問題に即した規模の背景知識および論理表現の上での仮説推論が, 初めて実現可能になった.このことは,当該分野において非常に重要な貢献である.

## 7 まとめ

仮説推論は, 文章に明示されていない情報の顕在化を行うための有望な枠組みと考えられてきた一方，背景知識や観測の規模に対して指数関数的に増大する計算時間が，実問題への応用を阻んできた。

このような問題に対し本論文では, 格関係や前置詞による修飾関係などの依存関係を表すリテラルに関して起こる計算量の問題に着目し，そのようなリテラルに対して起こる朵長な推論を探索空間から除外することによって，仮説推論を効率化する手法を提案した．また，既存手法との比較実験から，構築したシステムが従来のシステムよりも遥かに高速であることを示した.

今後の展望としては，潜在仮説集合の生成において，言語そのものに対する知識を用いて探索空間の枝刈りをすることが考えられる。その一つの例としては，それぞれの依存関係が持つ性質を利用することが挙げられる。例えば，物体の位置的な上下関係のように推移律が成り立つ場合や, 述語項関係のように一つの governor に対して一つしか dependent が存在できない場合,物体同士の隣接関係のように対称律が成り立つ場合など，それぞれの関係は固有の性質を持つ. これらの性質を潜在仮説集合の生成の時に考慮することができれば，その性質に反するような推論を探索空間から除外できることが期待される。例えば，主格関係が一つの governor に対して一つしか定義できないことが分かっているなら, $g o\left(e_{1}\right) \wedge g o\left(e_{2}\right) \wedge \operatorname{nsubj}\left(e_{1}, x_{1}\right) \wedge \operatorname{nsubj}\left(e_{2}, x_{2}\right)$ のような観測が与えられたとき,$e_{1}=e_{2}$ かつ $x_{1} \neq x_{2}$ であるような仮説は適切な説明ではないことが分かる. よって, このような仮説を候補仮説として列挙するような手続きを探索空間から除外することが出来れば，計算負荷の軽減に繋げられる可能性がある.

また, 潜在仮説集合の生成の手続きと, ILP 問題を最適化する手続きを, 相互にやりとりしながら進めることによって，推論速度を向上させることも考えられる. 現状ではこれらの手続きは完全に逐次的に行われるが，潜在仮説集合を生成する段階ではどこまで探索すれば十分なのかが全くの不明であるために, 必要最低限の範囲だけを探索することが難しいという問題がある。これに対して，潜在仮説集合の生成の途中の結果に対する解仮説を随時導出しながら，その結果に応じて潜在仮説集合の生成を適切に打ち切ることができれば，全体の計算量を削減できると考えられる。

他には，仮説推論を実問題へ適用していくことも進めていく．本研究によって仮説推論の計算負荷は大幅に効率化され, 大規模知識を用いた仮説推論は現実的な時間で実現可能となった. これにより，大規模知識を用いた仮説推論の枠組みにおいて，実タスク上での精度評価や，他の先行研究との定量的な比較が可能になったといえる. よって今後は, 仮説推論に用いるための高精度かつ大規模な背景知識の構築や, より談話理解のタスクに適した評価関数モデルの構築を進めていきたいと考えている.

## 謝 辞

本研究は, JST 戦略的創造研究推進事業 CREST および文部科学省科研費 (15H01702) から部分的な支援を受けて行われた。

## 参考文献

Blythe, J., Hobbs, J. R., Domingos, P., Kate, R. J., and Mooney, R. J. (2011). "Implementing Weighted Abduction in Markov Logic." In Proceedings of the 9th International Conference on Computational Semantics, IWCS '11, pp. 55-64.

Chambers, N. and Jurafsky, D. (2009). "Unsupervised Learning of Narrative Schemas and their Participants." In Proceedings of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the AFNLP, ACL '09, pp. 602-610.

Copestake, A., Flickinger, D., Pollard, C., and Sag, I. A. (2005). "Minimal Recursion Semantics: An Introduction." Research on Language and Computation, 3 (2-3), pp. 281-332.

Davidson, D. (1980). Essays on Actions and Events. Oxford University Press.

Fellbaum, C. (Ed.) (1998). WordNet: An Electronic Lexical Database. MIT Press.

Gelfond, M. and Lifschitz, V. (1988). The Stable Model Semantics for Logic Programming, pp. 1070-1080. MIT Press.

Hobbs, J. R., Stickel, M., Martin, P., and Edwards, D. (1993). "Interpretation as Abduction." Artificial Intelligence, 63, pp. 69-142.

Hobbs, J. R. (1985). "Ontological Promiscuity." In Proceedings of the 23rd Annual Meeting of the Association for Computational Linguistics, ACL '85, pp. 61-69, Chicago, Illinois, USA. University of Chicago.

Inoue, N. and Inui, K. (2011a). "ILP-Based Reasoning for Weighted Abduction." In Plan, Activity, and Intent Recognition, Papers from the 2011 AAAI Workshop, AAAI '11, pp. 25-32.

Inoue, N. and Inui, K. (2011b). "An ILP Formulation of Abductive Inference for Discourse Interpretation.” 情報処理学会研究報告. 自然言語処理研究会報告, 2011 (3), pp. 1-13.

Inoue, N. and Inui, K. (2012). "Large-scale Cost-based Abduction in Full-fledged First-order Predicate Logic with Cutting Plane Inference." In Proceedings of the 13th European Conference on Logics in Artificial Intelligence, pp. 281-293.

井之上直也, 乾健太郎, Ekaterina Ovchinnikova, Jerry R. Hobbs (2012). 大規模世界知識を用いた仮説推論による談話解析の課題と対策. 言語処理学会第 18 回年次大会論文集, pp. 119-122.

Levesque, H. J. (2011). "The Winograd Schema Challenge." In AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning. AAAI.

Manning, C. D., Surdeanu, M., Bauer, J., Finkel, J., Bethard, S. J., and McClosky, D. (2014). "The Stanford CoreNLP Natural Language Processing Toolkit." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations,
pp. 55-60.

McCord, M. C. (1990). Slot Grammar. Springer.

Moore, R. C. (1983). "Semantical Considerations on Nonmonotonic Logic." In Bundy, A. (Ed.), Proceedings of the 8th International Joint Conferences on Artificial Intelligence, pp. 272-279. William Kaufmann.

Mulkar, R., Hobbs, J., and Hovy, E. (2007). "Learning from Reading Syntactically Complex Biology Texts." In Proceedings of the 8th International Symposium on Logical Formalizations of Commonsense Reasoning, Palo Alto.

Ng, H. T. and Mooney, R. J. (1992). "Abductive Plan Recognition and Diagnosis: A Comprehensive Empirical Evaluation." In Proceedings of the 3rd International Conference on Principles of Knowledge Representation and Reasoning, pp. 499-508.

Nienhuys-Cheng, S.-H. and De Wolf, R. (1997). Foundations of Inductive Logic Programming, Vol. 1228. Springer Science \& Business Media.

Ovchinnikova, E., Hobbs, J. R., Montazeri, N., McCord, M. C., Alexandrov, T., and MulkarMehta, R. (2011). "Abductive Reasoning with a Large Knowledge Base for Discourse Processing." In Proceedings of the 9th International Conference on Computational Semantics, IWCS '11, pp. 225-234.

Parsons, T. (1990). Events in the Semantics of English: A Study in Subatomic Semantics / Terence Parsons. MIT Press Cambridge, Mass.

Raghavan, S. and Mooney, R. J. (2010). "Bayesian Abductive Logic Programs." In Proceedings of the AAAI-10 Workshop on Statistical Relational Artificial Intelligence, Vol. WS-10-06 of AAAI Workshops, pp. 82-87.

Rahman, A. and Ng, V. (2012). "Resolving Complex Cases of Definite Pronouns: The Winograd Schema Challenge." In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 777-789, Jeju Island, Korea. Association for Computational Linguistics.

Reiter, R. (1978). "On Closed World Data Bases." In Gallaire, H. and Minker, J. (Eds.), Logic and Data Bases, pp. 55-76. Springer US.

Reiter, R. (1987). "A Logic for Default Reasoning." In Ginsberg, M. L. (Ed.), Readings in Nonmonotonic Reasoning, pp. 68-93. Kaufmann, Los Altos, CA.

Richardson, M. and Domingos, P. (2006). "Markov Logic Networks." Machine learning, 62 (1-2), pp. 107-136.

Ruppenhofer, J., Ellsworth, M., Petruck, M. R., Johnson, C. R., and Scheffczyk, J. (2010). "FrameNet II: Extended Theory and Practice.".

Schoenmackers, S., Etzioni, O., Weld, D. S., and Davis, J. (2010). "Learning First-order Horn Clauses from Web Text." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, EMNLP '10, pp. 1088-1098.

Schüller, P. (2015). "Modeling Abduction over Acyclic First-Order Logic Horn Theories in Answer Set Programming: Preliminary Experiments." In Proceedings of the 22nd RCRA International Workshop on Experimental Evaluation of Algorithms for Solving Problems with Combinatorial Explosion 2015 (RCRA 2015) A Workshop of the XIV International Conference of the Italian Association for Artificial Intelligence, pp. 76-90.

Singla, P. and Mooney, R. J. (2011). "Abductive Markov Logic for Plan Recognition." In Proceedings of the 25th AAAI Conference on Artificial Intelligence, AAAI '11, pp. 1069-1075.

杉浦純, 井之上直也, 乾健太郎 (2012). 説明生成に基づく談話構造解析の課題分析. 言語処理学会第 18 回年次大会論文集, pp. 115-118.

Thagard, P. R. (1978). "The Best Explanation: Criteria for Theory Choice." The Journal of Philosophy, 1, pp. 76-92.

Yamamoto, K., Inoue, N., Inui, K., Arase, Y., and Tsujii, J. (2015). "Boosting the Efficiency of First-order Abductive Reasoning Using Pre-estimated Relatedness between Predicates." International Journal of Machine Learning and Computing, 5 (2), pp. 114-120.

## 付録

## A 提案手法が解の最適性を保持することの証明

本節では, 仮説の整合性条件および簡潔性条件が充足されるならば， 5 節で提案した手法に基づく述語グラフの枝刈りを用いて得られる解が最適性を保つこと, 即ち手法適用後に探索空間から除外されるような要素仮説について，それらが常に解仮説とならないことを示す. 任意の述語 $p, q$ に対する, 述語グラフの枝刈り適用前の述語間距離を $h_{1}(p, q)$, 適用後の述語間距離を $h_{2}(p, q)$ と表す.

まず，述語グラフの枝刈りを適用することによって除外される推論パスの集合 $\mathbb{R}$ に着目する.形式的には, $\mathbb{R}$ は, $h_{1}\left(o_{1}, o_{2}\right)<\infty$ かつ $h_{2}\left(o_{1}, o_{2}\right)=\infty$ を満たすような観測リテラル対 $o_{1}, o_{2}$ を端点とするような推論パスの集合，と定義される，本証明のゴールは，「㡳に含まれるすべての推論パス $R \in \mathbb{R}$ から生成される候補仮説 $H_{R}$ が, 整合性条件および簡潔性条件が充足される状況下では，常に解仮説とならないことを示す」ことである.

証明の戦略は次のとおりである。まず， $\mathbb{R}$ の部分集合について，整合性条件と簡潔性条件よ

り，そこに含まれる推論パスから生成される候補仮説が解仮説とならないことを示す. 次に， それ以外の推論パスの集合 $\mathbb{R}^{\prime}$ につて， すべての $R^{\prime} \in \mathbb{R}^{\prime}$ が常に機能リテラルの単一化仮説生成を含むことを証明し，かつその単一化仮説生成操作が常に不正な等価仮説を導くことを示す。

まず， $\mathbb{R} に$ 含まれる推論パスのうち，以下に示すような推論パス $R \in \mathbb{R}$ から生成される候補仮説については, 整合性条件および簡潔性条件により解仮説とならないことが自明である：

（1） $R$ は機能リテラルの単一化仮説生成を含み，かつ単一化仮説生成の対象である機能リテラル対の少なくとも一方が親を持たない.

(2) $R$ は不正な等価仮説を導くような後ろ向き推論を含む.

(3) $R$ の端点 $o_{1}, o_{2}$ は同じ親を持つ機能リテラルであり，親以外の内容語リテラルが推論パスの根拠に含まれない.

(4) $R$ の端点 $o_{1}, o_{2}$ のうち一方は機能リテラルであり，他方がその親であり，親以外の内容語リテラルが推論パスの根拠に含まれない.

(1) 扔よび (2) が示す場合については整合性条件 2,3 より，(3) 拈よび (4) が示す場合については簡潔性条件より，明らかに解仮説とならない。したがって，以降ではこれらの場合に当てはまらない推論パスの集合 $\mathbb{R}^{\prime} \subseteq \mathbb{R}$ についてのみ検討する。 $\mathbb{R}^{\prime}$ の定義より，すべての $R^{\prime} \in \mathbb{R}^{\prime}$ について，不正な等価仮説を導く後ろ向き推論が $R^{\prime}$ に含まれないことは自明であるから，以降

ことを示す.

まず，すべての $R^{\prime} \in \mathbb{R}^{\prime}$ が常に機能リテラルの単一化仮説生成を含むことを証明する。

証明. 背理法を用いて証明する。すなわち，「推論パス $R^{\prime}$ が常に機能リテラル間の単一化仮説生成操作を含まない」ことを仮定すると，矛盾が生じることを以下に示す。

まず，背理法の仮定は， 3.1 節の定義より，「推論パス $R^{\prime}$ が内容語リテラル間の単一化仮説生成操作を含む場合がある」と言い換えることができる。形式的には， $h_{1}\left(o_{1}, o_{2}\right)<\infty$ かつ $h_{2}\left(o_{1}, o_{2}\right)=\infty$ を満たすような観測リテラル対 $o_{1}, o_{2}$ がそれぞれ内容語リテラル $c_{1}, c_{2}$ を仮説しており， $c_{1}, c_{2}$ が互いに単一化している場合が存在する，ということである.

このとき, $c_{1}, c_{2}$ は同じ述語を持つことから, 明らかに $h_{1}\left(c_{1}, c_{2}\right)=h_{2}\left(c_{1}, c_{2}\right)=0<\infty$ である. $\mathbb{R}^{\prime}$ の定義より， $R^{\prime}$ には不正な等価仮説を導くような後ろ向き推論は含まれないので， $c_{1}$ の直接的な根拠となっている任意のリテラルを $d_{1}$ とおくと $h_{2}\left(c_{1}, d_{1}\right)<\infty$ が成り立つ. 同様に $c_{2}$ の直接的な根拠となっている任意のリテラルを $d_{2}$ とおくと $h_{2}\left(c_{2}, d_{2}\right)<\infty$ が成り立つ. よって, $h_{2}\left(c_{1}, c_{2}\right)<\infty$ であるので $h_{2}\left(d_{1}, d_{2}\right)<\infty$ も成り立つ. このような議論は $d_{1}$ および $d_{2}$ の根拠についても成り立つことから, 帰納的に $h_{2}\left(o_{1}, o_{2}\right)<\infty$ も成り立つ.

しかし，これは前提である $h_{2}\left(o_{1}, o_{2}\right)=\infty$ と矛盾する，以上から， $R^{\prime}$ は，常に機能リテラル間の単一化を導く。
次に, $R^{\prime}$ におる機能リテラル $f_{1}, f_{2}$ の単一化仮説生成操作が, 常に不正な等価仮説を導くことを示す.

証明. $f_{1}, f_{2}$ の親をそれぞれ $p_{1}, p_{2}$ とおき, $p_{1}, p_{2}$ が同一事象を表し得ない, すなわち $h_{2}\left(p_{1}, p_{2}\right)=$ $\infty$ であることを，背理法により示す.

背理法の仮定は, $h_{2}\left(p_{1}, p_{2}\right)<\infty$ である. この仮定のもとでは, 機能リテラルにおける述語間距離の計算手続きより,$h_{2}\left(f_{1}, f_{2}\right)<\infty$ となるので, $f_{1}, f_{2}$ を経由する $o_{1}, o_{2}$ についても同様に $h_{2}\left(o_{1}, o_{2}\right)<\infty$ となる.

しかし, これは前提である $h_{2}\left(o_{1}, o_{2}\right)=\infty$ と矛盾する. この事から， $h_{2}\left(p_{1}, p_{2}\right)=\infty$ であり， $R^{\prime}$ によって単一化仮説生成の対象である機能リテラルの親は, それぞれ同一事象には成り得ないこと，すなわち不正な等価仮説を導くことが示された.

以上から, 提案手法を適用することによって除外される推論パスの集合 $\mathbb{R}$ は, 最初に挙げた 4 つ場合のほかには，機能リテラルに対する単一化仮説生成操作を含み，かつそれらの親が同一事象に成り得ず，不正な等価仮説を導く場合に限定される。ゆえに，すべての $R \in \mathbb{R} につ$ いて， $R$ から生成される候補仮説は解仮説とならないことが証明される．以上より, 本手法によって得られる解は最適性を保つ.

## 略歴

山本風人：1987 年生. 2011 年東北大学工学部知能情報システム総合学科卒. 2013 年東北大学大学院情報科学研究科博士前期課程修了. 2016 年東北大学大学院情報科学研究科博士後期課程修了, 日本電気株式会社入社, 現在に至る.自然言語処理の研究に従事.

井之上直也：1985 年生. 2008 年武蔵大学経済学部経済学科卒業. 2010 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2013 年東北大学大学院情報科学研究科博士後期課程修了. 2015 年より東北大学大学院情報科学研究科助教, 現在に至る. 自然言語処理の研究に従事. 言語処理学会, 情報処理学会各会員.

乾健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同研究科助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より東北大学大学院情報科学研究科教授, 現在に至る. 博士 (工学).自然言語処理の研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, ACL, AAAI 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/