# 論文
## かな漢字換言を通した日本語語義曖昧性解消の分析

\author{
桾澤優希†・山本和英 $\dagger$
}

本論文では, 日本語語義曖昧性解消に存在する問題点を文中のひらがなを漢字に直すかな漢字換言タスクを通して明らかにする。素性について分散表現と自己相互情報量を組み合わせる手法を考案し実験を行った結果，かな漢字換言においてべースラインに比べ約 2 ポイント高い精度を得ることができた. 日本語の語義曖昧性解消タスクを用いた検証においても，PMI を用い文全体から適切な単語を素性として加えることが有効であることを示した，かな漢字換言の利点を活かし，大量の訓練データを用いたときのかな漢字換言の精度の比較を行った結果, 非常に大きい訓練データを用いた場合分散表現を用いたどの手法でもほぼ同じ精度を得られることがわかった。その一方で同じ精度を得るために必要な訓練デー夕は指数関数的に増えていくため, 少ない訓練データで精度を上げる手法が語義曖昧性解消において重要であることを確認した。また, BCCWJ と Wikipedia から作成した訓練データとテストデータを相互に使い実験し，各ドメインにあった訓練データを使うことが精度向上において重要であることを確認した.

キーワード：かな漢字換言, 語義曖昧性解消, 分散表現

## Analysis of Japanese Word Sense Disambiguation through Kana-Kanji Conversion

\author{
Yuki Gumizawa $^{\dagger}$ and Kazuhide Yamamoto $^{\dagger}$
}

In this paper, we investigate a problem existing in Japanese word sense disambiguation (WSD) through a HiraganaKanji conversion task. In choosing words to consider as features, we propose a method that employs word embeddings and pointwise mutual information and evaluate the proposed method. The experimental results suggest that our method is more effective than other methods using word embeddings. We conduct an experiment using SemEval 2010 Japanese WSD Task and our proposed method achieve better accuracy. We also compare the accuracy when changing the amount of training data. We find that the difference in accuracy between the methods becomes small when a very large amount of training data is used. We have confirmed that the method of improving accuracy while using fewer training data is important in WSD because the number of sentences required to obtain high accuracy increases exponentially. We also experiment on the domain of data and confirmed that using datasets for ambiguity matching in each domain is important in improving accuracy.

Key Words: KanaKanji Conversion, Word Sense Disambiguation, Word Embedding

## 1 はじめに

語義曖昧性解消はコンピュータの意味理解において重要であり, 古くから様々な手法が研究されている自然言語処理における課題の一つである (Navigli 2009, 2012). 語義曖昧性解消の手法には大きく分けて教師あり学習, 教師なし学習, 半教師あり学習の 3 つが存在する.

教師なし学習を用いるものにはクラスタリングを用いた手法 (Petersen 2006) や分散表現を用いた手法 (Wawer and Mykowiecka 2017) などが存在するが, どの手法においても精度は高くなく実用的な性能には至っていない，知識べースを用いた教師なし学習の手法についても，単純な教師なし学習よりは高いものの教師あり学習を用いる手法と比べると精度が劣ることが報告されている (Raganato, Camacho-Collados, and Navigli 2017). それらに対して, 教師あり学習を用いた語義曖昧性解消は比較的高い精度を得られることが知られており, SemEval2007 (Pradhan， Loper, Dligach, and Palmer 2007) や Senseval3 (Mihalcea, Chklovski, and Kilgarriff 2004)の英語語義曖昧性解消タスクにおいても教師あり学習を用いた手法が最も良い精度を記録している。

一方, 教師あり学習を用いて語義曖昧性解消を行う上で「訓練データが不足する」という問題が存在する．教師あり学習での語義曖昧性解消では訓練データの作成に人手での作業が必要になるため，コストの問題から大きなデータセットを用意することは難しい。語義曖昧性解消において周辺の文脈情報は有効な手掛かりであることが知られており, 訓練データを増やし様々なパターンを学習させることが精度を上げる上で必要になる (Yarowsky 1995). しかしながら,上述の SemEval2007 Task17 語義曖昧性解消タスクの Lexical Sample Taskにおいて, 訓練デー 夕の 1 単語あたりの平均訓練事例数は約 222 と決して多い数字とは言えない. SemEval2010の日本語語義曖昧性解消タスク (Okumura, Shirai, Komiya, and Yokono 2010)に至っては 1 単語あたりの訓練事例数がおよそ 50 であり, 圧倒的に訓練データが足りていないと言える。また,訓練データの不足に関連してデータスパースネスも語義曖昧性解消において大きな問題となる。先に述べたように周辺の文脈パターンを語義ごとに学習させるためには非常に大量の訓練事例が必要となりコストの問題から現実的でない. これらの問題を解決するため, 半教師あり学習によって確度の高いデータを訓練データとして追加し学習を行う方法が研究されており, 日本語語義曖昧性解消タスクにおいて高い精度が得られたことが報告されている (藤田, Duh, 藤野,平, 進藤 2011; Fujita and Fujino 2013; 井上, 斎藤 2011). また, これらを解決する別のアプロー チとして語の分散表現を教師ありの語義曖昧性解消に用いる研究があり (Sugawara, Takamura, Sasano, and Okumura 2015; 山木，新納，古宮，佐々木 2015; Iacobacci, Pilehvar, and Navigli 2016), 既存の素性と組み合わせることによって高い精度が得られたことを報告している。

ところで, 日本語の言語処理にはかな漢字換言というタスクがある. これは, 入力された文
中のひらがなについて漢字に換言できる対象がある場合，その周辺の文脈を考慮して正しい漢字に換言するというものである。例えば「私は犬をかっている」という文があった際，犬という単語から「かって」というひらがなが「買って」ではなく「飼って」を意味することは容易に理解できる。このようなひらがな語について漢字に換言を行うタスクを我々はかな漢字換言と呼んでおり，以前から研究を行ってきた (Yamamoto, Gumizawa, and Mikami 2017). ここで行っていることは語義曖昧性解消そのものであり，かな漢字換言の誤り分析を行うことは日本語語義曖昧性解消タスクにおいて誤り分析することとほぼ同義であると考えられる。また，通常の語義曖昧性解消タスクに比べかな漢字換言の訓練データは大量のコーパスから自動で構築することが可能なため, 訓練デー夕の増減による精度の変化や誤り分析などが容易に行えるという利点がある。

本論文では日本語語義曖昧性解消タスクにおける問題点についてかな漢字換言タスクを通して確認し，既存の手法において何が不足しているのかを明らかにする.

本論文の構成は以下の通りである．２章にて本論文に関連する研究および本研究の位置付けについて述べ， 3 章にて我々が今回行うかな漢字換言タスクについて日本語語義曖昧性解消夕スクと比較しながら詳細を述べる。 4 章では提案手法について既存手法との比較を行いながら説明をする． 5 章ではそれらの手法を用いてかな漢字換言と通常の語義曖昧性解消タスクにおける提案手法の有効性の検証を行い，語義曖昧性解消タスクにおける問題点を明確にする．6章にて結論を述べる。

## 2 関連研究

本章ではまず教師あり学習に基づく語義曖昧性解消について先行研究を概観する。さらに, かな漢字換言タスクにおいて我々が以前行っていた研究について先行研究として併せて概観し,最後に本研究が本論文を通して明らかにしたいことについて示す.

## 2.1 教師あり語義曖昧性解消

Yarowsky らの報告 (Yarowsky 1995) によると教師あり学習に基づく語義曖昧性解消では周辺の文脈情報が有効だと言われている。そのため，教師あり学習での語義曖昧性解消では従来周辺に出現した単語を主に素性として用い, さらに品詞や文の構造情報, Bag-of-Words (BoW) 等を素性として加えることで精度を向上させてきた (Navigli 2009). 日本語の語義曖昧性解消においても同じであり，SemEval2010の日本語語義曖昧性解消タスクにおいて使われたべースラインのシステムでは対象単語前後の単語や品詞，係り受け関係などを素性として用い，高い精度を得ている (Okumura et al. 2010).

また近年では単語のベクトル表現を用いて精度向上を図ろうとする取り組みも存在する (Cai,

Lee, and Teh 2007). これらのベクトル表現は単語の意味的な特徴を捉えており, 特に Mikolov らが考案した Word2Vec(Mikolov, Sutskever, Chen, Corrado, and Dean 2013)では, Countinuous Bag-of-Words と Skip-gram の各手法によって得られる単語のべクトルが従来のカウントモデルに比べて秀でた性能を持っていることが知られている (Baroni, Dinu, and Kruszewski 2014). そのため, Word2Vec は語義曖昧性解消だけでなく係り受け解析 (Bansal, Gimpel, and Livescu 2014) 等様々なタスクにおいて利用されている. 教師あり学習の語義曖昧性解消に対して単語の分散表現を用いる手法の研究には Sugawara らの研究 (Sugawara et al. 2015) と山木らの研究 (山木他 2015), Iacobacci らの研究 (Iacobacci et al. 2016) がある.

Sugawara らの先行研究では曖昧性解消の対象となる単語の前後 $\mathrm{N}$ 単語の単語べクトルをつなぎ合わせたものを素性とする Context-Word-Embeddings (CWE)という手法を提案し，BoWに比べて高い精度が得られたことを報告している。 それに対し，山木らは CWEの手法における 「単語の位置が規定される」点と「自立語以外の単語を考慮している」点について問題点として上げ，分散表現から得られる用例間類似度を用いる手法を提案している。この手法では既存の素性と組み合わせることで従来よりも高い精度が得られたことを報告している。また Iacobacci らの論文では周辺単語のベクトルを足し合わせる際に単語間の距離を考慮する手法について提案し，SemEval2007等のデータセットで有効性を確認した結果最も良い性能が得られたことを報告している.

## 2.2 かな漢字換言

かな漢字換言は 1 章で述べたように文中の一部のひらがなを漢字に直すタスクである。我々は以前，自己相互情報量 (Pointwise Mutual Information; PMI)を用いて対象となるひらがなの換言候補の中で最も PMI が高い漢字について換言するという手法を実装している (Yamamoto et al. 2017). ここでは精度よく換言できないひらがなと漢字の対については換言対象から外す処理をしているが，換言対象となった 71 語の換言精度は $94.1 \%$ と非常に高いことを報告している.この換言手法は語義曖昧性解消に必要な情報が周辺単語 1 単語で決定できるという考察に基づいたものであるが，この論文中では周辺単語から換言を行えると考えられる対象のみを換言対象としていたため, すべての漢字に当てはめたときの精度は不明であり, 語義曖昧性解消の分析としては不十分である.

## 2.3 本研究の目的

我々が本論文において明らかにしたい問題は主に 3 つである.

1 つ目は素性選択の手法である。従来, 日本語語義曖昧性解消の手法として提案されてきたものの多くが素性として主に対象単語前後 2 単語の情報を使い，そこに係り受け関係や LDAの結果などを追加する形で精度を向上させてきた (Okumura et al. 2010; 藤田他 2011). 分散表現

を用いた Sugawara らの語義曖昧性解消においては対象単語前後 5 単語の分散表現を使い実際に精度が向上したことが報告されているが, 日本語語義曖昧性解消において考慮する周辺単語の窓幅によって精度がどのように変化するのか調査した文献は存在しない. また，新納らは論文中で「特に対象単語からかなり離れた後方位置にある単語が対象単語の語義の選択に影響を与えているとは考えづらい」と述べている (新納，古宮，佐々木 2017). 我々はこれらについて改めて調査, 報告を行った上で新たに自己相互情報量を用い, 対象単語から離れた位置の単語を考慮する手法を提案する。

2 つ目は訓練データのサイズである．2.1 節で述べたように教師ありの語義曖昧性解消ではその精度評価として規模の小さい訓練データが使われることが多い. その為, 曖昧性解消の精度が低い主な理由について「訓練データが不足している」と考察している論文も少なくない (藤田他 2011; 新納, 村田, 白井, 福本, 藤田, 佐々木, 古宮, 乾 2015). 一方でそれらの論文中でどれくらいの訓練データが必要になるのかの考察はほぼ行われておらず，少ない訓練データを用いて精度の改善を行うことにのみ注力しているように見える。どのくらいの規模の訓練データを用意すれば十分な精度が得られるのかが明確に示されているのならば，まず訓練データを増やすことができるはずである。逆に訓練事例の数によって精度の差がないのであれば現状の夕スクにおいてより精度を出せる手法を検討していくことが重要となる。そこで，我々はかな漢字換言の特性を活かして非常に大規模なデータを用意し，訓練データを増減させたときの精度の変化を調査する.

3 目は訓練データのドメインについてである. Fujitaらは対象語毎に訓練データの分野の組合せを変えて学習するより，分野に関係なくすべての訓練デー夕を学習に用いる方が精度が良いと報告をしているが (Fujita, Duh, Fujino, Taira, and Shindo 2010), ドメインごとに同量の訓練データを用いた際の精度の変化についてそれぞれ比較を行い，どのような訓練データがどの程度精度に寄与するのかを明らかにする。

以上 3 点についてが，本論文において我々が報告したい内容である.

## 3 かな漢字換言

## 3.1 概要

かな漢字換言は文章中の特定のひらがなを漢字に換言するタスクである。例えば「私は犬をかっている」という文が存在した場合, ここでの「かって」という単語は「買う」ではなく「飼う」という意味での使われ方をしている。一方「購買でノートをかう」という文の場合, ここでの「かう」という単語が「買う」という意味を示していることは容易く理解できる。このような換言対象となるひらがな語を含む文についてひらがな語を該当する漢字に同定するタスクを我々はかな漢字換言と呼んでいる。意味の曖昧性を持つひらがな語を特定の漢字に同定する
処理はそのひらがな語の語義曖昧性を解消することに相当する。また，この換言はひらがな語と漢字語の表記ゆれ解消にもなっている。つまり，本タスクは語義曖昧性解消，換言処理，表記ゆれ解消のいずれにも該当する。

我々が通常の語義曖昧性解消タスクではなくかな漢字換言による語義曖昧性解消で分析を行う理由に，その訓練データの作りやすさがある。通常の語義曖昧性解消では訓練データをコストをかけて人手で作る必要があるが，かな漢字換言では対象となる漢字さえ分かれば大量のコーパスから自動的に訓練データを増やすことが可能であり，訓練デー夕の増減による精度の検証が容易い。そのため，今回我々はかな漢字換言を通して語義曖昧性解消の分析を行うこととした。 かな漢字換言の対象となるひらがな語は同じ読みで異なる語義を持つ漢字が複数存在するものである．以前 Yamamoto らが実装したかな漢字換言では換言の対象を手動にて抽出しているが (Yamamoto et al. 2017), 我々はかな漢字換言を通して日本語語義曖昧性解消について分析を行うため, 語義の定義について形態素解析辞書 UniDic ${ }^{1}$ の語彙素を用いた. UniDic では語彙素を選定する際の同語異語判別に明確な基準を設けている (小椋, 原, 小木曽, 小磯, 宮内 2010).基準の一つとして「漢字表記の頻度よりも仮名表記の頻度が非常に高い場合，一つの語彙素にまとめることを優先する」というものがあり，これは例えば「収まる」や「治まる」の語彙素が「収まる」にまとめられるようなものである。この基準は通常のかな漢字換言では「収まる」 と「治まる」のような漢字を対象にすることができないため不適当である。しかし，本論文の目的はかな漢字換言を通した日本語語義曖昧性解消の分析であるため，大規模なコーパスからデータセットを自動的に抽出する際，十分な訓練事例を用意できないこれらの語義を解析対象とするのは適当でない，さらに，明確に使い分けされていないこれらの漢字をデータセットとして抽出することは誤解析の原因となる。そのため，ここではこれらの語義を明確に分けている形態素解析辞書 UniDic を用いている。

かな漢字換言において活用を持つ動詞に関してはその語の形を用いることで一意に意味を決定できる場合がある．例えば「寝る」「練る」のような単語に関して「寝る」の未然形は「ね」 なのに対し「練る」の未然形は「ねら」である。そのため，「私は惹麦をねらない」といった文に含まれる「ねらない」は一意に「練らない」に変換することが可能である。しかし，本論文中ではかな漢字換言を通して語義曖昧性解消について分析することが目的であるため, 語の形は素性として使わないこととした。

以後の実験において使用する訓練データとテストデータについて，我々は現代日本語書き言葉均衡コーパス $(\mathrm{BCCWJ})^{2}$ に含まれる全文章の中から換言の対象となる文を，訓練データでは 1 語義あたり 200 文を，テストデータでは 1 語義あたり 50 文を無作為に抽出した. 出現頻度が
^{1}$ http://pj.ninjal.ac.jp/corpus_center/unidic/

2 http://pj.ninjal.ac.jp/corpus_center/bccwj/
}
表 1 かな漢字換言データセットの一部

 & 部隊 \\

250 文に満たない漢字については換言対象から除外している。抽出の対象となる文は日本語解析システム雪だるま (山本, 高橋, 桾澤, 西山 2016$)^{3}$ の出力単語が 15 語以上のものとした. 文長を 15 語以上に制限する理由は「窓幅と素性の選び方」について調査する上で窓幅による精度への影響を調査しやすくするためである。換言対象のひらがなは計 311 語，換言の候補となる漢字は計 734 語である。換言対象のひらがな語は BCCWJ 中において 438,360 回出現し, 全約 600 万文章中約 13.5 文に 1 回出現する計算となる. 以後の実験では特筆しない場合上記のデー

実際にデータセットとして抽出された文の一部を表 1 に示す. 表中の下線部が換言の対象となるひらがなである.

## 3.2 他タスクとの比較

通常, 語義曖昧性解消タスクの多くは WordNet や辞書などに存在する語義の定義に併せて単語を分類することが多い (McCarthy 2009). これらの語義曖昧性解消の語義夕グは比較的細かいことから，実アプリケーションへの実装を考えた際にその粒度が問題となることが指摘されており (Lopez de Lacalle and Agirre 2015), 近年ではより粗い粒度を語義曖昧性解消へ用いる動きも見られる (Navigli, Litkowski, and Hargraves 2007). また, 拡張固有表現階層を用いて構築した意味カテゴリに基づく語義曖昧性解消のアプローチも存在し, これは荒い粒度の語義曖昧性解消と同等だと考えられる (村本, 鍜治, 吉永, 喜連川 2011). かな漢字換言では前述の通り語義が完全に異なる漢字のみを対象としており，語義同士の距離が近い漢字を曖昧性解消の対象としていないことから，かな漢字換言はこれらの語義曖昧性解消タスクと同等，またはそれ以上に粗い曖昧性解消と考えることが可能である.
^{3}$ http://snowman.jnlp.org/snowman
}
今回の分析に用いるかな漢字換言のデータと通常の語義曖昧性解消の間のその他の違いとして文長が考えられる，前節にて抽出したデータセットでは 1 文が 15 単語以上のものを語義曖昧性解消の対象として選択している。一方で, 日本語語義曖昧性解消タスクでは文章自体は長いが 1 文 1 文がかな漢字換言のデー夕に比べて短くなっている。つまり 1 文のみを使うことによる語義曖昧性解消の難易度はかな漢字換言の方が易しいと考えられる。

ここではかな漢字換言タスクと通常の語義曖昧性解消タスクとの関連性を調べるため, Semeval2010 の日本語語義曖昧性解消タスクとの比較を行う，白井らは語義曖昧性解消の難しさについて語義の頻度分布のエントロピーを用いて分析を行っている (白井 2003). 頻度分布のエントロピー $E(w)$ は次式で求めることができる.

$
E(w)=-\sum_{i} p\left(s_{i} \mid w\right) \log p\left(s_{i} \mid w\right)
$

ここで $p\left(s_{i} \mid w\right)$ は単語 $w$ の語義が $s_{i}$ である確率を表す.

表 2 に各夕スクにおける平均語義数，頻度分布のエントロピーを示す．なお SemEval2010 のタスクについては語義の頻度分布のエントロピーを用いて決められた難易度ごとのデータについても記す (Okumura, Shirai, Komiya, and Yokono 2011). 前節で作成したかな漢字換言のデー タセットでは各語義のデータ数を揃えているため, 今回はエントロピーの計算に BCCWJ の漢字の出現回数をカウントし用いている. 各タスクにおける平均語義数を比較するとかな漢字換言の平均語義数は日本語語義曖昧性解消夕スクの $D_{\text {easy }}$ に相当することがわかる。一方でかな漢字換言のエントロピーの値は 0.87 と $D_{m i d}$ と同じ程度の值を取っている. かな漢字換言では対象となる漢字をコーパス中で 250 回以上出現するものに限定しているため, 偏りが少なくなったことでエントロピーの值が大きくなったのだと考えられる.

これらを踏まえると，かな漢字換言タスクは日本語語義曖昧性解消タスクにおける $D_{\text {easy }}$ と同等かそれ以上に簡単なものであると考えられる。白井らの報告によれば新聞記事中に出現する出現頻度 10 以上の単語に対して付与された語義タグの異なり数の多くは 2 であり, エントロピーに関しても 1 以下の形態素が多い (白井, 柏野, 橋本, 德永, 有田, 井佐原, 荻野, 小船,高橋, 長尾, 橋田, 村田 2001). それゆえに， $D_{\text {easy }}$ 相当と考えられるかな漢字換言は日本語の語義曖昧性解消の大きな部分タスクの一つであるとみなせる。

表 2 各データセットの比較

## 4 提案手法

本章では，Yamamoto らが実装した PMI を用いたかな漢字換言 (Yamamoto et al. 2017)について改めて実験を行った結果を 4.1 節に示し, その結果に基づいて提案した手法について 4.2 節にて説明する。

## $4.1 \mathrm{PMI$ のみを用いたかな漢字換言}

## 4.1.1 手法の説明

以下に以前 Yamamoto らが実装を行った PMI に基づくかな漢字換言の手法について以下に説明を述べる (Yamamoto et al. 2017).また，その概略図を図 1 に示す.

（1）文全体を検索し，換言対象が含まれているかどうかを調べる.

(2) 換言対象が含まれている場合対象から前後 4 単語の内容語と換言対象の漢字の PMI を計算する。

(3) PMI が 5 以上の漢字の中から最も PMI が高い漢字の換言対象についてその漢字を出力する.

(4) 計算結果がすべて PMI5 以下である場合は換言を行わない.

図 1 の各工程について詳しく説明していく.

まず，入力文に対する手掛かりの選定を行う。この手法では PMI が高い単語を用いてかな漢字換言を行っている。そのため, どの文においても頻出しPMI の値が低くなる助詞や記号等の機能語は計算から省いてしまっても結果に影響しないと考え, 換言に用いる手掛かり語を内容語のみに絞って PMI の計算を行うこととしている。また換言対象の前後 4 単語について手掛かりとする語の選定に用いているが, この数字は我々の経験に基づいて決めた数字である.

2 番目の工程として漢字候補の読み込みを行うが, ここでは 3 章で説明したように BCCWJ とUniDic を用いて作成された日本語解析システム雪だるま (山本他 2016)の辞書を基に手動で候補を作成しているため, 候補の作り方の詳細な説明は省く。

次に自己相互情報量の計算を行う。この換言方法において我々は共起する確率が高い漢字ほどそのかな漢字換言の候補として適切だと考え，共起する組み合わせを数值化するために PMI を用いた. $p(x, y)$ を $x$ とが同時に出現する確率， $p(x)$ を $x$ が出現する確率とした時 2 つの語 $x, y$ における自己相互情報量 $P M I(x, y)$ は次式で表される.

$
P M I(x, y)=\log \frac{p(x, y)}{p(x) p(y)}
$

式 (2) から分かる通り自己相互情報量の計算にはそれぞれの出現確率が必要になる. 出現確

手掛かり語の選定

正面 , ノート

漢字候補の読込

かう：買う，飼う

PMIの計算

$\mathrm{PMI}$ (正面，買う) $=0.0$

$\mathrm{PMI}($ 正面，飼う $)=1.1$

$\mathrm{PMI}($ ノート，買う) $=5.2$

$\mathrm{PMI}($ ノート，飼う $)=0.0$

## しきい値との比較

$\mathrm{PMI}($ ノート，買う）=5.2>しきい値5.0 よって“買う”に決定

図 1 PMI を用いたかな漢字換言の換言過程

率はなるべく大量の文章から正しい頻度を数え正しい数字を計算する必要があるが, 非常に大規模なテキストを用意するのは難しい，そのため，我々は Web 日本語 $\mathrm{N}$ グラム（第 1 版）4を利用し，擬似的に各単語の出現確率とそれぞれの単語の組み合わせが共起する確率の計算を行った. Web 日本語 $\mathrm{N}$ グラムでは 200 億文について頻度が 20 回以上の ngram を収録しており，頻度の計算としては十分な規模を持つ. ここで利用するのは $7 \mathrm{gram}$ のデータであり, 単語間の距離が 7 以内である場合にその単語ぺアを共起したとみなし頻度の計算を行っている。

PMI には闇値を設け，周辺単語と換言対象の漢字のペアの PMI すべてが閥値を下回った場合換言を行わないようにしているが，これは低いPMI の値の漢字を出力することによる換言器の精度低下を防ぐためである。以前の実装において我々は事前の調査からその閥値を 5 に設定している.

今回, 我々は改めて上記の手法を用いてかな漢字換言の精度を改めて調査することとした。以下にこの実験において調査した内容について示す.
- PMI の閥値 5 は正しい設定なのか
- 空幅 4 の設定は正しい設定なのか
^{4}$ http://www.gsk.or.jp/catalog/gsk2007-c/
}

PMI の閾値の設定を上げることでその換言の適合率をあげられるのであれば，PMI が高い単語が含まれている文ではその単語を素性として使うことでより高精度な換言が行えるはずであり，逆に間値の設定によらず適合率が上がらないのであれば PMI のみを用いて語義曖昧性解消を行う手法があまり適さないということを明らかにできる。

窓幅の設定に関する実験もまた重要である。これまでの語義曖昧性解消では周辺の 2 から 5 単語程度を素性とした手法が多く文全体を考慮する手法は少なかったが, それらの窓幅の設定が本当に正しいのかをこの実験で明らかにすることができ，今後の教師あり語義曖昧性解消において重要な設定の一つを明確にすることができる.

## 4.1.2 実験

3 章にて作成したかな漢字換言のテストデータを用いて周辺単語として考慮する単語の密幅を変化させたときの精度と，PMIの閾値を変化させたときの精度を確認した．窓幅に関する実験の際は PMI の閾値を 5 に設定し窓幅を 2 から 20 まで 1 刻みで変化させたときの適合率と再現率，F 值の変化を見る，PMI に関する実験の際は窓幅を 20 に固定し，PMI の閾値を 0 から 20 まで1刻みで変化させたときの適合率と再現率，F 值の変化を見る．PMI の計算には前項での説明と同様に Web 日本語 N グラムの 7gram から擬似的に計算した頻度情報を用いた.

図 2 に PMI の間値を変化させたときの結果, 図 3 に空幅を変化させたときの結果を示す.

まず，窓幅を固定しPMIの間値を変化させていったときの影響について考察をする．図 2 を見ると, PMI の間値が 3 までに関しては再現率と適合率がほぼ同じ值になっている。これは対象のひらがなの前後の内容語に PMI が 3 以下のものがなかったため, すべての文において何らかの換言が行われたからである．PMI の閥値を 3 より上げていくと再現率は下がり，それに対応して PMI が 10 まで適合率が上がっており，PMI が 10 を超えると換言の精度は $95 \%$ 超え

図 2 PMI の閥値を変化させたときの各値の変化

図 3 空幅を変化させたときの各値の変化
高い精度での換言が行えていることが見て取れる。一般に閥値を上げることでよりPMI の高い候補を持つひらがなのみが換言されることから適合率は上がると考えられるが，この実験結果はそれが正しいことを示した形になる。一方で再現率はそれを上回る勢いで減少しており，結果として F 値は減少している。この結果は一部の単語について PMI が高い語を素性として用いる方法が精度を上げる上で効果的であるということを示唆するものである。

次に PMI の閥値を固定し空幅を変化させていったときの影響について考察する．図 3 を見ると窓幅を上げることで再現率， $\mathrm{F}$ 値をともに上げることができていることがわかる。これは換言対象の単語から遠いところにも素性となる単語が現れていることを示し, 文全体を考慮することでより正しく多くのひらがなを換言することができている。しかしながら適合率の値は密幅を大きくすることで減少しており，単純に PMI が高い単語を選ぶ方法では素性としては不充分であり，前後の文脈なども同時に考慮する必要があるといえる.

## 4.2 分散表現と PMI を用いたかな漢字換言

前節の結果から我々は分散表現と PMI を用いることで文全体の文脈を考慮してより正確にかな漢字換言を行う手法を提案する。ここで提案する手法は Sugawara らの提案手法に対して改善を加え，山木らが上げた「単語の位置が規定される」という問題を解消するものである.

まずSugawara らの手法について説明をする．Sugawara らは周辺の単語の分散表現を用いて語義曖昧性解消を行う手法として AVEと CWEの 2 手法を提案している. AVE は対象単語の周辺単語について分散表現を平均し素性として用いる手法である. CWEは周辺単語の分散表現をつなぎ合わせる手法である。具体的には，空幅 $N$ を , 換言対象前の単語を $w_{-N}, w_{-N+1}, \ldots, w_{N-1}, w_{N}$ とし，それらの分散表現を表すべクトルを $v_{w_{-N}}, v_{w_{-N+1}}, \ldots, v_{w_{N-1}}, v_{w_{N}}$ とした時に AVE は素性 $v_{\text {ave }}$ （式 3）を，CWEでは素性 $v_{\text {cwe }}$ として周辺の単語べクトルをつなぎ合わせたべクトル（式 4）を素性として用いる手法である。この素性の次元は分散表現の次元を $L$ とすると AVEでは $L, \quad \mathrm{CWE}$ では $2 \times N \times L$ となる.

$
\begin{gathered}
v_{\text {ave }}=\frac{v_{w_{-N}}+v_{w_{-N+1}}+\ldots+v_{w_{N-1}}+v_{w_{N}}}{2 N} \\
v_{\text {cwe }}=v_{w_{-N}}, v_{w_{-N+1}}, \ldots, v_{w_{N-1}}, v_{w_{N}}
\end{gathered}
$

Sugawara らはこれらの素性を用いた手法について実験を行い，AVEよりも CWEのほうがより高い精度が得られたことを報告している。また, その理由として AVEでは周辺の文脈情報が落ちるため精度が出ないとし, CWE は単語の位置が考慮できるためより精度が高くなったと考察している。しかし, 山木らが挙げたように CWEでは単語の位置が規定されるため, 訓練データにおいて出現した単語がテストデータに出現したとしても, 出現位置によってはその類似性が反映されないという問題があると考えられる。そこで我々はこの問題を解消する新たな
手法を提案する.

一つは CWE で素性として用いる周辺の単語ベクトルに対して, 周辺単語の分散表現の平均ベクトル AVE を足し合わせる手法である。 CWE , AVE の頭文字を取ってこの手法を CA と呼ぶ. 換言対象前の単語を $w_{-N}, w_{-N+1}, \ldots, w_{N-1}, w_{N}$ としたとき，それらのべクトルを足し合わせた $v_{w_{-N}}+v_{w_{-N+1}}+\ldots+v_{w_{N-1}}+v_{w_{N}}$ のベクトルは周辺単語のコンテキストをよく表すべクトルになっている。 そこで我々は CWEの手法の各ベクトルに対してこのベクトルの平均 AVE を足し合わせることによって単語の位置が規定され，精度が落ちるという問題に対処できると考えた ${ }^{5}$. 具体的には周辺単語の平均ベクトルとして考慮する窓幅を $N_{a v e}=5$ とし周辺単語の平均ベクトルを式 5 とした際に式 6 を素性として使う手法である。平均ベクトルとして考慮する単語の数は $N_{\text {ave }} \times 2$ となる. これによって各単語の位置を考慮しつつ周辺単語のコンテキストを考慮することができる。

$
\begin{gathered}
v_{\text {ave }}=\frac{v_{w_{-N}}+v_{w_{-N+1}}+\ldots+v_{w_{N-1}}+v_{w_{N}}}{2 N_{\text {ave }}} \\
v_{C A}=v_{w_{-N}}+v_{\text {ave }}, v_{w_{-N+1}}+v_{a v e}, \ldots, v_{w_{N-1}}+v_{a v e}, v_{w_{N}}+v_{a v e}
\end{gathered}
$

しかしながら，この手法でも空幅の大きさ分しか周辺単語を考慮することができず，また空幅を闇雲に大きくしても機能語などの本質的に文の周辺文脈と関係のないノイズ成分が増えてしまうため精度の向上は見込めない。そこでそれらの素性に対してさらに文中で PMI の大きい単語のベクトルを末尾につなぎ合わせる手法を提案する。 CWE, AVE, PMI の頭文字を取ってこの手法を CAP と呼ぶ. これは対象となる文全体の中から換言候補となる漢字と PMI が最も高い単語の分散表現を末尾につなぎ合わせるという手法である。図 1 を例として説明すると, 計算によって「ノート」と換言候補の「買う」が最も PMI が高くなった場合, 単語「ノート」の分散表現を末尾につなぎ合わせる。かな漢字換言ではなく通常の語義曖昧性解消の場合，換言候補となる単語と周辺単語の間の PMI を計算し, 最も PMI が高い単語を素性として選ぶ. これにより語義曖昧性解消において重要な単語のコンテキストを考慮することができ，かつ分散表現を用いることで似ている単語がテストデータに出てきた場合にも対応できると考えられる。 これをまとめると，CAPで用いる素性は文中で最も PMI が高い単語のベクトルを $v_{w_{\text {maxpmi }}}$ とすると式 7 となり, 素性の次元数は $(2 \times N+1) \times L$ となる.

$
v_{C A P}=v_{w_{-N}}+v_{\text {ave }}, v_{w_{-N+1}}+v_{\text {ave }}, \ldots, v_{w_{N-1}}+v_{\text {ave }}, v_{w_{N}}+v_{\text {ave }}, v_{w_{\text {maxpmi }}}
$

提案した素性についての説明図を図 4 に示す.
^{5} \mathrm{CWE}$ に対して平均べクトル AVE をつなぎ合わせる手法も考えられるが， 5 章と同等の条件で実験を行った結果精度の向上が見られなかったためここでは手法の説明について省略している。
}

図 4 分散表現を用いた各手法における素性の例

## 5 実験

本章ではまず前章において提案した手法についてかな漢字換言タスクにおける評価を行う.続いて日本語語義曖昧性解消タスクでも同様に評価を行い提案手法の有効性を実証する。その後, 教師データを増減させることによる精度への影響, データのドメインによる精度への影響について調査, 考察する.

## 5.1 かな漢字換言による実験

## 5.1.1 実験設定

4 章で説明した素性を用いて既存の手法との精度の比較を行う. データセットには 3 章で BCCWJ と UniDic から抽出したデータを用い, 分散表現の構築に用いるコーパスは 2016 年 3 月 5 日にダンプされた日本語の Wikipediaのデータ 6 から wp2txt $7{ }^{7}$ を用いて作成したものを用いる. 単語分割に用いる解析器には我々の研究室で開発, 研究している日本語解析システム雪たるま (山本他 2016) を用いる。この解析器は UniDic を辞書として用いた MeCab のラッパーとして開発されており, その特徴として活用を持つ単語に関しては活用を落として出力し, 活用は活用形態素と言う形で活用を持つ単語の後ろに対して 1 形態素として出力をするようになっている．また，「サ変名詞 + する」のような組み合わせの単語を 1 単語として出力するようになっている．活用形態素を考慮するかしないかによって語義曖昧性解消の精度が変化する可能性は存在するが本論文の主旨からそれてしまうため, ここでの実験では活用を考慮せずに行う.

作成した Wikipediaコーパスを雪だるまにて解析し，それらを gensim 8 の Word2Vec の実装で学習させ単語の分散表現として使う．Word2Vecの学習では Skip-gram を用い階層的ソフトマックスとネガティブサンプリング両方を使用する。学習に使用する窓幅の設定は 5 とし， ネガティブサンプリングの值は 5, ダウンサンプリングの割合は $10^{-3}$ に設定し各ベクトル表現はすべて 200 次元に設定した。分類器には Scikit-learn ${ }^{9}$ で実装されている SupportVectorMachine (SVM) の LinearSVC を使用し, 正則化パラメータとして $C=1.0$ を使用した.

比較する素性として対象単語の周辺単語の分散表現をつなぎ合わせる CWE, 対象単語の周辺単語のベクトルを足し合わせる AVE， CWE に対して周辺単語の BoWを素性として加えた $\mathrm{CWE}+\mathrm{BoW}, 4$ 章にて提案した $\mathrm{CWE}$ と AVE を組み合わせる手法 $(\mathrm{CA})$, さらに $\mathrm{PMI}$ を組み合わせた手法 (CAP) に関して精度の比較を行う。

## 5.1.2 結果

前項で説明した各素性を用いた手法について実験を行った．窓幅を 2 から 20 まで変化させたときの換言精度の変化を示したグラフを図 5 に示す。また，各手法について，一番精度が良かったときの窓幅の大きさとその時の精度を表 3 に示す。なおグラフ中の AVE (CW) は AVE で足し合わせる単語を内容語のみに制限した時の結果となっている.

$\mathrm{CA}$ や $\mathrm{CAP}$ の手法において, 足し合わせて使う周辺単語の密幅は訓練データを用い 4 分割交差検定にて最も精度の良かった 3 に固定してある.

図 5 各素性を用いたかな漢字換言精度
^{9}$ http://scikit-learn.org/
}
表 3 素性ごとのかな漢字換言の精度比較

結果として, CWE や AVE, CWE+BoW の精度を CAの精度が 1 ポイント以上上回り, さらに PMI を組み合わせた CAP の手法が最も高い精度を示した。CWEでは単語ごとのべクトルを並べることによって単語の出現位置を考慮することができているが，単語の位置が規定されることによって周辺単語のコンテキストを考慮することができなかった. これらの手法に対して CWE+BoW は BoW を素性として加えることで単語の位置が規定される問題を若干解消しているが精度の向上はあまり大きくない。一方 CWE に対してAVE を加えた手法では大きく精度が向上している。これは AVEを素性として加えることにより似た文脈を持つ文などをより考慮することができるようになったからと考察できる。一般に BoW 等の count モデルに比べて Word2Vec などの predict モデルは性能が良いと言われており (Baroni et al. 2014) より密になったべクトルを使うことでモデルが特徴を学習しやすくなったのだと考えられる。また，それらの手法に対して PMI の高い単語の分散表現を加えた手法 (CAP) では, 周辺単語だけではなく対象単語から遠い位置にある重要な単語に関して考慮することができていることからより高い精度を示している。

窓幅の設定に関して，窓幅をある一定まで増やしていくと顕著に精度が上がっていくが，ある程度の窓幅がある場合はそれ以上空幅を大きくしても精度が上がらないことが見て取れ，一定以上の密幅があればそれらから似た文脈を持つ文の語義曖昧性も解消できるということを表している。またAVEに関しては窓幅 4 までは精度が上がっているがそれ以降は精度が下がっている，AVEでは空幅内の単語について分散表現をすべて平均する手法になっているため, 対象単語から離れた機能語などが多く足し合わさることによって雑音が増え, 正しく分類できない文が増えたからだと考えられる。実際に内容語のみを足し合わせた手法のグラフを確認すると内容語のみを足し合わせることで精度の低下が起こらなくなっていることがわかる. しかしその精度が通常の AVEに比べ非常に低いことから，対象単語の周辺の機能語が語義曖昧性解消において重要であることをこの結果は示している.

次に実際にどのような文が正解に変わり，どのような文が換言できなかったのかについて誤り分析を通して考察をしていく．空幅を 10 に設定した際に CWEで正しく換言できなかった文

についてランダムに 100 文抽出しそれらに対して各手法における分析を行った. 表 4 に入力文と各システムが出力した漢字の一部を示す。表内の H の列に関しては人間が同じ文を見たときに換言できるかどうかを著者が個人の主観で判断したものである。抽出した 100 文中人間の目で見て正しい漢字が選択できた対象は 67 文であり，その 67 文中 CAP の手法で正しい漢字を選択できるようになった文は 45 文であった.

表 4 中の 1, 2 の例では CWE に対して AVE の素性を組み合わせることで解けるようになっていることがわかる．例 1 において CWE では単語の位置が規定されることによって「勤め」という単語から帰るという言葉が連想されることを学習できずに「返る」という単語を出力してしまっているが，AVEの素性を足すことによって正しく換言が行えるようになったのだと推察できる．2に関しても同様で CWE では「アダージオ」という音楽用語から本来は「弾く」という意味を導けていないが，AVEを素性として加えることで単語の位置が規定されるという問題を解消し正しい漢字が導けていることがわかる.

3, 4 の例は PMI を素性として加えることで正しい漢字を導けている例である． 3 の例では密幅 10 の設定では「練る」という単語を導くために必要な「構想」という単語を考慮することができないが，PMIを用いることで「構想」単語の分散表現を素性として加えることができるよ

表 4 入力文とシステムが実際に出力した漢字

 & 帰る & 返る & 帰る & 帰る & 1 \\

うになっている。そのため正解である「練る」という漢字を導けるようになったものだと考察できる．4の例も同様で人間が「共生」という漢字を導くために必要な「サンゴ」や「褐虫藻」 といった単語は窓幅 10 では考慮できないが PMI を用いることで位置が離れた単語でも素性として使え, 結果として正しい漢字が出力できるようになったのだと推察できる. 実際に PMI によって素性として選ばれた単語は「褐虫」であった。

一方で 5,6 の例はどの手法でも正しく換言できなかった文である。例 5 に関しては「暖かい」 といった単語や「柔らかい」という単語に引っ張られて「感性」という単語をどの手法においても出力しているが,「部屋」を完成させていることが人間の場合わかるため「完成」が正しい漢字であることを我々は認識できる。このような例に関しては構文情報などのより高度な意味理解が必要になる.

7,8 は著者の主観では正しい漢字を導くことができなかった例である．例 7 に関しては「二五世紀の戦士」という固有名詞を認識し知識として学習させる必要があるため, このような対象は我々の手法では正しく解けない。そもそも固有名詞に関しては一部をひらがなで書くということはほほ状況として無く, これらは固有表現抽出の問題になるはずである。例 8 に関しては「創作」「捜索」どちらの漢字が割り当てられても文としては自然なため曖昧性を解くのに必要な周辺文脈が不十分であることがわかる.

最後に PMIによって選ばれた単語の換言対象単語との距離について考察をする。換言対象単語と PMIによって素性として選択された単語の距離のヒストグラムを図 6 に示す.

図 6 PMIによって選ばれた単語の換言対象単語との距離
図 6 を見ると PMI が高い単語の多くが周辺 2 単語に存在していることがわかる. PMI の計算時に使う頻度情報として距離が 7 単語以内に出現した単語を共起したとみなして計算しているため, 距離が近いところに PMI が高い単語が出てくるのは当然であるが，それを考慮しても周辺 2 単語以内によく共起する単語が出現している. 周辺 2 単語以内に最も PMI が高い単語が出

置でも PMI の高い単語がかなりの割合で出現しており，これらを素性として加えることで一部の文において正しいコンテキストを選択できるようになり，かな漢字換言の精度が 0.8 ポイン卜向上したのだと言える。距離 10 より大きい位置に最も PMI が高い単語が出現した文の割合は全データ 158,750 件中 52,337 件と約 $33 \%$ の割合を占める。この結果からもより精度の高い語義曖昧性解消を行う際にはより幅広い周辺文脈から重要な素性を選択する必要があると言える。

## 5.2 日本語語義曖昧性解消タスクによる実験

## 5.2.1 実験設定

続いて提案手法の日本語語義曖昧性解消タスクでの有効性を調査する．各手法を比較するために用いるデータとして SemEval2010の日本語語義曖昧性解消タスク (Okumura et al. 2010)を使用し検証を行う．SemEval2010 のデータでは語義曖昧性解消の対象となる単語は 50 単語であり 1 語あたりの事例数は訓練データ，テストデータでそれぞれ 50 事例となっている。この数字は 1 語義あたり 200 の訓練事例があるかな漢字換言タスクに比べて非常に規模が小さい.また, 3 章で述べたように日本語語義曖昧性解消タスクはかな漢字換言に比べ 1 語あたりの平均語義数が多く，頻度分布のエントロピーも大きいことからかな漢字換言よりも難しいと言える.

実験設定は基本的に前節と同様のものを用いる。なお，データセット自体が単語分割されているため，単語分割について雪だるまは使用していない.

比較する素性として前節同様対象単語の周辺単語の分散表現をつなぎ合わせる CWE，対象単語の周辺単語のベクトルを足し合わせる AVE， CWEに対して周辺単語の BoWを素性として加えた $\mathrm{CWE}+\mathrm{BoW} ， 4$ 章にて提案した $\mathrm{CWE}$ と $\mathrm{AVE}$ を組み合わせる手法 $(\mathrm{CA})$, さらに $\mathrm{PMI}$ を組み合わせた手法 (CAP) に関して精度の比較を行う。

## 5.2.2 結果

5.1 節で用いた素性を使用して日本語語義曖昧性解消タスクでの実験を行った．各素性において空幅を変化させていったときの精度の変化のグラフを図 7 に示す. また, 各素性において最も精度が良かったときの数字とその時の窓幅を表 5 に示す。

なお, $\mathrm{CA}$ や $\mathrm{CAP}$ の手法において, 足し合わせて使う周辺単語の密幅は訓練データで 5 分割交差検定を行い最も精度の良かった 2 に固定してある。

まず，図 7 から見て分かる通り, どの手法においても窓幅が小さい時の精度が非常に高く,

図 7 各素性を用いた日本語の語義曖昧性解消

表 5 素性ごとの語義曖昧性解消の精度比較

空幅を広げていくとその精度が落ちていっていることがわかる。この結果は粒度の粗いかな漢字換言と違い, 細かい粒度の語義は前後の単語から決定的に行えるということを示している。 CWE と CA の間に大きな精度の差が見られなかったのはこれが一つの理由であると考えられる。空幅が小さい際は「単語の位置が規定される」という問題が少なく, 周辺語の出現パター ンを比較的少ない訓練事例で学習することが可能である。そのため 2 つの素性の間に差が生まれなかったのだと考察できる.

一方で CWE に比べ PMI を組み合わせた手法は約 1 ポイント精度が向上している。これは先程の考察の一方で一部の語義の決定には曖昧性解消の対象となる単語から離れた単語も有効であるということを示している。CAP の素性において PMI で選んだ単語の曖昧性解消の対象となる単語の距離のヒストグラムは図 8 になっている. 図 8 を見るとかな漢字換言での検証と同様, PMI が高い単語は前後 2 単語に集中していることがわかる. 周辺 2 単語以内に最も PMI が高い単語が出現した割合は訓練データ中では約 $26 \%$ であった。一方で換言対象からの距離が 3 以上のものも一定数出現しておりこれらを素性として加えることで一部の語義が正しく導くこ

図 8 PMI によって選ばれた単語の語義曖昧性解消図 9 PMI の窓幅を変化させたときの精度の変化の対象単語との距離

とができ，精度が約 1 ポイント向上したのだと考えられる，距離 3 以上の位置に最も PMI が高

遠くの位置の単語が語義を決定するのに有効であると言える.

また，SemEval2010の日本語語義曖昧性解消タスクでは 1 文ではなく文章全体から PMI によって素性を選ぶ手法についても検討することができる。従来の日本語の語義曖昧性解消は 1 文単位での手法がほとんどである。しかしながら，同文章中であれば似た文が多く含まれていると考えられるため，精度の向上に寄与する可能性がある。図 9 に語義曖昧性解消の対象単語が含まれる文章を用い，PMI で考慮する窓幅を変化させていった時の精度の変化を示す.

図 9 を見ると空幅 50 以下で $\mathrm{CWE}$ 等の手法に比べて高い精度を記録していることが見て取れる。また窓幅 40 において精度 $78.6 \%$ を記録しており，PMI での空幅を適切に考慮することで 1 文ではなく文章単位でも精度を向上させることが可能であると言える。一方で，ある一定以上 PMI の窓幅を上げていくとその精度は低下していき, その他の手法とあまり変わらない値となっている。これは距離が遠すぎる単語は対象単語を含む文と比べて周辺文脈が大きく変わっており, PMIが大きい単語でも曖昧性解消の素性として効果がないからであると言える。

結論として日本語の語義曖昧性解消では，広い窓幅から重要な単語を適切に素性として加えることで一定の精度の向上が見达めることがわかる。

## 5.3 訓練データの増減による換言精度の変化

## 5.3.1 実験設定

ここでは前節で有効性が確認できた各手法において，訓練デー夕を増やすことによる換言精度への影響について調査する。 Marquez らは訓練データの規模を 1 語義あたり 200 件以上に増

やすことで分類精度が向上することを報告しているが (Marquez, Escudero, Martinez, and Rigau 2006)，それ以上に規模を大きくした論文については存在しない.しかし，かな漢字換言を通した語義曖昧性解消の調査では訓練デー夕を自動で抽出することが可能である。そこで今回，我々はかな漢字換言の特性を活かして訓練データを 1 語義あたり 5,000 件用意し, 規模を増加させたときの精度の変化を確認した。訓練データを抽出する上で BCCWJではそのコーパスの大きさが不十分で，すべての漢字の例について十分な規模の訓練データを抽出することができなかったため, 本実験ではすべて日本語ウェブコーパス $(2010)^{10}$ のテキストアーカイブから 3 章で抽出した方法と同様にして抽出したものを使った。BCCWJ の規模はテキスト形式でおよそ $600 \mathrm{MB}$ であるがウェブコーパスの規模は 396 GB であり，またその文数は BCCWJ 約 600 万文に対してウェブコーパスでは約 56 億文と，かな漢字換言の訓練データ作成において十分な量である。訓練デー夕には 3 章で構築した 1 語義あたり 200 件の訓練デー夕は使わず，全てウェブコーパスから抽出したもののみを使う。これはドメインの違うデータを用いることによる精度の変化の影響を排除するためである。語義曖昧性解消において訓練デー夕はその大きさだけではなく多様性によっても左右される。そのため，より多様性に富んだデー夕を意図的に抽出することで訓練データを増やしていった時の精度をより向上させることが可能であると考えられる。しかし，ここでの調査は訓練データの大きさによる精度への影響を調べることに焦点を当てるため, 恣意的に抽出するデータを選ぶようなことはせずウェブコーパスのみから無作為に訓練データを選択している。テストデータには 3 章で構築したものと同じものを使用する.

## 5.3.2 実験結果

訓練事例数を増やしていった際のかな漢字換言における各手法の精度の変化を図 10 に示す. なお，訓練データの規模を示す横軸は対数表示である。またグラフ中の $\mathrm{CAP}_{J}$ は SemEval2010 の日本語語義曖昧性解消タスクについて訓練データを制限した際の数値を示す。かな漢字換言では横軸の値は 1 語義あたりの訓練事例なのに対し，日本語語義曖昧性解消タスクでは横軸の値は 1 単語あたりの訓練事例であることに注意されたい。また，日本語語義曖昧性解消タスクでは純粋な訓練事例の変化による精度を確認するため，訓練データ中の各語義のバランスを考慮し各語義の訓練データを順に追加している。

グラフを見ると，かな漢字換言においてある程度まではデータが増えることによって大きく精度が変わっているが，徐々にその傾きが緩やかになっていき， 1 語義あたりの訓練データが 5,000 件前後になるとほぼ精度が変わらなくなることがわかる. このことから，訓練データの規模は大きければ大きいほどよいが， 1 語義あたり 1,000 から 5,000 件程度訓練事例を用意することで精度が収束すると言える。また, 訓練データが少ない 10 から 100 までの間では訓練データ

図 10 訓練データの大きさによる精度の変化

サイズの変化に応じて精度が大きく向上しており，このことからも一定量の訓練デー夕を用意することが語義曖昧性解消において非常に重要であることを示している.

日本語語義曖昧性解消タスクにおいてデータを制限した際の学習曲線においても訓練事例の増加に伴って精度の向上が確認できる。かな漢字換言に比べ学習曲線が緩やかになっているものの，データ数を指数関数的に増やすことによって一定の精度向上が見られる．かな漢字換言では横軸が 1 語義あたりのデー夕数なのに対し日本語語義曖昧性解消タスクでは 1 単語あたりのデータ数である。平均語義数が多い日本語語義曖昧性解消タスクでは語義あたりのデータの増加量がかな漢字換言に比べ緩やかになっていると考えられ，グラフの傾きが緩やかになっているのだと考えられる。また，かな漢字換言と違い語義曖昧性解消タスクでの検証ではデータに語義の偏りが存在するためここでの比較は公平ではないが，訓練事例を指数関数的に増加させることが精度向上に寄与することはこのグラフから読み取ることができる。

使う素性によってグラフの傾きも変わり, CAPのグラフは教師データが非常に少ない場合でも CWE 単体に比べて 10 ポイント近く高い精度を示している.このことから CAP は分散表現の特徴をうまく捉え，似た文脈に関しても正しい漢字を予測することができていることがわかる。逆に教師データの量が大きければ大きいほど各手法の差は小さくなっている．訓練事例を 1 語義あたり 10 事例用意した際の CWE と CAP の精度の差は 9.7 ポイントであり，訓練事例を 5,000 事例用意した際の精度の差は 1.2 ポイントである. これは, CWE で問題であった単語の位置が規定されるという問題が，教師データの規模を非常に大きくすることで無理やり解消できたからだと考えられる。この結果からも一定数の訓練データを用意した上で手法の有効性を評価することが，実用的な語義曖昧性解消の検証につながると考えられる．また，ここでの実
験では訓練データの多様性は考慮していないためこのような結果になっているが, より多様性を考慮したデータセットを作ることでより少ない訓練事例で精度が収束することも考えられる。

しかしながら語義曖昧性解消のデータセットとして 1 語義あたり 1,000 事例の非常に大きな訓練データを作るのは非常にコストがかかるため現実的ではない.この結果からある一定量のデータと精度よく曖昧性解消できる手法を組み合わせることが最も高い精度を出すために重要であると言える。また，小規模な訓練データを用いて確度の高いデータを訓練デー夕に追加し学習を行っていく半教師あり学習が語義曖昧性解消に有効であると考えられる.

## 5.4 訓練データのドメインによる精度の変化の確認

## 5.4.1 実験設定

この節では訓練データのドメインとテストデータのドメインによって精度がどの程度変わるかを検証する。一般に異なるドメインのデータで学習させたモデルを, 別のドメインのテストデータに合うようにチューニングすることは領域適応と呼ばれ構文解析や語義曖昧性解消において精度を上げる上で重要な研究の一つになっている (McClosky, Charniak, and Johnson 2010). また語義曖昧性解消において訓練データの多様性を考慮することは周辺の文脈パターンをモデルにより幅広く学習させることができ, 精度の向上が期待できる. 異なるドメインのデータを用いて語義曖昧性解消を行う実験は新納ら (新納, 佐々木 2013)などが行っているが, ここで使われている SemEval2010の日本語語義曖昧性解消夕スクではドメインごとに訓練データのサイズが異なるため, 単純なドメインの変化による精度の影響の調査としては不十分である. そこで，訓練データを大量のテキストから自動で作れるかな漢字換言の特性を活かし，異なるドメインのデータで学習したモデルを別のドメインのテストデータで用いた際の精度について検討する。また, 複数ドメインの訓練データを混ぜて学習させることによる精度への影響についても検討する。

この実験では訓練データ，テストデータとして使用するドメインの異なるデータセットとして 3 章にて BCCWJ より構築したデータセットと, 2016 年 3 月 5 日にダンプされた日本語の Wikipediaのデータから抽出したテキストを元に 3 章と同じ方法で構築したデータセットを用いる，BCCWJには新聞や Webデータなど様々なドメインの文章が含まれているが, Webデー 夕として使われているものは Yahoo!知恵袋と Yahoo!ブログから収集されたテキストデータである。そのため, Wikipedia 等の事物を説明するための文章とは異なるドメインであると考え,実験を行う．訓練データ，テストデータの大きさはどちらのデータセットにおいても同じ量になっている。その他の実験設定は 5.1 節と同じものを使用する.

比較のための手法には 5.1 節で最も精度の良かった CAP を用いる。周辺単語の分散表現を足し合わせる際の窓幅は 3 , 分散表現をつなぎ合わせて考慮する窓幅の設定は 10 としている.

## 5.4.2 実験結果

BCCWJ, Wikipediaより構築された訓練データを用いてモデルを学習させ，それぞれ異なるテストセットで評価を行った。実験結果を表 6 に示す。表中の BCCWJ+Wikipedia はそれぞれの訓練データ 200 件のうち, ランダムで 100 件ずつ抽出し統合したものを訓練データとして使用した場合となっている.

表を見るとそれぞれのドメインで学習させて同じドメインのテストデータで評価したものに比べて, 相互にテストデー夕を入れ替えた結果は精度が落ちていることがわかる．特に訓練デー 夕として Wikipedia から抽出したデータを使い BCCWJ で曖昧性解消をしたものは約 5 ポイントほど精度が低下している。このことから, 語義曖昧性解消においてドメインごとにあった訓練データを用いることが精度向上に大きく寄与するといえる。一方で BCCWJ から抽出したデー 夕を使い Wikipedia のテストデータで評価したものは精度の減少はあるものの約 1.2 ポイントと少なくなっている。これは BCCWJ が均衡コーパスであり様々なドメインのデータを含んでいるため多様性に富んでいるからだと考えられる。これは多様性に富んだ訓練デー夕を用いることが精度向上に貢献することを示唆するものである.

また，それぞれのドメインの訓練データを混ぜ学習させたモデルは BCCWJ, Wikipedia から作成したテストデータ両方において高い精度が発揮できており，それぞれのドメインの訓練データのみを学習させ, 同ドメインのテストデータで評価したときの精度とほぼ変わらない值を得ることができている。この結果からも語義曖昧性解消で用いる訓練データは広いドメインから幅広い文を対象に抽出したほうが訓練デー夕の多様性を考慮でき, より高い精度での曖昧性解消が期待できることを表している。また, この結果は「対象語毎に訓練データの分野の組合せを変えて学習するより, 分野に関係なくすべての訓練データを学習に用いる方が精度が良い」という Fujita らの報告 (Fujita et al. 2010)が，訓練デー夕の大きさが同じ場合でもほぼ変わらない精度を得ることができることを示している。

結論として, 語義曖昧性解消においてテストデータにあった訓練デー夕を用いることが精度

表 6 ドメイン変化時の精度

向上に大きく寄与する一方で，訓練デー夕の多様性を考慮することで様々なドメインのデータにも対応できると言える。

## 6 結論

本論文ではかな漢字換言を通して日本語の語義曖昧性解消において幾つかの問題点を明らかにした。

まず素性として使う単語の選び方である。我々は事前の実験を通して文全体を見て文中から正しく素性を選ぶことが重要であることを示し, 分散表現と PMI を用いて周辺文脈と曖昧性解消の対象となる単語から離れた単語について考慮する手法を考案した。手法の有効性に関して BCCWJ から作成したかな漢字換言のデータセットを用いて実験を行ったところ, ベースラインとなる単純な単語の分散表現のつなぎ合わせに比べ約 2 ポイント高い精度を得ることができた. また考慮する窓幅についても検討したところ，周辺 5 単語以上を考慮することでより高い精度を得ることができることを確認した。このことからより文中の様々な単語を考慮することがかな漢字換言において重要であるということを明らかにした.

さらに日本語の語義曖昧性解消タスクを用いて提案手法の有効性について検証した。その結果, 単純な単語の分散表現のつなぎ合わせに対して周辺単語の平均ベクトルを足し合わせる方法の有効性は確認できなかったが, PMI を用い文全体から適切な単語の分散表現を素性として加えることが有効であることを確認した.

また，我々は訓練データの大きさによる語義曖昧性解消への影響も調査した。訓練データを 10 件から 5,000 件まで増やしていったときのかな漢字換言の精度を確認し，分散表現を用いた各手法で実験を行った。その結果, 分散表現を用いた手法では, 非常に大きな規模の訓練デー 夕を用意することでどの手法においてもほぼ変わらない精度を得られることを確認した. その一方で高い精度を得るために必要なデー夕は指数関数的に増えていくため, より少ないデー夕で高い精度を得られる手法が教師ありの語義曖昧性解消において重要であることを確認した。

さらに我々は訓練データのドメインについても調査を行った. BCCWJ と Wikipedia から作成した訓練データとテストデータを相互に使い実験し，各ドメインにあった訓練データを使うことが精度向上において重要であることを確認した。また，各ドメインの訓練デー夕を混ぜて学習させた結果から, 幅広いドメインの文章から多様性に富んた語義曖昧性解消のデータセットを作ることが語義曖昧性解消に対して有効であることを確認した.

語義曖昧性解消はコンピュータの意味理解において重要な役割を果たすため, より精度の高い手法やツールが求められるはずである。本論文を通して自然言語処理における語義曖昧性解消という問題が少しでも解消できればいいと願う.

## 謝 辞

本研究は, 平成 $27 \sim 31$ 年科学研究費補助・基盤 (B) 課題番号 $15 \mathrm{H} 03216$, 課題名「日本語教育用テキスト解析ツールの開発と学習者向け誤用チェッカーへの展開」, 及び平成 $29 \sim 31$ 年科学研究費助成事業挑戦的萌芽課題番号 $17 \mathrm{~K} 18481$, 課題名「やさしい日本語化実証実験による言語資源構築と自動平易化システムの試作」の助成を受けています。

## 参考文献

Bansal, M., Gimpel, K., and Livescu, K. (2014). "Tailoring Continuous Word Representations for Dependency Parsing." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 809-815, Baltimore, Maryland. Association for Computational Linguistics.

Baroni, M., Dinu, G., and Kruszewski, G. (2014). "Don’t Count, Predict! A Systematic Comparison of Context-Counting vs. Context-Predicting Semantic Vectors." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 238-247, Baltimore, Maryland. Association for Computational Linguistics.

Cai, J., Lee, W. S., and Teh, Y. W. (2007). "Improving Word Sense Disambiguation Using Topic Features." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 1015-1023, Prague, Czech Republic. Association for Computational Linguistics.

藤田早苗, Duh, K., 藤野昭典, 平博順, 進藤裕之 (2011). 日本語語義曖昧性解消のための訓練データの自動拡張. 自然言語処理, 18 (3), pp. 273-291.

Fujita, S., Duh, K., Fujino, A., Taira, H., and Shindo, H. (2010). "MSS: Investigating the Effectiveness of Domain Combinations and Topic Features for Word Sense Disambiguation." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 383-386, Uppsala, Sweden. Association for Computational Linguistics.

Fujita, S. and Fujino, A. (2013). "Word Sense Disambiguation by Combining Labeled Data Expansion and Semi-Supervised Learning Method." ACM Transactions on Asian Language Information Processing, 12 (2), pp. 7:1-7:26.

Iacobacci, I., Pilehvar, M. T., and Navigli, R. (2016). "Embeddings for Word Sense Disambiguation: An Evaluation Study." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 897-907, Berlin, Germany. Association for Computational Linguistics.
井上裁都, 斎藤博昭 (2011). ラベルなしデータの二段階分類とアンサンブル学習に基づく半教師あり日本語語義曖昧性解消. 自然言語処理, 18 (3), pp. 247-271.

Lopez de Lacalle, O. and Agirre, E. (2015). "A Methodology for Word Sense Disambiguation at 90\% based on Large-scale CrowdSourcing." In Proceedings of the 4th Joint Conference on Lexical and Computational Semantics, pp. 61-70, Denver, Colorado. Association for Computational Linguistics.

Marquez, L., Escudero, G., Martinez, D., and Rigau, G. (2006). Word Sense Disambiguation: Algorithms and Applications, Chap. 7, pp. 184-195. Springer.

McCarthy, D. (2009). "Word Sense Disambiguation: An Overview." Language and Linguistics Compass, 3 (2), pp. 537-558.

McClosky, D., Charniak, E., and Johnson, M. (2010). "Automatic Domain Adaptation for Parsing." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 28-36, Los Angeles, California. Association for Computational Linguistics.

Mihalcea, R., Chklovski, T., and Kilgarriff, A. (2004). "The Senseval-3 English Lexical Sample Task." In Proceedings of Senseval-3: 3rd International Workshop on the Evaluation of Systems for the Semantic Analysis of Text, Barcelona, Spain, July 2004. Association for Computational Linguistics (ACL).

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." CoRR, abs/1310.4546.

村本英明，鍜治伸裕，吉永直樹，喜連川優 (2011). Webテキストを対象とした語義曖昧性解消のための言語資源の半自動構築. 情報処理学会論文誌, 52 (12), pp. 3338-3348.

Navigli, R. (2009). "Word Sense Disambiguation: A Survey." ACM Computing Surveys, 41 (2), pp. 10:1-10:69.

Navigli, R. (2012). A Quick Tour of Word Sense Disambiguation, Induction and Related Approaches, pp. 115-129. Springer Berlin Heidelberg, Berlin, Heidelberg.

Navigli, R., Litkowski, K. C., and Hargraves, O. (2007). "SemEval-2007 Task 07: Coarse-Grained English All-Words Task." In Proceedings of the 4th International Workshop on Semantic Evaluations (SemEval-2007), pp. 30-35, Prague, Czech Republic. Association for Computational Linguistics.

小椋秀樹, 原裕, 小木曽智信, 小磯花絵, 宮内佐夜香 (2010). 形態素解析辞書 UniDic における同語異語判別について. 言語処理学会第 16 回年次大会発表論文集, pp. 486-489.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2010). "SemEval-2010 Task: Japanese WSD." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 69-74,

Uppsala, Sweden. Association for Computational Linguistics.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2011). "On SemEval-2010 Japanese WSD

Task.”自然言語処理, 18 (3), pp. 293-307.

Petersen, T. (2006). Word Sense Disambiguation: Algorithms and Applications, Chap. 6, pp. 133-166. Springer.

Pradhan, S., Loper, E., Dligach, D., and Palmer, M. (2007). "SemEval-2007 Task-17: English

Lexical Sample, SRL and All Words." In Proceedings of the 4th International Workshop on Semantic Evaluations (SemEval-2007), pp. 87-92, Prague, Czech Republic. Association for Computational Linguistics.

Raganato, A., Camacho-Collados, J., and Navigli, R. (2017). "Word Sense Disambiguation: A

Unified Evaluation Framework and Empirical Comparison." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 99-110, Valencia, Spain. Association for Computational Linguistics.

新納浩幸, 古宮嘉那子, 佐々木稔 (2017). 順方向多層 LSTM と分散表現を用いた教師あり学習

による語義曖昧性解消. テクニカル・レポート 4 , 茨城大学工学部情報工学科.

新納浩幸, 村田真樹, 白井清昭, 福本文代, 藤田早苗, 佐々木稔, 古宮嘉那子, 乾孝司 (2015).

クラスタリングを利用した語義曖昧性解消の誤り原因のタイプ分け. 自然言語処理, $22(5)$, pp. 319-362.

新納浩幸, 佐々木稔 (2013). $\mathrm{k}$ 近傍法とトピックモデルを利用した語義曖昧性解消の領域適応.

自然言語処理, 20 (5), pp. 707-726.

白井清昭 (2003). SENSEVAL-2 日本語辞書タスク. 自然言語処理, 10 (3), pp. 3-24.

白井清昭, 柏野和佳子, 橋本三奈子, 徳永健伸, 有田英一, 井佐原均, 荻野紫穂, 小船隆一, 高

橋裕信, 長尾確, 橋田浩一, 村田真樹 (2001). 岩波国語辞典を利用した語義夕グ付きテキス

トデータベースの作成. 情報処理学会研究報告自然言語処理 (NL), 2001 (9), pp. 117-124.

Sugawara, H., Takamura, H., Sasano, R., and Okumura, M. (2015). "Context Representation with Word Embeddings for WSD." In International Conference of the Pacific Association for Computational Linguistics, pp. 108-119.

Wawer, A. and Mykowiecka, A. (2017). "Supervised and Unsupervised Word Sense Disambiguation on Word Embedding Vectors of Unambigous Synonyms." In Proceedings of the 1st Workshop on Sense, Concept and Entity Representations and their Applications, pp. 120-125, Valencia, Spain. Association for Computational Linguistics.

山木翔馬, 新納浩幸, 古宮嘉那子, 佐々木稔 (2015). 分散表現を用いた教師あり機械学習による語義曖昧性解消. テクニカル・レポート 17 , 茨城大学工学部情報工学科.

Yamamoto, K., Gumizawa, Y., and Mikami, Y. (2017). "Word Sense Implantation by Or-
thographical Conversion." International Journal of Asian Language Processing, 27 (2), pp. 79-94. Chinese and Oriental Languages Information Processing Society (2017.12).山本和英, 高橋宽治, 桾澤優希, 西山浩気 (2016). 日本語解析システム「雪だるま」(第 2 報)進捗報告と活用形態素の導入（言語理解とコミュニケーション）－（第 9 回テキストマイニング・シンポジウム）．電子情報通信学会技術研究報告, 116 (213), pp. 63-68.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 33rd Annual Meeting on Association for Computational Linguistics, ACL '95, pp. 189-196, Stroudsburg, PA, USA. Association for Computational Linguistics.

## 付録

## A 換言対象となるひらがなと漢字候補

## 略歴

桾澤優希 : 2017 年長岡技術科学大学工学部電気電子情報工学課程卒業. 同年,同大学工学研究科修士課程電気電子情報工学専攻に進学. 現在に至る. 自然言語処理の研究に従事.

山本和英：1996 年 3 月豊橋技術科学大学大学院工学研究科博士後期課程システム情報工学専攻修了. 博士 (工学)。1996 年〜2005 年（株）国際電気通信基礎技術研究所 (ATR) 研究員. 1998 年中国科学院自動化研究所国外訪問学者. 2002 年から長岡技術科学大学, 現在准教授. 自然言語処理, 人工知能（知識構築), 日本語教育 (支援ツール作成) の研究開発に従事． 2012 2014 年電子情報通信学会言語理解とコミュニケーション (NLC) 研究会委員長, 2016 年から言語処理学会理事. 言語処理学会, 人工知能学会, 日本語教育学会, 情報処理学会, 電子情報通信学会, 言語資源協会, アジア太平洋機械翻訳協会各会員。

(2017 年 9 月 14 日受付)

(2017 年 12 月 31 日再受付)

(2018 年 2 月 13 日採録)


# 論文
## 自然演繹に基づく論理推論の文間類似度学習・含意関係認識への応用

谷中瞳 ${ }^{\dagger}$ 峯島宏次 ${ }^{\dagger \dagger}$ P Pascual Martínez-Gómez ${ }^{\dagger \dagger+}$ 戸次大介方

文と文がどのような意味的関係にあるかという文間の関連性の計算は, 情報検索や文書分類，質問応答などの自然言語処理の基盤を築く重要な技術である．文の意味をべクトルや数值で表現する手法は未だ発展途上であり，自然言語処理分野においては，様々な機械学習による手法が活発に研究されている。これらの手法では，文字や単語を単位としたべクトルを入力として, それらの表層的な出現パターンとその振る舞いを学習することで，文ベクトルを獲得している。しかし，否定表現を含む文など，文の構造的意味を正確に表現できるかは自明ではない。一方で, 形式意味論においては, 表現力の高い高階論理に基づいて意味の分析を行う研究が発展しているが，文間の関連性のような，連続的な意味的関係を表現することが困難である. そこで本研究では, 機械学習と論理推論という二つの手法を組み合わせて文間の関連性を計算する手法を提案する。具体的には，文間の含意関係を高階論理の推論によって判定するシステムの実行過程から, 文間の関連性に寄与する特徴を抽出し，文間の関連性を学習する。文間類似度学習と含意関係認識という 2 つの自然言語処理タスクに関して提案手法の評価を行った結果，推論の過程に関する情報を特徵量に用いることによって，いずれのタスクにおいても精度が向上した。また，含意関係認識用データセットの一つである SICK データセットの評価では, 最高精度を達成した。

キーワード：文間類似度，含意関係認識，自然演繹，論理推論

## Learning Semantic Textual Relatedness using Natural Deduction Proofs

\author{
Hitomi Yanaka $^{\dagger}$, Koji Mineshima ${ }^{\dagger \dagger}$, Pascual Martínez-Gómez ${ }^{\dagger \dagger \dagger}$ and \\ DAISUKE BEKKI ${ }^{\dagger \dagger}$
}

Learning semantic textual relatedness is a core research subject in natural language processing. Vector-based models are often used to compute sentence representations from words or predicate-argument structures, but these models cannot capture semantics accurately with consistency. Conversely, logical semantic representations can capture sentence semantics in depth and with much greater accuracy, but their symbolic

nature does not offer graded notions of textual similarity. We propose a method for learning semantic textual relatedness by combining shallow features with features extracted from natural deduction proofs using bidirectional entailment relations between sentence pairs. For the natural deduction proofs, we use ccg2lambda, a higher-order automatic inference system that converts Combinatory Categorial Grammar (CCG) derivation trees into semantic representations and conducts natural deduction proofs. We evaluate our system using two major NLP tasks: learning textual similarity and recognizing textual entailment. Our experiments demonstrate that our approach can outperform other logic-based systems and we obtain high performance levels for the RTE task using the SICK dataset. Our evaluations also demonstrate that features derived from the proofs are effective for learning semantic textual relatedness and we quantify our contribution to the research area.

Key Words: Semantic Textual Similarity, Recognizing Textual Entailment, Predicate Logic, Inference, Natural Deduction

## 1 はじめに

ある二つの文について，それぞれの文がどのような意味を持ち，一方の文と他方の文とがどのような意味的関係にあるかという文間の関連性の評価は，情報検索や文書分類，質問応答などの自然言語処理の基盤を築く重要な技術である。これまでの自然言語処理における文の意味表現の方法は，ベクトル空間モデルが主流である。情報検索においては，単語や文字の出現頻度といった表層的な情報を用いて，統計的機械学習に基づいて文べクトルを導出する手法が用いられてきた。また，さらに正確な文の意味表現を目指して，単語やフレーズといった構成要素を組み合わせて文の意味を計算するべクトル空間モデル (Wong and Raghavan 1984; Mitchell and Lapata 2010; Le and Mikolov 2014) が提案されてきた。近年では，深層学習を用いて高精度で文の意味表現を獲得する手法 (Mueller and Thyagarajan 2016; Hill, Cho, and Korhonen 2016) が多く提案されている。これらの手法では，単語べクトルや文字ベクトルを入力として学習を行い，文べクトルを獲得しているが，獲得した文べクトルが否定表現や数量表現などを含む文の意味を正確に表現しているかは自明ではない．たとえば，Tom did not meet some of the players と Tom did not meet any of the players という文はほとんど単語が共通しており， some や any といった機能語は通常捨象されるか, ほぼ同じ単語ベクトルとして扱われる。しかし, 前者は 「Tom は選手の何人かとは会わなかった（別の何人かの選手とは会った）」, 後者は「Tom はどの選手とも会わなかった」という意味を表しており, これらの文の意味の違いを単語や文字からの情報を用いてどのようにして捉えるかが課題となっている。そこで，統語構造を考慮したモデルなど，より高度な意味解析を取り入れたモデルの構築が期待されている。

一方で, 文の意味を論理式で表現し, 論理推論によって高度な意味解析を行う手法 (Mineshima,

Martínez-Gómez, Miyao, and Bekki 2015; Mineshima, Tanaka, Martínez-Gómez, Miyao, and Bekki 2016; Abzianidze 2015, 2016) は，論理式による意味表現と整合性の高い組合せ範疇文法 (Combinatory Categorial Grammar, CCG) (Steedman 2000)による頑健な統語解析の発展に伴い, 近年研究が進められている。論理推論を用いた手法は, 文ぺアに対して一方の文を他方の文が内容的に含意しているかどうかを判定する含意関係認識のタスクで高精度を達成しており，様々な自然言語処理タスクへの応用が期待されている。一方で, 論理推論を用いた手法は元来厳密な手法であり，部分的・段階的な含意関係や類似関係を扱うことが困難である.

そこで本研究では, 機械学習と論理推論とを組み合わせることで, 柔軟かつ正確に文の関連性を学習する方法を検討する。具体的には, 文の意味を論理式で表現し， 2 文間の双方向の含意関係について自然演繹による推論を試み, 推論の過程と結果を抽出する. このとき, 必要に応じて, 文間の意味的関係を正しく判定するために必要な語彙知識を公理として追加して推論を試みる。語彙知識の利用によって文間の意味的関係が判定できれば，純粋な論理推論だけでは意味的関係を判定できない文ぺアにおいても，部分的な推論過程から文の関連性を示す情報を抽出することが可能となる。抽出した推論の過程と結果に関する情報を用いて，文の関連性を学習する。

## 2 関連研究

文の意味表現を獲得し，文の関連性を学習する手法はこれまでに幅広く研究されている。特に, 文の意味は文を構成する部分の意味から合成されるという構成性の原理に基づいて，単語べクトルの加法と乗法を用いて文の意味を表現する手法 (Mitchell and Lapata 2008, 2010) が提案された. しかし, この手法には, 単語の出現順序が捨象されてしまうという問題があった. そこで, 述語や機能語を高階テンソル, 名詞をベクトルで表現し, 縮約を用いて文の意味を計算する Categorical Compositional Distributional Semantic Model (Clark, Coecke, and Sadrzadeh 2011; Grefenstette and Sadrzadeh 2011; Kartsaklis, Kalchbrenner, and Sadrzadeh 2014; Kartsaklis and Sadrzadeh 2016) が提案されている. しかし, これらの手法では比較的単純な構造の文のみを対象としており，否定や条件などの機能的な表現をどのように扱いうるかは明らかではない.

近年では，深層学習の手法を用いた文の意味表現に関する研究が活発に進められている。文間類似度学習タスクでは, 単語ベクトルと類義語ベクトルから双方向型 LSTM を用いて文の意味表現を学習するモデル (Mueller and Thyagarajan 2016) が提案されており，最高精度を記録している。また，構文木に沿って文の意味表現を再帰的に構築する Tree-LSTM を用いたモデル (Tai, Socher, and Manning 2015; Zhou, Liu, and Pan 2016)や, LSTM を用いて文脈全体の意味を学習したのちに， CNNを用いて各文の局所的な特徴を学習するモデル (He and Lin 2016) など, より文の構造を考慮した深層学習のモデルが提案されている。しかし, 深層学習による

アプローチは大量の文を入力として end-to-end で文の意味表現を学習するため, 内容語と機能語の意味をどのように区別して扱っているのかは明らかではない.

一方で，論理推論によるアプローチは個々の文について意味解析を行い，直接的に文の意味表現（論理式）を獲得する。ここでの意味解析は理論言語学の知見に基づくものであり，内容語と機能語の意味を区別して扱う。文を論理式に変換し，論理推論を用いて文間の意味的関係を判定する手法には大きく分けて 2 つの手法が提案されている. 1 つは, 論理推論のみを用いていわゆる教師なし学習で文間の意味的関係を判定する手法である. 具体的には，タブローを用いた手法 (Abzianidze 2015, 2016) や，自然演繹を用いた手法 (Mineshima et al. 2015, 2016) が提案されている.これらの手法は, 文を一階述語論理式よりも表現力の高い高階述語論理式で表現し，効率的な自然言語推論を実現することによって，含意関係認識のタスクで高精度を達成している。一方で, 文間類似度の計算といった, よりソフトな推論への適用が課題となって $いる$.

もう 1 つの手法は, 統計的機械学習と, 論理推論とを組み合わせて, 教師あり学習で意味的関係を判定する手法である。この手法では, 論理推論で得られた結果を機械学習や確率モデルを用いて近似することで, ソフトな推論を実現している. Bjervaらは, 分散表現から導出した文中の単語間類似度と，一階述語論理による推論を用いて判定した含意関係とをそれぞれ特徴量に用いて，文間類似度や含意関係を学習する手法を提案している (Bjerva, Bos, van der Goot, and Nissim 2014) 。また, Beltagy らは, Probabilistic Soft Logicによる類似度学習方法を提案している (Beltagy, Roller, Boleda, Erk, and Mooney 2014). Probabilistic Soft Logic では, 文を一階述語論理式に変換し, 含意関係を満たす度合いとして単語の分散表現を用いて一方の文と他方の文との論理式間の重みを計算する。この重みを特徵量として, 加法回帰モデルを用いて文間類似度を予測している。これらの先行研究から，推論による文間の含意関係の判定結果や論理式は文の言語的な情報を良質な形式で表現しているため, 文間類似度学習に有用な情報であることが示唆されている。しかし, 先行研究で学習に利用している推論に関する情報は, 推論の判定結果（文間の意味的関係が含意・矛盾・不明のいずれであるか）や，2つの文において共通する論理式の割合にとどまっており, これらは推論から得られる情報のほんの一部でしかない.

## 3 提案手法

## 3.1 提案手法の全体像

本研究では文の意味を文間の含意関係に基づいて規定する証明論的意味論 (Bekki and Mineshima 2017) の観点から, 文間の双方向の含意関係の証明を介して文間の関連性を計算する手法を提案する。一方の文と他方の文との関連が低いほど， 2 文間の含意関係を証明する

にはより多くの公理生成や推論規則の適用が必要となり, 証明の過程が複雑になる. したがって，証明の結果だけではなく，含意関係を判定するまでの証明の実行過程も，文間の関連性の評価に有用なはずである。一方の文を前提，他方の文を結論とみなして，前提から結論を導く推論の手法である自然演繹 (Prawitz 1965) に基づく証明では, 証明の実行過程を分析することが可能である。そこで提案手法では， 2 文間の双方向の含意関係について自然演繹による証明を試み，証明の実行過程から文間の関連性を表現する特徴量を導出する。

提案手法の全体像を図 1 に示す。提案手法ではまず，自然言語の英文のペア $A, B$ を入力として， CCG パーザによる統語解析によって， $A, B$ をCG の導出木に変換する. 次に，ラムダ計算に基づく意味合成によって, CCG の導出木から高階述語論理式 $A^{\prime}, B^{\prime}$ に変換する。次に，定理証明器を用いて, 2 つの論理式 $A^{\prime}, B^{\prime}$ の双方向の含意関係について, 自然演繹による証明を試みる。文から論理式への変換と文間の含意関係の証明には, ccg2lambda (Martínez-Gómez, Mineshima, Miyao, and Bekki 2016）を用いる。ccg2lambda は，CCGに基づく統語解析の結果を用いて文の意味を高階述語論理式で表現し，文間の含意関係について自動推論を行う統合的システムである．各入力文に対して， CCGの導出木と意味表示を出力し，また，文ぺアに対しては含意関係の判定結果を出力する。本研究では文間の含意関係の証明の実行過程を取得できるように ccg2lambdaを改良した ${ }^{1}$.この ccg2lambda が導出した文間の含意関係の証明の実行過程と判定結果を用いて，文間の関連性に関する特徵量を設計する。最後に，ランダムフォレストを用いて, 文間類似度学習では回帰分析, 含意関係認識では含意・矛盾・不明の 3 値分類を行う，次節以降で，各手順の詳細を述べる。

図 1 提案手法の全体像

## 3.2 CCGに基づく意味表現

まず，CCG パーザによる統語解析によって，英語の自然言語文を CCG の導出木に変換する. CCG は語彙化文法の一つであり, 統語構造から合成的に意味表示を導出することに適した文法体系である. CCGでは, 基本的な統語範疇として, $N$ (普通名詞), $N P$ (名詞句), $S$ (文) 等の基底範疇が定義されている。また, 複合範疇は基本範疇と二項演算子 $/$ 、組み合わせによって定義される. CCG は語の統語範疇と意味表示を記述する辞書と, 語から句や文を構成する際の統語構造と意味合成の計算方法を指定する少数の組合せ規則から成り立つ.

図 2 に提案手法に用いる CCGの代表的な組合せ規則を示す。たとえば，関数適用規則 $(>)$ を適用することによって, $X / Y$ という形の統語範疇および意味 $f$ をつ語は, その右側にある $Y$ という形の統語範疇および意味 $a$ をも語と結びつき， $X$ という統語範疇および意味 $f a$ をもつ句が形成される.

CCG の導出木から文の意味表示である高階述語論理式への変換は, ラムダ計算に基づいて行われる。語の意味はラムダ項によって表現され，組合せ規則によってラムダ項の意味合成を行い，文の意味表示となる論理式を導出する。

提案手法では, Neo-Davidsonian Event Semantics (Parsons 1990)に基づく意味表示を採用する. たとえば, 他動詞文 (1a), 量化文 (2a), 否定量化文 (3a)はそれぞれ次のように分析される.

(1) a. Bob surprised Susan.
b. $\exists e(\operatorname{surprise}(e) \wedge(\operatorname{subj}(e)=\mathbf{b o b}) \wedge(\operatorname{dobj}(e)=\operatorname{susan}))$

(2) a. Some women are singing loudly.
b. $\exists x(\boldsymbol{\operatorname { w o m a n }}(x) \wedge \exists e(\boldsymbol{\operatorname { s i n g }}(e) \wedge(\boldsymbol{\operatorname { s u b j }}(e)=x) \wedge \operatorname{loudly}(e)))$

(3) a. No women are singing loudly.
b. $\neg \exists x(\boldsymbol{\operatorname { w o m a n }}(x) \wedge \exists e(\boldsymbol{\operatorname { s i n g }}(e) \wedge(\boldsymbol{\operatorname { s u b }} \mathbf{j}(e)=x) \wedge \operatorname{loudly}(e)))$

$
\begin{aligned}
\frac{X / Y: f \quad Y: a}{X: f a}> & \frac{Y: a \quad X \backslash Y: f}{X: f a}< \\
\frac{f: X / Y \quad g: Y / Z}{\lambda x \cdot f(g x): X / Z}>\mathbf{B} & \frac{g: Y \backslash Z \quad f: X \backslash Y}{\lambda x \cdot f(g x): X \backslash Z}<\mathbf{B} \\
\frac{f: X / Y \quad g: Y \backslash Z}{\lambda x \cdot f(g x): X \backslash Z}>\mathbf{B}_{\times} & \frac{g: Y / Z \quad f: X \backslash Y}{\lambda x \cdot f(g x): X / Z}<\mathbf{B}_{\times}
\end{aligned}
$

図 $2 \mathrm{CCG}$ の代表的な組合せ規則. 関数適用規則 $(<,>)$, 関数合成規則 $(>\mathbf{B},<\mathbf{B})$, 交差関数合成規則 $\left(>\mathbf{B}_{\times},<\mathbf{B}_{\times}\right)$

Neo-Davidsonian Event Semantics では, 動詞をイベントを項に持つ 1 項述語として分析し, 副詞や前置詞などの修飾表現をイベントを項に持つ述語として扱う。そのため, (2a)や (3a)の loudly のような修飾表現を含む文も統一的に記述できるという利点がある。また，ここで採用する方法では， $x$ が表す項がイベント $e$ を表す動詞に対して主語の関係にあることを $\operatorname{subj}(e)=x, x$ が表す項がイベント $e$ を表す動詞に対して直接目的語の関係にあることを $\operatorname{dobj}(e)=x$ のように表すことで，動詞の必須格にイベントを項にとる関数を対応させる。このため，個々の動詞の必須格と非必須格の境界を定める必要がないという点で, 従来の Davidsonian 形式 (Davidson 1967) よりも柔軟な意味表現となっている。 さらに，動詞をイベントに対する 1 項述語として統一的に扱うことで，動詞に関する公理もまた統一的に記述することが可能となり，自然言語の推論により適した表現形式となっている。なお，項とイベントとの関係（意味役割）については様々な分類手法が提案されている (Peter and Wilkins 1984; Ray 1990) が, 本稿では英語 CCGBank (Hockenmaier and Steedman 2007) に基づくCCG の解析結果から確認できる項とイベントの関係を意味表示に反映する ${ }^{2}$.

本論文では $, \operatorname{subj}(e)=x, \operatorname{dob} \mathbf{j}(e)=y$ のようなイベントに関する機能的な関係を表す論理式を機能論理式と呼び，内容語を担う情報を表す $\operatorname{sing}(e), \operatorname{loudly}(e)$ のような論理式を内容論理式と呼ぶことで区別する。

辞書では, 統語範疇単位で意味を指定する意味割り当てのテンプレートと, 量化や否定表現などの論理語・機能語に対して語単位で意味を指定する語彙項目の 2 種類を使用する. 文の意味表現を合成的に与えるにあたって，イベントの量化をどのようにして正しく扱うかという問題がある。量化名詞句や否定を含む文では，一般的にイベントの存在量化よりも量化名詞句や否定が広いスコープをとることが知られている。そこで本論文では，先行研究 (Champollion 2015; Mineshima et al. 2016)に従い, 動詞自体をイベントの量化を導入する表現として扱う. また，副詞等の修飾表現は，動詞によって導入された存在量化子のスコープ内に出現しなくてはならない，そこで，動詞の型を繰り上げ，動詞が修飾表現を項にとるように扱う．

以上の分析に従った CCG 導出木の具体例として, 文 (3a)の CCG 導出木を図 3 に示す.ここで，丁はトートロジーに対応する命題定項であり，丁の挿入は意味合成の過程で必要となる操作である (Mineshima et al. 2015). 最終的に導出された論理式は (3b) の論理式と同値である.

ccg2lambda の先行研究 (Martínez-Gómez, Mineshima, Miyao, and Bekki 2017) では, 複数の $\mathrm{CCG}$ パーザを組み合わせて統語解析に用いることによって，構文的曖昧性が解消され，含意関係の推論精度が向上したことが報告されている。提案手法では C\&C (Clark and Curran 2007), EasyCCG (Lewis and Steedman 2014), depccg (Yoshikawa, Noji, and Matsumoto 2017) という

図 3 No women are singing loudly. の CCG 導出木と意味表示

3 種類の $\mathrm{CCG}$ パーザを用いて統語解析を行う。得られた 3 種類のパーズ結果を用いて意味合成と推論を行い，適切なパーズ結果を選択する。含意関係の正解ラベルが付与されたデータセットによる評価においては，トレーニングデータから特徴量を抽出する際に，含意関係の正解ラベルと同じ結果を導出するパーズ結果を優先して採用する。正解ラベルと同じ結果を導出できたパーズ結果が存在しなければ，統語解析に成功した結果を優先して採用する．含意関係の正解ラベルが存在しないデータセットによる評価では，統語解析に成功した結果を優先して採用する。また，複数の CCG パーザの結果において，含意関係の判定結果（yes, no, unknown のいずれか）が得られた場合は，より正確なパーズ結果を採用するため，パーザの精度が高い順に， depccg，EasyCCG，C\&Cの順に優先してパーズ結果を採用する.

## 3.3 自然演繹による証明戦略の概要

本節では，提案手法で用いる自然演繹による証明戦略の概要について述べる。文間の含意関係とは一方の文の情報が他方の文の情報を含むという関係であり，方向性を持った関係であるが，類似関係は方向性を持たない対称的な関係である。よって,「 $A$ ならば $B\rfloor$ が成り立つか否かという一方向の含意関係ではなく,「 $A$ ならば $B\rfloor\lceil B$ ならば $A\rfloor$ がそれぞれ成り立つか否かという双方向の含意関係の証明を試みることによって，文間の関連性に関してより多くの情報が取得できると考えられる。そこで，本研究では文 $A, B$ 間の双方向の含意関係の証明を介して,文 $A, B$ 間の関連性を表す特徴を獲得する.

文間の含意関係の証明には，高階論理・型理論に基づく定理証明器である Coq (Bertot and Castran 2010)を用いる。Coqは自然演繹に基づいて推論規則を適用し，証明を行う。また，Ltac という記述言語を用いて証明探索の手続きを定義することによって，証明の自動化が可能である. ccg2lambda は Coqの一階述語論理の部分系に対する自動推論を含む自動証明機能と，高階の公理とを組み合わせることで，自然言語の効率的な推論を可能にしている。

提案手法で用いる文間の含意関係の証明の全体的な流れは次の通りである。まず，文 $A, B$ を論理式 $A^{\prime}, B^{\prime}$ に変換し，一方の文を証明に用いる前提，他方の文を証明対象である結論（ゴー ル）とみなして $, A^{\prime} \Rightarrow B^{\prime}, B^{\prime} \Rightarrow A^{\prime}$ の証明を行う．証明に失敗した場合は，結論を否定した
$A^{\prime} \Rightarrow \neg B^{\prime}, B^{\prime} \Rightarrow \neg A^{\prime}$ の証明を行う.これは結論の否定が証明可能な場合は, 結論も結論の否定も証明不可能な場合と比較して, 論理式が共通の部分を多く含み, 文間の関連度が高くなることを考慮している，実際に，評価に用いる文の意味的類似度データセットである SemEval2014 Task1 の Sentences Involving Compositional Knowledge (SICK) (Marelli, Menini, Baroni, Bentivogli, Bernardi, and Zamparelli 2014) では，含意関係の正解ラベルが「矛盾」である文ペアの 7 割において，正解の類似度スコアが高く設定されている。

結論の証明，結論の否定の証明の両方に失敗した場合は，前提のプールにある論理式からは導くことができない論理式 (サブゴール) が結論中に残っていることを意味する。そこで次に, 前提のプールにある論理式と証明できないと判定されたサブゴールとの述語間の意味的関係について, 語彙知識を用いてチェックし, 公理の生成を試みる。生成した公理を用いて再度 $A^{\prime} \Rightarrow B^{\prime}$, $B^{\prime} \Rightarrow A^{\prime}$ の証明を試みる. $A^{\prime} \Rightarrow B^{\prime}, B^{\prime} \Rightarrow A^{\prime}$ の証明に失敗した場合は, 生成した公理を用いて結論を否定した $A^{\prime} \Rightarrow \neg B^{\prime}, \quad B^{\prime} \Rightarrow \neg A^{\prime}$ の証明を試みる.

公理を生成しても，結論と結論の否定の両方の証明に失敗した場合は, $A^{\prime} \Rightarrow B^{\prime}, B^{\prime} \Rightarrow A^{\prime}$ の証明の途中で証明不可能と判定されたサブゴールをスキップして，強制的に証明を終了させる. ここまでの推論における，生成した公理に関する情報や，強制的にスキップしたサブゴールの情報といった推論の情報を Coqの出力結果から抽出し, 文間の関連性を表す特徴量として利用する.

## 3.4 含意関係の証明

含意関係の証明の例として, 以下の 2 つの文 $A, B$ 間の含意関係について, 自然演繹による証明を試みる。

A: A man is singing in a bar.

$B$ : $A$ man is singing.

文 $A, B$ は統語解析，意味解析を経て，以下のような論理式 $A^{\prime}, B^{\prime}$ に変換できる.

$
\begin{aligned}
& A^{\prime}: \exists e_{1} x_{1} x_{2}\left(\operatorname{man}\left(x_{1}\right) \wedge \mathbf{s i n g}\left(e_{1}\right) \wedge\left(\mathbf{s u b j}\left(e_{1}\right)=x_{1}\right) \wedge \operatorname{bar}\left(x_{2}\right) \wedge \operatorname{in}\left(e_{1}, x_{2}\right)\right) \\
& B^{\prime}: \exists e_{1} x_{1}\left(\mathbf{m a n}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\operatorname{subj}\left(e_{1}\right)=x_{1}\right)\right)
\end{aligned}
$

まず， $A^{\prime} \Rightarrow B^{\prime}$ について，自然演繹による証明を試みる。ここで，論理式 $A^{\prime}, B^{\prime}$ は推論規則を適用することによって分解することができる。図 4 に本研究で用いる推論規則の例を示す. 自然演繹の推論規則には導入規則と除去規則の 2 つがある。導入規則は結論をどのように証明するかを指定するための規則である。除去規則は前提をどのように証明に利用するかを指定するための規則であるが，主に前提のプールにある論理式をより小さい論理式に分解するために用いられる。

$A^{\prime} \Rightarrow B^{\prime}$ の証明プロセスを図 5 に示す. 図 5 において, 論理式 $A^{\prime}$ は前提 $P_{0}$, 論理式 $B^{\prime}$ は結

図 4 自然演繹の証明で用いる推論規則の例。 $P, P_{1}, \ldots P_{n}$ は前提の論理式, $G, G_{1}, G_{2}$ は結論（ゴール） の論理式を表す.いずれの推論規則においても，規則適用前の論理式は矢印の上部に，規則適用後の論理式は矢印の下部に示す.

$
\begin{aligned}
& \exists \text {-ELim }\left(P_{0}\right), \exists \text {-INTRo }\left(G_{0}\right) \\
& \frac{P_{1}: \operatorname{man}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\operatorname{subj}\left(e_{1}\right)=x_{1}\right) \wedge \operatorname{bar}\left(x_{2}\right) \wedge \operatorname{in}\left(e_{1}, x_{2}\right)}{G_{1}: \operatorname{man}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\operatorname{subj}\left(e_{1}\right)=x_{1}\right)} \\
& \wedge \text {-ELIm }\left(P_{1}\right), \wedge \text {-INTRo }\left(G_{1}\right) \\
& \frac{P_{2}: \operatorname{man}\left(x_{1}\right), P_{3}: \operatorname{sing}\left(e_{1}\right), P_{4}: \mathbf{s u b j}\left(e_{1}\right)=x_{1}, P_{5}: \mathbf{b a r}\left(x_{2}\right), P_{6}: \operatorname{in}\left(e_{1}, x_{2}\right)}{G_{2}: \operatorname{man}\left(x_{1}\right), G_{3}: \operatorname{sing}\left(e_{1}\right), G_{4}: \operatorname{subj}\left(e_{1}\right)=x_{1}}
\end{aligned}
$

図 52 文間の含意関係の証明プロセスの例

論 $G_{0}$ に配置される. $P_{0}$ と $G_{0}$ は除去規則 $(\wedge$-ELIm, $\exists$-ELIm $)$ と導入規則 $(\wedge$-INTRO, $\exists$-INTRo $)$ の適用によって, 前提の集合 $\mathcal{P}=\left.\{P_{2}, P_{3}, P_{4}, P_{5}, P_{6}\right.\}$ とサブゴールの集合 $\mathcal{G}=\left.\{G_{2}, G_{3}, G_{4}\right.\}$ に分解される。証明はサブゴール $G_{j}$ と述語と項が一致する前提 $P_{i}$ を探索する形で進められ，マッチする前提が見つかればそのサブゴールを解決できる。全てのサブゴールが解決できれば $A^{\prime} \Rightarrow B^{\prime}$ の証明が示せたことになる. この例では, サブゴール $G_{2}, G_{3}, G_{4}$ と前提 $P_{2}, P_{3}, P_{4}$ の述語と項がそれぞれマッチし, 全てのサブゴールが解決できるため, 公理を生成せずに $A^{\prime} \Rightarrow B^{\prime}$ を示すことができる.

次に, 図 5 の前提 $P_{0}$ と結論 $G_{0}$ を逆転させて, $B^{\prime}$ を証明の前提, $A^{\prime}$ を証明の結論とみなし, $B^{\prime} \Rightarrow A^{\prime}$ の証明を試みる. 先ほどと同様に, 推論規則の適用によって, 前提の集合 $\mathcal{P}$ とサ

ブゴール $\mathcal{G}$ の集合を得ることができる.

$
\begin{aligned}
\mathcal{P} & =\left.\{P_{2}: \operatorname{man}\left(x_{1}\right), P_{3}: \operatorname{sing}\left(e_{1}\right), P_{4}: \operatorname{subj}\left(e_{1}\right)=x_{1}\right.\} \\
\mathcal{G} & \left.=\left.\{G_{2}: \operatorname{man}\left(x_{1}\right), G_{3}: \mathbf{s i n g}\left(e_{1}\right), G_{4}: \operatorname{subj}\left(e_{1}\right)=x_{1}, G_{5}: \operatorname{bar}\left(x_{2}\right), G_{6}: \operatorname{in}\left(e_{1}, x_{2}\right)\right)\right.\}
\end{aligned}
$

この場合, 2 つのサブゴール $G_{5}, G_{6}$ は前提のプールにあるどの論理式ともマッチしないため,解決できずに残り， $B^{\prime} \Rightarrow A^{\prime}$ の証明に失敗する。そこで次に，語彙知識からの公理生成を試みる.しかし, この場合は残っているサブゴールの述語 $\operatorname{bar}\left(x_{2}\right)$ の項 $x_{2}$ をシェアする述語が前提 $\mathcal{P}$ 中に存在しないため, 公理を生成することができない. そのため, このような例からも部分的な証明プロセスの情報を Coq から取得するため, 本研究では解決できなかったサブゴール $\boldsymbol{\operatorname { b a r }}\left(x_{2}\right), \boldsymbol{i n}\left(e_{1}, x_{2}\right)$ をスキップして, 強制的に $B^{\prime} \Rightarrow A^{\prime}$ の証明を終了させる.

## 3.5 矛盾関係の証明

矛盾関係の証明について述べる上で，まず否定の推論規則について説明する．否定の基本的な含意関係は, 論理式 $A$ の否定 $\neg A$ を, 命題定項 False を用いて, $A \rightarrow$ False（ $A$ が偽を含意する）と定義することで捉えることができる。この定義に従って，否定の推論規則は図 6 に示す規則を用いる。 否定の導入規則 (ᄀ-INTRO) は，もしゴールの論理式が $\mathcal{A}$ という形であれば, $\mathcal{A}$ を新たに前提に加えて, 矛盾 (False) の証明を試みるという形をとる。一方，否定の除去規

ルを $\mathcal{A}$ に更新しこの新たなゴールの証明を試みる，というものである.

矛盾関係の証明の例として, 以下の 2 つの文 $A, B$ 間の矛盾関係について, 自然演繹による証明を試みる。

A: No man is singing.

B: There is a man singing loudly.

図 7 に矛盾関係の証明プロセスを示す. 文 $A, B$ は論理式 $A^{\prime}, B^{\prime}$ に変換後, 前提 $P_{0}, P_{1}$ にそれぞれ配置され，結論 $G_{0}$ には False が配置される。否定の除去規則 $\neg$ ELIM を $P_{0}$ に適用することによって，ゴールは $G_{1}$ に更新される。ここで，除去規則を適用することによって，前提 $P_{1}$ は前提の集合 $P_{2}, P_{3}, P_{4}, P_{5}$ に分解される. 同様に, 導入規則を適用することで, ゴール $G_{1}$ はサ

図 6 否定の推論規則

$
\begin{aligned}
& P_{0}: \neg \exists e_{1} x_{1}\left(\boldsymbol{\operatorname { m a n }}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\boldsymbol{\operatorname { s u b }}\left(e_{1}\right)=x_{1}\right)\right) \\
& P_{1}: \exists e_{1} x_{1}\left(\operatorname{man}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\mathbf{\operatorname { s u b j }}\left(e_{1}\right)=x_{1}\right) \wedge \text { loudly }\left(e_{1}\right)\right) \\
& G_{0}: \text { False } \\
& \downarrow \neg-\operatorname{ELIM}\left(P_{0}, G_{0}\right) \\
& \frac{P_{1}: \exists e_{1} x_{1}\left(\operatorname{man}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\mathbf{s u b j}\left(e_{1}\right)=x_{1}\right) \wedge \text { loudly }\left(e_{1}\right)\right)}{G_{1}: \exists e_{1} x_{1}\left(\operatorname{man}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\mathbf{s u b j}\left(e_{1}\right)=x_{1}\right)\right)} \\
& \exists \text {-ELIM, } \wedge \text {-ELIM }\left(P_{1}\right), \exists \text {-INTRO, } \wedge \text {-INTRO }\left(G_{1}\right) \\
& \frac{P_{2}: \operatorname{man}\left(x_{1}\right), P_{3}: \operatorname{sing}\left(e_{1}\right), P_{4}: \operatorname{subj}\left(e_{1}\right)=x_{1}, P_{5}: \operatorname{loudly}\left(e_{1}\right)}{G_{2}: \operatorname{man}\left(x_{1}\right), G_{3}: \operatorname{sing}\left(e_{1}\right), G_{4}: \operatorname{subj}\left(e_{1}\right)=x_{1}}
\end{aligned}
$

図 72 文間の矛盾関係の証明プロセスの例

ブゴールの集合 $G_{2}, G_{3}, G_{4}$ に分解される。全てのサブゴールが前提とマッチするため, 文 $A, B$ の矛盾関係，すなわち， $A^{\prime} \Rightarrow \neg B^{\prime}$ を示すことができる.

## 3.6 語彙知識を用いた公理の生成

本節では，自然演繹の推論に用いる公理の具体的な生成手順について述べる。まず，証明の途中で証明不可能と判定されたサブゴールに関して, 前提と結論で同じ項をシェアしている述語を生成する公理の候補として絞り込む，さらに，同じ項をシェアしている述語の中でも，項の格が同じである述語について優先して公理を生成する。

公理生成を導入した証明の例として，以下の 2 つの文 $A, B$ 間の含意関係の証明を考える.

A: A kitten plays in a house colored in green.

$B$ : A young cat plays in a green house.

文 $A, B$ は統語解析，意味解析を経て，以下のような論理式 $A^{\prime}, B^{\prime}$ に変換できる.

$
A^{\prime}: \exists e_{1} e_{2} x_{1} x_{2} x_{3}\left(\operatorname{kitten}\left(x_{1}\right) \wedge \operatorname{play}\left(e_{1}\right) \wedge\left(\operatorname{subj}\left(e_{1}\right)=x_{1}\right)\right.
$

$
\left.\wedge \operatorname{house}\left(x_{2}\right) \wedge \operatorname{color}\left(e_{2}\right) \wedge\left(\operatorname{dobj}\left(e_{2}\right)=x_{2}\right) \wedge \operatorname{in}\left(e_{1}, x_{2}\right) \wedge \operatorname{green}\left(x_{3}\right) \wedge \operatorname{in}\left(e_{2}, x_{3}\right)\right)
$

$
B^{\prime}: \exists e_{1} x_{1} x_{2}\left(\operatorname{young}\left(x_{1}\right) \wedge \operatorname{cat}\left(x_{1}\right) \wedge \operatorname{play}\left(e_{1}\right) \wedge\left(\operatorname{subj}\left(e_{1}\right)=x_{1}\right)\right.
$

$
\left.\wedge \operatorname{green}\left(x_{2}\right) \wedge \operatorname{house}\left(x_{2}\right) \wedge \operatorname{in}\left(e_{1}, x_{2}\right)\right)
$

これら 2 の論理式 $A^{\prime}, B^{\prime}$ について， $A^{\prime}$ を証明の前提， $B^{\prime}$ を証明の結論（ゴール）とみなし，公理生成を行わずに $A^{\prime} \Rightarrow B^{\prime}$ の証明を試みる。図 5 と同様に $A^{\prime} \Rightarrow B^{\prime}$ の含意関係の証明を進めると，下記のような前提の集合 $\mathcal{P}$ とサブゴール $\mathcal{G}$ の集合が得られる。このステップでは，存在量化子が除去され， $A^{\prime}, B^{\prime}$ に共通する述語については，変数の単一化が起こっている.

$
\begin{aligned}
\mathcal{P}= & \left.\{P_{1}: \operatorname{kitten}\left(x_{1}\right), P_{2}: \operatorname{play}\left(e_{1}\right), P_{3}: \operatorname{subj}\left(e_{1}\right)=x_{1}, P_{4}: \operatorname{house}\left(x_{1}\right),\right. \\
& \left.P_{5}: \operatorname{color}\left(e_{2}\right), P_{6}: \operatorname{dobj}\left(e_{2}\right)=x_{2}, P_{7}: \operatorname{in}\left(e_{1}, x_{2}\right), P_{8}: \operatorname{green}\left(x_{3}\right), P_{9}: \operatorname{in}\left(e_{2}, x_{3}\right)\right.\} \\
\mathcal{G}= & \left.\{G_{1}: \operatorname{young}\left(x_{1}\right), G_{2}: \operatorname{cat}\left(x_{1}\right), G_{3}: \operatorname{green}\left(x_{2}\right)\right.\}
\end{aligned}
$

この例では, $\operatorname{young}\left(x_{1}\right), \boldsymbol{\operatorname { c a t }}\left(x_{1}\right), \operatorname{green}\left(x_{2}\right)$ という 3 つのサブゴールが残り, 証明に失敗する. ここで, 前提中の論理式 $\operatorname{kitten}\left(x_{1}\right)$ と共通の項 $x_{1}$ をシェアしているサブゴール $\operatorname{young}\left(x_{1}\right), \boldsymbol{\operatorname { c a t }}\left(x_{1}\right)$ が生成する公理の候補となる。語彙知識から young cat と kitten 間の意味的関係が確認できれば, young cat と kitten 間に関する公理を生成でき, 生成した公理を利用することで, これら 2 つのサブゴールを解決できる。 なお, 証明に用いた公理の数や確信度はのちに文間の関連性を学習するための特徴量として使用するが, $\forall x \cdot \operatorname{kitten}(x) \Rightarrow \operatorname{young}(x), \forall x \cdot \operatorname{kitten}(x) \Rightarrow \operatorname{cat}(x)$ のように, 複数のサブゴールに関して同じ前提から導出した公理については, まとめて1つのフレーズの公理とみなす。また, 残りのサブゴール $\operatorname{green}\left(x_{2}\right)$ については, 述語の表層形が同一である論理式 $\operatorname{green}\left(x_{3}\right)$ が前提中に存在するが, 項は一致していない. このように, サブゴー ルに残っている述語と表層形が完全に一致する述語が前提中に含まれる場合に限り，例外的に，述語の型や項が異なっていても公理を生成して証明に用いる.

本研究では公理生成に用いる語彙知識として, WordNet (Miller 1995) と, Word2Vec (Mikolov, Sutskever, Chen, Corrado, and Dean 2013) で学習した単語べクトルを用いる。まず, WordNet を用いて形態変化, 派生形, 同義語, 反意語, 上位語, 類似性, 下位語の順に, 前提と結論中の述語間の意味的関係をチェックし, いずれかの関係にマッチした場合は確信度つき公理を生成する. WordNetに述語間の関係が存在しない場合は, Word2Vecで学習した単語べクトルを用いて前提と結論中の述語間の類似度を計算し, やはり確信度つきの公理を生成する。本研究では, Google News Corpus（約 30 億語）で学習済みの 200 次元の単語ベクトルを語彙知識に用いる。ここで, 公理の確信度には, 述語間の類似度を採用し, 生成された公理の中で確信度が最も高い公理を証明に採用する。また，確信度が閥値よりも低い公理は意味的関係が低い公理であるとみなして採用しない. 公理の確信度はいずれも 0.0 から 1.0 の範囲の值をとり, 本研究では公理の確信度の間値を 0.25 とする. WordNetを用いて公理を生成した場合は, 述語間に共通する上位概念への最短経路の長さを公理の確信度とし，Word2Vec を用いて公理を生成した場合は，Word2 Vecのコサイン類似度を公理の確信度とする。

## 3.7 証明に基づく特徴量の導出

ここまでの自然演繹の証明の実行過程と結果に関する情報から, 計 9 種類の特徵量を導出する.いずれも 0.0 から 1.0 の範囲の値に正規化する.
- 公理の数と公理の確信度

証明に利用した公理の数と確信度をそれぞれ特徴量に用いる。複数の公理を生成した場
合は, 導入した各公理の確信度の平均を公理の確信度の特徴量として採用する。また, 公理を 1 つも利用しなかった場合は，公理の確信度の特徴量を 1.0 とする.

・ 証明可能なサブゴールの数の割合

証明可能なサブゴールの数の割合が高いほど文間の関連度が高くなると仮定して, $n / m$ $(m$ : 前提のプールに現れる論理式の数, $n$ : 証明でスキップしなかったサブゴールの数) を特徴量として導出する。ここで，サブゴールとして残る論理式には $\operatorname{bar}\left(x_{2}\right)$ のような内容論理式と, $\operatorname{subj}\left(e_{1}\right)=x_{1}$ のような機能論理式の 2 種類がある. そこで, 内容論理式と機能論理式のそれぞれについてサブゴールの数の割合を計算し，それぞれ別の特徴量とした。また，公理生成による証明を試みた場合は，証明可能なサブゴールの割合は公理生成の前後によって変わるため，公理生成前と公理生成後のそれぞれについてサブゴールの数の割合を計算し，それぞれ別の特徴量とした。

・ 証明不可能なサブゴールの項の関係文の主語や目的語が異なると, 修飾語が異なる場合よりも文間の関連度が低くなると仮定して, 証明不可能と判定されたサブゴールの項とイベントの関係をチェックする。本研究では, 内容論理式中の主語 $(\mathbf{s u b j})$, 直接目的語 $(\mathbf{d o b} \mathbf{j})$, 間接目的語 $(\mathbf{i o b j})$ をチェック対象とする．証明不可能と判定された全てのサブゴールにおける当該サブゴールの割合を特徴量として導出する。

・ 証明のステップ数

証明が簡潔であるほど文間の関連度が高くなると仮定して, 自然演繹の証明図の推論ステップ数を特徴量に用いる.
- 推論規則の適用回数

証明において推論規則の適用回数が多いほど証明が複雑になり, 文間の関連度が低くなると仮定して，全推論規則の適用回数における各推論規則の適用回数の割合を特徴量に用いる。提案手法では図 4 に示した連言の除去規則と導入規則 ( $\wedge$-ELIM, $\wedge$-INTRO), 含意の除去規則と導入規則 $(\rightarrow$-ELIM,$\rightarrow$-INTRO), 存在量化の除去規則と導入規則 ( $\exists$-ELIM, ヨ-INTRO)，等号の除去規則 (=-ELIM) という計 7 種類の推論規則を対象とする.
- 証明の結果

結論が証明可能か，結論の否定が証明可能か，結論も結論の否定も証明不可能かチェックし，それぞれ該当する場合は 1.0 , 該当しない場合は 0.0 を特徴量とする.
- 前提と結論における述語の一致率

前提と結論との間で述語が一致しているほど，文間の意味的関係を証明できる可能性が高いことを考慮して, 前提と結論で述語が一致している割合を特徵量に用いる。
- 前提と結論における型の一致率

前提と結論との間で論理式の型が一致しているほど，文間の意味的関係を証明できる可
能性が高いことを考慮して, 前提と結論で型が一致している割合を特徴量に用いる.
- 否定演算子の有無

前提と結論のどちらか一方だけに否定演算子 (ᄀ) が含まれる場合と, 両方に含まれる, または，どちらにも含まれない場合とでは，前者の方が文間の関連度が低くなると仮定して, 前者の場合は 0.0 , 後者の場合は 1.0 として特徴量に用いる.

## 3.8 表層情報と外部知識から導出した特徵量の設計

提案手法では学習精度を向上させるため，表層情報と外部知識から導出した特徵量を自然演繹の証明に基づく特徴量と組み合わせて用いる。表層情報と外部知識から導出した特徵量は 10 種類の特徴量を用いる。特徴量はいずれも 0.0 から 1.0 の範囲の値に正規化する.
- 品詞の一致率

文中の各単語の品詞 (本研究で使用する品詞は Penn Treebank 品詞体系に準ずる）を C\&C POS tagger (Curran and Clark 2003) を用いてチェックし，2 文間において単語の品詞が一致する割合を特徴量に用いる。
- 名詞の一致率

文中の名詞をレンマ化し, 2 文間の名詞が一致する割合を特徵量に用いる.
- 動詞の一致率

文中の動詞をレンマ化し，2 文間の動詞が一致する割合を特徴量に用いる.
- 文字列の類似度

${ }^{2}$ Difflib ${ }^{3}$ を用いて文字列の類似度を計算し，計算結果を特徴量に用いる。
- 同義語集合の一致率

2 文中の全ての単語について, 同義語集合をWordNet を用いてチェックし, 2 文間の同義語集合の一致率を特徴量に用いる.
- 概念間の距離

一方の文と他方の文の全ての単語間について, 単語間類似度を WordNet の概念間の距離を用いて導出し，概念間の距離の平均を特徴量に用いる.
- 文の長さ

2 文間の文字数の差と, 2 文間の文字数の平均を特徴量に用いる.

・ ベクトル空間モデルにおけるコサイン類似度

TF/IDF ベクトル間のコサイン類似度, latent semantic analysis (LSA) (Deerwester, Dumais, Landauer, and Harshman 1990)ベクトル間のコサイン類似度, latent Dirichlet allocation (LDA) (Blei, Ng, and Jordan 2003) ベクトル間のコサイン類似度をそれぞれ特

徴量に用いる. 各べクトルの次元は 200 次元とする.
- CCG 導出木のマッピングコスト

文ぺアの導出木の形が似ていないほど，一般的には文間の関連度が低くなることが見达まれる，そこで，文ぺアの CCG 導出木の各ノード間の対応度合い（CCG 導出木のマッピングコスト）を計算する手法 (Martínez-Gómez and Miyao 2016) を用いて，マッピングコストを計算する。このマッピングコストを文ぺアの導出木のノード数合計で除算した値を特徴量に用いる。
- 受動態表現の有無

前提と結論のどちらか一方だけに受動態表現が含まれる場合と，両方に含まれる，または, どちらにも含まれない場合とでは, 前者の方が類似度が低くなると仮定して, 一方の文と他方の文の受動態表現の有無をチェックし, 前者の場合は 0.0 , 後者の場合は 1.0 として特徴量に用いる。

## 3.9 文の関連度学習

導出した特徴量を用いて, 文の意味類似度と含意関係を予測する。本研究では, ロジスティック, SVM，ランダムフォレストという 3 種類の学習モデルで事前学習を行った結果, 文の意味類似度学習はランダムフォレスト回帰, 含意関係認識ではランダムフォレスト分類を学習モデルとして採用する。ハイパーパラメータはグリッドサーチを用いて最適化する.

## 4 実験

## 4.1 データセット

文の意味的類似度と含意関係認識の評価用データセットである SemEval2014 Task1 SICK デー タセット (Marelli et al. 2014) と, 文の意味的類似度の評価用データセットである SemEval2012 MSR-video データセット (Agirre, Cer, Diab, and Gonzalez-Agirre 2012)の 2 種類のデータセットを用いて，提案手法の評価を行った。

SICK は，2つの文の意味的類似度と含意関係を予測するタスクであり，表 1 に示すように，類似度と含意関係 (yes, no, unknown) が人手によって付与されている。類似度は 1.0 から 5.0 の範囲の值で付与されている。このデータセットには計 9,927 件の文ぺアが含まれており，そのうち訓練データ，開発データ，テストデータはそれぞれ 4,500 件, 500 件, 4,927 件含まれている. MSR-video は表 2 に示すように，含意関係のラベルは付与されておらず，類似度の正解スコアのみが 0.0 から 5.0 の範囲の値で付与されており, 開発データ，テストデータが 750 件ずつ含まれている. SICKデータセットに含まれる文ぺアの方が MSR-video データセットに含まれる文よりも単語数が多くなっており, それぞれのデータセットにおける一文あたりの平均単語
表 1 SICK データセットに含まれる文ぺアの例

 & &

表 2 MSR-video データセットに含まれる文ペアの例

 & 2.7 \\

数は, SICK データセットは 10 単語, MSR-video データセットは 6 単語である.

## 4.2 既存手法との比較評価の概観

## 4.2.1 文間類似度学習

まず，文間類似度学習の評価を行った。なお，評価指標は，各タスクで標準的に使用されている評価指標に基づいて，SICKデータセットについては，提案手法によって計算された類似度スコアと，データセットに付与された正解スコアとの Pearson 相関係数 $\gamma$, Spearman 相関係数 $\rho$,平均二乗誤差 (MSE) という 3 種類の指標を, MSR-video データセットについては Pearson 相関係数 $\gamma$ のみを用いる，比較対象は, SICK データセット, MSR-video データセットにおける最高精度のモデル (Mueller and Thyagarajan 2016; Bär, Biemann, Gurevych, and Zesch 2012)と,推論を用いた既存手法として，先行研究で紹介した The Meaning Factory (Bjerva et al. 2014), UTexas (Beltagy et al. 2014) とする.

表 3 にSICK データセットにおける提案手法と既存手法との類似度学習の評価結果を示す.提案手法の結果と推論を用いた既存手法の結果とを比較すると, Pearson 相関係数と Spearman 相関係数に関しては，提案手法は推論を用いた既存手法よりも高精度を達成した. 一方で, MSE に関しては, 既存手法よりも精度が低かった。この原因としては複数の要因が挙げられるが,大きく分けて統語解析によるエラー，意味表示の誤りによるエラー，語彙知識の不足などに起
表 3 提案手法と既存手法との類似度学習の評価結果 (SICK)

表 4 提案手法と既存手法との類似度学習の評価結果 (MSR-video)

因する誤った推論によるエラーに分けられる。これらのエラーの詳細は 4.6 節で述べる. また,文間類似度学習においては，提案手法は深層学習を用いたモデルによる最高精度に達しなかった.この原因を分析するため，テストデータ 4,927 件の文例に対して，提案手法と最高精度のモデルが予測した類似度スコアの比較を 4.5 節で行った.

表 4 に MSR-video データセットにおける提案手法と既存手法との類似度学習の評価結果を示す. MSR-videoデータセットにおいても，提案手法は推論を用いた既存手法よりも高精度を達成した。また，公理生成に使用する語彙知識については，SICKでは WordNet のみを語彙知識に使用した場合，MSR-video では WordNet とWord2Vec の両方を語彙知識に使用した場合において最も精度が高かった。この原因は SICK と MSR-video のデータセットの違いによるものであると考えられる．4.1節で述べたように，SICK データセットに含まれる文ぺアの方が MSR-video データセットに含まれる文よりも単語数が多く, burrow a hole と dig the earth の言い換えといったフレーズレベルの言い換えが多く含まれていた。そのため， MSR-video データセットにおける評価では Word2Vec を用いて単語間の語彙知識を拡充することによって精度が向上したが，SICK データセットにおいてはフレーズ間の公理を生成できず，Word2 Vec の利用によって誤った公理の過剰生成が起こり，精度が低下したと考えられる。公理の過剰生成に関する具体例については 4.6 節で紹介する。今後, フレーズレベルの語彙知識の拡充や公理生成の改善を行うことで，更なる精度向上が見込まれる。

## 4.2.2 含意関係認識

次に，SICK データセットを用いて含意関係認識の評価を行った。評価指標は，適合率（yes， no と予測した文ぺアに対して, 正解ラベルと同じ結果だったケースの割合), 再現率 (正解ラベルが yes, no である文ぺアに対して, 正解ラベルと予測ラベルが同じ結果だったケースの割合), 正答率 (yes, no, unknown のすべての文ぺアに対して正解ラベルと予測ラベルが同じ結果だったケースの割合）の 3 種類の指標を用いた。比較対象は, SICKデータセットにおける最高精度のモデル (Yin and Schütze 2017) と, 推論を用いた既存手法として, 先行研究で紹介した The Meaning Factory (Bjerva et al. 2014), UTexas (Beltagy et al. 2014)，また，改良前の ccg2lambda (Martínez-Gómez et al. 2017)の結果とする.

表 5 に提案手法と既存手法との含意関係認識の評価結果を示す。語彙知識に WordNet のみ, WordNet と Word2Vec の両方を使用した場合において, 提案手法は最高精度を達成した。

公理生成に使用する語彙知識については, 含意関係認識のタスクにおいてもWordNet のみを語彙知識に使用した場合が最も精度が高かった。この原因について, 4.2.1節で挙げた問題に加えて, Word2Vec を用いた場合は season（味付けする）と pour（注ぐ）間の意味的関係（Word2Vec における単語間類似度は 0.07), draw と paint 間の意味的関係（どちらも描くという意味であるが, Word2Vecにおける単語間類似度は 0.155）といった, 多義語を含む単語間の意味的関係のチェックに失敗し, 公理が生成されない傾向が見られた。この結果から, 語義曖昧性を考慮して単語間の意味的関係をチェックすることで, 公理生成の改善が見込まれることが示唆されたが,これは今後の課題とする。

## 4.3 特徵量別の評価

## 4.3.1 文間類似度学習

SICK データセットにおける, 各特徴量単独で文間類似度を学習した場合のモデルの評価結果を表 6 に示す.この表が示すように, 述語の一致率のみを特徴量に用いた場合が最も精度が高かった. この結果は, 動詞・名詞の一致率と比較して, 論理式による意味表現が文の言語的

表 5 提案手法と既存手法との含意関係認識の評価結果 (SICK)

な情報を良質な形式で表現しているという先行研究の知見と合致している。導出木のマッピングコストのみを使用した場合と受動態の有無のみを使用した場合は, Pearson 相関係数がほぼ 0 の值をとり，ほぼ全ての文ペアで 3.5 の類似度スコアを予測していた。この結果から, これらの特徴量は単独では予測性能はないと考えられる。しかし, SICK データセット中の $76 \%$ の文ペアに 3 から 5 の範囲の正解スコアが付与されているという正解スコアの分布の偏りが原因で,導出木のマッピングコストのみを使用した場合と受動態の有無のみを使用した場合は予測性能がないのにも関わらず，MSEの値は 1 程度の結果となったと考えられる。

全特徴量から各特徴量を取り除いて学習させた場合のモデルの評価結果を表 7 に示す。各特徴量を単独で取り除いた結果は精度にほとんど変化が見られなかったが，推論由来の特徴量の中では証明の結果を取り除いた場合において，最も性能が低下した。この結果は 3.3 で述べたように，SICK データセットでは含意関係が yes または no の文例において高い文間類似度が付与されているため，含意関係の証明の結果が文間類似度の予測性能に寄与していると考えられる. また, 表層由来の特徴量の中ではベクトル空間モデルを取り除いた場合が最も性能が低下した。この結果は, 文間類似度の予測においては表層的な一致率の影響が大きいことを示唆している.

表 6 各特徴量単独で学習した場合の類似度学習の評価結果

表 7 類似度学習のアブレーションの評価結果

推論を用いた特徴量をまとめて取り除いた場合は，推論以外の特徴量をまとめて取り除いた場合と比較して，大きな性能低下が見られた。このことから，推論を用いた特徵量は推論以外の情報を用いた特徴量よりも精度への影響が大きいことが示唆された。また，推論由来の特徴量の中でも, 論理式由来の特徵量（述語の一致率, 型の一致率, 否定表現の有無）をまとめて取り除いた場合よりも，推論の過程由来の特徵量（サブゴール，サブゴールの項の関係，ステップ数，推論規則，公理の確信度）をまとめて取り除いた場合の方が性能低下が見られた。この結果は証明の実行過程が文間の関連性を表す特徴として性能に寄与していることを示唆している.

## 4.3.2 含意関係認識

SICK データセットにおける, 各特徴量単独で学習した場合の含意関係認識モデルの評価結果を表 8 に示す。含意関係認識においては, 証明の結果のみを特徴量に用いた場合が最も精度が高かった. 型の一致率, 受動態の有無, 品詞タグの一致率, 文の長さの一致率, 導出木のマッピングコストは再現率が 0.1 以下と著しく低かった。これらの特徴量はほぼすべての文例で unknown を予測（型の一致率はすべて unknown と予測）し，単独では含意関係の予測性能がないことを示唆している.

表 8 各特徴量単独で学習した場合の含意関係認識の評価結果

表 9 含意関係認識のアブレーションの評価結果

全特徴量から各特徴量を取り除いて学習させた場合の含意関係認識モデルの評価結果を表 9 に示す。含意関係認識においても，各特徴量を単独で取り除いた結果は精度に大きな変動が見られなかったが，推論由来の特徴量は推論以外の情報を用いた特徴量よりも精度への影響が大きいこと, 推論由来の特徴量の中でも, 推論の過程由来の特徴量（サブゴール, サブゴールの項の関係, ステップ数, 推論規則, 公理の確信度) の方が論理式由来の特徵量（述語の一致率,型の一致率，否定表現の有無）よりも精度への影響が大きいことが示唆された.

また，含意関係認識においては，推論由来の特徵量の中では，証明のステップ数が性能に最も大きく寄与する特徵量であることが示唆された。この結果は, 文間類似度の予測では文間の表層的な一致率の影響が大きいのに対して，含意関係の予測では文間の意味的な一致率の影響が大きいという，含意関係認識と文間類似度学習のタスク内容の違いを表していると考えられる。さらに，公理の確信度の特徴量を取り除いた場合は性能が低下するのに対して，概念間の距離や同義語の一致率の特徴量を取り除いた場合, 性能が向上した。公理の確信度と概念間の距離・同義語の一致率の特徴量の導出方法の比較からこの結果を考察すると, 概念間の距離と同義語の一致率では 2 文中の全ての単語間について概念間の距離や同義語集合を計算し, その平均を特徴量としているのに対して, 公理の確信度では 2 文間の意味的関係の判断に必要な単語間に限定して類似度を計算し, その平均を特徴量としている。そのため, 公理の確信度は概念間の距離・同義語の一致率よりも効率的な特徵量として, 含意関係の予測性能に寄与したと考えられる。

## 4.4 正解ラベル別の評価

## 4.4.1 文間類似度学習

SICK データセットにおける, 正解スコア別の類似度学習の評価結果を表 10 に示す.この結果から，提案手法は $4 \leq x<5$ の範囲の類似度スコアが付与されている文ぺアにおいて最も精度が高いことが確認された。実際に， $4 \leq x<5$ の範囲の類似度スコアが付与されている文ぺアの 8 割が含意か矛盾の関係にある文ぺアであり，提案手法は特に論理的関係がある文ぺアにおいて高精度で類似度を予測することが示唆された。

表 10 正解スコア別の類似度学習の評価結果 (SICK)

## 4.4.2 含意関係認識

次に, SICKデータセットにおける, 正解ラベル別の含意関係認識の評価結果を表 11 に示す. なお, ここでは yes, no, unknownの 3 値分類におけるすべてのラベルに関してスコアを算出し, その重み付け平均によって算出した適合率, 再現率, F1 値を評価指標に用いた。この結果から,提案手法は特に文間の矛盾関係の判定において高精度を発揮することが確かめられた．SICK データセットにおいて，矛盾関係にある文ぺアの多くは否定表現を含んでいることから，この結果は，提案手法が論理推論を用いて否定表現を含む文の意味を正確に捉えていることを示唆している.

## 4.5 本研究の手法と深層学習による手法との比較

SICK テストデータ 4,927 件の文例に対して, 提案手法の推論由来の特徴量のみを用いて学習したモデルによる予測類似度と, 本タスクで最高精度を達成した深層学習のモデル (Mueller and Thyagarajan 2016) による予測類似度との比較を行った。その結果， 4,927 件中 2,666 件は提案手法の方が正解スコアに近い類似度を予測していた. さらに，この 2666 件について，特にどのような言語現象を含む文例において推論由来の特徴量が有用であるか，傾向を分析した。テストデータ全体に含まれる否定・量化・等位接続・関係代名詞を含む文例数をそれぞれカウントした結果を表 12 に示す.

また, これらの文例のうち, 提案手法が高精度で予測した文例数とテストデータ中の割合を計算した結果を表 13 に示す. 表から, 推論由来の特徵量は否定表現や量化表現, 等位接続を含

表 11 各正解ラベルの含意関係認識の評価結果 (SICK)

表 12 言語現象の例

 \\

む文例において, 深層学習のモデルよりも高精度で類似度を予測する傾向が示唆された.

## 4.6 エラー分析

最後に, 推論由来の特徴量のみで学習したモデルで予測したスコアが正解スコアと 1.5 以上離れていた文例 119 件について，エラー分析を行った．SICKデータセットの類似度・含意関係の評価結果のエラー分析の例を表 14 に示す.

1264 では，各文中の onstage と on a stage をどちらも副詞として捉えるのが正しい統語解析結果であるが, 統語解析のエラーによって onstage が perform の目的語として捉えられてしまい，統語解析の結果に従って誤った論理式に変換されたため，含意関係を証明できず，予測スコアが正解スコアよりも低くなってしまった例である。このような例では 2 文間の統語解析の結果の整合性を考慮するなど，統語解析の改善が必要である， 6637 では， 1 文目の leap over を 1 つ動詞のイデイオムとして論理式に変換する必要があるが，変換に失敗し，予測スコアが正解スコアよりも低くなってしまった例である。このような例では，イディオムに関する外部知識を参照して論理式に変換するといった改善策が考えられる．2831 は含意関係がある文ぺアであるが, penciling on eyeshadow と using an eye pencil on her eyelid 間の公理を生成できなかったため含意関係を証明できず，予測スコアが正解スコアよりも低くなってしまった例である。

表 13 言語現象ごとの分析結果

 \\

表 14 エラー分析

} &  & 4.6 & 2.9 & no & unk & \\

このような例では，フレーズ間の関係知識を用いて公理を生成する必要がある。 1941 は含意関係のない文ぺアであるが，公理の過剰生成によって含意関係を証明できてしまい，予測スコアが正解スコアよりも高くなってしまった例である。本研究では公理の確信度に単語間類似度を採用し，確信度が閥値以上である場合のみに公理を採用しているが，このような公理の過剰生成を防ぐためには, 文脈に合わせて正しく公理の確信度を算出するよう改善する必要がある.

## 5 まとめ

本研究では，文を高階述語論理式に変換し，文間の含意関係を高階論理の推論によって判定するシステムの実行過程に関する情報から, 文間の関連性に寄与する特徴を抽出し, 文間の関連性を学習する手法を提案した。文間類似度学習と含意関係認識という 2 の自然言語処理タスクに関して複数のデータセットを用いて評価を行った結果, 推論の過程を特徴量として組み合わせることによって，いずれのタスクにおいても精度が向上した. また, 含意関係認識用デー タセットの一つである SICK データセットの評価では最高精度を達成した. 今後の展望としては，統語解析，意味合成，論理推論のそれぞれのフェーズにおいて改善策を検討していく．統語解析においては，文ぺア間で統語解析結果が異なるために証明に失敗した例が数件見られたため，文ぺア中に同じ動詞が含まれていれば，各文の動詞に同じ統語範疇を優先して割り当てるといった改善策が挙げられる。意味合成においては，統語解析の結果に加えて外部知識を利用することで，イディオムなどを含む文についても適切な論理式に変換するといった改善策が挙げられる。論理推論においては, フレーズ間の公理の生成方法の検討, 公理の確信度の計算方法の改善などが今後の課題として挙げられる。また，本稿では含意関係認識と文間類似度学習のタスクにおいて提案手法の評価を行ったが，今後，質問応答など他の自然言語処理タスクへの適用が期待される。

## 謝 辞

本研究は, JST 戦略的創造研究推進事業 CREST (JPMJCR1301) およびAIP チャレンジの支援を受けて行われた。また, 本研究の一部は, the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP2017) で発表したものである (Yanaka, Mineshima, Martínez-Gómez and Bekki, 2017) .

## 参考文献

Abzianidze, L. (2015). "A Tableau Prover for Natural Logic and Language." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP-2015), pp. 2492-2502.

Abzianidze, L. (2016). "Natural Solution to FraCaS Entailment Problems." In Proceedings of the 5th Joint Conference on Lexical and Computational Semantics, pp. 64-74.

Agirre, E., Cer, D., Diab, M., and Gonzalez-Agirre, A. (2012). "SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity." In Proceedings of the 6th International Workshop on Semantic Evaluation (SemEval-2012), pp. 385-393.

Bär, D., Biemann, C., Gurevych, I., and Zesch, T. (2012). "UKP: Computing Semantic Textual Similarity by Combining Multiple Content Similarity Measures." In Proceedings of the 6th International Workshop on Semantic Evaluation (SemEval-2012), pp. 435-440.

Bekki, D. and Mineshima, K. (2017). "Context-Passing and Underspecification in Dependent Type Semantics." In Chatzikyriakidis, S. and Luo, Z. (Eds.), Modern Perspectives in Type Theoretical Semantics, Studies of Linguistics and Philosophy, pp. 11-41. Springer.

Beltagy, I., Roller, S., Boleda, G., Erk, K., and Mooney, R. (2014). "UTexas: Natural Language Semantics using Distributional Semantics and Probabilistic Logic." In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval-2014), pp. 796-801.

Bertot, Y. and Castran, P. (2010). Interactive Theorem Proving and Program Development: Coq'Art The Calculus of Inductive Constructions. Springer, New York, USA.

Bjerva, J., Bos, J., van der Goot, R., and Nissim, M. (2014). "The Meaning Factory: Formal Semantics for Recognizing Textual Entailment and Determining Semantic Similarity." In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval-2014), pp. 642-646.

Blei, D. M., Ng, A. Y., and Jordan, M. I. (2003). "Latent Dirichlet Allocation." Journal of Machine Learning, 3, pp. 993-1022.

Champollion, L. (2015). "The Interaction of Compositional Semantics and Event Semantics." Linguistics and Philosophy, 38 (1), pp. 31-66.

Clark, S., Coecke, B., and Sadrzadeh, M. (2011). "Mathematical Foundations for a Compositional Distributed Model of Meaning." Linguistic Analysis, 36 (1-4), pp. 345-384.

Clark, S. and Curran, J. R. (2007). "Wide-coverage Efficient Statistical Parsing with CCG and Log-linear Models." Computational Linguistics, 33 (4), pp. 493-552.

Curran, J. R. and Clark, S. (2003). "Investigating GIS and Smoothing for Maximum Entropy

Taggers." In Proceedings of the 10th Conference on European Chapter of the Association for Computational Linguistics (EACL-2003), pp. 91-98.

Davidson, D. (1967). "The Logical Form of Action Sentences." In Rescher, N. (Ed.), The Logic of Decision and Action, pp. 81-95. University of Pittsburgh Press, Pittsburgh, PA. Reprinted in (Davidson 1980), pp. 105-148.

Davidson, D. (1980). Essays on Actions and Events. Clarendon Press, Oxford.

Deerwester, S., Dumais, S. T., Landauer, T. K., and Harshman, R. (1990). "Indexing by Latent Semantic Analysis." Journal of the American Society for Information Science, 41 (6), pp. 391-407.

Grefenstette, E. and Sadrzadeh, M. (2011). "Experimental Support for a Categorical Compositional Distributional Model of Meaning." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing (EMNLP-2011), pp. 1394-1404.

He, H. and Lin, J. (2016). "Pairwise Word Interaction Modeling with Deep Neural Networks for Semantic Similarity Measurement." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL/HLT-2016), pp. 937-948.

Hill, F., Cho, K., and Korhonen, A. (2016). "Learning Distributed Representations of Sentences from Unlabelled Data." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL/HLT-2016), pp. 1367-1377.

Hockenmaier, J. and Steedman, M. (2007). "CCGbank: A Corpus of CCG Derivations and Dependency Structures Extracted from the Penn Treebank." Computational Linguistics, 33 (3), pp. 355-396.

Kartsaklis, D., Kalchbrenner, N., and Sadrzadeh, M. (2014). "Resolving Lexical Ambiguity in Tensor Regression Models of Meaning." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL-2014), pp. 212-217.

Kartsaklis, D. and Sadrzadeh, M. (2016). "Distributional Inclusion Hypothesis for Tensor-based Composition." In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers (COLING-2016), pp. 2849-2860.

Le, Q. V. and Mikolov, T. (2014). "Distributed Representations of Sentences and Documents." In Proceedings of the 31th International Conference on Machine Learning, (ICML-2014), pp. 1188-1196.

Lewis, M. and Steedman, M. (2014). "A* CCG Parsing with a Supertag-factored Model." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing

(EMNLP-2014), pp. 990-1000.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for The Evaluation of Compositional Distributional Semantic Models." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC2014), pp. 216-223.

Martínez-Gómez, P., Mineshima, K., Miyao, Y., and Bekki, D. (2016). "ccg2lambda: A Compositional Semantics System.” In Proceedings of ACL-2016 System Demonstrations, pp. 85-90.

Martínez-Gómez, P., Mineshima, K., Miyao, Y., and Bekki, D. (2017). "On-demand Injection of Lexical Knowledge for Recognising Textual Entailment." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL2017), pp. 710-720.

Martínez-Gómez, P. and Miyao, Y. (2016). "Rule Extraction for Tree-to-Tree Transducers by Cost Minimization." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP-2016), pp. 12-22.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Burges, C. J. C., Bottou, L., Welling, M., Ghahramani, Z., and Weinberger, K. Q. (Eds.), Advances in Neural Information Processing Systems 26, pp. 3111-3119. Curran Associates, Inc.

Miller, G. A. (1995). "WordNet: A Lexical Database for English." Communications of the ACM, 38 (11), pp. 39-41.

Mineshima, K., Martínez-Gómez, P., Miyao, Y., and Bekki, D. (2015). "Higher-order Logical Inference with Compositional Semantics." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP-2015), pp. 2055-2061.

Mineshima, K., Tanaka, R., Martínez-Gómez, P., Miyao, Y., and Bekki, D. (2016). "Building Compositional Semantics and Higher-order Inference System for a Wide-coverage Japanese CCG parser." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP-2016), pp. 2236-2242.

Mitchell, J. and Lapata, M. (2008). "Vector-based Models of Semantic Composition." In Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics (ACL2008), pp. 236-244.

Mitchell, J. and Lapata, M. (2010). "Composition in Distributional Models of Semantics." Cognitive Science, 34 (8), pp. 1388-1429.

Mueller, J. and Thyagarajan, A. (2016). "Siamese Recurrent Architectures for Learning Sentence Similarity." In Proceedings of the 30th AAAI Conference on Artificial Intelligence (AAAI-

2016), pp. 2786-2792.

Parsons, T. (1990). Events in the Semantics of English: A Study in Subatomic Semantics. MIT Press, Cambridge, USA.

Peter, W. C. and Wilkins, W. K. (1984). Locality in Linguistic Theory. Academic Press, Florida, USA.

Prawitz, D. (1965). Natural Deduction - A Proof-Theoretical Study. Almqvist \& Wiksell, Stockholm, Sweden.

Ray, J. (1990). Semantic Structures. MIT Press, Cambridge, USA.

Steedman, M. (2000). The Syntactic Process. MIT Press, Cambridge, USA.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (ACL/IJCNLP-2015), pp. 1556-1566.

Wong, S. K. M. and Raghavan, V. V. (1984). "Vector Space Model of Information Retrieval: A Reevaluation." In Proceedings of the 7th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 167-185.

Yin, W. and Schütze, H. (2017). "Task-Specific Attentive Pooling of Phrase Alignments Contributes to Sentence Matching." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL-2017), pp. 699-709.

Yoshikawa, M., Noji, H., and Matsumoto, Y. (2017). "A* CCG Parsing with a Supertag and Dependency Factored Model." In Proceedings of the 55nd Annual Meeting of the Association for Computational Linguistics (ACL-2017), pp. 277-287.

Zhou, Y., Liu, C., and Pan, Y. (2016). "Modelling Sentence Pairs with Tree-structured Attentive Encoder." In Proceedings of the 26th International Conference on Computational Linguistics (COLING-2016), pp. 2912-2922.

## 略歴

谷中瞳：1989 年生. 2011 年早稲田大学先進理工学部応用化学科卒業. 2013 年東京大学大学院工学系研究科科学システム工学専攻修士課程修了. 同年,株式会社野村総合研究所入社後, 2015 年東京大学大学院工学系研究科システ公創成学専攻博士課程進学.

峯島宏次：2013 年慶應義塾大学文学研究科博士課程修了. 博士 (哲学). 現在, お茶の水女子大学シミュレーション科学・生命情報学教育研究センター 特任准教授.

Pascual Martínez-Gómez: received his Ph.D. degree in Computer Science at the University of Tokyo in 2014 for his research on eye-tracking and readability diagnosis. He is a research scientist at the Artificial Intelligence Research Center in the National Institute of Advanced Industrial Science and Technology (AIST), Japan.

戸次大介：2000 年東京大学大学院理学系研究科情報科学専攻博士課程修了.博士 (理学). 現在, お茶の水女子大学基幹研究院自然科学系准教授.

$(2017$ 年 10 月 15 日受付 $)$
$(2018$ 年 1 月 17 日再受付)
$(2018$ 年 3 月 6 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/