# 論文
## かな漢字換言を通した日本語語義曖昧性解消の分析

\author{
桾澤優希†・山本和英 $\dagger$
}

本論文では, 日本語語義曖昧性解消に存在する問題点を文中のひらがなを漢字に直すかな漢字換言タスクを通して明らかにする。素性について分散表現と自己相互情報量を組み合わせる手法を考案し実験を行った結果，かな漢字換言においてべースラインに比べ約 2 ポイント高い精度を得ることができた. 日本語の語義曖昧性解消タスクを用いた検証においても，PMI を用い文全体から適切な単語を素性として加えることが有効であることを示した，かな漢字換言の利点を活かし，大量の訓練データを用いたときのかな漢字換言の精度の比較を行った結果, 非常に大きい訓練データを用いた場合分散表現を用いたどの手法でもほぼ同じ精度を得られることがわかった。その一方で同じ精度を得るために必要な訓練デー夕は指数関数的に増えていくため, 少ない訓練データで精度を上げる手法が語義曖昧性解消において重要であることを確認した。また, BCCWJ と Wikipedia から作成した訓練データとテストデータを相互に使い実験し，各ドメインにあった訓練データを使うことが精度向上において重要であることを確認した.

キーワード：かな漢字換言, 語義曖昧性解消, 分散表現

## Analysis of Japanese Word Sense Disambiguation through Kana-Kanji Conversion

\author{
Yuki Gumizawa $^{\dagger}$ and Kazuhide Yamamoto $^{\dagger}$
}

In this paper, we investigate a problem existing in Japanese word sense disambiguation (WSD) through a HiraganaKanji conversion task. In choosing words to consider as features, we propose a method that employs word embeddings and pointwise mutual information and evaluate the proposed method. The experimental results suggest that our method is more effective than other methods using word embeddings. We conduct an experiment using SemEval 2010 Japanese WSD Task and our proposed method achieve better accuracy. We also compare the accuracy when changing the amount of training data. We find that the difference in accuracy between the methods becomes small when a very large amount of training data is used. We have confirmed that the method of improving accuracy while using fewer training data is important in WSD because the number of sentences required to obtain high accuracy increases exponentially. We also experiment on the domain of data and confirmed that using datasets for ambiguity matching in each domain is important in improving accuracy.


Key Words: KanaKanji Conversion, Word Sense Disambiguation, Word Embedding

## 1 はじめに

語義曖昧性解消はコンピュータの意味理解において重要であり, 古くから様々な手法が研究されている自然言語処理における課題の一つである (Navigli 2009, 2012). 語義曖昧性解消の手法には大きく分けて教師あり学習, 教師なし学習, 半教師あり学習の 3 つが存在する.

教師なし学習を用いるものにはクラスタリングを用いた手法 (Petersen 2006) や分散表現を用いた手法 (Wawer and Mykowiecka 2017) などが存在するが, どの手法においても精度は高くなく実用的な性能には至っていない，知識べースを用いた教師なし学習の手法についても，単純な教師なし学習よりは高いものの教師あり学習を用いる手法と比べると精度が劣ることが報告されている (Raganato, Camacho-Collados, and Navigli 2017). それらに対して, 教師あり学習を用いた語義曖昧性解消は比較的高い精度を得られることが知られており, SemEval2007 (Pradhan， Loper, Dligach, and Palmer 2007) や Senseval3 (Mihalcea, Chklovski, and Kilgarriff 2004)の英語語義曖昧性解消タスクにおいても教師あり学習を用いた手法が最も良い精度を記録している。

一方, 教師あり学習を用いて語義曖昧性解消を行う上で「訓練データが不足する」という問題が存在する．教師あり学習での語義曖昧性解消では訓練データの作成に人手での作業が必要になるため，コストの問題から大きなデータセットを用意することは難しい。語義曖昧性解消において周辺の文脈情報は有効な手掛かりであることが知られており, 訓練データを増やし様々なパターンを学習させることが精度を上げる上で必要になる (Yarowsky 1995). しかしながら,上述の SemEval2007 Task17 語義曖昧性解消タスクの Lexical Sample Taskにおいて, 訓練デー 夕の 1 単語あたりの平均訓練事例数は約 222 と決して多い数字とは言えない. SemEval2010の日本語語義曖昧性解消タスク (Okumura, Shirai, Komiya, and Yokono 2010)に至っては 1 単語あたりの訓練事例数がおよそ 50 であり, 圧倒的に訓練データが足りていないと言える。また,訓練データの不足に関連してデータスパースネスも語義曖昧性解消において大きな問題となる。先に述べたように周辺の文脈パターンを語義ごとに学習させるためには非常に大量の訓練事例が必要となりコストの問題から現実的でない. これらの問題を解決するため, 半教師あり学習によって確度の高いデータを訓練データとして追加し学習を行う方法が研究されており, 日本語語義曖昧性解消タスクにおいて高い精度が得られたことが報告されている (藤田, Duh, 藤野,平, 進藤 2011; Fujita and Fujino 2013; 井上, 斎藤 2011). また, これらを解決する別のアプロー チとして語の分散表現を教師ありの語義曖昧性解消に用いる研究があり (Sugawara, Takamura, Sasano, and Okumura 2015; 山木，新納，古宮，佐々木 2015; Iacobacci, Pilehvar, and Navigli 2016), 既存の素性と組み合わせることによって高い精度が得られたことを報告している。

ところで, 日本語の言語処理にはかな漢字換言というタスクがある. これは, 入力された文
中のひらがなについて漢字に換言できる対象がある場合，その周辺の文脈を考慮して正しい漢字に換言するというものである。例えば「私は犬をかっている」という文があった際，犬という単語から「かって」というひらがなが「買って」ではなく「飼って」を意味することは容易に理解できる。このようなひらがな語について漢字に換言を行うタスクを我々はかな漢字換言と呼んでおり，以前から研究を行ってきた (Yamamoto, Gumizawa, and Mikami 2017). ここで行っていることは語義曖昧性解消そのものであり，かな漢字換言の誤り分析を行うことは日本語語義曖昧性解消タスクにおいて誤り分析することとほぼ同義であると考えられる。また，通常の語義曖昧性解消タスクに比べかな漢字換言の訓練データは大量のコーパスから自動で構築することが可能なため, 訓練デー夕の増減による精度の変化や誤り分析などが容易に行えるという利点がある。

本論文では日本語語義曖昧性解消タスクにおける問題点についてかな漢字換言タスクを通して確認し，既存の手法において何が不足しているのかを明らかにする.

本論文の構成は以下の通りである．２章にて本論文に関連する研究および本研究の位置付けについて述べ， 3 章にて我々が今回行うかな漢字換言タスクについて日本語語義曖昧性解消夕スクと比較しながら詳細を述べる。 4 章では提案手法について既存手法との比較を行いながら説明をする． 5 章ではそれらの手法を用いてかな漢字換言と通常の語義曖昧性解消タスクにおける提案手法の有効性の検証を行い，語義曖昧性解消タスクにおける問題点を明確にする．6章にて結論を述べる。

## 2 関連研究

本章ではまず教師あり学習に基づく語義曖昧性解消について先行研究を概観する。さらに, かな漢字換言タスクにおいて我々が以前行っていた研究について先行研究として併せて概観し,最後に本研究が本論文を通して明らかにしたいことについて示す.

## 2.1 教師あり語義曖昧性解消

Yarowsky らの報告 (Yarowsky 1995) によると教師あり学習に基づく語義曖昧性解消では周辺の文脈情報が有効だと言われている。そのため，教師あり学習での語義曖昧性解消では従来周辺に出現した単語を主に素性として用い, さらに品詞や文の構造情報, Bag-of-Words (BoW) 等を素性として加えることで精度を向上させてきた (Navigli 2009). 日本語の語義曖昧性解消においても同じであり，SemEval2010の日本語語義曖昧性解消タスクにおいて使われたべースラインのシステムでは対象単語前後の単語や品詞，係り受け関係などを素性として用い，高い精度を得ている (Okumura et al. 2010).

また近年では単語のベクトル表現を用いて精度向上を図ろうとする取り組みも存在する (Cai,

Lee, and Teh 2007). これらのベクトル表現は単語の意味的な特徴を捉えており, 特に Mikolov らが考案した Word2Vec(Mikolov, Sutskever, Chen, Corrado, and Dean 2013)では, Countinuous Bag-of-Words と Skip-gram の各手法によって得られる単語のべクトルが従来のカウントモデルに比べて秀でた性能を持っていることが知られている (Baroni, Dinu, and Kruszewski 2014). そのため, Word2Vec は語義曖昧性解消だけでなく係り受け解析 (Bansal, Gimpel, and Livescu 2014) 等様々なタスクにおいて利用されている. 教師あり学習の語義曖昧性解消に対して単語の分散表現を用いる手法の研究には Sugawara らの研究 (Sugawara et al. 2015) と山木らの研究 (山木他 2015), Iacobacci らの研究 (Iacobacci et al. 2016) がある.

Sugawara らの先行研究では曖昧性解消の対象となる単語の前後 $\mathrm{N}$ 単語の単語べクトルをつなぎ合わせたものを素性とする Context-Word-Embeddings (CWE)という手法を提案し，BoWに比べて高い精度が得られたことを報告している。 それに対し，山木らは CWEの手法における 「単語の位置が規定される」点と「自立語以外の単語を考慮している」点について問題点として上げ，分散表現から得られる用例間類似度を用いる手法を提案している。この手法では既存の素性と組み合わせることで従来よりも高い精度が得られたことを報告している。また Iacobacci らの論文では周辺単語のベクトルを足し合わせる際に単語間の距離を考慮する手法について提案し，SemEval2007等のデータセットで有効性を確認した結果最も良い性能が得られたことを報告している.

## 2.2 かな漢字換言

かな漢字換言は 1 章で述べたように文中の一部のひらがなを漢字に直すタスクである。我々は以前，自己相互情報量 (Pointwise Mutual Information; PMI)を用いて対象となるひらがなの換言候補の中で最も PMI が高い漢字について換言するという手法を実装している (Yamamoto et al. 2017). ここでは精度よく換言できないひらがなと漢字の対については換言対象から外す処理をしているが，換言対象となった 71 語の換言精度は $94.1 \%$ と非常に高いことを報告している.この換言手法は語義曖昧性解消に必要な情報が周辺単語 1 単語で決定できるという考察に基づいたものであるが，この論文中では周辺単語から換言を行えると考えられる対象のみを換言対象としていたため, すべての漢字に当てはめたときの精度は不明であり, 語義曖昧性解消の分析としては不十分である.

## 2.3 本研究の目的

我々が本論文において明らかにしたい問題は主に 3 つである.

1 つ目は素性選択の手法である。従来, 日本語語義曖昧性解消の手法として提案されてきたものの多くが素性として主に対象単語前後 2 単語の情報を使い，そこに係り受け関係や LDAの結果などを追加する形で精度を向上させてきた (Okumura et al. 2010; 藤田他 2011). 分散表現

を用いた Sugawara らの語義曖昧性解消においては対象単語前後 5 単語の分散表現を使い実際に精度が向上したことが報告されているが, 日本語語義曖昧性解消において考慮する周辺単語の窓幅によって精度がどのように変化するのか調査した文献は存在しない. また，新納らは論文中で「特に対象単語からかなり離れた後方位置にある単語が対象単語の語義の選択に影響を与えているとは考えづらい」と述べている (新納，古宮，佐々木 2017). 我々はこれらについて改めて調査, 報告を行った上で新たに自己相互情報量を用い, 対象単語から離れた位置の単語を考慮する手法を提案する。

2 つ目は訓練データのサイズである．2.1 節で述べたように教師ありの語義曖昧性解消ではその精度評価として規模の小さい訓練データが使われることが多い. その為, 曖昧性解消の精度が低い主な理由について「訓練データが不足している」と考察している論文も少なくない (藤田他 2011; 新納, 村田, 白井, 福本, 藤田, 佐々木, 古宮, 乾 2015). 一方でそれらの論文中でどれくらいの訓練データが必要になるのかの考察はほぼ行われておらず，少ない訓練データを用いて精度の改善を行うことにのみ注力しているように見える。どのくらいの規模の訓練データを用意すれば十分な精度が得られるのかが明確に示されているのならば，まず訓練データを増やすことができるはずである。逆に訓練事例の数によって精度の差がないのであれば現状の夕スクにおいてより精度を出せる手法を検討していくことが重要となる。そこで，我々はかな漢字換言の特性を活かして非常に大規模なデータを用意し，訓練データを増減させたときの精度の変化を調査する.

3 目は訓練データのドメインについてである. Fujitaらは対象語毎に訓練データの分野の組合せを変えて学習するより，分野に関係なくすべての訓練デー夕を学習に用いる方が精度が良いと報告をしているが (Fujita, Duh, Fujino, Taira, and Shindo 2010), ドメインごとに同量の訓練データを用いた際の精度の変化についてそれぞれ比較を行い，どのような訓練データがどの程度精度に寄与するのかを明らかにする。

以上 3 点についてが，本論文において我々が報告したい内容である.

## 3 かな漢字換言

## 3.1 概要

かな漢字換言は文章中の特定のひらがなを漢字に換言するタスクである。例えば「私は犬をかっている」という文が存在した場合, ここでの「かって」という単語は「買う」ではなく「飼う」という意味での使われ方をしている。一方「購買でノートをかう」という文の場合, ここでの「かう」という単語が「買う」という意味を示していることは容易く理解できる。このような換言対象となるひらがな語を含む文についてひらがな語を該当する漢字に同定するタスクを我々はかな漢字換言と呼んでいる。意味の曖昧性を持つひらがな語を特定の漢字に同定する
処理はそのひらがな語の語義曖昧性を解消することに相当する。また，この換言はひらがな語と漢字語の表記ゆれ解消にもなっている。つまり，本タスクは語義曖昧性解消，換言処理，表記ゆれ解消のいずれにも該当する。

我々が通常の語義曖昧性解消タスクではなくかな漢字換言による語義曖昧性解消で分析を行う理由に，その訓練データの作りやすさがある。通常の語義曖昧性解消では訓練データをコストをかけて人手で作る必要があるが，かな漢字換言では対象となる漢字さえ分かれば大量のコーパスから自動的に訓練データを増やすことが可能であり，訓練デー夕の増減による精度の検証が容易い。そのため，今回我々はかな漢字換言を通して語義曖昧性解消の分析を行うこととした。 かな漢字換言の対象となるひらがな語は同じ読みで異なる語義を持つ漢字が複数存在するものである．以前 Yamamoto らが実装したかな漢字換言では換言の対象を手動にて抽出しているが (Yamamoto et al. 2017), 我々はかな漢字換言を通して日本語語義曖昧性解消について分析を行うため, 語義の定義について形態素解析辞書 UniDic ${ }^{1}$ の語彙素を用いた. UniDic では語彙素を選定する際の同語異語判別に明確な基準を設けている (小椋, 原, 小木曽, 小磯, 宮内 2010).基準の一つとして「漢字表記の頻度よりも仮名表記の頻度が非常に高い場合，一つの語彙素にまとめることを優先する」というものがあり，これは例えば「収まる」や「治まる」の語彙素が「収まる」にまとめられるようなものである。この基準は通常のかな漢字換言では「収まる」 と「治まる」のような漢字を対象にすることができないため不適当である。しかし，本論文の目的はかな漢字換言を通した日本語語義曖昧性解消の分析であるため，大規模なコーパスからデータセットを自動的に抽出する際，十分な訓練事例を用意できないこれらの語義を解析対象とするのは適当でない，さらに，明確に使い分けされていないこれらの漢字をデータセットとして抽出することは誤解析の原因となる。そのため，ここではこれらの語義を明確に分けている形態素解析辞書 UniDic を用いている。

かな漢字換言において活用を持つ動詞に関してはその語の形を用いることで一意に意味を決定できる場合がある．例えば「寝る」「練る」のような単語に関して「寝る」の未然形は「ね」 なのに対し「練る」の未然形は「ねら」である。そのため，「私は惹麦をねらない」といった文に含まれる「ねらない」は一意に「練らない」に変換することが可能である。しかし，本論文中ではかな漢字換言を通して語義曖昧性解消について分析することが目的であるため, 語の形は素性として使わないこととした。

以後の実験において使用する訓練データとテストデータについて，我々は現代日本語書き言葉均衡コーパス $(\mathrm{BCCWJ})^{2}$ に含まれる全文章の中から換言の対象となる文を，訓練データでは 1 語義あたり 200 文を，テストデータでは 1 語義あたり 50 文を無作為に抽出した. 出現頻度が
^{1}$ http://pj.ninjal.ac.jp/corpus_center/unidic/

2 http://pj.ninjal.ac.jp/corpus_center/bccwj/
}
表 1 かな漢字換言データセットの一部

 & 部隊 \\

250 文に満たない漢字については換言対象から除外している。抽出の対象となる文は日本語解析システム雪だるま (山本, 高橋, 桾澤, 西山 2016$)^{3}$ の出力単語が 15 語以上のものとした. 文長を 15 語以上に制限する理由は「窓幅と素性の選び方」について調査する上で窓幅による精度への影響を調査しやすくするためである。換言対象のひらがなは計 311 語，換言の候補となる漢字は計 734 語である。換言対象のひらがな語は BCCWJ 中において 438,360 回出現し, 全約 600 万文章中約 13.5 文に 1 回出現する計算となる. 以後の実験では特筆しない場合上記のデー

実際にデータセットとして抽出された文の一部を表 1 に示す. 表中の下線部が換言の対象となるひらがなである.

## 3.2 他タスクとの比較

通常, 語義曖昧性解消タスクの多くは WordNet や辞書などに存在する語義の定義に併せて単語を分類することが多い (McCarthy 2009). これらの語義曖昧性解消の語義夕グは比較的細かいことから，実アプリケーションへの実装を考えた際にその粒度が問題となることが指摘されており (Lopez de Lacalle and Agirre 2015), 近年ではより粗い粒度を語義曖昧性解消へ用いる動きも見られる (Navigli, Litkowski, and Hargraves 2007). また, 拡張固有表現階層を用いて構築した意味カテゴリに基づく語義曖昧性解消のアプローチも存在し, これは荒い粒度の語義曖昧性解消と同等だと考えられる (村本, 鍜治, 吉永, 喜連川 2011). かな漢字換言では前述の通り語義が完全に異なる漢字のみを対象としており，語義同士の距離が近い漢字を曖昧性解消の対象としていないことから，かな漢字換言はこれらの語義曖昧性解消タスクと同等，またはそれ以上に粗い曖昧性解消と考えることが可能である.
^{3}$ http://snowman.jnlp.org/snowman
}
今回の分析に用いるかな漢字換言のデータと通常の語義曖昧性解消の間のその他の違いとして文長が考えられる，前節にて抽出したデータセットでは 1 文が 15 単語以上のものを語義曖昧性解消の対象として選択している。一方で, 日本語語義曖昧性解消タスクでは文章自体は長いが 1 文 1 文がかな漢字換言のデー夕に比べて短くなっている。つまり 1 文のみを使うことによる語義曖昧性解消の難易度はかな漢字換言の方が易しいと考えられる。

ここではかな漢字換言タスクと通常の語義曖昧性解消タスクとの関連性を調べるため, Semeval2010 の日本語語義曖昧性解消タスクとの比較を行う，白井らは語義曖昧性解消の難しさについて語義の頻度分布のエントロピーを用いて分析を行っている (白井 2003). 頻度分布のエントロピー $E(w)$ は次式で求めることができる.

$
E(w)=-\sum_{i} p\left(s_{i} \mid w\right) \log p\left(s_{i} \mid w\right)
$

ここで $p\left(s_{i} \mid w\right)$ は単語 $w$ の語義が $s_{i}$ である確率を表す.

表 2 に各夕スクにおける平均語義数，頻度分布のエントロピーを示す．なお SemEval2010 のタスクについては語義の頻度分布のエントロピーを用いて決められた難易度ごとのデータについても記す (Okumura, Shirai, Komiya, and Yokono 2011). 前節で作成したかな漢字換言のデー タセットでは各語義のデータ数を揃えているため, 今回はエントロピーの計算に BCCWJ の漢字の出現回数をカウントし用いている. 各タスクにおける平均語義数を比較するとかな漢字換言の平均語義数は日本語語義曖昧性解消夕スクの $D_{\text {easy }}$ に相当することがわかる。一方でかな漢字換言のエントロピーの値は 0.87 と $D_{m i d}$ と同じ程度の值を取っている. かな漢字換言では対象となる漢字をコーパス中で 250 回以上出現するものに限定しているため, 偏りが少なくなったことでエントロピーの值が大きくなったのだと考えられる.

これらを踏まえると，かな漢字換言タスクは日本語語義曖昧性解消タスクにおける $D_{\text {easy }}$ と同等かそれ以上に簡単なものであると考えられる。白井らの報告によれば新聞記事中に出現する出現頻度 10 以上の単語に対して付与された語義タグの異なり数の多くは 2 であり, エントロピーに関しても 1 以下の形態素が多い (白井, 柏野, 橋本, 德永, 有田, 井佐原, 荻野, 小船,高橋, 長尾, 橋田, 村田 2001). それゆえに， $D_{\text {easy }}$ 相当と考えられるかな漢字換言は日本語の語義曖昧性解消の大きな部分タスクの一つであるとみなせる。

表 2 各データセットの比較

## 4 提案手法

本章では，Yamamoto らが実装した PMI を用いたかな漢字換言 (Yamamoto et al. 2017)について改めて実験を行った結果を 4.1 節に示し, その結果に基づいて提案した手法について 4.2 節にて説明する。

## $4.1 \mathrm{PMI$ のみを用いたかな漢字換言}

## 4.1.1 手法の説明

以下に以前 Yamamoto らが実装を行った PMI に基づくかな漢字換言の手法について以下に説明を述べる (Yamamoto et al. 2017).また，その概略図を図 1 に示す.

（1）文全体を検索し，換言対象が含まれているかどうかを調べる.

(2) 換言対象が含まれている場合対象から前後 4 単語の内容語と換言対象の漢字の PMI を計算する。

(3) PMI が 5 以上の漢字の中から最も PMI が高い漢字の換言対象についてその漢字を出力する.

(4) 計算結果がすべて PMI5 以下である場合は換言を行わない.

図 1 の各工程について詳しく説明していく.

まず，入力文に対する手掛かりの選定を行う。この手法では PMI が高い単語を用いてかな漢字換言を行っている。そのため, どの文においても頻出しPMI の値が低くなる助詞や記号等の機能語は計算から省いてしまっても結果に影響しないと考え, 換言に用いる手掛かり語を内容語のみに絞って PMI の計算を行うこととしている。また換言対象の前後 4 単語について手掛かりとする語の選定に用いているが, この数字は我々の経験に基づいて決めた数字である.

2 番目の工程として漢字候補の読み込みを行うが, ここでは 3 章で説明したように BCCWJ とUniDic を用いて作成された日本語解析システム雪だるま (山本他 2016)の辞書を基に手動で候補を作成しているため, 候補の作り方の詳細な説明は省く。

次に自己相互情報量の計算を行う。この換言方法において我々は共起する確率が高い漢字ほどそのかな漢字換言の候補として適切だと考え，共起する組み合わせを数值化するために PMI を用いた. $p(x, y)$ を $x$ とが同時に出現する確率， $p(x)$ を $x$ が出現する確率とした時 2 つの語 $x, y$ における自己相互情報量 $P M I(x, y)$ は次式で表される.

$
P M I(x, y)=\log \frac{p(x, y)}{p(x) p(y)}
$

式 (2) から分かる通り自己相互情報量の計算にはそれぞれの出現確率が必要になる. 出現確

手掛かり語の選定

正面 , ノート

漢字候補の読込

かう：買う，飼う

PMIの計算

$\mathrm{PMI}$ (正面，買う) $=0.0$

$\mathrm{PMI}($ 正面，飼う $)=1.1$

$\mathrm{PMI}($ ノート，買う) $=5.2$

$\mathrm{PMI}($ ノート，飼う $)=0.0$

## しきい値との比較

$\mathrm{PMI}($ ノート，買う）=5.2>しきい値5.0 よって“買う”に決定

図 1 PMI を用いたかな漢字換言の換言過程

率はなるべく大量の文章から正しい頻度を数え正しい数字を計算する必要があるが, 非常に大規模なテキストを用意するのは難しい，そのため，我々は Web 日本語 $\mathrm{N}$ グラム（第 1 版）4を利用し，擬似的に各単語の出現確率とそれぞれの単語の組み合わせが共起する確率の計算を行った. Web 日本語 $\mathrm{N}$ グラムでは 200 億文について頻度が 20 回以上の ngram を収録しており，頻度の計算としては十分な規模を持つ. ここで利用するのは $7 \mathrm{gram}$ のデータであり, 単語間の距離が 7 以内である場合にその単語ぺアを共起したとみなし頻度の計算を行っている。

PMI には闇値を設け，周辺単語と換言対象の漢字のペアの PMI すべてが閥値を下回った場合換言を行わないようにしているが，これは低いPMI の値の漢字を出力することによる換言器の精度低下を防ぐためである。以前の実装において我々は事前の調査からその閥値を 5 に設定している.

今回, 我々は改めて上記の手法を用いてかな漢字換言の精度を改めて調査することとした。以下にこの実験において調査した内容について示す.
- PMI の閥値 5 は正しい設定なのか
- 空幅 4 の設定は正しい設定なのか
^{4}$ http://www.gsk.or.jp/catalog/gsk2007-c/
}

PMI の閾値の設定を上げることでその換言の適合率をあげられるのであれば，PMI が高い単語が含まれている文ではその単語を素性として使うことでより高精度な換言が行えるはずであり，逆に間値の設定によらず適合率が上がらないのであれば PMI のみを用いて語義曖昧性解消を行う手法があまり適さないということを明らかにできる。

窓幅の設定に関する実験もまた重要である。これまでの語義曖昧性解消では周辺の 2 から 5 単語程度を素性とした手法が多く文全体を考慮する手法は少なかったが, それらの窓幅の設定が本当に正しいのかをこの実験で明らかにすることができ，今後の教師あり語義曖昧性解消において重要な設定の一つを明確にすることができる.

## 4.1.2 実験

3 章にて作成したかな漢字換言のテストデータを用いて周辺単語として考慮する単語の密幅を変化させたときの精度と，PMIの閾値を変化させたときの精度を確認した．窓幅に関する実験の際は PMI の閾値を 5 に設定し窓幅を 2 から 20 まで 1 刻みで変化させたときの適合率と再現率，F 值の変化を見る，PMI に関する実験の際は窓幅を 20 に固定し，PMI の閾値を 0 から 20 まで1刻みで変化させたときの適合率と再現率，F 值の変化を見る．PMI の計算には前項での説明と同様に Web 日本語 N グラムの 7gram から擬似的に計算した頻度情報を用いた.

図 2 に PMI の間値を変化させたときの結果, 図 3 に空幅を変化させたときの結果を示す.

まず，窓幅を固定しPMIの間値を変化させていったときの影響について考察をする．図 2 を見ると, PMI の間値が 3 までに関しては再現率と適合率がほぼ同じ值になっている。これは対象のひらがなの前後の内容語に PMI が 3 以下のものがなかったため, すべての文において何らかの換言が行われたからである．PMI の閥値を 3 より上げていくと再現率は下がり，それに対応して PMI が 10 まで適合率が上がっており，PMI が 10 を超えると換言の精度は $95 \%$ 超え

図 2 PMI の閥値を変化させたときの各値の変化

図 3 空幅を変化させたときの各値の変化
高い精度での換言が行えていることが見て取れる。一般に閥値を上げることでよりPMI の高い候補を持つひらがなのみが換言されることから適合率は上がると考えられるが，この実験結果はそれが正しいことを示した形になる。一方で再現率はそれを上回る勢いで減少しており，結果として F 値は減少している。この結果は一部の単語について PMI が高い語を素性として用いる方法が精度を上げる上で効果的であるということを示唆するものである。

次に PMI の閥値を固定し空幅を変化させていったときの影響について考察する．図 3 を見ると窓幅を上げることで再現率， $\mathrm{F}$ 値をともに上げることができていることがわかる。これは換言対象の単語から遠いところにも素性となる単語が現れていることを示し, 文全体を考慮することでより正しく多くのひらがなを換言することができている。しかしながら適合率の値は密幅を大きくすることで減少しており，単純に PMI が高い単語を選ぶ方法では素性としては不充分であり，前後の文脈なども同時に考慮する必要があるといえる.

## 4.2 分散表現と PMI を用いたかな漢字換言

前節の結果から我々は分散表現と PMI を用いることで文全体の文脈を考慮してより正確にかな漢字換言を行う手法を提案する。ここで提案する手法は Sugawara らの提案手法に対して改善を加え，山木らが上げた「単語の位置が規定される」という問題を解消するものである.

まずSugawara らの手法について説明をする．Sugawara らは周辺の単語の分散表現を用いて語義曖昧性解消を行う手法として AVEと CWEの 2 手法を提案している. AVE は対象単語の周辺単語について分散表現を平均し素性として用いる手法である. CWEは周辺単語の分散表現をつなぎ合わせる手法である。具体的には，空幅 $N$ を , 換言対象前の単語を $w_{-N}, w_{-N+1}, \ldots, w_{N-1}, w_{N}$ とし，それらの分散表現を表すべクトルを $v_{w_{-N}}, v_{w_{-N+1}}, \ldots, v_{w_{N-1}}, v_{w_{N}}$ とした時に AVE は素性 $v_{\text {ave }}$ （式 3）を，CWEでは素性 $v_{\text {cwe }}$ として周辺の単語べクトルをつなぎ合わせたべクトル（式 4）を素性として用いる手法である。この素性の次元は分散表現の次元を $L$ とすると AVEでは $L, \quad \mathrm{CWE}$ では $2 \times N \times L$ となる.

$
\begin{gathered}
v_{\text {ave }}=\frac{v_{w_{-N}}+v_{w_{-N+1}}+\ldots+v_{w_{N-1}}+v_{w_{N}}}{2 N} \\
v_{\text {cwe }}=v_{w_{-N}}, v_{w_{-N+1}}, \ldots, v_{w_{N-1}}, v_{w_{N}}
\end{gathered}
$

Sugawara らはこれらの素性を用いた手法について実験を行い，AVEよりも CWEのほうがより高い精度が得られたことを報告している。また, その理由として AVEでは周辺の文脈情報が落ちるため精度が出ないとし, CWE は単語の位置が考慮できるためより精度が高くなったと考察している。しかし, 山木らが挙げたように CWEでは単語の位置が規定されるため, 訓練データにおいて出現した単語がテストデータに出現したとしても, 出現位置によってはその類似性が反映されないという問題があると考えられる。そこで我々はこの問題を解消する新たな
手法を提案する.

一つは CWE で素性として用いる周辺の単語ベクトルに対して, 周辺単語の分散表現の平均ベクトル AVE を足し合わせる手法である。 CWE , AVE の頭文字を取ってこの手法を CA と呼ぶ. 換言対象前の単語を $w_{-N}, w_{-N+1}, \ldots, w_{N-1}, w_{N}$ としたとき，それらのべクトルを足し合わせた $v_{w_{-N}}+v_{w_{-N+1}}+\ldots+v_{w_{N-1}}+v_{w_{N}}$ のベクトルは周辺単語のコンテキストをよく表すべクトルになっている。 そこで我々は CWEの手法の各ベクトルに対してこのベクトルの平均 AVE を足し合わせることによって単語の位置が規定され，精度が落ちるという問題に対処できると考えた ${ }^{5}$. 具体的には周辺単語の平均ベクトルとして考慮する窓幅を $N_{a v e}=5$ とし周辺単語の平均ベクトルを式 5 とした際に式 6 を素性として使う手法である。平均ベクトルとして考慮する単語の数は $N_{\text {ave }} \times 2$ となる. これによって各単語の位置を考慮しつつ周辺単語のコンテキストを考慮することができる。

$
\begin{gathered}
v_{\text {ave }}=\frac{v_{w_{-N}}+v_{w_{-N+1}}+\ldots+v_{w_{N-1}}+v_{w_{N}}}{2 N_{\text {ave }}} \\
v_{C A}=v_{w_{-N}}+v_{\text {ave }}, v_{w_{-N+1}}+v_{a v e}, \ldots, v_{w_{N-1}}+v_{a v e}, v_{w_{N}}+v_{a v e}
\end{gathered}
$

しかしながら，この手法でも空幅の大きさ分しか周辺単語を考慮することができず，また空幅を闇雲に大きくしても機能語などの本質的に文の周辺文脈と関係のないノイズ成分が増えてしまうため精度の向上は見込めない。そこでそれらの素性に対してさらに文中で PMI の大きい単語のベクトルを末尾につなぎ合わせる手法を提案する。 CWE, AVE, PMI の頭文字を取ってこの手法を CAP と呼ぶ. これは対象となる文全体の中から換言候補となる漢字と PMI が最も高い単語の分散表現を末尾につなぎ合わせるという手法である。図 1 を例として説明すると, 計算によって「ノート」と換言候補の「買う」が最も PMI が高くなった場合, 単語「ノート」の分散表現を末尾につなぎ合わせる。かな漢字換言ではなく通常の語義曖昧性解消の場合，換言候補となる単語と周辺単語の間の PMI を計算し, 最も PMI が高い単語を素性として選ぶ. これにより語義曖昧性解消において重要な単語のコンテキストを考慮することができ，かつ分散表現を用いることで似ている単語がテストデータに出てきた場合にも対応できると考えられる。 これをまとめると，CAPで用いる素性は文中で最も PMI が高い単語のベクトルを $v_{w_{\text {maxpmi }}}$ とすると式 7 となり, 素性の次元数は $(2 \times N+1) \times L$ となる.

$
v_{C A P}=v_{w_{-N}}+v_{\text {ave }}, v_{w_{-N+1}}+v_{\text {ave }}, \ldots, v_{w_{N-1}}+v_{\text {ave }}, v_{w_{N}}+v_{\text {ave }}, v_{w_{\text {maxpmi }}}
$

提案した素性についての説明図を図 4 に示す.
^{5} \mathrm{CWE}$ に対して平均べクトル AVE をつなぎ合わせる手法も考えられるが， 5 章と同等の条件で実験を行った結果精度の向上が見られなかったためここでは手法の説明について省略している。
}

図 4 分散表現を用いた各手法における素性の例

## 5 実験

本章ではまず前章において提案した手法についてかな漢字換言タスクにおける評価を行う.続いて日本語語義曖昧性解消タスクでも同様に評価を行い提案手法の有効性を実証する。その後, 教師データを増減させることによる精度への影響, データのドメインによる精度への影響について調査, 考察する.

## 5.1 かな漢字換言による実験

## 5.1.1 実験設定

4 章で説明した素性を用いて既存の手法との精度の比較を行う. データセットには 3 章で BCCWJ と UniDic から抽出したデータを用い, 分散表現の構築に用いるコーパスは 2016 年 3 月 5 日にダンプされた日本語の Wikipediaのデータ 6 から wp2txt $7{ }^{7}$ を用いて作成したものを用いる. 単語分割に用いる解析器には我々の研究室で開発, 研究している日本語解析システム雪たるま (山本他 2016) を用いる。この解析器は UniDic を辞書として用いた MeCab のラッパーとして開発されており, その特徴として活用を持つ単語に関しては活用を落として出力し, 活用は活用形態素と言う形で活用を持つ単語の後ろに対して 1 形態素として出力をするようになっている．また，「サ変名詞 + する」のような組み合わせの単語を 1 単語として出力するようになっている．活用形態素を考慮するかしないかによって語義曖昧性解消の精度が変化する可能性は存在するが本論文の主旨からそれてしまうため, ここでの実験では活用を考慮せずに行う.

作成した Wikipediaコーパスを雪だるまにて解析し，それらを gensim 8 の Word2Vec の実装で学習させ単語の分散表現として使う．Word2Vecの学習では Skip-gram を用い階層的ソフトマックスとネガティブサンプリング両方を使用する。学習に使用する窓幅の設定は 5 とし， ネガティブサンプリングの值は 5, ダウンサンプリングの割合は $10^{-3}$ に設定し各ベクトル表現はすべて 200 次元に設定した。分類器には Scikit-learn ${ }^{9}$ で実装されている SupportVectorMachine (SVM) の LinearSVC を使用し, 正則化パラメータとして $C=1.0$ を使用した.

比較する素性として対象単語の周辺単語の分散表現をつなぎ合わせる CWE, 対象単語の周辺単語のベクトルを足し合わせる AVE， CWE に対して周辺単語の BoWを素性として加えた $\mathrm{CWE}+\mathrm{BoW}, 4$ 章にて提案した $\mathrm{CWE}$ と AVE を組み合わせる手法 $(\mathrm{CA})$, さらに $\mathrm{PMI}$ を組み合わせた手法 (CAP) に関して精度の比較を行う。

## 5.1.2 結果

前項で説明した各素性を用いた手法について実験を行った．窓幅を 2 から 20 まで変化させたときの換言精度の変化を示したグラフを図 5 に示す。また，各手法について，一番精度が良かったときの窓幅の大きさとその時の精度を表 3 に示す。なおグラフ中の AVE (CW) は AVE で足し合わせる単語を内容語のみに制限した時の結果となっている.

$\mathrm{CA}$ や $\mathrm{CAP}$ の手法において, 足し合わせて使う周辺単語の密幅は訓練データを用い 4 分割交差検定にて最も精度の良かった 3 に固定してある.

図 5 各素性を用いたかな漢字換言精度
^{9}$ http://scikit-learn.org/
}
表 3 素性ごとのかな漢字換言の精度比較

結果として, CWE や AVE, CWE+BoW の精度を CAの精度が 1 ポイント以上上回り, さらに PMI を組み合わせた CAP の手法が最も高い精度を示した。CWEでは単語ごとのべクトルを並べることによって単語の出現位置を考慮することができているが，単語の位置が規定されることによって周辺単語のコンテキストを考慮することができなかった. これらの手法に対して CWE+BoW は BoW を素性として加えることで単語の位置が規定される問題を若干解消しているが精度の向上はあまり大きくない。一方 CWE に対してAVE を加えた手法では大きく精度が向上している。これは AVEを素性として加えることにより似た文脈を持つ文などをより考慮することができるようになったからと考察できる。一般に BoW 等の count モデルに比べて Word2Vec などの predict モデルは性能が良いと言われており (Baroni et al. 2014) より密になったべクトルを使うことでモデルが特徴を学習しやすくなったのだと考えられる。また，それらの手法に対して PMI の高い単語の分散表現を加えた手法 (CAP) では, 周辺単語だけではなく対象単語から遠い位置にある重要な単語に関して考慮することができていることからより高い精度を示している。

窓幅の設定に関して，窓幅をある一定まで増やしていくと顕著に精度が上がっていくが，ある程度の窓幅がある場合はそれ以上空幅を大きくしても精度が上がらないことが見て取れ，一定以上の密幅があればそれらから似た文脈を持つ文の語義曖昧性も解消できるということを表している。またAVEに関しては窓幅 4 までは精度が上がっているがそれ以降は精度が下がっている，AVEでは空幅内の単語について分散表現をすべて平均する手法になっているため, 対象単語から離れた機能語などが多く足し合わさることによって雑音が増え, 正しく分類できない文が増えたからだと考えられる。実際に内容語のみを足し合わせた手法のグラフを確認すると内容語のみを足し合わせることで精度の低下が起こらなくなっていることがわかる. しかしその精度が通常の AVEに比べ非常に低いことから，対象単語の周辺の機能語が語義曖昧性解消において重要であることをこの結果は示している.

次に実際にどのような文が正解に変わり，どのような文が換言できなかったのかについて誤り分析を通して考察をしていく．空幅を 10 に設定した際に CWEで正しく換言できなかった文

についてランダムに 100 文抽出しそれらに対して各手法における分析を行った. 表 4 に入力文と各システムが出力した漢字の一部を示す。表内の H の列に関しては人間が同じ文を見たときに換言できるかどうかを著者が個人の主観で判断したものである。抽出した 100 文中人間の目で見て正しい漢字が選択できた対象は 67 文であり，その 67 文中 CAP の手法で正しい漢字を選択できるようになった文は 45 文であった.

表 4 中の 1, 2 の例では CWE に対して AVE の素性を組み合わせることで解けるようになっていることがわかる．例 1 において CWE では単語の位置が規定されることによって「勤め」という単語から帰るという言葉が連想されることを学習できずに「返る」という単語を出力してしまっているが，AVEの素性を足すことによって正しく換言が行えるようになったのだと推察できる．2に関しても同様で CWE では「アダージオ」という音楽用語から本来は「弾く」という意味を導けていないが，AVEを素性として加えることで単語の位置が規定されるという問題を解消し正しい漢字が導けていることがわかる.

3, 4 の例は PMI を素性として加えることで正しい漢字を導けている例である． 3 の例では密幅 10 の設定では「練る」という単語を導くために必要な「構想」という単語を考慮することができないが，PMIを用いることで「構想」単語の分散表現を素性として加えることができるよ

表 4 入力文とシステムが実際に出力した漢字

 & 帰る & 返る & 帰る & 帰る & 1 \\

うになっている。そのため正解である「練る」という漢字を導けるようになったものだと考察できる．4の例も同様で人間が「共生」という漢字を導くために必要な「サンゴ」や「褐虫藻」 といった単語は窓幅 10 では考慮できないが PMI を用いることで位置が離れた単語でも素性として使え, 結果として正しい漢字が出力できるようになったのだと推察できる. 実際に PMI によって素性として選ばれた単語は「褐虫」であった。

一方で 5,6 の例はどの手法でも正しく換言できなかった文である。例 5 に関しては「暖かい」 といった単語や「柔らかい」という単語に引っ張られて「感性」という単語をどの手法においても出力しているが,「部屋」を完成させていることが人間の場合わかるため「完成」が正しい漢字であることを我々は認識できる。このような例に関しては構文情報などのより高度な意味理解が必要になる.

7,8 は著者の主観では正しい漢字を導くことができなかった例である．例 7 に関しては「二五世紀の戦士」という固有名詞を認識し知識として学習させる必要があるため, このような対象は我々の手法では正しく解けない。そもそも固有名詞に関しては一部をひらがなで書くということはほほ状況として無く, これらは固有表現抽出の問題になるはずである。例 8 に関しては「創作」「捜索」どちらの漢字が割り当てられても文としては自然なため曖昧性を解くのに必要な周辺文脈が不十分であることがわかる.

最後に PMIによって選ばれた単語の換言対象単語との距離について考察をする。換言対象単語と PMIによって素性として選択された単語の距離のヒストグラムを図 6 に示す.

図 6 PMIによって選ばれた単語の換言対象単語との距離
図 6 を見ると PMI が高い単語の多くが周辺 2 単語に存在していることがわかる. PMI の計算時に使う頻度情報として距離が 7 単語以内に出現した単語を共起したとみなして計算しているため, 距離が近いところに PMI が高い単語が出てくるのは当然であるが，それを考慮しても周辺 2 単語以内によく共起する単語が出現している. 周辺 2 単語以内に最も PMI が高い単語が出

置でも PMI の高い単語がかなりの割合で出現しており，これらを素性として加えることで一部の文において正しいコンテキストを選択できるようになり，かな漢字換言の精度が 0.8 ポイン卜向上したのだと言える。距離 10 より大きい位置に最も PMI が高い単語が出現した文の割合は全データ 158,750 件中 52,337 件と約 $33 \%$ の割合を占める。この結果からもより精度の高い語義曖昧性解消を行う際にはより幅広い周辺文脈から重要な素性を選択する必要があると言える。

## 5.2 日本語語義曖昧性解消タスクによる実験

## 5.2.1 実験設定

続いて提案手法の日本語語義曖昧性解消タスクでの有効性を調査する．各手法を比較するために用いるデータとして SemEval2010の日本語語義曖昧性解消タスク (Okumura et al. 2010)を使用し検証を行う．SemEval2010 のデータでは語義曖昧性解消の対象となる単語は 50 単語であり 1 語あたりの事例数は訓練データ，テストデータでそれぞれ 50 事例となっている。この数字は 1 語義あたり 200 の訓練事例があるかな漢字換言タスクに比べて非常に規模が小さい.また, 3 章で述べたように日本語語義曖昧性解消タスクはかな漢字換言に比べ 1 語あたりの平均語義数が多く，頻度分布のエントロピーも大きいことからかな漢字換言よりも難しいと言える.

実験設定は基本的に前節と同様のものを用いる。なお，データセット自体が単語分割されているため，単語分割について雪だるまは使用していない.

比較する素性として前節同様対象単語の周辺単語の分散表現をつなぎ合わせる CWE，対象単語の周辺単語のベクトルを足し合わせる AVE， CWEに対して周辺単語の BoWを素性として加えた $\mathrm{CWE}+\mathrm{BoW} ， 4$ 章にて提案した $\mathrm{CWE}$ と $\mathrm{AVE}$ を組み合わせる手法 $(\mathrm{CA})$, さらに $\mathrm{PMI}$ を組み合わせた手法 (CAP) に関して精度の比較を行う。

## 5.2.2 結果

5.1 節で用いた素性を使用して日本語語義曖昧性解消タスクでの実験を行った．各素性において空幅を変化させていったときの精度の変化のグラフを図 7 に示す. また, 各素性において最も精度が良かったときの数字とその時の窓幅を表 5 に示す。

なお, $\mathrm{CA}$ や $\mathrm{CAP}$ の手法において, 足し合わせて使う周辺単語の密幅は訓練データで 5 分割交差検定を行い最も精度の良かった 2 に固定してある。

まず，図 7 から見て分かる通り, どの手法においても窓幅が小さい時の精度が非常に高く,

図 7 各素性を用いた日本語の語義曖昧性解消

表 5 素性ごとの語義曖昧性解消の精度比較

空幅を広げていくとその精度が落ちていっていることがわかる。この結果は粒度の粗いかな漢字換言と違い, 細かい粒度の語義は前後の単語から決定的に行えるということを示している。 CWE と CA の間に大きな精度の差が見られなかったのはこれが一つの理由であると考えられる。空幅が小さい際は「単語の位置が規定される」という問題が少なく, 周辺語の出現パター ンを比較的少ない訓練事例で学習することが可能である。そのため 2 つの素性の間に差が生まれなかったのだと考察できる.

一方で CWE に比べ PMI を組み合わせた手法は約 1 ポイント精度が向上している。これは先程の考察の一方で一部の語義の決定には曖昧性解消の対象となる単語から離れた単語も有効であるということを示している。CAP の素性において PMI で選んだ単語の曖昧性解消の対象となる単語の距離のヒストグラムは図 8 になっている. 図 8 を見るとかな漢字換言での検証と同様, PMI が高い単語は前後 2 単語に集中していることがわかる. 周辺 2 単語以内に最も PMI が高い単語が出現した割合は訓練データ中では約 $26 \%$ であった。一方で換言対象からの距離が 3 以上のものも一定数出現しておりこれらを素性として加えることで一部の語義が正しく導くこ

図 8 PMI によって選ばれた単語の語義曖昧性解消図 9 PMI の窓幅を変化させたときの精度の変化の対象単語との距離

とができ，精度が約 1 ポイント向上したのだと考えられる，距離 3 以上の位置に最も PMI が高

遠くの位置の単語が語義を決定するのに有効であると言える.

また，SemEval2010の日本語語義曖昧性解消タスクでは 1 文ではなく文章全体から PMI によって素性を選ぶ手法についても検討することができる。従来の日本語の語義曖昧性解消は 1 文単位での手法がほとんどである。しかしながら，同文章中であれば似た文が多く含まれていると考えられるため，精度の向上に寄与する可能性がある。図 9 に語義曖昧性解消の対象単語が含まれる文章を用い，PMI で考慮する窓幅を変化させていった時の精度の変化を示す.

図 9 を見ると空幅 50 以下で $\mathrm{CWE}$ 等の手法に比べて高い精度を記録していることが見て取れる。また窓幅 40 において精度 $78.6 \%$ を記録しており，PMI での空幅を適切に考慮することで 1 文ではなく文章単位でも精度を向上させることが可能であると言える。一方で，ある一定以上 PMI の窓幅を上げていくとその精度は低下していき, その他の手法とあまり変わらない値となっている。これは距離が遠すぎる単語は対象単語を含む文と比べて周辺文脈が大きく変わっており, PMIが大きい単語でも曖昧性解消の素性として効果がないからであると言える。

結論として日本語の語義曖昧性解消では，広い窓幅から重要な単語を適切に素性として加えることで一定の精度の向上が見达めることがわかる。

## 5.3 訓練データの増減による換言精度の変化

## 5.3.1 実験設定

ここでは前節で有効性が確認できた各手法において，訓練デー夕を増やすことによる換言精度への影響について調査する。 Marquez らは訓練データの規模を 1 語義あたり 200 件以上に増

やすことで分類精度が向上することを報告しているが (Marquez, Escudero, Martinez, and Rigau 2006)，それ以上に規模を大きくした論文については存在しない.しかし，かな漢字換言を通した語義曖昧性解消の調査では訓練デー夕を自動で抽出することが可能である。そこで今回，我々はかな漢字換言の特性を活かして訓練データを 1 語義あたり 5,000 件用意し, 規模を増加させたときの精度の変化を確認した。訓練データを抽出する上で BCCWJではそのコーパスの大きさが不十分で，すべての漢字の例について十分な規模の訓練データを抽出することができなかったため, 本実験ではすべて日本語ウェブコーパス $(2010)^{10}$ のテキストアーカイブから 3 章で抽出した方法と同様にして抽出したものを使った。BCCWJ の規模はテキスト形式でおよそ $600 \mathrm{MB}$ であるがウェブコーパスの規模は 396 GB であり，またその文数は BCCWJ 約 600 万文に対してウェブコーパスでは約 56 億文と，かな漢字換言の訓練データ作成において十分な量である。訓練デー夕には 3 章で構築した 1 語義あたり 200 件の訓練デー夕は使わず，全てウェブコーパスから抽出したもののみを使う。これはドメインの違うデータを用いることによる精度の変化の影響を排除するためである。語義曖昧性解消において訓練デー夕はその大きさだけではなく多様性によっても左右される。そのため，より多様性に富んだデー夕を意図的に抽出することで訓練データを増やしていった時の精度をより向上させることが可能であると考えられる。しかし，ここでの調査は訓練データの大きさによる精度への影響を調べることに焦点を当てるため, 恣意的に抽出するデータを選ぶようなことはせずウェブコーパスのみから無作為に訓練データを選択している。テストデータには 3 章で構築したものと同じものを使用する.

## 5.3.2 実験結果

訓練事例数を増やしていった際のかな漢字換言における各手法の精度の変化を図 10 に示す. なお，訓練データの規模を示す横軸は対数表示である。またグラフ中の $\mathrm{CAP}_{J}$ は SemEval2010 の日本語語義曖昧性解消タスクについて訓練データを制限した際の数値を示す。かな漢字換言では横軸の値は 1 語義あたりの訓練事例なのに対し，日本語語義曖昧性解消タスクでは横軸の値は 1 単語あたりの訓練事例であることに注意されたい。また，日本語語義曖昧性解消タスクでは純粋な訓練事例の変化による精度を確認するため，訓練データ中の各語義のバランスを考慮し各語義の訓練データを順に追加している。

グラフを見ると，かな漢字換言においてある程度まではデータが増えることによって大きく精度が変わっているが，徐々にその傾きが緩やかになっていき， 1 語義あたりの訓練データが 5,000 件前後になるとほぼ精度が変わらなくなることがわかる. このことから，訓練データの規模は大きければ大きいほどよいが， 1 語義あたり 1,000 から 5,000 件程度訓練事例を用意することで精度が収束すると言える。また, 訓練データが少ない 10 から 100 までの間では訓練データ


図 10 訓練データの大きさによる精度の変化

サイズの変化に応じて精度が大きく向上しており，このことからも一定量の訓練デー夕を用意することが語義曖昧性解消において非常に重要であることを示している.

日本語語義曖昧性解消タスクにおいてデータを制限した際の学習曲線においても訓練事例の増加に伴って精度の向上が確認できる。かな漢字換言に比べ学習曲線が緩やかになっているものの，データ数を指数関数的に増やすことによって一定の精度向上が見られる．かな漢字換言では横軸が 1 語義あたりのデー夕数なのに対し日本語語義曖昧性解消タスクでは 1 単語あたりのデータ数である。平均語義数が多い日本語語義曖昧性解消タスクでは語義あたりのデータの増加量がかな漢字換言に比べ緩やかになっていると考えられ，グラフの傾きが緩やかになっているのだと考えられる。また，かな漢字換言と違い語義曖昧性解消タスクでの検証ではデータに語義の偏りが存在するためここでの比較は公平ではないが，訓練事例を指数関数的に増加させることが精度向上に寄与することはこのグラフから読み取ることができる。

使う素性によってグラフの傾きも変わり, CAPのグラフは教師データが非常に少ない場合でも CWE 単体に比べて 10 ポイント近く高い精度を示している.このことから CAP は分散表現の特徴をうまく捉え，似た文脈に関しても正しい漢字を予測することができていることがわかる。逆に教師データの量が大きければ大きいほど各手法の差は小さくなっている．訓練事例を 1 語義あたり 10 事例用意した際の CWE と CAP の精度の差は 9.7 ポイントであり，訓練事例を 5,000 事例用意した際の精度の差は 1.2 ポイントである. これは, CWE で問題であった単語の位置が規定されるという問題が，教師データの規模を非常に大きくすることで無理やり解消できたからだと考えられる。この結果からも一定数の訓練データを用意した上で手法の有効性を評価することが，実用的な語義曖昧性解消の検証につながると考えられる．また，ここでの実
験では訓練データの多様性は考慮していないためこのような結果になっているが, より多様性を考慮したデータセットを作ることでより少ない訓練事例で精度が収束することも考えられる。

しかしながら語義曖昧性解消のデータセットとして 1 語義あたり 1,000 事例の非常に大きな訓練データを作るのは非常にコストがかかるため現実的ではない.この結果からある一定量のデータと精度よく曖昧性解消できる手法を組み合わせることが最も高い精度を出すために重要であると言える。また，小規模な訓練データを用いて確度の高いデータを訓練デー夕に追加し学習を行っていく半教師あり学習が語義曖昧性解消に有効であると考えられる.

## 5.4 訓練データのドメインによる精度の変化の確認

## 5.4.1 実験設定

この節では訓練データのドメインとテストデータのドメインによって精度がどの程度変わるかを検証する。一般に異なるドメインのデータで学習させたモデルを, 別のドメインのテストデータに合うようにチューニングすることは領域適応と呼ばれ構文解析や語義曖昧性解消において精度を上げる上で重要な研究の一つになっている (McClosky, Charniak, and Johnson 2010). また語義曖昧性解消において訓練データの多様性を考慮することは周辺の文脈パターンをモデルにより幅広く学習させることができ, 精度の向上が期待できる. 異なるドメインのデータを用いて語義曖昧性解消を行う実験は新納ら (新納, 佐々木 2013)などが行っているが, ここで使われている SemEval2010の日本語語義曖昧性解消夕スクではドメインごとに訓練データのサイズが異なるため, 単純なドメインの変化による精度の影響の調査としては不十分である. そこで，訓練データを大量のテキストから自動で作れるかな漢字換言の特性を活かし，異なるドメインのデータで学習したモデルを別のドメインのテストデータで用いた際の精度について検討する。また, 複数ドメインの訓練データを混ぜて学習させることによる精度への影響についても検討する。

この実験では訓練データ，テストデータとして使用するドメインの異なるデータセットとして 3 章にて BCCWJ より構築したデータセットと, 2016 年 3 月 5 日にダンプされた日本語の Wikipediaのデータから抽出したテキストを元に 3 章と同じ方法で構築したデータセットを用いる，BCCWJには新聞や Webデータなど様々なドメインの文章が含まれているが, Webデー 夕として使われているものは Yahoo!知恵袋と Yahoo!ブログから収集されたテキストデータである。そのため, Wikipedia 等の事物を説明するための文章とは異なるドメインであると考え,実験を行う．訓練データ，テストデータの大きさはどちらのデータセットにおいても同じ量になっている。その他の実験設定は 5.1 節と同じものを使用する.

比較のための手法には 5.1 節で最も精度の良かった CAP を用いる。周辺単語の分散表現を足し合わせる際の窓幅は 3 , 分散表現をつなぎ合わせて考慮する窓幅の設定は 10 としている.

## 5.4.2 実験結果

BCCWJ, Wikipediaより構築された訓練データを用いてモデルを学習させ，それぞれ異なるテストセットで評価を行った。実験結果を表 6 に示す。表中の BCCWJ+Wikipedia はそれぞれの訓練データ 200 件のうち, ランダムで 100 件ずつ抽出し統合したものを訓練データとして使用した場合となっている.

表を見るとそれぞれのドメインで学習させて同じドメインのテストデータで評価したものに比べて, 相互にテストデー夕を入れ替えた結果は精度が落ちていることがわかる．特に訓練デー 夕として Wikipedia から抽出したデータを使い BCCWJ で曖昧性解消をしたものは約 5 ポイントほど精度が低下している。このことから, 語義曖昧性解消においてドメインごとにあった訓練データを用いることが精度向上に大きく寄与するといえる。一方で BCCWJ から抽出したデー 夕を使い Wikipedia のテストデータで評価したものは精度の減少はあるものの約 1.2 ポイントと少なくなっている。これは BCCWJ が均衡コーパスであり様々なドメインのデータを含んでいるため多様性に富んでいるからだと考えられる。これは多様性に富んだ訓練デー夕を用いることが精度向上に貢献することを示唆するものである.

また，それぞれのドメインの訓練データを混ぜ学習させたモデルは BCCWJ, Wikipedia から作成したテストデータ両方において高い精度が発揮できており，それぞれのドメインの訓練データのみを学習させ, 同ドメインのテストデータで評価したときの精度とほぼ変わらない值を得ることができている。この結果からも語義曖昧性解消で用いる訓練データは広いドメインから幅広い文を対象に抽出したほうが訓練デー夕の多様性を考慮でき, より高い精度での曖昧性解消が期待できることを表している。また, この結果は「対象語毎に訓練データの分野の組合せを変えて学習するより, 分野に関係なくすべての訓練データを学習に用いる方が精度が良い」という Fujita らの報告 (Fujita et al. 2010)が，訓練デー夕の大きさが同じ場合でもほぼ変わらない精度を得ることができることを示している。

結論として, 語義曖昧性解消においてテストデータにあった訓練デー夕を用いることが精度

表 6 ドメイン変化時の精度

向上に大きく寄与する一方で，訓練デー夕の多様性を考慮することで様々なドメインのデータにも対応できると言える。

## 6 結論

本論文ではかな漢字換言を通して日本語の語義曖昧性解消において幾つかの問題点を明らかにした。

まず素性として使う単語の選び方である。我々は事前の実験を通して文全体を見て文中から正しく素性を選ぶことが重要であることを示し, 分散表現と PMI を用いて周辺文脈と曖昧性解消の対象となる単語から離れた単語について考慮する手法を考案した。手法の有効性に関して BCCWJ から作成したかな漢字換言のデータセットを用いて実験を行ったところ, ベースラインとなる単純な単語の分散表現のつなぎ合わせに比べ約 2 ポイント高い精度を得ることができた. また考慮する窓幅についても検討したところ，周辺 5 単語以上を考慮することでより高い精度を得ることができることを確認した。このことからより文中の様々な単語を考慮することがかな漢字換言において重要であるということを明らかにした.

さらに日本語の語義曖昧性解消タスクを用いて提案手法の有効性について検証した。その結果, 単純な単語の分散表現のつなぎ合わせに対して周辺単語の平均ベクトルを足し合わせる方法の有効性は確認できなかったが, PMI を用い文全体から適切な単語の分散表現を素性として加えることが有効であることを確認した.

また，我々は訓練データの大きさによる語義曖昧性解消への影響も調査した。訓練データを 10 件から 5,000 件まで増やしていったときのかな漢字換言の精度を確認し，分散表現を用いた各手法で実験を行った。その結果, 分散表現を用いた手法では, 非常に大きな規模の訓練デー 夕を用意することでどの手法においてもほぼ変わらない精度を得られることを確認した. その一方で高い精度を得るために必要なデー夕は指数関数的に増えていくため, より少ないデー夕で高い精度を得られる手法が教師ありの語義曖昧性解消において重要であることを確認した。

さらに我々は訓練データのドメインについても調査を行った. BCCWJ と Wikipedia から作成した訓練データとテストデータを相互に使い実験し，各ドメインにあった訓練データを使うことが精度向上において重要であることを確認した。また，各ドメインの訓練デー夕を混ぜて学習させた結果から, 幅広いドメインの文章から多様性に富んた語義曖昧性解消のデータセットを作ることが語義曖昧性解消に対して有効であることを確認した.

語義曖昧性解消はコンピュータの意味理解において重要な役割を果たすため, より精度の高い手法やツールが求められるはずである。本論文を通して自然言語処理における語義曖昧性解消という問題が少しでも解消できればいいと願う.

## 謝 辞

本研究は, 平成 $27 \sim 31$ 年科学研究費補助・基盤 (B) 課題番号 $15 \mathrm{H} 03216$, 課題名「日本語教育用テキスト解析ツールの開発と学習者向け誤用チェッカーへの展開」, 及び平成 $29 \sim 31$ 年科学研究費助成事業挑戦的萌芽課題番号 $17 \mathrm{~K} 18481$, 課題名「やさしい日本語化実証実験による言語資源構築と自動平易化システムの試作」の助成を受けています。

## 参考文献

Bansal, M., Gimpel, K., and Livescu, K. (2014). "Tailoring Continuous Word Representations for Dependency Parsing." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 809-815, Baltimore, Maryland. Association for Computational Linguistics.

Baroni, M., Dinu, G., and Kruszewski, G. (2014). "Don’t Count, Predict! A Systematic Comparison of Context-Counting vs. Context-Predicting Semantic Vectors." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 238-247, Baltimore, Maryland. Association for Computational Linguistics.

Cai, J., Lee, W. S., and Teh, Y. W. (2007). "Improving Word Sense Disambiguation Using Topic Features." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 1015-1023, Prague, Czech Republic. Association for Computational Linguistics.

藤田早苗, Duh, K., 藤野昭典, 平博順, 進藤裕之 (2011). 日本語語義曖昧性解消のための訓練データの自動拡張. 自然言語処理, 18 (3), pp. 273-291.

Fujita, S., Duh, K., Fujino, A., Taira, H., and Shindo, H. (2010). "MSS: Investigating the Effectiveness of Domain Combinations and Topic Features for Word Sense Disambiguation." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 383-386, Uppsala, Sweden. Association for Computational Linguistics.

Fujita, S. and Fujino, A. (2013). "Word Sense Disambiguation by Combining Labeled Data Expansion and Semi-Supervised Learning Method." ACM Transactions on Asian Language Information Processing, 12 (2), pp. 7:1-7:26.

Iacobacci, I., Pilehvar, M. T., and Navigli, R. (2016). "Embeddings for Word Sense Disambiguation: An Evaluation Study." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 897-907, Berlin, Germany. Association for Computational Linguistics.
井上裁都, 斎藤博昭 (2011). ラベルなしデータの二段階分類とアンサンブル学習に基づく半教師あり日本語語義曖昧性解消. 自然言語処理, 18 (3), pp. 247-271.

Lopez de Lacalle, O. and Agirre, E. (2015). "A Methodology for Word Sense Disambiguation at 90\% based on Large-scale CrowdSourcing." In Proceedings of the 4th Joint Conference on Lexical and Computational Semantics, pp. 61-70, Denver, Colorado. Association for Computational Linguistics.

Marquez, L., Escudero, G., Martinez, D., and Rigau, G. (2006). Word Sense Disambiguation: Algorithms and Applications, Chap. 7, pp. 184-195. Springer.

McCarthy, D. (2009). "Word Sense Disambiguation: An Overview." Language and Linguistics Compass, 3 (2), pp. 537-558.

McClosky, D., Charniak, E., and Johnson, M. (2010). "Automatic Domain Adaptation for Parsing." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 28-36, Los Angeles, California. Association for Computational Linguistics.

Mihalcea, R., Chklovski, T., and Kilgarriff, A. (2004). "The Senseval-3 English Lexical Sample Task." In Proceedings of Senseval-3: 3rd International Workshop on the Evaluation of Systems for the Semantic Analysis of Text, Barcelona, Spain, July 2004. Association for Computational Linguistics (ACL).

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." CoRR, abs/1310.4546.

村本英明，鍜治伸裕，吉永直樹，喜連川優 (2011). Webテキストを対象とした語義曖昧性解消のための言語資源の半自動構築. 情報処理学会論文誌, 52 (12), pp. 3338-3348.

Navigli, R. (2009). "Word Sense Disambiguation: A Survey." ACM Computing Surveys, 41 (2), pp. 10:1-10:69.

Navigli, R. (2012). A Quick Tour of Word Sense Disambiguation, Induction and Related Approaches, pp. 115-129. Springer Berlin Heidelberg, Berlin, Heidelberg.

Navigli, R., Litkowski, K. C., and Hargraves, O. (2007). "SemEval-2007 Task 07: Coarse-Grained English All-Words Task." In Proceedings of the 4th International Workshop on Semantic Evaluations (SemEval-2007), pp. 30-35, Prague, Czech Republic. Association for Computational Linguistics.

小椋秀樹, 原裕, 小木曽智信, 小磯花絵, 宮内佐夜香 (2010). 形態素解析辞書 UniDic における同語異語判別について. 言語処理学会第 16 回年次大会発表論文集, pp. 486-489.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2010). "SemEval-2010 Task: Japanese WSD." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 69-74,

Uppsala, Sweden. Association for Computational Linguistics.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2011). "On SemEval-2010 Japanese WSD

Task.”自然言語処理, 18 (3), pp. 293-307.

Petersen, T. (2006). Word Sense Disambiguation: Algorithms and Applications, Chap. 6, pp. 133-166. Springer.

Pradhan, S., Loper, E., Dligach, D., and Palmer, M. (2007). "SemEval-2007 Task-17: English

Lexical Sample, SRL and All Words." In Proceedings of the 4th International Workshop on Semantic Evaluations (SemEval-2007), pp. 87-92, Prague, Czech Republic. Association for Computational Linguistics.

Raganato, A., Camacho-Collados, J., and Navigli, R. (2017). "Word Sense Disambiguation: A

Unified Evaluation Framework and Empirical Comparison." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 99-110, Valencia, Spain. Association for Computational Linguistics.

新納浩幸, 古宮嘉那子, 佐々木稔 (2017). 順方向多層 LSTM と分散表現を用いた教師あり学習

による語義曖昧性解消. テクニカル・レポート 4 , 茨城大学工学部情報工学科.

新納浩幸, 村田真樹, 白井清昭, 福本文代, 藤田早苗, 佐々木稔, 古宮嘉那子, 乾孝司 (2015).

クラスタリングを利用した語義曖昧性解消の誤り原因のタイプ分け. 自然言語処理, $22(5)$, pp. 319-362.

新納浩幸, 佐々木稔 (2013). $\mathrm{k}$ 近傍法とトピックモデルを利用した語義曖昧性解消の領域適応.

自然言語処理, 20 (5), pp. 707-726.

白井清昭 (2003). SENSEVAL-2 日本語辞書タスク. 自然言語処理, 10 (3), pp. 3-24.

白井清昭, 柏野和佳子, 橋本三奈子, 徳永健伸, 有田英一, 井佐原均, 荻野紫穂, 小船隆一, 高

橋裕信, 長尾確, 橋田浩一, 村田真樹 (2001). 岩波国語辞典を利用した語義夕グ付きテキス

トデータベースの作成. 情報処理学会研究報告自然言語処理 (NL), 2001 (9), pp. 117-124.

Sugawara, H., Takamura, H., Sasano, R., and Okumura, M. (2015). "Context Representation with Word Embeddings for WSD." In International Conference of the Pacific Association for Computational Linguistics, pp. 108-119.

Wawer, A. and Mykowiecka, A. (2017). "Supervised and Unsupervised Word Sense Disambiguation on Word Embedding Vectors of Unambigous Synonyms." In Proceedings of the 1st Workshop on Sense, Concept and Entity Representations and their Applications, pp. 120-125, Valencia, Spain. Association for Computational Linguistics.

山木翔馬, 新納浩幸, 古宮嘉那子, 佐々木稔 (2015). 分散表現を用いた教師あり機械学習による語義曖昧性解消. テクニカル・レポート 17 , 茨城大学工学部情報工学科.

Yamamoto, K., Gumizawa, Y., and Mikami, Y. (2017). "Word Sense Implantation by Or-
thographical Conversion." International Journal of Asian Language Processing, 27 (2), pp. 79-94. Chinese and Oriental Languages Information Processing Society (2017.12).山本和英, 高橋宽治, 桾澤優希, 西山浩気 (2016). 日本語解析システム「雪だるま」(第 2 報)進捗報告と活用形態素の導入（言語理解とコミュニケーション）－（第 9 回テキストマイニング・シンポジウム）．電子情報通信学会技術研究報告, 116 (213), pp. 63-68.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 33rd Annual Meeting on Association for Computational Linguistics, ACL '95, pp. 189-196, Stroudsburg, PA, USA. Association for Computational Linguistics.

## 付録

## A 換言対象となるひらがなと漢字候補

## 略歴

桾澤優希 : 2017 年長岡技術科学大学工学部電気電子情報工学課程卒業. 同年,同大学工学研究科修士課程電気電子情報工学専攻に進学. 現在に至る. 自然言語処理の研究に従事.

山本和英：1996 年 3 月豊橋技術科学大学大学院工学研究科博士後期課程システム情報工学専攻修了. 博士 (工学)。1996 年〜2005 年（株）国際電気通信基礎技術研究所 (ATR) 研究員. 1998 年中国科学院自動化研究所国外訪問学者. 2002 年から長岡技術科学大学, 現在准教授. 自然言語処理, 人工知能（知識構築), 日本語教育 (支援ツール作成) の研究開発に従事． 2012 2014 年電子情報通信学会言語理解とコミュニケーション (NLC) 研究会委員長, 2016 年から言語処理学会理事. 言語処理学会, 人工知能学会, 日本語教育学会, 情報処理学会, 電子情報通信学会, 言語資源協会, アジア太平洋機械翻訳協会各会員。

(2017 年 9 月 14 日受付)

(2017 年 12 月 31 日再受付)

(2018 年 2 月 13 日採録)