# 文脈限定 Skip-gram による同義語獲得

城光 英彰 $\dagger \cdot$ 松田 源立 ${ }^{\dagger \dagger} \cdot$ 山口 和紀咕
}

本論文では, 分布仮説に基づく同義語獲得を行う際に, 周辺単語の様々な属性情報 を活用するために，文脈限定 Skip-gram モデルを提案する．既存の Skip-gram モデ ルでは, 学習対象となる単語の周辺単語 (文脈) を利用して, 単語べクトルを学習 する。一方, 提案する文脈限定 Skip-gram モデルでは, 周辺単語を, 特定の品詞を 持つものや特定の位置に存在するものに限定し, 各限定条件に対して単語ベクトル を学習する。したがって，各単語は，様々な限定条件を反映した複数の単語べクト ルを所持する。提案手法では, これら複数種類の単語ベクトル間のコサイン類似度 をそれぞれ計算し，それらを，線形サポートベクトルマシンと同義対データを用い た教師あり学習により合成することで, 同義語判別器を構成する。提案手法は単純 なモデルの線形和として構成されるため, 解釈可能性が高い. そのため, 周辺単語 の様々な単語属性が同義語獲得に与える影響の分析が可能である。また，限定条件 の変更も容易であり，拡張可能性も高い。実際のコーパスを用いた実験の結果, 多数の文脈限定 Skip-gram モデルの組合せを利用することで，単純な Skip-gram モデ ルに比べて同義語獲得の精度を上げられることがわかった。また, 様々な単語属性 に関する重みを調査した結果，日本語の言語特性を適切に抽出できていることもわ かった.

キーワード：同義語獲得，Skip-gram モデル，サポートベクトルマシン
## Automatic Synonym Acquisition Using a Context-Restricted Skip-gram Model

\author{
Hideaki Joko ${ }^{\dagger}$, Yoshitatsu Matsuda ${ }^{\dagger \dagger}$ and Kazunori Yamaguchi ${ }^{\dagger \dagger}$
}

This research proposes a context-restricted Skip-gram model for acquiring synonyms by employing various properties of the context words. The original Skip-gram model learned the word vector of each target word by utilizing all the context words around it. In contrast, the proposed context-restricted Skip-gram model learns multiple word vector types of each target word by limiting the context words to those pertaining to specific parts of speech or those present at specific relative positions. The proposed method calculates the cosine similarities on multiple word vector types and combines these similarities using linear support vector machines. The proposed method has high interpretability because it is a weighted linear summation of simple models. The interpretability of the proposed method enables us to investigate the degree of influence for acquiring synonyms from various properties of the context words. Moreover,

the proposed method has high extendability because the conditions of context restriction can be easily changed and added. Experimental results using actual Japanese corpora showed that the proposed method aggregating multiple context-restricted models achieved a higher performance than the previous single Skip-gram model. In addition, the estimated weights of various properties of the context words could appropriately elucidate some grammatical characteristics of the Japanese language.

Key Words: Synonym Acquisition, Skip-gram Model, Support Vector Machine

## 1 序論

自然言語処理において高度な意味処理を実現する上で，同義語の自動獲得は重要な課題である (乾 2007). 例えば，近年の検索エンジンのクエリ拡張においては同義語辞書が用いられている (内海，小町 2013) が，新出単語に対し全て人手で同義語辞書を整備することは現実的ではない. 同義語の獲得には様々な手法が提案されている. 例えば笠原ら (笠原, 稲子, 加藤 2003) は国語辞典を用いて，見出し語に対して語義文により単語のべクトルを作成した後，シソーラスにより次元圧縮を行う方法で同義語の獲得を行った。また, 渡部ら (渡部, Bollegala, 松尾, 石塚 2008) は，検索エンジンを用いて，同義対を共に含むようなパターンを抽出し，得られたパターンから同義語の候補を得るという手法で同義語の抽出を行い，係り受け解析を行わずとも既存手法と同様の性能が得られることを示した. 一方, これらの研究とは異なり「同じ文脈に現れる単語は類似した意味を持つ」という分布仮説 (distributional hypothesis) (Zellig 1954)に基づいたアプローチも存在する。実際に文脈情報が同義語獲得に有用であるとの報告 (Hagiwara， Ogawa, and Toyama 2006) もあり，加えてその他の手法と組み合わせて使用することが可能であるという利点もある。そこで，本研究では文脈情報を用いたアプローチを検討する。

文脈情報の獲得にも手法が多数存在するが，近年では，分布仮説に基づきニューラルネットワーク的な手法を用いて単語の “意味”を表すべクトル（単語ベクトル）を求める Skip-gram モデル (Mikolov, Chen, Corrado, and Dean 2013) が注目されている. Skip-gram モデルで得られた単語べクトルを利用するとコサイン類似度により単語の意味の類似度が計算できることが知られており，その性能は既存手法より良いという報告 (Schwartz, Reichart, and Rappoport 2015) もある。しかし, Skip-gram モデルでは周辺単語の品詞や語順を無視したものを文脈情報として用いており，有用な情報を無視している可能性がある。実際に既存の Skip-gram モデルでは同義語獲得に失敗する例として,「カタカナ語」と「和語」からなる同義語対の場合, コサイン類似度が低くなることなどが知られており (城光，松田，山口 2015)，改善が望まれる。

そこで, 本研究では, Skip-gram を拡張し, 周辺単語の品詞情報や語順情報を取り込み可能なモデル（文脈限定 Skip-gram）を提案する。文脈限定 Skip-gram では，既存の Skip-gram と違い, 周辺の単語のうち, ある条件を満たすもの（特定の単語分類属性（品詞等）や特定の相対
位置）のみを文脈として利用し，単語ベクトルを学習する。たとえば，「カタカナ語」あるいは 「カタカナ語」ではないもの（これを「非カタカナ語」と呼ぶ）のみに周辺単語を限定することによって, 周辺の「カタカナ語」あるいは「非カタカナ語」との関係を強く反映した単語べクトルを学習することができる。そして，そのような様々な限定条件ごとに単語ベクトル及びコサイン類似度を計算し，それらを線形サポートベクトルマシン (SVM) と同義対データを用いた教師あり学習による合成することで，同義語獲得を行った。その結果，日本語の言語特性を適切に抽出して利用できていることがわかった。たとえば，同義語の獲得精度が一番高かったモデルにおいては，「非カタカナ語」および「直後の単語」などの特定の限定条件から得られたコサイン類似度への重みが大きいことがわかった。また，これらの限定条件への重みを大きくすることは，既存の Skip-gram モデルでは獲得が難しかった「カタカナ語」と「和語」からなる同義対の獲得の精度へ大きな影響をあたえることもわかった。

本論文の構成は以下のとおりである。第 2 節では，関連研究について述べる。第 3 節では，提案手法について述べる， 3.1 節では，既存の Skip-gram モデルについて概説し， 3.2 節では，提案する文脈限定 Skip-gram モデルについて説明する，第 4 節では，使用データと予備実験について述べる．4.1節では実験に使用したコーパス及び同義語対／非同義語対の教師デー夕作成方法について，4.2 節では Skip-gram における設定と SVM の素性作成方法に関する予備実験について述べる。第 5 節では提案手法による結果を示し，有効性を議論する。最後に第 6 節において結論を述べる.

## 2 関連研究

同義語の自動推定には様々な手法が存在する，笠原ら (2003) は, 第 1 節に述べたように, 国語辞典の語義文と大規模なシソーラスを用いて単語ベクトルを作成し, 同義語の獲得を行った. また，渡部ら (2008) は，検索エンジンを用いて同義対 (X,Y)を共に含むようなパターンを抽出した後に, 得られたパターンから同義対の候補を抽出し順位付けを行うことで, 同義対（と関連語）を獲得し，係り受け解析を行わずとも既存手法と同様の性能が得られることを示した。これらの手法では, 同義語の推定に, 何らかの単語の素性を使用している。例えば, 笠原ら (2003) はVSM（ベクトル空間モデル）を使用しており，渡部ら (2008) は同義対を共に含むようなパターンを使用している，笠原ら (2003)のような文章中の単語の出現頻度のみを用いた VSM は,語の位置関係を無視し（必然的に，周辺文脈を無視し）ているが，特異値分解やシソーラスなどによる次元圧縮手法が適用可能であり，スパースネスなどの問題を緩和できるという利点を持つ。また，渡部ら (2008)の手法は，パターンを事前に獲得しておくことで新出の同義語を新たに学習すること無く獲得できるという利点がある。これらの素性による同義語獲得は一定の成果を上げているものの，精度の面においてはまだ課題が残る。
一方，第 1 節において述べたように，文脈情報からニューラルネットワーク的な手法を用いて単語の“意味”を表すべクトル（単語ベクトル）を求める手法が，その高い意味獲得精度から注目されている (Schwartz et al. 2015). 文脈情報から単語べクトルを獲得する研究には様々なものがある. 周辺単語の相対位置や語順に着目したものとしては Ling et al. (Ling, Tsvetkov, Amir, Fermandez, Dyer, Black, Trancoso, and Lin 2015)のものや, Trask et al. (Trask, Gilmore, and Russell 2015)のものが挙げられる. Ling et al. (2015)は周辺単語の相対位置を考慮した重み付けを行うことで, Trask et al. (2015) は単語の語順や文字列を利用した Skip-gram モデルを作成することで，文法構造をより反映する単語べクトルが学習できることを示した。また，有賀, 鶴岡 (2015) は周辺単語から中心単語の言い換え表現を予測するタスクにおいて, 周辺単語の語順を考慮して単語べクトルを学習することで, 精度が向上することを報告した. 一方, 周辺単語だけでなく, 他の事前情報を加えた研究も存在する. 例えば, Levy and Goldberg (2014) は係り受け構造を考慮して, 単語ベクトルの学習をし, 意味の類似度判定テストで Skip-gram モデルより高い精度を報告した. Bian, Gao, and Liu (2014) は辞書などの意味情報を加えることで, Yu and Dredze (2014) は辞書情報とコーパスから単語ベクトルを同時に学習することで,意味の類似度判定テストの精度が高まることを示した。

これらの研究は, 周辺文脈に出現する単語の種類だけでなく, 語順や係り受け構造などの条件を加え，その上で単語ベクトルを「同時に」学習することで単語ベクトルの質を高める研究である。このようなモデルそのものに様々な要因をまとめて組み达んで新たなモデルを構築する研究に対して, 本研究では単語ベクトルを限定条件ごとに「個別に」学習し, その後, 同義語を教師あり学習により獲得するアプローチを試みる。具体的には, 第 1 節に述べたように様々な限定条件ごとの単語べクトルを学習し, それらを線形 SVM にて合成することで同義語の獲得を行う. 提案手法では, 線形SVM を用いた重み付けの際に, 教師例として同義対を用いることから, 「同義語の獲得」において重要なものの重みを学習する。そのため, 線形 SVM で学習された重みを見ることで，周辺単語が「同義語の獲得」に与える影響を知ることができる。このように，提案手法には高い解釈可能性がある。また, Skip-gram のモデル自体は変更せず，文脈限定関数で学習データを変更するだけで, 利用する単語属性の追加や変更が可能であるという高い拡張可能性もある. これらの解釈可能性と拡張可能性の二点が, 既存手法に対する提案手法の大きな優位点である.

## 3 提案手法

## 3.1 既存の Skip-gram モデル

ここでは Skip-gram モデル (Mikolov et al. 2013) について概説する. Skip-gram モデルは, ニューラルネットワーク的な手法を用いて，コーパスの文脈情報から，各単語の単語ベクトル

を学習する手法の一種である. Skip-gram モデルでは, ある単語 $w_{t}$ が文章内の位置 $t$ に存在した場合，その周辺単語 $w_{t+j}(j \neq 0)$ の発生確率 $p\left(w_{t+j} \mid w_{t}\right)$ を以下の式で与える.

$
p\left(w_{t+j} \mid w_{t}\right) \propto e^{v^{\prime}\left(w_{t+j}\right)^{T} v\left(w_{t}\right)}
$

ここで，ニューラルネットワークモデル的に言えば， $v(w)$ はある入力単語（中心単語） $w$ に依存した入力用べクトル,$v^{\prime}(w)$ はある周辺単語 $w$ の出力確率を計算するための出力用べクトルである. $v$ および $v^{\prime}$ の次元は事前に与えられる。出力確率は，入力用ベクトルと出力用ベクトルの内積に依存し, 内積が大きい程確率は高くなる。本論文では, わかりやすさのため, $v(w)$ を単語 $w$ の単語ベクトル， $v^{\prime}(w)$ を文脈ベクトルと呼ぶことにする，なお，確率分布は 1 に正規化されるので，語彙に含まれるすべての単語 $w$ での正規化により， $p\left(w_{t+j} \mid w_{t}\right)$ は以下で与えられる。

$
p\left(w_{t+j} \mid w_{t}\right)=\frac{e^{v^{\prime}\left(w_{t+j}\right)^{T} v\left(w_{t}\right)}}{\sum_{w} e^{v^{\prime}(w)^{T} v\left(w_{t}\right)}}
$

さらに $p\left(w_{t+j} \mid w_{t}\right)$ から，あるコーパスが与えられたときの尤度関数 $\ell$ あ下の式 (3) で定義する.

$
\ell=\sum_{t=1}^{T} \sum_{-c \leq j \leq c, j \neq 0} \log p\left(w_{t+j} \mid w_{t}\right)
$

ここで $T$ はコーパスのサイズ， $c$ は文脈空サイズであり， $1 \leq c \leq K$ の範囲で一様分布でランダムに決定される．Kは事前に与えられる最大文脈密サイズである．実際のコーパスを利用して， $\ell$ を最大化する単語べクトル $v(w)$ および文脈べクトル $v^{\prime}(w)$ を求めることが, Skip-gram モデルにおける学習である。なお，本来のモデルは以上の通りであるが，尤度関数 $\ell$ をのままの形で最大化することは，計算量等の問題で困難であるため，実際にはいくつかの近似が用いられる。例えば, (Mikolov et al. 2013) では, 階層的 softmax モデル近似が利用されているが,本論文では説明を省略する。

## 3.2 文脈限定 Skip-gram モデル

既存の Skip-gram モデルでは, 周辺単語として, 文脈密の中に存在するすべての単語を利用している。そのため, 周辺単語の種類, 語順等の情報を利用することはできない. 本研究では,文脈として利用される単語を限定することで，Skip-gram を改良する。なお，単語べクトルの推定に文脈での語順を考慮した既存研究としては第 2 節に述べた有賀ら (有賀, 鶴岡 2015)のものがあるが，本研究は，文脈間の依存関係を考慮していないという点において有賀らの研究とは異なる。
文脈限定 Skip-gram モデルでは，式 3 の目的尤度関数 $\ell$ が以下のように変更される.

$
\ell=\sum_{t=1}^{T} \sum_{-c \leq j \leq c, j \neq 0} \log p\left(w_{t+j} \mid w_{t}\right) \phi\left(w_{t+j}, j\right)
$

ここで，文脈限定関数 $\phi\left(w_{t+j}, j\right)$ は，周辺単語 $w_{t+j}$ および相対位置 $j$ がある条件を満たす時のみ 1 となり，それ以外は 0 となる関数である。詳細は省略するが，式 4 は既存の Skip-gram と同様の方法で最大化することが可能である。なお, $w_{t+j}$ とに関係なく常に 1 となる文脈限定関数 ( $\phi_{\text {ALL }}$ と呼ぶ）においては, 式 4 は式 3 と同一である. さて, 本研究では, 基本的な文脈限定関数 $\phi\left(w_{t+j}, j\right)$ として, 周辺単語の品詞, 種類に依存した $\phi_{\mathrm{POS}}^{p}\left(w_{t+j}\right)$, 周辺単語の左右に依存した $\phi_{\mathrm{LR}}^{p}(j)$, 周辺単語の相対距離に依存した $\phi_{\mathrm{WO}}^{p}(j)$ の 3 種類を用いる (これらの文脈限定関数を POS, LR, WO と参照する)。さらに，それらの組み合わせとして「POS-LR」「POS-WO」 も利用する。

$\phi_{\mathrm{POS}}^{p}(w)$ は，単語 $w$ が品詞等のある分類属性を持つ時のみ 1 となる文脈限定関数である．本論文では, 「副詞, 助詞, 動詞, 名詞, 固有名詞, 形容詞, 接頭詞, 数, 記号, カタカナ, 非力タカナ」の計 11 個を分類属性として利用する. 従って, $\phi_{\mathrm{POS}}^{1}(w), \ldots, \phi_{\mathrm{POS}}^{11}(w)$ の 11 種類が存在する。 $\phi_{\mathrm{LR}}^{p}(j)$ は, $j$ が正の時のみ 1 となる関数もしくは $j$ が負の時のみ 1 となる関数である.具体的には $j$ が正の時のみ 1 となる関数 $\phi_{\mathrm{LR}}^{0}(j)$ と, $j$ が負の時のみ 1 となる関数 $\phi_{\mathrm{LR}}^{1}(j)$ の二つが存在する。これらは, 周辺単語が右側にある場合と左側にある場合に対応している。 $\phi_{\mathrm{WO}}^{p}(j)$ は, $\phi_{\mathrm{LR}}^{p}(j)$ のある種の拡張であり, $j=p$ の時のみ 1 となる関数である. 本論文では, 前後 10 単語を対象とすることとした. したがって $, p=-10, \ldots,-1,1, \ldots, 10$ として与えられ，文脈空の特定の相対位置にある時のみに限定する 20 種類の関数となる。さらに，組み合わせにより, $\phi_{\mathrm{POS}-\mathrm{LR}}^{p q}(w, j)=\phi_{\mathrm{POS}}^{p}(w) \phi_{\mathrm{LR}}^{q}(j)$ および $\phi_{\mathrm{POS}-\mathrm{WO}}^{p q}(w, j)=\phi_{\mathrm{POS}}^{p}(w) \phi_{\mathrm{WO}}^{q}(j)$ として新たな文脈限定関数を構成可能である。表 1 に構成可能な文脈限定関数の個数一覧を示す。一つの文脈限定関数に関して一つの Skip-gram モデルが学習されるので, 最大で, 276 個のモデルが利用可能である。なお，相対位置を全て区別する WO, POS-WO に関しては, 元の Skip-gram と異なり, 文脈密サイズ $c$ は常に最大値 $K$ をるものとした.

実際の同義語獲得を行う際には, 学習された各 Skip-gram モデルにおいて単語間のコサイン類似度を計算する (コサイン類似度を用いる理由は 4.2 .2 節において後述する)。本研究では, 各モデルでの類似度を素性とみなし，教師デー夕に基づいて，線形SVM で各々の素性に対する重み

表 1 文脈限定関数の個数一覧

を学習することにより，判定関数を構築する。そのため，提案手法は教師なし学習の Skip-gram を教師あり学習により拡張しているといえる。更に，素性の重みについては線形SVM の値を利用するが, 闇値については $\mathrm{F}$ 值を最大化をするようなものを推定することで（F 值最大化）, さらなる最適化を行った。また, SVM 使用の際には加算平均が 0 , 分散が 1 となるように各素性の正規化処理を行った。

## 4 使用データと予備実験

## 4.1 使用データ

単語ベクトル作成において用いたコーパスとして，日本語 Wikipedia データ11 (2 Gbytes)を $\mathrm{MeCab}^{2}$ により mecab-ipadic-neologd 辞書 3 を用いて基本形出力でわかち書きと品詞付与を行った後に, 出現回数が 100 回未満の低頻度語を除いたものを使用した。最終的に, Skip-gram モデルで単語ベクトルが獲得された単語は 104,630 種類となった. ただし, 同じ単語であっても品詞が異なるものは区別して扱った． Skip-gram モデル4では，階層的 softmax モデルを用いて学習を行った。

文脈限定 Skip-gram の計算時間については，各々の文脈モデルは独立に学習していることから，計算時間は ALL（既存 Skip-gram）とモデル数を乗算した値で見積もることができる．実際には学習する回数が文脈限定により減少することから，各文脈限定モデルでは基本的に ALL より学習時間が短くなり，計算時間は見積もりより短くなる．実際に全ての文脈限定 Skip-gram $(\mathrm{N}=300)$ の学習に要したトータルの計算時間は, CPU として AMD $1.4 \mathrm{GHz}$ を用いて 20 スレッドの並列処理を行った場合, 60 時間程度であった。なお, ALL $(\mathrm{N}=300)$ の学習時間は 2 時間程度である。また, 一旦単語ベクトルの獲得を行えば, 線形SVM の学習や個々の判定には長い時間は要さない.

同義対の正例として, WordNet 同義対データベーズに含まれる同義対を利用した. 発生頻度が極端に低く Skip-gram で単語ベクトルの獲得できなかった単語を除き, 最終的に 5,848 対を正例として用いた，負例（非同義対）としては，まず，単語べクトルが獲得可能であった単語 （</s>は除く）の中から，ランダムに作成した 17,544 対（正例の 3 倍）を利用した. 更に, 正例に含まれる単語群をランダムに組み合せることで作成した 5,848 対（正例と同数）を，負例として追加した。この負例の追加により, 正例に含まれる特定の単語の出現のみによって同義
^{1} \mathrm{http}$ ://dumps.wikimedia.org/jawiki/, 2015 年 6 月 5 日取得

2 http://taku910.github.io/mecab/

3 https://github.com/neologd/mecab-ipadic-neologd, 2015 年 12 月 9 日取得

${ }^{4}$ https://code.google.com/p/word2vec/にて Google が公開している実装を使用した.

5 http://nlpwww.nict.go.jp/wn-ja/jpn/downloads.html にて NICT が提供する, WordNet (Wen, Eshley, and Bond 2006) を元に人手で作成された同義対データベースである.
}
対と誤判定してしまう問題を緩和した. SVM のパッケージとしては Weka(SMO) と SVMlight を用いた。

## 4.2 予備実験

## 4.2.1 文脈空 $K$ と次元 $N$ の与える影響

提案手法に関する実験を行う前に, 既存 Skip-gram (ALL) における適切な文脈密 $K$ と単語ベクトルの次元 $N$ を調べる目的で， $K$ と $N$ 違いによる同義語獲得性能の比較を行った. 調查対象とした $K$ は， $1,2,3,4,5,6,7,8,9,10,20,30,50$ の 13 種類， $N$ は 100, 200, 300, 500, $1,000,1,500,2,000,2,500,3,000$ の 9 種類である． $K$ を変更させた際は $N=300$ に， $N$ を変更させた際は $K=5$ に固定した。また，同義語獲得においては ALL で獲得されたコサイン類似度を素性とし，F 值が最大となるような閾値を調べ，その時の F 値を結果として記した。実験結果を図 1 に示す.

実験結果から F-Measure は $K$ が $2 \sim 7$ の時に高くなり，8 以降は減少傾向にあることが分かった.また， $K=2$ の時に $\mathrm{F}$ 値が最大となったが，2７の間での $\mathrm{F}$ 值には大きな差がない．そこで，Skip-gramの結果が初期值に依存することを考え，5節の評価実験では，ALLを用いる際は 2〜7の中間付近である $K=5$ を用いることにした.

単語ベクトルの次元 $N$ においては, 100 次元から 500 次元までは次元が高くなるにつれ，急激に $\mathrm{F}$ 值が高くなるが，以降は伸びが緩やかとなり， 1,500 次元から 3,000 次元にかけて $\mathrm{F}$ 值は下がる事がわかる。上記の結果から， 1,000 次元 1,500 次元が最適な次元数であることが分かった。そこで，5 節の評価実験においては，計算時間を考慮しALLについては 1,000 次元としたものを用いる.

(a) 文脈空のサイズ $(K)$ による $\mathrm{F}$ 值の変化 $(N=300)$

(b) 次元 $(N)$ による $\mathrm{F}$ 值の変化 $(K=5)$

図 1 文脈空のサイズ $K$ と次元 $N$ による同義語獲得における $\mathrm{F}$ 値の変化

## 4.2.2 ベクトル結合方法の比較

第 1 節に述べたようにコサイン類似度に単語の意味の近さが表れるという報告があるが, 本章では実際にコサイン類似度が線形 SVM の素性の作成方法として妥当であることを同義語獲得性能の比較によって示す. 単語べクトルの結合方法には様々考えられる。例えば, (Oyama and Manning 2004)では, 異表記されている同一著者の判定問題において, 著者の論文タイトルや共著者情報などから作成された単語のべクトルをSVM で判定している. Oyama et al. (Oyama and Manning 2004) の研究では素性の作成方法だけでなく, カーネルの変更によっても性能が高まることが示されている。 そこで，予備実験では比較対象として単語べクトルの要素をSVM の素性とし, 同義語獲得を行った。具体的には, 単語べクトルの各々の要素を結合するもの (Combine) と乗算するもの (Multiplication) SVM の素性とした. 例えば, 着目している単語対の単語べクトルを $\left(a_{1}, a_{2}, a_{3}, \ldots, a_{N}\right),\left(b_{1}, b_{2}, b_{3}, \ldots, b_{N}\right)$ とすると, これらの単語べクトルの Combine により作成された SVM の素性は $\left(a_{1}, a_{2}, a_{3}, \ldots, a_{N}, b_{1}, b_{2}, b_{3}, \ldots, b_{N}\right)$ の $2 N$ 次元となり, Multiplication により作成された SVM の素性は $\left(a_{1} \times b_{1}, a_{2} \times b_{2}, a_{3} \times b_{3}, \ldots, a_{N} \times b_{N}\right)$ の $N$ 次元となる.

SVM のカーネルにおいては線形カーネルの他に多項式カーネル゙と RBF カーネル7を用いた. また, 閥値の学習は 3.2 節に述べたように $\mathrm{F}$ 值最大化を用いて行った。使用した組み合わせは以下の 6 つである.
- Combine + 線形カーネル
- Combine + 多項式カーネル（二次）
- Combine + RBF カーネル
- Multiplication + 線形カーネル
- Multiplication + 多項式カーネル（二次）
- Multiplication + RBF カーネル

とした。

線形 SVM を用いた同義語獲得に関しては, 教師例のデー夕量が 29,240 対（4.2.1 節）と少なくオーバーフィットの可能性が考えられる。そのため, 線形SVM による同義語獲得の際には, 5 分割交差検定により, 精度, 再現率, $\mathrm{F}$ 値を評価した。交差検定の分割はそれぞれの結果について同じであり，結果の比較が可能である.

結果を表 2 に示す。比較対象として, 一番下の行に実験 1 の結果 1 における $K=5(N=300)$ の結果を記した. “Combine + 線形カーネル", "Combine + RBF カーネル", "Multiplication + RBF カーネル"においては正例（同義対）と負例（非同義対）を分離可能な超平面が作成できず,

表 2 SVM における素性作成方法や使用カーネルと同義語獲得精度の関係

単語ベクトルの次元は全てにおいて $N=300$

SVM が全てのデータを負例として識別するように学習したため, 精度も $\mathrm{F}$ 值も計算不能であった. F 值が計算可能であった"Combine + 多項式”, “Multiplication + 線形”, “Multiplication + 多項式”に関しても，コサイン類似度の $\mathrm{F}$ 值を大幅に下回った。以上の結果から本論文においては素性の作成方法としてコサイン類似度を用いて分析を行うこととする。

## 5 実験結果

ここでは，提案手法（文脈限定 Skip-gram）による同義語獲得の性能の評価実験を行った，学習時における最大文脈窓サイズ $K$ に関しては，文脈限定の無い既存 Skip-gram (ALL) については 4.2.1 節に述べたように $K=5$ とし, 他のモデルに関しては学習対象になる周辺単語の数が減少することを考慮に入れ $K=10$ とした。単語べクトルの次元数 $N$ も 4.2 .1 節に述べたように ALLのみ $N=1,000$ とし, その他のモデルに関しては計算時間を考慮し $N=300$ とした. ある文脈限定関数について一つの素性が対応する。本研究では, 表 1 の文脈限定関数の組み合わせにより素性群を作成した。なお，すべての素性群は必ず ALLを含むものとした。

与えられた素性群について線形 SVM で重みを学習した．4.2.2 節と同様の理由で, 線形 SVM による同義語獲得においては 5 分割交差検定により，精度，再現率， $\mathrm{F}$ 值を評価した．交差検定の分割も，4.2.2 節と同様にそれぞれの結果について同じである.

提案手法を用いた同義語獲得の結果を表 3 に示す. 最初の 5 行は, ALL と一つのタイプの文脈限定関数群を組み合せた結果である ${ }^{8}$. その次の行は, ALL と複数タイプの組み合わせ $2^{5}$ の 32 通りの中で，F 值が最も高くなった結果を表示している。たたし，十分に素性を含んでいるものに関しては F 値の差がそれほど見られなかった. 最後の行に, 既存の Skip-gram モデルと


の比較として，ALLのみを用いた結果を示した。表 3 において，ALLと一つのタイプのみの文脈限定関数を組み合わせた場合でも，「ALL + WO」「ALL + POS-LR」「ALL + POS-WO」で既存手法の $\mathrm{F}$ 值を上回ることが示されている。これは, 同義語獲得において, 周辺単語の相対的な位置およびその品詞などの分類属性が, 重要な情報であるということを示している。また,提案手法における $\mathrm{F}$ 値最大となる組み合わせは，「ALL + POS-LR + POS-WO 」であり，F 値は 0.792 となった. これは既存手法の最大 $\mathrm{F}$ 値である 0.712 より高い.

次に，本手法の解釈可能性の高さを実証するために，提案手法において $\mathrm{F}$ 值が最大であった $\lceil\mathrm{ALL}+$ POS-LR + POS-WO」の組み合わせ（以後，「MAX」と参照）の線形SVM の重みについてのグラフを図 2 から図 5 に示す。重みの値が大きければ同義対の判定に正の影響を，值が小さければ負の影響を与え，0であれば影響を及ぼさない，R1, L1 など中心単語から見た時の相対的位置が「右 1 つ目」，「左 1 つ目」であることを示している。

まず，図 2 と図 3 の考察を行う. 図 2 を見ると, 中心単語の直後の単語が同義語獲得に大き

表 3 文脈限定 Skip-gram による同義語獲得精度の評価

単語ベクトルの次元は ALL は $\mathrm{N}=1,000$, その他は $\mathrm{N}=300$

図 2 MAXにおける相対的位置ごとの重みの合計：各相対位置について，POS-WO における重みを，すべての POS 分類属性に関して合計した値を示した.

な影響を及ぼしていることが分かる。また，影響の大きさは中心単語から離れれば離れるほど減っていくこともわかる。また，図 3 からは，非カタカナ語の重みが他の分類属性と比較した時に一番大きいことが分かる。これは 1 節で述べたように非カタカナ語に注目することが重要であることを示している.

次に，図 4 と図 5 の考察を行う，図 4 から, 一般に同義語獲得においては, 右側 $(R, R 1 \sim R 10)$ の影響が左側 $(\mathrm{L}, \mathrm{L} 1$ L 10$)$ の影響より大きいことがわかる。一方で，これを品詞ごとにわけたものが図 5 である。図 5 から，動詞や非カタカナ語に関しては右側にある単語の与える影響が大きいことがわかる。これは，全体として右側が与える影響が強い（図 4）ことから，その性質を反映していると考えられる。一方，形容詞や接頭詞においては，左側にある単語の方が同義語獲得に大きな影響を与えることがわかる。これは，形容詞や接頭詞は修飾する単語の左側に付くことが多いためであると考えられる。このように，周辺単語の単語属性や相対位置をそれ

図 3 MAXにおける分類属性ごとの重みの合計：各 POS 分類属性について, POS-WO と POS-LR における重みを，全ての相対位置 (L, R, L1-L10, R1-R10) に関して合計した値を示した.

図 4 MAXにおける左右に着目した相対的位置ごとの重みの合計 : 左側は L と L1 から L10 までの POSWO と POS-LR における重みの合計を，右側は R と R1 から R10 までの合計を示した。すべての POS 分類属性についても合計している.

ぞれ区別して扱うことで，日本語の性質を反映した同義語獲得が可能になると考えられる.

さて, 同義語獲得の具体的な問題として, 第 1 節において, カタカナ語と和語からなる同義対のコサイン類似度が低くなるという報告があると述べた。そこで，提案手法でこの問題が解決されるかを調べた。そこで，ALLと MAXについて，カタカナ語と和語からなる対の同義語獲得問題に関する性能を比較した，正例の同義対の中で，対の片方がカタカナ語であり，もう一方が和語のものは, 2,457 対存在した. 同様に負例は 7,782 対存在した. このデータセットを利用した性能比較の結果を表 4 に示す. 既存手法 ALL と比べ, 提案手法 MAX の精度, 再現率は高い値を示している。また，具体的な成功例として，ALLでは非同義対と判定され MAXにて同義対と正しく判定されたもののうち ALLでの順位が低いもの 10 例を表 5 に示す。一方,失敗例として ALLでは獲得できていたが MAX で獲得不可能になった同義対のうち ALLでの

図 5 MAXにおける単語分類属性に着目した左右の相対位置ごとの重みの合計：POS 分類属性ごとに左側 (L, L1～L10) と右側 $(\mathrm{R}, \mathrm{R} 1 \sim \mathrm{R} 10)$ の POS-WO と POS-LR における重みを合計した値を示した.

表 4 カタカナ語と和語からなる対の同義語獲得における ALLと MAXの性能比較

表 5 MAXにおいて獲得可能となった同義対のうち ALLでの順位が低い対

表 6 ALL においては獲得できたが MAXでは獲得不可能になった同義対のうち ALLでの順位が高い対

順位が高いもの 10 例を表 6 に示す。また，それぞれの表には ALL と MAXにおけるSVM の学習に用いた単語対 $(29,240$ 対) の中での順位も示した. なお,ここでいう順位とは線形SVM の値と $\mathrm{F}$ 値最大化によって得られた閾値の距離を降順に並べた時の順位である. 表 5 の 10 例中 7 例はカタカナ語と和語からなる対であるが, ALLでは獲得が難しかったこれらの対の順位がMAXでは高くなっていることがわかる. このことから, カタカナ語と和語からなる対に対してMAX が有効であるといえる。一方，MAXにおいて獲得不可能になった対（表 6）を見ると, カタカナ語と和語からなる対が少ないことが読み取れる。これは, カタカナ語と和語からなる対の ALLの値が低くなること, および, MAXにおいてはカタカナ語と和語／漢語の対の獲得性能が向上しているためであると考えられる。

第 1 節に述べたように, カタカナ語は周辺単語にカタカナ語を生じやすいが, 非カタカナ語は周辺単語に非カタカナ語を生じやすいという傾向がある. そのため, 周辺単語から中心単語のベクトル表現を学習するというモデルでは,「カタカナ語と非カタカナ語からなる同義対」の獲得が難しいという問題点があった. 提案手法では, 図 3 に示したように, 周辺単語を非カタカナ語に限定した要素の重みを線形 SVM を用いて最適に調節することで，上記の問題を緩和し, カタカナ語と和語/漢語からなる同義対の獲得精度を高めることができたと考えられる。

## 6 結論

本研究では, 同義語獲得において周辺単語の相対位置や品詞等の様々な属性情報を利用するために, Skip-gram モデルを改良し, 文脈限定関数を利用した手法を提案した. 実験の結果, 周辺単語の語順や品詞を考慮して文脈を限定し, それらの影響の重みを線形SVM で推定することで，同義語獲得の精度を向上させることができることがわかった。また, 中心単語の直後の
単語と非カタカナ語が同義語獲得に大きな影響を与えていること, 及び, 全体としては相対位置が右側にある単語の与える影響が大きいが，形容詞や接続詞においては，逆に左側の与える影響が大きいことがわかった。

本研究のひとつの大きな優位点は，文脈情報や単語分類属性（品詞等）を用いて Skip-gram を「個別に」学習したものを組み合わせることで，同義語獲得において重要であると考えられる周辺単語の性質を知ることができる高い解釈可能性である。もうひとつの大きな優位点は, Skip-gram のモデル自体は変更せず，文脈限定関数で学習データを変更するだけで，利用する単語属性の追加や変更が可能であるという高い拡張可能性である。本論文で挙げた属性以外にも，容易に他の有用と考えられる単語属性を利用することができる。本手法を，既存の辞書べースの手法 (笠原他 2003) や検索エンジンを利用する手法 (渡辺他 2008) 等と組み合わせることで, さらに同義語獲得精度を向上させることができると期待される.

以下，今後の課題について述べる。最初に多義性の問題に関して述べる。提案手法と既存手法の両者において獲得に失敗した単語対の傾向を観察したところ，その単語の多くに多義性が見られた．既存手法の Skip-gram モデルおよび提案手法である文脈限定 Skip-gram モデルは 1 つの単語につき 1 つの “意味”しか学習できないため, このような傾向が生じると考えられる. この問題は, 多義性の問題の解決を試みた Skip-gram モデル（Neelakantan, Shankar, Passos, and McCallum (2015), Bartunov, Kondrashkin, Osokin, and Vetrov (2015), Cheng, Wang, Wen, Yan, and Chen (2015) など）を提案手法と組み合わせ同義語獲得に適用することで解決できる可能性がある.

第二に，データスパースネスの問題について述べる。既存手法では獲得に成功していたが提案手法において失敗するようになった単語については一般的には使われない単語が多く見受けられたが，これは文脈限定 Skip-gram モデルでは文脈を限定していることから既存手法よりもデータスパースネスに弱くなり，低頻度語の“意味”の獲得精度が弱まっていることが原因であると考えられる。この問題は, “Yahoo! 知恵袋データ"9など，他のコーパスも加えデータサイズを増やすことで本問題を緩和可能であると考えられる。また, Skip-gram における学習の特徵として, 局所最適解の影響により, 単語べクトルが実行ごとに結果が変化することが知られている (Suzuki and Nagata 2015)，そこで，コーパスのデータサイズを増やすことでこのような局所最適解の影響を調査することも必要であると考えられる.

第三に，文脈限定関数の構築方法に関して述べる。本研究では多くの文脈限定関数について （品詞）辞書を使用したが, 表 3 からもわかるように, (品詞) 辞書情報を必要としない ALL+WO においても既存手法に比べて大きな $\mathrm{F}$ 値の向上が見られた. このことから，位置情報を始めとする，辞書情報を必要としない文脈限定関数を利用することでも精度が更に高まる可能性があ
^{9}$ http://www.nii.ac.jp/dsc/idr/yahoo/chiebkr2/Y_chiebukuro.html
}

ると考えられる。このような文脈限定関数としては, 本研究で述べた LR $\mathrm{WO}$ 以外にも「ある特定の文脈窓内（例えば，L2～L5 以内）に含まれるかどうか」によって限定するものも考えられる。また, 辞書を使用するものに関しても「内容語か機能語か」という限定の仕方なども考えられる。これら「文脈空内に含まれるかどうか」や「内容語か機能語か」といった限定条件の変更は, 文脈の限定の程度を緩和することから，上に述べたデータスパースネスの問題を緩和することにも繋がる点でもメリットがある.

最後に, 同義対教師データについて述べる，今回は教師例が少ないため最善モデルの $\mathrm{F}$ 値の推定にとどまったが，今後はさらに教師例を収集して，提案手法の正確な $\mathrm{F}$ 値の推定を行う必要があると考えられる。

以上を踏まえ，今後は多義性の問題緩和と，コーパスのサイズや同義対教師例の増加，文脈限定関数の変更・追加により，提案手法のさらなる精度向上を目指していく予定である.

## 参考文献

有賀竣哉, 鶴岡慶雅 (2015). 単語のベクトル表現による文脈に応じた単語の同義語拡張. 言語処理学会第 21 回年次大会発表論文集 (NLP2015), pp. 752-755.

Bartunov, S., Kondrashkin, D., Osokin, A., and Vetrov, D. (2015). "Breaking Sticks and Ambiguities with Adaptive Skip-gram." CoRR, arXiv:1502.07257.

Bian, J., Gao, B., and Liu, T.-Y. (2014). "Knowledge-powered Deep Learning for Word Embedding." In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pp. 132-148. Springer.

Cheng, J., Wang, Z., Wen, J.-R., Yan, J., and Chen, Z. (2015). "Contextual Text Understanding in Distributional Semantic Space." In ACM International Conference on Information and Knowledge Management (CIKM). ACM - Association for Computing Machinery.

Hagiwara, M., Ogawa, Y., and Toyama, K. (2006). "Selection of Effective Contextual Information for Automatic Synonym Acquisition." In Proceedings of Coling/ACL2006, pp. 353-360.

乾健太郎 (2007). 自然言語処理と言い換え. 日本語学, 26 (13), pp. 50-59.

城光英彰, 松田源立, 山口和紀 (2015). 同義語判定問題を用いた語義べクトルの評価の検討. 人工知能学会インタラクティブ情報アクセスと可視化マイニング研究会, 10, pp. 21-25.

笠原要, 稲子希望, 加藤恒昭 (2003). テキストデータを用いた類義語の自動作成. 人工知能学会論文誌, $18(4)$, pp. 221-232.

Levy, O. and Goldberg, Y. (2014). "Dependency-Based Word Embeddings." In Proceedings of $A C L$, pp. 302-308.

Ling, W., Tsvetkov, Y., Amir, S., Fermandez, R., Dyer, C., Black, A. W., Trancoso, I., and Lin,

C.-C. (2015). "Not All Contexts Are Created Equal: Better Word Representations with Variable Attention." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1367-1372, Lisbon, Portugal. Association for Computational Linguistics.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." Proceedings of Workshop at International Conference on Learning Representations (ICLR), arXiv:1301.3781.

Neelakantan, A., Shankar, J., Passos, A., and McCallum, A. (2015). "Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space." CoRR, arXiv:1504.06654.

Oyama, S. and Manning, C. D. (2004). "Using Feature Conjunctions across Examples for Learning Pairwise Classifiers." In Prodeedings of the 15th European Conference on Machine Learning (ECML2004), pp. 322-333.

Schwartz, R., Reichart, R., and Rappoport, A. (2015). "Symmetric Pattern Based Word Embeddings for Improved Word Similarity Prediction." In Proceedings of CoNLL, pp. 258-267.

Suzuki, J. and Nagata, M. (2015). "A Unified Learning Framework of Skip-Grams and Global Vectors." In Proceedings of $A C L$, pp. 186-191.

Trask, A., Gilmore, D., and Russell, M. (2015). "Modeling Order in Neural Word Embeddings at Scale." In Proceedings of the 32nd International Conference on Machine Learning (ICML), pp. 2266-2275.

内海慶, 小町守 (2013). ウェブ検索クエリログとクリックスルーログを用いた同義語獲得. 情報処理学会論文誌, 6 (1), pp. 16-28.

渡部啓吾, Danushka Bollegala, 松尾豊, 石塚満 (2008). 検索エンジンを用いた関連語の自動抽出. 人工知能学会全国大会論文集.

Wen, H. M. S., Eshley, G. H., and Bond, F. (2006). "Using WordNet to predict numeral classifiers in Chinese and Japanese." In The 6th International Conference of the Global WordNet Association, p. 211.

Yu, M. and Dredze, M. (2014). "Improving lexical embeddings with semantic knowledge." In Proceedings of $A C L$, pp. 545-550.

Zellig, H. (1954). "Distributional Structure." Word, 10 (23), pp. 146-162.

## 略歴

城光英彰：2014 年早稲田大学基幹理工学部応用数理学科卒業. 2016 年東京大学大学院総合文化研究科広域科学専攻修士課程修了. 同年, 三菱電機 (株) 情報技術総合研究所入社. 言語処理に関する研究開発に従事.
松田源立：1997 年東京大学教養学部卒業. 2002 年東京大学大学院総合文化研究科博士課程修了. 博士 (学術). 学振特別研究員 (PD), 青山学院大学理工学部助教を経て, 2013 年より東京大学大学院総合文化研究科学術研究員.

山口和紀 : 1979 年東京大学理学部数学科卒業. 1985 年理学博士 (東京大学). 1992 年東京大学教養学部助教授. 2007 年より東京大学大学院総合文化研究科教授.コンピュータのためのモデリング全般に興味を持つ.

