# 局所および大域的特徵量に基づく語義の曖昧性解消

浅川翔 ${ }^{1}$, 鈴木良弥 ${ }^{2}$, 李吉屹 ${ }^{2}$, 福本文代 ${ }^{2}$
${ }^{1}$ 山梨大学大学院修士課程工学専攻
2 山梨大学大学院総合研究部工学域
\{g20tk002, ysuzuki, jyli, fukumoto\}@yamanashi.ac.jp

## 概要

語義の曖昧性解消 (WSD) は，文中に出現する単語 の意味を同定するタスクであり, 機械翻訳や情報抽出などの精度向上に貢献できる. 語義の曖昧性解消 を高精度で行うためには, 精度に貢献する特徴を学習する必要がある.この問題に対し, 近年,ニューラ ルネットワークモデルを用いた手法が数多く提案さ れている.しかし，これらの手法の多くは, 文単位を 基本としており，文書単位での特徴抽出を利用した 研究は少ない. 本研究では, 局所的特徴, すなわち 文内の単語間の依存関係に基づく単語特徴と大域的 な特徴である文書の特徴に注目し，局所及び大域的 な特徴を相補的に利用することが WSD において有益であることを示す.

## 1 はじめに

語義の曖昧性解消 (WSD) は, 文中に出現する単語 の意味を同定するタスクであり, 機械翻訳や情報抽出などのタスクの精度向上に貢献できる. 従来の多 くの WSD システムは，曖昧な単語ごとに独立した 特徴を学習している [1]. 単語埋め込みをそれらの システムに統合した手法も提案されている [2]. 最近になり，訓練により精度に貢献する特徴抽出を行 うためにニューラルモデルが多く利用されている.単語埋め込みに関しては ELMo [3] や BERT [4] など の言語モデルに基づく埋め込み表現が主流となっ ている。これは，Word2Vec や GloVeのような静的単語埋め込みとは異なり, 文脈に応じた単語表現を 獲得することが可能であり, WSD に対して非常に 有効に働くためである [5][6]. 最近の言語モデルに 基づく研究では，文中の単語と文外の単語との間に も依存関係があることに着目し, より長距離の単語間の依存関係を捉える手法が提案されている [7]. しかし，これらの手法の多くは, 文単位でデータを 処理しており，文書単位での特徴抽出に関する言及
は少ない. 本研究では，局所的特徴，すなわち文内 の単語間の依存関係に基づく単語特徴と大域的な特徵である文書の特徴に注目し，局所及び大域的な特徵が WSD において有益であることを示す。

## 2 関連研究

## 2.1 Gloss 文

Gloss 文 (語釈文) は,テキスト内の単語, またはフ レーズの意味を簡潔に表したものであり，語義の 曖昧性解消に重要な要素であることが示されてい る. Luo らは，ニューラル WSD システムの追加入力として Gloss 文を使用し，精度を大幅に向上させ た [8]. Kumar らは，WordNet 上に定義されたグラ フ構造を用いて Gloss 文を埋め込み，概念べクト ルとして使用した. しかし, GlossEncoder は事前学習されたパラメータで初期化を行い，訓練時はパ ラメータを固定するため，知識グラフを学習させ るためのコーパスが別途必要になる [9]. Blevins ら は, ContextEncoder と GlossEncoder の両方を同時に 訓練させることにより, GlossEncoder 用の追加コー パスを必要とせずに Gloss の埋め込み表現 (概念べ クトル)を学習する手法を提案した [10]. 実験で は, BERT と組み合わせることで精度が大幅に向上 することを示した. 本手法は，対象文と Gloss 文を Transformer ネットワークでエンコードし，各ベクト ルの距離に基づきスコアを決定する点で Blevins ら の手法と類似している。一方，局所的な特徴量を高精度で抽出するために、エンコーダの最適化を行っ た点，及び処理単位を文から文書単位に据張し，大域的特徴量抽出を可能にした点で異なる。

## 2.2 文法と位置情報

シソーラス辞書である WordNet では，例えば動詞「evoke」などのように概念の説明文である Gloss の 中に目的語の属性を示すものがあるなど，概念と文
表 1 長距離依存関係の例: 表中, 黄色は生物関連の単語 を示す. mouseの概念には，「動物のマウス」，「コン ピュータマウス」，「目をぶつけたときにできるあざ」，「静かな人」があり，対象単語「mouse」が属する文書内 に生物関連のキーワードがある場合，対象単語の語義は 「動物のマウス」である可能性が高くなる。この例の場合，対象単語「mouse」と生物関連の単語「animal」は文外出現している.

Sentence: We classify mice as "straight haired" or "wavy haired", but a hairless mouse appears .

Sense: mouse\% $1: 06: 00:$ :

Gloss: any of numerous small rodents typically re-sembling diminutive rats ... hairless tails

Text: Some experiments ... We classify mice as “ straight haired " or "wavy haired", but a hairless mouse appears. We can escape from such a diffi-culty by ruling out the animal as not constituting a trial , but ... experiment has the value $* * \mathrm{f}$.

法が深く関わる例が多く見受けられる (例. evoke\#1's Gloss: call forth (emotions, feelings, and responses)). すなわち, 文法情報は WSD の精度貢献に大きく関 わる. 最近の研究では，BERT[4]を用いることによ り文法やフレーズを考慮した埋め込み表現を獲得 できることから，これを用いて入力文や Gloss のエ ンコードを行う手法が主流となっている [11] [10]. Yang らは，BERT の絶対位置情報や MASK トーク ンを用いた事前学習タスクの改善を図り，相対位置情報の使用や Permutation Language Modeling という 新たな事前学習タスクを用い，言語モデルの精度を 向上させた [12]. Song らは，絶対位置情報と相対位置情報を相補的に扱うことでトークン間の依存関係をより正確に表現することにより，これが言語モ デル (MPNet) の精度に貢献することを示した [13]. MPNet は文法情報が重要な要素となるタスク CoLA において，以前の言語モデルの精度を大幅に上回っ ていることから，文法やフレーズを考慮した埋め 込み表現の獲得に優れていることが分かり，WSD にとっても有益であると考えられる。本手法では， MPNet をニューラル WSD システムに統合し, 局所的特徴量をより正確に抽出することで，さらなる精度向上を図った。

## 2.3 文書中の長距離依存関係

従来の WSD は語義の解消を文単位で行う手法が 多い. 本手法は，ニューラル WSD システムを文単位の処理から文書単位の処理へ拡張することにより精度向上を目指す. 表 1 に，文外の依存関係の例を 示す. 文書単位の処理へ拡張することにより，語義 を同定する上で重要な特徴を，周辺文から抽出する ことができるようになる.

## 2.4 訓練コーパスの追加

最近の研究では, 訓練コーパスとして SemCor に加えて WordNet Gloss Corpus(WNGC) と WordNet Example Sentence Corpus(WNEX) を用いることによ り，精度が向上することが報告されている [6][11].本手法においても WNGC と WNEXを訓練コーパス として追加し，さらなる精度向上を図った。

## 3 提案手法

本手法を図 1 に示す。本手法は, 対象単語を 文中の周辺単語に応じて表現する役割を担う SentenceEncoder と，文書全体をべクトルとして表現 する役割を担う TextEncoder，及び語義の定義文で ある Gloss 文をべクトルとして表現する役割を担う GlossEncoder で構成されている. 各エンコーダの深層ネットワーク部分は，事前学習により獲得した一般的な単語の埋め込む表現を用いるために，MPNet により初期化する.

## 3.1 WSD タスクおよび本手法の枠組み

本手法は, 対象単語, 対象単語が属する文と 文書，及び対象単語の候補語義に対応付けら れた Gloss 文の埋め込み表現を用いる。 入力文 $c=c_{0}, c_{1}, \ldots, w, \ldots, c_{m}$ ( $w$ は曖昧性を解消する対象単語) と, 入力文 $c$ が属する文書 $d$, 及び対象単語 $w$ の候補語義 $S_{w}$ の Gloss 文 $g=g_{0}, g_{1}, \ldots, g_{l}$ が 与えられ, 語義 $s=s_{c_{0}}^{0}, s_{c_{0}}^{1}, \ldots, s_{w}^{i}, \ldots, s_{c_{m}}^{j}$ を出力す る ( $i^{\text {th }}$ は対象単語の $i$ 番目の候補語義を示す). SentenceEncoder $T_{c}$ は, 式 (1)のように入力文 $c$ 中の 対象単語 $w$ をサブトークン $w_{l}=w_{j}, \ldots, w_{k}$ 毎にエン コードし，その平均を $w$ の表現 $r_{w}$ として出力する.

$
r_{w}=\frac{1}{k-j} \sum_{l=j}^{k}\left(T_{c}(c)[l]\right)
$

TextEncoder $T_{d}$ は, 式 (2) で示されるように対象単語 $w$ が属する文書 $d$ をエンコードし, 先頭のトーク ン (特殊トークン [CLS] に対応) を $d$ の表現 $r_{d}$ とし て出力する.

$
r_{d}=T_{d}(d)[0]
$

図 1 textBEM の枠組み: ContextEncoder に対象単語が属する文を，TextEncoder に対象単語が属する文書を，GlossEncoder に候補語義の Gloss を入力する．各エンコーダの深層ネットワーク部分は MPNet を用い初期化する。

GlossEncoder $T_{g}$ は，対象単語の候補語義 $s \in S_{w}$ に 対応付けられた Gloss $g=g_{0}, g_{1}, \ldots, g_{l}$ をエンコード し，先頭のトークン (特殊トークン [CLS] に対応) を $s$ の表現 $r_{s}$ として出力する. $i=0, \ldots,\left|S_{w}\right|$ とした時,式 (3) で示すように対象単語の語義 $s$ は，対象単語 $w$ と候補語義 $s_{i}$ のエンコードされた表現 $r_{w}$ と $r_{s_{i}}$ の内積及び，対象単語が属する文書 $d$ と候補語義 $s_{i}$ のエンコードされた表現 $r_{d}$ と $r_{s_{i}}$ の内積の平均で計算される.

$
\Phi\left(w, d, s_{i}\right)=\frac{1}{2}\left(r_{w} \cdot r_{s_{i}}+r_{d} \cdot r_{s_{i}}\right)
$

本手法は，モデルの訓練のために cross-entropy loss を使用した. (対象単語, 対象単語の属する文書, 語義) の組 $\left(w, d, s_{i}\right)$ が与えられた時の損失関数を式 (4) に示す.

$
L\left(w, d, s_{i}\right)=-\Phi\left(w, d, s_{i}\right)+\log \sum_{j=0}^{\left|S_{w}\right|} \exp \left(\Phi\left(w, d, s_{j}\right)\right)
$

## 4 実験

## 4.1 データセットおよび評価方法

実験では，Raganato ら [14] の評価手法を用い 本手法の検証を行った. 訓練コーパスとして， SemCor，WNGC，及びWNEXを用いた. SemCor お よび WNGC は WordNet 上の語義に対し, 人手に より注釈付けされたコーパスである。 WNEXは，
WordNet 上の各語義の例文に自動で注釈付され たコーパスである．検証セットは，SemEval-2015 (S15) [15]を用いた。テストセットは，Senseval2 (S2) [16], Senseval-3 (S3) [17], SemEval-2007(S7) [18], 及び SemEval-2013 (S13) [19]を用いた.

## 4.2 実験結果

## 4.2.1 ベースラインおよび関連研究との比較

表 2 に提案手法である textBEM および最近の state-of-the-art システムの結果を示す. EWISE は， WordNet で定義された語義間の関係性に基づいた 構造化ネットワークを，WSD モデルに統合した モデルである [9]. EWISER は，概念べクトルを事前学習により得たモデルであり, データセットの 拡張やグラフ構造を統合している [11]. BEM は, ContextEncoder と GlossEncoder を同時に訓練するバ イエンコーダモデルである [10]. 本手法は，BEM が より広範囲の情報を捉えることを可能にしたモデ ルであるため, BEM を本研究のベースラインに設定した。 BEM-MPNet は，BEM における各エンコー ダを初期化するための事前学習済みパラメータを， BERT-base から MPNet-base に置き換えたモデルであ る. 表 3 に，提案手法に入力する文書別の結果を示 す. 前一文は，対象単語が属する文の直前の 1 文を 用いた結果を示す．前全文は，対象単語が属する文以前の全ての文を用いた結果を示す. 全文は，対象単語が属する文書全体を用いた結果を示す。
表 2 English all-words WSD タスクにおける F1-score(\%): ALL は，全テスト用データセットを結合して検証した場合の結果. S，G，E はそれぞれ SemCor，WNGC，及び WNEXを示す. T は, 入力の単位が文書であることを示す. "*"は，スコ アが最良のものと比較して統計的に有意であることを表す（有意水準 $5 \%$ での $\mathrm{t}$ 検定に基づく）.

表 3 入力文書別の平均 F1-score: "*"は，スコアが最良の ものと比較して統計的に有意であることを表す（有意水準 $5 \%$ での $\mathrm{t}$ 検定に基づく).

## 4.2.2 語義の解消結果

表 2 より, EWISER は, EWISE と比較し ALL ス コアが $8.3 \%$ 高く, 大幅な精度の向上が認められる. BEM は，概念べクトルを同時に学習するバイエン コーダモデルにしたことで，概念べクトルを事前学習により取得する EWISE の精度を上回る。また， EWISER と同様のデータセットを使用して学習す ることにより，EWISER と同等の精度が得られてい る. さらに, BEMのエンコーダ初期化用の事前学習済みパラメータを BERT から MPNet に変更する ことにより，さらに優れた精度が得られている. こ のことから, MPNet により局所的特徴量をより正確 に抽出することは，ニューラル WSD モデルにおい て有益であると考えられる. 本手法である textBEM は，ALL 評価セットで最高精度が得られている。特に名詞と動詞に精度の貢献が確認できる. この ことから，より広範囲の文書情報を用いることが ニューラル WSD モデルにおいて有益であると言え る. 本研究では，MPNet-base を用いている. 一方で MPNet-large を用いることでさらなる精度向上も期待できる. しかし, 本研究では文法情報をより正確に捉えられる MPNet と WSD との親和性, さらに ニューラル WSD モデルの局所的特徴量を高精度で 抽出することが目的であるため，メモリ効率の高い MPNet-base を用いた。

表 3 は, 入力文書の違いによる精度を示す. 表 3 よ り, 対象文が属する文書全て (全文)を用いた場合，表 4 エンコーダ初期化用の言語モデル別の平均 F1-score:訓練コーパス SemCorのみを用いて訓練した. 本手法は， バイエンコーダ型を採用し，各エンコーダは BERT-base 及び MPNet-base で初期化した。"*"は，スコアが最良のも のと比較して統計的に有意であることを表す（有意水準 $5 \%$ での $\mathrm{t}$ 検定に基づく).

ALL で $81.3 \% て ゙ あ り$ 最高精度であった. 特に名詞 と動詞の精度が高いことがわかる。一方で「入力な し」と「前一文」，及び「入力なし」と「前全文」の ALL スコアには有意差がなかった. このことから，入力文書の範囲は textBEM の精度向上に関係する こと, さらにより広範囲にした方がモデルの精度に 貢献すると言える. 表 4 にエンコーダ初期化用の言語モデル別の結果を示す. MPNet-base を用いた場合 が ALL 評価セットで BERT よりも優れており, 特 に. 名詞，動詞及び形容詞で顕著であった. このこ とから，絶対位置情報と相対位置情報を相補的に扱 う MPNet は，絶対位置情報のみを扱う BERT と比較 し，文法情報が重要な WSD タスクとの親和性が高 いと言える。

## 5 結論

本研究では，局所的な特徴量を高精度で抽出する ためのエンコーダの最適化に加え，バイエンコーダ モデルに TextEncoderを統合し，大域的な特徴量を 学習する手法を提案した。実験の結果，ベースモデ ルの ALL スコアと比較し, $2.5 \%$ の精度向上が見ら れ，エンコーダの最適化および大域的特徴量の抽出手法の有効性が示せた.

## 謝辞

本研究の一部は, 科研費 17K00299, 及び JKA 補助事業の助成を受けたものである.

## 参考文献

[1] Razvan Bunescu Hui Shen and Rada Mihalcea. Coarse to fine grained sense disambiguation in wikipedia. Lexical and Computational Semantics, Vol. 1, pp. 22-31, 2013.

[2] Sascha Rothe and Hinrich Schutze. Autoextend: Extending word embeddings to embeddings for synsets and lexemes. Association for Computational Linguistics, Vol. 53, pp. 1793-1803, 2015.

[3] Mohit Iyyer Matt Gardner Christopher Clark Kenton Lee Luke Zettlemoyer Matthew E. Peters, Mark Neumann. Deep contextualized word representations. Association for Computational Linguistics, Vol. 1, pp. 2227-2237, 2018.

[4] Kenton Lee Kristina Toutanov Jacob Devlin, MingWei Chang. Bert: Pre-training of deep bidirectional transformers for language understanding. Association for Computational Linguistics, Vol. 1, pp.4171-4186, 2019.

[5] Daniel Loureiro and Alipio Jorge. Language modelling makes sense: Propagating representations through wordnet for full-coverage word sense disambiguation. Association for Computational Linguistics, Vol. 57, pp. 56825691, 2019.

[6] Benjamin Lecouteux Lorc Vial and Didier Schwab. Sense vocabulary compression through the semantic knowledge of wordnet for neural word sense disambiguation. Global Wordnet Association, Vol. 10, pp. 108-117, 2019.

[7] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[8] Zexue He Qiaolin Xia Zhifang Sui Baobao Chang Fuli Luo, Tianyu Liu. Leveraging gloss knowledge in neural word sense disambiguation by hierarchical co-attention. Association for Computational Linguistics, pp. 1402-1411, 2018.

[9] Karan Saxena Partha Talukdar Sawan Kumar, Sharmistha Jat. Zero-shot word sense disambiguation using sense definition embeddings. Association for Computational Linguistics, Vol. 57, p. 5670-5681, 2019.

[10] Terra Blevins and Luke Zettlemoyer. Moving down the long tail of word sense disambiguation with gloss informed bi-encoders. Association for Computational Linguistics, Vol. 58, pp. 1006-1017, 2020.

[11] Michele Bevilacqua and Roberto Navigli. Breaking through the $80 \%$ glass ceiling: Raising the state of the art in word sense disambiguation by incorporating knowledge graph information. Association for Computational Linguistics, Vol. 58, pp. 2854-2864, 2020.

[12] Yiming Yang Jaime Carbonell Ruslan Salakhutdinov Quoc V. Le Zhilin Yang, Zihang Dai. Xlnet: Generalized autoregressive pretraining for language understanding. Neural Information Processing Systems, pp. 5754-5764.

[13] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and TieYan Liu. Mpnet: Masked and permuted pre-training for language understanding. Neural Information Processing Systems, Vol. 34, , 2020.

[14] Roberto Navigli Alessandro Raganato, Jose Camacho-
Collados. Word sense disambiguation: A unified evaluation framework and empirical comparison. Association for Computational Linguistics, Vol. 15, pp. 99-110, 2017.

[15] Andrea Moro and Roberto Navigli. Semeval-2015 task 13: Multilingual all-words sense disambiguation and entity linking. Semantic Evaluation, Vol. 9, pp. 288-297, 2015.

[16] Scott Cotton Lauren Delfs Hoa Trang Dang Martha Palmer, Christiane Fellbaum. English tasks: All-words and verb lexical sample. Semantic Evaluation, Vol. 2, pp. 21-24, 2001.

[17] Benjamin Snyder and Martha Palmer. The english allwords task. Semantic Evaluation, pp. 41-43, 2004.

[18] Dmitriy Dligach Martha Palmer Sameer Pradhan, Edward Loper. Semeval-2007 task-17: English lexical sample, srl and all words. Semantic Evaluations, Vol. 4, pp. 87-92, 2007.

[19] Daniele Vannella Roberto Navigli, David Jurgens. Semeval-2013 task 12: Multilingual word sense disambiguation. Semantic Evaluation, Vol. 2, pp. 222-231, 2013.
 浅川翔 ${ }^{1}$, 鈴木良弥 ${ }^{2}$, 李吉屹 ${ }^{2}$, 福本文代 ${ }^{2}$ ${ }^{1}$ 山梨大学大学院修士課程工学専攻 2 山梨大学大学院総合研究部工学域 \{g20tk002, ysuzuki, jyli, fukumoto\}@yamanashi.ac.jp  