# BERT の学習済みモデルを用いた 語義定義文の類義判定に有効な日本語辞書の変更方法

石井佑樹 ${ }^{1}$ 佐々木稔 ${ }^{2}$
1 茨城大学大学院理工学研究科情報工学専攻
茨城大学工学部情報工学科
\{22nm702y, minoru. sasaki. 01\}@vc. ibaraki. ac. jp

## 概要

自然言語処理技術を開発する上でシソーラスの意味知識は有用である。しかし, 知識獲得や自然言語処理のタスクにおいては単語間の関係に注目するの みで語義レベルの知識を利用できていない. 本研究 では，類義関係の獲得に注目して日本語辞書の語義定義文同士の類義判定手法の提案と同時に，類義判定に効果的な定義文の変更方法を調査する．結果と して, 名詞・動詞・形容詞単語の類義語ぺアにおけ る定義文の類義判定において, 定義文が無変更の場合の $\mathrm{F}$ 值は 0.38 , 変更した場合は $\mathrm{F}$ 値が 0.44 まで向上した。考察の結果, 定義文中の「定義文中のひら がなと漢字表現の摇らぎ」「参照的な定義文」が類義判定において障害になることが考えられる.

## 1 はじめに

自然言語処理において単語の上位下位関係，同義関係，類義関係等の意味知識を獲得することは，機械翻訳や対話システム，情報検索等の技術発展にお いて有用である。しかし，増え続ける語に対して人手で知識獲得をするには時間的，人的資源の消費が 著しいため自動化することが望ましい。日本語では これまでに Wikipedia[1][2]や WWW 上に存在する HTML 文書[3]から上位下位関係を獲得する手法や,特定分野 (航空分野[4], システムの要求仕様書[5]) における同義語辞書を作成する手法が研究されてき た. また，文中で使われる多義語の語義を識別する 語義曖昧性解消（WSD）のタスクにおいては, 英語 WSD で英語 Wordnet[6]の意味知識を利用する知識 ベースの手法[7][8]が存在する.この手法は意味知識 を利用するため語義ラベル付けを必要としない利点 がある.

しかし，これらの研究は単語に対する関係性に注目するのみで，単語の語義定義文レベルの関係性を 考慮していない。そのため特に多義語においては語義レベルで知識の関係性を利用できていないと言え る.また，日本語においては英語 Wordnet の様に多様な単語間関係を含むシソーラスが作成されていな い. 現時点で日本語 WordNet は作成されているが,英語 WordNet に存在しない日本語の類義関係のまと まり（synset）の追加や現状の synsetを修正する必要 があり，タスクに利用するには課題が残る。

本研究では, 日本語において Wordnet の多様な知識体系を成すシソーラス作成の一部となることを目的とし，類義関係の獲得に注目して日本語の語義定義文同士の類義判定手法を提案する．また類義判定 にあたり, 日本語辞書の語義定義文は人が読むこと を前提として記述されているため，類義判定に必要 な文章ベクトルの取得には不適切な表現が存在する。 そのため手法の提案と同時に類義判定に有効的な語義定義文の変更方法を調査する。

## 2 提案手法

## 2.1 類義判定手法

日本語辞書における語義定義文が類義であるかど うか判定するのに、定義文の文章ベクトル同士の $\cos$類似度を求める。

各定義文の文章ベクトルは、対象単語の定義文を 学習済从の日本語 BERTに入力して得られたCLS卜 ークンを利用する。

類義判定手法を図 1 に示す.

## 2.2 類義判定のラベリング

岩波国語辞典に記載された単語から分類語彙表の 分類番号を元に類義語のペアを選出し，両単語の定義文に対して人手でラベリングを行った．類義語ぺ

アの内, 片方の単語は必ず多義語であり複数の定義文を持つ.

類義語の判定基準は，含意関係にある定義文につ いても類義であるという基準にした。含意関係にあ る定義文を図 2 に示す. 「くどい」の定義文は「し つこい」の 2 つ定義文の意味を同時に持つため, 21578-0-0-1-0 と 21578-0-0-2-0 の定義文は 13612-0-00-0 の定義文と類義であるとラベル付けをした.

分散表現

単語1 コサイン類似度

図 $1:$ 類義判定手法の流れ

図 2 : 含意関係となる定義文の例

## 2.3 定義文の変更

本研究で利用する岩波国語辞典の定義文の記述に は，定義文の文章ベクトルを取得する上で不適切な 表現が多く含まれているため定義文を変更する必要 がある。定義文の変更においては，石井，佐々木[9] が提案した岩波国語辞典の定義文の上位下位関係を 効果的に判定できる変更方法を利用する.

変更方法は以下の設定 A・(1)～(5)である。これを 段階的に適用していく.
- 語義説明の無い定義文の削除（文変更無し）A
- 辞書内表現 - 記号の削除 - 置換, 全角英字を半角英字に置換, 用例文内のハイフン「一」の置換(ひ らがな置換)(1)・(1)*
- 用例文内のハイフン「一」の置換(一対一置換)(2)

・追記情報の削除(3)

・全角括弧「（）」表現を削除(4)
- 部分的な用例文の削除(5)

## 3 実験

2 章で説明した手法の有効性を調査するため, 類義語ぺアの語義定義文に対して類義判定実験を行っ た. 利用した日本語 BERT は東北大学乾・鈴木研究室が公開している事前学習済みモデル bert-basejapanese-whole-word-masking である.

## 3. 1 実験データ

岩波国語辞典に記載された単語から分類語彙表に おいて名詞，動詞，形容詞に分類される単語ぺアを それぞれ 50 組選出した。

類義の判定をした定義文の組の総数は, 名詞の場合 389 組, 動詞の場合 397 組, 形容詞の場合 328 組,

名詞・動詞・形容詞すべて合わせた（以下 All とす る）場合は 1114 組である. 品詞ごとに類義語判定を 行う.

## 3. 2 評価方法

本実験は類義の判定をする二值分類タスクである ため, 正解率, 精度, 再現率, $\mathrm{F}$ 值を評価指標とし て求めた. 本実験では, 精度は「類義であると判定 したデータの内，実際に類義であった割合」再現率 は「類義であるぺアのうち類義であると判定できた 割合」となる。

類義の判定は，語義定義文同士の $\cos$ 類似度に閾值を設け間値を超えた場合類義であるとみなす。無変更の定義文と変更した定義文によるスコア比較を するため類似度の閾値は $\mathrm{F}$ 值が高くなる 0.85 に統一した.

## 4 実験結果

実験結果を表 1,2,3,4 に示す. 本研究では，手動で 選出した類義語ぺアに含まれる定義文の全組み合わ せに対して類義語判定を行っているため，類義でな いと判定する割合が多くなるほど正解率が高くなる。 つまり $\cos$ 類似度の閾値を高くするほど一定の正解率に近づくため, 評価指標としては精度と再現率の 調和平均を求めた $\mathrm{F}$ 値に注目する.

各品詞の設定 A（無変更）に比べて，名詞の場合 は A(1), A(1)*, 動詞・All の場合は A(1)～(4), 形容詞の場合は A(1)*(3)の変更設定において $\mathrm{F}$ 值は最高値となり，変更した語義定義文を用いた方が $\mathrm{F}$ 値は 向上した. 石井，佐々木[9]が提案した手法では，上位下位関係に有効な定義文の変更設定は A(1)*(3)で

あるが，語義定義文の類義判定においては形容詞単語のみ最高値となる結果となった。

表 $1:$ 名詞単語の実験結果

表 $2:$ 動詞単語の実験結果

表 3 : 形容詞単語の実験結果

表 4 : 名・動・形容詞単語の実験結果

次に，比較した定義文の $\cos$ 類似度を見ていく。特に変更前と変更後で差が出た具体例を表 5 に示す。

「まばゆい」「まぶしい」においては，定義文内 の用例文に用いられる “一” ハイフンの置き換え方法に精度の違いがみられた。“—” ハイフンは見出 し語に置き換えているが，設定(1)のみの場合はす心゙ てひらがなに，設定(2)が加わると一部は漢字で置換 される。「まばゆい」の定義文に直接“まぶしい” とひらがなで記述されているため, “眩しい”と漢字で置換した「まぶしい」の定義文との $\cos$ 類似度 が閾値の 0.85 に届かなかった。他の事例では，逆に 漢字が定義文に記述されており, ひらがなで置換し た定義文との $\cos$ 類似度が下がる例もあった．類義判定においては，定義文のひらがな・漢字の表現の 摇らぎは顕著な影響が出るため, 文中ではどちらか に表現を統一することが望ましい。また，設定 A と 設定 A(1)～(4)の類似度を比べると設定 A(1)～(4)の類似度が高い，前述のひらがな・漢字の摇らぎを踏ま えると “派生|さ|げ|がる” の削除によって類似度の向上が見られたと考えられる。

「すがお」「じがお」においては，表５の例に示寸類義文ペアに設定 A(1)～(4)の変更を施した類似度 が両単語の定義文ぺアの中で最低値を取る結果とな った。一方無変更の場合は定義文ぺアの中で最高値 を取るため，無変更の方が類義判定に有効な定義文 であると言える。これは定義文が短すぎるために判定に難があると考えられる．特にこの例では，「じ がお」の定義文が “素顔。”と比較対象の見出し語 のみで記述されている。「じがお」の定義文から「す がお」の定義文を読む参照的な記述となる場合，類
表 5 : 類義判定の具体例

 \\

義語判定が難しくなる.

「てんずる」「ともす」においては，全角括弧表現 を削除することによって類似度が下がった。この例 では，「ともす」にも使われている “灯火”を削除 してしまったためであると考えられる. All の設定 A (1)（4)が $\mathrm{F}$ 值の最高値を取るため, 全角括弧表現の 削除は効果的な場合とそうでない場合があると考え られる。

## 5 おわりに

実験の結果, 岩波国語辞典の語義定義文の表現を 変更することで類義判定における $\mathrm{F}$ 値が向上した. しかし, 考察の結果得られた「文中のひらがなと漢字表現の摇らぎ」「参照的な定義文」の問題は機械的に修正することが困難であり類義判定において障害になると考えられる。類義判定手法については,間値の設定方法やモデルの変更等, 改良の余地があ ると考えられる。

今後は実験で得られた結果から, 定義文変更の更 なる最適化や新たな手法の調査に努めたい.

## 参考文献

1. 只 鍾勲, 山田 一郎, 内元 清貴, 鳥澤 健太郎, 橋本 力, 言語横断共訓練による単語間の上位下位関係 の獲得, 情報処理学会, 情報処理学会論文誌 52 (12), pp.3558-3573, 2011

2.山田 一郎, 鳥澤 健太郎, 風間 淳一, 黒田 航, 村田 真樹, ステイン デ・サーガ, フランシス ボンド,隅田 飛鳥, 橋本力, 分布類似度と Wikipedia から 獲得した構造情報を利用した上位下位関係獲得, 情報処理学会, 情報処理学会論文誌 52 (12), pp.34353447, 2011

3. 新里 圭司, 鳥澤 健太郎, HTML 文書からの単語間の上位下位関係の自動獲得, 言語処理学会, 自然言語処理 12 (1), pp.125-150, 2005

4. 寺田 昭, 吉田 稔, 中川裕志, 同義語辞書作成支援システム, 言語処理学会, 自然言語処理 15 (2), pp.39-58, 2008

5. 伴 凌太, 高橋 宏季, 位野木 万里, word2vec を 用いた同義語辞書自動作成手法の提案と適用評価,
情報処理学会, 第 81 回全国大会講演論文集 2019 (1), pp.265-266, 2019

6. George, M. "Wordnet: a lexical database for english." Communications of the ACM, 38(11):39-41, 1995.

7. Sawan, K. Sharmistha. J. Karan, S. and Partha T."Zeroshot word sense disambiguation using sense definition embeddings." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5670-5681, 2019.

8. Bevilacqua M. and Navigli R. "Breaking Through the (80\%) Glass Ceiling: Raising the State of the Art in Word Sense Disambiguation by Incorporating Knowledge Graph Information." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), pp. 2854-2864, 2020.

9. 石井 佑樹, 佐々木 稔, 辞書の階層構造埋め込み 学習における日本語辞書定義文の効果的な利用, 自然言語処理学会, 言語処理学会第 28 回年次大会発表論文集，pp.789-794， 2022

## 付録

図 3 に 150 組の類義語ぺアを示す。

図 3 : 類義判定を行った類義語ぺア一覧
 石井佑樹 ${ }^{1}$ 佐々木稔 ${ }^{2}$ 1 茨城大学大学院理工学研究科情報工学専攻 茨城大学工学部情報工学科 \{22nm702y, minoru. sasaki. 01\}@vc. ibaraki. ac. jp  