# 「埋め込み表現の意味適応による知識ベース語義曖昧性解消」が できるまで

水木 栄 ${ }^{\dagger, \dagger \dagger}$
## 1 はじめに

本稿では, 言語処理学会第 29 回年次大会にて優秀賞を頂戴した「埋め込み表現の意味適応による知識ベース語義曖昧性解消」(水木, 岡崎 2023) および EACL2023 採択論文 “Semantic Specilization for Knowledge-based Word Sense Disambiguation" (Mizuki and Okazaki 2023) (以下, 本研究）の概要および研究過程での試行錯誤を紹介する.

## 2 本研究の概要

辞書のような語彙資源を用いて文中の単語（対象語）の語義を識別する夕スクを，知識ベー ス語義曖昧性解消 (WSD) とよぶ。語彙資源には語義を説明したテキスト，いわゆる語釈文が書いてある。そこで有望な方法論は, BERT 埋め込みを用いて対象語に最も近い語釈文を選ぶことである (Wang and Wang 2020). しかし, もしも対象語と正解語義の埋め込みを近付ける手段があれば，さらに性能が伸びるはずた。これをふまえて，本研究では埋め込み表現の意味適応を提案した (図 1). 提案手法は, 吸引・反発学習および自己学習を併用して, 埋め込み間の近さ・遠さを変更する。吸引・反発学習では WordNet に書かれている意味関係を訓練データとして，意味的に関連がある語義対を近付け，無関連および異なる語義対を遠ざける，自己学習では平文コーパスを訓練データとして，対象語の最近傍にある語義を擬似正解とみなして，単語一語義対を近付ける。適応させた埋め込みによる最近傍法は, 知識ベース WSD の最高性能を更新した。詳細は原論文を参照されたい.

## 3 回り道

ここからは，筆者が研究成果を得るまでにたどった，試行錯誤という名の回り道を紹介させていたたく，研究活動は経路探索に似ている．問題の決定, 解き方の考案, 実験のデザインな


図 1 提案手法の概要. 語釈文と対象語の BERT 埋め达みを変換して, 埋め达み間の近さ・遠さを変更する (左). 変換関数の最適化は, 吸引・反発学習（中）と自己学習（右）を併用する.

ど，さまざまな選択をした末に成果の公表という目的地に到達する。だが経路探索の常として，振り返るとたいてい回り道をしたことに気づく。そして思うのだ。最短経路を選ぶ先見の明があれば○月には論文にできてたな，次はもっとうまくやりたい，と，惜しむらくは，他者の論文を読んでも探索能力の修得はむずかしいことだ。なぜなら分岐は存在しなかったかのごとく，基本的には最短経路のみが説明されるためである。たから筆者は本稿をお借りして, こんな迷い方をする輩がいるのだと紹介することで, 他山の石にでもしていただければと思い立った.回り道は無数にあるゆえに $N=1$ の報告が眉喠に過ぎないとは承知しているが，それでも意図しておなじ回り道を選ぶ者は稀だろうから。

あらかじめ, ふたつお断りしておく. ひとつは，筆者の研究業績は「方法に関する論文」(丸山 2019; 近藤 2018) に偏っていることた。，他の論文タイプならまた別の迷い方があるだろうと思う。もうひとつは，当該論文タイプによく見られる，夕スク特化型手法の提案およびベンチマークの性能向上をもって貢献とする研究方策の賞味期限が近いかもしれないことた. 大規模言語モデルが普及する中では，研究方策そのものの変化が不可避ではないかと感じている.

## 3.1 解き方を決めてから問題を選ぶ

さて, ひとつめの回り道は, 問題の解き方を決めてから解けそうな問題を探したことである.筆者は過去に，単語埋め込みを階層性のあるコード表現 1 に変換することで上位下位関係を識別する研究 (水木, 岡崎 2021a, 2021b) を行った. このときに階層性を扱う数学的な方法論を修得したので，その経験を再利用して二匹目のどじょうを狙おうと決めた。さっそく文献を調査すると, 含意関係認識, オントロジー構築, 細粒度の固有表現認識などが候補として見つかった.一方で語彙意味論のタスクである語義曖昧性解消なら, 前の研究と分野が地続きなので勝手を

理解しやすい. こうした経緯を経て，筆者は知識ベース WSDタスクを選択した。知識ベース WSD では語義注釈付きコーパスではなくWordNetのような語彙資源を使うが，WordNet に書かれている上位下位関係を集めると階層構造になるので，これを活用することで手法の独自性と性能面の優位性を示そうと考えた。つまり筆者は，階層性を活用するという解き方を決めてから，知識ベース WSD という問題を選んだのだ。

結論を述べると, この研究態度は泥沼へのいざないであり, さまざまなアイディアを試行錯誤しても有効な手法に結実しなかった。たしかに意味の階層性は重要な手がかりである。たとえば mouse は多義語だが, 動物としての語義は animal, 機器としての語義は device と上位下位関係にあるので，文脈からトピックを判別できれば解けたも同然である。だが意味関係には，対義・因果・属性など，非階層的な種類がいくつもある，そもそも上位下位関係が拈よそ整然とした木構造をなすのは名詞のみであり, 動詞は含意関係で代用しても木というより森になる ${ }^{2}$.副詞および形容詞に至っては階層的な意味関係は未定義である。単語の意味関係的知識は本質的に木構造ではなくネットワーク構造なのである。それにもかかわらず階層性を活用すると決めてかかった時点で，筆者は自ら不利な条件を負っていた．若干の弁明をすると，筆者もほどなくして無理筋らしいことには気がついた。だが研究を始めた動機が階層性の活用であるうえに，独自性や優位性も考え直しだ思うと気が重く，他の方法論に切り替える決断をためらった．数学的に巧みな解法に対する羡望があったことも遠因だ万う，ともあれ，ようやく階層性へのこだりを捨てたときには，4つのアイディアと 1 年間を消費していた.

特定の手法から研究の着想を得ることは珍しくないし，素直に成功することもある．たとえば変分オートエンコーダや非自己回帰モデルで解けそうな問題を考察するのが悪いことだとは思えない．だが道理にしたがうならば，何を解くかが先で，どうやって解くかは後にすべきなのだろう。その順序を逆にした研究態度は，非本質的な制約や認知的な視野狭窄を招く危険性が高いのだと思う。

## 3.2 問題の観察を怠る

ふたつめの回り道は，解いている問題の様子を観察せずに，解き方を試行錯誤したことである. 提案手法は最近傍法で語義を予測するので, 正解語義が対象語に最も近くなるように, 単語と語釈文の BERT 埋め込みを変換すればよい，実験を始めてみると，既存研究に性能が並ぶまでは順調に進んだが，そこからの向上が停滞した。そこで筆者は細部をいじってみることにした. 本研究で提案した吸引・反発学習は対照学習とほぼ同一だから，豊富な研究事例からいくらでもアイディアが出せる．距離計量（損失関数）を取り替えたり，正例・負例の作り方を変えてみたり。だが性能はなかなか伸びない。そうするうちに, そもそも埋め込みの類似度が


どうなってるのか，ふと気になった，埋め込みを動かす目的は言うまでもなく，対象語の最近傍語義を不正解から正解に入れ替えることた，それにもかかわらず，どのくらい動かす必要があるのか調べたことがなかった。さっそくcosine類似度を計測してみると， $90 \%$ の事例では正解をわずか 0.05 近付けるだけで最近傍にできるとわかった. つまり原理的には, BERT 埋め込みは既にいいところまで来ていて，あとは微調整で十分なのた。さっそく埋め达みを動かす変換関数に距離制約 3 を組み込んでチューニングしたところ，それまでの停滞が嘘のように性能が伸びた。ついでに肩の力も抜けた。

提案手法の周辺を試行錯誤するのはなんら不自然ではない．特に目標まであと一歩という場合はなおさらだ。だが取っかかりのよさだけが動機だとしたら，それはいわゆる，街灯の下で鍵を探す行為だと自制すべきかもしれない。また仮に成功しても「ヤッコウ論文4」(丸山 2019) の域を出ない懸念もある，翻って問題を観察することは，直感的には最短経路から外れるようだが，欠けているものを見通す解釈力を授けてくれる可能性がある。会議や研究発表ではしばしば誤り事例分析の有無を問われるが，これは観察の重要性を示す証拠の一つであろう.

## 4 おわりに

実のところ，筆者は回り道に否定的ではない。ふとした時に過去の徒労を思い出してひとり苦笑いするとき，同時にすこし進歩した自分を発見して，ささやかな喜びを感じるからだ。それに正例と負例の両方から学習するのは，なにも統計モデルの専売特許ではなかろう。一方で業績の生産性に対する憧れも抗しがたく，自戒や反面教師として非才を告白した次第である。

最後に，賞選考および本稿執筆の機会をくださった編集委員の皆様に感謝を表する．時宜を捉えたとは言いがたい研究課題にもかかわらず，丁寧な評価を頂戴した。また共著者および指導教官である岡崎教授に感謝する。回り道の自覚は，しばしば先生との議論からもたらされた。

自分なりに納得のゆく研究を行うことを目標として，今後も研さんに励みたい。そして願わくは，次こそはもっとうまくやりたいものだ.

## 参考文献

近藤克則 (2018). 研究の育て方 : ゴールとプロセスの「見える化」. 医学書院. [K. Kondo (2018).

Kenkyu no Sodatekata: Goru to Purosesu no "Mieruka". Igaku Shoin.].

丸山宏 (2019). 新・企業の研究者をめざす皆さんへ. 近代科学社. [H. Maruyama (2019). Shin $\cdot$

Kigyo no Kenkyusha wo Mezasu Minasan e. Kindai Kagaku Sha.].

水木栄, 岡崎直観 (2021a). 階層コード表現学習による上位下位関係の識別. 情報処理学会論

文誌データベース (TOD), 14 (4), pp. 8-23. [S. Mizuki and N. Okazaki (2021a). Learning

Hierarchical Code Representation for Hypernymy Detection. IPSJ Transactions on Databases (TOD), 14 (4), pp. 8-23.].

水木栄, 岡崎直観 (2021b). 階層コード表現を用いた上位下位関係の識別. 言語処理学会第 27 回年

次大会 (NLP2021), pp. 1236-1241. [S. Mizuki and N. Okazaki (2021b). Kaiso Kodo Hyogen wo Mochiita Joi Kai Kankei no Shikibetsu. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 1236-1241.].

Mizuki, S. and Okazaki, N. (2023). "Semantic Specialization for Knowledge-based Word Sense

Disambiguation." In Proceedings of the 17th Conference of the European Chapter of the

Association for Computational Linguistics: Main Volume, pp. 3449-3462.

水木栄, 岡崎直観 (2023). 埋め込み表現の意味適応による知識ベース語義曖昧性解消. 言語処理

学会第 29 回年次大会 (NLP2023), pp. 622-627. [S. Mizuki and N. Okazaki (2023). Umekomi

Hyogen no Imi Tekio niyoru Chishiki Besu Gogi Aimaisei Kaisho. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 622-627.].

Wang, M. and Wang, Y. (2020). "A Synset Relation-enhanced Framework with a Try-again Mechanism for Word Sense Disambiguation." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 6229-6240.

## 略歴

水木栄：2009 年東京大学大学院工学系研究科修士課程修了. 金融機関を経て, 2015 年株式会社ホットリンク入社. 2018 年東京工業大学情報理工学院博士後期課程入学, 現在に至る. ACL, 言語処理学会各会員.