# 「マスクされた単語埋め込みと 2 段階クラスタリングを用いた 動詞の意味フレーム推定」の解説

山田康輔†

## 1 はじめに

本稿では, 言語処理学会 2022 年度論文賞を受賞した「マスクされた単語埋め込みと 2 段階クラスタリングを用いた動詞の意味フレーム推定」（以下，原論文）（山田他 2022）について解説する.これは ACL-IJCNLP 2021 の本会議に採択された論文（論文 1） (Yamada et al. 2021a) を元に執筆されたものであるが，実は論文 1 と ACL-IJCNLP 2021 Findings に採択された論文 （論文 2）（Yamada et al. 2021b）をまとめて解説した記事 (山田 2021) を既に執筆させていたたいており, その中で本研究の大目標である意味フレーム構築全体の研究背景や各論文の研究概要や研究過程について解説させていただいてる。このため, 本稿では, 原論文の概要を説明した後, 研究過程ではなく, 論文 1 の内容を論文誌として投稿するにあたり注力したことについてまとめる.

## 2 原論文の概要

原論文では，大規模なテキストコーパスから人が持つ語の背景知識である意味フレームを自動的に構築するため, その最初のステップである動詞の意味フレーム推定に取り組んでいる. これは，テキスト中の動詞を，その動詞が喚起するフレームごとにまとめるタスクである。たとえば，表 1 の (1) から (4)に示す FrameNet (Baker et al. 1998)の用例の場合, $\{(1)\},\{(2)\}$, $\{(3),(4)\}$ の3つのクラスタにまとめることを意味する。近年，本タスクを解くための手法の多くは，動詞の BERT などの文脈化単語埋め込みを用い，すべての事例を一度にクラスタリング

(1) We'll not get there before the rain comes.

(Arriving)

(2) The problem continued to get worse.

(Transition_to_state)

(3) You may get more money from the basic pension.

(Getting)

(4) We have acquired more than 100 works. (Getting)

表 1 FrameNet における動詞「get」と「acquire」の用例と各動詞が喚起するフレーム（括弧内）．


する朹組みを採用している (Arefyev et al. 2019; Anwar et al. 2019; Ribeiro et al. 2019)． 原論文では, この朹組みの 2 つの欠点を指摘し, その欠点を改善する手法を提案している.

1つ目の欠点は, 動詞の文脈化単語埋め込みがその動詞の表層情報に影響されているため, 事例が意味ごとにまとまりづらい傾向があることである。図 1 の左側は, FrameNet から動詞「get」 と「acquire」の用例を抽出し, BERT (Devlin et al. 2019)による各動詞の埋め込みを t-SNE により 2 次元に射影し, 可視化したものである。この結果から，GETTINGフレームを喚起する 「get」の事例は，同じ GETTING フレームを喚起する「acquire」の事例の近くに位置する傾向が見られるが，各動詞が喚起するフレームというよりむしろ表層ごとにまとまっていることが確認できる。これを改善するため, 原論文では, 動詞を [MASK] トークンに置き換えて獲得できる埋め込みであるマスクされた単語埋め込みの利用を提案する. 図 1 の右側がマスクされた動詞の文脈化埋め达みの可視化結果である。マスクを用いることで動詞の表層的な情報を隠すことができ，同じフレームを喚起する動詞の事例が近い位置になっていることが確認できる。

もう 1 つの欠点は, 同じ動詞が喚起するフレームの異なり数は数個程度と限定的であるにも関わらず，その動詞の事例が多くの異なるクラスタに分割されすぎてしまうことである。たとえば，動詞「acquire」は Getting フレームの事例しかFrameNet データセットに含まれていないため，「acquire」のすべての事例は 1 つの共通したクラスタに属することが期待されるが，ノイズを含む埋め込み表現となっている事例が存在する場合, 複数の異なるクラスタに分かれることが確認されている。このような事態を避けるため，2 段階クラスタリングを提案する。その概要を図 2 に示す。まず，1段階目のクラスタリングとして，動詞ごとに事例のクラスタリングを行うことで, 同じ動詞の意味ごとでクラスタを形成し, その後, 2 段階目のクラスタリングとして，動詞横断的にクラスタリングを行うことでフレームクラスタを形成する手法であ

図 1 動詞「get」と「acquire」の文脈化埋め込み（左）とマスクされた動詞の文脈化埋め込み（右）の 2 次元マッピング．数字は表 1 の用例に対応し, + と・はそれぞれ動詞「get」と「acquire」の事例,各色はArriving, Transition_to_state, Getting フレームを示す.

図 22 段階クラスタリングの概要. 左上, 左下図はそれぞれ動詞「get」と「acquire」を対象とした 1 段階目の動詞ごとの用例クラスタリング, 中図はクラスタ内の埋め込みの平均の算出, 右図は 2 段階目の動詞横断クラスタリングを示している。各図における＋と・は「get」と「acquire」の事例を表す.

る.これによって, 多少ノイズとなる事例が存在するとしても, 特定の動詞に関する事例が多くのクラスタに分割されすぎないことが期待できる.

原論文では，FrameNet を用いた実験を通し，マスクされた単語埋め込み及び 2 段階クラスタリングがそれぞれ有用であることを示した。また，これらを組み合わせた手法は，従来手法と比較して 12 ポイント以上評価スコアが向上し, これまでの最高性能を獲得した.

## 3 国際会議で発表した内容を論文誌として投稿するにあたり注力したこと

1節で述べたように，原論文は ACL-IJCNLP 2021 の本会議に採択された論文 1 を元に執筆したものであり，2 節で述べた提案手法及び実験結果はすべて論文 1 に含まれる内容である。論文 1 採択までの経緯については，学会記事 (山田 2021) にまとめたため, そちらを参照していただきたい，本節では，国際会議で発表した論文 1 の内容を論文誌として投稿するにあたって，特に注力した 3 つについて述べる。国際会議に採択された後，論文誌を執筆する方が多いと思われるため, その参考となれば嬉しい限りである。

1つ目は，論文冒頭いわゆる「はじめに」の内容である。学会で発表するために執筆する予
稿は, 研究の議論や技術の共有などが目的となるため,「はじめに」の内容としては, 簡潔な夕スクの説明をし，そのタスクにおいて着目する点を述べ，それに対するアプローチを説明するといった流れのものが期待される。一方, 論文誌は完結した研究を広める場である. このため,「はじめに」の内容に関しては，研究で取り扱うタスクより幅広い視野で，分野全体の背景やそのタスクの意味や意義についてまとめることが重要になると考えている．たとえば，原論文で言えば，動詞の意味フレーム推定タスクを説明する以前に，そもそも意味フレームとは何であるかや，意味フレームを構築する意義は何かなどがこれにあたる．著者は原論文を執筆するにあたり，これらをできるだけ読者に伝わるよう，動詞「振る舞う」の事例を用いて丁寧に導入することを心がけた.

2 つ目は，実際に構築したシステムの出力結果の分析である。学会の予稿ではページ数の制限が厳しく，また，定量的な評価が重視されるため，構築されたシステムの出力の分析などの定性的な評価を十分に示していないものが多い.しかし，そのような分析は研究を説明したり議論したりする上でかなり重要であると考えている。これは，その分析によって直感的にどこまで実現できているか確認でき，どのような点で提案手法に強みがあるのかわかるためである.原論文では，実際に構築されたフレームクラスタの表や埋め込みの可視化図などによる定性的な評価に力を入れた。

3 つ目は，実験でうまくいっていない手法に対するスコアの説明である。学会の予稿では貢献を明確にするため，実験でうまくいった提案手法に対して，考察をまとめる場合が多い，当然ながら上手くいく手法に関する考察は重要であるが，その手法を他の研究で利用する場面などでは，上手くいかなかった手法に関する考察も非常に重要である．たとえば，提案手法内でも一部のアルゴリズムやハイパーパラメータを変更した場合において， スコアが下がるようなケースの考察は, 後続の研究においてかなり重要な知見となる。原論文でいえば， 1 段階目に X-means，2 段階目に群平均法を用いた 2 段階クラスタリング手法が高い性能を示しているが，他にも 1 段階目に群平均法や 2 段階目にウォード法を用いた 2 段階クラスタリング手法も検証しており，その手法が最高性能を示す手法と比較して，スコアが低くなった理由について考察している。このような考察は，今後類似したタスクを解く場合や手法を用いる場合の問題への対処に繋がり，研究コミユニテイのために非常に重要であると考えている.

## 4 おわりに

原論文は，大規模なテキストコーパスから高品質な意味フレームを自動構築するという大きな目標に向けた最初のステップである動詞の意味フレーム推定に取り組んだ研究である. ここからは後日談であるが，本稿で提案した手法をそのまま大規模なテキストコーパスに適用した結果，原論文の実験で得た結果ほど，提案手法は十分に高い性能は示せていない。これは, FrameNet

の事例はいずれもフレーム情報を付与できるような綺麗なテキストが大半であるが，実際のテキストコーパスはそこまで綺麗ではないことに由来している。このため, より性能の高い動詞の意味フレーム推定手法を実現すべく,「深層距離学習を用いた動詞の意味フレーム推定」という研究に取り組んでいる。また，現在，動詞の意味フレーム推定だけではなく，フレームに定義されているフレーム要素に関する知識の獲得についても取り組んでいる。意味フレームの自動構築に向けて, 着々と研究が進んでいるので, ぜひこれらの論文や研究発表についても注目していただると非常に嬉しい。

## 参考文献

Anwar, S., Ustalov, D., Arefyev, N., Ponzetto, S. P., Biemann, C., and Panchenko, A. (2019). "HHMM at SemEval-2019 Task 2: Unsupervised Frame Induction using Contextualized Word Embeddings." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 125-129.

Arefyev, N., Sheludko, B., Davletov, A., Kharchev, D., Nevidomsky, A., and Panchenko, A. (2019). "Neural GRANNy at SemEval-2019 Task 2: A Combined Approach for Better Modeling of Semantic Relationships in Semantic Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 31-38.

Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). "The Berkeley FrameNet Project." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 86-90.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019), pp. 4171-4186.

Ribeiro, E., Mendonça, V., Ribeiro, R., Martins de Matos, D., Sardinha, A., Santos, A. L., and Coheur, L. (2019). "L2F/INESC-ID at SemEval-2019 Task 2: Unsupervised Lexical Semantic Frame Induction using Contextualized Word Representations." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 130-136.

山田康輔 (2021). 文脈化単語埋め込みを利用した動詞の意味フレーム推定. 自然言語処理, $28(4)$, pp. 1325-1330. [K. Yamada (2021). Semantic Frame Induction of Verbs using Contexutualized Word Representations. Journal of Natural Language Processing, 28 (4), pp. 1325-1330.].

Yamada, K., Sasano, R., and Takeda, K. (2021a). "Semantic Frame Induction using Masked

Word Embeddings and Two-Step Clustering." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 811-816.

Yamada, K., Sasano, R., and Takeda, K. (2021b). "Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 (ACL-IJCNLP 2021 Findings), pp. 4353-4362.

山田康輔, 笹野遼平, 武田浩一 (2022). マスクされた単語埋め込みと 2 段階クラスタリングを用いた動詞の意味フレーム推定. 自然言語処理, 29 (2), pp. 395-415. [K. Yamada et al. (2022). Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering. Journal of Natural Language Processing, 29 (2), pp. 395-415.].

## 略歴

山田康輔：2019 年名古屋大学工学部電気電子情報工学科卒業. 2021 年同大学院情報学研究科博士前期課程修了. 現在, 同博士後期課程に在籍. 2022 年より日本学術振興会特別研究員 (DC2).