# マスクされた単語の埋め込みと 2 段階クラスタリングを用いた 動詞の意味フレーム推定

山田 康輔 1 笹野遼平 1,2 武田 浩一 1
1 名古屋大学 2 理化学研究所
yamada.kosuke@c.mbox.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 1 はじめに

本研究では，テキスト中の動詞が喚起する意味 フレームの推定に取り組む。具体的には，FrameNet [1] で定義されているフレームごとにテキスト中の 動詞をクラスタリングすることを目標とする. たと えば，表 1 の (1)〜(4) に示す FrameNet の用例の場合，動詞が喚起するフレームごとに $\{(1)\},\{(2)\},\{(3)$ ， (4)\}の 3 つのクラスタにまとめることが目標となる.動詞の意味フレーム推定では，近年 ELMo [2] や BERT [3] などの文脈化単語埋め込みの有用性が報告 されている．たとえば，SemEval2019 の共通タスク [4] でベースラインを超えた 3 手法 [5, 6, 7] はいずれ もフレーム推定対象動詞の文脈化単語埋め込みを利用したクラスタリングに基づく手法となっている. しかし，これらの手法には 2 つ問題点がある. 1 つ目の問題点は，推定対象となる動詞の表層的 な情報の影響が大きいことである．表 1 の「get」の ように，一部の動詞は文脈により異なるフレームを 喚起する. しかし, 文脈化単語埋め込みは対象単語 の表層的な情報も含むことから，同一の動詞の埋め 込みは類似する傾向がある。このため，クラスタリ ングの結果，同一の動詞の用例が 1 つのクラスタに まとめられることが多い．たとえば，FrameNetから 「get」と「acquire」の用例を抽出し, 事前学習済み の BERTを用いてこれらの文脈化単語埋め込みを 獲得し, t-SNE[8] で 2 次元にマッピングした結果を 図 1 左に示す.「get」が喚起するフレームのうち, Getting フレームが付与された用例の動詞の文脈化単語埋め込みは, 同じく Getting フレームを喚起す る「acquire」の用例の動詞の文脈化単語埋め込みに 近い位置に分布する傾向はあるものの，喚起するフ レーム間の差より動詞間の差の方が大きいことが確認できる.

本研究ではこの問題を解消するため，対象動詞を マスクした文脈化単語埋め込みを利用する手法を提表 1: FrameNet の動詞「get」と「acquire」の用例と各動詞 が喚起するフレーム (括弧内).

図 1: 動詞「get」と「acquire」の動詞 (左) とマスクされた 動詞 (右) の BERT による埋め込みの 2 次元マッピング.番号は表 1 に対応し，■と + は動詞「get」と「acquire」，各色は Arriving, Transition_to_state, Getting フレームを示す.

案する. 図 1 左と同様に，マスクされた動詞の文脈化単語埋め込みを 2 次元にマッピングした結果を図 1 右に示す。マスクを用いた場合は，動詞の表層的 な情報は限定的となり，同一のフレームを喚起する 用例が近い位置に分布することが確認できる。

2つ目の問題点は，全動詞の用例を一度にまとめ てクラスタリングしていることである。この結果，各動詞が喚起するフレームの異なり数は多くても数個程度と限定的であるにも関わらず，1つの動詞の 用例が多くの異なるクラスタに属すると判断され る可能性がある．本研究では，このような事態を避 けるため，まず動詞ごとに用例のクラスタリングを 行った後，動詞横断的にフレーム単位でまとめる 2 段階クラスタリングに基づく手法を提案する。

## 2 提案手法

本研究では，テキスト中の動詞が喚起するフレー 么の推定に，マスクされた単語の埋め込み，および， 2 段階クラスタリングを利用する手法を提案する。

## 2.1 マスクされた単語の埋め込みの利用

提案手法では動詞のフレーム推定に利用する埋め 込みとして, 従来手法で使用された推定対象動詞の 文脈化単語埋め込みに加え，その動詞をマスクした 場合の文脈化単語埋め込みを利用する. 本研究では 以下の 3 種類の文脈化単語埋め込みを考える。
1. $v_{\mathrm{WORD}}$ : 対象の動詞の通常の文脈化単語埋め込み
2. $v_{\text {MASK }}$ : 対象の動詞を “[MASK]” に置き換えた場合の文脈化単語埋め込み
3. $v_{\mathrm{w}+\mathrm{M}}$ : 次式で定義される上記 2 つの加重平均

$
v_{\mathrm{w}+\mathrm{M}}=(1-\alpha) \cdot v_{\mathrm{WORD}}+\alpha \cdot v_{\mathrm{MASK}}
$

$v_{\mathrm{w}+\mathrm{M}}$ は対象の動詞をマスクした場合と，しない場合 の文脈化単語埋め込みの加重平均である. 開発セッ トを用いて重み $\alpha$ を適切に設定することにより，対象の動詞の表層的な情報の重みと周辺文脈から得ら れる情報の重みを適切に考慮した埋め込みが得られ ることを期待している。 $\alpha$ を 0 とした場合は $v_{\text {wORD }}$ と, 1 とした場合は $v_{\text {MASK }}$ と一致する。

## 2.22 段階クラスタリング

提案手法では，1 段階目で動詞ごとに用例のクラ スタリングを行った後，2 段階目で動詞横断的なク ラスタリングを行い，最終的に生成されたクラスタ がそれぞれ 1 つのフレームに対応すると考える. 1 段階目のクラスタリングにおいて，各動詞の用例を 少数のクラスタにまとめることにより，1つの動詞 の用例が多くの異なるクラスタに属することが避け られることを期待している。

図 2 に get」と「acquire」の用例を 2 段階クラス タリングしたときの流れを示す. この例では， 1 段階目のクラスタリングの結果, 「get」の用例は $3 \supset$,「acquire」の用例は 1 つのクラスタにまとめられ，2 段階目のクラスタリングにより，「get」のクラスタ の1つと「acquire」のクラスタがマージされ, 最終的 に3つのクラスタにまとめられている。 以下では,各クラスタリング手法の詳細について説明する.

動詞ごとの用例クラスタリング 1 段階目のクラ スタリングは，各動詞の用例をその動詞が喚起する フレームごとにまとめることを目的とする．クラス タリング対象の用例の動詞は共通であり, 文脈化単語埋め込みとして $v_{\text {WORD }}$ を用いる場合と， $v_{\text {MASK }}$ を用 いる場合で結果に大きな違いはないと考えられるこ とから，1 段階目のクラスタリングでは文脈化単語

図 2: 2 段階クラスタリングの流れ. 左上，左下図はそれ ぞれ「get」と「acquire」を対象とした 1 段階目のクラスタ リング，右図は 2 段階目のクラスタリングを示している.各図における』と+はそれぞれ「get」と「acuquire」の各用例の埋め込みを表す。

埋め込みとして $v_{\text {MASK }}$ のみを用いる.クラスタリン グ手法としては，X-means [9]，または，ユークリッ ド距離に基づく群平均法による階層型クラスタリン グを用いる。ここで，X-means は自動でクラスタ数 を決定する手法であるが，階層型クラスタリングは クラスタリングの終了基準を必要とする. 群平均法 では，クラスタ間距離をクラスタをまたがる全要素 ペアの平均距離により定義し，クラスタ間距離が小 さいクラスタから順にマージするが，本研究ではク ラスタ間距離が閾値 $\theta$ 以下となるクラスタペアがな くなった時点でクラスタリングを終了する。閾値 $\theta$ は全動詞で共有され，十分に大きな値に設定した場合，すべての動詞についてクラスタは 1 つとなる.本研究では， $\theta$ を十分に大きな值から徐々に小さく していき，全動詞のクラスタ数の平均が，開発セッ トにおいて各動詞が喚起するフレーム数の平均と一致する値に設定する。

フレーム意味論では，語と意味フレームを結び付 けたものを語彙項目 (Lexical Unit; LU) と呼ぶ. 1 段階目のクラスタリングにより生成されたクラスタ は，各動詞の用例をそれが喚起するフレームごとに まとめたものであることから，各クラスタはLUに 対応する集合とみなせることができ，本稿では 1 段階目のクラスタリングで生成された各クラスタを疑似 LU (pseudo-LU; pLU) と呼ぶことにする.

動詞横断的クラスタリング 2 段階目のクラスタ リングでは，1 段階目のクラスタリングで生成した pLUを，動詞横断的にそれが喚起するフレームごと にまとめることを目的とする。 まず，pLUごとに各用例の文脈化単語埋め込みの平均を算出し，その 後，算出された平均埋め込みを用いて動詞横断的に
表 2: FrameNetから作成したデータセット

クラスタリングを行う．具体的なクラスタリング手法には，ユークリッド距離に基づく群平均法ある いはウォード法による階層型クラスタリングを用 いる.

クラスタリングは， 2 つの $\mathrm{pLU}$ が同じクラスタに 属する割合 $P_{\mathrm{C}_{1}=\mathrm{C}_{2}}$ が，開発セットにおいて 2 つの $\mathrm{LU}$ が同じフレームに属する割合 $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ 以上となっ た時点で終了する. ここで， $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ は式 (2) により 算出される. 一方, $P_{\mathrm{C}_{1}=\mathrm{C}_{2}}$ も同様に計算できるが, $\mathrm{pLU}$ の全ペア数はクラスタリングの段階に依らず一定であるのに対し，同じクラスタに属する pLU のぺ ア数はクラスタリングが進むにつれて単調増加し，全体が 1 つのクラスタとなった時点で 1 となる.こ のため, クラスタリングの過程で $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ 以上の値と なることが保証される。また，無作為に抽出した 2 つの LU が同じフレームに属する確率はデータサイ ズに依らないことから，このような基準はテスト セットのサイズに依らず有効であると考えられる.

$
p_{\mathrm{F}_{1}=\mathrm{F}_{2}}=\frac{\text { 同じフレームに属する } \mathrm{LU} \text { のペア数 }}{\mathrm{LU} \text { の全ペア数 }}
$

## 3 実験

提案手法の有効性を確認するため，テキスト中の 動詞の意味フレーム推定実験を行った。

## 3.1 実験設定

データセット FrameNet ${ }^{1}$ から，いずれかのフレー ムにおいて 20 以上の用例をもつ LU となっている 動詞，および，該当する LU の用例を抽出し実験に 使用した. LU ごとの用例数は最大 100 件とし, 100 件を越える場合は無作為に 100 件を選択し用いた。抽出された動詞は全部で 1,272 個であり，そのうち 20\%の 255 動詞を開発セットとして，残りの 1,017 動詞をテストセットとして使用した. この際，複数 のフレームを喚起する動詞 2 の割合が開発セットと テストセットで一致するように留意した。なお，開発セットは各種パラメータ，および，文脈化単語埋 め込みとして使用する層の決定に利用した. 表 2 に 作成したデータセットの統計值を示す.


比較モデル 提案手法では， 1 段階目のクラスタ リング法として群平均法による階層型クラスタリン グまたは X-means を，2 段階目のクラスタリング法 としてウォード法または群平均法による階層型ク ラスタリングを用いることから，提案モデルとして これらを組み合わせた計 4 種類のモデルを比較し た.また，1 動詞をそのまま1クラスタとして扱う モデル (1-cluster-per-verb; 1 cpv), 1 動詞を 1 クラスタ (1 cpv')にまとめた上で 2 段階目のクラスタリングを 行うモデルとも比較した.

SemEval2019 の共通タスクのスコアの高かった上位 3 つの先行モデルとの比較も行った. Arefyev ら [5] は，推定対象動詞の BERT の埋め込みを用いて コサイン類似度に基づく群平均法による階層型クラ スタリングをした後，BERTを用いて得た推定対象動詞の言い換え単語による TF-IDFにより特徴量を 生成して，各クラスタを 2 分するクラスタリングを 行っている. Anwar ら [6] は, skip-gram [10] で推定対象動詞の埋め込みと文全体の埋め込みを連結した 表現を用いてマンハッタン距離に基づく群平均法 による階層型クラスタリングを行っている． Ribeiro ら [7] は，推定対象動詞の ELMo の埋め込みを獲得 して Chinese Whispers [11] によるグラフクラスタリ ングを行っている.

2 段階クラスタリングの有用性を確認するため，1 段階でクラスタリングを行うモデルとの比較も行っ た. 1 段階クラスタリングに基づくモデルでは，提案モデルと同様に，文脈化単語埋め込みとして $v_{\mathrm{w}+\mathrm{M}}$ を使用し，重み $\alpha$ は開発セットを用いて調整し， ウォード法または群平均法による階層型クラスタリ ングを用いた. クラスタ数に関しては正解のフレー 数を人手で与え，クラスタ数が正解のフレーム数 と一致した時点でクラスタリングを停止した.

実験設定 評価尺度として，B-Cubed Precision (BCP)，B-Cubed Recall (BCR)，およびその調和平均 である B-Cubed F-score (BCF) と, Purity (PU), Inverse Purity (IPU)，およびその調和平均である F-score (PIF) の 6 つの尺度を利用した. B-Cubed はクラスタ集合 と人手で付与されたフレーム集合の用例の分布に着目した用例単位の評価指標，PU と IPU はそれぞれ クラスタ内のフレームの一貫性と同一フレームによ るクラスタの集中性を評価する指標である。また，文脈化単語埋め込みは, Hugging Face が公開して いる Transformers ${ }^{3}$ に含まれる事前学習済みの BERT

3 https://github.com/huggingface/transformers

} & $1 \mathrm{cpv}$ ' & ウォード法 & 0.8 & 1017 & 164 & $54.8 / 73.1 / 62.7$ & $43.1 / 64.3 / 51.6$ \\

(bert-base-uncased) を利用した。

## 3.2 実験結果

表 3 に FrameNet データセットを用いた実験の結果を示す. SemEval2019 の共通タスクにおいてシス テムの順位付けに使用された BcF で比較した場合， 1 段階目に X-means，2 段階目に群平均法によるクラ スタリングを行う提案モデルが 64.4 となり，全手法 の中で最も高いスコアを達成した．PIFにおいても 最も高いスコアを達成するなど，すべての指標で高 いスコアとなっている。また，2 段階目のクラスタ リングの終了基準に関しても，正解のフレーム数は 393 であるのに対してクラスタ数は 410 であり, 有効に機能していることが確認できる.

マスクされた単語の埋め込みの有用性 全ての 2 段階クラスタリングに基づく手法において $\alpha$ は 0.0 , 1.0 以外の値となっていることから， $v_{\text {WORD }}$ と $v_{\text {MASK }}$ の両方を考慮することが有効であることが確認でき る.また，いずれの手法においても $\alpha$ は 1.0 に近い 值となっていることから，動詞横断的クラスタリン グにおいては $v_{\mathrm{MASK}}$ の方が有用であると考えられる.一方，1 段階クラスタリングに基づく手法における $v_{\mathrm{w}+\mathrm{M}}$ は $\alpha=0.0$ で $v_{\text {WORD }}$ と同じ埋め込みとなってお り，用例全体でクラスタリングする際の $v_{\mathrm{MASK}}$ の有用性は確認できなかった。

2 段階クラスタリングの有用性 2 段階目のクラ スタリング手法として群平均法を用いた場合に全体的に高いスコアとなっており，2 段階クラスタリン グの有用性が確認できる. また， 1 動詞をそのまま 1クラスタとして扱う (1cpv) よりも，1 クラスタに まとめた (1cpv') 後に動詞横断的にクラスタリング を行う 2 段階手法の方が高いスコアとなった. さら
に，1 段階目で $\mathrm{pLU} を$ 生成する際も，1cpv' の後に 群平均法によるクラスタリングを利用するモデルよ りも X-means の後に群平均法によるクラスタリング を利用したモデルが高いスコアとなっており，動詞 ごとの用例クラスタリングも有用であることが確認 できる.

ここで，2 段階目のウォード法によるクラスタリ ングが群平均法によるクラスタリングより全体的に スコアが低いのは， ウォード法がクラスタ内の用例数が増えるほど結合しづらく，全体的にサイズの小 さいクラスタが多くなり，クラスタリング終了条件 がうまく機能せず全体のクラスタ数が実際のフレー ム数より少なくなるためだと考えられる.

## 4 まとめと今後の展望

本研究では，テキスト中の動詞が喚起する意味フ レームの推定において，マスクされた単語の埋め込 みと 2 段階クラスタリングを利用する手法を提案し た.また，FrameNetを用いた評価実験を行い，従来手法より高い精度を達成すること，マスクされた単語の埋め込みおよび 2 段階クラスタリングが有効で あることを示した.

本研究の最終目標はフレーム知識を構築すること であり，このためには動詞の意味フレームを推定す るだけでなく，各フレームが必要とする項の特定， および，項の意味役割の推定が必要となる．今後は 文脈化単語埋め込みをフレーム項の特定，および， その意味役割推定に取り組む予定である。

## 謝辞

本研究の一部は JSPS 科研費 $18 \mathrm{H} 03286$ の助成を受 けたものである.

## 参考文献

[1] Collin F Baker, Charles J Fillmore, and John B Lowe. The berkeley framenet project. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING'98), pp. 86-90, 1998.

[2] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT'18), pp. 2227-2237, 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT'19), pp. 4171-4186, 2019.

[4] Behrang QasemiZadeh, Miriam R. L. Petruck, Regina Stodden, Laura Kallmeyer, and Marie Candito. SemEval-2019 task 2: Unsupervised lexical frame induction. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 16-30, 2019

[5] Nikolay Arefyev, Boris Sheludko, Adis Davletov, Dmitry Kharchev, Alex Nevidomsky, and Alexander Panchenko. Neural GRANNy at SemEval-2019 task 2: A combined approach for better modeling of semantic relationships in semantic frame induction. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 31-38, 2019.

[6] Saba Anwar, Dmitry Ustalov, Nikolay Arefyev, Simone Paolo Ponzetto, Chris Biemann, and Alexander Panchenko. HHMM at SemEval-2019 task 2: Unsupervised frame induction using contextualized word embeddings. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 125-129, 2019

[7] Eugénio Ribeiro, Vânia Mendonça, Ricardo Ribeiro, David Martins de Matos, Alberto Sardinha, Ana Lúcia Santos, and Luísa Coheur. L2F/INESC-ID at SemEval-2019 task 2: Unsupervised lexical semantic frame induction using contextualized word representations. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 130-136, 2019.

[8] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

[9] Dan Pelleg, Moore, and Andrew W. X-means: Extending k-means with efficient estimation of the number of clusters. In Proceedings of the 17th International Conference on Machine Learning (ICML'O0), pp. 727-734, 2000

[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems (NIPS'13), pp. 3111-3119, 2013.

[11] Chris Biemann. Chinese whispers-an efficient graph clustering algorithm and its application to natural language processing problems. In Proceedings of TextGraphs: the First Workshop on Graph Based Methods for Natural Language Processing, pp. 73-80, 2006.
 山田 康輔 1 笹野遼平 1,2 武田 浩一 1 1 名古屋大学 2 理化学研究所 yamada.kosuke@c.mbox.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp  