# 文脈化された単語理め込みの語義への 単語頻度と語義分布の影響

Cao Zhihan
東京工業大学 情報理工学院
cao.z.ab@m.titech.ac.jp
}

徳永健伸
東京工業大学 情報理工学院
take@c.titech.ac.jp
}

義への影響を「探査子 (probe)」を用いて調査する.
## 2 先行研究

静的な単語埋め込みと頻度との関係は，理論的に も実証的に研究されており，高頻度の単語の静的単語埋め込みは単語の意味をよりよく捕まえている傾向が示されている $[2,3,4]$. 静的単語埋め込みに比べ ると, CWE と頻度に関する先行研究はまだ少ない. Yu らは Transformer 系の PLM の統語的側面を探求 した [5]. 結論として，これらの PLM は確かに一部 の単語の統語的性質をよりよく捉えてはいるが，単語頻度はそれを説明できる要因ではなかった。一方 で，Zhou らは，CWE は同じ単語の埋め込みがなす 意味部分空間の大きさは，その単語頻度に比例して いると主張している [6].

このように，頻度と CWE との関係については見解が一貫していない。また，CWE の語彙意味論的 な側面に注目した研究があるが [7]，それを単語頻度と関係づけて論ずるものは見られなかった. 本研究ではこの議論上の空白を補填するために, BERT 系PLM を対象とし，以下の研究課題を設定する.

RQ1：CWE は異なる粒度の語義を捉えているか $\mathrm{RQ2}$ : 文脈化前後の単語埋め込みで異なる粒度の語義を捉える能力は変わるか RQ3：CWE の形状は異なる粒度の語義を捉える能力 にどう関与するか

RQ4：RQ1-3 は単語頻度と語義分布との関係するか

RQ2 でいう文脈化以前の単語埋め込みは，BERT などの PLM の埋め込み層の出力のことをさす。そ の理由は，埋め込み層ではトークンと位置などの埋 め込みの和にレイヤー正則化を適用するが，この 埋め込み層の出力は文脈が関与しないからである. RQ3 でいう CWE の形状は，本研究で CWE の異方性 (anisotropic)をさす。異方性は BERT 系 CWE の各次元の值のスケールが相違する性質であり，それの
形状的特徴と考えられる. BERT 系 CWE の異方性 を正則化すれば，CWEを用いた情報検索の性能を 上げられ，異方性と語義との関連があると言われて いる [8]. 本研究ではそれに基づき, RQ3 では CWE の形と異なる粒度の語義との関連を探る. RQ4 で 語義の分布を考慮する理由は，高頻度の単語ほど多義となり, 語義分布のエントロピーが高くなる可能性があるので，仮に頻度と語義との関連が見られて も，それは果たして頻度だけによるものかはわから ないからである．語義分布のエントロピーを一定の 数値に固定すれば, 語義と頻度との関係をより正確 に把握できる。なお，本研究でいう単語頻度はレン マの頻度で，エントロピーは以下で定義する。

$
H(S \mid W=w)=\sum_{s \in S} P(s \mid W=w) \log P(s \mid W=w)
$

ただし, $S$ は語 $w$ の全ての可能な語義の集合で, $P(s \mid W=w)$ は語 $w$ がコーパス中で語義 $s$ として使 われた Laplace 平滑化後の頻度である.

## 3 方法

本研究では，上述の研究課題に対して探査子を用 いてアプローチする。この手法では，PLM が生み 出した単語 $w$ の CWE cwe $(w)$ を, 分類器 $\operatorname{probe}(\cdot)$ の 入力として与え, 対象とする言語学的性質 $l$ を予測 する. この予測の性能によって, 性質 $l$ が埋め込み にどの程度反映されているかを評価する。本研究で は探査タスクを 3 種類設定した. これらのタスクを 3.1 で詳述する. 3.2 ではデータセットの構成方法 を，3.3では評価方法を説明する。

## 3.1 語義の探査タスク

本節では，RQ1 に答えるために CWE に粒度の異 なる語義の情報がの埋め込みにどの程度反映されて いるかを調査する実験について述べる。

多義語は周囲の文脈がによって，文中での意味が 確定できる．したがって，もしCWEにうまく語義 が埋め込めていれば，埋め込みから正しい語義に分類できるはずである.このような仮説を踏まえて， WordNet における Synset, Supersense, Hypernyms $の$異なる粒度の語義を同定するタスクを設定した。

Synset と Supersense 探査タスク (以下, syp と sup) では語の CWE から，その語の synset， supersense を 探査子で予測する.ここでいう synset と supersense はそれぞれ WordNet [9] で定義されているものであ表 1 実験で使用する性能指標

り，両者とも単語の意味を示すものであるが，前者 が比較的具体的な意味を示すのに対し, 後者は品詞 と意味カテゴリだけに対応する抽象度が高いもので ある。したがって，syp と supでは CWE の異なる粒度の語義を埋め込む性質を調査できると考えられ る. syp と sup では精度（syp-acc と sup-acc）を性能 の指標とする。

Hypernyms 探査タスク (以下, hyp) では syp と同じ ように synset を予測するが，1 つの synset だけでな く, hypernym 階層において根までの経路中のすべて の synsetを予測するマルチラベル分類をおこなう. hyp を取り入れたひとつの理由は, syp ではすべて の synset を同等に扱い 1 つの synset のみを出力する が，synset 同士は hyponymy の関係をなしたりして 必ずしも同等ではないからである. もうひとつの理由は, supersense と synset では意味の抽象度の隔り がかなり大きいが，その中間の粒度の意味の違い を調査するためである. hyp を取り入れることで， CWE の意味の抽象度の違いをより細かく評価でき ると考えられる. hyp では精度と再現率 (hyp-rec, hyp-pre）を性能の指標とする。本研究で採用するす べての性能指標を表 1 にまとめた。線形的な探査子 は $\operatorname{cwe}\left(w_{i}\right)$ と $l_{i}$ との真のパターンをより捉えられる と報告されて，また， L2 正則化はこの能力を高め ると報告される [10]. その結果を受けて, 本研究の 全ての探査子は L2 正則化された線形的モデルを使用する. ただし， syp と $\sup$ の探査子では出力層で softmax 関数を, hyp では sigmoid 関数を使用する.

## 3.2 データセット

SemCor コーパスから単語埋め込みと正解語義のペアを抽出し, 実験用のデータセット $\left.\{\left(\operatorname{cwe}\left(w_{i} ; m\right), l_{i}\right)\right.\}_{i \in[1, N]}$ を構築した. ただし， $N$ は コーパス中の総単語出現数, $\operatorname{cwe}\left(w_{i} ; m\right)$ は PLM $m$ が生み出した単語 $w_{i}$ の CWE である. $w_{i}$ が複数の wordpiece に分割された時には，それらの CWE の平均を $\mathrm{cwe}\left(w_{i} ; m\right)$ とする. 対象モデルは BERT-baseuncased, BERT-base-cased と RoBERTa-base の 3 つで ある. CWE は各モデルの隠れ層の出力の平均と

する.

訓練セットをランダム抽出により生成すると，高頻度の単語を含む実例を多く含んでしまう. 探査子自体もひとつのモデルなので，訓練セットに頻出の パターンをよりよく捉えられると予想されるが，こ れは頻度と CWE の関係を探求する上で好ましくな い. したがって, 本研究では訓練セットを抽出する 際に，2つの抽出方法をとった. 1 つは通常のラン ダム抽出で，もう 1 つは層化抽出である. 層化抽出 ではデータセット $\left.\{\left(\operatorname{cwe}\left(w_{i} ; m\right), l_{i}\right)\right.\} を w_{i}$ のレンマ の頻度により 10 個の部分集合に分割してから，そ れぞれから固定の割合でランダム抽出する. いずれ の抽出法でも，データセットは 6 割を訓練セット に，4 割をテストセットにした. 異なる調査対象モ デルと探査子用の訓練セットを抽出する際にはラン ダムシードを固定した.

## 3.3 評価方法

RQ2, 3 にアプローチするために, 文脈化利得 (Contextualization Gains, CN) と正規化利得 (Normalzation Gains, NG) を定義する.

CG は RQ2 のために用意した. CGを計算す るため, データセット中の事例 $\left(\mathrm{cwe}\left(w_{i} ; m\right), l_{i}\right)$ の $\mathrm{cwe}\left(w_{i} ; m\right)$ を, 単語 $w_{i}$ の同じモデルの埋め込み層 の出力 $\operatorname{static}\left(w_{i} ; m\right)$ に置き換えて統制分類器を学習 する. CG は探査子と統制分類器の性能の差として 定義するので，文脈化が有効であれば CG が大きく なる。

NG は RQ3 のために用意した. $\mathrm{Su} ら の$ bertwhitening [8] に基づき, NG では下式のとおり訓練 データを書き換えて統制分類器を学習する.

$
\begin{aligned}
\boldsymbol{\mu} & =\frac{1}{N} \sum_{j=1}^{N} \boldsymbol{c}_{j} \\
\boldsymbol{\Sigma} & =\frac{1}{N}\left(\boldsymbol{C}-\mathbf{1} \boldsymbol{\mu}^{T}\right)^{T}\left(\boldsymbol{C}-\mathbf{1} \boldsymbol{\mu}^{T}\right) \\
\operatorname{norm}\left(\boldsymbol{c}_{j} ; \boldsymbol{\mu}, \boldsymbol{\Sigma}^{-\frac{1}{2}}\right) & =\left(\boldsymbol{c}_{j}-\boldsymbol{\mu}\right) \boldsymbol{\Sigma}^{-\frac{1}{2}}
\end{aligned}
$

ただし, $\boldsymbol{c}_{j} \in \mathbb{R}^{d}$ は $d$ 次元の CWEで, $\boldsymbol{C}=\left[\boldsymbol{c}_{1}, \ldots, \boldsymbol{c}_{N}\right]^{T}$ でサイズ $N$ の訓練セット中の CWE による行列であ る. $\mathbf{1} \in \mathbb{R}^{d}$ は各要素が 1 の $d$ 次元のベクトルであ る. $\boldsymbol{\Sigma}$ は実に $\boldsymbol{C}$ の各次元についてのサンプル共分散行列である. norm のパラメータは訓練セットで計算する.この書き換え方は分散を共分散に置き換え た Z-socre と見なせる．訓練セットの CWE による 行列について正規化をして CWE の異方性を削減す る. $\mathrm{NG}$ は統制分類器からの探査子の性能の差分で
あるが，探査子の性能について引き算の向きを注意 されたい。もし異方性が CWE の語義と関わるのな ら，NGの絶対値は大きいと予想される.

RQ4 に答えるために，各性能指標と 2 つの利得を batch $_{\text {ef }}$ で計算する. batch $_{\text {ef }}$ はテストセットの部分集合で，同バッチ内の事例のエントロピーと頻度も 同等である. $e$ と $f$ はそれぞれの語義分布のエント ロピーと頻度のランクである ${ }^{1)}$. エントロピー $e$ を 固定して,$f$ が大きくなるに連れて, 各 batch $_{e f}$ で計算された指標の値の変化を見れば，RQ4 に答えるこ とができる.

## 4 実験結果

## 4.1 概要

表 2 層化抽出法の場合の結果一覧

表 2 に，BERT-base-uncased によるCWEを用いた，層化抽出法の場合の実験結果をまとめた ${ }^{2}$. CG と $\mathrm{NG}$ の列は異なる性能指標における文脈化利得と正規化利得である. Static，Static+CG と Static+CG+NG の列は，それぞれ非文脈化単語埋め込み，CWE，正規化後の CWE での探査子の性能である。太字は該当列の絶対値としての最大值を意味する. 全体的に CWE での性能は hyp-pre と sup-acc が大きく, NG は 絶対値として hyp の全ての評価指標に比較的に大 きく, CG は hyp-rec だけ大きい. Static+CG+NG と Static を比較すれば, hyp-rec と sup-acc だけ増加しな かったことがわかる.

syp-acc と sup-acc では, CG と NG は両方ともに正 であることから，BERT 系 PLM の非文脈化単語埋め 込みは，文脈化と正規化によって抽象度の違いによ らず語義を単体で捉える能力が向上する．抽象的語義の場合，向上の幅はより大きい. しかし, hyp-rec は文脈化で増加して正規化で減少する傾向を示す.

1) 事例 $\left(\mathrm{cwe}\left(w_{i} ; m\right), l_{i}\right)$ について, $w_{i}$ の語義分布のエントロ ピーが 0.04 以下，つまり実質上の一義語ならば，エントロ ピーランクを 0 とする. エントロピーランク 1 から 4 の分割 は，データセットの単語のエントロピー分布の四分位点によ る.

2）抽出法や PLM のモデルが結果に影響をしない．すべての抽出法と PLM の結果は付録の表 3 を参照されたい

つまり，CWE は文脈化でマルチレベルの抽象度の 意味を同時に捉えるようになり，正規化したらそれ ができなくなる.

一方, hyp-pre は hyp-rec と逆の傾向である. hyppre は低くなるのは，hypernym 階層において根まで の経路上にない無関係の語義を多く誤同定してし まった場合である.ここでいう無関係な語義は，そ もそも真の語義とは完全に別種の語義と，ある抽象度では同義であるが細部が違う語義の 2 種類を 含む. これと hyp-pre の傾向を踏まえて，CWE 中の 無関係な語義は文脈化の前で少なく, 文脈化後で 増えるが，正規化で取捨選択されると考えられる。 このことから，CWE の異方性は語義の網羅性と関係することを示唆している。つまり，ある単語の BERT 系 CWE は周囲の文脈から語義を豊かにする が，同時に語義の余剰も生み出す. これ過程の結果 は CWE の異方性に反映される。

## 4.2 詳細

図 1 各評価指標の単語頻度との相関 (Spearman の R)

図 1 は，エントロピーランク $e$ を固定し, batch $_{e f}$ で計算した各評価指標と頻度ランク $f$ とのスピアマ ン相関係数を示す. 抽出方法は結果に影響しないの で，ここでは層化抽出の結果だけを示す. 大多数の 場合，エントロピーの増加が Static+CG，CG と NG と頻度との相関程度を軽減するとみられる。

Static+CG 各指標において，Static+CG と頻度と の相関係数はほとんど非負であるが，値がエント ロピーの増加につれて減少する。つまり，BERT 系 CWE は，抽象度と関係なく，低エントロピーで高頻度の単語ほど意味をより捉えている。

CG CG は syp-acc で値も頻度との相関係数も正 で，syp-acc で値が正で相関係数が負である。これは CWE は文脈から，低頻度語ほど抽象的な語義を，頻出語ほど具体的語義の情報を有効に獲得している. つまり，PLM は低頻度語の大雑把な意味を文脈から 推測し，高頻度語ならよりきめ細かい意味も取りこ んでいると言える. hyp-pre の結果から，文脈化は CWE に意味の余剩をもたらすが，CG が頻度と相関係数が正なので，頻出語ほどこの余剩が少ない3).

NG NG は sup-acc と syp-acc とも値が正で相関係数が負である。これは CWE の異方性を正すことに よる利得は，粒度と関係なく低頻度語ほど大きい。 つまり，低頻度語の CWE の異方性には，無関係な 語義と関連すると思われる. NG は hyp-rec で值であ るが相関係数の絶対値がエントロピーランク 1 以外 に小さい. 実際，正規化は CWE の文脈化による意味の網羅性を軽減するが，この効果は頻度と正の二次関数的な関係をなしており，エントロピーが小さ いほどその傾向が顕著である ${ }^{4)}$. その極值は比較的低い頻度ランクに出現する。つまり，比較的に低エ ントロピーで低頻度の単語の CWE の異方性がなく なったら，意味の網羅性が小さくなる．

## 5 結論

以上より，本研究の RQ1 から RQ4 に即して結論 を述べる。（RQ1）CWE は異なる粒度を捉える能力 があるが，（RQ2\&3）文脈化前後でも，さらに異方性を修正するかどうかによっても，その能力が変化 する。文脈化は語義を豊富に埋め込めるが，同時に 無関係の語義も埋め込んでしまい，語義の余剰を招 く. しかし, 余剩語義は CWE の異方性と関係し,正則化で解消可能である。（RQ4）1)BERT 系 CWE の意味と単語頻度および語義分布との関係につい て，以下 3 点が確認された.

1. BERT 系 CWE は意味の粒度と関係ぜずに，高頻度で低エントロピーの単語ほど意味をより捉 えられる

2. 高頻度語ほど具体的な意味を正確に文脈から取 り込み，語義の余剩が少ない

3. 比較的に低エントロピー語の BERT 系 CWE は 正則化による余剩語義の解消は頻度と相関し, その中でも比較的低頻度の単語は解消程度が大 きい.


## 参考文献

[1] George A Miller, Claudia Leacock, Randee Tengi, and Ross T Bunker. A semantic concordance. In Human Language Technology: Proceedings of a Workshop Held at Plainsboro, New Jersey, March 21-24, 1993, 1993.

[2] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z Ghahramani, M Welling, C Cortes, N Lawrence, and K Q Weinberger, editors, Advances in Neural Information Processing Systems, 2014.

[3] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. Frage: Frequency-agnostic word representation. 2018.

[4] Laura Wendlandt, Jonathan K Kummerfeld, and Rada Mihalcea. Factors influencing the surprising instability of word embeddings. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2092-2102, 2018.

[5] Charles Yu, Ryan Sie, Nicolas Tedeschi, and Leon Bergen. Word frequency does not predict grammatical knowledge in language models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4040-4054, 2020.

[6] Kaitlyn Zhou, Kawin Ethayarajh, and Dan Jurafsky. Frequency-based distortions in contextualized word embeddings. 2021.

[7] Ivan Vulić, Edoardo Maria Ponti, Robert Litschko, Goran Glavaš, and Anna Korhonen. Probing pretrained language models for lexical semantics. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7222-7240, 2020.

[8] Jianlin Su, Jiarun Cao, Weijie Liu, and Yangyiwen Ou. Whitening sentence representations for better semantics and faster retrieval. 2021

[9] Christiane Fellbaum, editor. WordNet: An Electronic Lexical Database. The MIT Press, 1998.

[10] John Hewitt and Percy Liang. Designing and interpreting probes with control tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2733-2743, 2019 .

## A 付録 (Appendix)

図 $2 \mathrm{CG}$ の詳細/Layered Sampling/BERT-base-uncased

図 $3 \mathrm{NG}$ の詳細/Layered Sampling/BERT-base-uncased

図 2 と図 3 はそれぞれ，各評価指標とエントロ ピーランクにおける CG と NG の詳細な結果を示し ている．たとえば，図 2 の syp-acc の列の一番右に あるサブグラフは，エントロピーランク４の場合 の, Synset 探査子の精度について計算した batch $_{e f}$ の文脈化利得と $f$ とのプロット図である. サブグラ フにある青い線は, batch $_{e f}$ の文脈化利得と $f$ との 回帰直線である.

表 4.1 はすべての PLM の探査結果である. hyp-F1 の列は順に，Hypernyms 探査タスクの F1 尺度の値 とその文脈化利得・正規化利得である.表 3 すべての PLM の結果一覧


 Cao Zhihan 東京工業大学 情報理工学院 cao.z.ab@m.titech.ac.jp }  徳永健伸 東京工業大学 情報理工学院 take@c.titech.ac.jp }  義への影響を「探査子 (probe)」を用いて調査する. 