# BERT を用いた文埋め込みモデルの単語の暗黙的な重み付け

栗田宙人 1 小林悟郎 ${ }^{1,2}$ 横井祥 ${ }^{1,2}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
}

\{hiroto.kurita, goro.koba\}@dc.tohoku.ac.jp \{yokoi, kentaro.inui\}@tohoku.ac.jp
## 概要

事前学習済みマスク言語モデルに追加学習を加 えた文埋め込みモデルが続々と提案されており，幅広い後段タスクで高い性能を達成している. 不思議 な点として，以前主流であった静的単語埋め込みを 用いた手法では単語を陽に重み付けるという工夫 が肝要であったにも関わらず，マスク言語モデルを 用いた文埋め込みはこの工夫抜きで既存手法を凌駕している. 本研究では，BERT を用いた文埋め込 みモデルたちが各単語を単語頻度に基づく情報量 $-\log P(w)$ で暗黙的に重み付けていることを，特徴寄与測定手法 Integrated Grad との経験的な相関を通 して明らかにする. さらに，この重み付け傾向は事前学習済みの BERTを文埋め込みに適するよう追加学習する過程で強まっていることを報告する。

## 1 はじめに

自然言語文をべクトル表現で表した文埋め込み は文の意味的類似度の計算, 情報検索，文書分類な ど，自然言語処理分野で幅広く使用される有用な道具である。代表的な文埋め込み生成技術として，文 を構成する各単語の静的単語埋め込みの平均を取る 手法がある程度効果的であることが経験的・理論的 に知られている $[1,2,3]$. このとき，単純な平均で はなく，ストップワードの除去や TF-IDF[4] に代表 される単語の逆頻度に基づく重み付けが大きな効果 をもたらすことが知られている。

一方，近年では動的単語埋め込みを生成するマス ク言語モデルである BERT[5] や RoBERTa[6] を追加学習した文埋め込みモデルが続々と提案され, 意味的類似度計算などの後段タスクで静的単語埋め込 みを用いる手法を凌駕している $[7,8]$. これらのモ デルでは，静的単語埋め込みを用いた手法で効果的 だった明示的な重み付けは基本的に行われない。し かし，マスク言語モデルを基にしているため，内部 の複雑な非線形ネットワークにより単語が混ぜ合わ

図 1 本研究の概念図。モデルが文埋め込みを計算する 際の各単語の寄与を逆伝播計算により求め, 求めた単語 の寄与と大規模コーパスから計算された単語の情報量の 比較を行う。

せられ，暗黙的に単語を重み付けながら文埋め込み を生成していると考えられる. 成功を収めている最近の文埋め込みモデルはどのような重み付けを学ん でいるのだろうか.

本研究では BERTを用いた文埋め込みモデルは内部で単語頻度に基づく情報量 $-\log P(w)$ に比例した 暗黙的な単語重み付けを行なっていることを明らか にする。また，この重み付け傾向は BERT の追加学習を通じて強まっていることわかった. すなわち， BERT を用いた文埋め込みモデルは既存手法でポス トホックに外から行われていた重み付けを追加学習 の過程で自ら獲得していることがわかる.

## 2 分析の方針

本稿では BERT を用いた文埋め込みモデルが内部で暗黙的に行う単語の重み付けと頻度に基づく 単語の情報量とを比較する（図 1).モデルが行う 重み付けは勾配を用いた特徴量帰属手法 Integrated Gradients を用いて定量化し，単語の情報量はコーパ ス上で算出された単語頻度を元に計算する。

## 2.1 準備：BERT を用いた文埋め込み

モデルは, 入力文 $s=\left(w_{1}, w_{2}, \ldots, w_{|s|}\right)$ の各単語を単語埋め込み層にて単語埋め込みに変換 し $\left(w_{i} \mapsto \boldsymbol{w}_{i} \in \mathbb{R}^{d}\right)$, この単語埋め込みをまとめ たべクトル列 $W=\left[w_{1}, . ., w_{|s|}\right] \in \mathbb{R}^{|s| \times d}$ を残りの モデル $M$ に入力して文埋め込み $s$ を計算する $\left(M: \boldsymbol{W} \mapsto s \in \mathbb{R}^{d}\right)$. ここで, $d$ は埋め込みの次元数 を表す. なおモデル $M$ の最後尾で文べクトル $s$ を 作るためにおこなわれる最後の処理は，各トークン の隠れ状態のプーリングによるまとめ上げである が，このプーリングには文に含まれる単語の表現 の平均プーリング（MEAN）と文頭に挿入される特殊 トークン [CLS] の隠れ状態を用いる CLS プーリン グ（CLS）の 2 種類が主に使われている.

## 2.2 モデルが行う単語の暗黙的な重み付け

モデルが文埋め込みを生成する際に内部でどの ように各単語を重み付けているかを定量化するた めに，勾配計算を用いた特徴量（ここでは単語）の 帰属手法である Integrated Gradients（IG）[9]を用い た. 特徵量帰属手法は他にも様々あるが, IG は複雑 なニューラルネットに適用でき，さらに単純な微分 を用いる手法の問題点が積分によって克服されてい る，近年もっとも標準的に採用されているアプロー チである $[10,11]$.

今回の問題では, 文中の単語 $w_{i}$ がニューラルネッ トで文埋め込み $s$ を構成する際にどの程度寄与して いるかの度合い $c\left(w_{i}, s\right)$ を, 単語べクトルの各要素 の文ベクトルの各要素への寄与度 $\operatorname{IG}\left(w_{i}[j], s[k] ; M\right)$ に帰着させて以下のように計算することができる [12].

$
\begin{aligned}
& c\left(w_{i}, \boldsymbol{s}\right):=\sqrt{\sum_{j} \sum_{k} \mathrm{IG}\left(\boldsymbol{w}_{i}[j], \boldsymbol{s}[k] ; M\right)} \\
& \mathrm{IG}\left(\boldsymbol{w}_{i}[j], \boldsymbol{s}[k] ; M\right):=\left(\boldsymbol{W}_{i}^{(k)}-\boldsymbol{B}_{i}^{(k)}\right) \\
& \quad \times \int_{\alpha=0}^{1} \frac{\partial M(\boldsymbol{B}+\alpha \times(\boldsymbol{W}-\boldsymbol{B}))}{\partial \boldsymbol{W}_{i}^{(k)}} d \alpha
\end{aligned}
$

ただし, $v[j]$ はべクトル $v$ の $j$ 次元目の値. $\boldsymbol{B}=\left[\boldsymbol{b}_{1}, \ldots, \boldsymbol{b}_{|s|}\right]$ は積分の「ベースラインの位置」 を表すべクトル列で，文頭と文末に挿入される 特殊トークン以外の単語を[PAD] に置き換えた [CLS] , [PAD] , . , [PAD] , [SEP] に対応するベクトル 列を用いた．IG はモデルへの入力をベースライン $\boldsymbol{B}$ から実際の入力 $W$ まで徐々に変化させながら対

図 2 単語頻度に基づく情報量 $-\log P(w)$ と各種重み付け 手法の比較. 各種重み付けは STS-Benchmark[13] の頻度情報を基に作成した。

象特徴量の出力への偏微分を計算していき，それら を積分することで（経路全体での寄与を足し合わせ ることで）合計の寄与を計算する。式 1 では文べク トル側と単語ベクトル側の要素のすべての組み合わ せについての寄与の二乗和を計算することで単語の 文への寄与を算出している.

## 2.3 単語の持つ情報量

本研究では, 頻度に基づく単語の情報量 $-\log P(w)$ を文埋め込みモデル内部で行われる重み付けと比較 する。情報量とは確率 $P(x)$ で発生する事象 $x$ を観測した時に得られる情報の量であり, $-\log P(x)$ で 定義される. 文（単語列）を受け取ってその意味を 扱う文埋め込みモデルでは, $P(\cdot)$ を単語頻度分布, $P(w)$ を単語 $w$ が出現する確率とすれば， $-\log P(w)$ は単語 $w$ を観測した時に得られる情報の量に相当 し，低頻度語ほど情報量は大きい。

情報量 $-\log P(w)$ は既存の単語重み付け手法と深 い関係を持つ。文埋め込みにおいては，ストップ ワードの除去や TF-IDF，SIF weighting など，単語の 逆頻度に基づく重み付けが効果的であると知られて いる $[4,14]$. これらの手法は文の意味を理解する上 で不必要な高頻度語を取り除いたり，文の意味を決定づけると期待される低頻度語を重視しているとみ なすことができ，情報量 $-\log P(w)$ の概念と一貫す る. 情報量 $-\log P(w)$ は逆頻度に基づく最も基本的 な重み付けと言え，実際これらの既存の重み付け手法とも類似している（図 2)。これらの理由から，文埋め込みモデル内部で行われる各単語への重み付け の比較対象として情報量 $-\log P(w)$ を用いる.

## 3 実験

BERT を用いた文埋め込みモデル内部での各単語 への重み付けを単語頻度に基づく情報量 $-\log P(w)$ に照らし合わせながら調査する.

モデル BERT を追加学習した文埋め込みモデル には SentenceBERT（SBERT）[7]と SimCSE[8]を用 いた. SimCSE は追加学習時にラベル付きデータを 使っていない Unsupervised SimCSE と，使っている Supervised SimCSE の 2 種類を扱う.また, ベース ラインとして文埋め込み用の追加学習を行う前の BERT-base (uncased)を用いた. 特に，平均プーリン グを採用した BERT (MEAN) と CLS プーリングを採用した BERT (CLS) の 2 種類を扱う。なお，SimCSE および SBERT はそれぞれ BERT (CLS) および BERT (MEAN) を追加学習したモデルである.

データセット モデルへの入力文には，文類似度計算タスクの代表的なデータセットである STS Benchmark[13] の検証データおよびテストデータを 用いた. 今回は簡単のため，サブワード分割が発生せず，文長 7 の合計 617 文のみを対象とした. ま た，単語の情報量 $-\log P(w)$ の計算に用いる単語頻度は BERT の事前学習時コーパスを Wikipedia と BooksCorpurs[15] から再現して算出した.

## 3.1 定量分析

モデルに各文を入力し， 2.2 節で述べた方法でモ デル内部における各単語への重み付けを計算する.続いて，計算された各単語への重み付けと頻度に基 づく単語の情報量 $-\log P(w)$ の関係を比較するため 両者のピアソン相関係数を測定する．また，ベース ラインとして単語頻度 $P(w)$ とのピアソン相関係数 も測定する.

BERT を用いた文埋め込みモデルは $-\log P(w)$ に従って各単語を重み付けている：表 1 より, 文埋め込み用の追加学習を行っていない BERT (CLS) および BERT (MEAN) における単語への重み付けは $-\log P(w)$ と弱い正の相関があった. つまり, 追加学習前の BERT は緩やかに情報量に基づいた単語重 み付けを行なっている事が分かった. 追加学習後の モデルである SBERT および SimCSE では追加学習前の BERT (MEAN/CLS) よりも強い正の相関が見られ，追加学習後のモデルはより情報量に従って単語を重 み付けていることが分かった. これらの結果は，文埋め込み用の追加学習によってモデルが暗黙的に単表 1 各モデルにおける単語の貢献度とのピアソンの相関係数

図 3 BERT (MEAN) と SBERT における $-\log P(w)$ と単語の 重み付けの散布図。他のモデルの散布図は付録 $\mathrm{A}$ 参照.

語の情報量に基づく重み付けを獲得していることを 示唆する. ただし, 同程度の情報量を持つ単語でも モデルの重み付けには分散が見られ，特に高情報量 （低頻度語）側で分散が大きくなっていた（図 3). このことから， $-\log P(w)$ だけでは文埋め込みモデ ルが行う重み付けを完全には説明できていないと考 えられる。例えば，同じ単語でも出現によって異な る重み付けがされており，周囲の単語との関係性な どにも依存して重み付けを変えている可能性があ る. 高情報量での分散傾向の調査は今後の展望の一 つである.

重み付けは $P(w)$ ではなく $-\log P(w)$ に従う：表 1 において $-\log P(w)$ との相関係数と $P(w)$ との相関係数の絶対値を比較すると，どのモデルにおいても 一貫して $-\log P(w)$ との相関の方が強い. つまり， モデル内部での単語の重み付けは単純な単語頻度 $P(w)$ というよりも， $\log$ をけた情報量 $-\log P(w)$ に従っている。

## 3.2 定性分析

各モデルにおける単語への重み付けの具体例を 図 4 に示す. “a woman is cutting an onion.”を入力し た例では，追加学習前の BERT (CLS/MEAN) はどの単

図 4 文ごとの単語の貢献度と $-\log P(w)$.

語にもほぼ均等に重み付けを行なっているが，追加学習後のモデルはよりピーキーな重み付けを行っ ており, $-\log P(w)$ と非常に似ていることがわかる. SBERT の重み付けが特にピーキーで, 文中で情報量 が最も高いonionを最も高く重み付けている。

“there are dogs in the forest." を入力した例でも同様 の傾向が見られ，情報量が最も高い dogs に SBERT が最も高い重み付けを行なっていた。これらのこと から，BERT を追加学習したモデルは $-\log P(w)$ に 近い形で重み付けを行うが，モデルによって重み付 け傾向がやや異なることが示唆される.

## 4 関連研究

静的単語埋め込みを用いた文埋め込み 静的単語埋め込みが持つ加法構成性により, 単純な単語埋め 込みの平均を用いても質の高い文埋め込みを構成で きることが知られている $[1,2,3]$. さらに，各単語埋 め込みを単純に平均する代わりに，単語の逆頻度に 基づいて（TF-IDF や SIF-weighting など）重み付け 和することで，文埋め込みの質が向上する $[14,4]$.本研究では, 文埋め込み構築において効果的である と知られるこれらの重み付け手法と関係深い単語の 情報量 $-\log P(w)$ を比較対象に用いた。

マスク言語モデルを用いた文埋め込み 近年，自然言語処理分野の様々なタスクで成功を納めている マスク言語モデル $[5,6]$ を追加学習した文埋め込み モデルが盛んに開発されている. Reimers ら [7] は BERTを自然言語推論タスクを用いて追加学習させ ることで文埋め込みに適した SBERTを提案した。 また, 最近では画像分野の表現学習において対照学習が成功を収めている（SimCLR[16] など）ことに影響を受け，DeCLUTR[17]，SimCSE[8]，など，対照学習を取り入れた文埋め込み手法が続々と提案さ れている。これらのマスク言語モデルを用いた文埋 め込みモデルでは，既存手法のように単語を明示的 に重み付けることは基本的にない. 例外としては, Wang ら [18] は SBERT の各層から取り出した単語埋 め込みを明示的に重み付けて文埋め込みを構築する ことでより性能を向上させる手法を提案している.本研究では，マスク言語モデルを用いた文埋め込み 手法の中でも代表的である SBERT と SimCSE を対象とし，モデル内部で暗黙的に行われている単語の 重み付けについて調査した。

## 5 おわりに

本稿では，BERTを用いた文埋め込みモデルが内部では単語の情報量 $-\log P(w)$ に基づいて単語を重 み付けていることを明らかにした。また，この重み 付け傾向は BERT の追加学習を通じて獲得されてい ることも示し，BERTを用いた文埋め込みモデルは 既存手法でポストホックに外から行われていた重み 付けを追加学習の過程で自ら獲得していることが示唆される。

今後は，モデルが行う単語重み付けと文脈付きの 情報量や単語の品詞などを比較し, $-\log P(w)$ 単体 では捉えきれなかったモデルが「暗黙的に行う重み 付け」についてさらに調査を進める。また，他の文埋め込みモデルや情報検索などで使用されているテ キスト埋め込みモデルにまで分析の範囲を拡大し，様々な学習がモデルの単語重み付けに与える影響を 分析する方向性も興味深い.

## 謝辞

本研究は JSPS 科研費 JP22H05106，JP22J21492， JST，CREST，JPMJCR20D2 の助成を受けたもので す.また，本研究に関して多くのアドバイスを下 さった栗林樹生氏をはじめ Tohoku NLP グループの 皆様に感謝致します。

## 参考文献

[1] Jeff Mitchell and Mirella Lapata. Composition in distributional models of semantics. Cognitive science, Vol. 34, No. 8, pp. 1388-1429, 2010.

[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[3] John Wieting, Mohit Bansal, Kevin Gimpel, and Karen Livescu. Towards universal paraphrastic sentence embeddings. In International Conference on Learning Representations, 2016.

[4] Ignacio Arroyo-Fernández, Carlos Francisco MéndezCruz, Gerardo Sierra, Juan Manuel Torres-Moreno, and Grigori Sidorov. Unsupervised sentence representations as word information series: Revisiting tf-idf. Computer Speech and Language, pp. 107-129, July 2019.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019.

[7] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Ax- iomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, p. 3319-3328. JMLR.org, 2017.

[10] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, and Furu Wei. Knowledge neurons in pretrained transformers. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8493-8502, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Yaru Hao, Li Dong, Furu Wei, and Ke Xu. Self-attention attribution: Interpreting information interactions inside transformer. Vol. 35, pp. 12963-12971, May 2021.

[12] Gino Brunner, Yang Liu, Damian Pascual, Oliver Richter, Massimiliano Ciaramita, and Roger Wattenhofer. On identifiability in transformers. In International Conference on Learning Representations, 2020.

[13] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[14] Sanjeev Arora, Yingyu Liang, and Tengyu Ma. A simple but tough-to-beat baseline for sentence embeddings. In International Conference on Learning Representations, 2017.

[15] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 19-27, 2015.

[16] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org, 2020.

[17] John Giorgi, Osvald Nitski, Bo Wang, and Gary Bader. DeCLUTR: Deep contrastive learning for unsupervised textual representations. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 879-895, Online, August 2021. Association for Computational Linguistics.

[18] Bin Wang and C.-C. Jay Kuo. Sbert-wk: A sentence embedding method by dissecting bert-based word models. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2146-2157, 2020.

## A $-\log P(w)$ と単語の重み付けの散

## 布図

$-\log P(w)$ と各モデルが行う単語の重み付けの散布図を示す。

図 $5 \mathrm{BERT}(\mathrm{CLS})$ における $-\log P(w)$ と単語の重み付けの 散布図

図 $6 \mathrm{BERT}(\mathrm{MEAN})$ における $-\log P(w)$ と単語の重み付け の散布図

図 7 SBERT(MEAN) における $-\log P(w)$ と単語の重み付け の散布図

図 8 Unsupervised SimCSE(CLS) における $-\log P(w)$ と単語の重み付けの散布図

図 9 Supervised SimCSE(CLS) における $-\log P(w)$ と単語 の重み付けの散布図
 栗田宙人 1 小林悟郎 ${ }^{1,2}$ 横井祥 ${ }^{1,2}$ 乾健太郎 1,2 1 東北大学 2 理化学研究所 }  \{hiroto.kurita, goro.koba\}@dc.tohoku.ac.jp \{yokoi, kentaro.inui\}@tohoku.ac.jp 