# 自己注意機構における注意の集中が相対位置に依存する仕組み

山本悠士 松崎拓也
東京理科大学 理学部第一部 応用数学科
1419096@ed.tus.ac.jp
matuzaki@rs.tus.ac.jp

## 概要

自己注意機構において各トークンは自身の周辺のトークンに注意を集中させる傾向がある。これにより，各トークンの出力ベクトルは周辺のトークンからの影響を受け，ニューラル言語モデルは文脈に依存した単語埋め込みを出力できると考えられる。

本研究では，自己注意機構において各トークンが周辺のトークンに注意を集中させるメカニズムを分析する。結果として，自己注意機構は中間層の隠れ状態から位置埋め込みの成分をトークンの位置に関して周期的な波形として抽出し，その波形の位相がずれる方向に注意を集中させていることを示す.

## 1 はじめに

自然言語処理のタスクを高精度で実行するためには，文脈を捉えることが不可欠である。例えば，回帰型ニューラルネットは時系列順に単語埋め込みを入力することで，畳み込みニューラルネットは周辺の単語埋め込みを集約することで文脈を捉えている。一方，Transformer [1] には単語の位置に依存した処理がモデル内部に存在せず，代わりに単語埋め込みに位置埋め込みを加えたものを入力する。

アテンション重み(式 (4))を観察することは，自己注意機構の推論過程を解釈する手がかりとなる [2] [3].このような分析により，自己注意機構において各トークンは自身の周辺に注意を向ける傾向が確認されている [4]. この現象は，自己注意機構が位置に依存しない構造をしているにも関わらず，位置に基づいた推論をしていることを示している.

本研究では，学習に基づく位置埋め込みを用いた自己注意機構に次の性質があることを示す.
- 自己注意機構は，学習された位置埋め込みに存在する周期性を隠れ状態から抽出できる。

・時系列として見たクエリとキーの間には位相にズレが存在し，注意はこのズレの方向に向く.以上から，注意が相対位置に依存して集中する現象は，自己注意機構が位置埋め込み由来の周期的な成分を利用することで引き起こされていると言える.

以下，本論文では，2 節で Transformer とその派生モデルの構成について，3節で注意が相対位置に依存するメカニズムについて述べる。具体的には，まず，注意が相対位置に依存する事実と位置埋め込みの周期性を確認する。次に，自己注意機構内のクエリとキーの共通点と相違点を分析し，それらと注意の方向の関係を示す. 最後に，4 節で結論を述べる.

## 2 Transformer のアーキテクチャ

## 2.1 位置埋め込み

本節では Transformer，BERT [5] および RoBERTa [6] の位置埋め込みについて説明する。 入力文のトークン数を $T$, 埋め込みを $d$ 次元べクトルとすると，位置埋め込みは $T \times d$ 行列として定義される。位置埋め込みの各列はトークン位置方向の時系列とみなせることに留意されたい。

Transformer の位置埋め込みは，トークンの位置を pos とするとき，各成分が式 (1-2) で定義される.

$
\begin{aligned}
P E_{(p o s, 2 i)} & =\sin \left(\text { pos } / 10000^{2 i / d}\right) \\
P E_{(p o s, 2 i+1)} & =\cos \left(\text { pos } / 10000^{2 i / d}\right)
\end{aligned}
$

Vaswani らは，式 (1-2) に回転行列を掛けると位置 posをずらすことができ，この性質が相対位置に基づく注意を学習するように促すと推測した [1].

$
\left[\begin{array}{cc}
\cos \theta & \sin \theta \\
-\sin \theta & \cos \theta
\end{array}\right]\left[\begin{array}{c}
\sin x_{i} \\
\cos x_{i}
\end{array}\right]=\left[\begin{array}{c}
\sin \left(x_{i}+\theta\right) \\
\cos \left(x_{i}+\theta\right)
\end{array}\right]
$

一方，BERT の位置埋め込みは $T \times d$ 行列のパラメータとして定義され，平均 0 ，標準偏差 0.02 の正規分布に従う乱数で初期化した状態から学習される. RoBERTa は，BERT とアーキテクチャは同一だが，事前学習の手法が改善されている。特に，BERT は事前学習の $90 \%$ を 128 トークンという短い文章

で学習しているのに対して，RoBERTa は常に最大長である 512 トークンの文章で学習しているため, 長文に対応することができる。 そこで，本研究では各位置での学習回数の偏りがない RoBERTaを用いた.

## 2.2 マルチヘッド自己注意機構

RoBERTa の各層にあるマルチヘッド自己注意機構は，各層のヘッド数を $n$ とするとき，第 $l$ 層の隠れ状態 $X_{l} \in \mathbb{R}^{T \times d}$ とパラメータ行列 $W_{l h}^{Q}, W_{l h}^{K}, W_{l h}^{V} \in \mathbb{R}^{d \times(d / n)}(h=1, \ldots, n), W_{l}^{O} \in \mathbb{R}^{d \times d}$ により次のように定義される. 以降，第 $l$ 層の $h$ 番目のヘッドを head $(l, h)$ と略記する.

$
\begin{aligned}
A_{l h} & =\operatorname{softmax}\left(\frac{X_{l} W_{l h}^{Q}\left(X_{l} W_{l h}^{K}\right)^{T}}{\sqrt{d / n}}\right) \\
V_{l h} & =A_{l h} X_{l} W_{l h}^{V} \\
\text { MultiHead }_{l} & =\operatorname{concat}\left(V_{l 1}, \ldots, V_{l n}\right) W_{l}^{O}
\end{aligned}
$

以下，すべての層，ヘッドで共通する議論では添字の $l, h$ を省略する。行列 $X W^{Q}, X W^{K}, A$ は，それぞれクエリ，キー，アテンション重みと呼ばれ，Aの $(i, j)$ 成分が大きい場合, 文中の $i$ 番目のトークンが $j$ 番目のトークンに注意を向けると解釈される.

## 3 位置に基づく注意のメカニズム

本節では，まず，各へッドは注意の方向と強さに基づいて分類できることを k-means 法を用いて確認する (3.1 項)。次に，位置埋め込みは学習によって周期性を獲得しており (3.2 項), 自己注意機構内のクエリとキーにも同じ周波数の成分が含まれることを示す (3.3 項)．最後に，クエリとキーを比較すると，振幅スペクトルは類似しているが位相にズレがあることについて分析し (3.4 項)，このズレの方向が注意の向きを決定づけることを示す（3.5 項）.

分析には，事前学習済みモデルである roberta-base を用いた. ${ }^{1)}$ モデルの構造は 12 層で各層にヘッドは $n=12$ 個あり， $T=512, d=768$ である. また，図を作成する際は文献 [1] の 1 章までの本文を用いた。

## 3.1 自己注意機構の位置依存性の概要

アテンション重み $A_{l h}$ を可視化すると，例えば， $A_{8,9}, A_{2,3}$ では各トークンは隣のトークンに強く注意を向け, $A_{1,1}, A_{7,5}$ では左右の周辺トークンへ注意を緩やかに偏らせていることが分かる（図2）。

図 1 ヘッドごとに, 100 個の $a_{l h}$ に振られたラベルの割合を円グラフで図示した.

図 215 トークン目までのアテンション重み. 赤点線は対角線を示す。

ヘッドの注意の傾向を調べるため，各アテンション重み $A_{l h}$ について，対角成分の $t$ 個右の成分の和

$
\operatorname{tr}_{t}(A)= \begin{cases}\sum_{i=1}^{512-t} a_{i, i+t} & (t \geq 0) \\ \sum_{i=1}^{512+t} a_{i-t, i} & (t<0)\end{cases}
$

を $t=-10, \ldots, 10$ について並べたべクトル $a_{l h}=$ $\left[\operatorname{tr}_{-10}\left(A_{l h}\right), \ldots, \operatorname{tr}_{10}\left(A_{l h}\right)\right]$ を計算した. ベクトル $a_{l h}$ は， $A_{l h}$ における相対位置による注意の偏りの平均的な傾向を表す. 入力として wikitext-2 [7] から 512 トークンの文章を 100 件作成し, $100 \times 12 \times 12$ 個のベクトル $a_{l h}$ に k-means 法を適用した. クラスタ数を 6 とすると，ベクトル $a_{l h}$ は注意の強さと向きに基づいて分類され，ほとんどのへッドで注意の向きは入力文に依存しないことが確認できた（図 1).

## 3.2 位置埋め込みの振幅スペクトル

RoBERTa の位置埋め込み $P E \in \mathbb{R}^{512 \times 768}$ にも Transformer と同様にトークン位置方向に周期性があるのかを調べるために，PE の各列べクトルに対して離散フーリエ変換を適用した:

$
\begin{aligned}
& \operatorname{spec}_{i}=\mathrm{FT}\left(P E_{1, i}, P E_{2, i}, \ldots, P E_{512, i}\right) \\
& (i=1,2, \ldots, 768)
\end{aligned}
$

得られた $P E$ の各列のスペクトルの振幅を周波数ごとに平均したものを図 3 に示す. 振幅スペクトルがいくつかの周波数でピークをとることから， RoBERTa の位置埋め込みは Transformer のように明示的に正弦波を用いて定義されていないにもかかわらず，学習により周期性を獲得していると言える. また，位置埋め込みを加える前の単語埋め込み列の振幅スペクトルにはピークが存在しないため，周期性は位置埋め込み特有の性質である。

図 3 RoBERTa の位置埋め込みの振幅スペクトル. 青線は $\operatorname{spec}_{i}$ の平均で網掛け部分は四分位範囲. オレンジの線は， ある入力に対する，位置埋め込みを加える前の単語埋め込みのスペクトル。

図 4 クエリ $Q_{1,1}$ とキー $K_{1,1}$ の 5,6 列目の先頭 64 行目までの値.

図 512 個のヘッドの $X, Q, K$ の振幅スペクトルを，各周波数について最大値をとって層ごとに図示した.

## 3.3 クエリとキーの振幅スペクトル

特異値分解を用いてクエリとキーを再定義することで，自己注意機構が位置埋め込みに類似した周期的な成分を隠れ状態から抽出できることを示す.

ヘッドのパラメータ $W^{Q}, W^{K}$ は $W^{A}=W^{Q}\left(W^{K}\right)^{T}$ とおけば， $X W^{Q}\left(X W^{K}\right)^{T}=X W^{A} X^{T}$ とまとめられるため，積 $W^{A}$ のみが意味を持つ。 つまり， $W^{Q}, W^{K}$ ないし，これらと $X$ の積であるクエリとキーの役割は相対的なものである. 実際，クエリとキーの関係を分析する際はパラメータを以下のように再定義すると結果が解釈しやすいことが分かった. すなわち $W_{l h}^{A}=U_{l h}^{Q} S\left(U_{l h}^{K}\right)^{T}$ (S は対角行列) と特異値分解して得られる左右特異べクトルを並べた行列 $U_{l h}^{Q}, U_{l h}^{K}$ を用いて, $\operatorname{head}(l, h)$ のクエリとキーをそれぞれ $Q_{l h}=X_{l} U_{l h}^{Q}, K_{l h}=X_{l} U_{l h}^{K}$ と再定義する. ここで, $X W^{A} X^{T}=X U^{Q} S\left(U^{K}\right)^{T} X^{T}=Q S K^{T}$ である.この $Q, K$ の各列の成分を可視化すると, 注意が相対位置に依存するへッドでは約 4～12 個の列でトークン位置に関して周期性が見られた（図 4，付録B）。

各層について, 隠れ状態 $X_{l}$, クエリ $Q_{l h}$, およびキー $K_{l h}$ の振幅スペクトルを 12 ヘッド・ 64 次元に渡って計算して，各周波数における振幅の最大值を求めた（図 5). すると，位置埋め込みで見られた周波数 50 付近で振幅スペクトルが大きくなる現象が，隠れ状態では見られないがクエリとキーでは見られた. つまり, 自己注意機構は位置埋め込み由来の周期的な成分を隠れ状態から抽出できると考えられる.しかし，層を通過するにつれて周波数 50 付近の振幅スペクトルは減衰することから，位置埋め込みの影響は次第に弱まり，推論が位置に依存しにくくなると考えられる.この現象は, 下層では構文的特徵を, 上層では意味的特徴を学習するという先行研究に対応していると予想される [8].

## 3.4 位相のズレと周波数の関係

図 4 を見ると，クエリとキーの位相がずれていることが分かる. Vaswani らの推測通り，この現象は回転行列によりクエリとキーがトークン位置方向に相対的にずらされた結果であることを示す.

まず， $U^{K}$ をある行列 $R$ を用いて $U^{K}=U^{Q} R$ と分解する．つまり，隠れ状態 $X$ に $U$ を掛けてクエリ $Q=X U^{Q}$ を作成した後に，さらに $R$ で変換したものがキー $K=X U^{K}=Q R$ であると解釈し， $R$ をとにクエリとキーの関係性を調査する。

特異ベクトルの直交性より，R の成分は左右の特異ベクトルの内積であり， $R$ も直交行列となる.

$
R=\left(U^{Q}\right)^{-1} U^{Q} R=\left(U^{Q}\right)^{-1} U^{K}=\left(U^{Q}\right)^{T} U^{K}
$

上式で求めた $R$ を対角化して固有值 $\lambda_{i}$ を得る.

$
\begin{array}{r}
\Lambda=P^{-1} R P=P^{-1}\left(U^{Q}\right)^{-1} U^{K} P=\left(U^{Q} P\right)^{-1}\left(U^{K} P\right) \\
\text { ただし, } \Lambda=\operatorname{diag}\left(\lambda_{1}, \cdots, \lambda_{768}\right)
\end{array}
$

直交行列の固有值は $\lambda_{i}=\cos \theta_{i} \pm j \sin \theta_{i}$ ( $j$ : 虚数単位 $)$ という形で表せるので，固有值の偏角を求めることで $R$ が 768 次元空間をどのように回転させる行列なのかが分かる. 式 (3) より, 回転行列を掛けることは正弦波の位相をずらす変換であるため，偏角 $\theta_{i}$ は，固有值 $\lambda_{i}$ に対応する固有べクトル $\boldsymbol{p}_{i}$ によってクエリおよびキーから抽出された 2 つ波形 $Q \boldsymbol{p}_{i}, K \boldsymbol{p}_{i} \in \mathbb{C}^{512}$ の間の位相のズレである.

偏角 $\theta_{i}$ の単位はラジアンなので，トークン数を単位とする位相のズレ $\Delta$ を知るためには，各波形の周波数 $f$ を用いて $\Delta(f, \theta)=512 \theta_{i} / 2 \pi f$ を計算する必要がある. そこで， $Q p_{i}$ の振幅スペクトルを $F T\left(Q \boldsymbol{p}_{i}\right) \in \mathbb{R}^{512}$ としたときの，2 変数関数 $g\left(f, \theta_{i}\right)=F T\left(Q \boldsymbol{p}_{i}\right)_{f}$ を（ $K \boldsymbol{p}_{i}$ についても同様に）可視化することで周波数と位相の関係を分析した.

図 62 変数関数 $g(f, \theta)$ の 2 次元ヒストグラム.

すると， $g(f, \theta)$ のピークは，左に弱く注意が偏る $\operatorname{head}(1,1)$ では $1 \leq \Delta \leq 3$ の領域内に，右隣に強く注意が集中する $\operatorname{head}(2,3)$ では $\Delta=-1$ の直線上に分布することが分かった（図 6).

以上より，クエリとキーの違いを生じさせる行列 $R$ は 768 次元空間内の複数の軸方向に関して異なる回転角を学習するが，周波数成分に分解してみるとトークン単位では一定の個数だけ位相がずれるように学習され，ずれるトークン数と向きはアテンション重みにおいて注意が向く位置に対応することが分かった (図 2). 自己注意機構のパラメータに回転行列を導入した RoPE [9] を用いると学習の収束が早まるのは，本項で述べた性質をより早く獲得するからであると考えられる。

## 3.5 位相のズレとアテンション重みの関係

2 信号間の時間遅れの計測等に用いられる相互相関と相互共分散を用いて，トークン数単位でクエリとキーの位相のズレを定量化し，クエリとキーの位相のズレの方向に注意が平均的に偏ることを示す.

位相のズレを定量化するために，クエリとキーの各列の相互相関 xcorr と相互共分散 xcov を計算した. ただし，クエリとキーに存在する周期性のみに焦点を当てるため，相互相関に中心化を適用した (式 12).また， $Q$ と $K$ の $j$ 列目を $\boldsymbol{q}_{j}$ および $\boldsymbol{k}_{j}, Q$ と $K$ の $(i, j)$ 成分を $q_{i, j}$ および $k_{i, j}$ とする.

$
\begin{aligned}
& \operatorname{xcov}_{j}(t)= \begin{cases}\sum_{i=1}^{512-t} q_{i, j} k_{i+t, j} & (t \geq 0) \\
\sum_{i=1}^{512+t} q_{i-t, j} k_{i, j} & (t<0)\end{cases} \\
& \operatorname{xcorr}_{j}(t)=\frac{\operatorname{xcov}_{j}(t)-\mathbb{E}_{t}\left[\operatorname{xcov}_{j}(t)\right]}{\left.\|\boldsymbol{q}_{j}\right.\|\left.\|\boldsymbol{k}_{j}\right.\|}
\end{aligned}
$

相互共分散を各列 $j$ に対応する特異值 $s_{j}$ で重み付けた和は, $Q S K^{T}$ の対角成分の $t$ 個右の成分の和

図 7 上: $\operatorname{xcorr}_{j}(t)(j=1, \ldots 20)$. 下: $\sum_{j}^{64} s_{j} \operatorname{xcov}_{j}(t)$

$\operatorname{tr}_{t}\left(Q S K^{T}\right)$ と等しいことから，注意は位相のズレの方向に平均的に集中する.

$
\begin{aligned}
\operatorname{tr}_{t}\left(Q S K^{T}\right) & =\sum_{i=1}^{512-t}\left(Q S K^{T}\right)_{i, i+t} \quad(\because \text { 式 }(7)) \\
& =\sum_{i=1}^{512-t} \sum_{j=1}^{64} s_{j} q_{i, j} k_{i+t, j} \\
& =\sum_{j=1}^{64} s_{j} \operatorname{xcov}_{j}(t)
\end{aligned}
$

注意の集中が相対位置に基づくへッドでは， $\boldsymbol{q}_{j}, \boldsymbol{k}_{j}$ の相互相関は複数の列 $j$ で周期的になり，相互共分散の重み付き和は，アテンション重みと同様に $\operatorname{head}(1,1)$ では $t=-2$ 付近で緩やかなピークをとり, $\operatorname{head}(8,9)$ では $t=-1$ で鋭いピークをとる（図 2,7 ）.

図 7 (左) において，相互共分散の重み付き和を求める際， $t=-2$ では極大值が重なるためピークは増幅されるが， $t= \pm 30$ 付近では極大値と極小値が重なるためピークは減衰する. その結果，相互共分散の重み付き和は $t=-2$ で最大となったと考えられる. 一方， $t=-1$ でのみピークをとる孤立波のような成分も存在し，正弦波状の相互共分散の和が形成する緩やかなピークを強調するような効果が確認された（図 7 右)。この成分を，位置埋め込み由来の周期的な成分へとさらに分解できるかは不明である.

以上より，注意が自身の近傍のトークンに集中する現象は，クエリとキーをトークン位置に関する波形と見たときの位相のズレによって引き起こされていると考えられる。

## 4 おわりに

自己注意機構において注意の向きが相対位置に依存する現象は，クエリとキーに存在する位置埋め込み由来の周期的な成分の位相が相対的にずらされたためであることを示した。これより，絶対位置埋め込みで相対位置に基づいた推論ができるという経験的な事実のメカニズムの一部が明らかになった.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017. https: //proceedings.neurips.cc/paper/2017/hash/ 3 f5ee243547dee91fbd053c1c4a845aa-Abstract. html.

[2] Jesse Vig. A multiscale visualization of attention in the transformer model. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 37-42. Association for Computational Linguistics, July 2019. https: //www.aclweb.org/anthology/P19-3007.

[3] Benjamin Hoover, Hendrik Strobelt, and Sebastian Gehrmann. exBERT: A Visual Analysis Tool to Explore Learned Representations in Transformer Models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 187-196, Online, July 2020. Association for Computational Linguistics. https://aclanthology . org/2020.acl-demos. 22.

[4] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D. Manning. What does BERT look at? an analysis of BERT's attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286. Association for Computational Linguistics, August 2019. https://aclanthology .org/W19-4828.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019. https: //aclanthology.org/N19-1423.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019. https: //arxiv.org/abs/1907.11692.

[7] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer sentinel mixture models. In International Conference on Learning Representations, 2017. https://openreview.net/forum?id=Byj72udxe.

[8] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics. https://aclanthology.org/P19-1452.

[9] Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, and Yunfeng Liu. Roformer: Enhanced transformer with rotary position embedding, 2021. https: //arxiv.org/abs/2104.09864.

[10] Yu-An Wang and Yun-Nung Chen. What do position embeddings learn? an empirical study of pre-trained language model positional encoding. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6840-6849, Online, November 2020. Association for Computational Linguistics. https://aclanthology.org/2020.emnlp-main. 555.

## A 様々なモデルの位置埋め込み

Hugging Face に公開されている事前学習済みモデルから絶対位置埋め込みをもつモデルをいくつか選び，図 3 (roberta-base) と同様に位置埋め込みの振幅スペクトルを図示した.

図 8 位置埋め込みの振幅スペクトル. 日本語 BERT は cl-tohoku/bert-base-japanese-whole-word-masking である.

エンコーダモデルである BERT と RoBERTa では振幅スペクトルにピークが見られ，RoBERTaの方がピークにおける振幅が大きい。一方，デコーダモデルである GPT-2 は低周波成分しか存在しない。これは，事前学習時の目的関数が強く影響しているためであると考えられる [10].

## B 位置埋め込みの主成分について

相対位置に依存して注意が集中するへッドにおいて，クエリとキーには約 4 12 個の次元で位置埋め込みに由来すると考えられる周期的な成分がそれぞれ存在した。位置埋め込みに対して主成分分析を行い, 主成分の累積寄与率を求めると, 累積寄与率は 4 次元までで $50.51 \%, 12$ 次元までで $92.23 \%$ だった. これより, 768 次元空間において 4 12 次元は少なく感じるが，位置埋め込み空間を十分再現していると考えられる（図9).

図 9 roberta-base の位置埋め込みの累積主成分寄与率.


# BERT を用いた文埋め込みモデルの単語の暗黙的な重み付け

栗田宙人 1 小林悟郎 ${ }^{1,2}$ 横井祥 ${ }^{1,2}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
}

\{hiroto.kurita, goro.koba\}@dc.tohoku.ac.jp \{yokoi, kentaro.inui\}@tohoku.ac.jp
## 概要

事前学習済みマスク言語モデルに追加学習を加えた文埋め込みモデルが続々と提案されており，幅広い後段タスクで高い性能を達成している. 不思議な点として，以前主流であった静的単語埋め込みを用いた手法では単語を陽に重み付けるという工夫が肝要であったにも関わらず，マスク言語モデルを用いた文埋め込みはこの工夫抜きで既存手法を凌駕している. 本研究では，BERT を用いた文埋め込みモデルたちが各単語を単語頻度に基づく情報量 $-\log P(w)$ で暗黙的に重み付けていることを，特徴寄与測定手法 Integrated Grad との経験的な相関を通して明らかにする. さらに，この重み付け傾向は事前学習済みの BERTを文埋め込みに適するよう追加学習する過程で強まっていることを報告する。

## 1 はじめに

自然言語文をべクトル表現で表した文埋め込みは文の意味的類似度の計算, 情報検索，文書分類など，自然言語処理分野で幅広く使用される有用な道具である。代表的な文埋め込み生成技術として，文を構成する各単語の静的単語埋め込みの平均を取る手法がある程度効果的であることが経験的・理論的に知られている $[1,2,3]$. このとき，単純な平均ではなく，ストップワードの除去や TF-IDF[4] に代表される単語の逆頻度に基づく重み付けが大きな効果をもたらすことが知られている。

一方，近年では動的単語埋め込みを生成するマスク言語モデルである BERT[5] や RoBERTa[6] を追加学習した文埋め込みモデルが続々と提案され, 意味的類似度計算などの後段タスクで静的単語埋め込みを用いる手法を凌駕している $[7,8]$. これらのモデルでは，静的単語埋め込みを用いた手法で効果的だった明示的な重み付けは基本的に行われない。しかし，マスク言語モデルを基にしているため，内部の複雑な非線形ネットワークにより単語が混ぜ合わ

図 1 本研究の概念図。モデルが文埋め込みを計算する際の各単語の寄与を逆伝播計算により求め, 求めた単語の寄与と大規模コーパスから計算された単語の情報量の比較を行う。

せられ，暗黙的に単語を重み付けながら文埋め込みを生成していると考えられる. 成功を収めている最近の文埋め込みモデルはどのような重み付けを学んでいるのだろうか.

本研究では BERTを用いた文埋め込みモデルは内部で単語頻度に基づく情報量 $-\log P(w)$ に比例した暗黙的な単語重み付けを行なっていることを明らかにする。また，この重み付け傾向は BERT の追加学習を通じて強まっていることわかった. すなわち， BERT を用いた文埋め込みモデルは既存手法でポストホックに外から行われていた重み付けを追加学習の過程で自ら獲得していることがわかる.

## 2 分析の方針

本稿では BERT を用いた文埋め込みモデルが内部で暗黙的に行う単語の重み付けと頻度に基づく単語の情報量とを比較する（図 1).モデルが行う重み付けは勾配を用いた特徴量帰属手法 Integrated Gradients を用いて定量化し，単語の情報量はコーパス上で算出された単語頻度を元に計算する。

## 2.1 準備：BERT を用いた文埋め込み

モデルは, 入力文 $s=\left(w_{1}, w_{2}, \ldots, w_{|s|}\right)$ の各単語を単語埋め込み層にて単語埋め込みに変換し $\left(w_{i} \mapsto \boldsymbol{w}_{i} \in \mathbb{R}^{d}\right)$, この単語埋め込みをまとめたべクトル列 $W=\left[w_{1}, . ., w_{|s|}\right] \in \mathbb{R}^{|s| \times d}$ を残りのモデル $M$ に入力して文埋め込み $s$ を計算する $\left(M: \boldsymbol{W} \mapsto s \in \mathbb{R}^{d}\right)$. ここで, $d$ は埋め込みの次元数を表す. なおモデル $M$ の最後尾で文べクトル $s$ を作るためにおこなわれる最後の処理は，各トークンの隠れ状態のプーリングによるまとめ上げであるが，このプーリングには文に含まれる単語の表現の平均プーリング（MEAN）と文頭に挿入される特殊トークン [CLS] の隠れ状態を用いる CLS プーリング（CLS）の 2 種類が主に使われている.

## 2.2 モデルが行う単語の暗黙的な重み付け

モデルが文埋め込みを生成する際に内部でどのように各単語を重み付けているかを定量化するために，勾配計算を用いた特徴量（ここでは単語）の帰属手法である Integrated Gradients（IG）[9]を用いた. 特徵量帰属手法は他にも様々あるが, IG は複雑なニューラルネットに適用でき，さらに単純な微分を用いる手法の問題点が積分によって克服されている，近年もっとも標準的に採用されているアプロー チである $[10,11]$.

今回の問題では, 文中の単語 $w_{i}$ がニューラルネットで文埋め込み $s$ を構成する際にどの程度寄与しているかの度合い $c\left(w_{i}, s\right)$ を, 単語べクトルの各要素の文ベクトルの各要素への寄与度 $\operatorname{IG}\left(w_{i}[j], s[k] ; M\right)$ に帰着させて以下のように計算することができる [12].

$
\begin{aligned}
& c\left(w_{i}, \boldsymbol{s}\right):=\sqrt{\sum_{j} \sum_{k} \mathrm{IG}\left(\boldsymbol{w}_{i}[j], \boldsymbol{s}[k] ; M\right)} \\
& \mathrm{IG}\left(\boldsymbol{w}_{i}[j], \boldsymbol{s}[k] ; M\right):=\left(\boldsymbol{W}_{i}^{(k)}-\boldsymbol{B}_{i}^{(k)}\right) \\
& \quad \times \int_{\alpha=0}^{1} \frac{\partial M(\boldsymbol{B}+\alpha \times(\boldsymbol{W}-\boldsymbol{B}))}{\partial \boldsymbol{W}_{i}^{(k)}} d \alpha
\end{aligned}
$

ただし, $v[j]$ はべクトル $v$ の $j$ 次元目の値. $\boldsymbol{B}=\left[\boldsymbol{b}_{1}, \ldots, \boldsymbol{b}_{|s|}\right]$ は積分の「ベースラインの位置」 を表すべクトル列で，文頭と文末に挿入される特殊トークン以外の単語を[PAD] に置き換えた [CLS] , [PAD] , . , [PAD] , [SEP] に対応するベクトル列を用いた．IG はモデルへの入力をベースライン $\boldsymbol{B}$ から実際の入力 $W$ まで徐々に変化させながら対

図 2 単語頻度に基づく情報量 $-\log P(w)$ と各種重み付け手法の比較. 各種重み付けは STS-Benchmark[13] の頻度情報を基に作成した。

象特徴量の出力への偏微分を計算していき，それらを積分することで（経路全体での寄与を足し合わせることで）合計の寄与を計算する。式 1 では文べクトル側と単語ベクトル側の要素のすべての組み合わせについての寄与の二乗和を計算することで単語の文への寄与を算出している.

## 2.3 単語の持つ情報量

本研究では, 頻度に基づく単語の情報量 $-\log P(w)$ を文埋め込みモデル内部で行われる重み付けと比較する。情報量とは確率 $P(x)$ で発生する事象 $x$ を観測した時に得られる情報の量であり, $-\log P(x)$ で定義される. 文（単語列）を受け取ってその意味を扱う文埋め込みモデルでは, $P(\cdot)$ を単語頻度分布, $P(w)$ を単語 $w$ が出現する確率とすれば， $-\log P(w)$ は単語 $w$ を観測した時に得られる情報の量に相当し，低頻度語ほど情報量は大きい。

情報量 $-\log P(w)$ は既存の単語重み付け手法と深い関係を持つ。文埋め込みにおいては，ストップワードの除去や TF-IDF，SIF weighting など，単語の逆頻度に基づく重み付けが効果的であると知られている $[4,14]$. これらの手法は文の意味を理解する上で不必要な高頻度語を取り除いたり，文の意味を決定づけると期待される低頻度語を重視しているとみなすことができ，情報量 $-\log P(w)$ の概念と一貫する. 情報量 $-\log P(w)$ は逆頻度に基づく最も基本的な重み付けと言え，実際これらの既存の重み付け手法とも類似している（図 2)。これらの理由から，文埋め込みモデル内部で行われる各単語への重み付けの比較対象として情報量 $-\log P(w)$ を用いる.

## 3 実験

BERT を用いた文埋め込みモデル内部での各単語への重み付けを単語頻度に基づく情報量 $-\log P(w)$ に照らし合わせながら調査する.

モデル BERT を追加学習した文埋め込みモデルには SentenceBERT（SBERT）[7]と SimCSE[8]を用いた. SimCSE は追加学習時にラベル付きデータを使っていない Unsupervised SimCSE と，使っている Supervised SimCSE の 2 種類を扱う.また, ベースラインとして文埋め込み用の追加学習を行う前の BERT-base (uncased)を用いた. 特に，平均プーリングを採用した BERT (MEAN) と CLS プーリングを採用した BERT (CLS) の 2 種類を扱う。なお，SimCSE および SBERT はそれぞれ BERT (CLS) および BERT (MEAN) を追加学習したモデルである.

データセットモデルへの入力文には，文類似度計算タスクの代表的なデータセットである STS Benchmark[13] の検証データおよびテストデータを用いた. 今回は簡単のため，サブワード分割が発生せず，文長 7 の合計 617 文のみを対象とした. また，単語の情報量 $-\log P(w)$ の計算に用いる単語頻度は BERT の事前学習時コーパスを Wikipedia と BooksCorpurs[15] から再現して算出した.

## 3.1 定量分析

モデルに各文を入力し， 2.2 節で述べた方法でモデル内部における各単語への重み付けを計算する.続いて，計算された各単語への重み付けと頻度に基づく単語の情報量 $-\log P(w)$ の関係を比較するため両者のピアソン相関係数を測定する．また，ベースラインとして単語頻度 $P(w)$ とのピアソン相関係数も測定する.

BERT を用いた文埋め込みモデルは $-\log P(w)$ に従って各単語を重み付けている：表 1 より, 文埋め込み用の追加学習を行っていない BERT (CLS) および BERT (MEAN) における単語への重み付けは $-\log P(w)$ と弱い正の相関があった. つまり, 追加学習前の BERT は緩やかに情報量に基づいた単語重み付けを行なっている事が分かった. 追加学習後のモデルである SBERT および SimCSE では追加学習前の BERT (MEAN/CLS) よりも強い正の相関が見られ，追加学習後のモデルはより情報量に従って単語を重み付けていることが分かった. これらの結果は，文埋め込み用の追加学習によってモデルが暗黙的に単表 1 各モデルにおける単語の貢献度とのピアソンの相関係数

図 3 BERT (MEAN) と SBERT における $-\log P(w)$ と単語の重み付けの散布図。他のモデルの散布図は付録 $\mathrm{A}$ 参照.

語の情報量に基づく重み付けを獲得していることを示唆する. ただし, 同程度の情報量を持つ単語でもモデルの重み付けには分散が見られ，特に高情報量 （低頻度語）側で分散が大きくなっていた（図 3). このことから， $-\log P(w)$ だけでは文埋め込みモデルが行う重み付けを完全には説明できていないと考えられる。例えば，同じ単語でも出現によって異なる重み付けがされており，周囲の単語との関係性などにも依存して重み付けを変えている可能性がある. 高情報量での分散傾向の調査は今後の展望の一つである.

重み付けは $P(w)$ ではなく $-\log P(w)$ に従う：表 1 において $-\log P(w)$ との相関係数と $P(w)$ との相関係数の絶対値を比較すると，どのモデルにおいても一貫して $-\log P(w)$ との相関の方が強い. つまり， モデル内部での単語の重み付けは単純な単語頻度 $P(w)$ というよりも， $\log$ をけた情報量 $-\log P(w)$ に従っている。

## 3.2 定性分析

各モデルにおける単語への重み付けの具体例を図 4 に示す. “a woman is cutting an onion.”を入力した例では，追加学習前の BERT (CLS/MEAN) はどの単

図 4 文ごとの単語の貢献度と $-\log P(w)$.

語にもほぼ均等に重み付けを行なっているが，追加学習後のモデルはよりピーキーな重み付けを行っており, $-\log P(w)$ と非常に似ていることがわかる. SBERT の重み付けが特にピーキーで, 文中で情報量が最も高いonionを最も高く重み付けている。

“there are dogs in the forest." を入力した例でも同様の傾向が見られ，情報量が最も高い dogs に SBERT が最も高い重み付けを行なっていた。これらのことから，BERT を追加学習したモデルは $-\log P(w)$ に近い形で重み付けを行うが，モデルによって重み付け傾向がやや異なることが示唆される.

## 4 関連研究

静的単語埋め込みを用いた文埋め込み静的単語埋め込みが持つ加法構成性により, 単純な単語埋め込みの平均を用いても質の高い文埋め込みを構成できることが知られている $[1,2,3]$. さらに，各単語埋め込みを単純に平均する代わりに，単語の逆頻度に基づいて（TF-IDF や SIF-weighting など）重み付け和することで，文埋め込みの質が向上する $[14,4]$.本研究では, 文埋め込み構築において効果的であると知られるこれらの重み付け手法と関係深い単語の情報量 $-\log P(w)$ を比較対象に用いた。

マスク言語モデルを用いた文埋め込み近年，自然言語処理分野の様々なタスクで成功を納めているマスク言語モデル $[5,6]$ を追加学習した文埋め込みモデルが盛んに開発されている. Reimers ら [7] は BERTを自然言語推論タスクを用いて追加学習させることで文埋め込みに適した SBERTを提案した。 また, 最近では画像分野の表現学習において対照学習が成功を収めている（SimCLR[16] など）ことに影響を受け，DeCLUTR[17]，SimCSE[8]，など，対照学習を取り入れた文埋め込み手法が続々と提案されている。これらのマスク言語モデルを用いた文埋め込みモデルでは，既存手法のように単語を明示的に重み付けることは基本的にない. 例外としては, Wang ら [18] は SBERT の各層から取り出した単語埋め込みを明示的に重み付けて文埋め込みを構築することでより性能を向上させる手法を提案している.本研究では，マスク言語モデルを用いた文埋め込み手法の中でも代表的である SBERT と SimCSE を対象とし，モデル内部で暗黙的に行われている単語の重み付けについて調査した。

## 5 おわりに

本稿では，BERTを用いた文埋め込みモデルが内部では単語の情報量 $-\log P(w)$ に基づいて単語を重み付けていることを明らかにした。また，この重み付け傾向は BERT の追加学習を通じて獲得されていることも示し，BERTを用いた文埋め込みモデルは既存手法でポストホックに外から行われていた重み付けを追加学習の過程で自ら獲得していることが示唆される。

今後は，モデルが行う単語重み付けと文脈付きの情報量や単語の品詞などを比較し, $-\log P(w)$ 単体では捉えきれなかったモデルが「暗黙的に行う重み付け」についてさらに調査を進める。また，他の文埋め込みモデルや情報検索などで使用されているテキスト埋め込みモデルにまで分析の範囲を拡大し，様々な学習がモデルの単語重み付けに与える影響を分析する方向性も興味深い.

## 謝辞

本研究は JSPS 科研費 JP22H05106，JP22J21492， JST，CREST，JPMJCR20D2 の助成を受けたものです.また，本研究に関して多くのアドバイスを下さった栗林樹生氏をはじめ Tohoku NLP グループの皆様に感謝致します。

## 参考文献

[1] Jeff Mitchell and Mirella Lapata. Composition in distributional models of semantics. Cognitive science, Vol. 34, No. 8, pp. 1388-1429, 2010.

[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[3] John Wieting, Mohit Bansal, Kevin Gimpel, and Karen Livescu. Towards universal paraphrastic sentence embeddings. In International Conference on Learning Representations, 2016.

[4] Ignacio Arroyo-Fernández, Carlos Francisco MéndezCruz, Gerardo Sierra, Juan Manuel Torres-Moreno, and Grigori Sidorov. Unsupervised sentence representations as word information series: Revisiting tf-idf. Computer Speech and Language, pp. 107-129, July 2019.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019.

[7] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Ax- iomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, p. 3319-3328. JMLR.org, 2017.

[10] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, and Furu Wei. Knowledge neurons in pretrained transformers. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8493-8502, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Yaru Hao, Li Dong, Furu Wei, and Ke Xu. Self-attention attribution: Interpreting information interactions inside transformer. Vol. 35, pp. 12963-12971, May 2021.

[12] Gino Brunner, Yang Liu, Damian Pascual, Oliver Richter, Massimiliano Ciaramita, and Roger Wattenhofer. On identifiability in transformers. In International Conference on Learning Representations, 2020.

[13] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[14] Sanjeev Arora, Yingyu Liang, and Tengyu Ma. A simple but tough-to-beat baseline for sentence embeddings. In International Conference on Learning Representations, 2017.

[15] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 19-27, 2015.

[16] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org, 2020.

[17] John Giorgi, Osvald Nitski, Bo Wang, and Gary Bader. DeCLUTR: Deep contrastive learning for unsupervised textual representations. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 879-895, Online, August 2021. Association for Computational Linguistics.

[18] Bin Wang and C.-C. Jay Kuo. Sbert-wk: A sentence embedding method by dissecting bert-based word models. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2146-2157, 2020.

## A $-\log P(w)$ と単語の重み付けの散

## 布図

$-\log P(w)$ と各モデルが行う単語の重み付けの散布図を示す。

図 $5 \mathrm{BERT}(\mathrm{CLS})$ における $-\log P(w)$ と単語の重み付けの散布図

図 $6 \mathrm{BERT}(\mathrm{MEAN})$ における $-\log P(w)$ と単語の重み付けの散布図

図 7 SBERT(MEAN) における $-\log P(w)$ と単語の重み付けの散布図

図 8 Unsupervised SimCSE(CLS) における $-\log P(w)$ と単語の重み付けの散布図

図 9 Supervised SimCSE(CLS) における $-\log P(w)$ と単語の重み付けの散布図

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Transformer 言語モデルの 予測ヘッド内バイアスによる頻度補正効果

小林悟郎 ${ }^{1,2}$ 栗林樹生 1,3 横井祥 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所 ${ }^{3}$ Langsmith 株式会社
}

goro.koba@dc.tohoku.ac.jp \{kuribayashi, yokoi, kentaro.inui\}@tohoku.ac.jp
## 概要

近年 Transfrormer ネットワークを採用した言語モデルが大きな成功を収め，注意機構やフィードフォワードネットを中心に分析が盛んに行われてきた.本研究ではモデルの出口部分にあたり, 出力に直接作用する予測ヘッドの働きを分析する．実験から予測ヘッド内のバイアスが単語予測を頻度補正していることを明らかにする．具体的には，このバイアスが高頻度語の予測確率を上げ，低頻度語の予測確率を下げることで，予測分布を実際の単語頻度分布に近づけていることが観察された. さらにこの知見を応用し，バイアスを制御することで言語モデルに多様かつ人間に近い文章生成を促せることを示す.

## 1 はじめに

Transformer ネットワーク [1] を採用した言語モデル (Transformer 言語モデル) $[2,3,4]$ は今や自然言語処理分野全体を支える基盤技術であり，高品質な文章生成を通じて幅広い応用を支えている。さらに， その成功理由の解明や更なる性能改善を求め, 内部機序の分析も盛んに行われている [5]. 分析対象としてこれまで特に注目を浴びてきたのはアーキテクチャの中核をなす Transformer 層であり, 注意機構の重みの観察からはじまり層正規化やフィードフォワードネットの挙動解明に至るまで，知見が順調に蓄積されてきた $[6,7,8]$.

本研究では, Transformer 言語モデルの出口部分, すなわちすべての Transformer 層を出たあとの予測ヘッドの働きを分析する（図 1). 予測ヘッドはモデルの単語予測に直接的に作用するため解釈もしやすく，また下層での処理をまとめて上書きできるという点でモデル改善に接続しやすいと期待できる.

実験の結果，BERT および GPT-2 の予測ヘッド内のバイアスが，高頻度語の予測確率を上げ，低頻度

図 1 BERT および GPT-2 の構造概要.

語の予測確率を下げていることが分かった.さらにこの知見を応用し，バイアスの効果を抑制しながら文章生成を行うことで，モデルが典型的な（高頻度な）表現ばかりを生成する問題 $[9,10]$ が軽減し，多様かつ人間に近い文章生成を促せることを示した。

## 2 準備: 言語モデルの予測ヘッド

Transformer 言語モデルは埋め込み層に始まり，モデルの主要部分は「層」と呼ばれる同じ構造を積み重ねたネットワークである（図 1），各層は注意機構などを通じて隠れ表現を更新していく。

層を積み重ねた後には予測ヘッドがあり，これが本研究の分析対象である。なお本研究では，事前学習で得られた，最終層から隠れ表現を受け取って各単語の予測確率を算出するへッドのことを予測へッドと呼ぶ. 具体的には，隠れ表現 $x \in \mathbb{R}^{d}$ を受け取り，層正規化（LN）[11]を適用してから，埋め込み層でも参照する単語埋め込み行列 $\boldsymbol{W}_{\mathrm{emb}} \in \mathbb{R}^{d \times|\mathscr{V}|} へ$射影することで全語彙数 $|\mathscr{V}|$ 個分の予測確率を計算する．ただし，BERT では層正規化の前に全結合層 （FC）を適用し，さらに埋め込み行列への射影後にはバイアスパラメータ $\boldsymbol{b}_{\text {last }} \in \mathbb{R}^{|\mathscr{V}|}$ を加算する.

以下，詳細を述べる. GPT-2 では入力最後尾の単語に対応する隠れ表現 $x$ を受け取り，以下のように
次単語の予測確率分布 $\boldsymbol{p} \in \mathbb{R}^{|\mathscr{W}|}$ を計算する1)：

$
\begin{aligned}
\boldsymbol{p} & =\operatorname{softmax}\left(\mathrm{LN}(\boldsymbol{x}) \boldsymbol{W}_{\mathrm{emb}}\right) \\
\mathrm{LN}(\boldsymbol{x}) & :=\frac{\boldsymbol{x}-m(\boldsymbol{x})}{s(\boldsymbol{x})} \odot \gamma+\boldsymbol{b}_{\mathrm{LN}} \in \mathbb{R}^{d}
\end{aligned}
$

BERT では [MASK] に対応する隠れ表現 $x$ を受け取り，活性化関数 GELU [12]を含んだ全結合層も用いて穴埋め単語の予測確率分布 $\boldsymbol{p} \in \mathbb{R}^{v}$ を計算する：

$
\begin{aligned}
& \boldsymbol{p}=\operatorname{softmax}\left(\mathrm{LN}\left(\boldsymbol{x}^{\prime}\right) \boldsymbol{W}_{\mathrm{emb}}+\boldsymbol{b}_{\text {last }}\right) \\
& \boldsymbol{x}^{\prime}=\operatorname{GELU}\left(\boldsymbol{x} \boldsymbol{W}_{\mathrm{FC}}+\boldsymbol{b}_{\mathrm{FC}}\right) \in \mathbb{R}^{d}
\end{aligned}
$

ここで， $m(\boldsymbol{x})$ および $s(\boldsymbol{x})$ はそれぞれ要素での平均と標準偏差を指し，๑は要素積を表す。また， $\gamma \in \mathbb{R}^{d}$ および $\boldsymbol{W}_{\mathrm{FC}} \in \mathbb{R}^{d \times d}$ は学習可能な重みパラメータ, $\boldsymbol{b}_{\mathrm{LN}}, \boldsymbol{b}_{\mathrm{FC}} \in \mathbb{R}^{d}$ および $\boldsymbol{b}_{\text {last }} \in \mathbb{R}^{|\mathscr{V}|}$ は学習可能なバイアスパラメータを表す. 以上のように， BERT と GPT-2 の予測へッドは共通してバイアス $b_{\mathrm{LN}}$ を持ち, BERT はさらに $b_{\mathrm{FC}}$ と $b_{\text {last }}$ を持つ.

本研究では Transformer 言語モデルの予測ヘッドが単語予測へ与える影響を分析する。今回は分析の第一歩として，加算という単純な操作で作用するために分析が容易なバイアスパラメータに注目する.

## 3 実験

予測ヘッド内のバイアスが単語予測に与える影響を分析する. 3.1 節ではバイアスがモデルの単語予測分布を実際の単語頻度分布に近づけるような頻度補正を行なっていることを明らかにする． 3.2 節ではバイアスの頻度補正効果を抑制する簡単な方法で多様かつ人間に近い文章生成を促せることを示す.

モデル事前学習済みの BERT-cased [2] と GPT-2 [3] を対象とした. BERT は base と large の 2 種類, GPT-2 は small, medium, large, $\mathrm{xl} の 4$ 種類を用いた.

$
\text { データモデルへ入力するテキストとして GPT-2 }
$
の事前学習コーパスである OpenWebText のテストセットの一部 5000 系列を用いた2)．BERT では事前学習の設定に従い，12\%3) のトークンを [MASK] に置換して入力した. GPT-2 で文章生成を行う 3.2 節では計算コストの観点から，5000 系列からランダムにサンプリングした 100 系列のみを用いた. また分析時に用いる単語コーパス頻度は，BERT および

1）本稿ではベクトルは横ベクトルとしている.

2) https://github.com/openai/gpt-2-output-dataset で公開されている webtext.testを用いた.

3） BERT の事前学習では入力系列の $15 \%$ が選ばれ，そのうち $80 \%$ （全体の $12 \%$ ）が [MASK] トークンに置換される.

図 2 BERT（base）におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 3 GPT-2（small）におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

GPT-2 それぞれの学習コーパスで算出した4).

## 3.1 バイアスが予測分布へ与える影響

BERT および GPT-2 の予測ヘッド内の各バイアスが単語予測に与える影響を調べる。各バイアスを除去して出力される単語予測分布を通常のモデルが出力した単語予測分布と比較する.

結果 BERT (base) でバイアス $\boldsymbol{b}_{\mathrm{LN}}$ を除去した際の単語予測分布の変化を図 2 に示す. 図の横軸はコーパスで算出した実際の単語頻度，縦軸はモデルの単語予測確率である。コーパス単語頻度側で一定間隔にビンを分け，各ビンでの単語予測確率の幾何平均と幾何標準偏差をプロットした. バイアスを除去したところ，高頻度語（図右側）の予測確率が下がり，低頻度語（図左側）の予測確率が底上げされ，結果的に単語予測分布は平坦 (図 2 中 UNIFORM 直線）に近づいた。言い換えれば，バイアス $b_{\mathrm{LN}}$ は，高頻度語を予測しやすく低頻度語を予測しにくくすることで，単語予測分布を実際の単語頻度分布 （図 2 中 UnIGRam 直線）に近づけていることがわ

4） BERT の学習コーパスは Wikipedia と BooksCorpus [13], GPT-2 の学習コーパスは OpenWebText である.それぞれ https://github.com/huggingface/datasets で一般公開されているデータセットを用いて再現し，単語頻度を算出した。
表 1 各バイアス除去時のモデル単語予測分布とコーパス単語頻度分布の KL ダイバージェンス. 值が大きいほど，単語予測分布がコーパス単語頻度分布と離れていることを表す. $\boldsymbol{b}_{\mathrm{FC}}$ と $\boldsymbol{b}_{\text {bias }}$ は BERTにのみ存在する。

かった.この結果は単方向言語モデル（GPT-2）でも一貫した. GPT-2 (small) の結果を図 3，その他の結果を付録 A に示す。

各バイアスによる頻度補正を定量的に観察するため, 検証した全てのモデルについて, モデルの単語予測分布とコーパスから算出した実際の単語頻度分布（UnIGRam）の KL ダイバージェンスを測った (表 1).どのモデルでもバイアス $b_{\mathrm{LN}}$ を除去すると值が大きくなることから， $\boldsymbol{b}_{\mathrm{LN}}$ が単語予測分布を実際の単語頻度分布に近づける頻度補正はモデルによらず行われていることがわかった。なお，BERTにおける $\boldsymbol{b}_{\mathrm{FC}}$ および $\boldsymbol{b}_{\text {last }}$ も同様の頻度補正を行なっていたが $b_{\mathrm{LN}}$ に比べて影響が小さかったため，これ以後は $\boldsymbol{b}_{\mathrm{LN}}$ に絞って分析・検証を行う。

考察：層の外で頻度補正する戦略単語頻度分布の情報が予測ヘッドにある程度外出しされていることから, 各 Transformer 層は頻度情報に表現力を割かずに頻度以外の意味について処理をおこなう傾向にあると考えられる．実際，Transformer 言語モデルの層は入力側から順に表層・構造・意味を処理していると報告されている [14]. 例えば高頻度な名詞である “valley” と低頻度な類義語 “dale” は, 品詞理解の上でも構文解析の上でも大雑把な意味理解の上でも見分ける必要がなく, 頻度情報を一旦考えないのはむしろ効果的だと考えられる. また，表 1 ではモデルサイズが大きくなるほどバイアス除去前後の $\mathrm{KL}$ ダイバージェンスの変化は小さく, つまり, 層の表現力および次元数が低いモデルほど頻度情報を予測ヘッドに任せており，これは限られた表現力を別の種類の言語処理に割いているのだろうという考察と一貫する。

考察：単語埋込空間における「頻度方向」の存在 Geva ら [15] に倣い，バイアスパラメータ $b_{\mathrm{LN}}$ を埋

図 4 GPT-2 (small)においてバイアス $b_{\mathrm{LN}}$ を埋め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ に射影した結果.

め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ へ直接射影し語彙数 $|\mathscr{V}|$ 個のスコアを算出することで $\left(\boldsymbol{b}_{\mathrm{LN}} \boldsymbol{W}_{\mathrm{emb}} \in \mathbb{R}^{|\mathscr{V}|}\right.$ を観察することで)，バイアスパラメータが単語予測分布に与える影響を近似的に確認した. 結果，単語頻度と「バイアスと単語埋込の内積」との間に比例関係が観察された (図4). バイアスパラメータが高頻度語の予測を強め低頻度語の予測を弱める役割を持つという本稿の主張を補強する結果と言える.この結果を幾何的に解釈すると，単語埋込空間（ $W_{\mathrm{emb}}$ をなす各単語ベクトルが入っている空間）の特定のわずか 1 次元の方向（ $\boldsymbol{b}_{\mathrm{LN}}$ 方向）に頻度情報がエンコードされていると言える。これまでも，静的な埋込や系列変換器などさまざまなモデルで, 頻度の近い単語群が埋込空間上で偏在することが報告されてきた $[16,17,18]$. Transformer 言語モデルでも同様の現象が起きていると考えられる.

## 3.2 バイアスが文章生成に与える影響

前節では予測へッド内のバイアスが単語予測を実際の単語頻度に近づけていることが分かった. 本節では推論時にこのバイアスを制御することで生成される文章の質を改善できる可能性を示す。

手順バイアス $\boldsymbol{b}_{\mathrm{LN}}$ を制御した GPT-2 で文章生成し，その品質を評価する。具体的には，新たに係数 $\lambda \in[0,1]$ を導入し，予測へッドの $\boldsymbol{b}_{\mathrm{LN}}$ を $\lambda \boldsymbol{b}_{\mathrm{LN}}$ に置き換える。入を 0.1 刻みで変化させながら文章を生成させた. デコーディングには 5 種類の方法を用い

デコーディングでの結果について述べる. ただし，本稿での主張は 5 種類全てで支持されている. 詳細設定は付録 Bに示す。

表 2 GPT-2のバイアスを制御した際の予測および生成されたテキストの評価. $\lambda=0,1$ と顕著だった $\lambda て ゙ の$ 結果.

評価生成された文章は多様性と人間らしさの 2 つの観点で評価する。多様性の評価には Distinct-n $\left(D_{n}\right)$ [19] と N-gram diversity $(D)$ [20]を用いた.これらは生成された文章における N-gram 重複度を測定する評価指標であり，以下のように計算される。

$
D_{n}=\frac{\# \text { ユニークな n-gram }}{\text { \# 生成された全ての n-gram }}, D=\frac{1}{4} \sum_{n=1}^{4} D_{n}
$

人間らしさの評価には MAUve[21]を用いた. MAUvE は人間が生成した文集合とモデルが生成した文集合を文埋込空間上の点群として比較することで，モデルが生成する文の分布が人間と近いかを評価する。加えて，モデルの単語レベルの予測傾向が人間と近いかを評価するため Perplexity (PPL) でも評価した.

結果表 2 に各モデルが生成した文章の評価結果を示す. どのサイズの GPT-2 でもバイアス $\boldsymbol{b}_{\mathrm{LN}}$ を弱める $(\lambda<1)$ ことで, 生成される文章の多様性は上がったが，同時に PPLが悪化し，両者はトレードオフの関係にあった. 一方で，サイズの大きい 2 モデルでは PPL の悪化が微小なのにも関わらず，多様性およびMAUVEが改善する入があった。すなわち, バイアス $\boldsymbol{b}_{\mathrm{LN}}$ の補正効果を係数 $\lambda$ で抑制する簡単な操作が，言語モデルに多様かつ人間に近い文章生成を促しうることがわかった. ただし，これらの指標のみから多様な側面を持つ文章品質の全体像を完全に把握するのは不可能であり，たとえば人手による流暢性の評価などが今後の展望として残されている。

考察: ロジット補正法との関係本研究では, Transformer 言語モデルの出口付近のバイアス $\boldsymbol{b}_{\mathrm{LN}}$ が単語予測分布を実際の単語頻度分布に近づけてい
ることを明らかにし，また $\boldsymbol{b}_{\mathrm{LN}}$ の効果を抑制する操作が文章生成の制御・改善につながる可能性を示した.この一連の知見は Menon ら [22] が提案した口ジット補正法と非常に類似している. ロジット補正とは，クラス不均衡な分類タスクにおいてモデルが高頻度クラスばかりを予測するよう学習されてしまう問題をロジットの調整を通じて緩和する技術である．彼らが提案した手法の 1 つは，訓練時には口ジットにクラス頻度分布を加算して予測させ，推論時には加算せず予測させることで，均衡誤差6) の最小化を目指すものである. 本研究の知見と照らし合わせると，予測へッドでの頻度補正バイアス $b_{\mathrm{LN}}$ の加算はロジットにクラス頻度分布を加算する操作と一貫しており，推論時にこれを除去することが生成分布の多様性につながる点も同様である．頻度分布を外から与えるという工夫を加えていないにも関わらず，Transformer 言語モデルが暗に均衡誤差の最小化に近い形で学習されていることは興味梁い。

## 4 関連研究

Transformer 言語モデルの分析のスコープとしては，1 節でも述べたように Transformer 層が注目を集めてきた．また，特に位置埋め込みなどモデルの入り口部分である埋込層にも関心が寄せられている $[23,24]$. 我々は分析領域を予測へッドに広げ， その機序について新たな発見を提供した. 予測へッドは層正規化を含むなど表現力が高く複雑な処理が可能であり（式 2)，さらに単語予測に直接作用できるため積み重ねた Transformer 層の処理の上書きすら可能な魅力的な分析対象と言える.

## 5 おわりに

本稿では，Transformer 言語モデルの予測ヘッドを構成するバイアスが予測の頻度補正を行い，予測分布をコーパス単語頻度分布に近づけていることを明らかにした。さらに，このバイアスの効果を抑制しながら文章生成させることで，生成される文章の多様性や自然さを改善できる可能性を示した。一連の知見は，単語埋込空間における幾何やロジット補正法との関連など，Transformer 言語モデルが持つ性質について興味深い示唆を提供する。

今後は，OPT [25] などのより巨大な言語モデルでも分析を行いたい．また，今回は対象外とした予測ヘッド内の重みパラメータの分析も興味深い.

6）クラス頻度によらず，各クラスを平等に捉えた誤差.

## 謝辞

言語モデルが生成した文章の評価方法についてアドバイスをくださった東北大学の佐藤志貴さんに感謝申し上げます。本研究は JSPS 科研費 JP22J21492, JP22H05106, JP22H03654 の助成を受けたものです. また本研究は JST, ACT-X, JPMJAX200S および JST, CREST, JPMJCR20D2 の支援を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186, 2019.

[3] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. Technical report, OpenAI, 2019.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems 33 (NeurIPS), Vol. 33, pp. 1877-1901, 2020.

[5] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A Primer in BERTology: What We Know About How BERT Works. Transactions of the Association for Computational Linguistics (TACL), Vol. 8, pp. 842-866, 2021.

[6] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D Manning. What Does BERT Look At? An Analysis of BERT's Attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, 2019.

[7] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Incorporating Residual and Normalization Layers into Analysis of Masked Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4547-4568, 2021.

[8] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, and Furu Wei. Knowledge neurons in pretrained transformers. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 8493-8502, 2022.

[9] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The Curious Case of Neural Text Degeneration. In 8th International Conference on Learning Representations (ICLR), 2020.

[10] Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho, and Jason Weston. Neural Text Generation With Unlikelihood Training. In 8th International Conference on Learning Representations (ICLR), 2020.

[11] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer Normalization. arXiv preprint arXiv:1607.06450, 2016.
[12] Dan Hendrycks and Kevin Gimpel. Gaussian Error Linear Units (GELUs). arXiv preprint arXiv:1606.08415, 2016.

[13] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books. In The IEEE International Conference on Computer Vision (ICCV), 2015.

[14] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT Rediscovers the Classical NLP Pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4593-4601, 2019.

[15] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer Feed-Forward Layers Are Key-Value Memories. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5484-5495, 2021.

[16] Jiaqi Mu and Pramod Viswanath. All-but-the-Top: Simple and Effective Postprocessing for Word Representations. In 6th International Conference on Learning Representations (ICLR), 2018.

[17] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. Frage: Frequency-agnostic word representation. In Advances in Neural Information Processing Systems 31 (NeurIPS), pp. 1341-1352, 2018.

[18] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1882-1892, 2020.

[19] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), pp. 110-119, 2016.

[20] Clara Meister, Tiago Pimentel, Gian Wiher, and Ryan Cotterell. Locally Typical Sampling. arXiv preprint arXiv:2202.00666v4, 2022.

[21] Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, and Zaid Harchaoui. MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. In Advances in Neural Information Processing Systems 34 (NeurIPS), 2021.

[22] Aditya Krishna Menon, Sadeep Jayasumana, Ankit Singh Rawat, Himanshu Jain, Andreas Veit, and Sanjiv Kumar. Long-tail learning via logit adjustment. In 9th International Conference on Learning Representations (ICLR), 2021.

[23] Benyou Wang, Lifeng Shang, Christina Lioma, Xin Jiang, Hao Yang, Qun Liu, and Jakob Grue Simonsen. On position embeddings in BERT. In 9th International Conference on Learning Representations (ICLR), 2021.

[24] Shun Kiyono, Sosuke Kobayashi, Jun Suzuki, and Kentaro Inui. SHAPE: Shifted absolute position embedding for transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3309-3321, 2021.

[25] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: Open Pre-trained Transformer Language Models. arXiv preprint arXiv:2205.01068v4, 2022.

図 5 BERT (large) におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 6 GPT-2 (medium) におけるバイアス $\boldsymbol{b}_{\mathrm{LN}}$ 除去による単語予測分布の変化.

## A 各モデルサイズでの結果

3.1 節で行った，バイアス $\boldsymbol{b}_{\mathrm{LN}}$ 除去した際の予測確率分布の変化を各モデルで可視化した結果を図 5 から 8 に示す. 3.1 節で行った, バイアス $\boldsymbol{b}_{\mathrm{LN}}$ を埋め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ への射影を BERT (base) で可視化した結果を図 9 に示す.スペースの都合でその他モデルでの可視化は省略する.

## B 実験の詳細設定

言語モデルの単語予測分布を観察する実験（3.1 節および 3.2 節の PPL計算）では, BERTには [MASK]部分を単語予測させ，GPT-2 には各系列の 2 単語目以降を単語予測させた. 入力系列の長さがモデルの最大入力長 $k$ を超える場合は，先頭から $k$ トークンのみを用いた．GPT-2 に文章を生成させる実験（3.2 節）では，先頭から 10 単語を文脈として与え，入力系列と同じ長さになるか終端トークンを生成するまで後続を生成させた. ビーム探索のビーム幅は 5 , Top-k サンプリングの $k$ は 50, Top-p サンプリングの $p$ は 0.9 とした.また，モデルが生成した文章の多様性を評価する際には，NLTK の単語分割器を適用してから N-gram をカウントした.

図 7 GPT-2 (large) におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 8 GPT-2 (xl) におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 9 BERT (base) においてバイアス $b_{\mathrm{LN}}$ を埋め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ に射影した結果.


# 正準角および部分空間に基づく BERTScore の拡張

石橋陽一 ${ }^{1}$ 横井祥 ${ }^{2,3}$ 須藤 克仁 ${ }^{1}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 東北大 ${ }^{3}$ 理研 AIP
\{ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp
yokoi@tohoku.ac.jp

## 概要

本研究では生成文自動評価の代表的な手法である BERTScore を拡張し、新たな文類似度 SubspaceBERTScore を提案する。我々は文に明示的に含まれない意味も考慮するため、BERTScore における文表現（ベクトル集合）と指示関数（集合への含まれ度合い）に着目し、これらを部分空間表現と正準角を用いて自然に拡張する。生成文評価タスクと文類似度タスクでの実験により提案法が BERTScore の文類似推定性能を安定して改善する事を示す。

## 1 はじめに

生成文の自動評価は、自然言語処理の重要な課題の1つである。自動評価ではシステム訳文と参照文を比較することで意味的な同等性を評価することを目指している [1]。ベクトル集合のマッチングに基づく類似度の中で代表的な手法である BERTScore [2] はシンプルで利便性が高く、最も使用されている手法である。BERTScore は BERT [3] や RoBERTa [4] 等の事前学習済みベクトルを利用して、ベクトル間のコサイン類似度の総和に基づき文類似度を計算する手法である。

BERTScore において技術的に最も重要なものは指示関数である。これは、文を単語集合と考えたときに、ある単語集合中のトークン (royal) が、もう一方の単語集合（ $B=\{$ We, are, king, and, queen $\})$ にどの程度含まれているか $($ royal $\in B ） を$ 定量化するものである。我々が着目するのは、この一件自然なアプローチが，文内のシンボルとしては明示的に含まれないが文意には影響する意味を取り逃がす可能があるという点である。例えば king と queenを含む文が持つ royal という意味情報が、royal という単語が $B$ に含まれないという理由で BERTScore の類似性計算は反映することができない。

そこで、本研究では、部分空間の考え方 [5]を取

## BERTScore

$B=\left.\{b_{1}, b_{2}, b_{3}\right.\}$
Subspace-BERTScore

$\mathbb{S}_{B}=\operatorname{span}\left.\{b_{1}, b_{2}, b_{3}\right.\}$

図 1 提案法 (Subspace-BERTScore) と BERTScore の比較。提案法は文 $(B)$ を部分空間 $\left(\mathbb{S}_{\mathbf{B}}\right)$ で表現し、部分空間とトークンベクトル $\left(a_{i}\right)$ との類似度（う正準角）を計算することで、文類似尺度の表現力を向上させている。

り入れることで、BERTScore の指示関数を拡張し、文類似度の改善に取り組んだ。提案法は表現力を向上させるだけでなく、べクトル集合間のマッチングを Recall、Precision、F-score に帰着させるという BERTScore の基本的な方針を継承しているため、タスクへの非依存性といった BERTScore の利点は損なわれていない。本研究では生成文評価タスクと文類似度タスクでの実験により提案法が BERTScore の文類似推定性能を改善する事を示した。

## 2 準備

問題設定本研究では 2 つの文に対する類似度の開発を目指している。本手法が対象とするタスク （生成文自動評価・文類似度タスク）では 2 つの文が与えられ、これらの類似性を判定する。したがって本研究では与えられる 2 つ文 $A, B$ を事前学習済みのべクトルで表現した上で、それらの類似度を計算する。

記法以降の議論を明確にするために、いくつかの記号を定義しておく。2つの文 $A, B$ のトークンの集合をそれぞれ $A=\left.\{a_{1}, a_{2}, \ldots\right.\}, B=\left.\{b_{1}, b_{2}, \ldots\right.\}$ と表記する。事前学習済み埋め込みによって表現される文脈化トークンベクトルの集合を $\mathbf{A}=\left.\{\boldsymbol{a}_{1}, \boldsymbol{a}_{2}, \ldots\right.\}, \mathbf{B}=\left.\{\boldsymbol{b}_{1}, \boldsymbol{b}_{2}, \ldots\right.\}$ と表記する。ここで $\boldsymbol{a}, \boldsymbol{b}$ をトークンのベクトルとする。また、Aによっ

て張られる部分空間を $\mathbb{S}_{\mathbf{A}}$ と表記する。

## 3 BERTScore

ここでは生成文のマッチングに基づく文類似度における最も代表的な評価手法である BERTScore [2] における「文の表現方法」と技術的に最も重要な 「指示関数」を概説しその限界を指摘する。

離散シンボル集合間の類似度 BLEU [1] や METEOR [6] などの BERTScore 以前のいくつかの評価手法は、Recall $(R)$ 、Precision $(P)$ の計算に基づく手法であった1)。

$
\begin{aligned}
& R=\frac{1}{|A|} \sum_{a_{i} \in A} \mathbb{1}_{\text {set }}\left[a_{i} \in B\right], \\
& P=\frac{1}{|B|} \sum_{b_{i} \in B} \mathbb{1}_{\text {set }}\left[b_{i} \in A\right] .
\end{aligned}
$

ここで指示関数 $\mathbb{1}_{\text {set }}$ は「集合に含まれる (1) か否か (0)」を離散的に定量化する関数である。

$
\mathbb{1}_{\text {set }}\left[a_{i} \in B\right]=\left.\{\begin{array}{lll}
1 & \text { if } & a_{i} \in B, \\
0 & \text { if } & a_{i} \notin B .
\end{array}\right.
$

BERTScore における 3 つの類似度 BERTScore は $R, P$ そして F-score $(F)$ を埋め込みを用いて近似的に計算する手法である。

$
\begin{aligned}
& R_{\mathrm{BERT}}=\frac{1}{|A|} \sum_{\boldsymbol{a}_{i} \in \mathbf{A}} \mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, \mathbf{B}\right), \\
& P_{\mathrm{BERT}}=\frac{1}{|B|} \sum_{\boldsymbol{b}_{i} \in \mathbf{B}} \mathbb{1}_{\text {vectors }}\left(\boldsymbol{b}_{i}, \mathbf{A}\right), \\
& F_{\mathrm{BERT}}=2 \frac{P_{\mathrm{BERT}} \cdot R_{\mathrm{BERT}}}{P_{\mathrm{BERT}}+R_{\mathrm{BERT}}} .
\end{aligned}
$

文はトークンベクトルの集合 $\mathbf{A}, \mathbf{B}$ として表現され

関数である。直感的には、この $\mathbb{1}_{\text {vectors }}$ は「ベクトル集合への $-1 \sim 1$ の含まれ度合い」であり、 $\mathbb{1}_{\text {set }} よ$ りも柔軟な指示関数となっている。具体的には、 $\mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, \mathbf{B}\right)$ は文 $A$ 中の $i$ 番目のトークンベクトル $a_{i}$ が文 $B$ に対し意味的にどの程度含まれているかを $a_{i}$ と $B$ のトークンベクトルとの $\cos$ 類似度の最大値として定量化している。

$
\mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, B\right)=\max _{\boldsymbol{b}_{j} \in B} \cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right) \in[-1,1]
$

ここで $\cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right)$ は $\boldsymbol{a}_{i}$ と $\boldsymbol{b}_{j}$ の $\cos$ 類似度である。

表現力の問題指示関数 $\mathbb{1}_{\text {vector }}$ は BERTScore の計算において最も重要な演算である。 $P_{\mathrm{BERT}}, R_{\mathrm{BERT}}$ は
$-gram のリストが
}使われる。 $\mathbb{1}_{\text {vectors }}$ の和であるし、 $F_{\mathrm{BERT}}$ は $P_{\mathrm{BERT}}, R_{\mathrm{BERT}}$ に基づいて計算される。しかしながら BERTScore の指示関数は表現力の観点で問題がある。図 1 左は $\mathbb{1}_{\text {vectors }}$ の計算を可視化したものである。ここで $\mathbb{v}_{\text {vectors }}$ は $B$ のすべてのべクトルとの類似度を計算し、最大值のみ返す。すなわち、 $B$ 中の「特定の単語」との類似度である。したがって、文が持つ非明示的で重要な意味情報との類似性が考慮されない。例えばThe king and queen. は royal の意味を含むが、表層的には含まれない。BERTScore における類似度の計算対象は文中の単語のみであるので、royal との類似性は直接計算できない。この問題は文を単なるべクトル集合で表現していること、そしてそのようなべクトル集合のための指示関数を採用している事に起因する。

## 4 Subspace-BERTScore

我々は部分空間の考え [5] に基づいた文表現と指示関数により BERTScore を拡張した SubspaceBERTScoreを提案する。

部分空間を使った文表現 BERTScoreでは、文がベクトル集合で表現されていたが、我々は文の非明示的な情報を表現するため、文をトークンベクトルが張る部分空間 $\mathbb{S}$ とてて表現する（図 1)。以前の研究で、単語ベクトルが張る部分空間が単語集合の意味的特徴をよく反映する表現であることがわかっている $[7,5]$ 。

部分空間に対する指示関数部分空間と単語の類似性を計算するため、部分空間に適用できる指示関数であるソフト帰属度 [5] を導入する。これは直感的には「部分空間とべクトルの類似度」として機能する。この指示関数はベクトル $\boldsymbol{a}$ と部分空間 $\mathbb{S}_{\mathbf{B}}$ とのなす最小の角度（第一正準角）に応じて 0 から 1 の連続値を返す2)。

$
\mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right)=\max _{\boldsymbol{b}_{j} \in \mathbb{S}_{\mathbf{B}}}\left|\cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right)\right| \in[0,1]
$

ここで、 $\mathbb{S}_{\mathbf{B}}$ は文 $B$ のベクトルで張られる線形部分空間である (図 1)。

ソフト帰属度は文の全情報を含む部分空間との類似度を計算でき、BERTScore の指示関数の表現力を改善する。また、式を見るとソフト帰属度 $1_{\text {subspace }}$ （式 8）は BERTScore における指示関数 $\mathbb{1}_{\text {vectors }}$ （式 7） の自然な拡張となっていることがわかる。

提案法: P, R, F の拡張これまでの議論に基づき、我々は文の部分空間表現とソフト帰属度を用いて BERTScore の $R, P, F$ を計算する SubspaceBERTScore を提案する。

$
\begin{aligned}
& R_{\text {subspace }}=\frac{1}{|A|} \sum_{\boldsymbol{a}_{i} \in A} \mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right), \\
& P_{\text {subspace }}=\frac{1}{|B|} \sum_{\boldsymbol{b}_{i} \in B} \mathbb{1}_{\text {subspace }}\left(\boldsymbol{b}_{i}, \mathbb{S}_{\mathbf{A}}\right), \\
& F_{\text {subspace }}=2 \frac{P_{\text {subspace }} \cdot R_{\text {subspace }}}{P_{\text {subspace }}+R_{\text {subspace }}} .
\end{aligned}
$

ここで、 $R_{\text {subspace }}, P_{\text {subspace }}, F_{\text {subspace }}$ は SubspaceBERTScore の最終的な評価尺度である。

重要度の重み付け過去の研究で、出現頻度の低い単語は一般的な単語よりも文において文類似性に重要な役割を果たすことが知られている $[6,8]$ 。このことから BERTscore では重要度を重み付けする方法も提案している。そこで我々の手法も BERTScore と同様に以下のように重み付けを行う。

$
\begin{aligned}
R_{\text {subspace }}= & \frac{\sum_{\boldsymbol{a}_{i} \in A} \operatorname{weight}\left(\mathrm{a}_{\mathrm{i}}\right) \mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right)}{\sum_{\boldsymbol{a}_{i} \in A} \operatorname{weight}\left(\mathrm{a}_{\mathrm{i}}\right)}, \\
P_{\text {subspace }}= & \frac{\sum_{\boldsymbol{b}_{i} \in B} \operatorname{weight}\left(\mathrm{b}_{\mathrm{i}}\right) \mathbb{1}_{\text {subspace }}\left(\boldsymbol{b}_{i}, \mathbb{S}_{\mathbf{A}}\right)}{\sum_{\boldsymbol{b}_{i} \in B} \operatorname{weight}\left(\mathrm{b}_{\mathrm{i}}\right)} .
\end{aligned}
$

ここで、weight は重み付け関数である。我々は BERTScore で採用された inverse document frequency (IDF) またはベクトルの L2ノルム [9]を使用する。

## 5 定量的評価

提案法の性能を検証するため、生成文の自動評価タスクと、文類似度タスクで評価を類似おこ。ここでは複数のデータセットにおける総合的な結果を述べる。各データセットの個々の結果については付録の表 4、表 5に記載する。

## 5.1 生成文自動評価タスク

実験設定先行研究 [2] に習い我々は機械翻訳における自動評価タスクである WMT18 metrics task [10] の評価データセットを使用した。このデータセットには機械翻訳システム訳文と参照訳文、そして人手評価が含まれる。このタスクでは機械翻訳システム訳文と参照訳文の類似度を算出し、人手評価と自動評価のケンドールの順位相関係数 （Kendall's $\tau$ ）で評価する。本実験で我々は 7 言語から英語への翻訳におけるセグメントレベルの人手評価を使用した。事前学習済み言語モデルには表 1 WMT18におけるセグメントレベルの人手評価との平均相関係数（Kendall's $\tau$ )。

表 2 各 STS データセットにおける人手評価との平均相関係数（Spearman's $\rho$ )

BERTScore で高い性能を達成したことが報告されている RoBERTa $_{\text {large }}{ }^{3}$ [4] の第 17 層を使用した。

結果結果を表 1に示す。3つの類似尺度 F-score、 Precision、Recallに着目すると、いずれの類似度でも提案法が最も高い人手評価との相関を達成した。特に、この3つの中で F-score が最も高い性能であった。また、我々は先行研究 [2] と同じくIDFによる重み付けを BERTScore と提案法に行ったが、両者とも性能向上は確認されなかった。

## 5.2 文類似度タスク

実験設定文類似度タスク（STS）では 2つの文の類似度を算出し、人手評価と自動評価のスピアマンの順位相関係数 (Spearman's $\rho)^{4)}$ で評価する。

データセットとして我々は SemEval shared task の 2012-2016 [11, 12, 13, 14, 15]、STS-benchmark (STS-B) [16]、そして SICK-Relatedness (SICK-R) [17]を用いた。我々は事前学習済み言語モデル BERT $_{\text {base }}{ }^{5}$ [3] の最終層のベクトルを使用した。

結果結果を表 2に示す。F-score、Precision、Recall のいずれの方法でも生成文自動評価タスクと同様、提案法が人手評価との最も高い相関を達成した。この中で最も高い性能であったメトリックは F-score であった。また、重要度の重みとして STS において有効性が確認されている L2ノルム [9] で指示関数を重み付けした実験を行った結果、提案法および BERTScore ともに性能向上が確認され、両者ともに重み付けが有効であることがわかった。また、L2ノルムによる重み付けを行った場合も提案法が既存法より優れていた。

## 6 指示関数の効果の分析

提案法は BERTScore よりも文の非明示的な情報を活用できているだろうか？ここで我々は非明示的な情報を持つ文に両手法を適用し比較を行う。

## 6.1 実験設定

ここでは「非明示的だが royal の意味を含む文」 と「明示的に royal の意味を含む文」に対して指示関数を適用し比較する。我々は非明示的な文として They are the king and queen. を使用した ${ }^{6)}$ 。この文には royal という単語は文中に出現していないが、文の本質的な意味としては royal に近い意味を包含している。明示的に含む文は They are royalty. である。指示関数が良く機能するならば、「非明示的な文」 と「明示的に含む文」に対してどちらも royalを意味的に含むと判断するので、両者に対する指示関数の値には大きな差がないはずである。そこで我々は提案法と BERTScore の指示関数をこれらの文に使用し、指示関数の値の差で比較した。

## 6.2 結果

結果を表 3に示す。提案法は BERTScore よりも指示関数の値の差が小さいことがわかる。提案法は king や queen が張る空間で文を表現するため、文中に royal を含まなくともその空間に royal のような意味が含まれている。したがって、この文に対す

5) https://huggingface.co/bert-base-uncased

6）これ以外の例は付録（表 6）に記載する。表 3 指示関数の比較 ( $\mathbb{1}_{\text {vecs }}$ : BERTScore $の, \mathbb{1}_{\text {sub }}$ : 提案法の)。両者は文 $B$ に対する単語 royal の包含度合いを計算する。

 & 0.60 & 0.69 \\

る指示関数の值は royaltyを含む文のそれと近くなり、両者の差が小さくなったと考えられる。一方で BERTScore の指示関数は提案法のように king と queen どちらも含むような意味空間との類似性は計算できないため、提案法よりも差が大きくなったと考えられる。以上の結果から、提案法は BERTScore よりも高い表現力を持つことが示唆される。

## 7 関連研究

近年の生成文評価には BLEURT [18]、C-SPEC [19, 20]、COMET [21]などがある。これらは人手評価のデータを使用して評価モデルの学習を行う手法である。これは本研究と目的が異なる。我々のタスクはモデルの学習は行わないマッチングベースの評価であり、事前学習された言語モデルによる教師なしの類似度を提案している。

BERTScore と類似した手法として MoverScore [22] がある。両者を比較すると BERTScore は基本的な性能が MoverScore よりも高く、マッチングベースの自動評価において最も使われる手法であることから、本研究では BERTScore を拡張した。

## 8 結論

本研究では、BERTScore の表現力の限界を指摘し、より表現力の高い方法 Subspace-BERTScoreを提案した。これは BERTScore の自然な拡張になっており、類似度としての性能が向上している。実験では、機械翻訳における生成文自動評価タスクと文類似度タスクで BERTScore と提案法を比較した。 その結果、全てのタスクと全メトリックで提案法が BERTScore よりも優位であり、部分空間の方法を取り入れることで性能を向上させることが示された。

また、我々が採用した部分空間に基づくアプロー チは汎用性が高く、現代の自然言語処理で頻繁に使用される計算（文表現やベクトル集合に対する表現形式・類似性計算）を代替できる可能性があり、将来的にあらゆる場面での応用が期待できる。

## 謝辞

本研究は JSPS 科研費 (JP22H03654, JP22H05106)、

JST ACT-X（JPMJAX200S）の支援を受けたものです。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedtational Linguistics, July 6-12, 2002, Philadelphia, PA, USA, pp. 311-318. ACL, 2002.

[2] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. CoRR, Vol. abs/1907.11692, , 2019.

[5] Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, and Satoshi Nakamura. Subspace-based set operations on a pre-trained word embedding space. CoRR, Vol. abs/2210.13034, , 2022.

[6] Satanjeev Banerjee and Alon Lavie. METEOR: an automatic metric for MT evaluation with improved correlation with human judgments. In Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare R. Voss, editors, Proceedings of the Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization@ACL 2005, Ann Arbor, Michigan, USA, June 29, 2005 pp. 65-72. Association for Computational Linguistics, 2005.

[7] Jiaqi Mu, Suma Bhat, and Pramod Viswanath. Representing sentences as low-rank subspaces. In Regina Barzilay and Min-Yen Kan, editors, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017, Vancouver, Canada, July 30 - August 4, Volume 2: Short Papers, pp. 629-634. Association for Computational Linguistics, 2017.

[8] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2015, Boston, MA, USA, June 7-12, 2015, pp. 4566-4575. IEEE Computer Society, 2015

[9] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In Bonnie Webber, Trevor Cohn, Yulan $\mathrm{He}$, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2944-2960. Association for Computational Linguistics, 2020

[10] Qingsong Ma, Ondrej Bojar, and Yvette Graham. Results of the WMT18 metrics shared task: Both characters and embeddings achieve good performance. In Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno-Yepes, Philipp Koehn, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana L. Neves, Matt Post, Lucia Specia, Marco Turchi, and Karin Verspoor, editors, Proceedings of the Third Conference on Machine Translation: Shared Task Papers, WMT 2018, Belgium, Brussels, October 31 - November 1, 2018, pp. 671-688. Association for Computational Linguistics, 2018

[11] Eneko Agirre, Daniel M. Cer, Mona T. Diab, and Aitor GonzalezAgirre. SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity. In Eneko Agirre, Johan Bos, and Mona T. Diab, editors, Proceedings of the 6th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2012, Montréal, Canada, June 7-8, 2012, pp. 385-393. The Association for Computer Linguistics, 2012.

[12] Eneko Agirre, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, and Weiwei Guo. *SEM 2013 shared task: Semantic Textual Simitors, Proceedings of the Second Joint Conference on Lexical and Computational Semantics, *SEM 2013, June 13-14, 2013, Atlanta, Georgia, USA, pp. 32-43. Association for Computational Linguistics, 2013.

[13] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2014 Task 10: Multilingual Semantic Textual Similarity. In Preslav Nakov and Torsten Zesch, editors, Proceedings of the 8th International Workshop on Seman- tic Evaluation, SemEval@COLING 2014, Dublin, Ireland, August 23-24, 2014, pp. 81-91. The Association for Computer Linguistics, 2014.

[14] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability. In Daniel M. Cer, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 9th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2015, Denver, Colorado, USA, June 4-5, 2015, pp. 252-263. The Association for Computer Linguistics, 2015.

[15] Eneko Agirre, Carmen Banea, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe. Semeval-2016 task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. In Steven Bethard, Daniel M. Cer, Marine Carpuat, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 10th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2016, San Diego, CA, USA, June 16-17, 2016, pp. 497-511. The Association for Computer Linguistics, 2016

[16] Daniel M. Cer, Mona T. Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Steven Bethard, Marine Carpuat, Marianna Apidianaki, Saif M. Mohammad, Daniel M. Cer, and David Jurgens, editors, Proceedings of the 11th International Workshop on Semantic Evaluation, SemEval@ACL 2017, Vancouver, Canada, August 3-4, 2017, pp. 1-14. Association for Computational Linguistics, 2017.

[17] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asunción Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, Reykjavik, Iceland, May 26-31, 2014, pp. 216-223. European Language Resources Association (ELRA), 2014

[18] Thibault Sellam, Dipanjan Das, and Ankur P. Parikh. BLEURT: learning robust metrics for text generation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 7881-7892. Association for Computational Linguistics, 2020.

[19] Kosuke Takahashi, Katsuhito Sudoh, and Satoshi Nakamura. Automatic machine translation evaluation using source language inputs and cross-lingual language model. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 3553-3558. Association for Computational Linguistics, 2020

[20] Kosuke Takahashi, Yoichi Ishibashi, Katsuhito Sudoh, and Satoshi Nakamura. Multilingual machine translation evaluation metrics finetuned on pseudo-negative examples for WMT 2021 metrics task. In Loïc Barrault, Ondrej Bojar, Fethi Bougares, Rajen Chatterjee, Marta R Costa-jussà, Christian Federmann, Mark Fishel, Alexander Fraser, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Paco Guzman, Barry Haddow, Matthias Huck, Antonio Jimeno-Yepes, Philipp Koehn, Tom Kocmi, André Martins, Makoto Morishita, and Christof Monz, editors, Proceedings of the Sixth Conference on Machine Translation, WMT@EMNLP 2021, Online Event, November 10-11, 2021 pp. 1049-1052. Association for Computational Linguistics, 2021.

[21] Ricardo Rei, Craig Stewart, Ana C. Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2685-2702. Association for Computational Linguistics, 2020.

[22] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer and Steffen Eger. Moverscore: Text generation evaluating with contextualized embeddings and earth mover distance. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 563-578. Association for Computational Linguistics, 2019.

## 付録

本研究で実施した生成文自動評価タスクと文類似度タスクの詳細な結果を表 4と表 5に示す。結果の傾向は実験 5 と同じであり、個々のデータセットに対しても提案法が BERTScore を上回っている。

表 4 英語への機械翻訳自動評価タスクにおけるシステム訳と参照訳のセグメントレベルの人手評価との相関係数 (Kendall's $\tau$ )。BERTScore の結果は [2] から引用した。

表 5 各STS タスクにおける人手評価との相関係数（Spearman's $\rho$ ）

表 6 指示関数（ $\mathbb{1}_{\text {vectors }}$ : BERTScore, $\mathbb{1}_{\text {subspace }}$ : 提案法）の比較。両者は文 $B$ に対する単語 genius の包含度合いを計算する。

 & 0.69 & 0.76 \\


# 知識グラフ補完のためのモデル予測に基づくサブサンプリング

Xincan Feng ${ }^{1}$ 上垣外英剛 ${ }^{1}$ 林克彦 $^{2}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 北海道大学
\{feng.xincan.fy2, kamigaito.h, taro\}@is.naist.jp katsuhiko-h@ist.hokudai.ac.jp

## 概要

知識グラフの埋め込み (KGE) において，サブサンプリングは知識グラフ (KG) データセットの疎性により生じる過学習を減少させる効果がある. しかし，現在のサブサンプリングは，エンティティとその関係からなるクエリの頻度を考慮するだけであるため，頻度の少ないクエリに含まれるエンティティや関係の頻度が高い場合，そのようなクエリの出現確率を低く見積もる可能性がある。この問題を解決するために，KGE モデルの予測を利用することでクエリの出現確率を推定する，モデルに基づくサブサンプリング (MBS) および混合サブサンプリング (MIX) を提案する．FB15k-237 および WN18RRでの評価を行った結果，提案法であるサブサンプリングは代表的な KGE モデルである ComplEx, RotatE, および HAKE において知識グラフの補完性能が改善されることを示した。

## 1 はじめに

知識グラフ $(\mathrm{KG})$ とは，エンティティとその関係を枝として含むグラフである．知識グラフは，対話 [1], 質問応答 [2], 自然言語生成 [3] などの様々な自然言語処理タスクにおいて重要なリソースとして利用されている. しかし，KG 内のエンティティの関係を人手で全て網羅するには多くのコストがかかる. 知識グラフ補完 (KGC) は，知識グラフ中の関係を基に，含まれていない関係を自動的に補完することでこの問題を解決することができる. $e_{i}$ と $e_{k}$ をエンティティ,$r_{j}$ をそれらの関係とすると，KGCは $\left(e_{i}, r_{j}, ?\right)$ や $\left(?, r_{j}, e_{k}\right)$ などのクエリに対して?を埋めて回答することにより枝の存在を予測する.

現在，KGC では知識グラフの埋め込み (KGE) を用いる手法が主流である. KGE はエンティティとその関係を連続べクトルとして表現する. このべクトルの数は $\mathrm{KG}$ 内の枝の数に比例して増加するため，KGE では学習時の計算量を減らすためにネガ

図 1 FB15k-237 と WN18RR の学習データにおいて，一度だけしか出現しないクエリに含まれるエンティティと関係が持つ出現頻度 ${ }^{1)}$ 。

ティブサンプリング (NS)を用いることが一般的である. NS では，KGE モデルが KG 内の枝からサンプリングして作成された偽の枝と真の枝とを識別することで KG を学習する. NS は計算量を削減できる一方で，サンプリングされた枝は元の KG の偏りを反映してしまうという問題がある。

その解決策として，KGEのNS に対し，サブサンプリング法 [4] が導入された [5]. サブサンプリングは, 頻度の高い枝の頻度を減らし, 頻度の低い枝の頻度を増やすことで，KGの偏りを緩和する。

しかし，KGEにおける現在のサブサンプリングは，クエリの頻度のみを考慮する．そのため，出現頻度の低いクエリに含まれるエンティティや関係の出現頻度が高い場合に，そのようなクエリの出現確率を過小評価する可能性がある. 図 1 は, 学習データに 1 回だけ出現したクエリに含まれるエンティティと関係の出現頻度を示している.この結果から，現在のカウントに基づくサブサンプリング (CBS) では，出現頻度の低いクエリに含まれるエンティティや関係の出現頻度が十分であるにもかかわらず有効に利用されていない。

この問題に対処するため，我々はモデルに基づくサブサンプリング (MBS) と混合分布に基づくサブサンプリング (MIX)を提案し，KGE モデルの予測結果に基づいてクエリの出現確率を推定することでこのような頻度の低いクエリに対処する。

本稿では，一般的に使用されている KGE モデル ComplEx [6], RotatE [5], HAKE [7] に我々の MBS と MIXを適用し, FB15k-237 [8] と WN18RR [9] データセットを用いた評価を害施した。評価の結果，MBS と MIX はそれぞれの設定において，KGC の評価尺度であるMRR，Hits@1，Hits@3，Hits@10においてがベースラインである CBS よりも高いスコアを達成可能であることが分かった.

## 2 KGE に適したサブサンプリング

## 2.1 KGE の定式化

本稿ではエンティティ $h$ と $t$ とその関係 $r$ を表す枝(トリプレット)を $(h, r, t)$ と表記する．KGCではクエリ $(h, r, ?)$ や $(?, r, t)$ が与えられ, モデルは? に対応するエンティティを予測する。 入力されたクエリを $x$ ，予測すべきエンティティを $y$ とすると，モデルパラメータ $\theta$ に基づくスコア関数 $s_{\theta}(x, y)$ は $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ を計算する。一般的には， $|D|$ 個の枝を用いて,$p_{\theta}(y \mid x)$ を予測することで， $\theta$ を学習させる. ここで $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{|D|}, y_{|D|}\right)\right.\}$ は $p_{d}(x, y)$ に従う観測データとする.

## 2.2 NS におけるサブサンプリング

計算効率の高さから NS は KGE モデルの学習によく使われる。近年，Kamigaito ら [10] は KGE の NS において使用されている様々なサブサンプリングを説明可能な一般的な定式化を行った. この定式化においてサブサンプリングは二つの項 $A$ と $B$ を用いて次のように表記される:

$
\begin{aligned}
& -\frac{1}{|D|} \sum_{(x, y) \in D}\left[A \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right. \\
+ & \left.\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v} B \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] .
\end{aligned}
$

ここで $\sigma$ はシグモイド関数を， $p_{n}\left(y_{i} \mid x\right)$ は負例をサンプリングするためのノイズ分布を， $v$ は一つの正例 $(x, y)$ に対してサンプリングする負例の数を， $\gamma$ はマージン項をそれぞれ表す。

表 1 に，KGE において現在提案されているサブサンプリング手法を列挙する。これらは Sun ら [5] によって提案された word2vec [4] のサブサンプリングを用いる手法 (Base), 頻度に基づく手法 (Freq) [10], そして，ユニーク性を考慮した手法 (Uniq) [10] である.ここで\#は頻度, $\#(x, y)$ は $(x, y)$ の頻度, $\alpha$ は頻度を平滑化するための温度を各々表している。表 1 現在の KGE で使用されているサブサンプリング法

と対応する項 $A$ と $B$ の一覧.

各 $(x, y)$ の頻度は $\mathrm{KG}$ 上で高々 1 であるため，先行研究では次のようなバックオフ [11]を行い, $(x, y)$ の頻度をクエリの頻度から近似的に導いている:

$
\#(x, y) \approx \#(x, y)_{c b s}=\frac{\#\left(h_{i}, r_{j}\right)+\#\left(r_{j}, t_{k}\right)}{2}
$

ここで， $\left(h_{i}, r_{j}, t_{k}\right)$ は $(x, y)$ に対応する枝であり, $\left(h_{i}, r_{j}\right),\left(r_{j}, t_{k}\right)$ はそのクエリである. 式 (2) は頻度情報に重度に依存しているため，我々は以降，この手法を頻度に基づくサブサンプリング (CBS) と呼ぶ.

## 3 提案手法

CBS は式 (2) に示すように，エンティティと関係の組の頻度の平均で $\#(x, y)$ を近似する. そのため,少なくとも 1 つの組の頻度が低いと, CBS は\# $(x, y)$ をうまく推定できない。このスパースネス問題に対処するために，以下のように，モデルに基づくサブサンプリング(MBS) と, 混合分布に基づくサブサンプリング (MIX)を提案する.

## 3.1 モデルに基づくサブサンプリング

頻度の低いエンティティと関係のペアに起因する問題を回避するため，MBS では，学習済みモデル $\theta$ によって推定される確率を用いて，以下のように各トリプレットとクエリの頻度を計算する。

$
\begin{aligned}
\#(x, y) & \approx \#(x, y)_{m b s}=|D| p_{\theta^{\prime}}(x, y), \\
\# x & \approx \# x_{m b s}=|D| \sum_{y_{i} \in D} p_{\theta^{\prime}}\left(x, y_{i}\right), \\
p_{\theta^{\prime}}(x, y) & =\frac{e^{\operatorname{score}_{\theta^{\prime}}(x, y)}}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} e^{\text {score }_{\theta^{\prime}}\left(x^{\prime}, y^{\prime}\right)}} .
\end{aligned}
$

以下，MBS に使用するモデルをサブモデルと呼ぶ.式 (2) のカウントによって決定される頻度とは異なり, 式 (5) の score $_{\theta^{\prime}}(x, y)$ は実際の頻度に関わらず推論によって推定される. したがって，MBS は CBS で生じるスパースネスの問題に対処することが期待できる. ただし，MBS の能力は選択するサブモデルに依存するため，その限界については $\$ 4$ での実験により評価する.
表 2 FB15k-237 での結果. 太字は各サブサンプリング (Base, Freq, Uniq) で最も良い結果であることを，†は各モデルでの最良の結果を示す。

## 3.2 混合分布に基づくサブサンプリング

言語モデルに関する研究 [12] で言及されているように，頻度に基づく出現確率とモデル予測に基づく出現確率には異なる長所と短所が存在する．MIX では，CBS と MBS の短所を緩和して長所を高める

MBS による混合分布に置き換える。

$\lambda \frac{\#(x, y)_{m b s}^{-\alpha}|D|}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} \#\left(x^{\prime}, y^{\prime}\right)_{m b s}^{-\alpha}}+(1-\lambda) \frac{\#(x, y)_{c b s}^{-\alpha}|D|}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} \#\left(x^{\prime}, y^{\prime}\right)_{c b s}^{-\alpha}}$.

そして表 1 中の $\frac{\# x^{-\alpha}|D|}{\sum_{x^{\prime} \in D}^{\# x^{\prime-\alpha}}}$ を下記で置き換える:

$
\lambda \frac{\# x_{m b s}^{-\alpha}|D|}{\sum_{x^{\prime} \in D} \# x_{m b s}^{\prime-\alpha}}+(1-\lambda) \frac{\# x_{c b s}^{-\alpha}|D|}{\sum_{x^{\prime} \in D} \# x_{c b s}^{\prime-\alpha}} .
$

表 3 WN18RRでの結果．表記は表 2 と同様.

$\lambda$ は混合比率を決定するハイパーパラメータである.なお MIX はマルチタスク学習の一種である2).

## 4 実験

データセット: FB15k-237 と WN18RRを使用した31).比較手法: ComplEx, RotatE, HAKE に対し，表 1 の Base, Freq, Uniq を適用し，さらに CBS (\$2.2) と提案手法である MBS (\$3.1) 及び MIX (\$3.2)を適用した.評価尺度: MRR, Hits@1, Hits@3, Hits@10を使用.

実装およびハイパーパラメータ: ComplEx, RotatE については先行研究 [5] の実装とハイパーパラメー 夕を継承し，HAKE についても先行研究 [7] の実装とハイパーパラメータを継承した. 温度パラメー タ $\alpha$ について，CBSでは，Base の場合は Sun ら [5] を，Freq と Uniq は Kamigaito ら [10] の設定を引き継いだ. MBS と MIXについては，各手法の検証デー

2）付録 $\mathrm{A}$ を参照

3）各データセットの統計については付録 B を参照.

図 $2 \mathrm{CBS}$ と MBS の各設定において，CBS の頻度で下位 100 件のクエリの出現確率を CBS の頻度で降順に左から右に整列した際の MBS での出現確率.

タでの MRR の値を基に $\{2.0,1,0.5,0.1,0.05,0.01\}$ から $\alpha$ を， $\{0.1,0.3,0.5,0.7,0.9\}$ から混合比 $\lambda$ を選択した. さらに，MBS と MIX のサブモデルを，開発データの MRR を元に ComplEx, RotatE から選択した.サブモデルの学習ではサブサンプリング法の Base を適用した場合とサブサンプリングを用いない場合の二種類を用意した ${ }^{4}$ ).

## 4.1 実験結果および分析

実験結果表 2,3 の結果はそれぞれ FB15k-237 と WN18RR における KG の補完性能を示している.この結果から，MIXやMBS を用いたモデルは，全てのモデルにおいて最も高い性能を達成していることが分かる.この結果は §1 で説明したように, MBS と MIX によって KG の補完性能が向上するという考えと一致する. しかし, 各評価尺度に対して個別に手法を比較した場合には， CBS が MIX や MBS の補完性能を上回る場合も存在している。これは， MIX や MBS において推定される頻度が選択したサブモデルに依存して変化するためである.

以上より，MIX と MBS は頻度を推定するためのサブモデルを適切に選択することで，KG 補完の性能を向上させる可能性があることが分かった.

分析残された課題，すなわち，MBS のためにどのモデルを選択することが好ましいのかについてを分析する. 表 4 に各 MBS で選択されたサブモデルを示す.この表から ComplEx が他のモデルより頻繁に選ばれていることが分かる. その理由を知るために，CBS における頻度が下位 100 件のクエリの MBS における頻度を図 2 に示した. この結果では，FB15k-237 において RotatEでは ComplEx にはない頻度のスパイクがいくつか見られる．WN18RR表 4 開発データで選択されたサブモデルの一覧.

ではサブサンプリングを用いない ComplEx における MBS の頻度の最大値が他の手法に比べて大きくなっている.

この結果は FB15k-237 と WN18RR においてモデルがそれぞれ平滑化の過剰と不足の問題に遭遇し， MBS がこの問題に対処したことを示している. 通常，データが少ないとスパース性が問題になるため, この推測は FB15k-237 の学習データが WM18RR より大きいという事実に沿う。このように，MBSでは対象とするデータセットに適したサブモデルを選択することが重要であると考えられる。

## 5 おわりに

本論文では，モデルを用いてエンティティと関係の組の頻度を推定することで，CBS における低頻度な組が起こす問題に対処することが可能な新しいサブサンプリング法である，MBS と MIX を提案した. FB15k-237 と WN18RRに対する評価結果から， MBS と MIXによって KG 補完の性能が向上することが示された. さらに，分析の結果，データセットに適したサブモデルを選択することが KG 補完の性能向上に重要であることを明らかにした.

4）その他の詳細は付録 $\mathrm{C}$ に記載.

## 謝辞

本研究は JSPS 科研費 JP21K17801，JP21H03491 の助成を受けたものです.

## 参考文献

[1] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. OpenDialKG: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Denis Lukovnikov, Asja Fischer, Jens Lehmann, and Sören Auer. Neural network-based question answering over knowledge graphs on word and character level. In Proceedings of the 26th International Conference on World Wide Web, WWW '17, p. 1211-1220, Republic and Canton of Geneva, CHE, 2017. International World Wide Web Conferences Steering Committee.

[3] Jian Guan, Yansen Wang, and Minlie Huang. Story ending generation with incremental encoding and commonsense knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 6473-6480, Jul. 2019.

[4] Tomás Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. CoRR, Vol. abs/1310.4546, 2013.

[5] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In Proceedings of the 7th International Conference on Learning Representations, ICLR 2019, 2019.

[6] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. CoRR, Vol. abs/1606.06357, , 2016.

[7] Zhanqiu Zhang, Jianyu Cai, Yongdong Zhang, and Jie Wang. Learning hierarchy-aware knowledge graph embeddings for link prediction, 2019.

[8] Kristina Toutanova and Danqi Chen. Observed versus latent features for knowledge base and text inference. In Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality, pp. 57-66, Beijing, China, July 2015. Association for Computational Linguistics.

[9] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In AAAI, 2018.

[10] Hidetaka Kamigaito and Katsuhiko Hayashi. Comprehensive analysis of negative sampling in knowledge graph representation learning. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 10661-
10675. PMLR, 17-23 Jul 2022.

[11] Slava Katz. Estimation of probabilities from sparse data for the language model component of a speech recognizer. IEEE transactions on acoustics, speech, and signal processing, Vol. 35, No. 3, pp. 400-401, 1987.

[12] Graham Neubig and Chris Dyer. Generalizing and hybridizing count-based and neural language models. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1163-1172, Austin, Texas, November 2016. Association for Computational Linguistics.

## A マルチタスク学習

式(1)において $A$ に CBS を適用したものを $A_{c b s} ， B$ に CBS を適用したものを $B_{c b s}$ とし， $A$ に MBSを適用したものを $A_{m b s} ， B$ に MBS を適用したものを $B_{m b s}$ とする。ここで式 (1)に CBS を適用した際の損失関数 $\ell_{c b s}$ は

$
\ell_{c b s}=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[A_{c b s} \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)+\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v} B_{c b s} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right]
$

式 (1) に MBS を適用した際の損失関数 $\ell_{m b s}$ は

$
\ell_{m b s}=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[A_{m b s} \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)+\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v} B_{m b s} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right]
$

と定義される。また MIXを適用した際の損失関数 $\ell_{\text {mix }}$ は，式 (6) と式 (7) より，

$
\begin{aligned}
\ell_{\text {mix }}=-\frac{1}{|D|} \sum_{(x, y) \in D}[ & \left(\lambda A_{m b s}+(1-\lambda) A_{c b s}\right) \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right) \\
& \left.+\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v}\left(\lambda B_{m b s}+(1-\lambda) B_{c b s}\right) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right],
\end{aligned}
$

と定義される。ここで式(10) は次のように変形が可能である.

$
\ell_{\text {mix }}=\lambda \ell_{m b s}+(1-\lambda) \ell_{c b s}
$

式 (11) より $\ell_{m i x}$ は $\ell_{c b s}$ と $\ell_{m b s}$ の両損失を混合した損失であることから，MIX は CBS と MBS を使用した場合に対するマルチタスク学習であることが示された.

## B データセットの統計量

表 5 に各データセットの統計を示す.

表 5 各データセットの統計量. Ent はエンティティを，Rel は関係を示す.

## C 学習設定

表 6 に開発データの MRR で選択された各サブサンプリングの設定を示す。なお，MIXにおける $\alpha$ は MBS における最良のものを引き継いでいる.

表 6 開発データで選択されたサブモデルとその設定の一覧.


# 時間関係タスクを対象にしたマルチタスク学習におけるデータ の親和性の解析

木村麻友子 ${ }^{1}$ Lis Kanashiro Pereira ${ }^{1}$ 浅原 正幸 ${ }^{2}$
Fei Cheng $^{3}$ 越智 綾子 ${ }^{2}$ 小林 一郎 1
1 お茶の水女子大学 2 国立国語研究所 3 京都大学
\{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp

## 概要

本研究では，時間的常識推論を中心とした時間に関係する複数のタスクにおける言語モデルの汎用性に焦点を当て，マルチタスク学習を行うことにより時間的知識の理解に適した言語モデルの構築を行った. マルチタスク学習を行った結果，使用するデー タセットにより精度が向上する場合もあるものの，実験結果にばらつきがあることがわかった. その結果を踏まえ，マルチタスク学習において共有する潜在空間での各データセットの分布を可視化することによる分析を行い，分布が近いデータセット同士を使用した場合に，マルチタスク学習の精度の向上が見られることを確認した。

## 1 はじめに

文章中纪表現される時間纪関するイベントに対して，常識的な時間関係を捉えることは，自然言語理解においてとても重要な課題である. しかしながら，近年，幅広い自然言語処理（NLP）タスクで大きな成果を上げている BERT [1] などの事前学習済み言語モデルは，時間推論においてはまだ性能が低いと言われている [2]. 特に困難な課題として, 時間的常識を扱う推論が挙げられる。例えば，「旅行に行く」と「散歩に行く」という 2 つのイベントが与えられたとき, 多くの人間は「休睱は散歩よりも長く, 発生頻度も少ない」という時間的常識を持っているが，コンピュータにはこのような時間的常識を用いて推論することが困難である。

先行研究 [3] では, 時間的常識推論记対するモデルの開発に焦点を当て, 対象タスクを解くのに必要な常識的知識を付加したモデルを提案した. 本研究では，汎用性という点にも目を向け，マルチタスク学習を導入し, 時間に関する複数のタスクの精度を同時に向上させつつそれらのタスクに汎用な言語モデルの構築を目指す.また，マルチタスク学習を通じて得られた複数のタスクに共有する潜在空間において，使用した各データセットの文章ベクトルの分布を可視化することによって分析し，マルチタスク学習に使用するデータセットの親和性と精度の関係について考察を行う。

## 2 マルチタスク学習

マルチタスク学習は，関連する複数のタスクを同時に学習する手法で，モデルの汎化性と性能向上に効果的であることが確認されている．関連タスクの共通性と相違性を利用することで性能を向上させることができるため, 自然言語処理の分野において普及が進んでいる [4].

本研究では，MT-DNN [5] を用いてマルチタスク学習を実行し, 複数の時間関連タスクに対するモデルの性能を評価する．MT-DNN は，BERT や RoBERTa などのモデルを共有テキストエンコード層として組み込むことができるマルチタスク学習フレームワークである. エンコーダ層では全てのタスクで重みを共有し (Shared layers)，その後，それぞれのタスクの学習を行う (Task specific layers). タスクに特化した層ではタスクごとに重みが更新され，共有されない. 図 1 に MT-DNN の構造の概要を示す.

## 3 実験

## 3.1 使用データセット

データセットの概要を以下に記す。また，表 1 にそれぞれのデータセットの統計情報を示す.

図 1 MT-DNN の概要

表 1 各データセットについて訓練データ $\quad$ 検証データ $\quad$ 評価データ

MC-TACO [6]: MC-TACO は，自然言語で表現された事象の時間的常識を理解する課題から構成されるデータセットである. MC-TACO では，時間特性に関する 5 つの特徵量 (duration, temporal ordering, typical time, frequency, stationarity)を定義しており， これらの特徴量のいずれかの特性が記述に含まれる文章とその文章に関する質問，それに対する答えを表す複数の選択肢が与えられ、各選択肢が答えとしてふさわしいかどうかが判断される. 以下に例を示す. ふさわしい選択肢は太字で表記する。

Paragraph: He layed down on the chair and pawed at her as she ran in a circle under it.

Question: How long did he paw at her?
a) 2 minutes
b) 2 days
c) 90 minutes
e) 7 seconds

Reasoning Type: Duration

TimeML [7]: MC-TACO と同様に時間的常識を問うタスクで，その中でも特に持続時間に関するデータセットである. 文章内に含まれるイベントの持続時間が 1 日より長いか短いかによってそれぞれ yes, no のいずれかがラベル付けされている. イベントが 1 日より短い例 (no) を以下に示す.

In Singapore, stocks hit a five year low.
MATRES [8] MATRES は，文章内に含まれる二つの動詞の時間的順序関係に関するデータセットである。時間的順序関係によって，AFTER, BEFORE， EQUAL, VAGUE のいずれかがラベル付けされている. 以下に二つの動詞 (e1, e2) のラベルが BEFORE の例を示す.

At one point, when it (e1:became) clear controllers could not contact the plane, someone (e2:said) a prayer.

CosmosQA [9]: CosmosQA は，出来事の原因や影響など，明示的に言及されていない物語の行間を読むことに焦点を当てている．MC-TACO とは違い，時間に限らず一般的な常識全般に関するデータセットであり，四肢択一問題である. 以下に例を示す.

Paragraph: Did some errands today. My prime objectives were to get textbooks, find computer lab, find career services, get some groceries, turn in payment plan application, and find out when KEES money kicks in. I think it acts as a refund at the end of the semester at Murray, but I would be quite happy if it would work now.

Question: What happens after I get the refund?

Option 1: I can pay my bills.

Option 2: I can relax.

Option 3: I can sleep.

Option 4: None of the above choices.

## 3.2 実験設定

本研究では，事前学習済み言語モデルの一つである ALBERT [10] をテキストエンコーダとして使用する. ALBERT は BERT の派生モデルであり，BERT よりも軽量でありながら GLUE などにおいて精度を改善することに成功している。また，先行研究 [3] において，ALBERT を使用すると，BERT を使用した場合よりも時間的常識タスクにおいて精度が改善することが確認されている。ここでは，ALBERT の中で最も大きい ALBERT $_{\text {xxLARGE }}$ を使用する.

マルチタスク学習時のハイパーパラメータは，文字列の最大長は 512 ，バッチサイズは 16 ，学習率は 1e-5 とし，エポック数は使用するデータセットの組み合わせによって最も良い精度が出たものを採用した.また，MT-DNNを用いた学習時には全てのパラメータを調整する。
表 2 MT-DNNを用いたマルチタスク学習の結果

## 3.3 実験結果

実験結果を表 2 に示す.MT-DNNを用いてシングルタスク学習を行った場合の結果は青字で表示し, シングルタスク学習の結果を上回った精度は太字で表示した.

評価指標として，MC-TACO では独自に定められた Exact Match（EM）スコアと F1 スコア，TimeML と MATRES では Accuracy を用いた．EM スコアは， モデルが各質問に対するすべての回答候補を正しくラベル付けすることができるかを測定する評価指標である.

実験の結果，MATRES で精度の向上が見られたが，MC-TACO では学習に用いたタスクによって差が生じ，TimeML では向上が見られなかった.

また，使用するデータセットによって，精度が向上する場合 (例: MC-TACO と CosmosQA で学習し，MC-TACO で評価した場合の EM スコアは $59.2 \%$ ）と低下する場合（例：MC-TACO と TimeML と CosmosQA で学習し, MC-TACO で評価した場合の EM スコアは $53.0 \%$ ）があり，やや不安定な状態であることがわかった. 精度が改善する場合とそうでない場合について，なぜこのような結果になるのかについて分析を行った内容を次節に示す.

## 3.4 データセットの分析

マルチタスク学習の前提条件の 1 つは，異なる夕スクとそのデータ間の関連性である. 多くの研究では，マルチタスク環境において，正の相関を持つタスクを学習することが望ましいとされている [11]. また，タスクの相性が悪い場合，精度が低下する場合もある [12].

ここでは，使用した各データセットに含まれるデータの文章ベクトルを可視化することにより，各データセットの親和性と実験結果の相関を明らかにすることを目指す.

設定マルチタスク学習をして得られた共通のベクトル空間における文章ベクトルを求めるため, MC-TACO, TimeML, MATRES, CosmosQA 9 つを, ALBERT $_{\text {xxLARGE }}$ を用いてマルチタスク学習したモデルをエンコーダとする。各データセットからランダムに 1,000 ずつサンプルを取り，各サンプルの文章ベクトルを計算する。ここでは，最終層の隠れ層のベクトルに注目する。ベクトルはトークンごとに出力されるが，文章ベクトルを生成するには， トークンに付与されたべクトルを集約し，単一のべクトルにする必要がある．今回は，各サンプルの全トークンのベクトルを合計してトークン数で割ることで得られたべクトルを平均化し，これを各サンプルの文章ベクトルとする. 得られた文書べクトルを $\mathrm{t}-\mathrm{SNE}^{1)}$ と $\mathrm{UMAP}^{2)}$ の 2 つの手法で 2 次元に次元圧縮を行い，可視化する。

可視化結果・考察比較のために，マルチタスク

ダとして用いた場合の文章べクトルを可視化した結果を図 2 に示す. また，マルチタスク学習したモデルをエンコーダとして用いた場合の文章ベクトルを可視化した結果を図 3 に示す.

マルチタスク学習後のベクトル空間では，青で表示された MC-TACO の文章ベクトルと，緑で表

1) https://lvdmaaten.github.io/tsne/

2) https://umap-learn.readthedocs.io/en/latest/

MC-TACO

TimeML

MATRES

CosmosQA

図 2 ALBERT $_{\text {xxLARGE }}$ をそのままエンコーダとして用いた場合の文章ベクトルの可視化結果

MC-TACO

TimeML

MATRES CosmosQA

図 3 マルチタスク学習後のモデルをエンコーダとして用いた場合の文章ベクトルの可視化結果

示された CosmosQA の文章ベクトルが，ベクトル空間内で近い位置に分布していることがわかる. t-SNE では少し分かりにくいが，UMAP では顕著であることが確認できる．また，赤で表示している TimeML は，一部のサンプルに分布のばらつきがあり，MC-TACO と CosmosQA の分布に近い位置に文章ベクトルが位置するサンプルもあることがわかる. MC-TACO と CosmosQA をマルチタスク学習した場合，MC-TACO で評価した場合の EM スコアが上がっていたこと，また，MC-TACO と TimeML をマルチタスク学習した場合も，MC-TACO で評価した場合の EM スコアがわずかではあるものの上がっていたことを踏まえると，学習後の共有されたべクトル空間内において文章ベクトルの分布が近い場合に，データセットの親和性が高いと言え，そのような場合にマルチタスク学習の効果が出ると考えることができる.

一方，MATRES では，すべてのマルチタスク設定で精度が向上しているが，文章べクトルの分布は他のデータセットと近いようには見えない. MATRES は，文章ベクトルの分布が広くなく，まとまっている.そのようなデータセットを対象にマルチタスク学習を行うことで，補助データセットを有益なノイズとして取り入れた敵対的学習が行われ，精度が改善した可能性もあると考えられる.

## 4 おわりに

本研究では，マルチタスク学習を行うことにより，時間的知識の理解に適した言語モデルの構築を目指した. 実験の結果，使用するデータセットにより精度が向上する場合がある一方，精度が下がる場合もあり，結果にばらつきがあることがわかった. その点を踏まえ，各データセットの文章ベクトルを可視化することによる分析を行い，共有べクトル空間における文章べクトルの分布が近いデータセット同士を使用した場合に，マルチタスク学習の精度の向上が期待できることを確認した. 今後の課題としては，文章べクトルの分布がまとまっているデータセットにはマルチタスク学習が有効であるという考察の検証をすること，また，複数の時間関係の夕スクで同時に精度を向上できるような汎用言語モデルの構築のため，使用するデータセットの数を増やし，さらなる分析と実験を重ねることが考えられる.また，マルチタスク学習前に，データセットの表層的な特徴を捉えて相性の良いデータセットの組み合わせを見つける試みも検討したい.

## 謝辞

本研究は，科研費（18H05521）の支援を受けた. ここに謝意を表す.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[3] Mayuko Kimura, Lis Kanashiro Pereira, and Ichiro Kobayashi. Toward building a language model for understanding temporal commonsense. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 17-24, Online, November 2022. Association for Computational Linguistics.

[4] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[5] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Ben Zhou, Daniel Khashabi, Qiang Ning, and Dan Roth. "going on a vacation" takes longer than "going for a walk": A study of temporal commonsense understanding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3363-3369, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Feng Pan, Rutu Mulkar-Mehta, and Jerry R Hobbs. Extending timeml with typical durations of events. In Proceedings of the Workshop on Annotating and Reasoning about Time and Events, pp. 38-45, 2006.

[8] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Pa- pers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Lifu Huang, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Cosmos QA: Machine reading comprehension with contextual commonsense reasoning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2391-2401, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[11] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[12] Christopher Fifty, Ehsan Amid, Zhe Zhao, Tianhe Yu, Rohan Anil, and Chelsea Finn. Efficiently identifying task groupings for multi-task learning, 2021.