# 自己注意機構における注意の集中が相対位置に依存する仕組み

山本悠士 松崎拓也
東京理科大学 理学部第一部 応用数学科
1419096@ed.tus.ac.jp
matuzaki@rs.tus.ac.jp

## 概要

自己注意機構において各トークンは自身の周辺の トークンに注意を集中させる傾向がある。これによ り，各トークンの出力ベクトルは周辺のトークンか らの影響を受け，ニューラル言語モデルは文脈に依存した単語埋め込みを出力できると考えられる。

本研究では，自己注意機構において各トークンが 周辺のトークンに注意を集中させるメカニズムを分析する。結果として，自己注意機構は中間層の隠れ 状態から位置埋め込みの成分をトークンの位置に関 して周期的な波形として抽出し，その波形の位相が ずれる方向に注意を集中させていることを示す.

## 1 はじめに

自然言語処理のタスクを高精度で実行するために は，文脈を捉えることが不可欠である。例えば，回帰型ニューラルネットは時系列順に単語埋め込みを 入力することで，畳み込みニューラルネットは周辺 の単語埋め込みを集約することで文脈を捉えてい る。一方，Transformer [1] には単語の位置に依存し た処理がモデル内部に存在せず，代わりに単語埋め 込みに位置埋め込みを加えたものを入力する。

アテンション重み(式 (4))を観察することは，自己注意機構の推論過程を解釈する手がかりとなる [2] [3].このような分析により，自己注意機構にお いて各トークンは自身の周辺に注意を向ける傾向が 確認されている [4]. この現象は，自己注意機構が 位置に依存しない構造をしているにも関わらず，位置に基づいた推論をしていることを示している.

本研究では，学習に基づく位置埋め込みを用いた 自己注意機構に次の性質があることを示す.
- 自己注意機構は，学習された位置埋め込みに存在する周期性を隠れ状態から抽出できる。

・時系列として見たクエリとキーの間には位相に ズレが存在し，注意はこのズレの方向に向く.以上から，注意が相対位置に依存して集中する現象 は，自己注意機構が位置埋め込み由来の周期的な成分を利用することで引き起こされていると言える.

以下，本論文では，2 節で Transformer とその派生 モデルの構成について，3節で注意が相対位置に依存するメカニズムについて述べる。具体的には，ま ず，注意が相対位置に依存する事実と位置埋め込み の周期性を確認する。次に，自己注意機構内のクエ リとキーの共通点と相違点を分析し，それらと注意 の方向の関係を示す. 最後に，4 節で結論を述べる.

## 2 Transformer のアーキテクチャ

## 2.1 位置埋め込み

本節では Transformer，BERT [5] および RoBERTa [6] の位置埋め込みについて説明する。 入力文の トークン数を $T$, 埋め込みを $d$ 次元べクトルとする と，位置埋め込みは $T \times d$ 行列として定義される。位置埋め込みの各列はトークン位置方向の時系列と みなせることに留意されたい。

Transformer の位置埋め込みは，トークンの位置を pos とするとき，各成分が式 (1-2) で定義される.

$
\begin{aligned}
P E_{(p o s, 2 i)} & =\sin \left(\text { pos } / 10000^{2 i / d}\right) \\
P E_{(p o s, 2 i+1)} & =\cos \left(\text { pos } / 10000^{2 i / d}\right)
\end{aligned}
$

Vaswani らは，式 (1-2) に回転行列を掛けると位置 posをずらすことができ，この性質が相対位置に基 づく注意を学習するように促すと推測した [1].

$
\left[\begin{array}{cc}
\cos \theta & \sin \theta \\
-\sin \theta & \cos \theta
\end{array}\right]\left[\begin{array}{c}
\sin x_{i} \\
\cos x_{i}
\end{array}\right]=\left[\begin{array}{c}
\sin \left(x_{i}+\theta\right) \\
\cos \left(x_{i}+\theta\right)
\end{array}\right]
$

一方，BERT の位置埋め込みは $T \times d$ 行列のパラ メータとして定義され，平均 0 ，標準偏差 0.02 の正規分布に従う乱数で初期化した状態から学習され る. RoBERTa は，BERT とアーキテクチャは同一だ が，事前学習の手法が改善されている。特に，BERT は事前学習の $90 \%$ を 128 トークンという短い文章

で学習しているのに対して，RoBERTa は常に最大長 である 512 トークンの文章で学習しているため, 長文に対応することができる。 そこで，本研究では各位置での学習回数の偏りがない RoBERTaを用いた.

## 2.2 マルチヘッド自己注意機構

RoBERTa の各層にあるマルチヘッド自己注意機構は，各層のヘッド数を $n$ とするとき，第 $l$ 層の隠れ状態 $X_{l} \in \mathbb{R}^{T \times d}$ とパラメータ行列 $W_{l h}^{Q}, W_{l h}^{K}, W_{l h}^{V} \in \mathbb{R}^{d \times(d / n)}(h=1, \ldots, n), W_{l}^{O} \in \mathbb{R}^{d \times d}$ により次のように定義される. 以降，第 $l$ 層の $h$ 番目のヘッドを head $(l, h)$ と略記する.

$
\begin{aligned}
A_{l h} & =\operatorname{softmax}\left(\frac{X_{l} W_{l h}^{Q}\left(X_{l} W_{l h}^{K}\right)^{T}}{\sqrt{d / n}}\right) \\
V_{l h} & =A_{l h} X_{l} W_{l h}^{V} \\
\text { MultiHead }_{l} & =\operatorname{concat}\left(V_{l 1}, \ldots, V_{l n}\right) W_{l}^{O}
\end{aligned}
$

以下，すべての層，ヘッドで共通する議論では添字 の $l, h$ を省略する。行列 $X W^{Q}, X W^{K}, A$ は，それぞ れクエリ，キー，アテンション重みと呼ばれ，Aの $(i, j)$ 成分が大きい場合, 文中の $i$ 番目のトークンが $j$ 番目のトークンに注意を向けると解釈される.

## 3 位置に基づく注意のメカニズム

本節では，まず，各へッドは注意の方向と強さに 基づいて分類できることを k-means 法を用いて確認 する (3.1 項)。次に，位置埋め込みは学習によって 周期性を獲得しており (3.2 項), 自己注意機構内の クエリとキーにも同じ周波数の成分が含まれること を示す (3.3 項)．最後に，クエリとキーを比較する と，振幅スペクトルは類似しているが位相にズレが あることについて分析し (3.4 項)，このズレの方向 が注意の向きを決定づけることを示す（3.5 項）.

分析には，事前学習済みモデルである roberta-base を用いた. ${ }^{1)}$ モデルの構造は 12 層で各層にヘッドは $n=12$ 個あり， $T=512, d=768$ である. また，図を 作成する際は文献 [1] の 1 章までの本文を用いた。

## 3.1 自己注意機構の位置依存性の概要

アテンション重み $A_{l h}$ を可視化すると，例えば， $A_{8,9}, A_{2,3}$ では各トークンは隣のトークンに強く注意を向け, $A_{1,1}, A_{7,5}$ では左右の周辺トークンへ注意を緩やかに偏らせていることが分かる（図2）。


図 1 ヘッドごとに, 100 個 の $a_{l h}$ に振られたラベルの割合を円グラフで図示した.

図 215 トークン目までの アテンション重み. 赤点線 は対角線を示す。

ヘッドの注意の傾向を調べるため，各アテンショ ン重み $A_{l h}$ について，対角成分の $t$ 個右の成分の和

$
\operatorname{tr}_{t}(A)= \begin{cases}\sum_{i=1}^{512-t} a_{i, i+t} & (t \geq 0) \\ \sum_{i=1}^{512+t} a_{i-t, i} & (t<0)\end{cases}
$

を $t=-10, \ldots, 10$ について並べたべクトル $a_{l h}=$ $\left[\operatorname{tr}_{-10}\left(A_{l h}\right), \ldots, \operatorname{tr}_{10}\left(A_{l h}\right)\right]$ を計算した. ベクトル $a_{l h}$ は， $A_{l h}$ における相対位置による注意の偏りの平均的な傾向を表す. 入力として wikitext-2 [7] から 512 トークンの文章を 100 件作成し, $100 \times 12 \times 12$ 個の ベクトル $a_{l h}$ に k-means 法を適用した. クラスタ数 を 6 とすると，ベクトル $a_{l h}$ は注意の強さと向きに 基づいて分類され，ほとんどのへッドで注意の向き は入力文に依存しないことが確認できた（図 1).

## 3.2 位置埋め込みの振幅スペクトル

RoBERTa の位置埋め込み $P E \in \mathbb{R}^{512 \times 768}$ にも Transformer と同様にトークン位置方向に周期性があ るのかを調べるために，PE の各列べクトルに対し て離散フーリエ変換を適用した:

$
\begin{aligned}
& \operatorname{spec}_{i}=\mathrm{FT}\left(P E_{1, i}, P E_{2, i}, \ldots, P E_{512, i}\right) \\
& (i=1,2, \ldots, 768)
\end{aligned}
$

得られた $P E$ の各列のスペクトルの振幅を周波数 ごとに平均したものを図 3 に示す. 振幅スペクト ルがいくつかの周波数でピークをとることから， RoBERTa の位置埋め込みは Transformer のように明示的に正弦波を用いて定義されていないにもかかわ らず，学習により周期性を獲得していると言える. また，位置埋め込みを加える前の単語埋め込み列の 振幅スペクトルにはピークが存在しないため，周期性は位置埋め込み特有の性質である。

図 3 RoBERTa の位置埋め込みの振幅 スペクトル. 青線は $\operatorname{spec}_{i}$ の平均で網掛 け部分は四分位範囲. オレンジの線は， ある入力に対する，位置埋め込みを加 える前の単語埋め込みのスペクトル。

図 4 クエリ $Q_{1,1}$ とキー $K_{1,1}$ の 5,6 列目の先頭 64 行目までの値.

図 512 個のヘッドの $X, Q, K$ の振幅 スペクトルを，各周波数について最大値をとって層ごとに図示した.

## 3.3 クエリとキーの振幅スペクトル

特異値分解を用いてクエリとキーを再定義するこ とで，自己注意機構が位置埋め込みに類似した周期的な成分を隠れ状態から抽出できることを示す.

ヘッドのパラメータ $W^{Q}, W^{K}$ は $W^{A}=W^{Q}\left(W^{K}\right)^{T}$ とおけば， $X W^{Q}\left(X W^{K}\right)^{T}=X W^{A} X^{T}$ とまとめられる ため，積 $W^{A}$ のみが意味を持つ。 つまり， $W^{Q}, W^{K}$ ないし，これらと $X$ の積であるクエリとキーの役割は相対的なものである. 実際，クエリとキーの 関係を分析する際はパラメータを以下のように再定義すると結果が解釈しやすいことが分かった. すなわち $W_{l h}^{A}=U_{l h}^{Q} S\left(U_{l h}^{K}\right)^{T}$ (S は対角行列) と特異値分解して得られる左右特異べクトルを並べた行列 $U_{l h}^{Q}, U_{l h}^{K}$ を用いて, $\operatorname{head}(l, h)$ のクエリとキーをそれ ぞれ $Q_{l h}=X_{l} U_{l h}^{Q}, K_{l h}=X_{l} U_{l h}^{K}$ と再定義する. ここ で, $X W^{A} X^{T}=X U^{Q} S\left(U^{K}\right)^{T} X^{T}=Q S K^{T}$ である.こ の $Q, K$ の各列の成分を可視化すると, 注意が相対位置に依存するへッドでは約 4～12 個の列でトーク ン位置に関して周期性が見られた（図 4，付録B）。

各層について, 隠れ状態 $X_{l}$, クエリ $Q_{l h}$, および キー $K_{l h}$ の振幅スペクトルを 12 ヘッド・ 64 次元に 渡って計算して，各周波数における振幅の最大值を 求めた（図 5). すると，位置埋め込みで見られた周波数 50 付近で振幅スペクトルが大きくなる現象が，隠れ状態では見られないがクエリとキーでは見られ た. つまり, 自己注意機構は位置埋め込み由来の周期的な成分を隠れ状態から抽出できると考えられ る.しかし，層を通過するにつれて周波数 50 付近 の振幅スペクトルは減衰することから，位置埋め込 みの影響は次第に弱まり，推論が位置に依存しにく くなると考えられる.この現象は, 下層では構文的特徵を, 上層では意味的特徴を学習するという先行研究に対応していると予想される [8].

## 3.4 位相のズレと周波数の関係

図 4 を見ると，クエリとキーの位相がずれている ことが分かる. Vaswani らの推測通り，この現象は 回転行列によりクエリとキーがトークン位置方向に 相対的にずらされた結果であることを示す.

まず， $U^{K}$ をある行列 $R$ を用いて $U^{K}=U^{Q} R$ と分解する．つまり，隠れ状態 $X$ に $U$ を掛けてクエリ $Q=X U^{Q}$ を作成した後に，さらに $R$ で変換したも のがキー $K=X U^{K}=Q R$ であると解釈し， $R$ をと にクエリとキーの関係性を調査する。

特異ベクトルの直交性より，R の成分は左右の特異ベクトルの内積であり， $R$ も直交行列となる.

$
R=\left(U^{Q}\right)^{-1} U^{Q} R=\left(U^{Q}\right)^{-1} U^{K}=\left(U^{Q}\right)^{T} U^{K}
$

上式で求めた $R$ を対角化して固有值 $\lambda_{i}$ を得る.

$
\begin{array}{r}
\Lambda=P^{-1} R P=P^{-1}\left(U^{Q}\right)^{-1} U^{K} P=\left(U^{Q} P\right)^{-1}\left(U^{K} P\right) \\
\text { ただし, } \Lambda=\operatorname{diag}\left(\lambda_{1}, \cdots, \lambda_{768}\right)
\end{array}
$

直交行列の固有值は $\lambda_{i}=\cos \theta_{i} \pm j \sin \theta_{i}$ ( $j$ : 虚数単位 $)$ という形で表せるので，固有值の偏角を求めるこ とで $R$ が 768 次元空間をどのように回転させる行列なのかが分かる. 式 (3) より, 回転行列を掛ける ことは正弦波の位相をずらす変換であるため，偏角 $\theta_{i}$ は，固有值 $\lambda_{i}$ に対応する固有べクトル $\boldsymbol{p}_{i}$ に よってクエリおよびキーから抽出された 2 つ波形 $Q \boldsymbol{p}_{i}, K \boldsymbol{p}_{i} \in \mathbb{C}^{512}$ の間の位相のズレである.

偏角 $\theta_{i}$ の単位はラジアンなので，トークン数 を単位とする位相のズレ $\Delta$ を知るためには，各波形の周波数 $f$ を用いて $\Delta(f, \theta)=512 \theta_{i} / 2 \pi f$ を 計算する必要がある. そこで， $Q p_{i}$ の振幅スペク トルを $F T\left(Q \boldsymbol{p}_{i}\right) \in \mathbb{R}^{512}$ としたときの，2 変数関数 $g\left(f, \theta_{i}\right)=F T\left(Q \boldsymbol{p}_{i}\right)_{f}$ を（ $K \boldsymbol{p}_{i}$ についても同様に）可視化することで周波数と位相の関係を分析した.

図 62 変数関数 $g(f, \theta)$ の 2 次元ヒストグラム.

すると， $g(f, \theta)$ のピークは，左に弱く注意が偏る $\operatorname{head}(1,1)$ では $1 \leq \Delta \leq 3$ の領域内に，右隣に強く注意が集中する $\operatorname{head}(2,3)$ では $\Delta=-1$ の直線上に分布 することが分かった（図 6).

以上より，クエリとキーの違いを生じさせる行列 $R$ は 768 次元空間内の複数の軸方向に関して異なる 回転角を学習するが，周波数成分に分解してみると トークン単位では一定の個数だけ位相がずれるよう に学習され，ずれるトークン数と向きはアテンショ ン重みにおいて注意が向く位置に対応することが分 かった (図 2). 自己注意機構のパラメータに回転行列を導入した RoPE [9] を用いると学習の収束が早ま るのは，本項で述べた性質をより早く獲得するから であると考えられる。

## 3.5 位相のズレとアテンション重みの関係

2 信号間の時間遅れの計測等に用いられる相互相関と相互共分散を用いて，トークン数単位でクエリ とキーの位相のズレを定量化し，クエリとキーの位相のズレの方向に注意が平均的に偏ることを示す.

位相のズレを定量化するために，クエリとキーの 各列の相互相関 xcorr と相互共分散 xcov を計算し た. ただし，クエリとキーに存在する周期性のみに 焦点を当てるため，相互相関に中心化を適用した (式 12).また， $Q$ と $K$ の $j$ 列目を $\boldsymbol{q}_{j}$ および $\boldsymbol{k}_{j}, Q$ と $K$ の $(i, j)$ 成分を $q_{i, j}$ および $k_{i, j}$ とする.

$
\begin{aligned}
& \operatorname{xcov}_{j}(t)= \begin{cases}\sum_{i=1}^{512-t} q_{i, j} k_{i+t, j} & (t \geq 0) \\
\sum_{i=1}^{512+t} q_{i-t, j} k_{i, j} & (t<0)\end{cases} \\
& \operatorname{xcorr}_{j}(t)=\frac{\operatorname{xcov}_{j}(t)-\mathbb{E}_{t}\left[\operatorname{xcov}_{j}(t)\right]}{\left.\|\boldsymbol{q}_{j}\right.\|\left.\|\boldsymbol{k}_{j}\right.\|}
\end{aligned}
$

相互共分散を各列 $j$ に対応する特異值 $s_{j}$ で重み 付けた和は, $Q S K^{T}$ の対角成分の $t$ 個右の成分の和

図 7 上: $\operatorname{xcorr}_{j}(t)(j=1, \ldots 20)$. 下: $\sum_{j}^{64} s_{j} \operatorname{xcov}_{j}(t)$

$\operatorname{tr}_{t}\left(Q S K^{T}\right)$ と等しいことから，注意は位相のズレの 方向に平均的に集中する.

$
\begin{aligned}
\operatorname{tr}_{t}\left(Q S K^{T}\right) & =\sum_{i=1}^{512-t}\left(Q S K^{T}\right)_{i, i+t} \quad(\because \text { 式 }(7)) \\
& =\sum_{i=1}^{512-t} \sum_{j=1}^{64} s_{j} q_{i, j} k_{i+t, j} \\
& =\sum_{j=1}^{64} s_{j} \operatorname{xcov}_{j}(t)
\end{aligned}
$

注意の集中が相対位置に基づくへッドでは， $\boldsymbol{q}_{j}, \boldsymbol{k}_{j}$ の相互相関は複数の列 $j$ で周期的になり，相互共分散の重み付き和は，アテンション重みと同様に $\operatorname{head}(1,1)$ では $t=-2$ 付近で緩やかなピークをとり, $\operatorname{head}(8,9)$ では $t=-1$ で鋭いピークをとる（図 2,7 ）.

図 7 (左) において，相互共分散の重み付き和を 求める際， $t=-2$ では極大值が重なるためピークは 増幅されるが， $t= \pm 30$ 付近では極大値と極小値が 重なるためピークは減衰する. その結果，相互共分散の重み付き和は $t=-2$ で最大となったと考えられ る. 一方， $t=-1$ でのみピークをとる孤立波のよう な成分も存在し，正弦波状の相互共分散の和が形成 する緩やかなピークを強調するような効果が確認さ れた（図 7 右)。この成分を，位置埋め込み由来の周期的な成分へとさらに分解できるかは不明である.

以上より，注意が自身の近傍のトークンに集中す る現象は，クエリとキーをトークン位置に関する波形と見たときの位相のズレによって引き起こされて いると考えられる。

## 4 おわりに

自己注意機構において注意の向きが相対位置に依存する現象は，クエリとキーに存在する位置埋め込 み由来の周期的な成分の位相が相対的にずらされた ためであることを示した。これより，絶対位置埋め 込みで相対位置に基づいた推論ができるという経験的な事実のメカニズムの一部が明らかになった.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017. https: //proceedings.neurips.cc/paper/2017/hash/ 3 f5ee243547dee91fbd053c1c4a845aa-Abstract. html.

[2] Jesse Vig. A multiscale visualization of attention in the transformer model. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 37-42. Association for Computational Linguistics, July 2019. https: //www.aclweb.org/anthology/P19-3007.

[3] Benjamin Hoover, Hendrik Strobelt, and Sebastian Gehrmann. exBERT: A Visual Analysis Tool to Explore Learned Representations in Transformer Models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 187-196, Online, July 2020. Association for Computational Linguistics. https://aclanthology . org/2020.acl-demos. 22.

[4] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D. Manning. What does BERT look at? an analysis of BERT's attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286. Association for Computational Linguistics, August 2019. https://aclanthology .org/W19-4828.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019. https: //aclanthology.org/N19-1423.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019. https: //arxiv.org/abs/1907.11692.

[7] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer sentinel mixture models. In International Conference on Learning Representations, 2017. https://openreview.net/forum?id=Byj72udxe.

[8] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics. https://aclanthology.org/P19-1452.

[9] Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, and Yunfeng Liu. Roformer: Enhanced transformer with rotary position embedding, 2021. https: //arxiv.org/abs/2104.09864.

[10] Yu-An Wang and Yun-Nung Chen. What do position embeddings learn? an empirical study of pre-trained language model positional encoding. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6840-6849, Online, November 2020. Association for Computational Linguistics. https://aclanthology.org/2020.emnlp-main. 555.

## A 様々なモデルの位置埋め込み

Hugging Face に公開されている事前学習済みモデ ルから絶対位置埋め込みをもつモデルをいくつか選 び，図 3 (roberta-base) と同様に位置埋め込みの振幅 スペクトルを図示した.

図 8 位置埋め込みの振幅スペクトル. 日本語 BERT は cl-tohoku/bert-base-japanese-whole-word-masking である.

エンコーダモデルである BERT と RoBERTa では 振幅スペクトルにピークが見られ，RoBERTaの方が ピークにおける振幅が大きい。一方，デコーダモデ ルである GPT-2 は低周波成分しか存在しない。これ は，事前学習時の目的関数が強く影響しているため であると考えられる [10].

## B 位置埋め込みの主成分について

相対位置に依存して注意が集中するへッドにおい て，クエリとキーには約 4 12 個の次元で位置埋め 込みに由来すると考えられる周期的な成分がそれぞ れ存在した。位置埋め込みに対して主成分分析を行 い, 主成分の累積寄与率を求めると, 累積寄与率は 4 次元までで $50.51 \%, 12$ 次元までで $92.23 \%$ だった. これより, 768 次元空間において 4 12 次元は少な く感じるが，位置埋め込み空間を十分再現している と考えられる（図9).

図 9 roberta-base の位置埋め込みの累積主成分寄与率.
 山本悠士 松崎拓也 東京理科大学 理学部第一部 応用数学科 1419096@ed.tus.ac.jp matuzaki@rs.tus.ac.jp  