# Transformer の文脈を混ぜる作用と混ぜない作用

小林悟郎 1 栗林樹生 ${ }^{1,2}$ 横井祥 1,3 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
\{goro.koba, kuribayashi, yokoi, inui\}@ecei.tohoku.ac.jp

## 1 はじめに

近年，Transformerアーキテクチャ [1] は分野内 の基盤技術となりつつあり，成功理由の解明およ び更なる改善に向け，Transformerを基盤としたモ デル（BERT [2] など）の分析や検証が盛んに行わ れている [3]. Transformer は入力系列の情報を混ぜ 合わせる注意機構を積み重ねた構造である. 既存研究の多くは注意機構による「混ぜ合わせ」が成功の鍵であるとみなし，ある単語の表現を計算す る時にどの単語の情報を用いているか，例えば依存関係や意味関係などと比較して分析している [4, 5, 6, 7, 8, 9, 10,11,12].

しかし，Transformerを構成する要素は注意機構だ けではない. 例えば残差結合による「入力をそのま ま残す作用」が存在する。もしこの影響が強けれ ば，既存研究が観察してきた混ぜ合わせに関する観察はモデル全体においては微々たる作用に過ぎな い。また，層正規化はべクトルの正規化と拡大縮小 を行い，外側から注意機構の混ぜる作用と残差結合 の残す作用の強さを改変しうる. Transformer 内部に おいて注意機構による混ぜ合わせがどの程度支配的であるか，Transformer の主たる仕事は「混ぜる」 ことなのだろうか. 本研究では残差結合と層正規化 にも焦点を当ててこれらを調べる。「混ぜ合わせ」 などのモデル内における情報の流れを明らかにする ことは，モデルに対する理解を深めるだけでなく， モデルの予測の説明としても重要である.

実験では Transformer を基盤とした代表的なモデ ルとして BERT を対象に，モデル内部における混ぜ 合わせの強さを調査する. 実験結果から BERT の各層では，周囲のべクトルから混ぜる量よりも自身の ベクトルを残す量の方が遥かに大きく，混ぜる作用 ではなく残す作用が支配的であることを明らかにす る.これにより，モデル内では情報がほんの少しず つ混ぜられていくことが示唆された.このような結

図 1 注意機構，残差結合，層正規化の概要.

果が得られた理由を機構ごとの作用から分析し，注意機構に比べて残差結合が強く働いていること, 層正規化が特定のトークンに対応するベクトルを強く 拡大していることを明らかにした。

本研究の貢献は以下の通りである。
- Transformer に対し，注意機構に加えて残差結合 と層正規化を考慮して「混ぜ合わせの強さ」を 分析する方法を提案した。

・BERT の各層では，文脈を混ぜる作用よりも自信を残す作用が支配的であることを示した。

## 2 準備:Transformer を構成する機構

Transformer は同じ構造を持つ層を積み重ねたアー キテクチャであり，各層は（1）注意機構，（2）残差結合，（3）層正規化，（4）順伝播型ニューラルネッ トワークの四つの機構から構成される. 多くの先行研究はこのうち，注意機構のみを分析対象としてき た. 本研究では注意機構に加えて残差結合と層正規化を考慮し，入力ベクトル $\boldsymbol{x}_{j}$ がこれらの機構を 通過して $y_{j}^{\text {attn+res+ln }}$ へと変化する様子を分析する. Transformer 内における注意機構，残差結合，層正規化の簡単な概要を図 1 に示す. 本稿では自己注意機構を対象として提案手法の説明と実験を行うが，エ ンコーダーとデコーダーの間の注意機構でも同様の
議論が可能である.

## 2.1 注意機構 (attn)

注意機構は Transformerにおいて「混ぜる作用」を 担う. 以下，Transformer 内の各注意機構を慣例にな らってヘッド（h）と呼ぶことにする．各へッド $h$内において, 各入力ベクトル $x_{j} \in \mathbb{R}^{d}$ は周辺の入力 ベクトル全体 $\left.\{\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}\right.\}$ を参照しながら出力べク トル $\boldsymbol{y}_{j}^{(h)} \in \mathbb{R}^{d}$ へ更新される. 具体的には, 周辺の ベクトル $x_{i}$ を参照する度合い $\alpha_{i, j}^{(h)}$ (アテンション 重み）を計算し， $x_{i}$ をアフィン変換したベクトル $f_{j}^{\curvearrowleft}\left(\boldsymbol{x}_{i}\right)$ をこの重みで足し合わせる.

$
\boldsymbol{y}_{j}^{(\boxed{)}}=\sum_{i=1}^{n} \alpha_{i, j}^{(h)} f_{j}^{(h)}\left(\boldsymbol{x}_{i}\right)
$

Transformer ではこのへッドを $H$ 個並列に並べたマ ルチヘッド注意機構（attn）が各層に組み込まれて いる. マルチヘッド注意機構は，以下のように各 ヘッド $h$ の出力ベクトルを足し合わせ，ベクトル $y_{j}^{\text {attn }}$ を出力する.

$
\boldsymbol{y}_{j}^{\boxed{\text { attn }}}=\sum_{h=1}^{H} \boldsymbol{y}_{j}^{(h)}
$

## 2.2 残差結合（res）

残差結合（res）は, 注意機構の出力 $y_{j}^{\text {attn }}$ に, 処理を加えていない入力べクトル $\boldsymbol{x}_{j}$ をそのまま足し 込むことでオリジナルの情報を「残す」作用を担 う. 注意機構と残差結合を合わせた出力 $\boldsymbol{y}_{j}^{\text {attn+res }}$ は 次の通り計算される：

$
y_{j}^{\boxed{\text { attn+res }}}=y_{j}^{\text {attn }}+x_{j} .
$

## 2.3 層正規化（In）

層正規化（In）は入ってきたべクトル $y$ を正規化 しさらに拡大縮小をほどこす：

$
\mathrm{LN}(\boldsymbol{y})=\overline{\boldsymbol{y}} \odot \gamma+\boldsymbol{\beta} \in \mathbb{R}^{d}, \quad \overline{\boldsymbol{y}}:=\frac{\boldsymbol{y}-m(\boldsymbol{y})}{s(\boldsymbol{y})}
$

まず $\boldsymbol{y} \mapsto \overline{\boldsymbol{y}}$ の計算で入力 $\boldsymbol{y}$ の要素全体が平均 0 分散 1 となるよう正規化される. $\boldsymbol{y}^{(k)}$ をべクトル $\boldsymbol{y}$ の $k$ 番目の要素として $, m(\boldsymbol{y}):=\frac{1}{d} \sum_{k} \boldsymbol{y}^{(k)} \in \mathbb{R}$ は要素平均, $s(\boldsymbol{y}):=\sqrt{\frac{1}{d} \sum_{k}\left(\boldsymbol{y}^{(k)}-m(\boldsymbol{y})\right)^{2}+\epsilon} \in \mathbb{R}$ は標準偏差， $\epsilon \in \mathbb{R}$ は数値安定のための小さな定数を表す.引き算および割り算は要素毎におこなう.

次に学習可能なアフィン変換パラメータ $\gamma, \beta \in \mathbb{R}^{d}$ によって $\bar{y}$ の拡大縮小がおこなわれる. $\odot$
は要素積を表す. Transformer では図 1 に示すよう に，注意機構と残差結合が統合された各べクトル $\boldsymbol{y}_{j}^{\text {attn+res }}$ に対して上記の計算が行われ，以下のよう に $\boldsymbol{y}_{j}^{\boxed{\text { atn+res+ln }}}$ へと更新される.

$
y_{j}^{\boxed{\text { attn+res+ln }}}=\mathrm{LN}\left(y_{j}^{\sqrt{\text { attn+res }}}\right)=\overline{y_{j}^{\sqrt{\text { attn+res }}}} \odot \gamma+\beta
$

## 3 提案手法

本稿では Transformer において注意機構による混 ぜ合わせがどの程度支配的であるかを調査するた め, 注意機構に加えて残差結合と層正規化を考慮し た分析を行う．混ぜ具合の検証のため，それらの機構を通過して更新された埋め込みが，更新前の自身 の入力とその他の入力からそれぞれどの程度ずつ集 めて構成されたのかを確認する手法を提案する．具体的には，三つの機構が埋め込みを更新する計算を 自身の入力に由来するべクトルとその他の入力に由来するベクトルの和に変形し，それぞれのべクトル のノルムを測ることで埋め込みの更新において他か らの混ぜ合わせがどの程度行われたかを観察する。

## 3.1 混ぜる強さの分析

注意機構，残差結合，層正規化を通して入力べク トル $x_{j}$ が $y_{j}^{\text {attn+res+ln }}$ へ更新される際に, 自身以外 の入力ベクトル $\left.\{\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{j-1}, \boldsymbol{x}_{j+1}, \ldots \boldsymbol{x}_{n}\right.\}$ から集めた 量（混ぜた量）と自身の入力ベクトル $x_{j}$ から集め た量（残した量）を比較したい， $y_{j}^{\text {attn }}$ おび LN (.) が以下のように分解できる1)ことに注意すると，

$
\begin{aligned}
& \boldsymbol{y}_{j}^{\boxed{\mathrm{attn}}}=\sum_{i=1}^{n} f_{j}^{\boxed{\mathrm{attn}}}\left(\boldsymbol{x}_{i}\right), f_{j}^{\boxed{\text { attn }}}\left(\boldsymbol{x}_{i}\right):=\sum_{h=1}^{H} \alpha_{i, j}^{(h} f_{j}^{\natural}\left(\boldsymbol{x}_{i}\right) \\
& \mathrm{LN}\left(\sum_{i} z_{i}\right)=\sum_{i} \frac{z_{i}-m\left(z_{i}\right)}{s\left(\sum_{i} z_{i}\right)} \odot \gamma+\beta
\end{aligned}
$

$y_{j}^{\text {attn+res+ln }}$

は次の 4 つの項に近似なしで分解できる.

$
\begin{aligned}
& +\frac{f \boxed{\text { attn }}\left(\boldsymbol{x}_{j}\right)-m\left(f^{\boxed{\mathrm{attn}}}\left(\boldsymbol{x}_{j}\right)\right)}{s\left(\boldsymbol{y}_{j}^{\boxed{\mathrm{attn}}}+\boldsymbol{x}_{j}\right)} \odot \gamma \\
& +\frac{\boldsymbol{x}_{j}-m\left(\boldsymbol{x}_{j}\right)}{s\left(\boldsymbol{y}_{j}^{\boxed{\text { attn }}}+\boldsymbol{x}_{j}\right)} \odot \gamma \\
& +\beta
\end{aligned}
$

1） $\mathrm{LN}(\cdot)$ の分解に関する詳細は付録 $\mathrm{A}$ で説明する.

図 2 各層の注意機構・残差結合・層正規化によるべクトル更新 で「混ぜ合わせ」が担う割合.

図3 各層における注意機構が混ぜる量 $\left.\|\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\text {attn }}\left(\boldsymbol{x}_{i}\right)\right.\|$.

図4 各層における注意機構が残す量 $\left.\|f_{j}^{\boxed{\mathrm{attn}}}\left(\boldsymbol{x}_{j}\right)\right.\|$.

図 5 各層における残差結合が残す量 $\left.\|\boldsymbol{x}_{j}\right.\|$.
すなわち出力 $y_{j}^{\boxed{\text { attn+res+ln }}}$ は

・attn 経由で混ぜる作用 $: y_{j \leftarrow \text { others }}^{\text {attn+ln }}:=$ 項 4

・attn 経由で残す作用 : $\boldsymbol{y}_{j \leftarrow j}^{\mathrm{attn}+\mathrm{ln}}:=$ 項 5
- res 経由で残す作用 : $y_{j}^{\text {res+ln }}:=$ 項 6

・バイアス項： $\beta$ (= 項 7)

の和に分解できる。そこで，これらの機構における 「混ぜる作用」と「残す作用」をそれぞれ $\boldsymbol{y}{ }_{j \leftarrow \text { others }}^{\text {attn }}$ お よび $\boldsymbol{y}_{j \leftarrow j}^{\boxed{\mathrm{attn}+\mathrm{ln}}}+\boldsymbol{y}_{j}^{\mathrm{res+ln}}$ で定義する.

注意機構をべクトルノルムで分析した Kobayashi ら [12]に従い，ベクトルの和における各べクトルの 影響の大きさをそのノルムで測る。ここでは，「混 ぜた量」と「残した量」をそれぞれべクトルノルム $\left.\|\boldsymbol{y}_{j \leftarrow \text { other }}^{\mathrm{attn}+\mathrm{ln}}\right.\|$ および $\left.\|\boldsymbol{y}_{j \leftarrow j}^{\mathrm{attn}+\mathrm{ln}}+\boldsymbol{y}_{j}^{\mathrm{res}+\mathrm{ln}}\right.\|$ で測る.これら の大きさを比べることで，モデル内の注意機構・残差結合・層正規化部分においてどの程度の強さで混 ぜ合わせが行われたかを確認する.

## 4 実験

Transformerを基盤とする代表的なモデルである BERT にテキストを入力し，その内部挙動について 分析を行う．4.2節では各層における「混ぜる量」と 「残す量」を比べ，混ぜ合わせの強さを調べる. 4.3 節および 4.4 節では，混ぜ合わせに対する注意機構，残差結合，層正規化の働きを確認した.

## 4.1 実験設定

モデル 事前学習済み BERT-base (uncased) を用い た. BERT-base は 12 層から構成され，その各層に図
1 で示した注意機構，残差結合，層正規化からなる 構造が組み込まれている。また，追加で BERT-large についても実験を行い，結果を付録 Bにまとめた.

データ モデルへ入力するテキストデータとし て, 既存研究 [4] に従い Wikipedia から抽出された 992 系列を用いた. ここで BERT の事前学習の設定 に合わせ，各系列において全体の $12 \%$ 2) のトークン を [MASK]トークンに置換して入力した.

## 4.2 混ぜる強さの分析

BERT に 992 系列を入力し， 3.1 節で述べた方法 でモデル内部における混ぜ合わせの強さを調べる。各層における注意機構・残差結合・層正規化部分で 他の入力から混ぜた量 $\left.\|y_{j \leftarrow \text { others }}^{\text {attn+ln }}\right.\|$ と自身の入力から 残した量 $\left.\|y_{j \leftarrow j}^{\sqrt{\text { attn+ln }}}+y_{j}^{\sqrt{\text { res+ln }}}\right.\|$ を計算し, 両者の合計 に対する混ぜた量の割合を算出した. 各層で全出力 ベクトルの平均をとった結果 (“全体”) に加え，対応するトークンに合わせて（1）[CLS]，（2） [SEP], （3）[MASK]，（4）ピリオド“,”またはカンマ“,”,（5） その他の五種類に分けた結果も報告する.

結果 図 2 より, モデル内部の注意機構・残差結合・層正規化において「混ぜる作用」は “全体”で 11〜24\%と小さく，「残す作用」が支配的であること がわかった。これより, BERT 内部で埋め込みが層 を登って更新される際に，前の層の情報をかなり保持しながら少しずつ情報が混ぜ合わされていくこと が示唆される。これは BERT 内部における中間表現 は，入力トークンを高精度に判別できるほど元の情

2） BERT の事前学習では，入力系列の $20 \%$ 選び，そのうち $80 \%$ （全体の 12\%）を[MASK] トークンに置換する。
報を残しているという Brunner ら [13] の報告と一致 する．また，“全体” の傾向として後半層に比べて前半層の方が混ぜる作用が強いことがわかった.

トークンの種類ごとの結果に着目すると，[CLS] では混ぜる作用が最終層でのみ $39 \%$ と他よりかな り大きい傾向があった. また，[MASK] では，中盤層で 25 30\%と混ぜる作用が比較的大きかった. 以上により, 前半層で全体的に情報を集めて準備を し, 中盤層で BERT の事前学習タスクである穴埋め 予測（Masked Language Modeling）を解き，後半層で もう一つの事前学習タスクである次文予測 (Next Sentence Prediction）を解いていることが示唆され る.また，[CLS] および [SEP] では，それぞれ前半層および中盤層で混ぜる作用が非常に小さかった. それらの層の注意機構では，これらの特殊トークン に対してアテンション重み $\alpha$ を大く割り振る一方で，あまり集めないという現象が報告されており [12]，何らかの繋がりがあると考えられる。

## 4.3 注意機構と残差結合の働き

前節で明らかになった「混ぜる作用ではなく残す 作用が支配的」という挙動のメカニズムを調べるた め, 層正規化を考慮しない状態で (1) 注意機構が 混ぜる量，（2）注意機構が残す量，（3）残差結合が 残す量を調べる. 式 1 より注意機構と残差結合は,注意機構の出力ベクトル $y_{j}^{\text {attn }}$ と, 残差結合が残す ベクトル $\boldsymbol{x}_{j}$ の足し算によって統合される. また式 2 より, 注意機構の出力ベクトル $y_{j}^{\text {attn }}$ は自身の入力 $x_{j}$ から集めたべクトル $f_{j}^{\text {attn }}\left(x_{j}\right)$ とその他の入力か ら集めたべクトル $\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\text {attm }}\left(\boldsymbol{x}_{i}\right)$ に分離で きる. BERT 各層における，(1) 注意機構が混ぜる 量 $\left.\|\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\text {attn }}\left(\boldsymbol{x}_{i}\right)\right.\|$, ，(2) 注意機構が残す量 $\left.\|f_{j}^{\text {attn }}\left(\boldsymbol{x}_{j}\right)\right.\|$, （3）残差結合が残す量 $\left.\|\boldsymbol{x}_{j}\right.\|$ を測った.

結果 図 3, 4, 5より, 残差結合が残す量は注意機構が混ぜる量および残す量に比べて遥かに大き く, BERT の各層において注意機構に比べて残差結合が支配的であることが分かった. また, 注意機構 による残す作用は小さく, 残す作用のほとんどを残差結合に任せていることがわかった.

多くの先行研究で注意機構のみに着目した分析が 行われ, 残差結合を考慮する先行研究でも注意機構 と残差結合の力関係を 1:1 と仮定していた [14]が,実際には残差結合が支配的であった。

図 6 各層の注意機構・残差結合によるべクトル 更新で「混ぜ合わせ」が 担う割合.

図 7 各層における層正規化を考慮した際の残差結合に由来するべクトル

## 4.4 層正規化の作用

層正規化の働きについて理解を深めるため，層正規化によって「混ぜ合わせの強さ」と「残差結合が 残す量」がどう変わるのかを調べた。

結果 図 2 と 6 の比較から, 層正規化は全体的に 混ぜ合わせの割合を下げる働きをしていることが分 かった. 中でも [CLS] と [SEP] に対して割合を強く 下げる傾向があった. また, 図 7 と 5 の比較から,層正規化は残差結合が足すべクトルを全体的に拡大 していることが分かった．混ぜ合わせの割合を強く 下げる [CLS] と [SEP] に対しては，特に強い拡大を 行っていた. 以上のように層正規化は混ぜ合わせの 強さに影響を与えていた。

## 5 おわりに

本稿では，Transformer 内部における混ぜ合わせの 強さを分析する方法を提案した. この方法を用いて BERT を分析し，各層において混ぜる作用ではなく 残す作用が支配的であることを明らかにした.ま た，これまで盛んに分析されてきた注意機構の働き が，各層において支配的ではないことを示した。

今後は, RoBERTa[15] や fine-tuning した BERT な ど，より幅広くモデルを分析する。また, Transformer 内のより多くの作用を考慮に入れ，層全体やモデル 全体での挙動を精緻に分析する方向性も興味深い。

謝辞. 本研究は JSPS 科研費 JP19H04425, JP20J22697 の助成を受けたものです. また本研究は, JST, ACTX，JPMJAX200S の支援を受けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (NAACL-HLT), pp. 4171-4186, 2019.

[3] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A Primer in BERTology: What we know about how BERT works. arXiv preprint arXiv:2002.12327, 2020.

[4] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D Manning. What Does BERT Look At? An Analysis of BERT's Attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, 2019.

[5] Olga Kovaleva, Alexey Romanov, Anna Rogers, and Anna Rumshisky. Revealing the Dark Secrets of BERT. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4364-4373, 2019.

[6] Emily Reif, Ann Yuan, Martin Wattenberg, Fernanda B Viegas, Andy Coenen, Adam Pearce, and Been Kim. Visualizing and Measuring the Geometry of BERT. Advances in Neural Information Processing Systems 32 (NIPS), pp. 8594-8603, 2019.

[7] Yongjie Lin, Yi Chern Tan, and Robert Frank. Open Sesame: Getting Inside BERT's Linguistic Knowledge. Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 241-253, 2019.

[8] David Mareček and Rudolf Rosa. From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions. In Proceedings of the 2019
ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 263-275, 2019.

[9] Phu Mon Htut, Jason Phang, Shikha Bordia, and Samuel R. Bowman. Do Attention Heads in BERT Track Syntactic Dependencies? arXiv preprint arXiv:1911.12246, 2019.

[10] Alessandro Raganato and Jörg Tiedemann. An Analysis of Encoder Representations in Transformer-Based Machine Translation. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, 2018.

[11] Gongbo Tang, Rico Sennrich, and Joakim Nivre. An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation (WMT): Research Papers, pp. 26-35, 2018.

[12] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is not only a weight: Analyzing transformers with vector norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7057-7075, 2020.

[13] Gino Brunner, Yang Liu, Damián Pascual, Oliver Richter, Massimiliano Ciaramita, and Roger Wattenhofer. On Identifiability in Transformers. In 8th International Conference on Learning Representations (ICLR), 2020.

[14] Samira Abnar and Willem Zuidema. Quantifying attention flow in transformers. In Proceedings of the 58th Annual Meeting of the Association for Coтputational Linguistics, pp. 4190-4197, July 2020.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019 .

## 付録

## A 層正規化の分配

複数のベクトル $\left.\{z_{1}, \ldots, z_{n}\right.\} \subseteq \mathbb{R}^{d}$ の和で表される $\sum_{i=1}^{n} z_{i}$ に対して層正規化 $L N(\cdot)$ を計算する際，式 3 のように層正規化の作用を和の中の各ベクトル $z_{i}$ に分配するような 形で，出力を $n$ 個のベクトルに分解できることを文中で 述べた. ここでは，この分解に至る式変形について説明 する。まずは層正規化の計算を以下のように展開する：

$
\begin{aligned}
\mathrm{LN}\left(\sum_{i} z_{i}\right) & =\overline{\sum_{i=1}^{n} z_{i}} \odot \gamma+\beta \\
& =\frac{\sum_{i=1}^{n} z_{i}-m\left(\sum_{i=1}^{n} z_{i}\right)}{s\left(\sum_{i=1}^{n} z_{i}\right)} \odot \gamma+\beta
\end{aligned}
$

ここで，分数部分の分子の第 2 項 $m\left(\sum_{i=1}^{n} z_{i}\right)$ について考え る. $m\left(\sum_{i=1}^{n} z_{i}\right)$ は $\sum_{i=1}^{n} z_{i}$ の要素平均であり, 以下のように変形できる：

$
\begin{aligned}
m\left(\sum_{i=1}^{n} z_{i}\right) & =\frac{1}{d} \sum_{k=1}^{d}\left(\sum_{i=1}^{n} z_{i}\right)^{(k)} \\
& =\frac{1}{d} \sum_{k=1}^{d} \sum_{i=1}^{n} z_{i}^{(k)} \\
& =\sum_{i=1}^{n} \frac{1}{d} \sum_{k=1}^{d} z_{i}^{(k)} \\
& =\sum_{i=1}^{n} m\left(z_{i}\right) .
\end{aligned}
$

これに基づき，式 3 を以下のように導出できる：

$
\begin{aligned}
\mathrm{LN}\left(\sum_{i} z_{i}\right) & =\frac{\sum_{i=1}^{n} z_{i}-\sum_{i=1}^{n} m\left(z_{i}\right)}{s\left(\sum_{i=1}^{n} z_{i}\right)} \odot \gamma+\beta \\
& =\sum_{i=1}^{n} \frac{z_{i}-m\left(z_{i}\right)}{s\left(\sum_{i=1}^{n} z_{i}\right)} \odot \gamma+\beta .
\end{aligned}
$

## B BERT-large における実験結果

4 節で BERT-base に対して行った実験を全く同じ設定で BERT-large でも行った結果を報告する。

## B. 1 混ぜる強さの分析

図 8 より，BERT-large においても「混ぜる作用」は全体 で 11 28\%と小さく, 「残す作用」が支配的であった. ま た, BERT-base の結果（図 2) と比べると, 最初の層と最終層を除いて BERT-large の方が「混ぜる作用」が小さく，層が増えた分だけゆっくりと混ぜ合わせが行われている と考えられる. また，[CLS] に対して強い混ぜ合わせを行

図 8 BERT-large 各層の注意機構・残差結合・層正規化によるべクトル更新で 「混ぜ合わせ」が担う割合.

図 10 BERT-large 各層に おける注意機構が残す量

$
\left.\|f_{j}^{\text {attn }}\left(\boldsymbol{x}_{j}\right)\right.\| .
$

図 9 BERT-large 各層にお ける注意機構が混ぜる量 $\left.\|\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\boxed{\text { attn }}}\left(x_{i}\right)\right.\|$.

図 11 BERT-large 各層に おける残差結合が残す量 $\left.\|x_{j}\right.\|$.

うのが，BERT-base では最終層で，BERT-large では第一層 という違いを確認した。

## B. 2 注意機構と残差結合の働き

図 9，10，11より，BERT-large においても，残差結合が 残す量が注意機構が混ぜる量および残す量に比べてはる かに大きく，各層において注意機構に比べて残差結合が 支配的であることがわかった.

## B. 3 層正規化の作用

スペースの都合で結果の図は割愛するが，BERT-large においても，層正規化は全体的に混ぜ合わせの割合を下 げており，特に [CLS] と [SEP] で強く割合を下げていた. ただし，第一層の [CLS] に対しては混ぜ合わせを強める作用を行っていた。また，層正規化は BERT-large において も残差結合が足すべクトルを全体的に拡大しており，特 に [CLS], [SEP], [MASK] に対して強い拡大を行っていた.
 小林悟郎 1 栗林樹生 ${ }^{1,2}$ 横井祥 1,3 乾健太郎 1,3 1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所 \{goro.koba, kuribayashi, yokoi, inui\}@ecei.tohoku.ac.jp  