# Transformer におけるフィードフォワードネットの作用

小林悟郎 1 栗林樹生 ${ }^{1,2}$ 横井祥 1,3 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
goro.koba@dc.tohoku.ac.jp \{kuribayashi, yokoi, inui\}@tohoku.ac.jp

## 概要

近年 Transformer ネットワーク [1] が大きな成功を 収め，Transformer を用いたモデルの分析が盛んに行 われている。しかし多くの研究は注意機構に焦点を 絞り，他のモジュールを無視して分析を行ってい る. 特に，多くの学習パラメータを持つフィード フォワードネットを分析に組み込む試みはこれまで ほとんどない. 本研究ではフィードフォワードネッ トにも光を当て，層を構成するすべてのモジュール を考慮した分析方法を提案する．BERT[2]を対象と した実験では，フィードフォワードネットが単語埋 め込み間の混ぜ合わせに興味染い影響をもたらすこ とを明らかにする。

## 1 はじめに

近年，Transformer ネットワークが自然言語処理の 幅広いタスクに性能向上をもたらし，基盤技術とな りつつある。その成功理由の解明および更なる性能改善を目指して Transformerを用いたモデル（BERT など）の分析が盛んに行われている [3]. Transformer は入力系列の情報を混ぜ合わせながら単語埋め込み を更新していく．そこで既存分析の主な関心は，モ デルが単語埋め込みを更新する際に文脈情報をどの ように混ぜ合わせているかにある. 多くの既存研究 では，直接的に単語埋め込み同士の混ぜ合わせを実現する注意機構の振る舞いに焦点を絞った分析が行 われてきた $[4,5,6,7,8,9,10,11,12]$.

しかし, Transformerを構成する要素は注意機構だ けではなく，その他のモジュールも間接的に混ぜ合 わせに影響を及ぼしうる。 そこで我々はこれまで， Transformerをより精緻に分析するために分析範囲を 拡張することを試みてきた $[12,13]$. その結果，分析範囲を拡張することでモデル内部の観察が大きく 変わることが分かっており，対象モジュールを絞っ た限定的な分析を続けることには不完全な知見をコ ミュニティ内に積み上げてしまう危険がある.

図 1 Transformer 層の概要と各種分析方法のスコープ.

本研究では新たにフィードフォワードネットを分析に組み込み，分析範囲を層全体まで拡張する。代表的なモデルである BERTを対象とした実験の結果，フィードフォワードネットによって混ぜ合わせ の振る舞いが変化すること，さらに言語的に関係深 い単語ぺア (e.g., 意味的つながりが強い単語ペア) の相互作用が増幅されることなどがわかった.

## 2 準備: Transformer

Transformer は入力されたべクトル系列（トークン 列）を混ぜ合わせながら更新する層を積み上げて構成される。各層は (1) 注意機構，（2）フィードフォ ワードネット，（3）残差結合，（4）層正規化の 4 種類の要素からなる（図 1). Transformer を用いたモ デルを分析する多くの既存研究は，注意機構だけに 焦点を当ててきた $[4,5,6,7,8,9,10,11,12]$. 最近,我々が注意機構に加えて残差結合と層正規化を考慮 することを提案した [13] が，フィードフォワード ネットの影響はいまだ考慮されていない。本研究で はフィードフォワードネットを分析に組み込み，層内の混ぜ合わせにもたらされる影響を調査する。
注意機構 (ATTN) は単語埋め込み列 $\left.\{x_{1}, \ldots, x_{n}\right.\} \subseteq$ $\mathbb{R}^{d}$ を混ぜ合わせることで各埋め込み $x_{i}$ を更新する 機構である. 具体的には, 各単語ぺア $\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right)$ の関係性に相当する注意重み $\alpha_{i, j} \in[0,1]$ を計算しその 值に基づいて周囲の埋め込みを混ぜ合わせること で，関係深い単語の埋め込みから情報を多く集めな がら埋め込みを更新することを実現する。

フィードフォワードネット（FF）は活性化関数を 間に挟んだ 2 層の線形ニューラルネットワークで ある。各単語埋め込みに対して独立に同じ変換を行 うため，この機構単体では埋め込み同士に混ぜ合わ せのような相互作用は生まない. 以降ではフィード フォワードネットを FF と省略して表記する。

残差結合（RES）は注意機構および FF の前後を短絡する形で，それら機構への入力ベクトルをその出 カベクトルに足し込み，元の情報を残す.

層正規化（LN）は各べクトルに要素平均を 0 ，要素分散を 1 にする正規化を行った上で，各要素をス ケーリングするアフィン変換を行う。

## 3 関連研究

本節では Transformerを用いたモデル（BERTな ど）の内部挙動を分析する既存手法を概観し, 本研究の位置付けについて述べる。

注意機構の分析 モデル内部での単語間の混ぜ 合わせを調べるために多くの研究で注意機構に焦点が当てられてきた. 特にアテンション重み $\alpha$ の 値を観察するのが最も典型的な分析方法である $[4,5,6,7,8,9,10,11]$ (図 1 の AtTN-w).この方法は 機構内の $\alpha$ 以外の影響を無視してしまうが，我々の 以前の研究ではその点を改良した注意機構の包括的 な分析方法を提案した [12]（図 1 の ATTN）.

分析範囲を拡張する試みこれらの分析では Transformer を構成する 4 要素（セクション 2）のう ち注意機構だけしか考慮されない. そこで注意機構以外の構成要素も分析に組み込むことも過去の研究で試みた。具体的には，ベクトルノルムを用いる ことで層の前半部分（注意機構・残差結合・層正規化）を包括的に分析する方法を提案した [13]（図 1 の AtTNResLn)，そして実際に，この分析範囲の拡張によってモデル内での単語間の混ぜ合わせの見え 方が大きく変化することを報告した.

既存の問題点と本研究の立ち位置しかしながら Transformer の学習可能パラメータの半数以上（埋め 込み層を除く）を占める $\mathrm{FF}$ を分析に組み込む試み

1. 各入カ $x_{j}$ に紐づくベクトルの和として表す

図 2 ベクトルノルムに基づく分析の概要.

は現状ほとんどない，数少ない試みは FF を独立に 調べるもので $[14,15]$ ，注意機構など直前までのモ ジュールによる混ぜ合わせに与える影響については 明らかになっていない. 本研究は $\mathrm{FF}$ を注意機構な どの周囲のモジュールと合わせて分析に組み込むこ とで，FF が単語同士の混ぜ合わせにどのような影響を与えるのかを調べる。

## 4 提案手法

Transformer を構成する 4 種類の要素全て（2 節） を考慮した， 1 層の包括的な分析法を提案する.

## 4.1 ベクトルノルムに基づく分析

本研究の提案手法では我々が以前提案したべクト ルノルムを用いた方法 [12]を採用する。この方法は アテンション重み $\alpha$ を観察するような方法と違い，分析範囲を自然に拡張できる。また，勾配を用いて 分析対象の入出力間の関係を分析する方法と違い,入力ベクトルによる影響も考慮できる。 ベクトルノ ルムを用いた分析の概要を図 2 に示す. 分析は次の 2 段階で行われる：

1. 分析したい処理を各入力 $\boldsymbol{x}_{j}$ に紐づくベクトル の和に書き直す（加法分解する）.

2. 分解された各べクトルのノルムを測ることで出力 $\boldsymbol{y}_{i}$ に対する各入力 $x_{j}$ の貢献を測定する.

この方法はベクトルの総和において長いべクトルほ ど出来上がるべクトルに強く影響を与えるという性質を基に考案されている. 3 節で述べた注意機構の 包括的な分析（図 1 の ATTN）[12]，および層の前半部分（注意機構・残差結合・層正規化）の包括的な
分析（図 1 の AtTnResLn） [13] はこの方法を用いて 実現したものである. 本研究では分析対象を FFに 広げることで層の包括的な分析を実現する。

## 4.2 FF の加法分解

分析の第 1 段階として今回の分析対象である Transformer 層全体を加法分解したい. 層全体の加法分解は, 層を構成する 4 要素の処理をそれぞれ加法分解することで実現できる.このうち注意機構・残差結合・層正規化の 3 要素についてはそれぞれ近似 なしで加法分解できることを以前の研究 $[12,13]$ で 示している. しかし本研究で新たに組み达む $\mathrm{FF}$ に は活性化関数が含まれている1). 非線形な作用には 分配則が適用できないため近似なしで加法分解でき ない. そこで活性化関数部分を近似的に加法分解す る方法について検討した. 分解前後で合計値が変化 しないことを要件とし，これを満たす近似手法とし て（1）勾配に基づいた近年代表的な特徴量帰属手法 Integrated Gradients [17] と（2）ゲーム理論に基づい て出力への寄与値を分配する Shapley Value [18] を候補に挙げた. 両手法で試したところ, Shapley Value には系列長に応じて急激に計算速度が遅くなる問題 があったため, 本研究では Integrated Gradientsを採用した. 他の方法も踏まえて近似分解手法を比較検討することは今後の展望の一つである.

## 4.3 提案手法まとめ

以上によりすべての構成要素の加法分解が可能と なり, Transformer 層での埋め込みの更新を入力に紐 づくべクトルの和 $\boldsymbol{y}_{i} \approx \sum_{j} F\left(\boldsymbol{x}_{j}\right)$ で表すことができ た. あとは分析の第 2 段階として分解した各べクト ルのノルム $\left.\|F\left(x_{j}\right)\right.\|$ を測ることで，埋め込み $x_{i}$ を $\boldsymbol{y}_{i}$ へと更新する際の各入力埋め込み $x_{j}$ の貢献を測 る. 測定した値はその層における $j$ 番目の単語から $i$ 番目の単語への混ぜ度合いに相当しており, その 値の大きさからモデルが周囲の各単語情報をどれほ ど強く混ぜ合わせているかを観察できる。

## 5 実験

Transformer を用いた代表的なモデルである BERT の内部挙動を $\mathrm{FF}$ の作用に注目しながら分析する. 5.1 節では FF が文脈の混ぜ合わせを変化させること をデータ全体のマクロな分析から確かめる． 5.2 節 では個別の単語ぺアに注目したミクロな分析によ


図 3 分析範囲の異なる手法間の結果の類似度.

り，FF が言語的に興味深い単語ぺアの混ぜ合わせ を大きく変化させる傾向を明らかにする.

モデル 事前学習済み BERT-base (uncased)を用い た. BERT-base は 12 層から構成されており，その各層が注意機構，フィードフォワードネット，残差結合，層正規化から構成されている（図 1).

データ 既存研究 $[4,12,13]$ に従い，モデルへ入力するテキストデータに Wikipedia から抽出された 992 系列 [4] を用いた. BERT の事前学習の設定に合 わせ，各系列の $12 \%$ 2) のトークンは [MASK]トークン に置換してからモデルに入力した.

分析手法 実験では分析範囲の異なる 6 種類の手法で分析し，結果を比較することで各モジュールの 混ぜ合わせへの影響を調査する. 各手法の分析範囲 は図 1 に示す通りである. ATTN-w は注意重み $\alpha$ を 分析する最も典型的な方法で，他 5 手法はベクトル ノルムに基づく分析（4.1 節）を採用している.

## 5.1 各モジュールの混ぜ合わせへの影響

分析に考慮するモジュールを増やすことで混ぜ具合の観察結果がどの程度変化するかを確認する。

手順 BERT に各系列（トークン数 $n$ ）を入力し, 6 種類の分析手法それぞれで入力単語間の混ぜ度合 い（ $n \times n$ の行列）を算出する. 続いて系列毎に手法間で結果の類似度を測り，全系列で平均する。その 後，モデル全体での傾向を調べるために各層から算出された値を平均する．行列間の類似度を測定する 方法は，多変量解析法である表現類似性分析 [19] に 従う. 具体的には各行列 $\left(\mathbb{R}^{n \times n}\right)$ をべクトル $\left(\mathbb{R}^{n^{2}}\right)$ に平坦化してスピアマン順位相関係数を計算する。

結果・考察 図3に6種類の分析手法で算出され た混ぜ合わせの結果同士の類似度を示す。

2） BERT の事前学習では入力系列の $15 \%$ が選ばれ，そのうち 80\%（全体の 12\%）が [MASK]トークンに置換される。
表 1 FFが混ぜ度合いを増幅した単語ぺア。

FF は混ぜ合わせを変化させる：FFを分析に組み込 む前後で混ぜ合わせの類似度は 0.79 で 1.0 より確か に低く, FFが混ぜ合わせに変化をもたらしているこ とが分かった. FF は埋め込み間に相互作用を生ま ないため一見混ぜ合わせには寄与しないように思え るが，その各入力は直前の注意機構などを通して埋 め込みが混ぜられたものであり, FF はベクトル変換を通してその混ぜ具合を確かに変化させている.

残差結合・層正規化も混ぜ合わせを変化させる：FF の後にある残差結合の前後では類似度が 0.96 , 層正規化の前後では類似度が 0.73 であり, 残差結合と層正規化も混ぜ合わせに変化をもたらしていること が分かった. 特に層正規化による変化は大きく, ア フィン変換が強く働いていると考えられる. この傾向を詳細に調べることは今後の展望の一つである.

## 5.2 フィードフォワードネットの仕事

前節では FF が単語埋め込み間の混ぜ具合を変化 させていることを明らかにした。本節ではこの FF による混ぜ合わせへの影響についてミクロに調査 し，どのような単語ぺアに対して大きな変化をもた らすのかを明らかにする。

手順 BERT に各系列を入力し，FFを分析に組み 込む前後 (AtTNResLn と AtTnResLnFF) でそれぞれ 単語間の混せ度合い $(n \times n$ の行列) を算出する. そ れぞれの結果に対して各行の合計值が 1 になるよう 正規化を行っで3 から差分を取り, FF が各 2 単語間 での混ぜ合わせ $\left(w_{j}->w_{i}\right)$ にもたらす変化量を計算する.これを単語の組み合わせ毎にデータ全体で 平均し，変化が大きい傾向にある単語ぺアを特定す る.このとき周囲文脈との関係に注目する目的で，同じ位置の単語への混ぜ合わせ $\left(w_{j}->w_{j}\right)$ は除外 した. さらに外れ値の影響に対処するため，データ 中に一度しか出現しないぺアも集計から除外した。

結果・考察 各層の FF が混ぜ度合いを平均的に 大きく増幅もしくは減衰した単語ペアを特定し，そ のうち顕現的なぺアを表 1 および表 2 にまとめた. ${ }^{4)}$
$ に示す.
}

表 2 FFが混ぜ度合いを減衰した単語ぺア。

関係深い単語ペアの混ぜ度合いの増幅 (表 1)：1 層目では 2 トークンで 1 つの単語をなすサブワードの ペア（detour や weeknight）や熟語をなす 2 単語（cell phones）といった，意味の繋がりが強く，隣り合っ たぺアで混ぜ合わせが増幅されていた。 6 層目では 副詞を伴うコロケーションを成す単語ぺア，9層目 では文内において意味的な接続があると予想される 単語ペアでの混ぜ合わせが増幅されていた. 10 層目では同系列内に複数個出現する同じ単語同士で の混ぜ合わせが増幅される傾向にあった. 以上によ り, FF は何らかの意味で関係深い単語ペアの混ぜ 度合いを増幅する傾向にあることが示唆される。

同グループに属する単語同士の混ぜ合わせと特殊 トークンへの混ぜ合わせの減衰 (表 2) : 3 層目では 月名単語同士の混ぜ合わせが減衰され，5 層目では 同系列内に複数回登場する同じ単語同士での混ぜ合 わせが減衰されていた。これより, FFが同グルー プに属する単語同士に対して不要な混ぜ合わせを 抑制する働きを持つことが示唆される. 10,12 層目 では特殊トークンである $[C L S]$ と [SEP]への混ぜ合 わせが減衰される傾向にあった. 特に最終層である 12 層目で [CLS]への混ぜ合わせを減衰していること は，[CLS] の埋め込みを用いて 2 文間の連続性につ いて予測する事前学習タスクを解くために重要でな い情報を抑制している可能性が考えられる.

## 6 おわりに

本稿では，Transformer の各層における単語埋め込 み間の混ぜ合わせを包括的に分析する方法を提案し た. BERT を対象とした実験結果から，FF がべクト ル変換を通じて混ぜ具合を変化させていることを明 らかにした. 特に, FF は意味的な接続や事前学習 タスクに紐づいた混ぜ合わせに大きく変化をもたら すことが示唆された。

今後は, PMIなどの言語的性質と照らし合わせな がら FF の働きについて更に深掘りしていく.また， これまでのように各層を独立に分析するのではなく 層を跨ぐ拡張を導入することで，複数層もしくはモ デル全体を包括的に分析する方向性も興味深い.

## 謝辞

本研究は JSPS 科研費 JP20J22697 の助成を受けた ものです. また本研究は, JST, ACT-X, JPMJAX200S および JST，CREST，JPMJCR20D2 の支援を受けた ものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186, 2019.

[3] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A Primer in BERTology: What We Know About How BERT Works. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 842-866, 2021.

[4] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D Manning. What Does BERT Look At? An Analysis of BERT's Attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, 2019.

[5] Olga Kovaleva, Alexey Romanov, Anna Rogers, and Anna Rumshisky. Revealing the Dark Secrets of BERT. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4364-4373, 2019.

[6] Emily Reif, Ann Yuan, Martin Wattenberg, Fernanda B Viegas, Andy Coenen, Adam Pearce, and Been Kim. Visualizing and Measuring the Geometry of BERT. In Advances in Neural Information Processing Systems 32 (NeurIPS), pp. 8594-8603, 2019.

[7] Yongjie Lin, Yi Chern Tan, and Robert Frank. Open Sesame: Getting Inside BERT's Linguistic Knowledge. Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 241-253, 2019.

[8] David Mareček and Rudolf Rosa. From Balustrades to Pierre Vinken: Looking for Syntax in Transformer SelfAttentions. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 263-275, 2019.

[9] Phu Mon Htut, Jason Phang, Shikha Bordia, and Samuel R. Bowman. Do Attention Heads in BERT Track Syntactic Dependencies? arXiv preprint arXiv:1911.12246, 2019.

[10] Alessandro Raganato and Jörg Tiedemann. An Analysis of Encoder Representations in Transformer-Based Machine Translation. In Proceedings of the 2018 EMNLP Work- shop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, 2018.

[11] Gongbo Tang, Rico Sennrich, and Joakim Nivre. An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation. In Proceedings of the 3rd Conference on Machine Translation (WMT): Research Papers, pp. 26-35, 2018.

[12] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is Not Only a Weight: Analyzing Transformers with Vector Norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7057-7075, 2020.

[13] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Incorporating Residual and Normalization Layers into Analysis of Masked Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 45474568, 2021.

[14] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer Feed-Forward Layers Are Key-Value Memories. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5484-5495, 2021.

[15] Daisuke Oba, Naoki Yoshinaga, and Masashi Toyoda. Exploratory Model Analysis Using Data-Driven Neuron Representations. In Proceedings of the Fourth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, pp. 518-528, 2021.

[16] Dan Hendrycks and Kevin Gimpel. Gaussian Error Linear Units (GELUs). 2016.

[17] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic Attribution for Deep Networks. In Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 3319-3328. PMLR, 2017.

[18] Shapley L. S. A Value for n-person Games. Contributions to the Theory of Games, pp. 307-317, 1953.

[19] Nikolaus Kriegeskorte, Marieke Mur, and Peter Bandettini. Representational similarity analysis - connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience, Vol. 2, p. 4, 2008.

## A 5.2 節の結果の詳細

5.2 節ではフィードフォワードネットによる混ぜ合わせへの影響が大きい単語ぺアの中から顕現的なもの を列挙した（表 1 および表 2). 本節ではそれらを列挙する前の，影響が大きかった上位 10 ペア全てを表 3 および表 4 に示す.ここで上位ぺアを算出する際の計算量の問題により，データ全体で 1 度しか出現しない ペアが上位に多すぎる層では表の結果に 10 ペア未満しか載っていない.

表 3 フィードフォワードネットによって混ぜ度合いが増幅した上位単語ペア.

 \\

表 4 フィードフォワードネットによって混ぜ度合いが減衰した上位単語ぺア.

 \\


 小林悟郎 1 栗林樹生 ${ }^{1,2}$ 横井祥 1,3 乾健太郎 1,3 1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所 goro.koba@dc.tohoku.ac.jp \{kuribayashi, yokoi, inui\}@tohoku.ac.jp  