# Transformer を多層にする際の勾配消失問題と解決法について

高瀬翔 1 清野舜 2,3 小林堸介 4,3 鈴木潤 3,2
${ }^{1}$ 東京工業大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ 東北大学 ${ }^{4}$ Preferred Networks
sho.takase@nlp.c.titech.ac.jp shun.kiyono@riken.jp
sosk@preferred.jp jun.suzuki@tohoku.ac.jp

## 概要

Transformer は機械翻訳や要約のような系列変換タ スクをはじめ，様々なタスクに用いられている。他 のニューラルネットワークと同様に，Transformer も 性能向上のためには層の数を増やす戦略が取られる が，例えば 18 層以上のように多層化する場合には 学習の安定性のために Layer Normalization（LN）の 位置を変えた構造を使うことが主流になっている。本研究では，オリジナルの構造での多層化における 学習の不安定性は LN による勾配消失であることを 示し，Residual Connection を追加するだけで多層化 が可能になることを示す．また，多層化において主流の LN の位置を変えた構造は性能が低いことを実験的に示し，提案手法により性能に悪影響を与える ことなく多層化できることを示す.

## 1 はじめに

多層ニューラルネットワークの学習において，勾配の爆発や消失を防ぐために Batch Normalization [1] や Residual Connection [2] が考案されてきた. Batch Normalization は適用位置を変化させたときの挙動も 議論されており，性能の高い多層のネットワークを 構築するためには構造にも気を配る必要がある [3].

機械翻訳や要約のような系列変換タスクをはじ め，自然言語処理の様々なタスクに用いられている Transformer では Layer Normalization（LN）[4] が採用 されている [5]. Transformer についても LN の適用位置に関しての議論がある. 最初に提案された構造 である Post-LN は多層にすると勾配消失問題で学習 が不安定になり，サブレイヤの入力に LN を適用す る Pre-LN と呼ばれる構造（各構造を図示した図 2 も 参照のこと）の方が学習が安定していると示されて いる [6,7]. 例えば， 18 層 Transformer エンコーダ・ デコーダについて，機械翻訳で広く使われている WMT 英-独の訓練および開発データでの損失値を図

(a) Train loss

(b) Valid loss図 118 層 Transformer エンコーダ・デコーダの訓練デー タ，開発データの損失値.

1 の (a)，(b) に示した. この図から Post-LN は損失値が高いままで，学習を続けても性能が改善されて いないことが分かる.このため，多層の Transformer では Pre-LN を採用した研究が多い $[8,9]$.

Pre-LN と Post-LN との議論では学習の安定性が沮上に上がることがほとんどであり，性能差に言及し た研究は少ない.しかしながら，Liu らは機械翻訳 において，学習が成功した場合（例えば 6 層のよう に多層でない場合）には Post-LN が Pre-LN よりも 高い性能を達成したことを報告している [10]. この 結果は学習の不安定性に目をつぶれば，Post-LN は Pre-LN よりも優れていることを示唆している.

そこで本研究では，Post-LN の学習の安定性向上 に取り組む. 特に，本研究では図 1 のような，学習 を続けても性能が改善されない現象を学習の不安定性とし，これの改善に取り組む。まず，Post-LN を多層にした際に学習が不安定になる問題は LN による勾配消失が原因であることを示す。加えて， Post-LN と Pre-LN との性能差がどこに起因するかを 調査する，上記の観測に基づき，Post-LNに Residual Connection を追加するだけで，学習パラメータの追加や計算コストを増加させることなく，高い性能を 維持したまま多層での学習を安定させることが可能 になると示す。

(a) Post-LN

(b) Pre-LN

(c) Post-LN with B2T connection

図 2 Transformerを用いたエンコーダ・デコーダの構造. (a) は Post-LN，(b) は Pre-LN，(c) は Post-LN に提案手法を組み 合わせたものである.

## 2 Post-LN と Pre-LN

本節では Post-LN と Pre-LNを概説する. オリジ ナルの Transformer [5] では各 Residual Connection の 後に LN を置く，Post-LN となっている. サブレイ ヤへの入力を $x$ ，フィードフォワードネットやマル チヘッドアテンションのようなサブレイヤを $\mathscr{F}(\cdot)$ とすると，Post-LNは次のようになる：

$
\operatorname{PostLN}(x)=\mathrm{LN}(x+\mathscr{F}(x)) .
$

一方，Pre-LN は各サブレイヤの前にLNを置く：

$
\operatorname{PreLN}(x)=x+\mathscr{F}(\mathrm{LN}(x)) .
$

図 2 の (a) と (b) はそれぞれ Post-LN と Pre-LN を図示したものである.

## 3 Transformer における勾配

Liu らが報告しているように，Post-LN では勾配消失が発生する [10]. 図 3 は機械翻訳で広く使わ れている WMT 英独の訓練データにおける，18 層 Transformer エンコーダ・デコーダの (a) エンコーダ 側と (b) デコーダ側の各層の勾配のノルムを示した ものである. この図における勾配のノルムは対数目盛りとしてあるため，デコーダ側において Post-LN の勾配は層が浅くなるにつれ指数的に減少している ことが分かる。すなわち，Post-LN のデコーダ側で は勾配消失が発生しており，この勾配消失が図 1 に

(a) Encoder side

(b) Decoder side図 3 Transformer エンコーダ・デコーダの勾配のノルム.

示したように多層 Post-LN の学習を不安定にしてい ると考えられる。

勾配消失の詳細な原因を知るため，図 2(a)の (1) (5) における勾配のノルムを調査した. 図 4 は 18 層目の (1) - (5) における勾配のノルムを示している. この図から，(4) から (3)，(2) から (1) で勾配が大き く減衰していることが分かる。この勾配が大きく減衰している点はLN の位置と合致しており，LNが 勾配消失の原因であると推測される。

さらに Post-LN と Pre-LN との勾配のながれの違 いを探るために，式 (1)と (2) の微分值を計算する.各微分値は次のようになる：

$
\begin{aligned}
\frac{\partial \operatorname{PostLN}(x)}{\partial x} & =\frac{\partial \mathrm{LN}(x+\mathscr{F}(x))}{\partial(x+\mathscr{F}(x))}\left(1+\frac{\partial \mathscr{F}(x)}{\partial x}\right), \\
\frac{\partial \operatorname{PreLN}(x)}{\partial x} & =1+\frac{\partial \mathscr{F}(\mathrm{LN}(x))}{\partial \mathrm{LN}(x)} \frac{\partial \mathrm{LN}(x)}{\partial x} .
\end{aligned}
$

(1) (2) (3)
Location of Figure $1(\mathrm{a})$

$(5)$

図 4 WMT 英-独で学習した際の 18 層の Post-LNにおけ る 18 層目のデコーダの各位置における勾配のノルム.

式 (3) のように，Post-LN の微分はLN の微分お よびサブレイヤ F と Residual Connection の微分の 積となる.これに対し, Pre-LNの微分は Residual Connection の微分が LN の微分と独立の項となって いる．LN の微分が勾配を大きく減衰させたとして も，この Residual Connection の微分が勾配を維持す るため，Pre-LNでは勾配消失が発生していないと考 えられる。

## 4 各層による変換

Post-LN では LNによって勾配が減衰し，これに よって低層では勾配消失が発生しうる。このため多層の Post-LN の学習は困難であるが，実験の節にあ るように，学習に成功した場合は Post-LN は Pre-LN よりも高い性能を達成する.この性能差は各層にお ける変換の程度に依存すると考えられる。

図 5 は Transformer エンコーダ・デコーダについ て, WMT データセット内のいくつかの系列を入力 した際の，各層の出力間のコサイン類似度を平均し 図示したものである. この図において，Pre-LNの左下の類似度は Post-LN の左下の値よりも高いことが 分かる. すなわち, Post-LN と比較して, Pre-LN は 最初の層と最終層の出力との類似度が高い. 式 (2) のとおり，Pre-LNでは入力 $x$ が Residual Connection によってサブレイヤの $\mathscr{F}(\cdot)$ を回避しており，その 結果, 入力 $x$ が最終層の出力に直接足し込まれる. これにより勾配消失は防ぐことができるが，各層か らの出力の類似度が高くなってしまう。言い換えれ ば，Pre-LN は入力を変換する作用が Post-LNよりも 小さく，これが Pre-LNが Post-LNよりも性能が低い 原因であると考えられる.

(a) Post-LN

(b) Pre-LN

(c) B2T connection図 5 各層からの出力間のコサイン類似度.

## 5 提案手法: B2T Connection

本節では Post-LN の高い性能を維持したまま多層化する手法を提案する．多層化による勾配消失を防 ぐためには式 (4) にあるような，微分した際に勾配 を維持する項が必要である。これを満たすため，各層における最後の LN 以外の LNを回避する Residual Connection を追加する1). 図 2(c) の赤い矢印で示し たように，提案手法は各層への入力をフィードフォ ワードネットの結果へと結合する。本研究ではこれ を Bottom-to-Top (B2T) Connection と呼ぶ。詳細には 次式で表現される：

$
x_{\mathrm{inp}}+x_{\mathrm{ffn}}+\mathrm{FFN}\left(x_{\mathrm{ffn}}\right)
$

ここで $x_{\mathrm{inp}}$ は層への入力， $x_{\mathrm{ffn}}$ はフィードフォワー ドネットへの入力， $\mathrm{FFN}(\cdot)$ はフィードフォワード ネットである. つまり， $x_{\text {inp }}$ はセルフおよびエン コーダ・デコーダ間のマルチヘッドアテンション 後の LNを回避し，勾配の維持に貢献する. 実際,図 3(b) は B2T Connection が 18 層のエンコーダ・デ コーダにおいて勾配消失を防いでいることを示し ており, 図 1 に示すように学習も安定している。ま た, 図 5(c) は B2T Connection は出力間の類似度の傾向が Post-LN と似ており，層ごとの変換を Pre-LN よ りも行えることを示している。

## 6 機械翻訳での実験

系列変換タスクとして，機械翻訳タスクでの実験 を行う．要約，自動音声認識タスクについては付録 に記した。

1）各層の最後の LN も含め全ての LNを回避する Residual Connection も試してみたが，性能が大きく低下した．全ての LNを回避した場合には大力が出力に直接つながることにな り，節 4 で議論したように各層での変換作用が小さくなり， Post-LN の利点が消失するからであると考えられる.

## 6.1 データセット

機械翻訳タスクはオリジナルの Transformerを はじめ, Transformer エンコーダ・デコーダの性能 を調べるために広く使われているタスクであ る $[5,11,6,7,10]$. 本研究では広く使われている， WMT 英-独の 450 万文対を含む訓練データを用 いる $[5,11]$. 既存研究と同様, 語彙の構築には BPE [12] を用いる．性能評価には newstest2013-2016 を用いる。

## 6.2 比較手法

実験では Post-LN，Pre-LN，Post-LN に提案手法 である B2T Connectionを組み合わせたもの（B2T Connection）の比較を行う．層の数は広く使われて いる設定および多層の設定として 6 層と 18 層を採用する。中間層の次元数については Vaswani ら [5] の base 設定と同一の値とする，上記に加えて，多層 Post-LN の学習を安定化する, 下記の既存手法と比較を行う．なお，既存手法は学習を安定化させるた めに追加のパラメータおよび計算を要する。

DLCL Wang らは下層の出力の重み付き和を次 の層への入力とする, Dynamic Linear Combination of Layers（DLCL）を提案した [6]. 各層内に Residual Connection を追加する提案手法とは異なり，DLCL は各層間を接続する経路を設ける. 各出力への重み はパラメータであり学習によって適切な值を得る.

Admin 多層の Transformer の学習を安定化させ るため, Liu らは Adaptive Model Initialization (Admin) を提案した [10]. これは, 各層の出力の分散を元に 初期化したパラメータを導入することで，学習初期 での安定性を高めている。追加したパラメータを初期化するためには各層の出力が必要であるため，実際に学習を開始する前に, 複数回の前向き計算を要 する。すなわち，本手法はパラメータを追加してい ることに加え，必要とする計算量も増加している.

## 6.3 結果

表 1 に newstest2013-2016における各手法の SacreBLEU [14] ${ }^{2)}$ で計算した BLEU スコアとその平均值 を示した. 表 1 の上部は 6 層, 下部は 18 層の結果 を示している。表 1 の上部から，Pre-LN の BLEU ス コアは他の手法と比べて低いことが分かる。すなわ

2) SacreBLEU の signature は BLEU+nrefs:1+case:mixed+ eff:no+tok:13a+smooth:exp+version:2.0.0.表 1 WMT newstest2013-2016 における各手法の BLEU ス

ち，構造として Post-LNを用いた方が Pre-LNよりも 高い性能を達成している.

表 1 の下部では，18 層，すなわち，多層にした際 に素朴な Post-LN は学習が失敗していることを示し ている。具体的には図 1 に示したように，学習を続 けても性能が改善しなかった.これに対し，提案手法（B2T Connection）は学習に成功しており，また， Pre-LNよりも高い性能を達成している.これらの 結果から, Post-LN は学習が成功すれば Pre-LN より も高い性能を達成すること，提案手法は Post-LN の 利点を維持しつつ多層の学習の安定性を向上させて いることが分かる.

従来手法との比較では提案手法が同等以上の性能 を達成しており, 追加での学習パラメータや計算コ ストを要求しない点も鑑みると提案手法が優れてい ると言える. 付録に要約タスクでの比較も示した.

## 7 おわりに

本研究では Post-LN の学習の安定性向上に取り 組んだ. Post-LNを多層にした際は LNによる勾配消失のために学習が不安定になることを示し， Pre-LN と Post-LN の性能差が各層での変換の差に 起因する可能性を示した. Post-LNの利点を維持し たまま多層での学習を安定させる手法として，B2T Connection という，層内の LNを回避する Residual Connection を提案した. 系列変換タスクでの実験を 通して以下の 3 点を明らかにした. 1. Post-LN は学習が成功すれば Pre-LN よりも高い性能を達成可能 である. 2. 提案手法により多層 Post-LN の学習が安定する. 3. 提案手法は Post-LN の利点を維持したま ま学習を安定させることで，多層にした際に Pre-LN よりも高い性能を達成できる.

## 謝辞

本研究は JSPS 科研費 JP21K17800 および JST, ACT-X，JPMJAX200I の助成を受けたものです。ま た，本研究の一部（基礎研究）は JST ムーンショッ ト JPMJMS2011 の助成を受けたものです.

## 参考文献

[1] Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Proceedings of ICML, Vol. 37, pp. 448-456, 2015.

[2] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pp. 770-778, 2016.

[3] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Identity mappings in deep residual networks. In Bastian Leibe, Jiri Matas, Nicu Sebe, and Max Welling, editors, ECCV, pp. 630-645, 2016.

[4] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization, 2016.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008. 2017.

[6] Qiang Wang, Bei Li, Tong Xiao, Jingbo Zhu, Changliang Li, Derek F. Wong, and Lidia S. Chao. Learning deep transformer models for machine translation. In Proceedings of ACL, pp. 1810-1822, 2019.

[7] Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, and Tie-Yan Liu. On layer normalization in the transformer architecture. In Proceedings of ICML, pp. 10524-10533, 2020.

[8] Alexei Baevski and Michael Auli. Adaptive input representations for neural language modeling. In Proceedings of ICLR, 2019.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In NeurIPS, pp. 18771901, 2020.

[10] Liyuan Liu, Xiaodong Liu, Jianfeng Gao, Weizhu Chen, and Jiawei Han. Understanding the difficulty of training transformers. In Proceedings of EMNLP, pp. 5747-5763, 2020.

[11] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of WMT, pp. 1-9, 2018.

[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neu- ral machine translation of rare words with subword units. In Proceedings of ACL, pp. 1715-1725, 2016.

[13] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of NAACL-HLT, pp. 5767-5780, 2021.

[14] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of WMT, pp. 186-191, 2018.

[15] Alexander M. Rush, Sumit Chopra, and Jason Weston. A Neural Attention Model for Abstractive Sentence Summarization. In Proceedings of EMNLP, pp. 379-389, 2015.

[16] Courtney Napoles, Matthew Gormley, and Benjamin Van Durme. Annotated Gigaword. In Proceedings of AKBC-WEKEX, pp. 95-100, 2012.

[17] Rowan Zellers, Ari Holtzman, Hannah Rashkin, Yonatan Bisk, Ali Farhadi, Franziska Roesner, and Yejin Choi. Defending against neural fake news. In NeurIPS, pp. 90549065, 2019.

[18] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of WMT, pp. 1-61, 2019.

[19] Vassil Panayotov, Guoguo Chen, Daniel Povey, and Sanjeev Khudanpur. Librispeech: An asr corpus based on public domain audio books. In ICASSP, pp. 5206-5210, 2015 .

[20] Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Dmytro Okhonko, and Juan Pino. Fairseq S2T: Fast speech-to-text modeling with fairseq. In Proceedings of AACL-IJCNLP, pp. 33-39, 2020.

[21] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of EMNLP, pp. 66-71, 2018.
表 2 見出し文生成 [15] における各手法の ROUGE-1，2， LのF-1スコア（それぞれ R-1，R-2，R-Lとする．

表 3 LibriSpeechにおける各手法の単語誤り率.

## A 要約・自動音声認識での実験

## A. 1 データセット

生成型要約タスクは機械翻訳に並んで代表的な 系列変換タスクある. 本研究ではニュースの 1 文目を入力とし，見出し文を生成する見出し文生成 に取り組む. Rush ら [15]によって Annotated English Gigaword [16] から構築されたデータセットを用い る. 本データセットは 380 万文対の訓練データと 1951 文対のテストデータからなる. また, 既存研究 [13] にならい, REALNEWS [17] と NewsCrawl [18] か ら構築した 1300 万文対の追加の訓練データを用い る. 機械翻訳と同様，BPE で語彙の構築を行う.

加えて，言語以外のモダリティとして自動音声認識での実験を行う. 英語の音声認識で広く使われ ているデータセットとして LibriSpeech [19] を用い る. 既存研究 [20] にならい, 利用可能な全ての訓練 データを学習に用い, 開発，テストセットについて Clean と Otherの 2 種を用いる. デコーダ側の語彙 は SentencePiece [21] で構築する.

## A. 2 比較手法

要約においては機械翻訳タスクでの実験と同様,

Post-LN, Pre-LN, B2T connection, DLCL, Admin との比較を行う. 層の数は 6 層および 18 層とする.

自動音声認識では Post-LN，Pre-LN，B2T connec- tion の比較を行う. なお，従来研究 [20] はエンコー ダ側を多層にすることで性能が向上することを示 しているため，本実験ではエンコーダ側のみ多層に し，デコーダ側の層数は 6 層で固定とする. エン コーダ側の層数は 6 層および 12 層とする.

## A. 3 結果

表 2 に見出し文生成のテストデータにおける ROUGE-1，2，LのF-1 スコアを示す. 層の数が 6 層の場合には Post-LN および提案手法は Pre-LN よ りも高いスコアを達成している. 18 層の場合には Post-LN は学習に失敗してしまっているが，提案手法は学習に成功しており, Pre-LNよりも高い性能を 達成している. この結果から, 見出し文生成におい ても，学習に成功すれば Post-LN は Pre-LN よりも高 い性能を達成可能なこと，提案手法は Post-LN の利点を活かしたまま多層にした際の学習の安定性を向上させることが分かる.

既存研究である DLCL [6]，Admin [10] との比較で は， 6 層， 18 層のどちらの場合でも提案手法が高い 性能を達成している。機械翻訳タスクでの結果とあ わせると，提案手法はこれら従来手法と同等以上の 性能を達成すると言える。なお，提案手法には追加 での学習パラメータや計算コストを要求しない点を 再度強調したい。

表 3 に各手法の単語誤り率を示す. エンコーダの 層数が 6 層の場合には，機械翻訳や要約タスクと同様，Post-LN および提案手法が良い性能を達成して いる. エンコーダの層数が 12 層の場合には素朴な Post-LN は学習に失敗してしまっているが，提案手法は学習に成功しており, dev-clean を除いて Pre-LN よりも高い性能を達成している。この結果も機械翻訳や要約タスクと同様，提案手法は多層にした際の 学習の安定性を向上させること, Post-LN のように 高い性能を達成可能であることを示している。
 高瀬翔 1 清野舜 2,3 小林堸介 4,3 鈴木潤 3,2 ${ }^{1}$ 東京工業大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ 東北大学 ${ }^{4}$ Preferred Networks sho.takase@nlp.c.titech.ac.jp shun.kiyono@riken.jp sosk@preferred.jp jun.suzuki@tohoku.ac.jp  