# エンコーダ・デコーダの学習に効果的な摂動の調査

高瀬 翔
東京工業大学
sho.takase@nlp.c.titech.ac.jp
}

清野 舜
理化学研究所 / 東北大学
shun.kiyono@riken.jp

## 1 はじめに

機械翻訳や要約，文法誤り訂正などの系列変換夕 スクにおいて，エンコーダ・デコーダモデルは目覚 ましい性能を達成している $[1,2,3]$. ニューラルモ デルの表現力は極めて高いため，過学習を防ぐため に，ドロップアウトを始めとして，様々な正則化手法が提案されてきた [4].

ニューラルモデルの正則化のために，元々の入力 に対して，摂動と呼ばれる微小な変化を加えた事例 の使用が提案されている $[5,6]$. 学習に摂動を用い た際は，摄動を加えた事例と加えていない事例のい ずれに対しても，正確なラベルを予測するよう，モ デルを学習する．系列変換タスクにおいては，入力文内のトークンの一部を別のトークンに置換した ものと，埋め込み空間において微小なノイズを加 えたものという，2 種類の摄動事例が用いられてい る [7, 8]. 例えば Bengio ら [9] はスケジュールドサ ンプリングという，デコーダの出力確率分布を元に トークンをサンプリングし，これを摂動としてデ コーダの入力に用いる手法を提案した. Sato ら [8] は，モデルの損失を大きくする敵対的摂動をエン コーダ・デコーダの埋め込み空間に適用している。

これらの研究は提案手法によって，頑健なエン コーダ・デコーダモデルが構築できたと報告してい る. 一方で，これらの手法は摂動を計算するため に，最低一回は前向き計算を行わなければならない ため，摂動を用いず，単純にエンコーダ・デコーダ を学習する場合と比べて，学習に多大な時間を要す る. 実際，スケジュールドサンプリングにおいて は，用いる摂動の個数と同じ回数デコーダを計算し なければならない．また，敵対的事例を用いる場合 には，勾配を用いて摄動を計算するため，前向き計算に加えて，誤差逆伝播を行う必要がある $[9,8]$.

学習に多大な時間を要する性質は, 学習に要 する費用の増大につながる．例えば，Transformer (big) [10] モデルについて，広く使われている，WMT

図 1 本研究で用いる摂動の概要. 各摂動は独立なので，本図のように組み合わせることが可能.

英-独の訓練データを用い [11]，AWS のインスタン ス上で，敵対的摂動 [8] を用いて学習する場合，約 18 万円必要である．性能向上のためには，ハイパー パラメータの探索はもちろん，複数モデルを用いた アンサンブルを行うことも多々あり [12]，上記の ような摂動を用いた学習では莫大な費用がかかっ てしまう. Strubell ら [13] や Schwartz ら [14] は近年 のニューラルモデルの学習は計算量が増大してお り，計算量に比して効率的な手法を探る必要を示唆 した. 例えば，Li ら [15] は定められた時間の中で， もっとも良いモデルを得る戦略を調査している。し かしながら，摂動を用いた学習については，注意が 払われていない。

そこで本研究では，摂動を用いたエンコーダ・デ コーダの学習において，時間的に効率の良い手法を 探る. 単語ドロップアウト [16] やランダムに入力 トークンを置換して摂動事例とする手法のように，計算量の小さな手法も含めて比較を行う．このよう な計算量の小さな手法は，既存研究においてはべー スラインとして用いられていることもあるが [9],多大な計算時間を要する手法 $[9,8]$ と比較して，短 い時間で同等の性能を達成できる，すなわち，時間的効率が良いことが実験を通して明らかになった。

## 2 エンコーダ・デコーダ

本研究ではエンコーダ・デコーダを用いて，機械翻訳のような系列変換タスクに取り組む。本節では

エンコーダ・デコーダの定義を概説する。

系列変換タスクでは，エンコーダ・デコーダは入力系列に対応した系列を生成する. 長さ $I$ の入力 トークン列および長さ $J$ の出力トークン列をそれぞ れ $\boldsymbol{x}_{1: I}, \boldsymbol{y}_{1: J}$ とすると, エンコーダ・デコーダは次 の条件付き確率を計算する：

$
p(\boldsymbol{Y} \mid \boldsymbol{X})=\prod_{j=1}^{J+1} p\left(y_{j} \mid \boldsymbol{y}_{0: j-1}, \boldsymbol{X}\right)
$

ここで， $y_{0}$ おび $y_{J+1}$ はそれぞれ文頭，文末を示す 特殊なトークンとし, $X=x_{1: I}, Y=y_{1: J+1}$ とする.

学習においては，訓練データにおける負の対数尤度を最小化するパラメータ $\boldsymbol{\theta}$ を探す. $\boldsymbol{X}_{n}$ と $\boldsymbol{Y}_{n}$ とい う，対応する系列のペアを含む訓練データを $D$ と する, すなわち, $\mathscr{D}=\left.\{\left(\boldsymbol{X}_{n}, \boldsymbol{Y}_{n}\right)\right.\}_{n=1}^{|D|}$ とすると，次の 損失関数を最小化するように学習を行う.

$
\mathscr{L}(\boldsymbol{\theta})=-\frac{1}{|\mathscr{D}|} \sum_{(\boldsymbol{X}, \boldsymbol{Y}) \in \mathscr{D}} \log p(\boldsymbol{Y} \mid \boldsymbol{X} ; \boldsymbol{\theta})
$

## 3 摂動

本節では，本研究で用いる，置換，単語ドロップ アウト，敵対的摂動の 3 種類の摄動を概説する. 図 1 に示したように，これらの摂動は独立な手法なの で，組み合わせることも可能であり，実際に，実験 では置換と単語ドロップアウトの組み合わせも用 いる.

## 3.1 置換

スケジュールドサンプリング [9] のように，本来 の入力トークンをサンプリングしたトークンに置き 換える手法を，本研究では置換と呼ぶ. 置換では,入力系列 $\boldsymbol{X}$ 内のトークン $x_{i}$ について，ある分布 $Q_{x_{i}}$ からサンプリングしたトークン $\hat{x}_{i}$ と確率 $\alpha$ で置き 換えることで，新たな入力系列 $\boldsymbol{X}^{\prime}$ を構築する。

$
\begin{aligned}
\hat{x}_{i} & \sim Q_{x_{i}}, \\
x_{i}^{\prime} & = \begin{cases}x_{i} & \text { 確率 } \alpha \\
\hat{x}_{i} & \text { 確率 } 1-\alpha .\end{cases}
\end{aligned}
$

同様にして，Y から $\boldsymbol{Y}^{\prime}$ を構築する.

Bengio ら [9] はカリキュラム学習の発想で, 学習 が進むにつれ，徐々に $\alpha$ が減少するような関数を 用いた.この関数により, 学習初期では正しい入力 トークンを頻繁に用い，学習後期ではサンプリング したトークンを頻繁に用いるようになる. 本研究で
も同様な関数を用いて $\alpha$ の計算を行う.

$
\alpha_{t}=\max \left(q, \frac{k}{k+\exp \left(\frac{t}{k}\right)}\right)
$

ここで $q$ と $k$ はハイパーパラメータである. 上記 の式により， $\alpha_{t}$ は 1 から $q$ まで，学習ステップ $t$ に 依存して減少していく.この $\alpha_{t}$ を各ステップにお ける $\alpha$ として用いる.

分布 $Q_{x_{i}}$ については, 条件付き確率, 一様分布,類似度の 3 種類を用いる。

条件付き確率： $\operatorname{REP}(\mathbf{S S})$ Bengio ら [9] は訓練時と 推論時における差異に対処するため，スケジュール ドサンプリングを提案した. スケジュールドサンプ リングは次の条件付き確率を $Q_{y_{i}}$ として用いる.

$
p\left(\hat{y}_{i} \mid \boldsymbol{y}_{0: i-1}^{\prime}, \boldsymbol{X}\right)
$

スケジュールドサンプリングはデコーダ側の摄動を 計算する手法であり， $Q_{x_{i}}$ に対応する関数はなく, エンコーダ側の入力については手を加えない.

元来のスケジュールドサンプリングはデコーダ側 のトークン数分デコーダの前向き計算を行う必要が あり，デコーダ側の入力系列長に比例した計算時間 を要する。これに対処するため，Duckworth ら [17] はデコーダ側の全入力に対応する条件付き確率を 1 度に計算してしまう，並列化したスケジュールドサ ンプリングを提案した.この並列化したスケジュー ルドサンプリングは時間的効率が良いと報告されて いるため，本研究ではこれを用いる。

一様分布：REP(UNI) 並列化したスケジュールドサ ンプリングを用いたとしても，式（6）を計算する ために，最低 1 回はデコーダの前向き計算を行わな ければならない．より時間的効率の良い摂動を探る ために, 本研究では一様分布と類似度という 2 種類 の高速な摂動の計算手法との比較を行う。一様分布 （ReP(UnI)）はその名の通り，各語彙における一様分布を $Q_{x_{i}}$ や $Q_{y_{i}}$ として用いる. 例えばエンコーダ側 の摂動事例を得るために，エンコーダ側の語彙から ランダムに 1 つサンプリングし, 式 (4) の $\hat{x}_{i}$ とし て用いる. 本手法は既存研究においてべースライン としても用いられている手法である [9].

類似度： $\boldsymbol{R E P}($ SIM) 式 (6) の条件付き確率は, 元々 の入力トークンに似たトークンに対して高い確率を 付与していると考えられる. このため，一様分布よ りも摂動として適したトークンを得る手法として，似たトークンに高い確率を付与している分布を考え る. エンコーダ側の語彙を $\mathscr{V}_{x}$, エンコーダ側の埋

め込み表現（次元数は $d_{x}$ ）を $\boldsymbol{E}_{x} \in \mathbb{R}^{\left|\mathscr{V}_{x}\right| x d_{x}}$ ，トーク ン $x_{i}$ に対応する埋め込み表現を $\boldsymbol{e}\left(x_{i}\right)$ と表すとした とき，次の確率分布を $Q_{x_{i}}$ として用いる.

$
\operatorname{softmax}\left(\boldsymbol{E}_{x} \boldsymbol{e}\left(x_{i}\right)\right),
$

ここで， $\operatorname{softmax}($.$) はソフトマックス関数である.$ すなわち，式（7）は $\boldsymbol{e}\left(x_{i}\right)$ に似た埋め込み表現に高 い確率を付与する。言い換えれば，式（7）は文脈を 考慮していない場合の， $x_{i}$ の類似トークンに高い確率を付与する。デコーダ側についても， $\boldsymbol{e}\left(y_{i}\right)$ を用 いて同様に計算する。

## 3.2 単語ドロップアウト：WDROP

単語ドロップアウトは入力トークン $x_{i}$ について, ランダムに，埋め込み表現 $\boldsymbol{e}\left(x_{i}\right)$ の代わりに，ゼロ ベクトルを摂動として用いる [16].

$
\begin{aligned}
b_{x_{i}} & \sim \operatorname{Bernoulli}(\beta), \\
\operatorname{WDrop}\left(x_{i}, b_{x_{i}}\right) & =b_{x_{i}} \boldsymbol{e}\left(x_{i}\right),
\end{aligned}
$

ここで， $\operatorname{Bernoulli}(\beta)$ は確率 $\beta$ で 1 を返し，それ以外に 0 を返す関数である。すなわち, $\operatorname{WDrop}\left(x_{i}, b_{x_{i}}\right)$ は $\beta$ で $\boldsymbol{e}\left(x_{i}\right)$ を，それ以外にゼロベクトルを返す関数である. 式（9）を入力系列の各トークンに適用 し，得られた系列を摂動事例として用いる。

## 3.3 敵対的摂動：ADV

Miyato ら [6] は埋め込み空間において敵対的摄動 を計算する手法を提案した。この手法では，元々の 入力トークンを別のものと置き換えるのではなく，入力トークンの埋め込み表現に敵対的摄動を加え る. Sato ら [8] は本手法をエンコーダ・デコーダに 適用し，性能向上を報告しており，本研究はこれに ならって敵対的摂動を計算する。

敵対的摄動，すなわち，損失の値に深刻な悪影響を及ぼす摂動は損失関数 $\mathscr{L}(\boldsymbol{\theta})$ の勾配を元に計算する. 入力トークン $x_{i}$ についての敵対的摄動を $\boldsymbol{r}_{x_{i}} \in \mathbb{R}^{d_{x}}$ としたとき, 敵対的摂動を適用した埋め込 み表現 $\boldsymbol{e}^{\prime}\left(x_{i}\right)$ は次式で計算する。

$
\begin{aligned}
\boldsymbol{e}^{\prime}\left(x_{i}\right) & =\boldsymbol{e}\left(x_{i}\right)+\boldsymbol{r}_{x_{i}} \\
\boldsymbol{r}_{x_{i}} & =\epsilon \frac{\boldsymbol{c}_{x_{i}}}{\left.\|\boldsymbol{c}_{x_{i}}\right.\|} \\
\boldsymbol{c}_{x_{i}} & =\nabla_{\boldsymbol{e}\left(x_{i}\right)} \mathscr{L}(\boldsymbol{\theta})
\end{aligned}
$

ここで， $\epsilon$ は敵対的摄動のノルムを調整するハイ パーパラメータである. この式を入力系列のすべて のトークンに適用することで，摄動事例を得る.

## 3.4 学習

置換や単語ドロップアウトを用いた場合の学習と しては，摄動事例から正しい系列を予測するよう学習する。例えば，置換を用いた際は，次の負の対数尤度を最小化する。

$
\begin{aligned}
\mathscr{L}^{\prime}(\boldsymbol{\theta}) & =-\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \log p\left(\boldsymbol{Y} \mid \boldsymbol{X}^{\prime}, \boldsymbol{Y}^{\prime} ; \boldsymbol{\theta}\right), \\
& =-\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \sum_{j=1}^{J+1} \log p\left(y_{j} \mid \boldsymbol{y}_{0: j-1}^{\prime}, \boldsymbol{X}^{\prime} ; \boldsymbol{\theta}\right) .
\end{aligned}
$

敵対的摄動を用いた場合には，既存研究になら い $[18,8]$ ，一度行った前向き計算を利用し，元の損失関数と敵対的摂動を用いて計算した損失 $\mathscr{A}(\boldsymbol{\theta})$ の 合計を最小化する。

$
\mathscr{F}(\boldsymbol{\theta})=\mathscr{L}(\boldsymbol{\theta})+\lambda \mathscr{A}(\boldsymbol{\theta}),
$

ここで， $\lambda$ はつの損失関数を釣り合わせるための ハイパーパラメータである. $\mathscr{A}(\boldsymbol{\theta})$ としては，元の入力に対する出力確率分布を正例とする。すなわち，

$
\mathscr{A}(\boldsymbol{\theta})=\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \operatorname{KL}(p(\cdot \mid \boldsymbol{X} ; \boldsymbol{\theta}) \| p(\cdot \mid \boldsymbol{X}, \boldsymbol{r} ; \boldsymbol{\theta})),
$

ここで， $\boldsymbol{r}$ は各入力トークンに対する敵対的摂動を つなぎ合わせたべクトルとし，KL($\cdot$\|$\cdot$) はカルバッ ク・ライブラー情報量とする.

## 4 機械翻訳における実験

系列変換における代表的なタスクとして，翻訳タ スクでの実験を行う1)，広く使用されているデータ セットとして，WMT 英-独データセットを用いる。具体的には，Ott ら [11] と同じ前処理を行った，450 万文対を訓練データとして用い，newstest2010-2016 で性能を評価する。性能評価には，SacreBLEU [19] を用いて BLEU を計算する。

エンコーダ・デコーダとしては Transformer [10] の big 設定を用いる. 実装は fairseqを元に行っ $た^{2)}$. 各ハイパーパラメータについては, $q=0.9$, $k=1000, \beta=0.9$ とし， ADv については，既存研究 [8] と同じ値を使用した. 学習ステップ数は全て の手法で 50,000とした.

## 4.1 結果

摄動なしの Transformer（w/o perturbation）および 各摄動を用いた際の BLEU 値を表 1 に示す。なお，


2) https://github.com/pytorch/fairseq
表 1 newstest2010-2016での BLEU 値，それらの平均値，摂動なしの Transformer 基準とした際の各手法での計算速度.

 & 24.22 & 22.11 & 22.69 & 26.60 & 28.46 & 30.50 & 33.58 & 26.88 & $\times 1.00$ \\

(a) NLL

(b) BLEU

(c) 摂動なしの Transformer の BLEU値に到達するまでの時間

図 2 newstest 2013 での負の対数尤度（NLL），BLEU 値，摂動なしの Transformer の BLEU 值に到達するまでの時間.

表 1 に記したように，デコーダ側の摂動計算手法で ある $\operatorname{ReP}(\mathrm{SS})$ 以外はエンコーダ側，デコーダ側の両方に摂動を適用した．BLEU 值に加えて，表 1 は摂動なしの Transformerを基準とし，各摂動を用いた 際の計算速度を示している. また，高速な手法であ る WDroP， $\operatorname{Rep}(\mathrm{UnI}), \operatorname{Rep}(\operatorname{Sim})$ については，組み合 わせた際の結果も記した。

まず，摄動なしの Transformer は newstest 2014 に おいて, 28.46 と既存研究 [10] と同程度の BLEU 值 を達成しており，強いべースラインとみなして良い と考えられる．BLEU の平均値において，摂動を用 いた全ての手法が摂動なしの場合よりも高い値を達成しており，攝動を用いることで，エンコーダ・デ コーダの性能が向上することが分かる. 加えて, 素朴な手法である WDROP, $\operatorname{Rep}\left(\mathrm{UnI}^{2}\right), \operatorname{ReP}\left(\mathrm{Sim}_{\mathrm{Im}}\right)$, およ びその組み合わせは，既存研究で優れているとされ ていた Adv や ReP(SS) に対し $[9,8]$, 計算速度も速 く，BLEU 值でも上回っている.

図 2 は訓練時間に対する, 各手法での newstest 2013 における負の対数尤度 (a)，BLEU 値 (b)，お よび，摂動なしの Transformer の学習修了時の BLEU 値に到達するまでの時間（c）を示している，図 (a) (b) より, 学習の早い段階で, WDROP, $\operatorname{REP}(U N I)$, $\operatorname{REP(SIM)}$ は摂動なしの Transformer よりも良い負の 対数尤度と BLEU 值に到達していることが分かる。 さらに, 図の（c）から，これらの手法は摂動なしの Transformer 最終的な BLEU 值を, REP(SS) や ADv,摂動なしの場合よりも高速に達成していることが分 かり，特に，ADvよりも2 倍高速である。これらの 結果から, WDROP, $\operatorname{REP}(\mathrm{UnI}), \operatorname{ReP}(\operatorname{Sim})$ およびその 組み合わせは，時間的効率の良い摂動と言える。

## 5 おわりに

本研究では，エンコーダ・デコーダに様々な摂動 を適用し，系列変換タスクにおいて，時間的効率の 良い摄動を調査した。既存研究では，スケジュール ドサンプリングや敵対的摄動の有用性が報告されて いたが $[9,20,8]$, 本研究の設定においては, 単語ド ロップアウト [16] のような単純な手法がこれらと同等の性能を高速に達成可能であることを示した. こ の結果から，エンコーダ・デコーダに摂動を適用す る際は，まずは単純な手法を試すことを勧めたい。実際に頑健なモデルを構築するため，摄動を選択す る際に，また，これからの摂動に関する研究の実験的な比較において，本研究が一助となれば幸いで ある.

## 参考文献

[1]Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to Sequence Learning with Neural Networks. In Advances in Neural Information Processing Systems 27 (NIPS), pp. 3104-3112, 2014.

[2]Alexander M. Rush, Sumit Chopra, and Jason Weston. A Neural Attention Model for Abstractive Sentence Summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 379-389, 2015.

[3]Jianshu Ji, Qinlong Wang, Kristina Toutanova, Yongen Gong, Steven Truong, and Jianfeng Gao. A nested attention neural hybrid model for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 753-762, 2017

[4]Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research (JMLR), Vol. 15, No. 56, pp. 1929-1958, 2014.

[5]Ian Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. In Proceedings of the $3 \mathrm{rd}$ International Conference on Learning Representations (ICLR), 2015.

[6]Takeru Miyato, Andrew M. Dai, and Ian Goodfellow. Adversarial training methods for semi-supervised text classification. In Proceedings of the 5th International Conference on Learning Representations (ICLR), 2017.

[7]Yong Cheng, Lu Jiang, and Wolfgang Macherey. Robust neural machine translation with doubly adversarial inputs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4324-4333, 2019.

[8]Motoki Sato, Jun Suzuki, and Shun Kiyono. Effective adversarial regularization for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 204-210, 2019.

[9]Samy Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In Advances in Neural Information Processing Systems 28 (NIPS), pp. 1171-1179. 2015

[10]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008. 2017.

[11]Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of the Third Conference on Machine Translation (WMT), pp. 1-9, 2018.

[12]Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (WMT), pp. 1-61, 2019.

[13]Emma Strubell, Ananya Ganesh, and Andrew McCallum. Energy and policy considerations for deep learning in NLP. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3645-3650, 2019.

[14]Roy Schwartz, Jesse Dodge, Noah A. Smith, and Oren Etzioni. Green AI. CoRR, Vol. abs/1907.10597, , 2019.

[15]Zhuohan Li, Eric Wallace, Sheng Shen, Kevin Lin, Kurt Keutzer, Dan Klein, and Joseph E. Gonzalez. Train large, then compress: Rethinking model size for efficient training and inference of transformers. In Proceedings of the 37th International Conference on Machine Learning (ICML), pp. 11432-11442, 2020.

[16]Yarin Gal and Zoubin Ghahramani. A theoretically grounded application of dropout in recurrent neural networks. In Advances in Neural
Information Processing Systems 29 (NIPS), pp. 1019-1027. 2016.

[17]Daniel Duckworth, Arvind Neelakantan, Ben Goodrich, Lukasz Kaiser, and Samy Bengio. Parallel scheduled sampling. CoRR, 2019.

[18]Takeru Miyato, Shin ichi Maeda, Masanori Koyama, Ken Nakae, and Shin Ishii. Distributional smoothing with virtual adversarial training. In Proceedings of the 4th International Conference on Learning Representations (ICLR), 2016.

[19]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation (WMT),pp. 186-191, 2018.

[20]Wen Zhang, Yang Feng, Fandong Meng, Di You, and Qun Liu. Bridging the gap between training and inference for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4334-4343, 2019.

[21]Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, and Kentaro Inui. Massive exploration of pseudo data for grammatical error correction. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2134-2145, 2020.

[22]Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[23]Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 Shared Task on Grammatical Error Correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning (CoNLL), pp. 1-14, 2014.

[24]Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments. In Proceedings of the 26th International Conference on Computational Linguistics (COLING), pp. 825-835, 2016.

[25]Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 568-572, 2012.

[26]Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. Unified language model pre-training for natural language understanding and generation. In Advances in Neural Information Processing Systems (NeurIPS), pp. 13063-13075, 2019.

[27]Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. Mass: Masked sequence to sequence pre-training for language generation. In International Conference on Machine Learning (ICML), pp. 59265936, 2019.

[28]Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. Pegasus: Pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning (ICML), 2020.

[29]Weizhen Qi, Yu Yan, Yeyun Gong, Dayiheng Liu, Nan Duan, Jiusheng Chen, Ruofei Zhang, and Ming Zhou. ProphetNet: Predicting future n-gram for sequence-to-SequencePre-training. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2401-2410.

[30]Courtney Napoles, Matthew Gormley, and Benjamin Van Durme. Annotated Gigaword. In Proceedings of the Joint Workshop on Automatic Knowledge Base Construction and Web-scale Knowledge Extraction (AKBC-WEKEX), pp. 95-100, 2012.

[31]Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT), pp. 3999-4004, 2019.

[32]Rowan Zellers, Ari Holtzman, Hannah Rashkin, Yonatan Bisk, Ali Farhadi, Franziska Roesner, and Yejin Choi. Defending against neural fake news. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems (NeurIPS), pp. 9054-9065, 2019.
表 2 各手法の $\mathrm{F}_{0.5}$. また，摄動なしと同一の設定とし て，Kiyono ら [21] の報告値を掲載した.

## A 文法誤り訂正における実験

系列変換タスクとして，文法誤り訂正と生成的要約タスクでの実験を行う，文法誤り訂正の評価 データとしては，広く用いられている，BEAデータ セットの開発データとテストデータ [22]，および， CoNLL-2014 のテストデータ（CoNLL） [23]を用い る. BEA については ERRANT [24] で計算した $\mathrm{F}_{0.5}$, CoNLL については $M^{2}$ [25] を評価に用いる.

既存研究 [21] にならい，疑似パラレルコーパス でエンコーダ・デコーダ（Transformer）を学習した 後，摂動を用いたファインチューニングを BEA の 訓練データ上で行う．各ハイパーパラメータについ ては，4節と同様の值を用いた。

## A. 1 結果

表 2 に各手法での結果を示す.これらのスコア は，5つの異なるランダムシードを用いてファイ ンチューニングを行い，その平均值である。加え て，本表には摂動なしと同一の設定として，Kiyono ら [21] の報告値を記している3).

表 2 より，BEA テストデータ（テスト）におけ る $\operatorname{REP}\left(\mathrm{UnI}_{\mathrm{NI})}\right.$ と $\operatorname{ReP}\left(\mathrm{SIm}_{\mathrm{Im}}\right)$ を除き，摂動を用いる全て の手法が摂動なしのスコアを上回っていることが 分かる。機械翻訳における実験と同様に，WDROP， およびこれと $\operatorname{ReP}(\mathrm{UNI}), \operatorname{ReP}(\mathrm{SIM})$ の組み合わせが ADv と同等の性能を達成している. これらの手法は $\operatorname{ReP}(\mathrm{SS})$ や ADv よりも計算が高速であることから，文法誤り訂正タスクにおいても，時間的な効率の良 い手法であると言える.

## B 生成的要約における実験

生成的要約の評価データとして，広く用いられ ている, Annotated English Gigaword から抽出された,

3）表 2 の摂動なしの結果は Kiyono ら [21] と比べて僅かに低い が，これは学習におけるランダム性によるものと考えられる.表 3 Annotated English Gigaword テストデータにおける，各手法の ROUGE-1，2，L の $\mathrm{F}_{1}$ 值（R-1，R-2，R-L). 本表の下の部分は近年の研究における報告値である.

1951 の文と要約（正確には見出し文）のぺアからな るテストデータ $[30,2]$ を用いる.

訓練データとしては，既存研究 $[2,31]$ にならい， Annotated English Gigaword から抽出した 380 万の文 と要約のペアを用いる。また，近年の生成的要約タ スクでは，大規模コーパスで事前学習したエンコー ダ・デコーダを用いることも多く [26, 27, 28, 29], これらの研究にならい, REALNEWS [32] と News Crawl [12] から文と要約のペアを抽出し，訓練デー タとした。合計で，1700万の文と要約ペアを訓練 データに用いた. 機械翻訳, 文法誤り訂正と同様, エンコーダ・デコーダには Transformer [10] を用い, ハイパーパラメータについては 4 節と同じ値を用い た.なお，敵対的摂動については，勾配が爆発して しまい，学習を安定させることができなかった. ラ ンダムシードを変更して何度か学習を行ったが全て 発散してしまい，また，ハイパーパラメータの探索 を行うことも予算の都合上難しかったため，本実験 においては，敵対的摂動は除くこととする。

## B. 1 結果

表 3 に Annotated English Gigaword テストデータに おける，各手法の ROUGE-1，2，Lの $\mathrm{F}_{1}$ 值，および，近年の研究における報告値を示した $[26,27,28,29]$.表 3 より，機械翻訳や文法誤り訂正での結果と同じ く，摂動を用いた全ての手法が摂動なしのスコア を上回っていることが分かる. WDROP, $\operatorname{ReP}\left(U_{N I}\right)$, $\operatorname{REP}(\operatorname{Sim})$ ，およびその組み合わせは $\operatorname{ReP}(\mathrm{SS})$ よりも 高い ROUGE 值を達成している. これらは計算速度 も高速であることから，生成的要約タスクにおいて も，時間的効率の良い手法であることが伺える，加 えて, $\operatorname{ReP}\left(\mathrm{UNI}^{2}\right)$ と WDROP はそれぞれ, ROUGE-1 と L，ROUGE-2 において，現状のトップスコア [29] りも高い値を達成している。
 高瀬 翔 東京工業大学 sho.takase@nlp.c.titech.ac.jp }  清野 舜 理化学研究所 / 東北大学 shun.kiyono@riken.jp  