# 学会記事
## 実験を通して既存手法を整理する 一系列変換タスクにおける摂動の効率の調査一

\author{
高瀬翔†
}

## まえがき

本稿では, NAACL2021に採択された論文 “Rethinking Perturbations in Encoder-Decoders for Fast Training" (Takase and Kiyono 2021b) について, この研究がどのように始まり，論文化にたどりついたかを紹介したい，振り返ってみれば，学習時間に対する効率に着目した論文であり，筆者が最近特に興味を持っている，パラメータ数や計算時間の効率化に関する研究 (Takase and Kobayashi 2020; Takase and Kiyono 2021a)の一端となったが，最初からその目的地が見えていた訳ではなく，そこに至るまでの顛末を述べる。論文の概要についても1節でふれるが，主としては論文の成り立ちと採択までの経緯について述べるので，研究内容を詳しく知りたい方は，上記論文か， 筆者による紹介動画 ${ }^{1}$, あるいは発表スライド2をご覧いただきたい.

## 1 研究概要

ニューラルネットワークを用いて入力文をべクトル表現にエンコードし, それに対応する文をデコードする，系列変換モデルは，機械翻訳や要約タスクにおいて，目覚ましい性能を達成している (Vaswani et al. 2017). 頑健な系列変換モデル構築のために, 入力に対して摂動と呼ばれる微小な変化を加える手法が提案されている (Bengio et al. 2015; Zhang et al. 2019; Sato et al. 2019). 例えば, Bengio et al. (2015) はデコーダの出力確率分布を元にトークンをサンプリングし，これを摂動としてデコーダの入力に用いる，スケジュールドサンプリングという手法を提案した，スケジュールドサンプリングは，これを発展させた論文 (Zhang et al. 2019) が ACL 2019 においてべストペーパーを獲得するなど3，強い注目を受けている．また，モデルの出力を悪化させる敵対的摂動も盛んに研究されている (Sato et al. 2019).

これらの研究で提案された手法は, 頑健なモデル構築を可能にすると謳われる一方, 学習に多大な時間を要する．例えば，敵対的摂動は勾配を元に計算するため，誤差逆伝播を行う必要
^{3}$ https://acl2019.org/EN/winners-of-acl-2019-best-paper-awards .xhtml.html
}

があり，摂動を用いない系列変換モデルに対し，学習に 2 倍以上の時間がかかる.このような状況を受け，我々は，これらの摂動が要する学習時間に見合う性能向上があるのだろうか，という疑問を持った。これを調査するため，語彙の一様分布を元にした単語置換や，単語ドロップアウト (Gal and Ghahramani 2016)のような，計算量の少ない摂動手法を含め，様々な夕スクで比較実験を行った。結果としては，計算量の少ない摂動手法でも敵対的摂動やスケジュー ルドサンプリングと同等以上の性能を達成可能であることが明らかとなった。すなわち，頑健な系列変換モデルを構築する際に，計算量の少ない摂動が学習時間に対し効率の良い手法である，と言える。

## 2 断念した研究

我々の研究は, 系列変換モデルにおいて，入力にノイズを混入し， モデルの頑健性を高める手法に着目している. しかしながら当初は, 系列変換モデルの出力側に着目し研究を進めていた.具体的には，正例と負例とのマージン最大化を行うニューラル言語モデル (Huang et al. 2018) の発展として, 正解系列とモデルの出力しうる誤り系列とのマージンを最大化する系列変換モデルの構築を試みていた.

ニューラル言語モデルの学習では, 文書中の単語列の出現確率, すなわち, 各単語の同時確率を最大化する。この同時確率は，ある文脈に対して，直後に出現する単語の条件付き確率を計算し, 文書全体でこの条件付き確率の積を計算することで得る。より具体的には, 単語列 $w_{1}, \ldots, w_{t}, \ldots, w_{T}$ について，下記の式を計算する.

$
p\left(w_{1: T}\right)=p\left(w_{1}\right) \prod_{t=1}^{T-1} p\left(w_{t+1} \mid w_{1: t}\right)
$

ニューラル言語モデルは上記の式によって，与えられた文の尤度を計算できる。このため,機械翻訳や自動音声認識において，回答候補の中から確からしい文を選択する際に使用される場合がある。しかしながら，上記の式を最大化するよう学習を行ったモデルは，ある文が別の文と比べて，より正解に近いかどうかを学習している訳ではないため，このような回答候補の中から確からしい文を選択する際には性能が奮わないこともある。このような状況を受けて， Huang et al. (2018)は，正解の文と，回答候補に含まれうる誤り文との，マージンを最大化するような学習を行うニューラル言語モデルを提案した。

系列変換モデルは, 式 (1) の条件部分に入力文を挿入し, 出力文の各単語に対する条件付き確率の積を計算する。すなわち，系列変換モデルは入力文を条件とした条件付きのニューラル言語モデルとみなすことができる. このため, Huang et al. (2018)の提案したマージン最大化を行うニューラル言語モデルは系列変換モデルへと素朴に拡張可能である.

ここで問題となるのが負例である. Huang et al. (2018) は負例として翻訳器の出力を用いていたが，学習時の各事例に対し系列変換モデルで最尤の出力を毎回探索していては，膨大な時間を必要としてしまう，そこで我々は，学習済みの系列変換モデルを用い，サンプリングなどを通じて様々な系列を事前に用意し，これを負例として用いた．実験を開始して早々に，要約タスクにおいて性能向上が見られたが，翻訳タスクでの実験や，訓練データの規模を変えての実験など，様々な条件での振る舞いを調査した結果，誤差の範囲に収まる程度の変化であると結論するに至り, この方向性は断念することとなった.

## 3 方針転換

マージン最大化を行うモデルの実験をしている最中に, ふと, 入力側にノイズを入れる手法が気になった. 系列変換モデルでは， スケジュールドサンプリング (Bengio et al. 2015) や敵対的摂動 (Sato et al. 2019) が効果的な手法として知られている。一方で, これらの手法を, 入力にノイズを組み込む手法と捉えれば，言語モデルで広く利用されている単語ドロップアウト (Gal and Ghahramani 2016; Takase et al. 2018) や, 一様分布・類似度を元にした単語の置換などは,実装も簡単で，素朴なべースラインと考えられるにも関わらず，系列変換モデルの論文で言及されることがほとんどないように思える 4 . 取るに足らない性能向上なので無視されているのだろうか, それとも，言及がないまま忘れ去られたのだ万うか. もし後者であれば，単語ドロップアウトや単語置換は計算量が少なく, 訓練データが大規模の場合などに利点があるかもしれない. このように考え，これらの手法を系列変換モデルに組み込み，広く利用されている，WMTの英-独データセットで実験を行った，得られた結果から，単語ドロップアウトや単語置換はどうやら性能を向上させるようである, ということが分かったため, 敵対的摂動や, スケジュールドサンプリングと, 様々なタスク, 様々な実験設定で比較を行い, 論文としてまとめるに至った.

なお，論文の共著者である清野舜氏は国際的な機械翻訳のコンペティションである WMT において, 2020 年に 1 位に輝いたチームの一員であり (Kiyono et al. 2020a), 文法誤り訂正でも極めて良いスコアを達成している (Kiyono et al. 2020b)。また, 筆者も生成型要約タスクでトップスコアを達成している (Takase and Kobayashi 2020). これらの知見を活かして比較実験を行っており，実際的な実験設定で得られた知見がまとめられた論文になっていると自負している。


## 4 荒れる査読

さて，この論文を NAACL に投稿したところ，査読者の評価が割れた．自然言語処理分野のトップ会議では, 各論文に查読者が 3 人割り当てられ, 5 点を満点として評点する. 査読者が採択すべきと推薦する，すなわち，4 以上の值を付与する査読者が多くない場合には採択が難しい状況となるが5, 本論文の評点は, $2 ， 3 ， 4$ という芳しくない状況であった ${ }^{6}$.

查読内容をよく見てみると, 評点 3 の査読者は, 論文の結論部分をほとんどそのまま写して查読としており，これは倫理違反であろう7 $、$ 残る 2 人については, 新規手法がなく, 実験結果も自明であるとして 2 をつけている查読者と, 論文から得られる知見はコミュニティの助けになるとして4をつけている査読者であった.

查読に対するレスポンス8では, 新規手法の提案が目的ではなく, 学習時間に対する効率という従来軽視されていた点に着目し，実験を通して新たな知見を得ることが目的である旨を，論文の当該記述を参照しつつ回答した。 このレスポンス後に, 評点 2 をつけた査読者は査読を書き換えており，摂動の学習時間効率に着目して議論を行った論文はないことを認めつつ，それでも著者には同意しかねる，とにかく新規性はないと結論していた9．このように逆風が吹いている状況で採択されたことは，大変ありがたく，論文の知見を評価し，新規手法がないことは問題とは思えないと提言してくたさっった査読者，内容を評価し，十分真摯にレスポンスした点を評価してくださったメタ査読者, および，プログラム委員には感謝しかない.

## 5 研究における「新規性」とは?

本論文は, 既存の研究で提案されていた手法を, 学習時間の効率に関する比較を通じて整理した論文であり，何かしら新規の手法を提案した論文ではない，少なくとも近年では，このような, 従来手法の性質や効果を, 実験を通して整理する論文は少なくない。例えば言語モデルでは， Transformer (Vaswani et al. 2017) が主流になる以前は新規のネットワーク構造を提案する論文が多かったが, Melis et al. (2018)が適切なハイパーパラメータを使用すれば, 単純な LSTM

言語モデルでも極めて良いスコアを達成可能と示した。機械翻訳においても，従来手法を適切に使用し, 適切なハイパーパラメータを設定する重要性を, Denkowski and Neubig (2017) や Sennrich and Zhang (2019) が実験を通して示している.このような従来手法の整理は，コミュニティが健全に発展し，いわゆる研究のための研究に陥らないために肝要であると筆者は考えている。研究における要件としての「新規性」とは新たに（非自明な）知見を得ることであり，新規手法の提案は何かしらの目的を達成するための手段に過ぎない. 新規手法の提案にのみ拘泥し，本来の目的を見失うことのないようと自戒を込めて記し，筆を置きたい.

## 謝 辞

本稿の執筆にあたり, 本稿で取り上げた NAACL2021 採択論文の共著者である, 清野舜さんに有益な助言をいただきました。

## 参考文献

Bengio, S., Vinyals, O., Jaitly, N., and Shazeer, N. (2015). "Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks." In Advances in Neural Information Processing Systems 28 (NIPS), pp. 1171-1179.

Denkowski, M. and Neubig, G. (2017). "Stronger Baselines for Trustable Results in Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation (WMT), pp. 18-27.

Gal, Y. and Ghahramani, Z. (2016). "A Theoretically Grounded Application of Dropout in Recurrent Neural Networks." In Advances in Neural Information Processing Systems 29 (NIPS), pp. 1019-1027.

Huang, J., Li, Y., Ping, W., and Huang, L. (2018). "Large Margin Neural Language Model." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1183-1191.

Kiyono, S., Ito, T., Konno, R., Morishita, M., and Suzuki, J. (2020a). "Tohoku-AIP-NTT at WMT 2020 News Translation Task." In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 145-155.

Kiyono, S., Suzuki, J., Mizumoto, T., and Inui, K. (2020b). "Massive Exploration of Pseudo Data for Grammatical Error Correction." IEEE/ACM Transactions on Audio, Speech, and Language Processing, 28, pp. 2134-2145.

Melis, G., Dyer, C., and Blunsom, P. (2018). "On the State of the Art of Evaluation in Neural

Language Models." In Proceedings of the 6th International Conference on Learning Representations (ICLR).

Sato, M., Suzuki, J., and Kiyono, S. (2019). "Effective Adversarial Regularization for Neural Machine Translation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 204-210.

Sennrich, R. and Zhang, B. (2019). "Revisiting Low-Resource Neural Machine Translation: A Case Study." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 211-221.

Takase, S. and Kiyono, S. (2021a). "Lessons on Parameter Sharing across Layers in Transformers." CoRR, abs/2104.06022.

Takase, S. and Kiyono, S. (2021b). "Rethinking Perturbations in Encoder-Decoders for Fast Training." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 5767-5780.

Takase, S. and Kobayashi, S. (2020). "All Word Embeddings from One Embedding." In Advances in Neural Information Processing Systems (NeurIPS), Vol. 33, pp. 3775-3785.

Takase, S., Suzuki, J., and Nagata, M. (2018). "Direct Output Connection for a High-Rank Language Model." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4599-4609.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems (NIPS), Vol. 30, pp. 5998-6008.

Zhang, W., Feng, Y., Meng, F., You, D., and Liu, Q. (2019). "Bridging the Gap between Training and Inference for Neural Machine Translation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4334-4343.

## 略歴

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了. 2020 年 4 月より東京工業大学助教. 博士 (情報科学)。言語処理学会, ACL 各会員.