# 「SHAPE: Shifted Absolute Position Embedding for Transformers」の研究を通して

清野舜 ${ }^{\dagger, \dagger \dagger}$

はじめに

本稿では, EMNLP2021に採択された論文 “SHAPE: Shifted Absolute Position Embedding for Transformers" (Kiyono et al. 2021) について，研究の概要に触れた後，着想に至った経緯や論文化できた要因を振り返りたい。「Transformer の位置表現の改良」という非常に競争的な分野に おいて，論文採択にこぎつけるための原動力となったこれまでの泥臭い取り組みの紹介も合わ せて楽しんでもらえれば幸いである.
## 研究の概要

本研究では Transformer の外插能力を題材として, 高速かつ汎化性能の高い位置表現手法の開発に取り組んだ。ここで外挿能力とは，訓練データ中に登場しない未知の長さの系列をモデル化する能力のことを指す。単純には，訓練データよりも長い系列をモデルに与えた場合の性能を通して外插能力を評価することができる。図 1 に本研究の概要図を示す.

通常, Transformer (Vaswani et al. 2017) では絶対位置表現 (Absolute Position Embedding; APE) が用いられている。絶対位置表現では, 系列中の各単語に対して専用の位置ベクトルを付与し, 単語埋め込みとの和を取ることによって位置を表現する，絶対位置表現は，その単純さゆえに非常に高速に動作する一方で，外挿が困難であることが知られている．具体的には，推論時に全訓練データよりも長い系列が与えられた場合, 系列中には未知の（訓練中に観測されていない）位置が発生する。これは未知の位置ベクトルとして作用し，外挿を困難にしてしまう。 Transformerの絶対位置表現においては, 正弦波と余弦波の組み合わせによって位置べクトルを表現することが多い。これは波の周期性を利用することで未知の位置ベクトルの悪影響を緩和しようとする試みだが，問題の完全な解決には至っていない.

未知の位置ベクトル問題の解決に向けて, 近年では相対位置表現 (Relative Position Embedding; RPE) の研究が盛んに行われている (Shaw et al. 2018; Raffel et al. 2020). 通常, 相


$\dagger$ 東北大学

図 1 本研究の対象とする位置表現手法の概要図

対位置表現では系列中の単語間の相対距離を, Transformer 内部の注意機構における追加の特徴量として利用することで位置を表現する。同じ Transformerであっても，絶対位置よりも相対位置を用いた場合のほうが外挿能力が高いことが報告されている (Neishi and Yoshinaga 2019). これは，相対位置表現がシフト不変性 1 を実現し，位置情報に対する汎化を容易にしていること， また，モデルの内部で絶対位置を明に扱わないため，未知の位置べクトル問題が原理的に生じないことが原因だと考えられる。一方で，相対位置表現も万能な手法ではない．例えば，注意機構に新たに特徴量を追加する性質上, 注意機構の軽量化を目指す一連の方法論 (Tay et al. 2020) との組み合わせが困難であるだけではなく，絶対位置表現よりもモデルの計算時間が長くなってしまう。

これらの背景をもとに，本研究では，絶対位置表現の枠組みを用いることで計算速度を担保しつつ，相対位置表現の利点を享受することを目指した。具体的には，相対位置表現の実現しているシフト不変性を，絶対位置表現の枠組みで実現することに取り組んだ。提案手法の Shifted Absolute Position Embedding (SHAPE) では, Transformer の学習中, ミニバッチに含まれる各系列の位置インデックスを乱数でシフトさせる。これにより，モデルは絶対位置を利用した学習が困難になるため，相対位置を利用した学習が行われると期待できる。機械翻訳を題材とした実験では，SHAPEは相対位置表現と同等の外插能力を有しつつ，絶対位置表現とほとんど同等の速度で動作することが確認できた。


## 着想

本研究の着想を得たのは, 2021 年 2 月頃, 研究室のチャットッール上で共有された Neishi らの論文 (Neishi and Yoshinaga 2019)を読んだときのことだった. Neishi らは，絶対位置表現を使う場合, Transformer の外挿能力は RNN ベースのモデルを下回ること, また, Transformer が位置情報に過学習してしまうことがその原因であると報告していた。 入力系列の長さに応じてモデル間の性能の優劣が入れ替わるという知見は示唆に富むもので，外挿能力の研究に興味を持つきっかけとなった。同論文中では，RNN ゙ースの軽量な計算機構を Transformer に追加することで相対位置表現を実現できることや，その高い効果が示されていた。このとき，追加の計算機構を用意するという提案手法を複雑に感じ，論文中の知見をよりシンプルに活用できないだろうかと考えたのが, 本研究の着想を得るきっかけとなった. より具体的には, 仮に絶対位置表現において位置に対する過学習が問題となるのであれば，学習中に正則化を取り入れることで過学習を抑制し，外挿性能を改善できるのではないか，という素朴なアイデアが芽生えた. 結果的に，正則化というアイデアはSHAPEにおける乱数を用いたシフト操作として実現されている.

## 論文執筆

提案手法 (SHAPE) はその単純さゆえに数行で実装可能であったため, 実装にそれほど時間はかからなかった2．手元のべースラインシステムに提案手法を組み合わせて，絶対位置表現からの外挿能力の向上を確認し，既存の位置表現手法との性能比較などを行った上で，論文執筆に取り組んだ．EMNLP に投稿した論文は手法の単純さとその効果が評価され，無事に採択されるに至った。

## 熾烈な競争

Transformer において位置をどのように表現するか. この問いをめぐっては，世界中の研究グループが嬂烈な競争を繰り広げている。例えば，位置表現のサーベイ論文 (Dufter et al. 2021) には 40 本以上の研究がまとめられているほか $3, \quad$ arXivには位置表現の新規手法を提案する論文が毎週のように登場している，実際，查読中には提案手法とほとんど同等の手法を提案しつつ，言語だけではなく複数のモーダルで実験した論文 (Likhomanenko et al. 2021) が登場し, ひ


どく胃を痛めることとなった ${ }^{4}$. また, 今回の EMNLP では位置表現に取り組んだ研究が，本研究の他に少なくとも 5 本採択されている 5 . 故に，仮に EMNLP に投稿できなかった場合，または不採択になっていた場合は, 本研究はお蔵入りになっていた可能性が非常に高い.

## アイデアを高速に実装・論文化する

本記事の締めくくりとして，この競争的な分野で短期間の間に論文採択に至ることができた要因を振り返ってみたい.

いま，成功の方程式（成功回数 $=$ 試行回数 $\times$ 成功率）(賀沢 2012)に基ついいて，論文採択を 「成功」として位置づけることにすると，今回の成功は「試行回数」の項をうまく増やすことができた結果であると考えられる，具体的には，実装にかかる時間や，一回の実験にかかる時間を短く抑えるための技術を身につけていたことで，大量の実験を回す（つまり，試行回数を増やす）ことができたのが，ポジティブに作用した，例えば，筆者はニューラル機械翻訳モデルを日常的に訓練していたため, 実験に用いるデータセットやフレームワークの選定に時間を要することなく, 強力なべースラインを高速に構築することができた. また, 複数枚の GPU を活用できる実験環境を整備しておくことで，百枚以上の GPUで並列に実験を回し，効率的に仮説検証を行うことができた。その結果，限られた時間で実験をまとめあげ，論文執筆に十分な時間を割くことができた6

試行回数増加の要因として, 論文化されることなくお蔵入りになっている大量の研究テーマたちの存在も無視できない。これまで, Transformer の改良にはじまり, スパン単位の情報を用いたデータ拡張, より良い事前訓練済み言語モデルの構築や機械翻訳モデルの文レベルのドメイン適応など, 様々な研究に取り組み, そして全てに失敗してきた。それぞれの研究テーマは,論文という形で花開くことはなかった。しかし, その都度各テーマに全力で取り組んできたことが，先述の各種技術の習得や環境の構築に繋がっており，自分の血肉として役立ったことは間違いない，今回の論文採択は，成功を掴むために試行を回し続けること，また，失敗を通して試行自体を更に増やしていく営みの重要さを内省する良い機会となった。筆者の一連の取り組みが，研究の遂行に悩む誰かの助けとなれば幸いである。
^{6} 5 / 17$ 締め切りのところ, 5/5 の時点で投稿可能な状態の原稿が完成していたようである. 残りの時間は全て原稿のクオリティ向上に注ぎ込まれた.
}

## 参考文献

Dufter, P., Schmitt, M., and Schütze, H. (2021). "Position Information in Transformers: An Overview." In arXiv preprint arXiv:2102.11090.

賀沢秀人 (2012). 成功の方程式. 自然言語処理, 19 (1), pp. 1-2. [H. Kazawa (2012). Seiko no Hoteishiki. Journal of Natural Language Processing, 19 (1), pp. 1-2.].

Kiyono, S., Kobayashi, S., Suzuki, J., and Inui, K. (2021). "SHAPE: Shifted Absolute Position Embedding for Transformers." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3309-3321, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

Likhomanenko, T., Xu, Q., Synnaeve, G., Collobert, R., and Rogozhnikov, A. (2021). "CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings." In $A d$ vances in Neural Information Processing Systems, Vol. 34.

Neishi, M. and Yoshinaga, N. (2019). "On the Relation between Position Information and Sentence Length in Neural Machine Translation." In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL 2019), pp. 328-338.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research (JMLR), 21 (140), pp. 1-67.

Shaw, P., Uszkoreit, J., and Vaswani, A. (2018). "Self-Attention with Relative Position Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) (NAACL 2018), pp. 464-468.

Tay, Y., Dehghani, M., Bahri, D., and Metzler, D. (2020). "Efficient Transformers: A Survey." In arXiv preprint arXiv:2009.06732.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Advances in Neural Information Processing Systems 30 (NIPS 2017), pp. 5998-6008.

## 略歴

清野舜：2017 年東北大学工学部卒業. 2019 年東北大学大学院情報科学研究科博士前期課程修了. 2019 年 4 月より理化学研究所革新知能統合研究センター。また, 2020 年 10 月より東北大学大学院情報科学研究科博士後期課程学生. 言語処理学会, ACL 各会員.