# 海馬の記憶インデックスに着想を得たリプレイによる 言語処理タスクの継続学習

前川在 上垣外英剛 船越孝太郎 奥村学
東京工業大学
\{maekawa, kamigaito, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

継続学習は過去に学習したタスクへの破滅的忘却 を防ぎつつ新しいタスクを学習することを目的と する. その手法の一つである生成的リプレイは過去 のタスクのデータを生成モデルにより生成し，新し いタスクのデータに加えることで破滅的忘却を防 ぐ.しかし，この手法には生成サンプルの質や偏り によって継続学習の性能が低下するという問題が ある. 本研究では，脳の海馬の記憶インデックスに 着想を得て，学習サンプルの圧縮表現を用いた条件付けにより，過去の特定の学習サンプルをリプレイ 時に生成可能な生成的リプレイの手法を提案する. SST，QA-SRL，WOZ の 3 つの異なる言語処理タス クのデータセットを対象とした実験の結果，提案手法は継続学習における性能の向上を示した.

## 1 はじめに

新しいタスクを次々と学習する継続学習の能力 は，人間のような知能システムを実現する上での基本要件の一つである [1]. また, 汎用的な継続学習 システムの実現は，新しいタスクに対する学習コス 卜を大幅に減らすため，実応用においても重要であ ると考えられる。しかしながら，ニューラルネット ワークで新しいタスクを学習すると，過去に学習し たタスクに対する性能が著しく低下する破滅的忘却 と呼ばれる現象が起こる [2].

破滅的忘却は，新しいタスクと同時に過去のタス クを再学習することで対処可能であるが，そのため には過去の全タスクのデータを保持しておく必要 があり，ストレージ容量やプライバシーの観点から 問題が生じる場合がある。これに対し，実サンプル の代わりに，生成モデルによる擬似サンプルを利用 する生成的リプレイという手法がある [3]. 一般に 生成的リプレイでは，過去の学習サンプルだけでな
く，タスクに相応しい未知のサンプルの生成も想定 するが，実際に適切な未知のサンプルを生成するこ とは困難であり，質の低いサンプルを生成する原因 になる。また，生成されるサンプルが直前に学習し たタスクに偏ってしまうという問題がある.

継続学習を実現している生物の脳では，海馬イン デックス理論 [4] によると，海馬が新皮質の活動パ ターンを圧縮表現に符号化して記憶し，それをイン デックス情報として新皮質に投射することで過去の 活動パターンが想起されると考えられている. 本研究では，この海馬の働きに着想を得て，学習サンプ ルの圧縮表現による記憶インデックスを用いた生成的リプレイの手法を提案する。各学習サンプルを 圧縮表現に符号化する Encoder と，それを記憶イン デックスとして保持する海馬モジュールを導入し，記憶インデックスを用いた条件付けによって，リプ レイとして過去の特定の学習サンプルを生成するこ とを可能にする。

SST，QA-SRL，WOZ の 3 つの異なる言語処理夕 スクのデータセットを対象とした実験の結果，提案手法は生成サンプルの偏りを防ぎ，継続学習の性能 を向上させることが可能であることを示した.

## 2 関連研究

ニューラルネットワークを用いた継続学習の研究 は大きく，正則化ベース，アーキテクチャベース， リプレイベースの 3 つの手法に分類される。

正則化ベースの手法では，過去のタスクに対して 重要なパラメータが変化しないように制約を加えて 破滅的忘却を防ぐ. 各パラメータの重要度の推定に は，フィッシャー情報行列を利用する手法 [5] や，勾配の大きさを利用する手法 [6] がある.

アーキテクチャベースの手法は，ネットワーク 構造の工夫によってタスク間の知識の干渉を防ぐ. タスクごとにネットワークを拡張する手法 [7] や，
(a) Train

(b) Replay

図 1 提案手法の概要

フィルタを用いてネットワークをプルーニングする 手法 [8] がある.

リプレイベースの手法では，過去に学習したデー タを新しいタスクとともに再学習するリプレイを 用いる. d'Autume ら [9] は，学習データを保持する エピソード記憶モジュールを導入し，リプレイと推論時のパラメータの局所適応に利用した. Shin ら [3] は，生成モデルによる擬似サンプルを利用する 生成的リプレイを提案した。言語処理タスクを対象 とした生成的リプレイの手法には, LAMOL [10] が ある. LAMOL は，タスクとサンプル生成を言語モ デルで同時に学習し, 単一のモデルのみで継続学習 を行う. LAMOL の派生手法として, 知識蒸留を組 み合わせた手法 $[11,12]$ や，生成サンプルのうち忘却度が高いものをリプレイとする手法 [13] がある.

一般に生成的リプレイの手法では，過去の学習サ ンプルを必要としない一方で, 生成サンプルの質や 偏りによる継続学習の性能低下が生じる. そこで本研究では，LAMOL における生成サンプルの質や偏 りを改善するために，記憶インデックスによる条件付けを用いて, リプレイとして過去の特定の学習サ ンプルを生成できる手法を提案する.

## 3 提案手法

提案手法の概要を図 1 に示す. 提案手法ではタス クの学習と同時に Autoencoder としてサンプル生成 を学習する。 その際に得られる特徴べクトルを記憶 インデックスとして海馬モジュールで保持し，リプ レイ時に条件付けとして Decoder に与えて，対応す る学習サンプルを生成する. また，タスク自体も同 じ Decoderに学習させる.

## 3.1 モデル

提案手法は，学習サンプルを符号化する Encoder， タスクとサンプル生成を行う Decoder，記憶イン
デックスを保持する海馬モジュールから構成され る. 以下では各モジュールの詳細を説明する。

## 3.1.1 Encoder

BERT [14] を用いて学習サンプルを固定長の特徴 ベクトルに符号化する. 通常行われる BERT の学習 と同様に，先頭につけた [CLS]トークンの埋め込 みべクトル $\boldsymbol{h}_{[\mathrm{CLS}]} \in \mathbb{R}^{H}$ を入力全体を表す特徴表現 として利用し，重み行列 $\boldsymbol{W}_{\mathrm{E}} \in \mathbb{R}^{P \times H}$ と活性化関数 $\tanh$ を用いて， $P$ 次元の特徴べクトル $\boldsymbol{h} \in \mathbb{R}^{P}$ に変換する (式 1 ).

$
\boldsymbol{h}=\tanh \left(\boldsymbol{W}_{\mathrm{E}} \boldsymbol{h}_{[\mathrm{CLS}]}\right)
$

Encoder のパラメータは，3.2 節で述べる事前学習 でのみ最適化を行い，継続学習時は固定する。これ は，継続学習の過程で学習時と生成時とで特徴べク トルにズレが生じ，記憶インデックスによる制御可能性が著しく低下することを防ぐためである.

## 3.1.2 Decoder

LAMOL [10] のアイデアに基づき，GPT-2 [15] を 用いてタスクとサンプル生成を同時に学習する.

提案手法では, サンプル生成時に, Encoder で符号化した特徴ベクトル $\boldsymbol{h}$ による条件付けを行う. 固定長のベクトルを用いて GPT-2 のテキスト生成を 制御する方法については，先行研究 $[16,17]$ によっ ていくつかの手法が提案されており，そのうち本研究では，以下で説明するように，Embedding 層と Self-Attention 層を利用する手法を用いる.

Embedding 特徴ベクトル $\boldsymbol{h}$ から, 重み行列 $\boldsymbol{W}_{\mathrm{D}} \in \mathbb{R}^{H \times P}$ を用いて GPT-2 の入力埋め込みと同じ $H$ 次元のベクトルに変換し, 各入力トークンの単語埋め込み $\boldsymbol{h}_{\mathrm{WE}}$ と位置埋め込み $\boldsymbol{h}_{\mathrm{PE}}$ を足し合わせ，新 たな入力埋め込み $\boldsymbol{h}_{\mathrm{Emb}}=\boldsymbol{h}_{\mathrm{WE}}+\boldsymbol{h}_{\mathrm{PE}}+\boldsymbol{W}_{\mathrm{D}} \boldsymbol{h}$ とする.

Self-Attention 特徴ベクトル $\boldsymbol{h}$ を重み行列 $\boldsymbol{W}_{\mathrm{M}} \in$ $\mathbb{R}^{L H \times P}$ による線形変換で $\boldsymbol{h}_{\mathrm{Mem}} \in \mathbb{R}^{L H}$ に変換し， $L$個の $H$ 次元ベクトル $\left[\boldsymbol{h}_{\mathrm{Mem}, 1}, \ldots, \boldsymbol{h}_{\mathrm{Mem}, L}\right]$ に分割す る. ただし， $L$ は GPT-2 の層数である. 各 $l$ 層目の Self-Attention において， $\boldsymbol{h}_{\text {Mem,l }}$ を Key, Value ベクト ルに変換して追加の参照情報として利用し， $x_{t}$ を $x_{<t}$ と $\boldsymbol{h}_{\mathrm{Mem}, l}$ の両方で条件づける.

## 3.1.3 海馬モジュール

海馬モジュールは，記憶インデックスとして各学習サンプルの特徴ベクトルを保持する．具体的に

は，新しいタスクの学習時，Encoder で符号化した 特徴ベクトルをタスクごとに分けて保存する。リプ レイ時に，特徴べクトルを過去のすべてのタスクか ら同じ数ずつランダムに取り出して, Decoder のサ ンプル生成の条件付けに使用する.

## 3.2 事前学習

記憶インデックスとして利用する特徴ベクトル は，Decoder で元の学習サンプルを復元できるだけ の十分な情報を含んでいることが望ましい. しか し, BERT の事前学習によって獲得された [CLS] の 埋め込みと，ランダムに初期化された $\boldsymbol{W}_{\mathrm{E}}$ による線形変換では不十分であると考えられる。そこで，テ キストコーパスを用いて教師なしで Autoencoderを 事前学習することで，十分な情報を持った特徴べク トルへの符号化を実現する.

また，言語モデルを Autoencoder と同時に学習す る.これは, Autoencoder の学習により, GPT-2 が 元々持つ言語モデルの情報を失うことを防ぐためで ある.したがって，事前学習では， Autoencoder の損失と言語モデルの損失の和 $L=L_{\mathrm{AE}}+L_{\mathrm{LM}}$ を最小化 するよう, Encoder と Decoder のパラメータを最適化する.

## 3.3 継続学習

## 3.3.1 データ形式

LAMOL と同様に, decaNLP フォーマット [18] に 基づき, Context と Question から Answerを予測する 質問応答として，すべてのタスクを Decoderの GPT-2 で学習する (図 2(a)). サンプル生成は, Encoder で Context, Question, Answer 全体を符号化した特徴べ クトルから，元の入力を復元する Autoencoder とし て学習する (図 2(b)).

## 3.3.2 学習の流れ

継続学習の問題として，タスク列 $\left.\{T_{1}, T_{2}, \ldots\right.\}$ を 考える. 新しいタスク $T_{i}(i>1)$ の学習前に, 海馬 モジュールから特徵ベクトルを $\gamma\left|T_{i}\right|$ 個取り出し, Decoder で対応するサンプルを生成する．ただし， $\left|T_{i}\right|$ はタスク $T_{i}$ の学習サンプルの数であり, $\gamma$ はリ プレイの割合である. 生成サンプルのうち, [ANS] が 1 つでないものと，BERT および GPT-2 の最大系列長を超えているものは棄却し，残りをリプレイと して新しいタスクのデータに加える。

図 2 (a) [ANS] を生成の開始位置を示す特殊トークンと し，質問応答としてタスクを学習. (b) Encoder で符号化 した特徴べクトルによる条件付けを用いて，Decoder で開始トークン [GEN] からサンプル全体を生成.

タスクの損失 $L_{\mathrm{QA}}$ と Autoencoder の損失 $L_{\mathrm{AE}}$ を, サ ンプル生成の損失の重み $\lambda$ を用いて $L=L_{\mathrm{QA}}+\lambda L_{\mathrm{AE}}$ として，Decoderを学習する。

## 4 実験

## 4.1 実験設定

データセット decaNLP [18] から，感情分析 (SST)，意味役割付与 (QA-SRL), 対話状態追跡 (WOZ) の 3 つの異なるタスクのデータセットを使用

トセットを利用した.

比較手法 全手法で GPT-22)を使用し，各タスク を 9 epoch ずつ学習した. 以下に各手法を示す.

提案手法: Encoder には $\mathrm{BERT}_{\mathrm{BASE}}{ }^{3}$ を使用し，サン プル生成の損失の重みは $\lambda=0.25$, 特徴ベクトルの 次元数 $P$ は 128 とした. 先行研究 [10] に合わせ，リ プレイの割合は $\gamma=0.05,0.2$ とした.

LAMOL: 提案手法によるリプレイの条件付けの有効性を検証するためのベースライン．言語モデルと して生成を学習し, [GEN] から top- $k$ サンプリング $(k=20)$ でリプレイサンプルを生成する.

Task-specific tokens: Sun ら [10] が提案した，タスク ごとに開始トークンを変え，生成サンプルが過去の 全タスクで均等になるよう制御する手法. 提案手法 と LAMOL のそれぞれに適用した。

Real sample: 提案手法のリプレイを実サンプルに置 き換える。提案手法の性能上限と考えられる。

Fine-tuning: タスクを 1 つずつファインチューニン グする。継続学習の性能下限と考えられる。

Multitask: 全タスクのデータセットを混合し同時に 学習する。継続学習の性能上限と考えられる。

評価指標 継続学習の性能評価のために，以下の 2 つの評価指標を用いる. ここで $a_{j, i} \in[0,100]$ は夕

表 1 各手法の全 6 パターンの学習順序に対する実験結果とそれらの平均及び標準偏差. 各スコアは 2 回実行した結果 の平均. Proposal および LAMOL の上付き文字はリプレイの割合 $\gamma$ を表し，下付き文字はそれぞれ共通の開始トークン (GEN), Task-specific tokens（TASK），Real sample（REAL）を表す.

図 32 回目のリプレイに含まれる各タスクの生成サンプルの割合

スク $T_{i}$ を学習後のタスク $T_{j}$ の評価結果を表す.

Average Score $\in[0,100]:$ 最終的なモデルの各タスク の評価結果 $a_{T, i}$ の算術平均.

Forgetting Measure $\in[-100,100]:$ Chaudhry ら [20] が 提案した，過去のタスクの忘却度合い. ただし， decaNLP タスクの評価指標に合わせて -100 100の 値をとる．値が小さいほど望ましい。

$
F_{T}=\frac{1}{T-1} \sum_{i=1}^{T-1} f_{T, i} \quad\left(f_{T, i}=\max _{j<T} a_{j, i}-a_{T, i}\right)
$

## 4.2 実験結果

6 パターンすべての学習順序について実験を行っ た結果を表 1 に示す. まず, Fine-tuning の結果から，新しいタスクの学習によって, 過去のタスクに対す る破滅的忘却が生じることが確認できる. 提案手法 の結果は，すべての条件で LAMOL の性能を大きく 上回っており，タスクの学習順序に対する性能のば らつきも抑えられている。これは，継続学習に対し て提案手法が有効であることを示している。

各実験における 2 回目のリプレイ時の生成サン
プルをタスクごとに分類4)した結果を図 3 に示す. LAMOL では生成サンプルの多くが直前のタスクの ものになっており, Task-specific tokens の効果も学習順序によって大きく差がある。これに対して，提案手法は生成サンプルの偏りを大幅に抑えられてお り，記憶インデックスによる条件付けがうまく機能 していると考えられる。また，リプレイの偏りがほ とんど同じ場合についても，継続学習の性能で提案手法が LAMOL を上回っていることから，生成サン プルの質が改善されていることが示唆される.

## 5 おわりに

本稿では，言語処理タスクの継続学習に対して，海馬の記憶インデックスに着想を得た制御可能な生成的リプレイの手法を提案した。複数の異なる言語処理タスクを対象とした実験の結果，提案手法は生成サンプルの偏りを防ぎ，継続学習の性能を向上さ せることを示した. 今後は，海馬モジュールの記憶容量を削減する方法についても取り組みたい.

4） BERTによる分類モデルを作成して使用した.

## 参考文献

[1] German I Parisi, Ronald Kemker, Jose L Part, Christopher Kanan, and Stefan Wermter. Continual lifelong learning with neural networks: A review. Neural Networks, Vol. 113, pp. 54-71, 2019

[2] Michael McCloskey and Neal J. Cohen. Catastrophic interference in connectionist networks: The sequential learning problem. Psychology of Learning and Motivation, Vol. 24, pp. 109-165, 1989.

[3] Hanul Shin, Jung Kwon Lee, Jaehong Kim, and Jiwon Kim. Continual learning with deep generative replay. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 2990-2999. Curran Associates, Inc., 2017.

[4] Timothy J Teyler and Jerry W Rudy. The hippocampal indexing theory and episodic memory: updating the index. Hippocampus, Vol. 17, No. 12, pp. 1158-1169, 2007.

[5] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka GrabskaBarwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell. Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, Vol. 114, No. 13, pp. 3521-3526, 2017.

[6] Rahaf Aljundi, Francesca Babiloni, Mohamed Elhoseiny, Marcus Rohrbach, and Tinne Tuytelaars. Memory aware synapses: Learning what (not) to forget. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 139-154, 2018.

[7] Andrei A Rusu, Neil C Rabinowitz, Guillaume Desjardins, Hubert Soyer, James Kirkpatrick, Koray Kavukcuoglu, Razvan Pascanu, and Raia Hadsell. Progressive neural networks. arXiv preprint arXiv:1606.04671, 2016.

[8] Arun Mallya and Svetlana Lazebnik. Packnet: Adding multiple tasks to a single network by iterative pruning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7765-7773, June 2018.

[9] Cyprien de Masson d'Autume, Sebastian Ruder, Lingpeng Kong, and Dani Yogatama. Episodic memory in lifelong language learning. In $\mathrm{H}$. Wallach, $\mathrm{H}$. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 13122-13131. Curran Associates, Inc., 2019.

[10] Fan-Keng Sun, Cheng-Hao Ho, and Hung-Yi Lee. Lamol: Language modeling for lifelong language learning. In International Conference on Learning Representations, 2019.

[11] Yung-Sung Chuang, Shang-Yu Su, and Yun-Nung Chen. Lifelong language knowledge distillation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2914-2924, Online, November 2020. Association for Computational Linguistics.
[12] Jingyuan Sun, Shaonan Wang, Jiajun Zhang, and Chengqing Zong. Distill and replay for continual language learning. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3569-3579, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[13] Heejeong Choi and Pilsung Kang. Lifelong language learning with the most forgotten knowledge. IEEE Access, Vol. 9, pp. 57941-57948, 2021.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[16] Chunyuan Li, Xiang Gao, Yuan Li, Baolin Peng, Xiujun Li, Yizhe Zhang, and Jianfeng Gao. Optimus: Organizing sentences via pre-trained modeling of a latent space. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 46784699, Online, November 2020. Association for Computational Linguistics.

[17] Le Fang, Tao Zeng, Chaochun Liu, Liefeng Bo, Wen Dong, and Changyou Chen. Transformer-based conditional variational autoencoder for controllable story generation. arXiv preprint arXiv:2101.00828, 2021.

[18] Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, and Richard Socher. The natural language decathlon: Multitask learning as question answering. arXiv preprint arXiv:1806.08730, 2018.

[19] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami Al-Rfou. Wiki-40B: Multilingual language model dataset. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452, Marseille, France, May 2020. European Language Resources Association.

[20] Arslan Chaudhry, Puneet K Dokania, Thalaiyasingam Ajanthan, and Philip HS Torr. Riemannian walk for incremental learning: Understanding forgetting and intransigence. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 532-547, 2018.

## A 付録

## A. 1 継続学習に使用したタスクの詳細

表 2 使用したタスク，データセット，評価指標

 & Who is based somewhere? & COG & 6414 & 2201 & $\mathrm{nF1}$ \\
Goal-Oriented Dialogue & WOZ & I am looking for African food & What is the change in state ? & food: African; & 2536 & 1646 & dsEM \\

## A. 2 忘却の過程

図4 それぞれの手法の各学習順序における忘却の過程
 前川在 上垣外英剛 船越孝太郎 奥村学 東京工業大学 \{maekawa, kamigaito, funakoshi, oku\}@lr.pi.titech.ac.jp  