# 画像キャプション生成及び物体認識を用いた 駄酒落文ランキング手法の評価

浅野歴 1,2 谷津元樹 1 森田武史 1,2 江上周作 2 鵜飼孝典 2,3 福田賢一郎 2
1 青山学院大学 2 産業技術総合研究所 3 富士通株式会社
c5622198@aoyama.jp \{yatsu,morita\}@it.aoyama.ac.jp
ugai@fujitsu.com \{s-egami,ken.fukuda\}@aist.go.jp

## 概要

ソーシャルロボットが画像大力より得られる周辺状況に基づいた発話を行う際，駄酒落等のユーモア を付加できれば，ユーザはロボットに対しより高い 親近感を持ちうると考えられる。本研究では既存の キャプション生成モデルや物体検出を用いて画像か ら画像内容に即した語を抽出し，駄酒落文を収集し たコーパスから画像の描画内容に即した駄酒落文を 選択するためのランキング手法を提案する.

## 1 はじめに

世界規模の少子高齢化の進行と，その結果である 高齢者単身世帯の急激な増加は看過できない問題と なっている。 そのため, 人手を要しない人工知能技術による支援は不可欠となる。同技術の代表格とな りうるのが，人間らしい振る舞いの可能な対話知能 である。その具体例として，言語的ユーモアを交え 笑いを通して不安を軽減する能力および視覚入力と しての画像からの周辺状況の推定能力が挙げられ る. さらに，両者を統合したユーモアの表現能力は 人間そのものに近いといえる.

本研究ではユーモア性を含む言語表現として駄酒落に注目した. 画像キャプション生成とは，画像を 入力として，その内容について記述した自然言語文 を出力する問題である [1]. この問題は画像認識お よび自然言語テキスト生成という2つのタスクを同一のシステムに統合して解く必要がある.

駄酒落を含む画像キャプション生成には，画像と その描画内容に即した駄酒落文のペアを集めたデー タセットが必要となる。しかし，現在，そのような データセットは存在しておらず，画像の描画内容 に即した駅酒落文を手動で作成するコストは高く, データセットの作成には時間を要する。そのため,本研究では画像から駄酒落を含むキャプションを 生成する前段階として, 既存のキャプション生成モ
デルや物体検出を活用し，画像に合った駄酒落デー タベース [2] 内の駄酒落文を選択することを目的と する。

## 2 関連研究

荒木らの研究 [2] では前述した背景においてユー モア理解・生成技術の基盤となるデータセットを作成することを目的として，67,000 件の駄酒落文を収録したコーパスを構築している。本研究では，この 駄酒落データベース内に存在する事例より, 入力画像が描写している内容に対して最適な駄酒落文を選択する. Chandrasekaran らの研究 [3] では，画像から 英語の駄酒落（語呂合わせ）を含むキャプション生成を課題として，画像キャプション生成とコーパス 検索に基づく二つの手法を提案している. 画像キャ プション生成に基づく手法では，画像キャプション 生成モデルを用いて得られた単語を，事前に用意し た語呂合わせが成り立つ単語や発音が近い単語のリ ストに含まれる単語に強制的に絞り込み，強制的に 絞り込まれた単語を使い画像キャプションを生成す る.コーパス検索に基づく手法では，一般的な画像 キャプション生成のモデルを用いて得られた単語 と，事前に用意した語呂合わせが成り立つ単語や発音が近い単語の両方が含まれる文をコーパスから検索する。

関連研究は，画像から英語の駄酒落を含むキャプ ション生成を課題としているのに対して，本研究で は，駄酒落データベースから画像に合った日本語の 駄酒落文を選択することを目的としている。

## 3 提案手法の構成

本研究手法では，最初に画像を入力として，キャ プション生成と物体検出を行う。キャプション生成 に関しては，日本語画像キャプションデータセット STAIR Captions[4] と MS COCO[5] データセットの画像を用いて日本語キャプション生成モデルを学習

図 1 駄酒落文スコア計算の手順

し，このモデルに基づいて画像から日本語のプレー ンキャプションを生成する. 生成されたプレーン キャプションに対して重要語抽出と形態素解析を行 う。重要語抽出では TermExtract[6]を用いてプレー ンキャプション含まれる重要な単語を抽出する。形態素解析では $\mathrm{MeCab}[7]$ を使用しプレーンキャプ ションを形態素に区切る. 物体検出では物体検出モ デル YOLOX[8] を用いて入力画像から物体ラベルを 抽出する。日本語 WordNet[9] を用いて，抽出した重要語, 形態素, 物体ラベルの同義語検索する. 駄酒落文, 重要語, 形態素, 物体ラベル, 同義語を入力 として，駄酒落文のスコアを計算し，ランキングを 行い，入力画像の描画内容に即した駄酒落文を選択 し, 出力する. 以下では，提案システムの構成要素 の詳細について述べる。

## 3.1 画像キャプション生成

本研究では, Show and Tell モデル [10]を用い て日本語画像キャプションデータセット STAIR Captions[4]を学習した日本語画像キャプション生成 モデルを用いる. 日本語画像キャプション生成を用 いる理由として，画像から駄酒落文を選択するとき に日本語画像キャプション生成で生成された文と似 た文を探すことで画像にあった䭾酒落文を選択でき ると考えたからである. STAIR Captions は日本語で の画像キャプション生成のために人手で構築され た最大規模のデータセットであり，これを訓練デー タとして学習したモデルのキャプション生成精度 が，同一の画像を使用する MS COCO[5] における英文キャプションに機械翻訳を行い，得られた文を訓練データとした場合を上回ることが判明している. このことから STAIR Captions は優れたデータセット であるといえるため，本研究では STAIR Captions を 使用する. 日本語画像キャプション生成モデルから 得られたキャプションをプレーンキャプションと 呼ぶ.

## 3.2 物体検出

物体検出とは画像や動画に写っている物体のラベ ル（物体ラベル）を検出するタスクである．物体検出を本研究に用いる理由は，画像に描写されている 物体の呼称がプレーンキャプションの生成結果に含 まれなかった場合でも，物体検出の結果に含まれて いれば駄酒落文選択に利用できる語の数が増加する 場合があるためである. 本研究では物体検出を行う ために，リアルタイム物体検出アルゴリズムである YOLO[11] の改良型である YOLOX[8] を用いる.

## 3.3 形態素解析

プレーンキャプションから形態素解析エンジン MeCabを用いて形態素を抽出する. 形態素解析を本研究に用いることにより，プレーンキャプションか ら抽出した形態素と駄酒落文から抽出した形態素の 共通部分を抽出し，画像の描画内容に即した駄酒落文を選択するためのスコアとして利用できる.

## 3.4 重要語抽出

生成されたプレーンキャプションから TermExtract[6] を用いて重要語を抽出すること により，プレーンキャプションに含まれる単語の重要度を求めることができる．重要度の高い語を多く 含む候補文を優先することにより，より画像の内容 に適した䭾酒落文を選択できると考えられる。

## 3.5 同義語検索

プレーンキャプションから形態素解析により抽出された単語，物体検出により画像から抽出された 物体ラベル，プレーンキャプションから重要語抽出により抽出された重要語の各同義語を，日本語 WordNet[9]を用いて検索する．これらの同義語集合 に重みを与えることにより，画像の描写に関連性の 高い駄酒落文をより多く比較の対象とすることがで きると考えられる。

## 3.6 駄酒落文選択

図 1 に，本研究が提案する駅酒落文スコア計算の 手順を示す. 駄酒落文選択は以下の 1 から 8 の手順 で行う. 式 (1) から式 (8) における記号の説明を表 1 に示す.

1. 式 (1)より駄酒落文に含まれるプレーンキャプ ションから抽出した形態素に重み付けをする。

$
f_{t}\left(c, d, w_{t}\right)=w_{t} \cdot\left|T_{c} \cap T_{d}\right|
$

2. 式 (2) より駄酒落文に含まれるプレーンキャプ ションから抽出した形態素の同義語に重み付け をする。

$
f_{t s}\left(c, d, w_{t s}\right)=w_{t s} \cdot\left|\left.\{S_{t_{c}} \cap T_{d} \mid t_{c} \in T_{c}\right.\}\right|
$

3. 式 (3) より駄酒落文に含まれるプレーンキャプ ションから抽出した重要語に重み付けをする.

$
f_{i t}\left(c, d, w_{i t}\right)=w_{i t} \cdot\left|I T_{c} \cap T_{d}\right|
$

4. 式 (4)より駄酒落文に含まれるプレーンキャプ ションから抽出した重要語の同義語に重み付け をする。

$
f_{i t s}\left(c, d, w_{i t s}\right)=w_{i t s} \cdot\left|\left.\{S_{t_{c}} \cap T_{d} \mid t_{c} \in I T_{c}\right.\}\right|
$

5. 式 (5) より駄酒落文に含まれる画像から抽出し た物体ラベルに重み付けをする。

$
f_{o}\left(i, d, w_{o}\right)=w_{o} \sum_{o \in O_{i} \cap T_{d}} C S_{o}
$

6. 式 (6) より駄酒落文に含まれる画像から抽出し た物体ラベルの同義語に重み付けをする。

$
f_{o s}\left(i, d, w_{o s}\right)=w_{o s} \sum_{o \in\left.\{o \in O_{i} \mid s \in S_{o} \wedge s \in T_{d}\right.\}} C S_{o}
$

7. 式 (7)より式 (1) から式 (6) により求めた重みの 合計值を駄酒落文のスコアとして計算する.

$
\begin{aligned}
f_{s}(i, d, \boldsymbol{w})= & f_{t}\left(I C_{i}, d, w_{t}\right)+f_{t s}\left(I C_{i}, d, w_{t s}\right)+ \\
& f_{i t}\left(I C_{i}, d, w_{i t}\right)+f_{i t s}\left(I C_{i}, d, w_{i t s}\right)+ \\
& f_{o}\left(i, d, w_{o}\right)+f_{o s}\left(i, d, w_{o s}\right)
\end{aligned}
$

8. 式 (8) よりスコアの高い上位 $\mathrm{n}$ 件の駄酒落文と そのスコアを出力する.

DajareSearch $(i, n, \boldsymbol{w})=\left.\{\left(d_{1}, s\right): d_{1} \in D \wedge\right.$

$\left.\left|\left.\{d_{2} \in D s=f_{s}\left(i, d_{1}, w\right)<f_{s}\left(i, d_{2}, w\right)\right.\}\right|<n\right.\}$

本研究では $w_{t}: 50, w_{t s}: 25, w_{i t}: 100, w_{i t s}: 50$, $w_{o}: 500, w_{o s}: 250$ とする. 図3 に入力 ${ }^{1}$ 及び表 3 に 出力の例を示す.

表 1 式(1)から式(8)における記号の説明

$d \quad$ 駅酒落文

c 画像キャプション

$n$ 取得する駄酒落文とスコアの数

$D \quad$ 駄酒落文のセット

$w$ スコアの重みべクトル

$\boldsymbol{w}=\left(w_{t}, w_{t s}, w_{i t}, w_{i t s}, w_{o}, w_{o s}\right)$

$w_{t}$ 形態素スコアの重み

$w_{t s}$ 形態素の同義語スコアの重み

$w_{i t}$ 重要語スコアの重み

$w_{i t s}$ 重要語の同義語スコアの重み

$w_{o}$ 物体ラベルスコアの重み

$w_{o s}$ 物体ラベルの同義語スコアの重み

$I C_{i} \quad$ 画像ファイル $i$ のキャプション

$T_{\text {text }} \quad$ text 中のトークンのセット

$I T_{\text {text }}$ text 中の重要語のセット

$S_{\text {token }}$ token の同義語セット

$C S_{o}$ 画像ラベル $o$ の確信度を 10 倍し,小数点以下を切り捨てた値

図 2 駄酒落文 17500 文におけるスコアの度数分布

## 4 実験と評価

## 4.1 実験方法

MSCOCO 内の画像 3500 枚を対象に各画像に対 し, スコアの高い上位 5 件の䭾酒落文とそのスコア とその内訳，画像に対するプレーンキャプション，物体ラベル，同義語を取得した. 本実験で得られた 17500 文の駄酒落に対しての分析を表 2 に示す. 1 行目にはスコアの要因となる 6 つ指標を示し，2 行目には 17500 文の内，スコアが使われた駄酒落文 の数を示す. $3 \sim 8$ 行目には 1 文の駄酒落文に対し て，含まれていた単語の数の最大，最小，平均，中央值, 最頻値，分散である. 図 2 は 17500 文の駄酒
表 2 画像 3500 枚の入力により得られる䭾酒落文 17500 文の各要素の集計

図 3 入力画像の例

表 3 駄酒落文の出力結果

落文のスコアの度数分布である. スコアの中央値は 4750 となった.

## 4.2 考察

平均を見たときにプレーンキャプションの形態素 が最大の 3.198 となった. これは重要語や物体ラべ ル，同義語にはない助詞の「は，が，を」などが含 まれているので他に比べて相対的に多い．2 番目に 平均が高い物体ラベルは本研究では物体ラベルの重 み，つまり $w_{o}$ を 1 番高く設定しているため，物体 ラベルを含んでいる䭾酒落文が多く選択されたと考 える。それぞれの同義語に関しては，重みを低く設定しているが同義語が寄与している駄酒落文が少な からずあることがあることが分かった. しかし，同義語などを提案手法に用いたことによって画像に対 して適切な，ユーモアのある駄酒落文を選択できて いるかの評価ではない. 図 2 ではスコアが 4000 台 の駄酒落文の数が 1 番多くなった. これは, 本研究 では物体ラベルの重みを 500 と高く設定しており，物体の確信度が 0.8 を超えると，その物体ラベルを 含んでいる䭾酒落文のスコアが 4000 を超えるから だと考える.

## 5 まとめと課題

本研究では既存のキャプション生成モデルや物体検出を活用し画像に合った駄酒落文を選択する ためのランキング手法を提案した. 提案手法では, STAIR Captions データセットより学習した日本語 キャプション生成モデルよりプレーンキャプション を生成し, 得られたキャプションから重要語および 他の形態素を抽出し, 画像からの物体検出を行い画像に写っている物体の名前（物体ラベル）を得た. このようにして得られた単語に対して, 同義語取得 を行った。物体ラベル及び重要語を重視して重多付 けをした. 出力として駄酒落データベースにおいて 重みの和が最大となる駅酒落文を選択した。実験で は，駄酒落文のスコアの要因となっている 6つにつ いて分析を行った. その結果どの指標も䭾酒落文選択に寄与していることが分かった.

今後の課題として，駅酒落文選択における重みべ クトルを機械学習により求めることが挙げられる. また，同義語などを提案手法に入れたことによって よりよい駄酒落文が選択できているかの評価. さら には, 本研究の提案手法は, 駄酒落データベースを 参照しているため, 出力する駄酒落文が限定されて おり，新しい駄酒落文を生成できないことも課題で ある. 今後は，キャプション生成手法を用いて駄酒落データベース内の駄酒落文だけでなく多種多様の 駄酒落文を生成できるようにしたい. さらに，画像 に写っている人の動作や位置関係に関する動詞を検出可能にすることで，より画像の描写内容に即した 駄酒落文の選択や生成が可能になると考えられる.

## 謝辞

本研究は JSPS 科研費 JP21K12007 の助成を受けた ものです. 本研究成果の一部は, 国立研究開発法人新エネルギー・産業 技術総合開発機構 (NEDO) の委託業務 (JPNP20006) の結果得られたものです.

## 参考文献

[1] 牛久祥孝. 画像に関連した言語生成の取組み. 人工知能, Vol. 34, No. 4, pp. 483-491, 2019.

[2] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹. 駄酒落デー タベースの構築及び分析. 人工知能学会第 2 種研究会ことば工学研究会資料 SIG-LSE-B702-3, pp. 13-24, 2017 .

[3] Arjun Chandrasekaran, Devi Parikh, and Mohit Bansal. Punny captions: Witty wordplay in image descriptions. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 770-775. Association for Computational Linguistics, 2018.

[4] 吉川友也, 重藤優太郎, 竹内彰一. Stair captions: 大規模日本語画像キャプションデータセット.言語処理学会第 23 回年次大会 (NLP2017), 2017.

[5] T.-Y. Lin, M. Maire, S. Belongie, et al. Microsoft coco: Common objects in context. In European Conference on Computer Vision (ECCV 2014). Springer, Cham, 2014.

[6] 中川裕志, 森辰則, 湯本紘彰. 出現頻度と連接頻頻度 に基づく専門用語抽出. 自然言語処理, Vol. 10, No. 1, pp. 27-45, 2003.

[7] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp. 230-237, 2004.

[8] Zheng Ge, Songtao Liu, Feng Wang, Zeming Li, and Jian Sun. Yolox: Exceeding yolo series in 2021. In arXiv preprint arXiv:2107.08430, 2021.

[9] H. Isahara, F. Bond, K. Uchimoto, M. Utiyama, and K. Kanzaki. Development of japanese wordnet. In the 6th Edition of its Language Resources and Evaluation Conference (LREC 2008), Marrakech, 2008.

[10] O. Vinyals, A. Toshev, S. Bengio, and D. Erhan. Show and tell: A neural image caption generator. In CVPR 2015, pp. 3156-3164, 2015.

[11] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You only look once: Unified, real-time object detection. In CVPR 2016, 2016.


# ゲート付き相互注意を用いたエンコーダ・デコーダによる 感情に基づく絵画説明文生成

石川慎太朗杉浦孔明
慶應義塾大学
\{shin.0116,komei.sugiura\}@keio.jp

## 概要

絵画作品鑑賞のバリアフリー化を進める際に，人手を必要とせずに絵画の説明文を生成できれば有用 である．絵画の解釈は鑑賞者の感情と密接な関わり を有するため，説明文は感情に基づいていることが 望ましい. 本研究では，感情ラベルを視覚情報に統合する Affective Visual Encoder を導入した絵画説明文生成モデルを提案する，提案手法においては，感情トークンを用いて画像の領域・グリッド特徴量を 融合し，画像・物体レベルの視覚情報を利用する。 ArtEmis データセットを使用して提案手法の性能を 評価した結果，全ての評価指標において既存手法を 上回る性能を得た。

## 1 はじめに

絵画鑑賞においては，視覚障害者へのバリアフ リー化が長年にわたって推進されており [1], 多く の絵画には歴史等の事実に基づいた説明文が付与さ れている。一方，絵画の解釈と鑑賞者の感情との間 には密接な関係性が存在すると指摘されているため [2], 感情が反映された説明文は絵画鑑賞において重要である。しかし，全ての絵画について感情を考慮 した説明文が与えられているわけではない.

そこで本研究では，絵画に対する鑑賞者の感情を 考慮した説明文を生成するモデルを構築する。図 1 に例を示す. 図中の絵画の画像および “excitement” という感情が与えられたときに，鑑賞者の感情の高 ぶりを反映させた “The ships look like they are about to go on an adventure." という説明文を生成することが 期待される。

多くの既存研究 $[3,4]$ は，利用者が指定した感情 に基づく説明文の生成には取り組んでおらず，画像 に関連の深い感情を予測した後，それを追加入力と して説明文の生成に利用するというアプローチを採

図 1 提案手法の概要

用している。しかし，これらの手法においては任意 の感情を入力として受け取ることはできず，感情で 条件付けされた説明文を生成することはできない.

本研究では, Affective Visual Encoder (AVE) を導入 した絵画説明文生成モデルを提案する。提案手法 では，CLIP[5]を使用して画像から抽出したクロス モーダル情報を入力に追加することで，視覚情報を 強化する．以上により，絵画の内容と感情の種類を 適切に反映させた説明文を生成することが期待され る. 図 1 に提案手法の概要を示す. 既存手法と異な る点は，AVEを用いて，感情ラベルを視覚情報に統合する点である.

本研究の貢献を以下に示す.

・ゲート付き相互注意機構を用いて，視覚情報を 感情ラベルで条件付けする AVE モジュールを 提案する。

・エンコーダにおいて，画像の領域・グリッド 特徴量を融合するための感情トークンを導入 する。

## 2 問題設定

本研究で扱うタスクを，Affective Image Captioning (AIC) と定義する，AIC タスクは，絵画と感情が与 えられたときに，絵画の内容および感情の種類に
沿った説明文を生成するタスクである。

当該タスクの入出力を以下のように定義する.
- 入力: 絵画の画像，感情ラベル

・出力: 感情を反映させた絵画の説明文

本論文で使用する用語を以下のように定義する.

・感情: ArtEmis データセットにおいて定義され ている感情ラベル群のうちの 1 つ. 感情ラベル は, "anger" "disgust" "fear" "sadness" "amusement" "awe" "contentment" "excitement" "something else" の計 9 種類存在する。

モデルの評価には，標準的な自動評価尺度であ る BLEU[6], METEOR[7], ROUGE-L[8], CIDEr[9], SPICE[10] を使用する.

## 3 提案手法

提案手法のネットワーク構造を図 2 に示す. ネッ トワークは複数のエンコーダ・デコーダブロックか ら構成される. 各モジュールの詳細については本節 で後述する.

本手法は, Meshed-Memory Transformer (M2)[3] 等 の既存の説明文生成手法と関連が深い. M2 は, QKV 注意機構を使用したエンコーダ・デコーダ型 の構造を有しており, ArtEmis データセット [11] に おいて高い性能が報告されている。本手法は，M2 をもとにしているものの，GRIT[4] 等の他の説明文生成手法にも適用可能である.

## 3.1 入力

ネットワークの入力 $x$ を以下のように定義する.

$
\begin{aligned}
\boldsymbol{x} & =\left.\{X_{\mathrm{grd}}, X_{\mathrm{rgn}}, X_{\mathrm{emo}}, X_{\mathrm{jnt}}\right.\}, \\
X_{\mathrm{grd}} & =\left.\{X_{\mathrm{grd}}^{(i)} \mid i=1,2, \ldots, N\right.\}
\end{aligned}
$

ここに， $X_{\mathrm{grd}}$ はグリッド特徵量, $X_{\mathrm{rgn}} \in \mathbb{R}^{N_{\mathrm{rgn}} \times d_{\mathrm{rgn}}}$ は 領域特徴量, $X_{\mathrm{emo}} \in \mathbb{R}^{d_{\mathrm{emo}}}$ は感情の埋め込み表現, $X_{\mathrm{jnt}} \in \mathbb{R}^{d_{\mathrm{jnt}}}$ は画像のクロスモーダル表現を表す. な お， $X_{\mathrm{grd}}^{(i)} \in \mathbb{R}^{M \times d_{\mathrm{grd}}^{(i)}}$ はバックボーンネットワークか ら得られる $i$ 番目の特徴マップ $s_{t}$ を表し， $N$ はエン コーダのブロック数を表す.

本手法では，事前学習済みの Swin Transformer[12] と CLIP[5]を使用して，それぞれ画像の特徴マッ プとクロスモーダル表現を獲得する。また，Visual Genome データセット [13] で学習済みの Faster RCNN[14] 使用して, 各画像から領域特徴量を抽出 する. さらに，感情ラベル $E$ を全結合層に入力する
ことで，埋め込み表現を獲得する。

## 3.2 Affective Visual Encoder

AVE は複数のブロックから構成される。当該モ ジュールは，モデルへの入力をもとに，感情トーク ンを使用して画像・感情特徴量を融合する。

各エンコーダブロックにおいては，画像と感情の 関係性をモデル化するために相互注意機構を使用 する。

相互注意と自己注意の処理を，行列 $X_{\mathrm{A}}$ および $X_{\mathrm{B}}$ を用いて以下のように定義する。

$
\begin{aligned}
& \operatorname{CrossAttn}\left(X_{\mathrm{A}}, X_{\mathrm{B}}\right)= \\
& \quad \operatorname{softmax}\left(\frac{\left(W_{\mathrm{Q}} X_{\mathrm{A}}\right)\left(W_{\mathrm{K}} X_{\mathrm{B}}\right)^{\top}}{\sqrt{d}}\right)\left(W_{\mathrm{V}} X_{\mathrm{B}}\right), \\
& \operatorname{SelfAttn}\left(X_{\mathrm{A}}\right)=\operatorname{CrossAttn}\left(X_{\mathrm{A}}, X_{\mathrm{A}}\right)
\end{aligned}
$

ここに, $W_{\mathrm{Q}} \in \mathbb{R}^{d_{\mathrm{q}} \times d_{\text {in }}}, W_{\mathrm{K}} \in \mathbb{R}^{d_{\mathrm{k}} \times d_{\text {in }}}, W_{\mathrm{V}} \in \mathbb{R}^{d_{\mathrm{v}} \times d_{\text {in }}}$ はいずれも学習可能な重みである。また，次のエン コーダブロックに入力される情報量を制御するため に，以下のようなゲート構造を導入する。

$
f_{\text {gate }}(X)=X \odot \tanh (W \boldsymbol{h})
$

ここに, $\boldsymbol{h}$ は中間層の出力, $W$ は学習可能な重みで あり，。はアダマール積を表す.

$i$ 番目のエンコーダブロックでは，はじめ に $\boldsymbol{h}_{\text {tok }}^{(i)}=\operatorname{SelfAttn}\left(Z^{(i)}\right)$ という処理を実行する. $Z^{(1)}=Z$ は感情トークンを表す. 次に，グリッド特徵量 $X_{\text {grd }}^{(i)}$ をとに $\boldsymbol{h}_{\text {tok }}^{(i)}$ にゲート付き相互注意演算 を適用する。

$
\boldsymbol{h}_{\text {grd }}^{(i)}=f_{\text {grd_gate }}\left(\operatorname{CrossAttn}\left(\boldsymbol{h}_{\text {tok }}^{(i)}, W_{\text {grd }}^{(i)} X_{\text {grd }}^{(i)}\right)\right)
$

ここに, $\left.\{W_{\mathrm{grd}}^{(i)} \in \mathbb{R}^{d_{\mathrm{enc}} \times d_{\mathrm{grd}}^{(i)}} \mid i=1,2, \ldots, N\right.\}$ は学習可能 な重みであり， $f_{\text {grd_gate }}(\cdot)$ は $f_{\text {gate }}(\cdot)$ と同様の構造を 有する.また，同様の処理により， $X_{\mathrm{rgn}}$ をもとに $\boldsymbol{h}_{\mathrm{rgn}}^{(i)}$ を獲得する. 最後に, $\tilde{\boldsymbol{h}}_{\mathrm{tok}}^{(i)}=\mathrm{FFN}\left(\boldsymbol{h}_{\mathrm{grd}}^{(i)}+\boldsymbol{h}_{\mathrm{rgn}}^{(i)}\right)$ という 処理を実行する.

$X_{\mathrm{emo}}$ および $X_{\mathrm{jnt}}$ は，条件付けモジュールによって 視覚情報に統合される. はじめに，相互注意機構に より $X_{\mathrm{emo}}$ をエンコードした後，以下のように順伝播型ニューラルネットワークに入力する.

$
\boldsymbol{h}_{\mathrm{emo}}^{(i)}=\operatorname{FFN}\left(X_{\mathrm{emo}}\right) \odot \mathrm{FFN}\left(\operatorname{Cross} \operatorname{Attn}\left(X_{\mathrm{emo}}, \tilde{\boldsymbol{h}}_{\mathrm{tok}}^{(i)}\right)\right)
$

続いて, $\tilde{\boldsymbol{h}}_{\text {emo }}^{(i)}=f_{\text {emo_gate }}\left(\boldsymbol{h}_{\text {emo }}^{(i)}\right)$ という処理を実行す る. $f_{\text {emo_gate }}(\cdot)$ は $f_{\text {gate }}(\cdot)$ と同様の構造を有する.ま た，同様の処理により， $X_{\mathrm{jnt}}$ をととに $\tilde{\boldsymbol{h}}_{\mathrm{jnt}}^{(i)}$ を獲得す る. 最後に, $\tilde{Z}^{(i)}=\tilde{\boldsymbol{h}}_{\text {tok }}+\tilde{\boldsymbol{h}}_{\text {jnt }}^{(i)}+\tilde{\boldsymbol{h}}_{\text {emo }}^{(i)}$ という処理に よって出力 $\tilde{Z}^{(i)}$ を獲得する.

図 2 提案手法のネットワーク構造

## 3.3 Decoder

エンコーダと同様に，デコーダも複数のブロッ クから構成される. [3] に従って, 各デコーダブ ロックは，最後のエンコーダブロックの出力のみな らず，全てのエンコーダブロックの出力を考慮し た相互注意演算を実行する. エンコーダの出力群 $\left.\{\tilde{Z}^{(i)} \mid i=1,2, \ldots, N\right.\}$ をもとに，デコーダは説明文を 生成する.

$i$ 番目のデコーダブロックでは，はじめに前のブ ロックの出力 $Y^{(i)}$ をマスク付き自己注意機構 [15] に 入力した後， $\tilde{Z}^{(j)}$ との間で相互注意演算を実行する ことで， $\boldsymbol{h}_{\mathrm{seq}}^{(i, j)}$ を獲得する。なお， $Y^{(1)}=\hat{Y}$ は生成さ れた単語群を表し, 学習中は Teacher Forcing を採用 する. 次に，各レベルの出力をゲート構造に入力し た後，それらを足し合わせる。

$
\tilde{\boldsymbol{h}}_{\text {seq }}^{(i)}=\sum_{j=1}^{N} f_{\text {seq_gate }}^{(i)}\left(\boldsymbol{h}_{\text {seq }}^{(i, j)}\right)
$

$\left.\{f_{\text {seq_gate }}^{(i)}(\cdot) \mid i=1,2, \ldots, N\right.\}$ は $f_{\text {gate }}(\cdot)$ と同様の構造を有 する. 最後に, $\tilde{Y}^{(i)}=\mathrm{FFN}\left(\tilde{\boldsymbol{h}}_{\text {seq }}^{(i)}\right)$ という処理によって 出力 $\tilde{Y}^{(i)}$ を獲得する。なお，損失関数には交差エン トロピー誤差を使用する。

## 4 実験

## 4.1 実験設定

本実験では，AIC タスクにおける提案手法の性能を調査した．モデルの評価には ArtEmis データ セット [11]を使用した. ArtEmis データセットは, WikiArt から収集した 80,381 枚の絵画および 454,684
の感情と説明文のペアから構成される. 語彙サイ ズは 37,250 ，全単語数は $7,229,476$ ，平均文長は 15.9 である. 本実験では， [11] に従って当該データセッ トを分割した。訓練集合，検証集合，テスト集合の サンプル数はそれぞれ 338,777，19,931，39,850であ る. 訓練集合と検証集合を用いてそれぞれモデルの パラメータの更新とハイパーパラメータのチューニ ングを行い，テスト集合によってモデルの性能を測定した。

本手法で使用したエンコーダ・デコーダは, 層数 が 3，隠れ層の次元数が 512， Attention Head の数が 8 であり，感情トークンの数 $N_{\mathrm{tok}}$ は 50 であった. 最適化には Adamを使用し，エポック数は 20 ，バッチ サイズは 32 であった.

提案モデルのパラメータ数は 6800 万であった.学習には，メモリ 32GB 搭載の Tesla V100を 4 台使用し， 12 時間を要した. また，1つの説明文の生成 に要する時間は 0.03 秒であった. 学習中は, 各エ ポックにおいて検証集合およびテスト集合によるモ デルの評価を行い，検証集合において最も METEOR スコアが高かったときのテスト集合におけるスコア を，最終的なモデルのスコアとした。

## 4.2 定量的結果

ベースライン手法との比較に関する定量的結果を 表 1 に示す. 各スコアは， 5 回の実験における平均値および標準偏差を表す. 本実験では，Show Attend Tell (SAT)[16] および M2[3] をべースライン手法とし た.これは，当該手法が代表的な説明文生成手法で あり，ArtEmisにおいて良好な結果が報告されてい るためである.
表 1 ベースライン手法との比較に関する定量的結果

表 2 Ablation studiesに関する定量的結果

2 節で言及した自動評価尺度群のうち, [17]に 従って CIDEr および SPICE を主要評価尺度に定め た。以降は各手法の CIDEr スコアのみに言及する。提案手法は 15.4 ポイントである一方，SAT と M2 は それぞれ 12.8 ポイントと 13.8 ポイントであった. したがって，提案手法は SAT と M2をそれぞれ 2.6 ポイントと 1.6 ポイント上回った.

## 4.3 Ablation Studies

Ablation Studies には，以下の 2 条件を定めた.

(i)W/o conditioning modules: 条件付けモジュール を用いた感情・視覚情報の統合手法の代わり に，各エンコーダブロックの最後でそれぞれの 特徵量を単純に連結する場合に対して，性能差 を調査した。

(ii)More/fewer affective tokens: $N_{\text {tok }}$ を増減させるこ とで，性能への影響を調査した。本実験では， $N_{\text {tok }}$ が 10，25，100，200 の場合の性能を比較 した.

表 2 に結果を示す。“CM”は “Conditioning Module” を表す。(i) の条件では CIDEr スコアが 14.5 であっ た. full の条件と比較してスコアが 0.8 ポイント下回っていることから，条件付けモジュールが感情の 埋め込み表現と画像特徴量のモデル化に有効である と考えられる。また，(ii)-a，(ii)-b，(ii)-c，(ii)-dの条件では，CIDEr スコアがそれぞれ 15.0，15.4，15.6， 15.0 であった. したがって，提案手法は感情トーク ンが 100 のときに最良のスコアを達成した。 (a)

Fear

Amusement
Ref.: This guy has a very scary look on his face, like he's a mysterious stranger who is up to no good.

M2: The man in the painting looks like he is angry about something.

Ours: This man looks like he's up to no good since he's wearing a suit.

Ref.: The sway of the trees seems like they are alive. The colors are vibrant and lively.

M2: The tree looks like it's growing out of the ground.

Ours: The trees look like they are dancing in the wind.

図 3 定性的結果

## 4.4 定性的結果

図 3 に定性的結果を示す. 図 3-(a)では, $E=$ =“fear” であった。提案手法は “This man looks like he’s up to no good since he's wearing a suit." という説明文を生成 したのに対し，ベースライン手法は “The man in the painting looks like he is angry about something." という 説明文を生成した。ベースライン手法と異なり，提案手法は指定された感情である “fear”を適切に反映 できたと考えられる。

図 3-(b) では， $E=$ =“amusement”であった. 提案手法の生成文は “The trees look like they are dancing in the wind.”であったが，ベースライン手法は “The tree looks like it's growing out of the ground." と生成した.提案手法はベースライン手法に比べて，より鑑賞者の感情を考慮した説明文を生成できたと考えら れる。

## 5 おわりに

本研究では，絵画に対する鑑賞者の感情を考慮し た説明文を生成するモデルを構築した. 本研究の貢献を以下に示す.

・ゲート付き相互注意機構を用いて，視覚情報を 感情ラベルで条件付けする AVE モジュールを 提案した。

・エンコーダにおいて，画像の領域・グリッド 特徵量を融合するための感情トークンを導入 した.

・ArtEmis データセットにおいて，提案手法が ベースライン手法を全ての評価尺度で上回る性能を得た。

## 謝辞

本研究の一部は，JSPS 科研費 $20 \mathrm{H} 04269$ ，JST CREST，NEDO の助成を受けて実施されたもので ある.

## 参考文献

[1] Saki Asakawa, João Guerreiro, Dragan Ahmetovic, et al. The Present and Future of Museum Accessibility for People with Visual Impairments. In ASSETS, pp. 382-384, 2018.

[2] Leo Tolstoy and Aylmer Maude. What Is Art? Oxford University Press, 1959.

[3] Marcella Cornia, Matteo Stefanini, Lorenzo Baraldi, and Rita Cucchiara. Meshed-Memory Transformer for Image Captioning. In CVPR, pp. 10578-10587, 2020.

[4] Van-Quang Nguyen, Masanori Suganuma, and Takayuki Okatani. GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features. In ECCV, 2022.

[5] Alec Radford, Jong Wook Kim, Chris Hallacy, et al. Learning Transferable Visual Models From Natural Language Supervision. In ICML, pp. 8748-8763, 2021.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[7] Satanjeev Banerjee and Alon Lavie. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In ACL, pp. 65-72, 2005.

[8] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In ACL, pp. 74-81, 2004.

[9] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based Image Description Evaluation. In CVPR, pp. 4566-4575, 2015.

[10] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: Semantic Propositional Image Caption Evaluation. In ECCV, pp. 382-398, 2016.

[11] Panos Achlioptas, Maks Ovsjanikov, Kilichbek Haydarov, Mohamed Elhoseiny, et al. ArtEmis: Affective Language for Visual Art. In CVPR, pp. 11569-11579, 2021.

[12] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, et al. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. In ICCV, pp. 10012-10022, 2021.

[13] Ranjay Krishna, et al. Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations. IJCV, Vol. 123, No. 1, pp. 32-73, 2017.

[14] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In NeurIPS, Vol. 28, 2015.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, et al. Attention is all you need. In NeurIPS, Vol. 30, 2017.

[16] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, et al. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. In ICML, pp. 2048-2057, 2015.

[17] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, et al. From Show to Tell: A Survey on Deep Learning-based Image Captioning. arXiv preprint arXiv:2107.06912, 2021.

[18] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jer- ret Ross, and Vaibhava Goel. Self-critical Sequence Training for Image Captioning. In CVPR, pp. 7008-7024, 2017.

[19] Simao Herdade, Armin Kappeler, Kofi Boakye, and Joao Soares. Image Captioning: Transforming Objects into Words. In NeurIPS, Vol. 32, 2019.

[20] Luowei Zhou, Hamid Palangi, Lei Zhang, et al. Unified Vision-Language Pre-Training for Image Captioning and VQA. In AAAI, Vol. 34, pp. 13041-13049, 2020.

[21] Aly Magassouba, Komei Sugiura, and Hisashi Kawai. Multimodal Attention Branch Network for PerspectiveFree Sentence Generation. In CoRL, pp. 76-85, 2020.

[22] Tadashi Ogura, et al. Alleviating the Burden of Labeling: Sentence Generation by Attention Branch EncoderDecoder Network. IEEE RA-L, Vol. 5, No. 4, pp. 59455952, 2020.

[23] Motonari Kambara, et al. Case Relation Transformer: A Crossmodal Language Generation Model for Fetching Instructions. IEEE RA-L, Vol. 6, No. 4, pp. 8371-8378, 2021.

[24] Cesc Chunseong Park, Byeongchang Kim, et al. Attend to You: Personalized Image Captioning with Context Sequence Memory Networks. In CVPR, pp. 895-903, 2017.

[25] Cesc Chunseong Park, et al. Towards Personalized Image Captioning via Multimodal Memory Networks. IEEE Trans. PAMI, Vol. 41, No. 4, pp. 999-1012, 2018.

[26] Yuya Miyoshi, et al. Automatic Affective Image Captioning System using Emotion Estimation. Trans. of Japan Society of Kansei Engineering, Vol. 18, , 2019.

[27] Yiming Zhang, Min Zhang, Sai Wu, and Junbo Zhao. Towards unifying the label space for aspect-and sentencebased sentiment analysis. In ACL, pp. 20-30, 2022.

[28] Marten De Raedt, Fréderic Godin, Chris Develder, et al. Robustifying sentiment classification by maximally exploiting few counterfactuals. In EMNLP, 2022.

[29] Tomoyuki Kajiwara, et al. WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations. In NAACL, pp. 2095-2104, 2021.

## A 関連研究

説明文生成の分野においては，これまで多くの研究が行われている $[16,18,19,20]$. 代表的なサーべ イ論文としては [17] が挙げられる。

Dense Captioning は，自然言語に基づき，画像を領域単位で密に説明するものである。特に $[21,22,23]$ は，画像中の物体に関する把持文を生成するモデル を提案している. Personalized Captioning は, 利用者 が有する知識や語彙，文体等を考慮した説明文の生成に取り組むものである $[24,25,26]$.

自然言語と感情に関する研究も多く実施されて いる．DPL[27] は，入力文に対してアスペクトベー スの感情分類を行う手法である. [28] は，反事実的 サンプルを訓練集合に加えることで，感情分類器の 頑健性を向上させる研究である．また，WRIME[29] は感情分析の分野における標準データセットであ り，SNS 上の日本語の投稿に対する書き手および読 み手の感情から構成される。


# Representative Data Selection for Sequence-to-Sequence Pre-training

Haiyue Song ${ }^{1,2}$ Raj Dabre ${ }^{2}$ Zhuoyuan Mao $^{1} \quad$ Chenhui Chu $^{1} \quad$ Sadao Kurohashi $^{1}$
${ }^{1}$ Kyoto University ${ }^{2}$ NICT
\{song, zhuoyuanmao, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
$\{$ raj.dabre $\}$ @nict.go.jp
}

\begin{abstract}
Pre-trained sequence-to-sequence models such as BART [1] have helped improve natural language generation quality. However, training large models is resourceconsuming. We propose a data selection algorithm that selects a tiny but representative subset from billion-scale datasets. Experimental results show that pre-training with $0.26 \%$ data and $4.4 \%$ energy consumption achieves about 90\% BLEU scores on machine translation (MT) tasks and ROUGE scores on text summarization tasks, compared to pre-training on the entire dataset. Compared to random selection baselines, it shows lower perplexity (PPL), higher BLEU and ROUGE scores.
\end{abstract
## 1 Introduction

Pre-training and then fine-tuning is a widely-used paradigm for natural language processing $[2,3]$. However, training pre-trained models such as BART $[1,4]$, IndicBART [5], mT5 [6] usually takes hundreds to thousands of GPU days. Previous works focus on reducing the parameters of the model [7], but there are very few studies [8] related to shrinking the dataset, which can also reduce computational costs.

In this work, we propose a clustering-based representative data selection algorithm. As illustrated in Figure 1, we first convert discrete sentences into continuous embeddings. Then, we perform large-scale and efficient clustering of the sentences based on the embeddings. From each cluster, we select several centroid points according to the scale of the cluster. The centroids from each cluster are combined to form the representative subset. Furthermore, we propose to combine an unsupervised outlier detection method to remove noisy data points. We calculate the

Figure 1: Centroids of clusters as representative data. Each component stands for one cluster with close sentence embeddings. Mapped to 2-D with t-SNE [9].

center point of the entire embedding space and filter out points distant from the center. Experimental results show that with $0.26 \%$ data of the entire dataset and $4.4 \%$ energy comsumption, it can obtain relatively high performance on MT and text summarization tasks, only 2 to 4 points lower in terms of BLEU and ROUGE scores.

## 2 Related Work

Supervised Data Selection In-domain data selection $[10,11,12]$ focuses on extracting sentences from a large general-domain corpus that are most relevant to a target domain. Trusted data or clean selection $[13,14]$ aims to select trusted (clean) data from a general-domain corpus given a small trusted (clean) dataset. They all rank data according to the cross-entropy difference [10] between a general language model (LM) and a target LM, where the
target LM is trained on in-domain data, trusted data, or clean data. However, they require supervision and only solve one particular downstream task.

## Small Scale Representative Data Selection

Representative data selection finds a small subset of the original dataset that captures the most information. Previous methods include calculating the mutual information and relative entropy [15], converting to a sparse multiple measurement vector problem [16]. They are slow and require large memory, therefore, can only handle approximately 10k data points; however, billions of sentences are used in pre-training.

## 3 Representative Data Selection

We introduce the representative data selection approach to extract a fraction from a multi-million to billion scale dataset. It consists of the following steps:

Continuous Embedding Conversion In order to perform clustering, we first convert discrete data such as sentences into continuous representations in a common space. Suppose there is a set containing $n$ sentences $S=\left.\{s_{1}, \ldots, s_{n}\right.\}$. We convert $S$ into embedding set $E=\left.\{e_{1}, \ldots, e_{n}\right.\}$ as following:

$
e_{i}=f\left(s_{i} \mid \theta\right), \quad f: \mathbb{S} \rightarrow \mathbb{R}^{d}
$

where $f$ denotes the sentence-to-vector model, $\theta$ is the parameters of $f, d$ is the dimension of the output vector and $\mathbb{S}$ is a set of all the natural language sentences. Here $f$ can be sent2vec [17] or sentBERT [18].

Outlier Detection We apply an outlier detection algorithm [19] to eliminate noisy data in an unsupervised manner. We first calculate the center of the embedding space $e_{c}$ and filter outliers whose distance from $e_{c}$ is greater than two standard deviations. The de-noised embedding set contains $m$ points, $E^{\prime}=\left.\{e_{1}^{\prime}, \ldots, e_{m}^{\prime}\right.\}$. More precisely:

$
\begin{aligned}
& e_{c}=\operatorname{center}(E)=\frac{1}{n} \sum_{i} e_{i} \\
& E^{\prime}=\left.\{e_{i}^{\prime} \mid e_{i}^{\prime} \in E,\left.\|e_{i}^{\prime}-e_{c}\right.\|<2 \sigma\right.\}
\end{aligned}
$

where $\sigma$ denotes the standard deviation.

Clustering and Selection Suppose we select a subset $S^{\prime}$ containing $k$ sentences. We first apply efficient K-Means algorithm on GPUs [20] to create $k$ clusters $c_{1}, \ldots, c_{k}$ from $E^{\prime}$. For each cluster $c_{i}$ with size $\left|c_{i}\right|$, we select $\frac{k}{m} *\left|c_{i}\right|$ sentences whose embeddings are the nearest from the center of $c_{i}$, forming $S_{c_{i}}^{\prime}=\left.\{e_{1}^{\left(c_{i}\right)}, \ldots, e_{N}^{\left(c_{i}\right)}\right.\}$ :

$
S_{c_{i}}^{\prime}=\underset{\left.\{e_{j}^{\left(c_{i}\right)} \in c_{i}\right.\}}{\arg \min } \sum_{j=1}^{N}\left.\|e_{j}^{\left(c_{i}\right)}-\operatorname{center}\left(c_{i}\right)\right.\|
$

where $N=\frac{k}{m}\left|c_{i}\right|$.

The representative set $S^{\prime}$ of the entire dataset $S$ is the union of all representative sets from each cluster:

$
S^{\prime}=\bigcup_{i=1}^{k} S_{c_{i}}^{\prime}, \quad\left|S^{\prime}\right|=\sum_{i=1}^{k} \frac{k}{m} *\left|c_{i}\right|=k
$

## 4 Experiments

## 4.1 Settings

## Datasets
- Pre-train: IndicCorp [21] that contains a total of 458M sentences in 11 Indian languages and English.
- MT: PMI dataset [22] from WAT2021 MultiIndicMT task [23].
- Summarization: data in 7 Indic languages from multilingual XLSum dataset [24].

We applied script unification for all Indic languages to Devanagari, following mBART50 [4] and IndicBART [5]. Across all experiments, we used the IndicBART vocabulary of $64 \mathrm{k}$ subwords. ${ }^{1 \text { ) }}$

## - Pre-train Methods Comparison
- w/o Pre-train: directly train on downstream tasks from random parameters initialization.
- Random: pre-trained on $k$ randomly selected sentences.
- Random+RemoveOutlier (RO): first remove outliers, then apply Random.
- Repre: pre-train on $k$ sentences by representative data selection w/o outlier detection.
- Repre+RemoveOutlier (RO): first remove outliers, then apply Repre.
- Full: use $458 \mathrm{M}$ monolingual sentences in the IndicCorp dataset.

We compare proposed Repre and Repre+RO methods with two baselines Random and Random+RO. We set $k$ to $1.2 M$ and select sentences from different languages while keeping their proportions in the IndicCorp dataset. We follow fine-tuning settings in [5].

1) Download: https://github.com/AI4Bharat/indic-bart

## - Representative Data Selection Settings
- Continuous Embedding Conversion: we trained one Sent2vec [17] model for each language on IndicCorp data with default settings and sentence embedding dimension to 768 .
- Clustering Algorithm: we used GPU-implemented K-Means in the Faiss toolkit [20].

Model Hyperparameters We followed the settings of IndicBART ${ }^{2}$ and used the yanmmt toolkit ${ }^{3)}$ based on Hugging Face. ${ }^{4}$ )
- Architecture: transformer model of 6 encoder layers and 6 decoder layers with 16 attention heads.
- Training: we used 8 GPUs with a batch size of 4,096 tokens during pre-training and 2,048 tokens during fine-tuning. We trained $200 \mathrm{k}$ steps in pre-training and apply early stopping to fine-tuning.

## 4.2 Pre-trained Model Perplexity

We report our results in terms of the perplexities obtained on a mix of all dev sets from the PMI dataset that contains high-quality data from 10 Indian languages and English. As shown in Figure 2, proposed Repre method showed approximately 0.15 lower minimal PPL than Random. Furthermore, RO is effective for both Random and Repre methods.

## 4.3 Energy Consumption Comparison
- Full: trained on 48 V100 GPUs for 750k steps [5].
- Proposed: trained on 8 V100 GPUs for 200k steps.

Therefore, our approach reduces the energy consumption to $4.4 \%$ 5) compared with Full. $^{6 \text { ) }}$

## 4.4 MT Results

As presented in Table 3, proposed methods yield the highest BLEU scores for all pairs compared with baselines. With $4.4 \%$ energy consumption, our results are only 2-4 BLEU points lower than Full. Additionally, RO helps both Random and Repre.

2) https://github.com/AI4Bharat/indic-bart

3) https://github.com/prajdabre/yanmtt

4) https://huggingface.co
5) $(8 * 200 \mathrm{k}) /(48 * 750 \mathrm{k})=4.4 \%$

6) Training sent 2 vec models and clustering consumes very little energy in comparison.

Figure 2: Perplexity curves of pre-trained models on the PMI dev sets.

## 4.5 Summarization Results

As expressed by Table 1, proposed methods achieve higher ROUGE-L F-scores than baselines. Especially for low-resource bn language that contains only 80k training points, Repre is more robust than Random.

Table 1: ROUGE-L F1 scores on the summarization task.

## 4.6 Outlier Detection Examples

We show examples of normal sentences and outliers. We extract 300 English sentences from IndicCorp and apply the outlier detection algorithm to form Figure 3 together with Table 2. We can find that outlier sentences contain more proper nouns and disfluent phrases.

Table 2: The corresponding sentences in Figure 3.

 \\

Table 3: Performance on the MT task. Report sacreBLEU [25] scores on the WAT2021 MultiIndicMT test set.

Figure 3: Outlier detection. High-dimensional embeddings are mapped into 3-D points by t-SNE [9].

## 4.7 Sentence Clustering Examples

Table 4 shows the clustering results. In each cluster, the centroid is the most relevant from all other points. For example, in the first cluster, sentences are related to "Earth", "Jupiter", "ocean planet", "Life on Earth" and the sentence related to "Earth" is the centroid.
Table 4: Example of clusters. The centroids of the clusters are representative data.

 \\

## 5 Conclusion

In this paper, we propose a representative data selection algorithm together with an unsupervised outlier detection algorithm. With only $0.26 \%$ data and $4.4 \%$ energy consumption of the full model, proposed methods show reasonable performance on MT and text summarization tasks, and much higher performance compared to baselines.

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Numbers JP21J23124.

## References

[1] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In ACL.2020, pp. 7871-7880, Online, July 2020.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL.2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019

[3] Liu Zhuang, Lin Wayne, Shi Ya, and Zhao Jun. A Robustly Optimized BERT Pre-training Approach with Posttraining. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[4] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingual Translation with Extensible Multilingual Pretraining and Finetuning, 2020.

[5] Raj Dabre, Himani Shrotriya, Anoop Kunchukuttan, Ratish Puduppully, Mitesh M. Khapra, and Pratyush Kumar. IndicBART: A Pre-trained Model for Natural Language Generation of Indic Languages, 2021.

[6] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A Massively Multilingual Pre-trained Textto-Text Transformer. In NAACL-HLT.2021, pp. 483-498, Online, June 2021.

[7] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations, 2019.

[8] Ernie Chang, Xiaoyu Shen, Hui-Syuan Yeh, and Vera Demberg. On Training Instance Selection for Few-Shot Neural Text Generation. In ACL-IJCNLP.2021, pp. 8-13, Online, August 2021. Association for Computational Linguistics.

[9] Laurens van der Maaten and Geoffrey Hinton. Visualizing Data using t-SNE. Journal of Machine Learning Research, Vol. 9, No. 86, pp. 2579-2605, 2008.

[10] Robert C. Moore and William Lewis. Intelligent Selection of Language Model Training Data. In ACL.2010, pp. 220224, Uppsala, Sweden, July 2010.

[11] Amittai Axelrod, Xiaodong He, and Jianfeng Gao. Domain Adaptation via Pseudo In-Domain Data Selection. In EMNLP.2011, pp. 355-362, Edinburgh, Scotland, UK., July 2011.

[12] Marlies van der Wees, Arianna Bisazza, and Christof Monz. Dynamic Data Selection for Neural Machine Trans- lation. In EMNLP.2017, pp. 1400-1410, Copenhagen, Denmark, September 2017.

[13] Wei Wang, Taro Watanabe, Macduff Hughes, Tetsuji Nakagawa, and Ciprian Chelba. Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 133-143, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[14] Wei Wang, Isaac Caswell, and Ciprian Chelba. Dynamically Composing Domain-Data Selection with Clean-Data Selection by "Co-Curricular Learning" for Neural Machine Translation. In ACL.2019, Florence, Italy, July 2019.

[15] Feng Pan, Wei Wang, A.K.H. Tung, and Jiong Yang. Finding representative set from massive data. In ICDM.2005, pp. 8 pp.-, 2005.

[16] Ehsan Elhamifar, Guillermo Sapiro, and René Vidal. See All by Looking at a Few: Sparse Modeling for Finding Representative Objects. In CVPR.2012, pp. 1600-1607, 2012.

[17] Prakhar Gupta, Matteo Pagliardini, and Martin Jaggi. Better Word Embeddings by Disentangling Contextual nGram Information. In NAACL-HLT.2019, pp. 933-939, Minneapolis, Minnesota, June 2019.

[18] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In EMNLP-IJCNLP.2019, pp. 3982-3992, Hong Kong, China, November 2019.

[19] Stefan Larson, Anish Mahendran, Andrew Lee, Jonathan K. Kummerfeld, Parker Hill, Michael A. Laurenzano, Johann Hauswald, Lingjia Tang, and Jason Mars. Outlier Detection for Improved Data Quality and Diversity in Dialog Systems. In NAACL-HLT.2019, pp. 517-527, Minneapolis, Minnesota, June 2019

[20] Jeff Johnson, Matthijs Douze, and Hervé Jégou. BillionScale Similarity Search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2021.

[21] Divyanshu Kakwani, Anoop Kunchukuttan, Satish Golla, Gokul N.C., Avik Bhattacharyya, Mitesh M. Khapra, and Pratyush Kumar. IndicNLPSuite: Monolingual Corpora, Evaluation Benchmarks and Pre-trained Multilingual Language Models for Indian Languages.

[22] Barry Haddow and Faheem Kirefu. PMIndia - A Collection of Parallel Corpora of Languages of India, 2020.

[23] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, Chenhui Chu, Akiko Eriguchi, Kaori Abe, Yusuke Oda, and Sadao Kurohashi. Overview of the 8th Workshop on Asian Translation. In WAT.2021, pp. 1-45, Online, August 2021.

[24] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages. In Findings of ACL-IJCNLP.2021, pp. 4693-4703, Online, August 2021.

[25] Matt Post. A Call for Clarity in Reporting BLEU Scores.


# 日本語 GPT を用いたトークナイザの影響の調査

井上 誠一 ${ }^{12}$ Nguyen Tung ${ }^{1}$ 中町礼文 ${ }^{1}$ 李 聖哲 ${ }^{1}$ 佐藤 敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 東京都立大学
\{seiichi.inoue, tung.nguyen, akifumi.nakamachi,
shengzhe.li, toshinori.sato\}@linecorp.co.jp

## 概要

本研究では，大規模言語モデルである日本語 GPT を用いて，Byte-level Byte Pair Encoding トークナイザ の構築方法や語彙サイズの違いによる言語モデルの 性能を比較し分析した．具体的には，日本語テキス トを対象としたトークナイザ構築において，トーク ナイザの構築に用いるテキストの事前分割，トーク ナイズ時の分かち書きの有無，語彙サイズという観点で調査を行った.

## 1 はじめに

近年，GPT-3 [1]をはじめとした大規模言語モデ ルが注目を集めており，自然言語処理のさまざまな タスクの性能を向上させている. 言語モデルの構築 において，モデル化するテキストの単位を検討する ことは重要であるが，モデルのアーキテクチャや言語，またタスクによって適切なトークナイザは異 なる [2]. 例えば，Alyafeai ら [3] は，アラビア語に おいて, 複数の異なるトークナイズ手法を用いて 感情分析と文書分類を行っており，ほとんどの夕 スクにおいて，単語レベルのトークナイザを小さ な語彙サイズで学習させたものが最良の結果とな ることを示した. また，Pan ら [4] は，トルコ語と ウルグアイ語の機械翻訳において，形態素解析を 行なった後に Byte Pair Encoding (BPE) [5] の学習を 行うことで，通常の BPE を使用する場合に比べて 性能が向上することを示した。しかし，これらは GRU [6] や Transformer [7] を対象としており, GPT におけるトークナイザの比較，分析は行われてい ない。また，GPTでは，トークナイザに Byte-level Byte Pair Encoding (Byte-level BPE) [8] が用いられる が，現時点では対象の言語が英語や韓国語 $[1,9]$ に 限られており，日本語を中心としたコーパスに対す る Byte-level BPE の分析は行われていない. そこで，本研究では，条件の異なるトークナイザ
を用いて，日本語 GPT の事前学習と含意関係認識 タスクを用いた転移学習を行い1)，トークナイザの 違いが言語モデルの事前学習や下流タスクに与える 影響を示し，分析する。

以下に本研究の貢献を示す:

・Byte-level BPEトークナイザについて，トークナ イザの構築に用いるテキストの事前分割，トー クナイズ時の分かち書きの有無，語彙サイズと いう観点で比較を行い，分析した。

・日本語 GPTを用いた含意関係認識タスクにお けるトークナイザの違いによる影響を比較し，分析した.

## 2 関連研究

## 2.1 Generative Pre-training of a Language Model (GPT)

GPT [1,10,11] は，Transformer decoder をべースと した，大規模なコーパスを用いて教師なしで学習 される自己回帰型言語モデルである．具体的には， コーパス $\mathrm{X}=\left(x_{1}, x_{2}, \ldots, x_{N}\right)$ の可変長のトークン列 を $x_{n}=\left(s_{1}, s_{2}, \ldots, s_{M}\right)$ としたとき，以下の目的関数 を最大化することで学習される:

$
p\left(x_{n}\right)=\prod_{i=1}^{M} P\left(s_{i} \mid s_{i-k}, \ldots, s_{i-1}\right)
$

ただし， $k$ は文脈窓幅であり，条件付き確率 $P$ は ニューラルネットワークを用いてモデル化される.

## 2.2 Byte-level Byte Pair Encoding

GPT では，トークナイザとして，頻度に基づい た単語分割を学習する手法の一つである Byte-level BPE が用いられている．BPEが文字レベルでのトー クンを学習するのに対し, Byte-level BPE は Byte レ ベルでトークンを学習しており，基本的には BPE と

1） GPT の構築には Megatron-LM を用いた: https://github. com/NVIDIA/Megatron-LM.
同じアルゴリズムで構築される。

Kim ら [9] は，韓国語を中心としたコーパスを用 いて GPTを構築した. トークナイズにおいて，韓国語は英語とは異なる言語特性をもつため，生のテ キストを用いてトークナイザの構築を行うのではな く, 形態素解析器を用いてコーパスを事前に形態素 に分割してから Byte-level BPEを学習している. し かし，日本語は単語と単語の間にスペースが含まれ ないなど，韓国語とも言語的な特徵が異なっている ため, 日本語において同様の処理を行うことが適切 であるかは自明でない.

## 2.3 トークナイザ分析

日本語トークナイザ構築における辞書選択菊地ら [12] は, 日本語 BERT を対象として, トーク ナイザの入力時において文章を形態素に分割する 際に用いる辞書の違いによる性能を，分類タスク を用いて比較した. しかし, 菊池らは, 事前学習と ファインチューニングでトークナイザを統一して いないため，トークナイザ選択による影響を正確に 調査できていない。また，これはトークナイザに SentencePiece [13] を用いた BERT に限定された研究 であるため, GPT における Byte-level BPE において 同様の結果となるかは定かではない。

語彙サイズの選択Gowda ら [14]は，機械翻訳に おける適切な語彙サイズに関する分析を行ってお り，BPEにおいて語彙サイズを大きくすることが性能の向上につながることを示した. また, Xuら [15] も，機械翻訳において，語彙サイズを変化させた時 の BLEU [16] のスコアの変化量 (Marginal Utility of Vocabularization: MUV）について最適輸送を用いて 最適化する手法を提案した. しかし，これらは日本語を対象とはしておらず，日本語コーパスにおける トークナイザの語彙サイズについては分析されてい ない.

## 2.4 含意関係認識

含意関係認識とは，以下に示すようなテキストと 仮説を与え，テキストと仮説の間に含意，矛盾，中立のどの関係があるかの判別をシステムで行うタス クである。

テキスト 鉢植えの植物のあるテーブルの前で，笑顔の男性の隣に座っている女性が笑っている。

仮説 女性は笑っている。

推論判定 含意表 1 前処理後の JSNLI データセットの統計量.

## 3 実験

## 3.1 データセット

事前学習GPT の事前学習には, Wikipedia, ニュースサイト，ブログサイト，新聞等の日本語を 中心としたテキストから構築されたコーパスを用い た. 前処理として，重複する文書の削除，ランダム サンプリングを行い，最終的に学習に使用したコー パスのサイズは $10 \mathrm{~GB}$ となった.

評価タスク 本研究では，GPTの性能比較のた めの評価タスクとして日本語 SNLI（JSNLI）デー タセット [17]を用いた. JSNLI は，含意関係認識の データセットである SNLIを日本語に翻訳したもの であり，SNLIに機械翻訳を適用した後，評価デー タにクラウドソーシングによるフィルタリング，学習データに計算機による自動フィルタリングを施 すことで構築されている. 本研究では, 公開されて いるデータセットのうち，フィルタリング後の学習 データを用い，それに対し学習コストの問題から， さらに 1/10 のランダムサンプリングを行い，それ を9:1で学習データと開発データに分割した. 評価 データについては，公開されているものをそのまま 用いた. 表 1 にデータセットの統計量を示す.

## 3.2 事前学習

GPT の事前学習において，モデルの Layer 数を 12, Hidden dimension を 512, Attention Head の数を 8 とした。また，学習率は $1 \mathrm{e}-4$, バッチサイズは $56^{22}$ とし, iteration 数は $1,000,000$ とした。

## 3.3 転移学習

GPT で評価タスクを解く際は，転移学習やファイ ンチューニングによるモデルの調整を行わず，推論時にタスクに関する説明と少量のデモンストレー ションを与える few-shot 設定を用いるのが一般的で ある.しかし, 本研究では, 計算コストの問題から GPT のパラメータ数を小さくしており, few-shot 設

定では十分な性能が出せないと予測できるため, 評価セットを用いた転移学習を行う．含意関係認識夕 スクに向けた転移学習の際は, Zhao ら [18] に従い, テキストと仮説に続く推論判定を文字列で予測させ た. 入力に続く文字列を予測させて評価する際は，予測の先頭のトークンを用いて正誤を判定するのが 一般的である [19]. そのため本研究では, 正誤判定 に用いる予測ラベルを 1 トークンで表現できるよう に，含意 $\rightarrow$ “正”，矛盾 $\rightarrow$ “誤”，中立 $\rightarrow$ “不可” と正解ラベルを設定した．転移学習において，モデルの アーキテクチャは事前学習と同様にし, 学習率を事前学習時より小さい値の $5 \mathrm{e}-5$, バッチサイズを 32 とした. また, iteration 数は 15,000 とし, 以下では 全て最後の iteration におけるモデルのパラメータを 用いて評価を行った。

## 3.4 実験設定

本研究では, GPTのトークナイザとして Byte-level BPE を用いる. トークナイザの比較条件を以下の 3 点とした:

・トークナイザ構築時のテキストの事前分割の有無と辞書選択

・トークナイズ時の分かち書きの有無

・トークナイザ構築時の語彙サイズの選択

そして，次に示すように 2 ステップに分けて実験を 行なう.

辞書選択と事前分割に関する予備実験 まず， トークナイザ構築において，予備実験では語彙サイ ズを $50,257^{\text {3) }}$ で固定とする.また，トークナイザ構築に用いるテキストは, unidic ${ }^{4)} /$ ipadic $^{5)}$ を用いて 事前分割されたものに加えて事前分割を行わないも のの 3 種類とする. これらのトークナイザを用いて GPT の事前学習, 転移学習を行い, スコアを元に比較を行う．ただし，上記のトークナイザのうち，事前分割を行ったテキストを用いて構築されたもの は，トークナイズ時に分かち書きを行う場合と行わ ない場合での比較も行う. 予備実験の詳細を表 2 に 示した.

語彙サイズの実験 語彙サイズの実験では，事前分割の有無と辞書選択, トークナイズ時の分かち書 きの有無を，下流タスクの性能が予備実験において

図 1 辞書選択と事前分割に関する予備実験における各 トークナイザの事前学習における validation loss の推移

最良だったもので固定とする。語彙サイズについて は, 25,257 から 125,257 まで 25,000 ずつ変化させ，予備実験と同様に GPT の事前学習，転移学習を行 い，スコアを元に比較を行う。

## 3.5 予備実験の結果

まず，辞書選択と事前分割に関する予備実験にお ける各トークナイザの統計量を表 2 に示す. 事前分割したテキストを用いて構築されたトークナイザに 対しては，トークナイズ時の分かち書きを行った場合と行わなかった場合のトークン化された文章長を それぞれ別途記載した。トークン長については，事前分割の有無，辞書の違いによって大きな差がない ことがわかる．他と比べて， none のトークン長の標準偏差と比べて大きくなっているが，これは，辞書 を用いて形態素に事前分割されたテキストを用いて トークナイザを構築する場合，形態素を超えてマー ジが行われないが，生のテキストからマージを学習 する none は比較的長いトークンができやすいから であると推測できる. 文章長については，上述の理由から none が一番短くなっている他，トークナイ ズ時の分かち書きを行った方が僅かに文章長が短く なることが確認された。

これらのトークナイザと条件を用いて事前学習を 行った際の loss の推移を図 1 に，転移学習を行なっ た結果を表 2 に示した. 事前学習の結果からは以下 の条件:

・トークナイザ構築に用いるテキストの事前分割 を行う

・事前分割には unidic を用いる

・トークナイズ時の分かち書きは行わない

で性能が高いことがわかる。転移学習では，評価 タスクのスコアは事前学習の結果の傾向と異なり, トークナイズ時の分かち書きを行った方が性能が高
表 2 辞書選択と事前分割に関する予備実験における各トークナイザの統計量と転移学習の結果

表 3 語彙サイズの実験における各トークナイザの統計量 と転移学習の結果

い結果となった.

以上の結果を踏まえて，語彙サイズの実験には下流タスクで最もスコアが高かった unidic w/ seg の条件を用いる。

## 3.6 語彙サイズの実験の結果

語彙サイズの実験における各トークナイザの統計量を表 3 に示す. 語彙サイズが大きくなるに従っ て，トークン長の平均が長くなり，トークン化され た文章長が短くなっていることがわかる. これは マージが増えることでトークン化の際の語彙のマッ チ率が上がるためと推測できる。

事前学習における loss の推移を図 2 に，転移学習 の結果を表 3 に示す. 事前学習においては，語彙サ イズが小さい，つまり文章長が長くなるトークナイ ザを用いた方が性能が高い傾向がみられた。転移学習での結果は，予備実験での結果の際と同じように 事前学習時と異なっており，loss が低くなる小さな 語彙サイズで構築されたトークナイザではなく，語彙サイズが比較的大きめな 100,257 のトークナイザ を用いた際にスコアが最も高くなっている。

## 4 議論

予備実験と語彙サイズの実験を通して，トークナ イザの統計量と性能の関係性を観察すると，事前学習においては「文章長が長い方が性能が高くなる」 という仮説が得られる. これは，文章長が長くなる と，モデルの計算量は増加するため ${ }^{6)}$ ，スケーリン グの法則 [20] に類似した現象である可能性も考えら

6） 特に，attention 部分の計算が 2 乗のオーダーで大きくなる.

図 2 語彙サイズの実験における各トークナイザの事前学習における validation loss の推移

れる。予備実験において，転移学習の結果とは異な り，事前学習においては，分かち書きを行わうと性能が悪くなる傾向がみられた。これは，上述の仮説 に基づくと，分かち書きを行うことにより，入力が トークナイザ構築に用いたテキストと同じになるた め，トークナイズ時の語彙のマッチ率が上がり，平均的に文章長が短くなることで事前学習の性能が悪 くなっていると考えられる。語彙サイズの実験にお いても，同様に結果を解釈することができる。一方 で，予備実験，語彙サイズの実験のどちらにおいて も，転移学習時は必ずしも上述の仮説通りの結果と はなっていない。これは，下流タスクでは，トーク ンの持つ性質として，仮説のような機械学習的にメ リットのある性質よりも，言語学的な性質の方が重要な場合があるからではないかと考える. ${ }^{7)}$

## 5 まとめと今後の展望

本研究では，日本語 GPT におけるトークナイザ の影響を調査し，様々な条件における性能比較と分析を行った. 今後は，4 節での考察を元に，機械学習的な性質と言語学的な性質の関係性を明らかにす るため，他の下流タスクを用いた評価を含めたさら なる調査を行っていきたい.

7） 仮説の極端な例として，「語彙が基本語彙の 256 トークンし かないトークナイザ」を考えると，ほとんどの単語が最小単位で表現され，文章長が長くなるが，事前学習時の性能が仮 に良かったとしても，トークナイズされた文章が言語学的に 意味を持っているとは言い難い.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, et al. 2020. Language Models Are Few-Shot Learners. Advances in Neural Information Processing Systems, vol. 33, 1877-1901.

[2] Sabrina J. Mielke, Zaid Alyafeai, Elizabeth Salesky, Colin Raffel, Manan Dey, Matthias Gallé, Arun Raja, et al. 2021. Between Words and Characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2112.10508.

[3] Zaid Alyafeai, Maged S. Al-shaibani, Mustafa Ghaleb, and Irfan Ahmad. 2021. Evaluating Various Tokenizers for Arabic Text Classification. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2106.07540.

[4] Yirong Pan, Xiao Li, Yating Yang, and Rui Dong. 2020. Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2001.01589.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, vol. 1, 1715-25.

[6] Junyoung Chung, Caglar Gulcehre, Kyunghyun Cho, and Yoshua Bengio. 2014. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. Presented in NIPS 2014 Deep Learning and Representation Learning Workshop.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Ł. Ukasz Kaiser, and Illia Polosukhin. 2017. Attention Is All You Need. In Advances in Neural Information Processing Systems, vol. 30, 5998-6008.

[8] Changhan Wang, Kyunghyun Cho, and Jiatao Gu. 2020. Neural Machine Translation with Byte-Level Subwords. In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 34, 9154-9160.

[9] Boseop Kim, Hyoungseok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Dong Hyeon Jeon, Sunghyun Park, et al. 2021. What Changes Can Large-Scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-Scale Korean Generative Pretrained Transformers. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2109.04650.

[10] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving Language Understanding by Generative Pre-Training.

[11] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, and Others. 2019. Language Models Are Unsupervised Multitask Learners. OpenAI Blog 1 (8): 9.

[12] 築地 俊平, 新納 浩幸. Tokenizer の違いによる日本語 BERT モデルの性能評価. 2021. 言語処理学会 第 27 回年次大会.

[13] Taku Kudo, and John Richardson. 2018. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 66-71.

[14] Thamme Gowda, and Jonathan May. 2020. Finding the Optimal Vocabulary Size for Neural Machine Translation. In Findings of the Association for Computational Linguistics: EMNLP 2020, 3955-64.

[15] Jingjing Xu, Hao Zhou, Chun Gan, Zaixiang Zheng, and Lei Li. 2021. Vocabulary Learning via Optimal Transport for Neural Machine Translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, vol. 1, 7361-73.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. 2002. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311-18.

[17]吉越 卓見, 河原 大輔, 黒橋禎夫. 2020. 機械翻訳を用 いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会.

[18] Tony Z. Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. 2021. Calibrate before Use: Improving Few-Shot Performance of Language Models. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2102.09690.

[19] Neel Alex, Eli Lifland, Lewis Tunstall, Abhishek Thakur, Pegah Maham, C. Jess Riedel, Emmie Hine, et al. 2021. RAFT: A Real-World Few-Shot Text Classification Benchmark. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2109.14076.

[20] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. 2020. Scaling Laws for Neural Language Models. arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2001.08361.


# End-to-End 学習可能な記号処理層の検討と 数量推論への応用における課題の分析

吉川 将司 ${ }^{1,2}$ Benjamin Heinzerling ${ }^{2}$ 乾 健太郎 ${ }^{1,2}$
東北大学 ${ }^{1}$ 理化学研究所 ${ }^{2}$
\{yoshikawa, inui\}@tohoku.ac.jp benjamin.heinzerling@riken.jp

## 概要

記号処理の仕組みを DNN の微分可能な層として 組み込み，end-to-end 学習可能にする方法を検討し， その応用として四則演算プログラム (電卓) 付き文章読解モデルを構築する. さらに，一般的な設定にお いて提案モデルが電卓を活用するように学習しない 問題に対し，人工データにより原因を調査をする。

## 1 はじめに

本稿では，離散記号処理関数 $F$ を中間層として持 つような DNN モデルを構築し，全体を誤差逆伝搬法によって end-to-end に学習する方法を検討する。 また，その応用例として二項四則演算プログラム (電卓) 付き文章読解モデル (図 1)を構築し，数量推論を要する文章読解 (e.g., DROP [1]) に取り組む. ${ }^{1)}$

F は一般的なプログラミング言語における適当な 数の引数を取る関数 (サブルーチン) である. 課題 として，F の微分則は不明な上，一般にDNN の中間の活性化を離散值に落とせば勾配が消失し， $F$ よ り上流の層 (図 1 の $\mathrm{N}_{1}$ ) を最終タスクの損失 $\ell(y)$ に よって学習させることができない，そこで，本稿で は 離散分布のサンプリングに対する微分可能な緩和を行う Gumbel Softmax trick (§2) を応用すること で，DNNに組み込み end-to-end 学習可能にする $F$ の 代替を構築する方法を提示する。

電卓付き文章読解モデル (図 1) は，文章読解にお いて標準的なスパン抽出 $[3,4]$ によるモデル (推論層)への入力を電卓の計算結果で拡張するものであ る. 項抽出層が電卓への入力を予測し，電卓で四則演算を行い，推論層はその結果を活用して解答を行 う. 全体を微分可能にすることで，項抽出層を最終 タスクの損失を最小化するように学習できる．数量推論は (文章理解の上に, ) 広大な数の空間の構造

図 1 電卓付き文章読解モデル. 詳細は本文参照.

表 1 事前実験例.DROP dev データ中の比較を問う問題 (Orig) に対し，人手で数量を入れ替え問題を作り変えた (Other; 300 件). 提案モデルは電卓以外の根拠に依り頻繁に誤答してしまった。下の文例は説明のため簡潔であ るが，実際は Wikipedia 文章である。

Orig (元の DROP の事例; F 值: 79.4)

$\mathrm{X}$ has 2 pens. $\mathrm{Y}$ has 3 pens. Who has more pens? $\Rightarrow \mathrm{Y}$

Other (数量と答えを大㣗替え; F-1: 20.2)

$\mathrm{X}$ has 3 pens. $\mathrm{Y}$ has 2 pens. Who has more pens? $\Rightarrow \mathrm{X}$

とその上の演算をモデルに理解させる必要がある が，その仕組みを外部知識層として括りだすことで データ効率や推論の頑健性において強力なモデルが 構築可能と考える. 提案法は潜在変数モデルと関連 し(§3)，理屈上，モデル全体としては電卓を活用し ながら解答するように学習されると期待できる。

しかし，実際に構築したモデルは，期待される形 で電卓を使わず，別の根拠に依る解法を選好するよ うになってしまった. この点が本稿第 2 の課題であ る. 表 1 は予備実験の結果であるが，DROP [1] の
一部2）でモデルを訓練した後，評価セット中の比較問題 (表中 Orig) に対し手を加え作成した別の事例 (Other) で性能を評価した. ${ }^{3)}$ 比較問題は, 2 つの個体を数的な性質で比較する問題であるが，電卓で数 の差を計算し，その符号に従って正しい個体を選択 する，というのが最適な戦法に思われる。しかし，表が示すように，モデルは電卓を活用しないだけで なく，問題中の数を入れ替えてもその結果を反映せ ず，非本質的な根拠に依存しているようである．外部知識層を組み込む場合，モデル全体を end-to-end 学習可能にするだけではなく, モデルにその知識の 有用性を認識させることが重要な課題である. ${ }^{4)}$

本稿では，上述の問題に対し人工的な問題を用 い調査を行う。人工データは, 問題の形式に加え, DNN が敏感な分布的な偏りも制御できる. 調査の 結果, DROP で典型的な比較問題は電卓がなくとも DNN にとって簡単であり, 問題を少し複雑にすれば 提案モデルでも電卓を活用することがわかった。

## 2 DNN における離散記号変数

提案法は離散潜在変数モデルに関連するため，こ こで簡潔にまとめる.5)このモデルは $x$ から $y$ への 離散潜在変数 $z \in \mathscr{Z}$ 介した生成過程を表し，パラ メータ $\theta, \psi$ の確率分布で以下のように表される.

$
p_{\theta, \psi}(y \mid x)=\mathbb{E}_{p_{\theta}(z \mid x)}\left[p_{\psi}(y \mid z, x)\right] .
$

DNN ベースの自然言語処理への応用では検索によ る言語モデル $[6,7]$ が有名である. このモデルでは,入力テキスト $x$ に対し, Wikipedia 記事 $z$ を検索し (モデル $p_{\theta}(z \mid x)$ ), その記事を活用しながら $\mathrm{QA}$ 等の 目的タスクを解く(resp. $\left.p_{\psi}(y \mid x, z)\right)$.

多くの場合，潜在空間 $は$ は大であり，訓練では 上の期待値は少数のサンプル $\left.\{z_{i}\right.\}_{i=1}^{N}(N \ll|£|)$ で近似される。しかし、これは $\theta$ による勾配の偏推定， ひいて学習の不安定性を招く可能性がある [8].

Gumbel-Softmax (GS) trick 潜在変数モデルの 安定した勾配の近似計算のために GS trick [9] が提案されている. 潜在空間 $\mathscr{~} の$ 要素を $d(=|\mathscr{E}|)$ 次元

2) 解答に 2 数の減算を要する比較, 差, 補部問題 1.4 万件 [5].

3）提案モデルは数量を答える差問題 (How many more pens does $X$ have than $Y$ ?) に対しては安定して高い性能を示す.

4）関連して，検索による言語モデル [6] において，固有表現を 重視した事前学習が，他タスクでの性能に大きく貢献すると いう非自明な結果も注目に値する。

5） 記法: $\mathbf{1}_{k}(k \in \mathbb{N})$ で $k$ 番目の要素が 1 の適当な次元の one-hot ベクトルを表す. $\boldsymbol{x} \in \mathbb{R}^{n}$ に対し, $\operatorname{argmax}(\boldsymbol{x})$ は最大の要素 $x_{k}$ に対応する $\mathbf{1}_{k}$ を返す. argmax に関する議論では簡単のため $x_{k}$ の大きさで同率一位になることはないと仮定する. one-hot ベクトルで表現する $\left(\mathscr{I}=\left.\{\mathbf{1}_{i}\right.\}_{i=1}^{d}\right)$. さらに， $p_{\theta}(z \mid x)$ はスコア関数 $\boldsymbol{f}^{\theta}(x) \in \mathbb{R}^{d}$ と Softmax 関数で 表現されると仮定する。

$p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right)=\operatorname{softmax}_{\tau, i}\left(\boldsymbol{f}^{\theta}(x)\right)=\frac{\exp \left(f_{i}^{\theta}(x) / \tau\right)}{\sum_{j} \exp \left(f_{j}^{\theta}(x) / \tau\right)}$. ここで $\tau>0$ は温度パラメータである. Gumbel trick $[10,11]$ によれば式 (1)の期待值に対して, Gumbel 分布 $p_{\varepsilon}$ を用いて以下が成り立つ. ${ }^{6)}$

$
(1)=\mathbb{E}_{\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}}\left[p_{\psi}\left(y \mid x, \operatorname{argmax}\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)\right] .
$

$\operatorname{argmax}$ の微分はほとんど至るところ 0 であるため、 GS trick では $\lim _{\tau \rightarrow 0} \operatorname{softmax}_{\tau}(s)=\operatorname{argmax}(s)$ に着目 し softmax の期待値を 1 つの Gumbel ノイズ $\boldsymbol{\varepsilon}$ のみを用いて近似しても安定して学習できることが経験的に知ら れ，以下に対する誤差逆伝播法によって式 (1)のパ ラメータを end-to-end に最適化することができる.7)

$p_{\psi}\left(y \mid x, \operatorname{softmax}_{\tau}\left(f^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)$ where $\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}$.

また [9] では，順伝搬時には $\operatorname{argmax} を$ 用い，逆伝搬時にその Jacobi 行列 $\frac{\partial \operatorname{argmax}}{\partial s}(s)(=0)$ を softmax の もので代用する Straight-Through Gumbel-Softmax と いう手法も提案されている. 本稿ではこの亜種の微分可能 $\operatorname{argmax}$ を $\operatorname{argmax}_{\partial}$ と書くことにする.

## 3 微分可能な記号処理層

本研究の鍵は，前節の技術を応用すれば多くの記号処理関数 $F$ を簡単に深層モデルの微分可能な 1 層 $F$ に変換できるということである。この方法は，驚 くほどに単純である上， $F$ の上流ネットワーク $\mathrm{N}_{1}$ が $F$ への入力を学習し, 下層ネットワーク $\mathrm{N}_{2}$ に対し $F$ の出力が役立つようなものとなることを保証する.

命題 $1 K$ 個の項空間 $\mathscr{A}_{i}, K$ 引数記号処理関数 $F$ を考える。 $F$ は $\left(a_{1}, \ldots, a_{K}\right) \in \mathscr{A}=\mathscr{A}_{1} \times \cdots \times \mathscr{A}_{K}$ を記号処理の結果を表す可変長のトークン 列 $r=\left(r_{1}, \ldots, r_{*}\right) \in \mathscr{V}^{*}$ に変換する.このとき,対応する微分可能な $F$ は, $s \in \mathbb{R}^{|\mathcal{A}|}$ をすべて の $\mathrm{a} \in \mathscr{A}$ に対するスコア $s_{\mathrm{a}}$ のベクトルとし、 $R=\left[\mathbf{1}_{r_{1}}, \mathbf{1}_{r_{2}}, \ldots, \mathbf{1}_{r_{*}}\right]^{\top} \in \mathbb{R}^{* *|\mathscr{V}|}$ を $\hat{\mathrm{a}}=\arg \max _{\mathrm{a} \in \mathcal{A}} s_{\mathrm{a}}$ に 対する計算結果とした $F: s \mapsto R$ として構築できる.

$F$ から $F$ の構築は簡単である. $i$ 番目の項の 組み合わせを $\left(a_{i, 1}, \ldots, a_{i, K}\right)$ とし, $F\left(a_{i, 1}, \ldots, a_{i, K}\right)=$
6) $\varepsilon \in \mathbb{R}^{d} . u_{i}$ を $[0,1]$ 上の一様ノイズとし, $\varepsilon_{i}=-\log \left(-\log u_{i}\right)$.

7）一般の離散分布 $\pi$ に対する GS trick は， softmax $(\log \pi+\varepsilon)$ であるが, $\pi=\operatorname{softmax}\left(\boldsymbol{f}^{\theta}\right)$ の場合 $\operatorname{sof} \operatorname{tmax}\left(\boldsymbol{f}^{\theta}+\boldsymbol{\varepsilon}\right)$ と等しい.
$\left(r_{i, 1}, \ldots, r_{i, n_{i}}\right)$, さらに計算結果の one-hot 表現を $E_{i}=\left[\mathbf{1}_{r_{i, 1}}, \ldots, \mathbf{1}_{r_{i, n_{i}}}\right]^{\top}$ とすると, $s$ に対して微分可能 $\operatorname{argmax}$ を適用して得た重み $z$ による $E_{i}$ の重み付き 和として $F$ は表現される:

$
z=\operatorname{argmax}_{\partial}(s), \quad F(s)=\sum_{i=1}^{|\mathscr{A}|} z_{i} E_{i}
$

ここで、可変行数の行列 $E_{i}$ の和は適当に後部に 0 埋めを行うことで可能とする.

このようにして得た記号処理層 $F$ は，微分可能 argmax，ひいては潜在変数モデルと関連し，理屈的 には $F$ を中間層とするモデルは $F$ を活用するよう に学習する. この点については付録 $\mathrm{A}$ にまとめる.

## 4 電卓付き文章読解モデル

前節でのアイデアに基づき電卓付き文章読解モ デル (図 1)を構築する。 $P, Q$ を文章と質問のトー クン列とし, まとめて $x=(P, Q)$ とする. 変数 $y$ は $Q$ に対する答えである. また $\mathscr{I}(x)$ は電卓への入力候補の集合であり， $x$ に出現するすべての数量のぺ アを要素とする. $\mathscr{I}(x)$ の要素は $d=|\mathscr{I}(x)|$ 次元の one-hot ベクトルで表すこともある.

項抽出層 まず $x$ 中から電卓への入力 $z \in \mathscr{E}(x)$ を 予測する. 確率分布としては以下のように書ける.

$
p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right) \propto \exp f_{i}^{\theta}(x) .
$

ここで $\boldsymbol{f}^{\theta}(x) \in \mathbb{R}^{d}$ はすべての $(a, b) \in \mathscr{I}(x)$ に対す るスコアであり, BERT [12] で $x$ を走査して得た表現ベクトルで, 数量 $a, b$ を表すトークン列で先頭の もの (e.g., “1 \#\# \#2 \#\#3”)を連結し 2 層 ReLU ネット ワークで変換して得られる。

電卓層 式 (2) に従って抽出された数量に対し,電卓 $F$ は二項四則演算の計算を行い結果を文字列 として返す. 本研究では演算として足し算と引き算 を用い，すべての演算結果を列挙して返す. 例え ば $F(72,23)=" 95=72+23,59=72-23$, $-59=23$ - 72" などとする. この電卓を $\S 3$ の手法に基づき記号処理層 $F$ に変換しモデルに含める.

推論層 推論層 $p_{\psi}(y \mid x, F(s))$ は文章読解において 標準的なスパン抽出 $[3,4]$ によるものであるが，質問 $Q$, 文章 $P$ に加え電卓の計算結果文字列 $F(s)$ か らも回答を抽出することができる点が異なる.

$
p_{\psi}(y \mid x, F(s))=\sum_{(s, t) \in \mathcal{Y}(x, y)} q_{\psi}((s, t) \mid x, F(s))
$

ここで， $y(x, y)$ は添字の組 $(s, t)$ であり,トークン 列“[CLS] $Q$ [SEP] $P$ [SEP] $F(s)$ [SEP]” 上で $s$ か表 2 実験データの例. 斜体で示した部分を譲渡文と 呼ぶ. どちらの問も根拠として, 9,816,091 (- 6,224,450)> $3,002,489$ である (括弧内は譲渡文ありの場合).

P: John has 5,903,204 grapes, Mark has 8,907,756 grapes, Ryan has 7,646,494 grapes, Anna has 9,816,091 grapes, Kenneth has 8,091,683 grapes, Johnny has 1,078,950 grapes, Carl has 3,002,489 grapes, Alice has 5,953,680 grapes, Grace has 6,279,638 grapes, Kyle has 6,940,318 grapes, Anna gave 6,224,450 grapes to Grace.

$\max \mathbf{Q}$ : What is the maximum number of grapes owned either by Anna or Carl? A: 3,591,641

$\operatorname{argmax} Q$ : Who has more grapes: Anna or Carl? A:

Anna

ら $t$ 番目のトークン列が $y$ に一致するようなものの 集合である. $q_{\psi}$ は BERT で同じ文字列を走査して 得たベクトル列の関数である.

訓練 上述の 3 層を合成すると、提案モデルは $p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)\right)\right)$ である. GS trick (§2) との関連か ら，このモデルの訓練には，電卓の使い方を探索す るため Gumbel ノイズ $\varepsilon \sim p_{\varepsilon}$ を加える. 従って，学習では訓練データ上で以下の損失を最小化する。

$
\ell_{\mathrm{end}}=-\log p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)
$

注意として，順伝搬時に動的に得られた電卓の計算結果トークン列 $F(\hat{z})\left(\right.$ with $\left.\hat{z}=\operatorname{argmax}\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)$ 中 にラベル $y$ が含まれる場合，モデルはそのスパンも 抽出するように更新される.

層ごとの教師信号 提案モデルの強みの 1 つに，層ごとの訓練が可能なことがある. 具体的に，本研究では項抽出層に対して専用の教師信号 $\ell_{\text {arg }}$ を加え ることを考える. 訓練事例 $(x, y)$ に対し $y$ が数量で あれば $x$ 中の 2 数 $(a, b)$ で $F(a, b)$ が $y$ を含むような ものを全探索し抽出層の訓練に利用する。このよう にして得たラベルと式 (2)の間の binary cross entropy を $\ell_{\text {arg }}$ とし， $\ell_{\text {end }}+\ell_{\text {arg }}$ で全体を訓練する．以下の実験では，人工的な設定ゆえに真の項抽出ラベルが手 に入るが，現実的な問題設定を考慮して上の手続き で得られるもののみをラベルとして利用する.

## 5 実験

実験データ 実験には表 2 のような人工文章読解問題を用いる。人工データは，問題の構造そのもの に加え，モデルが敏感なデータの偏りを制御でき る. 基本的に，ランダムに人が所有する物体 (grapes,
表 3 主な実験結果 (F1/項正答率). 各設定ごとに訓練・評価に用いるデータは異なる. 列は含まれる問題のタイ プ，行は各事例に譲渡文が含まれるかを表す。

表 4 汎化実験. 6 析以下の数字のみを含む 2 万件で訓練後, 7 桁の $\operatorname{argmax}$ 問題のみの評価セットで $\mathrm{F} 1$ /項正答率を 評価。訓練/評価セットいずれも譲渡文を含む。

} & argmax & $72.0 /-$ & $74.9 / 2.0$ \\
\cline { 2 - 4 } & max+argmax & - & $78.5 / 99.8$

etc.) を列挙し，それらの間の max/argmax 関係を問 う. 析数に基づいて大小関係が推論できてしまうこ とを防ぐため, 明示的に言及しない限り出現する数 をすべて 7 桁で固定する。特殊な場合として，譲渡文 (例最後の斜体文)を含める。このとき，質問は必 ず譲渡イベントに参与した人について問うことに する。譲渡文なしでは，数量推論として所有物の数量の比較が必要であるが, 譲渡文ありの場合は譲渡 による所有物の数量の変化を含む 2 段階の計算をす る必要がある. 訓練/評価には 2 万 $/ 2$ 千件を用いる.問題の構造上, 項抽出損失 $\ell_{\text {arg }}$ は譲渡文ありの $\max$問題の一部のみ ${ }^{8}$ に与えられ，argmax 問題ではタス ク損失 $\ell_{\text {end }}$ から抽出方法を学習する必要がある.

項抽出層，推論層では bert-base-uncasedを 用い，パラメータを共有させる。既存研究 [4] に従い，入力中の数量は桁ごとに分割する (例: $123 \mapsto 1$ \#\#2 \#\# 3). 評価指標として, DROP と同様のF1 スコアと項抽出の正答率 (2 項完答で 1 点) を 報告する. 項抽出は，譲渡文なしの場合は所有物の 数量の比較に関するもの, 譲渡文ありの場合は譲渡 による数量の変化に関係する 2 項を正解とみなす.

## 5.1 実験結果

表 3 亿問題のタイプ，譲渡文の有無を変えて訓練 と評価を行った結果を示す. 譲渡文なしの $\operatorname{argmax}$問題は, 構造的に DROP の比較問題に対応するが， §1での予備実験と同様に提案モデルは高い $\mathrm{F} 1$ を示 す一方で，電卓は活用できていないことが観察でき る. 図 2 は，同じモデルで $\operatorname{argmax}$ 問題の事例を解 かせたときに，入力と電卓計算結果のどのトークン に注目しているかを勾配べースの手法 [13] で可視化

8）表 2 の例において譲渡文が Douglas gave 7,000,000 grapes to Grace. であれば max Q の答えが変わるため存在しない.

図 2 譲渡文なし， argmax 問題で訓練したモデルによる 評価事例中のトークン重要度. $\hat{s}$ と $\hat{y}$ を項抽出層, 推論層 の予測とし, 各トークン $x_{i}$ の推論層入力の埋め込み表現 $\boldsymbol{e}_{x_{i}}$ について $\left.\|\nabla_{\boldsymbol{e}_{x_{i}}}\left(-\log p_{\psi}(\hat{y} \mid x, F(\hat{\boldsymbol{s}}))\right)\right.\|$ の大きさを示す.

したものであるが，モデルが敏感に反応しうるデー タの偏りを極力廃した人工データでは，明らかに比較すべき人物と関連する数量 (の最初の数桁) に注目しており，この種の問題では電卓を利用せずとも BERT 内部で解法を見つけることが可能であると示唆される。同様の観察から譲渡文なしの max 問題も 電卓を使わずに解くことができるようである.

譲渡文ありの実験においては， $\max$ の設定で項正答率が $100 \%$ に達した. この事の要因の 1 つに, こ の設定では項抽出損失 $\ell_{\text {arg }}$ の効果があると推察さ れる。また $\operatorname{argmax} の み, ~ \max$ と $\operatorname{argmax}$ 両方を含む 場合の 2 つを比べると後者の項正答率の高さから, max で得た電卓の使い方を $\operatorname{argmax}$ 問題に般化して 活用するように学習できていることが観察される. これらから，現状の提案モデルが電卓を使うために は，(1) 2 段の推論を要する等数量推論問題が簡単す ぎないこと，(2) max 問題等で項抽出の仕方を少し 教えることの 2 点が有効であることが推測される.

最後に，提案モデルの未知の析の数に対する頑健性を評価した (表 4). 表 2 と同じ譲渡文ありの事例 で 6 析以下の数のみ含む 2 万件 ${ }^{9)}$ で訓練した後， 7 枌の数のみ出現する 2 千件で評価したところ，電卓 を活用できるモデルが最も高い頑健性 (F1) と動作の 解釈性 (項正答率)を有していることがわかった.

## 6 終わりに

本稿では記号処理関数をDNN の微分可能な層 として組み込む方法を検討し，その応用として電卓付き文章読解モデルを構築した．前者の鍵は Gumbel-Softmax trickを拡張することである．応用 では，人工データによる実験でモデルの挙動の癖が 明らかになったが，一般的な設定で電卓の有用性を モデルに認識させることは今後の課題である.

9） [14] に倣い，事例に出現する数量 $v$ を $d \sim U\{1, \ldots, 6\}, v \sim$ $U\left[10^{d-1}, 10^{d}-1\right]$ の 2 段階の一様サンプリングで得ることで 事例に含まれる数が大きな値に偏ることを防いだ。
謝辞本研究は JST CREST JPMJCR20D2 及び JSPS 科研費 20K23314, 21K17814 の助成を受けたも のです.

## 参考文献

[1] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2368-2378, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] 吉川将司, 乾健太郎. 離散記号処理に対する近似的な 微分構造の考察と数量推論を要する文章読解問題 への応用. 言語処理学会年次大会発表論文集, 3 月 2021

[3] Jambay Kinley and Raymond Lin. NABERT+: Improving numerical reasoning in reading comprehension. https: //github.com/raylin1000/drop-bert, 2019.

[4] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online, July 2020. Association for Computational Linguistics.

[5] Tushar Khot, Daniel Khashabi, Kyle Richardson, Peter Clark, and Ashish Sabharwal. Text modular networks: Learning to decompose tasks in the language of existing models, June 2021.

[6] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Mingwei Chang. Retrieval augmented language model pre-training. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 3929-3938, Virtual, 13-18 Jul 2020. PMLR.

[7] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020.

[8] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, Vol. 8, No. 3, pp. 229-256, 1992.

[9] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparametrization with gumbel-softmax. In Proceedings International Conference on Learning Representations 2017. OpenReviews.net, April 2017.

[10] Emil Julius Gumbel. Statistical Theory of Extreme Values and Some Practical Applications. A Se- ries of Lectures. U.S. Government Printing Office, 1954.

[11] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In International Conference on Learning Representations, 2017.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps, 2014.

[14] Rodrigo Nogueira, Zhiying Jiang, and Jimmy Lin. Investigating the limitations of transformers with simple arithmetic tasks, 2021

## A $\quad \boldsymbol{F$ の上流ネットワーク $\mathrm{N}_{1}$ の学習}

本稿の目的は記号処理関数を DNN の 1 層とし, ネットワークとの合成関数 $x \xrightarrow{\mathrm{N}_{1}} \boldsymbol{s} \xrightarrow{F} F(\boldsymbol{s}) \xrightarrow{\mathrm{N}_{2}} y$ を end-to-end に学習することであった (図 1).これに関 する自然な疑問として，この予測 $y$ に対する損失に よりモデル全体を訓練したときに， $\mathrm{N}_{1}$ は $F$ を介し て $\mathrm{N}_{2}$ に有用な記号処理計算結果を渡すようになる だろうか，ということがある。これについては，GS trickとの関係で肯定的に答えることができる.

命題 2 入力 $x$, 予測 $y, \mathrm{~N}_{1}(x)=s, s$ は $F(=F)$ に 入力されるとする. さらに $\mathrm{N}_{1}$ は $p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right) \propto$ $f_{i}^{\theta}(x), \mathrm{N}_{2}$ は $p_{\psi}(y \mid x, F(z))$ をモデル化する.この とき, Gumbel ノイズで摂動されたこれらの合成 $x \xrightarrow{\mathrm{N}_{1}} \boldsymbol{s} \xrightarrow{F} F(\boldsymbol{s}) \xrightarrow{\mathrm{N}_{2}} y$ は,

$
p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right) \text { with } \boldsymbol{\varepsilon} \sim p_{\varepsilon},
$

であり，これは離散潜在変数モデル $p_{\theta, \psi}(y \mid x)$ を近似的にモデル化する.

計算結果 $F^{\prime}$ の条件付き分布 $p\left(F^{\prime} \mid z\right)$ を仮定すれば $p_{\theta, \psi}(y \mid x)$ は以下のように展開できる.

$
p_{\theta, \psi}(y \mid x)=\sum_{z} \sum_{F^{\prime}} p_{\psi}\left(y \mid x, F^{\prime}\right) p\left(F^{\prime} \mid z\right) p_{\theta}(z \mid x) .
$

$F^{\prime}$ は $z$ から決定的に決まることに加えて, Gumbel trickを用いると，

$
\begin{aligned}
(4) & =\sum_{z} p_{\psi}(y \mid x, F(z)) p_{\theta}(z \mid x) \\
& =\mathbb{E}_{p_{\theta}(z \mid x)}\left[p_{\psi}(y \mid x, F(z))\right] \\
= & \mathbb{E}_{\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}}\left[p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)\right] .
\end{aligned}
$

この式と式 (3) は GS trick のときと同様に近似的の 関係にある。よって，式 (3) に関してパラメータを 最適化すれば， $p_{\theta, \psi}(y \mid x)$ に関する尤度が最大化さ れ，これは一方で $\mathrm{N}_{1}$ が我々の期待するような形で 訓練されることを意味する.

本稿の文章読解モデルは, 式 (4) に基づいて訓練 することも可能であるが，今後の拡張として記号処理層を多段に適用することを念頭に置き，一度の順伝搬と逆伝搬で訓練可能な Gumbel Softmax 式のア プローチを検討する。


# 海馬の記憶インデックスに着想を得たリプレイによる 言語処理タスクの継続学習

前川在 上垣外英剛 船越孝太郎 奥村学
東京工業大学
\{maekawa, kamigaito, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

継続学習は過去に学習したタスクへの破滅的忘却 を防ぎつつ新しいタスクを学習することを目的と する. その手法の一つである生成的リプレイは過去 のタスクのデータを生成モデルにより生成し，新し いタスクのデータに加えることで破滅的忘却を防 ぐ.しかし，この手法には生成サンプルの質や偏り によって継続学習の性能が低下するという問題が ある. 本研究では，脳の海馬の記憶インデックスに 着想を得て，学習サンプルの圧縮表現を用いた条件付けにより，過去の特定の学習サンプルをリプレイ 時に生成可能な生成的リプレイの手法を提案する. SST，QA-SRL，WOZ の 3 つの異なる言語処理タス クのデータセットを対象とした実験の結果，提案手法は継続学習における性能の向上を示した.

## 1 はじめに

新しいタスクを次々と学習する継続学習の能力 は，人間のような知能システムを実現する上での基本要件の一つである [1]. また, 汎用的な継続学習 システムの実現は，新しいタスクに対する学習コス 卜を大幅に減らすため，実応用においても重要であ ると考えられる。しかしながら，ニューラルネット ワークで新しいタスクを学習すると，過去に学習し たタスクに対する性能が著しく低下する破滅的忘却 と呼ばれる現象が起こる [2].

破滅的忘却は，新しいタスクと同時に過去のタス クを再学習することで対処可能であるが，そのため には過去の全タスクのデータを保持しておく必要 があり，ストレージ容量やプライバシーの観点から 問題が生じる場合がある。これに対し，実サンプル の代わりに，生成モデルによる擬似サンプルを利用 する生成的リプレイという手法がある [3]. 一般に 生成的リプレイでは，過去の学習サンプルだけでな
く，タスクに相応しい未知のサンプルの生成も想定 するが，実際に適切な未知のサンプルを生成するこ とは困難であり，質の低いサンプルを生成する原因 になる。また，生成されるサンプルが直前に学習し たタスクに偏ってしまうという問題がある.

継続学習を実現している生物の脳では，海馬イン デックス理論 [4] によると，海馬が新皮質の活動パ ターンを圧縮表現に符号化して記憶し，それをイン デックス情報として新皮質に投射することで過去の 活動パターンが想起されると考えられている. 本研究では，この海馬の働きに着想を得て，学習サンプ ルの圧縮表現による記憶インデックスを用いた生成的リプレイの手法を提案する。各学習サンプルを 圧縮表現に符号化する Encoder と，それを記憶イン デックスとして保持する海馬モジュールを導入し，記憶インデックスを用いた条件付けによって，リプ レイとして過去の特定の学習サンプルを生成するこ とを可能にする。

SST，QA-SRL，WOZ の 3 つの異なる言語処理夕 スクのデータセットを対象とした実験の結果，提案手法は生成サンプルの偏りを防ぎ，継続学習の性能 を向上させることが可能であることを示した.

## 2 関連研究

ニューラルネットワークを用いた継続学習の研究 は大きく，正則化ベース，アーキテクチャベース， リプレイベースの 3 つの手法に分類される。

正則化ベースの手法では，過去のタスクに対して 重要なパラメータが変化しないように制約を加えて 破滅的忘却を防ぐ. 各パラメータの重要度の推定に は，フィッシャー情報行列を利用する手法 [5] や，勾配の大きさを利用する手法 [6] がある.

アーキテクチャベースの手法は，ネットワーク 構造の工夫によってタスク間の知識の干渉を防ぐ. タスクごとにネットワークを拡張する手法 [7] や，
(a) Train

(b) Replay

図 1 提案手法の概要

フィルタを用いてネットワークをプルーニングする 手法 [8] がある.

リプレイベースの手法では，過去に学習したデー タを新しいタスクとともに再学習するリプレイを 用いる. d'Autume ら [9] は，学習データを保持する エピソード記憶モジュールを導入し，リプレイと推論時のパラメータの局所適応に利用した. Shin ら [3] は，生成モデルによる擬似サンプルを利用する 生成的リプレイを提案した。言語処理タスクを対象 とした生成的リプレイの手法には, LAMOL [10] が ある. LAMOL は，タスクとサンプル生成を言語モ デルで同時に学習し, 単一のモデルのみで継続学習 を行う. LAMOL の派生手法として, 知識蒸留を組 み合わせた手法 $[11,12]$ や，生成サンプルのうち忘却度が高いものをリプレイとする手法 [13] がある.

一般に生成的リプレイの手法では，過去の学習サ ンプルを必要としない一方で, 生成サンプルの質や 偏りによる継続学習の性能低下が生じる. そこで本研究では，LAMOL における生成サンプルの質や偏 りを改善するために，記憶インデックスによる条件付けを用いて, リプレイとして過去の特定の学習サ ンプルを生成できる手法を提案する.

## 3 提案手法

提案手法の概要を図 1 に示す. 提案手法ではタス クの学習と同時に Autoencoder としてサンプル生成 を学習する。 その際に得られる特徴べクトルを記憶 インデックスとして海馬モジュールで保持し，リプ レイ時に条件付けとして Decoder に与えて，対応す る学習サンプルを生成する. また，タスク自体も同 じ Decoderに学習させる.

## 3.1 モデル

提案手法は，学習サンプルを符号化する Encoder， タスクとサンプル生成を行う Decoder，記憶イン
デックスを保持する海馬モジュールから構成され る. 以下では各モジュールの詳細を説明する。

## 3.1.1 Encoder

BERT [14] を用いて学習サンプルを固定長の特徴 ベクトルに符号化する. 通常行われる BERT の学習 と同様に，先頭につけた [CLS]トークンの埋め込 みべクトル $\boldsymbol{h}_{[\mathrm{CLS}]} \in \mathbb{R}^{H}$ を入力全体を表す特徴表現 として利用し，重み行列 $\boldsymbol{W}_{\mathrm{E}} \in \mathbb{R}^{P \times H}$ と活性化関数 $\tanh$ を用いて， $P$ 次元の特徴べクトル $\boldsymbol{h} \in \mathbb{R}^{P}$ に変換する (式 1 ).

$
\boldsymbol{h}=\tanh \left(\boldsymbol{W}_{\mathrm{E}} \boldsymbol{h}_{[\mathrm{CLS}]}\right)
$

Encoder のパラメータは，3.2 節で述べる事前学習 でのみ最適化を行い，継続学習時は固定する。これ は，継続学習の過程で学習時と生成時とで特徴べク トルにズレが生じ，記憶インデックスによる制御可能性が著しく低下することを防ぐためである.

## 3.1.2 Decoder

LAMOL [10] のアイデアに基づき，GPT-2 [15] を 用いてタスクとサンプル生成を同時に学習する.

提案手法では, サンプル生成時に, Encoder で符号化した特徴ベクトル $\boldsymbol{h}$ による条件付けを行う. 固定長のベクトルを用いて GPT-2 のテキスト生成を 制御する方法については，先行研究 $[16,17]$ によっ ていくつかの手法が提案されており，そのうち本研究では，以下で説明するように，Embedding 層と Self-Attention 層を利用する手法を用いる.

Embedding 特徴ベクトル $\boldsymbol{h}$ から, 重み行列 $\boldsymbol{W}_{\mathrm{D}} \in \mathbb{R}^{H \times P}$ を用いて GPT-2 の入力埋め込みと同じ $H$ 次元のベクトルに変換し, 各入力トークンの単語埋め込み $\boldsymbol{h}_{\mathrm{WE}}$ と位置埋め込み $\boldsymbol{h}_{\mathrm{PE}}$ を足し合わせ，新 たな入力埋め込み $\boldsymbol{h}_{\mathrm{Emb}}=\boldsymbol{h}_{\mathrm{WE}}+\boldsymbol{h}_{\mathrm{PE}}+\boldsymbol{W}_{\mathrm{D}} \boldsymbol{h}$ とする.

Self-Attention 特徴ベクトル $\boldsymbol{h}$ を重み行列 $\boldsymbol{W}_{\mathrm{M}} \in$ $\mathbb{R}^{L H \times P}$ による線形変換で $\boldsymbol{h}_{\mathrm{Mem}} \in \mathbb{R}^{L H}$ に変換し， $L$個の $H$ 次元ベクトル $\left[\boldsymbol{h}_{\mathrm{Mem}, 1}, \ldots, \boldsymbol{h}_{\mathrm{Mem}, L}\right]$ に分割す る. ただし， $L$ は GPT-2 の層数である. 各 $l$ 層目の Self-Attention において， $\boldsymbol{h}_{\text {Mem,l }}$ を Key, Value ベクト ルに変換して追加の参照情報として利用し， $x_{t}$ を $x_{<t}$ と $\boldsymbol{h}_{\mathrm{Mem}, l}$ の両方で条件づける.

## 3.1.3 海馬モジュール

海馬モジュールは，記憶インデックスとして各学習サンプルの特徴ベクトルを保持する．具体的に

は，新しいタスクの学習時，Encoder で符号化した 特徴ベクトルをタスクごとに分けて保存する。リプ レイ時に，特徴べクトルを過去のすべてのタスクか ら同じ数ずつランダムに取り出して, Decoder のサ ンプル生成の条件付けに使用する.

## 3.2 事前学習

記憶インデックスとして利用する特徴ベクトル は，Decoder で元の学習サンプルを復元できるだけ の十分な情報を含んでいることが望ましい. しか し, BERT の事前学習によって獲得された [CLS] の 埋め込みと，ランダムに初期化された $\boldsymbol{W}_{\mathrm{E}}$ による線形変換では不十分であると考えられる。そこで，テ キストコーパスを用いて教師なしで Autoencoderを 事前学習することで，十分な情報を持った特徴べク トルへの符号化を実現する.

また，言語モデルを Autoencoder と同時に学習す る.これは, Autoencoder の学習により, GPT-2 が 元々持つ言語モデルの情報を失うことを防ぐためで ある.したがって，事前学習では， Autoencoder の損失と言語モデルの損失の和 $L=L_{\mathrm{AE}}+L_{\mathrm{LM}}$ を最小化 するよう, Encoder と Decoder のパラメータを最適化する.

## 3.3 継続学習

## 3.3.1 データ形式

LAMOL と同様に, decaNLP フォーマット [18] に 基づき, Context と Question から Answerを予測する 質問応答として，すべてのタスクを Decoderの GPT-2 で学習する (図 2(a)). サンプル生成は, Encoder で Context, Question, Answer 全体を符号化した特徴べ クトルから，元の入力を復元する Autoencoder とし て学習する (図 2(b)).

## 3.3.2 学習の流れ

継続学習の問題として，タスク列 $\left.\{T_{1}, T_{2}, \ldots\right.\}$ を 考える. 新しいタスク $T_{i}(i>1)$ の学習前に, 海馬 モジュールから特徵ベクトルを $\gamma\left|T_{i}\right|$ 個取り出し, Decoder で対応するサンプルを生成する．ただし， $\left|T_{i}\right|$ はタスク $T_{i}$ の学習サンプルの数であり, $\gamma$ はリ プレイの割合である. 生成サンプルのうち, [ANS] が 1 つでないものと，BERT および GPT-2 の最大系列長を超えているものは棄却し，残りをリプレイと して新しいタスクのデータに加える。

図 2 (a) [ANS] を生成の開始位置を示す特殊トークンと し，質問応答としてタスクを学習. (b) Encoder で符号化 した特徴べクトルによる条件付けを用いて，Decoder で開始トークン [GEN] からサンプル全体を生成.

タスクの損失 $L_{\mathrm{QA}}$ と Autoencoder の損失 $L_{\mathrm{AE}}$ を, サ ンプル生成の損失の重み $\lambda$ を用いて $L=L_{\mathrm{QA}}+\lambda L_{\mathrm{AE}}$ として，Decoderを学習する。

## 4 実験

## 4.1 実験設定

データセット decaNLP [18] から，感情分析 (SST)，意味役割付与 (QA-SRL), 対話状態追跡 (WOZ) の 3 つの異なるタスクのデータセットを使用

トセットを利用した.

比較手法 全手法で GPT-22)を使用し，各タスク を 9 epoch ずつ学習した. 以下に各手法を示す.

提案手法: Encoder には $\mathrm{BERT}_{\mathrm{BASE}}{ }^{3}$ を使用し，サン プル生成の損失の重みは $\lambda=0.25$, 特徴ベクトルの 次元数 $P$ は 128 とした. 先行研究 [10] に合わせ，リ プレイの割合は $\gamma=0.05,0.2$ とした.

LAMOL: 提案手法によるリプレイの条件付けの有効性を検証するためのベースライン．言語モデルと して生成を学習し, [GEN] から top- $k$ サンプリング $(k=20)$ でリプレイサンプルを生成する.

Task-specific tokens: Sun ら [10] が提案した，タスク ごとに開始トークンを変え，生成サンプルが過去の 全タスクで均等になるよう制御する手法. 提案手法 と LAMOL のそれぞれに適用した。

Real sample: 提案手法のリプレイを実サンプルに置 き換える。提案手法の性能上限と考えられる。

Fine-tuning: タスクを 1 つずつファインチューニン グする。継続学習の性能下限と考えられる。

Multitask: 全タスクのデータセットを混合し同時に 学習する。継続学習の性能上限と考えられる。

評価指標 継続学習の性能評価のために，以下の 2 つの評価指標を用いる. ここで $a_{j, i} \in[0,100]$ は夕

表 1 各手法の全 6 パターンの学習順序に対する実験結果とそれらの平均及び標準偏差. 各スコアは 2 回実行した結果 の平均. Proposal および LAMOL の上付き文字はリプレイの割合 $\gamma$ を表し，下付き文字はそれぞれ共通の開始トークン (GEN), Task-specific tokens（TASK），Real sample（REAL）を表す.

図 32 回目のリプレイに含まれる各タスクの生成サンプルの割合

スク $T_{i}$ を学習後のタスク $T_{j}$ の評価結果を表す.

Average Score $\in[0,100]:$ 最終的なモデルの各タスク の評価結果 $a_{T, i}$ の算術平均.

Forgetting Measure $\in[-100,100]:$ Chaudhry ら [20] が 提案した，過去のタスクの忘却度合い. ただし， decaNLP タスクの評価指標に合わせて -100 100の 値をとる．値が小さいほど望ましい。

$
F_{T}=\frac{1}{T-1} \sum_{i=1}^{T-1} f_{T, i} \quad\left(f_{T, i}=\max _{j<T} a_{j, i}-a_{T, i}\right)
$

## 4.2 実験結果

6 パターンすべての学習順序について実験を行っ た結果を表 1 に示す. まず, Fine-tuning の結果から，新しいタスクの学習によって, 過去のタスクに対す る破滅的忘却が生じることが確認できる. 提案手法 の結果は，すべての条件で LAMOL の性能を大きく 上回っており，タスクの学習順序に対する性能のば らつきも抑えられている。これは，継続学習に対し て提案手法が有効であることを示している。

各実験における 2 回目のリプレイ時の生成サン
プルをタスクごとに分類4)した結果を図 3 に示す. LAMOL では生成サンプルの多くが直前のタスクの ものになっており, Task-specific tokens の効果も学習順序によって大きく差がある。これに対して，提案手法は生成サンプルの偏りを大幅に抑えられてお り，記憶インデックスによる条件付けがうまく機能 していると考えられる。また，リプレイの偏りがほ とんど同じ場合についても，継続学習の性能で提案手法が LAMOL を上回っていることから，生成サン プルの質が改善されていることが示唆される.

## 5 おわりに

本稿では，言語処理タスクの継続学習に対して，海馬の記憶インデックスに着想を得た制御可能な生成的リプレイの手法を提案した。複数の異なる言語処理タスクを対象とした実験の結果，提案手法は生成サンプルの偏りを防ぎ，継続学習の性能を向上さ せることを示した. 今後は，海馬モジュールの記憶容量を削減する方法についても取り組みたい.

4） BERTによる分類モデルを作成して使用した.

## 参考文献

[1] German I Parisi, Ronald Kemker, Jose L Part, Christopher Kanan, and Stefan Wermter. Continual lifelong learning with neural networks: A review. Neural Networks, Vol. 113, pp. 54-71, 2019

[2] Michael McCloskey and Neal J. Cohen. Catastrophic interference in connectionist networks: The sequential learning problem. Psychology of Learning and Motivation, Vol. 24, pp. 109-165, 1989.

[3] Hanul Shin, Jung Kwon Lee, Jaehong Kim, and Jiwon Kim. Continual learning with deep generative replay. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 2990-2999. Curran Associates, Inc., 2017.

[4] Timothy J Teyler and Jerry W Rudy. The hippocampal indexing theory and episodic memory: updating the index. Hippocampus, Vol. 17, No. 12, pp. 1158-1169, 2007.

[5] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka GrabskaBarwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell. Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, Vol. 114, No. 13, pp. 3521-3526, 2017.

[6] Rahaf Aljundi, Francesca Babiloni, Mohamed Elhoseiny, Marcus Rohrbach, and Tinne Tuytelaars. Memory aware synapses: Learning what (not) to forget. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 139-154, 2018.

[7] Andrei A Rusu, Neil C Rabinowitz, Guillaume Desjardins, Hubert Soyer, James Kirkpatrick, Koray Kavukcuoglu, Razvan Pascanu, and Raia Hadsell. Progressive neural networks. arXiv preprint arXiv:1606.04671, 2016.

[8] Arun Mallya and Svetlana Lazebnik. Packnet: Adding multiple tasks to a single network by iterative pruning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7765-7773, June 2018.

[9] Cyprien de Masson d'Autume, Sebastian Ruder, Lingpeng Kong, and Dani Yogatama. Episodic memory in lifelong language learning. In $\mathrm{H}$. Wallach, $\mathrm{H}$. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 13122-13131. Curran Associates, Inc., 2019.

[10] Fan-Keng Sun, Cheng-Hao Ho, and Hung-Yi Lee. Lamol: Language modeling for lifelong language learning. In International Conference on Learning Representations, 2019.

[11] Yung-Sung Chuang, Shang-Yu Su, and Yun-Nung Chen. Lifelong language knowledge distillation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2914-2924, Online, November 2020. Association for Computational Linguistics.
[12] Jingyuan Sun, Shaonan Wang, Jiajun Zhang, and Chengqing Zong. Distill and replay for continual language learning. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3569-3579, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[13] Heejeong Choi and Pilsung Kang. Lifelong language learning with the most forgotten knowledge. IEEE Access, Vol. 9, pp. 57941-57948, 2021.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[16] Chunyuan Li, Xiang Gao, Yuan Li, Baolin Peng, Xiujun Li, Yizhe Zhang, and Jianfeng Gao. Optimus: Organizing sentences via pre-trained modeling of a latent space. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 46784699, Online, November 2020. Association for Computational Linguistics.

[17] Le Fang, Tao Zeng, Chaochun Liu, Liefeng Bo, Wen Dong, and Changyou Chen. Transformer-based conditional variational autoencoder for controllable story generation. arXiv preprint arXiv:2101.00828, 2021.

[18] Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, and Richard Socher. The natural language decathlon: Multitask learning as question answering. arXiv preprint arXiv:1806.08730, 2018.

[19] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami Al-Rfou. Wiki-40B: Multilingual language model dataset. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452, Marseille, France, May 2020. European Language Resources Association.

[20] Arslan Chaudhry, Puneet K Dokania, Thalaiyasingam Ajanthan, and Philip HS Torr. Riemannian walk for incremental learning: Understanding forgetting and intransigence. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 532-547, 2018.

## A 付録

## A. 1 継続学習に使用したタスクの詳細

表 2 使用したタスク，データセット，評価指標

 & Who is based somewhere? & COG & 6414 & 2201 & $\mathrm{nF1}$ \\
Goal-Oriented Dialogue & WOZ & I am looking for African food & What is the change in state ? & food: African; & 2536 & 1646 & dsEM \\

## A. 2 忘却の過程

図4 それぞれの手法の各学習順序における忘却の過程