# 電話音声認識における特定の文脈への ドメイン適応のための合成音声によるデータ拡張

東佑樹 1 友松祐太 ${ }^{1}$
1 株式会社 AI Shift
\{azuma_yuki, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

タスク指向型の音声対話システムでは予約受付 や本人確認等のタスクにおいて，予めパターンの決 まっている発話内容 (会員番号, 商品 ID, etc.)を認識 する場面がしばしば存在する。そこで本研究では，電話音声認識のタスクにおいて，音声合成により生成した音声を用いて転移学習を行い，特定パターン の認識性能の向上を試みた。提案手法では認識した い発話群の読みを正規表現により生成し，それぞれ の読みに対応する音声を合成し，転移学習用のデー タとする. 汎用的な音声認識モデルとの認識性能の 比較実験をおこなった結果，提案手法は汎用的なモ デルを上回る性能を示した。

## 1 はじめに

タスク指向型の音声対話システムでは，一般にユーザの発話を音声認識 (Automatic Speech Recognition; ASR) によりテキストに書き起し，その テキストをもとにインテント抽出やシステム応答文 の選択などの対話戦略を行う，という構成が取られ ている。そのような音声対話システムでは ASR の 認識誤りが後段のタスクの精度を著しく低下させる $[1,2]$ ため, 高い認識性能が求められる. 加えて，ド メインおよびタスク毎に出現する固有名詞や表現は 変化するため，それらを適切に認識するために都度 モデルの学習が必要となる. 近年の End-to-End 型の 汎用の ASR システムは非常に高い性能を発揮する ようになった $[3,4]$ が，ドメイン固有の単語は誤認識しやすい傾向にある. ドメイン毎に転移学習用の データを整備することでこの問題は解決できる可能性があるが，データの作成には多大なコストを必要 とする。また，End-to-End 型の ASR は従来の ASR システムに見られるような音響モデルや言語モデル 等が統合されているため，ドメインごとの言語モデ
ルの切り替えが困難となる。

本研究では，予めパターンの決まっている発話内容を認識するタスクにおいて，多様なパターンの発話を考慮した転移学習の手法を提案する。具体的に は認識したい発話群の読みを正規表現により生成 し，各読みに対応する音声を合成音声により作成す ることで，ドメインごとの音声を収集することなく モデルの転移学習を実現する．実験では，番地表現 を認識対象とし，自社で運用している音声対話シス テムを通して録音された音声を用いて, 汎用的に使用される ASR システムとの間で認識性能の比較を 行う。これにより提案手法の有効性を示す.

## 2 関連研究

教師あり音声データを使用せずに ASR をドメイ ン適応させるためにはいくつかのアプローチが提案 されている.

[5] や [6] ではドメイン適応の選択肢として合成音声を利用している。これらの手法では転移学習時に Encoder 層のパラメータを freeze させることがドメ イン外のデータに対する認識性能を向上させるのに 有効であることが報告されている。

End-to-End 型の ASR システムにおいて，外部言語 モデルを学習時に効果的に利用する手法も提案され ている. 代表的な手法としては [7] や [8] などが挙 げられる。これらはモデル内部に暗黙的に存在しう る言語モデルをタスクに応じて効果的に調整するた めの試みである.

また，近年では追加の学習を行うことなく専門用語などの低頻度語の認識精度を改善する手法も提案 されており $[9,10,11]$ ，これらはデコーディング時 に認識させたいキーワードの出力確率を引き上げる アルゴリズムを組み込むことで出力結果の調整を実現している。

本研究では，音響的な特性が事前学習データと大

きく異なる電話音声をターゲットドメインとしてお り, その特性を転移学習時に考慮するために，合成音声を利用するアプローチを採用する。

## 3 提案手法及び実験設定

## 3.1 ASR システム

本実験では，ベースとなる ASR として Conformer [3] を採用し, 電話音声へのドメイン適応を考慮した ASR システムを探求する. モデルの学習には ESPnet[12]を利用し，パラメータ等の学習設定は基本的に CSJ のレシピ1)を踏襲している. このレシピ は Hybrid CTC/Attention Architecture[13] を採用して おり，学習時に Encoder の出力から CTC $\operatorname{Loss}\left(L^{c t c}\right)$ と Attention Decoder を通した損失 $\left(L^{a t t}\right)$ を個別に計算し，両方のスコアの重み付き和により最終的な損失関数 $L$ を決定する。

$
L=\alpha L^{c t c}+(1-\alpha) L^{a t t}
$

また，ESPnetには Shallow Fusion [14](以下，LM) の 機能が用意されており，推論時にテキストコーパス のみから学習された言語モデルの出力確率と ASR の出力確率を組み合わせることができる. 本実験で は LM の有無による性能の比較も行う。より詳細な モデルの説明はレシピを参照されたい.

また，本実験では，汎用的な ASR システムとして Google Speech-to-Text ${ }^{2}$ ) (以下， Google STT) を選択し た。これをべースラインとして，後述の評価データ を用いて電話音声の性能比較を行う。

## 3.2 データセット

本実験では，日本語話し言葉コーパス (Corpus of Spontaneous Japanese; CSJ)[15] を事前学習データと して採用した. 転移学習時の学習データ及び検証 データは Google Text-to-Speech ${ }^{3}$ (以下， Google TTS) の APIにより生成された合成音声を用いた. 評価 データは, 自社で運用している自動音声対話サービ ス AI Messenger Voicebot ${ }^{4}$ (以下，Voicebot) を通じて 収集した電話音声を用いた. 以下，各データの作成手順について記述する。

表 1 番地表現とそれに対応する読みの例. Google TTS にはこのうち対応する読みのテキストを入力として与 える

 \\

## 3.2.1 事前学習データの前処理

CSJ の音声は $16 \mathrm{kHz}$ でサンプリングされている.一方で，電話音声のサンプリング周波数は $8 \mathrm{kHz}$ である。学習時と評価時のサンプリング周波数の ミスマッチを防ぐため，本実験では CSJ の音声を $8 \mathrm{kHz}$ にダウンサンプリングした. さらに，電話音声で用いられる $\mu$-law アルゴリズム [16] によるコ ンパンディングにより，評価データである電話音声の音質に近づけた．以下，CSJ の音声を $8 \mathrm{kHz}$ に ダウンサンプリングさせて学習させた事前学習モ デルを Conformer ${ }_{8 k}$ ，さらに $\mu$-law を通したものを Conformer $_{\text {ulaw }}$ と呼ぶ.

## 3.2.2 転移学習データの作成

転移学習用のデータは以下の通りに作成する。ま ず，認識させたい表現を受理する正規表現を記述す る. 本実験では番地表現 (数字とハイフンの組み合 わせ+5) であるため，一つの表現に対して複数の読 みの候補が存在しうる (例 $: 0 \rightarrow$ レイ, ゼロ, マル). そこで，各表現に対してとりうる読みを列挙した上 で，その読みに対応する音声を Google TTS によって 作成する (表 1 参照). その際，多様な音声表現を得 るために話者 4 種類，音量 3 種類の組み合わせ (計 12 種類) の設定で音声を作成しデータを拡張した。最終的に生成可能な合成音声の量は膨大な数に及ぶ ため，今回はその中からランダムに分量を選択した 2 種類を用意した．以下，データ量の小さい方，大 きい方をそれぞれ small， large と呼ぶ。それぞれの データの数は表 2 に示す.
 あるが，本稿では簡単のため考慮していない。

また，3.2.3 節で述べるように，評価データはユー ザ発話の前後に背景雑音のみの区間が入りうるた め, 条件を近づけるため合成音声の前後に無音区間 を加えた音声も用意した. 具体的には, 合成音声の 前に $0 \sim 5$ 秒の中からランダムな長さの無音区間を 追加し, 合計の長さが 5 秒間になるように合成音声 の後に無音区間を加える．以下，前述の前処理を加 えていない場合，無音を追加した場合をそれぞれ $T T S_{\text {org }}, T T S_{\text {pad }}$ と表す.

## 3.2.3 評価データの作成

評価データは 21 名の日本語話者によって, Voicebotを通して収集した音声 (合計 131 発話) を利用した. 具体的には, bot の発話が終了した時点か ら次に bot が再度発話を開始するまでの区間をユー ザ発話区間とみなし，当該区間を切り出した。 その ため, 評価データには音声の前後に余分に切り出さ れた背景雑音が含まれうる.この背景雑音区間の有無による性能の影響を検証するため，雑音区間を人手で削除したものもあわせて作成した. 以下，人手 で無音区間を切り出した音声を test $_{\text {cut }}$, 切り出す前 の音声を test $_{\text {org }}$ と表す.

## 4 実験結果と考察

学習した各モデルの認識性能の評価を表 3 に示

も低い文字誤り率 (Character Error Rate; CER) となっ た学習設定では, ベースラインよりも高い精度を示 したが， test org に対してはむしろ低い精度となっ た。また，他の条件を揃えた場合 LMを利用しな い方が一貫してスコアが改善するという結果に なった。そこで，最良の条件時 (事前学習モデル： Conformer $_{\text {ulaw }}$, 学習データ量: large, LM: なし)の転移学習データを前述の $T T S_{p a d}$ に変更したところ,

もベースラインを上回る結果となった.

表 3 の実験結果は転移学習時のパラメータの更新箇所を全層に対して行った結果となるが, Encoder を freeze させて実験を行ったところ，性能が著しく 悪化するという結果になった (表 4 参照). 先行研究 [5, 6] では転移学習時に Decoder のパラメータを更新することが有効な学習戦略であったのに対し，本実験ではそれに反する結果となった. 先行研究 [5] では Encoder-Decoder ネットワーク [17]を，[6] では RNN-Transducer [18] をべースにした構造を ASR モ表 3 実験結果

 & & & 11.7 & 10.7 \\

デルに採用しているが，本実験では ESPnet の CSJ レシピと同様に Hybrid CTC/Attention Architecture[13] を採用している.このモデルは学習時に Encoder か らの出力から CTC Loss と Attention Decoderを通し た損失を個別に計算し，両方のスコアの重み付き和 により最終的な損失関数を決定する。 CTC Loss は Encoder からの出力を線形層に通した後の値をもと に計算されるため, Encoder のパラメーターを freeze してしまうと更新するパラメータ数が極端に少なく なってしまい，学習がうまく進められなくなったと 考えられる。

$T T S_{\text {pad }}$ の条件下では, test $t_{c u t}$, test org の双方で性能が向上した. TTS $S_{\text {org }}$ の条件下では, 事前学習時,転移学習時双方において, 人間の発話の前後に背景雑音区間はほとんど含まれない. そのため, 入力音声長と正解データのテキスト長がある程度対応付 けられる学習条件になっており, 背景雑音に対し hallucination $[19,20]$ が発生した可能性が示唆され, $T T S_{p a d}$ の条件によりその影響が低減されたと考え ることができる.

表 4 更新パラメータの箇所による挙動の変化. なお, 更新パラメータの箇所以外の学習条件は同一 (転移学習デー タは small, $T T S_{\text {org }}$, LM あり)とする.

## 5 まとめ

本研究ではターゲットとなるドメインの学習デー タが得られない状況で，転移学習のためのデータを 音声合成により作成する手法を電話音声認識タスク において行った。比較実験の結果，最も良い性能を 発揮した学習設定において, 汎用的な音声認識モデ ルの精度を上回ることを示した. ただし, 前後の無音区間を切り取っていない音声に対する性能の改善
幅は比較的軽微にとどまった。今後は，多様な背景雑音が含まれる音声に対する頑健性の向上につい て検討を続ける。また，本研究では正規表現が受理 する発話のみを対象にドメイン適応しており，多様 な話し方や言い間違い，言い淀みなどによる発話の 摇れを考慮をしておらず，それらの音声への対処方法は十分ではない．この点に関しても検討していき たい.

## 謝辞

本論文の作成にあたりご協力いただきました，株式会社 AI Shift の杉山雅和氏，戸田隆道氏，二宮大空氏, 株式会社サイバーエージェントの邊土名朝飛氏に厚く御礼申し上げます。また，有益なご助言を いただきました，吉本暁文氏，郡山知樹氏をはじめ とする株式会社サイバーエージェントの AI Lab の 方々，名古屋工業大学の李晃伸氏，上乃聖氏にこの 場を借りて感謝申し上げます.

## 参考文献

[1] Xiujun Li, Yun-Nung Chen, Lihong Li, Jianfeng Gao, and Asli Celikyilmaz. Investigation of language understanding impact for reinforcement learning based dialogue systems, 2017. https://arxiv.org/abs/1703.07055.

[2] Bing Liu and Ian Lane. End-to-end learning of taskoriented dialogs. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Student Research Workshop, pp. 67-73, New Orleans, Louisiana, USA, June 2018. Association for Computational Linguistics.

[3] Anmol Gulati, Chung-Cheng Chiu, James Qin, Jiahui Yu, Niki Parmar, Ruoming Pang, Shibo Wang, Wei Han, Yonghui Wu, Yu Zhang, and Zhengdong Zhang. Conformer: Convolution-augmented transformer for speech recognition. In Interspeech.

[4] Wei Han, Zhengdong Zhang, Yu Zhang, Jiahui Yu, ChungCheng Chiu, James Qin, Anmol Gulati, Ruoming Pang, and Yonghui Wu. Contextnet: Improving convolutional neural networks for automatic speech recognition with global context. In Interspeech, 2020.

[5] Mimura Masato, Ueno Sei, Inaguma Hirofumi, Sakai Shinsuke, and Kawahara Tatsuya. Leveraging sequence-tosequence speech synthesis for enhancing acoustic-to-word speech recognition. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 477-484, 2018.

[6] Jinyu Li, Rui Zhao, Zhong Meng, Yanqing Liu, Wenning Wei, Sarangarajan Parthasarathy, Vadim Mazalov, Zhenghao Wang, Lei He, Sheng Zhao, and Yifan Gong. Developing rnn-t models surpassing high-performance hybrid models with customization capability. In Interspeech, 2020.

[7] Anuroop Sriram, Heewoo Jun, Sanjeev Satheesh, and Adam Coates. Cold fusion: Training seq2seq models together with language models. In Interspeech, 2018.

[8] Changhao Shan, Chao Weng, Guangsen Wang, Dan Su, Min Luo, Dong Yu, and Lei Xie. Component fusion: Learning replaceable language model component for endto-end speech recognition system. In ICASSP, 2019.

[9] Duc Le, Mahaveer Jain, Gil Keren, Suyoun Kim, Yangyang Shi, Jay Mahadeokar, Julian Chan, Yuan Shangguan, Christian Fuegen, Ozlem Kalinli, Yatharth Saraf, and Michael L. Seltzer. Contextualized streaming end-to-end
speech recognition with trie-based deep biasing and shallow fusion. In Interspeech, 2021.

[10] Mirek Novak and Pavlos Papadopoulos. Rnn-t lattice enhancement by grafting of pruned paths. In Interspeech, 2022.

[11] Jung Namkyu, Kim Geonmin, and Chung Joon Son. Spell my name: Keyword boosted speech recognition. In ICASSP, 2022.

[12] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki Hayashi, Jiro Nishitoba, Yuya Unno, Nelson Enrique Yalta Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen, Adithya Renduchintala, and Tsubasa Ochiai. Espnet: Endto-end speech processing toolkit. In Interspeech, pp. 2207-2211, 2018 .

[13] Shinji Watanabe, Takaaki Hori, Suyoun Kim, John R. Hershey, and Tomoki Hayashi. Hybrid ctc/attention architecture for end-to-end speech recognition. IEEE Journal of Selected Topics in Signal Processing, Vol. 11, No. 8, pp. 1240-1253, 2017.

[14] Takaaki Hori, Shinji Watanabe, Yu Zhang, and William Chan. Advances in joint ctc-attention based end-to-end speech recognition with a deep cnn encoder and rnn-lm. In Interspeech, 2017.

[15] Kikuo Maekawa. Corpus of spontaneous japanese : its design and evaluation. Proceedings of The ISCA IEEE Workshop on Spontaneous Speech Processing and Recognition (SSPR), pp. 7-12, 2003.

[16] Mark A. Castellano, Todd Hiers, and Rebecca Ma. Tms320c6000 $\mu$-law and a-law companding with software or the mcbsp. Technical report, Texas Instruments Inc, 2000 .

[17] Dzmitry Bahdanau, Jan Chorowski, Dmitriy Serdyuk, Philémon Brakel, and Yoshua Bengio. End-to-end attention-based large vocabulary speech recognition. In ICASSP, pp. 4945-4949, 2016.

[18] Alex Graves, Abdel rahman Mohamed, and Geoffrey Hinton. Speech recognition with deep recurrent neural networks. In ICASSP, 2013.

[19] K. Sagae, M. Lehr, E. Prud'hommeaux, P. Xu, N. Glenn, D. Karakos, S. Khudanpur, B. Roark, M. Saraçlar, I. Shafran, D. Bikel, C. Callison-Burch, Y. Cao, K. Hall, E. Hasler, P. Koehn, A. Lopez, M. Post, and D. Riley. Hallucinated $n$-best lists for discriminative language modeling. In ICASSP, 2012.

[20] Krithika Ramesh, Ashiqur R. KhudaBukhsh, and Sumeet Kumar. 'beach' to 'bitch' : Inadvertent unsafe transcription of kids' content on youtube. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 36, No. 11, pp. 12108-12118, Jun. 2022.


# Next Sentence Prediction に基づく文脈を考慮した ASR N-best のリランキング

邊土名朝飛 ${ }^{1}$ 友松祐太 ${ }^{1}$
1 株式会社 AI Shift
\{hentona_asahi, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

パイプライン型のタスク指向型音声対話システ ムにおいて，上流に位置する音声認識システムの音声認識誤りが後続処理に与える影響は大きい. 本研究では，ユーザ発話の ASR 出力の $\mathrm{N}$-best 候補と 直前のシステム発話のペアを BERT に入力し， Next Sentence Prediction のアプローチでリランキングする ことで，ASR システムの音声認識誤りを低減させる ことを試みる。また，リランキング性能の向上を目的として，質問応答データセットを用いて BERT の fine-tuning を行う. 実験では，音声認識誤りを付与 したデータセットを作成し，リランキング手法適用前後の音声認識誤り率を測ることで有効性を示す.

## 1 はじめに

タスク指向型の音声対話システムは，複数のモ ジュールから構成されるパイプライン型と，1つ のモデルで全ての処理を行う End-to-End 型の 2 つ に分類される [1]. 一般的なパイプライン型の音声対話システムは，自動音声認識 (Automatic Speech Recognition; ASR）システムを用いて音声データで あるユーザ発話をテキストに変換し，後段の各モ ジュールで言語理解 (Natural Language Understanding; NLU）や行動決定（Policy），対話状態追跡（Dialogue State Tracking; DST）といった処理を行う [1]. パイ プライン型の対話システムは各モジュールが独立し ているため，機能ごとにモジュールを個別開発する ことができるほか，各モジュールの入出力が明確で あり解釈しやすいという実応用上の利点がある.

しかし，先行するモジュールから順番に処理され る性質上，あるモジュールで生じたエラーが後続の モジュールにも影響を与え，対話能力が低下してし まう欠点が存在する。特に，パイプラインの上流に 位置する ASR システムの音声認識誤りが後続処理

図 1 ASR N-best 候補のリランキングの概要図

に与える影響は大きい。音声認識誤りは汎用 ASR システムを使用した場合により顕著に現れるが， [2] のような特定のドメインに特化した ASR システ ムを開発するためには多大なコストがかかる．その ため，音声認識誤りを改善することを目的として， BERT[3] などの大規模言語モデルを用いて ASR シ ステム出力の N-best 候補をリランキングする手法が 数多く提案されてきた $[4,5,6]$.

本研究では，直前のシステム発話を文脈情報と して与え，ユーザ発話の ASR N-best 候補をリラン キングすることで，ASR システムの音声認識誤り を低減させることを試みる (図 1 参照). N-best 候補のリランキングは，BERT を用いて Next Sentence Prediction(NSP) を行うことで実現する。 さらに，数 が非常に限られている日本語タスク指向型対話の データセットの代わりに，質問応答データセットを 用いて BERT の fine-tuning を行い，リランキング性能を向上させることを試みる。関連研究として，対話状態追跡 (Dialogue State Tracking; DST) タスクにお いては，質問応答データセットを用いて学習するこ とで未知ドメインに対する性能が向上したことが報告されている $[7,8]$.
実験では，音声認識誤りを付与したデータセット を作成しリランキング後の ASR 出力の音声認識誤 り率を測ることで，NSP および質問応答データセッ トを用いた fine-tuning の有効性を検証する。

## 2 手法

## 2.1 BERT NSP

最も適した ASR N-best 候補を選択するためのア プローチとして NSPを採用する。NSP は，2つの 文を入力として与え, 2 文目が 1 文目に続く文章で あるかどうかを識別するタスクである (図 2 参照). BERT-NSP の概要を図 1 に示す. 本研究では, 直前 のシステム発話を 1 文目，後続のユーザ発話の ASR N-best 候補を 2 文目とみなし，NSP と同様の枠組 みで N-best 候補の“適切さ”のスコアを定量的に推定する. ASR システムが出力した $\mathrm{N}$ 件の認識候補 (N-best) に対し，各候補のスコアをそれぞれ推定し た後，スコアが高い順に N-best 候補を並び替える.最終的に，1 番目の候補 (i.e., 最もスコアの高い候補)をASR 出力として選択する. BERT は事前学習 として NSP タスクを解いているため, fine-tuning を 行わない状態でもある程度は文脈的に適切な N-best 候補を選択できることが期待できる。

図 2 Next Sentence Prediction

## 2.2 QA BERT NSP

質問応答データセットを使用し，質問文を 1 文目，回答文を 2 文目とみなして NSP タスクを解く ことで fine-tuningを行う. タスク指向型対話のシナ リオの多くは「何日に予約しますか？」 $\longrightarrow \Gamma 12$ 日 の月曜日でお願いします」のように質問と回答が交互に行われることで進んでいくことから，質問応答 タスクの一種と考えることができる。そこで本研究 では，質問応答データセットから「会社の最高責任者を何というか？」セ「社長」のような質問・回答ペアを作成し，それらのデータを用いて BERTを fine-tuning する。これにより，タスク指向型対話に 適したモデルとなり, 単純な NSP タスクで事前学習 したモデルよりもシステム発話と N-best 候補の間の 関係をより適切に捉えることができるようになると 考えられる。

図 3 QA BERT NSP モデルの fine-tuning

## 3 実験

本章では，2 章で紹介した手法の評価実験を行う.

## 3.1 実験設定

## 3.1.1 評価用データセット

評価用データセットとして日本語質問応答データ セットである JGLUE[9, 10] の JCommonsenseQAを 採用し, dev set（データ数：1,119件）を実験に用 いた. JCommonsenseQA は，1つの質問につき 5 つ の回答選択肢が提示され，そのうち 1 つが正解と なっている Multiple choice task データセットである.検証にあたり，JCommonsenseQA の質問文をシステ ム発話，回答文をユーザ発話とみなす。ただし，回答文には音声認識誤りは含まれていないため，音声合成エンジンを用いて回答文を音声に変換し，そ の音声を ASR システムに入力することで音声認識誤りを付与した. 音声合成エンジンは pyopenjtalk ${ }^{1 \text { ) }}$ を，ASR システムは Google Cloud Speech-to-Text ${ }^{2}$ を 用いた。音声合成時には，弊社で運用している電話自動応答サービス ${ }^{3}$ の状況に近い音声認識誤りを付与するために，合成音声データのサンプリングレー トを一般的な電話音声のものと同じ $8 \mathrm{kHz}$ にダウ

1) https://github.com/r9y9/pyopenjtalk

2) https://cloud.google.com/speech-to-text

3) https://www.ai-messenger.jp/voicebot/
表 1 評価結果

ンサンプリングし，音声品質を低下させた．また， ASR システムが出力する $\mathrm{N}$-best 候補の数は最大 10 件（10-best）出力するように設定し，音声認識に失敗したサンプルは除外した. 最終的に評価に用いた データは 958 件となった.

## 3.1.2 モデル

実験では，質問応答データセットで fine-tuning した BERT(QA-BERT-NSP) および fine-tuning 無しの BERT(BERT-NSP) の 2 つのモデルを用いた. ベース となる BERT モデルは，東北大学が公開している日本語 $\mathrm{BERT}^{4}$ を採用した。

QA-BERT-NSP の学習には, JGLUE の JCommonsenseQA の train set（データ数：8,939 件）を使用 し，質問・回答テキストのペアを作成した．質問・回答テキストのペアの正例と負例の比率は $1: 1$ に 設定し，負例サンプルは正解を除いた 4 つの回答選択肢からランダムに 1 件選択することで獲得し た. これにより, 17,878 件の学習データを取得し た.また，このうち $90 \%$ を学習用データ，残りの $10 \%$ を検証用データセットとした. 学習時のパラ メータについては, batch size は 32, learning rate は $5 \times 10^{-5}$, warmup ratio は 0.1 , epoch数は 5 に設定し, Validation loss が最小となったモデルを評価実験に使用した. その他のパラメータについては huggingface transformer のデフォルト設定に従った.

## 3.1.3 評価指標

適切な ASR N-best 候補を選択できたかを測る評価指標として Word Error Rate (WER) と Character Error Rate (CER) を採用した. WER 計算時に用いる Tokenizer は， \$3.1.2 で説明した日本語 BERT のもの を使用した. また, 音声認識結果には基本的に含ま

4) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking
れない句読点（、。）・疑問符（?)・感嘆符（！）は テキスト中から削除して評価を行った。

## 3.2 結果と考察

実験結果を表 1 に示す.ここで，表中の Oracle， 1-best，Random について説明する。
- Oracle ASR 出力の N-best 候補中から WER, CER が最小となる候補を選択した際の性能. す なわち，リランキング性能の上限值を表して いる.

-1-best ASR 出力の N-best の第 1 候補を選択し た際の性能.

・Random ランダムに N-Best 候補を選択した際 の性能.

次に, w/ ground truth, w/o ground truthについて説明 する。
- $w$ / ground truth ASR 出力の N-best 候補中に正解データ (Ground truth)を含ませた場合の評価結果.
- w/o ground truth ASR 出力の N-best 候補中に 正解データ (Ground truth) を含めない場合の評価結果.

BERT-NSP と QA-BERT-NSP の WER， CER を比較 すると，QA-BERT-NSP のエラー率が全ての評価項目で低いことがわかる.このことから, ASR 出力 の N-best候補のリランキングタスクにおいては，質問応答データセットで fine-tuning を行うことは有効 であることが示唆される。ここで，w/ ground truth と w/o ground truth の結果を比較すると，w/o ground truth における BERT-NSP と QA-BERT-NSP の性能差 よりも w/ ground truth における性能差が小さいこと がわかる。この結果から，質問応答データセットに よる fine-tuning では文脈的に正しい N-best 候補を選択する能力への寄与は小さいということが示唆さ

れる。

fine-tuning により文脈的に正しい N-best 候補を 選択する能力があまり改善しなかったのにも関 わらず，N-best の中に正解データを含めないw/o ground truthにおいて性能に差がでた要因として， fine-tuning により名詞単体の N-best 候補を優先的に 選択するようになったことが考えられる. 質問応答 データセットの回答は名詞 1 単語であることが多い ため，それらのデータを用いて fine-tuning したこと により，名詞らしくない N-best 候補を選択しないよ うな挙動になる. 評価データも同じく質問応答デー タセットを用いているため, 名詞らしくない候補を 選ばないようにするだけでもエラー率が改善したと 考えられる。

一方，1-best を見ると BERT-NSP と QA-BERT-NSP と比較してエラー率が 10 ポイント前後低いため, より文脈的に正しい N-best 候補を選択できるよう BERT モデルを改善する必要がある. Oracleを見る と, 1-best と比較してエラー率が $1 / 3$ 以下であるこ とから，ASR 出力の N-best 中には正しい出力候補が 含まれている可能性が高いことを示しており，リラ ンキングによる改善の余地が大きいといえる.

## 4 おわりに

本研究では，文脈情報として直前のシステム発話 と，ユーザ発話の ASR 出力の N-best 候補のペアを BERT に入力し, Next Sentence Prediction のアプロー チでリランキングすることで ASR システムの音声認識誤りを低減させることを試みた。また，リラン キング性能の向上を目的として，質問応答データ セットを用いて BERT の fine-tuning を行うことの有効性を検証した。音声認識誤りを付与したデータ セットを用いた実験の結果，文脈的に正しい N-best 候補を識別する能力への fine-tuning の効果は限定的 であることが示唆された。一方で，質問応答データ セットで fine-tuning した BERT の方が fine-tuning し ていない BERT よりもエラー率は低下した.今後の 課題として, より詳細なエラー分析と, 多様な音声認識誤りパターンを生成し学習に用いることで音声認識誤りにロバストなリランキングモデルを構築す ることを検討していきたい.

## 謝辞

本論文の作成にあたりご協力頂きました，株式会社 AI Shift の杉山雅和氏，戸田隆道氏，東佑樹氏，二宮大空氏，下山翔氏にこの場を借りて厚く御礼申 し上げます.

## 参考文献

[1] Hongshen Chen, Xiaorui Liu, Dawei Yin, and Jiliang Tang. A survey on dialogue systems: Recent advances and new frontiers. SIGKDD Explor. Newsl., Vol. 19, No. 2, p. 25-35, nov 2017.

[2] Yong Zhao, Jinyu Li, Shixiong Zhang, Liping Chen, and Yifan Gong. Domain and speaker adaptation for cortana speech recognition. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5984-5988, 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Liyan Xu, Yile Gu, Jari Kolehmainen, Haidar Khan, Ankur Gandhe, Ariya Rastrow, Andreas Stolcke, and Ivan Bulyko. Rescorebert: Discriminative speech recognition rescoring with bert. In ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 6117-6121, 2022.

[5] Shih-Hsuan Chiu and Berlin Chen. Innovative bert-based reranking language models for speech recognition. In 2021 IEEE Spoken Language Technology Workshop (SLT), pp. 266-271, 2021.

[6] Joonbo Shin, Yoonhyung Lee, and Kyomin Jung. Effective sentence scoring method using bert for speech recognition. In Wee Sun Lee and Taiji Suzuki, editors, Proceedings of The Eleventh Asian Conference on Machine Learning, Vol. 101 of Proceedings of Machine Learning Research, pp. 1081-1093. PMLR, 17-19 Nov 2019.

[7] Shuyang Gao, Sanchit Agarwal, Di Jin, Tagyoung Chung, and Dilek Hakkani-Tur. From machine reading comprehension to dialogue state tracking: Bridging the gap. In Proceedings of the $2 \mathrm{nd}$ Workshop on Natural Language Processing for Conversational AI, pp. 79-89, Online, July 2020. Association for Computational Linguistics.

[8] Zhaojiang Lin, Bing Liu, Andrea Madotto, Seungwhan Moon, Zhenpeng Zhou, Paul Crook, Zhiguang Wang, Zhou Yu, Eunjoon Cho, Rajen Subba, and Pascale Fung. Zero-shot dialogue state tracking via cross-task transfer. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7890-7900, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp.

2957-2966, Marseille, France, June 2022. European Language Resources Association.

[10] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Representative Data Selection for Sequence-to-Sequence Pre-training

Haiyue Song ${ }^{1,2}$ Raj Dabre ${ }^{2}$ Zhuoyuan Mao $^{1} \quad$ Chenhui Chu $^{1} \quad$ Sadao Kurohashi $^{1}$
${ }^{1}$ Kyoto University ${ }^{2}$ NICT
\{song, zhuoyuanmao, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
$\{$ raj.dabre $\}$ @nict.go.jp
}

\begin{abstract}
Pre-trained sequence-to-sequence models such as BART [1] have helped improve natural language generation quality. However, training large models is resourceconsuming. We propose a data selection algorithm that selects a tiny but representative subset from billion-scale datasets. Experimental results show that pre-training with $0.26 \%$ data and $4.4 \%$ energy consumption achieves about 90\% BLEU scores on machine translation (MT) tasks and ROUGE scores on text summarization tasks, compared to pre-training on the entire dataset. Compared to random selection baselines, it shows lower perplexity (PPL), higher BLEU and ROUGE scores.
\end{abstract
## 1 Introduction

Pre-training and then fine-tuning is a widely-used paradigm for natural language processing $[2,3]$. However, training pre-trained models such as BART $[1,4]$, IndicBART [5], mT5 [6] usually takes hundreds to thousands of GPU days. Previous works focus on reducing the parameters of the model [7], but there are very few studies [8] related to shrinking the dataset, which can also reduce computational costs.

In this work, we propose a clustering-based representative data selection algorithm. As illustrated in Figure 1, we first convert discrete sentences into continuous embeddings. Then, we perform large-scale and efficient clustering of the sentences based on the embeddings. From each cluster, we select several centroid points according to the scale of the cluster. The centroids from each cluster are combined to form the representative subset. Furthermore, we propose to combine an unsupervised outlier detection method to remove noisy data points. We calculate the

Figure 1: Centroids of clusters as representative data. Each component stands for one cluster with close sentence embeddings. Mapped to 2-D with t-SNE [9].

center point of the entire embedding space and filter out points distant from the center. Experimental results show that with $0.26 \%$ data of the entire dataset and $4.4 \%$ energy comsumption, it can obtain relatively high performance on MT and text summarization tasks, only 2 to 4 points lower in terms of BLEU and ROUGE scores.

## 2 Related Work

Supervised Data Selection In-domain data selection $[10,11,12]$ focuses on extracting sentences from a large general-domain corpus that are most relevant to a target domain. Trusted data or clean selection $[13,14]$ aims to select trusted (clean) data from a general-domain corpus given a small trusted (clean) dataset. They all rank data according to the cross-entropy difference [10] between a general language model (LM) and a target LM, where the
target LM is trained on in-domain data, trusted data, or clean data. However, they require supervision and only solve one particular downstream task.

## Small Scale Representative Data Selection

Representative data selection finds a small subset of the original dataset that captures the most information. Previous methods include calculating the mutual information and relative entropy [15], converting to a sparse multiple measurement vector problem [16]. They are slow and require large memory, therefore, can only handle approximately 10k data points; however, billions of sentences are used in pre-training.

## 3 Representative Data Selection

We introduce the representative data selection approach to extract a fraction from a multi-million to billion scale dataset. It consists of the following steps:

Continuous Embedding Conversion In order to perform clustering, we first convert discrete data such as sentences into continuous representations in a common space. Suppose there is a set containing $n$ sentences $S=\left.\{s_{1}, \ldots, s_{n}\right.\}$. We convert $S$ into embedding set $E=\left.\{e_{1}, \ldots, e_{n}\right.\}$ as following:

$
e_{i}=f\left(s_{i} \mid \theta\right), \quad f: \mathbb{S} \rightarrow \mathbb{R}^{d}
$

where $f$ denotes the sentence-to-vector model, $\theta$ is the parameters of $f, d$ is the dimension of the output vector and $\mathbb{S}$ is a set of all the natural language sentences. Here $f$ can be sent2vec [17] or sentBERT [18].

Outlier Detection We apply an outlier detection algorithm [19] to eliminate noisy data in an unsupervised manner. We first calculate the center of the embedding space $e_{c}$ and filter outliers whose distance from $e_{c}$ is greater than two standard deviations. The de-noised embedding set contains $m$ points, $E^{\prime}=\left.\{e_{1}^{\prime}, \ldots, e_{m}^{\prime}\right.\}$. More precisely:

$
\begin{aligned}
& e_{c}=\operatorname{center}(E)=\frac{1}{n} \sum_{i} e_{i} \\
& E^{\prime}=\left.\{e_{i}^{\prime} \mid e_{i}^{\prime} \in E,\left.\|e_{i}^{\prime}-e_{c}\right.\|<2 \sigma\right.\}
\end{aligned}
$

where $\sigma$ denotes the standard deviation.

Clustering and Selection Suppose we select a subset $S^{\prime}$ containing $k$ sentences. We first apply efficient K-Means algorithm on GPUs [20] to create $k$ clusters $c_{1}, \ldots, c_{k}$ from $E^{\prime}$. For each cluster $c_{i}$ with size $\left|c_{i}\right|$, we select $\frac{k}{m} *\left|c_{i}\right|$ sentences whose embeddings are the nearest from the center of $c_{i}$, forming $S_{c_{i}}^{\prime}=\left.\{e_{1}^{\left(c_{i}\right)}, \ldots, e_{N}^{\left(c_{i}\right)}\right.\}$ :

$
S_{c_{i}}^{\prime}=\underset{\left.\{e_{j}^{\left(c_{i}\right)} \in c_{i}\right.\}}{\arg \min } \sum_{j=1}^{N}\left.\|e_{j}^{\left(c_{i}\right)}-\operatorname{center}\left(c_{i}\right)\right.\|
$

where $N=\frac{k}{m}\left|c_{i}\right|$.

The representative set $S^{\prime}$ of the entire dataset $S$ is the union of all representative sets from each cluster:

$
S^{\prime}=\bigcup_{i=1}^{k} S_{c_{i}}^{\prime}, \quad\left|S^{\prime}\right|=\sum_{i=1}^{k} \frac{k}{m} *\left|c_{i}\right|=k
$

## 4 Experiments

## 4.1 Settings

## Datasets
- Pre-train: IndicCorp [21] that contains a total of 458M sentences in 11 Indian languages and English.
- MT: PMI dataset [22] from WAT2021 MultiIndicMT task [23].
- Summarization: data in 7 Indic languages from multilingual XLSum dataset [24].

We applied script unification for all Indic languages to Devanagari, following mBART50 [4] and IndicBART [5]. Across all experiments, we used the IndicBART vocabulary of $64 \mathrm{k}$ subwords. ${ }^{1 \text { ) }}$

## - Pre-train Methods Comparison
- w/o Pre-train: directly train on downstream tasks from random parameters initialization.
- Random: pre-trained on $k$ randomly selected sentences.
- Random+RemoveOutlier (RO): first remove outliers, then apply Random.
- Repre: pre-train on $k$ sentences by representative data selection w/o outlier detection.
- Repre+RemoveOutlier (RO): first remove outliers, then apply Repre.
- Full: use $458 \mathrm{M}$ monolingual sentences in the IndicCorp dataset.

We compare proposed Repre and Repre+RO methods with two baselines Random and Random+RO. We set $k$ to $1.2 M$ and select sentences from different languages while keeping their proportions in the IndicCorp dataset. We follow fine-tuning settings in [5].

1) Download: https://github.com/AI4Bharat/indic-bart

## - Representative Data Selection Settings
- Continuous Embedding Conversion: we trained one Sent2vec [17] model for each language on IndicCorp data with default settings and sentence embedding dimension to 768 .
- Clustering Algorithm: we used GPU-implemented K-Means in the Faiss toolkit [20].

Model Hyperparameters We followed the settings of IndicBART ${ }^{2}$ and used the yanmmt toolkit ${ }^{3)}$ based on Hugging Face. ${ }^{4}$ )
- Architecture: transformer model of 6 encoder layers and 6 decoder layers with 16 attention heads.
- Training: we used 8 GPUs with a batch size of 4,096 tokens during pre-training and 2,048 tokens during fine-tuning. We trained $200 \mathrm{k}$ steps in pre-training and apply early stopping to fine-tuning.

## 4.2 Pre-trained Model Perplexity

We report our results in terms of the perplexities obtained on a mix of all dev sets from the PMI dataset that contains high-quality data from 10 Indian languages and English. As shown in Figure 2, proposed Repre method showed approximately 0.15 lower minimal PPL than Random. Furthermore, RO is effective for both Random and Repre methods.

## 4.3 Energy Consumption Comparison
- Full: trained on 48 V100 GPUs for 750k steps [5].
- Proposed: trained on 8 V100 GPUs for 200k steps.

Therefore, our approach reduces the energy consumption to $4.4 \%$ 5) compared with Full. $^{6 \text { ) }}$

## 4.4 MT Results

As presented in Table 3, proposed methods yield the highest BLEU scores for all pairs compared with baselines. With $4.4 \%$ energy consumption, our results are only 2-4 BLEU points lower than Full. Additionally, RO helps both Random and Repre.

2) https://github.com/AI4Bharat/indic-bart

3) https://github.com/prajdabre/yanmtt

4) https://huggingface.co
5) $(8 * 200 \mathrm{k}) /(48 * 750 \mathrm{k})=4.4 \%$

6) Training sent 2 vec models and clustering consumes very little energy in comparison.

Figure 2: Perplexity curves of pre-trained models on the PMI dev sets.

## 4.5 Summarization Results

As expressed by Table 1, proposed methods achieve higher ROUGE-L F-scores than baselines. Especially for low-resource bn language that contains only 80k training points, Repre is more robust than Random.

Table 1: ROUGE-L F1 scores on the summarization task.

## 4.6 Outlier Detection Examples

We show examples of normal sentences and outliers. We extract 300 English sentences from IndicCorp and apply the outlier detection algorithm to form Figure 3 together with Table 2. We can find that outlier sentences contain more proper nouns and disfluent phrases.

Table 2: The corresponding sentences in Figure 3.

 \\

Table 3: Performance on the MT task. Report sacreBLEU [25] scores on the WAT2021 MultiIndicMT test set.

Figure 3: Outlier detection. High-dimensional embeddings are mapped into 3-D points by t-SNE [9].

## 4.7 Sentence Clustering Examples

Table 4 shows the clustering results. In each cluster, the centroid is the most relevant from all other points. For example, in the first cluster, sentences are related to "Earth", "Jupiter", "ocean planet", "Life on Earth" and the sentence related to "Earth" is the centroid.
Table 4: Example of clusters. The centroids of the clusters are representative data.

 \\

## 5 Conclusion

In this paper, we propose a representative data selection algorithm together with an unsupervised outlier detection algorithm. With only $0.26 \%$ data and $4.4 \%$ energy consumption of the full model, proposed methods show reasonable performance on MT and text summarization tasks, and much higher performance compared to baselines.

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Numbers JP21J23124.

## References

[1] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In ACL.2020, pp. 7871-7880, Online, July 2020.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL.2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019

[3] Liu Zhuang, Lin Wayne, Shi Ya, and Zhao Jun. A Robustly Optimized BERT Pre-training Approach with Posttraining. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[4] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingual Translation with Extensible Multilingual Pretraining and Finetuning, 2020.

[5] Raj Dabre, Himani Shrotriya, Anoop Kunchukuttan, Ratish Puduppully, Mitesh M. Khapra, and Pratyush Kumar. IndicBART: A Pre-trained Model for Natural Language Generation of Indic Languages, 2021.

[6] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A Massively Multilingual Pre-trained Textto-Text Transformer. In NAACL-HLT.2021, pp. 483-498, Online, June 2021.

[7] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations, 2019.

[8] Ernie Chang, Xiaoyu Shen, Hui-Syuan Yeh, and Vera Demberg. On Training Instance Selection for Few-Shot Neural Text Generation. In ACL-IJCNLP.2021, pp. 8-13, Online, August 2021. Association for Computational Linguistics.

[9] Laurens van der Maaten and Geoffrey Hinton. Visualizing Data using t-SNE. Journal of Machine Learning Research, Vol. 9, No. 86, pp. 2579-2605, 2008.

[10] Robert C. Moore and William Lewis. Intelligent Selection of Language Model Training Data. In ACL.2010, pp. 220224, Uppsala, Sweden, July 2010.

[11] Amittai Axelrod, Xiaodong He, and Jianfeng Gao. Domain Adaptation via Pseudo In-Domain Data Selection. In EMNLP.2011, pp. 355-362, Edinburgh, Scotland, UK., July 2011.

[12] Marlies van der Wees, Arianna Bisazza, and Christof Monz. Dynamic Data Selection for Neural Machine Trans- lation. In EMNLP.2017, pp. 1400-1410, Copenhagen, Denmark, September 2017.

[13] Wei Wang, Taro Watanabe, Macduff Hughes, Tetsuji Nakagawa, and Ciprian Chelba. Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 133-143, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[14] Wei Wang, Isaac Caswell, and Ciprian Chelba. Dynamically Composing Domain-Data Selection with Clean-Data Selection by "Co-Curricular Learning" for Neural Machine Translation. In ACL.2019, Florence, Italy, July 2019.

[15] Feng Pan, Wei Wang, A.K.H. Tung, and Jiong Yang. Finding representative set from massive data. In ICDM.2005, pp. 8 pp.-, 2005.

[16] Ehsan Elhamifar, Guillermo Sapiro, and René Vidal. See All by Looking at a Few: Sparse Modeling for Finding Representative Objects. In CVPR.2012, pp. 1600-1607, 2012.

[17] Prakhar Gupta, Matteo Pagliardini, and Martin Jaggi. Better Word Embeddings by Disentangling Contextual nGram Information. In NAACL-HLT.2019, pp. 933-939, Minneapolis, Minnesota, June 2019.

[18] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In EMNLP-IJCNLP.2019, pp. 3982-3992, Hong Kong, China, November 2019.

[19] Stefan Larson, Anish Mahendran, Andrew Lee, Jonathan K. Kummerfeld, Parker Hill, Michael A. Laurenzano, Johann Hauswald, Lingjia Tang, and Jason Mars. Outlier Detection for Improved Data Quality and Diversity in Dialog Systems. In NAACL-HLT.2019, pp. 517-527, Minneapolis, Minnesota, June 2019

[20] Jeff Johnson, Matthijs Douze, and Hervé Jégou. BillionScale Similarity Search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2021.

[21] Divyanshu Kakwani, Anoop Kunchukuttan, Satish Golla, Gokul N.C., Avik Bhattacharyya, Mitesh M. Khapra, and Pratyush Kumar. IndicNLPSuite: Monolingual Corpora, Evaluation Benchmarks and Pre-trained Multilingual Language Models for Indian Languages.

[22] Barry Haddow and Faheem Kirefu. PMIndia - A Collection of Parallel Corpora of Languages of India, 2020.

[23] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, Chenhui Chu, Akiko Eriguchi, Kaori Abe, Yusuke Oda, and Sadao Kurohashi. Overview of the 8th Workshop on Asian Translation. In WAT.2021, pp. 1-45, Online, August 2021.

[24] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages. In Findings of ACL-IJCNLP.2021, pp. 4693-4703, Online, August 2021.

[25] Matt Post. A Call for Clarity in Reporting BLEU Scores.


# 日本語 GPT を用いたトークナイザの影響の調査

井上 誠一 ${ }^{12}$ Nguyen Tung ${ }^{1}$ 中町礼文 ${ }^{1}$ 李 聖哲 ${ }^{1}$ 佐藤 敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 東京都立大学
\{seiichi.inoue, tung.nguyen, akifumi.nakamachi,
shengzhe.li, toshinori.sato\}@linecorp.co.jp

## 概要

本研究では，大規模言語モデルである日本語 GPT を用いて，Byte-level Byte Pair Encoding トークナイザ の構築方法や語彙サイズの違いによる言語モデルの 性能を比較し分析した．具体的には，日本語テキス トを対象としたトークナイザ構築において，トーク ナイザの構築に用いるテキストの事前分割，トーク ナイズ時の分かち書きの有無，語彙サイズという観点で調査を行った.

## 1 はじめに

近年，GPT-3 [1]をはじめとした大規模言語モデ ルが注目を集めており，自然言語処理のさまざまな タスクの性能を向上させている. 言語モデルの構築 において，モデル化するテキストの単位を検討する ことは重要であるが，モデルのアーキテクチャや言語，またタスクによって適切なトークナイザは異 なる [2]. 例えば，Alyafeai ら [3] は，アラビア語に おいて, 複数の異なるトークナイズ手法を用いて 感情分析と文書分類を行っており，ほとんどの夕 スクにおいて，単語レベルのトークナイザを小さ な語彙サイズで学習させたものが最良の結果とな ることを示した. また，Pan ら [4] は，トルコ語と ウルグアイ語の機械翻訳において，形態素解析を 行なった後に Byte Pair Encoding (BPE) [5] の学習を 行うことで，通常の BPE を使用する場合に比べて 性能が向上することを示した。しかし，これらは GRU [6] や Transformer [7] を対象としており, GPT におけるトークナイザの比較，分析は行われてい ない。また，GPTでは，トークナイザに Byte-level Byte Pair Encoding (Byte-level BPE) [8] が用いられる が，現時点では対象の言語が英語や韓国語 $[1,9]$ に 限られており，日本語を中心としたコーパスに対す る Byte-level BPE の分析は行われていない. そこで，本研究では，条件の異なるトークナイザ
を用いて，日本語 GPT の事前学習と含意関係認識 タスクを用いた転移学習を行い1)，トークナイザの 違いが言語モデルの事前学習や下流タスクに与える 影響を示し，分析する。

以下に本研究の貢献を示す:

・Byte-level BPEトークナイザについて，トークナ イザの構築に用いるテキストの事前分割，トー クナイズ時の分かち書きの有無，語彙サイズと いう観点で比較を行い，分析した。

・日本語 GPTを用いた含意関係認識タスクにお けるトークナイザの違いによる影響を比較し，分析した.

## 2 関連研究

## 2.1 Generative Pre-training of a Language Model (GPT)

GPT [1,10,11] は，Transformer decoder をべースと した，大規模なコーパスを用いて教師なしで学習 される自己回帰型言語モデルである．具体的には， コーパス $\mathrm{X}=\left(x_{1}, x_{2}, \ldots, x_{N}\right)$ の可変長のトークン列 を $x_{n}=\left(s_{1}, s_{2}, \ldots, s_{M}\right)$ としたとき，以下の目的関数 を最大化することで学習される:

$
p\left(x_{n}\right)=\prod_{i=1}^{M} P\left(s_{i} \mid s_{i-k}, \ldots, s_{i-1}\right)
$

ただし， $k$ は文脈窓幅であり，条件付き確率 $P$ は ニューラルネットワークを用いてモデル化される.

## 2.2 Byte-level Byte Pair Encoding

GPT では，トークナイザとして，頻度に基づい た単語分割を学習する手法の一つである Byte-level BPE が用いられている．BPEが文字レベルでのトー クンを学習するのに対し, Byte-level BPE は Byte レ ベルでトークンを学習しており，基本的には BPE と

1） GPT の構築には Megatron-LM を用いた: https://github. com/NVIDIA/Megatron-LM.
同じアルゴリズムで構築される。

Kim ら [9] は，韓国語を中心としたコーパスを用 いて GPTを構築した. トークナイズにおいて，韓国語は英語とは異なる言語特性をもつため，生のテ キストを用いてトークナイザの構築を行うのではな く, 形態素解析器を用いてコーパスを事前に形態素 に分割してから Byte-level BPEを学習している. し かし，日本語は単語と単語の間にスペースが含まれ ないなど，韓国語とも言語的な特徵が異なっている ため, 日本語において同様の処理を行うことが適切 であるかは自明でない.

## 2.3 トークナイザ分析

日本語トークナイザ構築における辞書選択菊地ら [12] は, 日本語 BERT を対象として, トーク ナイザの入力時において文章を形態素に分割する 際に用いる辞書の違いによる性能を，分類タスク を用いて比較した. しかし, 菊池らは, 事前学習と ファインチューニングでトークナイザを統一して いないため，トークナイザ選択による影響を正確に 調査できていない。また，これはトークナイザに SentencePiece [13] を用いた BERT に限定された研究 であるため, GPT における Byte-level BPE において 同様の結果となるかは定かではない。

語彙サイズの選択Gowda ら [14]は，機械翻訳に おける適切な語彙サイズに関する分析を行ってお り，BPEにおいて語彙サイズを大きくすることが性能の向上につながることを示した. また, Xuら [15] も，機械翻訳において，語彙サイズを変化させた時 の BLEU [16] のスコアの変化量 (Marginal Utility of Vocabularization: MUV）について最適輸送を用いて 最適化する手法を提案した. しかし，これらは日本語を対象とはしておらず，日本語コーパスにおける トークナイザの語彙サイズについては分析されてい ない.

## 2.4 含意関係認識

含意関係認識とは，以下に示すようなテキストと 仮説を与え，テキストと仮説の間に含意，矛盾，中立のどの関係があるかの判別をシステムで行うタス クである。

テキスト 鉢植えの植物のあるテーブルの前で，笑顔の男性の隣に座っている女性が笑っている。

仮説 女性は笑っている。

推論判定 含意表 1 前処理後の JSNLI データセットの統計量.

## 3 実験

## 3.1 データセット

事前学習GPT の事前学習には, Wikipedia, ニュースサイト，ブログサイト，新聞等の日本語を 中心としたテキストから構築されたコーパスを用い た. 前処理として，重複する文書の削除，ランダム サンプリングを行い，最終的に学習に使用したコー パスのサイズは $10 \mathrm{~GB}$ となった.

評価タスク 本研究では，GPTの性能比較のた めの評価タスクとして日本語 SNLI（JSNLI）デー タセット [17]を用いた. JSNLI は，含意関係認識の データセットである SNLIを日本語に翻訳したもの であり，SNLIに機械翻訳を適用した後，評価デー タにクラウドソーシングによるフィルタリング，学習データに計算機による自動フィルタリングを施 すことで構築されている. 本研究では, 公開されて いるデータセットのうち，フィルタリング後の学習 データを用い，それに対し学習コストの問題から， さらに 1/10 のランダムサンプリングを行い，それ を9:1で学習データと開発データに分割した. 評価 データについては，公開されているものをそのまま 用いた. 表 1 にデータセットの統計量を示す.

## 3.2 事前学習

GPT の事前学習において，モデルの Layer 数を 12, Hidden dimension を 512, Attention Head の数を 8 とした。また，学習率は $1 \mathrm{e}-4$, バッチサイズは $56^{22}$ とし, iteration 数は $1,000,000$ とした。

## 3.3 転移学習

GPT で評価タスクを解く際は，転移学習やファイ ンチューニングによるモデルの調整を行わず，推論時にタスクに関する説明と少量のデモンストレー ションを与える few-shot 設定を用いるのが一般的で ある.しかし, 本研究では, 計算コストの問題から GPT のパラメータ数を小さくしており, few-shot 設

定では十分な性能が出せないと予測できるため, 評価セットを用いた転移学習を行う．含意関係認識夕 スクに向けた転移学習の際は, Zhao ら [18] に従い, テキストと仮説に続く推論判定を文字列で予測させ た. 入力に続く文字列を予測させて評価する際は，予測の先頭のトークンを用いて正誤を判定するのが 一般的である [19]. そのため本研究では, 正誤判定 に用いる予測ラベルを 1 トークンで表現できるよう に，含意 $\rightarrow$ “正”，矛盾 $\rightarrow$ “誤”，中立 $\rightarrow$ “不可” と正解ラベルを設定した．転移学習において，モデルの アーキテクチャは事前学習と同様にし, 学習率を事前学習時より小さい値の $5 \mathrm{e}-5$, バッチサイズを 32 とした. また, iteration 数は 15,000 とし, 以下では 全て最後の iteration におけるモデルのパラメータを 用いて評価を行った。

## 3.4 実験設定

本研究では, GPTのトークナイザとして Byte-level BPE を用いる. トークナイザの比較条件を以下の 3 点とした:

・トークナイザ構築時のテキストの事前分割の有無と辞書選択

・トークナイズ時の分かち書きの有無

・トークナイザ構築時の語彙サイズの選択

そして，次に示すように 2 ステップに分けて実験を 行なう.

辞書選択と事前分割に関する予備実験 まず， トークナイザ構築において，予備実験では語彙サイ ズを $50,257^{\text {3) }}$ で固定とする.また，トークナイザ構築に用いるテキストは, unidic ${ }^{4)} /$ ipadic $^{5)}$ を用いて 事前分割されたものに加えて事前分割を行わないも のの 3 種類とする. これらのトークナイザを用いて GPT の事前学習, 転移学習を行い, スコアを元に比較を行う．ただし，上記のトークナイザのうち，事前分割を行ったテキストを用いて構築されたもの は，トークナイズ時に分かち書きを行う場合と行わ ない場合での比較も行う. 予備実験の詳細を表 2 に 示した.

語彙サイズの実験 語彙サイズの実験では，事前分割の有無と辞書選択, トークナイズ時の分かち書 きの有無を，下流タスクの性能が予備実験において

図 1 辞書選択と事前分割に関する予備実験における各 トークナイザの事前学習における validation loss の推移

最良だったもので固定とする。語彙サイズについて は, 25,257 から 125,257 まで 25,000 ずつ変化させ，予備実験と同様に GPT の事前学習，転移学習を行 い，スコアを元に比較を行う。

## 3.5 予備実験の結果

まず，辞書選択と事前分割に関する予備実験にお ける各トークナイザの統計量を表 2 に示す. 事前分割したテキストを用いて構築されたトークナイザに 対しては，トークナイズ時の分かち書きを行った場合と行わなかった場合のトークン化された文章長を それぞれ別途記載した。トークン長については，事前分割の有無，辞書の違いによって大きな差がない ことがわかる．他と比べて， none のトークン長の標準偏差と比べて大きくなっているが，これは，辞書 を用いて形態素に事前分割されたテキストを用いて トークナイザを構築する場合，形態素を超えてマー ジが行われないが，生のテキストからマージを学習 する none は比較的長いトークンができやすいから であると推測できる. 文章長については，上述の理由から none が一番短くなっている他，トークナイ ズ時の分かち書きを行った方が僅かに文章長が短く なることが確認された。

これらのトークナイザと条件を用いて事前学習を 行った際の loss の推移を図 1 に，転移学習を行なっ た結果を表 2 に示した. 事前学習の結果からは以下 の条件:

・トークナイザ構築に用いるテキストの事前分割 を行う

・事前分割には unidic を用いる

・トークナイズ時の分かち書きは行わない

で性能が高いことがわかる。転移学習では，評価 タスクのスコアは事前学習の結果の傾向と異なり, トークナイズ時の分かち書きを行った方が性能が高
表 2 辞書選択と事前分割に関する予備実験における各トークナイザの統計量と転移学習の結果

表 3 語彙サイズの実験における各トークナイザの統計量 と転移学習の結果

い結果となった.

以上の結果を踏まえて，語彙サイズの実験には下流タスクで最もスコアが高かった unidic w/ seg の条件を用いる。

## 3.6 語彙サイズの実験の結果

語彙サイズの実験における各トークナイザの統計量を表 3 に示す. 語彙サイズが大きくなるに従っ て，トークン長の平均が長くなり，トークン化され た文章長が短くなっていることがわかる. これは マージが増えることでトークン化の際の語彙のマッ チ率が上がるためと推測できる。

事前学習における loss の推移を図 2 に，転移学習 の結果を表 3 に示す. 事前学習においては，語彙サ イズが小さい，つまり文章長が長くなるトークナイ ザを用いた方が性能が高い傾向がみられた。転移学習での結果は，予備実験での結果の際と同じように 事前学習時と異なっており，loss が低くなる小さな 語彙サイズで構築されたトークナイザではなく，語彙サイズが比較的大きめな 100,257 のトークナイザ を用いた際にスコアが最も高くなっている。

## 4 議論

予備実験と語彙サイズの実験を通して，トークナ イザの統計量と性能の関係性を観察すると，事前学習においては「文章長が長い方が性能が高くなる」 という仮説が得られる. これは，文章長が長くなる と，モデルの計算量は増加するため ${ }^{6)}$ ，スケーリン グの法則 [20] に類似した現象である可能性も考えら

6） 特に，attention 部分の計算が 2 乗のオーダーで大きくなる.

図 2 語彙サイズの実験における各トークナイザの事前学習における validation loss の推移

れる。予備実験において，転移学習の結果とは異な り，事前学習においては，分かち書きを行わうと性能が悪くなる傾向がみられた。これは，上述の仮説 に基づくと，分かち書きを行うことにより，入力が トークナイザ構築に用いたテキストと同じになるた め，トークナイズ時の語彙のマッチ率が上がり，平均的に文章長が短くなることで事前学習の性能が悪 くなっていると考えられる。語彙サイズの実験にお いても，同様に結果を解釈することができる。一方 で，予備実験，語彙サイズの実験のどちらにおいて も，転移学習時は必ずしも上述の仮説通りの結果と はなっていない。これは，下流タスクでは，トーク ンの持つ性質として，仮説のような機械学習的にメ リットのある性質よりも，言語学的な性質の方が重要な場合があるからではないかと考える. ${ }^{7)}$

## 5 まとめと今後の展望

本研究では，日本語 GPT におけるトークナイザ の影響を調査し，様々な条件における性能比較と分析を行った. 今後は，4 節での考察を元に，機械学習的な性質と言語学的な性質の関係性を明らかにす るため，他の下流タスクを用いた評価を含めたさら なる調査を行っていきたい.

7） 仮説の極端な例として，「語彙が基本語彙の 256 トークンし かないトークナイザ」を考えると，ほとんどの単語が最小単位で表現され，文章長が長くなるが，事前学習時の性能が仮 に良かったとしても，トークナイズされた文章が言語学的に 意味を持っているとは言い難い.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, et al. 2020. Language Models Are Few-Shot Learners. Advances in Neural Information Processing Systems, vol. 33, 1877-1901.

[2] Sabrina J. Mielke, Zaid Alyafeai, Elizabeth Salesky, Colin Raffel, Manan Dey, Matthias Gallé, Arun Raja, et al. 2021. Between Words and Characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2112.10508.

[3] Zaid Alyafeai, Maged S. Al-shaibani, Mustafa Ghaleb, and Irfan Ahmad. 2021. Evaluating Various Tokenizers for Arabic Text Classification. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2106.07540.

[4] Yirong Pan, Xiao Li, Yating Yang, and Rui Dong. 2020. Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2001.01589.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, vol. 1, 1715-25.

[6] Junyoung Chung, Caglar Gulcehre, Kyunghyun Cho, and Yoshua Bengio. 2014. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. Presented in NIPS 2014 Deep Learning and Representation Learning Workshop.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Ł. Ukasz Kaiser, and Illia Polosukhin. 2017. Attention Is All You Need. In Advances in Neural Information Processing Systems, vol. 30, 5998-6008.

[8] Changhan Wang, Kyunghyun Cho, and Jiatao Gu. 2020. Neural Machine Translation with Byte-Level Subwords. In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 34, 9154-9160.

[9] Boseop Kim, Hyoungseok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Dong Hyeon Jeon, Sunghyun Park, et al. 2021. What Changes Can Large-Scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-Scale Korean Generative Pretrained Transformers. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2109.04650.

[10] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving Language Understanding by Generative Pre-Training.

[11] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, and Others. 2019. Language Models Are Unsupervised Multitask Learners. OpenAI Blog 1 (8): 9.

[12] 築地 俊平, 新納 浩幸. Tokenizer の違いによる日本語 BERT モデルの性能評価. 2021. 言語処理学会 第 27 回年次大会.

[13] Taku Kudo, and John Richardson. 2018. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 66-71.

[14] Thamme Gowda, and Jonathan May. 2020. Finding the Optimal Vocabulary Size for Neural Machine Translation. In Findings of the Association for Computational Linguistics: EMNLP 2020, 3955-64.

[15] Jingjing Xu, Hao Zhou, Chun Gan, Zaixiang Zheng, and Lei Li. 2021. Vocabulary Learning via Optimal Transport for Neural Machine Translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, vol. 1, 7361-73.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. 2002. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311-18.

[17]吉越 卓見, 河原 大輔, 黒橋禎夫. 2020. 機械翻訳を用 いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会.

[18] Tony Z. Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. 2021. Calibrate before Use: Improving Few-Shot Performance of Language Models. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2102.09690.

[19] Neel Alex, Eli Lifland, Lewis Tunstall, Abhishek Thakur, Pegah Maham, C. Jess Riedel, Emmie Hine, et al. 2021. RAFT: A Real-World Few-Shot Text Classification Benchmark. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2109.14076.

[20] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. 2020. Scaling Laws for Neural Language Models. arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2001.08361.


# End-to-End 学習可能な記号処理層の検討と 数量推論への応用における課題の分析

吉川 将司 ${ }^{1,2}$ Benjamin Heinzerling ${ }^{2}$ 乾 健太郎 ${ }^{1,2}$
東北大学 ${ }^{1}$ 理化学研究所 ${ }^{2}$
\{yoshikawa, inui\}@tohoku.ac.jp benjamin.heinzerling@riken.jp

## 概要

記号処理の仕組みを DNN の微分可能な層として 組み込み，end-to-end 学習可能にする方法を検討し， その応用として四則演算プログラム (電卓) 付き文章読解モデルを構築する. さらに，一般的な設定にお いて提案モデルが電卓を活用するように学習しない 問題に対し，人工データにより原因を調査をする。

## 1 はじめに

本稿では，離散記号処理関数 $F$ を中間層として持 つような DNN モデルを構築し，全体を誤差逆伝搬法によって end-to-end に学習する方法を検討する。 また，その応用例として二項四則演算プログラム (電卓) 付き文章読解モデル (図 1)を構築し，数量推論を要する文章読解 (e.g., DROP [1]) に取り組む. ${ }^{1)}$

F は一般的なプログラミング言語における適当な 数の引数を取る関数 (サブルーチン) である. 課題 として，F の微分則は不明な上，一般にDNN の中間の活性化を離散值に落とせば勾配が消失し， $F$ よ り上流の層 (図 1 の $\mathrm{N}_{1}$ ) を最終タスクの損失 $\ell(y)$ に よって学習させることができない，そこで，本稿で は 離散分布のサンプリングに対する微分可能な緩和を行う Gumbel Softmax trick (§2) を応用すること で，DNNに組み込み end-to-end 学習可能にする $F$ の 代替を構築する方法を提示する。

電卓付き文章読解モデル (図 1) は，文章読解にお いて標準的なスパン抽出 $[3,4]$ によるモデル (推論層)への入力を電卓の計算結果で拡張するものであ る. 項抽出層が電卓への入力を予測し，電卓で四則演算を行い，推論層はその結果を活用して解答を行 う. 全体を微分可能にすることで，項抽出層を最終 タスクの損失を最小化するように学習できる．数量推論は (文章理解の上に, ) 広大な数の空間の構造

図 1 電卓付き文章読解モデル. 詳細は本文参照.

表 1 事前実験例.DROP dev データ中の比較を問う問題 (Orig) に対し，人手で数量を入れ替え問題を作り変えた (Other; 300 件). 提案モデルは電卓以外の根拠に依り頻繁に誤答してしまった。下の文例は説明のため簡潔であ るが，実際は Wikipedia 文章である。

Orig (元の DROP の事例; F 值: 79.4)

$\mathrm{X}$ has 2 pens. $\mathrm{Y}$ has 3 pens. Who has more pens? $\Rightarrow \mathrm{Y}$

Other (数量と答えを大㣗替え; F-1: 20.2)

$\mathrm{X}$ has 3 pens. $\mathrm{Y}$ has 2 pens. Who has more pens? $\Rightarrow \mathrm{X}$

とその上の演算をモデルに理解させる必要がある が，その仕組みを外部知識層として括りだすことで データ効率や推論の頑健性において強力なモデルが 構築可能と考える. 提案法は潜在変数モデルと関連 し(§3)，理屈上，モデル全体としては電卓を活用し ながら解答するように学習されると期待できる。

しかし，実際に構築したモデルは，期待される形 で電卓を使わず，別の根拠に依る解法を選好するよ うになってしまった. この点が本稿第 2 の課題であ る. 表 1 は予備実験の結果であるが，DROP [1] の
一部2）でモデルを訓練した後，評価セット中の比較問題 (表中 Orig) に対し手を加え作成した別の事例 (Other) で性能を評価した. ${ }^{3)}$ 比較問題は, 2 つの個体を数的な性質で比較する問題であるが，電卓で数 の差を計算し，その符号に従って正しい個体を選択 する，というのが最適な戦法に思われる。しかし，表が示すように，モデルは電卓を活用しないだけで なく，問題中の数を入れ替えてもその結果を反映せ ず，非本質的な根拠に依存しているようである．外部知識層を組み込む場合，モデル全体を end-to-end 学習可能にするだけではなく, モデルにその知識の 有用性を認識させることが重要な課題である. ${ }^{4)}$

本稿では，上述の問題に対し人工的な問題を用 い調査を行う。人工データは, 問題の形式に加え, DNN が敏感な分布的な偏りも制御できる. 調査の 結果, DROP で典型的な比較問題は電卓がなくとも DNN にとって簡単であり, 問題を少し複雑にすれば 提案モデルでも電卓を活用することがわかった。

## 2 DNN における離散記号変数

提案法は離散潜在変数モデルに関連するため，こ こで簡潔にまとめる.5)このモデルは $x$ から $y$ への 離散潜在変数 $z \in \mathscr{Z}$ 介した生成過程を表し，パラ メータ $\theta, \psi$ の確率分布で以下のように表される.

$
p_{\theta, \psi}(y \mid x)=\mathbb{E}_{p_{\theta}(z \mid x)}\left[p_{\psi}(y \mid z, x)\right] .
$

DNN ベースの自然言語処理への応用では検索によ る言語モデル $[6,7]$ が有名である. このモデルでは,入力テキスト $x$ に対し, Wikipedia 記事 $z$ を検索し (モデル $p_{\theta}(z \mid x)$ ), その記事を活用しながら $\mathrm{QA}$ 等の 目的タスクを解く(resp. $\left.p_{\psi}(y \mid x, z)\right)$.

多くの場合，潜在空間 $は$ は大であり，訓練では 上の期待値は少数のサンプル $\left.\{z_{i}\right.\}_{i=1}^{N}(N \ll|£|)$ で近似される。しかし、これは $\theta$ による勾配の偏推定， ひいて学習の不安定性を招く可能性がある [8].

Gumbel-Softmax (GS) trick 潜在変数モデルの 安定した勾配の近似計算のために GS trick [9] が提案されている. 潜在空間 $\mathscr{~} の$ 要素を $d(=|\mathscr{E}|)$ 次元

2) 解答に 2 数の減算を要する比較, 差, 補部問題 1.4 万件 [5].

3）提案モデルは数量を答える差問題 (How many more pens does $X$ have than $Y$ ?) に対しては安定して高い性能を示す.

4）関連して，検索による言語モデル [6] において，固有表現を 重視した事前学習が，他タスクでの性能に大きく貢献すると いう非自明な結果も注目に値する。

5） 記法: $\mathbf{1}_{k}(k \in \mathbb{N})$ で $k$ 番目の要素が 1 の適当な次元の one-hot ベクトルを表す. $\boldsymbol{x} \in \mathbb{R}^{n}$ に対し, $\operatorname{argmax}(\boldsymbol{x})$ は最大の要素 $x_{k}$ に対応する $\mathbf{1}_{k}$ を返す. argmax に関する議論では簡単のため $x_{k}$ の大きさで同率一位になることはないと仮定する. one-hot ベクトルで表現する $\left(\mathscr{I}=\left.\{\mathbf{1}_{i}\right.\}_{i=1}^{d}\right)$. さらに， $p_{\theta}(z \mid x)$ はスコア関数 $\boldsymbol{f}^{\theta}(x) \in \mathbb{R}^{d}$ と Softmax 関数で 表現されると仮定する。

$p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right)=\operatorname{softmax}_{\tau, i}\left(\boldsymbol{f}^{\theta}(x)\right)=\frac{\exp \left(f_{i}^{\theta}(x) / \tau\right)}{\sum_{j} \exp \left(f_{j}^{\theta}(x) / \tau\right)}$. ここで $\tau>0$ は温度パラメータである. Gumbel trick $[10,11]$ によれば式 (1)の期待值に対して, Gumbel 分布 $p_{\varepsilon}$ を用いて以下が成り立つ. ${ }^{6)}$

$
(1)=\mathbb{E}_{\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}}\left[p_{\psi}\left(y \mid x, \operatorname{argmax}\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)\right] .
$

$\operatorname{argmax}$ の微分はほとんど至るところ 0 であるため、 GS trick では $\lim _{\tau \rightarrow 0} \operatorname{softmax}_{\tau}(s)=\operatorname{argmax}(s)$ に着目 し softmax の期待値を 1 つの Gumbel ノイズ $\boldsymbol{\varepsilon}$ のみを用いて近似しても安定して学習できることが経験的に知ら れ，以下に対する誤差逆伝播法によって式 (1)のパ ラメータを end-to-end に最適化することができる.7)

$p_{\psi}\left(y \mid x, \operatorname{softmax}_{\tau}\left(f^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)$ where $\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}$.

また [9] では，順伝搬時には $\operatorname{argmax} を$ 用い，逆伝搬時にその Jacobi 行列 $\frac{\partial \operatorname{argmax}}{\partial s}(s)(=0)$ を softmax の もので代用する Straight-Through Gumbel-Softmax と いう手法も提案されている. 本稿ではこの亜種の微分可能 $\operatorname{argmax}$ を $\operatorname{argmax}_{\partial}$ と書くことにする.

## 3 微分可能な記号処理層

本研究の鍵は，前節の技術を応用すれば多くの記号処理関数 $F$ を簡単に深層モデルの微分可能な 1 層 $F$ に変換できるということである。この方法は，驚 くほどに単純である上， $F$ の上流ネットワーク $\mathrm{N}_{1}$ が $F$ への入力を学習し, 下層ネットワーク $\mathrm{N}_{2}$ に対し $F$ の出力が役立つようなものとなることを保証する.

命題 $1 K$ 個の項空間 $\mathscr{A}_{i}, K$ 引数記号処理関数 $F$ を考える。 $F$ は $\left(a_{1}, \ldots, a_{K}\right) \in \mathscr{A}=\mathscr{A}_{1} \times \cdots \times \mathscr{A}_{K}$ を記号処理の結果を表す可変長のトークン 列 $r=\left(r_{1}, \ldots, r_{*}\right) \in \mathscr{V}^{*}$ に変換する.このとき,対応する微分可能な $F$ は, $s \in \mathbb{R}^{|\mathcal{A}|}$ をすべて の $\mathrm{a} \in \mathscr{A}$ に対するスコア $s_{\mathrm{a}}$ のベクトルとし、 $R=\left[\mathbf{1}_{r_{1}}, \mathbf{1}_{r_{2}}, \ldots, \mathbf{1}_{r_{*}}\right]^{\top} \in \mathbb{R}^{* *|\mathscr{V}|}$ を $\hat{\mathrm{a}}=\arg \max _{\mathrm{a} \in \mathcal{A}} s_{\mathrm{a}}$ に 対する計算結果とした $F: s \mapsto R$ として構築できる.

$F$ から $F$ の構築は簡単である. $i$ 番目の項の 組み合わせを $\left(a_{i, 1}, \ldots, a_{i, K}\right)$ とし, $F\left(a_{i, 1}, \ldots, a_{i, K}\right)=$
6) $\varepsilon \in \mathbb{R}^{d} . u_{i}$ を $[0,1]$ 上の一様ノイズとし, $\varepsilon_{i}=-\log \left(-\log u_{i}\right)$.

7）一般の離散分布 $\pi$ に対する GS trick は， softmax $(\log \pi+\varepsilon)$ であるが, $\pi=\operatorname{softmax}\left(\boldsymbol{f}^{\theta}\right)$ の場合 $\operatorname{sof} \operatorname{tmax}\left(\boldsymbol{f}^{\theta}+\boldsymbol{\varepsilon}\right)$ と等しい.
$\left(r_{i, 1}, \ldots, r_{i, n_{i}}\right)$, さらに計算結果の one-hot 表現を $E_{i}=\left[\mathbf{1}_{r_{i, 1}}, \ldots, \mathbf{1}_{r_{i, n_{i}}}\right]^{\top}$ とすると, $s$ に対して微分可能 $\operatorname{argmax}$ を適用して得た重み $z$ による $E_{i}$ の重み付き 和として $F$ は表現される:

$
z=\operatorname{argmax}_{\partial}(s), \quad F(s)=\sum_{i=1}^{|\mathscr{A}|} z_{i} E_{i}
$

ここで、可変行数の行列 $E_{i}$ の和は適当に後部に 0 埋めを行うことで可能とする.

このようにして得た記号処理層 $F$ は，微分可能 argmax，ひいては潜在変数モデルと関連し，理屈的 には $F$ を中間層とするモデルは $F$ を活用するよう に学習する. この点については付録 $\mathrm{A}$ にまとめる.

## 4 電卓付き文章読解モデル

前節でのアイデアに基づき電卓付き文章読解モ デル (図 1)を構築する。 $P, Q$ を文章と質問のトー クン列とし, まとめて $x=(P, Q)$ とする. 変数 $y$ は $Q$ に対する答えである. また $\mathscr{I}(x)$ は電卓への入力候補の集合であり， $x$ に出現するすべての数量のぺ アを要素とする. $\mathscr{I}(x)$ の要素は $d=|\mathscr{I}(x)|$ 次元の one-hot ベクトルで表すこともある.

項抽出層 まず $x$ 中から電卓への入力 $z \in \mathscr{E}(x)$ を 予測する. 確率分布としては以下のように書ける.

$
p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right) \propto \exp f_{i}^{\theta}(x) .
$

ここで $\boldsymbol{f}^{\theta}(x) \in \mathbb{R}^{d}$ はすべての $(a, b) \in \mathscr{I}(x)$ に対す るスコアであり, BERT [12] で $x$ を走査して得た表現ベクトルで, 数量 $a, b$ を表すトークン列で先頭の もの (e.g., “1 \#\# \#2 \#\#3”)を連結し 2 層 ReLU ネット ワークで変換して得られる。

電卓層 式 (2) に従って抽出された数量に対し,電卓 $F$ は二項四則演算の計算を行い結果を文字列 として返す. 本研究では演算として足し算と引き算 を用い，すべての演算結果を列挙して返す. 例え ば $F(72,23)=" 95=72+23,59=72-23$, $-59=23$ - 72" などとする. この電卓を $\S 3$ の手法に基づき記号処理層 $F$ に変換しモデルに含める.

推論層 推論層 $p_{\psi}(y \mid x, F(s))$ は文章読解において 標準的なスパン抽出 $[3,4]$ によるものであるが，質問 $Q$, 文章 $P$ に加え電卓の計算結果文字列 $F(s)$ か らも回答を抽出することができる点が異なる.

$
p_{\psi}(y \mid x, F(s))=\sum_{(s, t) \in \mathcal{Y}(x, y)} q_{\psi}((s, t) \mid x, F(s))
$

ここで， $y(x, y)$ は添字の組 $(s, t)$ であり,トークン 列“[CLS] $Q$ [SEP] $P$ [SEP] $F(s)$ [SEP]” 上で $s$ か表 2 実験データの例. 斜体で示した部分を譲渡文と 呼ぶ. どちらの問も根拠として, 9,816,091 (- 6,224,450)> $3,002,489$ である (括弧内は譲渡文ありの場合).

P: John has 5,903,204 grapes, Mark has 8,907,756 grapes, Ryan has 7,646,494 grapes, Anna has 9,816,091 grapes, Kenneth has 8,091,683 grapes, Johnny has 1,078,950 grapes, Carl has 3,002,489 grapes, Alice has 5,953,680 grapes, Grace has 6,279,638 grapes, Kyle has 6,940,318 grapes, Anna gave 6,224,450 grapes to Grace.

$\max \mathbf{Q}$ : What is the maximum number of grapes owned either by Anna or Carl? A: 3,591,641

$\operatorname{argmax} Q$ : Who has more grapes: Anna or Carl? A:

Anna

ら $t$ 番目のトークン列が $y$ に一致するようなものの 集合である. $q_{\psi}$ は BERT で同じ文字列を走査して 得たベクトル列の関数である.

訓練 上述の 3 層を合成すると、提案モデルは $p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)\right)\right)$ である. GS trick (§2) との関連か ら，このモデルの訓練には，電卓の使い方を探索す るため Gumbel ノイズ $\varepsilon \sim p_{\varepsilon}$ を加える. 従って，学習では訓練データ上で以下の損失を最小化する。

$
\ell_{\mathrm{end}}=-\log p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)
$

注意として，順伝搬時に動的に得られた電卓の計算結果トークン列 $F(\hat{z})\left(\right.$ with $\left.\hat{z}=\operatorname{argmax}\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)$ 中 にラベル $y$ が含まれる場合，モデルはそのスパンも 抽出するように更新される.

層ごとの教師信号 提案モデルの強みの 1 つに，層ごとの訓練が可能なことがある. 具体的に，本研究では項抽出層に対して専用の教師信号 $\ell_{\text {arg }}$ を加え ることを考える. 訓練事例 $(x, y)$ に対し $y$ が数量で あれば $x$ 中の 2 数 $(a, b)$ で $F(a, b)$ が $y$ を含むような ものを全探索し抽出層の訓練に利用する。このよう にして得たラベルと式 (2)の間の binary cross entropy を $\ell_{\text {arg }}$ とし， $\ell_{\text {end }}+\ell_{\text {arg }}$ で全体を訓練する．以下の実験では，人工的な設定ゆえに真の項抽出ラベルが手 に入るが，現実的な問題設定を考慮して上の手続き で得られるもののみをラベルとして利用する.

## 5 実験

実験データ 実験には表 2 のような人工文章読解問題を用いる。人工データは，問題の構造そのもの に加え，モデルが敏感なデータの偏りを制御でき る. 基本的に，ランダムに人が所有する物体 (grapes,
表 3 主な実験結果 (F1/項正答率). 各設定ごとに訓練・評価に用いるデータは異なる. 列は含まれる問題のタイ プ，行は各事例に譲渡文が含まれるかを表す。

表 4 汎化実験. 6 析以下の数字のみを含む 2 万件で訓練後, 7 桁の $\operatorname{argmax}$ 問題のみの評価セットで $\mathrm{F} 1$ /項正答率を 評価。訓練/評価セットいずれも譲渡文を含む。

} & argmax & $72.0 /-$ & $74.9 / 2.0$ \\
\cline { 2 - 4 } & max+argmax & - & $78.5 / 99.8$

etc.) を列挙し，それらの間の max/argmax 関係を問 う. 析数に基づいて大小関係が推論できてしまうこ とを防ぐため, 明示的に言及しない限り出現する数 をすべて 7 桁で固定する。特殊な場合として，譲渡文 (例最後の斜体文)を含める。このとき，質問は必 ず譲渡イベントに参与した人について問うことに する。譲渡文なしでは，数量推論として所有物の数量の比較が必要であるが, 譲渡文ありの場合は譲渡 による所有物の数量の変化を含む 2 段階の計算をす る必要がある. 訓練/評価には 2 万 $/ 2$ 千件を用いる.問題の構造上, 項抽出損失 $\ell_{\text {arg }}$ は譲渡文ありの $\max$問題の一部のみ ${ }^{8}$ に与えられ，argmax 問題ではタス ク損失 $\ell_{\text {end }}$ から抽出方法を学習する必要がある.

項抽出層，推論層では bert-base-uncasedを 用い，パラメータを共有させる。既存研究 [4] に従い，入力中の数量は桁ごとに分割する (例: $123 \mapsto 1$ \#\#2 \#\# 3). 評価指標として, DROP と同様のF1 スコアと項抽出の正答率 (2 項完答で 1 点) を 報告する. 項抽出は，譲渡文なしの場合は所有物の 数量の比較に関するもの, 譲渡文ありの場合は譲渡 による数量の変化に関係する 2 項を正解とみなす.

## 5.1 実験結果

表 3 亿問題のタイプ，譲渡文の有無を変えて訓練 と評価を行った結果を示す. 譲渡文なしの $\operatorname{argmax}$問題は, 構造的に DROP の比較問題に対応するが， §1での予備実験と同様に提案モデルは高い $\mathrm{F} 1$ を示 す一方で，電卓は活用できていないことが観察でき る. 図 2 は，同じモデルで $\operatorname{argmax}$ 問題の事例を解 かせたときに，入力と電卓計算結果のどのトークン に注目しているかを勾配べースの手法 [13] で可視化

8）表 2 の例において譲渡文が Douglas gave 7,000,000 grapes to Grace. であれば max Q の答えが変わるため存在しない.

図 2 譲渡文なし， argmax 問題で訓練したモデルによる 評価事例中のトークン重要度. $\hat{s}$ と $\hat{y}$ を項抽出層, 推論層 の予測とし, 各トークン $x_{i}$ の推論層入力の埋め込み表現 $\boldsymbol{e}_{x_{i}}$ について $\left.\|\nabla_{\boldsymbol{e}_{x_{i}}}\left(-\log p_{\psi}(\hat{y} \mid x, F(\hat{\boldsymbol{s}}))\right)\right.\|$ の大きさを示す.

したものであるが，モデルが敏感に反応しうるデー タの偏りを極力廃した人工データでは，明らかに比較すべき人物と関連する数量 (の最初の数桁) に注目しており，この種の問題では電卓を利用せずとも BERT 内部で解法を見つけることが可能であると示唆される。同様の観察から譲渡文なしの max 問題も 電卓を使わずに解くことができるようである.

譲渡文ありの実験においては， $\max$ の設定で項正答率が $100 \%$ に達した. この事の要因の 1 つに, こ の設定では項抽出損失 $\ell_{\text {arg }}$ の効果があると推察さ れる。また $\operatorname{argmax} の み, ~ \max$ と $\operatorname{argmax}$ 両方を含む 場合の 2 つを比べると後者の項正答率の高さから, max で得た電卓の使い方を $\operatorname{argmax}$ 問題に般化して 活用するように学習できていることが観察される. これらから，現状の提案モデルが電卓を使うために は，(1) 2 段の推論を要する等数量推論問題が簡単す ぎないこと，(2) max 問題等で項抽出の仕方を少し 教えることの 2 点が有効であることが推測される.

最後に，提案モデルの未知の析の数に対する頑健性を評価した (表 4). 表 2 と同じ譲渡文ありの事例 で 6 析以下の数のみ含む 2 万件 ${ }^{9)}$ で訓練した後， 7 枌の数のみ出現する 2 千件で評価したところ，電卓 を活用できるモデルが最も高い頑健性 (F1) と動作の 解釈性 (項正答率)を有していることがわかった.

## 6 終わりに

本稿では記号処理関数をDNN の微分可能な層 として組み込む方法を検討し，その応用として電卓付き文章読解モデルを構築した．前者の鍵は Gumbel-Softmax trickを拡張することである．応用 では，人工データによる実験でモデルの挙動の癖が 明らかになったが，一般的な設定で電卓の有用性を モデルに認識させることは今後の課題である.

9） [14] に倣い，事例に出現する数量 $v$ を $d \sim U\{1, \ldots, 6\}, v \sim$ $U\left[10^{d-1}, 10^{d}-1\right]$ の 2 段階の一様サンプリングで得ることで 事例に含まれる数が大きな値に偏ることを防いだ。
謝辞本研究は JST CREST JPMJCR20D2 及び JSPS 科研費 20K23314, 21K17814 の助成を受けたも のです.

## 参考文献

[1] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2368-2378, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] 吉川将司, 乾健太郎. 離散記号処理に対する近似的な 微分構造の考察と数量推論を要する文章読解問題 への応用. 言語処理学会年次大会発表論文集, 3 月 2021

[3] Jambay Kinley and Raymond Lin. NABERT+: Improving numerical reasoning in reading comprehension. https: //github.com/raylin1000/drop-bert, 2019.

[4] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online, July 2020. Association for Computational Linguistics.

[5] Tushar Khot, Daniel Khashabi, Kyle Richardson, Peter Clark, and Ashish Sabharwal. Text modular networks: Learning to decompose tasks in the language of existing models, June 2021.

[6] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Mingwei Chang. Retrieval augmented language model pre-training. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 3929-3938, Virtual, 13-18 Jul 2020. PMLR.

[7] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020.

[8] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, Vol. 8, No. 3, pp. 229-256, 1992.

[9] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparametrization with gumbel-softmax. In Proceedings International Conference on Learning Representations 2017. OpenReviews.net, April 2017.

[10] Emil Julius Gumbel. Statistical Theory of Extreme Values and Some Practical Applications. A Se- ries of Lectures. U.S. Government Printing Office, 1954.

[11] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In International Conference on Learning Representations, 2017.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps, 2014.

[14] Rodrigo Nogueira, Zhiying Jiang, and Jimmy Lin. Investigating the limitations of transformers with simple arithmetic tasks, 2021

## A $\quad \boldsymbol{F$ の上流ネットワーク $\mathrm{N}_{1}$ の学習}

本稿の目的は記号処理関数を DNN の 1 層とし, ネットワークとの合成関数 $x \xrightarrow{\mathrm{N}_{1}} \boldsymbol{s} \xrightarrow{F} F(\boldsymbol{s}) \xrightarrow{\mathrm{N}_{2}} y$ を end-to-end に学習することであった (図 1).これに関 する自然な疑問として，この予測 $y$ に対する損失に よりモデル全体を訓練したときに， $\mathrm{N}_{1}$ は $F$ を介し て $\mathrm{N}_{2}$ に有用な記号処理計算結果を渡すようになる だろうか，ということがある。これについては，GS trickとの関係で肯定的に答えることができる.

命題 2 入力 $x$, 予測 $y, \mathrm{~N}_{1}(x)=s, s$ は $F(=F)$ に 入力されるとする. さらに $\mathrm{N}_{1}$ は $p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right) \propto$ $f_{i}^{\theta}(x), \mathrm{N}_{2}$ は $p_{\psi}(y \mid x, F(z))$ をモデル化する.この とき, Gumbel ノイズで摂動されたこれらの合成 $x \xrightarrow{\mathrm{N}_{1}} \boldsymbol{s} \xrightarrow{F} F(\boldsymbol{s}) \xrightarrow{\mathrm{N}_{2}} y$ は,

$
p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right) \text { with } \boldsymbol{\varepsilon} \sim p_{\varepsilon},
$

であり，これは離散潜在変数モデル $p_{\theta, \psi}(y \mid x)$ を近似的にモデル化する.

計算結果 $F^{\prime}$ の条件付き分布 $p\left(F^{\prime} \mid z\right)$ を仮定すれば $p_{\theta, \psi}(y \mid x)$ は以下のように展開できる.

$
p_{\theta, \psi}(y \mid x)=\sum_{z} \sum_{F^{\prime}} p_{\psi}\left(y \mid x, F^{\prime}\right) p\left(F^{\prime} \mid z\right) p_{\theta}(z \mid x) .
$

$F^{\prime}$ は $z$ から決定的に決まることに加えて, Gumbel trickを用いると，

$
\begin{aligned}
(4) & =\sum_{z} p_{\psi}(y \mid x, F(z)) p_{\theta}(z \mid x) \\
& =\mathbb{E}_{p_{\theta}(z \mid x)}\left[p_{\psi}(y \mid x, F(z))\right] \\
= & \mathbb{E}_{\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}}\left[p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)\right] .
\end{aligned}
$

この式と式 (3) は GS trick のときと同様に近似的の 関係にある。よって，式 (3) に関してパラメータを 最適化すれば， $p_{\theta, \psi}(y \mid x)$ に関する尤度が最大化さ れ，これは一方で $\mathrm{N}_{1}$ が我々の期待するような形で 訓練されることを意味する.

本稿の文章読解モデルは, 式 (4) に基づいて訓練 することも可能であるが，今後の拡張として記号処理層を多段に適用することを念頭に置き，一度の順伝搬と逆伝搬で訓練可能な Gumbel Softmax 式のア プローチを検討する。


# 海馬の記憶インデックスに着想を得たリプレイによる 言語処理タスクの継続学習

前川在 上垣外英剛 船越孝太郎 奥村学
東京工業大学
\{maekawa, kamigaito, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

継続学習は過去に学習したタスクへの破滅的忘却 を防ぎつつ新しいタスクを学習することを目的と する. その手法の一つである生成的リプレイは過去 のタスクのデータを生成モデルにより生成し，新し いタスクのデータに加えることで破滅的忘却を防 ぐ.しかし，この手法には生成サンプルの質や偏り によって継続学習の性能が低下するという問題が ある. 本研究では，脳の海馬の記憶インデックスに 着想を得て，学習サンプルの圧縮表現を用いた条件付けにより，過去の特定の学習サンプルをリプレイ 時に生成可能な生成的リプレイの手法を提案する. SST，QA-SRL，WOZ の 3 つの異なる言語処理タス クのデータセットを対象とした実験の結果，提案手法は継続学習における性能の向上を示した.

## 1 はじめに

新しいタスクを次々と学習する継続学習の能力 は，人間のような知能システムを実現する上での基本要件の一つである [1]. また, 汎用的な継続学習 システムの実現は，新しいタスクに対する学習コス 卜を大幅に減らすため，実応用においても重要であ ると考えられる。しかしながら，ニューラルネット ワークで新しいタスクを学習すると，過去に学習し たタスクに対する性能が著しく低下する破滅的忘却 と呼ばれる現象が起こる [2].

破滅的忘却は，新しいタスクと同時に過去のタス クを再学習することで対処可能であるが，そのため には過去の全タスクのデータを保持しておく必要 があり，ストレージ容量やプライバシーの観点から 問題が生じる場合がある。これに対し，実サンプル の代わりに，生成モデルによる擬似サンプルを利用 する生成的リプレイという手法がある [3]. 一般に 生成的リプレイでは，過去の学習サンプルだけでな
く，タスクに相応しい未知のサンプルの生成も想定 するが，実際に適切な未知のサンプルを生成するこ とは困難であり，質の低いサンプルを生成する原因 になる。また，生成されるサンプルが直前に学習し たタスクに偏ってしまうという問題がある.

継続学習を実現している生物の脳では，海馬イン デックス理論 [4] によると，海馬が新皮質の活動パ ターンを圧縮表現に符号化して記憶し，それをイン デックス情報として新皮質に投射することで過去の 活動パターンが想起されると考えられている. 本研究では，この海馬の働きに着想を得て，学習サンプ ルの圧縮表現による記憶インデックスを用いた生成的リプレイの手法を提案する。各学習サンプルを 圧縮表現に符号化する Encoder と，それを記憶イン デックスとして保持する海馬モジュールを導入し，記憶インデックスを用いた条件付けによって，リプ レイとして過去の特定の学習サンプルを生成するこ とを可能にする。

SST，QA-SRL，WOZ の 3 つの異なる言語処理夕 スクのデータセットを対象とした実験の結果，提案手法は生成サンプルの偏りを防ぎ，継続学習の性能 を向上させることが可能であることを示した.

## 2 関連研究

ニューラルネットワークを用いた継続学習の研究 は大きく，正則化ベース，アーキテクチャベース， リプレイベースの 3 つの手法に分類される。

正則化ベースの手法では，過去のタスクに対して 重要なパラメータが変化しないように制約を加えて 破滅的忘却を防ぐ. 各パラメータの重要度の推定に は，フィッシャー情報行列を利用する手法 [5] や，勾配の大きさを利用する手法 [6] がある.

アーキテクチャベースの手法は，ネットワーク 構造の工夫によってタスク間の知識の干渉を防ぐ. タスクごとにネットワークを拡張する手法 [7] や，
(a) Train

(b) Replay

図 1 提案手法の概要

フィルタを用いてネットワークをプルーニングする 手法 [8] がある.

リプレイベースの手法では，過去に学習したデー タを新しいタスクとともに再学習するリプレイを 用いる. d'Autume ら [9] は，学習データを保持する エピソード記憶モジュールを導入し，リプレイと推論時のパラメータの局所適応に利用した. Shin ら [3] は，生成モデルによる擬似サンプルを利用する 生成的リプレイを提案した。言語処理タスクを対象 とした生成的リプレイの手法には, LAMOL [10] が ある. LAMOL は，タスクとサンプル生成を言語モ デルで同時に学習し, 単一のモデルのみで継続学習 を行う. LAMOL の派生手法として, 知識蒸留を組 み合わせた手法 $[11,12]$ や，生成サンプルのうち忘却度が高いものをリプレイとする手法 [13] がある.

一般に生成的リプレイの手法では，過去の学習サ ンプルを必要としない一方で, 生成サンプルの質や 偏りによる継続学習の性能低下が生じる. そこで本研究では，LAMOL における生成サンプルの質や偏 りを改善するために，記憶インデックスによる条件付けを用いて, リプレイとして過去の特定の学習サ ンプルを生成できる手法を提案する.

## 3 提案手法

提案手法の概要を図 1 に示す. 提案手法ではタス クの学習と同時に Autoencoder としてサンプル生成 を学習する。 その際に得られる特徴べクトルを記憶 インデックスとして海馬モジュールで保持し，リプ レイ時に条件付けとして Decoder に与えて，対応す る学習サンプルを生成する. また，タスク自体も同 じ Decoderに学習させる.

## 3.1 モデル

提案手法は，学習サンプルを符号化する Encoder， タスクとサンプル生成を行う Decoder，記憶イン
デックスを保持する海馬モジュールから構成され る. 以下では各モジュールの詳細を説明する。

## 3.1.1 Encoder

BERT [14] を用いて学習サンプルを固定長の特徴 ベクトルに符号化する. 通常行われる BERT の学習 と同様に，先頭につけた [CLS]トークンの埋め込 みべクトル $\boldsymbol{h}_{[\mathrm{CLS}]} \in \mathbb{R}^{H}$ を入力全体を表す特徴表現 として利用し，重み行列 $\boldsymbol{W}_{\mathrm{E}} \in \mathbb{R}^{P \times H}$ と活性化関数 $\tanh$ を用いて， $P$ 次元の特徴べクトル $\boldsymbol{h} \in \mathbb{R}^{P}$ に変換する (式 1 ).

$
\boldsymbol{h}=\tanh \left(\boldsymbol{W}_{\mathrm{E}} \boldsymbol{h}_{[\mathrm{CLS}]}\right)
$

Encoder のパラメータは，3.2 節で述べる事前学習 でのみ最適化を行い，継続学習時は固定する。これ は，継続学習の過程で学習時と生成時とで特徴べク トルにズレが生じ，記憶インデックスによる制御可能性が著しく低下することを防ぐためである.

## 3.1.2 Decoder

LAMOL [10] のアイデアに基づき，GPT-2 [15] を 用いてタスクとサンプル生成を同時に学習する.

提案手法では, サンプル生成時に, Encoder で符号化した特徴ベクトル $\boldsymbol{h}$ による条件付けを行う. 固定長のベクトルを用いて GPT-2 のテキスト生成を 制御する方法については，先行研究 $[16,17]$ によっ ていくつかの手法が提案されており，そのうち本研究では，以下で説明するように，Embedding 層と Self-Attention 層を利用する手法を用いる.

Embedding 特徴ベクトル $\boldsymbol{h}$ から, 重み行列 $\boldsymbol{W}_{\mathrm{D}} \in \mathbb{R}^{H \times P}$ を用いて GPT-2 の入力埋め込みと同じ $H$ 次元のベクトルに変換し, 各入力トークンの単語埋め込み $\boldsymbol{h}_{\mathrm{WE}}$ と位置埋め込み $\boldsymbol{h}_{\mathrm{PE}}$ を足し合わせ，新 たな入力埋め込み $\boldsymbol{h}_{\mathrm{Emb}}=\boldsymbol{h}_{\mathrm{WE}}+\boldsymbol{h}_{\mathrm{PE}}+\boldsymbol{W}_{\mathrm{D}} \boldsymbol{h}$ とする.

Self-Attention 特徴ベクトル $\boldsymbol{h}$ を重み行列 $\boldsymbol{W}_{\mathrm{M}} \in$ $\mathbb{R}^{L H \times P}$ による線形変換で $\boldsymbol{h}_{\mathrm{Mem}} \in \mathbb{R}^{L H}$ に変換し， $L$個の $H$ 次元ベクトル $\left[\boldsymbol{h}_{\mathrm{Mem}, 1}, \ldots, \boldsymbol{h}_{\mathrm{Mem}, L}\right]$ に分割す る. ただし， $L$ は GPT-2 の層数である. 各 $l$ 層目の Self-Attention において， $\boldsymbol{h}_{\text {Mem,l }}$ を Key, Value ベクト ルに変換して追加の参照情報として利用し， $x_{t}$ を $x_{<t}$ と $\boldsymbol{h}_{\mathrm{Mem}, l}$ の両方で条件づける.

## 3.1.3 海馬モジュール

海馬モジュールは，記憶インデックスとして各学習サンプルの特徴ベクトルを保持する．具体的に

は，新しいタスクの学習時，Encoder で符号化した 特徴ベクトルをタスクごとに分けて保存する。リプ レイ時に，特徴べクトルを過去のすべてのタスクか ら同じ数ずつランダムに取り出して, Decoder のサ ンプル生成の条件付けに使用する.

## 3.2 事前学習

記憶インデックスとして利用する特徴ベクトル は，Decoder で元の学習サンプルを復元できるだけ の十分な情報を含んでいることが望ましい. しか し, BERT の事前学習によって獲得された [CLS] の 埋め込みと，ランダムに初期化された $\boldsymbol{W}_{\mathrm{E}}$ による線形変換では不十分であると考えられる。そこで，テ キストコーパスを用いて教師なしで Autoencoderを 事前学習することで，十分な情報を持った特徴べク トルへの符号化を実現する.

また，言語モデルを Autoencoder と同時に学習す る.これは, Autoencoder の学習により, GPT-2 が 元々持つ言語モデルの情報を失うことを防ぐためで ある.したがって，事前学習では， Autoencoder の損失と言語モデルの損失の和 $L=L_{\mathrm{AE}}+L_{\mathrm{LM}}$ を最小化 するよう, Encoder と Decoder のパラメータを最適化する.

## 3.3 継続学習

## 3.3.1 データ形式

LAMOL と同様に, decaNLP フォーマット [18] に 基づき, Context と Question から Answerを予測する 質問応答として，すべてのタスクを Decoderの GPT-2 で学習する (図 2(a)). サンプル生成は, Encoder で Context, Question, Answer 全体を符号化した特徴べ クトルから，元の入力を復元する Autoencoder とし て学習する (図 2(b)).

## 3.3.2 学習の流れ

継続学習の問題として，タスク列 $\left.\{T_{1}, T_{2}, \ldots\right.\}$ を 考える. 新しいタスク $T_{i}(i>1)$ の学習前に, 海馬 モジュールから特徵ベクトルを $\gamma\left|T_{i}\right|$ 個取り出し, Decoder で対応するサンプルを生成する．ただし， $\left|T_{i}\right|$ はタスク $T_{i}$ の学習サンプルの数であり, $\gamma$ はリ プレイの割合である. 生成サンプルのうち, [ANS] が 1 つでないものと，BERT および GPT-2 の最大系列長を超えているものは棄却し，残りをリプレイと して新しいタスクのデータに加える。

図 2 (a) [ANS] を生成の開始位置を示す特殊トークンと し，質問応答としてタスクを学習. (b) Encoder で符号化 した特徴べクトルによる条件付けを用いて，Decoder で開始トークン [GEN] からサンプル全体を生成.

タスクの損失 $L_{\mathrm{QA}}$ と Autoencoder の損失 $L_{\mathrm{AE}}$ を, サ ンプル生成の損失の重み $\lambda$ を用いて $L=L_{\mathrm{QA}}+\lambda L_{\mathrm{AE}}$ として，Decoderを学習する。

## 4 実験

## 4.1 実験設定

データセット decaNLP [18] から，感情分析 (SST)，意味役割付与 (QA-SRL), 対話状態追跡 (WOZ) の 3 つの異なるタスクのデータセットを使用

トセットを利用した.

比較手法 全手法で GPT-22)を使用し，各タスク を 9 epoch ずつ学習した. 以下に各手法を示す.

提案手法: Encoder には $\mathrm{BERT}_{\mathrm{BASE}}{ }^{3}$ を使用し，サン プル生成の損失の重みは $\lambda=0.25$, 特徴ベクトルの 次元数 $P$ は 128 とした. 先行研究 [10] に合わせ，リ プレイの割合は $\gamma=0.05,0.2$ とした.

LAMOL: 提案手法によるリプレイの条件付けの有効性を検証するためのベースライン．言語モデルと して生成を学習し, [GEN] から top- $k$ サンプリング $(k=20)$ でリプレイサンプルを生成する.

Task-specific tokens: Sun ら [10] が提案した，タスク ごとに開始トークンを変え，生成サンプルが過去の 全タスクで均等になるよう制御する手法. 提案手法 と LAMOL のそれぞれに適用した。

Real sample: 提案手法のリプレイを実サンプルに置 き換える。提案手法の性能上限と考えられる。

Fine-tuning: タスクを 1 つずつファインチューニン グする。継続学習の性能下限と考えられる。

Multitask: 全タスクのデータセットを混合し同時に 学習する。継続学習の性能上限と考えられる。

評価指標 継続学習の性能評価のために，以下の 2 つの評価指標を用いる. ここで $a_{j, i} \in[0,100]$ は夕

表 1 各手法の全 6 パターンの学習順序に対する実験結果とそれらの平均及び標準偏差. 各スコアは 2 回実行した結果 の平均. Proposal および LAMOL の上付き文字はリプレイの割合 $\gamma$ を表し，下付き文字はそれぞれ共通の開始トークン (GEN), Task-specific tokens（TASK），Real sample（REAL）を表す.

図 32 回目のリプレイに含まれる各タスクの生成サンプルの割合

スク $T_{i}$ を学習後のタスク $T_{j}$ の評価結果を表す.

Average Score $\in[0,100]:$ 最終的なモデルの各タスク の評価結果 $a_{T, i}$ の算術平均.

Forgetting Measure $\in[-100,100]:$ Chaudhry ら [20] が 提案した，過去のタスクの忘却度合い. ただし， decaNLP タスクの評価指標に合わせて -100 100の 値をとる．値が小さいほど望ましい。

$
F_{T}=\frac{1}{T-1} \sum_{i=1}^{T-1} f_{T, i} \quad\left(f_{T, i}=\max _{j<T} a_{j, i}-a_{T, i}\right)
$

## 4.2 実験結果

6 パターンすべての学習順序について実験を行っ た結果を表 1 に示す. まず, Fine-tuning の結果から，新しいタスクの学習によって, 過去のタスクに対す る破滅的忘却が生じることが確認できる. 提案手法 の結果は，すべての条件で LAMOL の性能を大きく 上回っており，タスクの学習順序に対する性能のば らつきも抑えられている。これは，継続学習に対し て提案手法が有効であることを示している。

各実験における 2 回目のリプレイ時の生成サン
プルをタスクごとに分類4)した結果を図 3 に示す. LAMOL では生成サンプルの多くが直前のタスクの ものになっており, Task-specific tokens の効果も学習順序によって大きく差がある。これに対して，提案手法は生成サンプルの偏りを大幅に抑えられてお り，記憶インデックスによる条件付けがうまく機能 していると考えられる。また，リプレイの偏りがほ とんど同じ場合についても，継続学習の性能で提案手法が LAMOL を上回っていることから，生成サン プルの質が改善されていることが示唆される.

## 5 おわりに

本稿では，言語処理タスクの継続学習に対して，海馬の記憶インデックスに着想を得た制御可能な生成的リプレイの手法を提案した。複数の異なる言語処理タスクを対象とした実験の結果，提案手法は生成サンプルの偏りを防ぎ，継続学習の性能を向上さ せることを示した. 今後は，海馬モジュールの記憶容量を削減する方法についても取り組みたい.

4） BERTによる分類モデルを作成して使用した.

## 参考文献

[1] German I Parisi, Ronald Kemker, Jose L Part, Christopher Kanan, and Stefan Wermter. Continual lifelong learning with neural networks: A review. Neural Networks, Vol. 113, pp. 54-71, 2019

[2] Michael McCloskey and Neal J. Cohen. Catastrophic interference in connectionist networks: The sequential learning problem. Psychology of Learning and Motivation, Vol. 24, pp. 109-165, 1989.

[3] Hanul Shin, Jung Kwon Lee, Jaehong Kim, and Jiwon Kim. Continual learning with deep generative replay. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 2990-2999. Curran Associates, Inc., 2017.

[4] Timothy J Teyler and Jerry W Rudy. The hippocampal indexing theory and episodic memory: updating the index. Hippocampus, Vol. 17, No. 12, pp. 1158-1169, 2007.

[5] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka GrabskaBarwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell. Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, Vol. 114, No. 13, pp. 3521-3526, 2017.

[6] Rahaf Aljundi, Francesca Babiloni, Mohamed Elhoseiny, Marcus Rohrbach, and Tinne Tuytelaars. Memory aware synapses: Learning what (not) to forget. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 139-154, 2018.

[7] Andrei A Rusu, Neil C Rabinowitz, Guillaume Desjardins, Hubert Soyer, James Kirkpatrick, Koray Kavukcuoglu, Razvan Pascanu, and Raia Hadsell. Progressive neural networks. arXiv preprint arXiv:1606.04671, 2016.

[8] Arun Mallya and Svetlana Lazebnik. Packnet: Adding multiple tasks to a single network by iterative pruning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7765-7773, June 2018.

[9] Cyprien de Masson d'Autume, Sebastian Ruder, Lingpeng Kong, and Dani Yogatama. Episodic memory in lifelong language learning. In $\mathrm{H}$. Wallach, $\mathrm{H}$. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 13122-13131. Curran Associates, Inc., 2019.

[10] Fan-Keng Sun, Cheng-Hao Ho, and Hung-Yi Lee. Lamol: Language modeling for lifelong language learning. In International Conference on Learning Representations, 2019.

[11] Yung-Sung Chuang, Shang-Yu Su, and Yun-Nung Chen. Lifelong language knowledge distillation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2914-2924, Online, November 2020. Association for Computational Linguistics.
[12] Jingyuan Sun, Shaonan Wang, Jiajun Zhang, and Chengqing Zong. Distill and replay for continual language learning. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3569-3579, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[13] Heejeong Choi and Pilsung Kang. Lifelong language learning with the most forgotten knowledge. IEEE Access, Vol. 9, pp. 57941-57948, 2021.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[16] Chunyuan Li, Xiang Gao, Yuan Li, Baolin Peng, Xiujun Li, Yizhe Zhang, and Jianfeng Gao. Optimus: Organizing sentences via pre-trained modeling of a latent space. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 46784699, Online, November 2020. Association for Computational Linguistics.

[17] Le Fang, Tao Zeng, Chaochun Liu, Liefeng Bo, Wen Dong, and Changyou Chen. Transformer-based conditional variational autoencoder for controllable story generation. arXiv preprint arXiv:2101.00828, 2021.

[18] Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, and Richard Socher. The natural language decathlon: Multitask learning as question answering. arXiv preprint arXiv:1806.08730, 2018.

[19] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami Al-Rfou. Wiki-40B: Multilingual language model dataset. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452, Marseille, France, May 2020. European Language Resources Association.

[20] Arslan Chaudhry, Puneet K Dokania, Thalaiyasingam Ajanthan, and Philip HS Torr. Riemannian walk for incremental learning: Understanding forgetting and intransigence. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 532-547, 2018.

## A 付録

## A. 1 継続学習に使用したタスクの詳細

表 2 使用したタスク，データセット，評価指標

 & Who is based somewhere? & COG & 6414 & 2201 & $\mathrm{nF1}$ \\
Goal-Oriented Dialogue & WOZ & I am looking for African food & What is the change in state ? & food: African; & 2536 & 1646 & dsEM \\

## A. 2 忘却の過程

図4 それぞれの手法の各学習順序における忘却の過程


# Test Time Augmentation for Cross-lingual Text Classification

Artsem Zhyvalkouski
Tokyo City University
artsem20@ipl.cs.tcu.ac.jp
}

Shiho Hoshi Nobesawa
Tokyo City University
shiho@tcu.ac.jp
}

\begin{abstract}
Recently, in order to face the problem of the lack of labeled data for languages other than English, language models based on BERT were extended to tackle the task of cross-lingual transfer. Such multilingual models have been known to perform well on the target language data without actually being trained on it, but the need to improve their accuracy still exists. In this paper, we present an approach to improve the accuracy of such models by utilizing machine translation and test time augmentation, widely used in computer vision, but not thoroughly researched in natural language processing. We show that our method demonstrates improvement without training additional models or collecting more labeled data.
\end{abstract
## 1 Introduction

## 1.1 Multilingual Language Models

Recently, a highly accurate masked language model BERT[1] is widely used. It is pre-trained with a large amount of unlabeled data, such as Wikipedia[2]. Training is performed by randomly removing a word from a sentence and making the model predict what the removed word is. It can be said that this is a method of extracting features of sentences, such as word2vec[3] or FastText[4]. As an application of this model, firstly it is trained on a large amount of unlabeled data in advance. Next, it is trained further with data for tasks such as text classification or question answering.

Another recent trend is to train multilingual models that extend BERT to multiple languages. Typical models include mBERT[1], XLM[5] and XLM-R[6]. The background of multilingual models is that there is currently a lack of non-English labeled data. Unlike BERT, mBERT is pre-trained with a large amount of data in 104 languages. The application process is illustrated on Figure 1. As a con-

Figure 1 Application of multilingual models

crete application, firstly it is trained with a large amount of unlabeled multilingual data, then it is trained with labeled English data for a particular task. And finally, the inference is performed in the target language, for example, French. By doing so, it is known that high accuracy can be achieved even in the target language without actually having any labeled data for the target language. As another example, we can take a multilingual pre-trained model, fine-tune it on English data for Question Answering and then perform inference in Japanese, so the model can answer questions in Japanese, without actually being trained on them. One of the purposes of this research is to improve the accuracy of such multilingual models.

## 1.2 Test Time Augmentation

Another concept that is used in this research is Test Time Augmentation. Let us start with Train Time Augmentation. This is a method to increase the training data in an artificial manner. For example, in the case of natural language processing, there is back-translation[7]. An example of the back-translation method is shown on Figure 2. With this method machine translation from the original language $A$ to another language $B$ is performed. Then, once again machine translation from language $B$ to the original language $A$ is performed. For instance, you can translate En-

Figure 2 Back-translation algorithm[7]

glish into Japanese and then Japanese into English again to create different sentences without changing their meaning. Xie et al. insisted that the accuracy can be significantly improved by using this method[7].

Unlike Train Time Augmentation, Test Time Augmentation is performed for models that have already been trained. As Shorten et al. and Buslaev et al. described this is a commonly used technique in image processing to improve accuracy $[8,9]$. An example of the Test Time Augmentation technique for images is shown on Figure 3. For example,

Figure 3 Test Time Augmentation in image processing

firstly an image to be predicted is mirrored or rotated. Then the inference is performed for the resulting images separately, and finally, the average is taken to summarize the predicted values.

In the field of image processing, this method is also known to improve accuracy[9]. However, the situation is not so much considered in the field of natural language processing. We can see its investigation in the research by Howard et al.[10] where they utilize back-translation in test time for classification with the ULMFiT model[11], which is based on LSTM[12]. Liu mentioned an empirical result where name swapping augmentation was used in test time to improve accuracy on the Gender Pronoun Resolution task[13]. However, there seems to be very little research done on using Test Time Augmentation with multilingual data or on cross-lingual tasks. As another purpose of this research, we also aim to draw more attention to Test Time Augmentation in natural language processing.

## 2 Test Time Augmentation for Crosslingual Text Classification

## 2.1 Overview

The flow of the proposed method is presented on Figure 4. Since multilingual models can handle various lan-

Figure 4 Proposed method flow

guages, we believe that data augmentation is possible by machine translation. First, we translate the text in the target language into texts in various other languages. Then we make separate predictions for all the texts and finally put together all the predictions. As a way of summarizing, we are going to use averaging and weighted averaging. For weighted averaging, we utilize the Nelder-Mead optimization method[14] to find the best weights for the validation dataset and then use the obtained weights on the test dataset. We suppose that simple averaging may not be enough since we cannot be sure about the most appropriate augmentation language.

## 2.2 Algorithm

Here we explain the proposed algorithm step by step.

1. Translate the text $T_{L}$ in the target language $L$ with the machine translation model $M_{A_{i}}^{\text {trans }}$ into the text $T_{A_{i}}$ in the additional language $A_{i} . N$ is a number of
additional languages.

$
T_{A_{i}}=M_{A_{i}}^{\text {trans }}\left(T_{L}\right), 0 \leq i<N
$

2. Obtain the predicted probability vectors $p_{L}$ and $p_{A_{i}}$ for the texts $T_{L}$ and $T_{A_{i}}$ respectively by using the fine-tuned multilingual model $M^{\text {multi }}$ for text classification.

$
p_{L}=M^{\text {multi }}\left(T_{L}\right), p_{A_{i}}=M^{\text {multi }}\left(T_{A_{i}}\right), 0 \leq i<N
$

3. Obtain the final predicted probability vector $p_{w}$ by performing weighted averaging using the weights vector $w$ optimized for the validation dataset using the Nelder-Mead method[14].

$
p_{w}=w_{N} p_{L}+\Sigma_{j=0}^{N-1} w_{j} p_{A_{j}}
$

4. Predict the final class $C$ by using the highest probability in the vector $p_{w}$.

$
C=\operatorname{argmax} p_{w}
$

As a result, we get the final predicted class $C$, which is in our case is one of the contradiction, neutral or entailment classes.

 & Contradiction \\

## 3 Dataset

We use the XNLI dataset[15]. A few samples from the dataset are presented in Table 1.

It has classification data for 15 languages: English, French, Spanish, German, Greek, Bulgarian, Russian, Turkish, Arabic, Vietnamese, Thai, Chinese, Hindi, Swahili and Urdu. There are about 5,000 test and 2,500 validation pairs for each language, so it results in 112,500 annotated pairs. The pairs are obtained by human translation from English. The task is called textual entailment, which is a 3 class classification of two sentences called premise and hypothesis. Classes include contradiction, neutral and entailment. We use this dataset since it is a standard for evaluating Cross-lingual Text Classification used in the state-of-the-art research [5, 6].

## 4 Results

We perform two different experiments using a pretrained mBERT model, which also trained on the English XNLI data, thus evaluating the model in a cross-lingual transfer manner.

## 4.1 Experiment 1: Evaluation on a Single Additional Language

In this setting, we use the original English translations released in the XNLI dataset and simply average predictions in the original language with predictions using the English translations. The results for each language are shown on Figure 5.

Figure 5 Experiment 1: Comparison with previous methods and our method using evaluation on a single additional language

We compare our method with previous methods, such as using the target language and using English translations[6].

At first, we can notice that the performance on English translations is higher for most of the languages, except for Vietnamese. This can be explained by the following facts: the model was fine-tuned on the English samples; the largest amount of the pre-training data is in English. As for Vietnamese, it is hard to draw any conclusions, but we suppose it may relate to the quality of the given English translations. We can see that by using the proposed method and aggregating both predictions the accuracy for all of the languages either improves or is equal to the best previous method. This indicates that both the original texts and English translations provide a meaningful signal to the model. From the results, we may suppose that in a setting when the target language training data is not available, it is recommended to utilize English translations with our method to improve the accuracy without collecting more data or fine-tuning additional models.

## 4.2 Experiment 2: Evaluation on Multipule Additional Languages

In this setting we use the Marian MT models[16] to translate the original language into not only into English, but also into close and far languages. We use our own definition of close and far languages. The results for each language are shown on Figure 6. As a close language we

Figure 6 Experiment 2: Comparison with previous methods and our method using evaluation on multiple additional languages

use the language from the same group which has the highest number of articles in Wikipedia. For a close language we use the language from a different family which has the highest number of articles in Wikipedia. The reasoning behind choosing close and far languages is to account for the trade-off between translation quality and signal diversity. A close language can be easier to translate, so the data quality is higher, but it will provide presumably less diversity since the syntax structure will be similar. Vice versa, a far language might be more difficult to translate, although the syntax structure could be different and the translation might have more diverse word usage with similar semantics. For both languages, we use the one with the highest number of articles on Wikipedia because the model was pre-trained on it so we can obtain more meaningful representations. It is needed to mention that this reasoning is a pure assumption and in the perfect scenario the most useful augmentation language must be found using tuning on the validation set. As in Experiment 1, we compare our method with previous methods: using the target language and using English translations. For the proposed methods we use two settings: English augmentation and augmentation with English, close and far languages.

From the results, we can see that for each language one of the proposed settings improves the accuracy or performs on par. The 3-language setting improves the accuracy or performs on par for all of the languages except for Mandarin, for which the English augmentation setting performs best.
This may be explained by the quality of translations from Mandarin to other languages. The fact that the highest accuracy improvement is observed for low-resource languages such as Urdu, Hindi and Swahili is presumably due to the quality of the model's representations for their translations. We also conclude that choosing the most suitable augmentation language for each target language may be an appropriate step during the model tuning.

## 5 Discussion

We can notice that for each language the proposed method either outperforms or performs on par with the previous methods. We also can see that by using the proposed technique the accuracy on the XNLI dataset can be improved by around $2 \%$ for each language on average. Especially for low-resource Hindi, Urdu and Swahili, the performance is increased significantly (4-7\%).

It is needed to mention that in this research we proposed only using one-step machine translation as augmentation, whereas back-translation or any other text augmentation technique can be utilized. We also observe that for each language the best additional language and its performance seem to be different so that may be a topic for future research. Moreover, in this research we examined the natural language task of cross-lingual text classification, a similar Test Time Augmentation method might be applied to various other tasks such as question answering or namedentity recognition. The model we used is mBERT which is smaller than XLM-R or recent XLM-R XL[17], which outperforms even priorly best monolingual RoBERTa[18] on English. This implies that larger and more accurate models can also be investigated with our method.

## 6 Conclusion

Due to the lack of labeled data for other languages than English, multilingual models are being widely used recently. Although they are already achieving relatively high accuracy, we propose a method that can further improve the accuracy of such models by machine translation and test time augmentation. We show that our method improves the accuracy by 2-7\% on the XNLI dataset which is a standard for evaluating multilingual models. As for the practical usage of our method, the accuracy of cross-lingual classification models can be improved without additionally collecting more data or training new models.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Wikipedia contributors. Plagiarism - Wikipedia, the free encyclopedia, 2004. [Online; accessed 22-July-2004].

[3] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space, 2013.

[4] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomás Mikolov. Enriching word vectors with subword information. CoRR, Vol. abs/1607.04606, , 2016.

[5] Guillaume Lample and Alexis Conneau. Cross-lingual language model pretraining. CoRR, Vol. abs/1901.07291, , 2019.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Qizhe Xie, Zihang Dai, Eduard Hovy, Minh-Thang Luong, and Quoc V. Le. Unsupervised data augmentation, 2019. cite arxiv:1904.12848.

[8] Alexander Buslaev, Vladimir I. Iglovikov, Eugene Khvedchenya, Alex Parinov, Mikhail Druzhinin, and Alexandr A. Kalinin. Albumentations: Fast and flexible image augmentations. Information, Vol. 11, No. 2, 2020

[9] Connor Shorten and Taghi M. Khoshgoftaar. A survey on image data augmentation for deep learning. Journal of Big Data, Vol. 6 , pp. 1-48, 2019

[10] Sam Shleifer. Low resource text classification with ulmfit and backtranslation. CoRR, Vol. abs/1903.09244, , 2019.

[11] Jeremy Howard and Sebastian Ruder. Fine-tuned language models for text classification. CoRR, Vol. abs/1801.06146, , 2018.

[12] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, pp. 1735-80, 121997.

[13] Bo Liu. Anonymized BERT: an augmentation approach to the gendered pronoun resolution challenge. CoRR, Vol. abs/1905.01780, , 2019.

[14] John Ashworth Nelder and Roger Mead. A Simplex Method for Function Minimization. The Computer Journal, Vol. 7, No. 4, pp. 308-313, 011965.

[15] Alexis Conneau, Guillaume Lample, Ruty Rinott, Adina Williams, Samuel R. Bowman, Holger Schwenk, and Veselin Stoyanov. XNLI: Evaluating cross-lingual sentence representations, 2018.

[16] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Tomasz Dwojak, Hieu Hoang, Kenneth Heafield, Tom Neckermann, Frank Seide, Ulrich Germann, Alham Fikri Aji, Nikolay Bogoychev, André F. T. Martins, and Alexandra Birch. Marian: Fast neural machine translation in C++. In Proceedings of ACL 2018, System Demonstrations, pp. 116-121, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[17] Naman Goyal, Jingfei Du, Myle Ott, Giri Anantharaman, and Alexis Conneau. Larger-scale transformers for multilingual masked language modeling. CoRR, Vol. abs/2105.00572, , 2021.

[18] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.