# 入力の分割単位について頑健な言語モデルの構築

清野舜 高瀬翔 李聖哲 佐藤敏紀
LINE 株式会社
\{shun.kiyono, sho.takase, shengzhe.li, toshinori.sato\}@linecorp.com

## 概要

本研究では，事前訓練に必要な計算資源の削減を目的として，文字とサブワード単位の両方を利用可能な言語モデルの構築に取り組む. 既存のサブワー ド正則化技術を応用することで，文字とサブワードを同時に用いた言語モデルの事前訓練を実現する。実験では，BERT の事前訓練を題材として手法の効果を検証する。

## 1 はじめに

事前訓練済み言語モデルは NLP の各種タスクにおいて大きな成功を収めている [1].これらのモデルにおいては，入力文をトークン列に分割する方法 （以降，分割方法と言及する）がモデルに紐付いた形で規定されており，モデルのユーザは規定された分割方法に従う必要がある.

しかし，あらかじめ規定された分割方法が，ユー ザが目的とするタスクの要求する分割方法と一致しない場合がある. 例えば，サブワード単位で事前訓練されたモデルを，文字単位の分割を要求する夕スクに適用する場合にこの問題は生じる。いま，日本語における句読点復元タスクを考える. 句読点復元タスクとは，書き起こし文の読みやすさを向上させることを目的として，音声認識システムにおける後処理として用いられるタスクである [2]. ここで，句読点を挿大するべき箇所は，必ずしもサブワード分割の単位と一致しないため，文字単位での分割が必要となる.

分割方法の不一致を解決する方法として，単純には，サブワード単位と文字単位のそれぞれについて独立に事前訓練済み言語モデルを構築することが考えられる. 実際，これは日本語の事前訓練済み言語モデルにおける標準的な慣習である。例えば，日本語用 BERT において，サブワード単位のもの ${ }^{1)}$ と文

図 1 本研究の概要図：これまで，サブワード単位と文字単位の言語モデルが独立に作成されてきた (左). 本研究ではサブワード正則化（BPE-dropout）を応用することで，各分割単位を同時に利用可能なモデルを構築する（右).

字単位のもの2) がそれぞれ配布され，活発に用いられている. 同様に，著者らも社内向けにサブワード単位・文字単位のモデルの訓練と配布を継続的におこなってきた ${ }^{3)}$.しかし，事前訓練は大量の計算資源を必要とする. そのため我々は，サブワード単位と文字単位の両方を利用可能な単一の言語モデルを訓練するための方法論を構築し，事前訓練に必要な計算資源を削減したい。

この目的を達成するために，本研究ではサブワー ド正則化 [3] を言語モデルの事前訓練に応用する (図 1).本来，サブワード正則化は，入力文から複数の分割候補を獲得し，モデルの頑健性と汎化性能を向上させるための手法である．その代わり，本研究ではサブワード正則化をサブワード単位と文字単位を同時に言語モデルの事前訓練に取り入れるための方法論として応用する. 手法そのものは非常に単純で，追加のモデルパラメータを必要としないほか，ファインチューニング時の計算コストにも全く影響しない. 我々の手法の効果を示すため, BERT の事前訓練を題材として実験をおこなう．実

2) https://huggingface.co/cl-tohoku/ bert-base-japanese-char-v2

3）時事情報を言語モデルに反映するため，クローリングで収集したテキストデータ等を用いた言語モデルの再学習が定期的记必要となる.
験では，サブワード正則化を用いて事前訓練された BERT は，サブワード単位や文字単位について独立に訓練された BERT と同等の性能を示した。

## 2 背景

第 1 節で述べたように，我々の手法はサブワード正則化技術に基づく. 本研究では, サブワード分割の手法としてバイト対符号化（Byte Pair Encoding; BPE）[4]，またサブワード正則化の手法として BPE-dropout[5] を用いる4). 本節では，これらの手法の詳細を述べる。

## 2.1 バイト対符号化（BPE）

BPE[4] はサブワード分割手法の一種であり，入力された単語について, 結合規則を繰り返し適用することで，サブワード単位の分割をおこなう。まず，入力は文字単位の系列として表現される. 次に，隣接する 2 つのトークンは，結合規則表（図 2 左）に定義された規則とその優先度に応じて繰り返し結合される，例えば，図 2 において，結合規則（1）の優先度が最も高いため, この規則が最初に適用される. 適用可能な結合規則を全て適用した結果が，最終的なサブワード単位の分割に相当する.

BPE における結合規則表はコーパス中の頻度情報を用いて構築される。具体的には，隣接するトークンのうち，最も頻度の大きいものが新しい結合規則として追加されていく. 例えば，図 2 左の場合，表の先頭に登場する結合規則ほど優先度が高い.この過程は, 結合規則の総数があらかじめ指定した数に達するまで繰り返される。

## 2.2 BPE-dropout

BPE-dropout[5] は BPE 用のサブワード正則化手法である. サブワード正則化 [3] とは，入力文を複数の候補に分割し，訓練に取り入れることで，モデルをノイズに対して頑健にするための技術である. 通常の BPE と BPE-dropout の比較を図 2 に示す.

BPE-dropout は, 結合規則の適用過程において, 結合規則を確率 $p$ で棄却する. そのため, 同じ入力単語であっても BPE-dropoutを適用するたびに異なる分割結果が得られる. ここで, 確率 $p$ が高いほど結合規則は棄却されやすい. 例えば， $p=1.0$ のとき，

4）我々の手法はサブワード正則化を活用するものであるため，同技術が利用可能であるような任意のサブワー ド分割手法が適用可能である. 例えば，BPE の他にも， WordPiece[6, 7, 8] やユニグラム言語モデル [3] が適用できる.
(1) $s t \rightarrow s t$

(2) e st $\rightarrow$ est

(3) $1 \circ \rightarrow 10$

(4) w est $\rightarrow$ west

(5) $\mathrm{ne} \rightarrow$ ne

(6) lo w $\rightarrow$ low

結合規則

(a) BPE

(b) BPE-dropout

図 2 バイト対符号化 (BPE) と BPE-dropout の比較：最初，トークン newest は文字単位の系列として表現され，結合規則表に従って結合が繰り返される. (a) BPE の場合，この処理は適用可能な結合が無くなるまで繰り返される。一方で，(b) BPE-dropoutにおいては，結合規則が確率 $p$ で棄却される. そのため, 最終的な分割結果 ne w e st (a) BPEから得られる分割結果 ne west と異なる.

全ての結合規則が棄却されるため，分割結果は常に文字単位の分割に一致する. 同様に $p=0.0$ のとき, BPE-dropout は通常の BPE に一致する.

## 3 手法

元々, BPE-dropout のようなサブワード正則化技術は，モデルの正則化を目的として提案されたものである. 一方で本研究では, 同技術を応用し, サブワード単位と文字単位の両方を利用可能な言語モデルの訓練に用いる.このアイデアは, BPE-dropout による分割結果の性質に基づいている. 具体的には, 図 2 右において，分割結果は文字とサブワードを混合したものとなっている. このような分割を用いて訓練された言語モデルは，サブワード単位と文字単位の両方を利用可能であることが期待される. このとき，サブワードと文字単位について独立に言語モデルを訓練する必要が無くなるため, 事前訓練に必要な計算資源の削減が達成できる.

我々の手法は，言語モデルの事前訓練において入力文に既存の BPE-dropoutを適用するだけという非常に単純なものである. そのほか, 事前訓練の目的関数やモデルのアーキテクチャの変更，モデルパラメータの追加等は一切おこなわない. 事前訓練後は，所望の分割単位に合わせて BPE-dropout のパラメータ（棄却確率 $p$ ）を設定し，ファインチューニングをおこなう．例えば，文字単位の分割を必要とするタスクについては， $p=1.0$ を用いる.

## 4 実験

実験では，我々の手法の効果を日本語の BERT[1] の訓練を通して検証する。具体的には，提案手法を用いて訓練した BERTが，サブワード単位の BERT・文字単位の BERT のそれぞれとほぼ同等の性能を発揮することを示す.

## 4.1 データセット

事前訓練用データセット BERT の事前訓練には，日本語 Wikipedia から作成したコーパズ年を用いた. 前処理として，Unidic 辞書を用いて $\left.\mathrm{MeCab}^{6}\right)$ で分かち書きをした後，BPEを用いて分割をおこなった.BPE の実装として sentencepiece[9]を用いた. 語彙の大きさと文字の被覆率はそれぞれ 32,000 と 0.9995 とした.

JGLUE データセット事前訓練した BERT の性能評価を目的として，JGLUE データセット [10] 上でファインチューニングを行う. JGLUE は英語圏で広く用いられているべンチマークデータである GLUE[11]の日本語版である．JGLUEのうち，JNLI, MARC-ja と JSTS の性能を報告する. JGLUE は評価セットを公開していないため，公開されている開発セットを2つに等分割したものを開発セットと評価セットとして用いた.

句読点復元データセット文字単位での分割が必要となるタスク上での評価を目的として, 句読点復元タスクにも取り組む. 句読点復元タスクは, 入力文に対して句読点を付与するもので，音声認識システムの後処理として用いられる [2]. 本研究では,日本語の生コーパスを用いてデータセットの自動構築をおこなった。まず，CC-100コーパス $[12,13]$ の日本語部分からランダムに 10 万文をサンプルし,句読点を除去した. 次に，文中の各文字について，句点挿入，読点挿入とそれ以外の 3 種類のラベルを付与した. このタスクを系列ラベリング問題として定式化し, 先行研究 [1] と同様に BERT のファインチューニングをおこなった.

## 4.2 比較手法

実験には，以下の 3 つの分割手法を用いて BERT の事前訓練とファインチューニングをおこなった.

・Subword: 入力文をサブワード単位で分割する

5） 2020 年 10 月に取得したダンプデータより作成した.

6) https://taku910.github.io/mecab/手法
- Character: 入力文を文字単位で分割する手法

・BPE-dropout: 入力文を BPE-dropout を用いて分割する手法

そのほか，一般に公開されている BERTをファインチューニングした結果も報告する．事前訓練に用いるデータセット，実装やアーキテクチャの違い7) から，我々の BERT と一般の BERT の値の大小を直接比較することはできないが，我々の BERT の性能が十分に高いことを確認する目的で用いる.

サブワード単位と文字単位の BERTとして，それぞれ東北大学の公開している bert-base-japanese-v2 $2^{8)}$ と bert-base-japanese-char-v2 $2^{9}$ を用いた。事前訓練中の BPE-dropout $の$ 棄却確率 $p$ は先行研究 [5] に従って 0.1 とした. その他のハイパーパラメータの詳細については付録 $\mathrm{A} を$ 参照されたい.

## 4.3 JGLUE での結果

BPE-dropout の効果について実験結果を表 1 に示した．まず，サブワード単位での性能を比較する. 事前訓練に BPE-dropoutを用いたモデル (c) とサブワード単位だけで事前訓練したモデル (a) の評価セット上の性能を比較すると，JNLI においては僅かに性能の劣化が見られたものの, MARC-ja と JSTS において両者はほとんど同等の性能を示した. また，文字単位での性能に着目すると，BPE-dropout を用いたモデル (d) が文字単位だけで事前訓練したモデル (b)をほぼ一貫して上回る結果となった.この結果から，BPE-dropout を BERT の事前訓練に活用することで，サブワード単位と文字単位のモデルを独立に訓練する必要がなくなるため，事前訓練に必要な計算資源を半分にできることが示唆される.

サブワード単位を用いるモデルの性能が JNLI 上で僅かに悪化した原因として，今回用いたモデル （BERT-base）が，サブワード単位と文字単位の両方について汎化するだけの表現力を持っていない可能性が考えられる。そのため，今後はより表現力を高めた大きなモデル（例：BERT-large）上での検証を

7）最も大きな違いは Layer Normalization の適用位置である. Google による BERT の元実装が Post Layer Normalization 構造を用いているのに対して，我々の実装（Megatron-LM）はPre Layer Normazliation 構造を用いている. この差分がモデルに及ぼす影響については Takase らの研究を参照されたい [14].

8) https://huggingface.co/cl-tohoku/ bert-base-japanese-v2

9) https://huggingface.co/cl-tohoku/ bert-base-japanese-char-v2
表 1 JGLUE データセット上での性能：JNLI と MARC-ja については正解率を報告する．また，JSTS についてはスピアマンの相関係数 $\rho$ を報告する．各値はそれぞれ 3 つの乱数シードの平均値である.

表 2 句読点復元タスク上での性能: マイクロ $F_{1}$ 值を報告する．各値はそれぞれ 3 つの乱数シードの平均値である.

## おこなう予定である.

既存の BERT との比較表 1 において，我々の BERT(a)・(b) と既存の BERT(f) ・(g) を比較すると,全体の傾向としてほとんど同等の性能が出せていることがわかる. この結果は, 我々の訓練した BERT の性能が十分に高いこと，つまり，モデル (a)・(b) が我々の手法 (c)・(d) に対する強力なベースライン手法とみなせることを示している.

## 4.4 句読点復元タスクでの結果

表 2 に句読点復元タスクの結果を示した. 表 1 と同様に，BPE-dropoutを用いたモデル (d) が文字単位のモデル (b) の性能を上回った. また，サブワード単位で事前学習したモデルを文字単位でファインチューニングしたモデル (e) の性能は, 最も低い結果となった. このことから, 文字単位のタスクで高い性能を発揮するためには，サブワード単位のモデルを文字単位モデルとしてファインチューニング時に転用するだけでは不十分であり，文字単位を含めた事前訓練が必要であることが示唆される.

## 5 分析

## BPE-dropout は事前訓練の時間を増加させるか第 2.2 節で述べた通り, BPE-dropout はモデルの正則化のための技術である．そのため，BPE-dropout を 用いることで，事前訓練におけるモデルの収束速度 が悪化し，事前訓練の時間が増加する懸念がある。 BPE-dropout を用いるねらいの一つは計算資源の節

図 3 訓練損失の変化の比較 : 事前訓練時，各モデルはほぼ同じ速度で収束するとわかる．ここで，訓練データの分割方法が異なることから，損失の值の大小は直接比較できないことに注意されたい.

約であるため，事前訓練の時間は増加しないことが望ましい. 図 3 に更新回数に対する訓練損失の変化を Subword モデルと BPE-dropout モデルのそれぞれについて示した. 図より, 収束速度はほぼ同じであり，事前訓練に必要な時間に大きな悪影響はないと考えられる。

## 6 おわりに

本研究では，サブワード単位と文字単位の両方を利用可能な言語モデルの構築を目的として，サブワード正則化を事前訓練に取り入れる効果を検証した. BERT 上での実験結果より，サブワード正則化を既存の分割方法の代替として適用可能であることが示された. そのため，サブワードと文字単位の BERT を独立に訓練する場合と比べて, 必要な計算資源を半分にできる．今後は，本手法を他の言語モデル（エンコーダ・デコーダモデル [15] やデコーダのみのモデル [16]）へ適用するための方法論の構築に取り組む予定である。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Ottokar Tilk and Tanel Alumäe. Bidirectional recurrent neural network with attention mechanism for punctuation restoration. In Interspeech, pp. 3047-3051, 2016.

[3] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17151725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[5] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[6] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[7] Xinying Song, Alex Salcianu, Yang Song, Dave Dopson, and Denny Zhou. Fast WordPiece tokenization. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2089-2103, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Tatsuya Hiraoka. MaxMatch-dropout: Subword regularization for WordPiece. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 4864-4872, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[9] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[10] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[11] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and
Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 40034012, Marseille, France, May 2020. European Language Resources Association.

[13] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[14] Sho Takase, Shun Kiyono, Sosuke Kobayashi, and Jun Suzuki. On layer normalizations and residual connections in transformers. arXiv preprint arXiv:2206.00330, 2022.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[16] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019

[17] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[18] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, and Bryan Catanzaro. Megatron-LM: Training multi-billion parameter language models using model parallelism. arXiv preprint arXiv:1909.08053, 2019.

[19] Marius Mosbach, Maksym Andriushchenko, and Dietrich Klakow. On the stability of fine-tuning BERT: misconceptions, explanations, and strong baselines. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021.

[20] Tianyi Zhang, Felix Wu, Arzoo Katiyar, Kilian Q. Weinberger, and Yoav Artzi. Revisiting few-sample BERT fine-tuning. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021 .

## A ハイパーパラメータ

実験（第 4 節）で用いたハイパーパラメータの一覧を表 3 に示す. それぞれの值は先行研究 $[17,18,19,20]$ による推奨値を参考にして設定した.

表 3 ハイパーパラメータの一覧


# Learning Representations of Natural Language Edits via Levenshtein Prediction

Edison Marrese-Taylor ${ }^{1,3}$, Machel Reid ${ }^{2,3}$, Alfredo Solano ${ }^{3}$
${ }^{1}$ AIST, ${ }^{2}$ Google Research, ${ }^{3}$ The University of Tokyo
edison.marrese@aist.go.jp machelreid@google.com
asolano@weblab.t.u-tokyo.ac.jp

## 概要

In this paper, we propose a novel approach that employs token-level Levenshtein operations to learn a continuous latent space of vector representations to capture the underlying semantic information with regard to the document editing process. We find that, our proposed method trained on the adversarial paraphrase dataset, PAWS, outperforms a strong RoBERTa baseline, retaining the language understanding performance of its base model.

## 1 Introduction

Editing documents has become a pervasive component of many human activities [1]. This is, to some extent, explained by the advent of the electronic storage of documents, which has greatly increased the ease with which we can edit them.

From source code to text files, specially over an extended period of time, users often perform edits that reflect a similar underlying change. For example, software programmers often have to deal with the task of performing repetitive code edits to add new features, refactor, and fix bugs during development. On the other hand, right before a conference deadline technical papers worldwide are finalized and polished, often involving common fixes for grammar, clarity, and style [2]. In light of this, it is reasonable to wonder if it would be possible to automatically extract rules from these common edits. This has led researchers to recently propose the task of learning distributed representations of edits [2] using an auto-encoding approach.

Auto-encoding approaches have been used previously in the context of representation learning initially in the visual domain, but more recently have been extended to the natural language and video modalities. These approaches largely form the foundation of "self-supervised learning" which enables the learning of representations via objectives which solely require a source datum. An instance of this relevant to NLP is that of the pre-trained masked language model, BERT [3], in which a source text is initially corrupted with a mask token $[\mathrm{MASK}]$ and then reconstructed into the original form with a Transformer encoder.

As an alternative to this approach, other works have instead produced representations of edits in an indirect manner, by instead focusing directly on edit-centric downstream tasks such as edit-based article quality estimation on Wikipedia [4, 5], English grammatical error correction (GEC), and machine translation post-editing.

Machine translation post-editing, where humans amend machine-generated translations to achieve a better final product [6], has more directly addressed the problem of modelling different editing agents [7] Finally, edits are also relevant for GEC, which has attracted recent interest from the research community with several shared tasks being organized in the last years [8].

In this paper, differently from existing prior work, we propose a continued pre-training task, not based on autoencoding, which aims directly at learning distributed representations of natural language edits. In particular, we look at using the Levenshtein algorithm as a form of supervision to encourage a model to learn to convert a given input sequence into a desired output sequence, namely an edit. In particular, we look to answer the question of whether creating a "neural Levenshtein algorithm" is conducive to improved downstream performance on edit-based tasks, given the edit-centricity of the algorithm.

Our results show that our proposed pre-training technique leads to better performance on the adversarial para-
phrase dataset PAWS, outperforming a strong baseline based on RoBERTa [9] while also retaining the language understanding performance of its base model (RoBERTa).

## 2 Related Work

[2] was the seminal work in proposing to directly learn edit representations by means of a task specifically designed for this purpose, based on auto-encoding. While their ideas were tested on both source code and natural language edits, the work of [10] proposed a similar approach that is specifically tailored at source code. After that, [11] proposed a variation of this model where a latent variable is introduced as a means to capture properties of Natural Language Edits. Additionally, the authors used the obtained latent vectors to represent edits and tested on a selection or edit-centric tasks.

Different from the above, other works have instead produced representations of edits in an indirect manner, by directly focusing on specific edit-centric downstream tasks. For example, [4] proposed obtaining edit representations that are useful to predict changes in the quality of articles by tackling this task as an edit-level classification problem. Similarly, [5] proposed to improve quality assessment of Wikipedia articles by introducing a model that jointly predicts the quality of a given Wikipedia edit and generates a description of it in natural language. Another related task is machine translation post-editing, where humans amend machine-generated translations to achieve a better final product, where recent work has more directly addressed the problem of modelling different editing agents [7]. Finally, edits are also relevant for English grammatical error correction (GEC), which has attracted recent interest from the research community with several shared tasks being organized in the last years [8].

## 3 Proposed Approach

We propose a new pre-training task based on selfsupervision. In particular, we look at using the Levenshtein algorithm as a means of pushing a model to learn to convert a given input sequence into a desired output sequence.

The Levenshtein algorithm has been used in previous work on learning edit-based generative models [12,13] thanks to its objective of finding the shortest edit path from a given source sequence to a target sequence. However, instead of purposing the algorithm for generation, in this work we look to see if we can include this objective from a natural language understanding (NLU) perspective. In particular, we look to assess whether Transformer encoder representations can be trained to contain information relevant to an edit, which we hypothesize can be achieved by directly predicting relevant operations and their associated tokens - as produced by an oracle Levenshtein algorithm.

Let $x_{-}$be the original version of an object, and $x_{+}$its form after a change/edit has been applied. We assume that both $x_{-}$and $x_{+}$are sequences of tokens such that $x_{-}=\left[x_{-}^{1}, \ldots, x_{-}^{n}\right]$ and $x_{+}=\left[x_{+}^{1}, \ldots, x_{+}^{m}\right]$. We use a fast implementation of the Levenshtein algorithm to identify spans of tokens that have been replaced, inserted or deleted as a result of the edit, and define token-level edit operation labels to indicate how each token was changed.

Concretely, we first tokenize the pair $\left(x_{-}, x_{+}\right)$, then use the Levenshtein algorithm to identify the text spans that have changed, and finally further process this output to assign token-level labels capturing the transformations required to convert $x_{-}$into $x_{+}$. Let $x_{-}^{i: j}$ be the sub-span on $x_{-}$ that goes from positions $i$ to $j$, our post-processing works as follows.
- When a span has been inserted between positions $x_{-}^{i: j}$, such that it appears in $x_{-}^{k: j}$, we label the tokens in the latter as INSERTER, and also label token $x_{-}^{k-1}$, as INSERT. We do this to provide the model with context of where the insertion was performed, in terms of the $x_{-}$.
- Similarly, if the token $x_{-}^{i: j}$ has been replaced by the $\operatorname{span} x_{-}^{k: l}$, we label the tokens on the respective spans as REPLACE and REPLACER.
- If the span $x_{-}^{i: j}$ has been removed from the sequence as a result of the edit, we label each token as DELETE.
- Tokens that have not been directly involved in the edit are not labeled (we represent this using the empty label denoted as $\mathrm{O}$ ).

As a result of our post-processing, each token in both $x_{-}$ and $x_{+}$is mapped to a single Levenshtein operation label: REPLACE, REPLACER, INSERT or INSERTER, as shown in Figure 1. The end goal of our proposed pretraining task is to predict these token-level Levenshtein operations, which, as explained, encode the operations relevant to transform $x_{-}$into $x_{+}$.

The input to our model is constructed by first prepending
図 1 Example of model input-output for the edit defined by the sequences "My name is John" and " My last name is Wayne", where the label $\mathrm{O}$ denotes tokens that have not been directly involved in the edit.

the [CLS] token to $x_{-}$and $x_{+}$, which are separated using the [SEP] token, whose total length we denote as $l=m+n+2$. This input is embedded and then fed to an L-layer Transformer encoder, which can be initialized with a pre-trained model, that returns a sequence of hidden representations $\boldsymbol{h}_{0}, \ldots \boldsymbol{h}_{l}$. We add a classification head (a simple linear classifier) and require the model to predict the corresponding label for each token, ignoring tokens that have not been directly involved in the edit (label O), using a cross entropy loss $\left(\mathscr{L}_{\text {Lev }}\right)$.

We also consider an additional mechanism to enrich the quality of the learned representations, which is based on techniques that have proven useful in previous work [11]. Concretely, we note that the vector associated to the [CLS] token $\left(\boldsymbol{h}_{0}\right)$ is frequently used to represent the complete model input when using Transformer models such as ours. Since there is no specific token-level Levenshtein label associated to this token, we propose to encourage its representation to contain information about the overall edit. We do this by requiring our model to predict the set of tokens that have been changed in the edit in an unordered fashion, using a separate model head (again, simple linear projection) which receives this representation as input.

$
f=\operatorname{MLP}\left(\boldsymbol{h}_{0}\right) \in \mathbb{R}^{|\mathbb{V}|}
$

As shown in Equation 1 above, we use this additional head to project $\boldsymbol{h}_{0}$, the hidden representation for the [CLS] token, to $|\mathbb{V}|$, the vocabulary size. We then let our model minimize the loss function defined in Equation 2, where $x_{\Delta}$ is the set of tokens that has been changed (inserted, replaced or removed). Finally, the total loss used to train our model is the simple summation of the above introduced losses, $\mathscr{L}=\mathscr{L}_{\text {Lev }}+\mathscr{L}_{x_{\Delta}}$.

$
\mathscr{L}_{x_{\Delta}}:=\log p\left(x_{\Delta} \mid \boldsymbol{h}_{0}\right)=\log \prod_{t=1}^{\left|x_{\Delta}\right|} \frac{\exp \left(f_{x_{t}}\right)}{\sum_{j}^{V} \exp \left(f_{j}\right)}
$

## 4 Experimental Setup

Pre-training Datasets To pre-train our model, we utilize large available corpora containing natural language edits in a variety of topics and domains. We specifically rely on two datasets of edits extracted from Wikipedia,
WikiAtomicEdits [14] and WikiEditsMix [11]. As shown in Table 1, we specifically work with two sub-portions of the WikiAtomicEdits, WikiInsertions and WikiDeleTIONS, which respectively contain examples where only additions or deletions are present. These two portions are concatenated and used as a whole. Since pre-training is computationally very expensive, we first use WIKIEDITSMIX, which is much smaller, as a test-bed for ablation experiments regarding the $x_{\Delta}$ loss.

表 1 Details of the data utilized for pre-training.

Downstream Tasks Our pre-training approach aims at generating a generic edit encoder that is useful in a broad variety of situations involving edits. To that end, we select specific datasets to probe the ability of the model to solve edit-related tasks, and also to make sure that our training procedure does not lead to catastrophic forgetting, making the model lose the utility of the representations acquired during the original masked language model's pre-training. For the former, we propose to use PAWS [15], an adversarial dataset for paraphrasing detection, which is strongly correlated to edits, as paraphrases are defined as sentences that are semantically similar to each other. We test both fine-tuning and zero-shot abilities on this model. For the latter, we look at the widely-used GLUE benchmark [16] and select the MNLI dataset to test that language entailment capabilities remain.

Evaluation For evaluation of our pre-training phase, we utilize the per-token classification F1-Score, and also compute the overall F1-Score. Regarding the downstream tasks, we use accuracy, which is the de facto metric for both MNLI and PAWS.

Implementation Details Our model is initialized with RoBERTa [9], which we adopt as our baselines for all of our downstream experiments. We use fairseq [17] to implement our model and perform distributed pre-training
表 2 Performance of our model on our pre-training Levenshtein Prediction task.

using 16 NVIDIA V100-16G GPUs, and fine-tuning with a single GPU. We access these by means of nodes on a large cluster, where each node has four GPUs. We use the Adam optimizer with a learning rate of 1e-4 for pre-training, and 1e-3 for fine-tuning on the downstream tasks.

## 5 Experiments and Results

As can be seen in Table 2, all of our models attain an excellent performance on the pre-training task, with an overall F1-Score of more than $90 \%$ across edit labels. We believe this shows our the encoder is capable of successfully predicting the relevant operations generated by our oracle Levenshtein editor, suggesting that the learned representations may indeed contain information relevant to the changes that are introduced.

Regarding the impact of our proposed $x_{\Delta}$ loss during pre-training, as seen on our ablation results performance in Table 2, we see that $x_{\Delta}$ as a positive impact on the overall performance of the model in the WIKIEDITSMIX dataset increasing the F1-Score my more than 0.5 points. This result is consistent with previous work, validating the contribution of this loss applied to our setting. In light of this finding, our final model includes both of our proposed losses and is pre-trained on WIKIINSERTIONS.

Table 3 summarizes our results on the downstream tasks. As can be seen, when fine-tuned, our model is able to outperform our strong RoBERTa baseline in the adversarial paraphrase dataset, PAWS, suggesting that the representations induced by our Levenshtein prediction loss indeed help the model learn relevant information about edits. Moreover, we also observe that the model is able to attain such increased performance while still retaining the language understanding capabilities of its base model, as suggested by the performance on the MNLP dataset, which remains constant.表 3 Performance of our model and baseline based on RoBERTa on our selected fine-tuning tasks, where ZS stands for Zero Shot.

## 6 Conclusions and Future Work

This paper proposes a novel approach for training a general-purpose edit representation model, which is not based on auto-encoding. Concretely, we propose a predictive task based on token-level Levenshtein operations where the token-level labels encode the set of operations necessary to transform a given input sentence into an output sentence.

We find that a model initialized with RoBERTa and trained with our proposed loss, is able to outperform the baseline on the task of adversarial paraphrasing detection on PAWS, while retaining the language understanding performance of its base model. We think this evidence supports the idea that creating a neural model that implements the Levenshtein algorithm is conducive to improved downstream performance on edit-based tasks, suggesting a potential new path for the future of pre-training. For future work, we are interested in further testing our pre-trained model on more downstream tasks relevant to edits, and in combining our proposed loss with the masked language modelling task for more efficient and effective training.

## Acknowlegments

Computational resource of AI Bridging Cloud Infrastructure (ABCI) provided by National Institute of Advanced Industrial Science and Technology (AIST) was used for the experiments in this paper.

## 参考文献

[1] Anders Miltner, Sumit Gulwani, Vu Le, Alan Leung, Arjun Radhakrishna, Gustavo Soares, Ashish Tiwari, and Abhishek Udupa. On the fly synthesis of edit suggestions. Proceedings of the ACM on Programming Languages, Vol. 3, No. OOPSLA, pp. 143:1-143:29, October 2019.

[2] Pengcheng Yin, Graham Neubig, Miltiadis Allamanis, Marc Brockschmidt, and Alexander L. Gaunt. Learning to Represent Edits. In Proceedings of the 7th International Conference on Learning Representations, 2019.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Soumya Sarkar, Bhanu Prakash Reddy, Sandipan Sikdar, and Animesh Mukherjee. StRE: Self Attentive Edit Quality Prediction in Wikipedia. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3962-3972, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Edison Marrese-Taylor, Pablo Loyola, and Yutaka Matsuo. An Edit-centric Approach for Wikipedia Article Quality Assessment. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 381-386, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] L. Specia, K. Harris, A. Burchardt, M. Turchi, M. Negri, and I. Skadina. Translation Quality and Productivity: A Study on Rich Morphology Languages. pp. 55-71, 2017.

[7] António Góis and André F. T. Martins. Translator2Vec: Understanding and Representing Human Post-Editors. In Proceedings of Machine Translation Summit XVII Volume 1: Research Track, pp. 43-54, Dublin, Ireland, August 2019. European Association for Machine Translation.

[8] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 Shared Task on Grammatical Error Correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, Florence, Italy, August 2019. Association for Computational Linguistics.
[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692 [cs], July 2019.

[10] Rui Zhao, David Bieber, Kevin Swersky, and Daniel Tarlow. Neural Networks for Modeling Source Code Edits. In Proceedings of the 7th International Conference on Learning Representations, 2019.

[11] Edison Marrese-Taylor, Machel Reid, and Yutaka Matsuo. Variational Inference for Learning Representations of Natural Language Edits. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 15, pp. 13552-13560, May 2021.

[12] Machel Reid and Victor Zhong. LEWIS: Levenshtein Editing for Unsupervised Text Style Transfer. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3932-3944, Online, August 2021. Association for Computational Linguistics.

[13] Nabil Hossain, Marjan Ghazvininejad, and Luke Zettlemoyer. Simple and Effective Retrieve-Edit-Rerank Text Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2532-2538, Online, July 2020. Association for Computational Linguistics

[14] Manaal Faruqui, Ellie Pavlick, Ian Tenney, and Dipanjan Das. WikiAtomicEdits: A multilingual corpus of Wikipedia edits for modeling language and discourse. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 305-315, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[15] Yinfei Yang, Yuan Zhang, Chris Tar, and Jason Baldridge. PAWS-X: A cross-lingual adversarial dataset for paraphrase identification. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 3687-3692, Hong Kong, China, November 2019. Association for Computational Linguistics.

[16] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. Fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ByT5 の Attention を用いたトークン結合

田中康紀 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{tanaka.koki.tk9, sudoh, s-nakamura\}@is.naist.jp

## 概要

ニューラルネットを用いた自然言語処理では，事前学習済みモデルを fine-tuning することでタスクを高精度に解ける. 自然言語の入力は多くのモデルにおいて単語やサブワード等トークンへの分割を前提としている.この手法は誤分割や, 語彙の修正後にモデルの再学習が必要な欠点を持つ. これらは文字レベルのトークン分割により緩和できるが, 長系列化と, トークンと意味の不一致を起こす. 本研究では，バイトレベルに分割するモデル ByT5 を文字レベル分割とみなし, Attentionを元にトークンを結合し，両者の解決を試みた。テキスト分類実験においてランダムに結合する手法に比べ 1.8 ポイントの分類精度向上, ByT5 に比べ 1.78 倍の高速化を示した.

## 1 はじめに

ニューラルネットを用いた自然言語処理では，事前学習済みモデルを用いて下流タスクに fine-tuning させることで，生成タスクや分類タスクを高精度に解くことができる. 現在ある多くのモデルは入力文字列を単語やサブワード等のトークンに分割するトークン化を行う手法が主流となっている. しかし，トークン化は語彙に無いトークンに対する過剩分割や，未知語に起因する精度低下，トークナイザを更新するとモデルの再学習が必要であり技術的負債を生むという欠点を持つ. 文字列を全て文字に分解する文字レベルトークン化を用いると，これらの問題を緩和できる。一方で，文字レベルトークン化は文字トークンと意味が対応しない，シーケンス長も単語やサブワードを用いた場合と比べて長くなる問題が起こる. 本研究では，バイトレベルにトークン化する ByT5 のトークンを，英語データセットに対して文字レベル分割とみなし, Attention 情報を利用しモデル内部でトークン結合を行う方法を提案する.これにより, 処理速度の向上と意味のまとまりを持ったトークンの保持による精度の向上を目指
す. 英語のテキスト分類タスクでランダムに結合する手法と比べ分類精度の向上, ByT5 と比べ単位時間あたりの処理数の向上を実験により確認した.

## 2 関連研究

Sutskever ら [1] はニューラルネットを用いた翻訳で，文字レベル入力を導入した. Peter ら [2] は文字レベルの入力を結合する $\mathrm{CNN}$ 層を導入したモデルを提案した. Radford ら [3] は，入力文字列をトークン化する際に，語彙にバイトレベルの文字を含めて細分化するバイトレベル Byte Pair Encoding を導入することでことで未知語を極めて少なくした．明示的にトークナイザを用いない Transformer ベースのアーキテクチャとして charfomer [4], CANINE [5], characterBERT [6] がある。これらは入力を文字レべルにし, 語彙用の層を事前学習で獲得する手法である. ByT5 [7] では，基本構成は $\mathrm{T} 5$ [8] と変えず，その層数を変えることで，語彙用の特別な層を持たずして，サブワードレベルのモデルである mT5 [9] と一部タスクで近い性能を出すことを示した。一方で，文字レベルのモデルとサブワードレベルのモデルが同程度の性能を達成した際の各々の獲得した隠れ層や，位置埋め込み， Attention 行列の具体的な差異に関しては議論がまだ活発ではない。

Transformer モデルの長文入力への対応方法として, Zaheer ら [10] は, Attention を疎な行列計算とみなし, 計算量を減らした. Kitaev ら [11] は近傍のトークンに注目することで Attention の計算量をシー ケンス長 $L$ に対して $O\left(L^{2}\right)$ から $O(L \log L)$ に削減した. Beltagy ら [12] は複数サイズのウィンドウにより Attention の見る位置を絞ることで，長文であっても Attention の計算量を減らすことを可能にした。 Goyal ら [13] は, BERT [14] の Attention が強いもののみを抽出することで，トークンを削除し，処理の高速化を実現した. ByT5 は計算量の削減をシー ケンス長を減らすのではなく, Deocderを浅くすることで実現している. 本研究では, ByT5に対して，
語彙に依存しない点を残したまま，シーケンス長の削減を導入する。

## 3 提案手法

本研究ではバイトレベルにトークン化するモデルである ByT5 のトークンをモデル内部で Attention に基づいて結合する手法を提案する。提案手法の概要を図 1 に示す. 英語のみ扱うタスクへ fine-tuning することから，ByT5 が取り扱う UTF-8 形式では，概ね 1 文字 1 バイトに対応すると仮定できる.

長さ $L$ の文字列 $\boldsymbol{c}=\left(c_{1}, \ldots, c_{i}, \ldots, c_{L}\right)$ が与えられ，各 $c$ に対応する隠れ層出力を $\boldsymbol{v}$ とすると，以下のような処理により新たなべクトル $v^{\prime} を$ 得る。

はじめに，局所的な Attention 情報を利用したいことから，浅い層である Encoder ブロック 2 層目の Attention 行列を参照し, Head 方向へ平均をとる.

$
\bar{A}=\frac{1}{H} \sum_{h}^{H} A_{h}
$

次に, Attention 行列を query 方向へ平均をとり, これを Significance Score とする.

$
\operatorname{Sig}(c)=\frac{1}{L} \sum_{l}^{L} \bar{A}\left[c_{l}, c\right]
$

続いて，各文字ごとの Significance Score を並べ， その中から上位 $\mathrm{k}$ 個を抽出し， $\boldsymbol{c}^{\prime}$ とする.

$
\begin{aligned}
& \operatorname{Sig}(\boldsymbol{c})=\left(\operatorname{Sig}\left(c_{1}\right), \ldots, \operatorname{Sig}\left(c_{L}\right)\right) \\
& \boldsymbol{c}^{\prime}=\operatorname{topk}(\operatorname{Sig}(\boldsymbol{c}))=\left(c_{1}^{\prime}, \ldots, c_{k}^{\prime}\right)
\end{aligned}
$

$c_{i}^{\prime}$ から $c_{i+1}^{\prime}$ の一つ前までの $c$ に対応する文字列を segment と呼び， $s_{i}$ とおく. 各 $s_{i}$ の含む文字 $c$ に対応する隠れ層出力の平均をとり，新たに $\boldsymbol{v}_{i}$ とする。

$
v_{i}^{\prime}=\frac{1}{\left|s_{i}\right|} \sum_{c \in s_{i}} v_{c}
$

先頭文字トークン $c_{1}$ が上位 $\mathrm{k}$ 個に選択されなかった場合， $c_{1}$ から $c_{1}^{\prime}$ の前までの $c$ に対応する文字列を $s_{0}$ とし，その文字に対応するべクトルの平均を先頭に追加する。

$
v_{0}^{\prime}=\frac{1}{\left|s_{0}\right|} \sum_{c \in s_{0}} v_{c}
$

また，終端トークン</s> は special token であることから，常に一つのトークンとして扱う．よって上

query方向に平均をとる(式(1))

$\mathbf{v}_{\text {Kubernetes }}^{\prime}=\frac{1}{\left|s_{1}\right|}\left(\mathbf{v}_{\mathrm{K}}+\mathbf{v}_{\mathrm{u}}+\mathbf{v}_{\mathrm{b}}+\cdots+\mathbf{v}_{\mathrm{t}}+\mathbf{v}_{\mathrm{e}}+\mathbf{v}_{\mathrm{s}}\right)$

各segmentに対して同様の操作を行う

$\begin{array}{lllll}\mathbf{v}_{\text {Kubernetes }}^{\prime} & \mathbf{v}_{\text {is }}^{\prime} & \mathbf{v}_{\text {abberviated }}^{\prime} & \mathbf{v}_{\text {as }}^{\prime} & \mathbf{v}_{\text {k8s. }}^{\prime} . \\ \text {. }\end{array}$

図 1 文字トークン結合の流れ

位 $\mathrm{k}$ 個に選択されなかった場合，以下のようにべクトルを追加する。

$
\boldsymbol{v}_{k+1}^{\prime}=\boldsymbol{v}_{</ \mathrm{s}>}
$

以上の操作で得られたべクトル $\boldsymbol{v}^{\prime}$ E Encoder ブロックの 3 層目に入力し, 以降の層へ伝播させる. パラメータは事前学習済みモデルから再利用し，下流タスクへ fine-tuningする。

## 4 実験

ByT5 の Attention 情報を利用したモデル内部での文字トークン結合が，トークンの意味の獲得による精度の向上と速度の改善に効果があるかを実験により検証した。提案手法は，"e"と"ee"といった連続文字列を式 (4) で平均化後に再度生成することは難しいことから，分類タスクで実験を行った。

## 4.1 実験タスク

英語のテキスト分類タスクとして SST-2 [15]を用いた.これはテキストに含まれる感情を 2 値分類するタスクである．実験はランダムに $k$ 個のトークンを指定して結合する手法をべースラインとし，強い Attention を先頭に結合する提案手法に意味があるの

かを調べた. 加えて, 空白で区切って結合する単語レベルトークン化, Goyal ら [13] の手法に基づいて実装した Attention の強いトークンのみを抽出する手法，ByT5の fine-tuning により実験した．ByT5では，全ての Encoder 層で文字トークンに対して同じ相対位置埋め込みのパラメータを共有している。一方提案手法では, 文字レベルの位置情報と, 結合後のトークン位置情報が異なると考えられることから， トークン獲得後の層である 3 層目以降の Attention で 1 層目とは異なる位置埋め込みのパラメータを用いた. なお，予備実験でこれらの手法で大きな差は確認できなかったため，その比較は省略する。

いずれの実験も、バッチサイズ 12, 学習率 4e-5 で 40 エポック学習させたのちに、validation データに対して最も accurary が高いものを用いて、test デー タで accuracyを算出した. シーケンス長は、 $\mathrm{mT5}$ が ByT5 の平均トークン長の $1 / 4.1$ 倍であることから、 それよりも平均で短くなる $1 / 5$ 倍の長さになるように式 (3) の $k$ を設定した. 実験は異なるランダムシードで 5 回行い，その平均により算出した.

処理速度は，testデータの単位時間あたりのイテレーション数を比較した. 実験は CPU AMD EPYC 7742 64-Core, メモリ 1TB, GPU NVIDIA A100-SXM $40 \mathrm{~GB}$ ，バッチサイズ 12 で行った. なお，提案手法は文字トークンの結合処理を CPU 上で行うことから，処理速度は GPU 以外の条件にも依存する。

## 4.2 実験結果

表 1 は，文字トークンの選択手法を変更した際の実験結果である. 提案手法はベースラインであるランダムに文字トークンを選択し結合した場合に比ベ， 1.8 ポイント高い結果となった. また, Attention の強いトークンを抽出する手法に比べ， 3.2 ポイント高く, 空白で区切る単語レベルトークン化を行う場合よりも 0.8 ポイント高くなった. 提案手法は ByT5-base と比較して 6\%ほど精度を落とすが，表 2 に示すように，単位時間あたり 1.78 倍のイテレー ションを実行する事が可能になった。

5 回の実験結果における混同行列の平均を表 4 に示す. 学習データには Positive/Negative いずれも同数含まれている. ByT5-base では若干 Positive 判定が大きかったが，提案手法では Positive と Negative いずれもほぼ同数の判定となった.表 1 SST-2 における $\operatorname{accuracy}(\%)$

ランダムに選択し結合 (ベースライン) 83.5

Attention から選択し結合 (提案手法) 85.3

空白を選択し結合

84.5

Attention から選択し抽出

82.1

ByT5-base

90.6

表 2 各モデルの処理速度の比較

## 5 考察

## 5.1 トークンの獲得

表 1 より，ランダムに文字トークンを結合する手法と比較して, Attention の上位 $\mathrm{k}$ 個を用いて文字トークンを結合する方法は accuracy が 1.8 ポイント高い.これより Attentionのまとまりは，意味のまとまりを示す情報を持っていると考えられる。

また，表 1 より提案手法は accuracy では ByT5 に及ばなかった. Transformerアーキテクチャは, 全体から自身のべクトルを再構成しているため，周りの文字トークンの結合による意味を持ったトークン獲得は, Attention の計算で既に行われていたと考えられる. accuracy が ByT5 より下回った原因として，提案手法は式 (4) で文字トークンを平均化していることから，分類タスクを選択したが，本手法は分類タスクでも必要な情報が消えたと考えられる．表 3 は，結合する層を変更した際の実験結果である。より上位の層で結合するほど, accuracy は高い結果となっており, 処理速度と精度はトレードオフの関係にある。提案手法は低い層で結合したことから，事前学習と大きく異なる情報を結合以降の層に伝えたことも精度低下の原因であると考えられる．より事前学習を再利用できるトークンの結合方法が存在すれば，この低下は緩和できると考えられる。

図 1 中のスペース区切りの実験結果と比較して,提案手法の方が精度が高い. ニューラルネットによる自然言語処理では，単語モデルよりサブワードモデルの方がタスクを解くのに適していることは， Sennrich ら [16] や Kudo ら [17] も示しており, 本実験結果もニューラルネットワークで分類タスクを解
表 3 異なる層で結合した実験結果

2 層目 (提案手法) 85.2

6 層目 87.1

12 層目

89.6

表 45 回の実験における混同行列の平均 (a)ByT5

(b) 提案手法

Predicted

Predicted

く際には，必ずしも単語レベルのトークン化が適しているわけではなく，単語とは異なるより適した最小単位が存在することを示しているとわかる.

## 5.2 トークンの文字列としての意味

validation データに対するトークン化の例を表 5 に示す. 入力のプレフィックスである, "sst2 sentence:" がいずれのパターンも先頭トークンとして文字列に結合されていることがわかる。これは， fine-tuning の際に全てのタスクに付属していることから，細分化の必要がないと学習したため獲得できたと考えられる。表 5 の 1 例目で” affecting”という単語が確認できるように，一部は単語としての意味を持ったトークンの結合ができている。 一方で，サブワードにトークン化する際，一般的に 1 つのトークンとされる"and"や"ing"のような，複数文で共通の部分文字列が結合されている様子は確認できない. 本研究では fine-tuning では，2 值分類タスクを行ったため， スペースを区切りとした簡易的な結合は獲得できたものの，サブワードのように，共通部分の結合を獲得するにはタスクが簡素であったと考えられる。

## 5.3 Attention 行列の差異

表 2 は, validation データのうちの一つである, "sst2 sentence: i had to look away - this was god awful ."を ByT5-base と提案手法の両者に入力した画像である. それぞれ，2，3，12 層目の Attention 行列をそれぞれ Head 方向に平均をとった. 提案手法の Attention 行列は，ByT5-base と同様に，Encoder 最終層では query 方向の強い値が連続していることが見てとれる. 従って，文字トークン結合後も，各トークンに対して Attention が機能していると考えられる。一方で，ByT5 の Attention 行列の対角成分は，残差ネッ表 5 validation データに対する結合例

入力文

sst 2 sentence: it 's a charming and often affecting

journey .

結合結果

sst2_sentence:_it's_ / a_ / cha / r / ming_and_o / fte / n_ / affecting_ / jo / urne / y_ / . / <s>

入力文

sst2 sentence: unflinchingly bleak and desperate 結合結果

sst2_sentence:_ / unf / linc / hingly_ble / a / k_and_ /

/ des / pe / r / ate / <s>

トワークにより，自身を再構成が容易なことから，小さい值となっているが，提案手法である結合後の Attention 対角成分にそのような様子は見られない. これは，トークンの結合を残差ネットワークの後に設定したため学習されなかったと考えられる.

図 2 Attention 行列の様子

## 6 おわりに

本研究では，バイトレベルにトークン化するモデルである ByT5 に，語彙に依存しない利点を維持したままシーケンス長を削減する手法を提案した. テキスト分類実験において，ランダムに文字トークンを選択し結合する手法と比較して精度の向上を確認し，ByT5-base と比較して精度の下落を小さく抑え，処理速度の向上を確認できた。表現能力の担保を調べるためには，今後生成タスクでも検証する必要がある．文字トークン結合時に情報を脱落させないためには，文字レベルのトークンがサブワードトークンと比較して，具体的にどのような情報を保持しているかを解明し，それらを維持したまま事前学習済みの層へ伝播させる方法の研究が必要である.

## 7 謝辞

本研究の一部は科研費 $21 \mathrm{H} 03500$ と $21 \mathrm{H} 05054$ の助成を受けたものである.

## 参考文献

[1] Ilya Sutskever, James Martens, and Geoffrey Hinton. Generating text with recurrent neural networks. In Proceedings of the 28th International Conference on International Conference on Machine Learning, ICML'11, p. 1017-1024, Madison, WI, USA, 2011. Omnipress.

[2] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[4] Yi Tay, Vinh Q. Tran, Sebastian Ruder, Jai Gupta, Hyung Won Chung, Dara Bahri, Zhen Qin, Simon Baumgartner, Cong Yu, and Donald Metzler. Charformer: Fast character transformers via gradient-based subword tokenization, 2021.

[5] Jonathan H. Clark, Dan Garrette, Iulia Turc, and John Wieting. Canine: Pre-training an efficient tokenization-free encoder for language representation. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 73-91, 2022.

[6] Hicham El Boukkouri, Olivier Ferret, Thomas Lavergne, Hiroshi Noji, Pierre Zweigenbaum, and Jun'ichi Tsujii. CharacterBERT: Reconciling ELMo and BERT for wordlevel open-vocabulary representations from characters. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6903-6915, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[7] Linting Xue, Aditya Barua, Noah Constant, Rami Al-Rfou, Sharan Narang, Mihir Kale, Adam Roberts, and Colin Raffel. ByT5: Towards a Token-Free future with pre-trained Byte-to-Byte models. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 291-306, 2022.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[9] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Con- ference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[10] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big bird: Transformers for longer sequences. Advances in Neural Information Processing Systems, Vol. 33, , 2020.

[11] Nikita Kitaev, Lukasz Kaiser, and Anselm Levskaya. Reformer: The efficient transformer. January 2020.

[12] Iz Beltagy, Matthew E Peters, and Arman Cohan. Longformer: The Long-Document transformer. April 2020.

[13] Saurabh Goyal, Anamitra R Choudhury, Saurabh Raje, Venkatesan T Chakaravarthy, Yogish Sabharwal, and Ashish Verma. PoWER-BERT: Accelerating BERT inference via progressive word-vector elimination. In International Conference on Machine Learning. International Machine Learning Society (IMLS), February 2021.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Richard Socher, Alex Perelygin, Jean Y Wu, Jason Chuang, Christopher D Manning, Andrew Y Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. https://nlp.stanford. edu/ socherr/EMNLP2013_RNTN. pdf. Accessed: 202212-12.

[16] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[17] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.


# SentencePiece の重複語入れ替えによる 日本語 T5 への言語モデル追加

高野 志歩 1 相馬 菜生 ${ }^{2}$ 田村 みゆ ${ }^{1}$ 梶浦 照乃 ${ }^{1}$ 倉光 君郎 ${ }^{2}$
1 日本女子大学大学院 理学研究科 2 日本女子大学 理学部
m1816053ts@ug.jwu.ac.jp kuramitsuk@fc.jwu.ac.jp

## 概要

SentencePiece は、テキストから教師なし学習によって語彙モデルを構築し、ニューラルネットワークに適した字句解析を提供する。現在の多くの大規模言語モデルの事前学習で採用され、 SentencePiece は標準のひとつとなっている。本研究では、SentencePiece の語彙モデルから形態素に基づいて重複語を抽出し、新しい語彙と入れ替えることによる語彙の追加手法を提案する。これにより、大規模言語モデルに対して、数千語単位の語彙を追加する余地ができ、事前に学習されていない言語やドメインの語彙を含めた追加学習が可能になる。本論文では、2つの日本語 $\mathrm{T} 5$ に対し、6000 語程度の Python 言語の語彙 (予約語/識別子)を追加した事前追加学習モデルを構築し、重複語入れ替えによる下流タスクの精度向上について論じる。

## 1 はじめに

大規模言語モデルは、事前に大量なテキストを学習することにより、機械翻訳や文書要約、感情分析など様々な下流タスクに適用できるモデルである。近年は、基盤モデルとも呼ばれ、自然言語処理タスクのみならず、様々な分野のニューラルネットワー クに広く採用されている。

大規模言語モデルを下流タスクに適応させる際には、適応させたい下流タスクの少量のデータをモデルに与える。しかし、事前学習時に用いたデータのドメインと、下流タスクのドメインが大きく異なるとき、下流タスクにおいてモデルが十分な性能を発揮できない領域適応に課題がある。そこで、特定のドメインに特化した語彙を追加することにより、特定ドメインにおける下流タスクの精度が向上すると期待される。

しかし、大規模言語モデルは一般的に語彙数が固定である。そのため、語彙を追加するためには工夫が必要となる。

本研究では、大規模言語モデルの語彙を構築するとき、標準的に採用されている SentencePiece[1] に着目する。SentencePiece は、テキストから教師なし学習によって語彙モデルを構築し、構築された語彙が語彙数を減らし、学習時間を短縮する効果が知られている。一方、SentencePiece の語彙は、文字列の出現頻度に基づいて字句の区切りが決まるため、形態素的に重複した語彙が含まれる。我々は、このような重複語を新しい語彙と入れ替えることによる語彙の追加手法を提案する。

本論文では、提案手法を検証するため、SentencePiece の語彙モデルを採用した日本語 T5 に対し、 3000 語程度の Python 言語の語彙 (予約語/識別子)を追加した。Python 言語の語彙は、日本語 T5には含まれないため、このような語彙追加が可能になる。 さらに、重複語の語彙入れ替えの下流タスクへの影響を調べるため、コード翻訳、コード要約という 2 種類の下流タスクの精度を比較した。

本論文では、大規模言語モデルにおける語彙の追加手法を提案し、実験結果とともに報告する。本論文の残りの構成は以下の通りである。2 節では、本研究で着目した重複語の予備調査について述べる。 3 節では、提案する語彙の追加手法についてまとめる。4節では、実験についてまとめる。5 節では、関連研究を概観し、6 節で本論文をまとめる。

## 2 SentencePiece と重複語

SentencePiece は、ニューラル言語処理向けのトー クナイザである。本節では、SentencePiece について概説したのち、本研究で着目した SentencePiece の作成する語彙モデルに対し、どの程度重複語が含まれているか確認した予備調査の結果を述べる。

## 2.1 SentencePiece とは

SentencePiece は、言語モデルの学習データである生のテキストから最適な分割点を学習する教師なし単語分割システムである。 $\mathrm{MeCab}^{1)}$ や janome ${ }^{2)}$ のような形態素に分割するトークナイザと異なり、サブワードを用いて分割を行う点が特徴的である。

サブワードは、その語が出現する頻度によって単語を分割する手法である。高頻度の単語は 1 単語として扱われ、低頻度の単語はより短い文字や文字列に分割される。日本語や中国語のように分かち書きをしない言語では、 1 文を 1 単語として学習が行われる。

## 2.2 重複語とは

SentencePiece では、出現頻度によって語彙が決まるため、言語文法の語彙とは切れ目が異なることが生じる。例えば、「日本語は」「日本語」「は」の 3 語が語彙モデルに存在するとき、名詞の「日本語」と助詞の「は」から構成される「日本語は」が重複した存在だと捉えることができる。

このように、ある語を形態素に基づいて分割したとき、形態素が既に語彙モデルの中に存在し、重複して存在すると捉えられる場合には、ある語を重複語と考える。

## 2.3 重複語の調査

我々は予備調査として、3つの大規模言語モデルにおける各語彙モデルの作成した語彙を分析した。調査したモデルは、mT5[2]と、2つの日本語 T5 である。まず、Google 社が公開する mT5 は、マルチタスクモデル T5 がベースであり、日本語と英語を含む 101 言語に対応する。次に、日本語 T5 の 1 つは、Megagon Labs 社が公開する t5-base-japanese-web 3）（以下、日本語 $\mathrm{T} 5(\mathrm{Meg})$ ）である。日本語の Web テキストで事前学習された T5 モデルであり、日本語の語彙に特化している。最後に、日本語 $\mathrm{T} 5$ の 2 つ目は、園部勲氏が公開する t5-base-japanese-adapt 4) (以下、日本語 $\mathrm{T} 5(\mathrm{Sno})$ ) である。複数パターンから見た各モデルにおける語彙数

表 13 3つのモデルにおける各パターンの語彙数

 &  \\

漢字を含む & 21,485 & 21,587 & 20,007 \\
ひらがなを含む & 6,443 & 10,549 & 9,718 \\
カタカナを含む & 2,843 & 5,223 & 5,293 \\
数字を含む & 16,473 & 829 & 465 \\
記号を含む & 10,679 & 559 & 635 \\

図 1 記号として判定する字句

の違いを表 1 に示す。漢字を含む語、ひらがなを含む語、カタカナを含む語の 3 パターンを日本語語彙とし結果に着目すると、101 言語に対応するマルチリンガルなモデルである mT5 よりも、2つの日本語 T5 のほうが多い語彙を持つことがわかる。また、日本語語彙以外の重複語として数字を含む語、記号を含む語の各語彙数を確認した。このとき記号を含む語には、図 1 に示すような約 70 種類の記号が該当する。例として、 $\mathrm{mT5}$ に含まれる日本語語彙と、数字を含む語、記号を含む語を表 2 に示す。

さらに、各語彙モデルの日本語語彙に対し、形態素解析器 janomeを用いた品詞パターンの分析を行った。品詞パターンとは、その語を構成する品詞の組み合わせを指し、1つの品詞から成る語と、2 つ以上の品詞から成る語の大きく 2 種類に分けられる。このとき、1つの品詞パターンに含まれるのは、名詞や動詞といった基盤 10 個の品詞とフィラーを含めた 11 個の品詞である。

本研究のアイディアは、予備調査の結果から考えられる重複語を削除し、代わりに別の語彙を追加することである。

## 3 重複語と語彙入れ替え

我々は、SentecePiece の作成した語彙モデルに含まれる重複語を取り除いて、別の言語の語彙を追加する。本節は、Python 語彙（予約語/識別子）などを実例として述べるが、Python 語彙の依存する部分は

図 22 つ以上の品詞パターンのうち、重複語であっても語彙モデルに残す品詞パターン

ないため、置き換え対象の語彙は別言語の語彙に置き換えて適用可能である。

## 3.1 重複語の判定

2.3 節の予備調査の結果をもとに、品詞パターンによる重複語の判定を行った。本研究では、全ての重複語を削除するのではなく、品詞の構成から決定した語彙モデルに残す品詞パターン以外の重複語のみを削除する。

語彙モデルに残す品詞パターンは、計 23 個である。1つの品詞パターンに含まれるのは、名詞や動詞といった基盤 10 個の品詞とフィラーを含めた 11 個の品詞と、図 2 に示す 12 パターンである。 23 個の品詞パターンに該当しない語のうち、形態素的に重複した語彙が含まれるとき、該当の語を無意味な文字列に置き換えた。

## 3.2 数字や記号の重複除去

SentencePiece の作成する語彙モデルには、2.3 節の表 1 に示した通り、数字や記号を含む語彙が多く含まれている。

我々は、日本語語彙の重複語とは別に数値や記号の重複も取り除いた。例えば、数字は全て 1 文字を字句の単位として、2021のような字句は、2021というように4つの字句からみなすようにした。記号も 1文字も字句の単位とした。

なお、数字の扱いに関しては、議論の余地があるが、最新の大規模言語モデル PaLM [3] の語彙構成に準じている。

## 3.3 Python 語彙の追加

最後に、語彙モデルへの語彙追加について簡単に述べる。

追加する語彙は、原理的には、ドメイン特化辞書などの任意の語彙を追加することができる。ただし、SentencePiece の語彙モデルは、出現頻度を持っているので、出現頻度に関する情報を持っているこ
とが望ましい。

我々は、Python 言語の語彙（予約語識別子）の追加を行う際は、Pythonソースコードに対し、 SentencePiece を使って語彙モデルを構築し、そこから追加する語彙を選定した。追加の先語彙モデルと新しい語彙の間では出現頻度の調整は行わず、それぞれの語彙が独立して出現すると仮定して、それぞれの出現頻度順序だけが保証されるように追加を行った。

## 4 実験

## 4.1 概要

我々は、重複語入れ替え手法の影響と効果を確かめるため、次の手順で実験を行う。

まず、異なる種類の SentencePiece の語彙モデルから構築された事前学習済み言語モデルを用意してベースラインとする。用意した言語モデルは、以下の通りである。

・Sno: 園部勲氏が公開する日本語 T5 モデル
- Meg: Megagon Lab 社が公開する日本語 T5 モデル

・mT5: Google 社が公開する多言語 T5 モデル [2](small)

これらのモデルから前節で述べた手法で重複語のみを削除したモデルを作る。続いて、重複語を削除して、その代わりにドメイン語彙を追加したモデルを作る。本実験では、前節で述べた通り、Python 語彙をドメイン語彙として追加した。最後に、下流タスクのドメインに合わせた追加学習 [4] を行ったモデルも用意した。追加学習で学習させたデータは、CodeSearchNet などの公開データセットから収集した Python コード (1GB) である。学習時のハイパーパラメータは、学習時のハイパーパラメータは、ピーク学習率 3e-4、エポック数を 5 回とした。

以上、我々の用意したモデルは次の 4 モデルとなる。

・ベースライン
- 重複語削除

・ドメイン語彙追加

・ドメイン追加学習
表 3 各タスクごとの実験結果

## 4.2 下流タスクへの影響

我々は、下流タスクとして、Python コードのコー ド生成、コード修正、エラー診断を用意した。

・コード生成: プログラム意図を表す自然言語文を入力として受け取り、対応するコードを生成するタスク [5] である。

・コード修正: バグのあるコードを入力として、出力に正常なコードを生成するタスク [6] である。入出力はともにコードである。

・エラー診断: 英文のエラーメッセージとソースコードから日本語のエラー解決策 [7] を提示するタスクである。

これらのタスクを用意したモデルにおいて、学習させた結果を表 3 に示す。

## 5 関連研究

近年、Transformerをベースとした事前学習済みモデルが数多く提案され，転移学習やファインチュー ニングによって下流タスクに応用したときに優れた精度の向上を見せている。事前学習済みモデルは、大規模データセットを用いて事前学習され、下流タスクを定めず汎用的なモデルとして構築されることが多い。しかし、下流タスクのドメインが事前学習に用いたデータのドメインと大きく異なる場合、下流タスクでモデルが十分な性能を発揮できない領域適応の問題がある。

事前学習に用いるデータセットをドメインデータに絞った、専門領域に特化した言語モデルが提案され、汎用モデルと比較した時により高い精度でドメ
インタスクが解けることが確認された [8]。

Gururangan ら [9] は、事前学習済みモデルを特定ドメインに適応させるために、下流タスクドメインのデータで追加学習することで高い精度でドメインタスクを解くDAPT 手法を提案している。ここで、事前学習済みモデルが保持する語彙の中に、専門用語などドメインの語彙が含まれないため、語彙を拡張する必要がある。Yao ら [10] は、語彙を拡張しながらドメイン特化モデルを構築する手法として Adapt-and-Distill 手法を提案している。

## 6 むすびに

本研究は、大規模言語モデルの語彙に含まれる重複語を新しい語彙と入れ替えることによる語彙の追加を提案する。提案手法を検証するため、複数のモデルに対して (1) 不要語除去 (2) 不要語を Python 語彙に入れ替え (3)Python 語彙に入れ替え+追加学習と、3つの条件を変えて比較による評価をおこなった。モデルに Python 語彙を追加することで、入出力で Pythonを用いるコードタスクで精度が上がるのではないかと考えていたが、実験結果として語彙の追加による精度向上は見られなかった。

## 謝辞

本研究を進めるにあたり，有意義なコメントをいただきました秋信有花氏 (NTT) と小原百々雅氏 (日本女子大学) と佐藤美唯氏 (日本女子大学) と高橋舞衣氏 (日本女子大学)に感謝いたします.

## 参考文献

[1] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[2] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 483-498, Online, June 2021. Association for Computational Linguistics.

[3] Aakanksha Chowdhery et. al. Palm: Scaling language modeling with pathways. CoRR, abs/2204.02311, 2022.

[4] 梶浦照乃, 小原百々雅, 秋信有花, and 倉光君郎. 多言語 5 への追加事前学習による python 言語モデルの構築. In The 6th cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming (xSIG2022), 2022.

[5] Momoka Obara, Yuka Akinobu, Teruno Kajiura, Shiho Takano, and Kimio Kuramitsu. A preliminary report on novice programming with natural language translation. In IFIP WCCE 2022: World Conference on Computers in Education, 2022.

[6] 相馬菜生, 梶浦照乃, 高橋舞衣, and 倉光君郎. 大規模言語モデルへの事前追加学習による誤り訂正モデルのコードへの適用. In 第 21 回日本データベース学会年次大会 (DEIM2023), 2023.

[7] 高橋舞衣, 小原百々雅, 相馬菜生, and 倉光君郎. 大規模言語モデルを応用した初学者に親切なエラー メッセージの実現. In 第 21 回日本データベース学会年次大会（DEIM2023), 2023.

[8] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4):1234-1240, 2020.

[9] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 8342-8360, Online, July 2020. Association for Computational Linguistics.

[10] Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong, and
Furu Wei. Adapt-and-distill: Developing small, fast and effective pretrained language models for domains. arXiv preprint arXiv:2106.13474, 2021.


# Large Pre-trained Language Models with Multilingual Prompt for Japanese Natural Language Tasks

Haiyue Song ${ }^{1,2}$ Raj Dabre $^{2}$ Chenhui Chu $^{1}$ Sadao Kurohashi ${ }^{1}$
${ }^{1}$ Kyoto University ${ }^{2}$ NICT
\{song, chu,kuro\}@nlp.ist.i.kyoto-u.ac.jp raj.dabre@nict.go.jp
}

\begin{abstract}
Pre-trained Language Models (PLMs) with in-context learning have achieved impressive performance on various English Natural Language Understanding (NLU) and generation tasks. However, applying PLMs to languages other than English is still a challenge. This is because the training data used for pre-training contains a huge percentage of English data and a significantly lower percentage of data in other languages. To alleviate this problem, we propose a multilingual prompt approach, where we provide the input in the target language as well as in English, the latter of which is obtained by Neural Machine Translation (NMT). We experimented on six Japanese datasets and achieved SOTA performance in two of them.
\end{abstract
## 1 Introduction

In recent years, the world knowledge from the huge-scale training data and the generalization ability from the hugescale model have enabled the PLMs to show promising performance on a wide range of Natural Language Processing (NLP) tasks [1, 2, 3]. This data-driven approach has especially shown promising results on English tasks [4]. It even shows better than the fine-tuning methods with a few-shot in-context learning setting [5]. Although the high generalization ability enables the PLMs to deal with NLP tasks in other languages, a performance gap exists between them and the same tasks in English. This phenomenon is largely due to the lack of training data in the target language $[3,6]$.

To alleviate the data distribution mismatch problem between the training data and testing data, increasing the percentage of non-English data in the training set is a trivial yet efficient approach. However, the disadvantages include the high cost of data collection and cleaning, the data scarcity for low-resource languages, and the drop in performance of

Figure 1: Overview of the proposed method.

English tasks [6]. Having English play the role of the intermediary is another effective way. This includes translating the non-English inputs into English [7], translating the English training data to the target language [8], or showing a few English examples as context to adjust the domain [4].

In this work, we solve the data distribution mismatch problem in PLMs with a novel multilingual prompt approach (See Figure 1). We first translate the input in the target language into English and feed them into PLMs. In this way, the prompt provides both accurate information in the original input and information in English that can be processed by the model without language mismatch.

We conducted experiments on the JGLUE benchmark that contains 5 language understanding tasks [9] and on the KWDLC dataset [10] for the Japanese word segmentation task. Compared with fine-tuning methods based on BERT variants, the proposed multilingual prompt approach based on a GPT-3 model achieves SOTA performance on the sentiment classification and Japanese word segmentation datasets and comparable performance on most of the rest datasets. Ablation studies show the importance of using multilingual rather than Japanese only or English only inputs. Analysis with examples further reveals how the English references help.

Figure 2: Prompt format with multilingual examples and the query.

## 2 Related Works

As the scales of PLMs increase (e.g., BERT series [1, 11], T5 model [2], and the GPT series [12, 4]), few-shot in-context learning without back-propagation to update the model parameters becomes possible [13]. The in-context learning approach makes it extremely practical, where the model can be applied to entirely new tasks requiring only a minimal amount of annotation.

To solve the non-English NLP tasks, multilingual PLMs approaches (e.g., mBERT [1], mT5 [14], and XGLM [6]) attempt to collect more balanced data from more than one hundrad languages and solve tasks in language other than English directly. Other attempts to alleviate the data distribution mismatch problem of PLMs pre-trained on unbalanced data include fine-tuning based methods [15, 16], translation-based methods [7, 8], and zero-shot methods [4], which require less computation. Multilingual input is also a common method in multilingual MT [17, 18].

## 3 Methods

We first briefly define the notations of the task, prompt, and output. We then explain the proposed multilingual prompt with a few-shot in-context learning method.

## 3.1 Notations

We define the parameter in the PLM as $\theta$. For each task $T$, we define the dataset as $D$. The prompt of the PLM is defined as $P$, where $P=\left[P_{\text {task }}, P_{\text {examples }}, P_{\text {query }}\right]$ is a concatenation of three parts as presented in Figure 2.
- The task explanation part $P_{\text {task }}$ provides the information of the task and the format of input and output of each data examples. It varies with the task.
- The example part $P_{\text {examples }}$ provides $N$ examples. Each example $E_{i}$ consists of two parts, the question part $Q_{i}$ and the correct answer $A_{i}$.
- The query part $P_{\text {quer }}$ provides the question $q$ at the inference time without the answer.

We call a setting zero-shot if the $P_{\text {examples }}$ is empty ( $N=$ $0)$, few-shot if $N$ is a small number. We keep $N<10$ in all few-shot experiments. The output is defined as $y$; for different tasks $T$, the set of possible output values differs.

## 3.2 Multilingual Prompt

We keep the target language Japanese across the experiments. For all the texts $t_{J a}$ in $P_{\text {examples }}$ and $P_{\text {query }}$, we apply a high-quality machine translation tool Textra ${ }^{1)}$ to translate it into a English text $t_{E n}$. We then combine $t_{J a}$ and $t_{E n}$ to form a multilingual text $t_{M i x}$. We then replace $t_{J a}$ with $t_{M i x}$ to generate the multilingual $P_{\text {examples }}$ and $P_{\text {query }}$ as shown in Figure 2.

In the zero-shot multilingual prompt setting, the output of the PLM $y=f(P \mid \theta)$ tends to be multilingual, and we only keep the Japanese part as a prediction. In the few-shot setting, the output will be in the correct format following the $P_{\text {examples }}$. Note that we use English for $P_{\text {task }}$ across all the experiments.

Table 1: Results on the JGLUE benchmark. Bold represents the best performance except for Human. Blue represents the best setting among the proposed methods.

Table 2: Results on the KWDLC dataset for the Japanese word segmentation task. Bold means the best performance.

## 4 Experimental Settings

## 4.1 Datasets

We use five datasets from the JGLUE benchmark [9], including 1) MARC-ja, a text classification dataset, 2) JSTS, the Japanese version of the semantic textual similarity dataset, 3) JNLI, the Japanese version of the natural language inference dataset, 4) JSQuAD, the Japanese version of reading comprehension dataset, and 5) JCommonsenseQA, the Japanese version multiple-choice commonsense Question Answering (QA) dataset.

Additionally, we add a Japanese word segmentation task to verify whether the English translation will still help for

the task that requires Japanese syntax information processing ability. We test on the KWDLC dataset [10], which is segmented by Jumanpp [22] and revised by experts.

The evaluation metrics keep the same with the previous work $[9,19]$, using accuracy for multi-choice tasks, Pearson and Spearman for the ranking task, Exact Match (EM) and F1 for the QA task, precision, recall, and F1 for the word segmentation task.

## 4.2 Model Settings

PLM We run experiments on a publicly available pretrained language model GPT-3 Codex (175B) $)^{3)}$ with temperature as 0, top $p$ as 1 , frequency penalty as 0 , presence penalty as 0 , and max tokens as 200.

MT Model We use a publicly available MT tool Tex$\mathrm{Tra}^{4)}$ with the general Japanese to English model.

Few-shot We manually select $N<10$ examples from the train set that cover all types of output labels. For the MARC-Ja dataset, we use 2 examples with positive labels and 2 with negative labels. For the JSTS dataset, we use 10 examples with labels from 0.0 to 5.0 in a roughly uniform distribution. We use 6 examples for JNLI, 5 examples for JSQuAD, 5 for JCommonsenseQA, and 7 for KWDLC. For the JSQuAD dataset, in the case that there are multiple correct labels, we show the first one in $P_{\text {examples }}$.

 &  \\

Figure 3: An example from the MARC-Ja dataset where multilingual prompt helps.

 &  \\

Figure 4: An example from the KWDLC dataset where multilingual prompt helps.

Baselines For the JGLUE benchmark, we compare with the fully supervised methods fine-tuned on Tohoku BERT, ${ }^{5)}$ NICT BERT base, ${ }^{6)}$ Waseda RoBERTa, ${ }^{7)}$ and XLM RoBERTa models [23]. For the KWDLC dataset, we compare it with a previous unsupervised method based on BERT [19]. We added existing tools MeCab [20] with ipadic dictionary and KyTea [21] as references. Note that the KWDLC is originally segmented by Jumanpp [22] therefore the F1 score using Jumanpp is near 1.0.

## 5 Experimental Results

## 5.1 Main Results

Tables 1 and 2 show the results of the JGLUE benchmark and KWDLC dataset correspondingly. The proposed methods show SOTA performance on the text classification dataset and Japanese word segmentation dataset. The performance is also comparable to the fine-tuned methods on two QA datasets. However, we found that the performance is worse on the tasks JNLI and JSTS that require reasoning ability. We can observe that the fine-tuned methods outperform humans on these two tasks.

The few-shot methods gave higher scores than the zeroshot ones on all the tasks, showing the effectiveness of in-context learning. We found the improvement from both better output format and adaptation to the task domain.

5) huggingface.co/cl-tohoku/bert-base-japanese-v2

6) alaginrc.nict.go.jp/nict-bert/index.html

7) huggingface.co/nlp-waseda/roberta-base-japanese
The multilingual prompt outperforms the Japanese or English only prompt on most tasks. We assume that it is due to less distribution mismatch between the testing and training data.

## 5.2 Case Analysis

We gave two cases where the multilingual prompt leads to correct prediction. Figure 3 provides a text classification example, where the object is implicit and omitted in the Japanese text. However, in the translated text, the phrase but I liked it is completed, and the object information becomes explicit, which helps the model to give the correct prediction. Figure 4 illustrates another case from the word segmentation task. The names of the province (Anhui, Shandong. . .) are given as separate English words in the translation, which provides word boundary information and helps to segment Japanese words correctly.

## 6 Conclusion and Future Work

In this work, we proposed a multilingual prompt approach to better apply the PLMs to non-English tasks. The prompt contains the original input in Japanese and the translated input in English, which alleviates the data distribution mismatch problem. We experimented on six Japanese datasets and achieved SOTA performance on two of them. Future work includes adding Chain-of-though (CoT) [5], a cross-lingual version of the few-shot retrieval method [24], and a web-searching method [25].

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Number JP21J23124. Part of the work was done during an internship at NICT.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[3] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners, 2020.

[4] Genta Indra Winata, Andrea Madotto, Zhaojiang Lin, Rosanne Liu, Jason Yosinski, and Pascale Fung. Language models are few-shot multilingual learners. In Proceedings of the 1st Workshop on Multilingual Representation Learning, pp. 1-15, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models, 2022.

[6] Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona Diab, Veselin Stoyanov, and Xian Li. Few-shot learning with multilingual language models, 2021.

[7] Tim Isbister, Fredrik Carlsson, and Magnus Sahlgren. Should we stop training more monolingual models, and simply use machine translation instead?, 2021.

[8] 吉越卓見,河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会, 2020.7.3

[9] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[10] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き始めに対する意味関係タグ付きコーパスの構築とその分析. 自然言語処理, Vol. 21, No. 2, pp. 213-247, 2014.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[12] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019

[13] Damai Dai, Yutao Sun, Li Dong, Yaru Hao, Zhifang Sui, and Furu Wei. Why can gpt learn in-context? language models secretly perform gradient descent as meta-optimizers, 2022.

[14] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained text-to-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[15] Bo Zheng, Li Dong, Shaohan Huang, Wenhui Wang, Zewen Chi, Saksham Singhal, Wanxiang Che, Ting Liu, Xia Song, and Furu Wei. Consistency regularization for cross-lingual fine-tuning. In Proceedings of the 59th Annual Meeting of the ACL and the 11th IJCNLP (Volume 1: Long Papers), pp. 3403-3417, Online, August 2021. Association for Computational Linguistics.

[16] Zhaojiang Lin, Andrea Madotto, Genta Indra Winata, Peng Xu, Feijun Jiang, Yuxiang Hu, Chen Shi, and Pascale Fung. Bitod: A bilingual multi-domain dataset for task-oriented dialogue modeling, 2021.

[17] Raj Dabre, Fabien Cromieres, and Sadao Kurohashi. Enabling multi-source neural machine translation by concatenating source sentences in multiple languages. In Proceedings of Machine Translation Summit XVI: Research Track, pp. 96-107, Nagoya Japan, September 18 - September 222017.

[18] Barret Zoph and Kevin Knight. Multi-source neural translation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 30-34, San Diego, California, June 2016. Association for Computational Linguistics.

[19] 和田有輝也, 村脇有吾, 黒橋禎夫. セミマルコフ crf 自己符号化器による教師なし単語分割. 言語処理学会第 28 回年次大会, 浜松, 2022.3.16.

[20] Takumitsu Kudo. Mecab : Yet another part-of-speech and morphological analyzer. 2005.

[21] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[22] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on EMNLP: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[23] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. CoRR, Vol. abs/1911.02116, , 2019

[24] Ohad Rubin, Jonathan Herzig, and Jonathan Berant. Learning to retrieve prompts for in-context learning. In Proceedings of the 2022 Conference of the NAACL:HLT, pp. 2655-2671, Seattle, United States, July 2022. Association for Computational Linguistics.

[25] Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, Xu Jiang, Karl Cobbe, Tyna Eloundou, Gretchen Krueger, Kevin Button, Matthew Knight, Benjamin Chess, and John Schulman. Webgpt: Browser-assisted questionanswering with human feedback, 2021


# ヒト脳における時間認識時の脳内状態の推定

1 須藤百香 4 小出（間島）直子 ${ }^{3}$ 浅原 正幸 2,4 山口裕人
4 久保 理恵子 2,4 西本伸志 1 小林一郎
1 お茶の水女子大学 ${ }^{2}$ 大阪大学 3 国立国語研究所 4 情報通信研究機構
[g1720523@is.ocha.ac.jp], [naoko-ko@nict.go.jp]
[masayu-a@ninjal.ac.jp], [hyamaguchi@nict.go.jp], [rkubo@fbs.osaka-u.ac.jp]
[nishimoto.shinji.fbs@osaka-u.ac.jp], [koba@is.ocha.ac.jp]

## 概要

近年, 脳神経活動の多点計測技術の発展や深層学習に代表される機械学習技術の高度化により，観測したヒト脳内情報に対する解析や定量的理解を行う研究が盛んになっている.このような背景を踏まえて，本研究では被験者が DVDを視聴している際の脳活動状態を計測し，動画の発話によって与えられる言語刺激からヒト脳内における時間認識時の脳内状態を調査することを目的とする。

## 1 はじめに

"時間”という概念が，ヒト脳内にどのように存在するのか，またはどの部位で処理されているのかという疑問に対する明確な解は未だに存在しない. 時間は物理現象として捉えられ, 我々が感覚的に感じるものであったり，文章中に記述されている事象の生起の順序関係から論理的に考えられたりと, 様々な捉え方がある。近年, 深層学習や汎用言語モデルといった革新的な技術の発展により, 脳神経科学において脳内情報処理を解明するためにそれらの技術が頻繁に利用されるようになっている. とくに， Yamins ら [1] によって視覚情報を処理する深層学習モデルの層と脳内の視覚情報処理の階層的処理の層の間に相同性があることが示されて以来，深層学習モデルを脳の機能を理解するための作業モデルとして利用するようになっている，とくに，脳に与えられる言語刺激を表現する際に，言語の特徴量を word2vec [2] や BERT [3], GPT-2 [4] などの汎用言語モデルを用いて表現し利用されるようになっている. Schrimpf ら [5] は脳活動データから単語の推定を行う課題において，43 の汎用言語モデルを用いてその精度を検証し，該当タスクにおいてどの言語モデルが脳活動を表現するのに適しているのかなどを調査している。このように汎用言語モデルと脳活動データの対応関係をとることによりヒト脳内の様々な特徵を解析することが可能になってきている。

このような背景を踏まえて，本研究では，自然言語文章中に表されている時間的概念がヒト脳内において認識されている状態はどのようなものであるかを調査することを目的とする．自然言語文章から時間を識別する深層学習モデルを構築し，ヒト脳に与えられる言語刺激から時間識別のための特徵量を抽出し，それを持って脳内状態を予測する。これにより，時間識別の脳内状態の調査を試みる。

## 2 時間認識時の脳活動状態推定

## 2.1 研究概要

図 1 に研究の概要を示す.

図 1: 言語刺激による脳活動状態推定の概要

DVD 動画視聴時の脳活動データを fMRI を用いて計測する．動画中の発話を文章に書き起こし，文の意味を汎用言語モデル BERT [3] を用いてべクトルとして表現し，それを言語の特徴量とみなす。言語の特徵量から脳活動データを予測する符号化モデル （2.2 節参照）を構築し，言語刺激下の脳内状態を推定可能とし，その結果を可視化する。

## 2.2 符号化モデル

本研究における符号化モデル (Encoding model) の構築手法は，Naselaris ら [6] によるものを採用した. 符号化モデルの構築方法として，ヒト脳への刺激となるデータから抽出した特徴量と刺激下の脳活動状態を線形回帰し, 計測脳活動パターンと予測脳活動パターンが近づくように重みを学習する。

## 2.3 被験者実験

被験者は日本人 4 名で，5 本の映画やドラマの DVDを自由視の指示のもと視聴した．映画やドラマの内訳は 4 本が海外の映画またはドラマであり，残り 1 本は日本のアニメーションである. 海外映画およびドラマとも日本語に吹き替えされたものであり，被験者は日本語によって動画を理解している. 実験は，情報通信研究機構脳情報通信融合センターにおいて実施され，上記 DVD データに関して, 約 9 時間の動画視聴時の脳活動を磁気共鳴機能画像法 (functional magnetic resonance imaging:fMRI) を用いて脳内の血中酸素濃度依存型（BOLD:blood oxygenation level dependent）信号を観測したものである. 脳活動データは, 1 秒間隔で計測され, 時点毎の観測ボリュームは $96 \times 96 \times 72(=663,552)$ ボクセルである.

## 2.4 時間識別深層学習モデル

DVD 視聴時に発話内に現れる時間概念を識別するための深層学習モデルを構築する. これは，その識別モデルの中間層に表される特徴量（表現ベクトル）は，時間概念を識別するための表現になっていると考えることができるため，その特徴量から符号化モデルにより推定した脳活動状態によって，時間概念を捉えるための脳内の特性を解明するためである．時間識別深層学習モデルが識別する時制は，「過去」「現在」「未来」「その他」の4つとなっている. 使用したデータの具体例を表 1 に示す.

表 1: 書き起こし文と時制の対応

発話内容の特徵量は, 日本語用の NWJC-BERT [7]
を使用し，発話を構成する 1 文ごとに BERT の潜在トークンである CLS の埋込べクトルを利用した. モデルの概要図を図 2 に示す.

図 2: 時間識別モデル概要図

## 3 実験

## 3.1 符号化モデル作成

2.4 節で説明した時間識別深層学習モデルを用いて，その中間層から時間識別のための特徴量を抽出し，実際に観測された脳活動データとの回帰モデルを構築する. 図 3 にその概要を示す.

図 3: 符号化モデル作成の概要図

BERTにより表現した発話内容の特徴量から fMRI にて取得された脳活動データにより表現される脳内状態を推定するための符号化モデルとして, Ridge 線形回帰を採用する．また，訓練データと評価デー

タは観測した脳活動データの連続性を考慮して分割し，訓練データに対する 5 分割交差検証を行うことにより，脳活動データのボクセル毎に最適な正則化項を決定した. 回帰モデルにより予測されたデータと，実際に観測された脳活動データ (正解データ)をピアソンの積率相関係数により評価を行う. またこの際，帰無仮説「推定値と評価値には相関関係が存在しない」を仮定のうえ，各ボクセルごとに推定した値に対し、 $p=0.05$ の下で両側検定，この仮説を棄却した信用できるボクセルのみ使用している.

## 多段階ファインチューニング

本研究では，時間識別モデルの推定精度向上のため，類似のタスクを学習したモデルを多段に転移してモデルを洗練させていく転移学習手法である，多段階ファインチューニング（Multi-step fine-tuning） を適用した．今回は，目標タスクを DVD 視聴時の発話内の時間概念の識別とし， 1 段階目に類似した時間関係タスクとして, 日本語話し言葉コーパス内の時間概念を識別するタスクで学習させたモデルを採用し，2 段目にDVD 視聴時の時間概念識別のタスクを解いた。概要を図 4 に示す。

図 4: 多段階ファインチューニング

## 時間識別特徵量のみに基づく脳内状態予測

作成した時間識別モデルの最終層に近い上位層の特徴量から事前学習済み BERT の埋め込みべクトルが入力される低層の純粋な言語特徴量を取り除くと, 純粋に時間識別のための特徵量が得られるとの考えから，それぞれの特徴量から推定された脳活動状態の差異を観測した. この際, それぞれの特徵量から個別に脳内状態を推定してしまうと，それぞれを共通の空間における比較にはならないため,双方の特徴量を合わせて回帰を行う, Banded Ridge Regression [8] を用い，それぞれの特徴量から予測された脳内状態の差異をとれるようにした. 図 5 にその概要を示す.

図 5: 時間識別特徵量のみに基づく脳内状態推定

## 3.2 実験設定

## 使用データ

2.3 節での被験者実験によって取得された DVD 視聴時の脳活動データとその発話の書き起こしデー タ，および，日本語話言葉コーパスを傾聴した際の脳活動データとその発話の書き起こしデータを用いる. 日本語話し言葉コーパスは，国立国語研究所・情報通信研究機構 (旧通信総合研究所) - 東京工業大学が共同開発した, 日本語の自発音声を大量にあつめて多くの研究用情報を付加した話し言葉研究用のデータベースである. 本研究では，ある一つの話題について一人が 600 700 秒ほどスピーチしているものを使用している.

## 時間識別深層学習モデル構築

2.4 節で説明した時間識別深層学習モデルを構築する. モデルのパラメータを表 2 に示す。学習率や最適化アルゴリズムは先行研究 [9]を参考に採用している.

表 2: 時間識別深層学習モデルのパラメータ

モデル構築に使用したデータは，5本の DVD 視聴データの内，4本の動画を訓練データとして使用し，残りの 1 本を評価データとして構築した. 同じ動画を訓練と評価データに分けないようにすることにより，構築するモデルが過学習を起こさないように配慮した。

Mentalist

(a) DVD 発話からの脳内状態推定

Mentalist

(c) BERT 低層の純粋な言語特徴量からの脳内状態推定

GIS2

(b) 多段階ファインチューニング

Mentalist

GIS2

(d) 言語特徴量を除去した時間認識の脳内状態推定

（上位 500 ボクセル）

図 6: 実験結果

## 3.3 実験結果

図 6(a) にDVD の発話を時間識別モデルの入力とした際の時間識別特徴量からの予測脳活動状態を示す. 図 6(b) に多段階ファインチューニングを行い脳内状態推定精度を向上させた際の予測脳活動状態を示す. さらに，より詳細に時間識別領域についてみるため，時間に関する特徴量から純粋な言語特徴量を引いた際の予測脳活動状態を図 6(d) に示す.

## 3.4 考察

図 6(a)のDVD 発話データのみを用いて時間識別モデル構築を行なった際には，予測脳活動で特徴的な反応を見ることができなかったが，図 6(b) においては予測された領域の局在性が見えるようになり，後頭葉の部分に強い反応が見られた. この部分は主に言語を司る部分だと言われており，反応としては妥当であると言えるであろう。この結果から多段階ファインチューニングを行うことで，モデルの精度がより良くなり，予測脳活動の精度がよくなったことがわかった。また，時間識別モデルから得た特徴量から図 6(c) に示した BERT 低層の言語特徴量を引いた図 6(d) においては, 全被験者を通して前頭前野の反応がよく残る傾向となった. このことからこの部分で何かしらの時間処理が行われている可能性が考えられる。

## 4 まとめ

本研究は，ヒト脳内において自然言語文中に表される時制がどの部位において処理がなされているかを解明することを目的とし，DVD 視聴時の時制を伴う発話文を刺激として用い，予測した脳活動状態から時間認識に特化した脳内部位を調査した。脳内状態を推定するためには，予測精度の高い符号化モデルを作成する必要があり，深層学習モデル学習時の多段階ファインチューニングにより予測精度が向上することが確認できた。これにより，時間識別深層学習モデルを通じて得られた時間識別のための特徴量から脳内状態を推定することで，時間認識をしている部位の特定に努めた。実験を通じて判定された脳内時間処理の部位については，映画内容や被験者により多少の違いがでたものの，前頭前野の位置で反応がよく見らる傾向にあった. しかし，未だその部位が特定できたとは言い難い，今後は，脳内における時間処理の部位を詳細に解明するため，符号化モデルの改良や，実験データをより増やすことなどし，引き続き調査を進めていくつもりである.

## 謝辞

本研究は科学研究費補助金 (18H05521) の支援を受けて実施されたものである. ここに謝意を表す.

## 参考文献

[1] D. L. K. Yamins, H. Hong, C. F. Cadieu, E. A. Solomon, D. Seibert, and J. J. DiCarlo. Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences, pp. 8619 - 8624, 10/2014 2014.

[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 3111-3119, 2013.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL2019, pp. 4171-4186, June 2019.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[5] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverse-engineering converges on a model for predictive processing. bioRxiv, 2020.

[6] Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto, and Jack L. Gallant. Encoding and decoding in fmri. Neurolmage, Vol. 56, No. 2, pp. 400-410, May 2011.

[7] 浅原正幸, 西内沙恵, 加藤祥. Nwjc-bert: 多義語に対するヒトと文脈化単語埋め込みの類似性判断の対照分析. 言語処理学会第 26 回年次大会発表論文集, pp. 961-964, 32020 .

[8] Tom Dupré la Tour, Michael Eickenberg, Anwar O NunezElizalde, and Jack L Gallant. Feature-space selection with banded ridge regression. bioRxiv, 2022.

[9] 耿晨婧, 程飛, KANASHIRO Pereira Lis, 浅原正幸, 小林一郎. 依存関係と文脈表現を用いた日本語時間関係識別. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 4Rin115-4Rin115, 2020.


# 一般性を考慮した言語処理モデルの Shortcut Reasoning $の$ 自動検出

原口大地 ${ }^{1}$ 白井清昭 1 井之上直也 ${ }^{1,2}$
1 北陸先端科学技術大学院大学 2 理化学研究所
\{s2110137,kshirai,naoya-i\}@jaist.ac.jp

## 概要

Shortcut Reasoning は言語処理モデルの非合理的な推論であり，頑健性を損ねる主な原因とされている. 先行研究では，Shortcut Reasoningを発見し，低減させる試みが行われているが，それらの手法は様々な問題点を抱えている。本研究では，推論パターンとその一般性をモデルから抽出・計算し， Shortcut Reasoning を自動的に検出する手法を提案する. 実験の結果，提案手法は既に明らかになっている Shortcut Reasoning を検出できたことに加え，未知のものを発見することにも成功した.

## 1 はじめに

近年，事前学習モデルをはじめとした自然言語処理モデルがあらゆるタスクで精度の向上を見せている。一方で，学習データ内の交絡あるいは疑似相関 (Spurious Features) [1, 2, 3] にモデルが依存することで発生する，推論プロセスにおける非合理的な推論 (Shortcut Reasoning) が指摘されている $[4,5,6]$.

Shortcut Reasoning は，学習データと同じ分布を持つデータ (Independent and Identically Distributed: IID) と比べて，異なる分布を持つデータ (Out of Distribution: OOD) の解析性能を下げる，すなわち頑健性を低下させることが懸念されている。

Shortcut Reasoningを発見・解消させようとする試みは既に行われているが $[7,8,9]$, そこで提案された手法は，(i) Shortcut Reasoning の形態について事前に想定している，(ii) モデルの内部情報を考慮していない，(iii)人手による判定を必要としているという制約を持っている。(i) は事前に想定した Shortcut Reasoning に対してのみ検証をするため，モデルに潜在する未知のものを明らかにできない可能性がある。（ii)については，内部情報を使わない手法の多くが何らかの編集や特徴を加えた入力を作成
し，それに対する出力を分析することで，Shortcut Reasoning の存在を明らかにしようとしているが， この手法によって我々が知り得るのはモデルの出力のみであり，得られる情報には限度がある。(iii) に関しては，単純にコストがかかるのに加え，一見 Shortcut Reasoning に見えないような事例を見逃す可能性がある等の課題を抱えている.

以上の 3 つの課題の解決に取り組んだ研究 [10] はいまだ少数であり，十分な研究成果が得られていないのが現状である。本論文は，最小限の仮定で，内部情報を利用しながら，人手での判定を必要とせずに自動的に Shortcut Reasoning を検出する手法を提案する．具体的には，モデルの推論プロセスにおける規則性 (推論パターン) を抽出し，IID と OOD の入力に対する有効性を比較することで，Shortcut Reasoning の存在とその形態を明らかにする.

## 2 Shortcut Reasoning の検出

本節では，Shortcut Reasoning の検出に先立ち，推論パターン (2.1 項) とその抽出方法 (2.2 項), 一般性 (2.3 項)，Shortcut Reasoning の判定手法 (2.4 項)を定義し，これを踏まえて Shortcut Reasoning 検出の具体的な手順を説明する (2.5 項).

## 2.1 推論パターン

本研究では，ある入力に対するモデル $f$ の推論プロセスにおいて，何らかのトリガー (Trigger) が特定のラベル (Label) の予測をもたらす規則を推論パターンと定義する。推論パターン $p$ は形式的に次のように定義できる.

$
p \stackrel{\text { def }}{=} \text { Trigger } \xrightarrow{f} \text { Label }
$

以降，簡易な記法として $p=(t, l)$ と表す。 $t$ はトリガー， $l$ はラベルを表す.

## 2.1.1 推論パターンの分類

Shortcut Reasoning は学習データの Spurious Features によりもたらされるが，それらが推論パターンにおけるトリガーとラベルであることは，その推論パターンが Shortcut Reasoning であることの必要条件といえる. したがって，推論パターンの定義において, Spurious Features の特徴を十分に考慮する必要がある.

Pezeshkpour らは, Spurious Features には Granular feature (語彙的素性) と Abstract feature (抽象的素性) の 2 種類があると分類している [8]. 前者は, “Spielberg”のような予測と無関係な個別の単語である. 後者は，単語の重複 (Lexical overlap) のように表層的に現れない高次なパターンのことを指す.

この分類を推論パターンにも適用し, Granular featureをトリガーとする推論パターンを語彙的推論パターン, Abstract feature をトリガーとする推論パターンを抽象的推論パターンとする．なお，抽象的推論パターンについては，この論文では扱わず，今後の課題とする. 以後，特に断りがない限り，「推論パターン」あるいは「p」は語彙的推論パターンを指すものとする。

## 2.1.2 語彙的推論パターンの定義

2.1.1 の分類より, 語彙的推論パターンのトリガー $t$ を単語の系列 $\mathbf{w}=\left.\{w_{1}, w_{2}, \ldots, w_{n}\right.\}$ で表す (式 (2)).

$
p_{\text {granular }} \stackrel{\text { def }}{=} \mathbf{w} \xrightarrow{f} \text { Label }
$

単語の系列である理由は，語彙的素性はある特定の一単語ではなく, 複数単語の組み合わせ等の多様な形態を持っていると想定し, それに対応するためである。

## 2.2 推論パターンの候補の抽出

推論パターンを抽出する手法として，新たに Input Reduction (IR)を導入する．IR では，式 (2)におけるトリガー $\mathbf{w}$ につて，ラベルの予測に必要となる最低限の単語の系列と考える。 また, Label はそれを入力としたときの出力ラベルとする. これは，トリガーがある予測ラベルを引き起こすためだけに用いられた情報であることを保証するためである.

IR の大きな流れは以下の通りである。あるデー タセットすを入力として受け取った後，データセットの各インスタンス $(x, y)$ について，推論パターンの候補 $w=(\mathbf{w}, l)$ を抽出し, その集合 $C$ を出力する.

候補の抽出では，入力系列 $x$ が与えられたとき， $x$ に含まれる各単語に対して一つずつマスクをかける ([MASK] に置換する). マスクの数を増やしていき， それを入力をしたときの予測が変化するまで繰り返す. 予測が変われば，その直前の系列をトリガーとする推論パターンの候補を得る。

しかしながら，ナイーブな実装ではマスクの組み合わせが膨大になり計算量が負担となる。したがって，Integrated Gradient (IG)[11]を利用して，予測に対する重要度の低い単語順にマスクをかける (Algorithm 1).

## 2.3 一般性の計算

推論パターンを，推論における「パターン」と呼ぶためには，一定の規則性が認められなければならない. そこで，推論パターンの一般性を計算する。

$C$ の $i$ 番目の推論パターン候補 $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right)$ の一般性 $g_{i}$ を次のように計算する。Dとは別のデータセット $D^{\prime}$ を用意し，トリガーの単語の系列 $\mathbf{w}_{i}$ を含む事例の集合 $\left(x_{j}^{\prime}, y_{j}^{\prime}\right) \in E\left(\mathbf{w}_{i}\right)$ を $D^{\prime}$ から取得する. このとき，それぞれの事例に対する予測 $f\left(x_{j}^{\prime}\right)$ がラベル $l_{i}$ と一致する割合をその推論パターンの候補の一般性とする。形式的には次のように定義する ${ }^{1)}$ :

$
g_{i} \stackrel{\text { def }}{=} \frac{\sum_{x_{j}^{\prime} \in E\left(\mathbf{w}_{i}\right)}\left[f\left(x_{j}^{\prime}\right)=l_{i}\right]}{\left|E\left(\mathbf{w}_{i}\right)\right|} \times 100
$

## 2.4 Shortcut Reasoning の判定

1 節より，推論パターンが Shortcut Reasoning であることの条件として，(i) IID の入力に対しては有効

に機能するが，(ii) OOD の入力に対しては有効ではないことの両方を満たしていることが挙げられる。

条件 (i) は，IID のデータセット $D_{\text {IID より抽出さ }}$ れた推論パターンが正しく正解ラベルを予測できていれば，その条件を満たすことになる。条件 (ii) は， OOD のデータセット DOOD からトリガー $\mathbf{w}$ に合致する事例の集合 $\left(x^{\prime}, y^{\prime}\right) \in E(\mathbf{w})$ を取得し，その予測の多くが誤りであればその条件を満たすといえる. そこで， $E(\mathbf{w})$ と $D_{\mathrm{OOD}}$ における予測の F1 スコアの差 $\Delta$ を計算し(式(4)), その差を推論パターンがどれだけ OODでの予測に失敗しているかの指標とする。

$
\Delta \stackrel{\text { def }}{=} \mathrm{F} 1(E(\mathbf{w}), f)-\mathrm{F} 1\left(\mathscr{D O O D}_{\mathrm{OD}}, f\right)
$

したがって，ある推論パターン $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right)$ が Shortcut Reasoning であるとは，そのトリガー $\mathbf{w}_{i}$ に合致する $E\left(\mathbf{w}_{i}\right)$ について $\Delta_{i}$ が小さく, かつラベル $l_{i}$ に関する条件 (i)を満たすことと定義する. 形式的には, Shortcut Reasoning の集合 $\tilde{P}$ は式 (5) のように書ける。

$
\tilde{P} \stackrel{\text { def }}{=}\left.\{p_{i}=\left(\mathbf{w}_{i}, l_{i}\right) \in C \mid l_{i}=y_{i}, \Delta_{i}<0\right.\}
$

ここで， $y_{i}$ は推論パターン $p_{i}$ の抽出に用いた IID のデータの正解ラベルである.

## 2.5 Shortcut Reasoning 検出の手順

手順は大きく分けて 3 つのステップから成る．ステップ 1 では， D 補 $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right) \in C$ を抽出する．ステップ2では，抽出された候補の一般性 $g_{i}$ を $D_{\mathrm{OOD}}$ を用いて計算し，一般性の高いものを推論パターンとして定義する。最後に，ステップ 3 では，推論パターンのうち，条件 (i, ii) に当てはまるものを Shortcut Reasoning と判定する(式 (5)).

## 3 実験

## 3.1 設定

Sentiment Analysis (SA) と Natural Language Inference (NLI)の2つのタスクを対象に，提案手法の実験を行う. 提案手法が適切に Shortcut Reasoning を検出できているかの検証に既知の情報を必要とするが，これらのタスクは先行研究によって Shortcut Reasoning の形態が報告されていることが採用の背景にある.

今回の実験では，Shortcut Reasoning の基準を $\Delta<-5$ と設定する．また，一般性の低い推論パター
ンをより正確に排除するために， $|E| \geq 100$ である推論パターンのみを分析の対象とする。

## 3.1.1 データセットと予測モデル

SA TweetEval [12] は Twitter に投稿されたツイー トにいくつかの情報がアノテーションされた英語のデータセットである. sentiment はそのサブセットであり，positive/neutral/negative の 3 つの極性クラスがラベル付けされている。 MARC [13] は Amazon における多言語の商品レビューと 5 段階の星の数による評価がアノテーションされたデータセットである.今回は英語を使う．前処理として，5 段階の評価に関して，星の数が 4 以上のレビューを positive， 3 を neutral，2 以下を negative とした.

NLI MNLI [14] は, premise と hypothesis の 2 つの文に対し entailment/neutral/contradiction の 3 つのラベルがアノテーションされた NLI のデータセットである. contradiction がラベル付けされている事例の hypothesis の多くに negation が含まれるという Spurious Feature が明らかになっている [1]. ANLI [15] は MNLI 同様に 3 種類のラベルがアノテーションされており，MNLIよりも複雑で難易度の高い NLI のデータセットである.

本実験では，IID として TweetEval と MNLI，OOD として，MARC と ANLIを使用する。実験に使用したデータセットの詳細を付録 A に示す.

予測モデルは, Huggingface で公開されている RoBERTa [16] ベースの fine-tuned モデルを使用する.詳細は付録 B に示す。

## 3.1.2 Input reduction の適用先

Input reduction の入力として, train (学習データ) と test (テストデータ)の 2 通りを用いる. 前者はモデルの傾向 (内部状態)を捉えた推論パターンが得られることを期待する。後者は，推論パターンを得るための最も直観的な手法である．本実験では，ランダムに選んだ 1,000 件のデータに IRを適用する.

## 3.2 結果

検出された Shortcut Reasoning に該当する推論パターンを表 1 に示す. train/test は，推論パターンがそれぞれ train, test に対して IRを適用して抽出されたかを表し，パターンが得られた場合は $\mathrm{T}$ ，なければ $\mathrm{F}$ と記す.

$\mathbf{S A}$ 得られた推論パターン全体を見てみると，そ
表 1 検出された Shortcut Reasoning の例

の多くが [“love”] $\rightarrow$ positive や [“awful”] $\rightarrow$ negative 等の感情語に関連したものであった. このことから， SA においてモデルは感情語を予測の重要な手がかりとしていることがわかる. Shortcut Reasoning であるものについても，感情語を含む推論パターンが多かった.したがって，Shortcut Reasoning は必ずしも先行研究で報告されている [“Spielberg”] $\rightarrow$ poitive のような予測と無関係な単語のみに反応しているのではないことがわかる。一方，そのような予測と無関係な単語がトリガーとなる推論パターンは得られなかったが，IID と OODを逆にした設定では異なる結果が得られる可能性がある.

MARC に関して, neutral とラベル付けされたレビュー(星3つ)においては positiveな表現と negative

が大きい推論パターンを観察してみると，総じて neutral を誤って予測していることから，本来であればレビューを総合的に評価しなければならないにも関わらず，レビュー中のどちらか一方の極性の感情語だけに依存して推論していることがわかった.

NLI“s”は入力の premise と hypothesis を隔てる目印である. 得られた推論パターンを概観してみると, hypothesis に含まれる単語がトリガーの大半を占め, premise の中の単語を含む推論パターンは数件しかなかった. この結果はモデルが hypothesis に依存して文間関係を予測している2)ということを意味し, 同様の結果が Poliak 等によって報告されている [2]. さらに，否定表現が hypothesis に含まれている推論パターンが多く Shortcut Reasoning として判定されたが，これについても先行研究 [1] で指摘されている Shortcut Reasoning である. 以上から，提案手法が多様な Shortcut Reasoning を適切に検出できていることがわかった.

train or test Input reduction の適用先について, train と testから得られた推論パターンには大きな差は見られなかった. 具体的なパターンは異なるが, 特徴はおおむね同じであった。
論パターンに分類されるものである.

## 未知の Shortcut Reasoning と考えられるもの NLI では hypothesis に含まれる [“popular”] $\rightarrow$ neutral や， [“as", "well"] $\rightarrow$ neutral が新しい Shortcut Reasoning と して得られた. どちらも一般性，スコア差ともに 十分に Shortcut Reasoning と判断できる水準にある.一方，SA については特に見つけることができな かった。

## 4 関連研究

Wang らは, 事前の定義なしに自動的に Shortcut Reasoning を検知する手法を提案している [10]. この研究では出力ラベルの予測に有効な特徴 ([“good”] $\rightarrow$ positive, [“bad"] $\rightarrow$ negative 等) は Shortcut Reasoning になりえないとし，それらを排除した上で明らかに予測に関係のない特徴 ([“Spielberg”] $\rightarrow$ positive 等）のみを検知しょうとしている. しかしながら, Joshi らによると, 自然言語処理のタスクにおいて Shortcut Reasoning の原因となる特徵（Spurious Features）は，大半が予測のための有力な情報であることを示しており [17]，このような特徴を排除することは適切とは言えない. さらに, 2.3 項で述べた推論パターンの一般性を考慮していないため，検出された Shortcut Reasoning が実際にどの程度予測に影響を与えているのかわからないという問題点を持っている.

## 5 おわりに

本研究では，モデルの推論パターンを新たに定義し， Shortcut Reasoning を検知する手法を提案した。実験結果では, Shortcut Reasoning の形態についての最小限の定義で, 先行研究で明らかになっていた Shortcut Reasoning に加え，少量ながら未知な新しいものを自動的に検知することに成功した. 今回設定した推論パターンは語彙的推論パターンにのみ対応しており，抽象的推論パターンへの対応は今後の課題である. さらに, 抽出型の機械読解等のより複雑なタスクへの対応や，この手法で得られた Shortcut Reasoning の情報を応用し，モデルの頑健性を向上させることにも取り組みたい。

## 謝辞

本研究は JSPS 科研費 19K20332 の助成を受けたものです.

## 参考文献

[1] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation Artifacts in Natural Language Inference Data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Adam Poliak, Jason Naradowsky, Aparajita Haldar, Rachel Rudinger, and Benjamin Van Durme. Hypothesis Only Baselines in Natural Language Inference. In Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, pp. 180-191, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Viktor Schlegel, Goran Nenadic, and Riza Batista-Navarro. Beyond Leaderboards: A survey of methods for revealing weaknesses in Natural Language Inference data and models, May 2020. arXiv:2005.14709 [cs].

[5] Xuezhi Wang, Haohan Wang, and Diyi Yang. Measure and Improve Robustness in NLP Models: A Survey. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4569-4586, Seattle, United States, July 2022. Association for Computational Linguistics.

[6] Xanh Ho, Johannes Mario Meissner, Saku Sugawara, and Akiko Aizawa. A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension, September 2022. arXiv:2209.01824 [cs].

[7] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[8] Pouya Pezeshkpour, Sarthak Jain, Sameer Singh, and Byron Wallace. Combining Feature and Instance Attribution to Detect Artifacts. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1934-1946, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Xiaochuang Han, Byron C. Wallace, and Yulia Tsvetkov. Explaining Black Box Predictions and Unveiling Data Arti- facts through Influence Functions. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5553-5563, Online, July 2020. Association for Computational Linguistics.

[10] Tianlu Wang, Rohit Sridhar, Diyi Yang, and Xuezhi Wang. Identifying and Mitigating Spurious Correlations for Improving Robustness in NLP Models, May 2022. arXiv:2110.07736 [cs].

[11] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic Attribution for Deep Networks, June 2017. arXiv:1703.01365 [cs].

[12] Francesco Barbieri, Jose Camacho-Collados, Luis Espinosa Anke, and Leonardo Neves. TweetEval: Unified benchmark and comparative evaluation for tweet classification. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1644-1650, Online, November 2020. Association for Computational Linguistics.

[13] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online, November 2020. Association for Computational Linguistics.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[15] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, Online, July 2020. Association for Computational Linguistics.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[17] Nitish Joshi, Xiang Pan, and He He. Are All Spurious Features in Natural Language Alike? An Analysis through a Causal Lens, October 2022. arXiv:2210.14011 [cs].

[18] Twitter-roBERTa-base for sentiment analysis, 20231 閲覧. https://huggingface.co/cardiffnlp/ twitter-roberta-base-sentiment.

[19] roberta-large-mnli, 2023-1 閲覧. https: //huggingface.co/roberta-large-mnli.

## A データセットの詳細

## B 使用したモデルの詳細