# Representative Data Selection for Sequence-to-Sequence Pre-training

Haiyue Song ${ }^{1,2}$ Raj Dabre ${ }^{2}$ Zhuoyuan Mao $^{1} \quad$ Chenhui Chu $^{1} \quad$ Sadao Kurohashi $^{1}$
${ }^{1}$ Kyoto University ${ }^{2}$ NICT
\{song, zhuoyuanmao, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
$\{$ raj.dabre $\}$ @nict.go.jp
}

\begin{abstract}
Pre-trained sequence-to-sequence models such as BART [1] have helped improve natural language generation quality. However, training large models is resourceconsuming. We propose a data selection algorithm that selects a tiny but representative subset from billion-scale datasets. Experimental results show that pre-training with $0.26 \%$ data and $4.4 \%$ energy consumption achieves about 90\% BLEU scores on machine translation (MT) tasks and ROUGE scores on text summarization tasks, compared to pre-training on the entire dataset. Compared to random selection baselines, it shows lower perplexity (PPL), higher BLEU and ROUGE scores.
\end{abstract
## 1 Introduction

Pre-training and then fine-tuning is a widely-used paradigm for natural language processing $[2,3]$. However, training pre-trained models such as BART $[1,4]$, IndicBART [5], mT5 [6] usually takes hundreds to thousands of GPU days. Previous works focus on reducing the parameters of the model [7], but there are very few studies [8] related to shrinking the dataset, which can also reduce computational costs.

In this work, we propose a clustering-based representative data selection algorithm. As illustrated in Figure 1, we first convert discrete sentences into continuous embeddings. Then, we perform large-scale and efficient clustering of the sentences based on the embeddings. From each cluster, we select several centroid points according to the scale of the cluster. The centroids from each cluster are combined to form the representative subset. Furthermore, we propose to combine an unsupervised outlier detection method to remove noisy data points. We calculate the

Figure 1: Centroids of clusters as representative data. Each component stands for one cluster with close sentence embeddings. Mapped to 2-D with t-SNE [9].

center point of the entire embedding space and filter out points distant from the center. Experimental results show that with $0.26 \%$ data of the entire dataset and $4.4 \%$ energy comsumption, it can obtain relatively high performance on MT and text summarization tasks, only 2 to 4 points lower in terms of BLEU and ROUGE scores.

## 2 Related Work

Supervised Data Selection In-domain data selection $[10,11,12]$ focuses on extracting sentences from a large general-domain corpus that are most relevant to a target domain. Trusted data or clean selection $[13,14]$ aims to select trusted (clean) data from a general-domain corpus given a small trusted (clean) dataset. They all rank data according to the cross-entropy difference [10] between a general language model (LM) and a target LM, where the
target LM is trained on in-domain data, trusted data, or clean data. However, they require supervision and only solve one particular downstream task.

## Small Scale Representative Data Selection

Representative data selection finds a small subset of the original dataset that captures the most information. Previous methods include calculating the mutual information and relative entropy [15], converting to a sparse multiple measurement vector problem [16]. They are slow and require large memory, therefore, can only handle approximately 10k data points; however, billions of sentences are used in pre-training.

## 3 Representative Data Selection

We introduce the representative data selection approach to extract a fraction from a multi-million to billion scale dataset. It consists of the following steps:

Continuous Embedding Conversion In order to perform clustering, we first convert discrete data such as sentences into continuous representations in a common space. Suppose there is a set containing $n$ sentences $S=\left.\{s_{1}, \ldots, s_{n}\right.\}$. We convert $S$ into embedding set $E=\left.\{e_{1}, \ldots, e_{n}\right.\}$ as following:

$
e_{i}=f\left(s_{i} \mid \theta\right), \quad f: \mathbb{S} \rightarrow \mathbb{R}^{d}
$

where $f$ denotes the sentence-to-vector model, $\theta$ is the parameters of $f, d$ is the dimension of the output vector and $\mathbb{S}$ is a set of all the natural language sentences. Here $f$ can be sent2vec [17] or sentBERT [18].

Outlier Detection We apply an outlier detection algorithm [19] to eliminate noisy data in an unsupervised manner. We first calculate the center of the embedding space $e_{c}$ and filter outliers whose distance from $e_{c}$ is greater than two standard deviations. The de-noised embedding set contains $m$ points, $E^{\prime}=\left.\{e_{1}^{\prime}, \ldots, e_{m}^{\prime}\right.\}$. More precisely:

$
\begin{aligned}
& e_{c}=\operatorname{center}(E)=\frac{1}{n} \sum_{i} e_{i} \\
& E^{\prime}=\left.\{e_{i}^{\prime} \mid e_{i}^{\prime} \in E,\left.\|e_{i}^{\prime}-e_{c}\right.\|<2 \sigma\right.\}
\end{aligned}
$

where $\sigma$ denotes the standard deviation.

Clustering and Selection Suppose we select a subset $S^{\prime}$ containing $k$ sentences. We first apply efficient K-Means algorithm on GPUs [20] to create $k$ clusters $c_{1}, \ldots, c_{k}$ from $E^{\prime}$. For each cluster $c_{i}$ with size $\left|c_{i}\right|$, we select $\frac{k}{m} *\left|c_{i}\right|$ sentences whose embeddings are the nearest from the center of $c_{i}$, forming $S_{c_{i}}^{\prime}=\left.\{e_{1}^{\left(c_{i}\right)}, \ldots, e_{N}^{\left(c_{i}\right)}\right.\}$ :

$
S_{c_{i}}^{\prime}=\underset{\left.\{e_{j}^{\left(c_{i}\right)} \in c_{i}\right.\}}{\arg \min } \sum_{j=1}^{N}\left.\|e_{j}^{\left(c_{i}\right)}-\operatorname{center}\left(c_{i}\right)\right.\|
$

where $N=\frac{k}{m}\left|c_{i}\right|$.

The representative set $S^{\prime}$ of the entire dataset $S$ is the union of all representative sets from each cluster:

$
S^{\prime}=\bigcup_{i=1}^{k} S_{c_{i}}^{\prime}, \quad\left|S^{\prime}\right|=\sum_{i=1}^{k} \frac{k}{m} *\left|c_{i}\right|=k
$

## 4 Experiments

## 4.1 Settings

## Datasets
- Pre-train: IndicCorp [21] that contains a total of 458M sentences in 11 Indian languages and English.
- MT: PMI dataset [22] from WAT2021 MultiIndicMT task [23].
- Summarization: data in 7 Indic languages from multilingual XLSum dataset [24].

We applied script unification for all Indic languages to Devanagari, following mBART50 [4] and IndicBART [5]. Across all experiments, we used the IndicBART vocabulary of $64 \mathrm{k}$ subwords. ${ }^{1 \text { ) }}$

## - Pre-train Methods Comparison
- w/o Pre-train: directly train on downstream tasks from random parameters initialization.
- Random: pre-trained on $k$ randomly selected sentences.
- Random+RemoveOutlier (RO): first remove outliers, then apply Random.
- Repre: pre-train on $k$ sentences by representative data selection w/o outlier detection.
- Repre+RemoveOutlier (RO): first remove outliers, then apply Repre.
- Full: use $458 \mathrm{M}$ monolingual sentences in the IndicCorp dataset.

We compare proposed Repre and Repre+RO methods with two baselines Random and Random+RO. We set $k$ to $1.2 M$ and select sentences from different languages while keeping their proportions in the IndicCorp dataset. We follow fine-tuning settings in [5].

1) Download: https://github.com/AI4Bharat/indic-bart

## - Representative Data Selection Settings
- Continuous Embedding Conversion: we trained one Sent2vec [17] model for each language on IndicCorp data with default settings and sentence embedding dimension to 768 .
- Clustering Algorithm: we used GPU-implemented K-Means in the Faiss toolkit [20].

Model Hyperparameters We followed the settings of IndicBART ${ }^{2}$ and used the yanmmt toolkit ${ }^{3)}$ based on Hugging Face. ${ }^{4}$ )
- Architecture: transformer model of 6 encoder layers and 6 decoder layers with 16 attention heads.
- Training: we used 8 GPUs with a batch size of 4,096 tokens during pre-training and 2,048 tokens during fine-tuning. We trained $200 \mathrm{k}$ steps in pre-training and apply early stopping to fine-tuning.

## 4.2 Pre-trained Model Perplexity

We report our results in terms of the perplexities obtained on a mix of all dev sets from the PMI dataset that contains high-quality data from 10 Indian languages and English. As shown in Figure 2, proposed Repre method showed approximately 0.15 lower minimal PPL than Random. Furthermore, RO is effective for both Random and Repre methods.

## 4.3 Energy Consumption Comparison
- Full: trained on 48 V100 GPUs for 750k steps [5].
- Proposed: trained on 8 V100 GPUs for 200k steps.

Therefore, our approach reduces the energy consumption to $4.4 \%$ 5) compared with Full. $^{6 \text { ) }}$

## 4.4 MT Results

As presented in Table 3, proposed methods yield the highest BLEU scores for all pairs compared with baselines. With $4.4 \%$ energy consumption, our results are only 2-4 BLEU points lower than Full. Additionally, RO helps both Random and Repre.

2) https://github.com/AI4Bharat/indic-bart

3) https://github.com/prajdabre/yanmtt

4) https://huggingface.co
5) $(8 * 200 \mathrm{k}) /(48 * 750 \mathrm{k})=4.4 \%$

6) Training sent 2 vec models and clustering consumes very little energy in comparison.

Figure 2: Perplexity curves of pre-trained models on the PMI dev sets.

## 4.5 Summarization Results

As expressed by Table 1, proposed methods achieve higher ROUGE-L F-scores than baselines. Especially for low-resource bn language that contains only 80k training points, Repre is more robust than Random.

Table 1: ROUGE-L F1 scores on the summarization task.

## 4.6 Outlier Detection Examples

We show examples of normal sentences and outliers. We extract 300 English sentences from IndicCorp and apply the outlier detection algorithm to form Figure 3 together with Table 2. We can find that outlier sentences contain more proper nouns and disfluent phrases.

Table 2: The corresponding sentences in Figure 3.

 \\

Table 3: Performance on the MT task. Report sacreBLEU [25] scores on the WAT2021 MultiIndicMT test set.

Figure 3: Outlier detection. High-dimensional embeddings are mapped into 3-D points by t-SNE [9].

## 4.7 Sentence Clustering Examples

Table 4 shows the clustering results. In each cluster, the centroid is the most relevant from all other points. For example, in the first cluster, sentences are related to "Earth", "Jupiter", "ocean planet", "Life on Earth" and the sentence related to "Earth" is the centroid.
Table 4: Example of clusters. The centroids of the clusters are representative data.

 \\

## 5 Conclusion

In this paper, we propose a representative data selection algorithm together with an unsupervised outlier detection algorithm. With only $0.26 \%$ data and $4.4 \%$ energy consumption of the full model, proposed methods show reasonable performance on MT and text summarization tasks, and much higher performance compared to baselines.

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Numbers JP21J23124.

## References

[1] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In ACL.2020, pp. 7871-7880, Online, July 2020.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL.2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019

[3] Liu Zhuang, Lin Wayne, Shi Ya, and Zhao Jun. A Robustly Optimized BERT Pre-training Approach with Posttraining. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[4] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingual Translation with Extensible Multilingual Pretraining and Finetuning, 2020.

[5] Raj Dabre, Himani Shrotriya, Anoop Kunchukuttan, Ratish Puduppully, Mitesh M. Khapra, and Pratyush Kumar. IndicBART: A Pre-trained Model for Natural Language Generation of Indic Languages, 2021.

[6] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A Massively Multilingual Pre-trained Textto-Text Transformer. In NAACL-HLT.2021, pp. 483-498, Online, June 2021.

[7] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations, 2019.

[8] Ernie Chang, Xiaoyu Shen, Hui-Syuan Yeh, and Vera Demberg. On Training Instance Selection for Few-Shot Neural Text Generation. In ACL-IJCNLP.2021, pp. 8-13, Online, August 2021. Association for Computational Linguistics.

[9] Laurens van der Maaten and Geoffrey Hinton. Visualizing Data using t-SNE. Journal of Machine Learning Research, Vol. 9, No. 86, pp. 2579-2605, 2008.

[10] Robert C. Moore and William Lewis. Intelligent Selection of Language Model Training Data. In ACL.2010, pp. 220224, Uppsala, Sweden, July 2010.

[11] Amittai Axelrod, Xiaodong He, and Jianfeng Gao. Domain Adaptation via Pseudo In-Domain Data Selection. In EMNLP.2011, pp. 355-362, Edinburgh, Scotland, UK., July 2011.

[12] Marlies van der Wees, Arianna Bisazza, and Christof Monz. Dynamic Data Selection for Neural Machine Trans- lation. In EMNLP.2017, pp. 1400-1410, Copenhagen, Denmark, September 2017.

[13] Wei Wang, Taro Watanabe, Macduff Hughes, Tetsuji Nakagawa, and Ciprian Chelba. Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 133-143, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[14] Wei Wang, Isaac Caswell, and Ciprian Chelba. Dynamically Composing Domain-Data Selection with Clean-Data Selection by "Co-Curricular Learning" for Neural Machine Translation. In ACL.2019, Florence, Italy, July 2019.

[15] Feng Pan, Wei Wang, A.K.H. Tung, and Jiong Yang. Finding representative set from massive data. In ICDM.2005, pp. 8 pp.-, 2005.

[16] Ehsan Elhamifar, Guillermo Sapiro, and René Vidal. See All by Looking at a Few: Sparse Modeling for Finding Representative Objects. In CVPR.2012, pp. 1600-1607, 2012.

[17] Prakhar Gupta, Matteo Pagliardini, and Martin Jaggi. Better Word Embeddings by Disentangling Contextual nGram Information. In NAACL-HLT.2019, pp. 933-939, Minneapolis, Minnesota, June 2019.

[18] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In EMNLP-IJCNLP.2019, pp. 3982-3992, Hong Kong, China, November 2019.

[19] Stefan Larson, Anish Mahendran, Andrew Lee, Jonathan K. Kummerfeld, Parker Hill, Michael A. Laurenzano, Johann Hauswald, Lingjia Tang, and Jason Mars. Outlier Detection for Improved Data Quality and Diversity in Dialog Systems. In NAACL-HLT.2019, pp. 517-527, Minneapolis, Minnesota, June 2019

[20] Jeff Johnson, Matthijs Douze, and Hervé Jégou. BillionScale Similarity Search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2021.

[21] Divyanshu Kakwani, Anoop Kunchukuttan, Satish Golla, Gokul N.C., Avik Bhattacharyya, Mitesh M. Khapra, and Pratyush Kumar. IndicNLPSuite: Monolingual Corpora, Evaluation Benchmarks and Pre-trained Multilingual Language Models for Indian Languages.

[22] Barry Haddow and Faheem Kirefu. PMIndia - A Collection of Parallel Corpora of Languages of India, 2020.

[23] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, Chenhui Chu, Akiko Eriguchi, Kaori Abe, Yusuke Oda, and Sadao Kurohashi. Overview of the 8th Workshop on Asian Translation. In WAT.2021, pp. 1-45, Online, August 2021.

[24] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages. In Findings of ACL-IJCNLP.2021, pp. 4693-4703, Online, August 2021.

[25] Matt Post. A Call for Clarity in Reporting BLEU Scores.


# 日本語 GPT を用いたトークナイザの影響の調査

井上 誠一 ${ }^{12}$ Nguyen Tung ${ }^{1}$ 中町礼文 ${ }^{1}$ 李 聖哲 ${ }^{1}$ 佐藤 敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 東京都立大学
\{seiichi.inoue, tung.nguyen, akifumi.nakamachi,
shengzhe.li, toshinori.sato\}@linecorp.co.jp

## 概要

本研究では，大規模言語モデルである日本語 GPT を用いて，Byte-level Byte Pair Encoding トークナイザ の構築方法や語彙サイズの違いによる言語モデルの 性能を比較し分析した．具体的には，日本語テキス トを対象としたトークナイザ構築において，トーク ナイザの構築に用いるテキストの事前分割，トーク ナイズ時の分かち書きの有無，語彙サイズという観点で調査を行った.

## 1 はじめに

近年，GPT-3 [1]をはじめとした大規模言語モデ ルが注目を集めており，自然言語処理のさまざまな タスクの性能を向上させている. 言語モデルの構築 において，モデル化するテキストの単位を検討する ことは重要であるが，モデルのアーキテクチャや言語，またタスクによって適切なトークナイザは異 なる [2]. 例えば，Alyafeai ら [3] は，アラビア語に おいて, 複数の異なるトークナイズ手法を用いて 感情分析と文書分類を行っており，ほとんどの夕 スクにおいて，単語レベルのトークナイザを小さ な語彙サイズで学習させたものが最良の結果とな ることを示した. また，Pan ら [4] は，トルコ語と ウルグアイ語の機械翻訳において，形態素解析を 行なった後に Byte Pair Encoding (BPE) [5] の学習を 行うことで，通常の BPE を使用する場合に比べて 性能が向上することを示した。しかし，これらは GRU [6] や Transformer [7] を対象としており, GPT におけるトークナイザの比較，分析は行われてい ない。また，GPTでは，トークナイザに Byte-level Byte Pair Encoding (Byte-level BPE) [8] が用いられる が，現時点では対象の言語が英語や韓国語 $[1,9]$ に 限られており，日本語を中心としたコーパスに対す る Byte-level BPE の分析は行われていない. そこで，本研究では，条件の異なるトークナイザ
を用いて，日本語 GPT の事前学習と含意関係認識 タスクを用いた転移学習を行い1)，トークナイザの 違いが言語モデルの事前学習や下流タスクに与える 影響を示し，分析する。

以下に本研究の貢献を示す:

・Byte-level BPEトークナイザについて，トークナ イザの構築に用いるテキストの事前分割，トー クナイズ時の分かち書きの有無，語彙サイズと いう観点で比較を行い，分析した。

・日本語 GPTを用いた含意関係認識タスクにお けるトークナイザの違いによる影響を比較し，分析した.

## 2 関連研究

## 2.1 Generative Pre-training of a Language Model (GPT)

GPT [1,10,11] は，Transformer decoder をべースと した，大規模なコーパスを用いて教師なしで学習 される自己回帰型言語モデルである．具体的には， コーパス $\mathrm{X}=\left(x_{1}, x_{2}, \ldots, x_{N}\right)$ の可変長のトークン列 を $x_{n}=\left(s_{1}, s_{2}, \ldots, s_{M}\right)$ としたとき，以下の目的関数 を最大化することで学習される:

$
p\left(x_{n}\right)=\prod_{i=1}^{M} P\left(s_{i} \mid s_{i-k}, \ldots, s_{i-1}\right)
$

ただし， $k$ は文脈窓幅であり，条件付き確率 $P$ は ニューラルネットワークを用いてモデル化される.

## 2.2 Byte-level Byte Pair Encoding

GPT では，トークナイザとして，頻度に基づい た単語分割を学習する手法の一つである Byte-level BPE が用いられている．BPEが文字レベルでのトー クンを学習するのに対し, Byte-level BPE は Byte レ ベルでトークンを学習しており，基本的には BPE と

1） GPT の構築には Megatron-LM を用いた: https://github. com/NVIDIA/Megatron-LM.
同じアルゴリズムで構築される。

Kim ら [9] は，韓国語を中心としたコーパスを用 いて GPTを構築した. トークナイズにおいて，韓国語は英語とは異なる言語特性をもつため，生のテ キストを用いてトークナイザの構築を行うのではな く, 形態素解析器を用いてコーパスを事前に形態素 に分割してから Byte-level BPEを学習している. し かし，日本語は単語と単語の間にスペースが含まれ ないなど，韓国語とも言語的な特徵が異なっている ため, 日本語において同様の処理を行うことが適切 であるかは自明でない.

## 2.3 トークナイザ分析

日本語トークナイザ構築における辞書選択菊地ら [12] は, 日本語 BERT を対象として, トーク ナイザの入力時において文章を形態素に分割する 際に用いる辞書の違いによる性能を，分類タスク を用いて比較した. しかし, 菊池らは, 事前学習と ファインチューニングでトークナイザを統一して いないため，トークナイザ選択による影響を正確に 調査できていない。また，これはトークナイザに SentencePiece [13] を用いた BERT に限定された研究 であるため, GPT における Byte-level BPE において 同様の結果となるかは定かではない。

語彙サイズの選択Gowda ら [14]は，機械翻訳に おける適切な語彙サイズに関する分析を行ってお り，BPEにおいて語彙サイズを大きくすることが性能の向上につながることを示した. また, Xuら [15] も，機械翻訳において，語彙サイズを変化させた時 の BLEU [16] のスコアの変化量 (Marginal Utility of Vocabularization: MUV）について最適輸送を用いて 最適化する手法を提案した. しかし，これらは日本語を対象とはしておらず，日本語コーパスにおける トークナイザの語彙サイズについては分析されてい ない.

## 2.4 含意関係認識

含意関係認識とは，以下に示すようなテキストと 仮説を与え，テキストと仮説の間に含意，矛盾，中立のどの関係があるかの判別をシステムで行うタス クである。

テキスト 鉢植えの植物のあるテーブルの前で，笑顔の男性の隣に座っている女性が笑っている。

仮説 女性は笑っている。

推論判定 含意表 1 前処理後の JSNLI データセットの統計量.

## 3 実験

## 3.1 データセット

事前学習GPT の事前学習には, Wikipedia, ニュースサイト，ブログサイト，新聞等の日本語を 中心としたテキストから構築されたコーパスを用い た. 前処理として，重複する文書の削除，ランダム サンプリングを行い，最終的に学習に使用したコー パスのサイズは $10 \mathrm{~GB}$ となった.

評価タスク 本研究では，GPTの性能比較のた めの評価タスクとして日本語 SNLI（JSNLI）デー タセット [17]を用いた. JSNLI は，含意関係認識の データセットである SNLIを日本語に翻訳したもの であり，SNLIに機械翻訳を適用した後，評価デー タにクラウドソーシングによるフィルタリング，学習データに計算機による自動フィルタリングを施 すことで構築されている. 本研究では, 公開されて いるデータセットのうち，フィルタリング後の学習 データを用い，それに対し学習コストの問題から， さらに 1/10 のランダムサンプリングを行い，それ を9:1で学習データと開発データに分割した. 評価 データについては，公開されているものをそのまま 用いた. 表 1 にデータセットの統計量を示す.

## 3.2 事前学習

GPT の事前学習において，モデルの Layer 数を 12, Hidden dimension を 512, Attention Head の数を 8 とした。また，学習率は $1 \mathrm{e}-4$, バッチサイズは $56^{22}$ とし, iteration 数は $1,000,000$ とした。

## 3.3 転移学習

GPT で評価タスクを解く際は，転移学習やファイ ンチューニングによるモデルの調整を行わず，推論時にタスクに関する説明と少量のデモンストレー ションを与える few-shot 設定を用いるのが一般的で ある.しかし, 本研究では, 計算コストの問題から GPT のパラメータ数を小さくしており, few-shot 設

定では十分な性能が出せないと予測できるため, 評価セットを用いた転移学習を行う．含意関係認識夕 スクに向けた転移学習の際は, Zhao ら [18] に従い, テキストと仮説に続く推論判定を文字列で予測させ た. 入力に続く文字列を予測させて評価する際は，予測の先頭のトークンを用いて正誤を判定するのが 一般的である [19]. そのため本研究では, 正誤判定 に用いる予測ラベルを 1 トークンで表現できるよう に，含意 $\rightarrow$ “正”，矛盾 $\rightarrow$ “誤”，中立 $\rightarrow$ “不可” と正解ラベルを設定した．転移学習において，モデルの アーキテクチャは事前学習と同様にし, 学習率を事前学習時より小さい値の $5 \mathrm{e}-5$, バッチサイズを 32 とした. また, iteration 数は 15,000 とし, 以下では 全て最後の iteration におけるモデルのパラメータを 用いて評価を行った。

## 3.4 実験設定

本研究では, GPTのトークナイザとして Byte-level BPE を用いる. トークナイザの比較条件を以下の 3 点とした:

・トークナイザ構築時のテキストの事前分割の有無と辞書選択

・トークナイズ時の分かち書きの有無

・トークナイザ構築時の語彙サイズの選択

そして，次に示すように 2 ステップに分けて実験を 行なう.

辞書選択と事前分割に関する予備実験 まず， トークナイザ構築において，予備実験では語彙サイ ズを $50,257^{\text {3) }}$ で固定とする.また，トークナイザ構築に用いるテキストは, unidic ${ }^{4)} /$ ipadic $^{5)}$ を用いて 事前分割されたものに加えて事前分割を行わないも のの 3 種類とする. これらのトークナイザを用いて GPT の事前学習, 転移学習を行い, スコアを元に比較を行う．ただし，上記のトークナイザのうち，事前分割を行ったテキストを用いて構築されたもの は，トークナイズ時に分かち書きを行う場合と行わ ない場合での比較も行う. 予備実験の詳細を表 2 に 示した.

語彙サイズの実験 語彙サイズの実験では，事前分割の有無と辞書選択, トークナイズ時の分かち書 きの有無を，下流タスクの性能が予備実験において

図 1 辞書選択と事前分割に関する予備実験における各 トークナイザの事前学習における validation loss の推移

最良だったもので固定とする。語彙サイズについて は, 25,257 から 125,257 まで 25,000 ずつ変化させ，予備実験と同様に GPT の事前学習，転移学習を行 い，スコアを元に比較を行う。

## 3.5 予備実験の結果

まず，辞書選択と事前分割に関する予備実験にお ける各トークナイザの統計量を表 2 に示す. 事前分割したテキストを用いて構築されたトークナイザに 対しては，トークナイズ時の分かち書きを行った場合と行わなかった場合のトークン化された文章長を それぞれ別途記載した。トークン長については，事前分割の有無，辞書の違いによって大きな差がない ことがわかる．他と比べて， none のトークン長の標準偏差と比べて大きくなっているが，これは，辞書 を用いて形態素に事前分割されたテキストを用いて トークナイザを構築する場合，形態素を超えてマー ジが行われないが，生のテキストからマージを学習 する none は比較的長いトークンができやすいから であると推測できる. 文章長については，上述の理由から none が一番短くなっている他，トークナイ ズ時の分かち書きを行った方が僅かに文章長が短く なることが確認された。

これらのトークナイザと条件を用いて事前学習を 行った際の loss の推移を図 1 に，転移学習を行なっ た結果を表 2 に示した. 事前学習の結果からは以下 の条件:

・トークナイザ構築に用いるテキストの事前分割 を行う

・事前分割には unidic を用いる

・トークナイズ時の分かち書きは行わない

で性能が高いことがわかる。転移学習では，評価 タスクのスコアは事前学習の結果の傾向と異なり, トークナイズ時の分かち書きを行った方が性能が高
表 2 辞書選択と事前分割に関する予備実験における各トークナイザの統計量と転移学習の結果

表 3 語彙サイズの実験における各トークナイザの統計量 と転移学習の結果

い結果となった.

以上の結果を踏まえて，語彙サイズの実験には下流タスクで最もスコアが高かった unidic w/ seg の条件を用いる。

## 3.6 語彙サイズの実験の結果

語彙サイズの実験における各トークナイザの統計量を表 3 に示す. 語彙サイズが大きくなるに従っ て，トークン長の平均が長くなり，トークン化され た文章長が短くなっていることがわかる. これは マージが増えることでトークン化の際の語彙のマッ チ率が上がるためと推測できる。

事前学習における loss の推移を図 2 に，転移学習 の結果を表 3 に示す. 事前学習においては，語彙サ イズが小さい，つまり文章長が長くなるトークナイ ザを用いた方が性能が高い傾向がみられた。転移学習での結果は，予備実験での結果の際と同じように 事前学習時と異なっており，loss が低くなる小さな 語彙サイズで構築されたトークナイザではなく，語彙サイズが比較的大きめな 100,257 のトークナイザ を用いた際にスコアが最も高くなっている。

## 4 議論

予備実験と語彙サイズの実験を通して，トークナ イザの統計量と性能の関係性を観察すると，事前学習においては「文章長が長い方が性能が高くなる」 という仮説が得られる. これは，文章長が長くなる と，モデルの計算量は増加するため ${ }^{6)}$ ，スケーリン グの法則 [20] に類似した現象である可能性も考えら

6） 特に，attention 部分の計算が 2 乗のオーダーで大きくなる.

図 2 語彙サイズの実験における各トークナイザの事前学習における validation loss の推移

れる。予備実験において，転移学習の結果とは異な り，事前学習においては，分かち書きを行わうと性能が悪くなる傾向がみられた。これは，上述の仮説 に基づくと，分かち書きを行うことにより，入力が トークナイザ構築に用いたテキストと同じになるた め，トークナイズ時の語彙のマッチ率が上がり，平均的に文章長が短くなることで事前学習の性能が悪 くなっていると考えられる。語彙サイズの実験にお いても，同様に結果を解釈することができる。一方 で，予備実験，語彙サイズの実験のどちらにおいて も，転移学習時は必ずしも上述の仮説通りの結果と はなっていない。これは，下流タスクでは，トーク ンの持つ性質として，仮説のような機械学習的にメ リットのある性質よりも，言語学的な性質の方が重要な場合があるからではないかと考える. ${ }^{7)}$

## 5 まとめと今後の展望

本研究では，日本語 GPT におけるトークナイザ の影響を調査し，様々な条件における性能比較と分析を行った. 今後は，4 節での考察を元に，機械学習的な性質と言語学的な性質の関係性を明らかにす るため，他の下流タスクを用いた評価を含めたさら なる調査を行っていきたい.

7） 仮説の極端な例として，「語彙が基本語彙の 256 トークンし かないトークナイザ」を考えると，ほとんどの単語が最小単位で表現され，文章長が長くなるが，事前学習時の性能が仮 に良かったとしても，トークナイズされた文章が言語学的に 意味を持っているとは言い難い.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, et al. 2020. Language Models Are Few-Shot Learners. Advances in Neural Information Processing Systems, vol. 33, 1877-1901.

[2] Sabrina J. Mielke, Zaid Alyafeai, Elizabeth Salesky, Colin Raffel, Manan Dey, Matthias Gallé, Arun Raja, et al. 2021. Between Words and Characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2112.10508.

[3] Zaid Alyafeai, Maged S. Al-shaibani, Mustafa Ghaleb, and Irfan Ahmad. 2021. Evaluating Various Tokenizers for Arabic Text Classification. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2106.07540.

[4] Yirong Pan, Xiao Li, Yating Yang, and Rui Dong. 2020. Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2001.01589.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, vol. 1, 1715-25.

[6] Junyoung Chung, Caglar Gulcehre, Kyunghyun Cho, and Yoshua Bengio. 2014. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. Presented in NIPS 2014 Deep Learning and Representation Learning Workshop.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Ł. Ukasz Kaiser, and Illia Polosukhin. 2017. Attention Is All You Need. In Advances in Neural Information Processing Systems, vol. 30, 5998-6008.

[8] Changhan Wang, Kyunghyun Cho, and Jiatao Gu. 2020. Neural Machine Translation with Byte-Level Subwords. In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 34, 9154-9160.

[9] Boseop Kim, Hyoungseok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Dong Hyeon Jeon, Sunghyun Park, et al. 2021. What Changes Can Large-Scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-Scale Korean Generative Pretrained Transformers. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2109.04650.

[10] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving Language Understanding by Generative Pre-Training.

[11] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, and Others. 2019. Language Models Are Unsupervised Multitask Learners. OpenAI Blog 1 (8): 9.

[12] 築地 俊平, 新納 浩幸. Tokenizer の違いによる日本語 BERT モデルの性能評価. 2021. 言語処理学会 第 27 回年次大会.

[13] Taku Kudo, and John Richardson. 2018. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 66-71.

[14] Thamme Gowda, and Jonathan May. 2020. Finding the Optimal Vocabulary Size for Neural Machine Translation. In Findings of the Association for Computational Linguistics: EMNLP 2020, 3955-64.

[15] Jingjing Xu, Hao Zhou, Chun Gan, Zaixiang Zheng, and Lei Li. 2021. Vocabulary Learning via Optimal Transport for Neural Machine Translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, vol. 1, 7361-73.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. 2002. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311-18.

[17]吉越 卓見, 河原 大輔, 黒橋禎夫. 2020. 機械翻訳を用 いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会.

[18] Tony Z. Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. 2021. Calibrate before Use: Improving Few-Shot Performance of Language Models. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2102.09690.

[19] Neel Alex, Eli Lifland, Lewis Tunstall, Abhishek Thakur, Pegah Maham, C. Jess Riedel, Emmie Hine, et al. 2021. RAFT: A Real-World Few-Shot Text Classification Benchmark. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2109.14076.

[20] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. 2020. Scaling Laws for Neural Language Models. arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2001.08361.


# End-to-End 学習可能な記号処理層の検討と 数量推論への応用における課題の分析

吉川 将司 ${ }^{1,2}$ Benjamin Heinzerling ${ }^{2}$ 乾 健太郎 ${ }^{1,2}$
東北大学 ${ }^{1}$ 理化学研究所 ${ }^{2}$
\{yoshikawa, inui\}@tohoku.ac.jp benjamin.heinzerling@riken.jp

## 概要

記号処理の仕組みを DNN の微分可能な層として 組み込み，end-to-end 学習可能にする方法を検討し， その応用として四則演算プログラム (電卓) 付き文章読解モデルを構築する. さらに，一般的な設定にお いて提案モデルが電卓を活用するように学習しない 問題に対し，人工データにより原因を調査をする。

## 1 はじめに

本稿では，離散記号処理関数 $F$ を中間層として持 つような DNN モデルを構築し，全体を誤差逆伝搬法によって end-to-end に学習する方法を検討する。 また，その応用例として二項四則演算プログラム (電卓) 付き文章読解モデル (図 1)を構築し，数量推論を要する文章読解 (e.g., DROP [1]) に取り組む. ${ }^{1)}$

F は一般的なプログラミング言語における適当な 数の引数を取る関数 (サブルーチン) である. 課題 として，F の微分則は不明な上，一般にDNN の中間の活性化を離散值に落とせば勾配が消失し， $F$ よ り上流の層 (図 1 の $\mathrm{N}_{1}$ ) を最終タスクの損失 $\ell(y)$ に よって学習させることができない，そこで，本稿で は 離散分布のサンプリングに対する微分可能な緩和を行う Gumbel Softmax trick (§2) を応用すること で，DNNに組み込み end-to-end 学習可能にする $F$ の 代替を構築する方法を提示する。

電卓付き文章読解モデル (図 1) は，文章読解にお いて標準的なスパン抽出 $[3,4]$ によるモデル (推論層)への入力を電卓の計算結果で拡張するものであ る. 項抽出層が電卓への入力を予測し，電卓で四則演算を行い，推論層はその結果を活用して解答を行 う. 全体を微分可能にすることで，項抽出層を最終 タスクの損失を最小化するように学習できる．数量推論は (文章理解の上に, ) 広大な数の空間の構造

図 1 電卓付き文章読解モデル. 詳細は本文参照.

表 1 事前実験例.DROP dev データ中の比較を問う問題 (Orig) に対し，人手で数量を入れ替え問題を作り変えた (Other; 300 件). 提案モデルは電卓以外の根拠に依り頻繁に誤答してしまった。下の文例は説明のため簡潔であ るが，実際は Wikipedia 文章である。

Orig (元の DROP の事例; F 值: 79.4)

$\mathrm{X}$ has 2 pens. $\mathrm{Y}$ has 3 pens. Who has more pens? $\Rightarrow \mathrm{Y}$

Other (数量と答えを大㣗替え; F-1: 20.2)

$\mathrm{X}$ has 3 pens. $\mathrm{Y}$ has 2 pens. Who has more pens? $\Rightarrow \mathrm{X}$

とその上の演算をモデルに理解させる必要がある が，その仕組みを外部知識層として括りだすことで データ効率や推論の頑健性において強力なモデルが 構築可能と考える. 提案法は潜在変数モデルと関連 し(§3)，理屈上，モデル全体としては電卓を活用し ながら解答するように学習されると期待できる。

しかし，実際に構築したモデルは，期待される形 で電卓を使わず，別の根拠に依る解法を選好するよ うになってしまった. この点が本稿第 2 の課題であ る. 表 1 は予備実験の結果であるが，DROP [1] の
一部2）でモデルを訓練した後，評価セット中の比較問題 (表中 Orig) に対し手を加え作成した別の事例 (Other) で性能を評価した. ${ }^{3)}$ 比較問題は, 2 つの個体を数的な性質で比較する問題であるが，電卓で数 の差を計算し，その符号に従って正しい個体を選択 する，というのが最適な戦法に思われる。しかし，表が示すように，モデルは電卓を活用しないだけで なく，問題中の数を入れ替えてもその結果を反映せ ず，非本質的な根拠に依存しているようである．外部知識層を組み込む場合，モデル全体を end-to-end 学習可能にするだけではなく, モデルにその知識の 有用性を認識させることが重要な課題である. ${ }^{4)}$

本稿では，上述の問題に対し人工的な問題を用 い調査を行う。人工データは, 問題の形式に加え, DNN が敏感な分布的な偏りも制御できる. 調査の 結果, DROP で典型的な比較問題は電卓がなくとも DNN にとって簡単であり, 問題を少し複雑にすれば 提案モデルでも電卓を活用することがわかった。

## 2 DNN における離散記号変数

提案法は離散潜在変数モデルに関連するため，こ こで簡潔にまとめる.5)このモデルは $x$ から $y$ への 離散潜在変数 $z \in \mathscr{Z}$ 介した生成過程を表し，パラ メータ $\theta, \psi$ の確率分布で以下のように表される.

$
p_{\theta, \psi}(y \mid x)=\mathbb{E}_{p_{\theta}(z \mid x)}\left[p_{\psi}(y \mid z, x)\right] .
$

DNN ベースの自然言語処理への応用では検索によ る言語モデル $[6,7]$ が有名である. このモデルでは,入力テキスト $x$ に対し, Wikipedia 記事 $z$ を検索し (モデル $p_{\theta}(z \mid x)$ ), その記事を活用しながら $\mathrm{QA}$ 等の 目的タスクを解く(resp. $\left.p_{\psi}(y \mid x, z)\right)$.

多くの場合，潜在空間 $は$ は大であり，訓練では 上の期待値は少数のサンプル $\left.\{z_{i}\right.\}_{i=1}^{N}(N \ll|£|)$ で近似される。しかし、これは $\theta$ による勾配の偏推定， ひいて学習の不安定性を招く可能性がある [8].

Gumbel-Softmax (GS) trick 潜在変数モデルの 安定した勾配の近似計算のために GS trick [9] が提案されている. 潜在空間 $\mathscr{~} の$ 要素を $d(=|\mathscr{E}|)$ 次元

2) 解答に 2 数の減算を要する比較, 差, 補部問題 1.4 万件 [5].

3）提案モデルは数量を答える差問題 (How many more pens does $X$ have than $Y$ ?) に対しては安定して高い性能を示す.

4）関連して，検索による言語モデル [6] において，固有表現を 重視した事前学習が，他タスクでの性能に大きく貢献すると いう非自明な結果も注目に値する。

5） 記法: $\mathbf{1}_{k}(k \in \mathbb{N})$ で $k$ 番目の要素が 1 の適当な次元の one-hot ベクトルを表す. $\boldsymbol{x} \in \mathbb{R}^{n}$ に対し, $\operatorname{argmax}(\boldsymbol{x})$ は最大の要素 $x_{k}$ に対応する $\mathbf{1}_{k}$ を返す. argmax に関する議論では簡単のため $x_{k}$ の大きさで同率一位になることはないと仮定する. one-hot ベクトルで表現する $\left(\mathscr{I}=\left.\{\mathbf{1}_{i}\right.\}_{i=1}^{d}\right)$. さらに， $p_{\theta}(z \mid x)$ はスコア関数 $\boldsymbol{f}^{\theta}(x) \in \mathbb{R}^{d}$ と Softmax 関数で 表現されると仮定する。

$p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right)=\operatorname{softmax}_{\tau, i}\left(\boldsymbol{f}^{\theta}(x)\right)=\frac{\exp \left(f_{i}^{\theta}(x) / \tau\right)}{\sum_{j} \exp \left(f_{j}^{\theta}(x) / \tau\right)}$. ここで $\tau>0$ は温度パラメータである. Gumbel trick $[10,11]$ によれば式 (1)の期待值に対して, Gumbel 分布 $p_{\varepsilon}$ を用いて以下が成り立つ. ${ }^{6)}$

$
(1)=\mathbb{E}_{\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}}\left[p_{\psi}\left(y \mid x, \operatorname{argmax}\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)\right] .
$

$\operatorname{argmax}$ の微分はほとんど至るところ 0 であるため、 GS trick では $\lim _{\tau \rightarrow 0} \operatorname{softmax}_{\tau}(s)=\operatorname{argmax}(s)$ に着目 し softmax の期待値を 1 つの Gumbel ノイズ $\boldsymbol{\varepsilon}$ のみを用いて近似しても安定して学習できることが経験的に知ら れ，以下に対する誤差逆伝播法によって式 (1)のパ ラメータを end-to-end に最適化することができる.7)

$p_{\psi}\left(y \mid x, \operatorname{softmax}_{\tau}\left(f^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)$ where $\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}$.

また [9] では，順伝搬時には $\operatorname{argmax} を$ 用い，逆伝搬時にその Jacobi 行列 $\frac{\partial \operatorname{argmax}}{\partial s}(s)(=0)$ を softmax の もので代用する Straight-Through Gumbel-Softmax と いう手法も提案されている. 本稿ではこの亜種の微分可能 $\operatorname{argmax}$ を $\operatorname{argmax}_{\partial}$ と書くことにする.

## 3 微分可能な記号処理層

本研究の鍵は，前節の技術を応用すれば多くの記号処理関数 $F$ を簡単に深層モデルの微分可能な 1 層 $F$ に変換できるということである。この方法は，驚 くほどに単純である上， $F$ の上流ネットワーク $\mathrm{N}_{1}$ が $F$ への入力を学習し, 下層ネットワーク $\mathrm{N}_{2}$ に対し $F$ の出力が役立つようなものとなることを保証する.

命題 $1 K$ 個の項空間 $\mathscr{A}_{i}, K$ 引数記号処理関数 $F$ を考える。 $F$ は $\left(a_{1}, \ldots, a_{K}\right) \in \mathscr{A}=\mathscr{A}_{1} \times \cdots \times \mathscr{A}_{K}$ を記号処理の結果を表す可変長のトークン 列 $r=\left(r_{1}, \ldots, r_{*}\right) \in \mathscr{V}^{*}$ に変換する.このとき,対応する微分可能な $F$ は, $s \in \mathbb{R}^{|\mathcal{A}|}$ をすべて の $\mathrm{a} \in \mathscr{A}$ に対するスコア $s_{\mathrm{a}}$ のベクトルとし、 $R=\left[\mathbf{1}_{r_{1}}, \mathbf{1}_{r_{2}}, \ldots, \mathbf{1}_{r_{*}}\right]^{\top} \in \mathbb{R}^{* *|\mathscr{V}|}$ を $\hat{\mathrm{a}}=\arg \max _{\mathrm{a} \in \mathcal{A}} s_{\mathrm{a}}$ に 対する計算結果とした $F: s \mapsto R$ として構築できる.

$F$ から $F$ の構築は簡単である. $i$ 番目の項の 組み合わせを $\left(a_{i, 1}, \ldots, a_{i, K}\right)$ とし, $F\left(a_{i, 1}, \ldots, a_{i, K}\right)=$
6) $\varepsilon \in \mathbb{R}^{d} . u_{i}$ を $[0,1]$ 上の一様ノイズとし, $\varepsilon_{i}=-\log \left(-\log u_{i}\right)$.

7）一般の離散分布 $\pi$ に対する GS trick は， softmax $(\log \pi+\varepsilon)$ であるが, $\pi=\operatorname{softmax}\left(\boldsymbol{f}^{\theta}\right)$ の場合 $\operatorname{sof} \operatorname{tmax}\left(\boldsymbol{f}^{\theta}+\boldsymbol{\varepsilon}\right)$ と等しい.
$\left(r_{i, 1}, \ldots, r_{i, n_{i}}\right)$, さらに計算結果の one-hot 表現を $E_{i}=\left[\mathbf{1}_{r_{i, 1}}, \ldots, \mathbf{1}_{r_{i, n_{i}}}\right]^{\top}$ とすると, $s$ に対して微分可能 $\operatorname{argmax}$ を適用して得た重み $z$ による $E_{i}$ の重み付き 和として $F$ は表現される:

$
z=\operatorname{argmax}_{\partial}(s), \quad F(s)=\sum_{i=1}^{|\mathscr{A}|} z_{i} E_{i}
$

ここで、可変行数の行列 $E_{i}$ の和は適当に後部に 0 埋めを行うことで可能とする.

このようにして得た記号処理層 $F$ は，微分可能 argmax，ひいては潜在変数モデルと関連し，理屈的 には $F$ を中間層とするモデルは $F$ を活用するよう に学習する. この点については付録 $\mathrm{A}$ にまとめる.

## 4 電卓付き文章読解モデル

前節でのアイデアに基づき電卓付き文章読解モ デル (図 1)を構築する。 $P, Q$ を文章と質問のトー クン列とし, まとめて $x=(P, Q)$ とする. 変数 $y$ は $Q$ に対する答えである. また $\mathscr{I}(x)$ は電卓への入力候補の集合であり， $x$ に出現するすべての数量のぺ アを要素とする. $\mathscr{I}(x)$ の要素は $d=|\mathscr{I}(x)|$ 次元の one-hot ベクトルで表すこともある.

項抽出層 まず $x$ 中から電卓への入力 $z \in \mathscr{E}(x)$ を 予測する. 確率分布としては以下のように書ける.

$
p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right) \propto \exp f_{i}^{\theta}(x) .
$

ここで $\boldsymbol{f}^{\theta}(x) \in \mathbb{R}^{d}$ はすべての $(a, b) \in \mathscr{I}(x)$ に対す るスコアであり, BERT [12] で $x$ を走査して得た表現ベクトルで, 数量 $a, b$ を表すトークン列で先頭の もの (e.g., “1 \#\# \#2 \#\#3”)を連結し 2 層 ReLU ネット ワークで変換して得られる。

電卓層 式 (2) に従って抽出された数量に対し,電卓 $F$ は二項四則演算の計算を行い結果を文字列 として返す. 本研究では演算として足し算と引き算 を用い，すべての演算結果を列挙して返す. 例え ば $F(72,23)=" 95=72+23,59=72-23$, $-59=23$ - 72" などとする. この電卓を $\S 3$ の手法に基づき記号処理層 $F$ に変換しモデルに含める.

推論層 推論層 $p_{\psi}(y \mid x, F(s))$ は文章読解において 標準的なスパン抽出 $[3,4]$ によるものであるが，質問 $Q$, 文章 $P$ に加え電卓の計算結果文字列 $F(s)$ か らも回答を抽出することができる点が異なる.

$
p_{\psi}(y \mid x, F(s))=\sum_{(s, t) \in \mathcal{Y}(x, y)} q_{\psi}((s, t) \mid x, F(s))
$

ここで， $y(x, y)$ は添字の組 $(s, t)$ であり,トークン 列“[CLS] $Q$ [SEP] $P$ [SEP] $F(s)$ [SEP]” 上で $s$ か表 2 実験データの例. 斜体で示した部分を譲渡文と 呼ぶ. どちらの問も根拠として, 9,816,091 (- 6,224,450)> $3,002,489$ である (括弧内は譲渡文ありの場合).

P: John has 5,903,204 grapes, Mark has 8,907,756 grapes, Ryan has 7,646,494 grapes, Anna has 9,816,091 grapes, Kenneth has 8,091,683 grapes, Johnny has 1,078,950 grapes, Carl has 3,002,489 grapes, Alice has 5,953,680 grapes, Grace has 6,279,638 grapes, Kyle has 6,940,318 grapes, Anna gave 6,224,450 grapes to Grace.

$\max \mathbf{Q}$ : What is the maximum number of grapes owned either by Anna or Carl? A: 3,591,641

$\operatorname{argmax} Q$ : Who has more grapes: Anna or Carl? A:

Anna

ら $t$ 番目のトークン列が $y$ に一致するようなものの 集合である. $q_{\psi}$ は BERT で同じ文字列を走査して 得たベクトル列の関数である.

訓練 上述の 3 層を合成すると、提案モデルは $p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)\right)\right)$ である. GS trick (§2) との関連か ら，このモデルの訓練には，電卓の使い方を探索す るため Gumbel ノイズ $\varepsilon \sim p_{\varepsilon}$ を加える. 従って，学習では訓練データ上で以下の損失を最小化する。

$
\ell_{\mathrm{end}}=-\log p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)
$

注意として，順伝搬時に動的に得られた電卓の計算結果トークン列 $F(\hat{z})\left(\right.$ with $\left.\hat{z}=\operatorname{argmax}\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)$ 中 にラベル $y$ が含まれる場合，モデルはそのスパンも 抽出するように更新される.

層ごとの教師信号 提案モデルの強みの 1 つに，層ごとの訓練が可能なことがある. 具体的に，本研究では項抽出層に対して専用の教師信号 $\ell_{\text {arg }}$ を加え ることを考える. 訓練事例 $(x, y)$ に対し $y$ が数量で あれば $x$ 中の 2 数 $(a, b)$ で $F(a, b)$ が $y$ を含むような ものを全探索し抽出層の訓練に利用する。このよう にして得たラベルと式 (2)の間の binary cross entropy を $\ell_{\text {arg }}$ とし， $\ell_{\text {end }}+\ell_{\text {arg }}$ で全体を訓練する．以下の実験では，人工的な設定ゆえに真の項抽出ラベルが手 に入るが，現実的な問題設定を考慮して上の手続き で得られるもののみをラベルとして利用する.

## 5 実験

実験データ 実験には表 2 のような人工文章読解問題を用いる。人工データは，問題の構造そのもの に加え，モデルが敏感なデータの偏りを制御でき る. 基本的に，ランダムに人が所有する物体 (grapes,
表 3 主な実験結果 (F1/項正答率). 各設定ごとに訓練・評価に用いるデータは異なる. 列は含まれる問題のタイ プ，行は各事例に譲渡文が含まれるかを表す。

表 4 汎化実験. 6 析以下の数字のみを含む 2 万件で訓練後, 7 桁の $\operatorname{argmax}$ 問題のみの評価セットで $\mathrm{F} 1$ /項正答率を 評価。訓練/評価セットいずれも譲渡文を含む。

} & argmax & $72.0 /-$ & $74.9 / 2.0$ \\
\cline { 2 - 4 } & max+argmax & - & $78.5 / 99.8$

etc.) を列挙し，それらの間の max/argmax 関係を問 う. 析数に基づいて大小関係が推論できてしまうこ とを防ぐため, 明示的に言及しない限り出現する数 をすべて 7 桁で固定する。特殊な場合として，譲渡文 (例最後の斜体文)を含める。このとき，質問は必 ず譲渡イベントに参与した人について問うことに する。譲渡文なしでは，数量推論として所有物の数量の比較が必要であるが, 譲渡文ありの場合は譲渡 による所有物の数量の変化を含む 2 段階の計算をす る必要がある. 訓練/評価には 2 万 $/ 2$ 千件を用いる.問題の構造上, 項抽出損失 $\ell_{\text {arg }}$ は譲渡文ありの $\max$問題の一部のみ ${ }^{8}$ に与えられ，argmax 問題ではタス ク損失 $\ell_{\text {end }}$ から抽出方法を学習する必要がある.

項抽出層，推論層では bert-base-uncasedを 用い，パラメータを共有させる。既存研究 [4] に従い，入力中の数量は桁ごとに分割する (例: $123 \mapsto 1$ \#\#2 \#\# 3). 評価指標として, DROP と同様のF1 スコアと項抽出の正答率 (2 項完答で 1 点) を 報告する. 項抽出は，譲渡文なしの場合は所有物の 数量の比較に関するもの, 譲渡文ありの場合は譲渡 による数量の変化に関係する 2 項を正解とみなす.

## 5.1 実験結果

表 3 亿問題のタイプ，譲渡文の有無を変えて訓練 と評価を行った結果を示す. 譲渡文なしの $\operatorname{argmax}$問題は, 構造的に DROP の比較問題に対応するが， §1での予備実験と同様に提案モデルは高い $\mathrm{F} 1$ を示 す一方で，電卓は活用できていないことが観察でき る. 図 2 は，同じモデルで $\operatorname{argmax}$ 問題の事例を解 かせたときに，入力と電卓計算結果のどのトークン に注目しているかを勾配べースの手法 [13] で可視化

8）表 2 の例において譲渡文が Douglas gave 7,000,000 grapes to Grace. であれば max Q の答えが変わるため存在しない.

図 2 譲渡文なし， argmax 問題で訓練したモデルによる 評価事例中のトークン重要度. $\hat{s}$ と $\hat{y}$ を項抽出層, 推論層 の予測とし, 各トークン $x_{i}$ の推論層入力の埋め込み表現 $\boldsymbol{e}_{x_{i}}$ について $\left.\|\nabla_{\boldsymbol{e}_{x_{i}}}\left(-\log p_{\psi}(\hat{y} \mid x, F(\hat{\boldsymbol{s}}))\right)\right.\|$ の大きさを示す.

したものであるが，モデルが敏感に反応しうるデー タの偏りを極力廃した人工データでは，明らかに比較すべき人物と関連する数量 (の最初の数桁) に注目しており，この種の問題では電卓を利用せずとも BERT 内部で解法を見つけることが可能であると示唆される。同様の観察から譲渡文なしの max 問題も 電卓を使わずに解くことができるようである.

譲渡文ありの実験においては， $\max$ の設定で項正答率が $100 \%$ に達した. この事の要因の 1 つに, こ の設定では項抽出損失 $\ell_{\text {arg }}$ の効果があると推察さ れる。また $\operatorname{argmax} の み, ~ \max$ と $\operatorname{argmax}$ 両方を含む 場合の 2 つを比べると後者の項正答率の高さから, max で得た電卓の使い方を $\operatorname{argmax}$ 問題に般化して 活用するように学習できていることが観察される. これらから，現状の提案モデルが電卓を使うために は，(1) 2 段の推論を要する等数量推論問題が簡単す ぎないこと，(2) max 問題等で項抽出の仕方を少し 教えることの 2 点が有効であることが推測される.

最後に，提案モデルの未知の析の数に対する頑健性を評価した (表 4). 表 2 と同じ譲渡文ありの事例 で 6 析以下の数のみ含む 2 万件 ${ }^{9)}$ で訓練した後， 7 枌の数のみ出現する 2 千件で評価したところ，電卓 を活用できるモデルが最も高い頑健性 (F1) と動作の 解釈性 (項正答率)を有していることがわかった.

## 6 終わりに

本稿では記号処理関数をDNN の微分可能な層 として組み込む方法を検討し，その応用として電卓付き文章読解モデルを構築した．前者の鍵は Gumbel-Softmax trickを拡張することである．応用 では，人工データによる実験でモデルの挙動の癖が 明らかになったが，一般的な設定で電卓の有用性を モデルに認識させることは今後の課題である.

9） [14] に倣い，事例に出現する数量 $v$ を $d \sim U\{1, \ldots, 6\}, v \sim$ $U\left[10^{d-1}, 10^{d}-1\right]$ の 2 段階の一様サンプリングで得ることで 事例に含まれる数が大きな値に偏ることを防いだ。
謝辞本研究は JST CREST JPMJCR20D2 及び JSPS 科研費 20K23314, 21K17814 の助成を受けたも のです.

## 参考文献

[1] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2368-2378, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] 吉川将司, 乾健太郎. 離散記号処理に対する近似的な 微分構造の考察と数量推論を要する文章読解問題 への応用. 言語処理学会年次大会発表論文集, 3 月 2021

[3] Jambay Kinley and Raymond Lin. NABERT+: Improving numerical reasoning in reading comprehension. https: //github.com/raylin1000/drop-bert, 2019.

[4] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online, July 2020. Association for Computational Linguistics.

[5] Tushar Khot, Daniel Khashabi, Kyle Richardson, Peter Clark, and Ashish Sabharwal. Text modular networks: Learning to decompose tasks in the language of existing models, June 2021.

[6] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Mingwei Chang. Retrieval augmented language model pre-training. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 3929-3938, Virtual, 13-18 Jul 2020. PMLR.

[7] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020.

[8] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, Vol. 8, No. 3, pp. 229-256, 1992.

[9] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparametrization with gumbel-softmax. In Proceedings International Conference on Learning Representations 2017. OpenReviews.net, April 2017.

[10] Emil Julius Gumbel. Statistical Theory of Extreme Values and Some Practical Applications. A Se- ries of Lectures. U.S. Government Printing Office, 1954.

[11] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In International Conference on Learning Representations, 2017.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps, 2014.

[14] Rodrigo Nogueira, Zhiying Jiang, and Jimmy Lin. Investigating the limitations of transformers with simple arithmetic tasks, 2021

## A $\quad \boldsymbol{F$ の上流ネットワーク $\mathrm{N}_{1}$ の学習}

本稿の目的は記号処理関数を DNN の 1 層とし, ネットワークとの合成関数 $x \xrightarrow{\mathrm{N}_{1}} \boldsymbol{s} \xrightarrow{F} F(\boldsymbol{s}) \xrightarrow{\mathrm{N}_{2}} y$ を end-to-end に学習することであった (図 1).これに関 する自然な疑問として，この予測 $y$ に対する損失に よりモデル全体を訓練したときに， $\mathrm{N}_{1}$ は $F$ を介し て $\mathrm{N}_{2}$ に有用な記号処理計算結果を渡すようになる だろうか，ということがある。これについては，GS trickとの関係で肯定的に答えることができる.

命題 2 入力 $x$, 予測 $y, \mathrm{~N}_{1}(x)=s, s$ は $F(=F)$ に 入力されるとする. さらに $\mathrm{N}_{1}$ は $p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right) \propto$ $f_{i}^{\theta}(x), \mathrm{N}_{2}$ は $p_{\psi}(y \mid x, F(z))$ をモデル化する.この とき, Gumbel ノイズで摂動されたこれらの合成 $x \xrightarrow{\mathrm{N}_{1}} \boldsymbol{s} \xrightarrow{F} F(\boldsymbol{s}) \xrightarrow{\mathrm{N}_{2}} y$ は,

$
p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right) \text { with } \boldsymbol{\varepsilon} \sim p_{\varepsilon},
$

であり，これは離散潜在変数モデル $p_{\theta, \psi}(y \mid x)$ を近似的にモデル化する.

計算結果 $F^{\prime}$ の条件付き分布 $p\left(F^{\prime} \mid z\right)$ を仮定すれば $p_{\theta, \psi}(y \mid x)$ は以下のように展開できる.

$
p_{\theta, \psi}(y \mid x)=\sum_{z} \sum_{F^{\prime}} p_{\psi}\left(y \mid x, F^{\prime}\right) p\left(F^{\prime} \mid z\right) p_{\theta}(z \mid x) .
$

$F^{\prime}$ は $z$ から決定的に決まることに加えて, Gumbel trickを用いると，

$
\begin{aligned}
(4) & =\sum_{z} p_{\psi}(y \mid x, F(z)) p_{\theta}(z \mid x) \\
& =\mathbb{E}_{p_{\theta}(z \mid x)}\left[p_{\psi}(y \mid x, F(z))\right] \\
= & \mathbb{E}_{\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}}\left[p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)\right] .
\end{aligned}
$

この式と式 (3) は GS trick のときと同様に近似的の 関係にある。よって，式 (3) に関してパラメータを 最適化すれば， $p_{\theta, \psi}(y \mid x)$ に関する尤度が最大化さ れ，これは一方で $\mathrm{N}_{1}$ が我々の期待するような形で 訓練されることを意味する.

本稿の文章読解モデルは, 式 (4) に基づいて訓練 することも可能であるが，今後の拡張として記号処理層を多段に適用することを念頭に置き，一度の順伝搬と逆伝搬で訓練可能な Gumbel Softmax 式のア プローチを検討する。


# 海馬の記憶インデックスに着想を得たリプレイによる 言語処理タスクの継続学習

前川在 上垣外英剛 船越孝太郎 奥村学
東京工業大学
\{maekawa, kamigaito, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

継続学習は過去に学習したタスクへの破滅的忘却 を防ぎつつ新しいタスクを学習することを目的と する. その手法の一つである生成的リプレイは過去 のタスクのデータを生成モデルにより生成し，新し いタスクのデータに加えることで破滅的忘却を防 ぐ.しかし，この手法には生成サンプルの質や偏り によって継続学習の性能が低下するという問題が ある. 本研究では，脳の海馬の記憶インデックスに 着想を得て，学習サンプルの圧縮表現を用いた条件付けにより，過去の特定の学習サンプルをリプレイ 時に生成可能な生成的リプレイの手法を提案する. SST，QA-SRL，WOZ の 3 つの異なる言語処理タス クのデータセットを対象とした実験の結果，提案手法は継続学習における性能の向上を示した.

## 1 はじめに

新しいタスクを次々と学習する継続学習の能力 は，人間のような知能システムを実現する上での基本要件の一つである [1]. また, 汎用的な継続学習 システムの実現は，新しいタスクに対する学習コス 卜を大幅に減らすため，実応用においても重要であ ると考えられる。しかしながら，ニューラルネット ワークで新しいタスクを学習すると，過去に学習し たタスクに対する性能が著しく低下する破滅的忘却 と呼ばれる現象が起こる [2].

破滅的忘却は，新しいタスクと同時に過去のタス クを再学習することで対処可能であるが，そのため には過去の全タスクのデータを保持しておく必要 があり，ストレージ容量やプライバシーの観点から 問題が生じる場合がある。これに対し，実サンプル の代わりに，生成モデルによる擬似サンプルを利用 する生成的リプレイという手法がある [3]. 一般に 生成的リプレイでは，過去の学習サンプルだけでな
く，タスクに相応しい未知のサンプルの生成も想定 するが，実際に適切な未知のサンプルを生成するこ とは困難であり，質の低いサンプルを生成する原因 になる。また，生成されるサンプルが直前に学習し たタスクに偏ってしまうという問題がある.

継続学習を実現している生物の脳では，海馬イン デックス理論 [4] によると，海馬が新皮質の活動パ ターンを圧縮表現に符号化して記憶し，それをイン デックス情報として新皮質に投射することで過去の 活動パターンが想起されると考えられている. 本研究では，この海馬の働きに着想を得て，学習サンプ ルの圧縮表現による記憶インデックスを用いた生成的リプレイの手法を提案する。各学習サンプルを 圧縮表現に符号化する Encoder と，それを記憶イン デックスとして保持する海馬モジュールを導入し，記憶インデックスを用いた条件付けによって，リプ レイとして過去の特定の学習サンプルを生成するこ とを可能にする。

SST，QA-SRL，WOZ の 3 つの異なる言語処理夕 スクのデータセットを対象とした実験の結果，提案手法は生成サンプルの偏りを防ぎ，継続学習の性能 を向上させることが可能であることを示した.

## 2 関連研究

ニューラルネットワークを用いた継続学習の研究 は大きく，正則化ベース，アーキテクチャベース， リプレイベースの 3 つの手法に分類される。

正則化ベースの手法では，過去のタスクに対して 重要なパラメータが変化しないように制約を加えて 破滅的忘却を防ぐ. 各パラメータの重要度の推定に は，フィッシャー情報行列を利用する手法 [5] や，勾配の大きさを利用する手法 [6] がある.

アーキテクチャベースの手法は，ネットワーク 構造の工夫によってタスク間の知識の干渉を防ぐ. タスクごとにネットワークを拡張する手法 [7] や，
(a) Train

(b) Replay

図 1 提案手法の概要

フィルタを用いてネットワークをプルーニングする 手法 [8] がある.

リプレイベースの手法では，過去に学習したデー タを新しいタスクとともに再学習するリプレイを 用いる. d'Autume ら [9] は，学習データを保持する エピソード記憶モジュールを導入し，リプレイと推論時のパラメータの局所適応に利用した. Shin ら [3] は，生成モデルによる擬似サンプルを利用する 生成的リプレイを提案した。言語処理タスクを対象 とした生成的リプレイの手法には, LAMOL [10] が ある. LAMOL は，タスクとサンプル生成を言語モ デルで同時に学習し, 単一のモデルのみで継続学習 を行う. LAMOL の派生手法として, 知識蒸留を組 み合わせた手法 $[11,12]$ や，生成サンプルのうち忘却度が高いものをリプレイとする手法 [13] がある.

一般に生成的リプレイの手法では，過去の学習サ ンプルを必要としない一方で, 生成サンプルの質や 偏りによる継続学習の性能低下が生じる. そこで本研究では，LAMOL における生成サンプルの質や偏 りを改善するために，記憶インデックスによる条件付けを用いて, リプレイとして過去の特定の学習サ ンプルを生成できる手法を提案する.

## 3 提案手法

提案手法の概要を図 1 に示す. 提案手法ではタス クの学習と同時に Autoencoder としてサンプル生成 を学習する。 その際に得られる特徴べクトルを記憶 インデックスとして海馬モジュールで保持し，リプ レイ時に条件付けとして Decoder に与えて，対応す る学習サンプルを生成する. また，タスク自体も同 じ Decoderに学習させる.

## 3.1 モデル

提案手法は，学習サンプルを符号化する Encoder， タスクとサンプル生成を行う Decoder，記憶イン
デックスを保持する海馬モジュールから構成され る. 以下では各モジュールの詳細を説明する。

## 3.1.1 Encoder

BERT [14] を用いて学習サンプルを固定長の特徴 ベクトルに符号化する. 通常行われる BERT の学習 と同様に，先頭につけた [CLS]トークンの埋め込 みべクトル $\boldsymbol{h}_{[\mathrm{CLS}]} \in \mathbb{R}^{H}$ を入力全体を表す特徴表現 として利用し，重み行列 $\boldsymbol{W}_{\mathrm{E}} \in \mathbb{R}^{P \times H}$ と活性化関数 $\tanh$ を用いて， $P$ 次元の特徴べクトル $\boldsymbol{h} \in \mathbb{R}^{P}$ に変換する (式 1 ).

$
\boldsymbol{h}=\tanh \left(\boldsymbol{W}_{\mathrm{E}} \boldsymbol{h}_{[\mathrm{CLS}]}\right)
$

Encoder のパラメータは，3.2 節で述べる事前学習 でのみ最適化を行い，継続学習時は固定する。これ は，継続学習の過程で学習時と生成時とで特徴べク トルにズレが生じ，記憶インデックスによる制御可能性が著しく低下することを防ぐためである.

## 3.1.2 Decoder

LAMOL [10] のアイデアに基づき，GPT-2 [15] を 用いてタスクとサンプル生成を同時に学習する.

提案手法では, サンプル生成時に, Encoder で符号化した特徴ベクトル $\boldsymbol{h}$ による条件付けを行う. 固定長のベクトルを用いて GPT-2 のテキスト生成を 制御する方法については，先行研究 $[16,17]$ によっ ていくつかの手法が提案されており，そのうち本研究では，以下で説明するように，Embedding 層と Self-Attention 層を利用する手法を用いる.

Embedding 特徴ベクトル $\boldsymbol{h}$ から, 重み行列 $\boldsymbol{W}_{\mathrm{D}} \in \mathbb{R}^{H \times P}$ を用いて GPT-2 の入力埋め込みと同じ $H$ 次元のベクトルに変換し, 各入力トークンの単語埋め込み $\boldsymbol{h}_{\mathrm{WE}}$ と位置埋め込み $\boldsymbol{h}_{\mathrm{PE}}$ を足し合わせ，新 たな入力埋め込み $\boldsymbol{h}_{\mathrm{Emb}}=\boldsymbol{h}_{\mathrm{WE}}+\boldsymbol{h}_{\mathrm{PE}}+\boldsymbol{W}_{\mathrm{D}} \boldsymbol{h}$ とする.

Self-Attention 特徴ベクトル $\boldsymbol{h}$ を重み行列 $\boldsymbol{W}_{\mathrm{M}} \in$ $\mathbb{R}^{L H \times P}$ による線形変換で $\boldsymbol{h}_{\mathrm{Mem}} \in \mathbb{R}^{L H}$ に変換し， $L$個の $H$ 次元ベクトル $\left[\boldsymbol{h}_{\mathrm{Mem}, 1}, \ldots, \boldsymbol{h}_{\mathrm{Mem}, L}\right]$ に分割す る. ただし， $L$ は GPT-2 の層数である. 各 $l$ 層目の Self-Attention において， $\boldsymbol{h}_{\text {Mem,l }}$ を Key, Value ベクト ルに変換して追加の参照情報として利用し， $x_{t}$ を $x_{<t}$ と $\boldsymbol{h}_{\mathrm{Mem}, l}$ の両方で条件づける.

## 3.1.3 海馬モジュール

海馬モジュールは，記憶インデックスとして各学習サンプルの特徴ベクトルを保持する．具体的に

は，新しいタスクの学習時，Encoder で符号化した 特徴ベクトルをタスクごとに分けて保存する。リプ レイ時に，特徴べクトルを過去のすべてのタスクか ら同じ数ずつランダムに取り出して, Decoder のサ ンプル生成の条件付けに使用する.

## 3.2 事前学習

記憶インデックスとして利用する特徴ベクトル は，Decoder で元の学習サンプルを復元できるだけ の十分な情報を含んでいることが望ましい. しか し, BERT の事前学習によって獲得された [CLS] の 埋め込みと，ランダムに初期化された $\boldsymbol{W}_{\mathrm{E}}$ による線形変換では不十分であると考えられる。そこで，テ キストコーパスを用いて教師なしで Autoencoderを 事前学習することで，十分な情報を持った特徴べク トルへの符号化を実現する.

また，言語モデルを Autoencoder と同時に学習す る.これは, Autoencoder の学習により, GPT-2 が 元々持つ言語モデルの情報を失うことを防ぐためで ある.したがって，事前学習では， Autoencoder の損失と言語モデルの損失の和 $L=L_{\mathrm{AE}}+L_{\mathrm{LM}}$ を最小化 するよう, Encoder と Decoder のパラメータを最適化する.

## 3.3 継続学習

## 3.3.1 データ形式

LAMOL と同様に, decaNLP フォーマット [18] に 基づき, Context と Question から Answerを予測する 質問応答として，すべてのタスクを Decoderの GPT-2 で学習する (図 2(a)). サンプル生成は, Encoder で Context, Question, Answer 全体を符号化した特徴べ クトルから，元の入力を復元する Autoencoder とし て学習する (図 2(b)).

## 3.3.2 学習の流れ

継続学習の問題として，タスク列 $\left.\{T_{1}, T_{2}, \ldots\right.\}$ を 考える. 新しいタスク $T_{i}(i>1)$ の学習前に, 海馬 モジュールから特徵ベクトルを $\gamma\left|T_{i}\right|$ 個取り出し, Decoder で対応するサンプルを生成する．ただし， $\left|T_{i}\right|$ はタスク $T_{i}$ の学習サンプルの数であり, $\gamma$ はリ プレイの割合である. 生成サンプルのうち, [ANS] が 1 つでないものと，BERT および GPT-2 の最大系列長を超えているものは棄却し，残りをリプレイと して新しいタスクのデータに加える。

図 2 (a) [ANS] を生成の開始位置を示す特殊トークンと し，質問応答としてタスクを学習. (b) Encoder で符号化 した特徴べクトルによる条件付けを用いて，Decoder で開始トークン [GEN] からサンプル全体を生成.

タスクの損失 $L_{\mathrm{QA}}$ と Autoencoder の損失 $L_{\mathrm{AE}}$ を, サ ンプル生成の損失の重み $\lambda$ を用いて $L=L_{\mathrm{QA}}+\lambda L_{\mathrm{AE}}$ として，Decoderを学習する。

## 4 実験

## 4.1 実験設定

データセット decaNLP [18] から，感情分析 (SST)，意味役割付与 (QA-SRL), 対話状態追跡 (WOZ) の 3 つの異なるタスクのデータセットを使用

トセットを利用した.

比較手法 全手法で GPT-22)を使用し，各タスク を 9 epoch ずつ学習した. 以下に各手法を示す.

提案手法: Encoder には $\mathrm{BERT}_{\mathrm{BASE}}{ }^{3}$ を使用し，サン プル生成の損失の重みは $\lambda=0.25$, 特徴ベクトルの 次元数 $P$ は 128 とした. 先行研究 [10] に合わせ，リ プレイの割合は $\gamma=0.05,0.2$ とした.

LAMOL: 提案手法によるリプレイの条件付けの有効性を検証するためのベースライン．言語モデルと して生成を学習し, [GEN] から top- $k$ サンプリング $(k=20)$ でリプレイサンプルを生成する.

Task-specific tokens: Sun ら [10] が提案した，タスク ごとに開始トークンを変え，生成サンプルが過去の 全タスクで均等になるよう制御する手法. 提案手法 と LAMOL のそれぞれに適用した。

Real sample: 提案手法のリプレイを実サンプルに置 き換える。提案手法の性能上限と考えられる。

Fine-tuning: タスクを 1 つずつファインチューニン グする。継続学習の性能下限と考えられる。

Multitask: 全タスクのデータセットを混合し同時に 学習する。継続学習の性能上限と考えられる。

評価指標 継続学習の性能評価のために，以下の 2 つの評価指標を用いる. ここで $a_{j, i} \in[0,100]$ は夕

表 1 各手法の全 6 パターンの学習順序に対する実験結果とそれらの平均及び標準偏差. 各スコアは 2 回実行した結果 の平均. Proposal および LAMOL の上付き文字はリプレイの割合 $\gamma$ を表し，下付き文字はそれぞれ共通の開始トークン (GEN), Task-specific tokens（TASK），Real sample（REAL）を表す.

図 32 回目のリプレイに含まれる各タスクの生成サンプルの割合

スク $T_{i}$ を学習後のタスク $T_{j}$ の評価結果を表す.

Average Score $\in[0,100]:$ 最終的なモデルの各タスク の評価結果 $a_{T, i}$ の算術平均.

Forgetting Measure $\in[-100,100]:$ Chaudhry ら [20] が 提案した，過去のタスクの忘却度合い. ただし， decaNLP タスクの評価指標に合わせて -100 100の 値をとる．値が小さいほど望ましい。

$
F_{T}=\frac{1}{T-1} \sum_{i=1}^{T-1} f_{T, i} \quad\left(f_{T, i}=\max _{j<T} a_{j, i}-a_{T, i}\right)
$

## 4.2 実験結果

6 パターンすべての学習順序について実験を行っ た結果を表 1 に示す. まず, Fine-tuning の結果から，新しいタスクの学習によって, 過去のタスクに対す る破滅的忘却が生じることが確認できる. 提案手法 の結果は，すべての条件で LAMOL の性能を大きく 上回っており，タスクの学習順序に対する性能のば らつきも抑えられている。これは，継続学習に対し て提案手法が有効であることを示している。

各実験における 2 回目のリプレイ時の生成サン
プルをタスクごとに分類4)した結果を図 3 に示す. LAMOL では生成サンプルの多くが直前のタスクの ものになっており, Task-specific tokens の効果も学習順序によって大きく差がある。これに対して，提案手法は生成サンプルの偏りを大幅に抑えられてお り，記憶インデックスによる条件付けがうまく機能 していると考えられる。また，リプレイの偏りがほ とんど同じ場合についても，継続学習の性能で提案手法が LAMOL を上回っていることから，生成サン プルの質が改善されていることが示唆される.

## 5 おわりに

本稿では，言語処理タスクの継続学習に対して，海馬の記憶インデックスに着想を得た制御可能な生成的リプレイの手法を提案した。複数の異なる言語処理タスクを対象とした実験の結果，提案手法は生成サンプルの偏りを防ぎ，継続学習の性能を向上さ せることを示した. 今後は，海馬モジュールの記憶容量を削減する方法についても取り組みたい.

4） BERTによる分類モデルを作成して使用した.

## 参考文献

[1] German I Parisi, Ronald Kemker, Jose L Part, Christopher Kanan, and Stefan Wermter. Continual lifelong learning with neural networks: A review. Neural Networks, Vol. 113, pp. 54-71, 2019

[2] Michael McCloskey and Neal J. Cohen. Catastrophic interference in connectionist networks: The sequential learning problem. Psychology of Learning and Motivation, Vol. 24, pp. 109-165, 1989.

[3] Hanul Shin, Jung Kwon Lee, Jaehong Kim, and Jiwon Kim. Continual learning with deep generative replay. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 2990-2999. Curran Associates, Inc., 2017.

[4] Timothy J Teyler and Jerry W Rudy. The hippocampal indexing theory and episodic memory: updating the index. Hippocampus, Vol. 17, No. 12, pp. 1158-1169, 2007.

[5] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka GrabskaBarwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell. Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, Vol. 114, No. 13, pp. 3521-3526, 2017.

[6] Rahaf Aljundi, Francesca Babiloni, Mohamed Elhoseiny, Marcus Rohrbach, and Tinne Tuytelaars. Memory aware synapses: Learning what (not) to forget. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 139-154, 2018.

[7] Andrei A Rusu, Neil C Rabinowitz, Guillaume Desjardins, Hubert Soyer, James Kirkpatrick, Koray Kavukcuoglu, Razvan Pascanu, and Raia Hadsell. Progressive neural networks. arXiv preprint arXiv:1606.04671, 2016.

[8] Arun Mallya and Svetlana Lazebnik. Packnet: Adding multiple tasks to a single network by iterative pruning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7765-7773, June 2018.

[9] Cyprien de Masson d'Autume, Sebastian Ruder, Lingpeng Kong, and Dani Yogatama. Episodic memory in lifelong language learning. In $\mathrm{H}$. Wallach, $\mathrm{H}$. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 13122-13131. Curran Associates, Inc., 2019.

[10] Fan-Keng Sun, Cheng-Hao Ho, and Hung-Yi Lee. Lamol: Language modeling for lifelong language learning. In International Conference on Learning Representations, 2019.

[11] Yung-Sung Chuang, Shang-Yu Su, and Yun-Nung Chen. Lifelong language knowledge distillation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2914-2924, Online, November 2020. Association for Computational Linguistics.
[12] Jingyuan Sun, Shaonan Wang, Jiajun Zhang, and Chengqing Zong. Distill and replay for continual language learning. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3569-3579, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[13] Heejeong Choi and Pilsung Kang. Lifelong language learning with the most forgotten knowledge. IEEE Access, Vol. 9, pp. 57941-57948, 2021.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[16] Chunyuan Li, Xiang Gao, Yuan Li, Baolin Peng, Xiujun Li, Yizhe Zhang, and Jianfeng Gao. Optimus: Organizing sentences via pre-trained modeling of a latent space. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 46784699, Online, November 2020. Association for Computational Linguistics.

[17] Le Fang, Tao Zeng, Chaochun Liu, Liefeng Bo, Wen Dong, and Changyou Chen. Transformer-based conditional variational autoencoder for controllable story generation. arXiv preprint arXiv:2101.00828, 2021.

[18] Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, and Richard Socher. The natural language decathlon: Multitask learning as question answering. arXiv preprint arXiv:1806.08730, 2018.

[19] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami Al-Rfou. Wiki-40B: Multilingual language model dataset. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452, Marseille, France, May 2020. European Language Resources Association.

[20] Arslan Chaudhry, Puneet K Dokania, Thalaiyasingam Ajanthan, and Philip HS Torr. Riemannian walk for incremental learning: Understanding forgetting and intransigence. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 532-547, 2018.

## A 付録

## A. 1 継続学習に使用したタスクの詳細

表 2 使用したタスク，データセット，評価指標

 & Who is based somewhere? & COG & 6414 & 2201 & $\mathrm{nF1}$ \\
Goal-Oriented Dialogue & WOZ & I am looking for African food & What is the change in state ? & food: African; & 2536 & 1646 & dsEM \\

## A. 2 忘却の過程

図4 それぞれの手法の各学習順序における忘却の過程


# Test Time Augmentation for Cross-lingual Text Classification

Artsem Zhyvalkouski
Tokyo City University
artsem20@ipl.cs.tcu.ac.jp
}

Shiho Hoshi Nobesawa
Tokyo City University
shiho@tcu.ac.jp
}

\begin{abstract}
Recently, in order to face the problem of the lack of labeled data for languages other than English, language models based on BERT were extended to tackle the task of cross-lingual transfer. Such multilingual models have been known to perform well on the target language data without actually being trained on it, but the need to improve their accuracy still exists. In this paper, we present an approach to improve the accuracy of such models by utilizing machine translation and test time augmentation, widely used in computer vision, but not thoroughly researched in natural language processing. We show that our method demonstrates improvement without training additional models or collecting more labeled data.
\end{abstract
## 1 Introduction

## 1.1 Multilingual Language Models

Recently, a highly accurate masked language model BERT[1] is widely used. It is pre-trained with a large amount of unlabeled data, such as Wikipedia[2]. Training is performed by randomly removing a word from a sentence and making the model predict what the removed word is. It can be said that this is a method of extracting features of sentences, such as word2vec[3] or FastText[4]. As an application of this model, firstly it is trained on a large amount of unlabeled data in advance. Next, it is trained further with data for tasks such as text classification or question answering.

Another recent trend is to train multilingual models that extend BERT to multiple languages. Typical models include mBERT[1], XLM[5] and XLM-R[6]. The background of multilingual models is that there is currently a lack of non-English labeled data. Unlike BERT, mBERT is pre-trained with a large amount of data in 104 languages. The application process is illustrated on Figure 1. As a con-

Figure 1 Application of multilingual models

crete application, firstly it is trained with a large amount of unlabeled multilingual data, then it is trained with labeled English data for a particular task. And finally, the inference is performed in the target language, for example, French. By doing so, it is known that high accuracy can be achieved even in the target language without actually having any labeled data for the target language. As another example, we can take a multilingual pre-trained model, fine-tune it on English data for Question Answering and then perform inference in Japanese, so the model can answer questions in Japanese, without actually being trained on them. One of the purposes of this research is to improve the accuracy of such multilingual models.

## 1.2 Test Time Augmentation

Another concept that is used in this research is Test Time Augmentation. Let us start with Train Time Augmentation. This is a method to increase the training data in an artificial manner. For example, in the case of natural language processing, there is back-translation[7]. An example of the back-translation method is shown on Figure 2. With this method machine translation from the original language $A$ to another language $B$ is performed. Then, once again machine translation from language $B$ to the original language $A$ is performed. For instance, you can translate En-

Figure 2 Back-translation algorithm[7]

glish into Japanese and then Japanese into English again to create different sentences without changing their meaning. Xie et al. insisted that the accuracy can be significantly improved by using this method[7].

Unlike Train Time Augmentation, Test Time Augmentation is performed for models that have already been trained. As Shorten et al. and Buslaev et al. described this is a commonly used technique in image processing to improve accuracy $[8,9]$. An example of the Test Time Augmentation technique for images is shown on Figure 3. For example,

Figure 3 Test Time Augmentation in image processing

firstly an image to be predicted is mirrored or rotated. Then the inference is performed for the resulting images separately, and finally, the average is taken to summarize the predicted values.

In the field of image processing, this method is also known to improve accuracy[9]. However, the situation is not so much considered in the field of natural language processing. We can see its investigation in the research by Howard et al.[10] where they utilize back-translation in test time for classification with the ULMFiT model[11], which is based on LSTM[12]. Liu mentioned an empirical result where name swapping augmentation was used in test time to improve accuracy on the Gender Pronoun Resolution task[13]. However, there seems to be very little research done on using Test Time Augmentation with multilingual data or on cross-lingual tasks. As another purpose of this research, we also aim to draw more attention to Test Time Augmentation in natural language processing.

## 2 Test Time Augmentation for Crosslingual Text Classification

## 2.1 Overview

The flow of the proposed method is presented on Figure 4. Since multilingual models can handle various lan-

Figure 4 Proposed method flow

guages, we believe that data augmentation is possible by machine translation. First, we translate the text in the target language into texts in various other languages. Then we make separate predictions for all the texts and finally put together all the predictions. As a way of summarizing, we are going to use averaging and weighted averaging. For weighted averaging, we utilize the Nelder-Mead optimization method[14] to find the best weights for the validation dataset and then use the obtained weights on the test dataset. We suppose that simple averaging may not be enough since we cannot be sure about the most appropriate augmentation language.

## 2.2 Algorithm

Here we explain the proposed algorithm step by step.

1. Translate the text $T_{L}$ in the target language $L$ with the machine translation model $M_{A_{i}}^{\text {trans }}$ into the text $T_{A_{i}}$ in the additional language $A_{i} . N$ is a number of
additional languages.

$
T_{A_{i}}=M_{A_{i}}^{\text {trans }}\left(T_{L}\right), 0 \leq i<N
$

2. Obtain the predicted probability vectors $p_{L}$ and $p_{A_{i}}$ for the texts $T_{L}$ and $T_{A_{i}}$ respectively by using the fine-tuned multilingual model $M^{\text {multi }}$ for text classification.

$
p_{L}=M^{\text {multi }}\left(T_{L}\right), p_{A_{i}}=M^{\text {multi }}\left(T_{A_{i}}\right), 0 \leq i<N
$

3. Obtain the final predicted probability vector $p_{w}$ by performing weighted averaging using the weights vector $w$ optimized for the validation dataset using the Nelder-Mead method[14].

$
p_{w}=w_{N} p_{L}+\Sigma_{j=0}^{N-1} w_{j} p_{A_{j}}
$

4. Predict the final class $C$ by using the highest probability in the vector $p_{w}$.

$
C=\operatorname{argmax} p_{w}
$

As a result, we get the final predicted class $C$, which is in our case is one of the contradiction, neutral or entailment classes.

 & Contradiction \\

## 3 Dataset

We use the XNLI dataset[15]. A few samples from the dataset are presented in Table 1.

It has classification data for 15 languages: English, French, Spanish, German, Greek, Bulgarian, Russian, Turkish, Arabic, Vietnamese, Thai, Chinese, Hindi, Swahili and Urdu. There are about 5,000 test and 2,500 validation pairs for each language, so it results in 112,500 annotated pairs. The pairs are obtained by human translation from English. The task is called textual entailment, which is a 3 class classification of two sentences called premise and hypothesis. Classes include contradiction, neutral and entailment. We use this dataset since it is a standard for evaluating Cross-lingual Text Classification used in the state-of-the-art research [5, 6].

## 4 Results

We perform two different experiments using a pretrained mBERT model, which also trained on the English XNLI data, thus evaluating the model in a cross-lingual transfer manner.

## 4.1 Experiment 1: Evaluation on a Single Additional Language

In this setting, we use the original English translations released in the XNLI dataset and simply average predictions in the original language with predictions using the English translations. The results for each language are shown on Figure 5.

Figure 5 Experiment 1: Comparison with previous methods and our method using evaluation on a single additional language

We compare our method with previous methods, such as using the target language and using English translations[6].

At first, we can notice that the performance on English translations is higher for most of the languages, except for Vietnamese. This can be explained by the following facts: the model was fine-tuned on the English samples; the largest amount of the pre-training data is in English. As for Vietnamese, it is hard to draw any conclusions, but we suppose it may relate to the quality of the given English translations. We can see that by using the proposed method and aggregating both predictions the accuracy for all of the languages either improves or is equal to the best previous method. This indicates that both the original texts and English translations provide a meaningful signal to the model. From the results, we may suppose that in a setting when the target language training data is not available, it is recommended to utilize English translations with our method to improve the accuracy without collecting more data or fine-tuning additional models.

## 4.2 Experiment 2: Evaluation on Multipule Additional Languages

In this setting we use the Marian MT models[16] to translate the original language into not only into English, but also into close and far languages. We use our own definition of close and far languages. The results for each language are shown on Figure 6. As a close language we

Figure 6 Experiment 2: Comparison with previous methods and our method using evaluation on multiple additional languages

use the language from the same group which has the highest number of articles in Wikipedia. For a close language we use the language from a different family which has the highest number of articles in Wikipedia. The reasoning behind choosing close and far languages is to account for the trade-off between translation quality and signal diversity. A close language can be easier to translate, so the data quality is higher, but it will provide presumably less diversity since the syntax structure will be similar. Vice versa, a far language might be more difficult to translate, although the syntax structure could be different and the translation might have more diverse word usage with similar semantics. For both languages, we use the one with the highest number of articles on Wikipedia because the model was pre-trained on it so we can obtain more meaningful representations. It is needed to mention that this reasoning is a pure assumption and in the perfect scenario the most useful augmentation language must be found using tuning on the validation set. As in Experiment 1, we compare our method with previous methods: using the target language and using English translations. For the proposed methods we use two settings: English augmentation and augmentation with English, close and far languages.

From the results, we can see that for each language one of the proposed settings improves the accuracy or performs on par. The 3-language setting improves the accuracy or performs on par for all of the languages except for Mandarin, for which the English augmentation setting performs best.
This may be explained by the quality of translations from Mandarin to other languages. The fact that the highest accuracy improvement is observed for low-resource languages such as Urdu, Hindi and Swahili is presumably due to the quality of the model's representations for their translations. We also conclude that choosing the most suitable augmentation language for each target language may be an appropriate step during the model tuning.

## 5 Discussion

We can notice that for each language the proposed method either outperforms or performs on par with the previous methods. We also can see that by using the proposed technique the accuracy on the XNLI dataset can be improved by around $2 \%$ for each language on average. Especially for low-resource Hindi, Urdu and Swahili, the performance is increased significantly (4-7\%).

It is needed to mention that in this research we proposed only using one-step machine translation as augmentation, whereas back-translation or any other text augmentation technique can be utilized. We also observe that for each language the best additional language and its performance seem to be different so that may be a topic for future research. Moreover, in this research we examined the natural language task of cross-lingual text classification, a similar Test Time Augmentation method might be applied to various other tasks such as question answering or namedentity recognition. The model we used is mBERT which is smaller than XLM-R or recent XLM-R XL[17], which outperforms even priorly best monolingual RoBERTa[18] on English. This implies that larger and more accurate models can also be investigated with our method.

## 6 Conclusion

Due to the lack of labeled data for other languages than English, multilingual models are being widely used recently. Although they are already achieving relatively high accuracy, we propose a method that can further improve the accuracy of such models by machine translation and test time augmentation. We show that our method improves the accuracy by 2-7\% on the XNLI dataset which is a standard for evaluating multilingual models. As for the practical usage of our method, the accuracy of cross-lingual classification models can be improved without additionally collecting more data or training new models.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Wikipedia contributors. Plagiarism - Wikipedia, the free encyclopedia, 2004. [Online; accessed 22-July-2004].

[3] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space, 2013.

[4] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomás Mikolov. Enriching word vectors with subword information. CoRR, Vol. abs/1607.04606, , 2016.

[5] Guillaume Lample and Alexis Conneau. Cross-lingual language model pretraining. CoRR, Vol. abs/1901.07291, , 2019.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Qizhe Xie, Zihang Dai, Eduard Hovy, Minh-Thang Luong, and Quoc V. Le. Unsupervised data augmentation, 2019. cite arxiv:1904.12848.

[8] Alexander Buslaev, Vladimir I. Iglovikov, Eugene Khvedchenya, Alex Parinov, Mikhail Druzhinin, and Alexandr A. Kalinin. Albumentations: Fast and flexible image augmentations. Information, Vol. 11, No. 2, 2020

[9] Connor Shorten and Taghi M. Khoshgoftaar. A survey on image data augmentation for deep learning. Journal of Big Data, Vol. 6 , pp. 1-48, 2019

[10] Sam Shleifer. Low resource text classification with ulmfit and backtranslation. CoRR, Vol. abs/1903.09244, , 2019.

[11] Jeremy Howard and Sebastian Ruder. Fine-tuned language models for text classification. CoRR, Vol. abs/1801.06146, , 2018.

[12] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, pp. 1735-80, 121997.

[13] Bo Liu. Anonymized BERT: an augmentation approach to the gendered pronoun resolution challenge. CoRR, Vol. abs/1905.01780, , 2019.

[14] John Ashworth Nelder and Roger Mead. A Simplex Method for Function Minimization. The Computer Journal, Vol. 7, No. 4, pp. 308-313, 011965.

[15] Alexis Conneau, Guillaume Lample, Ruty Rinott, Adina Williams, Samuel R. Bowman, Holger Schwenk, and Veselin Stoyanov. XNLI: Evaluating cross-lingual sentence representations, 2018.

[16] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Tomasz Dwojak, Hieu Hoang, Kenneth Heafield, Tom Neckermann, Frank Seide, Ulrich Germann, Alham Fikri Aji, Nikolay Bogoychev, André F. T. Martins, and Alexandra Birch. Marian: Fast neural machine translation in C++. In Proceedings of ACL 2018, System Demonstrations, pp. 116-121, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[17] Naman Goyal, Jingfei Du, Myle Ott, Giri Anantharaman, and Alexis Conneau. Larger-scale transformers for multilingual masked language modeling. CoRR, Vol. abs/2105.00572, , 2021.

[18] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.


# NLP モデルの性能の再現可能な測定に向けて :再現性の時間軸モデルと日本の NLP 研究の再現性の簡易的調査

竹下昌志 ${ }^{1}$ ジェプカ・ラファウ $2{ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院
2 北海道大学大学院情報科学研究院
\{takeshita.masashi,rzepka,araki\}@ist.hokudai.ac.jp

## 概要

再現性は研究の信頼性を評価する上で重要な指標 であるが，「再現性」とその関連用語の定義は混迷 している。そこで本稿では，時間軸で再現性の諸側面を分類する概念モデルを提案する。これによって 既存の定義と今後提案される定義を包括して再現性 を理解することができる．次に，再現性を改善する ための方法を検討する。最後に，近年の日本の NLP 研究の再現性を簡易的に調査する. その結果，特に コードが公開されておらず，追試する者にとって難 しい状況であることが明らかとなった。

## 1 はじめに

再現性は科学にとって重要である ${ }^{1)}$.「再現性」と は，広義には，論文で記述されていることを繰り返 すことができるという研究およびその研究結果の性質である．実験結果が再現できない場合はその実験結果に対する疑義が生じ，再現できればその実験結果の信頼性が向上する。また追試が行われていない 場合，その実験結果の信頼性は不明である. 本大会 のワークショップ「NLP における再現性 $\rfloor^{2)}$ の概要 で述べられているように，「実験の再現性は健全な 議論のために不可欠の条件である」.

しかし，「再現性」やその関連用語の定義は混迷 しており，対立する定義も存在する（表 1 及び付録 A)「再現性」の定義が定まらなければ，人々が 「再現性」で意味することが異なるために議論が整理されず，研究の再現性の評価が困難になる.

そこで本稿では「再現性」の様々な定義を捉える 包括的な概念モデルである再現性の時間軸モデルを

提案する.この概念モデルでは，再現性を何らかの 測定の再現性であるとし，測定前，測定結果，測定後の再現性をそれぞれ区別する。また本稿では，こ の再現性モデルの下で二つのことを議論する．第一 に，再現性をどのように向上させるかを検討する （3 節)．第二に，日本の NLP 研究で再現性がどれほ ど確保されているかを簡易的に調査する（4 節）.

## 2 再現性の時間軸モデル

再現性とその他の関連用語に関しては様々な定義 がなされているが，定義は一致していない3)．そこ で本稿では，再現性の定義について各提案を包括的 に整理するために，測定前，測定結果，測定後の再現性にそれぞれ分類する再現性の時間軸モデルを提案する. 既存の定義と, 私たちの提案する再現性の 分類との対応を表 1 に示す.

本節ではまず再現性の時間軸モデルの利点を説明 し，次にこの概念モデルの詳細を説明する。

## 2.1 再現性の時間軸モデルの利点

既存の再現性の定義の仕方は，「再現性」に一つ の側面だけを認めるか，実験に関する様々な側面に 関して再現性をそれぞれ定義するかのいずれかであ る（表 1 及び付録 A）。しかし，測定には他にも様々 な事物が関わるため，このように再現性を定義する ことは有限ではなく，望ましくないと考える。

本稿で提案する再現性の時間軸モデルでは，既存 の定義と今後提案される定義を時間軸上に分類する ことで包括的に捉えられるため，再現性の理解や分類に有用であると考える。また再現性の諸側面を時間という概念的に同じ側面で分類することができる ため，分類の仕方として適切であると考える.

3）再現性や反復性の定義をめぐる議論を本稿で網羅的に扱う ことはできない．他分野での定義を含めた用語法を概観する ものとして Plesser [6]を参照.
表 1 既存の再現性関連の用語の定義と，再現性の時間軸モデルとの対応表. 各項目の説明は付録 $\mathrm{A}$ を参照.

## 2.2 測定前の再現性

測定前の再現性は，測定を再現するために必要な 手続きや機器などを繰り返すことができるか否か を意味する. Belz [5] は測定に関わる条件を対象条件，測定法条件，測定手続条件に分類している. 対象条件は測定機器に関する条件であり，測定に用い たコードやモデルなどが含まれる4)．測定法条件に は評価指標とその実装者が含まれる. 測定手続条件 には用いたテストデータや実行環境などが含まれ る.これらの条件を繰り返せるということが測定前 を再現できることを意味する。

## 2.3 測定結果の再現性

測定結果の再現性は，測定結果を繰り返すことが できるか否かを意味する。「結果」には，測定によっ て得られた値やその値を統計的に処理した値（例：平均値）を含み，また Cohen ら [3] に合わせて値の 比較も含める．そのため，信頼区間の推定結果や統計検定の結果も「結果」に含まれる。

測定結果の再現性に，測定前の再現性は必要でも 十分でもない. 必要でない理由は, 例えば高価な GPU やコンパイル・実行環境を再現することは困難だが，それにもかかわらず同一の測定結果（正解率など）を得ることは可能である。十分でない理由 は, 深層学習モデルの場合, 完全に測定前の再現性 を満たさない限り, 重みの初期値などのランダム性 のために測定結果が厳密に再現されないことがあり うるからである.

## 2.4 測定後の再現性

測定後の再現性とは，測定結果を用いた推論とそ の結論を繰り返すことができるか否かを意味する。

別の測定結果から同じ結論を導く推論も，同じ測定結果から別の結論を導く推論も可能である [2].前者の例として, BERT [8] は様々なタスクで成功を

収めていることから，別々の測定結果から「BERT は優れた性能をもつ」という同じ結論を導く推論は 可能である. また後者の例として, ある研究者が自身の提案手法を英語の分類タスクで実験し, 良い分類精度が得られた後に「提案手法は優れた分類性能 をもつ」と推論したとする. しかし別の研究者は他 の言語では良い精度が得られない（一般化できな い）可能性を考慮し，この推論に同意しないとす る.この場合, 同じ測定結果から異なる結論・推論 になったため，測定後の再現は失敗している.

## 3 測定の再現性の改善に向かって

本節では以上の概念整理の下で，各再現性を改善 させるための方法を検討する。

## 3.1 測定前・結果・後の再現性の改善

すべての再現性の改善に共通することは，実験を 繰り返すために必要な事柄を明示することである. ACL Rolling Review（ARR）は実験設定の詳細の明示化のために，付録のページ数を論文のページ数制限に含めないとし，また副次資料の提出も認めてい る5).また ARR は責任ある研究チェックリスト [9] を提示しており，一部は再現性のチェックリストと しての役割が意図されている。こうしたチェックリ ストを満たすことは重要である6).

## 3.2 測定前の再現性の改善

測定前の再現性の改善には，2.2 節で紹介した Belz [5] の三条件を満たすことが重要である．特に， コードとデータの公開は測定前の再現性の改善に重要であり,「必須の前提条件」[12]である.

また，実験で用いたランダムシード値（RS 値）も 明示されるのがよいと考える. ARR や NeurIPS の チェックリスト [13] には, RS 值をいくつ用いたの かや，RS 值によるランダム性を明示することが含 まれているが，RS 值自体の明示化には何も述べて ない. 測定前の再現性を厳密に満たすことを目指す

図13.4節の実験について, livedoorニュースコーパス上 で日本語のマスク言語モデルを 25 個の RS 値（0～24） で fine-tuning した結果のヒストグラムを示す. 縦軸はそ の階級値に属する個数で，横軸は9クラス分類の正解率 を表す。実験の詳細を付録 B に示す.

表 23.4 節の実験での各モデルの正解率の平均値と標準偏差.

のであれば，RS 値の明示化は重要である.

## 3.3 測定結果の再現性の改善

測定結果の再現性の改善のためには，測定によっ て得られた結果の明示化が重要である。一部の論文 では統計検定が行われているが，どの実験のどの値 に関して何の統計検定を行ったのかが明示されて いないことがある [14].これを明示することはチェ リーピッキングの疑義を晴らす上で重要である.

また，ハイパーパラメータやモデル構造の 探索結果を仮説検証型の研究として報告する のは HARKing [15] につながり, 問題がある [16, 10]. HARKing とは "Hypothesizing After the Results are Know”（結果を知った後に仮説を作る）の略称 で，結果を得た後にその結果に合うように仮説を形成することを意味する。これが問題であることは， テストデータを用いた学習モデルでのテストデータ の予測結果を，あたかもテストデータを学習に使っ てないかのように報告することと類似していること から理解できる. Gencouglu ら [16] は複数の院生を 用いた手作業によるハイパーパラメータやモデル の探索を院生降下法（Grad Student Descent）と称し， これによってなぜそのモデルやハイパーパラメータ が優れているのかが分からなくなると論じている.

測定結果の再現性の観点からは，こうした実践は 「知見の再現性」 [3] を低下させる．「知見の再現性」表 3 測定前の再現性の調査結果。

 &  \\

には，測定によって得られた値の比較を伴い，統計検定の結果などが含まれる. 例えば， $p$ 值が $5 \%$ の 有意水準を下回っていたとしても，20 回に 1 回はそ のような結果が期待される。そのため, 院生降下法 などによる探索的研究で複数回の試行を行った場合 に $p$ 值が偶然有意水準を下回ることがありえる. そ の結果を元に論文の「ストーリー」を組み立てて仮説検証型の研究として報告するのは HARKing にあ たり，問題がある.

## 3.4 測定後の再現性の改善

測定後の再現性を改善するためには，測定によっ て得られた結果の限界に注意すべきである. ARR のチェックリストの最初の項目は「A1. あなたの研究の限界を述べたか?」であり, 強い仮定の明示,自分の主張の範囲の反省などが含まれる.

深層学習モデルの実験には RS 值に依存したラ ンダム性があるため $[17,18]$, 単一の RS 値のみを 用いた実験によって既存手法の精度を超えたとし ても，それが偶然そうなった可能性を考慮すべき である ${ }^{8)}$. RS 值による精度の変動の一例として， livedoor ニュースコーパス9)を用いたニュース記事分類タスクの実験結果を図 1 及び表 2 に示す. 実験に用いたモデルは日本語コーパスで事前学習さ れた BERT ${ }^{10)}$, RoBERTa [20] ${ }^{11)}$, DistilBERT [21] ${ }^{12)}$ である．実験の詳細を付録 Bに記載する．また，用 いたコードを以下の脚注の URL で公開している13).結果として, 例えば, BERT の正解率と RoBERTa

7）このうち 1 本の論文では複数の RS 值を使用したかどうか の記述が見つからなかったが，複数回の試行を行っていた.

8）深層学習のランダム性を考慮した適切な実験方法とその結果の報告に関する議論として Agarwal ら [19]を参照.

9) https://www. rondhuit.com/download.html\#ldcc

10) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking

11) https://huggingface.co/rinna/japanese-roberta-base

12) https://github.com/BandaiNamcoResearchInc/

DistilBERT-base-jp/blob/main/docs/GUIDE.md

13) https://github.com/Language-Media-Lab/ reproducibility-random-seed/
表 4 関連する論文の測定後の再現度の調査結果. NLP2021 の調査対象 25 本中残りの 6 本の論文のうち 3 本はルール ベースの手法であり，うち 1 本では交差検証を行っていた．その他の 3 本はデータ分析を行っていた.

の正解率をそれぞれ一つずつ組み合わせた場合に BERT の正解率が RoBERTa の正解率を超えた割合は $4.64 \%$ であった.この結果より，二つのモデルを比較して一方が他方より優れていると言うためには,複数の RS 值を用いた実験を行うことが重要である ことが示唆される.また，ここでは統計検定の結果 や効果量の報告が有用である ${ }^{14)}$ 。例えば，RoBERTa での実験の平均值と BERT での実験の平均值が等し いという帰無仮説の下でのスチューデントの両側 $t$検定での $p$ 值は $3.83 \times 10^{-11}$ であった.このことか ら， RoBERTa の livedoor ニュースコーパスでの平均的な分類性能は BERT より優れていると推論するこ とは合理的だと考える.

## 4 日本の NLP 研究における再現度

本節では日本の NLP 研究の再現性を簡易的に調査する. 調査対象は，言語処理学会第 27 回年次大会（NLP2021）で発表された論文からランダムに選 ばれた 25 本 ${ }^{15)}$ ，会誌『自然言語処理』 28 巻 $3 ， 4$ 号 に掲載された一般論文 17 本である.

## 4.1 測定前の再現度

測定前の再現性を確保するためにはコードやデー タの公開が重要である. しかし，少なくともコード はあまり公開されてない. Wieling ら [12]による調査によれば，コード公開とデータ公開のどちらも改善されつつあるが，2016年の ACL で発表された論文に関して，データが共有されたのは全体の $86.3 \%$, コードが共有されたのは全体の $59.3 \%$ であった ${ }^{16)}$.

本稿で調査したコード・データの公開状況の結果 を表 3 に示す.データ公開については半分以上の論文が少なくとも部分的に公開しているか公開され ているデータを用いていた. プライバシーの問題が あるため，データは公開可能な範囲で公開されるの がよいと考える。一方コード公開に関しては,『自然言語処理』の一つの論文以外はすべて非公開だっ

た. 本稿の調査ではメール等で問い合わせてないた め，もしメール等で問い合わせればこの割合は増え るかもしれないが，論文自体に公開情報を載せるこ とがよいと考える.

## 4.2 測定結果の再現度

Belz ら [4]による様々な追試のメタ分析によれば，同一条件下での実験 (つまり測定前の再現性が確保 されている実験）で元論文と厳密に同じスコアが得 られた実験は全体の $14.03 \%$ であり，1\% 以上スコア が異なる追試結果は全体の約 6 割であった.

日本の NLP 研究における測定結果の再現性を調査するには実際に追試が行われる必要があるが，私 たちの知る限り，公開で行われたことはない. 国際的には，人工知能系の学会で再現実験チャレンジが ここ数年行われている $[23,24]$. 今後日本でも行わ れることを期待する。

## 4.3 測定後の再現度

測定後の再現性を直接評価することは困難である が，複数の RS 値の使用や統計検定の実施を調べる ことで間接的かつ定量的に評価できる. Dror ら [14] による調査によれば，2017 年の ACL と TACL で，統計検定を行うべき研究で適切な検定の実施を確認できたのは，ACLでは 180 本中 36 本 $(20 \%)$ で， TACL では 33 本中 18 本（約 $54.5 \%$ ）だった.

本稿での調査結果を表 4 に示す. 査読付きの『自然言語処理』では半分以上の論文がランダム性を考慮した結果の報告を行っているが，NLP2021では半分に満たなかった。今後はランダム性を考慮した実験を行い，結果が適切に報告されるのが望ましい。

## 5 まとめ

本稿では，既存の再現性の定義や説明を包括して 整理できる再現性の時間軸モデルを提案した。また このモデルの下で，各時間軸での再現性を改善する 方法について議論した. 最後に, 日本の NLP 研究 の再現性の簡易的調査を行った。本稿の議論は再現性の改善への小さな一歩であり，また今後，再現性 に関する議論が活発に行われることを期待する。

## 謝辞

日本の NLP 研究の再現性を調査するにあたって 手伝っていただいた同僚の吉井瑞貴さんに感謝し ます。

## 参考文献

[1] Fiona Fidler and John Wilcox. Reproducibility of Scientific Results. In Edward N. Zalta, editor, The Stanford Encyclopedia of Philosophy. Metaphysics Research Lab, Stanford University, Summer 2021 edition, 2021.

[2] Steven N. Goodman, Daniele Fanelli, and John P. A. Ioannidis. What does research reproducibility mean? Science Translational Medicine, Vol. 8, No. 341, pp. 341ps12-341ps12, 2016.

[3] K. Bretonnel Cohen, Jingbo Xia, Pierre Zweigenbaum, Tiffany Callahan, Orin Hargraves, Foster Goss, Nancy Ide, Aurélie Névéol, Cyril Grouin, and Lawrence E. Hunter. Three dimensions of reproducibility in natural language processing. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[4] Anya Belz, Shubham Agarwal, Anastasia Shimorina, and Ehud Reiter. A systematic review of reproducibility research in natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 381-393, Online, April 2021. Association for Computational Linguistics.

[5] Anya Belz. Quantifying reproducibility in NLP and ML. arXiv preprint arXiv:2109.01211, 2021.

[6] Hans E. Plesser. Reproducibility vs. replicability: A brief history of a confused terminology. Frontiers in Neuroinformatics, Vol. 11, p. 76, 2018.

[7] Odd Erik Gundersen and Sigbjørn Kjensmo. State of the art: Reproducibility in artificial intelligence. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] ACL Rolling Review. Arr responsible nlp research checklist, 2021, https://aclrollingreview.org/responsibleNLPresearch/.

[10] Samuel J Bell and Onno P Kampman. Perspectives on machine learning from psychology's reproducibility crisis. arXiv preprint arXiv:2104.08878, 2021.

[11] Emiel van Miltenburg, Chris van der Lee, and Emiel Krahmer. Preregistering NLP research. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 613-623, Online, June 2021. Association for Computational Linguistics.

[12] Martijn Wieling, Josine Rawee, and Gertjan van Noord. Squib: Reproducibility in computational linguistics: Are we willing to share? Computational Linguistics, Vol. 44, No. 4, pp. 641-649, December 2018.

[13] NeurIPS 2021. Neurips paper checklist, 2021, https://neurips . cc/Conferences/2021/PaperInformation/PaperChecklist.

[14] Rotem Dror, Gili Baumer, Segev Shlomov, and Roi Reichart. The hitchhiker's guide to testing statistical significance in natural language processing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1:
Long Papers), pp. 1383-1392, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[15] Norbert L. Kerr. Harking: Hypothesizing after the results are known. Personality and Social Psychology Review, Vol. 2, No. 3, pp. 196-217, 1998. PMID: 15647155.

[16] Oguzhan Gencoglu, Mark van Gils, Esin Guldogan, Chamin Morikawa, Mehmet Süzen, Mathias Gruber, Jussi Leinonen, and Heikki Huttunen. Hark side of deep learning-from grad student descent to automated machine learning. arXiv preprint arXiv:1904.07633, 2019.

[17] Nils Reimers and Iryna Gurevych. Reporting score distributions makes a difference: Performance study of LSTM-networks for sequence tagging. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 338-348, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[18] Jesse Dodge, Gabriel Ilharco, Roy Schwartz, Ali Farhadi, Hannaneh Hajishirzi, and Noah Smith. Fine-tuning pretrained language models: Weight initializations, data orders, and early stopping. arXiv preprint arXiv:2002.06305, 2020

[19] Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron C Courville, and Marc Bellemare. Deep reinforcement learning at the edge of the statistical precipice. Advances in Neural Information Processing Systems, Vol. 34, , 2021.

[20] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. Computing Research Repository, Vol. arXiv:1907.11692, , 2019.

[21] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

[22] 阿部真人. データ分析に必須の知識・考え方 統計学入門 :仮説検定から統計モデリングまで重要トピックを完全網羅. ソシム, 2021 .

[23] Joelle Pineau, Philippe Vincent-Lamarre, Koustuv Sinha, Vincent Larivière, Alina Beygelzimer, Florence d' Alché Buc, Emily Fox, Hugo Larochelle. Improving reproducibility in machine learning research: a report from the neurips 2019 reproducibility program. Journal of Machine Learning Research, Vol. 22, , 2021.

[24] Anya Belz, Anastasia Shimorina, Shubham Agarwal, and Ehud Reiter. The ReproGen shared task on reproducibility of human evaluations in NLG: Overview and results. In Proceedings of the 14th International Conference on Natural Language Generation, $\mathrm{pp}$. 249-258, Aberdeen, Scotland, UK, August 2021. Association for Computational Linguistics.

[25] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019

## A 表 1 の各項目の説明

Goodman ら [2] は「方法の再現性」，「結果の再現性」,「推論の再現性」という 3 つの再現性を提案し ている.「方法の再現性」とは，同じ結果を得るた めの実験方法や手続き自体を繰り返すことができる という性質である。「結果の再現性」は可能な限り 同じ手続きで別の研究チームが同じ結果を得られる という性質であり，Goodman らによれば，これは従来の複製性（Replicability）に対応する。「推論の再現性」は結果の分析や考察から同じ結論を導けると いう性質である.

Cohen ら [3] は「結論の再現性」「知見の再現性」「値の再現性」という 3 種類の再現性を提案し, 別 の概念として複製性または反復性（Repeatability）を 提案している.ここで複製性は「方法の再現性」に 対応し, 「知見の再現性」は「結果の再現性」に対応するが，「発見の性質」は值の比較に基づくとさ れる.「值の再現性」は測定結果の值自体を繰り返 して確認できるかという性質であり，結論の再現性 は，論文の「結論」の項目の記述であるとしている。

Belz ら [4] および Belz [5] は，再現性と複製性（ま たは反復性）の両方を測定結果の性質として定義し ている. Belz らは，複製性を実験時刻以外が同じ条件の下での測定結果（の分布）であると定義し，再現性を異なる条件下での測定結果（の分布）である と定義している。

## B livedoor ニュースコーパス上での 実験詳細

livedoor ニュースコーパスのデータセットの統計情報を表 5 に記載する。本実験では本データセッ トを $6: 2: 2$ の割合で学習セット $(4,420$ 件 $)$, 検証 セット ( 1,473 件), テストセット（1,474 件）に分割 した. 各データにはタイトルと本文が含まれている が，本実験では本文のみを用いた.

本実験で使用したハイパーパラメータを表 6 に示 す. 使用した三つのモデルでハイパーパラメータは 共通である。また，本実験では早期終了を用いてお り，検証セットでの損失が 3 回連続で更新されな かった場合に，その時点までで検証セットで最も損失が小さいモデルを用いてテストセットで評価し た.

17) https://pytorch.org/docs/stable/generated/torch optim. AdamW.html表 5 livedoor ニュースコーパスの各カテゴリ内のデー 夕数.

表 6 実験に用いたハイパーパラメータ. 本実験では三つ のモデルすべてで共通のハイパーパラメータを使用した. AdamW の学習率以外のハイパーパラメータは Pytorch の デフォルト設定を用いた ${ }^{17)}$.

## C 再現性調査の対象とした NLP2021 の論文の発表番号一覧

A6-1, A8-4, B7-2, B7-3, C4-2, C8-4, D1-4, D2-2, D5-3, D6-3, D8-1, E9-3, P1-3, P1-6, P3-4, P3-12, P3-17, P4-6, P4-21, P5-14, P6-15, P6-20, P7-14, P8-1, P9-14


# クラス定義文を用いた Wikipedia 記事の分類

林歓樹 1 中山功太 ${ }^{2,3}$ 関根聡 ${ }^{2}$
1 早稲田大学基幹理工学部情報理工学科 2 理化学研究所 AIP ${ }^{3}$ 筑波大学情報生命学術院
rainline@akane.waseda.jp \{kouta.nakayama, satoshi.sekine\}@riken.jp

## 概要

本稿では、文書分類の一手法としてクラス定義文と深層学習を用いた手法を提案する。本手法は、 Zero-shot 設定にも適用可能といった特徴がある。提案手法のモデルを Wikipedia 構造化プロジェクト 「森羅 2021」の多言語分類タスクで提出した結果、全参加者のモデルの中で 30 言語中 17 言語でトップ の性能を示した。また、Zero-shot 設定でも実験を行 い、提案手法が一定の有効性を持つことを示した。 その結果から Zero-shot 予測に適した定義文につい て議論を行なった。

## 1 はじめに

近年深層学習を文章分類タスクへ適用した事例 が多く報告されている。その中でも訓練時に現れ なかったクラスを分類時に認識できるようにする Zero-shot 学習が盛んに研究されている [1]。

「森羅プロジェクト」[2]では、Wikipedia 上の知識 を機械が認識できるような形式に構造化することを 目標に、多くの人の協働のもとでリソースの構築を 行なっている。その中の分類タスクでは、Wikipedia 記事を拡張固有表現1) に基づいたカテゴリーへ分類 する。

本稿では、Wikipedia 記事の分類タスクを解くた め、クラス定義文を深層学習と併せて利用すること で分類を行う手法を提案する。実験によって、定義文を用いたアプローチが文章分類タスクで有効であ ること、また、Zero-shot 設定においても定義文を用 いたアプローチが有効であることを示す。

## 2 SHINRA2021ML

SHINRA2021ML は、30 言語の Wikipedia 記事を拡張固有表現に基づいた約 220 のカテゴリーに分類 をするタスクである。本タスクでは分類済み日本語 Wikipedia 記事から言語間リンクが張られている他

1) http://liat-aip.sakura.ne.jp/ene/ene8.1/definition_jp/言語の記事を訓練データとして用いている。本来は 複数クラスへの分類タスクだが、訓練データのうち 複数クラスに分類される例が $2.50 \%$ と非常に少ない ため、今回は単一クラスの分類タスクとして扱う。

## 3 関連研究

今まで提案された多言語における Wikipedia 記事 の分類手法として、多言語 BERT モデル [3] を全言語で学習させたのち、各言語のモデルを作成してそ の言語ごとの学習データのみで fine-tuning するとい う手法が提案されている $[4]$ 。その際用いられる学習データは Wikipedia 記事本文のみである。また本文以外の情報を学習データに利用した手法も提案さ れている [5]。記事本文の他に、記事同士の関係を 表した知識グラフ、画像情報、記事のレイアウト、拡張固有表現の階層情報を学習データとして利用し ている。また、Wikipedia 自身のカテゴリ情報のみ を用いて分類する手法も提案されている [6]。

Aly らは、クラス定義文を利用した Zero-shot 固有表現抽出の手法を提案している [1]。対象とする文 にクラス定義文を連結して深層学習モデルに入力す ることで訓練時に現れないクラスの抽出を行なって いる。

本研究では、Wikipedia の記事の分類にクラス定義文の情報を利用する手法を提案する。さらに Zero-shot 設定での分類も行う。

## 4 提案手法

一般的なクラス分類モデルでは、深層学習モデル の出力ベクトルと、各行が各クラスに対応する学習可能な行列との積を取ることでクラス予測を行う。 そのため、各クラスに付与された情報を用いること ができない。対して、提案手法では後者の行列をク ラスに付与された定義文を元に生成する。つまり、文章を埋め込むモデルの出力べクトルとクラス定義文を埋め込むモデルの出力行列の積により最終的な クラスを予測する。

## Wikipedia 記事の埋め込み表現の取得方法 初め

に Wikipedia 記事の文章を、WordPiece[7] により分割し、トークン列 $\mathbf{x}=\left(x_{1}, x_{2}, \ldots, x_{p}\right)$ を得る。 $p$ は深層学習モデルへの入力長である。WordPiece はサブ ワードの考え方を用いた分割の一手法である。次 に、104 言語で事前学習された多言語 BERT モデル [3] を用いて得られたトークン列から埋め込みべク トル $\mathbf{v} \in \mathbb{R}^{n}$ を得る。2)ここで $\mathrm{n}$ は埋め込みべクトル の次元数である。

## クラス定義文の埋め込み表現の取得方法 SHINRA2021ML タスクでは階層的な拡張固有表現 の末端カテゴリーへの分類を行う。そのため我々は 本実験では、未端カテゴリーのクラス定義文のみを 用いる。拡張固有表現の $i$ 番目の末端カテゴリの 定義文に対し、Wikipedia 記事と同様の前処理を行 い、トークン列 $\mathbf{t}_{i}=\left(t_{i, 1}, t_{i, 2}, \ldots, t_{i, q}\right)$ を得る。 $q$ は深層学習モデルへの入力長である。その後、学習済み 多言語 BERT を用いて、埋め込みべクトル $\mathbf{g}_{i} \in \mathbb{R}^{n}$ を得る。また、すべての定義文を埋め込むことで行列 $G \in \mathbb{R}^{c \times n}$ を得る。 $c$ は末端カテゴリーの総数で ある。

クラス分類 得られた文章埋め込みベクトル $v$ と 定義文埋め込み行列 $G$ の積により、最終的な各クラ スの予測確率 $\mathbf{p} \in \mathbb{R}^{c}$ を得る。

$
\mathbf{s}=\operatorname{softmax}\left(\mathbf{t} G^{\boldsymbol{\top}}\right)
$

最終的な予測クラス $y$ は、次のように求まる。

$
y=\underset{i \in\{1, \ldots, c\}}{\arg \max } \mathbf{s}_{i}
$

損失関数には、交差エントロピー誤差を用いる。

## 5 実験

## 5.1 実験 1: ベースラインとの比較

データセット 森羅 2021 において配布された 30 言語の Wikipedia 記事とその分類先カテゴリの教師 データを学習に用いた。評価は森羅 2021 のテスト データで行った。

実験対象モデル 以下の 2 つのモデルの評価を行 なった。

mBERT ベースラインモデル。 multilingual BERT に よって Wikipedia 記事の本文の埋め込み表現を

2）この際トークン列に対してそれぞれ文章の先頭と終端を示 す特殊トークン [CLS] と [SEP] を結合する。得て、1 層の線形層を用いて分類を行うモデル。 mBERT_def 提案手法。2つの multilingual BERTを 用いて Wikipedia 記事と定義文の埋め込み表現 をそれぞれ得て、その類似度によって分類を行 うモデル。

学習設定 分類先カテゴリ数は $c=221$ であ る。記事と定義文の埋め込みベクトルの次元数は $n=768$ を使用した。各モデルはエポック数 8 、ミ ニバッチサイズ 64 で学習を行なった。学習率は $5.0 \times 10^{-5}$ に設定した。Wikipedia 記事の埋め込み表現の入力長は $p=512$ に設定した。また、定義文の 埋め込み表現の入力長は $q=93$ に設定した。

## 5.2 実験 2: Zero-shot 設定

Zero-shot 設定での実験を行なった。

データセット 森羅 2021 において配布された 30 言語の Wikipedia 記事とその分類先カテゴリの教師 データのうち、正解クラスを出現頻度順にソートし たときに、上位 $80 \%$ のクラスを学習データ、80〜 90 \%のクラスをテストデータとして用いた。評価 はテストデータを用いて行なった。クラスの分割に ついては表 1 に示す。

実験対象モデル mBERT_def のみで実験を行 なった。

学習設定 分類先カテゴリ数は学習時は $c=32$,推論時は $c=26$ である。記事と定義文の埋め込みべ クトルの次元数は $n=768$ を使用した。各モデルは エポック数 8、ミニバッチサイズ 64 で学習を行なっ た。学習率は $5.0 \times 10^{-5}$ に設定した。Wikipedia 記事 の埋め込み表現の入力長は $p=512$ に設定した。ま た、定義文の埋め込み表現の入力長は $q=93$ に設定 した。

## 6 評価結果

## 6.1 実験 1

各モデルの森羅 2021 のテストデータによる各言語に対する評価結果を表 2 に示す。mBERT_def の 結果は、mBERT より 28 言語のうち 17 言語で性能 が向上した。

また、全参加者のモデルの中で、mBERT_def が 30 言語のうち 17 言語で最も良い性能を示した。定義文を用いたアプローチが性能の向上につながって いることがわかる。
表 1 実験 2 のクラス分割

## 6.2 実験 2

Zero-shot 設定での各クラスごとの評価結果を表 3 に示す。全体としての F1 値のマイクロ平均は 0.30 とあまり高くない数字だが、クラスごとに見ると 0.70 を超えるクラスがいくつかあり、定義文を用い たアプローチが一定の有効性を示している。

予測性能の差に関する定義文の分析 最も F1 値 が高かった 3 クラスと低かった 3 クラスについて 詳細な分析を行なった結果を表 4 に示す。ここで 本文とは Wikipedia 記事本文の先頭 512 単語のこと である。また、定義文の単語とは、定義分に含まれ る単語から"an"や"of"などのストップワードを除い たものである。F1 值が高い 3 クラスのうち Reptile と Era は、定義文に含まれる単語のうち本文に含 まれる単語の割合が高く、F1 值が 0 の 3 クラス は低いことがわかる。このことから、定義文に含 まれる単語が Wikipedia 記事本文に含まれている と F1 值が高くなる傾向があると言える。しかし、 Astronominal_Object_Otherクラスに関しては、定義文の単語のうち本文に含まれる単語の割合が低いの にもかかわらず高い F1 值を出している。これは表 5 に示した定義文を見ると、Astronominal_Object_Other クラスの定義文は例示を多用していたり注釈がつ表 2 実験 1 のテストデータに対する結果

いていたりと他の定義文と比べて長くなっている。 これによってより多い単語を定義文に含むため、 Wikipedia 記事本文に定義文の単語が含まれる割合 が高くなると考えられる。実際、表 4 に示したよう に、Astronominal_Object_Otherクラスでは、本文に 定義文の単語が一つでも含まれる割合が高くなって いる。以上から、定義文の単語が記事本文に含まれ る割合が高いとき、または定義文の長さが長く、定義文の単語が記事本文に含まれやすくなっていると きに F1 值が高くなる傾向があると考えられる。
表 3 実験 2 のテストデータに対する結果

表 4 実験 2 の定義文に関する分析

 &  \\

Era & 0.74 & 0.426 & 0.844 \\
Astronomical_ & 0.71 & 0.122 & 0.962 \\
Object_Other & & & 0.768 \\
animal_disease & 0 & 0.267 & 0.674 \\
Academic & 0 & 0.296 & 0.817 \\
Theory & 0 & 0.306 &

表 5 定義文の例

 \\
& subordinate categories (1.5.4.1 - \\
& 1.5.4.3).Examples are a galaxy, neb- \\
ula, comet, satellite, interstellar sub- \\
stance, planetary system, etc. An ar- \\
tificial satellite is not included here

## 7 おわりに

本研究では、森羅 2021 の多言語分類タスクにお いて、定義文を用いたアプローチが有効であるこ と、また、Zero-shot の設定でも定義文を用いたアプ ローチがある程度有効であることを示した。また、 Zero-shot 設定の実験から、どのようなクラス定義文 が文書分類に役立つのかを示した。この結果から、 Wikipedia の文書分類に限らない、他のタスクへの 応用が考えられる。また、各言語ごとの詳細な分析 を行うことで、更なる性能向上につなげられる可能性がある。それらについては今後の課題とする。

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けた ものです。

## 参考文献

[1] Rami Aly, Andreas Vlachos, and Ryan McDonald. Leveraging type descriptions for zero-shot named entity recognition and classification. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, 2021.

[2] Satoshi Sekine, Masako Nomoto, Kouta Nakayama, Asuka Sumida, Koji Matsuda, and Maya Ando. Overview of shinra2020-ml task. In Proceedings of NTCIR-15, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In NAACL HLT 2019, 2019.

[4] The Viet Bui and Phuong Le-Hong. Cross-lingual extended named entity classification of wikipedia articles. In Proceedings of NTCIR-15, 2020.

[5] Hiyori Yoshikawa, Chunpeng Ma, Aili Shen, Qian Sun, Chenbang Huang, Guillaume Pelat, Akiva Miura, Daniel Beck, Timothy Baldwin, and Tomoya Iwakura. Uom-fj at the ntcir- 15 shinra2020-ml task. In Proceedings of NTCIR-15, 2020.

[6] Masaharu Yoshioka and Yoshiaki Koitabashi. Hukb at shinra2020$\mathrm{ml}$ task. In Proceedings of NTCIR-15, 2020

[7] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Moham-
mad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation, 2016.