# トピックエントロピーに基づく学習データ選択による 事前学習言語モデルの訓練安定性向上

永塚光一 渥美雅保
創価大学大学院 理工学研究科
e20d5301@soka-u.jp matsumi@soka.ac.jp

## 概要

本稿では，事前学習言語モデルの訓練の安定化 を目的として，新たな学習データ選択手法であ る Topic Entropy-based Data Selection (TEDS) を提案す る. TEDS では，テキストに含まれるトピックの多様性指標であるトピックエントロピーを定義した上 で，(i)トピックエントロピーの高い一部の学習デー タによる訓練，(ii) 全学習データによる訓練という 2 段階の事前学習を行う. 提案手法の効果を検証する ために，検証損失に基づく訓練安定性と GLUE ベン チマークを用いた下流タスクの性能を評価した. 実験により，TEDS を用いたモデルはベースラインと 比較して検証損失が安定的に減少し，より高い汎化性能を獲得することを示した。

## 1 はじめに

近年, 事前学習言語モデル ${ }^{1)}$ (Pre-trained Language Model， PLM) は自然言語処理分野において大きな 成果を上げている [1,2]. PLM は，小規模なラベル 付きデータセットを用いてファインチューニングを 行うことにより，様々な自然言語処理タスクにおい て最高精度を達成している。一方で，大規模なコー パスを用いた事前学習は計算コストが非常に高く,特に訓練が不安定である場合には，計算コストが更 に増加するという問題がある。

PLM の学習効率を向上させるために，これまでに 多くの研究が行われている. 代表的な例として，よ りパラメータ数の少ないモデルアーキテクチャを設計するアーキテクチャベースの手法 $[3,4,5,6,7]$,効率的な事前学習を行うために新たな目的関数を定義するオブジェクティブベースの手法 $[8,9]$, 更に.効果的な学習データ選択と学習スケジュールの実行


を通して，学習効率を向上させるデータセットベー スの手法がある $[10,11,12]$. アーキテクチャベース やオブジェクティブベースの手法は既に PLM の学習効率向上に大きく貢献している一方で，データ セットベースの手法はまだ比較的研究が少ない.

代表的なデータセットベースの手法として，カリ キュラム学習 [12] が挙げられる. カリキュラム学習 は，定義された難易度の指標に基づき，簡単な学習 サンプルからより難易度の高い学習サンプルへと訓練を徐々に移行させることにより，モデルの学習効率を高める手法である．PLM にカリキュラム学習 を適用するためには，学習データとなるテキストに 対して，難易度の指標を設計する必要がある．テキ ストの難易度を定義することは，言語学の分野では Readability の研究として知られており，テキストの 難易度を決める要因は，(1) 語彙レベル，文法構造の 複雑さ，単語や文の長さなどのミクロ要因，(2) テ キストのトピックや一貫性などのマクロ要因に分類 される [13]. ここで，(1)ミクロ要因に関しては，語彙頻度 [12] やテキストの長さ $[10,11]$ を活用した手法が提案されているが，(2) マクロ要因については 十分に研究が行われていない。

本稿では，学習サンプルの難易度指標としてマ クロ要因の一つであるトピックに着目し，新たな 学習データ選択手法である Topic Entropy-based Data Selection (TEDS) を提案する．TEDS では，学習効率が高い (難易度が低い) テキストは多様なトピック から構成されるという仮説に基づき，学習サンプル のトピックの多様性を計測する新たな指標として， トピックエントロピーを定義する。テキストの潜在的なトピックを推定する手法には，トピックモデル の一つである Latent Dirichlet Allocation (LDA) を用い る. 実験により，TEDS を用いたモデルでは，ベー スラインと比較して訓練の安定性及び下流タスクに おける汎化性能が向上することを示す.

図 1: TEDS の全体像

## 2 関連研究

近年の研究では，大規模な言語モデルの学習効率化にデータセットベースの手法が用いられている。例えば，GPT-3[14] や T5[15] などの高コストな事前学習を伴うモデルでは, 複数のコーパスから指定さ れたサンプリング比率で学習データを収集すること でデータセットの品質を高めるデータ選択手法を採用している．また，テキストの長さを難易度の指標 としてカリキュラム学習を GPT-2 や BERT の事前学習に適用する研究が行われている $[10,11,16]$. ここ で，標準的なカリキュラム学習では難易度の指標に 加えて，学習データを徐々に増加させるためのスケ ジューラを設計するが，我々の TEDS は，二段階の みで構成されるよりシンプルな手法であり，こうし たスケジューラが提案手法に与える影響については 検証しない。したがって，提案手法をカリキュラム 学習とは呼称しないこととする。

## 3 提案手法

図 1 に示すように，TEDS は 2 つのステップから 構成される. 1 つ目のステップでは，コーパスに含 まれる文書集合を用いて，LDA の訓練を行う (図 1a). 2 つ目のステップでは，訓練した LDA を用い て各学習サンプルのトピックエントロピーを計算す る. 続いて，トピックエントロピーの高い一部の学習サンプルを抽出したのち，抽出データと全学習 データを用いて，2 段階の事前学習を行う (図 1b). LDA 及び PLM の訓練には，Wikipedia の英語記事か ら構成されるコーパスである WikiText-103[17] を用 いる.

## 3.1 LDA の訓練

LDA を訓練するために，WikiText-103 から各記事 をあらかじめ定義されたフォーマットに従って抽出 し，記事集合を得る。続いて，Byte-level BPEトーク ナイザ [18] を用いて各記事をサブワードに分解した のち，ストップワード2)除去を行う．また，TF-IDF によるフィルタリングにより，語彙数を約 $50 \%$ 削減 する.ここで，LDA は単語ではなくサブワードに 基づいて学習される．既存のトピックモデルでは，単語による訓練が一般的であるが，提案手法では Transformer ベースの言語モデルの入力形式との一貫性を保つために，サブワードを用いる。

## 3.2 PLM の訓練

## 3.2.1 トピックエントロピー

トピックエントロピーは，与えられたテキストに 含まれるトピックの多様性を測定するために我々が 提案した新たな指標である. TEDS では，少数のト


ピックのみが存在する学習サンプルよりも多様なト ピックを含む学習サンプルを選択することが，言語 モデルの初期の訓練安定化に有効であると仮定す る. 学習サンプルを構成するトークン系列 $\boldsymbol{x}$ が与え られた時，トピックエントロピーは以下の式で計算 される.

$
T E(\boldsymbol{x})=-\sum_{k=1}^{K} p(k \mid \boldsymbol{x}) \log p(k \mid \boldsymbol{x})
$

ここで，Kはトピックサイズ， $p(k \mid \boldsymbol{x})$ は LDA に よって計算された事後確率分布におけるトピック $k$ の条件付き確率である. 各学習サンプルに対して, トピックエントロピーを計算し，トピックエントロ ピーが高い上位の学習サンプルを抽出することで，初期の事前学習に用いる学習データセットを構築 する.

## 3.2.2 2 段階事前学習

学習する言語モデルとして, 本研究では, RoBERTa[2]を採用する. TEDS の事前学習は 2 つの サブステージから構成される。まず，トピックエン トロピーの高い学習サンプルを用いて，総トレーニ ングステップ数の半分まで RoBERTa を訓練する.

次に，全ての学習サンプルを用いて，トレーニング ステップ数の終了まで RoBERTa の訓練を継続する.学習データには, LDA の訓練と同様に WikiText-103 を用いる。また，学習サンプルのトークン数は 128 に設定する。

## 4 実験

## 4.1 実験設定

提案手法を評価するために，訓練安定性と汎化性能という 2 つの観点から, TEDS とベースラインの 比較を行う. ベースラインとして, 通常の事前学習 と同様にはじめから全ての学習データを用いる All Data Selection (ADS) 及びランダムに学習データを抽出する Random Data Selection (RDS), 語彙頻度に基 づくカリキュラム学習であるVocab CL[12]を設定す る. VocabCL は，カリキュラム学習の研究の初期に おいて提案された手法であり, 単純な FFN 層から構成されるニューラルネットワークに基づく N-gram 言語モデルの訓練効率化に有効であることが報告さ れている. Vocab CL ではコーパス中での頻度を基 に語彙をランキングしたのち, 最初のステージで低頻度語彙 (希少語彙)を含まない学習データを抽出し てモデルに与える.

LDA のトピックサイズは 50 に設定し，TEDS 及 び RDS において抽出する学習データサイズは，全 データの $25 \%$ とする．また，VocabCLでは，低頻度語彙の定義を下位 $10 \%$ の頻度の語彙とすることで, TEDS 及び RDS と同等程度のデータサイズである約 $27 \%$ の学習データを抽出する. 訓練安定性を評価す るために，各モデルに対して異なるランダムシード を用いて 5 回ずつ事前学習を行う。総トレーニング ステップ数は 10 万回とし, 5 万トレーニングステッ プで全学習データに訓練を移行させる. 事前学習を 行った各モデルの汎化性能の計測には, GLUE ベン チマーク [19] における 9 つの下流タスクを採用す る. ここで, TEDS の後半の訓練において, 全学習 データを追加する効果を検証するために，全学習 データに訓練を移行させないモデルの汎化性能も評価する. PLM のファインチューニングに関しても，異なる 3 つのランダムシードで訓練を行ったのち，各下流タスクの平均スコアを評価する。全てのモデ ルに共通のモデルアーキテクチャとして，12 層と 12 個の注意ヘッドから構成される RoBERTa-base ${ }^{3)}$ を用いる.トークナイザの訓練により獲得された 語彙数は 29,833 であり, モデルの入力トークン数 は 128 ，ミニバッチ数は 64 とする. マスキング率は 15\%に設定し, 最適化手法として, AdamW[20] を使用する.

## 4.2 実験結果

## 4.2.1 訓練安定性の評価

図 2 に TEDS とベースラインの学習曲線を示す.図 2a からわかるように, ADS と RDS の検証損失は 少しずつ減少し続けているものの，ADS における一度の訓練を除いて，全ての訓練で検証損失が高止ま りした.また，Vocab CL を用いたモデルについて も，他のベースラインと同様に TEDS のような急激 な検証損失の減少は確認されなかった (図 2b). 一方 で，TEDS を用いたモデルでは，どの訓練において も，検証ロスが 2 万トレーニングステップ付近で安定的に減少した.これらの結果は, TEDS により, PLM の訓練安定性が通常の学習よりも大幅に向上 することを示している. 更に，RDSを用いたモデル の訓練安定性が向上していないことから，ランダム


(a) TEDS, ADS and RDS

(b) TEDS and vocab CL

図 2: 提案手法とベースラインの学習曲線の比較

表 1：各モデルの GLUE ベンチマークスコアの比較．太字は各タスクの最高値を示す．QQPでは F 値を，CoLA についてはマシューズ相関係数を，それ以外のタスクについてはアキュラシーを それぞれ報告している。

にデータサイズを削減するだけでは不十分であり, トピックエントロピーの高い学習サンプルを選択す ることが重要であることがわかった.

## 4.2.2 汎化性能の評価

表 1 に各モデルの GLUE スコアの比較を示す. TEDS を用いたモデルは WNLI を除く全ての下流タ スクにおいて最高值を達成し, 全タスクの平均値 において，ベースラインを 3 ポイント以上上回っ た. このことから，TEDS により安定した事前学習 を行ったモデルは汎化性能も向上することが確認 された. ベースラインでは，ADS が最も良いスコ ア(58.06)を達成し，RDS と Vocab CL をわずかに上回る結果となった. 更に，TEDS では，全学習デー タを追加学習するモデル (TEDS w/ all data) の方が,全学習データを追加学習しないモデル (TEDS w/o all data) と比較して， 7 つの下流タスクにおいて高いス コアを獲得し, 平均スコアで約 0.9 ポイント上回っ た. 訓練安定性の評価では，はじめから全データを 用いることは初期の学習の安定性を損なうことが確認された。一方で，今回の結果から，トピックエン トロピーが高い学習サンプルを選択することで初期 の訓練を安定化させた場合，後半の訓練で全ての学習データを用いて追加学習することが汎化性能の向上にとって好ましいことが確かめられた.

## 5 まとめ

本稿では，事前学習言語モデルの訓練安定性を向上させる新しいデータ選択手法である TEDS を提案 した. TEDS では，テキストに含まれるトピックの 多様性指標であるトピックエントロピーに基づい て学習データを抽出し，2 段階の事前学習を行う. WikiText-103 を用いた実験の結果，TEDS を用いた モデルはベースラインよりも訓練安定性が大幅に高 くなることがわかった. また，GLUE ベンチマーク を用いた汎化性能の評価においても，TEDS に基づ くモデルが平均スコアでベースラインを大きく上回 ることが示された. 今後の課題として，本手法をよ り大規模なコーパスを用いた訓練に応用することが 期待される。

## 謝辞

本研究は, 国立研究開発法人科学技術振興機構 (JST) による次世代研究者挑戦的研究プログラムの 支援を受けて実施されたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, volume 1, pages 4171-4186, 2019.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019. [arXiv:1907.11692].

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite BERT for self-supervised learning of language representations, 2020. [arXiv:1909.11942].

[4] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of bert: smaller, faster, cheaper and lighter, 2019. [arXiv:1910.01108].

[5] Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, and Ivan Titov. Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 5797-5808, 2019.

[6] Adrian de Wynter and Daniel J. Perry. Optimal subarchitecture extraction for bert, 2020. [arXiv:2010.10499].

[7] Sainbayar Sukhbaatar, Edouard Grave, Piotr Bojanowski, and Armand Joulin. Adaptive attention span in transformers. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 331-335, 2019.

[8] Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning. Electra: Pre-training text encoders as discriminators rather than generators, 2020. [arXiv:2003.10555].

[9] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In Advances in Neural Information Processing Systems, volume 32, 2019.

[10] Koichi Nagatsuka, Clifford Broni-Bediako, and Masayasu Atsumi. Pre-training a BERT with curriculum learning by increasing block-size of input text. In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021), pages 989-996, 2021.

[11] Ameeta Agrawal, Suresh Singh, Lauren Schneider, and Michael Samuels. On the role of corpus ordering in lan- guage modeling. In Proceedings of the Second Workshop on Simple and Efficient Natural Language Processing, pages 142-154, 2021.

[12] Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. In Proceedings of the 26th Annual International Conference on Machine Learning, page $41-48,2009$.

[13] Jae-Ho Lee and Yoichiro Hasebe. Readability measurement of japanese texts based on levelled corpora. The Japanese Language from an Empirical Perspective, pages 143-168, 2020.

[14] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, volume 33, pages 1877-1901, 2020.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 21(140):1-67, 2020.

[16] Conglong Li, Minjia Zhang, and Yuxiong He. Curriculum learning: A regularization method for efficient and stable billion-scale gpt model pre-training, 2021. [arXiv:2108.06084].

[17] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer sentinel mixture models, 2016. [arXiv:1609.07843].

[18] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, 1(8):9, 2019.

[19] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pages 353-355, 2018.

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization, 2017. [arXiv:1711.05101].
 永塚光一 渥美雅保 創価大学大学院 理工学研究科 e20d5301@soka-u.jp matsumi@soka.ac.jp  