# ニューラル言語モデルの効率的な学習に向けた 代表データ集合の獲得

鈴木潤1,2* 全炳河 ${ }^{1}$ 賀沢秀人1
${ }^{1}$ Google 合同会社 ${ }^{2}$ 東北大学
\{junsuzuki, heigazen, kazawa\}@google.com

## 概要

本稿では，大規模な学習データから選択した少量 の代表データ集合を用いてニューラル言語モデルを 学習した際に, 元の学習データ全てで学習した場合 と同等な性能を達成できるかという研究課題につい て検証する。実験では，二つの特性の違う言語モデ ルの尤度差に基づく選別方法により代表データ集合 を獲得し，GLEUベンチマークデータで評価をおこ なった. 元データの 20 分の 1 から 50 分の 1 程度ま で削減した代表データ集合から学習したニューラル 言語モデルの GLUE 平均スコアが, 全データから学習した場合と同等であることを示す.

## 1 はじめに

自然言語処理の研究分野では, 2017 年頃から ニューラル言語モデルの研究が注目され, 以降数多 くの研究成果が報告されている $[1,2,3,4,5,6]$. こ れまでに発表された多くの研究において，ニューラ ル言語モデルを事前学習済みモデルとして解きたい タスクに特化したモデルに組み込むことで，事前学習済みニューラル言語モデルを用いない場合と比較 して飛躍的に性能を向上できることを示している. つまり，特定のタスクに依存しない大規模な生テキ ストから学習した事前学習済みニューラル言語モデ ルは, 多種多様な自然言語処理タスクの汎用特徵量 (universal feature) として効果的に機能することを示 している.このことからも，ニューラル言語モデル は，昨今の自然言語処理の成功の根幹を担う必須の 基盤技術と言える。

事前学習済みニューラル言語モデルに関しては,最近の様々な研究により, 学習データ量, および, モデルサイズを大きくすることが比較的一貫性を もって性能を向上できる二大要因であることが検証され，実験的に立証されている $[2,3,6]$. ただし， その性能向上の効率に関しては，例えばデータ量や モデルサイズに対して概ね対数線形程度で効果が得 られる場合が多いことも同時に知られている $[7,8]$. つまり，あるデータ量で得られる性能からデータを 増やして得られる性能向上と同程度の性能向上をさ らに目指す場合は，増やしたデータの 10 倍増やす 必要がある.このことから，より性能の高い言語モ デルを獲得するには，膨大な量の学習データ，およ び，その処理に必要な大規模な計算リソースが必要 になることを意味する．実際に，性能の高い事前学習済みニューラル言語モデルは，潤沢な計算リソー スを持つ大手企業や研究機関からリリースされるこ とがほとんどであり，例えば大学の研究室などの多 くの計算リソースや研究資金を持たない場合は，高性能な事前学習済みニューラル言語モデルを構築す るのは非常に困難である. このようにな現状から，事前学習済みニューラル言語モデルのような重要な 基盤研究を，多数の研究機関で取り組むことができ ない状況が発生していると考えられる. 重要な要素技術の研究に対して広く研究者が参加できないのは あまり適切な状況とは言えない。

そこで，本稿では，ニューラル言語モデルの学習 データに着目し，大規模なニューラル言語モデルを 学習する際に用いるデータから，同等かそれ以上の 性能を持つニューラル言語モデルを学習できる部分集合を抽出できるかについて検証をおこなう．本稿 では，便宜上，ある特定のデータセットに対して， そのデータセットの性質を適切に保持する部分集合 を「代表データ集合」と呼ぶこととする。もし，効果的な代表データ集合を抽出できれば，現実的な計算リソースおよび研究資金で事前学習済みニューラ ル言語モデルの研究ができるようになり，より多く の研究者が参加し分野の発展がより早く進むことが 期待できる。
^{*}$ Google Visiting Researcher として実施した研究成果
}

## 2 関連研究

本研究と同様に，少ない計算資源と研究資金で事前学習済み言語モデルの研究を実現することを主目的とした取り組みが既になされている [9]. この論文では，24 時間で BERT[2] の学習を実現するため に必要な学習時の設定やモデルの改良などを示して いる (通称 24hBERT). この論文により, 計算リソー スが少ない環境でもニューラル言語モデルの効率的 に学習する知見が数多く示されている。

これまでのニューラル言語モデルの研究では，性能向上の方策の一つとしてデータ量を増やしていっ た.しかし, 最近では, Common Craw1 ${ }^{11}$ などの現在比較的簡単に取得可能な生テキストのうち最大級の データ（webテキスト）を使うのが当たり前となり， これ以上は安易にデータが増やせない状況になって きた.このように，データ量増加に関して頭打ちに なりつつあることから，次に量から質を高める方向 が注目されるようになった. 実際に，データの質を 制御あるいは向上させることで，最終的なニューラ ル言語モデルの性能が向上したという報告も散見さ れるようになった [10]. 従来のように方法論として モデルの改良ではなく，データに焦点をあてデータ を改良することで最終的なタスク性能を向上させよ うという取り組み（例：[11,12,12]）を，最近では データ中心 $\mathrm{AI}$ (Data-centric AI）研究と総称し新た に注目すべき研究カテゴリとなっている2). 本研究 も，こういったデータに着目した研究の一環と捉え ることができる.

## 3 代表データ集合の選別

本来，この代表データ集合という用語を定義する ために，データセットの性質と計測方法など上記の 説明を定量的かつ明確に計算するための定義が必要 であるが，ここでは直接的な定義は設けない。その 代わり，目的タスクにおいて，データ全体を用いた 時と同等かそれ以上の性能を達成することができ る部分集合のデータと定義する. つまり, 直接の計測は困難なので，目的タスクの性能をもって，代表 データ集合が元のデータ集合の性質を保持している と間接的に計測する方法をとる。本稿においては，言語モデルの性能について評価することが目的であ るため，言語モデルの性能評価に一般的に用いられ


るベンチマークデータの性能を比較することで，効果的な代表データ集合が獲得できたかを判断する。

代表データ集合を選出する方法論には，多くの方法が考えられる.ここでは，簡単な方法論として文献 [13] にて提案された尤度差に基づく方法論を取り 上げる. 注意点として, 本手法は全く何もない状態 から代表データを抽出する汎用の方法ではない。ま た，それを目指しているわけでもない。あくまでも 最新のニューラル言語モデルが存在し, その学習が 可能な環境があることを前提とし，それを出発点と して，いかに有用な代表データ集合を選別できるか を考える。これは，代表データ集合を一度作成する ことができれば，以降はこのデータを使うことで，少ないデータから高品質な言語モデルを作成できる ようになり，言語モデルそのものの研究を限定され た計算環境しかない場合でも実行できるようにした い，という目的を達成するためである.

## 3.1 尤度差に基づく選別

言語モデルに効果的なデータかどうかを判断す る方法として，文献 [13] にて提案された二つの言語モデルの尤度差を利用する方法を, 本研究の目的 に合わせた形で流用する。この方法は, 特定のドメ インに特化したデータ (in-domain data) から学習した 言語モデルと，特定のドメインに特化しないデータ (non-domain-specific data) から学習した言語モデルに より計算される対象テキストの尤度差により，特定 のドメインにより適したデータを選別する方法で ある．以降ここでは，便宜上，前者を特化型言語モ デル，後者を汎用言語モデルと呼ぶことにする。ま た，評価対象となる文章を $X$ とする。このとき，特化型言語モデル $M_{I}$ による $X$ の尤度を $L_{M_{I}}(X)$, 汎用言語モデルによる $X$ の尤度を $L_{\mu_{N}}(X)$ とすると，尤度差に基づくスコア $S_{L}$ は以下の式により計算で きる。

$
S_{L}=L_{\Omega_{I}}(X)-L_{\mu_{N}}(X)
$

ただし，ここでの $L_{M_{I}}(\cdot), L_{M_{N}}(\cdot)$ は. 文章中に出現 する各単語の対数尤度の和を用いる。

前に述べた通り，本研究では「少ないデータから 学習したニューラル言語モデルでも性能が高い」こ とが目的である. そこで，特化型言語モデルとし て，事前学習済みニューラル言語モデルを用いて， ある自然言語処理タスクを実行した際に，より高い 性能が得られると考えられるデータで学習された

ニューラル言語モデルと仮定する. 具体的に利用す る学習データに関しては，実験（4 節）にて述べる。 また, 汎用言語モデルは，通常の手順により得られ るニューラル言語モデルと仮定する。

## 3.2 ランキング

本研究において実際に実現したいことは，代表 データ集合の獲得であるが，扱えるデータ集合の量 は実際には各ユーザの計算機環境や研究資金に依存 して決まるので, 事前に規定するのは難しい. そこ で今回は，代表データ集合として適切かどうかを表 すスコアを個々のデータに付与する方法を採用す る.これにより, 実際に利用したいユーザの環境に 応じて，そのスコアの順番に従って上位のデータを 取得することで，代表データ集合を利用者が比較的自由に取得できる仕組みとする。

## 4 実験

本稿では, 従来通り大規模なデータを使って学習 した通常の事前学習済みニューラル言語モデルと，代表データ集合を使って学習したニューラル言語モ デルの性能を比較し, 本研究で用いた代表データ集合の選出方法が有効か検証することを目的に実験を 実施する．以降，簡単のため， 3 節の方法で得られ る代表データ集合をRepSet と表記する。

## 4.1 ベースラインニューラル言語モデル

本実験では，ベースとなるニューラル言語モデル として Text-to-text Transfer-Transformer (T5)[3] を用い た. ニューラル言語モデルの性能は, モデルサイズ により大きく変わることが知られている. 本実験で

タ), Base ( $2250 \mathrm{M}$ パラメタ), Large ( $\approx 800 \mathrm{M}$ パラメタ), $\mathrm{XL}(\sim 3 \mathrm{~B}$ パラメタ)の 4 モデルを用いた. モデルパ ラメタや学習時のハイパーパラメタの設定は, 基本的に上記文献およびサイトで配布されている設定に 従う.

## 4.2 学習用/評価用データセット

本実験で用いるデータセットは 2 種類ある。一つ は，ニューラル言語モデルの学習用データである生 テキストの集合であり，もう一つは，言語モデルの 性能評価に用いるべンチマークデータである.


表 $1 \mathrm{C} 4$ データ，および，代表データ集合 (RepSet) に関 する統計量. \#docs: 文書数, \#words: 単語数（トークン区切り未使用), ratio: C4 (default) に対する filesizeでの比率.

まず，ニューラル言語モデルの学習用データと して, Colossal Clean Crawled Corpus (C4) データ $[3]^{4}$ ) を用いた. また，ニューラル言語モデルの評価用 ベンチマークデータとしては, GLUEデータセット [15]を用いた. 本実験の全てのデータは Tensorflow Datasets (tfds) から直接呼び出して利用した.

ここで注意点として，本実験の評価は全て開発用 データの結果である. 本実験では，データの傾向を 調査することが目的であり，設定を変えて多数の 実験を実施することになる.このような場合には，評価用データを用いるのは不適切と考えられるた め5)，開発用データにて評価するのは妥当と考えら れる。

## 4.3 実験で用いる設定

RepSetを得るには，式 1 に示した特化型ニューラ ル言語モデル $M_{I}$ と汎用ニューラル言語モデル $M_{N}$ が必要となる. 本実験では，それぞれの目的に合っ た学習データを用意することで 2 種類のニューラ ル言語モデルを区別して構築する。まず，汎用言語モデル $\mu_{N}$ の学習には標準的な $\mathrm{C} 4$ データを用 いた. 次に, 特化型ニューラル言語モデル $M_{I}$ の学習用には，C4 の部分集合として事前に定義されて いる $4 /$ realnewslike と 4 //webtextlike を選択した. 更 に，これらのデータに文献 [10] に紹介されている重複削除 (deduplication) の処理を適用した.これらの データ集合から学習した $M_{I}$ および $M_{N}$ を用いて式 1 により C4 データ内の各事例のスコア付け，およ び，ランキングを実施した.

次に RepSet として，4つのサイズの違う集合 RpeSet-1, 2, 3, 4 を用意した. 表 1 に，C4 の全体の データサイズ，および，作成した RepSet の規模に 関する統計量を示す.更に，RepSet と同じデータ量


図 1 データ選択基準 RepSet と RANDOM の違いによる 平均 GLUE スコアの比較. 図中のプロット点は左から RpeSet-1, RpeSet-2, RpeSet-3, RpeSet-4, C4 (default) $の$ 值.

図 2 モデルサイズの違いによる平均 GLUE スコアの 比較. 図中のプロット点は左から RpeSet-1, RpeSet-2, RpeSet-3, RpeSet-4, C4 (default) の值.

をランダムに抽出したデータ集合（以下，このデー 夕集合をRANDOM と呼ぶ）を用意した。

RepSet または RANDOM を使い事前学習済みニュー ラル言語モデルとして T5をそれぞれ学習した. そ の後, GLUE の学習データを全て統合し一括でファ インチューニングした6) 最終的に得られたファイン チューニング済みモデルを GLUE ベンチマークデー タを用いて比較することで，間接的に RepSet の有効性を検証する。

## 4.4 実験結果および検証

図 1 に, データ選択基準 RepSet と RANDOM の違い による平均 GLUE スコア（縦軸）とデータ量（横軸：対数スケール）の関係および比較を示す. モデ ルサイズとしては Small と Base の結果である. 次 に，図 2 にモデルサイズ Small, Base, Large, XL に対 する RepSet の結果をプロットした.

6）タスク毎にファインチューニングしタスク毎の特化モデル を構築するのではなく, 全タスクの評価に一つのモデルを使用する設定である.本実験においては，基本的な性質としてデータ量 は多ければ多いほど性能は安定的に高くなるとい う傾向が見られた。同様に，モデルサイズに関して も，モデルサイズが大きくなればなるほど性能が高 くなった (Small $<$ Base $<$ Large $<\mathrm{XL}$ ). これらの結果 は直感やこれまでの多くの研究成果と同じ傾向の結果と言える。

次に，データを選択する際にRepSetを使うことで RANDOMよりも良い結果が得られることがわかった. つまり，少ないデータ量の設定でも RepSet が効果的なデータを選択できていることを示唆している.例えば，RepSetを用いることで，データ量（ファイ ルサイズ）を 21 分の 1 程度までなら Small から XL まで全てのモデルサイズで性能を維持できるという 結果になった. このことから，T5 の論文と同等の 実験をしようと思った際に， 21 分の 1，あるいは， Base であれば 47 分の 1 程度のデータ量でも同様の 実験ができることが期待できる．ただし，モデルサ イズが大きくなると，データ選択でデータ量を減ら した際に，性能の劣化が早く訪れることが観測され たので注意が必要である (例: XL の RepSet-3 と 4).

RANDOM によりデータ量を削減する場合に，事前の予測ほど性能の低下は大きくなかった，これ は，元データに冗長性があることが想定される。 よって，㔯長性を排除する方法論を組み合わせるこ とで，更に性能向上できる可能性が考えられる.

## 5 おわりに

本稿では，大規模な学習データから代表データ集合を選択しニューラル言語モデルを学習した際に，元の学習データ全てで学習したニューラル言語モデ ルと同等な性能を達成できるか, という研究課題の 検証をおこなった. 本稿の実験では，尤度差に基づ くランキングにより獲得した代表データ集合は，元 データの 21 分の 1 程度のデータ量でも GLUE の平均性能の観点で同等の性能が得られることを示し た. また，ランダム選択の場合は，データ量を減ら した場合に顕著に性能が低下することも示した. こ れらの結果から, 少ない計算リソースと研究資金し かない研究組織においても最先端の事前学習済み言語モデルの研究をやりやすくする，という本研究の 最終目的の実現可能性を示した. 代表データ集合を 利用することで，事前学習済み言語モデルを改善す る研究が更に推進することを期待する。

## 謝辞

本研究に関して Google 合同会社 澤井裕一郎氏に アドバイスを頂きました. 感謝いたします.

## 参考文献

[1] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep Contextualized Word Representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Textto-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pretraining for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. 2019.

[6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[7] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling Laws for Neural Language Models, 2020.

[8] Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B. Brown, Prafulla Dhariwal, Scott Gray, Chris Hallacy, Benjamin Mann, Alec Radford, Aditya Ramesh, Nick Ryder, Daniel M. Ziegler, John Schulman, Dario Amodei, and Sam McCandlish. Scaling Laws for Autoregressive Generative Modeling, 2020.

[9] Peter Izsak, Moshe Berchansky, and Omer Levy. How to Train BERT with an Academic Budget. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10644-10652, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan
Zhang, Douglas Eck, Chris Callison-Burch, and Nicholas Carlini. Deduplicating Training Data Makes Language Models Better, 2021.

[11]

[12] Timothy Nguyen, Roman Novak, Lechao Xiao, and Jaehoon Lee. Dataset Distillation with Infinitely Wide Convolutional Networks, 2021.

[13] Robert C. Moore and William Lewis. Intelligent Selection of Language Model Training Data. In Proceedings of the ACL 2010 Conference Short Papers, pp. 220-224, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[14] Jesse Dodge, Maarten Sap, Ana Marasović, William Agnew, Gabriel Ilharco, Dirk Groeneveld, Margaret Mitchell, and Matt Gardner. Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus, 2021.

[15] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.
 鈴木潤1,2* 全炳河 ${ }^{1}$ 賀沢秀人1 ${ }^{1}$ Google 合同会社 ${ }^{2}$ 東北大学 \{junsuzuki, heigazen, kazawa\}@google.com  