# 小規模コーパスを利用した領域特化型 ELECTRA モデルの構築

伊藤陽樹
茨城大学
工学部情報工学科
17t4014y@vc.ibaraki.ac.jp
}

新納浩幸
茨城大学大学院
理工学研究科情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 1 はじめに

自然言語処理のタスクを機械学習のアプローチで 解決する場合，訓練データの領域(ソース領域)とテ ストデータの領域 (ターゲット領域) が異なるという domain shift の問題が深刻である. BERT[1]のような 事前学習済みモデルは下流のタスクによりモデルを fine-tuning するため, domain shift の問題に対処でき る.さらに近年はターゲット領域のコーパスを用い て BERT の追加学習を行い, 追加学習できたモデル を fine-tuning することで更なる精度向上がなされて いる. ただし BERT の追加学習には多大な計算機資源が必要であり，簡単に行うことはできない. また 利用するターゲット領域のコーパスも大規模なもの が想定されるが，そのようなコーパスが現実には入手できないことも多い.

本研究では上記の問題への対処として ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately)[2] の利用を試みる.

ELECTRA は BERT で用いられる Masked Language Modeling (MLM) を Replaced Token Detection (RTD) と いう手法に置き換えた事前学習モデルである。 MLM は入力文に対していくつかの単語を [MASK] に置き換え，その [MASK] を推定することでモデ ルを学習させている。しかし BERT では [MASK] の 置き換えが全体の $15 \%$ であり効率が悪い. その点 を改良したのが RTD である. RTD では Generative Adversarial Network(GAN) の考えに基づいて生成モ デルと識別モデルの 2 つのモデルを用意し, 生成モ デルによって生成された各トークンが，識別モデル によって入力文に対して置換されているかどうかの 2 値判定で事前学習を行っている. RTDでは全ての トークンを学習に扱うことができるためより計算効率性が良く，RTDを利用した ELECTRA モデルは同一サイズの BERT モデルと比較しても優れた性能を 発揮することが知られている。実験ではまず一般的な小規模の ELECTRA モデル を構築した. 次にターゲット領域の小規模コーパ スを利用し，その ELECTRA モデルの追加学習を 行うことで領域特化型の ELECTRA モデルを構築 した. 構築した領域特化型の ELECTRA モデルは, BERT-base よりも小さなモデルではあるが，ター ゲット領域の文書分類タスクに対して，BERT-base よりも性能がよいことを確認できた。

## 2 関連研究

## 2.1 系列ラベリングの教師なし領域適応

ELMo や BERT のような文脈が考慮された分散表現を生成するモデルは，ラベル付けされていない大規模コーパスを用いて事前学習を行うことで，幅広 い自然言語処理タスクにわたって良い性能を発揮す ることが知られている。 しかし，これらのモデルは 学習に Wikipedia やニューステキストといったコー パスを使用しているため，ターゲットのテキストの 領域や書かれ方が事前学習コーパスと大きく異なる 場合，このアプローチが有効であるかどうかは不明 である。そこで，論文 [3] では，ターゲット領域の テキストを使用して分散表現を fine-tuning すること で性能向上を図っている.

先行研究では，初期近代英語と Twitter の 2 つの テキストをターゲット領域としてテストしている. どちらも既存の事前学習コーパスとは大きく異なる が，提案された手法により通常の BERT モデルより も実質的な改善が得られたことを示している.

## 2.2 Domain Tuning と Task Tuning

一般に，ターゲット領域が事前学習コーパスと異 なる場合，文脈に応じた単語分散表現はタグ付けタ スクには効果がない可能性があると言われている. これは，ラベル付けされたデータもターゲットのテ キストと大きく異なる可能性があるため，教師なし

の領域適応では特に深刻である. この問題に対処 するために，論文 [3] 中では教師なしの領域適応の ための AdaptaBERT モデルの手法を提案している.

具体的には，以下の 2 つのアプローチを適用して いる.

Domain Tuning ターゲット領域のテキストを 使って教師なしで BERT の言語モデルをチューニ ングする方法. 例えば, Wikipediaで学習した BERT を Twitter のテキストを使って再学習することがこ れに当たる.

Task Tuning 教師データを使って BERTをチュー ニングする方法. 例えば，固有表現認識であれば CoNLL 2003 を使って BERT を含むモデル全体を学習させることがこれに当たる.

実験設定は，Domain Tuning と Task Tuning の組み 合わせにより以下の 4 つを定めている.
- Frozen BERT
- Task-tuned BERT
- AdaptaBERT
- Fine-tuned BERT

Frozen BERT は, BERT を学習させず特徴抽出器 として用いる方法である. Task-tuned Bert は，ソー ス領域の教師付きデータを使って BERT を学習させ る方法である. AdaptaBERT は，ターゲット領域の 教師なしデータを使って BERTをチューニングした 後，ソース領域の教師付きデータを使ってモデルを 学習させる方法である. 最後の Fine-tuned BERT と いうのは，ターゲット領域のデータを使って BERT を含むモデル全体を学習させる方法を指している.

実験では Penn Parsed Corpus of Early Modern English(PPCEME) における品詞タグ付けと Workshop on Noisy User Text(WNUT) 2016 における固有表現認識について評価を行っている. 品詞タグ付けでは, ソース領域のコーパスとして Penn Treebank (PTB) corpus of 20th century English，ターゲット領域のコー パスとして PPCEMEを使っており，PTB は現代英語, PPCEME は 15 世紀から 17 世紀の英語をター ゲットにしたコーパスとなっている. 固有表現認識ではソース領域のコーパスとして Conference on Natural Language Learning(CoNLL) 2003，ターゲット 領域のコーパスとして WNUT 2016 を使っており， CoNLL 2003 はニュースが対象で，WNUT は Twitter が対象となっている.品詞タグ付けと固有表現認識の 2 つの実験結果 から，Domain Tuningを使用してターゲット領域の コーパスで BERT を学習させることで性能が向上す ることが分かっている. ターゲット領域のラベル付 きデータが大量に確保できない場合でも，ターゲッ 卜領域の教師なしデータを使って事前学習モデルを チューニングするだけで性能が向上するというは十分に実用的であるといえる。

## 3 ELECTRA モデルの利用

論文 [4] によると，事前学習モデルの学習時に用 いられたコーパスによってバイアスを受けることが 示されている. 実際のシステムが対象にする領域に 特化した事前学習モデルを構築すれば，それを利用 することでその領域における精度を向上させること ができる. しかし, 現在の事前学習手法の多くは,効果を発揮するために莫大な計算資源を必要とす る. 計算量を増やして事前学習を行えば，下流タス クの精度が向上する場合がほとんどであるため, 事前学習を行う際は下流タスクの精度だけでなく, 計算効率性も考慮する必要がある。

そこで本論文ではより計算効率性の良い事前学習手法であるRTDを採用した ELECTRAを利用する。

論文 [2] では，様々なサイズの ELECTRA モデル を学習し，計算量に対する下流タスクの性能を評価している。具体的には，自然言語理解のベンチ マークの GLUE と質問応答技術のベンチマークの SQuAD に対する実験を行っている. それによると ELECTRA モデルは，他の最先端の自然言語処理モ デルと比較しても，同じ計算量であれば，従来の手法よりも改善されることが示されている. 例えば， RoBERTa および XLNet の 25\%未満の計算量で，同等の性能を発揮することが分かっている. さらに 効率化を進めると, 単一の GPU で, 4 日間で学習可能な ELECTRA-Small では，GPT よりも優れたパ フォーマンスを発揮し，計算量は 30 分の 1 で済む ことが分かっている.

## 4 実験

## 4.1 モデルの構築

日本語で事前学習を行った ELECTRA モデルを構築するために，公式 GitHub 上 ${ }^{1)}$ に公開されている プログラム run_pretraining.pyを使用し，Google


Colaboratory(Colab) 上の無料の TPU 資源と Google Cloud Storage(GCS) を利用した. Colab 上の TPU 資源を利用することで，GPU よりもさらに学習時間を 短縮することが可能である．また， Colab 上の TPU は GCS を介してのみデータの入出力が可能である ため，GCS を利用する必要がある。

事前学習用のコーパスには比較対象である東北大学が公開した BERT(tohoku-BERT) と日本語 Wikipedia 全文を使用し, tokenizer も同じ MecabNEologd を使用する. tohoku-BERT の公式 GitHub2)上にあるプログラムを利用し, 学習用コーパスの作成，テキストの前処理，語彙ファイルの作成，そし て事前学習のための tensorflow データセットの作成 を行っている。

## 4.2 モデルの評価

評価は，構築したモデルの小規模領域分野におけ る文書分類タスクの性能により行った. fine-tuning 時に使用した評価用データは Livedoor-news コーパ スを使用した.これは株式会社ロンウィットから公開されている livedoorニュースの日本語ニュース記事を集めたデータセットである，各文書はURL，作成日時，タイトル，本文からなる構成だが，ここで は記事本文に属するカテゴリで数値ラベルを付け た. 9つのカテゴリに属する記事本文を訓練用デー タとテストデータに分け, 訓練データでモデルを学習し，テストデータで記事本文からその記事のカテ ゴリを予測するという 9 值分類タスクを行い，その 正解率で性能評価を行う.

各カテゴリの数値ラベルと含まれている記事数を 表 1 に示す.

2) https://github.com/cl-tohoku/bert-japanese

## 4.3 実験結果

作成したモデル ELECTRA-Small はパラメータが tohoku-BERT と同じ Base サイズではなく, Small サ イズのパラメータで事前学習を行っている。これは 事前学習における計算効率性も考慮しているためで ある. fine-tuning では学習は 50epoch まで行ってい る. epochごとに学習したモデルを保存し, 各モデ ルでタスクの正解率が最も大きい值を選択した. 結果を表 2 に示す.

モデルの比較対象として参考までに, 株式会社シナモン AI から公開されている SenetencePiece ベースの日本語 ELECTRA モデル (ELECTRASenetencePiece) の比較実験を行っている. このモデ ルは ELECTRA-Small と同じパラメータサイズで事前学習を行っているモデルである.

表からも明らかなように, ELECTRA-Small のモ デルは, ELECTRA-SenetencePiece のモデルよりは高 い正解率を出している. しかし, モデルのパラメー タサイズが Base サイズより小さいため, 比較対象 の tohoku-BERT の正解率より約 4\%ほど低い結果に なっている.

表 2 fine-tuning の実験結果 (正解率)

## 4.4 追加学習

fine-tuning 時に領域に特化した小規模コーパスを 使用して訓練を行っているが，ELECTRA モデルの 事前学習の計算効率性に注目し, この小規模コー パスを使って追加で事前学習を行うことで，比較対象に匹敵するモデルが構築できる可能性がある. そこで，確認のために実験を行った。具体的には，先の実験で用いた Livedoor-news コーパスの記事本文を平文のまま取り出し，1つの事前学習用データ セットとして ELECTRA-Small の追加の事前学習を 行った.

ELECTRA-Small は既に 1Mstep, 学習時間にして 24 時間ほどの事前学習を行っている. このモデル にさらに $0.25 \mathrm{Mstep}$, 学習時間にして 10 時間ほどの 追加学習を行った (ELECTRA-Small-1.25M).

追加学習後のモデルで先ほどの fine-tuningを 5 回
実行し、5 回分の各々のモデルから最も高い正解率 の値を取り出し、その平均と最高値を表 3 に表す。

表から明らかなように，比較的パラメータサイ ズの小さいモデルであっても，領域特化の小規模 コーパスで追加学習を行うことで，tohoku-BERTを 上回る ELECTRA モデルが構築できることを確認で きた。

表 3 追加学習後の fine-tuning の実験結果 (正解率)

## 5 考察

## 5.1 モデルサイズ

以下の表 4 は，モデルサイズ別の TPUを利用し た 1Mstep までの事前学習時間の予測値を表したも のである.

表 2 の結果は事前学習モデルのパラメータサイ ズによる性能差があるため, 厳密なモデル性能の比較とはいえない。しかし, tohoku-BERT と同じパラ メータサイズの ELECTRA モデルを構築するには，表４のより 1 つの TPU 資源を利用しても 1 週間ほ どの学習時間を要する. モデルサイズが大きくなれ ばなるほど，事前学習には莫大な計算資源を必要と するため，事前学習モデルを構築することは困難に なる. モデルの計算効率性と小さいモデルほどパラ メータ効率の良い ELECTRA モデルであれば，Small サイズであってもそれなりの性能を発揮したがモデ ルサイズの違いによる性能差を覆すまでには至らな い. より正確なモデル性能の差を確認するためには 同一サイズの事前学習モデルを構築する必要があ る.これらの調査は今後の課題である.

表 4 モデルの事前学習時間 (1Mstep)

## 5.2 追加学習の効果

表 2，表 3 の結果から，下流タスクの前に領域に 特化した小規模コーパスでモデルの事前学習を行う ことで, fine-tuning 後のモデルの精度向上につなが ることは明らかである. BERT や ELECTRA であっ
てもモデルのパラメータサイズが大きくなれば，そ の分事前学習の時間がかかってしまうため, 追加学習を行うことが困難である。しかし，Small サイズ のモデルであれば，追加学習にかかる時間は Base サイズのモデルよりも遥に短くて済む. よって， ELECTRA-Small モデルに対して領域特化の小規模 コーパスで追加学習を行うことは，より少ない計算量で性能を発揮することが可能であると言える。

## 6 おわりに

本論文では，ELECTRA モデルの計算効率性と スケールの際の性能の良さに着目し，ターゲット 領域の小規模コーパスを用いて ELECTRA モデル の追加学習を行い, 領域特化型の事前学習済みの ELECTRA モデルを構築した. 構築した ELECTRA モデルは比較対象の tohoku-BERT よりも小さなモデ ルであるが，ターゲット領域の文書分類のタスクで は tohoku-BERT よりも高い性能を出すことができ た. 今後はより厳密なモデル同士の性能比較を行う ために，同一サイズの事前学習モデルの構築を課題 としたい.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2020 年度国立情報学研究所公募型共同研究 (2020-FC03) の助成を受けています.

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2]Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. Electra: Pre-training text encoders as discriminators rather than generators. In International Conference on Learning Representations, 2020.

[3]Xiaochuang Han and Jacob Eisenstein. Unsupervised domain adaptation of contextualized embeddings for sequence labeling. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4238-4248, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4]新納浩幸, 白静, 曹鋭, 馬雯. Fine-tuning による領域に特化した distilbert モデルの構築. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 1E3GS902-1E3GS902, 2020.
 伊藤陽樹 茨城大学 工学部情報工学科 17t4014y@vc.ibaraki.ac.jp }  新納浩幸 茨城大学大学院 理工学研究科情報科学領域 hiroyuki.shinnou.0828@vc.ibaraki.ac.jp  