# 日本語の分類タスクにおけるカリキュラム学習と マルチタスク学習の効果検証

植松拓也 河原大輔
早稲田大学理工学術院
takuya1009@akane.waseda.jp dkw@waseda.jp

## 概要

複数の言語処理タスクを順番もしくは同時に学習する方法として，カリキュラム学習やマルチタス ク学習がある。これらは英語のベンチマークにおい て包括的に調査されており有効性が報告されてい るが，日本語では調査されていない。本研究では，日本語言語理解ベンチマーク JGLUE に含まれる分類タスクにおいて，カリキュラム学習およびマルチ タスク学習を適用し, 有効性を検証する。結果とし て，親和性のあるタスク同士でカリキュラム学習， マルチタスク学習を行うことで精度が向上すること を確認した。

## 1 はじめに

機械学習に基づく自然言語処理においてよく用い られる手法の一つに転移学習がある。転移学習の一手法として，事前学習をしてから対象のタスクごと にファインチューニングをするという 2 段階で行う ことが多い。転移学習のモデルとしては BERT [1] など様々なモデルが開発されている．BERT は，言語理解ベンチマーク GLUE [2] において当時の最高 スコアを達成しており，広く利用されている。

事前学習やファインチューニングを行う際に，そ れぞれにおいてどのようなタスクをどのような順番で解くかが重要である.この点に着目した手法 にカリキュラム学習があり一定の成果が出ている $[3,4,5,6,7]$. 人間が学習する際，まず難しいことか ら学ぶのではなく簡単なことから学んだ方が良い. それと同様に，学ぶ順番が大切なことは機械学習に も同じことが言える. 機械学習におけるカリキュラ ム学習は, 学習データを最も効果的な順番に並び替 え段階的に学習する手法で，簡単な学習データから 学習して徐々に難易度を上げていくことが多い。

また，近年はマルチタスク学習も注目されている
[8, 9, 10,11]. マルチタスク学習は一度に 2 つ以上の タスクで学習する手法であり，あるタスクから得ら れた知識を他のタスクにも適用することで精度が向上する場合がある．ただし，タスク同士に親和性が ない場合は精度が低下する可能性があるため，親和性のあるタスク同士でマルチタスク学習を行うこと が重要である [12].

このような研究は英語などで活発に行われてい る一方，これまで日本語では包括的な調査が行われ ていない. 本研究では，日本語におけるタスク同士 の親和性や効果的な学習方法を調査することを目的とし，日本語データセットを用いてカリキュラム 学習およびマルチタスク学習を行う。事前学習モデ ルには日本語 BERTを用い，タスクには日本語言語理解ベンチマーク JGLUE [13] に含まれる自然言語推論 (JNLI), 意味的類似度計算 (JSTS), 評価極性分類 (MARC-ja) の 3 種類の分類タスクを用いる.カリ キュラム学習では，あるタスクでファインチューニ ングした後，さらに対象タスクでファインチューニ ングすることで対象タスクの精度が向上するかを 評価する。マルチタスク学習では，上記 3 種類のタ スクから 2 つを選び同時に学習し，有効性を評価 する。

## 2 関連研究

## 2.1 カリキュラム学習

カリキュラム学習については，まず簡単な事例か ら学習し，徐々に難しい事例を学習する場合が多 い. 例えば，画像分類タスクにおいてカリキュラム 学習の有効性を示した実験結果がある [3].この実験では，自動的に生成された三角形や楕円，長方形 の図形を分類するタスクを解く際に，まず正三角形 や円，正方形などの簡単な図形から学び，徐々に色 の種類を増やしたり難しい図形について学ぶこと

により，カリキュラム無しの学習よりも精度が高く なっている.

カリキュラム学習は自然言語処理でも活用されて いるが，難易度の定義が研究ごとに異なる．難易度 の指標としては語彙サイズや入力された単語列の長 さがある. Bengio らは，言語モデルにおいて次の単語を予測する際に，はじめに小さな語彙サイズのモ デルを学習して徐々に語彙サイズを増やしながら学習した方がカリキュラム無しよりも精度が高くなる ことを報告している [3]. Cirik らは，入力文の評価極性を 5 つのクラスに分類する際に，文長の短い事例から学習して徐々に長い事例を学習するカリキュ ラム学習を提案した [4]. その結果，精度が向上し，特に学習データ数が少ないときに効果があることを 示している.

難易度の定義の方法は他にもある．Guo らは，非自己回帰機械翻訳においてファインチューニングす る際にカリキュラム学習を導入した [5]. 非自己回帰機械翻訳モデルは自己回帰機械翻訳モデルと比較 して，トークンを並列に生成できるため推論の速度 は向上するが，精度は低下する. この問題に対処す るために，まず自己回帰訓練を行い，徐々に非自己回帰訓練に変更していくようなカリキュラム学習 を提案し，有効性を示している．Xu らは，GLUEべ ンチマークでカリキュラム学習する実験を行った [6]. まず，対象のデータセットを分割して交差検証 を行い，精度を難易度とみなす。次に，分割された データセットを難易度順に並び替え，簡単な事例か らファインチューニングする。結果としては GLUE における9つのタスクのうち8つでベースラインよ りも優れていた.

カリキュラム学習において，難易度順に並び替え るのではなく，学習するタスクの順序を入れ替え て他のタスクに与える効果を検証した実験がある。 Yogatama らは，あるタスクを BERT などで学習して 得られた知識を他のタスクを解く際に有効活用でき ないかを検証した [7]. どのようなカリキュラムで 学習をするのが最適で, 破滅的忘却を起こさないか を実験しており，学習の高速化を達成したタスクの 組合せやそのときの精度について述べている.

## 2.2 マルチタスク学習

マルチタスク学習に基づく方法は多数提案されて いる. Collobert らは, 品詞タグ付けやチャンキング など関連性のあるタスクを同時に学習するマルチタ
スク学習を提案し，有効性を示した [8]． Liu らは，映画のレビューについてのテキスト分類タスクを複数用意してマルチタスク学習を行った [9]. その結果，対象タスクの精度が他のタスクの助けを借りて 向上することを示した.

また，マルチタスク学習を BERT などの事前学習 モデルに適用した研究も行われている. 事前学習モ デルのファインチューニングの際にマルチタスク 学習を適用したモデルに MT-DNN がある [10]. こ のモデルは，GLUE ベンチマークにおける9つの夕 スクのうち8つのタスクと，自然言語推論のコーパ スである SNLI [14] や SciTail [15] で BERT の性能を 上回った. Zhou らは, 品詞タグ付け, 構文解析, 意味役割付与などの言語解析タスクを事前学習時に マルチタスクで行う LIMIT-BERT を提案した [11]. LIMIT-BERT は言語解析タスクの精度を向上させ， GLUE ベンチマークや SNLI において BERT ベース ラインよりも優れていることが報告されている.

## 2.3 本研究の位置づけ

上記の研究のように，これまでは英語での実験は 行われているが日本語における包括的な調査は行わ れていない. 本研究では，日本語のデータセットに おけるカリキュラム学習とマルチタスク学習の有効性を調査する。

## 3 対象タスクと学習方法

本節では，本研究において対象とするタスク，お よび，カリキュラム学習とマルチタスク学習の方法 について述べる。

## 3.1 対象タスク

対象のタスクとして，日本語言語理解ベンチマー クJGLUE に含まれる自然言語推論 (JNLI), 意味的類似度計算 (JSTS), 評価極性分類 (MARC-ja) の 3 種類の分類タスクを用いる. JNLI と JSTS は文ぺア分類タスクであり，MARC-ja は文章分類タスクであ る. 各タスクのデータセットの事例数，評価指標を 表 1 に示す. combined score は, Pearson と Spearman 相関係数の平均をとったスコアである．事前学習モ デルを train セットでファインチューイングし，valid セットで評価を行う.
表 1 データセットの事例数と評価指標

## 3.2 学習方法

## 3.2.1 カリキュラム学習

本研究では，3種類のタスクの組合せを変えて，2 段階のファインチューニングを行う. 具体的には， まず JNLI，JSTS，MARC-ja のぞれぞれについてファ インチューニングを行い，その結果得られたモデル を用いて再度ファインチューニングを行う。異な るタスクで再びファインチューニングを行うことの 有効性を調査するため，同じタスクで再びファイン チューニングした場合とも比較する。

事前学習モデルには東北大 BERT-base ${ }^{11}$ を用いる。 ファインチューニングの際，CLS トークンに対して JSTS は回帰問題，JNLI と MARC-ja は分類問題を解 く.いずれもエポック数は 4 で固定し，4 エポック 終了時点の評価値を比較する。 ハイパーパラメータ についてはいくつかの設定から最適な組合せを選 ぶ. ハイパーパラメータの詳細な設定は付録 A に 示す.

## 3.2.2 マルチタスク学習

ファインチューニングする際，JSTS，JNLI， MARC-ja の 3つのタスクの中から 2 つを選びマルチ タスク学習を行う. マルチタスク学習が終わった後 に，JSTS，JNLI，MARC-ja を別々に評価する。

事前学習モデルにはカリキュラム学習と同様に東北大 BERT-base を用い，マルチタスク学習のモデル に分類ヘッドを 2 つ用意する. その概要を図 1 に示 す.ハイパーパラメータについては最適な組合せを 選択する。

## 4 実験結果と議論

## 4.1 カリキュラム学習の実験結果

カリキュラム学習の結果を表 2 に示す。ここで， 1 段階目のタスクはファインチューニングの 1 段階目で使用したタスク，列名のタスクは 2 段階目の


図1 マルチタスク学習のモデル

表 2 カリキュラム学習の実験結果

ファインチューニングで使用したタスクを示す.ま た，評価は全て 2 段階目のファインチューニング後 の精度である。

JNLI における評価JNLI で評価したときの結果 を比較する. JSTS でファインチューニングして から，そのモデルを用いて JNLI で再びファイン チューニングをしたときに精度が最も高いことが確認できる。この結果は 2 段階とも JNLI でファイン チューニングしたときと比較して $1.0 \%$ 高い. 一方， MARC-ja でファインチューニングしてから JNLI で ファインチューニングすると精度が下がっている。

JSTS における評価 JSTS で評価したときの結果 を比較する. JNLI でファインチューニングしたモ デルを用いて JSTS をファインチューニングをす ると, JSTS で 1 回ファインチューニングしたとき より約 $0.3 \%$ 精度が上がっている. ただし，JSTS で ファインチューニングした後, さらにJSTS でファ インチューニングしたときと精度は同じであった。 MARC-ja でファインチューニングしてから JSTS で ファインチューニングすると精度は下がった.

MARC-ja における評価 MARC-ja で評価したと きの結果を比較する．MARC-ja を解く際は，事前 に JNLI，JSTS，MARC-ja でファインチューニング してから MARC-ja でファインチューニングしても， MARC-ja で 1 回ファインチューニングをしたときと 精度はほとんど変化がない。
表 3 カリキュラム学習による各ラベルの予測数

表 4 マルチタスク学習の実験結果

カリキュラム学習についての考察 以上の結果よ り，JNLI と JSTS は親和性が高いと言える. JNLI と JSTS はともに文ぺア分類タスクであり, 構成する文 ペアのほとんどが重複していることが 1 つの要因と 考えられる. 特に，JSTS でファインチューニング してから JNLIを解いたとき精度がかなり向上した。

JNLIをファインチューニングしたときと，1 段階目をJSTS，2 段階目を JNLI でファインチューニン グしたときの各ラベルの予測数について表 3 にまと める. ただし， 1 行目は JNLI の valid データにおけ る正解ラベルの分布を示す. 事前に JSTS でファイ ンチューニングすると，含意の予測数が減少し，矛盾の予測数が増加した. また，ラベルごとの正解数 については, 矛盾の正解数が他のラベルに比べて増 えていた. 特にカリキュラム学習を行うことで予測 ラベルが変化した文ぺアの中で，中立の予測が矛盾 に変化したときの正答率が高くなっていた. 含意,矛盾は中立と比較して類似度が高く, 先に JSTS で 学習することで類似度の弁別性能が上がり中立とそ れ以外のラベルの分類が得意になる可能性がある.

一方, MARC-ja の結果から MARC-ja と JSTS, MARC-ja と JNLI の親和性は高くないと言うことが できる。 MARC-ja は文章分類タスクであり，JNLI やJSTS とは異なるタスクであり，データセットの 構成も異なる.カリキュラム学習を行う際は, 事前 に親和性のないタスクでファインチューニングをす ると逆効果になる可能性を示唆している。

## 4.2 マルチタスク学習の実験結果

マルチタスク学習の結果を表 4 に示す。タスクの 列は，マルチタスク学習を行ったタスクのぺアを示 す. 1 行目はシングルタスク学習の精度を示す.各タスクペアにおける比較 1 行目のシングルタ スク学習の精度と比較すると，JNLI と JSTS のマル チタスク学習を行うとそれぞれ精度が $1.2 \% ， 0.8 \%$上がっている。一方，JNLI と MARC-ja のマルチタ スク学習をしたときは JNLI の精度が約 10\%下がっ ている.また，JSTS と MARC-ja のマルチタスク学習をしたときは，JSTS，MARC-ja それぞれ $0.9 \%$ ， $0.4 \%$ 精度が下がっている。

マルチタスク学習についての考察上記の結果か ら，親和性のあるタスク同士でマルチタスク学習す ると各タスクにおいて精度が上がると考えられる。一方，あまり親和性のないデータセット同士でマル チタスク学習すると両方の精度が落ちる，もしくは 片方のタスクの精度が下がる可能性があり，マルチ タスク学習の効果はほとんどないと考えられる。ま た，マルチタスク学習では，タスク同士の競合が発生する可能性がある [16]. MARC-ja と他のタスクが 競合し，学習データのサイズが大きい MARC-ja は あまり影響を受けず，学習データのサイズが小さい JNLI と JSTS は精度がかなり低下したといえる。

カリキュラム学習との比較上記の結果を比較す ると，JNLI で評価する際は事前に JSTS でファイン チューニングをするカリキュラム学習の方が適して いる。一方，JSTS で評価する際は，JNLI と同時に 学習するマルチタスクの方が適している. カリキュ ラム学習とマルチタスク学習についてはタスクに よって適している学習方法を採用する必要がある.

## 5 おわりに

本研究では，JGLUEベンチマークにおける JNLI, JSTS，MARC-ja の 3 つの分類タスクを組合せてカリ キュラム学習やマルチタスク学習を実行した。その 結果により，タスク同士の親和性やどの順序でファ インチューニングをすると精度が向上するのかを確 かめた. 本研究の結果は，学習する際に用意できる データセットが少ない場合でも，親和性のある他の データセットと組合せてカリキュラム学習やマルチ タスク学習を行うことで精度が改善する可能性があ ることを示している。

今後は，タスク間の親和性について，QA タスク など他のタスクを含めて調査したい。また，BERT 以外にも RoBERTa [17] など高性能な事前学習モデ ルでも実験して効果を確かめたい。また，カリキュ ラム学習とマルチタスク学習を組合せて学習するこ とで精度が向上するかを確認する予定である.

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けて 実施した.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[3] Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. In Proceedings of the 26th Annual International Conference on Machine Learning, ICML '09, p. 41-48, New York, NY, USA, 2009. Association for Computing Machinery.

[4] Volkan Cirik, Eduard H. Hovy, and Louis-Philippe Morency. Visualizing and understanding curriculum learning for long short-term memory networks. arXiv, 2016. abs/1611.06204.

[5] Junliang Guo, Xu Tan, Linli Xu, Tao Qin, Enhong Chen, and Tie-Yan Liu. Fine-tuning by curriculum learning for non-autoregressive neural machine translation. In Proceedings of the aaai conference on artificial intelligence, Vol. 34, pp. 7839-7846, 2020.

[6] Benfeng Xu, Licheng Zhang, Zhendong Mao, Quan Wang, Hongtao Xie, and Yongdong Zhang. Curriculum learning for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6095-6104, Online, July 2020. Association for Computational Linguistics.

[7] Dani Yogatama, Cyprien de Masson d'Autume, Jerome Connor, Tomas Kocisky, Mike Chrzanowski, Lingpeng Kong, Angeliki Lazaridou, Wang Ling, Lei Yu, Chris Dyer, and Phil Blunsom. Learning and evaluating general linguistic intelligence. arXiv, 2019. abs/1901.11373.

[8] Ronan Collobert and Jason Weston. A unified architecture for natural language processing: Deep neural networks with multitask learning. In Proceedings of the 25th international conference on Machine learning, pp. 160-167, 2008.

[9] Pengfei Liu, Xipeng Qiu, and Xuanjing Huang. Recurrent neural network for text classification with multi-task learning. arXiv, 2016. abs/1605.05101.

[10] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng
Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Junru Zhou, Zhuosheng Zhang, Hai Zhao, and Shuailiang Zhang. LIMIT-BERT : Linguistics informed multi-task BERT. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4450-4461, Online, November 2020. Association for Computational Linguistics.

[12] Michael Crawshaw. Multi-task learning with deep neural networks: A survey. arXiv, 2020. abs/2009.09796.

[13] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[14] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[15] Tushar Khot, Ashish Sabharwal, and Peter Clark. Scitail: A textual entailment dataset from science question answering. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, 2018.

[16] Ozan Sener and Vladlen Koltun. Multi-task learning as multi-objective optimization. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems 31, pp. 525-536. Curran Associates, Inc., 2018.

[17] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

## A 参考情報

## A. 1 実験時のハイパーパラメータ

実験を行う際のハイパーパラメータの一覧を表 5 にて示す.この中から最適なハイパーパラメータを 選ぶ.

表 5 ファインチューニングを行う際のハイパーパラ Name Value(s)

learning rate epoch 5e-5, 2e-5, 1e-5

warmup ratio 4

max seq lengt 0.1

batch size $8,16,32$
 植松拓也 河原大輔 早稲田大学理工学術院 takuya1009@akane.waseda.jp dkw@waseda.jp  