# 破滅的忘却を防ぐ最適化関数を用いた構文情報の事前学習

岩本 蘭 1,2 吉田 一星 ${ }^{1}$ 金山 博 ${ }^{1}$ 大湖 卓也 ${ }^{1}$
1 日本アイ・ビー・エエ株式会社東京基礎研究所 2 慶應義塾大学
ran.iwamoto1@ibm.com \{issei,hkana,ohkot\}@jp.ibm.com

## 概要

構文構造は複雑な文や長い文の中の重要な情報に 目を向ける手助けとなる。しかし BERT などの事前学習済モデルは明示的な構文制約を与えておらず、感情分析タスクなどで構文的に不自然な出力が見 られる。その問題への対処として構文知識を事前学習させる研究が行われている。本論文では事前学習済 BERT がもつ意味表現を保持しつつ構文知識を 加えるために、破滅的忘却を防ぐ 2 つの最適化関数 (Elastic Weight Consolidation と Gradient Surgery)を用 いて4つの構文タスクをそれぞれ追加学習させた。追加学習済モデルを用いて GLUE の 3 つのタスク (CoLA, RTE, MRPC) を解き、意味と構文両方の情報 を持つモデルが高性能を発揮することを示した。

## 1 はじめに

事前学習済言語モデル（以降、モデルと呼ぶ）は 近年の言語処理タスクの性能向上に大きく寄与して いる。それらのモデルは品詞や依存構造などの構文情報を大まかに捉えているが [3]、実際には応用タス クを解くための構文情報がまだ不足している [20]。

構文構造を明示的/暗黙的に組み込んだ言語処理 モデルは機械読解 [24] や言語理解 [23]、翻訳 [2] な どで高い性能を発揮している。それらの研究ではモ デルに構文構造を読み込むモジュールを明示的に組 み込む。しかし既存の応用タスクの多くは Hugging Face [19] などが配布している形式のモデルの読み込 みを前提としており、他のタスクへの活用が難しい という側面がある。そこでモデルの再利用性の向上 を目的とし、構文構造の追加学習のみを行うモデル が台頭している $[16,21]$ 。本論文では近年の流れに 倣い、BERT [4]への構文構造の追加事前学習を行 い、後段タスクで使いやすいモデルを作成した。学習済モデルに別のタスクを学習させると以前学んだ ことを忘れる破滅的忘却 [5] という問題が起こりや すいため、破滅的忘却を防ぐ最適化関数を用いた。

図 1 構文事前学習の概要。破滅的忘却を防ぐ最適化関数 を用いて構文情報を追加学習し、モデルが元々持つ意味表現を損なわず構文情報を獲得する。

構文事前学習の概要を図 1 に示す。本論文の主な貢献は以下の 3 つである。

・事前学習済 BERTに 4 つの異なる構文情報を新 たに組み込み(構文学習)、後段タスクでの性能 を比較した。

・構文学習の際に、既存の知識を忘れてしまう破滅的忘却を防ぐ最適化関数を用いて、意味情報 と構文知識の両方を持つモデルを作成した。

・GLUEの 3 タスクでの実験で、事前学習済BERT が元々持つ意味情報と、追加学習で得た構文知識をバランスよく含むモデルが高い性能を発揮 することを示した。

## 2 構文構造の事前学習

本節では学習させる構文情報の種類について述べ る。既存研究では係り受けの予測 [18] や、依存関係 の距離、兄弟関係の予測 [16] など主に 2 つの語の関係を用いている。実応用、例えば名詞句の抽出 [6] や感情分析 [7] などでは主節/従属節の関係や並列構造を従来モデルを用いてうまく扱えていない。タス クに応じて必要な構文情報をモデルに反映させるに

} & \multicolumn{4}{|c|}{ ラベル2 } \\

図 2 構文事前学習タスクの例。Tian らのシステム [16] を用い、4つの事前学習ではラベル 1 と 2 を同時に学習す る。青い部分はフレーズや主節、並列構造を持つ。

は、多様性に富んだ構文学習を行う必要がある。 そこで我々は構文事前学習として、1) deprel prediction 2) phrase detection, 3) main/subordinate detection, 4) conjunction detection を行い、どのような構文情報 が応用タスクに有用かを調べた。

## 2.1 構文事前学習システム

構文学習のために Tian らのシステム [16] を用 いた。システムは係り受けを予測する dependency masking (DM) と関係名を予測する masked dependency prediction (MDP) を同時学習する構造を持つ。本論文では MDP 側を我々のタスクに変更する。

## 2.2 構文事前学習タスク

本節では図 2 の 4 つの事前学習について述べる。 それぞれ文中の単語の係り受けを予測する部分は同 じとし (図 2 のラベル 1 に相当)、図 2 のラベル 2 の 部分が各タスクによって異なる。

Deprel prediction (deprel) 依存構造解析と同様で あり、構文事前学習のベースラインタスクとする。

Phrase detection (phrase) Basirat ら [1] から着想 を得たタスクである。彼らはフレーズのような単位 である nucleus を用いて依存構造解析の性能を向上 させた。本論文でもそれに倣いフレーズ間の関係 (フレーズの主辞の deprel) を予測する。

Main/subordinate detection (main/sub) Nikolaev $ら$ [12] の、BERT が従属節を検出可能かどうかを調査 するタスクを参考にし、主節と従属節を予測する。

Conjunction detection (conj) A and B といった並列構造を予測する。具体的には A, B それぞれの主辞 (conj) とその中の子要素 (child)、and 等の並列接続詞 (cc)、それ以外 (other) のラベルを予測する。

## 3 破滅的忘却を防ぐ最適化

本節ではモデルの意味情報を保持しつつ構文知識 を追加するための 2 つの最適化関数を紹介する。

モデルに対してタスクを連続で学習させると、最初の方のタスクの性能が著しく低下する破滅的忘却 [5] という問題が生じる。事前学習済モデル でも破滅的忘却を防ぐ様々な研究が提案されてお り[8]、我々はマルチタスク学習、特に強化学習や 翻訳の分野でよく用いられる最適化手法 Gradient Surgery (GS)[22] と、継続学習で一般的な最適化であ る Elastic Weight Consolidation (EWC)[9]を用いた。

## 3.1 Gradient Surgery (GS)

Gradient Surgery は複数タスクを同時に学習するマ ルチタスク学習で、勾配の対立を解消する最適化手法である。例えばある 2 つのタスクで勾配が逆方向 になる場合、片方の勾配をもう一方の勾配の直行平面に射影し、もう一方の勾配と対立している部分を 消す。その後 2 つの勾配を足し合わせる。

## 3.2 Elastic Weight Consolidation (EWC)

EWC はタスクを順に学習する継続学習で最初の タスクの最適解を探した後 (または学習済モデルを 用いる時) にそのタスクと次のタスク両方で高性能 を出すパラメータを探す最適化手法である。Fisher 情報行列を用いて、最初のタスクで重要なパラメー タはなるべく更新せず、重要でないパラメータの更新重みを大きくする。GS を用いるマルチタスク学習では最初のタスクのデータを大量に必要とする のに対し、継続学習でEWC を用いる際には少量の データのみでパラメータの重要度を計算できる。

## 4 実験 1: 構文事前学習

本実験では事前学習済モデルが意味情報を残した まま構文情報をどの程度学習可能かを検証する。

## 4.1 設定

構文学習には 2 節で述べた Tian らのシステム [16] を、事前学習済モデルとして bert-base-cased ${ }^{1)}$ を用い た。構文学習のデータは UD-EWT v2.10 [15] から作成し、train/dev/test の割合は変えていない。単語数が 5 未満の文、PoS タグ “X” や関係ラベル“dep”を含 む文を除去した。実験に用いた文数を表 2 に示す。

表 1 構文構造の事前学習での、構文タスクと最適化関数の違いによる構文/MLM タスクの性能比較。

} & optimization & \multicolumn{3}{c}{ Syntax Head } & \multicolumn{3}{c}{ Syntax Label } & Avg. & \multicolumn{1}{c}{ MLM } \\
\cline { 3 - 10 } no & function & rec & prec & f1 & rec & prec & f1 & \multicolumn{1}{c}{ f1 } & \multicolumn{1}{c}{ PPL } \\

& AdamW & 98.02 & 96.04 & 96.82 & 96.90 & 95.37 & 95.63 & $\mathbf{9 6 . 2 2}$ & 702.87 \\
& SGD & 97.86 & 95.86 & 96.64 & 96.90 & 95.37 & 95.63 & 96.13 & 32392.10 \\
& GS & 97.30 & 94.75 & 95.69 & 96.48 & 94.93 & 95.18 & 95.43 & $\mathbf{1 0 . 4 4}$ \\
& EWC & 97.43 & 94.70 & 95.56 & 96.03 & 94.40 & 94.71 & 95.13 & 25.63 \\

& SGD & 97.19 & 95.20 & 95.89 & 95.64 & 95.44 & 95.36 & 95.62 & 2587.11 \\
& GS & 97.58 & 95.80 & 96.53 & 95.08 & 95.21 & 95.02 & 95.78 & $\mathbf{9 . 6 8}$ \\
& EWC & 97.70 & 95.74 & 96.51 & 94.79 & 94.72 & 94.66 & 95.58 & 24.17 \\

& SGD & 96.90 & 94.80 & 95.49 & 100.00 & 100.00 & 100.00 & 97.74 & 1471.63 \\
& GS & 95.70 & 93.86 & 94.16 & 94.93 & 95.56 & 95.24 & 94.70 & $\mathbf{1 1 . 1 6}$ \\
& EWC & 97.57 & 95.22 & 96.07 & 94.52 & 94.52 & 94.52 & 95.29 & 23.59 \\

& SGD & 83.81 & 83.65 & 82.57 & 97.49 & 95.79 & 96.53 & 89.55 & 1412.65 \\
& GS & 89.57 & 88.19 & 87.75 & 96.46 & 93.93 & 94.92 & 91.33 & $\mathbf{9 . 5 6}$ \\
& EWC & 89.57 & 88.19 & 87.75 & 96.13 & 93.15 & 94.26 & 91.00 & 23.78 \\

表 2 実験に使用した UD-EWT コーパスの文数.

最適化関数は 3 節で述べた破滅的忘却を防ぐ GS、 EWC と、比較手法として AdamW [10] と SGD [13] を用いた。GS と EWC を用いた学習では構文学習の 1 ステップごとに WikiText2 [11] からランダムに 100 文を選び MLM (Masked Language Modeling) の勾配を 求めた。GS ではその勾配を構文学習の勾配に足す、 つまり少量の MLM データでのマルチタスク学習を 行なった。EWCではパラメータの重要度計算に勾配を用いただけで、MLM の追加学習はしていない。 bert-base-cased を構文学習なしのベースラインと し、4つの構文学習をそれぞれ行なった。BERTの 元々の意味情報を保持しているか確かめるため、構文学習後に全てのモデルに対して WikiText2を用い て MLM を測定した。MLM の評価尺度として擬似対数尤度スコア (PPL) [14] を、構文タスクの評価尺度として適合率、再現率、F1スコアを用いた。学習率は $\{1$ e-4,1e-5,1e-6\}、epoch 数は $\{50,70,100\} を$ 用い、 test データで Syntax Head と Syntax Label 予測の平均 F1 スコアが一番高いモデルの值を載せた。

## 4.2 結果

結果を表 1 に示す。GS と EWC のみ MLM 事前学習の知識を保ったまま (PPL が低いまま) 構文学習が できたのに対し、AdamW と SGD は破滅的忘却が起 こり PPL が増大した。AdamW はどの構文タスクで も最も良い平均 F1 スコアを達成したが、特に deprel タスクにおいては他の最適化との $\mathrm{F} 1$ スコアの差は ほぼない。AdamW と SGD は target タスクにこでは 構文学習) の性能向上に特化するので、直前のタス クの性能が低くなる (PPL が高くなる)。PPL と応用 タスクの関係については栗林ら [25] も触れている。 GS と EWC では PPL が低く、構文学習よりも前に身 につけた意味的な知識を保っていることがわかる。

タスクごとの違いについても述べる。AdamW での Syntax Label のスコアの違いを比較すると、 main/subordinate タスクや conj タスクは Syntax label の種類が少ないため F1 スコアが高いが、それ以外 のタスクは Syntax label の種類が多く F1 スコアが低 い。この結果はデータの性質から予測可能である。注目すべきは Syntax Head で、4 タスクで正解が同 じなのにも関わらず、もう片方のタスクとの相性に よってスコアが異なる。例えば、conj と head の組み 合わせは他に比べて F1 スコアが低い。
表 3 構文事前学習タスクと最適化関数のそれぞれの違いに基づく GLUE タスクの性能比較。構文事前学習タスクごと の最も高いスコアを下線、それぞれの GLUE タスクにおいての最高スコアを太字で示す。

## 5 実験 2: GLUE

構文知識が言語理解に及ぼす効果を、言語理解 のベンチマーク GLUE [17] の中で構文構造が有用 と思われるタスク (CoLA, RTE, MRPC) で評価する。 CoLA はある英文の文法が正しいかどうかを、RTE は 2 つの文の含意関係を、MRPC は 2 つの文が同じ 意味かを判定する 2 值分類タスクである。

## 5.1 設定

訓練時の epoch 数は 5 に設定し、評価指標は GLUE に倣い、CoLA では Matthews correlation, RTE では精度、MRPC では精度と F1 スコアを用いた。また, 3 タスクの評価值のマクロ平均をとった。2) 次節で示 す結果は表 1 のモデルとは異なり、GLUE の 3 タス クの平均スコアが一番高いモデルの結果を載せてい る。そのため構文学習のスコアも記している。

本論文では最適化と事前学習の違いによる性能の 違いを開発データのみで評価した。鈴木ら [26] が述 ベたように、リーダーボードに多数の投稿をするこ とは評価データの傾向の判明につながるため、本実験では開発データでの性能比較で十分と判断した。

2） MRPC の 2 つの值は 0.5 で重み付けして他の值と平均した。

## 5.2 結果

結果を表 3 に示す。CoLA やMRPC では破滅的忘却を防ぐ GS や EWC を用いたモデルが AdamW やSGD に比べ高いスコアを示した。EWCを用いて conj タスクを学習したモデルが最も高い平均スコア (72.22) を達成し、他のモデルも構文学習なしのスコ ア (70.54) を上回った。つまり多様な構文情報が性能向上に寄与し、中でも意味情報を保持しつつ構文情報を“ほどほどに”学習したモデルが高い性能を 発揮していると考えられる。

## 6 まとめ

本論文では事前学習済モデルに構文知識を取り 入れるために、破滅的忘却を防ぐ最適化関数 GS と EWC を導入し、 4 つの構文追加学習を比較した。モ デルに元々含まれる意味情報と追加学習で補った構文知識を併せ持ったモデルは CoLA, RTE, MRPC タ スクにおいて高い性能を発揮した。

適切な最適化関数を用いて知識をモデルに追加す る本手法は、構文情報以外の事前学習にも適用でき る。また作成したモデルは事前学習済モデルと同じ 形式を持ち、応用タスクでの活用に適している。

## 参考文献

[1] Ali Basirat and Joakim Nivre. Syntactic nuclei in dependency parsing - a multilingual exploration. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1376-1387, 2021.

[2] Emanuele Bugliarello and Naoaki Okazaki. Enhancing machine translation with dependency-aware self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, 2020.

[3] Ethan A. Chi, John Hewitt, and Christopher D. Manning. Finding universal grammatical relations in multilingual BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5564-5577, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[5] Robert M. French. Catastrophic forgetting in connectionist networks. Trends in Cognitive Sciences, Vol. 3, No. 4, pp. 128-135, 1999.

[6] Xiaotao Gu, Zihan Wang, Zhenyu Bi, Yu Meng, Liyuan Liu, Jiawei Han, and Jingbo Shang. UCPhrase: Unsupervised ContextAware Quality Phrase Tagging. In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, p. 478-486, 2021.

[7] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clauselevel Sentiment Detection. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4063-4073, 2020.

[8] Sudipta Kar, Giuseppe Castellucci, Simone Filice, Shervin Malmasi, and Oleg Rokhlenko. Preventing catastrophic forgetting in continual learning of new natural language tasks. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, p. 3137-3145, 2022.

[9] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell. Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, Vol. 114, No. 13, pp. 3521-3526, 2017.

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[11] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer sentinel mixture models. In International Conference on Learning Representations, 2017.

[12] Dmitry Nikolaev and Sebastian Pado. Word-order typology in multilingual BERT: A case study in subordinate-clause detection. In Proceedings of the 4th Workshop on Research in Computational Linguistic Typology and Multilingual NLP, pp. 11-21, 2022.

[13] H. Robbins and S. Monro. A stochastic approximation method. Annals of Mathematical Statistics, Vol. 22, pp. 400-407, 1951.

[14] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[15] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Christopher D. Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC-2014), 2014.

[16] Yuanhe Tian, Yan Song, and Fei Xia. Improving relation extraction through syntax-induced pre-training with dependency masking. In
Findings of the Association for Computational Linguistics: ACL 2022, pp. 1875-1886, 2022.

[17] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, 2018.

[18] Ruize Wang, Duyu Tang, Nan Duan, Zhongyu Wei, Xuanjing Huang, Jianshu Ji, Guihong Cao, Daxin Jiang, and Ming Zhou. K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1405-1418, 2021.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[20] Zenan Xu, Daya Guo, Duyu Tang, Qinliang Su, Linjun Shou, Ming Gong, Wanjun Zhong, Xiaojun Quan, Daxin Jiang, and Nan Duan. Syntax-enhanced pre-trained model. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 5412-5422, 2021.

[21] Zhixian Yang and Xiaojun Wan. Dependency-based mixture language models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 7758-7773, 2022.

[22] Tianhe Yu, Saurabh Kumar, Abhishek Gupta, Sergey Levine, Karol Hausman, and Chelsea Finn. Gradient surgery for multi-task learning. In Advances in Neural Information Processing Systems, Vol. 33, pp. 5824-5836, 2020.

[23] Zhuosheng Zhang, Yuwei Wu, Hai Zhao, Zuchao Li, Shuailiang Zhang, Xi Zhou, and Xiang Zhou. Semantics-aware BERT for language understanding. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9628-9635, 2020.

[24] Zhuosheng Zhang, Yuwei Wu, Junru Zhou, Sufeng Duan, Hai Zhao, and Rui Wang. SG-Net: Syntax-Guided Machine Reading Comprehension. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9636-9643, 2020.

[25] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎.予測の正確な言語モデルがヒトらしいとは限らない. 言語処理学会第 27 回年次大会予稿集, 2021.

[26] 鈴木潤, 全炳河, 賀沢秀人. ニューラル言語モデルの効率的 な学習に向けた代表データ集合の獲得. 言語処理学会第 28 回年次大会予稿集, 2022.
 岩本 蘭 1,2 吉田 一星 ${ }^{1}$ 金山 博 ${ }^{1}$ 大湖 卓也 ${ }^{1}$ 1 日本アイ・ビー・エエ株式会社東京基礎研究所 2 慶應義塾大学 ran.iwamoto1@ibm.com \{issei,hkana,ohkot\}@jp.ibm.com  