# トランスフォーマー文法

吉田遼 大関洋平
東京大学
\{yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

本研究では、階層構造における部分木を一つ のベクトルに動的に合成しつつ、階層構造を生成する Transformer である、トランスフォーマー 文法 (Transformer Grammar, TG) を提案する。さら に、SyntaxGymを用いて TG を評価し、RNNG 及び PLM-mask の精度を上回ることを確認した。階層構造を明示的に扱う上で、アテンション機構と、部分木の合成関数の双方に利点があることを示唆したと いえる。

## 1 はじめに

人間らしい文法能力を持った言語モデルと は、どのようなモデルだろうか。近年主流の Transformer [1]をべースとした大規模な事前学習モ デルの一つである GPT-2 XL [2] は、言語モデルの文法能力を問うベンチマークである SyntaxGym [3] に おいて最も高い精度を達成している [4]。しかし、 これらのモデルの精度は人間が文法能力を獲得する までに得るよりも遥かに大規模な学習データによっ て支えられており、アーキテクチャ自体が「人間ら しい」かどうかは定かではないとの指摘もある [5]。 Linzen は同論文 [5] で、「人間らしい」アーキテク チャの例としては、自然言語の階層構造を明示的に 扱うモデルが考えられる、と述べているが、それら のモデルの代表が再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammars, RNNG) [6] で ある。RNNG は、少ないデータで統制した際に他の モデルよりも高い文法能力を獲得できることが示さ れている他 $[7,8]$ 、人間の脳波を高い精度でモデル 化できることから、人間の文処理モデルとしての妥当性も主張されているモデルである [9]。RNNG の 最大の特徴は、階層構造における部分木を一つのべ クトルに動的に合成する合成関数であり、先行研究 では、この合成関数なしではRNNG は構造をうまく 扱えないことが明らかになっている $[10,8]$ 。一方で、近年 Qian ら [11] は、Transformer ベース の階層構造を明示的に扱うモデルを提案し、大規模 な事前学習なしに高い文法能力を獲得できること を示している。しかし、彼らの提案したモデルは、 RNNG においては必要不可欠であった合成関数を 持っておらず、階層構造を明示的に扱うことによ る利点を生かしきれていない可能性がある。そこ で、本研究では、階層構造における部分木を一つ のベクトルに動的に合成しつつ、階層構造を生成 する Transformer である、トランスフォーマー文法 (Transformer Grammar, TG) を提案する。

## 2 先行研究

## 2.1 再帰的ニューラルネットワーク文法

$\mathrm{RNNG}^{1}{ }^{1}$ は、RNN ベースの単語列 $X$ と階層構造 $Y$ の生成モデルであり、以下の同時確率をモデル化 する：

$
p(X, Y)=p\left(a_{1}, \cdots, a_{n}\right)=\sum_{t=1}^{n} p\left(a_{t} \mid a_{<t}\right)
$

ここで、 $a_{t}$ は各時点での階層構造または単語列の 生成に関する動作である。RNNG は、スタックと 呼ばれるデータ構造でベクトルを保持しており、各時点における動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ は、スタック LSTM [12]により算出されたスタックの状態を表す ベクトルに基づき算出される。動作は以下の 3 つか らなる：

・ $\mathrm{NT}(\mathrm{X})$ : 新たに開いた句 $(\mathrm{X}$ を生成する。開いた 句の非終端記号 (Xを表すべクトルが、スタッ クの先頭に追加される。

・ $\mathrm{GEN}(\mathrm{x})$ ：単語 $\mathrm{x}$ を生成する。生成した単語 $\mathrm{x}$ を表すべクトルが、スタックの先頭に追加さ れる。

1）本論文では、Dyer ら [6] が元論文で提案しているモデルで はなく、Kuncoro ら [10]によって提案された Stack-only RNNG を扱う。

図 1 双方向 LSTM による合成関数。REDUCE の際の、閉じた句を表すべクトルの算出に用いられる。図は Dyer ら [6]より引用。

-REDUCE：直近開かれた句を閉じる。最もス タックの先頭に近い、開いた句の非終端記号を 表すべクトル及び、その句の娘にあたる全ての ベクトルが、合成関数により閉じた句を表す一 つのベクトルに合成される。合成関数には、双方向 LSTM が用いられる (図 1)。

前述したように、RNNG は、REDUCE の際の合成関数を取り除くと、構文解析精度 [10]、文法能力 [8]、及び脳波のモデル化精度 [9] が低下すること が分かっており、合成関数が階層構造を正確に捉え るための中心的役割を担っているといえる。

## 2.2 Parsing as Language Modeling

Parsing as Language Modeling (PLM) は、Qian ら [11] によって提案された、Transformerベースの単語列 と階層構造の生成モデルであり、RNNG と同様に、式 1 の同時確率をモデル化する。PLM は、RNNGと 異なり、NT(x)、GEN(x)、REDUCE の動作時に、そ れぞれ、開いた句の生成、単語の生成、REDUCE トークンの生成のみを行う。そして、通常の言語モ デルが単語列 $w_{1}, \cdots, w_{n}$ を扱うのと同様に、動作列 $a_{1}, \cdots, a_{n}$ を扱い、Transformerにより各時点におけ る動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ を算出する。

また、Qian らは同論文で、PLM に部分木の情報 を有効活用させるため、全てのアテンションヘッ ドのうち 2 つに対して、1つには直近の開かれた句 の内部のみ、もう 1 つには直近開かれた句の外側の み、に注意を注意を向けさせるという手法を提案し ている。Transformer 言語モデルが、訓練時にモデル が未来の情報を参照しないために用いられる、“マ スク”を用いてこの手法を実現しているため、この モデルは PLM-mask と呼ばれる。

前述したように、Qian らは実験により、PLM 及 び PLM-maskは、大規模な事前学習なしに高い文法能力を獲得できることを示している。また、彼 らの結果からは PLM-mask が PLM の文法能力を僅

図 $2 \mathrm{TG}$ のアーキテクチャ。

かではあるが上回っていることが読み取れ、一見 PLM-mask は部分木の情報を有効活用できている ようにも思われる。しかしながら、PLM-maskは、 RNNG の合成関数のように部分木を表す一つのべク トルを生成しているわけではない。RNNGにおいて は必要不可欠であった合成関数が、PLMのような Transformer ベースのモデルにとってもまた必要であ るという可能性は捨て切れない。

## 3 トランスフォーマー文法

本研究では、階層構造における部分木を一つの ベクトルに動的に合成しつつ、階層構造を生成 する Transformer である、トランスフォーマー文法 (Transformer Grammar, TG) を提案する。TG のアー キテクチャを、図 2 に示した。TGは、RNNG 及び PLM (-mask) と同様に、式 1 の同時確率をモデル 化する。TGは、ベクトルを保持するデータ構造 としてスタックを用い、各時点における動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ は、Transformerにより算出された、ス タックの状態を表すべクトルに基づき算出される。 NT(X)、GEN(x)、REDUCE の動作時の挙動は RNNG と同じである。したがって、REDUCE の動作時に は、合成関数 (図 1)により、部分木は一つのべクト ルに合成される。

図 3 SyntaxGym 全体の結果。LM、PLM-mask、GPT-2 の 結果は Qian ら [11]より引用。

TG の学習 同じくTransformer ベースのモデルで ある PLM (-mask) は、動作列 $a_{1}, \cdots, a_{n}$ を通常の言語モデルのように扱う。そのため、PLM (-mask) の 学習時には、通常の Transformer 言語モデルの学習 と同じように、全動作を同時に処理することが可能である。一方で、TGは各時点でスタック内部 のベクトルが動的に変化する。そのため、通常の Transformer 言語モデルは文生成時のみに行う、各時点における逐次処理を、TG は学習時にも行う必要 がある。また、TG は各時点での動作が文ごとに異 なるため、RNNG と同様にミニバッチ化が難しい。 そこで本研究では、固定長テンソルのスタックによ る RNNG のミニバッチ化手法 [13] に数点の変更を 施し、TGに適用した。具体的には、Transformer へ の入力には、バッチ内で最もスタックが深い文に合 わせて、全ての文について、それよりも浅い位置に あるスタック内の全てのベクトルを用いるように 変更し、2) さらに、Transformer の出力からは、各文 のスタックの深さを保持するポインタ3) 位置のベク トルを取り出すように変更を施した。しかしなが ら、TGでは、アテンション機構によるメモリの多量の消費により、この手法を用いてもRNNG ほど の大きいバッチサイズでの並列化は実現できない。 これらのように、階層構造における部分木を一つの ベクトルに動的に合成しつつ、階層構造を生成する Transformer の実現には、計算効率の犠牲が伴って いる。


## 4 実験

本節では、言語モデルの文法知識を問うベンチ マークである SyntaxGym [3] を用いて、SGの文法能力を評価する.

## 4.1 実験設定

Qian ら [11] が報告している、PLM-maskなどのモ デルの評価結果と公平に比較をするために、本論文 における実験設定の大部分は彼らの実験設定を踏襲 している。

## 4.1.1学習データ

BLLIP-MD [14] を用いた。 $600 \mathrm{~K}$ 文、14M トーク ンからなるコーパスである。モデルの学習に用い る階層構造は、Qian ら [11] が PLM (-mask) を学習 する際に、SoTA の句構造構文解析器 [15] によって 付与したのと同じものを用いた。4）各文の単語は、 Huggingface Transformer [16] 実装の BPE [17] トーク ナイザを用いてサブワード単位に分割した。

## 4.1.2 モデル及びパラメータ

TG 256 次元、 3 層 4 アテンションヘッドのモデ ルを用いた。総パラメータ数は $16.6 \mathrm{M}$ 。

RNNG 276 次元、 2 層のモデルを用いた。総パラ メータ数は 16.6M。Qian ら [11] は、Hu ら [4] によ り学習された RNNG と PLM (-mask) を比較してい るが、Hu らは RNNG の学習に単語単位で分割した コーパスを用いている一方、Qian らは PLM (-mask) の学習にサブワード単位で分割されたコーパスを 用いており、実験設定の乘離が見られた。そのため 本論文では、サブワード単位で分割されたコーパス を用いて、TG と同じパラメータ数の RNNG を学習 した。

PLM-mask Qian らにより報告されている、768 次元、12 層 12 アテンションヘッドのモデルの結果を 引用する。総パラメータ数は $117 \mathrm{M}$ 。総パラメータ 数は TG と RNG の約 7 倍であるが、学習コーパス などの条件は TG と RNNG と同じである。

LM ベースラインの階層構造を明示的に扱わな い言語モデル (LM) である。Qian らにより報告され ている、768 次元、12 層 12 アテンションヘッドの モデルの結果を引用する。

4） BLLIP コーパスには元から階層構造が付与されているが、 より正確な階層構造を得るために、その終端記号の単語列の みを取り出し、このような処理をしている。

図 4 Circuit レベルの結果。LM、PLM-mask の結果は Qian ら [11] より引用。

## 4.1.3 評価データ

言語モデルの文法知識を問うベンチマークであ る、SyntaxGym [3] を用いた。幅広い文法知識を力 バーしており、例えば、Agreement の circuitでは、主語に動詞の数を一致させる能力が問われている。具体的には、言語モデルには以下の (1)のように動詞 の数が異なる 2 文が与えられ、正しい数の動詞 ((1a) の下線部) に、誤った数の動詞 ((1b) の下線部) より も高い確率を付与することが期待される：

(1) a. The author next to the senators is good. b.*The author next to the senators are good.

階層構造を明示的に扱うモデルが単語に付与する確率は、先行研究 $[18,8]$ を踏襲して、word-synchronous beam search [19] を用いて求める。具体的には、単語列の背後に想定される階層構造のうち確率の高いも のを複数保持しつつ、それらの確率を階層構造につ いて周辺化することでモデルが単語に付与する確率 を算出する。Qian ら [11] を踏襲し、動作ビーム幅 100、単語ビーム幅 $10 、$ ファストトラック幅 5 を採用した。

## 4.2 結果

## 4.2.1 SyntaxGym 全体

SyntaxGym 全体の結果を、表 3 に示した。棒グラ フは seed の異なる 3 つのモデルの結果の平均値を 表し、それぞれの点は各 seed の結果を表す。LM、 PLM-mask、GPT-2 の結果は Qian らの論文 [11] より 引用したものである。はじめに、本論文の提案モデ ルである TGを含む全てのモデルがベースライン の LM を上回っており、階層構造を明示的にモデル 化することの利点があることが確認できる。次に、
TGは、RNNG の精度を上回っている。このことか ら、合成関数により部分木を一つのベクトルに合成 するモデルにおいても、アテンション機構により過去の全ての情報を直接参照できることの利点がある ことが分かる。次に、TGは、PLM-mask の精度を上回っている。このことから、Transformer ベースのモ デルが階層構造を扱う際にも、合成関数によって部分木を一つのべクトルに動的に合成することの利点 があることが分かる。最後に、Qian らの論文 [11] よ り引用した事前学習済み GPT-2 の結果 $(80.8 \%)$ と比較すると、BLLIP-MD で学習したモデルのうち、唯一 TGのみが匹敵する精度 $(80.7 \%)$ を達成している。

## 4.2.2 Circuit レベル

SyntaxGym の各 circuit レベルの結果を、表 4 に示 した。TGは、Agreement を除くほぼ全ての circuitに おいて、RNNG 及び PLM-mask の結果を上回ってお り、アテンション機構と、部分木の合成関数は、幅広い文法知識の獲得に有用であることが分かる。

## 5 おわりに

本研究では、階層構造における部分木を一つ のベクトルに動的に合成しつつ、階層構造を生成する Transformer である、トランスフォーマー 文法 (Transformer Grammar, TG) を提案した。そし て、SyntaxGym を用いて TG を評価し、RNNG 及び PLM-mask の精度を上回ることを確認した。階層構造を明示的に扱う上で、アテンション機構と、部分木の合成関数の双方に利点があることを示唆したと いえる。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受

けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998$6008,2017$.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019

[3] Jon Gauthier, Jennifer Hu, Ethan Wilcox, Peng Qian, and Roger Levy. SyntaxGym: An online platform for targeted evaluation of language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 70-76, Online, July 2020. Association for Computational Linguistics.

[4] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In Proceedings of the Association of Computational Linguistics, 2020

[5] Tal Linzen. How can we accelerate progress towards human-like linguistic generalization? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5210-5217, Online, July 2020. Association for Computational Linguistics.

[6] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntaxsensitive dependencies well, but modeling structure makes them better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1426-1436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural supervision improves learning of non-local grammatical dependencies. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. $2727-$ 2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Adhiguna Kuncoro, Miguel Ballesteros, Lingpeng Kong, Chris Dyer, Graham Neubig, and Noah A. Smith. What do recurrent neural network grammars learn about syntax? In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1249-1258, Valencia, Spain, April 2017. Association for Computational Linguistics.

[11] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural guidance for transformer language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3735-3745, Online, August 2021. Association for Computational Linguistics.

[12] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[13] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4340-4352, Online, August 2021. Association for Computational Linguistics.

[14] Eugene Charniak, Don Blaheta, Niyu Ge, Keith Hall, John Hale, and Mark Johnson. Bllip 1987-89 wsj corpus release 1. Linguistic Data Consortium, Philadelphia, Vol. 36, , 2000

[15] Nikita Kitaev and Dan Klein. Constituency parsing with a selfattentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[17] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[18] Richard Futrell, Ethan Wilcox, Takashi Morita, Peng Qian, Miguel Ballesteros, and Roger Levy. Neural language models as psycholinguistic subjects: Representations of syntactic state. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 32-42, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[19] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.
 吉田遼 大関洋平 東京大学 \{yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp  