# 統語的構成や自己注意を持つ言語モデルは 「人間らしい」のか?

吉田遼 大関洋平
東京大学
\{yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

本研究では、統語的構成と自己注意をアーキテク チャに持つ/持たない言語モデルの、人間の眼球運動・脳波のモデリングの精度を評価することで、そ れぞれの構成要素の「人間らしさ」を統一的に検証 する。具体的には、それぞれの構成要素を持つ/持た ない 4 つの統語的言語モデルと、自己注意を持つ/持 たない 2 つの統語的教示なしべースライン言語モデ ルを、first pass reading time と P600 振幅で評価する。結果、統語的構成と自己注意は共に眼球運動はよく 予測するが、脳波を上手く予測するのは統語的構成 のみであった。これは、統語的構成は間接的な認知 データの説明力に留まらず人間のオンライン言語処理における高次処理に対応するが、自己注意は高次処理とは乘離している可能性を示唆する。

## 1 はじめに

近年の自然言語処理で用いられる大規模事前学習可能な言語モデルは、アーキテクチャ自体も「人間らしい」のだろうか。これらの言語モデルは、様々なタスクで人間を超える精度を達成している (e.g., [1]) が、言語獲得のデータ効率の悪さなど、人間との乘離もしばしば指摘されている [2]。これに 対比されるように、「人間らしい」アーキテクチャ であるとして挙げられる言語モデルの代表が、再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammar, RNNG; [3]) である。RNNG は、統語的教示が統合された再帰的ニューラルネットワー ク (Recurrent Neural Network, RNN; [4]) であり、その 確率的予測が、人間のオフライン言語処理を反映 する容認性判断 $[5,6,7]$ や、オンライン言語処理を 反映する眼球運動・脳活動データ $[8,9,10]$ と高い 一致を示すことが知られている。ここで、RNNG の 最大の特徴は、句構造を階層的に一つのベクトル
へと構成する統語的構成であり、統語的構成なし では RNNG の性能が損なわれることが知られてい る $[6,8]$ 。

一方で、近年の自然言語処理では、Transformer [11] が RNN を様々なタスクで上回り [12]、過去の情報 に選択的に注意できる自己注意の自己回帰に対する 優位性が示されている。より近年では、Transformer が、単語毎提示の読み時間や脳波に限れば RNN よ りも上手く予測できること [13] から、認知モデリン グの文脈においても自己注意の「人間らしさ」が主張され始めている。これらを受け、先行研究 [14] で は、RNNG の統語的構成と Transformer の自己注意 を統合したモデルである構成注意文法 (Composition Attention Grammar, CAG) が提案され、人間のオフラ イン容認性判断に対して RNNG や Transformer より も高い一致率を示すことが明らかにされた。しか し、この統語的構成と自己注意を併せ持つモデル が、人間のオンライン言語処理とも高い一致率を示 すかどうかは、未だ明らかにされていない。

さらに、これらの認知モデリングの先行研究で は、RNN ベースのモデルにおける統語的構成の効果と、統語的教示を持たないモデルにおける自己注意の効果が、それぞれ独立に検証されるに留まり、統語的構成・自己注意それぞれの要素が、他方の要素の影響を受けずに、普遍的に認知的妥当性が高い かどうか、は統一的に検証されてきていない。

そこで、本研究では、統語的構成と自己注意を アーキテクチャに持つ/持たない言語モデルの、人間 の眼球運動・脳波のモデリングの精度を評価するこ とで、それぞれの構成要素の「人間らしさ」を統一的に検証する。具体的には、それぞれの構成要素を 持つ/持たない 4 つの統語的言語モデルと、自己注意 を持つ/持たない 2 つの統語的教示なしべースライ ン言語モデルを、first pass reading time と P600 振幅 で評価する。

表 1 本研究で評価する、統語的構成と自己注意をアーキテクチャに持つ/持たない 4 つの統語的言語モデルと、自己注意を持つ/持たない2つの統語的教示なしべースライン言語モデル。

## 2 実験

## 2.1 オンライン文処理のモデリング

人間のオンライン言語処理は予測処理を伴い、各単語が文脈に基づいた予測が難しい時には、処理負荷が向上し、視線停留時間が上昇したり、事象関連電位が励起されたりすると言われる。サプライザル 理論 $[15,16]$ は、この「予測の難しさ」をサプライ ザル $-\log p$ (単語|文脈) として定式化した。認知 モデリングの分野では、この值が言語モデルの予測確率と人間の眼球運動や脳波などとの橋渡し仮説と して用いられ、どのような言語モデルが「人間らし い」予測をするのかが、アーキテクチャ・学習デー タなどの観点から検証されてきた (e.g., [17])。本研究でも、サプライザル理論を橋渡し仮説として用 い、統語的構成と自己注意をアーキテクチャに持つ/持たない言語モデルの認知的な妥当性を検証する。

## 2.2 言語モデル

本研究で評価する、統語的構成と自己注意をアー キテクチャに持つ/持たない 4 つの統語的言語モデ ルと、自己注意を持つ/持たない 2 つの統語的教示 なしべースライン言語モデルを、表 1 に示した。全ての言語モデルは、先行研究 [14] により Brown Laboratory for Linguistic Information Processing 1987-89 Corpus Release 1(BLLIP、LG、約 1.8M 文) [18] で学習されたパラメータ数約 $16.6 \mathrm{M}$ のモデルを用いた。各モデルは 3 つの異なるシードで学習されている。

LSTM RNN ゙ースの、自己注意を持たない、純正言語モデル [19]。自己注意なしのモデルの、統語的教示なしべースラインである。

ActionLSTM RNN ベースの、自己注意を持たな い、統語的教示を統合された言語モデル $[20]$ 。ただ し、統語的構成は行わない。

RNNGRNNベースの、自己注意を持たない、統語的教示を統合された言語モデル [3]。統語的構成 を行う。

図 1 本研究で検証する P600（後頭部電極の、各単語の 最初の視線停留から 600-700ms の間の振幅平均）のトポ グラフィ。電極と時間空の選択は先行研究 [8] を踏襲し た。図は同先行研究より抜粋。

Transformer Transformer ベースの、自己注意を 持つ、純正言語モデル [21]。自己注意ありのモデル の、統語的教示なしべースラインである。

PLM Transformer ベースの、自己注意を持つ、統語的教示を統合された言語モデル [22]。ただし、統語的構成は行わない。

CAG Transformerベースの、自己注意を持つ、統語的教示を統合された言語モデル [14]。統語的構成 を行う。

## 2.3 眼球運動・脳波データ

英語母語話者 12 人分の、眼球運動と脳波の同時計測データである、Zurich Cognitive Language Processing Corpus (ZuCo; [23]) を用いた。先行研究 [24] を踏襲 し、自然な読みのデータの 700 文を用いる。

眼球運動データ 先行研究を踏襲し、first pass reading time を用いた。付録 A に示す前処理を施し、 160,603 中 93,782 のデータポイント（単語）が統計分析の対象となった。

図 2 統語的構成と自己注意をアーキテクチャに持つ/持たない 4 つの統語的言語モデルと、自己注意を持つ/持たない 2 つの統語的教示なしべースライン言語モデルの、心理学的予測精度 (PPP) の結果。縦軸が PPP を、横軸が各言語モデル を表す。棒グラフはシードの異なる 3 つのモデルの PPP の平均値を表し、それぞれの点は各シードの PPP を表す。

脳波データ統語的処理に関連する [25] とされ る、P600 振幅（後頭部電極の、各単語の最初の視線停留から 600-700ms の間の振幅平均）を用いた。電極と時間窓の選択は先行研究 [8] を踏襲した (図 1)。付録 B に示す前処理を施し、160,603 中 86,070の データポイント (単語) が統計分析の対象となった。

## 2.4 評価指標

各言語モデルの予測確率 $p$ (単語| 文脈) に基づ くサプライザル $-\log p$ (単語|文脈) の、眼球運動・脳波のモデリング精度を評価する。評価指標として は、心理学的予測精度 (Psychometric Predictive Power, PPP)：眼球運動・脳波をモデル化するベースライン 回帰モデルに、各言語モデルのサプライザルを加え た際の対数尤度の増加分 $(\Delta \operatorname{LogLik})$ を用いる。1) 先行研究 $[26,10]$ を踏襲し、眼球運動 (ET) のベースラ イン回帰モデルには以下の線形混合モデルを用い る:2)

$
\begin{aligned}
\log (\mathrm{ET}) & \sim \text { length + prev_length } \\
& + \text { freq }+ \text { prev_freq } \\
& + \text { is_first + is_last + is_second_last } \\
& + \text { lineN + segmentN }+(1 \mid \text { subj }) .
\end{aligned}
$

また、先行研究 $[13,8]$ を考慮し、脳波 (EEG) のべー スライン回帰モデルには以下の線形混合モデルを用


いる:

$
\begin{aligned}
\log (\mathrm{EEG}) & \sim \text { sent_order + word_order } \\
& + \text { baseline_activity }+(1 \mid \text { subj }) .
\end{aligned}
$

各特徵量の詳細は付録 $\mathrm{C}$ に記す。数値型の特徵量は 全て中心化を行なった。最初に一度モデル化した上 で 3 標準偏差を超えるデータポイントを除外した。 これにより、眼球運動、脳波のそれぞれで、92,246、及び 85,628 、のデータポイントが最終的な分析対象 となった。また、各言語モデルの PPP ( $\Delta$ LogLik $)$ の 差が有意であるかどうかについては、各言語モデル で最も性能が良かったシードの結果について、ネス トしたモデル比較を行い確かめた：比較対象となる 言語モデルのサプライザルを共に含んだ回帰モデル から、着目している言語モデルのサプライザルを除 いたときの逸脱度の増加分を $\chi^{2}$ 検定 $(p \leq 0.05)$ に より検定した。

## 3 結果と考察

統語的構成と自己注意をアーキテクチャに持つ/持たない 4 つの統語的言語モデルと、自己注意を 持つ/持たない 2 つの統語的教示なしべースライン 言語モデルの、PPP の結果を、図 2 に示した。縦軸 が PPPを、横軸が各言語モデルを表す。棒グラフは シードの異なる 3 つのモデルの PPP の平均値を表 し、それぞれの点は各シードの PPP を表す。また、 PPP の有意差を検定するための、ネストしたモデル 比較の結果を、表 2 に示した。統語的教示/統語的構成/自己注意を持つ言語モデルが、持たない言語モデ ルより PPPが高いかどうかを、その他の構成要素を 持つ/持たない条件別に比較している。

表 2 心理学的予測精度 (PPP) の有意差を検定するための、ネストしたモデル比較の結果。統語的教示/統語的構成/自己注意を持つ言語モデルが、持たない言語モデルより PPPが高いかどうかを、その他の構成要素を持つ/持たない条件別に 比較している。

眼球運動 First pass reading time の PPP の結果と、 ネストしたモデル比較の結果は、それぞれ、図 2、表 2 の左に示されている。また、事前にベースライ ン回帰モデルとのネストしたモデル比較を行い、全 ての言語モデルの PPP が有意であり、眼球運動のモ デリングに効果があることを確かめた。図 2 より、統語的構成と自己注意の両者を持つ CAG が最も高 いPPPを達成しており、統語的構成と自己注意の 両者が、眼球運動という、人間のオンライン文処理 から得られる間接的認知データの説明に、一定程度有効であることが示唆されている。さらに、表 2 よ り、統語的構成・自己注意の両者が、条件間で普遍的に有効であることが統計的に確かめられた。ベー スライン言語モデルとの比較による、統語的教示の 有効性については、条件間で統一した結論は得られ ていないが、これは統語的教示を与えることは必要十分ではなく、統語的構成のようなそれを扱うアー キテクチャを先天的にモデルに組み込むことが重要 であることを示唆している $[6,8]$ 。

脳波 P600 振幅の PPP の結果と、ネストしたモ デル比較の結果は、それぞれ、図 2、表 2 の右に示さ れている。事前にベースライン回帰モデルとのネス トしたモデル比較を行い、統語的構成を持つ RNNG と CAG の PPP のみが有意であり、その他の言語モ デルは脳波のモデリングに効果がないことが確か められた。図 2 より、それら RNNG と CAG 間では、 RNNG がより高い PPP を達成しており、統語的構成 は脳波に反映される高次処理に対応する可能性が高 い (cf. [8]) が、自己注意はそれらの高次処理には対応しない可能性が高いことが示唆されている。さら
に、表 2 より、統語的構成は条件間で普遍的に有効 であることが統計的に確かめられた。自己注意や、統語的教示については、いずれの条件でも有効性が 確かめられなかった。

総合考察 本研究の結果を総合すると、以下のよ うな示唆が得られる。まず、文法的構成は、眼球運動のような間接的な認知データの説明力に留まら ず、人間のオンライン文処理における高次処理に対応する可能性が高い。一方で、自己注意は、眼球運動に対する説明力はあるが、オンライン文処理にお ける高次処理とは対応していない可能性がある。ま た、統語的教示自体は眼球運動・脳波の予測に必ず しも有効でなく、認知的妥当性の向上にはそれを扱 うアーキテクチャ (i.e., 統語的構成) が必要である。

## 4 おわりに

本研究では、統語的構成と自己注意をアーキテク チャに持つ/持たない言語モデルの、人間の眼球運動・脳波のモデリングの精度を評価することで、そ れぞれの構成要素の「人間らしさ」を統一的に検証 した。具体的には、それぞれの構成要素を持つ/持た ない 4 つの統語的言語モデルと、自己注意を持つ/持 たない 2 つの統語的教示なしべースライン言語モデ ルを、first pass reading time と P600 振幅で評価した。結果、統語的構成と自己注意は共に眼球運動はよく 予測したが、脳波を上手く予測するのは統語的構成 のみであった。これは、統語的構成は間接的な認知 データの説明力に留まらず人間のオンライン言語処理における高次処理に対応するが、自己注意は高次処理とは乘離している可能性を示唆する。

## 謝辞

本研究は本研究は、JST さきがけ JPMJPR21C2 の

支援を受けたものです。

## 参考文献

[1] Charlotte Caucheteux and Jean-Rémi King. Brains and algorithms partially converge in natural language processing. Communications Biology, Vol. 5, No. 1, pp. 1-10, February 2022.

[2] Tal Linzen. How Can We Accelerate Progress Towards Human-like Linguistic Generalization? In ACL 2020, pp. 5210-5217, Online, July 2020. Association for Computational Linguistics.

[3] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent Neural Network Grammars. In NAACL 2016, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[4] Jeffrey L. Elman. Finding structure in time. Cognitive Science, Vol. 14, No. 2, pp. 179-211, April 1990.

[5] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs Can Learn Syntax-Sensitive Dependencies Well, But Modeling Structure Makes Them Better. In ACL 2018, pp. 14261436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural Supervision Improves Learning of Non-Local Grammatical Dependencies. In NAACL 2019, pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A Systematic Assessment of Syntactic Generalization in Neural Language Models. In ACL 2020, pp. 1725-1744, Online, July 2020. Association for Computational Linguistics.

[8] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In ACL 20018, pp. 2727-2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Jonathan R. Brennan, Chris Dyer, Adhiguna Kuncoro, and John T. Hale. Localizing syntactic predictions using recurrent neural network grammars. Neuropsychologia, Vol. 146, p. 107479, September 2020.

[10] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars. In EMNLP 2021, pp. 29642973, Online and Punta Cana, Dominican Republic, January 2021. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL
2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Danny Merkx and Stefan L. Frank. Human Sentence Processing: Recurrence or Attention? In CMCL 2021, pp. 12-22, Online, June 2021. Association for Computational Linguistics.

[14] Ryo Yoshida and Yohei Oseki. Composition, Attention, or Both? In Findings of EMNLP 2022, Online and Abu Dhabi, the United Arab Emirates, December 2022. Association for Computational Linguistics.

[15] John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In NAACL 2001, pp. 159-166, 2001.

[16] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, March 2008.

[17] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower Perplexity is Not Always Human-Like. In ACL-IJCNLP 2021, pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[18] Eugene Charniak, Don Blaheta, Niyu Ge, Keith Hall, John Hale, and Mark Johnson. BLLIP 1987-89 WSJ Corpus Release 1, 2000.

[19] Sepp Hochreiter and Jürgen Schmidhuber. Long Shortterm Memory. Neural computation, Vol. 9, No. 8, pp. 1735-80, December 1997.

[20] Transition-Based Dependency Parsing with Stack Long Short-Term Memory. In ACL-IJCNLP 2015, pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[21] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving Language Understanding by Generative Pre-Training. p. 12, 2018.

[22] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural Guidance for Transformer Language Models. In ACL-IJCNLP 2021, pp. 3735-3745, Online, August 2021. Association for Computational Linguistics.

[23] Nora Hollenstein, Jonathan Rotsztejn, Marius Troendle, Andreas Pedroni, Ce Zhang, and Nicolas Langer. ZuCo, a simultaneous EEG and eye-tracking resource for natural sentence reading. Scientific Data, Vol. 5, No. 1, p. 180291, December 2018.

[24] Nora Hollenstein, Federico Pirovano, Ce Zhang, Lena Jäger, and Lisa Beinborn. Multilingual Language Models Predict Human Reading Behavior. In NAACL 2021, pp. 106-123, Online, June 2021. Association for Computational Linguistics.

[25] Lee Osterhout and Phillip J Holcomb. Event-related brain potentials elicited by syntactic anomaly. Journal of Memory and Language, Vol. 31, No. 6, pp. 785-806, December 1992.

[26] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In COLING 2016, pp. 684694, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[27] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer Sentinel Mixture Models. In ICLR 2017, 2017.

表 3 本研究で用いた特徴量。

## A 眼球運動データの前処理

眼球運動データについては、データセットの提案論文 [23] で施されている前処理に加えて、先行研究 [10] を踏襲し、(i) 視線停留がゼロの単語、(ii) 大規模コーパス (Wikitext-2, [27]) の語彙に含まれない 単語、(iii) 語彙に含まれない語に後続する単語、を 除いた。

## B 脳波データの前処理

脳波データについては、データセットの提案論文 [23] で施されている前処理に加えて、先行研究 [8] を踏襲し、 $40 \mathrm{~Hz}$ のローパスフィルタを適用 し、さらに、平均再参照を行なった。また、視線停留後 $0-100 \mathrm{~ms}$ の平均振幅に対してべースライン補正 を行なった。また、(i) 視線停留がゼロの単語、(ii)大規模コーパス (Wikitext-2) の語彙に含まれない単語、(iii) 文の最初及び最後に現れる単語、を除いた。

P600 の電極位置については、先行研究 [8] とはモ ンタージュが異なるため、厳密に同じではないが、後頭部電極を用いた。

## C 回帰モデルの特徵量

本研究のベースライン回帰モデルに用いた特徴量を、表 3 に示した。頻度情報は大規模コーパス (Wikitext-2)より算出した。
 吉田遼 大関洋平 東京大学 \{yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp  