# 言語モデルの統語構造把握能力を測定する より妥当な多言語評価セットの構築

神藤駿介 1,2 能地宏 ${ }^{3,2}$ 宮尾祐介 1,2
1 東京大学大学院 情報理工学系研究科
2 産業技術総合研究所人工知能研究センター
${ }^{3}$ LeapMind 株式会社
\{kando.s, yusuke\}@is.s.u-tokyo.ac.jp noji@leapmind.io

## 概要

近年言語モデルの統語構造把握能力を評価する研究が盛んだが，それらは英語テキストを用いたもの に偏っている. 本研究ではそのような評価セットを 生のコーパスから多言語で自動的に抽出する手法 を提案する. 既存研究は依存構造木から評価セット を自動的に抽出するアルゴリズムを提案している が，実際には抽出データのほとんどが統語構造の把握を要しない容易なタスクとなっており, 妥当な評価セットを構築できていたとは言えないことが分 かった. 本研究では, 同じアルゴリズムを用いつつ 評価セットの抽出量を増やすことで, より妥当な評価セット構築を目指す。

## 1 はじめに

近年 [1]を発端に, 言語モデルの統語構造把握能力を評価セットを用いて直接的に測定する研究が盛 んに行われている.そのような評価セットは多くの 場合は以下のような文法的に正しい文と誤っている 文の組（ミニマルペア）から成る:

The farmer near the clerks knows / *know.

評価においては 2 つ文を評価対象の言語モデルに 入力し, 文法的に正しい文により高い確率が付与さ れるかどうかを見る. know の正しい活用形はその 主語（farmer）を正確に把握することによって判断 されるが，この例では farmer が前置詞句で修飾され ており,この文法的な構造を把握できていないとよ り距離的に近い clerks に引きづられて誤った判断を してしまう恐れがある. 評価セット構築およびそれ による言語モデルの評価に関する研究は英語テキス 卜を対象にしたものが数多くあるが $[2,3,4]$, その 結論は大枠では一致している. すなわち, LSTM [5]
をはじめとする単方向モデルの性能には限界がある 一方で，BERT [6] をはじめとする双方向 Transformer 系モデルや RNNG [7] といった階層構造を取り入れ たモデルの性能が高いことが知られている.

これらの研究は多言語でも徐々になされており,評価セットの作成方法としてはテンプレートを元に 構築する手法 [8] と, 依存構造ツリーバンクから自動抽出する手法 [9] がある．前者のアプローチはコ ストが高く, より多様な言語の評価セットを構築す るにあたっては後者のアプローチがより適している が, [9] においては LSTM が十分な性能を有すると いう他の研究と食い違う主張がなされている.

本研究では，まず [9] で公開されている評価セッ トの問題点を指摘し，実際にはLSTM の性能が高い とは言えないこと, RNNGのような階層的なモデル が依然として優位にあることを立証した。既存の評価セットの具体的な問題点は, 統語構造の正確な把握を要しないケースがほとんどを占めており，実際 に構造把握を要するケースの個数は非常に限られて いることである．そこで，構文解析を施したコーパ スを利用してデータ抽出量を大幅に増やすことでそ の問題点を解決し, 言語モデルの統語構造把握能力 をより正当に評価できる妥当な評価セットを構築 する手法を提案する． 3 つの言語での抽出実験の結果, 構造把握を要するケースを最低でも 70 倍程度増やすことに成功した。

研究のモチベーション 我々はRNNG を多言語 で学習する手法を提案し [10], 事前の研究でそれが 5 つの言語の評価セットである CLAMS [8] において 高い性能を記録することを確認した。この手法の適用範囲を模索していくにあたってはより多様な言語 での評価セットが必要であり, 本研究はそれに向け ての第一段階である.

図1: 評価データを抽出できる依存構造木の例

## 2 既存評価セットの問題点の指摘

## 2.1 既存研究 [9] の概要

Gulordava ら [9] は, 依存構造木から評価セットを 自動的に抽出するアルゴリズムを提案している．抽出手順の概略は以下の通りである.

1. 依存構造ツリーバンクを読み込んで各語彙の情報を集計し，品詞表を得る。

2. ツリーバンクから依存関係の距離が比較的長い パターンを有するデータを取り出し，その依存関係に数の一致現象があるとみなされるものだ けを抽出する。

3. 2. で得られたデータについて, 1. で得られた品詞表を参照して依存関係の右側の単語を書き換 えてミニマルペアを作成する.

例えば図 1 の依存構造木において nsubj のラベル に注目すると，エッジで結ばれた二つの単語の数の 素性（Number=Sing）が一致している.これと同じ タイプの依存関係のデータを収集して常に数の素性の一致が観察される場合（つまり Number=Plur と いう一致も十分量存在する場合), このデータは一致現象があるとみなされる。ミニマルペアの作成に ついては, 品詞表を参照して依存関係の右側の単語 “laughs”を Number=Plur の特徵をもつ “laugh”に入れ 替えることでなされる，以下，依存関係の左側と右側の単語をそれぞれ cue / target と呼ぶ.

Gulordava らはこのアルゴリズムを Universal Dependencies (UD) [11] のイタリア語・英語・ヘブラ イ語・ロシア語の訓練セットに適用して得られた評価セットを公開しており1)，これを元に言語モデル の評価を行って LSTM の性能が十分に高いことを主張している.これは自動化に頼らないより妥当性の 高いアプローチで多言語の評価セットを作成してい る [8] とは異なる結論であり，疑問の余地が残る.


colorless 文の作成 ツリーバンクから抽出され た評価セットに加え，各文の内容語を同一品詞 $\cdot$同一素性を持つ別の語にランダムに置き換えた文 を生成する。以下，このランダムな文を colorless 文と呼ぶ. colorless 文は「文法性と意味とは切り離 して考えられる」という説 [12] に基づいて生成され ている。例えば，我々は “Colorless green ideas sleep furiously.”という文を読んだとき，意味は分からな いが文法的には正しいと判断ができる. colorless 文 はこのような文を得る目的で考案されており，モデ ルが語彙情報をもとにタスクを解けなくするように している。一方で colorless 文は述語項構造の制約を 考慮できないという問題点もあり, 本来自動詞であ る “stay”が “It stays the shuttle”というように誤用さ れたケースが生成されることがある.

語彙をベースにしたデー夕選別 最後に，言語モ デルによる評価の妥当性を高めるため，抽出された データの cue と target の間の全ての単語が言語モデ ルで事前に定義された語彙に含まれるケースのみを 抽出する。

## 2.2 Attractor の有無に関する分析

## 2.2.1 概要

我々は [9] の評価セットのデータを attractor の有無によって分類し再度評価を行うことで，評価デー タが統語構造の把握能力をものとして本当に妥当 なものであるかを調査した。attractor とは, cue と target の間にある単語で, cue と品詞は同じで数の素性が異なるものを指す。図 1 においては “boys”が attractor である. attractor は cue よりも target の近く にあるため，LSTM のような単方向のモデルだと attractor に引きづられて target の正しい活用形を間違えてしまう可能性が高まる。したがって, attractor のあるデータは解くのが難しいと言える。一方で attractor の存在しないケースは次の二つに分けられ る: (1) cue と target の間に cue と同じ品詞の単語がな いケース. (2) cue と同じ品詞の単語はあるが，数の 素性が cue と同じケース. (1)の場合は cue と target の品詞の情報のみを手がかりにして解けてしまい, (2) の場合は cue ではなく間の単語を手がかりにし ても解けてしまうことから，いずれにせよ attractor が存在しないケースは統語構造の把握能力を測定 するデータとしては不適格であり，解くのが容易な データであると言える.
表 1: Gulordava らが公開しているデータセットの統計量および言語モデルによる精度. サブキャプショ ンに attractor の無いデータの割合を括弧書きで示し た. 各データを元に合計で 9 個の colorless 文を生成 しているため, 元データのサイズは表記されている 量の 1/10である.

(a) 英語 $(80 \%)$

(b) ヘブライ語 $(73 \%)$

(c) ロシア語 $(95 \%)$

## 2.2.2 実験設定

実験では, Gulordava らが公開している評価セット のうち英語・ヘブライ語・ロシア語について分析を 行う. 評価セットを attractor の個数によって切り分 け，それぞれ言語モデルで評価して精度を比べる。言語モデルとしてLSTM およびRNNG を用いて結果を比べる．LSTM の各パラメタは [13] のものを用 いる. RNNG は [10] に倣って学習する。ただし, 構造は flat なものを用い, 非終端記号には dependency label を付与する. RNNG の訓練データは各言語の Wikipedia 記事を $80 \mathrm{M}$ token だけ取り出して UDify [14] で解析して作成し, LSTM の訓練データも同じ 文を用いる。

## 2.2.3 結果

データ数の統計および言語モデルの精度を表 1 に示す.いずれの言語においても attractor が存在し ないケースが大多数を占めており，なおかついずれ
のモデルもその精度が高いことが見て取れる. 一方 で attractor が存在するケースでは, LSTM はどの言語でも明らかな精度減少が観察される. RNNG は英語とロシア語では attractor があっても高い精度を維持しており, ヘブライ語においてもLSTM より良い 精度を記録している。

以上のことをまとめると, [9] における「LSTM の 文法構造把握能力が高い」という結論は実際には統語構造の把握能力を要しないデータが大多数を占め ているがために導かれたものであり，モデルの性能 を正確に評価するには attractor のあるケースを用い る必要がある.

## 3 構文解析を用いたデー夕拡張

## 3.1 概要

前節では attractor のあるデータを用いて評価を行 うことの重要性について述べたが，表 1 からも見 てとれるように実際には attractor のあるデータは非常に少ない. colorless 文を増やすことも考えられる が，述語項構造が誤った文も生成されてしまうこと から望ましくない. Kasai と Frank [15] は colorless 文 の構文解析の実験を行い，述語項構造が誤っている ことが原因でその性能が悪くなることを指摘してお り，これは言語モデルの評価にも影響を及ぼす懸念 がある。したがって，より評価セットとしての妥当性を高めるに当たっては元の抽出データ量自体を増 やすことが必要となる．そこで我々は UD のデータ から抽出する代わりに，生のコーパスを構文解析す ることで多量のツリーバンクを得てから抽出を行 い，どれくらいデータが抽出できるかを調査した.本実験の目標は評価セットを作成することであるた め, 出来る限り信頼のおける構文解析結果を用いた い. そこで我々は二つの構文解析器の解析結果が一致するとみなせるようなケースだけを取り出すこと で信頼のおけるデータの抽出を試みた。

## 3.2 実験設定

本実験においてはイタリア語・英語・ロシア語の 評価セット抽出を行う．まず各言語の Wikipedia 記事を $100 \mathrm{M}$ token 分用意した。この際，短すぎる文 は長距離の依存関係が存在しないこと，長すぎる文 は解析結果が一致しづらくなることを考慮し，一文あたりの token 数が 9 以上 40 以下のものだけを 取り出すこととした。構文解析には UD をべース
表 2: 評価セットの抽出結果. 評価セット数およびそのうち attractor を含むものの数（4,5 列目）について は， Gulordava らが公開している評価セットのデータ数を括弧書きで示した. attractor の数ごとの統計は付録 の表 3 に示す.

にした構文解析器である Trankit [16] と Stanza [17] を用いた。得られた 2 つの依存構造木において, CoNLL-U format ${ }^{2}$ の 10 のフィールドのうち主要な 4 つ（UPOS, FEATS, HEAD, DEPREL）が全て一致す るものを取り出した。なお，本手法ではサブワード を用いた言語モデルによる評価を見越して，語彙に よる選別は行っていない.

## 3.3 結果

表 2 に抽出できた評価セットの統計量を示す.い ずれの言語においても, attractor のあるケースを評価セットとして十分な数だけ抽出できたと言える. なお, 英語の評価セットが極端に少ないのは, 英語 が形態的に貧弱であるために数の一致現象自体が少 ないことに起因する。

## 4 今後の課題

抽出データを増やすことは出来たが，まだいくつ か課題が残されている.

第一に，抽出した評価セットの質を評価する必要 がある. 解析結果の一致をとることで出来るだけ正確な木構造を得るよう工夫はしているものの，今回 の評価セットはあくまで予測された木構造から得ら れたものであり, 信頼のおけるデータであるとは限 らない，最も直接的に質を評価する方法としてはク ラウドソーシングを用いた人手による評価があり得 る. 間接的な手法としては, n-gram をはじめとする ナイーブな言語モデルが解けないような評価セット となっていることを確かめることも考えられる．加 えて, 今回は二つの解析結果を元により正確な木構造を取り出したが，単一の構文解析器の出力を用い て抽出した評価セットの質が十分に高いこともあり 得る．仮にそうであれば，構文解析の一致をとるス テップは時間的コストが大きい上にデータの抽出量 も減るため不要とみなされることになる.したがっ
て，単一の構文解析器による実験も行ってここの是非を確認する必要があるだろう。

第二に，一つ目の課題と少し被るが，抽出データ を用いて実際に言語モデルを評価する実験が必要で ある. LSTM や RNNG の評価結果が Gulordava らが 公開している gold な木構造から作成されたデータ セットのそれと大きく異なることがあれば，やはり データセット自体の質を疑わなくてはならない。ま た，扱う言語の種類によって言語モデルの性能が変 わってくるのかなどと言った多言語モデリングの観点からの研究にも大きな意義がある.

第三に，本手法を実際に他の言語に適用すること が必要である．実は抽出アルゴリズムを動かすにあ たっては，ツリーバンクによっては何らかの前処理 を施す必要がある．例えば英語の UD のツリーバン クには動詞に Number=Plur という特徴を明示的にア ノテーションしないという決まりがあり，この情報 を前処理で付与しないと評価セットを抽出できなく なってしまう。また，本研究では [9] では取り扱わ れているへブライ語の抽出を行っていないが，これ は既存コードの前処理用のスクリプトが何らかの理由で動作しなかったためである。このように，各言語ごとに自明でない前処理が発生し得るため, 各言語ないしツリーバンクのアノテーション規約はどう なっているのか，より一般にはどのような前処理を 施せば滞りなく抽出できるのかなどを丁寧に調査す る必要がある.

## 5 おわりに

本研究では, 言語モデルの統語構造把握能力を測定するより妥当な多言語評価セットの構築を行っ た。評価セットの質の評価をはじめ今後解決すべき 課題はあるが，この研究を進めていくことで多言語 モデリングにおける新たな評価指標を確立し，分野 に貢献できることを期待する。


## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の助成事業 (JPNP20006)

の結果得られたものである. 産総研の $\mathrm{AI}$ 橋渡しク

ラウド $(\mathrm{ABCI})$ を利用し実験を行った。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, , 2016.

[2] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntax-sensitive dependencies well, but modeling structure makes them better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.

[3] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. BLiMP: A benchmark of linguistic minimal pairs for English. In Proceedings of the Society for Computation in Linguistics 2020, 2020.

[4] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[5] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Comput., Vol. 9, No. 8, 1997.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[7] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2016.

[8] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[9] Kristina Gulordava, Piotr Bojanowski, Edouard Grave, Tal Linzen, and Marco Baroni. Colorless green recurrent networks dream hierarchically. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), 2018.

[10] 神藤駿介, 能地宏, 宮尾祐介. 依存構造から句構造へ の変換による多言語モデリングに向けて. 言語処理学会第 27 回年次大会, 2021 .
[11] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference, Marseille, France, 2020.

[12] Noam Chomsky. Syntactic Structures. Mouton and Co., 1957.

[13] Hiroshi Noji and Hiroya Takamura. An analysis of the utility of explicit negative examples to improve the syntactic abilities of neural language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[14] Dan Kondratyuk and Milan Straka. 75 languages, 1 model: Parsing Universal Dependencies universally. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

[15] Jungo Kasai and Robert Frank. Jabberwocky parsing: Dependency parsing with lexical noise. In Proceedings of the Society for Computation in Linguistics (SCiL) 2019, 2019.

[16] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A light-weight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, 2021.

[17] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, 2020 .

## A評価セットの attractor 数ごとのデータ数の統計

表 3: 本研究で作成した評価セットおよび Gulordava ら [9] が公開している評価セットの attractor 数ごとのデー 久数の統計.

(a)イタリア語

(b) 英語

(c) ロシア語


 神藤駿介 1,2 能地宏 ${ }^{3,2}$ 宮尾祐介 1,2 1 東京大学大学院 情報理工学系研究科 2 産業技術総合研究所人工知能研究センター ${ }^{3}$ LeapMind 株式会社 \{kando.s, yusuke\}@is.s.u-tokyo.ac.jp noji@leapmind.io  