# 日本語版 CoLA の構築

染谷大河 大関洋平
東京大学
\{taiga98-0809, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

近年、ニューラル言語モデルが自然言語の統語知識をどれほど有しているかを、容認性判断課題を通 して検証する研究が行われてきている。しかし、こ のような言語モデルの統語的評価を行うためのデー タセットは、主に英語を中心とした欧米の諸言語を 対象に構築されてきた。本研究では、既存のデー タセットの問題点を克服しつつ、このようなデー タセットが構築されてこなかった日本語を対象と した初めてのデータセットである JCoLA (Japanese Corpus of Linguistic Acceptability)を構築した上で、そ れを用いた言語モデルの統語的評価を行った。

## 1 はじめに

近年、ニューラル言語モデルの成長は著しく、特 に Transformer [1] をべースとしたモデルは、様々な タスクで高い精度を発揮している $[2,3]$ 。一方、理論言語学の分野においては、伝統的に自然言語には 一種の統語構造が存在しているということが主張さ れており $[4,5]$ 、その構造の姿を解明すべく研究が 進められている。確かに、先述のニューラル言語モ デルは多くの自然言語処理タスクにおいて非常に高 い精度を発揮することが確認されているものの、如何にしてこれらのタスクを解いているのか、特にこ れらのニューラル言語モデルが自然言語の統語知識 をどれほど有しているのかについては多くが分かっ ていない。

このような背景から、近年ではニューラル言語モデルが実際にどれほどの統語知識を獲得し ているのかを検証する研究が盛んに行われてい る [6,7,8,9,10,11]。しかし、その多くは英語を中心 とした欧米の限られた言語を対象とした検証に終始 し、性質の異なる言語に対象を拡張した検証は多く は行われておらず $[12,9]$ 、中でも幅広い統語現象を 扱った包括的な検証はごく限られた言語でしか行わ れていない $[13,14,15,16]$ 。本研究では、そのような状況に鑑みて、既存の データセットの問題点を解決しつつ、幅広い統語現象について言語モデルの統語的評価を行う日本語データセットである JCoLA (Japanese Corpus of Linguistic Acceptability)を構築し、それを用いた言語 モデルの性能検証を行う。

## 2 言語モデルの統語的評価

容認性判断課題とは、提示された文が容認可能 （文法的）か容認不可能（非文法的）かの判断を下 す課題である。近年、この容認性判断課題を用いた 言語モデルの統語知識の検証が多く行われている。 こうした研究の端緒となった Linzen et al. (2016) [6] では、言語モデルが英語の主述の一致 (subject-verb agreement)を捉えることができるかを以下のような ミニマルペアを用いて検証し、実際に LSTM 言語モ デルが主述の一致を一定程度解くことができる統語知識を有していることが確認された。

(1) a. The keys to the cabinet are on the table. $\mathrm{b} *$ The keys to the cabinet is on the table.

このような文脈から、より広範囲の統語現象を扱 い、かつデータの規模としても大きいデータセット の開発も進んでいる。Warstadt et al. (2019) [13] は、英語を対象とした大規模な言語理解ベンチマーク である GLUE [2] に含まれるデータセットの一つと して、理論言語学のジャーナル論文や教科書から 例文を抽出し、言語モデルの 2 值分類性能をテス トする大規模データセットである CoLA (Corpus of Linguistic Acceptability)を構築したが、CoLAを用い て言語モデルの統語知識を検証するためには、言語 モデルとは別に容認性の予測を出力するための分類器等を学習する必要があった。したがって、このよ うな方法では得られた予測の良し悪しが言語モデ ルがテキストから学習した内部表現によるものな のか、分類器を教師ありで学習する際に獲得した表現によるものなのかが必ずしも明確ではないとい

う問題があることが指摘されている。この問題点を 克服すべく、Warstadt et al. (2020) [14] は、島の制約 (island constraint) や動詞の項構造 (argument structure) をはじめとした 12 の現象を扱うミニマルペアを 自動生成してまとめた大規模データセット BLiMP (The Benchmark of Linguistic Minimal Pairs for English) を構築した。これにより、言語モデルが正例に対し て、負例よりも高い尤度を付与する確率分布を学習 できていれば、言語モデルはそのミニマルペアの容認度の違いを正しく捉えているという仮定のもと、個別の分類器を学習することなく、言語モデルの出力を直接用いてその統語知識の検証を行うことが可能となった。

一方で、以上の言語モデルの統語知識を検証する 試みは、その大多数が英語を対象としたものであ る。一部の研究で対象を英語以外にも拡張した検証 $[9,12,17,18]$ が行われてはいるが、主述の一致等 の限られた統語現象を対象にした検証にとどまっ ており、幅広い統語現象を対象とし、かつ英語以外 で検証を行った研究は非常に限られている $[16,15]$ 。特に日本語においては自然言語処理の分野で広く使 われる言語モデルの統語知識を評価するべンチマー クとなるようなデータセットは存在していない。1) このような状況では、言語モデルが英語等の一部の 言語だけではなく、自然言語一般の統語現象を捉え られているかどうかについての明確な証拠を得るこ とはできない。本研究では、そのような現状に鑑みて JCoLA (Japanese Corpus of Linguistic Acceptability)を構築し、 それを用いて既存言語モデルの統語的評価を行う。 また、JCoLA は理論言語学のジャーナル論文から抽出した容認度と統語現象のアノテーションが付いた 例文（2,323 文）と、それをもとに構築したミニマ ルペア（369ペア）を収録したデータセットである。 したがって複雑な統語現象を扱い、かつミニマルペ アの形で提示できるという特徴を併せ持っており、既存のデータセットの問題点を克服したデータセッ トとなっている（表 1)。

表 1 既存の統語的評価用大規模データセットと JCoLA

1) Futrell et al. (2019)[10] と概ね同じタイトルである Futrell et al. (2018)[19] においては、日本語の否定極性項目についての 議論が行われている。

## 3 JCoLA の構築

## 3.1 データ収集

言語モデルが理論言語学で重要とされている統語現象を捉えられているかを検証するため、本研究で は東アジア・東南アジア言語の言語学のジャーナル として著名な JEAL (Journal of East Asian Linguistics) に 10 年間（2006 年から 2015 年）で掲載された 133 本の論文の中で、特に日本語の統語論を扱っている 論文 28 本を対象とし、その論文で提示されている 全てのデータポイント（2,323 文）を抽出した。こ こでの「全てのデータポイント」は、脚注や付録を 含む本文の全ての日本語の例文の中で、構造分析の ために提示された例文を除いたもののことである。

## 3.2 タイプ分類

単純な全データポイントに対する正解率による比較に終始することなく、個別の統語現象ごとのモデ ル評価を可能にするため、前節で抽出した例文を統語現象のタイプによって分類した。本研究では、全 データポイントを 3 つの粒度で分類する。分類の名称については、BLiMP [14]を参考にした。

まず、大分類として各データポイントが問題とし ている容認性判断の性質や、本文中での提示のされ 方に基づいて 8 種類に分類した。

## ACCEPTABILITY

特定の解釈・文脈に依存しない容認性判断。

## INTERPRETATION

特定の文脈・解釈に依存する容認性判断。

## Coreference

指示詞や照応形の共参照に関する容認性判断。

## LEXICAL

統語現象一般ではなく、特定の語彙項目に関す る容認性判断。

## FOOTNOTE

論文の脚注で提示されている例文。

## APPENDIX

論文の付録で提示されている例文。

## RePEAT

既に提示された例文の繰り返しであることが、本文で明示的に断られている例文。

## VARIATION

既に提示された例文と比べ、理論構築に無関係 な要素のみにしか違いがない例文。
次に、中分類として各データポイントがどのよう な統語現象を扱っているのかに基づく分類を行っ た(phenomenon)。中分類は、基本的に BLiMP にお ける 12 の現象に OTHERS を加えたものであるが、今回対象とする日本語のデータに合わせてその一部を 変更した (付録 A)。また、データポイントが二つ 以上の現象に分類されうると判断された場合には、 phenomenon-2 を用意して分類した。ただし、言語 モデルの統語現象ごとの評価の際には phenomenon の分類が優先される。

最後に、小分類として中分類 (phenomenon)より さらに粒度の細かい、個別の統語現象ごとに 39 種類の分類を行った (paradigm)。これにより、エラー 分析の際により粒度の細かい分析が可能となる。

## 3.3 ミニマルペアの作成

まず、前節でタイプ分類が行われたデータセッ トのうち、以下の全ての条件を満たすものを抽出 する。
- 非文として提示されている（?や*などのマーキ ングがされている）もの。ただし、?などのマー キングがされつつも、本文中で正例としてみな されているものは除く。

-大分類が variation、repeat、footnote、appendix $の$ いずれでもないもの。

・中分類が others でないもの。

次に、言語学の論文において提示された全ての負例には、対応する正例が存在するという仮定のも と [20]、以上により抜き出された負例のぞれぞれに 対応する正例を、論文の中から採用するか、本文 の内容を確認しつつ筆者が作例することにより構築した。この際、解釈により容認度が変わる例は、 JCoLA に含めない不適切な例として、ミニマルペア 構築の対象外とした。また、重複している例文や、語彙項目が異なるのみで検証対象が同じである例文 も除外した。以上の手順により、合計で 369 ペアの ミニマルペアが作成された（表 2、付録 B）。

## 4 実験

## 4.1 言語モデル

以上で構築した JCoLA のミニマルペアを用いて、 Kuribayashi et al. (2021) [21] で学習済みの言語モデ ルを評価する。モデルの種類は、2つの異なるサイ表 2 中分類ごとのミニマルペアの数

ズの GPT-2 言語モデル（Trans-LG: 400M パラメー タ、Trans-SM: 55M パラメータ）と LSTM 言語モデ ル、さらに 3-gram、4-gram、5-gram 言語モデルの合計で 6 種類である。それぞれの言語モデルは、学習 データ量2) ・学習ステップ数（100、1,000、10,000、 $100,000)$ ・ランダムシード（3 種類）を変えた複数の 設定で学習された (ただし、n-gram 言語モデルは学習データ全体で学習された)。また、学習データと してはニュース記事と日本語版ウィキぺディアに含 まれる約 5,000,000 文からなるコーパスが用いられ た。3)

## 4.2 評価方法

ミニマルペアの正例に負例よりも高い尤度を付与 できた場合に正解とみなし、各言語モデルの JCoLA における正解率を算出する。その際、系列長の違い を考慮するために、Lau et al. (2017) [24] で提案され た正規化関数の一つである、MeanLPを用いて尤度 を算出する ( $|X|$ はサブワード単位の文の長さ)。

$
\text { MeanLP }=\frac{\log p(X)}{|X|}
$

## 5 結果

全学習データを用い、100,000 学習ステップの学習を行った 3 種類のニューラル言語モデルと 5 -gram 言語モデルの全ミニマルペアに対する正解率を図 1 にまとめた。全ての言語モデルにおいて、正解率は $70 \%$ 程度に留まっている。したがって、JCoLA は複

2）各モデルについて、学習データのうち $1 / 100(\mathrm{SM})$ を用い て学習されたもの, 1/10(MD) を用いて学習されたもの, 全て (LG)を用いて学習されたものの 3 種類が用意された。

3）学習コーパス内の各文は、MeCab [22]により国語研短単位に分割された上で、Byte Pair Encoding(BPE)[23]を用いて サブワード単位に分割されている (vocab $=100,000$ 、character coverage $=0.9995$ )。

図 2 中分類ごとの正解率。LSTM・Trans-SM・Trans-LG は、全学習データ・100,000 学習ステップの設定で学習されたも のである。エラーバーは 3 つのランダムシードの標準偏差である。

図 1 全ミニマルペアに対する正解率。LSTM・Trans-SM・ Trans-LG は、全学習データ・100,000 学習ステップの設定 で学習されたものである。エラーバーは 3 つのランダム シードの標準偏差である。

雑な統語現象の理解が求められ、ゆえに既存の言語 モデルではその容認度の差を捉えるのが難しいミニ マルペアを収録したデータセットであることが示唆 される。

また、各中分類 (phenomenon) ごとの正解率を見 ると、言語モデルが捉えられている統語現象と必 ずしも捉えられていない統語現象が存在するこ とが明らかになった（図 2）。まず、語の活用等を 扱う morphology や名詞句内の構造を扱う nominal structure 等においては、5-gram 言語モデルを含め全 ての言語モデルが高い精度を示したが、これは (2) のような比較的狭い範囲の情報のみを用いて正解す ることが可能な例が含まれていることが要因と考え られる。

(2) a. 私が昨日見た人は素敵だった。 $\mathrm{b} *$ 私が昨日見たの人は素敵だった。

一方、filler-gap や verbal agreement では各モデル 精度が低下しているが、これらは先ほどより長距離の依存関係を伴う統語現象である。verbal agreement の例としては、以下のような主語敬語 (subject honorification) の例がある。

（3） a. 伊藤先生がメアリーをお集めになった。 b*私がメアリーをお集めになった。

(3) を正解するためには、主語と述語の一致関係を 捉え、「お褒めになった」という表現が、一人称主語 では許されないということを正しく理解する必要が あるが、このような日本語の一致現象を言語モデル は必ずしも捉えることができないということが明ら かになった。

以上より、英語を中心とした欧米の言語を対象と した既存研究では、一定の統語知識を備えているこ とが確認され、かつ様々な下流タスクで高い性能 を発揮する LSTM・Transformer ベースの言語モデル も、N-gram 言語モデルが学習する以上の統語知識 を必ずしも得ることができていないことが明らかに なった。特に、日本語特有の表現である敬語表現等 を含め、比較的長距離の依存関係を伴う統語現象に ついての精度が低いことが確認された。

## 6 おわりに

本研究では、既存のデータセットの問題点を解决 しつつ、日本語を対象とした統語的評価のための 初めてのデータセットである JCoLAを構築した。 JCoLA を用いた評価では、LSTM・Transformer ベー スのモデルも長距離の依存関係を伴う統語現象を捉 えきれないことが示唆された。JCoLAを用いたより 詳細な言語モデルの統語的評価、及びデータセット の規模の拡大は今後の課題としたい。

## 謝辞

本論文は、筆者が東京大学の卒業研究として行っ た内容を記したものです。また、本研究は JST さき がけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł Ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I Guyon, U V Luxburg, S Bengio, H Wallach, R Fergus, S Vishwanathan, and R Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In International Conference on Learning Representations, 2019.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems. CoRR, Vol. abs/1905.00537, , 2019.

[4] Noam Chomsky. Syntactic structures. Mouton, 1957.

[5] Martin B H Everaert, Marinus A C Huybregts, Noam Chomsky, Robert C Berwick, and Johan J Bolhuis. Structures, not strings: Linguistics as part of the cognitive sciences. Trends Cogn. Sci., Vol. 19, No. 12, pp. 729-743, December 2015.

[6] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn Syntax-Sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, December 2016.

[7] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 11921202, Brussels, Belgium, 2018. Association for Computational Linguistics.

[8] Ethan Wilcox, Roger Levy, Takashi Morita, and Richard Futrell. What do RNN language models learn about Filler-Gap dependencies? In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 211-221, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] Kristina Gulordava, Piotr Bojanowski, Edouard Grave, Tal Linzen, and Marco Baroni. Colorless green recurrent networks dream hierarchically. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1195-1205, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[10] Richard Futrell, Ethan Wilcox, Takashi Morita, Peng Qian, Miguel Ballesteros, and Roger Levy. Neural language models as psycholinguistic subjects: Representations of syntactic state. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 32-42, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Rui P Chaves. What don't RNN language models learn about Filler-Gap dependencies? Proceedings of the Society for Computation in Linguistics, Vol. 3, No. 1, pp. 20-30, 2020.

[12] Shauli Ravfogel, Yoav Goldberg, and Francis Tyers. Can LSTM learn to capture agreement? the case of basque. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 98-107, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Alex Warstadt, Amanpreet Singh, and Samuel R Bowman. Neural network acceptability judgments. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 625-641, November 2019.

[14] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R Bowman. BLiMP: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, December 2020.

[15] Beilei Xiang, Changbing Yang, Yu Li, Alex Warstadt, and Katharina Kann. CLiMP: A benchmark for Chinese language model evaluation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2784-2790, Online, April 2021. Association for Computational Linguistics.

[16] Daniela Trotta, Raffaele Guarasci, Elisa Leonardelli, and Sara Tonelli. Monolingual and cross-lingual acceptability judgments with the Italian CoLA corpus. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2929-2940, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[17] Aixiu An, Peng Qian, Ethan Wilcox, and Roger Levy. Representation of constituents in neural language models: Coordination phrase as a case study. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2888-2899, Hong Kong, China, November 2019. Association for Computational Linguistics.

[18] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Stroudsburg, PA, USA, 2020. Association for Computational Linguistics.

[19] Richard Futrell, Ethan Wilcox, Takashi Morita, and Roger Levy. RNNs as psycholinguistic subjects: Syntactic state and grammatical dependency. September 2018.

[20] J Sprouse, C T Schütze, and D Almeida. A comparison of informal and formal acceptability judgments using a random sample from linguistic inquiry 2001-2010. Lingua, Vol. 134, pp. 219-248, September 2013.

[21] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[22] Takumitsu Kudo. Mecab : Yet another part-of-speech and morphological analyzer. 2005.

[23] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[24] Jey Han Lau, Alexander Clark, and Shalom Lappin. Grammaticality, acceptability, and probability: A probabilistic view of linguistic knowledge. Cogn. Sci., Vol. 41, No. 5, pp. 1202-1241, July 2017.

## A 中分類 (phenomenon) の基準

CONTROL/RAISING

コントロール (control) や繰り上げ (raising) 構文に関する容認

性え判断。ｺントロール動詞と V-V 複合動詞を形成できる動詞の種颣 に関する容認性判断等が含まれる。

a. 夾々損权る。

(Kishimoto, 2012)

主語の性筫が動調の形態に反旺される現象や、動詞が主語の性筫に制約

を与えるような現象に

例えば、主語敬語 (subject honorification) に閲する容認性判

断等が含まれる。

*メメアリーが伊藤先生をお隹めになった。
(Kishimoto, 2012)

NOMINAL STRUCTURE

BLiMP で、限定詞 (determiner) と名河の一致に関する例文 では、ょり一般に名詞句の内部構造に関わる容認性判断を含む中分類と して, NOMINAL STRUCTURE を採用した。

例えぱ、「の」の分布に関する容認性判断等が含まれる。

(9) a. 私が昨日見た人。
b. *私か昨日見たの人

(Saito et al., 2008)

MORPHOLOGY BLiMP では、例文を、IREGULAR FORMS としてまとめている JCOLA では より幅広く形態論に閲する容認性判断を含む中分類として MORPHOLOGY を採用した

例えぱ、形容動詞の活用纪関する容認性判断等が含まれる。

a. ぞの粒子は計测可能を゙とジョンは思っている。
b. *その粒子は計測可能なとジョシは思っている。 (Sudo, 2015)

OTHERS

BLiMP を元汅して作成した以上の中分類のい゙゙れても当てはまらな 基ういて分類している。例えば、比較表垷に関する容認性判断等が含

れる。

(11) a. ジョンはベッドが長い以上揹が高い

(Sudo, 2015)

## B JCoLA のミニマルペア例

 &  &  \\


 染谷大河 大関洋平 東京大学 \{taiga98-0809, oseki\}@g.ecc.u-tokyo.ac.jp  