# 依存構造から句構造への変換による多言語モデリングに向けて

神藤駿介†態地宏ま宮尾祐介†
$\dagger$ 東京大学大学院 情報理工学系研究科
産業技術総合研究所人工知能研究センター
\{kando.s, yusuke\}@is.s.u-tokyo.ac.jp
\{s-kandou, hiroshi.noji\}@aist.go.jp

## 1 はじめに

伝統的に自然言語は階層構造を有していると言 われており、自然言語理解においてはその構造の把握が重要であるとされている。近年は言語モデルの 発達が著しいが、それらが自然言語の階層構造を十分に捉えているとは限らず、正確な自然言語理解が 出来ているかは議論の余地がある。Linzen ら [1] は、統語構造の把握を要するタスクを定義することでモ デルの統語構造把握能力の検証を試みている。Hu ら [2] はそのようなテストを多数含むベンチマーク を提案し、LSTM 言語モデルはパープレキシティの 面では高い性能を有しつつも、統語構造の把握能力 は低いことを示している。この問題を解決する手段として、Recurrent Neural Network Grammar (RNNG, [3]) のように学習の際に句構造の情報を活用するこ とが考えられる。RNNG は [2]においても高い統語構造把握能力を有していることが示されている。

現状 RNNG は英語のテキストを元に学習された モデルによる研究がほとんどであり、あらゆる言語 で同じような性能を発揮するかは分かっていない。 そのため、RNNG を多言語でモデリングし調査する ことには意義がある。その実現にあたり、代表的 な多言語ツリーバンクである Universal Dependencies (UD, [4])を活用することが考えられるが、UD は依存構造注釈付きのツリーバンクであるため、RNNG の学習に活用するためには言語非依存ななんらかの 方法で句構造へ変換する必要がある。

そこで本研究では、依存構造から句構造への変換手法を複数試し、RNNG の学習においてどのような 構造が適するかを比較・検討する。今回はそれらの 変換手法をUD のアノーテーション形式に基づいた 英語と日本語のツリーバンクに適用してモデルの学習を行った。これに加え、代表的な句構造ツリーバ ンクである Penn Treebank (PTB, [5]) での学習も行っ
た。これらのモデルのパープレキシティを評価する ことで、各変換手法の質の比較・検討を行った。さ らに、英語を元にしたモデルに関しては統語構造把握能力の評価を行った。実験を通して、依存構造を ある種の句構造へ変換することで、PTB で学習した モデルに匹敵する性能を持つモデルが構築できる ことを示した。この変換は言語非依存であるため、 UD のあらゆる言語のツリーバンクに対して適応可能であり、本研究の拡張性を見込むことができる。

## 2 関連研究

## 2.1 Recurrent Neural Network Grammar

RNNG [3] は句構造生成モデルであり、単語列 $\boldsymbol{x}$ と句構造 $\boldsymbol{y}$ の同時確率分布 $p(\boldsymbol{x}, \boldsymbol{y})$ を推定すること で、言語モデルと句構造解析器を同時に学習するこ とを目指す。 $p(\boldsymbol{x}, \boldsymbol{y})$ は、 $\boldsymbol{y}$ を得る句構造解析のアク ション列 $\boldsymbol{a}=\left(a_{1}, a_{2}, \cdots, a_{n}\right)$ を用いて次のように推定 する：

$
p(\boldsymbol{x}, \boldsymbol{y})=\prod_{t=1}^{n} p\left(a_{t} \mid a_{1}, \cdots, a_{t-1}\right)
$

RNNG は、 $\arg \max _{\boldsymbol{y}} p(\boldsymbol{y} \mid \boldsymbol{x})$ を計算することで句構造解析器として、 $p(\boldsymbol{x})=\sum_{\boldsymbol{y}} p(\boldsymbol{x}, \boldsymbol{y})$ を計算すること で言語モデルとして活用することができる。これら の確率を解析的に求めることは難しく、様々な推定法が提案されている $[3,6,7]$ 。

RNNG は句構造解析器や言語モデルとして高い性能を持つだけでなく、統語構造の把握能力が高いこ と [8]、人間の認知モデルとしての妥当性が高い [9] など、様々な利点が報告されている。

## 2.2 依存構造から句構造への変換

自然言語の構文構造を表現する主要な枠組みとし て、依存構造と句構造がある。両者は異なる構造で

(a) flat
(b) left-first
(c) right-first

図 1 依存構造から句構造への変換アルゴリズム

図 2 非終端記号ラベルの付け方

ありながら互いに関連し合っており、一方から他方 へ変換する手法に関する研究も幅広く行われてい る。依存構造から句構造への変換手法は大きく分け て以下の二つである：

1. 句構造ツリーバンクを外部知識として活用し、 data-driven に変換器を構築する手法 $[10,11]$

2. 外部知識を用いず、依存構造から一定のアルゴ リズムによって変換する手法 $[12,13]$

1. はより頑健で精度の高い変換を可能とするが、依存構造単体から変換することが出来ない。一方 2. は依存構造単体から変換できるが、得られた構造が 妥当なものであるかについては疑問の余地が残る。

本研究はUDを活用した多言語のモデリングを目標としているため、1. のように対応する句構造ツ リーバンクを要する手法は相性が悪い。そのため、 2.の手法をべースにした変換を行う。

## 3 変換手法

依存構造を句構造へ変換するにあたり、[13] で紹介されている 3 つのアルゴリズムを利用した。これ に加え、句構造の非終端記号ラベルの付け方につい ても 3 通り試した。すなわち、合計で $3 \times 3=9$ 通り の変換手法を試した。

図 1 に 3 つの変換アルゴリズムの概略を示す。こ れらのアルゴリズムは全てトップダウンに句構造を 形成するものであり、以下のような共通の取り決め
を設ける：

・はじめに、主辞に対応する非終端記号 $\mathrm{NT}_{\text {like }}$ を 導入する。
- 依存構造上の子を句構造に導入する際は、 $\mathrm{NT}_{\mathrm{I}}$ や $\mathrm{NT}_{\text {music }}$ のように、対応する非終端記号を導入する。

・現在注目している語について、依存構造上に子 が存在しないときは、その語を終端記号として 導入する。

以下、ある単語（ここでは主辞 like）の左右に子 が存在しているケースを元にして各アルゴリズムの 動作を説明する。(a) flat では、現在注目している単語 like とその子を全て一度に句構造における子とす る。この変換においては、各非終端記号は任意の個数の子を持つことができ、全体として平らな構造に なりやすい。(b) left-first では、単語の左右に子が存在する場合に、左の子から順に句を形成する。すな わち、まず $\mathrm{NT}_{\mathrm{I}}$ を左の子として導入し、終端記号 I の導入が完了した後に、右の子 $\mathrm{NT}_{\text {music }}$ を導入する。 (c) right-first は (b) と逆に、右の子から順に句を形成 する。(b) (c) においては、完成する句構造は完全二分木となる。

非終端記号ラベルの付け方は図 2 の通りで、それ ぞれラベルとして X、POS タグ、依存ラベルを使用 する。

## 4 実験設定

本研究の目標は、3 で紹介した手法で依存構造を 句構造に変換して得られたツリーバンクを用いて RNNG を学習し、その性能を比較し、変換の妥当性 を検証することである。そのために以下のような実験設定を施した。

## 4.1 データセット

依存構造ツリーバンクとして、UD の English-EWT 及び Japanese-GSD を使用した。これに加え、伝統的な句構造ツリーバンクである Penn Treebank (PTB) と、それをUD 形式の依存構造ツリーバンクに変換 したもの (PTB-to-UD) も使用した。PTB-to-UDを得 るにあたっては [14]の手法を活用した。PTB-to-UD に対して句構造への変換を施したツリーバンクと純粋な PTB との結果を比較することで、変換アルゴリ ズムの妥当性を検証する。

データセットの統計情報（訓練・検証・テスト セットの文章数、及び語彙数）を表 1 に示す。語彙 については、訓練データ中で 2 回以上出現した語を 使用した。なお、本研究においては依存構造が交差 を含むようなデータは除外している。これは、交差 を含む依存構造においては我々の変換アルゴリズム が正常に動作しないためである。今回用いたツリー バンクに関しては、交差を含むデータは $1 \%$ も満 たなかったため、大きな影響は無いと判断した。

## 4.2 学習の詳細

RNNG の学習においては、基本的には元論文 [3] と同様のハイパーパラメータを使用した。最適化 で用いるアルゴリズムを変えており、元論文では 学習率 0.1 の確率的勾配降下法を用いているが、本研究では学習率 0.001 の Adam を用いた。学習の エポック数は、English-EWT 及び Japanese-GSD では 18、PTB 及び PTB-to-UD では 40 とした。

## 4.3 評価

本研究では、モデルの言語モデルとしての性能、及び統語構造把握能力の両面で評価を行った。言語 モデルとしての性能は、各データセットの検証デー タにおけるパープレキシティ (ppl)を評価指標と した。ppl の算出においては word-synchronous beam search [6] を採用し、ビーム幅 $k=100$ 、単語ビーム 幅 $k_{w}=10$ 、fast-track 数 $k_{s}=1$ とした。

図 3 SyntaxGym のテスト例（一致）

統語構造把握能力は、[2] で提案されているべンチ マーク (SyntaxGym)を用いて評価した。SyntaxGym は、英語テキストの統語構造の把握を必要とする 34 のテストをまとめたものであり、取り扱って いる言語現象に応じて Agreement (一致) や Center Embedding（中央埋め込み）などと言った 6 つのカ テゴリに分類される。図3 に一致のテストの一例を 示す。この例では、下線部の動詞の予測確率を比較 し、 $P($ knows $)>P($ know $)$ となれば正解とみなす。本研究では 6 つの各カテゴリについての精度を報告す る。ランダムベースラインは各テストによって異な るが、総じて $25 \%$ 以下となっている。

## 5 結果と議論

## 5.1 言語モデルとしての性能 (ppl) の比較

図 4 に各ツリーバンクで学習したモデルのパー プレキシティを示した。変換アルゴリズムに依る差 を見ると、どのツリーバンクにおいても ppl の值は flat、left-first、right-first の順で大きくなる。すなわ ち、言語モデルの性能としては flat が最善であるこ とが分かる。これは、left-first や right-first の変換を 施すと句構造は完全二分木となるため、句構造が深 くなりやすく、構文解析のアクションが煩雑かつ大量になることに起因すると思われる。

以下、flatな変換に注目してラベルの付け方に依 る差を考察する。英語テキストに関してはどのラベ ルを用いても pplには差がないが、日本語テキスト の場合は X、POS、DEP の順で大きくなる。日本語 テキストは図6 のような左枝分かれ構造になりやす いため、トップダウンな句構造解析においてははじ めに非終端記号を複数導入する必要があり、解析が 難しくなる。そのため、非終端記号の導入時のラべ ルの選択肢が少ない順（X、POS、DEP の順）が ppl に反映されていると考えられる。

注目すべきは、PTB-to-UDをflatなアルゴリズム を用いて変換して学習に用いた場合、その $\mathrm{ppl}$ は純粋な PTB で学習したモデルの ppl とほぼ同程度であ る点である。RNNGの言語モデルとしての性能は、

図 4 パープレキシティ (ppl) の比較。PTB-to-UD における点線は、PTB で学習したモデルの ppl (105)を示す。

図 5 SyntaxGym を用いた統語構造把握能力の測定結果

図 6 Japanese-GSD を句構造に変換した出力例

元々句構造ツリーバンクとして作成された PTBを 使っても、依存構造から flat な句構造に変換して得 られたツリーバンクを使ってもほぼ変わらないこと を示している。

## 5.2 統語構造把握能力の比較

5.1 では、PTB と PTB-to-UD を flat な構造に変換 したツリーバンクとで得られるモデルの言語モデル としての性能差はほぼ無いことを示した。では、こ れらのモデルの統語構造把握能力にはどのような 差があるだろうか。図 5 に、両モデルの SyntaxGym における評価の結果を示した。図から分かる通り、全体として PTB-to-UDを元に得たモデルは PTBを 元に得たモデルに匹敵する精度を記録している。特 に、ラベルの付け方として POS を選択した場合、全 ての評価カテゴリにおいて PTB をベースにしたも のと同じかそれ以上の性能を示している。各ラベル付け手法についても性能を比較すると、 Garden-Path Effects を除く全てのカテゴリにおいて POS と DEP がXより高い性能を示している。この ことから、三者は $\mathrm{ppl}$ の側面ではほとんど差がな かったが、統語構造把握能力に関してはラベルを明確に導入した方が性能が高まると言える。

## 6 終わりに

本研究では、依存構造を句構造に変換する複数の 手法を試して RNNG を学習し、その性能を比較・検討した。特に、flat な句構造に変換して学習に用い ることで、PTB 形式の句構造を元に学習したモデル と同等かそれ以上の性能を誇るモデルが構築でき ることを示した。変換アルゴリズムは言語非依存に 適用可能であるため、今後 UD のあらゆる言語のツ リーバンクに対して同様の実験を行い、本研究の手法の適用範囲を調査していきたい。多言語での実験 においては、統語構造把握能力の評価がネックとな る。例えば [15]に紹介されている手法を用いること が考えられる。また、今回施した変換は言語非依存 ではあるもののかなりナイーブである。多言語に適用可能で、なおかつ得られるモデルの性能がより向上するような変換手法に関しても調査を続けていき たい。句構造解析ではなく依存構造解析を用いたモ デリングも提案されており [16]、この手法との比較 も今後行っていきたい。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of 1stms to learn syntax-sensitive dependencies. TACL, Vol. 4, pp. 521-535, 2016.

[2] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In $A C L, 2020$.

[3] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In NAACL HLT, 2016.

[4] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajic, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis M. Tyers, and Daniel Zeman. Universal dependencies v2: An evergrowing multilingual treebank collection. CoRR, Vol. abs/2004.10643, , 2020.

[5] Mitchell P. Marcus, Grace Kim, Mary Ann Marcinkiewicz, Robert MacIntyre, Ann Bies, Mark Ferguson, Karen Katz, and Britta Schasberger. The penn treebank: Annotating predicate argument structure. In Human Language Technology, Proceedings of a Workshop, 1994.

[6] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In $E M N L P, 2017$.

[7] Benoît Crabbé, Murielle Fabre, and Christophe Pallier. Variable beam search for generative neural parsing and its relevance for the analysis of neuro-imaging signal. In EMNLP-IJCNLP, 2019.

[8] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. Lstms can learn syntax-sensitive dependencies well, but modeling structure makes them better. In $A C L$.

[9] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Iryna Gurevych and Yusuke Miyao, editors, $A C L, 2018$.

[10] Lingpeng Kong, Alexander M. Rush, and Noah A. Smith. Transforming dependencies into phrase structures. In NAACL HLT, 2015.

[11] Young-Suk Lee and Zhiguo Wang. Language independent dependency to constituent tree conversion. In COLING, 2016.

[12] Fei Xia and Martha Palmer. Converting dependency structures to phrase structures. In $H L T, 2001$

[13] Michael Collins, Jan Hajic, Lance A. Ramshaw, and Christoph Tillmann. A statistical parser for czech. In ACL, 1999.

[14] Sebastian Schuster and Christopher D. Manning. Enhanced english universal dependencies: An improved representation for natural language understanding tasks. In LREC, 2016.

[15] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In ACL, 2020.

[16] Austin Matthews, Graham Neubig, and Chris Dyer. Comparing top-down and bottom-up neural generative dependency models. In CoNLL, 2019.
 神藤駿介†態地宏ま宮尾祐介† $\dagger$ 東京大学大学院 情報理工学系研究科 産業技術総合研究所人工知能研究センター \{kando.s, yusuke\}@is.s.u-tokyo.ac.jp \{s-kandou, hiroshi.noji\}@aist.go.jp  