# 対称的な系列集合を用いた教師なし構文解析モデルの 分岐バイアスの検証

石井太河 1 宮尾祐介 ${ }^{1}$
1 東京大学
\{taigarana,yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究は，教師なし構文解析モデルの潜在的な分岐バイアスを分析することを目的とする．分岐バイ アスとは，構文解析モデルが学習・出力しやすい木構造の偏りであり，分析する上では，まず学習デー タの分岐情報の偏りを明確にすることが重要であ る.しかしながら，教師なし学習の設定では，学習 データは系列の集合のみであり，木構造は直接与え られないため，分岐情報の制御が困難である. そこ で，本研究では，分岐情報の偏りの無い対称的な系列集合を用いて学習を行い，モデルの出力木構造の 偏りを分析する。人工データを用いた実験の結果， モデルによって異なる分岐バイアスが確認された。

## 1 はじめに

本研究は，教師なし構文解析モデルが「潜在的な 分岐バイアスを持たない」ための必要条件を検証す ることを目的とする。

教師なし構文解析とは，テキスト（系列の集合） のみから，その背後にある木構造を出力するという タスクであり，低資源言語への対応や認知的・言語学的な視点から研究されてきた $[1,2,3,4,5]$.

分岐バイアスとは，構文解析モデルが学習・出力 しやすい木構造に偏りがあることを指す．特に，木構造が右に深いときを右分岐，左に深いときを左分岐と言う (図1下部)。ときに，構文解析モデルが分岐バイアスを持つことは望ましくない。というの も，モデルがある種の構造のみを学習しやすいとい うことは，他の構造を持つ言語への適用性が下がる ことを意味するからである．例えば，英語は右分岐 な言語として知られるが，日本語は左分岐とされ る. 右分岐バイアスを持つモデルは英語に対する精度が高くなりやすい一方で，日本語に関しては精度 が低くなりやすい。実際に，Li ら [6] は，言語によ

## 対称的な系列集合

"a b c" "b c d"

教師なし構文解析モデルを学習

## 導出する木構造

左右の分岐の偏りは生じるか ?

図 1 本研究の概要図

り高精度となるモデルが異なることを報告してお り，モデルが分岐バイアスを持つことが示唆されて いる．以上のように，潜在的な分岐バイアスはモデ ルのある種の「アドホックさ」として考えられ，モ デルの分岐バイアスを分析することは重要である.

そこで，本研究では，分岐の偏りの無い対称的な 系列集合を学習データに用いる分析手法を提案する (図1)。これにより，学習の結果，モデルの導出す る構造に偏りが生じる場合は，モデルそのものに分岐バイアスが内在することを示すことが可能とな る。また，データセット中の系列の頻度を調整する ことで，対称性がくずれた場合のモデルの挙動につ いても分析を行う.

## 2 既存の分岐バイアス分析の問題点

教師なし構文解析において，モデルの潜在的な分岐バイアスを分析することは簡単ではない．という のも，分析を行う上では，「モデルそのもののバイ アス」と「モデルがデータから学習したバイアス」

の2つを分離する必要があり，このためには学習 データに含まれる情報を制御することが重要であ る. しかし, 教師なし構文解析において学習データ は系列の集合のみであり，木構造を明示的に制御す ることができない.

既存のバイアス分析は 3 つのアプローチに大別さ れるが，それぞれに問題点がある。

## 2.1 アーキテクチャ固有の分析

例えば，Dyer ら [7]により，PRPN [8] というモデ ルが右分岐バイアスを持つことが数学的に証明され ている.しかしながら, Dyer ら [7] の手法は PRPN モデルに特化したものであり，任意のモデルに対し て理論的分析を行うことは困難である.

## 2.2 自然言語を用いた分析

構文解析においては，モデルを評価する際に複数 の異なる言語のコーパス $[9,10]$ を用いることが一般的であるが，言語間の差異は木構造の分岐の偏りに 限らないため，分岐バイアスのみを評価することは 難しい.そこで， $\mathrm{Li}$ ら [11] は，自然言語コーパス $D$ と $D$ 中の各系列を反転させたコーパス $D^{-1}$ のそれ ぞれでモデルを学習させ，その精度の差を見ること で分岐バイアスの分析を行った. これにより, 語順 のみが異なり木構造の分岐が逆であるデータセット による評価が可能となる。しかし, 依然として, 自然言語データは意味的にも複雑であり, 語順の異な る元の系列と反転した系列の差が厳密に木構造の差 だけであるかは明らかではない.

## 2.3 形式言語を用いた分析

Jin 5 [12] は，左・右分岐な文脈自由文法で生成 された言語を用いて分岐バイアスを分析している. しかし，左分岐な文法で生成される言語を右分岐の 異なる文法で生成することも可能であるため, 文法 そのものの分岐によって系列の集合の分岐情報を制御することが可能かどうかは自明ではない. ${ }^{1)}$

## 3 対称的な系列集合を用いた分析

上述の問題点に対応するため, 本研究では，分岐情報の偏りのない対称的な系列集合を人工的に構成し, それを学習データとすることを提案する.こ れにより，「モデルがデータから学習するバイアス」 を制御し，「モデルそのものの分岐バイアス」のみ
$ に具体例を付す。
}

を分析できることが期待される.

データセットを構成するにあたり，本研究では， コーパスレベルと系列レベルの 2 つのレベルの対称性について着目する。 $V$ を有限な語彙として，これ らは以下のように定義される。

定義 1 系列集合 $D \subseteq V^{*}$ がコーパスレベル対称で あるとは, 語彙上の全単射 $\phi: V \rightarrow V$ が存在して, $\phi\left(D^{-1}\right)=D$ を満たすことを言う. ここで， $D^{-1}$ は 系列集合 $D$ 中の系列を全て反転させたものであり， $\phi\left(D^{-1}\right)$ は系列集合中の語彙を全て $\phi$ によって置換 したものを表す。

定義 2 系列集合 $D \subseteq V^{*}$ が系列レベル対称である とは， $\forall s \in D . s=s^{-1}$ を満たすことである.ここで， $s^{-1}$ は系列 $s$ の反転である.

系列レベル対称性は文字通りコーパス中の各系列が逆から読んでも同一であることを意味する.一方で，コーパスレベル対称性はコーパス中の語彙が反転に対して対称的であることを意味する. また，系列レベル対称性よりも条件が緩く，コー パス中の各系列が対称である必要はない. ${ }^{2}$ 例え ば，以下の 3 つの系列集合 $x_{0} \equiv\{“ a b b a ", " b c c b "\}$, $x_{1} \equiv\{" a b c ", " b c d "\}, x_{2} \equiv\{“ a b ", " a c "\}$ に関して, $x_{0}$ は系列レベル対称である， $x_{1}$ は系列レベル対称では ないが， $\phi: a \mapsto d, b \mapsto c, c \mapsto b, d \mapsto a$ の対応によ りコーパスレベル対称である。一方， $x_{2}$ はコーパス レベル対称でもない.

## 4 実験設定

## 4.1 データセットの構成

本研究では，実験にあたり 2 種の対称的な系列集合を構成する. さらに，系列の出現頻度による影響 も分析するため，頻度分布の異なるデータセットも 生成する.

## 4.1.1コーパスレベル対称なデータセット

まず，系列レベルでは対称でないがコーパスレべ ルで対称なデータセット $D_{\text {corpus }}$ を構成する. でき るだけシンプルな構成にするために，テストデータ は $L$ 個の異なる要素からなる 1 つの系列 $s^{\text {test }}$ とし，

2）例えば， $D^{-1}=D や \phi\left(s^{-1}\right)=s$ のように，今回扱った 2 つのレベルの対称性の間に中間的な強さの対称性を考えるこ ともできるが，今回は簡単のため扱わないこととする.
学習データはテストデータの $M$-gram 系列の集合と する．具体的には，以下のように定式化される：

$
\begin{aligned}
s^{\text {test }} & \equiv “ v_{0} v_{1} \ldots v_{L-1} "\left(\forall i, j \cdot v_{i} \neq v_{j}\right) \\
S_{M} & \equiv\left.\{s_{i: i+M}^{\text {test }} \mid i=0, \ldots, L-M\right.\} \\
D_{\text {corpus }} & \equiv \operatorname{upsample}\left(S_{M}, N, w\right)
\end{aligned}
$

ここで， $S_{M}$ は置換 $\phi\left(v_{i}\right)=v_{L-1-i}$ により対称であ り, upsample は全体が $N$ 個のデータになるように重 み $w$ を元にアップサンプルする処理である.

学習データセット中の系列の頻度制御のため, アップサンプルの際に各 $M$-gram 系列 $s_{i: i+M}^{\text {test }}$ に対し，以下のように $i$ に関して線型な重み付けを行う :3)

$
w_{i} \equiv 1+\alpha \cdot\left(i-\frac{L-M}{2}\right)
$

例えば， $\alpha=0$ のときは頻度分布は一様であるが， $\alpha$ が大きくなると, 右側の $M$-gram 系列は増加し, 左側のものは減少する。

実験においては, $N=3000$ とし, $L \in\{10,20\}$, $M \in\{2,5,8\}$, 右端の $M$-gram の重みが $w_{L-M} \in$ $\{0.2,0.6,1.0,1.4,1.8\}$ となるような $\alpha$ の全ての組み 合わせについて実験を行った。

## 4.1.2 系列レベル対称なデータセット

次に系列対称なデータセット $D_{\mathrm{seq}}$ を構成す る. 具体的には，上で定義した $D_{\text {corpus }}$ の各系列 $s$ に反転 $s^{-1}$ を結合することによって生成する： $D_{\text {seq }} \equiv\left.\{s \cdot s^{-1} \mid s \in D_{\text {corpus }}\right.\} \cdot{ }^{4)}$

なお， $D_{\text {seq }}$ は元となる $D_{\text {corpus }}$ に対して系列長 が 2 倍になるため, 実験においては $L \in\{5,10\}$, $M \in\{1,2,4\}$ として元の $D_{\text {corpus }}$ を生成することで系列長を同程度にした。

## 4.2 分析対象のモデル

本研究では，教師なし構文解析において代表的で ある，DIORA [13]，PRPN [8], URNNG [14]の 3 つの モデルを分析対象とする. DIORA はチャートベー スの再帰的なオートエンコーダであり，PRPN は ゲート機構を用いることで言語モデリングの際に構造を明示的に学習するモデルである. URNNG は遷移型のモデルであり，言語モデリングの際に明示的 に再帰的な木構造をモデル化する RNNG [15] の教師 なし版である。なお，これら 3 つのモデルの出力は 二分木となっている.

3）頻度分布が一様でない場合， $D_{\text {corpus }}$ の対称性は崩れる.

4） $D_{\text {corpus }}$ と異なり， $D_{\mathrm{seq}}$ は頻度分布に偏りがあっても対称性は崩れない.本研究で使用するデータセットの語彙が小さいこ とと計算量の問題から，学習にあたりモデルのハイ パーパラメータはデフォルトのものより次元数を小 さいものを使用した. ${ }^{5}$ 実験においては，各モデルを 30 個の異なるランダムシードで最大 30 エポックず つ学習を行い，平均的な振る舞いを分析する.

## 4.3 評価指標

本研究では，モデルの精度ではなく分岐バイアス の分析を目的とするため，系列の正解構造を仮定せ ずにモデルの導出する木構造の形を直接評価する.木構造の評価指標は様々あるが [16], 既存の指標で ある Corrected Colles index に加え，本研究で提案す る Left leaf proportion の 2 つの指標を用いる.

Colles index Corrected Colles index [17] は, 左右 の部分木の葉数の差で二分木の均衡さを表す指標で あり，以下のように定義される：

$
\operatorname{Colles}(T) \equiv \frac{2}{(n-1)(n-2)} \sum_{v \in T}\left|n_{v_{\mathrm{L}}}-n_{v_{\mathrm{R}}}\right|
$

ここで， $v \in T$ は $T$ のノードであり $, n_{v_{\mathrm{L}}}, n_{v_{\mathrm{R}}}$ はそれ ぞれ $v$ の左右の部分木の葉数である. Colles $(T)$ は木 が不均衡であるほど 0 から 1 に近づく.

Left leaf proportion $\operatorname{Colles}(T)$ では，木が具体的 に左右のどちらに分岐しているのかは明らかでな い. そこで，本研究では，「左の子となる葉が多い ほど，木は右に分岐が深い」という直感の元，以下 のような指標 Left leaf proportion（LLP）を用いる：

$
\operatorname{LLP}(T) \equiv \frac{l_{T}-1}{n_{T}-2} .
$

ここで, $n_{T}$ は $T$ 葉数, $l_{T}$ は葉のうち左の子になっ ているものの数であり，LLP $(T)$ は右分岐であるほ ど 0 から 1 に近づく.また，系列の両端はかならず 左・右の子になるためカウントから除外している.

## 5 結果と議論

データセットによってやや異なる結果が観察 されたが，ここでは代表的な傾向の分かる $D_{\text {corpus }}$ ( $L=20, M=8)$ と $D_{\text {seq }}(L=5, M=2)$ の結果をそ れぞれ図 2と図 3に示す. ${ }^{6}$

## 5.1 分岐バイアスの検出

まず， $w_{L-M}=1$ の頻度分布の偏りの無い設定で の結果を分析する。

5）詳細は付録 B に記載した。

6）その他の結果の抜粋を付録 C に記載する.

図 2 コーパスレベル対象なデータセット $D_{\text {corpus }}$ （ $L=20, M=8 ）$ での結果. エラーバーは標準誤差を示す.

LLPPRPN はどの設定でもLLP $>0.5$ となり，右分岐バイアスが確認される. DIORAに関しては，ど の設定でも LLP $\approx 0.5$ であり，分岐バイアスを持た ない必要条件を概ね満たしていると言える。一方， URNNG はデータセットによって異なる傾向が観察 された。例えば，図 2上部にあるように， $D_{\text {corpus }}$ で はどの設定でも右分岐な傾向が見られるが，一部の $D_{\mathrm{seq}}$ ではバイアス無し，あるいは左分岐（図 3下部） な傾向も見られ, URNNG が分岐バイアスを持つも のの，左右の偏りはデータセットによって変化しう るということが明らかになった。

Colles index Colles index 関しては, URNNG は 他のモデルに比べ，どのデータセットでも相対的に 高く木構造の偏りが強いことが確認される。一方 で，DIORA と PRPNに関しては，相対的な差がデー タセットによって異なることが観察された. LLP での相対的な差と異なっているのは，LLP と違い Colles index は木の根に近い部分の分岐ほど強い影響を受ける [18] ことが関係していると考えられる。

## 5.2 頻度分布の影響

PRPN と DIORA は頻度分布の偏りによって対称性が崩れる $D_{\text {corpus }}$ においても，結果に大きな影響 が見られない（図 2)。一方で，URNNG は系列の頻度に強く影響されることがわかる．例えば，図 2で は LLP，Colles index ともに右肩下がりになってい る. ただし，同じ $D_{\text {corpus }}$ であっても，設定によって は，右肩上がりな傾向も見られ，変化の方向性に関 しては統一的な結論を下せない。また，頻度分布に 偏りがあっても対称性が保持される $D_{\mathrm{seq}}$ であって も，URNNG の挙動が大きく変わること（図 3）は，

図 3 系列レベル対象なデータセット $D_{\mathrm{seq}}(L=5, M=2)$ での結果. エラーバーは標準誤差を示す.

URNNG がデータセットの分岐情報の偏りではない 要素に対して不安定なのではないかと推測される.

## 5.3 先行研究の結果との比較

PRPN の右分岐バイアスは Dyer ら [7] によって数学的に証明されており，今回の実験ではこれと無矛盾な結果が得られたため，本研究の分析法の妥当性 が支持される。また，Li ら [6] は，URNNG，PRPN は英語データセットで高精度である一方，日本語 データセットでは DIORA が高精度であることが報告している．多くの設定で右分岐バイアスを持つ URNNG や PRPN と比較して, DIORA は分岐バイア スを持たない傾向があることが精度の差の要因では ないかと推測される。

## 6 結論と今後の展望

本研究では，分岐情報の偏りの無い対称的な系列集合を構成することで，PRPN や URNNG といった モデルが分岐バイアスを持つことを検証できた。そ して，いずれのデータセットでも目立った分岐バイ アスを示さなかった DIORA は「分岐バイアスを持 たない」ことの必要条件を満たしていると言える。 より詳細に分岐バイアスを分析するには，性質の異 なる系列集合を網羅的に構成したり，分析をモデル 固有のものへまで拡張することが必要になる。

また，本研究では，頻度分布の偏りによって対称性を崩した場合の実験も行ったが，この操作により 分岐情報にどの程度偏りが生じたのかは明らかで はない，今後，教師なし構文解析モデルを分析する 上では，系列集合そのものに対して分岐の偏りを定義・測定することが重要な課題になる.

## 謝辞

本研究は，JST，CREST，JPMJCR2114 の支援を受

けたものです.

## 参考文献

[1] Menno van Zaanen. ABL: Alignment-Based Learning. In COLING 2000 Volume 2: The 18th International Conference on Computational Linguistics, 2000.

[2] Yoav Seginer. Fast Unsupervised Incremental Parsing. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 384-391, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[3] Dan Klein and Christopher D. Manning. A Generative Constituent-Context Model for Improved Grammar Induction. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 128-135, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[4] Steven Cao, Nikita Kitaev, and Dan Klein. Unsupervised Parsing via Constituency Tests. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4798-4808, Online, November 2020. Association for Computational Linguistics.

[5] Kewei Tu, Yong Jiang, Wenjuan Han, and Yanpeng Zhao. Unsupervised Natural Language Parsing (Introductory Tutorial). In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Tutorial Abstracts, pp. 1-5, online, April 2021. Association for Computational Linguistics.

[6] Jun Li, Yifan Cao, Jiong Cai, Yong Jiang, and Kewei Tu. An Empirical Comparison of Unsupervised Constituency Parsing Methods. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3278-3283, Online, July 2020. Association for Computational Linguistics.

[7] Chris Dyer, Gábor Melis, and Phil Blunsom. A Critical Analysis of Biased Parsers in Unsupervised Parsing. arXiv:1909.09428 [cs], September 2019.

[8] Yikang Shen, Zhouhan Lin, Chin-wei Huang, and Aaron Courville. Neural Language Modeling by Jointly Learning Syntax and Lexicon. In International Conference on Learning Representations, February 2018.

[9] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[10] Alastair Butler, Zhu Hong, Tomoko Hotta, Ruriko Otomo, Kei Yoshimoto, and Zhen Zhou. Keyaki treebank: phrase structure with functional information for japanese. In Proceedings of Text Annotation Workshop, p. 41, 2012.

[11] Huayang Li, Lemao Liu, Guoping Huang, and Shuming Shi. On the Branching Bias of Syntax Extracted from Pre-trained Language Models. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4473-4478, Online, November 2020. Association for Computational Linguistics.

[12] Lifeng Jin, Finale Doshi-Velez, Timothy Miller, William Schuler, and Lane Schwartz. Unsupervised Grammar Induction with Depth-bounded PCFG. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 211-224, 2018.

[13] Andrew Drozdov, Patrick Verga, Mohit Yadav, Mohit Iyyer, and Andrew McCallum. Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive AutoEncoders. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1129-1141, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Yoon Kim, Alexander Rush, Lei Yu, Adhiguna Kuncoro, Chris Dyer, and Gábor Melis. Unsupervised Recurrent Neural Network Grammars. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1105-1117, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent Neural Network Grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[16] Mareike Fischer, Lina Herbst, Sophie Kersting, Luise Kühn, and Kristina Wicke. Tree balance indices: A comprehensive survey, September 2021.

[17] Stephen B. Heard. Patterns in Tree Balance Among Cladistic, Phenetic, and Randomly Generated Phylogenetic Trees. Evolution, Vol. 46, No. 6, pp. 1818-1826, 1992.

[18] Mark Kirxpatrick and Montgomery Slatkin. Searching for Evolutionary Patterns in the Shape of a Phylogenetic Tree. Evolution, Vol. 47, No. 4, pp. 1171-1181, 1993.

## A 文脈自由文法による系列の構造 の特徵づけの難しさ

ここでは，Jin ら [12] が分岐バイアスを分析する のに使用した左分岐な文脈自由文法で定まる言語が 右分岐な文脈自由文法で表現できることを示す. Jin ら [12] の例は以下のような左分岐の確率文脈自由文法で記述される：

$
S \xrightarrow{1} X, X \xrightarrow{p} X Y, X \xrightarrow{1-p} a, Y \xrightarrow{1} b .
$

これに対し，以下のような右分岐の確率文脈自由文法を考える：

$
S \xrightarrow{1} X, X \xrightarrow{q} a Y, X \xrightarrow{1-q} a, Y \xrightarrow{r} b Y, Y \xrightarrow{1-r} b .
$

これらは両者とも言語 $\left.\{a \cdot b^{n} \mid n \in \mathbb{N}\right.\}$ を表現する. さらに， $q=r=p$ とすると，系列 $a \cdot b^{n}$ を生成する 確率は両者とも $(1-p) \cdot p^{n}$ となる.

## B モデルの学習設定

ここでは，本研究の分析対象となるモデルのハイ パーパラメータや学習設定について述べる.

DIORA max_epoch $=30$, hidden_dim $=50$ とし，そ れ以外は著者実装7)のデフォルト値のままである。 また, DIORAはデフォルトで事前学習済み単語埋め 込みを使用する設定であるので，本研究で人工デー タで実験する際には one-hot 埋め込みを使用した.

PRPN epochs $=30$, emsize $=25$, nhid $=50$ とし，そ れ以外は著者実装8) の教師なし構文解析用のデフォ ルト值のままである.

URNNG num_epochs $=30$, w_dim $=50$, h_dim $=$ 50, q_dim $=50$ とし, それ以外は著者実装9) の教師なし構文解析用のデフォルト値のままである. ま た，著者実装において URNNG は validation データ セットを使用しているが，本研究では学習データの 情報をコントロールするため，validation データセッ トを使用しないように修正を加えた.

さらに，上記のモデルのいずれにも， backpropagationを行う際の損失のエポック間の差が $1.0 \times 10^{-5}$以下になった時点で収束したと判定し，学習を停止 した.

## C その他の実験結果

ここでは，本文に記載していない他の設定での結果を抜粋して掲載する。

7) https://github.com/iesl/diora

8) https://github.com/yikangshen/PRPN

9) https://github.com/harvardnlp/urnng

図4コーパスレベル対象なデータセット $D_{\text {corpus }}$ $(L=10, M=8)$ での結果. エラーバーは標準誤差を示す.

図 5 コーパスレベル対象なデータセット $D_{\text {corpus }}$ $(L=20, M=2)$ での結果. エラーバーは標準誤差を示す.

図6 系列レベル対象なデータセット $D_{\mathrm{seq}}(L=10, M=4)$ での結果. エラーバーは標準誤差を示す.
 石井太河 1 宮尾祐介 ${ }^{1}$ 1 東京大学 \{taigarana,yusuke\}@is.s.u-tokyo.ac.jp  