# Holographic CCG Parsing

山木良輔†

## 1 はじめに

本稿では，ACL2023 に採択された論文 “Holographic CCG Parsing”(Yamaki et al. 2023) について解説するとともに，学会現地の様子の報告を行う.

論文の詳しい解説に入る前に，まずは本論文が ACL 2023 に採択されるまでの経緯について述べておきたい，私事ではあるが，筆者は立命館大学情報理工学部の学部 3 年から同大大学院情報理工学研究科の修士 1 年に飛び級入学をしており, 修士課程での研究を開始するにあたって,学部 4 年時の積み重ねが無い状態であった。そのような状況において, 自然言語処理や深層学習，構文解析及びそれらの実装の習得から始め，一歩づつ進めてきたのが本研究である。

本論文の共著者であり指導教官でもある谷口忠大先生（立命館大学教授）及び共同研究者の持橋大地先生（統計数理研究所准教授）に多大なるご指導ご鞭撻をいたたき，研究初心者の筆者にしては比較的スムーズに研究を進めていくことができたのではないかと思う．研究を始めて約 1 年後の 2022 年 3 月には言語処理学会第 28 回年次大会 (NLP2022) において本研究に関する始めての対外的な発表を行い，その後，NLP2022で発表した内容をべースとして論文誌への投稿を行った。しかし，最終的な査読結果が不採択となり，筆者は論文誌への採択の難しさを痛感した。そこで，追加の実験及び論文の修正を加えた後に，再挑戦したのが ACL2023であり，本会議に採択されることとなった。ここまでが，本論文が ACL2023に採択されるまでの経緯となるが, 修士課程における研究成果が ACL の本会議に採択されるという形で一区切りを迎えられたことは大変喜ばしく，また，本研究の今後のさらなる展開に向けても貴重な一歩を踏み出すことができたと考えている。

さて, 本研究は構文解析に用いられる文法規則の 1 つである組み合わせ範疇文法 (Combinatory Categorial Grammar, CCG) (Steedman 2000)をベクトル空間上におけるベクトル同士の再帰的な演算としてモデル化するというものである。複数の単語や句が再帰的に組み合わされることで文の背後に句構造を形成する過程を分散表現（ベクトル）同士の再帰的な合成演算としてモデル化し，これによって単語や句の間に存在している階層関係や依存関係を捉えようというのが本研究の狙いである。分散表現同士を合成させるための演算には巡回相関と呼ばれる演算を

活用し, これは 2 つ $d$ 次元ベクトルから新たな $d$ 次元のベクトルを作り出す演算である．そして，この巡回相関を活用することによって知識グラフのべクトル空間への埋め込みを行っているのが Holographic Embeddings (Nickel et al. 2016)という手法であり, 本論文のタイトルにおける Holographic はこの手法に由来している.

本論文で提案している Holographic CCG (Hol-CCG) では, テキストエンコーダによって得られる文脈情報を捉えた分散表現と巡回相関の演算を CCGにおける句構造のモデリングに用いることで, 各単語や句が持つ文法的機能とそれらの相互作用を的確に捉え, 結果的に高い構文解析性能を実現している。また，分散表現同士の再帰的な合成によって得られる句のレべルでの分散表現は Span-based Parsing (Kitaev and Klein 2018)という比較的新しい構文解析手法にも直接的に適用することが可能であり，Span-based Parsingによる構文解析においても Hol-CCG は高い性能を発揮する。

次章以降では本論文において提案している手法の詳細について解説するとともに, 筆者が参加した学会現地の様子についての報告を述べる.

## 2 提案手法

CCG は構文解析に用いられる語彙化文法の 1 つであり, 文中の各単語に対してその単語の文法的機能を示すカテゴリを与え, それらを組み合わせ規則に従って組み合わせることで構文構造を記述する．ここで，各カテゴリは $\mathrm{S}$ : 文， $\mathrm{N}$ : 名詞， NP: 名詞句などの基本カテゴリと“/”, “〉”を再帰的に組み合わせることによって構成され, 単語及び句の文法的機能に関する情報を多く含む。

また, Holographic Embeddings は知識グラフをべクトル空間上に埋め込むための手法として提案されており，知識グラフをべクトル空間上でモデリングするためには，各実体に付与された分散表現同士の相互作用を的確に捉えられるべクトルの合成演算子を設計することが重要となる。そこで, Holographic Embeddings ではこの合成演算子として巡回相関を採用しており,巡回相関はべクトル間の相互関係を捉えることに適しているといえる。そこで，本研究では分散表現を再帰的に合成するための演算として巡回相関を採用した.

前章で述べた通り，本論文で提案している Holographic CCGは巡回相関による分散表現同士の再帰的合成によって, CCG をべクトル空間上におけるべクトル同士の再帰的な演算としてモデル化する手法であり, 本手法の概要を図 1 に示す. 図 1 は, “My sister loves to eat” という文を例に，この文が構成する句構造がベクトル空間上でモデリングされている様子を表している. 色分けされた各部分空間は, 各単語や句に割り当てられる CCGのカテゴリ, すなわちそれらの文法的機能に対応しており，特定の文法的機能を持つ単語や句の分散表現が尤もらしい部分空間に属するようにモデルの学習が行われる. 例えば, 図中の “loves to eat”という動詞句

図 1 Hol-CCG の概要

$(\mathrm{S} \backslash \mathrm{NP})$ に対応するべクトル $\mathbf{v}_{2: 5}$ は, 以下の通りにベクトルを再帰的に合成することで計算される。

$
\mathbf{v}_{2: 5}=\mathbf{v}_{2: 3} \star \mathbf{v}_{3: 5}=\mathbf{v}_{2: 3} \star\left(\mathbf{v}_{3: 4} \star \mathbf{v}_{4: 5}\right)
$

なお，式中における丈は巡回相関の演算子を表している。同様の計算を，文全体 $(\mathrm{S})$ としてのベクトル $\mathbf{v}_{0: 5}$ が得られるまで繰り返し行う.

$
\begin{aligned}
\mathbf{v}_{0: 5} & =\mathbf{v}_{0: 2} \star \mathbf{v}_{2: 5} \\
& =\left(\mathbf{v}_{0: 1} \star \mathbf{v}_{1: 2}\right) \star\left(\mathbf{v}_{2: 3} \star \mathbf{v}_{3: 5}\right) \\
& =\left(\mathbf{v}_{0: 1} \star \mathbf{v}_{1: 2}\right) \star\left(\mathbf{v}_{2: 3} \star\left(\mathbf{v}_{3: 4} \star \mathbf{v}_{4: 5}\right)\right)
\end{aligned}
$

このように，単語や句に割り当てられた分散表現を再帰的に合成することによって，これらの間に存在する階層関係や依存関係を捉え，構文解析に活用するのが本提案手法の核となる部分である。このようにして得られた単語や句の分散表現は順伝播型ニューラルネットワークからなる識別器に入力され, それらに割り当てるべきCCGのカテゴリを予測できるようにモデルが学習される。また, 本提案手法によって得られる句のレベルでの分散表現（例えば図 1 中の $\mathbf{v}_{0: 2}$ や $\mathbf{v}_{2: 5}, \mathbf{v}_{3: 5}$ など）は Span-based Parsing における Spanの表現としてそのまま適用することができ，高い構文解析性能を実現する。

本提案手法は，CCGにおける構文解析のサブタスクの 1 つである Supertagging において既存モデルを上回る最高性能を発揮し，また，Span-based Parsing においては既存の最高性能モデル (Clark 2021) に競合する性能を発揮した。このことから, 分散表現同士を再帰的に合成することによってべクトル空間上で CCG のモデリングを行うという本提案手法のアプローチの有効性が示された。

図 2 埋め込み空間の可視化

また, 図 2 に提案手法によって構成される埋め込み空間を可視化した図を示す. 図 2 では,埋め込み空間上において分散表現の再帰的合成が行われる様子を実際の実験データを用いて示している，色分けされた各点は異なる CCGのカテゴリに属する単語や句を表しており，近しい文法的機能を持つ単語や句の分散表現はべクトル空間上でも近しい位置にあることが観測され，図 1 で示したような本提案手法のコンセプトが実現されていることが実験的にも確かめられた.

## 3 ACL2023 現地の様子

本章では筆者が参加した ACL2023 現地の様子を報告する，ACL2023 はカナダ最大の都市であるトロントで開催され，オンタリオ湖の湖畔に位置する Westin ホテルが会場であった. 会場はオンタリオ湖という大自然と高層ビル群が隣接する素晴らしいロケーションにあり, 世界各地から集まった研究者が湖畔の道を散歩しながら議論する姿を目にした。

学会のハイライトの 1 つは, Geoffrey Hinton 先生による基調講演であり, “Two Paths to Intelligence" というタイトルで, デジタルな知能と生物学的知能の違いやマルチモーダル LLM の主観的経験に関する話など，非常に刺激的であり，また，示唆に富む講演を聞くことができた. 多くの学会参加者が講演を熱心に聞き，最後に設けられた QA セッションでは質問者が列を成すほどの盛況ぶりであった。

LLM が大きな躍進を遂げる中において， 口頭発表やポスター発表のセッションではLLM 関する多くの研究発表があり，多くの聴衆を集めて活発な質疑・議論が交わされていた。また, コーヒーブレイクの時間にはコーヒー片手に多くの研究者が集まり活発な議論が繰り広げられていた。世界的な感染症の影響で数年間制限されていた対面での議論が復活しているのを目の当たりにし, このような刺激的な環境での交流と議論は, 今後の革新的な研究に繋がるものであると感じられた。

## 4 おわりに

本稿では, ACL2023に採択された論文の解説を行うとともに, 筆者が現地参加した学会の様子を報告した，本稿をもとに，筆者の研究に関する興味・関心を持ってもらったり，学会現地の様子をイメージしてもらえれば幸いである。本論文に関する研究の過程で得た経験と ACL の会場で得た刺激を糧に，今後も日々の研究活動に邁進していく所存である.

## 参考文献

Clark, S. (2021). "Something Old, Something New: Grammar-based CCG Parsing with Transformer Models." CoRR, abs/2109.10044v2.

Kitaev, N. and Klein, D. (2018). "Constituency Parsing with a Self-Attentive Encoder." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia. Association for Computational Linguistics.

Nickel, M., Rosasco, L., and Poggio, T. (2016). "Holographic Embeddings of Knowledge Graphs." In Proceedings of the 30th AAAI Conference on Artificial Intelligence, AAAI'16, pp. 1955-1961. AAAI Press.

Steedman, M. (2000). The Syntactic Process. MIT Press, Cambridge, MA, USA.

Yamaki, R., Taniguchi, T., and Mochihashi, D. (2023). "Holographic CCG Parsing." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 262-276, Toronto, Canada. Association for Computational Linguistics.

## 略歴

山木良輔：2021 年立命館大学情報理工学部中途退学（同大大学院に飛び級入学のため). 2023 年立命館大学大学院情報理工学研究科博士前期課程修了. 修士 (工学). 現在, 立命館大学大学院情報理工学研究科博士後期課程に在学中.立命館先進研究アカデミー学生フェロー.