# 構文解析と画像生成の統合による機能語の言語理解

山木良輔 ${ }^{1}$ 谷口忠大 ${ }^{1}$ 持橋大地 ${ }^{2}$
1 立命館大学 2 統計数理研究所
\{yamaki.ryosuke, taniguchi\}@em.ci.ritsumei.ac.jp daichi@ism.ac.jp
}

"A ball next to a box"

図 1: Stable Diffusion が生成した画像の例.
## 概要

近年の大規模言語モデルと拡散モデルに基づくテ キスト画像生成モデルは高度な画像生成を実現して いる一方で，前置詞などの機能語に関しては，それ らの意味を正しく捉えられていないことが指摘され ている [1]. 本研究ではこの問題に対して，CCGに 基づく構文解析モデルとテキスト画像生成モデルを 統合することで，テキスト中の物体同士の関係性を 明示的に捉えた画像生成を可能にし，機能語のよう な文法的関係を正しく捉える言語理解を実現する。

## 1 はじめに

自然言語における機能語と実世界情報の対応関係 を理解可能な人工知能の実現は，人工知能の実世界応用において重要な課題である. 本研究では，構文解析とテキスト画像生成モデルを統合し，機能語が 持つ言語情報を画像情報として表出させることで，実世界情報と紐づいた機能語の言語理解の実現を目指す.

近年の大規模言語モデルと拡散モデルに基づくテ キスト画像生成モデルは高度な画像生成を実現して いる $[2,3,4]$. 一方で言語理解の観点からは，“in” “on”などの文法的機能に関しては，その意味を正し く捉えられていないことが指摘されている [1]. 例 えば, 図 1 に示すように, Stable Diffusion [4] は "ball” や“box”といった内容語に関しては，これらの物体 が出現する画像を生成している一方で, “in”や“next to” といった異なる前置詞 (機能語) に関しては，ど ちらも “in” の意味に対応する画像を生成しており， これらの意味を捉えられていない。

実世界上において，自然言語を用いた人間とのコ
ミュニケーションが期待される人工知能は，このよ うな機能語に関してもその意味を理解可能であるこ とが望ましい [5]. 例えば, “Place a ball next to a box." のような指示をロボットに与えたときに，ゴール状態として図 1 の右側の画像をロボットが想起してし まうと，適切な行動を期待することはできない。

そこで，本研究ではこのような機能語の言語理解を実現するための方法として，自然言語の 統語的情報をテキスト画像生成モデルに取り入 れる手法を提案する。具体的には，組み合わせ 範疇文法 (Combinatory Categorial Grammar: CCG) [6] に基づく構文解析モデルである Holographic CCG (Hol-CCG) [7] をテキスト画像生成モデルにおけるテ キストエンコーダとして採用し, Hol-CCG が出力す る統語的及び意味的情報を含んだ単語・句・文の分散表現を画像生成に活用する。これにより，機能語 が示す文中の物体同士の関係性を画像情報と対応付 けることが可能となり，結果的に機能語の言語理解 が可能になると考える.

実験より，テキストから得られる句の分散表現・統語的情報をテキスト画像生成に活用することの有効性を示唆する結果が得られた．なお，後述の実験 では機能語が示す物体同士の位置関係に主眼を置い ているため, 生成画像の写実性は本研究の論点から 外れていることに注意されたい.

## 2 関連研究

## 2.1 Hol-CCG

本研究では，テキスト画像生成モデルにおけるテ キストエンコーダとして筆者らが以前に提案した CCG に基づく構文解析モデルである, Hol-CCG [7] を使用する．Hol-CCG は潜在空間上での単語及び句 の分散表現同士の再帰的合成によって，それらの間 に存在する階層関係及び依存関係を明示的に考慮し た分散表現を計算することが可能であり，機能語が 表現する内容語同士の関係性を画像生成に反映す

図 2: Hol-CCG のモデル概要図.

るという本研究の目的に適した特性を有している。 Hol-CCG はテキスト画像生成モデルに与えられた入力文の構文構造を解析し，それに応じた単語・句・文の分散表現を出力する. そして，これらの分散表現を画像生成の際の言語特徴量として用いる.

Hol-CCG のモデル概要を図 2 に示す. Hol-CCG では，まず入力文を RoBERTa [8] などの Masked Language Model に通すことで, 文中の各単語の分散表現を得る。そして，得られた単語分散表現を巡回相関 [9] によって再帰的に合成することによって，句および文の分散表現を計算する. 巡回相関の演算 は次式で定義される。

$
[\mathbf{c}]_{k}=[\mathbf{a} \star \mathbf{b}]_{k}=\sum_{i=0}^{d-1} a_{i} b_{(k+i)} \bmod d
$

ここで，太は巡回相関の演算子，a, $\mathbf{b}$ は合成前の分散表現，c は合成後の分散表現である。例えば，図 2 中の例の場合，最終的な文の分散表現 $\mathbf{v}_{0: 5}$ は次のよ うな再帰的な演算によって計算される.

$
\mathbf{v}_{0: 5}=\left(\mathbf{v}_{0: 1} \star \mathbf{v}_{1: 2}\right) \star\left(\mathbf{v}_{2: 3} \star\left(\mathbf{v}_{3: 4} \star \mathbf{v}_{4: 5}\right)\right)
$

また，分散表現を合成する過程において，Spanbased Parsing [10] に基づく句構造解析アルゴリズム によって，入力文が持つ尤もらしい句構造を探索す る.これによって，入力文が持つ構文的曖昧性を解消しつつ，文を構成する単語・句・文の意味的・統語的な情報を含んだ分散表現を構成することができ る. Hol-CCG では分散表現を再帰的に合成する演算自身には学習が必要となるパラメータが存在しな いことが特徴であり, 本モデルは大規模かつ複雑な データセットに対しても適用可能である.

## 2.2 AttnGAN

本研究では，テキスト画像生成モデルとして Attentional GAN (AttnGAN) [11]を使用する。AttnGAN は Attention 機構によって入力文中の各単語の情報 を画像生成に取り込むモデルである。また，Deep
Attentional Multimodal Similarity Model (DAMSM) モ ジュールにおいて，テキストと画像間での対応関係 を評価することで，入力テキストに対して意味的に 合致するような画像を生成する。

## 3 提案手法

## 3.1 手法概要:Hol-CCG と AttnGAN の統合

本研究では，AttnGAN のテキストエンコーダとし

て Hol-CCG を用いることで，テキスト画像生成に 統語的情報を取り入れる手法を提案する．提案手法 の概略を図 3 に示す。

まず，Hol-CCG が入力文を構文解析することに よって，単語・句・文の統語的・意味的な情報を含 む分散表現を出力する。そして，AttnGAN はこれら の分散表現を言語特徴量として画像を生成する。よ り具体的には, GAN の隠れ層の状態を更新する際 に単語及び句の分散表現との間での Attention の計算を行う。ここで，単語の分散表現のみではなく，句の分散表現も取り入れていることが本手法の重要箇所であり，これによって，複数の単語間に存在す る階層的な依存関係の情報を画像生成過程に取り 込む. さらに，元々の AttnGAN と同様に，最終的に 生成された画像は DAMSM モジュールにおいてテ キストとの意味的な対応関係が評価される. この評価過程においても，単語・文の分散表現に加えて 句の分散表現が言語特徴量として用いられる。

## 3.2 モデルの学習

本提案手法では, AttnGAN の生成器・識別器の学習に先立って，テキスト及び画像エンコーダの事前学習を行う.この事前学習の方法は基本的には AttnGAN を踏襲しており，統語的情報及び句の分散表現を取り込めるように拡張を行った.まず，元々 の AttnGAN における DAMSM モジュールの学習に 関する損失関数 $\mathscr{L}_{D A M S M}$ を句の表現が取り込める ものに拡張した方法について説明する。

$
\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {phrase }}+\mathscr{L}_{\text {sentence }}
$

上式における $\mathscr{L}_{\text {phrase }}$ は句の分散表現を DAMSM モ ジュールに取り込むために，筆者らが新たに導入し た項である. ここで， $\mathscr{L}_{D A M S M}$ を構成する各項はそ れぞれ，単語・句・文の分散表現と画像の特徴量を 用いて，テキストと画像間での対応関係を評価する ためのものである．例えば， $M$ 個の画像情報とテキ スト情報のペア $\left.\{\left(Q_{i}, D_{i}\right)\right.\}_{i=1}^{M}$ に関して， $\mathscr{L}_{\text {word }}$ は次

図 3: 提案手法概略図 (AttnGAN の元論文 [11] 中のモデル概略図におけるテキストエンコーダ部分を Hol-CCG による構文解析に置換).

の通りに定義される。

$
\mathscr{L}_{\text {word }}=-\sum_{i=1}^{M}\left.\{\log P\left(Q_{i} \mid D_{i}\right)+\log P\left(D_{i} \mid Q_{i}\right)\right.\}
$

なお, $P\left(Q_{i} \mid D_{i}\right), P\left(D_{i} \mid Q_{i}\right)$ を計算する過程に関して は本稿では割愛するが，詳細は AttnGAN の元論文 [11]を参照されたい。また， $\mathscr{L}_{\text {phrase }}, \mathscr{L}_{\text {sentence }}$ の 計算過程は $\mathscr{L}_{\text {word }}$ と同様である.

次に，統語的情報を取り入れるために行った拡張 に関して説明する. AttnGAN が画像生成に用いる単語・句・文の特徵量に統語的情報を取り入れるにあ たり, 本提案手法では CCG カテゴリの情報を利用 する. CCG カテゴリは構文解析の結果として文中 の単語や句に対して割り当てられるものであり，多 くの統語的情報を含んでいる. そのため，テキスト エンコーダの事前学習において，テキストエンコー ダが出力する単語・句・文の分散表現から，それら に対応する CCG カテゴリが正しく予測されるよう な損失関数を定義することで，分散表現中に統語的情報が取り込まれるようにする。具体的には，次の ような $\mathscr{L}_{\text {syntax }}$ を定義する。

$
\mathscr{L}_{\text {syntax }}=\mathscr{L}_{\text {word-syn }}+\mathscr{L}_{\text {phrase-syn }}+\mathscr{L}_{\text {span-syn }}
$

ここで， $\mathscr{L}_{\text {word-syn }}, \mathscr{L}_{\text {phrase-syn }}$ はそれぞれ単語・句 に対する CCG カテゴリの割り当て誤差, $\mathscr{L}_{\text {span-syn }}$ は特定の区間に含まれる単語列が句を構成するか否 かの判別誤差である。詳細に関しては Hol-CCG [7] のモデル学習方法を参照されたい.

上記の $\mathscr{L}_{\text {DAMSM }}$ と $\mathscr{L}_{\text {syntax }}$ の合計をエンコーダ の事前学習の損失関数 $\mathscr{L}_{\text {pretrain }}$ とする.

$
\mathscr{L}_{\text {pretrain }}=\mathscr{L}_{\text {DAMSM }}+\mathscr{L}_{\text {syntax }}
$

また, エンコーダの学習完了後に行われる GAN の生成器と識別器の敵対的学習に関しては元々の AttnGAN と同一であるため, 本稿では説明を割愛す
る. 詳細に関しては AttnGAN の元論文 [11]を参照 されたい.

## 4 実験

## 4.1 データセット

本研究では，2つの性質の異なるデータセットを 用いて実験を行った.

coco テキスト画像生成分野で一般的に用いら れている Common Objects in Context (COCO [12])を 客観的な評価・比較のために用いた.

CLEVR 本研究では、AttnGANを画像生成モデ ルとして採用したが、 $\operatorname{COCO}$ (日常生活のあらゆる 場面の画像を含む) の画像を高品質に生成するこ とが難しいことから、機能語の言語理解に関する 主観的な評価を行うには不適切であると考えた。 そのため、本研究では Compositional Language and Elementary Visual Reasoning (CLEVR [13]) データセッ 卜を用い、3 個以下の物体を含む画像についてアノ テーション情報から自動的にキャプションを生成 し，実験に使用した.

## 4.2 ベースライン手法

ベースライン 1 AttnGAN のテキストエン コーダに RoBERTa [8]を用いたモデルを，提案手法において統語的情報が付与されることの 有効性を検証するための比較対象として用 いる. このモデルではテキスト入力に対して RoBERTa が出力する [CLS] トークンと各サブワー ドの分散表現を言語特徴量として AttnGAN に 与え画像を生成する. 事前学習の損失関数は $\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {sentence }}, \mathscr{L}_{\text {pretrain }}=\mathscr{L}_{\text {DAMSM }}$ となる.
表 1: COCO データセットにおける客観評価の結果.

ベースライン 2 提案手法において句の分散表現 を画像生成に用いないモデルを 2 つ目のベースライ ン手法とする. このモデルとの比較によって，提案手法において句の分散表現を画像生成に取り入れ ることの有効性を検証する．事前学習の損失関数は $\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {sentence }}, \mathscr{L}_{\text {syntax }}=\mathscr{L}_{\text {word-syn }}$ となる.

## 4.3 評価方法

客観評価 Fréchet Inception Distance (FID ${ }^{1)}$ ) と Rprecision (R-prec ${ }^{2}$ ) を評価指標として用いた。

主観評価 16 名の実験参加者に各手法によって 生成された 20 組の画像を提示し，各実験参加者は テキストが示す物体同士の位置関係との合致度が最 も高い画像を選択する. そして各手法によって生成 された画像が選択された割合を比較した。

## 5 結果・考察

客観評価 客観評価の結果・比較を表 1 に示す。 なお，VICTR [14] は AttnGAN のテキストエンコー ダ部分にシーングラフから抽出された物体同士の位置関係の情報を明示的に取り入れている点から，本研究との関連があるため比較手法として取り上げ た. 結果より，提案手法は FID においてべースライ ン手法に比べて高い性能を発揮している. ただし， ベースライン手法 1 は他の 2 つのモデルに比べて著 しく高い FID を示しているため, GAN の学習の不安定性のために学習に失敗している可能性があるこ とには注意されたい。また，既存手法との FID にお ける比較に関しては，提案手法は AttnGAN の性能 を上回り，VICTR に競合する性能を発揮している。 なお，提案手法では GAN の学習段階における八イ パーパラメータの設定を改善することで，さらなる 性能向上が見込まれる，以上より，提案手法におい て句の分散表現及び統語的情報をテキスト画像生成 に取り込むことの有効性が示唆される。


図 4: CLEVR における生成画像例 (入力テキス $r$ : "large yellow sphere is to the left front of small blue cylinder, and large yellow sphere is to the left behind of small green sphere”). 提案手法が “yellow sphere” と "blue cylinder” の位置関係 ("to the left front of") を最 も正確に反映している.

主観評価 各手法によって生成された画像が実験参加者によって選択された割合はそれぞれ，ベース ライン $1: 39.1 \%$ ， ベースライン $2: 18.1 \%$ ，提案手法: 42.8\%となった. 実験参加者に提示した画像の一例 を図 4 に示す. 図の例の様に，提案手法がベースラ イン手法に比べて，入力テキストが説明する物体同士の位置関係をより正確に捉えた画像を生成してい る例が複数見られた。一方で，ベースライン 1 と提案手法の画像が選択された割合が僅差であること を踏まえると，大域的には手法間の差は小さいと考 えられ，提案手法の有効性は十分には示されていな いと考える。そのため，入力するテキストの複雑度 やGAN の学習におけるハイパーパラメータの設定 などにさらなる改良が必要であると考えている。な お， ベースライン 2 の画像が選択された割合は他の 2つの手法に比べて著しく低く，この手法において は GAN の学習に失敗している可能性があることに は注意されたい。

## 6 おわりに

本研究では構文解析とテキスト画像生成モデルを 統合することによって自然言語における機能語の言語理解を実現するための手法を提案した. 入力テキ ストに対して構文解析モデルが出力する統語的・意味的情報を含んだ単語や句の分散表現を画像生成に 活用することで，機能語が示す物体同士の関係性を 画像情報と対応付けた画像の生成に取り組んだ。実験より，提案手法の有効性を示唆する客観的な結果 が得られた。

今後の展望としては，画像生成部分を Stable Diffusion [4] などの拡散モデルベースのものに置換 し，より高品質な画像の生成を可能にすることや，物体同士の位置関係に関する表現以外の前置詞・機能語に関して，より詳細な実験・評価を行うことな どが挙げられる.

## 謝辞

本研究は，JST，ムーンショット型研究開発事業, JPMJMS2033 の支援を受けたものです.

## 参考文献

[1] Colin Conwell and Tomer Ullman. Testing relational understanding in text-guided image generation. arXiv preprint arXiv:2208.00005, 2022.

[2] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi, Rapha Gontijo Lopes, et al. Photorealistic text-to-image diffusion models with deep language understanding. arXiv preprint arXiv:2205.11487, 2022.

[3] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022.

[4] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[5] Amir Aly, Tadahiro Taniguchi, and Daichi Mochihashi. A bayesian approach to phrase understanding through crosssituational learning. In International Workshop on Visually Grounded Interaction and Language (ViGIL), in Conjunction with the 32nd Conference on Neural Information Processing Systems (NeurIPS), 2018., 2018.

[6] Mark Steedman. The Syntactic Process, Vol. 24. MIT press Cambridge, MA, 2000.

[7] 山木良輔, 谷口忠大, 持橋大地. Holographic Embeddings による CCG 構文解析. 言語処理学会第 28 回年次大会 (NLP2022), 2022.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[9] Tony A Plate. Holographic reduced representations. IEEE Transactions on Neural networks, Vol. 6, No. 3, pp. 623641, 1995 .

[10] Mitchell Stern, Jacob Andreas, and Dan Klein. A minimal span-based neural constituency parser. arXiv preprint arXiv:1705.03919, 2017.

[11] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1316-1324, 2018.

[12] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.
[13] Justin Johnson, Bharath Hariharan, Laurens Van Der Maaten, Li Fei-Fei, C Lawrence Zitnick, and Ross Girshick. Clevr: A diagnostic dataset for compositional language and elementary visual reasoning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2901-2910, 2017.

[14] Caren Han, Siqu Long, Siwen Luo, Kunze Wang, and Josiah Poon. Victr: Visual information captured text representation for text-to-vision multimodal tasks. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3107-3117, 2020.
 山木良輔 ${ }^{1}$ 谷口忠大 ${ }^{1}$ 持橋大地 ${ }^{2}$ 1 立命館大学 2 統計数理研究所 \{yamaki.ryosuke, taniguchi\}@em.ci.ritsumei.ac.jp daichi@ism.ac.jp }  "A ball next to a box"  図 1: Stable Diffusion が生成した画像の例. 