# 所望の患者データを作る： Variational Auto-Encoder による症例報告生成

清水聖司，矢田竣太郎，荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学
\{shimizu.seiji.so8,s-yada,aramaki\}@is.naist.jp

## 概要

医療言語処理の分野では，患者のプライバシーの 問題から共有可能な医療ドメインコーパスが少な い.そのため，コーパスを自動生成する研究がなさ れている. 現状ではコーパス生成の手法として事前学習済みモデルを用いた，プロンプトを条件として 生成する手法 (prompt-based の手法) が広く用いられ ているが，コントロール性の高い生成が困難であ る. Variational Auto-Encoder (VAE) を使った連続的条件からの生成では, prompt-based にはできないコ ントロール性の高い生成が実現できる可能性があ る. 本論文では VAEベースの症例報告生成モデル を学習し, (1) 医学概念が潜在空間から再構成でき るか，(2) 条件同士の距離関係と，生成される症例報告に含まれる医学概念の類似度の対応関係，の $2 \supset$ の観点から評価する。

## 1 はじめに

自然言語処理研究において，異なる手法の統一的 な比較は，特定のタスクにおける手法の有効性の検証や，それに基づく手法の改善のために必須であ る.よって，そのような比較を可能にする共有可能 なコーパスは，分野発展において重要である。しか し, 医療言語処理の分野では，患者のプライバシー の問題から共有可能な医療ドメインコーパスが少 ない $[1,2]$. そのため，個人情報を削除する匿名化， またはコーパスの言語生成モデルを使った生成, と いったアプローチで共有可能なコーパスを構築する 試みがなされてきた。

生成を使ったアプローチにおいて，現状では事前学習済みモデルを用いたプロンプトを条件として コーパスを生成する手法 (prompt-based の手法) が広 く用いられている. しかし，この手法では，生成の 条件が離散的であり，プロンプトのデザインが恣意的であるため，コントロールが困難である.

一方で，Variational Auto-Encoder (VAE)を使った連続的条件からの生成では，テキストを潜在空間に次元削減し，そこからテキストを再構成することに よって，コーパス全体を一つの連続的なべクトル空間に埋め込むことができる。このような埋め込みが 出来ると, Prompt-based の手法にはできないコント ロール性の高い生成が実現できる可能性がある [3].

そこで，本論文ではVAEベースの症例報告生成 モデルを評価した．具体的には，(1) 入力された症例報告を潜在変数に変換し，変換された潜在変数か ら元の症例報告に含まれる医学概念再構成できる か，(2) 条件同士の距離関係と, 生成される症例報告に含まれる医学概念の類似度が対応するかを評価 した. 評価の結果，医学概念の再構成に関しては疾病、傷害及び死因の統計を国際比較するために用い られる ICD コードの, 頭文字の粒度で可能であるこ とが示された. また，潜在変数の距離関係が，生成 された症例報告に含まれる医学概念の類似度と対応 することが示された。

## 2 関連研究

共有可能な医療コーパス構築において,コーパス を公開することで，患者のプライバシーが危険にさ らされる可能性がある。この問題に対し, 主に匿名化または生成のアプローチが用いられる．匿名化は コーパスから個人情報を消す手法であり [4], 匿名化された有名なコーパスに MIMIC [5] がある。しか し，匿名化には，コーパスのサイズが大きくなるほ ど完全には個人情報を消しきれないという問題が ある。

生成は近年発展を遂げたテキスト生成技術を用い て，人工的なコーパスを生成する手法である.この 手法では，医療コーパスを用いて言語生成モデルを 学習し，学習したモデルから自動的に医療テキスト
表 1 再構成された症例報告の例. 上段が，Optimus に入力された症例報告，下段が潜在変数から生成された症例報告 で，下線は入力された症例報告から再構成されている要素を示す.

を生成することでコーパスを構築する.

## 2.1 医療テキスト生成

現状の医療テキスト生成には主に，Transformer ベースの学習済みモデルにプロンプトを条件として 生成する手法が用いられている.

GPT-3 [6] を用いて病名を条件として，その定義を 生成した手法 [7] や，医療ドメインにおけるファク トイド質問応答のために T5 [8] を用いて疑問文を生成した手法 [9] などが存在する. Amin-Nejad らは, Prompt-based の手法を用いて電子カルテを自動生成 することでコーパスを構築し，構築されたコーパス を下流の分類タスクにおいて評価した [10]. この研究において，下流タスクにおいて，生成されたコー パスのみを用いた時の精度は，実際のコーパスを用 いた時の精度に及ばなかった。

## 2.2 連続的条件からののテキスト生成

望ましい医学概念の分布を持ったコーパスを構築するには，コントロール性の高いテキスト生成が 必要である．例えば，肺がんのあらゆるケースを想定して, 肺がん患者という医学概念を固定して，あ らゆる年齢・性別などの個人特性を表す言語表現を 持ったコーパスを構築できることが望ましい.

Prompt-based の手法を含む，学習済みモデルをそ のまま Fine-tuning する手法は, 汎用的な使用を目的 とした事前学習済みモデルをそのまま用いるため,望ましい医学概念の分布を持ったコーパス構築する という使用目的に適さない可能性がある. 特に, 文書同士のグローバルな関係性を捉えることができ ず，条件に対する操作もプロンプトの入力変更に限 られているという問題がある。

一方で，VAE [11] は，連続的条件からの生成が可能であり，テキスト同士のグローバルな関係もモデ ルの内的表現として得ることができる. Liu らの研究では，潜在空間においてエネジー関数を学習し，学習したエナジー関数をもとに，生成の条件とな る潜在変数数をサンプルすることで，ある特定の 特性を持ったテキストを生成可能なことが示され た [12]. この手法では，様々な初期条件から連続的 に潜在変数を変化させ特定の特性を持ったテキスト を生成可能であり，ある医学概念を固定して，他の 特性を連続的に変化させるといった操作が実現可能 である.

## 3 材料

本研究では，医療テキストデータとして 1975 年 から J-Stage に投稿された論文データに含まれる症例報告論文を使用した. ここから以下の条件で，対象となる症例報告論文を抽出した。

1. タイトルに“症例”を含む

2. アブストラクトが“症例は”から始まる

3. アブストラクトの文字数が 350 文字以下である

以下で使う症例報告は, 上記全ての条件を満たす データ 11,181 件のアブストラクトとし, JST-CR と 呼ぶ.

## 4 生成手法

## 4.1 Optimus

VAE ベースの症例報告生成モデルとして Optimus [13] を用いた. Optimus はVAEをべース として，Encoderに BERT+Linear 層を用い，Decoder に Linear 層+GPT2 を用いたモデルである.

Optimus の学習では，Decode の時に，潜在変数の 情報が無視されて生成される KL collapse を防ぐた めに KL annealing が用いられる. KL annealing では,学習において，ハイパーパラメータ $\beta$ を周期的に変化させる. Optimus の学習の目的関数は以下の通り

である.

$
\begin{aligned}
L_{\beta} & =L_{E}+\beta L_{R} \quad \text { with } \\
L_{E} & =\mathbb{E}_{q_{\phi}(z \mid x)}\left[\log p_{\theta}(\mathbf{x} \mid \mathbf{z})\right] \\
L_{R} & =\operatorname{KL}\left(q_{\theta}(\mathbf{x}) \| p(\mathbf{z})\right)
\end{aligned}
$

$L_{E}$ は入力と出力が同じになるようにする Reconstruction Loss であり， $L_{R}$ は潜在変数の分布を事前分布と近くする KL Divergence Loss である. 症例報告生成のために, Encoder の BERT には UTHBERT [14], Decoder の GPT-2 には日本語コーパスで 事前学習した GPT-2 [15] を用いた. UTH-BERT は東大病院に蓄積された約 1 億 2 千万文の電子カルテ文書を使って学習された BERT モデルである.

## 4.2 生成の流れと例

JST-CR のアブストラクトを入力として，Encoder により入力を潜在変数に変換，そして潜在変数を 再構成し，アブストラクトを生成した. 学習した Optimus によって出力された文章の例を表 1 に示す.下線は入力された症例報告の要素がモデルによって 再構成された部分を示す.この例では，元の症例報告の大部分を再構成できていることがわかる.

## 5 評価実験

潜在変数からの生成には，潜在空間において医学概念の関係性が表現されており, そこから症例報告 の中に特定の医学概念を再構成できることが重要で ある．また，潜在空間での操作を生成に反映させる ためには，ある潜在変数を変化させたときに，それ に対応して，生成される医学概念が変化することが 重要である。そこで，(1) 医学概念が潜在空間から 再構成できるか (2) 条件同士の距離関係と, 生成さ れる症例報告に含まれる医学概念の類似度が対応す るかを評価した。

## 5.1 評価方法

医学概念の再構成は Optimus に入力された症例報告と Optimus から出力された症例報告を比較するこ とにより評価した．潜在空間における条件同士の距離と, 生成される症例報告に含まれる医療概念の類似度が対応するかは，ある潜在変数に異なるノルム の摂動を加え，そこから生成される症例報告と元の 潜在変数から生成される症例報告とを比較すること により評価した。

図 1 EvalCorr での潜在空間における操作．摂動なしは，摄動を加える前の潜在変数を表し，赤い点は様々な大き さのノルムの摂動が加えられた潜在変数を表す. それぞ れの潜在変数から症例報告を生成し，評価した。

## 5.1.1 EvalRecon : 医学概念再構成の評価

医学概念が潜在空間から再構成できていれば，入力された症例報告と出力された症例報告は，その中 に含まれる医学概念が類似するはずである．そこ で，Optimus に入力された症例報告と Optimus から 出力された症例報告の類似度を測ることで，医学概念の再構成の評価とした. 以下ではこの評価を EvalReconとする.

## 5.1.2 EvalCorr : 条件の距離と類似性の対応評価

潜在空間での操作が生成される症例報告に反映さ れるかを，条件同士の距離関係と，症例報告に含ま れる医学概念の類似度が対応するかを基に評価し た. 具体的には，まず，図 1 のように，評価データ 中の症例報告を潜在変数に Encode して，その潜在変数に対して，0.01 から 10 のノルムを持つランダ ムな摂動を加え, 元の潜在変数から生成された症例報告と摂動を加えられた潜在変数から生成された症例報告の類似度を測った. ノルムが大きくなるにつ れ，類似度がそれに対応して下がるかどうかを評価 した．以下ではこの評価を EvalCorr とする。

## 5.2 評価指標

2 文書の症例報告の類似度を定量的に評価する。

そのために，参照文と生成文の n-gram ベースの一致度を測る指標である BLEU と，文中に含まれる医学概念の一致度を測る指標である NER一致度を用 いた. NER 一致度の計算方法は以下の通りである。
1. 2 文書の症例報告に対して, $\mathrm{NE}$ 抽出器の RealMedNLP_CRJJA [16] を使いNER を施す.

2. NER 結果から病名と藏器・部位を抽出する。
表 2 EvalRecon の評価結果 (NER 一致度). Optimus に入力された症例報告と, Optimus から出力された症例報告に NER を施し，一致の Precision と Recall を計算した。

図 2 EvalCorr の結果. 縦軸は評価指標のスコア (F1),横軸は摂動のノルムに対し，常用対数を取ったものを 表す.
3. 2 つの症例報告から抽出された病名と臟器・部位を比較し，Recallと Precisionを計算する。

病名の NER 一致度に関しては，NER の結果得られ た病名を DNorm-Jにより正規化したものと，病名 をICD10コードに変換し，その頭文字をとったもの (ICD) を使って NER 一致度を計算した。

## 6 結果と考察

実験では，JST-CRを 8:1:1 に分割し，それぞれを 学習・検証・評価データとして用いた。学習したモ デルを 5 章で述べた方法と指標で，JST-CR の評価 データを使って評価した. EvalRecon の結果から， ICD の粒度では，医学概念の再構成ができているこ とが示唆される． EvalCorr の結果，ノルムの大きさ に対応して，生成された症例報告に含まれる医学概念の類似度が下がっていることから，条件同士の距離関係と，生成される症例報告に含まれる医学概念 の類似度が対応していることが示唆される。

## 6.1 EvalRecon

入力された症例報告と出力された症例報告に対 して BLEU スコアと NER 一致度を計算した。評価 データ全体の平均の BLEU スコアは 0.315 であった. NER 一致度は表 2 の通りである. ICD の NER 一致度は，Precision が 0.543 , Recall が 0.520 であった。

図 3 JST-CR の評価データにおける ICDコードの 分布 (original) と, Optimus により生成されたコーパス (generated) における ICD コードの分布. 横軸は ICD コー ドの頭文字，縦軸は頻度を表す。

## 6.2 EvalCorr

各症例報告に対して 10 回ランダムな方向の摂動を施し，スコアを平均したものを一つの症例報告 に対するスコアとした。ノルムと各スコアの相関係数は, BLEU が -0.970 , NER 臟器・部位が -0.875 , NER 病名が -0.885, ICD が -0.969 であった. 評価 データ全体のスコアを摂動のノルムごとに平均した 結果を図 2 に示す. 図 2 から臟器・部位以外はスコ アがおおよそノルムと対応し，下がっていることが わかる.

## 6.3 ICD コード分布の比較

生成されたコーパスが，JST-CR 評価データの ICD コード分布をどの程度再現できるかを評価し た. JST-CR の評価データに含まれる ICD コードの 頭文字の分布と，生成された症例報告における ICD コードの頭文字の分布を図 3 に示す. 2 つの分布 の KL Divergence は 0.020 ，分布内の順位相関係数は 0.941 （p 值 $\leq 0.01)$ であった. この結果から，生成さ れたコーパスは，ICD コードの頭文字の分布を再現 できていることが示唆される。

## 7 おわりに

本研究では，VAEベースのモデルである Optimus を使い，症例報告生成を再構成して生成した。実験 の結果，ICD の粒度で医学概念の再構成が可能であ ることと，症例報告に含まれる医学概念を，潜在空間における条件同士の距離に対応させて変化させる ことが可能であることを示した。

## 謝辞

本研究は，JST AIP 日独仏 AI 研究 JPMJCR20G9, JST CREST JPMJCR22N1, 国立情報学研究所 (NII) CRIS の支援を受けたものである.

## 参考文献

[1] Eiji Aramaki, Shoko Wakamiya, Shuntaro Yada, and Yuta Nakamura. Natural Language Processing: from Bedside to Everywhere. Yearbook of Medical Informatics, June 2022.

[2] Udo Hahn and Michel Oleynik. Medical Information Extraction in the Age of Deep Learning. Yearbook of Medical Informatics, Vol. 29, No. 1, pp. 208-220, August 2020.

[3] Dayiheng Liu, Jie Fu, Yidan Zhang, Chris Pal, and Jiancheng Lv. Revision in continuous space: Unsupervised text style transfer without adversarial learning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8376-8383, 2020.

[4] Tawanda Sibanda and Ozlem Uzuner. Role of local context in automatic deidentification of ungrammatical, fragmented text. In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 65-73, June 2006.

[5] Alistair EW Johnson, Tom J Pollard, Lu Shen, Li-wei H Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, and Roger G Mark. MIMIC-III, a freely accessible critical care database. Scientific data, Vol. 3, No. 160035, pp. $1-9,2016$.

[6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[7] Bosung Kim and Ndapa Nakashole. Data augmentation for rare symptoms in vaccine side-effect detection. In Proceedings of the 21st Workshop on Biomedical Language Processing, pp. 310-315, May 2022.

[8] Hermann Bujard, Reiner Gentz, Michael Lanzer, Dietrich Stueber, Michael Mueller, Ibrahim Ibrahimi, MarieTherese Haeuptle, and Bernhard Dobberstein. [26] a t5 promoter-based transcription-translation system for the analysis of proteins in vitro and in vivo. In Methods in enzymology, Vol. 155, pp. 416-433. Elsevier, 1987.

[9] Dimitris Pappas, Prodromos Malakasiotis, and Ion Androutsopoulos. Data Augmentation for Biomedical Factoid Question Answering. arXiv preprint, Vol. arXiv:2204.04711, , 2022.

[10] Ali Amin-Nejad, Julia Ive, and Sumithra Velupillai. Exploring transformer text generation for medical dataset augmentation. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4699-4708, 2020.

[11] Diederik P Kingma and Max Welling. Auto-encoding vari- ational bayes. arXiv preprint arXiv:1312.6114, 2013

[12] Guangyi Liu, Zeyu Feng, Yuan Gao, Zichao Yang, Xiaodan Liang, Junwei Bao, Xiaodong He, Shuguang Cui, Zhen $\mathrm{Li}$, and Zhiting Hu. Composable text control operations in latent space with ordinary differential equations. arXiv preprint arXiv:2208.00638, 2022.

[13] Chunyuan Li, Xiang Gao, Yuan Li, Baolin Peng, Xiujun Li, Yizhe Zhang, and Jianfeng Gao. Optimus: Organizing sentences via pre-trained modeling of a latent space. arXiv preprint arXiv:2004.04092, 2020.

[14] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. Plos one, Vol. 16, No. 11, p. e0259763, 2021.

[15] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 169-170, 2021.

[16] Tomohiro Nishiyama, Mihiro Nishidani, Aki Ando, Shuntaro Yada, Shoko Wakamiya, and Eiji Aramaki. Naistsoc at the ntcir-16 real-mednlp task.

## A 参考情報

## A. 1 潜在空間の可視化

Optimus によって構築された潜在空間を可視化し たものを図 4 に示す. タイトルに含まれる病名の ICD コードの頭文字 (ICD の軸) ごとに色分けした.

同じ ICD コードをもつ症例報告同士で固まってい るのは $\mathrm{C}, \mathrm{K}, \mathrm{H}$ で，それぞれ腫瘍，消化器系，眼科・耳鼻科系の病気を表すコードである. このこと から，これら 3 つに関する症例報告は，ある程度一貫した言語的特徴を持っていると推測される.

図 4 潜在空間の可視化. UMAPを用いて潜在変数を 2 次元に表現した. アルファベットは ICD コードの頭文字 を表す。


# 食感の物性と言語表現の対応の推定

上原宏 ${ }^{1,2}$ 持橋大地 1
1 総合研究大学院大学統計科学専攻 2 立正大学 データサイエンス学部 3 統計数理研究所
\{uehara,daichi\}@ism.ac.jp

## 概要

レシピ共有サイトに記述される多様な食感表現 は，レシピ材料の硬さ，粘り気などの違いによると ころが大きいが，両者の関係はこのサイトの情報だ けではわからない. 本研究では，材料構成と食感の 物性（レオロジー）との関係を実証した調理科学研究データを収集し，それらとレシピ共有サイト上の 食感表現との対応の推定を試みる。これにより様々 な食感表現が，材料のどのような食感物性から知覚 されるのかについて統計的なモデル化を行う。

## 1 はじめに

大量のレシピに記述される日本語の食感表現は 約 450 種類あるとされ [1]，レシピ共有サイトにも，様々な食感の記述が見られる. 各レシピの食感表現 の違いは，知覚の個人差はあるものの，主にレシピ の材料構成によると考えられる. 調理科学の研究で は，材料濃度構成の違いによる食感の違いを，食感物性（レオロジー）の測定により定量評価する 実証研究が行われている ([2], [3]). しかし，食感物性が，人が知覚する食感としてどのようなものか は、限られた評価者による実証研究にとどまってい る [7]. 本研究では, レシピ共有サイトの食感表現 と材料濃度データにもとづき, 調理科学研究の食感物性データとの対応関係を推定する方法を提案し，食感表現が材料のどのような物性特徴によるものか を推定する。

次章で提案手法を述べ，3 章で適用対象のデータ を説明する。続いて 4 章にてデータの解析結果およ び評価を記述し， 5 章にて結論を述べる.

## 2 提案手法

本研究では, ゼラチン, 寒天, アガーの 3 種類の 凝固剤を用いたレシピ（以降，ゲルレシピ）を対象 として，レシピ共有サイトから対象レシピを収集 し，食感表現トピックと，材料濃度トピックのペア

図 1 食感表現と凝固剤濃度を生成する結合トピックモ デル

からなる食感トピックを結合トピックモデル [4] を 用いて推定する．材料濃度トピックは調理科学の食感物性測定条件と同様なデータ形式であり，食感物性との対応付けが可能となる. 以下，提案手法の詳細を述べる。

## 2.1 対象データの抽出

## 2.1.1 食感の固有表現の抽出

日本語の食感用語を網羅的に調査した “日本語テ クスチャー用語体系1)”を辞書として，レシピ共有 サイトからレシピ毎の食感の固有表現を抽出した。

## 2.1.2 材料濃度ベクトルの収集

レシピ共有サイトの材料リストより，凝固剤の濃度および，エマルション2)の濃度を算出し，レシピ 毎に凝固剤ベクトル，エマルションベクトルを収集 した。なお，濃度の微小な違いが食感に大きく影響 することがあるため, 濃度を情報量 $(-\log )$ に変換し た特徴量を用いている。

## 2.2 食感トピックの推定

## 2.2.1 生成モデル

図 1 のとおり，食感トピックは食感表現語彙の潜在トピック $\mathbf{Z} ＼mathrm{~ ， お よ ひ ゙ そ れ に 対 応 す る 凝 固 剤 の 濃 度 ~}$ ベクトルの潜在トピック $\mathbf{Y}$ のペアで構成する. 食感表現は， $\mathbf{Z}$ のもで， $\operatorname{Dir}(\gamma)$ をディリクレ事前分布

とする多項分布 $\operatorname{Mult}(\mathbf{W} \mid \phi)$ に従うとし，一方，凝固剂濃度ベクトル $\mathbf{g}$ は， $\mathbf{Y}$ のもとで， $\mathcal{N} \mathscr{W}\left(\beta_{g}, v_{g}, S_{g}\right)$ をガウスウィシャート事前分布とする正規分布 $\mathcal{N}(\mathbf{g} \mid \mu, \boldsymbol{\Lambda})$ に従うとする. 調理科学では，凝固剤の みによる食感をべースラインとして，エマルション を混合した場合にどのような変化が顕れるかを実証 したものが多い $[3,5,11]$. そこで，エマルションの 濃度 $\mathbf{e}$ については, 凝固剤の潜在トピック $\mathbf{Y}$ のも とで,NW $\left(\beta_{e}, v_{e}, S_{e}\right)$ をガウスウィシャート事前分布 とする正規分布 $\mathcal{N}(\mathbf{g} \mid \mathbf{m}, \mathbf{L})$ に従うとする. 生成モデ ル，および生成過程を以下に示す.

## 生成モデル

$p(\mathbf{W}, \mathbf{Z}, \theta, \phi, \mathbf{g}, \mathbf{y}, \mu, \boldsymbol{\Lambda}, \mathbf{e}, \mathbf{L})=$

$\operatorname{Dir}(\theta \mid \alpha) \operatorname{Dir}(\phi \mid \gamma) \prod_{n} \operatorname{Mult}\left(z_{d_{n}} \mid \theta_{d}\right) \operatorname{Mult}\left(w_{d_{n}} \mid \emptyset_{\mathbf{k}}, z_{d_{n}}\right)$

$\times \mathcal{N} \mathscr{W}\left(\mu_{\mathbf{k}}, \boldsymbol{\Lambda}_{\mathbf{k}} \mid \mu_{\mathbf{0}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right) \prod \operatorname{Mult}\left(y_{d} \mid \theta_{d}\right) \mathcal{N}\left(\mathbf{g}_{\mathbf{d}} \mid \mu_{\mathbf{k}}, \boldsymbol{\Lambda}_{\mathbf{k}}, y_{d}\right)$

$\times \mathcal{N} \mathscr{W}\left(\mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}} \mid \mathbf{m}_{\mathbf{0}}, \beta^{e}, v^{e}, \mathbf{S}^{\mathbf{e}}\right) \prod_{\mathbf{d}}^{\mathbf{d}} \mathcal{N}\left(\mathbf{e}_{\mathbf{d}} \mid \mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}}, y_{d}\right)$

## 生成過程

1. For $k \in 1, \ldots, K$ :

(a) $\phi_{\mathbf{k}} \sim \operatorname{Dir}(\gamma)$

(b) $\mu_{\mathbf{k}}, \mathbf{\Lambda}_{\mathbf{k}} \sim \mathcal{N} \mathscr{W}\left(\mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right)$

(c) $\mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}} \sim \mathcal{N} \mathscr{W}\left(\mu_{\mathbf{0}}^{\mathbf{e}}, \beta^{e}, v^{e}, \mathbf{S}^{\mathbf{e}}\right)$

2. For $d \in 1, \ldots, D$ :

(a) Draw $\theta_{\mathbf{d}} \sim \operatorname{Dir}(\alpha)$

(b) For $n \in 1, \ldots, N_{d}$ :

i. Draw $z_{d_{n}} \sim \operatorname{Mult}\left(\theta_{\mathbf{d}}\right)$

ii. Draw $w_{d_{n}} \sim \operatorname{Mult}\left(\phi_{\mathbf{z}_{\mathbf{d}_{\mathbf{n}}}}\right)$

(c) Draw $y_{d} \sim \operatorname{Mult}\left(\theta_{\mathbf{d}}\right)$

(d) Draw $\mathbf{g}_{\mathbf{d}} \sim \mathcal{N}\left(\mu_{\mathbf{y}_{\mathbf{d}}}, \boldsymbol{\Lambda}_{\mathbf{y}_{\mathbf{d}}}\right)$

(e) Draw $\mathbf{e}_{\mathbf{d}} \sim \mathcal{N}\left(\mathbf{m}_{\mathbf{y}_{\mathbf{d}}}, \mathbf{L}_{\mathbf{y}_{\mathbf{d}}}\right)$

ここで，各変数は以下を意味する。

$\phi_{\mathbf{k}}$ : トピック $k$ 毎の食感表現語彙分布. 事前分布 パラメータ $\gamma$.

$\mu_{\mathbf{y}_{\mathbf{d}}}, \boldsymbol{\Lambda}_{\mathbf{y}_{\mathbf{d}}}: k$ 毎のゲル濃度分布. 事前分布パラメー タは, $\mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, \nu^{g}, \mathbf{S}^{\mathbf{g}}$

$\mathbf{m}_{\mathbf{y}_{\mathbf{d}}}, \mathbf{L}_{\mathbf{y}_{\mathbf{d}}}: k$ 毎のエマルション濃度分布

$\theta_{\mathbf{d}}$ : 文書 $d$ (レシピ）毎のトピック分布パラメー

タ. 事前分布パラメータは， $\alpha$.

$z_{d_{n}}$ : 食感表現語彙 $w_{d_{n}}$ の潜在トピック.

$y_{d}:$ ゲル濃度 $g_{d}$ の潜在トピック

$\mathbf{g}_{\mathbf{d}}$ : 凝固剂濃度

$\mathbf{e}_{\mathbf{d}}$ : エマルション濃度

## 2.2.2 トピックの推定

Gibbs sampling により, 潜在トピック $z_{d_{n}}, y_{d}$ およ び，トピック毎の分布パラメータ $\phi_{\mathbf{k}}, \mu_{\mathbf{y d}_{\mathrm{d}}}, \Lambda_{\mathbf{y}_{\mathrm{d}}}, \mathbf{m}_{\mathbf{y}_{\mathrm{d}}}, \mathbf{L}_{\mathbf{y}_{\mathrm{d}}}$ を推定する．収束判定は，perplexity，および， $\phi_{k}$ の 語彙確率の大小関係が一定になることによる.

1. 食感表現の潜在トピック $z_{d_{n}}$

$
\begin{aligned}
& p\left(z_{d_{n}}=k \mid \mathbf{W}, \mathbf{Z}^{-\mathbf{d}_{\mathbf{n}}}, \alpha, \gamma, \mathbf{y}, \mathbf{g}, \mu, \boldsymbol{\Lambda}, \mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right) \\
& \quad \propto\left(N_{d k}^{-d n}+M_{d k}+\alpha\right) \frac{N_{k, w_{d n}}^{-d n}+\gamma}{N_{k}^{-d n}+\gamma \mathbf{V}}
\end{aligned}
$

ここで，各変数は以下を意味する.

$N_{d k}, M_{d k}: d$ で $k$ に所属する食感表現語彙数および，凝固剤べクトルの数 $N_{k}: k$ に所属する食感表現語彙の数 $N_{d}, M_{d}: d$ の食感表現語彙の数，および凝固剤ベクトルの数 $(=1)$

$N_{k w}: k$ に所属する食感表現語彙別の数

$N_{d k}^{-d n}: d$ において,$d_{n}$ を除き $k$ に所属する

食感表現語彙の数 (以降，左上添え字“-”は 同様な除外を意味する)

2. 凝固剤濃度の潜在トピック $y_{d}$

$
\begin{array}{r}
p\left(y_{d}=k \mid \mathbf{W}, \mathbf{Z}, \alpha, \gamma, \mathbf{y}^{-\mathbf{d}}, \mathbf{g}, \mu, \boldsymbol{\Lambda}, \mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right) \\
\propto \frac{N_{d k}+M_{d k}^{-d}+\alpha_{k}}{N_{d}+M_{d}-1+\sum_{k} \alpha_{k}} \times \mathcal{N}\left(\mathbf{e}_{\mathbf{d}} \mid \mu_{\mathbf{y}_{\mathbf{d}}}, \mathbf{\Lambda}_{\mathbf{y}_{\mathbf{d}}}\right)
\end{array}
$

3. 凝固剤濃度のトピック別分布 $\mu_{\mathbf{y}_{\mathrm{d}}}, \boldsymbol{\Lambda}_{\mathbf{y}_{\mathrm{d}}}$

$
\begin{array}{r}
p\left(\mu_{\mathbf{k}}, \boldsymbol{\Lambda}_{\mathbf{k}} \mid \mathbf{y}, \mathbf{g}, \mu^{-\mathbf{k}}, \mathbf{\Lambda}^{-\mathbf{k}}, \mu_{\mathbf{0}}, \beta^{\mathbf{g}}, \nu^{\mathbf{g}}, \mathbf{S}^{\mathbf{g}}\right) \\
\propto \mathcal{N}\left(\mu_{\mathbf{k}} \mid \mu_{\mathbf{c}},\left(\beta^{\mathbf{g}} \boldsymbol{\Lambda}_{\mathbf{c}}\right)^{-\mathbf{1}}\right) \mathscr{W}\left(\boldsymbol{\Lambda}_{\mathbf{k}} \mid v_{c}^{g}, \mathbf{S}_{\mathbf{c}}^{\mathbf{g}}\right)
\end{array}
$

ここで，各変数は以下を意味する。

$
\left(\mathbf{S}_{\mathbf{c}}^{\mathbf{g}}\right)^{-1}=\left(\mathbf{S}^{\mathbf{g}}\right)^{-1}+\sum_{\mathbf{g}_{\mathbf{d} \in} \in \text { topic k }}\left(\mathbf{g}_{\mathbf{d}}-\overline{\mathbf{g}}\right)\left(\mathbf{x}_{\mathbf{d}}^{\mathbf{g}}-\overline{\mathbf{g}}\right)^{\mathbf{T}}+
$

$
\begin{aligned}
& \frac{N_{k} \beta g}{N_{k}+\beta^{g}}\left(\overline{\mathbf{g}}-\mu_{\mathbf{0}}\right)\left(\overline{\mathbf{g}}-\mu_{0}\right)^{\mathbf{T}} \\
& \overline{\mathbf{g}}=\frac{1}{N_{k}^{g}} \sum_{\mathbf{g}_{\mathbf{d}} \in \text { topick }} \mathbf{g}_{\mathbf{k}}, \mu_{\mathbf{c}}=\frac{N_{k}^{g} \overline{\mathbf{g}}+\beta^{g} \mu_{0}}{N_{k}^{g}+\beta^{g}}
\end{aligned}
$

$\boldsymbol{\Lambda}_{\mathbf{c}}=\left(N_{k}^{g}+\beta^{g}\right) \boldsymbol{\Lambda}_{\mathbf{k}}, v_{c}^{g}=v^{g}+N_{k}^{g}$

$\sum_{\mathbf{g}_{\mathbf{d}} \text { topic } \mathbf{k}}$ : topic $\mathbf{k}$ に所属する $\mathbf{g}_{\mathbf{d}}$ のレシピ数

4. エマルション濃度のトピック別分布 $\mathbf{m}_{\mathbf{y}_{\mathrm{d}}}, \mathbf{L}_{\mathbf{y}_{\mathbf{d}}}$

$
\begin{array}{r}
p\left(\mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}} \mid \mathbf{y}, \mathbf{e}, \mathbf{m}^{-\mathbf{k}}, \mathbf{L}^{-\mathbf{k}}, m_{0}, \beta^{\mathbf{e}}, v^{\mathbf{e}}, \mathbf{S}^{\mathbf{e}}\right) \\
\propto \mathcal{N}\left(\mathbf{m}_{\mathbf{k}} \mid m_{c},\left(\beta^{\mathbf{e}} \mathbf{L}_{\mathbf{c}}\right)^{-\mathbf{1}}\right) \mathscr{W}\left(\mathbf{L}_{\mathbf{k}} \mid v_{c}^{e}, \mathbf{S}_{\mathbf{c}}^{\mathbf{e}}\right)
\end{array}
$

ここで， $\left(\mathbf{S}_{\mathbf{c}}^{\mathbf{e}}\right)^{-1}$ は，式 (4)の $\left(\mathbf{S}_{\mathbf{c}}^{\mathbf{g}}\right)^{-1}$ で $g$ を $e$ と した式で表す.また， $\sum_{\mathbf{e}_{\mathrm{d}} \in t o p i c \mathbf{k}}=\sum_{\mathbf{g}_{\mathrm{d}} \in \text { topic } \mathbf{k}}$ で ある。

なお，食感表現のトピック別分布パラメータ $\phi_{k}$, およびレシピ毎のトピック分布パラメータ $\theta_{d}$ は,
表 1 調理科学の実証研究 [7-12]にもとづくゲルレシピ の分析データ.

(a) ゲル素材の濃度別食感物性

(b) ゲル (ゼラチン)・エマルション混合レシピの食感物性. 機器固有の測定単位は Rheology Unit (RU) に統一した. (生ク=生ク リーム)

 & 砂糖 & I &  &  & 牛乳 &  &  \\

以下により求める.

$
\phi_{k v}=\frac{N_{k v}+\gamma}{N_{k}+\gamma V}, \quad \theta_{d k}=\frac{N_{d k}+M_{d k}}{N_{d}+M_{d}+\sum \alpha}
$

## 2.3 食感トピックと食感物性との対応推定

調理科学の食感物性実証での凝固剤濃度条件と,上記の凝固剤濃度トピックとの $\mathrm{KL}$ 情報量から，食感物性と食感表現トピックを対応付ける。なお，エ マルション濃度のトピックは，対応を推定したト ピック中での食感のバリエーションを分析する際に 用いる。詳細は，分析結果と評価にて述べる.

## 3 データ

## 3.1 ゲルレシピの収集

レシピ投稿サイト $\mathrm{Cookpad}^{3)}$ より，タイトル，要約，および作り手によるレビュー（つくれぽ）に食感固有表現が出現するゲルレシピ約 10,000 件を抽出した. 更に， 3 種類の凝固剤のいずれかを含み， かつ材料リストの量表記に欠測等がないものを抽出 した結果，対象データ数は約 3,000 となった.

図 2 食感物性測定機器の動作イメージ.

## 3.2 調理科学実証データの収集

材料と濃度の異なるゲルレシピに関する食感物性の測定結果を, 調理科学実証研究から抽出し た [7-12]. 表 1(a) は， 3 種類の凝固剤について異な る濃度条件での測定結果を, 表 1(b) は， ゼラチンに 異なる濃度のエマルションを混合した場合の測定結果である.いずれも材料濃度条件とそれに対応する 食感物性值を示している。ここで物性値とは，人の 咀嚼を模した測定器具 (図 2) により食品サンプルか ら検出される以下の 3 種類の応力（レオロジー）特徵量である。

硬さ： 1 回目の圧縮時に検出される最大応力 (図 2 の F1), 最初の咀嚼時に感じる硬さに相当する。

凝集性：1回目の圧縮時の総応力に対する 2 回目圧縮時の総応力の割合 (図 2 の $c / a$ ). 凝集性の小ささ は，飲み込みやすさ，もろさに相当する。

粘着性: 1 回目の伸張時に検出される負の総応力 (図 $2 b$ ).

## 4 データ分析結果と評価

## 4.1 食感トピックと食感物性との対応推定

表 2 に食感表現トピック推定結果および，調理科学実証データ (表 1(a)(b)) との対応推定結果を示す.凝固剤，食感表現語彙は，それぞれ濃度，語彙分布確率の降順に小数点 3 位の値を持つものまで表記し た. 各食感表現語彙には，日本語テクスチャー用語体系による類型を () 内に付記した。対応データ欄に は，提案手法により対応付けた，表 1(a)(b) の各デー タ番号および料理名を示した.

例えば，トピック８の食感表現語彙は，変形しや すさを意味する “ふるふる”となっており，対応付け られたデータ 1,2 は比較的低濃度のゼラチンで，食感物性上の硬さは比較的小さい (表 1(a))，これに対 して，トピック 3 では，“硬い”, “むちむち”のよう
表 2 食感表現トピックの検出結果と調理科学レシピとの対応

 \\

図 3 ババロア・ミルクゼリー調理科学レシピと投稿レシピとのエマルション濃度別食感特徴

な噛みごたえに関する語彙および凝集の小ささを意味する“ぽってり”が上位に出現する．対応データ 3,4 は比較的高濃度のゼラチンで，食感物性上の硬 さは比較的大きく，凝集性は比較的小さい (表 1(a)). このように食感トピックは，調理科学にもとづく食感物性特徴から整合的に説明できることを示して いる.

## 4.2 エマルション混合レシピの食感表現と 物性特徴

同一食感卜ピック 3 に所属するババロア，ミルク ゼリーの調理科学データ (表 1(b)) の食感のバリエー ションの特徴を図 3 に示す.これは，トピック 3 に 所属する 38 個のゲルレシピ (表 2 レシピ数)を，そ れぞれに出現する硬さ，および凝集を意味する語彙頻度をもとに平面上にプロットし，更にエマルショ ン濃度のババロア，ミルクゼリーに対する類似度 (KL 情報量) で色分けしたものである．濃い赤色ほ
ど類似度が高いことを示す。ババロアと類似するゲ ルレシピは，より硬くかつ凝集性が高い領域に集中 する一方，ミルクゼリーでは，硬いが，凝集性は平均的な領域に集中する. これらバリエーションの特徵は，ババロア，ミルクゼリーおよびレシピ 3 の物性特徴 (表 1)と一致性を示している。

## 5 結論

本研究では，レシピ共有サイトから推定した食感表現特徴が，材料物性からどのように説明できるか を分析するため，結合トピックモデルを用いてレシ ピ共有サイトの言語データと調理科学実証データ との架橋を試みた。推定結果は，食感表現トピック と，対応する食感物性特徴の一致性を示した。これ は提案手法が，食感の言語表現から食感の物性の予測，もしくはその逆の予測を可能にすることを示し ている.

## 参考文献

[1] 早川文代, “現代日本人の食感表現,” 日本家政学会誌, Vol. 60, No. 1 pp.69-72 ,2009. Other Food Attributes," Food Technology, Vol.17, pp.74-77.1963.

[2] T.Farjamia, and A.Madadloub, "An overview on preparation of emulsion-filled gels and emulsion particulate gels," Trends in Food Science \& Technology, Vol.86, pp.8594,2019 .

[3] 川端晶子, 澤山茂, “低メトキシルペクチンを用い たババロアのテクスチャーについて," 栄養と食糧, Vol.27, pp.55-63,1974.

[4] D.Mimno, H.M.Wallach, J.Naradowsky, D.A.Smith, and A.McCallum, "Polylingual topic models," EMNLP '09, Vol.2, pp.880-889,2009.

[5] 茂木美智子, “ゼリー食品のテクスチャーについて,”調理科学, Vol.1, pp.28-35,1975.

[6] D.Mimno, H.M.Wallach, J.Naradowsky, D.A.Smith, and A.McCallum, "Polylingual topic models," EMNLP' 09, Vol.2, pp.880-889,2009.

[7] 鈴野弘子, 澤山茂, 川端晶子, “愛玉子ゲルのテ クスチャープロフィル,”日本家政学会誌, Vol.43, pp.525-531,1992.

[8] F.Kawamura, and S.Takayanagi, "Properties of Gelatin Gel and Sol Mixed with Whipped Cream," Science of cookery, Vol.13, pp. 284-288,1980.

[9] 大村 公仁子, 赤羽ひろ, 中浜 信子, “寒天ゲルの破断特性について,”家政学会誌, Vol.29, pp.22-27,1978.

[10] 栗本公恵, 森高初惠, 藤井恵子, 大越ひろ, 中濱 信

力学特性,” 日本家政学会誌, Vol.48, pp.885-892,1997

[11] 河村 フジ子, 中島茂代, 幸野礼子, “エマルジョン混合ゼラチンゾルとゲルの特性について," 家政学会誌, Vol.29, pp.356-361,1978.

[12]村山 篤子,“カラギーナンゼリー,”調理科学, Vol.25, pp.353-359,1992.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 広告文生成タスクの規定とベンチマーク構築

三田 雅人 $1 \quad$ 村上 聡一朗 1 張 培楠 $1^{1}$
1 株式会社サイバーエージェント
\{mita_masato,murakami_soichiro,zhang_peinan\}@cyberagent.co.jp

## 概要

人手による広告文制作の限界を背景に，広告文自動生成に関する研究が盛んに行われている. しか し，分野全体で享受できるベンチマークが存在しな いことに加え，モデルの入出力を含め問題設定とし て十分に既定されていないため，既存研究は手法間 の比較が困難な状況であった. そこで本研究では，広告文生成タスクの既定およびベンチマーク構築 を行う．具体的には，まず広告文生成を応用横断的 なタスクとして規定したうえで，広告文生成におけ る初のベンチマーク CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA呈) を構築する。さらに,構築したベンチマークを用いた評価実験を通して，広告文生成の現状と今後の課題を示す.

## 1 はじめに

インターネット広告の需要拡大に伴い，人手によ る広告制作は限界を迎えつつある. 特に，検索クエ リに関連する広告文を検索結果画面に提示する検索連動型広告（図 1）は，前年比約 $8 \%$ 前後で増加して いる膨大な検索クエリの対応に迫られているため，広告文制作の自動化が喫緊の課題となっている [1].

このような産業的な需要もあり, 広告文の自動生成に関する研究が盛んに取り組まれている [2]. 事前に定義したテンプレートに対して適切なキーワー ドを挿入することで広告文を生成するテンプレート に基づく手法 [3-5] に始まり，近年では機械翻訳や 自動要約などで活用されているエンコーダ・デコー ダ型モデルを用いたニューラル言語生成に基づく手法 [6-8] など数多くの手法が提案されている.

一方で，広告文生成研究の評価には重大な課題が 残っている. 英語や日本語など言語問わず分野全体 が享受できる共通データセット（ベンチマーク）の 欠如により, 既存研究はこれまで独自データを用い た個々の検証に留まっており，手法間の包括的な比較ができていない [2]. また, ベンチマークが存在

図 1 : 検索連動型広告の例.

しないゆえにモデルの入出力形式に関しても合意形成が取られていない。検索キーワードを入力に用い 了研究 [9] もある一方で, 既存の広告文 [7] や広告文 をクリックした遷移先のランディングページ（LP） などを大力に用いる研究 [8] も存在する.このこと は，分野全体としてこれまで広告文生成の問題設定 を十分に規定できていないことを示唆しており，べ ンチマークの欠如と併せて広告文生成技術の一般化 の大きな妨げとなっている. ベンチマークの設計を 通して問題を規定し，研究者間で共有できれば，手法を横並びに評価できる。その結果として，分野全体が取り組むべき本質的に重要な部分が明らかにな り，技術の一般化が進むことが期待される.

そこで本研究では, 広告文生成の学術分野として のさらなる発展を目指し, 広告文生成タスクの規定 およびべンチマークの構築を行う，具体的には，ま ず広告の目的および要件を整理し，広告文生成 (Ad Text Generation）を応用横断的なタスクとして規定 する.このとき，従来タスクとの違いや本タスク特有の課題を提示するとともに，研究題材としての 学術的な意義について示す. 次に, 本研究では日本語における広告文生成ベンチマークのための共通データセット CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA元) を構築する ${ }^{1)}$ ，最後に，事前学習済みモデルの種類やマルチモーダル情報の使用有無といった観点で多様な複数の広告文生成モデ ルを用意し，構築したべンチマークを用いたベース ライン実験を通して，提案ベンチマークの有用性お よび本タスクの現状と今後の課題を示す.

## 2 広告文生成タスクの規定

## 2.1 広告文の要件

広告の目的は，ある商材（取引の対象となる物品 やサービス）があったとき，広告の受け手である消費者（ユーザ）の態度や行動に影響を与えることで ある。したがって，広告文生成の目的は，ユーザの 購買行動を促す文を生成することになる。ここで，広告文とはどのような要件を満たしていれば広告文 として成立するのだろうか. 本研究では，タスクを 既定するにあたり, まず広告文の基本要件として次 の2つを定めた:（1）商材内容と整合がとれている;

（2）商材内容からユーザの潜在的なニーズに応じて 情報が取捨選択されている.

要件 1 は，広告制作現場で実運用するうえでは必要条件ともいえる。また，より具体的には 2 つに大別でき，(a）広告文が入力情報である商材内容に含意される場合は，忠実性 [10] の観点から整合がとれ ており，（b）入力情報に含意されない情報を含むが 世界知識や常識的知識などの外部知識に基づいて いる場合は，事実性 [11] の観点から整合がとれて いる. 要件 2 について, 広告では限られたスペース で商材に関する特徴や魅力を短い文で表し, 即座に ユーザの関心を惹き付けることも同時に要求され る.このことから, 広告文は大力情報からユーザに 訴求できる情報を取捨選択（情報圧縮）されている 必要がある。

## 2.2 広告文生成タスク

2.1 節で整理した広告の目的および要件を踏まえ，広告文生成タスクを次のように定義する:

## タスク定義

商材に関する説明文書を $x 、$ 、ユーザの潜在的 なニーズや関心を反映するユーザ信号を $\boldsymbol{a}$,広告文を $\boldsymbol{y}$ とする。このとき，広告文生成の 目的は $p(y \mid a, x)$ をモデル化することである.

広告文生成タスクは，入力文書の内容との整合を保持しながら情報圧縮を行う点で，従来の文書要約タ スクと関連が深く，特に文書要約の亜種であるクエ リ重視要約（query-focused summarization） [12] とは 入力にユーザからのクエリが用いられるために，問題設定として最も近いといえる. しかし，クエリ重視要約ではユーザが明示的に指定した特定のクエ
リ（顕在化されたニーズ）に対応する要約を返すの に対し，広告文生成ではユーザの潜在的なニーズに 対応する必要がある点で異なる。ここで，広告文生成は広範囲な応用先を想定したタスクであるため， ユーザ信号 $\boldsymbol{a}$ は応用先，すなわち広告の形態に依存 して変動することに注意されたい，例えば，検索連動型広告の場合はユーザ信号 $\boldsymbol{a}$ には，検索クエリや キーワードが考えられるが，ディスプレイ広告 ${ }^{2)}$ や $\mathrm{EC}$ 上の商品広告であれば，ユーザの購買履歴など も考えられる。

広告文生成特有の技術的な課題の一つは，このよ うなユーザ信号をもとにいかにユーザの潜在的な ニーズを捉え，広告効果に繋がるような訴求性のあ る文を生成できるかであるが，広告効果は受け手で あるユーザの心理的特性に大きく依存する。そのた め，より高度な広告文生成の実現には，（究極的に は）認知心理学や社会心理学を基礎とした広告心理学 [13] との接続も必要になってくるだろう. このよ うに，広告文生成タスクは自然言語処理技術をより ユーザ中心にするためのよい題材の一つといえる.

## 3 広告文生成ベンチマークの構築

## 3.1 設計

本研究ではベンチマーク設計方針についてまず次 の2つを定めた:（1）マルチモーダル情報が活用で きる;（2）業種別に評価できる．1つ目の方針につ いて，検索連動型広告を含め多くの広告形態では商材の特徴や訴求ポイントをユーザにより直感的に伝 えるために，テキストだけでなくLP などの視覚情報を併せて用いている．また，LP と関連性の高い 内容をユーザへ訴求することが，クリックを促す重要な役割を果たすと知られている。実際，広告文生成分野においても LP のレイアウト情報などを考慮 することでモデルの生成品質が向上したという報告 もある [14]. このように，広告文生成タスクにおい て，今後マルチモーダル情報の効果的な活用を探究 することは重要である.

2 つ目の方針について，効果的な広告文を作成す るためには具体的な訴求を入れることが重要であ ることが知られている。例えば，価格や割引などか らお得感を訴求するには「送料無料」，「ポイント高還元！」のような訴求表現が用いられ，サービスや

2） Web サイトやアプリの広告枠にテキスト形式やバナー形式で表示される広告

図 2: データセット構築の流れ.

企業の実績を訴求したい場合は，「日本最大級の」，「売上 No.1」などの訴求表現が用いられる. ここで， どのような訴求表現（および訴求軸）を用いれば広告として効果的かは業種ごとに異なることが先行研究 [15] によって報告されている．そのため，より精緻な評価を実施し，頑健なモデルの開発を促進させ るためにも業種別に評価できることは重要である.

## 3.2 データセット構築手順

データセット構築の流れを図 2 に示す. 元データ として，Web 上にある検索連動型広告を用いた。広告データには「(検索) キーワード」,「広告文」,「LP」 がそれぞれ付与されている。ここで，検索連動型広告は，広告見出しと説明文で構成される（図 1). 説明文では見出し文と比較して表示領域が広いため，訴求表現は含まれるものの一般的な自然文で書か れることも多い。一方で，見出し文は表示領域制限 に加え，即時的にユーザの関心を惹き付ける役割を 担っているため，人間が容認できる範囲で故意に文法を崩したり圧縮するなど広告特有の言い回しが多 く含まれる。例えば，あるサービスにおける無料相談に関して訴求を行う場合，「簡単 30 秒！○○で無料相談」のような広告特有の表現が用いられる.こ のような一見非文にも思える広告特有の表現は人間 の理解を妨げるどころか，注意を引く効果があるこ とが広告心理学分野で報告されている [16]. 本研究 では，より広告特有の言語現象に焦点をあてること のできるべンチマークとなるよう広告見出し文のみ を広告文 $\boldsymbol{y}$ として抽出した。

次に，広告に紐づくLPから HTMLを解析し, Web ページの meta descriptionをその商材に関する説明文書（LPテキスト） $x$ として抽出した。また，設計方針 1 を踏まえ，マルチモーダル情報を活用でき るようにするため，LP 全体のスクリーンショット 処理を行い，LP 画像を取得した. さらにその LP 画像を用い, Cloud Vision API の OCR 機能 ${ }^{3}$ により, 矩形領域集合 $\boldsymbol{R}$ に対する画像 $\boldsymbol{I}$, レイアウト $\boldsymbol{C}$,テキス ト $\left.\{x_{i}^{\text {ocr }}\right.\}_{i=1}^{|\boldsymbol{R}|}$ を取得した。

表 1: データセット統計量.

## 3.3 アノテーション

元データにはすでに運用実績のある広告文 (参照広告文）が 1 つ付与されているが，同一商材に対す る妥当な広告文は本質的に多岐にわたると考えられ る. そのため, 本研究では日本語母語話者，かつ広告アノテーションの専門家である 3 名のアノテー タにより，追加で 3 つの参照広告文を作成する。評価アノテーション用のデータを収集する際は，設計方針 2 を考慮して，事前に人手で業種ラベルと対応付けられたキーワードを用いて無作為抽出した. な お，本研究で使用した業種ラベルは，人材，EC，金融，教育の 4 種類である。次に，収集した広告デー 夕に対して，3名が独立的に編集し，各入力につき 3 つの参照を作成した ${ }^{4}$.

本研究で構築したデータセットの基本統計量を 表 1 に示す. 本データセットは広告文生成のベンチ マークを目的に開発しているため，予め訓練/開発/評価に分割しており，訓練（および開発セット）と 評価セットの間でデータに重複がないようフィルタ リング処理を行った，次に，データセットに含まれ る入出力例を表 2 にそれぞれ示す。なお，本データ セットには表 2 に記載の情報以外に，マルチモーダ ル情報（OCR データ・LP 画像）が付与されている.

## 4 実験

本節では，広告文生成の代表的なベースラインモ デルを用意し，構築したベンチマークを用いた評価実験を通して，提案ベンチマークの有用性および広告文生成タスクの現状と今後の課題を示す.

## 4.1 実験設定

ベースラインモデル 広告文自動生成分野で現在主流であるエンコーダ・デコーダ型モデルに基 づく広告文生成モデルを構築した。まず事前学習済みモデルの種類の影響を調査するために, 2 つ の異なるエンコーダ・デコーダ型の事前学習済み モデル（BART [17]，T5 [18]）に基づきベースライ

表 2: CAMERA データセットの基本入出力（評価データセットにおける実例）.

表 3: 実験結果（太字の数値は各列における最高値を表す）.

ンモデルを構築した. さらに，マルチモーダル情報の有用性を調査するため，村上ら [14] に従い， T5 に基づくモデルに対し，LP の画像情報を考慮 した様々な設定を用意した。具体的には，LP の OCR 処理済みテキスト (lp_ocr;o)，LPのレイア ウト情報（lp_layout; l), LP の BBox 画像特徴量 （lp_visual;v）の 3 種類のマルチモーダル情報を素性として用いた。その他の詳細な実験設定は付録 C に記載する。

評価尺度 生成文の品質を評価するために，生成文と参照文の N-gram の一致率に基づく BLEU（B-4） 5) [19] および ROUGE-1（R-1） [20]を使用した.さ らに，LP と広告文の関連性を評価するために，指定キーワードが生成文に含まれる事例の割合を表す キーワード挿入率（Kwd）[7] を用いた。

## 4.2 結果

表 3 に実験結果を示す 6)。まず，事前学習済みモ デルの種類の影響を確認するために，BART およ び T5 の性能に着目する。全体としては，B-4 では BART が，R-1 および Kwd では T5 が高い傾向にあ ることを確認した。一方で，業種別にみてみると，人材では B-4 および R-1 の両方で BART が T5 を上回るなど結果にばらつきが生じている.そのため，妥当な事前学習済みモデルの選択は一概に言えず，評価の目的に応じて適切に選択する必要がある.

次に，マルチモーダル情報の有用性について確認する。全体としては，OCR 処理済みテキスト（+

5) https://github.com/mjpost/sacrebleu

6）マルチリファレンス評価が一般的な BLEU のみ全 4 つの参照広告文を使用し，R-1および Kwd は元データに付与された 運用実績のある参照広告文 1 つをそれぞれ用いて評価した。
\{o\}）やLPのレイアウト情報（+ $\{0, l\} ） を$ 素性とし てモデルに加えることで生成文の品質（B-4 および R-1）が改善することを確認した．しかし，業種別に みていくと，EC および金融における R-1 スコアにお いては LP の画像特徴量（+\{o,l,v $\} ） を$ 素性として 加えることで性能がかえって悪化している．性能低下の要因として考えられるのは，LP 情報を活用す ることで一貫した性能向上を報告した先行研究 [14] では LP ファーストビュー7)のみ用いているのに対 し，本研究では LP 全体を用いているため，LP の画像情報の一部がノイズとして機能してしまった可能性が考えられる。一方で，参照広告文の中には，LP ファーストビューの情報だけでは生成が難しい場合 も存在する ${ }^{8)}$ 。そのため，今後の課題としては，LP 画像などマルチモーダル情報から重要な情報を適応的に取捨選択できるモデルの開発が期待される.

## 5 おわりに

本研究では，広告文生成を応用横断的なタスクと して既定し，初のベンチマークを構築した。さら に，構築したべンチマークを用いた評価実験によ り，広告文生成モデルの性能は業種毎に大きく変動 すること，またマルチモーダル情報をいかに効果的 に活用するかが今後の課題であることを示した．広告文生成は自然言語処理の有望な応用先の一つとし てだけでなく，自然言語処理技術をよりユーザ中心 にするための重要かつ挑戦的な研究題材でもある.本研究が整備した研究基盤により, 広告文生成の研究開発が今後さらに促進されることを期待する.

7）LPをスクロールせずに最初に見える範囲

8）付録 Bにその実例を記載する。

## 謝辞

本研究のアノテーションを実施して頂いた，株式会社シーエー・アドバンスのアノテータ諸氏に感謝 します.

## 参考文献

[1] Ogi Djuraskovic. Google search statistics and facts 2023 (you must know). Technical report, First Site Guide, 2022.

[2] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関す 了最近の研究動向. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 1P5GS601-1P5GS601, 2022.

[3] Kevin Bartz, Cory Barr, and Adil Aijaz. Natural language generation for sponsored-search advertisements. In Proceedings of the 9th ACM Conference on Electronic Commerce, EC '08, p. 1-9. Association for Computing Machinery, 2008.

[4] Atsushi Fujita, Katsuhiro Ikushima, Satoshi Sato, Ryo Kamite, Ko Ishiyama, and Osamu Tamachi. Automatic generation of listing ads by reusing promotional texts. In Proceedings of the 12th International Conference on Electronic Commerce: Roadmap for the Future of Electronic Business, ICEC '10, p. 179-188. Association for Computing Machinery, 2010.

[5] Stamatina Thomaidou, Ismini Lourentzou, Panagiotis Katsivelis-Perakis, and Michalis Vazirgiannis. Automated snippet generation for online advertising. CIKM '13, p. 1841-1844. Association for Computing Machinery, 2013.

[6] J. Weston Hughes, Keng-hao Chang, and Ruofei Zhang. Generating better search engine text advertisements with deep reinforcement learning. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '19, p. 2269-2277. Association for Computing Machinery, 2019.

[7] Shaunak Mishra, Manisha Verma, Yichao Zhou, Kapil Thadani, and Wei Wang. Learning to create better ads: Generation and ranking approaches for ad creative refinement. CIKM '20, p. 2653-2660. Association for Computing Machinery, 2020.

[8] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, pp. 255-262. Association for Computational Linguistics, 2021

[9] 福田宏幸. キーワード条件つき変分 autoencoder によ る広告文生成. 人工知能学会全国大会論文集, Vol. JSAI2019, pp. 2L4J903-2L4J903, 2019.

[10] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919. Association for Computational Linguistics, 2020.

[11] Artidoro Pagnoni, Vidhisha Balachandran, and Yulia
Tsvetkov. Understanding factuality in abstractive summarization with FRANK: A benchmark for factuality metrics. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4812-4829. Association for Computational Linguistics, 2021.

[12] Hoa Trang Dang. Overview of duc 2005. In Proceedings of the 2005 Document Understanding Conference, 2005.

[13] Walter Dill Scott. The theory of advertising. Small, Maynard and Company, 1903.

[14] 村上聡一朗, 星野翔, 張培楠, 上垣外英剛, 高村大也,奥村学. Lp-to-text: マルチモーダル広告文生成. 言語処理学会 第 28 回年次大会, 2022 .

[15] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Track, pp. 69-78. Association for Computational Linguistics, 2022.

[16] Taifeng Wang, Jiang Bian, Shusen Liu, Yuyu Zhang, and Tie-Yan Liu. Psychological advertising: Exploring user psychology for click prediction in sponsored search. In Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '13, p. 563-571. Association for Computing Machinery, 2013.

[17] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880. Association for Computational Linguistics, 2020.

[18] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, Vol. 21, No. 1, 2022.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics, 2002.

[20] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics, 2004.

[21] Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015.

## A アノテーションガイドライン

アノテータに与えた主要な指示は次の 3 点である：(1) 検索キーワードをユーザの意図として考慮；（2） LP に記載の商材内容と矛盾しないように広告文を作成;（3）広告文の長さは全角 15 文字以内 ${ }^{9 ）}$.

## BＬP 情報を考慮しないと生成が難しい例

表 4: LP を考慮しないと生成が難しい実例. 赤色下線部は LP 上段部（3a）に, 青色下線部は LP 中段部（3b） にそれぞれ対応した情報の記載がある。

(a) LP 上段部

(b) LP 中段部

## C ベースラインモデル実験設定

本実験で用いた広告文生成モデルは各事前学習済みモデルを CAMERA データの訓練セットを用いて finetuning を行うことで構築した。具体的には，BART に基づくベースラインモデル（以下，BART）は，京都大学が提供している日本語版 BART の事前学習済みモデル ${ }^{10)}$ における japanese_bart_base_2.0を，T5 に基 づくベースラインモデル (以下，T5) は，村上ら [14] と同様に日本語版 T5 の事前学習済みモデル（sonoisa） 11）を使用した．次に，両モデルの学習時のハイパーパラメータを表 5 に示す. ここで，T5 における最大文長 については，LPの BBox 画像特徴量を用いるモデル（+ $\{o, l, v\} ）$ のみ 712 に設定し，それ以外のモデルは 全て 512 に設定している。また，開発セットに対する loss が T5 に関しては 3epoch 連続，BART に関しては 5epoch 連続で劣化した場合には早期終了した.

表 5: モデル学習時のハイパーパラメータ

9） Google レスポンシブ広告の見出し文に関する規定（https://support.google.com/google-ads/answer/12437745）に従った.

10) https://github.com/utanaka2000/fairseq/tree/japanese_bart_pretrained_model

11) https://huggingface.co/sonoisa/t5-base-japanese


# 大規模言語モデルによる脚本データの解析: プロダクト・プレイスメント挿入箇所の探索と評価

山木良輔 1 楢木悠士 ${ }^{2}$ 長沼大樹 3,4
1 立命館大学 ${ }^{2}$ 早稲田大学 ${ }^{3}$ モントリオール大学 ${ }^{4}$ Mila
yamaki.ryosuke@em.ci.ritsumei.ac.jp yuji.1277@akane.waseda.jp
naganuma.hiroki@mila.quebec

## 概要

本研究では，プロダクト・プレイスメントの自動化を実現するための手法を提案する．映像作品の脚本を大規模言語モデルによって解析することによっ て，脚本中において顕在性が高い箇所及び商品が登場する箇所をプロダクト・プレイスメントを挿入可能なシーンとして抽出する．映画脚本における実験 の結果より，我々の提案手法が脚本中における重要 シーン及びプロダクト・プレイスメント挿入可能 シーンを抽出可能であることが示された.

## 1 はじめに

プロダクト・プレイスメント (PPL: Product Placement) とは,ドラマ・映画等の劇中において, 飲食物・役者の小道具・背景として実在する企業ロゴや商品 を露出する広告手法である. 通常の広告に比べ, 映像視聴者が無理に宣伝されているストレスを感じにく く宣伝効果が高いとされているほか [1], 「ブランド 認知施策」として欧米や韓国の映像コンテンツで注目を集めており, 例えば, 米国の 2019 年の PPL 市場 は 1 兆 2500 億円と報告されている [2]. また, PPL は $\mathrm{CM}$ と違い映像コンテンツが視聴可能な期間中は広告効果を発揮し続けるため, 今後も更なる市場価値向上が見込まれている [3].

PPL を映画やドラマの作品に挿入する際には, 担当者が脚本を人力で解析して, PPLを打診する必要 がある.この脚本の人力による解析においては, PPL を可能なアイテムの抽出だけではなく, そのアイテ ムがどれだけ注目されるかを担当者の経験値をもと に評価し, PPL の打診を行う.このプロセスでは, 担当者が脚本を受け取ってから, 広告主に打診するま でに数ヶ月かかることがある.

本研究では, 上記の課題を昨今の大規模言語モデ ルを用いることで解決可能であるかを検証する. 具体的には, 事前学習済みの GPT-2 [4] によって計算さ れるエントロピーの情報を活用することで，脚本中 において顕在性が高く，注目が集まりやすい箇所を 評価する指標を複数提案し，また，GPT-3 [5, 6] が持 つゼロショット学習能力を活用することで PPLを 挿入可能な箇所の抽出を行った. 実在の映画脚本を 用いた実験により，我々の提案手法を定性的に評価 し，有効性を示す結果が得られた。

## 2 提案手法

本研究では GPT-2 [4] 及び GPT-3 [5, 6] を活用する ことで脚本中の顕在性・重要性の高い箇所及び PPL 挿入が可能な箇所の抽出を行う。

## 2.1 GPT-2 を用いた顕在性評価

まず，GPT-2を用いた手法に関して説明する.こ こでは GPT-2 によって計算されるサブワードの出現確率の情報を活用した 2 つの手法を提案する.

## 2.1.1 サブワードの出現確率に基づくエントロピー本手法では事前学習済みの GPT-2を用いること で，脚本中の部分サブワード列に関してサブワード あたりの平均エントロピーを計算する。そして，エ ントロピーが高いサブワード列を脚本中において顕在性が高い箇所として評価する。これは，エントロ ピーが高くなるようなサブワード列，すなわち脚本中での表現は周りの文脈から予測することが比較的 に難しく，他の部分に比べて顕在性が高いという筆者らの仮説に基づく.

まず，脚本中において $i$ 番目に登場するサブ ワード $w_{i}$ が出現する確率は文脈情報 $c_{i}$ に条件付 けられた確率 $P\left(w_{i} \mid c_{i}\right)$ で表され，この確率は広範 なデータセットによって事前学習された大規模言語モデルである GPT-2 によって計算する. そし て,$N$ 個のサブワードを含む部分サブワード列
$S_{i}=w_{i: i+N}=\left[w_{i}, \cdots, w_{i+N-1}\right]$ に関して，サブワード あたりの平均エントロピー $H\left(S_{i}\right)$ は次式で計算さ れる.

$
H\left(S_{i}\right)=-\frac{1}{N} \sum_{j=0}^{N-1} \log P\left(w_{i+j} \mid c_{i+j}\right)
$

ここで，文脈情報 $c_{i+j}$ はハイパーパラメータ $M$ を 用いて次の通りに定義する。

$
c_{i+j}=w_{i-M: i+j}=\left[w_{i-M}, \cdots, w_{i+j-1}\right]
$

以上の定式化に従って，GPT-2 によって計算される サブワードあたりの平均エントロピー $H\left(S_{i}\right)$ が高い 箇所を, 脚本中において顕在性が高い箇所として評価する。なお，ハイパーパラメータである $N, M$ は 全ての実験において $, N=30, M=100$ に設定した.

## 2.1.2 エントロピーの比率

前節で説明した手法では，特定の表現に関するサ ブワードあたりの平均エントロピー $H\left(S_{i}\right)$ のみを顕在性の評価指標として用いる。これに対して，本手法では，特定の表現に関する顕在性の評価指標とし て，その表現に関するエントロピー $H\left(S_{i}\right)$ とその次 に続く表現のエントロピー $H\left(S_{i+N}\right)$ の比率の情報を 用いる。これは，局面の切り替わりを示す表現にお いては，その表現自身のエントロピーは高くなるこ とが予想されるが，それに続く表現のエントロピー は低くなるという筆者らの仮説に基づく．

$i$ 番目の表現 $S_{i}$ とそれに続く表現 $S_{i+N}$ に関する エントロピー $H\left(S_{i}\right), H\left(S_{i+N}\right)$ の比率を次のように定義する.

$
R\left(S_{i}\right)=\frac{H\left(S_{i}\right)}{H\left(S_{i+N}\right)}
$

この比率 $R\left(S_{i}\right)$ を脚本中での表現 $S_{i}$ に関する顕在性 の評価指標とし, この値が大きいほど顕在性が高い 箇所として評価する。

## 2.2 GPT-3 を用いた PPL 可能箇所の抽出

次に，GPT-3 [5,6] を用いた手法に関して説明す る. GPT-3 は約 1750 億個のパラメータから構成さ れる大規模言語モデルである. GPT-3 は広範かつ膨大なデータセットから学習された結果として高い汎化性能を獲得しており, 文書生成, 翻訳, 要約など の広範な自然言語処理タスクを指示プロンプトによ るゼロショット学習で実現可能なことが知られてい る. そこで, 本研究では GPT-3 のゼロショット学習能力を活用した PPL 挿入可能箇所の抽出手法を $2 \supset$提案する.

## 2.2.1 GPT-3 のゼロショット学習

本手法では，GPT-3 に対して，特定カテゴリの商品が登場する文を抽出することを指示するプロン プトと脚本の一部分を与えることで，脚本中におい て PPL が挿入可能な箇所を抽出する．例えば，飲料の PPL を挿入可能な箇所を検索する場合には， GPT-3 に対して “Select all of the following sentences that contain beverages" というプロンプトと脚本の一部分を入力することで，脚本中において飲料に関す る表現が登場する文の抽出を行う。ただし，前章で 説明した GPT-2を用いた顕在性の評価手法とは異な り，本手法は必ずしも脚本中における表現の顕在性 の高さを考慮することはできない.

## 2.2.2 SimCSE によるテンプレートマッチング

GPT-3 と SimCSE [7] を用いた商品登場箇所の抽出方法を検討する．SimCSE は対照学習を用いた文 ベクトル獲得手法であり，文の等価性を評価する Semantic Textual Similarity タスクにおいて高い性能 を示した. SimCSEでは，同じ文で異なるDropout から得られる 2 つの文ベクトルを正例，異なる 2 文 から得られる 2 つの文べクトルを負例として対照学習を行うものである. 我々は SimCSE を 2 文の類似度を測る手法として用いることで，脚本中において 商品が登場する箇所の抽出を行う.

商品登場箇所の抽出方法は次の 2 段階に分かれ る. (I) 商品登場箇所のテンプレート生成と (II) テン プレートに類似した箇所の探索である。まず (I)で は GPT-3 を用いて，特定カテゴリの商品が登場す るような自然な文（テンプレート）を複数生成す る. 例えば，飲料が登場する文を生成する場合に は, “Generate 50 sentences in which a beverage appears, as it would be in a movie scenario.” のようなプロンプ トを GPT-3 に与えることで, “She nervously sipped her coffee as she waited for her date to arrive." といった テンプレートを複数生成する。そして (II)では，(I) で生成したテンプレートと SimCSE による類似度が 高い箇所をシナリオ中から探索する. これによって 商品が登場すると考えられる箇所をシナリオ中から 抽出できる。また，本手法も前節で説明した GPT-3 によるゼロショット学習と同様に，必ずしも脚本中 における表現の顕在性の高さを考慮することはでき ない。

## 3 実験

前章で説明した各手法による映画脚本の解析を行 う。なお，実応用の場面では，様々なカテゴリの商品が PPL の対象となりうるが，本研究では評価の簡便性のために，対象となる商品カテゴリを飲料に限定する。

## 3.1 実験データ

著名なハリウッド映画の脚本 3 本を $\mathrm{IMSDb}^{1)}$ から 取得し実験に用いた. 脚本の選定にあたっては，ア クション・コメディ・ロマンスの 3 つの異なるジャ ンルから 1 作品づつを選定した．以下が実験に用い た作品の一覧である。括弧は抽出候補となる表現の 総数 (シーン数に比例)を示す.

・アクション：Top Gun (899)

・コメディ : The Hangover (326)

・ロマンス：La La Land (833)

## 3.2 事前学習済みモデル

GPT-2 の事前学習済みモデルには Hugging Face [8] で公開されている gpt2-xlを用いた。また，GPT3 には OpenAI API によってアクセスし, 事前学習済みモデルには text-davinci-003を使用し た.さらに，SimCSE の事前学習済みモデルには sup-simcse-roberta-large を使用した.

## 3.3 評価方法

各提案手法において脚本から重要箇所または PPL 挿入可能箇所として抽出された表現を定性的に評価 する．それらの表現が登場する映画中でのシーンが 映画全体の中でどのように重要な局面か，また，そ のシーンにおいて PPLを挿入することが可能か否か に関して分析を行い，手法間での比較を行った。サ ブワードあたりの平均エントロピー及びその比率を 評価する手法においては，計算された評価指標が上位 10 \%以内の表現を抽出し, 定性評価を行った。

## 4 結果

実験に用いた 3 作品の脚本に関して，4つの提案手法がそれぞれ抽出したシーンの一部を抜粋した ものを表 1，2，3 に示す. 各表において，Entropy， Ratio, GPT-3, SimCSE はそれぞれ 2.1.1 節，2.1.2 節， 2.2.1 節，2.2.2 節で説明した各手法を表しており，

図1 LaLaLandにおけるエントロピーの推移 Entropy 及び Ratio の列に記載した括弧付き数字は各手法において抽出された表現の総数を表している.

また，La La Land の脚本におけるサブワードあた りの平均エントロピーの推移を図 1 に示す. なお， グラフ中でネが付されている部分は，表 3 に記載し た各シーンに含まれる表現が脚本中において出現し た箇所を示している.

## 5 考察

## 5.1 解析手法間の比較

ここでは，実験結果より確認された各解析手法の 特徴に関する考察を述べる。まず，サブワードあた りの平均エントロピーを評価する手法 (Entropy) は 脚本中における多くの重要シーンを抽出することに 成功している。例えば，表 2 の 3 つ目のシーンのよ うに，物語の重要な転換点となるシーンを抽出する ことができている．また，飲料に関する表現を抽出 することを主たる方策とはしていないものの，抽出 されたシーンの中には実際に飲料が登場したり，飲料を登場させることが可能なものが含まれており， PPL 挿入の観点からも妥当な結果が得られているこ とがわかる.

一方で，エントロピーの比率を評価する手法 (Ratio) は多くの場合において適切なシーンを抽出で きないことがわかった. 本手法では，急激なエント ロピー変化を捉えることはできるものの，図 1 及び 表 3 に示した 1 つ目のシーンのように，あるシーン に含まれる表現のエントロピーが継続的に高い，す なわち顕在性が高い状態が続いているシーンに関し ては，隣接する表現間のエントロピーの比率が小さ くなるため，このようなシーンを抽出することはで きない.

次に，GPT-3 のゼロショット学習を用いた手法で は，飲料が登場するシーンを高精度で抽出可能であ ることがわかった。一方で，本手法では表現の顕在性を考慮しないため，物語全体の流れにおいて重要
表 1 Top Gun から抽出されたシーン

 & (1) & $\times$ & $\times$ & 0 \\

表 2 The Hangover から抽出されたシーン

 & $\bigcirc(1)$ & $\times$ & $\bigcirc$ & $\bigcirc$ \\

表 3 La La Land から抽出されたシーン

 & $\bigcirc(5)$ & $\times$ & $\bigcirc$ & $\bigcirc$ \\

 & & & & \\

ではないシーンも抽出される傾向がある. また，飲料が明示的に含まれていない表現であっても, 周囲 の文脈を考慮した上でその表現を飲料に関するもの として抽出可能であることがわかった.

最後に SimCSE を用いたテンプレートマッチング による手法は，GPT-3 による手法に比べて飲料に関 する表現をより網羅的に抽出可能であることがわ かった。すなわち，飲料に関する表現の抽出に関し て，再現率は高いが適合率が低くなる傾向がある。 これは，実験時に設定した表現間の類似度に関する 閾値に依存するため，実応用を考えた場合にはこれ らのハイパーパラメータを慎重に設定する必要が あると考えられる。また，SimCSEが参照するテン プレート表現に関しても，より表現の多様性を大き くするなど，さらなる改善が必要であると考えら れる。

## 5.2 映画ジャンル間の比較

ここでは，映画のジャンルごとに抽出されたシー ンの比較及び考察に関して述べる。まず，Top Gun のようなアクション映画では，戦闘シーンなどの日常生活とは乘離の大きいシーンが脚本中に多く含ま れているため, 他ジャンルの映画に比べて PPLを挿入可能なシーンが相対的に少ない. そのため, 顕在性に基づいて抽出されたシーンの中で PPL が挿入可能なものは限られていた。

一方で, The Hangover のようなコメディ映画及び La La Land のようなロマンス映画では日常的描写 が脚本中に多く含まれているため，比較的多くの PPL 挿入可能箇所が抽出可能である．ただし，The Hangover の場合には，表 2 の 2つ目のシーンのよう に，実際の商品露出による広告効果の観点から，商品にネガティブな印象を与えかねないシーンが抽出 されてしまう．このため，実応用を考えた場合には シーンの顕在性評価と感情分析を組み合わせた形で 用いることが望ましいと考えられる。

## 6 おわりに

本研究では PPL の自動化という目的に対して，大規模言語モデルを用いて映像作品の脚本から顕在性 の高い箇所及び商品が登場する箇所を抽出する手法 を複数提案し，実験及び評価を行った。実験結果よ り，提案手法は映画脚本から重要シーン及び PPL 挿入可能シーンを抽出可能であることが示された.

本研究で提案した各手法にはそれぞれの長所及び 短所が存在することから，実応用に向けて，これら の手法を統合することでさらなる改善を行っていく ことが今後の課題として挙げられる.

## 謝辞

本研究は, 2022 年度 NEDO Technology Commercialization Program の支援を受けたものである.

## 参考文献

[1] Cristel Antonia Russell. Expanding the agenda of research on product placement: A commercial intertext. Journal of Advertising, Vol. 48, No. 1, pp. 38-48, 2019.

[2] Hanna Górska-Warsewicz and Olena Kulykovets. Product placement as an effective tool for the brand positioning. Brand Management: Advancing Insights on, Vol. 21, 2017.

[3] A Kjaernested and TM Nielsen. Product placement in tv shows-assessing product placement effectiveness and the influence on brand equity. MSc Marketing communications Management MSc International Marketing and Management. Department of Marketing, CBS, 2012.

[4] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8 , p. 9, 2019.

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 18771901, 2020.

[6] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155, 2022.

[7] Tianyu Gao, Xingcheng Yao, and Danqi Chen. Simcse: Simple contrastive learning of sentence embeddings. arXiv preprint arXiv:2104.08821, 2021.

[8] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.


# 実世界における総合的参照解析を目的とした マルチモーダル対話データセットの構築

植田 暢大 ${ }^{1,2}$ 波部 英子 2 湯口 彰重 ${ }^{2,3}$ 河野 誠也 2 川西 康友 2,3 黒橋 禎夫 ${ }^{1,2}$ 吉野 幸一郎 2,3

1 京都大学 大学院情報学研究科 2 理化学研究所 ガーディアンロボットプロジェクト

3 奈良先端科学技術大学院大学 情報科学領域

\{ueda,kuro\}@nlp.ist.i.kyoto-u.ac.jp

\{hideko.habe, akishige.yuguchi, seiya.kawano\}@riken.jp

\{yasutomo.kawanishi,koichiro.yoshino\}@riken.jp
## 概要

実世界で話者同士が視覚情報を共有しながら行う 対話では，物体に対する参照表現が多く出現する。 このような表現の参照先の解決のため, 本研究では マルチモーダル参照解析タスクを提案し，本タスク のためのマルチモーダル対話データセットを構築す る. 本データセットは実世界における対話動画およ び音声を基にしており，対話テキスト中のフレーズ と一人称視点動画におけるフレーム内の物体領域が 紐付けられている.この紐付けには同一のものを指 す関係だけでなく，述語と項の関係や橋渡し照応関係も含まれる。

## 1 はじめに

実世界で人間と対話を通して協働するロボットの 実現には，視覚的文脈を含めた人間の発話理解が不可欠である。例えば「そのコップを取って」という 発話を例にとると，「コップ」のテキスト上の意味 を理解するだけでは不十分であり，実世界において 参照しているコップの実体を知ることが必須とな る.このように，発話中の表現と参照関係を持って いる実世界における物体を特定することは発話理解 の基礎となる。

発話中の表現と視覚情報を紐付けた対話データ セットとして SIMMC 2.0 [1] がある. SIMMC 2.0 は 1,566 枚の CG 画像と 11,244 の対話テキストに対し てテキスト中の名詞句と参照先の画像中の物体を囲 む矩形が紐付けられたデータセットである。規模は 大きいものの, SIMMC 2.0 は話者の写っていない静止画に基づいており, 物体の移動や操作が視覚的に 提示されていない。また，SIMMC 2.0 の参照関係は

図 1 マルチモーダル対話データセットの例. 物体領域 (橙色矩形)，テキスト間照応関係（桃色吹き出し），テキ スト・物体間参照関係（破線）が付与されている. 物体領域にはクラス名とインスタンス ID が付与されている.

テキストとして表出している名詞句にのみ付与され ている。一方，日本語ではゼロ照応とよばれる参照元の表現が省略される現象が頻出する．例えば「そ のコップを持ってきて」という発話では，持ってく る目的地にあたる二格の項が省略されている。この ような省略された表現を SIMMC 2.0 は対象として いない.

本研究では，実世界での物体操作を伴う対話にお いてゼロ照応も総合的に扱うマルチモーダル参照解析を提案し，そのためのデータセットを構築する. データセット構築のため, まずクラウドソーシング で対話シナリオを収集する，続いて，収集したシナ リオに沿って実世界で対話音声と対話動画を収録

する. 最後に，対話音声の書き起こしと対話動画の フレームに参照関係を付与する。具体的には図 1 の 「スポーツドリンク」のように，対話テキスト中の 名詞句に対して参照している物体を囲む矩形（物体矩形）を紐付ける. 加えて本研究ではゼロ照応も扱 うため，テキスト中に言及がない場合でもテキスト 中の述語からそのガ格やヲ格に対応する物体を紐付 ける.

データセットの評価のため，既存手法 [2] を用い て名詞句のグラウンディングタスクを解いた. 結果, 物体検出の再現率は 0.18 程度であり, 本デー タセットが非常に挑戦的であることが示された. 現在，収録済みデータは 24 対話，フルアノテーショ ン済みデータは 7 対話にとどまるが，今後さらに拡張させる予定である.

## 2 マルチモーダル参照解析

本研究では，実世界での対話的協働を想定したマ ルチモーダル参照解析タスクを提案する. 本タスク では，動画あるいは画像と，対応するテキストが入力として与えられる．そのとき，テキスト中の名詞 や述語における参照関係を，参照先として動画や画像中の物体も含めて解析する。本タスクは，テキス 卜間照応解析，物体検出，テキスト・物体間参照解析の 3 つのサブタスクから構成される.

テキスト間照応解析は，テキスト中の単語や句の 間に存在する照応・共参照関係を解析するタスクで ある. 本研究では先行研究 $[3,4]$ にならい, 述語項構造, 共参照, 橋渡し照応関係を解析する. 述語項構造は述語を中心とし，その述語の「誰が」や「何 を」に相当する項からなる関係である. 図 1 では 「飲む」と「置い」について述語項構造が示されてい る. 共参照関係は実世界において同一の実体を指し 示す名詞間の関係である. 橋渡し照応関係はある名詞（照応詞）と，その必須的な意味を補完する異な る名詞（先行詞）との関係である.

物体検出は，画像中から参照されている物体が存在する領域を特定するタスクである。図 1 において は画像中の物体矩形を推定することに対応する．入力が動画の場合は動画中のそれぞれのフレームに対 して同様の処理を行う.

テキスト・物体間参照解析は, テキスト間照応解析 における照応・共参照の対象を物体検出によって特定された物体領域から選択するタスクである. 図 1 においては単語と物体矩形を結ぶエッジを推定する
ことに対応する．表現が直接参照している対象を画像中から検出するタスクは phrase grounding [2, 5] や referring expression comprehension [6] として知られる が，本研究では述語項構造や橋渡し照応など，ゼロ 照応を含む間接的な関係も扱う。

## 3 マルチモーダル対話データセット

本研究では，マルチモーダル参照解析のためのマ ルチモーダル対話データセットを構築する．本デー タセットは，実世界における 2 者の対話シーンにお いて動画，音声を収録し，音声書き起こし，照応・参照関係アノテーションを付与したデータセットで ある. 対話内容は，人間とお手伝いロボットの対話 を想定する．対話場面は，家庭内のリビングとダイ ニングを模した 2 種類である. 本節ではマルチモー ダル対話データセットの構築方法について順に述 べる.

## 3.1 対話シナリオ収集

多様かつ現実的な対話シナリオを得るため，クラ ウドソーシングを利用してシナリオを収集した. ク ラウドソーシングタスクではワーカーに対話収録に 使用する部屋の状況と使用可能な物体の写真を提示 した.その上で，人間とロボットの発話およびその 際の動作や場面状況を記述してもらった. 発話数は 長すぎず，かつ対話が十分な文脈を持つよう 10-16 発話に制限した. 収集したシナリオを実行可能性,十分な頻度の参照表現，十分な粒度の場面状況説明，の 3 つの観点からフィルタリングし，残ったシ ナリオを自然な対話になるよう修正した. 付録 Aに 修正後のシナリオの例を示す.

## 3.2 対話収録

収集したシナリオに基づいて実際に対話を行い， データを収録した.シナリオは人対ロボットを想定 しているが，今回はロボット役も人間の演者に依頼 した．演者にはできる限りシナリオを暗記してもら い，対話中の振る舞いが自然になるようにした。な お，データセットにおいては実際に行われた発話に 対応するよう，アノテーションの際にシナリオを元 に台詞を修正する。

収録はリビングとダイニングを模した設備が備え 付けられた実験室で行った. 2 人の演者にはそれぞ れピンマイクを付けてもらい，発話を録音した。口 ボット役の演者には頭部にカメラを付けてもらい，
対話中の 1 人称視点動画を撮影した.さらに，実験室に定点カメラを 4 箇所設置し，部屋全体の様子を 撮影した。

## 3.3 アノテーション

収録した対話音声と動画に対してマルチモーダル 参照解析のためのアノテーションを行った. まず対話音声はテキストに書き起こし, 1 人称視点動画は 1 秒ごとにフレームを抽出し画像系列に変換した。以下では，テキスト間照応解析，物体検出，テキス ト・物体間参照解析に対応するアノテーションをそ れぞれテキスト間照応アノテーション，物体領域ア ノテーション,テキスト・物体間参照アノテーショ ンとよぶ.

テキスト間照応アノテーション 書き起こされた 対話テキストに対して述語項構造・共参照・橋渡し 照応関係を付与した. これらはテキストの結束性を 構成するエンティティ間の重要な関係である [4]. アノテーションの基準は京都大学ウェブ文書リード コーパス $[7,8]$ に準拠した.

物体領域アノテーション 動画から抽出された全 フレームについて，物体に物体矩形を付与した。ま た，それぞれの物体矩形に対して物体のクラス名 およびインスタンス IDを付与した. クラス名は物体認識タスクにおいて広く利用される LVIS データ セット [9] に定義されている 1,203 のクラスを使用 した. アノテーションコストを減らすため, 付与対象の物体はゼロ照応も含め対話中で参照された物体 に限定した. また, 一般物体認識器 Detic [10] の学習済みモデル ${ }^{1)}$ と複数物体追跡器 SORT [11] を使用 してシルバーアノテーションを事前付与し, 手作業 で修正した。

テキスト・物体間参照アノテーション テキスト 中の (1) 名詞句および (2) 述語と, 画像中の物体矩形 のすべての組み合わせについて参照関係を付与し た. (1) 名詞句については, 直接参照している物体 および橋渡し照応関係にある物体に矩形を付与し た. (2) 述語についてはその項に対応する物体矩形 を格ごとに付与した。

テキスト・物体間参照アノテーションは付与対象の関係が非常に多くなる。しかし，付与済みの テキスト間照応・共参照関係とインスタンス IDを 利用することで大部分のアノテーションを省くこ

表 1 言語アノテーションの統計情報（24 対話）.

表 2 画像アノテーションの統計情報（12 対話）.

表 3 物体矩形と名詞句・述語の関係数の統計（7 対話）. $\Gamma=」$ は直接の参照関係を表す.

とができる。例えば，ある動画フレーム中の「コッ プ」に対して参照関係を付与した場合を考える.こ のとき，別フレームに同じインスタンス IDを持つ 「コップ」が出現したとしても自動的に参照関係を 付与できる.

実世界対話における特有の現象として「ここ」や 「あそこ」など，場所を指す指示代名詞の使用が挙げ られる．指し示された場所の特定は，人間との協働 において不可欠である. 本研究では，このような名詞を領域参照表現とよび，テキスト・物体間参照ア ノテーションにおいて対応する領域を付与する.こ の領域は物体領域とは異なり矩形が一意に定まらな いため，その位置・大きさはアノテータの主観に依存する。そのため，特殊なクラス名である「region」 を付与し，特殊な物体矩形として扱い，他の物体矩形とは区別する.

表 $1,2,3$ にそれぞれアノテーション済みの対話に おける統計情報を示す. テキスト・画像の両モダリ ティにおいて十分な参照関係が存在することが分 かる. 付録 A にデータセットに含まれる対話数を 示す.

## 4 実験

物体検出とテキスト・物体間参照解析は phrase grounding をサブタスクとして含む. 本節では既存 の phrase grounding モデルを使用した本タスクの難 しさを評価する実験について述べる. 述語項構造や 橋渡し照応に対応する間接的な関係はモデルの性質上扱わない。

## 4.1 タスク設定

phrase grounding は，テキストと画像が与えられた ときテキスト中のフレーズに対応する画像中の物体矩形を推定するタスクである $[2,5]$. マルチモーダ ル対話データセットは画像ではなく動画を元にした 画像系列から構成される. すなわち，1 フレーズに ついてグラウンディング対象の画像が複数存在す る. 本実験では，簡単のためフレーズが含まれる発話区間内の画像に限定する。

## 4.2 実験設定

phrase grounding モデルとして MDETR [2]を使用 した. MDETR は Transformer アーキテクチャ [12] をべースとした, 物体検出と phrase grounding を end-to-end で行うモデルである. MDETR は学習済 みモデル ${ }^{2}$ が公開されているが，英語テキストで学習されたモデルであるため直接利用できない．そこ で我々は，Flickr30k Entities JP データセット [13]を 使用してこのモデルを fine-tuning した. このデータ セットは phrase grounding において標準的に使用さ れる Flickr30k Entities データセット [14]を日本語に 翻訳したものである. なお，マルチモーダル対話 データセットは規模が小さいため fine-tuning には使用しなかった.

評価指標は Recall@ $k$ を使用した．MDETR は，そ れぞれのフレーズについて複数の物体矩形とその予測確率を出力する. Recall@ $k$ は正解の物体矩形の うち, 出力された予測確率上位 $k$ 件の物体矩形に含 まれるものの割合である. ここで, 先行研究 [2] に ならい予測された物体矩形が正解の物体矩形と 0.5 以上の Intersection-over-Union (IoU) を持つ場合に両者が一致すると判断した.

表 4 phrase grounding モデルの精度.

図 2 「こちらに捨てておきますね。」という発話に対す る phrase grounding モデルの解析例. 黄色の物体矩形が正解データを表し，それ以外はシステムの出力である. シ ステム出力にはシステムの予測確率が記載されている.

## 4.3 実験結果

実験結果を表 4 に示す. Flickr30k Entities JP で評価した場合に比べ，マルチモーダル対話データセッ トにおけるRecall@ $k$ のスコアは大幅に低い.この ことから，既存手法では本タスクを解くことが難し いことが分かる.

図 2 にマルチモーダル対話データセットにおける 解析例を示す.「コップ」や「ペットボトル」など具体的な物体名については正しく解析できた事例が多 かったが，図に示した「こちら」等の曖昧な表現に ついては正しい事例が少なかった。これは Flickr30k Entities データセットに出現する物体名の多くが具体的であるためと考えられる。

## 5 おわりに

本研究では，実世界において人間と対話しつつ協働するロボットの実現を目指し，テキスト・画像の マルチモーダル参照解析タスクを提案した. さら に，本タスクを解くためのマルチモーダル対話デー タセットを構築した. 本データセットは実世界にお ける実際の対話を基に作成されており，より実用的 な発話理解システムの実現に役立つと期待される.今後は，データセットの拡張と並行して，本タスク のための解析モデルに取り組む.

## 謝辞

本研究は，京都大学科学技術イノベーション創出 フェローシップ事業の助成を受けたものである．本研究の一部は JSPS 科研費 22 H03654 の支援を受けた ものである.

## 参考文献

[1] Satwik Kottur, Seungwhan Moon, Alborz Geramifard, and Babak Damavandi. SIMMC 2.0: A task-oriented dialog dataset for immersive multimodal conversations. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4903-4912, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel Synnaeve, Ishan Misra, and Nicolas Carion. Mdetrmodulated detection for end-to-end multi-modal understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 17801790, 2021.

[3] Masato Umakoshi, Yugo Murawaki, and Sadao Kurohashi. Japanese zero anaphora resolution can benefit from parallel texts through neural transfer learning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1920-1934, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[4] Nobuhiro Ueda, Daisuke Kawahara, and Sadao Kurohashi. BERT-based cohesion analysis of Japanese texts. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1323-1333, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5] Tanmay Gupta, Arash Vahdat, Gal Chechik, Xiaodong Yang, Jan Kautz, and Derek Hoiem. Contrastive learning for weakly supervised phrase grounding. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, pp. 752-768, Cham, 2020. Springer International Publishing.

[6] Yanyuan Qiao, Chaorui Deng, and Qi Wu. Referring expression comprehension: A survey of methods and datasets. IEEE Transactions on Multimedia, Vol. 23, pp. 4426-4440, 2020.

[7] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き 始めに対する意味関係タグ付きコーパスの構築と その分析. 自然言語処理, Vol. 21, No. 2, pp. 213-248, 2014.4.

[8] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26th Pacific Asia Conference on Language, Information and Computation (PACLIC), pp. 535-544, 2012.

[9] Agrim Gupta, Piotr Dollar, and Ross Girshick. LVIS: A dataset for large vocabulary instance segmentation. In Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition, 2019.

[10] Xingyi Zhou, Rohit Girdhar, Armand Joulin, Philipp Krähenbühl, and Ishan Misra. Detecting twenty-thousand classes using image-level supervision. In Shai Avidan, Gabriel Brostow, Moustapha Cissé, Giovanni Maria Farinella, and Tal Hassner, editors, Computer Vision ECCV 2022, pp. 350-368, Cham, 2022. Springer Nature Switzerland.

[11] Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos, and Ben Upcroft. Simple online and realtime tracking. In 2016 IEEE International Conference on Image Processing (ICIP), pp. 3464-3468, 2016.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS2017, pp. 5998-6008. 2017.

[13] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4204-4210, Marseille, France, May 2020. European Language Resources Association.

[14] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-tophrase correspondences for richer image-to-sentence models. IJCV, Vol. 123, No. 1, pp. 74-93, 2017.

## 付録

表 5 収集したシナリオの例. 括弧内は場面状況であり台詞としては使用しない.

 &  \\

表 6 データセットに含まれる対話数.

## A データセットの詳細

表 5 に収集した対話シナリオの例を示す。括弧内のテキストは場面状況を表す。括弧外の発話には「あそ こ」や「それ」などの参照表現が含まれ，視覚情報も含めなければ理解が困難な対話になっている.

表 6 に現在のデータセットに含まれる対話数を示す. 将来的にはシナリオ数も含め，さらに拡張する予定 である.


# 実世界のマルチモーダル情報に基づく 指示語を含んだ言語指示の外部照応解析

大山瑛 ${ }^{1}$ 長谷川翔一 ${ }^{1}$ 中川光 ${ }^{1}$ 谷口彰 ${ }^{1}$ 萩原良信 $^{1}$ 谷口忠大 ${ }^{1}$
1 立命館大学
}

\{oyama.akira, hasegawa.shoichi, nakagawa.hikaru\}@em.ci.ritsumei.ac.jp

\{a.taniguchi,yhagiwara, taniguchi\}@em.ci.ritsumei.ac.jp
## 概要

ロボットが家庭環境で生活支援を提供するには，指示語を含む曖昧な言語指示から対象を特定する外部照応解析が重要になる。内部照応解析と異なり外部照応解析はテキスト外の情報を求めるため実世界 の情報を総合的に用いて曖昧性を解消することが 重要になる. 本研究では, 実世界のマルチモーダル 情報を用いた外部照応により，指示語を含む言語指示における曖昧性の解消を目指す. 具体的には，物体カテゴリ，指示語，指差しの 3 つの情報とロボッ トが事前に環境を探索して得た物体知識を用いて 外部照応を行う．家庭環境を模したフィールドにお いて，ユーザが指示した物体を特定するタスクを実施し, 複数の条件において物体特定の精度を評価し た.この結果, 提案手法は複数のモダリティ情報を 用いた外部照応により, ベースライン手法よりも高 い精度で物体が特定できる事が明らかになった。

## 1 はじめに

「あれ取って」などのユーザの曖昧な言語指示を 現場環境の情報に基づいて理解し，具体的なタスク を達成する事は, 生活支援ロボットにおいて重要な 課題である [1]. 従来，自然言語処理の分野におい て照応解析の研究が実施されているが，その多くは 言語情報のみを文脈として扱っている [2-4]. 照応解析とは代名詞や指示語のような照応詞の指示対象 を推定することであり，内部照応と外部照応の 2 種類がある. 内部照応は文章中の照応詞の前後の文章 からその照応詞にあたる語を予測することである.一方，外部照応はその場の環境のものから照応詞に 対応するものを予測することである．答えや手掛か りが文章中にある問題の場合は内部照応により解決できるが，「あれ取って」などの指示語を含んだ

図1 本研究の概要図. ユーザからの曖昧な言語指示と環境内を事前に探索して得た情報からユーザが指示した物体を特定する．緑色の円はユーザが指示した物体が存在 する確率が高い領域を表す。この場合は赤い四角で囲ま れたコーヒーを指示物体として特定した。

言語指示を理解するには，言語以外の情報を参照す る外部照応を解く必要がある [5]. また，指示語を 含んだ言語指示では，指差しなどのジェスチャーも 重要な情報となり, ジェスチャー情報に基づいて対象を推定する研究が報告されている [6-9]. Chen ら は，画像と言語の大規模データセットから対象を特定する深層学習モデルを提案したが，画像内にユー ザと対象物体が含まれる制約がある [9]. Hu らは，物体と言語，指差し情報から空間における対象の位置を推定する手法を提案したが，指示語の情報は推定に用いられていない [7].

本研究では，実世界のマルチモーダル情報を外的 な文脈として用いて，指示語を含んだ言語指示の外部照応解析の実現を目指す. 具体的には，物体カテ ゴリ，指示語，指差しの 3 つの情報を用いた外部照応解析により，指示語の指示対象における曖昧性を 解消する手法を提案する. 図 1 に本研究の概要図を 示す.ここで，物体カテゴリ情報は言語情報内の物

図 2 提案手法の概要図. 矢印の色はロボットのセンサ情報の流れを表す。青色矢印はロボットが家庭環境の事前探索 により収集した情報，赤色矢印は言語情報，緑色矢印は視覚情報である。 $\boldsymbol{O}$ は物体の 3 次元位置， $\boldsymbol{P}_{\boldsymbol{O}}$ は各物体の信頼度 スコア, $\boldsymbol{e}$ はユーザの目の 3 次元位置, $\boldsymbol{w}$ はユーザの手首の 3 次元位置, $\boldsymbol{P}_{\mathbf{1}}, \boldsymbol{P}_{2}, \boldsymbol{P}_{\mathbf{3}}$ は各推定器から出力される確率であ る。ロボットは環境で事前に観測した情報と指示語情報，物体カテゴリ情報，指差し情報を用いて 3 種類の推定器から それぞれ確率を得て，それらを乗算することで目標物体を推定する.

表 1 指示語領域の予測に用いられる変数の定義

体カテゴリを表す語，指示語情報は言語情報内の指示語を表す語とする。例えば，図 1 のように“あの ペットボトル取って”という発話がされた時，“ペッ トボトル”が物体カテゴリ情報，“あの”が指示語情報に該当する．また，指差し情報はユーザが指をさ している画像とする．実験では，指示語を含む言語命令から目標物体を特定するタスクを複数の条件で 実施し，物体特定の精度をべースライン手法 [7,9] と比較し，提案手法の特性と課題を明らかにする。

## 2 提案手法

本研究では指示語情報，物体カテゴリ情報，指差 し情報の 3 種類の外部照応情報からユーザがロボッ トに指示した物体を特定する手法を提案する。提案手法の概要図を図 2 に示す. 提案手法ではロボット の事前探索で収集した情報と外部照応情報を 3 種類 の推定器に入力する. 各推定器は, 全ての候補物体 についてその物体が指示対象である確率を推定す る. ここで各推定器が出力した候補物体毎の確率を 対象確率と呼ぶこととする.

図 3 ガウス分布による指示語領域の表現の例. Hの白丸 はユーザ，R の黒丸はロボットであり，矢印はそれぞれの 向きを表す．赤い領域がコ系列，青い領域がソ系列，緑色の領域がア系列の指示語領域を表す.

## 2.1 指示語領域に基づく確率推定器

指示語領域に基づく確率推定器は指示語情報，ロ ボットが事前に環境内を探索して得た 2 次元占有格子地図と候補物体の 3 次元位置, 指差し情報から得 たユーザの体の部位の 3 次元位置の 4 つの情報を入力として対象確率を出力する. 対象確率を出力する ために，図 3 のように指示語の系列毎にユーザが指示した物体が存在する可能性の高い領域を 2 次元占有格子地図上で予測する。ここで，物体が存在する 可能性の高い領域を指示語領域と呼ぶ。また，候補物体の 3 次元位置とユーザの体の部位の 3 次元位置 は地図の座標系における位置情報である。
各指示語系列にはそれぞれ異なる性質があり，コ 系列は話し手から近い物体や人を参照する場合，ソ 系列は聞き手から近い物体や人を参照する場合，ア 系列は話し手からも聞き手からも遠い物体や人を参照する場合にそれぞれ用いられる. 本研究では各系列の性質を用いて 3 次元ガウス分布によって指示語領域を生成する. 指示語領域を生成する際にユーザ やロボットの位置，指差しの方向なども考慮する必要がある. 指差し情報からユーザの体の座標を予測 する方法については 2.3 節で述べる. 指示語領域に 基づく確率推定器は指示語領域を生成する 3 次元ガ ウス分布に各候補物体の 3 次元位置情報を入力し,得られた確率を対象確率として出力する. 指示語領域の予測に必要な変数を表 1 に示す. 各系列の指示語領域を形成する 3 次元ガウス分布の平均と分散共分散行列の定義を図 3 の下の表に示す. 各パラメー タの設計指針は以下である。（詳細は付録 $\mathrm{A}$ 参照）

・コ系列の平均：ユーザに近い手首の座標

・ソ系列の平均：ロボットに近いユーザとロボッ トの内分点の座標

・ア系列の平均：ユーザから遠い指差しベクトル の延長線上の座標

・各系列の分散：ユーザまたはロボットの位置と 指示語領域の平均の座標との距離に比例する値 また，ユーザの手首や目の位置情報を得ることがで きなかった場合は，両肩の中央の座標などの代わり となる位置情報を推定器に与える。

## 2.2 物体カテゴリに基づく確率推定器

物体カテゴリに基づく確率推定器は，物体カテゴ リ情報とロボットが事前に探索して得た候補物体 のカテゴリ確率を入力とし, 対象確率を出力する.対象確率を予測するために Objects365 [10] で事前学習済みの You Only Look Once version 5 (YOLOv5) [11] を物体検出器として用いる. YOLOv5を用いて事前 に候補物体全てを検出し, 各候補物体が属する物体 カテゴリの信頼度スコアを計算する．各候補物体の 物体カテゴリ情報に対応する信頼度スコアを正規化 したものを対象確率とする。

## 2.3 指差し方向に基づく確率推定器

指差し方向に基づく確率推定器は，指差し情報か ら骨格検出をすることで得たユーザの体の部位の 3 次元位置とロボットが事前に環境内を探索して得た候補物体の 3 次元位置を入力とし, 対象確率を出力 する。骨格検出には MediaPipe [12] を用いる. 対象確率を予測するために，ユーザの目を始点とし，手首を終点とする指差しべクトルとユーザの目から各候補物体へのベクトルの 2 種類のベクトルを使用 し，内積の定義式から 2 つのベクトルのなす角 $\theta$ を 得る.ここで得た $\theta$ を用いて，確率変数に角度を用 いる 2 次元フォンミーゼス分布から確率を得る. 指差し方向に基づく確率推定器はフォンミーゼス分布 によって得た確率を対象確率として出力する.

## 3 実験

実験では物体カテゴリ情報，指示語情報，指差し 情報の 3 種類の外部照応情報を用いて，ユーザが指示した物体をどの程度の精度で特定することができ るか検証した．また外部照応情報の内，どの情報が どの程度外部照応に寄与するかを検証した。

## 3.1 実験条件

実験は家庭環境を模した実環境で行った. 本実験 の環境の家具配置，物体配置，指差しを行う際の人 とロボットの位置を予め設定し，実験を行った．実験環境の詳細な図は付録 B に記述した。また，口 ボットには Human Support Robot (HSR) [13] を用い た、ロボットはユーザからの言語による指示を正確 に認識でき，指示文から物体カテゴリ情報と指示語情報を正確に抽出することができると仮定する。

実験では 4 カテゴリの物体を使用し, “Bottle”, "Book", "Stuffed Toy", “Cup”を 1 カテゴリ 5 物体，計 20 物体をユーザが指示する物体とした。これらの カテゴリは Objects365 [10] に基づいて，筆者が一般的な家庭環境にあると考えられる物体を選択した。

## 3.2 検証方法

実験では 2 種類の検証を行い，提案手法の有効性 を確認した，1つ目は，ベースライン手法と提案手法を比較した. 実験データには，外部照応情報が全 て含まれた場合， 3 種類の情報の内いずれかの情報 が欠けた場合，指差し情報を誤って得た場合の 5 種類を用いた．外部照応情報が全て含まれた場合は 図 4 において各地点で 4 データ, 計 40 データ用意 し，物体カテゴリ情報が欠けた場合と指示語情報が 久けた場合は 40 データからそれぞれの情報を削除 したものを用いた．また，指差し情報が欠けた場合 と指差し情報を誤って得た場合は新たに 10 データ

ベースライン手法と提案手法における指示物体の特定精度の比較.（）内は分数表示. 太字は条件での最大值.

表 3 提案手法におけるアブレーションスタディの実験結果. チェックマークは確率推定器有りを示す.

ずつ用意した. 指差し情報を誤って得た場合はユー ザの体をユーザ自身が隠してしまう自己オクルー ジョンが発生した際などで得られる. 2 つ目は，提案手法の中でどの情報が外部照応にどの程度寄与す るかを検証するために，アブレーションスタディを 行った. 3 種類の推定器の内， 1 種類の推定器を削除した場合の 3 パターン，全ての推定器を用いたパ ターンの計 4 パターンを比較した.

実験ではベースライン手法を 2 種類設定した. 1 つ目は $\mathrm{Hu}$ らの研究 [7] を参考に，ユーザの指差しと 物体カテゴリ情報を用いた手法を設定した. 基本的 には，Huらの手法における目標領域を推測する手順と同じである．異なる点は，言語情報内に物体力 テゴリ情報がない時は対象とする全ての物体で候補集合を作る点と，ユーザの指差しを観測できなかっ た場合は候補集合の中から目標物体をランダムに選択する点である. 2 つ目は Chen らの研究 [9] のモデ ルを用いた。このモデルにユーザが指差しを行って いる画像, 指示語情報と物体カテゴリ情報を含んだ 文を大力し, 得られた矩形領域から目標物体の予測 が成功しているかを判断した。

評価指標は，ユーザが指示した物体をロボッ トが正しく特定できたかの精度である. 精度は $\frac{1}{N} \sum_{i=1}^{N} S_{i}$ で計算される. $N$ は試行回数, $S_{i}$ は $i$ 番目 の試行が成功すれば 1 ，失敗すれば 0 が入力される.

## 4 実験結果

表 2 にベースライン手法と提案手法の比較を 示す.まず Voice-Guided Pointing Robot Navigation for
Humans (VGPN) [7] に基づくベースライン手法と提案手法を比較した. 外部照応情報が全て含まれた場合は同じ場所に同じカテゴリの物体が 2 つ以上ない ため, 両手法とも精度が 1.00 となったが，物体カテ ゴリ情報が欠損した場合と指差し情報が欠損した場合に精度に約 2 3 倍の差が見られた。また，指示語を考慮する提案手法において指示語情報が欠損し た場合でも 0.85 という結果を示した.これらの結果より, 提案手法は 3 種類の外部照応情報の内 1 つ が欠損した場合でも互いに補い，目標物体を予測で きたと推察される。次に，YouRefIt [9] で用いられた フレームワークと提案手法を比較した. YouRefIt で 用いられたフレームワークは画像内に目標物体がな ければ正しく予測ができないため全体的に精度が低 くなり，提案手法が上回る結果となった。

次に表 3 にアブレーションスタディの結果を示 す. 物体カテゴリに基づく確率推定器を除いた場合，同じ場所に物体が複数配置される条件下では目標物体の特定は困難と考えられるが，0.53という精度を示した. この結果から, 残り 2 つの確率推定器 により目標物体の候補を絞り込めたと考えられる。 また，指差し方向に基づく確率推定器を除いた時は 精度が 1.00 となった. これは指示語領域に基づく確率推定器が指差し方向を考慮し, 目標物体が配置さ れた領域を推定できたと考えられる．指差し方向に 基づく確率推定器は同じ場所に同カテゴリの物体が 2 つ以上ある場合などに有効であると考えられる。

## 5 まとめ

本稿ではマルチモーダル情報を外的な文脈として 用いて外部照応解析を行うためのモデルを提案し た. 物体カテゴリ情報, 指示語情報, 指差し情報を 用い，外部照応を行うことで外部照応にこれらの情報が有効であることを示した.

今後の展望として，指示語領域を形成する 3 次元 ガウス分布のデータからのパラメータ推定や，自然 な文からの指示語や物体カテゴリに対応する語の認識に取り組む予定である。

## 謝辞

本研究は【Moonshot R\&D - MILLENNIA Program】課題番号 JPMJMS2011，JSPS 科研費 JP22K12212 の 助成を受けたものです.

## 参考文献

[1] Tadahiro Taniguchi, Daichi Mochihashi, Takayuki Nagai, Satoru Uchida, Naoya Inoue, Ichiro Kobayashi, Tomoaki Nakamura, Yoshinobu Hagiwara, Naoto Iwahashi, and Tetsunari Inamura. Survey on frontiers of language and robotics. Advanced Robotics, Vol. 33, No. 15-16, pp. 700-730, 2019.

[2] 村田真樹, 黒橋禎夫, 長尾真. 表層表現を手がかりと した日本語名詞句の指示性と数の推定. 自然言語処理, Vol. 3, No. 4, pp. 31-48, 1996.

[3] 関和広, 藤井敦, 石川徹也. 確率モデルを用いた日本語ゼロ代名詞の照応解析. 自然言語処理, Vol. 9, No. 3, pp. 63-85, 2002.

[4] 飯田龍, 乾健太郎, 松本裕治. 文脈的手がかりを考慮 した機械学習による日本語ゼロ代名詞の先行詞同定. 情報処理学会論文誌, Vol. 45, No. 3, pp. 906-918, 2004

[5] 杉山治, 神田崇行, 今井倫太, 石黒浩, 萩田紀博, 安西祐一郎. コミュニケーションロボットのための指さ しと指示語を用いた 3 段階注意誘導モデル. 日本ロ ボット学会誌, Vol. 24, No. 8, pp. 964-975, 2006.

[6] Dadhichi Shukla, Ozgur Erkent, and Justus Piater. Probabilistic Detection of Pointing Directions for HumanRobot Interaction. In International Conference on Digital Image Computing: Techniques and Applications (DICTA), pp. 1-8, 2015.

[7] Jun Hu, Zhongyu Jiang, Xionghao Ding, Taijiang Mu, and Peter Hall. VGPN: Voice-Guided Pointing Robot Navigation for Humans. In IEEE International Conference on Robotics and Biomimetics (ROBIO), pp. 1107-1112, 2018 .

[8] Qi Wu, Cheng-Ju Wu, Yixin Zhu, and Jungseock Joo. Communicative Learning with Natural Gestures for Embodied Navigation Agents with Human-in-the-Scene. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 4095-4102, 2021.

[9] Yixin Chen, Qing Li, Deqian Kong, Yik Lun Kei, SongChun Zhu, Tao Gao, Yixin Zhu, and Siyuan Huang. YouRefIt: Embodied Reference Understanding with Language and Gesture. In IEEE/CVF International Conference on Computer Vision (ICCV), pp. 1385-1395, 2021.

[10] Shuai Shao, Zeming Li, Tianyuan Zhang, Chao Peng, Gang Yu, Xiangyu Zhang, Jing Li, and Jian Sun. Objects365: A Large-scale, High-quality Dataset for Object Detection. In IEEE/CVF International Conference on Computer Vision (ICCV), pp. 8430-8439, 2019.

[11] Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali Farhadi. You Only Look Once: Unified, Real-Time Object Detection. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 779-788, 2016.

[12] Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris
McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, et al. Mediapipe: A Framework for Building Perception Pipelines. arXiv preprint arXiv:1906.08172, 2019.

[13] Takashi Yamamoto, Koji Terada, Akiyoshi Ochiai, Fuminori Saito, Yoshiaki Asahara, and Kazuto Murase. Development of Human Support Robot as the research platform of a domestic mobile manipulator. ROBOMECH journal, Vol. 6, No. 1, pp. 1-15, 2019.

A 各指示語系列の領域を形成する ガウス分布の平均と分散の設定 A. 1 コ系列指示語領域のガウス分布の 平均

コ系列の指示語は話し手から近い物体を参照する 際に用いられるので，ユーザの手首の座標をガウス 分布の平均とした. ガウス分布の平均を人の体の中心や足元の座標にせずに手首の座標を平均としたの は，ユーザの指示する方向を考慮するためである。

## A. 2 ソ系列指示語領域のガウス分布の 平均

ソ系列の指示語は聞き手から近い物体を参照する 際に用いられるので，ロボットの足元とユーザの目 をつなぐ線分を $\alpha:(1-\alpha)$ に内分する点の座標をガ ウス分布の平均とした. ロボットはユーザの体の部位の 3 次元座標を検出するために，ユーザの方向を 向いているので，この内分点はロボットの向いてい る方向にあり, 平均がロボットの背後の位置になる ことはない. しかし，他人に物を取ってもらうこと を考えたとき，頼んだものがその人の背後にあるこ とよりもその人が見えていることの方が多いと考え られるので上記のようにガウス分布の平均を設定 した.

## A. 3 ア系列指示語領域のガウス分布の 平均

ア系列の指示語は話し手からも聞き手からも遠 い物体を参照する際に用いられるので，ユーザの指 をさした方向にべクトルを $\mathrm{cl}$ だけ伸ばした先の点 をガウス分布の平均とした。他人に物を取ってもら う場面を考えたとき，頼まれた人から遠すぎる物体 はその人に頼まず，もっと近くにいる人に頼むなど の別の方法をとることが考えられる。この「遠すぎ る」の程度を定義しているのが $c$ である. また，ア 系列の平均は $l$ に比例し, これは話し手と聞き手の 距離が遠いほど，聞き手からより遠い物体を指示す る可能性が高くなるという仮定の下このように定義 した.

## A. 4 各系列指示語領域のガウス分布の分散共分散行列

各系列の分散共分散行列は $\frac{\alpha}{\beta} l \boldsymbol{E}_{3}$ が共通箇所と なっており, ア系列の分散共分散行列にのみ係数 $c$ が掛けられている。 $\beta$ は分散が小さくなりすぎない ように調整するためのパラメータ, $\boldsymbol{E}_{\mathbf{3}}$ は $3 \times 3$ の単位行列である。

まず，ソ系列の分散を図 3 にある表で定義した理由を述べる，分散は目標の物体がユーザまたはロ ボットから離れているほど大きくなると考えられる ので，目標物体がある確率に影響を与える $\alpha$ に比例 するように定義した. ソ系列の指示語が観測された 際の目標物体はロボットの近くにある確率が高いと いうことはユーザと目標物体はおよそ $l$ の距離だけ 離れていると考えられるので，分散は $l$ にも比例す るように定義した。

コ系列の場合は目標物体はユーザの近くにある確率が高いのでロボットと目標物体はおよそ $l$ 離れて いると考えられる。コ系列の指示語が観測された際 もソ系列の指示語が観測された際もユーザまたはロ ボットと目標物体まではおよそ $l$ だけ離れているの で，コ系列のガウス分布の分散もソ系列の分散と同 じものを用いることとした.

また，ア系列の場合はユーザからもロボットから も目標物体はおよそ $c l$ だけ離れていると考えられ るので， $c l$ に比例するように定義した.

## B 実験環境

本研究で使用した実験環境を図 4 に示す.

図 4 家庭環境を模した実験環境の家具配置，物体配置位置，指差しを行う人とロボットの立ち位置．緑丸が ユーザの位置，青矢印がロボットの位置と方向，赤丸は 物体が配置されている領域を表す. 緑色と青色の同じ数字はロボットに外部照応を行わせたときのシナリオを表 している. 例えば，緑色の 1 番と青色の 1 番で $\mathrm{E}$ の領域内の物体を指差ししたシナリオがある。


# 深層強化学習モデルの内部挙動の言語化を通じた 制御手法の構築

圓田彩乃 小林一郎
お茶の水女子大学
\{g1720506,koba\}@is.ocha.ac.jp

## 概要

本研究は説明可能 AI のひとつのアプローチとし て，入力が画像である制御タスクに対し学習済みモ デルの入出力関係から制御規則を生成し，これを言語化することで学習済みモデルの内部挙動を説明す ることを目指す。言語化された制御規則を用いて対象が制御可能であることを示すとともに，言語で記述された制御モデル内部の振る舞いに対する解釈可能性の向上を実現した. 制御対象として，Space invaders を取り上げ実験を行なった結果，本研究の 手法で構築された制御器は, 学習済みモデルと同等 のレベルの frame 数までプレイヤーが生存し，報酬 は学習済みモデルと比較すると低いものの，複数の 敵を倒して報酬の獲得に成功した。

## 1 はじめに

近年，様々な場面で深層学習が用いられている。深層学習は人間よりも高い精度で認識や予測を行う ことがある一方で，深層学習モデルの内部挙動はブ ラックボックスであることから用途によっては使用 が制限される。そのため，構築したモデルの内部挙動を捉える手法として，説明可能 AI の研究が盛ん になっている. 説明可能 AI は高いレベルの精度を 保ちつつ，より説明可能なモデルを作り出す機械学習手法の構築を目指している $[1,2]$. また，機械学習手法に対する説明性の評価なども検討されている [3]. 説明手段のひとつとして，ニューラルネット ワークからルールを抽出する DeepRED [4] などもあ る. そのような説明可能 AI のひとつのアプローチ として, 本研究では深層学習モデルの内部挙動が人間が理解できるように言葉で説明することを目指 す. アプローチ方法として，深層学習モデルで得ら れた入出力関係をファジィモデリング [5] し，その 関係をファジィ言語変数からなる規則で表現するこ
とにより，モデルの入出力の振る舞いを人間が把握 しやすいようにする.

本研究では入力が画像情報である Atari の Space Invaders ${ }^{1)}$ を制御タスクとして設定し，言語化され た規則を用いて制御を行い，その制御精度を確認す る.また，制御規則をそのまま出力するのではな く，解釈可能性が向上するように制御規則の要約も 併せて行う。

## 2 関連研究

Greydanu らの研究である Visualize Atari [6] は， 6 種類の Atari のゲームを制御タスクとして設定し, Saliency [7] をヒートマップとして入力画像に重ね ることでモデルで学習したエージェントの内部挙動を可視化する説明 AI モデルを構築した. Saliency とは，学習済みモデルが画像のどの部分を注視し て予測を行っているのかを可視化した手法である. この研究では学習済み深層強化学習モデルとして Baby A3C [8] を使用している。これは Asynchronous Advantage Actor-Critic (A3C) [9] モデルをカスタムし やすいようにコンパクトにしたモデルである.

Saliency Map の可視化を行うことで，モデルがど のような戦略を学習して実行しているのかだけでな く，学習過程でどのように戦略が進化しているか, そして制御を失敗してしまう原因となっている戦略や行動を分析することに成功している。その一方 で，説明は入力画像上に注視箇所をヒートマップと して重ねて可視化することにとどまっており，説明文は画像を見ながら人手で作成している。

本研究では，学習済みモデルが制御の際に注視し ている個所を取り出す手法として Visualize Atari を 使用し，制御中の学習済みモデルの内部挙動を自動的に言語で説明することに試みた。

図 1 Saliency Map から Saliency 箇所を取り出した例

## 3 提案手法

学習済み深層学習モデルの内部挙動を入出力情報 をもとに獲得し，それを言語化して制御実験に使用 する手法を説明する。

## 3.1 制御規則作成方法

入出力関係の獲得 Visualize Atari に用意されてい る学習済みモデルを使用し, 入出力情報と Saliecny Mapを獲得する。

Saliency 箇所の取り出し Saliency Map をグレー スケール化し, Open CV の輪郭抽出・外接矩形の関数を使用して大力画像の Saliency がかかっている場所を長方形に取り出す. (図 1 参照)

Saliency 内容の分類 取り出した Saliency 箇所に 写っているものを分類する. 分類モデルは，事前学習済み画像分類モデルを 2 エピソード分の切り取り 済み Saliency 画像を用いてファインチューニングし て作成する。

分類ラベルはファインチューニングに使用する切 り取り済み Saliency 画像に写っているものを元に作成し，それぞれの画像には人手で分類ラベルを付与 した. また，図 1 の右上の画像のように写っている ものが切れてしまっている場合，それが何であるか を視認できる場合は分類ラベルを付与した。

制御規則生成 獲得した学習済みモデルの入出力情報と Saliency Map を用いて制御規則を生成する。

制御規則は以下の前件部・後件部のテンプレート を穴埋めする形で作成する。

ビーム砲が **** (ビーム砲の場所... 左/中央/右) にいて，*** (Saliency の場所...(1) (9) に*** (Saliency の分類ラベル) があるとき，Action **** をとる.

図 2 ビーム砲の場所と Saliency の場所の分割

図 3 制御器の構造 概要

エージェントが操作するビーム砲と Saliency の場所は図 2 のようにそれぞれ分割し，ビーム砲は中心 の座標, Saliency 箇所は切り出した長方形の中心の 座標からどの空間に属するかを算出する。

図 1 のように一つの入力画像に 2 箇所以上 Saliency がかかっていた場合，「ビーム砲が左にい て，(4にインベーダー単数があるかつ ๑にインベー ダー複数があるかつ ... があるとき, Action FIRE をとる.」のようにテンプレートの前件部を ANDで 繋いで一つの制御規則とする。

## 3.2 制御器の構造

制御器の構造の概要を図 3 に示す. 制御器には Space Invaders の画面が入力として与えられる. 制御器は 3.1 で獲得したデータのうち, 最も報酬が高 いエピソードの Saliency Map からその frame におい て見るべき場所を判断し，その場所に何が映ってい るかを 3.1 で作成した分類モデルで分類する．併せ て，入力画像を見てビーム砲の場所と Saliency がか かっている箇所を取り出す. それらの情報を組み合 わせて該当する制御規則を抽出し，その個数が最も 多い Actionを実行する.

## 4 制御規則の言語化

実験では 1 frameごとに Action を決定するのに使用した制御規則を言語化することで，学習済みモデ

ルの内部挙動の説明を行う。

3.1 で生成した制御規則は，学習済みモデルがど のような入力画像が与えられたときにどの Action を とったのかを捉えて表現することができている. し かし， 1 frameごとに使用した制御規則をそのまま 言語化して出力すると, 解釈可能性の低い説明文と なってしまう。

そこで本研究では，生成された制御規則を要約し て言語化することを試みる。具体的には，以下のテ ンプレートのように，制御規則ではそのまま記述し ているビーム砲と Saliency の場所を, それらの位置関係（右上の高いところ，など）で記述することに よって制御規則を要約を行う。

ビーム砲の*** (ビーム砲と Saliency の場所の 位置関係... 左/右/真上の高い/低い) ところに *** (Saliency の分類ラベル) があるとき, Action *** をとる.

$x$ 軸方向の関係をビーム砲の場所と Saliency の長方形の中心の座標から「左上」「真上」「右上」の 3 通り, $y$ 軸方向は Saliency の長方形の中心の座標か ら「高い」「低い」の 2 通りで表現し，これらを組み 合わせることでビーム砲と Saliency 箇所の位置関係 を表す.このように変更することで，変更前はビー ム砲と Saliency 場所がそれぞれの分割数の組み合わ せである 27 通りの表現があるのに対し，変更後は 6 通りの表現で制御規則を要約することができる.

制御規則の要約を行うことで解釈可能性が向上す るだけでなく，異なる状況においても同じ制御規則 が適用されるため，言葉を再利用することができる ようになる.

## 5 実験

本研究では 3.1 の手法で生成した制御規則を使用 した制御実験（実験 1）と４の手法で要約した制御規則を使用した制御実験（実験 2）を行った。

## 5.1 実験設定

入出力関係と Saliency Map の獲得 Visualize Atari における Space Invaders の control agent を使用 し，学習済みモデルの入出力関係と Saliency Map を 50 エピソード・ 56,850 frame 分獲得した. なお今回 の実験では，獲得した報酬が Baby A3C モデルの平均報酬である 550 を超えているエピソードのみを抽表 1 分類ラベル

 \\

出して入出力関係などを獲得している.

Saliency 内容の分類モデルの作成 学習済みモデ ルから獲得した 50 エピソード分の入出力データと Saliency Map のうち 2 エピソード分のデータを使用 し, 切り出した Saliency がかかっている箇所に写っ ている内容を分類するモデルを作成する.

2 エピソード分の切り出した画像を目視で確認 し，用意した分類ラベルを表 1 に示す.

Saliency 箇所を切り出した画像と分類ラベルを使用して, Torch Vision の ResNet のファインチューニ ングを行い，分類精度が $90 \%$ 近くになった.

制御規則 3.1 の手法で 9,241 個の制御規則が生成された。これに 4 の手法を用いると，制御規則が 6,853 個に要約された。

## 5.2 実験結果

実験 1 ・2において，制御実験をそれぞれ 100 エピ ソード行った.

実験 $1 \cdot 2$ と入出力関係などを獲得した学習済み モデルの実験時における獲得した報酬と生存 frame 数の結果をそれぞれ表 2 と表 3 に示す.

実験 $1 \cdot 2$ と学習モデルの制御精度を比較すると，実験 $1 \cdot 2$ のどちらも平均生存 frame 数は学習済み モデルと同等のレベルに達しており, 平均報酬は学習済みモデルと比較すると低いものの, 複数のイン ベーダーを倒して報酬を獲得することに成功した。

制御規則を要約していない実験 1 と要約している 実験 2 の制御精度を比較すると，報酬・生存 frame 数ともに平均值に大きな違いはないが, 実験 1 と比較すると実験 2 は報酬・生存 frame 数の最大値と最小值の差が大きく, 不安定な制御となっていること がわかった。

実験時には， 1 frame ごとに Action を決定するた めに使用した制御規則の言語化を行い，その Action
表 2 実験結果 - 報酬

表 3 実験結果 - 生存 frame 数

が選択された理由を説明した。例えば実験 2 におい て，図 4 の入力画像に対し「ビーム砲の 左上の低 いところにインベーダー単数があるとき，Action LEFTをとる.」の制御規則が言語化された.

実験 2 における言語化された制御規則の他の例を 付録で紹介している。

## 5.3 考察

実験 $1 \cdot 2$ と学習済みモデルの比較 生存 frame 数 は同等のレベルであるのに報酬に差が出てしまって いる原因として，実験 1 ・2 は攻撃をしない Action が選択されることが多いことや，インベーダーから の攻撃から逃げるためにインベーダーの真下にいな い frameが多いことが考えられる。また，制御規則 を生成するにあたり，学習済みモデルがとっていた と思われる，より報酬の高い敵を優先して倒す戦略 を踏襲できていないことも原因となっている可能性 がある.

制御規則の要約ありなしの比較報酬と生存 frame 数の平均値をみると, 実験 $1 \cdot 2$ は同等の制御精度と言える。一方で，実験 2 において，報酬と生存 frame 数の最小値が実験 1 と比較してとても小さ くなっている。これは，制御規則を要約したことに よりビームを避けたり安全地帯の下に逃げるような 制御規則が減ったことが原因として考えられる. 制御規則は内容と個数が多いほどより多くの状況に対応できるが，一方で説明文としては解釈可能性が低 くなってしまう。したがって，制御精度と説明文の 解釈可能性のバランスを取ることが重要である.

制御の様子制御の様子を観察したところ，実験 1 ・2で作成した制御器はインベーダーの位置に関係 なく画面左側に滞在し，インベーダーがビーム砲の 真上に来るのを待ち構えて攻撃していた。一方，学

図 4 入力画像の例

習済みモデルはインベーダーの動きに合わせてビー 么砲を移動しながら攻撃しており，構築した制御器 は学習済みモデルの挙動を踏襲しきれていないこ とがわかった。これは複数の制御規則が該当した際 の Action の決定方法や制御規則の作成方法などが原因として考えられる。制御器がより学習済みモデル の挙動を模倣できるよう，手法の改良を行う必要が ある.

## 6 おわりに

本研究は，説明可能 $\mathrm{AI}$ のひとつのアプローチと して，学習済み深層強化学習モデルの入出力関係か ら制御規則を生成し，これを言語化することで学習済みモデルの内部挙動を説明することを試みた。併 せて，説明された制御規則を用いて制御実験を行 い，その制御精度を確認した．また，説明文の解釈可能性を向上させるため，生成した制御規則の要約 も行った。

言語化された制御規則を用いて制御実験を行った 結果，提案した手法で構築された制御器は，学習済 みモデルと同等のレベルの frame 数まで生存するこ とに成功した。報酬は学習済みモデルと比較すると 低いものの，複数のインベーダーを倒して報酬を獲得することができた。また，説明文の解釈可能性を 向上させるための要約をした制御規則を用いて制御実験を行った結果，要約する前の規則を使用した制御器と比較すると不安定な制御となるものの，概ね 同等の制御精度で制御を行うことができた。

今後の課題として，制御器の制御精度をより向上 させることと，ゲームに限らない入力情報が画像で ある様々な制御対象に対して使用できる制御器の構築手法となるように改良を進める。

## 謝辞

本研究の一部をJSPS 二国間共同研究 （JPJSBP120213504）からの支援を受けました.ここ に深謝いたします。

## 参考文献

[1] Sherin Mary Mathews. Explainable artificial intelligence applications in nlp, biomedical, and malware classification: A literature review. pp. 1269-1292, 2019.

[2] A. Adadi and M. Berrada. Peeking inside the black-box: A survey on explainable artificial intelligence (xai). IEEE Access, Vol. 6, pp. 52138-52160, 2018.

[3] Leilani H. Gilpin, David Bau, Ben Z. Yuan, Ayesha Bajwa, Michael A. Specter, and Lalana Kagal. Explaining explanations: An approach to evaluating interpretability of machine learning. CoRR, Vol. abs/1806.00069, , 2018.

[4] Jan Ruben Zilke, Eneldo Loza Mencía, and Frederik Janssen. Deepred-rule extraction from deep neural networks. In International Conference on Discovery Science, pp. 457-473. Springer, 2016.

[5] 姜根澤, 菅野道夫. ファジィモデリング. 計測自動制御学会論文集, Vol. 23, No. 6, pp. 650-652, 1987.

[6] Samuel Greydanus, Anurag Koul, Jonathan Dodge, and Alan Fern. Visualizing and understanding atari agents. In International conference on machine learning, pp. 1792-1801. PMLR, 2018.

[7] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. arXiv preprint arXiv:1312.6034, 2013.

[8] Danijar Hafner, Timothy P Lillicrap, Mohammad Norouzi, and Jimmy Ba. Mastering atari with discrete world models. In International Conference on Learning Representations, 2021.

[9] Volodymyr Mnih, Adria Puigdomenech Badia, Mehdi Mirza, Alex Graves, Timothy Lillicrap, Tim Harley, David Silver, and Koray Kavukcuoglu. Asynchronous methods for deep reinforcement learning. In International conference on machine learning, pp. 1928-1937. PMLR, 2016.

## 付録

ここでは，要約した制御規則を使用した制御実験時の制御の様子を紹介する。具体的には，ある frame における入力画像と，その frame において出力された「入力画像に対してどの Action を決定した のか」を説明する文章を例示する。

例 1 :

入力画像：

言語化された制御規則：

ビーム砲の 右上の高いところにインベーダー単数 があるとき， Action RIGHT FIRE をとる.

例 2：

入力画像：

例 3 :

入力画像：

言語化された制御規則 :

ビーム砲の 右上の高いところのところにインベー ダー複数があるかつ真上の低いのところにビーム 砲と安全地帯があるとき，Action RIGHT FIRE を とる.

## 例 4 :

入力画像：

言語化された制御規則 :

ビーム砲の 右上の高いのところにインベーダー複数があるかつ右上の低いのところに安全地帯が あるとき，Action FIRE をとる.

言語化された制御規則：

ビーム砲の右上の低いのところにインベーダー複

数があるとき，Action RIGHT FIREをとる.


# 構文解析と画像生成の統合による機能語の言語理解

山木良輔 ${ }^{1}$ 谷口忠大 ${ }^{1}$ 持橋大地 ${ }^{2}$
1 立命館大学 2 統計数理研究所
\{yamaki.ryosuke, taniguchi\}@em.ci.ritsumei.ac.jp daichi@ism.ac.jp
}

"A ball next to a box"

図 1: Stable Diffusion が生成した画像の例.
## 概要

近年の大規模言語モデルと拡散モデルに基づくテ キスト画像生成モデルは高度な画像生成を実現して いる一方で，前置詞などの機能語に関しては，それ らの意味を正しく捉えられていないことが指摘され ている [1]. 本研究ではこの問題に対して，CCGに 基づく構文解析モデルとテキスト画像生成モデルを 統合することで，テキスト中の物体同士の関係性を 明示的に捉えた画像生成を可能にし，機能語のよう な文法的関係を正しく捉える言語理解を実現する。

## 1 はじめに

自然言語における機能語と実世界情報の対応関係 を理解可能な人工知能の実現は，人工知能の実世界応用において重要な課題である. 本研究では，構文解析とテキスト画像生成モデルを統合し，機能語が 持つ言語情報を画像情報として表出させることで，実世界情報と紐づいた機能語の言語理解の実現を目指す.

近年の大規模言語モデルと拡散モデルに基づくテ キスト画像生成モデルは高度な画像生成を実現して いる $[2,3,4]$. 一方で言語理解の観点からは，“in” “on”などの文法的機能に関しては，その意味を正し く捉えられていないことが指摘されている [1]. 例 えば, 図 1 に示すように, Stable Diffusion [4] は "ball” や“box”といった内容語に関しては，これらの物体 が出現する画像を生成している一方で, “in”や“next to” といった異なる前置詞 (機能語) に関しては，ど ちらも “in” の意味に対応する画像を生成しており， これらの意味を捉えられていない。

実世界上において，自然言語を用いた人間とのコ
ミュニケーションが期待される人工知能は，このよ うな機能語に関してもその意味を理解可能であるこ とが望ましい [5]. 例えば, “Place a ball next to a box." のような指示をロボットに与えたときに，ゴール状態として図 1 の右側の画像をロボットが想起してし まうと，適切な行動を期待することはできない。

そこで，本研究ではこのような機能語の言語理解を実現するための方法として，自然言語の 統語的情報をテキスト画像生成モデルに取り入 れる手法を提案する。具体的には，組み合わせ 範疇文法 (Combinatory Categorial Grammar: CCG) [6] に基づく構文解析モデルである Holographic CCG (Hol-CCG) [7] をテキスト画像生成モデルにおけるテ キストエンコーダとして採用し, Hol-CCG が出力す る統語的及び意味的情報を含んだ単語・句・文の分散表現を画像生成に活用する。これにより，機能語 が示す文中の物体同士の関係性を画像情報と対応付 けることが可能となり，結果的に機能語の言語理解 が可能になると考える.

実験より，テキストから得られる句の分散表現・統語的情報をテキスト画像生成に活用することの有効性を示唆する結果が得られた．なお，後述の実験 では機能語が示す物体同士の位置関係に主眼を置い ているため, 生成画像の写実性は本研究の論点から 外れていることに注意されたい.

## 2 関連研究

## 2.1 Hol-CCG

本研究では，テキスト画像生成モデルにおけるテ キストエンコーダとして筆者らが以前に提案した CCG に基づく構文解析モデルである, Hol-CCG [7] を使用する．Hol-CCG は潜在空間上での単語及び句 の分散表現同士の再帰的合成によって，それらの間 に存在する階層関係及び依存関係を明示的に考慮し た分散表現を計算することが可能であり，機能語が 表現する内容語同士の関係性を画像生成に反映す

図 2: Hol-CCG のモデル概要図.

るという本研究の目的に適した特性を有している。 Hol-CCG はテキスト画像生成モデルに与えられた入力文の構文構造を解析し，それに応じた単語・句・文の分散表現を出力する. そして，これらの分散表現を画像生成の際の言語特徴量として用いる.

Hol-CCG のモデル概要を図 2 に示す. Hol-CCG では，まず入力文を RoBERTa [8] などの Masked Language Model に通すことで, 文中の各単語の分散表現を得る。そして，得られた単語分散表現を巡回相関 [9] によって再帰的に合成することによって，句および文の分散表現を計算する. 巡回相関の演算 は次式で定義される。

$
[\mathbf{c}]_{k}=[\mathbf{a} \star \mathbf{b}]_{k}=\sum_{i=0}^{d-1} a_{i} b_{(k+i)} \bmod d
$

ここで，太は巡回相関の演算子，a, $\mathbf{b}$ は合成前の分散表現，c は合成後の分散表現である。例えば，図 2 中の例の場合，最終的な文の分散表現 $\mathbf{v}_{0: 5}$ は次のよ うな再帰的な演算によって計算される.

$
\mathbf{v}_{0: 5}=\left(\mathbf{v}_{0: 1} \star \mathbf{v}_{1: 2}\right) \star\left(\mathbf{v}_{2: 3} \star\left(\mathbf{v}_{3: 4} \star \mathbf{v}_{4: 5}\right)\right)
$

また，分散表現を合成する過程において，Spanbased Parsing [10] に基づく句構造解析アルゴリズム によって，入力文が持つ尤もらしい句構造を探索す る.これによって，入力文が持つ構文的曖昧性を解消しつつ，文を構成する単語・句・文の意味的・統語的な情報を含んだ分散表現を構成することができ る. Hol-CCG では分散表現を再帰的に合成する演算自身には学習が必要となるパラメータが存在しな いことが特徴であり, 本モデルは大規模かつ複雑な データセットに対しても適用可能である.

## 2.2 AttnGAN

本研究では，テキスト画像生成モデルとして Attentional GAN (AttnGAN) [11]を使用する。AttnGAN は Attention 機構によって入力文中の各単語の情報 を画像生成に取り込むモデルである。また，Deep
Attentional Multimodal Similarity Model (DAMSM) モ ジュールにおいて，テキストと画像間での対応関係 を評価することで，入力テキストに対して意味的に 合致するような画像を生成する。

## 3 提案手法

## 3.1 手法概要:Hol-CCG と AttnGAN の統合

本研究では，AttnGAN のテキストエンコーダとし

て Hol-CCG を用いることで，テキスト画像生成に 統語的情報を取り入れる手法を提案する．提案手法 の概略を図 3 に示す。

まず，Hol-CCG が入力文を構文解析することに よって，単語・句・文の統語的・意味的な情報を含 む分散表現を出力する。そして，AttnGAN はこれら の分散表現を言語特徴量として画像を生成する。よ り具体的には, GAN の隠れ層の状態を更新する際 に単語及び句の分散表現との間での Attention の計算を行う。ここで，単語の分散表現のみではなく，句の分散表現も取り入れていることが本手法の重要箇所であり，これによって，複数の単語間に存在す る階層的な依存関係の情報を画像生成過程に取り 込む. さらに，元々の AttnGAN と同様に，最終的に 生成された画像は DAMSM モジュールにおいてテ キストとの意味的な対応関係が評価される. この評価過程においても，単語・文の分散表現に加えて 句の分散表現が言語特徴量として用いられる。

## 3.2 モデルの学習

本提案手法では, AttnGAN の生成器・識別器の学習に先立って，テキスト及び画像エンコーダの事前学習を行う.この事前学習の方法は基本的には AttnGAN を踏襲しており，統語的情報及び句の分散表現を取り込めるように拡張を行った.まず，元々 の AttnGAN における DAMSM モジュールの学習に 関する損失関数 $\mathscr{L}_{D A M S M}$ を句の表現が取り込める ものに拡張した方法について説明する。

$
\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {phrase }}+\mathscr{L}_{\text {sentence }}
$

上式における $\mathscr{L}_{\text {phrase }}$ は句の分散表現を DAMSM モ ジュールに取り込むために，筆者らが新たに導入し た項である. ここで， $\mathscr{L}_{D A M S M}$ を構成する各項はそ れぞれ，単語・句・文の分散表現と画像の特徴量を 用いて，テキストと画像間での対応関係を評価する ためのものである．例えば， $M$ 個の画像情報とテキ スト情報のペア $\left.\{\left(Q_{i}, D_{i}\right)\right.\}_{i=1}^{M}$ に関して， $\mathscr{L}_{\text {word }}$ は次

図 3: 提案手法概略図 (AttnGAN の元論文 [11] 中のモデル概略図におけるテキストエンコーダ部分を Hol-CCG による構文解析に置換).

の通りに定義される。

$
\mathscr{L}_{\text {word }}=-\sum_{i=1}^{M}\left.\{\log P\left(Q_{i} \mid D_{i}\right)+\log P\left(D_{i} \mid Q_{i}\right)\right.\}
$

なお, $P\left(Q_{i} \mid D_{i}\right), P\left(D_{i} \mid Q_{i}\right)$ を計算する過程に関して は本稿では割愛するが，詳細は AttnGAN の元論文 [11]を参照されたい。また， $\mathscr{L}_{\text {phrase }}, \mathscr{L}_{\text {sentence }}$ の 計算過程は $\mathscr{L}_{\text {word }}$ と同様である.

次に，統語的情報を取り入れるために行った拡張 に関して説明する. AttnGAN が画像生成に用いる単語・句・文の特徵量に統語的情報を取り入れるにあ たり, 本提案手法では CCG カテゴリの情報を利用 する. CCG カテゴリは構文解析の結果として文中 の単語や句に対して割り当てられるものであり，多 くの統語的情報を含んでいる. そのため，テキスト エンコーダの事前学習において，テキストエンコー ダが出力する単語・句・文の分散表現から，それら に対応する CCG カテゴリが正しく予測されるよう な損失関数を定義することで，分散表現中に統語的情報が取り込まれるようにする。具体的には，次の ような $\mathscr{L}_{\text {syntax }}$ を定義する。

$
\mathscr{L}_{\text {syntax }}=\mathscr{L}_{\text {word-syn }}+\mathscr{L}_{\text {phrase-syn }}+\mathscr{L}_{\text {span-syn }}
$

ここで， $\mathscr{L}_{\text {word-syn }}, \mathscr{L}_{\text {phrase-syn }}$ はそれぞれ単語・句 に対する CCG カテゴリの割り当て誤差, $\mathscr{L}_{\text {span-syn }}$ は特定の区間に含まれる単語列が句を構成するか否 かの判別誤差である。詳細に関しては Hol-CCG [7] のモデル学習方法を参照されたい.

上記の $\mathscr{L}_{\text {DAMSM }}$ と $\mathscr{L}_{\text {syntax }}$ の合計をエンコーダ の事前学習の損失関数 $\mathscr{L}_{\text {pretrain }}$ とする.

$
\mathscr{L}_{\text {pretrain }}=\mathscr{L}_{\text {DAMSM }}+\mathscr{L}_{\text {syntax }}
$

また, エンコーダの学習完了後に行われる GAN の生成器と識別器の敵対的学習に関しては元々の AttnGAN と同一であるため, 本稿では説明を割愛す
る. 詳細に関しては AttnGAN の元論文 [11]を参照 されたい.

## 4 実験

## 4.1 データセット

本研究では，2つの性質の異なるデータセットを 用いて実験を行った.

coco テキスト画像生成分野で一般的に用いら れている Common Objects in Context (COCO [12])を 客観的な評価・比較のために用いた.

CLEVR 本研究では、AttnGANを画像生成モデ ルとして採用したが、 $\operatorname{COCO}$ (日常生活のあらゆる 場面の画像を含む) の画像を高品質に生成するこ とが難しいことから、機能語の言語理解に関する 主観的な評価を行うには不適切であると考えた。 そのため、本研究では Compositional Language and Elementary Visual Reasoning (CLEVR [13]) データセッ 卜を用い、3 個以下の物体を含む画像についてアノ テーション情報から自動的にキャプションを生成 し，実験に使用した.

## 4.2 ベースライン手法

ベースライン 1 AttnGAN のテキストエン コーダに RoBERTa [8]を用いたモデルを，提案手法において統語的情報が付与されることの 有効性を検証するための比較対象として用 いる. このモデルではテキスト入力に対して RoBERTa が出力する [CLS] トークンと各サブワー ドの分散表現を言語特徴量として AttnGAN に 与え画像を生成する. 事前学習の損失関数は $\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {sentence }}, \mathscr{L}_{\text {pretrain }}=\mathscr{L}_{\text {DAMSM }}$ となる.
表 1: COCO データセットにおける客観評価の結果.

ベースライン 2 提案手法において句の分散表現 を画像生成に用いないモデルを 2 つ目のベースライ ン手法とする. このモデルとの比較によって，提案手法において句の分散表現を画像生成に取り入れ ることの有効性を検証する．事前学習の損失関数は $\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {sentence }}, \mathscr{L}_{\text {syntax }}=\mathscr{L}_{\text {word-syn }}$ となる.

## 4.3 評価方法

客観評価 Fréchet Inception Distance (FID ${ }^{1)}$ ) と Rprecision (R-prec ${ }^{2}$ ) を評価指標として用いた。

主観評価 16 名の実験参加者に各手法によって 生成された 20 組の画像を提示し，各実験参加者は テキストが示す物体同士の位置関係との合致度が最 も高い画像を選択する. そして各手法によって生成 された画像が選択された割合を比較した。

## 5 結果・考察

客観評価 客観評価の結果・比較を表 1 に示す。 なお，VICTR [14] は AttnGAN のテキストエンコー ダ部分にシーングラフから抽出された物体同士の位置関係の情報を明示的に取り入れている点から，本研究との関連があるため比較手法として取り上げ た. 結果より，提案手法は FID においてべースライ ン手法に比べて高い性能を発揮している. ただし， ベースライン手法 1 は他の 2 つのモデルに比べて著 しく高い FID を示しているため, GAN の学習の不安定性のために学習に失敗している可能性があるこ とには注意されたい。また，既存手法との FID にお ける比較に関しては，提案手法は AttnGAN の性能 を上回り，VICTR に競合する性能を発揮している。 なお，提案手法では GAN の学習段階における八イ パーパラメータの設定を改善することで，さらなる 性能向上が見込まれる，以上より，提案手法におい て句の分散表現及び統語的情報をテキスト画像生成 に取り込むことの有効性が示唆される。

図 4: CLEVR における生成画像例 (入力テキス $r$ : "large yellow sphere is to the left front of small blue cylinder, and large yellow sphere is to the left behind of small green sphere”). 提案手法が “yellow sphere” と "blue cylinder” の位置関係 ("to the left front of") を最 も正確に反映している.

主観評価 各手法によって生成された画像が実験参加者によって選択された割合はそれぞれ，ベース ライン $1: 39.1 \%$ ， ベースライン $2: 18.1 \%$ ，提案手法: 42.8\%となった. 実験参加者に提示した画像の一例 を図 4 に示す. 図の例の様に，提案手法がベースラ イン手法に比べて，入力テキストが説明する物体同士の位置関係をより正確に捉えた画像を生成してい る例が複数見られた。一方で，ベースライン 1 と提案手法の画像が選択された割合が僅差であること を踏まえると，大域的には手法間の差は小さいと考 えられ，提案手法の有効性は十分には示されていな いと考える。そのため，入力するテキストの複雑度 やGAN の学習におけるハイパーパラメータの設定 などにさらなる改良が必要であると考えている。な お， ベースライン 2 の画像が選択された割合は他の 2つの手法に比べて著しく低く，この手法において は GAN の学習に失敗している可能性があることに は注意されたい。

## 6 おわりに

本研究では構文解析とテキスト画像生成モデルを 統合することによって自然言語における機能語の言語理解を実現するための手法を提案した. 入力テキ ストに対して構文解析モデルが出力する統語的・意味的情報を含んだ単語や句の分散表現を画像生成に 活用することで，機能語が示す物体同士の関係性を 画像情報と対応付けた画像の生成に取り組んだ。実験より，提案手法の有効性を示唆する客観的な結果 が得られた。

今後の展望としては，画像生成部分を Stable Diffusion [4] などの拡散モデルベースのものに置換 し，より高品質な画像の生成を可能にすることや，物体同士の位置関係に関する表現以外の前置詞・機能語に関して，より詳細な実験・評価を行うことな どが挙げられる.

## 謝辞

本研究は，JST，ムーンショット型研究開発事業, JPMJMS2033 の支援を受けたものです.

## 参考文献

[1] Colin Conwell and Tomer Ullman. Testing relational understanding in text-guided image generation. arXiv preprint arXiv:2208.00005, 2022.

[2] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi, Rapha Gontijo Lopes, et al. Photorealistic text-to-image diffusion models with deep language understanding. arXiv preprint arXiv:2205.11487, 2022.

[3] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022.

[4] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[5] Amir Aly, Tadahiro Taniguchi, and Daichi Mochihashi. A bayesian approach to phrase understanding through crosssituational learning. In International Workshop on Visually Grounded Interaction and Language (ViGIL), in Conjunction with the 32nd Conference on Neural Information Processing Systems (NeurIPS), 2018., 2018.

[6] Mark Steedman. The Syntactic Process, Vol. 24. MIT press Cambridge, MA, 2000.

[7] 山木良輔, 谷口忠大, 持橋大地. Holographic Embeddings による CCG 構文解析. 言語処理学会第 28 回年次大会 (NLP2022), 2022.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[9] Tony A Plate. Holographic reduced representations. IEEE Transactions on Neural networks, Vol. 6, No. 3, pp. 623641, 1995 .

[10] Mitchell Stern, Jacob Andreas, and Dan Klein. A minimal span-based neural constituency parser. arXiv preprint arXiv:1705.03919, 2017.

[11] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1316-1324, 2018.

[12] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.
[13] Justin Johnson, Bharath Hariharan, Laurens Van Der Maaten, Li Fei-Fei, C Lawrence Zitnick, and Ross Girshick. Clevr: A diagnostic dataset for compositional language and elementary visual reasoning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2901-2910, 2017.

[14] Caren Han, Siqu Long, Siwen Luo, Kunze Wang, and Josiah Poon. Victr: Visual information captured text representation for text-to-vision multimodal tasks. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3107-3117, 2020.