# 文スタイル識別器による重みづけを用いた 条件付き画像キャプション生成

松田 洋之 ${ }^{1}$ 大谷 まゆ ${ }^{2}$ 脇本 宏平 ${ }^{2}$
黒田 和矢 ${ }^{2}$ 中山 英樹 1
1 東京大学大学院情報理工学系研究科
2 株式会社サイバーエージェント
\{matsuda, nakayama\}@nlab.ci.i.u-tokyo.ac.jp
\{otani_mayu, wakimoto_kohei, kuroda_kazuya\}@cyberagent.co.jp

## 概要

条件付き画像キャプション生成は，画像と条件を 入力として，画像の説明文（キャプション）を生成 するタスクである. 本研究では，事前に学習した キャプション生成器の出力と, それとは別に学習し た識別器の出力を混合して, 所望のスタイル属性を 持つキャプションを生成する. その際, 識別器が出力する文スタイルの付与度に応じて，キャプション 生成器の出力を適切に調整して混合を行う手法を提案する。

## 1 はじめに

条件付き画像キャプション生成は画像キャプショ ン生成を拡張したものであり，画像に加えて，入力 に新たな条件を追加する. このタスクでは，生成さ れるキャプションを条件により制御することを目標 とする.

本研究では，文のスタイルを条件として入力に加 える. 画像キャプションデータセットを用いて，画像キャプションの文スタイルを制御する研究は広く 行われている. しかし, 先行研究の多くはスタイル を制御する機構がモデルの構造に依存しており，使用できるキャプション生成モデルが制限される. そ のため, 既存のキャプション生成モデルの活用が妨 げられている。事前学習済みモデルを使用できる手法も存在するが，スタイルの制御機構を学習するた めに事前学習済みモデルの出力を必要とする。この 場合，使用する事前学習済みモデルを変更すると，新たにスタイル制御の機構を学習する必要がある.

条件付き文生成の研究では，事前学習済みモデル への依存度を下げたスタイル制御の手法 (FUDGE)
[1] が提案されている。この手法では，事前学習済 みモデルを再学習せず，文スタイル識別器の情報を 追加で利用する．そこで本研究では，この手法を画像キャプション生成に応用する。

事前学習済み画像キャプション生成器は，スタイ ル付きキャプションのデータによって学習されてい ないため，スタイル付きキャプションを構成する単語の出力確率を過小評価すると考えられる. 本研究 では，推論時に事前学習済みキャプション生成器の 出力を変化させることによって, 出力確率の過小評価を抑える機構を提案する。

## 2 関連研究

関連研究の一つに, 条件付き文生成がある. CTRL [2] では，文のスタイルを表す Control Code を 条件として多様な文の生成を可能にしているもの の, データが大規模（140GB）なために学習コスト が大きい.

近年では，学習コストを下げるため，事前学習済 みモデルを再学習せずに生成文を制御する研究が 行われている. PPLM [3] では，所望のスタイルを 持つ単語が出力されやすくなるように，事前学習済 み Transformer [4] の内部状態を更新している。GeDi [5], FUDGE [1] では, 事前学習済み言語モデルの出力を変化させ，所望のスタイルを持ちやすい単語の 生成確率を引き上げることによって生成文を制御 する。

条件付き画像キャプション生成の先行研究では, スタイル付き画像キャプションの公開データセット [6,7], が用いられている. Mathews ら [6] は，2つの RNN を用意し，一方にスタイルの付かないキャプ ションを生成する役割を，もう一方にスタイル付き

キャプションを生成する役割を持たせている. Gan ら [7] は1つの LSTM で生成を行うが, LSTM のパ ラメータをスタイルに共通の部分とスタイルに固有 の部分に分けている.

MS COCO を代表とするスタイルの付かない大規模なデータセットに比べ，スタイル付きキャプショ ンのデータ数は少ない1). そのため，スタイル付き 画像キャプションのペアデータを必要としない手法 が提案されている $[7,9,10,11,12]$.

## 3 手法

本研究では, 条件付き文生成の先行研究 (FUDGE [1]）の手法を用いて，事前学習済みモデルの単語の 出力のうち, スタイルが付与されやすい単語の確率 を高めるように補正する (3.1). さらに，デコード の途中で，将来完成する文にスタイルが付与される 可能性が低いと判断される場合，事前学習済みモデ ルの影響力を調整する手法を新たに提案する (3.2).

## 3.1 文スタイル識別器による重みづけ

本研究では，画像キャプション生成に用いる言語 モデルは自己回帰的であると仮定する。画像を $I$, スタイル条件 $a$ を大力として，単語数 $n$ のキャプ ション $X=\left(x_{1}, \ldots, x_{n}\right)$ を生成するスタイル付き画像キャプション生成器 $p(X \mid I, a)$ は，

$
p(X \mid I, a)=\prod_{t=1}^{n} p\left(x_{t} \mid I, a, x_{\leq t-1}\right)
$

と表される $\left(x_{\leq t-1}:=\left(x_{1}, \ldots, x_{t-1}\right)\right)$ ここで, $p\left(x_{t} \mid I, a, x_{\leq t-1}\right)$ は, 自己回帰的スタイル付き画像キャプション生成器である. ベイズの定理を用い ると，

$
p\left(x_{t} \mid I, a, x_{\leq t-1}\right)=\frac{p\left(a \mid I, x_{\leq t-1}, x_{t}\right) p\left(x_{t} \mid I, x_{\leq t-1}\right)}{p\left(a \mid I, x_{\leq t-1}\right)}
$

と変形できる.ここで，分子は $x_{t}$ に依存しない から，

$
p\left(x_{t} \mid I, a, x_{\leq t-1}\right) \propto p\left(a \mid I, x_{\leq t-1}, x_{t}\right) p\left(x_{t} \mid I, x_{\leq t-1}\right)
$

と表せる. $p\left(a \mid I, x_{\leq t-1}, x_{t}\right)=p\left(a \mid I, x_{\leq t}\right)$ は，時点 $t$ ま での出力単語と画像を大力として，将来完成される キャプションがスタイル条件 $a$ を満たすかどうかを 識別する識別器である. $p\left(x_{t} \mid I, x_{\leq t-1}\right)$ は，スタイル なし画像キャプション生成器である.

1）例えば， MS COCO [8] にはスタイルのないキャプションが 1,026,459含まれるのに対して, Senticap [6] に含まれる positive スタイルのキャプション数は 4,892 である.式 3 より, スタイルなし画像キャプション生成器 が学習済みのとき，スタイル付き画像キャプション を生成するためには，識別器のみを学習すればよ い. 本手法では, 画像はキャプションスタイルに関与しないという仮定のもと識別器を近似し, 時点 $t$ までの生成文のみを入力して，スタイル $(a)$ の付与度合いを予測する識別器 $D_{a}$ を用いる。すなわち，

$
D_{a}\left(x_{\leq t}\right):=p\left(a \mid x_{\leq t}\right) \simeq p\left(a \mid I, x_{\leq t}\right)
$

とする。また，今後スタイルなし画像キャプション 生成器を $C$ で表すことにすると，式 3 は，

$
\begin{aligned}
C\left(x_{t} \mid I, x_{\leq t-1}\right) & :=p\left(x_{t} \mid I, x_{\leq t-1}\right) \\
p\left(x_{t} \mid I, a, x_{\leq t-1}\right) & \underset{\sim}{\sim} D_{a}\left(x_{\leq t}\right) C\left(x_{t} \mid I, x_{\leq t-1}\right)
\end{aligned}
$

と表せる.

## 3.2 動的 Softmax Temperature

本研究では，式 6 における画像キャプション生成器 $C$ に事前学習済みモデルを用いる。 $C$ はスタイル なしデータセットのみで学習されているため，スタ イル付きのキャプションに用いられる単語の生成確率を極端に低く見積もる可能性がある. その場合,式 6 による生成において, 識別器 $D_{a}$ による補正の 影響力が弱まり，スタイルが付与されづらくなると 考えられる。

これを回避するためには, 生成器 $C$ の予測に温度 パラメータ $T$ を導入することで， $C$ の出力を制御す る手法が考えられる. 温度パラメータは言語モデル の出力するロジットをスケール変換するハイパーパ ラメータであり，高いほど単語の生成確率の分布は なめらかになる.これにより, $C$ の出力を制御し,識別器 $D_{a}$ による補正の影響力を相対的に調整でき る.その一方で，適切な温度パラメータは状況ごと に異なり，適切な值の設定は困難である。

そこで本研究では, 温度パラメータを生成中の文 のスタイルの付与度合いによって制御する機構を導入し，事前のパラメータ探索がなくても，適切な割合で生成器と識別器を混合する手法を提案する.

事前学習済み画像キャプション生成器 $C$ が出力す るロジットを $C_{\text {logit }}$ で表す. 温度パラメータ $T$ を導入したときのキャプション生成器を $C_{T}^{\prime}$ で表すと，

$
\begin{aligned}
C_{T}^{\prime}\left(x_{t} \mid I, x_{\leq t-1}\right) & :=\operatorname{softmax}_{T}\left.\{C_{\text {logit }}\left(x_{t} \mid I, x_{\leq t-1}\right)\right.\} \\
& :=\frac{\exp \left(\frac{C_{\text {logit }}\left(x_{t} \mid I, x_{\leq t-1}\right)}{T}\right)}{\sum_{x_{t}^{\prime} \in \mathscr{V}} \exp \left(\frac{C_{\text {logit }}\left(x_{t}^{\prime} \mid I, x_{\leq t-1}\right)}{T}\right)}
\end{aligned}
$

と表される. 温度パラメーター $T$ を適切に調整す るために， $T$ をスタイル識別器の出力確率の逆数 $1 / D_{a}$ で置き換え,

$
\begin{aligned}
& C_{1 / D_{a}}^{\prime}\left(x_{t} \mid I, x_{\leq t-1}\right) \\
& =\operatorname{softmax}_{1 / D_{a}}\left.\{C_{\text {logit }}\left(x_{t} \mid I, x_{\leq t-1}\right)\right.\} \\
& =\frac{\exp \left.\{D_{a}\left(x_{\leq t-1}\right) C_{\text {logit }}\left(x_{t} \mid I, x_{\leq t-1}\right)\right.\}}{\sum_{x_{t}^{\prime} \in \mathscr{V}} \exp \left.\{D_{a}\left(x_{\leq t-1}\right) C_{\text {logit }}\left(x_{t}^{\prime} \mid I, x_{\leq t-1}\right)\right.\}} \\
& \text { し, } \\
& p\left(x_{t} \mid I, a, x_{\leq t-1}\right) \underset{\sim}{\infty} D_{a}\left(x_{\leq t}\right) C_{1 / D_{a}}^{\prime}\left(x_{t} \mid I, x_{\leq t-1}\right)
\end{aligned}
$

$
\text { とし, }
$

によって単語 $x_{t}$ を生成する. $C_{1 / D_{a}}$ 中で用いる $D_{a}$ は時点 $t-1$ において計算されたものであることに 注意されたい.

$D_{a}$ は識別器の出力確率を表すから, $0 \leq D_{a} \leq 1$ である。 スタイル付与度 $D_{a}\left(x_{\leq t-1}\right)$ が 0 に近づく ほど， $C_{1 / D_{a}}^{\prime}$ は平坦な確率分布になる. その結果,式 12 において相対的にスタイル付与度 $D_{a}\left(x_{\leq t}\right)$ の 高い単語が生成されやすくなる. スタイル付与度 $D_{a}\left(x_{\leq t-1}\right)$ が 1 に近づくほど, $C_{1 / D_{a}}^{\prime}$ の分布は本来の 確率分布 $C$ に近づく. その結果，式 12 において相対的に $C_{1 / D_{a}}^{\prime}\left(x_{t} \mid I, x_{\leq t-1}\right)$ が優先され, 画像の内容に 沿った単語が出力されやすくなる。

## 3.3 学習と推論

学習時には，スタイル付きキャプションとスタイ ルなしキャプションを用いて, 文スタイル識別器 $D_{a}$ を学習する．推論時には，式 12 に基づいてデ コードを行う. 本来であれば， $p\left(x_{t} \mid I, a, x_{\leq t-1}\right)$ を得 るために，モデル $C$ の語彙 $\mathscr{V}$ 中の単語 $x_{t} \in \mathscr{V}$ すべ てについて $D_{a}\left(x_{\leq t}\right)$ を計算する必要がある. 先行研究の FUDGE と同様，計算を効率的に行うために， $C\left(x_{t} \mid I, x_{\leq t-1}\right)$ の出力確率が高い順に $k$ 個を抽出し,抽出した単語についてのみ， $D_{a}\left(x_{\leq t}\right)$ を計算する。 それ以外の単語については, $D_{a}\left(x_{\leq t}\right)=0$ であると みなす。

## 4 実験

【実 験 設 定: データセット】 SentiCap [6], FlickrStyle10K [7]を用いた. 前者には positive, negative の，後者には humorous, romantic のスタイル付 きキャプションが含まれている. SentiCap データ セットは訓練データ, 検証データ, テストデータ に既に分かれている2)ため，その分け方に従った。

2）訓練，検証，テストの順に，positive キャプションが 2380 , 493，2019 件，negative キャプションが 2039，429，1509 件と
FlickrStyle10K データセットは，一部のデータ（訓練 データ 7000 件）のみが公開されている. 本研究で は，この 7000 件のデータセットを再度訓練データ $(72 \%)$, 検証データ $(18 \%)$, テストデータ $(10 \%)$ に ランダムに分割した。

【実験設定: モデル】事前学習済み画像キャプション 生成器として, CATR ${ }^{3)}$ を用いた。文スタイル識別器には, 入力次元数 768 , 隠れ状態次元数 300 の 1 層GRUを用いた. CATR は，トークナイズ手法とし $\tau$, huggingface transformers [13] $の$ bert-base-uncased 4) 相当のものを使用している．そのため GRU にお ける単語埋め込みべクトルは bert-base-uncased の学習済みベクトルを利用した。

【実験設定: 手法】ベースラインとして，事前学習済み画像キャプション生成器のみによる推論 （original）を採用し，式 6 による推論（FUDGE），式 12 による推論手法 (dynamic) と比較した. デコード 方法には，条件付き文生成の先行研究で採用されて いる貪欲法を用いた。推論を効率的に行うため，文 スタイル識別器 $D_{a}$ に入力する単語は，キャプショ ン生成器 $C$ の出力確率の高い 200 単語に限った.

【実験設定: 学習・推論・評価】訓練データを用いて,文スタイル識別器のみを学習する。検証データを 用いて算出したクロスエントロピー損失が最も低 いものを最良モデルとして選び，推論に利用した。評価指標としては，BLEU-1 (B-1), BLEU-3 (B-3) [14], METEOR (M) [15], ROUGE_L (R) [16], CIDEr (C) [17], SPICE (S) [18], discriminator score (dsc), classification score (cls), perplexity (ppl), Self-BLEU-4 (SB-4) [19] を 用いた.

## 4.1 実験結果

生成キャプションの定量的評価を表 1 に示す. 4 データ全てにおいて, discriminator score, classification score の値が original, FUDGE に比べて改善している. このことから，提案手法によりスタイルが付与され やすくなっていることがわかる.

dynamic はスタイルが付与されやすいが，参照文 との比較により評価を行う指標（BLEU，METEOR， ROUGE_L，CIDEr，SPICE）のほとんどでベースラ インを下回った. 提案手法において, 生成器 $C$ の影響が弱まると画像に沿ったキャプションが生成さ れにくくなることが主な原因であると思われる。ま

表 1 生成キャプションの評価. discriminator score は, 文スタイル識別器 $D_{a}$ の文末の出力の平均值である. classification accuracy では，文スタイル識別器 $D_{a}$ とは別に，完成文のみを入力として文スタイルを持っているかどうかを判定する文 スタイル識別器を, BERT に訓練データを用いて学習した. テストデータを 1 文ごとに識別器に入力し, 出力確率が 0.5 以上となるものの割合を求めた。 perplexity は，事前学習済みキャプション生成器 $C$ によって計算した。

discriminator score
positive reference
positive pred dynamic
positive pred fudge
positive pred original
negative reference
negative pred dynamic
negative pred fudge
negative pred original

図 1 キャプションの生成結果の例. 生成に成功した例と生成に失敗した例を一つずつ挙げる. デコード時にスタイル識別器 $D$ が出力した確率を単語ごとに色を付けることで表しており，色と確率の対応関係は図中の discriminator score が表 している.

た，スタイルの付与に大きく寄与する単語であって も，その単語が参照文に存在しない場合指標が改善 しにくいことも原因の一つであると考えられる. dynamic の手法を用いた場合， METEOR による 評価は, positive データで original, FUDGE の手法 を, negative データで original の手法を上回った. METEOR は参照文の類義語を考慮して評価を行う ため，スタイルの付与に寄与する単語が評価されや すいことが理由として挙げられる。

perplexity は dynamic が最も高く, Self-BLEU は dynamic が最も低い.このことは, dynamicでは生成 されるキャプションが事前学習モデルにより生成さ れるものとは異なり，より多様になっていることを 示唆している.

positive, negative のスタイル識別器を用いて生成 した結果の一例を図 1 に示す. 2 つの画像とも， FUDGE の生成文はスタイルの付与に失敗している. その一方で, dynamic は original, FUDGE とは異なる 文を生成している。上の画像では，"beautiful"とい う positive な単語が出現しており，スタイルの付い たテキストを生成できている。一方で，下の画像の
ように，生成に失敗したものもある. dynamic の推論では，計算を効率的に行うために，キャプション 生成器 $C$ の出力確率上位 200 語のみを文スタイル 識別器 $D_{a}$ に入力している。この上位 200 語にスタ イルの強い単語が含まれない場合であっても，この 200 語から単語を生成する必要があるため，スタイ ルづけの弱い単語が生成される可能性がある. その ような生成が続くと，画像の内容に沿わず，かつス タイルづけの弱い文が生成される.

## 5 おわりに

本研究では，事前学習済み画像キャプション生成器の出力と, 文スタイル識別器の出力を混合し て，所望のスタイル属性を持つキャプションを生成 した. また，動的 Softmax Temperature を新たに提案 し，スタイルが生成文に付与されやすくなることを 確認した. 生成文の主観的評価と，条件付きキャプ ション生成の先行研究との比較評価が今後の課題で ある.

## 参考文献

[1] Kevin Yang and Dan Klein. FUDGE: Controlled Text Generation With Future Discriminators. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3511-3535. Association for Computational Linguistics.

[2] Ari Holtzman, Jan Buys, Maxwell Forbes, Antoine Bosselut, David Golub, and Yejin Choi. Learning to Write with Cooperative Discriminators. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1638-1649. Association for Computational Linguistics.

[3] Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: A simple approach to controlled text generation. In International Conference on Learning Representations.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

[5] Ben Krause, Akhilesh Deepak Gotmare, Bryan McCann, Nitish Shirish Keskar, Shafiq Joty, Richard Socher, and Nazneen Fatema Rajani. GeDi: Generative Discriminator Guided Sequence Generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 4929-4952. Association for Computational Linguistics.

[6] Alexander Mathews, Lexing Xie, and Xuming He. SentiCap: Generating image descriptions with sentiments. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16, pp. 3574-3580. AAAI Press.

[7] Chuang Gan, Zhe Gan, Xiaodong He, Jianfeng Gao, and Li Deng. StyleNet: Generating Attractive Visual Captions with Styles. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 955-964.

[8] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: Common Objects in Context. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, Computer Vision- ECCV 2014, Lecture Notes in Computer Science, pp. 740-755. Springer International Publishing.

[9] Alexander Mathews, Lexing Xie, and Xuming He. SemStyle: Learning to Generate Stylised Image Captions Using Unaligned Text. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 85918600 .

[10] Cheng-Kuan Chen, Zhufeng Pan, Ming-Yu Liu, and Min Sun. Unsupervised Stylish Image Description Generation via Domain Layer Norm. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 81518158 .

[11] Longteng Guo, Jing Liu, Peng Yao, Jiangwei Li, and Hanqing Lu. MSCap: Multi-Style Image Captioning With Unpaired Stylized Text. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4199-4208.

[12] Wentian Zhao, Xinxiao Wu, and Xiaoxun Zhang. MemCap: Memorizing Style Knowledge for Image Captioning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 12984-12992.

[13] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, prefix=von useprefix=true family=Platen, given=Patrick, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: Stateof-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45. Association for Computational Linguistics.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics.

[15] Satanjeev Banerjee and Alon Lavie. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72. Association for Computational Linguistics.

[16] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics.

[17] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based image description evaluation. In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4566-4575.

[18] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: Semantic Propositional Image Caption Evaluation. In Bastian Leibe, Jiri Matas, Nicu Sebe, and Max Welling, editors, Computer VisionECCV 2016, pp. 382-398. Springer International Publishing.

[19] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR '18, pp. 10971100. Association for Computing Machinery.
 松田 洋之 ${ }^{1}$ 大谷 まゆ ${ }^{2}$ 脇本 宏平 ${ }^{2}$ 黒田 和矢 ${ }^{2}$ 中山 英樹 1 1 東京大学大学院情報理工学系研究科 2 株式会社サイバーエージェント \{matsuda, nakayama\}@nlab.ci.i.u-tokyo.ac.jp \{otani_mayu, wakimoto_kohei, kuroda_kazuya\}@cyberagent.co.jp  