# ゲート付き相互注意を用いたエンコーダ・デコーダによる 感情に基づく絵画説明文生成

石川慎太朗杉浦孔明
慶應義塾大学
\{shin.0116,komei.sugiura\}@keio.jp

## 概要

絵画作品鑑賞のバリアフリー化を進める際に，人手を必要とせずに絵画の説明文を生成できれば有用 である．絵画の解釈は鑑賞者の感情と密接な関わり を有するため，説明文は感情に基づいていることが 望ましい. 本研究では，感情ラベルを視覚情報に統合する Affective Visual Encoder を導入した絵画説明文生成モデルを提案する，提案手法においては，感情トークンを用いて画像の領域・グリッド特徴量を 融合し，画像・物体レベルの視覚情報を利用する。 ArtEmis データセットを使用して提案手法の性能を 評価した結果，全ての評価指標において既存手法を 上回る性能を得た。

## 1 はじめに

絵画鑑賞においては，視覚障害者へのバリアフ リー化が長年にわたって推進されており [1], 多く の絵画には歴史等の事実に基づいた説明文が付与さ れている。一方，絵画の解釈と鑑賞者の感情との間 には密接な関係性が存在すると指摘されているため [2], 感情が反映された説明文は絵画鑑賞において重要である。しかし，全ての絵画について感情を考慮 した説明文が与えられているわけではない.

そこで本研究では，絵画に対する鑑賞者の感情を 考慮した説明文を生成するモデルを構築する。図 1 に例を示す. 図中の絵画の画像および “excitement” という感情が与えられたときに，鑑賞者の感情の高 ぶりを反映させた “The ships look like they are about to go on an adventure." という説明文を生成することが 期待される。

多くの既存研究 $[3,4]$ は，利用者が指定した感情 に基づく説明文の生成には取り組んでおらず，画像 に関連の深い感情を予測した後，それを追加入力と して説明文の生成に利用するというアプローチを採

図 1 提案手法の概要

用している。しかし，これらの手法においては任意 の感情を入力として受け取ることはできず，感情で 条件付けされた説明文を生成することはできない.

本研究では, Affective Visual Encoder (AVE) を導入 した絵画説明文生成モデルを提案する。提案手法 では，CLIP[5]を使用して画像から抽出したクロス モーダル情報を入力に追加することで，視覚情報を 強化する．以上により，絵画の内容と感情の種類を 適切に反映させた説明文を生成することが期待され る. 図 1 に提案手法の概要を示す. 既存手法と異な る点は，AVEを用いて，感情ラベルを視覚情報に統合する点である.

本研究の貢献を以下に示す.

・ゲート付き相互注意機構を用いて，視覚情報を 感情ラベルで条件付けする AVE モジュールを 提案する。

・エンコーダにおいて，画像の領域・グリッド 特徴量を融合するための感情トークンを導入 する。

## 2 問題設定

本研究で扱うタスクを，Affective Image Captioning (AIC) と定義する，AIC タスクは，絵画と感情が与 えられたときに，絵画の内容および感情の種類に
沿った説明文を生成するタスクである。

当該タスクの入出力を以下のように定義する.
- 入力: 絵画の画像，感情ラベル

・出力: 感情を反映させた絵画の説明文

本論文で使用する用語を以下のように定義する.

・感情: ArtEmis データセットにおいて定義され ている感情ラベル群のうちの 1 つ. 感情ラベル は, "anger" "disgust" "fear" "sadness" "amusement" "awe" "contentment" "excitement" "something else" の計 9 種類存在する。

モデルの評価には，標準的な自動評価尺度であ る BLEU[6], METEOR[7], ROUGE-L[8], CIDEr[9], SPICE[10] を使用する.

## 3 提案手法

提案手法のネットワーク構造を図 2 に示す. ネッ トワークは複数のエンコーダ・デコーダブロックか ら構成される. 各モジュールの詳細については本節 で後述する.

本手法は, Meshed-Memory Transformer (M2)[3] 等 の既存の説明文生成手法と関連が深い. M2 は, QKV 注意機構を使用したエンコーダ・デコーダ型 の構造を有しており, ArtEmis データセット [11] に おいて高い性能が報告されている。本手法は，M2 をもとにしているものの，GRIT[4] 等の他の説明文生成手法にも適用可能である.

## 3.1 入力

ネットワークの入力 $x$ を以下のように定義する.

$
\begin{aligned}
\boldsymbol{x} & =\left.\{X_{\mathrm{grd}}, X_{\mathrm{rgn}}, X_{\mathrm{emo}}, X_{\mathrm{jnt}}\right.\}, \\
X_{\mathrm{grd}} & =\left.\{X_{\mathrm{grd}}^{(i)} \mid i=1,2, \ldots, N\right.\}
\end{aligned}
$

ここに， $X_{\mathrm{grd}}$ はグリッド特徵量, $X_{\mathrm{rgn}} \in \mathbb{R}^{N_{\mathrm{rgn}} \times d_{\mathrm{rgn}}}$ は 領域特徴量, $X_{\mathrm{emo}} \in \mathbb{R}^{d_{\mathrm{emo}}}$ は感情の埋め込み表現, $X_{\mathrm{jnt}} \in \mathbb{R}^{d_{\mathrm{jnt}}}$ は画像のクロスモーダル表現を表す. な お， $X_{\mathrm{grd}}^{(i)} \in \mathbb{R}^{M \times d_{\mathrm{grd}}^{(i)}}$ はバックボーンネットワークか ら得られる $i$ 番目の特徴マップ $s_{t}$ を表し， $N$ はエン コーダのブロック数を表す.

本手法では，事前学習済みの Swin Transformer[12] と CLIP[5]を使用して，それぞれ画像の特徴マッ プとクロスモーダル表現を獲得する。また，Visual Genome データセット [13] で学習済みの Faster RCNN[14] 使用して, 各画像から領域特徴量を抽出 する. さらに，感情ラベル $E$ を全結合層に入力する
ことで，埋め込み表現を獲得する。

## 3.2 Affective Visual Encoder

AVE は複数のブロックから構成される。当該モ ジュールは，モデルへの入力をもとに，感情トーク ンを使用して画像・感情特徴量を融合する。

各エンコーダブロックにおいては，画像と感情の 関係性をモデル化するために相互注意機構を使用 する。

相互注意と自己注意の処理を，行列 $X_{\mathrm{A}}$ および $X_{\mathrm{B}}$ を用いて以下のように定義する。

$
\begin{aligned}
& \operatorname{CrossAttn}\left(X_{\mathrm{A}}, X_{\mathrm{B}}\right)= \\
& \quad \operatorname{softmax}\left(\frac{\left(W_{\mathrm{Q}} X_{\mathrm{A}}\right)\left(W_{\mathrm{K}} X_{\mathrm{B}}\right)^{\top}}{\sqrt{d}}\right)\left(W_{\mathrm{V}} X_{\mathrm{B}}\right), \\
& \operatorname{SelfAttn}\left(X_{\mathrm{A}}\right)=\operatorname{CrossAttn}\left(X_{\mathrm{A}}, X_{\mathrm{A}}\right)
\end{aligned}
$

ここに, $W_{\mathrm{Q}} \in \mathbb{R}^{d_{\mathrm{q}} \times d_{\text {in }}}, W_{\mathrm{K}} \in \mathbb{R}^{d_{\mathrm{k}} \times d_{\text {in }}}, W_{\mathrm{V}} \in \mathbb{R}^{d_{\mathrm{v}} \times d_{\text {in }}}$ はいずれも学習可能な重みである。また，次のエン コーダブロックに入力される情報量を制御するため に，以下のようなゲート構造を導入する。

$
f_{\text {gate }}(X)=X \odot \tanh (W \boldsymbol{h})
$

ここに, $\boldsymbol{h}$ は中間層の出力, $W$ は学習可能な重みで あり，。はアダマール積を表す.

$i$ 番目のエンコーダブロックでは，はじめ に $\boldsymbol{h}_{\text {tok }}^{(i)}=\operatorname{SelfAttn}\left(Z^{(i)}\right)$ という処理を実行する. $Z^{(1)}=Z$ は感情トークンを表す. 次に，グリッド特徵量 $X_{\text {grd }}^{(i)}$ をとに $\boldsymbol{h}_{\text {tok }}^{(i)}$ にゲート付き相互注意演算 を適用する。

$
\boldsymbol{h}_{\text {grd }}^{(i)}=f_{\text {grd_gate }}\left(\operatorname{CrossAttn}\left(\boldsymbol{h}_{\text {tok }}^{(i)}, W_{\text {grd }}^{(i)} X_{\text {grd }}^{(i)}\right)\right)
$

ここに, $\left.\{W_{\mathrm{grd}}^{(i)} \in \mathbb{R}^{d_{\mathrm{enc}} \times d_{\mathrm{grd}}^{(i)}} \mid i=1,2, \ldots, N\right.\}$ は学習可能 な重みであり， $f_{\text {grd_gate }}(\cdot)$ は $f_{\text {gate }}(\cdot)$ と同様の構造を 有する.また，同様の処理により， $X_{\mathrm{rgn}}$ をもとに $\boldsymbol{h}_{\mathrm{rgn}}^{(i)}$ を獲得する. 最後に, $\tilde{\boldsymbol{h}}_{\mathrm{tok}}^{(i)}=\mathrm{FFN}\left(\boldsymbol{h}_{\mathrm{grd}}^{(i)}+\boldsymbol{h}_{\mathrm{rgn}}^{(i)}\right)$ という 処理を実行する.

$X_{\mathrm{emo}}$ および $X_{\mathrm{jnt}}$ は，条件付けモジュールによって 視覚情報に統合される. はじめに，相互注意機構に より $X_{\mathrm{emo}}$ をエンコードした後，以下のように順伝播型ニューラルネットワークに入力する.

$
\boldsymbol{h}_{\mathrm{emo}}^{(i)}=\operatorname{FFN}\left(X_{\mathrm{emo}}\right) \odot \mathrm{FFN}\left(\operatorname{Cross} \operatorname{Attn}\left(X_{\mathrm{emo}}, \tilde{\boldsymbol{h}}_{\mathrm{tok}}^{(i)}\right)\right)
$

続いて, $\tilde{\boldsymbol{h}}_{\text {emo }}^{(i)}=f_{\text {emo_gate }}\left(\boldsymbol{h}_{\text {emo }}^{(i)}\right)$ という処理を実行す る. $f_{\text {emo_gate }}(\cdot)$ は $f_{\text {gate }}(\cdot)$ と同様の構造を有する.ま た，同様の処理により， $X_{\mathrm{jnt}}$ をととに $\tilde{\boldsymbol{h}}_{\mathrm{jnt}}^{(i)}$ を獲得す る. 最後に, $\tilde{Z}^{(i)}=\tilde{\boldsymbol{h}}_{\text {tok }}+\tilde{\boldsymbol{h}}_{\text {jnt }}^{(i)}+\tilde{\boldsymbol{h}}_{\text {emo }}^{(i)}$ という処理に よって出力 $\tilde{Z}^{(i)}$ を獲得する.

図 2 提案手法のネットワーク構造

## 3.3 Decoder

エンコーダと同様に，デコーダも複数のブロッ クから構成される. [3] に従って, 各デコーダブ ロックは，最後のエンコーダブロックの出力のみな らず，全てのエンコーダブロックの出力を考慮し た相互注意演算を実行する. エンコーダの出力群 $\left.\{\tilde{Z}^{(i)} \mid i=1,2, \ldots, N\right.\}$ をもとに，デコーダは説明文を 生成する.

$i$ 番目のデコーダブロックでは，はじめに前のブ ロックの出力 $Y^{(i)}$ をマスク付き自己注意機構 [15] に 入力した後， $\tilde{Z}^{(j)}$ との間で相互注意演算を実行する ことで， $\boldsymbol{h}_{\mathrm{seq}}^{(i, j)}$ を獲得する。なお， $Y^{(1)}=\hat{Y}$ は生成さ れた単語群を表し, 学習中は Teacher Forcing を採用 する. 次に，各レベルの出力をゲート構造に入力し た後，それらを足し合わせる。

$
\tilde{\boldsymbol{h}}_{\text {seq }}^{(i)}=\sum_{j=1}^{N} f_{\text {seq_gate }}^{(i)}\left(\boldsymbol{h}_{\text {seq }}^{(i, j)}\right)
$

$\left.\{f_{\text {seq_gate }}^{(i)}(\cdot) \mid i=1,2, \ldots, N\right.\}$ は $f_{\text {gate }}(\cdot)$ と同様の構造を有 する. 最後に, $\tilde{Y}^{(i)}=\mathrm{FFN}\left(\tilde{\boldsymbol{h}}_{\text {seq }}^{(i)}\right)$ という処理によって 出力 $\tilde{Y}^{(i)}$ を獲得する。なお，損失関数には交差エン トロピー誤差を使用する。

## 4 実験

## 4.1 実験設定

本実験では，AIC タスクにおける提案手法の性能を調査した．モデルの評価には ArtEmis データ セット [11]を使用した. ArtEmis データセットは, WikiArt から収集した 80,381 枚の絵画および 454,684
の感情と説明文のペアから構成される. 語彙サイ ズは 37,250 ，全単語数は $7,229,476$ ，平均文長は 15.9 である. 本実験では， [11] に従って当該データセッ トを分割した。訓練集合，検証集合，テスト集合の サンプル数はそれぞれ 338,777，19,931，39,850であ る. 訓練集合と検証集合を用いてそれぞれモデルの パラメータの更新とハイパーパラメータのチューニ ングを行い，テスト集合によってモデルの性能を測定した。

本手法で使用したエンコーダ・デコーダは, 層数 が 3，隠れ層の次元数が 512， Attention Head の数が 8 であり，感情トークンの数 $N_{\mathrm{tok}}$ は 50 であった. 最適化には Adamを使用し，エポック数は 20 ，バッチ サイズは 32 であった.

提案モデルのパラメータ数は 6800 万であった.学習には，メモリ 32GB 搭載の Tesla V100を 4 台使用し， 12 時間を要した. また，1つの説明文の生成 に要する時間は 0.03 秒であった. 学習中は, 各エ ポックにおいて検証集合およびテスト集合によるモ デルの評価を行い，検証集合において最も METEOR スコアが高かったときのテスト集合におけるスコア を，最終的なモデルのスコアとした。

## 4.2 定量的結果

ベースライン手法との比較に関する定量的結果を 表 1 に示す. 各スコアは， 5 回の実験における平均値および標準偏差を表す. 本実験では，Show Attend Tell (SAT)[16] および M2[3] をべースライン手法とし た.これは，当該手法が代表的な説明文生成手法で あり，ArtEmisにおいて良好な結果が報告されてい るためである.
表 1 ベースライン手法との比較に関する定量的結果

表 2 Ablation studiesに関する定量的結果

2 節で言及した自動評価尺度群のうち, [17]に 従って CIDEr および SPICE を主要評価尺度に定め た。以降は各手法の CIDEr スコアのみに言及する。提案手法は 15.4 ポイントである一方，SAT と M2 は それぞれ 12.8 ポイントと 13.8 ポイントであった. したがって，提案手法は SAT と M2をそれぞれ 2.6 ポイントと 1.6 ポイント上回った.

## 4.3 Ablation Studies

Ablation Studies には，以下の 2 条件を定めた.

(i)W/o conditioning modules: 条件付けモジュール を用いた感情・視覚情報の統合手法の代わり に，各エンコーダブロックの最後でそれぞれの 特徵量を単純に連結する場合に対して，性能差 を調査した。

(ii)More/fewer affective tokens: $N_{\text {tok }}$ を増減させるこ とで，性能への影響を調査した。本実験では， $N_{\text {tok }}$ が 10，25，100，200 の場合の性能を比較 した.

表 2 に結果を示す。“CM”は “Conditioning Module” を表す。(i) の条件では CIDEr スコアが 14.5 であっ た. full の条件と比較してスコアが 0.8 ポイント下回っていることから，条件付けモジュールが感情の 埋め込み表現と画像特徴量のモデル化に有効である と考えられる。また，(ii)-a，(ii)-b，(ii)-c，(ii)-dの条件では，CIDEr スコアがそれぞれ 15.0，15.4，15.6， 15.0 であった. したがって，提案手法は感情トーク ンが 100 のときに最良のスコアを達成した。 (a)

Fear

Amusement
Ref.: This guy has a very scary look on his face, like he's a mysterious stranger who is up to no good.

M2: The man in the painting looks like he is angry about something.

Ours: This man looks like he's up to no good since he's wearing a suit.

Ref.: The sway of the trees seems like they are alive. The colors are vibrant and lively.

M2: The tree looks like it's growing out of the ground.

Ours: The trees look like they are dancing in the wind.

図 3 定性的結果

## 4.4 定性的結果

図 3 に定性的結果を示す. 図 3-(a)では, $E=$ =“fear” であった。提案手法は “This man looks like he’s up to no good since he's wearing a suit." という説明文を生成 したのに対し，ベースライン手法は “The man in the painting looks like he is angry about something." という 説明文を生成した。ベースライン手法と異なり，提案手法は指定された感情である “fear”を適切に反映 できたと考えられる。

図 3-(b) では， $E=$ =“amusement”であった. 提案手法の生成文は “The trees look like they are dancing in the wind.”であったが，ベースライン手法は “The tree looks like it's growing out of the ground." と生成した.提案手法はベースライン手法に比べて，より鑑賞者の感情を考慮した説明文を生成できたと考えら れる。

## 5 おわりに

本研究では，絵画に対する鑑賞者の感情を考慮し た説明文を生成するモデルを構築した. 本研究の貢献を以下に示す.

・ゲート付き相互注意機構を用いて，視覚情報を 感情ラベルで条件付けする AVE モジュールを 提案した。

・エンコーダにおいて，画像の領域・グリッド 特徵量を融合するための感情トークンを導入 した.

・ArtEmis データセットにおいて，提案手法が ベースライン手法を全ての評価尺度で上回る性能を得た。

## 謝辞

本研究の一部は，JSPS 科研費 $20 \mathrm{H} 04269$ ，JST CREST，NEDO の助成を受けて実施されたもので ある.

## 参考文献

[1] Saki Asakawa, João Guerreiro, Dragan Ahmetovic, et al. The Present and Future of Museum Accessibility for People with Visual Impairments. In ASSETS, pp. 382-384, 2018.

[2] Leo Tolstoy and Aylmer Maude. What Is Art? Oxford University Press, 1959.

[3] Marcella Cornia, Matteo Stefanini, Lorenzo Baraldi, and Rita Cucchiara. Meshed-Memory Transformer for Image Captioning. In CVPR, pp. 10578-10587, 2020.

[4] Van-Quang Nguyen, Masanori Suganuma, and Takayuki Okatani. GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features. In ECCV, 2022.

[5] Alec Radford, Jong Wook Kim, Chris Hallacy, et al. Learning Transferable Visual Models From Natural Language Supervision. In ICML, pp. 8748-8763, 2021.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[7] Satanjeev Banerjee and Alon Lavie. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In ACL, pp. 65-72, 2005.

[8] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In ACL, pp. 74-81, 2004.

[9] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based Image Description Evaluation. In CVPR, pp. 4566-4575, 2015.

[10] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: Semantic Propositional Image Caption Evaluation. In ECCV, pp. 382-398, 2016.

[11] Panos Achlioptas, Maks Ovsjanikov, Kilichbek Haydarov, Mohamed Elhoseiny, et al. ArtEmis: Affective Language for Visual Art. In CVPR, pp. 11569-11579, 2021.

[12] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, et al. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. In ICCV, pp. 10012-10022, 2021.

[13] Ranjay Krishna, et al. Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations. IJCV, Vol. 123, No. 1, pp. 32-73, 2017.

[14] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In NeurIPS, Vol. 28, 2015.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, et al. Attention is all you need. In NeurIPS, Vol. 30, 2017.

[16] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, et al. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. In ICML, pp. 2048-2057, 2015.

[17] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, et al. From Show to Tell: A Survey on Deep Learning-based Image Captioning. arXiv preprint arXiv:2107.06912, 2021.

[18] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jer- ret Ross, and Vaibhava Goel. Self-critical Sequence Training for Image Captioning. In CVPR, pp. 7008-7024, 2017.

[19] Simao Herdade, Armin Kappeler, Kofi Boakye, and Joao Soares. Image Captioning: Transforming Objects into Words. In NeurIPS, Vol. 32, 2019.

[20] Luowei Zhou, Hamid Palangi, Lei Zhang, et al. Unified Vision-Language Pre-Training for Image Captioning and VQA. In AAAI, Vol. 34, pp. 13041-13049, 2020.

[21] Aly Magassouba, Komei Sugiura, and Hisashi Kawai. Multimodal Attention Branch Network for PerspectiveFree Sentence Generation. In CoRL, pp. 76-85, 2020.

[22] Tadashi Ogura, et al. Alleviating the Burden of Labeling: Sentence Generation by Attention Branch EncoderDecoder Network. IEEE RA-L, Vol. 5, No. 4, pp. 59455952, 2020.

[23] Motonari Kambara, et al. Case Relation Transformer: A Crossmodal Language Generation Model for Fetching Instructions. IEEE RA-L, Vol. 6, No. 4, pp. 8371-8378, 2021.

[24] Cesc Chunseong Park, Byeongchang Kim, et al. Attend to You: Personalized Image Captioning with Context Sequence Memory Networks. In CVPR, pp. 895-903, 2017.

[25] Cesc Chunseong Park, et al. Towards Personalized Image Captioning via Multimodal Memory Networks. IEEE Trans. PAMI, Vol. 41, No. 4, pp. 999-1012, 2018.

[26] Yuya Miyoshi, et al. Automatic Affective Image Captioning System using Emotion Estimation. Trans. of Japan Society of Kansei Engineering, Vol. 18, , 2019.

[27] Yiming Zhang, Min Zhang, Sai Wu, and Junbo Zhao. Towards unifying the label space for aspect-and sentencebased sentiment analysis. In ACL, pp. 20-30, 2022.

[28] Marten De Raedt, Fréderic Godin, Chris Develder, et al. Robustifying sentiment classification by maximally exploiting few counterfactuals. In EMNLP, 2022.

[29] Tomoyuki Kajiwara, et al. WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations. In NAACL, pp. 2095-2104, 2021.

## A 関連研究

説明文生成の分野においては，これまで多くの研究が行われている $[16,18,19,20]$. 代表的なサーべ イ論文としては [17] が挙げられる。

Dense Captioning は，自然言語に基づき，画像を領域単位で密に説明するものである。特に $[21,22,23]$ は，画像中の物体に関する把持文を生成するモデル を提案している. Personalized Captioning は, 利用者 が有する知識や語彙，文体等を考慮した説明文の生成に取り組むものである $[24,25,26]$.

自然言語と感情に関する研究も多く実施されて いる．DPL[27] は，入力文に対してアスペクトベー スの感情分類を行う手法である. [28] は，反事実的 サンプルを訓練集合に加えることで，感情分類器の 頑健性を向上させる研究である．また，WRIME[29] は感情分析の分野における標準データセットであ り，SNS 上の日本語の投稿に対する書き手および読 み手の感情から構成される。
 石川慎太朗杉浦孔明 慶應義塾大学 \{shin.0116,komei.sugiura\}@keio.jp  