# 敵対的生成ネットワークを用いて抽出した 画像の構造情報に基づく画像キャプション生成

田辺雄大 ${ }^{1}$ 綱川隆司 1
1 静岡大学大学院 総合科学技術研究科 情報学専攻
tanabe.yudai.17@shizuoka.ac.jp tuna@inf.shizuoka.ac.jp

## 概要

画像キャプション生成タスクは画像認識と自然言語処理が含まれる複雑なタスクである。本論文では 画像認識の部分に生成モデルである GANを応用す る。対象の画像を GANを用いて再構成し、再構成 した画像から画像の内部表現を得る。これによりラ ンダムで特徵量を得た場合よりも良い性能を出し た。また、画像を再構成することにより、再構成す る前のデータセットよりもキャプションモデルを 変化させた場合の影響が大きくなった。これにより GAN での再構成によって空間的に画像を捉えるよ うになったことの示唆が得られた。

## 1 はじめに

入力された画像の説明文を生成する画像キャプ ション生成は画像認識とその画像に対する自然言語処理を扱う人工知能の研究分野として注目されてい る。画像処理においてはオブジェクトの検出と認識 が必要であり、また、どのような状況なのか、その オブジェクトの特性はどのようなものか、それらの 相互作用は何かも理解する必要がある。ある言語の 文として正しいテキストを生成するためにはその言語の構文的・意味的な知識が必要である。

機械が画像を理解するためには画像の特徴をど のように取得するかに大きく依存する。画像の特徴抽出には従来の機械学習ベースの手法と、深層学習 ベースの手法に分けられる。

従来の機械学習ベースの手法では LBP[1] SIFT[2], HOG[3] などの特徴や、それらの特徴の組 み合わせが広く使われている。入力データから特徵 を抽出し、サポートベクターマシーン (SVM)[4] な どの分類器に入力することでオブジェクトを判別 する。

一方、深層学習ベースの手法では大規模な画像や動画のデータセットから自動で特徴を学習 するため、多様な入力に対応できる。例として、画像からの特徵抽出には CNN(Convolutional Neural Networks)[5] が、広く用いられる。CNNでの処理に 続いてキャプション生成には RNN(Reccurent Neural Networks) が一般的である。

近年頻繁に用いられる生成モデルである GAN(Generative Adversarial Nets) は画像などの生成 タスクで大きな成功を収めている。GAN は生成器 と、生成器から生成されたものが本物か偽物かを見分ける識別器によって構成されている。GANを画像キャプション生成に応用した手法ではキャプショ ン生成モデルを生成器とし、生成されたキャプショ ンを評価する識別器を交互に評価するために敵対的学習を行った [12]。この手法により従来の強化学習 ベースの画像キャプション生成モデルよりも良い性能となった。さらにその過程でよく学習された識別器は画像キャプションの評価指標としても利用す ることができる。GAN の学習方法や識別器を画像 キャプション生成タスクに応用する研究は行われて いる。本研究では GAN を画像処理部分に応用する ことによるキャプション生成への影響を調査する ため、GANを画像処理部分に応用する手法を提案 する。

## 2 few-shot part segmentation

GAN の潜在変数を変化させると生成画像も変化 するという研究もあり、GAN の各層から抽出する内部表現は生成画像と密接に関係している。Tritrong ら [10] の研究ではその内部表現を利用することに よってセマンティック情報を保持することができる のではないかと仮定された。Tritrong ら [10] はその 内部表現を利用することによってセマンティック情報を保持することができると仮定し、セマンティッ クパートセグメンテーションによる手法を提案し た。セマンティックパートセグメンテーションとは 画像内のオブジェクトのセグメント化を行うセマン ティックセグメンテーションとは異なり、オブジェ クト内のセグメント化するタスクになっている。目

図 1 few-shot part segmentation モデル図 [10]

や鼻・顔のように 2 つの隣接するパーツ間の境界が 曖昧なことがあるためセマンティックセグメンテー ションよりも難しいタスクになっている。 モデルの概要図が図 1 である。

1. 対象となるドメインのデータセットで GANを 学習

2. 学習済み GANを用いて画像の内部表現を生成
3. 2 で生成した画像に手動でアノテーション

4. 内部表現を入力として few-shot セグメンテー ション
5. 4 において新にデータセットを作成し、新たに セグメンテーションマップを予測

GAN には StyleGAN2 が用いられ、few-shot ネット ワークには評価実験の結果から CNN が採用されて いる。内部表現の抽出は 1 のように、生成器の全て の層から活性化マップを抽出し、それらを最大次元 ヘアップサンプリングし連結することによって得 る。この内部表現は生成された各画像にのみ有效で あり、テスト画像には使用することができないが、任意のテスト画像を生成する潜在変数を最適化する ことで同様に内部表現を得ることができる。

これらの内部表現を利用し学習した結果、非常に 少ない数のラベル付きデータでパートセグメンテー ションを可能にし、10～50 倍のラベルを必要とする 完全教師有りの手法と同程度の性能を出した。本研究により、GAN が画像を生成する際に画像の構造情報を学習していることの示唆を与えた。筆者はこ の技術に着目し、GAN の生成器が保持している画像の構造情報をキャプション生成モデルに入力する ことで、よりキャプションに画像の構造情報が反映 された結果となることに期待した。

## 3 提案手法

提案手法のモデル図が図 2である。提案手法は GANを用いて画像から内部表現を抽出するタスク とキャプション生成モデルを用いて内部表現から

れる。

## 3.1 画像投影器

データセットの画像を GAN で生成するための潜在変数を得る。StyleGAN2[8] では与えられた画像に 対応する潜在変数を得る際に、拡張などを行うこと なく元の潜在空間から潜在変数を得る。最適化の際 に潜在変数にランダムノイズを加え、そのノイズの 最適化も行う。

元画像と再構成画像の LPIPS[13] 距離を $D_{\text {LPIPS }}\left[\boldsymbol{x}, g\left(\tilde{g}^{-1}(\boldsymbol{x})\right)\right]$ として計算し、画像の類似度とする。ここで $x$ は対象の画像、 $\tilde{g}^{-1}$ は近似投影演算を表す。

## 3.2 画像からの内部表現抽出

ベースライン: Rennie ら [11] の研究では 101 層の Resnet-101 で特徴量を抽出している。Attention モデ ルでは最後の畳み込み層で画像を符号化し、出力が $14 \times 14 \times 2048$ のサイズになるように最大プーリン グを行う。後述するキャプション生成モデルに FC モデルを用いる場合は出力層を空間的に平均化する ことで 2048 次元の特徴量を得る。

提案手法: Tritrong ら [10] の研究では、生成器の各層からから $a_{1}, a_{2}, \ldots, a_{n}$ のように活性化マップを抽出する。さらにこれらを以下の式で結合する:

$
F=\mathbb{U}\left(a_{1}\right) \oplus_{c} \mathbb{U}\left(a_{2}\right) \oplus_{c} \ldots \mathbb{U}\left(a_{n}\right)
$

ここで、 $U()$ は画像サイズに空間的にアップサンプ リングする関数であり、 $\oplus_{c}$ はチャンネル次元に連結 する処理である。

提案手法ではキャプションモデルの入力やベース ラインの次元数に合わせるためアップサンプリング ではなく、14 × 14 に次元数を整え各層を連結する。提案手法では学習済み GAN の生成器を用いて画像から特徴量を抽出する。まず初めに対象となるド メインの画像群で GANを学習し、そのドメインの 画像を生成するモデルを作成する。次にキャプショ ン付きデータセットの画像を画像投影器に入力し、学習済み GAN に入力するための潜在変数を取得す るとともに、学習済み GAN の生成器を用いて画像 の再構成を行う。そしてその潜在変数を同様の学習済み GAN の生成器に入力し、内部表現を得る。 このようにして画像から対応する内部表現を抽出 する。

図 2 提案手法のモデル図

## 3.3 キャプション生成モデル

FC モデル: 入力画像を CNN などで特徴量を取得 し、線形射影で埋め込む。単語はワンホットベクト ルで表現され、同様の次元数の線形埋め込みで埋 め込まれる。このモデルではまず単語が生成され、 LSTM にフィードバックされる。モデルのパラメー タを $\theta$ とすると教師データが与えられたときのクロ スエントロピー誤差を損失関数 $L(\theta)$ として最小化 する：

$
L(\theta)=-\sum_{t=1}^{T} \log \left(p_{\theta}\left(w_{t}^{*} \mid w_{1}^{*}, \ldots w_{t-1}^{*}\right)\right)
$

Attention モデル (Att2in2): Attention モデルは各タ イムステップで画像の特定の領域に焦点を当てるた めに入力された空間的特徴を動的に再重み付けす る。Xu ら [9]によるキャプションのための Attention モデルのアーキテクチャを修正し、LSTM のセルに のみ Attention によって得られた特徵量を入力する。式 (1)と同様の損失を最適化する。

## 4 実験

## 4.1 データセット

画像の内部表現を抽出するための GAN の学習に は BIRDS450[7] という 450 種類の鳥が含まれるデー タセットを使用した。BIRDS450 のうち、GAN の学習には学習用の 70626 枚を使用した。

本論文でのキャプションモデルの学習には全て CUB-200(Caltech-UCSD Birds-200-2011)を使用した。 このデータセットは 200 のサブカテゴリからなる 学習用 5994 枚、テスト用 5794 枚の合計 11788 枚と なっている。各画像には 10 個のキャプションが付 けられており、10 単語以上の文となっている。語彙 は 5 個以下の単語を削除した。

提案手法では全てのデータセットの GAN による 再構成を行う。CUB-200をGAN で再構成した画像
を用いてベースラインモデルの学習も行い、提案手法と比較する。

評価指標は BLEU、METEOR、ROUGE-L、CIDEr-D を用いる。

## 4.2 画像の内部表現

画像から特徴量を抽出する方法は 3.2 節 の通りである。ベースラインである ResNet からは FC モデルでは 2048、Attention モデ ルでは $14 \times 14 \times 2048$ 次元である。提案手法からは FC モデルでは各層の次元数が $(512,512,512,512,512,512,512,512,512,256,256,128,128)$ となっているので全て合わせて 5376 次元、Attention モデルでは $14 \times 14 \times 5376$ 次元となる。

また、提案手法と比較するためにランダムで特徴量を生成し比較実験を行う。正規分布から FC モデ ル、Attention モデルそれぞれ 5376 次元、 $14 \times 14 \times$ 5376 次元の特徴量を得る。

## 4.3 実験結果

## 4.3.1画像の再構成

StyleGAN2 によって再構成された画像と元の画像 の LPIPS 距離のヒストグラムが図 3 である。画像の リサイズを行っているため LPIPS の值が高くなって しまう画像がある。画像から潜在変数、潜在変数か ら画像へのマッピングが複雑なため再構成が失敗す る例も存在する。

画像の再構成によって元の画像とは異なる画像と なってしまう場合がある。そのような画像にも同様 のキャプションを付けた場合、結果にどのような影響があるかの検証を行う。画像の特徴抽出はベース ラインモデルで行う。

表 1 の 2 行目はテストデータの画像だけを再構成画像に変えた場合、3 行目は学習・テストデータ両方の画像を再構成画像に変えた場合の結果となって
表 1 モデルと特徴量による実験結果

図 3 LPIPS 距離のヒストグラム

いる。テストデータのみ変化させた場合は、どちら も変化させた場合よりも評価指標に大きな差がない ことがわかる。図 4 はベースラインモデルで学習・ テストデータどちらも再構成画像を用いた場合での テストデータの LPIPS と perplexity の散布図である。 これより、再構成画像の LPIPS と perplexity には相関がない、すなわち元画像と再構成画像の差と生成 されたキャプションの精度には相関がない。

## 4.3.2 画像の内部表現抽出方法による実験

画像の内部表現抽出による比較を行う。結果が 表 1 である。FC モデル、Attention モデルどちらも ResNet から得た特徴量の方が良い性能となってい る。データセットに CUB-200 再構成を使ったケー スでは Attention モデルにすることで性能が大幅に 向上するが、CUB-200では向上が見られない。その 結果 CUB-200 で学習した場合と CUB-200 再構成の データセットで学習した Attention モデルの精度が同程度となった。一方、ランダムの特徴量では性能が

図 4 ベースラインモデルでの LPIPS と perplexity

劣化した。提案手法はランダムで特徴量を得た場合 よりも良い性能となっているため提案手法は画像の 意味を持つ特徴量を抽出できていることがわかる。

## 5 結論

本論文では画像キャプション生成タスクの画像か ら特徴量を取得するモジュールにGANを応用する 手法を提案した。GAN が画像生成時に画像の構造 も学習しているという性質を利用し、その画像キャ プション生成への適用について調査した。その結果、本論文では GAN から得た特徴量がランダムで 得た特徴量よりも優れていることが示された。さら に画像を再構成することで画像の特徴量を線形に取得する FC モデルに対して空間的に画像の特徴量を 取得する Attention モデルを適用した場合の精度の向上幅が上昇し、Attention モデルでは精度が FC モデ ルでもとの特徵量を用いた場合と同程度となった。 これにより画像を再構成することで、空間的に画像 を捉えるようになったことの示唆が得られた。

## 参考文献

[1] Ojala, Timo, Matti Pietikäinen, and Topi Mäenpää. ”Gray scale and rotation invariant texture classification with local binary patterns." European conference on computer vision. Springer, Berlin, Heidelberg, 2000.

[2] Lowe, David G. "Distinctive image features from scaleinvariant keypoints." International journal of computer vision 60.2 (2004): 91-110.

[3] Dalal, Navneet, and Bill Triggs. "Histograms of oriented gradients for human detection." 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). Vol. 1. Ieee, 2005

[4] Boser, Bernhard E., Isabelle M. Guyon, and Vladimir N. Vapnik. "A training algorithm for optimal margin classifiers." Proceedings of the fifth annual workshop on Computational learning theory. 1992.

[5] LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.

[6] Hossain, MD Zakir, et al. "A comprehensive survey of deep learning for image captioning." ACM Computing Surveys (CsUR) 51.6 (2019): 1-36.

[7] https://www.kaggle.com/datasets/gpiosenka/100-birdspecies

[8] Karras, Tero, et al. "Analyzing and improving the image quality of stylegan." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.

[9] Xu, Kelvin, et al. "Show, attend and tell: Neural image caption generation with visual attention." International conference on machine learning. PMLR, 2015.

[10] Tritrong, Nontawat, Pitchaporn Rewatbowornwong, and Supasorn Suwajanakorn. "Repurposing gans for oneshot semantic part segmentation." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021.

[11] Rennie, Steven J., et al. "Self-critical sequence training for image captioning." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

[12] Chen, Chen, et al. "Improving image captioning with conditional generative adversarial nets." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. No. 01. 2019.

[13] Zhang, Richard, et al. "The unreasonable effectiveness of deep features as a perceptual metric." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018
 田辺雄大 ${ }^{1}$ 綱川隆司 1 1 静岡大学大学院 総合科学技術研究科 情報学専攻 tanabe.yudai.17@shizuoka.ac.jp tuna@inf.shizuoka.ac.jp  