# 抽象度を制御可能な エンティティレベルの画像キャプション生成

加藤駿弥 Chenhui Chu 黒橋 禎夫
京都大学
\{s-kato, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

画像キャプション生成は近年盛んに研究されてき たが, 先行研究は正確性, 多様性, 差別化を重視し, 抽象度は軽視してきた. 本研究では, Inverse Document Frequency (IDF) とエンティティレベルの含意関係認識を用いて, 抽象度を制御可能なエンティティレべ ルの画像キャプション生成手法を提案する. 含意関係認識を用いて抽象度を評価したところ, 先行研究 と比べ, 提案手法は抽象度をより制御可能になり, 具体的なキャプションの生成において $15.7 \%$ の精度向上が確認された。

## 1 はじめに

画像キャプション生成は与えられた画像を正し く説明する分を生成するタスクであり, 物体, 物体間の関係などを正しく理解する必要がある. また,画像全体のキャプションを生成する研究 [1] だけで なく, Dense Captioning のようにエンティティに対し てキャプションを生成する研究 $[2,3,4]$ も行われて いる.

従来のキャプション生成に関する研究は,より正確もしくは多様なキャプションを生成することに焦点を当てており, 抽象度の制御を軽視してきた. しか し, 人間は視覚情報を言語化するとき,物体認識を行 うだけではなく, 常識などをもとに認識した物体や 物体間の関係を具体的な概念と結びつけて形容す る. 例えば, 図 1 のようにスーツを着てネクタイを締 め, 革靴を履いている男性は, 常識をもとに「男性」 だけではなく「ビジネスマン」という概念と結びつ けられる。

本研究では, エンティティレベルにおける物体認識のようなより抽象的なキャプションと常識推論が いるより具体的なキャプションの生成を制御する ことを目指す. そのために, IDF と含意関係認識を

図 1 抽象的,具体的なキャプションの例

用いた抽象度の制御するためのデータセットの構築手法を提案する. 提案手法の概要を図 2 に示す.具体的には，まず, エンティティには複数のキャプ ションが付与されており，これを 1 つの文書とみな してキャプション生成に含まれる uni-gram の IDF を計算する。次に，あるエンティティにつけられた 複数のキャプションの中で, IDF とその他のキャプ ションに対して含意関係である割合の和が高いもの を Fine(具体的), そうでないものを Coarse(抽象的) で あるとラベル付けすることで, 各エンティティにお ける Coarse/Fine なキャプションを生成するための データセットを構築する。

実験の結果, 先行研究と比べてより抽象度を制御可能になったことを示した. そして, 先行研究では単一エンティティのみで学習していたが, 本研究では 複数エンティティも含めて学習させ, 単一エンティ ティと同様に抽象度を制御可能になったことを示 した.

## 2 前提知識

エンティティレベルの画像キャプション生成に は, $\mathrm{Li}$ ら [5] の研究がある. まず, $\mathrm{Li}$ ら [5] はエンティ ティレベルの多様なキャプション生成というタス クを提案した.このタスクはエンティティのキャプ ションを生成するタスクで, 複数の正解キャプショ ンがある点で Dense Captioning とは違う.

また, ターゲットエンティティと同じ画像に含ま れる他のエンティティ (neighbors) の情報を考慮す

図 2 提案手法の概要

図 3 E-C2F のアーキテクチャ

るための E-Attn という新たな Attention 機構を提案 し，それを組み込んだ E-C2F というモデルを提案し た. E-C2F のアーキテクチャを図 3 に示す. E-C2F は 2 階層構造のモデルであり, Coarse と Fine という 2 つの抽象度の違うキャプションを生成できる.この 2 階層構造により,データセットのキャプションを Coarse と Fine に分割する必要があるが, Li ら [5] は キャプションごとの bi-gram の IDF の和を用いて分割した. E-C2F は提案されたエンティティレベルの 多様なキャプション生成タスクにおいて SOTAを達成した. 注意点として Li ら [5] は複数エンティティ はデータセットから除いた.

## 3 提案手法

## 3.1 IDF と含意関係認識を用いた分割

先行研究には以下の 3 つの問題点がある.

・Li ら [5] は, 同一エンティティに付与されている キャプションからそれらのペアを全通り作り， ペアの中で bi-gram の IDF の和が小さいキャプ ションを Coarse, 大きいキャプションを Fine と
した. しかしこの手法は, あるペアでは Coarse となったキャプションが, 別のペアでは Fine と なってしまうことがあり,データセットに一貫性がない.

・IDF の和で計算しているため, キャプションの 語数が長いほどスコアが高くなる.

・bi-gram の IDF を計算しているため, キャプショ ンが 1 単語だとスコアが 0 となる.

これらを改善するため, uni-gram の IDF と含意関係認識を用いた Coarse, Fine の分割手法を提案する.

## 3.1.1 IDF

先行研究では, エンティティに付与されている キャプションを 1 つの文書とみなし, bi-gram の 和を用いて Coarse, Fineを分割したが, 本研究では uni-gram のIDFを用いる.

## 3.1.2 含意関係認識

キャプションの抽象度の高低を予測するため,含意関係認識を用いる. 既存の含意関係認識モ デルは文で事前学習されているため, エンティ ティのデータセットでの fine-tuning が必要であ る. 本研究では, エンティティの含意関係認識 データセットとしてChu ら [6] のデータセットを 用いる.このデータセットは 2 つのキャプショ ン (pharse1, phrase2) を alternation, forward entailment, reverse entailment, equivalence, independence の 5 クラス に分類したが, NLI は neutral, entailment, contradiction の3クラスであるのでそのまま fine-tuning できない. ここでは, 表 1 のようにマッピングを行った. 表中の Forward はデータセットの phrase1 を前提, phrase2 を 仮説にしたもので, Reverse は逆である.

図 4 複数エンティティの定義 (緑: ターゲットエンティ ティ,ピンク: neighbors)

## 3.1.3 Coarse, Fine の分割

まず Chu ら [6] がアノテーションしたデータにラ ベルを付与する.アノテーションしてないデータに ついては, fine-tuning した RoBERTa でラベルを付与 する.ここで, Chu らの手法と同様に stop words は除外する. 次に, 含意関係認識において,キャプション が前提のとき, 含意関係となる割合を計算する. さら に, uni-gram の IDF を計算し, キャプション中の単語 の IDF の最大値をIDF のスコアとする.ここで含意関係認識と IDF の寄与が同一になるようにIDF のス コアを正規化する. 最後に含意関係の割合とIDF の スコアの和を計算する。

## 3.2 複数エンティティのキャプション生成

次に複数エンティティに焦点を当てる. $\mathrm{Li}$ ら [5] は複数エンティティはデータセットから除いてい る. 本研究では, 図 4 のように, ターゲットエンティ ティを複数の bounding box 結合したものと定義し， neighbors はその他のエンティティにターゲットの複数エンティティを加えたものと定義する。

## 4 実験

## 4.1 実験設定

本研究では, 画像からのエンティティの特徴べク トル抽出は ResNet-152[7] を用いた. データセット は Flickr30k Entities[8]を用いた. Flickr30k Entitiesに表 2 データセットの統計と fine-tuning の結果

は約 3 万枚の画像があり,それぞれの画像に 5 つの キャプションが付与されている. そしてキャプショ ン中のフレーズと画像中のエンティティが紐づけ られている. エポック数は 40 で統一し, 他の設定は Li ら [5] に従った. 本研究では正確性, 多様性, 抽象度の評価をした. 正確性の評価指標として, BLEU, METEOR, ROUGE_L, CIDEr を用いた. 多様性の評価指標として, LSA, self-CIDEr, n-gram, DIV-nを用いた.抽象度の評価指標として, 含意関係の割合を用いた。 モデルには 4.2 で fine-tuning した RoBERTaを用いた.

## 4.2 含意関係認識のための fine-tuning

含意関係認識モデルには SNLI[9], MNLI[10], FEVER-NLI[11], ANLI (R1, R2, R3)[12] で事前学習済 み RoBERTa-Large ${ }^{1)}$ を用いた. データセットの統計 と fine-tuning した結果が表 2 である. fine-tuning 前の RoBERTa の精度は $67 \%$ であったが, fine-tuning によ り,テストデータにおいて $91 \%$ の精度を達成した。

## 4.3 単一エンティティのキャプション生成

Coarse, Fine の数をおおよそ等しくするため, 本研究では提案手法の閾値を 0.55 とした. まず正確性,多様性の評価を行った. 単一エンティティのキャプ ション生成の正確性と多様性の実験結果を表 3 に示 す.データセットが異なるので直接的な比較はでき ない. 提案手法により, 正確性は少し低下したが, 多様性は非常に向上した. 提案手法の Fine の正確性が 低い原因として，より具体的なキャプションを生成 するタスクの難易度が高いことが考えられる。

次に抽象度の評価を行った. E-C2F の生成した Fine のキャプションと, 提案手法の生成した Fine の キャプションに対して含意関係認識を適用し, それ ぞれのキャプションを前提, 仮定としたときに含意関係である割合を比較した. E-C2F から生成された キャプションが前提で提案手法から生成されたキャ プションが仮定のとき,含意関係となるものは $3.5 \%$ であったのに対し, 逆は $19.2 \%$ であった. よって提案手法により，より具体的なキャプションを生成でき

1) https://huggingface.co/ynie/roberta-large-snli_mnli_ fever_anli_R1_R2_R3-nli
表 3 正確性と多様性の結果

表 4 生成されたキャプションの例

ることが示された

生成されたキャプションの例を表 4 の左に示す.先行研究と比較して, より抽象的, 具体的なキャプ ションを生成することを達成した。

## 4.4 複数エンティティのキャプション生成

Coarse, Fine の数をおおよそ等しくするため, 本研究では提案手法の閾値を 0.55 とした. まず正確性,多様性の評価を行った. 複数エンティティのキャプ ション生成の正確性と多様性の実験結果を表 3 に示 す. 単一エンティティに比べ, 多様性は近い值を得て いるが, 正確性は低下した. 原因として複数エンティ ティのキャプション生成のほうが考慮する情報が多 く, より難易度が高いことが考えられる. また単一エ ンティティに比べ, データが少ないので語彙数が少 なくなっている.

次に抽象度の評価を行った. E-C2F は複数エン ティティをデータセットから除いており, 単一エン ティティのような比較ができないので, 生成され た Coarse, Fine のキャプションで比較実験を行った. Coarse が前提で Fine が仮定のとき,含意関係となる ものは 3.9\%であったのに対し, 逆は 47.2\%であった.単一エンティティではあるが, E-C2F で同様の実験 を行ったところ, Coarse が前提で Fine が仮定のとき，含意関係となるものは $7.1 \%$ であっのに対し, 逆は 23.6\%であった. よって提案手法により, E-C2F に比 べ, 抽象度を制御可能であることが示された.

生成されたキャプションの例を表 4 の右に示す.先行研究と比較はできないが, 抽象的, 具体的なキャ プションを生成することを達成した。

## 5 おわりに

本研究では, IDF と含意関係認識を用いて抽象度 を制御可能なエンティティレベルのキャプション生成手法を提案し, 従来の手法より多様性を向上させ, より具体的なキャプションを生成可能にし, 抽象度 の制御を可能にした. またエンティティの抽象度を 制御可能にすることで, 常識推論の導入, そして画像全体の深い理解に繋がると考える. 今後の展望とし て, 本研究の手法を画像全体に拡張することが挙げ られる。

## 謝辞

本研究は富士通株式会社の助成を受けたもので ある。

## 参考文献

[1] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, Silvia Cascianelli, Giuseppe Fiameni, and Rita Cucchiara. From show to tell: A survey on deep learning-based image captioning. In arXiv, 2021.

[2] Justin Johnson, Andrej Karpathy, and Li Fei-Fei. Densecap: Fully convolutional localization networks for dense captioning. In CVPR, 2016.

[3] Linjie Yang, Kevin Tang, Jianchao Yang, and Li-Jia Li. Dense captioning with joint inference and visual context. In CVPR, 2017.

[4] Guojun Yin, Lu Sheng, Bin Liu, Nenghai Yu, Xiaogang Wang, and Jing Shao. Context and attribute grounded dense captioning. In CVPR, 2019.

[5] Linwei Li, Xiangyu Lin, Chenhui Chu, Noa Garcia, Yuta Nakashima, and Teruko Mitamura. Achieving entity-level diverse caption generation via attention over neighbors. Computer Vision and Image Understanding (under review).

[6] Chenhui Chu, Vinicius Oliveira, Felix Giovanni Virgo, Mayu Otani, Noa Garcia, and Yuta Nakashima. The semantic typology of visually grounded paraphrases. Computer Vision and Image Understanding, Vol. 215, No. 103333, 2022.

[7] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016.

[8] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer image-to-sentence models. In ICCV, 2015 .

[9] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In EMNLP, 2015.

[10] Samuel R. Bowman Adina Williams, Nikita Nangia. A broad-coverage challenge corpus for sentence understanding through inference. In NAACL, 2018.

[11] Yixin Nie, Haonan Chen, and Mohit Bansal. Combining fact extraction and verification with neural semantic matching networks. In AAAI, 2019.

[12] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Proceedings of the 58th annual meeting of the association for computational linguistics. In ACL, 2020.

## A 提案手法のスコアの例

提案手法のスコアの例を表 5 に示す.

表 5 提案手法のスコアの例


 加藤駿弥 Chenhui Chu 黒橋 禎夫 京都大学 \{s-kato, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp  