# 画像キャプショニングのための制約語の抽出法

芳賀あかり ${ }^{1}$ 平尾努 2 帖佐克己 ${ }^{2}$
本多右京 ${ }^{1}$ 出口祥之 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{haga. akari. ha0, honda.ukyo.hn6, deguchi.hiroyuki.db0, taro\}@is.naist.jp
\{tsutomu.hirao.kp, katsuki.chousa.bg\}@hco.ntt.co.jp

## 概要

従来の画像キャプショニングには画像とは無関係 の語を含むキャプションをしばしば生成するという 問題がある。これを解決するため，画像に関連する 語をあらかじめ与えた上でキャプションを生成する 手法が提案されているが，その自動決定法について は議論がされていない. 本研究では, 物体検出器が 出力するラベル (物体名)をその信頼度スコアと顕著性スコアを組み合わせてランキングすることでキャ プションに含めるべき語を決定する手法を提案す る. 提案法で得た単語と人手生成の正解キャプショ ン中の単語を比較した結果，自動抽出した単語のう ち半数程度はキャプションに含まれていた. さらに 人手評価を行ったところ，キャプションには含まれ ない単語であっても，その多くはキャプション生成 が可能な程度に画像に関連した語であることがわ かった.

## 1 はじめに

画像キャプショニングとは，画像を説明する一文を生成するタスクであり，Vision and Language 分野における主要なタスクの一つである。近年では， Vision transformerによる系列変換モデルで実現され ることが多くなってきたが，Transformer に基づく系列変換モデルには，流暢な文を生成する一方，入力 とは関連のない文をしばしば生成するという問題 がある [1]. 画像キャプショニングも例外では無く,画像には写っていないものや画像とは関連ない語を 含むキャプションを生成する Object hallucination と いう問題が生じることが知られている [2]. この問題を抑制するための一つの方法として語彙に制約を 与えてキャプションを生成する手法が提案されてい る [3]. しかし，この手法ではキャプションに含め るべき語 (以下，制約語)をどのように決定するか議論していない，もちろん，人手で与えることも可能 ではあるが大量の画像を処理する場合にはコストの 観点から現実的でない。

そこで，本研究では制約語を画像から自動的织抽出する方法を提案する。人間は画像の構図，視覚的顕著性などに基づきキャプションに含める語を決定 していると考えられることから，画像に対して物体検出器が出力するラベルをとの信頼度スコアと顕著性スコアを組み合わせることでランキングし，その 上位 $n$ 件を制約語とする手法を提案する。

$\mathrm{MSCOCO}$ キャプションの検証セットのキャプ ションに提案法で抽出した制約語が含まれる割合，制約語の平均正解率は $49.9 \%$ であった. ただし，人手評価を行ったところ，正解率の低い画像でもキャ プションに含めてよい語は $50 \%$ を超え，正解率が高 い画像ではそれが約 $80 \%$ 達した。

## 2 準備

物体検出とは画像に写る物体を矩形 (以下, バウ ンディングボックス) で特定し，その名称をラベル として出力する. ラベルはあらかじめ定められてい るので，その決定は多值分類問題に帰結する。

物体検出器により決定できるラベル数は大きく異 なる. たとえば，Detic [4] は CLIP [5]を使用するこ とにより，学習データにはないラベルを検出可能と しており，21,000ラベルまでの異なる粒度で物体検出を行うことができるという特徴がある. Detic は COCO, Objects365, OpenImages, Lvisの4つのカス タムラベルセットを提供しており，容易に異なるラ ベルセットで物体検出を行うことができる。各ラベ ルセットはそれぞれ 80，365，500，1203 カテゴリ である. 使用するラベルセットにより検出する物体 の粒度が異なり，カテゴリ数が少ないほどカテゴリ の抽象度が高くなり，カテゴリ数が多いほど具体的 になる。例えばカテゴリ数 80 の COCO ラベルセッ
トで行った物体検出では「bird」ラベルを与える物体を，カテゴリ数 365 の objects365 ラベルセットで は「goose」や「duck」と，より具体的なラベルを与 える。

一方，画像には人間の視覚注意により注視を集め やすい領域とそうでない領域がある。これを画像の 各ピクセルに対してスコアを与えることで表現した ものを顕著性マップと呼び，画像中の顕著な場所， すなわち目立つ領域の特定に活かすことができる [6]. Hou らが提案した Spectral Residual アプローチ [7] は，画像データを周波数に変換して分析を行う ことで顕著性マップを作成する. この手法は特徴量 やカテゴリなどの物体に関する事前知識を利用せ ず，高速かつ頑健に顕著性を検出することができ る。また，Montabone らは解像度を下げない，きめ 細かい顕著性マップを作成する方法を提案してお り，このマップは明確な境界線を抽出するという特徵がある [8]. 本研究では Spectral Residual アプロー チを用いて顕著性マップを作成する。

人間が画像に対しキャプションを生成する際，多 くの場合は画像に写っている物体に言及するであ ろうし，複数の物体が写っているのであればどこに 焦点をあてるべきかの取捨選択も行うであろう．た とえば，図 1 には様々な物体が写っているが，人間 がキャプションを生成する際には「cat 」，「glove $\lrcorner ，$「ball」といった物体に言及するだろう. 実際，こ の画像に対するキャプションには「cat」，「baseball glove $\lrcorner$ 「ball」という語が利用されている。一方， フォーカスされていない右後方の机や左後方のサイ ドテーブルには言及していない。つまり，人間は画像中の顕著性の高い物体について言及すると考える のが自然である．そこで，本稿では物体検出と画像 の顕著性マップを組み合わせることで人間がキャプ ションで言及すると考えられる顕著なラベルを特定 し，制約語として用いる。

## 3 提案手法

本稿では，物体検出器が検知した物体のラベルの スコアをその信頼度スコアと物体のバウンディング ボックス内部の顕著性スコアの重み付き線形和で計算し，ランキングすることでより確度の高い制約語 を得る。

制約語候補の抽出 画像に対して物体検出器を 適用し，それが出力するすべてのバウンディング

1) MSCOCO val2014 COCO_val2014_000000518974.jpg

図 1 物体検出例 ${ }^{1}$

ボックス $(b)$ とラベル $(\ell)$ の対を得る.この時，バ ウンディングボックスに対しては割り当てられた ラベルに対する信頼度スコア Conf. $(b, \ell)$ が与えられ る.そして，信頼度の低いラベルは削除するため Conf. $(b, \ell) \geq 0.5$ となるラベルのみを制約語候補と して利用する.

制約語候補の顕著性スコアの計算 顕著性スコア は画像中のすべてのピクセルに対して与えられるの で，制約語候補の顕著性スコアを計算するにあたっ ては，対応するバウンディングボックス内部の各ピ クセルの顕著性スコアを利用する。本稿では，バウ ンディングボックス内部における顕著性スコアの最大値を制約語候補の顕著性スコア Sal. $(b, \ell)$ とし,次の式で計算する。

$
\text { Sal. }(b, \ell)=\max _{r_{k} \in b} \operatorname{Sc}\left(r_{k}\right)
$

ここで $r_{k}$ は物体検出器が検出したバウンディング ボックス内の $k \times k$ ピクセルのボックスをあらわし， $\mathrm{Sc}\left(r_{k}\right)$ はその顕著性スコアである。 バウンディング ボックス内の $i$ 行 $j$ 列目の顕著性スコアの值を $x_{i, j}$ とするとき, $\operatorname{Sc}\left(r_{k}\right)$ は次のように計算する.

$
\operatorname{Sc}\left(r_{k}\right)=\sum_{i=0}^{k-1} \sum_{j=0}^{k-1} x_{i, j}
$

顕著性スコアの算出までの流れを図 2 に示す. 図 2 の例では制約語候補が bird であり，太枠の長方形が 制約語候補 bird に対応するバウンディングボックス を示す。バウンディングボックス内の顕著性スコア の最大值を 1 ピクセルを基本単位として与えるとど のようなバウンディングボックスに対しても非常に 高い值をとる可能性がある。これを緩和するため， バウンディングボックス内にそれよりも小さな正方形のボックスを設け内部のピクセルに対する顕著性 スコアの和 $\mathrm{Sc}\left(r_{k}\right)$ を計算し，バウンディングボック ス内のすべての可能な正方形ボックスの顕著性スコ ア $\mathrm{Sc}\left(r_{k}\right)$ の最大值を制約語候補の顕著性スコアと

する. 図 2 の例では，バウンディングボックス内に $k \times k(k=3)$ ピクセルの正方形ボックスを設け, 各ピ クセルの顕著性スコア，0.7,0.5, ..0.7 を合計し, 正方形ボックスの顕著性スコアとする。次に，正方形 ボックスをバウンディングボックス内部で 1 ピクセ ルスライドさせ，同じように合計を計算する.これ を繰り返して全ての $k \times k$ ボックスのスコアを計算 し，この最大値を制約語候補 bird の顕著性スコアと する。

制約語候補のランキング 制約語候補のスコア $F$ を物体検出器の信頼度スコアと顕著性スコアの重み 付き線形和として以下の式で定義する.

$
F(b, \ell)=\alpha \operatorname{Sal} .(b, \ell)+(1-\alpha) \operatorname{Conf} .(b, \ell)
$

ここで， $\alpha(0 \leq \alpha \leq 1)$ は 2 つ項のバランスをとる ためのパラメータである. 画像中の各制約語候補に 対し上記スコアを計算しその上位 $n$ 件を制約語とみ なす.

## 4 実験

制約語の正解データはないため，提案法で得た制約語が人手で作成された正解のキャプションにどれ だけ含まれるかで評価を行った.

## 4.1 実験設定

データセットは MSCOCO の val2014を採用し，自動評価には 40500 画像を使用した. 物体検出に は imagenet データセット [9]を用いて学習された モデルであるDetic[4]を用いた。顕著性マップは Spectral Residual アプローチを実装した OpenCV の SpectralResidual 関数を用いて取得した. パラメータ は $k=20, \alpha=0.2$ を採用している.

## 4.2 自動評価

抽出した制約語候補のうち，人手作成のキャプ ションに含まれる語の割合, 正解率を用いて自動評価を行った. なお, Detic のラベルセットは Object365, Open Images, Lvis の 3 種を用いた. ラべ ル数はそれぞれ，365，500，1203 となる．ラベル数 が少ないほど抽象的で多いほど具体的な名称ラベル を与える。

キャプションに制約語が含まれているか否かは語 の完全一致で行う. しかし, 完全一致で評価した場合，同義語，類義語が無視されてしまうため，類語 も正解とする処理も取り入れた. ここでの類語とは表 1 カテゴリ数による正解率の変動

 \\

Open Images & 500 & 0.440 & 0.478 \\
Lvis & 1203 & 0.408 & 0.490 \\

異なるラベルセットで物体検出を行った結果，同じ バウンディングボックスを指しているラベルを指 し，これらも正解として扱い評価を行う。例えば， あるバウンディングボックスの物体を bird と表す ラベルセットと, goose と表すラベルセットがある とする。この場合， bird と goose を類語とする。な お，バウンディングボックスの一致については物体検出で使用される一般的な評価指標である IoU (Intersection over Union) が 0.8 以上である場合に一致 とみなした. 二つの任意の図形 $A, B$ の IoU は以下 のように計算される [10].

$
I o U=\frac{|A \cap B|}{|A \cup B|}
$

顕著性スコアの効果 制約語のスコアを計算する 際のパラメータ $\alpha$ を動かして, 顕著性スコアの効果 を調べた. その結果を図 3 に示す. 図の縦軸は正解率，横軸はパラメータ $\alpha$ の値であり， $\alpha=0$ が物体検出の信頼度スコアのみ， $\alpha=1$ は顕著性スコアの みを利用することを表す. 全てのカテゴリ数におい て $\alpha=0.2$ 付近で正解率が向上していることから，物体検出の信頼度スコア, 顕著性スコアのみではな く，双方を考慮することの有効性がわかる．以下は $\alpha=0.2$ を採用した結果である.

カテゴリ数による正解率の変動 各ラベルセット での評価結果を表 1 に示す. 表より，完全一致の 正解率でみた場合，Lvisを用いた場合が最も低く， Object365を用いた場合が最も高い。この結果は, MSCOCO データセットのキャプションが比較的抽象的な語を用いて記述されている，つまり，Livsの ような具体的なラべルを利用すると語の完全一致で は不利になるからであると考える. 実際，類語処理 を導入すると正解率はどのラベルセットでも 5 割近 くになっており，顕著な差はみられなくなることが これを支持している.

## 4.3 人手評価

自動評価は類語も含めて評価をしているが，すべ ての類語を網羅できているとは限らず，不当に低い スコアになっている可能性がある. そこで，自動評価の結果が悪いもの・良いもののうちそれぞれラン

図 2 制約語候補の顕著性スコアの算出 ${ }^{2)}$

図 3 パラメータ $\alpha$ による正解率の変動

ダムに 25 件サンプリングし，人手評価を行った。自動評価の結果が悪いものとは正解率が 0.2 以下，良いものとは正解率が 0.8 以上のものをさす. 評価指標として，キャプションに含まれて良いラベルの 割合，またキャプションに必須のラベルの割合を主観で評価した。

例えば図 4 のような画像の場合，surf, surfboard, wet suit, person などの語をキャプションに含まれる 可能性があるラベルとみなし， surf や person のよう に中心的な語を必須のラベルとみなした. 自動評価 の結果が悪いものの結果を表 2 , 良いものの結果を 表 3 に示す. 表 2 より, 自動評価の結果が悪いのも のでも， $\alpha=0.2$ ではキャプションに含まれてもいい だろうというラベルは 5 割以上あることがわかる. $\alpha=0$ のとき，差は小さいもののもっとも良い結果 となった理由は, 物体を多く検知するような場合,顕著性スコアの高い領域と人間がキャプションを生成する際に着目する領域にずれが生じるからではな いかと考える. さらに, 表 3 より, 自動評価の結果 が良いものでは，キャプションに含まれてもいいだ 万うというラベルは 8 割近くあり，キャプション必須のラベルは 6 割以上含まれている.ここで， $\alpha=0$ は顕著性スコアのみ， $\alpha=1$ は物体検出の信頼度ス コアのみとなっており，自動評価の結果が良いもの では $\alpha=0.2$ で最も高い割合となったことから, 両者を用いることの有効性が手動評価でも明らかと

図 4 人手評価に使用した画像の例 ${ }^{3}$

表 2 人手評価結果（正解率 $\leq 0.2$ ）

} &  \\

0.2 & 0.522 & 0.376 \\
0.5 & 0.509 & 0.353 \\
1.0 & 0.458 & 0.322

表 3 人手評価結果（正解率 $\geq 0.8 ）$

 &  \\

0.2 & 0.799 & 0.641 \\
0.5 & 0.781 & 0.617 \\
1.0 & 0.739 & 0.560 \\

なった.

## 5 おわりに

本論文では，物体検出と画像の顕著性を示す顕著性マップを用いて制約語を自動的に抽出・ランキン グする手法を提案した。さらにランキング上位の制約語がキャプションにどの程度含まれているか評価 を行った。その結果, 自動評価と人手評価双方によ り物体検出スコアと顕著性スコア双方を考慮するこ との有効性を示した. 本手法で自動抽出した制約語 を実際に画像キャプショニングへ組み込むことが今後の課題である.

2) MSCOCO val2014 COCO_val2014_000000324670.jpg

3) MSCOCO val2014 COCO_val2014_000000374010.jpg

## 参考文献

[1] Guangxiang Zhao, Junyang Lin, Zhiyuan Zhang, Xuancheng Ren, Qi Su, and Xu Sun. Explicit sparse transformer: Concentrated attention through explicit selection. CoRR, Vol. abs/1912.11637, , 2019.

[2] Anna Rohrbach, Lisa Anne Hendricks, Kaylee Burns, Trevor Darrell, and Kate Saenko. Object hallucination in image captioning. In EMNLP, 2018.

[3] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Guided open vocabulary image captioning with constrained beam search. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 936-945, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[4] Xingyi Zhou, Rohit Girdhar, Armand Joulin, Philipp Krähenbühl, and Ishan Misra. Detecting twenty-thousand classes using image-level supervision. In ECCV, 2022.

[5] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[6] Laurent Itti, Christof Koch, and Ernst Niebur. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on pattern analysis and machine intelligence, Vol. 20, No. 11, pp. 1254-1259, 1998.

[7] Xiaodi Hou and Liqing Zhang. Saliency detection: A spectral residual approach. In 2007 IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2007.

[8] Sebastian Montabone and Alvaro Soto. Human detection using a mobile platform and novel features derived from a visual saliency mechanism. Image and Vision Computing, Vol. 28, No. 3, pp. 391-402, 2010.

[9] Kaiyu Yang, Klint Qinami, Li Fei-Fei, Jia Deng, and Olga Russakovsky. Towards fairer datasets: Filtering and balancing the distribution of the people subtree in the imagenet hierarchy. In Conference on Fairness, Accountability, and Transparency, 2020.

[10] Hamid Rezatofighi, Nathan Tsoi, JunYoung Gwak, Amir Sadeghian, Ian Reid, and Silvio Savarese. Generalized intersection over union: A metric and a loss for bounding box regression. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 658-666, 2019.
 芳賀あかり ${ }^{1}$ 平尾努 2 帖佐克己 ${ }^{2}$ 本多右京 ${ }^{1}$ 出口祥之 ${ }^{1}$ 渡辺太郎 ${ }^{1}$ 1 奈良先端科学技術大学院大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 \{haga. akari. ha0, honda.ukyo.hn6, deguchi.hiroyuki.db0, taro\}@is.naist.jp \{tsutomu.hirao.kp, katsuki.chousa.bg\}@hco.ntt.co.jp  