# トレースにより画像の注視点を与えるインタラクティブな テキスト生成

渡邊 清子小林一郎
お茶の水女子大学
\{watanabe.sayako, koba\}@is.ocha.ac.jp

## 概要

近年，画像キャプション生成の研究は画像に対す る前処理から得られた情報を元に画像キャプション を生成するだけでなく，画像処理情報に対して，コ ントロールシグナルと呼ばれる視点に相当する追加情報を与えることで，画像に対してユーザの興味 に基づくキャプションを生成する研究へと発展し ている. 本研究では，人は一般的に画像の内容を説明する際，大抵説明したい対象に注意を促す為に指 でそのものを差しながら説明することに着目し，画像への指差しをコントロールシグナルと捉える.ま た，このような行為で生じる指差しの軌跡のことを トレースと呼び，トレースに込められた意味を反映 することで，より説明者の意図に沿ったインタラク ティブな画像キャプション生成手法を提案する.

## 1 はじめに

近年，画像キャプショニングの研究は，Faster R-CNN [1] や Semantic Segmentation [2] といった手法 を用いて画像の内容を捉え，その結果から画像内 の物体間の関係を捉えるシーングラフ $[3,4]$ を構築 し，そのグラフに基づきキャプションを生成するも のなど，画像の内容を深く捉える手法に基づくキャ プション生成手法が提案されている $[5,6,7]$. 一方 で，生成されるキャプションは多くの場合，用いら れる学習データに依存しており，画像内容を説明 する者の意図が反映される結果ではない場合が多 い.このことを踏まえて，近年では，キャプション 生成を制御する為のコントロールシグナルと呼ば れる追加情報を与えて, 説明者の意図に近いキャプ ションを生成する研究なども取り上げられてきてい る $[8,9,10]$. しかし，与えられるコントロールシグ ナルはキャプション内容に言及したものが多く, 説明者の感覚や興味に沿うインタラクティブな画像
キャプション生成の報告はあまりない。このことか ら，本研究では，音声で画像を説明する際に説明の 描画領域を指したトレースデータをもつ Localized Narratives(LN) [11]を用いて，トレースにより画像の 注視点を与えた画像キャプショニング手法を提案 する。

## 2 提案手法

## 2.1 概要

図 1 に提案手法の概要を示す.

図 1 提案手法の概要

(1)画像のトレース 画像中の説明したい箇所をト レースする。その際，説明を詳細にしたい対象に対 してはトレースを念入りに行う。

(2)説明領域の抽出 トレースの描画範囲から説明領域を抽出し，各領域のトレースの滞在時間から文長を推定する．Fast R-CNNを用いて，各領域のバウ ンディングボックス（B.Box）を抽出する.

(3)画像キャプション生成 (2)よって抽出した B.Box の特徴量と生成する文の長さを示す語数を入力とし, Deng ら [12] による文長を制御可能な画像

図 2 トレースの座標変化量

図 3 速さに注目したトレースの可視化

図 4 速いトレースを削除した結果
キャプション生成モデル LaBERT を用いて，それぞ れの領域の画像キャプションを生成する。

## 2.2 Localized Narratives

Pont-Tuset ら [11] は，視覚と言語を繋ぐマルチ モーダルな画像キャプションを目標として，音声 で画像を説明する際に，説明の描写領域を指し たトレースデータセット Localized Narratives（LN） を構築した. LN は，人が画像をペンでトレース しながら音声でその内容を説明するという実験 を通じて収集したデータセットである。データ 数も多く, Open Images [13] $\cdot$ Microsoft COCO [14]$\cdot$ Flickr30k [15]・ADE20k [16] の 4 つのデータセット から成っている．LNには，画像・トレース・画像 キャプション・音声の 4 つが含まれている. 表 1 に データの内容を示す.

timed_caption の情報から，時間当たりのの平均発話単語数を計算したところ，1 秒間に 1.94 単語発話し ている事がわかった。この結果は，画像キャプショ ンの長さコントロールの際に参考にする.

表 1 Localized Narratives データ内訳

## 2.3 トレースによる説明領域の抽出

画像の中でも，説明者が注目した部分からキャプ ションを生成する為に，トレースの描画範囲から説明領域を抽出する。画像説明時における人の特性を 解明する為に，以下の 2 つの特徴量を抽出した.

座標の変化量 横軸に時間をとり，縦軸にトレー スに関する変化量（ $x$ 座標 $x y$ 座標）をとったグラフ を図 2 に示す. 赤色でハイライトしている部分は,説明者が説明を止めている文と文の間の時間であ り，画像の説明に一区切りついた箇所に相当する.赤い部分のグラフは平らになっており，トレースの 変化量はほぼ変化がない事がわかった. 同じような 現象が他のデータにも多く見受けられた. この結果 は，説明者は 1 文説明し終わった際，少し止まって から次の文の説明に移るという特性があることを示唆する．画像説明時のトレースにおける人の行動特性は必ずしも常にこのようになるわけではなく，他 の行動特性も観察されたが，本研究では上記の行動特性を基準とする。

トレースの移動速度 トレースによる画像説明時 における人の 2 つ目の行動特性として，特別に動き が速いトレースは，説明対象となるオブジェクト間 の移動の為のトレースであり，その部分を説明をし ている訳ではないという点に着目した. トレースの 動作の速度を，速いほど黒に，遅いほど赤に対応さ せて可視化したものを図 3 に示す. 図 4 は，図 3 に おいて，オブジェクト間の移動とみなされた部分を 削除して可視化した. 実際に，芝生から木への移動，木から山への移動，空から雲への移動の箇所が 削除され，説明対象となった各オブジェクトのみを 指しているトレースが抽出されたことがわかる.

## 2.4 LaBERT [12]

説明者の注目の度合いを反映した画像キャプ ションを生成する為に，トレースの滞在時間によ り説明の詳述さを決定する手法として，文長制御 が可能な非自己回帰型のキャプション生成を行う LaBERT [12] のデコーダを用いる. 逐次的に次の単語を予測する自己回帰的な文生成手法は，生成文の 長さを制御できない，また，生成する文の長さが長 くなると計算量は線形的に増加してしまうといった 欠点がある。これに対し，Deng ら [12] は，長さ制御可能な画像キャプションの為の非自己回帰型デ コーダを考案し，文長を制御する効率の良い文生成

図 5 トレースを入力とした説明者の意図に沿った画像キャプション生成結果

## を実現した。

LaBERT のデコーダにおける処理の概要を図 6 に示 す.また、そのアルゴリズムを Algorithm1 に示す.

図 6 LaBERT を用いた長さ $L_{\text {low }} \sim L_{\text {high }}$ の文生成概要

## 3 実験

画像とトレースを入力として，トレースに沿った 画像キャプションを生成する.

## 3.1 実験設定

画像データは Microsoft COCO を使用し，Cornia ら [18] が使用している Faster-RCNN を各画像に施し 取得した B.Box の特徴量をまとめたデータセット coco_detections.hdf5 ${ }^{1)}$ から, 2048 次元の画像特徴量, B.Box の位置を示す 4 次元の座標，オブジェクトを 示す 1601 次元のカテゴリーを用いた. 生成文の単語数は, 7〜9words, 10〜14words, 15〜19words, 20〜 25 words の 4 種類を設定し, 文のアップデート回数 は 4 種類に対し, 10 回, 15 回, 20 回, 20 回に設定し


た.また，言語モデルは事前学習済み $\mathrm{BERT}_{\mathrm{BASE}}{ }^{2)}$ を 用いた. この実験設定の下，バッチサイズ 256 ，イ テレーション 100,000 回でモデルの学習を行なった.

## 3.2 実験結果

トレースを大力として，説明者の意図に沿うよう に画像の説明したい箇所にトレースを与えた情報に 基づきキャプション生成を行った．結果の例を図 5 に示す. 図 5 中の各項目について以下に説明する.

説明領域 トレースの座標変化量と速さを元に説明対象となる領域（図中，青い四角形の領域）を抽出したものとなる．各画像には，抽出されたトレー スと B.Box（赤い四角形）が写っており, 説明対象領域を $\frac{1}{4}$ 以上含む B.Box から画像特徴量を取得して いる。また，黒いトレースはオブジェクト間の移動


とみなし, 削除した。

正解キャプション 実際に説明者が発話したキャ プション.

トレースの滞在時間 説明領域内にトレースが滞在した秒数.

推定単語数 生成文を構成する単語数. トレース の滞在秒数に，LNにおける 1 秒間あたりの平均発話単語数 1.94 を掛けて推定した。

文長の指定 推定単語数から選ばれる文の長さ.現在， 3.1 節で示した 4 つの範囲を設定している.

BLEU スコア 文生成の精度の評価指標として， BLEU スコア [19]を示している.

各説明領域での結果を以下に示す。

図 5-1: suitcase というオブジェクトは捉えていたも のの, 推定単語数が正解キャプションの単語数に比 べて多くなっていた.

図 5-2:オブジェクトの認識やキャプションの長さ などトレースの意図を捉えられ，期待した結果が得 られた。

図 5-3: 正解キャプションでは「女性のカバン」につ いて言及しているが，周りの情報を取り込んで two people の説明になってしまっている.

図 5-4: 背景のみの描写なので, 認識できるオブジェ クトが少ないこともあり，想定していたキャプショ ンが生成されなかった.

## 3.3 考察

実験結果と正解キャプションおよび付録 A に示し た様々な文長の下での生成結果と比較しながら考察 する.

図 7-1：トレースの滞在時間から推測した 20～25 単語ではなく，7～9 単語の結果の方が正解キャプショ ンに近いと考えられる。また，この場合 BLEU スコ アも 1.72 と少し上がっていた. 正解キャプションも 12 単語である為, トレースの滞在時間ほど長い文に よる説明は求められていない。これは，図中の「カ バン」というオブジェクトが画像全体の比率の大部分を占めていることから，ひとつのオブジェクトを 指し示すのにトレースの滞在時間が長くなってし まった為と考えられる．このことは，文長を 1 秒あ たりの平均発話語数のみで決めるのではなく，説明対象となる領域に含まれるオブジェクトや領域の面積も考慮すべきであると考える。

図 7-2: 全ての文長の場合で 2 人の人間を捉えられ
ていたが，どこに立っているかなど，背景の情報は 不揃いで正確に捉えられていないことがわかった.

図 7-3:「女性のカバン」を言及出来ていない点に ついて，このように誰かの所有物や食べ物の具な ど，特定の部分に注目して説明する場合は Dense captioning [20] などのような局所的な説明を可能に する画像キャプション生成方法などを参考に改良す る必要があると考える.

図 7-4：10～14words, 15〜19words の生成途中で，正解キャプションに含まれる building が出現したにも 関わらず，最終的な生成キャプションとして残らな かった様子が見られた。これは，画像特徴量よりも 言語モデルが優先されてしまった結果生じた事例だ と考える。一概に $\mathrm{t}$ の値が大きくなる程，良い単語 に置き換わる訳ではないことがわかった。

また，今回，キャプション生成の評価指標として 採用した BLEU のスコアはとても低くなっている. この原因の一つとして，正解文とする LN のキャプ ションは，画像全体を一括して説明するものになっ ており，今回のように部分的な領域での説明と整合性がとれない部分もあることが考えられる。

## 4 おわりに

本研究では，画像に対してトレースを用いなが ら説明するデータセット Localized Narratives と文長制御が可能な非自己回帰型テキスト生成を行う LaBERT のデコーダを組み合わせ，トレースから説明者の説明意図を汲み取りインタラクティブに説明文を生成する画像キャプション生成手法を提案し た. 説明対象となる領域の選択やキャプションの長 さは，LN の統計量から求めた値を採用したが，説明意図を表現するキャプション生成に必要となる画像特徴量の適切な抽出や, 個々の説明領域内の物体 の在り様などをより踏まえて、キャプション生成す る必要があることがわかった.

今後の課題として，これらの問題に取り組みつ つ，説明領域全体を俯瞰する観点からのキャプショ ン生成も可能にしたい.

## 参考文献

[1] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. Faster R-CNN: towards real-time object detection with region proposal networks. CoRR, Vol. abs/1506.01497, , 2015.

[2] Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2015.

[3] Danfei Xu, Yuke Zhu, Christopher B. Choy, and Li Fei-Fei. Scene graph generation by iterative message passing. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017.

[4] Jianwei Yang, Jiasen Lu, Stefan Lee, Dhruv Batra, and Devi Parikh. Graph R-CNN for scene graph generation. In Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, editors, Computer Vision - ECCV 2018 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part I, Vol. 11205 of Lecture Notes in Computer Science, pp. 690-706. Springer, 2018.

[5] Zhan Shi, Xu Zhou, Xipeng Qiu, and Xiaodan Zhu. Improving image captioning with better use of caption. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7454-7464, Online, July 2020. Association for Computational Linguistics.

[6] Xu Yang, Kaihua Tang, Hanwang Zhang, and Jianfei Cai. Auto-encoding scene graphs for image captioning. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10677-10686, 2019.

[7] Wenqiao Zhang, Haochen Shi, Siliang Tang, Jun Xiao, Qiang Yu, and Yueting Zhuang. Consensus graph representation learning for better grounded image captioning. In Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI 2021, Thirty-Third Conference on Innovative Applications of Artificial Intelligence, IAAI 2021, The Eleventh Symposium on Educational Advances in Artificial Intelligence, EAAI 2021, Virtual Event, February 2-9, 2021, pp. 3394-3402. AAAI Press, 2021.

[8] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, control and tell: A framework for generating controllable and grounded captions. CoRR, Vol. abs/1811.10652, , 2018.

[9] Long Chen, Zhihong Jiang, Jun Xiao, and Wei Liu. Human-like controllable image captioning with verbspecific semantic roles. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2021, virtual, June 19-25, 2021, pp. 16846-16856. Computer Vision Foundation / IEEE, 2021.

[10] Kun Yan, Lei Ji, Huaishao Luo, Ming Zhou, Nan Duan, and Shuai Ma. Control image captioning spatially and temporally. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2014-2025, Online, August 2021. Association for Computational Linguistics.

[11] Jordi Pont-Tuset, Jasper Uijlings, Soravit Changpinyo, Radu Soricut, and Vittorio Ferrari. Connecting vision and language with localized narratives. In $E C C V, 2020$.

[12] Chaorui Deng, Ning Ding, Mingkui Tan, and Qi Wu. Length-controllable image captioning. CoRR, Vol. abs/2007.09580, , 2020.

[13] Alina Kuznetsova, Hassan Rom, Neil Alldrin, Jasper R. R. Uijlings, Ivan Krasin, Jordi Pont-Tuset, Shahab Kamali, Stefan Popov, Matteo Malloci, Tom Duerig, and Vittorio Ferrari. The open images dataset V4: unified image classification, object detection, and visual relationship detection at scale. CoRR, Vol. abs/1811.00982, , 2018.

[14] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, Lubomir D. Bourdev, Ross B. Girshick, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. CoRR, Vol. abs/1405.0312, , 2014.

[15] B. A. Plummer, L. Wang, C. M. Cervantes, J. C. Caicedo, J. Hockenmaier, and S. Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer imageto-sentence models. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 2641-2649, December 2015.

[16] Bolei Zhou, Hang Zhao, Xavier Puig, Sanja Fidler, Adela Barriuso, and Antonio Torralba. Semantic understanding of scenes through the ADE20K dataset. CoRR, Vol. abs/1608.05442, , 2016.

[17] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization, 2016

[18] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, Control and Tell: A Framework for Generating Controllable and Grounded Captions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[20] Justin Johnson, Andrej Karpathy, and Li Fei-Fei. Densecap: Fully convolutional localization networks for dense captioning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016.

## A 付録

図 7 様々な文長での画像キャプション生成結果
 渡邊 清子小林一郎 お茶の水女子大学 \{watanabe.sayako, koba\}@is.ocha.ac.jp  