# 複数映像の抽象化を要するキャプション生成

高橋力斗 Chu Chenhui 黒橋禎夫
京都大学情報学研究科
\{r-takahashi, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

本研究では，新たな映像キャプション生成タスク として抽象的映像キャプション生成を提案する。抽象的キャプション生成は，複数の映像を入力とし て，それらの映像全てに共通する内容を説明する文 を生成するタスクである。このタスクでは，モデル は複数の映像に含まれる情報を抽象化し表現するこ とが求められる。提案タスクのための新たなデータ セットを構築し，モデルによる実験を行った．実験 の結果，抽象的キャプション生成タスクは挑戦的な タスクであることが分かった.

## 1 はじめに

映像キャプション生成は，単一の映像を入力とし て，映像の説明文を生成するタスクである [1][2]. このタスクでは，モデルは与えられた映像に対して 詳細かつ正確な説明を出力することが求められる。

本研究では新たな映像キャプション生成タスクと して，抽象的映像キャプション生成を提案する. 抽象的映像キャプション生成は，複数の映像を入力と して，それらの映像全てに共通する内容を説明する 文を生成するタスクである.

抽象的映像キャプション生成タスクでは，モデル は複数の映像に含まれる情報を抽象化し表現する ことが求められる。 したがって，抽象的映像キャプ ション生成タスクはモデルの情報抽象化能力を測 る指標となることが期待される。また，抽象的映像 キャプション生成タスクによってモデルが学習した 抽象的な表現は，クラスタリングされた動画群に対 する自動ラベル付与や，テキスト・動画をクエリと した動画検索などに応用できる。

本研究では抽象的映像キャプション生成データ セットの構築及びそのデータセットを用いた実験 を行った。データセットの構築では，既存の映像 キャプションデータセットをもとにして，動画検索・テキスト含意認識・クラウドソーシングを用い

図 1 構築したデータセットの一例.

て構築を行った. 図 1 に構築したデータセットの一例を示す．実験では，構築したデータセットを用い てモデルを訓練し，抽象的映像キャプション生成を 行った. モデルに複数の動画を入力するための工夫として，動画特徴量を類似度で重み付けして結合し，モデルに入力した. 実験の結果，抽象的映像 キャプション生成は挑戦的なタスクであることが分 かった.

## 2 関連研究

ここ数年で，映像キャプション生成に利用でき るデータセットが数多く提案されている。分割さ れていない長い動画に対して複数のキャプション を付与しているデータセットとして, ActivityNet Captions [3]，YouCook2 [4] などがある。 10 秒程度に 分割された短い動画とキャプションを収集した大規模データセットとして, HowTo100M [5], VATEX [6], MSR-VTT [7], MSVD [8] が有名である。本研究では,抽象的映像キャプション生成のデータセットを構築 する際に VATEX データセットを利用した。

動画と言語を繋ぐ埋め込みモデルとして CLIP4Clip [9] がある. CLIP4Clip は動画埋め込みと テキスト埋め込みを同じ表現空間で学習するモデル である。動画の各フレームの画像と動画キャプショ ンを同時に入力し, 出力する動画特徴量とテキスト

図 2 データセットの構築手順.

特徵量が類似するようにモデルを訓練する．本研究 では CLIP4Clip をデータセット構築の際に用いる動画埋め込みモデルとして利用した。

## 3 データセットの構築

抽象的映像キャプション生成は既存の映像キャプ ションデータセットで訓練・評価することができな いため，新たにデータセットを構築した. 図 1 に構築したデータセットの一例を示す. 構築したデータ セットは次のもので構成される.

・動画グループ: 2-6 件の動画が含まれる動画群

・手動キャプション: 人手によって付与したキャ プション

・シードキャプション: 自動的に付与したキャプ ション

・シードキャプションとの一致度スコア
- 自動スコア
- 手動スコア

キャプションは動画グループ内の全ての動画に共通 する内容を説明する英文である．シードキャプショ ンとの一致度スコアは動画グループ内の各動画に 対して付与されるスコアであり，シードキャプショ ンと動画の内容一致度を表すスコアである. シード キャプションとの一致度スコアには，自動スコアと 手動スコアがある.

手動キャプションはデータセットの正解ラベルと しての利用を想定している. シードキャプション及 び各動画に対応するスコアは，モデルの訓練及びテ スト時に利用することを想定している．例えば，正解ラベルである手動キャプションに加えて，シード キャプションの内容をスコアで重み付けして学習さ せることで，モデルに抽象的キャプション生成をよ り効率的に学習させることが期待できる. また, 手動スコアが高いシードキャプションについては，テ スト時の正解ラベルとしても利用できる.
データセットの構築手順を図 2 に示す. 既存の映像キャプションデータセットである VATEX データ セットを使用し，いくつかの処理を行なってデータ セットを構築した. 最初に, VATEX データセット 内の動画に対して類似動画検索を行うことで，複数動画とシードキャプションからなるデータセット を構築した. その後，テキスト含意認識とクラウド ソーシングを用いてデータセットにシードキャプ ションとの一致度スコア及び手動キャプションを付与した。また，VATEX データセットにおける訓練 データ・検証データ・テストデータに対してそれぞ れ処理を行ったものを，構築したデータセットの訓練データ・検証データ・テストデータとした. 以下 でデータセット構築のために行った処理の詳細を述 べる.

## 3.1 類似動画検索によるデータセット構築

既存の映像キャプションデータセットである VATEX データセットに対して類似動画検索を行い，動画グループに対してシードキャプションを付与し たデータセットを構築した。類似動画検索を用いて データセットを作る手順は次のとおりである.

1. 動画埋め込みモデルを用いて, VATEX データ セット内の動画の特徴量を抽出する。
2. $\mathrm{k}$ 近傍法を用いて，検索元となる動画に類似す る動画を VATEX データセット内から上位 6 件集めて一つの動画グループとする.

3. 検索元の動画に付与されていた英語キャプショ ン 10 件の中で最も語数が少ないものをシード キャプションとし，動画グループに付与する.

動画埋め込みモデルには CLIP4Clip [9]を用いた. CLIP4Clip による埋め込みでは，動画全体を一つの 特徴べクトルに変換する。したがって，動画の特徴 ベクトルの集合に対して $\mathrm{k}$ 近傍法を適用することで 類似動画を検索することが可能である. $\mathrm{k}$ 近傍法を
実行するツールには Faiss ${ }^{1)}$ [10] を用いた.

## 3.2 シードキャプションとの一致度スコア の自動付与

テキスト含意認識を用いた処理によって，動画グ ループ内の各動画に対してシードキャプションと の一致度スコアを自動的に付与した. シードキャプ ションは，元々は動画グループ内の動画とは異なる 動画に対して付与されていた説明文である. そのた め, シードキャプションは動画グループ内の動画の 内容と食い違っている可能性がある. 動画に対して スコア付けを行うことで，シードキャプションに合 わない動画を動画グループから除外することができ る.また，モデルの訓練時にシードキャプションの 内容を用いる場合，自動スコアに応じて重み付けを した学習を行える。

テキスト含意認識は，二つのテキスト間の含意関係を判定するタスクである。 あるテキストが正しい と仮定した場合に，もう一つのテキストが正しいと 言えるかを判定する. 動画グループ内のある動画に VATEX データセット内で元々付与されていたキャ プションが正しいと仮定した場合にシードキャプ ションが正しいと言えるならば，シードキャプショ ンはその動画の内容を正しく説明していると考えら れる。

テキスト含意認識を用いて動画に対して自動スコ アを付与する手順は次の通りである。

1. シードキャプション $c^{\prime}$ と, 動画グループ内の動画に VATEX データセットで元々付与されてい たキャプション $c_{1}, c_{2}, \ldots, c_{10}$ を準備する.

2. テキスト含意認識モデルを用いてキャプション $c^{\prime}$ とキャプション $c_{1}$ の含意関係を判定する. キャプション $c_{2}, \ldots, c_{10}$ それぞれについても同様の操作を行う.

3. テキスト含意認識で含意関係にあると判定され たキャプションの数を動画のスコアとする.

テキスト含意認識を行うモデルには，テキスト含意認識で高い性能が報告されている SemBERT [11]を 用いた. 全ての動画に対して自動スコアを付与した 後に，自動スコアが 0 である動画は動画グループか ら排除した。また，動画の排除によって動画グルー プ内の動画数が 1 件以下となったデータはデータ セットから排除した。

## 3.3 シードキャプションとの一致度スコア の手動付与

クラウドソーシングを用いて，動画グループ内の 各動画に対してシードキャプションとの一致度ス コアを手動で付与した. 手動でのスコア付けの目的 は，モデルの訓練・テスト時に利用できる情報の付与である. モデルの訓練時にシードキャプションの 内容を用いる場合，人手によって付与したスコアに 応じて重み付けした学習を行える。また，手動スコ アが高い動画が多く含まれるシードキャプションに ついては，テストデータの正解ラベルとしての利用 も期待できる.

シードキャプションと動画の組をクラウドワー カーに見せ，シードキャプションが動画を正しく説明しているかどうかを Yes,No で回答してもらった. シードキャプションと動画の組一つにつき 3 名のク ラウドワーカーに回答してもらい，Yes と回答した クラウドワーカーの人数を手動スコアとした.

シードキャプションは複数の動画の共通内容を説明する抽象的なキャプションであると想定してい る.この想定を考慮し，シードキャプションが動画 の一部分のみを説明している場合でも Yes と答え， シードキャプションが動画内容と食い違う場合のみ No と回答するようクラウドワーカーに指示した.

## 3.4 手動キャプション付与

クラウドソーシングを利用して， 3.1 節で準備し た動画グループに対して手動でキャプション付与 を行った. 手動で動画にキャプションを付与する目的は，シードキャプションよりもより信頼性の高い キャプションを集め，データセットの正解ラベルと して利用することである.

クラウドワーカーにデータセット内の動画グルー プを提示し，全ての動画に共通する内容を説明する 抽象的なキャプションを記述してもらった。キャプ ションの信頼度や統一性を高めるため，次のような ルールを定めた.

・動画に現れていない内容を補完したキャプショ ンを書かない.

・複数の動画の内容を列挙しただけのキャプショ ンを書かない.

・動画に現れる人や物の数を合計したキャプショ ンを書かない。
表 1 構築したデータセットの統計.

## 3.5 データセットの統計

構築したデータセットの統計を表 1 に示す. キャ プション数は，シードキャプション及び手動キャプ ションの数の合計である. 動画数は, データセット の各動画グループに含まれる動画数を重複を含めて 合計したものである. 構築したデータセットの詳し い統計及び分析については付録 A に記す。

## 4 実験

## 4.1 実験設定

構築したデータセットを用いて，抽象的映像キャ プション生成の実験を行った. 本実験では， 2 件の 動画のみを入力としてキャプションを生成した. データセットの正解ラベルは手動キャプションと した.

## 4.2 提案モデル

抽象的キャプション生成を行うモデルには，双方向 LSTM をエンコーダ, 単方向 LSTM をデコーダと する Encoder-Decoder モデルを用いた。また，動画の 埋め込みには行動認識モデルとして有名な I3D [12] を使用した。

モデルに対して複数の動画を同時に入力するため に，各動画の各フレームの特徴ベクトルをコサイン 類似度で重み付けし, 各フレームごとに結合したも のをモデルの入力とした. 図 3 に入力する動画が 2 件の場合の前処理の説明図を示す. 前処理の具体的 な手順は次のとおりである。

1. 一つ目の動画特徵量 $R^{(1)}$ と, 二つ目以降の動画特徵量 $R^{(2)}, R^{(3)}, \ldots$ の各フレームについて 特徴べクトルの類似度を計算し, 類似度行列 $A_{12}, A_{13}, \ldots$ を作成する。類似度の計算にはコサ イン類似度を用いる。

2. 類似度行列と動画特徴量の積 $R^{(2)}=A_{12} \cdot R^{(2)}$ を計算する。 $R^{\prime(3)}$ 以降についても同様に計算 する.
3. $R^{(1)}, R^{(2)}, R^{\prime(3)}, \ldots$ を同じフレームについて結合 し，新たな動画特徴量 $V$ とする。

図 3 動画特徴量の前処理（二つの動画の場合）

表 2 実験で得られた各種スコア. 参考として VATEXに よる映像キャプション生成のスコアを記載している.

各動画の特徴量は 1,024 次元の特徴ベクトルの時系列データで表現される. 入力する動画が 2 件の場合，前処理によって得られる動画特徴量 $V$ は動画特徴量 $R^{(1)}$ と同様のフレーム数を持ち, 各フレームの 特徴ベクトルの次元は 2,048 である.

## 4.3 実験結果

実験結果を表 2 に示す. Abstractive と書かれた行 には，抽象的映像キャプション生成を行わせた結果得られた各種スコアを記している. VATEXと書か れた行には，VATEX の論文中で示されている，今回 の実験で用いたモデルと同様の構造を持つモデルで の VATEX データセットを用いた映像キャプション 生成の各種スコアを記している。

VATEX データセットを用いた映像キャプション 生成と比べて, 抽象的映像キャプション生成のスコ アが顕著に低い.この結果から, 抽象的映像キャ プション生成が挑戦的なタスクであることが分 かった.

## 5 おわりに

本稿では抽象的映像キャプション生成のデータ セット構築及び実験について述べた。データセット の構築では，VATEX データセットをもとに動画検索，テキスト含意認識及びクラウドソーシングを用 いて構築を行った. 実験では，モデルに対して複数 の動画を入力し, 抽象的キャプション生成を行っ た. 実験結果から，抽象的キャプション生成が挑戦的なタスクであることが分かった.

今後は抽象的映像キャプション生成タスクを解 くより良いモデルを提案する予定である。具体的に は，モデルに複数のエンコーダを用いたり，シード キャプションや自動スコア・手動スコアを利用して モデルを訓練することで精度向上が期待できる.

## 謝辞

本研究は富士通株式会社の助成を受けたもので ある.

## 参考文献

[1] Alok Singh, Thoudam Doren Singh, and Sivaji Bandyopadhyay. Nits-vc system for vatex video captioning challenge 2020. arXiv preprint arXiv:2006.04058, 2020.

[2] Ziqi Zhang, Yaya Shi, Chunfeng Yuan, Bing Li, Peijin Wang, Weiming $\mathrm{Hu}$, and Zheng-Jun Zha. Object relational graph with teacher-recommended learning for video captioning. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 1327813288, 2020.

[3] Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, and Juan Carlos Niebles. Dense-captioning events in videos. In Proceedings of the IEEE international conference on computer vision, pp. 706-715, 2017.

[4] Luowei Zhou, Chenliang Xu, and Jason J Corso. Towards automatic learning of procedures from web instructional videos. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[5] Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. Howto100m: Learning a text-video embedding by watching hundred million narrated video clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 2630-2640, 2019.

[6] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4581-4591, 2019.

[7] Jun Xu, Tao Mei, Ting Yao, and Yong Rui. Msr-vtt: A large video description dataset for bridging video and language. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 5288-5296, 2016.

[8] David Chen and William B Dolan. Collecting highly parallel data for paraphrase evaluation. In Proceedings of the 49th annual meeting of the association for computational linguistics: human language technologies, $\mathrm{pp}$. 190-200, 2011.

[9] Huaishao Luo, Lei Ji, Ming Zhong, Yang Chen, Wen Lei, Nan Duan, and Tianrui Li. Clip4clip: An empirical study of clip for end to end video clip retrieval. arXiv preprint arXiv:2104.08860, 2021.

[10] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with gpus. arXiv preprint arXiv:1702.08734, 2017.

[11] Zhuosheng Zhang, Yuwei Wu, Hai Zhao, Zuchao Li, Shuailiang Zhang, Xi Zhou, and Xiang Zhou. Semanticsaware bert for language understanding. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 9628-9635, 2020.

[12] Joao Carreira and Andrew Zisserman. Quo vadis, action recognition? a new model and the kinetics dataset. In pro- ceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6299-6308, 2017.

## A データセットの統計及び分析

本節には，抽象的映像キャプション生成のために 構築したデータセットの統計・分析を記す. 構築し たデータセットの動画件数ごとのデータサイズを表 3 に示す. 訓練データ・検証データ・テストデータ のいずれにおいても，動画を 2 件含むデータが最も 多い。また，動画の件数が多いデータほど，データ サイズが少ない傾向にある.

自動付与・手動付与されたスコアに対する動画数 の内訳をそれぞれ表 4 ，表 5 に示す. 自動スコアに 関しては，いずれのデータについてもスコアが 1 の 動画が最も多く，スコアが高い動画ほど数が少ない 傾向にある．手動スコアに関しては，いずれのデー タについてもスコアが 2 以上の動画がデータ全体 の 95\%以上を占めている. 手動スコアの内訳から， シードキャプションは総じて動画の内容を正しく説明していると考えられる。

表 3 データサイズの内訳（動画グループ内の動画数）.

表 4 動画数の内訳（自動スコア）.

表 5 動画数の内訳（手動スコア）.


 高橋力斗 Chu Chenhui 黒橋禎夫 京都大学情報学研究科 \{r-takahashi, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp  