# 複数動画に対する抽象的キャプション生成 のための基本モデルの検討

高橋力斗 清丸 寛一 Chu Chenhui 黒橋禎夫
京都大学情報学研究科
\{r-takahashi, kiyomaru, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

複数動画に対する抽象的キャプション生成は，複数動画に共通する内容を自然言語で説明するVision and Language タスクである. 本研究では複数動画 に対する抽象的キャプション生成を行うための基本モデルとして, End-to-End モデル及び Cascade モ デルを検討する. モデル構造の比較実験の結果, End-to-End モデルが複数の評価指標で Cascade モデ ルを凌駕していることを示す. 加えて，モデルに対 する複数動画の入力手法がモデルに与える影響を報告する.

## 1 はじめに

動画キャプション生成の研究は単一動画の具体的説明に焦点が当てられてきた $[1,2]$. 一般的な動画キャプション生成のタスク設定では，モデルは動画内で起こっているイベントを単文で説明する [3].動画キャプション生成には動画と自然言語の深い理解が求められ, Vision and Language 領域における主要なタスクとして盛んに研究されている。

一方，動画理解で重要なもう一つの側面に抽象的動画理解がある. 図 1 に例を示す. われわれは左右 の動画をそれぞれ大人たちが鏡の前で踊っている動画，小学生の女の子たちが体育館で踊っている動画 と認識できる。しかしそれと同時に，二つの動画は いずれも人々がジムで踊っている動画であると抽象的に理解することも可能である. このような抽象的動画理解は，複数動画に共通する内容を見つけ，動画間の関係性を理解する上で重要な役割を果たす。

抽象的な動画理解に焦点を当てたタスクとして， われわれは複数動画に対する抽象的キャプション生成を提案し、データセット（本論文では AbstrActs と 称する）を構築した [4]. このタスクは，与えられた 複数の動画に共通する情報をできる限り多く説明す
A group of people is dancing in a gym.

図 1 複数動画に対する抽象的キャプション生成の例. 入力された複数の動画に共通する内容を説明する。

るタスクである。このタスクでは，各動画の内容を 詳細に理解する能力に加えて，動画間に共通する内容を見つけるための抽象化能力が求められる。

本論文では，複数動画に対する抽象的キャプ ション生成を解くための種々のモデルを検討し, AbstrActs を用いてそれらの性能を評価する。具体的には，複数の動画特徴量を結合してモデルに入力する方法と，モデル全体の構造（End-to-End 及び Cascade）について検討・評価を行う．実験結果は，異なる時間における動画内容の類似度を考慮した入力手法（Soft Alignment）及び End-to-End モデルの 有効性を示す。

## 2 関連研究

複数動画に対する抽象的キャプション生成は複数動画から抽象的キャプションを生成するタスクであ る [4]. 入力は $n$ 件の動画が含まれる動画グループ $G$ である. 出力は抽象的キャプション $y$ である. 抽象的キャプション $y$ に求められるのは，動画グルー プ $G$ 内の動画に共通する内容を可能な限り多く説明することである．タスクの最終目標は訓練データ を学習した複数動画に対する抽象的キャプション生成を行うモデル $p_{\theta}(y \mid G)$ を得ることである. $\theta$ はモ デルのパラメータ集合である.

動画キャプション生成では，与えられた単一動画

図 2 AbstrActs データセットの一例.

表 1 AbstrActs の動画及びキャプションの統計. キャプ ション数は人手キャプションとシードキャプションの数 の合計を表す. 動画数は各動画グループに含まれる動画数の合計を表す. 平均含有動画数は動画グループに含ま れる平均的な動画数を表す.

に対してキャプションを生成するモデルを学習す る. 動画キャプション生成モデルは，まずはじめに 事前学習済みの動画特徴量抽出器を用いて動画特徵量を得る。一般に，動画特徴量抽出器には CNN ベースのモデル $[5,6,7]$ あるいは Transformer ベース のモデル $[8,9,10]$ が用いられる. 動画特徴量から キャプションを生成するモデルとしては，多くの先行研究が LSTM ベースのモデルを採用しているが，最近は Transformer ベースのモデルを採用する研究 が増加している [11,12].

既存の動画キャプション生成の研究の大部分は,単一動画の内容を詳細に理解して正確なキャプショ ンを生成することに焦点が当てられてきた. 本研究 で注目するのは抽象的な動画理解であり，既存の キャプション研究とは焦点が異なる.

## 3 AbstrActs データセット

AbstrActs は複数動画に対する抽象的キャプショ ン生成のために構築されたデータセットである [4]. AbstrActs は VATEX [13] を元データとしている. 図 2 に AbstrActs の例を示す. データは動画グループ, 2 種類の抽象的キャプション (人手キャプションと シードキャプション)，TER スコアで構成される。本研究では人手キャプションを複数動画に対する 抽象的キャプション生成の正解キャプションに用 いる.

表 1 に AbstrActs の動画及びキャプションの統

(a) Concat

(b) Soft Alignment

図 3 二つの動画特徵量を結合する方法.

計を示す.データの分割はVATEX の分割に対応している. 動画グループには平均 3 件以上の 動画が含まれる. AbstrActs に含まれる動画には, Kinetics-600 [14,15] に記載の 600 種類の人間の動作 が含まれる。

## 4 基本モデルの検討

本研究では提案タスクを解くモデルとして Transformer ベースのモデルを考える. モデルに対す るどのような改善が複数動画に対する抽象的キャプ ション生成に効果的かを確かめるために，複数の動画特徴量の入力手法及びモデル構造について検討 する。

## 4.1 複数の動画特徴量の結合方法

Transformer ベースのモデルは一つの特徴量系列を 入力として受け取る. 動画特徵量は時間的な特徴量系列で表され，各時間ステップが動画の数フレーム に対応している．複数の動画をモデルに入力するに は，何らかの手法で複数の動画特徴量を処理して一 つの特徵量にする必要がある.

本研究では複数の動画特徵量を入力する手法と して, Concat と Soft Alignment の二つを考える. Concat は複数の動画特徴量を各時間ステップごとに 結合する。図 3(a) に概要を示す.この手法は動画間 の異なるフレーム同士の内容の違いを考慮してい ない。

Soft Alignment では，複数の動画特徴量のうち一 つに着目し，その動画特徴量に似ている部分を他 の動画特徵量から集めて結合する。この手法は注意機構 [16] に着想を得ている. 図 3(b) に概要を示

(a) End-to-End モデル

(b) Cascade モデル

図 4 複数動画に対する抽象的キャプション生成を解く二つのモデル. End-to-End モデルは複数の動画から抽象的キャプ ションを直接生成する. Cascade モデルでは，まず単一動画キャプション生成モジュールが各動画のキャプションを生成 し，その後得られた複数のキャプションを複数文抽象化モジュールに入力して抽象的キャプションを生成する.

す。動画特徴量系列同士で時間ごとに類似度を計算し，その類似度で動画特徴量を重み付けして結合する. $n$ 件の動画特徴量系列 $V_{1}, V_{2}, \ldots, V_{n}$ に対し て Soft Alignment を適用することで，一つの特徴量系列 $V_{\text {align }}=\operatorname{concat}\left(V_{1}, V_{2}^{\prime}, \ldots, V_{n}^{\prime}\right)$ を得る.ただし， $V_{i}^{\prime}=W_{i} \cdot V_{i}$ である.

ここで $W_{i}$ は二つの動画特徴量系列 $V_{1}, V_{i}$ に対応する類似度行列である。また， $V_{1} \in \mathbb{R}^{T_{1} \cdot M}$ かつ $V_{i} \in \mathbb{R}^{T_{i} \cdot M}$ である. $T_{1}, T_{i}$ はそれぞれ $V_{1}, V_{i}$ の系列長 を表す。 $M$ は各時間の特徴量の次元である。このと き， $W_{i} \in \mathbb{R}^{T_{1} \cdot T_{i}}$ である. 二つの動画の各時間同士に 対応する類似度は次の式で計算される：

$
W_{i}\left(t_{1}, t_{i}\right)=\frac{V_{1}\left(t_{1}\right) \cdot V_{i}^{\mathrm{T}}\left(t_{i}\right)}{\left|V_{1}\left(t_{1}\right)\right|\left|V_{i}\left(t_{i}\right)\right|}
$

時間 $t$ における特徵量 $V_{\text {align }}(t)$ は，特徵量 $V_{1}(t)$ に 類似する特徴量を特徴量系列 $V_{i}$ から集め，類似度 で重み付けして結合したものである．特徴量系列 $V_{\text {align }}$ の系列長 $l$ は特徴量系列 $V_{1}$ の系列長に等しい.

## 4.2 モデル構造

## 4.2.1 End-to-End モデル

End-to-End モデルは入力された動画グループか ら直接抽象的キャプションを生成するよう学習 するモデルである。図 4(a) に End-to-End モデルの 概要を示す。まず学習済みの動画特徵量抽出器 を用いて，入力された $n$ 件の動画の特徴量を得 る. 次に，4.1 節で説明した Concat あるいは Soft Alignment を用いて，一つの特徴量系列 $V_{\text {multi }}$ を得 る. 結合された特徴量系列 $V_{\text {multi }}$ は Transformer ベー スのエンコーダモデルに入力され, 特徵量の系列 $\mathbf{z}=f_{\text {enc }}\left(V_{\text {multi }}\right)=\left(z_{1}, z_{2}, \ldots, z_{l}\right)$ を得る. $l$ は結合され た特徴量系列 $V_{\text {multi }}$ の系列長である.

最後に，Transformer ベースのデコーダモデルで抽象的キャプション $y$ を得る. デコードのステップ $t$ における生成単語 $y_{t}=f_{\mathrm{dec}}(\mathbf{y}, \mathbf{z})$ は，過去のステップ
で生成された単語列 $\mathbf{y}=\left(y_{1}, y_{2}, \ldots, y_{t-1}\right)$ と特徵量系列 $\mathbf{z}$ から生成される.

## 4.2.2 Cascade モデル

Cascade モデルは単一動画キャプション生成モ ジュールと複数文抽象化モジュールを組み合わせた モデルである．図 4(b) に Cascade モデルの概要を示 す.はじめに，単一動画キャプション生成モジュー ルでは，Transformer モデルを用いて各動画に対応す るキャプションを生成する，得られたキャプション は，学習済み単語埋め込みモデルによって単語埋め 込みの系列に変換される。これらのキャプション特徵量系列は，4.1 節で説明した大力手法を適用する ことで，一つの特徴量系列に変換される. 最後に，特徴量系列を Transformer モデルに入力し, 抽象的 キャプションを得る.

## 4.2.3 Cascade (Gold) モデル

Cascade (Gold) モデルは, Cascade モデルの単一動画キャプション生成モジュールが十分高い性能を 持っている状態を想定したモデルである．このモデ ルでは単一動画キャプション生成モジュールを使用 せず，代わりに各動画の正解キャプションを複数文抽象化モジュールに入力することで抽象的キャプ ションを生成する．正解キャプションは動画の内容 を十分に説明しているはずであるため，正解キャプ ションは完璧な性能を持つ単一動画キャプション生成モジュールが生成するキャプションとみなせる.

## 5 モデルの評価実験

本節では 4 節で説明したモデルを用いて複数動画 に対する抽象的キャプション生成の実験を行う．

## 5.1 実験設定

データセットには AbstrActs 及び VATEX [13] を 用いた. AbstrActs の動画グループには最大 6 件の 動画が含まれているが，実験設定の簡略化のた
表 2 複数の動画特徴量の結合方法に関する End-to-End モデルの性能比較.

表 3 異なるモデル構造に関する性能比較. 特徵量の入力手法には Soft Alignment を用いた。

めにモデルに入力する動画数を 2 件に固定した. VATEX データセットは Cascade モデルの訓練及び Cascade (Gold) モデルの推論に用いた. End-to-End モデルに入力する動画特徴量の抽出には CLIP4Clip を用いた. Cascade モデルに入力するキャプション 特徵量の抽出には, fastText [17] が提供する学習済 み CBOW モデルを用いた. 推論結果の評価には，動画キャプション生成タスクで広く用いられて いる自動評価指標である BLEU-4 [18], CIDEr [19], METEOR [20], ROUGE-L [21]を用いた.

## 5.2 複数の動画特徵量の結合方法の比較

4.1 節で説明した複数の動画特徴量の結合方法で ある Concat 及び Soft Alignment の二つを比較した. この実験では，4.2.1 節で述べた End-to-End モデルを 使用した. 複数の動画特徴量を結合する 2 種類の手法の性能を比較した. 実験結果を表 2 に示す. Soft Alingment がいずれの評価指標においても Concat を 上回った. Soft Alignment は, 動画同士の異なる時間における特徵量の類似度を考慮しているという点 で, Concat と異なる.この違いが複数動画の共通内容を発見することに役立っていると考えられる.

## 5.3 モデル構造の比較

モデル構造に関する性能を比較した. 図 3 に結果 を示す. 実験の結果, End-to-End モデルが Cascade モデルを凌駕していることが分かった. End-to-End モデルは全ての評価指標において Cascade モデルと Cascade (Gold) モデルの両方を上回った.

End-to-End モデルで高い性能が確認された理由の 一つに, Cascade モデルで起こりうる誤り伝播問題 が存在しないことがある．著者が人手で 50 件の推論結果を分析したところ，50 件中 7 件で，単一動画 キャプション生成モジュールの生成キャプション に誤りがあることで Cascade モデルが抽象的キャプ

人手キャプション: a baby is playing xylophone End-to-End: $\quad$ a kid is playing musical instrument Cascade: Cascade (Gold): a kid is playing a musical instrument

図 5 異なる構造を持つ各モデルによる推論結果の例. 青色または赤色で強調されている単語は，それぞれ望まし い生成または望ましくない生成であることを表す.

and playing with a toy xylophone

and playing with a xylophone a person is playing a musical instrument

図 6 Cascade モデルで観測された，問題のあるキャプ ション生成の例.

ションの生成に失敗していることを確認した。図 5 に例を示す.この例では, End-to-End モデルは二つ の動画に映る子供を具体的に説明できている一方， Cascade モデルは子供を “person” と説明した. 図 6 に同じ例における Cascade モデルの中間出力である 各動画に対するキャプションを示す. 単一動画キャ プション生成モジュールは図中右側の動画に映って いる子供を “man” という抽象的な単語で説明した.抽象的キャプションには "child” や “kid" などの単語 が含まれることが望ましいが，単一動画キャプショ ン生成モジュールの誤りが複数文抽象化モジュール に伝播して，過度に抽象的な単語である “person”が 生成された. End-to-End モデルが “kid”という望ま しい単語を生成したのは，動画特徴量を直接使うた めに誤り伝播が起こらないからである。

## 6 おわりに

本研究では複数動画に対する抽象的キャプション 生成タスクにおいて, 基本的なモデルの検討を行っ た. また，モデルの抽象的キャプション生成の性能向上に効果的な要素を調べるために, AbstrActs デー タセットを用いて評価実験を行った. 本研究で述べ た実験結果及び考察により，今後の複数動画に対す る抽象的キャプション生成に関する研究が促進され ることを期待する.

## 謝辞

本研究はサムスン SDS 株式会社の助成を受けた ものである.

## 参考文献

[1] Sheng Li, Zhiqiang Tao, Kang Li, and Yun Fu. Visual to text: Survey of image and video captioning. IEEE Transactions on Emerging Topics in Computational Intelligence, Vol. 3, No. 4, pp. 297-312, 2019.

[2] Nayyer Aafaq, Ajmal Mian, Wei Liu, Syed Zulqarnain Gilani, and Mubarak Shah. Video description: A survey of methods, datasets, and evaluation metrics. ACM Computing Surveys (CSUR), Vol. 52, No. 6, pp. 1-37, 2019.

[3] Subhashini Venugopalan, Huijuan Xu, Jeff Donahue, Marcus Rohrbach, Raymond Mooney, and Kate Saenko. Translating videos to natural language using deep recurrent neural networks. arXiv preprint arXiv:1412.4729, 2014.

[4] 高橋力斗, Chu Chenhui, 黒橋禎夫. 複数映像の抽象化 を要するキャプション生成. 言語処理学会第 28 回年次大会, pp. 1181-1186, 浜松, 2022.3.14.

[5] Du Tran, Lubomir Bourdev, Rob Fergus, Lorenzo Torresani, and Manohar Paluri. Learning spatiotemporal features with $3 \mathrm{~d}$ convolutional networks. In Proceedings of the IEEE international conference on computer vision, pp. 4489-4497, 2015.

[6] Joao Carreira and Andrew Zisserman. Quo vadis, action recognition? a new model and the kinetics dataset. In proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6299-6308, 2017.

[7] Saining Xie, Chen Sun, Jonathan Huang, Zhuowen Tu, and Kevin Murphy. Rethinking spatiotemporal feature learning: Speed-accuracy trade-offs in video classification. In Proceedings of the European conference on computer vision (ECCV), pp. 305-321, 2018.

[8] Anurag Arnab, Mostafa Dehghani, Georg Heigold, Chen Sun, Mario Lučić, and Cordelia Schmid. Vivit: A video vision transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 68366846, 2021.

[9] Huaishao Luo, Lei Ji, Ming Zhong, Yang Chen, Wen Lei, Nan Duan, and Tianrui Li. Clip4clip: An empirical study of clip for end to end video clip retrieval. arXiv preprint arXiv:2104.08860, 2021.

[10] Ze Liu, Jia Ning, Yue Cao, Yixuan Wei, Zheng Zhang, Stephen Lin, and Han Hu. Video swin transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3202-3211, 2022.

[11] Bairui Wang, Lin Ma, Wei Zhang, and Wei Liu. Reconstruction network for video captioning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7622-7631, 2018.

[12] Luowei Zhou, Yingbo Zhou, Jason J Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 8739-8748, 2018.

[13] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 45814591, 2019.

[14] Will Kay, Joao Carreira, Karen Simonyan, Brian Zhang, Chloe Hillier, Sudheendra Vijayanarasimhan, Fabio Viola, Tim Green, Trevor Back, Paul Natsev, et al. The kinetics human action video dataset. arXiv preprint arXiv:1705.06950, 2017.

[15] Joao Carreira, Eric Noland, Andras Banki-Horvath, Chloe Hillier, and Andrew Zisserman. A short note about kinetics-600. arXiv preprint arXiv:1808.01340, 2018.

[16] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.

[17] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the association for computational linguistics, Vol. 5, pp. 135-146, 2017.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[19] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.

[20] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[21] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pp. 74-81, 2004.
 高橋力斗 清丸 寛一 Chu Chenhui 黒橋禎夫 京都大学情報学研究科 \{r-takahashi, kiyomaru, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp  