# 動画キーフレーム物語生成手法の提案

佐藤俊 $1 *$ 佐藤汰亮 $1 * \quad$ 鈴木潤 $1 \quad$ 清水伸幸 2
1 東北大学 2 ヤフー株式会社
\{shun.sato.p8, tasuku.sato.p6\}@dc.tohoku.ac.jp jun.suzuki@tohoku.ac.jp
nobushim@yahoo-corp.jp

## 概要

本稿では言語画像横断型タスクの一つとして提案した動画キーフレーム物語生成タスクに対して ベースラインとなる手法を提案する。このタスクで は，指定した数の「キーフレーム」とそれに対応す る「説明文」を用いて，絵コンテのように動画を中身を瞬時に把握可能な要約を生成することが目的 である．我々は既存の動画要約データセットである ActivityNet Captions を拡張したデータセットを用い て，教師あり学習に基づくべースラインを構築し，性能評価及び分析を行った。

## 1 はじめに

近年スマートフォンのようなカメラ搭載型デバ イスの普及により，あらゆる人が容易に動画を投稿 できるようになったことで，動画コンテンツの総量は爆発的に増えつつある ${ }^{1)}$.こうした背景から，人間が即座に動画のおおよその内容を把握し, 特定の目的に適/不適の判断をしたい場面が増えてい る. 例えば，大量の動画の中から (1) 視聴したい好 みの動画を見つける場面，(2)特定のシーンノ物/事象を含む動画のみを抽出したい場合，などである。 この状況に対処するために動画の中身を適切に要約する技術への期待が高まっている. 過去の動画要約の研究としては，動画の中から重要と思われるフ レームを抽出するキーフレーム検出タスク $[1,2,3]$ や動画全体や動画をシーンごとに分割したセグメン 卜に対して説明文を付与する動画説明文生成タス ク $[4,5,6,7]$ などがあげられる.

これらの先行研究に対して，動画の内容を瞬時に 理解できる要約を第一要件においた動画要約タスク として，我々はこれまでに動画キーフレーム物語生成タスクを提案した [8].このタスクでは 1 つの動
* 第一，第二著者の本論文への貢献は同等である

1） 付録 A に詳細を示す.画に対し，重要と思われるフレーム (キーフレーム) を抽出した上でそれぞれのフレームを説明する文を 付与し，動画を絵コンテのような形で要約すること で，動画の中身を瞬時に理解可能な要約を行う．文献 [8] では，動画説明文生成タスクのデータセット である ActivityNet Captions に対してキーフレームを 決定するためのアノテーションを付与し，動画キー フレーム物語生成タスクのためのデータセットを構築した. 本研究ではこのデータセットを用いた教師 あり学習に基づいたアプローチで動画キーフレーム 物語生成タスクのベースラインモデルを構築し，そ の性能評価と分析を行う.

## 2 関連研究

動画説明文生成の手法としては動画全体に対して 説明文を付与する手法 $[9,10]$ やセグメントと呼ばれ る動画をシーンごとに分割したものに説明文を付与する Dence Video Captioning と呼ばれる手法があ る $[6,11,12,13,7]$. 本研究の提案法は Dence Video Captioning の方法論をべースにし，動画キーフレー ム物語生成タスクを解くために発展させた方法と位置づけることができる. Chen ら [14] は強化学習を 用いて説明文とともに動画を表現する上で重要なフ レームを数枚提示する手法を提案している。

文献 [8] では，1つの動画に対してその内容を表現する上で重要と思われるキーフレームのアノテー ションとその説明文を付与したデータを作成し，動画を数枚のキーフレームと説明文で絵コンテのよう に瞬時に理解可能な形で要約する動画キーフレー ム物語生成タスクの枠組みを提案した。このデータ セットにより，Chen らの手法と類似のシステムを 教師あり学習のアプローチで構築できるようになっ たとも言える。本研究では，このデータセットを用 いて動画キーフレーム物語生成タスクを解くベース ラインモデルを構築する。

図 1 動画キーフレーム物語生成タスクに用いるデータ セットの概要. 各動画は $M$ 個の説明文とそれぞれの説明文に対応する $K$ 個のキーフレームについてのアノテー ションを持つ. キーフレームの最小単位は $0.5 \mathrm{~s}$ となって いる.

## 3 動画キーフレーム物語生成タスク

本章では動画キーフレーム物語生成タスクのタス ク全体の定義とその評価方法について述べる。

## 3.1 タスクの定義

$\mathbf{x}$ を 1 つの動画とし $\mathbf{y}=\left(y_{1}, \ldots, y_{N}\right)$ を動画 $\mathbf{x}$ 内の キーフレームとする.ここで $y_{i}$ は動画 $\mathbf{x}$ の冒頭か ら数えてi番目のキーフレームを指し $N$ は事前にシ ステムの外で決められたシステムが出力すべきキー フレーム浐明文の数を表している， $\mathbf{z}=\left(z_{1}, \ldots, z_{N}\right)$ はシステムが出力する $N$ 個のキーフレームに対す る説明文を表す. すなわち $z_{i}$ は $i$ 番目のキーフレー ム $y_{i}$ を説明する文となっている.

要約として出力すべきキーフレーム/説明文の数 $N$ についてはビデオの長さ, 要約の用途など状況に 応じて変化することが想定される。またそれをシス テムが自動的に決定することは困難であるため， $N$ は動画ごとに事前に人間が決定することを前提と している. 出力する要約の数については文書要約に おいても同様の議論がなされている [15]. したがっ て，動画キーフレーム物語生成タスクは動画 $\mathbf{x}$ と出力すべき要約の数 $N$ を受け取り, $N$ 個のキーフレー ムと説明文を出力する $\mathscr{T}:(\mathbf{x}, N) \rightarrow(\mathbf{y}, \mathbf{z})$ のように 記述される.

## 3.2 評価方法

動画キーフレーム物語生成タスクではシステムが $N$ 個のキーフレームと説明文のぺア $\left.\{\left(y_{i}, z_{i}\right)\right.\}_{i=1}^{N}$ を 出力する. 本節ではキーフレームと説明文のそれぞ れについて評価する方法を記述する。

## 3.2.1 キーフレームの評価方法

図 1 に今回用いるデータセットに付与されている アノテーションの概要を示した。それぞれの動画は $M$ 個のセグメントとそれを説明する説明文が付与さ れている。またそれぞれのセグメントごとに対応す る $K$ 個のキーフレームに関するアノテーションが つけられている.

付録 B の図 3 に本タスクの評価全体の概要を示 す. ここで $\mathbf{A}=\left(A_{1}, \ldots, A_{N}\right)$ は時系列順のセグメン トを表す。上述の通り 1 つのセグメント $A_{i}$ は複数 のキーフレームに関するアノテーションをもち, 1 つのキーフレームを $a \in A_{i}$ として表記する. 同様に $\mathbf{p}=\left(p_{1}, \ldots, p_{N}\right)$ はシステムが予測したキーフレー ムの位置を表す. システムは事前に指定した $N$ 個 のキーフレームを出力するが，正解の数 $M$ が $N$ よ りも大きい場合には $M$ 個の正解から $N$ 個選んでで きる ${ }_{M} C_{N}$ 通りの組み合わせから最適なものを探索 する。

次に文献 [8] に従い式 (1) で記述される評価のた めの aligned key-frame matching (AKM) スコアを導入する.

$
\mathrm{AKM}_{\mathrm{ex}}=\max _{\mathbf{p}^{\prime} \in \Gamma(\mathbf{p})}\left.\{\frac{1}{N} \sum_{i=1}^{N} \max _{a \in A_{i}}\left.\{\mathrm{~m}_{\mathrm{ex}}\left(p_{i}^{\prime}, a\right)\right.\}\right.\}
$

ここでマッチング関数 $\mathrm{m}_{\mathrm{ex}}(\cdot, \cdot)$ は 2 つのフレームを 受け取り，それらが完全に同じときに 1 ，それ以外 の場合には 0 を返す関数である．Г(.) は大力系列の 順番を入れ替えた順列集合を表す. $p_{i}^{\prime}$ は $\mathbf{p}^{\prime}$ の中の $i$ 番目の要素であり, 式 (1) は解答候補 $A_{i}$ 中の $1 \supset$ の $a$ と予測 $p_{i}$ とのマッチングの中で最大の值を取 るという操作を $N$ 回繰り返し，その平均值がもっと も大きくなるときの値をその予測に対するスコアと する。

また上記の式 (1) のマッチングの条件を緩和した 以下の式 (2) で表されるマッチング関数 $\mathrm{m}_{\mathrm{cos}}(\cdot, \cdot)$ を 用いた $\mathrm{AKM}_{\cos }$ も評価指標として用いる.

$
\mathrm{m}_{\cos }\left(\mathbf{v}_{p}, \mathbf{v}_{a}\right)=\max \left(0, \operatorname{Cos}\left(\mathbf{v}_{p}-\overline{\mathbf{v}}, \mathbf{v}_{a}-\overline{\mathbf{v}}\right)\right)
$

ここで $\mathbf{v}_{p}$ と $\mathbf{v}_{a}$ はそれぞれ予測と正解のキーフレー ムの画像の特徵べクトルを表す。产 は評価対象動画内の特徴べクトルの平均とする。式 (2) の詳細につ いては付録 B に記載した

## 3.2.2 説明文の評価方法

説明文の評価には METEOR [16] を用いる. METEOR は動画説明文生成タスクにおける説明文

の評価指標として一般的に用いられるものの一つで あり，本研究でもそれに則って評価を行う。

## 4 実験

本章では実験に用いるデータおよびモデルの詳細，実験結果について述べる。

## 4.1 データセット

今回実験には，1 章で述べたように文献 [8] で提案したデータセットを用いる. データセットの訓練/開発データの分割は ActivitytyNet Captions の分割 の仕方に従い，訓練データの数が 7,727 個，開発 データの数が 4,282 個となっている. ActivitytyNet Captions では評価データは公開されていないため本章では開発データ上での性能を報告する. また各動画ごとの生成する説明の個数 $N$ については， 4 とし た. ただしデータについているセグメント/説明文 のアノテーションが 4 個未満の場合には，その数を $N$ とした.

## 4.2 ベースラインモデル

動画キーフレーム物語生成はキーフレームの選択 とその説明文の生成を同時に行う必要がある. しか し，これらを同時に実行することはモダンなニュー ラルモデルを用いても容易ではない，そこで我々は このベースラインとなるシステムの推論/生成の過程を多段階に分割して構築した. 図 2(a) にモデル全体の概要を示した. 本システムは次の 4 つの要素か ら構成される。

(Step1: セグメント抽出モジュール) 動画を入力とし て動画を内容ごとにいくつかのフレームをまとめた セグメントに分割する. このモジュールでは $N$ 個以上の候補を生成する。

(Step2: 説明文生成モジュール) Step1 のモジュール から出力されたセグメントを受け取り，それぞれの セグメントに対して説明文を生成し，そのぺアを出力とする.

(Step3: 候補選択モジュール) セグメント/説明文の ペアを受け取り，それらの中からできるだけ時間的重複が発生しないように事前に決めた数 $N$ 個を選択する. したがって出力は $N$ 個のセグメント/説明文のペアとなる。

(Step4: キーフレーム検出モジュール) 与えられた $N$個のセグメント/説明文の情報を用いてセグメント の中から説明文が示す内容にマッチするキーフレー

ムを予測する。このモジュールの出力がシステム全体のキーフレームと説明文の予測結果となる.

## 4.2.1 各モジュールの実装

本節では上記のシステムを構成する各モジュール 群の実装について詳細を述べる。まず初めに，本研究では動画を連続したフレームの集合としてとらえ る. Zhou ら [7] の設定に従い，動画はフレームごと に ResNet200 [17] と BN-Inception [18] を用いて画像特徴量に変換する。またフレームはデータセットの アノテーションに合わせて $0.5 \mathrm{~s}$ ごとに離散的にサン プリングを行っている.

Step1 と Step2 のモジュールは Zhou らが動画説明文生成タスクのために提案している Masked Transformer Model (MTM) [7]を用いる. 図 2(b) に MTM の概要を示している. MTM は動画内部からセ グメント抽出を行いそれと同時にセグメントの内容 に対応する説明文を生成する。本研究では MTM が 出力するセグメントを Step1, 説明文を Step2 の出力 として扱う。

MTM はありえそうなセグメントハキーワードの候補をできる限り多く出力するため，Step3 では動的計画法を用いてこれらの中から $N$ 個を選択する. また動的計画法のパス決定の決定にはセグメント/説明文の尤度を用いる.

Step4 のキーフレーム検出には Neural Sequence Detector Model (SeqM) を用いる。図 2(C) に SeqM の 概要を示している.このモジュールの中ではまず入力されたセグメント内部の各フレームを画像特徴量 に変換する．同様に入力された説明文を BERT [19] で特徴量に変換し, 最終的に画像特徴量と連結し て，双方向 LSTM(Bi-LSTM) で実装された系列処理層に入力する．系列処理層では各フレームに対して そのフレームがキーフレームか否かの 2 值分類を行 う.このとき予測確率がもっとも高いフレームをシ ステムの最終的なキーフレームの予測とする. 各モ ジュールのパラメータは付録 Cに記載した。

## 4.3 実験結果

表 1 にベースラインモデルの性能値を示す. 比較対象として，動画内部のフレームの中からランダム

(a)

(b)

(c)

図 2 動画キーフレーム物語生成モデルの概要; (a) 動画キーフレーム物語生成モデルの全体の流れ, (b) Masked Transformer Model [7] (c) Neural Sequence Detector Model.

表 2 Step3 および Step4 において用いるモジュールに関 する分析. オラクルは正解のセグメントを入力した場合,予測.DP は動的計画法, 予測. Greedy は貪欲法で上位 $N$ 個 の候補を選択した場合のシステムの出力結果を表す.

候補選択 キーフレーム検出評価指標

に 1 秒分のセグメントを選択し，そのセグメントに 対して説明文を生成した場合の METEOR，そのセ グメントの中からランダムに選択したフレームを キーフレームの予測とした時の $A K M_{e x}$ と AKM $\cos$ をラ ンダムの性能値として記載した. この結果から提案 したベースラインモデルがランダムの結果よりも性能値が高く，キーフレーム検出およびその説明文生成についてデータセットを教師信号として活用でき ていることがわかった. ${ }^{2}$ またモデルの出力例につ いては付録 Eに記載した。

## 5 分析

本章では提案した動画キーフレーム物語生成モデ ルのシステム構成について検討する。

## 5.1 候補選択モジュール (Step3)

表 2 に Step3 の候補選択モジュールとしてセグメ ントと説明文の候補の中から動的計画法と貪欲法を 用いて上位 $N$ 個を選択した場合の結果を示す. オ ラクルは正解の説明文を入力した場合のキーフレー ム検出と説明文生成の評価値である. 動的計画法と 貪欲法の結果を比べると動的計画法を用いた場合の

2） METEOR の值は先行研究と比較しても妥当な値である. 詳細については付録 D に記載した予測が優れていることがわかった.これは一般的に 動的計画法が貪欲法と異なり, 厳密な最適解に到達 できることから直感的な結果と言える.

また結果からキーフレーム検出および説明文生成 の両方でオラクルの結果と予測値の間に大きな差が あり，モデル全体の性能には改善の余地があると言 える。

## 5.2 キーフレーム検出モジュール (Step4)

表 2 にキーフレーム検出モジュールの系列処理層として Transformer [20] と Bi-LSTMを用いた場合 の結果を記載した. $A K M_{\mathrm{ex}}$ および $\mathrm{AKM}_{\mathrm{cos}}$ のいずれ の評価指標でも Bi-LSTMを用いた場合の方がキー フレーム検出の性能値が高いことがわかる。近年多くのタスクにおいて優れた性能を発揮している Transformer であるが，それらの多くは大規模データ セットを用いた訓練による部分が大きい，今回扱っ たデータセットは相対的に小規模であり，直接的 な系列処理アーキテクチャである Bi-LSTM の方が キーフレーム検出に適していたと考えられる.

これらの結果を踏まえて表 1 では動的計画法と Bi-LSTM を用いたモデルを本タスクのベースライン として選出した。

## 6 結論

本研究では，動画キーフレーム物語生成タスクの ために必要な複数の機能を組み合わせたべースライ ンとなるモデルを提案し, その構成要素について分析を行った. 提案したモデルは一定の性能を示した ものの，生成されるキャプションの質やキーフレー ムの検出についていずれもオラクルの性能値と大き な差があった. 各機能を構成する個別のモジュール の性能向上や全体のアーキテクチャの見直しを行い さらなる性能改善を今後の課題としたい.

## 参考文献

[1] W. Wolf. Key frame selection by motion analysis. In 1996 IEEE International Conference on Acoustics, Speech, and Signal Processing Conference Proceedings, Vol. 2, pp. 1228-1231 vol. 2, 1996.

[2] Sourabh Kulhare, S. Sah, Suhas Pillai, and R. Ptucha. Key frame extraction for salient activity recognition. In 23rd International Conference on Pattern Recognition (ICPR), pp. 835-840, 2016.

[3] X. Yan, Syed Zulqarnain Gilani, Hanlin Qin, Mingtao Feng, L. Zhang, and A. Mian. Deep keyframe detection in human action videos. ArXiv, Vol. abs/1804.10021, , 2018.

[4] Oriol Vinyals, A. Toshev, S. Bengio, and D. Erhan. Show and tell: A neural image caption generator. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3156-3164, 2015.

[5] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 2048-2057, Lille, France, 07-09 Jul 2015. PMLR.

[6] Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, and Juan Carlos Niebles. Dense-captioning events in videos. In International Conference on Computer Vision (ICCV), 2017.

[7] Luowei Zhou, Yingbo Zhou, Jason J. Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.

[8] 晃太郎北山, 潤鈴木, 伸幸清水. 動画キーフレーム 物語生成タスクの提案とデータセットの構築.人工知能学会全国大会論文集, Vol. JSAI2021, No. 0, pp. 4I4GS7e03-4I4GS7e03, 2021.

[9] Subhashini Venugopalan, Marcus Rohrbach, Jeffrey Donahue, Raymond Mooney, Trevor Darrell, and Kate Saenko. Sequence to sequence - video to text. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 4534-4542, 2015.

[10] Subhashini Venugopalan, Huijuan Xu, Jeff Donahue, Marcus Rohrbach, Raymond Mooney, and Kate Saenko. Translating videos to natural language using deep recurrent neural networks. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1494-1504, Denver, Colorado, MayJune 2015. Association for Computational Linguistics.

[11] Jingwen Wang, Wenhao Jiang, Lin Ma, Wei Liu, and Yong $\mathrm{Xu}$. Bidirectional attentive fusion with context gating for dense video captioning. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 71907198, 2018.

[12] Yehao Li, Ting Yao, Yingwei Pan, Hongyang Chao, and Tao Mei. Jointly localizing and describing events for dense video captioning. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 74927500, 2018.

[13] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, and Jianfeng Gao. Oscar: Objectsemantics aligned pre-training for vision-language tasks. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and JanMichael Frahm, editors, Computer Vision - ECCV 2020, pp. 121-137, Cham, 2020. Springer International Publishing.

[14] Yangyu Chen, Shuhui Wang, Weigang Zhang, and Qingming Huang. Less is more: Picking informative frames for video captioning. In Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, editors, Computer Vision - ECCV 2018, pp. 367-384, Cham, 2018. Springer International Publishing.

[15] P. Over and J. Yen. An introduction to DUC 2003: Intrinsic evaluation of generic news text summarization systems, 2003.

[16] Alon Lavie and Abhaya Agarwal. METEOR: An automatic metric for MT evaluation with high levels of correlation with human judgments. In Proceedings of the Second Workshop on Statistical Machine Translation, pp. 228231, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[17] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778, 2016.

[18] Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 448-456, Lille, France, 07-09 Jul 2015. PMLR.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

図 3 キーフレームに関する評価の概要. $\mathbf{A}=\left(A_{1}, \ldots, A_{N}\right)$ は正例のキーフレーム集合を表し，それぞれの $A_{i}$ は $\mathrm{K}$ 個の正解のキーフレーム $\left(a_{i 1}, \ldots, a_{i K}\right)$ を持つ. $\mathbf{p}=\left(p_{1}, \ldots, p_{N}\right)$ はシステムが予測した $N$ 個のキーフレー ムを表す. $\Gamma(\mathbf{p})$ は予測されたキーフレームの順番を入れ 替えて作られる順列を表す.キーフレームの評価におい ては

## A 動画データに関する統計情報

動画投稿サイト Youtube では毎分合計 500 時間以上の動画アップロードされていると報告されてい る. ${ }^{3)}$

## B 評価方法の詳細

式 (1) で表されるマッチング関数 $\mathrm{m}_{\mathrm{ex}}(\cdot, \cdot)$ は予測と 正解のキーフレームの間に完全一致を要求している が，セグメント内部では類似したフレームが複数あ ることが想定され, 正解の候補が複数あったとして も完全に同じフレームを当てるのは容易でないこと が考えられる。そこで我々は AKM スコアのマッチ ング関数 $\mathrm{m}_{\mathrm{ex}}(\cdot, \cdot)$ の代わりに制限を緩和した式 (2)で 表されるマッチング関数 $\mathrm{m}_{\mathrm{cos}}(\cdot, \cdot)$ を用いた $\mathrm{AKM}_{\cos }$ も 評価指標の 1 つとして導入する.

$\mathrm{m}_{\mathrm{cos}}(\cdot, \cdot)$ は $\mathrm{m}_{\mathrm{ex}}(\cdot, \cdot)$ と異なり，異なる位置のフレー ムであっても正解のキーフレームと類似したフレー ムを選択できていれが 1 に近い値をとる.

また図 3 で示す評価全体では全ての組み合わせの 探索を行うと膨大な計算コストがかかるため, AKM スコアを用いた動的計画法によって効率的な探索を

3) https://www.statista.com/statistics/259477/

hours-of-video-uploaded-to-youtube-every-minute/.

図 4 システムの予測と正解のキーフレームと説明文と 実例

行う.

## C モデルのパラメータ

MTM の実装およびハイパーパラメータについて は MTM を提案している Zhou ら [7] が公開している もの ${ }^{4)}$ に従った.

表 3 に SeqM のパラメータを記載した. SeqM で 用いる ResNet200と BN-inception の次元数はそれ ぞれ 512 次元とし, 説明文のテキストの特徴量 として用いる BERT の次元数は 768 次元とした.最終的には，この 3 つの特徴量を連結した 1792 $(=512+512+768)$ 次元のベクトルを SeqM の入力と した.

## D METEOR の值の妥当性

本研究で説明文の生成を担っている MTM の提案論文 [7] では ActivityNet Captions を Dence Video Captioning のデータセットとして扱い，MTMを用 いて説明文を生成している. その論文における説明文の METEOR の值は 9.56 であり，本研究での METEOR が妥当な値であることを示している.

## E モデルの出力例

図 4 にシステムの出力と対応するキーフレームお よび説明文の正解の実例を示す.

 佐藤俊 $1 *$ 佐藤汰亮 $1 * \quad$ 鈴木潤 $1 \quad$ 清水伸幸 2 1 東北大学 2 ヤフー株式会社 \{shun.sato.p8, tasuku.sato.p6\}@dc.tohoku.ac.jp jun.suzuki@tohoku.ac.jp nobushim@yahoo-corp.jp  