# 動画タイトルを用いたサムネイル画像の自動選択手法の提案

嘉田 紗世 ${ }^{1}$ 山野陽祐 ${ }^{1}$ 新美 茜 ${ }^{1}$ 田森秀明 1 小海則人 ${ }^{1}$ 岡崎 直観 ${ }^{2}$ 乾 健太郎 3,4
1 株式会社朝日新聞社 2 東京工業大学 3 東北大学 4 理化学研究所
\{kada-s, yamano-y, niimi-a, tamori-h, kokai-n\}@asahi.com,
okazaki@c.titech.ac.jp, inui@tohoku.ac.jp

## 概要

本研究では，動画のフレームから動画タイトルに 関連した最適なサムネイル画像を自動で選択する手法を提案する。さらに，隣接するフレーム間の相関 が高いという動画の特徵（㔯長性）に対応し，性能 を向上させるための手法についても言及する。本手法は画像とテキストのマルチモーダルな事前学習済 みモデルを利用し，学習データに動画自体を必要と しない. 先行研究と性能を比較し, 有効性を確認し た．また，朝日新聞社の動画を使った実験で，構築 したパイプラインの有効性を示した.

## 1 はじめに

サムネイルは画像や動画の情報量を削減したもの で，ユーザの第一印象を左右する。 ゆえに，その品質は重要である。一方，サムネイルの素材となるフ レームを選ぶ作業（以下，サムネイル選択と呼ぶ） は労力を要するため，動画を大量に制作する現場で は，効率化の観点からサムネイルの自動生成に対す る期待が高い。

サムネイル選択の自動化では，動画とサムネイル のパラレルデータを用いた教師あり学習でモデルを 構築するアプローチが考えられる. しかし現状，動画制作者によって手動で作成された動画・サムネイ ルデータは少なく, 特に日本語のデータセットは筆者らの知る限り, 存在しない. そこで本研究では, それらの代替として，画像とテキストのパラレル データを用いたモデルを利用する。このようなデー タセットは日本語でも存在し ${ }^{1)}$, 特に朝日新聞社で は，掲載された過去の記事から大規模かつ効率的に データセットを構築することが可能である.

タイトルは動画制作者が動画を端的に説明する


ために付与したものであるため，動画とそのタイト ルの間には，動画（画像の集合）からテキストへの マルチモーダルな「要約」の関係が成り立つと考え られる。そこで，タイトルとの関連性が高いフレー ムは動画の主題を表すと考え，画像とテキストの類似度を測るモデルを用いてサムネイルを選択する。 さらに，動画の冗長性の排除を狙いとしたピーク検出2) と，複数のサムネイル候補の相対的な順位を考慮するランキング学習についても検討した. なお,本研究は，サムネイル画像として適切なフレームを 動画から選択する作業の支援を目的としている.

事前に画像とテキストのパラレルデータで学習し たモデルで各フレームと動画タイトルの類似度を計算し, 最も類似度が高いフレームをサムネイルとす る手法の有効性を, 先行研究との性能を比較するこ とにより確認した。また，朝日新聞社の報道動画を 使った実験では，ピーク検出により動画の冗長性を 排除し，効果的にサムネイル候補（キーフレーム） を抽出できることや，ランキングモデルを組み合わ せることで性能が向上したことを確認した.

## 2 関連研究

サムネイル選択手法として，美的品質と代表性な どの視覚情報に基づく手法が提案されている. 代表的な手法として, Song らの研究 [2] がある. Song ら は，暗い・ボケといった低品質のフレームの破棄,視覚的に類似したフレームのクラスタに基づく重複フレームの破棄, 抽出したキーフレームの美的品質及び代表性（キーフレームを含むクラスタサイズ から算出）による評価，という手順でサムネイル選択を行った. 本研究では報道動画での実応用を見据 え，視覚情報に加えて動画の主題との関連性も重視 する. そこで, Song らとは異なり, 動画のタイトル 情報を活用する手法を検討する。


図 1 提案手法の概要. CLIP によりフレームとタイトルの類似度を計算する. ピーク検出によって冗長性を排除し， キーフレームを抽出する．CLIP で計算した類似度，ランキングモデルの結果を組み合わせ，キーフレームを順位付ける。

タイトル情報を活用する先行研究に $\mathrm{Yu}$ らの研究 [3]がある. Yu らは，視覚情報に加えて動画のタ イトルや説明文，および動画中の音声を用いた埋め 込み表現を学習したモデルを構築し，このモデルに より生成された動画を表すべクトルと最も類似度が 高いフレームをサムネイルとして選択した. 本研究 では，動画を学習データに用いる手法とは異なり，画像とテキストのマルチモーダル事前学習済みモデ ルを活用したサムネイル選択手法を提案する。

## 3 提案手法

図 1 亿本手法の概要を示す. 前述のとおり，動画 の主題をよく表すフレームを選択するために，画像 とテキストの類似度を測るモデルを用いる. 本研究 では Contrastive Language-Image Pre-Training (CLIP) [4] を採用する (3.1 節)。しかし，動画中には同じよ うなフレームが多数存在することから， CLIP のみ でサムネイルとなるフレームを選び出すのは困難で ある．そこで，テキストとの類似度に加えてピーク 検出を導入する（3.2 節）。さらに，編集者の画像評価を再現するランキングモデルを構築し，より最適 なサムネイルを候補から選択する（3.3 節）。

なお，本研究では動画から一つ以上のサムネイル を抽出する。一つ以上とするのは，本手法で選択し た複数のフレームからサムネイルを人手で選択する という，実際の業務フローを想定するためである.

## 3.1 CLIP

CLIP は，2021 年に OpenAIが提案したニューラル ネットワークである. 大量の画像・テキストペアの 対照学習を通してマルチモーダルな埋め込み表現を 学習し, 多くのタスクにおいてゼロショット学習で 優れた精度を達成している. CLIPを使用すること で画像とテキストをそれぞれ特徴量としてべクトル 化し，その類似度を計算できる。本研究で CLIP を用いる理由は，画像とテキスト の対応関係を直接学習することで，その相互理解に 向けたより汎用的なモデルが構築できると期待で きるからである．タイトルに基づくサムネイル選択 を実現するには，物体認識モデルの利用も考えられ る.しかし, 本研究の主な対象である報道動画にお いては，主題を表しているが即物的でないタイト ル (例: 「晚秋の尾瀬，金色に輝く今だけ見られる 景色」）も含まれているため，従来の物体認識モデ ルだけでは不十分である．そこで，テキストの文脈 を考慮できるモデル構築が可能な CLIPを採用し， CLIP で計算される各フレームとタイトルの類似度 （以下，CLIP スコアと呼ぶ）をサムネイル選択に利用する．与えられた動画の各フレームの CLIP スコ アを算出し， CLIP スコアがより高いものを動画の 主題をよく表すフレームとする。

## 3.2 ピーク検出によるキーフレーム抽出

罙長性を排除しつつ CLIP スコアの高いフレーム を取得するため，以下の手順でピーク検出を行い， キーフレームを抽出する。

1. CLIP スコアを時系列データとする

2. CLIP スコアの移動平均を算出

3. CLIP スコアの移動平均からピークを検出

4. ピークの近傍からキーフレームを抽出

概要を図 2 に示す. 手順 1 でプロットした CLIP ス コアに対して, 手順 2 で移動平均を算出して外れ値 を除去する。手順 3 では，移動平均が極大となるフ レームを見つける。手順 4 では，手順 3 で抽出した フレームの前後 30 枚から, 同一シーン内で CLIP ス コアが最大のフレームを抽出する.

この段階では，キーフレーム間の順位は CLIP ス コアから決定する．また，再生時間は動画毎に異な るため，抽出されるキーフレーム数は不定である.

図 2 キーフレーム抽出の概要. 凡例と本文中の手順 1～ 4 は対応している.

## 3.3 ランキングモデル

サムネイルは動画の顔であるため，動画の主題を 表すだけでなく，ユーザの興味を引くフレームを動画制作者は選択したい。そこで， 3.2 節で抽出され た複数のキーフレームに対し，より良い画像を順位付けするランキングモデルを構築する。このランキ ングモデルの学習データには，朝日新聞デジタルの 記事に含まれる画像と，その表示順を利用する．記事に複数の画像が付与されているとき，それらの画像は編集者の考える優先度順に並べられる. この順序を学習させ，編集者の画像評価を再現するモデル を構築する。

キーフレームの最終スコア $x$ は CLIP スコアでの 順位 $m$ ，ランキングモデルでの順位 $n$ を考慮し，以下の式から算出する.

$
x=2^{-m}+2^{-n}
$

ここでは，どちらかの順位が高ければ $x$ が高くなる スコア付けをする. なお， $x$ が等しい場合，ランキ ングモデルの順位を優先してフレームを採用する。

## 4 実験

本研究では，2つの実験を通じて提案手法を評価 する. 4.1 節では, 先行研究との性能比較により, 各 フレームと動画タイトルとの関連性によるサムネイ ル選択の有効性を検証する４.2 節では，本研究の 主な応用先である朝日新聞社の報道動画を用いて，提案手法の有効性を検証する. 実験は以下の設定で 行う.
- CLIP: 全フレームから CLIP スコアの上位 $k$ 個 を選択

-CLIP+peak: 3.2 節の手法でキーフレームを抽出・順位付けし，上位 $k$ 個を選択
- CLIP+peak+rank: 3.2 節の手法で抽出したキー フレームを式（1）から算出した最終スコアで 順位付けし，上位 $k$ 個を選択

なお，4.1 節では単純に CLIP スコアによるサムネイ ル選択の性能を評価するため，CLIP の結果のみを 示す.

## 4.1 先行研究との性能比較

この実験では，正解フレームとの一致に基づい た評価を行うため，正解フレームを収録した Yahoo データセット3）を用い，Song ら，Yu らの手法と性能 を比較する。評価指標として，Yuらの実験で採用 されたものを用いる。

データセット Yahoo データセットには，動画制作者が生成したサムネイルに対応するフレーム番号 が含まれており，そのフレームを正解とする。Yu らの実験で使用された 71 件の評価データを特定で きなかったため，Yahoo データセットの 429 件の動画（取得できた動画のうち，タイトルが英語のも の）からランダムに 71 件の動画を評価データとし て抽出し，性能評価に用いる。評価データセットは 5 つ作成し，5 回の実験の平均値を結果として示す.

評価指標 $\mathrm{Yu}$ らの指標に従い，最上位 $(k=1)$ の サムネイル候補 $c$ が正解フレーム $f^{*}$ と一致する場合 に予測が正しいと見なし，適合率によって性能評価 を行う． 2 枚の一致は，VGG16 モデル [5] で抽出し た特徴量の近さから判定する. VGG16 モデルの実装は Keras のものを用いた ${ }^{4)}$ ．動画内には類似した フレームが存在することを考慮し，閾值 $\theta$ 以下で一致とみなす。与えられた $\theta$ に対して，サムネイル候補 $c$ と正解フレーム $f^{*}$ の間に,

$
\left.\|v\left(f^{*}\right)-v(c)\right.\|_{2}^{2} \leq \theta
$

という関係が成り立つとき，サムネイル候補 $c$ の抽出は正しい（真陽性）と判定する.ここで， $v($.$) は$ VGG16 で計算されたフレームの特徴ベクトルを表 す. $\theta$ の值を変えながら適合率を計算する。

CLIP モデル Yahoo データセットのタイトルは 英語のため，OpenAI 提供の CLIP を使用する5).

実験結果 表 1 に Song ら，Yu らのモデルと， CLIPでのサムネイル選択の実験結果を示す. CLIP による選択は， $\theta=\{750,1000\}$ では先行研究よりも 性能が劣るが，より厳密な評価である $\theta=500$ では

3) https://github.com/yalesong/thumbnail

4) https://keras.io/ja/applications/

5) https://github.com/openai/CLIP
表 1 Yahoo データセットにおける性能. Song ら，Yu ら の手法を CLIP スコアのみを用いた手法と比較した.

先行研究よりも性能が高い.この結果から，タイト ル及び CLIP スコアがサムネイル選択に有効である ことが分かった.

## 4.2 報道動画での実験

データセット 朝日新聞社 YouTube アカウントで 2021 年 9〜 11 月に公開された動画を使用する. 長時間のノーカット会見や，制作フローが違うと考えら れるマンガ動画は対象から除外した。 さらに，サム ネイルに対応するフレームが動画内に存在しない動画を破棄し，204 本の動画を評価対象とした（平均再生時間 81.4 秒). サムネイルに対応するフレーム の有無と正解フレーム番号は目視で確認した.

評価指標 3 節で述べた実際の業務フローを想定 し, 本手法で予測した上位 $k$ 個 $(k \in\{1,3,5\})$ の候補 のうち，少なくとも一つが正解フレームと一致する 場合に予測が正しいとみなす. 4.1 節同様，真陽性 は式（2）によって判定する. 簡単のため $\theta=500$ の 結果のみを示す.

CLIP モデル 日本語の動画に適用するため，日本語の CLIP モデルを構築した. データセットとし て，朝日新聞デジタルに掲載された記事に含まれる 画像とテキストから作成したパラレルデータ，計 548,117件を用いた. テキストには, 画像キャプショ ンと見出しを使用しており，1 枚の画像に対して 2 つのパラレルデータを作成した. 実装は Moein のも のを用いだ). Text Encoder には Sentence-BERT [6], Image Encoderには Vision Transformer [7] を使用した.

キーフレーム抽出 3.2 節の手順による. 手順 2 における移動平均の窓幅は，全フレーム数 $N$ を用 いて, $\left.\lfloor\frac{N}{10}+0.5\right.\rfloor$ とした. 手順 3 では, 移動平均線 の極大値を検出する。ここで，極大値同士の距離 distance および極大值前後の高低差 prominence はそ れぞれ, distance $\geq 60$, prominence $\geq 0.008$ とし, これらのパラメータは実験的に決定した. 手順 4 で は，検出したピークと異なるシーンのフレームの抽

6) https://github.com/moein-shariatnia/OpenAI-CLIP表 2 構築したパイプラインの性能検証結果．朝日新聞社 の動画を評価に用いた。

出を防ぐため，ニューラルネットワークを用いた シーン境界検出 [8]を行い，その結果を利用した。

ランキングモデル モデルは CatBoost [9]，損失関数は StochasticRank [10] を使用した. 学習データ には朝日新聞デジタルの記事画像と表示順序情報 70,737 件 ( 1 記事の画像が $5 \sim 10$ 枚の記事 11,379 件分)を使用した. 画像の特徴量は Vision Transformer で抽出した。評価尺度として $\mathrm{nDCG}^{0} 5$ を用い，テ ストデータで $\mathrm{nDCG} @ 5=0.855$ と確認した.

実験結果 3 つの実験設定での性能評価の結果を 表 2 に示す. CLIP のみでは，動画の冗長性から，似通ったフレームが選択されてしまい， $k$ を 3 や 5 に増やしても性能があまり上がらない. CLIP+peak の結果から，ピーク検出によるキーフレーム抽出は 多様で適切なサムネイルを選択するのに効果的で あることが示された. なお，ピーク検出で得られた キーフレーム数の平均値は 8.6 であった. さらに， CLIP+peak+rank において， $k=\{3,5\}$ では約 $2 \%$ の 性能向上が確認できた. 以上の結果から，提案手法 が実際の業務フローに役立つ可能性が示唆される.

## 5 おわりに

本研究では，画像とテキストの類似度，ピーク検出，ランキング学習を使って最適なサムネイル画像 を選択する手法を提案した. 実験から，画像とテキ ストのマルチモーダル事前学習済みモデルを用いた サムネイル選択の有効性を示した。 また，ピーク検出，ランキングモデルを組み合わせることで，性能 が向上することが示唆された.

本研究の今後の課題として，動画制作現場におけ る実証実験が挙げられる. 特に, 本手法で不正解と なったフレームに対して，動画制作者の主観的な評価を行い，実運用における性能検証を進めたい。ま た，現状では計算に GPU を用いているが，実運用で は限られた計算資源で，短時間で大量の処理が必要 となる。処理パイプラインの軽量化をしつつ，サー ビスとしての完成度の向上に取り組みたい.

## 参考文献

[1] 吉川友也, 重藤優太郎, 竹内彰一. Stair captions:大規模日本語画像キャプションデータセット.言語処理学会 第 23 回年次大会, pp. 537-540, 2017.

[2] Yale Song, Miriam Redi, Jordi Vallmitjana, and Alejandro Jaimes. To click or not to click: Automatic selection of beautiful thumbnails from videos. In Proceedings of the 25th ACM International on Conference on Information and Knowledge Management, pp. 659-668, 2016.

[3] Zhifeng Yu and Nanchun Shi. A multi-modal deep learning model for video thumbnail selection. arXiv preprint arXiv:2101.00073, 2020.

[4] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. arXiv preprint arXiv:2103.00020, 2021.

[5] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014.

[6] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[7] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2020.

[8] Tomáš Souček and Jakub Lokoč. Transnet v2: An effective deep network architecture for fast shot transition detection. arXiv preprint arXiv:2008.04838, 2020.

[9] Anna Veronika Dorogush, Vasily Ershov, and Andrey Gulin. Catboost: gradient boosting with categorical features support. arXiv preprint arXiv:1810.11363, 2018.

[10] Aleksei Ustimenko and Liudmila Prokhorenkova.
Stochasticrank: Global optimization of scale-free discrete functions. In International Conference on Machine Learning, pp. 9669-9679. PMLR, 2020.
 嘉田 紗世 ${ }^{1}$ 山野陽祐 ${ }^{1}$ 新美 茜 ${ }^{1}$ 田森秀明 1 小海則人 ${ }^{1}$ 岡崎 直観 ${ }^{2}$ 乾 健太郎 3,4 1 株式会社朝日新聞社 2 東京工業大学 3 東北大学 4 理化学研究所 \{kada-s, yamano-y, niimi-a, tamori-h, kokai-n\}@asahi.com, okazaki@c.titech.ac.jp, inui@tohoku.ac.jp  