# 模範答案のみを利用した日本語小論文採点支援システム

江島知優
岡山大学大学院自然科学研究科
chihiro.100522@s.okayama-u.ac.jp

## 概要

記述式問題の自動採点では近年，BERT (Bidirectional Encoder Representations from Transformers) 等を 用いた機械学習によるモデルが提案されている. 本研究では BERT の tokenizer を利用して小論文の bag of words を作成し，模範解答で訓練されたニューラ ルネットワークを通すことで得られたべクトルを用 いて自動採点を行うシステムを作成した.このシス テムに対して 100 字から 800 字の日本語小論文デー タを用意し，インドメインで学習を行った手法と One-shot learning を応用した手法について評価実験 により精度を求める.

## 1 はじめに

一般に小論文の採点はルーブリックや模範解答な どを利用して人手で行われている. しかしたくさん の答案を人手で採点するとなると採点者の負担が非常に大きくなるため自動採点システムの作成が必要 である. 記述式問題の自動採点では項目反応理論に 基づく能力推定値を活用した手法 [1] や IDF の評価手法 [2] などさまざまな手法が提案されている. 近年では BERT [3] を用いた手法 [4] や Neural Attention モデルを利用した手法 [5] も提案されている. 実験 に用いられているデータセットに注目してみても 100 文字以下の短答式記述問題と呼ばれるものを対象として確信度推定を行う手法 [6] や外国人の日本語学習者の文章を対象としたトランズダクティブ学習手法の研究 [7] など多様な研究が行われている.日本人が書いた日本語小論文では答案ごとの文章量や文章力に大きな差がつかないため, 文章中に出現する単語に注目した自動採点システムを作成す ることが考えられる. 本論文では竹内らの参照文書 を利用した小論文採点手法 [8] でも利用されている 小論文データから BERT の tokenizer を利用して bag of words を作成し，模範解答で訓練されたニュー ラルネットワークとサポートベクター回帰 (SVR :

\author{
竹内孔一 \\ 岡山大学学術研究院自然科学学域 \\ takeuc-k@okayama-u.ac.jp
}

Support Vector Regression)を組み合わせたモデルを 提案し 100 文字から 800 文字の長い小論文に対して 性能の分析をするための評価実験を行った.

また，実際に小論文自動採点を行う際に同課題同設問の採点済み小論文を多数集めることは難し いため, One-shot learning の考え方を応用して自動採点を行うことにも取り組んだ. One-shot learning は少数のデータで学習する手法であり Matching Network[9] や Siamese Neural Network[10] どの方法 がある. データの分布を推定する手法 [11] なども 提案されている. 本研究では 1 つの模範解答と同課題他設問の答案をもとに One-shot learning を実施し，精度評価を行った.

学習データとテストデータのみでの採点手法との 違いとして，1つの模範答案を利用するということ が本研究の最大の特徴である.

## 2 小論文自動採点システム

本研究では 1 点から 5 点の小論文に対して自動採点システムを作成した. 図 1 に作成した自動採点 システムの概要を示す. 各小論文に対して BERT の tokenizerを利用して 32000 次元の bag of words ベク トルを作成する. bag of words ベクトルでは小論文中に出現した単語はその回数を値とし，出現しない 単語の値は 0 とする. 次にニューラルネットワーク の教師データとして 5 点の模範答案 1 つとネガティ ブサンプリングを行うために 0 点とした同課題他設問の答案 $\mathrm{k}$ 各 1 つの計 3 答案で同様に bag of words を作成する.この教師データで訓練されたニューラ ルネットワークに bag of words ベクトル 32000 次元 を大力として与え lepoch 学習を行うことで中間層 768 次元のベクトルを得る. これを SVRへの入力と して最終的な推定点数を求める. この際の推定点数 には丸め処理を行い， 1 点から 5 点の整数値として いる.また，データの可視化のために UMAP を用 いて次元削減した結果を 2.1 節で述べる.

BERT

tokenizerの

図 1 BERT の tokenizer を利用した自動採点システム

図 2 「自然科学の構成と科学教育」設問 1 で模範答案で の学習なし (左) と学習あり (右) の UMAP

## 2.1 UMAP

本研究では実験の前段階として UMAP[12]による 可視化を行った. UMAP は次元削減のための多様体学習技術であり, データの可視化や学習の前処理に 応用されている. 図 2 に「自然科学の構成と科学教育」設問 1 で bag of words 32000 次元ベクトルと, 模範答案および同課題他設問の答案を教師データとし てニューラルネットワークで学習後の 768 次元ベク トルそれぞれの UMAPを示す. 2 つの UMAP を比較すると学習後のものでは低い点数の小論文データ が図の左下部分に集中し, 各点数ごとの分離が容易 になっているため精度の向上が期待できる.

## 3 評価実験

本章では評価実験に使用した小論文，実験設定，評価尺度，実験結果を説明し結果の分析を行う。

## 3.1 小論文データ

小論文データとして 2016 年から 2017 年にかけて 実施した講義の受講者の解答データを用いる.「グ ローバリゼーションの光と影」,「自然科学の構成と 科学教育」,「東アジア経済の現状」,「批判的思考と エセ科学」の 4 つの講義からなり, それぞれの講義 に対して各 3 つの設問が用意されている. これらの 答案は理解力・論理性・妥当性・文章力の 4 観点に ついて人手で 1 点から 5 点までの 5 段階で採点され ている. 今回はこの 4 観点のうち理解力に対して実験を行った. 小論文データの数は「グローバリゼー ションの光と影」が 328 , 「自然科学の構成と科学教育」が 327 ，「東アジア経済の現状」および「批判的思考とエセ科学」が 290 である.

## 3.2 実験設定

bag of words を作成するために Mecabを利用した 日本語訓練済みの HuggingFaceBERT ${ }^{1}$ を BERT の言語モデルとして使用した. このモデルの語彙サイズ は 32000 であるので 32000 次元の bag of words が作

成できる. 今回は大きく 2 つの実験を行った. 1 つ 目はインドメインで 2 つの手法を比較する実験であ る. 2 章で述べた小論文自動採点システムについて の精度評価を行う. 比較対象として模範答案で学習 させる前の 32000 次元の bag of words でも同様の実験を行った. この実験では採点対象の設問の小論文 データを $8: 2$ に分割し， 8 割をSVR の学習データ， 2 割をテストデータとして利用している.

2 つ目の実験は One-shot learning の手法を小論文自動採点に応用するというものである. 実験 1 でも 使用した模範答案と同課題他設問の答案に対して ニューラルネットワークの中間層 768 次元のベクト ルを求めSVR を学習させる. この実験ではテスト データとして採点対象の設問の全小論文データを利用している.

## 3.3 評価尺度

本節では今回作成したシステムの評価尺度を説明する. 人手で採点した結果と採点支援システムの 出力した結果を入力とし, Accuracy, Correlation, 重 み付きカッパ係数 (QWK: Quadratic Weighted Kappa) およびRMSEでの評価を行う. Accuracy の計算式を 式 (1)(2)に示す.

$
\begin{aligned}
e q(a, b) & = \begin{cases}1 & (a=b) \\
0 & (a \neq b)\end{cases} \\
\text { Accuracy } & =\frac{\sum_{i=1}^{n} e q\left(A_{i}, B_{i}\right)}{n}
\end{aligned}
$

小論文のデータ数を $n, i$ 番目の点数データを $A_{i}, B_{i}$ とする. Accuracy は人手の採点点数とシステ ムの推定点数の一致率を表し 1 に近いほど一致率が 高いと言える.

Correlation は 2 つの結果の相関係数を算出する指標である。人手の採点結果とシステムの推定点数の 一方で高く点数をつけたものはもう一方でも高くつ けているか, 低いものは低く点数付けしているかど うかを測る. 式 (3)(4)(5)(6) に示す.

$
\begin{aligned}
\operatorname{Cov}(C S, V S) & =\sum_{i=1}^{E}\left(C S_{i}-\overline{C S}\right)\left(V S_{i}-\overline{V S}\right) \\
\sigma_{c s} & =\sum_{i=1}^{E}\left(C S_{i}-\overline{C S}\right) \\
\sigma_{v s} & =\sum_{i=1}^{E}\left(V S_{i}-\overline{V S}\right)
\end{aligned}
$

$
\text { Correlation }=\frac{\operatorname{Cov}(C S, V S)}{\sigma_{c s} \sigma_{v s}}
$

人手で採点したデータの集合を $C S$ ，システムで 採点したデータの集合を $V S$ とする. $C S$ と VSの共分散は式 (3) により求められ，式 (4)で $C S$ の式 (5) で $V S$ の標準偏差をそれぞれ算出する. これらより 相関係数は (6) によって表すことができる。.ここで $E$ は採点する小論文のデータ数である. Correlation は 2 つ採点結果の関係性の強さを表し, 1 に近い ほど関係性が強い.

次に QWK について説明する. QWK は 2 つの採点結果の点数の差の 2 乗を重み付けし， ズレが大き いほど大きなぺナルティを与える指標である. 式 (7)(8) に示す.

$
\begin{gathered}
\operatorname{byChance}(a, b)=\frac{\operatorname{num}(a) \times \operatorname{num}(b)}{n} \\
Q W K=1-\frac{\sum_{a, b=1}^{5} o b(a, b) \times|a-b|^{2}}{\sum_{a, b=1}^{5} \operatorname{byChance}(a, b) \times|a-b|^{2}}
\end{gathered}
$

1 人の採点者が $a$ と採点した回数を $\operatorname{num}(a)$ とし, 2 人の採点者が $a, b$ と採点した回数を $o b(a, b)$ で表 す.QWK は 1 に近いほど実際の点数とシステムの 推定点数との相関が強いといえる.

最後に RMSE について式 (9)に示す。これは $2 \supset$ の採点結果の点数の平均の差を表す評価指標であ る. RMSE は 0 に近いほど平均の差が小さいことを 表す.

$
R M S E=\sqrt{\frac{\sum_{i=1}^{n}\left|A_{i}-B_{i}\right|^{2}}{n}}
$

## 3.4 実験結果

小論文の各設問に対して Accuracy, Correlation, QWK，RMSEをそれぞれ算出した. 表 1 では小論文 を 32000 次元の bag of words に変換したものを SVR への入力とした結果と，その 32000 次元べクトルを 採点対象の模範答案と同課題他設問の答案を用いて 学習して得た 768 次元のベクトルを SVRへの入力 とした結果を示している. また表 2 には模範答案 1 つと同課題他設問の解答文書 2 つで SVR を訓練し, One-shot learning を行った際の結果を示す.

## 3.5 分析

インドメインでの結果より bag of words 32000 次元のベクトルを採点対象の模範答案と同課題他設問
表 1 インドメインで 8:2 学習を行った際のシステムの評価

表 2 One-shot learning を行った際のシステムの評価

の答案を用いて学習した手法が bag of words の学習 なしで SVRへの入力とした場合よりも平均 QWKが 0.037 向上するなど 4 つの評価指標すべてで精度向上が確認できた. 特に短い文章では単語が得点に与 える影響が大きく，QWK が向上したと考えられる。 UMAPに関してもこの結果より 2.1 節でも述べたよ うに UMAP を参照することでシステムの精度向上 が期待できるといえる。

また，One-shot learning を利用した手法では，「自然科学の構成と科学教育」の設問 1 が QWK0.412,「批判的思考とエセ科学」の設問 1 が QWK0.416 と いうように 100 文字以内の小論文に対して精度が高 くなっており，短い文章に対して本手法が有効であ ることを示した. One-shot learning でもインドメイ ンでの結果と同様に短い文章では高得点の文章に 同一の単語が登場しやすく精度が高くなったと考 えることができる．その一方で制限文字数が長い設問については具体例を挙げて議論させるものも多
く，精度が悪くなってしまった。この問題に対して は attentionを利用した機構を新たに設ける等の検討 をしていきたい。

## 4 おわりに

本研究では BERT の tokenizer の bag of words を用 いた小論文自動採点システムを作成し Accuracy， Correlation，QWK および RMSE といった評価指標 を用いて性能評価を行った．bag of words 32000 次元 のベクトルを学習なしで SVRへの入力とした場合 と比較すると，採点対象の模範答案と同課題他設問 の答案を用いて学習した場合において 12 の設問の 平均 QWK が向上する等，本手法が小論文自動採点 に有効であることを示した．また，同様に模範答案 と同課題他設問の答案を用いての One-shot learning にも取り組んだが制限文字数が長い設問において精度が悪くなるといった問題が見られたため今後の検討課題としたい.

## 謝辞

本研究の遂行にあたって岡山大学運営費交付金機能強化経費「小論文、エッセイ等による入学試験で の学力の三要素を評価するための採点評価支援シス テムの開発導入」の助成を受けた。

## 参考文献

[1] 内田優斗, 宇都雅輝. 項目反応理論に基づく能力推定値を活用した短答記述式問題自動採点手法. 言語処理学会第 26 回年次大会発表論文集, 2020 .

[2] 大野雅幸, 泉仁宏太, 竹内孔一, 小畑友也, 田口雅弘,稲田佳彦, 飯塚誠也, 阿保達彦, 上田均. 小論文自動採点データ構築と理解力および妥当性評価手法の構築 . 言語処理学会第 24 回年次大会, pp. 368-371, 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2018.

[4] 平尾礼央, 新井美桜, 嶋中宏希, 勝又智, 小町守. 複数項目の採点を行う日本語学習者の作文自動評価シス テム. 言語処理学会第 26 回年次大会発表論文集, pp. 1181-1184, 2020

[5] 清野光雄竹内孔一. ニューラルネットワークを利用 した日本語小論文の自動採点の検討. FIT2019 講演論文集, 2019 .

[6] 舟山弘晃. 記述式答案自動採点のための確信度推定手法の検討. 言語処理学会第 26 回年次大会発表論文集, 2020.

[7] 佐藤俊. 評価データのクラスタリングを用いた記述式答案自動採点のためのトランズダクティブ学習.言語処理学会第 26 回年次大会発表論文集, 2020.

[8] 竹内孔一, 大野雅幸, 泉仁宏太, 田口雅弘, 稲田佳彦,飯塚誠也, 阿保達彦, 上田均. 研究利用可能な小論文 データに基づく参照文書を利用した小論文採点手法 の開発. 情報処理学会論文誌ジャーナル 62 巻 9 号, pp. 1586-1604, 2021.

[9] Oriol Vinyals, Charles Blundell, Timothy Lillicrap, Koray Kavukcuoglu, and Daan Wierstra. Matching networks for one shot learning. In NeurIPS, 2016.

[10] Gregory Koch, Richard Zemel, and Ruslan Salakhutdinov. Siamese neural networks for one-shot image recognition. In ICML Deep Learning workshop, 2015.

[11] Shuo Yang, Lu Liu, and Min Xu. Free lunch for few-shot learning: Distribution calibration. In ICLR, 2021.

[12] Leland McInnes, John Healy, and James Melville. Umap:uniform manifold approximation and projection for dimension reduction. In Journal of Open Source Software 3, 2018 .


# 映像からのストーリー生成: イベント選択器と文生成器の同時学習

西村太一 ${ }^{1}$ 橋本敦史 ${ }^{2}$ 牛久祥孝 2 森信介 ${ }^{3}$
1 京都大学大学院 情報学情報学研究科 2 オムロンサイニックエックス株式会社
3 京都大学 学術情報メディアセンター
taichitary@gmail.com \{atsushi.hashimoto,yoshitaka.ushiku\}@sinicx.com
forest@i.kyoto-u.ac.jp

## 概要

本研究では，映像からストーリーを生成するこ と，つまり，映像から記述すべき重要なイベント を過不足なく検出し，その説明文を生成すること を目的とする。この課題は, Dense Video Captioning (DVC) として取り組まれてきたが，既存モデルは主 に映像から密にイベントを予測することに焦点を当 てており，ストーリー性について考慮したものでは なかった。 そこで本研究では，映像からストーリー を生成する上で従来の方法と異なるアプローチを取 る.それは，既存の DVC モデルの密な出力をイべ ント候補の集合とみなし，この集合から適切なイベ ントを選択しつつ文を生成する手法である．実験で は，提案手法と従来モデルを比較して優れた性能を 示しただけでなく，正しくストーリーを生成できて いることも分かった.

## 1 はじめに

数秒から数十秒の映像からその説明文を生成する ことを目的とする Video Captioning は，近年急速に 発展を遂げてきた $[1,2,3]$. 一方で, 比較的長い映像 をもとに，映像からストーリーを生成すること，つ まり映像から記述すべき重要なイベントを検出し， その説明文を生成すること，は未だ発展途上の挑戦的な課題である。この技術を確立できれば，自然言語をクエリとした動画のイベントの検索も可能とな るし, 出力したイベントと文の組み合わせは動画の 概要を把握する上でも有用であろう. 本研究では,映像からストーリーを生成する課題に取り組む。

この課題は, Vision and Language 分野において Dense Video Captioning [4] (DVC) として定式化され 取り組まれており，近年は Transformer [5] をべース

図 1 本研究の課題の概要. 既存の DVC モデルが出力し たイベント候補集合からストーリーを構成する上で欠か せないイベントを選択しつつ文を生成する。

にしたモデルが提案されている [6,7]. しかし，こう したモデルは入力の映像について密にイベントを予測することに焦点を当て取り組まれており，ストー リー性について考慮したものではなかった. Fujuta ら [8] によると，100を超えるような過剩なイベン トの出力を行うことが報告されている. これは検索 の観点からは有用であるかもしれないが，人が読ん で理解するようなストーリー性の観点からは不適切 であろう。

そこで本研究では，映像からストーリーを生成す るために，従来の方法と異なるアプローチを取る。 それは，既存のDVC モデルの出力をイベント候補 の集合と見なし，この集合から適切なイベント列を 抽出するという方法である (図 1). 節 2 ではこのア プローチがストーリー生成に有効であることを既存 の DVC モデルの出力をもとに議論し，この分析を もとに，節 3 にてイベントを候補から選択するイベ ント選択器と選択したイベントから文を生成する文生成器を同時学習する手法を提案する.

実験では，DVC においてよく利用されるデータ セットの 1 つである YouCook2 [9]を用いて提案手法 を評価した。その結果，従来の DVC モデルと比較 して正しくストーリーを生成できていることが分 かった.

## 2 既存の DVC モデルの出力の分析

既存の DVC モデルは正解のイベント数を大幅に 超過してイベントを出力することが Fujita ら [8] に よって指摘されている. そこで，我々は出力のイべ ント集合から正しいイベントを選択できれば正し いストーリーが得られるのではないかと考えた。こ れを検証するため，映像中の正解のイベントに対し て, DVC モデルの出力集合の中で最もイベント間の 重なり，つまり temporal Intersection over Union (tIoU) が大きいものを選択した時の評価結果を調査する.本研究ではこの手法をオラクルと呼ぶこととする. なお，データセットとしては YouCook2 [9]を用い て, DVC モデルとして PDVC [7] を検証に用いる. PDVC を選んだのは, 現状このモデルが DVC におい て最も性能が高く, イベント候補数 $N$ をあらかじめ 設定できるからである1).

評価尺度. 評価には，DVC の評価によく利用され る 2 種類の評価尺度を用いる. 1 つ目は DVC その ものと共に提案されたもので，本研究ではdvc_eval [4] と呼ぶ. この評価尺度では, 予測したイベント 集合と正解のイベント集合の全ての組み合わせの tIoU を計算し, それが閾値 $\theta \in\{0.3,0.5,0.7,0.9\} を$超えた場合に METEOR [10] や CIDEr-D [11] などの 文の自動評価尺度を計算し，その平均を取ることで 評価される。この評価尺度は個々の予測イベントに 対するイベント自体や生成文の正しさは評価できる が，動画全体でのストーリー性を考慮する仕組みに はなっていない。これを解決する評価尺度として，我々は SODA [8] も評価する。この評価尺度では,正解のイベントと予測イベントの間で動画全体のス トーリー性を考慮したスコア (tIoU と文の自動評価尺度の積) が最大となる対応関係を動的計画法を用 いて探索し評価を行う. 動画全体のストーリー性を 評価するのに適しているため, 本研究では dvc_eval より SODAを重視する。

## 2.1 評価結果

定量的評価. 表 1 にオラクルの評価結果を，表 2 にイベントの予測結果を示す. PDVC と比較して，両方の評価尺度で高い性能を示している. イベント 予測結果において強調すべき点として, 閾値が 0.7

1）PDVC では，イベント候補数 $N$ を設定してモデルを学習し，予測時はイベントの確信度スコアが高い順に並び替えて $K$ 個選択する. $N$ は十分に大きい数が設定される $(N=100)$. な お，Kも予測対象である.表 1 オラクルと PDVC の DVC 評価結果.

表 2 オラクルと PDVC のイベント予測結果.

から 0.9 にかけてオラクルの評価結果が大きく下が ることである。つまり，正解のイベントに対してオ ラクルの選択をしても， tIoU が 0.9 を超えるものは 多くないことが分かる.

オラクルのイベントの IIOU の分布. 図 2 にオラ クルと正解のイベント間での IIoU の分布を示す.学習データ，検証データともに $N$ を十分に増やす と，オラクルの選択するイベントの tIoU は大きくな ることが分かる．例えば， $N=100$ において，オラ クルの選択するイベントの tIoU の平均はそれぞれ 74.6\%，70.4\%であり，多くのイベントが 0.7 から 0.9 の間にあることが分かる。

## 3 提案手法

前節の分析において，イベント候補の中には 正解のイベントと高い tIoU を持つイベントが存在し，それを選ぶことができれば正しいストー リーが得られることが分かった. これに基づき，本節では，イベントを選択するイベント選択器 とそれに対応する文を生成する文生成器を同時に学習しストーリーを生成する手法を提案 する. 図 3 に提案手法の概要を示す. 入力とし てイベント候補列 $\boldsymbol{X}=\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \ldots, \boldsymbol{x}_{n}, \ldots, \boldsymbol{x}_{N}\right)$ が 与えられる. 期待する出力は， $\boldsymbol{X}$ 中のオラクル で選ぶイベントの添字とそれに対応する文の組 $(\boldsymbol{C}, \boldsymbol{Y})=\left(\left(c_{1}, \boldsymbol{y}_{1}\right), \ldots,\left(c_{t}, \boldsymbol{y}_{t}\right), \ldots,\left(c_{T}, \boldsymbol{y}_{T}\right)\right)$ である $(T$ はイベント数). 提案手法は, $t$ 番目においてイベン トを1つ選択し，それに対応する文を生成する。こ の処理をイベント選択器がイベントの出力を終了す るまで再帰的に繰り返す。

図 2 オラクルにより選択されたイベントの tIoU のヒス トグラム。

## 3.1 イベント選択器

イベントのエンコード，イベント選択器は，入力のイベント系列 $\boldsymbol{X}$ の中から正しいイベントを選択することを目的とする，イベント選択器は Event Encoder と Event Transformer の 2 つのモジュールから なる. Event Encoder は入力の各イベント $\boldsymbol{x}_{n}$ を中間表現 $e_{n}$ へ変換する. 本研究では, Event Encoder とし て，映像の事前学習モデルの 1つである Howto100M [12] によって学習済みの MIL-NCE モデル [13] を用 いる.

イベントの選択. 次に，イベント間の関係性を考慮するために, $\boldsymbol{e}_{n}$ に Positional Encoding (PE) と各イ ベントの情報 (開始時間, 終了時間)を埋め込んだべ クトルと共に加算した後, Event Transformer へ入力 する.この Event Transformer は MART [14] を基にし ており，前に選択したイベントの情報を記憶する役割を持つメモリベクトル $V_{t}^{l}$ が Transformer $の ~ l$ 層ご とに入っている点が通常の Transformer と異なって いる. Event Transformer の出力 $\boldsymbol{h}_{n}$ とメモリベクト ル $V_{t}^{l}$ を用いて，以下のように $n$ 番目のイベントが 選択される確率 $p\left(n \mid \boldsymbol{V}_{t}^{l}, \boldsymbol{X}\right)$ を計算する.

$
\begin{aligned}
\boldsymbol{V}_{t} & =\max \left(\boldsymbol{V}_{t}^{1}, \ldots, \boldsymbol{V}_{t}^{l}, \ldots, \boldsymbol{V}_{t}^{L}\right) \\
p\left(n \mid \boldsymbol{V}_{t}^{l}, \boldsymbol{X}\right) & =\frac{\exp \left(\left(\boldsymbol{h}_{n}^{t}\right)^{T} \boldsymbol{V}_{t}\right)}{\sum_{i} \exp \left(\left(\boldsymbol{h}_{i}^{t}\right)^{T} \boldsymbol{V}_{t}\right)}
\end{aligned}
$

ここで, $\max (\cdot)$ はべクトルの要素ごとの最大値を 取る、イベント選択器は, 学習時は Gumbel softmax [15]を用いてイベントを 1 つ選択する。これにより， イベントの選択を微分可能なまま処理でき，End-toend の学習が可能となる. 推論時は $p\left(n \mid \boldsymbol{V}_{t}^{l}, \boldsymbol{X}\right)$ の値 が最大となるイベントを選択して文生成器へ送る.

## 3.2 文生成器

文生成器は選択されたイベントに対応する文を 生成する。ここで，選択されたイベントの添字を $\hat{c}_{t}$ とすると，イベントベクトルは $\boldsymbol{h}_{\hat{c}_{t}}$ と書ける. 文生成器は, まず $t$ 番目のイベントに対応する文 $\boldsymbol{y}_{t}$ の単語列を訓練済みの GloVe [16] を介して単語の 分散表現へ変換する. 次に，これらを $\boldsymbol{h}_{\hat{c}_{t}}$ の次元数と同じになるように 2 層の多層パーセプトロン によって変換し， $\boldsymbol{h}_{\hat{c}_{t}}$ および PE と加算する. 最後 に, Event Transformer ど同様にメモリを持つ Senence Transformer へ入力し，その出力を softmax 層を通す ことで出力単語の条件付き確率分布を得る.

## 3.3 メモリの更新

Event Transformer と Sentence Transformer のメモリ モジュール $V_{t}^{l}, S_{t}^{l}$ は別々に更新することも可能であ る.しかし，直感的には，相互的に情報を共有する ことが映像全体で一貫したストーリーの出力を得る のに有効だろうと考えられる。これを実現するため に，我々はメモリモジュールを以下の式に則って更新する.

$
\begin{aligned}
& \hat{\boldsymbol{V}}_{t}=f_{1}\left(\boldsymbol{V}_{t}\right) \odot \sigma\left(g_{2}\left(g_{1}\left(\boldsymbol{S}_{t}\right)\right)\right) \\
& \hat{\boldsymbol{S}}_{t}=g_{1}\left(\boldsymbol{S}_{t}\right) \odot \sigma\left(f_{2}\left(f_{1}\left(\boldsymbol{V}_{t}\right)\right)\right)
\end{aligned}
$

ここで, $f_{*}(\cdot), g_{*}(\cdot)$ は 1 層の線形層, $\odot, \sigma$ はアダマー ル積およびシグモイド関数を表す。得られた $\hat{V}_{t}$ と $\hat{S}_{t}$ をそれぞれの新たなメモリベクトルとして $t+1$番目の処理に活用する.

## 3.4 学習

2 つの損失関数の和を計算してモデル全体を学習 させる.1つ目は，イベント選択器を学習させるた めのもので，以下の式で表される負の対数尤度 $L_{e}$ を最小化する。

$
L_{e}=-\sum_{(\boldsymbol{X}, \boldsymbol{C})} \log p\left(\boldsymbol{C} \mid \boldsymbol{X}, \boldsymbol{V}_{1}^{l}, \ldots, \boldsymbol{V}_{T}^{l}\right)
$

2 つ目は, 文生成器を学習させるためのもので， $t$番目の文 $\boldsymbol{y}_{t}$ に対し以下の負の対数尤度 $L_{s}$ を最小化 する。

$
L_{s}=-\sum_{(\boldsymbol{X}, \boldsymbol{C}, \boldsymbol{Y})} \sum_{t} \log p\left(\boldsymbol{y}_{t} \mid \boldsymbol{h}_{\hat{c}_{t}}, \boldsymbol{S}_{<t}^{l}\right)
$

## 4 実験

データセット．実験では，学習および評価のデー タセットとして，YouCook2 [9]を利用した。この

図 3 提案手法の概要図.

表 3 提案手法と比較モデルの DVC 評価結果.

データセットは, YouTube 上の料理動画に対して イベントと対応する文のアノテーションがされた データセットである (イベントの数は 3 から 16). YouCook2 ではテストセットが公開されていない.先行研究との公平な比較を行うために, 以下の結果 は全て検証セットでの評価結果である.

比較モデル. 比較モデルとして，提案手法と同様に Transformer をべースとした DVC 手法である Masked Transformer [6] と PDVC [7] を採用した.ま た，イベントの候補数 $N$ は 100 として設定した.

## 4.1 定量評価

表 3 に評価結果を示す. 提案手法はベースライン の手法よりも高い性能を，とりわけSODA において 顕著な差が見られた. また，メモリの更新方法を比較すると，共有して更新する方が別々に更新するよ
りも概ね高い性能を示すことも分かった。

## 4.2 定性評価

図 4(付録) に Ground Truth に加えオラクル, PDVC,提案手法の予測結果を示す. PDVC はストーリー性 を無視したイベント予測を行っているのに対し，提案手法は動画全体を考慮して，イベント間の重なり を少なくかつ正しく予測できていることが分かる. また, 出力文を比較しても, 提案手法はいくつかの 材料の認識の失敗はあるが，ストーリー性に沿った 文章を生成できていることが分かる (混ぜる $\rightarrow$ 入れ る $\rightarrow$ 浸ける $\rightarrow$ 揚げる).

## 5 まとめ

本研究では，映像からストーリーを生成すること を目的とする. 既存の DVC モデルの出力を分析し たところ，出力からうまくイベントを選べば正しい ストーリーを得られることが分かった。この分析を もとに，イベントを選択するイベント選択器と文を 生成する文生成器を同時学習するモデルを提案し た. 実験では，提案手法が既存手法と比較して正し くストーリーを生成できていることが分かった.

## 謝辞

本研究は JSPS 科研費 JP21J20250 の助成を受けた ものです.

## 参考文献

[1] Ganchao Tan, Daqing Liu, Meng Wang, and Zheng-Jun Zha. Learning to discretely compose reasoning module networks for video captioning. In Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI), 2020.

[2] Jeff Donahue, Lisa Anne Hendricks, Marcus Rohrbach, Subhashini Venugopalan, Sergio Guadarrama, Kate Saenko, and Trevor Darrell. Long-term recurrent convolutional networks for visual recognition and description. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015.

[3] Yangyu Chen, Shuhui Wang, Weigang Zhang, and Qingming Huang. Less is more: Picking informative frames for video captioning. In Proceedings of the European Conference on Computer Vision (ECCV), 2020.

[4] Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, and Juan Carlos Niebles. Dense-captioning events in videos. In Proceedings of the International Conference on Computer Vision (ICCV), 2017.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the Advances in Neural Information Processing Systems (NeurIPS), 2017.

[6] Luowei Zhou, Yingbo Zhou, Jason J. Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.

[7] Teng Wang, Ruimao Zhang, Zhichao Lu, Feng Zheng, Ran Cheng, and Ping Luo. End-to-end dense video captioning with parallel decoding. In Proceedings of the International Conference on Computer Vision (ICCV), 2021.

[8] Soichiro Fujita, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. SODA: Story oriented dense video captioning evaluation flamework. In Proceedings of the European Conference on Computer Vision (ECCV), 2020.

[9] Luowei Zhou, Chenliang Xu, and Jason J Corso. Towards automatic learning of procedures from web instructional videos. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), 2017.

[10] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for $\mathrm{mt}$ evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, 2005.

[11] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based image description evaluation. In Proceedings of the IEEE Conference on Com- puter Vision and Pattern Recognition (CVPR), 2015

[12] Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. HowTo100M: Learning a text-video embedding by watching hundred million narrated video clips. In Proceedings of the International Conference on Computer Vision (ICCV), 2019.

[13] Antoine Miech, Jean-Baptiste Alayrac, Lucas Smaira, Ivan Laptev, Josef Sivic, and Andrew Zisserman. End-to-end learning of visual representations from uncurated instructional videos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

[14] Jie Lei, Liwei Wang, Yelong Shen, Dong Yu, Tamara Berg, and Mohit Bansal. MART: Memory-augmented recurrent transformer for coherent video paragraph captioning. In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2020.

[15] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. In The International Conference on Learning Representations (ICLR), 2017.

[16] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. GloVe: Global vectors for word representation. In Proceedings of the Empirical Methods in Natural Language Processing (EMNLP), 2014.

提案手法

## Ground Truth

(1) Add flour eggs baking soda salt and pepper to the bowl and stir

(2) Add cold water to the bowl and stir

(3) Cover the shrimp in the batter and breadcrumbs

(4) Place the shrimp into a pan of hot oil

(5) Remove the shrimp from the pan

## PDVC

(1) Mix flour and pepper in a bowl and mix

(2) Coat the chicken in the flour mixture

(3) Fry the chicken in the oil

## オラクル

(1) Add flour and mix to a bowl and mix

(2) Mix the ingredients in the bowl

(3) Place the chicken in the batter

(4) Fry the chicken in the oil

(5) Remove the soup from the oil

## 提案手法

(1) Mix flour pepper and beer together

(2) Add flour and corn flour to the bowl and mix Place the chicken in the batter

(3) Coat the shrimp in the flour and the batter

(4) Fry the fish in the oil

図 4 Groud Truth，オラクル選択，PDVC，そして提案手法によるイベントの予測結果およびストーリーの比較.


# 文スタイル識別器による重みづけを用いた 条件付き画像キャプション生成

松田 洋之 ${ }^{1}$ 大谷 まゆ ${ }^{2}$ 脇本 宏平 ${ }^{2}$
黒田 和矢 ${ }^{2}$ 中山 英樹 1
1 東京大学大学院情報理工学系研究科
2 株式会社サイバーエージェント
\{matsuda, nakayama\}@nlab.ci.i.u-tokyo.ac.jp
\{otani_mayu, wakimoto_kohei, kuroda_kazuya\}@cyberagent.co.jp

## 概要

条件付き画像キャプション生成は，画像と条件を 入力として，画像の説明文（キャプション）を生成 するタスクである. 本研究では，事前に学習した キャプション生成器の出力と, それとは別に学習し た識別器の出力を混合して, 所望のスタイル属性を 持つキャプションを生成する. その際, 識別器が出力する文スタイルの付与度に応じて，キャプション 生成器の出力を適切に調整して混合を行う手法を提案する。

## 1 はじめに

条件付き画像キャプション生成は画像キャプショ ン生成を拡張したものであり，画像に加えて，入力 に新たな条件を追加する. このタスクでは，生成さ れるキャプションを条件により制御することを目標 とする.

本研究では，文のスタイルを条件として入力に加 える. 画像キャプションデータセットを用いて，画像キャプションの文スタイルを制御する研究は広く 行われている. しかし, 先行研究の多くはスタイル を制御する機構がモデルの構造に依存しており，使用できるキャプション生成モデルが制限される. そ のため, 既存のキャプション生成モデルの活用が妨 げられている。事前学習済みモデルを使用できる手法も存在するが，スタイルの制御機構を学習するた めに事前学習済みモデルの出力を必要とする。この 場合，使用する事前学習済みモデルを変更すると，新たにスタイル制御の機構を学習する必要がある.

条件付き文生成の研究では，事前学習済みモデル への依存度を下げたスタイル制御の手法 (FUDGE)
[1] が提案されている。この手法では，事前学習済 みモデルを再学習せず，文スタイル識別器の情報を 追加で利用する．そこで本研究では，この手法を画像キャプション生成に応用する。

事前学習済み画像キャプション生成器は，スタイ ル付きキャプションのデータによって学習されてい ないため，スタイル付きキャプションを構成する単語の出力確率を過小評価すると考えられる. 本研究 では，推論時に事前学習済みキャプション生成器の 出力を変化させることによって, 出力確率の過小評価を抑える機構を提案する。

## 2 関連研究

関連研究の一つに, 条件付き文生成がある. CTRL [2] では，文のスタイルを表す Control Code を 条件として多様な文の生成を可能にしているもの の, データが大規模（140GB）なために学習コスト が大きい.

近年では，学習コストを下げるため，事前学習済 みモデルを再学習せずに生成文を制御する研究が 行われている. PPLM [3] では，所望のスタイルを 持つ単語が出力されやすくなるように，事前学習済 み Transformer [4] の内部状態を更新している。GeDi [5], FUDGE [1] では, 事前学習済み言語モデルの出力を変化させ，所望のスタイルを持ちやすい単語の 生成確率を引き上げることによって生成文を制御 する。

条件付き画像キャプション生成の先行研究では, スタイル付き画像キャプションの公開データセット [6,7], が用いられている. Mathews ら [6] は，2つの RNN を用意し，一方にスタイルの付かないキャプ ションを生成する役割を，もう一方にスタイル付き

キャプションを生成する役割を持たせている. Gan ら [7] は1つの LSTM で生成を行うが, LSTM のパ ラメータをスタイルに共通の部分とスタイルに固有 の部分に分けている.

MS COCO を代表とするスタイルの付かない大規模なデータセットに比べ，スタイル付きキャプショ ンのデータ数は少ない1). そのため，スタイル付き 画像キャプションのペアデータを必要としない手法 が提案されている $[7,9,10,11,12]$.

## 3 手法

本研究では, 条件付き文生成の先行研究 (FUDGE [1]）の手法を用いて，事前学習済みモデルの単語の 出力のうち, スタイルが付与されやすい単語の確率 を高めるように補正する (3.1). さらに，デコード の途中で，将来完成する文にスタイルが付与される 可能性が低いと判断される場合，事前学習済みモデ ルの影響力を調整する手法を新たに提案する (3.2).

## 3.1 文スタイル識別器による重みづけ

本研究では，画像キャプション生成に用いる言語 モデルは自己回帰的であると仮定する。画像を $I$, スタイル条件 $a$ を大力として，単語数 $n$ のキャプ ション $X=\left(x_{1}, \ldots, x_{n}\right)$ を生成するスタイル付き画像キャプション生成器 $p(X \mid I, a)$ は，

$
p(X \mid I, a)=\prod_{t=1}^{n} p\left(x_{t} \mid I, a, x_{\leq t-1}\right)
$

と表される $\left(x_{\leq t-1}:=\left(x_{1}, \ldots, x_{t-1}\right)\right)$ ここで, $p\left(x_{t} \mid I, a, x_{\leq t-1}\right)$ は, 自己回帰的スタイル付き画像キャプション生成器である. ベイズの定理を用い ると，

$
p\left(x_{t} \mid I, a, x_{\leq t-1}\right)=\frac{p\left(a \mid I, x_{\leq t-1}, x_{t}\right) p\left(x_{t} \mid I, x_{\leq t-1}\right)}{p\left(a \mid I, x_{\leq t-1}\right)}
$

と変形できる.ここで，分子は $x_{t}$ に依存しない から，

$
p\left(x_{t} \mid I, a, x_{\leq t-1}\right) \propto p\left(a \mid I, x_{\leq t-1}, x_{t}\right) p\left(x_{t} \mid I, x_{\leq t-1}\right)
$

と表せる. $p\left(a \mid I, x_{\leq t-1}, x_{t}\right)=p\left(a \mid I, x_{\leq t}\right)$ は，時点 $t$ ま での出力単語と画像を大力として，将来完成される キャプションがスタイル条件 $a$ を満たすかどうかを 識別する識別器である. $p\left(x_{t} \mid I, x_{\leq t-1}\right)$ は，スタイル なし画像キャプション生成器である.

1）例えば， MS COCO [8] にはスタイルのないキャプションが 1,026,459含まれるのに対して, Senticap [6] に含まれる positive スタイルのキャプション数は 4,892 である.式 3 より, スタイルなし画像キャプション生成器 が学習済みのとき，スタイル付き画像キャプション を生成するためには，識別器のみを学習すればよ い. 本手法では, 画像はキャプションスタイルに関与しないという仮定のもと識別器を近似し, 時点 $t$ までの生成文のみを入力して，スタイル $(a)$ の付与度合いを予測する識別器 $D_{a}$ を用いる。すなわち，

$
D_{a}\left(x_{\leq t}\right):=p\left(a \mid x_{\leq t}\right) \simeq p\left(a \mid I, x_{\leq t}\right)
$

とする。また，今後スタイルなし画像キャプション 生成器を $C$ で表すことにすると，式 3 は，

$
\begin{aligned}
C\left(x_{t} \mid I, x_{\leq t-1}\right) & :=p\left(x_{t} \mid I, x_{\leq t-1}\right) \\
p\left(x_{t} \mid I, a, x_{\leq t-1}\right) & \underset{\sim}{\sim} D_{a}\left(x_{\leq t}\right) C\left(x_{t} \mid I, x_{\leq t-1}\right)
\end{aligned}
$

と表せる.

## 3.2 動的 Softmax Temperature

本研究では，式 6 における画像キャプション生成器 $C$ に事前学習済みモデルを用いる。 $C$ はスタイル なしデータセットのみで学習されているため，スタ イル付きのキャプションに用いられる単語の生成確率を極端に低く見積もる可能性がある. その場合,式 6 による生成において, 識別器 $D_{a}$ による補正の 影響力が弱まり，スタイルが付与されづらくなると 考えられる。

これを回避するためには, 生成器 $C$ の予測に温度 パラメータ $T$ を導入することで， $C$ の出力を制御す る手法が考えられる. 温度パラメータは言語モデル の出力するロジットをスケール変換するハイパーパ ラメータであり，高いほど単語の生成確率の分布は なめらかになる.これにより, $C$ の出力を制御し,識別器 $D_{a}$ による補正の影響力を相対的に調整でき る.その一方で，適切な温度パラメータは状況ごと に異なり，適切な值の設定は困難である。

そこで本研究では, 温度パラメータを生成中の文 のスタイルの付与度合いによって制御する機構を導入し，事前のパラメータ探索がなくても，適切な割合で生成器と識別器を混合する手法を提案する.

事前学習済み画像キャプション生成器 $C$ が出力す るロジットを $C_{\text {logit }}$ で表す. 温度パラメータ $T$ を導入したときのキャプション生成器を $C_{T}^{\prime}$ で表すと，

$
\begin{aligned}
C_{T}^{\prime}\left(x_{t} \mid I, x_{\leq t-1}\right) & :=\operatorname{softmax}_{T}\left.\{C_{\text {logit }}\left(x_{t} \mid I, x_{\leq t-1}\right)\right.\} \\
& :=\frac{\exp \left(\frac{C_{\text {logit }}\left(x_{t} \mid I, x_{\leq t-1}\right)}{T}\right)}{\sum_{x_{t}^{\prime} \in \mathscr{V}} \exp \left(\frac{C_{\text {logit }}\left(x_{t}^{\prime} \mid I, x_{\leq t-1}\right)}{T}\right)}
\end{aligned}
$

と表される. 温度パラメーター $T$ を適切に調整す るために， $T$ をスタイル識別器の出力確率の逆数 $1 / D_{a}$ で置き換え,

$
\begin{aligned}
& C_{1 / D_{a}}^{\prime}\left(x_{t} \mid I, x_{\leq t-1}\right) \\
& =\operatorname{softmax}_{1 / D_{a}}\left.\{C_{\text {logit }}\left(x_{t} \mid I, x_{\leq t-1}\right)\right.\} \\
& =\frac{\exp \left.\{D_{a}\left(x_{\leq t-1}\right) C_{\text {logit }}\left(x_{t} \mid I, x_{\leq t-1}\right)\right.\}}{\sum_{x_{t}^{\prime} \in \mathscr{V}} \exp \left.\{D_{a}\left(x_{\leq t-1}\right) C_{\text {logit }}\left(x_{t}^{\prime} \mid I, x_{\leq t-1}\right)\right.\}} \\
& \text { し, } \\
& p\left(x_{t} \mid I, a, x_{\leq t-1}\right) \underset{\sim}{\infty} D_{a}\left(x_{\leq t}\right) C_{1 / D_{a}}^{\prime}\left(x_{t} \mid I, x_{\leq t-1}\right)
\end{aligned}
$

$
\text { とし, }
$

によって単語 $x_{t}$ を生成する. $C_{1 / D_{a}}$ 中で用いる $D_{a}$ は時点 $t-1$ において計算されたものであることに 注意されたい.

$D_{a}$ は識別器の出力確率を表すから, $0 \leq D_{a} \leq 1$ である。 スタイル付与度 $D_{a}\left(x_{\leq t-1}\right)$ が 0 に近づく ほど， $C_{1 / D_{a}}^{\prime}$ は平坦な確率分布になる. その結果,式 12 において相対的にスタイル付与度 $D_{a}\left(x_{\leq t}\right)$ の 高い単語が生成されやすくなる. スタイル付与度 $D_{a}\left(x_{\leq t-1}\right)$ が 1 に近づくほど, $C_{1 / D_{a}}^{\prime}$ の分布は本来の 確率分布 $C$ に近づく. その結果，式 12 において相対的に $C_{1 / D_{a}}^{\prime}\left(x_{t} \mid I, x_{\leq t-1}\right)$ が優先され, 画像の内容に 沿った単語が出力されやすくなる。

## 3.3 学習と推論

学習時には，スタイル付きキャプションとスタイ ルなしキャプションを用いて, 文スタイル識別器 $D_{a}$ を学習する．推論時には，式 12 に基づいてデ コードを行う. 本来であれば， $p\left(x_{t} \mid I, a, x_{\leq t-1}\right)$ を得 るために，モデル $C$ の語彙 $\mathscr{V}$ 中の単語 $x_{t} \in \mathscr{V}$ すべ てについて $D_{a}\left(x_{\leq t}\right)$ を計算する必要がある. 先行研究の FUDGE と同様，計算を効率的に行うために， $C\left(x_{t} \mid I, x_{\leq t-1}\right)$ の出力確率が高い順に $k$ 個を抽出し,抽出した単語についてのみ， $D_{a}\left(x_{\leq t}\right)$ を計算する。 それ以外の単語については, $D_{a}\left(x_{\leq t}\right)=0$ であると みなす。

## 4 実験

【実 験 設 定: データセット】 SentiCap [6], FlickrStyle10K [7]を用いた. 前者には positive, negative の，後者には humorous, romantic のスタイル付 きキャプションが含まれている. SentiCap データ セットは訓練データ, 検証データ, テストデータ に既に分かれている2)ため，その分け方に従った。

2）訓練，検証，テストの順に，positive キャプションが 2380 , 493，2019 件，negative キャプションが 2039，429，1509 件と
FlickrStyle10K データセットは，一部のデータ（訓練 データ 7000 件）のみが公開されている. 本研究で は，この 7000 件のデータセットを再度訓練データ $(72 \%)$, 検証データ $(18 \%)$, テストデータ $(10 \%)$ に ランダムに分割した。

【実験設定: モデル】事前学習済み画像キャプション 生成器として, CATR ${ }^{3)}$ を用いた。文スタイル識別器には, 入力次元数 768 , 隠れ状態次元数 300 の 1 層GRUを用いた. CATR は，トークナイズ手法とし $\tau$, huggingface transformers [13] $の$ bert-base-uncased 4) 相当のものを使用している．そのため GRU にお ける単語埋め込みべクトルは bert-base-uncased の学習済みベクトルを利用した。

【実験設定: 手法】ベースラインとして，事前学習済み画像キャプション生成器のみによる推論 （original）を採用し，式 6 による推論（FUDGE），式 12 による推論手法 (dynamic) と比較した. デコード 方法には，条件付き文生成の先行研究で採用されて いる貪欲法を用いた。推論を効率的に行うため，文 スタイル識別器 $D_{a}$ に入力する単語は，キャプショ ン生成器 $C$ の出力確率の高い 200 単語に限った.

【実験設定: 学習・推論・評価】訓練データを用いて,文スタイル識別器のみを学習する。検証データを 用いて算出したクロスエントロピー損失が最も低 いものを最良モデルとして選び，推論に利用した。評価指標としては，BLEU-1 (B-1), BLEU-3 (B-3) [14], METEOR (M) [15], ROUGE_L (R) [16], CIDEr (C) [17], SPICE (S) [18], discriminator score (dsc), classification score (cls), perplexity (ppl), Self-BLEU-4 (SB-4) [19] を 用いた.

## 4.1 実験結果

生成キャプションの定量的評価を表 1 に示す. 4 データ全てにおいて, discriminator score, classification score の値が original, FUDGE に比べて改善している. このことから，提案手法によりスタイルが付与され やすくなっていることがわかる.

dynamic はスタイルが付与されやすいが，参照文 との比較により評価を行う指標（BLEU，METEOR， ROUGE_L，CIDEr，SPICE）のほとんどでベースラ インを下回った. 提案手法において, 生成器 $C$ の影響が弱まると画像に沿ったキャプションが生成さ れにくくなることが主な原因であると思われる。ま

表 1 生成キャプションの評価. discriminator score は, 文スタイル識別器 $D_{a}$ の文末の出力の平均值である. classification accuracy では，文スタイル識別器 $D_{a}$ とは別に，完成文のみを入力として文スタイルを持っているかどうかを判定する文 スタイル識別器を, BERT に訓練データを用いて学習した. テストデータを 1 文ごとに識別器に入力し, 出力確率が 0.5 以上となるものの割合を求めた。 perplexity は，事前学習済みキャプション生成器 $C$ によって計算した。

discriminator score
positive reference
positive pred dynamic
positive pred fudge
positive pred original
negative reference
negative pred dynamic
negative pred fudge
negative pred original

図 1 キャプションの生成結果の例. 生成に成功した例と生成に失敗した例を一つずつ挙げる. デコード時にスタイル識別器 $D$ が出力した確率を単語ごとに色を付けることで表しており，色と確率の対応関係は図中の discriminator score が表 している.

た，スタイルの付与に大きく寄与する単語であって も，その単語が参照文に存在しない場合指標が改善 しにくいことも原因の一つであると考えられる. dynamic の手法を用いた場合， METEOR による 評価は, positive データで original, FUDGE の手法 を, negative データで original の手法を上回った. METEOR は参照文の類義語を考慮して評価を行う ため，スタイルの付与に寄与する単語が評価されや すいことが理由として挙げられる。

perplexity は dynamic が最も高く, Self-BLEU は dynamic が最も低い.このことは, dynamicでは生成 されるキャプションが事前学習モデルにより生成さ れるものとは異なり，より多様になっていることを 示唆している.

positive, negative のスタイル識別器を用いて生成 した結果の一例を図 1 に示す. 2 つの画像とも， FUDGE の生成文はスタイルの付与に失敗している. その一方で, dynamic は original, FUDGE とは異なる 文を生成している。上の画像では，"beautiful"とい う positive な単語が出現しており，スタイルの付い たテキストを生成できている。一方で，下の画像の
ように，生成に失敗したものもある. dynamic の推論では，計算を効率的に行うために，キャプション 生成器 $C$ の出力確率上位 200 語のみを文スタイル 識別器 $D_{a}$ に入力している。この上位 200 語にスタ イルの強い単語が含まれない場合であっても，この 200 語から単語を生成する必要があるため，スタイ ルづけの弱い単語が生成される可能性がある. その ような生成が続くと，画像の内容に沿わず，かつス タイルづけの弱い文が生成される.

## 5 おわりに

本研究では，事前学習済み画像キャプション生成器の出力と, 文スタイル識別器の出力を混合し て，所望のスタイル属性を持つキャプションを生成 した. また，動的 Softmax Temperature を新たに提案 し，スタイルが生成文に付与されやすくなることを 確認した. 生成文の主観的評価と，条件付きキャプ ション生成の先行研究との比較評価が今後の課題で ある.

## 参考文献

[1] Kevin Yang and Dan Klein. FUDGE: Controlled Text Generation With Future Discriminators. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3511-3535. Association for Computational Linguistics.

[2] Ari Holtzman, Jan Buys, Maxwell Forbes, Antoine Bosselut, David Golub, and Yejin Choi. Learning to Write with Cooperative Discriminators. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1638-1649. Association for Computational Linguistics.

[3] Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: A simple approach to controlled text generation. In International Conference on Learning Representations.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

[5] Ben Krause, Akhilesh Deepak Gotmare, Bryan McCann, Nitish Shirish Keskar, Shafiq Joty, Richard Socher, and Nazneen Fatema Rajani. GeDi: Generative Discriminator Guided Sequence Generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 4929-4952. Association for Computational Linguistics.

[6] Alexander Mathews, Lexing Xie, and Xuming He. SentiCap: Generating image descriptions with sentiments. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16, pp. 3574-3580. AAAI Press.

[7] Chuang Gan, Zhe Gan, Xiaodong He, Jianfeng Gao, and Li Deng. StyleNet: Generating Attractive Visual Captions with Styles. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 955-964.

[8] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: Common Objects in Context. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, Computer Vision- ECCV 2014, Lecture Notes in Computer Science, pp. 740-755. Springer International Publishing.

[9] Alexander Mathews, Lexing Xie, and Xuming He. SemStyle: Learning to Generate Stylised Image Captions Using Unaligned Text. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 85918600 .

[10] Cheng-Kuan Chen, Zhufeng Pan, Ming-Yu Liu, and Min Sun. Unsupervised Stylish Image Description Generation via Domain Layer Norm. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 81518158 .

[11] Longteng Guo, Jing Liu, Peng Yao, Jiangwei Li, and Hanqing Lu. MSCap: Multi-Style Image Captioning With Unpaired Stylized Text. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4199-4208.

[12] Wentian Zhao, Xinxiao Wu, and Xiaoxun Zhang. MemCap: Memorizing Style Knowledge for Image Captioning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 12984-12992.

[13] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, prefix=von useprefix=true family=Platen, given=Patrick, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: Stateof-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45. Association for Computational Linguistics.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics.

[15] Satanjeev Banerjee and Alon Lavie. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72. Association for Computational Linguistics.

[16] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics.

[17] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based image description evaluation. In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4566-4575.

[18] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: Semantic Propositional Image Caption Evaluation. In Bastian Leibe, Jiri Matas, Nicu Sebe, and Max Welling, editors, Computer VisionECCV 2016, pp. 382-398. Springer International Publishing.

[19] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR '18, pp. 10971100. Association for Computing Machinery.


# 動画キーフレーム物語生成手法の提案

佐藤俊 $1 *$ 佐藤汰亮 $1 * \quad$ 鈴木潤 $1 \quad$ 清水伸幸 2
1 東北大学 2 ヤフー株式会社
\{shun.sato.p8, tasuku.sato.p6\}@dc.tohoku.ac.jp jun.suzuki@tohoku.ac.jp
nobushim@yahoo-corp.jp

## 概要

本稿では言語画像横断型タスクの一つとして提案した動画キーフレーム物語生成タスクに対して ベースラインとなる手法を提案する。このタスクで は，指定した数の「キーフレーム」とそれに対応す る「説明文」を用いて，絵コンテのように動画を中身を瞬時に把握可能な要約を生成することが目的 である．我々は既存の動画要約データセットである ActivityNet Captions を拡張したデータセットを用い て，教師あり学習に基づくべースラインを構築し，性能評価及び分析を行った。

## 1 はじめに

近年スマートフォンのようなカメラ搭載型デバ イスの普及により，あらゆる人が容易に動画を投稿 できるようになったことで，動画コンテンツの総量は爆発的に増えつつある ${ }^{1)}$.こうした背景から，人間が即座に動画のおおよその内容を把握し, 特定の目的に適/不適の判断をしたい場面が増えてい る. 例えば，大量の動画の中から (1) 視聴したい好 みの動画を見つける場面，(2)特定のシーンノ物/事象を含む動画のみを抽出したい場合，などである。 この状況に対処するために動画の中身を適切に要約する技術への期待が高まっている. 過去の動画要約の研究としては，動画の中から重要と思われるフ レームを抽出するキーフレーム検出タスク $[1,2,3]$ や動画全体や動画をシーンごとに分割したセグメン 卜に対して説明文を付与する動画説明文生成タス ク $[4,5,6,7]$ などがあげられる.

これらの先行研究に対して，動画の内容を瞬時に 理解できる要約を第一要件においた動画要約タスク として，我々はこれまでに動画キーフレーム物語生成タスクを提案した [8].このタスクでは 1 つの動
* 第一，第二著者の本論文への貢献は同等である

1） 付録 A に詳細を示す.画に対し，重要と思われるフレーム (キーフレーム) を抽出した上でそれぞれのフレームを説明する文を 付与し，動画を絵コンテのような形で要約すること で，動画の中身を瞬時に理解可能な要約を行う．文献 [8] では，動画説明文生成タスクのデータセット である ActivityNet Captions に対してキーフレームを 決定するためのアノテーションを付与し，動画キー フレーム物語生成タスクのためのデータセットを構築した. 本研究ではこのデータセットを用いた教師 あり学習に基づいたアプローチで動画キーフレーム 物語生成タスクのベースラインモデルを構築し，そ の性能評価と分析を行う.

## 2 関連研究

動画説明文生成の手法としては動画全体に対して 説明文を付与する手法 $[9,10]$ やセグメントと呼ばれ る動画をシーンごとに分割したものに説明文を付与する Dence Video Captioning と呼ばれる手法があ る $[6,11,12,13,7]$. 本研究の提案法は Dence Video Captioning の方法論をべースにし，動画キーフレー ム物語生成タスクを解くために発展させた方法と位置づけることができる. Chen ら [14] は強化学習を 用いて説明文とともに動画を表現する上で重要なフ レームを数枚提示する手法を提案している。

文献 [8] では，1つの動画に対してその内容を表現する上で重要と思われるキーフレームのアノテー ションとその説明文を付与したデータを作成し，動画を数枚のキーフレームと説明文で絵コンテのよう に瞬時に理解可能な形で要約する動画キーフレー ム物語生成タスクの枠組みを提案した。このデータ セットにより，Chen らの手法と類似のシステムを 教師あり学習のアプローチで構築できるようになっ たとも言える。本研究では，このデータセットを用 いて動画キーフレーム物語生成タスクを解くベース ラインモデルを構築する。

図 1 動画キーフレーム物語生成タスクに用いるデータ セットの概要. 各動画は $M$ 個の説明文とそれぞれの説明文に対応する $K$ 個のキーフレームについてのアノテー ションを持つ. キーフレームの最小単位は $0.5 \mathrm{~s}$ となって いる.

## 3 動画キーフレーム物語生成タスク

本章では動画キーフレーム物語生成タスクのタス ク全体の定義とその評価方法について述べる。

## 3.1 タスクの定義

$\mathbf{x}$ を 1 つの動画とし $\mathbf{y}=\left(y_{1}, \ldots, y_{N}\right)$ を動画 $\mathbf{x}$ 内の キーフレームとする.ここで $y_{i}$ は動画 $\mathbf{x}$ の冒頭か ら数えてi番目のキーフレームを指し $N$ は事前にシ ステムの外で決められたシステムが出力すべきキー フレーム浐明文の数を表している， $\mathbf{z}=\left(z_{1}, \ldots, z_{N}\right)$ はシステムが出力する $N$ 個のキーフレームに対す る説明文を表す. すなわち $z_{i}$ は $i$ 番目のキーフレー ム $y_{i}$ を説明する文となっている.

要約として出力すべきキーフレーム/説明文の数 $N$ についてはビデオの長さ, 要約の用途など状況に 応じて変化することが想定される。またそれをシス テムが自動的に決定することは困難であるため， $N$ は動画ごとに事前に人間が決定することを前提と している. 出力する要約の数については文書要約に おいても同様の議論がなされている [15]. したがっ て，動画キーフレーム物語生成タスクは動画 $\mathbf{x}$ と出力すべき要約の数 $N$ を受け取り, $N$ 個のキーフレー ムと説明文を出力する $\mathscr{T}:(\mathbf{x}, N) \rightarrow(\mathbf{y}, \mathbf{z})$ のように 記述される.

## 3.2 評価方法

動画キーフレーム物語生成タスクではシステムが $N$ 個のキーフレームと説明文のぺア $\left.\{\left(y_{i}, z_{i}\right)\right.\}_{i=1}^{N}$ を 出力する. 本節ではキーフレームと説明文のそれぞ れについて評価する方法を記述する。

## 3.2.1 キーフレームの評価方法

図 1 に今回用いるデータセットに付与されている アノテーションの概要を示した。それぞれの動画は $M$ 個のセグメントとそれを説明する説明文が付与さ れている。またそれぞれのセグメントごとに対応す る $K$ 個のキーフレームに関するアノテーションが つけられている.

付録 B の図 3 に本タスクの評価全体の概要を示 す. ここで $\mathbf{A}=\left(A_{1}, \ldots, A_{N}\right)$ は時系列順のセグメン トを表す。上述の通り 1 つのセグメント $A_{i}$ は複数 のキーフレームに関するアノテーションをもち, 1 つのキーフレームを $a \in A_{i}$ として表記する. 同様に $\mathbf{p}=\left(p_{1}, \ldots, p_{N}\right)$ はシステムが予測したキーフレー ムの位置を表す. システムは事前に指定した $N$ 個 のキーフレームを出力するが，正解の数 $M$ が $N$ よ りも大きい場合には $M$ 個の正解から $N$ 個選んでで きる ${ }_{M} C_{N}$ 通りの組み合わせから最適なものを探索 する。

次に文献 [8] に従い式 (1) で記述される評価のた めの aligned key-frame matching (AKM) スコアを導入する.

$
\mathrm{AKM}_{\mathrm{ex}}=\max _{\mathbf{p}^{\prime} \in \Gamma(\mathbf{p})}\left.\{\frac{1}{N} \sum_{i=1}^{N} \max _{a \in A_{i}}\left.\{\mathrm{~m}_{\mathrm{ex}}\left(p_{i}^{\prime}, a\right)\right.\}\right.\}
$

ここでマッチング関数 $\mathrm{m}_{\mathrm{ex}}(\cdot, \cdot)$ は 2 つのフレームを 受け取り，それらが完全に同じときに 1 ，それ以外 の場合には 0 を返す関数である．Г(.) は大力系列の 順番を入れ替えた順列集合を表す. $p_{i}^{\prime}$ は $\mathbf{p}^{\prime}$ の中の $i$ 番目の要素であり, 式 (1) は解答候補 $A_{i}$ 中の $1 \supset$ の $a$ と予測 $p_{i}$ とのマッチングの中で最大の值を取 るという操作を $N$ 回繰り返し，その平均值がもっと も大きくなるときの値をその予測に対するスコアと する。

また上記の式 (1) のマッチングの条件を緩和した 以下の式 (2) で表されるマッチング関数 $\mathrm{m}_{\mathrm{cos}}(\cdot, \cdot)$ を 用いた $\mathrm{AKM}_{\cos }$ も評価指標として用いる.

$
\mathrm{m}_{\cos }\left(\mathbf{v}_{p}, \mathbf{v}_{a}\right)=\max \left(0, \operatorname{Cos}\left(\mathbf{v}_{p}-\overline{\mathbf{v}}, \mathbf{v}_{a}-\overline{\mathbf{v}}\right)\right)
$

ここで $\mathbf{v}_{p}$ と $\mathbf{v}_{a}$ はそれぞれ予測と正解のキーフレー ムの画像の特徵べクトルを表す。产 は評価対象動画内の特徴べクトルの平均とする。式 (2) の詳細につ いては付録 B に記載した

## 3.2.2 説明文の評価方法

説明文の評価には METEOR [16] を用いる. METEOR は動画説明文生成タスクにおける説明文

の評価指標として一般的に用いられるものの一つで あり，本研究でもそれに則って評価を行う。

## 4 実験

本章では実験に用いるデータおよびモデルの詳細，実験結果について述べる。

## 4.1 データセット

今回実験には，1 章で述べたように文献 [8] で提案したデータセットを用いる. データセットの訓練/開発データの分割は ActivitytyNet Captions の分割 の仕方に従い，訓練データの数が 7,727 個，開発 データの数が 4,282 個となっている. ActivitytyNet Captions では評価データは公開されていないため本章では開発データ上での性能を報告する. また各動画ごとの生成する説明の個数 $N$ については， 4 とし た. ただしデータについているセグメント/説明文 のアノテーションが 4 個未満の場合には，その数を $N$ とした.

## 4.2 ベースラインモデル

動画キーフレーム物語生成はキーフレームの選択 とその説明文の生成を同時に行う必要がある. しか し，これらを同時に実行することはモダンなニュー ラルモデルを用いても容易ではない，そこで我々は このベースラインとなるシステムの推論/生成の過程を多段階に分割して構築した. 図 2(a) にモデル全体の概要を示した. 本システムは次の 4 つの要素か ら構成される。

(Step1: セグメント抽出モジュール) 動画を入力とし て動画を内容ごとにいくつかのフレームをまとめた セグメントに分割する. このモジュールでは $N$ 個以上の候補を生成する。

(Step2: 説明文生成モジュール) Step1 のモジュール から出力されたセグメントを受け取り，それぞれの セグメントに対して説明文を生成し，そのぺアを出力とする.

(Step3: 候補選択モジュール) セグメント/説明文の ペアを受け取り，それらの中からできるだけ時間的重複が発生しないように事前に決めた数 $N$ 個を選択する. したがって出力は $N$ 個のセグメント/説明文のペアとなる。

(Step4: キーフレーム検出モジュール) 与えられた $N$個のセグメント/説明文の情報を用いてセグメント の中から説明文が示す内容にマッチするキーフレー

ムを予測する。このモジュールの出力がシステム全体のキーフレームと説明文の予測結果となる.

## 4.2.1 各モジュールの実装

本節では上記のシステムを構成する各モジュール 群の実装について詳細を述べる。まず初めに，本研究では動画を連続したフレームの集合としてとらえ る. Zhou ら [7] の設定に従い，動画はフレームごと に ResNet200 [17] と BN-Inception [18] を用いて画像特徴量に変換する。またフレームはデータセットの アノテーションに合わせて $0.5 \mathrm{~s}$ ごとに離散的にサン プリングを行っている.

Step1 と Step2 のモジュールは Zhou らが動画説明文生成タスクのために提案している Masked Transformer Model (MTM) [7]を用いる. 図 2(b) に MTM の概要を示している. MTM は動画内部からセ グメント抽出を行いそれと同時にセグメントの内容 に対応する説明文を生成する。本研究では MTM が 出力するセグメントを Step1, 説明文を Step2 の出力 として扱う。

MTM はありえそうなセグメントハキーワードの候補をできる限り多く出力するため，Step3 では動的計画法を用いてこれらの中から $N$ 個を選択する. また動的計画法のパス決定の決定にはセグメント/説明文の尤度を用いる.

Step4 のキーフレーム検出には Neural Sequence Detector Model (SeqM) を用いる。図 2(C) に SeqM の 概要を示している.このモジュールの中ではまず入力されたセグメント内部の各フレームを画像特徴量 に変換する．同様に入力された説明文を BERT [19] で特徴量に変換し, 最終的に画像特徴量と連結し て，双方向 LSTM(Bi-LSTM) で実装された系列処理層に入力する．系列処理層では各フレームに対して そのフレームがキーフレームか否かの 2 值分類を行 う.このとき予測確率がもっとも高いフレームをシ ステムの最終的なキーフレームの予測とする. 各モ ジュールのパラメータは付録 Cに記載した。

## 4.3 実験結果

表 1 にベースラインモデルの性能値を示す. 比較対象として，動画内部のフレームの中からランダム

(a)

(b)

(c)

図 2 動画キーフレーム物語生成モデルの概要; (a) 動画キーフレーム物語生成モデルの全体の流れ, (b) Masked Transformer Model [7] (c) Neural Sequence Detector Model.

表 2 Step3 および Step4 において用いるモジュールに関 する分析. オラクルは正解のセグメントを入力した場合,予測.DP は動的計画法, 予測. Greedy は貪欲法で上位 $N$ 個 の候補を選択した場合のシステムの出力結果を表す.

候補選択 キーフレーム検出評価指標

に 1 秒分のセグメントを選択し，そのセグメントに 対して説明文を生成した場合の METEOR，そのセ グメントの中からランダムに選択したフレームを キーフレームの予測とした時の $A K M_{e x}$ と AKM $\cos$ をラ ンダムの性能値として記載した. この結果から提案 したベースラインモデルがランダムの結果よりも性能値が高く，キーフレーム検出およびその説明文生成についてデータセットを教師信号として活用でき ていることがわかった. ${ }^{2}$ またモデルの出力例につ いては付録 Eに記載した。

## 5 分析

本章では提案した動画キーフレーム物語生成モデ ルのシステム構成について検討する。

## 5.1 候補選択モジュール (Step3)

表 2 に Step3 の候補選択モジュールとしてセグメ ントと説明文の候補の中から動的計画法と貪欲法を 用いて上位 $N$ 個を選択した場合の結果を示す. オ ラクルは正解の説明文を入力した場合のキーフレー ム検出と説明文生成の評価値である. 動的計画法と 貪欲法の結果を比べると動的計画法を用いた場合の

2） METEOR の值は先行研究と比較しても妥当な値である. 詳細については付録 D に記載した予測が優れていることがわかった.これは一般的に 動的計画法が貪欲法と異なり, 厳密な最適解に到達 できることから直感的な結果と言える.

また結果からキーフレーム検出および説明文生成 の両方でオラクルの結果と予測値の間に大きな差が あり，モデル全体の性能には改善の余地があると言 える。

## 5.2 キーフレーム検出モジュール (Step4)

表 2 にキーフレーム検出モジュールの系列処理層として Transformer [20] と Bi-LSTMを用いた場合 の結果を記載した. $A K M_{\mathrm{ex}}$ および $\mathrm{AKM}_{\mathrm{cos}}$ のいずれ の評価指標でも Bi-LSTMを用いた場合の方がキー フレーム検出の性能値が高いことがわかる。近年多くのタスクにおいて優れた性能を発揮している Transformer であるが，それらの多くは大規模データ セットを用いた訓練による部分が大きい，今回扱っ たデータセットは相対的に小規模であり，直接的 な系列処理アーキテクチャである Bi-LSTM の方が キーフレーム検出に適していたと考えられる.

これらの結果を踏まえて表 1 では動的計画法と Bi-LSTM を用いたモデルを本タスクのベースライン として選出した。

## 6 結論

本研究では，動画キーフレーム物語生成タスクの ために必要な複数の機能を組み合わせたべースライ ンとなるモデルを提案し, その構成要素について分析を行った. 提案したモデルは一定の性能を示した ものの，生成されるキャプションの質やキーフレー ムの検出についていずれもオラクルの性能値と大き な差があった. 各機能を構成する個別のモジュール の性能向上や全体のアーキテクチャの見直しを行い さらなる性能改善を今後の課題としたい.

## 参考文献

[1] W. Wolf. Key frame selection by motion analysis. In 1996 IEEE International Conference on Acoustics, Speech, and Signal Processing Conference Proceedings, Vol. 2, pp. 1228-1231 vol. 2, 1996.

[2] Sourabh Kulhare, S. Sah, Suhas Pillai, and R. Ptucha. Key frame extraction for salient activity recognition. In 23rd International Conference on Pattern Recognition (ICPR), pp. 835-840, 2016.

[3] X. Yan, Syed Zulqarnain Gilani, Hanlin Qin, Mingtao Feng, L. Zhang, and A. Mian. Deep keyframe detection in human action videos. ArXiv, Vol. abs/1804.10021, , 2018.

[4] Oriol Vinyals, A. Toshev, S. Bengio, and D. Erhan. Show and tell: A neural image caption generator. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3156-3164, 2015.

[5] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 2048-2057, Lille, France, 07-09 Jul 2015. PMLR.

[6] Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, and Juan Carlos Niebles. Dense-captioning events in videos. In International Conference on Computer Vision (ICCV), 2017.

[7] Luowei Zhou, Yingbo Zhou, Jason J. Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.

[8] 晃太郎北山, 潤鈴木, 伸幸清水. 動画キーフレーム 物語生成タスクの提案とデータセットの構築.人工知能学会全国大会論文集, Vol. JSAI2021, No. 0, pp. 4I4GS7e03-4I4GS7e03, 2021.

[9] Subhashini Venugopalan, Marcus Rohrbach, Jeffrey Donahue, Raymond Mooney, Trevor Darrell, and Kate Saenko. Sequence to sequence - video to text. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 4534-4542, 2015.

[10] Subhashini Venugopalan, Huijuan Xu, Jeff Donahue, Marcus Rohrbach, Raymond Mooney, and Kate Saenko. Translating videos to natural language using deep recurrent neural networks. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1494-1504, Denver, Colorado, MayJune 2015. Association for Computational Linguistics.

[11] Jingwen Wang, Wenhao Jiang, Lin Ma, Wei Liu, and Yong $\mathrm{Xu}$. Bidirectional attentive fusion with context gating for dense video captioning. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 71907198, 2018.

[12] Yehao Li, Ting Yao, Yingwei Pan, Hongyang Chao, and Tao Mei. Jointly localizing and describing events for dense video captioning. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 74927500, 2018.

[13] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, and Jianfeng Gao. Oscar: Objectsemantics aligned pre-training for vision-language tasks. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and JanMichael Frahm, editors, Computer Vision - ECCV 2020, pp. 121-137, Cham, 2020. Springer International Publishing.

[14] Yangyu Chen, Shuhui Wang, Weigang Zhang, and Qingming Huang. Less is more: Picking informative frames for video captioning. In Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, editors, Computer Vision - ECCV 2018, pp. 367-384, Cham, 2018. Springer International Publishing.

[15] P. Over and J. Yen. An introduction to DUC 2003: Intrinsic evaluation of generic news text summarization systems, 2003.

[16] Alon Lavie and Abhaya Agarwal. METEOR: An automatic metric for MT evaluation with high levels of correlation with human judgments. In Proceedings of the Second Workshop on Statistical Machine Translation, pp. 228231, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[17] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778, 2016.

[18] Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 448-456, Lille, France, 07-09 Jul 2015. PMLR.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

図 3 キーフレームに関する評価の概要. $\mathbf{A}=\left(A_{1}, \ldots, A_{N}\right)$ は正例のキーフレーム集合を表し，それぞれの $A_{i}$ は $\mathrm{K}$ 個の正解のキーフレーム $\left(a_{i 1}, \ldots, a_{i K}\right)$ を持つ. $\mathbf{p}=\left(p_{1}, \ldots, p_{N}\right)$ はシステムが予測した $N$ 個のキーフレー ムを表す. $\Gamma(\mathbf{p})$ は予測されたキーフレームの順番を入れ 替えて作られる順列を表す.キーフレームの評価におい ては

## A 動画データに関する統計情報

動画投稿サイト Youtube では毎分合計 500 時間以上の動画アップロードされていると報告されてい る. ${ }^{3)}$

## B 評価方法の詳細

式 (1) で表されるマッチング関数 $\mathrm{m}_{\mathrm{ex}}(\cdot, \cdot)$ は予測と 正解のキーフレームの間に完全一致を要求している が，セグメント内部では類似したフレームが複数あ ることが想定され, 正解の候補が複数あったとして も完全に同じフレームを当てるのは容易でないこと が考えられる。そこで我々は AKM スコアのマッチ ング関数 $\mathrm{m}_{\mathrm{ex}}(\cdot, \cdot)$ の代わりに制限を緩和した式 (2)で 表されるマッチング関数 $\mathrm{m}_{\mathrm{cos}}(\cdot, \cdot)$ を用いた $\mathrm{AKM}_{\cos }$ も 評価指標の 1 つとして導入する.

$\mathrm{m}_{\mathrm{cos}}(\cdot, \cdot)$ は $\mathrm{m}_{\mathrm{ex}}(\cdot, \cdot)$ と異なり，異なる位置のフレー ムであっても正解のキーフレームと類似したフレー ムを選択できていれが 1 に近い値をとる.

また図 3 で示す評価全体では全ての組み合わせの 探索を行うと膨大な計算コストがかかるため, AKM スコアを用いた動的計画法によって効率的な探索を

3) https://www.statista.com/statistics/259477/

hours-of-video-uploaded-to-youtube-every-minute/.

図 4 システムの予測と正解のキーフレームと説明文と 実例

行う.

## C モデルのパラメータ

MTM の実装およびハイパーパラメータについて は MTM を提案している Zhou ら [7] が公開している もの ${ }^{4)}$ に従った.

表 3 に SeqM のパラメータを記載した. SeqM で 用いる ResNet200と BN-inception の次元数はそれ ぞれ 512 次元とし, 説明文のテキストの特徴量 として用いる BERT の次元数は 768 次元とした.最終的には，この 3 つの特徴量を連結した 1792 $(=512+512+768)$ 次元のベクトルを SeqM の入力と した.

## D METEOR の值の妥当性

本研究で説明文の生成を担っている MTM の提案論文 [7] では ActivityNet Captions を Dence Video Captioning のデータセットとして扱い，MTMを用 いて説明文を生成している. その論文における説明文の METEOR の值は 9.56 であり，本研究での METEOR が妥当な値であることを示している.

## E モデルの出力例

図 4 にシステムの出力と対応するキーフレームお よび説明文の正解の実例を示す.


# 機械・人の双方が言語で概念を説明可能な Few-shot 画像分類

西田光甫 西田京介 西岡秀一
日本電信電話株式会社 NTT 人間情報研究所
}

\{kosuke.nishida.ap, kyosuke.nishida.rx, shuichi.nishioka.gd\}@hco.ntt.co.jp
## 概要

人は自然言語による説明から新しい概念を学び， さらに概念を自然言語によって説明できる。この能力を機械学習モデルで実現することは，人と人工知能が共生する社会の実現のために重要である. 本研究は few-shot 画像分類を用いて，モデルが新しい概念に関する説明を理解・生成することに挑戦した。本研究はテキストデコーダによる説明の生成と，テ キストエンコーダによる説明の入力により few-shot 画像分類の性能を改善する初の研究である. 評価実験により，提案手法は既存研究の分類精度を上回 り，かつ人の説明からの学習および内部表現の説明 を精度良く行うことを確認した。

## 1 はじめに

人はテキストを読むことで新たな概念を効率的に 学ぶことができる [1]. 機械学習のタスクあるいは データに自然言語による説明を与えて学習に利用す ることは，人のような効率と精度を両立する人工知能の実現に向けて重要な課題である [2]. また，深層学習モデルは black box であるため内部表現を自然言語によって説明することも重要である [3].

本研究では few-shot 画像分類問題を題材に，人が 説明として与えた言語情報から新たな概念を獲得 し，さらにモデル内で特徴量として表現されている 概念を機械が言語によって説明することに取り組 む. 本研究の設定は，モデルが画像キャプションを 追加情報として利用可能とする. この設定は，人が 少ないデータを用いて他者に知識を教える際，演繹的に言語で説明することに相当する。

本研究では, 図 1 に示す LIDE (Learning from Image and DEscription) を提案する. LIDE は画像エンコー ダ，テキストデコーダ，テキストエンコーダ，画像分類器によって構成される. 画像エンコーダが出力 する画像特徴量に基づいてデコーダがテキストを生成することで，LIDE はモデルの内部表現を自然言語によって説明できる.テキストエンコーダは生成 したキャプションあるいは人が与えたキャプション をテキスト特徴量に変換し，画像分類器は画像とテ キスト特徴量の双方に基づいた分類を行う.

評価実験により LIDE は既存手法を上回る画像分類精度を達成した。また，人の説明の入力により性能がさらに向上すること，生成した説明の品質が画像分類の正否と相関を持つことを確認した。本研究 の貢献は，マルチモーダル特徴量を few-shot 画像分類問題で利用することで，1）言語によって説明され た概念の学習可能性，2) モデルの内部表現の言語に よる説明可能性をそれぞれ検証した点にある.

## 2 問題設定および関連研究

$N$-way $K$-shot 画像分類 本問題では，多数のク ラスが含まれるデータセットが，クラスの重複が無 いように $\mathscr{T}_{\text {train }}, \mathscr{T}_{\text {dev }}, \mathscr{T}_{\text {test }}$ に分割されている. 各 サブセットから，少数の $N$ クラス，学習サンプル (サポート，各クラス $K$ 個)，評価サンプル（クエ リ，各クラス $M$ 個）をサンプリングしてタスクと する。この問題はメタ学習の一種であり，訓練時に $\mathscr{T}_{\text {train }}$ からサンプリングした複数個のタスクを用い てモデルを訓練する。 その後，テスト時に新規の概念を $\mathscr{T}_{\text {dev }}$ あるいは $\mathscr{T}_{\text {test }}$ のサポートから学習し，ク エリに対する性能を評価する。

代表的手法は Prototypical Network（ProtoNet） [4] である. ProtoNet は訓練・テスト時の個別タスクに 対する学習をクラスプロトタイプの計算で代替す る. $h_{k}^{c}$ をクラス $c$ の $k$ 番目のサポートの特徴量, ク ラス $c$ のプロトタイプを $z^{c}=\frac{1}{K} \sum_{k} W_{\text {proto }} h_{k}^{c}$ とす る。訓練時は $\sigma_{\text {train }}$ のクエリに関する損失 $L_{\text {class }}$ を 最小化することで，モデルパラメータを更新する

$
L_{\text {class }}=-\frac{1}{K M} \sum_{i} \sum_{c} y_{i}^{c} \log \frac{\exp \left[s\left(z^{c}, h_{i}\right)\right]}{\sum_{c^{\prime}} \exp \left[s\left(z^{c^{\prime}}, h_{i}\right)\right]} .
$

$W_{\text {proto }}$ は学習可能な重み, $y_{i}^{c} \in\{0,1\}, h_{i}$ は $i$ 番目の クエリの真のラベルおよび特徴量である。 スコア関数は $s\left(z^{c}, h_{i}\right)=z^{c \top} W_{\text {proto }} h_{i}$ と定義する. テスト時

図 1 LIDE の全体像. 画像エンコーダが出力する特徴量を基に，テキストデコーダがキャプションを生成する. テキス トエンコーダは機械の生成キャプションとユーザの生成キャプションどちらかを受け付けテキスト特徴量に変換する.両モーダルの特徴量を特徵融合モジュールが統合し，予測モジュールが画像分類の予測確率を出力する.

は $\mathscr{T}_{\text {dev,test }}$ のサポートを用いてプロトタイプのみ更新することで個別のタスクを学習し，クエリを用い て個別のタスクにおける性能を評価する。

言語情報を用いた few-shot 画像分類モデル ProtoNetをべースに言語情報を用いて画像分類の 性能を高める試みが取り組まれてきた．ProtoNet は 図 1 における画像エンコーダと予測モジュールのみ を用いるモデルに相当する． LSL [5] は，画像エン コーダの過学習を防ぐため, エンコーダの出力特徴量に基づいて画像キャプションを生成するテキスト デコーダを導入し, 生成テキストの損失を訓練の正則化項として利用した. RS-FSL [6] は，デコーダを GRU [7] から双方向 Transformer [8] に変更した.

L3 [9] は中間表現を自然言語によって表現する ことを目的としており，ProtoNet にテキストデコー ダ・エンコーダを導入した．２３ は画像表現からデ コードした自然言語記述をエンコードした表現のみ を使って画像分類を行うことで，デコーダの出力を 画像分類の根拠として解釈できる. しかし，説明性 を備えた一方で精度が低下する問題が残った。

## 3 提案手法

LIDE の構成および訓練・テスト手法について述 べる. なお, 従来研究と同様に, 未知クラスの画像分類に影響が出るため大量の画像データによる画像 エンコーダ・分類器の事前学習は行わない.

## 3.1 モデル

画像エンコーダ 従来研究と同様に 4 層の CNN （事前学習無し）を用いる. 画像を入力として受け 取り, 画像特徵べクトルとして $h_{\text {img }}$ を出力する.

テキストデコーダ 3 層の単方向 Transformerを用 いる.まず， $h_{i m g}$ をテキスト特徴空間に写像する

$
f_{I 2 T}\left(h_{i m g}\right)=\operatorname{Linear}\left(\operatorname{LayerNorm}\left(h_{i m g}\right)\right)
$

LayerNorm は Layer Normalization [10]を示す. 得ら れた表現をテキストデコーダに長さ 1 の系列として渡し，テキストデコーダでは自己回帰的に $j$ 番目の トークン $t_{j}$ を以下の確率 $p_{j}$ に従い生成する

$
p_{j}=\operatorname{Pr}\left(t_{j} ; f_{I 2 T}\left(h_{i m g}\right), t_{0: j-1}\right) .
$

テキストエンコーダ BERT [11]を用いる。テキ ストを WordPiece [12] でトークナイズした系列を入力として受け取り, 最終層の隠れ状態の系列 $H_{B E R T}$ を出力する。言語特徴べクトル $h_{\text {text }}$ を取得するた め，テキストデコーダのトークン生成確率 $p_{j}$ を用 いた重み付きプーリングを行う

$
h_{\text {text }}=\frac{1}{\sum p_{j} w_{j}} \sum p_{j} w_{j} h_{B E R T, j}
$

トークンがストップワードの場合 $w_{j}=0$, それ以外 は 1 とする. また，デコーダの代わりに人がキャプ ションを与えた際は全トークンで $p_{j}=1$ とする.

重み付きプーリングはテキストデコーダの確信度 の低い出力の影響を抑えることで，生成文の品質の 低さによる画像分類精度の低下を防ぐことを目的と する. さらに，テキスト生成の離散的操作のために 通常はテキストエンコーダの勾配をテキストデコー ダに渡すことができないが，重み付きプーリングで は画像分類から得られる損失を重み $p_{j}$ を経由して テキストデコーダに伝播させることが可能となる.

特徵融合モジュール LIDE の画像分類器は特徵融合と予測モジュールから成る. 特徴融合モジュー ルは，単一モーダル特徴のみを予測に用いる既存研究と異なり, $h_{\text {img }}$ と $h_{\text {text }}$ をマルチモーダル特徴 $h_{m m}$ に融合する. $f_{T 2 I}$ をテキスト特徴から画像特徴空間への写像として, $h_{m m}$ を下記の様に求める

$
\begin{aligned}
{\left[w_{\text {img }} ; w_{\text {text }}\right] } & =\operatorname{softmax}\left(\operatorname{Linear}\left(\left[h_{\text {img }} ; h_{\text {text }}\right]\right)\right) \in \mathbb{R}^{2} \\
h_{\text {mm }} & =w_{\text {img }} h_{\text {img }}+w_{\text {text }} f_{T 2 I}\left(h_{\text {text }}\right)
\end{aligned}
$

[;] はべクトル連結を表す。 $f_{T 2 I}$ には活性化関数を ReLU とした 3 層の FFNNを用いた。

予測モジュール ProtoNet [4] を用いる. 特徴量 $h$ はマルチモーダル特徴量 $h_{m m}$ に置き換える.

## 3.2 訓練時およびテスト時のアルゴリズム

損失関数 画像分類のために 2 種類の損失関数を 用いる. $L_{\text {class,gold }}$ は画像特徴量と真のテキストか ら計算した損失である. $L_{\text {class,gen }}$ は画像特徴量と 生成したテキストから計算した損失である. テキス ト生成の損失として, teacher-forcing とクロスエント ロピー損失で計算した $L_{\text {text }}$ を用いる.

また，多様な言語表現を獲得するために対照学習 を行う. クラス $c$ のサポートサンプルの真および生成キャプションの表現を $v_{\text {gold }}^{c}, v_{\text {gen }}^{c}$ とする. cosine 類似度で計算した対照学習の損失を $L_{c n t r}$ とする

$
\begin{aligned}
L_{\text {cntr }} & =\frac{1}{2 N} \sum_{c} \log \frac{\exp \left[\cos \left(v_{\text {gold }}^{c}{ }^{\top} v_{\text {gen }}^{c}\right) / \tau\right]}{\sum_{c^{\prime}} \exp \left[\cos \left(v_{\text {gold }}{ }^{\top} v_{\text {gen }}^{c^{\prime}}\right) / \tau\right]} \\
& +\frac{1}{2 N} \sum_{c^{\prime}} \log \frac{\exp \left[\cos \left(v_{\text {gold }}^{c^{\prime}} v_{\text {gen }}^{c^{\prime}}\right) / \tau\right]}{\sum_{c} \exp \left[\cos \left(v_{\text {gold }}^{c} v_{\text {gen }}^{c^{\prime}}\right) / \tau\right]} .
\end{aligned}
$

以上を合計した $L$ を損失関数とする

$
\begin{gathered}
L=L_{\text {class }, g o l d}+L_{\text {class,gen }}+\lambda_{\text {text }} L_{\text {text }}+\lambda_{\text {cntr }} L_{\text {cntr }} . \\
\tau, \quad \lambda_{\text {text }}, \lambda_{\text {cntr }} \text { はハイパーパラメータである } .
\end{gathered}
$

事前学習 [6,13] と同様，訓練データのみを用い た事前学習を行う. 事前学習は few-shot ではない通常の画像分類として解く. 損失は $L_{\text {class, gold }}+L_{\text {text }}$ である.

言語生成 訓練時は貪欲法とランダムサンプリン グによってキャプションを生成する. ランダムサン プリング時は各時刻で top 20 の単語をサンプリング して生成する. テスト時，人からキャプションが与 えられない場合はテキストデコーダの生成をテキス トエンコーダに渡す.この際, length penaltyを 0.5 , ビーム幅を 5 としたビームサーチを行ってスコアが 最大となる生成文をテキストエンコーダに渡す。

## 4 評価実験

## 4.1 実験設定

データセット Caltech-UCSD Birds (CUB) $[14,15]$ を 5-way 1-shot 分類問題として用いた。本データは 200 種の鳥の品種をクラスとしており， 1 種に対し て 40-60 枚の画像がある. 200 種の画像は 100 種が 訓練用，50 種が開発用，50 種がテスト用である，

比較手法画像のみを用いる ProtoNet [4]，画像特徵量からデコードしたテキストの特徴量のみを基に 分類を行う L3 [9]，テキスト情報を正則化項として のみ用いる LSL [5]，RS-FSL [6] を利用した。

表 2 LIDEで導入した各手法と BERT の事前学習の効果

評価指標（画像分類） 従来研究と同様に 5-way 1-shot 画像分類を 600 回行った際の平均分類精度を 示す. また，画像表現 $h_{\text {img }}$ とテキスト表現 $h_{\text {text }}$ が 分布する多様体について，局所内在次元 $[16,17]$ お よび主成分分析の累積寄与率が $90 \%$ を達成する次元数を測り，両モーダルの内部表現を分析する.

評価指標（説明可能性） デコーダが生成した キャプションについて BLEU 4 [18], METEOR [19],

さらに，生成キャプションが予測の根拠として機能 しているか，キャプションの正確さと予測の正確さ の相関を Spearman の順位相関係数を用いて評価す る. 評価指標の詳細については補足資料に示す.

## 4.2 言語情報を用いた画像分類の評価

## LIDE は比較手法の画像分類精度を上回るか?表 1 に結果を示す. LIDE は全比較手法，特に言語表現を正則化項としてのみ利用する LSL や RS-FSL の性能を上回った，L3 と異なり，LIDE はテキスト 表現の利用と画像分類性能の向上を両立した.

LIDE で導入した各手法は有効か？ 表 2 に LIDE の各手法を除いた結果を示す。提案した対照学習，重み付きプーリング，貪欲法とランダムサンプリン グの組合せは全て性能向上に貢献した.

BERT の事前学習は有効か？ 表 2 に示すように，我々の予想と反し，LIDE は BERT の事前学習を除 いた場合でも既存研究の分類精度（表 1）を上回っ た. CUB データセットは鳥の品種に限定されるた め，訓練データのみでテキスト空間を十分に学習で きるためと考える．より広範囲なドメインでの検証 は今後の課題とする。

## 高品質のキャプションを人が与えることで予測 は改善するか？ モデルが生成したキャプションの 代わりに真のキャプションを入力する実験をした.
表 4 特徴空間の次元数.

CUB では 1 画像に複数の真のキャプションがある ため, 生成キャプションに対する bi-gram precision が最も高いものをユーザの入力キャプションとし た. 表 3 に示す通り，機械が生成したキャプション を入力する場合に比べて，真のキャプションを入力 することでさらに性能が改善した。

## なぜテキスト表現は画像分類に貢献するのか？画像・テキスト表現のそれぞれが分布する多様体 について，局所内在次元と主成分分析の累積寄与率 $90 \%$ を達成する次元数を調査した. 表 4 に示す通 り，テキスト表現は画像表現に比べて潜在的に小さ な次元の多様体に分布していることがわかる. 画像 には多くの情報が含まれるが，キャプションは興味 のある情報にのみ言及する。今回はキャプションが 鳥の記述であるため，キャプションからは鳥の分類 のために重要な情報のみを持つ特徴量を抽出できる と考えられる. なお, 局所内在次元が低いほど汎化 された表現であり, few-shot 分類の性能が高くなる という報告 [21]があり，本研究の結果と一致する.

## 4.3 説明可能な機械学習としての評価

## 生成したキャプションは予測の説明として機能

するか？ 生成したキャプションが正確でなければ 説明として不十分である. 表 5 に生成と真のキャプ ションの文字列の重なりによる各指標値を示す. 上限値は MSCOCO [22] を用いた教師あり事前学習を 行なった CNN-LSTM モデルである [23]. LIDE は小規模な CUB データセットのみを訓練データに用い ているが，上限值と比較しても METEOR で 2.0 ポイ ント，ROUGE で 3.3 ポイントの下落に留まってお り，品質の高いキャプションが生成できている。

次に，生成したキャプションが正しい・誤ってい るときは分類結果も正しい・誤っていることがモデ ルの説明と分類結果の一貫性の観点からは望まし い.そこで，キャプションの評価值と画像分類の 正否の関係を調査したところ，正の相関があった。 LIDE からテキストエンコーダを除き画像表現のみ で分類させた場合（LSL 相当）の相関値は低下する表 5 生成キャプションの評価値と分類結果との相関. $\dagger: p<0.1, *: p<0.05$, ** $: p<0.01$

ことから，LIDE におけるテキストエンコーダおよ び特徴融合モジュールの導入が説明可能性に大きく 貢献していることが分かる.

なお本実験では，先行研究との比較のために画像 エンコーダの構造と訓練用画像データを制限した. これらの制限を除くことで，説明可能な機械学習モ デルとしての性能は向上すると考えられる。

キャプション生成の課題はなにか？ キャプショ ンの出力例を図 2 に示す.モデルは鳥の特徵を捉え てキャプションを生成している一方で，構文が類似 しており，言及する部位とその色だけが異なるよう な画一的なキャプションになっている。特に 2 枚目 の画像は 'red face' のような珍しい特徴を持ってい るが，生成したキャプションは言及できていない。多様なキャプションの生成が今後の課題である.

図 2 生成事例。

## 5 おわりに

本研究は，few-shot 画像分類問題を題材に，機械学習モデルが新規の概念を自然言語の説明から獲得 し，またモデルの挙動を自然言語によって説明する ことに取り組んだ。本研究の貢献を以下に示す.

本研究の独自性. 提案手法の LIDE はテキスト デコーダによる説明の生成と，テキストエンコーダ による説明の入力によって few-shot 画像分類の性能 を改善する初めての研究である。

本研究の重要性. 自然言語の説明から概念を学習し，また概念を自然言語によって説明すること は，人には可能であるが人工知能にはまだ難しい領域のひとつである. 本研究は人と人工知能の共生社会の実現に向け，人と同じように学び説明する機械学習モデルの開発に貢献し得ると考える。

## 参考文献

[1] Sahil Chopra, Michael Henry Tessler, and Noah D Goodman. The first crank of the cultural ratchet: Learning and transmitting concepts through language. In CogSci, pp. 226-232, 2019.

[2] Swaroop Mishra, Daniel Khashabi, Chitta Baral, and Hannaneh Hajishirzi. Cross-task generalization via natural language crowdsourcing instructions. arXiv preprint arXiv:2104.08773, 2021.

[3] Hui Liu, Qingyu Yin, and William Yang Wang. Towards explainable nlp: A generative explanation framework for text classification. In ACL, pp. 5570-5581, 2019.

[4] Jake Snell, Kevin Swersky, and Richard Zemel. Prototypical networks for few-shot learning. In NIPS, Vol. 30, pp. 4077-4087, 2017

[5] Jesse Mu, Percy Liang, and Noah Goodman. Shaping visual representations with language for few-shot classification. In ACL, pp. 4823-4830, 2020.

[6] Mohamed Afham, Salman Khan, Muhammad Haris Khan, Muzammal Naseer, and Fahad Shahbaz Khan. Rich semantics improve few-shot learning. arXiv preprint arXiv:2104.12709, 2021.

[7] Kyunghyun Cho, Bart Merrienboer, Caglar Gulcehre, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using rnn encoderdecoder for statistical machine translation. In EMNLP, pp. 1724-1734, 2014.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008, 2017.

[9] Jacob Andreas, Dan Klein, and Sergey Levine. Learning with latent language. In NAACL-HLT, pp. 2166-2179, 2018.

[10] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[12] Mike Schuster and Kaisuke Nakajima. Japanese and korean voice search. In ICASSP, pp. 5149-5152, 2012.

[13] Yan Wang, Wei-Lun Chao, Kilian Q Weinberger, and Laurens van der Maaten. Simpleshot: Revisiting nearestneighbor classification for few-shot learning. arXiv preprint arXiv:1911.04623, 2019.

[14] Catherine Wah, Steve Branson, Peter Welinder, Pietro Perona, and Serge Belongie. The caltech-ucsd birds-200-2011 dataset. 2011.

[15] Scott Reed, Zeynep Akata, Honglak Lee, and Bernt Schiele. Learning deep representations of fine-grained visual descriptions. In CVPR, pp. 49-58, 2016.

[16] Elizaveta Levina and Peter Bickel. Maximum likelihood estimation of intrinsic dimension. In NIPS, Vol. 17, 2005.

[17] Laurent Amsaleg, Oussama Chelly, Teddy Furon, Stéphane Girard, Michael E. Houle, Ken-ichi
Kawarabayashi, and Michael Nett. Estimating local intrinsic dimensionality. In KDD, p. 29-38, 2015.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[19] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization@ACL, pp. 65-72, 2005.

[20] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out@ACL, pp. 74-81, 2004.

[21] Dong Hoon Lee and Sae-Young Chung. Unsupervised embedding adaptation via early-stage feature reconstruction for few-shot classification. In ICML, Vol. 139, pp. 60986108, 2021.

[22] TY Lin, M Maire, S Belongie, J Hays, P Perona, D Ramanan, P Dollar, and CL Zitnick. Microsoft coco: Common objects in context. In ECCV, pp. 740-755, 2014.

[23] Tseng-Hung Chen, Yuan-Hong Liao, Ching-Yao Chuang, Wan-Ting Hsu, Jianlong Fu, and Min Sun. Show, adapt and tell: Adversarial training of cross-domain image captioner. In ICCV, pp. 521-530, 2017.

[24] Sachin Ravi and Hugo Larochelle. Optimization as a model for few-shot learning. In ICLR, 2017.

[25] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[26] Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan, Edward Yang, Zachary DeVito, Zeming Lin, Alban Desmaison, Luca Antiga, and Adam Lerer. Automatic differentiation in pytorch. In Autodiff@NIPS, 2017.

[27] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In ACL: System Demonstrations, pp. 38-45, 2020.

[28] Steven Bird, Ewan Klein, and Edward Loper. Natural Language Processing with Python. O'Reilly Media, Inc., 2009.

[29] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, pp. $1-67,2020$.

## A Few-shot 画像分類の詳細

$N$-way $K$-shot 画像分類は，データから $N$ クラス・ $K$ サポート，M クエリをサンプリングすることで 1 タスクを作成する。 $N$-way $K$-shot 画像分類の訓練時は，複数の $N$ クラス分類タスクをバッチサイズ 個独立にサンプリングして同時に学習する episodic training [24] を行う. テスト時では複数の $N$ クラス 分類タスクにおける平均性能を評価する。

## B 実験設定の詳細

## B. 1 実装

実験には NVIDIA Quadro RTX 8000 (48GB) GPU 1 枚を用いた. ハイパーパラメータを表 6 に示 す. 最適化手法には Adam [25] を用いた。実装には PyTorch [26] と Transformers [27] を用いた. ストップ ワードの定義には NLTK [28] を用い， 'bird’を追加 した. 画像の前処理及び画像エンコーダの構成は先行研究 [5] と同一である. トークナイザとテキスト エンコーダは BERT-base-uncased を用いた. テキス トデコーダは事前学習済みエンコーダデコーダであ る T5-base [29] のデコーダと同じ構成としたが，事前学習済みパラメータは用いなかった。

## B. 2 局所内在次元の推定

表 4 に示した局所内在次元は，データ点 $x$ の近傍 でのデータ多様体の次元を示す. 局所内在次元は最尤法を用いて

$
\operatorname{LiD}(x)=-\left.\{\frac{1}{n_{n n}} \sum_{i=1}^{n_{n n}} \log \left(\frac{r_{i}(x)}{r_{n_{n n}}(x)}\right)\right.\}^{-1}
$

と推定できる. ここで， $n_{n n}$ は近傍数であり，既存研究同様に 20 と設定した. $r_{i}$ は点 $x$ とその第 $i$ 近傍点のユークリッド距離である．評価実験において は，テストデータ点における局所内在次元の平均を 推定値とした.

## B. 3 一貫性の評価

表 5 では生成したキャプションの正確さと画像分類の予測の正確さの相関を調査するため，Spearman の順位相関係数を用いた. テストデータ 2953 枚に 対してキャプション生成を行い，それぞれの指標で キャプションを評価した. キャプション評価値の昇順でデータを 30 のビンに分割し，ビンごとに画像分類の平均精度を求めることで，相関を調べた。


# 複数映像の抽象化を要するキャプション生成

高橋力斗 Chu Chenhui 黒橋禎夫
京都大学情報学研究科
\{r-takahashi, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

本研究では，新たな映像キャプション生成タスク として抽象的映像キャプション生成を提案する。抽象的キャプション生成は，複数の映像を入力とし て，それらの映像全てに共通する内容を説明する文 を生成するタスクである。このタスクでは，モデル は複数の映像に含まれる情報を抽象化し表現するこ とが求められる。提案タスクのための新たなデータ セットを構築し，モデルによる実験を行った．実験 の結果，抽象的キャプション生成タスクは挑戦的な タスクであることが分かった.

## 1 はじめに

映像キャプション生成は，単一の映像を入力とし て，映像の説明文を生成するタスクである [1][2]. このタスクでは，モデルは与えられた映像に対して 詳細かつ正確な説明を出力することが求められる。

本研究では新たな映像キャプション生成タスクと して，抽象的映像キャプション生成を提案する. 抽象的映像キャプション生成は，複数の映像を入力と して，それらの映像全てに共通する内容を説明する 文を生成するタスクである.

抽象的映像キャプション生成タスクでは，モデル は複数の映像に含まれる情報を抽象化し表現する ことが求められる。 したがって，抽象的映像キャプ ション生成タスクはモデルの情報抽象化能力を測 る指標となることが期待される。また，抽象的映像 キャプション生成タスクによってモデルが学習した 抽象的な表現は，クラスタリングされた動画群に対 する自動ラベル付与や，テキスト・動画をクエリと した動画検索などに応用できる。

本研究では抽象的映像キャプション生成データ セットの構築及びそのデータセットを用いた実験 を行った。データセットの構築では，既存の映像 キャプションデータセットをもとにして，動画検索・テキスト含意認識・クラウドソーシングを用い

図 1 構築したデータセットの一例.

て構築を行った. 図 1 に構築したデータセットの一例を示す．実験では，構築したデータセットを用い てモデルを訓練し，抽象的映像キャプション生成を 行った. モデルに複数の動画を入力するための工夫として，動画特徴量を類似度で重み付けして結合し，モデルに入力した. 実験の結果，抽象的映像 キャプション生成は挑戦的なタスクであることが分 かった.

## 2 関連研究

ここ数年で，映像キャプション生成に利用でき るデータセットが数多く提案されている。分割さ れていない長い動画に対して複数のキャプション を付与しているデータセットとして, ActivityNet Captions [3]，YouCook2 [4] などがある。 10 秒程度に 分割された短い動画とキャプションを収集した大規模データセットとして, HowTo100M [5], VATEX [6], MSR-VTT [7], MSVD [8] が有名である。本研究では,抽象的映像キャプション生成のデータセットを構築 する際に VATEX データセットを利用した。

動画と言語を繋ぐ埋め込みモデルとして CLIP4Clip [9] がある. CLIP4Clip は動画埋め込みと テキスト埋め込みを同じ表現空間で学習するモデル である。動画の各フレームの画像と動画キャプショ ンを同時に入力し, 出力する動画特徴量とテキスト

図 2 データセットの構築手順.

特徵量が類似するようにモデルを訓練する．本研究 では CLIP4Clip をデータセット構築の際に用いる動画埋め込みモデルとして利用した。

## 3 データセットの構築

抽象的映像キャプション生成は既存の映像キャプ ションデータセットで訓練・評価することができな いため，新たにデータセットを構築した. 図 1 に構築したデータセットの一例を示す. 構築したデータ セットは次のもので構成される.

・動画グループ: 2-6 件の動画が含まれる動画群

・手動キャプション: 人手によって付与したキャ プション

・シードキャプション: 自動的に付与したキャプ ション

・シードキャプションとの一致度スコア
- 自動スコア
- 手動スコア

キャプションは動画グループ内の全ての動画に共通 する内容を説明する英文である．シードキャプショ ンとの一致度スコアは動画グループ内の各動画に 対して付与されるスコアであり，シードキャプショ ンと動画の内容一致度を表すスコアである. シード キャプションとの一致度スコアには，自動スコアと 手動スコアがある.

手動キャプションはデータセットの正解ラベルと しての利用を想定している. シードキャプション及 び各動画に対応するスコアは，モデルの訓練及びテ スト時に利用することを想定している．例えば，正解ラベルである手動キャプションに加えて，シード キャプションの内容をスコアで重み付けして学習さ せることで，モデルに抽象的キャプション生成をよ り効率的に学習させることが期待できる. また, 手動スコアが高いシードキャプションについては，テ スト時の正解ラベルとしても利用できる.
データセットの構築手順を図 2 に示す. 既存の映像キャプションデータセットである VATEX データ セットを使用し，いくつかの処理を行なってデータ セットを構築した. 最初に, VATEX データセット 内の動画に対して類似動画検索を行うことで，複数動画とシードキャプションからなるデータセット を構築した. その後，テキスト含意認識とクラウド ソーシングを用いてデータセットにシードキャプ ションとの一致度スコア及び手動キャプションを付与した。また，VATEX データセットにおける訓練 データ・検証データ・テストデータに対してそれぞ れ処理を行ったものを，構築したデータセットの訓練データ・検証データ・テストデータとした. 以下 でデータセット構築のために行った処理の詳細を述 べる.

## 3.1 類似動画検索によるデータセット構築

既存の映像キャプションデータセットである VATEX データセットに対して類似動画検索を行い，動画グループに対してシードキャプションを付与し たデータセットを構築した。類似動画検索を用いて データセットを作る手順は次のとおりである.

1. 動画埋め込みモデルを用いて, VATEX データ セット内の動画の特徴量を抽出する。
2. $\mathrm{k}$ 近傍法を用いて，検索元となる動画に類似す る動画を VATEX データセット内から上位 6 件集めて一つの動画グループとする.

3. 検索元の動画に付与されていた英語キャプショ ン 10 件の中で最も語数が少ないものをシード キャプションとし，動画グループに付与する.

動画埋め込みモデルには CLIP4Clip [9]を用いた. CLIP4Clip による埋め込みでは，動画全体を一つの 特徴べクトルに変換する。したがって，動画の特徴 ベクトルの集合に対して $\mathrm{k}$ 近傍法を適用することで 類似動画を検索することが可能である. $\mathrm{k}$ 近傍法を
実行するツールには Faiss ${ }^{1)}$ [10] を用いた.

## 3.2 シードキャプションとの一致度スコア の自動付与

テキスト含意認識を用いた処理によって，動画グ ループ内の各動画に対してシードキャプションと の一致度スコアを自動的に付与した. シードキャプ ションは，元々は動画グループ内の動画とは異なる 動画に対して付与されていた説明文である. そのた め, シードキャプションは動画グループ内の動画の 内容と食い違っている可能性がある. 動画に対して スコア付けを行うことで，シードキャプションに合 わない動画を動画グループから除外することができ る.また，モデルの訓練時にシードキャプションの 内容を用いる場合，自動スコアに応じて重み付けを した学習を行える。

テキスト含意認識は，二つのテキスト間の含意関係を判定するタスクである。 あるテキストが正しい と仮定した場合に，もう一つのテキストが正しいと 言えるかを判定する. 動画グループ内のある動画に VATEX データセット内で元々付与されていたキャ プションが正しいと仮定した場合にシードキャプ ションが正しいと言えるならば，シードキャプショ ンはその動画の内容を正しく説明していると考えら れる。

テキスト含意認識を用いて動画に対して自動スコ アを付与する手順は次の通りである。

1. シードキャプション $c^{\prime}$ と, 動画グループ内の動画に VATEX データセットで元々付与されてい たキャプション $c_{1}, c_{2}, \ldots, c_{10}$ を準備する.

2. テキスト含意認識モデルを用いてキャプション $c^{\prime}$ とキャプション $c_{1}$ の含意関係を判定する. キャプション $c_{2}, \ldots, c_{10}$ それぞれについても同様の操作を行う.

3. テキスト含意認識で含意関係にあると判定され たキャプションの数を動画のスコアとする.

テキスト含意認識を行うモデルには，テキスト含意認識で高い性能が報告されている SemBERT [11]を 用いた. 全ての動画に対して自動スコアを付与した 後に，自動スコアが 0 である動画は動画グループか ら排除した。また，動画の排除によって動画グルー プ内の動画数が 1 件以下となったデータはデータ セットから排除した。

## 3.3 シードキャプションとの一致度スコア の手動付与

クラウドソーシングを用いて，動画グループ内の 各動画に対してシードキャプションとの一致度ス コアを手動で付与した. 手動でのスコア付けの目的 は，モデルの訓練・テスト時に利用できる情報の付与である. モデルの訓練時にシードキャプションの 内容を用いる場合，人手によって付与したスコアに 応じて重み付けした学習を行える。また，手動スコ アが高い動画が多く含まれるシードキャプションに ついては，テストデータの正解ラベルとしての利用 も期待できる.

シードキャプションと動画の組をクラウドワー カーに見せ，シードキャプションが動画を正しく説明しているかどうかを Yes,No で回答してもらった. シードキャプションと動画の組一つにつき 3 名のク ラウドワーカーに回答してもらい，Yes と回答した クラウドワーカーの人数を手動スコアとした.

シードキャプションは複数の動画の共通内容を説明する抽象的なキャプションであると想定してい る.この想定を考慮し，シードキャプションが動画 の一部分のみを説明している場合でも Yes と答え， シードキャプションが動画内容と食い違う場合のみ No と回答するようクラウドワーカーに指示した.

## 3.4 手動キャプション付与

クラウドソーシングを利用して， 3.1 節で準備し た動画グループに対して手動でキャプション付与 を行った. 手動で動画にキャプションを付与する目的は，シードキャプションよりもより信頼性の高い キャプションを集め，データセットの正解ラベルと して利用することである.

クラウドワーカーにデータセット内の動画グルー プを提示し，全ての動画に共通する内容を説明する 抽象的なキャプションを記述してもらった。キャプ ションの信頼度や統一性を高めるため，次のような ルールを定めた.

・動画に現れていない内容を補完したキャプショ ンを書かない.

・複数の動画の内容を列挙しただけのキャプショ ンを書かない.

・動画に現れる人や物の数を合計したキャプショ ンを書かない。
表 1 構築したデータセットの統計.

## 3.5 データセットの統計

構築したデータセットの統計を表 1 に示す. キャ プション数は，シードキャプション及び手動キャプ ションの数の合計である. 動画数は, データセット の各動画グループに含まれる動画数を重複を含めて 合計したものである. 構築したデータセットの詳し い統計及び分析については付録 A に記す。

## 4 実験

## 4.1 実験設定

構築したデータセットを用いて，抽象的映像キャ プション生成の実験を行った. 本実験では， 2 件の 動画のみを入力としてキャプションを生成した. データセットの正解ラベルは手動キャプションと した.

## 4.2 提案モデル

抽象的キャプション生成を行うモデルには，双方向 LSTM をエンコーダ, 単方向 LSTM をデコーダと する Encoder-Decoder モデルを用いた。また，動画の 埋め込みには行動認識モデルとして有名な I3D [12] を使用した。

モデルに対して複数の動画を同時に入力するため に，各動画の各フレームの特徴ベクトルをコサイン 類似度で重み付けし, 各フレームごとに結合したも のをモデルの入力とした. 図 3 に入力する動画が 2 件の場合の前処理の説明図を示す. 前処理の具体的 な手順は次のとおりである。

1. 一つ目の動画特徵量 $R^{(1)}$ と, 二つ目以降の動画特徵量 $R^{(2)}, R^{(3)}, \ldots$ の各フレームについて 特徴べクトルの類似度を計算し, 類似度行列 $A_{12}, A_{13}, \ldots$ を作成する。類似度の計算にはコサ イン類似度を用いる。

2. 類似度行列と動画特徴量の積 $R^{(2)}=A_{12} \cdot R^{(2)}$ を計算する。 $R^{\prime(3)}$ 以降についても同様に計算 する.
3. $R^{(1)}, R^{(2)}, R^{\prime(3)}, \ldots$ を同じフレームについて結合 し，新たな動画特徴量 $V$ とする。

図 3 動画特徴量の前処理（二つの動画の場合）

表 2 実験で得られた各種スコア. 参考として VATEXに よる映像キャプション生成のスコアを記載している.

各動画の特徴量は 1,024 次元の特徴ベクトルの時系列データで表現される. 入力する動画が 2 件の場合，前処理によって得られる動画特徴量 $V$ は動画特徴量 $R^{(1)}$ と同様のフレーム数を持ち, 各フレームの 特徴ベクトルの次元は 2,048 である.

## 4.3 実験結果

実験結果を表 2 に示す. Abstractive と書かれた行 には，抽象的映像キャプション生成を行わせた結果得られた各種スコアを記している. VATEXと書か れた行には，VATEX の論文中で示されている，今回 の実験で用いたモデルと同様の構造を持つモデルで の VATEX データセットを用いた映像キャプション 生成の各種スコアを記している。

VATEX データセットを用いた映像キャプション 生成と比べて, 抽象的映像キャプション生成のスコ アが顕著に低い.この結果から, 抽象的映像キャ プション生成が挑戦的なタスクであることが分 かった.

## 5 おわりに

本稿では抽象的映像キャプション生成のデータ セット構築及び実験について述べた。データセット の構築では，VATEX データセットをもとに動画検索，テキスト含意認識及びクラウドソーシングを用 いて構築を行った. 実験では，モデルに対して複数 の動画を入力し, 抽象的キャプション生成を行っ た. 実験結果から，抽象的キャプション生成が挑戦的なタスクであることが分かった.

今後は抽象的映像キャプション生成タスクを解 くより良いモデルを提案する予定である。具体的に は，モデルに複数のエンコーダを用いたり，シード キャプションや自動スコア・手動スコアを利用して モデルを訓練することで精度向上が期待できる.

## 謝辞

本研究は富士通株式会社の助成を受けたもので ある.

## 参考文献

[1] Alok Singh, Thoudam Doren Singh, and Sivaji Bandyopadhyay. Nits-vc system for vatex video captioning challenge 2020. arXiv preprint arXiv:2006.04058, 2020.

[2] Ziqi Zhang, Yaya Shi, Chunfeng Yuan, Bing Li, Peijin Wang, Weiming $\mathrm{Hu}$, and Zheng-Jun Zha. Object relational graph with teacher-recommended learning for video captioning. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 1327813288, 2020.

[3] Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, and Juan Carlos Niebles. Dense-captioning events in videos. In Proceedings of the IEEE international conference on computer vision, pp. 706-715, 2017.

[4] Luowei Zhou, Chenliang Xu, and Jason J Corso. Towards automatic learning of procedures from web instructional videos. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[5] Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. Howto100m: Learning a text-video embedding by watching hundred million narrated video clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 2630-2640, 2019.

[6] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4581-4591, 2019.

[7] Jun Xu, Tao Mei, Ting Yao, and Yong Rui. Msr-vtt: A large video description dataset for bridging video and language. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 5288-5296, 2016.

[8] David Chen and William B Dolan. Collecting highly parallel data for paraphrase evaluation. In Proceedings of the 49th annual meeting of the association for computational linguistics: human language technologies, $\mathrm{pp}$. 190-200, 2011.

[9] Huaishao Luo, Lei Ji, Ming Zhong, Yang Chen, Wen Lei, Nan Duan, and Tianrui Li. Clip4clip: An empirical study of clip for end to end video clip retrieval. arXiv preprint arXiv:2104.08860, 2021.

[10] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with gpus. arXiv preprint arXiv:1702.08734, 2017.

[11] Zhuosheng Zhang, Yuwei Wu, Hai Zhao, Zuchao Li, Shuailiang Zhang, Xi Zhou, and Xiang Zhou. Semanticsaware bert for language understanding. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 9628-9635, 2020.

[12] Joao Carreira and Andrew Zisserman. Quo vadis, action recognition? a new model and the kinetics dataset. In pro- ceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6299-6308, 2017.

## A データセットの統計及び分析

本節には，抽象的映像キャプション生成のために 構築したデータセットの統計・分析を記す. 構築し たデータセットの動画件数ごとのデータサイズを表 3 に示す. 訓練データ・検証データ・テストデータ のいずれにおいても，動画を 2 件含むデータが最も 多い。また，動画の件数が多いデータほど，データ サイズが少ない傾向にある.

自動付与・手動付与されたスコアに対する動画数 の内訳をそれぞれ表 4 ，表 5 に示す. 自動スコアに 関しては，いずれのデータについてもスコアが 1 の 動画が最も多く，スコアが高い動画ほど数が少ない 傾向にある．手動スコアに関しては，いずれのデー タについてもスコアが 2 以上の動画がデータ全体 の 95\%以上を占めている. 手動スコアの内訳から， シードキャプションは総じて動画の内容を正しく説明していると考えられる。

表 3 データサイズの内訳（動画グループ内の動画数）.

表 4 動画数の内訳（自動スコア）.

表 5 動画数の内訳（手動スコア）.


# 抽象度を制御可能な エンティティレベルの画像キャプション生成

加藤駿弥 Chenhui Chu 黒橋 禎夫
京都大学
\{s-kato, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

画像キャプション生成は近年盛んに研究されてき たが, 先行研究は正確性, 多様性, 差別化を重視し, 抽象度は軽視してきた. 本研究では, Inverse Document Frequency (IDF) とエンティティレベルの含意関係認識を用いて, 抽象度を制御可能なエンティティレべ ルの画像キャプション生成手法を提案する. 含意関係認識を用いて抽象度を評価したところ, 先行研究 と比べ, 提案手法は抽象度をより制御可能になり, 具体的なキャプションの生成において $15.7 \%$ の精度向上が確認された。

## 1 はじめに

画像キャプション生成は与えられた画像を正し く説明する分を生成するタスクであり, 物体, 物体間の関係などを正しく理解する必要がある. また,画像全体のキャプションを生成する研究 [1] だけで なく, Dense Captioning のようにエンティティに対し てキャプションを生成する研究 $[2,3,4]$ も行われて いる.

従来のキャプション生成に関する研究は,より正確もしくは多様なキャプションを生成することに焦点を当てており, 抽象度の制御を軽視してきた. しか し, 人間は視覚情報を言語化するとき,物体認識を行 うだけではなく, 常識などをもとに認識した物体や 物体間の関係を具体的な概念と結びつけて形容す る. 例えば, 図 1 のようにスーツを着てネクタイを締 め, 革靴を履いている男性は, 常識をもとに「男性」 だけではなく「ビジネスマン」という概念と結びつ けられる。

本研究では, エンティティレベルにおける物体認識のようなより抽象的なキャプションと常識推論が いるより具体的なキャプションの生成を制御する ことを目指す. そのために, IDF と含意関係認識を

図 1 抽象的,具体的なキャプションの例

用いた抽象度の制御するためのデータセットの構築手法を提案する. 提案手法の概要を図 2 に示す.具体的には，まず, エンティティには複数のキャプ ションが付与されており，これを 1 つの文書とみな してキャプション生成に含まれる uni-gram の IDF を計算する。次に，あるエンティティにつけられた 複数のキャプションの中で, IDF とその他のキャプ ションに対して含意関係である割合の和が高いもの を Fine(具体的), そうでないものを Coarse(抽象的) で あるとラベル付けすることで, 各エンティティにお ける Coarse/Fine なキャプションを生成するための データセットを構築する。

実験の結果, 先行研究と比べてより抽象度を制御可能になったことを示した. そして, 先行研究では単一エンティティのみで学習していたが, 本研究では 複数エンティティも含めて学習させ, 単一エンティ ティと同様に抽象度を制御可能になったことを示 した.

## 2 前提知識

エンティティレベルの画像キャプション生成に は, $\mathrm{Li}$ ら [5] の研究がある. まず, $\mathrm{Li}$ ら [5] はエンティ ティレベルの多様なキャプション生成というタス クを提案した.このタスクはエンティティのキャプ ションを生成するタスクで, 複数の正解キャプショ ンがある点で Dense Captioning とは違う.

また, ターゲットエンティティと同じ画像に含ま れる他のエンティティ (neighbors) の情報を考慮す

図 2 提案手法の概要

図 3 E-C2F のアーキテクチャ

るための E-Attn という新たな Attention 機構を提案 し，それを組み込んだ E-C2F というモデルを提案し た. E-C2F のアーキテクチャを図 3 に示す. E-C2F は 2 階層構造のモデルであり, Coarse と Fine という 2 つの抽象度の違うキャプションを生成できる.この 2 階層構造により,データセットのキャプションを Coarse と Fine に分割する必要があるが, Li ら [5] は キャプションごとの bi-gram の IDF の和を用いて分割した. E-C2F は提案されたエンティティレベルの 多様なキャプション生成タスクにおいて SOTAを達成した. 注意点として Li ら [5] は複数エンティティ はデータセットから除いた.

## 3 提案手法

## 3.1 IDF と含意関係認識を用いた分割

先行研究には以下の 3 つの問題点がある.

・Li ら [5] は, 同一エンティティに付与されている キャプションからそれらのペアを全通り作り， ペアの中で bi-gram の IDF の和が小さいキャプ ションを Coarse, 大きいキャプションを Fine と
した. しかしこの手法は, あるペアでは Coarse となったキャプションが, 別のペアでは Fine と なってしまうことがあり,データセットに一貫性がない.

・IDF の和で計算しているため, キャプションの 語数が長いほどスコアが高くなる.

・bi-gram の IDF を計算しているため, キャプショ ンが 1 単語だとスコアが 0 となる.

これらを改善するため, uni-gram の IDF と含意関係認識を用いた Coarse, Fine の分割手法を提案する.

## 3.1.1 IDF

先行研究では, エンティティに付与されている キャプションを 1 つの文書とみなし, bi-gram の 和を用いて Coarse, Fineを分割したが, 本研究では uni-gram のIDFを用いる.

## 3.1.2 含意関係認識

キャプションの抽象度の高低を予測するため,含意関係認識を用いる. 既存の含意関係認識モ デルは文で事前学習されているため, エンティ ティのデータセットでの fine-tuning が必要であ る. 本研究では, エンティティの含意関係認識 データセットとしてChu ら [6] のデータセットを 用いる.このデータセットは 2 つのキャプショ ン (pharse1, phrase2) を alternation, forward entailment, reverse entailment, equivalence, independence の 5 クラス に分類したが, NLI は neutral, entailment, contradiction の3クラスであるのでそのまま fine-tuning できない. ここでは, 表 1 のようにマッピングを行った. 表中の Forward はデータセットの phrase1 を前提, phrase2 を 仮説にしたもので, Reverse は逆である.

図 4 複数エンティティの定義 (緑: ターゲットエンティ ティ,ピンク: neighbors)

## 3.1.3 Coarse, Fine の分割

まず Chu ら [6] がアノテーションしたデータにラ ベルを付与する.アノテーションしてないデータに ついては, fine-tuning した RoBERTa でラベルを付与 する.ここで, Chu らの手法と同様に stop words は除外する. 次に, 含意関係認識において,キャプション が前提のとき, 含意関係となる割合を計算する. さら に, uni-gram の IDF を計算し, キャプション中の単語 の IDF の最大値をIDF のスコアとする.ここで含意関係認識と IDF の寄与が同一になるようにIDF のス コアを正規化する. 最後に含意関係の割合とIDF の スコアの和を計算する。

## 3.2 複数エンティティのキャプション生成

次に複数エンティティに焦点を当てる. $\mathrm{Li}$ ら [5] は複数エンティティはデータセットから除いてい る. 本研究では, 図 4 のように, ターゲットエンティ ティを複数の bounding box 結合したものと定義し， neighbors はその他のエンティティにターゲットの複数エンティティを加えたものと定義する。

## 4 実験

## 4.1 実験設定

本研究では, 画像からのエンティティの特徴べク トル抽出は ResNet-152[7] を用いた. データセット は Flickr30k Entities[8]を用いた. Flickr30k Entitiesに表 2 データセットの統計と fine-tuning の結果

は約 3 万枚の画像があり,それぞれの画像に 5 つの キャプションが付与されている. そしてキャプショ ン中のフレーズと画像中のエンティティが紐づけ られている. エポック数は 40 で統一し, 他の設定は Li ら [5] に従った. 本研究では正確性, 多様性, 抽象度の評価をした. 正確性の評価指標として, BLEU, METEOR, ROUGE_L, CIDEr を用いた. 多様性の評価指標として, LSA, self-CIDEr, n-gram, DIV-nを用いた.抽象度の評価指標として, 含意関係の割合を用いた。 モデルには 4.2 で fine-tuning した RoBERTaを用いた.

## 4.2 含意関係認識のための fine-tuning

含意関係認識モデルには SNLI[9], MNLI[10], FEVER-NLI[11], ANLI (R1, R2, R3)[12] で事前学習済 み RoBERTa-Large ${ }^{1)}$ を用いた. データセットの統計 と fine-tuning した結果が表 2 である. fine-tuning 前の RoBERTa の精度は $67 \%$ であったが, fine-tuning によ り,テストデータにおいて $91 \%$ の精度を達成した。

## 4.3 単一エンティティのキャプション生成

Coarse, Fine の数をおおよそ等しくするため, 本研究では提案手法の閾値を 0.55 とした. まず正確性,多様性の評価を行った. 単一エンティティのキャプ ション生成の正確性と多様性の実験結果を表 3 に示 す.データセットが異なるので直接的な比較はでき ない. 提案手法により, 正確性は少し低下したが, 多様性は非常に向上した. 提案手法の Fine の正確性が 低い原因として，より具体的なキャプションを生成 するタスクの難易度が高いことが考えられる。

次に抽象度の評価を行った. E-C2F の生成した Fine のキャプションと, 提案手法の生成した Fine の キャプションに対して含意関係認識を適用し, それ ぞれのキャプションを前提, 仮定としたときに含意関係である割合を比較した. E-C2F から生成された キャプションが前提で提案手法から生成されたキャ プションが仮定のとき,含意関係となるものは $3.5 \%$ であったのに対し, 逆は $19.2 \%$ であった. よって提案手法により，より具体的なキャプションを生成でき

1) https://huggingface.co/ynie/roberta-large-snli_mnli_ fever_anli_R1_R2_R3-nli
表 3 正確性と多様性の結果

表 4 生成されたキャプションの例

ることが示された

生成されたキャプションの例を表 4 の左に示す.先行研究と比較して, より抽象的, 具体的なキャプ ションを生成することを達成した。

## 4.4 複数エンティティのキャプション生成

Coarse, Fine の数をおおよそ等しくするため, 本研究では提案手法の閾値を 0.55 とした. まず正確性,多様性の評価を行った. 複数エンティティのキャプ ション生成の正確性と多様性の実験結果を表 3 に示 す. 単一エンティティに比べ, 多様性は近い值を得て いるが, 正確性は低下した. 原因として複数エンティ ティのキャプション生成のほうが考慮する情報が多 く, より難易度が高いことが考えられる. また単一エ ンティティに比べ, データが少ないので語彙数が少 なくなっている.

次に抽象度の評価を行った. E-C2F は複数エン ティティをデータセットから除いており, 単一エン ティティのような比較ができないので, 生成され た Coarse, Fine のキャプションで比較実験を行った. Coarse が前提で Fine が仮定のとき,含意関係となる ものは 3.9\%であったのに対し, 逆は 47.2\%であった.単一エンティティではあるが, E-C2F で同様の実験 を行ったところ, Coarse が前提で Fine が仮定のとき，含意関係となるものは $7.1 \%$ であっのに対し, 逆は 23.6\%であった. よって提案手法により, E-C2F に比 べ, 抽象度を制御可能であることが示された.

生成されたキャプションの例を表 4 の右に示す.先行研究と比較はできないが, 抽象的, 具体的なキャ プションを生成することを達成した。

## 5 おわりに

本研究では, IDF と含意関係認識を用いて抽象度 を制御可能なエンティティレベルのキャプション生成手法を提案し, 従来の手法より多様性を向上させ, より具体的なキャプションを生成可能にし, 抽象度 の制御を可能にした. またエンティティの抽象度を 制御可能にすることで, 常識推論の導入, そして画像全体の深い理解に繋がると考える. 今後の展望とし て, 本研究の手法を画像全体に拡張することが挙げ られる。

## 謝辞

本研究は富士通株式会社の助成を受けたもので ある。

## 参考文献

[1] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, Silvia Cascianelli, Giuseppe Fiameni, and Rita Cucchiara. From show to tell: A survey on deep learning-based image captioning. In arXiv, 2021.

[2] Justin Johnson, Andrej Karpathy, and Li Fei-Fei. Densecap: Fully convolutional localization networks for dense captioning. In CVPR, 2016.

[3] Linjie Yang, Kevin Tang, Jianchao Yang, and Li-Jia Li. Dense captioning with joint inference and visual context. In CVPR, 2017.

[4] Guojun Yin, Lu Sheng, Bin Liu, Nenghai Yu, Xiaogang Wang, and Jing Shao. Context and attribute grounded dense captioning. In CVPR, 2019.

[5] Linwei Li, Xiangyu Lin, Chenhui Chu, Noa Garcia, Yuta Nakashima, and Teruko Mitamura. Achieving entity-level diverse caption generation via attention over neighbors. Computer Vision and Image Understanding (under review).

[6] Chenhui Chu, Vinicius Oliveira, Felix Giovanni Virgo, Mayu Otani, Noa Garcia, and Yuta Nakashima. The semantic typology of visually grounded paraphrases. Computer Vision and Image Understanding, Vol. 215, No. 103333, 2022.

[7] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016.

[8] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer image-to-sentence models. In ICCV, 2015 .

[9] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In EMNLP, 2015.

[10] Samuel R. Bowman Adina Williams, Nikita Nangia. A broad-coverage challenge corpus for sentence understanding through inference. In NAACL, 2018.

[11] Yixin Nie, Haonan Chen, and Mohit Bansal. Combining fact extraction and verification with neural semantic matching networks. In AAAI, 2019.

[12] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Proceedings of the 58th annual meeting of the association for computational linguistics. In ACL, 2020.

## A 提案手法のスコアの例

提案手法のスコアの例を表 5 に示す.

表 5 提案手法のスコアの例