# 視覚翻訳言語モデルを用いた英日マルチモーダル機械翻訳

平澤寅庄 小町守
東京都立大学大学院
hirasawa-tosho@ed.tmu.ac.jp komachi@tmu.ac.jp

## 概要

本論文では、視覚翻訳言語モデル（Visual Translation Language Model; VTLM）が英日マルチモーダ ル機械翻訳に適応できるかどうかを検証する。事前学習には Conceptual Captions、マルチモーダ ル機械翻訳には Flickr30K Entities および Flickr30K Entities JP を使用した。実験の結果、VTLM で事前学習を行うことで、BLEUでおよそ 3 ポイントの 改善を達成した。一方で、機械翻訳の訓練事例が 豊富な場合には、事前学習を行わないモデルと 同程度の性能にとどまった。分析の結果、事前学習で獲得したサブワード分割器が機械翻訳の訓練事例を適切に分割できない例があることが判明した。コードおよび事前学習済みのモデルは https://github.com/toshohirasawa/VTLM_EnJa で公開している。

## 1 はじめに

マルチモーダル機械翻訳 (Multimodal machine translation; MMT）では、翻訳文を生成する際に原文 だけではなく、画像などの原文に紐付けられた非言語情報を用いる。画像や動画を持つマルチモーダル 対訳コーパスのリリースにより、様々なマルチモー ダル機械翻訳モデルが提案されている。

自然言語処理では近年、自己教師あり学習を用い て大規模な単言語コーパスで訓練されたニューラル 言語モデルを様々なタスクに応用する研究が盛んに 行われており、ニューラル言語モデルが獲得した言語や常識の知識が、各々のタスクに有用であること が示されてきた。機械翻訳でも言語モデルの利用が 盛んに研究されており、翻訳品質の向上に有用であ ることが示されている $[1,2]$ 。

また、対訳コーパスを用いた言語モデルの改善手法も提案されている。多言語の対訳コーパスを 使用して訓練された翻訳言語モデル（Translation Language Modeling; TLM）は、分類モデルや機械翻訳モデルの精度を向上させることが報告されてい る [3]。TLMをマルチモーダルな入力を取るように 拡張させた視覚翻訳言語モデル（Visual Translation Language Modeling）は、画像を用いる英独・英仏翻訳で翻訳品質を向上させている [4]。

本研究では VTLM が英日マルチモーダル翻訳で も適用可能かどうかを検証する。VTLM の事前学習 には画像・説明文のデータセットである Conceptual Captions [5] に、オンライン自動翻訳サービスで翻訳文を付与した疑似マルチモーダル対訳コーパスを、 マルチモーダル機械翻訳には画像つき英日対訳コー パスである Flickr30K Entities JP [6] を用いた。

実験の結果は大規模な疑似マルチモーダル対訳 コーパスで事前学習した VTLM が、英日マルチモー ダル機械翻訳に有用であることを示した。一方で、機械翻訳タスクの訓練事例が増えると、事前学習を 行わなず機械翻訳タスクに特化した機械翻訳モデル と同程度にとどまった。分析の結果、事前学習で獲得したサブワード分割器が必ずしも機械翻訳の訓練事例を適切に分割できているわけではないことが分 かった。

## 2 VTLM を用いた英日マルチモーダ ル機械翻訳

本研究では Caglayan et al. [4] の研究を英日マルチ モーダル機械翻訳に適用する。

## 2.1 VTLM の事前学習

VTLM では、cross-lingual に加え、cross-modal な 分散表現を獲得するように学習を行う。具体的に は、cross-lingual な分散表現を学習する Translation Language Modeling (TLM)を拡張し、マスクされ た画像特徵量のラベルを予測する masked region classification を行うことで、cross-modal な分散表現 を学習する。

VTLM はまず、 $m$ トークンの原文 $\mathbf{s}=\left[s_{1}, \ldots, s_{m}\right]$ 、
表 1 事前学習およびマルチモーダル機械翻訳モデルの訓練に使用したデータセットの事例数

$n$ トークンの翻訳文 $\mathbf{t}=\left[t_{1}, \ldots, t_{n}\right]$ および事前学習 された画像認識モデルにより抽出された $o$ 個の要素 を持つ画像特徵量 $\mathbf{v}=\left[v_{1}, \ldots, v_{o}\right]$ を結合し、入力 $\mathbf{x}$ とする：

$
\mathbf{x}=[\mathbf{v}: \mathbf{s}: \mathbf{t}]
$

訓練では $\mathbf{x}$ の要素のうち、ランダムに選択された 15\%がマスクされる。マスクに選択された原文・翻訳文の要素は TLM に倣い、 $80 \%$ は [MASK] トークン に置き換え、 $10 \%$ はランダムなトークンへの置き換 え、残り $10 \%$ は変更せずに保持する。同様に、マス クに選択された画像特徴量のうち、 $80 \%$ は [MASK] トークンの埋め込み表現に置き換え、10\% はランダ ムな埋め込み表現に置き換え、残り $10 \%$ は変更せず に保持する。

VTLM では、マスクされた入力 $\tilde{\mathbf{x}}$ から、マスクし た位置の要素 $\hat{\mathbf{y}}$ 予測するように学習を行う。

$
\mathscr{L}=\frac{1}{|\mathscr{X}|} \sum_{x \in \mathscr{X}} \log \operatorname{Pr}(\hat{\mathbf{y}} \mid \tilde{\mathbf{x}} ; \theta)
$

$x$ は全訓練データで、 $\theta$ は VTLM モデルのパラメー タである。

## 2.2 マルチモーダル機械翻訳モデルの学習

事前学習された VTLM の重みは、Transformer を ベースにしたマルチモーダル機械翻訳モデルの初期化に用いられる。この際、VTLM は Transformer decoderにある cross-attention 機構を持たないため、初期化対象のモデルの embedding 層、self-attention 層、feed-forward 層を初期化する場合にのみ使用 する。

初期化されたマルチモーダル機械翻訳モデルは、目的ドメインのマルチモーダル対訳コーパスを用い て追加の学習を行う。

## 3 実験設定

## 3.1 データセットと前処理

表 1 に実験で使用したデータセットの概要を示 す。実験ではそれぞれのモデルを 1 回訓練し、その表 2 Flickr30K Entities JP の結果。“B”は BLEU、“C”は COMET のスコアである。“—は事前学習を行わずに Flickr30K Entities JPのみで訓練した場合の結果である。太字は最高性能を示す。

結果を報告した。

事前学習用データ VTLM の事前学習には Conceptual Captions を用いた。Conceptual Captions は 画像と英語説明文で構成されるデータセットであ り、日本語翻訳文を含まない。本研究では、『みんな の自動翻訳@TexTra $』^{1)}$ を用いて英語説明文を日本語に翻訳し、擬似的なマルチモーダル対訳コーパス を作成した ${ }^{2}$ ) 。英語文は Moses 、日本語文は MeCab [7](IPA 辞書) を用いてそれぞれ単語分割を行った。 その後、BPE [8] を用いて、サブワード化した。BPE のサイズは 50,000 で、英語・日本語でサブワードを 共有した。

マルチモーダル機械翻訳マルチモーダル機械翻訳モデルの訓練・検証・評価には画像と英語説明文 で構成される Flickr30K Entities [9] およびその翻訳で ある Flickr30K Entities JP [6] を用いた。データの切 り分けは WMT 2018 の shared task に従い、訓練デー タ 29,000 事例、検証データ 1,014 事例、評価データ 1,000 事例に分割した。英語文および日本語文はそ れぞれ Moses および MeCab（IPA 辞書）を用いて単語分割を行った。また、サブワード分割には事前学習用データで学習したサブワード分割器を使用し た。評価には BLEU [10] および COMET [11] を使用 した。

## 3.2 機械翻訳モデル

MMT マルチモーダル機械翻訳モデルには Caglayan et al. [4] で使用されたものと同じものを使

1）「みんなの自動翻訳」は、国立研究開発法人情報通信研究機構の登録商標です (第 6120510 号)。「TexTra」は、国立研究開発法人情報通信研究機構の登録商標です（第 5398294 号)

2） 翻訳には汎用 NT モデルを用いた。

図1訓練データを増やしたときの各モデルの性能。括弧内は事前学習の手法である。括弧がないモデルは事前学習を行っていない。

用し、ハイパー・パラメータも同じものを使用し た $^{3)}$ 。このモデルでは、画像特徴量と原文の埋め込 み表現を結合したものを入力とし、翻訳文を出力す るように訓練される。

NMT 画像を使用しない機械翻訳モデルとして、 Transformer (base) [12] を使用した。事前学習を行わ ない場合は、モデルを機械翻訳タスクの訓練事例で 学習を行った。事前学習を行う場合は、学習済みの TLM もしくは VTLM のパラメータでモデルを初期化し、機械翻訳タスクの訓練事例で追加の学習を 行った。

## 3.3 画像特徴量

本研究では事前学習およびマルチモーダル機械翻訳タスクでともに ResNet101 をバックボーンとする Faster R-CNN モデル ${ }^{4}$ を用いて、画像特徴量の抽出 を行った。この画像認識モデルでは 1 つの画像に付 き 36 個の領域について、画像特徴量および物体ラ ベルが抽出される。 1 の画像特徴量は 2,048 次元 である。

## 4 結果

表 2 に結果を示す。VTLM で事前学習をした場合、事前学習を行わない場合に比べ、評価データ において NMT では +2.32 BLEU、MMT では +7.90 BLEU の性能向上が確認できた。一方で、TLM で事前学習した場合と比較すると改善は NMT で +0.33 BLEU, MMT で +0.16 であり、事前学習において画像を使用することの有効性は限定的であることが 分かった。この傾向は [4] の結果と整合しており、

3）詳細はhttps://github.com/ImperialNLP/VTLMを参照。

4) https://github.com/tensorflow/models/blob/ master/research/object_detection/samples/configs/ faster_rcnn_inception_resnet_v2_atrous_oid_v4.config表 3 異なるサブワード分割器によるモデル毎の評価 データにおける COMET スコア。“サブワード分割”列は “入力言語のサブワード分割 $\rightarrow$ 目的言語のサブワード分割”を表しており、“word”ではサブワード分割を行わな い。“29K”/“145K”は 29,000/145,000 事例で訓練した結果 をそれぞれ示す。

} & NMT & 0.2910 & 0.4046 \\
& MMT & 0.1206 & 0.3813 \\
& NMT (VTLM) & 0.4010 & 0.4836 \\
& MMT (VTLM) & $\mathbf{0 . 4 0 6 7}$ & 0.4858 \\

$\rightarrow$ word & MMT & 0.1752 & 0.4896 \\

VTLM が文化的・言語的に近しい言語間（例えば、英独）だけではなく、遠い言語間でも有効であるこ とが示せた。

また、COMET で評価した場合、VTLM で事前学習した MMT モデルが検証および評価で最高性能と なった。

## 5 考察

## 5.1 MT タスクの訓練データ

一般に、MT タスクの訓練データが増えるにつれ、事前学習による改善が逓減する。ここでは、本実験設定において訓練データを増やした場合に最終的な MT モデルの性能を検証する。図 1 に訓練データを 29,000 事例から 145,000 事例に増やした場合の、各 モデルにおける性能の変化を示した。訓練データを 145K 事例に増やした場合でも、VTLM を使った事前学習の有効性は確認できたが、29K 事例の場合に 比べるとその効果が派減していることが分かる。

また、サブワード分割は MT モデルの最終的な性能に大きな影響を与えることが知られている [13]。表 3 に、事前学習データで学習した general サブワー ド分割器を使用したモデルの性能と、SOTA モデル である Zhao et al. [14] に従い、入力言語側では機械翻訳の訓練事例のみで学習した in-domain サブワー ド分割器を使用し、目的言語側ではサブワード分割 を行わないモデルの性能を示す。訓練事例が少ない 場合（29K）は、general サブワード分割器を利用し、 VTLM で事前学習したモデルの性能が良いことが確認できた。一方で、訓練事例が多い場合（145K）で は、 general サブワード分割器を利用し事前学習を
表 4 モデルごとの入力とシステム出力。括弧内にはシステム出力の COMET スコアである。

src (in-domain): an oriental traveler awaits his turn at the curren@@ cy exchange .

NMT: ... が、東洋風の交換会で、自分の順番を待っている。 $(-0.84)$

src (general): an oriental traveler awaits his turn at the currency exchange .

MMT (VTLM)：．. が、紙幣交換所で自分の番を待っている。(0.72)

ref: 東洋人の旅行者が、両替所で順番を待つ。

src (in-domain): girl wearing radio t-shirt has open mouth

NMT: ラジオ T シャツを着た女の子がロを開けている。(0.33)

src (general): girl wearing radio $\mathrm{t} @$ @ @ @ shirt has open mouth

MMT (VTLM)：ラジオの UNK シャツを着た女の子がロを開けている。(-0.77)

ref: RAD I O のT シャツを着た若い女性が、ロを開いている。

行ったとしても、in-domain サブワード分割器を利用し機械翻訳タスクの訓練事例のみで訓練したモデ ルと同程度であった。

## 5.2 サブワード分割

そこで、それぞれのサブワード手法が性能の変化 に与える影響を調べた。まず、general サブワード分割器および in-domain サブワード分割器でそれぞれ サブワード分割した評価データ間の編集距離を計算 し、MMT (VTLM) と in-domain サブワード分割を使用する NMT モデルの性能差との相関係数を算出し た。その結果、入力言語 (英語) の編集距離と性能差には優位な相関はなく、出力言語（日本語）の編集距離と性能差には弱い相関（0.12）が認められた。

また、表 4 では、in-domain サブワード分割器を 使用したモデル（NMT）と general サブワード分割器を使用し VTLM で事前学習したモデル（MMT (VTLM)）のいくつかのシステム出力を示す。上の 例では、in-domain サブワード分割器は “currency” を “currency@@ cy” と分割しており、その結果、正し く翻訳できていない。一方で、general サブワード 分割器は分割を行っておらず、“紙幣”と翻訳でき ている。下の例では、逆に general サブワード分割器が “t-shirt” を“t@@ - @ shirt” と分割したため、正しく翻訳できていない。これは、各サブワード分割器が学習した訓練事例での出現頻度に依存してお り、実際 “t-shirt” は Conceptual Captions では一度も 出てこず、Flickr30K Entities では 1,181 回出現する。 このように、十分に機械翻訳の訓練事例に出現する 単語については、分割を行わず、機械翻訳タスクで 単語単位の埋め込み表現を学習することで、翻訳精度を向上させると考えられる。

## 6 関連研究

マルチモーダル機械翻訳は Multi30K データセッ 卜 [15] が提案されていこう、様々な手法が提案され てきた。一方で、Multi30K は小規模なデータセット であるため、Multi30K データセット以外の資源を用 いてマルチモーダル機械翻訳モデルの性能を向上 させる試みが、当初から行われてきた。Grönroos et al. [16] は字幕ドメインの対訳コーパスでマルチモー ダル機械翻訳を事前学習することで、Multi30Kにお ける翻訳性能を大幅に改善した。Hirasawa et al. [17] は単言語コーパスから学習した単語分散表現や（視覚）言語モデルをマルチモーダル機械翻訳モデルに 統合することで、翻訳精度を改善した。

## 7 おわりに

本研究では、視覚翻訳言語モデルがマルチモーダ ル英日翻訳に適用できるかどうかを検証した。実験 の結果、大規模な疑似マルチモーダル対訳コーパス で学習した VTLM は英日翻訳の品質を向上させる ことが示された。一方で、機械翻訳の訓練事例が増 えるに連れ、その効果は派減していき、機械翻訳の 訓練事例のみで訓練した機械翻訳モデルと同程度に なることが分かった。

本研究では、VTLM の有効性を制限する一因とし て、事前学習データで学習したサブワード分割器が 機械翻訳の訓練事例を分割するのに最適ではないこ とを示した。今後は、事前学習で学習したサブワー ド分割器を機械翻訳タスクの訓練でサブワードの更新や分割の微調整することで、機械翻訳タスクの訓練事例からも適切に学習できるような手法を検証し ていきたい。

## 参考文献

[1] Kenji Imamura and Eiichiro Sumita. Recycling a pretrained BERT encoder for neural machine translation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 23-31, Hong Kong, November 2019. Association for Computational Linguistics.

[2] Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li, and Tieyan Liu. Incorporating BERT into neural machine translation. In International Conference on Learning Representations, 2020.

[3] Guillaume Lample and Alexis Conneau. Crosslingual language model pretraining. arXiv preprint arXiv:1901.07291, 2019.

[4] Ozan Caglayan, Menekse Kuyu, Mustafa Sercan Amac, Pranava Madhyastha, Erkut Erdem, Aykut Erdem, and Lucia Specia. Cross-lingual visual pre-training for multimodal machine translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1317-1324, Online, April 2021. Association for Computational Linguistics.

[5] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2556-2565, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4204-4210, Marseille, France, May 2020. European Language Resources Association.

[7] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910.github. io/ mecab/.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30K Entities: Collecting region-tophrase correspondences for richer image-to-sentence models. International Journal of Computer Vision, Vol. 123, No. 1, pp. 74-93, 2017.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[11] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Jia Xu, Jianfeng Gao, Kristina Toutanova, and Hermann Ney. Bayesian semi-supervised Chinese word segmentation for statistical machine translation. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 1017-1024, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[14] Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, and Chenhui Chu. TMEKU system for the WAT2021 multimodal translation task. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 174-180, Online, August 2021. Association for Computational Linguistics.

[15] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 603-611, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[17] Tosho Hirasawa, Masahiro Kaneko, Aizhan Imankulova, and Mamoru Komachi. Pre-trained word embedding and language model improve multimodal machine translation: A case study in Multi30K. IEEE Access, Vol. 10, pp. 67653-67668, 2022.


# 視覚と言語の融合モデルにおける知識の振る舞いを調査する ための表と画像の生成タスクの提案及びその調査結果

上垣外英剛 1 林克彦 2 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 北海道大学
\{kamigaito.h,taro\}@is.naist.jp katsuhiko-h@ist.hokudai.ac.jp

## 概要

本研究では視覚と言語の融合タスクであるVision \& Language (V \& L) において，自然言語から獲得さ れたエンティティに関する知識がどのように V \& L モデルに保持されているかを検証するための新タス ク，表と画像の生成を提案する。このタスクはエン ティティと関連する画像からそれらに関する知識 を含む表を生成するタスクと，エンティティとキャ プション及び関連する知識を含む表から画像を生成するタスクの二つで構成される. 我々は提案タス ク遂行のためのデータセットを英語版 Wikipedia の Infobox から作成し, 複数タスクで最高精度を達成 している V \& L モデル OFA で上記の検証を実施し た.その結果，OFA はエンティティに関する知識の 一部を事前学習時に忘却しており，それらの補完は 良質な画像の生成に寄与することが判明した.

## 1 はじめに

近年，視覚と言語の融合タスクであるVision \& Language (V \& L) ではキャプション生成 [1] やテキ ストからの画像生成 [2] に代表されるような大きな 成功を収めている。この進展の背景には大規模デー タにより事前学習された事前学習済み V \& L モデル が存在している [3].

事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルにおいて，入力に対し て適切なキャプションや画像を生成するためには，事前学習済み V \& L モデルが生成対象の特徴に関す る知識を事前に保持している必要がある $[4,5]$. 現在，これらのモデルにおいて特にエンティティに関 する知識は，自然言語処理で利用されている事前学習済み言語モデルのパラメータを引き継ぐことで，間接的に Wikipedia などのデータ資源を利用するこ とで保持されている。このようにして V \& L モデル に引き継がれた知識は，視覚と言語を横断したデー

図 1 Wikipedia 記事中に含まれる Infobox の例 ${ }^{11}$. 本研究 では Infobox 中の画像及び表の箇所を生成することで，V \& L モデルの検証を行う.

タセットによって追加の学習を行うことで画像に関 する表現と対応付けられる $[6,7,8,9,10]$.

この学習過程において，自然言語から獲得された 知識は事前学習済み V \& L モデルの内部に適切に保持されているのか，あるいは画像の持つ特徵と組み 合わせられることにより補強されているのかという 問いは事前学習済み V \& L モデルにより生成可能な 対象の限界を知る上での重要な疑問である。

本研究ではそのような疑問を解消するために英語版 Wikipedia の各記事に含まれている Infobox を対象 データとした，表と画像の生成タスクを提案する.図 1 に本研究が対象とする Infobox の例を示す.こ の例に示されているように，提案タスクでは，表ま たは画像を生成する。いずれの場合においても適切 に生成するためには，モデルが生成対象のエンティ ティに関する知識を把握していなければならない。

我々は提案タスクを遂行するために必要なデータ セットを約 20 万件からなる Infobox を収集すること で構築した. さらに我々は現在様々な V \& L タスク

図2OFAの学習過程. 本研究では事前学習時に Wikipedia から獲得されたエンティティに関する知識がど のように OFA に残されているのかを調査する.

で最高精度を達成している事前学習済み V \& L モデ ルである OFA [10]を用いた検証を行った.

検証の結果，表の生成において，自然言語から獲得された知識の一部は V \& L モデルにおける追加学習により消失することが判明した。また画像情報の 利用により自然言語のみでは獲得されていなかっ た，エンティティが含む情報の種類に関する知識を 新たに獲得していることが判明した。

画像生成においては，表に含まれる知識を利用す ることでより正確な画像を生成できることが明らか になった．また，自然言語だけで学習されたモデル により推測された知識を利用することで生成される 画像の多様性を向上させることが可能であることも 判明した。

## 2 Vision \& Language モデル

様々なタスクで最高精度を更新している事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルの多く $[6,7,8,9,10]$ は自然言語及 び画像における事前学習済みモデルの重みを引き継 いだ上で，自然言語と画像を横断したデータでの学習を行っている. 本研究ではこのような学習過程を 経て，自然言語を対象とした事前学習済みモデルに 含まれていた知識がどのように変容するのかを検証 する。なお，検証の対象としては複数の V \& L タス クで最高精度を達成している OFAを選択する。

図 2 にOFA のネットワーク構造と各タスクとの関連を示す. ${ }^{2}$ OFA ではデコーダ上で VQGAN [11] に より画像を離散系列に変換して扱うことにより画像生成, 自然言語生成を同一の Transformer [12] で行っ ている。また，この Transformer は BART [13] の重み を用いて初期化されるため，OFA には Wikipedia な どの自然言語から獲得される知識が含まれているこ とが期待できる．なお，エンコーダではデコーダと

2）各学習過程で使用されているデータセットの詳細について は付録 Aに記す。

表 1 各タスクの概要。それぞれの用語が指す Infobox 中 の部位については図 1 を参照.

Alternative names|Fish supper / Fish 'n' chips<>Course|Main dish<>Place of origin|England<>Region or state|Northwestern Europe $<>$ Serving temperature $\mid$ Hot $<>$ Main ingredients $\mid$ Battered and fried fish with deep-fried chips

図 3 直列化された表の例.この例は図 1 の表を直列化し たものである。

異なり画像を直接扱うために，BART から引き継い だ埋め込み層に加え, ResNet [14] の出力を画像の埋 め込みとして使用している。

## 3 提案タスク: 表と画像の生成

本節では V \& L モデルにおける知識の振る舞いを 検証するための二つのタスク，表の生成と画像の生成についての説明を行う。いずれのタスクについて も Wikipedia 記事中の Infobox に基づく. Infobox は Wikipedia 本文の情報に対応しているため3)，事前学習済み $\mathrm{V}$ \& L モデルが記憶している Wikipedia 中の 知識を検証する上で適している。次節以降でそれぞ れのタスクの詳細についての説明行う。

## 3.1 表の生成

表の生成タスクにおいて，対象となる V \& L モ デルは入力された Infobox のタイトルとしてのエン ティティまたはそれに画像を結合した入力から表を 生成する．表の生成に関しては説明文からの表の生成 [15] と同様に，表をテキストで直列化することで 行う．我々の設定では，事前学習時の辞書に含まれ るトークンを流用するために，列の区切り文字|と 行の区切り文字く>を用いて図 3 のように直列化さ れる. 対象となるモデルの検証はこのような直列化 されたテキストを直接生成することによって行われ る. 検証については次のような設定を用いて行う。

タイトルのみからの生成 事前学習済み V \& L モ デルと自然言語のみで学習された事前学習済みモデ ルにおいて，タイトルのみから生成した表を比較す ることで，V \& L モデルが保持している自然言語の みを対象としたエンティティに関する知識を検証 する。

画像を含む入力からの生成 画像を含む入力から 表を生成し，その結果をタイトルのみを入力とした 場合の結果と比較する。これにより，画像を考慮す ることで $\mathrm{V} \& \mathrm{~L}$ モデルが新たに獲得した知識につい てを検証する。

評価尺度検証のための比較に際しては生成され た表が実際のものにどれほど近いかを測ることによ り行うため，次のような評価尺度を用いる。

ROUGE: 直列化された表はテキストデータであり， かつ Infobox は本文に対する要約の役割を担ってい ることから，自動要約の評価に使用されることが多 いROUGE [16] を使用する。なお，ROUGEでの評価 においては文字列の連なりが行や列に制限されない よう，列の区切り文字|と行の区切り文字く>をス ペースに変換した上で行う.

Macro-F F $_{1}$ : 表の構造を考慮した評価を行うために， セルを種類毎に分けた上で参照となる表に対する一致を各事例毎に $\mathrm{F}_{1}$ 値によって評価し, 平均化する. なお，一致を計算する際には，同一のセルが繰り返 して出力されることによるスコアの増大を防ぐため に，ROUGE の計算に使用されているクリッピング を適用する。セルの種類については下記のように分 けて評価する。

- グループ: Infobox 中の表はグループに分けられる ことがあり，各グループの最初の行がグループ名を 表すへッダとなっている. グループ名に対する予測 の精度は，モデルがエンティティに対しどのような 側面での知識を持っているかを検証する上で重要で ある.

一ヘッダ: Infobox 中の 2 列以上の列からなる各行の 先頭は通常，その同じ行で後続するセルのへッダと なっている. 従って，グループ名と同様の理由で ヘッダへの予測精度は重要である.

- 值: Infobox 中の 2 列以上の列からなる各行の 2 列 め以降のセルはへッダに対応する值を持っている.従って，値への予測精度はモデルがエンティティに 対して詳細な知識を保持しているかを知る上で重要 である。なお評価時にはへッダとグループへの対応関係を考慮するために，対応するグループ名とへッ ダを值と合わせた 3 つ組として扱う。

Micro- F $_{1}$ : 上記の Macro- $\mathrm{F}_{1}$ では事例毎に計算を行う ため，モデルがどれだけ多様な知識を出力している かを評価することが困難である．この問題を解決す るために，事例全体を横断してセルを共有し，一括 で $\mathrm{F}_{1}$ 值を計算する.

表 2 各データセットのサイズ.

## 3.2 画像の生成

画像の生成タスクでは，モデルは Infobox のタイ トルとキャプションまたは追加的に表を入力とし，対応する画像を生成する．検証については下記のよ うな設定に基づいて実施する。

タイトルとキャプションからの画像の生成 画像生成に最低限必要な入力を用いることで，他のデー タセットと比較した際の生成の難しさを検証する。

タイトルとキャプションと表からの画像の生成表を含めた上で画像を生成し，その結果を上記の表 を入力しない際の設定と比較することで，エンティ ティに関する知識が画像生成に与える影響について 調査する。

評価尺度 画像生成の評価については現状で広く 使われている下記の三つを使用する。

CLIP: 入力テキストと生成画像の関連度を測る尺度. 事前学習済み V \& L モデルである CLIP [17] に よって推測される.

Inception Score (IS): それぞれの画像の差異を識別乙易い，多様な画像が生成されていることを測 る尺度 [18]. 事前学習済み画像分類モデルである Inception-v3 [19] によって推測される.

Frechet Inception Distance (FID): 生成画像が参照画像にどれだけ近いかを測る尺度．IS と同様に Inception-v3 によって推測される. 低いほど良い.

## 4 データセットの作成

データセットは英語版 Wikipedia の HTML ダンプ データ4)から Infobox を抽出することで作成した。生成対象の形式を揃えるため，抽出対象の Infobox は図 1 のように，一行目にタイトルを，二行目に画像を含むものに限定した。また，対象とする画像は jpeg 及び png 形式のものに限定した。なお，一部の キャプションについてはタイトルを含んでいない ため，そのような事例に関してはハイフンを用いて キャプションの先頭にタイトルを結合した.

表 2 に各データセットのサイズを示す。なお，両 タスクでデータセットサイズが異なるのは一部の

表 3 表の生成における各設定の結果. 太字は最も高いスコアを，个はスコアが高いほど良い結果であることを示す.

表 4 画像の生成における各設定の結果. 」はスコアが低 いほど良い結果であることを示す. その他の表記につい ては表 3 と同様.

Infobox がキャプションを含まないためである5).

## 5 検証

## 5.1 表の生成

設定 比較対象のモデルとして事前学習済み $\mathrm{V}$ \& L モデルである OFA と自然言語のみで事前学習さ れた BART を選択した. 両モデルともに base モデ ルの重みを使用した。ハイパーパラメータについて は OFA の論文で報告されているものを使用した6)

結果 表 3 に表の生成における各設定の結果を示 す. タイトルのみを入力とした際には，BART の結果が OFA よりも高いことから, 自然言語から獲得 された知識の一部は V \& L モデルにおける追加学習 により消失することが分かる. また画像情報の利用 によりへッダに対する Macro-F $F_{1}$ が改善されること から，画像を利用することでエンティティがどのよ うな種類の特徴を持つかという知識が補強されるこ とが分かる. その一方， セルの值に対する $\mathrm{F}_{1}$ が改善されないことから，画像から得られる情報は自然言語から獲得された各へッダに対応する值のような 詳細な知識を補うものではないことが分かる。

## 5.2 画像の生成

設定 表の生成と同様に，比較対象のモデルとし て事前学習済み V \& L モデルである OFA を選択し た. 表を入力する際には参照 (Gold), $\S 5.1$ の出力結

5）データセットの詳細は付録 $\mathrm{B}$ に記載.

6）付録 C. 1 に実験設定の詳細を記載果のそれぞれを使用した。重みについては base モ デルを使用した. ハイパーパラメータについては OFA の論文に記載されているものを使用した7).

結果 表 4 に画像の生成における各設定の結果を 示す.この結果は CLIP の値では MS COCO [20] に おける画像生成の結果 [10] と近しいため, 作成した データセットのモデル学習における使用は妥当であ ると考えられる．また，表 (Gold) を入力することに よりいずれの評価尺度も改善されていることから， エンティティに関する知識を補完してモデルに与え ることにより，より質が高い画像が生成されること が分かる. この結果は OFA において Wikipedia に含 まれるエンティティに関する知識が十分に保持され ていないことを示している.

また，自動生成された表を与えた場合には CLIP 及び FID における性能の改善は確認できない。一方 でBART により自動生成された表を使用することで IS については改善していることから，自動生成され た表を用いることで出力画像の多様性が改善される ことと，質が高い画像生成のためには表の予測精度 が重要であることが分かる.

## 6 まとめ

本研究では事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルに含まれて いる，自然言語のみから学習されたエンティティに 関する知識が言語と画像を用いた追加学習を経てど のように保持されているかを検証した。

検証は英語版 Wikipedia から 20 万件の Infobox を 抽出し，それらに含まれている画像と表を生成する ことで実施した。

事前学習済み V \& L モデルである OFA を対象と した実験の結果，上記の知識は事前学習時に忘却さ れており，画像情報がその知識を完全に補っている わけではないことが示された。また画像生成におい てはそれらの知識を適切に補うことで，より良質な 画像が生成可能なことも示された. なお，本研究で 使用したコードとデータセットは公開予定である.

7）付録 C. 2 に実験設定の詳細を記載

## 謝辞

本研究は JSPS 科研費 JP21K17801 の助成を受けた ものです.

## 参考文献

[1] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 2048-2057, Lille, France, 07-09 Jul 2015. PMLR.

[2] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, and Honglak Lee. Generative adversarial text to image synthesis. In Maria Florina Balcan and Kilian Q. Weinberger, editors, Proceedings of The 33rd International Conference on Machine Learning, Vol. 48 of Proceedings of Machine Learning Research, pp. 1060-1069, New York, New York, USA, 20-22 Jun 2016. PMLR.

[3] Yifan Du, Zikang Liu, Junyi Li, and Wayne Xin Zhao. A survey of vision-language pre-trained models. In Lud De Raedt, editor, Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence, IJCAI-22, pp. 5436-5443. International Joint Conferences on Artificial Intelligence Organization, 7 2022. Survey Track.

[4] Tian Yun, Chen Sun, and Ellie Pavlick. Does vision-and-language pretraining improve lexical grounding? In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 4357-4366, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, pp. 565-580, Cham, 2020. Springer International Publishing.

[6] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for visionand-language tasks. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[7] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei, and Jifeng Dai. Vl-bert: Pre-training of generic visual-linguistic representations. In International Conference on Learning Representations, 2020.

[8] Gen Li, Nan Duan, Yuejian Fang, Ming Gong, and Daxin Jiang. Unicoder-vl: A universal encoder for vision and language by crossmodal pre-training. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 07, pp. 11336-11344, Apr. 2020.

[9] Jaemin Cho, Jie Lei, Hao Tan, and Mohit Bansal. Unifying visionand-language tasks via text generation. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 1931-1942. PMLR, 18-24 Jul 2021.

[10] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th Inter- national Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 23318-23340. PMLR, 17-23 Jul 2022.

[11] Patrick Esser, Robin Rombach, and Björn Ommer. Taming transformers for high-resolution image synthesis, 2020.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2016.

[15] Xueqing Wu, Jiacheng Zhang, and Hang Li. Text-to-table: A new way of information extraction. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2518-2533, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[16] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[17] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 8748-8763. PMLR, 18-24 Jul 2021.

[18] Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, Xi Chen, and Xi Chen. Improved techniques for training gans. In D. Lee, M. Sugiyama, U. Luxburg, I. Guyon, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 29. Curran Associates, Inc., 2016.

[19] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826, 2016.

[20] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar, and C. Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server, 2015.

[21] Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The pile: An $800 \mathrm{gb}$ dataset of diverse text for language modeling, 2021.
表 5 OFA の事前学習に使用されているデータセットの一覧.

 & CC12M, CC3M, SBU, COCO, VG-Cap \\

## A OFA で使用されているデータ セットの詳細

OFA の事前学習では，言語，画像，言語と画像の 各モダリティにおいて表 5 のように様々なデータ セットが事前学習タスクのために使用されている. なお，表 5 に記載の Pile [21] には，英語版 Wikipedia の情報が $1.53 \%$ 含まれている。従って, OFA の事前学習では V \& L タスクに重きが置かれているもの の, 自然言語データから獲得された知識が忘却され ないための工夫はなされていると理解できる.

## B 作成したデータセットの詳細

Wikipedia HTML ダンプデータでは Wikipedia の 各記事が HTML 形式で収録されているため, BeautifulSoup ${ }^{8}$ を用いることで Infobox を抽出した. なお Infobox 中には [数字] といった形式で本文記事 の参考文献へのリンクが含まれているため，それら は削除した。

表の生成において, 入力用の画像については短辺 が 480px を超える場合には縦横比を維持して短辺を 480px に縮小した. また, 画像生成用の画像は縦横比を維持して元の画像の短辺を $256 \mathrm{px}$ に変更し, 中央部を両辺 256px の正方形でクロップした.

なお，公開用データでは小規模なモデルから大規模なモデルまでの性能を測ることができるよう，表 の生成では画像の短辺を $256 \mathrm{px}, 384 \mathrm{px}$ までとした データセットも作成した. 同様に画像生成では画像 の両辺を $128 \mathrm{px}$ としたデータセットも作成した.収集したデータの分割は，今後の拡張とデータの 混同に配慮し，タイトルの SHA256 值を 20 で割っ た余りが 0 であればテストデータ，1 であれば開発 データ，それ以外であれば訓練データとした。

データセットのサイズや抽出対象については本文

8) https://www.crummy.com/software/BeautifulSoup/bs4/ doc/
を参照していただきたい.

## C 実験設定の詳細

両タスク共に OFA の実装には著者らが公開して いる実装9)を改変して使用した. 公開されている OFA では最大トークン長を決定する際にスペースで 分割した後の単語数をトークン長としているため, BART などに合わせ，最大トークン長をサブワード で指定できるように変更した．なお，表の生成，画像の生成ともに我々は入力・出力共に最大長を 1024 サブワードに設定した. また，モデルとデータセッ トの特性を調査する観点から，学習は最尤推定のみ で行い，強化学習については実施していない。

## C. 1 表の生成

BART と OFA の性能比較が実装の違いにより不公平とならないよう，BART の重みパラメータを OFA から引き継ぎ，OFA 上でBARTを動作させた. 学習時のハイパーパラメータはタイトルからの生成では OFA の自動要約における設定を引き継ぎ，画像を含 む生成の際には OFA のキャプショニングにおける 設定を引き継いだ。なお，公平な比較のために，推論時の設定は全てキャプショニングの設定に合わせ た. 実験は全て 4 枚の RTX 3090 で行った.

## C. 2 画像の生成

基本的には OFA で使用されているハイパーパラ メータを引き継いだが，学習時間の関係で，各エ ポック終了後の開発データにおける画像生成時の ビーム幅は 1 とした. なおテスト時は元の設定と同様ビーム幅 24 を使用している. 表を使用する際に は，入力の末尾に区切り文字く>で結合して使用し た. 実験は全て 4 枚の RTX A6000 で行った.


# 画像キャプション生成における JPEG 圧縮への頑健性の改善

遠藤洸亮 Zhishen Yang 岡崎直観
東京工業大学 情報理工学院
\{kosuke.endo@nlp., zhishen.yang@nlp., okazaki@\}c.titech.ac.jp

## 概要

本稿は画像キャプション生成タスクにおける JPEG 圧縮の影響を分析する。まず、高い圧縮率が 適用された画像に対して、通常の画像キャプション 生成モデルはその性能を維持できず、生成される キャプションの品質が落ちてしまうことを示す。そ こで、画像エンコーダと画像キャプション生成の二 つのモデルの学習データに JPEG 画像を追加する手法を提案する。実験結果から、画像キャプション 生成モデルの学習にJPEG 画像を追加しなくても、画像エンコーダの学習に JPEG 画像を追加するだけ で、JPEG 圧縮に対して頑健な画像キャプション生成モデルを構築できることが分かった。

## 1 はじめに

画像キャプション生成は、画像を説明する文章を 生成することを目的とした、自然言語処理とコン ピュータビジョンの両分野にまたがるマルチモー ダルなタスクである。近年の画像分類モデルと言語生成モデルの発展により、文章として自然で、画像 の特徴をよく捉えた文章を生成できるようになっ た。ただ、現在の画像キャプション生成モデルは高品質な画像でのみ学習され、評価されることが多い $[1,2,3,4,5]$ 。

しかし、インターネット上の画像を取り扱う場合 など、キャプション生成モデルを利用するときに与 えられる画像が高品質であるとは限らない。高品質 な画像はファイルサイズが大きくなるため、保存や 転送により多くのコストがかかる。そのため、非可逆圧縮である JPEG [6] など、何らかのアルゴリズ ムで圧縮が行われ、画像の品質が劣化することが多 い $[7,8,9,10]$ 。 ImageNet [11] や COCO [12] といったデータセット に収録されている画像もJPEG で圧縮されているが、高品質な画像が多く、低品質な画像は少ない。JPEG 圧縮による画質の低下を PSNR と SSIM $[13,14]$ を用

図 $1 \mathrm{COCO}$ の評価データの画像の JPEG 圧縮に対する PSNR の推移（Quality が小さいほど高圧縮・低品質で ある)

図 $2 \mathrm{COCO}$ の評価データの画像の JPEG 圧縮に対する SSIM の推移

いて計測したものを図 1 と 2 に示す (数值データは 付録の表 1 に掲載した)。このような JPEG 圧縮に よって品質が低下した画像からのキャプション生成 はあまり考えられてこなかった。

本稿では、画像キャプション生成モデルにおける JPEG 圧縮の影響を定量的に分析する。また、画像 キャプション生成モデルの頑健性を向上させるた め、画像エンコーダと画像キャプション生成の二つ のモデルの学習時に JPEG で圧縮された画像を追加 する手法を提案する。

実験結果から、高圧縮率の JPEG 画像に対して

図 3 ベースラインの学習データセット

図 4 画像キャプション生成モデルの学習に JPEG 画像を 追加する方法

ベースラインの画像キャプション生成モデルが十分 な性能を発揮できないことが分かった。また、提案手法は高品質な画像に対して生成されたキャプショ ンの BLEU スコアを維持しつつ、JPEG 圧縮で品質 が劣化した画像に対して BLEU スコアを向上させる ことが確認された。画像エンコーダの学習にJPEG で压縮された画像を追加する方法、画像キャプショ ン生成モデルの学習に JPEG で圧縮された画像を追加する方法、両方のモデルの学習に JPEG で圧縮さ れた画像を追加する方法の三つを比較したところ、画像エンコーダの学習に JPEG 画像を追加する方法 と両方のモデルの学習に JPEG 画像を追加する方法 は同程度の頑健性であり、画像キャプション生成モ デルの学習に JPEG 画像を追加する方法は他の二つ の方法より頑健性が低かった。このことから、画像 エンコーダの学習にのみ JPEG で圧縮された画像を 追加するだけでも、JPEG 圧縮に対する頑健性を持 つ画像キャプション生成モデルを構築できることが 分かった。

## 2 提案手法

通常の画像キャプション生成モデルは図 3 のよう に、ImageNet と COCO の高品質な学習画像からモ デルを学習している。このため、高い压縮率で品質 が劣化した JPEG 画像に対しては、画像エンコーダ の特徴量抽出が十分に行えなかったり、学習時の状況からの差が大きすぎるため、画像キャプション生成モデルが想定通りに動作しない可能性がある。そ こで、画像エンコーダと画像キャプション生成モデ ルの二つの片方、もしくは両方の学習時に JPEG で 圧縮された画像を追加し、JPEG 圧縮に対する頑健

図 5 画像エンコーダの学習に JPEG 画像を追加する方法

図 6 両方の学習に JPEG 画像を追加する方法

性を高めることを検討する。

本稿で比較するのは、以下の三つの方法である。

1. 画像キャプション生成モデルの学習のために用 いる COCO の画像を JPEG で圧縮し、学習デー 夕に追加する方法（図 4）

2. 画像エンコーダの学習のために用いる ImageNet の画像を JPEG で圧縮し、学習データに追加す る方法（図 5)

3. ImageNet と COCO の両方の画像を JPEG で圧縮 し、画像エンコーダと画像キャプション生成モ デルの学習データとして、それぞれ追加する方法（図 6）

これらの方法では決められた圧縮率で学習データ の全ての画像を圧縮し、学習データに追加する。こ れにより各モデルの学習に用いる事例の数が 2 倍に なる。

## 3 実験

## 3.1 実験設定

画像分類 本研究では画像キャプション生成モデ ルの画像エンコーダを画像分類タスクで学習する。具体的には ImageNet [11] の画像分類タスクを用い て ResNet-18 [15]を学習する。実装には PyTorch の サンプルコード1)を利用した。ResNet-18 は深さが 18 層の画像分類モデルである。残差結合を用いる ことでより深い層を持つニューラルネットワークの 学習を効率よく行えるようになっている。ImageNet は約 140 万件の画像からなり、画像分類において物体の画像を 1,000 個のカテゴリに分類する。本研究 では評価のために開発データを二分割し、1,281,167

1) https://github.com/pytorch/examples

図 7 ベースラインと JPEG 画像を学習データに追加した 画像分類モデルの JPEG 圧縮された評価データに対する TOP1 精度 quality=100 は元々の評価データを表す。

件の学習データとそれぞれ 25,000 件の開発データ、評価データを用いる（付録 Cに分割の方法を記す）。

画像キャプション生成 PyTorch の実装2)を用い、 MSCOCO '14 データセット [12] 上で Show, Attend and Tell [16] のモデルを学習する。Show, Attend and Tell は画像エンコーダと LSTM [17] デコーダからなる画像キャプション生成モデルである。画像に対する注意機構を導入し、重要な物体へ注意を向けながら単語を生成することで、画像の内容を捉えたキャプ ションを生成できる。COCO は約 16.4 万枚の画像 と、それに付けられたキャプションの組からなる。本研究では評価のために Karpathy らの先行研究 [18] で用いられたデータセットの分割方法3）を用いる。 これにより、113,287 件の学習画像とそれぞれ 5,000 件の開発画像、評価画像に分割する。生成された キャプションの評価には BLEU-4 [19] を用いる。

画像分類モデルと画像キャプション生成モデルの 2つの学習で、それぞれの開発データ上で最も性能 が高いモデルを評価対象とした。

JPEG 圧縮 JPEG 圧縮には pillow ライブラリ4) を用いる。図 2 より quality が 22 より小さくなると SSIM が急激に降下を始めるため、追加する画像は データセットの学習画像を $22,10,7,2$ の quality で JPEG 圧縮したのち、さらに 75 の quality で圧縮した 画像である5)。

2) https://github.com/sgrvinod/ a-PyTorch-Tutorial-to-Image-Captioning

3) https://cs.stanford.edu/people/karpathy/ deepimagesent/

4) https://pillow.readthedocs.io/en/stable/handbook/ image-file-formats.html\#jpeg

5） ライブラリの内部動作により、画像を指定された quality で JPEG 圧縮したのち、ファイルに書き出す際にさらに 75評価に用いる画像 ImageNet, COCO 共に、元々 の評価画像を $80,61,41,31,22,17,12,10,7,5,3,2$ の quality で JPEG 圧縮した画像を用いて評価を行う。

## 3.2 実験結果

画像分類 画像分類タスクの TOP1 精度を図 7 に 示す。図中の非圧縮+[数字] は、ImageNet の画像を 数字で示される quality で JPEG 圧縮し、その JPEG 画像をさらに 75 の quality で JPEG 圧縮した画像を 学習データに追加したモデルを意味する。数値デー タは付録の表 2 に掲載した。Ehrlich ら [7] が示した ように、高圧縮の JPEG 画像に対してべースライン モデルの TOP1 精度が低下する。また、JPEG で圧縮した画像を学習に追加したモデルは高品質な評価データに対する TOP1 精度を維持しつつ、quality が 17 未満の高圧縮の評価データ上でベースライン モデルの TOP1 精度を超える精度を記録した。そし て、追加している JPEG 画像の圧縮率が高い程、高圧縮の評価データ上で TOP1 精度が高かった。この 実験結果から、JPEG 画像を学習データに追加する ことにより、画像分類モデルの JPEG 圧縮に対する 頑健性を強化できることが示された。

画像キャプション生成 画像キャプション生成 タスクの BLEU スコアを図 $8,9,10,11$ に示す。数值 データは付録の表 3 に掲載した。高圧縮の JPEG 画像に対して、ベースラインモデルの BLEU スコアが 低下する。また、提案手法のどのモデルも高品質な 評価データに対してベースラインモデルに匹敵する BLEU スコアを記録しつつ、quality が 17 より小さい 高圧縮の評価データ上では、ベースラインモデルを 超える BLEU スコアを記録した。

さらに画像エンコーダの学習にのみ JPEG 画像を 追加する方法と画像エンコーダと画像キャプション 生成モデルの二つの学習に JPEG 画像を追加する方法は、同様の性能を示している。一方、画像キャプ ション生成モデルの学習にのみ JPEG 画像を追加す る方法はそれらを下回る性能であった。

## 4 関連研究

Bujimalla ら [20] は写真の品質の劣化原因として モーションブラー（被写体ぶれ）を挙げ、画像キャ プション生成タスクへの影響を調査した。そして モーションブラーで学習データをデータ拡張するこ とによりモーションブラーに対して頑健な画像キャ

図 8 ベースラインと quality=22 で圧縮した画像をさ らに quality=75 で圧縮した画像を学習に追加したモデ ルの JPEG 圧縮された評価データに対する BLEU-4

図 10 ベースラインと quality=7 で圧縮した画像をさ らに quality=75 で圧縮した画像を学習に追加したモデ ルの JPEG 圧縮された評価データに対する BLEU-4

プション生成モデルの構築ができることを示した。 しかし、JPEG 圧縮の影響は分析していない。

Ehrlich ら [7] は JPEG 圧縮の画像分類、物体検出・ インスタンスセグメンテーション、セマンティック セグメンテーションの各タスクへの影響を分析し、高い圧縮率が適用された JPEG 画像に対してタスク の性能が低下することを示した。しかし、画像キャ プション生成モデルへの影響に関して定量的な評価 を行なっていない。

## 5 おわりに

本稿では、画像キャプション生成モデルへの JPEG 圧縮の影響を定量的に評価し、その影響を緩和する手法を提案した。具体的には、画像エンコー ダと画像キャプション生成モデルの 2 つのモデル の学習に JPEG 画像を追加することで、JPEG 圧縮 への頑健性の向上を目指した。実験結果から、高圧縮の JPEG 画像に対してベースラインモデルが生成 するキャプションの品質が低下すること、提案手法

図 9 ベースラインと quality=10 で圧縮した画像をさ らに quality=75 で圧縮した画像を学習に追加したモデ ルの JPEG 圧縮された評価データに対する BLEU-4

図 11 ベースラインと quality=2 で圧縮した画像をさ らに quality=75 で圧縮した画像を学習に追加したモデ ルの JPEG 圧縮された評価データに対する BLEU-4

によって学習された画像キャプション生成モデル が高品質な画像に対する性能を維持しつつ、高圧縮 の JPEG 画像に対してベースラインよりも高品質な キャプションを生成できることが分かった。また、画像エンコーダと画像キャプション生成モデルの二 つの片方、もしくは両方の学習時に JPEG 画像を追加する方法の三つを比較したところ、画像エンコー ダの学習にのみ JPEG 画像を追加する方法と両方の モデルの学習に JPEG 画像を追加する方法は同程度 の頑健性であり、画像キャプション生成モデルの学習にのみ JPEG 画像を追加する方法は他の二つの方法より頑健性が低かった。このことは JPEG 圧縮に 対する頑健性を持った画像キャプション生成モデル の構築には、画像エンコーダの学習に JPEG 画像を 追加することで十分であることを示唆している。

今後は JPEG 圧縮に対して頑健な画像エンコーダ を視覚的質問応答や参照表現理解など他のダウンス トリームタスクに適用し，JPEG 圧縮に対するモデ ルの頑健性を調査したい。

## 謝辞

本研究を進めるにあたり、東京工業大学大学院情報理工学院の Marco Cognetta 氏に、研究の方向性や データの分析において日頃から貴重なご助言を頂き ました。深く感謝いたします。

本研究成果は, 国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため のマルチモーダル情報の外部制御可能なモデリング の研究開発」（課題 225）により得られたものです.

## 参考文献

[1] Chenliang Li, Haiyang Xu, Junfeng Tian, Wei Wang, Ming Yan, Bin Bi, Jiabo Ye, Hehong Chen, Guohai Xu, Zheng Cao, et al. mplug: Effective and efficient vision-language learning by cross-modal skip-connections. arXiv preprint arXiv:2205.12005, 2022

[2] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. Ofa: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. CoRR, Vol. abs/2202.03052, 2022.

[3] Jia Cheng Hu, Roberto Cavicchioli, and Alessandro Capotondi. Expansionnet v2: Block static expansion in fast end to end training for image captioning. arXiv preprint arXiv:2208.06551, 2022

[4] Xiaowei Hu, Zhe Gan, Jianfeng Wang, Zhengyuan Yang, Zicheng Liu, Yumao Lu, and Lijuan Wang. Scaling up vision-language pretraining for image captioning. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 17959-17968, 2022.

[5] Xi Chen, Xiao Wang, Soravit Changpinyo, AJ Piergiovanni, Piotr Padlewski, Daniel Salz, Sebastian Goodman, Adam Grycner, Basil Mustafa, Lucas Beyer, Alexander Kolesnikov, Joan Puigcerver, Nan Ding, Keran Rong, Hassan Akbari, Gaurav Mishra, Linting Xue, Ashish Thapliyal, James Bradbury, Weicheng Kuo, Mojtaba Seyedhosseini, Chao Jia, Burcu Karagol Ayan, Carlos Riquelme, Andreas Steiner, Anelia Angelova, Xiaohua Zhai, Neil Houlsby, and Radu Soricut. Pali: A jointly-scaled multilingual language-image model, 2022.

[6] G.K. Wallace. The jpeg still picture compression standard. IEEE Transactions on Consumer Electronics, Vol. 38, No. 1, pp. xviii-xxxiv, 1992.

[7] Max Ehrlich, Larry Davis, Ser-Nam Lim, and Abhinav Shrivastava. Analyzing and mitigating jpeg compression defects in deep learning. In 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), pp. 2357-2367, 2021.

[8] Samuel Felipe dos Santos, Nicu Sebe, and Jurandy Almeida. The good, the bad, and the ugly: Neural networks straight from jpeg. In 2020 IEEE International Conference on Image Processing (ICIP), pp. 1896-1900, 2020.

[9] Miklós Póth and Zeljen Trpovski. Analysis of jpeg digital image compression process. 2019

[10] Xi Wang, Xueyang Fu, Yurui Zhu, and Zheng-Jun Zha. Jpeg artifacts removal via contrastive representation learning. In European Conference on Computer Vision, pp. 615-631. Springer, 2022.

[11] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei. ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision (IJCV), Vol. 115, No. 3, pp. 211-252, 2015.

[12] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollar, and Larry Zitnick. Microsoft coco: Common objects in context. In ECCV, pp. 740-755. European Conference on Computer Vision, September 2014.

[13] Alain Horé and Djemel Ziou. Image quality metrics: Psnr vs. ssim. In 2010 20th International Conference on Pattern Recognition, pp. 2366-2369, 2010.

[14] Zhou Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing, Vol. 13, No. 4, pp. 600-612, 2004.

[15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016.

[16] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhutdinov, Richard Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. arXiv preprint arXiv:1502.03044, 2015.

[17] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 111997.

[18] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions, 2014.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[20] Shashank Bujimalla, Mahesh Subedar, and Omesh Tickoo. Data augmentation to improve robustness of image captioning solutions, 2021.
表 $1 \mathrm{COCO}$ の評価データの画像の JPEG 圧縮に対する PSNR と SSIM の推移

表 2 ベースラインと ImageNet の学習データにJPEG 画像を追加したモデルの非圧縮の評価データと JPEG 圧縮された評価データに対する画像分類タスクの TOP1 精度

表 3 ベースラインと ImageNet と COCO の学習データに JPEG 画像を追加した画像キャプション生成モデルの JPEG 圧縮された評価データに対する BLEU-4

} & COCO & 非圧縮 & 80 & 61 & 41 & 31 & 22 & 17 & 12 & 10 & 7 & 5 & 3 & 2 \\

非圧縮 & 非圧縮+10 & 26.7 & 26.7 & 26.6 & 26.5 & 26.5 & 26.4 & 26.4 & 25.9 & 25.7 & 25.2 & 23.0 & 18.3 & 16.8 \\
非圧縮 & 非圧縮+7 & 26.9 & 26.9 & 27.0 & 27.0 & 27.1 & 26.9 & 27.0 & 26.3 & 26.2 & 26.0 & 25.0 & 21.0 & 19.4 \\
非圧縮 & 非圧縮+2 & 26.9 & 26.8 & 26.9 & 26.9 & 27.1 & 26.7 & 26.9 & 26.6 & 26.2 & 26.2 & 25.2 & 24.2 & 23.7 \\

非圧縮+10 & 非圧縮 & 26.9 & 26.8 & 26.7 & 26.8 & 27.0 & 26.8 & 26.7 & 26.6 & 26.5 & 25.5 & 23.8 & 18.3 & 16.7 \\
非圧縮+7 & 非圧縮 & 27.0 & 27.1 & 27.1 & 27.2 & 27.1 & 27.0 & 26.6 & 26.7 & 26.6 & 26.2 & 25.0 & 21.1 & 19.5 \\
非圧縮+2 & 非压縮 & 26.8 & 26.9 & 26.8 & 26.7 & 26.6 & 26.7 & 26.8 & 26.7 & 26.5 & 26.3 & 25.7 & 25.0 & 24.5 \\

非圧縮+10 & 非圧縮+10 & 26.9 & 26.9 & 26.9 & 27.0 & 27.1 & 26.9 & 26.9 & 26.7 & 26.6 & 26.2 & 24.5 & 19.2 & 17.4 \\
非圧縮+7 & 非圧縮+7 & 26.7 & 26.6 & 26.7 & 26.7 & 26.6 & 26.8 & 26.4 & 26.5 & 26.5 & 26.0 & 25.5 & 21.9 & 20.6 \\
非圧縮+2 & 非圧縮+2 & 27.1 & 26.9 & 27.0 & 26.9 & 26.9 & 26.9 & 26.8 & 26.7 & 26.5 & 26.7 & 26.1 & 25.5 & 25.4 \\

## A実験結果を表にまとめたもの

COCO における Karpathy [18] らの評価データの画像を JPEG 圧縮した時の PSNR と SSIM の推移を表 1 に示す。

画像分類タスクにおけるべースラインモデルと、学習画像に JPEG 画像を追加して学習したモデルの非圧縮の評価デー タと JPEG 圧縮された評価データに対する TOP1 精度を表 2 に示す。非圧縮+[数字] とは ImageNet の学習画像を指定され た数字の quality で JPEG 圧縮し、さらに 75 の quality で JPEG 圧縮した画像を学習データに追加して学習したモデルを 示す。

画像キャプション生成タスクにおけるベースラインモデルと、提案手法のモデルの非圧縮の評価データと JPEG 圧縮さ れた評価データに対する BLEU スコアを表 3 に示す。非圧縮+[数字] とはカラム名のデータセットの学習画像を指定され た数字の quality で JPEG 圧縮し、さらに 75 の quality で JPEG 圧縮した画像を学習データに追加して学習したモデルを 示す。

## B 学習

ResNet-18 の学習は 35 エポックを行った。

画像キャプション生成モデルの学習は安定化のために 2 つの段階に分けた。画像エンコーダをファインチューニング せずに、言語モデルを学習する第一段階と、画像エンコーダをファインチューニングさせて学習する第二段階である。第一段階と第二段階のそれぞれで 20 エポックと 6 エポックの学習を行なった。

## C ImageNet の開発データの分割

ImageNet の開発データを二分割して開発データと評価データを作る。全てのカテゴリにおいて、そのカテゴリに属す る 50 枚の画像をそのファイル名で昇順ソートし、前半を開発データ、後半を評価データとして分割した。


# マルチモーダル OCR 特徴を用いた Dynamic Pointer Network によるテキスト付き画像説明文生成

植田有咲 Wei Yang 杉浦孔明
慶應義塾大学
\{arinko31,wei.yang,komei.sugiura\}@keio.jp

## 概要

テキスト情報を含む画像の説明文生成は視覚のバ リアフリー化を実現するための重要な課題の一つで ある. 本研究では, テキスト情報を含む画像に対し て説明文を生成するタスクに対して,マルチモーダ ル OCR 特徴を含む複数のモダリティを利用した画像説明文生成モデルを提案する. 提案手法では画像中のテキスト領域を複数のモダリティに分割するマ ルチモーダル OCR 特徴を導入する.さらに, 画像, 物体領域, マルチモーダル OCR 特徴を含む複数モダリ ティ間の関係をモデル化するための相互注意を導入 する. 提案手法は TextCaps データセットにおいて既存手法を上回る結果を得た。

## 1 はじめに

テキスト情報を含む標識や看板などは日常生活に 多く存在する.テキスト情報を含む画像の説明文生成は, 日常生活における視覚のバリアフリー化を促進する一つの手段である. また, 画像の代替テキス 卜 (alt 属性など) の生成における品質向上にとって 有益である.

以上の社会的背景から, 本研究では TextCaps (Textbased Image Captioning) タスクを扱う. TextCaps タス クはテキスト情報を含む画像に対して OCR (Optical Character Recognition) を利用して説明文を生成する タスクである. 図 1 に提案手法の概要図を示す. 図の 例では, “a store called del's sells soft frozen lemonade" という説明文を生成することが望ましい.

本タスクでは OCR トークンの多面的な視覚言語特徵や, OCR トークンと物体間の関係を考慮する ことが重要である. しかし, 先行研究 [1], [2] ではそ れらの考慮が不十分であり,十分な性能が得られな かった.

そこで本研究では, マルチモーダル OCR 特徴を含 む複数のモダリティを利用した画像説明文生成モデ

図1 提案手法の概要図

ルを提案する.ここでマルチモーダル OCR 特徴と は, OCR により得られたテキストとその画像領域に 関する視覚言語特徴を指すものとする. 提案手法で は, 事前学習済みの CLIP (Contrastive Language-Image Pre-training) [3] モデルを全体画像と OCR トークン の言語特徴量を抽出するために用いる. さらに複数 のモダリティ間の関係をモデル化する相互注意を導入することで, 性能の向上が期待できる.

本研究の新規性は以下の通りである.

・既存手法と異なり, 画像中のテキスト領域を 複数のモダリティに分割するマルチモーダル OCR 特徴を導入する。
- 画像全体, 物体領域, マルチモーダル OCR 特徴 を含す複数モダリティ間の関係をモデル化する ための相互注意を導入する。

## 2 問題設定

本研究では, 画像内のテキスト情報を認識し,それ らに関連する説明文を自動的に生成する TextCaps タ スクを扱う.テキスト情報を含まない画像に対する 画像説明文生成については考慮しないものとする。本タスクの入出力を以下のように定義する.
- 入力 : 画像

-出力 : 画像内のテキスト情報に関連する説明文

図2 提案手法のネットワーク図

## 3 提案モデル

本モデルは 5 つの相互注意と説明文を生成する復号器から構成されている. 図 2 に提案手法のネット ワーク構造を示す. 入力は $\boldsymbol{X}=\left.\{\boldsymbol{X}_{\mathrm{img}}, \boldsymbol{X}_{\mathrm{obj}}, \boldsymbol{X}_{\mathrm{ocr}}\right.\}$ で あり, $\boldsymbol{X}_{\mathrm{img}}, \boldsymbol{X}_{\mathrm{obj}}, \boldsymbol{X}_{\mathrm{ocr}}$ はそれぞれ画像全体, 物体領域, OCR で検出された領域と検出結果を表す.

## 3.1 特徵抽出

画像特徵量 $X_{\text {img }}$ は事前学習済みの CLIPを用いて 特徴量抽出される. CLIP の RN50x4 モデルを用いて 画像全体を符号化し, 画像特徵量 $\boldsymbol{h}_{\text {glob }} \in \mathbb{R}^{640}$ を得る.

さらに, Faster R-CNN [4]を用いて画像から $l$ 個 の物体を検出し, $\boldsymbol{X}_{\mathrm{obj}}$ を抽出し, TextCaps タスクで fine-tuning を行う. 特徴量の次元数は 2048 であり, 抽出された特徴量を $\boldsymbol{h}_{\text {obj, fr }}^{(l)}, \boldsymbol{h}_{\mathrm{obj}, \mathrm{bb}}^{(l)}$ と定義する. $\boldsymbol{h}_{\mathrm{obj}, \mathrm{bb}}^{(l)}$ は物体領域の正規化された座標特徴量を表す.これ らに正規化層を適用し, 最終的な物体特徵量 $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$得る.

$j$ 個の OCRトークンの言語特徴量 $\boldsymbol{h}_{\mathrm{ocr}, 1}^{(j)}$ は FastText 特徴量 $\boldsymbol{h}_{\mathrm{or}, \mathrm{ft}}^{(j)}$ と文字レベルの PHOC [5] 特徴量 $\boldsymbol{h}_{\mathrm{ocr}, \mathrm{ph}}^{(j)}$, CLIP (RN50x4) モデルで OCR トークン特徴量を抽出した $\boldsymbol{h}_{\mathrm{ocr}, \mathrm{c}}^{(j)}$ から構成される. 物体特徴量抽出と 同様に Faster R-CNN を用いて OCR トークンの視覚的特徴量 $\boldsymbol{h}_{\text {ocr,fr }}^{(j)}, \boldsymbol{h}_{\text {ocr,bb }}^{(j)}$ を抽出し, TextCaps タスクで fine-tuning を行う. $\boldsymbol{h}_{\text {ocr,bb }}^{(j)}$ は OCR の画像領域の正規化された座標特徴量を表す. 最終的な OCR の視覚的特徴量を $\boldsymbol{h}_{\mathrm{ocr}, \mathrm{V}}^{(j)}$ と定義する. マルチモーダル OCR 特徵 $\boldsymbol{h}_{\text {ocr,all }}^{(j)}$ を以下のように定義する.

$
\begin{aligned}
\boldsymbol{h}_{\mathrm{ocr}, \mathrm{all}}^{(j)}= & f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ft}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{ft}}^{(j)}+\boldsymbol{W}_{\mathrm{ph}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{ph}}^{(j)}+\boldsymbol{W}_{\mathrm{c}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{c}}^{(j)}\right. \\
& \left.+\boldsymbol{W}_{\text {ocr,fr }} \boldsymbol{h}_{\text {ocr }, \mathrm{fr}}^{(j)}+\boldsymbol{W}_{\mathrm{glob}} \boldsymbol{h}_{\mathrm{glob}}\right)+f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ocr}, \mathrm{bb}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{bb}}^{(j)}\right)
\end{aligned}
$

$f_{\mathrm{LN}}$ は正規化層, $\boldsymbol{W}$. は重み行列を表す.また, 画像全体,物体領域, マルチモーダル OCR 特徴を相互注意の入力として用いる。

## 3.2 相互注意

提案手法は画像全体, 物体領域,マルチモーダル OCR 特徴から構成される複数のモダリティを融合 させる 5 つの相互注意から構成される. 相互注意を 以下のように定義する.

$
\begin{aligned}
\boldsymbol{h}_{1}^{\prime} & =\operatorname{softmax}\left(\frac{\boldsymbol{W}_{Q} \boldsymbol{h}_{1}\left(\boldsymbol{W}_{K} \boldsymbol{h}_{1}\right)^{\top}}{\sqrt{d_{k}}}\right) \boldsymbol{W}_{V} \boldsymbol{h}_{1} \\
\boldsymbol{u}_{n} & =\operatorname{ReLU}\left(\boldsymbol{W}_{u} \boldsymbol{h}_{n}^{\prime}\right), \quad n=1,2 \\
\boldsymbol{\alpha}_{m} & =\operatorname{softmax}\left(\boldsymbol{W}_{\alpha}\left(\boldsymbol{u}_{1} \odot \boldsymbol{u}_{2}^{(m)}\right)\right), \quad \boldsymbol{z}=\sum_{m=1}^{M} \boldsymbol{\alpha}_{m} \boldsymbol{h}_{2}^{\prime},
\end{aligned}
$

ここで $\odot$ はアダマール積を表す. $d_{k}=H / A, H, A$ はそれぞれ Transformer モデルの隠れ層の次元数, ヘッド数を表す. $\boldsymbol{W}$. は学習可能な重みを表す. 例と して, 図 2 における 1 つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$ として, $\boldsymbol{h}_{2}^{\prime}$ は $\boldsymbol{h}_{\mathrm{ocr}, 1}^{(j)}$ として定義される. 同様に 2 つ目 では $\boldsymbol{h}_{1}, \boldsymbol{h}_{2}^{\prime}$ はそれぞれ $\boldsymbol{h}_{\mathrm{obj}}^{(l)}, \boldsymbol{h}_{\mathrm{ocr}, \mathrm{v}}^{(j)}$ として定義される. 5 つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\text {ocr,all }}^{(j)}, \boldsymbol{h}_{2}^{\prime}$ は $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$ を表す.

提案手法では画像全体, 物体領域, マルチモーダ ル OCR 特徴を含む複数モダリティ間の関係をモデ ル化するための 2 つの相互注意を導入する.これら の 2 つの相互注意は入力として $\boldsymbol{h}_{2}^{\prime}=\boldsymbol{h}_{\text {glob }}$ を用いる.図2の3つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$ として定義 される. 同様に 4 つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\text {ocr,all }}^{(j)}$ と して定義される.

最終的に, $\boldsymbol{h}_{1}^{\prime} \odot z$ によって 5 つの相互注意から複数モダリティ間の関係をモデル化するための埋め込 み表現を計算する. 得られた埋め込み表現に全結合層を適用し, 相互注意の最終出力とする.

図 3 提案手法の復号器の概要図

## 3.3 説明文生成

図 3 に画像から説明文を生成するための復号器の 概要図を示す. 提案手法では Transformerベースの自己回帰型の復号器を用いて時刻 $t(t=0,1, \cdots, T)$ の トークンを予測する. 復号器の特徴はポインタネッ トワーク (Dynamic Pointer Network) を導入すること により, 予測トークンが固定語彙 $(v=1, \cdots, V)$ また は画像中の OCR トークン $(j=1, \cdots, N)$ から選択さ れることである.

最初の予測トークン $(t=0)$ は, 図 2 の Context Embedding に基づき, 得られる. その後のステップで は, 時刻 $t$ のトークンを予測するために, 時刻 $t-1$ の埋め込み $x_{t}^{\mathrm{dec}}$,および時刻 $t-1$ に予測されたトー クンのタイプ埋め込み $(0$ ：固定語彙, 1 ：OCR トー クン）が用いられる. 時刻 $t-1$ の予測として OCR トークンが選択された場合, $\boldsymbol{h}_{\text {ocr,all }}^{(j)}$ を前時刻で予測 されたトークンの $\boldsymbol{x}_{t}^{\mathrm{dec}}$ として入力する. 一方, 前時刻 の予測が固定語彙から選択された場合, 対応する重 みベクトル $\boldsymbol{w}_{v}^{\mathrm{voc}}$ を入力として用いる. 各時刻 $t$ で, Transformer モデルは現時刻の予測のための入力 $\boldsymbol{x}_{t}^{\mathrm{dec}}$ に対応する $d$ 次元のベクトル $z_{t}^{\mathrm{dec}}$ を出力する. $\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}$ と $\hat{y}_{t, j}^{\text {ocr }}$ は時刻 $t$ での固定語彙または OCR トークン から得られる予測を表す. 時刻 $t$ におけるポインタ ネットワークを用いた固定語彙の予測確率 $p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right)$ または OCR トークンの予測確率 $p\left(\hat{y}_{t, j}^{\text {ocr }}\right)$ は以下のよ うに得られる。

$
\begin{gathered}
p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}} \mid S=S_{\mathrm{voc}}\right)=\operatorname{softmax}\left(\left(\boldsymbol{w}_{v}^{\mathrm{voc}}\right)^{\top} z_{t}^{\mathrm{dec}}\right) \\
p\left(\hat{\boldsymbol{y}}_{t, j}^{\mathrm{ocr}} \mid S=S_{\mathrm{ocr}}\right)=\operatorname{softmax}\left(\left(\boldsymbol{W}_{\mathrm{ocr}} z_{j}^{\mathrm{ocr}}\right)^{\top}\left(\boldsymbol{W}_{\mathrm{dec}} z_{t}^{\mathrm{dec}}\right)\right)
\end{gathered}
$

ここで, $\boldsymbol{w}_{v}^{\mathrm{voc}}$ は固定語彙内の $v$ 番目の d-次元のパ ラメータを表す. $\boldsymbol{W}_{\text {ocr }}$ と $\boldsymbol{W}_{\text {dec }}$ は $\mathrm{d} \times \mathrm{d}$ の重み行列を 表す.

$
\left[p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right) ; p\left(\hat{\boldsymbol{y}}_{t, j}^{\mathrm{ocr}}\right)\right]=\left.\{p\left(\hat{\boldsymbol{y}}_{t, i}^{\mathrm{all}}\right) \mid i=1, \cdots, V+N\right.\}
$

双方の予測確率 $\left[p\left(\hat{y}_{t, v}^{\mathrm{voc}}\right) ; p\left(\hat{y}_{t, j}^{\mathrm{ocr}}\right)\right]$ を考慮し, 固定語彙, 画像内の OCR トークンからなる $V+N$ 個の候補 から最も予測確率が高いトークンを出力とする。

## 4 実験

## 4.1 実験設定

TextCaps データセットを用いて提案手法の性能評価を行った. 28,408 枚のテキスト付き画像に対す る 142,040 文の説明文を含む. 固定語彙は 6,736 語利用した. 説明文の平均語数は 13.47 語である. 我々 は [1] に基づきデータセットを分割した. TextCaps データセットの訓練集合, 検証集合, テスト集合はそ れぞれ 21,953 枚, 3,166 枚, 3,289 枚の画像から構成さ れている. TextCaps タスクではテスト集合の正解文 が公開されていないため, 訓練集合と検証集合のみ を用いた. 評価実験は検証集合を用いて行った. 実験は標準的な手順に従っており, 検証集合はモデル の学習やパラメータの調整には使用されない. 実験 に使用した OCR 特徴は, SBD-Trans [6,7]によって認識されたものである.

提案手法の学習は $32 \mathrm{~GB}$ のメモリを搭載した 4 台 の Tesla V100 GPU で行った. ハイパーパラメータ 設定は [2] と同様である. このモデルは 170,561,578 (171M) の学習可能なパラメータを持ち, 学習に は 12 時間必要であった. BLEU-4 [8], METEOR [9], ROUGE-L [10], CIDEr [11], SPICE [12] という 5 つの 標準的評価手法を用いて評価を行った.

## 4.2 定量的結果

M4C-Captioner [1] と SSbaseline [2] をべースライ ン手法として用いた. ベースライン手法と提案手法の比較実験を行った結果, 提案手法 (条件 (6)) は BLEU-4, SPICE, CIDEr, それぞれ 25.58, 16.60, 99.74 ポイントであり, SSbaseline (BLEU-4: 24.54, SPICE: 15.74, CIDEr: 97.76) に比べて 1, 0.9, 2 ポイント向上 する結果が得られた. さらに, M4C-Captioner との比較ではより顕著な向上が見られた. その上, 2 つの画像に関連する相互注意を導入することによって, 条件 (7) の Ours (full) では, BLEU-4, CIDEr は 0.42 (25.58 $\rightarrow$ 26.00), 0.7 (99.74 $\rightarrow$ 100.44) ポイントそれぞれ性能 が向上した.これらの結果は画像全体, 物体, マルチ モーダル OCR 特徴を含む複数の特徴量間の関係を モデル化する相互注意の導入が性能向上に寄与する ことを示唆している。
表 1 TextCaps タスクにおける定量的結果

(a)

(b)

図4

## 4.3 Ablation Study

画像とマルチモーダル OCR 特徴, および画像に関連する相互注意の有効性を調査するために, ablation study（CLIP-RN50x4 モデルを使用)を3つの条件で 行った. 表 1 に示すように, SSbaseline と条件 (4)を 比較して, CLIP に基づくマルチモーダル OCR 特徴 を導入するだけで CIDEr スコアは約 1 ポイント向上した (97.76 $\rightarrow$ 98.66). また, CLIP を利用した画像特徴量を削除することで性能は大きく低下した（条件 (4) と条件 (7)). しかし, 画像全体の CLIP 特徴を 導入することでべースライン手法に比べ, 全ての評価指標で性能が向上した (条件 (3) と条件 (5)). 例え ば, BLEU-4 は 1 (24.54 $\rightarrow$ 25.58) ポイント, SPICE は $0.8(15.74 \rightarrow 16.54)$ ポイント, CIDEr は 1.6 (97.76 $\rightarrow$ 99.40) ポイント, それぞれ向上した. 提案手法で導入 した CLIP に基づく画像モダリティは TextCaps タス クでの性能を向上させることがわかった.

条件 (3) と条件 (6) を比較すると,複数モダリティ 間の関係をモデル化するための相互注意を取り除く ことで, BLEU-4 と CIDEr のスコアは減少した. この 結果は, 画像全体, 物体領域, マルチモーダル OCR 特徵を含む複数特徴量間の関係をモデル化する相互注意が TextCaps タスクにおいて有効であることを示唆 している。 (a) SSbaseline: a bottle of whitestone stout next to a glass of it Ours: a bottle of [epic] [stout] next to a glass of beer GT: a bottle of epic stout next to a quarter full glass and some snacks

(b) SSbaseline: a book by conan holmes called adventures of sherlock holmes

Ours: a book by [conan] [doyle] called the [adventures] [of] [sherlock] [holmes]

GT: a book cover of the adventures of sherlock holmes by a . conan doyle

## 定性的結果

## 4.4 定性的結果

図 4 に定性的結果を示す. 図 4 (a) ではベースラ イン手法は OCR トークンの “whitestone” と物体の “bottle”間の関係を適切に表現できていない。一方，提案手法では正しい OCR トークン “epic” と “stout” を物体 “bottle” に対して適切に選択した. 図 4 (b) の ベースライン手法は誤った OCR トークンを生成文 で用いた. 例として, “a book by conan holmes” は “a book by conan doyle” となるべきである. 一方で, 提案手法は著者と本のタイトルを適切な OCR トークン を用いて表現できている。

## 5 おわりに

本論文では，テキスト情報を含む画像の説明文生成を行う TextCaps タスクを扱った. 提案手法による 新規性は以下である。

・既存手法と異なり, 画像中のテキスト領域を 複数のモダリティに分割するマルチモーダル OCR 特徴を導入した。

-画像全体, 物体領域, マルチモーダル OCR 特徴 を含す複数モダリティ間の関係をモデル化する ための相互注意を導入した。

・全ての評価指標においてべースライン手法を上回る性能を得た。

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 04269$, JST Moonshot, NEDO の助成を受けて実施されたものである.

## 参考文献

[1] Oleksii Sidorov, Ronghang Hu, Marcus Rohrbach, and Amanpreet Singh. TextCaps: A dataset for image captioning with reading comprehension. In ECCV, pp. 742-758, 2020.

[2] Qi Zhu, Chenyu Gao, Peng Wang, and Qi Wu. Simple is not easy: A simple strong baseline for TextVQA and TextCaps. In AAAI, Vol. 35, pp. 3608-3615, 2021.

[3] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[4] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. NeurIPS, Vol. 28, , 2015.

[5] Jon Almazán, Albert Gordo, Alicia Fornés, and Ernest Valveny. Word spotting and recognition with embedded attributes. IEEE Trans. PAMI, Vol. 36, No. 12, pp. 25522566, 2014.

[6] Yuliang Liu, Sheng Zhang, Lianwen Jin, Lele Xie, Yaqiang $\mathrm{Wu}$, and Zhepeng Wang. Omnidirectional scene text detection with sequential-free box discretization. In IJCAI, pp. 3052-3058, 2019.

[7] Peng Wang, L. Yang, Hui Li, Yuyang Deng, Chunhua Shen, and Yanning Zhang. A simple and robust convolutional-attention network for irregular text recognition. arXiv preprint arXiv: 1904.01375, 2019.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: A method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[9] Satanjeev Banerjee and Alon Lavie. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 6572, 2005

[10] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[11] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based image description evaluation. In CVPR, pp. 4566-4575, 2015.

[12] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: Semantic propositional image caption evaluation. In ECCV, pp. 382-398, 2016.

[13] Yunpeng Luo, Jiayi Ji, Xiaoshuai Sun, Liujuan Cao, Yongjian Wu, Feiyue Huang, Chia-Wen Lin, and Rongrong Ji. Dual-level collaborative transformer for image captioning. In AAAI, Vol. 35, pp. 2286-2293, 2021.

[14] Yehao Li, Yingwei Pan, Ting Yao, and Tao Mei. Comprehending and ordering semantics for image captioning. In
CVPR, pp. 17990-17999, 2022

[15] Xiaowei Hu, Zhe Gan, Jianfeng Wang, Zhengyuan Yang, Zicheng Liu, Yumao Lu, and Lijuan Wang. Scaling up vision-language pre-training for image captioning. In CVPR, pp. 17980-17989, 2022.

[16] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, Silvia Cascianelli, Giuseppe Fiameni, and Rita Cucchiara. From show to tell: A survey on deep learning-based image captioning. IEEE Trans. PAMI, Vol. ISSN 0162-8828, pp. 1-10, 2022.

[17] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, et al. Oscar: Object-semantics aligned pretraining for vision-language tasks. In ECCV, pp. 121-137, 2020.

[18] Xiaowei Hu, Zhe Gan, Jianfeng Wang, Zhengyuan Yang, Zicheng Liu, Yumao Lu, and Lijuan Wang. Scaling up vision-language pre-training for image captioning. In CVPR, pp. 17980-17989, 2022

[19] Zhengyuan Yang, Yijuan Lu, Jianfeng Wang, Xi Yin, Dinei Florencio, Lijuan Wang, Cha Zhang, Lei Zhang, and Jiebo Luo. TAP: Text-aware pre-training for Text-VQA and Text-Caption. In CVPR, pp. 8747-8757, 2021.

## A 付録

## A. 1 関連研究

画像説明文生成の研究は広く行われてい る [13-16]. 従来の画像説明文生成タスクでは, 画像内のテキスト情報の理解が必要となるタスクは少な い $[17,18]$.

テキストに基づいた画像説明文生成 (TextCaps) は, テキスト情報を含む画像に対して説明文を生成する ことを目的とする. そのため, 従来の画像説明文生成 タスクで用いられているような画像ではなく, テキ スト情報を含む画像に特化したタスクである. 故に，一般的な画像理解を目指した従来モデルは本タスク への適用が難しい. テキスト情報が重要となるため, TextCaps タスクでは OCR 特徴と物体領域を大力と して用いるモデルが主流である $[1,2,19]$.


# 大規模言語モデルからの知識抽出に基づく 画像からのスクリプト予測の検討

八木 拓真 ${ }^{1}$ 西村 太一 ${ }^{2}$ 清丸 寛一 ${ }^{2}$ 唐井 希 ${ }^{2}$
1 東京大学生産技術研究所 2 京都大学大学院 情報学研究科
tyagi@iis.u-tokyo.ac.jp kiyomaru@i.kyoto-u.ac.jp
\{nishimura.taichi.43x, karai.nozomu.77c\}@st.kyoto-u.ac.jp

## 概要

画像からそれが示す場面で行われるスクリプト （典型的なイベント系列）を予測するタスクを提案 する. 画像が示す状況に対応したスクリプトを想起 することにより，エージェントが状況に応じた適切 な行動理解や支援を行うことが期待できる. 本稿で は，画像からのスクリプト予測の第一歩として少数 の画像にアノテーションを付与し, その要件と課題 の整理を行う．また，学習済みの視覚言語モデルと 大規模言語モデルを組み合わせることによる画像か らのスクリプト予測の可能性を検討する。

## 1 はじめに

人と AI が共存する社会の実現にあたり，ロボッ トなどのエージェントが場の状況に応じて適切に 振る舞うことは重要である。人はある場面に遭遇し た際，その場面に対応したスクリプト（典型的なイ ベント系列） [1]を想起することで現在の状況をス ムーズに理解し，適切に振る舞える。例えば，レス トランでは一般に席に案内され, 料理を注文し食事後会計をすることが期待できる。従来スクリプトは 文章の論理構造を補完するものとして言語に閉じて 扱われてきた [2]. しかし, 家庭用ロボットなどへ の応用を考えれば，状況が詳細に文章で与えられな くとも，視覚などの外界の入力から直接スクリプト を想起し行動に移せることが望ましい。

本稿では，画像からその場面に対応するスクリプ ト [1]を予測する視覚スクリプトモデルの検討を行 う (図 1). スクリプト知識は宣言的知識と比較して 構造があいまいであり，「レストランで食事を取る」 といった典型的な状況であっても場面により多様な バリエーションを持つ. そのため, モデルの訓練の ために幅広い場面に対するスクリプト知識を人手で

図 1 視覚スクリプト予測の問題設定.

網羅的に収集するのは現実的でない。そこで，本研究では大規模言語モデル [3] (Large Language Model; LLM）から知識を抽出する方法を検討する．LLM は様々な常識推論タスクに回答できることが報告さ れており，典型的な状況におけるスクリプト知識を かなりの程度獲得していると思われる. 画像中の状況をテキストで説明する視覚言語モデルと大規模言語モデルを組み合わせることにより画像とスクリプ トを結び付けられれば，スケーラブルな形で訓練用 のデータを収集できることが期待できる.

本稿では，画像からのスクリプト予測の初期検討 として少数の画像にアノテーションを付与し，視覚 スクリプトモデルの実現のための課題と要件を整理 する。また，学習済みの視覚言語モデルと大規模言語モデルを組み合わせることによる素朴なべースラ インモデルを構築し, (i) 画像およびゴールからのス クリプト予測 (ii) 画像からのゴール予測の 2 種類の タスクに関する予測結果の評価を行う。

## 2 関連研究

## 2.1 大規模言語モデル

近年，個別のタスクに対する専用モデルに代わ り，数百〜数千憶のパラメータを持ち，大規模コー パス上で事前学習された汎用の LLM $[4,5,3,6]$ の有効性が実証されている. LLM は様々な常識推論夕 スクにファインチューニングなしで回答できるう え，モデルに与える入力文（プロンプト）を工夫す ることによりさらに性能を向上できることが報告さ れている [7] が，入出力共にテキストに閉じている ため，単体では実世界に接地した推論は行えない。

また，LLM と同様，大量の動画像とテキストの 組によって事前学習を行う視覚言語モデル (Visual Language Model; VLM）も注目されている [8, 9, 10]. VLM は画像に写る事物の説明や質問応答には長け ているものの，画像に直接写らない文脈や手続きの 認識はごく少数の初期検討 [11]があるのみで十分に は検討されていない.

## 2.2 イベント系列の予測

家庭用ロボットなどでは，対話を通じて人の指示 を理解し，自身の行動を実行可能な形で推論する必要がある。そこで，言語指示からのスクリプトの予測 $[12,2]$ やユーザの要求に応じた行動のプランニン グ $[13,14,15]$ 等の研究が行われており, LLM の利用も検討されている $[15,16]$. これらは限定的なシ ナリオで具体的な指示が与えられることを前提とし ているが，本研究では様々な場面における画像から スクリプト知識を想起することを目的とする。

## 3 視覚スクリプト

本節では，画像からその場面の観察者または登場人物から見たスクリプトを予測することを視覚スク リプトと定義し，その要件と課題を整理する。

## 3.1 アノテーション

画像はスクリプトに関して何を伝えるだろうか？画像が示す場所はそこで何をすべきかの第一の手掛 かりになる。画像中の物体やその見た目もその場 の属性を示唆し, 例えば高級レストランと家庭的 なレストランとではその備品や内装は大きく異な り，生起するスクリプトも異なる. 画像中に登場す る人物の役割はその人物の行動を規定する。一方，表 1 アノテーション項目の一覧.画像が示す場所名

表 2 アノテーションの統計（カッコ内は標準偏差）.

スクリプトを行う主体がどのような役割を担うか，何をゴールとして行動するかといった内的な情報は 通常画像には含まれず，実応用では観察者（人，口 ボットなど）の経歴や過去の行動に基づきそれらを 補完する必要がある. オクルージョンのため, 不完全な観測から見えない部分を補完する必要もある.

Schank \& Abelson [1] は，登場人物・物体や完了条件といったスクリプトの構成要素を提案しており，本研究においてもそれらが有用と考えた. そこで 彼らの定義を踏襲し, 表 1 に示す項目について画像に対応するスクリプトのアノテーションを行っ た. 題材としては場所認識用データセットである Places365 [17] データセットを用い，大きく (i) 購買 (ii) 室内 (iii) 交通の 3 つの場面を中心に 26 カテゴリ 40 枚を選定した. 各画像について，3人のアノテー タが 1 枚あたり 1 つ以上のスクリプトを付与した. ただし，場所に関しては原則 Places365に既に付与 されている名前を採用した. スクリプトの記述にあ たっては，アノテータが画像が示す状況において誰 （行為者）が何（ゴール）を達成できるかを類推した うえで，それを達成するイベント列を記述した。

## 3.2 アノテーションの分析

表 2 に統計を示す. スクリプトの系列長は概ね 5-6 程度であり，大半の例において主役以外の脇役 が登場した. 登場物体は最大 7 つ程度であり, ゴー ル達成のための不可欠なイベントを簡潔に記した 例が多くを占めた. また，表 3 に図 1 へのアノテー ション例を示す.この例では, プレゼンの準備をす る/カンファレンスでの発表の準備/会議へ参加/発表 を聞くの 4 つのユニークなゴールが付与され，他の 画像についても主役/主役の動機/ゴールの粒度の違 いによる多様性が見られた。一方，購買を伴う場所
表 3 図 1 の画像に対するアノテーション例.

の画像ではゴールが収れんする傾向にあった.

難しさとしては (i) 画像に見える事物とルールや 慣習との関連の非自明さ (ii) 画像に登場しない役割 や物体の補完があった. 例えば，店舗では購買行動 が行われるが，売り物の見た目自体にその行動が結 び付く必然性はなく，物体の組み合わせとしてどの ような場所かを知識により結び付ける必要がある。 また，物を買う場面では通常会計係，伝票やレジス ターが登場するが，それらが明示的に写ることはま れであり, 多くの場合それらを補完する必要があ る. 見える範囲の即物的に記述は不十分であり，見 える範囲を超えた推論の必要性が示唆された.

## 4 実験

前節の議論で，画像中の情報は生起するスクリプ トを規定する一方その関係は間接的であることが 示された. そのため視覚スクリプト生成において も LLM に含まれる豊富な知識を活用することが望 ましい，画像情報を反映したスクリプトを実際に LLM を用いて生成できるのか？どの要素が正しい 生成に寄与するのか？上記の初期検討として，VLM と LLM を素朴に組み合わせたべースモデルを提案 し 2 種類のタスクによる評価を行った.

## 4.1 画像とゴールからのスクリプト予測

まず，画像とゴールなどの付加情報から LLM を 通じてスクリプトを生成できるかを検証した。

モデル LLM はテキストのみを受け付けるため，画像情報を LLM に入力可能な形に変換する必要が ある. そこで，最新の画像説明文生成モデル [9] に より説明文を生成し LLM の入力として用いるモデ ルを提案する. 図 2 に模式図を示す. まず，入力画像の見える範囲での説明文を画像説明文生成モデ ル [9] を用いて生成し，画像をテキスト情報に変換

する．続いて，前節で付与した情報のうち場所，主役およびゴールを説明文と共に LLM のためのプロ ンプト（入力文）として構成し，それを LLMを通 すことによってスクリプトを得る．入力方法には LLM で一般に用いられる in-context learning [3] を採用し，1 サンプルに関する見本を与えたのちスクリ プトをイベント列として出力させた.

実装と比較条件 画像からの説明文生成には最新のモデルとして BLIP-Large [9]を使用し，LLM は GPT-3（text-davinci-003） [3] と OPT（OPT-175B） [6] の 2 種類を比較した. また，入力情報の種類による 違いを見るため GPT-3 では (a) 場所名のみ (b) ゴー ルのみ (c) 説明文のみの 3 種類の ablation を行った.具体的な予測例は付録表 6 を参照のこと。

評価指標 一場面に対応するスクリプトは多様で あり，自動評価は難しい。そこで前項のアノテー ションのうち類似のゴールを除いた 40 画像 65 サ ンプルに対しスクリプトを生成し，著者らのうち 2 名の人手評価により合理性（スクリプトとして妥当 か)，適切さ（ゴール・画像に照らして適切か）の 3 指標を二値で判定しその平均を取った。

結果 表 4 に結果を示す. 画像説明文およびゴー ルなどの付加情報を与えた LLM はゴール・画像の 両者に対して高い適切さを報告し，GPT-3を用い

図 2 VLM とLLM の結合による画像からのスクリプト予測の模式図. 本稿ではVLM を通して生成した説明文および人手で付与した付加情報を組み合わせてプロンプトを生成し，それをLLM に通してスクリプトを予測する.

図 3 場所名および説明文からのゴール予測.

た場合にはほぼ望ましいスクリプトを生成した。 OPT-175B も概ね同様の挙動を示したものの不自然 な動作を繰り返す，扱う物体や行動を取り違えると いった誤りを示した. 多くのスクリプトは場所に依存するため，場所名のみを与えた場合も $81.3 \%$ と画像に対する高い適切さを示した。しかしながら，路上の市場の画像に対して高級レストランと同様のや りとりを提示するなど，場所名のみからは読み取れ ない文脈において不適切なスクリプトを生成した。 ゴールと説明文をそれぞれ単体で与えた場合も同様 で，前者では店舗で会計しない，後者では目に見え る物体を用いたランダムな行動を行うなどのエラー が見られ，場所情報に画像から得られる情報を加え ることでよい生成ができることを確認した.

## 4.2 画像説明文からのゴール予測

前項はスクリプトの生成に注目し主役およびゴー ルを既知としたが，それらも自動生成できれば場所認識含め全処理を自動化できる。そこで類似の枠組 みで説明文と場所からのゴール予測を評価した。

モデルと評価 前項のモデルと同様の枠組みを採用した. 図 3 にLLM 部のプロンプトと出力の例を 示す. 今回は 3 つのゴールを出力するようなプロン プトを与えた. LLM は GPT-3を使用し，(a) 場所名 のみ (b) 説明文のみ (c) 場所名+説明文の 3 条件を比較した。評価指標としては前項と同様ゴールとして の適切さおよび場所・画像に対する適切さを項目ご とに二值で判定し，その平均を取った。

結果 表 5 に結果を示す. 我々の予想に反し，場所名のみを与えた場合に高い適切さを示した。スク リプト中のイベントより高い抽象度でのゴールは画像の即物的な説明より場所による影響が大きかった からと思われる．失敗例としては，惣菜店でウェイ ターが料理を給仕するなどの不適当な登場人物や,犬がおもちゃで遊ぶといったスクリプトの条件を満 たさない場合等があった. しかしながら，多くのサ ンプルにおいて適切な役割とゴールを生成できたこ とから，指示文や画像説明文の生成方法の工夫次第 でより性能を伸ばせると考えられる。

## 5 結論と将来展望

画像からその場面に対応するスクリプトを予測す る問題に初めて取り組み，アノテーションの付与お よび画像からのスクリプト・ゴール認識の初期検討 を行った。評価を通じて VLM と LLM の素朴な結合モデルが画像に対応したスクリプトを概ね正し く生成できることを確認し，LLM からの知識抽出 の可能性を示した. 今後は (i) より大規模の評価用 コーパスの作成 (ii) 洗練されたプロンプティングに よる制御可能なスクリプト生成 (iii) 陽な説明文を介 さない，VLM とLLMを融合した視覚スクリプト予測モデルの実現を目指す.

## 謝辞

本研究は JST ACT-X JPMJAX22AJ の支援を受けた ものです.

## 参考文献

[1] Roger C Schank and Robert P Abelson. Scripts, plans, goals, and understanding: An inquiry into human knowledge structures. Psychology Press, 1977.

[2] Keisuke Sakaguchi, Chandra Bhagavatula, Ronan Le Bras, Niket Tandon, Peter Clark, and Yejin Choi. proScript: Partially ordered scripts generation. In Proc. Findings of EMNLP, pp. 2138-2149, 2021.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Proc. NeurIPS, pp. 1877-1901, 2020.

[4] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL-HLT, pp. 4171-4186, 2019.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020

[6] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. OPT: Open pre-trained transformer language models. arXiv preprint arXiv:2205.01068, 2022.

[7] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Proc. NeurIPS, 2022.

[8] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In Proc. ICML, pp. 8748-8763, 2021.

[9] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi. Blip: Bootstrapping language-image pre-training for unified visionlanguage understanding and generation. In Proc. ICML, pp. 12888-12900, 2022 .

[10] Jianfeng Wang, Zhengyuan Yang, Xiaowei Hu, Linjie Li, Kevin Lin, Zhe Gan, Zicheng Liu, Ce Liu, and Lijuan Wang. GIT: A generative image-to-text transformer for vision and language. TMLR, 2022

[11] Rowan Zellers, Yonatan Bisk, Ali Farhadi, and Yejin Choi. From recognition to cognition: Visual commonsense reasoning. In Proc. CVPR, pp. 6720-6731, 2019

[12] Qing Lyu, Li Zhang, and Chris Callison-Burch. Goal-oriented script construction. In Proc. INLG, pp. 184-200, 2021.

[13] Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Chuyuan Fu, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Daniel Ho, Jasmine Hsu, Julian Ibarz, Brian Ichter, Alex Irpan, Eric Jang, Rosario Jauregui Ruano, Kyle Jeffrey, Sally Jesmonth, Nikhil Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Kuang-Huei Lee, Sergey Levine, Yao Lu, Linda Luu, Carolina Parada, Peter Pastor, Jornell Quiambao, Kanishka Rao, Jarek Rettinghouse, Diego Reyes, Pierre Sermanet, Nicolas Sievers, Clayton Tan, Alexander
Toshev, Vincent Vanhoucke, Fei Xia, Ted Xiao, Peng Xu, Sichun $\mathrm{Xu}$, Mengyuan Yan, and Andy Zeng. Do as i can and not as i say: Grounding language in robotic affordances. In Proc. CoRL, 2022.

[14] 田中翔平, 湯口彰重, 河野誠也, 中村哲, 吉野幸一郎. 気の利 いた家庭内ロボット開発のための曖昧なユーザ要求と周囲の状況の収集. 情報処理学会研究報告, Vol. 2022-NL-253, No. 5, pp. 1-7, 2022.

[15] Wenlong Huang, Pieter Abbeel, Deepak Pathak, and Igor Mordatch. Language models as zero-shot planners: Extracting actionable knowledge for embodied agents. In Proc. ICML, pp. 9118-9147, 2022.

[16] Ishika Singh, Valts Blukis, Arsalan Mousavian, Ankit Goyal, Danfei Xu, Jonathan Tremblay, Dieter Fox, Jesse Thomason, and Animesh Garg. ProgPrompt: Generating situated robot task plans using large language models. arXiv preprint arXiv:2209.11302, 2022 .

[17] Bolei Zhou, Agata Lapedriza, Aditya Khosla, Aude Oliva, and Antonio Torralba. Places: A 10 million image database for scene recognition. TPAMI, pp. 1452-1464, 2017.
表 6 図 2 の画像に対する VLM とLLM を用いたスクリプトの生成例.

Location: conference center

Role: Speaker

Scene description: Rows of chairs and chairs in a room with chairs and a projection screen.

Task: Present at a conference

Step 1: Greet the moderator and other speakers

Step 2: Check the connection between the computer and the screen and speaker

Step 3: Listen to other speakers' presentations until the stage

Step 4: At your turn, stand in front of the platform and connect your laptop.

## AVVLM とLLM を用いたスクリプトの生成例

図 2 の画像に対して VLM と LLM を組み合わせることにより生成したスクリプト文の具体例を表 6 に示 す. LLMがより望ましい出力を行うよう、一部の用語はプロンプトでは別の単語に置き換えられている場合がある。上段に入力文を，下段にモデルの応答例を示す. 紙面の都合で応答の改行は省略した. GPT-3 はゴール（buy spices）を達成するための行動を適度に列挙し，そのための手順を適切に生成している. OPT-175B はよりシーンの説明（ボウルに入った食べ物）に注目したスクリプトを生成し，やや流暢さには久 けるが適切と言える. 場所名（outdoor market）のみを与えた場合は市場での典型的な行動を反映しているが 具体性には欠ける．説明文のみを与えた場合には目の前の食べ物を用いてゲストをもてなす等のゴールとは 無関係のスクリプトが生成されている。ゴールのみを与えた場合は確かにスパイスを買うための行動が列挙 されているが，今どのような場所にいるかが不明なためインターネット上での購入方法が書かれており，こ れは画像に照らし合わせて適当ではない。このように，場所・説明文・ゴールのいずれも画像の示す場面に 照らし合わせて適当なスクリプトの生成のために必要な情報であることがわかる.


# クロスモーダル類似度に基づくカリキュラム学習による 画像キャプション生成

張 宏寛 ${ }^{1}$ 菅原 朔 2 相澤 彰子 ${ }^{2}$ 周雷 1 笹野 遼平 1 武田 浩一 1
1 名古屋大学 2 国立情報学研究所
\{zhang.hongkuan.k5, zhou.lei.e1\}@s.mail.nagoya-u.ac.jp
\{saku, aizawa\}@nii.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

画像キャプションモデルには，様々な画像の内容 をテキストで表現するための高度な汎化能力が求 められる. 多くの既存手法では，一般に画像とキャ プションのペアの学習難易度の違いを考慮せず，モ デルの訓練において同等に扱っている. 一方，学習 データの難易度を考慮するカリキュラム学習をキャ プション生成に導入する手法が先行研究で提案さ れているが，難易度の測定には事前の定義や評価モ デルの訓練が必要である。本稿では，シンプルかつ 効率的な学習難易度測定法として，事前学習された Vision-Language モデルによって計算されたクロス モーダル類似度をキャプションデータの難易度と して用いる手法を提案する。COCO および Flickr30k データセットを用いた実験の結果，提案手法は事前定義や追加の学習コストが不要で, ベースライン手法と同等以上の性能・収束速度を達成できることを 示した. さらに，未知のデータやドメイン外のデー タにおいて提案手法は高い性能を示し, 汎化能力の 向上が示唆された.

## 1 はじめに

画像キャプション生成は画像処理や自然言語処理分野で広く研究されている. しかし, 多くの既存手法は，学習用の画像とキャプションのぺアを区別 せず扱っており，データごとの学習難易度の違いが 無視されている. 図 1 に示すように，キャプション データセットでは，スタイルや複雑度が異なる参照文が一般に各画像に複数付与されている. この多様性はモデルの学習に偏りのある難易度を導入し, 難易度の高いデータで訓練されたときにモデルを望ま しくない方向に学習させる可能性がある [1].

カリキュラム学習 (Curriculum Learning; CL) は, 学

図 1 事前学習済み Vision-Language モデル CLIP により計算されたクロスモーダル類似度スコアの例. 赤色と青色の 数字は，それぞれスコアの高い方と低い方を示す.

習難易度に応じた順番でデータをモデルに学習さ せて，モデル性能と収束速度の向上を目指す手法で ある。しかし，CLを用いた画像キャプション生成 の既存手法は，難易度測定に次のような欠点があ る: 1) ドメインの専門知識やヒューリスティックが 必要である点 [2], 2) 二つモーダルの難易度スコア を単純に加算しており，クロスモーダルな特徴を 考慮できていない点 [3]，3) キャプションデータを 用いて評価モデルを事前に訓練する必要がある点 (Bootstrap 手法) [2,1].

本稿では，事前学習済み Vision-Language (VL) モ デルを用いて，シンプルかつ効率的な難易度の測定手法を提案する．多くの VL モデルは，対応する画像とテキストをマッチングする事前学習タスクで訓練されるため, クロスモーダル類似度が計算可能で ある。この類似度は画像とテキストの関連性に対す るモデルの確信度を表し，スコアが低いほど，判定 が難しいか品質が低いデータであることを意味する $[4,5]$. 図 1 に示すように, シンプルな画像や適切な 参照文を含むぺアに高いスコアを与えて，逆に複雑 な画像や関連性が弱い参照文を含むぺアには低いス

コアを与える．本研究では，高いスコアを持つぺア が関連性の高さから学習しやすいデータと考え，簡単なデータから順番にモデルを学習させる.

我々は, COCO [6] および Flickr30k [7] データセッ トを用いた実験の結果，クロスモーダル類似度に基 づくカリキュラム学習で訓練されたモデルが，専門知識や追加の学習コストなしにモデル性能と収束速度の向上を達成することを示した. さらに, 評価対象となるデータの知識を持つ VL モデルを用いると さらに性能が向上した. また, 未知のデータやドメ イン外のデータにおいてより高い精度を達成し, 汎化能力の向上を示した. 最後に, 提案手法をよりシ ンプルなモデルに適用することでも大きな性能改善 が達成され，小さなモデルしか使えない場合でも提案手法が利用可能であることが示唆された.

## 2 関連研究

カリキュラム学習はモデルの汎化性能と収束速度 を向上させる訓練手法として，機械翻訳 $[8,9]$ や画像分類 [10] などの研究に応用されている. データの 学習難易度の測定は，事前定義を行う手法とモデル を利用する手法に分けられる．前者は画像中のオブ ジェクト数 [11] やテキストの長さ [12]などデータの 特徴に基づくヒューリスティックにより測定する。後者はクロスエントロピー[13] やパープレキシティ [14] に基づくモデルの不確実性により測定する.

キャプションデータの難易度測定に関しては, Alsharid ら [3] は超音波画像を用いたキャプション 生成において, 視覚的難易度の測定に Wasserstein 距離を，言語的難易度の測定に TF-IDFを用いて両者 を加算する手法を提案した. Dong ら [1] は複数の Bootstrap モデルを訓練し, 各画像に複数のモデルで それぞれ文生成を行い，生成文の BLEU スコアの平均值を難易度とした. Liu ら [2] は CT 画像のレポー ト生成において医学ドメインのヒューリスティック と Bootstrap モデル両方を用いて難易度を測定した. これらの研究とは異なり, 本研究はクロスモーダル 類似度を利用した効率的な難易度測定法を提案し，一般的なドメインのモデル性能の改善を目指す.

## 3 提案手法

## 3.1 クロスモーダル類似度

クロスモーダル類似度の計算には, ウェブ上の画像-テキストペアで事前訓練された CLIP [15]，およ
び，人手でアノテーションされた画像-キャプショ ンペアで事前訓練された ViLT [16] を用いる. CLIP を用いた類似度の計算では， $P$ 個のパッチを含む画像 $X=\left(x_{1}, \ldots, x_{P}\right)$ と $T$ 個のトークンからなるテキス ト $Y=\left(y_{1}, \ldots, y_{T}\right)$ を与えると，CLIP はそれぞれの モーダルをエンコードして，視覚的な特徴 $\mathbf{x}$ とテキ スト的な特徴 $\mathbf{y}$ を出力する. これらを用いて，類似度を式(1)のように計算する。

$
D_{\text {CLIP_sim }}=\cos (\mathbf{x}, \mathbf{y})
$

一方で，ViLTを用いた類似度の計算では, [class] トークンを先頭とし，画像とテキストの入力を連結 させ，クロスモーダルエンコーダによって式 (2) の ようにエンコードする.

$
\operatorname{ViLT}(X, Y)=x_{[\text {class }]}^{\prime}, x_{1}^{\prime}, \ldots, x_{P}^{\prime}, y_{1}^{\prime}, \ldots, y_{T}^{\prime}
$

そして,この結合表現 $x_{\text {[class] }}^{\prime}$ を, 事前学習済み全結合層 FFN に与え, 類似度を式 (3)のように計算する。

$
D_{\text {ViLT_sim }}=\operatorname{sigmoid}\left(\operatorname{FFN}\left(x_{\text {[class] }}^{\prime}\right)\right)
$

## 3.2 訓練手法

クロスモーダル類似度によってソートされたデー タでモデルを訓練するときには，データを与える スケジュールを定める必要がある. 本論文は, 先行研究で広く使われている Baby Step [12] 学習スケ ジュールを用いる。具体的には，まずソートされた データセットを $L$ 個のサブセットに分割し, 最も簡単なサブセットからモデルを訓練する. そして, 検証セットでモデルの性能が数エポックにわたっても 改善しない場合に，訓練が収束したとみなして，よ り難しいサブセットをマージして訓練を継続する。全てのサブセットをマージして収束を確認したら訓練を終了する．実験では，このスケジュールをすべ ての CL 手法に適用し, 検証セットにおけるモデル の性能に基づいて最適なサブセットの数を調整す る. この提案手法を Simi-CL と呼ぶ.

## 3.3 ベースライン

Addup-CL 各モダリティの難易度を計算して加算する. 提案手法と公平に比較するために，各モダ リティの難易度評価にも事前学習済みモデルを用い る. 具体的には，視覚的な難易度 $D_{v}$ を事前学習済 み物体検出器 BUTD [17], 言語的な難易度 $D_{t}$ を言語モデル GPT-2 [18] で測定し, 両者のスコアを重み
付け和で加算して評価値 $D_{\text {addup }}$ を得る.

$
\begin{aligned}
D_{v} & =-\sum_{k=1}^{K} \sum_{n=1}^{N} p_{k, n} \log p_{k, n}, \\
D_{t} & =-\sum_{t=1}^{T} \log p\left(y_{t} \mid y_{<t}\right), \\
D_{\text {addup }} & =\lambda \times D_{v}+(1-\lambda) \times D_{t} .
\end{aligned}
$

ここで， $K$ は画像から確信度が高い上位 $K$ 個の検出 ボックス， $N$ は検出クラスの種類， $p_{k, n}$ は $k$ 番目の ボックスが $n$ 番目のクラスに分類される確率， $\lambda$ は 重みを表す。

Bootstrap-CL事前に学習および評価の対象とな るデータセットでキャプションモデルを訓練して難易度スコアを算出する．具体的には，評価対象とな るデータの訓練セットを用いて，一般的な訓練手法 でデータの難易度を考慮せずにモデルを学習させ，訓練済みモデルで画像-キャプションペアに対して 文生成のクロスエントロピーを計算する。

$
D_{\text {bootstrap }}=-\sum_{t=1}^{T} \log p\left(y_{t} \mid y_{<t}, X\right)
$

## 4 実験

## 4.1 実験設定

実験は COCO と Flickr30k データセットで行い， ともに Karparthy 分割 [19] を使用し，訓練/検証/テス トセットのデータの割合はそれぞれ $113 \mathrm{k} / 5 \mathrm{k} / 5 \mathrm{k}$ と $29 \mathrm{k} / 1 \mathrm{k} / 1 \mathrm{k}$ とした.キャプションモデルは公開され ているコード [20] に基づく Vanilla Transformer を実装し，ハイパーパラメータの設定は，バッチサイ ズを 10 ，学習率を $3 \mathrm{e}-4$ ， ドロップアウト率を 0.4 と した.

CL 関連の設定について，Baby Step 学習のデータ 分割数 $L$ は，検証セットでの性能に基づいて $\mathrm{COCO}$ と Flickr30kでそれぞれ 5 と 3 とした. Addup-CL の ハイパーパラメータは，物体検出クラスの数 $N$ と検出ボックスの数 $K$ をそれぞれ 1600 と 10 に設定し，

設定した. Simi-CLの類似度計算に用いるモデルは， CLIP-base と ViLT-base 以外に，ViLT の作者から公開 された評価対象となるデータ (COCO と Flickr30k)で 微調整されたモデル (ViLT-CC と ViLT-FL と表記す る) も用いて比較する。性能評価には BLEU-4 [21], METEOR [22]，CIDEr[23]，SPICE [24] の 4 つの指標 を用いる。

図 2 学習中の二つのデータセットの検証セットにおける Vanilla Transformer と CL ベース Transformer の性能曲線.

## 4.2 実験結果

検証セットでのモデルの性能を図 2 に示す. $\mathrm{COCO}$ では，全ての CL 手法が性能を向上させ， Vanilla Transformer の最高精度に達する収束時間が 短くなっていることが分かる．特に，Simi-CL は Bootstrap-CL と比較して追加学習のコストなしに同等の性能を達成でき，また両方とも性能と収束速度 が Addup-CL より優れている. Flickr30k でも同様の 現象が観察できるが，改善の幅が COCO より小さ く, Addup-CL は性能の改善が見られなかったため， CL 手法がより大きなデータセットに対して効果的 であることが推測される.

テストセットでのモデルの性能を表 1 に示す， CL ベースモデルの性能は検証セットと類似して いる．Simi-CLのうち，ViLT-base を用いる場合は， Bootstrap-CL と同等の性能に達しているが，大量の データから事前学習された CLIP-base の性能より 下回っている．しかし，各評価対象となるデータ セットで微調整された ViLT モデルを用いる場合は， ViLT-base や CLIP を上回る性能が達成されており，評価対象となるデータの知識を持つ教師モデルがカ リキュラムの設計に役立つことが分かる.

## 4.3 考察

まず，カリキュラム学習されたモデルの汎化性能を考察するために，先行研究 [25] を参照して分布外データセットによる評価を行った。具体的に は，COCO で訓練された最高性能のモデルを用い て，Flickr30k のテストセットでキャプションを生成して評価した，結果を表 2 に示す. Simi-CL に よって学習されたモデルの性能が Vanilla モデルと Bootstrap-CL 手法を上回り，汎化能力が向上してい ることが分かる.

表 $1 \mathrm{COCO}$ と Flickr30kにおけるべースライン手法と提案手法で訓練されたモデルの性能の比較. B @ $4 ， \mathrm{M}, \mathrm{C}, \mathrm{S}$ はそ れぞれ BLEU-4，METEOR，CIDEr，SPICEを表す。

表 2 COCOにおける最高性能のモデルを用いて Flickr30k でテストした結果.

表 3 COCO における最高性能のモデルを用いて Nocaps の検証セットを評価した結果.

次に，カリキュラム学習されたモデルの困難な データにおける性能を測定するため, Nocaps [26] データセットでモデルの性能を評価した. Nocaps では，COCOにおける画像のオブジェクトの種類と 一致，部分一致および不一致の画像を含んでおり， その一致度に基づいてデータセットを in-domain, near-domain と out-domain というサブセットに分割 した. Nocaps の設定に基づき，COCO で訓練された 最高性能のモデルを用いて各サブセットでモデル の性能を測定した. 表 3 に示される結果から，全て のサブセットで Simi-CL は Bootstrap-CL より高いス コアを達成し，特に困難な near-domain と out-domain サブセットで CIDEr スコアを大幅に向上させること が分かった.

最後に，Simi-CL が異なるアーキテクチャのモデ

表 4 Simi-CLを異なるアーキテクチャのモデルに適用し た場合の COCO における性能.

ルでも有効かどうかを調査するため，LSTM ベー スのモデル BUTD と改良された Transformer モデル AoANet [27] に対しても Simi-CLを適用した. 表 4 に示した結果のように，Simi-CL はよりシンプルな LSTM アーキテクチャに適用したときに改善の効果 がより大きく，カリキュラム学習はサイズが小さい モデルでより効果的であることが示唆された.

## 5 結論

本稿では，カリキュラム学習による画像キャプ ション生成のための, クロスモーダル類似度に基づ く効率的な難易度測定手法を提案した。提案手法で ある Simi-CL はモデルの性能と収束速度を向上さ せ，特に大きなデータセットで効果的であった．ま た，評価対象となるデータセットの知識を持つ VL モデルを用いるとさらに性能が向上した. 考察で は，未知やドメイン外のデータで Simi-CL が最も高 いスコアを達成し, モデルが高い汎化能力を得るこ とが分かった. 最後に，Simi-CLを異なるアーキテ クチャのモデルに適用し，よりシンプルなモデルで も効果が観察されたことから，小さなモデルしか実装できない場合にも応用できることが期待される.

## 参考文献

[1] Xinzhi Dong, Chengjiang Long, Wenju Xu, and Chunxia Xiao. Dual graph convolutional networks with transformer and curriculum learning for image captioning. In ACMMM 2021, pp. 2615-2624, 2021.

[2] Fenglin Liu, Shen Ge, and Xian Wu. Competence-based multimodal curriculum learning for medical report generation. In ACL-IJCNLP 2021, pp. 3001-3012, 2021.

[3] Mohammad Alsharid, Rasheed El-Bouri, Harshita Sharma, Lior Drukker, Aris T Papageorghiou, and J Alison Noble. A course-focused dual curriculum for image captioning. In ISBI 2021, pp. 716-720, 2021.

[4] Hwanhee Lee, Seunghyun Yoon, Franck Dernoncourt, Trung Bui, and Kyomin Jung. UMIC: An unreferenced metric for image captioning via contrastive learning. In ACL-IJCNLP 2021, pp. 220-226, 2021.

[5] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: A reference-free evaluation metric for image captioning. In EMNLP 2021, pp. 7514-7528, 2021.

[6] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server. arXiv preprint arXiv:1504.00325, 2015.

[7] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. TACL, Vol. 2, pp. 67-78, 2014.

[8] Emmanouil Antonios Platanios, Otilia Stretcu, Graham Neubig, Barnabas Poczos, and Tom Mitchell. Competence-based curriculum learning for neural machine translation. In NAACL-HLT 2019, pp. 1162-1172, 2019.

[9] Xuebo Liu, Houtim Lai, Derek F. Wong, and Lidia S. Chao. Norm-based curriculum learning for neural machine translation. In ACL 2020, pp. 427-436, 2020.

[10] Liuyu Xiang, Guiguang Ding, and Jungong Han. Learning from multiple experts: Self-paced knowledge distillation for long-tailed classification. In ECCV 2020, pp. 247-263, 2020

[11] Yunchao Wei, Xiaodan Liang, Yunpeng Chen, Xiaohui Shen, Ming-Ming Cheng, Jiashi Feng, Yao Zhao, and Shuicheng Yan. STC: A simple to complex framework for weakly-supervised semantic segmentation. TPAMI 2016, pp. 2314-2320, 2016.

[12] Valentin I Spitkovsky, Hiyan Alshawi, and Dan Jurafsky. From baby steps to leapfrog: How "less is more" in unsupervised dependency parsing. In NAACL-HLT 2010, pp. 751-759, 2010.

[13] Benfeng Xu, Licheng Zhang, Zhendong Mao, Quan Wang, Hongtao Xie, and Yongdong Zhang. Curriculum learning for natural language understanding. In ACL 2020, pp. 6095-6104, 2020.

[14] Yikai Zhou, Baosong Yang, Derek F Wong, Yu Wan, and Lidia S Chao. Uncertainty-aware curriculum learning for neural machine translation. In ACL 2020, pp. 6934-6944, 2020.

[15] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya
Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML 2021, pp. 8748-8763, 2021.

[16] Wonjae Kim, Bokyung Son, and Ildoo Kim. Vilt: Visionand-language transformer without convolution or region supervision. In ICML 2021, pp. 5583-5594, 2021.

[17] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR 2018, pp. 60776086, 2018.

[18] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, p. 9, 2019.

[19] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR 2015, pp. 3128-3137, 2015.

[20] Ruotian Luo, Brian Price, Scott Cohen, and Gregory Shakhnarovich. Discriminability objective for training descriptive captions. In CVPR 2018, pp. 6964-6974, 2018.

[21] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL 2022, pp. 311-318, 2002.

[22] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pp. 74-81, 2004.

[23] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR 2015, pp. 4566-4575, 2015.

[24] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Spice: Semantic propositional image caption evaluation. In ECCV 2016, pp. 382-398. Springer, 2016.

[25] Antonio Torralba and Alexei A Efros. Unbiased look at dataset bias. In CVPR 2011, pp. 1521-1528, 2011.

[26] Harsh Agrawal, Karan Desai, Yufei Wang, Xinlei Chen, Rishabh Jain, Mark Johnson, Dhruv Batra, Devi Parikh, Stefan Lee, and Peter Anderson. Nocaps: Novel object captioning at scale. In ICCV 2019, pp. 8948-8957, 2019.

[27] Lun Huang, Wenmin Wang, Jie Chen, and Xiao-Yong Wei. Attention on attention for image captioning. In ICCV 2019, pp. 4634-4643, 2019.


# 事前学習モデルを活用した End-to-end 型動画キーフレーム物語生成法

仲村祐希 $1 *$ 工藤慧音 $1 *$ 鈴木潤 $1 \quad$ 清水伸幸 2
1 東北大学 2 ヤフー株式会社
\{keito.kudo.q4, yuki.nakamura.r1\}@dc.tohoku.ac.jp jun.suzuki@tohoku.ac.jp
nobushim@yahoo-corp.jp

## 概要

深層ニューラルネットワークや事前学習済みモデ ルの発展に伴って視覚および言語の横断タスクが 多くの研究分野にて注目されている。映像と言語の 融合領域タスクの一つとして「動画キーフレーム物語生成タスク」が提案されている。このタスクは指定した数のキーフレームと，それに対応する説明文 を用いて，動画全体の要約を生成するタスクと言え る. 本研究では, 既存のベースラインモデルの改善 に加えて，新たに End-to-end での動画キーフレーム 物語を生成する手法である解候補制約付き生成法を 提案する. 実験の結果，提案法は改善したべースラ インモデルに比べて，キーフレームの選択精度は劣 るものの，生成された説明文の質はベースラインモ デルに比べて向上する結果となった.

## 1 はじめに

本研究では，映像と言語の融合タスクの一つであ る動画キーフレーム物語生成タスク [1] に着目し,更なる性能向上のため新たな方法論の確立を目指 す. 動画キーフレーム物語生成タスクは，動画要約 タスクの一種で，簡潔に述べると動画を絵コンテの ように数枚の画像と説明文で説明するタスクであ る.このタスクの難しさは，キーフレームの相対的 な重要度を考慮しつつ, 対応する説明文も生成しな くてはならない点である. キーフレームと説明文は 相互依存関係にあり，どちらかが決まるともう一方 も決まるといった関係である。よって，キーフレー ムと説明文は理想的には同時に予測する必要があ る. 本タスクのベースライン法を提案している文献 [2] では，同時予測が計算コスト面でも実装面で も困難であることから，問題を分解してキーフレー

ムの抽出と説明文の生成を独立に実施するモデル を本タスクのベースラインとして提案している。本研究では，まずベースラインの改良として，キーフ レームの抽出と説明文の生成の一方を固定し交互に 反復して予測する方法を提案する。また，本タスク の性質に適した新しい方法論として，事前学習済み モデルを活用した End-to-end 方式のモデルも提案す る. 従来のベースラインの改良と End-to-end 方式の 提案法を本タスクのデータを用いて評価し, その有効性を検証する。

## 2 動画キーフレーム物語生成タスク

概要. 最も有名な映像と言語の融合タスクは,動画説明文生成タスクと考えられる $[3,4]$. また, その発展タスクとして，動画から一連のシーンを抽出し，そのシーン単位に説明文を付与するタスクを Dence Video Captioning (DVC) と呼ぶ $[5,6,7,8,9]$. 本研究で取り上げる動画キーフレーム物語生成タスク は，DVC タスクをより現実の利用場面に合わせて改良したタスクに位置付けられる。より具体的には， 1つの動画に対してその内容を表現する上で重要と 思われるキーフレームを抽出し，更に各キーフレー ムに対応する説明文を生成し，動画を数枚のキーフ レームと説明文で絵コンテのように瞬時に理解可能 な形で提示するタスクである。この時，抽出すべき キーフレームと説明文のペアの数 $N$ は，事前に与え られることを前提とする。

評価方法 動画キーフレーム物語生成タスクを提案した文献 [1] に従い，抽出したキーフレームの評価には，正解と予測結果のキーフレーム間の一致度合い計測する aligned key-frame matching (AKM) スコアを用いる。また，説明文の評価には，正例 と予測結果の説明文間の一致度合いを計測する METEOR [10] を用いる. 本研究では, 説明文の評

図 1 ベースラインモデルの概要

価指標として，更にニューラル言語モデルをべー スとした評価指標である BLEURT [11]を追加する。 これは，説明文間の意味的な類似性をより評価する ためである．各動画ごとに，正例となるキーフレー ムと説明文のペアは $N$ 個以上存在することから，評価時には，モデルが生成した $N$ 個のキーフレームと の $A K M_{c o s}$ が最大となる $N$ 個の評価データのキーフ レームと説明文に対して，各種評価指標を用いた評価を行う，詳細な定義は，これまでの研究に関する 文献 [2]を参照されたい。

## 3 評価データの改善

文献 [1] にて構築されたデータは, ActivityNet Captioning [5] のデータを拡張して作成されたもので ある. 基本的にクラウドワーカーが作成したデータ のため，評価データ中に低品質な説明文が散見され る.そのため, 潜在的にシステムの性能を正しく評価できない可能性がある．そこで，本研究では評価 データの改善も合わせて実施した. 具体的には，英語母語話者のいる信頼性の高いデータ作成業者に,元データの部分集合に対して正解説明文の再付与を 依頼した. 最終的に，442 動画に対して高品質な説明文を付与した評価データを構築した。

## 4 ベースラインモデル概要

本研究では，本タスクにおけるべースラインとし て提案されたモデル [2]をキーフレームの抽出と説明文の生成を一方を固定し交互に反復して予測する ように改良を加えたものを新たなべースラインとし て用いる. 図 1 に本研究で用いるべースラインモデ ルの概要を示す.

## 4.1 システムの概要

改良したベースラインモデルは次の 4 つの要素か ら構成される。

セグメント抽出モジュール 動画を入力として動画をシーンごとに複数のフレームをまとめたセグ メントに分割する．セグメント抽出モジュールとし て, 既存研究のベースラインモデル [2] で利用した Masked Transformer に加えて [9], 動画処理のツール である PySceneDetect ${ }^{11}$ を用いた. このモジュールに よって $N$ 個以上のセグメントを生成する.

画像説明文生成モジュール 候補となるフレーム に対して，事前学習済みの画像説明文生成モデル を使って説明文を生成する，事前学習済みの画像説明文生成モデルとして, fairseq-image-captioning ${ }^{2)}$, clipcap [12], clip-reward [13] を利用する。それぞれ のモデルは, 本研究で用いるデータセット [1] に含 まれれるキーフレームと説明文を用いて微調整す る3).

キーフレーム検出モジュール セグメントと先に 選択したフレームに対する説明文を入力として，セ グメントの中から説明文にマッチするフレームを予測する. 既存研究 [2] と同様に双方向 LSTM により 構築したモデルを利用する。セグメント内の全ての フレームを ResNet200 [14] と BN-inception [15]を用 いて特徴量としたものと，説明文を BERT [16]を用 いて特徴量に変換したものを連結した系列を入力と して, 各フレームがキーフレームか否かの 2 值分類 を行うモデルである.

候補選択モジュール 既存研究 [2] と同様, セグ メントと説明文のペアを受け取り， $N$ 個のペアを 選択する．選択の指標として，セグメント抽出モ

図 2 解候補制約付き生成法のモデルの概要.

ジュールによって計算されたセグメントのスコア4) と, 画像説明文生成モジュールによって計算された 説明文の龙度の和を用いる. 動的計画法を用いて， この指標の和が最大となるように，できるだけセグ メントの時間的重複が発生しないように $N$ 個のセ グメントと説明文のペアを選択した. 選ばれたセグ メントのフレーム (キーフレーム) および説明文が ベースラインモデルの最終的な出力となる.

ベースラインモデルはこれら４つのモジュールを 利用し, 以下の手順で $N$ 個のキーフレームと説明文 を選択・生成する。

1. セグメント抽出モジュールを用いて，入力動画 をセグメントに分割する。

2. 分割された全てのセグメントの中央のフレーム に対して，画像説明文生成モジュールを用いて 説明文を生成する。

3. 生成された説明文とセグメントを入力として, キーフレーム検出モジュールにより説明文に最 も合うフレームを選択する。

4. 各セグメントから選ばれたフレームを入力とし て再び，画像説明文生成モジュールにより説明文を生成する。

5. 3.，4.を $l$ 回繰り返す (本研究では全ての設定 において $l=4$ で固定した).

6. 候補選択モジュールにより選択されたキーフ レームと説明文をモデルの出力とする.

## 5 解候補制約付き生成法

本研究では，新たに事前学習モデルを活用した End-to-end 型の手法である解候補制約付き生成法を 提案する.この手法ではフレームに分割した動画を 入力として $N$ 個のキーフレームの選択と説明文の ペアを生成を行うモデルを学習する. キーフレーム と説明文は異なるモーダルの情報であるが，提案法 のモデルは 1 つの系列として処理を行う．解候補制

4) Masked Transformer のセグメントのスコアはモデルから出力されるスコア, PySceneDetect のスコアは 1 で固定とした.約付き生成法の詳細は付録 Aを参照されたい。

## 5.1 アーキテクチャと入出力

モデルのアーキテクチャとして Transformer [17] のエンコーダ，デコーダをべースとし， 入力系列長 などを変更したモデルを利用する.

モデルの概要を図 2 に示す. 動画から 0.5 秒ごと にサンプリングした全てのフレームを CLIP [18] の 画像エンコーダを用いて特徴量ベクトルとし, 解候補制約付き生成モデルのエンコーダに入力する. 出力はその動画を要約した $N$ 個のキーフレームとな るフレームのインデックスとそれに対する説明文の ペアである. デコーダは一度の推論で，キーフレー ムとそれに対応する説明文のペア $N$ 個を 1 つずつ生成（選択）するように学習させる（図 2）.デコーダ へは大力がテキストトークンの場合，そのトークン に対応する埋め込みを入力とする。一方，入力がフ レームの場合，フレームを CLIP の画像エンコーダ によって特徴量に変換したもの入力とする. デコー ダは通常の系列変換モデルと同様に, 次のテキスト トークンを予測するか，どのフレームを選択すべき かを表すフレームのインデックスを予測する.

## 5.2 学習方法

事前学習 MS COCO キャプションデータセッ ト [19]を用いて，疑似的な動画キーフレーム物語生成データセットを作成し事前学習を行なう.これに より，モデルの生成文の質の向上を目指す.

微調整 これまでの研究 [1]において付与された アノテーションを元に, 各動画から $N$ 個のキーフ レームと説明文のペアを 8 パターンサンプリングし 学習データとして用いた。

## 5.3 推論時

初めに，動画からサンプリングした全てフレーム に対し，4 節で用いたものと同様の，事前学習済み 画像説明文生成モデルを用いて説明文の生成を行な
表 1 ベースラインモデルおよび解候補制約付き生成法の各評価スコア. AKM $\mathrm{exx}_{\mathrm{ex}}$ は AKM $\mathrm{cos}_{\mathrm{cos}}$ が最大となるようにマッチング した正解フレームに対して，一致しているキーフレームの割合を表す。

う.その後，特徴量に変換した全てのフレームをモ デルのエンコーダへの入力とし,$N$ 個 のキーフレー ムと説明文のペアの候補を生成した際の尤度を元 に，モデルは最終的な出力を行う.

サンプリングされた全てのフレームとそれらに 付与された説明文の中から $N$ 個の説明文とキーフ レームを選択する組み合わせは膨大に存在するた め，全ての組み合わせについて尤度の計算を行うの は計算量的に困難である. そこで，1つの説明文と フレームのペアに対する尤度の計算を 1 単位とした ビームサーチを行いながら，最終的に $N$ 個のキーフ レームと説明文に対する尤度の計算を行なう. ${ }^{5}$

## 6 動画キーフレーム物語生成実験

データセット 訓練データは文献 [1] で提案され たものを用いた．ただし，評価データに関しては 3 節で説明した，説明文を改善したデータを用いた。

実験設定 基本的な実験設定は既存研究 [2] に 従った. $A K M_{c o s}$ の計算に用いる画像の特徴量べクト ルは ResNet200 [14]を用いた. 説明文の評価の前処理として Moses[20] の lowercase.perl と tokenizer.perl ${ }^{6)}$ を用いてトークナイズを行った. なお, 説明文の評価は出力された $N$ 個の説明文をビデオ単位で一つ に連結してから各評価スコアを算出した. 最終的に 一つの動画から出力するキーフレームとキャプショ ンのペアの数 $N$ は 4 とした.

## 6.1 実験結果

表 1 にベースラインモデルおよび解候補制約付き 生成法における評価結果を示した。

まず， $A K M_{\cos }$ および $A K M_{e x}$ についてはべースライ ンモデルの方が総じてスコアが高く，より良いキー フレームを選択できていることが分かった. キーフ レームの選択において, ベースラインモデルの方が
スコアが高かった理由として，動画をセグメント単位に区切ってから処理していることが挙げられる.解候補制約付き生成法は，動画全体のフレームを入力としているため，キーフレームの候補が多い. そ のため, キーフレームを当てるのが困難であり, 解制約付き生成法のスコアが低かったと考えられる。次に，生成した説明文の評価については概ね解候補制約付き生成法の方がスコアが高いという結果と なった。これは解候補制約付き生成法がキーフレー ムと説明文を同じ系列として処理していることによ る影響ではないかと考えられる。

## 7 おわりに

本研究では，既存の動画キーフレーム物語生成夕 スクに対して, 反復法によるべースラインの改善 と, 事前学習モデルを活用した End-to-end 型の方法論を提案した. 提案法では，事前学習済みの画像説明文生成モデルを活用し, 各フレームに対して網羅的に説明文を生成し，その候補を制約として説明文 の生成とキーフレームを抽出を同時に行う. また，付加的な要素として, 品質の低い評価データを改善 するために，従来の $1 / 10$ 程度の部分集合に対してで はあるが，人手による高品質な説明文を再付与し，再構築した評価データを用いて提案法の有効性を検証する実験を行った. 実験の結果，提案法は改善し たベースラインモデルに比べて，キーフレームの選択精度は劣るものの, 生成された説明文の質はべー スラインモデルに比べて向上する結果となった.

まずは本研究にて End-to-end 型の動画要約法が完成したので，今後は今回の実験で顕著に良い結果が 得られなかったキーフレーム抽出の性能向上を実現 することを目指す。

## 謝辞

本研究は，Yahoo 研究所と東北大学との共同研究

として実施されたものである. また，本研究の一部 （データ作成）は，JST ムーンショット型研究開発事業 JPMJMS2011 の助成を受けて実施されたもので ある。

## 参考文献

[1] 北山晃太郎, 鈴木潤, 清水伸幸. 動画キーフレーム物語生成 タスクの提案とデータセットの構築. 人工知能学会全国大会論文集, Vol. JSAI2021, No. 0, pp. 4I4GS7e03-4I4GS7e03, 2021.

[2] 佐藤俊, 佐藤汰亮, 鈴木潤, 清水伸幸. 動画キーフレーム物語生成手法の提案. 言語処理学会 第 28 回年次大会 発表論文集, Vol. NLP2022, No. 0, 2022.

[3] Subhashini Venugopalan, Marcus Rohrbach, Jeffrey Donahue, Raymond Mooney, Trevor Darrell, and Kate Saenko. Sequence to sequence - video to text. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 4534-4542, 2015.

[4] Subhashini Venugopalan, Huijuan Xu, Jeff Donahue, Marcus Rohrbach, Raymond Mooney, and Kate Saenko. Translating videos to natural language using deep recurrent neural networks. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1494-1504, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[5] Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, and Juan Carlos Niebles. Dense-captioning events in videos. In International Conference on Computer Vision (ICCV), 2017.

[6] Jingwen Wang, Wenhao Jiang, Lin Ma, Wei Liu, and Yong Xu. Bidirectional attentive fusion with context gating for dense video captioning. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7190-7198, 2018.

[7] Yehao Li, Ting Yao, Yingwei Pan, Hongyang Chao, and Tao Mei. Jointly localizing and describing events for dense video captioning. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7492-7500, 2018.

[8] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, and Jianfeng Gao. Oscar: Object-semantics aligned pre-training for vision-language tasks. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, pp. 121-137, Cham, 2020. Springer International Publishing.

[9] Luowei Zhou, Yingbo Zhou, Jason J. Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.

[10] Alon Lavie and Abhaya Agarwal. METEOR: An automatic metric for MT evaluation with high levels of correlation with human judgments. In Proceedings of the Second Workshop on Statistical Machine Translation, pp. 228-231, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[11] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[12] Ron Mokady, Amir Hertz, and Amit H. Bermano. Clipcap: CLIP prefix for image captioning. CoRR, Vol. abs/2111.09734, , 2021.

[13] Jaemin Cho, Seunghyun Yoon, Ajinkya Kale, Franck Dernoncourt,
Trung Bui, and Mohit Bansal. Fine-grained image captioning with CLIP reward. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 517-527, Seattle, United States, July 2022. Association for Computational Linguistics.

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, pp. 770$778,2016$.

[15] Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 448-456, Lille, France, 07-09 Jul 2015. PMLR.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[18] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In ICML, 2021.

[19] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO captions: Data collection and evaluation server. CoRR, Vol. abs/1504.00325, , 2015

[20] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[21] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2019

[22] Bernard Ghanem Fabian Caba Heilbron, Victor Escorcia and Juan Carlos Niebles. Activitynet: A large-scale video benchmark for human activity understanding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 961-970, 2015 .

[23] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019 .
表 2 解候補制約付きモデルの学習設定事前学習

## A 解候補制約付き生成モデルの詳細

アーキテクチャ モデルのアーキテクチャとして， Transformer [17] のエンコーダ，デコーダを用いる. 実装は T5-large [21] をべースとし，入力系列長を 2048 とする. これは, 0.5 秒おきにフレームをサンプリングした場合, 約 17 分の動画ま で全てのフレームを入力することができる長さである. データ セットを構成する動画は最長 20 分で多くの動画が $5 \sim 10$ 分の長 さであり [22], 大半の動画を切り捨てることなく利用できる入力系列長の大きさとした. また，キーフレームの選択を行うための フレームのインデックスを予測するため，最終層の出力次元数を エンコーダの語彙数+入力系列長 (2048) に増加させる. 加えて,入力の画像特徴量の次元数を変換するための線形層も追加する. アーキテクチャの変更がなく利用可能な部分については, 事前学習済みの $\mathrm{T5}^{7}$ ) のパラメータの初期値として学習を行なう。

事前学習 MS COCO キャプションデータセット [19]を用 いて，疑似的な動画データセットを作成し事前学習を行なう。以下の手順で学習に利用する各事例を作成する。

1. MS COCO データセットから $N$ 個の画像と説明文のペアを サンプリングする.

2. エンコーダの入力系列長を長さ 1 以上の $N$ 個の区間に無作為分割する.

3. それぞれの区間から 1 つインデックスを無作為に選択する. このインデックスが $N$ 個の正解のフレームのインデックス となる.

分割した各区間の位置のエンコーダの入力には, 全てその区間の 中の正解フレームと同じ特徴量を入力する. ただし，正解フレー ムのインデックスに入力する特徴量を除いて，以下の式で摂動を 付与する。

$
\text { Noise }=v_{\text {average }} \beta N(0,1)
$

ここで， $v_{\text {average }}$ はミニバッチ内の画像特徴量の全ての数値を平均 したスカラー值である. また, $\beta$ は捸動の大きさを制御するパラ メータであり, 本実験では $\beta=0.05$ に統一した. モデルは $N$ 個 の (ノイズの加えられていない) 正解フレームのインデックスと それに付与された説明文を予測するように学習する。

学習設定 表 2 に学習時のハイパーパラメータを示す.

7） Huggingface Transformers にて公開されているものを利用し た https://huggingface.co/t5-large
ビームサーチアルゴリズム アルゴリズム 1 に解候補制約付き生成モデルのビームサーチを用いた生成アルゴリズム を示す。また，実験では解候補制約付き生成法で用いるビーム幅 は 3 とした.