# クロスモーダル類似度に基づくカリキュラム学習による 画像キャプション生成

張 宏寛 ${ }^{1}$ 菅原 朔 2 相澤 彰子 ${ }^{2}$ 周雷 1 笹野 遼平 1 武田 浩一 1
1 名古屋大学 2 国立情報学研究所
\{zhang.hongkuan.k5, zhou.lei.e1\}@s.mail.nagoya-u.ac.jp
\{saku, aizawa\}@nii.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

画像キャプションモデルには，様々な画像の内容 をテキストで表現するための高度な汎化能力が求 められる. 多くの既存手法では，一般に画像とキャ プションのペアの学習難易度の違いを考慮せず，モ デルの訓練において同等に扱っている. 一方，学習 データの難易度を考慮するカリキュラム学習をキャ プション生成に導入する手法が先行研究で提案さ れているが，難易度の測定には事前の定義や評価モ デルの訓練が必要である。本稿では，シンプルかつ 効率的な学習難易度測定法として，事前学習された Vision-Language モデルによって計算されたクロス モーダル類似度をキャプションデータの難易度と して用いる手法を提案する。COCO および Flickr30k データセットを用いた実験の結果，提案手法は事前定義や追加の学習コストが不要で, ベースライン手法と同等以上の性能・収束速度を達成できることを 示した. さらに，未知のデータやドメイン外のデー タにおいて提案手法は高い性能を示し, 汎化能力の 向上が示唆された.

## 1 はじめに

画像キャプション生成は画像処理や自然言語処理分野で広く研究されている. しかし, 多くの既存手法は，学習用の画像とキャプションのぺアを区別 せず扱っており，データごとの学習難易度の違いが 無視されている. 図 1 に示すように，キャプション データセットでは，スタイルや複雑度が異なる参照文が一般に各画像に複数付与されている. この多様性はモデルの学習に偏りのある難易度を導入し, 難易度の高いデータで訓練されたときにモデルを望ま しくない方向に学習させる可能性がある [1].

カリキュラム学習 (Curriculum Learning; CL) は, 学

図 1 事前学習済み Vision-Language モデル CLIP により計算されたクロスモーダル類似度スコアの例. 赤色と青色の 数字は，それぞれスコアの高い方と低い方を示す.

習難易度に応じた順番でデータをモデルに学習さ せて，モデル性能と収束速度の向上を目指す手法で ある。しかし，CLを用いた画像キャプション生成 の既存手法は，難易度測定に次のような欠点があ る: 1) ドメインの専門知識やヒューリスティックが 必要である点 [2], 2) 二つモーダルの難易度スコア を単純に加算しており，クロスモーダルな特徴を 考慮できていない点 [3]，3) キャプションデータを 用いて評価モデルを事前に訓練する必要がある点 (Bootstrap 手法) [2,1].

本稿では，事前学習済み Vision-Language (VL) モ デルを用いて，シンプルかつ効率的な難易度の測定手法を提案する．多くの VL モデルは，対応する画像とテキストをマッチングする事前学習タスクで訓練されるため, クロスモーダル類似度が計算可能で ある。この類似度は画像とテキストの関連性に対す るモデルの確信度を表し，スコアが低いほど，判定 が難しいか品質が低いデータであることを意味する $[4,5]$. 図 1 に示すように, シンプルな画像や適切な 参照文を含むぺアに高いスコアを与えて，逆に複雑 な画像や関連性が弱い参照文を含むぺアには低いス

コアを与える．本研究では，高いスコアを持つぺア が関連性の高さから学習しやすいデータと考え，簡単なデータから順番にモデルを学習させる.

我々は, COCO [6] および Flickr30k [7] データセッ トを用いた実験の結果，クロスモーダル類似度に基 づくカリキュラム学習で訓練されたモデルが，専門知識や追加の学習コストなしにモデル性能と収束速度の向上を達成することを示した. さらに, 評価対象となるデータの知識を持つ VL モデルを用いると さらに性能が向上した. また, 未知のデータやドメ イン外のデータにおいてより高い精度を達成し, 汎化能力の向上を示した. 最後に, 提案手法をよりシ ンプルなモデルに適用することでも大きな性能改善 が達成され，小さなモデルしか使えない場合でも提案手法が利用可能であることが示唆された.

## 2 関連研究

カリキュラム学習はモデルの汎化性能と収束速度 を向上させる訓練手法として，機械翻訳 $[8,9]$ や画像分類 [10] などの研究に応用されている. データの 学習難易度の測定は，事前定義を行う手法とモデル を利用する手法に分けられる．前者は画像中のオブ ジェクト数 [11] やテキストの長さ [12]などデータの 特徴に基づくヒューリスティックにより測定する。後者はクロスエントロピー[13] やパープレキシティ [14] に基づくモデルの不確実性により測定する.

キャプションデータの難易度測定に関しては, Alsharid ら [3] は超音波画像を用いたキャプション 生成において, 視覚的難易度の測定に Wasserstein 距離を，言語的難易度の測定に TF-IDFを用いて両者 を加算する手法を提案した. Dong ら [1] は複数の Bootstrap モデルを訓練し, 各画像に複数のモデルで それぞれ文生成を行い，生成文の BLEU スコアの平均值を難易度とした. Liu ら [2] は CT 画像のレポー ト生成において医学ドメインのヒューリスティック と Bootstrap モデル両方を用いて難易度を測定した. これらの研究とは異なり, 本研究はクロスモーダル 類似度を利用した効率的な難易度測定法を提案し，一般的なドメインのモデル性能の改善を目指す.

## 3 提案手法

## 3.1 クロスモーダル類似度

クロスモーダル類似度の計算には, ウェブ上の画像-テキストペアで事前訓練された CLIP [15]，およ
び，人手でアノテーションされた画像-キャプショ ンペアで事前訓練された ViLT [16] を用いる. CLIP を用いた類似度の計算では， $P$ 個のパッチを含む画像 $X=\left(x_{1}, \ldots, x_{P}\right)$ と $T$ 個のトークンからなるテキス ト $Y=\left(y_{1}, \ldots, y_{T}\right)$ を与えると，CLIP はそれぞれの モーダルをエンコードして，視覚的な特徴 $\mathbf{x}$ とテキ スト的な特徴 $\mathbf{y}$ を出力する. これらを用いて，類似度を式(1)のように計算する。

$
D_{\text {CLIP_sim }}=\cos (\mathbf{x}, \mathbf{y})
$

一方で，ViLTを用いた類似度の計算では, [class] トークンを先頭とし，画像とテキストの入力を連結 させ，クロスモーダルエンコーダによって式 (2) の ようにエンコードする.

$
\operatorname{ViLT}(X, Y)=x_{[\text {class }]}^{\prime}, x_{1}^{\prime}, \ldots, x_{P}^{\prime}, y_{1}^{\prime}, \ldots, y_{T}^{\prime}
$

そして,この結合表現 $x_{\text {[class] }}^{\prime}$ を, 事前学習済み全結合層 FFN に与え, 類似度を式 (3)のように計算する。

$
D_{\text {ViLT_sim }}=\operatorname{sigmoid}\left(\operatorname{FFN}\left(x_{\text {[class] }}^{\prime}\right)\right)
$

## 3.2 訓練手法

クロスモーダル類似度によってソートされたデー タでモデルを訓練するときには，データを与える スケジュールを定める必要がある. 本論文は, 先行研究で広く使われている Baby Step [12] 学習スケ ジュールを用いる。具体的には，まずソートされた データセットを $L$ 個のサブセットに分割し, 最も簡単なサブセットからモデルを訓練する. そして, 検証セットでモデルの性能が数エポックにわたっても 改善しない場合に，訓練が収束したとみなして，よ り難しいサブセットをマージして訓練を継続する。全てのサブセットをマージして収束を確認したら訓練を終了する．実験では，このスケジュールをすべ ての CL 手法に適用し, 検証セットにおけるモデル の性能に基づいて最適なサブセットの数を調整す る. この提案手法を Simi-CL と呼ぶ.

## 3.3 ベースライン

Addup-CL 各モダリティの難易度を計算して加算する. 提案手法と公平に比較するために，各モダ リティの難易度評価にも事前学習済みモデルを用い る. 具体的には，視覚的な難易度 $D_{v}$ を事前学習済 み物体検出器 BUTD [17], 言語的な難易度 $D_{t}$ を言語モデル GPT-2 [18] で測定し, 両者のスコアを重み
付け和で加算して評価値 $D_{\text {addup }}$ を得る.

$
\begin{aligned}
D_{v} & =-\sum_{k=1}^{K} \sum_{n=1}^{N} p_{k, n} \log p_{k, n}, \\
D_{t} & =-\sum_{t=1}^{T} \log p\left(y_{t} \mid y_{<t}\right), \\
D_{\text {addup }} & =\lambda \times D_{v}+(1-\lambda) \times D_{t} .
\end{aligned}
$

ここで， $K$ は画像から確信度が高い上位 $K$ 個の検出 ボックス， $N$ は検出クラスの種類， $p_{k, n}$ は $k$ 番目の ボックスが $n$ 番目のクラスに分類される確率， $\lambda$ は 重みを表す。

Bootstrap-CL事前に学習および評価の対象とな るデータセットでキャプションモデルを訓練して難易度スコアを算出する．具体的には，評価対象とな るデータの訓練セットを用いて，一般的な訓練手法 でデータの難易度を考慮せずにモデルを学習させ，訓練済みモデルで画像-キャプションペアに対して 文生成のクロスエントロピーを計算する。

$
D_{\text {bootstrap }}=-\sum_{t=1}^{T} \log p\left(y_{t} \mid y_{<t}, X\right)
$

## 4 実験

## 4.1 実験設定

実験は COCO と Flickr30k データセットで行い， ともに Karparthy 分割 [19] を使用し，訓練/検証/テス トセットのデータの割合はそれぞれ $113 \mathrm{k} / 5 \mathrm{k} / 5 \mathrm{k}$ と $29 \mathrm{k} / 1 \mathrm{k} / 1 \mathrm{k}$ とした.キャプションモデルは公開され ているコード [20] に基づく Vanilla Transformer を実装し，ハイパーパラメータの設定は，バッチサイ ズを 10 ，学習率を $3 \mathrm{e}-4$ ， ドロップアウト率を 0.4 と した.

CL 関連の設定について，Baby Step 学習のデータ 分割数 $L$ は，検証セットでの性能に基づいて $\mathrm{COCO}$ と Flickr30kでそれぞれ 5 と 3 とした. Addup-CL の ハイパーパラメータは，物体検出クラスの数 $N$ と検出ボックスの数 $K$ をそれぞれ 1600 と 10 に設定し，

設定した. Simi-CLの類似度計算に用いるモデルは， CLIP-base と ViLT-base 以外に，ViLT の作者から公開 された評価対象となるデータ (COCO と Flickr30k)で 微調整されたモデル (ViLT-CC と ViLT-FL と表記す る) も用いて比較する。性能評価には BLEU-4 [21], METEOR [22]，CIDEr[23]，SPICE [24] の 4 つの指標 を用いる。

図 2 学習中の二つのデータセットの検証セットにおける Vanilla Transformer と CL ベース Transformer の性能曲線.

## 4.2 実験結果

検証セットでのモデルの性能を図 2 に示す. $\mathrm{COCO}$ では，全ての CL 手法が性能を向上させ， Vanilla Transformer の最高精度に達する収束時間が 短くなっていることが分かる．特に，Simi-CL は Bootstrap-CL と比較して追加学習のコストなしに同等の性能を達成でき，また両方とも性能と収束速度 が Addup-CL より優れている. Flickr30k でも同様の 現象が観察できるが，改善の幅が COCO より小さ く, Addup-CL は性能の改善が見られなかったため， CL 手法がより大きなデータセットに対して効果的 であることが推測される.

テストセットでのモデルの性能を表 1 に示す， CL ベースモデルの性能は検証セットと類似して いる．Simi-CLのうち，ViLT-base を用いる場合は， Bootstrap-CL と同等の性能に達しているが，大量の データから事前学習された CLIP-base の性能より 下回っている．しかし，各評価対象となるデータ セットで微調整された ViLT モデルを用いる場合は， ViLT-base や CLIP を上回る性能が達成されており，評価対象となるデータの知識を持つ教師モデルがカ リキュラムの設計に役立つことが分かる.

## 4.3 考察

まず，カリキュラム学習されたモデルの汎化性能を考察するために，先行研究 [25] を参照して分布外データセットによる評価を行った。具体的に は，COCO で訓練された最高性能のモデルを用い て，Flickr30k のテストセットでキャプションを生成して評価した，結果を表 2 に示す. Simi-CL に よって学習されたモデルの性能が Vanilla モデルと Bootstrap-CL 手法を上回り，汎化能力が向上してい ることが分かる.

表 $1 \mathrm{COCO}$ と Flickr30kにおけるべースライン手法と提案手法で訓練されたモデルの性能の比較. B @ $4 ， \mathrm{M}, \mathrm{C}, \mathrm{S}$ はそ れぞれ BLEU-4，METEOR，CIDEr，SPICEを表す。

表 2 COCOにおける最高性能のモデルを用いて Flickr30k でテストした結果.

表 3 COCO における最高性能のモデルを用いて Nocaps の検証セットを評価した結果.

次に，カリキュラム学習されたモデルの困難な データにおける性能を測定するため, Nocaps [26] データセットでモデルの性能を評価した. Nocaps では，COCOにおける画像のオブジェクトの種類と 一致，部分一致および不一致の画像を含んでおり， その一致度に基づいてデータセットを in-domain, near-domain と out-domain というサブセットに分割 した. Nocaps の設定に基づき，COCO で訓練された 最高性能のモデルを用いて各サブセットでモデル の性能を測定した. 表 3 に示される結果から，全て のサブセットで Simi-CL は Bootstrap-CL より高いス コアを達成し，特に困難な near-domain と out-domain サブセットで CIDEr スコアを大幅に向上させること が分かった.

最後に，Simi-CL が異なるアーキテクチャのモデ

表 4 Simi-CLを異なるアーキテクチャのモデルに適用し た場合の COCO における性能.

ルでも有効かどうかを調査するため，LSTM ベー スのモデル BUTD と改良された Transformer モデル AoANet [27] に対しても Simi-CLを適用した. 表 4 に示した結果のように，Simi-CL はよりシンプルな LSTM アーキテクチャに適用したときに改善の効果 がより大きく，カリキュラム学習はサイズが小さい モデルでより効果的であることが示唆された.

## 5 結論

本稿では，カリキュラム学習による画像キャプ ション生成のための, クロスモーダル類似度に基づ く効率的な難易度測定手法を提案した。提案手法で ある Simi-CL はモデルの性能と収束速度を向上さ せ，特に大きなデータセットで効果的であった．ま た，評価対象となるデータセットの知識を持つ VL モデルを用いるとさらに性能が向上した. 考察で は，未知やドメイン外のデータで Simi-CL が最も高 いスコアを達成し, モデルが高い汎化能力を得るこ とが分かった. 最後に，Simi-CLを異なるアーキテ クチャのモデルに適用し，よりシンプルなモデルで も効果が観察されたことから，小さなモデルしか実装できない場合にも応用できることが期待される.

## 参考文献

[1] Xinzhi Dong, Chengjiang Long, Wenju Xu, and Chunxia Xiao. Dual graph convolutional networks with transformer and curriculum learning for image captioning. In ACMMM 2021, pp. 2615-2624, 2021.

[2] Fenglin Liu, Shen Ge, and Xian Wu. Competence-based multimodal curriculum learning for medical report generation. In ACL-IJCNLP 2021, pp. 3001-3012, 2021.

[3] Mohammad Alsharid, Rasheed El-Bouri, Harshita Sharma, Lior Drukker, Aris T Papageorghiou, and J Alison Noble. A course-focused dual curriculum for image captioning. In ISBI 2021, pp. 716-720, 2021.

[4] Hwanhee Lee, Seunghyun Yoon, Franck Dernoncourt, Trung Bui, and Kyomin Jung. UMIC: An unreferenced metric for image captioning via contrastive learning. In ACL-IJCNLP 2021, pp. 220-226, 2021.

[5] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: A reference-free evaluation metric for image captioning. In EMNLP 2021, pp. 7514-7528, 2021.

[6] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server. arXiv preprint arXiv:1504.00325, 2015.

[7] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. TACL, Vol. 2, pp. 67-78, 2014.

[8] Emmanouil Antonios Platanios, Otilia Stretcu, Graham Neubig, Barnabas Poczos, and Tom Mitchell. Competence-based curriculum learning for neural machine translation. In NAACL-HLT 2019, pp. 1162-1172, 2019.

[9] Xuebo Liu, Houtim Lai, Derek F. Wong, and Lidia S. Chao. Norm-based curriculum learning for neural machine translation. In ACL 2020, pp. 427-436, 2020.

[10] Liuyu Xiang, Guiguang Ding, and Jungong Han. Learning from multiple experts: Self-paced knowledge distillation for long-tailed classification. In ECCV 2020, pp. 247-263, 2020

[11] Yunchao Wei, Xiaodan Liang, Yunpeng Chen, Xiaohui Shen, Ming-Ming Cheng, Jiashi Feng, Yao Zhao, and Shuicheng Yan. STC: A simple to complex framework for weakly-supervised semantic segmentation. TPAMI 2016, pp. 2314-2320, 2016.

[12] Valentin I Spitkovsky, Hiyan Alshawi, and Dan Jurafsky. From baby steps to leapfrog: How "less is more" in unsupervised dependency parsing. In NAACL-HLT 2010, pp. 751-759, 2010.

[13] Benfeng Xu, Licheng Zhang, Zhendong Mao, Quan Wang, Hongtao Xie, and Yongdong Zhang. Curriculum learning for natural language understanding. In ACL 2020, pp. 6095-6104, 2020.

[14] Yikai Zhou, Baosong Yang, Derek F Wong, Yu Wan, and Lidia S Chao. Uncertainty-aware curriculum learning for neural machine translation. In ACL 2020, pp. 6934-6944, 2020.

[15] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya
Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML 2021, pp. 8748-8763, 2021.

[16] Wonjae Kim, Bokyung Son, and Ildoo Kim. Vilt: Visionand-language transformer without convolution or region supervision. In ICML 2021, pp. 5583-5594, 2021.

[17] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR 2018, pp. 60776086, 2018.

[18] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, p. 9, 2019.

[19] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR 2015, pp. 3128-3137, 2015.

[20] Ruotian Luo, Brian Price, Scott Cohen, and Gregory Shakhnarovich. Discriminability objective for training descriptive captions. In CVPR 2018, pp. 6964-6974, 2018.

[21] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL 2022, pp. 311-318, 2002.

[22] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pp. 74-81, 2004.

[23] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR 2015, pp. 4566-4575, 2015.

[24] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Spice: Semantic propositional image caption evaluation. In ECCV 2016, pp. 382-398. Springer, 2016.

[25] Antonio Torralba and Alexei A Efros. Unbiased look at dataset bias. In CVPR 2011, pp. 1521-1528, 2011.

[26] Harsh Agrawal, Karan Desai, Yufei Wang, Xinlei Chen, Rishabh Jain, Mark Johnson, Dhruv Batra, Devi Parikh, Stefan Lee, and Peter Anderson. Nocaps: Novel object captioning at scale. In ICCV 2019, pp. 8948-8957, 2019.

[27] Lun Huang, Wenmin Wang, Jie Chen, and Xiao-Yong Wei. Attention on attention for image captioning. In ICCV 2019, pp. 4634-4643, 2019.
 張 宏寛 ${ }^{1}$ 菅原 朔 2 相澤 彰子 ${ }^{2}$ 周雷 1 笹野 遼平 1 武田 浩一 1 1 名古屋大学 2 国立情報学研究所 \{zhang.hongkuan.k5, zhou.lei.e1\}@s.mail.nagoya-u.ac.jp \{saku, aizawa\}@nii.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp  