# DueT: 視覚・言語の Dual-adapter Tuning による基盤モデル

西田京介 $1 *$ 長谷川拓 $1 *$ 前田航希 $2 \dagger \quad$ 齋藤邦子 1
1 日本電信電話株式会社 NTT 人間情報研究所
2 東京工業大学
\{kyosuke.nishida.rx, taku.hasegawa.ps\}@hco.ntt.co.jp

## 概要

対照学習により構築する視覚・言語の基盤モデ ル CLIP の新たな転移学習方法として DueT を提案 する. DueT は単一モーダルのコーパスで事前学習 されたモデルにより画像・テキストエンコーダを初期化して固定し，両エンコーダに追加したゲート機構付のアダプタのみを学習する. 英語・日本語ドメ インの 0-shot 画像・テキスト検索において，単純な fine-tuning や画像エンコーダのみ転移・固定する従来手法に比べ，提案手法が精度やパラメータ効率性 の観点で優れていたことを報告する.

## 1 はじめに

CLIP [1] が視覚と言語の融合理解における基盤モ デルとして，テキストからの画像生成 $[2,3]$ や視覚情報を考慮した対話 [4] を始め様々なタスクで革新的な成果を挙げている. CLIP は 4 億件という膨大 な画像・テキストのペアを用いた対照学習により，正しい（誤った）ぺアに対して画像・テキストの各 エンコーダが出力する特徴べクトルの類似度が高く （低く）なるように scratch から学習された. ここで， CLIP よりも視覚と言語の意味的対応付けに優れた 基盤モデルを少量の学習データから構築するために は，比較的学習しやすい単一モーダルの事前学習済 モデルの転移学習が重要になると考える。

本研究では視覚・言語の基盤モデルの学習方法 DueT（Dual-adapter Tuning）を提案する. DueT は単一モーダルの事前学習済モデルを各エンコーダのパ ラメータの固定値とし，さらに両エンコーダにゲー 卜機構を持つアダプタを追加して学習を行う（図 1 右). 英語・日本語ドメインの実験において，単純 な転移学習や画像エンコーダのみ転移・固定する LiT [5] に比べて，DueT は優れた性能を達成できた.


/ Fine-tuning

Locked-image Tuning

Dual-adapter Tuning (DueT)

図 1 視覚・言語の基盤モデルの学習方法. 左: 両エン コーダを学習 (始). 中央: LiT (Locked-image Tuning) [5].事前学習済みの画像エンコーダを固定（料）し，テキスト エンコーダのみ学習する. 右: DueT (Dual-adapter Tuning).両エンコーダに追加したアダプタのみ学習する.

## 2 関連研究

## 2.1 視覚・言語の基盤モデル

視覚・言語の基盤モデルとして CLIP [1] および ALIGN [6] が提案されて以降，性能改善に向けて 様々な観点から研究が行われている。

転移学習 全てのパラメータをランダムに初期化 して学習する from-scratch $[1,6,7,8,9,10]$ と，画像 テキストエンコーダを各モーダルの事前学習済モデ ルで初期化する fine-tuning $[11,12,13]$ のいずれかが 多く採用されている (図 1 左). 最近では, 画像エン コーダのみを事前学習済モデルで初期化・固定し, テキストエンコーダのみを学習する Locked-image Tuning (LiT) [5] が提案されている（図 1 中央).

## クロスアテンション CLIP はクロスアテンショ ン機構を持たないため，両モーダルを入力とする クロスエンコーダ $[11,12,9]$ ，クロスアテンション を行うテキストエンコーダ [13]・テキストデコー ダ $[13,8]$ などの追加に関する検討が行われている.

目的関数 masked 言語モデリング [11,12,10], causal 言語モデリング $[8,13]$, masked 画像モデリン グ [12]，画像・テキストマッチング $[11,12,13]$ など
様々な目的関数の追加が検討されている. また，対照学習自体もトークンレベルでの類似度 [7], 難解 な負例の追加 $[10,14]$ による改善が検討されている.

## 2.2 パラメータ効率的な転移学習

事前学習済の言語モデルを効率的に下流タスク に適応させるための技術が盛んに研究されている.代表的な手法には adapter tuning [15, 16, 17, 18, 19], prefix tuning [20,21], additive methods [22, 23, 24], sparse-finetuning $[25,26]$ などがある. また，これらを 統一的に扱うアプローチも提案されている $[27,28]$.

特に adapter tuning は Transformer の層間に，アダ プタと呼ばれる小さな追加モジュール（一般的には 2 層のフィードフォワードネットワーク;FFN）を残差接続付きで挿入し，アダプタのみを学習する.

## 2.3 本研究の位置付け

adapter tuning [15] のアイデアを下流タスクではな く CLIP の事前学習に導入した初めての研究である.単一モーダルの事前学習の忘却を防ぎ高精度かつパ ラメータ効率的な転移学習の実現を狙う。転移学習 を除く前記した CLIP の拡張研究は扱わないが，こ れらは提案手法と組み合わせた利用が可能である.

## 3 提案手法

基盤モデルの学習方法として DueT（Dual-adapter Tuning）を提案する、モデルは画像・テキストの Transformer [29] エンコーダから構成される. 事前学習済モデル（ViT [30] や BERT [31] など）で各エン コーダの初期化を行い, Transformer ブロックに追加 した Gated Adapter Unit（GAU）のみを学習する.

入出力 画像（テキスト）エンコーダは，パッチ （トークン）の系列を入力として受け取り，d 次元 ベクトルの系列 $\boldsymbol{H}=\left[\boldsymbol{h}_{\mathrm{CLS}}, \boldsymbol{h}_{1}, \ldots, \boldsymbol{h}_{\mathrm{SEP}}\right]$ を出力する.各エンコーダの出力 $\boldsymbol{h}_{\mathrm{CLS}} \in \mathbb{R}^{d}$ を学習可能パラメー タによる線形変換および $L_{2}$ 正規化にて $d_{m}$ 次元の 特徴べクトル $\boldsymbol{x}, \boldsymbol{y}$ にそれぞれ射影し, 最終的に内積 $\boldsymbol{x}^{\top} \boldsymbol{y}$ によって画像・テキストの類似度を求める.

GAU 一般的なアダプタを [15]を学習可能なゲー 卜係数 $\alpha$ によりアダプタの入出力を混合する GAU に拡張する. 各エンコーダの全ての Transformer ブ ロック $(l=1 \ldots L)$ に式 (1)のGAUを挿入する.

$
\begin{aligned}
\operatorname{GAU}^{l}\left(\boldsymbol{H}^{l}\right) & =\alpha^{l} \mathrm{FFN}^{l}\left(\operatorname{LN}\left(\boldsymbol{H}^{l}\right)\right)+\left(1-\alpha^{l}\right) \boldsymbol{H}^{l}, \\
\operatorname{FFN}^{l}(\boldsymbol{h}) & =\phi\left(\boldsymbol{h} \boldsymbol{W}_{\text {down }}^{l}+\boldsymbol{b}_{\text {down }}^{l}\right) \boldsymbol{W}_{\text {up }}^{l}+\boldsymbol{b}_{\text {up }}^{l}
\end{aligned}
$

図 2 Gated Adapter Unit（GAU）. 左: 各 Transformer ブ ロックに挿入した GAU および LNを学習し（世），FFN や Self-Attention のパラメータは更新しない (䊅). 右: GAU は 2 層の FFN および学習可能なゲート係数 $\alpha$ を持つ.

ここで，入力 $\boldsymbol{H}^{l}$ は Transformer の FFN モジュール の残差接続後の出力である. LN は layer normalization [32] を表す1). $\boldsymbol{W}_{\text {down }}^{l} \in \mathbb{R}^{d \times m}, \boldsymbol{b}_{\text {down }}^{l} \in \mathbb{R}^{m}$, $\boldsymbol{W}_{\mathrm{up}}^{l} \in \mathbb{R}^{m \times d}, \boldsymbol{b}_{\mathrm{up}}^{l} \in \mathbb{R}^{d}, \alpha^{l} \in \mathbb{R}$ は GAU 毎に独立した 学習可能パラメータである. 入出力・中間層の次元 を $d, m$ とする。活性化関数 $\phi$ は GeLU [33] である.

図 2 に GAU の例を示す. Transformer 本体は LN のパラメータを除いて固定し，GAU のみを学習す る.なお，全てのゲート係数が 0 のとき，エンコー ダは事前学習済モデルに等しくなる。

対照学習 ミニバッチ内に同じ画像やテキストが 含まれた際のノイズを軽減するため，UniCL [34]の アイデアに基づく損失関数を用いる。画像・テキス トのハッシュ値 $(s, t)$ のいずれかが同じ値となるぺ アを正例 $\mathbf{P}$ ，他のランダムに形成されるぺアを負例 Bとして，以下の損失関数の合計を最小化する。

$
\begin{aligned}
L_{\mathrm{i} 2 \mathrm{t}} & =-\frac{1}{|\mathbf{B}|} \sum_{i \in \mathbf{B}} \frac{1}{\left|\mathbf{P}_{i}\right|} \sum_{k \in \mathbf{P}_{i}} \log \frac{\exp \left(\boldsymbol{x}_{i}^{\top} \boldsymbol{y}_{k} / \tau\right)}{\sum_{j \in \mathbf{B}} \exp \left(\boldsymbol{x}_{i}^{\top} \boldsymbol{y}_{j} / \tau\right)} \\
L_{\mathrm{t} 2 \mathrm{i}} & =-\frac{1}{|\mathbf{B}|} \sum_{i \in \mathbf{B}} \frac{1}{\left|\mathbf{P}_{i}\right|} \sum_{k \in \mathbf{P}_{i}} \log \frac{\exp \left(\boldsymbol{y}_{i}^{\top} \boldsymbol{x}_{k} / \tau\right)}{\sum_{j \in \mathbf{B}} \exp \left(\boldsymbol{y}_{i}^{\top} \boldsymbol{x}_{j} / \tau\right)}
\end{aligned}
$

ここで，兀は温度パラメータである。

学習効率性 画像・テキストエンコーダの層数 $L$ と次元数 $d$ が同じとき, DueT の学習対象パラメー 夕数（\#TP）はおよそ $4 L d m$ となる. エンコーダと して ViT-B/16 と $\mathrm{BERT}_{\text {base }}(L=12, d=768$, 合計パ ラメータ数 194.7M) を用いた場合， $m=1536$ とした 時の\#TP は全体の約 $29.1 \%$ （56.8M）となる.


## 4 評価実験

英語・日本語の CLIPを構築して評価を行った。

## 4.1 事前学習済モデル

画像エンコーダ（IE） ImageNet-21k [35] から学習されたViT-B/16 [36,37]を用いた。

テキストエンコーダ（TE）英語モデルには BERT-base-uncased [31,38]を用いた. 日本語モデル には Wikipedia および CC-100-ja [39] から [31] の設定で学習した BERT-base-uncased を用いた。

## 4.2 訓練データセット

YFCC-CLIP Radford ら [1]により整備された英語 の自然言語により記述されたタイトルあるいは説明 を持つ約 15M 件の Flickr 画像 (YFCC100M [40] のサ ブセット）を用いる。なお, ImageNet-21kには Flickr 画像が多く含まれているため YFCC-CLIP は IE の学習ドメインに近いデータセットと言える。

JWeb5M 我々が独自に広範囲の Web サイトから 収集した $5 \mathrm{M}$ 件の画像・日本語テキストペアである. 100 件のサンプリング調査を実施したところ， 32 件 の画像に日本語文字が含まれているなど IE の学習 ドメインからは遠いデータセットと言える. 単語数 の中央值は 9 語であり，自然文ではない数単語のみ のテキストも含まれる。詳細は付録 A に示す.

## 4.3 評価データセット

英語 / 日本語の 0-shot（下流タスクでの fine-tuning を行わない）の画像・テキスト検索タスクにて，訓練データにて学習した基盤モデルを評価する.

COCO [41] / STAIR Captions [42] 5000 件のテス 卜画像（[43] の分割）. 各画像に 5 件の自然文キャ プション. それぞれの単語数の中央値は $11 / 12$ 語.

Flickr30k [44] / F30kEnt-JP [45] 1000 件のテスト 画像 ([43] の分割). 各画像に 5 件の自然文キャプ ション. それぞれの単語数の中央値は $12 / 17$ 語.

上記セットの画像は Flickr 由来であるため, IE の 事前学習と YFCC-CLIP に近いドメインと言える。詳細は付録 B に示す. また， 0 -shot の評価とは異 なるが, YFCC-CLIP・JWeb5M の訓練セットから開発・テスト用に 10,000 ペアを分割して利用した.

評価指標 [11] と同様に，クエリに対する $k$ 件 の検索結果に正しい事例が含まれる割合である Recall@k $(k=1,5,10)$ の平均値を報告する.表 1 英語モデルのテキスト・画像検索 $(\mathrm{I} \rightarrow \mathrm{T}, \mathrm{T} \rightarrow \mathrm{I})$ 性能. \#TP は学習対象パラメータ数. † 0 -shot 検索タスク。

表 2 日本語モデルの検索性能。 0 -shot 検索タスク.

## 4.4 実験設定

提案手法 $m=3072$ とした GAUを両エンコーダ の全層に挿入した. 学習対象パラメータ数 (\#TP) は $113.4 \mathrm{M}$ であった. 特徴べクトル $\boldsymbol{x}, \boldsymbol{y}$ の次元を $d_{m}=512$ とし, バッチサイズ 8192 で 16 エポッ ク学習した. Ablationテストでは $m=1536$ とした （\#TP=56.8M）．その他の詳細は付録 C に示す.

ベースライン エンコーダ（IE・TE）の初期化お よびパラメータ固定について 4 つの手法を用意し た. その他の設定は提案手法と揃えた。

$\cdot$ from-scratch（FS） IE・TE の両方をランダム に初期化して学習する (194.7M).
- fine-tuning（FT） IE・TE の両方を事前学習済 モデルで初期化して学習する (194.7M).

・LiT [5] IEを事前学習済モデルで初期化および 固定. TEはランダム初期化して学習 (108.9M).

・LiT-FT IE・TEの両方を事前学習済モデルで初期化し，TEのみを学習する（108.9M）.

## 4.5 実験結果

表 1 ・2 に英語・日本語モデルの評価結果を示す.提案手法 DueT は 0 -shot 画像・テキスト検索におい てべースラインの評価スコアを上回った. 特に， F30kEnt-JP の画像検索においては，学習パラメータ 数を約 $58 \%$ に抑えつつ fine-tuning（from-scratch）に 比べてスコアを 5.9 (40.4) ポイント改善した.

ベースラインの中では fine-tuning が優れていた.
表 3 GAU の学習パラメータ数による検索性能の変化.水色セルは fine-tuning（FT）と同程度の性能を表す.

表 4 GAUを挿入する層の範囲による検索性能の変化.

YFCC-CLIP のテストセットでは最高スコアを達成 したが，訓練データに過学習し易く0-shot 検索の評価セットでは英語・日本語共に全て提案手法のスコ アを下回った. 特に，画像エンコーダの事前学習と 訓練セットのドメインが異なる日本語モデルの評価 では提案手法のスコアを大きく下回った.

LiT は事前学習済の画像エンコーダがカバーして いないドメインへの適応能力が低く, 日本語モデル の評価において大きくスコアを落とした。また，転移学習を行わない from-scratch の場合は, 5-15M 程度 の学習データ数では不足していることが分かった.

## 4.6 Ablation テスト

学習データにJWeb5M を用いて, 本研究の主な貢献である GAU の導入に関する評価を行った。

パラメータ効率的な学習が可能か？表 3 に 示す通り, DueT はSTAIR（F30kEnt-JP）では 14.3M （3.7M）個のパラメータ更新により，194.7M 個を更新する fine-tuning と同等の性能が得られており，パ ラメータ効率的な学習が実現できた.

全ての層にアダプタは必要か？ 表 4 に示す様に GAU を挿入する Transformer ブロック数を減らした 場合の性能は低下した. 画像・テキストエンコーダ の両方の適応が CLIP で用いられる対照学習におい て重要であることが示唆された。表 5 ゲート機構の違いによる検索性能の変化.

表 6 ゲート係数の初期値と学習による検索性能の変化.

アダプタのゲート係数は有効か？ 表 5 にゲート を用いない場合（ $\alpha=1.0$ 固定）および 1 層の FFN によりトークンあるいは文レベルで大力に適応的な ゲート機構（詳細は付録 D に示す）との比較結果を 示す. まず，ゲート係数の有無の比較により，ゲー 卜係数を導入することの有効性を確認できた。一方 で，FFNによる適応的なゲート機構とゲート係数の 間に明確な性能差は確認されなかった.

## ゲート係数の初期値および学習の影響はあるか？表 6 に示す通り, ゲート係数 $\alpha$ を学習により更新す ることで性能が改善された。また，初期値を大きく 設定すると，学習初期から未学習の GAU の影響が 強くなるため転移学習が進みにくい問題があった。

## 5 おわりに

対照学習により構築する視覚・言語の基盤モデル CLIP [1] の事前学習に adapter tuning [15] による転移学習を導入した DueT を提案した. 単一モーダルの 事前学習済モデルを各エンコーダのパラメータの固定值とし, 両エンコーダに [15] から拡張したゲート 機構付のアダプタ GAUを追加して学習を行う.

本研究の貢献 膨大な学習データを要する CLIP において, 単一モーダルの事前学習済モデルの転移学習は重要なテーマである. fine-tuning や LiT [5] よ りも精度およびパラメータ効率性の観点で優れた 手法を提案できたことは，基盤モデルの研究に関す る大きな貢献と言える. そして，評価実験を通じて 日本語 CLIP の構築における転移学習に要する追加 パラメータ数などの知見が得られた. 本研究の成果 は，視覚と言語の融合的な理解を必要とする対話や ナビゲーション，コンテンツ生成・検索など産業上重要なサービスの発展に貢献できる.

## 参考文献

[1] Alec Radford, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[2] Aditya Ramesh, et al. Hierarchical text-conditional image generation with CLIP latents. arXiv:2204.06125, 2022.

[3] Robin Rombach, et al. High-resolution image synthesis with latent diffusion models. In CVPR, pp. 10674-10685, 2022.

[4] Jean-Baptiste Alayrac, et al. Flamingo: a visual language model for few-shot learning. arXiv:2204.14198, 2022.

[5] Xiaohua Zhai, et al. LiT: Zero-shot transfer with locked-image text tuning. In CVPR, pp. 18123-18133, 2022.

[6] Chao Jia, et al. Scaling up visual and vision-language representation learning with noisy text supervision. In ICML, pp. 4904-4916, 2021.

[7] Lewei Yao, et al. FILIP: fine-grained interactive language-image pre-training. In ICLR, 2022.

[8] Jiahui Yu, et al. CoCa: Contrastive captioners are image-text foundation models. arxiv:2205.01917, 2022.

[9] Lu Yuan, et al. Florence: A new foundation model for computer vision. arxiv:2111.11432, 2021.

[10] Yangguang Li, et al. Supervision exists everywhere: A data efficient contrastive language-image pre-training paradigm. In ICLR, 2022.

[11] Junnan Li, et al. Align before fuse: Vision and language representation learning with momentum distillation. In NeurIPS, pp. 9694-9705, 2021.

[12] Amanpreet Singh, et al. FLAVA: A foundational language and vision alignment model. In CVPR, pp. 15638-15650, 2022.

[13] Junnan Li, et al. BLIP: bootstrapping language-image pre-training for unified vision-language understanding and generation. In ICML, pp. 12888-12900, 2022.

[14] Manling Li, et al. Clip-event: Connecting text and images with event structures. In CVPR, pp. 16420-16429, 2022.

[15] Neil Houlsby, et al. Parameter-efficient transfer learning for NLP. In ICML, pp. 2790-2799, 2019.

[16] Jonas Pfeiffer, et al. Adapterhub: A framework for adapting transformers. In EMNLP, pp. 46-54, 2020.

[17] Jonas Pfeiffer, et al. Adapterfusion: Non-destructive task composition for transfer learning. In EACL, pp. 487-503, 2021.

[18] Ruidan He, et al. On the effectiveness of adapter-based tuning for pretrained language model adaptation. In ACL/IJCNLP, pp. 2208-2222, 2021.

[19] Rabeeh Karimi Mahabadi, James Henderson, and Sebastian Ruder. Compacter: Efficient low-rank hypercomplex adapter layers. In NeurIPS, pp. 1022-1035, 2021.

[20] Xiang Lisa Li and Percy Liang. Prefix-tuning: Optimizing continuous prompts for generation. In ACL-IJCNLP, pp. 4582-4597, 2021.

[21] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In EMNLP, pp. 30453059, 2021.

[22] Demi Guo, Alexander M. Rush, and Yoon Kim. Parameter-efficient transfer learning with diff pruning. In ACL-IJCNLP, pp. 48844896, 2021.

[23] Edward J. Hu, et al. LoRA: Low-rank adaptation of large language models. In ICLR, 2022.

[24] Jeffrey O. Zhang, et al. Side-tuning: A baseline for network adaptation via additive side networks. In ECCV, pp. 698-714, 2020.

[25] Yi-Lin Sung, Varun Nair, and Colin Raffel. Training neural networks with fixed sparse masks. In NeurIPS, pp. 24193-24205, 2021.

[26] Elad Ben Zaken, Yoav Goldberg, and Shauli Ravfogel. BitFit: Sim- ple parameter-efficient fine-tuning for transformer-based masked language-models. In ACL, pp. 1-9, 2022.

[27] Yuning Mao, et al. Unipelt: A unified framework for parameterefficient language model tuning. In ACL, pp. 6253-6264, 2022.

[28] Junxian He, et al. Towards a unified view of parameter-efficient transfer learning. In ICLR, 2022.

[29] Ashish Vaswani, et al. Attention is all you need. In NIPS, pp. 5998-6008, 2017.

[30] Alexey Dosovitskiy, et al. An image is worth 16x16 words: Transformers for image recognition at scale. In ICLR, 2021.

[31] Jacob Devlin, et al. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 41714186, 2019.

[32] Lei Jimmy Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arxiv:1607.06450, 2016.

[33] Dan Hendrycks and Kevin Gimpel. Gaussian error linear units (GELUs). arxiv:1606.08415, 2016.

[34] Jianwei Yang, et al. Unified contrastive learning in image-text-label space. In CVPR, pp. 19163-19173, 2022.

[35] Jia Deng, et al. ImageNet: A large-scale hierarchical image database. In CVPR, pp. 248-255, 2009.

[36] Andreas Steiner, et al. How to train your ViT? data, augmentation, and regularization in vision transformers. arxiv:2106.10270, 2021.

[37] Andreas Steiner. Vision transformer and MLP-mixer architectures, 2021. https://github.com/google-research/vision_ transformer.

[38] Google. BERT, 2018.https://github.com/google-research/ bert.

[39] Alexis Conneau, et al. Unsupervised cross-lingual representation learning at scale. In ACL, pp. 8440-8451, 2020.

[40] Bart Thomee, et al. YFCC100M: the new data in multimedia research. Commun. ACM, Vol. 59, No. 2, pp. 64-73, 2016.

[41] Tsung-Yi Lin, et al. Microsoft COCO: common objects in context. In ECCV, pp. 740-755, 2014.

[42] Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi. STAIR captions: Constructing a large-scale japanese image caption dataset. In ACL, pp. 417-421, 2017.

[43] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. IEEE Trans. Pattern Anal. Mach. Intell., Vol. 39, No. 4, pp. 664-676, 2017.

[44] Bryan A. Plummer, et al. Flickr30k entities: Collecting region-tophrase correspondences for richer image-to-sentence models. Int. J. Comput. Vis., Vol. 123, No. 1, pp. 74-93, 2017.

[45] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phrase-to-region linking. In LREC, pp. 4204-4210, 2020.

[46] Armand Joulin, et al. Bag of tricks for efficient text classification. In EACL, pp. 427-431, 2017.

[47] Paulius Micikevicius, et al. Mixed precision training. In ICLR, 2018.

[48] Tianqi Chen, et al. Training deep nets with sublinear memory cost. arXiv:1604.06174, 2016.

[49] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.

[50] Christian Szegedy, et al. Going deeper with convolutions. In CVPR, pp. 1-9, 2015.

[51] Samuel G. Müller and Frank Hutter. TrivialAugment: Tuningfree yet state-of-the-art data augmentation. In ICCV, pp. 754-762, 2021 .

## A JWeb5M

JWeb5M は本研究のために我々が広範囲な Web サイトから収集した画像・日本語キャプションを 基に構築したデータセットである。 ユニーク画像数 4,942,737 (md5 ハッシュ値による確認)，キャプ ション数は $4,369,144$ となる. 画像は短辺のサイズ が 256 以上になるようにダウンロード時にリサイズ した. 言語判定には学習済の fastText [46] モデル 2) を利用した. キャプションを mecab-unidicにより単語分割した際の単語数の分布を図 3 に示す. 文字数 および単語数の平均（中央）值は 26.3（20.0）文字, 11.9 （9.0）単語であった. 自然文ではなく1２単語のキャプションも含まれる。また， 100 画像をサ ンプリングして調査した際, 日本語の文字（漢字, ひらがな，カタカナ）を含む画像は 32 枚であった.

## B評価データセット

COCO [41] は 123K 件の画像を含み，各画像に 5 件のキャプションが付与されている. 画像は Flickr から収集され，クラウドワーカにより自然文のキャ プションが作成された. nltk-punct による単語数の 平均（中央）値は 11.3（11）単語であった. 日本語版である STAIR Captions [42] は, COCO と同じ画像 に対してクラウドワーカによって新たに各画像 5 件 の日本語キャプションが作成された. mecab-unidic による単語数の平均（中央）值は 12.5（12）単語で あった。

Flickr30K は $31 \mathrm{~K}$ 件の画像を含み，各画像に 5 件 のキャプションが付与されている. 単語数の平均 （中央）值は 31.4（12）単語であった. 日本語版で ある F30kEnt-JP [45] は， Flickr30k の各キャプション を専門家が翻訳してキャプションが作成された. 単語数の平均（中央）值は 18.4（17）単語であった. COCO および Flickr30k については，従来研究と同様 に，[43] におけるデータセットの分割に従ってテス トデータの画像を選択した。

## C 実験設定

学習には 8 枚の NVIDIA A100 80GB GPUを用 いた. バッチサイズを 8192 とし, mixed precision training [47] および gradient checkpointing [48]を用い て 16 エポック学習した. オプティマイザには


language-identification.html

図 $3 \mathrm{JWeb5M}$ の各キャプションの単語数の分布. 横軸：単語数（bin 幅 10), 縦軸: 頻度（対数）

AdamW [49] を用い，学習率は 5e-4 とした. 温度パ ラメータ $\tau$ は 0.015625 （1/64）で固定とした. 1 エ ポック毎にチェックポイントを保存し, 開発セッ トの評価値（画像検索・テキスト検索それぞれの $\mathrm{R} @ 1, \mathrm{R} @ 5, \mathrm{R} @ 10$ の平均値）の上位 3 つのチェッ クポイントのモデルに対するテストセットの評価値 の平均を実験結果として報告した.

YFCC-CLIP の学習時は Inception-style random cropping [50]を用い, 解像度は $224 \times 224$ とした. JWeb5M の学習時は上記の設定からクロップ範囲のスケール の下限のみ 0.9 に変更した。また，共通の augmentation 手法として TrivialAugment Wide [51]を採用し,画像の正規化は CLIP [1] と同様に行った. テキスト エンコーダへの入力は最大 77 トークンとした. テ スト時は, 解像度 $224 \times 224$ のリリイズ・中央から のクロップと正規化のみ行った. テキストエンコー ダにおけるプロンプトテキストは学習・テスト時の いずれも利用していない.

## D 適応的ゲート機構

表 5 の実験では，式(1)のゲート係数 $\alpha^{l}$ を 1 層の FFN に変更して, 文・トークンレベルの適応的な ゲート機構の評価を行った. $\operatorname{GAU}^{l}\left(\boldsymbol{H}^{l}\right)$ を

$
\operatorname{FFN}_{\alpha}^{l}\left(\boldsymbol{H}^{l}\right) \operatorname{FFN}^{l}\left(\operatorname{LN}\left(\boldsymbol{H}^{l}\right)\right)+\left(1-\operatorname{FFN}_{\alpha}^{l}\left(\boldsymbol{H}^{l}\right)\right) \boldsymbol{H}^{l},
$

としたとき，

$
\begin{aligned}
\mathrm{FFN}_{\alpha, \text { sent }}^{l}\left(\boldsymbol{H}^{l}\right) & =\sigma\left(\boldsymbol{h}_{\text {CLS }}^{l}{ }^{\top} \boldsymbol{w}_{\text {gate }}^{l}+b_{\text {gate }}^{l}\right) \in \mathbb{R} \\
\operatorname{FFN}_{\alpha, \text { token }}^{l}\left(\boldsymbol{H}^{l}\right) & =\sigma\left(\boldsymbol{H}^{l} \boldsymbol{w}_{\text {gate }}^{l}+b_{\text {gate }}^{l}\right) \in \mathbb{R}^{n}
\end{aligned}
$

と定義した. $\sigma$ はシグモイド関数である. $\boldsymbol{w}_{\text {gate }}^{l} \in$ $\mathbb{R}^{d}, b_{\text {gate }}^{l} \in \mathbb{R}$ は学習可能パラメータ, $n$ は系列の長 さである.
 西田京介 $1 *$ 長谷川拓 $1 *$ 前田航希 $2 \dagger \quad$ 齋藤邦子 1 1 日本電信電話株式会社 NTT 人間情報研究所 2 東京工業大学 \{kyosuke.nishida.rx, taku.hasegawa.ps\}@hco.ntt.co.jp  