# 文字情報を考慮したシーン画像検索

宮脇峻平 ${ }^{1}$ 長谷川拓 ${ }^{2}$ 西田京介 ${ }^{2}$ 加藤拓真 ${ }^{1}$ 鈴木潤 1,3
${ }^{1}$ 東北大学 ${ }^{2} \mathrm{NTT}$ 人間情報研究所 ${ }^{3}$ 理化学研究所
\{shumpei.miyawaki.q1, takuma.kato.r3\}@dc.tohoku.ac.jp jun.suzuki@tohoku.ac.jp
\{taku. hasegawa.ps, kyosuke.nishida.rx\}@hco.ntt.co.jp

## 概要

本研究では，Vision and Language の分野で，テキ ストと視覚領域の意味表現を紐づけるための手法 として注目される，画像とテキストを独立したモデ ルでエンコードするデュアルエンコーダ型の検索 モデルを用いて画像検索に取り組む. デュアルエン コーダでは，特に画像エンコーダが画像中の文字情報であるシーンテキストと視覚情報を融合して 理解できているかどうかが明らかでないことから， TextCaps [1] を用いて画像検索を行い，シーンテキ ストの影響について調査を行う．実験の結果より， シーンテキストと周辺視覚情報の融合的な理解を助 けるモデル化が効果的であることを示す.

## 1 はじめに

計算機によるテキストや視覚情報の適切な理解を 実現することは, 人工知能研究における最終目的の 一つである. Vision and Language の分野では，この 目的の実現に向けてテキストと視覚領域の意味表現 の紐付けを行うための方法論が研究されている。一般的に，1) テキストと視覚情報を連結して一つの Transformer [2] ベースのモデルに入力し，異なるモ ダリティ間でアラインメントを学習するクロスエン コーダ，2) 画像・テキストに関する二つの独立した エンコーダを用いて対照学習の枠組みを導入してア ラインメントを学習するデュアルエンコーダ，の二 つの方法論が広く用いられる. クロスエンコーダは 異なるモダリティの理解を行いやすいが，画像検索 などの高速かつ大規模な推論が必要なタスクには適 していないことが知られている [3].

本研究では，高速に推論可能なデュアルエンコー ダを用いてシーンテキストと視覚領域の意味表現を 適切に紐づけることを目的として, 画像中の文字情報を考慮する画像検索モデルを提案する．本研究の 貢献は以下の通りである.
・デュアルエンコーダを対象に，画像中の文字情報と視覚情報を融合して理解するための拡張を 行い，シーンテキストを周辺視覚情報から読む ための事前学習を提案する。

・クロスエンコーダを用いた先行研究と同様に,実験結果から画像中の文字情報と周辺視覚情報 の融合的な理解がモデルの検索性能に有効な影響を示すことを明らかにした。

## 2 関連研究

## 2.1 デュアルエンコーダによる検索手法

オープンドメイン質問応答タスクでは，Karpukhin ら [4] が提案したデュアルエンコーダを用いた密な ベクトル意味空間での類似度に基づく検索手法であ

る Dense Passage Retrieval（DPR）が広く用いられて おり，デュアルエンコーダにおけるモダリティの関係性についても研究されている $[5,6]$.

デュアルエンコーダを用いた検索手法は画像検索 でも研究されており $[3,7,8,9]$, Jia ら [8] はWEB か ら収集した画像とテキストのペアからなる大規模な 学習データを用いることで，線形演算可能なテキス トと視覚情報の埋め込み表現を学習している.

またクロスエンコーダについても研究されてお り [10,11, 12, 13], UNITER [11] は Transformer [2] の 注意機構を用いてテキストと視覚領域のクロスモー ダルなアラインメントを学習している。

さらに多言語を考慮したモデルも注目されてお り [14, 15], Huang ら [16] はデュアルエンコーダの 枠組みを用いて多言語マルチモーダル検索における 事前学習法を提案している.

## 2.2 画像中の文字情報のモデル化

標識や商品名など我々の身の回りにはシーンを 説明するために有効なテキスト情報が溢れており，

図 1 ベースラインモデルの概要

シーンテキストは類似するシーン画像に対してよ り詳細な意味情報を提供する $[17,18]$. 先行研究で はシーンテキストの意味情報として，テキストの言語情報や視覚情報だけでなく, 文字単位の特徵量 (PHOC) [19] やレイアウト [20, 21, 22, 23], シーン テキスト間の位置情報 [24] などが使用される。しか しデュアルエンコーダによる画像中の文字情報と周辺視覚情報の融合した理解については明らかでな く，特にシーンテキストをモダリティの対象としな い CLIP [7] では画像中の文字情報と物体の視覚情報 の意味的な紐付けが難しい [25, 26].

また撮影場所や生産地などに依存するシーンテ キストはゼロショットの語彙となる場合があるた め [1], 先行研究におけるシーンテキストはテキス トエンコーダが持つ語彙とは異なるものとして扱わ れる [27, 28, 24]. また大規模なテキストコーパスを 用いて事前学習を行うことでシーンテキストの語彙 を広くカバーするモデルも提案されている [23].

その他，シーンテキスト検出・検索タスクで は, 従来より注意機構 [29] や Connectionist Temporal Classification (CTC) ロス [30] などが使用される. Wang ら [31] は CTC ロスに加え，シーンテキストお よび視覚表現のクロスモーダルな類似関係をモデル 化するシーンテキスト検索モデルを提案している.

## 3 文字情報を考慮した画像検索

本章では，高速に推論可能なデュアルエンコーダ を用いて画像中の文字情報を考慮した画像検索モデ ルを提案する。

## 3.1 ベースラインモデル

本研究ではデュアルエンコーダにおける詳細な アラインメントを学習することを目的として，画像全体を入力する CLIP [7] ではなく，Faster R-CNN を 用いた物体検出器 [32] により分割された物体領域 を扱う LightningDOT [3] をべースラインモデルとし て用いる（図 1). 画像・テキストエンコーダには， UNITER [11] および BERT [33]を用いる.

LightningDOT では，画像 $\boldsymbol{v}$ とキャプション $\boldsymbol{w}$ の ペアからなるデータセット $D$ をそれぞれ画像エ ンコーダ $E_{v}$ およびテキストエンコーダ $E_{w}$ に入力する。 そして，ベクトル化された二つの CLS べ クトルについて，対応するぺアに対して内積值 $\operatorname{sim}(\boldsymbol{w}, \boldsymbol{v})=E_{w}\left(\boldsymbol{w}_{\mathrm{CLS}}\right)^{\top} E_{v}\left(\boldsymbol{v}_{\mathrm{CLS}}\right)$ が高くなるようモ デルパラメータを最適化する Cross Modal Retrieval （CMR）を行う（式1）。お負例の選択については インバッチネガティブサンプリングを採用し，ミニ バッチ $B$ 内の他の画像とキャプションをそれぞれ負例として扱うこととする.

$
\begin{gathered}
\mathscr{L}_{C M R}(B)=\frac{1}{2 B} \sum_{b=1}^{B} \mathscr{L}_{T R}^{\left(v_{b}\right)}+\mathscr{L}_{I R}^{\left(w_{b}\right)} \\
\mathscr{L}_{I R}^{\left(w_{b}\right)}=-\log \frac{\exp ^{\operatorname{sim}\left(\boldsymbol{w}_{b}, \boldsymbol{v}_{b}\right)}}{\sum_{k=1}^{B} \exp ^{\operatorname{sim}\left(\boldsymbol{w}_{b}, \boldsymbol{v}_{k}\right)}} \\
\mathscr{L}_{T R}^{\left(v_{b}\right)}=-\log \frac{\exp ^{\operatorname{sim}\left(\boldsymbol{v}_{b}, \boldsymbol{w}_{b}\right)}}{\sum_{k=1}^{B} \exp ^{\operatorname{sim}\left(\boldsymbol{v}_{b}, \boldsymbol{w}_{k}\right)}}
\end{gathered}
$

CMR の他，[MASK] に置き換えられたトークン $\boldsymbol{w}_{m}$ を周辺テキスト $\boldsymbol{w}_{\backslash m}$ および視覚情報 $\boldsymbol{v}_{C L S}$ から 予測する Visual Masked Language Modeling (VMLM)

1）（式 2）また $\mathbf{0}$ ベクトルに置き換えられた物体領域のベクトル表現 $\boldsymbol{v}_{m}$ を周辺視覚情報 $\boldsymbol{v}_{\backslash m}$ および テキスト情報 $\boldsymbol{w}_{C L S}$ から予測する Semantic Masked Region Modeling（SMRM)2)（式 3）を行う3).

$
\begin{aligned}
& \mathscr{L}_{M L M}(\theta)=-\mathbb{E}_{(\boldsymbol{w}, \boldsymbol{v}) \sim D} \log P_{\theta}\left(\boldsymbol{w}_{m} \mid \boldsymbol{w}_{\backslash m}, \boldsymbol{v}_{\mathrm{CLS}}\right)(2) \\
& \mathscr{L}_{M R M}(\theta)=-\mathbb{E}_{(\boldsymbol{w}, \boldsymbol{v}) \sim D} f_{\theta}\left(\boldsymbol{v}_{m} \mid \boldsymbol{v}_{\backslash m}, \boldsymbol{w}_{\mathrm{CLS}}\right)
\end{aligned}
$

## 3.2 シーンテキストと周辺視覚情報の理解

先行研究における画像中の文字情報を組み込んだ クロスモーダルモデルについては，クロスエンコー ダを用いた手法が広く研究される [17, 23, 20, 21, 22]一方で，画像中の文字情報がデュアルエンコーダに 与える影響については明らかでない. そこで本研究では, LightningDOT [3] の画像エンコーダである UNITER [11] を対象に，シーンテキストを新たなモ ダリティの対象として考慮する（図 1).

## Masked Scene-Text Modeling (MSM)

シーンテキストに対して物体の視覚情報やキャプ ションとの適切なアラインメントをデュアルエン コーダに学習させるため， 3.1 節で説明した VMLM を拡張し，シーンテキストに対してマスク予測に基 づく最適化を行う ${ }^{4)}$. ここではシーンテキストの テキスト情報のみをマスクすることにより，モデル が「周辺の視覚情報からシーンテキストを読む」こ とが期待できる。具体的には $t$ をマスクするトーク ン数として，マスクするインデックスを $\boldsymbol{m} \in \mathbb{N}^{t}$ と し，マスクされたシーンテキストのトークン列を $s_{m}$ ，マスクされていない周辺文脈としてのシーン テキストのトークン列を $s_{\backslash m}$ とし, 式 4 の negative log-likelihoodを最小化する.

$
\mathscr{L}_{M S M}(\theta)=-\mathbb{E}_{(\boldsymbol{w}, \boldsymbol{v}, \boldsymbol{s}) \sim D} \log P_{\theta}\left(\boldsymbol{s}_{m} \mid \boldsymbol{s}_{\backslash m}, \boldsymbol{v}, \boldsymbol{w}_{\mathrm{CLS}}\right)
$

## 4 実験設定

画像中の文字情報を考慮した画像検索を行う ため，アノテータによって画像中のテキストを読

1）Devlin ら [33] の設定に従い，入力トークン列のうち $15 \%$ の トークンに対して，うち $80 \%$ をマスクトークン [MASK] に置換，10\%をランダムなトークンに置換，残り $10 \%$ は置換なし として処理を行う。

2）SMRM では，0にマスクされた物体領域のベクトル値を予測する Masked Region Feature Regression，およびマスクされた 物体領域の物体クラスを予測する Masked Region Classification の二つのサブタスクからなる $[3,11]$.

3）各イテレーションで無作為にタスクを一つ選択する。

4）VMLM と同様に Devlin ら [33] と同様の設定で行った.表 1 学習データセット

表 2 TextCaps の開発セットにおける検索性能

解するように生成された ${ }^{5}$ TextCaps [1] を利用する （表 1）. TextCaps [1] では，キャプションと画像のぺ アに加え, Rosseta-en [34]を用いたシーンテキスト の情報がデータとして与えられる 6 ) 。学習時のパラ メータについては Appendix. A. 1 を参照されたい.

## 5 実験

## 5.1 文字情報を考慮する検索モデルの評価

3.2 節で説明した，画像中の文字情報を視覚情報と して考慮するための手法について評価した（表 2).評価指標は，キャプションをクエリとした画像検索（IR）および画像をクエリとしたキャプション検索（TR）の両方について，Recall@kを用いた。また 表 2 には，TextCaps [1] で学習された STARNet [18] の検索性能を同時に示す. さらに 2.2 節で述べたよ うに，テキストエンコーダが持つ語彙ではシーンテ キストを多くカバーすることが難しい $[27,28,24]$ た め，テキストエンコーダの語彙数を増やした多言語 BERT [33] の評価も行った ${ }^{7)}$.

表 2 より，シーンテキストを新たなモダリティと して画像エンコーダに入力した場合に，英語 BERT および多言語 BERT の両設定で検索性能が大幅に 向上した.これは TextCaps [1] がシーンテキストに

5） Mafla ら [18]は，TextCaps における少なくとも一つのシーン テキストに言及するというバイアスについて言及している。

6） TextCaps [1] は，シーンテキストを含む画像およびシーン テキストに言及するキャプションが，それぞれ $96.9 \%$ およ び $81.3 \%$ と高く（COCO [35] では，それぞれ $12.7 \%$ および $2.7 \%$ ), 評価セットには訓練および開発データ中に含まれな い OCRトークンが 2901/6329 個と多く含まれる.

7）なお英語 BERT および多言語 BERT の語彙数は，それぞれ 28,996, 119, 547 である.
表 3 視覚情報に対するアブレーション

 & $\checkmark$ & - & 15.7 & 35.0 & 45.8 & | 19.7 & 42.1 & 53.0 \\

言及するキャプションデータであるというバイア ス [18] が要因であると考えられるが，少なくとも シーンテキストを含むデータセットに対してシーン テキストと周辺視覚情報を融合するモデル化が効果的であることを示している. また 3.2 節で述べた MSM については，多言語 BERT を用いた場合に検索性能が向上した．MSMによる画像中の文字情報 のモデル化について 5.2 節で詳細な評価を行う。

## 5.2 視覚情報に対するアブレーション

5.1 節では，視覚情報として画像中の文字情報を 考慮することで検索性能が改善することを示した。本節では，視覚情報として画像中の文字情報（ST） および物体の視覚情報（IMG）の融合的な理解がで きているか調査するため, 視覚情報のモダリティ選択についてアブレーションを行った（表3）。

表 3 より，画像エンコーダに入力するモダリティ を， IMG・ST のみとした場合にモデルの検索性能が 大きく低下したことから, 画像エンコーダから画像中の文字情報および周辺視覚情報が共存した視覚情報がエンコードされることが分かる．またSTのみ を対象とする場合に，MSM ありの検索性能が MSM なしに比べて高い值を示したことから，MSM によ る事前学習がシーンテキストをモデル化するため に有効な手法であることが分かる。一方 IMG のみ を対象とする場合に，MSM ありの検索性能が低く なった結果は，テキストエンコーダから出力される キャプションに対して，テキストとしての情報を持 つ ST との親和性が IMG よりも高くなったのが原因 と考えられる. このことから，キャプションと物体 の視覚情報におけるクロスモーダルな関係を損なう ことなく, シーンテキストを視覚情報として融合で きるような工夫が今後必要となる.表 4 シーンテキストとキャプションのトークン重複数 に対する検索結果（MSMあり）

## 5.3 トークン重複数別の検索性能の変化

シーンテキストが TR・IR に与える影響について 更なる調査を行うため，キャプションとの親和性が 高くなる要因の一つであるトークンの重複数に対す る検索性能を，TextCaps [1] の開発セットを用いて Accuracy@k で評価した ${ }^{8}$ ）(表 4).

表 4 から，TRではキャプションとのトークン重複数が多くなるほど検索性能が高い値を示したこと から，シーンテキストとキャプション間で重複する トークンが，画像中の文字情報とキャプションの親和性を高める要因の一つであることが分かる。また IRにおいてトークン重複数に依存しない結果を示 したのは，トークン重複数と検索対象である視覚情報のモダリティ間の差異や，シーンテキストには権限性の低い文字情報が多く含まれることが原因と考 えられる。

## 6 おわりに

本研究では TextCaps [1]を対象に，画像中の文字情報をデュアルエンコーダに組み込んだ際の影響に ついて調査を行った. 実験の結果より，デュアルエ ンコーダにおいてもシーンテキストが有効であるこ とを示すと同時に，シーンテキストのモデル化につ いて MSM が効果的であることを示した.

今後の展望としては，クロスモーダルな意味関係 についてより詳細な紐付けを行う工夫を模索した い. また Jia ら [8] のような大規模な学習データを 用いた影響や，TextCaps 以外の評価データについて も同様効果があるかどうかデータ横断的な調査を行 いたい. 本研究で得られた知見は，文字情報の理解 に強い Vision and Language の事前学習モデルの構築 や，事前学習モデルに基づく大規模かつ高速な画像検索の重要な基礎・応用課題に貢献できる.

8）なおシーンテキストは spaCyを用いて (“ADJ","ADV","NOUN","PROPN","VERB”) の内容語からなる 品詞に限定した.

## 参考文献

[1] Sidorov Oleksii, Hu Ronghang, Rohrbach Marcus, and Singh Amanpreet. Textcaps: A dataset for image captioning with reading comprehension. In ECCV, pp. 742-758, 2020.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS. Curran Associates, Inc., 2017.

[3] Siqi Sun, Yen-Chun Chen, Linjie Li, Shuohang Wang, Yuwei Fang, and Jingjing Liu. LightningDOT: Pre-training visual-semantic embeddings for real-time image-text retrieval. In NAACL-HLT, pp. 982-997, 2021.

[4] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In EMNLP, pp. 6769-6781, 2020.

[5] Ruiyang Ren, Shangwen Lv, Yingqi Qu, Jing Liu, Wayne Xin Zhao, QiaoQiao She, Hua Wu, Haifeng Wang, and Ji-Rong Wen. PAIR: Leveraging passage-centric similarity relation for improving dense passage retrieval. In ACL, pp. 2173-2183, 2021.

[6] Yingqi Qu, Yuchen Ding, Jing Liu, Kai Liu, Ruiyang Ren, Wayne Xin Zhao, Daxiang Dong, Hua Wu, and Haifeng Wang. RocketQA: An optimized training approach to dense passage retrieval for open-domain question answering. In NAACL-HLT, pp. 5835-5847, 2021.

[7] Radford Alec, Wook Kim Jong, Hallacy Chris, Ramesh Aditya, Goh Gabriel, Agarwal Sandhini, Sastry Girish, Askell Amanda, Mishkin Pamela, Clark Jack, Krueger Gretchen, and Sutskever Ilya. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[8] Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yun-Hsuan Sung, Zhen Li, and Tom Duerig. Scaling up visual and vision-language representation learning with noisy text supervision. In ICML, pp. 4904-4916, 2021.

[9] Lu Yuan, Dongdong Chen, Yi-Ling Chen, Noel Codella, Xiyang Dai, Jianfeng Gao, Houdong Hu, Xuedong Huang, Boxin Li, Chunyuan Li, Ce Liu, Mengchen Liu, Zicheng Liu, Yumao Lu, Yu Shi, Lijuan Wang, Jianfeng Wang, Bin Xiao, Zhen Xiao, Jianwei Yang, Michael Zeng, Luowei Zhou, and Pengchuan Zhang. Florence: A new foundation model for computer vision. CoRR.

[10] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for visionand-language tasks. In NeurIPS, pp. 13-23, 2019.

[11] Chen Yen-Chun, Li Linjie, Yu Licheng, El Kholy Ahmed, Ahmed Faisal, Gan Zhe, Cheng Yu, and Liu Jingjing. UNITER: universal image-text representation learning. In ECCV, pp. 104-120, 2020.

[12] Li Xiujun, Yin Xi, Li Chunyuan, Zhang Pengchuan, Hu Xiaowei, Zhang Lei, Wang Lijuan, Hu Houdong, Dong Li, Wei Furu, Choi Yejin, and Gao Jianfeng. Oscar: Object-semantics aligned pretraining for vision-language tasks. In ECCV, pp. 121-137, 2020.

[13] Pengchuan Zhang, Xiujun Li, Xiaowei Hu, Jianwei Yang, Lei Zhang, Lijuan Wang, Yejin Choi, and Jianfeng Gao. Vinvl: Revisiting visual representations in vision-language models. In CVPR, pp. 5579-5588, 2021.

[14] Minheng Ni, Haoyang Huang, Lin Su, Edward Cui, Taroon Bharti, Lijuan Wang, Dongdong Zhang, and Nan Duan. M3p: Learning universal representations via multitask multilingual multimodal pre-training. In CVPR, pp. 3977-3986, 2021.

[15] Mingyang Zhou, Luowei Zhou, Shuohang Wang, Yu Cheng, Linjie Li, Zhou Yu, and Jingjing Liu. Uc2: Universal cross-lingual crossmodal vision-and-language pre-training. In CVPR, pp. 4155-4165, 2021.

[16] Po-Yao Huang, Mandela Patrick, Junjie Hu, Graham Neubig, Florian Metze, and Alexander Hauptmann. Multilingual multimodal pre-training for zero-shot cross-lingual transfer of vision-language models. In NAACL-HLT, pp. 2443-2459, 2021.

[17] Zhengyuan Yang, Yijuan Lu, Jianfeng Wang, Xi Yin, Dinei Florencio, Lijuan Wang, Cha Zhang, Lei Zhang, and Jiebo Luo. Tap: Text-aware pre-training for text-vqa and text-caption. In CVPR, pp. 8751-8761, 2021.

[18] Andres Mafla, Rafael S. Rezende, Lluis Gomez, Diane Larlus, and Dimosthenis Karatzas. Stacmr: Scene-text aware cross-modal retrieval. In WACV, pp. 2220-2230, 2021.

[19] Jon Almazán, Albert Gordo, Alicia Fornés, and Ernest Valveny. Word spotting and recognition with embedded attributes. IEEE, pp. 2552-2566, 2014.

[20] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. Layoutlm: Pre-training of text and layout for document image understanding. In SIGKDD, pp. 1192-1200, 2020.

[21] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei A. F. Florêncio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. Layoutlmv2: Multimodal pre-training for visually-rich document understanding. In ACL/IJCNLP, pp. 2579-2591, 2021.

[22] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, pp. 13878-13888, 2021.

[23] Ali Furkan Biten, Ron Litman, Yusheng Xie, Srikar Appalaraju, and R. Manmatha. Latr: Layout-aware transformer for scene-text VQA. CoRR, 2021.

[24] Jing Wang, Jinhui Tang, Mingkun Yang, Xiang Bai, and Jiebo Luo. Improving ocr-based image captioning by incorporating geometrical relationship. In CVPR, pp. 1306-1315, 2021.

[25] Gabriel Goh, Nick Cammarata $\dagger$, Chelsea Voss $\dagger$, Shan Carter, Michael Petrov, Ludwig Schubert, Alec Radford, Chris Olah. Multimodal neurons in artificial neural networks. Distill, 2021.

[26] David A. Noever and Samantha E. Miller Noever. Reading isn't believing: Adversarial attacks on multi-modal neurons. CoRR, 2021.

[27] Amanpreet Singh, Vivek Natarajan, Meet Shah, Yu Jiang, Xinlei Chen, Dhruv Batra, Devi Parikh, and Marcus Rohrbach. Towards VQA models that can read. In CVPR, pp. 8317-8326, 2019.

[28] Ronghang Hu, Amanpreet Singh, Trevor Darrell, and Marcus Rohrbach. Iterative answer prediction with pointer-augmented multimodal transformers for textvqa. In CVPR, 2020

[29] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In ICLR, 2015.

[30] Alex Graves, Santiago Fernández, Faustino J. Gomez, and Jürgen Schmidhuber. Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks. In ICML, pp. 369-376, 2006

[31] Hao Wang, Xiang Bai, Mingkun Yang, Shenggao Zhu, Jing Wang, and Wenyu Liu. Scene text retrieval via joint text detection and similarity learning. In CVPR, pp. 4558-4567, 2021.

[32] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR, pp. 6077-6086, 2018.

[33] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[34] Fedor Borisyuk, Albert Gordo, and Viswanath Sivakumar. Rosetta: Large scale system for text detection and recognition in images. In SIGKDD, pp. 71-79, 2018.

[35] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO captions: Data collection and evaluation server. CoRR, Vol. abs/1504.00325, , 2015 .

## A 参考情報

## A. 1 学習パラメータ

4 章で説明したモデルの学習設定を図 5 に示す.

## 表 5 実験設定


 宮脇峻平 ${ }^{1}$ 長谷川拓 ${ }^{2}$ 西田京介 ${ }^{2}$ 加藤拓真 ${ }^{1}$ 鈴木潤 1,3 ${ }^{1}$ 東北大学 ${ }^{2} \mathrm{NTT}$ 人間情報研究所 ${ }^{3}$ 理化学研究所 \{shumpei.miyawaki.q1, takuma.kato.r3\}@dc.tohoku.ac.jp jun.suzuki@tohoku.ac.jp \{taku. hasegawa.ps, kyosuke.nishida.rx\}@hco.ntt.co.jp  