# マルチモーダル OCR 特徴を用いた Dynamic Pointer Network によるテキスト付き画像説明文生成

植田有咲 Wei Yang 杉浦孔明
慶應義塾大学
\{arinko31,wei.yang,komei.sugiura\}@keio.jp

## 概要

テキスト情報を含む画像の説明文生成は視覚のバ リアフリー化を実現するための重要な課題の一つで ある. 本研究では, テキスト情報を含む画像に対し て説明文を生成するタスクに対して,マルチモーダ ル OCR 特徴を含む複数のモダリティを利用した画像説明文生成モデルを提案する. 提案手法では画像中のテキスト領域を複数のモダリティに分割するマ ルチモーダル OCR 特徴を導入する.さらに, 画像, 物体領域, マルチモーダル OCR 特徴を含む複数モダリ ティ間の関係をモデル化するための相互注意を導入 する. 提案手法は TextCaps データセットにおいて既存手法を上回る結果を得た。

## 1 はじめに

テキスト情報を含む標識や看板などは日常生活に 多く存在する.テキスト情報を含む画像の説明文生成は, 日常生活における視覚のバリアフリー化を促進する一つの手段である. また, 画像の代替テキス 卜 (alt 属性など) の生成における品質向上にとって 有益である.

以上の社会的背景から, 本研究では TextCaps (Textbased Image Captioning) タスクを扱う. TextCaps タス クはテキスト情報を含む画像に対して OCR (Optical Character Recognition) を利用して説明文を生成する タスクである. 図 1 に提案手法の概要図を示す. 図の 例では, “a store called del's sells soft frozen lemonade" という説明文を生成することが望ましい.

本タスクでは OCR トークンの多面的な視覚言語特徵や, OCR トークンと物体間の関係を考慮する ことが重要である. しかし, 先行研究 [1], [2] ではそ れらの考慮が不十分であり,十分な性能が得られな かった.

そこで本研究では, マルチモーダル OCR 特徴を含 む複数のモダリティを利用した画像説明文生成モデ

図1 提案手法の概要図

ルを提案する.ここでマルチモーダル OCR 特徴と は, OCR により得られたテキストとその画像領域に 関する視覚言語特徴を指すものとする. 提案手法で は, 事前学習済みの CLIP (Contrastive Language-Image Pre-training) [3] モデルを全体画像と OCR トークン の言語特徴量を抽出するために用いる. さらに複数 のモダリティ間の関係をモデル化する相互注意を導入することで, 性能の向上が期待できる.

本研究の新規性は以下の通りである.

・既存手法と異なり, 画像中のテキスト領域を 複数のモダリティに分割するマルチモーダル OCR 特徴を導入する。
- 画像全体, 物体領域, マルチモーダル OCR 特徴 を含す複数モダリティ間の関係をモデル化する ための相互注意を導入する。

## 2 問題設定

本研究では, 画像内のテキスト情報を認識し,それ らに関連する説明文を自動的に生成する TextCaps タ スクを扱う.テキスト情報を含まない画像に対する 画像説明文生成については考慮しないものとする。本タスクの入出力を以下のように定義する.
- 入力 : 画像

-出力 : 画像内のテキスト情報に関連する説明文

図2 提案手法のネットワーク図

## 3 提案モデル

本モデルは 5 つの相互注意と説明文を生成する復号器から構成されている. 図 2 に提案手法のネット ワーク構造を示す. 入力は $\boldsymbol{X}=\left.\{\boldsymbol{X}_{\mathrm{img}}, \boldsymbol{X}_{\mathrm{obj}}, \boldsymbol{X}_{\mathrm{ocr}}\right.\}$ で あり, $\boldsymbol{X}_{\mathrm{img}}, \boldsymbol{X}_{\mathrm{obj}}, \boldsymbol{X}_{\mathrm{ocr}}$ はそれぞれ画像全体, 物体領域, OCR で検出された領域と検出結果を表す.

## 3.1 特徵抽出

画像特徵量 $X_{\text {img }}$ は事前学習済みの CLIPを用いて 特徴量抽出される. CLIP の RN50x4 モデルを用いて 画像全体を符号化し, 画像特徵量 $\boldsymbol{h}_{\text {glob }} \in \mathbb{R}^{640}$ を得る.

さらに, Faster R-CNN [4]を用いて画像から $l$ 個 の物体を検出し, $\boldsymbol{X}_{\mathrm{obj}}$ を抽出し, TextCaps タスクで fine-tuning を行う. 特徴量の次元数は 2048 であり, 抽出された特徴量を $\boldsymbol{h}_{\text {obj, fr }}^{(l)}, \boldsymbol{h}_{\mathrm{obj}, \mathrm{bb}}^{(l)}$ と定義する. $\boldsymbol{h}_{\mathrm{obj}, \mathrm{bb}}^{(l)}$ は物体領域の正規化された座標特徴量を表す.これ らに正規化層を適用し, 最終的な物体特徵量 $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$得る.

$j$ 個の OCRトークンの言語特徴量 $\boldsymbol{h}_{\mathrm{ocr}, 1}^{(j)}$ は FastText 特徴量 $\boldsymbol{h}_{\mathrm{or}, \mathrm{ft}}^{(j)}$ と文字レベルの PHOC [5] 特徴量 $\boldsymbol{h}_{\mathrm{ocr}, \mathrm{ph}}^{(j)}$, CLIP (RN50x4) モデルで OCR トークン特徴量を抽出した $\boldsymbol{h}_{\mathrm{ocr}, \mathrm{c}}^{(j)}$ から構成される. 物体特徴量抽出と 同様に Faster R-CNN を用いて OCR トークンの視覚的特徴量 $\boldsymbol{h}_{\text {ocr,fr }}^{(j)}, \boldsymbol{h}_{\text {ocr,bb }}^{(j)}$ を抽出し, TextCaps タスクで fine-tuning を行う. $\boldsymbol{h}_{\text {ocr,bb }}^{(j)}$ は OCR の画像領域の正規化された座標特徴量を表す. 最終的な OCR の視覚的特徴量を $\boldsymbol{h}_{\mathrm{ocr}, \mathrm{V}}^{(j)}$ と定義する. マルチモーダル OCR 特徵 $\boldsymbol{h}_{\text {ocr,all }}^{(j)}$ を以下のように定義する.

$
\begin{aligned}
\boldsymbol{h}_{\mathrm{ocr}, \mathrm{all}}^{(j)}= & f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ft}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{ft}}^{(j)}+\boldsymbol{W}_{\mathrm{ph}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{ph}}^{(j)}+\boldsymbol{W}_{\mathrm{c}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{c}}^{(j)}\right. \\
& \left.+\boldsymbol{W}_{\text {ocr,fr }} \boldsymbol{h}_{\text {ocr }, \mathrm{fr}}^{(j)}+\boldsymbol{W}_{\mathrm{glob}} \boldsymbol{h}_{\mathrm{glob}}\right)+f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ocr}, \mathrm{bb}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{bb}}^{(j)}\right)
\end{aligned}
$

$f_{\mathrm{LN}}$ は正規化層, $\boldsymbol{W}$. は重み行列を表す.また, 画像全体,物体領域, マルチモーダル OCR 特徴を相互注意の入力として用いる。

## 3.2 相互注意

提案手法は画像全体, 物体領域,マルチモーダル OCR 特徴から構成される複数のモダリティを融合 させる 5 つの相互注意から構成される. 相互注意を 以下のように定義する.

$
\begin{aligned}
\boldsymbol{h}_{1}^{\prime} & =\operatorname{softmax}\left(\frac{\boldsymbol{W}_{Q} \boldsymbol{h}_{1}\left(\boldsymbol{W}_{K} \boldsymbol{h}_{1}\right)^{\top}}{\sqrt{d_{k}}}\right) \boldsymbol{W}_{V} \boldsymbol{h}_{1} \\
\boldsymbol{u}_{n} & =\operatorname{ReLU}\left(\boldsymbol{W}_{u} \boldsymbol{h}_{n}^{\prime}\right), \quad n=1,2 \\
\boldsymbol{\alpha}_{m} & =\operatorname{softmax}\left(\boldsymbol{W}_{\alpha}\left(\boldsymbol{u}_{1} \odot \boldsymbol{u}_{2}^{(m)}\right)\right), \quad \boldsymbol{z}=\sum_{m=1}^{M} \boldsymbol{\alpha}_{m} \boldsymbol{h}_{2}^{\prime},
\end{aligned}
$

ここで $\odot$ はアダマール積を表す. $d_{k}=H / A, H, A$ はそれぞれ Transformer モデルの隠れ層の次元数, ヘッド数を表す. $\boldsymbol{W}$. は学習可能な重みを表す. 例と して, 図 2 における 1 つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$ として, $\boldsymbol{h}_{2}^{\prime}$ は $\boldsymbol{h}_{\mathrm{ocr}, 1}^{(j)}$ として定義される. 同様に 2 つ目 では $\boldsymbol{h}_{1}, \boldsymbol{h}_{2}^{\prime}$ はそれぞれ $\boldsymbol{h}_{\mathrm{obj}}^{(l)}, \boldsymbol{h}_{\mathrm{ocr}, \mathrm{v}}^{(j)}$ として定義される. 5 つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\text {ocr,all }}^{(j)}, \boldsymbol{h}_{2}^{\prime}$ は $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$ を表す.

提案手法では画像全体, 物体領域, マルチモーダ ル OCR 特徴を含む複数モダリティ間の関係をモデ ル化するための 2 つの相互注意を導入する.これら の 2 つの相互注意は入力として $\boldsymbol{h}_{2}^{\prime}=\boldsymbol{h}_{\text {glob }}$ を用いる.図2の3つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$ として定義 される. 同様に 4 つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\text {ocr,all }}^{(j)}$ と して定義される.

最終的に, $\boldsymbol{h}_{1}^{\prime} \odot z$ によって 5 つの相互注意から複数モダリティ間の関係をモデル化するための埋め込 み表現を計算する. 得られた埋め込み表現に全結合層を適用し, 相互注意の最終出力とする.

図 3 提案手法の復号器の概要図

## 3.3 説明文生成

図 3 に画像から説明文を生成するための復号器の 概要図を示す. 提案手法では Transformerベースの自己回帰型の復号器を用いて時刻 $t(t=0,1, \cdots, T)$ の トークンを予測する. 復号器の特徴はポインタネッ トワーク (Dynamic Pointer Network) を導入すること により, 予測トークンが固定語彙 $(v=1, \cdots, V)$ また は画像中の OCR トークン $(j=1, \cdots, N)$ から選択さ れることである.

最初の予測トークン $(t=0)$ は, 図 2 の Context Embedding に基づき, 得られる. その後のステップで は, 時刻 $t$ のトークンを予測するために, 時刻 $t-1$ の埋め込み $x_{t}^{\mathrm{dec}}$,および時刻 $t-1$ に予測されたトー クンのタイプ埋め込み $(0$ ：固定語彙, 1 ：OCR トー クン）が用いられる. 時刻 $t-1$ の予測として OCR トークンが選択された場合, $\boldsymbol{h}_{\text {ocr,all }}^{(j)}$ を前時刻で予測 されたトークンの $\boldsymbol{x}_{t}^{\mathrm{dec}}$ として入力する. 一方, 前時刻 の予測が固定語彙から選択された場合, 対応する重 みベクトル $\boldsymbol{w}_{v}^{\mathrm{voc}}$ を入力として用いる. 各時刻 $t$ で, Transformer モデルは現時刻の予測のための入力 $\boldsymbol{x}_{t}^{\mathrm{dec}}$ に対応する $d$ 次元のベクトル $z_{t}^{\mathrm{dec}}$ を出力する. $\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}$ と $\hat{y}_{t, j}^{\text {ocr }}$ は時刻 $t$ での固定語彙または OCR トークン から得られる予測を表す. 時刻 $t$ におけるポインタ ネットワークを用いた固定語彙の予測確率 $p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right)$ または OCR トークンの予測確率 $p\left(\hat{y}_{t, j}^{\text {ocr }}\right)$ は以下のよ うに得られる。

$
\begin{gathered}
p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}} \mid S=S_{\mathrm{voc}}\right)=\operatorname{softmax}\left(\left(\boldsymbol{w}_{v}^{\mathrm{voc}}\right)^{\top} z_{t}^{\mathrm{dec}}\right) \\
p\left(\hat{\boldsymbol{y}}_{t, j}^{\mathrm{ocr}} \mid S=S_{\mathrm{ocr}}\right)=\operatorname{softmax}\left(\left(\boldsymbol{W}_{\mathrm{ocr}} z_{j}^{\mathrm{ocr}}\right)^{\top}\left(\boldsymbol{W}_{\mathrm{dec}} z_{t}^{\mathrm{dec}}\right)\right)
\end{gathered}
$

ここで, $\boldsymbol{w}_{v}^{\mathrm{voc}}$ は固定語彙内の $v$ 番目の d-次元のパ ラメータを表す. $\boldsymbol{W}_{\text {ocr }}$ と $\boldsymbol{W}_{\text {dec }}$ は $\mathrm{d} \times \mathrm{d}$ の重み行列を 表す.

$
\left[p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right) ; p\left(\hat{\boldsymbol{y}}_{t, j}^{\mathrm{ocr}}\right)\right]=\left.\{p\left(\hat{\boldsymbol{y}}_{t, i}^{\mathrm{all}}\right) \mid i=1, \cdots, V+N\right.\}
$

双方の予測確率 $\left[p\left(\hat{y}_{t, v}^{\mathrm{voc}}\right) ; p\left(\hat{y}_{t, j}^{\mathrm{ocr}}\right)\right]$ を考慮し, 固定語彙, 画像内の OCR トークンからなる $V+N$ 個の候補 から最も予測確率が高いトークンを出力とする。

## 4 実験

## 4.1 実験設定

TextCaps データセットを用いて提案手法の性能評価を行った. 28,408 枚のテキスト付き画像に対す る 142,040 文の説明文を含む. 固定語彙は 6,736 語利用した. 説明文の平均語数は 13.47 語である. 我々 は [1] に基づきデータセットを分割した. TextCaps データセットの訓練集合, 検証集合, テスト集合はそ れぞれ 21,953 枚, 3,166 枚, 3,289 枚の画像から構成さ れている. TextCaps タスクではテスト集合の正解文 が公開されていないため, 訓練集合と検証集合のみ を用いた. 評価実験は検証集合を用いて行った. 実験は標準的な手順に従っており, 検証集合はモデル の学習やパラメータの調整には使用されない. 実験 に使用した OCR 特徴は, SBD-Trans [6,7]によって認識されたものである.

提案手法の学習は $32 \mathrm{~GB}$ のメモリを搭載した 4 台 の Tesla V100 GPU で行った. ハイパーパラメータ 設定は [2] と同様である. このモデルは 170,561,578 (171M) の学習可能なパラメータを持ち, 学習に は 12 時間必要であった. BLEU-4 [8], METEOR [9], ROUGE-L [10], CIDEr [11], SPICE [12] という 5 つの 標準的評価手法を用いて評価を行った.

## 4.2 定量的結果

M4C-Captioner [1] と SSbaseline [2] をべースライ ン手法として用いた. ベースライン手法と提案手法の比較実験を行った結果, 提案手法 (条件 (6)) は BLEU-4, SPICE, CIDEr, それぞれ 25.58, 16.60, 99.74 ポイントであり, SSbaseline (BLEU-4: 24.54, SPICE: 15.74, CIDEr: 97.76) に比べて 1, 0.9, 2 ポイント向上 する結果が得られた. さらに, M4C-Captioner との比較ではより顕著な向上が見られた. その上, 2 つの画像に関連する相互注意を導入することによって, 条件 (7) の Ours (full) では, BLEU-4, CIDEr は 0.42 (25.58 $\rightarrow$ 26.00), 0.7 (99.74 $\rightarrow$ 100.44) ポイントそれぞれ性能 が向上した.これらの結果は画像全体, 物体, マルチ モーダル OCR 特徴を含む複数の特徴量間の関係を モデル化する相互注意の導入が性能向上に寄与する ことを示唆している。
表 1 TextCaps タスクにおける定量的結果

(a)

(b)

図4

## 4.3 Ablation Study

画像とマルチモーダル OCR 特徴, および画像に関連する相互注意の有効性を調査するために, ablation study（CLIP-RN50x4 モデルを使用)を3つの条件で 行った. 表 1 に示すように, SSbaseline と条件 (4)を 比較して, CLIP に基づくマルチモーダル OCR 特徴 を導入するだけで CIDEr スコアは約 1 ポイント向上した (97.76 $\rightarrow$ 98.66). また, CLIP を利用した画像特徴量を削除することで性能は大きく低下した（条件 (4) と条件 (7)). しかし, 画像全体の CLIP 特徴を 導入することでべースライン手法に比べ, 全ての評価指標で性能が向上した (条件 (3) と条件 (5)). 例え ば, BLEU-4 は 1 (24.54 $\rightarrow$ 25.58) ポイント, SPICE は $0.8(15.74 \rightarrow 16.54)$ ポイント, CIDEr は 1.6 (97.76 $\rightarrow$ 99.40) ポイント, それぞれ向上した. 提案手法で導入 した CLIP に基づく画像モダリティは TextCaps タス クでの性能を向上させることがわかった.

条件 (3) と条件 (6) を比較すると,複数モダリティ 間の関係をモデル化するための相互注意を取り除く ことで, BLEU-4 と CIDEr のスコアは減少した. この 結果は, 画像全体, 物体領域, マルチモーダル OCR 特徵を含む複数特徴量間の関係をモデル化する相互注意が TextCaps タスクにおいて有効であることを示唆 している。 (a) SSbaseline: a bottle of whitestone stout next to a glass of it Ours: a bottle of [epic] [stout] next to a glass of beer GT: a bottle of epic stout next to a quarter full glass and some snacks

(b) SSbaseline: a book by conan holmes called adventures of sherlock holmes

Ours: a book by [conan] [doyle] called the [adventures] [of] [sherlock] [holmes]

GT: a book cover of the adventures of sherlock holmes by a . conan doyle

## 定性的結果

## 4.4 定性的結果

図 4 に定性的結果を示す. 図 4 (a) ではベースラ イン手法は OCR トークンの “whitestone” と物体の “bottle”間の関係を適切に表現できていない。一方，提案手法では正しい OCR トークン “epic” と “stout” を物体 “bottle” に対して適切に選択した. 図 4 (b) の ベースライン手法は誤った OCR トークンを生成文 で用いた. 例として, “a book by conan holmes” は “a book by conan doyle” となるべきである. 一方で, 提案手法は著者と本のタイトルを適切な OCR トークン を用いて表現できている。

## 5 おわりに

本論文では，テキスト情報を含む画像の説明文生成を行う TextCaps タスクを扱った. 提案手法による 新規性は以下である。

・既存手法と異なり, 画像中のテキスト領域を 複数のモダリティに分割するマルチモーダル OCR 特徴を導入した。

-画像全体, 物体領域, マルチモーダル OCR 特徴 を含す複数モダリティ間の関係をモデル化する ための相互注意を導入した。

・全ての評価指標においてべースライン手法を上回る性能を得た。

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 04269$, JST Moonshot, NEDO の助成を受けて実施されたものである.

## 参考文献

[1] Oleksii Sidorov, Ronghang Hu, Marcus Rohrbach, and Amanpreet Singh. TextCaps: A dataset for image captioning with reading comprehension. In ECCV, pp. 742-758, 2020.

[2] Qi Zhu, Chenyu Gao, Peng Wang, and Qi Wu. Simple is not easy: A simple strong baseline for TextVQA and TextCaps. In AAAI, Vol. 35, pp. 3608-3615, 2021.

[3] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[4] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. NeurIPS, Vol. 28, , 2015.

[5] Jon Almazán, Albert Gordo, Alicia Fornés, and Ernest Valveny. Word spotting and recognition with embedded attributes. IEEE Trans. PAMI, Vol. 36, No. 12, pp. 25522566, 2014.

[6] Yuliang Liu, Sheng Zhang, Lianwen Jin, Lele Xie, Yaqiang $\mathrm{Wu}$, and Zhepeng Wang. Omnidirectional scene text detection with sequential-free box discretization. In IJCAI, pp. 3052-3058, 2019.

[7] Peng Wang, L. Yang, Hui Li, Yuyang Deng, Chunhua Shen, and Yanning Zhang. A simple and robust convolutional-attention network for irregular text recognition. arXiv preprint arXiv: 1904.01375, 2019.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: A method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[9] Satanjeev Banerjee and Alon Lavie. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 6572, 2005

[10] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[11] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based image description evaluation. In CVPR, pp. 4566-4575, 2015.

[12] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: Semantic propositional image caption evaluation. In ECCV, pp. 382-398, 2016.

[13] Yunpeng Luo, Jiayi Ji, Xiaoshuai Sun, Liujuan Cao, Yongjian Wu, Feiyue Huang, Chia-Wen Lin, and Rongrong Ji. Dual-level collaborative transformer for image captioning. In AAAI, Vol. 35, pp. 2286-2293, 2021.

[14] Yehao Li, Yingwei Pan, Ting Yao, and Tao Mei. Comprehending and ordering semantics for image captioning. In
CVPR, pp. 17990-17999, 2022

[15] Xiaowei Hu, Zhe Gan, Jianfeng Wang, Zhengyuan Yang, Zicheng Liu, Yumao Lu, and Lijuan Wang. Scaling up vision-language pre-training for image captioning. In CVPR, pp. 17980-17989, 2022.

[16] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, Silvia Cascianelli, Giuseppe Fiameni, and Rita Cucchiara. From show to tell: A survey on deep learning-based image captioning. IEEE Trans. PAMI, Vol. ISSN 0162-8828, pp. 1-10, 2022.

[17] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, et al. Oscar: Object-semantics aligned pretraining for vision-language tasks. In ECCV, pp. 121-137, 2020.

[18] Xiaowei Hu, Zhe Gan, Jianfeng Wang, Zhengyuan Yang, Zicheng Liu, Yumao Lu, and Lijuan Wang. Scaling up vision-language pre-training for image captioning. In CVPR, pp. 17980-17989, 2022

[19] Zhengyuan Yang, Yijuan Lu, Jianfeng Wang, Xi Yin, Dinei Florencio, Lijuan Wang, Cha Zhang, Lei Zhang, and Jiebo Luo. TAP: Text-aware pre-training for Text-VQA and Text-Caption. In CVPR, pp. 8747-8757, 2021.

## A 付録

## A. 1 関連研究

画像説明文生成の研究は広く行われてい る [13-16]. 従来の画像説明文生成タスクでは, 画像内のテキスト情報の理解が必要となるタスクは少な い $[17,18]$.

テキストに基づいた画像説明文生成 (TextCaps) は, テキスト情報を含む画像に対して説明文を生成する ことを目的とする. そのため, 従来の画像説明文生成 タスクで用いられているような画像ではなく, テキ スト情報を含む画像に特化したタスクである. 故に，一般的な画像理解を目指した従来モデルは本タスク への適用が難しい. テキスト情報が重要となるため, TextCaps タスクでは OCR 特徴と物体領域を大力と して用いるモデルが主流である $[1,2,19]$.
 植田有咲 Wei Yang 杉浦孔明 慶應義塾大学 \{arinko31,wei.yang,komei.sugiura\}@keio.jp  