# Multimodal Encoder with Gated Cross-attention for Text-VQA Tasks

Wei Yang, Arisa Ueda, and Komei Sugiura
Keio University
\{wei.yang, arinko31,komei.sugiura\}@keio.jp
}

\begin{abstract}
Visual scene understanding, such as visual question answering (VQA), is expected to improve as it benefits people with disabilities in daily life. The Text-based VQA task as an extension of VQA is more challenging to tackle, in which the questions' answers must relate to the text information with reading and reasoning like humans. In this work, we propose an integrated self- and gated crossattention encoder module to fuse multi-modalities captured in an image effectively. We evaluated our method on the TextVQA dataset, and the results demonstrated that our model outperformed baseline models on the accuracy evaluation in the text-based VQA task.
\end{abstract
## 1 Introduction

In recent decades, visual and natural language understanding has grown into crucial domains for innovation in Artificial Intelligence (AI) [1,2], with more and more applications reshaping lifestyles [3]. Such as automatic navigation for guiding vehicles [4], dialogue systems [5-7], etc. In daily life, many visual scenes and questions contain textrelated information. Thus, it should be helpful for humans to obtain an accurate answer when they ask a question about the visual scene related to the text, especially for visually impaired people.

The target task of this work refers to constructing a visual question answering (VQA) model that can handle the question-answering problem while requiring reading and reasoning the text in images (TextVQA). And this makes it more complicated and challenging to tackle. For example, in Figure 1, several words exist in the image in different colors (green, brown, and white) to introduce a small bean around the Lake Trasimeno area of Italy. When asked about 'what word is written in white text?', it is required to generate an answer 'trasimeno', which is written in white

Figure 1 Overview of our method for TextVQA: We integrate self- and gated cross-attention mechanisms into a V\&L encoder. color and difficult to see. And this requires reading and reasoning from all text information in the image.

In [8], they combine different modalities with a multimodal transformer over a large joint embedding space. Thus it lacks specific modality pair computation, e.g., a pair between the question and the OCR text information. On the other hand, the image-related cross-attention computation needs to be improved in [9]. And the utilization of the global image modality is absent in both works.

We propose a multimodal encoder, which maximizes using multiple modalities in an image and models the relationship with both self- and gated cross-attention mechanisms. Therefore, our model can handle the text-based VQA problem with a stronger visual-language encoder, especially to obtain visually informed question (language) features.

The main contributions of our work are as follows:
- We introduce an additional vanilla attention block for the entire image to complete the utilization of the visual information.
- To obtain richer features for text and visual modalities, we introduce using a pre-trained CLIP [1] model for OCR tokens and the entire image.
- We introduce a Flamingo's [10] gated cross-attention mechanism to further model the relationship between the entire image (visual) and the question (language).

Figure 2 Overview of our proposed encoder-decoder architecture. TrmD and DPN denote the general Transformer decoder and the dynamic pointer network, respectively. The introduced integrated self- and gated cross-attention encoder are given in green.

## 2 Problem Statement

The focus of this paper is the TextVQA task. The model is expected to predict (output or generate) an answer to a question which should be a deduction based on the text and the visual information in the image. The input and output in our experiments are defined as follows,
- Input: An image that contains text and one imagerelated question. In detail, an image, including the entire image, detected object regions and detected OCR tokens/regions.
- Output: An answer that answers the question by reading and reasoning over the text in the image.

## 3 Proposed Method

Our method is inspired by the M4C [8] and SSbaseline model [11], multimodal Transformer networks that have been successfully applied to the TextVQA task. Figure 2 shows the overview of our proposed self- and gated corss-attention encoder-decoder architecture. Our proposed method is applicable to more than just this work and can be applied to other visual-and-language (V\&L) tasks that consider language- and image-related modalities as inputs. Because efficiently fusing and modeling the relationship between visual and textual modalities is considered the basic strategy for solving any V\&L problems.

Our model comprises two grand divisions: encoder and decoder modules. The encoder module consists of a sequence of stacked attention blocks with self- and gated cross-attention mechanisms. The Transformer decoder module with a dynamic pointer network (DPN) is built to predict the answers from a fixed vocabulary or the OCR tokens in an image, i.e., the answer generation module.

## 3.1 Input

The input $\boldsymbol{X}$ to our model is defined as follows:

$
\boldsymbol{X}=\left.\{\boldsymbol{X}_{\mathrm{Q}}, \boldsymbol{X}_{\text {img }}, \boldsymbol{X}_{\text {obj }}, \boldsymbol{X}_{\text {ocr }, \mathrm{v}}, \boldsymbol{X}_{\text {ocr }, \mathrm{s}}\right.\}
$

where $\boldsymbol{X}_{\mathrm{Q}}, \boldsymbol{X}_{\mathrm{img}}, \boldsymbol{X}_{\mathrm{obj}}, \boldsymbol{X}_{\mathrm{ocr}, \mathrm{v}}$, and $\boldsymbol{X}_{\mathrm{ocr}, \mathrm{s}}$ denote the question, entire image, detected objects, recognized OCR regions (visual) and OCR tokens (semantic), respectively.

We use the CLIP (RN50x4) model to obtain a 640dimensional feature vector $\left(\boldsymbol{x}_{\text {glob }}\right)$ for each entire image.

Moreover, we encode the detected objects in an image through the fc6 layer of Faster R-CNN [12] and finetuning the last layer on the TextVQA dataset, $\left.\{\boldsymbol{x}_{\mathrm{obj}, \mathrm{fr}}^{(m)} \mid\right.$ $m=1, \cdots, M\}$, where $M$ denotes the number of the objects considered in the image. The same Faster R-CNN model and fine-tuning are also applied to the OCR region feature extraction, $\left.\{\boldsymbol{x}_{\mathrm{ocr}, \mathrm{fr}}^{(n)} \mid n=1, \cdots, N\right.\}$, where $N$ denotes the number of the OCR tokens considered in the image. We obtain a 2048-dimensional feature vector for each region. The spatial features (4-dimensional bounding box features, e.g., $\left.\boldsymbol{x}_{\mathrm{obj}, \mathrm{bx}}^{(m)}\right)$ are also used in our experiments.

The recognized OCR token features $\boldsymbol{x}_{\text {ocr,tok }}^{(n)}$ are made up of (1) character-level Pyramidal Histogram of Characters (PHOC) [13] feature for each OCR token (604dimensional $\boldsymbol{x}_{\text {ocr,phoc }}^{(n)}$, (2) FastText features $\boldsymbol{x}_{\text {ocr,ft }}^{(n)}$ for the OCR tokens in subword-level (300-dimensional) and (3) 640-dimensional CLIP-based OCR token features $\boldsymbol{x}_{\text {ocr,clip }}^{(n)}$. Note that we use the same pre-trained CLIP model for image and OCR token's feature extraction. We use a threelayer BERT [14] model to obtain a 768-dimensional embedding for each token. This BERT model is fine-tuned during training

$
\begin{gathered}
\boldsymbol{h}_{\text {glob }}=f_{\mathrm{LN}}\left(\boldsymbol{W}_{\text {glob }} \boldsymbol{x}_{\text {glob }}\right) \\
\boldsymbol{h}_{\mathrm{obj}}^{(m)}=f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{obj}, \mathrm{fr}} \boldsymbol{x}_{\mathrm{obj}, \mathrm{fr}}^{(m)}\right)+f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{obj}, \mathrm{bx}} \boldsymbol{x}_{\mathrm{obj}, \mathrm{bx}}^{(m)}\right)
\end{gathered}
$

$
\begin{gathered}
\boldsymbol{h}_{\mathrm{ocr}, \mathrm{v}}^{(n)}=f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ocr}, \mathrm{fr}} \boldsymbol{x}_{\mathrm{ocr}, \mathrm{fr}}^{(n)}\right)+f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ocr}, \mathrm{bx}} \boldsymbol{x}_{\mathrm{ocr}, \mathrm{bx}}^{(n)}\right) \\
\boldsymbol{h}_{\mathrm{ocr}, \mathrm{s}}^{(n)}=f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ft}} \boldsymbol{x}_{\mathrm{ocr}, \mathrm{ft}}^{(n)}+\boldsymbol{W}_{\mathrm{ph}} \boldsymbol{x}_{\mathrm{ocr}, \mathrm{phoc}}^{(n)}+\boldsymbol{W}_{\mathrm{c}} \boldsymbol{x}_{\mathrm{ocr}, \mathrm{clip}}^{(n)}\right)
\end{gathered}
$

We apply Layer Normalization $f_{\mathrm{LN}}($.$) to various ex-$ tracted features. $\boldsymbol{W}$. denotes weight matrix.

## 3.2 Visual-and-language encoders

The first encoder module consists of a stack of attention blocks to model the relationship between the question and other text or visual modalities using self-attention. The inputs of each attention block are the embeddings $\left(X_{\mathrm{Q}}=\right.$ $\left.\{\boldsymbol{x}_{\mathrm{q}}^{(1)}, \cdots, \boldsymbol{x}_{\mathrm{q}}^{(L)}\right.\}$ of the question sequence, $Q=\left.\{q_{i}\right.\}_{i=1}^{L}$, and the encoded features of another modality (e.g., $\boldsymbol{h}_{\text {ocr, }, \mathrm{v}}^{(n)}$ and $\left.\boldsymbol{h}_{\text {glob }}\right)$. The outputs of an attention block refer to the weighted sum of subword-based features $\left(\boldsymbol{X}_{Q}^{\prime}\right)$ and the summarizing feature of another modality (e.g., $\boldsymbol{X}_{\mathrm{ocr}, \mathrm{v}}^{\prime}$ ).

In practice, we firstly input the question features into a fully connected feed-forward network consisting of two convolutions with kernel size 1.

$
\boldsymbol{h}_{\mathrm{q}}^{(i)}=\operatorname{Conv1D}\left(\operatorname{ReLU}\left[\operatorname{Conv1D}\left(\boldsymbol{x}_{\mathrm{q}}^{(i)}, 1\right)\right]\right), i=1, \ldots, L
$

Then, the output $\boldsymbol{h}_{\mathrm{q}}^{(i)}$ goes through a self-attention process before it works with other modalities. We define the self-attention operation as follows,

$
\boldsymbol{h}^{\prime}=\operatorname{SelfAttn}(\boldsymbol{h})=\operatorname{softmax}\left(\frac{\boldsymbol{h} \boldsymbol{W}_{Q} \boldsymbol{W}_{K}^{\top} \boldsymbol{h}^{\top}}{\sqrt{d_{k}}}\right) \boldsymbol{h} \boldsymbol{W}_{V}
$

where $\boldsymbol{W}$. denotes a learnable weight, $d_{k}$ is obtained as $d_{k}=\mathrm{H} /$ heads (Appendix A.2). Here, we parallelly perform self-attention on the question modality with independent parameters as the input for different attention blocks.

$
\boldsymbol{\alpha}_{i}=\operatorname{SelfAttn}\left(\boldsymbol{h}_{\mathrm{q}}^{(i)}\right)
$

For each attention block, we obtain the first output, weighted sum of subword-based features $\left(\boldsymbol{X}_{Q}^{\prime}\right)$ for the question sequence, as follows,

$
\boldsymbol{X}_{Q}^{\prime}=\sum_{i=1}^{L} \alpha_{i} \boldsymbol{x}_{\mathrm{q}}^{(i)}
$

It is also used as the guidance for calculating the cross-modality (e.g., Question and OCR regions) attention weights (see formula (9) and (10)). In this example, the value of $n(n=1, \cdots, N)$ varies with the number of OCR tokens recognized in the image. It also can be the number of detected objects in the image.

$
\begin{gathered}
\boldsymbol{u}_{n}=\operatorname{ReLU}\left(\boldsymbol{W}_{q} \boldsymbol{X}_{Q}^{\prime}\right) \odot \operatorname{ReLU}\left(\boldsymbol{W}_{h} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{v}}^{(n)}\right) \\
\boldsymbol{\beta}_{n}=\operatorname{SelfAttn}\left(\boldsymbol{u}_{n}\right), n=1, \ldots, N
\end{gathered}
$

We obtain the summarizing feature of the OCR visual modality as the second output of the attention block.

$
\boldsymbol{X}_{\mathrm{ocr}, \mathrm{v}}^{\prime}=\sum_{n=1}^{N} \boldsymbol{\beta}_{n} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{v}}^{(n)}
$

Finally, the element-wise multiplication is applied to the outputs of each attention block for final fusion.

$
\boldsymbol{z}_{\mathrm{ocr}, \mathrm{v}}=\boldsymbol{X}_{Q}^{\prime} \odot \boldsymbol{X}_{\mathrm{ocr}, \mathrm{v}}^{\prime}
$

As described above, our module consists of four this kind of attention blocks for the modality pair Q-and-OCRvisual (as an example), Q-and-OCR-token, Q-and-Object, and Q-and-Image.

Moreover, to further model the relationship between an image and its corresponding question, a learnable gated cross-attention mechanism is introduced. We firstly define the cross-attention operation as follows,

$\tilde{\boldsymbol{h}}=\operatorname{Cross} \operatorname{Attn}\left(\boldsymbol{h}_{\mathbf{1}}, \boldsymbol{h}_{\mathbf{2}}\right)=\operatorname{softmax}\left(\frac{\boldsymbol{h}_{\mathbf{1}} \boldsymbol{W}_{Q} \boldsymbol{W}_{K}^{\top} \boldsymbol{h}_{\mathbf{2}}^{\top}}{\sqrt{d_{k}}}\right) \boldsymbol{h}_{\mathbf{2}} \boldsymbol{W}_{V}$

$h_{1}$ and $h_{2}$ can be any two modalities' features. Here they refer to the entire image and the question modalities. Then,

$
\boldsymbol{h}_{Q}=\boldsymbol{X}_{Q}+\tanh \left(\boldsymbol{W}_{a}\right) \odot \operatorname{Cross} \operatorname{Attn}\left(\boldsymbol{X}_{Q}, \boldsymbol{h}_{\text {glob }}\right),
$

where $\boldsymbol{W}_{a}$ denotes the attention-gating parameter.

$
\boldsymbol{h}_{f}=\boldsymbol{h}_{Q}+\tanh \left(\boldsymbol{W}_{b}\right) \odot \operatorname{FFW}\left(\boldsymbol{h}_{Q}\right),
$

where FFW is feed-forward network, and $\boldsymbol{W}_{b}$ denotes the FFW-gating parameter. These layers followed by a regular self-attention and another FFW on language modality to obtain visually informed question (language) features,

$
\begin{gathered}
\boldsymbol{h}_{s}=\boldsymbol{h}_{f}+\operatorname{SelfAttn}\left(\boldsymbol{h}_{f}\right) \\
z_{i m g \rightarrow q}=\boldsymbol{h}_{s}+\operatorname{FFW}\left(\boldsymbol{h}_{s}\right)
\end{gathered}
$

Finally, the obtained $z_{i m g} \rightarrow q$ will be concatenated with the four outputs by a sequence of stocked attention blocks to obtain a final context embedding for the decoding process.

## 3.3 Transformer decoder

We introduce a transformer decoder module with a dynamic pointer network to interactively generate answers from a fixed answer vocabulary $(v=1, \cdots, V)$ or copy from the OCR tokens $(n=1, \cdots, N)$ in an image alternatively. In the implementation, the probability computation for the selection from the fixed answer vocabulary $p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right)$ or OCR tokens $p\left(\hat{\boldsymbol{y}}_{t, n}^{\text {ocr }}\right)$ is given as follows,

$
\begin{gathered}
p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right)=\operatorname{softmax}\left(\left(\boldsymbol{w}_{\mathrm{voc}}^{(v)}\right)^{\top} \boldsymbol{z}_{\mathrm{dec}}^{(t)}\right) \\
p\left(\hat{\boldsymbol{y}}_{t, n}^{\mathrm{ocr}}\right)=\operatorname{softmax}\left(\left(\boldsymbol{W}_{\text {ocr }} \boldsymbol{z}_{\mathrm{ocr}}^{(n)}\right)^{\top}\left(\boldsymbol{W}_{\mathrm{dec}} \boldsymbol{z}_{\mathrm{dec}}^{(t)}\right)\right),
\end{gathered}
$
where $\boldsymbol{W}_{\text {ocr }}$ and $\boldsymbol{W}_{\text {dec }}$ denote $d \times d$ matrices. $\boldsymbol{z}_{\text {ocr }}^{(n)}(n=$ $1, \ldots, N$ ) denotes the d-dimensional transformer output of the $N$ OCR tokens in the image. For both two formula, the decoder embedding (d-dimensional $z_{\text {dec }}^{(t)}$ ) for the current time-step $t$ is obtained depending on the previously predicted token at time-step $t-1$ and its corresponding representation $\boldsymbol{x}_{\mathrm{dec}}^{(t)}$. In other words, in the case of the prediction at time-step $t-1$ is a word from the fixed vocabulary, we feed its corresponding weight vector $\boldsymbol{w}_{\text {voc }}^{(v)}$ as the transformer input. On the other hand, if the prediction (at timestep $t$-1) from the OCR tokens, its OCR representation $\boldsymbol{h}_{\text {ocr,all }}^{(n)}$ (obtained from OCR visual and semantic modalities) is considered as the transformer input to obtain the decoder embedding for the time-step $t$.

For the final prediction, we take the argmax on the concatenation of both probabilities $\left[p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right) ; p\left(\hat{\boldsymbol{y}}_{t, n}^{\text {ocr }}\right)\right]$ and select the top element with the highest score as the answer from the concatenation of $V+N$ candidates.

## 4 Experiments

## 4.1 Quantitative results

We performed the experiments using the TextVQA dataset (See Appendix A.3) with the experimental setting given in Appendix A.2. We used the standard evaluation for VQA tasks, accuracy (Acc.), which was evaluated based on the predicted answer against the ground truth (GT) answers provided by humans.

Table 1 shows the quantitative results of the baselines and our method. The scores in Table 1 represent the evaluations reported in the papers or with average and standard deviation obtained based on five trials in our experiments. Note that the baselines and proposed method share $x_{\text {ocr,phoc, }}^{(n)}$, $\boldsymbol{x}_{\text {ocr,ft }}^{(n)}, \boldsymbol{x}_{\text {ocr,fr }}^{(n)}, \boldsymbol{x}_{\text {ocr,bx }}^{(n)}, \boldsymbol{x}_{\text {obj,fr }}^{(m)}$, and $\boldsymbol{x}_{\text {obj,bx }}^{(m)}$ as inputs.

Table 1 Qualitative results.

 &  &  \\

The experimental results demonstrate that the proposed method outperformed the SSbaseline model (43.9\%), with an increase of $1 \%$. More significant improvements (5.5\%) were obtained compared with the M4C method (39.4\%).

Q: what is in the bottles?

A: (ours) [5-hour] [energy]

(SSbaseline) sugar energy

(GT) ['cherry 5 hour energy', '5 hour energy']

Q: what does the sign say after command model?

A: (ours) [service] [module] (SSbaseline) command module

(GT) ['module', 'service module', 'usa', 'sevice module']

Figure 3 Qualitative samples of the predicted answers based on our proposed method and the SSbaseline method.

## 4.2 Qualitative results

Figure 3 shows the qualitative samples of our model compared with the SSbaseline model. The left subfigure shows that the baseline model failed to predict the correct answer due to the wrong OCR token selection. In contrast, according to the question asked about the contents of those bottles, our model correctly selected to use the accurate OCR tokens '5-hour' with 'energy'. The subfigure on the right shows that our model predicted the correct answers by considering the OCR tokens 'service' and 'module' and their corresponding objects (the sign after the command model). The baseline method failed in these two samples.

## 5 Conclusion

In this paper, we focused on the TextVQA task that generates answers according to the questions that need text understanding and reasoning. We would like to emphasize the following contribution of this wok:
- We proposed using image modality with an additional attention block to complete the utilization of the visual information in an image.
- To obtain the rich features for different modalities, we introduced using a pre-trained CLIP for OCR tokens and an entire image.
- We introduced a Flamingo's gated cross-attention mechanism to further model the relationship especially for the entire image and the question.
- Our method outperformed the baseline methods on accuracy evaluation with the TextVQA dataset.

## Acknowledgements

This material is based upon work supported by JSPS KAKENHI Grant Number 20H04269, JST Moonshot, and NEDO.

## References

[1] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[2] Jianfeng Wang, Zhengyuan Yang, Xiaowei Hu, Linjie Li, Kevin Lin, Zhe Gan, Zicheng Liu, Ce Liu, and Wang Lijuan. GIT: A generative image-to-text transformer for vision and language. arXiv preprint arXiv:2205.14100, 2015.

[3] Erik Wijmans, Samyak Datta, Oleksandr Maksymets, Abhishek Das, Georgia Gkioxari, Stefan Lee, Irfan Essa, Devi Parikh, and Dhruv Batra. Embodied question answering in photorealistic environments with point cloud perception. In CVPR, pp. 6659-6668, 2019.

[4] Xin Wang, Qiuyuan Huang, Asli Celikyilmaz, Jianfeng Gao, Dinghan Shen, Yuan-Fang Wang, William Yang Wang, and Lei Zhang. Reinforced cross-modal matching and self-supervised imitation learning for vision-language navigation. In CVPR, pp. 6629-6638, 2019.

[5] Minlie Huang, Xiaoyan Zhu, and Jianfeng Gao. Challenges in building intelligent open-domain dialog systems. ACM Transactions on Information Systems (TOIS), Vol. 38, No. 3, pp. 1-32, 2020.

[6] Shoya Matsumori, Kosuke Shingyouchi, Yuki Abe, Yosuke Fukuchi, Komei Sugiura, and Michita Imai. Unified questioner transformer for descriptive question generation in goal-oriented visual dialogue. In ICCV, pp. 1878-1887, 2021.

[7] Komei Sugiura, Naoto Iwahashi, Hideki Kashioka, and Satoshi Nakamura. Active learning for generating motion and utterances in object manipulation dialogue tasks. In AAAI Fall Symposium on Dialog with Robots, pp. 115-120, 2010.

[8] Ronghang Hu, Amanpreet Singh, Trevor Darrell, and Marcus Rohrbach. Iterative answer prediction with pointeraugmented multimodal transformers for TextVQA. In CVPR, pp. 9992-10002, 2020.

[9] Amanpreet Singh, Vivek Natarajan, Meet Shah, Yu Jiang, Xinlei Chen, Dhruv Batra, Devi Parikh, and Marcus Rohrbach. Towards VQA models that can read. In CVPR, pp. 8317-8326, 2019

[10] Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katie Millican, Malcolm Reynolds, et al. Flamingo: a visual language model for few-shot learning. NeurIPS, 2022.

[11] Qi Zhu, Chenyu Gao, Peng Wang, and Qi Wu. Simple is not easy: A simple strong baseline for TextVQA and TextCaps. In AAAI Conference on Artificial Intelligence, pp. 3608-3615, 2020.

[12] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. NeurIPS, 2015.

[13] Jon Almazán, Albert Gordo, Alicia Fornés, and Ernest Valveny. Word spotting and recognition with embedded attributes. IEEE Trans. PAMI, Vol. 36, No. 12, pp. 25522566, 2014

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In ACL, pp. 41714186, 2019.

## A Appendix

## A. 1 Loss function

We combine using the multi-label binary cross-entropy and a new policy gradient loss introduced in [11].

## A. 2 Experimental setup

The experimental setting for the hyperparameters is summarized in Table 2. L, H, and heads denote the number of hidden layers, hidden size, and the number of attention heads of a Transformer model, respectively. Our experiments were performed on four Tesla V100 GPUs with 64GB memory in total. For each performance, it required approximately 43 hours to train over 34,000 iterations. Our model had 187,456,002 (187M) trainable parameters. The prediction for one sample took approximately $70 \mathrm{~ms}$.

Table 2 Hyperparameter setting of our experiments

## A. 3 Dataset

In our experiments, we used the standard dataset TextVQA, released to facilitate the progress of the Textbased image captioning task in 2019. This dataset was annotated via crowd-sourcing based on the Open Images (v3) dataset. The annotators were asked to identify images containing text, then collected 1-2 questions requiring reading and reasoning about the text in the image; ten answers were collected according to different questions.

The TextVQA dataset contains 45,336 questions (samples) in English with their corresponding answers collected based on 28,408 images. The total number of tokens is 308,753 , and the number of unique tokens is 9,568 . The average question length is 7.44 words. Note that we did not perform any pre-processing for the questions' statistics. The average answer length is 1.58 [9]. The dataset is divided into training, validation, and test sets with sizes $34,602,5,000$, and 5,734, respectively. There is no overlap between any two splits.

We used the training set to update the parameters of our model. We evaluated our model on the validation set because the test set's ground truth (GT) answers were not provided. The experiments followed standard procedures in which the validation set was not used for training or tuning hyperparameters.

## A. 4 Ablation Studies

Table 3 presents Ablation Studies of our proposed method. We defined the following three ablation conditions:

(i) Without (w/o) image-related attention block \& gated cross-attention operation for language and image (=SSbaseline).

(ii) Without (w/o) gated cross-attention operation for language and image.

(iii) Our proposed method (full).

In Table 3, compared with Condition (i), the accuracy was increased by approximately $0.4 \%$ by introducing an additional vanilla attention block with image modality and CLIP features (Condition (ii)). Thus, the image modality, absent in the baseline model introduced in our proposed method, increases the TextVQA task's performance. In comparing Condition (iii) with Condition (ii), a further improvement $(0.6 \%)$ was obtained by introducing a gated cross-attention module for image and question modalities in the encoding process. In summary, these results indicate that only using the object and OCR modalities with questions is insufficient; image as one of the visual modalities is also indispensable to the text-based VQA performance. Furthermore, more robust attention computation between the image and question modality is essential in the encoder process in our TextVQA task.

Table 3 Ablation studies on TextVQA.

 & Acc. on val. \\


# DueT: 視覚・言語の Dual-adapter Tuning による基盤モデル

西田京介 $1 *$ 長谷川拓 $1 *$ 前田航希 $2 \dagger \quad$ 齋藤邦子 1
1 日本電信電話株式会社 NTT 人間情報研究所
2 東京工業大学
\{kyosuke.nishida.rx, taku.hasegawa.ps\}@hco.ntt.co.jp

## 概要

対照学習により構築する視覚・言語の基盤モデ ル CLIP の新たな転移学習方法として DueT を提案 する. DueT は単一モーダルのコーパスで事前学習 されたモデルにより画像・テキストエンコーダを初期化して固定し，両エンコーダに追加したゲート機構付のアダプタのみを学習する. 英語・日本語ドメ インの 0-shot 画像・テキスト検索において，単純な fine-tuning や画像エンコーダのみ転移・固定する従来手法に比べ，提案手法が精度やパラメータ効率性 の観点で優れていたことを報告する.

## 1 はじめに

CLIP [1] が視覚と言語の融合理解における基盤モ デルとして，テキストからの画像生成 $[2,3]$ や視覚情報を考慮した対話 [4] を始め様々なタスクで革新的な成果を挙げている. CLIP は 4 億件という膨大 な画像・テキストのペアを用いた対照学習により，正しい（誤った）ぺアに対して画像・テキストの各 エンコーダが出力する特徴べクトルの類似度が高く （低く）なるように scratch から学習された. ここで， CLIP よりも視覚と言語の意味的対応付けに優れた 基盤モデルを少量の学習データから構築するために は，比較的学習しやすい単一モーダルの事前学習済 モデルの転移学習が重要になると考える。

本研究では視覚・言語の基盤モデルの学習方法 DueT（Dual-adapter Tuning）を提案する. DueT は単一モーダルの事前学習済モデルを各エンコーダのパ ラメータの固定値とし，さらに両エンコーダにゲー 卜機構を持つアダプタを追加して学習を行う（図 1 右). 英語・日本語ドメインの実験において，単純 な転移学習や画像エンコーダのみ転移・固定する LiT [5] に比べて，DueT は優れた性能を達成できた.

/ Fine-tuning

Locked-image Tuning

Dual-adapter Tuning (DueT)

図 1 視覚・言語の基盤モデルの学習方法. 左: 両エン コーダを学習 (始). 中央: LiT (Locked-image Tuning) [5].事前学習済みの画像エンコーダを固定（料）し，テキスト エンコーダのみ学習する. 右: DueT (Dual-adapter Tuning).両エンコーダに追加したアダプタのみ学習する.

## 2 関連研究

## 2.1 視覚・言語の基盤モデル

視覚・言語の基盤モデルとして CLIP [1] および ALIGN [6] が提案されて以降，性能改善に向けて 様々な観点から研究が行われている。

転移学習 全てのパラメータをランダムに初期化 して学習する from-scratch $[1,6,7,8,9,10]$ と，画像 テキストエンコーダを各モーダルの事前学習済モデ ルで初期化する fine-tuning $[11,12,13]$ のいずれかが 多く採用されている (図 1 左). 最近では, 画像エン コーダのみを事前学習済モデルで初期化・固定し, テキストエンコーダのみを学習する Locked-image Tuning (LiT) [5] が提案されている（図 1 中央).

## クロスアテンション CLIP はクロスアテンショ ン機構を持たないため，両モーダルを入力とする クロスエンコーダ $[11,12,9]$ ，クロスアテンション を行うテキストエンコーダ [13]・テキストデコー ダ $[13,8]$ などの追加に関する検討が行われている.

目的関数 masked 言語モデリング [11,12,10], causal 言語モデリング $[8,13]$, masked 画像モデリン グ [12]，画像・テキストマッチング $[11,12,13]$ など
様々な目的関数の追加が検討されている. また，対照学習自体もトークンレベルでの類似度 [7], 難解 な負例の追加 $[10,14]$ による改善が検討されている.

## 2.2 パラメータ効率的な転移学習

事前学習済の言語モデルを効率的に下流タスク に適応させるための技術が盛んに研究されている.代表的な手法には adapter tuning [15, 16, 17, 18, 19], prefix tuning [20,21], additive methods [22, 23, 24], sparse-finetuning $[25,26]$ などがある. また，これらを 統一的に扱うアプローチも提案されている $[27,28]$.

特に adapter tuning は Transformer の層間に，アダ プタと呼ばれる小さな追加モジュール（一般的には 2 層のフィードフォワードネットワーク;FFN）を残差接続付きで挿入し，アダプタのみを学習する.

## 2.3 本研究の位置付け

adapter tuning [15] のアイデアを下流タスクではな く CLIP の事前学習に導入した初めての研究である.単一モーダルの事前学習の忘却を防ぎ高精度かつパ ラメータ効率的な転移学習の実現を狙う。転移学習 を除く前記した CLIP の拡張研究は扱わないが，こ れらは提案手法と組み合わせた利用が可能である.

## 3 提案手法

基盤モデルの学習方法として DueT（Dual-adapter Tuning）を提案する、モデルは画像・テキストの Transformer [29] エンコーダから構成される. 事前学習済モデル（ViT [30] や BERT [31] など）で各エン コーダの初期化を行い, Transformer ブロックに追加 した Gated Adapter Unit（GAU）のみを学習する.

入出力 画像（テキスト）エンコーダは，パッチ （トークン）の系列を入力として受け取り，d 次元 ベクトルの系列 $\boldsymbol{H}=\left[\boldsymbol{h}_{\mathrm{CLS}}, \boldsymbol{h}_{1}, \ldots, \boldsymbol{h}_{\mathrm{SEP}}\right]$ を出力する.各エンコーダの出力 $\boldsymbol{h}_{\mathrm{CLS}} \in \mathbb{R}^{d}$ を学習可能パラメー タによる線形変換および $L_{2}$ 正規化にて $d_{m}$ 次元の 特徴べクトル $\boldsymbol{x}, \boldsymbol{y}$ にそれぞれ射影し, 最終的に内積 $\boldsymbol{x}^{\top} \boldsymbol{y}$ によって画像・テキストの類似度を求める.

GAU 一般的なアダプタを [15]を学習可能なゲー 卜係数 $\alpha$ によりアダプタの入出力を混合する GAU に拡張する. 各エンコーダの全ての Transformer ブ ロック $(l=1 \ldots L)$ に式 (1)のGAUを挿入する.

$
\begin{aligned}
\operatorname{GAU}^{l}\left(\boldsymbol{H}^{l}\right) & =\alpha^{l} \mathrm{FFN}^{l}\left(\operatorname{LN}\left(\boldsymbol{H}^{l}\right)\right)+\left(1-\alpha^{l}\right) \boldsymbol{H}^{l}, \\
\operatorname{FFN}^{l}(\boldsymbol{h}) & =\phi\left(\boldsymbol{h} \boldsymbol{W}_{\text {down }}^{l}+\boldsymbol{b}_{\text {down }}^{l}\right) \boldsymbol{W}_{\text {up }}^{l}+\boldsymbol{b}_{\text {up }}^{l}
\end{aligned}
$

図 2 Gated Adapter Unit（GAU）. 左: 各 Transformer ブ ロックに挿入した GAU および LNを学習し（世），FFN や Self-Attention のパラメータは更新しない (䊅). 右: GAU は 2 層の FFN および学習可能なゲート係数 $\alpha$ を持つ.

ここで，入力 $\boldsymbol{H}^{l}$ は Transformer の FFN モジュール の残差接続後の出力である. LN は layer normalization [32] を表す1). $\boldsymbol{W}_{\text {down }}^{l} \in \mathbb{R}^{d \times m}, \boldsymbol{b}_{\text {down }}^{l} \in \mathbb{R}^{m}$, $\boldsymbol{W}_{\mathrm{up}}^{l} \in \mathbb{R}^{m \times d}, \boldsymbol{b}_{\mathrm{up}}^{l} \in \mathbb{R}^{d}, \alpha^{l} \in \mathbb{R}$ は GAU 毎に独立した 学習可能パラメータである. 入出力・中間層の次元 を $d, m$ とする。活性化関数 $\phi$ は GeLU [33] である.

図 2 に GAU の例を示す. Transformer 本体は LN のパラメータを除いて固定し，GAU のみを学習す る.なお，全てのゲート係数が 0 のとき，エンコー ダは事前学習済モデルに等しくなる。

対照学習 ミニバッチ内に同じ画像やテキストが 含まれた際のノイズを軽減するため，UniCL [34]の アイデアに基づく損失関数を用いる。画像・テキス トのハッシュ値 $(s, t)$ のいずれかが同じ値となるぺ アを正例 $\mathbf{P}$ ，他のランダムに形成されるぺアを負例 Bとして，以下の損失関数の合計を最小化する。

$
\begin{aligned}
L_{\mathrm{i} 2 \mathrm{t}} & =-\frac{1}{|\mathbf{B}|} \sum_{i \in \mathbf{B}} \frac{1}{\left|\mathbf{P}_{i}\right|} \sum_{k \in \mathbf{P}_{i}} \log \frac{\exp \left(\boldsymbol{x}_{i}^{\top} \boldsymbol{y}_{k} / \tau\right)}{\sum_{j \in \mathbf{B}} \exp \left(\boldsymbol{x}_{i}^{\top} \boldsymbol{y}_{j} / \tau\right)} \\
L_{\mathrm{t} 2 \mathrm{i}} & =-\frac{1}{|\mathbf{B}|} \sum_{i \in \mathbf{B}} \frac{1}{\left|\mathbf{P}_{i}\right|} \sum_{k \in \mathbf{P}_{i}} \log \frac{\exp \left(\boldsymbol{y}_{i}^{\top} \boldsymbol{x}_{k} / \tau\right)}{\sum_{j \in \mathbf{B}} \exp \left(\boldsymbol{y}_{i}^{\top} \boldsymbol{x}_{j} / \tau\right)}
\end{aligned}
$

ここで，兀は温度パラメータである。

学習効率性 画像・テキストエンコーダの層数 $L$ と次元数 $d$ が同じとき, DueT の学習対象パラメー 夕数（\#TP）はおよそ $4 L d m$ となる. エンコーダと して ViT-B/16 と $\mathrm{BERT}_{\text {base }}(L=12, d=768$, 合計パ ラメータ数 194.7M) を用いた場合， $m=1536$ とした 時の\#TP は全体の約 $29.1 \%$ （56.8M）となる.

## 4 評価実験

英語・日本語の CLIPを構築して評価を行った。

## 4.1 事前学習済モデル

画像エンコーダ（IE） ImageNet-21k [35] から学習されたViT-B/16 [36,37]を用いた。

テキストエンコーダ（TE）英語モデルには BERT-base-uncased [31,38]を用いた. 日本語モデル には Wikipedia および CC-100-ja [39] から [31] の設定で学習した BERT-base-uncased を用いた。

## 4.2 訓練データセット

YFCC-CLIP Radford ら [1]により整備された英語 の自然言語により記述されたタイトルあるいは説明 を持つ約 15M 件の Flickr 画像 (YFCC100M [40] のサ ブセット）を用いる。なお, ImageNet-21kには Flickr 画像が多く含まれているため YFCC-CLIP は IE の学習ドメインに近いデータセットと言える。

JWeb5M 我々が独自に広範囲の Web サイトから 収集した $5 \mathrm{M}$ 件の画像・日本語テキストペアである. 100 件のサンプリング調査を実施したところ， 32 件 の画像に日本語文字が含まれているなど IE の学習 ドメインからは遠いデータセットと言える. 単語数 の中央值は 9 語であり，自然文ではない数単語のみ のテキストも含まれる。詳細は付録 A に示す.

## 4.3 評価データセット

英語 / 日本語の 0-shot（下流タスクでの fine-tuning を行わない）の画像・テキスト検索タスクにて，訓練データにて学習した基盤モデルを評価する.

COCO [41] / STAIR Captions [42] 5000 件のテス 卜画像（[43] の分割）. 各画像に 5 件の自然文キャ プション. それぞれの単語数の中央値は $11 / 12$ 語.

Flickr30k [44] / F30kEnt-JP [45] 1000 件のテスト 画像 ([43] の分割). 各画像に 5 件の自然文キャプ ション. それぞれの単語数の中央値は $12 / 17$ 語.

上記セットの画像は Flickr 由来であるため, IE の 事前学習と YFCC-CLIP に近いドメインと言える。詳細は付録 B に示す. また， 0 -shot の評価とは異 なるが, YFCC-CLIP・JWeb5M の訓練セットから開発・テスト用に 10,000 ペアを分割して利用した.

評価指標 [11] と同様に，クエリに対する $k$ 件 の検索結果に正しい事例が含まれる割合である Recall@k $(k=1,5,10)$ の平均値を報告する.表 1 英語モデルのテキスト・画像検索 $(\mathrm{I} \rightarrow \mathrm{T}, \mathrm{T} \rightarrow \mathrm{I})$ 性能. \#TP は学習対象パラメータ数. † 0 -shot 検索タスク。

表 2 日本語モデルの検索性能。 0 -shot 検索タスク.

## 4.4 実験設定

提案手法 $m=3072$ とした GAUを両エンコーダ の全層に挿入した. 学習対象パラメータ数 (\#TP) は $113.4 \mathrm{M}$ であった. 特徴べクトル $\boldsymbol{x}, \boldsymbol{y}$ の次元を $d_{m}=512$ とし, バッチサイズ 8192 で 16 エポッ ク学習した. Ablationテストでは $m=1536$ とした （\#TP=56.8M）．その他の詳細は付録 C に示す.

ベースライン エンコーダ（IE・TE）の初期化お よびパラメータ固定について 4 つの手法を用意し た. その他の設定は提案手法と揃えた。

$\cdot$ from-scratch（FS） IE・TE の両方をランダム に初期化して学習する (194.7M).
- fine-tuning（FT） IE・TE の両方を事前学習済 モデルで初期化して学習する (194.7M).

・LiT [5] IEを事前学習済モデルで初期化および 固定. TEはランダム初期化して学習 (108.9M).

・LiT-FT IE・TEの両方を事前学習済モデルで初期化し，TEのみを学習する（108.9M）.

## 4.5 実験結果

表 1 ・2 に英語・日本語モデルの評価結果を示す.提案手法 DueT は 0 -shot 画像・テキスト検索におい てべースラインの評価スコアを上回った. 特に， F30kEnt-JP の画像検索においては，学習パラメータ 数を約 $58 \%$ に抑えつつ fine-tuning（from-scratch）に 比べてスコアを 5.9 (40.4) ポイント改善した.

ベースラインの中では fine-tuning が優れていた.
表 3 GAU の学習パラメータ数による検索性能の変化.水色セルは fine-tuning（FT）と同程度の性能を表す.

表 4 GAUを挿入する層の範囲による検索性能の変化.

YFCC-CLIP のテストセットでは最高スコアを達成 したが，訓練データに過学習し易く0-shot 検索の評価セットでは英語・日本語共に全て提案手法のスコ アを下回った. 特に，画像エンコーダの事前学習と 訓練セットのドメインが異なる日本語モデルの評価 では提案手法のスコアを大きく下回った.

LiT は事前学習済の画像エンコーダがカバーして いないドメインへの適応能力が低く, 日本語モデル の評価において大きくスコアを落とした。また，転移学習を行わない from-scratch の場合は, 5-15M 程度 の学習データ数では不足していることが分かった.

## 4.6 Ablation テスト

学習データにJWeb5M を用いて, 本研究の主な貢献である GAU の導入に関する評価を行った。

パラメータ効率的な学習が可能か？表 3 に 示す通り, DueT はSTAIR（F30kEnt-JP）では 14.3M （3.7M）個のパラメータ更新により，194.7M 個を更新する fine-tuning と同等の性能が得られており，パ ラメータ効率的な学習が実現できた.

全ての層にアダプタは必要か？ 表 4 に示す様に GAU を挿入する Transformer ブロック数を減らした 場合の性能は低下した. 画像・テキストエンコーダ の両方の適応が CLIP で用いられる対照学習におい て重要であることが示唆された。表 5 ゲート機構の違いによる検索性能の変化.

表 6 ゲート係数の初期値と学習による検索性能の変化.

アダプタのゲート係数は有効か？ 表 5 にゲート を用いない場合（ $\alpha=1.0$ 固定）および 1 層の FFN によりトークンあるいは文レベルで大力に適応的な ゲート機構（詳細は付録 D に示す）との比較結果を 示す. まず，ゲート係数の有無の比較により，ゲー 卜係数を導入することの有効性を確認できた。一方 で，FFNによる適応的なゲート機構とゲート係数の 間に明確な性能差は確認されなかった.

## ゲート係数の初期値および学習の影響はあるか？表 6 に示す通り, ゲート係数 $\alpha$ を学習により更新す ることで性能が改善された。また，初期値を大きく 設定すると，学習初期から未学習の GAU の影響が 強くなるため転移学習が進みにくい問題があった。

## 5 おわりに

対照学習により構築する視覚・言語の基盤モデル CLIP [1] の事前学習に adapter tuning [15] による転移学習を導入した DueT を提案した. 単一モーダルの 事前学習済モデルを各エンコーダのパラメータの固定值とし, 両エンコーダに [15] から拡張したゲート 機構付のアダプタ GAUを追加して学習を行う.

本研究の貢献 膨大な学習データを要する CLIP において, 単一モーダルの事前学習済モデルの転移学習は重要なテーマである. fine-tuning や LiT [5] よ りも精度およびパラメータ効率性の観点で優れた 手法を提案できたことは，基盤モデルの研究に関す る大きな貢献と言える. そして，評価実験を通じて 日本語 CLIP の構築における転移学習に要する追加 パラメータ数などの知見が得られた. 本研究の成果 は，視覚と言語の融合的な理解を必要とする対話や ナビゲーション，コンテンツ生成・検索など産業上重要なサービスの発展に貢献できる.

## 参考文献

[1] Alec Radford, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[2] Aditya Ramesh, et al. Hierarchical text-conditional image generation with CLIP latents. arXiv:2204.06125, 2022.

[3] Robin Rombach, et al. High-resolution image synthesis with latent diffusion models. In CVPR, pp. 10674-10685, 2022.

[4] Jean-Baptiste Alayrac, et al. Flamingo: a visual language model for few-shot learning. arXiv:2204.14198, 2022.

[5] Xiaohua Zhai, et al. LiT: Zero-shot transfer with locked-image text tuning. In CVPR, pp. 18123-18133, 2022.

[6] Chao Jia, et al. Scaling up visual and vision-language representation learning with noisy text supervision. In ICML, pp. 4904-4916, 2021.

[7] Lewei Yao, et al. FILIP: fine-grained interactive language-image pre-training. In ICLR, 2022.

[8] Jiahui Yu, et al. CoCa: Contrastive captioners are image-text foundation models. arxiv:2205.01917, 2022.

[9] Lu Yuan, et al. Florence: A new foundation model for computer vision. arxiv:2111.11432, 2021.

[10] Yangguang Li, et al. Supervision exists everywhere: A data efficient contrastive language-image pre-training paradigm. In ICLR, 2022.

[11] Junnan Li, et al. Align before fuse: Vision and language representation learning with momentum distillation. In NeurIPS, pp. 9694-9705, 2021.

[12] Amanpreet Singh, et al. FLAVA: A foundational language and vision alignment model. In CVPR, pp. 15638-15650, 2022.

[13] Junnan Li, et al. BLIP: bootstrapping language-image pre-training for unified vision-language understanding and generation. In ICML, pp. 12888-12900, 2022.

[14] Manling Li, et al. Clip-event: Connecting text and images with event structures. In CVPR, pp. 16420-16429, 2022.

[15] Neil Houlsby, et al. Parameter-efficient transfer learning for NLP. In ICML, pp. 2790-2799, 2019.

[16] Jonas Pfeiffer, et al. Adapterhub: A framework for adapting transformers. In EMNLP, pp. 46-54, 2020.

[17] Jonas Pfeiffer, et al. Adapterfusion: Non-destructive task composition for transfer learning. In EACL, pp. 487-503, 2021.

[18] Ruidan He, et al. On the effectiveness of adapter-based tuning for pretrained language model adaptation. In ACL/IJCNLP, pp. 2208-2222, 2021.

[19] Rabeeh Karimi Mahabadi, James Henderson, and Sebastian Ruder. Compacter: Efficient low-rank hypercomplex adapter layers. In NeurIPS, pp. 1022-1035, 2021.

[20] Xiang Lisa Li and Percy Liang. Prefix-tuning: Optimizing continuous prompts for generation. In ACL-IJCNLP, pp. 4582-4597, 2021.

[21] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In EMNLP, pp. 30453059, 2021.

[22] Demi Guo, Alexander M. Rush, and Yoon Kim. Parameter-efficient transfer learning with diff pruning. In ACL-IJCNLP, pp. 48844896, 2021.

[23] Edward J. Hu, et al. LoRA: Low-rank adaptation of large language models. In ICLR, 2022.

[24] Jeffrey O. Zhang, et al. Side-tuning: A baseline for network adaptation via additive side networks. In ECCV, pp. 698-714, 2020.

[25] Yi-Lin Sung, Varun Nair, and Colin Raffel. Training neural networks with fixed sparse masks. In NeurIPS, pp. 24193-24205, 2021.

[26] Elad Ben Zaken, Yoav Goldberg, and Shauli Ravfogel. BitFit: Sim- ple parameter-efficient fine-tuning for transformer-based masked language-models. In ACL, pp. 1-9, 2022.

[27] Yuning Mao, et al. Unipelt: A unified framework for parameterefficient language model tuning. In ACL, pp. 6253-6264, 2022.

[28] Junxian He, et al. Towards a unified view of parameter-efficient transfer learning. In ICLR, 2022.

[29] Ashish Vaswani, et al. Attention is all you need. In NIPS, pp. 5998-6008, 2017.

[30] Alexey Dosovitskiy, et al. An image is worth 16x16 words: Transformers for image recognition at scale. In ICLR, 2021.

[31] Jacob Devlin, et al. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 41714186, 2019.

[32] Lei Jimmy Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arxiv:1607.06450, 2016.

[33] Dan Hendrycks and Kevin Gimpel. Gaussian error linear units (GELUs). arxiv:1606.08415, 2016.

[34] Jianwei Yang, et al. Unified contrastive learning in image-text-label space. In CVPR, pp. 19163-19173, 2022.

[35] Jia Deng, et al. ImageNet: A large-scale hierarchical image database. In CVPR, pp. 248-255, 2009.

[36] Andreas Steiner, et al. How to train your ViT? data, augmentation, and regularization in vision transformers. arxiv:2106.10270, 2021.

[37] Andreas Steiner. Vision transformer and MLP-mixer architectures, 2021. https://github.com/google-research/vision_ transformer.

[38] Google. BERT, 2018.https://github.com/google-research/ bert.

[39] Alexis Conneau, et al. Unsupervised cross-lingual representation learning at scale. In ACL, pp. 8440-8451, 2020.

[40] Bart Thomee, et al. YFCC100M: the new data in multimedia research. Commun. ACM, Vol. 59, No. 2, pp. 64-73, 2016.

[41] Tsung-Yi Lin, et al. Microsoft COCO: common objects in context. In ECCV, pp. 740-755, 2014.

[42] Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi. STAIR captions: Constructing a large-scale japanese image caption dataset. In ACL, pp. 417-421, 2017.

[43] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. IEEE Trans. Pattern Anal. Mach. Intell., Vol. 39, No. 4, pp. 664-676, 2017.

[44] Bryan A. Plummer, et al. Flickr30k entities: Collecting region-tophrase correspondences for richer image-to-sentence models. Int. J. Comput. Vis., Vol. 123, No. 1, pp. 74-93, 2017.

[45] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phrase-to-region linking. In LREC, pp. 4204-4210, 2020.

[46] Armand Joulin, et al. Bag of tricks for efficient text classification. In EACL, pp. 427-431, 2017.

[47] Paulius Micikevicius, et al. Mixed precision training. In ICLR, 2018.

[48] Tianqi Chen, et al. Training deep nets with sublinear memory cost. arXiv:1604.06174, 2016.

[49] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.

[50] Christian Szegedy, et al. Going deeper with convolutions. In CVPR, pp. 1-9, 2015.

[51] Samuel G. Müller and Frank Hutter. TrivialAugment: Tuningfree yet state-of-the-art data augmentation. In ICCV, pp. 754-762, 2021 .

## A JWeb5M

JWeb5M は本研究のために我々が広範囲な Web サイトから収集した画像・日本語キャプションを 基に構築したデータセットである。 ユニーク画像数 4,942,737 (md5 ハッシュ値による確認)，キャプ ション数は $4,369,144$ となる. 画像は短辺のサイズ が 256 以上になるようにダウンロード時にリサイズ した. 言語判定には学習済の fastText [46] モデル 2) を利用した. キャプションを mecab-unidicにより単語分割した際の単語数の分布を図 3 に示す. 文字数 および単語数の平均（中央）值は 26.3（20.0）文字, 11.9 （9.0）単語であった. 自然文ではなく1２単語のキャプションも含まれる。また， 100 画像をサ ンプリングして調査した際, 日本語の文字（漢字, ひらがな，カタカナ）を含む画像は 32 枚であった.

## B評価データセット

COCO [41] は 123K 件の画像を含み，各画像に 5 件のキャプションが付与されている. 画像は Flickr から収集され，クラウドワーカにより自然文のキャ プションが作成された. nltk-punct による単語数の 平均（中央）値は 11.3（11）単語であった. 日本語版である STAIR Captions [42] は, COCO と同じ画像 に対してクラウドワーカによって新たに各画像 5 件 の日本語キャプションが作成された. mecab-unidic による単語数の平均（中央）值は 12.5（12）単語で あった。

Flickr30K は $31 \mathrm{~K}$ 件の画像を含み，各画像に 5 件 のキャプションが付与されている. 単語数の平均 （中央）值は 31.4（12）単語であった. 日本語版で ある F30kEnt-JP [45] は， Flickr30k の各キャプション を専門家が翻訳してキャプションが作成された. 単語数の平均（中央）值は 18.4（17）単語であった. COCO および Flickr30k については，従来研究と同様 に，[43] におけるデータセットの分割に従ってテス トデータの画像を選択した。

## C 実験設定

学習には 8 枚の NVIDIA A100 80GB GPUを用 いた. バッチサイズを 8192 とし, mixed precision training [47] および gradient checkpointing [48]を用い て 16 エポック学習した. オプティマイザには

language-identification.html

図 $3 \mathrm{JWeb5M}$ の各キャプションの単語数の分布. 横軸：単語数（bin 幅 10), 縦軸: 頻度（対数）

AdamW [49] を用い，学習率は 5e-4 とした. 温度パ ラメータ $\tau$ は 0.015625 （1/64）で固定とした. 1 エ ポック毎にチェックポイントを保存し, 開発セッ トの評価値（画像検索・テキスト検索それぞれの $\mathrm{R} @ 1, \mathrm{R} @ 5, \mathrm{R} @ 10$ の平均値）の上位 3 つのチェッ クポイントのモデルに対するテストセットの評価値 の平均を実験結果として報告した.

YFCC-CLIP の学習時は Inception-style random cropping [50]を用い, 解像度は $224 \times 224$ とした. JWeb5M の学習時は上記の設定からクロップ範囲のスケール の下限のみ 0.9 に変更した。また，共通の augmentation 手法として TrivialAugment Wide [51]を採用し,画像の正規化は CLIP [1] と同様に行った. テキスト エンコーダへの入力は最大 77 トークンとした. テ スト時は, 解像度 $224 \times 224$ のリリイズ・中央から のクロップと正規化のみ行った. テキストエンコー ダにおけるプロンプトテキストは学習・テスト時の いずれも利用していない.

## D 適応的ゲート機構

表 5 の実験では，式(1)のゲート係数 $\alpha^{l}$ を 1 層の FFN に変更して, 文・トークンレベルの適応的な ゲート機構の評価を行った. $\operatorname{GAU}^{l}\left(\boldsymbol{H}^{l}\right)$ を

$
\operatorname{FFN}_{\alpha}^{l}\left(\boldsymbol{H}^{l}\right) \operatorname{FFN}^{l}\left(\operatorname{LN}\left(\boldsymbol{H}^{l}\right)\right)+\left(1-\operatorname{FFN}_{\alpha}^{l}\left(\boldsymbol{H}^{l}\right)\right) \boldsymbol{H}^{l},
$

としたとき，

$
\begin{aligned}
\mathrm{FFN}_{\alpha, \text { sent }}^{l}\left(\boldsymbol{H}^{l}\right) & =\sigma\left(\boldsymbol{h}_{\text {CLS }}^{l}{ }^{\top} \boldsymbol{w}_{\text {gate }}^{l}+b_{\text {gate }}^{l}\right) \in \mathbb{R} \\
\operatorname{FFN}_{\alpha, \text { token }}^{l}\left(\boldsymbol{H}^{l}\right) & =\sigma\left(\boldsymbol{H}^{l} \boldsymbol{w}_{\text {gate }}^{l}+b_{\text {gate }}^{l}\right) \in \mathbb{R}^{n}
\end{aligned}
$

と定義した. $\sigma$ はシグモイド関数である. $\boldsymbol{w}_{\text {gate }}^{l} \in$ $\mathbb{R}^{d}, b_{\text {gate }}^{l} \in \mathbb{R}$ は学習可能パラメータ, $n$ は系列の長 さである.


# Free Donut: E2E 文書理解モデルにおける Attention を用いた 文字領域アノテーション不要なテキスト検出手法の提案

Shuhei Yokoon ${ }^{1 *} \quad$ Geewook Kim²* Sukmin $\mathrm{Seo}^{3}$
Atsuki Osanai ${ }^{1} \quad$ Yamato Okamoto $^{1} \quad$ Youngmin Baek $^{1,3}$
 }^{1}$ LINE $\quad{ }^{2}$ NAVER $\quad{ }^{3}$ NAVER Cloud

\{shuhei.yokoo,atsuki.osanai,yamato.okamoto\}@linecorp.com \{gw.kim,sukmin.seo,youngmin.baek\}@navercorp.com
## 概要

本稿では，End-to-End（E2E）文書理解モデルを ベースとした，文書画像から $\mathrm{E} 2 \mathrm{E}$ にテキスト抽出と 言語処理を行う新しいモデルを提案する。従来のモ デルは OCR モデルや文書認識モデルといった複数 のモデルを組み合わせる必要があったが，E2E 文書理解モデルはあらゆる言語処理タスクを単一モデル で扱えて，学習コストを削減することが可能であ る。一方で，E2E 文書理解モデルは明示的な文字検出を行わないため, テキストの位置情報の獲得がで きないという問題がある。そこで，テキスト領域に Attention の注視点が分布するといった特性を利用し て，位置アノテーションフリーにテキストの位置情報を獲得する方法を提案する．実験では，提案手法 がくずし字認識タスクにおいて高精度な文字認識お よび位置情報の獲得が可能なことを示した。

## 1 はじめに

文書（Document）は生活のあらゆる場面で利用される. 文書を自動で処理する自動文書処理 (Automated Document Processing) のニーズは極めて 高く, 機械学習に基づく視覚的文書理解 (Visual Document Understanding, 以下 VDU）モデルが提案さ れている. 既存の VDU モデルは，テキストの検出 (Detection), 認識 (Recognition), 解析 (Parsing) の 3 つのモデルを組み合わせるため, モデル学習及び アノテーションのコストが大きく，特にテキストの 位置を人手で記録するコストが課題視されている.

学習コスト削減のために，単一モデルで VDU を E2E に実施するモデルが提案されている． E2E 文書理解モデルは，画像と画像から抽出したいテキスト のみで学習でき，位置の教師データを必要としない

図 1 アノテーションの例. 既存手法ではテキストと位置 アノテーションの両方が必須となるが，E2E モデルは位置アノテーションを必要としないためコストが大幅に削減可能.

のでコストが大幅に削減できる（図 1 参照）。また，複数のモデルを組み合わせる既存手法とは異なり，一つのモデルを E2E に学習するだけで VDU を実現 できるため学習コストも削減できる。

E2E 文書理解モデルは文書分類 (Classification), 情報抽出（Information Extraction），質疑応答（Question Answering）などのアプリケーションで高い性能を 達成したと既存研究 $[1,2]$ より報告されている. し かし，VDU アプリケーションには，例えば文書画像 から個人情報に該当するテキストをマスキングする といった, テキストの位置が必要となる場合もある.本研究では，テキスト位置の教師データを必要 としない利点を保ちつつ，E2E 文書理解モデルに よってテキスト位置を獲得する手法を提案する。モ デルがテキストを出力するとき，画像上で対応す るテキスト領域に注視点が分布すると仮定して， Transformer から得られる Attention Map からテキス 卜位置を獲得した. 実験では Kim et al. [1] のモデル を用いて，古文書の画像からくずし字を検出して認識するタスク [3] に対して，最新の OCR モデル [4] との比較により有効性を検証した。

## 2 関連研究

光学的文字認識 (OCR). 画像からテキストを抽出す る OCR は 2 つの機能で構成される。一つ目は画像上

の全テキストの位置情報を獲得するテキスト検出 (Text Detection), 二つ目は画像上のテキストを読む テキスト認識（Text Recognition）である. 深層学習 の発展に伴い，それぞれの機能を実現する手法が提案されている $[5,6]$. また, OCR の 2 つの機能を単一モデルで E2E に実施する試みも増えている [4].

視覚的文書理解 (VDU). VDU はテキストの抽出に 加えて理解も実施する. 例えば, 文書画像上の情報 を構造化して抽出する視覚的文書情報解析（Visual Document Parsing）や, 文書画像に対する自然言語 の質問文に対して回答する視覚的文書質疑応答 （Visual Document Question Answering）が挙げられる. これらは主に OCR と自然言語モデルを直列に結合 する手法で実現されてきた $[7,8,9]$. しかし，OCR を含む VDU モデルは，OCR で生じる計算コストの 課題や, OCR まで誤差伝播しにくい学習の課題を抱 えており, OCR を介さず単一モデルで VDU を実施 する $\mathrm{E} 2 \mathrm{E}$ 文書理解モデルも研究されている $[1,2]$.

## 3 提案手法

本節ではまず $\mathrm{E} 2 \mathrm{E}$ 文書理解モデルの一つであ

る Document Understanding Transformer [1] (以下,

Donut) の構造を説明し, Donut のような Transformer 基盤の $\mathrm{E} 2 \mathrm{E}$ 文書理解モデルの Attention 層からテキ ストの位置を獲得する提案手法を説明する。

## 3.1 事前知識 : Donut

Donut は Transformer 基盤のエンコーダ・デコー ダモデルである. Kim et al.〜 [1] は Swin Transformer [10] をエンコーダに, BART [11] をデコーダ に用いた. エンコーダは文書画像 $\mathbf{x} \in \mathbb{R}^{H \times W \times C}$ を 入力とし，画像の各パッチ領域に対応する分散表現 $\left.\{\mathbf{z}_{i} \mid \mathbf{z}_{i} \in \mathbb{R}^{d}, 1 \leq i \leq n\right.\}$ を出力する. ここで $d$ は分散表現の次元数， $n$ はパッチ数を表すハイパーパラ メータである.ここでパッチ数はまた別のハイパー パラメータである，パッチサイズ $p$ (ここでは正方形のパッチを前提に説明する）から決まる。入力画像を $H \times W$ へ固定するとすると，パッチ数は $n=H \cdot W / p^{2}$ となる. デコーダはエンコーダが出力 した分散表現 $\{\mathbf{z}\}$ を参照しながら求められる情報 $\left(\mathbf{y}_{i}\right)_{i=1}^{m}$ を出力する. ここで $\mathbf{y}_{i} \in \mathbb{R}^{v}$ は $i$ 番目のトーク ンを表す 1-hot ベクトルであり，v は辞書のサイズ， $m$ は出力する最大トークン数を表すハイパーパラ メータである. デコーダは Cross Attention [12] と呼 ばれる仕組みにより $\{\mathbf{z}\}$ を参照する。その過程でデ
コーダが各 time step $i$ で参照したパッチ領域を表す スコア $\left.\{\mathbf{A}_{i} \mid \mathbf{A}_{i} \in \mathbb{R}^{n \times h}, 1 \leq i \leq m\right.\}$ (以下, Attention Map) が獲得できる. ここで $h$ は Attention の数を決める ハイパーパラメータであり, $h>1$ の場合は Multi Head Attention [12]（MHA）と呼ばれる.

## 3.2 提案アルゴリズム

提案手法は 3.1 節で説明した Cross Attention の Attention $\operatorname{Map}\{\mathbf{A}\}$ を用いる。〈ずし字認識タスク [3] に転移学習した Donut モデルの Attention Map を図 2 に示す. 図 2 でデコーダの最終層の $h$ 個の Attention Map の平均値であり，值が大きい領域（以下，注視点）が各 time step で出力した文字に対応する画像上 の文字周辺に集中している. デコーダの各層ごとに Map が得られるが，くずし字認識タスクに対する 予備実験の結果から最終層と出力文字との対応関係が強いことが観測できた. 本稿の実験と分析で は最終層の Mapを分析の対象とし，Text Localization へ用いる方法を考える.この傾向を用いて, 各 time step の注視点をテキスト位置として獲得する. Map を box 化する方法としては，画像処理を用いること で実現した. 具体的には，Map に対して連結成分ラ ベリングを行い，最も連結成分の値の和が大きい ものを予測の box とした. さらに, 我々が観測した Attention Map の 2 つの傾向を用いて Localization の 精度を向上させる.

分散情報の利用. MHA を用いる Donut にはデコー ダの各層に 16 個の Attention Head が存在して, 16 個 の Map を獲得できる. 図 3 は分散が大きい Map と 分散が小さい Map を示し, 分散が大きい Map では注視点が出力文字周辺に集中して，分散が小さい Map では注視点が画像全体に分散する傾向を観測した. そこで, Attention Map を分散により重みつき平均し た Mapを最終的に用いた。

読み順の利用. 図 4 は文字出力時の Attention Map を示す. くずし字データセット [3] ではテキストの 読み順が右上から左下の画像が多く, 読み順に沿っ て文字を出力するよう転移学習した Donut では，注視点が文字の中心よりも上方に分布しやすい傾向に あった。一方で, 逆方向の読み順で文字を出力する よう学習させた場合, 注視点が文字の中心よりも下方に分布しやすい傾向にあった. 双方向の出力が相補的な役割を果たすと期待して，これらを統合して 用いる.

双方向の出力の統合と効率化について. 双方向の

図 2 Donut モデルの Attention の可視化. くずし字認識 タスクへ転移学習したモデルの Cross Attention Mapを可視化した. 文字の読み順に従って Attention の注視点が移動していることがわかる.

図 3 分散による Attention Map の傾向. (上) 分散が最 も大きい Attention Head の Map. (下) 分散が最も小さい Attention Head $の$ Map.

図 4 読み方向による Attention Map の傾向. (上) 順方向の Map. (下) 逆方向の Map.

出力を統合する方法には, 双方向の Attention Map の 重みつき平均を算出する方法（以下，Early Fusion） と, 双方向の Attention Map からテキスト位置を示す Bounding Box を獲得して，それらを統合する方法 （以下，Late Fusion）が考えられる．Box 統合する 手法としては, WBF [13] を用いた. 本稿では両手法 を実装して 4 節で定量評価した。

次に，提案手法の学習と推論の効率性について考察する. Donut は次のステップの文字を予測させる

図 5 提案手法の Overview. テキスト出力時の Atteniton Map から位置を獲得する. <S>は順方向の文字出力, $<\mathrm{R}>$ は 逆方向の文字出力を動作させる命令トークン [1] である.

Teacher Forcing 方式で学習する [1]. 逆方向の文字出力は, 順方向のテキストを反転させたテキストを教師データに用いて学習すれば容易に実現できる. ま た，そのとき双方向モデルの重みを全て共通化する ことで，パラメータ数を増加させることなく学習可能である．さらに，双方向どちらのデコーダも，エ ンコーダの同一の出力を入力に用いるため，エン コーダの計算は一回で済むことも利点として挙げら れる。

推論時は 1 ステップに 1 文字づつ出力するため,双方向で計 2 回の推論を実施すると計算コストが大 きくなってしまう．そこで次のアイデアを適用し た.まず，片方向（ここでは順方向と仮定する）だ け推論して Attention Map と文字列を得る. 次に，得 た文字列を反転させた文字列を，逆方向の読み順で モデルが出力した文字列だと見なして, 全て同時に デコーダに入力して逆方向の Attention Map を得る. この方法だと，逆方向の推論時にステップを繰り返 すことなく，1 ステップのみで完了するため計算コ ストが大幅に削減できる。図 5 に提案手法の全体フ ローを示す。

表 1 くずし字認識タスクの性能.

## 4 実験

タスクとデータ. 実験では古文書くずし字データ セット [3] 用いて文字検出及び認識タスクにより提案手法を評価した. データセットに含まれる 44 冊 の古文書から一冊を評価データとして用いた. 本タ スクではくずし字が書かれている文書画像から各く ずし字の位置とテキストを獲得しており，〈ずし字 を現代の語彙へと認識する点で従来の OCR タスク とは若干異なる点に注意されたい。

評価方法. 評価指標には検出した文字の位置を 評価する mAP，OCR の評価指標の 1 つである CLEVAL [14], 〈ずし字認識 Kaggle チャレンジ ${ }^{1}$ で 用いられた F1 スコア，そして認識した全ての文字を検出位置を元にソートして, Ground Truth の 文字列との一致度合いを評価する Normalized Edit Distance（nED）を用いて評価した。

比較手法. まず，本研究では終端間文書理解モデ ルの一つである Donut [1] に提案手法を結合したも のを提案手法とし, Box Annotation Free Donut (Free Donut）と呼ぶ. 比較対象には, 利用可能な API とオープンソースモデルである, MS OCR $\mathrm{API}^{2}$, EasyOCR ${ }^{3}$ を使用した. くずし字認識に特化した最先端手法とも比較するために，近年開催された ECCV-22 OCR Challenge ${ }^{4}$ を参照し， DEER [4] をく ずし字データセットで学習した特化モデルも準備 した.

結果. 表 1 に実験結果を示す.まず上段は市販の API やオープンソースモデルの評価結果であり，他の手法より大幅に低いスコアとなった。これは

くずし字認識に特化していないためだと推察され る. 次に，中段はくずし字認識タスクで学習したモ デルの評価結果である. テキスト位置の教師デー タを用いた DEER [4] と比べて,テキスト位置の教示 データを用いない提案手法でも一部の評価指標で は同等以上の性能を達成できた. ただし，出力した Bounding Box と Ground Truth Box の一致度合いを表 す Area Precision [14]では, 閾值次第で DEER とのス コアの差分が大きくなった. これはテキスト位置の 教師データを用いて学習した DEER に比べて, テキ スト位置の教師データを用いない提案手法では, テ キスト領域を余白なく漏れなく特定する観点では劣 ることを示唆し, 改善の余地がると分かった. 出力 した Bounding Box の中心点が, GT の Bounding Box 内に含まれるかどうかを評価する $\mathrm{F} 1$ や，認識され たテキストの正しさを評価する $\mathrm{nED}$ では提案手法 が優位となった.

次に，Ablation Studyにより提案手法を構成する 2 つの要素の有効性を評価した。まず，分散を用いて Attention Head ごとの Map の重みつき平均を取るこ とによる性能向上は下段の 1 行目と 2 行目の比較で 確認できる. 次に，双方向の読み順の出力を利用す ることの有効性は, 中段の提案手法のスコアと, 下段 の片方向のみを利用した場合のスコアとの性能差か ら確認できる.

## 5 まとめと今後の課題

本稿では E2E 文書理解モデルを用いて, 推論時の Attention Map の後処理によってテキスト位置を獲得 するアルゴリズムを提案した. 実験では古文書のく ずし字認識タスクで高いスコアを示した. 今後の課題は, Attention Map を後処理する Ad-hoc なアルゴリ ズムの正式な根拠づけ, 性能向上, そして文字認識に 限らない多様な応用先での有用性評価である。

## 謝辞

The authors deeply thank members of NAVER Cloud CLOVA Vision Semantic Perception Team and LINE AI Company Computer Vision Lab Team.

## 参考文献

[1] Geewook Kim, Teakgyu Hong, Moonbin Yim, JeongYeon Nam, Jinyoung Park, Jinyeong Yim, Wonseok Hwang, Sangdoo Yun, Dongyoon Han, and Seunghyun Park. Ocrfree document understanding transformer. In European Conference on Computer Vision, pages 498-517. Springer, 2022.

[2] Brian Davis, Bryan Morse, Bryan Price, Chris Tensmeyer, Curtis Wigington, and Vlad Morariu. End-to-end document recognition and understanding with dessurt. ECCV Workshop on Text in Everything, 2022.

[3] 国文学研究資料館. 日本古典籍くずし字データ セット.

[4] Seonghyeon Kim, Seung Shin, Yoonsik Kim, Han-Cheol Cho, Taeho Kil, Jaeheung Surh, Seunghyun Park, Bado Lee, and Youngmin Baek. Deer: Detection-agnostic endto-end recognizer for scene text spotting. arXiv preprint arXiv:2203.05122, 2022.

[5] Jeonghun Baek, Geewook Kim, Junyeop Lee, Sungrae Park, Dongyoon Han, Sangdoo Yun, Seong Joon Oh, and Hwalsuk Lee. What is wrong with scene text recognition model comparisons? dataset and model analysis. In Proceedings of the IEEE/CVF international conference on computer vision, pages 4715-4723, 2019.

[6] Youngmin Baek, Bado Lee, Dongyoon Han, Sangdoo Yun, and Hwalsuk Lee. Character region awareness for text detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9365-9374, 2019.

[7] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. Layoutlm: Pre-training of text and layout for document image understanding. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, pages 1192-1200, 2020.

[8] Teakgyu Hong, DongHyun Kim, Mingi Ji, Wonseok Hwang, Daehyun Nam, and Sungrae Park. Bros: A pretrained language model focusing on text and layout for better key information extraction from documents. Proceedings of the AAAI Conference on Artificial Intelligence, 36(10):10767-10775, Jun. 2022.

[9] Yupan Huang, Tengchao Lv, Lei Cui, Yutong Lu, and Furu Wei. Layoutlmv3: Pre-training for document ai with unified text and image masking. arXiv preprint arXiv:2204.08387, 2022.

[10] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 10012-10022, October 2021.
[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 7871-7880, Online, July 2020. Association for Computational Linguistics.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS'17, page 6000-6010, Red Hook, NY, USA, 2017. Curran Associates Inc.

[13] Roman A. Solovyev and Weimin Wang. Weighted boxes fusion: ensembling boxes for object detection models. arXiv preprint arXiv:1910.13302, 2019.

[14] Baek Youngmin, Nam Daehyun, Park Sungrae, Lee Junyeop, Shin Seung, Baek Jeonghun, Young Lee Chae, and Lee Hwalsuk. Cleval: Character-level evaluation for text detection and recognition tasks. arXiv preprint arXiv:2006.06244, 2020.


# 文脈理解に着目した 対照学習に基づく弱教師あり Phrase Grounding

唐井希 清丸寛一 Chenhui Chu 黒橋禎夫
京都大学大学院 情報学研究科
$\{$ karai, kiyomaru, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

本研究では，対照学習に基づく弱教師あり Phrase Grounding 手法の改善に取り組む. 既存手法では, フ レーズの文脈を考慮することが学習されず，画像中 に同じクラスの物体が複数存在する場合にフレー ズを正しい物体領域に対応付けられない. 本研究で は対照学習に用いる負例をフレーズの文脈を置き 換えて作成することによってこの問題に対処する。提案手法を Flickr30k Entities データセットに適用し, ベースライン手法と比較して，最大で 2.89 ポイント の Recall の改善を確認した.

## 1 はじめに

Phrase Grounding（Phrase Localization）は画像中の 物体領域と画像キャプション中のフレーズの対応関係を同定するタスクである [1]. 自然言語によるロ ボットへの指示などその応用は多岐に渡る。

Phrase Grounding は一般に画像中の物体領域と画像キャプション中のフレーズの対応がアノテーショ ンされた訓練データを用いて教師あり学習で解かれ る $[2,3]$. しかし，こうした訓練データの構築には 膨大な人的・金銭的コストが必要であり，異なるド メインや多言語への適用，訓練データ数を増やすこ とによる性能改善は困難である。

この問題を解決するため，画像とキャプションの ペアから Phrase Grounding を学習する弱教師あり設定が研究されている $[4,5,6,7]$. この設定では画像中の物体領域と画像キャプション中のフレーズの対応のアノテーションが不要であり, 必要となる画像 とキャプションのぺアもウェブデータ・実世界デー タから今後ますます多く手に入ると期待される [8].弱教師あり設定の手法としては，対照学習に基づ く手法 $[4,5]$ が代表的である. この手法では, 共起 する物体領域とフレーズのペア（正例）の類似度の

正例 [Chocolate donut] in front of a computer 負例 (先行研究) [Chocolate cookie] in front of a computer

負例 (提案手法) [Cream donut] in front of a computer

図 1: 対照学習における負例の作成方法. [ カッコ内 ] は関心のフレーズ，下線は正例のキャプションか ら置き換えた単語を表す。

最大化とそれ以外のペア（負例）の類似度の最小化 の学習を通して，実際に対応関係にある物体領域と フレーズのペアに高い類似度を与える。

対照学習では負例の作成方法が性能を左右する。先行研究 [4] はフレーズの主辞を置き換えて負例を 作成している。図 1 に例を示す.この例では，フ レーズ chocolate donut の主辞 donut を cookie に置き 換えて負例としている。これは対照学習により画像中に chocolate donut は存在するが chocolate cookie は 存在しないことを学習することを意味する。しか し，これは主辞の donut と cookie に着目すれば解く ことができ，画像中に同じクラスの物体（例えば chocolate donut と cream donut）が存在する場合に，主辞の文脈を考慮して正しい物体領域に対応付ける ことは必ずしも学習されない.

本研究では，フレーズの主辞ではなく，その文脈 を置き換えて負例を作成することを提案する．図 1 に例を示す。提案手法では，主辞を修飾する文脈 chocolateを creamに置き換えて負例とする。これに より文脈を考慮し，同じクラスの物体を区別するこ とを学習させる。

実験では，Flickr30K Entities [9] データセットに提案手法を適用し，提案手法がベースライン手法の性能を大きく改善することを確認した。

## 2 関連研究

Phrase Grounding におけるアノテーションコスト の問題を解決・緩和するため，いくつかのアプロー チが提案されている. 最も素朴な方法として, 学習済みの物体検出器のラベルとフレーズの単語類似度 に基づき，物体領域とフレーズの対応を見つける手法がある [10]. しかし, 物体の情報が物体検出器が 予測するラベルの範囲でしか区別できないため，同一クラスの物体を区別してフレーズと対応付けるこ とは困難である。

別のアプローチとして，画像とキャプションのペ アから Phrase Groundingを学習する弱教師あり設定 が研究されている $[4,5,6,7]$. 最も代表的な手法は 対照学習に基づくものである $[4,5]$. 他の手法とし ては，訓練済みのキャプショニングモデルの注意機構の活性からフレーズと物体領域の対応を抽出する 手法 [7] などがある.

## 3 対照学習による弱教師あり Phrase Grounding

提案手法は，対照学習によって画像とキャプショ ンのペアデータから Phrase Grounding を学習する枠組み $[4,5]$ に基づく.この手法では, 共起する物体領域とフレーズのぺアの類似度を上げつつ，共起し ない物体領域とフレーズのペアの類似度を下げるこ とを学習する.この学習により, 実際に対応関係に ある物体領域とフレーズのペアには対応関係にない ペアよりも高い類似度が与えられるようになる。

形式的には，まず画像とキャプションからそれぞ れ物体領域特徵 $\mathbf{R}=\left.\{r_{1}, \cdots, r_{m}\right.\}\left(r_{i} \in \mathbb{R}^{d_{r}}\right)$ とフレー ズ特徴 $\mathbf{W}=\left.\{p_{1}, \cdots, p_{n}\right.\}\left(p_{j} \in \mathbb{R}^{d_{p}}\right)$ を抽出する. た だし, $m$ は画像から検出された物体領域の数, $d_{r}$ は物体領域特徵の次元数, $n$ はキャプション中のフ レーズの数， $d_{p}$ はフレーズ特徴の次元数である.物体領域特徴とフレーズ特徴はそれぞれ事前学習済 みの物体検出器と事前学習済みの言語モデルから 得る.

次に，物体領域特徴とフレーズ特徴の類似度を注意機構—[11] によって計算する. 注意機構による類似度の計算には, 物体領域特徴の key ベクトルへの 変換 $k_{r}: \mathbb{R}^{d_{r}} \rightarrow \mathbb{R}^{d}$ とフレーズ特徵の query ベクト ルへの変換 $q_{p}: \mathbb{R}^{d_{p}} \rightarrow \mathbb{R}^{d}$ を用いる. ただし, $d$ は 変換後の特徴の次元数である. $k_{r}$ と $q_{p}$ はいずれも 単一の線形層を備えたニューラルネットワークとす
る.これらを用いて, 物体領域特徴 $r_{i}$ とフレーズ特徵 $p_{j}$ の類似度 $a\left(r_{i}, p_{j}\right)$ を得る.

$
\begin{aligned}
& a\left(r_{i}, p_{j}\right)=\frac{e^{s\left(r_{i}, p_{j}\right)}}{\sum_{i^{\prime}=1}^{m} e^{s\left(r_{i^{\prime}}, p_{j}\right)}} \\
& s\left(r_{i}, p_{j}\right)=q_{p}\left(p_{j}\right)^{T} k_{r}\left(r_{i}\right) / \sqrt{d}
\end{aligned}
$

テスト時は各フレーズについて最も類似度が高い物体領域を選択することで Phrase Grounding を実行す る.しかし, 弱教師あり設定では物体領域とフレー ズの対応に関する教師信号がないため，この類似度 は直接最適化することはできない.

そこで，画像 $\mathbf{R}$ とフレース $p_{j}$ の類似度 $\phi\left(\mathbf{R}, p_{j}\right)$ を導入し，このもとで対照学習を行うことで物体領域とフレーズの類似度を最適化する. この計算 のため, 物体領域特徴の value ベクトルへの変換 $v_{r}: \mathbb{R}^{d_{r}} \rightarrow \mathbb{R}^{d}$ とフレーズ特徴の value ベクトルへの 変換 $v_{w}: \mathbb{R}^{d_{p}} \rightarrow \mathbb{R}^{d}$ を導入する. $v_{r}$ と $v_{w}$ もまた,単一の線形層を備えたニューラルネットワークとし て構成する。これらを用いて，画像とフレーズの類似度 $\phi\left(\mathbf{R}, p_{j}\right)$ を得る.

$
\begin{aligned}
\phi\left(\mathbf{R}, p_{j}\right) & =v_{w}^{T}\left(p_{j}\right) v_{\text {att }}\left(\mathbf{R}, p_{j}\right) \\
v_{\text {att }}\left(\mathbf{R}, p_{j}\right) & =\sum_{i=1}^{m} a\left(r_{i}, p_{j}\right) v_{r}\left(r_{i}\right)
\end{aligned}
$

対照学習は，Gupta ら [4] に倣い，画像を置き換え て負例を作る画像側の対照学習と，キャプション中 の単語を置き換えて負例を作る言語側の対照学習 の組み合わせで行う. 画像側の対照学習では，ミニ バッチ中に含まれる別の画像の物体領域特徵を負例 とする。目的関数 $\mathcal{L}_{i m g}$ は以下の通りである.

$
\mathcal{L}_{\text {img }}=-\sum_{j=1}^{n} \log \left(\frac{e^{\phi\left(\mathbf{R}, p_{j}\right)}}{e^{\phi\left(\mathbf{R}, p_{j}\right)}+\sum_{i=1}^{k-1} e^{\phi\left(\mathbf{R}_{i}^{\prime}, p_{j}\right)}}\right)
$

ただし,$k$ はバッチサイズである.

言語側の対照学習では，正例のキャプション中の 単語を別の単語に置き換えることで負例とする．具体的には，フレーズの主辞を対象として，事前学習済みの BERT [12] を使用し, 文脈的に妥当な単語に 置き換えて負例を作成する．置き換え先の単語とし て置き換え元の単語の同義語や上位語が選択され不適格な負例となるを避けるため，以下の手続きを取 る. ある文脈 $c$ を伴う単語 $w$ を置き換える際，ま ず，単語 $w$ をマスクしたキャプションを BERTに 入力し, マスクの部分の当てはまる単語の予測確率 $p\left(w^{\prime} \mid c\right)$ を計算する.この上位 $K$ 単語を置き換え
表 1: 各手法で作成される負例の例. [ カッコ内 ] は関心のフレーズ，下線は正例のキャプションから置き換 えた単語を表す。

 &  &  &  \\

先の単語候補とする. 次に，単語 $w$ をスクせずそ のまま BERT に入力し，単語 $w$ の部分に当てはま る単語の予測確率 $p\left(w^{\prime} \mid w, c\right)$ を計算する. 置き換え 元の単語の同義語や上位語には $p\left(w^{\prime} \mid w, c\right)$ で高い確率になると期待される。置き換え先の単語候補をス コア $p\left(w^{\prime} \mid c\right) / p\left(w^{\prime} \mid w, c\right)$ をもとに並び替え，上位 $L$単語を置き換え先の単語として採用する. 目的関数 $\mathcal{L}_{\text {lang }}$ は以下の通りである.

$
\mathcal{L}_{\text {lang }}=-\log \left(\frac{e^{\phi\left(\mathbf{R}, p_{j}\right)}}{e^{\phi\left(\mathbf{R}, p_{j}\right)}+\sum_{l=1}^{L} e^{\phi\left(\mathbf{R}, p_{l}^{\prime}\right)}}\right)
$

ただし， $L$ は負例の数， $p_{l}^{\prime}$ は正例のキャプション中 の単語を置き換えた上で抽出したフレーズ特徴で ある.

モデルはこれらの和 $\mathcal{L}=\mathcal{L}_{\text {img }}+\mathcal{L}_{\text {lang }}$ を目的関数 とし，その最小化を学習する。

## 4 提案手法

対照学習に基づくPhrase Groundingでは，フレー ズの主辞を置き換えて負例を作成されている [4].本論文ではこの負例の作成方法を HEAD と呼ぶ.

本論文では，これに加えて，フレーズの主辞の文脈単語を置き換えて作成した負例を対照学習に利用 することを提案する. 本研究では 2 つの方法を提案 する. 1 つ目はフレーズの主辞を修飾する形容詞を 置き換える方法である. まず，フレーズの主辞を修飾する形容詞を構文解析を適用して見つける置き換 え先の単語は HEAD と同様, BERT の予測確率に基 づき得る. この負例の作成方法を ADJ と呼ぶ.

2つ目はフレーズ内の単語を含むフレーズの周辺単語を無作為に置き換える方法である. ADJ と比べ て, 多様な修飾関係が学習されると期待される. 置 き換え先の単語は HEAD と同様の方法で得る.この 負例の作成方法を RAND と呼ぶ.

HEAD と ADJ は品詞情報, 統語情報を活用して置 き換える単語を選択するため，基本的に妥当な負例
が得られる。一方，RAND はそれらを一切考慮しな いため, 多様な修飾関係がカバーされる代わりに,不適当な負例になる場合も多い. 表 1 に各手法で作成される負例の具体例を示す.

## 5 実験

提案手法の有効性を確認するため実験を行った。

## 5.1 実験設定

実験には Flickr30K Entities [9] データセットを使用 した. Flickr30K Entitiesには 3 万枚の画像が含まれ，各画像に 5 つのキャプションが付与されている. ま た, すべての画像・キャプションのぺアに対して，画像領域とキャプション中のフレーズの対応のアノ テーションが付与されている. 提案手法は弱教師あ り手法であり，画像領域とフレーズの対応に関する アノテーションは訓練に使用しないことに注意され たい.

評価指標には Recall と Pointing Accuracy の2つを 用いた. Recall は正解領域と予測領域が IOU $\geq 0.5$ であるフレーズの割合である. Pointing Accuracy は， モデルがフレーズごとに 1 つの点の位置を予測し， その予測が正解領域内にある割合である. 本研究で は予測領域の中心を予測値の点とした.

物体領域特徴は物体検出器 Faster-RCNN [13] を用 いて抽出した. フレーズ特徴は BERT [12] が出力す るフレーズの構成単語の文脈化埋め込みの平均と した.

画像側の対照学習における負例の数 $k$ は 10 , 言語側の対照学習における負例の数 $L$ は 5 とした. ADJ による負例生成には，構文解析 spacy ${ }^{11}$ の出力を使用した. RAND による負例生成では, 置き換える単語候補をフレーズ内の単語およびフレーズの前後 3, 5, 10 単語として比較した.

表 2: 実験結果. 最良の結果を太字で示す.(†)は元論文からの引用. RAND に付記されたカッコ内の数字はフレーズの前後何単語以内を置き換えの対象と したかを表す.

## 5.2 結果

表 2 に結果を示す.フレーズの主辞の名詞を置 き換えて負例とする HEAD はほぼ先行研究 [4] の再現であるが， 3.28 ポイントの Recall の改善が見られ た. これは, 先行研究がフレーズ特徴としてフレー ズ主辞の文脈化埋め込みを使用しているのに対し， HEAD はフレーズを構成する単語の文脈化埋め込み の平均を使用しているという違いに起因する. 先行研究 [4] も文脈化埋め込みを使用しているため主辞 の文脈の情報は考慮されていると期待されるが，実験の結果，フレーズの構成単語全ての埋め込みを利用してフレーズ特徴を構成する方が効果的であるこ とが確認された。

主辞を修飾する形容詞を置き換えて負例とする ADJ を加えることで，さらに 2.23 ポイントの Recall の改善が見られた. また, フレーズの周辺単語を 無作為に置き換えて負例とする RAND 加えること で，最大 2.89 ポイントの Recall の改善が確認され た. RANDについては，置き換える単語の窓幅を大 きくするほど精度が向上する傾向が確認された. こ れは選択する範囲を増やすことで考慮できる修飾関係の種類が増えたためだと考えられる。

## 5.3 ケーススタディ

モデルの出力を分析したところ，提案手法により モデルが期待通り，フレーズの文脈を考慮すること を学習していることが確認された. 図 $2 \mathrm{a}$ に例を示 す. HEADでは画像中にフレーズの主辞 jacketを修飾する leather の情報が考慮されず，誤った物体領域 を選択しているが，HEAD+ADJではフレーズを正し

A five-piece band, four of the men in red outfits and one of them in a leather jacket and jeans, perform on the sidewalk in front of a shop .

(a) 提案手法による改善例.

A young woman in a bikini looking at something in a glass case .

(b) 提案手法による改善例.

図 2: 提案手法によって改善した例. 青色が HEAD (ベースライン), 橙色が HEAD+ADJ（提案）, 紫色が HEAD+RAND（提案），黄色が正解の領域を示す.

い物体領域に選択できている。

形容詞を考慮するだけでは不十分な例も確認され た. 図 $2 b$ に例を示す. この例では主辞を修飾する young の情報だけではどの領域が正しいか選択でき ず，HEAD+ADJ は誤った領域を出力している。一方， HEAD+RAND は in a bikini を考慮して正しい領域を出力している. HEAD+RAND と HEAD+ADJ と比べて多様な修飾関係を考慮しているにも関わらず，その性能差は決して大きくない.これは HEAD+RANDで作成される負例にノイズが多く含まれることが原因と 考えられる。

## 6 おわりに

本研究では，対照学習に基づく弱教師あり Phrase Grounding 手法の改善に取り組んだ. 既存手法では フレーズの文脈を考慮した Phrase Grounding が学習 されないことに着目し, 対照学習に用いる負例の工夫によりこの問題に対処した. 実験では提案手法を Flickr30k Entities データセットに適用し, その有効性を確認した. 今後, 言語素性・統語構造を考慮し たより効果的な負例の作成方法を検討したい。

## 謝辞

本研究はヤフー株式会社の支援のもとで行わ れた。

## 参考文献

[1] Akira Fukui, Dong Huk Park, Daylen Yang, Anna Rohrbach, Trevor Darrell, and Marcus Rohrbach. Multimodal compact bilinear pooling for visual question answering and visual grounding. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 457-468, Austin, Texas, November 2016. Association for Computational Linguistics.

[2] Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel Synnaeve, Ishan Misra, and Nicolas Carion. Mdetr - modulated detection for end-to-end multi-modal understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 1780-1790, October 2021.

[3] Liunian Harold Li, Pengchuan Zhang, Haotian Zhang, Jianwei Yang, Chunyuan Li, Yiwu Zhong, Lijuan Wang, Lu Yuan, Lei Zhang, Jenq-Neng Hwang, Kai-Wei Chang, and Jianfeng Gao. Grounded language-image pre-training. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10955-10965, 2022.

[4] Tanmay Gupta, Arash Vahdat, Gal Chechik, Xiaodong Yang, Jan Kautz, and Derek Hoiem. Contrastive learning for weakly supervised phrase grounding. In ECCV, 2020.

[5] Liwei Wang, Jing Huang, Yin Li, Kun Xu, Zhengyuan Yang, and Dong Yu. Improving weakly supervised visual grounding by contrastive knowledge distillation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1409014100, June 2021.

[6] Samyak Datta, Karan Sikka, Anirban Roy, Karuna Ahuja, Devi Parikh, and Ajay Divakaran. Align2ground: Weakly supervised phrase grounding guided by image-caption alignment. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), October 2019.

[7] Effrosyni Mavroudi and René Vidal. Weakly-supervised generation and grounding of visual descriptions with conditional generative models. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 15523-15533, 2022.

[8] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2556-2565, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Bryan A. Plummer, Liwei Wang, Chris M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer image-to-sentence models. In 2015
IEEE International Conference on Computer Vision (ICCV), pp. 2641-2649, 2015.

[10] Josiah Wang and Lucia Specia. Phrase localization without paired training examples. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), October 2019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018


# 指示文からの画像生成における配置指定能力の調査

木村昴 ${ }^{1}$ 工藤慧音 ${ }^{1}$ 赤間怜奈 1,2 鈴木潤 1,2
1 東北大学 2 理化学研究所
\{subaru.kimura.s4, keito.kudo.q4\}@dc.tohoku.ac.jp
\{akama, jun.suzuki\}@tohoku.ac.jp

## 概要

指示文から品質の高い画像を生成する画像生成モ デルが大きな関心を集めている. 現在，生成画像の 品質や忠実さの向上に焦点を当てた研究が盛んに行 われている。一方で，生成画像内の各物体の位置や 関係性といった細かい指定を実現する方法につい ては，未だほとんど取り組まれていない. 本研究で は，一般に広く使われている拡散モデルに基づく指示文からの画像生成方法の配置指定能力を調査す る. 単純な位置指定表現を加えた指示文により物体 の配置ができるかを実験により検証する。実験結果より，単純な位置指定表現では意図通りに作用し ないことを報告する。

## 1 はじめに

現在，拡散モデル [1] が画像生成モデルに取り入 れられたことにより，指示文 (システムに入力され るプロンプト)の内容を忠実に画像へ描写できる画像生成技術が向上している. 例えば，生成したい画像に対する物体の指定や全体的な画風などの指定に 対する生成画像の品質は以前に比べて格段に向上し た.しかし，生成内容の配置を自由に指示文から指定することは容易ではない. 図 1 の図下の例では，猫を画像内の左下に描写することを意図した指示文 を入力としたときの実際の画像生成例を示してい る. 生成画像を眺めると意図通りに猫を配置できて いないことが分かる. 一方で, 本研究が目指す生成画像の理想は, 図 1 の図上のように指示文通りに配置をすることである.

生成画像内容の配置を指定する研究は Generative Adversarial Networks (GANs) [2] によって画像生成が 可能になってから徐々に研究され始めた [3]. その 後は，物体領域やセグメンテーションを用いた配置図をモデルの入力に加えることで配置を指定する研究 $[4,5,6,7,8]$ が報告されている. また，画像内の

図 1 現状の Stable Diffusion における位置指定付き指示文 での実際の生成例 (図下) と本研究で目指す指示文のみで の配置指定の理想像 (図上).

物体同士の位置および意味的な関係を表現したグラ フを用いて多くの物体を含む複雑な文から忠実な画像を生成する研究 [9] などが実施されている. これ らの関連研究の内，モデル構造に拡散モデルを用い ているのは最近の研究のみで [4]，その他は拡散モ デル以外のモデル構造を用いている $[3,5,6,7,8,9]$.拡散モデルを用いた画像生成において指示文のみ で配置指定ができるかは明確に明らかにされてい ない．また，画像生成モデルが有用であるには，生成内容を高度に制御できることが望ましい. その上 で，配置図などを作成せずとも指示文のみで配置指定を制御できることは有用であると考える。

そこで本研究では，一般に使われている Stable Diffusion [10] を対象に，「指示文のみでの配置指定」 をすることが可能かを実験により確かめ，指示文 からの画像生成モデルの配置指定能力を調査す る.また, 現在 Imagic [11] や Texutual Inversion [12], DreamBooth [13] などの小規模の微調整で生成内容 を個別の目的に最適化する方法が注目されている. これらの手法 $[11,12,13]$ と微調整に使うデータサイ ズや工夫は異なるが，単純な微調整の有用性を調べ るために画像内の物体領域の位置情報を加えた説明文を用意し，その説明文と画像のペアを用いて微調

図 2 実験の流れ：Visual Genome データセットから説明文を作成し，その説明文を用いて Stable Diffusion で画像生成または説明文画像ぺアで微調整してから画像生成する。

整した上で画像生成した場合の結果についても調査 する。

## 2 調査方法

今回調查対象とした画像生成モデルは Stable Diffusion である. 次にモデルの入出力を述べる.図 2 のように，画像内の一つの物体に注目し，その 物体の位置から説明文を作成する。ここでの説明文 とは画像中心を原点とした 4 象限のどこに物体が属 しているかを明示する位置指定文とその物体につい て記述した文の 2 文からなる文である.これを指示文として対象モデルに入力し生成された画像におけ る注目物体の生成位置を評価し，対象モデルが指示文で配置指定が可能かを調査する。また，作成した 説明文と作成元画像のペアのデータセットを用い て, Stable Diffusion モデルを微調整した複数のモデ ルを用意し，それぞれのモデルで指示文のみでの配置指定が可能かを調査する．調査する観点をまとめ ると以下の 2 点になる.

1.そのままの Stable Diffsuion モデルで指示文によ る注目物体の配置指定が可能か.

2. 説明文画像ペアのデータセットを用いて Stable Diffusion モデルを微調整したモデルにおいて指示文による注目物体の配置指定が可能か.

## 3 実験

2 章で述べた内容を実験的に調べる.

## 3.1 調査に用いるデータセット

今回作成するデータセットの元として，計 108,077 枚の画像と詳細な各画像内の物体の記述を持つ Visual Genome [14] を用いる. 画像内の物体一つを 選び出し説明文を Visual Genome の各画像から作成 した計 94,079 枚の画像と説明文からなるデータセッ 卜を構築した. 位置指定の種類は画像中心を原点と して 4 象限に分けた時，どこに物体が属しているか で 4 種類ある. これらの位置と位置指定文の例の対表 1 画像中心を原点として 4 象限に分けた位置と位置指定文の例の対応表.

表 2 作成データセット内の選択物体領域の位置内訳.

応を表 1 に示す.

次にデータセット作成の手順を示す.

1. 画像の幅，高さが異なる画像を画像の左上頂点 から幅と高さの内小さい方の長さで $1: 1$ に切り 出す.

2. 画像中心を原点として 4 象限に分けた位置のど れかに物体が属している物体を一つ選び出す。選び出せない場合や物体についての記述がない 画像については除外.

3. 選んだ物体の物体領域を拡大縮小し，学習・生成画像サイズである 512 に合わせる.

4. サイズ調整した物体領域の中心を算出.

5. 算出した中心が画像中心を原点として 4 象限 に分けた位置のどれに位置するかで説明文を 作成.

6. 作成した説明文画像ペアのデータセットを訓練，検証，評価セットに分割。このときの分割比は, Frolov らの研究 [8] にならい, 訓練：検証 : 評価を 14:1:1 の比率とする.

作成したデータセット内の選択物体領域の位置内訳を表 2 に示す。また，データセット分割時は表 2 の位置内訳が保たれるように分割した。

## 3.2 調査に用いたモデル

一般に，指示文からの画像生成モデルは指示文 を解釈するテキストエンコーダとその出力を用い て画像を生成する生成モデルで構成される. Stable Diffusion はテキストエンコーダとして OpenAI が 発表した言語画像事前学習の Contrastive Language Image Pretaraining で事前学習されたモデルである CLIP [15] のテキストエンコーダを使用している. また，生成モデルとして潜在拡散モデル [10]を使用している. 潜在拡散モデルは画像から潜在空間 への符号化と潜在空間から画像への復号化をする

Variational Auto-Encoder (VAE) [16] と潜在空間で拡散 モデルとして機能する Unet [17] から構成されてい る.また，Stable Diffusion は主に LAION-5B [18] の 英語データセットで学習されている。

今回は，元の Stable Diffusion だけでなく，作成 データセットの訓練データに含まれる説明文画像ぺ アで Stable Diffusion モデルを微調整したものを用意 する.このとき，潜在拡散モデルの Unet だけを微調整する場合と, Unet に加えてテキストエンコーダ も微調整する場合の 2 通りのモデルを用意した.

## 3.3 評価指標

生成画像を評価する指標として指示文で指定した 位置に物体が配置されているかを評価する指標と画像の質の指標を用意する。

位置評価 指示文で指定した位置に物体が配置さ れているかを評価する指標として独自に評価指標を 3 種類用意した. Frolov ら [8] は, 配置指定ができて いるかを評価するために指定物体領域を切り出し, その領域の説明文との CLIPscore [19] を計算してい る. CLIPscore とは CLIPを用いて説明文と画像の一致度を評価する指標である。しかし，この方法では 切り出す領域以外に物体が配置されたときに評価で きない. ゆえに，本研究では物体検出器を用いた独自の評価指標群を利用する. 物体検出器には検出ク ラス数の制限がなく, 文を入力として検出できる物体検出器 [20]を用いる. 物体検出において検出物体 が意図した物体かどうかを 0 から 1 で示す確信度の 閾值は 0.01 とした. 我々の位置評価では指示文に 含まれる物体名で画像内の同一の物体を検出し, 確信度が閾値を超えて検出された物体の物体領域全て について正解画像の正解物体領域との IoUを求め,最大値をとる物体領域を検出物体の代表物体領域と して採用する.このときの IoUを一つ目の評価指標 とする. IoU とは Intersection over Union の略で (1) 式 で計算される物体領域同士の重なり具合を評価する 指標である. (1) 式の $A, B$ は物体領域を表す.

$
\operatorname{IoU}(A, B)=\frac{|A \cap B|}{|A \cup B|}
$

二つ目の評価指標は，正解物体領域の中心と代表物体領域の中心との距離 D(単位は pixel)である. そ して三つ目の評価指標は，正解物体領域の 4 象限で の存在位置を正解データとして，代表物体領域の中心が同じ象限に生成されている場合に正解，そうで ない場合に不正解としたときの正解率を採用する。画像の質の評価 一般に使われている Inception Score (IS) [21] を用いる. IS は, 画像の識別しやすさ と多様性を評価する指標であり，高いほど良い。

## 4 実験結果および考察

## 4.1 結果

3.2 節で用意した 3 つのモデルに対して評価デー タの説明文を指示文とし $512 \times 512$ の画像を 5880 枚生成した. 生成条件として，位置指定文を説明文か ら除くどうか. 加えて，位置指定文がある場合に言語誘導係数 [22] を変える場合を足した 3 通りの場合 について 3 つの各モデルで画像を生成した. 言語誘導係数とは画像生成時の設定値の一つで指示文の内容をどれだけ画像内容に強く反映させるかの設定値 である.この値を高くしたときの配置指定能力につ いても調査する．各モデルの各生成条件ごとに，生成した各画像の評価値の平均値を表 3 に示す.

位置評価の注釈 本研究の位置評価の有効性を考 える. 正解物体領域の選択元である評価データの画像 (正解画像) に対して考案した位置評価指標を用い て評価値の計算を行なった。これをオラクルの評価値とする. オラクルの評価値は検出物体領域が多少違えど同じ正解の物体領域を検出し, 各値がベスト に近い值を出すと考えられる。オラクルの評価値は 表 3 一行目の評価データ画像の IoU, D，正解率の 各值を見ると各指標のべストに近いため，我々の位置評価指標は有効であると判断した。この値を基準 として，モデルの生成画像に対する評価値がどの程度になるかを測定し，評価を行なった。

しかし，今回は微調整モデルの生成画像の質が良 くなかったため物体検出器の確信度の閾値を経験的 に 0.01 と低くした. ゆえに検出対象以外の物体領域 を誤検出しうるという欠点があることを注釈する。

## 4.2 考察

Stable Diffusion 表 3 より, Stable Diffusion の位置指定あり・言語誘導係数 7.5 での結果を見ると，位置指定ありで生成した時と位置指定なしの時を 比較すると, IoU で見ると 2 倍ほどの差があり, 正解との物体領域中心同士の距離 D が 136 pixel ほど と最も低いため数値上はある程度位置指定の効果 があるとも考えられる. しかし, このときの Stable Diffusion の生成画像を眺めると同一物体を複数生成 する場合が散見されたため, 配置指定できたという
表 3 各モデルの各生成条件ごとに，生成した各画像の評価値の平均値. 微調整の有無・位置指定の有無・言語誘導係数 を変えた計 9 つの組み合わせで，5,880 枚の評価データ画像から作成した説明文で生成した画像の評価結果. IoU all 成画像数，IoU，正解との物体領域中心同士の距離 D，代表物体領域中心が正解位置にあるかの正解率は検出画像数で平均を取った值である．位置指定の列の「-」は位置指定なしの説明文を，「、」は位置指定ありの説明文を使うことを意味 する.

} & - & 7.5 & 3,991 & 0.0517 & 0.0763 & 158.5 & 48.29 & 21.95 \\

より，画像内に物体を大量に生成することでその中 で正解物体領域と近いものが選ばれた可能性があ る.また，正解率は 5 割でオラクルの評価値と比べ ると配置指定が正確にできているとは言えない.

微調整の結果 図 3 の生成画像の代表例を眺める と, 元の Stable Diffusion で生成した画像は, 図 3 の 1 行目の画像のように指示文の注目物体のみを大き なサイズで生成し，他のものを生成しない傾向があ る. 一方で，微調整したモデルで生成した画像は，図 3 の 2, 3 行目の画像のように指示文には存在し ない物体も生成する傾向があるため, 検出画像数や その他の位置評価の値に差が出た可能性がある。ま た，テキストエンコーダも含めて微調整しても評価値や生成内容に大きな差は見られなかった.

言語誘導係数 Stable Diffusion モデルで言語誘導係数を 15 に上げても表 3 の評価結果や目視で確認 した配置指定能力にも大きな差は見られなかった.一方で，目視で確認すると微調整したモデルの生成内容では指示文の注目物体を明確に生成する頻度が 増えた。これに関連して表 3 の微調整したモデルで の検出画像数の増加や IS の向上が生じたと考える.

今後の展望 表 3 の結果より, 微調整したモデル では生成画像の IS が減少した. この原因として, 微調整に使用した説明文画像ペアの内容の一致が十分 でないことが学習の際に悪影響した可能性がある. そして，説明文画像ぺアの内容を一致させるために は，説明文の作成時に画像内の物体の選び方を工夫 する余地がある．例えば，今回のように画像内の物体を一つ選ぶのみでなく全体的に画像内容と一致す るように複数選び出して説明文を作ることや，画像

図 3 生成画像の代表例. 指示文は位置指定ありの時, $「$ Sign is in the lower left. Sign is red.」. 位置指定なしの時, $「$ Sign is red.」. 右 2 列は言語誘導係数が各列で異なる.

内の最大の物体を選び説明文を作ることが考えられ る.また，配置指定として経験的に on やunder での 配置指定はできる傾向があったため，他の位置指定 によっては配置指定可能な余地がある.

## 5 おわりに

本稿では，一般に使われている Stable Diffusion の 生成内容の配置指定能力を調査した. 実験の結果か ら，今回調査した位置指定文では，指示文による配置指定が安直にはできないことを物体検出を用いた 独自の位置評価で定量的に明らかにした。

今後は，データセットや指示文の改良，モデル構造自体を変える必要性について調査していきたい。

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて 実施されたものである．本研究を進めるにあたり，有益な助言を頂きました東北大学岡谷研究室の菅沼助教へ，記して感謝いたします.

## 参考文献

[1] Ling Yang, Zhilong Zhang, Shenda Hong, Runsheng Xu, Yue Zhao, Yingxia Shao, Wentao Zhang, Ming-Hsuan Yang, and Bin Cui. Diffusion models: A comprehensive survey of methods and applications. CoRR, Vol. abs/2209.00796, , 2022.

[2] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron C. Courville, and Yoshua Bengio. Generative adversarial nets. In NeurIPS, 2014.

[3] Scott E. Reed, Zeynep Akata, Santosh Mohan, Samuel Tenka, Bernt Schiele, and Honglak Lee. Learning what and where to draw, 2016.

[4] Yu Zeng, Zhe Lin, Jianming Zhang, Qing Liu, John P. Collomosse, Jason Kuen, and Vishal M. Patel. Scenecomposer: Any-level semantic image synthesis. CoRR, Vol. abs/2211.11742, , 2022.

[5] Tobias Hinz, Stefan Heinrich, and Stefan Wermter. Generating multiple objects at spatially distinct locations. 2019.

[6] Nan Liu, Shuang Li, Yilun Du, Joshua B. Tenenbaum, and Antonio Torralba. Learning to compose visual relations. In NeurIPS, 2021.

[7] Tristan Sylvain, Pengchuan Zhang, Yoshua Bengio, R. Devon Hjelm, and Shikhar Sharma. Object-centric image generation from layouts. In AAAI.

[8] Stanislav Frolov, Prateek Bansal, Jörn Hees, and Andreas R. Dengel. Dt2i: Dense text-to-image generation from region descriptions. In ICANN, 2022.

[9] Justin Johnson, Agrim Gupta, and Li Fei-Fei. Image generation from scene graphs. In CVPR, 2018.

[10] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In CVPR, 2022.

[11] Bahjat Kawar, Shiran Zada, Oran Lang, Omer Tov, HuiTang Chang, Tali Dekel, Inbar Mosseri, and Michal Irani. Imagic: Text-based real image editing with diffusion models. CoRR, Vol. abs/2210.09276, , 2022.

[12] Rinon Gal, Yuval Alaluf, Yuval Atzmon, Or Patashnik, Amit H. Bermano, Gal Chechik, and Daniel CohenOr. An image is worth one word: Personalizing textto-image generation using textual inversion. CoRR, Vol. abs/2208.01618, , 2022.

[13] Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael Rubinstein, and Kfir Aberman. Dreambooth: Fine tuning text-to-image diffusion models for subject-driven generation. CoRR, Vol. abs/2208.12242, , 2022.

[14] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bern- stein, and Li Fei-Fei. Visual genome: Connecting language and vision using crowdsourced dense image annotations. International Journal of Computer Vision, Vol. 123, pp. 32-73, 2016.

[15] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In ICML, 2021.

[16] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In ICLR, 2014.

[17] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In MICCAI, 2015.

[18] Christoph Schuhmann, Romain Beaumont, Richard Vencu, Cade Gordon, Ross Wightman, Mehdi Cherti, Theo Coombes, Aarush Katta, Clayton Mullis, Mitchell Wortsman, Patrick Schramowski, Srivatsa Kundurthy, Katherine Crowson, Ludwig Schmidt, Robert Kaczmarczyk, and Jenia Jitsev. Laion-5b: An open large-scale dataset for training next generation image-text models. CoRR, Vol. abs/2210.08402, , 2022.

[19] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Joseph Le Bras, and Yejin Choi. Clipscore: A referencefree evaluation metric for image captioning. In EMNLP, 2021.

[20] Matthias Minderer, Alexey A. Gritsenko, Austin Stone, Maxim Neumann, Dirk Weissenborn, Alexey Dosovitskiy, Aravindh Mahendran, Anurag Arnab, Mostafa Dehghani, Zhuoran Shen, Xiao Wang, Xiaohua Zhai, Thomas Kipf, and Neil Houlsby. Simple open-vocabulary object detection with vision transformers. CoRR, Vol. abs/2205.06230, , 2022.

[21] Tim Salimans, Ian J. Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training gans, 2016.

[22] Jonathan Ho. Classifier-free diffusion guidance. CoRR, Vol. abs/2207.12598, , 2022.
表 4 作成データセットの詳細情報 : 各画像で選ばれた物体名の上位 10 位までの物体名とその個数.

 &  \\

表 5 微調整時の学習設定.

## 参考情報

実験の実装をするにあたっては，Hugging Face の diffusers ライブラリ1)を用いた. また，Stable Diffusion のモデルについても Hugging Face 上で公開 されているモデルを使用した2).

作成データセットの詳細情報 表 4 に作成データ セットの詳細情報として, 作成データセット内の各画像で選ばれた物体名の上位 10 位までの物体名と その個数を示す.

微調整時の学習設定値 表 5 に微調整時の学習設定値を示す.

画像生成時の設定値 表 6 に画像生成時の設定値 を示す。

評価指標一覧 以下に評価指標をまとめる.
- 検出画像数：画像の精細さや目的の物体を生成 できているかが関係すると考えられる。
- $\mathrm{IoU}_{\mathrm{all}}$ ：正解物体領域と代表物体領域の重なり 具合の指標. 最大値 1 . 生成画像数を分母に平均を取った值.
- IoU：正解物体領域と代表物体領域の重なり具合の指標. 最大値 1. 検出画像数を分母に平均 を取った值.
- D：正解物体領域中心と代表物体領域中心の距離. 検出画像数を分母に平均を取った値. 低い

1) https://github.com/huggingface/diffusers

2) https://huggingface.co/runwayml/stable-diffusion-v1-5表 6 画像生成時の設定値.

ほど良い.
- Acc：検出代表物体領域の中心座標を四象限分類したときの正解率. 検出画像数を分母に平均 を取った值.
- IS : 生成画像の識別しやすさと多様性を評価す る指標. 生成画像数を分母に平均を取った值.高いほど良い.


# 画像キャプションを介した脳活動からの視覚体験再構成

高木優 $1,2^{*}$ 西本伸志 1,2
1 大阪大学大学院生命機能研究科 2 情報通信研究機構
}

図 1：（左）脳活動からのキャプションを介した視覚再構成の概要図.（右）先行研究 [1] との比較
## 概要

ヒト脳活動から視覚体験を映像化する（視覚再構成）精度が，大規模自然画像データで学習した深層学習モデルを用いることで飛躍的に向上している.近年我々が提案した LDM（Latent Diffusion Model） を用いた手法 [1] は，LDM の潜在表現と脳活動との 間に線形モデルを構築するだけで高解像度の視覚再構成が可能なことを示した一方で，生成画像がぼや ける問題があった. 本研究では，脳活動から生成さ れた画像キャプションを介することで，高精細な再構成が可能となることを示す.また，キャプション 生成モデルの内部表現と脳との対応関係を探ること で，モデルの内部で視覚情報が意味情報へと動的に 変換されていく過程を定量的に示す.

## 1 はじめに

ヒト脳活動から視覚体験を映像化する（視覚再構成）精度が，大規模自然画像データで学習した深層学習モデルを用いることで飛躍的に向上してい る $[2,3,4,5,6,7,8]$. 特に近年我々が提案した fMRI (functional Magnetic Resonance Imaging) により取得 された脳活動データと LDM[9]（Stable Diffusion）を 用いた手法 [1] は，LDM で用いる画像・意味を表現 する潜在表現と脳活動との間にシンプルな線形モデ ルを構築するだけで，高解像度かつ意味的に妥当な

画像を出力できる。また，深層学習モデルと脳活動 との対応関係を探ることで，ブラックボックスであ る深層学習モデルを生物学的な観点から理解する研究も進んでいる $[10,11]$.

LDM は，入力文に対応した高精細な画像を出力 できる。 それら高精細な画像と比較して，脳活動か ら生成された画像はぼやけてしまう問題があった [1]. ここで興味深いことに, 脳活動から生成された 画像はぼやけてはいるものの，元画像の意味情報は よく表現している。このことは，離散的なテキスト 入力と対応する自然画像を用いて訓練された LDM が，意味潜在表現空間の全域で自然画像と対応して いるわけではない，もしくは部分的に滑らかではな く，脳活動からの推定に伴うノイズに対して脆弱な ことを示唆する。

我々は上記の観察を踏まえて，脳活動から画像の 意味潜在表現を予測する問題を，脳活動からの画像 キャプション生成問題へと置き換える。これによっ て，脳活動から連続値で推定されノイズを含む潜在表現を，ノイズの少ない離散的なテキストへと変換 する。そうして予測されたテキストをLDM の入力 に用いることで，高精細かつ意味的に妥当な画像を 出力できるという仮説を立てた.

本研究ではこの仮説を検証するために，大規模 データセットによって訓練されたキャプション生成 モデル [12]を利用する. 具体的には，視覚刺激提示中に fMRI から取得されたヒト脳活動を用いて提示
画像のキャプションを生成し，そのキャプションを 介した視覚再構成を行った (図 1). 提案手法は，先行研究に比べて高精細かつ意味的に妥当な画像を出力することができた. また，キャプション生成モデ ルと脳活動との対応関係を探ることで，モデル内で 視覚表現が意味表現へと変換される過程を定量的に 示した.

## 2 関連研究

## 2.1 脳活動デコーディング

fMRI データを用いた視覚再構成（デコーディン グ）は，ノイズが多くサンプル数も少ないため一般 に難しかった. だが近年，大規模自然画像で学習し た深層学習モデルを用いることで高精度な再構成が 可能となった $[2,3,4,5,6,7,8]$. これらの先行研究 では，fMRI データまたは fMRI 実験で使われた刺激を用いた複雑な深層学習モデルの訓練・ファイン チューニングを行う必要があった.

我々が提案した LDM を用いた手法 [1] は，LDM の潜在表現と脳活動との線形予測モデルを構築する だけで，高解像度かつ意味的に信頼度が高い視覚再構成ができることを示した. この手法は簡便かつ高精度な再構成を可能としたが，それでもなお，LDM にテキストを直接入力した場合に比べて画像がぼや ける問題があった。

本研究で我々は，脳活動から生成されたキャプ ションを介することによって上記の問題を解決す る. 脳活動からのキャプション生成について，限定的なデータで試みた研究は少数存在するが [13, 14],視覚再構成に利用した研究は存在しない. 今回我々 は，大規模データで訓練されたキャプション生成モ デル [12]を用いて，簡便な手法で脳活動からのキャ プション生成が可能なことを示す. 加えて，キャプ ションを介することにより視覚再構成の精度が向上 することを示す.

## 2.2 脳活動エンコーディング

深層学習モデルを生物学的観点から解釈するため に先行研究は, 深層学習モデルの異なる層から特徵量を抽出し，それぞれの特徴量から脳活動を予測す るモデル（エンコーディング）を構築してきた. 例 えば，畳み込みニューラルネットワーク（CNN）の 階層表現と，ヒトの視覚野の階層表現との対応など が示されてきた $[10,15,16,17,11,18]$.
CNN などの視覚系モデルと比べ，言語など高次機能に関わるモデルと脳との関連を探る研究は少な い [19]. 特に，キャプション生成モデルと脳との関係を調べた研究は存在しない. 本研究では，キャプ ション生成モデルの各構成要素と対応する脳活動を 探ることで，画像が言語情報へと変換されていく内部過程を生物学的観点から理解する.

## 3 提案手法

## 3.1 データセット

本研究では，Natural Scenes Dataset（NSD）を用い た [20]. ${ }^{1} \mathrm{NSD}$ は， 7 テスラの fMRI 内で各被験者が MS-COCO から選定された 10,000 枚の画像を 3 回繰 り返し見た際の脳活動データを提供している. 本研究では，全画像を視聴した 4 被験者 (subj01，subj02， subj05，および subj07）のデータのうち，公開され ている 27,750 試行をデータとして用いた. このう ち 2,770 試行（982 枚の画像に対応）は全被験者が 同一の画像を視聴しており，これらの試行をテスト データに，残りの試行（24,980 試行）を訓練データ に用いた。脳画像データとして，NSDが提供してい る前処理済の脳画像を用いた。関心領域（ROI）に は NSD が提供する視覚野を用いた。詳細は A. 1 を 参照.

## 3.2 脳活動を用いたキャプション生成

本研究では，キャプション生成モデルであ る BLIP[12]を用いて, 脳活動からのキャプショ ン生成を行う. BLIP は, 入力画像 $\mathbf{X}$ から Vision Transformer(ViT) 特徵量 $\mathbf{z}_{\mathbf{v}}$ を抽出し, そこから BERT[21]を利用した言語生成を行う (図 2 上段). 詳細はA. 2 を参照. 本研究では，脳活動から予測され た $\mathbf{z}_{\mathbf{v}}$ を用いてキャプションを生成する. 予測モデ ルの重みは $\mathrm{L} 2$ 正則化線形回帰を用いて訓練データ から推定し，その後テストデータに適用した. 生成 されたキャプションに関して，テキストベースの評価（BLEU-4）[22], テキストと画像の類似度による 評価 (CLIP[23]), 人手評価を行った. 人手評価では 6 人の評価者に対して，ランダムに抽出した他の画像のキャプションと比べてどちらが提示画像をよく 表しているかを回答させた $(\mathrm{N}=600$ 枚).
: / /$ naturalscenesdataset.org/
}

図 2: 提案手法の概要図.(上段) 本研究で用いるキャプショ ン生成モデル BLIP. (中段) 脳活動から生成されたキャ プションを利用した視覚再構成の概要. (下段) BLIP の内部表現と脳活動との対応関係を探るためのエンコーディ ング解析の概要.

## 3.3 脳活動を用いた視覚再構成

本研究は，我々が近年提案した LDM（Stable Diffusion）を用いた視覚再構成手法を用いた [1](図 2 中段). 先行研究ではまず，入力画像 $\mathbf{X}$ をオートエ ンコーダのエンコーダに通した出力である潜在表現 $\mathbf{z}$ を脳活動から線形モデルで予測した. 次に，画像に付随するテキストアノテーションを CLIP エン コーダに通し，その出力である潜在表現 $\mathbf{c}$ を脳活動 から予測した. 予測した $\mathbf{z}$ 及び $\mathbf{c}$ を LDM の逆拡散過程に通し再構成を行った。詳細は A. 3 及び A. 4 を 参照. 本研究では， $\mathbf{c}$ を脳活動から直接推定するの ではなく，脳活動から生成したキャプションを介す ることで推定する点が先行研究と異なる. 再構成画像に関して，画像べースの評価（CLIP）と，人手評価を行った. 画像べースの評価については, 先行研究による再構成画像と提案手法による再構成画像に ついて，提示画像との CLIP 類似度を比較した. 人手評価では， 6 人の評価者に対して，先行研究によ る再構成画像と提案手法による再構成画像のどちら が提示画像とよく似ているかを尋ねた $(\mathrm{N}=400$ 枚).

## 3.4 脳活動エンコーディングモデル

次に，BLIP の内部表現について定量的に解釈す るために，BLIP の各潜在表現と脳活動との対応関

a city street in the middle of the city a group of people on the street a group of people on the street a group of people walking down the street a clock on a wall a building with a clock on the top a building with a clock tower a clock on a wall

図 3: 脳活動から生成したキャプションの例. 各行は異な る被験者の脳活動から生成されたキャプション.

係を探った. そのために, BLIP で用いている ViT 特徴量 $\mathbf{z}_{\mathbf{v}}$ と BERT 特徴量 $\mathbf{z}_{\mathbf{B}}$ を用いて, それぞれか ら脳活動を予測するモデルを構築した (図 2 下段). また，BERT の中で視覚的な情報が言語的な情報へ と変換される過程を見るために， $\mathbf{z}_{\mathbf{v}}$ と $\mathbf{z}_{\mathbf{B}}$ の両方を 組み込んだ予測モデルも構築し，予測に対する $\mathbf{z}_{\mathbf{B}}$ の寄与度を検証した．全ての予測モデルは BERT の 各層ごとに構築し， $\mathbf{z}_{\mathbf{B}}$ の予測力が層を経るごとにど う変化していくのかを検証した。

予測モデルの重みは L2 正則化線形回帰を用いて 訓練データから推定し，その後テストデータに適用 した。評価には，予測 fMRI 信号と実際の fMRI 信号 のピアソン相関係数を使用した. 統計的有意性は, 2 つの独立な乱数間の相関を比較することによって 計算した. 統計的閾値は $P<0.05$ とし, FDR 法によ り多重比較補正を行った。

## 4 結果・議論

## 4.1 脳活動からのキャプション生成

図 3 に，全 4 名の被験者それぞれの脳活動を用い て生成したキャプションの例を示す. 被験者を通じ て, 提案手法はヒトの視覚体験をよく表現するキャ プションを生成できていることがわかる，次に定量評価の結果を表 1 に示す. テキストベース指標，画像べース指標，人手評価のいずれも，ランダムに選択された他のキャプションに比べて提案手法で生成 されたキャプションは画像をよく説明することが示 された.

表 1: キャプションの定量評価. 括弧内はチャンスレベル.

## 4.2 脳活動からの視覚再構成

図 4 に，キャプションを介して視覚再構成を行っ た場合と, 介さずに視覚再構成を行なった場合の生成画像の例を示す. 先行研究に比べ，キャプション を介した視覚再構成がより精細な画像を生成できて いることがわかる. 定量評価の結果，画像ベース指標の場合は $75.6 \%$, 人手評価の場合は $64.6 \%$ の割合 でキャプション生成を介した再構成画像が既存手法 による再構成画像よりも提示画像と類似していた.以上の結果より，キャプション生成を介した視覚再構成によって精度が高まることが示された。

図 4: 脳活動から生成したキャプション（各画像の下に 提示）を介した視覚再構成の例. 図は単一の被験者の例. その他の被験者の結果は図 B. 1 を参照.

## 4.3 エンコーディングモデル

図 5 に，単一被験者の脳活動を BLIP の潜在表現 から予測した結果を示す. どちらの特徴量も視覚野 （後頭部）をよく説明するが, ViT 特徴量 $\mathbf{z}_{\mathbf{v}}$ はより 後部の低次視覚野をよく説明し, BERT 特徴量 $\mathbf{z}_{\mathbf{B}}$ は より前部にある高次視覚野をよく説明した。また， BERT 内は高次層おど予測力が高く, キャプション 生成中期で最も説明力が高かった（図 6).

次に, BERT の階層表現と脳部位の対応を検証す るため， $\mathbf{z}_{\mathbf{v}}$ と $\mathbf{z}_{\mathbf{B}}$ を同時にモデルに組み込んだ場合 の $\mathbf{z}_{\mathbf{B}}$ の説明力の変化を探った. 図 7 は, 脳の各ボ クセルを最も高い精度で予測した BERT の層番号を 図示したものである. BERT 層が上がるに連れて，対応する脳領域も低次から高次へとシフトしてお り，意味的な情報が獲得されていくことがわかる.

図 5: BLIP 特徴量を用いて脳活動を予測した結果. 後頭初期視覚野を含む視覚野全般を予測する ViT (A) に比べ， BERT (B) は高次視覚野を中心に予測する。図は左右大脳皮質（上）およびその平面図（下）を表し，有意な予測を 示したボクセルのみ色を付与.

図 6: BERT 各層の表現を用いた視覚野活動予測精度の全 ボクセル平均值を生成初期・中期・後期に分けて図示.

## 5 結論

本研究では，ヒト脳活動から視覚体験を映像化す る手法について，脳活動から得られた意味情報をそ のまま特徵べクトルとして扱うのではなく一旦キャ プションに変換することで画像生成精度が高められ ることを示した．また，急速に発展している画像・言語生成モデルの内部表現に生物学的観点から定量的解釈を提供した.

図 7: BERT 各層表現の予測精度. 初期視覚野から高次視覚野へと予測力が高い領域がシフトしている. 有意な予測を示したボクセルのみ色を付与.

## 謝辞

本研究は JSPS 科研費 19H05725，JP18H05522，JST CREST JPMJCR18A5，およびERATO JPMJER1801の 助成を受けた。

## 参考文献

[1] Yu Takagi and Shinji Nishimoto. High-resolution image reconstruction with latent diffusion models from human brain activity. bioRxiv, 2022.

[2] Katja Seeliger, Umut Güçlü, Luca Ambrogioni, Yagmur Güçlütürk, and Marcel AJ van Gerven. Generative adversarial networks for reconstructing natural images from brain activity. Neurolmage, Vol. 181, pp. 775-785, 2018.

[3] Guohua Shen, Tomoyasu Horikawa, Kei Majima, and Yukiyasu Kamitani. Deep image reconstruction from human brain activity. PLoS Computational Biology, Vol. 15, , 2019.

[4] Guohua Shen, Kshitij Dwivedi, Kei Majima, Tomoyasu Horikawa, and Yukiyasu Kamitani. End-to-end deep image reconstruction from human brain activity. Frontiers in Computational Neuroscience, p. 21, 2019.

[5] Guy Gaziv, Roman Beliy, Niv Granot, Assaf Hoogi, Francesca Strappini, Tal Golan, and Michal Irani. Selfsupervised natural image reconstruction and large-scale semantic classification from brain activity. Neurolmage, Vol. 254, , 72022.

[6] Roman Beliy, Guy Gaziv, Assaf Hoogi, Francesca Strappini, Tal Golan, and Michal Irani. From voxels to pixels and back: Self-supervision in natural-image reconstruction from fmri. Advances in Neural Information Processing Systems, Vol. 32, , 2019.

[7] Lynn Le, Luca Ambrogioni, Katja Seeliger, Yağmur Güçlütürk, Marcel van Gerven, and Umut Güçlü. Brain2pix: Fully convolutional naturalistic video reconstruction from brain activity. BioRxiv, 2021.

[8] Sikun Lin, Thomas Sprague, and Ambuj K Singh. Mind reader: Reconstructing complex images from brain activities. Advances in Neural Information Processing Systems, 92022.

[9] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[10] Daniel LK Yamins, Ha Hong, Charles F Cadieu, Ethan A Solomon, Darren Seibert, and James J DiCarlo. Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the national academy of sciences, Vol. 111, No. 23, pp. 8619-8624, 2014.

[11] Umut Güçlü and Marcel AJ van Gerven. Deep neural networks reveal a gradient in the complexity of neural representations across the ventral stream. Journal of Neuroscience, Vol. 35, No. 27, pp. 10005-10014, 2015.

[12] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi. Blip: Bootstrapping language-image pre-training for uni- fied vision-language understanding and generation. arXiv preprint arXiv:2201.12086, 2022.

[13] Wei Huang, Hongmei Yan, Kaiwen Cheng, Chong Wang, Jiyi Li, Yuting Wang, Chen Li, Chaorong Li, Yunhan Li, Zhentao Zuo, et al. A neural decoding algorithm that generates language from visual activity evoked by natural images. Neural Networks, Vol. 144, pp. 90-100, 2021.

[14] Eri Matsuo, Ichiro Kobayashi, Shinji Nishimoto, Satoshi Nishida, and Hideki Asoh. Generating natural language descriptions for semantic representations of human brain activity. In Proceedings of the ACL 2016 student research workshop, pp. 22-29, 2016.

[15] Tomoyasu Horikawa and Yukiyasu Kamitani. Generic decoding of seen and imagined objects using hierarchical visual features. Nature communications, Vol. 8, No. 1 , pp. 1-15, 2017.

[16] Haiguang Wen, Junxing Shi, Yizhen Zhang, Kun-Han Lu, Jiayue Cao, and Zhongming Liu. Neural encoding and decoding with deep learning for dynamic natural vision. Cerebral cortex, Vol. 28, No. 12, pp. 4136-4160, 2018.

[17] Tim C Kietzmann, Courtney J Spoerer, Lynn KA Sörensen, Radoslaw M Cichy, Olaf Hauk, and Nikolaus Kriegeskorte. Recurrence is required to capture the representational dynamics of the human visual system. Proceedings of the National Academy of Sciences, Vol. 116, No. 43, pp. 21854-21863, 2019.

[18] Iris IA Groen, Michelle R Greene, Christopher Baldassano, Li Fei-Fei, Diane M Beck, and Chris I Baker. Distinct contributions of functional and deep neural network features to representational similarity of scenes in human brain and behavior. Elife, Vol. 7, , 2018.

[19] Ariel Goldstein, Zaid Zada, Eliav Buchnik, Mariano Schain, Amy Price, Bobbi Aubrey, Samuel A Nastase, Amir Feder, Dotan Emanuel, Alon Cohen, et al. Shared computational principles for language processing in humans and deep language models. Nature neuroscience, Vol. 25, No. 3, pp. 369-380, 2022.

[20] Emily J. Allen, Ghislain St-Yves, Yihan Wu, Jesse L. Breedlove, Jacob S. Prince, Logan T. Dowdle, Matthias Nau, Brad Caron, Franco Pestilli, Ian Charest, J. Benjamin Hutchinson, Thomas Naselaris, and Kendrick Kay. A massive $7 \mathrm{t}$ fmri dataset to bridge cognitive neuroscience and artificial intelligence. Nature Neuroscience, Vol. 25, pp. 116-126, 12022.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, $\mathrm{pp}$. 311-318, 2002.

[23] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

## A 手法

## A. 1 データセット

本研究では， Natural Scenes Dataset（NSD）が公開している前処理済み脳機能画像（解像度 $=1.8 \mathrm{~mm}$ ）を用いた. 前処理 には，スライス時間の差を補正する時間的リサンプリングと，頭部の動きと空間的歪みを補正する空間的補間が含まれて いる. NSD は, GLM で推定した 3 種類の単一試行ごとのベータ值を提供している. 本研究では, betasfithrfGLMdenoiseRR を使用した. 加えて NSD は，各被験者について複数の関心領域（ROI）を提供している．本研究では，streams アトラス に含まれる視覚野のうち， $\mathbf{z}_{\mathbf{v}}$ および $\mathbf{c}$ の推定には視覚野全体を, $\mathbf{z}$ の推定には初期視覚野を ROI として用いた. テスト データでは各画像について 3 試行の平均值を用いた. 訓練データでは，平均化せずに 3 試行をそのまま用いた.

## A. 2 キャプション生成モデル

本研究では，キャプション生成モデルとして BLIP[12]を用いた. fMRI データが刺激として MS-COCOを用いているこ とから，モデルは公式からリリースされている LAION-5B で訓練された Base モデル2を用いており，MS-COCO でファイ ンチューニングされたキャプショニングモデルは用いていない. 各種パラメータについて，繰り返しに対するペナル ティを 1.5 に設定し，その他はデフォルトの数值を用いた.

## A. 3 LDM (Latent Diffusion Model)

本研究では，StabilityAI 社がリリースした LDM である Stable Diffusion のバージョン 1.4 を用いた. Stable Diffusion は， テキストで条件付けた高精細な画像生成（text-to-image）を可能にする．LAION-5B のサブセットを用いて学習され， CLIP ViT-L/14 のテキストエンコーダーが用いられている.コード及びパラメータは著者らが提供しているコード及びデ フォルトパラメータを使用した. ${ }^{3}$

## A. 4 関連研究（Takagi and Nishimoto 2022）手法詳細

本研究では，我々が先行研究で行った LDM を用いた視覚再構成手法を用いた [1]. 以下，再構成手法の概要を述べる.

まず，初期視覚野の活動を用いて，提示画像 $\mathbf{X}$ をオートエンコーダーのエンコーダーに通した潜在表現 $\mathbf{z}$ を予測した.次に， $\mathbf{z}$ をデコーダーに通し， $320 \times 320$ の粗い画像 $\mathbf{X}_{\mathbf{z}}$ を生成し，さらに $\mathbf{X}_{\mathbf{z}}$ を $512 \times 512$ にリサイズした. 次に，リサイ ズした $\mathbf{X}_{\mathbf{z}}$ をエンコーダに通し，さらに拡散過程を通すことで，ノイズを付加した潜在表現 $\mathbf{z}_{\mathbf{T}}$ を作成した. 同時に，脳活動から生成したキャプションまたは視覚野全体から，CLIP エンコーダーの潜在表現 $\mathbf{c}$ を推定した. 最後に， $\mathbf{z}_{\mathbf{T}}$ と $\mathbf{c}$ を 用いて $512 \times 512$ の再構成画像を生成した. モデル構築には L2 正則化線形回帰を用い，すべてのモデルは被験者ごとに 構築された。重みは訓練データから推定し, 正則化パラメータは 5 分割交差検定を用いて訓練データ内で探索した.

## B 全被験者の視覚再構成結果

図 B.1: 全被験者の結果. 上段が提案手法, 下段が先行研究による再構成 [1]