# 視覚と言語の融合モデルにおける知識の振る舞いを調査する ための表と画像の生成タスクの提案及びその調査結果

上垣外英剛 1 林克彦 2 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 北海道大学
\{kamigaito.h,taro\}@is.naist.jp katsuhiko-h@ist.hokudai.ac.jp

## 概要

本研究では視覚と言語の融合タスクであるVision \& Language (V \& L) において，自然言語から獲得さ れたエンティティに関する知識がどのように V \& L モデルに保持されているかを検証するための新タス ク，表と画像の生成を提案する。このタスクはエン ティティと関連する画像からそれらに関する知識 を含む表を生成するタスクと，エンティティとキャ プション及び関連する知識を含む表から画像を生成するタスクの二つで構成される. 我々は提案タス ク遂行のためのデータセットを英語版 Wikipedia の Infobox から作成し, 複数タスクで最高精度を達成 している V \& L モデル OFA で上記の検証を実施し た.その結果，OFA はエンティティに関する知識の 一部を事前学習時に忘却しており，それらの補完は 良質な画像の生成に寄与することが判明した.

## 1 はじめに

近年，視覚と言語の融合タスクであるVision \& Language (V \& L) ではキャプション生成 [1] やテキ ストからの画像生成 [2] に代表されるような大きな 成功を収めている。この進展の背景には大規模デー タにより事前学習された事前学習済み V \& L モデル が存在している [3].

事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルにおいて，入力に対し て適切なキャプションや画像を生成するためには，事前学習済み V \& L モデルが生成対象の特徴に関す る知識を事前に保持している必要がある $[4,5]$. 現在，これらのモデルにおいて特にエンティティに関 する知識は，自然言語処理で利用されている事前学習済み言語モデルのパラメータを引き継ぐことで，間接的に Wikipedia などのデータ資源を利用するこ とで保持されている。このようにして V \& L モデル に引き継がれた知識は，視覚と言語を横断したデー

図 1 Wikipedia 記事中に含まれる Infobox の例 ${ }^{11}$. 本研究 では Infobox 中の画像及び表の箇所を生成することで，V \& L モデルの検証を行う.

タセットによって追加の学習を行うことで画像に関 する表現と対応付けられる $[6,7,8,9,10]$.

この学習過程において，自然言語から獲得された 知識は事前学習済み V \& L モデルの内部に適切に保持されているのか，あるいは画像の持つ特徵と組み 合わせられることにより補強されているのかという 問いは事前学習済み V \& L モデルにより生成可能な 対象の限界を知る上での重要な疑問である。

本研究ではそのような疑問を解消するために英語版 Wikipedia の各記事に含まれている Infobox を対象 データとした，表と画像の生成タスクを提案する.図 1 に本研究が対象とする Infobox の例を示す.こ の例に示されているように，提案タスクでは，表ま たは画像を生成する。いずれの場合においても適切 に生成するためには，モデルが生成対象のエンティ ティに関する知識を把握していなければならない。

我々は提案タスクを遂行するために必要なデータ セットを約 20 万件からなる Infobox を収集すること で構築した. さらに我々は現在様々な V \& L タスク


図2OFAの学習過程. 本研究では事前学習時に Wikipedia から獲得されたエンティティに関する知識がど のように OFA に残されているのかを調査する.

で最高精度を達成している事前学習済み V \& L モデ ルである OFA [10]を用いた検証を行った.

検証の結果，表の生成において，自然言語から獲得された知識の一部は V \& L モデルにおける追加学習により消失することが判明した。また画像情報の 利用により自然言語のみでは獲得されていなかっ た，エンティティが含む情報の種類に関する知識を 新たに獲得していることが判明した。

画像生成においては，表に含まれる知識を利用す ることでより正確な画像を生成できることが明らか になった．また，自然言語だけで学習されたモデル により推測された知識を利用することで生成される 画像の多様性を向上させることが可能であることも 判明した。

## 2 Vision \& Language モデル

様々なタスクで最高精度を更新している事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルの多く $[6,7,8,9,10]$ は自然言語及 び画像における事前学習済みモデルの重みを引き継 いだ上で，自然言語と画像を横断したデータでの学習を行っている. 本研究ではこのような学習過程を 経て，自然言語を対象とした事前学習済みモデルに 含まれていた知識がどのように変容するのかを検証 する。なお，検証の対象としては複数の V \& L タス クで最高精度を達成している OFAを選択する。

図 2 にOFA のネットワーク構造と各タスクとの関連を示す. ${ }^{2}$ OFA ではデコーダ上で VQGAN [11] に より画像を離散系列に変換して扱うことにより画像生成, 自然言語生成を同一の Transformer [12] で行っ ている。また，この Transformer は BART [13] の重み を用いて初期化されるため，OFA には Wikipedia な どの自然言語から獲得される知識が含まれているこ とが期待できる．なお，エンコーダではデコーダと

2）各学習過程で使用されているデータセットの詳細について は付録 Aに記す。

表 1 各タスクの概要。それぞれの用語が指す Infobox 中 の部位については図 1 を参照.

Alternative names|Fish supper / Fish 'n' chips<>Course|Main dish<>Place of origin|England<>Region or state|Northwestern Europe $<>$ Serving temperature $\mid$ Hot $<>$ Main ingredients $\mid$ Battered and fried fish with deep-fried chips

図 3 直列化された表の例.この例は図 1 の表を直列化し たものである。

異なり画像を直接扱うために，BART から引き継い だ埋め込み層に加え, ResNet [14] の出力を画像の埋 め込みとして使用している。

## 3 提案タスク: 表と画像の生成

本節では V \& L モデルにおける知識の振る舞いを 検証するための二つのタスク，表の生成と画像の生成についての説明を行う。いずれのタスクについて も Wikipedia 記事中の Infobox に基づく. Infobox は Wikipedia 本文の情報に対応しているため3)，事前学習済み $\mathrm{V}$ \& L モデルが記憶している Wikipedia 中の 知識を検証する上で適している。次節以降でそれぞ れのタスクの詳細についての説明行う。

## 3.1 表の生成

表の生成タスクにおいて，対象となる V \& L モ デルは入力された Infobox のタイトルとしてのエン ティティまたはそれに画像を結合した入力から表を 生成する．表の生成に関しては説明文からの表の生成 [15] と同様に，表をテキストで直列化することで 行う．我々の設定では，事前学習時の辞書に含まれ るトークンを流用するために，列の区切り文字|と 行の区切り文字く>を用いて図 3 のように直列化さ れる. 対象となるモデルの検証はこのような直列化 されたテキストを直接生成することによって行われ る. 検証については次のような設定を用いて行う。

タイトルのみからの生成 事前学習済み V \& L モ デルと自然言語のみで学習された事前学習済みモデ ルにおいて，タイトルのみから生成した表を比較す ることで，V \& L モデルが保持している自然言語の みを対象としたエンティティに関する知識を検証 する。

画像を含む入力からの生成 画像を含む入力から 表を生成し，その結果をタイトルのみを入力とした 場合の結果と比較する。これにより，画像を考慮す ることで $\mathrm{V} \& \mathrm{~L}$ モデルが新たに獲得した知識につい てを検証する。

評価尺度検証のための比較に際しては生成され た表が実際のものにどれほど近いかを測ることによ り行うため，次のような評価尺度を用いる。

ROUGE: 直列化された表はテキストデータであり， かつ Infobox は本文に対する要約の役割を担ってい ることから，自動要約の評価に使用されることが多 いROUGE [16] を使用する。なお，ROUGEでの評価 においては文字列の連なりが行や列に制限されない よう，列の区切り文字|と行の区切り文字く>をス ペースに変換した上で行う.

Macro-F F $_{1}$ : 表の構造を考慮した評価を行うために， セルを種類毎に分けた上で参照となる表に対する一致を各事例毎に $\mathrm{F}_{1}$ 値によって評価し, 平均化する. なお，一致を計算する際には，同一のセルが繰り返 して出力されることによるスコアの増大を防ぐため に，ROUGE の計算に使用されているクリッピング を適用する。セルの種類については下記のように分 けて評価する。

- グループ: Infobox 中の表はグループに分けられる ことがあり，各グループの最初の行がグループ名を 表すへッダとなっている. グループ名に対する予測 の精度は，モデルがエンティティに対しどのような 側面での知識を持っているかを検証する上で重要で ある.

一ヘッダ: Infobox 中の 2 列以上の列からなる各行の 先頭は通常，その同じ行で後続するセルのへッダと なっている. 従って，グループ名と同様の理由で ヘッダへの予測精度は重要である.

- 值: Infobox 中の 2 列以上の列からなる各行の 2 列 め以降のセルはへッダに対応する值を持っている.従って，値への予測精度はモデルがエンティティに 対して詳細な知識を保持しているかを知る上で重要 である。なお評価時にはへッダとグループへの対応関係を考慮するために，対応するグループ名とへッ ダを值と合わせた 3 つ組として扱う。

Micro- F $_{1}$ : 上記の Macro- $\mathrm{F}_{1}$ では事例毎に計算を行う ため，モデルがどれだけ多様な知識を出力している かを評価することが困難である．この問題を解決す るために，事例全体を横断してセルを共有し，一括 で $\mathrm{F}_{1}$ 值を計算する.

表 2 各データセットのサイズ.

## 3.2 画像の生成

画像の生成タスクでは，モデルは Infobox のタイ トルとキャプションまたは追加的に表を入力とし，対応する画像を生成する．検証については下記のよ うな設定に基づいて実施する。

タイトルとキャプションからの画像の生成 画像生成に最低限必要な入力を用いることで，他のデー タセットと比較した際の生成の難しさを検証する。

タイトルとキャプションと表からの画像の生成表を含めた上で画像を生成し，その結果を上記の表 を入力しない際の設定と比較することで，エンティ ティに関する知識が画像生成に与える影響について 調査する。

評価尺度 画像生成の評価については現状で広く 使われている下記の三つを使用する。

CLIP: 入力テキストと生成画像の関連度を測る尺度. 事前学習済み V \& L モデルである CLIP [17] に よって推測される.

Inception Score (IS): それぞれの画像の差異を識別乙易い，多様な画像が生成されていることを測 る尺度 [18]. 事前学習済み画像分類モデルである Inception-v3 [19] によって推測される.

Frechet Inception Distance (FID): 生成画像が参照画像にどれだけ近いかを測る尺度．IS と同様に Inception-v3 によって推測される. 低いほど良い.

## 4 データセットの作成

データセットは英語版 Wikipedia の HTML ダンプ データ4)から Infobox を抽出することで作成した。生成対象の形式を揃えるため，抽出対象の Infobox は図 1 のように，一行目にタイトルを，二行目に画像を含むものに限定した。また，対象とする画像は jpeg 及び png 形式のものに限定した。なお，一部の キャプションについてはタイトルを含んでいない ため，そのような事例に関してはハイフンを用いて キャプションの先頭にタイトルを結合した.

表 2 に各データセットのサイズを示す。なお，両 タスクでデータセットサイズが異なるのは一部の


表 3 表の生成における各設定の結果. 太字は最も高いスコアを，个はスコアが高いほど良い結果であることを示す.

表 4 画像の生成における各設定の結果. 」はスコアが低 いほど良い結果であることを示す. その他の表記につい ては表 3 と同様.

Infobox がキャプションを含まないためである5).

## 5 検証

## 5.1 表の生成

設定 比較対象のモデルとして事前学習済み $\mathrm{V}$ \& L モデルである OFA と自然言語のみで事前学習さ れた BART を選択した. 両モデルともに base モデ ルの重みを使用した。ハイパーパラメータについて は OFA の論文で報告されているものを使用した6)

結果 表 3 に表の生成における各設定の結果を示 す. タイトルのみを入力とした際には，BART の結果が OFA よりも高いことから, 自然言語から獲得 された知識の一部は V \& L モデルにおける追加学習 により消失することが分かる. また画像情報の利用 によりへッダに対する Macro-F $F_{1}$ が改善されること から，画像を利用することでエンティティがどのよ うな種類の特徴を持つかという知識が補強されるこ とが分かる. その一方， セルの值に対する $\mathrm{F}_{1}$ が改善されないことから，画像から得られる情報は自然言語から獲得された各へッダに対応する值のような 詳細な知識を補うものではないことが分かる。

## 5.2 画像の生成

設定 表の生成と同様に，比較対象のモデルとし て事前学習済み V \& L モデルである OFA を選択し た. 表を入力する際には参照 (Gold), $\S 5.1$ の出力結

5）データセットの詳細は付録 $\mathrm{B}$ に記載.

6）付録 C. 1 に実験設定の詳細を記載果のそれぞれを使用した。重みについては base モ デルを使用した. ハイパーパラメータについては OFA の論文に記載されているものを使用した7).

結果 表 4 に画像の生成における各設定の結果を 示す.この結果は CLIP の値では MS COCO [20] に おける画像生成の結果 [10] と近しいため, 作成した データセットのモデル学習における使用は妥当であ ると考えられる．また，表 (Gold) を入力することに よりいずれの評価尺度も改善されていることから， エンティティに関する知識を補完してモデルに与え ることにより，より質が高い画像が生成されること が分かる. この結果は OFA において Wikipedia に含 まれるエンティティに関する知識が十分に保持され ていないことを示している.

また，自動生成された表を与えた場合には CLIP 及び FID における性能の改善は確認できない。一方 でBART により自動生成された表を使用することで IS については改善していることから，自動生成され た表を用いることで出力画像の多様性が改善される ことと，質が高い画像生成のためには表の予測精度 が重要であることが分かる.

## 6 まとめ

本研究では事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルに含まれて いる，自然言語のみから学習されたエンティティに 関する知識が言語と画像を用いた追加学習を経てど のように保持されているかを検証した。

検証は英語版 Wikipedia から 20 万件の Infobox を 抽出し，それらに含まれている画像と表を生成する ことで実施した。

事前学習済み V \& L モデルである OFA を対象と した実験の結果，上記の知識は事前学習時に忘却さ れており，画像情報がその知識を完全に補っている わけではないことが示された。また画像生成におい てはそれらの知識を適切に補うことで，より良質な 画像が生成可能なことも示された. なお，本研究で 使用したコードとデータセットは公開予定である.

7）付録 C. 2 に実験設定の詳細を記載

## 謝辞

本研究は JSPS 科研費 JP21K17801 の助成を受けた ものです.

## 参考文献

[1] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 2048-2057, Lille, France, 07-09 Jul 2015. PMLR.

[2] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, and Honglak Lee. Generative adversarial text to image synthesis. In Maria Florina Balcan and Kilian Q. Weinberger, editors, Proceedings of The 33rd International Conference on Machine Learning, Vol. 48 of Proceedings of Machine Learning Research, pp. 1060-1069, New York, New York, USA, 20-22 Jun 2016. PMLR.

[3] Yifan Du, Zikang Liu, Junyi Li, and Wayne Xin Zhao. A survey of vision-language pre-trained models. In Lud De Raedt, editor, Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence, IJCAI-22, pp. 5436-5443. International Joint Conferences on Artificial Intelligence Organization, 7 2022. Survey Track.

[4] Tian Yun, Chen Sun, and Ellie Pavlick. Does vision-and-language pretraining improve lexical grounding? In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 4357-4366, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, pp. 565-580, Cham, 2020. Springer International Publishing.

[6] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for visionand-language tasks. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[7] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei, and Jifeng Dai. Vl-bert: Pre-training of generic visual-linguistic representations. In International Conference on Learning Representations, 2020.

[8] Gen Li, Nan Duan, Yuejian Fang, Ming Gong, and Daxin Jiang. Unicoder-vl: A universal encoder for vision and language by crossmodal pre-training. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 07, pp. 11336-11344, Apr. 2020.

[9] Jaemin Cho, Jie Lei, Hao Tan, and Mohit Bansal. Unifying visionand-language tasks via text generation. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 1931-1942. PMLR, 18-24 Jul 2021.

[10] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th Inter- national Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 23318-23340. PMLR, 17-23 Jul 2022.

[11] Patrick Esser, Robin Rombach, and Björn Ommer. Taming transformers for high-resolution image synthesis, 2020.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2016.

[15] Xueqing Wu, Jiacheng Zhang, and Hang Li. Text-to-table: A new way of information extraction. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2518-2533, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[16] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[17] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 8748-8763. PMLR, 18-24 Jul 2021.

[18] Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, Xi Chen, and Xi Chen. Improved techniques for training gans. In D. Lee, M. Sugiyama, U. Luxburg, I. Guyon, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 29. Curran Associates, Inc., 2016.

[19] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826, 2016.

[20] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar, and C. Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server, 2015.

[21] Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The pile: An $800 \mathrm{gb}$ dataset of diverse text for language modeling, 2021.
表 5 OFA の事前学習に使用されているデータセットの一覧.

 & CC12M, CC3M, SBU, COCO, VG-Cap \\

## A OFA で使用されているデータ セットの詳細

OFA の事前学習では，言語，画像，言語と画像の 各モダリティにおいて表 5 のように様々なデータ セットが事前学習タスクのために使用されている. なお，表 5 に記載の Pile [21] には，英語版 Wikipedia の情報が $1.53 \%$ 含まれている。従って, OFA の事前学習では V \& L タスクに重きが置かれているもの の, 自然言語データから獲得された知識が忘却され ないための工夫はなされていると理解できる.

## B 作成したデータセットの詳細

Wikipedia HTML ダンプデータでは Wikipedia の 各記事が HTML 形式で収録されているため, BeautifulSoup ${ }^{8}$ を用いることで Infobox を抽出した. なお Infobox 中には [数字] といった形式で本文記事 の参考文献へのリンクが含まれているため，それら は削除した。

表の生成において, 入力用の画像については短辺 が 480px を超える場合には縦横比を維持して短辺を 480px に縮小した. また, 画像生成用の画像は縦横比を維持して元の画像の短辺を $256 \mathrm{px}$ に変更し, 中央部を両辺 256px の正方形でクロップした.

なお，公開用データでは小規模なモデルから大規模なモデルまでの性能を測ることができるよう，表 の生成では画像の短辺を $256 \mathrm{px}, 384 \mathrm{px}$ までとした データセットも作成した. 同様に画像生成では画像 の両辺を $128 \mathrm{px}$ としたデータセットも作成した.収集したデータの分割は，今後の拡張とデータの 混同に配慮し，タイトルの SHA256 值を 20 で割っ た余りが 0 であればテストデータ，1 であれば開発 データ，それ以外であれば訓練データとした。

データセットのサイズや抽出対象については本文

8) https://www.crummy.com/software/BeautifulSoup/bs4/ doc/
を参照していただきたい.

## C 実験設定の詳細

両タスク共に OFA の実装には著者らが公開して いる実装9)を改変して使用した. 公開されている OFA では最大トークン長を決定する際にスペースで 分割した後の単語数をトークン長としているため, BART などに合わせ，最大トークン長をサブワード で指定できるように変更した．なお，表の生成，画像の生成ともに我々は入力・出力共に最大長を 1024 サブワードに設定した. また，モデルとデータセッ トの特性を調査する観点から，学習は最尤推定のみ で行い，強化学習については実施していない。

## C. 1 表の生成

BART と OFA の性能比較が実装の違いにより不公平とならないよう，BART の重みパラメータを OFA から引き継ぎ，OFA 上でBARTを動作させた. 学習時のハイパーパラメータはタイトルからの生成では OFA の自動要約における設定を引き継ぎ，画像を含 む生成の際には OFA のキャプショニングにおける 設定を引き継いだ。なお，公平な比較のために，推論時の設定は全てキャプショニングの設定に合わせ た. 実験は全て 4 枚の RTX 3090 で行った.

## C. 2 画像の生成

基本的には OFA で使用されているハイパーパラ メータを引き継いだが，学習時間の関係で，各エ ポック終了後の開発データにおける画像生成時の ビーム幅は 1 とした. なおテスト時は元の設定と同様ビーム幅 24 を使用している. 表を使用する際に は，入力の末尾に区切り文字く>で結合して使用し た. 実験は全て 4 枚の RTX A6000 で行った.

 上垣外英剛 1 林克彦 2 渡辺太郎 1 1 奈良先端科学技術大学院大学 2 北海道大学 \{kamigaito.h,taro\}@is.naist.jp katsuhiko-h@ist.hokudai.ac.jp  