# 校歌のための歌詞作成支援システムの開発

重藤優太郎 ${ }^{1,2}$ 西田典起 ${ }^{1}$ Shanshan $^{2} \operatorname{Liu}^{1} \quad$ 松本裕治 ${ }^{1}$
森田敏生 ${ }^{3}$ 中村伊知哉 4 石戸奈々子 4
1 理化学研究所 AIP 2 千葉工業大学 STAIR Lab
3 総和技研 $4 \mathrm{iU}$ 情報経営イノベーション専門職大学 B Lab
shigeto@stair.center \{noriki.nishida,shanshan.liu,yuji.matsumoto\}@riken.jp
morita@sowa.com nakamura@ichiya.org nanako@ishido.org

## 概要

本論文では, 校歌のための歌詞作成支援システム を紹介する. 前提として, システム単独で歌詞を生成 する (完成させる) というよりは, ユーザとのやりと りを通して歌詞を完成させること (作詞の支援)を想定している. そのため, システムによる歌詞の生成と ユーザの編集を交互に行えるように設計した. 校歌 の特徵として,(ユーザが希望した場合) 学校名を歌詞に含めることが要求されるので, 制約付きデコー ディングによってこれを実現した.

## 1 はじめに

理化学研究所 AIP および iU 情報経営イノベー ション専門職大学 B Lab が共同で取り組んでいる 「超校歌〜AI がつくるみんなの校歌〜」プロジェク ト1)では, AI 技術を用いて, 価㯰観が多様化する時代 に相応しい, 進化する校歌のあり方を検討している. この取り組みの一環として, 校歌のための歌詞作成支援システムを開発した. 本論文では, 今回開発した 歌詞作成支援システムの紹介を行う。

本システムは, 校歌の歌詞作成支援を目的として おり,特に作詞経験の少ないユーザの支援を想定し ている. 作詞経験が少ないユーザにとって, ゼロから 歌詞を作ることは難しいと思われる。一方で, 原案と なる歌詞が提示された場合, それを編集し, 完成を目指すことは比較的容易である. 本システムでは, 原案を提示することによって, 経験が少ないユーザで あっても作詞に簡単に取り組めるようになる (と期待している).

これを踏まえた上で, 以下の 4 点をシステムの要件とした。

・システムが原案となる歌詞を提案できる。

・ユーザが提案された歌詞を自由に編集できる。

・システムが, ユーザの編集に基づいて, 歌詞を再生成 (修正)することができる.

・生成する歌詞に関する制約条件を入力できる。

この要件を満たすためには, 歌詞生成器を開発す る必要がある. 本システムでは, キーワード (歌詞の 雰囲気を表現する単語など) と学校の種類 (幼稚園・保育園, 小学校, 中学校, 高校, 大学のうち, どの区分 の校歌を生成するか) がユーザによって入力される ことを前提としている.さらに, ユーザが希望した場合, 特定の単語 (やフレーズ) を必ず歌詞に含めると いった制約を付け加えることができる. 本システム では,これらの情報から歌詞を生成する。

歌詞生成と一般的な言語生成を比較した場合, 歌詞生成固有の問題として, 上述した特定の単語を必 ず歌詞に含める制約の他にも, 韻やモーラ数などに 関する制約が考えられる. 本論文では特定の単語 (学校名 $\left.{ }^{2}\right)$ を歌詞に含めることのみを取り扱い, 残りの 問題 (韻とモーラに関する制約) は今後の課題とし た. 以後,「学校名制約」と記述した場合, 学校名を歌詞に含めるか否かに関する制約を指すことにする。

## 2 校歌歌詞作成支援システム

本システムでは, ユーザとのやりとりを通して歌詞を完成させること (作成の支援)を目指している. これを実現するため, システムによる歌詞生成と ユーザの編集を交互に行えるように設計した. 具体的には, 以下の手続きによって歌詞を作成する.

1. ユーザがキーワード (歌詞の雾囲気を表現する 単語など) や学校の種類 (幼稚園・保育園, 小学

2）地名などを指定することも考えられるが, 本研究では学校名のみを対象とした。
歌詞に入れたい単語

## 生成再生成

生成された歌詞

キーワード

## 歌詞の種類

大学

図 1 ユーザインターフェース.

校, 中学校, 高校, 大学のどれか), 学校名制約 (学校名を歌詞に含めるか否か)を入力する

2. システムがユーザの入力に基づき原案となる歌詞を生成する

3. ユーザが生成された歌詞を編集する

4. システムがユーザの編集に応じて歌詞を再生成 (修正)する

5. 3-4を繰り返す

まずはじめに, システムのユーザインターフェー スと歌詞生成器を説明し, その後, 実際にシステムを 用いて作成した歌詞の例を示す.

## 2.1 ユーザインターフェース

図 1 に開発したシステムのインターフェースを示 す.このシステムには, 2 個のテキストボックスと 1 個のプルダウン型選択メニュが準備されている. 各 テキストボックスには, 歌詞に含める単語 (学校名) と歌詞の雰囲気を表すキーワードを入力することが できる.プルダウンは学校の種類 (幼稚園・保育園,小学校, 中学, 高校, 大学) を選択することができる. ユーザが,これらの情報を入力し, 生成ボタンをク リックすることで, システムが歌詞を生成する. 生成 された歌詞は右のテキストボックスに表示される. ユーザはこの歌詞を自由に編集することができる.編集後, 再生成ボタンをクリックすることで, 編集箇所より後ろの歌詞をシステムが再生成 (修正) する. この再生成時には, ユーザの入力 (テキストボックス とプルダウン) も反映されるため, 歌詞の途中から キーワードや学校の種類を変更することもできる.

## 2.2 歌詞生成器

本論文で取り扱う歌詞生成は, ユーザの入力 (キー ワード, 学校の種類, 学校名制約) から歌詞を生成す
るタスクである.これは, 言語生成タスクの 1 種だと 考えることができる. 近年の言語生成においては, エ ンコーダ・デコーダモデルを採用することが主流で あり，その有効性が種々の言語生成タスクにおいて 報告されている $[1,2,3]$. このような背景から, 本研究においてもエンコーダ・デコーダモデルを用いて 歌詞の生成を行う. 具体的には, キーワードと学校の 種類を特殊記号 [SEP] で連結したものをエンコーダ に入力し, デコーダによって歌詞を生成する. 再生成時 (ユーザが歌詞を編集した場合) には, 歌詞の先頭 からユーザが編集した箇所までをデコーダの出力と して固定し, 後続 (続き)の歌詞を生成する。

ユーザが歌詞に含めたい単語 (学校名)を指定し た場合, デコーディングは制約付き生成問題とな る. 制約付き生成問題は, 制約を必ず満たす方法 $[4,5,6,7,8]$ と必ずしも満たさない (が満たされや すくなるように工夫をする) 方法 [9] の 2 種類のア プローチが存在する. 本システムにおいては, 学校名が指定された場合, その指定された学校名を歌詞 に必ず含めることが望ましいので, 前者のアプロー チを採用する. 具体的には, 制約付きビームサーチ $[4,5,6,7]$ を利用する.

当然ではあるが，ある学校の歌詞を考える場合，そ の歌詞に他の学校の名前が含まれることは考えにく い (例えば，千葉工大の校歌を考えた場合，「iU 情報経営イノベーション専門職大学」が歌詞に含まれる ことは考えにくい). 一方で, 学校名を歌詞のどこに 配置するかには, なんらかのパターンが存在してい ることが予想される (実際, 多くの校歌において, 歌詞の最後に学校名を配置する傾向があることを観測 している). そのため, 学校名制約が課されている場合, 歌詞生成器が学習すべきものは, 学校名 (の文字列) 自体ではなく, どこに学校名を配置するかとい う点だと考えられる.これを実現するため,データ の前処理として, 各歌詞に出現する学校名を特殊記号 [NAME] に置換した. これによって, 学校名の表層情報を削除し，位置情報のみ(どこに配置すればよ いか) をモデルに学習させる. 生成時には, 制約付き ビームサーチによって [NAME] を含む系列 (歌詞)を 探索する. 後処理として, 生成された歌詞に含まれる [NAME] を実際の学校名 (ユーザの入力) に置換する.図 2 に具体例を示す.

キーワード: 習志野, 若草

学校の種類: 大学

学校名制約: 千葉工大

入力:

大学 $[\mathrm{SEP}]$ 習志野_若草

習志野は 若草もえて 潮風に匂へる希望見よこの大地この青空を 学びの野 はてなく広く 真理の陽 燦と輝けり 工大 工大 [NAME]

習志野は 若草もえて 潮風に匂へる希望見よこの大地この青空を 学びの野 はてなく広く 真理の陽 燦と輝けり 工大 工大 千葉工大

図 2 歌詞生成手続きの例. 特殊記号 [NAME] (オレンジ色) を生成し, 後処理で学校名 (青色)に置換する.

幼稚袁・保育

制約: X幼稚園

人力:

今日は何して遊ほつか

元気な歌声 広がる丘

明るくて笑顔あふれる丘

いつも一緒に遊ぼうか

あそぼーいわたしの園

風はさわやかにみんなで手をつなぎ

楽しい幼稚園が いつぱいあるよX幼稚園

明るいお空にみんなで手をつなぎ

今日は何して遊ぼうか

あそぼーいわたしの園

元気な歌声 広がる丘明るくて笑顔 あふれる丘 いも一緒に遊ぼうか あそぼーいわたしの園

風はさわやかにみんなで手をつなぎ 楽しい幼稚園がいっぱいあるよ X幼稚園

明るいお空にみんなで手をつなぎ 今日も明日もいっぱい遊ぼうよ 雨でも晴れでも

元気な歌声が あふれる丘に みんなで手を取り合って 仲良く歩もうよ X幼稚園

明るいお空にみんなで手をつなぎ 今日も明日もいっぱい遊ぼうよ 楽しい幼稚園

元気な歌声があふれる丘に X幼稚園

図 3 システムの使用例: システムの生成 (青色) とユーザの編集 (オレンジ色)を交互に繰り返すことができる.

表 1 実験で使用したデータの曲数と歌詞の文字数.

## 2.3 デモンストレーション

図 3 に, 本システムの使用例を示す.これまで説明 した通り,システムによる歌詞の生成とユーザによ る編集を交互に繰り返すことで, 作詞に取り組むこ とができる. 編集および再生成によって, 後続 (オレ ンジ色の後)の歌詞が変化することがわかる.

## 3 歌詞生成器の性能評価

本システムで用いた歌詞生成器の性能を報告 する。

## 3.1 実験設定

本実験では, 校歌 767 曲からなるデータを使用し た.このデータは, 幼稚園・保育園 (47 曲), 小学校歌詞

\author{
習志野は 若草もえて \\ 潮風に匂へる希望 \\ 見よこの大地この青空を \\ 学びの野はてなく広く \\ 真理の陽 燦と輝けり \\ 工大 工大 千葉工大
}

前処理後

習志野は若草もえて

潮風に匂へる希望

見よこの大地この青空を

学びの野 はてなく広く

真理の陽 燦と輝けり

丁大工大 $[\mathrm{NAME}]$

図4 データの前処理: 学校名の置換 (オレンジ色) とキー ワードの抽出 (青色).

(176 曲), 中学校 (179 曲), 高校 (192 曲), 大学 (173 曲) の校歌で構成されており,各曲は歌詞とメタ情報 (キーワード, 学校の種類, 学校名制約) のぺアになっ ている.このデータをランダムに分割し, $80 \%(611$曲) を訓練用に, $10 \%$ (77 曲) を開発用, 残り (79 曲)を 評価用のデータとした. 本実験で使用したデータの 統計情報を表 1 に示す。

実際のシステム運用時には,メタ情報はユーザに よって入力されることを想定しているが, 性能評価 を簡便に行うため, 以下の方法でメ夕情報を準備し た. 歌詞から名詞, 形容詞, 副詞を抽出し, それらを キーワードとした. 学校の種類は, 実際の種類 (幼稚園・保育園, 小学校, 中学校, 高校, 大学のうちのど れか)を使用した (例えば,千葉工大の校歌の場合，

1エポック目

キーワード: 習志野, 若草

学校の種類: 大学

学校名制約: 千葉工大

入力:

大学 $[\mathrm{SEP}]$ 習志野_若草

## 2エポック目

キーワード: 習志野, 潮風, 希望

学校の種類: 大学

学校名制約: 千葉工大

入力:

大学 $[\mathrm{SEP}]$ 習志野潮風_希望

\author{
習志野は若草もえて \\ 潮風に匂へる希望 \\ 見よこの大地この青空を \\ 学びの野はてなく広く \\ 真理の陽燦と輝けり
}

工大 工大 [NAME]

習志野は 若草もえて 潮風に匂へる希望見よこの大地この青空を 学びの野はてなく広く 真理の陽 燦と輝けり 工大 工大 [NAME]

図 5 学習時の入力と出力. キーワードを全て使うのではなく,エポックごとにランダムにサンプルする.

表 2 実験結果. 各スコアは平均値, かっこの中は標準偏差を示している。

「大学」とした). 歌詞に学校名が含まれている場合 は学校名制約を課すものとし, 学校名が含まれてい ない場合,制約はないものとして取り扱った. 制約 のある曲は, 学習データに 189 曲, 開発データに 32 曲, 評価データに 26 曲含まれていた. なお,データの 前処理として, 各歌詞に出現する学校名を特殊文字 ([NAME]) に置換した. 図 4 に具体例を示す.

実際の運用を考えた場合, ユーザがキーワードを 大量に入力することは稀だと思われる. そのため, 準備したキーワード全てを入力とするのではなく, 1 か ら 3 個ランダムに抽出し, それらを入力とすること で実際の設定に近づけた.このサンプリングは, 学習 と評価の双方で行なった. 図 5 に学習時の例を示す.本実験の生成対象は日本語なので, $\mathrm{mC4}$ [2] および Wiki-40B [10] に含まれる日本語テキストのみで事前学習された T5 [2] を使用した.3）このモデルに対し， クロスエントロピー損失を用いてファインチューニ ングを行なった. 使用したハイパーパラメータおよ び実装の詳細は付録に記載した。

## 3.2 実験結果

表 2 に ROUGE [11] を示す. 表の FP (false positive) は, 制約がない ([NAME] が正解の歌詞に含まれてい ない) 場合に [NAME] がどのぐらい出力されたかを 示しており, 値が大きいほど誤って [NAME] を出力 していることを意味する. 制約がない場合であって も, 頻繁に [NAME] が出力されるのではないかと予

3) https://huggingface.co/megagonlabs/

t5-base-japanese-web想していたが, 本実験では, $37.4 \%$ (26 曲中で約 10 曲) であった.

本実験では, ユーザの入力となるキーワードを, 歌詞から抽出した単語のランダムサンプリングで代用 している.このランダムサンプリングの影響を考慮 するため, 5 回評価を行い, その平均と標準偏差を報告している. 表の通り, 標準偏差は 1.0 以下になって おり,サンプリングがスコアに対して与える影響は 大きくないと思われる.

## 4 関連研究

歌詞生成に関する研究は近年活発に研究されてい る $[12,13,14]$. 一般的な歌詞を対象とするのではな く, ラップの生成 [15] や詩 [16], 短歌の生成など [17]様々な形態の詩を対象とした研究も行われている. また, 本研究では, キーワードから歌詞の生成に取り 組んだが, メロディから歌詞を生成する研究も存在 する $[12,13,14]$. 本研究は, 校歌を対象としている点, および, 生成の支援を目的としている点がこれらの 研究とは異なる。

## 5 おわりに

本論文では, 校歌のための歌詞作成支援システム を紹介した. 作詞経験が少ないユーザでも気軽に作詞体験を楽しめるように, システムが原案となる歌詞を提示できるようにした. 提示された歌詞は,ユー ザが自由に編集でき,その編集に応じた歌詞をシス テムが再生成できるように設計した。

今後の課題は, システムではなくユーザが原案を 提示すること, 歌詞生成時に韻を考慮すること, モ一 ラ数に制約を入れること，音・メロディから歌詞を 生成すること,などの機能を実装することである.

## 謝辞

本研究を進める過程で, 理研 AIP 杉山将氏, 浜中雅

俊氏, 本多右京氏, および, iU 情報経営イノベーショ ン専門職大学 増田知香氏, 林純輝氏, 木内来萌氏, 牧野友季氏, 森井創氏, にシステムおよび歌詞データの 構築に関してご助言・ご協力いただきました.この 場を借りて感謝申し上げます。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[3] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[4] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Guided open vocabulary image captioning with constrained beam search. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 936945, 2017.

[5] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1314-1324, 2018.

[6] J. Edward Hu, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post, and Benjamin Van Durme. Improved lexically constrained decoding for translation and monolingual rewriting. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 839-850, 2019.

[7] Zhongyang Li, Xiao Ding, Ting Liu, J. Edward Hu, and Benjamin Van Durme. Guided generation of cause and effect. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, p. 3629-3636, 2021.

[8] 帖佐克己, 森下睦, 永田昌明. 入力拡張と制約付きデコー ディングによる語彙制約付き機械翻訳. 自然言語処理, Vol. 29, No. 4, pp. 1052-1081, 2022.

[9] Guanhua Chen, Yun Chen, Yong Wang, and Victor OK Li. Lexicalconstraint-aware neural machine translation via data augmentation. In Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence, pp. 3587-3593, 2021.

[10] Mandy Guo, Zihang Dai, Denny Vrandecic, and Rami Al-Rfou. Wiki-40B: Multilingual language model dataset. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452, 2020.

[11] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Proceedings of the Workshop on Text Summarization Branches Out, pp. 74-81, 2004.

[12] Kento Watanabe, Yuichiroh Matsubayashi, Satoru Fukayama, Masataka Goto, Kentaro Inui, and Tomoyasu Nakano. A melody- conditioned lyrics language model. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 163-172, 2018.

[13] Xichu Ma, Ye Wang, Min-Yen Kan, and Wee Sun Lee. AI-Lyricist: Generating music and vocabulary constrained lyrics. In Proceedings of the 29th ACM International Conference on Multimedia, p. 1002-1011, 2021.

[14] Zhonghao Sheng, Kaitao Song, Xu Tan, Yi Ren, Wei Ye, Shikun Zhang, and Tao Qin. SongMASS: Automatic song writing with pre-training and alignment constraint. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 13798-13805, 2021.

[15] Lanqing Xue, Kaitao Song, Duocai Wu, Xu Tan, Nevin L. Zhang, Tao Qin, Wei-Qiang Zhang, and Tie-Yan Liu. DeepRapper: Neural rap generation with rhyme and rhythm modeling. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 69-81, 2021.

[16] Xiaoyuan Yi, Maosong Sun, Ruoyu Li, and Wenhao Li. Automatic poetry generation with mutual reinforcement learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3143-3153, 2018.

[17] 浦川通, 新妻巧朗, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. モーラを考慮した fine-tuning による口語短歌生成. 言語処理学会第 28 回年次大会 発表論文集, pp. 1328-1332, 2022.

[18] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[19] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. PyTorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems, 2019.

[20] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[21] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[22] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: A Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 2246-2249, 2018.

## A ハイパーパラメータ

以下のハイパーパラメータを用いて T5 の学習 (ファインチューニング)を行なった.
- learning rate: 5e-05
- batch size: 8
- optimizer: AdamW [18]
- Ir scheduler: linear
- max epochs: 300

また, 歌詞生成時には以下のハイパーパラメータ を用いた。
- max length: 256
- temperature: 0.5
- repetition penalty: 4.0
- number of beams: 2

これらのハイパーパラメータは, 開発セットにお ける ROUGE-L のスコアに基づいて選択した。

## B 実装の詳細

歌詞生成器の実装は PyTorch v.1.13.1 [19] および Transformers v4.25.1 [20], SentencePiece [21] を利用し た.キーワード抽出のために Sudachi [22]を使用し形態素解析を行なった.

制約付きビームサーチは Transformers の generate 関数 (force_words_ids を指定)を利用した.4)

ROUGE の計算には SumEval を使用した.5)

## C 論文に掲載した歌詞について

本論文では, 例 (図 $2,4,5$ ) を示すため千葉工業大学校歌 (1 番のみ) を使用した. 千葉工業大学校歌は 大学ホームページにて公開されている。6) なお, 本シ ステムを構築するために使用したデータ (表 1)に，千葉工業大学校歌は含まれていない. 図 3 で示した 例は, 実際にシステムを用いて生成した歌詞である.

4) https://huggingface.co/docs/transformers/main/ en/main_classes/text_generation\#transformers.

GenerationMixin.generate

5) https://github.com/chakki-works/sumeval

6) https://www.it-chiba.ac.jp/institute/disclosure/ school-badge/


# 動画キャプションモデルを用いた字幕翻訳の検討

成浦拓音 品川政太朗 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{nariura.takuto.nu7, sei.shinagawa, sudoh, s-nakamaura\}@is.naist.jp

## 概要

機械翻訳において映像情報を用いて翻訳精度を 改善する研究が行われている一方，映像情報を含む コーパスには限りがあり，大規模に学習することが 難しい。本研究ではこのような問題を回避し，映像情報を話し言葉翻訳に活かす方法を提案する。本手法は映像情報を動画説明文に変換して取り扱うこと で，事前学習済みの言語モデルが学習しやすい問題設定とし，規模の小さい視覚情報付きコーパスでも 事前学習による性能向上が期待できる. VISA デー タセットを用いた実験の結果，多義語を含むデータ セットにおいて動画説明文を用いて学習を行う事 で，動画説明文を用いない場合より BLEU 值が 0.24 ポイント, METEOR 值が 1.19 ポイント上昇する結果を得られた。

## 1 はじめに

機械翻訳技術の発展により，実時間での同時翻訳 や映画・漫画といった視覚情報を含む発話文や説明文を多言語に翻訳する研究が盛んに行われてきて いる $[1,2]$. 新聞や Web 上の文章をはじめとする文章の文脈や文法が意識される書き言葉とは異なり，同時翻訳や映画などの視覚情報を含む発話や会話 には，指差しや視覚情報を共有しているという前提での主語の省略や, 英語の “figure” やフランス語 の “grille”といった場面に応じて異なった意味を含 む多義語が事前の文脈情報なしに含まれることが ある.

このような問題に対しては，視覚情報を考慮して 翻訳することが有用だと考えられており, 視覚情報 を用いた翻訳手法の研究が進められている. 実際 に, Multi30k [3] や VATEX [4] など複数の視覚情報付きデータセットにおいて、視覚情報を追加するこ とにより翻訳精度を改善できることが報告されてい る $[5,6]$.

一方，映像情報を含む対訳コーパスの数は数千文

字幕に対応する映像

提案手法B

図 1 提案手法

から多くて数十万文と規模が小さく，大規模に学習 することが難しい.

本研究では視覚情報を動画説明文として受け取る 事で話し言葉翻訳において改善が見込めると仮説を 立て，大規模自然言語モデルにおいて視覚情報を取 り扱う手法を提案する. 本手法は視覚情報を事前に 学習した動画キャプションモデルによって動画説明文へと変換し，変換した動画説明文を大規模自然言語モデルの入力として取り扱うことで事前学習済み の自然言語モデルを用いて学習を行う. 自然言語処理では mBART [7] や T5 [8] といった大規模な事前学習を行った機械学習モデルを特定のタスクにファイ ンチューニングすることが一般的であり，これらの モデルは数千万文以上からなる大規模なデータセッ トや対訳コーパスを用いて事前学習を行うことで事前知識を得ることを可能にしている. 本提案手法を 用いることで大規模データセットで事前学習された 大規模自然言語モデルを直接的に変更することな く，そのまま活用することが可能となり，数千文か ら数十万文程度と規模が小さい視覚情報付き対訳 コーパスでも事前学習による精度の向上を期待する ことができる.

提案手法を用いることで翻訳精度が向上すること を明らかにするため，VISA データセット [9]を用い た実験を行った. 実験の結果，多義語を含むデータ

セット (Polysemy) において動画説明文を用いた場合 には，翻訳精度が改善する結果を得られた。

## 2 関連研究

## 2.1 動画翻訳

動画翻訳は映像情報を追加の入力として受け取る ことで, 翻訳精度を改善することを目的とした研究 である. 既存のデータセットとしては VATEX デー タセットや How2 データセット [10] が知られている が,VATEX データセットには映像情報を説明する動画説明文が付与されており，マルチモーダルな情報 を活用することによる利点が十分に含まれていな いという指摘も存在する [11]. Li らは OpenSubtitles データセット [12] から収集した日英字幕の対訳コー パスと，字幕情報に沿って取得した 10 秒間の映像情報を組み合わせた VISA データセットを構築し た [9]. VISA データセットには字幕情報だけでは翻訳時の語義の曖昧性が解決できないとクラウドワー カーによって判断された文章のみが含まれており， マルチモーダルな情報を活用することによって語義 の曖昧性を解決できることが期待されている.

映像情報を用いた機械翻訳モデルの多くは動画 をフレーム単位に分けた後，事前学習済みの画像エ ンコーダに入力して画像特徴量を取得したり，モー ションエンコーダを用いて動画特徴量を取得するな どの手法が一般的である $[6,13]$. 一方, 本研究では 視覚情報を直接翻訳モデルの入力として扱わないと いう点で既存研究とは異なる。

## 2.2 大規模言語モデル

ニューラルネットワークを用いた自然言語処理で は事前学習を実施した大規模言語モデルをタスクの 用途に合わせてファインチューニングをする手法が 一般的であり，大量のコーパスを用いて事前学習を 行うことでタスクによらない事前知識を獲得できる ことが知られている. 機械翻訳でも大規模モデルを 用いる手法が提案されており, Liu らは大規模な対訳コーパスを使用することで最先端の翻訳精度を実現する mBART を提案している. また Huang らは多義語の単語を説明する辞書情報を結合した入力を用 いて，大規模事前学習モデルを微調整することでタ スクを解くGlossBERTを提案している [14].

視覚情報付き翻訳においても大規模な事前学習済みモデルを使用する手法が提案されている。表 1 VISA データセットの内訳

Caglayan らは言語情報と視覚情報を踏まえた事前学習を行う手法である VTLM を提案した [5]. 一方 Caglayan らの提案する事前学習手法はマスキングさ れた画像の分類問題をする追加タスクを実行する必要があり，それを行うためには事前に視覚情報の内容を物体検出した上でマスクを行えるように前処理 をする必要がある。また映像情報のような時系列情報をそのまま結合することはできない，一方，本研究では，動画キャプションモデルで映像情報を事前 に言語化することで，視覚情報を扱う難しさを回避 しつつ，翻訳に有用な視覚情報を大規模言語モデル に自然に取り込める可能性が期待できる。

## 3 提案手法

本稿では動画説明文を用いることで翻訳に有用な 視覚情報を大規模自然言語モデルに取り込める仮説 を立て，画像特徴量や動画特徴量を翻訳モデルの入力として受け取る代わりに，大規模自然言語モデル の追加入力として視覚情報を説明する動画説明文 を付与した上で翻訳を行うこととした。提案手法を 図 1 に示す. VISA データセットにて各コーパスに 紐づいている動画情報を動画キャプションモデルを 使用して動画説明文へと変換し，それらを追加の入力文として取り扱う. 動画の説明文は Huang らが提案した GlossBERT などの手法を踏まえて，入力とし て加える翻訳文に結合することとした．動画説明文 は 2 つの特殊トークンである $[S E P]$ と $[/ S E P]$ で挟 んだ上で入力に結合する事とし，動画説明文の結合位置には原言語文の前後 2 通りが考えられるため,両方の場合を考慮して説明文を入力文の文頭に結合 する場合 (提案手法 A) と文末に結合する場合の 2 通 りで実験 (提案手法 B) を行った. 動画キャプション モデルには最先端モデルの一つであり，映像を含む 対訳コーパスであるVATEX データセットで事前学習された SwinBERT [15] モデルを使用することとし た. 動画説明文の例を表 2 に示す.

表 3 提案手法 2 の評価值 (†: VMT [9] から引用)

## 4 実験

事前学習済みの自然言語モデルに動画説明文を付与することで，翻訳精度が向上することを明らかに するために以下の実験を行った.

## 4.1 実験設定

本実験では映像情報付き翻訳データセットとし て，VISA データセットを用いる．VISA データセッ トの内訳を表 1 に示す ${ }^{1)}$. VISA データセットには 多義語の翻訳を含むデータセットである Polysemy と主語の省略を含むデータセットである Omission, その 2 つを組み合わせた Combined の 3つの組み合 わせが存在し, 今回の実験では全てのデータセット の組み合わせで実験を行った. 事前学習済み大規模自然言語モデルには CC-25 データセットで事前学習 された mBARTを用いた。なお， mBART の著者ら が公開している mBART モデルとトークナイザには 特殊トークン $[S E P]$ と $[/ S E P]$ が含まれていないた め，今回の実験では事前に使用する特殊トークンを トークナイザに追加しておき，特殊トークンに対応 する単語埋め込み表現をランダムな初期値で初期化 した上で学習を行った。

今回の実験では日英翻訳を行うため，日本語の原言語文に対して SwinBERT から出力された英語の説明文を結合して実験を行っている. また動画説明文 を用いずに mBARTを学習させた場合とも比較を行 うこととした. テストデータに対する推論時には ビームサーチを用い，ビーム長は 10 とした. また

実験コードの実装には fairseq [16] を用いた.

## 4.2 実験結果

実験結果は既存研究と同じく BLEU (n=4) [17] と METEOR [18], RIBES [19]を用いて評価した. VISA データセットの文章は短い会話文が多いため, BLEU 計算時には文章の長さによる影響を緩和す る手法として, 既存研究と同じようにChen らの Smoothing 4 method を用いている [20]. それぞれの データセットでの実験結果を表 3 に示す. 全体とし て動画説明文を文頭に付与する場合よりも動画説明文を文末に付与する方が良い結果を収めている。ま た文末に動画説明文を付与した場合には動画説明文 を付与しない場合よりも，幾つかの指標で最も良い 結果を収めた. 特に Polysemy データセットでは全 ての指標において他のモデルを上回る結果を得るこ とができている.

動画説明文が有効に働いたと考えられる Combined データセットにおける出力例を表 4 に記載する。たとえば「シャワーを浴びようとしてた」 という原言語文に対しては mBART は “He”と「彼」 を主語にしているのに対して，提案手法 B は “I” と 自分を主語とした発話として翻訳することが出来て いる。また「気をつけろ」という原言語文に対して は mBART は「体に気をつける」といった意味合い である “Take care of” が出力されているのに対して，提案手法 B では「注意する」という意味合いを持つ “Be careful” が出力されており，動画情報を踏まえる ことによって複数の意味を持つ多義語を場面に応じ て使い分けられている。また「体育館に戻られた方 が良いと思います」という原言語文に対しては，体
育館を表す “gym”という単語を適切に出力できてお り，事前知識を活用して翻訳を行えている。

一方，動画説明文が有効ではなかったと考えられ る出力例を表 5 に記載する。「金を待っているだけ だ」という原言語文では，どの手法でも省略された 主語を間違える結果となっている. 日本語の会話文 では場面に応じて主語が省略されることがあるが，今回のデータセットには話者情報が含まれていない ため状況を説明する説明文だけでは対象の発話が誰 に対する発話であるかを判別することが難しく，省略された主語を推測することに失敗したのだと考え られる。このような問題に対しては映像情報だけを 用いるのではなく，話者情報を用いたり，音声情報 や顔の表情から感情を推論するといったマルチモー ダルな手法を活用することで更に翻訳精度を改善で きるのではないかと考えている.

## 5 まとめと今後の展望

本稿では動画情報を動画説明文に変換し，大規模自然言語モデルの追加入力として取り扱う手法につ いて検討を行った. VISA データセットを用いた実験の結果，いくつかの指標とデータセットにおいて 提案手法は動画説明文を用いない場合よりも良い翻訳精度を実現することができた. 今後の展望として は物体検出を行った上で，それぞれの物体に対して 個別にキャプションを付与することで更に細かな動画説明文を取得することや，映像情報から話者情報 や話し手の表情・声の調子や抑揚といった話者に着目したマルチモーダルな情報についても取得・活用 することを検討している。また翻訳文章が長く複雑 であったり，主語が推測しにくいような文章の場合 にも本手法が今回の実験と同様に翻訳精度を向上す るかどうかについても検討したいと考えている.表 4 説明文が有効に働いたと考えられる出力例

表 5 説明文が有効に働かなかったと考えられる出力例

 \\

## 謝辞

本研究は JSPS 科研費 JP21H05054 の助成を受けた ものです

## 参考文献

[1] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017. Association for Computational Linguistics.

[2] Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, and Yusuke Matsui. Towards fully automated manga translation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 12998-13008, 2021.

[3] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4581-4591, 2019 .

[5] Ozan Caglayan, Menekse Kuyu, Mustafa Sercan Amac, Pranava Madhyastha, Erkut Erdem, Aykut Erdem, and Lucia Specia. Crosslingual Visual Pre-training for Multimodal Machine Translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Short Papers, online, April 2021. Association for Computational Linguistics.

[6] Weiqi Gu, Haiyue Song, Chenhui Chu, and Sadao Kurohashi. Video-guided machine translation with spatial hierarchical attention network. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 87-92, Online, August 2021. Association for Computational Linguistics.

[7] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. 2020.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[9] Yihang Li, Shuichiro Shimizu, Weiqi Gu, Chenhui Chu, and Sadao Kurohashi. VISA: An ambiguous subtitles dataset for visual sceneaware machine translation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 67356743, Marseille, France, June 2022. European Language Resources Association.

[10] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: a large-scale dataset for multimodal language understanding. In Proceedings of the Workshop on Visually Grounded Interaction and Language (ViGIL). NeurIPS, 2018.

[11] Zhishen Yang, Tosho Hirasawa, Mamoru Komachi, and Naoaki Okazaki. Why videos do not guide translations in video-guided machine translation? an empirical evaluation of video-guided machine translation dataset. Journal of Information Processing, Vol. 30, pp. 388-396, 2022
[12] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Tosho Hirasawa, Zhishen Yang, Mamoru Komachi, and Naoaki Okazaki. Keyframe segmentation and positional encoding for video-guided machine translation challenge 2020 . arXiv preprint arXiv:2006.12799, 2020

[14] Luyao Huang, Chi Sun, Xipeng Qiu, and Xuanjing Huang. GlossBERT: BERT for word sense disambiguation with gloss knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3509-3514, Hong Kong, China, November 2019. Association for Computational Linguistics.

[15] Kevin Lin, Linjie Li, Chung-Ching Lin, Faisal Ahmed, Zhe Gan, Zicheng Liu, Yumao Lu, and Lijuan Wang. Swinbert: End-to-end transformers with sparse attention for video captioning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 17949-17958, 2022.

[16] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[19] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, MA, October 2010. Association for Computational Linguistics.

[20] Boxing Chen and Colin Cherry. A systematic comparison of smoothing techniques for sentence-level BLEU. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 362-367, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# マルチモーダル機械翻訳における 画像・入力文間類似度と翻訳品質の相関の分析

佐藤郁子 平澤寅庄 金輝燦 岡照晃 小町守
東京都立大学
\{sato-ayako, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp,
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

本研究では，画像・入力文間類似度が低い事例が マルチモーダル機械翻訳 (MMT) に及ぼす影響を調査する. MMT では，画像情報による入力文の曖昧性解消で，翻訳品質の改善を図る. 先行研究ではシ ステムレベルでの翻訳品質改善は限定的であると報告されているが，画像情報の貢献度について事例レ ベルでの定量的な分析は行われていない。そこで本研究では，画像情報が有効な事例の自動識別を目的 に分析を行う．画像・入力文間類似度が低い事例は 画像情報が大力文を補完し, 翻訳品質が改善するこ とが期待できる. その仮説の下，画像・入力文間類似度と画像情報の貢献度の相関を分析し, MMT で 翻訳品質が改善する事例で，負の相関を確認した。

## 1 はじめに

近年，機械翻訳 (MT) において，テキストだけで なく画像情報を利用して翻訳品質を改善するマル チモーダル機械翻訳 (MMT) が注目されている. MT モデルが曖昧性のある文を翻訳する際に，文脈だ けでは情報が不足する場合があるという背景から， MMT では, 画像情報を追加入力することで入力文 の文脈情報を補完し，より正確な翻訳を行う。

システムレベルの評価では MMT モデルの画像情報の貢献はわずかのため, その有効性は議論されて いる $[1,2,3]$. 一方, 事例レベルでの画像情報の貢献は, 参照文と出力文の比較によって定性的に評価 されており，入力を用いた定量的な分析は行われて いない. 入力のみを用いた事例レベルの自動評価が 可能になることにより，分析対象となる事例選択の 効率化や MMT モデルの評価に適したデータ作成を 実現することができる.

本研究では，画像情報が有効な事例の自動評価を

図 1: 画像情報が有効な事例（上）と有効でない事例 (下).画像・入力文間類似度（計算方法は 3 節を参照）は，上の事例が 0.292 ，下の事例が 0.388 である。上の事例では，“take shots”の「写真を撮るハシットグラス を取る」という入力文の曖昧性を，画像情報により 解消している. 下の事例では，画像情報の有無に関 わらず翻訳は正しい。

目的として，定量的に翻訳品質を分析する．MMT では文脈情報の不足を画像で補完することから，有効な事例の画像には入力文にない情報が含まれてお り，その情報量の差分によって画像・入力文間類似度が低くなると考えられる。そこで，「画像情報が 有効な事例では，画像・入力文間の類似度が低くな る」という仮説に基づき，英日翻訳の品質を分析し た. 仮説の概要を図 1 に示す. 実験では，画像・入力文間類似度，画像情報の貢献度の計算を行い，そ れらの相関を確認することで仮説を検証する。

実験の結果より, MMT モデルで翻訳品質が改善 する事例において，画像・入力文間類似度は画像情報の有効性と負の相関があることを確認した。ま た，画像・入力文間類似度が低い事例では，画像情報の入力がノイズになりうることを確認した.

## 2 関連研究

Elliott [4] は，MMT モデルにおいて，入力文と対応する画像，対応しない画像をそれぞれ追加入力さ せたときの性能を分析している。この分析では， 3 つのモデルのうち 2 つでは，対応する画像を入力し た時に性能改善が見られた. Caglayan ら [5] は，入力文にノイズを加え，画像情報の有効性を分析して いる.この分析では，入力文中の名詞をマスクして 文脈情報が限定的な場合，MT モデルより MMT モ デルの方が性能が高く, 画像情報が有効であること がわかった. しかし, 不一致画像の追加入力や入力文劣化は，MMT システムを実際に利用する際の設定に適していない. 本研究では，入力を操作しない 実験設定で，定量的な翻訳品質の分析を行う.

Hatami ら [6] は，WordNet の語義数に基づいて入力文中の全ての名詞の曖昧度スコアを計算し，MT， MMT モデルの翻訳品質との相関を分析している. この分析では, どちらのモデルも, 入力文の曖昧度 スコアが高いほど翻訳品質が低くなり， MMT モデ ルの方が全体の性能が良くなることから，入力文の 曖昧性解消に画像情報が有効であることがわかっ た.しかし，彼らの曖昧度スコアは入力文のみを用 いるため, 追加入力される画像情報の有効性評価に は適していない。そこで本研究では，画像情報の有効性評価のための指標として，画像情報を考慮した 画像・入力文間類似度を提案する。

## 3 分析手法

本研究では入力文 $x$, 参照文 $y$ ，画像 $v$ の三つ組 のテストデータ $D=\left.\{\left(x_{1}, y_{1}, v_{1}\right), \ldots,\left(x_{|D|}, y_{|D|}, v_{|D|}\right)\right.\}$ を用いて仮説を検証する。ここで $|D|$ はテストデー タのサイズを表す。分析手順は以下の通りである.

手順 1. テストデータ内の各入力文とそれに対応す る画像間の類似度集合 $S=\left.\{s_{1}, \ldots, s_{|D|}\right.\}$ を求め る.ここで画像・入力文間類似度 $s_{i}$ は, 画像 $v_{i}$ と入力文 $x_{i}$ をそれぞれ共有潜在空間にエン コードして得たべクトル $\mathbf{v}_{i}$ と $\mathbf{x}_{i}$ の内積である.

手順 2. 画像・入力文間類似度の降順にテストデー タを並べ替え， $N$ 文ずつ $M\left(=\left.\lfloor\frac{|D|}{N}\right.\rfloor\right)$ 組のサブ セット $\left.\{D_{1}, \ldots, D_{M}\right.\}$ に分割する.

手順 3. サブセット $D_{i}$ の (a) 画像 - 入力文間類似度 $s_{D_{i}}$ 及び (b) 画像情報の貢献度 $c_{D_{i}}$ を計算する.

(a) 画像・ 入力文間類似度 $s_{D_{i}}$ は，各サブセット内 の画像・入力文間類似度の平均とする。 (b) 画像情報の貢献度 $c_{D_{i}}$ は，評価指標 $E$ を用いて 以下のように定義する。

$
c_{D_{i}}:=E\left(Y_{D_{i}}^{\mathrm{MMT}}, Y_{D_{i}}\right)-E\left(Y_{D_{i}}^{\mathrm{MT}}, Y_{D_{i}}\right)
$

ここで $Y_{D_{i}}$ はサブセット $D_{i}$ に含まれる参照文 の集合であり， $Y_{D_{i}}^{\mathrm{MMT}}$ と $Y_{D_{i}}^{\mathrm{MT}}$ はそれぞれ $\mathrm{MMT}$, MT モデルの出力文の集合である.

手順 4. 各サブセットの類似度 $s_{D_{i}}$ と貢献度 $c_{D_{i}}$ の 相関を確認する．負の相関であれば，「画像情報が有効な事例では，画像・入力文間の類似度 が低くなる」という仮説が立証される。

## 4 実験

## 4.1 実験設定

データ 本研究は英日翻訳による実験で評価し た. 英語は Flickr30K Entities [7]，日本語は Flickr30K Entities JP [8] を用いる. Multi30K task1 [9] に従い,学習データ 29,000 事例，検証データ 1,014 事例，テ ストデータ (test2016) 1,000 事例に分割し，画像と それに対応したキャプションを用いる. Flickr30K Entities，Flickr30K Entities JP には各画像につきキャ プションが 5 文あり，本実験では 1 文目を使用す る. テストデータ 1,000 事例を 50 文ずつ 20 組のサ ブセットに分割し，サブセットごとに BLEU [10] で 評価を行った. 英語は Multi30K task1 に従ったトー クナイズを行い，日本語は MeCab [11] (IPA 辞書) で 単語分割した. BPE [12] でサブワード分割し, 語彙 サイズは英日共有で 8,000 とした.

モデル 本実験では, 画像・入力文間類似度の指標 がモデルに依存しないことを確認するため, 複数の MMT モデルで実験を行う．テキストベースの MT モデルは，Transformer-Tiny [13] を用いた． MMT モ デルには， Transformer ベースの Attentive multimodal Transformer [14], Gated multimodal Transformer [13] を 用いた. Attentive multimodal Transformerには，テキ ストと画像の文脈ベクトルの連結手法が flat, hierarchical， serial， parallel $の 4$ 種類がある. 画像特徵量には Vision Transformer [15] ベースの事前学習済み画像分類モデル CLIP [16], Faster R-CNN [17], ResNet-50 [18] を用いた. 特徵量の数は，CLIP 及 び ResNet-50 は 1， Faster R-CNN は36である1). MT モデルと MMT モデルのアーキテクチャは，レイ

1）本研究ではこれらのモデルのうち事前実験で BLEU スコ アの高かった上位 3 つを使用する．事前実験で用いたすべて のモデルの BLEU スコアは付録 A に記載する。

図 2: テストデータにおける画像・入力文間類似度の度数分布 ( $D_{1-6}, D_{7-13}, D_{14-20}$ については 4.3 節参照).

表 1: 類似度順のサブセット $D_{1-20}$ 及び $D_{1-13}$ における類似度と貢献度の相関係数.

ヤー数を 4 層，注意機構のヘッド数を 4 個，隠れ 層の次元数を 256 とし，ミニバッチサイズを最大 4,096 トークンに設定した. 最適化手法としては Adam [19]を使用した。

類似度計算 画像と入力文のエンコードには CLIPを用いる。 CLIPでは，インターネット上で収集した 4 億組の画像・自然言語テキストデータに対 して，どのキャプションがどの画像に対応するかを 予測する事前学習を行う. テキストのエンコードに は Transformer [20], 画像のエンコードには ResNet-50 ベースのモデルまたは Vision Transformer ベースの モデルが使われる。本実験では，Vision Transformer ベースのViT-B/32 モデルを使用した. テストデー 夕に対して, CLIPで計算した画像・入力文間類似度 の度数分布を図 2 に示す。

## 4.2 結果

全サブセットでの評価 テストデータ $D$ のサ ブセットを画像・入力文間類似度の高い順から $D_{1}, D_{2}, \ldots, D_{20}$ とし, 全サブセット $\left(D_{1-20}\right)$ におけ る類似度と貢献度の相関係数を表 1 の 3 カラム目 に示す。 $D_{1-20}$ では類似度と貢献度は正の相関であ り， $D_{1-20}$ においては必ずしも仮説が正しいとは言 えない. 我々は画像・入力文間類似度が過度に低い 事例では入力文の意味に合わない画像情報がノイズ になると考え，これを確かめるため各サブセットの 類似度と貢献度の分布を調べた。その結果を図 3 に 示す. 縦軸は MT モデルと MMT モデルの BLEU を

図 3: 類似度順のサブセット $D_{1-20}$ における画像情報の貢献度の分布.

用いた画像情報の貢献度，横軸は各サブセットの画像・テキスト間類似度である. Attentive-hierarchical (CLIP) と Gated (ResNet-50) では, 画像・入力文間類似度が過度に低い 0.3 未満のサブセット $D_{14}$ から MT モデルと MMT モデルの翻訳品質が逆転するサ ブセットが多くなる. 同様に Attentive-hierarchical (Faster R-CNN) では, サブセット $D_{16}$ から MT モデル と MMT モデルの翻訳品質が逆転している. 従って,画像・入力文間類似度が過度に低いサブセットでは 画像情報がノイズになることがわかる.

ノイズとなるサブセット以外での評価 画像情報 により翻訳品質が改善するという前提のもと分析を 行うため，画像情報がノイズとなりうるサブセット を取り除いた実験を行った。翻訳品質が逆転するサ
表 2: 画像・入力文間類似度が 0.3 未満の事例（上段）及び 0.3 以上の事例（中段），高い事例（下段）.

ブセットはモデルによって異なるが分析しやすくす るため，全てのモデルに共通の画像・入力文間類似度の閾値を設けた。具体的には, 画像・入力文間類似度が 0.3 より低いサブセット $D_{14-20}$ は画像情報が ノイズになると仮定し，それらを除いたサブセット $D_{1-13}$ で実験行った. サブセット $D_{1-13}$ における類似度と貢献度の相関係数を表 1 の 4 カラム目に示 す. $D_{1-13}$ では類似度と貢献度は負の相関であるた め，仮説が立証された. すなわち，画像がノイズと なり MMT モデルで翻訳品質が低下する事例を除い た場合，画像・入力文間類似度が小さいほど画像情報の貢献度が大きくなるといえる. これらの実験結果より，画像情報によって翻訳品質が改善する事例 において, 画像 - 入力文間類似度は, 画像情報の貢献度を測る指標として適当であるといえる。

## 4.3 翻訳結果の比較

本節では，画像情報の有効性評価における画像・入力文間類似度の妥当性について分析する. 画像 入力文間類似度を 3 段階 ( 0.3 未満： $D_{14-20}, 0.3$ 以上： $D_{7-13}$ ，高い： $D_{1-6}$ ）に分け，それぞれにおけ る MT と MMT の翻訳結果を表 2 に示す. 画像・入力文間類似度は，上段の事例が 0.289 , 中段の事例 が 0.308 , 下段の事例が 0.368 であり，MMT は Gated (ResNet-50) の出力である. 類似度が 0.3 未満の上段
の事例では，MT が正しい翻訳をしている一方で， MMT は pitch（競技場）を「投球して」と誤訳して おり，画像情報がノイズになっていることがわか る.これは，画像中の人物やボールの個数が多く,画像情報のエンコードが難しいためだと考えられ る. 類似度が 0.3 以上の中段の事例では，MT で抜 け落ちている「二人の幼い男の子を抱いて」という 情報が MMT の出力では補完されていることがわか る.これは，画像情報によって入力文がより適切に エンコードされたためだと考えられる。一方，類似度の高い下段の事例では，MT，MMT どちらの翻訳 も正しく出力されており, 画像情報が不要な事例で あることがわかる.

## 5 おわりに

本研究では，画像・入力文間類似度に着目した MMT の翻訳品質の分析を行った. 英日翻訳の実験結果より, MMT モデルで翻訳品質が改善する事例 において，画像 - 入力文間類似度と画像情報の貢献度に負の相関があることがわかった．また，画像・入力文間類似度が一定の値より低い事例では画像情報がノイズとなりうることがわかった. 今後の課題として，画像情報がノイズとなる事例の自動判別 や，より翻訳品質差との相関が高い評価指標の獲得 に取り組みたい。

## 参考文献

[1] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[2] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[3] Chiraag Lala, Pranava Swaroop Madhyastha, Carolina Scarton, and Lucia Specia. Sheffield submissions for WMT18 multimodal translation shared task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[4] Desmond Elliott. Adversarial evaluation of multimodal machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[5] Ozan Caglayan, Pranava Madhyastha, Lucia Specia, and Loïc Barrault. Probing the need for visual context in multimodal machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[6] Ali Hatami, Paul Buitelaar, and Mihael Arcan. Analysing the correlation between lexical ambiguity and translation quality in a multimodal setting using wordnet. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, 2022.

[7] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30K Entities: Collecting region-tophrase correspondences for richer image-to-sentence models. International Journal of Computer Vision, Vol. 123, No. 1, pp. 74-93, 2017

[8] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[9] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, 2016.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, 2002 .

[11] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910.github.io/ mecab/.
[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016.

[13] Zhiyong Wu, Lingpeng Kong, Wei Bi, Xiang Li, and Ben Kao. Good for misconceived reasons: An empirical revisiting on the need for visual context in multimodal machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, 2021.

[14] Jindřich Libovický, Jindřich Helcl, and David Mareček. Input combination strategies for multi-source transformer decoder. In Proceedings of the Third Conference on Machine Translation: Research Papers, 2018.

[15] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of the 9th International Conference on Learning Representations, 2021.

[16] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, 2021.

[17] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems 28, 2015.

[18] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, 2016.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations, 2015.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30, 2017.

## 付録

## A 全モデルの BLEU スコア

事前実験で用いた全モデルの BLEU スコアを表 3 に示す.

表 3: テストデータに対する各モデルの BLEU. 但し， ResNet-50については Gated multimodal Transformer で は average pool， Attentive multimodal Transformer では last layer を使用した.太字は BLEU スコア上位 3 つ を示す。

## B 類似度と入力文長の関係

各サブセットにおける BLEU スコアを図 4 に示 す. 画像・入力文間類似度と BLEUには負の相関が あり，類似度が低いほど BLEU が高くなることがわ かる．そこで，各サブセットにおける翻訳難易度の 調査を行った．具体的には，各サブセットごとに入力文の平均トークン数を求め, 画像 - 入力文間類似度との相関を分析した. 結果を図 5 に示す. 入力文 の平均トークン数と画像・入力文間類似度には正の 相関があり，入力文の文長が短い事例では，画像 入力文間類似度が低くなることがわかる. 分析結果 より，画像・入力文間類似度は文長に大きく左右さ れることがわかった。より高精度な画像情報の有効性評価のためには，入力文の文長を考慮した指標の 獲得が必要である.

図 4: 類似度順サブセット $D_{1-20}$ における MT モデルと MMT モデルの BLEU.

画像テキスト間類似度

図 5: 画像・入力文間類似度と各サブセットの入力文の平均トークン数.


# 視覚翻訳言語モデルを用いた英日マルチモーダル機械翻訳

平澤寅庄 小町守
東京都立大学大学院
hirasawa-tosho@ed.tmu.ac.jp komachi@tmu.ac.jp

## 概要

本論文では、視覚翻訳言語モデル（Visual Translation Language Model; VTLM）が英日マルチモーダ ル機械翻訳に適応できるかどうかを検証する。事前学習には Conceptual Captions、マルチモーダ ル機械翻訳には Flickr30K Entities および Flickr30K Entities JP を使用した。実験の結果、VTLM で事前学習を行うことで、BLEUでおよそ 3 ポイントの 改善を達成した。一方で、機械翻訳の訓練事例が 豊富な場合には、事前学習を行わないモデルと 同程度の性能にとどまった。分析の結果、事前学習で獲得したサブワード分割器が機械翻訳の訓練事例を適切に分割できない例があることが判明した。コードおよび事前学習済みのモデルは https://github.com/toshohirasawa/VTLM_EnJa で公開している。

## 1 はじめに

マルチモーダル機械翻訳 (Multimodal machine translation; MMT）では、翻訳文を生成する際に原文 だけではなく、画像などの原文に紐付けられた非言語情報を用いる。画像や動画を持つマルチモーダル 対訳コーパスのリリースにより、様々なマルチモー ダル機械翻訳モデルが提案されている。

自然言語処理では近年、自己教師あり学習を用い て大規模な単言語コーパスで訓練されたニューラル 言語モデルを様々なタスクに応用する研究が盛んに 行われており、ニューラル言語モデルが獲得した言語や常識の知識が、各々のタスクに有用であること が示されてきた。機械翻訳でも言語モデルの利用が 盛んに研究されており、翻訳品質の向上に有用であ ることが示されている $[1,2]$ 。

また、対訳コーパスを用いた言語モデルの改善手法も提案されている。多言語の対訳コーパスを 使用して訓練された翻訳言語モデル（Translation Language Modeling; TLM）は、分類モデルや機械翻訳モデルの精度を向上させることが報告されてい る [3]。TLMをマルチモーダルな入力を取るように 拡張させた視覚翻訳言語モデル（Visual Translation Language Modeling）は、画像を用いる英独・英仏翻訳で翻訳品質を向上させている [4]。

本研究では VTLM が英日マルチモーダル翻訳で も適用可能かどうかを検証する。VTLM の事前学習 には画像・説明文のデータセットである Conceptual Captions [5] に、オンライン自動翻訳サービスで翻訳文を付与した疑似マルチモーダル対訳コーパスを、 マルチモーダル機械翻訳には画像つき英日対訳コー パスである Flickr30K Entities JP [6] を用いた。

実験の結果は大規模な疑似マルチモーダル対訳 コーパスで事前学習した VTLM が、英日マルチモー ダル機械翻訳に有用であることを示した。一方で、機械翻訳タスクの訓練事例が増えると、事前学習を 行わなず機械翻訳タスクに特化した機械翻訳モデル と同程度にとどまった。分析の結果、事前学習で獲得したサブワード分割器が必ずしも機械翻訳の訓練事例を適切に分割できているわけではないことが分 かった。

## 2 VTLM を用いた英日マルチモーダ ル機械翻訳

本研究では Caglayan et al. [4] の研究を英日マルチ モーダル機械翻訳に適用する。

## 2.1 VTLM の事前学習

VTLM では、cross-lingual に加え、cross-modal な 分散表現を獲得するように学習を行う。具体的に は、cross-lingual な分散表現を学習する Translation Language Modeling (TLM)を拡張し、マスクされ た画像特徵量のラベルを予測する masked region classification を行うことで、cross-modal な分散表現 を学習する。

VTLM はまず、 $m$ トークンの原文 $\mathbf{s}=\left[s_{1}, \ldots, s_{m}\right]$ 、
表 1 事前学習およびマルチモーダル機械翻訳モデルの訓練に使用したデータセットの事例数

$n$ トークンの翻訳文 $\mathbf{t}=\left[t_{1}, \ldots, t_{n}\right]$ および事前学習 された画像認識モデルにより抽出された $o$ 個の要素 を持つ画像特徵量 $\mathbf{v}=\left[v_{1}, \ldots, v_{o}\right]$ を結合し、入力 $\mathbf{x}$ とする：

$
\mathbf{x}=[\mathbf{v}: \mathbf{s}: \mathbf{t}]
$

訓練では $\mathbf{x}$ の要素のうち、ランダムに選択された 15\%がマスクされる。マスクに選択された原文・翻訳文の要素は TLM に倣い、 $80 \%$ は [MASK] トークン に置き換え、 $10 \%$ はランダムなトークンへの置き換 え、残り $10 \%$ は変更せずに保持する。同様に、マス クに選択された画像特徴量のうち、 $80 \%$ は [MASK] トークンの埋め込み表現に置き換え、10\% はランダ ムな埋め込み表現に置き換え、残り $10 \%$ は変更せず に保持する。

VTLM では、マスクされた入力 $\tilde{\mathbf{x}}$ から、マスクし た位置の要素 $\hat{\mathbf{y}}$ 予測するように学習を行う。

$
\mathscr{L}=\frac{1}{|\mathscr{X}|} \sum_{x \in \mathscr{X}} \log \operatorname{Pr}(\hat{\mathbf{y}} \mid \tilde{\mathbf{x}} ; \theta)
$

$x$ は全訓練データで、 $\theta$ は VTLM モデルのパラメー タである。

## 2.2 マルチモーダル機械翻訳モデルの学習

事前学習された VTLM の重みは、Transformer を ベースにしたマルチモーダル機械翻訳モデルの初期化に用いられる。この際、VTLM は Transformer decoderにある cross-attention 機構を持たないため、初期化対象のモデルの embedding 層、self-attention 層、feed-forward 層を初期化する場合にのみ使用 する。

初期化されたマルチモーダル機械翻訳モデルは、目的ドメインのマルチモーダル対訳コーパスを用い て追加の学習を行う。

## 3 実験設定

## 3.1 データセットと前処理

表 1 に実験で使用したデータセットの概要を示 す。実験ではそれぞれのモデルを 1 回訓練し、その表 2 Flickr30K Entities JP の結果。“B”は BLEU、“C”は COMET のスコアである。“—は事前学習を行わずに Flickr30K Entities JPのみで訓練した場合の結果である。太字は最高性能を示す。

結果を報告した。

事前学習用データ VTLM の事前学習には Conceptual Captions を用いた。Conceptual Captions は 画像と英語説明文で構成されるデータセットであ り、日本語翻訳文を含まない。本研究では、『みんな の自動翻訳@TexTra $』^{1)}$ を用いて英語説明文を日本語に翻訳し、擬似的なマルチモーダル対訳コーパス を作成した ${ }^{2}$ ) 。英語文は Moses 、日本語文は MeCab [7](IPA 辞書) を用いてそれぞれ単語分割を行った。 その後、BPE [8] を用いて、サブワード化した。BPE のサイズは 50,000 で、英語・日本語でサブワードを 共有した。

マルチモーダル機械翻訳マルチモーダル機械翻訳モデルの訓練・検証・評価には画像と英語説明文 で構成される Flickr30K Entities [9] およびその翻訳で ある Flickr30K Entities JP [6] を用いた。データの切 り分けは WMT 2018 の shared task に従い、訓練デー タ 29,000 事例、検証データ 1,014 事例、評価データ 1,000 事例に分割した。英語文および日本語文はそ れぞれ Moses および MeCab（IPA 辞書）を用いて単語分割を行った。また、サブワード分割には事前学習用データで学習したサブワード分割器を使用し た。評価には BLEU [10] および COMET [11] を使用 した。

## 3.2 機械翻訳モデル

MMT マルチモーダル機械翻訳モデルには Caglayan et al. [4] で使用されたものと同じものを使

1）「みんなの自動翻訳」は、国立研究開発法人情報通信研究機構の登録商標です (第 6120510 号)。「TexTra」は、国立研究開発法人情報通信研究機構の登録商標です（第 5398294 号)

2） 翻訳には汎用 NT モデルを用いた。

図1訓練データを増やしたときの各モデルの性能。括弧内は事前学習の手法である。括弧がないモデルは事前学習を行っていない。

用し、ハイパー・パラメータも同じものを使用し た $^{3)}$ 。このモデルでは、画像特徴量と原文の埋め込 み表現を結合したものを入力とし、翻訳文を出力す るように訓練される。

NMT 画像を使用しない機械翻訳モデルとして、 Transformer (base) [12] を使用した。事前学習を行わ ない場合は、モデルを機械翻訳タスクの訓練事例で 学習を行った。事前学習を行う場合は、学習済みの TLM もしくは VTLM のパラメータでモデルを初期化し、機械翻訳タスクの訓練事例で追加の学習を 行った。

## 3.3 画像特徴量

本研究では事前学習およびマルチモーダル機械翻訳タスクでともに ResNet101 をバックボーンとする Faster R-CNN モデル ${ }^{4}$ を用いて、画像特徴量の抽出 を行った。この画像認識モデルでは 1 つの画像に付 き 36 個の領域について、画像特徴量および物体ラ ベルが抽出される。 1 の画像特徴量は 2,048 次元 である。

## 4 結果

表 2 に結果を示す。VTLM で事前学習をした場合、事前学習を行わない場合に比べ、評価データ において NMT では +2.32 BLEU、MMT では +7.90 BLEU の性能向上が確認できた。一方で、TLM で事前学習した場合と比較すると改善は NMT で +0.33 BLEU, MMT で +0.16 であり、事前学習において画像を使用することの有効性は限定的であることが 分かった。この傾向は [4] の結果と整合しており、

3）詳細はhttps://github.com/ImperialNLP/VTLMを参照。

4) https://github.com/tensorflow/models/blob/ master/research/object_detection/samples/configs/ faster_rcnn_inception_resnet_v2_atrous_oid_v4.config表 3 異なるサブワード分割器によるモデル毎の評価 データにおける COMET スコア。“サブワード分割”列は “入力言語のサブワード分割 $\rightarrow$ 目的言語のサブワード分割”を表しており、“word”ではサブワード分割を行わな い。“29K”/“145K”は 29,000/145,000 事例で訓練した結果 をそれぞれ示す。

} & NMT & 0.2910 & 0.4046 \\
& MMT & 0.1206 & 0.3813 \\
& NMT (VTLM) & 0.4010 & 0.4836 \\
& MMT (VTLM) & $\mathbf{0 . 4 0 6 7}$ & 0.4858 \\

$\rightarrow$ word & MMT & 0.1752 & 0.4896 \\

VTLM が文化的・言語的に近しい言語間（例えば、英独）だけではなく、遠い言語間でも有効であるこ とが示せた。

また、COMET で評価した場合、VTLM で事前学習した MMT モデルが検証および評価で最高性能と なった。

## 5 考察

## 5.1 MT タスクの訓練データ

一般に、MT タスクの訓練データが増えるにつれ、事前学習による改善が逓減する。ここでは、本実験設定において訓練データを増やした場合に最終的な MT モデルの性能を検証する。図 1 に訓練データを 29,000 事例から 145,000 事例に増やした場合の、各 モデルにおける性能の変化を示した。訓練データを 145K 事例に増やした場合でも、VTLM を使った事前学習の有効性は確認できたが、29K 事例の場合に 比べるとその効果が派減していることが分かる。

また、サブワード分割は MT モデルの最終的な性能に大きな影響を与えることが知られている [13]。表 3 に、事前学習データで学習した general サブワー ド分割器を使用したモデルの性能と、SOTA モデル である Zhao et al. [14] に従い、入力言語側では機械翻訳の訓練事例のみで学習した in-domain サブワー ド分割器を使用し、目的言語側ではサブワード分割 を行わないモデルの性能を示す。訓練事例が少ない 場合（29K）は、general サブワード分割器を利用し、 VTLM で事前学習したモデルの性能が良いことが確認できた。一方で、訓練事例が多い場合（145K）で は、 general サブワード分割器を利用し事前学習を
表 4 モデルごとの入力とシステム出力。括弧内にはシステム出力の COMET スコアである。

src (in-domain): an oriental traveler awaits his turn at the curren@@ cy exchange .

NMT: ... が、東洋風の交換会で、自分の順番を待っている。 $(-0.84)$

src (general): an oriental traveler awaits his turn at the currency exchange .

MMT (VTLM)：．. が、紙幣交換所で自分の番を待っている。(0.72)

ref: 東洋人の旅行者が、両替所で順番を待つ。

src (in-domain): girl wearing radio t-shirt has open mouth

NMT: ラジオ T シャツを着た女の子がロを開けている。(0.33)

src (general): girl wearing radio $\mathrm{t} @$ @ @ @ shirt has open mouth

MMT (VTLM)：ラジオの UNK シャツを着た女の子がロを開けている。(-0.77)

ref: RAD I O のT シャツを着た若い女性が、ロを開いている。

行ったとしても、in-domain サブワード分割器を利用し機械翻訳タスクの訓練事例のみで訓練したモデ ルと同程度であった。

## 5.2 サブワード分割

そこで、それぞれのサブワード手法が性能の変化 に与える影響を調べた。まず、general サブワード分割器および in-domain サブワード分割器でそれぞれ サブワード分割した評価データ間の編集距離を計算 し、MMT (VTLM) と in-domain サブワード分割を使用する NMT モデルの性能差との相関係数を算出し た。その結果、入力言語 (英語) の編集距離と性能差には優位な相関はなく、出力言語（日本語）の編集距離と性能差には弱い相関（0.12）が認められた。

また、表 4 では、in-domain サブワード分割器を 使用したモデル（NMT）と general サブワード分割器を使用し VTLM で事前学習したモデル（MMT (VTLM)）のいくつかのシステム出力を示す。上の 例では、in-domain サブワード分割器は “currency” を “currency@@ cy” と分割しており、その結果、正し く翻訳できていない。一方で、general サブワード 分割器は分割を行っておらず、“紙幣”と翻訳でき ている。下の例では、逆に general サブワード分割器が “t-shirt” を“t@@ - @ shirt” と分割したため、正しく翻訳できていない。これは、各サブワード分割器が学習した訓練事例での出現頻度に依存してお り、実際 “t-shirt” は Conceptual Captions では一度も 出てこず、Flickr30K Entities では 1,181 回出現する。 このように、十分に機械翻訳の訓練事例に出現する 単語については、分割を行わず、機械翻訳タスクで 単語単位の埋め込み表現を学習することで、翻訳精度を向上させると考えられる。

## 6 関連研究

マルチモーダル機械翻訳は Multi30K データセッ 卜 [15] が提案されていこう、様々な手法が提案され てきた。一方で、Multi30K は小規模なデータセット であるため、Multi30K データセット以外の資源を用 いてマルチモーダル機械翻訳モデルの性能を向上 させる試みが、当初から行われてきた。Grönroos et al. [16] は字幕ドメインの対訳コーパスでマルチモー ダル機械翻訳を事前学習することで、Multi30Kにお ける翻訳性能を大幅に改善した。Hirasawa et al. [17] は単言語コーパスから学習した単語分散表現や（視覚）言語モデルをマルチモーダル機械翻訳モデルに 統合することで、翻訳精度を改善した。

## 7 おわりに

本研究では、視覚翻訳言語モデルがマルチモーダ ル英日翻訳に適用できるかどうかを検証した。実験 の結果、大規模な疑似マルチモーダル対訳コーパス で学習した VTLM は英日翻訳の品質を向上させる ことが示された。一方で、機械翻訳の訓練事例が増 えるに連れ、その効果は派減していき、機械翻訳の 訓練事例のみで訓練した機械翻訳モデルと同程度に なることが分かった。

本研究では、VTLM の有効性を制限する一因とし て、事前学習データで学習したサブワード分割器が 機械翻訳の訓練事例を分割するのに最適ではないこ とを示した。今後は、事前学習で学習したサブワー ド分割器を機械翻訳タスクの訓練でサブワードの更新や分割の微調整することで、機械翻訳タスクの訓練事例からも適切に学習できるような手法を検証し ていきたい。

## 参考文献

[1] Kenji Imamura and Eiichiro Sumita. Recycling a pretrained BERT encoder for neural machine translation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 23-31, Hong Kong, November 2019. Association for Computational Linguistics.

[2] Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li, and Tieyan Liu. Incorporating BERT into neural machine translation. In International Conference on Learning Representations, 2020.

[3] Guillaume Lample and Alexis Conneau. Crosslingual language model pretraining. arXiv preprint arXiv:1901.07291, 2019.

[4] Ozan Caglayan, Menekse Kuyu, Mustafa Sercan Amac, Pranava Madhyastha, Erkut Erdem, Aykut Erdem, and Lucia Specia. Cross-lingual visual pre-training for multimodal machine translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1317-1324, Online, April 2021. Association for Computational Linguistics.

[5] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2556-2565, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4204-4210, Marseille, France, May 2020. European Language Resources Association.

[7] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910.github. io/ mecab/.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30K Entities: Collecting region-tophrase correspondences for richer image-to-sentence models. International Journal of Computer Vision, Vol. 123, No. 1, pp. 74-93, 2017.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[11] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Jia Xu, Jianfeng Gao, Kristina Toutanova, and Hermann Ney. Bayesian semi-supervised Chinese word segmentation for statistical machine translation. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 1017-1024, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[14] Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, and Chenhui Chu. TMEKU system for the WAT2021 multimodal translation task. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 174-180, Online, August 2021. Association for Computational Linguistics.

[15] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 603-611, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[17] Tosho Hirasawa, Masahiro Kaneko, Aizhan Imankulova, and Mamoru Komachi. Pre-trained word embedding and language model improve multimodal machine translation: A case study in Multi30K. IEEE Access, Vol. 10, pp. 67653-67668, 2022.


# 潜在拡散モデルによる変換画像を用いる マルチモーダルニューラル機械翻訳

湯浅 亮也 ${ }^{1}$ 田村 晃裕 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮崇 ${ }^{2}$ 加藤 恒夫 ${ }^{1}$
1 同志社大学 2 愛媛大学
${ }^{1}\{$ ctwh0190@mail4, aktamura@mail, tsukato@mail \}.doshisha.ac.jp
${ }^{2}\{$ kajiwara,ninomiya $\}$ cs. ehime-u.ac.jp

## 概要

本研究では，潜在拡散モデルによる画像変換で 生成した擬似画像を用いる新しいマルチモーダル ニューラル機械翻訳（MNMT）を提案する．MNMT は，原言語文と関連画像に基づき翻訳を行うが，関連画像は必ずしも原言語文の内容のみを表している わけではなく, 関連画像内には原言語文とは無関係 な箇所も存在する場合が多い。そのため, 関連画像 は翻訳の補助情報として最適とは限らない. そこで 提案手法では，原言語文に基づき関連画像を潜在拡散モデルで画像変換することで，原言語文の内容に 沿った疑似画像を生成し，生成した疑似画像を用い て翻訳を行う．Multi30k データセットを用いた英独翻訳実験を行い，提案手法の有効性を確認した。

## 1 はじめに

近年，機械翻訳の分野では，原言語文に加えて関連画像を翻訳に使用する MNMT [1]が注目されてい る. 関連画像により, 翻訳時の曖昧性を解消した り，テキスト情報だけでは捉えることが困難な情報 を補完したりすることで，翻訳性能の改善が期待さ れている. MNMT では, 通常, 画像キャプション 生成のデータセットを多言語に拡張した原言語文 と目的言語文，関連画像の 3 つ組データからなる データセットを使用する. しかし, 画像には様々 な内容が含まれており, 原言語文は関連画像が表 す内容の一部になっている場合が多く, 原言語文 とは無関係な箇所が関連画像に存在する場合も多 い. 図 1 に MNMT の標準的なデータセットである Multi30k データセット [2] の実例を示す. 図 1 のよ うに, Multi30kでは一つの画像に内容の異なる複数 の原言語文が関連づけられている。そして，例え ば，原言語文 2 には関連画像に写っている家に関す
る内容が含まれていない，そのため，関連画像は翻訳の補助情報として最適とは限らない.

そこで本研究では，潜在拡散モデルによる画像変換で生成した擬似画像を用いる新たな MNMT を提案する。具体的には，関連画像と原言語文を用いて 潜在拡散モデルにより画像変換を行い，関連画像か ら原言語文とは無関係な内容を排除し，関連画像を 原言語文に即した内容に変換する。そして，変換さ れた擬似画像を関連画像として用いて MNMT モデ ルで翻訳を行う。このように原言語文の内容をより 反映した関連画像を翻訳の補助情報をして用いるこ とで翻訳の性能改善を試みる。

提案手法の有効性を，Multi30k [2] と Ambiguous $\mathrm{COCO}[3]$ を用いた英独翻訳タスクで検証した. そ の結果，提案手法により，Multi30k の教師データを そのまま用いる従来の MNMT と比較して, Multi30k Test2016 と Test2017 でそれぞれ 0.14, Ambiguous COCO で 0.39，BLEU スコアが改善することを確認 した。また，CLIPScore [4]を用いて関連画像と原言語文の類似度を算出した結果，提案手法で用いた関連画像の方が，変換前の関連画像よりも原言語文に 即した画像であることを確認した。

## 2 従来 MNMT モデル

近年の MNMT では，Transformer [5] ベースの MNMT モデルが主流となっている. その翻訳性能 を改善するため，これまで，視覚的注意機構の導入 [6] や共有エンコーダを用いてテキストと画像の 特徴表現を同時に学習する手法 [7] など様々な試み がなされている．その一つに，関連画像のパッチ と原言語文の単語の関連を捉える注意機構である Selective Attention を用いる Transformer MNMT [8] が 提案されている. 本研究ではベースの MNMT モデ ルとして, この Selective Attention MNMT モデルを

図 1 提案手法の概要図

使用する．以降では，Selective Attention MNMT モデ ルを概説する。

Selective Attention MNMT モデルでは，まず，原言語文 $X^{\text {text }}$ と関連画像 $X^{\mathrm{img}}$ をれぞれ, 式 (1) と式

$
\begin{gathered}
H^{\text {text }}=\text { TextEncoder }\left(X^{\text {text }}\right) \\
H^{\text {img }}=W \text { ImageEncoder }\left(X^{\text {img }}\right)
\end{gathered}
$

ここで，W，TextEncoder，ImageEncoder は，それぞ れ，パラメータ行列, Transformer Encoder, Vision Transformer [9] である.

そして, 式(3)の通り, Selective Attention で画像の パッチと原言語の単語の関連を注意機構で捉える。

$
H_{a t t n}^{\mathrm{img}}=\operatorname{Softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

ここで， $Q, K, V$ は，それぞれ， $H^{\text {text }}, H^{\text {img }}, H^{\text {img }}$ であり,$d_{k}$ は $H^{\text {text }}$ の次元数である.

その後, Gated Fusion 機構 [10] により, 関連画像 の影響度を制御して原言語文と関連画像を表す特徴

画像の特徵べクトルから式 (4)を用いて関連画像の 影響度をコントロールする $\lambda$ を算出し, 式 (5) のよ うに入で重み付けした特徵表現 $H^{\text {out }}$ を生成する.

$
\begin{gathered}
\lambda=\operatorname{Sigmoid}\left(U H^{\text {text }}+V H_{\text {attn }}^{\mathrm{img}}\right) \\
H^{\text {out }}=(1-\lambda) \cdot H^{\text {text }}+\lambda \cdot H_{\text {attn }}^{\mathrm{img}}
\end{gathered}
$

ここで，Uと $V$ は学習可能なパラメータ行列であ る.そして, $H^{\text {out }}$ Transformer Decoder に入力し,翻訳文を生成する。

## 3 提案手法: 潜在拡散モデルによる 変換画像を用いる MNMT

本節では，原言語文に基づいて関連画像を変換し た擬似画像を使って翻訳を行う MNMT モデルを提案する. 図 1 に提案手法の概要を示す.

MNMT のデータセットは，原言語文と目的言語文，関連画像の 3 つ組データで構成される. 従来使 われているデータセットでは，各原言語文は関連画像が表す内容の一部になっている場合が多く, 原言語文とは無関係な内容が関連画像に存在する場合も 多い，例えば，図 1 の画像は，ピンク色のドレスを 着た少女が階段を上って木造の家に入っている場面 を表しているが，原言語文 1 には階段を上っている という内容は含まれていない。また，原言語文 2 に は家に関する内容は含まれていない。そのため，関連画像は翻訳の手がかりとして最適とは限らない.

そこで提案手法は，まず，潜在拡散モデルにより，関連画像から原言語文とは無関係な内容を排除して 原言語文に即した疑似画像を生成する。そして，生成した疑似画像と原言語文を用いて従来の MNMT モデルにより翻訳を行う。これにより，関連画像と テキストの関連が翻訳時に捉えやすくなり，翻訳性能が向上することが期待できる． 3.1 節では，関連画像を変換する潜在拡散モデルを説明する。 ベース となる従来 MNMT モデルは，実験では，2 節で説明 した Selective Attention MNMT モデルを用いた.

## 3.1 画像変換 : 潜在拡散モデル

提案手法の画像変換で使用する潜在拡散モデル [11]を説明する．潜在拡散モデルは，VAE [12] の潜

図 2 潜在拡散モデルの学習の概要図

在空間に対して拡散モデル [13] を適用させたモデル で，主に VAE，U-Net [14], Text Encoder で構成され る（図 2 参照）。潜在拡散モデルでは，VAE Encoder を用いて入力画像をピクセル空間から低次元の潜在空間に射影し，その潜在表現を得る。そして，拡散 プロセスで潜在表現に対してガウシアンノイズを連続的に付与する. その後, 逆拡散プロセスで，ノイ ズが含まれた潜在表現からノイズを除去する。その 際，U-Net に対して，Text Encoder で変換したテキス トの特徴表現で条件付けを行う。この条件付けは， Cross Attention で実現する. このプロセスを複数回実施することで，ノイズが含まれた潜在表現から 徐々にノイズを除去する。最後に, VAE Decoder に より，ノイズが除去された潜在表現を潜在空間から ピクセル空間に射影して出力画像を得る.

損失関数は式 (6) の通りである.

$
L_{\mathrm{LDM}}:=\mathbb{E}_{\varepsilon(x), y, \epsilon \sim \mathcal{N}(0,1), t}\left[\left.\|\epsilon-\epsilon_{\theta}\left(z_{t}, t, \tau_{\theta}(y)\right)\right.\|_{2}^{2}\right]
$

ここで， $\varepsilon, \epsilon_{\theta}, \tau_{\theta}$ ，は，それぞれ，VAE Encoder, U-Net，Text Encoderを表し， $x, y ， \epsilon, t, z_{t}$ ，は，入力画像，テキスト，ガウシアンノイズ，時刻，時刻 $t$ の潜在表現である.

提案手法では，この潜在拡散モデルにおいて，関連画像と原言語文を，それぞれ，VAE Encoder と Text Encoderの入力にすることで，関連画像を原言語文 に即した画像に変換する。

## 4 実験

## 4.1 実験設定

本実験では，Multi30k と Ambiguous COCO を用い た英独翻訳タスクで提案手法の有効性を検証した。学習・検証データとして, Multi30k の学習データ （29,000 組）と検証データ（1,014 組）を使用し，テ ストデータには，Multi30kの Test2016（1,000 組）と Test2017（1,000 組)，Ambiguous COCO（461 組）を 使用した.

本実験では，3 節で説明した提案手法の翻訳性能 を，関連画像を用いないNMT モデル，関連画像とし てデータセットの画像をそのまま使用した MNMT モデル，原言語文のみから生成した画像を関連画像として使用した MNMT モデルの翻訳性能と比較 した．以降では，各モデルをそれぞれ，MNMT（変換画像)，NMT， MNMT (原画像)，MNMT (生成画像）と記す。

NMT モデルは，Transformer-Tiny 1)を用いた.こ のモデルは，通常の Transformer モデルよりも，レ イヤー数や隠れ層のサイズ，注意機構のへッド数な どを削減した小規模なデータセットに適した NMT モデルである ${ }^{2)}$. ハイパーパラメータは，先行研究 [15] の実験設定に倣い，エンコーダとデコーダのレ イヤー数を 4 ，隠れ層のサイズを 128 ，順伝播層の入 カサイズを 256 ，注意機構のヘッド数を 4 , Dropout を 0.3, label smoothing weight を 0.1 とした. 最適化手法は Adam [16] を使用し, $\beta_{1}=0.9, \beta_{2}=0.98$ とし た. また，学習率は，最初の 2,000 ステップで $1 \mathrm{e}^{-7}$ から $5 \mathrm{e}^{-3}$ まで warmupを線形に行い, その後, 学習回数に応じて学習率を減少させた. 語彙辞書は原言語と目的言語で共有し, Byte Pair Encoding [17]によ りマージ操作を 10,000 回として作成した.

MNMT モデルは, 2 節で説明した Selective Attention

1) https://github.com/LividWo/Revisit-MMT

2）文献[15] では, Multi30k データセットにおいて Transformer Base/Small よりも翻訳性能が高いことが報告されている.
表 1 実験結果 : 英独翻訳（BLEU[\%]）

 &  &  \\

MNMT (原画像) & 41.06 & 32.06 & 27.91 \\
MNMT (生成画像) & 40.81 & 31.81 & $\mathbf{2 8 . 5 4}$ \\
MNMT (変換画像) & $\mathbf{4 1 . 2 0}$ & $\mathbf{3 2 . 2 0}$ & 28.30 \\

MNMT $^{3)}$ を用いた. 画像の特徵抽出には，Vision Transformer の vit_base_patch16_384 ${ }^{4)}$ を使用した。 MNMT（生成画像）やMNMT（変換画像）で行う 関連画像の生成や画像変換には，潜在拡散モ デルをべースとする Stable Diffusion 5)を採用し， モデルは stable-diffusion-v1-5 ${ }^{6)}$ を使用した。実装 には, それぞれ, diffusers ${ }^{7)} の$ StableDiffusionPipeline と StableDiffusionImg2ImgPipeline を用いた. 画像生成では，デフォルトのパラメータを使用し， guidance_scaleを 7.5 , num_inference_steps を 50 として 原言語文から画像を生成した. また，画像変換でも デフォルトのパラメータを使用し, strengthを 0.8 , guidance_scaleを 7.5, 初期値を関連画像として原言語文を用いて画像変換した．学習時のハイパーパラ メータと最適化手法, 語彙辞書作成方法は, NMT モデルの実験設定と同じである.

全モデルにおいて，学習終了直前の 10 エポック のモデルに対して checkpoint averagingを行い，ビー ム幅 5 のビーム探索により翻訳文を生成した. 評価指標は，BLEU [18]を使用した。また，異なる 5 つ の random seed で学習・検証し, 最も検証データに 対する BLEUが高いモデルを評価した。

## 4.2 実験結果

表 1 に実験結果を示す，表 1 より，画像情報を使用しない NMT モデルより，画像情報を使用する 3 種類の MNMT モデルの方が全てのデータセットに おいて BLEUが高いことが分かる。これより, 本実験で用いたデータセットにおいては，画像情報が翻訳性能の改善に寄与することが確認できた.

また，MNMT モデル間の比較では，Test2016と Test2017 においては提案手法である MNMT（変換画像）が最も高い翻訳性能を達成した. Ambiguous

表 2 CLIPScore : 原言語文と関連画像の類似度

 & Ambiguous \\
& 2016 & 2017 & COCO \\

MNMT (変換画像) & 79.74 & 79.35 & 80.08 \\

COCOにおいては, MNMT (生成画像) の方が MNMT （変換画像）よりも高い翻訳性能となったが，全体的には, MNMT (変換画像) の方が良い結果となり,提案手法の有効性を確認した。

## 5 考察

本節では，提案手法で用いた疑似画像（潜在拡散 モデルにより原言語文に基づき関連画像を変換した 画像）を分析する。変換した画像の例は付録 A に 示す. MNMT で使用した画像が原言語文をどれだ け反映していたかを調査するため，使用した画像 と原言語文の類似度を，式（7）の通り算出される CLIPScore [4] を用いて評価する.

$
\operatorname{CLIPScore}(\boldsymbol{c}, \boldsymbol{v})=w \cdot \max (\cos (\boldsymbol{c}, \boldsymbol{v}), 0)
$

ここで, $\boldsymbol{c}$ と は，それぞれ, CLIP [19]の Text Encoder と Image Encoder の特徴べクトルである. また， $w$ は出力をリスケーリングするために使用され，ここ では先行研究 [4] 亿倣い 2.5 とする.

表 2 に評価結果を示す. 表 2 より，全てのデー タセットにおいて，提案手法で画像変換した擬似画像の方が，元々の関連画像よりも原言語文との 類似度が高いことが分かる. 特に，曖昧性を含む Ambiguous COCO では類似度が改善し, CLIPScore が 1.91 向上した. これらの結果から, 提案手法では 原言語をより反映した関連画像を翻訳の手がかりと して利用できることを確認した.

## 6 おわりに

本研究では，潜在拡散モデルにより関連画像を原言語文に即した画像に変換し，変換した画像を用い る新たな MNMTを提案した. Multi30kを用いた英独翻訳タスクによる実験を行い，提案手法の方が従来手法より高い翻訳性能を実現できることを確認 し，提案手法の有効性を確認した．また，MNMTで 使用した画像と原言語文の類似度を CLIPScore で評価し，提案手法で用いた画像の方が元の画像よりも 原言語文に類似した画像であることを確認した. 今後は英独以外の言語対に対しても有効性を検証し たい.

## 謝辞

本研究の一部は JSPS 科研費 JP22K12177, JP21K12031 の助成を受けたものである.また，本研究成果の一部は, 国立研究開発法人情報通信研究機構の委託研究 (No. 225) により得られたもので ある.ここに謝意を表する。

## 参考文献

[1] Lucia Specia, Stella Frank, Khalil Sima'an, and Desmond Elliott. A shared task on multimodal machine translation and crosslingual image description. In Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers, pp. 543-553, 2016.

[2] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, 2016.

[3] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the second shared task on multimodal machine translation and multilingual image description. In Proceedings of the Second Conference on Machine Translation, pp. 215-233, 2017.

[4] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: A reference-free evaluation metric for image captioning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7514-7528, 2021.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[6] Tetsuro Nishihara, Akihiro Tamura, Takashi Ninomiya, Yutaro Omote, and Hideki Nakayama. Supervised visual attention for multimodal neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4304-4314, 2020.

[7] Desmond Elliott and Ákos Kádár. Imagination improves multimodal translation. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 130-141, 2017.

[8] Bei Li, Chuanhao Lv, Zefan Zhou, Tao Zhou, Tong Xiao, Anxiang Ma, and JingBo Zhu. On vision features in multimodal machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6327-6337, 2022.

[9] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021.
[10] Zhuosheng Zhang, Kehai Chen, Rui Wang, Masao Utiyama, Eiichiro Sumita, Zuchao Li, and Hai Zhao. Neural machine translation with universal visual representation. In International Conference on Learning Representations, 2020.

[11] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[12] Diederik P. Kingma and Max Welling. Auto-Encoding Variational Bayes. In 2nd International Conference on Learning Representations, 2014.

[13] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 2256-2265, 2015.

[14] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015, pp. 234-241, 2015.

[15] Zhiyong Wu, Lingpeng Kong, Wei Bi, Xiang Li, and Ben Kao. Good for misconceived reasons: An empirical revisiting on the need for visual context in multimodal machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6153-6166, 2021.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations (Poster), 2015.

[17] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[19] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 8748-8763, 2021.

## A 付録

原言語文

a man grilling meat on an outdoor grilling pit .

原言語文

a young girl in a red dress is wearing a black cowboy hat .

原言語文

a man wearing black and white stripes is trying to stop a horse .

原言語文

one man holds another man's head down and prepares to punch him in the face .

図 3 原言語文を用いて Multi30k の関連画像を画像変換した場合の成功例（左）と失敗例（右）


# 視覚と言語の融合モデルにおける知識の振る舞いを調査する ための表と画像の生成タスクの提案及びその調査結果

上垣外英剛 1 林克彦 2 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 北海道大学
\{kamigaito.h,taro\}@is.naist.jp katsuhiko-h@ist.hokudai.ac.jp

## 概要

本研究では視覚と言語の融合タスクであるVision \& Language (V \& L) において，自然言語から獲得さ れたエンティティに関する知識がどのように V \& L モデルに保持されているかを検証するための新タス ク，表と画像の生成を提案する。このタスクはエン ティティと関連する画像からそれらに関する知識 を含む表を生成するタスクと，エンティティとキャ プション及び関連する知識を含む表から画像を生成するタスクの二つで構成される. 我々は提案タス ク遂行のためのデータセットを英語版 Wikipedia の Infobox から作成し, 複数タスクで最高精度を達成 している V \& L モデル OFA で上記の検証を実施し た.その結果，OFA はエンティティに関する知識の 一部を事前学習時に忘却しており，それらの補完は 良質な画像の生成に寄与することが判明した.

## 1 はじめに

近年，視覚と言語の融合タスクであるVision \& Language (V \& L) ではキャプション生成 [1] やテキ ストからの画像生成 [2] に代表されるような大きな 成功を収めている。この進展の背景には大規模デー タにより事前学習された事前学習済み V \& L モデル が存在している [3].

事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルにおいて，入力に対し て適切なキャプションや画像を生成するためには，事前学習済み V \& L モデルが生成対象の特徴に関す る知識を事前に保持している必要がある $[4,5]$. 現在，これらのモデルにおいて特にエンティティに関 する知識は，自然言語処理で利用されている事前学習済み言語モデルのパラメータを引き継ぐことで，間接的に Wikipedia などのデータ資源を利用するこ とで保持されている。このようにして V \& L モデル に引き継がれた知識は，視覚と言語を横断したデー

図 1 Wikipedia 記事中に含まれる Infobox の例 ${ }^{11}$. 本研究 では Infobox 中の画像及び表の箇所を生成することで，V \& L モデルの検証を行う.

タセットによって追加の学習を行うことで画像に関 する表現と対応付けられる $[6,7,8,9,10]$.

この学習過程において，自然言語から獲得された 知識は事前学習済み V \& L モデルの内部に適切に保持されているのか，あるいは画像の持つ特徵と組み 合わせられることにより補強されているのかという 問いは事前学習済み V \& L モデルにより生成可能な 対象の限界を知る上での重要な疑問である。

本研究ではそのような疑問を解消するために英語版 Wikipedia の各記事に含まれている Infobox を対象 データとした，表と画像の生成タスクを提案する.図 1 に本研究が対象とする Infobox の例を示す.こ の例に示されているように，提案タスクでは，表ま たは画像を生成する。いずれの場合においても適切 に生成するためには，モデルが生成対象のエンティ ティに関する知識を把握していなければならない。

我々は提案タスクを遂行するために必要なデータ セットを約 20 万件からなる Infobox を収集すること で構築した. さらに我々は現在様々な V \& L タスク

図2OFAの学習過程. 本研究では事前学習時に Wikipedia から獲得されたエンティティに関する知識がど のように OFA に残されているのかを調査する.

で最高精度を達成している事前学習済み V \& L モデ ルである OFA [10]を用いた検証を行った.

検証の結果，表の生成において，自然言語から獲得された知識の一部は V \& L モデルにおける追加学習により消失することが判明した。また画像情報の 利用により自然言語のみでは獲得されていなかっ た，エンティティが含む情報の種類に関する知識を 新たに獲得していることが判明した。

画像生成においては，表に含まれる知識を利用す ることでより正確な画像を生成できることが明らか になった．また，自然言語だけで学習されたモデル により推測された知識を利用することで生成される 画像の多様性を向上させることが可能であることも 判明した。

## 2 Vision \& Language モデル

様々なタスクで最高精度を更新している事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルの多く $[6,7,8,9,10]$ は自然言語及 び画像における事前学習済みモデルの重みを引き継 いだ上で，自然言語と画像を横断したデータでの学習を行っている. 本研究ではこのような学習過程を 経て，自然言語を対象とした事前学習済みモデルに 含まれていた知識がどのように変容するのかを検証 する。なお，検証の対象としては複数の V \& L タス クで最高精度を達成している OFAを選択する。

図 2 にOFA のネットワーク構造と各タスクとの関連を示す. ${ }^{2}$ OFA ではデコーダ上で VQGAN [11] に より画像を離散系列に変換して扱うことにより画像生成, 自然言語生成を同一の Transformer [12] で行っ ている。また，この Transformer は BART [13] の重み を用いて初期化されるため，OFA には Wikipedia な どの自然言語から獲得される知識が含まれているこ とが期待できる．なお，エンコーダではデコーダと

2）各学習過程で使用されているデータセットの詳細について は付録 Aに記す。

表 1 各タスクの概要。それぞれの用語が指す Infobox 中 の部位については図 1 を参照.

Alternative names|Fish supper / Fish 'n' chips<>Course|Main dish<>Place of origin|England<>Region or state|Northwestern Europe $<>$ Serving temperature $\mid$ Hot $<>$ Main ingredients $\mid$ Battered and fried fish with deep-fried chips

図 3 直列化された表の例.この例は図 1 の表を直列化し たものである。

異なり画像を直接扱うために，BART から引き継い だ埋め込み層に加え, ResNet [14] の出力を画像の埋 め込みとして使用している。

## 3 提案タスク: 表と画像の生成

本節では V \& L モデルにおける知識の振る舞いを 検証するための二つのタスク，表の生成と画像の生成についての説明を行う。いずれのタスクについて も Wikipedia 記事中の Infobox に基づく. Infobox は Wikipedia 本文の情報に対応しているため3)，事前学習済み $\mathrm{V}$ \& L モデルが記憶している Wikipedia 中の 知識を検証する上で適している。次節以降でそれぞ れのタスクの詳細についての説明行う。

## 3.1 表の生成

表の生成タスクにおいて，対象となる V \& L モ デルは入力された Infobox のタイトルとしてのエン ティティまたはそれに画像を結合した入力から表を 生成する．表の生成に関しては説明文からの表の生成 [15] と同様に，表をテキストで直列化することで 行う．我々の設定では，事前学習時の辞書に含まれ るトークンを流用するために，列の区切り文字|と 行の区切り文字く>を用いて図 3 のように直列化さ れる. 対象となるモデルの検証はこのような直列化 されたテキストを直接生成することによって行われ る. 検証については次のような設定を用いて行う。

タイトルのみからの生成 事前学習済み V \& L モ デルと自然言語のみで学習された事前学習済みモデ ルにおいて，タイトルのみから生成した表を比較す ることで，V \& L モデルが保持している自然言語の みを対象としたエンティティに関する知識を検証 する。

画像を含む入力からの生成 画像を含む入力から 表を生成し，その結果をタイトルのみを入力とした 場合の結果と比較する。これにより，画像を考慮す ることで $\mathrm{V} \& \mathrm{~L}$ モデルが新たに獲得した知識につい てを検証する。

評価尺度検証のための比較に際しては生成され た表が実際のものにどれほど近いかを測ることによ り行うため，次のような評価尺度を用いる。

ROUGE: 直列化された表はテキストデータであり， かつ Infobox は本文に対する要約の役割を担ってい ることから，自動要約の評価に使用されることが多 いROUGE [16] を使用する。なお，ROUGEでの評価 においては文字列の連なりが行や列に制限されない よう，列の区切り文字|と行の区切り文字く>をス ペースに変換した上で行う.

Macro-F F $_{1}$ : 表の構造を考慮した評価を行うために， セルを種類毎に分けた上で参照となる表に対する一致を各事例毎に $\mathrm{F}_{1}$ 値によって評価し, 平均化する. なお，一致を計算する際には，同一のセルが繰り返 して出力されることによるスコアの増大を防ぐため に，ROUGE の計算に使用されているクリッピング を適用する。セルの種類については下記のように分 けて評価する。

- グループ: Infobox 中の表はグループに分けられる ことがあり，各グループの最初の行がグループ名を 表すへッダとなっている. グループ名に対する予測 の精度は，モデルがエンティティに対しどのような 側面での知識を持っているかを検証する上で重要で ある.

一ヘッダ: Infobox 中の 2 列以上の列からなる各行の 先頭は通常，その同じ行で後続するセルのへッダと なっている. 従って，グループ名と同様の理由で ヘッダへの予測精度は重要である.

- 值: Infobox 中の 2 列以上の列からなる各行の 2 列 め以降のセルはへッダに対応する值を持っている.従って，値への予測精度はモデルがエンティティに 対して詳細な知識を保持しているかを知る上で重要 である。なお評価時にはへッダとグループへの対応関係を考慮するために，対応するグループ名とへッ ダを值と合わせた 3 つ組として扱う。

Micro- F $_{1}$ : 上記の Macro- $\mathrm{F}_{1}$ では事例毎に計算を行う ため，モデルがどれだけ多様な知識を出力している かを評価することが困難である．この問題を解決す るために，事例全体を横断してセルを共有し，一括 で $\mathrm{F}_{1}$ 值を計算する.

表 2 各データセットのサイズ.

## 3.2 画像の生成

画像の生成タスクでは，モデルは Infobox のタイ トルとキャプションまたは追加的に表を入力とし，対応する画像を生成する．検証については下記のよ うな設定に基づいて実施する。

タイトルとキャプションからの画像の生成 画像生成に最低限必要な入力を用いることで，他のデー タセットと比較した際の生成の難しさを検証する。

タイトルとキャプションと表からの画像の生成表を含めた上で画像を生成し，その結果を上記の表 を入力しない際の設定と比較することで，エンティ ティに関する知識が画像生成に与える影響について 調査する。

評価尺度 画像生成の評価については現状で広く 使われている下記の三つを使用する。

CLIP: 入力テキストと生成画像の関連度を測る尺度. 事前学習済み V \& L モデルである CLIP [17] に よって推測される.

Inception Score (IS): それぞれの画像の差異を識別乙易い，多様な画像が生成されていることを測 る尺度 [18]. 事前学習済み画像分類モデルである Inception-v3 [19] によって推測される.

Frechet Inception Distance (FID): 生成画像が参照画像にどれだけ近いかを測る尺度．IS と同様に Inception-v3 によって推測される. 低いほど良い.

## 4 データセットの作成

データセットは英語版 Wikipedia の HTML ダンプ データ4)から Infobox を抽出することで作成した。生成対象の形式を揃えるため，抽出対象の Infobox は図 1 のように，一行目にタイトルを，二行目に画像を含むものに限定した。また，対象とする画像は jpeg 及び png 形式のものに限定した。なお，一部の キャプションについてはタイトルを含んでいない ため，そのような事例に関してはハイフンを用いて キャプションの先頭にタイトルを結合した.

表 2 に各データセットのサイズを示す。なお，両 タスクでデータセットサイズが異なるのは一部の

表 3 表の生成における各設定の結果. 太字は最も高いスコアを，个はスコアが高いほど良い結果であることを示す.

表 4 画像の生成における各設定の結果. 」はスコアが低 いほど良い結果であることを示す. その他の表記につい ては表 3 と同様.

Infobox がキャプションを含まないためである5).

## 5 検証

## 5.1 表の生成

設定 比較対象のモデルとして事前学習済み $\mathrm{V}$ \& L モデルである OFA と自然言語のみで事前学習さ れた BART を選択した. 両モデルともに base モデ ルの重みを使用した。ハイパーパラメータについて は OFA の論文で報告されているものを使用した6)

結果 表 3 に表の生成における各設定の結果を示 す. タイトルのみを入力とした際には，BART の結果が OFA よりも高いことから, 自然言語から獲得 された知識の一部は V \& L モデルにおける追加学習 により消失することが分かる. また画像情報の利用 によりへッダに対する Macro-F $F_{1}$ が改善されること から，画像を利用することでエンティティがどのよ うな種類の特徴を持つかという知識が補強されるこ とが分かる. その一方， セルの值に対する $\mathrm{F}_{1}$ が改善されないことから，画像から得られる情報は自然言語から獲得された各へッダに対応する值のような 詳細な知識を補うものではないことが分かる。

## 5.2 画像の生成

設定 表の生成と同様に，比較対象のモデルとし て事前学習済み V \& L モデルである OFA を選択し た. 表を入力する際には参照 (Gold), $\S 5.1$ の出力結

5）データセットの詳細は付録 $\mathrm{B}$ に記載.

6）付録 C. 1 に実験設定の詳細を記載果のそれぞれを使用した。重みについては base モ デルを使用した. ハイパーパラメータについては OFA の論文に記載されているものを使用した7).

結果 表 4 に画像の生成における各設定の結果を 示す.この結果は CLIP の値では MS COCO [20] に おける画像生成の結果 [10] と近しいため, 作成した データセットのモデル学習における使用は妥当であ ると考えられる．また，表 (Gold) を入力することに よりいずれの評価尺度も改善されていることから， エンティティに関する知識を補完してモデルに与え ることにより，より質が高い画像が生成されること が分かる. この結果は OFA において Wikipedia に含 まれるエンティティに関する知識が十分に保持され ていないことを示している.

また，自動生成された表を与えた場合には CLIP 及び FID における性能の改善は確認できない。一方 でBART により自動生成された表を使用することで IS については改善していることから，自動生成され た表を用いることで出力画像の多様性が改善される ことと，質が高い画像生成のためには表の予測精度 が重要であることが分かる.

## 6 まとめ

本研究では事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルに含まれて いる，自然言語のみから学習されたエンティティに 関する知識が言語と画像を用いた追加学習を経てど のように保持されているかを検証した。

検証は英語版 Wikipedia から 20 万件の Infobox を 抽出し，それらに含まれている画像と表を生成する ことで実施した。

事前学習済み V \& L モデルである OFA を対象と した実験の結果，上記の知識は事前学習時に忘却さ れており，画像情報がその知識を完全に補っている わけではないことが示された。また画像生成におい てはそれらの知識を適切に補うことで，より良質な 画像が生成可能なことも示された. なお，本研究で 使用したコードとデータセットは公開予定である.

7）付録 C. 2 に実験設定の詳細を記載

## 謝辞

本研究は JSPS 科研費 JP21K17801 の助成を受けた ものです.

## 参考文献

[1] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 2048-2057, Lille, France, 07-09 Jul 2015. PMLR.

[2] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, and Honglak Lee. Generative adversarial text to image synthesis. In Maria Florina Balcan and Kilian Q. Weinberger, editors, Proceedings of The 33rd International Conference on Machine Learning, Vol. 48 of Proceedings of Machine Learning Research, pp. 1060-1069, New York, New York, USA, 20-22 Jun 2016. PMLR.

[3] Yifan Du, Zikang Liu, Junyi Li, and Wayne Xin Zhao. A survey of vision-language pre-trained models. In Lud De Raedt, editor, Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence, IJCAI-22, pp. 5436-5443. International Joint Conferences on Artificial Intelligence Organization, 7 2022. Survey Track.

[4] Tian Yun, Chen Sun, and Ellie Pavlick. Does vision-and-language pretraining improve lexical grounding? In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 4357-4366, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, pp. 565-580, Cham, 2020. Springer International Publishing.

[6] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for visionand-language tasks. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[7] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei, and Jifeng Dai. Vl-bert: Pre-training of generic visual-linguistic representations. In International Conference on Learning Representations, 2020.

[8] Gen Li, Nan Duan, Yuejian Fang, Ming Gong, and Daxin Jiang. Unicoder-vl: A universal encoder for vision and language by crossmodal pre-training. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 07, pp. 11336-11344, Apr. 2020.

[9] Jaemin Cho, Jie Lei, Hao Tan, and Mohit Bansal. Unifying visionand-language tasks via text generation. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 1931-1942. PMLR, 18-24 Jul 2021.

[10] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th Inter- national Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 23318-23340. PMLR, 17-23 Jul 2022.

[11] Patrick Esser, Robin Rombach, and Björn Ommer. Taming transformers for high-resolution image synthesis, 2020.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2016.

[15] Xueqing Wu, Jiacheng Zhang, and Hang Li. Text-to-table: A new way of information extraction. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2518-2533, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[16] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[17] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 8748-8763. PMLR, 18-24 Jul 2021.

[18] Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, Xi Chen, and Xi Chen. Improved techniques for training gans. In D. Lee, M. Sugiyama, U. Luxburg, I. Guyon, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 29. Curran Associates, Inc., 2016.

[19] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826, 2016.

[20] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar, and C. Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server, 2015.

[21] Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The pile: An $800 \mathrm{gb}$ dataset of diverse text for language modeling, 2021.
表 5 OFA の事前学習に使用されているデータセットの一覧.

 & CC12M, CC3M, SBU, COCO, VG-Cap \\

## A OFA で使用されているデータ セットの詳細

OFA の事前学習では，言語，画像，言語と画像の 各モダリティにおいて表 5 のように様々なデータ セットが事前学習タスクのために使用されている. なお，表 5 に記載の Pile [21] には，英語版 Wikipedia の情報が $1.53 \%$ 含まれている。従って, OFA の事前学習では V \& L タスクに重きが置かれているもの の, 自然言語データから獲得された知識が忘却され ないための工夫はなされていると理解できる.

## B 作成したデータセットの詳細

Wikipedia HTML ダンプデータでは Wikipedia の 各記事が HTML 形式で収録されているため, BeautifulSoup ${ }^{8}$ を用いることで Infobox を抽出した. なお Infobox 中には [数字] といった形式で本文記事 の参考文献へのリンクが含まれているため，それら は削除した。

表の生成において, 入力用の画像については短辺 が 480px を超える場合には縦横比を維持して短辺を 480px に縮小した. また, 画像生成用の画像は縦横比を維持して元の画像の短辺を $256 \mathrm{px}$ に変更し, 中央部を両辺 256px の正方形でクロップした.

なお，公開用データでは小規模なモデルから大規模なモデルまでの性能を測ることができるよう，表 の生成では画像の短辺を $256 \mathrm{px}, 384 \mathrm{px}$ までとした データセットも作成した. 同様に画像生成では画像 の両辺を $128 \mathrm{px}$ としたデータセットも作成した.収集したデータの分割は，今後の拡張とデータの 混同に配慮し，タイトルの SHA256 值を 20 で割っ た余りが 0 であればテストデータ，1 であれば開発 データ，それ以外であれば訓練データとした。

データセットのサイズや抽出対象については本文

8) https://www.crummy.com/software/BeautifulSoup/bs4/ doc/
を参照していただきたい.

## C 実験設定の詳細

両タスク共に OFA の実装には著者らが公開して いる実装9)を改変して使用した. 公開されている OFA では最大トークン長を決定する際にスペースで 分割した後の単語数をトークン長としているため, BART などに合わせ，最大トークン長をサブワード で指定できるように変更した．なお，表の生成，画像の生成ともに我々は入力・出力共に最大長を 1024 サブワードに設定した. また，モデルとデータセッ トの特性を調査する観点から，学習は最尤推定のみ で行い，強化学習については実施していない。

## C. 1 表の生成

BART と OFA の性能比較が実装の違いにより不公平とならないよう，BART の重みパラメータを OFA から引き継ぎ，OFA 上でBARTを動作させた. 学習時のハイパーパラメータはタイトルからの生成では OFA の自動要約における設定を引き継ぎ，画像を含 む生成の際には OFA のキャプショニングにおける 設定を引き継いだ。なお，公平な比較のために，推論時の設定は全てキャプショニングの設定に合わせ た. 実験は全て 4 枚の RTX 3090 で行った.

## C. 2 画像の生成

基本的には OFA で使用されているハイパーパラ メータを引き継いだが，学習時間の関係で，各エ ポック終了後の開発データにおける画像生成時の ビーム幅は 1 とした. なおテスト時は元の設定と同様ビーム幅 24 を使用している. 表を使用する際に は，入力の末尾に区切り文字く>で結合して使用し た. 実験は全て 4 枚の RTX A6000 で行った.


# 単語の階層関係に基づくデータ拡張を利用した 画像キャプション生成の検討

吉田智哉 1 西村太一 ${ }^{1}$ 亀甲博貴 2 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
\{yoshida.tomoya.25h, nishimura.taichi.43x\}@st.kyoto-u.ac.jp
\{kameko, forest \}@i.kyoto-u.ac.jp

## 概要

近年の画像キャプション生成モデルは、他の画像 に対しても同様に当てはまるような、一般化された キャプションを生成する傾向がある。この低識別性 の問題を解決する策の一つとして、より詳細なキャ プションを持ったデータセットで学習させることが 挙げられる。本研究では、識別性が単語の階層関係 に依存すると仮定し、単語の階層関係に基づくデー タ拡張を提案する。実験の結果、低リソースデータ セット下での実験において、提案手法が生成する語彙・文を増加させるとともに、識別性を向上させる ことが確認できた。

## 1 はじめに

画像キャプション生成は、入力された画像からそ の画像の説明文を生成するタスクである。このタス クの主な応用先として、視覚障害者の補助 [1] や、画像検索エンジンにおけるクエリの生成などが挙げ られる。これらの応用先において重要なことは、生成されるキャプションが自然な文章であるととも に、他の似た画像と区別可能であるということであ る。近年の画像キャプション生成モデルでは、後者 の識別性の低さが問題視されている [2]。この低識別性の問題を解決するために、様々な手法が提案さ れている $[2,3,4]$ 。また、解決策の一つとして、よ り詳細なキャプションを持ったデータセットで学習 を行うことが挙げられる。しかし、画像とそれに対応する詳細なキャプションを人手で記述すること は、多くの時間的・金銭的なコストを要する。本研究では、これらの作業を自動化するために、データ 拡張に着目する。

低識別性の問題に取り組むにあたり、キャプショ ンの識別性について再検討を行う。キャプションに
おける識別性の高さには、いくつかの観点が考えら れる。一つ目は、画像中に出現する多くの物体につ いて記述しているかという点である。先行研究の多 くはこの観点に基づいている $[2,3]$ 。二つ目は、画像中の物体について述べる単語が特徴的であるかと いう点である。これは、単語の階層関係に基づいて いる。単語の階層関係とは、単語の上位下位関係を 指し、一般に下位に向かうにつれ、その単語は特徵的なものになる。((例) 哺乳類、動物、犬、プード ル)。その他にも、単語の修飾関係などの観点が考 えられる。本研究では、二つ目の観点により低識別性の問題が対処可能であると仮定し、単語の階層関係に基づくデータ拡張の提案を行う。

実験では、元データセットが高リソースである場合と、低リソースである場合に対して、提案手法を 適用した。実験の結果、高リソース下での実験にお いて、有効であることは確認できなかった。しか し、低リソース下での実験において、生成に使用す る語彙・文の増加とともに識別性を向上させ、有効 であることが確認できた。また、提案手法が予期し ないキャプションの生成に寄与してしまっているこ とが確認でき、提案手法の課題についても明らかに なった。

## 2 関連研究

## 2.1 識別性改善に取り組んだ手法

画像キャプション生成モデルにおける低識別性の 問題を解決するために、様々な手法が提案されてい る。Wang らは、学習済みの画像テキスト検索モデ ルを利用することで識別性を評価する指標である CIDErBTW [3] を提案した。また、この指標を最適化関数に取り入れることにより、既存モデルの識別性を向上させることに成功した。その他にも、強化

A dog in a harness lying in the grass in a park,

A basenji in a harness lying in the grass in a park,

A corgi in a harness lying in the grass in a park,

図 1 データ拡張によって作成されたデータセットの例。元データ（左）は、上記の流れにより複数のデータに拡張され る（右）。元画像における主要な物体（青字）は、それぞれの拡張先において、下位語（赤字）に置き換えられる。

学習時 [5] に CLIP-Score [6] を報酬として利用するこ とで、識別性の高いキャプションの生成に成功した 手法 [2] などが挙げられる。

## 2.2 データ拡張を利用した手法

データ拡張は画像認識や音声認識の分類タスクに おいて、頑健性や精度の向上を図る手法 [7] として 利用されている。近年の拡張手法は、単に入力情報 に対してクロッピングやノイズを適用する手法の みならず、Mixup [7] や CutMix [8] と呼ばれるデー タセット中のいくつかのサンプルを混ぜ合わせる ことにより拡張する手法なども提案されている。画像キャプション生成においても、データ拡張を利用 した研究は行われている。画像に対してぼかしを施 し拡張することにより、モデルの頑健性を高めた手法 [9] や、学習済みの BERT [10] を利用したテキス 卜拡張により精度を向上させた手法 [11] などが挙げ られる。

## 3 提案手法

本研究では、単語の階層関係を利用することで、低識別性の問題が対処可能であると仮定し、単語の 階層関係に基づくデータ拡張を提案する。提案手法により拡張されたデータセットは図 1 のように なった。

## 3.1 拡張手法

はじめに、データセット中の画像に対して Faster R-CNN [12]を用いて物体検出 ${ }^{1)}$ を行い、その画像中 における主要な物体を定義する。主要な物体とは、人間がある画像について述べる際に着目する物体の ことである。今回は、主要であることを、物体の大 きさと物体認識にかけられた際の物体の信頼度の積 の值が最大のものと定義することにより決定する。

テキスト拡張 テキスト拡張を行うにあたって、 WordNet における、単語の階層関係を利用した名詞 の置き換えを検討する。WordNet [13] は、単語が類義語ごとにグループ化されている大規模な概念辞書 であり、各単語は階層関係を保持している。テキス 卜拡張は、正解キャプション中の主要な物体に該当 する単語を、コーパス中の下位語と入れ替えること で行う。ただし、人に該当する“person”ラベルに関 しては、適切でない変換候補 ${ }^{2}$ であるため、処理を 行っていない。

画像拡張 画像拡張を行うにあたって、Mixup に 基づいた画像拡張を検討する。Mixup [7] とは、デー タセット中における 2 つの訓練サンプルを混ぜ合 わせることにより、新たなデータセットを作成する

表 1 高リソース下における提案手法とベースラインの比較

表 2 低リソース下における提案手法とベースラインの比較

データ拡張であり、画像や音声領域の分類タスクに おいて有効であることが確認されている。結合方法 は以下のように計算される。

$
\begin{aligned}
& \hat{x}=\lambda x_{i}+(1-\lambda) x_{j} \\
& \hat{y}=\lambda y_{i}+(1-\lambda) y_{j}
\end{aligned}
$

$x_{i}, x_{j}$ は、データセットにおけるべクトル（画像）で あり、 $y_{i}, y_{j}$ は、正解ラベル (one-hot ベクトル) で ある。また、 $\lambda \in[0,1]$ 。

本研究中では $\lambda=0.5$ とし、画像中における主要 な物体の領域と、テキスト拡張時に得られた下位語 の画像 ${ }^{3}$ に対して、この手法を適用することで画像拡張を行う。なお、正解ラベルである $\hat{y}$ の処理は行 なっていない。

## 4 実験

今回は、ベースラインのモデルとして、Rennie ら のモデル [5]を利用した。このモデルは、エンコー ダに CNN、デコーダにLSTM [14]を利用しており、 それらは注意機構 [15] により結合されている。

## 4.1 データセット及び前処理

データセット 提案手法は、MS COCO[16] デー タセットの Karpathy らの分割 [17]（MS COCO）に おける訓練セットに対して適用した。MS COCO は、 113,287 画像からなる訓練セット、各 5,000 画像から なる検証セット、テストセットから構成されてい る。実験では、元データセットが高リソースである 場合と、低リソースである場合に対して、提案手法 を適用した。高リソース時では元データセットの

3）下位語の画像は Web スクレイピングにより複数枚取得。 $100 \%$ を利用し、低リソース時では、元データセッ トの $10 \% を$ 利用した。

前処理の詳細 エンコーダには、学習済みの Resnet101 [18] を利用した。先行研究に従い、画像 は、クロッピングやリサイズ処理を行わずに利用し た。キャプションは、Stanza [19]をトークナイザと して利用し、データセットを通して出現頻度が 5 回未満の単語を $\langle U N K\rangle$ に置き換えて学習に利用した。

## 4.2 評価データ及び指標

評価の際は、MS COCO テストセットを利用した。 また、モデルの頑健性を確認するために他データ セットのテストセットでも評価を行った。他データ セットは、キャプションの形式が MS COCO と似て いる、Flickr30k のテストセット（1,000 画像）を利用 した。

評価指標は先行研究に従い、標準的な評価指標と して、BLEU-4 (B-4) [20]、METEOR (M) [21]、 ROUGE$\mathrm{L}(\mathrm{R})$ [22] 及び、 $\operatorname{CIDEr}(\mathrm{C})[23]$ を用いた。また、識別性の評価指標として、Uniq-1・Uniq-S [4]、CLIP-Score (CLIP-S) [6]及び、R@Kを用いた。Uniq-1・Uniq-S [4] は、生成されたキャプションのうちの異なり語・文 の数を表す。 $\mathrm{R} @ \mathrm{~K}$ は、生成されたキャプションを 学習済みの画像テキスト検索モデルに入力した際 に、他の画像の中から対応する画像が上位 $\mathrm{K}$ 位以内 に得られた割合を表す指標である。学習済みの画像 テキスト検索モデルについては、CLIP [24]を利用 した。

## 4.3 実験結果

高リソース下での実験 学習時間の観点から、訓練セットを約 2 倍に拡張を行った。各テストセット
表 3 生成されたキャプションの例

CLIP-S 生成されたキャプション

におけるベースライン及び提案手法の結果を表 1 に 示す。

ベースラインと比べて、Uniq-1・Uniq-S が増加し ていることが確認できる。しかし、他データセット である Flickr30k においては、増加が確認できない。 また、識別性を評価する CLIP-S や R @ K が向上して いないことから、増加した語彙・文が識別性に貢献 できていないことがわかる。

低リソース下での実験 学習時間の観点から、訓練セットを約 5 倍に拡張を行った。各テストセット におけるべースライン及び提案手法の結果を表 2 に 示す。

ベースラインと比べて、Uniq-1・Uniq-S ともに大 きく増加している。CLIP-S 及び R @ K が向上してい ることから、増加した語彙・文が識別性に貢献して いることが示唆される。また、ベースラインと比較 して標準的な評価指標を大きく損なっていないこ とから、ベースラインの出力するキャプションの形式と似た、より識別性の高いキャプションが生成で きていることが示唆される。他データセットである Flickr30k においても、Uniq-1・Uniq-S 及びいくつか の $\mathrm{R} @ \mathrm{~K}$ に向上が確認できる。

## 4.4 生成されたキャプションの例

低リソース下の実験における、生成されたキャプ ションの例を表 3 に示す。

(a) と (b) の結果から、ベースラインと比較して、提案手法によって生成されたキャプションが、より 特徴的な単語を用いて記述されていることが確認で きる。これらから、提案手法が、生成に使用する単語をより特徵的な単語になるように促していること が示唆される。この結果、(a)については CLIP-S が 向上しており、特徴的な単語で記述することが識別性を向上させていることが確認できる。しかし、(b) については、CLIP-S が低下しており、必ずしも特徴的な単語が CLIP-S を向上させるとは言えないこと がわかる。

(c)では、ベースラインでは妥当なキャプション の生成が可能であるのに対し、提案手法では誤った キャプションが生成されている。これは提案手法 が、予期しない、誤った生成に寄与してしまってい ることが示唆される。このような例は他の生成結果 にも確認され、この誤った生成が CLIP-S や R @ Kを 大きく向上させることができなかった原因と考えら れる。

## 5 終わりに

本研究では、識別性が単語の階層関係に依存する と仮定し、既存のデータセットに対して、単語の階層関係に基づくデータ拡張を施すことで、低識別性 の問題に対処する手法の提案を行った。実験の結果、低リソース下の実験において、出現語彙・文の 増加とともに識別性を向上させ、有効であることが 確認できた。しかし、高リソース下の実験では、出現語彙・文は増加したものの、識別性の評価指標で ある CLIP-S やR@Kにおいてべースラインを上回 ることができなかった。今後の課題として、4.4で 述べた、提案手法が誤った生成に寄与する原因につ いて調べていくとともに、改良に努めていきたいと 考える。

## 参考文献

[1] Burak Makav and Volkan Kiliç. A new image captioning approach for visually impaired people. In IEEE, 2019.

[2] Youyuan Zhang, Jiuniu Wang, Hao Wu, and Wenjia Xu. Distincive image captioning via clip guided group optimization. In ECCVW, 2022.

[3] Jiuniu Wang, Wenjia Xu, Qingzhong Wang, Chan, and Antoni B. Compare and reweight: Distinctive image captioning using similar images sets. In ECCV, 2020.

[4] Ukyo Honda, Taro Watanabe, and Yuji Matsumoto. Switching to discriminative image captioning by relieving a bottleneck of reinforcement learning. In WACV, 2023.

[5] Steven J. Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In CVPR, 2017.

[6] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: A reference-free evaluation metric for image captioning. In ACL, 2021.

[7] Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. In ICLR, 2018.

[8] Sangdoo Yun, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe, and Youngjoon Yoo. Cutmix: Regularization strategy to train strong classifiers with localizable features. In ICCV, 2019.

[9] Shashank Bujimalla, Mahesh Subedar, and Omesh Tickoo. Data augmentation to improve robustness of image captioning solutions. In CVPR, 2021.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In ACL, 2019.

[11] Viktar Atliha and Dmitrij Šešok. Text augmentation using bert for image captioning. Applied Sciences, 10(17):5978, 2020.

[12] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In NeurIPS, 2015.

[13] George A. Miller. Wordnet: A lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 3941, 1995.

[14] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

[16] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, ECCV, 2014.

[17] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR, 2015.

[18] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR,
2016.

[19] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A Python natural language processing toolkit for many human languages. In ACL, 2020.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, 2002.

[21] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In ACL, 2005.

[22] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In ACL, 2004.

[23] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.

[24] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In ICML, 2021.