# マルチモーダル機械翻訳における 画像・入力文間類似度と翻訳品質の相関の分析

佐藤郁子 平澤寅庄 金輝燦 岡照晃 小町守
東京都立大学
\{sato-ayako, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp,
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

本研究では，画像・入力文間類似度が低い事例が マルチモーダル機械翻訳 (MMT) に及ぼす影響を調査する. MMT では，画像情報による入力文の曖昧性解消で，翻訳品質の改善を図る. 先行研究ではシ ステムレベルでの翻訳品質改善は限定的であると報告されているが，画像情報の貢献度について事例レ ベルでの定量的な分析は行われていない。そこで本研究では，画像情報が有効な事例の自動識別を目的 に分析を行う．画像・入力文間類似度が低い事例は 画像情報が大力文を補完し, 翻訳品質が改善するこ とが期待できる. その仮説の下，画像・入力文間類似度と画像情報の貢献度の相関を分析し, MMT で 翻訳品質が改善する事例で，負の相関を確認した。

## 1 はじめに

近年，機械翻訳 (MT) において，テキストだけで なく画像情報を利用して翻訳品質を改善するマル チモーダル機械翻訳 (MMT) が注目されている. MT モデルが曖昧性のある文を翻訳する際に，文脈だ けでは情報が不足する場合があるという背景から， MMT では, 画像情報を追加入力することで入力文 の文脈情報を補完し，より正確な翻訳を行う。

システムレベルの評価では MMT モデルの画像情報の貢献はわずかのため, その有効性は議論されて いる $[1,2,3]$. 一方, 事例レベルでの画像情報の貢献は, 参照文と出力文の比較によって定性的に評価 されており，入力を用いた定量的な分析は行われて いない. 入力のみを用いた事例レベルの自動評価が 可能になることにより，分析対象となる事例選択の 効率化や MMT モデルの評価に適したデータ作成を 実現することができる.

本研究では，画像情報が有効な事例の自動評価を

図 1: 画像情報が有効な事例（上）と有効でない事例 (下).画像・入力文間類似度（計算方法は 3 節を参照）は，上の事例が 0.292 ，下の事例が 0.388 である。上の事例では，“take shots”の「写真を撮るハシットグラス を取る」という入力文の曖昧性を，画像情報により 解消している. 下の事例では，画像情報の有無に関 わらず翻訳は正しい。

目的として，定量的に翻訳品質を分析する．MMT では文脈情報の不足を画像で補完することから，有効な事例の画像には入力文にない情報が含まれてお り，その情報量の差分によって画像・入力文間類似度が低くなると考えられる。そこで，「画像情報が 有効な事例では，画像・入力文間の類似度が低くな る」という仮説に基づき，英日翻訳の品質を分析し た. 仮説の概要を図 1 に示す. 実験では，画像・入力文間類似度，画像情報の貢献度の計算を行い，そ れらの相関を確認することで仮説を検証する。

実験の結果より, MMT モデルで翻訳品質が改善 する事例において，画像・入力文間類似度は画像情報の有効性と負の相関があることを確認した。ま た，画像・入力文間類似度が低い事例では，画像情報の入力がノイズになりうることを確認した.

## 2 関連研究

Elliott [4] は，MMT モデルにおいて，入力文と対応する画像，対応しない画像をそれぞれ追加入力さ せたときの性能を分析している。この分析では， 3 つのモデルのうち 2 つでは，対応する画像を入力し た時に性能改善が見られた. Caglayan ら [5] は，入力文にノイズを加え，画像情報の有効性を分析して いる.この分析では，入力文中の名詞をマスクして 文脈情報が限定的な場合，MT モデルより MMT モ デルの方が性能が高く, 画像情報が有効であること がわかった. しかし, 不一致画像の追加入力や入力文劣化は，MMT システムを実際に利用する際の設定に適していない. 本研究では，入力を操作しない 実験設定で，定量的な翻訳品質の分析を行う.

Hatami ら [6] は，WordNet の語義数に基づいて入力文中の全ての名詞の曖昧度スコアを計算し，MT， MMT モデルの翻訳品質との相関を分析している. この分析では, どちらのモデルも, 入力文の曖昧度 スコアが高いほど翻訳品質が低くなり， MMT モデ ルの方が全体の性能が良くなることから，入力文の 曖昧性解消に画像情報が有効であることがわかっ た.しかし，彼らの曖昧度スコアは入力文のみを用 いるため, 追加入力される画像情報の有効性評価に は適していない。そこで本研究では，画像情報の有効性評価のための指標として，画像情報を考慮した 画像・入力文間類似度を提案する。

## 3 分析手法

本研究では入力文 $x$, 参照文 $y$ ，画像 $v$ の三つ組 のテストデータ $D=\left.\{\left(x_{1}, y_{1}, v_{1}\right), \ldots,\left(x_{|D|}, y_{|D|}, v_{|D|}\right)\right.\}$ を用いて仮説を検証する。ここで $|D|$ はテストデー タのサイズを表す。分析手順は以下の通りである.

手順 1. テストデータ内の各入力文とそれに対応す る画像間の類似度集合 $S=\left.\{s_{1}, \ldots, s_{|D|}\right.\}$ を求め る.ここで画像・入力文間類似度 $s_{i}$ は, 画像 $v_{i}$ と入力文 $x_{i}$ をそれぞれ共有潜在空間にエン コードして得たべクトル $\mathbf{v}_{i}$ と $\mathbf{x}_{i}$ の内積である.

手順 2. 画像・入力文間類似度の降順にテストデー タを並べ替え， $N$ 文ずつ $M\left(=\left.\lfloor\frac{|D|}{N}\right.\rfloor\right)$ 組のサブ セット $\left.\{D_{1}, \ldots, D_{M}\right.\}$ に分割する.

手順 3. サブセット $D_{i}$ の (a) 画像 - 入力文間類似度 $s_{D_{i}}$ 及び (b) 画像情報の貢献度 $c_{D_{i}}$ を計算する.

(a) 画像・ 入力文間類似度 $s_{D_{i}}$ は，各サブセット内 の画像・入力文間類似度の平均とする。 (b) 画像情報の貢献度 $c_{D_{i}}$ は，評価指標 $E$ を用いて 以下のように定義する。

$
c_{D_{i}}:=E\left(Y_{D_{i}}^{\mathrm{MMT}}, Y_{D_{i}}\right)-E\left(Y_{D_{i}}^{\mathrm{MT}}, Y_{D_{i}}\right)
$

ここで $Y_{D_{i}}$ はサブセット $D_{i}$ に含まれる参照文 の集合であり， $Y_{D_{i}}^{\mathrm{MMT}}$ と $Y_{D_{i}}^{\mathrm{MT}}$ はそれぞれ $\mathrm{MMT}$, MT モデルの出力文の集合である.

手順 4. 各サブセットの類似度 $s_{D_{i}}$ と貢献度 $c_{D_{i}}$ の 相関を確認する．負の相関であれば，「画像情報が有効な事例では，画像・入力文間の類似度 が低くなる」という仮説が立証される。

## 4 実験

## 4.1 実験設定

データ 本研究は英日翻訳による実験で評価し た. 英語は Flickr30K Entities [7]，日本語は Flickr30K Entities JP [8] を用いる. Multi30K task1 [9] に従い,学習データ 29,000 事例，検証データ 1,014 事例，テ ストデータ (test2016) 1,000 事例に分割し，画像と それに対応したキャプションを用いる. Flickr30K Entities，Flickr30K Entities JP には各画像につきキャ プションが 5 文あり，本実験では 1 文目を使用す る. テストデータ 1,000 事例を 50 文ずつ 20 組のサ ブセットに分割し，サブセットごとに BLEU [10] で 評価を行った. 英語は Multi30K task1 に従ったトー クナイズを行い，日本語は MeCab [11] (IPA 辞書) で 単語分割した. BPE [12] でサブワード分割し, 語彙 サイズは英日共有で 8,000 とした.

モデル 本実験では, 画像・入力文間類似度の指標 がモデルに依存しないことを確認するため, 複数の MMT モデルで実験を行う．テキストベースの MT モデルは，Transformer-Tiny [13] を用いた． MMT モ デルには， Transformer ベースの Attentive multimodal Transformer [14], Gated multimodal Transformer [13] を 用いた. Attentive multimodal Transformerには，テキ ストと画像の文脈ベクトルの連結手法が flat, hierarchical， serial， parallel $の 4$ 種類がある. 画像特徵量には Vision Transformer [15] ベースの事前学習済み画像分類モデル CLIP [16], Faster R-CNN [17], ResNet-50 [18] を用いた. 特徵量の数は，CLIP 及 び ResNet-50 は 1， Faster R-CNN は36である1). MT モデルと MMT モデルのアーキテクチャは，レイ

1）本研究ではこれらのモデルのうち事前実験で BLEU スコ アの高かった上位 3 つを使用する．事前実験で用いたすべて のモデルの BLEU スコアは付録 A に記載する。

図 2: テストデータにおける画像・入力文間類似度の度数分布 ( $D_{1-6}, D_{7-13}, D_{14-20}$ については 4.3 節参照).

表 1: 類似度順のサブセット $D_{1-20}$ 及び $D_{1-13}$ における類似度と貢献度の相関係数.

ヤー数を 4 層，注意機構のヘッド数を 4 個，隠れ 層の次元数を 256 とし，ミニバッチサイズを最大 4,096 トークンに設定した. 最適化手法としては Adam [19]を使用した。

類似度計算 画像と入力文のエンコードには CLIPを用いる。 CLIPでは，インターネット上で収集した 4 億組の画像・自然言語テキストデータに対 して，どのキャプションがどの画像に対応するかを 予測する事前学習を行う. テキストのエンコードに は Transformer [20], 画像のエンコードには ResNet-50 ベースのモデルまたは Vision Transformer ベースの モデルが使われる。本実験では，Vision Transformer ベースのViT-B/32 モデルを使用した. テストデー 夕に対して, CLIPで計算した画像・入力文間類似度 の度数分布を図 2 に示す。

## 4.2 結果

全サブセットでの評価 テストデータ $D$ のサ ブセットを画像・入力文間類似度の高い順から $D_{1}, D_{2}, \ldots, D_{20}$ とし, 全サブセット $\left(D_{1-20}\right)$ におけ る類似度と貢献度の相関係数を表 1 の 3 カラム目 に示す。 $D_{1-20}$ では類似度と貢献度は正の相関であ り， $D_{1-20}$ においては必ずしも仮説が正しいとは言 えない. 我々は画像・入力文間類似度が過度に低い 事例では入力文の意味に合わない画像情報がノイズ になると考え，これを確かめるため各サブセットの 類似度と貢献度の分布を調べた。その結果を図 3 に 示す. 縦軸は MT モデルと MMT モデルの BLEU を

図 3: 類似度順のサブセット $D_{1-20}$ における画像情報の貢献度の分布.

用いた画像情報の貢献度，横軸は各サブセットの画像・テキスト間類似度である. Attentive-hierarchical (CLIP) と Gated (ResNet-50) では, 画像・入力文間類似度が過度に低い 0.3 未満のサブセット $D_{14}$ から MT モデルと MMT モデルの翻訳品質が逆転するサ ブセットが多くなる. 同様に Attentive-hierarchical (Faster R-CNN) では, サブセット $D_{16}$ から MT モデル と MMT モデルの翻訳品質が逆転している. 従って,画像・入力文間類似度が過度に低いサブセットでは 画像情報がノイズになることがわかる.

ノイズとなるサブセット以外での評価 画像情報 により翻訳品質が改善するという前提のもと分析を 行うため，画像情報がノイズとなりうるサブセット を取り除いた実験を行った。翻訳品質が逆転するサ
表 2: 画像・入力文間類似度が 0.3 未満の事例（上段）及び 0.3 以上の事例（中段），高い事例（下段）.

ブセットはモデルによって異なるが分析しやすくす るため，全てのモデルに共通の画像・入力文間類似度の閾値を設けた。具体的には, 画像・入力文間類似度が 0.3 より低いサブセット $D_{14-20}$ は画像情報が ノイズになると仮定し，それらを除いたサブセット $D_{1-13}$ で実験行った. サブセット $D_{1-13}$ における類似度と貢献度の相関係数を表 1 の 4 カラム目に示 す. $D_{1-13}$ では類似度と貢献度は負の相関であるた め，仮説が立証された. すなわち，画像がノイズと なり MMT モデルで翻訳品質が低下する事例を除い た場合，画像・入力文間類似度が小さいほど画像情報の貢献度が大きくなるといえる. これらの実験結果より，画像情報によって翻訳品質が改善する事例 において, 画像 - 入力文間類似度は, 画像情報の貢献度を測る指標として適当であるといえる。

## 4.3 翻訳結果の比較

本節では，画像情報の有効性評価における画像・入力文間類似度の妥当性について分析する. 画像 入力文間類似度を 3 段階 ( 0.3 未満： $D_{14-20}, 0.3$ 以上： $D_{7-13}$ ，高い： $D_{1-6}$ ）に分け，それぞれにおけ る MT と MMT の翻訳結果を表 2 に示す. 画像・入力文間類似度は，上段の事例が 0.289 , 中段の事例 が 0.308 , 下段の事例が 0.368 であり，MMT は Gated (ResNet-50) の出力である. 類似度が 0.3 未満の上段
の事例では，MT が正しい翻訳をしている一方で， MMT は pitch（競技場）を「投球して」と誤訳して おり，画像情報がノイズになっていることがわか る.これは，画像中の人物やボールの個数が多く,画像情報のエンコードが難しいためだと考えられ る. 類似度が 0.3 以上の中段の事例では，MT で抜 け落ちている「二人の幼い男の子を抱いて」という 情報が MMT の出力では補完されていることがわか る.これは，画像情報によって入力文がより適切に エンコードされたためだと考えられる。一方，類似度の高い下段の事例では，MT，MMT どちらの翻訳 も正しく出力されており, 画像情報が不要な事例で あることがわかる.

## 5 おわりに

本研究では，画像・入力文間類似度に着目した MMT の翻訳品質の分析を行った. 英日翻訳の実験結果より, MMT モデルで翻訳品質が改善する事例 において，画像 - 入力文間類似度と画像情報の貢献度に負の相関があることがわかった．また，画像・入力文間類似度が一定の値より低い事例では画像情報がノイズとなりうることがわかった. 今後の課題として，画像情報がノイズとなる事例の自動判別 や，より翻訳品質差との相関が高い評価指標の獲得 に取り組みたい。

## 参考文献

[1] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[2] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[3] Chiraag Lala, Pranava Swaroop Madhyastha, Carolina Scarton, and Lucia Specia. Sheffield submissions for WMT18 multimodal translation shared task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[4] Desmond Elliott. Adversarial evaluation of multimodal machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[5] Ozan Caglayan, Pranava Madhyastha, Lucia Specia, and Loïc Barrault. Probing the need for visual context in multimodal machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[6] Ali Hatami, Paul Buitelaar, and Mihael Arcan. Analysing the correlation between lexical ambiguity and translation quality in a multimodal setting using wordnet. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, 2022.

[7] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30K Entities: Collecting region-tophrase correspondences for richer image-to-sentence models. International Journal of Computer Vision, Vol. 123, No. 1, pp. 74-93, 2017

[8] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[9] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, 2016.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, 2002 .

[11] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910.github.io/ mecab/.
[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016.

[13] Zhiyong Wu, Lingpeng Kong, Wei Bi, Xiang Li, and Ben Kao. Good for misconceived reasons: An empirical revisiting on the need for visual context in multimodal machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, 2021.

[14] Jindřich Libovický, Jindřich Helcl, and David Mareček. Input combination strategies for multi-source transformer decoder. In Proceedings of the Third Conference on Machine Translation: Research Papers, 2018.

[15] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of the 9th International Conference on Learning Representations, 2021.

[16] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, 2021.

[17] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems 28, 2015.

[18] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, 2016.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations, 2015.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30, 2017.

## 付録

## A 全モデルの BLEU スコア

事前実験で用いた全モデルの BLEU スコアを表 3 に示す.

表 3: テストデータに対する各モデルの BLEU. 但し， ResNet-50については Gated multimodal Transformer で は average pool， Attentive multimodal Transformer では last layer を使用した.太字は BLEU スコア上位 3 つ を示す。

## B 類似度と入力文長の関係

各サブセットにおける BLEU スコアを図 4 に示 す. 画像・入力文間類似度と BLEUには負の相関が あり，類似度が低いほど BLEU が高くなることがわ かる．そこで，各サブセットにおける翻訳難易度の 調査を行った．具体的には，各サブセットごとに入力文の平均トークン数を求め, 画像 - 入力文間類似度との相関を分析した. 結果を図 5 に示す. 入力文 の平均トークン数と画像・入力文間類似度には正の 相関があり，入力文の文長が短い事例では，画像 入力文間類似度が低くなることがわかる. 分析結果 より，画像・入力文間類似度は文長に大きく左右さ れることがわかった。より高精度な画像情報の有効性評価のためには，入力文の文長を考慮した指標の 獲得が必要である.

図 4: 類似度順サブセット $D_{1-20}$ における MT モデルと MMT モデルの BLEU.

画像テキスト間類似度

図 5: 画像・入力文間類似度と各サブセットの入力文の平均トークン数.
 佐藤郁子 平澤寅庄 金輝燦 岡照晃 小町守 東京都立大学 \{sato-ayako, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp, \{teruaki-oka, komachi\}@tmu.ac.jp  