# 画像生成による疑似教師データを用いた マルチモーダルニューラル機械翻訳

岩本 裕司 ${ }^{1}$ 田村 晃裕 ${ }^{2}$ 二宮崇 ${ }^{1}$
1 愛媛大学 2 同志社大学
${ }^{1}$ \{iwamoto@ai., ninomiya@\}cs.ehime-u.ac.jp ${ }^{2}$ aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年，ニューラル機械翻訳（Neural Machine Translation; NMT）の性能を向上させる手段の 1 つとして，マルチモーダルニューラル機械翻訳 (Multimodal Neural Machine Translation; MNMT) が注目されている. MNMT は翻訳元の文（原言語文）だけでなく関連画像も用いることで，これらの 画像を手がかりに状況に即したより自然な翻訳文 （目的言語文）を生成することを目的としている. MNMT モデルの学習には通常，対訳テキストデー 夕に加えて関連画像が必要となるが，そのような原言語文, 目的言語文, 関連画像で構成される 3 つ組 の対訳データは通常の対訳データに比べ非常に小規模なものしか存在していない。また，通常の対訳 データに比べ，MNMT 学習のための 3 つ組データが 存在する言語ぺアや領域は非常に限られている.

本研究では，従来の MNMT 用学習データ（3つ組 データ）に比べて比較的入手が容易な対訳テキスト データと，原言語側の画像キャプションデータから MNMT の学習を行う方法を提案する. 提案手法で は，まず対訳テキストデータから NMT モデルを学習し，画像キャプションデータの原言語文を NMT モデルで翻訳することで初期疑似 3 つ組データを生成する. 次に, MNMT モデルと, 対訳文ペアから画像を生成する text-to-image（T2I）モデルの 2 つのモ デルを，初期擬似 3 つ組データから学習し，両モデ ルを初期化する．最後に，T2I モデルと MNMT モデ ルを逆翻訳形式のフレームワークを用いて交互に再学習する. このフレームワークでは, MNMT モデ ルは対訳テキストデータと T2I モデルによって生成 された画像による疑似 3 つ組データで学習し, T2I モデルは画像キャプションデータと MNMT モデル によって生成された目的言語文による疑似 3 つ組 データで学習する。実験では，学習データとして Multi30kデータセッ ト [1] の英独対訳テキストデータと MSCOCO デー タセット [2] の画像キャプションデータを用いた. そして，テストデータとして Multi30kテストデータ セットを用いて，英独翻訳タスクで提案手法の評価 を行った. その結果, 提案の MNMT モデルは大力画像を用いない NMT モデルよりも優れた翻訳性能 を持つことを確認し（+1.38 BLEU スコア），提案す る逆翻訳形式の学習方法は MNMT の翻訳性能を向上させる（+2.8 BLEU スコア）ことが示された. ま た，実験を通じて，提案の学習方法により訓練され た MNMT は, 真の 3 つ組データ（Multi30K訓練デー タセットの 3 つ組データ）から訓練された MNMT モデルよりも優れていることが示された. さらに， WMT14 データセットおよび GoodNews データセッ 卜[3]を用いた事前学習を行った結果，翻訳精度が さらに改善される（+1.07 BLEU スコア）ことが示さ れた。

## 2 関連技術

## 2.1 Transformer ベースの MNMT

近年，ニューラルネットワークをべースとしたモ デルがマルチモーダル機械翻訳のためによく用い られており，特に Transfomer NMT モデル [4] をマル チモーダル機械翻訳に拡張した Transformer ベース の MNMT モデル [5] が非常に高い性能を実現してい る. 本研究でも Transformer ベースの MNMT モデル を使用する。

本研究で使用する Transformer ベースの MNMT モデルの構造を図 1 に示す.このモデルは， Transformer NMT モデルに入力画像用のエンコーダ が追加され，画像エンコーダ，テキストエンコー ダ，テキストデコーダで構成されている。また，テ キストエンコーダには，画像特徵と原言語文の各単

入力画像

入力文

(予測済み)

図 1: MNMT モデルの構造

語との関係の強さを計算する視覚的注意機構 [6] が 組み込まれている. 画像エンコーダは，まず入力画像から CNN を用いて画像特徴量を抽出し，その 後，線形変換を施すことで画像を画像特徴ベクトル にエンコードする。なお，本研究では CNN として ResNet50 [7] を用いた. テキストエンコーダとテキ ストデコーダは，テキストエンコーダ内の各レイ ヤーが，画像と原言語文の各単語との間のマルチ ヘッドアテンション（視覚的注意機構）を有するこ とを除いて，Transformer NMT と同じである.

## 2.2 Text-to-Image モデル

Text-to-Image（T2I）モデルは，入力として文およ びランダムノイズを受け取り，受けとった文の意味 に沿った本物に近い画像を生成するモデルである. ランダムノイズは，背景やオブジェクトの位置，向 きなどの，文には現れない情報を決定するために入力される. T2I モデルは敵対的生成ネットワークを 用いて学習され，主に画像を生成する生成器と，画像が本物であるかを識別する識別器の 2 つのモデル で構成されている。

従来の T2I モデルでは，1 つの文から 1 つの画像 を生成する. しかし，本提案手法では対訳テキスト （原言語文と目的言語文）から 1 つの画像を生成す る T2I モデルを用いる。具体的には，最先端の T2I モデルの 1 つである AttnGAN モデル [8] をバイリン ガルな設定（対訳文ペアを入力にするモデル）に拡

張する. 本研究では， AttnGAN のテキストエンコー ダーと注意機構を改良し，AttnGAN をバイリンガル な設定に拡張する。以降では，改良したAttnGANを BiAttnGAN と呼ぶ. BiAttnGANでは，原言語文と目的言語文のそれぞれに対してエンコーダと注意機構 を導入し，これら２つのエンコーダと注意機構の出力をそれぞれ連結したものを生成器と識別器で用 いる。具体的には，原言語／目的言語文エンコーダ $E n c_{s r c / t g t}$ は，以下の式のように原言語／目的言語文 $x_{s r c / t g t}$ を単語特徴量 $e_{s r c / t g t}$ と文特徴量 $\bar{e}_{s r c / t g t}$ に符号化する。

$
\begin{array}{r}
e_{s r c}, \bar{e}_{s r c}=E n c_{s r c}\left(x_{s r c}\right) \\
e_{t g t}, \bar{e}_{t g t}=E n c_{t g t}\left(x_{t g t}\right)
\end{array}
$

そして，2つの特徴量を連結したもの（[ $\left.e_{s r c} ; e_{t g t}\right]$ や $\left[\bar{e}_{s r c} ; \bar{e}_{t g t}\right]$ ）をテキスト特徴量として用いる.ま た，以下のように注意機構を用いて，画像とテキス トとの関連性を反映した画像特徴量 $h^{\prime}$ を用いる.

$
h^{\prime}=\left[\operatorname{Attn}_{s r c}\left(h, e_{s r c}, e_{s r c}\right), \operatorname{Attn}_{t g t}\left(h, e_{t g t}, e_{t g t}\right)\right]
$

ここで，hと Attnは，それぞれテキストエンコーダ の隠れ状態と注意機構である。

## 3 MNMT のための逆翻訳学習

本節では, 対訳テキストデータ $B=\left(B_{s r c}, B_{t g t}\right)$ と,原言語側の画像キャプションデータ $C=\left(C_{i m g}, C_{s r c}\right)$ から MNMT モデルを学習する手法を提案する．以降は，接尾辞の $s r c, t g t, i m g$ は，それぞれ原言語文，目的言語文，画像を表す. 提案手法の流れをアルゴ リズム 1 に示す. 本手法では，まず対訳テキスト データから NMT モデルを学習し，学習した NMT によって原言語側の画像キャプションデータのキャ プション文を翻訳することで，初期疑似 3 つ組デー タを生成する (1 行目). 次に，生成した初期擬似 3 つ組データを用いて MNMT モデルと T2I モデルの 初期化を行う（2 行目）. 最後に，MNMT モデルと T2I モデルを交互に反復逆翻訳フレームワークを用 いて際学習する $(3 \text { から } 5 \text { 行目 })^{1)}$.

## 3.1 モデルの初期化

逆翻訳形式による学習の準備として，Transformer ベースの MNMT モデルと BiAttnGAN モデルの初期化を行う. これらの初期化に用いる 3 つ組データ は，Transformer NMT を用いて擬似的に作成する。

1）実験では，アルゴリズム 1 の 3 行目における $\mathrm{N}$ の值は 15 に 設定した.

## アルゴリズム 1：学習アルゴリズム

入力 : $B=\left(B_{s r c}, B_{t g t}\right), C=\left(C_{s r c}, C_{i m g}\right)$

1. 初期擬似 3 つ組データの生成：まず，NMT モデル $P_{s r c \rightarrow t g t}$ を $B$ から学習する. その後, 3 つ組データ $\left(C_{s r c}, C_{t g t^{\prime}}, C_{\text {img }}\right)$ を生成する. ただし $C_{t g t^{\prime}}=P_{s r c \rightarrow t g t}\left(C_{s r c}\right)$ である.

2. モデルの初期化：MNMT モデル $P_{(s r c, i m g) \rightarrow t g t}^{(0)}$ と $\mathrm{T} 2 \mathrm{I}$ モデル $P_{(s r c, t g t) \rightarrow i m g}^{(0)}$ を初期擬似 3 つ組データ $\left(C_{s r c}, C_{t g t^{\prime}}, C_{i m g}\right)$ を用いて学習する。

## 3. for $k=1$ to $\mathbf{N$ do}

4. MNMT の再学習：MNMT モデル $P_{(s r c, i m g) \rightarrow t g t}^{(k)}$ を擬似 3 つ組データ $\left(B_{s r c}, B_{i m g^{\prime}}, B_{t g t}\right)$ を用いて 再学習する。

5. ただし $B_{i m g^{\prime}}=P_{(s r c, t g t) \rightarrow i m g}^{(k-1)}\left(B_{s r c}, B_{t g t}\right)$ である. T2I の再学習：T2I モデル $P_{(s r c, t g t) \rightarrow i m g}^{(k)}$ を 擬似 3 つ組データ $\left(C_{s r c}, C_{\text {img }}, C_{t g t^{\prime}}\right)$ を用いて 再学習する. 6. end ただし $C_{t g t^{\prime}}=P_{(s r c, i m g) \rightarrow t g t}^{(k-1)}\left(C_{s r c}, C_{i m g}\right)$ である.

まず，対訳テキストデータから Transformer NMT モ デルを学習する。 そして，学習させた NMT モデル を用いて，原言語側の画像キャプションデータの キャプション文を目的言語の文に翻訳する。このよ うにして作成した初期擬似 3 つ組データを用いて， MNMT モデルおよび BiAttnGAN モデルを学習する ことで，両モデルの初期化を行う.

## 3.2 MNMT の再学習

MNMT モデルの再学習では, BiAttnGAN モデル を用いて再学習を行う。まず，BiAttnGAN モデルを 用いて，対訳テキストデータの各対訳文ペアから画像を生成する. 次に, 対訳テキストデータと生成し た画像で構成される疑似 3 つ組データから MNMT モデルを学習する。学習では, 原言語文と生成画像 から予測された目的言語文 $y$ が疑似 3 つ組データの 目的言語文 $t$ と同じになるように，以下のクロスエ ントロピー損失 $L_{M}$ を最小化する.

$
L_{M}=-\sum_{i=0}^{l-1} t_{i} \times \log P\left(y_{i}\right)
$

ここで，lは目的言語文の長さである.

## 3.3 T2I の再学習

BiAttnGAN モデルの再学習では, MNMT モデル を用いて再学習を行う．まず，MNMT モデルを用 いて，画像キャプションデータから目的言語文を生成する. 次に，画像キャプションデータと生成した 疑似目的言語文で構成される擬似 3 つ組データから BiAttnGAN モデルを学習する。

学習では，原言語文と擬似目的言語文から生成さ れた画像 $y_{i m g}$ と, 本物画像 $t_{i m g}$ が同じになるよう に，次のクロスエントロピー損失 $L_{G}$ を最小化する.

$
L_{G}=-\frac{1}{2} \log P_{R}\left(y_{i m g}\right)-\frac{1}{2} \log P_{S}\left(y_{i m g}, x_{s r c}\right)
$

ここで， $P_{R}$ は生成された画像が本物かどうかを表 す確率であり， $P_{S}$ は生成された画像と文が一致す るかどうかを表す確率である.

## 4 実験

## 4.1 実験設定

本提案手法を英独翻訳による実験で評価した。実験では，Multi30k データセット [1] の英独対訳文 29,000 文対と，画像ごとに 5 つのキャプションが 付与されている MS COCO 2014 データセット [2] の 82,783 枚の画像とそのキャプションを，2 種類の学習データセット（対訳テキストデータと画像キャ プションデータ）として使用した. Multi30k デー タセットの開発データ (1,014 組) とテストデータ (1,000 組)をそれぞれ開発データとテストデータと して使用した. Multi30k データセットの各データは 原言語文, 目的言語文, 画像の 3 つ組で構成される が，提案手法の学習では目的言語文は使用していな いことに注意されたい。

また，提案手法を事前学習に用いる場合の有効性 を調べるため，Multi30k データセットとは異なるド メインの大規模データセットを用いて MNMT モデ ルを事前学習した場合の性能も評価した．事前学習 では，対訳テキストデータとして WMT14 英独デー タセットを，画像キャプションデータセットとして GoodNews データセットを用いた.

初期擬似 3 つ組データを生成する際に用いる Transformer NMT モデルのハイパーパラメータと, Transformer ベースの MNMT モデルのハイパーパラ メータは，Vaswani ら [4] に倣い，レイヤー数を 6 層, 注意機構のヘッド数を 8 個, 隠れ層の次元数
表 1: 実験結果

を 512 に設定した。また，BiAttnGAN のハイパーパ ラメータに関しては，オリジナルの AttnGAN [8] に 倣い, 生成器の次元数を 48, 識別器の次元数を 96 とした. 最適化手法としては Adam [9] を使用した. BiAttnGAN モデルは，ミニバッチサイズ 32 とし, エポック数は初期化時は 100 , 再学習時は 15 で実験 を行った. Transformer NMT モデルは，ミニバッチ 数を 128 ，エポック数を 40 として学習を行った. そ して，Trasformer MNMT モデルは，ミニバッチ数を 128, エポック数は初期化時は 25 , 再学習時は 15 で 学習を行った. また, 単語辞書の作成には Byte Pair Encoding [10]を使用し，トークンサイズを英独合わ せて 7,000とした. なお，これらの翻訳モデルを用 いた目的言語文の推論時には貪欲法を用いた.

## 4.2 実験結果

実験では，次の 6 つのモデルを評価した。(1) 提案 MNMT モデル $\left(M N M T_{\text {prop }}\right)$, (2) 画像入力なし NMT モデル $(N M T)$ ，(3) 初期化時の MNMT モデル $\left(M N M T_{\text {init }}\right)$, (4) 真の 3 つ組データを用いた MNMT モデル $\left(M N M T_{\text {gold }}\right),(5)$ 大規模データセットによる 事前学習を行い, 擬似データを用いて教師無し再学習を行った MNMT モデル $\left(M N M T_{\text {pre_un }}\right)$ ， (6) 大規模データセットによる事前学習を行い，真の 3 つ組 データを用いて教師あり再学習を行った MNMT モ デル $\left(M N M T_{\text {pre_semi }}\right)$ である. $M N M T_{\text {prop }}, N M T$, $M N M T_{\text {init }}, M N M T_{\text {gold }}$ では事前学習を行っていな い.また, NMT は, Multi30k データセットの学習 データの画像を使わずに対訳文から学習したモデル である. $M N M T_{\text {gold }}$ は, Multi30k データセットの学習データに含まれる 29,000 組の 3 つ組データから学習した MNMT モデルであり， $M N M T_{i n i t}$ は，初期疑似 3 つ組データで学習した MNMT モデル（アルゴ リズム 1 の $\left.P_{(s r c, i m g) \rightarrow t g t}^{(0)}\right)$ である.

各モデルの翻訳性能は，開発データの BLEU スコ アが最も高いエポックモデルを選択し，テストデー
タの case-insensitive BLEU4 [11] で測定した．実験結果を表 1 に示す.

表 1 から分かる通り，MNMT $T_{\text {prop }}$ は $M N M T_{\text {init }}$ よ りも高い性能を示している。このことは，擬似 3 つ 組データを用いて MNMT モデルと T2I モデルを交互に学習することで，MNMT の性能が向上するこ とを示している。すなわち，提案手法である逆翻訳形式のフレームワークが有効であることを示してい る. また, $M N M T_{\text {prop }}$ は $N M T$ よりも性能が優れて おり，画像情報の有効性が示されている。 さらに，真の 3 つ組データを用いた $M N M T_{\text {gold }}$ よりも，擬似 3 つ組データを用いた $M N M T_{\text {prop }}$ の方が性能が 高くなっている。これは擬似画像生成による多様な 画像によって学習が行われたためであると考えられ

事前学習を行わないモデルによりも性能が向上して おり，提案手法による大規模データセットを用いた 事前学習が有効であることを示している.

## 5 まとめ

本研究では，マルチモーダル機械翻訳における低 リソース問題を解決するために，対訳テキストデー タと画像キャプションデータから MNMT モデルを 学習するための新しい逆翻訳形式のフレームワーク を提案した。提案手法では，T2I モデルと MNMT モ デルを用いて，一方のモデルにより生成された疑似 3 つ組データに基づいて他方のモデルを学習するこ とで，T2I モデルと MNMT モデルを交互に学習す る。英独翻訳タスクでの評価の結果，提案した逆翻訳形式のフレームワークは MNMT の性能を向上さ せ，提案手法によって学習された MNMT モデルは，真の 3 つ組データから学習した MNMT モデルより も性能が優れていることが示された. また，提案手法による大規模データセットを用いた事前学習が有効であることも示された. 今後は異なる規模やドメ イン，言語対のデータセットを用いた実験を行い，提案手法の有効性を確認したい。

## 謝辞

本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 20K19864 の助成を受けた ものである.ここに謝意を表する。

## 参考文献

[1] D. Elliott, S. Frank, K. Sima'an, and L. Specia. Multi30k: Multilingual english-german image descriptions. In Proc. of the 5th Workshop on Vision and Language (VL16), pp. 70-74, 2016.

[2] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.

[3] Ali Furkan Biten, Lluis Gomez, Marcal Rusinol, and Dimosthenis Karatzas. Good news, everyone! context driven entity-aware captioning for news images. In Proc. of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), June 2019.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d$ vances in Neural Information Processing Systems 30, pp. 5998-6008, 2017.

[5] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proc. of the Third Conference on Machine Translation: Shared Task Papers(WMT18), pp. 603-611, October 2018.

[6] 宅島寛貴, 田村晃裕, 二宮崇, 中山英樹. CNN と Transformer エンコーダを用いたマルチモーダル ニューラル機械翻訳. 言語処理学会第 25 回年次大会, pp. 743-746, 2019.

[7] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proc. of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 770-778, 2016.

[8] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proc. of 2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2018), pp. 1316-1324, 2018.

[9] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, Vol. abs/1412.6980, , 2014.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, jul 2002.
 岩本 裕司 ${ }^{1}$ 田村 晃裕 ${ }^{2}$ 二宮崇 ${ }^{1}$ 1 愛媛大学 2 同志社大学 ${ }^{1}$ \{iwamoto@ai., ninomiya@\}cs.ehime-u.ac.jp ${ }^{2}$ aktamura@mail.doshisha.ac.jp  