# 画像と単語の不一致を考慮した疑似教師ありキャプション生成

本多右京 1,3 牛久祥孝 2 橋本 敦史 ${ }^{2}$ 渡辺太郎 ${ }^{1}$ 松本裕治 ${ }^{3}$
1 奈良先端科学技術大学院大学大学 2 オムロンサイニックエックス株式会社
3 理化学研究所
\{honda.ukyo.hn6, taro\}@is.naist.jp
\{yoshitaka.ushiku, atsushi. hashimoto\}@sinicx.com
yuji.matsumoto@riken.jp

## 1 はじめに

画像キャプション生成は，画像から自然言語で説明文を生成するタスクである。人手でアノテーショ ンされた膨大な画像とキャプションのペア [1,2]を 学習データとして, 目覚ましい進歩が報告されてき た $[3,4,5]$. しかし，大規模な学習データでもカバー する事物は限定的であり1)，記述できる事物を増や すためには更にアノテーションコストがかかる.

疑似教師ありキャプション生成 ${ }^{2}$ は，画像とキャ プションのペアがない事物に対して，アノテーショ ンなしでキャプション生成を行う試みである $[8,9]$.学習に画像とキャプションのペアを用いないことで この状況を作り，物体検出モデルの出力した物体名 と，アノテーションが不要で大量に利用可能な，ぺ アでない画像と文だけを入力として学習を行う.

先行研究 $[8,9]$ は，画像から検出された物体名を 含んだ文を擬似キャプションとし，画像の特徵量と この一文全体の特徵量とを近づける学習を行う。し かし，疑似キャプションには画像に対応しない記述が多く含まれるという問題がある. 例えば，cat と girl が検出された画像に対する疑似キャプショ ンには "a girl is holding a cat” や "a cat is sleeping with a girl", "a girl is running with a cat”などが考えられる が，最初の文が正しく画像を説明した記述だった場合，それ以外の文の “sleeping with” や “running with”

1）代表的なデータセットである MS COCO[2] では，物体検出 データに定義されている 500 の物体カテゴリのうち約 400 が キャプションに一度も出現しない [6]. また，学習に用いられ る語彙数が全体で 8791 と少なく [7], 物体以外についても力 バーしている事物が限定的である.

2）先行研究 $[8,9]$ では, 画像とキャプションのペアが要求さ れないという意味で，教師なしキャプション生成と呼ばれて いるタスクである。しかし，この名称では物体検出モデルを 要求する点に誤解が生じるおそれがあるため，本稿ではこの タスクを疑似教師ありキャプション生成と呼称する.
といった記述は画像に対して誤った教師信号を与え てしまうことになる（図 1 左）。

この部分的な記述の不一致に対処するため，本研究では，簡単なゲート機構と記述の一致・不一致に 対する疑似教師信号を用いて，画像と齯䶣のある単語については画像特徴量から生成しないよう抑制す る手法を提案する。実験の結果，提案手法が先行研究の性能を上回り，部分的な不一致を考慮すること の重要性が示された. また，提案手法は，モデルの 初期化手法として先行研究の手法と組み合わせるこ とで，さらに性能を向上させることが確認された。

## 2 関連研究

学習データにない事物を記述する試みとしては，学習データに現れない物体を物体検出の出力を利用 して記述する novel object captioning $[10,6,11]$ や，物体，属性，関係に関して学習データにない組み合わ せの事例でテストを行う試み $[12,13]$ などがある.

これらのタスクは，ペアになった画像とキャプ ションがテストデータの大部分の要素をカバーす る状況でペアを学習に用いる．疑似教師ありキャプ ション生成はこの状況が成り立たないテストを想定し，ペアになっていない画像と文だけを用いて 学習を行う [8]. ただし, novel object captioning と同様，事前学習した物体検出器で予測された物体名は 利用する。この準備段階的なタスクである unpaired image captioning $[8,9,14,15]$ では，扱う画像と文は 元々ペアになっていたものだけを使うのに対して，疑似教師ありキャプション生成では画像と文はそれ ぞれ別のリソースから取得したものを想定する。

先行研究 $[8,9]$ の問題点は，いずれも擬似キャプ ションの一文全体の特徴量を画像特徴量と対応付け るよう学習するため，1 節で指摘したように，疑似 キャプション中の部分的な不一致も学習に使ってし

cat girl $\$$ a girl is holding a cat $\mathbf{x}$ a cat is sleeping with a gir $\mathbf{x}$ a girl is running with a cat

図 1 提案手法概要. モデルへの入力は，画像，検出された物体名，疑似キャプション（図左）モデルは疑似キャプ ション中の各単語を，画像との対応度を考慮しながら生成するよう学習する（図右）. 基本モデルの出力 $h$ ，ゲートの值 $g$ ，ゲートへの疑似教師信号 $f$ の詳細はそれぞれ，3.1，3.2，3.3 節を参照. 破線は学習時のみ適用される処理を表す.

まうことである. [8] はまず，物体名を含む任意の 文に対して，その含まれる物体名のエンコードから 元の文を復元する疑似キャプション生成器を学習す る.この疑似キャプション生成器を画像から検出さ れた物体名に対して適用し，その出力をその画像に 対する疑似キャプションとする。 [9]では，画像か ら検出された物体名を含む文をそのまま疑似キャ プションとして用いる. 疑似キャプションを得た後 は，画像と擬似キャプションの特徵量に対して，双方向の特徵量再構成 $[8]$ や距離学習 [9] を適用して,画像と擬似キャプションとの対応付けを学習する。

## 3 手法

本研究では，画像と齯齬のある単語を画像に対す る教師信号として用いないよう抑制する手法を提案 する。手法の概要を図 1 に示す.

## 3.1 基本モデル

教師ありキャプション生成では画像 $\boldsymbol{I}$ に対して正解のキャプション $\boldsymbol{y}$ が与えられるが，疑似教師あり キャプション生成では, 画像から検出された物体名 を含む任意の文 $\hat{y} て ゙ ~ y$ を代替する。提案手法の基本

$\hat{\mathbf{y}}=\left[\hat{y}_{1}, \ldots, \hat{y}_{T}\right] \quad\left(\hat{y}_{T}\right.$ は<eos>トークン）の各ペアに対 して, 条件付き確率 $p(\hat{\boldsymbol{y}} \mid \boldsymbol{I})=\prod_{t=1}^{T} p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right)$ を 以下のようにモデル化する：

$
\begin{aligned}
p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right) & =\frac{\exp \left(\boldsymbol{h}_{t}^{\top} \boldsymbol{W}_{o} \Pi\left(\hat{y}_{t-1}\right)\right)}{\sum_{\hat{y}} \exp \left(\boldsymbol{h}_{t}^{\top} \boldsymbol{W}_{o} \Pi(\hat{y})\right)}, \\
\boldsymbol{h}_{t} & = \begin{cases}\operatorname{Dec}\left(\frac{\boldsymbol{v}}{\|\boldsymbol{v}\|_{2}}, \boldsymbol{h}_{0}\right) & \text { if } t=1 \\
\operatorname{Dec}\left(\boldsymbol{e}_{t}, \boldsymbol{h}_{t-1}\right) & \text { otherwise. }\end{cases}
\end{aligned}
$

入力は, $\boldsymbol{v}=\boldsymbol{W}_{a} \operatorname{Enc}(\boldsymbol{I}), \boldsymbol{e}_{t}=\boldsymbol{W}_{e} \Pi\left(\hat{y}_{t-1}\right)$, ゼロベクト ル $h_{0} \in \mathbb{R}^{d}$. ここで, $\Pi(x)$ は単語 $x$ に対応する onehot ベクトルを出力する関数，Dec($\cdot$) はRNN， Enc($\cdot$)
は画像分類を事前学習した CNN， $\boldsymbol{W}_{a} \in \mathbb{R}^{d \times d^{\prime}}$ は画像特徴量に対する線形変換行列， $\boldsymbol{W}_{e}, \boldsymbol{W}_{o} \in \mathbb{R}^{d \times N}$ は 語彙数 $N$ の単語埋め込み行列である.

## 3.2 ゲート機構の導入

疑似キャプションは，1 節で述べたように，画像 に対応しない記述を含む. この画像と擬似キャプ ションとの部分的な不一致を考慮するため，疑似 キャプション中の各単語の生成に画像の特徵量を どの程度使うかを制御するゲート機構を導入する。 ゲート機構は式 (1)を以下のように変更する：

$
\begin{aligned}
p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right) & =\frac{\exp \left(\boldsymbol{r}_{t}^{\top} \boldsymbol{W}_{o} \Pi\left(\hat{y}_{t-1}\right)\right)}{\sum_{\hat{y}} \exp \left(\boldsymbol{r}_{t}^{\top} \boldsymbol{W}_{o} \Pi(\hat{y})\right)}, \\
\boldsymbol{r}_{t} & =g_{t} \frac{\boldsymbol{W}_{v} \boldsymbol{v}}{\left.\|\boldsymbol{W}_{v} \boldsymbol{v}\right.\|_{2}}+\left(1-g_{t}\right) \boldsymbol{h}_{t}, \\
g_{t} & =\operatorname{sigmoid}\left(\tanh \left(\boldsymbol{W}_{k} \boldsymbol{v}\right)^{\top} \boldsymbol{h}_{t}\right) .
\end{aligned}
$

ここで, $g \in[0,1]$ はゲートの值, $\boldsymbol{W}_{k}, \boldsymbol{W}_{v} \in \mathbb{R}^{d \times d}$ は 画像特徴量に対する線形変換行列である。ゲートを 通すことで，各タイムステップでの出力で画像特徴量を $g$ の重み付きで用いることができる。これによ り，疑似キャプション中で画像に対応する部分につ いては $g$ を大きく，そうでない部分については $g$ を 小さくして，画像と疑似キャプションとの部分的な 一致・不一致を考慮することを可能にする。

画像と擬似キャプションの各ペアに対して，ゲー 卜機構付きモデルは以下の交差エントロピー誤差 $L_{g}$ を最小化するよう学習する：

$
L_{g}=-\frac{1}{T} \sum_{t=1}^{T} \log p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right)
$

## 3.3 ゲートへの疑似教師信号

3.2 節で導入したゲート機構は，疑似キャプショ ン中でどの単語が画像に対応しているのかについて 教師信号を与えられていない，タスクの設定上正し

表 1 先行研究との比較. 二重線の上下は，それぞれ先行研究 Prev. [8, 9] の実験設定に対応する. 提案手法のスコアは 5 回の試行の平均と標準偏差. Prev. [9] の BLEU-1 から 3 と SPICE のスコアについては, 論文での報告がないため空欄.

い教師信号を与えることはできないが，以下のよう

に擬似的に教師信号を与えることはできる.

疑似キャプションは，画像から検出された物体名 だけを頼りに取得される。そのため，物体名以外の 単語については画像と対応している可能性が低い.提案手法では，この対応関係を反映した擬似教師信号 $f$ を用いる. $f$ は, $\hat{y}_{t}$ が画像から検出された物体名である場合は $f_{t}=1$, それ以外の場合は $f_{t}=0$ と なる.この $f$ を $g$ に対する教師信号として，以下の 交差エントロピー誤差 $L_{f}$ を最小化する：

$
L_{f}=-\frac{1}{T} \sum_{t=1}^{T}\left.\{\alpha f_{t} \log g_{t}+\left(1-f_{t}\right) \log \left(1-g_{t}\right)\right.\}
$

ここで， $\alpha$ は $f_{t}=1$ での誤差を重み付けるハイパー パラメータである. 疑似キャプション中で検出物体名に対応する単語はそれ以外の単語に比べて数が少 ないため， $\alpha$ にはこの比率を考慮した値を設定する。

ゲートに上記の疑似教師信号を与えると，式 (4) から，基本的に，物体名については画像特徴量を 使って生成し, それ以外の単語については前タイム ステップまでの文脈特徴量を使って生成することに なる。これにより, 物体名以外については画像特徵量に対応した生成を学習できなくなる反面，画像に 一致しない可能性の高い記述を画像から生成するよ う強制してしまうことが避けられる。

提案手法の最終的な損失関数 $L$ は以下とする：

$
L=L_{g}+L_{f}
$

## 3.4 物体名デコードへの制約

式 (4) では, $g_{t}=1$ のとき, $t$ によらず同じ特徴量 $\boldsymbol{W}_{v} \boldsymbol{v} /\left.\|\boldsymbol{W}_{v} \boldsymbol{v}\right.\|_{2}$ から $\hat{y}_{t}$ が予測される. このため, こ のまま用いるとデコード時に同じ物体名を繰り返し 出力する問題が起きる. そこでデコード時には, 物体検出器に定義されている物体カテゴリのうち，一度生成した物体名についてはそれ以降のタイムス テップでの生成確率を 0 にする制約を加える.

表 2 出力キャプションとその参照キャプションから抽出 した, 物体名 / その他の単語の BoW の平均一致度.

## 4 実験

## 4.1 実験設定概要

先行研究に従って，学習に使う画像データには MS COCO [2] の学習データ [7], テキストデータには Web から取得された画像説明文 $[8,16]$ を使用した. ただし，これらのテキストデータには MS COCO の キャプションは含まれていない. 評価は, MS COCO の評価用データに対して BLEU [17], ROUGE [18], METEOR [19], CIDEr [20], SPICE [21] の自動評価指標を適用して行った。表の数值はすべて， MS COCO のテストデータで算出した.

実験設定の詳細部分では，先行研究 $[8,9]$ はそれ ぞれやや異なる設定をとっている。詳細については 付録 $\mathrm{A}$ を参照されたい.

## 4.2 先行研究との比較

表 1 に先行研究のスコアとの比較を示す. 先行研究のいずれの設定においても，すべての評価指標で 提案手法が先行研究を上回るスコアを示しており，提案手法の有効性が確認された

## 4.3 物体名以外の生成における比較

疑似キャプション中で画像との不一致がある可能性が高いのは物体名以外の単語である（3.3 節)，提案手法はこの不一致を学習に使わせないことに重点

表 3 提案手法と先行研究手法 Prev. [8] の併用の結果. Ours が含まれる手法のスコアは 5 回の試行の平均と標準偏差.

を置くので，特に物体名以外の単語の生成において 先行研究に対する改善があることが期待される.こ の改善を確かめるため, 出力キャプションとその参照キャプションから, 物体検出器に定義されている 物体カテゴリの単語とそれ以外の単語のそれぞれを 抽出した Bag of Words (BoW) を作成し, 出力-参照ぺ アで BoW の平均一致度を算出した. 比較は, 実装 が公開されている先行研究 [8] に対して行った.

表 2 から，提案手法が物体名以外の単語の生成 で先行研究 [8] を上回っていることがわかる. 特に Precision での差が大きいことから, 学習において特 に画像との不一致が多い部分については，これを画像に対して教師信号として与えると, 誤って画像に 対応付けられた余計な記述が生成されてしまうのだ と考えられる。これに対して提案手法は，物体名以外は基本的に前文脈に対して頻度の高い単語を生成 する学習を行う．これによる頻出系列の方が，画像 に一致した出力になりやすいことがわかった.

## 4.4 モデルの初期化手法としての活用

提案手法が画像に対してそれと䶞䶣のある単語を 対応付けない学習に重点を置いているのに対して，先行研究は多少の䶡䶣はあっても画像に一文全体を 対応付ける学習に重点を置いている. 両者が重視し ている互いに異なる要素を補うため，これらを組み 合わせた手法の実験を行った. 先行研究 [8] の実験設定で，学習データの画像に対して学習済みの提案 モデルでキャプションを出力し，画像とキャプショ ンのペアを作成する. このぺアを使って画像から上記のキャプションを生成する学習を行い, 先行研究 のキャプション生成モデルのパラメータを初期化, その後, 通常通り先行研究 [8] の手法を学習させた.

表 3 から，提案手法と先行研究を組み合わせた手法（Ours + Prev. [8]）は，元の手法からさらにスコア を向上させることがわかった. この結果から，提案手法はそれ単体としてだけでなく，モデルの初期化手法として汎用的に活用されうると考えられる. (a)

(b)

(c)

(a)

図 2 出力例. Objects は画像から検出された物体.

## 4.5 出力例

図 2 にモデル別のキャプション出力例を示す. 物体名以外の単語について, 提案手法が前置詞や冠詞 など物体との共起頻度の高い単語を出力する傾向が あるのに対して, 先行研究 [8] は, “portrait of", “in the savuti, kenya", "in the morning"など物体との共起頻度が比較的低い記述を生成する傾向が見られる。 このような共起頻度の低い記述は，いずれの例にお いても画像と一致していない. 反対に，物体名につ いては，(b) と (c)のように提案手法が余計な出力を する傾向がある。(c)では, 先行研究の手法を組み合 わせることでこの物体名の誤りが改善されている。

## 5 おわりに

本研究では，疑似教師ありキャプション生成にお いて擬似キャプションが画像に対して部分的に一致 しない問題に着目し，この齯䶣のある部分を画像に 対して教師信号として与えないよう抑制する手法を 提案した. 実験の結果, 提案手法が先行研究の性能 を上回り，疑似教師ありキャプション生成において 上記の問題を考慮することの重要性が示された. ま た, 提案手法は，モデルの初期化手法として先行研究の手法と組み合わせることで，さらに性能を向上 させることが確認された.

## 参考文献

[1] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. TACL, 2014.

[2] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, 2014.

[3] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In CVPR, 2015.

[4] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, 2015.

[5] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR, 2018.

[6] Harsh Agrawal, Karan Desai, Yufei Wang, Xinlei Chen, Rishabh Jain, Mark Johnson, Dhruv Batra, Devi Parikh, Stefan Lee, and Peter Anderson. nocaps: novel object captioning at scale. In ICCV, 2019.

[7] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR, 2015.

[8] Yang Feng, Lin Ma, Wei Liu, and Jiebo Luo. Unsupervised image captioning. In CVPR, 2019.

[9] Iro Laina, Christian Rupprecht, and Nassir Navab. Towards unsupervised image captioning with shared multimodal embeddings. In ICCV, 2019.

[10] Subhashini Venugopalan, Lisa Anne Hendricks, Marcus Rohrbach, Raymond Mooney, Trevor Darrell, and Kate Saenko. Captioning images with diverse objects. In CVPR, 2017.

[11] Peter Anderson, Stephen Gould, and Mark Johnson. Partially-supervised image captioning. In NeurIPS, 2018.

[12] Jiasen Lu, Jianwei Yang, Dhruv Batra, and Devi Parikh. Neural baby talk. In CVPR, 2018.

[13] Mitja Nikolaus, Mostafa Abdou, Matthew Lamm, Rahul Aralikatte, and Desmond Elliott. Compositional generalization in image captioning. In CoNLL, 2019.

[14] Jiuxiang Gu, Shafiq Joty, Jianfei Cai, Handong Zhao, $\mathrm{Xu}$ Yang, and Gang Wang. Unpaired image captioning via scene graph alignments. In ICCV, 2019.

[15] Fenglin Liu, Meng Gao, Tianhao Zhang, and Yuexian Zou. Exploring semantic relationships for image captioning without parallel data. In ICDM, 2019.

[16] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In ACL, 2018.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In $A C L, 2002$.

[18] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text Summarization Branches Out, 2004.

[19] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In the ninth workshop on statistical machine translation, 2014.

[20] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.

[21] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Spice: Semantic propositional image caption evaluation. In $E C C V, 2016$.

[22] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python, 2020.

[23] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.

## A 実験設定詳細

表 4 先行研究 $[8,9]$ それぞれの詳細な実験設定.

実験設定差分 4.1 節で述べたとおり，先行研究 $[8,9]$ ではそれぞれやや異なった実験設定をとっている. 表 4 にその差分をまとめた。各要素の詳細は先行研究 $[8,9]$ を参照されたい.

疑似キャプションの前処理 画像から検出された物体名のセットに対して，2つ以上検出された場合はそのうちのぺアの 組み合わせを用意し，各ペアが含まれている文を収集した。このとき，物体名の複数形の辞書（先行研究 [8]）を利用し て，目的の物体名が複数形で含まれている文も取得する. 収集した文から，目的の物体同士が関連した内容のものを選別するため，文中で目的の物体ペアの間に 4 つ以下の単語しか含まれない文を取り出した。また，目的の物体名ぺアが 複合語として出現している文を避けるため，物体名が隣り合っている文は取り除いた。同様に，各単体の物体について も文を収集した。ここで収集された文に対しては，目的の物体についてより詳細な記述のある文を選別するため，目的 の物体とそれを修飾する形容詞の間に 2 つ以下の単語しか含まれない文を取り出した. 統語解析器には spaCy [22] の en_core_web_lgを用いた.

学習イテレーション 頻出の物体に過適合することを防ぐため，各画像ではなく各物体ぺアでイテレーションを行った.各物体ぺアについて，これを含む画像と擬似キャプションをサンプリングして学習に用いる．また，物体ぺア中の各物体についても同様にサンプリングと学習を行った. バッチサイズは 8 とし, validation セットでの CIDErスコアが 20 エ ポック連続で更新されなくなった時点で学習を止めた。最適化には，Adam [23]を論文の推奨パラメータで用いた。

$\alpha$ の値 式 (7) について， $\alpha=16$ とした。上述のように，学習は物体ぺアとそのうちの各単体の物体を単位として行われ るため，サンプリングされた文の中で検出された物体に対応する単語は 2 つか 1 つしかない. これに対してテキスト データの平均文長は，先行研究 $[8,9]$ でそれぞれ 12.0 と 10.7 である. この検出物体数と文長の比率を考慮して 2 の累乗数から最も性能が高くなる $\alpha$ を探した結果，文長 / 検出物体数 $(=1)$, に近い， $\alpha=16$ が最も高い性能を示した.

先行研究モデル初期化のための疑似キャプションの前処理 4.4 節の手法では，学習データの画像に対する提案手法の出力を疑似キャプションとして扱う．このとき，画像に対して全く異なる内容の疑似キャプションを与えることを防ぐた め，次の前処理を行った. 画像から検出された物体が 2 つ以上ある場合は，2 つ以上それらの物体を含む疑似キャプショ ンのみ，検出された物体が 1 つの場合は，それを含む疑似キャプションのみを選別した. この基準を満たさない疑似 キャプションについては，画像とともに先行研究モデル初期化のための学習データから外した.

## B Ablation Study

表 5 Ablation study. 二重線の上下は，それぞれ先行研究 $[8,9]$ の実験設定に対応する. 提案手法のスコアは 5 回の試行の 平均，その他は一回の試行のスコア.

表 5 に ablation study の結果を示す. w/o filter は $L_{g}$ だけを最小化したモデル，w/o gate は式 (1)のモデル化で $L_{g}$ だけを 最小化したモデル，w/o unique は 3.4 節のデコード制約を用いないモデルである. なお， 3.3 節の疑似教師信号 $f$ はゲー ト機構に対して与えられるものなので，ゲート機構なしで疑似教師信号だけ与えるモデル（w/o gate w/ filter）は比較しな い. w/o image は，画像特徴量 $\boldsymbol{v}$ の代わりに，画像から検出された物体名の単語特徴量の平均を用いたモデルである.

いずれの実験設定においても w/o filter で特に数字が下がることから，3.3 節の疑似教師信号が性能の向上に大きく寄与 していること， 3.2 節のゲート機構はそれ単体ではうまく機能しないことがわかった. また, Ours (full) が突出してスコ アが高いことから，提案手法はすべて組み合わせた状態で最も効果を発揮することが確認できる．w/o image のスコアが 低いことについては，出力に物体検出器の誤りが伝播したものが多く見られており，これが原因だと考えられる.
 本多右京 1,3 牛久祥孝 2 橋本 敦史 ${ }^{2}$ 渡辺太郎 ${ }^{1}$ 松本裕治 ${ }^{3}$ 1 奈良先端科学技術大学院大学大学 2 オムロンサイニックエックス株式会社 3 理化学研究所 \{honda.ukyo.hn6, taro\}@is.naist.jp \{yoshitaka.ushiku, atsushi. hashimoto\}@sinicx.com yuji.matsumoto@riken.jp  