# 視覚情報を用いたタスク指向型対話における 人間の応答に対する間違い指摘の検討

大島遼祐 ${ }^{1}$ 品川政太朗 2 綱島秀樹 3 森島繁生 4
1 早稲田大学 先進理工学部 2 奈良先端科学技術大学院大学 先端科学技術研究科
${ }^{3}$ 早稲田大学 先進理工学研究科 4 早稲田大学 理工学術院総合研究所
ryosukeoshima@fuji.waseda.jp sei.shinagawa@is.naist.jp
h.tsunashima@asagi.waseda.jp shigeo@waseda.jp

## 概要

視覚を持つ対話システムが実世界応用される際，対話相手である人間のミスが原因でタスクが失敗 する場合があり，システムには失敗を避けるために 人間を支援することが求められる。そこで本研究で は，視覚情報を用いたタスク指向型対話の一つであ る Guess What?!での人間を支援する方法として，人間の応答ミスを指摘するという問題設定を新たに考 える. 人間が応答に間違えたデータの収集・分析を 行い，間違い指摘モデルの正確性向上への有効的な 学習方法と入力の検証を行った. 実験の結果から,人工的なデータセットによる事前学習と, 応答時刻・質問タイプを加えるという二つが間違い指摘の 正確性向上に部分的に寄与する事が分かった. ${ }^{1)}$

## 1 はじめに

近年，テキスト情報だけでなく，視覚情報も考慮 してチャット形式の対話行うタスクである Visual Dialogue の研究が盛んである [1-4]. 特に, Guess What?! [2]（図 1）は二人で協力して行うゲームと なっており，一方 (Oracle) が参照している画像内の 物体 (以下，正解物体) を，もう一方 (Questioner) が 質問応答を繰り返すことにより推測するという，タ スク指向型対話になっている.

Guess What?!を始めとして, 現状の多くの視覚情報を用いた対話タスクでは，一方の質問に対するも う一方の応答は，質問への応答として常に正しい事 が前提になっている [4-7]. しかし, 現実の対話で は，Oracle 側を担当する人間やモデルが間違えた回答をしてしまう場合も考慮する必要がある。

そこで，本研究では Questioner を対話エージェン
発表した内容と同一の内容を一部含みます.

Questioner

1. Is it a donut?

2. Is it coated with green?

3. A complete donut?

図 1 Guess What?!ゲームの一例. 正解物体は水色枠に囲 われている.この例では，2番目の応答が間違いである。

トが，Oracleを人間が担当する場面を考え，人間が エージェントの質問に対する応答を間違えた場合 に，エージェントがミスを指摘するといった新しい 問題を提案する. 既存研究 [8] でも本研究と同じく,対話相手の応答が間違える場合の重要性を指摘して いるが，こちらは対話相手がタスクを失敗させよう と非協力的にわざと不適切に応答している状況下 で，非協力的であることに気づくという問題設定で ある. 本研究は，対話相手が協力的にも関わらず応答に間違えてしまう状況を想定し，実際に間違いの 応答を指摘するという点で異なる。

人間の応答ミスの指摘は，いつ指摘するかという 視点から大きく 3 つに分けられると考えられる.

1. 対話中に人間の応答ミスに気づき指摘する. 応答ミスによりタスクが失敗の方向に向かってい たが，エージェントがミスに気づき指摘する.

2. 物体の推測に失敗してしまった後に，人間の応答のミスに気づき指摘する. 失敗で終わらせず そこから復帰して，物体の推測を成功させよう というものである.

3. 物体の推測に失敗してしまった後に，人間から 正解物体をエージェントが教えられ，それに基 づいて人間の応答のミスに気づき指摘する。

本研究では，対話相手である人間の応答の間違い を指摘できるようになるための第一歩として， 3 番 の問題設定を考える。この問題設定は，最も容易で あるが，次に全く同じようなタスク指向型対話を 行った際に先ほどの教訓を活かして, 自分の応答に より注意を払うことができるようになり，人間の応答ミスによるタスク失敗の数を減らせるようになる ことが期待できると考える。

本研究では，人間の応答ミスの指摘モデルに望ま しい性質とは何か検証するため, まず人間が応答に ミスをしたデータの収集と分析を行い，続いてその 分析に基づいて，収集したデータから得られる知見 の有効性を実験により検証する。なお，間違い指摘 の問題設定において学習データが少ないという問題 があるため，少ないデータでミスの指摘をより可能 にする人工的なデータセットによる事前学習方法を 提案し，その有効性についても併せて検証する.

## 2 人間の応答ミスの収集と分析

Guess What?!データセット [2] には人間同士によ る対話ゲームの結果が収録されている (約 15 万対話, 82 万個の質問応答ペア, 6.6 万個の画像).また, Questioner が正解物体の予測に成功したもの「status $=$ Success $\lrcorner$, 失敗したもの「status $=$ Failure $\lrcorner$, 途中で 諦めたのもの「status = Incomplete」の 3 つのラベル 付けされている.

## 2.1 応答ミスの含まれるデータの収集

本研究では，実際に人間が Guess What?!ゲームに おいて応答に間違えたデータを集めた (以下，手動 データセット). 具体的には「status = Failure」のラベ ル付けがされたデータセットから 2,300 対話をラン ダムにサンプリングし，人間の応答にミスがないか 手動でチェックすることで構築した. 構築の際，正解物体の大きさが小さすぎるもの，同一の対話に応答ミスが 3 つ以上含まれるものは除外した. ミスが 3 つ以上のものを除外したのは，人間 (Oracle) が最初から適当に答えている可能性が高いと判断したた

図 2 応答時刻と応答ミスの関係性のヒストグラム. 横軸 の数値は正規化されている.

表 1 時刻と応答ミスの関係

めである. その結果， 365 対話からなる応答に間違 いが含まれる手動データセットを構築することがで きた.

## 2.2 応答ミスの含まれるデータの分析

まず，本研究では人間の応答ミスの特徴を見る ために，手動データセットに関して分析を行った.具体的にはデータ収集の際，時刻によって応答を 間違える頻度が異なる印象を受けたため，応答時刻と応答ミスの関係性の分析（2.2.1 項）を行った. また [9,10]において, Oralce モデルが質問タイプに よって応答の正答率が異なることが言及されてるた め，質問タイプと応答ミスの関係性（2.2.2 項）につ いても分析を行った.

## 2.2.1 応答時刻と応答ミスの関係性

図 2 亿応答時刻と応答の間違いの関係性のグラフ を示す. 図 2 の横軸は，以下の計算に基づいて正規化されている.

$
\text { 横軸 }=\frac{\text { 応答時刻 }}{\text { 対話の長さ }}
$

図 2 より，人間の応答ミスは対話の後半部分にいく につれ，多くなっていることがわかる．また，表 1 に最終時刻に応答ミスをしている数と，最終時刻以外に応答ミスをしている数を表す。表 1 から，人間 は最終時刻の応答を間違えやすい傾向にあることが わかる. 図 2 と表 1 のような結果が得られたのは,対話が後半になるほど，細かく物体を識別し正解物体を当てるために，より複雑な質問（例："Is it the man left side from the man wearing a red hat?") が多く なるためであると考えられる.

## 2.2.2 質問タイプと応答ミスの関係性

図 3 各質問タイプにおける間違いの割合. S-category は，Super-category タイプのことを表す.

図 3 に質問タイプと応答ミスの関係性のグラフ を示す。質問タイプのラベル付けは, [9,10] に倣い, キーワードマッチング方式2)で行った。質問はそれ ぞれ, Object (“is it a car?”), Spatial (“on the right side half?"), Color ("is it white?"), Action ("are they wearing jeans?”), Size(“a small one?”), Super-category ("is the object an electronic?"), Texture ("is it made of metal?"), Shape ("is it a round container?") , Others $の 9$ 種類に 分類されている。ここで，括弧内は各質問タイプの 例文である. 図 3 からわかるように, 人間は Spatial, Color, Action, Size のいずれかに分類される質問に 対して，間違えやすいことがわかった. 以上の分析 から，Guess What?!における人間の応答は，応答時刻と質問タイプによって間違えやすい傾向が異なる ことがわかった.

## 3 実験

本研究では，2種類の実験を行った. 1 つ目は，手動データセットの大きさが小規模である問題点に 対し，提案する事前学習方法が有効か検証する実験 （以下，実験 1）である．2つ目は間違い指摘をより 正確に行うには何の入力が重要かを検証する実験 （以下，実験 2）である．2 章で得られた人間の応答 の間違いの傾向が，どのように間違い指摘モデルの 精度向上に寄与するか検証した。

比較モデル 本実験は，学習方法とモデルの入力 を検証する実験のため，実験 1 と実験 2 における比較モデルとして，図 4 のような非常にシンプルなモ デルを構築した. 具体的には, Guess What?! [2] で提案された Oracle モデルに, 間違い指摘のための分類 ヘッドを追加し，モデルの出力に対し閾値を 0.5 と

2）対象の単語が含まれる場合に，特定の質問タイプに分類す る方式. “left'が含まれている質問は Spatial に分類される.

図 4 比較モデルの概要図

表 2 各データセットの利用方法

して，応答が\{間違っているか，合っているか\}を 2 值分類 3 )する.

データセット 手動データセットが小規模である 問題点に対し，「staus = Success」のラベル付けされ たデータセットを用いて，新しく人エデータセッ トを構築した。具体的には，人間の応答の「Yes」 と「No」をランダムに反転することで，人工的に間違いのある応答を作りだし，約 11 万対話の規模の データセットとした.

本実験では上記の人工データセットに加え, Guess What?!データセット [2], 手動データセットを含め た 3 種類のデータセットを用いた. これらデータ セットの利用方法を表 2 に示す. Guess What?!，人 エデータセットは事前学習に，手動データセット は，fine-tuning 時と評価に用いた. 手動データセッ トは，訓練時と同じ画像で構成される seen データ セットと異なる画像で構成される unseen データセッ トに分割した. さらに， seen データセットに関して は fine-tuning 用と評価用に分割した. unseen データ セットは全て評価に用いた。ここで，評価時に用い た seen, unseen データセットは共に，対話テキスト に関しては未知のものである.

本手法では，あえて対話履歴をモデルの入力とし て加えていない。この理由は，人工データセットに 生じる不自然な対話の流れ（付録 A）をモデルが学習することを避けるためであり，本研究における提案手法の一つである人工データセットを用いる上で のモデルへの制約だといえる.

評価指標 間違い指摘の分類性能の評価には， $\mathrm{F}$值を用いた（再現率，適合率は付録 Dを参照).こ の評価指標を用いたのは，人間は応答ミスをあまり せず，テストデータセットは正例数が負例数よりも 少ない不均衡データセットであるためである.

## 3.1 各実験の詳細

実験 1 人間が応答で間違えたデータが少ないと いう問題に対処するため，人工データセットによる 事前学習の有効性の検証実験を行った. 具体的に は，1) 手動データセットのみの学習方法，2) Guess What?!データセットを用いて Oracle モデルとして 学習した後に, 手動データセットによる分類へッ ドの学習 (転移学習) を行う学習方法，3) 人工デー タセットで事前学習し手動データセットを用いて fine-tuning する学習方法の 3 つを比較した.

ここで，人間は応答ミスをあまりしないため，手動データセットは正例の数が負例の数よりも少な い不均衡データセットになっている. したがって, fine-tuning 用の手動データセットは，正例と負例の 数が等しくなるようにオーバーサンプリングした.

実験 22 章の分析結果が人間の応答ミスに対す る指摘の正確性を向上に繋がるかを検証した. 具体的には，応答時刻と質問タイプをそれぞれ新しく入力に加えるモデル（付録 C）を構築し，各モデルの 間違い指摘性能を比較する. その際 fine-tuning 時に 用いるサンプルは，各質問タイプの数が同じになる ようにオーバーサンプリングした.

## 4 実験結果

実験 1 の結果を表 3 に示す. 人工データセットで 事前学習する方法が最も良い $\mathrm{F}$ 値が得られ, 有効的 な学習方法であることがわかる.

実験 2 の結果を表 4 に示す. モデルの構造が事前学習段階から異なるため, 事前学習のみの結果も記載している. 次に，応答時刻を入力に追加したモデ ルにおける，最終時刻の応答とそれ以外の応答での 比較の結果を表 5 に示す.

表 4 から， seen においては追加する入力がないモ表 3 各学習方法における間違い指摘の $\mathrm{F}$ 値比較

表 5 最終時刻の応答と最終時刻以外における応答の モデルの $\mathrm{F}$ 值比較

デルが一番良く，unseen においては応答時刻，質問 タイプのどちらを加えても良い結果となった。ま た, 表 5 より, unseenに対して, 最終時刻以外の応答に対する $\mathrm{F}$ 值を下げることなく, 最終時刻の応答 に対する $\mathrm{F}$ 值を上げることができた。

これらの結果から, seen は既知の画像であるた め，視覚情報を上手く捉えることができ，新しい入力がかえってモデルに不必要な複雑さを与えてしま い，F 值が下がったと考えられる。 unseen では視覚情報を上手く捉えることができず，質問タイプが良 いヒントになったと考えられる。また，応答時刻に 関してもデータの分布をただ学習するのではなく，良いヒントとしてモデルが利用できていることが示唆される。

## 5 おわりに

本研究では, Guess What?!における人間の応答に 含まれる間違いの指摘において，人工データセット による事前学習が有効であること，応答時刻・質問 タイプの追加入力がモデルの精度向上に部分的に貢献することが示唆された. 本研究は Guess What?!と いう限られたドメインにおける間違い指摘のみを 扱ったため, 今後の展望として, 本研究で得られた 知見を他の種類の視覚情報を用いたタスク指向型対話に対しても検証することを考えている.

## 謝辞

本研究は JSPS 科研費 (19H04137，21H05054, 21K17806) の助成を受けたものです.

## 参考文献

[1] Abhishek Das, Satwik Kottur, Khushi Gupta, Avi Singh, Deshraj Yadav, José M.F. Moura, Devi Parikh, and Dhruv Batra. Visual dialog. In CVPR, 2017.

[2] Harm de Vries, Florian Strub, Sarath Chandar, Olivier Pietquin, Hugo Larochelle, and Aaron Courville. Guesswhat?! visual object discovery through multi-modal dialogue. In CVPR, 2017.

[3] Satwik Kottur, Seungwhan Moon, Alborz Geramifard, and Babak Damavandi. Simmc 2.0: A task-oriented dia$\log$ dataset for immersive multimodal conversations. In EMNLP, 2021.

[4] Abhishek Das, Satwik Kottur, Stefan Lee José M. F. Moura, and Dhruv Batra. Learning cooperative visual dialog agents with deep reinforcement learning. In ICCV, 2017.

[5] Abhishek Das, Satwik Kottur, José M.F. Moura, Stefan Lee, and Dhruv Batra. Learning cooperative visual dialog agents with deep reinforcement learning. In ICCV, 2017.

[6] Tao Tu, Qing Ping, Govind Thattai, Gokhan Tur, and Prem Natarajan. Learning better visual dialog agents with pretrained visual-linguistic representation. In CVPR, 2021.

[7] Shoya Matsumori, Kosuke Shingyouchi, Yuki Abe, Yosuke Fukuchi, Komei Sugiura, and Michita Imai. Unified questioner transformer for descriptive question generation in goal-oriented visual dialogue. In ICCV, 2021.

[8] "Anthony Sicilia, Tristan Maidment, Pat Healy, and Malihe Alikhani". Modeling non-cooperative dialogue: Theoretical and empirical insights. arXiv preprint arXiv:2207.07255, 2022.

[9] Alberto Testoni, Claudio Greco, Tobias Bianchi, Mauricio Mazuecos, Agata Marcante, Luciana Benotti, and Raffaella Bernardi. They are not all alike: Answering different spatial questions requires different grounding strategies. In SpLU, 2020.

[10] Ravi Shekhar, Aashish Venkatesh, Tim Baumgärtner, Elia Bruni, Barbara Plank, Raffaella Bernardi, and Raquel Fernández. Beyond task success: A closer look at jointly learning to see, ask, and guesswhat. In NAACL, 2019.

## A 対話の流れが不自然になる例

図 5 人工データセットにおける対話の流れが不自然にな る例. 1 番目の応答が反転により間違いとなっている.

図 5 は，時刻 1 で「食べ物」であることが確定し ているのにも関わらず，時刻 2 で「Is it a plate?」と 聞くような不自然な対話の流れになっている. 実際 の対話の場合，「Is it a banana?」などといった食べ物 に関する質問が続くはずである.

## B 不均衡データにおける評価指標

正例（陽性）の割合が少ないテストデータにおい て, 正解率（= 正解数 / サンプル数）は適切に評価 できない. 理由は，モデルが単純にサンプル数の多 い負例を予測するように学習すれば，全く正例を予測できないにも関わらず，高い正解率を誇る良いモ デルとして評価されてしまうためである。そこで，不均衡データにおける評価指標の一つとして再現率・適合率により定義される $\mathrm{F}$ 值がある．真陽性 (陽性ラベルを正しく陽性と予測)，真陰性（陰性ラ ベルを正しく陰性と予測), 偽陽性（陰性ラベルを 誤って陽性と予測), 偽陰性（陽性ラベルを誤って 陰性と予測）として，再現率・適合率は以下で計算 される.

$
\begin{aligned}
& \text { 再現率 }=\frac{\text { 真陽性数 }}{\text { 真陽性数 }+ \text { 偽陰性数 }} \\
& \text { 適合率 }=\frac{\text { 真陽性数 }}{\text { 真陽性数 }+ \text { 偽陽性数 }}
\end{aligned}
$

正例（陽性）の割合が少ないテストデータにおい て，モデルが単純に「正例」と多く予測するように 学習すれば再現率は高く適合率は低くなり, 反対に 「負例」と多く予測するように学習すれば適合率は 高くなり再現率は低くなる.このようなモデルを適切に低く評価するために, 再現率と適合値の調和平均を取った F 值がある。

$
F \text { 值 }=2 \times \frac{\text { 適合率 } \times \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }}
$

## ） 実験 2 における追加入力モデル

実験 2 で用いた，質問タイプと応答時刻を新しく 入力として加えたモデルの概要図を，図 6,7 にそ れぞれ示す.

図 6 質問タイプを入力に新しく加えたモデル

図 7 応答時刻を入力に新しく加えたモデル

## D 実験結果の補足

実験 1，2 の再現率・適合率の結果をそれぞれ表 6,7 に示す.

表 6 各学習方法における, 間違い指摘の精度比較

表 7 モデルの追加入力の $\mathrm{F}$ 值結果


 大島遼祐 ${ }^{1}$ 品川政太朗 2 綱島秀樹 3 森島繁生 4 1 早稲田大学 先進理工学部 2 奈良先端科学技術大学院大学 先端科学技術研究科 ${ }^{3}$ 早稲田大学 先進理工学研究科 4 早稲田大学 理工学術院総合研究所 ryosukeoshima@fuji.waseda.jp sei.shinagawa@is.naist.jp h.tsunashima@asagi.waseda.jp shigeo@waseda.jp  