# Minecraft を用いた状況付けられたタスク指向型対話データの 収集

小河 晴菜 ${ }^{1}$ 徳永 健伸 ${ }^{1}$ 横野 光 $^{2}$
1 東京工業大学 情報理工学院 2 株式会社富士通研究所
\{ogawa.h.ai@m, take@c\}.titech.ac.jp yokono.hikaru@fujitsu.com

## 1 はじめに

自然言語処理では，大規模なデータを用いてモデ ルを学習する手法が主流となっており，対話処理の 分野もこの例外ではない. 雑談型の対話と比べて夕 スク指向型対話のデータ収集は，タスクに相当する 既存のデータを見つけるのが難しいことから，タス クに応じて人間を用いたデータ収集が必要となる。本稿では，Minecraft $(\mathrm{MC})^{1)}$ 上に構築したタスク指向型の対話データ収集基盤 [1](以下，DDCraft)を用い たデータ収集実験について報告する．MCをデータ 収集基盤として使う利点は以下の 2 点である.

対話データの収集にクラウドソーシングを使う手法がある [2]. この場合，作業者の主な発話動機が 対話目的の達成ではなく作業報酬となり，対話者が 目的を達成するために行う発話とは動機が異なって しまう $[3,4]$. この動機のずれが，タスク本来の対話からのずれとしてデータに反映される恐れがあ る．MCを土台にすることにより，タスクを容易に ゲーム化でき，ゲーム参加者の発話の動機を対話目的に近づけることができる.

人間と物理的な場を共有するロボットや，道案内 タスクなどでは，言語情報に加えて対話者が視覚的・空間的な状況を共有することが重要である.こ のような状況付けられたタスク指向型対話データ の収集には，仮想世界を用いた例 $[5,6]$ や現実世界 で行った例 $[7,8]$ がある. MCには仮想空間を操作 するための基本的な枠組みが用意されているため, MC を土台にすることにより，様々なタスクの状況付けられた対話データの収集が容易になる。

## 2 関連研究

対象とするタスクにゲームの要素を導入する 「ゲーミフィケーション」[9]は，これまでにもデー

1) https://www.minecraft.net/ja-jp
タ収集で活用されている。画像のラベル付けにゲー ムを利用した ESP game [10] は，インターネット上 に公開され 1 万人以上のプレイヤーを集め，アノ テーションタスクにおけるゲーミフィケーションの 有用性を示した。また，Vannella ら [3] はバリデー ションタスクのための複数のゲームを提案し，イン ターネット上に公開したこれらのゲームの結果と， ゲームを用いない同様のタスクをクラウドソーシ ングの作業者に行わせた結果を比べ，ゲーム形式で 行った場合のほうが結果の質が高いことを示した.

対話収集への適用例としては， Manuvinakurike ら [11] が，クラウドソーシングによって話し言葉 での対話を収集するブラウザゲームを作成した他， Asher ら [12] が複数人で行うオンラインボードゲー ム上にチャット機能を実装し，複数人の書き言葉で の対話を収集している。

これらの研究はゲームを用いてタスク指向型対話 を収集しているが，タスクが固定されており，他の タスクにゲームを流用することができない。一方， DDCraft は MC 上における対話収集のための汎用的 な機能を提供し，対話収集者はその上でタスクを設計するという点で異なる。これにより，対話収集者 は $\mathrm{MC}$ 本来の機能を活用しつつ実装の手間を削減す ることができる.

## 3 対話データ収集基盤

DDCraft [1] は，MCサーバ上の仮想世界で行われ る対話について，ペアごとに，発話内容，発話時の 発話者の位置情報と視界の情報，操作可能な物体の 操作ログを収集する。サーバに接続した作業者らを 自動でマッチングし，対話ペアを生成した後，ペア ごとの個別の仮想世界を用意する機能を持つ.これ により，データ収集者は作業者のペア組みを調整す る必要がない. さらに，DDCraft は仮想世界内の地図画像を出力するなど，ゲームを設計するための補
助機能を提供する.これらの機能は $\mathrm{MC}$ の拡張機能 として実装しており，MCにこれらを導入すること で基盤を運用できる.

## 4 対話収集実験

DDCraft の基本的な機能を検証し，実際にどのよ うなデータが収集可能か, また, 状況付けられた対話の特徴である参照表現の誘発が行えるかを確認 するためにクラウドソーシングを使って参加者を 募った.

## 4.1 対話タスク

対話データ収集には，DDCraft 上で行う対話タス クの例として我々が考案した Mansion Taskを用い る. Mansion Task は協力的なタスク指向型対話を収集することを目的とした二人用のタスクで，Map Task [13] を元にしている.このタスクでは, 作業者 はそれぞれ内容が一部異なる地図を渡される，地図 には部屋の配置とゴール地点, 更にゴールに到達す るために行うべき複数のサブタスクの情報が記され ている. 作業者らの目的はこれらのサブタスクを達成し，ゴールに辿り着くことである. サブタスクを 達成するための情報は二枚の地図に分割されて記載 されるため，作業者らは対話によって情報を交換す ることになる．また，各サブタスクは二人が協力し ないと達成できないよう設定されている.

本研究では，状況付けられた対話の特徴の一つで ある参照表現の誘発を目的としたサブタスクを設定 した. Stoia ら [6]にならい, 同一の物体を複数配置 することで, 特定の物体を表現しょうとした作業者 に参照表現を使用させることを狙う．実験に用いた Mansion Task の設定の詳細は付録を参照されたい.

## 4.2 実験方法

クラウドソーシングサービスの Amazon Mechanical Turk(MTurk) ${ }^{2}$ 上で, Mansion Taskを用いた対話 データ収集実験を行なった. MTurkでは作業者が行 うタスク (HIT)を登録することで仕事を依頼でき る. また，その際に受諾条件を設定できる。作業者 は自分が行いたい HIT を選択し，受諾する。

今回の実験では作業者同士がペアを組む必要が ある. ペア組みには基盤のマッチング機能を用い，我々は個々のぺア組みに関与せずに，サーバへの接続時間が合うよう HIT の説明内で大まかな接続推奨


時間帯を指定するにとどめ，自然にマッチングする ようにした。

## 4.3 作業者の募集

我々はまず，募集人数を 20 人 (10ペア分) として HIT を登録した.この試行では 5 人の作業者がサー バへ接続したが，接続時間がばらついておりぺアが 組まれなかった. また, HIT の登録後 10 分未満で 受諾人数が募集人数に達した. 受諾した作業者の中 には，タスクを行わずに提出した作業者や，実行せ ず放置した作業者が含まれている。短時間のうちに そういった作業者で人数の枠が埋まってしまったこ とは， 1 回目の試行が上手く行かなかった一つの原因だと考える。

1 回目の結果を踏まえて，設定を二点変更した. まず，接続時間のばらつきに対応するため，接続推奨時間帯を 15 枠から 3 枠に削減した. また，タス クを実行できない作業者が HIT を受諾するのを防ぐ ため, 過去の成果の承認率と, MC のライセンスの 有無を確認する設問への回答を受諾条件として追加 した. その上で再度 HIT を登録したが，この 2 回目 の試行ではサーバへの接続が一件のみだった. 我々 はこの原因が追加した設問にあると考えている. 作業者が HIT の一覧を表示する際，自分が受諾条件を 満たす HIT だけを抽出することができる．だが今回 のような設問が設定されている場合，任意の作業者 は初め条件を満たしていないため, 抽出表示した作業者には HIT が表示されない. そのため, 作業者数 が大きく減ったのではないかと推測している.

設問を削除し，その分タスクを実行できない作業者が受諾しても募集人数が埋まらないよう，人数を 10 倍の 200 人に変更した. その上で 3 回目の HIT 登録を行なったところ，6人の作業者が接続し， 3 ペア分の対話を収集することに成功した. 接続推奨時間帯を狭めたことで，作業者の接続時間を重ねる ことができたと考えている．また，受諾人数が募集人数に達するまで一日半程度の猶予があったため, タスクを行える作業者が受諾する余裕があったと考 えられる。この試行では，基盤の設定不足が原因で サーバへの接続に失敗した作業者が 4 人いた. これ は HIT 説明の設定手順が主に文章で構成されていた ため，理解しづらかった可能性がある．

説明に図を追加した上で 4 回目の募集を行った. この試行では, 13 人の作業者がサーバに接続した. うち 4 人は一度設定不足で接続に失敗したが，その
後接続に成功している。これは，設定手順の説明の わかりやすさを改善したことが有効に働いたと考え ている。しかしながら，ペアが成立したのは 2 組の みだった．接続ログを調べたところ，接続推奨時間帯外の接続が多かった (13 人中 7 人). これが，ペア 成立数が伸びなかった原因であると考えている.

## 4.4 募集における課題

4.3 節の結果から，DDCraft を用いた作業者の募集 における二つの課題が示唆された。

一つ目は，DDCraft を用いるために，作業者が自 ら拡張機能をインストールしなければならない点で ある. HITを受諾したが放置した作業者が多かった 点から，接続するための設定が手間であると思われ た可能性がある. 取得できる情報に制限がかかるも のの， MC の拡張をサーバ側のみに留めるオプショ ンを用意し，作業者が設定を行わずに接続できるよ うにすることで，この問題を緩和できると考える。

二つ目は，対話ぺアを組むために，作業者が同時にサーバに接続している必要がある点である. DDCraft は作業者のマッチングを自動で行うため， データ収集者はぺア組みを調整する必要がない。た だしその分，同じタイミングでサーバに接続した作業者がいなければ，作業者はタスクを行うことがで きない. これに対し, 我々は接続推奨時間帯を設定 したが，4 回目の例からも分かるように，作業者が 必ずしもその時間帯に接続を行うわけではない. 接続時間を指定するだけでなく，作業者のサーバ停留時間を延ばすことが重要であると考えられる。停留時間を延ばすための取り組みとして，我々は MC の 特徴を活かし，作業者らが待機する仮想世界を探索 して遊べるょうなものに設定している. 実験では，実際に遊んで待機する作業者が確認された. 現在の 仮想世界は単純なものであるため，ミニゲームの追加などより面白さを増やす改良を行うことで，作業者が同じ時間にサーバに接続している状況を作りや すくできる可能性がある.

## 5 作業結果の考察

## 5.1 作業者の動機づけ

表 1 にタスクを行った 10 人の作業者によるタス ク後のアンケート結果を示す. アンケートは任意回答だったが，10 人全員から回答を得た.また，図 1 に自由記述コメントの抜粋を示す. アンケート
では，「もう一度遊びたいか」という問いに対して “Yes” の回答が 8 割を占めており，「報酬がなくても 遊びたいか」についても，少し消極的な回答が増え るものの, “Rather Yes”以上の回答が 8 割を占めて いる.これらの回答やコメントの内容から, 作業者 が楽しんでタスクを行ったことが推測できる。この ことから，ゲーム形式でタスクを行うことで，本研究が目的とする作業者の動機づけができていると考 えられる。また，全てのペアが最後までタスクを達成しており，DDCraft での対話収集では，基盤の設定やペア組みなどの壁があるものの，それらを乗り 越えれば作業者が意欲的にタスクに取り組むことが 示唆された。

表 1 タスク後の任意アンケート結果. RN は Rather No, Ne は Neither, RY は Rather Yes を表す.

図1作業者によるタスクへの自由記述コメント (抜粋)

## 5.2 収集した対話データの特徴

表 2 に，収集した対話データの対話時間，発話数，参照表現および空間的な表現の出現回数を示す.こ こで，参照表現・空間的な表現として「他との位置関係によって説明されているもの」「this, that などの 指示語で説明されているもの」を数えた。一発話中 に複数の表現が出現した場合，それぞれを一つとし てカウントする．また，対話 1３ は収集実験の 3 回目の試行で，対話 $4 ， 5$ は 4 回目で取得したもの である. 対話はすべて英語のチャットで行われた.

各ペアを比較すると，対話 $1 \sim 3$ と 4,5 で発話数 の合計が大きく違っている.しかし， 3 回目と 4 回目の試行ではタスク内容を変えていないため，作業者の性格が原因で偶然この差異が現れたと考えて いる。また，対話 3 のペアでは参照表現が一度しか 出現していない. 作業者が入力したコメントによれ ば，このペアの主なコミュニケーションは MC 内の キャラクターの移動・腕の動きといった非言語情報

図 2 同一の対象に対する参照表現が現れた発話の内容，発話者の地図上の位置およびその視界. ここで，各発話は全て 異なる対話のものである。また，地図は一部分のみを載せている。

で行われた，とあり，実際，収集した対話ログを見 ると，このペアではタスクを達成するための操作に 関する発言が 2 回しかされていない。

表 2 Mansion Task v2を用いて収集したデータの情報.

図 2 に，ある同一の物体に対して用いられた参照表現を含む発話と，その際の周辺情報を示す. 基盤 は発話者の位置のみを記録するため，図には対話相手の位置情報は含まれない。三つの発話はそれぞれ 別の対話であり，図内の破線で囲まれた物体 (感圧板) を踏むよう発話者が相手に指示した際のもので ある。同じ対象を表すのに，三人の発話者が異なる 表現を用いていることがわかる。 それぞれの発話内容を見ると，対象から離れた位置で行われた 1 番の 発話では建物内の位置を参照して対象を表現してい るのに対し, 対象と近い位置で起きた 2,3 番の発話では発話者の位置を基準とした表現が用いられて いる. 収集した対話データからは，このような作業者の位置による表現の違いや，周囲の情報がなけれ ば意味を理解できない発話が確認できた．MCの仮想世界を利用することで，状況付けられた対話が行 われたことがわかる。

また，図２の「作業者の視界」は，各作業者が実際に見ていた光景からゲームのUIを除いたもので ある。現実世界で作業者の視線や視界の情報を得る
ためには専用の機材が必要であるが，ゲームを用い れば，現実より単純化された視界ではあるものの，作業者の行動を妨げることなくこれらの情報を取得 できる。これも $\mathrm{MC}$ を利用する利点の一つである。

以上の結果から，ゲームの世界であっても状況付 けられた対話が収集できることが分かった。一方 で，現状の基盤が記録していない，動作のような非言語情報や発話時の対話相手の位置情報が，より正確な状況の把握に必要であることが示唆された. そ れらの情報を取得できるよう基盤の改良を行うこと で，より細かく作業者の行動を把握できると考えら れる。

## 6 おわりに

本研究では，MCを用いた対話データ収集基盤 DDCraft 上で，クラウドソーシングによって状況付 けられたタスク指向型対話の収集を行なった。 その 結果として，ゲーミフィケーションにより作業者が 動機づけられることや，MCを用いることで状況付 けられた対話を周辺情報と共に収集できることが確認できた。一方で，基盤を用いた対話収集における 課題が確認された. 今後は，大規模な対話データ収集のためにこれらの課題の有効な解決方法を検討す る必要がある他，今回収集を行わなかった非言語情報を収集対象に含めるよう基盤の改良を行う。

## 謝辞

本研究は JSPS 科研費 JP19H04167 の助成を受けた ものです.

## 参考文献

[1] Haruna Ogawa, Hitoshi Nishikawa, Takenobu Tokunaga, and Hikaru Yokono. Gamification Platform for Collecting Task-oriented Dialogue Data. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 7084-7093, Marseille, France, May 2020. European Language Resources Association (ELRA).

[2] Walter Lasecki, Ece Kamar, and Dan Bohus. Conversations in the crowd: Collecting data for task-oriented dialog learning. In In Proceedings of the Human Computation Workshop on Scaling Speech and Language Understanding and Dialog through Crowdsourcing at HCOMP 2013., January 2013.

[3] Daniele Vannella, David Jurgens, Daniele Scarfini, Domenico Toscani, and Roberto Navigli. Validating and extending semantic knowledge bases using video games with a purpose. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1294-1304, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[4] Mikhail Burtsev and Varvara Logacheva. Conversational intelligence challenge: Accelerating research with crowd science and open source. AI Magazine, Vol. 41, No. 3, pp. 18-27, 2020

[5] Donna K. Byron and Eric Fosler-Lussier. The OSU quake 2004 corpus of two-party situated problem-solving dialogs. In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06), pp. 395-400, Genoa, Italy, May 2006. European Language Resources Association (ELRA).

[6] Laura Stoia, Darla Magdalene Shockley, Donna K Byron, and Eric Fosler-Lussier. SCARE: A situated corpus with annotated Referring expressions. In Proceedings of the 6th International Conference on Language Resources and Evaluation, LREC 2008, pp. 650-653, 2008.

[7] Susan E Brennan, Katharina S Schuhmann, and Karla M Batres. Entrainment on the Move and in the Lab: The Walking Around Corpus. In Proceedings of the 35th Annual Meeting of the Cognitive Science Society, CogSci 2013, pp. 1934-1939, 2013.

[8] Kris Liu, Jean Fox Tree, and Marilyn Walker. Coordinating communication in the wild: The artwalk dialogue corpus of pedestrian navigation and mobile referential communication. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 3159-3166, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[9] Sebastian Deterding, Dan Dixon, Rilla Khaled, and Lennart Nacke. From game design elements to gamefulness: Defining "gamification". In Proceedings of the 15th International Academic MindTrek Conference: Envisioning Future Media Environments, MindTrek '11, p. 9-15, New York, NY, USA, 2011. Association for Computing Machinery,

[10] Luis von Ahn and Laura Dabbish. Labeling images with a computer game. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI '04, pp.
319-326, New York, NY, USA, 2004. ACM.

[11] Ramesh Manuvinakurike and David DeVault. Pair me up: A web framework for crowd-sourced spoken dialogue collection. In G.G. Lee, H.K. Kim, M. Jeong, and J.H. Kim, editors, Natural Language Dialog Systems and Intelligent Assistants, pp. 189-201. Springer International Publishing, Cham, 2015.

[12] Nicholas Asher, Julie Hunter, Mathieu Morey, Benamara Farah, and Stergos Afantenos. Discourse structure and dialogue acts in multiparty dialogue: the STAC corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 27212727, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Anne H. Anderson, Miles Bader, Ellen Gurman Bard, Elizabeth Boyle, Gwyneth Doherty, Simon Garrod, Stephen Isard, Jacqueline Kowtko, Jan McAllister, Jim Miller, Catherine Sotillo, Henry S. Thompson, and Regina Weinert. The HCRC map task corpus. Language and Speech, Vol. 34, No. 4, pp. 351-366, 1991.

## 付録：Mansion Task の詳細

本節では，本文中で触れた Mansion Task の設定に ついて述べる. 図 A1 に，作業者二人に分けて与え られる情報を纏めた Mansion Task の地図を示す.こ の地図は, DDCraft の地図画像生成機能が出力した 画像に，矢印や説明書きを加えたものである。これ らの説明は，作業者の発話に影響を与えないよう記号のみで記した。作業者に与えられる際は，一方の 地図には図の “RED” と“YELLOW”に関する説明の みが，もう一方には “BLUE”と “GREEN”に関する 説明のみが記載される。

図 A1 Mansion Task の地図 (作業者二人分の情報を統合 したもの)

このタスクの目的は，スタート地点の目の前にあ るゴールに辿り着くことである。ただし，ゴールの 前には扉があり，作業者らはその扉を開くために四 つあるサブタスクを達成する必要がある. このサブ タスクの達成方法は，すべて「閉ざされた扉を開 け，その奥のレバーを起動する」というものであ る. 扉の開け方はサブタスクごとに異なる. 図 A2 にサブタスクの扉を示す. 各サブタスクの扉の上部 には色のついたマークが記されており，これらはそ れぞれ地図の RED, BLUE, YELLOW, GREEN に対応 している. サブタスクの扉を開けるには，地図の情報に従って仮想世界内の操作可能な物体 (ギミック) を操作する必要がある. Mansion Task のギミックは 三種類あり，右クリックで起動できる「レバー」の 他に，右クリックで起動できるが数秒後に起動状態が解除される「ボタン」，上に乗っている間起動 できる「感圧板」が存在する. 図 A3 にこれらのギ ミックを示す.

次に，各サブタスクの扉を開ける方法について述 べる．RED は，片方の作業者がボタンを押すことで 離れた位置にあるドアを開け，その間にもう一方の

図 A2 サブタスクの扉. 扉の上に色のついたマークが示 されている. 図はRED

図 A3 ギミックの一覧. 左から，ボタン，感圧板， レバー

作業者がドアの奥にあるボタンを押すことで達成で きる．BLUEでは，五つ並んだ感圧板のうち正しい 二つを同時に踏むことでサブタスクを達成できる。 YELLOW は，一方の作業者がある部屋の感圧板を 踏んで別の部屋にあるドアを開け，もう一方がドア の奥にある感圧板を踏むことで達成できるサブタス クである。このサブタスクのみ，二人の作業者らが 別々の部屋で作業を行う．GREEN は，ある部屋の 向かい合う壁にそれぞれ二つと三つ存在するボタ ンの中から，正しい二つを同時に押すことで達成で きる.

RED と YELLOW は同様に「一方が扉を開け，も う一方がその奥のギミックを操作する」というサブ タスクであるが，REDでは作業者らが同じ部屋で 作業を行い，相手の行動を見ることができるのに対 し，YELLOW ではそれぞれ別の部屋でギミックを 操作する必要があり，自分の作業の結果や相手の 動きが見えないという点で異なる。また，BLUE と GREEN はどちらもギミックを同時に操作するサブ タスクであるが，感圧板の上に立ち続けていればよ い BLUE に対し，GREEN はボタンを押した後の数秒間しかボタンが起動状態にならないため，タイミ ングを合わせなければならないという点で異なる.

これらのサブタスクの達成順序は問われないた め，作業者らは自由な順序でそれぞれのサブタスク を行う。
 小河 晴菜 ${ }^{1}$ 徳永 健伸 ${ }^{1}$ 横野 光 $^{2}$ 1 東京工業大学 情報理工学院 2 株式会社富士通研究所 \{ogawa.h.ai@m, take@c\}.titech.ac.jp yokono.hikaru@fujitsu.com  