# Minecraft での人間同士の共同作業における対話の分析

市川拓茉 1 東中竜一郎 ${ }^{2}$
1 名古屋大学情報学部 2 名古屋大学大学院情報学研究科
\{ichikawa. takuma.wø@s.mail, higashinaka@i\}.nagoya-u.ac.jp

## 概要

近年，共同作業が可能な対話システムの構築に向 けた研究が盛んに行われているが，創造的な課題の 遂行に関する研究はほとんどなされていない. 本研究では，創造的な共同作業が可能な対話システムを 目指し，その基礎データとして，Minecraftでの人間同士の共同作業データ 500 対話を収集した. 加え て，質の高い共同作業に重要な対話的要因を調べる ために，質の高い共同作業と対話との関係性を分析 した. その結果，質の高い共同作業のためには，作業者の間で同意を求め, それに対して同意していく プロセスをより多く行うことや，序盤にある程度の イメージを合意したうえで作業を進め，その後，実物を見ながら修正箇所や細かい部分を話し合うこと が重要であることが分かった.

## 1 はじめに

対話システムと会話をする機会の増加に伴い $[1,2]$, 近年では，より高度な対話システムを目指し て，人間と協調的にタスクを遂行する共同作業型の 対話システムの研究が始まっている $[3,4]$.

対話システムにおける共同作業の研究では,

サンドボックス型の 3D ゲームである. プレイヤー はアバターを操作することで Minecraft の世界で自由に活動することができる。また，マルチプレイに 対応しており, 複数のプレイヤーが同一の環境で共同作業をすることが容易である. Minecraft を用いた 研究の多くは所定の問題を解決するタイプの共同作業に関するものであり $[7,8,9]$, 創造的な共同作業 についてはほとんど検討されていない。人間とシス テムが協働する社会の実現のためには，システムは 単に命令されて行動するのではなく, 人間の仲間と して共同で価値を創造していくことが重要である.本研究では，人間とシステムが共同して新しい


ものを作りだす創造的な共同作業を遂行できる対話システムを目指し，その基礎的なデータとして， Minecraft での人間同士の共同作業データを収集し分析した. 具体的には，創造的な共同作業として共同建築タスクを設定し，Minecraft で作業を行う過程 のテキストチャット，行動ログ，作業後のアンケー トを収集した．また，共同作業の質を評価するため に，収集された作品に対して個性と美しさの観点か ら第三者評価を収集した。主観評価および第三者評価の高い共同作業に重要な対話的特徴について分析 した結果，質の高い共同作業のためには，作業者の 間で同意を求め，それに対して同意していくプロセ スをより多く行うことや，序盤にある程度のイメー ジを合意したうえで作業を進め，その後，実物を見 ながら修正箇所や細かい部分を話し合うことが重要 であることが分かった.

## 2 Minecraft 共同作業コーパス

創造的な共同作業が可能な対話システムの実現に 向けて，共同建築タスクの設定および基礎的なデー タの構築を行った.なお，データ収集の実施にあ たっては，倫理的関連において所属組織の承認を得 ている.

## 2.1 共同建築タスク

Minecraft での創造的な共同作業を実現するため に，2名の作業者が協力して個性的かつ美しい庭を 作成する共同建築タスクを設定した。作成対象を庭 とすることで，作業の難易度と作品のバリエーショ ンを両立できると考えた. また，個性や美しさと いった個人の価値観に左右される基準を設けること により，作業者同士の話し合いによって創造的に作業を行えるようにした。

共同建築タスクでは，テキストチャットを用いて 対話をしながらブロックの操作を行い，個性的か つ美しい庭を作成する. 建築可能範囲は縦横 10 マ ス，高さ 4 マスとした. 使用できるブロックは 17

図 1 共同建築タスクにおける共同作業の様子と作品 (実際に収集したデータから抜粋). 番号は表 1 における発話 IDであり，その発話が行われた時点に対応している.

種類に限った. 作業の制限時間は 20 分である. 以降，共同作業 1 回分のことを 1 対話と呼ぶ.

## 2.2 データ収集の手順

データ収集には Minecraft Java Edition 1.16.5を使用し，データ収集基盤には SpigotMC ${ }^{2}$ を使用する。

収集するデータはゲーム内テキストチャット のほか，ブロックの設置，破壊動作およびプレイ ヤーの移動動作であり，いずれもタイムスタンプ が付与されている. 各動作において収集する情報 は，作業者の位置情報 (座標データ (x,y,z), 視点情報 (yaw,pitch))，動作固有の情報 (チャット内容，ブロッ クの種類等)，建築範囲の情報 $(10 \times 10 \times 4$ の範囲 におけるブロックの種類) である.

また，作業者に対し，共同作業の満足度を問うア ンケートを実施する，アンケートでは，対話におけ る主張や合意，作った作品などについて 7 つの質問 を用意し，5 段階のリッカート尺度を用いて集める。

## 2.3 収集されたデータ

表 2 に今回収集した 500 対話の統計量を示す. データ収集実験にはクラウドソーシング3)で募った 79 名が参加し，1 名当たりの作業回数は平均 12.7 回，最大 24 回であった. それぞれの共同作業は異 なるぺアによって実施された. 1 回の作業時間は約


3) https://www. lancers.jp/表 1 図 1 の作業時の対話

 \\

25 分であり，作業報酬は 1 名当たり 585 円であった.

図 1 に収集された対話における作業の様子，表 1 にその対話内容を示す.この対話では，はじめにメ インとなる要素を話し合って決めてから，それに付 け足す形で細かい部分を作り上げている。

アンケート 7 項目のそれぞれのスコアは，平均が 4.34 から 4.65, 標準偏差が 0.67 から 1.02 であり, 質 の高い共同作業のデータが多く得られた.

## 2.4 作品に対する第三者評価

作業者が主観的によい作品ができたと思っていて も，客観的によい作品とは限らない。そこで，クラ ウドソーシング4)を用いて，収集された 500 個の作品に対してより客観的と思われる第三者評価を実施

4) https://crowdworks.jp/

した. 254 名の評価者が参加した. 1 個の作品に対 して 10 名の評価者が評価を行った. 平均作業時間 は約 42 分であり，作業報酬は 1 名あたり 700 円で あった.

評価者は，はじめに，別途実施した予備実験にお いて収集した 30 個の作品を見て，自身の中で評価基準を定め，その後， 20 個の作品に対して個性と美 しさの観点から評価を行った. 個性と美しさの評価 には 7 段階のリッカート尺度を用いた。

10 名による評価値の平均は，個性が平均 4.84 ，標準偏差 0.73 , 美しさが平均 4.32, 標準偏差 0.75 で あった. 第三者評価についても比較的高いスコアが 得られており, 質の高い共同作業が実施できたこと が確認できた。

## 3 共同作業における対話の分析

将来的に共同建築タスクを実施可能な対話システ ムを構築するために，主観評価および第三者評価の 高い共同作業を可能にする対話的要因を分析した.

## 3.1 共同作業に有用な頻出表現

質の高い共同作業に重要な表現を見つけるため に, 単語頻度の分析を行った. 共同作業の優劣は, アンケートによる作業者の主観評価 7 項目の総和 (満足度) および作品の第三者評価 (個性, 美しさ)の 計 3 つの分類基準によって付け，収集された 500 対話すべてを上位 $20 \%$ と下位 $80 \%$ に分類した。

単体である程度の意味を持つ表現が抽出できる ように, 単語の 4-gram に対して分析を行った. 分析の対象となる表現は収集した 16,221 発話に含ま れる頻出上位 300 個の 4-gram とした. 収集した 500 対話に対して，それがある 4-gramを含むか否か，上位の対話に属するか否かをもとに $2 \times 2$ のクロス 表を作成し，それに対してフィッシャーの正確確率検定を行った. 単語の抽出には形態素解析器として Janome ${ }^{5)}$ を使用した. また，4-gramとして助詞およ び助動詞のみで構成される表現については分析対象 から除外した。

表 3 に各分類基準において上位の対話に有意に多 く見られたものを示す. なお，主観評価による分類 では多数の表現が得られたが, 第三者評価による分類では得られた表現は少数であった.

満足度の高い対話に頻出する表現は主に 2 つに分類できる.1つ目は「がいいですか」「(して)みま

5) https://github.com/mocobeta/janome表 3 分類基準 (満足度, 個性, 美しさ) ごとの頻出表現 ( $\mathrm{p}$値はフィッシャーの正確確率検定による。*は $\mathrm{p}<0.05$ ，** は $\mathrm{p}<0.01)$

 \\

しょうか」，「でどうでしょう」等の相手に同意を求 める表現である。これらは，相手にアイデアを提案 する際や作業の方針を決める際の発話に確認され た. 2 つ目は「なんですよ」，「そうですょね」，「い いですよ!」等の相手に好意的な評価を示す表現で ある.これらは，相手の意見や作ったものに対して 好意的な評価を示し, 同意する際の発話に確認さ れた。

第三者評価の高い対話については，頻出表現があ まり得られなかったが，個性による分類では，「の はどうです(か)」と「っぽくなりました」が確認さ れた.これらのうち,「のはどうです(か)」は相手に アイデアを主張し，それに対して同意を求める表現 である. 美しさによる分類では，6つの表現が得ら れた.これらのうち,「しますか？」,「てみてもい い(ですか)」は相手に同意を求める表現であり，「い いかんじですね」，「もいいと思い(ます)」は相手に 好意的な評価を示す表現である。

これらの分析をまとめると，いずれの分類におい ても同意に関する表現が多く見られた。このことか ら, 質の高い共同作業には作業者間で同意を求め, それに対して同意していくプロセスをより多く含む ことが重要であることが定量的に確認できた.

## 3.2 共同作業の流れの分析

どのような流れの対話が質の高い共同作業につな がるかを調査した. まず，共同作業の流れを分析す るため，発話時における作品の完成度を時系列デー タとしてプロットし，それに対してクラスタ分析を
行った.

共同建築タスクでは 2 名の作業者が協力して作品 を完成させるが，最後まで残っていた部分について はすでに両者が納得していると考えられる. これを 作品の完成度と捉え，以下の様に定義した。

$
\text { 作品完成度 }=\frac{\mid \text { Blocks }_{t} \cap \text { Blocks }_{\text {last }} \mid}{\mid \text { Blocks }_{\text {last }} \mid}
$

Blocks $s_{t}$ は時刻 $t$ に設置されているブロックの集合， Blocks last は最終的な作品に使用されているブロッ クの集合を表す. 発話の時点とその時の作品完成度 を時系列データとし，クラスタリングを行った。ク ラスタリングには $\mathrm{k}-S h a p e[10] を$ 使用した。また，光田ら [11] に従い，作品完成度は平均 0 ，分散 1 の正規分布に従うように正規化した. クラスタリングで は，クラスタ内誤差平方和が下げ止まった箇所が複数存在したため，各クラスタ数による結果を著者の 1 人が確認し，類似するクラスタが出現しないクラ スタ数 6 を選択した。

図 2 亿得られたクラスタを示す. 各クラスタが全体に占める割合は，クラスタ 1 が $4.4 \%$ ，クラスタ 2 が $19.6 \%$ ，クラスタ 3 が $16.4 \%$ ，クラスタ 4 が $3.0 \%$ ，

クラスタ 1 とクラスタ 4 では，終盤に作品完成度が 急増している。序盤に何を作るか話し合いによって 決めた後，黙々と作業を続けた対話がここに含まれ る. クラスタ 3 ，クラスタ 5 では，作品完成度が中盤にやや大きく増加している．序盤に話し合った大 まかな内容で作業を進め, 中盤以降は細かい部分に ついて話し合った対話がここに含まれる. クラスタ 2 とクラスタ 6 については，序盤から終盤にかけて 作品完成度がほぼ一定に増加している. 常に話し合 いながら作業を行い，少しずつ合意を重ねて作品を 作った対話がここに含まれる。

## 3.3 共同作業の流れと評価値の関連

よい共同作業がいずれのクラスタのものなのか を把握するために，得られたクラスタに対して質の 高い対話が頻出するかを調べた．対話を質によって 分類するために，主観評価 7 項目それぞれとその総和，第三者評価 2 項目それぞれの計 10 項目を対話 の評価基準として使用し，そのスコアが高い上位 $20 \%$ 質のよい対話，下位 $80 \%$ 質の悪い対話とし て分類した. 収集した 500 対話に対して，それがあ るクラスタに属するか否か，よい対話に属するか否 かをもとに $2 \times 2$ のクロス表を作成し，それに対し

図 2 作品完成度の時系列クラスタリング結果

てフィッシャーの正確確率検定を行った.

クラスタ 3 では, 第三者評価の「個性」および「美 しさ」によって対話を分類した際に，クラスタ 5 で は，主観評価 7 項目の総和によって分類した際に， それぞれ $5 \%$ の有意水準で質の高い対話が有意に多 く出現することが認められた。一方，クラスタ 2 や クラスタ 6では質の高い対話を有意に多く含むこと は認められなかった. 常に話し合い，合意をしなが ら作業をすることがよりよい共同作業につながると 思われがちだが，そうなっていない点は興味深い。

この分析から，序盤にある程度のイメージを合意 したうえで作業を行い，その後，細部について話し 合って作品を完成させるような共同作業が，いずれ の評価においても重要であることが分かった。

## 4 おわりに

本研究では, 創造的な共同作業が可能な対話シス テムを目指し，その基礎データとして，共同建築夕 スクにおける人間同士の作業の様子を Minecraft を 用いて収集した．また，対話に対する評価を作業者 による主観評価と第三者評価によって行い，それら の評価值が高い対話における特徵を分析した。その 結果，質の高い共同作業のためには，作業者の間で 同意を求め，それに対して同意していくプロセスを より多く行うことや，序盤にある程度のイメージを 合意したうえで作業を進め，その後，実物を見なが ら修正箇所や細かい部分を話し合うことが重要であ ることが分かった.

今後は，イメージを合意するための対話手法，実物について評価したり修正を提案する手法などを検討し，実際にユーザと創造的な共同作業を対話を通 して行うシステムを構築したい。

## 謝辞

本研究は科研費「モジュール連動に基づく対話シ ステム基盤技術の構築」(課題番号 19H05692) の支援を受けた。

## 参考文献

[1] 中野幹生, 駒谷和範, 船越孝太郎, 中野有紀子, 奥村学. 対話システム（自然言語処理シリーズ）.コロナ 社, 2015.

[2] 東中竜一郎, 稲葉通将, 水上雅博. Python でつくる対話システム. オーム社, 2020.

[3] Charles Rich, Candace L. Sidner, and Neal Lesh. Collagen: Applying collaborative discourse theory to humancomputer interaction. Al Magazine, Vol. 22, No. 4, p. 15, 2001.

[4] James Allen, Nathanael Chambers, George Ferguson, Lucian Galescu, Hyuckchul Jung, Mary Swift, and William Taysom. Plow: A collaborative task learning agent. In Proceedings of the 22nd National Conference on Artificial Intelligence - Volume 2, p. 1514-1519, 2007.

[5] Arthur Szlam, Jonathan Gray, Kavya Srinet, Yacine Jernite, Armand Joulin, Gabriel Synnaeve, Douwe Kiela, Haonan Yu, Zhuoyuan Chen, Siddharth Goyal, et al. Why build an assistant in minecraft? arXiv preprint arXiv:1907.09273, 2019.

[6] Haruna Ogawa, Hitoshi Nishikawa, Takenobu Tokunaga, and Hikaru Yokono. Gamification platform for collecting task-oriented dialogue data. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 7084-7093, 2020.

[7] Anjali Narayan-Chen, Prashant Jayannavar, and Julia Hockenmaier. Collaborative dialogue in Minecraft. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5405-5415, 2019.

[8] Arne Köhn, Julia Wichlacz, Christine Schäfer, Álvaro Torralba, Joerg Hoffmann, and Alexander Koller. MC-saarinstruct: a platform for Minecraft instruction giving agents. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 5356, 2020 .

[9] Cristian-Paul Bara, Sky CH-Wang, and Joyce Chai. MindCraft: Theory of mind modeling for situated dialogue in collaborative tasks. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1112-1125, 2021.

[10] John Paparrizos and Luis Gravano. k-shape: Efficient and accurate clustering of time series. In Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data, pp. 1855-1870, 2015.

[11] 光田航, 東中竜一郎, 大賀悠平, 杵渕哲也. 共同図形配置課題における対話の共通基盤構築過程の分析. 言語処理学会第 27 回年次大会発表論文集, 2021.
 市川拓茉 1 東中竜一郎 ${ }^{2}$ 1 名古屋大学情報学部 2 名古屋大学大学院情報学研究科 \{ichikawa. takuma.wø@s.mail, higashinaka@i\}.nagoya-u.ac.jp  