# 共同図形配置課題における対話の共通基盤構築過程の分析

光田航 東中竜一郎 大賀悠平＊杵渕哲也
日本電信電話株式会社 NTT メディアインテリジェンス研究所
\{koh.mitsuda.td, ryuichiro.higashinaka.tp, tetsuya.kinebuchi.xh\}@hco.ntt.co.jp
s2020716@s.tsukuba.ac.jp

## 1 はじめに

対話において，対話の参加者の間で共有される知識や信念などの情報を共通基盤（または相互信念） と呼ぶ $[1,2]$. 対話をモデル化する上で，共通基盤 は重要な概念の一つとされきたが，共通基盤が構築 される過程を分析した研究は少ない [3]. 複雑な内容を伴う対話は，その内容の理解を積み上げていく 必要があるため，今後，ユーザとの高度な対話（例 えば，教育，議論，交渉などを目的とする対話）が 可能なシステムを実現するためには，対話を通じて ユーザとともに共通基盤を構築していき，それに基 いて対話を行うモデルを確立することが望ましい.

共通基盤構築をモデル化するための試みとして，二名の作業者が課題を達成する音声対話を収集，分析した研究が存在する $[4,5,6]$. また, 近年, テキ ストチャットに焦点を当て，課題が達成されるまで のチャットログを大規模に収集しモデルを構築する 研究も報告されている $[7,8,9]$. これらの研究では,作業者が実施した課題の成果を共通基盤とみなし，対話と共通基盤の関係を分析している. しかしなが ら，課題が達成されるまでの過程は定量的に記録さ れていないため，対話を通じてどのように共通基盤 が構築されていったのかを分析することが難しい.

本研究では, 二名の作業者が対話を通じて課題を 達成するまでの途中過程を共通基盤とみなして記録 する。記録された共通基盤を推定する手法を検討す ることで，共通基盤構築の過程を明らかにすること を目指す。二名の作業者が独立に図形を配置する共同図形配置課題を設定し，一致した図形配置を共通基盤とみなすことで，対話と共通基盤を記録した共同図形配置コーパスを構築，分析する。本稿では，共同図形配置コーパスの構築，および，共通基盤構築の過程の予備的な分析結果について報告する.


## 2 共同図形配置コーパスの構築

共通基盤の途中過程を記録するための課題を設定 するにあたって, 先行研究, 特に, Udagawa らが提案した OneCommon（複数の点が描画された円の中 から共通の点を一つ選ぶ課題）[9]を参考に要件を 設定した. OneCommon 同様, 課題の達成に必要な 情報が完全な情報として発話されないよう，連続的 な要素を含む課題とした。 また，共通基盤が段階的 に構築されるよう，対話をしながら複数回の操作を 必要とする課題とした. さらに, 共通基盤の構築が 課題の達成につながり，その度合いを定量化できる 課題とした.これらの要件を満たす課題として，ラ ンダムに配置された複数の図形の配置を二名が相談 しながら揃える共同図形配置課題を設定した.

## 2.1 共同図形配置課題のツールと手順

図 1 に，共同図形配置コーパス収集に利用した，共同図形配置課題を行うためのツールの画面を示 す. 二名の作業者 A と B は，図に示すブラウザベー スのツールを利用して，対話をしながら図形の配置 を決定する、ツールは図形配置画面とチャット画面 で構成され，画面上部には作業開始と終了のボタ ン，および，作業の残り時間（最大 10 分）が表示 される。二名の作業者には，同じ図形の集合がそれ ぞれランダムな配置で与えられるので，どのような 配置にするかをチャット画面を用いて話し合い，二名の間で納得できる共通の配置を決定する。このと き，作業中の図形配置を記録し，図形配置の一致部分を共通基盤としてみなすことで，共通基盤を定量的に記録することができる。

図形配置画面では，図形の回転，拡大縮小，削除 はできず，マウスを用いた平面移動の操作のみを可能とした. 操作のログとして，図形のドラッグ\&ド ロップの開始，終了時刻とそれぞれの座標を記録す る. チャット画面は作業者間で共通だが，図形配置

図 1 共同図形配置コーパス収集に利用した，共同図形配置課題を行うためのツールの画面

画面は作業者ごとに異なる画面を見て作業を行う。

配置対象の図形として, 最も単純な図形として単

純図形と，図形に関する前提知識を利用できると考 えられる建物図形の二種類を用意した。それぞれ 10 種類の図形で構成される. 単純図形はパワーポ イントに登録されている図形を利用し，建物図形は 建物を端的に表す白黒のアイコンセット1)を利用し た. 図形の個数は 5 個または 7 個とし, 重複ありで ランダムな大きさ，位置に設定して初期配置を作成 した.

## 2.2 収集されたコーパス

表 1 に，収集された共同図形配置コーパスの統計情報を示す.コーパス収集には一般の作業者 287 名 が参加し，212 組の作業者ぺアに分けて共同図形配置課題を行った. 各ぺアは単純図形 5 個と 7 個, 建物図形 5 個と 7 個で計 4 セッション作業を実施し $た^{2)}$. その結果，平均で 28.8 発話からなる 984 対話 が収集された. 発話に加えて，収集された図形の操作数は一対話あたり 65.4 回となり，発話のおよそ二倍の数の操作が収集された. 図形の種類を比較する と, 建物図形の方が発話数が多く, 操作数が少ない 結果となった。これは，建物に関する前提知識が発話として多く表れ，効率的に図形配置が進んだため ではないかと考えられる。

表 2 に，共同図形配置コーパスの対話例を示す。 この例は図 1 に示したセッションで収集された対話 である. $U_{15}$ までで最終的な配置イメージを合意し，

1) https://www.flaticon.com/packs/city-life-3における白黒アイコン（Lineral）を利用した.

2）例外的に， 25 組のペアについては同じペアで 4 セッション の作業を複数回行うことでデータを収集した.表 1 収集された共同図形配置コーパスの統計情報

表 2 共同図形配置コーパスの対話例. ID は発話 IDを表 し，S は作業者を表す. この例は図 1 に示した作業者 $\mathrm{A}$ と Bにより収集された対話である.

 \\

$U_{16}$ 以降で相談しながら図形を配置している。この 中には， $U_{21}$ のようにお互いの配置を確認する発話 など，共通基盤構築に関係する発話が確認できる。

## 3 共通基盤構築過程の分析

本稿では，収集された共同図形配置コーパスを用 いて，最終的な共通基盤とそこに致るまでの過程を 予備的に分析した結果について述べる。まず，最終的な共通基盤を人手で確認し，どのようなパタンが 存在するのかを調査した. 次に，作成したパタンに 基づいて，共通基盤を定量的に測る尺度を設定し，課題が達成されるまでの過程でどのように変化して いくかを調査した.

## 3.1 最終的な図形配置のパタン

収集された共同図形配置コーパスから，作業者間 で図形が一致したと判断された場合でも，最終的な 図形配置が異なり，それらが特定のパタンに分かれ ることが確認された.これを最終図形配置パタンと し，著者らにより類型を作成した。具体的には， 50 セッション分の最終的な図形配置をサンプリング し，図形配置のぺアの関係を場合分けした。

図 2 に，最終図形配置パタンを示す. 図に示すよ うに，二名の作業者が作成した最終的な図形配置の 一致, 不一致のパタンは, 下記の 7 パタンに分か れた。

1. 完全一致: 図形が完全に一致しているもの

2. 原点ずれ: 図形全体の位置が異なるもの

3. 同図形混同: 同種の図形の位置が異なるもの

4. 異図形混同: 異種の図形の位置が異なるもの

5. 縮尺ずれ: 図形全体のサイズが異なるもの

6. 対称ずれ: 図形の位置が対称的に異なるもの

7. 完全不一致: 図形の位置が全く異なるもの

1. の完全一致以外は，図形の種類や位置が異なるパ タンである．作業者には，図形全体の位置（原点） を揃えるよう教示を与えなかったため，本研究では 1. の完全一致と 2. の原点ずれにおいて, 共通基盤 が完全に構築されており, 課題が達成されたとみな す. 図 1 と表 2 で示した例は, 最終的に図 2 におけ る 4.の同図形混同に示す図形配置になっている.こ の例から，作業者間で共通基盤が形成されたと認識 している場合でも，必ずしも図形配置が一致してい るとは限らないことがわかる.7.の完全不一致は，図形が全く一致していないが，作業者が作業を実施 しなかったということではなく，対話を確認したと ころ，抽象的なイメージのみで図形を配置してお互 いの理解を確認し合わないようなものが見られた.

2. 原点ずれ

3. 同種図形混同

4. 異種図形混同

5. 縮尺ずれ

6. 対称ずれ

7. 完全不一致

図 2 最終図形配置パタン

表 3 最終図形配置パタンの割合

表 3 に，最終図形配置パタンの割合を調査するた め, 200 セッションのログに対して最終図形配置パ タンをアノテーションした結果を示す. アノテー ションは, 著者らとは異なる 1 名の作業者が行った.表から，1.9完全一致と 2. の原点ずれ（共通基盤が 完全に構築されたもの）は全体の $25 \%(19 \%+6 \%)$ であり，同程度の $28 \%$ で 7. の完全不一致になってい ることがわかる. 不一致のパタンとして多いのは, 4. の異図形混同であり, 全体の $26 \%$ 占めている.図形種別を比較すると，建物図形の方が課題が達成 された割合が多い. また，図形の個数を比較する と， 5 個と 7 個で各パタンの割合が大きく変化して いないことから，図形が増えても，表 1 に示した通 りより多くの発話と操作を行えば同程度の割合で課題を達成できることが確認できる.

## 3.2 共通基盤が構築される過程の分析

共通基盤を定量的に測る尺度を導入し，対話を通 じて共通基盤がどのように構築されるかを分析す る. 本稿では，最終図形配置パタンにおける 1.の完全一致，および，2.の原点ずれにおいて共通基盤が 構築できていると考え，任意の二図形間で定義され るベクトルの差の距離の総和を図形配置間距離とし て導入する．具体的には，作業者 A の図形配置にお ける図形 $\mathrm{i}$ と $\mathrm{j}$ 間で定義されるべクトル $v_{A, i j}$ と,作業者 B で同様に定義されるべクトル $v_{B, i j}$ の差を 計算し，その距離の総和を共通基盤構築の尺度とし て利用する。この値が低いほど作業者間の図形配置 が近く，共通基盤が構築されていることを示す.

図形配置間距離に基づき，ログの各タイムステッ プにおける図形配置から共通基盤構築の度合いを測 ることができる. 本稿では，共通基盤構築の典型的 な流れを明らかにするため，図形配置間距離を時系列データとみなし，クラスタリングを適用した. 手法として，k-means べースの手法である k-Shape [10] を利用した。クラスタリングの対象には，共同図形配置コーパスに含まれる全 987 セッション分のログ を利用した。このとき，今後発話単位で解析を行う ことを想定して，タイムステップとして，発話，お よび，連続する図形移動を一単位に設定した。

図 3 亿, 図形配置間距離に基づく共通基盤構築過程のクラスタリング結果を示す. 図には k-Shape で 作成されたクラスタが 5つ示されている. クラスタ 数を 6 つ以上に増やした場合は類似のクラスタが見 られた。横軸は発話または図形移動に対応するタイ ムステップを表す ${ }^{3)}$ 。縦軸は図形配置間距離を表し ており，0未満の值を取っているのは，k-Shape を利用するにあたって値が平均 0 , 分散 1 の正規分布に 従うよう正規化したためである. 各クラスタが全体 に占める割合は 1 から順に 7\%，28\%，11\%，24\%， 29\%であった.

各クラスタの傾向を明らかにするために，クラス タごとに 10 セッション程度のログをサンプリング し調査した. 図形の初期配置については，人手で確認した限りではクラスタ間で端的な差が見られな かった. Cluster 1 は, 図形配置間距離が対話を通し て低下しており，順調に共通基盤が構築されている と考えられる。対話としては，最初に最終的な図形


図 3 図形配置間距離に基づく共通基盤構築過程のクラス タリング結果

配置のイメージを共有し，その後，お互いの配置を 確認しながら図形を順に移動するものが見られた. Cluster 2 から Cluster 4 は，中盤から共通基盤が順調 に構築されていると考えられる。対話としては，中盤までは局所的な図形配置について相談し，最後に 残った図形の配置と全体のイメージの確認を行うも のが見られた. Cluster 5 は，共通基盤構築がうまく 進んでいない，最終図形配置パタンにおける 7.の完全不一致に該当するものである．対話としては，位置の確認を怠ったり，最終的な図形配置のイメージ を勘違いしたり（例えば，「斜めに配置」を「右下が り」と「左下がり」と理解) するものが見られた.

## 4 おわりに

本稿では，対話における共通基盤構築のモデル化 を目指して，共同図形配置コーパスの構築と予備的 な分析を行った結果について述べた。二名の作業者 がテキストチャットを通じて図形を配置する共同図形配置課題を設定し，図形配置の一致部分を共通基盤とみなすことで，共通基盤が構築される過程を記録することを狙った．予備的な分析として，最終図形配置パタンを作成し, 最終的な共通基盤が 7 パタ ンに分かれることが明らかになった。また，図形配置間距離を導入して典型的な共通基盤構築の流れを 調査し，5つのクラスタに分かれることが明らかに なった. 今後は，対話からの図形配置間距離や図形配置の予測，図形の自動配置，発話生成などの問題 に取り組み，共通基盤構築をモデル化する手法を検討したい。

## 参考文献

[1] Herbert H Clark. Using language. Cambridge university press, 1996.

[2] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[3] 中野幹生. 対話システムにおける基盤化処理. 言語・音声理解と対話処理研究会 SIG-SLUD-B901-01, 2019.

[4] 市川熹, 堀内靖雄, 土屋俊. 日本語地図課題対話コーパス. 音声研究, Vol. 4, No. 2, pp. 4-15, 2000 .

[5] 片岡邦好. 問題解決型タスクにおける日・英語話者の視線について: 談話データ「Mister O コーパス」にもとづく一考察. 文明 $21,2017$.

[6] 日本語話し言葉コーパスの構築法. Technical report, 独立行政法人 国立国語研究所, 2006.

[7] Mike Lewis, Denis Yarats, Yann N Dauphin, Devi Parikh, and Dhruv Batra. Deal or no deal? endto-end learning for negotiation dialogues. Proc. EMNLP, pp. 2443-2453, 2017.

[8] $\mathrm{He} \mathrm{He}$, Anusha Balakrishnan, Mihail Eric, and Percy Liang. Learning symmetric collaborative dialogue agents with dynamic knowledge graph embeddings. Proc. ACL, pp. 1766-1776, 2017.

[9] Takuma Udagawa and Akiko Aizawa. A natural language corpus of common grounding under continuous and partially-observable context. In Proc. AAAI, pp. 7120-7127, 2019.

[10] John Paparrizos and Luis Gravano. k-Shape: Efficient and accurate clustering of time series. In Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data, pp. 18551870, 2015.
 光田航 東中竜一郎 大賀悠平＊杵渕哲也 日本電信電話株式会社 NTT メディアインテリジェンス研究所 \{koh.mitsuda.td, ryuichiro.higashinaka.tp, tetsuya.kinebuchi.xh\}@hco.ntt.co.jp s2020716@s.tsukuba.ac.jp  