# 共通基盤の構築における名付けの有用性の分析

齋藤結 ${ }^{1}$ 光田航 ${ }^{2}$ 東中竜一郎 ${ }^{2}$ 南泰浩 1
1 電気通信大学情報理工学系研究科 2 日本電信電話株式会社
s2231050@edu.cc.uec.ac.jp
\{koh.mitsuda.td, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp
minami.yasuhiro@is.uec.ac.jp

## 概要

対話研究において，話者が知識や信念を共有する 共通基盤の構築は重要な課題とされてきたが，その 構築過程を分析した研究は少ない. 我々は先行研究 において，二名の作業者が共同で図形を配置する課題を対象に，重要な共通基盤と考えられる図形への 「名付け」に着目してアノテーションを実施した.本研究では，アノテーションされた情報に基づき，共通基盤構築における名付けの有用性の検証，課題 の成否につながる名付けの調査，発話中の名付けの 自動抽出に取り組んだ. その結果, 名付けが有意に 共通基盤構築に貢献すること，目標に関する名付け が課題の成否に関連すること，単純なモデルを用い て適合率 0.57 で名付けの抽出が可能なことが明ら かになった。

## 1 はじめに

対話において，話者が相互理解を行うためには話者間で共有される知識や概念といった共通基盤の存在が必要である $[1,2,3]$. しかし, 共通基盤の構築過程を分析した研究は少ない $[4,5,6]$. 我々は以前 の研究で, 共通基盤の構築過程を分析するために集 められたデータ（共同図形配置コーパス [7]）を調査 し, 名付けが重要な役割を果たしていると考えた。 そして，データから名付けを取り出すための仕様の 作成，および，アノテーションを実施した [8].

図 1 に，2 名の作業者が図形を配置する共同図形配置課題における名付けのアノテーションの例を示 す.「自動車の車輪」や「トラック」という名付け を通じで作業が進んでおり, これらは共通基盤構築 に必須であると考えられる $[9,10]$. しかしながら，我々の先行研究では名付けが共通基盤構築に有用で あるかや, 課題の成否につながる名付けの出現の傾向は調査できていなかった.

図 1 名付けを通じて共通基盤構築が進む対話の例，ID は発話 IDを表し，A，B は話者を表し，作業画面はそれ ぞれの話者が見ている画面を示す.

本稿では，アノテーションされた情報に基づき，共通基盤構築における名付けの有用性の検証，課題 の成否につながる名付けの調査, 発話中の名付けの 自動抽出に取り組んだ結果について報告する。

## 2 共同図形配置コーパス

本コーパスでは作業者 2 名がペアとなり，ツール を通じて図形の配置と対話を行う [7]. 各作業者の 画面には，共通の図形が異なる初期配置で表示され る. 作業者は相手と対話をしながらマウスを使用し て図形を動かし，2 名で共通の図形配置を作る.こ のとき，各作業者は相手の図形配置を見ることはで きない. 図形の数は 5 個または 7 個，種類は重複あ り，大きさはランダムである. 図形の回転，縮小拡大，削除はできず移動のみが可能である．相手と同 じ図形配置を作成すればこの課題は成功となる.

図 2 亿共同図形配置課題で利用される図形を示 す. 1 つ目が上部に示す三角や四角などの単純図形 で，2つ目が下部に示す建物などの前提知識を利用 できる建物図形である。それぞれ 10 種類存在する。

図 2

共同図形配置課題で使用された図形

図 3 共通基盤の構築の程度に関する二次元配置分散分析 (ANOVA) の結果. 縦軸の値が小さいほど共通基盤の構築 の程度が大きいことを示す。

## 3 名付けのアノテーション仕様

名付けのアノテーションデータには 2 つのラベル が存在する. 1 つ目が，個数・配置に関する分類で ある。これは，名付けの対象となる図形の数，およ び，対象となる図形が発話時点で配置されているか についての分類であり,「図形建物 1 つ」,「図形建物複数・目標」,「図形|建物複数・その他」の 3 種類 ある. 2 つ目が，名称に関する分類である。これは， その名付けがどのような事物かを表す分類で，「食 べ物」や「登録名」など 15 種類ある [8].

## 4 名付けと共通基盤構築の関係

名付けが共通基盤の構築に有用かどうかを調べる ために，光田らが考案した図形配置間距離を指標と して利用した [7]. 図形配置間距離は, 図形配置に 含まれる任意の 2 図形間の距離の総和であり, 共通基盤の構築の程度を推定できる。また，共同図形配置課題では，図形配置が完全に一致する場合を「成功」，部分的に一致することを「中間」，それ以外の 場合を「失敗」としている. 得られた名付けのアノ テーション結果を用いて，成功対話と失敗対話の共通基盤の構築過程と名付けの関係を調査した.

図 3 亿, 共通基盤の構築の程度について, 二元配置分散分析（ANOVA）を行った結果を示す。横軸 は発話に名付けが含まれているかどうか，縦軸はそ の発話における図形配置間距離の変化量（共通基盤

図 4 各対話ターンの「目標」と「その他」の名付けのヒ ストグラム. 上段と下段は，成功対話と失敗対話のヒス トグラムになる.

の構築の程度）を表している．縦軸の値が小さいほ ど，共通基盤の構築が進んでいることを意味する。 2 本の線は課題の成否に対応しており，成功は作業者間で図形配置が一致していること，失敗は一致し ていないことを示す. 二元配置分散分析の結果，名付けと共同図形配置課題の結果の主効果は有意で あり，それらの交互作用も有意であることがわかっ た.この結果は，我々が注目している名付けが共通基盤の構築に有意に影響することを示している。ま た，成功対話における名付けが，失敗対話における 名付けよりも共通基盤の構築を有意に進めるという 事実は，これらの対話における名付けの質の違いを 示唆する。

## 5 対話の分析

前節の調査から名付けの有用性が確認できたた め，本節では，課題の成否につながる名付けの出現 の傾向を調査する。

## 5.1 目標とその他の分析

図 4 は，対話の各ターンにおける「目標」と「そ の他」の名付けのヒストグラムを表す。上段/下段 は，成功対話と失敗対話を示している。各対話の ターン数は，線形変換を用いて 50 に正規化した. このグラフから，成功対話と失敗対話で，目標に関 する名付けの傾向に違いがあることが確認できる.成功対話では，およそ 10 ターン目に最も頻繁に出現し，20 ターン目以降には頻度が少なくなってい る. 失敗対話では，目標の名付けは成功対話よりも 遅いおよそ 15 ターン目に最も頻繁に現れ，20 ター ン目以降も $10 \%$ 程度現れている。このことから，初期の段階で目標の名付けについて話し合い，目標と したものを作るための構成要素の名付けをしながら

図 5 名付けに注目した対話の分類結果. 赤は成功対話のほうが失敗対話より多いことを示し，青はその逆を示す。黒は 成功対話と失敗対話の数が等しいことを示す.

対話を行うことの重要性が明らかになった。また，成功対話と失敗対話において，最初の目標の名付け が現れる対話ターンの平均はそれぞれ 5.7 と 8.1 で あり，両者には有意な差が見られた $(\mathrm{p}<0.05)$.こ れは, 成功対話の初期に目標の名付けが現れること を定量的に示しており, 初期段階での適切な目標の 名付けが，共同図形配置課題を成功へと導くことを 示唆している.

## 5.2 対話の流れの分析

ここまで述べた通り，対話の初期における適切な 目標の名付けが共同図形配置課題を成功へと導くこ とがわかった. 次に, 目標の出現回数や出現タイミ ングに注目して，どのような対話の流れが成功につ ながるのかを調べる。このとき，目標の名付けに加 えて，最頻の名付けである「登録名」にも着目する。登録名は共同図形配置課題で使用される図形にあら かじめ付けられている名前であり, 理解が容易なこ とから, 目標の名付けと合わせて共通基盤の構築に 役立つと考えられる。

図 5 に，目標と登録名の名付けの有無やその頻度 に基づいて対話を著者らが人手で分類した結果を示 す。なお，目標の出現位置によって対話の流れが変化すると考えたため，対話の前半，中盤，後半の 3 つに分けて分類した. 目標が出現する対話の平均対話長が 22.5 であったため、前半を 5 発話目まで，中盤を 6 発話目から 17 発話目まで, 後半を 18 発話目以降とした。目標の出現回数については，目標が 2 回しか出現しない対話が全体の約 7 割と多くを占め ていたため, 目標の出現回数が 3 回以上のものはま とめた.

名付けに基づく対話の分類から，(a)のように目標
が出現しなかった場合であっても，多くの対話で課題が成功していることがわかる．このような対話で は，登録名を適切に用いて相手と意思疎通を行って いる過程が見られた。 (b) に示されるように，目標 が出現する場合は対話の前半に目標を提案すること で，成功につながることがわかる。早い段階での方針の決定，つまり，考えの大枠を対話の冒頭で共有 することで，共通基盤の構築が進むと考えられる。 (c) に示されるように，対話の中盤で目標を提案す る場合， 2 回以上提案すると失敗対話のほうが多く なっている。これらについては，対話がかみ合って ないか，様々な考えが共有され，どの話をしている のかがわからない，といった対話が見られた。(d) のように，対話の後半に目標を提案すると，失敗す る可能性が上がることが示唆される．例えば，対話 の後半で考えがまとまるも時間が足りない場合など が考えられる。

なお，どの対話でも登録名が使われていることが わかった。作業者の前提知識が利用でき，図形から 容易に想像できる名付けは作業者間で確実に伝わる 名付けであることから，理解が容易な情報は共通基盤の構築に貢献するということが確認できた。

## 6 名付けの抽出実験

以上の分析から，名付けが共通基盤の構築に有用であるということが確認できた。分析を通じて，我々は今後共通基盤を構築する過程のモデル化に取 り組むため，そのためには名付けを特定し，対応す る図形を同定したり，名付けの意図を理解したりす ることが重要となる. そこで本研究では，モデル化 の初期段階として，対話から名付けを抽出する実験 に取り組んだ。
表 1 対話を入力とした名付けの抽出と分類の評価結果

## 6.1 データセットとモデル

本研究では最も基本的な名付けとして, 図形の 種別が一意に決まる名付けを対象に，Bidirectional Encoder Representations from Transformers (BERT) [11] を用いた名付けの抽出実験を行った. 入出力として は，対話（開始の発話から何らかの名付けが含ま れる発話まで）を入力とし，名付け箇所のスパン， および，図形の種別を出力とする。学習データは 29,055 個，図形の種別は 20 種（図 2）となる. デー タセットは訓練，検証，評価の割合が $6: 2: 2$ とな るように分けた. モデルには東北大学が公開してい る BERT の日本語版事前学習済みモデル1)を使用し た. 入力長は最大で 256 トークンとし, 最大エポッ ク数を 5 に設定して fine-tuning を行った.

## 6.2 評価結果

表 1 に，対話を入力とした名付けの抽出と分類の 評価結果（適合率，再現率， $\mathrm{F}$ 値）を示す. 単純な モデルでもある程度名付けの抽出は可能であり，学習データを増やせば，より高い性能で抽出が可能だ と考えている。

図 6 に，モデルが入力対話から名付けを抽出した 出力例を示す. 登録名の名付けが適切に抽出できて いることに加え，「修飾語＋登録名」のような名付 けも一部分ではあるものの抽出ができている. 正解 の名付けの一部しか抽出できていない場合でも，正解と同じ図形を特定できているため, 図形の特定と いう観点でもある程度の精度が実現できていると考 えている.

モデルが抽出した名付けの内，名付けと対応図形 が正解と一致した 28 件を以下に示す.

空港, 観覧車, 橋, 銀行, 病院, 公園, 警察, バー, ビル,

台形, 大きい橋, 大きな橋, 学校, 警察署, 大きな観覧車, 交番, 小さな観覧車, 大きい銀行, 丸, 大きい観覧車, 小さな橋, 大きい警察, 小さい観覧車, 小さい橋,

大きい公園, 小さいバー, 小さい銀行, 飛行場

抽出された名付けの内，登録名の割合が比較的多 い. 学習データで使用している名付けの 6 割強が登録名の名付けであることから，登録名が多く抽出さ れるということを考慮しても，登録名の名付けが多


図 6 入力される対話と抽出される名付け（一部）の例

い.今回用いた比較的単純な手法では，共通基盤の 構築に必要な名付けを全て抽出するのは難しい可能性がある。

抽出した名付けは正解と一致しているが，特定し た図形が正解と一致していないものを以下に示す.

ビル, バー, 学校, 病院, ベンチ, はし, 街, 公園, 空港,銀行, 飛行機

街に対応する図形は，作業者によって様々な名付 けがされているため, 図形の特定が難しい結果と なった。

現状の方法では，対話から名付けを抽出できたと しても，登録名の名付けが比較的多く抽出されるこ と，また，文脈によっては登録名でも対応する図形 を特定することは困難なことがわかった. 今後，共通基盤の構築に必要な名付けの抽出に関する新たな 手法の検討が必要である.

## 7 おわりに

本稿では，共同図形配置コーパス中の名付けのア ノテーションを用いて，共通基盤構築における名付 けの有用性を明らかにするために，図形配置間距離 を用いて二元配置分散分析を行い，有用性を確認し た.また，名付けに注目して対話の分析を行い，ど のような名付けから共通基盤が構築されるのかを明 らかにした. BERT を用いて対話から名付けを抽出 するモデルの作成も行い，既存の機械学習モデルを 用いた名付けの理解の可能性を調べた. その結果,現状でもある程度名付けの抽出は可能であるが，文脈や作業者の背景知識を必要とする名付けの抽出は 難しいことがわかった. 今後は，文脈から名付けを 適切に抽出する手法や，抽出した名付けを図形と紐付けて理解する手法の確立に取り組んでいく予定で ある。

## 参考文献

[1] Herbert $\mathrm{H}$ Clark. Using language. Cambridge university press, 1996.

[2] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[3] Stefan Kopp and Nicole Kramer. Revisiting human-agent communication: The importance of joint co-construction and understanding mental states. Frontiers in Psychology, Vol. 12, , 2021.

[4] Kris Liu, Jean E Fox Tree, and Marilyn Walker. Coordinating communication in the wild: The Artwalk dialogue corpus of pedestrian navigation and mobile referential communication. In Proc. of LREC, pp. 3159-3166, 2016.

[5] Takuma Udagawa and Akiko Aizawa. An annotated corpus of reference resolution for interpreting common grounding. In Proc. of AAAI, pp. 9081-9089, 2020.

[6] Cristian-Paul Bara, Sky CH-Wang, and Joyce Chai. MindCraft: Theory of mind modeling for situated dialogue in collaborative tasks. In Proc. of EMNLP, pp. 1112-1125, 2021.

[7] Koh Mitsuda, Ryuichiro Higashinaka, Yuhei Oga, and Sen Yoshida. Dialogue collection for recording the process of building common ground in a collaborative task. In Proc. of LREC, pp. 5749-5758, 2022.

[8] 齋藤結, 光田航, 東中竜一郎, 南泰浩. 対話での共通基盤構築過程における名付けの分析. 言語処理学会第 28 回年次大会発表論文集 (NLP2022), pp. 38-42, 2022.

[9] Herbert H Clark and Deanna Wilkes-Gibbs. Referring as a collaborative process. Cognition, Vol. 22, No. 1, pp. 1-39, 1986.

[10] Anya Ji, Noriyuki Kojima, Noah Rush, Alane Suhr, Wai Keen Vong, Robert D. Hawkins, and Yoav Artzi. Abstract visual reasoning with tangram shapes. In Proc. of EMNLP, pp. 582-601, 2022.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.
 齋藤結 ${ }^{1}$ 光田航 ${ }^{2}$ 東中竜一郎 ${ }^{2}$ 南泰浩 1 1 電気通信大学情報理工学系研究科 2 日本電信電話株式会社 s2231050@edu.cc.uec.ac.jp \{koh.mitsuda.td, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp minami.yasuhiro@is.uec.ac.jp  