# 経験情報収集および伝達を主目的とする 雑談対話による関係性維持支援システム

志満津奈央 上乃聖 李晃伸
名古屋工業大学大学院工学研究科
n.shimazu.952@stn.nitech.ac.jp \{sei.ueno,ri\}@nitech.ac.jp

## 概要

対話システムを介して二者の経験情報を共有することで，関係構築を促進する研究が行われている。 これまでのシステムでは，情報の収集と伝達の機能の分離や，テンプレートを用いた発話生成など固定的な処理が多く，対話の流れの自然さや応答の柔軟性に課題がある。本研究では，雑談対話による関係性維持システムを目指し，LLMを用いた柔軟な経験情報収集および伝達を行うシステムを提案する. システム構成として，収集と伝達を順に行うカスケード型システムと，両タスクを一度に行う混合型システムを提案する．実際のシステムで評価を行い，LLM を用いたシステム性能の検証と提案する 2 種類のシステムの性能比較を行った結果を示す.

## 1 はじめに

二者の間にエージェントが入って話を媒介することで関係構築の促進ができるという研究がある [1],[2],[3]. 人間のウェルビーイングにとって，社会的な繋がりや他者との友好的な関係の構築は重要であり [4], 他者との関係構築を行うシステムは社会的に需要があると考えられる。

これまでの二者の情報共有による関係構築促進の研究として, ロボットとの対話を通したグループメンバ間の経験共有 [5] や，共通選好の共有 [6] などが挙げられる。しかし，これらのシステムは，情報収集と情報伝達が別々に行われ，テンプレートに埋め込む形式で応答生成を行うなど，固定的な処理であったため，対話の流れの自然さや応答の柔軟性には課題がある。

一方で，近年発展しているLLMを用いたシステムは，様々なタスクに適応し，幅広いドメインに対して柔軟な応答生成が可能である [7]. そのため,従来のシステムの課題に対して，LLMを用いるこ

図 1 雑談対話による関係性維持支援システム

とにより，対話の流れが自然で柔軟な応答を生成できると期待できる.

そこで，本研究では，雑談のような自然な対話による情報共有を目指し，LLMを用いて情報収集夕スクおよび情報伝達タスクを行う対話システムを提案する．実験では，対話の自然性とタスク遂行能力の両立の可能性について検証し，LLMを用いたシステムの性能を確認した上で，提案するシステム構成の異なる 2 種類のシステムの特性を検証する。

## 2 経験情報収集および伝達を行う LLM を用いた対話システム

目標とする雑談対話による関係性維持支援システムを図 1 に示す。ユーザ A とユーザ B がそれぞれの対話システムと雑談を行うことで，間接的に互いの情報共有ができるシステムである。ユーザ A と対話する中で，ユーザ $\mathrm{A}$ の経験について 5W1H のような具体的な情報を収集する。その後，ユーザ B と対話する中で，データベース上のユーザ A の情報を伝達する。同様にして，ユーザ B の情報収集とユーザ $\mathrm{A} への$ 情報伝達を行う。そのため，それぞれのユー ザが行う雑談の中で，対象ユーザの情報収集および相手側ユーザから得られた情報の伝達を行う対話システムが必要である. 本研究では，その仕組みについて提案を行う。

図 2 提案システム図. 情報収集部，情報伝達部，情報収集・伝達部は全て LLM で処理を行い，LLM には GPT-4 を用いる。

## 2.1 システム構成

本研究では，図 2 のように，カスケード型システムと混合型システムの 2 つのシステムを提案する。各システムの詳細は以下で説明する。

## 2.2 カスケード型システム

カスケード型システムでは，情報収集タスクと情報伝達タスクを順に行う，情報収集部では，応答文と同時に現在の対話状態を出力し, ユーザには応答文のみを表示する．対話状態が「終了」と出力された場合，次発話から情報伝達部のプロンプトに切り替えて対話を継続する。応答生成を行う LLM に使用するプロンプトとして，タスク重視のものと自然性重視のものを作成し，実験で性能を比較する。

情報収集部対話の中で，対象ユーザの経験情報 （できごと・いつ・どこで・誰と・なぜ・感想）を収集し, 対話終了後, スロット形式に整理した情報を保持する．タスク重視のプロンプトでは，収集すべきスロット 6 項目を上から順に質問するよう指示
し，自然性重視のプロンプトでは，指定したスロッ卜項目以外の深堀質問も行ってよいと指示する. さらに，自然性重視のプロンプトを用いるシステムには，図39右の図のように，ユーザの毎発話に対してスロットフィリングを行うスロット管理 LLM を追加し，より柔軟な質問生成を狙う，スロット管理 LLM は，直前のユーザ発話を入力とし，一発話前のスロットの状態に対して，追加で得られた情報を埋めたスロットを出力する. 応答生成 LLM では，出力されたスロットのうち未収集のスロット項目を埋められるような質問を生成する。

情報伝達部対話の中で，データベース上の相手側ユーザの情報を対象ユーザに伝達する．タスク重視のプロンプトでは，相手側ユーザの情報を少しずつ伝達することを指示し, 自然性重視のプロンプトでは，タスク指示に加えて，伝達する情報に関連するトピックへの興味を尋ねるなど，ユーザとコミュニケーションを取りながら少しずつ伝達することを指示する.

## 2.3 混合型システム

混合型システムでは，情報収集タスクと情報伝達タスクの両タスクを一度に行う．実対話において，情報収集と情報伝達は順番に行われるとは限らず，両方が複数回切り替わりながら対話することも考えられるため，カスケード型システムでは対話の流れが不自然になってしまう恐れがある。混合型システムにより，切り替えタイミングを LLM で制御することで，より自然に情報共有を行う対話生成を狙う。

情報収集・伝達部カスケード型システムと同様に，スロット管理 LLM と応答生成 LLM を使用し，対象ユーザの経験に関するスロットを埋めつつ，相手側ユーザの経験を伝達するよう指示を行う.

## 3 実験

## 3.1 情報収集部および情報伝達部の性能評価

LLM を用いた情報共有システムにおいて，タスク重視のプロンプトを用いたシステムと自然性重視のプロンプトを用いたシステムの性能評価を行い，各システムの対話の自然性とタスク遂行能力を検証する.

図 3 カスケード型システムにおける情報収集部のシステム構成.

表 1 情報収集部および情報伝達部の実験に用いた主観評価項目。情報収集部の評価（質問 $1,2,3,4,5,6,7$ ），情報伝達部の評価（質問 $1,2,3,4,8,9$ ).

## 質問 1 会話が自然であったか

質問 2 会話はスムーズな流れであったか

質問 3 気楽に話すことができたか

質問 4 楽しみながら話すことができたか

質問 5 安心して話すことができたか

質問 6 自分の話をすることに抵抗感があったか

質問 7 無理に情報を収集されていると感じたか

質問 8 返答がしやすいと感じたか

質問 9 無理に情報を伝達されていると感じたか

情報収集部被験者は 20 代の学生 10 名で，各システムと対話終了後に，表 1 の質問 1 から質問 7 について回答し，2つのシステムの対話の自然性について主観評価を行う. タスク遂行能力は, 収集スロット項目数と収集内容の正確性で評価を行う. 収集スロット項目数は, 対話終了後に LLM を用いて対話履歴から対象ユーザの経験情報についてスロットフィリングを行った結果，収集できたスロット項目数のことを指す. 正確性は, 対話履歴とスロットフィリング後のスロットを見比べて，正しいスロット項目数の割合を指す.

図 4 の主観評価結果より, 自然性重視のシステムは，タスク重視のシステムよりも会話のスムーズさに関する評価が有意に高く, 自然な対話の流れで情報を収集できたと言える。また，表 2 の客観評価結果より，タスク重視のシステムが高いタスク遂行能力を持つことが示され，LLMを用いたシステムで情報収集タスクが達成可能であると言える. 自然性重視のタスク遂行能力の評価結果は，タスク重視のシステムの結果を下回っていたが，平均 5 項目以上の情報を収集でき，その9 割以上が正確であることが示されたため，情報収集タスクを行うシステムとしては十分な性能があると判断できる。自然性重視のシステムでは，スロット管理 LLM を用いて未収集のスロット項目について適切な質問を生成しつつ，

図 4 情報収集部の主観評価結果. 質問 $1,2,3,4,5$ (1: 最も悪い, 5 : 最も良い). 質問 6,7 (1: 最も良い, 5 : 最も悪い). ＊は有意差のある項目 $(p<0.05)$.

時折スロット項目以外の深掘り質問も交えたことで，自然な対話の流れと多くの情報収集が実現できたと推測される. 実際の対話例は付録 A. 1 に示す.

表 2 情報収集部の客観評価結果.

情報伝達部被験者は 20 代の学生 12 名で, 各システムと対話終了後に，表 1 の質問 1 から質問 4 と質問 8,9 について回答し，2つのシステムの対話の自然性について評価を行う，タスク遂行能力は，実験者が対話履歴と伝達に用いたスロットを見比べ $\tau$ ，伝達スロット項目数・伝達内容の正確性で評価を行う．被験者に伝達する情報は，実験者が作成したスロットを使用する。

図 5 の主観評価結果より，自然性重視のシステムは，タスク重視のシステムよりも会話の楽しさに関する評価が有意に高く，ユーザを楽しませながら情報を伝達できたと言える。また，表 3 の客観評価結果より，情報収集部での実験と同様にタスク重視のシステムが高いタスク遂行能力を持つことが示さ

図 5 情報伝達部の主観評価結果. 質問 $1,2,3,4,8$ (1: 最も悪い，5: 最も良い). 質問 9 (1: 最も良い，5: 最も悪い). ＊は有意差のある項目 $(p<0.05)$.

れ，LLM を用いたシステムで情報伝達タスクが達成可能であると言える. 自然性重視のタスク遂行能力は，タスク重視のシステムには及ばないものの，情報収集部の実験結果と同様に，情報伝達タスクを行うシステムとしては十分な性能があると判断できる結果となった. 自然性重視のシステムでは，ユー ザに適度に質問しながらも，話を展開しすぎることがなかったため，伝達する情報から話題が逸れることなく目的とする多くの情報を伝達できたと推察される。実際の対話例は付録 A. 2 に示す.

表 3 情報伝達部の客観評価結果.

## 3.2 カスケード型システムと混合型システ 厶の比較評価

前節で情報収集および情報伝達タスクを行うために十分な性能を持ち，対話の自然性が高いことが示された自然性重視のシステムを用いて，両方のタスクを一度の対話で行う 2 種類の提案システム間で,対話全体の自然性とタスク遂行能力について比較する．被験者は 20 代の学生 12 名で，各システムと対話終了後に，表 1 の全項目に回答し，対話の自然性について評価を行う. タスク遂行能力は，収集スロット項目数とその正確性，伝達スロット項目数とその正確性の 4 点で実験者が評価を行う. 被験者に伝達する情報は，実験者が作成したスロットを使用する。

図 6 の主観評価結果より，対話の自然性を評価する全ての質問項目において両システムに有意な差は見られなかった.また，表 4 の客観評価結果より，

図 6 情報収集と伝達を行うシステムの主観評価結果. 質問 $1,2,3,4,5,8$ (1: 最も悪い，5: 最も良い). 質問 6,7,9（1:最も良い，5: 最も悪い).

カスケード型システムはより多くの情報を収集でき，混合型システムはより多くの情報を伝達できることが示され，どちらも 98\%以上の高い正確性でタスク遂行が可能であることが示された.

混合型システムでは，情報収集と情報伝達を混合して行うことを期待していたが，多くの場合で情報伝達を終えてから情報収集を行う流れで対話する傾向があった. 今回の実験では目的の動作にはなっていなかったため，期待していた対話の自然性の評価に繋がらなかったと考えられる。混合型システムによる実際の対話は付録 A. 3 に示す.

表 4 情報収集と伝達を行うシステムの客観評価結果.

## 4 おわりに

本研究では，二者の経験共有による関係性維持のために，LLM を用いた自然な対話の中で経験共有を行うシステムを提案した. 被験者実験により，提案システムは対話の流れがスムーズで，被験者にとって楽しいと評価を受ける対話を行うことができ，二者の経験共有に十分なタスク遂行能力を持つことが示された. また，カスケード型システムと混合型システムで比較評価を行ったが，今回の実験では両者に差は見られなかった，今後は，混合型システムが目的の動作を行うよう改善し，本システムが二者の関係性維持に有効であるか，実環境で対話実験を行い検証する。

## 参考文献

[1] 内田貴久, 船山智, 境くりま, 港隆史, 石黒浩. 他者視点取得の誘発による人間同士の関係構築促進: 3 者対話におけるロボットの対話戦略. ヒューマンインタフェース学会論文誌, Vol. 24, No. 3, pp. 167-180, 2022.

[2] Takahisa Uchida, Hiroshi Ishiguro, and Peter Ford Dominey. Improving quality of life with a narrative robot companion: Ii-creating group cohesion via shared narrative experience. In 2020 29th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN), pp. 906-913. IEEE, 2020.

[3] 三野星弥, 吉川雄一郎, 伴碧, 石黒浩. 他者情報のやり取りを行う対話エージェントの中長期的評価.人工知能学会全国大会論文集第 36 回 (2022), pp. 2N6OS7b02-2N6OS7b02. 一般社団法人人工知能学会, 2022.

[4] Gary Alan Fine and Ugo Corte. Group pleasures: Collaborative commitments, shared narrative, and the sociology of fun. Sociological Theory, Vol. 35, No. 1, pp. 64-86, 2017.

[5] Changzeng Fu, Chaoran Liu, Carlos Toshinori Ishi, Yuichiro Yoshikawa, Takamasa Iio, and Hiroshi Ishiguro. Using an android robot to improve social connectedness by sharing recent experiences of group members in human-robot conversations. IEEE Robotics and Automation Letters, Vol. 6, No. 4, pp. 6670-6677, 2021.

[6]古志野瑛元, 内田貴久, 伴碧, 酒井和紀, 吉川雄一郎, 石黒浩. 情報量に基づき共通選好に言及する対話ロボットが人間関係に及ぼす影響の評価.人工知能学会全国大会論文集第 37 回 (2023), pp. 3O5OS2d01-3O5OS2d01. 一般社団法人人工知能学会, 2023.

[7] Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, Yifan Du, Chen Yang, Yushuo Chen, Zhipeng Chen, Jinhao Jiang, Ruiyang Ren, Yifan Li, Xinyu Tang, Zikang Liu, Peiyu Liu, Jian-Yun Nie, and Ji-Rong Wen. A survey of large language models, 2023.

## A 実際の対話例

## A. 1 情報収集部の対話

system: こんにちは，A さん！最近はどんなことを楽しんでたんですか?

userA : 最近，東京のお台場に行きました。

system: おお，お台場，いいですね！特別な誰かと行かれましたか？ userA : 姉と一緒に行きました.

system: お姉さんとですか！素敵な時間を過ごせたんでしょうね.何か特別な目的でお台場に行かれたんですか？

. .

## A. 2 情報伝達部の対話

system: こんにちは, A さん！いつも元気そうで何よりですよ. ちなみに，アメフトには興味ありますか？

userA: アメフトはあまり知らないです. 私の大学でアメフト部が盛んなことは知っています system: それならば興味深い話題かもしれませんね. 実は $\mathrm{B}$ さん，先週の日曜日に友達と一緒にアメフトの試合を観に行ったんですよ.しかも，その会場はなんと愛知県でしたよ. userA: そうなんですね．愛知のどこで行ったんですか？ system: 詳しい会場の名前までは伝えてもらってないんですが，B さんは愛知県のホームチームのホームゲームを観に行ったんですよ. なんでもロングパスが成功したときの盛り上がりが印象的だったって話してましたよ.

## A. 3 混合型システムによる対話

userA : 聞いたことあります！私も興味はあるんですけど，不器用なので上手くできません.

system: あら，そうなんですね。でも，興味があるのなら何か始めてみるのも楽しいかもしれませんよ．さて，B さんがニット帽を編んだのは，先週の土曜日だったそうです. 基本的には自宅でお過ごしになったそうで，寒い季節に合わせてニット帽に挑戦されたんだそうですよ.

userA : これからの時期使えるので良さそうですね。

system: 本当にそうですよね！あったかいニット帽はここからの季節，大活躍することでしょう．それに B さん本人も，自分で作れたことに達成感を感じて嬉しかったと言われていましたよ. さて，A さんも何か新しいことに挑戦したり，趣味に没頭したりすることはありますか？

userA: 絵を描くのは好きなので，すごく時間かけて没頭してしまいます

system: 何と素敵な趣味をお持ちなんでしょう！彩りのある世界を描くのは，心に余裕を与えてくれますよね。 その絵を描く時間の中で，気に入ったバランスを模索したり，細部にわたって気を配ることはありますか？

userA: バランスは何度も修正して納得がいくまで描き直したりしますね

system: それは本当に情熱的な活動ですね，その一心不乱な時間のすき間に，何か発見や気付きが生まれたりしますか？

userA: 発見や気付きはパっと思い浮かびませんが，単純に楽しいてす

system: それはそれで素敵なことですね! 楽しい気持ちが最高のモチベーションになりますものね．その楽しい絵描きの時間は，いつもどのくらいの頻度で取れていますか？

userA: 週に 3 日くらいは描いたりしますね，最近は忙しくてできませんが

system: それはもうなかなか本格的ですね！でも，お忙しい時期は仕方ないですよね．楽しい趣味があるというだけでも心が豊かてす.また時間がとれるようになったら，素敵な作品が生まれることを楽しみにしていますね．A さん，今日はお時間を頂き，お話を共有してくださってありがとうございました．また，B さんのことやあなたのことをお互いに話す機会があればうれしいですね。それではまたの機会にお会いしましょう。どうぞよい一日を！

## ＜収集した情報のスロット（A さんの経験情報）

$\cdot$できごと：絵を描くことに没頭している

・いつ：週に3日くらい（最近は忙しくてできていない）

・誰と：言及なし

・どこで : 言及なし

・なぜ：絵を描くことが好きで，すごく時間かけて没頭してしまう ・感想 : 単純に楽しい