# 大規模言語モデルを用いた Emotional Support Conversation システムの構築とその評価

藤田敦也 上乃聖 李晃伸
名古屋工業大学大学院工学研究科
a.fujita.436@stn.nitech.ac.jp \{sei.ueno,ri\}@nitech.ac.jp

## 概要

会話においてユーザの負の感情を緩和する Emotional Support 能力は，ソーシャルインタラクションやメンタルヘルス支援，顧客対応など様々な対話シナリオにおいて対話システムが今後具備すべき重要な機能である. 本論文では，大規模言語モデルを用いた対話戦略の予測と，予測に基づいた対話生成を行うことで Emotional Support を実現する手法を提案する．実験では，応答文評価と実際に人とシステムを対話させる評価を行い，対話戦略による対話管理の効果や大規模言語モデルの Emotional Support 能力を検証する.

## 1 はじめに

ほとんどの人間は生活していく上で，精神障害や精神疾患を抱えていなくとも悩みを持ったり，ストレスを受けたりすることで精神的苦痛を経験する。多くの場合，人間は家族や友人などの社会的な相互作用から Emotional Support を受けることで苦痛に対処する [1][2]. そのため, Emotional Support は日常的にユーザと対話をするような対話システムに訓練するべき重要な能力 [3][4]だといわれている。 そこで，対話システムが Emotional Support を提供できるよう訓練するために，Emotional Support Conversation (ESC) というタスクが設計された.

ESC は，直面する課題を理解し，解決することで個人の精神的苦痛を軽減することを目的としたタスク [1][2]であり，そのためには共感を示すことや，慰めること，具体的な助言を提供することなどを行う必要がある。また，そのような行動を適切なタイミング，手順で行うことで良いサポートが行えることが知られている [5]. 具体的な対話戦略やサポー 卜手順を定義して，実際に ESC を行っている対話を収集し，アノテーションを行ったデータセット
として ESConv dataset [6] がある。既存の ESC システム [7][8] は ESConv datasetを使用して Fine-tuning を行っているものが多く，その多くは Blenderbot や DialoGPT，GPT-2 などの中規模な言語モデルをべー スとしている [9].

近年，大規模言語モデル (Large Language Model: LLM) が顕著な生成能力を見せており [10]，InContext learing で適切な指示を与えることで未知のタスクにも対応できることが知られている [11].

本論文では，Emotional Support を行う対話システ么の実現を目的に，大規模言語モデルを利用した対話戦略予測部と対話生成部から構成される ESC システムと，対話生成部のみで構成される ESC システムの 2 つを構築する. 実験では，プロンプトから与えられた ESC の知識のみでの大規模言語モデルの Emotional Support 能力や，対話戦略予測部による対話管理の効果を検証するために応答文評価とシステムとの対話による評価を行う。

## 2 関連研究

近年，より魅力的な対話システムの構築のために感情や共感の要素が注目されている．感情を扱うシステムには，指定された感情ラベルに基づいて生成を行う方法 [12][13][14] や，入力発話から感情を取得して生成を行う方法 [15][16] がある.

また，共感的な応答の研究には，ユーザの感情・気持ちを認識したうえで，それに対応した応答を生成するもの [17][18][19]がある.

Emotional Support では，生成文に感情を付与することではなく，ユーザの感情に対してシステムがどのように対処するのかについて焦点を当てる必要がある. 共感的な応答に加え，ユーザの問題を明らかにする質問や，問題に対する解決策の提案，有益な情報の提供などによって，ユーザが困難な状況に対処できるようサポートを行う.

図1 Liu ら [6]によって定義された ESC における手順や対話戦略（手順は基本的には実線矢印の順序に従うが，破線矢印のように状況に応じて柔軟に対応する必要がある）

## 3 大規模言語モデルを利用した ESC システム

ESC の知識を記述したプロンプトのみでの大規模言語モデルの Emotional Support 能力や，ESC システムにおいて対話戦略による対話の進行管理の影響を調べるために，対話戦略予測部の有無に差がある 2 つの ESC システムを構築する。

ESC における手順・対話戦略 Liu ら [6] が Helping Skills Theory [5] に基づいて定義した対話戦略や手順を図 1 に示す. ESC の基本的な手順は，ユーザが悩み・問題を探求することを助ける Exploration，ユー ザ自身の理解を深めることを助ける Comforting, ユーザが悩み・問題に対処するための行動を決定することを助ける Action の順になっている. 本論文で構築する ESC システムは, 図 1 の対話戦略や手順に従う.

データセット本論文では，日本語での対話実験を行うために ESConv dataset の日本語化を行う. 日本語化には, OpenAI の GPT-3.5 (gpt-3.5-turbo-1106) を利用しており，「次の文章を日本語に翻訳しなさい」という単純な指示のみで行う. データセットは 6:2:2 で分割し, それぞれ train, validation, test とする.

## 3.1 対話戦略予測部なしシステム

大規模言語モデルに対して，ESC に関する知識をプロンプトに与え，大規模言語モデルによる対話生成を行うものである. このシステムでは図 2 に示すように，与えられたプロンプト，対話履歴, ユーザ発話から対話生成のみを行う。

対話生成部 2 つのシステムの違いは，予測された対話戦略ラベルをプロンプト内に含むかどうかであるため，対話生成部については基本的に同様である. 使用した大規模言語モデルは OpenAI の GPT-4

図 2 対話戦略予測部なし対話システム

図 3 対話生成部に使用したプロンプト（赤文字は対話戦略予測部ありシステムの場合に追記された記述）

(gpt-4-1106-preview) であり，与えたプロンプトは図 3 に示す.

## 3.2 対話戦略予測部ありシステム

図 4 に示すように，入力発話に対する応答文の対話戦略を大規模言語モデルを用いて予測し，その予測した対話戦略に基づいて対話生成を行うシステムである.

対話戦略予測部データセットの train データを使用して, OpenAI の GPT-3.5 に対して Fine-tuning を行う. Fine-tuning 用のデータセットには，プロンプトと対話履歴 4 発話, 直前のユーザ発話, 応答に使用された対話戦略ラベルの 3 つのセットが 6289 個含まれている. 使用した指示文は図 5 であり， [dialogue_context] の部分には対話履歴が含まれる.

図4 対話戦略予測部あり対話システム

図 5 Fine-tuning 用データセットに使用した指示文

## 4 評価実験

test データのうち 1,000 個の対話データを使用し，対話戦略ラベルの予測精度を求めた. 本論文で構築した対話戦略予測部の予測精度は $31.2 \%$ であり, これは入力条件が同様である Liu ら [6] の構築した ESC システムの予測精度 $28.57 \%$ を上回り, 大規模言語モデルによる性能向上が見られた.

## 4.1 応答文評価

プロンプトでの知識のみの大規模言語モデルの Emotional Support 能力や，対話戦略予測部の有無による違いを検証するために，大学生である 14 人の被験者に対して応答文評価を行う。

実験設定対話の背景情報を補足する状況説明と，直前のユーザ発話を含めた 5 発話の対話履歴, 2 つのシステムから生成された応答文 $\mathrm{A}$ ，応答文 Bを 1 つの評価セットとする．被験者は 5 つの評価セッ卜を確認して，以下に示す評価基準に基づいた質問に回答する流れを 5 回行う．状況説明は，ESConv dataset に含まれているものを使用する．5つの評価セットを用意するのは， 1 回の評価に ESC の要素である「探求」，「共感」，「提案」が含まれるようにするためである. 評価セットは test データからランダムに 100 個の対話を抽出し，そのうち応答文に ESC の要素が含まれるデータを選択する. 実験に使用した評価セットの 1 つを付録 $\mathrm{A}$ に示す。

## 評価基準

・流暢さ : システムの生成文が流暢であったか
- 探求 : ユーザの悩み・問題を聞き出し，理解しようとしているか表 1 応答文の 5 段階スコア評価結果

表 2 応答文の比較評価結果 $(\%)$

$\cdot$共感 : ユーザに対して, 共感・理解を示したり，励ましたりしていたか
- 提案 : ユーザの悩み・問題に対して，具体的な提案・助言が行えていたか

・全体 : 一般的な相談相手として優れていたか

・解決 : ユーザの悩み・問題を解決・解消できたか（システムとの対話による評価のみ使用）

評価方法「流暢さ」,「探求」,「共感」,「提案」,「全体」の評価基準を使用し，スコア評価と比較評価の 2 種類を行う．スコア評価では，5つの評価基準それぞれについて応答文を 1 ～ 5 の 5 段階で評価する質問を用意し，被験者は 1 を良くない・出来ていない」，3を「どちらでもない」，5を「良い・出来ている」として回答する．比較評価では， 2 つの応答文のどちらが良いかを 5 つの評価基準に基づいた質問 5 個に対して，被験者が「応答文 $\mathrm{A}\lrcorner ， 「 引き$分け」，「応答文 $\mathrm{B}\lrcorner$ を回答する。

結果表 1 に示すように，どちらのシステムも 5 つの評価基準において平均して 4 以上の評価が得られており，高評価である。このことから，2つの ESC システムから効果的な Emotional Support を行う応答文が生成されているといえる。

また，表 2 に示すように，比較評価では「共感」以外の評価基準において対話戦略予測部なしシステムの応答が好まれる結果となった.このことから，対話戦略による生成文の制御なしでも大規模言語モデルには効果的な Emotional Support を行う応答文が生成できるといえる。しかし，「共感」の評価基準のみ対話戦略予測部ありシステムが好まれた.これは，25 個のうち 14 個の応答文に共感を示す Comforting の手順に当たる対話戦略が使用され，共感の示し方に幅が生まれたためだと考えられる。

図 6 対話戦略予測部ありシステムとの対話による評価実験での実際の対話例（赤文字は自分の経験を開示している部分）

表 3 システムとの対話による比較評価結果 (\%)

## 4.2 システムとの対話による評価

応答文評価よりも長いコンテキストにおいて，対話戦略予測部による対話管理の効果を検証するために，大学生である 15 人の被験者に対してシステムとの対話による評価を行う。

実験設定被験者は「就職活動の悩み相談」というテーマで，2つの ESC システムとテキストベースでの対話を行う．対話は被験者の就職活動に関する悩みについての入力発話から始まる。対話の最初の発話については 2 つのシステムで揃えることとし，以降の被験者の入力発話についてはシステムの応答に応じて自由に入力して良いものとする．被験者とシステムの対話は最低 6 ターンは続けるものとし, 7 ターン目からは被験者が希望する間は対話を続けさせる.

評価方法 4.1 に挙げた「探求」,「共感」,「提案」,「全体」，「解決」の 5 つの評価基準を使用する. 被験者は 5 つの評価基準において，良いと感じる方を 「システム $\mathrm{A}\lrcorner$, 「引き分け」,「システム $\mathrm{B} 」$ の中から選択する. 2 つのシステムはランダムな順番で使用する。

結果表 3 に示すように，対話戦略予測部の有無によって共感能力に差が生まれており，これは 4.1 の結果で述べたように，Comforting の手順に当たる対話戦略によって共感の示し方に幅が生まれたためだと推察される．特に，Self-disclosureによる自己開示は対話戦略予測部があることによって生まれた共感の示し方である．実際に，被験者 15 人のうち 5 人が経験の開示や励ましによって親しみやすさや共感を感じたとコメントしている。

対話戦略予測部ありシステムとの実際の対話例を図 6 に，対話戦略予測部なしシステムとの実際の対話例を付録 B に示す. 図 6 では，自分の経験を開示することで共感を示しつつ，自分の経験を踏まえた助言の提供を行っている.

## 5 おわりに

本論文では，Emotional Supportを行う対話システ么の実現を目的に，対話生成部のみで構成されるシステムや，対話戦略予測部と対話生成部から構成されるシステムを大規模言語モデルを利用して構築した.プロンプトから与えられた ESC の知識のみでの大規模言語モデルの Emotional Support 能力や，対話戦略予測部による対話管理の効果を確認するために，応答文評価とシステムとの対話による評価を行った. 評価結果から，プロンプトによる $\mathrm{ESC}$ の知識のみでも大規模言語モデルに効果的な Emotional Support 能力が備わることが示唆され，対話戦略予測部があることにより，自己開示などの共感の示し方が生まれ，共感能力が強くなることが示された。

ることから，人間が対話戦略による対話管理を行い対話生成するシステムとの対話による評価を行うことが考えられる．また，大規模言語モデルごとの対話戦略予測精度を検証することも課題として挙げられる。

## 参考文献

[1] Brant R Burleson. Emotional support skill. HANDBOOK OF COMMUNICATION AND SOCIAL INTERACTION SKILLS, p. 551, 2003.

[2] CP Langford, J Bowsher, JP Maloney, and PP Lillis. Social support: a conceptual analysis. Journal of advanced nursing, Vol. 25, No. 1, p. 95-100, January 1997.

[3] JM Van der Zwaan, V Dignum, and CM Jonker. A bdi dialogue agent for social support: Specification and evaluation method. In Proceedings of the 3rd Workshop on Emotional and Empathic Agents@ AAMAS, Vol. 2012, pp. 1-8, 2012.

[4] Li Zhou, Jianfeng Gao, Di Li, and Heung-Yeung Shum. The design and implementation of xiaoice, an empathetic social chatbot. Computational Linguistics, Vol. 46, No. 1, pp. 53-93, 2020.

[5] Clara E Hill. Helping skills: Facilitating, exploration, insight, and action. American Psychological Association, 2009.

[6] Siyang Liu, Chujie Zheng, Orianna Demasi, Sahand Sabour, Yu Li, Zhou Yu, Yong Jiang, and Minlie Huang. Towards emotional support dialog systems, 2021.

[7] Quan Tu, Yanran Li, Jianwei Cui, Bin Wang, Ji-Rong Wen, and Rui Yan. MISC: A mixed strategy-aware model integrating COMET for emotional support conversation. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp.308-319, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Yang Deng, Wenxuan Zhang, Yifei Yuan, and Wai Lam. Knowledge-enhanced mixed-initiative dialogue system for emotional support conversations, 2023.

[9] Zhonghua Zheng, Lizi Liao, Yang Deng, and Liqiang Nie. Building emotional support chatbots in the era of $1 \mathrm{lms}$, 2023.

[10] Gati Aher, Rosa I. Arriaga, and Adam Tauman Kalai. Using large language models to simulate multiple humans and replicate human subject studies, 2023.

[11] Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, Yifan Du, Chen Yang, Yushuo Chen, Zhipeng Chen, Jinhao Jiang, Ruiyang Ren, Yifan Li, Xinyu Tang, Zikang Liu, Peiyu Liu, Jian-Yun Nie, and Ji-Rong Wen. A survey of large language models, 2023.

[12] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, and Bing Liu. Emotional chatting machine: Emotional conversation generation with internal and external memory, 2018.

[13] Xianda Zhou and William Yang Wang. MojiTalk: Generating emotional responses at scale. In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1128-1137, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Lei Shen and Yang Feng. CDL: Curriculum dual learning for emotion-controllable response generation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 556566, Online, July 2020. Association for Computational Linguistics.

[15] Lisong Qiu, Yingwai Shiu, Pingping Lin, Ruihua Song, Yue Liu, Dongyan Zhao, and Rui Yan. What if bots feel moods? In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '20, p. 1161-1170, New York, NY, USA, 2020. Association for Computing Machinery.

[16] Xin Lu, Yijian Tian, Yanyan Zhao, and Bing Qin. Retrieve, discriminate and rewrite: A simple and effective framework for obtaining affective response in retrieval-based chatbots. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1956-1969, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[17] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, Florence, Italy, July 2019. Association for Computational Linguistics.

[18] Zhaojiang Lin, Andrea Madotto, Jamin Shin, Peng Xu, and Pascale Fung. MoEL: Mixture of empathetic listeners. In Kentaro Inui, Jing Jiang, Vincent $\mathrm{Ng}$, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 121132, Hong Kong, China, November 2019. Association for Computational Linguistics.

[19] Navonil Majumder, Pengfei Hong, Shanshan Peng, Jiankun Lu, Deepanway Ghosal, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. MIME: MIMicking emotions for empathetic response generation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8968-8979, Online, November 2020. Association for Computational Linguistics.

## A 応答文評価に使用した評価セットの例

応答文 B である対話戦略予測部ありシステムが選択した対話戦略ラベルは，Affirmation and Reassurance である。

フーザの状況説明

親が医者になれと迫ってくる。

対話履歴

usr : 彼らは妥協を受け入れてくれないんだ。親って頑固だよね。どうしたらいいのかな？

親の言うことを聞くべきか、それとも自分の夢を追求すべきか悩んでいるんだ。

sys : 具体的に何をすればいいかは私には言えませんが、あなたの人生を他人による指図の前に、

まずは自分自身を満たすことをお勧めします。

usr：そうだね、それについて真剣に考えているんだ。私はすでに大学を卒業している。彼らの

夢の半分を叶えたんだ。でも、正直な意見を伝えるのはいいアイデアだと思うかな？

sys : 私は、彼らがあなたの率直な意見に満足しない可能性もあることを覚悟する必要があると

思います。しかし、彼らが満足していないからと言ってそれが間違っているわけではないという

ことを忘れないでください。

usr : ありがとう、素晴らしいアドバイスだね。きっと準備をするよ。彼らが失望するかどうかなんて気にしないよ。これは私の人生で、彼らのものじゃないから。結果は受け入れるんだ。

V応答文 $\mathrm{A}$ (対話戦略予測部なしシステム)

素晴らしい決意ですね。自分の人生に対して主体的に考え、行動を準備することは大切です。

どんな結果になっても、あなたが納得できる選択をすることを応援しています。

$\boldsymbol{\nabla}$ 応答文 B (対話戦略予測部ありシステム)

その決意は大変勇敢なものです。自分の価値観に忠実でいることは尊重されるべきですし、自信を持って自己主張することは大事です。

## B対話戦略予測部なしシステムとの対話による評価実験での実際の対話例

このシステムでは，ユーザの発言の言い換えや，要点をまとめつつ，さらに深く掘り下げるような質問や助言の提供を行っている.
