# 発話の交換を考慮した 対話システムにおけるユーザ感情推定手法の検討

宮川由衣 ${ }^{1}$ 加藤大貴 ${ }^{2,1}$ 松平茅隼 ${ }^{1}$ 平山高嗣 3,1 駒水孝裕 1 井手一郎 ${ }^{1}$
1 名古屋大学 2 名城大学 3 人間環境大学
\{miyakaway, katoh, matsuhirac\}@cs.is.i.nagoya-u.ac.jp
t-hirayama@uhe.ac.jp
taka-coma@acm.org
ide@i.nagoya-u.ac.jp

## 概要

非タスク指向対話システムは目標が明確でないた め，システムの性能を評価することが難しい. シス テムの究極の目標はユーザの満足であるため, 対話 におけるユーザの感情遷移が重要な指針となる。 そ こで我々は，対話システムと人との対話の様子を収 めたマルチモーダルコーパスを使用し, システム発話に対するユーザの感情推定モデルを構築してい る. 本発表では，その際に 1 つの発話のみでなく, どれだけ過去の発話が重要であるか検討した結果を 報告する. 具体的には，心象アノテーションと発話 の書き起こしを用いて BERT モデルを Fine-tuning し た. 実験の結果，システム発話とユーザ発話との対 に加えて1つ過去のユーザ発話まで考慮すること で，最高 0.89 の F1 スコアを達成した.

## 1 はじめに

自然言語処理や音声認識の発達に伴い，Amazon 社の Alexa [1] や Apple 社の Siri [2] などの音声対話 システムが実用化されている.また，チャットボッ トやオープンドメイン対話システムなど、非タスク 指向の対話システムの開発にも大きな関心が寄せら れている. 非タスク指向対話システムの品質向上は ユーザの対話体験にとって重要であるが，タスクの 達成のような目標が明確でないため，システムの性能評価が難しい、ユーザが対話に満足しているか, システムとストレスなく対話できているかは，対話 システムの性能について考える際に重要な要素であ ることから，対話によるユーザの感情遷移を自動的 に推定することができれば，重要な指針となると考 えられる。
そこで本研究では，発話の書き起こしのみから， システム発話に対するユーザの感情を推定するモデ ルを提案する。一般に，対話においてはユーザの感情は 1 つの発話のみに明確に表れるとは限らず，そ れまでの対話の流れに影響される。そのため本研究 では，過去の発話も考慮したモデルを構築する. そ して，どれだけ過去の発話まで考慮した場合にユー ザの感情を最も良く推定できるかを実験的に明らか にする.

以降，まず 2 節で関連研究を，3 節で使用する コーパスを各々紹介する。次に 4 節でコーパスへの 感情ラベルの付与について，5 節で提案手法につい て各々述べる. 最後に 6 節で実験について報告し， 7 節で本論文をまとめ，今後の課題について述べる.

## 2 関連研究

Wei ら $[3,4]$ や Hirano ら [5] は, 対話システムと 人との対話の様子を収めたマルチモーダルコーパ ス $[6,7]$ を使用し，対話システムとの対話における ユーザの内的状態を推定している. Wei ら [3] は，音響特徴, 視覚特徴, 言語特徴を RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), GRU（Gated Recurrent Unit）に入力し，システム対話 におけるユーザの満足度を認識するマルチモーダル モデルを提案している。さらに，対話全体における ユーザの感情と， 1 対の受け答え（以下，交換）に おけるユーザの感情の関係も分析している [4]. 一方 Hirano ら [5] は，弱教師付き学習とマルチタスク 学習を融合することで, 心象アノテーションの信頼性の低さやデータ数の少なさを解決している.

しかし，これらの研究では，過去の発話を考慮す ることによるユーザの感情の推定性能への影響は検
討されていない.

## 3 対話コーパス

本研究では，先行研究 $[3,4,5]$ で用いられている 対話コーパス (Hazumi）[6,7]に含まれる 3 つのデー タセット Hazumi1712, Hazumi1902, Hazumi1911を 使用する．以下，これらについて紹介する。

## 3.1 対話の収録

対話システムを模擬して，Wizard-of-Oz 方式によ り別室から人が操作 ${ }^{1)} し$, 実験参加者が対話システ ムと雑談する様子を 1 名あたり約 15 分間収録して いる. 各データセットは, ビデオカメラと Microsoft Kinect センサにより記録された参加者の行動や表情, さらにシステムと参加者の発話の書き起こしを 収録している。

使用するデータセットのうち, Hazumi1712では,事前にいくつかの話題に対する参加者の興味の有無 を調査した上で, 参加者の興味がある 3 話題と興味 がない 3 話題をとりあげて対話が行なわれている.話題の例としてはスポーツ，ドラマ，芸能人，ゲー 厶，電車などがある．参加者は 20 代から 50 代の男女29名（男性 14 名，女性 15 名）である.

一方, Hazumi1902 と Hazumi1911では, 参加者が 楽しんでいる時間が長くなるように話題を調整し ながら対話が行なわれている. Hazumi1712 との違 いは，参加者がある話題に興味を示さなかった場合 に，対話システムが別の話題に変えている点であ る. 参加者は 20 代から 70 代の男女 60 名（男性 25 名，女性 35 名）である.

## 3.2 心象アノテーション

これらのデータセットには，参加者とは別のアノ テータ 5 名により心象アノテーションが付与され ている.アノテーションの付与単位は発話における 1 交換（あるシステム発話開始時刻から次のシステ ム発話開始時刻まで）である.アノテータは対話の 様子を記録した映像を始めから順番に視聴しなが ら，参加者のシステム発話に対する感情について，各交換に対して 7 段階で付与している. ここで， 1 がネガティブ（楽しくない，話し続けたくない，不満, 困惑など), 7 がポジティブ (楽しい, 話し続け たい，満足など）である.

1）人間のオペレータが遠隔から，実験参加者の様子を見なが ら専用のインタフェースを通じて，システムの応答を選択.

図 1 付与されたユーザ感情ラベルの分布

## 4 ユーザ感情ラベルの付与

本研究では, ネガティブ, ニュートラル，ポジ ティブの3クラス分類を行なう．そのために，アノ テータ 5 名分の心象アノテーションを集約すること で得られる3クラスのラベルをユーザ感情ラベルと 定義する. 各交換に対してユーザ感情ラベルを付与 する際に，以下の 2 種類の方法を検討する。

平均ラベル法 アノテーションの平均をとる方法である. 5 名分の心象アノテーションの平均をと り, 先行研究 $[5,8]$ に倣い, 3.5 未満はネガティブ, 4.5 以上はポジティブ，その他はニュートラルに分類する.

多数決ラベル法 アノテーションの多数決をとる 方法である. 平均ラベル法でアノテーションがポジ ティブとネガティブに分かれた場合にニュートラル に分類されてしまう問題の解消を目的とする． 5 名分の心象アノテーション各々について, 3.5 未満は ネガティブ， 4.5 以上はポジティブ，その他はニュー トラルに分類した後， 3 つ以上一致したラベルに分類する.

7,743 交換に対して，平均ラベル法と多数決ラベ ル法各々によるユーザ感情ラベルの分布を図 1 に示 す. なお，多数決ラベル法で 3 つ以上一致するラべ ルがなかった交換は削除したため，同法については 合計 7,306 交換になった.

## 5 感情推定モデルの構築

感情推定モデルを構築する際に, 学習データ数 の少なさを考慮して，少数のデータでも高精度の 分類が期待できる事前学習済み BERT (Bidirectional Encoder Representations from Transformers) [9] の Fine-
表 1 学習データの例

 &  & ニュートラル & ポジティブ \\

図 2 Token type IDs の使用例

tuningを行なう.

ここでは，あるシステム（ユーザ）発話開始時刻 から次のユーザ（システム）発話開始時刻までを 1 発話と定義し，モデルへの入力単位は，連続する $N$発話を連結したものとする. $N=1$ のとき入力単位 は最後のユーザ発話のみとなり, 過去の発話を考慮 しない条件と等価である. システム発話とユーザ発話の間には文章の区切りを表す [SEP] トークンを挿入する. $N=3$ 以上の場合には最後の交換に付与さ れたユーザ感情ラベルを使用する. 表 1 は $N=2$ 及 び $N=4$ における学習データの例である.ここで， 3 列目の「sys」はシステム発話，「user」はユーザ発話を表す.

また，ユーザ感情ラベルには最後のユーザ発話の 影響が大きいという仮説のもと，最後のユーザ発話 を明確化することを目的とし，入力を Encode する 際に Token type IDs を付与する. 図 2 は表 1 におけ る連結数 $N=4$ の ID 2 に対する Token type IDsの例 である. 最後のユーザ発話に 1 を付与し，その他に は 0 を付与する。

## 6 実験

4 節の方法で，対話の様子を収録した映像を視聴 して付与された心象アノテーションに基づいて定義 したユーザ感情ラベルについて，発話の書き起こし のみから推定するという問題設定で，分類実験を行 なった.

## 6.1 実験条件

ユーザ感情ラベルを付与した書き起こしデータを $8: 1: 1$ の比率に分け, それぞれ学習データ，検証 データ，テストデータとした. この学習データと検証データを用いて, 日本語の感情分析データによっ て事前学習された BERT モデル [10] を Fine-tuning した.

発話の連結数 $N$ について, $N=1,2,3,4,6,10$ の 6 通り測定して，結果を比較した. 更に，直近の システム発話 1 発話のみを入力とした場合の結果も 比較した。

## 6.2 ベースラインモデル

ベースラインモデルとして，ML-Ask [11] を用い た. これは, 感情表現辞典 [12] に基づく2,100 の感情語によるパターンマッチングを行なうことで 10 種類の感情（怒，哀，怖，厭，昂，驚，恥，喜，好，安）を推定し，推定した感情に基づいて 3 クラス分類を行なうモデルである．具体的には，入力された テキストはネガティブ (怒，哀，怖，厭），ニュート ラル (昂，驚，恥)，ポジティブ（喜，好，安）の感情語の個数に応じて 3 クラスのいずれかに分類さ れる。

本実験では，感情語が存在しないために分類でき なかったものは全てニュートラルに分類した.

連結数 $N=1,2$ のテストデータに対してユーザ感情ラベルを推定し，その分類性能を評価した。
表 23 クラスの平均 $\mathrm{F} 1$ スコア

## 6.3 実験結果

実験結果として，3つの感情クラスの平均 F1 ス コアを表 2 に示す. 3 列目がユーザ感情ラベル付与 に平均ラベル法を採用した場合の F1 スコア， 4 列目が多数決ラベル法を採用した場合の F1 スコアで ある.また，「1 (sys)」はシステム発話のみを入力単位とした場合，「1 (user)」はユーザ発話のみを入力単位とした場合を表している。各方法で最高の F1 スコアを太字で示した. 平均ラベル法では $N=2$ と $N=3$ の場合のスコア（0.83）が，多数決ラベル法で は $N=3$ の場合のスコア（0.89）が最高であった.一方， $N=6$ 以上連結した場合や，ML-Ask モデルで 分類した場合には性能が低かった. また，平均ラべ ル法と比較して多数決ラベル法の方が総じて良い性能を得られた。

## 6.4 考察

ML-Ask モデルの性能が低かったのは，テスト データ中に感情語が存在しない発話が多かったた めと考えられる．1交換 $(N=2)$ において，感情語 が存在しない交換は平均ラベル法では 774 交換中 513 交換，多数決ラベル法では 731 交換中 482 交換 であった。辞書を使用する手法では，辞書に含まれ ない感情語を発している場合や明確にポジティブ／ ネガティブな単語を発していない場合の感情推定に 限界があるため，機械学習による手法より劣ると言 える。

また，平均ラベル法と比べて多数決ラベル法の方 が良い性能を得られた. これは，心象アノテーショ ンを閾値処理して得た感情ラベルが 3 つ以上一致し ないような，感情が明確でない交換が，多数決ラべ ルにおいて除外されたためであると考えられる.

また表 2 において，平均ラベル法と多数決ラベル 法どちらの場合でも「1 (sys)」よりも「1 (user)」の 方が性能が高くなった. このことから，ユーザ感情表 34 発話における感情クラス別の F1 スコア

ラベルにはシステム発話と比較してユーザ発話の影響が大きいことが分かる.

表 3 に提案手法において $N=4$ とした場合のクラ ス別の F1 スコアを示す. ポジティブやニュートラ ルと比較してネガティブの性能が低いことが分か る.この原因として，対話内で明確にネガティブな 言葉（嫌い，つまらないなど）がほぼ発されないた め，他クラスよりも推定が難しいことや，他クラス と比較してデータ数が少ないため，十分に学習でき ていないことなどが考えられる（図 1 参照）、ネガ ティブクラスに対する分類性能の向上は今後の課題 である.

## 7 おわりに

本研究では，システム発話に対するユーザの感情 を推定するモデルを提案した。

Hazumi データセットの心象アノテーションに基 づいて，2 種類の方法で 3 クラスのユーザ感情ラベ ルを付与し，このラベルと発話の書き起こしを用い て BERT モデルを Fine-tuning した. 入力単位とする 発話の連結数を変えてモデルをそれぞれ学習し，感情クラス分類の性能を比較した。

実験の結果，平均ラベル法では入力単位を 2 発話及び 3 発話とした場合，多数決ラベル法では 3 発話 とした場合に最高の F1 スコアが得られ，過去の発話を考慮することで分類性能が向上する可能性が示唆された。

分類性能向上のための今後の課題として，発話の 連結方法の改善が挙げられる. 例えば，Token type IDs の拡張による全ての発話の区切りの明確化や,最後の発話に対する重み付けが考えられる。

また，状況に応じた発話の連結数の切り替えも挙 げられる。例えば，話題が切り替わった際には過去 の発話を連結しない，発話が短い場合にのみ過去の 発話も連結する，などが考えられる。

更に，今後は画像，音声， 3 次元動作などのデー タも加えてマルチモーダルな分析を行なっていき たい.

## 謝辞

本研究の一部は，JSPS 科研費 JP22H03612 の助成 を受けたものである.

## 参考文献

[1] Amazon.com, Inc. Amazon Alexa, (2023-1-9 閲 覧). https://www . amazon.co.jp/b?node=10406417051.

[2] Apple Inc. Siri, (2023-1-9 閲覧). https://www.apple. com/jp/siri/.

[3] Wenqing Wei, Sixia Li, Shogo Okada, and Kazunori Komatani. Multimodal user satisfaction recognition for nontask oriented dialogue systems. In Proceedings of the 2021 International Conference on Multimodal Interaction, pp. 586-594, 2021.

[4] Wenqing Wei, Sixia Li, and Shogo Okada. Investigating the relationship between dialogue and exchange-level impression. In Proceedings of the 2022 International Conference on Multimodal Interaction, pp. 359-367, 2022.

[5] Yuki Hirano, Shogo Okada, and Kazunori Komatani. Recognizing social signals with weakly supervised multitask learning for multimodal dialogue systems. In Proceedings of the 2021 International Conference on Multimodal Interaction, pp. 141-149, 2021.

[6] 駒谷和範. マルチモーダル対話コーパスの設計と公開. 日本音響学会誌, Vol. 78, No. 5, pp. 265-270, 2022.

[7] 大阪大学産業科学研究所. マルチモーダル対話コー パス (Hazumi),(2023-1-6 閲覧).https://www.nii. ac.jp/dsc/idr/rdata/Hazumi/.

[8] Yuki Kubo, Ryo Yanagimoto, Hayato Futase, Mikio Nakano, Zhaojie Luo, and Kazunori Komatani. Team OS's system for dialogue robot competition 2022. Computing Research Repository arXiv Preprint, arXiv:2210.09928, 2022.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding, In Proceedings of the 17th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[10] daigo. bert-base-japanese-sentiment, (2023-1-6 閲覧). https://huggingface.co/daigo/ bert-base-japanese-sentiment.

[11] Michal Ptaszynski, Pawel Dybala, Wenhan Shi, Rafal Rzepka, and Kenji Araki. A system for affect analysis of utterances in Japanese supported with Web mining. 知能 と情報, Vol. 21, No. 2, pp. 30-49, 2009.

[12] 中村明. 感情表現辞典. 東京堂出版, 1993.
 宮川由衣 ${ }^{1}$ 加藤大貴 ${ }^{2,1}$ 松平茅隼 ${ }^{1}$ 平山高嗣 3,1 駒水孝裕 1 井手一郎 ${ }^{1}$ 1 名古屋大学 2 名城大学 3 人間環境大学 \{miyakaway, katoh, matsuhirac\}@cs.is.i.nagoya-u.ac.jp t-hirayama@uhe.ac.jp taka-coma@acm.org ide@i.nagoya-u.ac.jp  