# 表出感情と経験感情をタグ付けした対話コーパスの構築

井手竜也 河原大輔
早稲田大学理工学術院
\{t-ide@toki . , dkw@\}waseda.jp

## 概要

人間は，対話において相手の感情を認識し，共感 や慰めなどを込めて応答する. 本論文では，このよ うな能力をもつ対話システムの開発に向けて，感情 タグ付き対話コーパスを構築する。ある発話を話し た人が表した感情（表出感情）と，それを聞いた人 が感じた感情（経験感情）を，クラウドソーシング によってタグ付けする. 日本語の感情タグ付き対話 コーパスを構築し，それを統計的に分析した結果，対話における表出・経験感情の特徴および違いが明 らかになった. また表出・経験感情の認識実験を行 い，経験感情の認識がより難しいことや，2 種類の 感情認識が互いの性能を向上させることを示した.

## 1 はじめに

社会のオンライン化に伴って，テキストベースの コミュニケーションは不可欠なものとなっている. Transformer [1] の登場や転移学習 $[2,3]$ の成功を契機 に, 対話システムの性能も急速に向上している. 最近では，人間らしい応答ができるオープンドメイン のチャットボットを目指した研究 $[4,5,6]$ もある.

人間は相手がもつ感情を認識し，それにふさわし い感情（共感や慰めなど）を込めて応答を返すと考 えられる. 対話システムを人間らしくするための鍵 として，相手の感情をふまえて応答を生成すること [7] が挙げられる．感情タグ付き対話コーパスはい くつか存在するが，発話ごとに話者の感情のみを夕 グ付けしているもの $[8,9]$ が多く, 不十分である.

本研究では，相手の感情を認識した上で適切な感情を込めた応答を生成できる対話システムを実現す るための感情タグ付き対話コーパズ1)を構築する。話し手が発話に込めた感情（表出感情）と発話の聞 き手が受けた感情（経験感情）を発話ごとにタグ付 けする。なお本研究ではこれを日本語で構築する


図 1: 表出感情と経験感情のタグ付け

が，手法はどの言語にも適用できる.

手法としては，Twitter から 2 人が交互に話すよう な対話を収集し，対話コーパスとする．Plutchikの 感情の輪 [10]をラベルに採用し，クラウドソーシン グによって各発話における表出感情と経験感情を夕 グ付けする。複数のラベルがタグ付けされることを 許し，投票数に応じて各ラベルに強弱を設ける.

上記の手法によって，3,828 対話（13,806 発話）か らなる対話コーパスを構築した. 統計的な分析か ら，表出感情と経験感情の関係が明らかになった。 さらに表出感情と経験感情を BERT [3] で認識する 実験を行った．各ラベルの強度を回帰させ，相関係数を評価指標として性能を評価した. 実験の結果か ら，表出感情よりも経験感情を認識する方が難しい ことや，それらのマルチタスク学習が認識の性能を 向上させることがわかった. 本研究で構築したコー パスによって，対話における感情の認識および感情 に基づく応答生成の研究が促進されると期待する.

## 2 関連研究

EmoBank [11] はある文を書いた人とそれを読んだ 人の感情を，クラウドソーシングによってタグ付 けしたコーパスである. WRIME [12] は EmoBank と 同様, 主観的と客観的な感情をタグ付けした日本語のコーパスである． EmoInt [13] は怒り・恐れ・喜
表 1: 表出感情と経験感情がタグ付けされた対話の例

び・悲しみの 4 感情について，その強度をタグ付 けしたコーパスである. StoryCommonsense [14] は短 い物語をなす一連の文に，登場人物の Motivation と Emotional Reaction をタグ付けしたコーパスである. しかし，上記のコーパスはどれも対話に関するもの ではない. StoryCommonsense は本研究に似ている が，対象は物語である。

EmpatheticDialogues [7] は 2 人の話者を Speaker と Listener に割り当て, 対話ごとに Speaker の感情とそ の状況をタグ付けした対話コーパスであり，日本語版 [15] も存在する. EmpatheticDialogues は対話ごと に感情をタグ付けしているため，発話ごとの感情を 理解することには向かない. DailyDialog [8] は発話 ごとに感情と意図をタグ付けした対話コーパスであ る. EmotionLines [9] は発話ごとに感情をタグ付け した対話コーパスで，話者が複数人である．本研究 では DailyDialog や EmotionLines と同じく, 発話ご とに感情をタグ付けする。これらの対話コーパスは 発話に込められた感情のみをタグ付けしているが，本研究ではその発話を聞いた相手が抱く感情もタグ 付けする. さらに本研究では複数の感情を許容し， それぞれの感情に強弱を設ける。

## 3 コーパスの構築

## 3.1 対話の収集

対話は Twitter APIによって収集する。2 2 人のユー ザによるツイートとリプライのかけあいを対話と みなし，それを抽出する。ただしハッシュタグや URL，画像を含む対話はすべて除外する．対話あた りの発話数は 2 から 9 までに絞り，いくつかのフィ ルタを施す。まず特殊な記号や絵文字を含む対話は すべて除外する. ほかにも 4 回以上繰り返される文字や単語を含む場合や，発話が 4 文字未満の場合も 除外する.

上記の手法によって，3,828 対話（13,806 発話）を 獲得した. ただしターン数が多い対話ほど，そのサ ンプル数は減る傾向にある.表 2: ラベルごとの発話数

## 3.2 表出感情と経験感情のタグ付け

本研究では Plutchik の感情の輪 [10] をラベルに採用する. ${ }^{2}$ 具体的には $\{$ 怒り, 期待, 喜び, 信頼, 恐れ, 驚 き, 悲しみ, 嫌悪 $\}$ の 8 感情である. 発話ごとにそれ を話した人が抱いていた感情（表出感情）とそれを 聞いた人が抱いた感情（経験感情）をタグ付けす る.つまり発話ごとに主観的な感情と客観的な感情 $[11,12]$ をタグ付けすることになる．表出感情と経験感情を分けてタグ付けすることで，発話間や話者間における感情の変化を捉える。

感情のタグ付けはクラウドソーシングによって行 う. プラットフォームとしては Yahoo!クラウドソー シング3)を用い，クラウドワーカに発話とその履歴 を与え，各感情の有無を問う．複数の感情を選択す ることや，どの感情も選択しないことを許容する。発話ごとに 7 人のクラウドワーカを雇い，半数（4 人）以上が選んだ感情を強ラベル，4 分の 1 （2人）以上が選んだ感情を弱ラベルとする。このタグ付け を表出感情と経験感情のそれぞれについて独立に行 う。タグ付けされた対話の例を表 1 に示す。

ラベルごとの発話数を表 2 に示す。およそ 9 割の 発話がいずれかの弱ラベルを伴っており，その他の

2）感情タグ付きコーパスでは，Ekman の 6 感情 [16] や Plutchik の感情の輪 $[10]$ がよく用いられる．クラウドソーシングを用 いた予備実験の結果，後者の方がより感情タグとして適切で あることが明らかになった．したがって本研究ではそれを採用する.

3) https://crowdsourcing.yahoo.co.jp/

(a) 表出感情と経験感情（特定の発話について）

(b) 経験感情と次の表出感情（特定の話者について）

図 2: 表出感情と経験感情の関係

感情や無感情のラベルが大部分を占める DailyDialog [8] や EmotionLines [9] よりも有効である.

## 4 コーパスの分析

構築した対話コーパスにおける，表出感情と経験感情の関係を分析した. 具体的には，次のような関係が考えられる。

1. 同一の発話に対する表出感情と経験感情（異な る話者)

2. ある発話に対する経験感情と次の発話に対する 表出感情（同一の話者）

強ラベルに関する，それぞれの混同行列を図 2 に 示す. なお各要素の値は行方向に正規化してある.対角成分における値が大きくなっていることから，同一の発話および同一の話者についての関係として は，同じ感情が起こりやすいことが言える．異なる 感情間の関係としては，図 $2 \mathrm{a}$ から，期待・信頼・驚 きの発話に対して喜び，怒りと嫌悪にはそれぞれ嫌悪と悲しみを抱きやすいことがわかる．また図 $2 b$ から，信頼と怒りを抱いたあとはそれぞれ喜びと嫌悪を表しやすいことがわかる. 図 $2 \mathrm{a}$ と図 $2 \mathrm{~b}$ を比較 すると，特に悲しみに対する反応が異なり，特定の 話者においては話者が悲しみを受けたとき次に期待 を表すことがある.これは相手の発話に対して悲し みを抱いた話者が，相手を慰めるために期待感のあ る発話を返していると考えられる。

## 5 感情認識の実験

表 3: モデルごとの相関係数

表 4: ラベルごとの相関係数 (NICT)

## 5.1 モデル

表出感情と経験感情について，それらの認識を実験する. 対象の発話とそれまでの履歴から，各ラべ ルの強度を回帰することを考える．ラベルがない場合に 0 ，弱ラベルと強ラベルにそれぞれ 1 と 2 を充 てる. モデルは平均二乗誤差で学習する。

本研究ではモデルとして BERT [3] を利用する.事前学習済み BERT として，京都大学 [17]の WWM 版と $\mathrm{NICT}^{4)}$ の BPE 版を採用する. 入力は Juman++ [18] によって単語に分割し，さらに BPE [19] によっ てサブワードに分割する。履歴と対象の発話を [SEP] で結合し，[CLS] に対するべクトルを全結合

4) https://alaginrc.nict.go.jp/nict-bert/index.html
表 5: 予測結果の例（NICT，最後の発話に対する表出感情）

 & 強い悲しみ 強い悲しみ \\

表 6: 特定の発話に関するマルチタスク学習

表 7: 特定の話者に関するマルチタスク学習

層に与える. 全結合層から得た 8 次元のベクトルに 関して，各要素を 8 種類のラベルそれぞれの強度に 回帰する。

対話コーパスを 8:1:1 に分割し, それぞれ学習 データ・検証データ・テストデータに充てる。学習 は 3 エポックと定め，テストデータに対して評価を 行う. 評価指標には Pearson と Spearman の相関係数 を採用する。

## 5.2 結果

モデルごとの相関係数を表 3 に示す. モデルとし ては，どの値も NICTがもっとも高い. 表出感情と 経験感情を比較すると，どのモデルも経験感情の値 が低い。つまりある発話を話した人が抱いていた感情よりも，それを聞いた人が抱いた感情を予測する ことの方が難しい．NICT のモデルに関する，ラべ ルごとの相関係数を表 4 に示す. 表 4 と表 2 を比較 すると，ラベルの発話数が多いほど相関係数の値も 高くなっていることがわかる．モデルによる予測結果の例を表 5 に示す.

## 5.3 マルチタスク学習

単一のモデルに表出感情と経験感情の両方を認識 させることを考える. 表出感情と経験感情には相関 があるため，このことはそれぞれの認識に良い影響
があると考えられる．タスクごとに全結合層を用意 し，それらを同時に訓練する。ロスはそれぞれに対 して計算し，その算術平均を全体のロスとしてパラ メータを最適化する。

4 章の関係を踏まえ，特定の発話と特定の話者に 関する表出感情と経験感情をマルチタスク学習 [20] する。また訓練データとテストデータが異なる場合 も実験する、マルチタスク学習の相関係数を表 6 と 表 7 に示す.まず訓練とテストでデータが異なる場合，それらが同じ場合よりも値が低い。これは表出感情と経験感情を分けてタグ付けすることに意味 があることを示している。マルチタスク学習として は，表出感情と経験感情のどちらもそれらを同時に 学習させたときの方が値は高い. つまり表出・経験・次の表出感情は互いに助け合うと言える。

## 6 おわりに

対話システムが話者の感情やその変化を理解する ための，感情タグ付き対話コーパスの構築手法を提案した. クラウドソーシングによって，2人の話者 による対話の発話ごとに，その発話を話した人が抱 いていた感情（表出感情）とそれを聞いた人が抱い た感情（経験感情）をタグ付けする。

上記の感情タグ付き対話コーパスを日本語で構築 し，それを統計的に分析した．感情ごとに頻出な単語の傾向や，特定の発話および話者における表出感情と経験感情の関係が明らかになった。また日本語 の事前学習済み BERT [17]を用いて，表出感情と経験感情の認識を実験した．経験感情の認識がより難 しいことや，表出感情と経験感情のマルチタスク学習が互いの認識に対する性能を向上させることが示 された。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[2] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Li Zhou, Jianfeng Gao, Di Li, and Heung-Yeung Shum. The design and implementation of XiaoIce, an empathetic social chatbot. Computational Linguistics, Vol. 46, No. 1, pp. 53-93, March 2020.

[5] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot, 2020.

[6] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[7] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[9] Chao-Chun Hsu, Sheng-Yeh Chen, Chuan-Chun Kuo, Ting-Hao Huang, and Lun-Wei Ku. EmotionLines: An emotion corpus of multi-party conversations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).
[10] Robert Plutchik. A general psychoevolutionary theory of emotion. In Theories of emotion, pp. 3-33. Elsevier, 1980.

[11] Sven Buechel and Udo Hahn. EmoBank: Studying the impact of annotation perspective and representation format on dimensional emotion analysis. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 578-585, Valencia, Spain, April 2017. Association for Computational Linguistics.

[12] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, Online, June 2021. Association for Computational Linguistics.

[13] Saif Mohammad and Felipe Bravo-Marquez. Emotion intensities in tweets. In Proceedings of the 6th Joint Conference on Lexical and Computational Semantics (*SEM 2017), pp. 65-77, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[14] Hannah Rashkin, Antoine Bosselut, Maarten Sap, Kevin Knight, and Yejin Choi. Modeling naive psychology of characters in simple commonsense stories. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2289-2299, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[16] Ekman Paul. An argument for basic emotions. In Cognition and Emotion, Vol. 6(3/4), pp. 169-200, 1992.

[17] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, 2019.

[18] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[19] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[20] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

図 3: クラウドソーシングの例

表 8: ラベルごとに頻出な単語の Top-3

## A クラウドソーシング

表出感情をタグ付けするクラウドソーシングの例を図 3 に示す. チェックボックス式のフォーマットを用 いることによって，複数の感情が選ばれることを許容している。

## B感情ごとに頻出な単語

感情ごとの発話がもつ特性を知るため，感情ごとに単語の頻度を求める. 本研究では強ラベルのみを対象 とし, 品詞として動詞と形容詞を採用する. 品詞の解析は Juman++ [18] によって行い, 代表表記を抽出す る.どの感情にも現れる普遍的な単語を除くため，IDFによるフィルタを施す．具体的には IDF が最大値の 半分を下回った単語を無視する。

フィルタを施した，感情ごとに頻出な単語の Top-3を表 8 に示す. 喜びの動詞や喜び・恐れ・嫌悪の形容詞は表出感情と経験感情で等しい，一方で，怒り・嫌悪の動詞や信頼の形容詞は表出感情と経験感情で異な る. 喜びや驚きの動詞に「交じる」があるが，これは形容詞の「マジだ」が誤って識別されたものである.同様に，喜びの形容詞にある「孵る」は「帰る」に対する誤りである。
 井手竜也 河原大輔 早稲田大学理工学術院 \{t-ide@toki . , dkw@\}waseda.jp  