# 生成と分類のマルチタスク学習による 感情が考慮された対話応答生成

井手竜也
早稲田大学基幹理工学部
t-ide@toki.waseda.jp
}

河原大輔
早稲田大学基幹理工学部
dkw@waseda.jp

## 1 はじめに

計算資源などの拡大に伴う、自然言語処理の発展 は著しいものである。翻訳や要約をはじめとするタ スクで、今やコンピュータが人間に劣らない性能を 示すことも珍しくない. 同じような技術のもとで対話システムも進歩し、実用化が期待されつつある.

人間がコンピュータと自然に対話するためには、 コンピュータに人間らしさが必要である。こうした 対話を実現するための方法 [1] はいくつか提案され ている．たとえば知識や常識にもとづいて対話を行 うこと [2] や、自身および相手の個性に触れながら 対話を行うこと [3] である. 中でも本研究は感情と いう要素 [4] に焦点を当てる.

本研究は話者の感情が考慮された対話をマルチタ スク学習によって実現する。また感情の階層的な関係 [5] に目を向け、粒度の異なるいくつかの感情認識を同時に学習させる. なおこのマルチタスク学習 は類似タスクの間で相補的な情報共有を目指すも のではなく、あえて感情認識の精度向上は考慮しな い.またマルチタスク学習における感情認識の比率 が過剩であるという懸念のもと、各ロスに重みづけ を施すことでさらなる品質の改善を求める. 事前学習済みの Transformer [6] モデルである BART [7]をも とにモデルを構築し、応答生成と感情認識のマルチ タスク学習を行う．これは英語を対象に、文脈を伴 わない対話で行う。

自動評価と人手評価から提案手法による応答生成 の有効性を確認した。つまり応答生成と感情認識の マルチタスク学習が、生成される応答をより発話の 感情が考慮されたものにすることがわかった。この ことは感情という側面にかぎらず、流暢さや有益さ といった品質も同時に改善された。またロスの重み づけによるパラメータの制御が、モデルの性能をよ り向上させることがわかった.

## 2 関連研究

感情にもとづく応答生成に関しては、ECM [8] が 代表的である．ECM は Emotion Classifier とともに用 いられ、与えられた感情に依存した応答を生成する ことができる. EmpTransfo [9] は本研究と類似した モデルである．GPT [10]による応答生成に Emotion と Action を適用させ、生成される応答を高品質なも のにしている。

これらのモデルは応答がもつ感情に注目したもの で、発話の感情をふまえて応答を生成するわけでは ない。一方で TG-EACM [11] は、発話に込められた 感情と応答が抱くべき感情の双方を考慮するよう なモデルである. モデルは与えられた発話から発話 と応答の感情をともに推測するような分布を学習 する。

ECM や TG-EACM は感情を理解するためのユ ニットを独立にもつが、本研究はそれを単一のモデ ルで完結させる．それによってパラメータの壳長性 が削減され、より効率的な感情の理解および応答の 生成が実現されることを期待する。

## 3 感情が考慮された応答生成モデル

## $3.1 \quad$ 概要

生成タスクとして応答生成を行い、分類タスクと して感情認識を行う。応答生成と感情認識をマルチ タスク学習によって同時に学習することで、与えら れた発話の感情を理解した上で応答を生成できるよ うになることを狙う。

マルチタスク学習はいくつかの類似したタスクを 対象とすることが多い。これはタスク同士が互いに 情報を共有し、それぞれのタスクが性能を向上する こと期待するためである. しかし今回のマルチタス ク学習はあくまでも応答生成の品質改善が目的であ

図 1 応答生成モデルのアーキテクチャ

り、感情認識の性能を向上することは考えない.こ れは一般的なマルチタスク学習と異なる点である.

モデルは BART [7] をもとに作成する. アーキテ クチャは図 1 のとおりで、モデルは学習されるタス クごとに Head として出力層をもつ. これは応答生成で単語を生成するための LM Head と、分類タスク を解くための線形層である CLS Head からなる.な お CLS Head はたとえば Positive や Negative といっ たラベルを推測することで分類タスクを解く. CLS Head に関しては、分類タスクごとに 1 つを設ける.各タスクの入出力形式は BART と同様である.生成タスクでは Encoder と Decoderにそれぞれ発話と右シフトされた応答を入れ、分類タスクでは Encoder と Decoderに発話と右シフトされた発話を 入れる。

学習のアルゴリズムはおおむね MT-DNN [12] に したがう．学習すべき各タスクはミニバッチごとに 選択される。タスクによって異なるロスを計算し、 ミニバッチごとにパラメータを更新していく.

## 3.2 タスクとロス

与えられる発話を $\boldsymbol{x}=\left(x_{1}, \ldots, x_{M}\right)$ 、モデルのパラ メータを $\boldsymbol{\theta}$ とする．各タスクに対するロスをもとに $\boldsymbol{\theta}$ を更新することによって、モデルは学習される。

生成 $\boldsymbol{x}$ に対する応答を $\boldsymbol{y}=\left(y_{1}, \ldots, y_{N}\right)$ とすれ ば、 $\boldsymbol{x}$ から適切な $\boldsymbol{y}$ を推測できるように学習する。

$
\mathscr{L}_{\text {gen }}=-\sum_{j=1}^{N} \log p\left(y_{j} \mid \boldsymbol{x}, y_{1}, \ldots, y_{j-1} ; \boldsymbol{\theta}\right)
$

分類 $x$ の正解ラベルを $c$ とすれば、モデルは $x$ から $c$ を推測する.

$
\mathscr{L}_{\mathrm{cls}}=-\log p(c \mid \boldsymbol{x} ; \boldsymbol{\theta})
$

## 3.3 ロスの重みづけ

提案のマルチタスク学習は生成と分類のタスクを 同時に学習するものである. しかしそこには分類タ表 1 各データセットのサンプル数

スクに関する学習の比率が過剰である可能性があ る. 一般的な分類タスクを解くとき、学習の終了は Validation データによるロスの収束をもって定めら れることが多い。一方で本研究の対象は生成タスク であり、それに必要なエポック数は分類タスクのも のよりも多い.

そこで各ロスに重みづけを施すことを考える．具体的には応答生成に対する重みを 1 に固定しつつ、感情認識の重みを 0 以上 1 以下で変動させる．それ によりパラメータの更新に際する分類タスクの寄与 を抑える。

## 4 実験

## 4.1 データセット

マルチタスク学習として、応答生成のほかに感情認識の 3 タスクを行う。それぞれは 6 ラベル・2ラ ベル・12 ラベルによる分類タスクで、感情認識・CG 感情認識・FG 感情認識と呼ぶ. なお感情認識の各 データセットは Unify Emotion Datasets [13] を参考に 選択した。

応答生成 応答生成のデータセットとしては DailyDialog [14] を用いる. これはマルチターンによ る対話コーパスであり、2 ターンずつを抽出するこ とによって発話と応答の組を得る。これに収録され ている各発話は感情ラベルを伴うが、本研究ではそ れらを使わない. 付与されている感情ラベルのほぼ すべてが Otherであり、このことは本研究の目的に そぐわないと判断したためである。

感情認識軸となる感情認識のデータセットに は Twitter Emotion Corpus [15]を用いる. Twitter の ハッシュタグをもとに構築されたもので、 Anger, Disgust, Fear, Joy, Sadness, Surprise\}の 6 ラベルから なる.なおこのデータセットには\{Train, Validation, Test\}の区別がない. よって全データセットの $80 \%$

Test にする.

図 2 人手評価として行うクラウドソーシングの例

CG 感情認識 Coarse-Grained な感情認識について はSST-2 [16] を用いる.これは映画のコメントに \{Positive, Negative\}のラベルが付与されたデータセッ トである．感情分類のサンプル数とバランスを保つ ベく、Trainデータのサンプル数を $25 \%$ に減らす。

FG 感情認識 Fine-Grained な感情分類には CrowdFlower が提供する感情ラベル付きコーパスを用い る. Empty というラベルを除外し、\{Anger, Boredom, Enthusiasm, Fun, Happiness, Hate, Love, Neutral, Relief, Sadness, Surprise, Worry\}の 12 ラベルによる分類タ スクとして扱う。なおこれも Twitter Emotion Corpus と同じく\{Train, Validation, Test $\}$ の区別をもたないた め、全体を 8:1:1 に分割する.またSST-2 と同じ理由のもと、全体の 50\%のみを抽出する。

各データセットにおけるサンプル数の内訳を表 1 にまとめる.

## 4.2 モデルの学習

学習に必要となるハイパパラメータは、BART の 論文 [7] や Fairseq の例を参考に設定する. 学習率 は 3e-5 と定め、パラメータは Weight Decay を伴う Adam で最適化する。応答生成に関しては、ロスの Negative Log-Likelihood 0.1 の Label Smoothing を施 す. また入出力のトークン数は最大 64 に決め、学習は 64 エポック行うことにする.

生成時のハイパパラメータに関しても、上記を参考に設定する． 5 ビームによるビームサーチで単語 を選択し、ある $n$-gram が 3 個以上連続する場合を排除する.

学習や生成は $\mathrm{AI}$ 橋渡しクラウド上で行い、GPU として NVIDIA Tesla V100を用いる.

## 4.3 評価手法

モデルの評価として、自動的な評価と人手による 評価を行う。

自動評価 まず出力として得られる応答がどれだ け正解の応答と関連しているかを BLEU [17]によっ て評価する。そして出力される応答が語彙的に多様 であるかどうかを distinct [18] で評価する. distinct に関しては、それぞれ Unigram と Bigram に注目し た distinct-1 と distinct-2 を用いる. さらに出力の応答に含まれる単語数の平均も比較する。これは生成 された応答が長いものであるほど、それが普遍的で ないことを仮定している.

人手評価 人手による評価はクラウドソーシング で行い、プラットフォームとして Amazon Mechanical Turkを用いる。内容は EmpatheticDialogues [4] のそ れにならい、評価すべき観点として感情考慮・流暢 さ・有益さ・発話関連の 4 つを設定する。 それぞれ は生成された応答が発話の感情を考慮しているか、生成の応答が構文的に正しいものか、生成された応答が発話にとって有益な情報を提供しているか、応答の内容が発話と適切に関連しているかを問うも のである. Test データから無作為に抽出された 100 サンプルを対象に、上記の 4 観点を 5 段階で評価し てもらう．ワーカとしてはUS の在住者を指定し、各サンプルの各観点ごとに7 ワーカを要求する. 最終的なスコアは 7 ワーカによる値の平均値として 得る.

$
\text { ワーカに尋ねる質問の例を図 } 2 \text { に示す. }
$

## 4.4 結果

応答生成を R と表し、Twitter Emotion Corpus $\cdot$ SST-2・CrowdFlower のデータセットに関する感情認識をそれぞれ E6・E2・E12と表す。また E6・E2・ E12 のロスに対する重みをそれぞれ $\lambda_{\mathrm{E} 6} \cdot \lambda_{\mathrm{E} 2} \cdot \lambda_{\mathrm{E} 12}$ と表す.
表 4 各モデルによる応答の生成例

 &  &  & I hope I g \\

表 6 ロスに重みづけを施した応答生成の人手評価

マルチタスク学習 自動評価の結果を表 2 に 示す. 表 2 からは R+E6+E2 と R+E6+E12 がそれぞ れ distinct と BLEU を最大化していることがわか る.つまり提案のマルチタスク学習においては、 Coarse-Grained と Fine-Grained な感情認識がそれぞ れ多様性と関連性に効果的である.

人手評価の結果を表 3 に示す. 感情考慮に関して いえば、タスクに感情認識を含すすべてのモデルが 応答生成のみによるモデルを上回るスコアとなって いる．そして 4 観点のすべてを見てみると、とくに R+E6 が高いスコアをもたらしている. 提案のマル チタスク学習は生成される応答をより感情が考慮 されたものにするだけでなく、流暢さや発話関連と いった他観点の品質も改善しうる.

得られたモデルによる生成例を表 4 に示す. R と R+E6を対象に、与えられた発話とその応答を比較 する.なお生成例については、E6をタスクに追加 したことで人手評価の感情考慮が大きく向上した サンプルを選ぶ. 表 4 からは、 $\mathrm{R}$ と比べて R+E6 に "Yeah, yeah, I know." p "good idea." といったより感情に敏感な文が含まれていることがわかる.

ロスの重みづけ自動評価と人手評価の結果を それぞれ表 5 と表 6 に示す. 自動評価では、とく に E12を伴うモデルで重みづけによるスコアの 向上が確認できる。一方で人手評価も重みづけ
がいくつかのスコアを向上させており、中でも $\left(\lambda_{\mathrm{E} 6}, \lambda_{\mathrm{E} 2}, \lambda_{\mathrm{E} 12}\right)=(.5, .5,0)$ のケースがひときわ高い スコアを出している．したがって各ロスに対する重 みづけは生成される応答の品質を改善しうるもの で、今回の条件においては E6 と E2 の影響を半分に 抑えることがもっとも効果的である.

## 5 おわりに

人間とコンピュータによる対話の、ニューラル ネットワークにもとづく応答生成の品質改善に取り 組んだ. 感情という側面に注目し、生成と分類の夕 スクを対象とするマルチタスク学習の応答生成モデ ルを提案した。自動評価と人手評価を行い、提案の モデルが感情をはじめとするいくつかの性能を向上 させることを確かめた．また学習の際に計算される 各ロスに重みづけを施すことで、さらなる品質の改善を図った. 結果として重みづけがいくつかの評価 を向上し、パラメータ更新のバランスも重要である ことがわかった。

本研究は対話の感情に焦点を当て、発話の感情を 考慮した応答の生成を行った. 一方で本研究は応答 の感情に注目しておらず、それは今後の課題であ る. 応答がもつべき感情を推定することや、指定さ れた感情のもと応答を生成することに取り組みた い.また今回の実験はあえて対話の文脈を一切考え ていない. 過去の発話やそれによる感情の変遷を生成する応答に反映させることも必要であり、それも 今後取り組むべき課題である。

## 謝辞

本研究は JSPS 科研費 JP18H03286 の助成を受 けた。

## 参考文献

[1] Eric Michael Smith, Mary Williamson, Kurt Shuster, Jason Weston, and Y-Lan Boureau. Can you put it all to-
gether: Evaluating conversational agents' ability to blend skills. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2021-2030, Online, July 2020. Association for Computational Linguistics.

[2] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. arXiv preprint arXiv:1811.01241, 2019.

[3] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] A. Kumar, A. Ekbal, D. Kawahra, and S. Kurohashi. Emotion helps sentiment: A multi-task model for sentiment and emotion analysis. In 2019 International Joint Conference on Neural Networks (IJCNN), pp. 1-8, 2019.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. arXiv preprint arXiv:1706.03762, 2017.

[7] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[8] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, and Bing Liu. Emotional chatting machine: Emotional conversation generation with internal and external memory. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[9] Rohola Zandie and Mohammad H. Mahoor. Emptransfo: A multi-head transformer architecture for creating empathetic dialog systems. arXiv preprint arXiv:2003.02958, 2020.

[10] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[11] Wei Wei, Jiayi Liu, Xianling Mao, Guibin Guo, Feida Zhu, Pan Zhou, Yuchong Hu, and Shanshan Feng. Target guided emotion aware chat machine. arXiv preprint arXiv:2011.07432, 2020

[12] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Laura-Ana-Maria Bostan and Roman Klinger. An analysis of annotated corpora for emotion classification in text. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2104-2119, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[14] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[15] Saif Mohammad. \#emotional tweets. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 246-255, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[16] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.
 井手竜也 早稲田大学基幹理工学部 t-ide@toki.waseda.jp }  河原大輔 早稲田大学基幹理工学部 dkw@waseda.jp  