# 対話行為の分布を利用した雑談対話システムの評価指標

榮田亮真 井手竜也 村田栄樹 河原大輔
早稲田大学理工学術院
\{s.ryoma6317@akane., t-ide@toki. , eiki.1650-2951@toki. , dkw@\}waseda.jp

## 概要

本論文では，雑談対話システムのふるまい全体を 考慮して評価を行うための新たな指標として，発話 が持つ役割である対話行為の分布を利用することを 提案する。人間とシステムの各発話に対話行為が付与された対話コーパスの分析から，人間は多様な対話行為を使い分けていること，また，対話相手の発話を踏まえて対話行為を決定していることがわかっ た. 分析に基づき, 対話行為のエントロピーと, 発話の対話行為が，対応する応答の対話行為の決定に 与える相互情報量で雑談対話システムを評価する。提案指標を様々な雑談対話システムに適用した評価実験によって，指標の妥当性が確認された。

## 1 はじめに

現在の雑談対話システムの評価方法は課題が残っ たまま利用されている. 評価は人手評価と自動評価 に分けることができ，人手評価はクラウドソーシン グによるもの，自動評価は BLEU [1], Distinct [2] な どの指標によるものが一般的である. さらに近年で は，BERT [3] などの事前学習モデルを人手評価デー タで Fine-tuning したモデルが提案されている $[4,5]$.

既存の評価指標の多くは，雑談対話システムの 1 ターンや 1 対話の応答を評価するものである.この ような評価指標はシステムのふるまい全体を見てい ないため，決まった数パターンの応答しか返すこと ができないシステムを高く評価することがある。ま た，Distinct はるるまい全体を評価する指標だが，表面的な語彙の多様性をはかるだけである。

本論文では，既存手法の問題点に鑑み，雑談対話 システムのふるまい全体を見て，Distinct よりも適切に，システムを評価することのできる評価指標を 提案する. 新たな評価指標は, 対話における各発話 の役割を表す対話行為 [6] の分布に注目したもので ある. 指標の考案のためまず，人間とシステムの発話に対話行為が付与された対話コーパスを構築し，分析を行う.コーパスの分析により，システムと比 べて人間は対話行為を多様に使い分けていること， また，対話相手の発言を踏まえて，対話行為を決定 していることがわかった. 分析に基づき, 対話行為 の多様性を表すエントロピー $(\mathrm{DAE})^{1)}$ と，どれだけ 相手の発言の対話行為を考慮しているかを表す相互情報量 $(\mathrm{DAMI})^{2}$ )に注目することで，システムを評価 することを提案する。DAE は Distinct とは異なり， おうむ返しばかりをするシステムに低いスコアを与 える. DAMI は応答だけでなく, その直前の発話に も注目したもので，対話の評価として Distinct より も適切であると考えられる. DAE，DAMI の算出に は発話に対話行為を付与することが必要だが，付与方法として，人手付与と対話行為分類モデルによる 自動付与の両方を検討する。

提案指標の妥当性検証のため, 様々な雑談対話シ ステムに対して，提案指標を算出する実験を行っ た. 実験から，提案指標の DAE，DAMI が対話シス テムの性能を反映した指標であることがわかった.

## 2 関連研究

既存の雑談対話システムの評価方法の多くが，1 つのユーザ発話とそれに対応するシステム応答を見 て評価を行うターンレベルの評価である。ターンレ ベルの関連度の人手評価 [7] は，おうむ返しやあり きたりでつまらない応答についても高い評価を与え る.これは，おうむ返しやありきたりな応答を多く 返すことで知られている深層学習による雑談対話シ ステム $[8]$ の評価指標として不適切である.

対話行為（Dialog Act）とは，対話において各発話 が持つ役割である. Stolcke ら [6] は 42 種類の対話行為を提案し，対話行為を付与した対話コーパス である SwDAを構築した. 対話行為が付与された 他のコーパスとしては，日常的な対話を収集した DailyDialog [9] などが存在する. また，深層学習モ


図 1: 対話行為の体系 (Inform、Question、Directive は DailyDialog で提案されたもの)

表 1: 対話行為の分布（太字は各対話行為について 人間とシステムのどちらが多いかを示している)

デルによって対話行為を分類することを目指した研究も存在する $[10,11,12]$.

## 3 対話行為データセットの構築

雑談対話システムの評価指標の考案のため，人間 とシステムの各発話に対話行為が付与された対話 コーパスを構築する.このコーパスを対話行為デー タセットと呼ぶ.

## 3.1 対話行為の体系

本論文では， 10 種類の対話行為で構成される体系 を提案する (図 1). 能動的な発言は、DailyDialog [9] で提案された対話行為をもとに分類した。

## 3.2 応答生成モデル

対話システムによる発話の対話行為を収集する ために，T5 [13] の日本語版3)を Fine-tuning したシス
テムを用いてシステム発話を得る. Fine-tuning に用 いるデータセットは Twitter から Twitter API を用い て収集したツイートリプライ対で，800,000 ペアで ある。

## 3.3 対話行為のアノテーション

3.1 節に示した対話行為の体系に基づき，クラ ウドソーシングでアノテーションを行う.アノテー ションの対象は，ある発話に対する人間の応答とシ ステムの応答それぞれ 6,820 文である. 発話と人間 による応答は Twitter から TwitterAPI を用いて収集 したマルチターン対話で，システムによる応答は 3.2 節の応答生成モデルから得たものである. 対話 をクラウドワーカに見せ，最後の発話に関して，当 てはまる対話行為を全て選択してもらう.1つの発話につき 5 人に尋ね， 2 票以上かつ最多の票を集め た対話行為を採用する. 複数の対話行為が採用対象 になった場合，それらの中からランダムに 1 つ選択 する. 収集したデータセットの分布を表 1 に示す. 人間の方が多様に対話行為を使い分けていることがわ かる.

## 3.4 対話行為の遷移

対話においては，ある対話行為の後には特定の対話行為が現れやすいといった傾向が存在すると考え られる。その傾向における人間とシステムの違いを 見るため，構築したデータセットにおいて対話行為 の遷移を分析する。遷移を示したヒートマップを図 2 に示す. ヒートマップの各行は，その行名の対話行為の後にどの対話行為が来るかの条件つき確率分布を, 事前確率分布で補正した值 $\frac{P\left(a_{t+1} \mid a_{t}\right)}{P\left(a_{t+1}\right)}$ を表して いる. $a_{t}$ は対話における $\mathrm{t}$ 番目の発話の対話行為を 表す。事前確率分布による補正をすることで，それ 以外の状況と比較したときに，特定の状況下で，あ る対話行為が現れやすいことを表現した値となる。 ヒートマップから，人間はシステムに比べて，対話相手の対話行為を踏まえてどんな対話行為を返すべ きかを決定しているという傾向がわかる。

## 4 対話行為分布を利用した雑談対話 システムの評価

3 節の対話行為データセットの分析を踏まえて,雑談対話システムを評価するための 2 つの指標を提案する.

3) Hugging Face Hub: sonoisa/t5-base-japanese

(a) 人間の発話の対話行為遷移

(b) システムの発話の対話行為遷移

図 2: 対話行為遷移を示したヒートマップ

表 2: 人手付与された対話行為に基づく評価指標に よる評価結果と Distinct（太字はそれぞれの比較対象についてスコアが最大のものを示している）

## 4.1 エントロピー (DAE)

3.3 節による分析から，人間は対話の中で，さま ざまな対話行為を使い分けていることがわかる. そ のため，対話システムの評価指標としてシステム発話の対話行為の多様性が利用できると考えられる。分布の多様性は，エントロピー4)で計算される.

## 4.2 相互情報量 (DAMI)

3.4 節の分析から人間は，相手の発言の内容に応 じて対話行為を使い分けていることがわかる. この ことは，直前の発話の対話行為が対象発話の対話行為の決定に与える相互情報量 ${ }^{5}$ を用いて定量的に表現することができる.

## 5 評価指標の検証

対話行為を付与する方法として人手付与と対話行為分類モデルによる自動付与の 2 つがあり，それぞ れにおける評価指標の妥当性を検証する。

4）定義は付録に示す。

5）定義は付録に示す.

## 5.1 人手付与による評価

## 5.1.1 実験設定

本実験では，対話行為を 3.3 節と同様に，クラウ ドソーシングで収集する．評価指標算出のためのシ ステム発話は 6,000 文であり，3.3 節でシステム発話を得た Twitter上のマルチターン対話 6,820 文の うち，6,000 文の応答として得たものである. 対話 システムの構築は事前学習モデルである T5）[13], $\mathrm{mT5}^{7)}$ [14] を Fine-tuning して行う. Fine-tuning に用 いるデータセットは，3.2 節で用いたものと同じツ イートリプライ対である. 日本語 $\mathrm{T} 5$ は単一のモデ ルサイズしか公開されていないため，学習データ 量をシステムの性能とみなし，提案指標の比較を 行う.データセット全量を用いたシステムに加え て，8,000 ペア, 80,000 ペア, 400,000 ペアを使用して Fine-tuning したシステムも構築する. なお，データ セット全量を用いたシステムとはすなわち，3.2 節 のシステムである. mT5 については，モデルパラ メータの多さをシステムの性能とみなす。また，入力をそのまま返すおうむ返しシステムと人間による 発話についても提案指標を算出する.

## 5.1 .2 実験結果

実験結果を表 2 に示す. T5 について，Fine-tuning に用いたデータ量が多いシステムの方が高いスコア を得た。また， $\mathrm{mT5}$ について，パラメータ数が多い base モデルの方が高いスコアを得た. これらの結果 から，提案指標は妥当なものであると言える. さら に，人間はどちらの指標においても最も高いスコア

6) Hugging Face Hub: sonoisa/t5-base-japanese

7) Hugging Face Hub: google/mt5-small, mt5-base

図 3: バッチサイズに対する比較結果の変化

表 3: 自動付与された対話行為に基づく対話 システムの評価結果

を得た．Distinct はおうむ返しだけを返すシステム に対しても高いスコアを与えたが，提案指標の値は 0 である.

## 評価に一貫性はあるか

評価指標においては，異なるテストコーパスを用 いても一貫した結果であることが重要であるため,検証を行う. 比較したい 2 つのシステムについて， クラウドソーシングで収集した 6,000 発話からバッ チサイズ分の発話をサンプリングし，エントロピー を計算する、サンプリングを繰り返し，エントロ ピーの大小が一貫しているかを確認する. サンプリ ング時には, 同一の発話に対応する 2 つのシステム の発話をサンプリングすることに注意する．比較は 以下の 3 ペアに関して行う.
- mT5-base vs mT5-small
- T5-800k vs T5-400k
- human vs T5-800k

バッチサイズを $500,1000,1500,2000$ と変更させる. サンプリングの繰り返し回数は 20,000 回とする. 実験結果を図 3 に示す. 2,000 文のテストコーパスを 用いれば，一貫した結果が得られることがわかる.

## 5.2 自動付与による評価

発話の対話行為の分類モデルを構築し，5.1 節と 同様の実験を行う.

## 5.2.1 実験設定

モデルの構築は事前学習モデル $\mathrm{BERT}^{8}$ を Finetuning して行う. 学習コーパスは対話行為データ セットで，人間の発話とシステムの発話の両方を用 いる. 表 1 から，学習データ数は対話行為ごとに偏 りがある．データ数の偏りは学習に悪影響であると 考えられるため，各対話行為のデータ数を，最多の 対話行為である「意見」に合わせるアップサンプリ ングを行う。学習用と検証用にデータセットを $4: 1$ に分割し，検証用のデータセットに対してクロスエ ントロピーロスが最小であったエポックを採用す る. テストコーパスは Twitter 上のマルチターン対話を各対話システムに入力して得た応答で，学習に 用いたデータセットとは異なる 3,880 文である.

## 5.2.2 実験結果

自動付与した対話行為を利用して評価指標を計算 した結果を表 3 に示す. $\mathrm{T} 5$ と人間については妥当 な結果が得られているのに対し， mT5 は正しく評価できなかったことがわかる。これは学習データの 発話が $\mathrm{T} 5$ と人間によるものであることが原因と考 えられる. 自動付与による評価を実用化するために は，分類モデルの改善が必要である.

## 6 おわりに

本論文では，雑談対話システムのふるまい全体を 評価することのできる指標を提案した. 提案指標 は，システム発話の対話行為の分布から算出される エントロピーと相互情報量であり，データセットの 分析によって得た人間とシステムの発話の特徵に基 づくものである. 様々な対話システムを対象に提案指標を算出する実験によって，提案指標がシステム の良さを反映した妥当な指標であることがわかっ た. 提案指標は応答の対話行為だけを見ており，内容の質を見ていない. 応答がその対話行為の応答と して質が高いかを評価する手法を確立し，統合する ことが今後の課題である.

8) HuggingFace Hub: cl-tohoku/bert-base-japanese-whole-wordmasking

## 謝辞

本研究は 2022 年度国立情報学研究所 CRIS 委託研究の助成を受けて実施した。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Tianyu Zhao, Divesh Lala, and Tatsuya Kawahara. Designing precise and robust dialogue response evaluators. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 26-33, Online, July 2020. Association for Computational Linguistics.

[5] Sarik Ghazarian, Johnny Wei, Aram Galstyan, and Nanyun Peng. Better automatic evaluation of open-domain dialogue systems with contextualized embeddings. In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 82-89, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor, Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational Linguistics, Vol. 26, No. 3, pp. 339-374, 2000.

[7] Sarah E. Finch and Jinho D. Choi. Towards unified dialogue system evaluation: A comprehensive analysis of current evaluation protocols. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 236-245, 1st virtual meeting, July 2020. Association for Computational Linguistics.
[8] Shaojie Jiang and Maarten de Rijke. Why are sequenceto-sequence models so dull? understanding the lowdiversity problem of chatbots. In Proceedings of the 2018 EMNLP Workshop SCAI: The 2nd International Workshop on Search-Oriented Conversational AI, pp. 81-86, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[9] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[10] Ji Young Lee and Franck Dernoncourt. Sequential shorttext classification with recurrent and convolutional neural networks. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 515-520, San Diego, California, June 2016. Association for Computational Linguistics.

[11] Hamed Khanpour, Nishitha Guntakandla, and Rodney Nielsen. Dialogue act classification in domainindependent conversations using a deep recurrent neural network. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2012-2021, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[12] Vipul Raheja and Joel Tetreault. Dialogue Act Classification with Context-Aware Self-Attention. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3727-3733, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020 .

[14] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.
表 4: 意見の分布

## A 意見の細分化

表 1 から，人間とシステムどちらにおいても，「意見」の発話が多いことがわかる.そこで，「意見」を 細分化して，さらなる特徴の違いを見る。「意見」を，「意見の対象」と，「意見の属性」によって 6 種類に 分類する. 分類の詳細を表 4 に示す.アノテーション の対象は 3.3 節の収集で「意見」の対話行為が付与 されたものである.マルチターンの対話をクラウド ワーカに見せ，最後の発話に関して，6種類の選択肢から1つを選択してもらう. 1 つの発話に関して 5 人に尋ね，2 票以上かつ最多の票を集めた対話行為 を採用する. 複数の対話行為が採用対象になった場合，ランダムに 1 つの対話行為を選択する. 収集し たデータセットの分布を表 4 に示す.システムは対話相手に対するポジティブな意見を多く生成するこ とがわかる.これはシステムからは同意の発話が多 いことを示している.また，システムが対話相手以外に対する意見を生成することは少ないことがわか る.これは，対話相手以外に対する意見を生成する には，直前の発話に含まれないが対話相手との間で 共有している知識や，世界知識が必要であるためと 考えられる. 意見という 1 つの対話行為を詳細に見 ても，人間の方が対話行為に多様性があることがわ かる.

## B 対話行為遷移の例

図 2a に示したヒートマップにおける，頻出の遷移の会話例を以下に示す.

(1) 質問 $\rightarrow$ 質問

a.なんか小さい頃公園で飲んだ水道みたいな味し ました

b.鉄の味するってやつすか (質問)

c.カルキなんですかね.ネバっとする感じの (質問)

お互いがわからないことについて話している状況表 5: 対話行為分類モデルの性能

(2) 提案 $\rightarrow$ 提案

a. 音声録音して送ってくれ

b.土日飯行くならその時にでも (提案)

c.土曜は無理だから日曜なら (提案)

お互いに提案を繰り返し，約束を決めているような 状況

（3）命令・お願い $\rightarrow$ 命令・お願い

a. 久しぶりのお休みだから娘達にご飯行こうっ て誘ってもフラれてしまった私。. あちこち生誕隼備買いにいこ

b. たまにはご馳走して (命令・お願い)

c.じゃあ今すぐ日本橋に来てください (命令・お

願い)

お願いされたことについて交換条件を提示している ような状況

## C 評価指標の数学的定義

DAE は以下で定義される。

$
D A E=-\sum p\left(a_{u}\right) \log p\left(a_{u}\right)
$

DAMI は以下で定義される.

$H\left(a_{u_{t+1}} \mid a_{u_{t}}\right)=-\sum p\left(a_{u_{t}}\right) \sum p\left(a_{u_{t+1}} \mid a_{u_{t}}\right) \log p\left(a_{u_{t+1}} \mid a_{u_{t}}\right)$

$
D A M I=H\left(a_{u_{t+1}}\right)-H\left(a_{u_{t+1}} \mid a_{u_{t}}\right)
$

## D 対話行為分類モデルの性能

5.2.1 節で構築した対話行為分類モデルの性能を 表 5 に示す.
 榮田亮真 井手竜也 村田栄樹 河原大輔 早稲田大学理工学術院 \{s.ryoma6317@akane., t-ide@toki. , eiki.1650-2951@toki. , dkw@\}waseda.jp  