# 多様な話者との自動対話に基づく雑談システムの自動評価

佐藤志貴 ${ }^{*, 1}$ 岸波洋介 ${ }^{*}, 1$ 杉山弘晃 ${ }^{2}$ 赤間怜奈 1,3 徳久良子 ${ }^{1}$ 鈴木潤 1,3
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 3 理化学研究所
shiki.sato.d1@tohoku.ac.jp yosuke.kishinami.q8@dc.tohoku.ac.jp

## 概要

雑談対話応答生成システムの評価方法として，シ ステムの実際の対話を収集し性能評価を行う手法が 注目されている。本研究では，評価対象システムと 多様なシステムの対話を自動収集することで，対話相手の多様性を考慮しつつも人手を介さない自動評価の枠組みを提案する. 評価実験では，提案手法が システム性能の自動比較に有用であることを示す。

## 1 はじめに

雑談対話応答生成システム (以下，雑談システム) の自動評価は，人手評価に比べ低コストであり再現性が高いことから，日々のシステム改良の効果を検証する場合に有用である．とくに近年，評価対象シ ステムと対話相手の間の発話交換により形成される 実際の対話の質に基づいたシステム評価の自動化が 注目されている [1,2]. 機械翻訳や自動要約などの 他の生成タスクと異なり，対話ではシステムの運用時にユーザとのインタラクティブな発話交換が求め られる．そのため，用意した入力に対する応答をも とにシステムを評価するのではなく，対話相手がい る状態でシステムを評価することが重要となる.

実際の対話の質に基づくシステム評価手法は (i)評価対象システムの対話の収集と (ii) 収集した対話 に基づくシステム評価の二段階からなり, 先行研究 でも (i), (ii) の自動化が試みられている。(i) の自動化手法として，評価対象システムに自分自身と対話 させる方法（以下，自己対話）が一般的である [1,2]. (ii) の自動化手法として，英語対話の評価で人手評価との強い相関が報告されている FED (fine-grained evaluation of dialog) などが挙げられる [3]. FED は，対話中の評価対象システムの発話に対する応答と してポジティブ，ネガティブ応答のどちらが妥当か を，用意した大規模雑談システムに推測させること で評価対象システムを評価する。
* 両者の貢献は同等である. (i) bot-to-bot対話の収集 $\Rightarrow$ (ii) システム評価

図 1: 提案する bot-to-bot 対話評価の概要.

ここで (i)の自動化について，自己対話による対話収集は対話相手となるシステム（以下，話者シ ミュレータ）を用意するコストがかからないという 利点がある一方，対話相手の違いに対する応答の質 の頑健性など，デプロイ後にシステムが直面する対話相手の多様性を考慮した評価ができない.

本研究では，多様な話者との自動対話に基づく雑談システム自動評価の枠組み，bot-to-bot 対話評価を 提案する。(i) の自動化では，多様な話者シミュレー タと評価対象システムの間の自動対話（bot-to-bot 対話）を収集することで，対話相手の多様性を考慮す る.(ii) の自動化では，英語対話の評価で人手評価 との相関が報告されている FED を用いる．実験で は，まず FEDにより人手評価結果が付与された日本語対話を評価し，人手評価との相関を確認する. そのうえで雑談システムを実際に評価することで，提案手法により対話相手の多様性を考慮した高精度 なシステム評価が可能であることを示す.

## 2 提案手法

本研究で提案する bot-to-bot 対話評価の枠組みは, (i) 評価対象システムの対話の収集と (ii) 収集した対話に基づくシステム評価の二段階からなる.

(i) 対話収集 最初に評価対象システムが参加する 対話を自動収集する。このとき，多様な相手と対話 することで，限られた相手と対話するよりも網羅的 に評価対象システムの挙動が表出すると考えられ る. 本手法では，評価用に用意した $n$ 個の多様な話
者シミュレータそれぞれと $m$ 回対話させることで， $n \times m$ 個の対話を自動収集する.

(ii) システム評価 収集した対話をもとに任意の 観点 $v$ について評価対象システムの性能を評価す る. 具体的には，各対話での評価対象システムの発話 $l$ 個を $v$ について評価したときの評価値の平均を $v$ における各対話の評価値とする。 さらに， $\mathrm{nm}$ 個の 対話の $v$ における評価値の平均値を最終的な評価対象システムの $v$ における評価値とする. システム発話の評価には FEDを用いる．FED は，評価対象シ ステムの発話に対する応答として $v$ に関するポジ ティブ，ネガティブ答のどちらが言語モデル的に 妥当かを推測することで，vについてシステム発話 を評価する. 各ポジティブ，ネガティブ応答の妥当性は，学習済み大規模雑談システムを用いて自動評価する。文脈 $c$ に対する評価対象システム発話 $r$ の $v$ に関する評価值は，以下のように算出される。

$
\sum_{p \in \mathscr{P}_{v}} w_{p} D(c+r, p ; \theta)-\sum_{n \in \mathcal{N}_{v}} w_{n} D(c+r, n ; \theta)
$

ここで， $\mathscr{P}_{v}, \mathcal{N}_{v}$ はそれぞれvに関するポジティブ， ネガティブ応答の集合, $w$ は各応答の重み, $D(c, \cdot ; \theta)$ は $c$ に対する応答文の生成確率を雑談システム （パラメータ $\theta$ ）により算出する関数である。なお， Mehri らは $w=1$ とする手法を提案した [3] が, 本研究では少量の人手評価スコア付き対話データで $w$ を 学習させ，より高精度な評価を目指す。

## 3 FED による対話評価の精度検証

FEDを用いて人手評価結果が付与されたシステム と人間の対話を評価し， $w$ の学習の効果に注目しな がら評価結果が人手評価と相関するか確かめる.

## 3.1 実験設定

評価する対話データセット Sugiyama らが収集 したシステムと人間の対話 1,459 件を使用した [4].本データセットの各対話には，13 の観点についてシ ステムを 11 段階（0から 10）で人手評価した結果 が付与されている. データセットは学習用データと 評価用データに $8: 2$ で分割した.

評価観点上述したデータセットに人手評価スコ アが付与されている 13 の観点について評価した.

評価に用いる応答文と雑談システム FED 評価に 用いる日本語のポジティブ，ネガティブ応答はクラ ウドソーシングを用いて収集した. 13 観点それぞ れに対して，ポジティブ，ネガティブ応答を 50 個
ずつ収集し重複するものを除いたうえで，人手評価 により各観点との関連性が低いものを除外した.ま た，FEDスコアを算出する大規模雑談システムと して, Sugiyama らの事前学習済みのパラメータ数 1.6B の Transformer [4]を使用した1).

## 3.2 結果

FED による評価結果と人手評価結果の順位相関係数について，各応答の重みを学習しない場合，観点平均は弱い相関が認められるとされる [5] 0.2 をわず かに上回る 0.232 であった2).このことから，重み を学習しない場合，FEDによる対話評価の精度は 高いものとはいえない。一方，重みを学習すること で，順位相関係数の平均は 0.420 と，一定の相関が 認められるとされる [5] 0.4 を上回った. 以上より，重みを学習することで FEDにより一定の精度を持 つ対話自動評価が可能であることがわかった.

## 4 提案手法による評価実験

3 節で FED が対話の自動評価方法として有効であ ることを確認した．そこで，FEDを利用した提案手法による雑談システムの自動評価を実施する.

1 節で述べたように，自動評価の枠組みの主な用途は日々のシステム改良の効果の検証である。その ため，あるシステムと，そのシステムを改良したシ ステムなどの性能差を識別可能であることが望まし い. 本実験では，次の三つの設定において提案手法 がシステムの性能差を識別可能か検証する.

(a)アーキテクチャや学習設定が異なり, 評価対象 システム同士の性能も大きく異なる場合

(b)評価対象システム同士の性能が比較的近く，か つ平均的に性能が低い場合

(c)評価対象システム同士の性能が比較的近く, か つ平均的に性能が高い場合

## 4.1 実験設定

用意した雑談システム 評価対象もしくは話者シ ミュレータとして, 合計 31 個の雑談システムを用意した。 内訳は，杉山ら [4]，藤原ら [6]，岸波ら [7] が構築した Transformer 雑談システムがそれぞれ 25 個, 2 個， 1 個と, これらと比べて明らかに性能が劣 ることを想定した LSTM 雑談システム 3 個である.以下，各システムは「製作者代表を示す記号 -アー


2） 観点ごとの順位相関係数は付録 A に示す.

キテクチャ名-システムパラメータ数-学習データ3)

とその数」の形式で示す.

各雑談システムの割当 全システムを評価対象 と話者シミュレータに分けた. 設定 (a)ではアー キテクチャや学習データが異なる 4 個のシステム $s$-Tfm-1.6B-m300K, $f$-Tfm-480M-t300M+, $k$-Tfm-220Mt250M, $k$-LSTM-110M-t100M を評価対象とした. 設定 (b) では 3 個の LSTM システム $k$-LSTM-\{5M, 30M $\}$-t10M, $k$-LSTM-110M-t100M を評価対象とした。設定 (c)では 4 個の Transformer システム $s$-Tfm- $\{0.3 \mathrm{~B}$, 0.7B, 1.1B, 1.6B $\}$-f50K を評価対象とした. 各設定で 評価対象以外は話者シミュレータとした。

Bot-to-bot 対話収集の設定 評価対象システム,話者シミュレータの各組み合わせで 500 対話を収集 した. 会話冒頭の発話として, Sugiyama らによって 公開されている JEmpatheticDialogues [4] の各対話の 最初の 2 発話を使用した. 評価対象システムが第一話者となる形式で各対話 5 ターンを収集した. 対話評価は 3 節と同様に 13 の観点について行った.

検証方法 観点ごとに，評価値に基づき作成した 比較対象システムのランキングの妥当性を確認する ことで，提案手法の有効性を検証する。

## 4.2 結果

各設定での比較実験において，提案手法による自動評価結果をもとに作成した評価対象システムのラ ンキングを図 2 に示す.

設定 (a) 評価対象システムは，アーキテクチャ，学習設定の差から, $s$-Tfm-1.6B-m300K, $f$-Tfm-480M$\mathrm{t} 300 \mathrm{M}+, k$-Tfm-220M-t250M, $k$-LSTM-110M-t100M の 順に性能が高いと考えられる. 図 2 から, 自動評価結果に基づくランキングは， 1 観点を除き事前の 予想に従うものとなった. したがって提案手法は， アーキテクチャや学習設定が大きく異なるシステム の性能差を識別可能であることが確認できた.

設定 (b) 評価対象システムは，モデルパラメー 夕数, 学習データ数の差から, $k$-LSTM-110M-t100M, $k$-LSTM-30M-t10M, $k$-LSTM-5M-t10M の順に性能が 高いと考えられる. 図 2 から, 自動評価結果に基づ くランキングは， 3 観点を除き事前の予想に従うも のとなった. したがって提案手法は, 比較的性能が

3）学習データの e は JEmpatheticDialogues，f は趣味雑談コー パス, $\mathrm{p}$ は JPersonaChat [4], $\mathrm{m}$ は e, $\mathrm{f}, \mathrm{p}$ の混合コーパス, $\mathrm{t}$ は Twitterのリプライチェーンを示す. Sugiyama らのシステムに おいて学習データが $\mathrm{t}$ 以外のシステムは， $s$-Tfm- $\{0.3 \mathrm{~B}, 0.7 \mathrm{~B}$, 1.1B, 1.6B \}-t2.1B を追加学習したものである.

(a) アーキテクチャや学習設定が異なるシステムの比較.

(b) LSTM の比較.

(c) Transformer の比較.

図 2: 評価対象システムのランキング.

低いとされるシステムの性能差を識別可能であるこ とが確認できた.

設定 (c) 評価対象システムは，モデルパラメー 夕数の差から, $s$-Tfm-1.6B-f50K, $s$-Tfm-1.1B-f50K, $s$ Tfm-0.7B-f50K, s-Tfm-0.3B-f50K の順に性能が高いこ とが予想できる. しかし図 2 から，自動評価結果に 基づくランキングは事前の予想とは異なっていた. このことから提案手法は, 近年の高性能システムの 性能差の識別には評価の解像度において改善の余地 があることがわかった.

## 5 議論: 提案手法の特長と課題

## 5.1 対話相手の多様化の重要性

提案手法の特徴は，多様な話者シミュレータを 用意することで，対話相手の多様性を考慮した評価を行う点である． 4 節の実験では，多様な対話相手を用意する重要性を示唆する例が確認されて いた. 表 1 に， $s$-Tfm-1.6B-m300K の評価時に収集 した対話の例を示す. 高性能な $s$-Tfm-1.6B-p50K が 対話相手であった同表 I の対話では，両話者が適切な発話の生成に成功している。一方で 低性能な $k$-LSTM-5M-t10M が対話相手であった同表 II の対話 では，対話相手が過去発話の繰り返しなど，低品質 な応答を生成している. このような低品質な応答の 直後に, 評価対象システムもつられるように不自
表 1: 評価対象システム（話者 A）が $s$-Tfm-1.6B-m300K である場合の対話例. I. 対話相手（話者 B）は $s$-Tfm-1.6B-p50K

然な発話を生成している（表太字部分）。本例から，評価対象システムは対話相手の高品質な応答には適切な発話を生成できるが，低品質な応答には不適切 な発話を生成する可能性があることがわかった.

運用時では，操作ミスをするユーザやシステムに 非協力的なユーザとの対話なども想定されるため,低品質な発話に対し適切な応答を生成する能力もシ ステムにとって必要となる. そのため, 対話 Iだけ でなく対話 II のような状況におけるシステム発話を 評価することも重要となる。

## 5.2 観点ごとの評価に関する今後の課題

3 節では，FEDにより各観点について人手評価と 一定の相関を持つ自動評価が可能であることを確認 した. 一方で，観点 $v$ の FED による評価結果が，v 以外の観点の人手評価と強く相関する場合があるこ とがわかった. たとえば，観点 Naturalness について FED により算出した自動評価スコアは, Naturalness の人手評価スコアと順位相関係数 0.463 の相関を持 つ（付録 A）が，同時に観点 Trust の人手評価スコア と順位相関係数 0.493 の相関を持つ.このことから， FEDを用いた自動評価は現状，各観点を隔てる細か い違いの評価まではできていないと考えられる。

評価における各観点の違いの理解は，とくに設定 (c) など評価対象の性能が高い場合に重要となると 考えられる．たとえば，低性能システムが生成しう る対話破綻をもたらす発話4) は，多数の観点で低く 評価されることが予想される。 そのため低性能シス テムの自動評価では, 各観点で着目すべき点が違う ことを考慮できなくとも，各観点に対する人手評


価との相関は高くなりやすい。一方で，設定 (c)で 評価対象システムとなっているような Transformer ベースの大規模システムは，文脈に沿った自然な応答が生成可能であることが知られている。これらの システムの観点ごとの性能比較では，各システムが 自然な応答を生成するなかで，観点ごとに挙動の違 いを的確に見出し優劣を判定する必要がある.

各観点を隔てる細かい違いを理解した高精度な自動対話評価を実現し，設定 (c)などの高難度なシス テム比較を自動化することが今後の課題の一つであ る. 自動対話評価手法の改良案として，FED 評価に 用いるポジティブ・ネガティブ文の増強や，各文の 重みの学習方法の改良を検討している。

## 6 おわりに

本研究では，評価対象システムと多様なシステム の対話を自動収集することで，対話相手の多様性を 考慮しつつも人手を一切介さない bot-to-bot 対話評価の枠組みを提案した。評価実験では，評価対象シ ステムが高性能な場合において課題が残るものの,評価対象システム同士のアーキテクチャや学習デー タが異なる場合や，評価対象システム性能が低性能 である場合，提案手法によりシステムの性能差を自動で識別できることがわかった．また，本手法の特徵である対話相手の多様化により, 網羅的な評価対象システムの挙動を考慮した評価が可能であること を確認した．今回は提案手法が評価対象システムを 予想される順位に並び替えられるかにより評価の有効性を検証したが，今後は各観点で評価対象システ ムを人手評価し得られるシステムのランキングとの 一致をもとに評価の有効性を検証する予定である.

## 謝辞

本研究の一部は JSPS 科研費 JP19H04162, JP19H05693，JP21J22383 の助成を受けたものです.

## 参考文献

[1] Asma Ghandeharioun, Judy Hanwen Shen, Natasha Jaques, Craig Ferguson, Noah Jones, Agata Lapedriza, and Rosalind Picard. Approximating Interactive Human Evaluation with Self-Play for Open-Domain Dialog Systems. In Proceedings of the 2019 Conference on Neural Information Processing Systems (NeurIPS), 2019.

[2] Jan Deriu and Mark Cieliebak. Towards a Metric for Automated Conversational Dialogue System Evaluation and Improvement. In Proceedings of the 12th International Conference on Natural Language Generation (INLG), pp. 432-437, 2019.

[3] Shikib Mehri and Maxine Eskenazi. Unsupervised Evaluation of Interactive Dialog with DialoGPT. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 225235, 2020.

[4] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems. arXiv:2109.05217, 2021.

[5] Haldun Akoglu. User's guide to correlation coefficients. Turkish journal of emergency medicine, Vol. 18, No. 3 , pp. 91-93, 2018.

[6] 藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮, 宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎. ILYS aoba bot: 大規模ニューラル応答生成モデルとルールベースを統合した雑談対話システム. 第 90 回 言語・音声理解と 対話処理研究会, pp. 110-115, 2020.

[7] 岸波洋介, 赤間怜奈, 佐藤志貴, 鈴木潤, 徳久良子, 乾健太郎. 対話システムの先読み能力実現に向けた未来の 展開まで生成する学習戦略の提案と分析. 2021 年度人工知能学会全国大会, 2021.

## A FEDによる評価結果と人手評価結果の順位相関係数

3 節において算出した FEDによる評価結果と人手評価結果の順位相関係数について，観点ごとに算出した 結果を表 2 に示す. 同表から，各応答文の重みを学習しない場合は観点によって人手評価との相関にばらつ きがあり，相関が全く認められないものも存在する。一方，重みを学習することでどの観点も人手評価との 順位相関係数が 0.4 前後まで向上した.

表 2: 人手評価結果との順位相関係数.

## B 評価実験の詳細

表 3 に，4節の評価実験で用いた雑談システムの一覧を示す．システム名は「製作者代表を示す記号 - アー キテクチャ名-システムパラメータ数-学習データ5)とその数」の形式となっている.

また，算出した各システムの FED による評価値を表 4 に示す.

表 3: 使用した雑談システムの一覧.

表 4: 各設定におけるシステムの評価値.

設定 (a)

設定 (c)

5） 学習データの e は JEmpatheticDialogues, $\mathrm{f}$ は趣味雑談コーパス, $\mathrm{p}$ は JPersonaChat [4], $\mathrm{m}$ は e, f, $\mathrm{p}$ の混合コーパス, $\mathrm{t}$ は Twitter のリ プライチェーンを示す.
 佐藤志貴 ${ }^{*, 1}$ 岸波洋介 ${ }^{*}, 1$ 杉山弘晃 ${ }^{2}$ 赤間怜奈 1,3 徳久良子 ${ }^{1}$ 鈴木潤 1,3 1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 3 理化学研究所 shiki.sato.d1@tohoku.ac.jp yosuke.kishinami.q8@dc.tohoku.ac.jp  