# フォローアップ発話を用いた日本語対話の自動評価

川本 稔己 ${ }^{1,2}$ 岡野 裕紀 $^{1}$ 山崎 天 ${ }^{2}$ 佐藤 敏紀 ${ }^{2}$ 船越 孝太郎 ${ }^{1}$ 奥村 学 $^{1}$
1 東京工業大学 ${ }^{2}$ LINE 株式会社
\{kawamoto, okano, funakoshi, oku\}@lr.pi.titech.ac.jp
\{takato.yamazaki, toshinori.sato\}@linecorp.com

## 概要

対話の人手評価には時間とコストがかかるため,人手評価と自動評価の相関を向上し自動評価の信頼性を高めていくことは重要である. 本稿では,フォ ローアップ発話が生成される尤度を利用して対話を 評価する FED と FULLという自動評価指標に着目 し検証と改善を行う. 日本語対話データを利用した 実験の結果, FED と FULL は人手評価との相関があ まり見られなかったが, 我々の改善した手法の相関係数は 0.58 で最も高い値となった. また, 我々の改善した手法を用い, 対話データから対話システムの 順位を予測した結果, 高い相関を示し, 特にオープン ドメインの対話は正解の順位と完全に一致した.

## 1 はじめに

近年の事前学習済み言語モデルによる性能向上に 伴い, 年々優れた対話システム $[1,2,3,4]$ が発表され ているが, 対話システムの優劣を評価するためには 最終的に人手評価を行うことが一般的である [5]. し かし, 人手評価には時間とコストがかかるため, 開発段階では自動評価を利用して評価できれば効率的で ある. 本研究では, 対話の人手評価と相関があり信頼性の高い自動評価指標を提案することを目指す.

対話の自動評価指標には正解の応答が必要な指標 と不要な指標がある. 正解の応答が必要な指標とし ては BLEU [6], FBD [7] 等が挙げられ, 正解の応答が 不要な指標としては Perplexity や USR [8] 等が挙げ られる. 正解の応答が必要な指標は, 多様な応答が許容される対話の性質上適切に評価ができなかった り, 正解の応答を作成するための時間とコストがか かるという問題がある. よって本稿では, 正解の応答 が不要な指標の 1 つであり, 人手評価との相関が高 いことが報告されている [5], FED [9] と, FEDを発展 させた FULL [10] に着目する. FED と FULL が日本語対話に利用できるか検証し, 先行研究から考えら
れる問題点（3 節参照）を改善することを試みる. 実験の結果, 我々の改善した手法は先行研究より人手評価との相関が高いことを確認した. さらに, 対話 データから対話システムの順位を予測したところ， オープンドメインの対話とシチュエーションに特化 した対話それぞれで高い相関を示し, 特に,オープン ドメインの対話は正解の順位と完全に一致した.

## 2 先行研究

本節では, 対話の自動評価指標である FED と, FED を発展させた FULL について説明する. FED は, 対話履歴が与えられたときに, それに続くフォローアッ プ発話の対数尤度を測ることによって評価を行う指標である. FED の評価項目とフォローアップ発話の 例を図 1 に示す. 評価項目は大きく分けてターンレ ベルと対話レベルの 2 種類があり, ターンレベルで は, 対話において評価したい話者の発話の後にフォ ローアップ発話を付与し対数尤度を算出する。一方，対話レベルでは, 対話の最後にフォローアップ発話 を付与し対数尤度を算出する. 各レベルごとに評価項目は複数あり, ターンレベルでは 8 個, 対話レベル では 10 個, 計 18 個の評価項目が使われている. 各評価項目には, 平均 4.05 個のフォローアップ発話が 設定されており,フォローアップ発話は, ポジティ ブとネガティブの 2 種類に分けられる. 図 1 に示す ように, フォローアップ発話の例として, Interesting の項目に当てはまるポジティブの発話は”Wow that is really interesting., といった, 前の発話が面白い場合 に尤度が上がる発話を利用し, ネガティブの発話 は”That's really boring."といった, 前の発話が面白く ない場合に尤度が上がる発話が利用されている. 対数尤度の計算には, 公開されている DialoGPT [11] を使用している. 追加でデータの準備やモデルの 訓練をする必要がないため,他の対話自動評価指標 $[12,13]$ と比べて比較的手軽に評価を行うことが できる. また, Tianbo ら [5] が行った自動評価と人手

図 1 FED の評価項目と各項目に設定されているフォ ローアップ発話の例. フォローアップ発話のうち, ポジ ティブを青色, ネガティブを赤色で示している. ネガティ ブ発話しか表示されていない評価項目はポジティブ発話 が定義されていないことを示す.

評価の相関を測る実験で FED と人手評価の相関が 0.59 と報告されており, 彼らの論文中で使われた自動評価指標の中では最も高い相関を得ている.

FULL は FED を発展させた指標であり, FED との 差分としては, (1) FEDでは対話履歴とフォローアッ プ発話を含めた対数尤度を算出していたが, 対話履歴が与えられた場合のフォローアップ発話の条件付き対数尤度に変更したこと, (2) 各評価項目を撤廃し, 5 つのフォローアップ発話のみに限定したこ と, (3) 複数の言語モデルで比較を行い, DialoGPT か ら BlenderBot [14] に変更したことである. FED デー タセットで人手評価との相関係数を計った結果, state-of-the-art となる 0.69 が報告されている.

## 3 先行研究の問題点と調査

本節では, FED・FULL から考えられる問題点と,問題点を改善するための手法を説明する. 2 節で述 べたように FED は, 18 個の評価項目を用いている が, Semantically Appropriate, Understandable, Fluent の 3 つの項目のポジティブのフォローアップ発話は全く同じ発話が使用されている.それ以外にもフォ ローアップ発話が同一である評価項目が存在し, 全 ての評価項目が独立した項目として測れているか疑 わしい. そのため, 我々は対話評価を行う際に, 18 項目全てを用いるよりも，一部の評価項目を用いたほ うが優れているのではないかと仮説を立てた. 具体的には, 検証データで最も高かった評価項目の組み 合わせのみを選択し, その組み合わせを使ってテス トデータで相関係数の評価を行った.

一方, FULL で限定された 5 個のフォローアップ発話は, FED データセットで相関が高かった発話が選 ばれており, 別のデータセットでも適切なフォロー アップ発話なのか不明であるため, FULL で 5 発話に 限定しない手法も比較する. さらに, 限定された 5 発話は全てネガティブのフォローアップ発話なので， ポジティブの発話のみや, ネガティブの発話のみを 使って評価を行う. それ以外にも, GPT [15]のような 基盤モデル [16] を用いて対数尤度を算出するため， フォローアップのテキストが発話である必要はない 可能性があり, 評価項目名をそのままフォローアッ プとした手法の評価も行う。

## 4 実験

## 4.1 実験設定

本実験では, 対話ごとにつけられた人手評価と各手法によって得られる自動評価の相関係数を比較 することで自動評価指標を評価する。評価データ には, 対話システムライブコンペティション 3 [17] (以降, 対話コンペ 3)で行われた予選のデータ1)を 使用する. 対話コンペ 3 にはオープントラックとシ チュエーショントラックの 2 種類のトラックがあ り,オープントラックではオープンドメインの対話, シチュエーショントラックではシチュエーション に沿った対話が行われている. どちらのトラックも ワーカとシステムがチャットベースで対話を行って おり, 人手評価は対話を行ったワーカが行う. オープ ントラックの評価指標は以下の 3 つでそれぞれ 5 段階で評価している.

・自然性：対話が自然かどうか

・話題追随：システムはユーザが選択した話題に 関して適切に応答できたかどうか

・話題提供：システムはユーザが選択した話題に

1) https://dialog-system-live-competition.github.io/ dslc3/data.html
表 1 対話コンペ 3データセットのサイズ.

関して新たな情報を提供できたかどうか

これら 3 指標の平均点を各対話における人手評価の スコアとした. シチュエーショントラックの評価指標は以下の 1 項目で, 同様に 5 段階で評価している.

・どれくらいシチュエーションに適しており、か つ、人らしい会話か

データセットのサイズを表 1 に示す. 対話コンペ 3 に参加した一部のチームのデータは公開されておら ず, 公開されているデータのみを実験の対象とした.

尤度を計算するための言語モデルは日本語で学習された $\mathrm{GPT}^{2}$ を利用した. フォローアップ発話は FED・FULL のフォローアップ発話を第一著者が人手で日本語に翻訳した. 対話ごとの人手評価と自動評価の相関は Spearman の順位相関係数と Pearson の 相関係数を利用し算出する. 2 分割交差検証を行い 2 つの相関係数の平均を最終的な結果とする。

## 4.2 手法

実験では以下の手法を比較する。

FED FEDを日本語に適応した手法.

FULL FULLを日本語に適応した手法.

FED-Cond FED に 2 節で説明した FULL との差分, (1) 条件付き対数尤度を適用した手法.

FED-Cond-Pos FED-Cond のポジティブのフォ ローアップ発話のみを用いた手法.

FED-Cond-Neg FED-Cond のネガティブのフォ ローアップ発話のみを用いた手法.

FED-Cond-Tag FED-Cond のフォローアップとし て, 発話の代わりに評価項目名を用いた手法.

FED-Selected FED の評価項目から検証データで 選ばれた項目のみを用いた手法.

FED-Cond-Selected FED-Cond の評価項目から 検証データで選ばれた項目のみを用いた手法.

## 4.3 実験結果

実験結果を表 2 に示す. 先行研究である FED と FULL の相関係数は,オープントラックではマイナ

2) https://huggingface.co/rinna/japanese-gpt-1b表 2 実験結果. Spear. は Spearman の順位相関係数, Pear. は Pearson の相関係数を示す

スで相関がないこと,シチュエーショントラックで は, Spearman の順位相関係数が 0.27 と多少の相関は あることがわかったが, 英語対話の評価結果とは大 きく乘離があることを確認した. 先行研究をそのま ま日本語対話の評価に適用することは難しいことが わかった。

FEDを条件付き対数尤度に変更した FED-Cond は， FED より高い相関を得ていることから, 2 節で説明 した FULL との差分である, (1) の条件付き対数尤度 は効果的であることを示しており, FULL より高い 相関を得ていることから, (2) の 5 発話に絞ることは 日本語対話の評価に悪影響を与えていることを示し ている. FED-Cond-Pos と FED-Cond-Neg を比較する と,オープントラックにおいては, ポジティブのフォ ローアップ発話のほうが効果的であるが, シチュ エーショントラックにおいては, ネガティブのフォ ローアップ発話のほうが効果的であった. 効果的な 発話が 2 つのトラックで異なったのは, シチュエー ショントラックの設定が”先輩からの「同窓会の幹事の依頼」を断りたい状況”であるため, システムの 発話がネガティブに当てはまる場合が多かったこと が理由として考えられる. その上で, FED-Cond の方 が高い相関係数を得ていることから, ポジティブと ネガティブどちらの発話も使ったほうが効果がある と考えられる. FED-Cond-Tag は, どちらのトラック でも相関は見られず, 基盤モデルで実験を行う場合 も評価項目名をフォローアップとして与えるより，評価項目の意図を反映するような発話を用いたほう が良いことがわかる. その上で, 検証データを用いて 評価項目を選ぶ FED-Cond-Selected は他の手法と比較してどちらのトラックでも最も高い相関係数を得 た. よって, 18 個の評価項目から一部の項目を使用 することで相関係数が向上することを確認した.
表 3 オープントラックのランキング結果. 結果は”チー ム名 (スコア)" で表記する. 赤が正しく順位を予測できた チーム, 青が誤って順位を予測したチームを示す.

## 4.4 ランキング

本稿で提案した手法 FED-Cond-Selected は最も高 い相関があることを確認したが, 今回使用したデー タセットである対話コンペ 3 予選の本来の目的は, チームのランキングを決めることである. よって, 対話それぞれの自動評価スコアをチームごとに平均す ることでチームのランキングを試みる.

ランキング結果とその Spearman の順位相関係数 を, オープントラックは表 3 に, シチュエーショント ラックは表 4 に示す. チーム名はわかりやすさのた めに順位の高い方からアルファベット順で表記し た. オープントラックで, FED・FULLが正しく順位 を予測したのはそれぞれ 1,2チームだけであったが, FED-Cond-Selected は正解の順位と完全に一致した.一方で, シチュエーショントラックでは, どの手法も 正しく順位を予測したのは数チームであり, 相関係数は FULL が最も高かったが, FED-Cond-Selected も 0.77 と高い相関を示した。

## 4.5 考察

実験結果から, オープントラックで行われたオー プンドメイン対話に関しては比較的高い相関が見ら れ, ランキングが正解と一致したことから, 本稿で提案した手法は対話の自動評価を行える可能性がある ことを示唆している. 一方, シチュエーショントラッ クに関してはオープントラックと比べて相関係数が 低く,ランキングが一致するチーム数も少なかった. これは, シチュエーショントラックの指標である”ど れくらいシチュエーションに適しており、かつ、人 らしい会話か” の前半部分であるシチュエーション に適しているかを今回使用したフォローアップ発話 では測れなかった可能性があり,シチュエーション に特化した評価項目とそのフォローアップ発話を新 たに作成することで対応できる可能性がある.

また, FED-Cond-Selected において, 2 分割交差検証 で最も高い相関係数を得た評価項目の組み合わせ は,オープントラックでは Specific, Relevant, Fluent の 3 項目と Interesting, Specific, Correct, Fluent $の 4$ 項目, シチュエーショントラックでは Interesting, Engaging, Specific, Fluent, Depth $の 5$ 項目と Specific, Relevant, Semantically Appropriate, Depth, Understand $\sigma 5$ 項目 であった. 評価する対話の性質や目的, 状況により必要な項目は変化すると考えられるが, 今回使われた 項目数は最大で 5 項目であることから, 18 項目全て を利用する必要はないことを確認した. 選ばれた評価項目で互いのトラックを評価すると,オープント ラックの組み合わせを使用したシチュエーショント ラックの Spearman の順位相関係数は 0.320 , シチュ エーショントラックの組み合わせを使用したオープ ントラックの Spearman の順位相関係数は 0.529 とな り,性能の劣化はあまり見られなかった.

## 5 おわりに

本稿では, 対話の自動評価指標である FED・FULL が日本語対話の評価に利用できるか検証した結果，人手評価とはほとんど相関がないことを確認した が, 一方で 18 個の評価項目からいくつかの項目だけ を選んで利用することで相関係数が向上することを 示した. その上で, 選んだ項目のみを用いる手法でシ ステムの順位を予測したところ, オープンドメイン の対話とシチュエーションに特化した対話のどちら も高い相関を示した. 今後の展望としては, 今回提案した手法をさらに発展させて, 使用するフォロー アップ発話を対話ごとに動的に選んで自動評価を行 う枠組みを構築したい. また, 今回選ばれた評価項目 を他の対話データに適用したときに, 同様の結果を 得られるか検証を行っていきたい。

## 参考文献

[1] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, et al. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage. arXiv preprint arXiv:2208.03188, 2022.

[3] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[4] Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. Lamda: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022.

[5] Tianbo Ji, Yvette Graham, Gareth Jones, Chenyang Lyu, and Qun Liu. Achieving reliable human assessment of open-domain dialogue systems. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6416-6437, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[7] Jiannan Xiang, Yahui Liu, Deng Cai, Huayang Li, Defu Lian, and Lemao Liu. Assessing dialogue systems with distribution distances. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2192-2198, Online, August 2021. Association for Computational Linguistics.

[8] Shikib Mehri and Maxine Eskenazi. USR: An unsupervised and reference free evaluation metric for dialog generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 681-707, Online, July 2020. Association for Computational Linguistics.

[9] Shikib Mehri and Maxine Eskenazi. Unsupervised evaluation of interactive dialog with DialoGPT. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 225-235, 1st virtual meeting, July 2020. Association for Computational Linguistics.

[10] Maxime De Bruyn, Ehsan Lotfi, Jeska Buhmann, and Walter Daelemans. Open-domain dialog evaluation using follow-ups likelihood. In Proceedings of the 29th
International Conference on Computational Linguistics, pp. 496-504, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[11] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pretraining for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, Online, July 2020. Association for Computational Linguistics.

[12] Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, and Jie Zhou. Conversations are not flat: Modeling the dynamic information flow across dialogue utterances. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 128-138, Online, August 2021. Association for Computational Linguistics.

[13] Chen Zhang, Yiming Chen, Luis Fernando D'Haro, Yan Zhang, Thomas Friedrichs, Grandee Lee, and Haizhou Li. DynaEval: Unifying turn and dialogue level evaluation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5676-5689, Online, August 2021. Association for Computational Linguistics.

[14] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[15] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[16] Rishi Bommasani, Drew A Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021.

[17]東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 角森唯子, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博, 小室允人, ドルサテヨルス. 対話システムライブコンペ ティション 3. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 90, p. 23, 2020.
 川本 稔己 ${ }^{1,2}$ 岡野 裕紀 $^{1}$ 山崎 天 ${ }^{2}$ 佐藤 敏紀 ${ }^{2}$ 船越 孝太郎 ${ }^{1}$ 奥村 学 $^{1}$ 1 東京工業大学 ${ }^{2}$ LINE 株式会社 \{kawamoto, okano, funakoshi, oku\}@lr.pi.titech.ac.jp \{takato.yamazaki, toshinori.sato\}@linecorp.com  