# マルチエージェント強化学習に基づく 共同作業を自律的に行う対話システムの最適化

市川拓茉 東中竜一郎
名古屋大学大学院情報学研究科
\{ichikawa.takuma.w0@s.mail, higashinaka@i\}.nagoya-u.ac.jp

## 概要

対話で行われる複雑な共同作業では，各エージェントが自律的に行動することが望まれる.しかし，従来手法では，エージェントは相手の発話に応答するようにモデル化されており，自律性に限界がある. 本研究では，複雑な共同作業を自律的に行う対話エージェントの実現を目指し，マルチエージェン卜強化学習を用いた対話システムの学習手法を提案する。具体的には，相手の反応が得られなくても自律的に発話するための工夫として skip トークンを導入し，2体のエージェントに説得対話を実施させる. そして，相手が発話しない状況であっても，説得に最適な発話を行うように各エージェントを強化学習によって更新する。実験の結果，自然性や自律性に課題は残るものの, マルチエージェント強化学習によって，エージェントが自律的に説得的な発話が可能なことを確認した.

## 1 はじめに

近年，対話システムの普及に伴い $[1,2]$ ，より高度な対話システムの実現を目指して，人間と協調的にタスクを遂行する対話システムの研究が盛んである $[3,4,5]$. 対話で行われる複雑な共同作業では，各エージェントが自律的に行動することが望まれる。 しかし, 従来手法では, エージェントは相手の発話に応答するようにモデル化されており，自律性に限界がある $[6,7,8]$.

本研究では，複雑な共同作業を自律的に行う対話エージェントの実現を目指し，マルチエージェント強化学習を用いた対話システムの学習手法を提案する. 具体的には，相手の反応が得られなくても自律的に発話するための工夫として skip トークンを導入し， 2 体のエージェントに共同作業対話を実施させる. ここで，共同作業として，協調的に対話を行

図 1: 提案手法によって得られる対話例. 相手が発話しなくても（skipをしても）説得的な発話が可能.

うように再設計された説得対話を扱う．対話を実施させたのち，相手が発話しない状況であっても説得に最適な発話を行うように，各エージェントを強化学習によって更新する. 図 1 に提案手法により得られた対話例を示す. 実験の結果，自然性や自律性に課題は残るものの，マルチエージェント強化学習によって，エージェントが自律的に説得的な発話が可能なことを確認した。

## 2 関連研究

本研究は，共同作業における対話システムの研究と関連している. オンラインゲームである Minecraft において共同して建物を作成するシステム $[5,7]$ やユーザと一緒に物語・詩等を作成するシステム $[9,8]$等, 数多くの研究が存在する. しかし, これらの研究では，エージェントは相手の発話に応答するようにモデル化されており $[10,11]$, 自律的に発話することができない. 本研究では，行動しないことを示す skip トークンを導入し，自律的に発話を行うように各エージェントをマルチエージェント強化学習によって最適化する.

本研究は, 説得対話における強化学習の研究と関

図 2: マルチエージェント強化学習の流れ. 事前に定められた数の学習サンプルを生成したのち，対話に対する評価をもとに報酬を計算し，PPO アルゴリズムに基づいてエージェントを更新する。

連している. Shi ら [12] は，生成された発話について，予測された対話戦略をもとに報酬を与えて強化学習を行う手法を提案した. Samad ら [13] は, 発話に対する対話戦略および感情ラベルをもとに報酬を計算し，強化学習を行う手法を提案した.これらの研究は，タスク達成（説得の結果，被説得者が購入・寄付等を行うこと）の向上のために強化学習を用いているが，いずれも発話単位でのアノテーションをもとに報酬を計算している. 本研究は，対話全体に対する評価をもとに各発話の報酬を計算しており，アノテーションが不要という特徴がある.

## 3 提案手法

本研究では，複雑な共同作業を自律的に行う対話エージェントの実現を目指し，skip トークンの導入およびマルチエージェント強化学習を用いた学習手法を提案する.ここでは, skip トークンおよびマルチエージェント強化学習について述べる.

## 3.1 skip トークンの導入

従来手法では，エージェントは相手の発話に応答するようにモデル化されているため，相手の発話に依存した行動をとる必要があり, 自律性に限界がある. そこで，相手の反応が得られなくても自律的に発話するための工夫として，行動しないことを示す skip トークンを導入する。具体的には，ターン $t$ におけるエージェント $A_{i}$ の発話 $u_{t}^{i}$ を一文からなる発話文もしくは skip トークンと定義する。これにより，ターン制対話においても相手の発話が得られない状況を表現できる. 本手法では，模倣学習および強化学習によって, 各エージェントが相手の反応に依らずに行動できるよう最適化する.

## 3.2 マルチエージェント強化学習

skip トークンの導入により, エージェントは相手の反応が得られなくても発話できる. しかし, 模倣学習のみでは, エージェントは対話履歴の次に続く可能性が高い発話を行うだけであり，説得に最適な発話を行うためには必ずしも十分でない. そこで，本研究では，相手が発話しないような状況であっても，エージェントが説得に最適な発話を行うようにマルチエージェント強化学習による最適化を行う.図 2 に本研究で提案するマルチエージェント強化学習の流れを示す. 以降，具体的な流れを説明する。

## 3.2.1 学習サンプルの生成

2 体のエージェント $A_{i}$ および $A_{j}$ が交互に発話を行い，対話 $D=\left.\{u_{1}^{i}, u_{2}^{j}, u_{3}^{i}, u_{4}^{j}, \ldots, u_{T-1}^{i}, u_{T}^{j}\right.\}$ を得る. ここで， $u_{t}^{i}$ はターン $t$ における $A_{i}$ の発話であり,$T$ は対話の最大ターン数である. 各エージェントは言語モデル $p_{\theta_{i}}^{i}$ および $p_{\theta_{j}}^{j}$ で構成される。 $p_{\theta}$ は対話履歴 $C_{t-1}=\left.\{u_{1}^{i}, u_{2}^{j}, u_{3}^{i}, u_{4}^{j}, \ldots, u_{t-2}^{i}, u_{t-1}^{j}\right.\}$ を入力として次発話 $u_{t}$ を生成する。ここで， $u_{t}$ は一文からなる発話文もしくは skip トークンである。なお， $\theta$ は最尤推定によって模倣学習したものを使用する.

## 3.2.2 発話の評価

生成されたサンプル $\left(C_{t-1}, u_{t}\right)$ に対するスコア $r_{t}$ は自然性 $r_{1}$, 沉長性 $r_{2}$, タスク達成 $r_{3}$ の線形和として計算される.

エージェントが相手の発話に対して自然に応答できるように自然性を報酬に加える。自然性は次発話予測モデルによって判断され，与えられた対話履歴 $C_{t-1}$ に対して次発話 $u_{t}$ が自然である場合は $r_{1}=1$,自然でない場合は $r_{1}=-1$ のスコアが与えられる.
相手が発話しない状況でエージェントが同じ発話を繰り返さないように，壳長性のペナルティを報酬に加える. 冗長性は $C_{t-1}$ および $u_{t}$ をもとに, 単語の n-gram の重複に基づいて以下の式で定義される.

$
\operatorname{Rep}\left(C_{t-1}, u_{t}^{i}\right)=\max _{u_{\tau}^{i} \in C_{t-1}}\left(\frac{\operatorname{Ngram}\left(u_{\tau}^{i}\right) \cap \operatorname{Ngram}\left(u_{t}^{i}\right)}{\operatorname{Ngram}\left(u_{t}^{i}\right)}\right)
$

ここで, $\operatorname{Ngram}(u)$ は $u$ の n-gram の集合である.上記をもとに， $r_{2}$ は以下の式で計算される.

$
r_{2}=1-2 \operatorname{Rep}\left(C_{t-1}, u_{t}\right) \quad\left(-1 \leq r_{2} \leq 1\right)
$

複雑な共同作業を対象にした強化学習では, 重要な行動（説得対話では，他のユーザが寄付したかどうかの情報提供等）を知るために対話行為を定義しアノテーションを行うことがあるが，このようなアノテーションには専門性が必要でありコストが大きい. そのため, 共同作業全体の評価は可能であっても，個々の発話に対する評価が困難であることが多い，そこで，本研究では，対話に対する評価をもとに発話単位のスコアを計算する. タスク達成は対話分類モデルにより判断され, タスク達成の場合は $\hat{r_{3}}=1$, そうでない場合は $\hat{r_{3}}=-1$ のスコアが基準として与えられる. 発話単位のスコアは以下の式で定義される寄与率に基づいて計算される.

$
w_{t}^{i}=\operatorname{Prob}(D)-\operatorname{Prob}\left(D \backslash\left.\{u_{t}^{i}, u_{t+1}^{j}\right.\}\right)
$

ここで, $\operatorname{Prob}(D)$ は発話の集合である対話 $D$ を対話分類モデルによって分類した際の予測確率である. また， $r_{3}$ は以下の式で計算される.

$
r_{3}=\frac{w_{t}}{\max _{\tau \leq T}\left(\left|w_{\tau}\right|\right)} \hat{r}_{3} \quad\left(-1 \leq r_{3} \leq 1\right)
$

なお，スコアの安定化のため, 各対話における寄与率の絶対値の最大值で割ることで正規化する.

評価終了後, 学習サンプル $\left(C_{t-1}, u_{t}, r_{t}\right)$ を得る. ここで， $r_{t}$ は以下の式で定義される.

$
r_{t}=\alpha_{1} r_{1}+\alpha_{2} r_{2}+\alpha_{3} r_{3}
$

## 3.2.3 PPO による最適化

事前に定められた数（ホライゾンと呼ぶ）の学習サンプルを得たのち, 各エージェントを強化学習によって更新する. 強化学習アルゴリズムとしては,方策ベースの手法であり学習の安定性も高いという理由から, Proximal Policy Optimization (PPO) [14] を用いた. エージェントごとに得られた学習サンプルを使用し, 事前に決められたエポック数だけ PPO アルゴリズムに基づいて更新を行う．以上を 1 回の学習ループとし, 定められた回数だけ繰り返す。

## 4 実験

## 4.1 データセット

本研究では，説得対話のデータセットである PersuasionForGood [15] を用いて提案手法の有効性を検証した. PersuasionForGood は慈善団体への寄付を説得する説得者と被説得者との対話コーパスであり, 1,017 対話, 20,932 発話が含まれる.

PersuasionForGood で扱われている説得対話では，説得者が被説得者に寄付をするよう説得を行う. 本研究では, PersuasionForGoodを用いた一般的な研究と異なり $[12,13]$, 説得者と被説得者が互いの意図を持ちつつも協調的に対話を行うタスクとして再設計した. 具体的には，被説得者が寄付をすることを説得者，被説得者双方のタスク達成条件とした.

本研究では，相手の反応が得られなくても自律的に発話するための工夫として skip トークンを導入し，データセットを拡張している。 そのため, 複数文からなる発話は一文ごとに分解し, 話者が連続する箇所に skip トークンを挿入した.

## 4.2 実験設定

マルチエージェント強化学習において, 発話の評価に用いる次発話予測モデルおよび対話分類モデルには RoBERTa [16] を使用した. RoBERTa はテキストの分類タスク等に使用されるエンコーダモデルである。事前学習済みモデル1)を PersuasionForGood でそれぞれファインチューニングした. 学習時の各種ハイパーパラメータとしては，バッチサイズは 64, Optimizer は AdamW, 学習率は 2e-05 に設定した. 損失関数には Cross Entropy Loss を使用した。

エージェントには，言語モデルとして GPT-J [17] を使用した. GPT-J は大規模言語モデルである GPT-3 [18] のクローンとして開発・公開されているテキスト生成モデルである。事前学習済みモデル2) を skip トークンにより拡張された PersuasionForGood で模倣学習および強化学習した. 模倣学習時の各種ハイパーパラメータとしては，バッチサイズは 64 , Optimizer は AdamW，学習率は 2e-05 に設定した。損失関数には Cross Entropy Loss を使用した。

強化学習時の発話生成には Nucleus Sampling を使用し, 最大発話長は 36 , temperature は 1.0 , top-p は

図 3: 強化学習における報酬とタスク達成のスコアの推移. 実線は 3 回の試行の平均を表す.

1.0 とした. また，対話のターン数は 54 とした. 冗長性の算出には 1-gram を使用し，報酬計算時の重みはタスク達成（被説得者が寄付をすること）の向上を重視して $\left(\alpha_{1}, \alpha_{2}, \alpha_{3}\right)=(0.25,0.25,0.50)$ とした. PPO の各種ハイパーパラメータとしては, ホライゾンは 256 , エポック数は 4 , 学習ループの回数は 48 ,学習率は 1e-06 設定した. 公正な評価を行うため，異なる 3 種類のランダムシードで実験を行い，3 回の試行で報酬が最も高いモデルを評価に用いた。

## 4.3 学習結果

図 3 に強化学習における報酬とタスク達成のスコアの推移を示す. 説得者, 被説得者ともに, 学習が進むにつれて報酬が増加し, 最終的に高い值で収束した. このことから, 本手法によって個々のエー ジェントの報酬を同時に最大化できることが確認できた. タスク達成では，学習の初めは值が 0 付近に集まっており，模倣学習のみのモデルではタスク達成が不安定であることがわかる. 一方, 学習が進むにつれて值が大きくなり，最終的に高い值で収束した. このことから, マルチエージェント強化学習によって, エージェントが自律的に説得的な発話が可能なことを確認した。

## 4.4 人手評価

人手による評価を行うために，クラウドソーシングを用いた主観評価を実施した。具体的には，以下の2つのモデル，1）MLE：skipトークンにより拡張された PersuasionForGood で模倣学習したモデル，2） MARL：提案手法を用いて学習したモデル，が生成表 1: 生成された対話に対する主観評価結果（選ばれた割合)。太字は各項目における最高スコアを示す.

した対話について人手による主観評価を実施した。 2 つのパターンについてそれぞれ 20 種類の対話を生成し, MLE と MARL の対話のペアを計 120 ペア作成した，クラウドソーシング3)を用いて，計 40 人の作業者が評価を行った. 作業者は MLE と MARL の 2 つの対話を比較し，対話の自然性，話者の自律性，対話の説得性に関する質問それぞれについて， どちらの対話がより当てはまるか評価した.

表 1 に評価の結果（それぞれの対話が選ばれた割合）を示す. 説得性については MARL の方が值が大きいことから，マルチエージェント強化学習によって，エージェントが説得に最適な発話を行うことができることが確認できた。一方，自然性と自律性については MLE の方が值が大きいことから，本手法によって自然性や自律性を完全に担保できるわけではないことも分かった. 特に自然性については，強化学習時に報酬が増加したものの，報酬計算時に直前の発話のみを使用したことで長期的な自然性を考慮できなかったと考えられる。より適切な報酬設定は今後の課題である.

## 5 おわりに

本研究では，複雑な共同作業を自律的に行う対話エージェントの実現を目指し，skip トークンの導入およびマルチエージェント強化学習を用いた対話システムの学習手法を提案した. PersuasionForGoodで扱われる説得対話を対象にマルチエージェント強化学習を行った結果, 本手法によって個々のエージェントの報酬を同時に最大化できることを確認した。 また，実験の結果，自然性や自律性に課題は残るものの, マルチエージェント強化学習によってエー ジェントが自律的に説得に最適な発話が可能なことを確認した。

本研究では，話者の双方に役割がある共同作業に着目したが，今後は双方が等しい立場で行うような，より創造的な共同作業（キャッチコピーの作成 [19], Minecraft での建物の作成 [20] 等）に本手法を拡張したい.

3) https://www.mturk.com/

## 謝辞

本研究は科研費「モジュール連動に基づく対話システム基盤技術の構築」(課題番号 19H05692) の支援を受けた. また，本研究は名古屋大学のスーパーコンピュータ「不老」の一般利用を利用して実施した.

## 参考文献

[1] 東中竜一郎, 稲葉通将, 水上雅博. Python でつくる対話システム. オーム社, 2020.

[2] 中野幹生, 駒谷和範, 船越孝太郎, 中野有紀子, 奥村学 （監修）. 対話システム（自然言語処理シリーズ）. コロナ社, 2015.

[3] Charles Rich, Candace L. Sidner, and Neal Lesh. Collagen: Applying Collaborative Discourse Theory to HumanComputer Interaction. Al Magazine, Vol. 22, No. 4, p. 15, 2001.

[4] Raveesh Meena, Gabriel Skantze, and Joakim Gustafson. Data-driven models for timing feedback responses in a Map Task dialogue system. Computer Speech \& Language, Vol. 28, No. 4, pp. 903-922, 2014.

[5] Anjali Narayan-Chen, Prashant Jayannavar, and Julia Hockenmaier. Collaborative Dialogue in Minecraft. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5405-5415, 2019.

[6] Jin-Hwa Kim, Nikita Kitaev, Xinlei Chen, Marcus Rohrbach, Byoung-Tak Zhang, Yuandong Tian, Dhruv Batra, and Devi Parikh. CoDraw: Collaborative Drawing as a Testbed for Grounded Goal-driven Communication. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6495-6513, 2019.

[7] Prashant Jayannavar, Anjali Narayan-Chen, and Julia Hockenmaier. Learning to execute instructions in a Minecraft dialogue. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2589-2602, 2020.

[8] Tuhin Chakrabarty, Vishakh Padmakumar, and He He. Help me write a poem: Instruction Tuning as a Vehicle for Collaborative Poetry Writing. arXiv preprint arXiv:2210.13669, 2022.

[9] Andy Coenen, Luke Davis, Daphne Ippolito, Emily Reif, and Ann Yuan. Wordcraft: a Human-AI Collaborative Editor for Story Writing. arXiv preprint arXiv:2107.07430, 2021.

[10] He He, Anusha Balakrishnan, Mihail Eric, and Percy Liang. Learning Symmetric Collaborative Dialogue Agents with Dynamic Knowledge Graph Embeddings. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1766-1776, 2017.

[11] Daniel Fried, Justin Chiu, and Dan Klein. ReferenceCentric Models for Grounded Collaborative Dialogue. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2130-
2147, 2021.

[12] Weiyan Shi, Yu Li, Saurav Sahay, and Zhou Yu. Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 34783492, 2021.

[13] Azlaan Mustafa Samad, Kshitij Mishra, Mauajama Firdaus, and Asif Ekbal. Empathetic Persuasion: Reinforcing Empathy and Persuasiveness in Dialogue Systems. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 844-856, 2022.

[14] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal Policy Optimization Algorithms. arXiv preprint arXiv:1707.06347, 2017.

[15] Xuewei Wang, Weiyan Shi, Richard Kim, Yoojung Oh, Sijia Yang, Jingwen Zhang, and Zhou Yu. Persuasion for Good: Towards a Personalized Persuasive Dialogue System for Social Good. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5635-5649, 2019.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[17] Ben Wang and Aran Komatsuzaki. GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model. https: //github.com/kingoflolz/mesh-transformer-jax, 2021.

[18] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Proceedings of the 34th Conference on Neural Information Processing Systems, pp. 1877-1901, 2020.

[19] 周旭琳, 市川拓茉, 東中竜一郎. キャッチコピー 共同作成タスクにおける対話の収集と分析.人工知能学会全国大会論文集第 36 回全国大会, pp. 2A6GS603-2A6GS603, 2022.

[20] 市川拓茉, 東中竜一郎. Minecraft での人間同士の共同作業における対話の分析. 言語処理学会第 28 回年次大会発表論文集, pp. 568-572, 2022.


# 魅力的な対話応答生成のための複数教師による知識蒸留

Ritvik Choudhary 河原大輔
早稲田大学理工学術院
\{ritvik@fuji.,dkw@\}waseda.jp

## 概要

オープンドメイン対話応答生成は、未だに人間の精度には及ばないタスクの一つである。近年の生成モデルの発展にもかかわらず、モデルは知識を活用することができず、一般的で無味乾燥な応答が多くみられる。先行研究では、感情や知識ベースなどの外部文脈をモデルに付加することでこの問題に対処している。本論文では、対話応答生成にモデルのパラメータ内知識を利用した新たなアプローチを提案する。魅力的な対話応答を生成するための 2 つの能力を定義し、それぞれを持つ複数の教師モデルを構築する。教師モデルから関連する知識を蒸留することによって、より魅力的な対話応答生成が可能な生徒モデルを学習する。学習された生徒モデルの自動及び人手評価を行った結果、提案手法の有効性を確認した。

## 1 はじめに

人工知能が日常生活に普及するにつれ、単純な受け答えを超えた魅力的な対話ができる対話システムの実現が期待されている。オープンドメイン対話応答生成タスクは、そのような対話を生み出す可能性を秘めており、これまでにも多くの研究がなされている $[1,2]$ 。特に最近では、数千億パラメータに及ぶ超大規模言語モデル (LLM) の登場により、大きな進展がある [3]。しかし、LLM はサイズが大きく、 アクセスも制限されているため、さらなる学習やスケーラビリティに問題がある [4]。

そのため、本論文ではより広く使われている中規模モデル [5] に焦点を当てるが、これらのモデルは生成された応答において魅力的でないという問題がある [6]。根本的な原因の一つは、学習中にモデルが関連する知識を持たないことにあり、その結果、無味乾燥な応答が多くなってしまうことになる。

この問題に対処するため、先行研究ではペルソナ情報の追加 [7]、外部知識ベースの利用 [8]、また情報検索の応用 [9] が検討されている。これらの先行研究の多くは、生成モデルに知識を補うことで応答の品質を高めることに焦点を当てている。一方、モデルのパラメータ内知識を直接活用する手法の一つとして知識蒸留 [10] があり、対話生成にも適用されている [11]が多くない。本研究は、上記の対話応答生成の問題を解決するために、知識蒸留に基づく新たなアプローチを試みる。人間の学び方に倣い、魅力的な対話応答生成というタスクに必要な能力を複数の教師モデルに分割し、各教師のパラメータに保持されている関連知識を蒸留しながら、生徒モデルに応答生成を学習させることを目指す。

魅力的な対話応答を生成するには、以下の 2 つの能力が必要であると考える。(1) 会話能力 (conversational ability, 対話応答の発話に対する関連性)、(2) 情報提供能力 (informativeness, または知識性)。まず、それぞれの能力に対応する 2 つの教師モデルを学習する。次に、2つの教師モデルから知識蒸留を行い、応答生成のタスクにおいて生徒モデルを学習する。このアプローチにより、生徒モデルは、より魅力的な対話応答生成に必要な複数の能力を効果的に学習することができる。オープンドメインの対話データセットを用いた実験の結果、様々なベースラインを上回り、提案手法の有効性が示された。

## 2 関連研究

知識に基づく応答生成モデル自然言語生成において、知識に基づく seq2seq モデルの分野では様々な研究が行われている。近年の研究ではペルソナや共感情報を考慮する手法 [12] や、より適切で魅力的な応答を生成するために、知識に基づくオープンドメイン対話生成 [8]を発展させた手法もある。また、外部の知識ベースを照会し、応答を生成するように情報検索とテキスト生成を統合したアプローチもある [13]。外部知識べースを取り込むことを意図した

Expert distillation loss $L_{\mathrm{Ex}}$

Dialogue task-specific loss $L_{\mathrm{NLL}}$

図 1 提案手法の概要

既存の研究 [8] とは異なり、本研究はモデルのパラメータ内に蓄積された知識を利用することに焦点を置く。この点に関する先行研究には、言語モデルの内部知識の更新に注目しているもの [14] はあるが、提案手法は対話応答生成のタスクに内部知識を利用することを目的としている。

知識蒸留と対話応答生成知識蒸留 (Knowledge Distillation, KD) [10] は、当初コンピュータビジョンの分野で提案されたが [15]、最近では様々な言語処理タスクで利用されている [16]。しかし、対話応答生成における知識蒸留の利用は比較的少ない。近年では、知識蒸留を用いたデータ拡張 [11] の他、対話生成のためにカリキュラム学習と KDを組み合わせるアプローチ [17] が提案されている。本研究は、このアプローチ [17] と同様の分野ではあるが、より魅力的で情報量の多い応答を生成するために、複数の専門教師の学習と蒸留に焦点を当てている点が異なる。

## 3 提案手法

本節では、オープンドメインの対話応答生成において、複数の教師モデルから効果的に知識蒸留を行い、生徒モデルの生成結果の魅力度を向上させるための手法について述べる。まず、対話応答生成タスクを定式化し、次に提案手法を述べる。

## 3.1 対話応答生成

対話応答生成のタスクは、入力発話 $\mathbf{u}$ が与えられたときの応答 $\mathbf{r}=\left(r_{1}, r_{2}, \ldots, r_{m}\right)$ を予測する。入力発話 $\mathbf{u}$ が与えられたときに、モデルが確率 $p\left(r_{i} \mid r_{<i}, u ; \theta\right)$ に従って応答 $\mathbf{r}$ を生成できるように、 モデルのパラメータ $\theta$ を学習する。モデルパラメー タは次の損失関数、すなわち負対数尤度 (NLL) を最小化することで学習できる。

$
\mathscr{L}_{\mathrm{NLL}}(\theta)=-\sum_{i} \log p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right)
$

## 3.2 複数教師による知識蒸留を用いた応答生成

本研究では、魅力的な応答生成に必要な 2 つの能力に着目する。会話能力と情報提供能力である。まず、オープンドメインと知識関連の対話データに対して、それぞれ $\operatorname{Ex}(\mathrm{D})$ と $\operatorname{Ex}(\mathrm{K})$ という 2 つのモデルを、3.1 節の NLL loss に従って学習する。これらのモデルは知識蒸留 (KD) を通して、生徒モデルの教師として機能する。図 1 に提案手法の概要を示す。

KD [10] は、ある教師と生徒モデルが与えられたとき、それらの出力確率分布間の Kullback-Leibler (KL) 距離を最小にすることによって、生徒の確率分布を教師に近づける手法である。生徒 $S$ と教師 $T$ の予測分布 ( $\mathbf{r}_{s}$ と $\mathbf{r}_{t}$ とする) に対して、KD は次の距離を最小化する。

$
\mathscr{L}(\mathrm{T})_{K D}=\mathrm{KL}\left(\mathbf{r}_{s} \| \mathbf{r}_{t}\right)
$

複数の教師モデルが存在する場合、生徒には各教師からの得る知識を最適化することが重要になる。 また、知識蒸留の先行研究 [18] では、生徒と教師モデルの出力確率分布の差が大きい場合、生徒モデルの学習に悪影響を及ぼすという、容量ギャップの問題が指摘されている。

そこで、カリキュラム学習やアクティブラーニングにおける生徒中心の学習方法 [19] にならい、学習中に教師モデルの蒸留信号を効果的に調整するための指標として、生徒による応答の難易度を考慮する。先行研究 [19] に従い、本研究では生成された応答に対する生徒モデルのエントロピー $H$ を難易度の指標とみなす。

$
H=-\sum_{i} p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right) \log p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right)
$

難易度を生徒モデルの自信としても考えることもできる。

上記の指標に基づき、バッチ内の応答を簡単なものから難しいものへと並び替え、各教師からの蒸留信号はその順序に従って分割する。例えば、難しい応答の場合、生徒 $S$ は学習しやすい教師の指導を受け、もう一方の教師から、より簡単な応答について指導を受けることになる。よって、教師モデルから蒸留信号の分割を以下のように定式化する。

$
\mathscr{L}_{\mathrm{Ex}}=\gamma \mathscr{L}(\operatorname{Ex}(\mathrm{D}))_{K D}+(1-\gamma) \mathscr{L}(\operatorname{Ex}(\mathrm{K}))_{K D}
$

ここで、 $\gamma$ は教師モデル間のバランスをとるためのパラメータとする。

式 (1)と (4)を組み合わせることで、生徒モデルの対話応答生成タスクで最適化すべき全体の損失関数 $\mathscr{L}$ を以下のように定義する。

$
\mathscr{L}=\mathscr{L}_{\mathrm{NLL}}+\lambda \mathscr{L}_{\mathrm{Ex}}
$

## 4 実験

本研究では、多様なオープンドメインの対話デー タセットを用いて提案手法を評価する。様々なべー スラインモデルの組み合わせと比較し、本研究のアプローチの有効性を確認する。

## 4.1 実験設定

本研究では様々なオープンドメインと知識的対話で fine-tuning された BART ベースの seq2seq モデルを教師と生徒モデルとして採用する。モデルの学習には Adam optimizer を用い、学習率 3e-5 のデフォルトパラメータで学習する。実装には Hugging Face ライブラリを使用する。

## 4.1.1教師モデル

3.2 節で述べたように，会話能力を表す $\operatorname{Ex}(\mathrm{D})$ と、情報提供能力を表す $\operatorname{Ex}(\mathrm{K})$ という 2 つの教師モデ

ルを学習する。Ex(D) はオープンドメインの対話データセットで学習した BART-large モデルであり、 $\operatorname{Ex}(\mathrm{K})$ は情報や知識が多い疑似対話データセットで学習した BART-base ${ }^{1)}$ モデルである。Ex(D) の単純な日常会話に比べ、 $\operatorname{Ex}(\mathrm{K})$ はより情報量の多い（多様な）データセットで学習される。そのため、知識の教師である $\operatorname{Ex}(\mathrm{K})$ は $\operatorname{Ex}(\mathrm{D})$ よりも難しいタスクを学習した教師であると想定される。すなわち、生徒にとって、 $\operatorname{Ex}(\mathrm{K})$ が $\operatorname{Ex}(\mathrm{D})$ よりも学習が困難な教師である。なお、提案手法では学習時、生徒による学習サンプルの難易度に基づいて教師を選択する。したがって、学習の過程では生徒にとって難易度の高いサンプルは、学習しやすい教師 $\operatorname{Ex}(\mathrm{D})$ の信号を受け、その逆も同様である。本研究では、 $\gamma=0.5$ に設定し、教師モデルは均等にバランスされている。

## 4.1.2 データセット

本研究では様々なオープンドメインの対話と知識に基づく対話データセットを用いて、教師と生徒モデルの fine-tuningを行う。

Open-domain dialogue datasets (ODD) 高品質な日常対話データセットとして DailyDialog [20] DailyDialog++ [21]、Cornell Movie-Dialogs Corpus [22] の 3 種類をマージして教師 Ex(D) と生徒モデルの学習に用いる。各モデルの学習サンプル数を 200,000 に固定する。

知識疑似対話データセット知識教師 $\operatorname{Ex}(\mathrm{K})$ の学習では、Wikipediaから抽出した擬似対話データセットである WikiDialog [23]を用いる。さらに、Reddit から抽出した対話データセット [13]を用いて別の教師 $\mathrm{Ex}\left(\mathrm{K}_{R}\right)$ を学習し、比較する。

なお、知識の対話データがより複雑であるため、教師モデルの学習サンプル数を 500,000 に設定する。
(\mathrm{K})$ について比較的安定した学習ができることから選択。
}
表 2 生成された応答の自動評価結果。ODD 4.1 .2 節の Open-Domain Dataset の集合である。

表 3 各評価観点において提案手法の勝率 (\%)

## 4.2 評価

提案手法の有効性を確認するため、ODD テストセットで生成された応答について自動評価と人手評価を行う。なお、教師モデルによって学習条件が異なるため、比較対象は同規模のベースラインに限定する。

ベースライン 4 つの異なるベースラインを学習し、比較する。まず、4.1.2 節で述べた ODD で直接学習したバニラ BART-base モデル (以下「バニラ」) は提案手法の同サイズの生徒モデルと直接比較する。次に、複数教師の効果を確認するため、どちらか一つの教師モデルのみで学習したベースライン (標準的な知識蒸留に相当、以下「Ex(D)-Distill」と 「Ex(K)-Distill」)を比較する。最後に、Wikipedia べー スのモデルを知識教師として使用する効果を測るため、Reddit ベース (4.1.2 節) の教師モデル Ex $\left(\mathrm{K}_{R}\right)$ を学習し、 $\operatorname{Ex}(\mathrm{K})$ と入れ替えた組み合わせ (「Multi $\left.\operatorname{Expert}\left(\mathrm{w} / \operatorname{Ex}\left(\mathrm{K}_{\mathrm{R}}\right)\right)\right.\lrcorner$ 以下、「ME-Ex $\left.\left.\left(\mathrm{K}_{\mathrm{R}}\right)\right.\lrcorner\right)$ を提案手法と比較する。

自動評価生成された応答に対して自動評価を行う。先行研究に従い, BLEU とパープレキシティ (PPL) [24] のスコアを算出する。

人手評価自動評価指標は、生成された対話応答の質とあまり相関がないことが先行研究で報告されている [25]。そこで、ACUTE-Eval の手法 [2] に従い、提案手法とベースラインモデルの応答をぺア
ごとに人手評価を行う。評価は、Amazon Mechanical Turk を介して 2 つの指標で行う。一つは会話能力 (Engagement) であり、その応答をした相手とさらに会話を継続したいかどうかを表す。もう一つは情報提供能力 (Informativeness) であり、その応答が知識に富んでいるかどうかを表す。評価者となるクラウドワーカーには、テストデータから無作為に選んだ 100 個の応答を上記の各指標に基づいて比較するように求める。各応答は 7 人の評価者による多数決で勝敗を決定し、提案手法の勝率を算出した。

## 4.3 結果

評価結果を表 2、表 3 にまとめる。BLEU では提案手法が各ベースラインを上回ることが確認された。さらに、提案手法の PPL も低い值となっている。なお、提案手法の PPL が最小値ではない原因は、生成された応答が多様であるためだと考えられる。しかし、前述したように、n-gram からなる指標は応答の品質を正確に表現していないことが示されている [25]。そのため、生成された応答の人手評価も実施した。人手評価では、提案手法によって全てのベースラインに対して双方の指標が改善した。さらに、単一教師 (通常の KD) のベースラインより提案手法が全体として勝率が高いため、会話能力と情報提供能力の双方がより魅力的な回答を生成する上で重要な役割を果たすことも示された。提案手法とベースラインによる生成応答の例を付録 A に示す。

## 5 おわりに

本論文では、モデルのパラメータに含まれる知識を学習、活用することで、より魅力的な対話応答生成のためのアプローチを提案した。具体的には、2 つの異なるドメインの対話について学習した複数の教師モデルから知識蒸留を行う手法を提案した。これにより、対象となる生徒モデルは両方の教師ドメインから学習することができ、自動評価と人手評価の双方で、より魅力的で情報量の多い対話応答生成ができることが確認された。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受けて行った。

## 参考文献

[1] Apoorv Kulshreshtha, Daniel De Freitas Adiwardana, David Richard So, Gaurav Nemade, Jamie Hall, Noah Fiedel, Quoc V. Le, Romal Thoppilan, Thang Luong, Yifeng Lu, and Zi Yang. Towards a human-like open-domain chatbot. In arXiv. 2020. abs/2001.09977.

[2] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an opendomain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[4] Conglong Li, Minjia Zhang, and Yuxiong He. The stabilityefficiency dilemma: Investigating sequence length warmup for training gpt models. In Advances in Neural Information Processing Systems, 2022.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[6] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Peixiang Zhong, Chen Zhang, Hao Wang, Yong Liu, and Chunyan Miao. Towards persona-based empathetic conversational models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 65566566, Online, November 2020. Association for Computational Linguistics.

[8] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledgepowered conversational agents. In International Conference on Learning Representations, 2019.

[9] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3784-3803, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. In NIPS Deep Learning and Representation Learning Workshop, 2015. abs/1503.02531.

[11] Rongsheng Zhang, Yinhe Zheng, Jianzhi Shao, Xiaoxi Mao, Yadong Xi, and Minlie Huang. Dialogue distillation: Opendomain dialogue augmentation using unpaired data. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3449-3460, Online, November 2020. Association for Computational Linguistics.

[12] Tatsuya Ide and Daisuke Kawahara. Multi-task learning of generation and classification for emotion-aware dialogue response generation. In Proceedings of the $\mathbf{2 0 2 1}$ Conference of the North American Chapter of the Association for Computational Lin- guistics: Student Research Workshop, pp. 119-125, Online, June 2021. Association for Computational Linguistics.

[13] Ritvik Choudhary and Daisuke Kawahara. Grounding in social media: An approach to building a chit-chat dialogue model. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp. 9-15, Hybrid: Seattle, Washington + Online, July 2022. Association for Computational Linguistics.

[14] Daliang Li, Ankit Singh Rawat, Manzil Zaheer, Xin Wang, Michal Lukasik, Andreas Veit, Felix Yu, and Sanjiv Kumar. Large language models with controllable working memory. arXiv preprint arXiv:2211.05110, 2022. abs/2211.05110.

[15] Yuang Liu, Wei Zhang, and Jun Wang. Adaptive multi-teacher multi-level knowledge distillation. Neurocomputing, Vol. 415 pp. 106-113, 2020 .

[16] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. In 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing @ NeurIPS 2019, 2019.

[17] Qingqing Zhu, Xiuying Chen, Pengfei Wu, JunFei Liu, and Dongyan Zhao. Combining curriculum learning and knowledge distillation for dialogue generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 12841295, 2021.

[18] Aref Jafari, Mehdi Rezagholizadeh, Pranav Sharma, and Ali Ghodsi. Annealing knowledge distillation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2493-2504, Online, April 2021. Association for Computational Linguistics.

[19] Burr Settles and Mark Craven. An analysis of active learning strategies for sequence labeling tasks. In proceedings of the 2008 conference on empirical methods in natural language processing, pp. 1070-1079, 2008.

[20] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[21] Ananya B Sai, Akash Kumar Mohankumar, Siddhartha Arora, and Mitesh M Khapra. Improving dialog evaluation with a multireference adversarial dataset and large scale pretraining. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 810-827, 2020

[22] Cristian Danescu-Niculescu-Mizil and Lillian Lee. Chameleons in imagined conversations: A new approach to understanding coordination of linguistic style in dialogs. In Proceedings of the 2nd Workshop on Cognitive Modeling and Computational Linguistics, pp. 76-87, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[23] Zhuyun Dai, Arun Tejasvi Chaganty, Vincent Y Zhao, Aida Amini, Qazi Mamunur Rashid, Mike Green, and Kelvin Guu. Dialog inpainting: Turning documents into dialogs. In International Conference on Machine Learning, pp. 4558-4586. PMLR, 2022.

[24] Gábor Melis, Chris Dyer, and Phil Blunsom. On the state of the art of evaluation in neural language models. In International Conference on Learning Representations, 2018.

[25] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.
表 4 各モデルにおける応答生成の例

発話応答 $\left(\right.$ 提案手法) 応答 $\left(\operatorname{ME}-\operatorname{Ex}\left(\mathrm{K}_{\mathrm{R}}\right)\right) \quad$ 答 $($ バニラベースライン)

Removal Point? What're you It's Removal Point. That's I'm not talking about anything. I'm not talking I'm not talking talking about! where they put the boat. I'm talking

I know why you broke up with I know, but I cannot forgive I don't forgive you. I don't know what you are talkme in college. Can you forgive you. ing about. me?

Shes very striking, don't you No, I don't think so. Its prob- No. I don't know. I don't think so. think? Are these glasses ably just fashion.

a fashion where she comes

from?

## A 対話応答生成結果の例

主なベースラインと提案手法による発話に対する生成応答の例を表 4 に示す。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 自律移動型ロボットにおける 経験由来の情報量からの発話内容選択

吉原 大智 1,2 , 湯口 彰重 ${ }^{2,3}$, 河野誠也 ${ }^{2}$, 飯尾 尊優 4,2 , 吉野 幸一郎 2,3
1 筑波大学 ${ }^{2}$ 理化学研究所 GRP ${ }^{3}$ 奈良先端科学技術大学院大学 ${ }^{4}$ 同志社大学
s2120792@s.tsukuba.ac.jp, tiio@mail.doshisha.ac.jp
\{akishige.yuguchi, seiya.kawano, koichiro.yoshino\} [at] riken.jp

## 概要

ユーザとの共生空間で動作するロボットには、 ユーザから信頼され協調動作をスムーズに実行することが求められる。そのためには、ロボットがどのような外界観測を行いそこから何を記憶しどのような意図を生成したのかを、ユーザが理解できるように表出させることが重要である。外界観測結果や記憶・意図を表出させる有効な手段として、言語を用いたインタラクションがある。長期的なインタラクションを想定したとき、冗長なインタラクションを避けるため纪、何を言語化し伝えるかだけでなく、何を言語化せず伝えないかも重要である。本研究では、経験由来の情報量（エントロピー）をロボットが言語化する内容の選択に用いる。具体的には、 GPT由来の一般言語モデルとロボット自身の経験から学習した言語モデルの 2 種類を利用する。ロボットを使った案内タスクで被験者実験を行った結果、提案法がロボットの内部状態を必要十分に説明できることが示された。

## 1 はじめに

ロボットや人工知能技術の進展に伴い、人間の生活空間で自律的に動作するロボットが実現されようとしている。こうした自律型ロボットが人間の生活空間で動作しょうとする場合、ロボットの状態がどのようなものか、人間のユーザにとって明確である必要がある $[1,2]$ 。例えば、ロボットが何をでき何を記憶しているのかということをユーザが理解できなけ狄ば、ユーザは適切な命令をロボットにできず、協調作業などに支障が出る。言い換えれば、ロボットの内部状態が、ユーザにとって必要なタイミングで理解可能であることが重要である $[3,4]$ 。

しかし、ロボットは人間とは異なる動作原理で動作しており、人間であるユーザがロボットの意図や行動の理由を読み取ることはしばしば難しい $[5,6]$ 。言い換えれば、ユーザにとってロボットの行動予測は困難であり、ユーザにとってはいつ何をどのよう攺ボット要求してよいかわからないというユー ザビリティの問題が生じる。こうした不可視な内部状態の問題は、ロボットが得られる信頼性の問題にも繫がっている $[7,8,9,10]$ 。

この問題を解決する方法のひとつが、外界観測結果・記憶・意図といったロボットの内部状態をユーザに自然言語を用いて対話的に説明することである $[11,12,13,14,15,16,17,18]$ 。この考え方は、 Explainable AI (XAI) の考え方をロボット纪当てはめたもので、ユーザとの協調性を高めるための手法として注目されている $[4,6,13,19,20,21,22] 。$

しかし、ロボットの内部状態は観測結果・記憶・動作計画・バッテリー残量など種類が多く、実際にはどの情報を言語化（発話）し説明することがユー ザとの協調動作に有効かは明らかではない。無分別な言語化・説明はユーザビリティの低下に繋がるため、場面に応じた適切な量・内容の言語化が必要である [22, 23]。つまり、ロボットの内部状態のうち、何を言語化する・しないを決める基準を定め、説明することが重要である。

ロボットの内部状態を説明するとき、何を言語化するか決定する基準に関する研究では、ロボットの安全性に関する情報を重視することや [24]、ロボットのタスク遷移の要点を重視することが提案されている[21]。これらの研究は、主にユーザとロボットの初対面でのインタラクションを想定している。 しかしユーザの生活空間での活動するロボットは、 より長期的な観測・記憶を活用する必要がある場面も多い [25, 26]。また、ロボットの行動パターンがルーティンである場合、その報告は冗長となる一方

図 1 ロボットの内部状態とモジュール

で、行動パターンが何らかの理由でいつもと異なる場合はそれを報告する必要がある。つまり、生成した説明の必要十分性を担保するよう、ユーザの慣れや状況に応じて過不足なく説明を行うという視点が必要である [27]。

本研究では、過去のユーザとの対話をもとに口ボットが発話する対話戦略の下、発話内容をある基準によって削ることは説明の必要十分性の向上に有効なのかを検証する。ここで、この発話内容の選択に用いる基準のことを言語化基準と呼ぶ。この際、過去の記憶・経験と比較した場合の現在の観測の希少さを言語化基準として用いる。具体的には、過去の記憶・経験を利用した確率的言語モデルを構築し、この言語モデルに対する現在の観測事象のエントロピーを計測する「エントロピー基準」を用いる。このエントロピー基準によって説明の必要十分性が向上するか、ロボットを用いた被験者実験で評価・検証する。

## 2 タスク

本研究では、ロボットによる言語化の適切さを測るため、自律型ロボットにおいて案内タスクを設定し実験を行った。自律移動型ロボットはリビングを模した実験室内で案内タスクを行う。案内タスクとは、ユーザ役の実験者がある物体を探しており、ロボットにその物体を探していることを伝え、ロボットがその場所を教えるタスクである。ロボットは自身の観測と記憶からなる内部状態に基づいて物体がある場所を推定し、その物体がある地点まで案内する意図に基づき行動計画と発話計画を生成する。 このとき、ロボットは自身の認識結果と言語化規則 （詳細は付録の表 2）によってあらゆる認識結果を言語化する。この言語化内容のうち、何をユーザに対して発声し、また何を発声しないか決定するというのが本論文で取り組むタスクである。つまり図 1 で示すように、ロボットが持つ多様な観測結果が言語化された結果に対して、発声するかどうかを選択するフィルターを実装する。

## 3 情報量に基づく発話内容選択

本研究では、ロボットが生成した発話が、過去の記憶・経験と比較した場合にどの程度希少かに基づいて発話すべき内容を決定することを考える。このとき、確率的言語モデルにおけるエントロピー、あるいはパープレキシティ（ppl）の考え方を用いる。本章では各言語化候補（発話候補）に対してスコアを付与する方法について述べる。

## 3.1 言語モデルとパープレキシティ

今回用いるロボットは現在の観測や行動に対して言語化を行う規則を有するため、あらゆる内容がテキストとして保存される。このテキスト中に含まれる単語列 $s$ の同時生成確率を $P(s)$ とする。過去の観測結果の集合である $\delta$ から最尤推定、あるいは MAP 推定に基づいてモデルパラメータ $\theta$ を構築する。このパラメータを用いて現在言語化を行うか考慮している文 $s$ に対する尤度 $P(s ; \theta)$ を考える。このとき、この尤度が低いということは過去の観測集合 §からは遠い文、つまり希少性の高い文であるということが言える。逆に、この尤度が高い場合は希少性の低い文であり、ロボットからすると言語化する価値の低い可能性が高い文という仮説が成立する。

この尤度計算には計算機のまるめ誤差の問題から一般に負対数尤度を用いるため、文 $s$ に対する尤度、 つまりエントロピーおよびパープレキシティは以下の式で計算される。負の対数尤度なので数の大小は反転しており、エントロピーあるいはパープレキシティが高い方が希少性の高い文ということになる。

$
\begin{gathered}
H=-\log P(s ; \theta) \\
p p l=2^{H}
\end{gathered}
$

ここで $\theta$ の計算方法について 2 種類を試行する。一つ目は、ロボット自身の過去の経験のテキスト集合 $\delta$ から最尤推定によってパラメータを推定する方法である。もう一つは、Web 上に存在する大量テキストから学習された大規模言語モデル（一般言語モデル）が与えるパラメータを用いる場合である。前
者はロボット自身の経験上の希少性を用いることに相当し、後者は世の中一般の常識における希少性を利用することに相当する。

## 3.2 経験由来パープレキシティ

ロボットが過去に見聞きした内容の集合 $\delta$ に基づいて発声候補のパープレキシティを計算したものを以降では ppl_exp と記載する。ppl_exp は、2022 年 11 月 24 日時点でぶつくさ君の行った外界観測の結果から遡って物体認識 24,278 個、人物認識 917 個、音声認識 650 個、場所認識 385 個を規則に基づいて言語化した 407,535 文から学習した。これらの文を sentencepiece[28] でトークナイズし、fairseq[29] で言語モデル化した。

## 3.3 一般言語モデル由来パープレキシティ

一般言語モデルに基づいて発声候補のパープレキシティを計算したものを以降では ppl_GPT と記載する。一般言語モデル由来のパープレキシティの計算には、rinnna 社が公開している言語モデル rinna/japanese-gpt2-medium[30](以下 1 m_general と呼称) を利用した。経験由来パープレキシティと合わせて、 huggingface[31] により計算を行った。

## 3.4 パープレキシティの闇値

実際に各モデルからパープレキシティを計測したとして、発声する・しないの閾値をどう設定するかという問題がある。この閾值は、経験由来パープレキシティの計算に用いたデータ $\delta$ とは別の開発用データ (2022 年 11 月の物体認識 174,189 個、人物認識: 15,108 個、音声認識:40 個、場所認識:66 個) を利用して計算する。ここから言語化規則に基づいて作成された $1,323,448$ 文に付与可能な ppl_exp と ppl_GPTをそれぞれ計算し、その平均を閾値とした。

## 4 実験

実際に案内タスクでロボットに発話を行わせ、その様子をユーザに見せる被験者実験を行った。本節では比較に用いた条件、評価指標、結果について述べる。

## 4.1 比較条件

情報量基準に基づく発声候補の選択がユーザからの印象にどのような影響を与えるかについて検証する。今回は経験由来と一般言語モデル由来の 2 種類の手法が存在するため、以下の候補を比較条件とした。

・条件 1 : 全ての言語化を発声する

・条件 2: 全ての言語化を発声しない

・条件 3: ppl_exp が低いものを発声しない

・条件 4: ppl_GPT が低いものを発声しない

・条件 5: ppl_exp が高いものを発声しない

・条件 6: ppl_GPT が高いものを発声しない

・条件 7: 条件 3 かつ条件 4 のものを発声しない
- 条件 8 : 条件 3 または条件 4 のものを発声しない

ここで条件 5 は条件 3 の、条件 6 は条件 4 の反転条件である。また、条件 7,8 はそれぞれ条件 3,4 を組み合わせた and/or 条件である。

## 4.2 実験条件・評価指標

評価では、ロボットが実際に案内タスクを行っている様子を記録した動画を収録し、その動画をクラウドワーカーに見せることによって点数をつけてもらった。映像は 34 分程度となっている。なお、映像ではユーザは花瓶を探しているものとした。

評価項目としては、動画視聴の事前事後として以下の項目を付与してもらった。

事前アンケート

・ユーザの年齢・性別

・ロボット否定的態度尺度 (14 項目 5 尺度)[32]

## 事後アンケート
- 発話内容 (5 項目 5 尺度、 1 項目 7 尺度)
- 説明の適切性 (1 項目 5 尺度)
- 説明の必要十分性 (1 項目 7 尺度)
- 主体性 (1 項目 5 尺度)

-会話性 (1 項目 5 尺度)
- 説明の選択性 (1 項目 5 尺度)

- 説明内容の珍しさ (1 項目 5 尺度)
- $\operatorname{TAM}(20$ 項目 5 尺度)[33]
- 使用時の不安 (4 項目 5 尺度)
- 利用しようとする意向 (3 項目 5 尺度)

-ロボットの適応能力の知覚 (3 項目 5 尺度)
- 使いやすさの知覚 (5 項目 5 尺度)
- 有効性の知覚 (3 項目 5 尺度)
- 技術の信頼性 (2 項目 5 尺度)

$\cdot$自由記述

5 尺度の項目は 5 が最高、 1 が最低である。「説明の必要十分性」のみ 7 段階になっており、 4 がもっと
表 1 実験結果。必要十分性については、目標值である 4 との差分も記載

も必要十分、 1 が最も説明が足りない、 7 が最も説明が冗長となる場合に対応することに注意されたい。

参加者は、2022 年 12 月にクラウドソーシングで、全条件を同じ参加者に視聴してもらい比較評価するのは難しいため, 各条件 20 名ずつ計 200 名 (女性 102 名、男性 98 名、 19 歳 65 歳、平均 $41.6 \pm 9.19$歳) を集めた (条件 1 : 平均 $42.7 \pm 11.0$ 歳、条件 2: 平均 $39.5 \pm 10.6$ 歳、条件 3 : 平均 $39.7 \pm 6.8$ 歳、条件 4 :平均 $41.2 \pm 11.5$ 歳、条件 $5:$ 平均 $39.6 \pm 8.2$ 歳、条件 6: 平均 $41.2 \pm 8.7$ 歳、条件 $7:$ 平均 $43.1 \pm 10.0$ 歳、条件 $8:$ 平均 $44.9 \pm 7.5$ 歳)。

## 4.3 結果

まず、事前アンケートの各項目について、各条件間でクラスカル・ウォリス検定を行ったところ差は見られなかった。実験に関わる各アンケートについての実験結果を表 1 に示す。表から、今回必要とする説明の必要十分性に関しては、発声内容のフィルタをしない場合（条件 1）と比較して、フィルタをする場合はいずれもスコアが向上する（4 に近づく） ことが確認された。特に ppl_GPTのみを使う場合 （条件 4）が最もロボット発話の必要十分性を向上させることがわかった。またこのうち、スコアの絶対値を比較した場合には条件 1 対条件 2、条件 1 対条件 4、条件 1 対条件 8 、条件 3 対条件 4 の組み合わせで、スティール・デュワス検定（ $\mathrm{p}<0.05 ）$ における有意差が確認された。この結果から、全ての観測内容について言語化を行うよりも、一般言語モデルを用いて発声内容をフィルタする方が、対話ロボットの説明に感じる必要十分性が向上することがわかった。これらの場合いずれも、スコアの絶対値で比較すると有意差があるものの、 4 との差分の絶対値で見た場合には有意差はない。また、提案法の逆転条件である条件 5、条件 6 のスコアは 4 から大きく離れ、提案法の有効性を示唆する結果となった。

その他の項目では、発声内容のフィルタをしない場合（条件 1）が説明の適切性、主体性、会話性の上で高いスコアを得た。これらの項目は、ロボットの説明に感じる必要十分性とトレードオフの関係があると考えられる。説明の選択性については ppl_exp のみを使う場合（条件 3）が高い評価を得たが、これはロボットが自身の経験に基づいて発声内容を選択した結果、ユーザからもそうした選択をしていることが強く感じられたのではないかと考えられる。

また、各 TAM 尺度についても比較評価を行った。全体の傾向としては、and 条件（条件 7）が高いスコアを得る結果となったが、信頼性においてはppl_exp （条件 3）が一番高いスコアを得た。発声内容のフィルタをしない場合（条件 1）と比較すると、いくつかの項目では同等のスコアを得ている中で、それ以外の項目ではフィルタをする条件の方がスコアが向上している場合が確認できる。また、使用時の不安においては何も発声しない場合 (条件2) や or 条件 （条件 8）が高いスコアを得ている。この結果から、必要以上に発声を抑制することはユーザにとっての不安に直結することが見てとれる。

## 5 おわりに

本研究は、長期的なロボットとのインタラクションを想定したときに必要となるであろう、ユーザにとって有益な内部状態のみを発話させるロボットの実現のために、発話選択を発話が持つ情報量に基づいて行う枠組みを提案した。結果として、一般言語モデル由来の情報量を用いることで、ロボットが発生する内容の必要十分性を向上させることができた。今後は、ロボット自身の経験などをどのように併用することが適当か検討する必要がある。また、特定ユーザを対象とした長期的なインタラクションを行う場合についても検討する。

## 謝辞

本研究は JSPS 科研費 22 H04873 の支援を受けた。

## 参考文献

[1] Nikhil Churamani, Sinan Kalkan, and Hatice Gunes. Continual learning for affective robotics: Why, what and how?

In Proc. RO-MAN, pp. 425-431, 2020.

[2] Alessandra Rossi et al. How social robots influence people' s trust in critical situations. In Proc. RO-MAN, pp. 1020-1025, 2020

[3] Xiaofeng Gao et al. Joint mind modeling for explanation generation in complex human-robot collaborative tasks. In Proc. RO-MAN, pp. 1119-1126, 2020.

[4] Francisco Cruz et al. Explainable robotic systems: Understanding goal-driven actions in a reinforcement learning scenario. Neur. Compu. and App., pp. 1-18, 2021.

[5] S. Marchesi et al. Don' t overthink: fast decision making combined with behavior variability perceived as more human-like. In Proc. RO-MAN, pp. 54-59, 2020.

[6] Maartje MA de Graaf, Bertram F Malle, Anca Dragan, and Tom Ziemke. Explainable robotic systems. In Proc. HRI, pp. 387-388, 2018.

[7] Wenxuan Mou, Martina Ruocco, Debora Zanatto, and Angelo Cangelosi. When would you trust a robot? a study on trust and theory of mind in human-robot interactions. In Proc. RO-MAN, pp. 956-962, 2020.

[8] Connor Esterwood and Lionel P. Robert. Do you still trust me? human-robot trust repair strategies. In Proc. ROMAN, pp. 183-188, 2021

[9] Ilenia Cucciniello et al. Validation of robot interactive behaviors through users emotional perception and their effects on trust. In Proc. RO-MAN, pp. 197-202, 2021.

[10] Glenda Hannibal, Astrid Weiss, and Vicky Charisi. "the robot may not notice my discomfort" - examining the experience of vulnerability for trust in human-robot interaction. In Proc. RO-MAN, pp. 704-711, 2021.

[11] Arianna Pipitone and Antonio Chella. What robots want? hearing the inner voice of a robot. iScience, Vol. 24, No. 4, 2021. DOI: 10.1016/j.isci.2021.102371.

[12] David Gunning, Mark Stefik, Jaesik Choi, Timothy Miller, Simone Stumpf, and Guang-Zhong Yang. Xai- explainable artificial intelligence. Science Robotics, Vol. 4, No. 37, p. eaay7120, 2019.

[13] Rossitza Setchi, Maryam Banitalebi Dehkordi, and Juwairiya Siraj Khan. Explainable robotics in humanrobot interactions. Procedia Computer Science, Vol. 176, pp. 3057-3066, 2020

[14] Qingxiaoyang Zhu, Vittorio Perera, Mirko Wächter, Tamim Asfour, and Manuela Veloso. Autonomous narration of humanoid robot kitchen task experience. In Proc. Humanoids, pp. 15-17, 2017.

[15] Zhao Han, Elizabeth Phillips, and Holly A. Yanco. The need for verbal robot explanations and how people would like a robot to explain itself. ACM Trans. HRI, Vol. 10, No. 4, pp. 1-42, 2021.

[16] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Smart: training shallow memory-aware transformers for robotic explainability. In Proc. ICRA, pp. 1128-1134. IEEE, 2020.

[17] Koichiro Yoshino et al. Caption generation of robot behaviors based on unsupervised learning of action segments. In Convers. Dialog. Sys. for the Next Decade, pp. 227241. Springer, 2021

[18] Pradip Pramanick, Chayan Sarkar, and Indrajit Bhattacharya. Your instruction may be crisp, but not clear to me! In Proc. RO-MAN, pp. 1-8, 2019

[19] Fatai Sado, C Kiong Loo, Matthias Kerzel, and Stefan Wermter. Explainable goal-driven agents and robotsa comprehensive review and new framework. arXiv preprint arXiv:2004.09705, Vol. 180, , 2020.

[20] Maria Fox, Derek Long, and Daniele Magazzeni. Explainable planning. arXiv preprint arXiv:1709.10256, 2017.

[21] Tatsuya Sakai, Kazuki Miyazawa, Takato Horii, and Takayuki Nagai. A framework of explanation generation toward reliable autonomous robots. Adv. Roboti., Vol. 35, No. 17, pp. 1054-1067, 2021.

[22]湯口彰重, 河野誠也, 石井カルロス寿憲, 吉野幸一郎,川西康友, 中村泰, 港隆史, 斉藤康己, 美濃導彦. ぶつくさ君: 自身の外界認識と内部状態を言語化するロボット. 日本ロボット学会誌, Vol. 40, No. 10, pp. 932-935, 2022.

[23] Aaquib Tabrez and Bradley Hayes. Improving humanrobot interaction through explainable reinforcement learning. In Proc. HRI, pp. 751-753. IEEE, 2019.

[24] Hooman Hedayati, Mark D. Gross, and Daniel Szafir. What information should a robot convey? In Proc. IROS, pp. 6209-6216, 2021 .

[25] Takayuki Kanda, Takayuki Hirano, Daniel Eaton, and Hiroshi Ishiguro. Interactive robots as social partners and peer tutors for children: A field trial. HRI, Vol. 19, No. 1-2, pp. 61-84, 2004.

[26] Iolanda Leite, Carlos Martinho, Andre Pereira, and Ana Paiva. As time goes by: Long-term evaluation of social presence in robotic companions. In Proc. RO-MAN, pp. 669-674. IEEE, 2009.

[27] Kazunori Komatani, Shinichi Ueno, Tatsuya Kawahara, and Hiroshi G Okuno. User modeling in spoken dialogue systems for flexible guidance generation. In Proc. EUROSPEECH, pp. 745-748, 2003.

[28] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[29] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proc. NAACL-HLT, 2019

[30] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料 (SLUD), Vol. 93,pp. 169-170, 2021.

[31] Thomas Wolf et al. Transformers: State-of-the-art natural language processing. In Proc. EMNLP, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[32] Tatsuya Nomura et al. Measurement of negative attitudes toward robots. Interaction Studies, Vol. 7, No. 3, pp. 437-454, 2006.

[33] Marcel Heerink, Ben Kröse, Vanessa Evers, and Bob Wielinga. Assessing acceptance of assistive social agent technology by older adults: the almere model. Interna. jour. of soc. roboti., Vol. 2, No. 4, pp. 361-375, 2010.

[34] 川西康友, 吉野幸一郎, 岡留有哉, 中村泰, 石井カルロス寿憲, 港隆史, 斉藤康己, 美濃導彦. ぶつくさ君 2 号 : 自律移動ロボットによる生活環境の認識. 第 25 回画像の認識・理解シンポジウム (MIRU), 2022.

## 付録

## A 実験で使用したロボット

使用する自律移動型対話ロボットプラットフォー

外観を図 2 に示す。

ぶつくさ君は内部状態として観測・記憶、案内夕スクを実行するという意図を持ち、観測や記憶を意図で処理して移動や発話を行う。システム全体は Robot Operating System (ROS) で管理されており、各外界観測はそれぞれ個別の ROS ノードとして処理され、記憶は MongoDB を用いて管理されている。 ぶつくさ君は、物体認識、人物認識、環境認識、音声認識、場所認識の外界観測を行い、その認識結果をいつ、どこで行ったのかという、場所・時間の情報と紐づけて記憶することができる。また、動作機能として移動、モーション、音声の生成ができ、 あらかじめ設定された部屋の地図上の特定の場所に移動や、任意のセリフを発話することができる。ぶつくさ君が動作する部屋の間取り図を図 3 に示す。

図 2 ロボットプラットフォームぶつくさ君

## B 言語化規則

ロボットの発話は表 2 の規則によって生成される。デフォルトとして、内部状態は説明の十分性を担保するために多少冗長と感じられてもすべて話したほうが良いという先行研究 [22] の知見に基づき、挨拶、行動、行動の理由、音声 - 場所認識の報告、音声・場所認識の記憶の報告を発話するように設定した。シナリオのターンテーキングはユーザの発話

図 3 実験室の間取り図

に対し特定のトリガーワードをロボットが音声認識することによって進行する。

表 2 案内タスクでの言語化規則。[場所]、[物体]、[音声]、[時間] は認識結果。

 \\


# 発話者分離学習を用いた対話モデルによる 小学校の授業発話の分析

大西朔永 ${ }^{1}$ 椎名広光 ${ }^{2}$ 保森智彦 3
1 岡山理科大学大学院総合情報研究科 2 岡山理科大学情報理工学部
3 岡山理科大学教育学部
i22ed08bf@ous.jp \{shiina,yasumori\}@ous.ac.jp

## 概要

小学校段階の授業では，教員の説明や促進，質問等の発話と児童の返答が多くあり，一種の対話がなされている。これらの対話から教員の発話の種類や児童の学びの状況を分析することで，学びに関する分類を教員へフィードバックすることが可能と考えられる。自然言語処理分野では，文脈を捉えることが比較的可能となっている BERT の他に，対話に適したモデルとして対話応答生成で用いられる VHRED やGVT が提案されている. GVT に対して，本研究では発話者ごとの特徴に加えて，対話処理の内部に反映させる前に対話を事前分類する手法（拡張 GVTSC）を提案し，授業の発話の分析を行う。

## 1 はじめに

日本の小学校の授業では, 教員は児童の状況を見ながら授業を進めており, 児童は学習状況や意見,感想を発話することが多くあり，対話をしながら授業は進むと考えられる. 教員と児童や児童間では，一種の対話が成り立っており, 授業の理解を促したり示したりする発話や対話を自動的に分析することができれば，教員に対して多くのフィードバックが可能となる. 省察のデジタル化を分析した研究 [1] やシステムによる発話の分析 [2] がある. 日本の教員は省察等の時間が 48 か国で最も短く [3], システムによる分析手法の開発は急務である.

一方，自然言語処理分野では，Transformer[4]を用いた文脈を考慮した言語処理が可能な BERT[5] が提案されている. 対話処理に適したモデルでは,翻訳において用いられる RNN[6] をべースにした Encoder-Decoder モデル [7] を対話応答生成へ応用した研究 [8] がある. 長い入力系列に対応するために階層構造を取り入れた HRED[9] が提案され，
CVAE[10] の手法を取り入れた VHRED[11]では，潜在変数を用いることで応答生成に多様性を与えている.また，対話向け CVAE に Transformer を導入したGVT[12] が提案されている. 我々は発話者ごとの特徴を考慮するために，発話を発話者ごとに分離して入力し，発話者ごとの潜在変数を用いるように拡張を行った抬張 GVT モデル [13] を提案している。

本研究では，事前にクラスタリングを用いて発話者の特徴を抽象化する拡張 GVTSC モデルを提案すると共に，小学校の授業の対話に対して，拡張 GVTSC モデルによる発話の分析を行っている. 具体的には，小学校の算数の授業を録画し，教員と児童の発話に対して文字起こしを行った対話形式のテキスト情報を分析している。分析には，あらかじめ授業中の発話に対して学びに関連する複数のラベルを人手で付与した後に，その発話と近い距離にある発話を提案する拡張 GVTSC を用いて抽出している。

## 2 発話者のクラスタリングを追加し た拡張 GVTSC モデル

対話応答生成には，様々な対話に対しての応答と成り得る無難な応答を生成するために，応答の多様性が低くなるという課題が存在する [14, 15]. GVT モデルは，Decoder の入力にサンプリングした潜在変数を利用する手法であるが，発話者の特徴を潜在変数で表現し, サンプリングを行うことで, 応答の多様性をもたらしていると考えられる。しかし，先行研究では潜在変数が生成された応答の一貫性を低下させる傾向があることが示されている [16]. そこで，発話者ごとの特徴を考慮するために，クラスタリングを用いて発話者の特徴を抽象化し, Encoder においてその発話者の特徴を加味することで，一貫性と多様性を向上させる. 本研究では，GVT モデル及び，話者の分離を行っている拡張GVT モデル

図 1 拡張 GVTSC モデルの構造

に対して，事前に発話者を分類するクラスタリングを追加した 2 種類のモデル（GVTSC，拡張 GVTSC） を提案し，評価を行っている。

拡張 GVTSC モデルの概要を図 1 に示す. 拡張 GVT モデルに対して，発話者の特徴べクトルをクラスタリングを用いて作成する部分（図 1 の点線部分）を追加し，コンテキストのエンコードにおいて利用している.

次に，拡張 GVTSC モデルの処理について述べる. 最初に，発話者の特徵べクトルをクラスタリングを用いて作成する、コンテキストは対話を行う 2 者の発話をまとめたものであり，各発話者ごとに分割することが可能である．そこで，対話のコンテキストを発話者ごとに分割し，発話者ごとに処理を行っている. 発話者ごとの処理は同様であるため，発話者 1 の場合を述べる. Speaker1 TRS Encoder で発話者 1 のコンテキストをエンコードする. TRS Encoder では，入力系列の先頭に CLS トー クンを付加しており, Transformerによって出力ベクトルが計算される。発話者 1 のコンテキストのベクトル（Speaker1 Vector）として，CLS トークンのべクトルを取得する. Speaker1 Vectorに対して，クラスタリングを行う. 本研究では, クラスタリングに k-Means を使用している. クラスタ数 $\mathrm{k}$ にいては， ハイパーパラメータ同様実験において決定する必要がある. クラスタリングの結果，Speaker1 Vector が属するクラスタを予測し，そのクラスタの中心ベクトル（Speaker1 Cluster Vector）を取得する. 発話者 2 に対しても，発話者 1 と同様の処理を行い， Speaker2 Cluster Vectorを取得する。ここで，クラスタリングに使用している TRS Encoder は, 応答生成で訓練している TRS Encoderを共有している．ただし，クラスタリングの処理では，誤差逆伝搬による訓練は行われない.対話のコンテキスト全体は, Context TRS Encoder に入力し, 出力ベクトルを得る. コンテキストのエンコードでは，入力系列に発話者ごとのトークン（SPK1, SPK2）を追加し, SPK1 に Speaker1 Cluster Vector，SPK2 に Speaker2 Cluster Vector を入力する. また，各発話者ごとにコンテキストを分割し，それぞれを各 Speaker TRS Encoder に入力し, 出力べクトルを得る。その際には, Speaker1 TRS Encoder には入力系列に発話者 1 のトークン（SPK1）を追加し, Speaker1 Cluster Vectorを入力し，Speaker2 TRS Encoderには入力系列に発話者 2 のトークン (SPK2) を追加し，Speaker2 Cluster Vector を入力する．発話者ごとのコンテキストのエンコードにおいて，各発話者の特徴べクトルを利用することで，より発話者の特徴を考慮したエンコードを図っている。

事前・事後分布を多層パーセプトロン（MLP）によって近似した Prior Net $・$ Recognition Net から潜在変数 $z$ をサンプリングする． Prior Net は， Speaker TRS Encoder または, Context TRS Encoder の CLS トークンの出力ベクトルを基に，MLP によってコンテキストのベクトルの平均と分散を推定する。 その平均と分散に従う正規分布より潜在変数 $z$ をサンプリングする. Recognition Net では，Speaker TRS Encoder と Context TRS Encoder に加えて Response TRS Encoder の CLS トークンの出力ベクトルも用いて，MLPにより対話全体のべクトルの平均と分散を推定する. Prior Net と同様に推定した平均と分散に従う正規分布から潜在変数 $z$ のサンプリングを行う. TRS Encoder の CLS トークンの出力ベクトルは入力全体の表現したべクトルとみなすことができるため, CLS トークンの出力ベクトルから事前・事後分布を生成し，潜在変数 $z$ をサンプリングしている.

TRS Decoder では，入力系列の先頭の SOS トークンに通常の潜在変数に加えて，応答の発話者の潜在変数を入力することで，潜在変数を応答の生成に利用している。この際，TRS Decoder は，学習時には Recognition Net からサンプリングした潜在変数を利用し，生成時には Prior Net からサンプリングした潜在変数を利用する。

拡張 GVTSC モデルは，cをコンテキスト， $c_{\mathrm{s} 1}$ を発話者 1 のコンテキスト， $c_{\mathrm{s} 2}$ を発話者 2 のコンテキスト， $x$ を応答， $z$ を潜在変数, $v_{\mathrm{s} 1}$ を発話者 1 のクラスタベクトル， $v_{\mathrm{s} 2}$ を発話者 2 のクラスタベクトルとして，下記の ELBO を最大化することでモデル

の最適化を行う.

$
\begin{aligned}
& \mathscr{L}_{E L B O}(x, c) \\
&= \log p(x \mid c) \\
& \geqq \mathbb{E}_{q}\left(z \mid x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)\left[\log p\left(x \mid z, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)\right] \\
&-K L\left(q\left(z \mid x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \| p\left(z \mid c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)\right) \\
&-K L\left(s\left(z \mid x, c_{\mathrm{s} 1}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \| r\left(z \mid c_{\mathrm{s} 1}, v_{\mathrm{s} 1}\right)\right) \\
&-K L\left(s^{\prime}\left(z \mid x, c_{\mathrm{s} 2}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \| r^{\prime}\left(z \mid c_{\mathrm{s} 2}, v_{\mathrm{s} 2}\right)\right)
\end{aligned}
$

ここで，KLは分布間の KL divergence であり，事前分布 $p, r, r^{\prime}$ は，下記の式で定義される.

$
\begin{aligned}
p\left(z \mid c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{p}, \sigma_{p}^{2}\right) \\
r\left(z \mid c_{\mathrm{s} 1}, v_{\mathrm{s} 1}\right) & \sim \mathcal{N}\left(\mu_{r}, \sigma_{r}^{2}\right) \\
r^{\prime}\left(z \mid c_{\mathrm{s} 2}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{r^{\prime}}, \sigma_{r^{\prime}}^{2}\right)
\end{aligned}
$

ここで，

$
\begin{aligned}
{\left[\mu_{p}, \log \left(\sigma_{p}^{2}\right)\right] } & =\operatorname{MLP}_{p}\left(c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \\
{\left[\mu_{r}, \log \left(\sigma_{r}^{2}\right)\right] } & =\operatorname{MLP}_{r}\left(c_{\mathrm{s} 1}, v_{\mathrm{s} 1}\right) \\
{\left[\mu_{r^{\prime}}, \log \left(\sigma_{r^{\prime}}^{2}\right)\right] } & =\operatorname{MLP}_{r^{\prime}}\left(c_{\mathrm{s} 2}, v_{\mathrm{s} 2}\right)
\end{aligned}
$

事後分布 $q, s, s^{\prime}$ は，下記の式で定義される.

$
\begin{aligned}
q\left(z \mid x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{q}, \sigma_{q}^{2}\right) \\
s\left(z \mid x, c_{\mathrm{s} 1}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{s}, \sigma_{s}^{2}\right) \\
s^{\prime}\left(z \mid x, c_{\mathrm{s} 2}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{s^{\prime}}, \sigma_{s^{\prime}}^{2}\right)
\end{aligned}
$

ここで,

$
\begin{aligned}
{\left[\mu_{q}, \log \left(\sigma_{q}^{2}\right)\right] } & =\operatorname{MLP}_{q}\left(x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \\
{\left[\mu_{s}, \log \left(\sigma_{s}^{2}\right)\right] } & =\operatorname{MLP}_{s}\left(x, c_{\mathrm{s} 1}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \\
{\left[\mu_{s^{\prime}}, \log \left(\sigma_{s^{\prime}}^{2}\right)\right] } & =\operatorname{MLP}_{s^{\prime}}\left(x, c_{\mathrm{s} 2}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)
\end{aligned}
$

また, 学習が進むにつれて Decoder が潜在変数 $z$ の情報を考慮しなくなる KL vanishing 問題のため，KL アニーリング [17], BoW（Bag-of-Words）loss[10,18] の手法を取り入れている. KLアニーリングは式 1 の KL divergence の値について，学習が進むに連れて 0 から 1 に線形に増加する重みをつける手法である. BoW loss は応答に含まれる単語の集合を潜在変数から推定するサブタスクを追加する手法であり，潜在変数と応答中の単語の関連性を強くすることを目的としている.

## 3 対話モデルの評価実験

データセットにはおーぷん 2 ちんねる対話コー パス [19]，小学校の授業対話データを用いた. 前処理として SentencePiece を用いてサブワードへの分表 1 各モデルについての自動評価結果

割を行っている.コンテキストの長さについては， 3-turn までの対話応答を評価している. 自動評価手法として，Dist-n[20]を用いて，生成した応答の多様性，BERT Score[21] を用いて参照応答との類似性について評価する。 Dist-Nは，N-gramの総数に対して N-gram の種類数が占める割合を算出し，この比率が高いほど，多様性が高いことを示す指標である。 BERT Score は，事前学習した BERT の埋め込みを使用して，モデルが生成した応答と参照応答の類似性を評価する手法である。

各モデルが生成した応答の自動評価結果を表 1 に示す. GVTSC モデルは，GVT モデルに対して，拡張 GVTSC モデルと同様に発話者のクラスタリングを追加したモデルである.

まず，おーぷん 2 ちゃんねる対話コーパスによる評価について述べる。なお，クラスタリング （k-Means）のクラスタ数は，予備実験における結果から，GVTSC モデルは 8，拡張 GVTSC モデルは 3 としている。表 1 の GVTSC モデルは，GVT に対して，多様性の評価では，全て向上している。また，拡張 GVT モデルと比較すると，GVTSC モデルは Dist-3 で約 0.045 高い評価を得ている. 拡張 GVTSC モデルでは，拡張 GVT モデルや GVTSC モデルと比較して，類似性の評価はほとんど差が見られない。 しかし，多様性の評価では，特に Dist- 2 で約 0.1 以上評価が向上している.

次に，小学校の授業対話データによる評価について述べる。なお，GVTSC モデルと拡張 GVTSC モデルのクラスタリング（k-Means）では，予備実験にお
表 2 拡張 GVTSC による 1 発話における類似発話

 &  \\

表 3 小学校の授業対話データに対する対話応答の生成例コンテキスト

発話 1: 12。

発話 2: 4 段の時は?

発話 3: 16。

発話 4: 5 段の時は?

発話 5: 24 。 $24,24,24,28$ 。え一。

## 応答

GVT: そうそうそう。はい,ここまでいいかな?同じです。

拡張 GVT: この式, 合ってそう? 違ってそう?

GVTSC: 合ってそうです。さあ,ここまでいいかな?え?式一個じゃないん?

拡張 GVTSC: この式, 合ってそう?違ってそう?

参照:これで合ってる?

ける結果からクラスタ数を 8 としている. GVTSC は，多様性の評価で GVT と拡張 GVT より高い評価を得ており，類似性の評価でも約 0.008 向上している. 拡張 GVTSC は, 多様性の評価では全てのモデルより高い評価を得ており，実際の応答の多様性に近い評価となっている。類似性の評価においても，最も高い評価となっており，GVT と比較すると約 0.018 向上している. Encoder におけるエンコード過程で発話者の特徴を考慮することで，潜在変数のサンプリングや Decoder での Attention に利用する Encoderの各トークンの出力ベクトルに影響を与えていると考えられる。

小学校の授業対話データの評価において生成された応答の例を表 3 に示す. 全てのモデルがコンテキストに関連した応答を生成することができており，多様性がある応答となっている.

## 4 拡張 GVTSC による発話の分析

本研究では拡張 GVTSC モデルを用いて対話のべクトル化を行っている. 対話データを用いて訓練した拡張 GVTSC モデルは，対話応答を生成するために必要なコンテキストの発話をべクトル化する能力を得ている. 対話のベクトルは，拡張 GVTSC モデルにコンテキストとして対話を入力し，拡張 GVTSC モデルの Context TRS Encoder と Speaker TRS Encoder が出力した CLS トークンのベクトルの和を計算することで作成している.

発話の分析では，授業の対話データについて，1 発話ごとのデータを作成し，ラベルなし発話について，ラベル付き発話との距離を求めている. 距離については，ベクトルで表現できていることから Cos 類似度とジャロ・ウィンクラー距離（JW 距離）を用いた. 表 2 に 1 発話における類似発話の例を示す.表 2 の 1 行目では，「数学的な見方」や「深い学び」 に関連する発話を抽出できている. 表 2 の 2 行目では，「児童の主体的な学びに逆行している」というラベルであるが，授業の終盤で授業を終わらせるための発話を抽出している. 表面的な文字列の類似度である JW 距離と $\operatorname{Cos}$ 類似度の差は大きく, ベクトルを用いた手法の有効性を示している. 定量的な評価として, $\operatorname{Cos}$ 類似度と JW 距離の相関係数を計算すると，表 2 の 1 発話の場合は無相関 (-0.004) となっている.

## 5 おわりに

本研究では，事前にクラスタリングを用いて発話者の特徵を抽象化する拡張 GVTSC モデルを提案した. 対話応答生成では，多様性の評価で実際の応答に近い評価を獲得した. 小学校の授業対話データに対しては，類似性の評価においても最も高い評価となった. そして，小学校の授業の対話に対して，拡張 GVTSC モデルを利用した機械学習の手法で発話の分析を試みた．対話モデルを用いた対話のべクトル化により, 表層的な類似性とは異なる傾向の分析が得られた。

今後は，教員と児童の対話に対して，発話者の属性が限られたドメインに適した対話モデルの開発を行い，少量の教師ラベルによるラベル推定を行いたいと考えている.

## 参考文献

[1] 保森智彦.「主体的・対話的で深い学び」を実現するための教師の発話の検討, pp. 45-52. B, 人文・社会科学, No. 57. 岡山理科大学紀要, 2021.

[2] yuchen Wang, 大井翔, 松村耕平, 野間春生. 新任教員の授業力向上のための授業振り返りシステムに関する研究. 情報処理学会インタラクション, pp. 753-757, 2021.

[3] 国立教育政策研究所. 教員環境の国際比較 OECD 国際教員指導環境調査 (TALIS)2018 調査報告書. ぎょうせい, 2018 .

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[6] Klaus Greff, Rupesh K Srivastava, Jan Koutník, Bas R Steunebrink, and Jürgen Schmidhuber. Lstm: A search space odyssey. IEEE Transactions on Neural Networks and Learning Systems, Vol. 28, No. 10, pp. 2222-2232, 2016.

[7] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8] Oriol Vinyals and Quoc Le. A neural conversational model. In ICML Deep Learning Workshop 2015, 2015.

[9] Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-toend dialogue systems using generative hierarchical neural network models. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16, p. 3776-3783. AAAI Press, 2016.

[10] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 654-664, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[11] Iulian Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron Courville, and Yoshua Bengio. A hierarchical latent variable encoder-decoder model for generating dialogues. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[12] Zhaojiang Lin, Genta Indra Winata, Peng Xu, Zihan Liu, and Pascale Fung. Variational transformers for diverse response generation. arXiv preprint arXiv:2003.12738, 2020.

[13] Takamune Onishi, Sakuei Onishi, and Hiromitsu Shiina.
Improved response generation consistency in multiturn dialog. In 2022 12th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 416-419, 2022.

[14] Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian-Yun Nie, Jianfeng Gao, and Bill Dolan. A neural network approach to context-sensitive generation of conversational responses. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 196-205, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[15] Richárd Csáky, Patrik Purgai, and Gábor Recski. Improving neural conversational models with entropy-based data filtering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5650-5669, Florence, Italy, July 2019. Association for Computational Linguistics.

[16] Bin Sun, Shaoxiong Feng, Yiwei Li, Jiamou Liu, and Kan Li. Generating relevant and coherent dialogue responses using self-separated conditional variational AutoEncoders. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5624-5637, Online, August 2021. Association for Computational Linguistics.

[17] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics.

[18] Xianda Zhou and William Yang Wang. MojiTalk: Generating emotional responses at scale. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1128-1137, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[19] Michimasa Inaba. A example based dialogue system using the open 2channel dialogue corpus. Journal of Japanese Society for Artificial Intelligence, Vol. 87, pp. 129132, 2019.

[20] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[21] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representation, 2019.


# 対話行為の分布を利用した雑談対話システムの評価指標

榮田亮真 井手竜也 村田栄樹 河原大輔
早稲田大学理工学術院
\{s.ryoma6317@akane., t-ide@toki. , eiki.1650-2951@toki. , dkw@\}waseda.jp

## 概要

本論文では，雑談対話システムのふるまい全体を考慮して評価を行うための新たな指標として，発話が持つ役割である対話行為の分布を利用することを提案する。人間とシステムの各発話に対話行為が付与された対話コーパスの分析から，人間は多様な対話行為を使い分けていること，また，対話相手の発話を踏まえて対話行為を決定していることがわかった. 分析に基づき, 対話行為のエントロピーと, 発話の対話行為が，対応する応答の対話行為の決定に与える相互情報量で雑談対話システムを評価する。提案指標を様々な雑談対話システムに適用した評価実験によって，指標の妥当性が確認された。

## 1 はじめに

現在の雑談対話システムの評価方法は課題が残ったまま利用されている. 評価は人手評価と自動評価に分けることができ，人手評価はクラウドソーシングによるもの，自動評価は BLEU [1], Distinct [2] などの指標によるものが一般的である. さらに近年では，BERT [3] などの事前学習モデルを人手評価デー タで Fine-tuning したモデルが提案されている $[4,5]$.

既存の評価指標の多くは，雑談対話システムの 1 ターンや 1 対話の応答を評価するものである.このような評価指標はシステムのふるまい全体を見ていないため，決まった数パターンの応答しか返すことができないシステムを高く評価することがある。また，Distinct はるるまい全体を評価する指標だが，表面的な語彙の多様性をはかるだけである。

本論文では，既存手法の問題点に鑑み，雑談対話システムのふるまい全体を見て，Distinct よりも適切に，システムを評価することのできる評価指標を提案する. 新たな評価指標は, 対話における各発話の役割を表す対話行為 [6] の分布に注目したものである. 指標の考案のためまず，人間とシステムの発話に対話行為が付与された対話コーパスを構築し，分析を行う.コーパスの分析により，システムと比べて人間は対話行為を多様に使い分けていること， また，対話相手の発言を踏まえて，対話行為を決定していることがわかった. 分析に基づき, 対話行為の多様性を表すエントロピー $(\mathrm{DAE})^{1)}$ と，どれだけ相手の発言の対話行為を考慮しているかを表す相互情報量 $(\mathrm{DAMI})^{2}$ )に注目することで，システムを評価することを提案する。DAE は Distinct とは異なり， おうむ返しばかりをするシステムに低いスコアを与える. DAMI は応答だけでなく, その直前の発話にも注目したもので，対話の評価として Distinct よりも適切であると考えられる. DAE，DAMI の算出には発話に対話行為を付与することが必要だが，付与方法として，人手付与と対話行為分類モデルによる自動付与の両方を検討する。

提案指標の妥当性検証のため, 様々な雑談対話システムに対して，提案指標を算出する実験を行った. 実験から，提案指標の DAE，DAMI が対話システムの性能を反映した指標であることがわかった.

## 2 関連研究

既存の雑談対話システムの評価方法の多くが，1 つのユーザ発話とそれに対応するシステム応答を見て評価を行うターンレベルの評価である。ターンレベルの関連度の人手評価 [7] は，おうむ返しやありきたりでつまらない応答についても高い評価を与える.これは，おうむ返しやありきたりな応答を多く返すことで知られている深層学習による雑談対話システム $[8]$ の評価指標として不適切である.

対話行為（Dialog Act）とは，対話において各発話が持つ役割である. Stolcke ら [6] は 42 種類の対話行為を提案し，対話行為を付与した対話コーパスである SwDAを構築した. 対話行為が付与された他のコーパスとしては，日常的な対話を収集した DailyDialog [9] などが存在する. また，深層学習モ

図 1: 対話行為の体系 (Inform、Question、Directive は DailyDialog で提案されたもの)

表 1: 対話行為の分布（太字は各対話行為について人間とシステムのどちらが多いかを示している)

デルによって対話行為を分類することを目指した研究も存在する $[10,11,12]$.

## 3 対話行為データセットの構築

雑談対話システムの評価指標の考案のため，人間とシステムの各発話に対話行為が付与された対話コーパスを構築する.このコーパスを対話行為デー タセットと呼ぶ.

## 3.1 対話行為の体系

本論文では， 10 種類の対話行為で構成される体系を提案する (図 1). 能動的な発言は、DailyDialog [9] で提案された対話行為をもとに分類した。

## 3.2 応答生成モデル

対話システムによる発話の対話行為を収集するために，T5 [13] の日本語版3)を Fine-tuning したシス
テムを用いてシステム発話を得る. Fine-tuning に用いるデータセットは Twitter から Twitter API を用いて収集したツイートリプライ対で，800,000 ペアである。

## 3.3 対話行為のアノテーション

3.1 節に示した対話行為の体系に基づき，クラウドソーシングでアノテーションを行う.アノテー ションの対象は，ある発話に対する人間の応答とシステムの応答それぞれ 6,820 文である. 発話と人間による応答は Twitter から TwitterAPI を用いて収集したマルチターン対話で，システムによる応答は 3.2 節の応答生成モデルから得たものである. 対話をクラウドワーカに見せ，最後の発話に関して，当てはまる対話行為を全て選択してもらう.1つの発話につき 5 人に尋ね， 2 票以上かつ最多の票を集めた対話行為を採用する. 複数の対話行為が採用対象になった場合，それらの中からランダムに 1 つ選択する. 収集したデータセットの分布を表 1 に示す. 人間の方が多様に対話行為を使い分けていることがわかる.

## 3.4 対話行為の遷移

対話においては，ある対話行為の後には特定の対話行為が現れやすいといった傾向が存在すると考えられる。その傾向における人間とシステムの違いを見るため，構築したデータセットにおいて対話行為の遷移を分析する。遷移を示したヒートマップを図 2 に示す. ヒートマップの各行は，その行名の対話行為の後にどの対話行為が来るかの条件つき確率分布を, 事前確率分布で補正した值 $\frac{P\left(a_{t+1} \mid a_{t}\right)}{P\left(a_{t+1}\right)}$ を表している. $a_{t}$ は対話における $\mathrm{t}$ 番目の発話の対話行為を表す。事前確率分布による補正をすることで，それ以外の状況と比較したときに，特定の状況下で，ある対話行為が現れやすいことを表現した値となる。 ヒートマップから，人間はシステムに比べて，対話相手の対話行為を踏まえてどんな対話行為を返すべきかを決定しているという傾向がわかる。

## 4 対話行為分布を利用した雑談対話 システムの評価

3 節の対話行為データセットの分析を踏まえて,雑談対話システムを評価するための 2 つの指標を提案する.

3) Hugging Face Hub: sonoisa/t5-base-japanese

(a) 人間の発話の対話行為遷移

(b) システムの発話の対話行為遷移

図 2: 対話行為遷移を示したヒートマップ

表 2: 人手付与された対話行為に基づく評価指標による評価結果と Distinct（太字はそれぞれの比較対象についてスコアが最大のものを示している）

## 4.1 エントロピー (DAE)

3.3 節による分析から，人間は対話の中で，さまざまな対話行為を使い分けていることがわかる. そのため，対話システムの評価指標としてシステム発話の対話行為の多様性が利用できると考えられる。分布の多様性は，エントロピー4)で計算される.

## 4.2 相互情報量 (DAMI)

3.4 節の分析から人間は，相手の発言の内容に応じて対話行為を使い分けていることがわかる. このことは，直前の発話の対話行為が対象発話の対話行為の決定に与える相互情報量 ${ }^{5}$ を用いて定量的に表現することができる.

## 5 評価指標の検証

対話行為を付与する方法として人手付与と対話行為分類モデルによる自動付与の 2 つがあり，それぞれにおける評価指標の妥当性を検証する。

4）定義は付録に示す。

5）定義は付録に示す.

## 5.1 人手付与による評価

## 5.1.1 実験設定

本実験では，対話行為を 3.3 節と同様に，クラウドソーシングで収集する．評価指標算出のためのシステム発話は 6,000 文であり，3.3 節でシステム発話を得た Twitter上のマルチターン対話 6,820 文のうち，6,000 文の応答として得たものである. 対話システムの構築は事前学習モデルである T5）[13], $\mathrm{mT5}^{7)}$ [14] を Fine-tuning して行う. Fine-tuning に用いるデータセットは，3.2 節で用いたものと同じツイートリプライ対である. 日本語 $\mathrm{T} 5$ は単一のモデルサイズしか公開されていないため，学習データ量をシステムの性能とみなし，提案指標の比較を行う.データセット全量を用いたシステムに加えて，8,000 ペア, 80,000 ペア, 400,000 ペアを使用して Fine-tuning したシステムも構築する. なお，データセット全量を用いたシステムとはすなわち，3.2 節のシステムである. mT5 については，モデルパラメータの多さをシステムの性能とみなす。また，入力をそのまま返すおうむ返しシステムと人間による発話についても提案指標を算出する.

## 5.1 .2 実験結果

実験結果を表 2 に示す. T5 について，Fine-tuning に用いたデータ量が多いシステムの方が高いスコアを得た。また， $\mathrm{mT5}$ について，パラメータ数が多い base モデルの方が高いスコアを得た. これらの結果から，提案指標は妥当なものであると言える. さらに，人間はどちらの指標においても最も高いスコア

6) Hugging Face Hub: sonoisa/t5-base-japanese

7) Hugging Face Hub: google/mt5-small, mt5-base

図 3: バッチサイズに対する比較結果の変化

表 3: 自動付与された対話行為に基づく対話システムの評価結果

を得た．Distinct はおうむ返しだけを返すシステムに対しても高いスコアを与えたが，提案指標の値は 0 である.

## 評価に一貫性はあるか

評価指標においては，異なるテストコーパスを用いても一貫した結果であることが重要であるため,検証を行う. 比較したい 2 つのシステムについて， クラウドソーシングで収集した 6,000 発話からバッチサイズ分の発話をサンプリングし，エントロピー を計算する、サンプリングを繰り返し，エントロピーの大小が一貫しているかを確認する. サンプリング時には, 同一の発話に対応する 2 つのシステムの発話をサンプリングすることに注意する．比較は以下の 3 ペアに関して行う.
- mT5-base vs mT5-small
- T5-800k vs T5-400k
- human vs T5-800k

バッチサイズを $500,1000,1500,2000$ と変更させる. サンプリングの繰り返し回数は 20,000 回とする. 実験結果を図 3 に示す. 2,000 文のテストコーパスを用いれば，一貫した結果が得られることがわかる.

## 5.2 自動付与による評価

発話の対話行為の分類モデルを構築し，5.1 節と同様の実験を行う.

## 5.2.1 実験設定

モデルの構築は事前学習モデル $\mathrm{BERT}^{8}$ を Finetuning して行う. 学習コーパスは対話行為データセットで，人間の発話とシステムの発話の両方を用いる. 表 1 から，学習データ数は対話行為ごとに偏りがある．データ数の偏りは学習に悪影響であると考えられるため，各対話行為のデータ数を，最多の対話行為である「意見」に合わせるアップサンプリングを行う。学習用と検証用にデータセットを $4: 1$ に分割し，検証用のデータセットに対してクロスエントロピーロスが最小であったエポックを採用する. テストコーパスは Twitter 上のマルチターン対話を各対話システムに入力して得た応答で，学習に用いたデータセットとは異なる 3,880 文である.

## 5.2.2 実験結果

自動付与した対話行為を利用して評価指標を計算した結果を表 3 に示す. $\mathrm{T} 5$ と人間については妥当な結果が得られているのに対し， mT5 は正しく評価できなかったことがわかる。これは学習データの発話が $\mathrm{T} 5$ と人間によるものであることが原因と考えられる. 自動付与による評価を実用化するためには，分類モデルの改善が必要である.

## 6 おわりに

本論文では，雑談対話システムのふるまい全体を評価することのできる指標を提案した. 提案指標は，システム発話の対話行為の分布から算出されるエントロピーと相互情報量であり，データセットの分析によって得た人間とシステムの発話の特徵に基づくものである. 様々な対話システムを対象に提案指標を算出する実験によって，提案指標がシステムの良さを反映した妥当な指標であることがわかった. 提案指標は応答の対話行為だけを見ており，内容の質を見ていない. 応答がその対話行為の応答として質が高いかを評価する手法を確立し，統合することが今後の課題である.

8) HuggingFace Hub: cl-tohoku/bert-base-japanese-whole-wordmasking

## 謝辞

本研究は 2022 年度国立情報学研究所 CRIS 委託研究の助成を受けて実施した。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Tianyu Zhao, Divesh Lala, and Tatsuya Kawahara. Designing precise and robust dialogue response evaluators. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 26-33, Online, July 2020. Association for Computational Linguistics.

[5] Sarik Ghazarian, Johnny Wei, Aram Galstyan, and Nanyun Peng. Better automatic evaluation of open-domain dialogue systems with contextualized embeddings. In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 82-89, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor, Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational Linguistics, Vol. 26, No. 3, pp. 339-374, 2000.

[7] Sarah E. Finch and Jinho D. Choi. Towards unified dialogue system evaluation: A comprehensive analysis of current evaluation protocols. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 236-245, 1st virtual meeting, July 2020. Association for Computational Linguistics.
[8] Shaojie Jiang and Maarten de Rijke. Why are sequenceto-sequence models so dull? understanding the lowdiversity problem of chatbots. In Proceedings of the 2018 EMNLP Workshop SCAI: The 2nd International Workshop on Search-Oriented Conversational AI, pp. 81-86, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[9] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[10] Ji Young Lee and Franck Dernoncourt. Sequential shorttext classification with recurrent and convolutional neural networks. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 515-520, San Diego, California, June 2016. Association for Computational Linguistics.

[11] Hamed Khanpour, Nishitha Guntakandla, and Rodney Nielsen. Dialogue act classification in domainindependent conversations using a deep recurrent neural network. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2012-2021, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[12] Vipul Raheja and Joel Tetreault. Dialogue Act Classification with Context-Aware Self-Attention. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3727-3733, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020 .

[14] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.
表 4: 意見の分布

## A 意見の細分化

表 1 から，人間とシステムどちらにおいても，「意見」の発話が多いことがわかる.そこで，「意見」を細分化して，さらなる特徴の違いを見る。「意見」を，「意見の対象」と，「意見の属性」によって 6 種類に分類する. 分類の詳細を表 4 に示す.アノテーションの対象は 3.3 節の収集で「意見」の対話行為が付与されたものである.マルチターンの対話をクラウドワーカに見せ，最後の発話に関して，6種類の選択肢から1つを選択してもらう. 1 つの発話に関して 5 人に尋ね，2 票以上かつ最多の票を集めた対話行為を採用する. 複数の対話行為が採用対象になった場合，ランダムに 1 つの対話行為を選択する. 収集したデータセットの分布を表 4 に示す.システムは対話相手に対するポジティブな意見を多く生成することがわかる.これはシステムからは同意の発話が多いことを示している.また，システムが対話相手以外に対する意見を生成することは少ないことがわかる.これは，対話相手以外に対する意見を生成するには，直前の発話に含まれないが対話相手との間で共有している知識や，世界知識が必要であるためと考えられる. 意見という 1 つの対話行為を詳細に見ても，人間の方が対話行為に多様性があることがわかる.

## B 対話行為遷移の例

図 2a に示したヒートマップにおける，頻出の遷移の会話例を以下に示す.

(1) 質問 $\rightarrow$ 質問

a.なんか小さい頃公園で飲んだ水道みたいな味しました

b.鉄の味するってやつすか (質問)

c.カルキなんですかね.ネバっとする感じの (質問)

お互いがわからないことについて話している状況表 5: 対話行為分類モデルの性能

(2) 提案 $\rightarrow$ 提案

a. 音声録音して送ってくれ

b.土日飯行くならその時にでも (提案)

c.土曜は無理だから日曜なら (提案)

お互いに提案を繰り返し，約束を決めているような状況

（3）命令・お願い $\rightarrow$ 命令・お願い

a. 久しぶりのお休みだから娘達にご飯行こうって誘ってもフラれてしまった私。. あちこち生誕隼備買いにいこ

b. たまにはご馳走して (命令・お願い)

c.じゃあ今すぐ日本橋に来てください (命令・お

願い)

お願いされたことについて交換条件を提示しているような状況

## C 評価指標の数学的定義

DAE は以下で定義される。

$
D A E=-\sum p\left(a_{u}\right) \log p\left(a_{u}\right)
$

DAMI は以下で定義される.

$H\left(a_{u_{t+1}} \mid a_{u_{t}}\right)=-\sum p\left(a_{u_{t}}\right) \sum p\left(a_{u_{t+1}} \mid a_{u_{t}}\right) \log p\left(a_{u_{t+1}} \mid a_{u_{t}}\right)$

$
D A M I=H\left(a_{u_{t+1}}\right)-H\left(a_{u_{t+1}} \mid a_{u_{t}}\right)
$

## D 対話行為分類モデルの性能

5.2.1 節で構築した対話行為分類モデルの性能を表 5 に示す.


# フォローアップ発話を用いた日本語対話の自動評価

川本 稔己 ${ }^{1,2}$ 岡野 裕紀 $^{1}$ 山崎 天 ${ }^{2}$ 佐藤 敏紀 ${ }^{2}$ 船越 孝太郎 ${ }^{1}$ 奥村 学 $^{1}$
1 東京工業大学 ${ }^{2}$ LINE 株式会社
\{kawamoto, okano, funakoshi, oku\}@lr.pi.titech.ac.jp
\{takato.yamazaki, toshinori.sato\}@linecorp.com

## 概要

対話の人手評価には時間とコストがかかるため,人手評価と自動評価の相関を向上し自動評価の信頼性を高めていくことは重要である. 本稿では,フォローアップ発話が生成される尤度を利用して対話を評価する FED と FULLという自動評価指標に着目し検証と改善を行う. 日本語対話データを利用した実験の結果, FED と FULL は人手評価との相関があまり見られなかったが, 我々の改善した手法の相関係数は 0.58 で最も高い値となった. また, 我々の改善した手法を用い, 対話データから対話システムの順位を予測した結果, 高い相関を示し, 特にオープンドメインの対話は正解の順位と完全に一致した.

## 1 はじめに

近年の事前学習済み言語モデルによる性能向上に伴い, 年々優れた対話システム $[1,2,3,4]$ が発表されているが, 対話システムの優劣を評価するためには最終的に人手評価を行うことが一般的である [5]. しかし, 人手評価には時間とコストがかかるため, 開発段階では自動評価を利用して評価できれば効率的である. 本研究では, 対話の人手評価と相関があり信頼性の高い自動評価指標を提案することを目指す.

対話の自動評価指標には正解の応答が必要な指標と不要な指標がある. 正解の応答が必要な指標としては BLEU [6], FBD [7] 等が挙げられ, 正解の応答が不要な指標としては Perplexity や USR [8] 等が挙げられる. 正解の応答が必要な指標は, 多様な応答が許容される対話の性質上適切に評価ができなかったり, 正解の応答を作成するための時間とコストがかかるという問題がある. よって本稿では, 正解の応答が不要な指標の 1 つであり, 人手評価との相関が高いことが報告されている [5], FED [9] と, FEDを発展させた FULL [10] に着目する. FED と FULL が日本語対話に利用できるか検証し, 先行研究から考えら
れる問題点（3 節参照）を改善することを試みる. 実験の結果, 我々の改善した手法は先行研究より人手評価との相関が高いことを確認した. さらに, 対話データから対話システムの順位を予測したところ， オープンドメインの対話とシチュエーションに特化した対話それぞれで高い相関を示し, 特に,オープンドメインの対話は正解の順位と完全に一致した.

## 2 先行研究

本節では, 対話の自動評価指標である FED と, FED を発展させた FULL について説明する. FED は, 対話履歴が与えられたときに, それに続くフォローアップ発話の対数尤度を測ることによって評価を行う指標である. FED の評価項目とフォローアップ発話の例を図 1 に示す. 評価項目は大きく分けてターンレベルと対話レベルの 2 種類があり, ターンレベルでは, 対話において評価したい話者の発話の後にフォローアップ発話を付与し対数尤度を算出する。一方，対話レベルでは, 対話の最後にフォローアップ発話を付与し対数尤度を算出する. 各レベルごとに評価項目は複数あり, ターンレベルでは 8 個, 対話レベルでは 10 個, 計 18 個の評価項目が使われている. 各評価項目には, 平均 4.05 個のフォローアップ発話が設定されており,フォローアップ発話は, ポジティブとネガティブの 2 種類に分けられる. 図 1 に示すように, フォローアップ発話の例として, Interesting の項目に当てはまるポジティブの発話は”Wow that is really interesting., といった, 前の発話が面白い場合に尤度が上がる発話を利用し, ネガティブの発話は”That's really boring."といった, 前の発話が面白くない場合に尤度が上がる発話が利用されている. 対数尤度の計算には, 公開されている DialoGPT [11] を使用している. 追加でデータの準備やモデルの訓練をする必要がないため,他の対話自動評価指標 $[12,13]$ と比べて比較的手軽に評価を行うことができる. また, Tianbo ら [5] が行った自動評価と人手

図 1 FED の評価項目と各項目に設定されているフォローアップ発話の例. フォローアップ発話のうち, ポジティブを青色, ネガティブを赤色で示している. ネガティブ発話しか表示されていない評価項目はポジティブ発話が定義されていないことを示す.

評価の相関を測る実験で FED と人手評価の相関が 0.59 と報告されており, 彼らの論文中で使われた自動評価指標の中では最も高い相関を得ている.

FULL は FED を発展させた指標であり, FED との差分としては, (1) FEDでは対話履歴とフォローアップ発話を含めた対数尤度を算出していたが, 対話履歴が与えられた場合のフォローアップ発話の条件付き対数尤度に変更したこと, (2) 各評価項目を撤廃し, 5 つのフォローアップ発話のみに限定したこと, (3) 複数の言語モデルで比較を行い, DialoGPT から BlenderBot [14] に変更したことである. FED デー タセットで人手評価との相関係数を計った結果, state-of-the-art となる 0.69 が報告されている.

## 3 先行研究の問題点と調査

本節では, FED・FULL から考えられる問題点と,問題点を改善するための手法を説明する. 2 節で述べたように FED は, 18 個の評価項目を用いているが, Semantically Appropriate, Understandable, Fluent の 3 つの項目のポジティブのフォローアップ発話は全く同じ発話が使用されている.それ以外にもフォローアップ発話が同一である評価項目が存在し, 全ての評価項目が独立した項目として測れているか疑わしい. そのため, 我々は対話評価を行う際に, 18 項目全てを用いるよりも，一部の評価項目を用いたほうが優れているのではないかと仮説を立てた. 具体的には, 検証データで最も高かった評価項目の組み合わせのみを選択し, その組み合わせを使ってテストデータで相関係数の評価を行った.

一方, FULL で限定された 5 個のフォローアップ発話は, FED データセットで相関が高かった発話が選ばれており, 別のデータセットでも適切なフォロー アップ発話なのか不明であるため, FULL で 5 発話に限定しない手法も比較する. さらに, 限定された 5 発話は全てネガティブのフォローアップ発話なので， ポジティブの発話のみや, ネガティブの発話のみを使って評価を行う. それ以外にも, GPT [15]のような基盤モデル [16] を用いて対数尤度を算出するため， フォローアップのテキストが発話である必要はない可能性があり, 評価項目名をそのままフォローアップとした手法の評価も行う。

## 4 実験

## 4.1 実験設定

本実験では, 対話ごとにつけられた人手評価と各手法によって得られる自動評価の相関係数を比較することで自動評価指標を評価する。評価データには, 対話システムライブコンペティション 3 [17] (以降, 対話コンペ 3)で行われた予選のデータ1)を使用する. 対話コンペ 3 にはオープントラックとシチュエーショントラックの 2 種類のトラックがあり,オープントラックではオープンドメインの対話, シチュエーショントラックではシチュエーションに沿った対話が行われている. どちらのトラックもワーカとシステムがチャットベースで対話を行っており, 人手評価は対話を行ったワーカが行う. オープントラックの評価指標は以下の 3 つでそれぞれ 5 段階で評価している.

・自然性：対話が自然かどうか

・話題追随：システムはユーザが選択した話題に関して適切に応答できたかどうか

・話題提供：システムはユーザが選択した話題に

1) https://dialog-system-live-competition.github.io/ dslc3/data.html
表 1 対話コンペ 3データセットのサイズ.

関して新たな情報を提供できたかどうか

これら 3 指標の平均点を各対話における人手評価のスコアとした. シチュエーショントラックの評価指標は以下の 1 項目で, 同様に 5 段階で評価している.

・どれくらいシチュエーションに適しており、かつ、人らしい会話か

データセットのサイズを表 1 に示す. 対話コンペ 3 に参加した一部のチームのデータは公開されておらず, 公開されているデータのみを実験の対象とした.

尤度を計算するための言語モデルは日本語で学習された $\mathrm{GPT}^{2}$ を利用した. フォローアップ発話は FED・FULL のフォローアップ発話を第一著者が人手で日本語に翻訳した. 対話ごとの人手評価と自動評価の相関は Spearman の順位相関係数と Pearson の相関係数を利用し算出する. 2 分割交差検証を行い 2 つの相関係数の平均を最終的な結果とする。

## 4.2 手法

実験では以下の手法を比較する。

FED FEDを日本語に適応した手法.

FULL FULLを日本語に適応した手法.

FED-Cond FED に 2 節で説明した FULL との差分, (1) 条件付き対数尤度を適用した手法.

FED-Cond-Pos FED-Cond のポジティブのフォローアップ発話のみを用いた手法.

FED-Cond-Neg FED-Cond のネガティブのフォローアップ発話のみを用いた手法.

FED-Cond-Tag FED-Cond のフォローアップとして, 発話の代わりに評価項目名を用いた手法.

FED-Selected FED の評価項目から検証データで選ばれた項目のみを用いた手法.

FED-Cond-Selected FED-Cond の評価項目から検証データで選ばれた項目のみを用いた手法.

## 4.3 実験結果

実験結果を表 2 に示す. 先行研究である FED と FULL の相関係数は,オープントラックではマイナ

2) https://huggingface.co/rinna/japanese-gpt-1b表 2 実験結果. Spear. は Spearman の順位相関係数, Pear. は Pearson の相関係数を示す

スで相関がないこと,シチュエーショントラックでは, Spearman の順位相関係数が 0.27 と多少の相関はあることがわかったが, 英語対話の評価結果とは大きく乘離があることを確認した. 先行研究をそのまま日本語対話の評価に適用することは難しいことがわかった。

FEDを条件付き対数尤度に変更した FED-Cond は， FED より高い相関を得ていることから, 2 節で説明した FULL との差分である, (1) の条件付き対数尤度は効果的であることを示しており, FULL より高い相関を得ていることから, (2) の 5 発話に絞ることは日本語対話の評価に悪影響を与えていることを示している. FED-Cond-Pos と FED-Cond-Neg を比較すると,オープントラックにおいては, ポジティブのフォローアップ発話のほうが効果的であるが, シチュエーショントラックにおいては, ネガティブのフォローアップ発話のほうが効果的であった. 効果的な発話が 2 つのトラックで異なったのは, シチュエー ショントラックの設定が”先輩からの「同窓会の幹事の依頼」を断りたい状況”であるため, システムの発話がネガティブに当てはまる場合が多かったことが理由として考えられる. その上で, FED-Cond の方が高い相関係数を得ていることから, ポジティブとネガティブどちらの発話も使ったほうが効果があると考えられる. FED-Cond-Tag は, どちらのトラックでも相関は見られず, 基盤モデルで実験を行う場合も評価項目名をフォローアップとして与えるより，評価項目の意図を反映するような発話を用いたほうが良いことがわかる. その上で, 検証データを用いて評価項目を選ぶ FED-Cond-Selected は他の手法と比較してどちらのトラックでも最も高い相関係数を得た. よって, 18 個の評価項目から一部の項目を使用することで相関係数が向上することを確認した.
表 3 オープントラックのランキング結果. 結果は”チー ム名 (スコア)" で表記する. 赤が正しく順位を予測できたチーム, 青が誤って順位を予測したチームを示す.

## 4.4 ランキング

本稿で提案した手法 FED-Cond-Selected は最も高い相関があることを確認したが, 今回使用したデー タセットである対話コンペ 3 予選の本来の目的は, チームのランキングを決めることである. よって, 対話それぞれの自動評価スコアをチームごとに平均することでチームのランキングを試みる.

ランキング結果とその Spearman の順位相関係数を, オープントラックは表 3 に, シチュエーショントラックは表 4 に示す. チーム名はわかりやすさのために順位の高い方からアルファベット順で表記した. オープントラックで, FED・FULLが正しく順位を予測したのはそれぞれ 1,2チームだけであったが, FED-Cond-Selected は正解の順位と完全に一致した.一方で, シチュエーショントラックでは, どの手法も正しく順位を予測したのは数チームであり, 相関係数は FULL が最も高かったが, FED-Cond-Selected も 0.77 と高い相関を示した。

## 4.5 考察

実験結果から, オープントラックで行われたオー プンドメイン対話に関しては比較的高い相関が見られ, ランキングが正解と一致したことから, 本稿で提案した手法は対話の自動評価を行える可能性があることを示唆している. 一方, シチュエーショントラックに関してはオープントラックと比べて相関係数が低く,ランキングが一致するチーム数も少なかった. これは, シチュエーショントラックの指標である”どれくらいシチュエーションに適しており、かつ、人らしい会話か” の前半部分であるシチュエーションに適しているかを今回使用したフォローアップ発話では測れなかった可能性があり,シチュエーションに特化した評価項目とそのフォローアップ発話を新たに作成することで対応できる可能性がある.

また, FED-Cond-Selected において, 2 分割交差検証で最も高い相関係数を得た評価項目の組み合わせは,オープントラックでは Specific, Relevant, Fluent の 3 項目と Interesting, Specific, Correct, Fluent $の 4$ 項目, シチュエーショントラックでは Interesting, Engaging, Specific, Fluent, Depth $の 5$ 項目と Specific, Relevant, Semantically Appropriate, Depth, Understand $\sigma 5$ 項目であった. 評価する対話の性質や目的, 状況により必要な項目は変化すると考えられるが, 今回使われた項目数は最大で 5 項目であることから, 18 項目全てを利用する必要はないことを確認した. 選ばれた評価項目で互いのトラックを評価すると,オープントラックの組み合わせを使用したシチュエーショントラックの Spearman の順位相関係数は 0.320 , シチュエーショントラックの組み合わせを使用したオープントラックの Spearman の順位相関係数は 0.529 となり,性能の劣化はあまり見られなかった.

## 5 おわりに

本稿では, 対話の自動評価指標である FED・FULL が日本語対話の評価に利用できるか検証した結果，人手評価とはほとんど相関がないことを確認したが, 一方で 18 個の評価項目からいくつかの項目だけを選んで利用することで相関係数が向上することを示した. その上で, 選んだ項目のみを用いる手法でシステムの順位を予測したところ, オープンドメインの対話とシチュエーションに特化した対話のどちらも高い相関を示した. 今後の展望としては, 今回提案した手法をさらに発展させて, 使用するフォロー アップ発話を対話ごとに動的に選んで自動評価を行う枠組みを構築したい. また, 今回選ばれた評価項目を他の対話データに適用したときに, 同様の結果を得られるか検証を行っていきたい。

## 参考文献

[1] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, et al. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage. arXiv preprint arXiv:2208.03188, 2022.

[3] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[4] Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. Lamda: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022.

[5] Tianbo Ji, Yvette Graham, Gareth Jones, Chenyang Lyu, and Qun Liu. Achieving reliable human assessment of open-domain dialogue systems. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6416-6437, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[7] Jiannan Xiang, Yahui Liu, Deng Cai, Huayang Li, Defu Lian, and Lemao Liu. Assessing dialogue systems with distribution distances. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2192-2198, Online, August 2021. Association for Computational Linguistics.

[8] Shikib Mehri and Maxine Eskenazi. USR: An unsupervised and reference free evaluation metric for dialog generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 681-707, Online, July 2020. Association for Computational Linguistics.

[9] Shikib Mehri and Maxine Eskenazi. Unsupervised evaluation of interactive dialog with DialoGPT. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 225-235, 1st virtual meeting, July 2020. Association for Computational Linguistics.

[10] Maxime De Bruyn, Ehsan Lotfi, Jeska Buhmann, and Walter Daelemans. Open-domain dialog evaluation using follow-ups likelihood. In Proceedings of the 29th
International Conference on Computational Linguistics, pp. 496-504, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[11] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pretraining for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, Online, July 2020. Association for Computational Linguistics.

[12] Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, and Jie Zhou. Conversations are not flat: Modeling the dynamic information flow across dialogue utterances. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 128-138, Online, August 2021. Association for Computational Linguistics.

[13] Chen Zhang, Yiming Chen, Luis Fernando D'Haro, Yan Zhang, Thomas Friedrichs, Grandee Lee, and Haizhou Li. DynaEval: Unifying turn and dialogue level evaluation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5676-5689, Online, August 2021. Association for Computational Linguistics.

[14] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[15] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[16] Rishi Bommasani, Drew A Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021.

[17]東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 角森唯子, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博, 小室允人, ドルサテヨルス. 対話システムライブコンペティション 3. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 90, p. 23, 2020.


# 基盤モデルを用いたフェイスアクト分類

櫻井大雅 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
\{hsakurai, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究では二つの仮説に基づき，人間関係に関する欲求のフェイスに影響を及ぼす発話行為であるフェイスアクトを，基盤モデルの一つである GPT-3 を用いて分類する。まず，GPT-3がフェイスアクトが何であるかを把握していると仮定し，その能力を few-shot 学習によって引き出せるか否かを検証する。次に，事前学習がフェイスアクト分類に有益であると仮定し, fine-tuning した GPT-3を先行研究のモデルと比較する. few-shot 学習によるフェイスアクト分類は困難な一方で， fine-tuning した GPT-3 は先行研究を上回る分類精度を発揮した。

## 1 はじめに

ポライトネス理論は，人間関係を円滑にするために用いられる言語的配慮を説明する理論である. 今日広く知られているものは，ブラウンとレヴィンソン $(\mathrm{B} \& \mathrm{~W})$ がフェイスと呼ばれる概念を援用して定義した [1]. フェイスとは，抑圧からの解放や自尊心といった人間の生来的な欲求であり，フェイスに影響を与える発話行為をフェイスアクトと呼ぶ. フェイスやフェイスアクトは, 社会言語学や語用論の分野で確立された概念であり，最近では説得対話システムの開発においても注目されている $[2,3]$.

フェイスアクト分類は，ある発話が持つフェイスアクトの種類を判定するタスクである. 先行研究 [3] は階層型ニューラルネットワークによる教師あり学習を用いたが，このようなモデルは特定のドメインでの学習が必要であり汎化性に欠ける.

本研究では基盤モデルのフェイスアクト分類に対する有用性について, 基盤モデルの一つである GPT-3[4] を用いて二つの仮説を検証する。一つ目は，GPT-3がフェイスアクトに関する知識を獲得しているという仮説である.これを検証するため，発話とフェイスアクトのペアを正解例としてテストデータと共に与える few-shot 学習を行うことで，
フェイスアクト分類が可能になることを確認する. few-shot 学習は教師あり学習よりもドメインに対する依存性が低いため，より汎用的な分類が可能になると考えられる。二つ目は，GPT-3 はフェイスアクトに関する知識を持たないとしても，事前学習を通じて分類に有用な知識を得ているという仮説である.これを検証するため，発話とフェイスアクトのペアを訓練データとする教師あり学習を行ったモデルを用いてフェイスアクトを分類する。

実験により, few-shot 学習ではフェイスアクトの分類が困難であることが判明した. すなわち， GPT-3 はフェイスアクトの知識を有していないか,知識を有しているとしても今回の実験では活用できなかった可能性がある。一方，fine-tuning した GPT-3 は先行研究を上回る分類精度を発揮し, 訓練データを $25 \%$ 程度に減らして fine-tuning を行った場合に先行研究と同程度の精度が得られることを確認した. 加えて fine-tuning した GPT-3 の出力を精査し，分類性能向上における課題を分析した.

## 2 背景

## 2.1 フェイスとフェイスアクト

他者との人間関係に関連する欲求であるフェイスの概念はゴッフマン [5] によって導入され，B\&W のポライトネス理論でポジティブフェイスとネガティブフェイスの二種類に分類された. 前者は他者から認められたり，好かれたりしたいといった欲求である一方で，後者は自身の自由や領域を他人に侵されたくないといった欲求である.

フェイスアクトは，話者や聴者のフェイスに影響を与える発話行為である. 先行研究 [3] は以下の三基準を用いてフェイスアクトを八種類に分類した。

・フェイスアクトが話者(s)に向けられたものか, それとも聴者 $(\mathbf{h})$ に向けられたものか

・フェイスアクトがポジティブフェイス (pos) に
表 1 フェイスアクトが付与された会話の一部 [3]. 二人の会話参与者のうち，一人は説得者 ER，もう一人は被説得者 $\mathrm{EE}$ の役割を持ち，ERはEEに寄付を促す。

話者発話 1 ラベル

ER Would you be interested today in making a do- hnegnation to a charity?

EE I've seen a lot of commercials about them, but hpos+ never did a lot of research about them.

ER They are actually really great.

spos+

向けられたものか，それともネガティブフェイス(neg)に向けられたものか

・フェイスが守られたのか (+)，それとも攻撃されたのか (-)

## 2.2 フェイスアクト分類

本研究は, 先行研究 [3] の定式化を踏襲している.会話 $D$ を構成する $n$ 個の発話 $D=\left[u_{1}, u_{2}, \ldots, u_{n}\right]$ に対し，フェイスアクト $y_{1}, y_{2} \ldots, y_{n}$ をつずつ割り当てる. ラベル $y_{i} \in Y$ は八種類のフェイスアクト，または other（フェイスに影響しない挨拶やフィラー，会話の本題と無関係な発話等）のいずれかである.

フェイスアクト分類に用いられる代表的なデー タセットは, Save the Children (STC) という慈善団体への募金活動に関する二者間での説得対話 [6] フェイスアクトをアノテーションしたものである [3]. 表 1 にデータセット中の会話の例を示す.このデータセット中の発話は，データセットに現れない sneg-を除く七つのラベルに, other（フェイスアク卜なし）を加えた八つのいずれかに分類される.

## 2.3 GPT-3

GPT-3 は基盤モデルの一つであり，分類，質問応答，翻訳など様々なタスクに適用可能である [4]. GPT-3 の能力を引き出すには，自然言語で書かれたクエリのプロンプトを用いることが多い $[7,4]$. 頻繁に用いられるプロンプトの形式に質問応答形式 $[8,9,10]$ がある. 要約や感情分析などのタスクが対象とする文章を質問形式で GPT-3 に入力し, 出力をタスクの答えとみなす形式である. 先行研究では， プロンプトにタスクの指示を含めることで無効なラベルの生成が抑制されると報告されている [11].

プロンプトを用いて GPT-3 の言語理解能力を発揮する基本的な方法の一つが few-shot 学習である. few-shot 学習では，プロンプトはタスクに関する説明と数個の正解例, さらにテストデータから構成される。また, few-shot 学習以外で GPT-3を活用する方法は，対象とするタスクに関する十分な訓練デー タを用いて, 教師あり学習でモデルを訓練する手法 (fine-tuning) が考えられる. fine-tuning した GPT-3 に推論のためのテストデータのみをプロンプトとして与え，モデルの出力を分類結果とみなす.

## 3 手法

本研究ではまず，few-shot 学習を用いたフェイスアクト分類を行う。次に， fine-tuning したGPT-3を用いてフェイスアクト分類を行う．最後に，訓練データの量を元の $25 \% ， 50 \% ， 75 \%$ にそれぞれ減らして fine-tuning したモデルを用いてフェイスアクト分類を行い，分類精度が変化する様子を確認する.

## 3.1 プロンプト

2.3 節で述べた先行研究に基づいてプロンプトを設計する. 本研究では，表 2 に示す「タスクの説明・発話履歴・ラベル」の三つ組をデモンストレーションと呼ぶ. デモンストレーションは，分類タスクで頻繁に用いられる質問応答形式を骨子としている.本研究で用いるラベルは, Yes/No, Positive/Negative, True/False などの一般的な選択肢ではないため，無効なラベルの生成抑止を目的として，有効なラベルの一覧をデモンストレーション中に含めた.

few-shot 学習ではデモンストレーションを複数並べたものを用意し, その末尾にデモンストレーションの形式に従ったテストデータを加えたものを一つのプロンプトとみなす. 一方 fine-tuning では, 正解ラベルを除いたデモンストレーションをプロンプトとし，正解ラベルを生成するように訓練を行う。

また, 先行研究 [3] では，過去の発話を考慮することがフェイスアクト分類に有効と主張している. そこで本実験では発話履歴の長さを変え，その効果を検証する．履歴の長さは，フェイスアクト分類の対象となる発話のみをデモンストレーションに入れる場合を長さ 1 とし，それに加えて過去の発話を一つ，または二つ含める場合の計三種類を検証する。

## 3.2 データ分割とその扱い

本研究では 2.2 節で述べたデータセットを用いる. 内訳は付録 A の表 6 に記載する. GPT-3 の fine-tuning を行うため，データセットの $80 \%$ を訓練データに，残りの $20 \%$ をストデータに分割する.
表 2 発話履歴の長さが 3 の場合のデモンストレーションを示す. 灰色で網掛けされた部分は発話に応じて変更され，それ以外の部分は実験全体を通じて固定される。テストデータでは “Answer:”の直後を空欄とする．GPT-3 はその空欄を埋めるトークン列（図中では枠線で囲まれた hpos-が該当する）を出力し，それが分類結果と見なされる.

デモンストレーション (プロンプトの一部)

Question: Read the following script, and classify EE 's last utterance of the script " Not really, please tell me anything! " based on whether its face act is spos+, spos-, hpos+, hpos-, sneg+, hneg+, or hneg-. If there is no corresponding face act, then classify it as other. Note that "STC" stands for "Save the Children."

Script:

ER: I'd like to tell you about an organization called Save the Children.

ER: Have you heard about them?

EE: Not really, please tell me anything!

Answer: hpos-

なお，few-shot 学習では，訓練データはプロンプトに含めるデモンストレーションを作成するためにのみ使用し，テストデータの分類結果を報告する。 few-shot 学習では, データセット中の八種類のラベルについて, 訓練データから発話を二つずつ無作為に抽出してデモンストレーションを作成する。また，プロンプト内のデモンストレーションの内容や順序などの影響を抑えるために，中身が異なる三種類のプロンプトを用意し，それらを用いた場合の分類結果の平均をとる。一方 fine-tuning においては，訓練データ中のフェイスアクトの分布の偏りを軽减するためにオーバーサンプリングを適用する.

## 4 結果

各設定における実験結果を表 3 に記載する。まず few-shot 学習では, 分類性能は全体として先行研究よりも低くなった. また, 発話履歴を長くすることで無効な出力が増えると同時に性能が低下する傾向が見られた.これは分類対象の発話に焦点が当て難くなったためであると考えられる。一方で spos+や hneg-, other などは他のラベルと比較して F1 スコアが高くなっており,未知のタスクであっても few-shot 学習によりフェイスアクトの傾向を把握し,分類を行うことは不可能ではないことが窥える.

一方で fine-tuning では全ての設定で先行研究を上回る精度を得た. 加えて，履歴が長いほど各フェイスアクトのF1 スコアが向上した. 訓練データが少ないラベル (spos-, hpos-, sneg+, hneg+) の予測は，訓練データが豊富にあるものと比べて分類性能が落ちた. 図 1 に示す通り，訓練データを $25 \%$ 程度に減らしたとしても先行研究と同程度の性能が維持されたが，データを増やすことによる性能向上の恩恵はそれほど大きくはない.これは全体の性能向上にはデータ数が僅少なラベルの分類性能を向上させ

図 1 訓練データの量を変えてモデルを fine-tuning した場合の分類結果を示す. 赤波線は先行研究 [3] で得られた F1 スコアのマクロ平均である. 左端の点群は訓練データを用いない場合（zero-shot 学習）の結果を示している.

る必要があり，データ数そのものを増やすよりも， ラベルの偏りを減らす必要があると示唆している。

## 5 考察

few-shot 学習と比較した fine-tuning の利点と, fine-tuning を行っても分類が困難な実例を考察する。

## 5.1 fine-tuning $の$ 利点

一つのフェイスアクトに対して二つの例のみ与える few-shot 学習に比べ, fine-tuning では様々なパターンの発話を提供できる。そのためフェイスアクトの類型化に成功した可能性があり, few-shot 学習と比べて分類精度が向上した. また, fine-tuning $の$方が few-shot 学習よりも履歴を意識した分類が可能となった。その効果は，F1 スコアのマクロ平均の向上に関係した spos-の分類を通じて見てとれる. 要求を拒否する発話は一文が短く，また遠回しに言われることも多いため, 過去の履歴を参照する必要がある。例えば表 4 の最後の発話は，EE が ER の要求
表 3 それぞれの設定におけるフェイスアクト分類の結果を示す. Dutt は先行研究 [3] で得られた結果を示しており, “Few” は few-shot 学習における結果，“Fine” は fine-tuning の結果を示している. “Few”と “Fine” の右横の数字は発話履歴の長さを示している。“Acc”は accuracy，“F1”はそれぞれのラベルに対する F1 スコアのマクロ平均，そして “\#Inv”は，全 2174 件のテストデータのうち，出力が有効なフェイスアクトではなかったものの数を示す. フェイスアクトの列にあるそれぞれのセルは，特定の実験設定における precision，recall，そして F1 スコア（p/r/f1）を示している. few-shot 学習の結果は 3 回の試行の平均を取ったものである.

 & - & - &  &  & .69 & .60 & \\

表 4 最後の発話が spos-に分類される会話の例.

表 5 fine-tuning した GPT-3 では分類できなかった発話の例. 予測の列は発話履歴の長さが 3 であった時の GPT-3 の予測を示している。

 & sneg+ hpos+ \\

を拒否する発話であるため spos-に分類される.このように短い発話は同じ発話であってもフェイスアクトが一意に定まらず，発話履歴はその曖昧性を解消するために有用な情報を与えうる。

## 5.2 fine-tuning では対応が難しい事例

表 5 で最初に挙げる二つのパターンは，高度な自然言語理解が必要で，現在の手法では本質的に解決困難な問題である．後者の二つのパターンは，デー タセットの性質に関連するものである.

第一の問題は婉曲表現に対する弱さである．表 5 の最初の例は，「よく知らない団体には寄付できない」という躊躇を含意している．話者が自身の都合を述べる発話は間接的に伝えられることが多く， フェイスアクトの分類が困難な場合がある。

第二の問題は，GPT-3 が話者の立場を正確に把握できないことである．表 5 の二番目の例のように， EEが他の団体（Make-A-Wish）に寄付する意思を示
した場合，EE は ER の要求よりも自分の意志を優先しているために spos+と分類される。一方で EE が 「STC に寄付する」と言えば，ER の願望に合致し， ER の面目を保てるためhpos+に分類される. このように，同じ「寄付」という行動であっても話者の立場によってフェイスアクトは変化しうる。

第三の問題は，未来の発話が参照できないために，完了していない発話が分類し難い点である．元データの正解ラベルは会話全体を見ることで付与される場合があり，特に短い発話は前後の発話と同じラベルが付与される。例えば表の三番目の例は，それだけでは spos+に分類されないが，直後の ER の発話が「STC はお金を有効に使っている」と主張しているため，連続する会話を踏まえて STC の正当性を支持するものと見なされ，spos+に分類される。

第四の問題は，類似した特徴を持つフェイスアクトが判別しにくいことである。例えば表 5 の例 4-a と 4-b は，ER が EE に善行を促す発話（hpos+） と，ER が寄付の負担を減らすことを目的とした発話（hneg+）の 2 通りの解釈が可能であるため，似た内容の発話であってもラベルが一致していない.

## 6 おわりに

本研究では，GPT-3 を用いた few-shot 学習によるフェイスアクト分類が現状では困難であると明らかにした一方で，fine-tuning を用いることで従来のモデルよりも性能が向上することを確認した。また，訓練データを $25 \%$ 程度に減らしても先行研究と同程度の性能を維持することを確認した. 今後は他の説得対話データセットにアノテーションを施し，汎用的なフェイスアクト分類に基盤モデルが有効であるかを検討したい.また，より高度なプロンプトの設計手法を採用することも有望な方針である.

## 謝辞

理化学研究所の吉野幸一郎氏には，本研究を始めるにあたり貴重なご助言を賜りました。ここに感謝の意を表します。本研究は JSPS 科研費 JP19H05692 の助成を受けたものです.

## 参考文献

[1] Penelope Brown and Stephen C Levinson. Universals in language usage: Politeness phenomena. In Questions and politeness: Strategies in social interaction, pp. 56-311. Cambridge University Press, 1978.

[2] Ritam Dutt, Sayan Sinha, Rishabh Joshi, Surya Shekhar Chakraborty, Meredith Riggs, Xinru Yan, Haogang Bao, and Carolyn P. Rosé. Resper: Computationally modelling resisting strategies in persuasive conversations. In Paola Merlo, Jörg Tiedemann, and Reut Tsarfaty, editors, Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 23, 2021, pp. 78-90. Association for Computational Linguistics, 2021.

[3] Ritam Dutt, Rishabh Joshi, and Carolyn P. Rosé. Keeping up appearances: Computational modeling of face acts in persuasion oriented discussions. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 7473-7485. Association for Computational Linguistics, 2020.

[4] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, MariaFlorina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[5] Erving Goffman. Interaction Ritual: Essays in Face to Face Behavior. AldineTransaction, 1967.

[6] Xuewei Wang, Weiyan Shi, Richard Kim, Yoojung Oh, Sijia Yang, Jingwen Zhang, and Zhou Yu. Persuasion for good: Towards a personalized persuasive dialogue system for social good. In Anna Korhonen, David R. Traum, and Lluís Màrquez, editors, Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 5635-5649. As- sociation for Computational Linguistics, 2019.

[7] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[8] Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event, Vol. 139 of Proceedings of Machine Learning Research, pp. 12697-12706. PMLR, 2021.

[9] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, Vol. abs/2201.11903, , 2022.

[10] Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, and Pontus Stenetorp. Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2022, Dublin, Ireland, May 22-27, 2022, pp. 8086-8098. Association for Computational Linguistics, 2022.

[11] Ke-Li Chiu and Rohan Alexander. Detecting hate speech with GPT-3. CoRR, Vol. abs/2103.12407, , 2021.
表 6 左から八列はデータ中のラベルの分布を示しており, 最右列は会話の数を示している. 発話は一つのフェイスアクトがアノテーションされたテキストを指し，会話は特定の二人の会話参与者がやりとりする発話の全体を指す.

## A データセットの分割

表 6 に，本実験における訓練データとテストデー タの内訳を示す.ドナー会話は EE が募金に賛同した会話を示し，非ドナー会話は EE が募金に賛同しなかった会話を示す. 本実験では，ドナー会話と非ドナー会話のうちそれぞれの $80 \%$ 無作為に抽出したものを訓練データとし，残りをテストデータとした.

## B モデルと推論時の設定

本実験では四種類の GPT-3 のモデル（Ada, Babbage, Curie, Davinci) のうち, Curie と Davinciを採用した. few-shot 学習では, 1750 億のパラメータを持つ最も強力な Davinci モデル (text-davinci-002) を採用した。一方で fine-tuning では，二番目に性能の良いモデルである 130 億のパラメータを持つ Curie モデル（text-curie-001）を採用した. モデルの学習や推論をさせる際には, OpenAI の API ${ }^{1)}$ を利用した. また, fine-tuning のハイパーパラメータは OpenAI の API のデフォルトの設定を利用した.

推論に関するモデルのパラメータには「温度」と 「出力トークン数」がある. 本実験では, 出力のランダム性を排するために温度を 0 に設定した.また, 出力トークン数は 3 とした. GPT-3 のトークナイゼーションでは other が 1 トークンであり，他のフェイスアクトは全て 3 トークンである. そのため，フェイスアクトに無関係なトークンはなるべく出力しないようにするために, 最大 3 トークンまでしか出力しない設定とした.