# 魅力的な対話応答生成のための複数教師による知識蒸留

Ritvik Choudhary 河原大輔
早稲田大学理工学術院
\{ritvik@fuji.,dkw@\}waseda.jp

## 概要

オープンドメイン対話応答生成は、未だに人間の 精度には及ばないタスクの一つである。近年の生成 モデルの発展にもかかわらず、モデルは知識を活用 することができず、一般的で無味乾燥な応答が多く みられる。先行研究では、感情や知識ベースなどの 外部文脈をモデルに付加することでこの問題に対処 している。本論文では、対話応答生成にモデルのパ ラメータ内知識を利用した新たなアプローチを提案 する。魅力的な対話応答を生成するための 2 つの能力を定義し、それぞれを持つ複数の教師モデルを構築する。教師モデルから関連する知識を蒸留するこ とによって、より魅力的な対話応答生成が可能な生徒モデルを学習する。学習された生徒モデルの自動及び人手評価を行った結果、提案手法の有効性を確認した。

## 1 はじめに

人工知能が日常生活に普及するにつれ、単純な受 け答えを超えた魅力的な対話ができる対話システム の実現が期待されている。オープンドメイン対話応答生成タスクは、そのような対話を生み出す可能性 を秘めており、これまでにも多くの研究がなされて いる $[1,2]$ 。特に最近では、数千億パラメータに及 ぶ超大規模言語モデル (LLM) の登場により、大きな 進展がある [3]。しかし、LLM はサイズが大きく、 アクセスも制限されているため、さらなる学習やス ケーラビリティに問題がある [4]。

そのため、本論文ではより広く使われている中規模モデル [5] に焦点を当てるが、これらのモデル は生成された応答において魅力的でないという問題がある [6]。根本的な原因の一つは、学習中にモ デルが関連する知識を持たないことにあり、その 結果、無味乾燥な応答が多くなってしまうことに なる。

この問題に対処するため、先行研究ではペルソナ情報の追加 [7]、外部知識ベースの利用 [8]、また情報検索の応用 [9] が検討されている。これらの先行研究の多くは、生成モデルに知識を補うことで応答 の品質を高めることに焦点を当てている。一方、モ デルのパラメータ内知識を直接活用する手法の一つ として知識蒸留 [10] があり、対話生成にも適用され ている [11]が多くない。本研究は、上記の対話応答生成の問題を解決するために、知識蒸留に基づく新 たなアプローチを試みる。人間の学び方に倣い、魅力的な対話応答生成というタスクに必要な能力を複数の教師モデルに分割し、各教師のパラメータに保持されている関連知識を蒸留しながら、生徒モデル に応答生成を学習させることを目指す。

魅力的な対話応答を生成するには、以下の 2 つの能力が必要であると考える。(1) 会話能力 (conversational ability, 対話応答の発話に対する関連性)、(2) 情報提供能力 (informativeness, または知識性)。まず、それぞれの能力に対応する 2 つの教師 モデルを学習する。次に、2つの教師モデルから知識蒸留を行い、応答生成のタスクにおいて生徒モデ ルを学習する。このアプローチにより、生徒モデル は、より魅力的な対話応答生成に必要な複数の能力 を効果的に学習することができる。オープンドメイ ンの対話データセットを用いた実験の結果、様々な ベースラインを上回り、提案手法の有効性が示さ れた。

## 2 関連研究

知識に基づく応答生成モデル 自然言語生成にお いて、知識に基づく seq2seq モデルの分野では様々 な研究が行われている。近年の研究ではペルソナや 共感情報を考慮する手法 [12] や、より適切で魅力的 な応答を生成するために、知識に基づくオープンド メイン対話生成 [8]を発展させた手法もある。また、外部の知識ベースを照会し、応答を生成するように 情報検索とテキスト生成を統合したアプローチもあ る [13]。外部知識べースを取り込むことを意図した

Expert distillation loss $L_{\mathrm{Ex}}$

Dialogue task-specific loss $L_{\mathrm{NLL}}$

図 1 提案手法の概要

既存の研究 [8] とは異なり、本研究はモデルのパラ メータ内に蓄積された知識を利用することに焦点を 置く。この点に関する先行研究には、言語モデルの 内部知識の更新に注目しているもの [14] はあるが、提案手法は対話応答生成のタスクに内部知識を利用 することを目的としている。

知識蒸留と対話応答生成 知識蒸留 (Knowledge Distillation, KD) [10] は、当初コンピュータビジョン の分野で提案されたが [15]、最近では様々な言語処理タスクで利用されている [16]。しかし、対話応答生成における知識蒸留の利用は比較的少ない。近年 では、知識蒸留を用いたデータ拡張 [11] の他、対話生成のためにカリキュラム学習と KDを組み合わせ るアプローチ [17] が提案されている。本研究は、こ のアプローチ [17] と同様の分野ではあるが、より魅力的で情報量の多い応答を生成するために、複数の 専門教師の学習と蒸留に焦点を当てている点が異 なる。

## 3 提案手法

本節では、オープンドメインの対話応答生成にお いて、複数の教師モデルから効果的に知識蒸留を行 い、生徒モデルの生成結果の魅力度を向上させるた めの手法について述べる。まず、対話応答生成タス クを定式化し、次に提案手法を述べる。

## 3.1 対話応答生成

対話応答生成のタスクは、入力発話 $\mathbf{u}$ が与え られたときの応答 $\mathbf{r}=\left(r_{1}, r_{2}, \ldots, r_{m}\right)$ を予測する。入力発話 $\mathbf{u}$ が与えられたときに、モデルが確率 $p\left(r_{i} \mid r_{<i}, u ; \theta\right)$ に従って応答 $\mathbf{r}$ を生成できるように、 モデルのパラメータ $\theta$ を学習する。モデルパラメー タは次の損失関数、すなわち負対数尤度 (NLL) を最小化することで学習できる。

$
\mathscr{L}_{\mathrm{NLL}}(\theta)=-\sum_{i} \log p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right)
$

## 3.2 複数教師による知識蒸留を用いた応答生成

本研究では、魅力的な応答生成に必要な 2 つの能力に着目する。会話能力と情報提供能力である。ま ず、オープンドメインと知識関連の対話データに対 して、それぞれ $\operatorname{Ex}(\mathrm{D})$ と $\operatorname{Ex}(\mathrm{K})$ という 2 つのモデル を、3.1 節の NLL loss に従って学習する。これらの モデルは知識蒸留 (KD) を通して、生徒モデルの教師として機能する。図 1 に提案手法の概要を示す。

KD [10] は、ある教師と生徒モデルが与えられた とき、それらの出力確率分布間の Kullback-Leibler (KL) 距離を最小にすることによって、生徒の確率分布を教師に近づける手法である。生徒 $S$ と教師 $T$ の 予測分布 ( $\mathbf{r}_{s}$ と $\mathbf{r}_{t}$ とする) に対して、KD は次の距離 を最小化する。

$
\mathscr{L}(\mathrm{T})_{K D}=\mathrm{KL}\left(\mathbf{r}_{s} \| \mathbf{r}_{t}\right)
$

複数の教師モデルが存在する場合、生徒には各教師からの得る知識を最適化することが重要になる。 また、知識蒸留の先行研究 [18] では、生徒と教師モ デルの出力確率分布の差が大きい場合、生徒モデル の学習に悪影響を及ぼすという、容量ギャップの問題が指摘されている。

そこで、カリキュラム学習やアクティブラーニン グにおける生徒中心の学習方法 [19] にならい、学習中に教師モデルの蒸留信号を効果的に調整するた めの指標として、生徒による応答の難易度を考慮す る。先行研究 [19] に従い、本研究では生成された応答に対する生徒モデルのエントロピー $H$ を難易度 の指標とみなす。

$
H=-\sum_{i} p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right) \log p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right)
$

難易度を生徒モデルの自信としても考えることもで きる。

上記の指標に基づき、バッチ内の応答を簡単なも のから難しいものへと並び替え、各教師からの蒸留信号はその順序に従って分割する。例えば、難しい 応答の場合、生徒 $S$ は学習しやすい教師の指導を受 け、もう一方の教師から、より簡単な応答について 指導を受けることになる。よって、教師モデルから 蒸留信号の分割を以下のように定式化する。

$
\mathscr{L}_{\mathrm{Ex}}=\gamma \mathscr{L}(\operatorname{Ex}(\mathrm{D}))_{K D}+(1-\gamma) \mathscr{L}(\operatorname{Ex}(\mathrm{K}))_{K D}
$

ここで、 $\gamma$ は教師モデル間のバランスをとるための パラメータとする。

式 (1)と (4)を組み合わせることで、生徒モデルの 対話応答生成タスクで最適化すべき全体の損失関数 $\mathscr{L}$ を以下のように定義する。

$
\mathscr{L}=\mathscr{L}_{\mathrm{NLL}}+\lambda \mathscr{L}_{\mathrm{Ex}}
$

## 4 実験

本研究では、多様なオープンドメインの対話デー タセットを用いて提案手法を評価する。様々なべー スラインモデルの組み合わせと比較し、本研究のア プローチの有効性を確認する。

## 4.1 実験設定

本研究では様々なオープンドメインと知識的対話 で fine-tuning された BART ベースの seq2seq モデル を教師と生徒モデルとして採用する。モデルの学習 には Adam optimizer を用い、学習率 3e-5 のデフォル トパラメータで学習する。実装には Hugging Face ラ イブラリを使用する。

## 4.1.1教師モデル

3.2 節で述べたように，会話能力を表す $\operatorname{Ex}(\mathrm{D})$ と、情報提供能力を表す $\operatorname{Ex}(\mathrm{K})$ という 2 つの教師モデ

ルを学習する。Ex(D) はオープンドメインの対話 データセットで学習した BART-large モデルであり、 $\operatorname{Ex}(\mathrm{K})$ は情報や知識が多い疑似対話データセットで 学習した BART-base ${ }^{1)}$ モデルである。Ex(D) の単純 な日常会話に比べ、 $\operatorname{Ex}(\mathrm{K})$ はより情報量の多い（多様な）データセットで学習される。そのため、知識 の教師である $\operatorname{Ex}(\mathrm{K})$ は $\operatorname{Ex}(\mathrm{D})$ よりも難しいタスクを 学習した教師であると想定される。すなわち、生徒 にとって、 $\operatorname{Ex}(\mathrm{K})$ が $\operatorname{Ex}(\mathrm{D})$ よりも学習が困難な教師 である。なお、提案手法では学習時、生徒による学習サンプルの難易度に基づいて教師を選択する。し たがって、学習の過程では生徒にとって難易度の高 いサンプルは、学習しやすい教師 $\operatorname{Ex}(\mathrm{D})$ の信号を受 け、その逆も同様である。本研究では、 $\gamma=0.5$ に設定し、教師モデルは均等にバランスされている。

## 4.1.2 データセット

本研究では様々なオープンドメインの対話と知識 に基づく対話データセットを用いて、教師と生徒モ デルの fine-tuningを行う。

Open-domain dialogue datasets (ODD) 高品質な 日常対話データセットとして DailyDialog [20] DailyDialog++ [21]、Cornell Movie-Dialogs Corpus [22] の 3 種類をマージして教師 Ex(D) と生徒モデルの学習に用いる。各モデルの学習サンプル数を 200,000 に固定する。

知識疑似対話データセット 知識教師 $\operatorname{Ex}(\mathrm{K})$ の学習では、Wikipediaから抽出した擬似対話データセッ トである WikiDialog [23]を用いる。さらに、Reddit から抽出した対話データセット [13]を用いて別の教師 $\mathrm{Ex}\left(\mathrm{K}_{R}\right)$ を学習し、比較する。

なお、知識の対話データがより複雑であるため、教師モデルの学習サンプル数を 500,000 に設定する。
(\mathrm{K})$ について比較的安定した学習ができ ることから選択。
}
表 2 生成された応答の自動評価結果。ODD 4.1 .2 節の Open-Domain Dataset の集合である。

表 3 各評価観点において提案手法の勝率 (\%)

## 4.2 評価

提案手法の有効性を確認するため、ODD テスト セットで生成された応答について自動評価と人手評価を行う。なお、教師モデルによって学習条件が異 なるため、比較対象は同規模のベースラインに限定 する。

ベースライン 4 つの異なるベースラインを学習 し、比較する。まず、4.1.2 節で述べた ODD で直接学習したバニラ BART-base モデル (以下「バニラ」) は提案手法の同サイズの生徒モデルと直接比較す る。次に、複数教師の効果を確認するため、どちら か一つの教師モデルのみで学習したベースライン (標準的な知識蒸留に相当、以下「Ex(D)-Distill」と 「Ex(K)-Distill」)を比較する。最後に、Wikipedia べー スのモデルを知識教師として使用する効果を測る ため、Reddit ベース (4.1.2 節) の教師モデル Ex $\left(\mathrm{K}_{R}\right)$ を学習し、 $\operatorname{Ex}(\mathrm{K})$ と入れ替えた組み合わせ (「Multi $\left.\operatorname{Expert}\left(\mathrm{w} / \operatorname{Ex}\left(\mathrm{K}_{\mathrm{R}}\right)\right)\right.\lrcorner$ 以下、「ME-Ex $\left.\left.\left(\mathrm{K}_{\mathrm{R}}\right)\right.\lrcorner\right)$ を提案手法と比較する。

自動評価 生成された応答に対して自動評価を 行う。先行研究に従い, BLEU とパープレキシティ (PPL) [24] のスコアを算出する。

人手評価 自動評価指標は、生成された対話応答 の質とあまり相関がないことが先行研究で報告さ れている [25]。そこで、ACUTE-Eval の手法 [2] に従 い、提案手法とベースラインモデルの応答をぺア
ごとに人手評価を行う。評価は、Amazon Mechanical Turk を介して 2 つの指標で行う。一つは会話能力 (Engagement) であり、その応答をした相手とさらに 会話を継続したいかどうかを表す。もう一つは情報提供能力 (Informativeness) であり、その応答が知識 に富んでいるかどうかを表す。評価者となるクラウ ドワーカーには、テストデータから無作為に選んだ 100 個の応答を上記の各指標に基づいて比較するよ うに求める。各応答は 7 人の評価者による多数決で 勝敗を決定し、提案手法の勝率を算出した。

## 4.3 結果

評価結果を表 2、表 3 にまとめる。BLEU では提案手法が各ベースラインを上回ることが確認され た。さらに、提案手法の PPL も低い值となってい る。なお、提案手法の PPL が最小値ではない原因 は、生成された応答が多様であるためだと考えられ る。しかし、前述したように、n-gram からなる指標 は応答の品質を正確に表現していないことが示され ている [25]。そのため、生成された応答の人手評価 も実施した。人手評価では、提案手法によって全て のベースラインに対して双方の指標が改善した。さ らに、単一教師 (通常の KD) のベースラインより提案手法が全体として勝率が高いため、会話能力と情報提供能力の双方がより魅力的な回答を生成する上 で重要な役割を果たすことも示された。提案手法と ベースラインによる生成応答の例を付録 A に示す。

## 5 おわりに

本論文では、モデルのパラメータに含まれる知識 を学習、活用することで、より魅力的な対話応答生成のためのアプローチを提案した。具体的には、2 つの異なるドメインの対話について学習した複数の 教師モデルから知識蒸留を行う手法を提案した。こ れにより、対象となる生徒モデルは両方の教師ドメ インから学習することができ、自動評価と人手評価 の双方で、より魅力的で情報量の多い対話応答生成 ができることが確認された。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った。

## 参考文献

[1] Apoorv Kulshreshtha, Daniel De Freitas Adiwardana, David Richard So, Gaurav Nemade, Jamie Hall, Noah Fiedel, Quoc V. Le, Romal Thoppilan, Thang Luong, Yifeng Lu, and Zi Yang. Towards a human-like open-domain chatbot. In arXiv. 2020. abs/2001.09977.

[2] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an opendomain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[4] Conglong Li, Minjia Zhang, and Yuxiong He. The stabilityefficiency dilemma: Investigating sequence length warmup for training gpt models. In Advances in Neural Information Processing Systems, 2022.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[6] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Peixiang Zhong, Chen Zhang, Hao Wang, Yong Liu, and Chunyan Miao. Towards persona-based empathetic conversational models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 65566566, Online, November 2020. Association for Computational Linguistics.

[8] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledgepowered conversational agents. In International Conference on Learning Representations, 2019.

[9] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3784-3803, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. In NIPS Deep Learning and Representation Learning Workshop, 2015. abs/1503.02531.

[11] Rongsheng Zhang, Yinhe Zheng, Jianzhi Shao, Xiaoxi Mao, Yadong Xi, and Minlie Huang. Dialogue distillation: Opendomain dialogue augmentation using unpaired data. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3449-3460, Online, November 2020. Association for Computational Linguistics.

[12] Tatsuya Ide and Daisuke Kawahara. Multi-task learning of generation and classification for emotion-aware dialogue response generation. In Proceedings of the $\mathbf{2 0 2 1}$ Conference of the North American Chapter of the Association for Computational Lin- guistics: Student Research Workshop, pp. 119-125, Online, June 2021. Association for Computational Linguistics.

[13] Ritvik Choudhary and Daisuke Kawahara. Grounding in social media: An approach to building a chit-chat dialogue model. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp. 9-15, Hybrid: Seattle, Washington + Online, July 2022. Association for Computational Linguistics.

[14] Daliang Li, Ankit Singh Rawat, Manzil Zaheer, Xin Wang, Michal Lukasik, Andreas Veit, Felix Yu, and Sanjiv Kumar. Large language models with controllable working memory. arXiv preprint arXiv:2211.05110, 2022. abs/2211.05110.

[15] Yuang Liu, Wei Zhang, and Jun Wang. Adaptive multi-teacher multi-level knowledge distillation. Neurocomputing, Vol. 415 pp. 106-113, 2020 .

[16] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. In 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing @ NeurIPS 2019, 2019.

[17] Qingqing Zhu, Xiuying Chen, Pengfei Wu, JunFei Liu, and Dongyan Zhao. Combining curriculum learning and knowledge distillation for dialogue generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 12841295, 2021.

[18] Aref Jafari, Mehdi Rezagholizadeh, Pranav Sharma, and Ali Ghodsi. Annealing knowledge distillation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2493-2504, Online, April 2021. Association for Computational Linguistics.

[19] Burr Settles and Mark Craven. An analysis of active learning strategies for sequence labeling tasks. In proceedings of the 2008 conference on empirical methods in natural language processing, pp. 1070-1079, 2008.

[20] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[21] Ananya B Sai, Akash Kumar Mohankumar, Siddhartha Arora, and Mitesh M Khapra. Improving dialog evaluation with a multireference adversarial dataset and large scale pretraining. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 810-827, 2020

[22] Cristian Danescu-Niculescu-Mizil and Lillian Lee. Chameleons in imagined conversations: A new approach to understanding coordination of linguistic style in dialogs. In Proceedings of the 2nd Workshop on Cognitive Modeling and Computational Linguistics, pp. 76-87, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[23] Zhuyun Dai, Arun Tejasvi Chaganty, Vincent Y Zhao, Aida Amini, Qazi Mamunur Rashid, Mike Green, and Kelvin Guu. Dialog inpainting: Turning documents into dialogs. In International Conference on Machine Learning, pp. 4558-4586. PMLR, 2022.

[24] Gábor Melis, Chris Dyer, and Phil Blunsom. On the state of the art of evaluation in neural language models. In International Conference on Learning Representations, 2018.

[25] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.
表 4 各モデルにおける応答生成の例

発話 応答 $\left(\right.$ 提案手法) 応答 $\left(\operatorname{ME}-\operatorname{Ex}\left(\mathrm{K}_{\mathrm{R}}\right)\right) \quad$ 答 $($ バニラベースライン)

Removal Point? What're you It's Removal Point. That's I'm not talking about anything. I'm not talking I'm not talking talking about! where they put the boat. I'm talking

I know why you broke up with I know, but I cannot forgive I don't forgive you. I don't know what you are talkme in college. Can you forgive you. ing about. me?

Shes very striking, don't you No, I don't think so. Its prob- No. I don't know. I don't think so. think? Are these glasses ably just fashion.

a fashion where she comes

from?

## A 対話応答生成結果の例

主なベースラインと提案手法による発話に対する生成応答の例を表 4 に示す。


# 自律移動型ロボットにおける 経験由来の情報量からの発話内容選択

吉原 大智 1,2 , 湯口 彰重 ${ }^{2,3}$, 河野誠也 ${ }^{2}$, 飯尾 尊優 4,2 , 吉野 幸一郎 2,3
1 筑波大学 ${ }^{2}$ 理化学研究所 GRP ${ }^{3}$ 奈良先端科学技術大学院大学 ${ }^{4}$ 同志社大学
s2120792@s.tsukuba.ac.jp, tiio@mail.doshisha.ac.jp
\{akishige.yuguchi, seiya.kawano, koichiro.yoshino\} [at] riken.jp

## 概要

ユーザとの共生空間で動作するロボットには、 ユーザから信頼され協調動作をスムーズに実行する ことが求められる。そのためには、ロボットがどの ような外界観測を行いそこから何を記憶しどのよう な意図を生成したのかを、ユーザが理解できるよう に表出させることが重要である。外界観測結果や記憶・意図を表出させる有効な手段として、言語を用 いたインタラクションがある。長期的なインタラク ションを想定したとき、冗長なインタラクションを 避けるため纪、何を言語化し伝えるかだけでなく、何を言語化せず伝えないかも重要である。本研究 では、経験由来の情報量（エントロピー）をロボッ トが言語化する内容の選択に用いる。具体的には、 GPT由来の一般言語モデルとロボット自身の経験か ら学習した言語モデルの 2 種類を利用する。ロボッ トを使った案内タスクで被験者実験を行った結果、提案法がロボットの内部状態を必要十分に説明でき ることが示された。

## 1 はじめに

ロボットや人工知能技術の進展に伴い、人間の生活空間で自律的に動作するロボットが実現されよう としている。こうした自律型ロボットが人間の生活空間で動作しょうとする場合、ロボットの状態がど のようなものか、人間のユーザにとって明確である 必要がある $[1,2]$ 。例えば、ロボットが何をでき何 を記憶しているのかということをユーザが理解で きなけ狄ば、ユーザは適切な命令をロボットにでき ず、協調作業などに支障が出る。言い換えれば、ロ ボットの内部状態が、ユーザにとって必要なタイミ ングで理解可能であることが重要である $[3,4]$ 。

しかし、ロボットは人間とは異なる動作原理で動作しており、人間であるユーザがロボットの意図や 行動の理由を読み取ることはしばしば難しい $[5,6]$ 。言い換えれば、ユーザにとってロボットの行動予測 は困難であり、ユーザにとってはいつ何をどのよう 攺ボット要求してよいかわからないというユー ザビリティの問題が生じる。こうした不可視な内部状態の問題は、ロボットが得られる信頼性の問題に も繫がっている $[7,8,9,10]$ 。

この問題を解決する方法のひとつが、外界観測結果・記憶・意図といったロボットの内部状態を ユーザに自然言語を用いて対話的に説明すること である $[11,12,13,14,15,16,17,18]$ 。この考え方は、 Explainable AI (XAI) の考え方をロボット纪当てはめ たもので、ユーザとの協調性を高めるための手法と して注目されている $[4,6,13,19,20,21,22] 。$

しかし、ロボットの内部状態は観測結果・記憶・動作計画・バッテリー残量など種類が多く、実際に はどの情報を言語化（発話）し説明することがユー ザとの協調動作に有効かは明らかではない。無分別 な言語化・説明はユーザビリティの低下に繋がるた め、場面に応じた適切な量・内容の言語化が必要で ある [22, 23]。つまり、ロボットの内部状態のうち、何を言語化する・しないを決める基準を定め、説明 することが重要である。

ロボットの内部状態を説明するとき、何を言語化 するか決定する基準に関する研究では、ロボットの 安全性に関する情報を重視することや [24]、ロボッ トのタスク遷移の要点を重視することが提案され ている[21]。これらの研究は、主にユーザとロボッ トの初対面でのインタラクションを想定している。 しかしユーザの生活空間での活動するロボットは、 より長期的な観測・記憶を活用する必要がある場面 も多い [25, 26]。また、ロボットの行動パターンが ルーティンである場合、その報告は冗長となる一方

図 1 ロボットの内部状態とモジュール

で、行動パターンが何らかの理由でいつもと異なる 場合はそれを報告する必要がある。つまり、生成し た説明の必要十分性を担保するよう、ユーザの慣れ や状況に応じて過不足なく説明を行うという視点が 必要である [27]。

本研究では、過去のユーザとの対話をもとに口 ボットが発話する対話戦略の下、発話内容をある基準によって削ることは説明の必要十分性の向上に 有効なのかを検証する。ここで、この発話内容の選択に用いる基準のことを言語化基準と呼ぶ。この 際、過去の記憶・経験と比較した場合の現在の観測 の希少さを言語化基準として用いる。具体的には、過去の記憶・経験を利用した確率的言語モデルを構築し、この言語モデルに対する現在の観測事象のエ ントロピーを計測する「エントロピー基準」を用い る。このエントロピー基準によって説明の必要十分性が向上するか、ロボットを用いた被験者実験で評価・検証する。

## 2 タスク

本研究では、ロボットによる言語化の適切さを測 るため、自律型ロボットにおいて案内タスクを設定 し実験を行った。自律移動型ロボットはリビングを 模した実験室内で案内タスクを行う。案内タスクと は、ユーザ役の実験者がある物体を探しており、ロ ボットにその物体を探していることを伝え、ロボッ トがその場所を教えるタスクである。ロボットは自身の観測と記憶からなる内部状態に基づいて物体 がある場所を推定し、その物体がある地点まで案内 する意図に基づき行動計画と発話計画を生成する。 このとき、ロボットは自身の認識結果と言語化規則 （詳細は付録の表 2）によってあらゆる認識結果を言語化する。この言語化内容のうち、何をユーザに対 して発声し、また何を発声しないか決定するという のが本論文で取り組むタスクである。つまり図 1 で 示すように、ロボットが持つ多様な観測結果が言語化された結果に対して、発声するかどうかを選択す るフィルターを実装する。

## 3 情報量に基づく発話内容選択

本研究では、ロボットが生成した発話が、過去の 記憶・経験と比較した場合にどの程度希少かに基づ いて発話すべき内容を決定することを考える。この とき、確率的言語モデルにおけるエントロピー、あ るいはパープレキシティ（ppl）の考え方を用いる。本章では各言語化候補（発話候補）に対してスコア を付与する方法について述べる。

## 3.1 言語モデルとパープレキシティ

今回用いるロボットは現在の観測や行動に対して 言語化を行う規則を有するため、あらゆる内容がテ キストとして保存される。このテキスト中に含まれ る単語列 $s$ の同時生成確率を $P(s)$ とする。過去の 観測結果の集合である $\delta$ から最尤推定、あるいは MAP 推定に基づいてモデルパラメータ $\theta$ を構築す る。このパラメータを用いて現在言語化を行うか考慮している文 $s$ に対する尤度 $P(s ; \theta)$ を考える。この とき、この尤度が低いということは過去の観測集合 §からは遠い文、つまり希少性の高い文であるとい うことが言える。逆に、この尤度が高い場合は希少性の低い文であり、ロボットからすると言語化する 価値の低い可能性が高い文という仮説が成立する。

この尤度計算には計算機のまるめ誤差の問題から 一般に負対数尤度を用いるため、文 $s$ に対する尤度、 つまりエントロピーおよびパープレキシティは以下 の式で計算される。負の対数尤度なので数の大小は 反転しており、エントロピーあるいはパープレキシ ティが高い方が希少性の高い文ということになる。

$
\begin{gathered}
H=-\log P(s ; \theta) \\
p p l=2^{H}
\end{gathered}
$

ここで $\theta$ の計算方法について 2 種類を試行する。一つ目は、ロボット自身の過去の経験のテキスト集合 $\delta$ から最尤推定によってパラメータを推定する方法である。もう一つは、Web 上に存在する大量テキ ストから学習された大規模言語モデル（一般言語モ デル）が与えるパラメータを用いる場合である。前
者はロボット自身の経験上の希少性を用いることに 相当し、後者は世の中一般の常識における希少性を 利用することに相当する。

## 3.2 経験由来パープレキシティ

ロボットが過去に見聞きした内容の集合 $\delta$ に基づ いて発声候補のパープレキシティを計算したもの を以降では ppl_exp と記載する。ppl_exp は、2022 年 11 月 24 日時点でぶつくさ君の行った外界観測の結果から遡って物体認識 24,278 個、人物認識 917 個、音声認識 650 個、場所認識 385 個を規則に基づいて 言語化した 407,535 文から学習した。これらの文を sentencepiece[28] でトークナイズし、fairseq[29] で言語モデル化した。

## 3.3 一般言語モデル由来パープレキシティ

一般言語モデルに基づいて発声候補のパープ レキシティを計算したものを以降では ppl_GPT と 記載する。一般言語モデル由来のパープレキシ ティの計算には、rinnna 社が公開している言語モデ ル rinna/japanese-gpt2-medium[30](以下 1 m_general と 呼称) を利用した。経験由来パープレキシティと合 わせて、 huggingface[31] により計算を行った。

## 3.4 パープレキシティの闇値

実際に各モデルからパープレキシティを計測し たとして、発声する・しないの閾値をどう設定する かという問題がある。この閾值は、経験由来パープ レキシティの計算に用いたデータ $\delta$ とは別の開発用データ (2022 年 11 月の物体認識 174,189 個、人物認識: 15,108 個、音声認識:40 個、場所認識:66 個) を利用して計算する。ここから言語化規則に基づ いて作成された $1,323,448$ 文に付与可能な ppl_exp と ppl_GPTをそれぞれ計算し、その平均を閾値とした。

## 4 実験

実際に案内タスクでロボットに発話を行わせ、そ の様子をユーザに見せる被験者実験を行った。本節 では比較に用いた条件、評価指標、結果について述 べる。

## 4.1 比較条件

情報量基準に基づく発声候補の選択がユーザから の印象にどのような影響を与えるかについて検証 する。今回は経験由来と一般言語モデル由来の 2 種類の手法が存在するため、以下の候補を比較条件と した。

・条件 1 : 全ての言語化を発声する

・条件 2: 全ての言語化を発声しない

・条件 3: ppl_exp が低いものを発声しない

・条件 4: ppl_GPT が低いものを発声しない

・条件 5: ppl_exp が高いものを発声しない

・条件 6: ppl_GPT が高いものを発声しない

・条件 7: 条件 3 かつ条件 4 のものを発声しない
- 条件 8 : 条件 3 または条件 4 のものを発声しない

ここで条件 5 は条件 3 の、条件 6 は条件 4 の反転条件である。また、条件 7,8 はそれぞれ条件 3,4 を組 み合わせた and/or 条件である。

## 4.2 実験条件・評価指標

評価では、ロボットが実際に案内タスクを行って いる様子を記録した動画を収録し、その動画をクラ ウドワーカーに見せることによって点数をつけても らった。映像は 34 分程度となっている。なお、映像ではユーザは花瓶を探しているものとした。

評価項目としては、動画視聴の事前事後として以下の項目を付与してもらった。

事前アンケート

・ユーザの年齢・性別

・ロボット否定的態度尺度 (14 項目 5 尺度)[32]

## 事後アンケート
- 発話内容 (5 項目 5 尺度、 1 項目 7 尺度)
- 説明の適切性 (1 項目 5 尺度)
- 説明の必要十分性 (1 項目 7 尺度)
- 主体性 (1 項目 5 尺度)

-会話性 (1 項目 5 尺度)
- 説明の選択性 (1 項目 5 尺度)

- 説明内容の珍しさ (1 項目 5 尺度)
- $\operatorname{TAM}(20$ 項目 5 尺度)[33]
- 使用時の不安 (4 項目 5 尺度)
- 利用しようとする意向 (3 項目 5 尺度)

-ロボットの適応能力の知覚 (3 項目 5 尺度)
- 使いやすさの知覚 (5 項目 5 尺度)
- 有効性の知覚 (3 項目 5 尺度)
- 技術の信頼性 (2 項目 5 尺度)

$\cdot$自由記述

5 尺度の項目は 5 が最高、 1 が最低である。「説明の 必要十分性」のみ 7 段階になっており、 4 がもっと
表 1 実験結果。必要十分性については、目標值である 4 との差分も記載

も必要十分、 1 が最も説明が足りない、 7 が最も説明 が冗長となる場合に対応することに注意されたい。

参加者は、2022 年 12 月にクラウドソーシングで、全条件を同じ参加者に視聴してもらい比較評価す るのは難しいため, 各条件 20 名ずつ計 200 名 (女性 102 名、男性 98 名、 19 歳 65 歳、平均 $41.6 \pm 9.19$歳) を集めた (条件 1 : 平均 $42.7 \pm 11.0$ 歳、条件 2: 平均 $39.5 \pm 10.6$ 歳、条件 3 : 平均 $39.7 \pm 6.8$ 歳、条件 4 :平均 $41.2 \pm 11.5$ 歳、条件 $5:$ 平均 $39.6 \pm 8.2$ 歳、条件 6: 平均 $41.2 \pm 8.7$ 歳、条件 $7:$ 平均 $43.1 \pm 10.0$ 歳、条件 $8:$ 平均 $44.9 \pm 7.5$ 歳)。

## 4.3 結果

まず、事前アンケートの各項目について、各条件間でクラスカル・ウォリス検定を行ったところ差は 見られなかった。実験に関わる各アンケートについ ての実験結果を表 1 に示す。表から、今回必要とす る説明の必要十分性に関しては、発声内容のフィル タをしない場合（条件 1）と比較して、フィルタを する場合はいずれもスコアが向上する（4 に近づく） ことが確認された。特に ppl_GPTのみを使う場合 （条件 4）が最もロボット発話の必要十分性を向上さ せることがわかった。またこのうち、スコアの絶対値を比較した場合には条件 1 対条件 2、条件 1 対条件 4、条件 1 対条件 8 、条件 3 対条件 4 の組み合わせ で、スティール・デュワス検定（ $\mathrm{p}<0.05 ）$ における 有意差が確認された。この結果から、全ての観測内容について言語化を行うよりも、一般言語モデルを 用いて発声内容をフィルタする方が、対話ロボット の説明に感じる必要十分性が向上することがわかっ た。これらの場合いずれも、スコアの絶対値で比較 すると有意差があるものの、 4 との差分の絶対値で 見た場合には有意差はない。また、提案法の逆転条件である条件 5、条件 6 のスコアは 4 から大きく離 れ、提案法の有効性を示唆する結果となった。

その他の項目では、発声内容のフィルタをしない 場合（条件 1）が説明の適切性、主体性、会話性の上 で高いスコアを得た。これらの項目は、ロボットの説明に感じる必要十分性とトレードオフの関係があ ると考えられる。説明の選択性については ppl_exp のみを使う場合（条件 3）が高い評価を得たが、こ れはロボットが自身の経験に基づいて発声内容を選択した結果、ユーザからもそうした選択をしている ことが強く感じられたのではないかと考えられる。

また、各 TAM 尺度についても比較評価を行った。全体の傾向としては、and 条件（条件 7）が高いスコ アを得る結果となったが、信頼性においてはppl_exp （条件 3）が一番高いスコアを得た。発声内容のフィ ルタをしない場合（条件 1）と比較すると、いくつ かの項目では同等のスコアを得ている中で、それ以外の項目ではフィルタをする条件の方がスコアが向上している場合が確認できる。また、使用時の不安 においては何も発声しない場合 (条件2) や or 条件 （条件 8）が高いスコアを得ている。この結果から、必要以上に発声を抑制することはユーザにとっての 不安に直結することが見てとれる。

## 5 おわりに

本研究は、長期的なロボットとのインタラクショ ンを想定したときに必要となるであろう、ユーザに とって有益な内部状態のみを発話させるロボットの 実現のために、発話選択を発話が持つ情報量に基づ いて行う枠組みを提案した。結果として、一般言語 モデル由来の情報量を用いることで、ロボットが発生する内容の必要十分性を向上させることができ た。今後は、ロボット自身の経験などをどのように 併用することが適当か検討する必要がある。また、特定ユーザを対象とした長期的なインタラクション を行う場合についても検討する。

## 謝辞

本研究は JSPS 科研費 22 H04873 の支援を受けた。

## 参考文献

[1] Nikhil Churamani, Sinan Kalkan, and Hatice Gunes. Continual learning for affective robotics: Why, what and how?

In Proc. RO-MAN, pp. 425-431, 2020.

[2] Alessandra Rossi et al. How social robots influence people' s trust in critical situations. In Proc. RO-MAN, pp. 1020-1025, 2020

[3] Xiaofeng Gao et al. Joint mind modeling for explanation generation in complex human-robot collaborative tasks. In Proc. RO-MAN, pp. 1119-1126, 2020.

[4] Francisco Cruz et al. Explainable robotic systems: Understanding goal-driven actions in a reinforcement learning scenario. Neur. Compu. and App., pp. 1-18, 2021.

[5] S. Marchesi et al. Don' t overthink: fast decision making combined with behavior variability perceived as more human-like. In Proc. RO-MAN, pp. 54-59, 2020.

[6] Maartje MA de Graaf, Bertram F Malle, Anca Dragan, and Tom Ziemke. Explainable robotic systems. In Proc. HRI, pp. 387-388, 2018.

[7] Wenxuan Mou, Martina Ruocco, Debora Zanatto, and Angelo Cangelosi. When would you trust a robot? a study on trust and theory of mind in human-robot interactions. In Proc. RO-MAN, pp. 956-962, 2020.

[8] Connor Esterwood and Lionel P. Robert. Do you still trust me? human-robot trust repair strategies. In Proc. ROMAN, pp. 183-188, 2021

[9] Ilenia Cucciniello et al. Validation of robot interactive behaviors through users emotional perception and their effects on trust. In Proc. RO-MAN, pp. 197-202, 2021.

[10] Glenda Hannibal, Astrid Weiss, and Vicky Charisi. "the robot may not notice my discomfort" - examining the experience of vulnerability for trust in human-robot interaction. In Proc. RO-MAN, pp. 704-711, 2021.

[11] Arianna Pipitone and Antonio Chella. What robots want? hearing the inner voice of a robot. iScience, Vol. 24, No. 4, 2021. DOI: 10.1016/j.isci.2021.102371.

[12] David Gunning, Mark Stefik, Jaesik Choi, Timothy Miller, Simone Stumpf, and Guang-Zhong Yang. Xai- explainable artificial intelligence. Science Robotics, Vol. 4, No. 37, p. eaay7120, 2019.

[13] Rossitza Setchi, Maryam Banitalebi Dehkordi, and Juwairiya Siraj Khan. Explainable robotics in humanrobot interactions. Procedia Computer Science, Vol. 176, pp. 3057-3066, 2020

[14] Qingxiaoyang Zhu, Vittorio Perera, Mirko Wächter, Tamim Asfour, and Manuela Veloso. Autonomous narration of humanoid robot kitchen task experience. In Proc. Humanoids, pp. 15-17, 2017.

[15] Zhao Han, Elizabeth Phillips, and Holly A. Yanco. The need for verbal robot explanations and how people would like a robot to explain itself. ACM Trans. HRI, Vol. 10, No. 4, pp. 1-42, 2021.

[16] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Smart: training shallow memory-aware transformers for robotic explainability. In Proc. ICRA, pp. 1128-1134. IEEE, 2020.

[17] Koichiro Yoshino et al. Caption generation of robot behaviors based on unsupervised learning of action segments. In Convers. Dialog. Sys. for the Next Decade, pp. 227241. Springer, 2021

[18] Pradip Pramanick, Chayan Sarkar, and Indrajit Bhattacharya. Your instruction may be crisp, but not clear to me! In Proc. RO-MAN, pp. 1-8, 2019

[19] Fatai Sado, C Kiong Loo, Matthias Kerzel, and Stefan Wermter. Explainable goal-driven agents and robotsa comprehensive review and new framework. arXiv preprint arXiv:2004.09705, Vol. 180, , 2020.

[20] Maria Fox, Derek Long, and Daniele Magazzeni. Explainable planning. arXiv preprint arXiv:1709.10256, 2017.

[21] Tatsuya Sakai, Kazuki Miyazawa, Takato Horii, and Takayuki Nagai. A framework of explanation generation toward reliable autonomous robots. Adv. Roboti., Vol. 35, No. 17, pp. 1054-1067, 2021.

[22]湯口彰重, 河野誠也, 石井カルロス寿憲, 吉野幸一郎,川西康友, 中村泰, 港隆史, 斉藤康己, 美濃導彦. ぶつ くさ君: 自身の外界認識と内部状態を言語化する ロボット. 日本ロボット学会誌, Vol. 40, No. 10, pp. 932-935, 2022.

[23] Aaquib Tabrez and Bradley Hayes. Improving humanrobot interaction through explainable reinforcement learning. In Proc. HRI, pp. 751-753. IEEE, 2019.

[24] Hooman Hedayati, Mark D. Gross, and Daniel Szafir. What information should a robot convey? In Proc. IROS, pp. 6209-6216, 2021 .

[25] Takayuki Kanda, Takayuki Hirano, Daniel Eaton, and Hiroshi Ishiguro. Interactive robots as social partners and peer tutors for children: A field trial. HRI, Vol. 19, No. 1-2, pp. 61-84, 2004.

[26] Iolanda Leite, Carlos Martinho, Andre Pereira, and Ana Paiva. As time goes by: Long-term evaluation of social presence in robotic companions. In Proc. RO-MAN, pp. 669-674. IEEE, 2009.

[27] Kazunori Komatani, Shinichi Ueno, Tatsuya Kawahara, and Hiroshi G Okuno. User modeling in spoken dialogue systems for flexible guidance generation. In Proc. EUROSPEECH, pp. 745-748, 2003.

[28] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[29] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proc. NAACL-HLT, 2019

[30] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料 (SLUD), Vol. 93,pp. 169-170, 2021.

[31] Thomas Wolf et al. Transformers: State-of-the-art natural language processing. In Proc. EMNLP, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[32] Tatsuya Nomura et al. Measurement of negative attitudes toward robots. Interaction Studies, Vol. 7, No. 3, pp. 437-454, 2006.

[33] Marcel Heerink, Ben Kröse, Vanessa Evers, and Bob Wielinga. Assessing acceptance of assistive social agent technology by older adults: the almere model. Interna. jour. of soc. roboti., Vol. 2, No. 4, pp. 361-375, 2010.

[34] 川西康友, 吉野幸一郎, 岡留有哉, 中村泰, 石井 カル ロス寿憲, 港隆史, 斉藤康己, 美濃導彦. ぶつくさ君 2 号 : 自律移動ロボットによる生活環境の認識. 第 25 回画像の認識・理解シンポジウム (MIRU), 2022.

## 付録

## A 実験で使用したロボット

使用する自律移動型対話ロボットプラットフォー

外観を図 2 に示す。

ぶつくさ君は内部状態として観測・記憶、案内夕 スクを実行するという意図を持ち、観測や記憶を意図で処理して移動や発話を行う。システム全体は Robot Operating System (ROS) で管理されており、各外界観測はそれぞれ個別の ROS ノードとして処理 され、記憶は MongoDB を用いて管理されている。 ぶつくさ君は、物体認識、人物認識、環境認識、音声認識、場所認識の外界観測を行い、その認識結果をいつ、どこで行ったのかという、場所・時間の 情報と紐づけて記憶することができる。また、動作機能として移動、モーション、音声の生成ができ、 あらかじめ設定された部屋の地図上の特定の場所に 移動や、任意のセリフを発話することができる。ぶ つくさ君が動作する部屋の間取り図を図 3 に示す。

図 2 ロボットプラットフォームぶつくさ君

## B 言語化規則

ロボットの発話は表 2 の規則によって生成され る。デフォルトとして、内部状態は説明の十分性を 担保するために多少冗長と感じられてもすべて話し たほうが良いという先行研究 [22] の知見に基づき、挨拶、行動、行動の理由、音声 - 場所認識の報告、音声・場所認識の記憶の報告を発話するように設定 した。シナリオのターンテーキングはユーザの発話

図 3 実験室の間取り図

に対し特定のトリガーワードをロボットが音声認識 することによって進行する。

表 2 案内タスクでの言語化規則。[場所]、[物体]、[音声]、[時間] は認識結果。

 \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 発話者分離学習を用いた対話モデルによる 小学校の授業発話の分析

大西朔永 ${ }^{1}$ 椎名広光 ${ }^{2}$ 保森智彦 3
1 岡山理科大学大学院総合情報研究科 2 岡山理科大学情報理工学部
3 岡山理科大学教育学部
i22ed08bf@ous.jp \{shiina,yasumori\}@ous.ac.jp

## 概要

小学校段階の授業では，教員の説明や促進，質問等の発話と児童の返答が多くあり，一種の対話がな されている。これらの対話から教員の発話の種類や 児童の学びの状況を分析することで，学びに関する 分類を教員へフィードバックすることが可能と考 えられる。自然言語処理分野では，文脈を捉えるこ とが比較的可能となっている BERT の他に，対話 に適したモデルとして対話応答生成で用いられる VHRED やGVT が提案されている. GVT に対して，本研究では発話者ごとの特徴に加えて，対話処理の 内部に反映させる前に対話を事前分類する手法（拡張 GVTSC）を提案し，授業の発話の分析を行う。

## 1 はじめに

日本の小学校の授業では, 教員は児童の状況を見 ながら授業を進めており, 児童は学習状況や意見,感想を発話することが多くあり，対話をしながら授業は進むと考えられる. 教員と児童や児童間では，一種の対話が成り立っており, 授業の理解を促した り示したりする発話や対話を自動的に分析すること ができれば，教員に対して多くのフィードバックが 可能となる. 省察のデジタル化を分析した研究 [1] やシステムによる発話の分析 [2] がある. 日本の教員は省察等の時間が 48 か国で最も短く [3], システ ムによる分析手法の開発は急務である.

一方，自然言語処理分野では，Transformer[4]を 用いた文脈を考慮した言語処理が可能な BERT[5] が提案されている. 対話処理に適したモデルでは,翻訳において用いられる RNN[6] をべースにした Encoder-Decoder モデル [7] を対話応答生成へ応用 した研究 [8] がある. 長い入力系列に対応するた めに階層構造を取り入れた HRED[9] が提案され，
CVAE[10] の手法を取り入れた VHRED[11]では，潜在変数を用いることで応答生成に多様性を与えてい る.また，対話向け CVAE に Transformer を導入し たGVT[12] が提案されている. 我々は発話者ごとの 特徴を考慮するために，発話を発話者ごとに分離し て入力し，発話者ごとの潜在変数を用いるように拡張を行った抬張 GVT モデル [13] を提案している。

本研究では，事前にクラスタリングを用いて発話者の特徴を抽象化する拡張 GVTSC モデルを提案 すると共に，小学校の授業の対話に対して，拡張 GVTSC モデルによる発話の分析を行っている. 具体的には，小学校の算数の授業を録画し，教員と児童の発話に対して文字起こしを行った対話形式のテ キスト情報を分析している。分析には，あらかじめ 授業中の発話に対して学びに関連する複数のラベル を人手で付与した後に，その発話と近い距離にある 発話を提案する拡張 GVTSC を用いて抽出している。

## 2 発話者のクラスタリングを追加し た拡張 GVTSC モデル

対話応答生成には，様々な対話に対しての応答と 成り得る無難な応答を生成するために，応答の多様性が低くなるという課題が存在する [14, 15]. GVT モデルは，Decoder の入力にサンプリングした潜在変数を利用する手法であるが，発話者の特徴を潜在変数で表現し, サンプリングを行うことで, 応答の 多様性をもたらしていると考えられる。しかし，先行研究では潜在変数が生成された応答の一貫性を低下させる傾向があることが示されている [16]. そこ で，発話者ごとの特徴を考慮するために，クラスタ リングを用いて発話者の特徴を抽象化し, Encoder においてその発話者の特徴を加味することで，一貫性と多様性を向上させる. 本研究では，GVT モデ ル及び，話者の分離を行っている拡張GVT モデル

図 1 拡張 GVTSC モデルの構造

に対して，事前に発話者を分類するクラスタリング を追加した 2 種類のモデル（GVTSC，拡張 GVTSC） を提案し，評価を行っている。

拡張 GVTSC モデルの概要を図 1 に示す. 拡張 GVT モデルに対して，発話者の特徴べクトルをク ラスタリングを用いて作成する部分（図 1 の点線部分）を追加し，コンテキストのエンコードにおいて 利用している.

次に，拡張 GVTSC モデルの処理について述べ る. 最初に，発話者の特徵べクトルをクラスタリ ングを用いて作成する、コンテキストは対話を行 う 2 者の発話をまとめたものであり，各発話者ご とに分割することが可能である．そこで，対話の コンテキストを発話者ごとに分割し，発話者ごと に処理を行っている. 発話者ごとの処理は同様で あるため，発話者 1 の場合を述べる. Speaker1 TRS Encoder で発話者 1 のコンテキストをエンコードす る. TRS Encoder では，入力系列の先頭に CLS トー クンを付加しており, Transformerによって出力ベク トルが計算される。発話者 1 のコンテキストのベク トル（Speaker1 Vector）として，CLS トークンのべ クトルを取得する. Speaker1 Vectorに対して，クラ スタリングを行う. 本研究では, クラスタリングに k-Means を使用している. クラスタ数 $\mathrm{k}$ にいては， ハイパーパラメータ同様実験において決定する必要がある. クラスタリングの結果，Speaker1 Vector が属するクラスタを予測し，そのクラスタの中心 ベクトル（Speaker1 Cluster Vector）を取得する. 発話者 2 に対しても，発話者 1 と同様の処理を行い， Speaker2 Cluster Vectorを取得する。ここで，クラス タリングに使用している TRS Encoder は, 応答生成 で訓練している TRS Encoderを共有している．ただ し，クラスタリングの処理では，誤差逆伝搬による 訓練は行われない.対話のコンテキスト全体は, Context TRS Encoder に入力し, 出力ベクトルを得る. コンテキストの エンコードでは，入力系列に発話者ごとのトーク ン（SPK1, SPK2）を追加し, SPK1 に Speaker1 Cluster Vector，SPK2 に Speaker2 Cluster Vector を入力する. また，各発話者ごとにコンテキストを分割し，それ ぞれを各 Speaker TRS Encoder に入力し, 出力べク トルを得る。その際には, Speaker1 TRS Encoder に は入力系列に発話者 1 のトークン（SPK1）を追加 し, Speaker1 Cluster Vectorを入力し，Speaker2 TRS Encoderには入力系列に発話者 2 のトークン (SPK2) を追加し，Speaker2 Cluster Vector を入力する．発話者ごとのコンテキストのエンコードにおいて，各発話者の特徴べクトルを利用することで，より発話者 の特徴を考慮したエンコードを図っている。

事前・事後分布を多層パーセプトロン（MLP）に よって近似した Prior Net $・$ Recognition Net から潜在変数 $z$ をサンプリングする． Prior Net は， Speaker TRS Encoder または, Context TRS Encoder の CLS トーク ンの出力ベクトルを基に，MLP によってコンテキス トのベクトルの平均と分散を推定する。 その平均と 分散に従う正規分布より潜在変数 $z$ をサンプリング する. Recognition Net では，Speaker TRS Encoder と Context TRS Encoder に加えて Response TRS Encoder の CLS トークンの出力ベクトルも用いて，MLPに より対話全体のべクトルの平均と分散を推定する. Prior Net と同様に推定した平均と分散に従う正規分布から潜在変数 $z$ のサンプリングを行う. TRS Encoder の CLS トークンの出力ベクトルは入力全体の表現したべクトルとみなすことができるため, CLS トークンの出力ベクトルから事前・事後分布を 生成し，潜在変数 $z$ をサンプリングしている.

TRS Decoder では，入力系列の先頭の SOS トーク ンに通常の潜在変数に加えて，応答の発話者の潜在変数を入力することで，潜在変数を応答の生成に利用している。この際，TRS Decoder は，学習時には Recognition Net からサンプリングした潜在変数を利用し，生成時には Prior Net からサンプリングした潜在変数を利用する。

拡張 GVTSC モデルは，cをコンテキスト， $c_{\mathrm{s} 1}$ を 発話者 1 のコンテキスト， $c_{\mathrm{s} 2}$ を発話者 2 のコンテ キスト， $x$ を応答， $z$ を潜在変数, $v_{\mathrm{s} 1}$ を発話者 1 のク ラスタベクトル， $v_{\mathrm{s} 2}$ を発話者 2 のクラスタベクト ルとして，下記の ELBO を最大化することでモデル

の最適化を行う.

$
\begin{aligned}
& \mathscr{L}_{E L B O}(x, c) \\
&= \log p(x \mid c) \\
& \geqq \mathbb{E}_{q}\left(z \mid x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)\left[\log p\left(x \mid z, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)\right] \\
&-K L\left(q\left(z \mid x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \| p\left(z \mid c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)\right) \\
&-K L\left(s\left(z \mid x, c_{\mathrm{s} 1}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \| r\left(z \mid c_{\mathrm{s} 1}, v_{\mathrm{s} 1}\right)\right) \\
&-K L\left(s^{\prime}\left(z \mid x, c_{\mathrm{s} 2}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \| r^{\prime}\left(z \mid c_{\mathrm{s} 2}, v_{\mathrm{s} 2}\right)\right)
\end{aligned}
$

ここで，KLは分布間の KL divergence であり，事前分布 $p, r, r^{\prime}$ は，下記の式で定義される.

$
\begin{aligned}
p\left(z \mid c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{p}, \sigma_{p}^{2}\right) \\
r\left(z \mid c_{\mathrm{s} 1}, v_{\mathrm{s} 1}\right) & \sim \mathcal{N}\left(\mu_{r}, \sigma_{r}^{2}\right) \\
r^{\prime}\left(z \mid c_{\mathrm{s} 2}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{r^{\prime}}, \sigma_{r^{\prime}}^{2}\right)
\end{aligned}
$

ここで，

$
\begin{aligned}
{\left[\mu_{p}, \log \left(\sigma_{p}^{2}\right)\right] } & =\operatorname{MLP}_{p}\left(c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \\
{\left[\mu_{r}, \log \left(\sigma_{r}^{2}\right)\right] } & =\operatorname{MLP}_{r}\left(c_{\mathrm{s} 1}, v_{\mathrm{s} 1}\right) \\
{\left[\mu_{r^{\prime}}, \log \left(\sigma_{r^{\prime}}^{2}\right)\right] } & =\operatorname{MLP}_{r^{\prime}}\left(c_{\mathrm{s} 2}, v_{\mathrm{s} 2}\right)
\end{aligned}
$

事後分布 $q, s, s^{\prime}$ は，下記の式で定義される.

$
\begin{aligned}
q\left(z \mid x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{q}, \sigma_{q}^{2}\right) \\
s\left(z \mid x, c_{\mathrm{s} 1}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{s}, \sigma_{s}^{2}\right) \\
s^{\prime}\left(z \mid x, c_{\mathrm{s} 2}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{s^{\prime}}, \sigma_{s^{\prime}}^{2}\right)
\end{aligned}
$

ここで,

$
\begin{aligned}
{\left[\mu_{q}, \log \left(\sigma_{q}^{2}\right)\right] } & =\operatorname{MLP}_{q}\left(x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \\
{\left[\mu_{s}, \log \left(\sigma_{s}^{2}\right)\right] } & =\operatorname{MLP}_{s}\left(x, c_{\mathrm{s} 1}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \\
{\left[\mu_{s^{\prime}}, \log \left(\sigma_{s^{\prime}}^{2}\right)\right] } & =\operatorname{MLP}_{s^{\prime}}\left(x, c_{\mathrm{s} 2}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)
\end{aligned}
$

また, 学習が進むにつれて Decoder が潜在変数 $z$ の 情報を考慮しなくなる KL vanishing 問題のため，KL アニーリング [17], BoW（Bag-of-Words）loss[10,18] の手法を取り入れている. KLアニーリングは式 1 の KL divergence の値について，学習が進むに連れ て 0 から 1 に線形に増加する重みをつける手法であ る. BoW loss は応答に含まれる単語の集合を潜在変数から推定するサブタスクを追加する手法であり，潜在変数と応答中の単語の関連性を強くすることを 目的としている.

## 3 対話モデルの評価実験

データセットにはおーぷん 2 ちんねる対話コー パス [19]，小学校の授業対話データを用いた. 前処理として SentencePiece を用いてサブワードへの分表 1 各モデルについての自動評価結果

割を行っている.コンテキストの長さについては， 3-turn までの対話応答を評価している. 自動評価手法として，Dist-n[20]を用いて，生成した応答の多様性，BERT Score[21] を用いて参照応答との類似性に ついて評価する。 Dist-Nは，N-gramの総数に対して N-gram の種類数が占める割合を算出し，この比率 が高いほど，多様性が高いことを示す指標である。 BERT Score は，事前学習した BERT の埋め込みを使用して，モデルが生成した応答と参照応答の類似性 を評価する手法である。

各モデルが生成した応答の自動評価結果を表 1 に 示す. GVTSC モデルは，GVT モデルに対して，拡張 GVTSC モデルと同様に発話者のクラスタリング を追加したモデルである.

まず，おーぷん 2 ちゃんねる対話コーパスに よる評価について述べる。なお，クラスタリング （k-Means）のクラスタ数は，予備実験における結果 から，GVTSC モデルは 8，拡張 GVTSC モデルは 3 としている。表 1 の GVTSC モデルは，GVT に対し て，多様性の評価では，全て向上している。また，拡張 GVT モデルと比較すると，GVTSC モデルは Dist-3 で約 0.045 高い評価を得ている. 拡張 GVTSC モデルでは，拡張 GVT モデルや GVTSC モデルと比較して，類似性の評価はほとんど差が見られない。 しかし，多様性の評価では，特に Dist- 2 で約 0.1 以上評価が向上している.

次に，小学校の授業対話データによる評価につい て述べる。なお，GVTSC モデルと拡張 GVTSC モデ ルのクラスタリング（k-Means）では，予備実験にお
表 2 拡張 GVTSC による 1 発話における類似発話

 &  \\

表 3 小学校の授業対話データに対する対話応答の生成例 コンテキスト

発話 1: 12。

発話 2: 4 段の時は?

発話 3: 16。

発話 4: 5 段の時は?

発話 5: 24 。 $24,24,24,28$ 。え一。

## 応答

GVT: そうそうそう。はい,ここまでいいかな?同 じです。

拡張 GVT: この式, 合ってそう? 違ってそう?

GVTSC: 合ってそうです。さあ,ここまでいいか な?え?式一個じゃないん?

拡張 GVTSC: この式, 合ってそう?違ってそう?

参照:これで合ってる?

ける結果からクラスタ数を 8 としている. GVTSC は，多様性の評価で GVT と拡張 GVT より高い評価 を得ており，類似性の評価でも約 0.008 向上してい る. 拡張 GVTSC は, 多様性の評価では全てのモデ ルより高い評価を得ており，実際の応答の多様性に 近い評価となっている。類似性の評価においても，最も高い評価となっており，GVT と比較すると約 0.018 向上している. Encoder におけるエンコード過程で発話者の特徴を考慮することで，潜在変数の サンプリングや Decoder での Attention に利用する Encoderの各トークンの出力ベクトルに影響を与え ていると考えられる。

小学校の授業対話データの評価において生成され た応答の例を表 3 に示す. 全てのモデルがコンテキ ストに関連した応答を生成することができており，多様性がある応答となっている.

## 4 拡張 GVTSC による発話の分析

本研究では拡張 GVTSC モデルを用いて対話のべ クトル化を行っている. 対話データを用いて訓練 した拡張 GVTSC モデルは，対話応答を生成するた めに必要なコンテキストの発話をべクトル化する能力を得ている. 対話のベクトルは，拡張 GVTSC モデルにコンテキストとして対話を入力し，拡張 GVTSC モデルの Context TRS Encoder と Speaker TRS Encoder が出力した CLS トークンのベクトルの和を 計算することで作成している.

発話の分析では，授業の対話データについて，1 発話ごとのデータを作成し，ラベルなし発話につい て，ラベル付き発話との距離を求めている. 距離に ついては，ベクトルで表現できていることから Cos 類似度とジャロ・ウィンクラー距離（JW 距離）を用 いた. 表 2 に 1 発話における類似発話の例を示す.表 2 の 1 行目では，「数学的な見方」や「深い学び」 に関連する発話を抽出できている. 表 2 の 2 行目で は，「児童の主体的な学びに逆行している」という ラベルであるが，授業の終盤で授業を終わらせるた めの発話を抽出している. 表面的な文字列の類似度 である JW 距離と $\operatorname{Cos}$ 類似度の差は大きく, ベクト ルを用いた手法の有効性を示している. 定量的な評価として, $\operatorname{Cos}$ 類似度と JW 距離の相関係数を計算 すると，表 2 の 1 発話の場合は無相関 (-0.004) と なっている.

## 5 おわりに

本研究では，事前にクラスタリングを用いて発話者の特徵を抽象化する拡張 GVTSC モデルを提案し た. 対話応答生成では，多様性の評価で実際の応答 に近い評価を獲得した. 小学校の授業対話データに 対しては，類似性の評価においても最も高い評価と なった. そして，小学校の授業の対話に対して，拡張 GVTSC モデルを利用した機械学習の手法で発話 の分析を試みた．対話モデルを用いた対話のべクト ル化により, 表層的な類似性とは異なる傾向の分析 が得られた。

今後は，教員と児童の対話に対して，発話者の属性が限られたドメインに適した対話モデルの開発を 行い，少量の教師ラベルによるラベル推定を行いた いと考えている.

## 参考文献

[1] 保森智彦.「主体的・対話的で深い学び」を実現す るための教師の発話の検討, pp. 45-52. B, 人文・社会科学, No. 57. 岡山理科大学紀要, 2021.

[2] yuchen Wang, 大井翔, 松村耕平, 野間春生. 新任教員の授業力向上のための授業振り返りシステムに 関する研究. 情報処理学会インタラクション, pp. 753-757, 2021.

[3] 国立教育政策研究所. 教員環境の国際比較 OECD 国際教員指導環境調査 (TALIS)2018 調査報告書. ぎょ うせい, 2018 .

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[6] Klaus Greff, Rupesh K Srivastava, Jan Koutník, Bas R Steunebrink, and Jürgen Schmidhuber. Lstm: A search space odyssey. IEEE Transactions on Neural Networks and Learning Systems, Vol. 28, No. 10, pp. 2222-2232, 2016.

[7] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8] Oriol Vinyals and Quoc Le. A neural conversational model. In ICML Deep Learning Workshop 2015, 2015.

[9] Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-toend dialogue systems using generative hierarchical neural network models. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16, p. 3776-3783. AAAI Press, 2016.

[10] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 654-664, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[11] Iulian Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron Courville, and Yoshua Bengio. A hierarchical latent variable encoder-decoder model for generating dialogues. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[12] Zhaojiang Lin, Genta Indra Winata, Peng Xu, Zihan Liu, and Pascale Fung. Variational transformers for diverse response generation. arXiv preprint arXiv:2003.12738, 2020.

[13] Takamune Onishi, Sakuei Onishi, and Hiromitsu Shiina.
Improved response generation consistency in multiturn dialog. In 2022 12th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 416-419, 2022.

[14] Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian-Yun Nie, Jianfeng Gao, and Bill Dolan. A neural network approach to context-sensitive generation of conversational responses. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 196-205, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[15] Richárd Csáky, Patrik Purgai, and Gábor Recski. Improving neural conversational models with entropy-based data filtering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5650-5669, Florence, Italy, July 2019. Association for Computational Linguistics.

[16] Bin Sun, Shaoxiong Feng, Yiwei Li, Jiamou Liu, and Kan Li. Generating relevant and coherent dialogue responses using self-separated conditional variational AutoEncoders. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5624-5637, Online, August 2021. Association for Computational Linguistics.

[17] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics.

[18] Xianda Zhou and William Yang Wang. MojiTalk: Generating emotional responses at scale. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1128-1137, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[19] Michimasa Inaba. A example based dialogue system using the open 2channel dialogue corpus. Journal of Japanese Society for Artificial Intelligence, Vol. 87, pp. 129132, 2019.

[20] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[21] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representation, 2019.


# 対話行為の分布を利用した雑談対話システムの評価指標

榮田亮真 井手竜也 村田栄樹 河原大輔
早稲田大学理工学術院
\{s.ryoma6317@akane., t-ide@toki. , eiki.1650-2951@toki. , dkw@\}waseda.jp

## 概要

本論文では，雑談対話システムのふるまい全体を 考慮して評価を行うための新たな指標として，発話 が持つ役割である対話行為の分布を利用することを 提案する。人間とシステムの各発話に対話行為が付与された対話コーパスの分析から，人間は多様な対話行為を使い分けていること，また，対話相手の発話を踏まえて対話行為を決定していることがわかっ た. 分析に基づき, 対話行為のエントロピーと, 発話の対話行為が，対応する応答の対話行為の決定に 与える相互情報量で雑談対話システムを評価する。提案指標を様々な雑談対話システムに適用した評価実験によって，指標の妥当性が確認された。

## 1 はじめに

現在の雑談対話システムの評価方法は課題が残っ たまま利用されている. 評価は人手評価と自動評価 に分けることができ，人手評価はクラウドソーシン グによるもの，自動評価は BLEU [1], Distinct [2] な どの指標によるものが一般的である. さらに近年で は，BERT [3] などの事前学習モデルを人手評価デー タで Fine-tuning したモデルが提案されている $[4,5]$.

既存の評価指標の多くは，雑談対話システムの 1 ターンや 1 対話の応答を評価するものである.この ような評価指標はシステムのふるまい全体を見てい ないため，決まった数パターンの応答しか返すこと ができないシステムを高く評価することがある。ま た，Distinct はるるまい全体を評価する指標だが，表面的な語彙の多様性をはかるだけである。

本論文では，既存手法の問題点に鑑み，雑談対話 システムのふるまい全体を見て，Distinct よりも適切に，システムを評価することのできる評価指標を 提案する. 新たな評価指標は, 対話における各発話 の役割を表す対話行為 [6] の分布に注目したもので ある. 指標の考案のためまず，人間とシステムの発話に対話行為が付与された対話コーパスを構築し，分析を行う.コーパスの分析により，システムと比 べて人間は対話行為を多様に使い分けていること， また，対話相手の発言を踏まえて，対話行為を決定 していることがわかった. 分析に基づき, 対話行為 の多様性を表すエントロピー $(\mathrm{DAE})^{1)}$ と，どれだけ 相手の発言の対話行為を考慮しているかを表す相互情報量 $(\mathrm{DAMI})^{2}$ )に注目することで，システムを評価 することを提案する。DAE は Distinct とは異なり， おうむ返しばかりをするシステムに低いスコアを与 える. DAMI は応答だけでなく, その直前の発話に も注目したもので，対話の評価として Distinct より も適切であると考えられる. DAE，DAMI の算出に は発話に対話行為を付与することが必要だが，付与方法として，人手付与と対話行為分類モデルによる 自動付与の両方を検討する。

提案指標の妥当性検証のため, 様々な雑談対話シ ステムに対して，提案指標を算出する実験を行っ た. 実験から，提案指標の DAE，DAMI が対話シス テムの性能を反映した指標であることがわかった.

## 2 関連研究

既存の雑談対話システムの評価方法の多くが，1 つのユーザ発話とそれに対応するシステム応答を見 て評価を行うターンレベルの評価である。ターンレ ベルの関連度の人手評価 [7] は，おうむ返しやあり きたりでつまらない応答についても高い評価を与え る.これは，おうむ返しやありきたりな応答を多く 返すことで知られている深層学習による雑談対話シ ステム $[8]$ の評価指標として不適切である.

対話行為（Dialog Act）とは，対話において各発話 が持つ役割である. Stolcke ら [6] は 42 種類の対話行為を提案し，対話行為を付与した対話コーパス である SwDAを構築した. 対話行為が付与された 他のコーパスとしては，日常的な対話を収集した DailyDialog [9] などが存在する. また，深層学習モ

図 1: 対話行為の体系 (Inform、Question、Directive は DailyDialog で提案されたもの)

表 1: 対話行為の分布（太字は各対話行為について 人間とシステムのどちらが多いかを示している)

デルによって対話行為を分類することを目指した研究も存在する $[10,11,12]$.

## 3 対話行為データセットの構築

雑談対話システムの評価指標の考案のため，人間 とシステムの各発話に対話行為が付与された対話 コーパスを構築する.このコーパスを対話行為デー タセットと呼ぶ.

## 3.1 対話行為の体系

本論文では， 10 種類の対話行為で構成される体系 を提案する (図 1). 能動的な発言は、DailyDialog [9] で提案された対話行為をもとに分類した。

## 3.2 応答生成モデル

対話システムによる発話の対話行為を収集する ために，T5 [13] の日本語版3)を Fine-tuning したシス
テムを用いてシステム発話を得る. Fine-tuning に用 いるデータセットは Twitter から Twitter API を用い て収集したツイートリプライ対で，800,000 ペアで ある。

## 3.3 対話行為のアノテーション

3.1 節に示した対話行為の体系に基づき，クラ ウドソーシングでアノテーションを行う.アノテー ションの対象は，ある発話に対する人間の応答とシ ステムの応答それぞれ 6,820 文である. 発話と人間 による応答は Twitter から TwitterAPI を用いて収集 したマルチターン対話で，システムによる応答は 3.2 節の応答生成モデルから得たものである. 対話 をクラウドワーカに見せ，最後の発話に関して，当 てはまる対話行為を全て選択してもらう.1つの発話につき 5 人に尋ね， 2 票以上かつ最多の票を集め た対話行為を採用する. 複数の対話行為が採用対象 になった場合，それらの中からランダムに 1 つ選択 する. 収集したデータセットの分布を表 1 に示す. 人間の方が多様に対話行為を使い分けていることがわ かる.

## 3.4 対話行為の遷移

対話においては，ある対話行為の後には特定の対話行為が現れやすいといった傾向が存在すると考え られる。その傾向における人間とシステムの違いを 見るため，構築したデータセットにおいて対話行為 の遷移を分析する。遷移を示したヒートマップを図 2 に示す. ヒートマップの各行は，その行名の対話行為の後にどの対話行為が来るかの条件つき確率分布を, 事前確率分布で補正した值 $\frac{P\left(a_{t+1} \mid a_{t}\right)}{P\left(a_{t+1}\right)}$ を表して いる. $a_{t}$ は対話における $\mathrm{t}$ 番目の発話の対話行為を 表す。事前確率分布による補正をすることで，それ 以外の状況と比較したときに，特定の状況下で，あ る対話行為が現れやすいことを表現した値となる。 ヒートマップから，人間はシステムに比べて，対話相手の対話行為を踏まえてどんな対話行為を返すべ きかを決定しているという傾向がわかる。

## 4 対話行為分布を利用した雑談対話 システムの評価

3 節の対話行為データセットの分析を踏まえて,雑談対話システムを評価するための 2 つの指標を提案する.

3) Hugging Face Hub: sonoisa/t5-base-japanese

(a) 人間の発話の対話行為遷移

(b) システムの発話の対話行為遷移

図 2: 対話行為遷移を示したヒートマップ

表 2: 人手付与された対話行為に基づく評価指標に よる評価結果と Distinct（太字はそれぞれの比較対象についてスコアが最大のものを示している）

## 4.1 エントロピー (DAE)

3.3 節による分析から，人間は対話の中で，さま ざまな対話行為を使い分けていることがわかる. そ のため，対話システムの評価指標としてシステム発話の対話行為の多様性が利用できると考えられる。分布の多様性は，エントロピー4)で計算される.

## 4.2 相互情報量 (DAMI)

3.4 節の分析から人間は，相手の発言の内容に応 じて対話行為を使い分けていることがわかる. この ことは，直前の発話の対話行為が対象発話の対話行為の決定に与える相互情報量 ${ }^{5}$ を用いて定量的に表現することができる.

## 5 評価指標の検証

対話行為を付与する方法として人手付与と対話行為分類モデルによる自動付与の 2 つがあり，それぞ れにおける評価指標の妥当性を検証する。

4）定義は付録に示す。

5）定義は付録に示す.

## 5.1 人手付与による評価

## 5.1.1 実験設定

本実験では，対話行為を 3.3 節と同様に，クラウ ドソーシングで収集する．評価指標算出のためのシ ステム発話は 6,000 文であり，3.3 節でシステム発話を得た Twitter上のマルチターン対話 6,820 文の うち，6,000 文の応答として得たものである. 対話 システムの構築は事前学習モデルである T5）[13], $\mathrm{mT5}^{7)}$ [14] を Fine-tuning して行う. Fine-tuning に用 いるデータセットは，3.2 節で用いたものと同じツ イートリプライ対である. 日本語 $\mathrm{T} 5$ は単一のモデ ルサイズしか公開されていないため，学習データ 量をシステムの性能とみなし，提案指標の比較を 行う.データセット全量を用いたシステムに加え て，8,000 ペア, 80,000 ペア, 400,000 ペアを使用して Fine-tuning したシステムも構築する. なお，データ セット全量を用いたシステムとはすなわち，3.2 節 のシステムである. mT5 については，モデルパラ メータの多さをシステムの性能とみなす。また，入力をそのまま返すおうむ返しシステムと人間による 発話についても提案指標を算出する.

## 5.1 .2 実験結果

実験結果を表 2 に示す. T5 について，Fine-tuning に用いたデータ量が多いシステムの方が高いスコア を得た。また， $\mathrm{mT5}$ について，パラメータ数が多い base モデルの方が高いスコアを得た. これらの結果 から，提案指標は妥当なものであると言える. さら に，人間はどちらの指標においても最も高いスコア

6) Hugging Face Hub: sonoisa/t5-base-japanese

7) Hugging Face Hub: google/mt5-small, mt5-base

図 3: バッチサイズに対する比較結果の変化

表 3: 自動付与された対話行為に基づく対話 システムの評価結果

を得た．Distinct はおうむ返しだけを返すシステム に対しても高いスコアを与えたが，提案指標の値は 0 である.

## 評価に一貫性はあるか

評価指標においては，異なるテストコーパスを用 いても一貫した結果であることが重要であるため,検証を行う. 比較したい 2 つのシステムについて， クラウドソーシングで収集した 6,000 発話からバッ チサイズ分の発話をサンプリングし，エントロピー を計算する、サンプリングを繰り返し，エントロ ピーの大小が一貫しているかを確認する. サンプリ ング時には, 同一の発話に対応する 2 つのシステム の発話をサンプリングすることに注意する．比較は 以下の 3 ペアに関して行う.
- mT5-base vs mT5-small
- T5-800k vs T5-400k
- human vs T5-800k

バッチサイズを $500,1000,1500,2000$ と変更させる. サンプリングの繰り返し回数は 20,000 回とする. 実験結果を図 3 に示す. 2,000 文のテストコーパスを 用いれば，一貫した結果が得られることがわかる.

## 5.2 自動付与による評価

発話の対話行為の分類モデルを構築し，5.1 節と 同様の実験を行う.

## 5.2.1 実験設定

モデルの構築は事前学習モデル $\mathrm{BERT}^{8}$ を Finetuning して行う. 学習コーパスは対話行為データ セットで，人間の発話とシステムの発話の両方を用 いる. 表 1 から，学習データ数は対話行為ごとに偏 りがある．データ数の偏りは学習に悪影響であると 考えられるため，各対話行為のデータ数を，最多の 対話行為である「意見」に合わせるアップサンプリ ングを行う。学習用と検証用にデータセットを $4: 1$ に分割し，検証用のデータセットに対してクロスエ ントロピーロスが最小であったエポックを採用す る. テストコーパスは Twitter 上のマルチターン対話を各対話システムに入力して得た応答で，学習に 用いたデータセットとは異なる 3,880 文である.

## 5.2.2 実験結果

自動付与した対話行為を利用して評価指標を計算 した結果を表 3 に示す. $\mathrm{T} 5$ と人間については妥当 な結果が得られているのに対し， mT5 は正しく評価できなかったことがわかる。これは学習データの 発話が $\mathrm{T} 5$ と人間によるものであることが原因と考 えられる. 自動付与による評価を実用化するために は，分類モデルの改善が必要である.

## 6 おわりに

本論文では，雑談対話システムのふるまい全体を 評価することのできる指標を提案した. 提案指標 は，システム発話の対話行為の分布から算出される エントロピーと相互情報量であり，データセットの 分析によって得た人間とシステムの発話の特徵に基 づくものである. 様々な対話システムを対象に提案指標を算出する実験によって，提案指標がシステム の良さを反映した妥当な指標であることがわかっ た. 提案指標は応答の対話行為だけを見ており，内容の質を見ていない. 応答がその対話行為の応答と して質が高いかを評価する手法を確立し，統合する ことが今後の課題である.

8) HuggingFace Hub: cl-tohoku/bert-base-japanese-whole-wordmasking

## 謝辞

本研究は 2022 年度国立情報学研究所 CRIS 委託研究の助成を受けて実施した。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Tianyu Zhao, Divesh Lala, and Tatsuya Kawahara. Designing precise and robust dialogue response evaluators. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 26-33, Online, July 2020. Association for Computational Linguistics.

[5] Sarik Ghazarian, Johnny Wei, Aram Galstyan, and Nanyun Peng. Better automatic evaluation of open-domain dialogue systems with contextualized embeddings. In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 82-89, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor, Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational Linguistics, Vol. 26, No. 3, pp. 339-374, 2000.

[7] Sarah E. Finch and Jinho D. Choi. Towards unified dialogue system evaluation: A comprehensive analysis of current evaluation protocols. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 236-245, 1st virtual meeting, July 2020. Association for Computational Linguistics.
[8] Shaojie Jiang and Maarten de Rijke. Why are sequenceto-sequence models so dull? understanding the lowdiversity problem of chatbots. In Proceedings of the 2018 EMNLP Workshop SCAI: The 2nd International Workshop on Search-Oriented Conversational AI, pp. 81-86, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[9] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[10] Ji Young Lee and Franck Dernoncourt. Sequential shorttext classification with recurrent and convolutional neural networks. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 515-520, San Diego, California, June 2016. Association for Computational Linguistics.

[11] Hamed Khanpour, Nishitha Guntakandla, and Rodney Nielsen. Dialogue act classification in domainindependent conversations using a deep recurrent neural network. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2012-2021, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[12] Vipul Raheja and Joel Tetreault. Dialogue Act Classification with Context-Aware Self-Attention. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3727-3733, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020 .

[14] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.
表 4: 意見の分布

## A 意見の細分化

表 1 から，人間とシステムどちらにおいても，「意見」の発話が多いことがわかる.そこで，「意見」を 細分化して，さらなる特徴の違いを見る。「意見」を，「意見の対象」と，「意見の属性」によって 6 種類に 分類する. 分類の詳細を表 4 に示す.アノテーション の対象は 3.3 節の収集で「意見」の対話行為が付与 されたものである.マルチターンの対話をクラウド ワーカに見せ，最後の発話に関して，6種類の選択肢から1つを選択してもらう. 1 つの発話に関して 5 人に尋ね，2 票以上かつ最多の票を集めた対話行為 を採用する. 複数の対話行為が採用対象になった場合，ランダムに 1 つの対話行為を選択する. 収集し たデータセットの分布を表 4 に示す.システムは対話相手に対するポジティブな意見を多く生成するこ とがわかる.これはシステムからは同意の発話が多 いことを示している.また，システムが対話相手以外に対する意見を生成することは少ないことがわか る.これは，対話相手以外に対する意見を生成する には，直前の発話に含まれないが対話相手との間で 共有している知識や，世界知識が必要であるためと 考えられる. 意見という 1 つの対話行為を詳細に見 ても，人間の方が対話行為に多様性があることがわ かる.

## B 対話行為遷移の例

図 2a に示したヒートマップにおける，頻出の遷移の会話例を以下に示す.

(1) 質問 $\rightarrow$ 質問

a.なんか小さい頃公園で飲んだ水道みたいな味し ました

b.鉄の味するってやつすか (質問)

c.カルキなんですかね.ネバっとする感じの (質問)

お互いがわからないことについて話している状況表 5: 対話行為分類モデルの性能

(2) 提案 $\rightarrow$ 提案

a. 音声録音して送ってくれ

b.土日飯行くならその時にでも (提案)

c.土曜は無理だから日曜なら (提案)

お互いに提案を繰り返し，約束を決めているような 状況

（3）命令・お願い $\rightarrow$ 命令・お願い

a. 久しぶりのお休みだから娘達にご飯行こうっ て誘ってもフラれてしまった私。. あちこち生誕隼備買いにいこ

b. たまにはご馳走して (命令・お願い)

c.じゃあ今すぐ日本橋に来てください (命令・お

願い)

お願いされたことについて交換条件を提示している ような状況

## C 評価指標の数学的定義

DAE は以下で定義される。

$
D A E=-\sum p\left(a_{u}\right) \log p\left(a_{u}\right)
$

DAMI は以下で定義される.

$H\left(a_{u_{t+1}} \mid a_{u_{t}}\right)=-\sum p\left(a_{u_{t}}\right) \sum p\left(a_{u_{t+1}} \mid a_{u_{t}}\right) \log p\left(a_{u_{t+1}} \mid a_{u_{t}}\right)$

$
D A M I=H\left(a_{u_{t+1}}\right)-H\left(a_{u_{t+1}} \mid a_{u_{t}}\right)
$

## D 対話行為分類モデルの性能

5.2.1 節で構築した対話行為分類モデルの性能を 表 5 に示す.


# フォローアップ発話を用いた日本語対話の自動評価

川本 稔己 ${ }^{1,2}$ 岡野 裕紀 $^{1}$ 山崎 天 ${ }^{2}$ 佐藤 敏紀 ${ }^{2}$ 船越 孝太郎 ${ }^{1}$ 奥村 学 $^{1}$
1 東京工業大学 ${ }^{2}$ LINE 株式会社
\{kawamoto, okano, funakoshi, oku\}@lr.pi.titech.ac.jp
\{takato.yamazaki, toshinori.sato\}@linecorp.com

## 概要

対話の人手評価には時間とコストがかかるため,人手評価と自動評価の相関を向上し自動評価の信頼性を高めていくことは重要である. 本稿では,フォ ローアップ発話が生成される尤度を利用して対話を 評価する FED と FULLという自動評価指標に着目 し検証と改善を行う. 日本語対話データを利用した 実験の結果, FED と FULL は人手評価との相関があ まり見られなかったが, 我々の改善した手法の相関係数は 0.58 で最も高い値となった. また, 我々の改善した手法を用い, 対話データから対話システムの 順位を予測した結果, 高い相関を示し, 特にオープン ドメインの対話は正解の順位と完全に一致した.

## 1 はじめに

近年の事前学習済み言語モデルによる性能向上に 伴い, 年々優れた対話システム $[1,2,3,4]$ が発表され ているが, 対話システムの優劣を評価するためには 最終的に人手評価を行うことが一般的である [5]. し かし, 人手評価には時間とコストがかかるため, 開発段階では自動評価を利用して評価できれば効率的で ある. 本研究では, 対話の人手評価と相関があり信頼性の高い自動評価指標を提案することを目指す.

対話の自動評価指標には正解の応答が必要な指標 と不要な指標がある. 正解の応答が必要な指標とし ては BLEU [6], FBD [7] 等が挙げられ, 正解の応答が 不要な指標としては Perplexity や USR [8] 等が挙げ られる. 正解の応答が必要な指標は, 多様な応答が許容される対話の性質上適切に評価ができなかった り, 正解の応答を作成するための時間とコストがか かるという問題がある. よって本稿では, 正解の応答 が不要な指標の 1 つであり, 人手評価との相関が高 いことが報告されている [5], FED [9] と, FEDを発展 させた FULL [10] に着目する. FED と FULL が日本語対話に利用できるか検証し, 先行研究から考えら
れる問題点（3 節参照）を改善することを試みる. 実験の結果, 我々の改善した手法は先行研究より人手評価との相関が高いことを確認した. さらに, 対話 データから対話システムの順位を予測したところ， オープンドメインの対話とシチュエーションに特化 した対話それぞれで高い相関を示し, 特に,オープン ドメインの対話は正解の順位と完全に一致した.

## 2 先行研究

本節では, 対話の自動評価指標である FED と, FED を発展させた FULL について説明する. FED は, 対話履歴が与えられたときに, それに続くフォローアッ プ発話の対数尤度を測ることによって評価を行う指標である. FED の評価項目とフォローアップ発話の 例を図 1 に示す. 評価項目は大きく分けてターンレ ベルと対話レベルの 2 種類があり, ターンレベルで は, 対話において評価したい話者の発話の後にフォ ローアップ発話を付与し対数尤度を算出する。一方，対話レベルでは, 対話の最後にフォローアップ発話 を付与し対数尤度を算出する. 各レベルごとに評価項目は複数あり, ターンレベルでは 8 個, 対話レベル では 10 個, 計 18 個の評価項目が使われている. 各評価項目には, 平均 4.05 個のフォローアップ発話が 設定されており,フォローアップ発話は, ポジティ ブとネガティブの 2 種類に分けられる. 図 1 に示す ように, フォローアップ発話の例として, Interesting の項目に当てはまるポジティブの発話は”Wow that is really interesting., といった, 前の発話が面白い場合 に尤度が上がる発話を利用し, ネガティブの発話 は”That's really boring."といった, 前の発話が面白く ない場合に尤度が上がる発話が利用されている. 対数尤度の計算には, 公開されている DialoGPT [11] を使用している. 追加でデータの準備やモデルの 訓練をする必要がないため,他の対話自動評価指標 $[12,13]$ と比べて比較的手軽に評価を行うことが できる. また, Tianbo ら [5] が行った自動評価と人手

図 1 FED の評価項目と各項目に設定されているフォ ローアップ発話の例. フォローアップ発話のうち, ポジ ティブを青色, ネガティブを赤色で示している. ネガティ ブ発話しか表示されていない評価項目はポジティブ発話 が定義されていないことを示す.

評価の相関を測る実験で FED と人手評価の相関が 0.59 と報告されており, 彼らの論文中で使われた自動評価指標の中では最も高い相関を得ている.

FULL は FED を発展させた指標であり, FED との 差分としては, (1) FEDでは対話履歴とフォローアッ プ発話を含めた対数尤度を算出していたが, 対話履歴が与えられた場合のフォローアップ発話の条件付き対数尤度に変更したこと, (2) 各評価項目を撤廃し, 5 つのフォローアップ発話のみに限定したこ と, (3) 複数の言語モデルで比較を行い, DialoGPT か ら BlenderBot [14] に変更したことである. FED デー タセットで人手評価との相関係数を計った結果, state-of-the-art となる 0.69 が報告されている.

## 3 先行研究の問題点と調査

本節では, FED・FULL から考えられる問題点と,問題点を改善するための手法を説明する. 2 節で述 べたように FED は, 18 個の評価項目を用いている が, Semantically Appropriate, Understandable, Fluent の 3 つの項目のポジティブのフォローアップ発話は全く同じ発話が使用されている.それ以外にもフォ ローアップ発話が同一である評価項目が存在し, 全 ての評価項目が独立した項目として測れているか疑 わしい. そのため, 我々は対話評価を行う際に, 18 項目全てを用いるよりも，一部の評価項目を用いたほ うが優れているのではないかと仮説を立てた. 具体的には, 検証データで最も高かった評価項目の組み 合わせのみを選択し, その組み合わせを使ってテス トデータで相関係数の評価を行った.

一方, FULL で限定された 5 個のフォローアップ発話は, FED データセットで相関が高かった発話が選 ばれており, 別のデータセットでも適切なフォロー アップ発話なのか不明であるため, FULL で 5 発話に 限定しない手法も比較する. さらに, 限定された 5 発話は全てネガティブのフォローアップ発話なので， ポジティブの発話のみや, ネガティブの発話のみを 使って評価を行う. それ以外にも, GPT [15]のような 基盤モデル [16] を用いて対数尤度を算出するため， フォローアップのテキストが発話である必要はない 可能性があり, 評価項目名をそのままフォローアッ プとした手法の評価も行う。

## 4 実験

## 4.1 実験設定

本実験では, 対話ごとにつけられた人手評価と各手法によって得られる自動評価の相関係数を比較 することで自動評価指標を評価する。評価データ には, 対話システムライブコンペティション 3 [17] (以降, 対話コンペ 3)で行われた予選のデータ1)を 使用する. 対話コンペ 3 にはオープントラックとシ チュエーショントラックの 2 種類のトラックがあ り,オープントラックではオープンドメインの対話, シチュエーショントラックではシチュエーション に沿った対話が行われている. どちらのトラックも ワーカとシステムがチャットベースで対話を行って おり, 人手評価は対話を行ったワーカが行う. オープ ントラックの評価指標は以下の 3 つでそれぞれ 5 段階で評価している.

・自然性：対話が自然かどうか

・話題追随：システムはユーザが選択した話題に 関して適切に応答できたかどうか

・話題提供：システムはユーザが選択した話題に

1) https://dialog-system-live-competition.github.io/ dslc3/data.html
表 1 対話コンペ 3データセットのサイズ.

関して新たな情報を提供できたかどうか

これら 3 指標の平均点を各対話における人手評価の スコアとした. シチュエーショントラックの評価指標は以下の 1 項目で, 同様に 5 段階で評価している.

・どれくらいシチュエーションに適しており、か つ、人らしい会話か

データセットのサイズを表 1 に示す. 対話コンペ 3 に参加した一部のチームのデータは公開されておら ず, 公開されているデータのみを実験の対象とした.

尤度を計算するための言語モデルは日本語で学習された $\mathrm{GPT}^{2}$ を利用した. フォローアップ発話は FED・FULL のフォローアップ発話を第一著者が人手で日本語に翻訳した. 対話ごとの人手評価と自動評価の相関は Spearman の順位相関係数と Pearson の 相関係数を利用し算出する. 2 分割交差検証を行い 2 つの相関係数の平均を最終的な結果とする。

## 4.2 手法

実験では以下の手法を比較する。

FED FEDを日本語に適応した手法.

FULL FULLを日本語に適応した手法.

FED-Cond FED に 2 節で説明した FULL との差分, (1) 条件付き対数尤度を適用した手法.

FED-Cond-Pos FED-Cond のポジティブのフォ ローアップ発話のみを用いた手法.

FED-Cond-Neg FED-Cond のネガティブのフォ ローアップ発話のみを用いた手法.

FED-Cond-Tag FED-Cond のフォローアップとし て, 発話の代わりに評価項目名を用いた手法.

FED-Selected FED の評価項目から検証データで 選ばれた項目のみを用いた手法.

FED-Cond-Selected FED-Cond の評価項目から 検証データで選ばれた項目のみを用いた手法.

## 4.3 実験結果

実験結果を表 2 に示す. 先行研究である FED と FULL の相関係数は,オープントラックではマイナ

2) https://huggingface.co/rinna/japanese-gpt-1b表 2 実験結果. Spear. は Spearman の順位相関係数, Pear. は Pearson の相関係数を示す

スで相関がないこと,シチュエーショントラックで は, Spearman の順位相関係数が 0.27 と多少の相関は あることがわかったが, 英語対話の評価結果とは大 きく乘離があることを確認した. 先行研究をそのま ま日本語対話の評価に適用することは難しいことが わかった。

FEDを条件付き対数尤度に変更した FED-Cond は， FED より高い相関を得ていることから, 2 節で説明 した FULL との差分である, (1) の条件付き対数尤度 は効果的であることを示しており, FULL より高い 相関を得ていることから, (2) の 5 発話に絞ることは 日本語対話の評価に悪影響を与えていることを示し ている. FED-Cond-Pos と FED-Cond-Neg を比較する と,オープントラックにおいては, ポジティブのフォ ローアップ発話のほうが効果的であるが, シチュ エーショントラックにおいては, ネガティブのフォ ローアップ発話のほうが効果的であった. 効果的な 発話が 2 つのトラックで異なったのは, シチュエー ショントラックの設定が”先輩からの「同窓会の幹事の依頼」を断りたい状況”であるため, システムの 発話がネガティブに当てはまる場合が多かったこと が理由として考えられる. その上で, FED-Cond の方 が高い相関係数を得ていることから, ポジティブと ネガティブどちらの発話も使ったほうが効果がある と考えられる. FED-Cond-Tag は, どちらのトラック でも相関は見られず, 基盤モデルで実験を行う場合 も評価項目名をフォローアップとして与えるより，評価項目の意図を反映するような発話を用いたほう が良いことがわかる. その上で, 検証データを用いて 評価項目を選ぶ FED-Cond-Selected は他の手法と比較してどちらのトラックでも最も高い相関係数を得 た. よって, 18 個の評価項目から一部の項目を使用 することで相関係数が向上することを確認した.
表 3 オープントラックのランキング結果. 結果は”チー ム名 (スコア)" で表記する. 赤が正しく順位を予測できた チーム, 青が誤って順位を予測したチームを示す.

## 4.4 ランキング

本稿で提案した手法 FED-Cond-Selected は最も高 い相関があることを確認したが, 今回使用したデー タセットである対話コンペ 3 予選の本来の目的は, チームのランキングを決めることである. よって, 対話それぞれの自動評価スコアをチームごとに平均す ることでチームのランキングを試みる.

ランキング結果とその Spearman の順位相関係数 を, オープントラックは表 3 に, シチュエーショント ラックは表 4 に示す. チーム名はわかりやすさのた めに順位の高い方からアルファベット順で表記し た. オープントラックで, FED・FULLが正しく順位 を予測したのはそれぞれ 1,2チームだけであったが, FED-Cond-Selected は正解の順位と完全に一致した.一方で, シチュエーショントラックでは, どの手法も 正しく順位を予測したのは数チームであり, 相関係数は FULL が最も高かったが, FED-Cond-Selected も 0.77 と高い相関を示した。

## 4.5 考察

実験結果から, オープントラックで行われたオー プンドメイン対話に関しては比較的高い相関が見ら れ, ランキングが正解と一致したことから, 本稿で提案した手法は対話の自動評価を行える可能性がある ことを示唆している. 一方, シチュエーショントラッ クに関してはオープントラックと比べて相関係数が 低く,ランキングが一致するチーム数も少なかった. これは, シチュエーショントラックの指標である”ど れくらいシチュエーションに適しており、かつ、人 らしい会話か” の前半部分であるシチュエーション に適しているかを今回使用したフォローアップ発話 では測れなかった可能性があり,シチュエーション に特化した評価項目とそのフォローアップ発話を新 たに作成することで対応できる可能性がある.

また, FED-Cond-Selected において, 2 分割交差検証 で最も高い相関係数を得た評価項目の組み合わせ は,オープントラックでは Specific, Relevant, Fluent の 3 項目と Interesting, Specific, Correct, Fluent $の 4$ 項目, シチュエーショントラックでは Interesting, Engaging, Specific, Fluent, Depth $の 5$ 項目と Specific, Relevant, Semantically Appropriate, Depth, Understand $\sigma 5$ 項目 であった. 評価する対話の性質や目的, 状況により必要な項目は変化すると考えられるが, 今回使われた 項目数は最大で 5 項目であることから, 18 項目全て を利用する必要はないことを確認した. 選ばれた評価項目で互いのトラックを評価すると,オープント ラックの組み合わせを使用したシチュエーショント ラックの Spearman の順位相関係数は 0.320 , シチュ エーショントラックの組み合わせを使用したオープ ントラックの Spearman の順位相関係数は 0.529 とな り,性能の劣化はあまり見られなかった.

## 5 おわりに

本稿では, 対話の自動評価指標である FED・FULL が日本語対話の評価に利用できるか検証した結果，人手評価とはほとんど相関がないことを確認した が, 一方で 18 個の評価項目からいくつかの項目だけ を選んで利用することで相関係数が向上することを 示した. その上で, 選んだ項目のみを用いる手法でシ ステムの順位を予測したところ, オープンドメイン の対話とシチュエーションに特化した対話のどちら も高い相関を示した. 今後の展望としては, 今回提案した手法をさらに発展させて, 使用するフォロー アップ発話を対話ごとに動的に選んで自動評価を行 う枠組みを構築したい. また, 今回選ばれた評価項目 を他の対話データに適用したときに, 同様の結果を 得られるか検証を行っていきたい。

## 参考文献

[1] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, et al. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage. arXiv preprint arXiv:2208.03188, 2022.

[3] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[4] Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. Lamda: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022.

[5] Tianbo Ji, Yvette Graham, Gareth Jones, Chenyang Lyu, and Qun Liu. Achieving reliable human assessment of open-domain dialogue systems. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6416-6437, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[7] Jiannan Xiang, Yahui Liu, Deng Cai, Huayang Li, Defu Lian, and Lemao Liu. Assessing dialogue systems with distribution distances. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2192-2198, Online, August 2021. Association for Computational Linguistics.

[8] Shikib Mehri and Maxine Eskenazi. USR: An unsupervised and reference free evaluation metric for dialog generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 681-707, Online, July 2020. Association for Computational Linguistics.

[9] Shikib Mehri and Maxine Eskenazi. Unsupervised evaluation of interactive dialog with DialoGPT. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 225-235, 1st virtual meeting, July 2020. Association for Computational Linguistics.

[10] Maxime De Bruyn, Ehsan Lotfi, Jeska Buhmann, and Walter Daelemans. Open-domain dialog evaluation using follow-ups likelihood. In Proceedings of the 29th
International Conference on Computational Linguistics, pp. 496-504, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[11] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pretraining for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, Online, July 2020. Association for Computational Linguistics.

[12] Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, and Jie Zhou. Conversations are not flat: Modeling the dynamic information flow across dialogue utterances. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 128-138, Online, August 2021. Association for Computational Linguistics.

[13] Chen Zhang, Yiming Chen, Luis Fernando D'Haro, Yan Zhang, Thomas Friedrichs, Grandee Lee, and Haizhou Li. DynaEval: Unifying turn and dialogue level evaluation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5676-5689, Online, August 2021. Association for Computational Linguistics.

[14] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[15] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[16] Rishi Bommasani, Drew A Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021.

[17]東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 角森唯子, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博, 小室允人, ドルサテヨルス. 対話システムライブコンペ ティション 3. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 90, p. 23, 2020.


# 基盤モデルを用いたフェイスアクト分類

櫻井大雅 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
\{hsakurai, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究では二つの仮説に基づき，人間関係に関 する欲求のフェイスに影響を及ぼす発話行為で あるフェイスアクトを，基盤モデルの一つである GPT-3 を用いて分類する。まず，GPT-3がフェイス アクトが何であるかを把握していると仮定し，そ の能力を few-shot 学習によって引き出せるか否か を検証する。次に，事前学習がフェイスアクト分類に有益であると仮定し, fine-tuning した GPT-3を 先行研究のモデルと比較する. few-shot 学習による フェイスアクト分類は困難な一方で， fine-tuning し た GPT-3 は先行研究を上回る分類精度を発揮した。

## 1 はじめに

ポライトネス理論は，人間関係を円滑にするため に用いられる言語的配慮を説明する理論である. 今日広く知られているものは，ブラウンとレヴィンソ ン $(\mathrm{B} \& \mathrm{~W})$ がフェイスと呼ばれる概念を援用して定義した [1]. フェイスとは，抑圧からの解放や自尊心といった人間の生来的な欲求であり，フェイス に影響を与える発話行為をフェイスアクトと呼ぶ. フェイスやフェイスアクトは, 社会言語学や語用論 の分野で確立された概念であり，最近では説得対話 システムの開発においても注目されている $[2,3]$.

フェイスアクト分類は，ある発話が持つフェイス アクトの種類を判定するタスクである. 先行研究 [3] は階層型ニューラルネットワークによる教師あ り学習を用いたが，このようなモデルは特定のドメ インでの学習が必要であり汎化性に欠ける.

本研究では基盤モデルのフェイスアクト分類に 対する有用性について, 基盤モデルの一つである GPT-3[4] を用いて二つの仮説を検証する。一つ目 は，GPT-3がフェイスアクトに関する知識を獲得 しているという仮説である.これを検証するため，発話とフェイスアクトのペアを正解例としてテス トデータと共に与える few-shot 学習を行うことで，
フェイスアクト分類が可能になることを確認する. few-shot 学習は教師あり学習よりもドメインに対す る依存性が低いため，より汎用的な分類が可能にな ると考えられる。二つ目は，GPT-3 はフェイスアク トに関する知識を持たないとしても，事前学習を通 じて分類に有用な知識を得ているという仮説であ る.これを検証するため，発話とフェイスアクトの ペアを訓練データとする教師あり学習を行ったモデ ルを用いてフェイスアクトを分類する。

実験により, few-shot 学習ではフェイスアクト の分類が困難であることが判明した. すなわち， GPT-3 はフェイスアクトの知識を有していないか,知識を有しているとしても今回の実験では活用 できなかった可能性がある。一方，fine-tuning した GPT-3 は先行研究を上回る分類精度を発揮し, 訓練 データを $25 \%$ 程度に減らして fine-tuning を行った場合に先行研究と同程度の精度が得られることを確認した. 加えて fine-tuning した GPT-3 の出力を精査 し，分類性能向上における課題を分析した.

## 2 背景

## 2.1 フェイスとフェイスアクト

他者との人間関係に関連する欲求であるフェイ スの概念はゴッフマン [5] によって導入され，B\&W のポライトネス理論でポジティブフェイスとネガ ティブフェイスの二種類に分類された. 前者は他者 から認められたり，好かれたりしたいといった欲求 である一方で，後者は自身の自由や領域を他人に侵 されたくないといった欲求である.

フェイスアクトは，話者や聴者のフェイスに影響 を与える発話行為である. 先行研究 [3] は以下の三基準を用いてフェイスアクトを八種類に分類した。

・フェイスアクトが話者(s)に向けられたものか, それとも聴者 $(\mathbf{h})$ に向けられたものか

・フェイスアクトがポジティブフェイス (pos) に
表 1 フェイスアクトが付与された会話の一部 [3]. 二人 の会話参与者のうち，一人は説得者 ER，もう一人は被説得者 $\mathrm{EE}$ の役割を持ち，ERはEEに寄付を促す。

話者 発話 1 ラベル

ER Would you be interested today in making a do- hnegnation to a charity?

EE I've seen a lot of commercials about them, but hpos+ never did a lot of research about them.

ER They are actually really great.

spos+

向けられたものか，それともネガティブフェイ ス(neg)に向けられたものか

・フェイスが守られたのか (+)，それとも攻撃さ れたのか (-)

## 2.2 フェイスアクト分類

本研究は, 先行研究 [3] の定式化を踏襲している.会話 $D$ を構成する $n$ 個の発話 $D=\left[u_{1}, u_{2}, \ldots, u_{n}\right]$ に 対し，フェイスアクト $y_{1}, y_{2} \ldots, y_{n}$ をつずつ割り当 てる. ラベル $y_{i} \in Y$ は八種類のフェイスアクト，ま たは other（フェイスに影響しない挨拶やフィラー，会話の本題と無関係な発話等）のいずれかである.

フェイスアクト分類に用いられる代表的なデー タセットは, Save the Children (STC) という慈善団体 への募金活動に関する二者間での説得対話 [6] フェイスアクトをアノテーションしたものである [3]. 表 1 にデータセット中の会話の例を示す.この データセット中の発話は，データセットに現れない sneg-を除く七つのラベルに, other（フェイスアク 卜なし）を加えた八つのいずれかに分類される.

## 2.3 GPT-3

GPT-3 は基盤モデルの一つであり，分類，質問応答，翻訳など様々なタスクに適用可能である [4]. GPT-3 の能力を引き出すには，自然言語で書かれた クエリのプロンプトを用いることが多い $[7,4]$. 頻繁に用いられるプロンプトの形式に質問応答形式 $[8,9,10]$ がある. 要約や感情分析などのタスクが対象とする文章を質問形式で GPT-3 に入力し, 出力を タスクの答えとみなす形式である. 先行研究では， プロンプトにタスクの指示を含めることで無効なラ ベルの生成が抑制されると報告されている [11].

プロンプトを用いて GPT-3 の言語理解能力を発揮する基本的な方法の一つが few-shot 学習である. few-shot 学習では，プロンプトはタスクに関する説明と数個の正解例, さらにテストデータから構成さ れる。また, few-shot 学習以外で GPT-3を活用する 方法は，対象とするタスクに関する十分な訓練デー タを用いて, 教師あり学習でモデルを訓練する手法 (fine-tuning) が考えられる. fine-tuning した GPT-3 に推論のためのテストデータのみをプロンプトとし て与え，モデルの出力を分類結果とみなす.

## 3 手法

本研究ではまず，few-shot 学習を用いたフェイス アクト分類を行う。次に， fine-tuning したGPT-3を 用いてフェイスアクト分類を行う．最後に，訓練 データの量を元の $25 \% ， 50 \% ， 75 \%$ にそれぞれ減ら して fine-tuning したモデルを用いてフェイスアクト 分類を行い，分類精度が変化する様子を確認する.

## 3.1 プロンプト

2.3 節で述べた先行研究に基づいてプロンプトを 設計する. 本研究では，表 2 に示す「タスクの説明・発話履歴・ラベル」の三つ組をデモンストレーショ ンと呼ぶ. デモンストレーションは，分類タスクで 頻繁に用いられる質問応答形式を骨子としている.本研究で用いるラベルは, Yes/No, Positive/Negative, True/False などの一般的な選択肢ではないため，無効なラベルの生成抑止を目的として，有効なラベル の一覧をデモンストレーション中に含めた.

few-shot 学習ではデモンストレーションを複数並 べたものを用意し, その末尾にデモンストレーショ ンの形式に従ったテストデータを加えたものを一つ のプロンプトとみなす. 一方 fine-tuning では, 正解 ラベルを除いたデモンストレーションをプロンプト とし，正解ラベルを生成するように訓練を行う。

また, 先行研究 [3] では，過去の発話を考慮する ことがフェイスアクト分類に有効と主張している. そこで本実験では発話履歴の長さを変え，その効果 を検証する．履歴の長さは，フェイスアクト分類の 対象となる発話のみをデモンストレーションに入れ る場合を長さ 1 とし，それに加えて過去の発話を一 つ，または二つ含める場合の計三種類を検証する。

## 3.2 データ分割とその扱い

本研究では 2.2 節で述べたデータセットを用 いる. 内訳は付録 A の表 6 に記載する. GPT-3 の fine-tuning を行うため，データセットの $80 \%$ を訓練 データに，残りの $20 \%$ をストデータに分割する.
表 2 発話履歴の長さが 3 の場合のデモンストレーションを示す. 灰色で網掛けされた部分は発話に応じて変更され，そ れ以外の部分は実験全体を通じて固定される。テストデータでは “Answer:”の直後を空欄とする．GPT-3 はその空欄を埋 めるトークン列（図中では枠線で囲まれた hpos-が該当する）を出力し，それが分類結果と見なされる.

デモンストレーション (プロンプトの一部)

Question: Read the following script, and classify EE 's last utterance of the script " Not really, please tell me anything! " based on whether its face act is spos+, spos-, hpos+, hpos-, sneg+, hneg+, or hneg-. If there is no corresponding face act, then classify it as other. Note that "STC" stands for "Save the Children."

Script:

ER: I'd like to tell you about an organization called Save the Children.

ER: Have you heard about them?

EE: Not really, please tell me anything!

Answer: hpos-

なお，few-shot 学習では，訓練データはプロンプト に含めるデモンストレーションを作成するためにの み使用し，テストデータの分類結果を報告する。 few-shot 学習では, データセット中の八種類のラ ベルについて, 訓練データから発話を二つずつ無作為に抽出してデモンストレーションを作成する。ま た，プロンプト内のデモンストレーションの内容や 順序などの影響を抑えるために，中身が異なる三種類のプロンプトを用意し，それらを用いた場合の分類結果の平均をとる。一方 fine-tuning においては，訓練データ中のフェイスアクトの分布の偏りを軽减 するためにオーバーサンプリングを適用する.

## 4 結果

各設定における実験結果を表 3 に記載する。まず few-shot 学習では, 分類性能は全体として先行研究 よりも低くなった. また, 発話履歴を長くすること で無効な出力が増えると同時に性能が低下する傾向 が見られた.これは分類対象の発話に焦点が当て難 くなったためであると考えられる。一方で spos+や hneg-, other などは他のラベルと比較して F1 ス コアが高くなっており,未知のタスクであっても few-shot 学習によりフェイスアクトの傾向を把握し,分類を行うことは不可能ではないことが窥える.

一方で fine-tuning では全ての設定で先行研究を上回る精度を得た. 加えて，履歴が長いほど各フェイ スアクトのF1 スコアが向上した. 訓練データが少 ないラベル (spos-, hpos-, sneg+, hneg+) の予測 は，訓練データが豊富にあるものと比べて分類性能 が落ちた. 図 1 に示す通り，訓練データを $25 \%$ 程度 に減らしたとしても先行研究と同程度の性能が維持 されたが，データを増やすことによる性能向上の恩恵はそれほど大きくはない.これは全体の性能向上 にはデータ数が僅少なラベルの分類性能を向上させ

図 1 訓練データの量を変えてモデルを fine-tuning した場合の分類結果を示す. 赤波線は先行研究 [3] で得られた F1 スコアのマクロ平均である. 左端の点群は訓練データ を用いない場合（zero-shot 学習）の結果を示している.

る必要があり，データ数そのものを増やすよりも， ラベルの偏りを減らす必要があると示唆している。

## 5 考察

few-shot 学習と比較した fine-tuning の利点と, fine-tuning を行っても分類が困難な実例を考察する。

## 5.1 fine-tuning $の$ 利点

一つのフェイスアクトに対して二つの例のみ与 える few-shot 学習に比べ, fine-tuning では様々なパ ターンの発話を提供できる。そのためフェイスアク トの類型化に成功した可能性があり, few-shot 学習 と比べて分類精度が向上した. また, fine-tuning $の$方が few-shot 学習よりも履歴を意識した分類が可能 となった。その効果は，F1 スコアのマクロ平均の向上に関係した spos-の分類を通じて見てとれる. 要求を拒否する発話は一文が短く，また遠回しに言わ れることも多いため, 過去の履歴を参照する必要が ある。例えば表 4 の最後の発話は，EE が ER の要求
表 3 それぞれの設定におけるフェイスアクト分類の結果を示す. Dutt は先行研究 [3] で得られた結果を示しており, “Few” は few-shot 学習における結果，“Fine” は fine-tuning の結果を示している. “Few”と “Fine” の右横の数字は発話履歴 の長さを示している。“Acc”は accuracy，“F1”はそれぞれのラベルに対する F1 スコアのマクロ平均，そして “\#Inv”は，全 2174 件のテストデータのうち，出力が有効なフェイスアクトではなかったものの数を示す. フェイスアクトの列にあ るそれぞれのセルは，特定の実験設定における precision，recall，そして F1 スコア（p/r/f1）を示している. few-shot 学習 の結果は 3 回の試行の平均を取ったものである.

 & - & - &  &  & .69 & .60 & \\

表 4 最後の発話が spos-に分類される会話の例.

表 5 fine-tuning した GPT-3 では分類できなかった発話の 例. 予測の列は発話履歴の長さが 3 であった時の GPT-3 の予測を示している。

 & sneg+ hpos+ \\

を拒否する発話であるため spos-に分類される.こ のように短い発話は同じ発話であってもフェイスア クトが一意に定まらず，発話履歴はその曖昧性を解消するために有用な情報を与えうる。

## 5.2 fine-tuning では対応が難しい事例

表 5 で最初に挙げる二つのパターンは，高度な自然言語理解が必要で，現在の手法では本質的に解決困難な問題である．後者の二つのパターンは，デー タセットの性質に関連するものである.

第一の問題は婉曲表現に対する弱さである．表 5 の最初の例は，「よく知らない団体には寄付できな い」という躊躇を含意している．話者が自身の都合を述べる発話は間接的に伝えられることが多く， フェイスアクトの分類が困難な場合がある。

第二の問題は，GPT-3 が話者の立場を正確に把握 できないことである．表 5 の二番目の例のように， EEが他の団体（Make-A-Wish）に寄付する意思を示
した場合，EE は ER の要求よりも自分の意志を優先 しているために spos+と分類される。一方で EE が 「STC に寄付する」と言えば，ER の願望に合致し， ER の面目を保てるためhpos+に分類される. この ように，同じ「寄付」という行動であっても話者の 立場によってフェイスアクトは変化しうる。

第三の問題は，未来の発話が参照できないため に，完了していない発話が分類し難い点である．元 データの正解ラベルは会話全体を見ることで付与さ れる場合があり，特に短い発話は前後の発話と同じ ラベルが付与される。例えば表の三番目の例は，そ れだけでは spos+に分類されないが，直後の ER の 発話が「STC はお金を有効に使っている」と主張し ているため，連続する会話を踏まえて STC の正当性 を支持するものと見なされ，spos+に分類される。

第四の問題は，類似した特徴を持つフェイスア クトが判別しにくいことである。例えば表 5 の例 4-a と 4-b は，ER が EE に善行を促す発話（hpos+） と，ER が寄付の負担を減らすことを目的とした発話（hneg+）の 2 通りの解釈が可能であるため，似 た内容の発話であってもラベルが一致していない.

## 6 おわりに

本研究では，GPT-3 を用いた few-shot 学習による フェイスアクト分類が現状では困難であると明らか にした一方で，fine-tuning を用いることで従来のモ デルよりも性能が向上することを確認した。また，訓練データを $25 \%$ 程度に減らしても先行研究と同程度の性能を維持することを確認した. 今後は他の説得対話データセットにアノテーションを施し，汎用的なフェイスアクト分類に基盤モデルが有効である かを検討したい.また，より高度なプロンプトの設計手法を採用することも有望な方針である.

## 謝辞

理化学研究所の吉野 幸一郎氏には，本研究を始め るにあたり貴重なご助言を賜りました。ここに感謝 の意を表します。本研究は JSPS 科研費 JP19H05692 の助成を受けたものです.

## 参考文献

[1] Penelope Brown and Stephen C Levinson. Universals in language usage: Politeness phenomena. In Questions and politeness: Strategies in social interaction, pp. 56-311. Cambridge University Press, 1978.

[2] Ritam Dutt, Sayan Sinha, Rishabh Joshi, Surya Shekhar Chakraborty, Meredith Riggs, Xinru Yan, Haogang Bao, and Carolyn P. Rosé. Resper: Computationally modelling resisting strategies in persuasive conversations. In Paola Merlo, Jörg Tiedemann, and Reut Tsarfaty, editors, Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 23, 2021, pp. 78-90. Association for Computational Linguistics, 2021.

[3] Ritam Dutt, Rishabh Joshi, and Carolyn P. Rosé. Keeping up appearances: Computational modeling of face acts in persuasion oriented discussions. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 7473-7485. Association for Computational Linguistics, 2020.

[4] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, MariaFlorina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[5] Erving Goffman. Interaction Ritual: Essays in Face to Face Behavior. AldineTransaction, 1967.

[6] Xuewei Wang, Weiyan Shi, Richard Kim, Yoojung Oh, Sijia Yang, Jingwen Zhang, and Zhou Yu. Persuasion for good: Towards a personalized persuasive dialogue system for social good. In Anna Korhonen, David R. Traum, and Lluís Màrquez, editors, Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 5635-5649. As- sociation for Computational Linguistics, 2019.

[7] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[8] Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event, Vol. 139 of Proceedings of Machine Learning Research, pp. 12697-12706. PMLR, 2021.

[9] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, Vol. abs/2201.11903, , 2022.

[10] Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, and Pontus Stenetorp. Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2022, Dublin, Ireland, May 22-27, 2022, pp. 8086-8098. Association for Computational Linguistics, 2022.

[11] Ke-Li Chiu and Rohan Alexander. Detecting hate speech with GPT-3. CoRR, Vol. abs/2103.12407, , 2021.
表 6 左から八列はデータ中のラベルの分布を示しており, 最右列は会話の数を示している. 発話は一つのフェイスアク トがアノテーションされたテキストを指し，会話は特定の二人の会話参与者がやりとりする発話の全体を指す.

## A データセットの分割

表 6 に，本実験における訓練データとテストデー タの内訳を示す.ドナー会話は EE が募金に賛同し た会話を示し，非ドナー会話は EE が募金に賛同し なかった会話を示す. 本実験では，ドナー会話と非 ドナー会話のうちそれぞれの $80 \%$ 無作為に抽出 したものを訓練データとし，残りをテストデータと した.

## B モデルと推論時の設定

本実験では四種類の GPT-3 のモデル（Ada, Babbage, Curie, Davinci) のうち, Curie と Davinciを 採用した. few-shot 学習では, 1750 億のパラメータ を持つ最も強力な Davinci モデル (text-davinci-002) を採用した。一方で fine-tuning では，二番目に性能の良いモデルである 130 億のパラメータを持つ Curie モデル（text-curie-001）を採用した. モデルの 学習や推論をさせる際には, OpenAI の API ${ }^{1)}$ を利用した. また, fine-tuning のハイパーパラメータは OpenAI の API のデフォルトの設定を利用した.

推論に関するモデルのパラメータには「温度」と 「出力トークン数」がある. 本実験では, 出力のラ ンダム性を排するために温度を 0 に設定した.ま た, 出力トークン数は 3 とした. GPT-3 のトークナ イゼーションでは other が 1 トークンであり，他の フェイスアクトは全て 3 トークンである. そのた め，フェイスアクトに無関係なトークンはなるべく 出力しないようにするために, 最大 3 トークンまで しか出力しない設定とした.