# 魅力的な対話応答生成のための複数教師による知識蒸留

Ritvik Choudhary 河原大輔
早稲田大学理工学術院
\{ritvik@fuji.,dkw@\}waseda.jp

## 概要

オープンドメイン対話応答生成は、未だに人間の 精度には及ばないタスクの一つである。近年の生成 モデルの発展にもかかわらず、モデルは知識を活用 することができず、一般的で無味乾燥な応答が多く みられる。先行研究では、感情や知識ベースなどの 外部文脈をモデルに付加することでこの問題に対処 している。本論文では、対話応答生成にモデルのパ ラメータ内知識を利用した新たなアプローチを提案 する。魅力的な対話応答を生成するための 2 つの能力を定義し、それぞれを持つ複数の教師モデルを構築する。教師モデルから関連する知識を蒸留するこ とによって、より魅力的な対話応答生成が可能な生徒モデルを学習する。学習された生徒モデルの自動及び人手評価を行った結果、提案手法の有効性を確認した。

## 1 はじめに

人工知能が日常生活に普及するにつれ、単純な受 け答えを超えた魅力的な対話ができる対話システム の実現が期待されている。オープンドメイン対話応答生成タスクは、そのような対話を生み出す可能性 を秘めており、これまでにも多くの研究がなされて いる $[1,2]$ 。特に最近では、数千億パラメータに及 ぶ超大規模言語モデル (LLM) の登場により、大きな 進展がある [3]。しかし、LLM はサイズが大きく、 アクセスも制限されているため、さらなる学習やス ケーラビリティに問題がある [4]。

そのため、本論文ではより広く使われている中規模モデル [5] に焦点を当てるが、これらのモデル は生成された応答において魅力的でないという問題がある [6]。根本的な原因の一つは、学習中にモ デルが関連する知識を持たないことにあり、その 結果、無味乾燥な応答が多くなってしまうことに なる。

この問題に対処するため、先行研究ではペルソナ情報の追加 [7]、外部知識ベースの利用 [8]、また情報検索の応用 [9] が検討されている。これらの先行研究の多くは、生成モデルに知識を補うことで応答 の品質を高めることに焦点を当てている。一方、モ デルのパラメータ内知識を直接活用する手法の一つ として知識蒸留 [10] があり、対話生成にも適用され ている [11]が多くない。本研究は、上記の対話応答生成の問題を解決するために、知識蒸留に基づく新 たなアプローチを試みる。人間の学び方に倣い、魅力的な対話応答生成というタスクに必要な能力を複数の教師モデルに分割し、各教師のパラメータに保持されている関連知識を蒸留しながら、生徒モデル に応答生成を学習させることを目指す。

魅力的な対話応答を生成するには、以下の 2 つの能力が必要であると考える。(1) 会話能力 (conversational ability, 対話応答の発話に対する関連性)、(2) 情報提供能力 (informativeness, または知識性)。まず、それぞれの能力に対応する 2 つの教師 モデルを学習する。次に、2つの教師モデルから知識蒸留を行い、応答生成のタスクにおいて生徒モデ ルを学習する。このアプローチにより、生徒モデル は、より魅力的な対話応答生成に必要な複数の能力 を効果的に学習することができる。オープンドメイ ンの対話データセットを用いた実験の結果、様々な ベースラインを上回り、提案手法の有効性が示さ れた。

## 2 関連研究

知識に基づく応答生成モデル 自然言語生成にお いて、知識に基づく seq2seq モデルの分野では様々 な研究が行われている。近年の研究ではペルソナや 共感情報を考慮する手法 [12] や、より適切で魅力的 な応答を生成するために、知識に基づくオープンド メイン対話生成 [8]を発展させた手法もある。また、外部の知識ベースを照会し、応答を生成するように 情報検索とテキスト生成を統合したアプローチもあ る [13]。外部知識べースを取り込むことを意図した

Expert distillation loss $L_{\mathrm{Ex}}$

Dialogue task-specific loss $L_{\mathrm{NLL}}$

図 1 提案手法の概要

既存の研究 [8] とは異なり、本研究はモデルのパラ メータ内に蓄積された知識を利用することに焦点を 置く。この点に関する先行研究には、言語モデルの 内部知識の更新に注目しているもの [14] はあるが、提案手法は対話応答生成のタスクに内部知識を利用 することを目的としている。

知識蒸留と対話応答生成 知識蒸留 (Knowledge Distillation, KD) [10] は、当初コンピュータビジョン の分野で提案されたが [15]、最近では様々な言語処理タスクで利用されている [16]。しかし、対話応答生成における知識蒸留の利用は比較的少ない。近年 では、知識蒸留を用いたデータ拡張 [11] の他、対話生成のためにカリキュラム学習と KDを組み合わせ るアプローチ [17] が提案されている。本研究は、こ のアプローチ [17] と同様の分野ではあるが、より魅力的で情報量の多い応答を生成するために、複数の 専門教師の学習と蒸留に焦点を当てている点が異 なる。

## 3 提案手法

本節では、オープンドメインの対話応答生成にお いて、複数の教師モデルから効果的に知識蒸留を行 い、生徒モデルの生成結果の魅力度を向上させるた めの手法について述べる。まず、対話応答生成タス クを定式化し、次に提案手法を述べる。

## 3.1 対話応答生成

対話応答生成のタスクは、入力発話 $\mathbf{u}$ が与え られたときの応答 $\mathbf{r}=\left(r_{1}, r_{2}, \ldots, r_{m}\right)$ を予測する。入力発話 $\mathbf{u}$ が与えられたときに、モデルが確率 $p\left(r_{i} \mid r_{<i}, u ; \theta\right)$ に従って応答 $\mathbf{r}$ を生成できるように、 モデルのパラメータ $\theta$ を学習する。モデルパラメー タは次の損失関数、すなわち負対数尤度 (NLL) を最小化することで学習できる。

$
\mathscr{L}_{\mathrm{NLL}}(\theta)=-\sum_{i} \log p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right)
$

## 3.2 複数教師による知識蒸留を用いた応答生成

本研究では、魅力的な応答生成に必要な 2 つの能力に着目する。会話能力と情報提供能力である。ま ず、オープンドメインと知識関連の対話データに対 して、それぞれ $\operatorname{Ex}(\mathrm{D})$ と $\operatorname{Ex}(\mathrm{K})$ という 2 つのモデル を、3.1 節の NLL loss に従って学習する。これらの モデルは知識蒸留 (KD) を通して、生徒モデルの教師として機能する。図 1 に提案手法の概要を示す。

KD [10] は、ある教師と生徒モデルが与えられた とき、それらの出力確率分布間の Kullback-Leibler (KL) 距離を最小にすることによって、生徒の確率分布を教師に近づける手法である。生徒 $S$ と教師 $T$ の 予測分布 ( $\mathbf{r}_{s}$ と $\mathbf{r}_{t}$ とする) に対して、KD は次の距離 を最小化する。

$
\mathscr{L}(\mathrm{T})_{K D}=\mathrm{KL}\left(\mathbf{r}_{s} \| \mathbf{r}_{t}\right)
$

複数の教師モデルが存在する場合、生徒には各教師からの得る知識を最適化することが重要になる。 また、知識蒸留の先行研究 [18] では、生徒と教師モ デルの出力確率分布の差が大きい場合、生徒モデル の学習に悪影響を及ぼすという、容量ギャップの問題が指摘されている。

そこで、カリキュラム学習やアクティブラーニン グにおける生徒中心の学習方法 [19] にならい、学習中に教師モデルの蒸留信号を効果的に調整するた めの指標として、生徒による応答の難易度を考慮す る。先行研究 [19] に従い、本研究では生成された応答に対する生徒モデルのエントロピー $H$ を難易度 の指標とみなす。

$
H=-\sum_{i} p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right) \log p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right)
$

難易度を生徒モデルの自信としても考えることもで きる。

上記の指標に基づき、バッチ内の応答を簡単なも のから難しいものへと並び替え、各教師からの蒸留信号はその順序に従って分割する。例えば、難しい 応答の場合、生徒 $S$ は学習しやすい教師の指導を受 け、もう一方の教師から、より簡単な応答について 指導を受けることになる。よって、教師モデルから 蒸留信号の分割を以下のように定式化する。

$
\mathscr{L}_{\mathrm{Ex}}=\gamma \mathscr{L}(\operatorname{Ex}(\mathrm{D}))_{K D}+(1-\gamma) \mathscr{L}(\operatorname{Ex}(\mathrm{K}))_{K D}
$

ここで、 $\gamma$ は教師モデル間のバランスをとるための パラメータとする。

式 (1)と (4)を組み合わせることで、生徒モデルの 対話応答生成タスクで最適化すべき全体の損失関数 $\mathscr{L}$ を以下のように定義する。

$
\mathscr{L}=\mathscr{L}_{\mathrm{NLL}}+\lambda \mathscr{L}_{\mathrm{Ex}}
$

## 4 実験

本研究では、多様なオープンドメインの対話デー タセットを用いて提案手法を評価する。様々なべー スラインモデルの組み合わせと比較し、本研究のア プローチの有効性を確認する。

## 4.1 実験設定

本研究では様々なオープンドメインと知識的対話 で fine-tuning された BART ベースの seq2seq モデル を教師と生徒モデルとして採用する。モデルの学習 には Adam optimizer を用い、学習率 3e-5 のデフォル トパラメータで学習する。実装には Hugging Face ラ イブラリを使用する。

## 4.1.1教師モデル

3.2 節で述べたように，会話能力を表す $\operatorname{Ex}(\mathrm{D})$ と、情報提供能力を表す $\operatorname{Ex}(\mathrm{K})$ という 2 つの教師モデ

ルを学習する。Ex(D) はオープンドメインの対話 データセットで学習した BART-large モデルであり、 $\operatorname{Ex}(\mathrm{K})$ は情報や知識が多い疑似対話データセットで 学習した BART-base ${ }^{1)}$ モデルである。Ex(D) の単純 な日常会話に比べ、 $\operatorname{Ex}(\mathrm{K})$ はより情報量の多い（多様な）データセットで学習される。そのため、知識 の教師である $\operatorname{Ex}(\mathrm{K})$ は $\operatorname{Ex}(\mathrm{D})$ よりも難しいタスクを 学習した教師であると想定される。すなわち、生徒 にとって、 $\operatorname{Ex}(\mathrm{K})$ が $\operatorname{Ex}(\mathrm{D})$ よりも学習が困難な教師 である。なお、提案手法では学習時、生徒による学習サンプルの難易度に基づいて教師を選択する。し たがって、学習の過程では生徒にとって難易度の高 いサンプルは、学習しやすい教師 $\operatorname{Ex}(\mathrm{D})$ の信号を受 け、その逆も同様である。本研究では、 $\gamma=0.5$ に設定し、教師モデルは均等にバランスされている。

## 4.1.2 データセット

本研究では様々なオープンドメインの対話と知識 に基づく対話データセットを用いて、教師と生徒モ デルの fine-tuningを行う。

Open-domain dialogue datasets (ODD) 高品質な 日常対話データセットとして DailyDialog [20] DailyDialog++ [21]、Cornell Movie-Dialogs Corpus [22] の 3 種類をマージして教師 Ex(D) と生徒モデルの学習に用いる。各モデルの学習サンプル数を 200,000 に固定する。

知識疑似対話データセット 知識教師 $\operatorname{Ex}(\mathrm{K})$ の学習では、Wikipediaから抽出した擬似対話データセッ トである WikiDialog [23]を用いる。さらに、Reddit から抽出した対話データセット [13]を用いて別の教師 $\mathrm{Ex}\left(\mathrm{K}_{R}\right)$ を学習し、比較する。

なお、知識の対話データがより複雑であるため、教師モデルの学習サンプル数を 500,000 に設定する。
(\mathrm{K})$ について比較的安定した学習ができ ることから選択。
}
表 2 生成された応答の自動評価結果。ODD 4.1 .2 節の Open-Domain Dataset の集合である。

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ 自動評価 } \\

表 3 各評価観点において提案手法の勝率 (\%)

## 4.2 評価

提案手法の有効性を確認するため、ODD テスト セットで生成された応答について自動評価と人手評価を行う。なお、教師モデルによって学習条件が異 なるため、比較対象は同規模のベースラインに限定 する。

ベースライン 4 つの異なるベースラインを学習 し、比較する。まず、4.1.2 節で述べた ODD で直接学習したバニラ BART-base モデル (以下「バニラ」) は提案手法の同サイズの生徒モデルと直接比較す る。次に、複数教師の効果を確認するため、どちら か一つの教師モデルのみで学習したベースライン (標準的な知識蒸留に相当、以下「Ex(D)-Distill」と 「Ex(K)-Distill」)を比較する。最後に、Wikipedia べー スのモデルを知識教師として使用する効果を測る ため、Reddit ベース (4.1.2 節) の教師モデル Ex $\left(\mathrm{K}_{R}\right)$ を学習し、 $\operatorname{Ex}(\mathrm{K})$ と入れ替えた組み合わせ (「Multi $\left.\operatorname{Expert}\left(\mathrm{w} / \operatorname{Ex}\left(\mathrm{K}_{\mathrm{R}}\right)\right)\right.\lrcorner$ 以下、「ME-Ex $\left.\left.\left(\mathrm{K}_{\mathrm{R}}\right)\right.\lrcorner\right)$ を提案手法と比較する。

自動評価 生成された応答に対して自動評価を 行う。先行研究に従い, BLEU とパープレキシティ (PPL) [24] のスコアを算出する。

人手評価 自動評価指標は、生成された対話応答 の質とあまり相関がないことが先行研究で報告さ れている [25]。そこで、ACUTE-Eval の手法 [2] に従 い、提案手法とベースラインモデルの応答をぺア
ごとに人手評価を行う。評価は、Amazon Mechanical Turk を介して 2 つの指標で行う。一つは会話能力 (Engagement) であり、その応答をした相手とさらに 会話を継続したいかどうかを表す。もう一つは情報提供能力 (Informativeness) であり、その応答が知識 に富んでいるかどうかを表す。評価者となるクラウ ドワーカーには、テストデータから無作為に選んだ 100 個の応答を上記の各指標に基づいて比較するよ うに求める。各応答は 7 人の評価者による多数決で 勝敗を決定し、提案手法の勝率を算出した。

## 4.3 結果

評価結果を表 2、表 3 にまとめる。BLEU では提案手法が各ベースラインを上回ることが確認され た。さらに、提案手法の PPL も低い值となってい る。なお、提案手法の PPL が最小値ではない原因 は、生成された応答が多様であるためだと考えられ る。しかし、前述したように、n-gram からなる指標 は応答の品質を正確に表現していないことが示され ている [25]。そのため、生成された応答の人手評価 も実施した。人手評価では、提案手法によって全て のベースラインに対して双方の指標が改善した。さ らに、単一教師 (通常の KD) のベースラインより提案手法が全体として勝率が高いため、会話能力と情報提供能力の双方がより魅力的な回答を生成する上 で重要な役割を果たすことも示された。提案手法と ベースラインによる生成応答の例を付録 A に示す。

## 5 おわりに

本論文では、モデルのパラメータに含まれる知識 を学習、活用することで、より魅力的な対話応答生成のためのアプローチを提案した。具体的には、2 つの異なるドメインの対話について学習した複数の 教師モデルから知識蒸留を行う手法を提案した。こ れにより、対象となる生徒モデルは両方の教師ドメ インから学習することができ、自動評価と人手評価 の双方で、より魅力的で情報量の多い対話応答生成 ができることが確認された。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った。

## 参考文献

[1] Apoorv Kulshreshtha, Daniel De Freitas Adiwardana, David Richard So, Gaurav Nemade, Jamie Hall, Noah Fiedel, Quoc V. Le, Romal Thoppilan, Thang Luong, Yifeng Lu, and Zi Yang. Towards a human-like open-domain chatbot. In arXiv. 2020. abs/2001.09977.

[2] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an opendomain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[4] Conglong Li, Minjia Zhang, and Yuxiong He. The stabilityefficiency dilemma: Investigating sequence length warmup for training gpt models. In Advances in Neural Information Processing Systems, 2022.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[6] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Peixiang Zhong, Chen Zhang, Hao Wang, Yong Liu, and Chunyan Miao. Towards persona-based empathetic conversational models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 65566566, Online, November 2020. Association for Computational Linguistics.

[8] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledgepowered conversational agents. In International Conference on Learning Representations, 2019.

[9] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3784-3803, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. In NIPS Deep Learning and Representation Learning Workshop, 2015. abs/1503.02531.

[11] Rongsheng Zhang, Yinhe Zheng, Jianzhi Shao, Xiaoxi Mao, Yadong Xi, and Minlie Huang. Dialogue distillation: Opendomain dialogue augmentation using unpaired data. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3449-3460, Online, November 2020. Association for Computational Linguistics.

[12] Tatsuya Ide and Daisuke Kawahara. Multi-task learning of generation and classification for emotion-aware dialogue response generation. In Proceedings of the $\mathbf{2 0 2 1}$ Conference of the North American Chapter of the Association for Computational Lin- guistics: Student Research Workshop, pp. 119-125, Online, June 2021. Association for Computational Linguistics.

[13] Ritvik Choudhary and Daisuke Kawahara. Grounding in social media: An approach to building a chit-chat dialogue model. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp. 9-15, Hybrid: Seattle, Washington + Online, July 2022. Association for Computational Linguistics.

[14] Daliang Li, Ankit Singh Rawat, Manzil Zaheer, Xin Wang, Michal Lukasik, Andreas Veit, Felix Yu, and Sanjiv Kumar. Large language models with controllable working memory. arXiv preprint arXiv:2211.05110, 2022. abs/2211.05110.

[15] Yuang Liu, Wei Zhang, and Jun Wang. Adaptive multi-teacher multi-level knowledge distillation. Neurocomputing, Vol. 415 pp. 106-113, 2020 .

[16] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. In 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing @ NeurIPS 2019, 2019.

[17] Qingqing Zhu, Xiuying Chen, Pengfei Wu, JunFei Liu, and Dongyan Zhao. Combining curriculum learning and knowledge distillation for dialogue generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 12841295, 2021.

[18] Aref Jafari, Mehdi Rezagholizadeh, Pranav Sharma, and Ali Ghodsi. Annealing knowledge distillation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2493-2504, Online, April 2021. Association for Computational Linguistics.

[19] Burr Settles and Mark Craven. An analysis of active learning strategies for sequence labeling tasks. In proceedings of the 2008 conference on empirical methods in natural language processing, pp. 1070-1079, 2008.

[20] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[21] Ananya B Sai, Akash Kumar Mohankumar, Siddhartha Arora, and Mitesh M Khapra. Improving dialog evaluation with a multireference adversarial dataset and large scale pretraining. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 810-827, 2020

[22] Cristian Danescu-Niculescu-Mizil and Lillian Lee. Chameleons in imagined conversations: A new approach to understanding coordination of linguistic style in dialogs. In Proceedings of the 2nd Workshop on Cognitive Modeling and Computational Linguistics, pp. 76-87, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[23] Zhuyun Dai, Arun Tejasvi Chaganty, Vincent Y Zhao, Aida Amini, Qazi Mamunur Rashid, Mike Green, and Kelvin Guu. Dialog inpainting: Turning documents into dialogs. In International Conference on Machine Learning, pp. 4558-4586. PMLR, 2022.

[24] Gábor Melis, Chris Dyer, and Phil Blunsom. On the state of the art of evaluation in neural language models. In International Conference on Learning Representations, 2018.

[25] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.
表 4 各モデルにおける応答生成の例

発話 応答 $\left(\right.$ 提案手法) 応答 $\left(\operatorname{ME}-\operatorname{Ex}\left(\mathrm{K}_{\mathrm{R}}\right)\right) \quad$ 答 $($ バニラベースライン)

Removal Point? What're you It's Removal Point. That's I'm not talking about anything. I'm not talking I'm not talking talking about! where they put the boat. I'm talking

I know why you broke up with I know, but I cannot forgive I don't forgive you. I don't know what you are talkme in college. Can you forgive you. ing about. me?

Shes very striking, don't you No, I don't think so. Its prob- No. I don't know. I don't think so. think? Are these glasses ably just fashion.

a fashion where she comes

from?

## A 対話応答生成結果の例

主なベースラインと提案手法による発話に対する生成応答の例を表 4 に示す。
 Ritvik Choudhary 河原大輔 早稲田大学理工学術院 \{ritvik@fuji.,dkw@\}waseda.jp  