# 雑談対話における会話継続予測に基づくユーザ適応的応答評価

蔦侑磨 1 吉永直樹 2 佐藤翔悦 * 豊田正史 ${ }^{2}$
1 東京大学大学院 2 東京大学 生産技術研究所
\{tsuta, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp

## 概要

雑談対話システムでは、話し相手となるユーザに 即した応答を生成することが望ましいが，そのよう な応答を適切に評価するには、当該ユーザ自身が評価を行う必要があり、コストが大きい. 本研究は雑談応答生成において，対話システムが応答する話者 の視点を取り入れた自動評価手法を提案する．提案手法は，評価ユーザが会話を継続する応答が良い応答であるという発想から、評価ユーザを考慮した会話の継続性予測タスクを通じて生成応答の主観評価 を行う．大規模な Twitter データセットを用いた実験から，ベースラインより高い精度で会話の継続性 の予測が行えることを確認し、当該ユーザの介入な しで主観評価を行うことが可能となった。

## 1 はじめに

GPT-3 [1] などの大規模事前学習済み生成モデル の出現により, 近年の雑談対話システムは与えられ た発話に対し、ある程度自然な応答ができるように なった $[2,3,4,5]$. 今後、雑談対話システムがスマー トスピーカやスマートフォンに搭載され，日常的に 会話を続けるためには，過去の会話履歴やユーザの 最新のプロフィールなどを参照しながら対象ユーザ に即した応答を返すなど，応答生成モデルの個人適応が求められると考えられる $[5,6,7]$.

では，このように特定のユーザとの会話に特化し た対話システムをどのように評価するのがよいのだ ろうか. ユーザが好む応答は、個別ユーザに依存す る [8] ため、ユーザによる対話的評価 $[3,4,5]$ は理想的ではあるものの，そのようなコストが高く，再現性が担保できず，評価の信頼性が評価者に依存す る [9] という問題もあり，効率的に対話システムを 開発する上で課題が残る，雑談対話システムの自動評価に関する研究 $[10,11,12,13,14]$ は様々あるが, これらの既存の自動評価手法では，対話システムの


図1 システム応答に対して話し手が応答するかどうかを 予測するタスク

話し相手であるユーザの視点は考慮されていない.

このような背景を受けて、我々は対話の継続性予測タスクを通じた生成応答の自動主観評価 [15]（図 1）の研究を進めている。この研究では、Twitter な どから得られる大規模対話ログにおいて、ユーザが 応答した発話は応答しない発話よりそのユーザに とって良い発話であるという仮定に基づき、ユーザ のプロフィールを考慮して会話の継続性予測を行う モデルを用いて自動で主観評価を行うことを実現し た. 予備的な実験を通して、継続性の予測ができる ことを確認したものの、プロフィール文のあるユー ザしか評価に利用できず、対話システムの生成応答 の評価まで行えていなかった。

そこで本稿では、ユーザトークン [16]を用いて会話の継続性予測を個人適応する手法を提案し，これ をプロフィール文を用いて個人適応する手法 [15] と の比較を行う。また，実際に対話システムの生成応答に対して提案手法を適用し，評価ユーザによる人手評価との相関に基づき、提案手法の自動主観評価手法としての有効性を確認する.

実験では，Twitter 上の膨大な会話データセットを 用いた実験により，本稿で提案するユーザトークン を用いた会話の継続性予測手法が既存のプロフィー ル文を用いた会話の継続性予測手法と同程度の精度で会話の継続性を予測できることを確認した。ま た，評価ユーザによる対話システムの生成応答に対

する人手の継続性評価にとの相関については、一部 のユーザに関して，人手の継続性評価と提案手法の 予測結果が相関する結果が得られた。

## 2 関連研究

対話システムの主観評価を自動で行う研究は先行研究 [15] のみである. 本節では, 雑談対話生成にお いて話し相手となるユーザや，対話システム自体の キャラクター性を考慮して応答を生成する研究を説明する (§ 2.1). 続いて, 生成応答に対する自動評価 に関する関連研究 (§ 2.2)を紹介する。

## 2.1 対話システムの個人適応

雑談対話応答生成の研究分野では，対話システム に個性を埋め込むことで，一貫した応答の生成やシ ステムのキャラクター付けを可能にした研究が多く 行われている。例えば， $\mathrm{Li}$ らは，話者に固有の学習可能な埋め込み表現を利用することで話者の性別や 住所などを再現することを可能にした [16]. また， PersonaChat [17] やマルチセッションチャット [5] に は，特定の個性を持った人物を演じる会話が含まれ ており趣味や生活環境などの話者の疑似的な特徴を 含む会話が利用可能である.

これらの研究では，与えられた話者性に合致する 応答を生成する対話システムの開発 $[17,18,19]$ だ けでなく，会話相手の特徴を意識した会話を可能に してエンゲージメント向上を目指した研究 $[20,21]$ も存在する. これらの研究は, キャラクター性の理解・表出により，エンゲージメントの高い回答を生成することが可能となったが，人手評価は応答対象 のユーザではない第三者が行なっており，応答対象 ユーザの観点からの評価はなされていない.

## 2.2 雑談対話システムの自動評価研究

既存の生成応答の自動評価手法は，生成応答 と参照応答との一致度に基づく評価 (例えば, BLEU [22])，あるいは参照文を用いない評価モデル による生成応答の評価 (例えば，RUBER [23]) がある が，現在のところ既存の生成応答の自動評価手法は 不安定であり，機械翻訳における BLEU のような標準的な生成応答の自動評価手法は存在しない. 我々 は，生成応答の評価は評価者に強く依存し，対話シ ステムのユーザと異なる評価者が行った人手評価と の相関を取ることに自動評価の本質的な問題がある と考えて，主観評価を自動化することを考えた。対話システムの評価モデルの学習において，シス テム応答や実応答に対する人手の評価を用いた研究 が存在する $[11,13]$.また，SNS 上のフィードバッ クデータを学習データとして用いる評価手法が提案 されている [12]. しかし, これらの研究は主観的な 自動評価を行うことを目的としていない.

## 3 提案手法

## 3.1 会話継続性予測に基づく評価

雑談対話システムのユーザを意識した評価を可能 するためには，そのユーザに好まれる文を理解する こと，つまり当該ユーザが好む実応答と，好まない 実応答が必要となる. そのデータはどのようにして 得られるのだろうか? 我々は先行研究 [15] におい て，この問いに対話の継続性に関する自然注釈を利用することで答えた。すなわち，与えられた応答に 対し, ユーザが応答し，会話が継続しているかどう かが，ユーザの応答に対する好みを反映していると 考えた. 本研究でもこのアイデアを利用し，与えら れた応答に対して当該ユーザが会話を継続するかを 予測するモデルを学習し, その予測確率を評価値と して，与えられた応答の主観評価を行う。

## 3.2 ユーザを考慮した会話継続性の予測

本研究では，先行研究で提案したプロフィール 文を利用した会話の継続性予測手法に加えて，Li ら [16] が応答生成タスクにおいて提案したユーザ トークンを用いた会話の継続性予測手法を検討す る. 本手法では，各ユーザの発話に対してユーザ特有の特殊トークンを発話の先頭に付加し，ユーザの 会話データから与えられた応答に対する当該ユーザ の会話継続性の予測モデルを学習する。プロフィー ルでなく、ユーザトークンを用いることで、プロ フィール文が利用できない Reddit ${ }^{1}$ ) 2) のような会話 データを用いた対話システムの評価を行うことが できる。また，プロフィール文が利用できる Twitter 上の会話データでも，プロフィール文が存在しない ユーザを対象とした評価を行うことができる.

## 3.3 会話継続性予測タスク

本研究の応答継続性予測タスクは，問いかけ られたユーザが返答を行うかを予測するタス

1) https://www.reddit.com/

2）Reddit ユーザの話者の特徴データの抽出可方法は公開され ているが [24], 抽出データが未公開のため再現が難しい.

クである. 具体的には， $N$ 個の発話を含む会話 $U=\left[u_{0}, u_{1}, \ldots, u_{N-1}\right]$ が 2 人の話者 $s_{i}$ と $s_{j}$ によって 交互に行われている ${ }^{3}$ ) と仮定し（なお， $u_{N-1}$ は $s_{j}$ による発言とする)，予測モデルは会話における $s_{i}$ の応答確率 $P\left(u_{N}=\right.$ exists $\left.\mid U, s_{i}\right)$ を予測する. その ため, モデルは会話文 $U$ と, 返答の有無を予測す るユーザ $s_{i}$ が入力され, 返答予測確率を出力する. ユーザを考慮するために固有のトークンを利用する 際には，対象となるユーザ $s_{i}$ に対して固有トークン （[USER i]）を用意し，ユーザ $s_{i}$ の全ての発言の前 にそのトークンを結合しモデルに入力する. 考慮さ れないユーザは，代わりに汎用のユーザトークンが 用いられる. プロフィールでユーザを考慮する場合 は，ユーザ固有トークン [USER i] の代わりに二人の 話者を区別する目的で汎用トークン（例えば， [SPK $\mathrm{A}]$ と $[\mathrm{SPK} \mathrm{B}]$ )を用い，ユーザ $s_{i}$ のプロフィール文 $\left(p_{i}\right)$ をモデルに入力する会話文の先頭に結合する ([SPK A] $p_{i}\{$ 会話文 $\}$ ). なお, モデルの最大入力長 を超える場合，古い文脈が優先的に無視される。

## 4 実験

本研究は, 話者が識別可能な Twitter から収集し た膨大な実会話ログを用いて応答評価モデル（会話 の継続性予測モデル）の学習，評価を行う．まず，会話データ中の対象ユーザに関して評価モデルを 学習し, 人同士の会話について対象ユーザの応答予測が可能かどうかを確認する（以下，内的評価と呼 ぶ). 次に，雑談対話システムによる生成応答に対 してアノテータによる評価を行い，これを正解ラべ ルとして応答評価モデルを評価した（以下，メタ評価と呼ぶ).

## 4.1 会話データ

本研究では，Twitter 公式 API を用いて収集した Twitter 上の日本語の投稿（ツイート）を用いた. 会話データとして構築するために，2 人のユーザ間の 投稿とその返信からなる一連の投稿のみを利用し た. 2017 年 1 月から 2018 年 3 月の間に 30 回以上会話したユーザ（以下，ターゲットユーザ）をランダ ムに 1 万人抽出し, 1 人あたり最大 400 回の会話,合計約 125 万件の会話データを収集した. 収集した 会話を，モデルの訓練データおよび検証データとし て使用した ${ }^{4)}$.このうち, 各ユーザの $5 \%$ の会話を検

3）本研究では簡単のため二人の間での会話を扱う（§4.1)

4）なお，自分への返信，送信元の URL や名前に「bot」が含 まれる botによる発言， 3 語以下の発言などの会話文として証用データとして確保し，残りを訓練データとして 利用した. 訓練データの統計量などは付録 $\S$ A. 1 に 記載した. また，内的評価のためのテストデータと して，2018 年 3 月から 12 月の間のターゲットユー ザの会話約 200 万件を別途収集した.

雑談対話システムの生成応答を利用して行うメタ 評価には，評価者と対話システムとの会話，および 正解ラベルとして対話システムの生成応答に対す る評価者の評価が必要である. そこで，と研究室の メンバー 2 名がそれぞれ Twitter 上で行った会話を 収集した。これら会話データ，それぞれ（訓練・検証・テスト）の順で $(165 \cdot 43 \cdot 27) \cdot(19 \cdot 6 \cdot 10)$ の 会話を上記のデータセットに追加した.

## 4.2 評価モデルとハイパーパラメタ

実験では，事前学習済みの日本語 BERT [25] ${ }^{5 ｝ を$評価モデルのベースモデルとして採用し，分類モデ ルとして微調整 (fine-tuning) した. ユーザを考慮し て会話の継続性予測を行うことで, 予測精度が上が るか，すなわち，より信頼性のある応答評価が可能 かを確認するため，ユーザを考慮したモデルと考慮 しない（すなわち，ターゲットユーザ独自のトーク ンやプロフィールを用いない）応答評価モデルを 学習した. また，メタ評価にあたって，Gao らの研究 [12] を参考に妥当性検証用のモデルを利用して いるが，すべての学習可能なモデルで同様の利用 を行っているため，モデル間の比較に影響はない （§ A.4）その他の詳細は，付録 § A. 2 に記載する。

## 4.3 メタ評価のための人手評価の収集

対話システムの生成応答での性能を評価するた めに，正解ラベルとなる人手評価データが必要であ る.なお，生成応答までの会話文脈は 4.1 で述べ たアノテータのテストデータから作成し, 生成応答 によってアノテータに問いかける形式にした. Ji ら の研究 [26] を参考に，アノテータ（共著者 1 名，学生 1 名) は, 7 種の対話モデル (§ A.3) による生成応答と 1 つ実応答を 0 から 100 のスコアで評価した.結果，400 件と 192 件の会話データおよび正解ラべ ルを得た。

不適切な文および会話は除外した．また，Twitter APIにより 2021 年 12 月時点で，追加の返信がないことを再確認した.

5) https://huggingface.co/cl-tohoku/bert-base-japanese-v2

## 4.4 評価モデル

ベースラインとしては，ユーザごとに多数ラベル を予測する手法（以下，多数クラス）を用いる. 評価モデルとしては，ユーザを考慮しない手法 (BERT) と，ユーザを考慮する提案手法を追加したものを利用する. § 3.2 で説明したように，ユーザの考慮の 方法は 2 種類 (ユーザトークン，プロフィール) 検討し，それぞれを排他的または同時に考慮する手法 （以下，「全て」と呼称）も比較する。

## 4.5 評価指標

評価モデルの内的評価における評価指標には，実際の返答の有無を正解ラベルとする分類精度 (acc.) を用いる。また, Twitter 上の実際の会話ログでは,一般に問いかけが応答されやすく会話が継続する傾向なため (図 2), この偏りを是正するために会話の 有無の両方のラベルに対する $\mathrm{F}_{1}$ を平均化したマク 口 $\mathrm{F}_{1}$ も計測した. なおメ夕評価では， § 4.3 で述べ たように，正解ラベルが $[0,100]$ の範囲のため，分類問題ではなくモデル出力との相関値 (Pearson’s $r$ )を 記載した ${ }^{6)}$. また, 内的評価の結果との比較のため に，50 以上の評価値の応答を正例とみなした分類問題としての結果も記載した. なお，メタ評価では ユーザごとの会話継続性の割合が異なることを考慮 し，ユーザごとに結果を表記した。

## 4.6 実験結果

表 1 は，Twitter ユーザ間の会話での内的評価での 結果である。この結果から，ユーザを考慮しない BERTによる応答継続性予測は，(ユーザ性を考慮し た）ユーザごとの多数クラスを出力する単純な方法 と差がないことが確認された。一方で，ユーザを考慮した手法は，いずれもより高い予測精度となるこ とが確認できた. 特に，その方法としてプロフィー ルよりもユーザ独自のトークンを用いる方が有効で あることが確認された。

表 2 は，対話システムによる生成応答（および実応答）に対する予測を人手の評価ラベルに基づいて 評価した結果である. アノテータ 1 に関しては，正解率・マクロ $\mathrm{F}_{1}$ ではユーザ独自のトークンにより ユーザを考慮したモデルの予測が最も人手評価と一致しており，人手評価との相関ではプロフィールも表 1 Twitter の会話ログから対象ユーザーが反応したか どうかを予測することに関する内的評価.

表 2 雑談対話システムに対する生成応答への応答の有無 の予測におけるメタ評価。

 \\

考慮すること (+all) で最も人手評価と一致すること が確認できた。一方で，アノテータ 2 ではユーザを 考慮しない方法がすべて人手評価に近いことが確認 できた. 内的評価とは異なり，メタ評価では会話相手が対話システムであるため，アノテータ 1 では対話システムが会話相手でも問題なく受け入れられた が，アノテータ 2 では対話システムに対する返答の 傾向が変化した可能性などが考えられる.

## 5 おわりに

本論文では，対話システムの評価において、シス テムの話し相手であるユーザの視点を取り入れた自動主観評価手法を提案した。提案手法では，与えら れた応答に対してユーザが返答を行う確率を予測 し，これをユーザによる応答評価に転用する。ユー ザの視点を取り入れるために，ユーザトークンを用 いてユーザをモデル化した．Twitter から収集した人同士の膨大な会話ログを用いた評価では，ユーザを 考慮することで会話の継続性予測の性能が改善す ること，すなわち，より信頼性の高い評価が行える ことを確認した. さらに，本手法を複数の雑談対話 システムによる生成応答の評価に適用した場合，提案手法が一部のユーザでは有効であることを確認 した.

6）このため, メタ評価では常に多数クラスを出力する方法は 記載しない.

## 謝辞

この研究は国立情報学研究所（NII）CRIS と LINE 株式会社が推進する NII CRIS 共同研究，および JSPS 科研費 JP21H03494 の助成を受けています。人手評価にご協力くださった研究室の方々に深く感謝致します。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, H. Lin, editors, Advances in Neural information Proce
Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, Online, July 2020 .

[3] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng $\mathrm{Lu}$, and Quoc V. Le. Towards a human-like open-domain chatbot, 2020.

[4] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot, 2020

[5] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Longterm open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, May 2022

[6] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, May 2022.

[7] Sanghwan Bae, Donghyun Kwak, Soyoung Kang, Min Young Lee, Sungdong Kim, Yuin Jeong, Hyeri Kim, Sang-Woo Lee, Woomyoung Park, and Nako Sung. Keep me updated! memory management in long-term conversations. arXiv preprint arXiv:2210.08750, 2022.

[8] Shikib Mehri and Maxine Eskenazi. USR: An unsupervised and reference free evaluation metric for dialog generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. Annual Meeting

[9] Elizabeth Clark, Tal August, Sofia Serrano, Nikita Haduong, Suchin Gururangan, and Noah A. Smith. All that's 'human' is not gold: Evaluating human evaluation of generated text. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 7282-7296, 2021

[10] Michel Galley, Chris Brockett, Alessandro Sordoni, Yangfeng Ji, Michael Auli, Chris Quirk, Margaret Mitchell, Jianfeng Gao, and Bill Dolan. deltaBLEU: A discriminative metric for generation tasks with intrinsically diverse targets. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 445-450, 2015 .

[11] Ryan Lowe, Michael Noseworthy, Iulian Vlad Serban, Nicolas AngelardGontier, Yoshua Bengio, and Joelle Pineau. Towards an automatic Turing test: Learning to evaluate dialogue responses. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1116-1126, 2017

[12] Xiang Gao, Yizhe Zhang, Michel Galley, Chris Brockett, and Bill Dolan. Dialogue response ranking training with large-scale human feedback data. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 386-395, 2020.

[13] Sarik Ghazarian, Ralph Weischedel, Aram Galstyan, and Nanyun Peng. Predictive engagement: An efficient metric for automatic evaluation of opendomain dialogue systems. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7789-7796, Apr. 2020

[14] Yuma Tsuta, Naoki Yoshinaga, and Masashi Toyoda. uBLEU: Uncertaintyaware automatic evaluation method for open-domain dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 199-206, 2020

[15] 蔦侑磨, 吉永直樹, 佐藤翔悦, 豊田正史. パーソナリティを考慮した雑談対話の会話継続可能性評価. 言語処理学会第 28 回年次大会発表論文集, pp. 583-587, 2022

[16] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, 2016.
[17] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 22042213, 2018.

[18] Hyunwoo Kim, Byeongchang Kim, and Gunhee Kim. Will I sound like me? improving persona consistency in dialogues through pragmatic selfconsciousness. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 904-916, 2020

[19] Haoyu Song, Yan Wang, Wei-Nan Zhang, Xiaojiang Liu, and Ting Liu. Generate, delete and rewrite: A three-stage framework for improving persona consistency of dialogue generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 58215831,2020 .

[20] Qian Liu, Yihong Chen, Bei Chen, Jian-Guang Lou, Zixuan Chen, Bin Zhou and Dongmei Zhang. You impress me: Dialogue generation via mutual persona perception. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1417-1427, 2020.

[21] Itsugun Cho, Dongyang Wang, Ryota Takahashi, and Hiroaki Saito. A personalized dialogue generator with implicit user persona detection. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 367-377, 2022.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[23] Chongyang Tao, Lili Mou, Dongyan Zhao, and Rui Yan. RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems. In AAAI Conference on Artificial Intelligence, pp. 722-729, 2018

[24] Pierre-Emmanuel Mazaré, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2775-2779, 2018 .

[25] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[26] Tianbo Ji, Yvette Graham, Gareth Jones, Chenyang Lyu, and Qun Liu. Achieving reliable human assessment of open-domain dialogue systems. In Aroceedings of the 60th Annual Meeting of the Association for Comproceedings of the 60th Annual Meeting of the Association for Com-
putational Linguistics (Volume 1: Long Papers), pp. 6416-6437, May 2022.

[27] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019

[28] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models Are Unsupervised Multitask Learners. 2019.

[29] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[30] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.
表 3 訓練会話におけるターン・文字数に関する統計。

図 2 訓練データのターンごとの応答返答率の分布. ター ンは，問いかけを含んでそれまでに何回発言が行われた かを意味し，正例割合はその中でどの程度問いかけに 返答されたか（つまり，訓練データでの正例の割合）を 示す.

## A 付録 (Appendix)

## A. 1 訓練データの情報

表 3 に訓練データのターン・文字数に関する統計 を，図 2 に訓練データにおけるターンごとの事例数 と，正例の割合を示す.

## A. 2 モデルの学習パラメータ

すべてのモデルのハイパーパラメタは，学習率 $3 e-5$, バッチサイズ 64 , エポック数 5 で学習し, optimizer として AdamW [27], 損失関数には交差エ ントロピー損失を使用した. なおモデルの実装には 全て Hugging Face Transformers 7 )を用いた. 実験に用 いた全てのライブラリのライセンスは, 学術目的で の使用を許可している.

## A. 3 雑談対話システム

メタ評価のためのデータセットには，対話システ ムによる生成応答が必要であるため，§ 4.1 で述べた 訓練データを用いて事前学習済み GPT- $2^{8)}$ [28] の転移学習を行った. 対話システムは, 再学習時に事前学習パラメタを継承するかランダム初期化するか, またユーザトークンを利用するかしないか（§ 3.3 と

7) https://github.com/huggingface/transformers

8) https://huggingface.co/rinna/japanese-gpt2-medium同様の方法)を組み合わせて、4種のモデルを学習し た. さらに，事前学習済み Transformer ${ }^{9}$ [29, 30] の 公開済みの 3 種のモデルも使用した. 上記の合計 7 種の応答生成モデルの生成応答をメ夕評価に利用 した.

## A. 4 妥当性評価モデル

実験における評価モデルは，Twitter 上の人同士の データで学習される。一方で，メタ評価では対話シ ステムの応答の評価がメインであり，対話システム の性能が低い場合，生成された応答が理解できない 非文になっている可能性が考えられる．理解可能な 人同士の文章のみで学習されたモデルの, 非文を含 むデータに対する脆弱性を考慮し, 補強する必要が ある。

Gao らの研究 [12] では，実会話となる問いかけと 応答のペアを正例，ランダムな問いかけと応答のぺ アなどを不例として学習した（従来の評価モデルと 同様の）妥当性評価モデルにより, 応答として不適格な文にペナルティを与えることで，生成応答に 対するエンゲージメント評価の性能向上を行った. そこで，本研究でも同様に，BERT の Next Sentece Prediction タスクにより学習したモデルを妥当性評価モデルとして採用し，生成応答にペナルティを与 えた.なお，このペナルティはすべての生成応答に 同一の条件で与えられ，その後の評価モデルにも依存しないため, 本研究における実験での学習可能な モデルの比較には影響がない。

応答妥当性評価モデルの学習のためのデータセッ トは, § 4.1 の学習データと同じ会話データから作成 した. 正例は, 会話データのうち正例（会話の後に 応答があるもの）約 $1 \mathrm{M}$ の対話データを用いた. 負例には，会話中のすべての応答について，会話文脈 をランダムにサンプリングして組み合わせることで 作成した約 $2 \mathrm{M}$ の会話データを利用した．学習時に は，正例と負例が同数となるように学習した。

9) https://github.com/nttcslab/

japanese-dialog-transformers
 蔦侑磨 1 吉永直樹 2 佐藤翔悦 * 豊田正史 ${ }^{2}$ 1 東京大学大学院 2 東京大学 生産技術研究所 \{tsuta, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp  