# 潜在変数の投機的サンプリングに基づく多様な雑談応答生成

佐藤 翔悦 *1
*1 東京大学大学院 情報理工学系研究科
}

喜連川優 $* 2,3$
*2 東京大学 生産技術研究所
*3 国立情報学研究所
}

\{shoetsu, kitsure\}@tkl.iis.u-tokyo.ac.jp
## 1 はじめに

会話データからの学習に基づく対話モデルは人手 によるパターンの作り込みを必要とせず，比較的低 コストで対話システムの構築が可能であるという 点から，近年の対話応答タスクにおける主流なアプ ローチである。しかしそうした対話モデルでは，発話のオウム返しや典型的なパターン（例: “私もそう 思います”) など，“safe response”と呼ばれる応答が 頻出し，多様性の低さが問題となっている $[1,2,3]$. その原因の一つに，対話データとモデルの性質の乘離がある．多くの場合，対話においてある 発話に対する適切な応答は一意ではない。一方 で，近年の応答生成において標準的に用いられる Encoder-Decoder モデルでは，対話タスクを発話から 応答への一対一の写像とみなして解くため, 対話 データに対するモデルの最適化は困難なものとな る. 結果, 学習データ中で頻出する単語やパターン を単純に模倣することが目的関数を最適化するため の有効な手段となり， safe response が頻出する.

この問題に対し，条件付き変分オートエンコーダ (Conditioned Variational Autoencoder, CVAE) に基づく 対話モデルは有望な手法の一つである $[4,5]$. 対話 タスクにおける CVAE は，発話・応答から推定した 事前・事後分布よりサンプルした潜在変数を用いて 応答の生成を行う，そのため，潜在変数の違いに よって同じ発話に対し複数の応答が成立する，対話 データの多対多性を考慮した手法である。

しかしながら，こうしたモデルを用いたとしても 期待通りの効果が発揮されず，応答の多様性につい て依然大きな改善が得られない場合がある [6]. 本研究ではその一因が学習時に用いる潜在変数のサン プリングにあると考え，投機的サンプリングという 極めてシンプルな提案手法によりその解決を図る.具体的には学習時に複数の潜在変数をサンプルし，
それぞれについて損失を計算し，最も損失が小さい 潜在変数を最適化に用いる.

実験では，Twitter から収集した対話データを用い た応答生成により提案手法を評価する。生成された 応答に対して自動評価および人手評価を行い，提案手法の有効性を確認した。

## 2 提案手法

## 2.1 事前知識: T-CVAE

提案手法の説明の前に，本研究におけるべー スラインとして採用した, Transformer-based CVAE (T-CVAE) [7] の概要を述べる。T-CVAE は Variational Hierarchical Recurrent Encoder-Decoder (VHRED) [8] な どのモデルと同様，CVAE に基づくモデルである.従来のモデルがエンコーダおよびデコーダとして再帰型ニューラルネットワークを用いていたのに対 し， T-CVAE は Transformer [9] を採用している。

対話タスクにおいてある発話 $x$ および応答 $y$ が与えられた際，T-CVAE は発話から事前分布 $p(z \mid x) \sim N\left(\mu, \sigma^{2} \mathrm{I}\right)$ を，発話と応答から事後分布 $q(z \mid x, y) \sim N\left(\mu, \sigma^{2} \mathrm{I}\right)$ を推定する. その後, 分布か らサンプルした潜在変数 $z$ を用いて生成を行う．具体的な分布の推定としては発話・応答をエンコード したべクトルによって，以下のように分布の平均 $\mu$,偏差 $\sigma$ を計算する。

$
\begin{aligned}
h_{p} & =\operatorname{Attn}_{p}\left(c, E_{\text {out }}^{L}(x), E_{\text {out }}^{L}(x)\right) \\
{\left[\begin{array}{c}
\mu_{p} \\
\log \left(\sigma_{p}^{2}\right)
\end{array}\right] } & =\operatorname{MLP}_{p}\left(h_{p}\right) \\
h_{q} & =\operatorname{Attr}_{q}\left(c, E_{\text {out }}^{L}(x ; y), E_{\text {out }}^{L}(x ; y)\right) \\
{\left[\begin{array}{c}
\mu_{q} \\
\log \left(\sigma_{q}^{2}\right)
\end{array}\right] } & =\operatorname{MLP}_{q}\left(h_{q}\right)
\end{aligned}
$
$\operatorname{Attn}(\cdot)$, MLP* (.) はそれぞれ注意機構 $[10]$, 多層 パーセプトロンによる演算を示す. $c$ は注意機構の クエリとなるべクトルであり, タスクを通して学習 される。 $E_{\text {out }}^{L}(\cdot)$ はエンコーダの最終層である.

訓練時は, 以下の式で示される Evidence Lower Bound (ELBO) を最大化することによって，モデル の最適化を行う． $D_{K L}$ は分布間の Kullback-Leibler divergence (KL divergence)を意味する。

$
\begin{aligned}
\log p(y \mid x) & =\log \int_{z} p(y \mid x, z) p(z \mid x) d z \\
& \geq \mathbb{E}_{q(z \mid x, y)}[\log p(y \mid x, z)] \\
& -D_{K L}(q(z \mid x, y) \| p(z \mid x))
\end{aligned}
$

この最適化により, 発話・応答の両方から推定し た事後分布と発話のみから推定した事前分布は近づ く. その結果, テスト時においても, 発話から適切 な事前分布を推定した上で応答生成が可能となる.

## 2.2 潜在変数の投機的サンプリング

1 節で述べたように，CVAEに基づく対話モデル を用いたとしても，多様性の高い応答が得られない 場合がある. そうした状況においては，モデルは注意機構などによって計算されるべクトルのみに頼 り, 多様な応答を生み出すために導入された潜在変数 $z$ を無視して生成を行ってしまう。結果，潜在変数の応答への影響を考慮せずに事前・事後分布間の KL divergence について過度な最適化が行われること から，この問題は KL vanishing と呼称される.

我々は KL vanishing の一因は，分布からサンプリ ングされた潜在変数と与えられた訓練例の不一致に あると考えた. 学習過程の初期においては推定され た分布の質は低く，与えられた応答を生成するにあ たり，サンプルされた潜在変数が必ずしも適切では ない場合がある [11].

加えて，我々は十分訓練が進んだ後もこの問題は発生すると考える. 事前分布と事後分布は KL-divergence の最適化によって互いに近くなる. そのため訓練例として与えられた応答とは異なる応答に対応した，ある時点のモデルにとって訓練時に サンプルすべきではない潜在変数を選んでしまう可能性が存在する. いずれの場合も，その時点のモデ ルにおける潜在変数空間にそぐわない最適化が行わ れ，学習を困難にする。

そこで本研究ではこの問題を解決するため，潜在変数の投機的サンプリング (Speculative sampling)を提案する. 提案手法は学習時にのみ潜在変数を $K$ 個 サンプルし，そのそれぞれについて損失を計算した 後, 最も小さな損失に繋がる潜在変数のみを最適化 の対象とする．具体的には，以下の式における $L(\hat{z})$ を最小化する。

$
\begin{aligned}
L(z) & =-\mathbb{E}_{q(z \mid x, y)}[\log p(y \mid x, z)] \\
& +D_{K L}(q(z \mid x, y) \| p(z \mid x)) \\
\hat{z} & =\underset{z_{k}}{\operatorname{argmin}} L\left(z_{k}\right)
\end{aligned}
$

## 3 実験設定

## 3.1 モデル

本研究では，T-CVAE [7] を基本となる対話モデ ルとする. 各手法はすべて fairseq (v0.8.0) [12] 上に 自ら実装を行った。主要なハイパーパラメータは Transformer-base [9] に倣い，最大 250,000 ステップ 訓練を行った. 学習の安定のため, 事前学習した CBoW [13] ベクトルによってモデルの埋め込み層の 初期化を行った。

実験では T-CVAE および，以下の手法を T-CVAE に対して適用したモデルを比較する。

Monotonic annealing [14]: 式 (5) における第二項, KL divergence に対し変数 $\beta$ によるアニーリングを行う. $\beta$ は 0 から始まり, 学習の進行とともに 1 へ線形 に増加する。アニーリングの期間は 1 エポックと した.

Cyclical annealing [11]: KL divergence $の$ 項に対し，変数 $\beta$ による周期的なアニーリングを行う. 本研究 では 1 周期を 1 エポックとした. $\beta$ は前半の 0.5 エ ポックの間は 0 から 1 へと線形に増加し, 後半の 0.5 エポックの間は 1 を取る.

BoW loss [5]: 潜在変数と応答に含まれる単語との関連性を強めるため，学習時に与えられた応答に含ま れる単語の集合を潜在変数から推定するタスクを加 え，対話タスクとの同時最適化を行う。

Speculative sampling: 2.2 節参照. 潜在変数のサンプ ル数 $K$ は開発データから 5 に決定した。

## 3.2 データセット

本稿における実験のために，我々の研究室にお いて継続的に収集している Twitter データ上で行わ れたツイート・メンションの組を 1 ターンの対話

表 1 自動評価の結果．各評価尺度ごとに，参照応答に 最も近いものをハイライトした。

としてみなした上で，対話データセットの構築を 行った. 訓練・開発データには 2017 年および 2018 年のもの，評価データには 2019 年のものを用い た. 訓練・開発・評価データのサイズはそれぞれ 18,116,756 件，191,890 件，96,276 件である．またコ ストの問題から，人手評価を全ての例に対して行う 事は困難である. そこで実際に行われた発話・応答 のみを見て，人手評価が比較的容易な 100 件の会話 をテストデータから抽出し，人手評価用のデータと した.

データの前処理としては簡単なフィルタリングに よってリツイートや botによるメンションなど，対話として不適切なものを除いた後， $\mathrm{MeCab}^{1)}$ を用い て形態素解析を行った. その後, SentencePiece ${ }^{2)}$ を 用いてサブワード分割モデルの学習および発話・応答のサブワードへの分割を行った.

## 3.3 評価尺度

生成された応答に対し, 自動評価および人手評価 を行う．自動評価の尺度としては標準的に用いられ る, BLEU [15], dist- $n$ [1], 応答の平均長を採用す る. 人手評価では Adiwardana らの研究 [16] を参考 に, 1 . 応答の明快さ - 発話との関連性 (Sensibleness) と, 2. 応答の独特さ - 面白さ (Specificity) について, 5 段階の点数付けを行うことで，提案手法が意図し た効果を得られているかを定量的に確認する。

## 4 実験結果

## 4.1 自動評価

表 1 に自動評価による結果を示す. BoW loss を 除き，追加の手法を適用したモデルはどれも純粋 な T-CVAE と比べて若干高い BLEU スコアを達成 した. しかし目標である応答の多様化が達成された としても, 生成された応答が参照応答と類似すると


表 2 人手評価の結果 (相関係数 $\rho=0.602$ ).

は限らないことから, 直接的な BLEU スコアの改善 には繋がりにくい. そのため, この結果は各手法に よってモデルの学習が改善されたことで，ノイジー な出力が減った事による副次的な効果であると考 えられる. 加えて，T-CVAE 9 応答平均長が最も長 く, 他のモデルではいずれも減少していることも同 じ言葉の反復などのノイズの抑制を示唆している. dist-1/2 については BoW loss および提案手法であ る Speculative sampling が他のモデルと比較して高 い値を達成した. BLEU スコア及び後述する 4.2 節 における結果も示すように，BoW loss がその代償と して発話との関連性を損なっているのに対し，提案手法は高い BLEU スコアを保ちつつ，多様な単語を 含む応答を生成出来ている。

## 4.2 人手評価

表 2 に人手評価による応答の Sensibleness, Specificity, およびその平均値を示す. 全体としては，自動評価と概ね類似する傾向であった. Monotonic annealing および Cyclical annealing による大きな改善は確認されず，BoW loss と Speculative sampling を適用したモデルが高いSpecificityを示した。また， BoW loss の Sensibleness は低く, 出力の多様化の代償に応答の明快さが損なわれている。

一方で，提案手法である Speculative sampling は Sensibleness, Specificity が共に高く, 潜在変数空間に ついての学習手法を改善することで応答生成の性能向上が果たされたと言える.

## 4.3 分析

訓練の結果，各モデルの分布にどのような変化が 見られるかを確認するため，表 3 に開発データに対 する KL divergence, 事前分布の平均 $\mu_{p}$ および偏差 $\sigma_{p}$ のノルムについて，それぞれ平均を示す.

まず, Monotonic annealing および Cyclic annealing について，T-CVAE と比較して KL divergence の值は 若干上昇した. しかし, 自動・人手評価の結果と同様大きな変化は見られず，十分に訓練を行った後

表 3 KL-divergence および事前分布の平均 $\mu_{p}$ ，偏差 $\sigma_{p}$ のノルム.

表 4 生成された応答例.

は，KL vanishing が発生している.

BoW loss の分布は大きく異なる性質を示した. KL divergence および分布の平均・偏差のノルムは,他のモデルと比べ非常に大きな値となっている.

BoW loss における潜在変数から応答に含まれる全て の単語を推定する，というタスクはモデルに潜在変数空間を個々の応答の意味に対応させる非常に強い 制約として働いており，KL vanishing は発生してい ない.しかしこの制約を満たす潜在変数空間を学習 するのはモデルにとって非常に困難である. そのた め事前分布の範囲が大きく拡大した結果，発話との 関連性が薄い応答に対応した潜在変数が頻繁にサン プルされるようになり，文脈に沿わない応答を生成 しがちになったと考える（表 4).

提案手法について，4.1 節，4.2 節で評価した $K=5$ のモデルの他に，異なる $K$ の值で訓練した時の各統計量も示した. どの $K$ の値を設定した場合におい ても KL divergence は T-CVAE，つまり $K=1$ の場合 と比較して高い値を示し，提案手法の狙い通り KL vanishing の抑制が行われたと考える.

興味深いことに $K$ の值を増やすほど，KLdivergence の值も増加した. 提案手法では $K$ の増加 とともに訓練時に潜在変数の候補は増えるため，与 えられた応答に対しより適切な潜在変数の選択が 可能になる. そのため，これは与えられた訓練例と サンプルされた潜在変数との不一致が学習の妨げ となっているという，我々の仮説を裏付ける結果に なったと考える。

## 5 関連研究

対話応答における応答の多様化のためのアプロー チは以下の 3 つに大別される. 1. 個人適応に代表される，対話における発話外の情報を用いる手法 $[17,18,19,20] ， 2$. 生成時または学習時の目的関数によって応答を多様化する手法 $[1,21]$, 3. 応答の 生成過程にランダム性を導入する，変分オートエン コーダに基づく手法 $[14,5,22,11,3,23]$ である.

提案手法は 3 つ目の区分に該当し，特に CVAE に おける KL vanishing の解決を目的とした手法であ る. 同様の試みのうち, Bowman ら [14] や Fu ら [11] は，学習初期の信頼性の低いモデル上で推定され た分布の最適化が性能低下に繋がると考え，KL divergenceの重みのスケジューリングを行った. He らも同様の考えから，エンコーダの最適化を優先し て行うことでその解決を試みた [24].

一方，Zhao らの研究は，潜在変数に対して追加の 損失によってより直接的な制約を与えることで KL vanishing を抑制するものである [5]. Gao らの研究 も潜在変数空間に対する制約によって，応答との対応付けを行うという点で類似している [3, 23].

提案手法は前者のスケジューリングによって学習を安定させる試みに近い。しかし我々は，潜在変数と訓練例の不一致は KL divergence の最適化の影響により常に発生し得ると考え，学習の進行度を問 わず適用可能な手法を提案した. また，提案手法は モデルの構造や目的関数に変更を加えない。そのた め，既存手法との併用が可能である.

## 6 おわりに

本研究では対話タスクにおける応答生成の多様化のため，変分オートエンコーダの学習時に生じる KL vanishing の解決のための手法を提案した. KL vanishing の一因は学習時の訓練例とサンプルされた 潜在変数の不一致にあると考え，その解決を図るべ く潜在変数の投機的サンプリングを提案した. 生成 された応答に対し自動評価および人手評価を行い，提案手法による効果を確認した.

## 謝辞

本研究の一部は JSPS 科研費 19J14522 の支援を受 けたものである。また，本研究で用いた Twitter 対話 データセットは，同研究室の豊田正史教授の支援を 受けて構築した。

## 参考文献

[1] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of NAACL 2016, pp. 110-119, 2016.

[2] Ruqing Zhang, Jiafeng Guo, Yixing Fan, Yanyan Lan, Jun $\mathrm{Xu}$, and Xueqi Cheng. Learning to control the specificity in neural response generation. In Proceedings of ACL 2018, pp. 1108-1117, 2018.

[3] Xiang Gao, Sungjin Lee, Yizhe Zhang, Chris Brockett, Michel Galley, Jianfeng Gao, and Bill Dolan. Jointly optimizing diversity and relevance in neural response generation. In Proceedings of NAACL 2019, pp. 1229-1238, 2019 .

[4] Iulian Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron Courville, and Yoshua Bengio. A hierarchical latent variable encoder-decoder model for generating dialogues, 2017.

[5] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of ACL 2017, pp. 654-664, 2017.

[6] Xiaoyu Shen, Hui Su, Shuzi Niu, and Vera Demberg. Improving variational encoder-decoders in dialogue generation. In Proceedings of AAAI 2018, pp. 5456-5463, 2018.

[7] Tianming Wang and Xiaojun Wan. T-cvae: Transformerbased conditioned variational autoencoder for story completion. In Proceedings of IJCAI 2019, pp. 5233-5239, 2019.

[8] Iulian V Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-to-end dialogue systems using generative hierarchical neural network models. In Proceedings of AAAI 2016, 2016.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in NIPS 2017 , pp. 5998-6008, 2017.

[10] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of ICLR 2015, 2015.

[11] Hao Fu, Chunyuan Li, Xiaodong Liu, Jianfeng Gao, Asli Celikyilmaz, and Lawrence Carin. Cyclical annealing schedule: A simple approach to mitigating KL vanishing. In Proceedings of NAACL 2019, pp. 240-250, 2019.

[12] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL 2019 (Demonstrations), pp. 4853, 2019 .

[13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Proceedings of NIPS 2013, pp. 3111-3119, 2013.

[14] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sen- tences from a continuous space. In Proceedings of CoNLL 2016, pp. 10-21, 2016.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of ACL 2002, pp. 311-318, 2002.

[16] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[17] Shoetsu Sato, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Modeling situations in neural chat bots. In Proceedings of ACL 2017, Student Research Workshop, pp. 120-127, 2017.

[18] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of ACL 2018, pp. 2204-2213, 2018.

[19] Pierre-Emmanuel Mazare, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of EMNLP 2018, pp. 2775-2779, 2018.

[20] Eric Chu, Prashanth Vijayaraghavan, and Deb Roy. Learning personas from dialogue with attentive memory networks. In Proceedings of EMNLP 2018, pp. 2638-2646, 2018.

[21] Ashutosh Baheti, Alan Ritter, Jiwei Li, and Bill Dolan. Generating more interesting responses in neural conversation models with distributional constraints. In Proceedings of EMNLP 2018, pp. 3970-3980, 2018.

[22] Xiaodong Gu, Kyunghyun Cho, Jung-Woo Ha, and Sunghun Kim. Dialogwae: Multimodal response generation with conditional wasserstein auto-encoder. arXiv preprint arXiv:1805.12352, 2018.

[23] Xiang Gao, Yizhe Zhang, Sungjin Lee, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. Structuring latent spaces for stylized response generation. In Proceedings of EMNLP-IJCNLP 2019, pp. 1814-1823, 2019.

[24] Junxian He, Daniel Spokoyny, Graham Neubig, and Taylor Berg-Kirkpatrick. Lagging inference networks and posterior collapse in variational autoencoders. 2019.
 佐藤 翔悦 *1 *1 東京大学大学院 情報理工学系研究科 }  喜連川優 $* 2,3$ *2 東京大学 生産技術研究所 *3 国立情報学研究所 }  \{shoetsu, kitsure\}@tkl.iis.u-tokyo.ac.jp 