# ルールベースと生成ベースを融合した雑談対話の発話生成手法

薛強
神戸大学システム情報研究科
xueqiang@kobe-u.ac.jp
}

滝口 哲也
神戸大学システム情報研究科
takigu@kobe-u.ac.jp
}

有木 康雄

神戸大学システム情報研究科

ariki@kobe-u.ac.jp
## 1 はじめに

オープンドメイン雑談対話システムの発話生成手法は主に三種類ある。一つ目は、手作業によるルー ルに従って作動するルールベースである。二つ目 は、大量テキストデータから、現在の入力の応答と して相応しいテキストを検索する検索べースであ る。三つ目は、会話形式のテキストデータを用いて 機械学習により学習した生成モデルを用いて、発話 を生成する生成べースである。

近年、生成ベースモデルの研究が主流となってい る。その中で、Microsoft が開発した大規模な対話 データを使った対話生成モデルである DialoGPT[6] や、Googleが開発した膨大なパラメータを持つ対話生成モデルである Meena[7] などの、attention 機構 を持つ transformer[5] ベース対話モデルが知られて いる。

しかし、生成ベース型の対話システムで生成した 応答文は、多様性は高いが適切な生成内容を制御す ることが難しいため、自然性が低いという問題があ る。一方、ルールベース型の対話システムで生成し た応答文は、自然性は高いが事前設定した応答文 が限られているため、多様性が低いという問題が ある。

本研究では、雑談対話システムにおいて出力する 応答文を前半と後半に分け、それぞれルールベース と生成ベースで生成することで、自然性が高くかつ 多様性が高い応答文を生成する手法を提案する。

## 2 関連研究

ルールベースと検索ベースの融合型対話システム として、目黒らは、ユーザ発話がルールを用いて返答すべき発話か否かを識別することで，ルールベー

図 1 従来システムのアーキテクチャ

ス型対話システムと統計的発話生成手法との融合に 基づく対話システムを提案した [1]。

ルールベースと生成ベースの融合型対話システ ムとして、我々は感情と欲求に基づく融合型雑談対話システムをこれまでに提案している [2]。図 1 に 示すように、このシステムの言語計画部では、ユー ザの発話に対して、まずルールベースと生成ベース により複数の応答文を生成し、次に言語出力部でど の応答文を返答すべきかを判断する。このシステム は、ルールベース型の対話システムとして取り扱う ことができ、生成べースの役割が低く、応答文の多様性が低いという問題があった。

提案システムは, このシステムのアーキテクチャ を発展させたものであり、感情と欲求に基づくルー ルベースを採用している。

## 3 提案手法

ルールベースの発話生成手法では、生成する応答文の多様性に問題がある。これを改善するため、提案手法は，発話を全て事前に設定するのではなく、発話の前半部分のみを事前に設定し、これを受け

図 2 提案システムのアーキテクチャ

て, 多様性が高い発話生成手法である生成ベースに より、発話の後半部分を生成するものである。

後半の生成ベースの発話生成では、停止トークン を認識するまで単語または単語の一部であるトーク ンを順番に生成することから、発話の後半部分を連続的に生成することが可能になる。また、生成べー スでは、ルールベースで生成した適切な応答に基づ いて生成できるため、生成する応答文の自然性も改善できると考えられる。

提案手法の対話システムは、図 2 のようなアーキ テクチャーになっている。まず，ルールベースモデ ルでは、ユーザの発話文に対して、感情生成部と段階欲求部が出力した感情と欲求の値により、手作業 で設定したパタンを用いて前半の応答文を生成す る。生成ベースモデルでは、テキスト対話文を学習 データとして学習させたニューラルネットワークモ デルを用いて、応答文を生成する。このとき、ルー ルベースモデルで生成した前半の応答文の一部を、生成ベースモデルの入力として、停止トークンを認識するまで連続に生成ベースモデルで後半の応答文 を生成する。

図 3 に示すプロセスのように、従来の生成ベース モデルは，入力文に対して開始トークン、応答文を 構成する各トークン、停止トークンの順番で応答文 を生成する。提案システムの言語出力部における生成ベースモデルは，最初に入力されるのが入力文だ けではなく、開始トークンと前半の応答文を構成し ている各トークンも入力される。モデルはそれらの 入力に対して、後半の応答文を構成している各トー クン、停止トークンの順番で応答文を生成する。

## 4 実験および結果

実験では、まず大量のテキスト対話文を生成ベー スモデルに学習させ、そのモデルを用いて生成内容 の制御手法を評価することで、提案手法の有効性を

図 3 生成ベースモデルの生成プロセスの違い

表 1 制御手法の評価

明らかにする。次に、提案手法を用いた融合型雑談対話システムと、従来の融合型雑談対話システムの 比較実験を行う。

融合型雑談対話システムの生成ベースモデルと して、100M パラメータ数を持つ DIaloGPT モデルを 用いている。学習データは Twitter で収集した 10 万 の対話文である。デコーダ戦略は最も生起確率が高 い上位 $\mathrm{k}$ 個のトークンから確率的に選択する top-k sampling[3]、及び生起確率が最大のトークンから順番に取り、確率の和を計算し、和が $\mathrm{p}$ 以下のトーク ンから確率的に選択する top-p sampling[4] 手法を用 いている。ルールベースモデルでは、感情と欲求の 種類と値により、全部で応答文 100 文を事前設定 した。

## 4.1 制御手法の評価実験

生成ベースモデルの出力として、与えられたター ゲット応答文とシステム応答文の適切性の関係につ いて、機械翻訳評価手法である BLEU を用いて、評価実験を行った。評価実験の結果を表 1 に示す。值 が大きいほど良い評価であることを意味する。生成 モデルは、DialoGPT- $N$ T で表している。ここで、 $N$ とは生成ベースモデルに与えられたトークンの数 である。与えられたトークン数の増大により、生成 ベースモデルがよりターゲット応答文の内容に近づ くことが分かった。4つのトークンが与えられたと きに、約半分の生成内容は与えられた応答文と関係 があった。
表 2 各対話システムの対話例

## 4.2 対話システムの比較実験

生成ベースモデル DialoGPT、従来システム、提案 システムで生成した発話例を表 2 に示す。赤色部分 は提案システムの生成ベースにより、生成した後半 の応答文である。サンプリングのデコーダ戦略を用 いているため、提案システムの二つ異なる対話例を 挙げ、それぞれ提案システム 1 と提案システム 2 で 表している。

第一の対話例では、ユーザ発話に対して認識した 感情と欲求がない場合であり、ルールベースで応答 を出力することができず、生成べースのみで応答を 生成したため、三つのシステムが同じ応答を生成し ている。

第二と第三の対話例では、ユーザ発話に対して認識した感情と欲求がある場合であり、従来システム と提案システムのルールベースが作動する。従来シ ステムは多様性がない同じ応答文を生成する一方、提案システムでは, 自然性が高い前半の応答文の内容に基づいて、多様性が高い後半の応答文を生成で きていることが分かる。

第三の対話例では、時間情報によって欲求が食欲 になったため、ルールベースモデルはもう一つの応答文を生成している。

## 5 おわりに

本稿では、ルールベースモデルと生成ベースモ デルにより各々, 前半と後半部分の応答文を生成
する、発話生成手法を提案した。提案手法により、 ルールベースモデルで応答文を全て設定する必要が なくなり、ルールベースを構築するコストが減少で きると考えられる。

今後、異なるルールベースモデルを用いて比較実験を行う予定である。また、提案手法で生成した応答文の多様性を向上させるため、応答文を前後に分 けるのではなく、品詞や意味などに沿って分ける手法を研究する予定である。

## 参考文献

[1] 目黒豊美, 杉山弘晃, 東中竜一郎, 南泰浩. ルールベー ス発話生成と統計的発話生成の融合に基づく対話システムの構築. The 28th Annual Conference of the Japanese Society for Artificial Intelligence, ,2014.

[2] 薛強, 滝口哲也, 有木康雄. 感情・欲求に基づく主観性を持つ雑談対話システム. 言語処理学会第 26 回年次大会発表論文集,2020 年 3 月.

[3] Angela Fan, Mike Lewis and Yann Dauphin. Hierarchical Neural Story Generation, 2018; arXiv:1805.04833.

[4] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes and Yejin Choi. The Curious Case of Neural Text Degeneration, 2019; arXiv:1904.09751.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser and Illia Polosukhin. Attention Is All You Need, 2017; arXiv:1706.03762.

[6] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu and Bill Dolan. DialoGPT: Large-Scale Generative Pretraining for Conversational Response Generation, 2019; arXiv:1911.00536.

[7] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu and Quoc V. Le. Towards a Human-like Open-Domain Chatbot, 2020; arXiv:2001.09977.
 薛強 神戸大学システム情報研究科 xueqiang@kobe-u.ac.jp }  滝口 哲也 神戸大学システム情報研究科 takigu@kobe-u.ac.jp }  有木 康雄  神戸大学システム情報研究科  ariki@kobe-u.ac.jp 