# 後処理ネットワークを用いた強化学習によるタスク指向型対話 システムの最適化

大橋厚元 ${ }^{1}$ 東中竜一郎 1
1 名古屋大学大学院 情報学研究科
ohashi.atsumoto@g.mbox.nagoya-u.ac.jp, higashinaka@i.nagoya-u.ac.jp

## 概要

典型的なタスク指向型対話システムは，複数のモ ジュールが連結したパイプライン型の構成となって いる. 近年では，このパイプライン型システムの対話タスク能力を向上させるため，システムを構成す る複数のモジュールを同時に学習することでシステ 么全体を最適化する手法が多く提案されている。し かしこれら手法では，各モジュールが学習可能な手法で実装されていなければならない。本研究では，強化学習を用い，各モジュールの実装手法に依存せ ずにパイプライン型システム全体を同時に最適化で きる後処理ネットワークを用いた手法を提案する。

## 1 はじめに

タスク指向型対話システムは複数のモジュー ルが連なって構成されるパイプライン型システ ムと End-to-End 型システムの 2 つに分類される $[1,2]$. 典型的なパイプライン型システムは，言語理解 (Natural Language Understanding; NLU), 状態更新 (Dialogue State Tracking; DST), 行動決定 (Policy),言語生成（Natural Language Generation; NLG）とい う 4 つのモジュールで構成され [1], 各モジュール は人手で作成したルールによる手法（ルールベー ス手法）やニューラルネットワークを用いた手法 （ニューラルベース手法）など，任意の手法で実装 することができる， パイプライン型システムは， シ ステム内部の各モジュールの入出力が明確である ので，開発者がシステムを解釈しやすいという利点 がある。しかし，各モジュールが順番に処理される ため，先行するモジュールのエラーが後続するモ ジュールに伝播しやすく，結果として対話タスク能力が低下してしまうという欠点がある.

そこで，パイプライン型システムを構成する複数 のモジュールを同時に学習することでシステム全体
を End-to-End に最適化する手法が多く提案されてい る $[3,4,5,6]$. しかしこれらの手法は，ニューラル ベース手法による学習可能なモジュールでシステム が構成されていることを前提としている. したがっ て，ルールベース手法や Web API 等を用いて実装さ れた学習不可能なモジュールを使用したい場面で は，これら手法は適用することができない.

このような背景から, 本研究ではシステムに含ま れるモジュールがどのような手法で実装されていた としても，システム全体を最適化できる後処理ネッ トワークを用いた手法を提案する。本手法では，シ ステムを構成する各モジュールの出力を後処理する ネットワーク（Post-processing Networks; PPN）を用意する. 各 PPN は，後処理として各モジュールの出力を修正し，システム全体のパイプライン処理を円滑にする。各 PPN の後処理は，強化学習を用いて夕 スク達成などの対話タスク能力を向上できるように 学習される。実際に学習されるのは各 PPN である ため，各モジュール自身が学習可能である必要はな い. MultiWOZ データセット [7] に基づいて実装さ れた複数のパイプライン型システムに PPN を適用 し，本手法の有効性を確認した。

## 2 提案手法

本手法の目的は，PPNの後処理によって各モ ジュールの出力を修正することで，システム全体の 対話性能を向上させることである. 図 1 は，複数の モジュール ( Module A $_{\mathrm{A}} \sim$ Module $_{\mathrm{N}}$ ) からなるパイプラ イン型システムに PPNを適用した際の全体像を示 している.

## 2.1 後処理アルゴリズム

図 1 を用いて, $\mathrm{PPN}_{\mathrm{I}}$ がターン $t$ における Module $\mathrm{I}_{\mathrm{I}}$ の出力 $o_{I}^{t}$ を後処理するアルゴリズムを説明する.

まず，一般的なパイプライン型システムと同様

図 1 PPNを適用したパイプライン型システムのアーキテクチャ. 各 PPN は対象とするモジュールの出力 $o$ を，全モ ジュールの状態 $s_{A l l}$ を考慮しながら後処理する.

に, Module は先行する Module H $_{\mathrm{H}}$ の出力を受け取 り，自身の処理結果 $o_{I}^{t}$ を出力する．またこのとき， Module $_{\text {I }}$ が自身の状態に関する補足的な情報（例え ば， $o_{I}^{t}$ の信頼度スコア）を出力できる場合はそれ を状態べクトル $s_{I}$ として出力する. そしてこれを 用いて，全モジュールの状態ベクトルを結合した $s_{A l l}^{t}=\left[s_{A}^{t} ; \ldots ; s_{I}^{t} ; s_{J}^{t-1} ; \ldots ; s_{N}^{t-1}\right]$ を作成する.

次に， oot ${ }_{I}^{t} \mathrm{PPN}_{\mathrm{I}}$ に入力する. $\mathrm{PPN}_{\mathrm{I}}$ 内では, InAdapter ${ }_{I}$ が $o_{I}^{t}$ のバイナリベクトル表現 $v_{I}^{t}$ を作成 する. $v_{I}^{t}$ の次元数は Module $\mathrm{I}_{\mathrm{I}}$ の出力語彙数であり,各バイナリは Module $_{\text {I }}$ の各出力語彙が $o_{I}^{t}$ に含ま れているか否か」を 1 か 0 で表す. InAdapter $I_{I}$ は， Module $_{\text {I }}$ に定義されている出力語彙セットに基づい て人手で作成する.

ここまでで作成された $v_{I}^{t}$ と $s_{A l l}^{t}$ を結合し, 多層 パーセプトロン $\mathrm{MLP}_{\mathrm{I}}$ に入力する. $\mathrm{MLP}_{\mathrm{I}}$ は $v_{I}^{t}$ と同 じ次元数のバイナリベクトル $v_{I}^{\prime t}$ を出力する. この 時点での $v^{t}$ と $v^{t}$ の変化分が $\mathrm{PPN}_{\mathrm{I}}$ による後処理と なる. 最後に OutAdapter $I_{I} よ っ て, v_{I}^{\prime t}$ の中で 1 と なっている要素が Module I の出力語彙に復元され,最終的な PPN の出力 $o_{I}^{t}$ が作成される. OutAdapter ${ }_{I}$ も InAdapter $I_{I}$ と同様に, Module I $^{2}$ に定義されている 出力語彙セットに基づいて人手で作成する.

## 2.2 強化学習による最適化

本研究では対話シミュレーションを用い，システ ムに含まれる各 PPN の MLP を方策ネットワークと して強化学習を行う. 強化学習で用いる報酬として は，対話タスクの達成に関するものを人手による ルールで設計する. 強化学習アルゴリズムとして は，方策べースの手法であり学習の安定性も高い という理由から, Proximal Policy Optimization (PPO) [8] を用いた. 以下は, PPO に基づいた PPN の学習 ループ 1 回分の手順である. この学習ループは事前 に決められた回数繰り返す。

1. ユーザシミュレータを用いて対話をシミュレー
ションする．対話における各ターン $t$ では，各 PPN が後処理を行い，そこで得られる $s_{A l l}^{t}, v^{t}$, $v^{\prime t}$ ，報酬 $r^{t}$ からなるタプルを行動履歴として 蓄積する. 対話シミュレーションは行動履歴が 事前に決められた量（ホライゾンと呼ぶ）に達 するまで繰り返す。

2. PPN 選択戦略（後述）に基づいて，今回の学習 ループで更新する PPNを選択する。

3. ステップ 1 で得られた行動履歴を用い，事前 に決められたエポック数だけ PPO アルゴリズ ムに基づいて，ステップ 2 で選択した PPN の MLPを更新する.

PPN 選択戦略とは，各学習ループで更新する PPN を選択するためのルールである. システムに 2 つ以上の PPN が含まれる場合，どの PPNをどの順番で 更新するべきかは自明ではない，そこで本研究では ALL（各学習ループで，必ずすべての PPN を選択す る)，RANDOM（各学習ループで，1つ以上の PPNを ランダムに選択する), ROTATION (学習ループごと に，PPNを 1 つずつ順繰りに選択する）の 3 種類を 用意し，最も有効な戦略を実験的に調査する。

## 3 実験

## 3.1 データセットとプラットフォーム

本研究では, MultiWOZデータセット [7] に基づい て実装されたモジュールを用いて複数の異なる対話 システムを構成し, 各システムに PPNを適用するこ とで，本手法の有効性を検証する．MultiWOZ は旅行サポートサービスを行う店員と顧客とのタスク指向型対話コーパスであり， 10,438 対話が含まれる.

実験では，タスク指向型対話システム用プラット フォームである ConvLab2 [9]を用いる. ConvLab2 では，MultiWOZに基づいて実装された各モジュー ルやユーザシミュレータ [10]を用いた対話システム 評価ツール等が提供されている.

図 2 強化学習における PPN 選択戦略ごとの各評価尺度の推移

## 3.2 評価尺度

各対話におけるタスク評価には，ConvLab2 で利用可能であり, 先行研究 $[11,12,13]$ でも一般的に 使用されている，Turn（対話に要したターン数）， Inform F1（ユーザが要求した情報に過不足なく答え たか)，Match Rate（ユーザの条件に合ったエンティ ティ1)を提示したか)，Task Success (20 ターン以内に Inform Recall と Match Rate が同時に 1 になった か）の４つの尺度を用いる。なお本実験では，ユー ザ発話とそれに対するシステムの応答 1 回を 1 ター ンとして定義する. システムの評価時には公正な比較を行うため，異なる 5 種類のランダムシードで 1,000 対話ずつシミュレーションし，その平均スコ アを用いる。

## 3.3 システム構成

本研究では，Takanobu ら [14] の実験に倣い，パイ プライン型システムの一般的なモジュール構成であ る，NLU，DST, Policy, NLGの 4 モジュールから なるシステムを用意する. 各モジュールとしては， ConvLab2 で実装されているモデル2)の中から，古典的なルールベース手法（学習不可能なモデル）と最新のニューラルベース手法（学習可能なモデル）の 両方を含むように選択した. なお，学習可能なモデ ルであってもそのモデル自体は学習せず PPN のみ を学習する. 以下で，モジュール別に，今回利用す るモデルを説明する。

NLU BERT[15] NLU モデルを使用する. 本モデ ルは BERT による埋め込み表現を用い，ユーザ発話文中の各単語が表す意図をクラス分類する [16].


 &  &  & Turn \\
& 64.2 & $\mathbf{7 1 . 9}$ & 76.6 & 9.20 \\

RANDOM & 60.4 & 70.5 & 73.2 & 9.10 \\

DSTRule DST と TRADE [17] の 2 モデルを使用 する. Rule DST は NLU が推定したスロットを用 いて対話状態を更新するモデルであり，更新ルー ルは人手によるルールで作成されている。一方で TRADE はニューラルベース手法のモデルであり， システムとユーザの発話履歴を大力として，対話状態を直接生成する.

Policy Rule Policy, MLE Policy, PPO [8] Policy, LaRL [18]の 4 モデルを使用する. Rule Policy は人手で作成されたルールに従って行動を決定するモデ ルである. MLE Policy は MultiWOZ データセットに おける店員の行動を模倣するように教師あり学習さ れたニューラルベースモデルである. PPO Policy は MLE Policy をべースに PPO アルゴリズム [8] によっ てタスク達成に最適化するように fine-tune されたモ デルである．LaRL は対話状態を元にシステムの発話文を直接生成する RNN ベースのモデルである.

NLG Template NLG と SCLSTM [19] の 2 モデル を使用する。Template NLG は，人手で事前に用意 されている発話テンプレート文の集合から, Policy が出力した行動に合うものを選択する手法である. SCLSTM はRNN ベースのモデルであり, Policy が 出力した行動に合ったシステム発話文を生成する.

## 3.4 結果

本研究では，まずどの PPN 選択戦略が最も有効で あるかを調査し，次に PPNが任意のシステムに適用可能であるかを調査した.
表 2 各システムにおけるモデルの組み合わせと PPN 適用前後での評価尺度の比較

## 3.4.1 PPN 選択戦略の比較

図 2 と表 1 は各 PPN 選択戦略を用いてシステム を学習した場合の学習推移と最終スコアをそれぞ れ示している.なおこの実験では BERT NLU，Rule DST，MLE Policy，Template NLG の組み合わせで構成したシステムに PPNを適用した。このシステム を用いた理由は，PPN 適用前の Task Success が 50\%前後（図 2 左図参照）であるため PPN の適用による 影響がわかりやすく，また MLE Policy はしばしば 強化学習の初期重みとして用いられる [11,12]ため,本研究における初期モデルとして合理的だと考えら れるからである. 結果から，いずれの PPN 選択戦略であっても PPNが有効であることが確認できる. なお，ALL はほかの 2 種類に比べ早く最高スコアに 到達するが，それ以降では学習が不安定になること が分かる。一方 RANDOM と ROTATION は学習が 安定しており, 特に RANDOM は最終的に全 3 種類中最高スコアを達成している.

## 3.4.2 モデルの組み合わせによる影響

表 2 は複数のモデル（3.3 節参照）を用いて実装し た 6 種類のシステムの構成と PPN 適用前後での評価尺度を示している. PPN 選択戦略としては，3.4.1 節の結果から RANDOMを用いた. 表 2 から，ほと んどのシステムにおいて，PPNを適用することに よってその対話タスク能力が改善することがわか る. 一方で特に SYS-RUL など, Rule Policy が含ま れるシステムについては改善が見られない場合も確認できる. Rule Policy は人手ルールによって入念に 作りこまれており元から精度が高いモデルである. したがって, 特に Policy に改善の余地がある場合に PPNによる改善が見込めると考えられる。

## 4 関連研究

本研究は，モジュール構造をとるシステムを End-to-End で最適化するニューラルベース手法と関連している. Lei ら [20] はDST と NLGに相当する 2 つの decoder を sequence-to-sequence モデル [21] に導入した手法を提案している. さらに Policy や NLU に相当する decoder によって Lei らのモデルを拡張 した手法も提案されている $[4,22]$. しかし, これら 手法は End-to-End モデルを教師あり学習により最適化しており，対話全体の教師データ必要とする点が 本研究とは異なる。

本研究は，強化学習によるパイプライン型システ 么の性能向上を目的としている. Liu ら [5] は模倣学習を組み合わせることで，Policyを実ユーザに最適化させる手法を提案している。 また，システム内 の各モジュールを同時に fine-tune するすることで， システム全体の対話能力やエラーに対するロバスト 性を向上させる手法 $[23,24,6]$ が多く提案されてい る.これら手法は，ニューラルベース手法で実装さ れた各モジュールを強化学習によって直接学習する ため，学習不可能なモジュールを含むシステムには 適用できない。一方で本研究で提案する手法は，任意のパイプライン型システムに適用可能である.

## 5 おわりに

本研究では後処理ネットワークと強化学習を用 い，各モジュールの実装手法に依存せずにパイプラ イン型対話システム全体を同時に最適化できる手法 を提案した. MultiWOZ と ConvLab2 における実験 から，多様なモデルで構成された複数のシステムに 対して本手法が有効であることを確認した。

## 謝辞

本研究は科研費「モジュール連動に基づく対話シ ステム基盤技術の構築」（課題番号 19H05692）の支援を受けた。

## 参考文献

[1] Hongshen Chen, Xiaorui Liu, Dawei Yin, and Jiliang Tang. A survey on dialogue systems: Recent advances and new frontiers. ACM SIGKDD Explorations Newsletter, 19(2):25-35, 2017.

[2] Zheng Zhang, Ryuichi Takanobu, Qi Zhu, MinLie Huang, and XiaoYan Zhu. Recent advances and challenges in task-oriented dialog systems. Science China Technological Sciences, pages $1-17,2020$.

[3] Tsung-Hsien Wen, David Vandyke, Nikola Mrkšić, Milica Gašić, Lina M. Rojas-Barahona, Pei-Hao Su, Stefan Ultes, and Steve Young. A Network-based End-to-End Trainable Task-oriented Dialogue System. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 438-449, April 2017.

[4] Yichi Zhang, Zhijian Ou, and Zhou Yu. Task-Oriented Dialog Systems That Consider Multiple Appropriate Responses under the Same Context. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 9604-9611, Apr. 2020.

[5] Bing Liu, Gokhan Tür, Dilek Hakkani-Tür, Pararth Shah, and Larry Heck. Dialogue Learning with Human Teaching and Feedback in End-to-End Trainable Task-Oriented Dialogue Systems. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 20602069, June 2018

[6] Zichuan Lin, Jing Huang, Bowen Zhou, Xiaodong He, and Tengyu Ma. Joint System-Wise Optimization for Pipeline Goal-Oriented Dialog System. arXiv preprint arXiv:2106.04835, 2021.

[7] Paweł Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 5016-5026, October-November 2018.

[8] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017.

[9] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. ConvLab-2: An Open-Source Toolkit for Building, Evaluating, and Diagnosing Dialogue Systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pages 142-149, July 2020.

[10] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-Based User Simulation for Bootstrapping a POMDP Dialogue System. In Proceedings of Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pages 149-152, April 2007.

[11] Ryuichi Takanobu, Hanlin Zhu, and Minlie Huang. Guided Dialog Policy Learning: Reward Estimation for Multi-Domain TaskOriented Dialog. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 100-110, November 2019.

[12] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao.
Guided Dialogue Policy Learning without Adversarial Learning in the Loop. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 2308-2317, November 2020.

[13] Zhengxu Hou, Bang Liu, Ruihui Zhao, Zijing Ou, Yafei Liu, Xi Chen, and Yefeng Zheng. Imperfect also Deserves Reward: Multi-Level and Sequential Reward Modeling for Better Dialog Management. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 2993-3001, June 2021.

[14] Ryuichi Takanobu, Qi Zhu, Jinchao Li, Baolin Peng, Jianfeng Gao, and Minlie Huang. Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pages 297-310, July 2020.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, June 2019.

[16] Qian Chen, Zhu Zhuo, and Wen Wang. Bert for joint intent classification and slot filling. arXiv preprint arXiv:1902.10909, 2019.

[17] Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher, and Pascale Fung. Transferable MultiDomain State Generator for Task-Oriented Dialogue Systems. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 808-819, July 2019.

[18] Tiancheng Zhao, Kaige Xie, and Maxine Eskenazi. Rethinking Action Spaces for Reinforcement Learning in End-to-end Dialog Agents with Latent Variable Models. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 1208-1218, June 2019.

[19] Tsung-Hsien Wen, Milica Gašić, Nikola Mrkšić, Pei-Hao Su, David Vandyke, and Steve Young. Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1711-1721, September 2015

[20] Wenqiang Lei, Xisen Jin, Min-Yen Kan, Zhaochun Ren, Xiangnan He, and Dawei Yin. Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architectures. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1437-1447, July 2018.

[21] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Proceedings of Advances in neural information processing systems, pages 3104 3112, 2014 .

[22] Weixin Liang, Youzhi Tian, Chengcai Chen, and Zhou Yu. MOSS: End-to-End Dialog System Framework with Modular Supervision. Proceedings of the AAAI Conference on Artificial Intelligence, 34(05):8327-8335, Apr. 2020.

[23] Xiujun Li, Yun-Nung Chen, Lihong Li, Jianfeng Gao, and Asli Celikyilmaz. End-to-End Task-Completion Neural Dialogue Systems. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 733-743, November 2017

[24] Hwaran Lee, Seokhwan Jo, Hyungjun Kim, Sangkeun Jung, and Tae-Yoon Kim. SUMBT+LaRL: Effective Multi-Domain Endto-End Neural Task-Oriented Dialog System. IEEE Access, 9:116133-116146, 2021
 大橋厚元 ${ }^{1}$ 東中竜一郎 1 1 名古屋大学大学院 情報学研究科 ohashi.atsumoto@g.mbox.nagoya-u.ac.jp, higashinaka@i.nagoya-u.ac.jp  