# タスク指向対話システムの方策学習への Decision Transformer の適用

戸田隆道 1 森村哲郎 2 阿部拳之 ${ }^{2}$
1 株式会社 AI Shift 2 株式会社サイバーエージェント
\{toda_takamichi, morimura_tetsuro,abe_kenshi\}@cyberagent.co.jp

## 概要

パイプライン型のタスク指向対話システムにおい て, 行動決定を行う Policy モジュールは設計が非常 に複雑でコストがかかる. シミュレーターを用いて オンライン強化学習で方策を学習させる取り組みも あるが, 学習のためのシミュレーターの実装など多 くの課題が残されている. 我々は Policy モジュール の方策の学習にシミュレーターを必要としないオフ ライン強化学習の手法である Decision Transformerを 適用する. 本稿では Decision Transformerを方策の学習に適用する際の報酬設計について, MultiWOZ 2.1 のデータセットを使い, 学習時と推論時両方で評価 を行う。

## 1 はじめに

パイプライン型のタスク指向対話システムにお けるモジュールの一つである行動決定を行う Policy モジュールは, 現在の対話状態に基づいてシステム が次に行う対話行動を決定する働きをする. Policy モージュールの方策 (以下方策) の設計は対話のス トーリーを設計することと同義と言え, 非常に多く の工数がかかる. そのため工数をかけずデータから 方策を設計するために, 近年強化学習を使った試み が多くなされている [1][2].

一般的な強化学習 (オンライン強化学習) ではエー ジェントは環境との相互作用によって学習を進め る. 対話方策の学習においては, 人間が直接学習に 関わるのは困難であるため,多くの場合対話シミュ レータを使って学習を行っている. しかしシミュ レータは複雑な人間の行動を反映させる必要がある ため,シミュレータを作ること自体に多大な工数が かかってしまうという問題を抱えている. 加えて, シ ミュレータに欠陥があると適切でない学習が行われ てしまう恐れもある. そこで, 我々はシミュレータ
を使わないオフライン強化学習 [3] である Decision Transformer[4] を方策の学習に適用する. オフライ ン強化学習には弊社で運用している AI Messenger Chatbot $^{1)}$ のようなチャットボットと有人チャット を組み合わせた対話システムにおいて, 実環境で溜 まったデータをそのまま学習に使うことができると いった利点もある.

オンライン,オフライン問わず強化学習には 報酬の設計という共通の課題がある. Decision Transformer はそれに加え，推論時にも報酬をモデル に与える必要がある. [4] で実験されていた Atari な どの環境はゲームのスコアなどから現在の状態に対 する報酬が容易に定義できるが, 対話においては現在の状態がタスク達成に対してどの程度良いかを定義することは困難である. 本研究では学習時と推論時の報酬の与え方のパターンを試した結果を共有 する。

本研究の貢献は以下の 2 点である。

・タスク指向対話の方策の学習に Decision Transformer を初めて適用した

・方策の学習と推論における Decision Transformer への報酬の与え方の検証を行なった

## 2 関連研究

本研究に関わる重要な手法に [4] で提案された Decision Transformer がある. 一般的な強化学習は, 環境においてエージェントが試行錯誤することで方策 を改善するが, オフライン強化学習手法の一種であ る Decision Transformer は, 事前に用意されたデータ セットからの学習だけで, 実環境と作用せずに良い 方策を獲得することを目的としている. オフライン 強化学習は実環境での失敗が許容できないドメイン や試行錯誤のコストが高いドメインでの活用が期待 されている. Decision Transformer はモデルのアーキ


テクチャに GPT をベースとしており, 非マルコフ性 の問題,つまり将来が現在の状態だけでなく履歴全体に依存してしまう問題を Transformer の Attention の仕組みで効率よく解くことができるといわれて いる.

方策の学習に Transformerアーキテクチャを利用 する手法として [5] が挙げられる. こちらは異なる ドメイン間の転移を行う継続的な強化学習を行う 際の状態表現として事前に学習された RoBERTaを ベースとして利用しているが, 本研究では状態はバ イナリベクトルで離散的に扱う。

その他対話に特化した方策の学習方法として [1] が挙げられる.こちらは逆強化学習 [6] に基づいて, より人間の対話に近くなるような報酬関数を求める 手法となっている. オンライン強化学習の手法であ り, 学習には対話シミュレーターが必要になる点が 本稿で扱う Decision Transformer と異なっているが,将来的には Decision Transformer で学習済みのモデル をオンラインに適用する際などに組み合わせること が考えられる。

## 3 実験

## 3.1 比較手法

Decision Transformer は, 時刻 $t$ の状態 $s_{t}$, とった行動 $a_{t}$, 得られた報酬 $r_{t}$ の 3 種類の情報をべクトル 化して連結したものを 1 トークンとして, 次の行動 $a_{t+1}$ を予測するように学習する. 学習時は行動軌跡 が全て入力され, mini-batch 内で長さの異なるものは padding される. 本研究では Decision Transformer の入力の一つである報酬の与え方の検証を行う.ここで 報酬は即時的に与えられる即時報酬と, 将来的に得 られる即時報酬の累積値 (return-to-go) の 2 種類に 分けられる. return-to-go は式 1 のように定義される.

$
\widehat{R}_{t}=\sum_{t^{\prime}=t}^{T} r_{t^{\prime}}
$

ここで $T$ は対話における全ターン数, $r_{t^{\prime}}$ は $t^{\prime}$ ター ン目の即時報酬を示している. 状態 $s_{t}$, 行動 $a_{t}$ と共 に return-to-go $\widehat{R}_{t}$ がモデルに与えられる. 具体的に は，各ターン $t$ でモデルは式 2 で定義される行動軌跡 $\tau_{t}$ を入力として受け取り，行動 $a_{t}$ を出力する.

$
\tau_{t}=\left(\widehat{R}_{1}, s_{1}, a_{1}, \widehat{R}_{2}, s_{2}, a_{2}, \ldots, \widehat{R}_{t}, s_{t}\right)
$

ここで注目すべきは，軌跡 $\tau$ に即時報酬ではな く, 今後得られる即時報酬の累積値 return-to-go を 用いていることである，この操作により，Decision Transformer は直近の報酬だけでなく，未来の報酬 も考慮して，行動を選択できるようになる。その ため，推論時に大きい所望の return-to-go を設定す れば，長期的に報酬を大きくするような行動を 選択することが期待される。本稿では以下より return-to-go を報酬と呼び, 学習時の報酬を学習時報酬，推論時の報酬を推論時報酬と定義する。これら を踏まえて，検証する報酬の与え方を以下に示す。

## 1. baseline

対話中は学習時報酬を与えず,対話が成功した 時のみ大きな正の学習時報酬を与える.これは 一般的な強化学習でよく使われる報酬パターン で, 今回は対話成功時は 40 を与えるように設定 する. 推論時報酬は常に 0 とする。

## 2. constant -1

対話中は常に小さな負の学習時報酬を与え, 対話が成功した時のみ大きな正の学習時報酬を与 える. 常に負の学習時報酬が与えられるため, で きるだけ早く目的を達成させるような学習がさ れることを期待している. 今回は対話中は-1, 対話成功時は 40 をとえるように設定する. 推論時報酬は常に-1 とする.

## 3. linear

対話開始時の学習時報酬を 0 , 完了時の学習時報酬を 40 とし, 中間の対話は線形増加させる. 例 えば 5 ターンで完了する対話の場合は $0,10,20$, 30, 40 と増加する. 尚, 小数になった場合は整数 に丸め込む. 推論時報酬について, 1. baseline や 2. constant -1 は一定の報酬を与えればよかった が, 本手法は推論時報酬が変動するため, 何ター ン目に最大となるかを決める必要がある. 著者 が知る限りでは, 終了ターンがわからない状態 での推論時報酬の設計が行われている先行研究 は無いため $1,2,4,8,16$ の範囲で探索する.

## 4. quadratic

考え方としては 3. linear と同様であるが,こち らは二次関数的に学習時報酬を増加させる. 例 えば 5 ターンで完了する対話の場合は $0,6,15$, 26, 40 と増加する. 3. linear と同様, 推論報酬の 最大値を何ターン目に設定するかを $1,2,4,8,16$ の範囲で探索する。
5. $\log$
考え方としては 3. linear と同様であるが,こち らは底を 2 とする対数関数的に学習時報酬を増加させる. 例えば 5 ターンで完了する対話の場合は $0,17,27,34,40$ と増加する. 3. linear と同様, 推論報酬の最大值を何ターン目に設定する かを $1,2,4,8,16$ の範囲で探索する.

これらの手法に加え,シミュレータを用いない他 の方策の学習手法として模倣学習 (Behavior Cloning,以下 $\mathrm{BC})$ を比較する. BC は状態をバイナリで表現 したベクトルから行動をバイナリで表現したベクト ルを予測する 2 層の全結合ニューラルネットワーク で構成される。

## 3.2 評価方法

評価には MultiWOZ 2.1[7] を利用する。こちら は旅行サポートサービスを行う店員と顧客と のタスク指向対話コーパスの MultiWOZ[8] の アノテーションミスを修正したり適切で無い 対話を除外した，より質の良いタスク指向対話コーパスである. 実験には，夕スク指向対話システムの研究開発向けツールキットの ConvLab2[9][10]を用いる. ConvLab2 は NLU(Natural Language Understanding)[11][12] や DST(Dialogue State Tracking)[13] などの Policy 以外のパイプライン型 のタスク指向対話システムのモジュールや Agenda ベースのユーザーシミュレータ [14] などを提供して いる.

パイプライン型のタスク指向対話システムは Policy, NLU, DST, に加えて NLG (Natural Language Generation)[15] の4つのモジュールを組み合わせて 構成される. 本研究では方策の評価を行うために, 残 りのモジュールは以下に固定した.

## - NLU

BERTによる埋め込み表現から発話文中の各単語が表す意図をクラス分類する JointBERT[16]

## - DST

NLU が推定したスロットを用いて人手で作成 されたルールに従って対話状態を更新する Rule DST

## - NLG

発話テンプレート文の集合から, 方策が予測し た行動に合うものを選択する Template NLG

評価指標は方策学習の先行研究 [1][5] で利用され ており,ConvLab2 でも利用可能な以下の 2 指標を利用する.

## - Success Rate

対話の成功率で, ConvLab-2 では”ユーザー要求 がすべて満たされ, かつ予約されたエンティ ティが制約を満たしている割合”と定義されて いる. 高いほどユーザーの満足する対話を行う ことができていると言える.

## - Average Turn

成功した対話の平均ターン数. 小さいほど効率 よく対話を行なっていると言える。

システムの評価時には, 異なる 5 種類のランダム シードで 100 対話をシミュレーションし, その平均 スコアを用いる。

## 3.3 結果

報酬の与え方の比較の実験結果を表 1 に示す. linear, quadratic, $\log$ は推論時の最大報酬設定ターン (Maximum Reward Setting Turn, 以下 MRST) も分けて 評価する. 尚, MultiWoZ 2.1 の学習データの Average Turn は 6.728 であった.

表 1 報酬の与え方の比較

## 4 考察

## 4.1 実験結果について

baseline や constant -1 といった成功した時にのみ報酬を与える手法より, linear や quandratic, $\log$ といっ た, 対話の完了に向けて徐々に報酬が増加する手法の方が Success Rate は高いことがわかった. 徐々 に報酬が増加する手法の中では linear, $\log$ が比較的 Success Rate が高く, 推論時の報酬の与え方は MRST が 4 の時が最も高くなった. この結果は対話の序盤 に高い報酬を与えた方がよいことを示していると考 えている. ただし $\mathrm{MRST}=1$ や MRST $=2$ など, 極端に 短い場合はわずかに Success Rate が下がってしまう. これは最低限必要な対話ターン数が関係していると 想定され, ドメインによって理想的な MRST を調整 する必要があると考えている.

Average Turn に関しては各手法の間で大きな差は 見られなかったが, 若干 MRST が小さい方が小さく なる傾向が見られた. これは, 推論時に与える報酬が 対話完了の目標ターンに影響を与えているのではな いかと考えた。

適切な報酬設計を行えた場合は $\mathrm{BC}$ よりも良い精度を得ていることから, 単純にデータにある行動を 模倣するのではなく, データにある行動からより適切な行動を学習できているといえる. 逆に報酬設計 が適切でないと BC と比べて大きく精度が落ちるこ とから, 報酬設計が方策の学習に重要な影響をあた えることがわかる.

## 4.2 今後の展望

今回推論時の報酬は事前に定義された関数に従っ て与えたが, ユーザー側の肯定的な発言や予約など のスロット抽出完了フラグなどの対話内容に応じて 動的に変化する報酬の与え方も考えられる. また才 フライン強化学習の強みとしてオンライン強化学習 と組み合わせることができることが挙げられるの で, [1] のようなオンライン強化学習手法と組み合わ せることで更なる精度向上が期待できる。

方策学習に関するテーマとして今回扱わなかっ たものの一つに, 異なるドメイン間の転移学習があ る. NLU や NLG のように GPT や BERT などの一般的な文章で学習した事前学習モデルを使った手法を 適用しづらく, また強化学習の転移学習自体が容易 では無いとも言われている [17]. MultiWOZ 2.1 は
レストラン予約やタクシー配車など複数のドメイン を含んでいるので,この部分を分離して学習し,オフ ライン強化学習での転移学習, または少量データで のドメイン適用といった方向性での研究も検討して いる.

MultiWOZ 2.1 は人間同士の対話なので非常に質が 高く,ほぼ 100\%の割合で完了しているといえる.し かし実際の対話プロダクトでは途中でユーザーが離脱してしまうなど対話が失敗してしまうケースも考 えられる。そこでシミュレーター同士で対話させる ことで, 擬似的に失敗した対話を生成し, 学習デー タに一定割合で混ぜて精度変化を比較する実験を 行なった. 擬似的に生成した失敗した対話を混ぜる ことで精度が低下することがわかったが, 失敗した 対話に対する報酬設計に関して，明確な答えを得る ことができなかったので,この部分に関して掘り下 げて研究することも検討している。 尚, 実験結果は Appendix A に記載する.

## 5 おわりに

本稿では, パイプライン型のタスク指向対話シス テムにおけるモジュールの一つである方策の学習 に, オフライン強化学習手法の Decision Transformer を適用し, 報酬設計の検証を MultiWOZ 2.1 のデータ セットを用いて行なった. 学習時は対話の完了に 向けて徐々に増加するように報酬を与え，推論時は 4 ターン目に最大の報酬を設定すると最も Success Rateが高くなった.

今後の取り組みとして，より動的な報酬の与え方 やオンライン強化学習との組み合わせ, ドメイン間 の転移などを検討している. 加えて, 実際の対話を想定して失敗した対話をデータに混ぜた場合の評価も 行なったが, 混合比率が上がるにつれて精度が低下 することがわかったが, 失敗した対話に対する報酬設計をどのようにすれば良いかがまだわかっていな いので,この点に関しても研究を続ける。

## 謝辞

本論文の作成にあたりご協力頂きました, 株式会社 AI Shift の友松祐太氏, 杉山雅和氏, 東佑樹氏, 二宮大空氏, 下山翔氏, 株式会社サイバーエージェントの 邊土名朝飛氏にこの場を借りて厚く御礼申し上げ ます.

## 参考文献

[1] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao. Guided dialog policy learning without adversarial learning in the loop. Findings of EMNLP 2020, 2020.

[2] Pei-Hao Su, Pawe 1 Budzianowski, Stefan Ultes, Milica Gašić, and Steve Young. Sample-efficient actor-critic reinforcement learning with supervised data for dialogue management. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 147157, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[3] Sergey Levine, Aviral Kumar, G. Tucker, and Justin Fu. Offline reinforcement learning: Tutorial, review, and perspectives on open problems. ArXiv, Vol. abs/2005.01643, , 2020.

[4] Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee, Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivas, and Igor Mordatch. Decision transformer: Reinforcement learning via sequence modeling. arXiv preprint arXiv:2106.01345, 2021

[5] Christian Geishauser, Carel van Niekerk, Hsien-chin Lin, Nurul Lubis, Michael Heck, Shutong Feng, and Milica Gašić. Dynamic dialogue policy for continual reinforcement learning. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 266284, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[6] Brian D Ziebart, Andrew L Maas, J Andrew Bagnell, Anind K Dey, et al. Maximum entropy inverse reinforcement learning. In Aaai, Vol. 8, pp. 1433-1438. Chicago, IL, USA, 2008.

[7] Mihail Eric, Rahul Goel, Shachi Paul, Abhishek Sethi, Sanchit Agarwal, Shuyang Gao, Adarsh Kumar, Anuj Goyal, Peter Ku, and Dilek Hakkani-Tur. MultiWOZ 2.1: A consolidated multi-domain dialogue dataset with state corrections and state tracking baselines. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 422-428, Marseille, France, May 2020. European Language Resources Association.

[8] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multidomain Wizard-of-Oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5016-5026, Brussels, Belgium, October-November
2018. Association for Computational Linguistics.

[9] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. Convlab-2: An open-source toolkit for building, evaluating, and diagnosing dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[10] Jiexi Liu, Ryuichi Takanobu, Jiaxin Wen, Dazhen Wan, Hongguang Li, Weiran Nie, Cheng Li, Wei Peng, and Minlie Huang. Robustness testing of language understanding in task-oriented dialog. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, 2021.

[11] François Mairesse, Milica Gasic, Filip Jurcicek, Simon Keizer, Blaise Thomson, Kai Yu, and Steve Young. Spoken language understanding from unaligned data using discriminative classification models. In 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4749-4752. IEEE, 2009.

[12] Stefan Ultes, Lina M. Rojas Barahona, Pei-Hao Su, David Vandyke, Dongho Kim, Iñigo Casanueva, Pawe 1 Budzianowski, Nikola Mrkšić, Tsung-Hsien Wen, Milica Gasic, and Steve Young. PyDial: A Multi-domain Statistical Dialogue System Toolkit. In Proceedings of ACL 2017, System Demonstrations, pp. 73-78, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[13] Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher, and Pascale Fung. Transferable multi-domain state generator for task-oriented dialogue systems. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Association for Computational Linguistics, 2019.

[14] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-based user simulation for bootstrapping a POMDP dialogue system. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pp. 149-152, Rochester, New York, April 2007. Association for Computational Linguistics.

[15] Tsung-Hsien Wen, Milica Gašić, Nikola Mrkšić, Pei-Hao Su, David Vandyke, and Steve Young. Semantically conditioned LSTM-based natural language generation for spoken dialogue systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1711-1721, Lisbon, Portugal, September 2015. Association for Computational Linguistics

[16] Wen Wang Qian Chen, Zhu Zhuo. Bert for joint intent classification and slot filling. ArXiv, Vol. abs/1902.10909, , 2019 .

[17] Matthew E. Taylor and Peter Stone. Transfer learning for reinforcement learning domains: A survey. J. Mach. Learn. Res., Vol. 10, p. 1633-1685, dec 2009.

## A 失敗対話を加えた実験

失敗した対話に対しても報酬を設計する必要 があるので, 報酬の与え方の比較の実験で最も Success Rate が高く, Average Turn が小さかった linear, MRST=4をRSO 100\%を current best とし,その current bestをベースに以下の 6 パターンを試した.

1. const

常に-1 の報酬を与え, 対話終了 (破綻) 時に-40の 報酬を与える

2. low

-40 から 0 まで線形増加させる

3. middle

-80 から-40 まで線形増加させる

## 4. high

-120 から -80 まで線形増加させる

## 5. steep low

-80 から 0 まで, 2 . low より傾斜をつけて線形増加させる

6. steep middle

-120 から-40まで, 3. middle より傾斜をつけて線形増加させる

7. steep high

-160 から-80まで, 4 . high より傾斜をつけて線形増加させる

シミュレーターの Policy モジュールは ConvLab2 で提供されている MLEを利用し, 元のデータと 3:1 の割合で混ぜる RSO(Ratio of simulator and original data) $25 \%$, 元のデータと $1: 1$ の割合で混ぜる RSO $50 \%$, 元のデータと $1: 3$ の割合で混ぜる RSO 75\%の 3 パターンを試した. 結果を表 2 に示す.

## A. 1 考察

失敗対話を加える割合を増やすほど Success Rate も Average Turn も悪化することがわかった. Success Rate は steep middle が比較的よい結果を得られたが RSO25\%の際は low が最もよい結果となった. 一方 Average Turn に関しては何が効果的だったのかわか らなかった. この結果に関しては今後検証を進め ていきたいと考えている.表 2 失敗対話を加えた実験


 戸田隆道 1 森村哲郎 2 阿部拳之 ${ }^{2}$ 1 株式会社 AI Shift 2 株式会社サイバーエージェント \{toda_takamichi, morimura_tetsuro,abe_kenshi\}@cyberagent.co.jp  