# タスク指向対話における強化学習を用いた対話方策学習への 敵対的学習の役割の解明

下山翔 1,2 森村哲郎 3 阿部拳之 ${ }^{3}$
${ }^{1}$ AI Shift, Inc. 2 東北大学大学院 理学研究科数学専攻 ${ }^{3}$ CyberAgent, Inc. AI Lab.
shimoyama_sho@ai-shift.jp \{morimura_tetsuro, abe_kenshi\}@cyberagent.co.jp

## 概要

強化学習を用いた対話方策の学習において，報酬関数の設計は重要である。効果的な報酬関数の人手 による設計が困難であるため，データから報酬関数 を推定する手法の 1 つとして敵対的逆強化学習が 注目されている。この方法により推定された報酬関数を用いて学習された対話方策は良好な性能を示 すことが報告されている。この理由を明らかにする ため，本研究では，既存手法の 1 つである Guided Dialog Policy Learning に対する分析を行う. 報酬関数の目的関数に対する考察および実験結果から，敵対的学習はループ対話の発生を抑制する効果を持つ ことを示す.

## 1 はじめに

対話方策はタスク指向対話システムの重要な構成要素の一つである $[1,2]$. 近年，強化学習を用い た対話方策の学習に関する研究が注目されてい る $[3,4,5,6,7]$. 強化学習による対話方策の学習は,対話をマルコフ決定過程とみなし，対話方策と環境 （例えば，ユーザシミュレータ $[8,9]$ ）との相互作用 を通じて，得られる対話に対する報酬を最大化する ことで行われる.

報酬関数は対話方策の学習において重要である 一方，適切な報酬関数の人手による設計は困難であ る. 単純な報酬関数として，対話ターンを短くする ために各対話ターンで一定の小さな負の報酬，対話終了時に目的を達成した場合は大きな正の報酬を与 える報酬関数があげられる。しかしながら，各ター ンで選択された行動の良さは対話が終了するまで分 からない（つまり，報酬が疎である）ため対話方策 の学習が適切に進まない場合が存在する。

上述の問題に対処するため，データから報酬関数を推定する方法の 1 つである敵対的逆強化学習 $[10,11]$ を用いた方法が提案されている. 研究 [12] は，エキスパート対話を用い，対話単位の報酬関数と対話方策を敵対的学習を用い交互に学習す る方法を提案している. 研究 [13] は敵対的逆強化学習を用いて報酬関数を推定し，報酬関数を状態行動単位とすることで報酬が疎な問題に対処する手法 Guided Dialog Policy Learning (GDPL) を提案して いる。これらの報酬関数を用いて学習された対話方策は人手で設計した報酬関数を用いて学習された対話方策より良好な性能を示すことが報告されてい る. しかし, 対話方策の学習において, 敵対的学習 を用いた報酬関数の推定が有用であることの理由は 十分に解明されていない。

本研究では，GDPLを対象とし，強化学習を用い た対話方策の学習において，敵対的学習を用いた報酬関数推定が対話方策の学習に与える影響の分析を 行う．報酬関数の目的関数に対し考察を行い，実験 によりその妥当性の評価を行う。

## 2 関連研究

強化学習における人手での報酬関数の設計が困難であるため，データから報酬関数を推定する方法である逆強化学習 [14] がよく用いられる. 特に,近年, 逆強化学習に敵対的学習を用いた手法であ る敵対的逆強化学習 $[10,11]$ が注目されている. 研究 [12] は対話方策の学習と報酬関数の学習を敵対的学習を用いて交互に行う手法を提案している. 報酬関数を識別器とし, エキスパート対話には高い値 を，対話方策が生成した対話には低い値を割り当て るように学習する。対話方策は報酬関数から得られ る報酬が高くなるよう学習される. 研究 [13] は対話方策と状態行動単位の報酬関数を交互に学習する手法である Guided Dialog Policy Learning (GDPL) を提案している. GDPL は各ターン毎に状態行動に対し て報酬を与えることで報酬が疎となる問題に対処し

ており，対話内における話題の転換を柔軟に捉える ことができることが報告されている。研究 [15] は報酬関数の推定と対話方策の学習を交互ではなく逐次的に行う手法を提案している. 敵対的学習を用い,状態行動単位の報酬関数である識別器とノイズを入力とし状態行動対を出力する生成器を学習する. 次 に，上記で学習した報酬関数を固定し，対話方策を 学習する. 報酬関数の学習と対話方策の学習を分け ることで，方策オフ型/オン型どちらにも適用でき， モード崩壊 [16] に対処している. 先行研究と本研究 の違いは敵対的学習が対話方策の学習に及ぼす影響 を詳細に分析している点である。

## 3 前提

本論文では，対話を離散時間有限状態マルコフ連鎖 $\mathcal{M}=\left(\mathcal{S}, \mathcal{A}, P, \pi_{\theta}, v, r, \gamma, T\right)$ として扱う. ここで, $\mathcal{S}$ は dialog state $[17,18]$ 全体からなる集合（状態集合), $\mathcal{A}$ は dialog act [19] 全体からなる集合（行動集合), $P: \mathcal{S} \times \mathcal{A} \rightarrow \Delta(\mathcal{S})$ は状態遷移確率 $(\Delta(\mathcal{S})$ は $\mathcal{S}$上の確率単体 $), \pi_{\theta}: \mathcal{S} \rightarrow \Delta(\mathcal{A})$ は対話方策 $(\Delta(\mathcal{A})$ は $\mathcal{A}$ 上の確率単体， $\theta$ はパラメータ)， $v \in \Delta(\mathcal{S})$ は初期分布, $r$ は報酬関数， $\gamma \in[0,1]$ は減衰定数， $T \in \mathbb{N}$ は最大ターン数を表す. $s_{t} \in \mathcal{S}, a_{t} \in \mathcal{A}$ でそれぞれターン $t \in\{1, \ldots, T\}$ における状態，行動, $\tau=\left.\{s_{0}, a_{0}, s_{1}, a_{1}, \ldots, s_{|\tau|}, a_{|\tau|}\right.\}(|\tau| \leq T)$ で対話を 表す.

## 3.1 Guided Dialog Policy Learning

Guided Dialog Policy Learning (GDPL) [13] は，敵対的学習を用い，報酬関数と対話方策を交互に学習す る手法である. 対話方策が生成した対話に対して低 い報酬，学習データ（例えば人間同士の対話）内の 対話に対して高い報酬を割り当てるように敵対的学習を用いて報酬関数を学習する. 対話方策は報酬関数から得られる報酬が高くなるように学習すること で，人間に近い対話の実現を目指す. GDPLでは，状態 $s$ 行動 $a$ の報酬を $f_{\omega}(s, a)=\log p_{\omega}(s, a)$ (ここ で, $p_{\omega}(s, a)$ は確率モデル， $\omega$ はそのパラメータ $)$ と表し，以下の目的関数 (1), (2) を用いて対話方策 $\pi_{\theta}(a \mid s)$ と報酬関数 $f_{\omega}$ を交互に更新する：

$
\begin{aligned}
& \max _{\theta} \mathbb{E}_{\tau \sim \pi_{\theta}}\left[\sum_{t=t_{0}}^{|\tau|} \gamma^{t-t_{0}} \hat{r}\left(s_{t}, a_{t}\right)\right] \\
& \min _{\omega}\left.\{\mathrm{KL}\left[p_{\mathcal{D}} \mid p_{\omega}\right]-\mathrm{KL}\left[p_{\pi_{\theta}} \mid p_{\omega}\right]\right.\},
\end{aligned}
$

ここで, $\hat{r}=f_{\omega}-\log \pi_{\theta}, p_{\mathcal{D}}(s, a)$ は経験分布， $p_{\pi_{\theta}}$ は $\pi_{\theta}$ に従った際に状態行動 $(s, a)$ が発生する同時確率分布, $\operatorname{KL}\left[q_{1} \mid q_{2}\right]=\sum_{s \in \mathcal{S}} \sum_{a \in \mathcal{A}} q_{1}(s, a) \log \frac{q_{1}(s, a)}{q_{2}(s, a)}$ である. GDPLでは， $p_{\omega}$ を推定する代わりに確率 であるという制約なしで $f_{\omega}$ を直接推定し，対話方策の学習を安定させるために potential-based reward shaping [20] を用いて $\left(s_{t}, a_{t}, s_{t+1}\right)$ に依存する形に $f_{\omega}$ を変換している。

## 4 GDPL に対する考察

本章では，GDPLにおいて，敵対的学習が対話方策の学習に与える影響の考察を行う. 4.1 節でルー プ対話の定義， 4.2 節で敵対的学習の役割の考察を 行い，敵対的学習はループ対話を抑制する効果を有 することを示す.

## 4.1 ループ対話の定義

表 1 ループ対話の例. usr はユーザシミュレータ，sys は 対話方策を表す.

Definition 1 (ループ対話). 対話 $\tau$ において， $\left(s_{t}, a_{t}\right)=$ $\left(s_{t+n}, a_{t+n}\right)$ を満たす $n$ とターン $t$ が存在するとき, $\tau$ をループ対話と呼び，ループ内の状態 $s^{i}:=s_{t+i}$ for $\forall i \in\{0, \ldots, n-1\}$ をループ状態, 行動 $a^{i}:=a_{t+i}$ for $\forall i \in\{0, \ldots, n-1\}$ をループ行動と呼ぶ.

ループ対話の例を表 1 に示す. この対話では上か ら2つ目のユーザ発話 $(t=1)$ 以降，ユーザシミュ レータと対話方策がともに同じ内容の発話を繰り返 している. 簡単に述べると，ループ対話とは，特定 の状態行動 $(s, a)$ が複数回出現する対話である.

## 4.2 敵対的学習の役割の考察

マルコフ連鎖 $\mathcal{M}$ において，ある $\left.\{\left(s^{i}, a^{i}\right)\right.\}_{i=0}^{n-1}$ が存在し，次の仮定を満たすとする: 任意の $i \in\{0, \ldots, n-1\}$ に対し $\hat{r}\left(s^{i}, a^{i}\right)$ が $\hat{r}$ の最大値と十分近い.このとき, GDPLにおいて, 敵対的学習は ループ対話の発生を抑制すると推測される.
報酬関数を固定し，式 (1) に基づき対話方策を更新する場合を考える。式 (1) は累積報酬であるか ら，対話方策は生成する対話の累積報酬が高くな るよう学習される。ある 2 つ対話に対し，それ らの対話に含まれる状態行動に対する報酬の差が 十分小さい場合，累積報酬が高くなる対話はター ン数が多い対話である。ここで，そのような対話 の 1 つとして, $\left.\{\left(s^{i}, a^{i}\right)\right.\}_{i=0}^{n-1}$ をループ状態行動に持 ち，あるターン $t$ 以降これらの状態を順に遷移し 続けるループ対話が考えられる（つまり， $\tau=\left.\{s_{0}\right.$, $\left.\left.a_{0}, \ldots, s_{t-1}, a_{t-1}, s^{0}, a^{0}, \ldots, s^{n-1}, a^{n-1}, s^{0}, a^{0}, \ldots\right.\}\right)$. し たがって，式 (1)を最大化して得られる対話方策の 1 つとして，上述のループ対話の発生を促す対話方策 が考えられる。 $\left(s^{i}, a^{i}\right)$ が 1 対話内に複数回出現する ことから，このような対話方策に従った際の $\left(s^{i}, a^{i}\right)$ の発生確率 $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ は十分大きいと考えられる.

上述したループ対話の発生を促す対話方策 $\pi_{\theta}$ を 固定し，式 (2) に基づき報酬関数を推定する場合を 考える。式(2) は以下のように書ける：

$
\max _{\omega} \sum_{s \in \mathcal{S}} \sum_{a \in \mathcal{A}} f_{\omega}(s, a)\left.\{p_{\mathcal{D}}(s, a)-p_{\pi_{\theta}}(s, a)\right.\} .
$

上式において,$p_{\mathcal{D}}(s, a)<p_{\pi_{\theta}}(s, a)$ なら,$f_{\omega}(s, a) \rightarrow$一⿻ である. ここで， $(s, a)$ をループ状態行動 $\left(s^{i}, a^{i}\right)$ とすると， $\pi_{\theta}$ はループ対話の発生を促すという仮定から $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ は十分大きいと考えられる. よっ $\tau, p_{\mathcal{D}}\left(s^{i}, a^{i}\right)<p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ を満たし, $f_{\omega}\left(s^{i}, a^{i}\right) \rightarrow-\infty$ となると考えられる。したがって，このように更新 された報酬関数を用いて対話方策を更新する場合， $\left(s^{i}, a^{i}\right)$ を含む対話は累積報酬が十分小さくなるこ とから, 対話方策は $\left(s^{i}, a^{i}\right)$ の発生確率 $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ が 低くなるように学習されると考えられる。つまり， GDPL において敵対的学習はループ対話を抑制する と考えられる。

## 5 考察に対する実験的確認

本章では，4 章における考察に関する実験的確認 を行う，確認する内容は以下である：

・GDPL から敵対的学習を取り除いて学習した対話方策はループ対話の発生を促す。

・GDPL において敵対的学習はループ対話を抑制 する。

・敵対的学習を用いずにループ対話を抑制するよ う報酬を設計した手法と GDPL の性能差.

## 5.1 データセットとシミュレータ

本研究では，データセットとして Multiwoz [21]を 用いる. Multiwoz はマルチドメインタスク指向対話 コーパスで， 7 ドメイン，10,483 対話からなる.

強化学習の環境として，対話ゴールを受け取り確率的なルールに基づいて対話を行うアジェンダベー スユーザシミュレータ [8]を用いた. 対話ゴールは，各ドメインに対する，シミュレータが希望するエン ティティが満たすべき制約（例えば，適度な価格帯 のレストラン）と対話方策から聞く必要がある要求情報（例えば，レストランの住所）から成る.

## 5.2 比較手法

本論文では，以下 2 つの方法でそれぞれ学習した 対話方策を GDPL と比較する：
- GDPL w/o AL: 式 (2) から第 2 項を取り除き学習 した $f_{\omega}$ を固定し， $\hat{r}$ を式 (3) で定め，式 (1)を 目的関数として学習した対話方策.
- GDPL restrict loop: GDPL w/o AL と同様の $f_{\omega}$ を 固定し， $\hat{r}$ を式 (4) で定め，式 (1)を目的関数と して学習した対話方策.

$
\begin{aligned}
& \hat{r}\left(s_{t}, a_{t}, s_{t+1}\right)=\frac{f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)}{10000}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) \\
& \hat{r}\left(s_{t}, a_{t}, s_{t+1}\right)
\end{aligned}
$

$
= \begin{cases}r_{\text {loop }}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) & \left(\left(s_{t}, a_{t}\right)\right. \text { is loop } \\ \frac{f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)}{10000}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) & \text { (otherwise) }\end{cases}
$

$r_{\text {loop }}=\min _{\left(s_{t}, a_{t}, s_{t+1}\right) \in \mathcal{D}_{\text {train }} \cup \mathcal{D}_{\text {valid }}}\left.\{-\frac{\left|f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)\right|}{2}\right.\}$ ここで， $\mathcal{D}_{\text {train }}, \mathcal{D}_{\text {valid }}$ はそれぞれ学習，検証データで ある. GDPL w/o AL において，学習を安定させるた めに，報酬関数を 10000 で割っているが割らない場合においても同様の結果を確認した.

GDPL の実装には著者らのコード1)を用いた. $T=40$ とし， モデルのパラメータおよび dialog state, dialog act は文献 [13] と同様とした.

## 5.3 評価指標と評価・学習方法

評価指標として success を用いた. success は recall と match rate がともに 1 なら 1 ，そうでないなら 0 と して定める. recall はシミュレータのゴールで指定

1) https://github.com/truthless11/GDPL

された要求情報と実際に対話方策が伝えた情報を 用いて計算する. match rate は予約されたエンティ ティがシミュレータのゴールで指定された制約と完全に一致していたドメインの割合である.

全データの内，8483 対話を学習， 1000 対話を検証に用いた. シードをランダムに 5 つ変更し，各手法をそれぞれ 50 エポック学習した. ここで， 1 エポックは 1024 対話（つまり，環境との相互作用 1024 セッション）とした. 各手法間でシードは同じ ものを用いた。

各エポック終了時に，ユーザシミュレータとの相互作用により評価用対話を 1000 生成し，それらの 対話に対する評価指標の平均を報告する。評価対話 の生成に用いるシードは全てのエポック，手法で共通とした。

## 5.4 結果と分析

図1 各報酬の与え方に対するループ対話数の推移. GDPL w/o AL は GDPL における報酬関数の目的関数か ら敵対的学習項を取り除いたもの，GDPL restrict loop は GDPL w/o AL においてループ状態行動に対し負の報酬を 与えたものを表す.

図 2 各報酬の与え方に対する success rate の推移. 黒の 横線は GDPL に対する平均値の最大値を表す.評価用対話 1000 対話に対するループ対話数の平均とェ標準偏差を図 1 に示す. GDPL w/o AL にお いて，ループ対話数が増加している。一方，GDPL においてループ対話数は減少している. よって, GDPL において，敵対的学習はループ対話の発生を 抑制すると考えられる。

評価用対話 1000 対話に対する各評価指標の平均 と $\pm$ 標準偏差を図 2 に示す. GDPL および GDPL restrict loop は GDPL w/o AL より良好な性能を示し ている.この結果から，タスク指向対話において， ループを抑制することが対話方策の性能向上に寄与すると推測される. 加えて, GDPL restric loop は GDPL より良好な性能を示している. 10 エポック目以降 GDPL の性能が悪化しているが，これは no-offer で終了する対話が増加していることが要因であっ た. no-offer は dialog-act の値の 1 つであり，ユーザ シミュレータは no-offerを含んだ dialog-actを受け 取った時点で対話を終了する. no-offerにより対話 が終了すると, それ以降で聞くはずであった情報が 聞けず，また，それ以降で予約するはずであったエ ンティティが予約できないため評価指標が低下す る. no-offerを含む対話を学習データから取り除き GDPLを学習したところ, 学習途中で性能が悪化し なかったことから, この現象は敵対的学習のモード 崩壊 [16] であると考えられる。なお，モード崩壊と は, 生成モデルの学習に失敗し出力のバリエーショ ンが限られる現象である. GDPL restrict loop は学習 に敵対的学習を用いていないため，GDPLにおける モード崩壊の問題を回避できていると考えられる。

## 6 結論と将来の展望

本研究では, Guided Dialog Policy Learning (GDPL) において，敵対的学習を用いた報酬関数の推定が対話方策の学習に与える影響の分析を行った. 報酬関数の目的関数を状態行動について書き下すこと で，敵対的学習はループ対話の発生を抑制する効果 を有すると推測された. また，アジェンダベース ユーザシミュレータを用いて，上述の考察の実験的確認を行った. 実験において, 敵対的学習を用い ずにループ対話の発生を抑制するよう報酬を与え た方法は GDPL より良好な性能を示した. 今後の 課題として次を挙げる：アジェンダベース以外の シミュレータ（例えば, Variational Hierarchical User Simulator [9]）を用いた実験的分析および敵対的学習を用いた他手法への本分析の適用可能性の調査.

## 謝辞

本論文の作成にあたりご助力頂きました, 株式会社 AI Shift の友松祐太氏，杉山雅和氏，東佑樹氏，二宮大空氏，戸田隆道氏，株式会社サイバーエージェ ントの邊土名朝飛氏にこの場を借りて厚く御礼申し 上げます.

## 参考文献

[1] Wai-Chung Kwan, Hongru Wang, Huimin Wang, and Kam-Fai Wong. A survey on recent advances and challenges in reinforcement learning methods for task-oriented dialogue policy learning, 2022.

[2] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. ConvLab-2: An opensource toolkit for building, evaluating, and diagnosing dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 142-149, 2020.

[3] Mehdi Fatemi, Layla El Asri, Hannes Schulz, Jing He, and Kaheer Suleman. Policy networks with two-stage training for dialogue systems. In In 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 101-110, 2016.

[4] Baolin Peng, Xiujun Li, Lihong Li, Jianfeng Gao, Asli Celikyilmaz, Sungjin Lee, and Kam-Fai Wong. Composite task-completion dialogue policy learning via hierarchical deep reinforcement learning. In Conference on Empirical Methods in Natural Language Processing, 2017.

[5] Baolin Peng, Xiujun Li, Jianfeng Gao, Jingjing Liu, KamFai Wong, and Shang-Yu Su. Deep dyna-q: Integrating planning for task-completion dialogue policy learning, 2018 .

[6] Huimin Wang, Baolin Peng, and Kam-Fai Wong. Learning efficient dialogue policy from demonstrations through shaping. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 63556365, 2020.

[7] Huimin Wang and Kam-Fai Wong. A collaborative multiagent reinforcement learning framework for dialog action decomposition. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7882-7889, 2021.

[8] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-based user simulation for bootstrapping a POMDP dialogue system. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pp. 149152, 2007.

[9] Izzeddin Gür, Dilek Hakkani-Tür, Gokhan Tür, and Pararth Shah. User modeling for task oriented dialogues. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 900-906, 2018.

[10] Jonathan Ho and Stefano Ermon. Generative adversarial imitation learning. In Advances in Neural Information Processing Systems, 2016.

[11] Justin Fu, Katie Luo, and Sergey Levine. Learning robust rewards with adverserial inverse reinforcement learning. In International Conference on Learning Representations, 2018.

[12] Bing Liu and Ian Lane. Adversarial learning of taskoriented neural dialog models. In Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, pp. 350-359, 2018.

[13] Ryuichi Takanobu, Hanlin Zhu, and Minlie Huang. Guided dialog policy learning: Reward estimation for multidomain task-oriented dialog. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 100-110, 2019.

[14] Brian D. Ziebart, Andrew Maas, J. Andrew Bagnell, and Anind K. Dey. Maximum entropy inverse reinforcement learning. p. 1433-1438, 2008.

[15] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao. Guided dialogue policy learning without adversarial learning in the loop. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 23082317, 2020.

[16] Akash Srivastava, Lazar Valkov, Chris Russell, Michael U. Gutmann, and Charles Sutton. Veegan: Reducing mode collapse in gans using implicit variational learning. In Advances in Neural Information Processing Systems, 2017.

[17] J. Williams, Antoine Raux, and Matthew Henderson. The dialog state tracking challenge series: A review. Dialogue Discourse, pp. 4-33, 2016.

[18] Sungdong Kim, Sohee Yang, Gyuwan Kim, and SangWoo Lee. Efficient dialogue state tracking by selectively overwriting memory. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 567-582, 2020.

[19] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor, Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational Linguistics, pp. 339-374, 2000.

[20] Andrew Y. Ng, Daishi Harada, and Stuart J. Russell. Policy invariance under reward transformations: Theory and application to reward shaping. In Proceedings of the Sixteenth International Conference on Machine Learning, p. 278-287, 1999.

[21] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multidomain Wizard-of-Oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5016-5026, 2018.
 下山翔 1,2 森村哲郎 3 阿部拳之 ${ }^{3}$ ${ }^{1}$ AI Shift, Inc. 2 東北大学大学院 理学研究科数学専攻 ${ }^{3}$ CyberAgent, Inc. AI Lab. shimoyama_sho@ai-shift.jp \{morimura_tetsuro, abe_kenshi\}@cyberagent.co.jp  