# JMultiWOZ: 日本語タスク指向型対話データセットの構築

大橋厚元 ${ }^{1 *}$ 平井龍 $1 *$ 飯塚慎也 ${ }^{2}$ 東中竜一郎 1
1 名古屋大学大学院情報学研究科 2 名古屋大学情報学部
\{ohashi.atsumoto.c0, hirai.ryu.k6, iizuka.shinya.a8\}@s.mail.nagoya-u.ac.jp
higashinaka@i.nagoya-u.ac.jp

## 概要

深層学習を活用したタスク指向型対話システムの 研究において，対話データセットは重要である。近年英語圈では，多数のマルチドメインタスク指向型対話データセットが提案されており，タスク指向型対話システムの発展が著しい。一方で，日本語によ るマルチドメインタスク指向型対話データセットは いまだ存在せず，英語圈と比較してタスク指向型対話の研究は限られている. 本研究では, 日本語によ るタスク指向型対話システムの研究開発の促進を目指し, 日本語初のマルチドメインタスク指向型対話 データセット JMultiWOZを構築する.

## 1 はじめに

近年，タスク指向型対話システムの研究におい て，ニューラルモデルをべースとした手法が活発に 導入されており，タスク指向型対話システムの発展 が著しい $[1,2,3,4]$. これらニューラルモデルの実装には，タスク指向型対話データセットが必須で あり，英語における多数のシングルドメインの対話データセット $[5,6,7,8,9]$ が利用されてきた. 最近では，より複雑なマルチドメインの対話に対応 するため，MultiWOZ [10] が提案された. MultiWOZ は，7つのドメイン（観光名所，ホテル，レストラ ン，タクシー，電車，警察，病院）にまたがる対話 が収録されている大規模データセットである. さら に MultiWOZを先駆けとして，SGD [11], STAR [12], $\mathrm{ABCD}[13]$ といった大規模対話データセットが提案されており，これらをべンチマークとしたタス ク指向型対話モデルの研究が活発化している. ま た中国語においても, CrossWOZ [14], RiSAWOZ [15], BiTOD [16] など，大規模マルチドメイン対話データ セットが多く提案されており，中国語を含む多言語 のタスク指向型対話システムの研究が促進されてい
* Equal contribution表 1 JMultiWOZ の統計

る. 一方，日本語においては，マルチドメインタス ク指向型対話データセットは未だ存在しない.

本研究では, 日本語初のマルチドメインタス ク指向型対話データセット JMultiWOZ (Japanese Multi-Domain Wizard-of-Oz) を提案する. JMultiWOZ は旅行タスクに関する 6 つのドメイン（観光名所，宿泊施設，飲食店，買い物施設，タクシー，天気） にまたがる対話を合計 4,254 対話収録している. 表 1 に，JMultiWOZ における train/dev/test セットの内訳を示す。

本稿では，JMultiWOZ の構築手順とデータの統計量を概説する．また，データベースの検索条件推定タスクを設定し，これを用いた評価によって， JMultiWOZ のベンチマークとしての将来性を示す.今後, 対話行為 [17] 及び対話状態 [18] のアノテー ションを付与し，タスク指向型対話における多数の タスク（意図推定，対話状態追跡，行動決定，そし て対話生成）のためのベンチマークを提供する予定 である.

## 2 データ構築

JMultiWOZ は，日本国内の 9 都市（札幌，仙台，東京，横浜，名古屋，京都，大阪，福岡，那覇）のい ずれかへの旅行者が，観光情報を収集しながら旅行 を計画する対話を収録したコーパスである．各対話 には，6つのドメイン（観光名所, 宿泊施設, 飲食店,買い物施設, タクシー, 天気）に関するタスクが 1 つ 以上含まれている. Wizard-of-OZ 法 [19] を用い，各対話は，人間の対話者 2 人が旅行者（ユーザ）役と
情報提供者（オペレータ）役に分かれて実施した.本コーパスは，（1）オントロジーの定義，（2）オぺ レータ役が旅行情報を取得するために使用するバッ クエンドデータベースの構築，(3）対話ゴールの設計と作成，(4) 対話収集の 4 ステップで構築した.

## 2.1 オントロジーの定義

タスク指向型対話におけるオントロジーとは， バックエンドデータベースの構造を表現するもの である．具体的には，バックエンドデータベースに 含まれるエンティティ1)が持つスロット（エンティ ティの名称や住所などの属性情報）を定義する. 本研究では，既存研究のオントロジー $[10,14]$ を参考 にして，ドメインごとにオントロジーを定義した.付録の表 5 に全ドメインのオントロジーを示す.

## 2.2 バックエンドデータベースの構築

オントロジーに基づいて，対話中にオペレータ役 が旅行情報を取得するために使用するバックエンド データベースをドメインごとに構築した. 実在する エンティティを用いて対話のリアリティを高める目的から, 観光名所, 宿泊施設, 飲食店, 買い物施設, 夕 クシーのデータベース構築では，政府や各都市の市町村が公開している観光名所や宿泊施設のリスト （付録の表 6 を参照）を使用した. このリストの内， web サイトを公開している施設のみをデータベース に含めるべきエンティティとして抽出し, エンティ ティに含めるべきスロットの情報を，各 web サイ トから目視で取得した. なお，タクシードメインで は，エンティティの単位をタクシー会社とした. 最終的に構築されたデータベースにおける各ドメイ ンのエンティティ数としては, 観光名所が 447 件,宿泊施設が 884 件，飲食店が 952 件，買い物施設が 445 件，タクシーが 167 件となった. 天気ドメイン のデータベース構築においては，エンティティの単位を日付とし，各都市につき 365 日分の天気情報を 疑似的に作成した.

## 2.3 対話ゴールの設計と生成

対話ゴールは，オペレータ役との対話を通して達成されるべきユーザ役の目標であり，各対話につき 1 つ設定される. 各ゴールは， 1 つ以上の informable スロット（希望の予算や目的地など，ユーザが探 すべきエンティティの検索条件）と，1つ以上の


表 2 対話ゴールの例. 具体的な条件 (“名古屋”や“高め” など）が設定されているスロットと，“?”が設定されてい るスロットは，それぞれ informable スロットと requestable スロット（2.3 節を参照）である.

requestable スロット（電話番号や住所など，ユーザ が取得するべきエンティティの属性情報）で構成さ れる. 各対話ゴールは， 2.1 節で定義されたオント ロジーから，ドメインとスロットをランダムにサン プルして作成した. 対話の長さや複雑さにバリエー ションを持たせるため，1つのゴールには 1 ３つの ドメインが含まれ，各ドメインにつき合計 2〜7つ のスロットが含まれるように設計した。なお都市の informable スロットについては，現実性を考慮し，対話ゴール内のドメイン間で共有される。また，現実で一般的に予約を行うようなドメイン（例えば，所望の飲食店や宿泊施設を見つけた場合，日付や人数の条件を用いて予約することが多い）において は，予約のための条件を informable スロットとして， ランダムに追加した. 後段の対話収集に先立ち, 合計 5,000 種類の対話ゴールを作成した. 作成された 対話ゴールの具体例を表 2 に示す.

## 2.4 対話収集

バックエンドデータベースとランダムに生成さ れた対話ゴールを用いて対話を収集した．Zhu ら [14] の対話収集用プラットフォーム2)をべースとし てユーザ役とオペレータ役の対話作業用 web UIを 実装し，対話収集に使用した. クラウドソーシング サービスとしてランサーズ3)を使用し，ユーザ役と オペレータ役の対話作業者をそれぞれ募集した. 作業者自身のプロフィールに関するアンケート（年代 や性別等）と対話作業によって得られるデータの公開に関する同意書に回答した作業者のみが対話作業

2) https://github.com/thu-coai/CrosswOZ

3) https://www.lancers.jp/

1. あなたは名古屋への旅行を計画しています。

2. 当日訪れる観光名所を探してください. 駐車場を無料で利用できるところにしてください. Wi-Fi が無料が利用できるところにしてください.

3. 条件に合う観光地が見つかったら，エリア，最寄 り駅，定休日を聞いてください。

4. 当日泊まる宿泊施設を探してください. 予算は高 めが希望です.Wi-Fi が無料で利用できるところ にしてください.

5. 条件に合う宿泊施設が見つかったら，近辺の駅か らの所要時間，タイプを聞いてください。

図 1 表 2 の対話ゴールを表す説明文. 青文字は informable スロットを，緑文字は requestable スロットをそ れぞれ示している.

に参加した ${ }^{4)}$. 作業者は，対話作業のマニュアルを 読み，対話作業のデモンストレーション動画（web UI の操作方法や対話の進め方などを動画で解説し たもの）を視聴し，作業の流れを学習してから対話作業を実施した. 多様なユーザ発話を確保するた め, ユーザ役が参加できる対話作業回数を最大 100 対話とし, 同じオペレータ役との対話回数を最大 20 対話とした. 一方オペレータ役は一貫した振る舞い をすることが好ましいため，対話作業数に制限を設 けなかった. 最終的に, ユーザ役 46 名とオペレー タ役 17 名が対話作業に参加した. 以降で，ユーザ 役とオペレータ役それぞれのタスクを説明する.

ユーザ役のタスク ユーザ役のタスクは，対話 ゴールに設定されている informable スロットを適切 にオペレータ役に伝え, requestable スロットの情報 をオペレータ役から取得することである. ユーザ役 は，表 2 のような形式の対話ゴールの代わりに，各 スロットを説明したテンプレート文を読むことで，対話ゴールを把握する．表 2 の対話ゴールを説明す るテンプレート文を図 1 に示す.

オペレータ役のタスク オペレータ役のタスク は，対話相手であるユーザ役から伝えられた情報に 合ったエンティティを旅行情報データベースから 検索し，見つかったエンティティに関する情報を ユーザ役に伝えることである. オペレータ役が使用 する対話作業用 web UI を付録の図 3 に示す. この UI を用いてバックエンドデータベースの検索や検索結果からの情報の読み取り等の操作を行う. オペ レータ役が各ターンに入力したエンティティの検索条件はアノテーションとして記録される. 既存コー パスでは，アノテーションにおける表記ゆれ等の問題 $[20,21]$ が報告されているため, 本研究では, ア

4）事前に，倫理的観点における承認を所属組織から得た.表 3 学習セットにおける, マルチドメインタスク指向型対話データセットの比較. 下 2 行は 1 対話あたりの平均 ドメイン数と平均ターン数をそれぞれ示している.

ノテーションを正規化することを目的とし，プルダ ウンメニューから入力候補を選択するようにし，作業者が手動で検索条件を入力することを避けた. さ らに，オペレータ役の作業の質を高めるため，事前 に 3〜5 対話の練習作業を行い，問題のある作業に 対しては，著者らからのフィードバックを受けた. フィードバックを繰り返し, 問題が無くなった作業者のみが本番の対話作業に参加した.

上記手順により，4,508 対話が収集された. ここ で，データセットを構築する上でノイズとなる対話 を，以下 2 つ手順によって修正または除外した：

1. 各対話終了時，対話中に発生した問題を報告す るためのアンケートを作業者に回答させた. ア ンケートで問題が報告されていた対話は著者ら が目視で確認し，誤字など軽微なミスについて は手作業で修正した. 作業者が対話ゴールを取 り違えて対話を進めている場合など，重大な問題がある対話はデータセットから除外した.

2. 各対話の対話ゴールと対話最終時点でのデータ ベースの検索条件を比較し，いずれかのスロッ トの値が一致していない対話は除外した.

この修正によって，最終的に合計 4,254 対話からな るデータセットが構築された. ここで, dev/test セッ トとして 300 対話ずつ，4,254 対話からランダムに 抽出し, 残る 3,654 対話を train セットとした（各 セットの統計は表 1 を参照).

## 2.5 統計量と既存データセットとの比較

表 3 は, JMultiWOZ と, 英語と中国語における主要なマルチドメインタスク指向型対話データセット MultiWOZ と CrossWOZ の統計量を示している. ド メイン数，スロット数，平均ドメイン数，平均ター ン数が同程度であることから, JMultiWOZ の対話の

図 2 対話長の分布. 1 ドメインのみ含まれる対話 (single-domain) と 2 ドメイン以上含まれる対話 （multi-domain）に分けて集計されている.

複雑さは, 既存のデータセットと比較して遜色ない と言える. 図 2 は，全 4,254 対話を 1 ドメインのみ 含まれる対話（single-domain）と複数ドメインが含 まれる対話（multi-domain）に分けた際の，対話ター ン数の分布を示している.いずれの対話でも長さと 複雑さが多様であることが分かる.

## 3 ベンチマークとしての JMultiWOZ

JMultiWOZ が現時点でタスク指向型対話ベンチ マークとしてどの程度有用であるかを調査するた め，JMultiWOZを用いてタスク指向型対話モデルを 学習し評価する. 本研究では，対話タスクとして， データベースの検索条件推定タスクを設定し評価す る。検索条件推定は，各ターンにオペレータ役が入力したデータベース検索条件（2.4 節を参照）を対話履歴から推定するタスクである。一般的なベンチ マークである対話状態追跡（Dialogue State Tracking; DST）[22,23] と類似したタスクであるが，ユーザが 陽に示した要求のみを扱う点において異なる。

検索条件推定の評価尺度には，DST の主要な評価尺度である Joint Goal Accuracy (JGA) を使用する。 JGA では，各ターンのデータベース検索条件に含ま れるスロットの値を全て正確に推定できたかが評価 される. 実験では，検索条件推定のためのモデルと して T5DST [24]を採用し（詳細は付録の A. 1 節を参照)，全ての学習データを用いた評価（full-shot）と，初見ドメインへの適応能力の評価 (zero-shot cross domain）を行った.

## 3.1 Full-shot

Full-shot 評価実験では，全ての train セットで学習された検索条件推定モデルを，全ての test セッ トを用いて評価した。評価結果としては，JGAが 90.3\%と高かった. 参考値として，DST タスクにお表 4 JMultiWOZ における zero-shot cross domain 評価の結果. スコアは全て Joint Goal Accuracy（JGA）を示す.

ける，英語と中国語の主要なマルチドメインタスク 指向型対話データセットである MultiWOZ ${ }^{51}$ [10] と CrossWOZ [14] の JGA も評価したところ，それぞれ $56.9 \%$ と $53.6 \%$ であった. DST タスクでは，索条件推定タスクとは異なり，暗示的な対話状態の更新 （MultiWOZ ではユーザがオペレータの推薦条件に肯定した場合，その条件を用いて対話状態が更新され る）等の難しさがあり，それがこの精度の差となっ て表れたと考えられる。今後，JMultiWOZについて も対話状態のアノテーションを実施し，DST タスク の精度を確認したい.

## 3.2 Zero-shot Cross Domain

ゼロショットドメイン間（zero-shot cross domain）転移学習 [25, 26] における検索条件推定タスクの精度を評価した。この実験では，train セットの内，目標となる 1 ドメインを除いた 5 ドメインのみが含ま れるデータでモデルを学習し, 評価時は test セット に含まれる目標ドメインのみを使用した。

評価結果を表 4 に示す。宿泊施設，飲食店，タク シーでの JGA は, full-shot 評価と比較し大幅に低下 しており，また，観光名所，買い物など，他のドメ インと共通のスロットを多く持つドメインでも JGA の低下がみられた。そのため，検索条件推定タスク は，full-shot においては比較的容易なタスクである 一方， zero-shot cross domain においては十分難しく，取り組むべき課題であると考えられる。

## 4 おわりに

本研究では，日本語におけるマルチドメインタス ク指向型対話データセット JMultiWOZを構築し，そ の構築手順と統計量を報告した。また，データベー スの検索条件推定タスクによる評価を行い，タスク 指向型対話ベンチマークとしての将来性を示した.本データセットは，各ターンに対する対話行為と対話状態のアノテーションなど，データを整備したう えで，バックエンドデータベースと共に公開する予定である.

5）本研究では，アノテーションエラーが修正された MultiWOZ2.2 [21]を用いた。

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011 の支援を受けたものです. また，対話収集用プラットフォームを公開していただいた Zhu ら [14] に感謝申し上げます.

## 参考文献

[1] Yichi Zhang, Zhijian Ou, and Zhou Yu. Task-Oriented Dialog Systems That Consider Multiple Appropriate Responses under the Same Context. In Proc. AAAI, pp. 9604-9611, 2020.

[2] Ehsan Hosseini-Asl, Bryan McCann, Chien-Sheng Wu, Semih Yavuz, and Richard Socher. A simple language model for taskoriented dialogue. In Proc. NeurIPS, pp. 20179-20191, 2020.

[3] Wanwei He, Yinpei Dai, Yinhe Zheng, Yuchuan Wu, Zheng Cao, Dermot Liu, Peng Jiang, Min Yang, Fei Huang, Luo Si, Jian Sun, and Yongbin Li. Galaxy: A generative pre-trained model for taskoriented dialog with semi-supervised learning and explicit policy injection. In Proc. AAAI, No. 10, pp. 10749-10757, 2022.

[4] Yixuan Su, Lei Shu, Elman Mansimov, Arshit Gupta, Deng Cai, Yi-An Lai, and Yi Zhang. Multi-Task Pre-Training for Plug-andPlay Task-Oriented Dialogue System. In Proc. ACL, pp. 46614676, 2022.

[5] Matthew Henderson, Blaise Thomson, and Jason D. Williams. The Second Dialog State Tracking Challenge. In Proc. SIGDIAL, pp. 263-272, 2014.

[6] Layla El Asri, Hannes Schulz, Shikhar Sharma, Jeremie Zumer, Justin Harris, Emery Fine, Rahul Mehrotra, and Kaheer Suleman. Frames: a corpus for adding memory to goal-oriented dialogue systems. In Proc. SIGDIAL, pp. 207-219, 2017.

[7] Tsung-Hsien Wen, David Vandyke, Nikola Mrkšić, Milica Gašić, Lina M. Rojas-Barahona, Pei-Hao Su, Stefan Ultes, and Steve Young. A Network-based End-to-End Trainable Task-oriented Dialogue System. In Proc. EACL, pp. 438-449, 2017.

[8] Mihail Eric, Lakshmi Krishnan, Francois Charette, and Christopher D. Manning. Key-value retrieval networks for task-oriented dialogue. In Proc. SIGDIAL, pp. 37-49, 2017.

[9] Pararth Shah, Dilek Hakkani-Tür, Gokhan Tür, Abhinav Rastogi, Ankur Bapna, Neha Nayak, and Larry Heck. Building a Conversational Agent Overnight with Dialogue Self-Play. arXiv preprint arXiv:1801.04871, 2018.

[10] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling. In Proc. EMNLP, pp. 50165026, 2018.

[11] Abhinav Rastogi, Xiaoxue Zang, Srinivas Sunkara, Raghav Gupta, and Pranav Khaitan. Towards Scalable Multi-Domain Conversational Agents: The Schema-Guided Dialogue Dataset. In Proc. AAAI, Vol. 34, pp. 8689-8696, 2020.

[12] Johannes EM Mosig, Shikib Mehri, and Thomas Kober. Star: A schema-guided dialog dataset for transfer learning. arXiv preprint arXiv:2010.11853, 2020.

[13] Derek Chen, Howard Chen, Yi Yang, Alexander Lin, and Zhou Yu. Action-based conversations dataset: A corpus for building more in-depth task-oriented dialogue systems. In Proc. NAACL, pp. 3002-3017, 2021.

[14] Qi Zhu, Kaili Huang, Zheng Zhang, Xiaoyan Zhu, and Minlie Huang. CrossWOZ: A large-scale Chinese cross-domain taskoriented dialogue dataset. TACL, pp. 281-295, 2020.

[15] Jun Quan, Shian Zhang, Qian Cao, Zizhong Li, and Deyi Xiong. RiSAWOZ: A large-scale multi-domain Wizard-of-Oz dataset with rich semantic annotations for task-oriented dialogue modeling. In
Proc. EMNLP, pp. 930-940, 2020.

[16] Zhaojiang Lin, Andrea Madotto, Genta Indra Winata, Peng Xu, Feijun Jiang, Yuxiang Hu, Chen Shi, and Pascale Fung. Bitod: A bilingual multi-domain dataset for task-oriented dialogue modeling. arXiv preprint arXiv:2106.02787, 2021.

[17] David R. Traum. Speech Acts for Dialogue Agents. Foundations of Rational Agency, pp. 169-201, 1999.

[18] Jason Williams, Antoine Raux, Deepak Ramachandran, and Alan Black. The dialog state tracking challenge. In Proc. SIGDIAL, pp. 404-413, 2013.

[19] J. F. Kelley. An iterative design methodology for user-friendly natural language office information applications. ACM Trans. Inf. Syst., pp. 26-41, 1984.

[20] Mihail Eric, Rahul Goel, Shachi Paul, Abhishek Sethi, Sanchit Agarwal, Shuyang Gao, Adarsh Kumar, Anuj Goyal, Peter Ku, and Dilek Hakkani-Tur. MultiWOZ 2.1: A consolidated multi-domain dialogue dataset with state corrections and state tracking baselines. In Proc. LREC, pp. 422-428, 2020.

[21] Xiaoxue Zang, Abhinav Rastogi, Srinivas Sunkara, Raghav Gupta, Jianguo Zhang, and Jindong Chen. MultiWOZ 2.2 : A dialogue dataset with additional annotation corrections and state tracking baselines. In Proc. NLP4ConvAI, pp. 109-117, 2020.

[22] Jason D Williams, Antoine Raux, and Matthew Henderson. The dialog state tracking challenge series: A review. Dialogue \& Discourse, pp. 4-33, 2016.

[23] Léo Jacqmin, Lina M. Rojas Barahona, and Benoit Favre. "do you follow me?": A survey of recent approaches in dialogue state tracking. In Proc. SIGDIAL, pp. 336-350, 2022.

[24] Zhaojiang Lin, Bing Liu, Seungwhan Moon, Paul Crook, Zhenpeng Zhou, Zhiguang Wang, Zhou Yu, Andrea Madotto, Eunjoon Cho, and Rajen Subba. Leveraging Slot Descriptions for ZeroShot Cross-Domain Dialogue StateTracking. In Proc. NAACL, pp. 5640-5648, 2021.

[25] Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher, and Pascale Fung. Transferable MultiDomain State Generator for Task-Oriented Dialogue Systems. In Proc. ACL, pp. 808-819, 2019.

[26] Zhaojiang Lin, Bing Liu, Andrea Madotto, Seungwhan Moon, Zhenpeng Zhou, Paul Crook, Zhiguang Wang, Zhou Yu, Eunjoon Cho, Rajen Subba, and Pascale Fung. Zero-shot dialogue state tracking via cross-task transfer. In Proc. EMNLP, pp. 7890-7900, 2021.

[27] Zhaojiang Lin, Andrea Madotto, Genta Indra Winata, and Pascale Fung. MinTL: Minimalist transfer learning for task-oriented dialogue systems. In Proc. EMNLP, pp. 3391-3405, 2020.

[28] Chia-Hsuan Lee, Hao Cheng, and Mari Ostendorf. Dialogue State Tracking with a Language Model using Schema-Driven Prompting. In Proc. EMNLP, pp. 4937-4949, 2021.

[29] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-toText Transformer. JMLR, pp. 1-67, 2020.

[30] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer. In Proc. NAACL, pp. 483-498, 2021.

## A 付録

表 5 各ドメインのオントロジーとして定義されているスロットの一覧. 上付き数字はそれぞれのスロットが属するド メインを示している。*: 全ドメイン，1: 観光名所，2: 宿泊施設，3: 飲食店，4: 買い物施設，5: タクシー，6: 天気.都市 ${ }^{*}$, 名称 ${ }^{1}$, ジャンル ${ }^{134}$, エリア ${ }^{12346}$, 最寄り駅 ${ }^{1234}$, wifi の有無 ${ }^{123}$, 駐車場の有無 ${ }^{1234}$, 営業時間 ${ }^{134}$, 電話番号 ${ }^{12345}$, 住所 ${ }^{1234}$, 近辺の駅 からの所要時間 ${ }^{1234}$, 定休日 ${ }^{134}$, 大人入場料 ${ }^{1}$, 子供入場料 ${ }^{1}$, 料金情報 123 , 施設名 ${ }^{2}$, タイプ 2 , 値段帯 23 , レストランの有無 ${ }^{2}$, チエックイン 開始時刻 ${ }^{2}$, チェックアウト終了時刻 ${ }^{2}$, 予約番号 235 人数 ${ }^{23}$, 日付 2356 , 宿泊日数 ${ }^{2}$, 店名 ${ }^{3}$, 時刻 3 , 店舗名 ${ }^{4}$, タクシー会社名 ${ }^{5}$, キャッシュ レス対応 $5^{2}$, ジャンボタクシー対応 ${ }^{5}$, 出発時刻 $5^{5}$, 出発地 ${ }^{5}$, 目的地 ${ }^{5}$, 天気 ${ }^{6}$, 最低気温 ${ }^{6}$, 最高気温 ${ }^{6}$

表 6 バックエンドデータベース構築時に参照した，各ドメインにおけるエンティティリストのソースサイト

 \\

旅行案内プラットフォーム

operator_1584IEfk(オペレータ)ーククアウト

図 3 オペレータ役の対話作業用 web UI.（A）: バックエンドデータベースの検索欄.（B）：エンティティの属性情報が 表示される欄。（C）: チャット欄.

## A. 1 モデル実装の詳細

検索条件推定のモデルとしては，近年多くの研究がなされている事前学習済み言語モデルを用いた DST モ デル [27,28] の内，T5DST [24]を採用した．T5DST は，言語モデル T5 [29]を用いて，対話履歴と，あるスロッ トの説明文から，そのスロットの值を推定するモデルである. Full-shot 評価実験では，多言語版 T5 の mT5 [30]（300M バージョン6） を使用した. Zero-shot cross domain 評価実験では，日本語版 T5（t5-base-japanese ${ }^{7)}$ ) を使用した. JGA の計測には，Lin ら [24] の評価スクリプトを用いた. 学習時には，バッチサイズを 32 と し, 最大 3 エポック学習した. 学習率は, 初期値 $5 e-5$ から学習ステップごとに線形減衰させた. テスト時 には，dev セットでの損失が最も低いチェックポイントを使用し, 生成時のビームサイズは 1 とした.

6) https://huggingface.co/google/mt5-small

7) https://huggingface.co/sonoisa/t5-base-japanese
 大橋厚元 ${ }^{1 *}$ 平井龍 $1 *$ 飯塚慎也 ${ }^{2}$ 東中竜一郎 1 1 名古屋大学大学院情報学研究科 2 名古屋大学情報学部 \{ohashi.atsumoto.c0, hirai.ryu.k6, iizuka.shinya.a8\}@s.mail.nagoya-u.ac.jp higashinaka@i.nagoya-u.ac.jp  