# 対話介入実験による対話の引き継ぎに有用な情報の調査

山下紗苗 東中竜一郎
名古屋大学大学院情報学研究科
xz.51d.7408@s. thers.ac.jp
higashinaka@i.nagoya-u.ac.jp

## 概要

現状のチャットボットやコールセンタの自動応答 では，完全に自律したやり取りは難しく，必要に応 じてオペレータが介入する必要がある. しかし, ど のような情報をオペレータに提示すればスムーズ に引き継げるのかは明らかでない. 本研究では, 2 人のオペレータがメモを引き継ぎながら一定時間 ごとに交代してユーザと対話する実験を行った。そ して，交代時に用いたメモを分析することで，対話 を引き継ぐ際に必要な情報を実験的に調査した. 雑談，相談，接客の対話タスクを対象に，240回のオ ペレータ切り替えを含む 60 対話を収集した結果，対話を引き継ぐ際には，対話の情報を隣接ぺアや属性値対の形式で提示するのがよいという知見が得ら れた.

## 1 はじめに

近年，ニューラルネットワークの適用に基づく 高精度な自律対話システムが多く研究されてい る [1, 2, 3, 4, 5]. しかし, しばしば矛盾 [6] や誤情報 [7] を含む発話が生成され，対話破綻を引き起こ す. そのような場合，人間が適宜対話に介入乙，対話システムから対話を引き継いで応対を進めること が有用だと考えられる [8]. しかしながら，現状，対話を引き継ぐ際にどのような情報があれば対話をス ムーズに引き継げるかは明らかでない.

本研究では，対話を引き継いだオペレータが対話状況を迅速に把握し，スムーズに対話を続けられる ようにするために，どのような情報を提示すればよ いかを明らかにする．具体的には，2人のオペレー タがメモを引き継ぎながら一定時間ごとに交代して ユーザと対話する実験（図 1 参照）を行い，引き継 ぎに使ったメモを分析することで，対話を引き継ぐ 際に必要な情報を実験的に明らかにする．雑談，相談，接客の対話タスクで実験を行い，複数の対話種別の引き継ぎに共通して必要な情報を調査する.

図 1 対話介入実験の模式図. 2 人のオペレータが，メモ をもとに，一定時間ごとに入れ替わりながらアバタを介 してユーザと対話する。

## 2 関連研究

人間による対話の引き継ぎは，コールセンタでの 入電を適切なオペレータに転送するコールルーティ ングの文脈で行われてきた $[9,10]$. しかし，これら の研究では引き継ぎ時に提示すべき情報は扱われて いない.

近年では，河原ら [8] が傾聴対話をオペレータに 引き継ぐ研究を行っている. 河原らは，オペレータ に提示する情報として，音声認識結果とキーワード の強調表示を用いている。 山下ら [11] は，雑談にお いて，オペレータが対話を引き継ぐ際に，対話履歴 の最後の 5 発話を提示することが有用であると報告 している。しかし，これらの情報が対話の引き継ぎ に最適かどうかは明らかではない. 本研究では，引 き継ぎに必要な情報に想定を置かず，オペレータが 作成する引き継ぎ用のメモに着目し，必要な情報を 実験的に調査する。

本研究は，対話内容を即座に把握するための対話の構造化に関するものと言える. 対話の構造化 には，トピックセグメント [12,13]，談話セグメン 卜 [14]，情報状態 [15]，隣接ペア [16,17, 18] などが 利用されてきた. 本研究では，これらの構造化の方法を念頭に置きつつ，オペレータが作成したメモを もとに，対話の引き継ぎにおける，適切な対話の構造化の方法を調査する.

(a) 雑談におけるメモ例

(b) 相談におけるメモ例

(c) 接客におけるメモ例

図 3 実験終盤の，対話終了後のメモの例. (a) (c) オペレータとユーザの発話を左右に分け，隣接ぺアのように発話同士 を矢印で結んでいる。(b) 隣接ぺア形式と属性值対形式で情報をまとめている.

図 2 雑談の対話例. 入れ替わり前のオペレータを $\mathrm{O} 1$,入れ替わり後のオペレータを $\mathrm{O} 2 ＼mathrm{~ ， ユ ー サ ゙ を ~ U ~ て ゙ 示 す . ~}$

## 3 対話介入実験

対話の引き継ぎに必要な情報を調査するために，対話に関するメモを引き継いで対話する実験（対話介入実験）を実施した。

## 3.1 実験の概要

対話介入実験の模式図を図 1 に示す. 本実験で は，2人のオペレータが一定時間ごとに入れ替わっ て 1 人のオペレータとして振る舞い，1 人のユーザ と対話する。なお，一方のオペレータがユーザと対話をしている間，もう一方のオペレータは別のユー ザと対話をしている．切り替えでは，各オペレータ は応対するユーザを交換する。すなわち，この実験 では 2 つの対話がパラレルに実施されている。これ
は主に時間効率のためであるが，直前の対話から次 の対話に即座に切り替えることは認知的負荷が高い と考えられ，そのような状況で作られるメモは対話 を即座に把握できる有用なものになりうる。

オペレータ役として男女 2 名ずつ，合計 4 名を募集し，女性同士（オペレータペア 1)，男性同士（オ ペレータペア 2）の2つのペアに分けた. ユーザ役 として 20 名を募った.

複数の対話タスクを実施することで多様な対話の 引き継ぎに必要となる要素を洗い出すことができ ると考え，雑談，相談，接客という 3 種類の異なる 対話タスクを用意した．雑談では，ユーザが自身の 最近はまっていることについて話した。対話サービ スを意識し，オペレータにはどちらかと言えば聞き 手に回るよう指示した. 相談では，オペレータが旅行代理店店員となってユーザの旅行計画の相談に 乗った．相談にリアリティをもたせるため，旅行地 には，対話の参加者があらかじめ知識を持たない地名としてスロベニアを選んだ。接客では，オペレー タがユーザの要望を聞き，あらかじめ用意された 3 機種の掃除機から 1 機種を推薦した。

各オペレータペアは 10 名のユーザと 3 回ずつ対話（対話タスクをランダムな順番で 1 回ずつ実施） し，実験全体で 60 回の対話を行った.

## 3.2 オペレータの入れ替え

1 つの対話の長さは 10 分とし，対話開始から 2 分， 4 分， 6 分， 8 分が経過した時点でオペレータ を入れ替えた. オペレータが入れ替わることにつ

いて，ユーザには知らせていない。対話は，ウェブ 会議システムの $\mathrm{Zoom}^{1)}$ を用いビデオをオンにして 行った. ただし, ユーザがオペレータの入れ替わり を判別できないように，オペレータはボイスチェン ジャ2)を用い，アバタ3)を介して対話した.

オペレータには，対話を行っている最中に，対話 を引き継ぐためのメモを取るように指示した. 引き 継ぎに際してどのような情報が必要かの予断を持た せないため，メモの書き方は指定しなかった. グラ フィカルな情報が必要になる可能性があるため，メ モは電子的ではなく，A4 サイズの用紙 1 枚の片面 に手書きで記入させた。メモは 1 つの対話につき 1 つとし，入れ替わりのタイミングで次のオペレータ に手渡しで引き継がれるものとした（オペレータ同士は物理的に近いブースに配置した)。入れ替わっ たオペレータは，メモを参考にして対話を引き継 ぎ，必要に応じて新たに情報を追記した。

図 2 に対話例, 図 3 にメモの例を示す. 2 人の才 ペレータのうち，一方のオペレータは黒色でメモを 取り，他方のオペレータは赤色でメモを取ってい た. 各対話の発話，手書きのメモ，ディスカッショ ンで行われた発話の内容を分析するためこれらを書 き起こした。

## 3.3 アンケート

オペレータとユーザは，各対話について，7 段階 リッカート尺度で対話に関する 13 個のアンケート 項目（自然性，目的達成，満足度，文脈理解困難，次発話困難，他メモ有用，自メモ有用，連携，内容理解，個性，一貫性，信頼，注意）について同意の 程度を回答した。

加えて，オペレータとユーザは，3種類の対話夕 スクを終えるごとに，対話タスクのうち最も話しや すかった/話しにくかったものを回答した. オぺ レータについてはさらに，もう一方のオペレータと の連携が最も円滑だと感じた/円滑でないと感じた 対話タスクについても回答した。

オペレータのペアは，対話を終えるごとに，10 分程度で，実施した対話の振り返りやメモの取り方の 改善方法についてのディスカッションを行った.

## 4 対話およびメモの分析


表 1 対話あたりの発話時間，発話回数，文字数，単語数，異なり単語数. 括弧内は発話あたりの文字数. オぺ レータを $\mathrm{O} ＼mathrm{~ ユ ー サ ゙ を U て ゙ 表 す . ~}$

## 4.1 対話の統計量

表 1 にオペレータ/ユーザごとの対話統計量を 示す. 10 分程度の対話の中で，オペレータは 80〜 90 回，ユーザは 70～90 回程度の発話を行った. 対話の傾向は対話タスクごとに異なっていた。具体的 には，相談と接客では，オペレータの 1 発話あたり の文字数が多かった. これらの対話では，対話の主導権がオペレータにあったと考えられる。 それに対 して雑談では，オペレータが聞き手に回ったことか ら，対話の主導権はユーザにあったと考えられる。

## 4.2 メモの統計量

表 2 に，対話タスクごとのメモの文字数，単語数，異なり単語数，矢印の数を示す. メモの文字数と単語数は，ユーザの 1 発話あたりの平均文字数におお むね比例しており，相談，接客，雑談の順に多い.雑談は異なり単語数が多く, 多様な話題が話されて いることが分かる.

図 4 に，対話ごとに取られたメモの文字数の推移 を示す.オペレータペア 1 のメモの文字数は 2 回目 でピークを迎え，その後は文字数を減らして収束傾向にあった。最も序盤のメモを除き，オペレータと ユーザの発話は左右に分けて記載されていた. オぺ レータペア 2 の相談と接客のメモの文字数は，実験 の序盤から終盤まで大きく変化せず，メモのフォー マットも変化しなかった. 全体としてメモの文字数 とフォーマットは，オペレータペアごと，対話タス クごとにほぼ収束した.

図 4 メモの文字数の時系列遷移. 横軸は 2 人のユーザへ の応対を終えた回数を表す。 3.2 節の通り，オペレータは 二人のユーザと入れ替わりながら対話をした. ここでは，並行して行われた 2 つの対話のメモの文字数の平均をプ ロットしている.

## 4.3 メモの分析

雑談や接客のメモでは，図 $2 \mathrm{a}, 2 \mathrm{c}$ のように矢印が 多用された．矢印は「高い？ $\rightarrow 100$ 万円のギター $\rightarrow$ えー！！高い。」ように，ユーザの発話に対する オペレータの反応という隣接ぺアの関係を表してい ると言える．また，オペレータによると，雑談では オペレータとユーザの発話を左右に分けてメモを取 る方法が有用とのことであった. オペレータの発話 をメモしておく理由は，矛盾をなくすためである。雑談の聞き手は，相槌を打つだけでなく，発話内容 に同意したり，聞き手自身の意見や感想を述べたり する。したがって，聞き手であるオペレータが入れ 替わった際に，入れ替わる前と異なる内容の発話を しないようにオペレータ自身についてのメモを取る 必要がある.

相談のメモを図 $2 \mathrm{~b}$ に示す.メモの下半分には隣接ペアの形式でメモが取られているが，メモの上半分には「滞在日数| 3 泊 4 日」のように属性値対形式で情報が記入されている．相談や接客では，オぺ レータがユーザから聞き出すべき情報は決まってい ることが多い，既に聞き出した情報とまだ聞き出し ていない情報がひと目で把握できるという点で，属性値対形式も有用と考えられる。

## 4.4 ディスカッションの分析

あるオペレータはディスカッションで，入れ替わ り直後はメモをじっくり読む時間がないため，メモ
の一番下に記載された，最新の 1 行だけを参照して 発話していたと述べた. そして，何かしら発話した うえで，メモの履歴をさかのぼって内容を確認して いたとのことである．対話の引き継ぎでは，直前の 対話履歴を参照でき，必要に応じて過去の対話履歴 を効率的に参照できるような情報提示が有効である と考えられる。

## 4.5 アンケート結果の分析

アンケートの結果，オペレータは，3 種類の対話 のうち特に雑談について，自然性や満足度の高い対話ができ，メモも有用で，文脈理解や次発話作成 に困難が少なかったと回答した. Bonferroni 補正を 行った Wilcoxon の順位和検定を実施したところ，次発話困難（何を話せばよいか分からないことがあっ た）については雑談-相談間で，他义モ有用（もう 一方のオペレータのメモは役に立った）について は雑談 - 接客間で， $1 \%$ の有意水準で差が見られた. メモにおいて隣接ペアが多用された雑談が引き継 ぎやすいと評価されていることから，隣接ぺア形式 のメモの有効性が示唆された。他のタスクにおいて も他义モ有用の評価は 7 段階中 6 前後と高かった. ユーザのアンケート評価は対話の種類に拠らずどれ も 7 段階中 4 を超えており，オペレータの入れ替わ りがあっても問題なく対話できていることが確認で きた。

なお，3 種類の対話タスクを比較するアンケート では，オペレータは，3種類の対話タスクのうち雑談が最も話しやすく，かつオペレータ間の連携が円滑だったと回答した。相談と接客のような，タスク 遂行の正確性が重要となる課題については，比較的引き継ぎが難しいことが示された.

## 5 おわりに

本稿では，対話の引き継ぎに必要な情報を実験的 に調査した，具体的には，雑談，相談，接客に対し て介入実験を行い，オペレータが作成したメモを分析した。その結果，隣接ペア形式および属性値対形式での情報が引き継ぎに有用であることが分かっ た. 今後は，対話の引き継ぎに適したインタフェー スを実装していきたい．例えば，対話履歴から隣接 ペアを抽出して対話を要約する，対話履歴から属性值対形式で所定の情報を抽出する，などの要素技術 に取り組む予定である。今後は，そうしたインタ フェースの実装を行い，その有用性を検証したい。

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011 の支援を受けたものです.

## 参考文献

[1] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[2] Jan Pichl, Petr Marek, Jakub Konrád, Petr Lorenc, Van Duy Ta, and Jan Šedivỳ. Alquist 3.0: Alexa prize bot using conversational knowledge graph. arXiv preprint arXiv:2011.03261, 2020.

[3] Wenjie Ou and Yue Lin. A clarifying question selection system from ntes_along in convai3 challenge. arXiv preprint arXiv:2010.14202, 2020.

[4] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like opendomain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[5] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an opendomain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, 2021.

[6] Ryuichiro Higashinaka, Masahiro Araki, Hiroshi Tsukahara, and Masahiro Mizukami. Integrated taxonomy of errors in chatoriented dialogue systems. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 89-98, 2021.

[7] K Shuster, S Poff, M Chen, D Kiela, and J Weston. Retrieval augmentation reduces hallucination in conversation 2021. arXiv preprint arXiv:2104.07567, 2021

[8] Tatsuya Kawahara, Naoyuki Muramatsu, Kenta Yamamoto, Divesh Lala, and Koji Inoue. Semi-autonomous avatar enabling unconstrained parallel conversations-seamless hybrid of woz and autonomous dialogue systems-. Advanced Robotics, pp. 1-7, 2021.

[9] Allen L Gorin, Giuseppe Riccardi, and Jeremy H Wright. How may I help you? Speech communication, Vol. 23, No. 1-2, pp. 113-127, 1997.

[10] Marilyn Walker, Irene Langkilde, Jerry Wright, Allen L Gorin, and Diane Litman. Learning to predict problematic situations in a spoken dialogue system: experiments with How may I help you? In Proceedings of the 1st Meeting of the North American Chapter of the Association for Computational Linguistics, pp. 210-217, 2000.

[11] 山下紗苗, 東中竜一郎. 雑談に介入する際に必要な対話要約 の調査. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, pp. 86-91, 2021.

[12] Marti A Hearst. Text tiling: Segmenting text into multi-paragraph subtopic passages. Computational linguistics, Vol. 23, No. 1, pp. 33-64, 1997 .

[13] Feng Jiang, Yaxin Fan, Xiaomin Chu, Peifeng Li, Qiaoming Zhu, and Fang Kong. Hierarchical macro discourse parsing based on topic segmentation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13152-13160, 2021.

[14] Barbara Grosz and Candace L Sidner. Attention, intentions, and the structure of discourse. Computational linguistics, Vol. 12, No. 3, pp. 175-204, 1986.

[15] Staffan Larsson and David R Traum. Information state and dialogue management in the trindi dialogue move engine toolkit. Natural language engineering, Vol. 6, No. 3-4, pp. 323-340, 2000.
[16] Emanuel A Schegloff. Sequence organization in interaction: A primer in conversation analysis I, Vol. 1. Cambridge university press, 2007.

[17] Amy BM Tsui. Beyond the adjacency pair. Language in Society, Vol. 18, No. 4, pp. 545-564, 1989.

[18] 榎本美香, 伝康晴, 松坂要佐. 3 人会話における談話行為と 受け手のラベリングとその基礎的分析. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 45, pp. 7-12, 2005.
 山下紗苗 東中竜一郎 名古屋大学大学院情報学研究科 xz.51d.7408@s. thers.ac.jp higashinaka@i.nagoya-u.ac.jp  