# 知的対話アシスタントにおける意図が曖昧な発話の検出

赤崎 智 堸々野 学
ヤフー株式会社
sakasaki@yahoo-corp.jp
msassano@yahoo-corp.jp

## 概要

対話によってユーザとの雑談とタスクの両方をこ なす知的対話アシスタントにおいては「お腹が空い た」,「腰痛がひどい」のような雑談ともタスクとも 取れる意図が曖昧なユーザ発話が存在する。そのよ うな発話の意図を決定的に推定すると，結果として 要求に沿わない応答をすることがありユーザ体験が 損なわれてしまう。そのため，予めユーザの発話の 曖昧性を判定し，必要であれば後の応答で対応する ことが望ましい，本稿では，実際の知的対話アシス タントのログデータにクラウドソーシングによるラ ベル付けを行い，意図が曖昧な発話にどのような傾向があるかを分析する. 得られたラベル付きデータ を用いて BERT による教師あり学習モデルを構築 し，意図が曖昧な発話を検出することを試みる。

## 1 はじめに

スマートフォンや AI 搭載型デバイスなどの台頭 により, Apple の Siri や Amazon の Alexa, Google の Google Home など，ユーザと対話をすることにより 情報検索や端末操作などを行ったり，時には人間同士がするように雑談を行う知的対話アシスタントが 普及して久しい [1].

知的対話アシスタントはユーザの要求に対応する ために，与えられたユーザの発話の意図を適切に認識し，それに対応した後段のモジュールを呼び出し 要求を満たす応答を行う. 近年ではパターンマッチ や機械学習モデルにより発話の意図を判定すること が主流であるが $[2,3,4,5]$, ユーザの発話には意図 が曖昧なものが存在する。例えば，「お腹が空いた」 という発話は単なる雑談のきっかけとも飲食店の情報を求めているとも取れるし，「東京駅」という発話は路線検索とも地図検索とも取れる。このような 意図が曖昧な発話はタスク型，非タスク型の発話が 混在し発話長も短い知的対話アシスタントにおいて 顕著に現れ，それらの意図を決定的に推定してしま
うと，結果的にユーザの要求にそぐわない不適切な 応答を返してしまう可能性が高い。

このような意図が曖昧なユーザ発話に対処する ために，聞き返しや意図を明確化する応答の生成 $[6,7,8]$ を行う取り組みもあるが，実際の状況では まずどの発話に対してそのような応答を行うかを判定する必要がある。また，これらの取り組みは基本的にタスク指向型対話システムを対象としており，知的対話アシスタントについてはどんな発話が曖昧 な意図になるか明らかとなっていない。

これらを踏まえ，本稿では知的対話アシスタント における意図が曖昧なユーザ発話を判定する問題を 設定する．我々は実際の知的対話アシスタントであ る Yahoo!音声アシストの対話ログからユーザ発話と システム応答からなるぺアを収集し，クラウドソー シングを利用してラベル付けを行う，得られたデー タセットから，どのような発話が曖昧な意図になる のか傾向を確認したのち，教師あり学習によってそ れらを検出するモデルを構築する。

## 2 関連研究

タスク指向型対話システムにおけるユーザ発話の ドメイン・意図判定は古くから数多く取り組まれて いる $[2,3,4]$. いくつかの取り組みでは，発話につ いてのシステムのドメイン・意図判定の確信度に閾值を設けることにより意図が曖昧な発話を判定して いるが $[9,10,11,12]$ ，マルチドメインなシステムで は個別に閾値を設定することが難しい上，ドメイン が増える度に対応する必要が生じる。

意図が曖昧な発話に焦点を当て，教師あり学習により発話の曖昧性判定を行う取り組みもあ る $[13,14,15]$. しかしながら，いずれの取り組みも 対象をタスク指向型または非タスク指向型対話シス テムのどちらかに限定しており，曖昧性判定もそれ に特化した問題設定や判定手法となっているため,知的対話アシスタントに対して同様の手法を適用す ることは難しい。

Akasaki [5] は知的対話アシスタントのユーザ発話 を対象に，それが非タスク指向型（雑談）かタスク 指向型の応答を求めているかを判定するためのデー タセットを構築し, 教師あり学習による二値分類で 判定を行った. しかしながら，意図が曖昧な発話に ついても決定的にラベルを割り当てているため，そ れらの発話に対応できないという問題がある.

意図が曖昧なユーザ発話について，その意図を明確化するための質問を生成するという取り組みも行 われている $[6,7,16,8,12]$. 生成した質問をシステ 么応答として出力することで意図の曖昧性判定がで きるが，ほとんどの研究はあくまで生成の部分に焦点を当てており，いつどのユーザ発話に対し生成を 行うかという部分については無視している.

本稿では，タスク指向型と非タスク指向型対話シ ステムの複合である知的対話アシスタントのユーザ 発話の意図の曖昧性を分類により判定する。

## 3 意図が曖昧な発話の検出

本節では本稿で扱う知的対話アシスタントと，そ こから意図が曖昧なユーザ発話を判定する課題につ いて説明する。

## 3.1 知的対話アシスタント

知的対話アシスタントの例として，Apple の Siri や Amazon の Alexa, Yahoo! JAPAN の Yahoo! 音声ア シストなどが挙げられる。いずれのシステムもユー ザの要求を遂行するために音声またはテキストを 用いユーザと対話を行う．近年ではスマートフォン やスマートスピーカーの普及, 音声認識技術の向上 により，従来よりも日常的に使用されるようになっ ている。知的対話アシスタントはシステム毎に軽度 な違いはあるが，ほとんどはウェブを介した情報検索 (例: 天気予報, 交通情報, ウェブ検索), 端末操作（例: 電話，時計，音楽再生）などのいわゆる マルチドメインのタスク指向型対話システムが有 する機能に加え，人間同士がするようなあいさつや 世間話といった雑談，すなわちオープンドメインな 非タスク指向型対話システムの能力も併世持つ. そ のため，どちらか一方の機能を持つ対話システムよ りも，幅広い要求に対応する必要がある. 本稿では Yahoo! 音声アシスト1)を知的対話アシスタントとし て用い，それらの実際のユーザとシステムとの対話 のログを収集しデータセットを構築する。


表 1 ラベル別集計

表 2 「曖昧」ラベルへ の得票数別集計

## 3.2 問題設定

本稿では知的対話アシスタントにおける意図が曖昧な発話を検出することを目的としているため，既存のドメイン・意図判定の取り組みを参考に問題を 設定した。

既存の取り組み $[2,3,4]$ では，タスク指向型対話 システムにおいてユーザの発話がどのドメインに 属するか，またドメイン内のどの意図であるかを分類するのが一般的であるが，知的対話アシスタント は前述した通り，マルチドメインのタスク指向型と オープンドメインな非タスク指向型の対話システム の複合であるという性質であるため，その両方の範囲の発話を扱う必要がある。また，一般の対話シス テムでは細かいドメイン意図を分類することが多い が，ドメインは固定ではなく拡充されていくことを 考慮すると，ドメイン毎に学習データを整理し都度 モデルを更新していくこともコストがかかる.

Akasaki [5] はこれらを踏まえ，知的対話アシスタ ントにおいてまずユーザの発話がタスク指向型の 意図の「タスク」であるか，または非タスク指向型 の意図の「雑談」であるかを判定する問題を設定し た.これにより，ドメインなどの仕様変更の影響を 少なくでき，かつ必要であれば後に判定毎の細かい 意図分類などを行うことが可能となっている．本稿 でもこの設定に則り，発話の意図が曖昧という「曖昧」のラベルを加えた三值分類として問題を設計 する。これにより，システムはユーザの発話が「曖昧」だと検出したとき，それに応じた聞き返しや意図の明確化を行う応答ができる。

## 4 データセット

本節では意図が曖昧な発話の検出に用いるデー タセットの構築手順について説明し，得られた会話 データについて分析を行う.

 \\

表 3 構築したデータセットの対話例

## 4.1 構築手順

Yahoo! 音声アシストで 2014 年から 2022 年にかけ てユーザとシステムが実際に行った対話から，10回以上出現したユーザ発話 $u_{0}$ についてその前のシス テム応答 $r_{-1}$ およびユーザ発話 $u_{-1}$ からなる会話 $<u_{0}, r_{-1}, u_{-1}>$ をランダムに 20,000 件収集する.こ の時，同一の発話は最大 5 件までに数を制限する.

次に得られた会話を，Yahoo! クラウドソーシン グ2)のワーカに提示し「表示された会話の発話 $u_{0}$ に 対しその意図を前述の 3 つのラベルから選択する」 というタスクを依頼した.この時，一つの会話につ き 10 人のワーカを割り当てた。

我々はここから，各会話に対し過半数である 6 以上の票を得たラベルを割り振った．また，いずれの ラベルも得票が 5 以下のもの，すなわち票が割れて いる例を多数確認した. このような発話も意図が曖昧な所為で票が割れていると考えられるため，「曖昧」ラベルを割り振った．最終的な集計結果を表 1 に示している。また，表 2 に各会話の「曖昧」ラべ ルへの得票数の内訳を示している。これより, 実際 のユーザ発話には人間から見て意図が曖昧だと感じ る例が多数存在することがわかる.

## 4.2 意図が曖昧な発話の分析

「曖昧」ラベルが割り当てられた会話からランダ 厶に 1000 件抽出し，それらがなぜ曖昧であるか第一著者が分類を行った結果を表 3 に示す.

表 3 より，まず音声認識誤りと名詞の割合が高い ことがわかる．音声認識誤りについては，かな漢字変換の誤りや語の脱落などが含まれており，結果的 に意図が取れず曖昧となっている例が多かった. 名


詞や要望・命令，質問は多くは一般的には情報検索 や端末操作の意図で用いられるが，例のように必ず しもそれらの意図と取れないものがあった. 情報開示は雑談の文脈でよく使われるが，例のように暗黙的にタスクの要求をしているとも取れるものがあっ た.これらから, 知的対話アシスタント特有の発話意図の曖昧性判定が必要であることがわかる.

## 5 実験

本節では構築したデータセットを用いて教師あり 分類器を構築し, 三值分類を行うことで意図が曖昧 な発話の検出を試みる。

## 5.1 比較手法

以下の手法を用いて発話意図の分類を行い，性能 を比較する。

AllAmbig: 全てのユーザ発話に対し「曖昧」ラベル を出力する手法.

Threshold: 多くのタスク指向型対話システムで用 いられている，意図判定の閾値により曖昧なユー ザ発話の判定を行う手法. 我々は Akasaki [5] が構築した知的対話アシスタントの発話が雑談かタス ク意図かを分類する意図判定データセット3を用 い，BERT [17] モデルを fine-tuning し評価データを 分類する. この時，モデルの予測に対する softmax のスコアが最大のラベルについて，そのスコア $s$ が $0.5 \leqq s \leqq 0.8$ の時に「曖昧」ラベルを出力する.

BERT: 4 節で構築したデータセットを用いて BERT モデルを fine-tuning し，評価データの三值分類を行 う手法. 会話データの各発話，応答は $[\mathrm{SEP}]$ タグで 繋いだ上でエンコーダに入力する.

3）このデータセットではユーザの 1 発話のみが入力として与 えられているため，モデルも $u_{0}$ のみを入力として用いる

BERT+文埋め込み: Akasaki [5] の研究を参考に，ツ イートおよびウェブ検索ログで事前学習した言語モ デルを用いてユーザ発話 $u_{0}$ の文埋め込みを獲得し， BERT の fine-tuning の際に分類層に追加の特徴量と して与える.

## 5.2 設定

各手法で fine-tuning を行う BERT モデルについて は bert-baseを 2021 年 2 月の日本語 Wikipedia 約 1800 万文で事前学習したものを用いた． BERT モデルは Tensorflow2 で実装し，最大文長は 64 ，バッチ数は 16 に設定した. トークナイズは sentencepiece ${ }^{4}$ を用 い，最適化に Adamを用いた. 学習と評価は，デー タセット 20,000 件を用いて五分割交差検証で行っ た. 各手法で 3 エポック学習し, 開発データで最も $\mathrm{f}$ 值が高かったモデルを評価データに適用した。

BERT+文埋め迄みで用いる文埋め込み用の BERT については, 2021 年 7 月から 2022 年 7 月の期間の ウェブ検索の頻度上位クエリ 5000 万件と, 同様の 期間のランダムにサンプルしたツイート 5000 万件 を sentencepiece でトークナイズしたものをそれぞれ 用い，bert-base を 40 エポック事前学習した. 構築 した各 BERT を文埋め込みの出力で用いるため，対照学習により文埋め込みを獲得する手法である教師 なしSimCSE [18] を各データで標準のパラメータで 1 エポック学習した.これらのモデルを用いて, 各 ユーザ発話 $u_{0}$ をエンコードし，分類用 BERT モデ ルのエンコード結果と連結し分類層に与えた.

## 5.3 結果

表 4 に評価データに対し三値分類を行った結果を 示す. 表 4 より，3 節で構築したデータセットで学習を行った BERT および BERT+文埋め迄みが最も 高い性能となっており，ラベル付きデータの有効性 が示されている.

表 5 は各ラベルの $\mathrm{F}$ 值を示している.「曖昧」ラ ベルにおいて，BERT および BERT+文埋め迄みは 発話に対し全て「曖昧」ラベルと予測する AllAmbig の性能を上回っているため, 意図が曖昧な発話の傾向を学習できているといえる.「雑談」と「タスク」 ラベルの予測の閾值で曖昧性を判定する Threshold は「曖昧」ラベルに対する性能が極めて低かった。 これについては Recall 等を確認したところ，ほとん ど「曖昧」ラベルを出力できておらず，モデルのス

表 4 三値分類の各手法の分類結果

表 5 三值分類の各手法のラベル別 $\mathrm{F}$ 值

コアの閾値などで曖昧性判定を行うことの難しさを 示している。また, BERTと BERT+文埋め込みの 間では有意な性能差は確認できなかった.

BERT の出力を確認してみたところ，表 3でのラ ベル「名詞」にあたるユーザ発話の判定誤りが多 かった. これらの例は多くの場合名詞（句）一つの みの発話であり長さが短く, 豊富な言語資源を生か したモデルでも扱うのが難しい。また，名詞だから といってそれら全ての意図が曖昧というわけでもな く, 例えば「熱海駅」は路線検索や地図検索を求め る曖昧なタスク要求である可能性が高いが，一方で 「カローラクロス」は該当するタスク要求が情報検索くらいしか存在せず，曖昧でない可能性が高い。 これらを区別するためには，発話に対する対話シス テムの各モジュールの確信度などの情報も特徴とし て加える必要がある.

## 6 まとめ

本稿では，知的対話アシスタントで意図が曖昧な ユーザ発話が存在することを指摘し，実際の知的対話アシスタントである Yahoo! 音声アシストのログ データにクラウドソーシングを利用してラベル付け を行うことで意図が曖昧な発話にどのような傾向 があるかを分析した. 実験では教師あり学習により 「曖昧」ラベルを分類先に含んだ三値分類器を構築 し，ラベル付きデータでの学習が有効であることを 示した.

今後の予定としては，意図が曖昧な発話を判定す るのに有効な特徴量や手法を設計し適用することで ある。また，本稿で構築したデータセットについて は公開を予定している。


## 参考文献

[1] Graeme McLean and Kofi Osei-Frimpong. Hey alexa $\cdots$ examine the variables influencing the use of artificial intelligent in-home voice assistants. Computers in Human Behavior, Vol. 99, pp. 28-37, 2019.

[2] Daniel (Zhaohan) Guo, Gokhan Tur, Scott Wen tau Yih, and Geoffrey Zweig. Joint semantic utterance classification and slot filling with recursive neural networks. In Proceedings of IEEE SLT Workshop, 2014.

[3] Puyang Xu and Ruhi Sarikaya. Contextual domain classification in spoken language understanding systems using recurrent neural network. In Proceedings of ICASSP, pp. 136-140, 2014.

[4] Joo-Kyung Kim, Gokhan Tur, Asli Celikyilmaz, Bin Cao, and Ye-Yi Wang. Intent detection using semantically enriched word embeddings. In Proceedings of IEEE SLT Workshop, 2016

[5] Satoshi Akasaki and Nobuhiro Kaji. Chat detection in an intelligent assistant: Combining task-oriented and nontask-oriented spoken dialogue systems. In Proceedings of ACL, 2017.

[6] Johannes Kiesel, Arefeh Bahrami, Benno Stein, Avishek Anand, and Matthias Hagen. Toward voice query clarification. In Proceedings of SIGIR, pp. 1257-1260, 2018.

[7] Mohammad Aliannejadi, Hamed Zamani, Fabio Crestani, and W Bruce Croft. Asking clarifying questions in opendomain information-seeking conversations. In Proceedings of SIGIR, pp. 475-484, 2019.

[8] Hamed Zamani, Susan Dumais, Nick Craswell, Paul Bennett, and Gord Lueck. Generating clarifying questions for information retrieval. In Proceedings of WWW, pp. 418-428, 2020.

[9] Kazunori Komatani and Tatsuya Kawahara. Flexible mixed-initiative dialogue management using concept-level confidence measures of speech recognizer output. In Proceedings of COLING, pp. 467-473, 2000.

[10] Ingrid Zukerman, Su Nam Kim, Thomas Kleinbauer, and Masud Moshtaghi. Employing distance-based semantics to interpret spoken referring expressions. Computer Speech and Language, Vol. 34, pp. 154-185, 2015.

[11] Svetlana Stoyanchev and Michael Johnston. Localized error detection for targeted clarification in a virtual assistant. In Proceedings of ICASSP, pp. 5241-5245, 2015.

[12] Kaustubh D Dhole. Resolving intent ambiguities by retrieving discriminative clarifying questions. arXiv preprint arXiv:2008.07559, 2020.

[13] 大原康平, 佐藤翔悦, 吉永直樹, 豊田正史. 対話によっ て曖昧性解消を行う質問応答. 第 9 回データ工学と 情報マネジメントに関するフォーラム, 2017.

[14] Joo-Kyung Kim, Guoyin Wang, Sungjin Lee, and YoungBum Kim. Deciding whether to ask clarifying questions in large-scale spoken language understanding. In Proceedings of ASRU, pp. 869-876. IEEE, 2021.

[15] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. Reflective action selection based on positive-unlabeled learning and causality detection model. Computer Speech and Language, 2023.
[16] 中野佑哉, 河野誠也, 吉野幸一郎, 中村哲ほか. 対話に よって曖昧性解消を行う質問応答. 第 244 回自然言語処理研究会, 2020 .

[17] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186, 2019.

[18] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of EMNLP, 2021.
 赤崎 智 堸々野 学 ヤフー株式会社 sakasaki@yahoo-corp.jp msassano@yahoo-corp.jp  