# 提示候補とクエリの差分を用いた チャットボットの新規問い合わせ抽出手法

戸田隆道
株式会社 AI Shift
toda_takamichi@cyberagent.co.jp
友松祐太
株式会社 AI Shift
tomomatsu_yuta@cyberagent.co.jp
杉山雅和
株式会社 AI Shift
sugiyama_masakazu@cyberagent.co.jp

## 1 背景

近年カスタマーサポートの分野においてチャット ボットによるサポートが注目を集めており、メール にはない返信のリアルタイム性や電話と比べた際の 気軽さから、現在多くの企業で導入されている。加 えて、これまで人間のカスタマーサポートオペレー ターが対応していた問い合わせをチャットボットに よる自動応答で代替することで、人手の工数を削減 することが期待されている。一方で、チャットボッ 卜自体を運用するためのメンテンナンス作業に人手 を掛ける必要があるという課題がある。

メンテナンス作業の中でも特に人手を掛ける必要 があるのは回答候補の再設計である。これは回答ま でたどり着けず、途中で離脱してしまったユーザー のクエリを、正しい回答に紐付ける作業である。大 きく分けて既存の回答に紐付ける場合と、新規に回答を作成して紐付ける場合の 2 通りのパターンが存在する。我々はこれまでに前者に関して、作業を効率化するために発話のクラスタリングを行う手法の 分析 [1]・提案 [2] やその実装 [3], [4]、完全自動化の ための分析 [5] などを行ってきた。今回の研究では 後者の新規に回答を作成して紐付ける場合に関し て、効率化の手法を提案する。加えて実際のカスタ マーサポートで利用されているチャットボットのロ グに適用して評価する。

## 2 関連研究

以前我々は回答候補の再設計の効率化として発話 のクラスタリングを行う手法の提案 [2] を提案した。 この手法は対話ログのクラスタリングを行い、類似 する問い合わせをまとめる。加えて重要度スコアを計算し、まとめられた問い合わせの中で代表的なも のを抽出する。これにより作成の手間が大幅に減る ことに加え、問い合わせのボリュームゾーンもわか るので、頻出する問い合わせから優先度をつけて回答ペアの作成に取り組むことができるようになった [3]。だが、これらの手法では新規に回答を作成して 紐付ける場合は考慮されていない。

用意された回答の中に無い問い合わせを作成する 手法として中西らの研究 [6] がある。この手法は文章間の類似度を算出し、類似度が高い文章間の質問 を入れ替えることで回答のない質問を作成してい る。加えて単語べクトルの $\cos$ 類似度や BLEU スコ アを用いてその問題の難易度も算出している。

チャットボットが対話の中で未知の話題について ユーザーに問いかける手法として Reshmi らの研究 [7] がある。この手法は対話の中でチャットボット が自発的に未知語に対してユーザーに質問をしてボ キャブラリーを増やしていく。

## 3 提案手法

今回我々が提案する新規回答の作成効率化の手法は、ユーザーの問い合わせ履歴から新規回答を作 るべき問い合わせを抽出し、グループ化して提示す る。この手法は大きく4つの手順で実行される。

1. 回答提示に失敗している問い合わせを抽出

2. 提示回答との単語の差分を抽出

3. 抽出された差分単語がキーワードである問い合 わせを抽出

4. キーワードとその係り受けの ROOT でグルーピ ング

以下より各手順の詳細について説明する。

## 3.1 回答提示に失敗している問い合わせの 抽出

チャットボットに問い合わせを行うと、チャット ボットは回答候補の中から問い合わせに近いと思 われる候補を 1 つないし複数提示する。ユーザーに 「提示された回答では抱える問題を解決できない」 と判断された場合、ユーザーは別の文言で再検索す るか対話から離脱することが想定される。

我々の提供するチャットボットプロダクト AI Messenger ${ }^{1)}$ ではこの部分のフィードバックを適切に とるために、提示候補に加えて「この中にはない」 という候補を提示している。本手法ではこの「この 中にはない」を選択された問い合わせを回答提示に 失敗している問い合わせとして抽出する。

## 3.2 提示回答との単語の差分の抽出

前節の手順で抽出された回答提示に失敗している 問い合わせについて、実環境で利用されたログを分析すると、正しく回答を提示出来ていたのではない かと思われるログがある。以下に、ある決済系サー ビスで抽出された例を表 1 に示す。尚、一部の単語 はデータ取り扱いの都合上マスキングしている。

表 1 問い合わせ $\mathbf{Q}$ に対して正解と思われる提示回答 $\mathbf{A}$

このようなログが溜まってしまう原因として、特 に困りごとの無いユーザーがテスト的にチャット ボットを使ったことが考えられるが、今回の手法で はこういったデータは除外したい。

そこで提示候補全てと問い合わせを単語分割した 上で名詞と動詞の終止形に絞り、単語の差分を考え る。問い合わせに含まれる単語が全て提示候補に含 まれている場合は上記で示したような、「この中に はない」を選択されたが、正しく回答を提示出来て いたものとして除外されることを期待する。

## 3.3 抽出された差分単語がキーワードであ る問い合わせの抽出

これまでの手順で、正確に回答提示に失敗してい る問い合わせを抽出することができた。今回の手順

1) https://www.ai-messenger.jp/
ではこの問い合わせからキーワードを抽出する。 キーワード抽出には $\mathrm{GiNZA}^{2)}$ を用いた係り受け解析を利用する。

我々がこれまで多くのカスタマーサポートのデー タを分析した経験上、ユーザーの問い合わせは主語名詞にかかっている格助詞で以下の 3 パターンに分類されると考えている。

・「XXができない」のようなガ格系円キーワードは、格助詞の「が」がかかってい る XX

・「○○を $\triangle \triangle$ したい」のようなラ格系 キーワードは、格助詞の「を」がかかって いる $\bigcirc \bigcirc$

・「口ロにうえしたい」のようなニ格系

いる $\square \square$

このパターンで抽出されたキーワードが、前手順 で抽出された問い合わせと提示回答の単語の差分 (問い合わせに含まれるが提示回答に含まれない) と 一致する問い合わせを抽出する。

## 3.4 キーワードとその係り受けの ROOT で グルーピング

前手順で抽出されたキーワードと、その問い合わ せ文章の ROOT をキーフレーズとして、抽出され た問い合わせ群をグルーピングする。例えば「住所 の番地が表示されない」という問い合わせに関して は、格助詞「が」が掛かっている主語名詞の「番地」 がキーワードとなり、ROOT の「表示」と合わせて 「番地-表示」がキーフレーズとなる。

図 1 キーフレーズ抽出の例

キーフレーズでグルーピングされた問い合わせ郡 を、新規に回答を作成するための候補として運用者 に提示する。これにより、回答候補の再設計の作業 の効率が向上することが期待できる。

## 4 評価

我々の運用するチャットボットプロダクト、AI Messenger で実際に使用されたカスタマーサポート 向け用例ベースチャットボットのログデータに提案手法を適用する。ログデータは発話日時、発話種別


(ユーザーかチャットボットか)、発話内容、及び対話のユニーク IDをもっており、対象は決済系のド メインとオークションサイト系のドメインで、2020 年 10 月 1 日から 1 週間分の対話になる。

## 4.1 前処理

発話が 7 文字以上、 20 文字未満のものに絞った。文字数が少なすぎる場合は、単語のみで問い合せさ れている場合が多い。逆に文字数が多すぎる場合 は、メールの文章のような長文かつ複数の文章が問 い合わせられている場合が多い。これらはこれまで のチャットボット運用で得た知見で、どちらも係 り受け解析ができないため提案手法適用前に除外 する。

## 4.2 結果

提案手法を用いて抽出した結果を以下に示す。

## 4.2.1 決済系ドメイン

集計情報
- 対話数: 26952

・抽出キーフレーズ数: 39
- 抽出発話数: 92

図 2 決済系ドメインの抽出キーフレーズ数 (数が多いた め上位 5 件のみ)

抽出発話例 (キーフレーズ: いつ-使える)

・くサービス名>はいつ使えますか

・いつまでくサービス名>使えない？

・<サービス名>はいつ使えるか？

抽出発話例 (キーフレーズ: どこ-ある)

・ログイン画面はどこにありますか

・<機能名>ボタンはどこにありますか

## 4.2.2 オークションサイト系ドメイン

集計情報
- 対話数: 7150

・抽出キーフレーズ数: 5

$\cdot$抽出発話数: 15

図3オークションサイト系ドメインの抽出キーフレー ズ数

抽出発話例 (キーフレーズ: 番地-表示)

・番地が表示されない

・落札者の番地が表示されていない

・落札者情報に番地が表示されていない

## 5 考察

抽出発話を見てみると、例えばオークションサイ ト系ドメインの「番地-表示」をキーフレーズとす るグループなど、適切なものが抽出できているよう に見光、概ね提案手法はうまく働いていると思われ る。 3.3 節で分類された格助詞による分類だが、こ れらはさらに文章の構成要素から「○○は何です か？」のような質問系や「XX ができない」のよう な不可能系など、より詳細なカテゴリに分類できる ため、本手法の発展として、より詳細なグルーピン グを行えることが期待できる。

## 5.1 抽出割合について

抽出率は $0.14 \sim 0.20 \%$ となっている。この値は チャットボットの運用を継続するに従って下がって いくと予想できる。今回適用した 2 つのドメインは 1 年以上継続してチャットボットを運用していたた め、回答が十分に成熟しており、新規に回答を作成 すべき問い合わせが少なかったのではないかと考え られる。

## 5.2 突発的な問い合わせの増加について

決済系ドメインの「いつ-使える」をキーフレーズ とするグループだが、こちらは、発話例文中にある サービスが、ちょうどログの期間中障害で停止して いたため、このような問い合わせが多く来ていたよ うだった。このように、障害や特定の期間のイベン トの影響で、普段されない問い合わせが突発的に増 えることが予想できる。

## 5.3 場所を聞く疑問詞

決済系ドメインの「どこ-ある」をキーフレーズと するグループだが、これらはサービスの UI に難点 がある場合に多く問い合わせられるのではないかと 考えられる。今回の例では件数が少ないが、同じも のに関して多くの問い合わせがある場合にUIを完全するなど、カスタマーサポートだけでなく、サー ビスの改善にも活用出来るのではないかと期待で きる。

## 6 おわりに

本稿では、チャットボットのメンテンナンス作業 を効率化するため、メンテナンス作業の中でも特に 人手をかける必要があるのは回答候補の再設計のう ち、新規に回答を作成して紐付ける場合に関して、効率化の手法を提案した。加えて実際のカスタマー サポートで利用されているチャットボットのログに 適用した。

概ね良い結果を得られたが、運用時間経過に伴う 抽出割合の変化や突発的な問い合わせの増加など、 ログの期間やドメインの種類などより詳細な分析が 必要だと思われる。またキーフレーズが「どこ-あ る」のグループは UI 変更などのサービス改善にも 役立つことが期待できる。

今後は、我々の運用システム [3], [4]への実装も視野に入れてより詳細な分析を続けたい。

## 参考文献

[1] 戸田隆道, 黒岩稜, 杉山雅和, 友松祐太. チャットボッ 卜運用における対話クラスタリング. 言語・音声理解 と対話処理研究会, No. 2, pp. 91-92, 2019.

[2] 戸田隆道, 杉山雅和, 友松祐太. チャットボット運用に おける新規問い合わせ候補の抽出. 言語処理学会第 26 回年次大会 発表論文集, 2020.

[3] 戸田隆道, 杉山雅和, 友松祐太. チャットボット運用効率化のための新規問い合わせ候補抽出システム. 人工知能学会 第 34 回全国大会 発表論文集, 2020.
[4] 友松祐太, 戸田隆道, 杉山雅和. Ai チャットボットの ためのチューニング支援システム. 言語・音声理解と 対話処理研究会, No. 2, pp. 30-32, 2020.

[5] 戸田隆道, 杉山雅和, 友松祐太. 自動質問応答における 連続発話からの類義クエリ抽出. 言語・音声理解と対話処理研究会, No. 2, pp. 91-95, 2020.

[6] 中西真央, 小林哲則, 林良彦. 答えのないことを答える machine reading comprehension. 言語処理学会第 24 回年次大会 発表論文集, 2018 .

[7] S RESHMI and KANNAN BALAKRISHNAN. Implementation of an inquisitive chatbot for database supported knowledge bases. SADHANA, Vol. 41, No. 10, pp. 11731178,2016
 戸田隆道 株式会社 AI Shift toda_takamichi@cyberagent.co.jp 友松祐太 株式会社 AI Shift tomomatsu_yuta@cyberagent.co.jp 杉山雅和 株式会社 AI Shift sugiyama_masakazu@cyberagent.co.jp  