# 意味的類似度計算システムによる チャットボット FAQ システムの性能向上

栗原健太郎 ${ }^{1,2}$ 二宮大空 ${ }^{2}$ 友松祐太 ${ }^{2}$
1 早稲田大学理工学術院 2 株式会社 AI Shift
kkurihara@akane.waseda.jp
\{kurihara_kentaro, ninomiya_hirotaka, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

カスタマーサポートや社内ヘルプデスクなどに おける問い合わせ対応に、チャットボットが適用さ れつつある。AI Shift では、各種サービスにおける ユーザの質問に自動回答するシステムとして Dense Retriever [1]を活用したチャットボット FAQ システ ムの構築を検討している。Dense Retriever の学習に 自社の事業で収集している対話ぺアを用いている が、正例と見做している対話ぺアの中には、2 文間 の内容が大きく異なる品質の悪い対話ぺアが存在す る。しかし、顧客の多様さとデータ量の多さ故に人手によるそれらの除去は非常に手間がかかる作業と なっている。本研究では、意味的類似度計算システ ムを用いた学習データの自動フィルタリング手法を 提案する。実験の結果、提案手法による FAQ システ ムの性能向上を確認することができた。

## 1 はじめに

多くの企業や団体が提供するサービスにおける カスタマーサポートなどにおいて、チャットボット が適用されつつある。チャットボットが提供する機能の一つに、各種サービスにおける「よくある質問」などと呼ばれる Frequently Asked Questions (FAQ)検索を用いたユーザ質問への回答機能が存在する。 FAQ 検索では、企業が保持する FAQ のデータベー スに基づき、ユーザ質問に対して最もマッチする回答を得ることができる。

我々は現在構築を検討中のチャットボットの FAQ システムにおける検索手法として、Open-Domain QA で有効とされている Dense Retriever [1] を採用する。 Dense Retriever の学習には、自社のチャットボット 事業で収集しているくユーザ質問, FAQ 質問 >を対

話ペアと見做した対話データを用いる1)。本対話 データにおいて、ユーザ質問とユーザが選択した FAQ 質問の対話ぺアを正例として学習に用いる。

しかし、プロダクトで収集される対話データに は、ユーザが選ぶ FAQ 質問の内容が質問内容とマッ チしていない品質の悪い対話ぺアが含まれていると いう問題がある。これらを正例と見做して学習する ことで、Dense Retriever の学習の際にノイズとなる 恐れがある。品質の悪い正例の例を表 1 に示す。い ずれもユーザ質問と $\mathrm{FAQ}$ 質問の内容が大きく異な るため品質の悪い正例と言える。また、複数顧客の データからランダムサンプリングした対話ぺアに対 して、筆者による品質の良い正例であるか否かにつ いてのアノテーションを実施した結果、品質の \{良 い正例: 455 件, 悪い正例: 328 件 \} となっており、品質の悪い正例が多く含まれている。

一方で、多様な顧客から多数の対話ぺアを収集し ていることから、人手での品質の悪い正例の除去は 大変手間がかかる作業となっている。人手フィル タリング以外の品質の悪い正例を除去する手段と して、FAQ 質問選択後にユーザがさらに選択する フィードバック質問の活用が考えられる。フィー ドバック質問とは、FAQ 選択後に表示される回答 によって課題を解決することができたかを「はい」「いいえ」の 2 択でユーザが回答する質問である。 ここで「はい」が選択されたデータのみを収集する ことで、品質の悪い正例を除去することが可能であ る。しかし、フィードバック質問に回答するユーザ

1）対話データの収集方法の詳細については二宮ら [2]の 4 章 に原則従う。

は少なく、収集できるデータ量も著しく減少してし まう。そのため、学習データのフィルタリング方法 としてはふさわしくない。

そこで本研究では、意味的類似度計算システムを 用いた対話ぺアの類似度付与による品質の悪い正例の自動フィルタリング手法を提案する。実験の結果、提案手法によるフィルタリングを適用したデー タで学習した FAQ システムは、フィルタリング未適用のデータで学習した FAQ システムと比較して性能が向上することを確認することができた。

## 2 関連研究

Open-Domain QA タスクにおける文書検索では、表層情報による文書検索手法として TF-IDF や BM25 [3] が用いられていた。昨今では密なべクト ル表現に基づいた文書検索を行う Dense Retriever が 採用されつつあり、 $\mathrm{QA}$ 分野への適用の流れも生 じている。加藤ら [4] は日本語の Open-Domain QA データセット JAQKET [5] を用いた DPR における Retriever の性能評価を実施しており、一定の性能の 発揮を報告している。また、言語理解モデルの学習 におけるデータの拡張による性能向上の試みも、要約タスク [6] や FAQ タスク [2] などで行われている。 Talukdar ら [7] は学習に用いるデータのフィルタリ ングが言語理解モデルの性能向上に寄与すると報告 しているが、その調査は主に SST などの分類タスク を対象としている。

本研究では、 2 文間の類似度が低い対話ぺアを品質の悪い対話ぺアと見做し、回帰タスクである意味的類似度計算 (Sentence Textual Similarity: STS) タ スクに帰着させることによるデータの自動フィル タリングを提案する。英語の STS-b [8] や日本語の JSTS [9] などはベンチマークに含まれているデータ セットとして言語理解モデルの性能評価に用いられ ている。2つのSTS データセットの正解類似度は 0 （意味が完全に異なる）から 5 （意味が等価）の実数值で定義されており、一般的にSTS タスク全般で同様に定義される。

## 3 意味的類似度計算システムを用い た低品質対話ペアのフィルタリング

検討中のチャットボット FAQ システムにおける Dense Retriever の学習に用いる対話データには、2文間の内容が大きく異なる品質の悪い正例が多く存在 している。これらのデータを学習に用いることで、

図 1 意味的類似度計算システムを用いた学習データの自動フィルタリングのフロー

モデルの学習の際にノイズとなる恐れがある。しか し、顧客の多様さとデータの多さ故に人手フィルタ リングは非常に手間がかかる作業となっている。

本研究では、意味的類似度計算システムを用い た学習データの自動フィルタリング手法を提案す る。提案手法のフローを図 1 に示す。意味的類似度計算システムを用いて類似度（以下 $\delta$ と呼ぶ）を獲得し、 $\delta$ が一定の値以下である対話ぺアを除去する ことによって自動フィルタリングを実施する。その 後フィルタリングしたデータを用いて FAQ システ ムに用いられている Dense Retriever を訓練する。意味的類似度計算システムの構築には、言語理解モデ ル BERT [10] を用いる。具体的には、日本語のSTS データセットである JSTS で BERT の事前学習済み モデルをファインチューニングすることで意味的類似度計算システムを構築する。システムが算出する 類似度 $\delta$ は、JSTS の正解類似度と同様に 0 から 5 の 間の実数値となる。

## 4 FAQ システムの評価実験

## 4.1 実験設定

自社のチャットボット事業で収集した対話ぺア を用いて、チャットボット FAQ システムにおける Dense Retriever の学習・評価を行う。意味的類似度計算システムを用いたデータセットの自動フィルタ リングの有効性検証のため、フィルタリングを適用 した対話データと適用していない対話データそれぞ れで Dense Retrieverの学習を行う。評価には Macro Average Top $\{1,3,5\}$ Accuracy を使用し、各顧客デー タ毎に Top $\{1,3,5\}$ Accuracyを算出した後、全体顧
表 2 学習データのサンプルサイズ

客数で平均することで最終的なスコアを得る。

ベースライン手法 提案手法における JSTS 活用 の妥当性検証のため、ベースラインとして事前学習済みモデル BERT をファインチューニングせずに 意味的類似度計算システムを構築する。本システム は、対話ぺアの各文を独立にモデルに入力し、最終層の出力の [CLS] トークンのベクトルのコサイン類似度を算出して類似度を獲得する。ただしコサイン 類似度は 0 から 1 の実数値で算出される一方、提案手法の類似度計算システムは 0 から 5 の実数値で類似度を算出する。そこで、ベースライン手法では、 コサイン類似度を 5 倍した値を類似度とする。

フィルタリング未適用の Dense Retriever の学習 データ（以下 Raw Data と呼ぶ）と、ベースライン、及び提案手法それぞれによるフィルタリング後の学習データ（それぞれ vanilla-BERT Data, JSTS Data と 呼ぶ）のサンプルサイズを表 2 に示す。

評価データの設計ドメインに依らない汎化性能を評価するため、Dense Retriever の学習に用いた 顧客データで構成した既知ドメイン（以下 KnownDomain と呼ぶ）と、学習に用いていない顧客デー タで構成した未知ドメイン (以下 Unknown-Domain と呼ぶ）の 2 種類の評価データを用意する。評価 データも、学習データと同様にユーザ質問とユーザ が選択した $\mathrm{FAQ}$ 質問の対話ペアを正例として収集 したデータを用いる。しかし、この収集方法では学習データと同様に評価データにも品質の悪い対話ぺ アを含んでしまう。そのため、1節で述べたフィー ドバック質問でユーザが「はい」と回答した対話 ペアのみを抽出したデータでも評価を行う。学習 データと同様に収集した評価データを Normal-Data、 フィードバック質問を用いてフィルタリングを実施 している評価データを Feedback-Data と呼ぶ。各評価データのサンプルサイズを表 3 に示す。

図 2 ランダムサンプリングした対話ぺアの類似度の分布 を示す箱ひげ図 (valid: 品質の良い正例データ, invalid: 品質の悪い正例データに対応している)

除去する対話ぺアの類似度の閥値本実験では、除去する対話ぺアの類似度 $\delta$ の閾値による FAQ シ ステムの性能差を比較するため、各フィルタリング 手法で複数の閾値を設定する。効果的な閾値設定 のため、1 節で述べた人手アノテーションした対話 データの意味的類似度を、ベースライン、提案手法 それぞれで獲得した。アノテーション済みデータの 類似度分布を図 2 に示す。提案手法について、 $\delta$ の 閾値を品質の良い正例 (valid データ) の類似度分布 の第一四分位、および品質の悪い正例 (invalid デー タ) の類似度分布の第三四分位に相当する 1.5 程度 に設定することで、アノテーション済みデータに おいて、valid データを $1 / 4$ 程除去しつつも、invalid データを $3 / 4$ 程除去することができる。以上より、提案手法において $\delta<1.5$ を除去する対話ぺアの類似度の閾值の1つに設定する。しかし、validデータ を除去しすぎることによる意味的類似度計算システ ムの性能低下が懸念される。そこで、validデータを 極力除去することなくinvalid データを除去するた めに $\delta<1.0$ も閾值に設定する。べースライン手法 については valid, invalid データの類似度分布の重な りが大きく、効果的な間値設定が困難である。本実験では、提案手法における閾值設定と同様に、valid データの第一四分位および invalid データの第三四分位に相当する $\delta<3.2, \delta<3.9$ をべースライン手法の 間値に設定する。

その他のハイパーパラメータ 意味的類似度計算 システムの構築に用いる BERT、および FAQ システ ムの構築に用いる Dense Retriever のファインチュー ニングにおけるハイパーパラメータを表 4 に示す。
表 4 意味的類似度計算システム、および FAQ システムの fine-tuning 時のハイパーパラメータ

各評価手法による FAQ システムの性能評価結果 (3つのスコアは左から順に $\operatorname{Top}\{1,3,5\}$ Accuracy を表す)

Normal-Data

## 4.2 結果・考察

Dense Retreiver の推論性能の評価結果を表 5 に示 す。全般的に JSTS Data で学習した Dense Retriever が、Raw Data で学習した場合や、vanilla-BERT Data で 学習した場合のモデルの結果と比較して Accuracyが 高くなっている。JSTS Data $(\mathcal{S}<1.0)$ と Raw Data そ れぞれで学習した結果を比較した場合、Normal-Data, Known-Domain, test において Top $\{1,3,5\}$ Accuracy はそれぞれ $1.5 \%, 2.7 \%, 2.5 \%$ 上回っており、NormalData, Unknown-Domain, test では $3.2 \%, 10.1 \%, 5.1 \%$ 上回っている。一方で、Known-Domain における性能について、vanilla-BERT Data で学習した場合の Accuracy は、Raw Data で学習した場合と同等または それ以下の値という結果になっている。この結果 は、JSTS によるファインチューニングを行なって いない vanilla-BERT を用いた invalid データの効果的 な除去は困難であること、及び JSTS を用いたファ インチューニングによる文ペアの意味的類似度の学習の有用性を示している。

Normal-Data の Known-Domain における評価にお いて、JSTS Data $(\mathcal{S}<1.5)$ で学習したモデルの Top 1 Accuracy が Raw Data で学習したモデルと比べて低 い。これは、Raw Data で学習したモデルの Accuracy を上回っている JSTS $\operatorname{Data}(\mathcal{S}<1.0)$ や vanilla-BERT
Data $(\mathcal{S}<3.2)$ と比較して、JSTS Data $(\mathcal{S}<1.5)$ はデー タ数が少なく、validデータが比較的多く除去された ことが原因と考えられる。

一方で、Feedback-Data の Known-Domain における 評価では、JSTS Data $(\delta<1.5)$ で学習したモデルの Top 1 Accuracy が Raw Data で学習したモデルと比 べ高い。この結果は、Normal-Data に含まれてい てモデルが正解できなかった invalid データが、 Feedback-Data ではフィルタリングされていることが 原因と考えられる。

## 5 おわりに

本論文では、Dense Retriever ベースの FAQ システ ムの学習データの自動フィルタリング手法として、 JSTS でファインチューニングした BERT ベースの 意味的類似度計算システムの活用を提案した。実験結果は、提案手法による FAQ システムの性能向上を 確認することができたことで、人手フィルタリング による負担の削減に貢献できる可能性を示した。

今後は、T5 [11] や BART [12], などの生成モデル を用いて、FAQに紐づいた回答文章と答えから質問文を生成することなどによって、データセットの拡張をすることを検討する。さらに、データセット拡張とフィルタリングを相互に実施することで FAQ システムの更なる性能向上を目指す。

## 参考文献

[1] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[2] 二宮大空, 邊土名朝飛, 杉山雅和, 戸田隆道, 友松祐太. チャットボット事業における dense retriever を用 いた zero-shot faq 検索. 第 96 回言語・音声理解と対話処理研究会 (第 13 回対話システムシンポジウム), 2022.

[3] Stephen E. Robertson, Steve Walker, Susan Jones, Micheline Hancock-Beaulieu, and Mike Gatford. Okapi at trec-3. In TREC, 1994.

[4] 加藤拓真, 宮脇峻平, 西田京介, 鈴木潤. オープンドメ イン qa における dpr の有効性検証. 言語処理学会第 26 回年次大会, pp. $1403-1407,2021$.

[5] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセット の構築. 言語処理学会 第 26 回年次大会, pp. 1403 1407, 2020.

[6] Bharath Chintagunta, Namit Katariya, Xavier Amatriain, and Anitha Kannan. Medically aware GPT-3 as a data generator for medical dialogue summarization. In Proceedings of the Second Workshop on Natural Language Processing for Medical Conversations, pp. 66-76, Online, June 2021. Association for Computational Linguistics.

[7] Arka Talukdar, Monika Dagar, Prachi Gupta, and Varun Menon. Training dynamic based data filtering may not work for NLP datasets. In Proceedings of the Fourth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, pp. 296-302, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[9] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapo- lis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2019.

[12] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.
 栗原健太郎 ${ }^{1,2}$ 二宮大空 ${ }^{2}$ 友松祐太 ${ }^{2}$ 1 早稲田大学理工学術院 2 株式会社 AI Shift kkurihara@akane.waseda.jp \{kurihara_kentaro, ninomiya_hirotaka, tomomatsu_yuta\}@cyberagent.co.jp  