# 問い合わせログの集約における
## クラスタリングを用いた重要回答抽出

\author{
竹中一秀林 岳晴大段 秀顕湯浅 晃 \\ 株式会社NTT データ
}

\{Kazuhide. Takenaka, Takeharu. Hayashi, Hideaki. Odan, Akira. Yuasa $\}$ @nttdata.com

## 概要

本研究では、問い合わせデータを集約し FAQを 構築するユースケースに焦点を当てた回答候補を提示する手法を提案する。FAQ はコンタクトセンタに て蓄積される質問と回答が対となる問い合わせログ を用いて作成される。本提案手法では、問い合わせ ログの質問を対象にクラスタリングを行い、類似す る質問ごとに集約されたクラスタ内の回答に対し、再度クラスタリングを実施し、複数種類の重要な回答を抽出することで、可読性を保ちつつ、重要な回答を複数抽出できることが確認された。併せて、回答をクラスタリングした際に得られる各クラスタの クラスタサイズが、回答を提示する上での重要性を 示す指標として有効であることが確認された。

## 1 はじめに

近年、企業のコンタクトセンタでは、問い合わせ 対応業務にチャットボット等の対話型 AI システム を活用されている。チャットボットには、ユーザが 選択する質問に対して、あらかじめ設計されたシナ リオに従って回答を提示するシナリオ型と、ユーザ の入力する質問に対して、類似する FAQ を提示す る FAQ 型がある。その中でも FAQ 型のチャットボ ットは、その導入時や運用時において FAQ の作成 に、多大な労力を必要とするという課題がある。そ こで、本稿では FAQ 型のチャットボットに焦点を 当てることにした。

FAQ はコンタクトセンタの問い合わせログに代表される、質問文と回答文が対となるデータから作成される。一般的な手法としては、問い合わせログ の質問文に対してクラスタリングを行い、クラスタ 重心に最近傍の質問文を抽出し、その質問文に紐づ いた回答文とセットで $\mathrm{FAQ}$ 候補とする。FAQ 作成担当者は、得られた FAQ 候補を確認し、内容や文の修正を行うことで最終的な FAQ を完成させる。し かし、この手法では 1 つの質問に対し、 1 つの回答 のみ提示されるため、質問と回答が本来 1 対 $\mathrm{n}$ とな る場合に、適切な回答が得られない可能性がある。質問と回答が 1 対 $\mathrm{n}$ になる場合の FAQ の例として、「ソフトが強制終了されてしまいます。どうすれば よいでしょうか。」という質問に対して回答を作成 する場合には、ソフトバージョンや OS バージョン、 データのバックアップは取得しているか等の幅広い 状況に応じた回答を揃える必要がある。

そこで、本研究では、FAQ 作成の負荷を低減する ことを目的として、可読性を保ちつつ、冗長性を排除し、重要な回答を漏らさないように回答候補を提示する手法を提案する。

## 2 関連研究

本研究では、FAQ 作成における回答文作成支援の ユースケースに焦点を当てている。ここでは、 $\mathrm{FAQ}$抽出に関する関連研究の手法について言及する。

まず、 $\mathrm{FAQ}$ 候補となる QAを抽出する研究として、 マニュアルやガイド等の回答源となる文書から QA セットの作成を行い、問い合わせログから抽出した 代表質問文と類似する QA セットを FAQ 候補とし て提示する土居ら[1]の手法や、特徴的な単語の係り 受けパターンの抽出を行い、頻出するパターンを持 つ QA を抽出する長谷川ら[2]の手法がある。友松ら [3]は問い合わせログの質問文をBERTによって分散表現を獲得し、分散表現のコサイン類似度をもとに 階層クラスタリングを行うことで、類似する質問ご とに集約されたクラスタを作成し、そのクラスタか ら TF-IDF を用いて代表文の選定を行い FAQ の抽出 を行っている。これらの手法は、回答文については、抽出した質問文に紐づいたもののみを使用している ため、複数の回答文候補を抽出するという点で我々 の手法と異なっている。また、壹岐ら[4]は、問い合

わせログから質問文と回答文の抽出を行うことを要約問題として捉え、教師あり学習による抽出型要約 を用いて、不要文の多い問い合わせログの質問文と 回答文の中から本質的な部分文字列を抽出すること で QA の作成を行っている。我々の手法とは、文字列単位ではなく、問い合わせログの回答文単位での 回答抽出を行う点で異なるが、重要な回答文を抽出 するという点では類似しているため、文書要約を用 いた手法を提案手法の比較対象とすることにした。

## 3 提案手法

本研究では、FAQ 作成の負荷を低減することを目的として、重要な回答を複数抽出する手法を提案す る。本章では、その具体的な実現方法について説明 する。

## 3.1 回答抽出の流れ

提案手法の回答文抽出の流れを図 1 に示す。まず、提案手法適用の前提として、問い合わせログの質問 を対象にクラスタリングを行い、各クラスタ重心の 最近傍の質問文が得られているものとする。このク ラスタ重心に最近傍となる質問文を本稿では代表質問文と呼ぶ。得られた質問クラスタ内の回答文を対象にさらにクラスタリングを行う。その結果、類似 する回答ごとに集約されたクラスタが得られる。得 られた回答クラスタの重心に最近傍となる回答文を 代表文としてそれぞれ抽出することで、抽出された 代表質問文に対して、複数の回答候補を取得する。

## 3.2 手法検討

本研究では、FAQ 作成における回答文作成支援の ユースケースに焦点を当て、ビジネス適用における 現実的な制約条件を考慮した上で手法検討を行った。分散表現の取得手法として、BERT 等の大規模言語 モデルは、モデルの学習を行うために、ドメインに 特化した大量の学習データが必要になる。そこで、本研究では、汎用コーパスで学習されたモデルで比較的上質な分散表現が得られることが知られている 手法として[5]、Universal Sentence Encoder(USE)[6]を 用いた。クラスタリングは、階層クラスタリングの らち、分類感度が高い ward 法を選定した。

また比較対象とする文書要約手法については、抽出型文書要約手法の中で一般的に高性能である LexRankを用いた。同クラスタ内の回答文から要約文を抽出し、FAQ 作成において、提案手法とどちらが有力であるか比較を行う。

図 1 提案手法の回答文抽出イメージ

## 4 実験

提案手法の有効性検証のため、既存手法である、抽出した代表質問文に元々紐づいていた回答文のみ 提示する場合と、比較対象とした文書要約手法それ ぞれを用いて、回答文の抽出を行い、FAQ 作成の支援を目的とした場合に、どの手法が有力であるか比較して検証を行った。抽出型文書要約手法 LexRank の実装に関しては python モジュールの sumy を用い た。

## 4. 1 データセット

手法の有効性検証のために、NII $の$ Yahoo!知恵袋 データ(第 2 版)[8]で提供されているデータのうち、質問カテゴリが「企業と経営」かつ、回答は質問者 が選んだベストアンサーの条件で絞込んだものを用 いた。また、実際の問い合わせログは、端的に短く まとめられていることが多いため、質問文の文書長 が 10～50 トークンかつ、回答文の文書長が 10～120 トークンからなる QA をサンプリングした。その結果、データサイズは 4153 件となった。

次に、サンプリングしたデータの質問文を対象に USE + ward 法を用いてクラスタリングを行い、類似 する質問文ごとに集約された各クラスタのベクトル 重心に最近傍の点を代表質問文として、抽出を行っ た。そのうち、クラスタサイズが大きいクラスタか ら 6 件を対象に実験に使用した。各クラスタのクラ スタサイズと抽出した代表質問文を表 1 に示す。
表 1 実験に使用した質問集約のクラスタ

 &  & \multicolumn{1}{|c|}{ 代表質問 } \\

## 4. 2 評価方法

FAQ 作成支援において、有効性を評価するために、 それぞれの手法で出力した回答文を可読性と、回答 として重要な文がどのくらい含まれているかを示す 重要情報包含率の観点で評価を行った。可読性につ いては、表 2 に示す基準で定性的に評価を行った。 また、抽出した回答文に、「文間の内容が矛盾して おり、一貫性が無い」「文間に談話関係が存在せず、無関係である」といった問題がある場合を「不自然 である」と評価し、上述の問題が無い場合には「自然である」と評価した。重要情報包率の算出方法は、抽出した代表質問文から必要となる回答箇所を人手 により正解として定義し、その中で各手法によって 抽出できた割合を算出することで評価した。

## 表 2 可読性の評価基準

## 5 実験結果と評価

提案手法の有効性検証の比較対象として、大量の 文から重要な文を抽出する文書要約アルゴリズムの LexRank[7]を用いた。実験では、質問集約で得られ たクラスタ内の回答文を全て結合した文を入力とし た。また、ハイパーパラメータの出力文数は、出力 された要約文が提案手法の出力した回答文と近しい トークン数になる文数を採用した。

提案手法のクラスタリングを行う際のクラスタ数 については、Silhouette 係数が最大になる場合を採用 した。既存手法については、表 1 で得られた代表文 に紐づいた回答文のみを出力結果として扱った。

実験結果について、可読性の評価結果を表 3、情報含有率の評価結果を表 4 に示す。情報包含率につ いては、各手法ごとに平均化したものを示す。また、実験によって得られた回答文の一部を表 6 に示す。太字部分は重要情報となる箇所、下線部分は可読性 を低下させている箇所を示している。

表 3 可読性評価

 &  & LexRank &  \\

2 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
3 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
4 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
5 & $\bigcirc$ & $\bigcirc$ & $\bigcirc$ \\
6 & $\bigcirc$ & $\bigcirc$ & $\bigcirc$ \\

表 4 重要情報含有率評価

 & LexRank &  \\

表 3 によると、提案手法は可読性については問題 ないことが示されている。LexRank は要約結果を文単位で得るため、文頭に「つまり」「これにより」 があることや、関連性のない文間に「よって」「ゆ えに」等の接続詞があり、文間の論理的な関係が破綻していることが確認された。

表 4 によると、提案手法が最も良い結果となって いる。既存手法の抽出した代表質問文に紐づいた回答 1 件のみでは、情報として不足する場合も少なく なかった。表 6 を例に、既存手法と比較して提案手法では、「特例有限会社は、そのまま存続できます

し、一部例外を除き変更登記する必要もございませ 几。」「特例有限会社から株式会社へ移行すること （商号変更）も出来ます。」との追加の重要文が抽出できていることが確認できる。補足として、既存手法で用いた回答は yahoo 知恵袋に投稿した質問者 が選んだベストアンサーであるが、ベストアンサー は投稿された回答群の中から 1 つ選ばなければいけ ない仕組みであるため、情報として不足していても ベストアンサーに選ばれる場合は十分にある。

## 6 付帯効果と課題

FAQ を作成する上で、複数種類の回答がある場合 に、重要度の高い回答を優先して提示することが重要であると考えられる。この場合、提案手法では、 クラスタサイズが大きいクラスタほど、重要度が高 い文が含まれている傾向を確認したため、重要度を 表寸指標として、回答クラスタサイズを用いること が、有効であると考えられる。また、提案手法の出力結果を文単位で確認したところ、内容が重複する 文があることが判明した。その数を表 5 に示す。出力する回答数が増加するほど、重複文数も増加し、 FAQ 作成担当者が確認する文書量も比例して増加 してしまう。そのため、クラスタリング手法の改善 をすべきであり、それでも対処しきれない場合は文間の類似度を算出してフィルタリングを行うなどの 工夫を行う必要がある。表 5 重複内容文数

 &  & 重複文数 \\

2 & 2 & 1 \\
3 & 2 & 1 \\
4 & 1 & 0 \\
5 & 2 & 0 \\
6 & 1 & 0 \\

## 7 おわりに

本研究では、問い合わせログデータを用いた FAQ 作成の支援を目的とした回答文抽出において、重要 な回答文を複数抽出する手法を提案し、検証・評価 を行った。既存手法や文書要約手法と比較して、提案手法は可読性を保ちつつ、重要な情報を抽出でき ることが確認された。また、精度以外のメリットと して、クラスタサイズ (回答数) を重要度のスコア として提示できる点が挙げられる。

今後の課題として、提示する回答文が多くなる程、内容が重複した不要な文が増えてしまい、FAQ 作成担当者が確認する情報量が増えてしまうため、文間 の類似度を算出してフィルタリングを行うなどの工夫が必要である。

表 6 各手法での回答文抽出結果（クラスタ ID $=3$ の場合）

太字部分は重要情報となる箇所、下線部分は可読性を低下させている箇所を示している。

 &  \\

## 謝辞

本研究では、国立情報学研究所の IDR データセ ット提供サービスによりヤフー株式会社から提供を 受けた「Yahoo！知恵袋データ（第 2 版）」を利用 した。

## 参考文献

［1］土居誉生, 石垣泰地, 小澤仁護, and 稲田徹. ”質問生成ソリューション「なんでも Question」の紹介." SIG-SLUD 5, no. 02 (2019) : 123-124.

[2] 長谷川友治, et al. コールセンターにおける大規模質問応答データに基づく FAQ 作成支援 システムの実装. 第 66 回全国大会講演論文集，2004，2004.1：73-74.

[3]友松祐太; 戸田隆道; 杉山雅和. AI チャット ボットのためのチューニング支援システム. In：人工知能学会研究会資料 言語・音声理解と 対話処理研究会 90 回. 一般社団法人 人工知能学会, 2020. p. 08.

[4] 壹岐太一, et al. ヘルプデスクの対応記録から の QA リストの半自動抽出. 研究報告知能シ ステム (ICS), 2018, 2018.12: 1-8.

[5] PERONE, Christian S.; SILVEIRA, Roberto; PAULA, Thomas S. Evaluation of sentence embeddings in downstream and linguistic probing tasks. arXiv preprint arXiv:1806.06259, 2018.

[6] CER, Daniel, et al. Universal sentence encoder. arXiv preprint arXiv:1803.11175, 2018.

[7] ERKAN, Günes; RADEV, Dragomir R. Lexrank: Graph-based lexical centrality as salience in text summarization. Journal of artificial intelligence research, 2004, 22: 457479.

[8] ヤフー株式会社 (2011)：Yahoo！知恵袋デー 夕 (第 2 版). 国立情報学研究所情報学研究デ 一タリポジトリ. (データセット). https://doi. org/10. 32130/idr. 1.2