# 旅行代理店での対話における回答方法を基準とした質問分類

柳谷百音 ${ }^{1}$ 但馬康宏 ${ }^{2}$
${ }^{1}$ 岡山県立大学大学大学院 情報系工学研究科 ${ }^{2}$ 岡山県立大学 情報システム工学科
${ }^{1}$ sk621047@cse. oka-pu. ac. jp

## 概要

本研究では旅行代理店での案内役として扱われる 対話ロボットに着目した。このロボットはユーザか らの多数の質問に回答しなければならない. ユーザ が満足する回答を示すためには質問の意図を適切に 把握し，それに応じて回答手法を変えることが有効 であると考え, 旅行代理店の対話における回答方法 を基準とした質問分類の提案およびその分類を行う 手法の検討を目的としている。質問の分類として，情報提示，ロコミ，意見，おすすめ，最新情報の 5 種類の提案を行い, 分類手法として単語ベクトルを 特徼量としたサポートベクターマシンを実装し, 分類精度の比較実験を行った.

## 1 研究目的 - 背景

近年，様々なロボットが開発されていく中，ユー ザと対話し，情報や面白さを提供することを目的と した対話ロボットの研究も進められている[1][2][3]. その中には, 店内で商品の案内をするロボットや,駅の窓口で切符の買い方を案内するロボットなどユ 一ザの目的に沿った様々な対話ロボットが存在する。

本研究では, 旅行代理店などのカウンター越しに 来店したお客様に対して商品の販売やサービスの提供を行う，カウンターセールスで扱う対話ロボット に着目した。これらの対話ロボットは, お客様であ るユーザと対話し, ユーザからの多数の質問に答え なければならない。ユーザがする質問は商品の情報 を聞きたい質問や，おすすめを尋ねる質問，相手の 意見を聞きたい質問などが混在している。ユーザの 対話の満足度向上には情報の正確性のみが重要では なく, 質問の意図を把握し, ユーザに寄り添った回答をすることが求められる．例えば，「東京駅には 様々なお店があって楽しいですよね?」という質問 の場合, 質問者は「はい, 東京駅には何店舗のお店 があります」といった回答を望んでいるのではなく，「はい，私もよくランチをして楽しんでいます。」
のような返答が望ましい。このように回答に期待す ることは質問によって異なる。 そこで質問を，回答方法を基準に分類し，その分類に応じた適切な回答方法で答えを提供することによって，よりユーザの 満足度が高い対話が実現できると考えた. 本研究で は最初の段階として，旅行代理店での対話における 回答方法を基準とした質問分類の提案および，その 分類を行うための機械学習を用いた手法の検討を目的とする。

## 2 関連研究

Q\&A サイトにおける質問と回答の分類に関する 研究として栗山らの研究[4]がある. この研究では, Yahoo!知恵袋において質問者の目的や意図がどのよ うに質問文に影響を与えるのかを調べるための最初 の段階として，質問のタイプについての分析を行っ た. 著者らは質問を手作業で分析し，Q\&A サイトに 見られる質問を大きく分けて情報検索型と社会調查型, 非質問型の 3 種類, さらにそれぞれのタイプに おいて詳細に分類し計 13 種類の質問のタイプを提案している。この分類を行うために，田中ら[5]や大森ら[6]の研究では機械学習や特徵表現を用いた手法を提案している.

質問者の期待に基づく質問分類として渡邊らの研究[7][8]がある.この研究では $\mathrm{QA}$ コミュニティにお いて回答者の質問の選択を容易にすることを目的と した質問タイプの分類方法について述べられている.質問タイプとして事実，根拠，経験，提案，意見へ 分類し，その分類を行うためのSVM を用いた手法 を提案している. SVM の入力に用いる素性として質問文から決められた品詞の組み合わせの単語ベクト ルを使用した場合と，人手で各カテゴリにおいて選択語を決め素性とした場合において精度の比較を行 った結果，選択語を素性とした場合のほうが単語べ クトルを素性とした場合よりも $\mathrm{F}$ 值が 2 倍良好であ った.

## 3 質問の分類

本研究において質問は質問者を満足させるための 回答方法を基準に 5 種類への分類を提案する. 質問 の定義について表 1 に示し, それぞれの分類につい て説明する。

## 表 1 : 提案する質問のカテゴリと定義

「情報提示」は客観的な回答が求められ, 回答者 による差はない質問である.このカテゴリの質問の 場合には，質問者は知識や情報量が少ない人と考え られ, 回答方法としてはインターネットの情報など を分かりやすく提示するのがよいと考えられる.

「口コミ」は回答者によって答えが異なる質問で,質問者は経験について知りたいことが多い. そのた め, 回答手法としてはロコミサイトなどからの引用 が効果的であると考えられ, 数が多い, 信頼性が高 い情報が求められる.

「意見」も回答者によって答えが異なる質問であ るが, 「口コミ」とは異なり, 経験を含まない質問 も存在する. また, 一人の回答者であっても, 時期 によって答えが異なる特徴がある.

「おすすめ」は質問者がおすすめを尋ねる質問で， レコメンドシステムのように質問者に応じた回答が 求められる. そのため, 「おすすめ」の質問の場合 には，すぐに回答するのではなく，質問者の好みや 条件を絞るような質問をすることが効果的であると 考える。

「最新情報」は旅行代理店特有の時期に応じた質問が多いことに着目しカテゴリとして提案する. 旅行や観光における質問には, その時によって回答が 異なることや，インターネットよりも最新の情報を 求める場合が多い. そこでこのカテゴリの質問に対 しては, SNS などの最新情報を得られるツールでの 回答や, 現地の人が回答することによってより質問者の求める新鮮な情報が得られると考えた.

各カテゴリにおける旅行代理店で考えられる質問例を表 2 に示す.

表 2 : 各カテゴリにおける質問文の例

検索型に分類される質問を一つのカテゴリとして設定したことである。これは，「事実」，「根拠」の どちらのカテゴリにおいても回答方法はウェブサイ トの記事からの引用など同じであると判断したため,今回の回答方法を基準とした分類では一つのカテゴ リとした. また, 今回は関連研究にはなかった「最新情報」のカテゴリを追加した. このカテゴリの追加により，質問を時間軸で分類することが可能とな り, リアルタイムな情報が求められる旅行代理店で は有効でありユーザの満足度が向上すると考えられ る.

## 4 分類手法

## 4. 1 使用したデータ

次に，本研究の分類を行うための機械学習を用い た手法について説明する。

はじめに，機械学習に用いたデータについて説明 する. 旅行代理店のカウンターで考えられる質問と しては観光地に関する質問，旅行に関する質問が考 えられる.そこで質問文のデータとしては Yahoo!知恵袋の「地域, 旅行, おでかけ>観光地, 行楽地」 カテゴリ内の 2020 年 12 月 1 日から 2020 年 12 月 13 日までに投稿された回答済みの質問 501 個を用意し た. 旅行代理店のカウンターでは対話が行われてい るため，ユーザは質問を短い文で尋ねると考えられ る. そこで，用意した各質問の中心となる質問部分 を 1 文，または 2 文を抜粋し，今回の質問文のデー タとした。 そして各質問文に対して形態素解析器 $\mathrm{MeCab}$ を用いて形態素解析を行い, 質問文を形態素 ごとに分解し, 品詞を付与した. 各カテゴリの質問数および合計を表 3 に示す. 学習データとして各力 テゴリの質問の 7 割を使用した。
表 3 : 各カテゴリにおける質問数

## 4. 2 単語のベクトル化

形態素ごとに分割された質問文に対して単語べク トルの付与を行った. 今回，ベクトル化には tf-idf ベ クトルと Word2Vec[9]を用いた. それぞれのべクト ル化について説明する.

tf-idf ベクトルとはいくつかの文書があった場合，各文書におけるキーワードの重要性を示すための手法である．今回は各カテゴリの質問文全文をひとつ の文書としてとらえ, 各カテゴリにおける単語の tfidf ベクトルの計算を行った. tf(term frequency)は単語の出現頻度で, 各文書においてその単語がどれほ ど出現したかを表し, ある単語 $i$ 文書 $j$ 内での出現回数を $n_{i j}$, 文書 $j$ のずての単語の出現回数の和を $\sum_{k} n_{k j}$ とすると, 式(1)で求められる.

$
t f(i, j)=\frac{n_{i j}}{\sum_{k} n_{k j}}
$

次に idf(inverse document frequency)は逆文書頻度 で，ある単語が出現する文書頻度の逆数を表す.こ の値は複数の文書にわたって多く出現する単語は値 が小さくなるのに対して一つの文書のみに何回も出現する単語は値が大きくなる. 全文書数を $D$, 単語 $i$ が出現する文書数を $d f(i)$ としたときの $\operatorname{idf}$ は式(2)に よって求められる.

$
i d f(i)=\log \frac{D}{d f(i)+1}
$

$\mathrm{tf}$ 値と idf 値を利用して文書 $j$ における単語 $i の \mathrm{tf}$ idf 値は式(3)で求められる。

$
t f-i d f_{i, j}=t f(i, j) \times i d f(i)
$

この值を各カテゴリにおけるそれぞれの単語にお いて求め単語ベクトルとして使用した. 今回はベク トル化する単語の品詞を名詞, 名詞（数, 固有を除 く), 自立語, 全品詞の 4 パターン作成し, 精度の 比較を行った. 次に, Word2Vec について説明する.

Word2 Vec とは文章中の単語を数値ベクトルに変換
してその意味を把握するものである. tf-idfベクトル では学習データに使用されている単語のみのベクト ル化になるため, 未知語がテストデータに含まれた 場合に対処できない，そのため精度が下がることが ある.そこで膨大なテキストデータを学習させた Word2Vec を使用することで未知語にも対応するよ うにした．Word2Vec の訓練済みベクトルとして日本語 Wikipedia エンティティベクトルiを使用した. またベクトル化する単語の品詞は名詞十動詞を使用 した場合と自立語を使用した場合の 2 パターンを作成して精度の比較を行った。

## 4. 3 使用した分類器

次に質問文の単語ベクトルを入力とした分類器を 作成し, 質問文の分類を行った. 本研究の分類には サポートベクターマシンを使用した。サポートベク ターマシンは通常 2 值分類を行う分類器である. そ こで今回は各カテゴリに属するか否かの分類を行う 実験 1 ，およびサポートベクターマシンを多クラス 分類に応用した実験 2 を行った. サポートベクター マシンを多クラス分類に適応した仕組みについて説明する. 本研究ではサポートベクターマシンのツー ルとして scikit-learn ライブラリの $\mathrm{SVC}$ (Support Vector Classification)使用した。 決定関数は ovr(one versus the rest)とし，ある特定のクラスに入るか，他 のどれかのクラスに入るかの 2 值分類をとく分類器 を作成した。そして多クラス分類に適応させるため に, 分類の確信度のスコアとしてdecision_function の 値を使用した.decision_function の値は入力がそのカ テゴリにおける信頼度をレンジなしで示すものであ り，值が大きいほどそのクラスに対する確信度が高 い. そこで入力に対して最も大きい値を出力したク ラスをその質問文のカテゴリとして多クラス分類を 行った.

## 5 実験結果・考察

提案手法を用いて素性別，カテゴリ別の分類精度 について実験した. 使用したデータは Yahoo!知恵袋 の「地域, 旅行, おでかけ>観光地, 行楽地」カテ ゴリ内の 2020 年 12 月 1 日から 2020 年 12 月 13 日 までに投稿された回答済みの質問 501 個で，7 割を 学習データ, 3 割をテストデータとし, 3 回の交差検証を行った。
^{i}$ https://github.com/singletongue/WikiEntVec
}
表 4 : 実験 1 における各カテゴリ素性別の正解率

## 5. 1 実験 1

各カテゴリに属するか否かの分類を行った実験結果について，各カテゴリの正解率を表 4 に示す. べ 一スラインは寸べての質問を情報提示に分類した場合の正解率である.

正解率における素性別の結果については, tf-idf ベ クトルを使用した場合において素性による差がほぼ 見られなかった。情報提示，おすすめ，最新情報で は名詞（数, 固有を除く）, ロコミと意見において は全品詞の正解率が最も高かった. Word2Vec では 名詞十動詞を素性とした場合が良好であるが tf-idf ベクトルとほぼ同じ正解率であった. カテゴリ別に おける結果についてはどのカテゴリにおいても 0.6 を上回る正解率の素性が見られた。おすすめ, 最新情報の值が高く，情報提示が最も低い正解率であつ た。交差検証において分散が最も小さいのは Word2 Vec の名詞＋動詞を素性とした場合で平均値 も最も高かった. カテゴリ別の比較ではおすすめが 他と比べて圧倒的に高いが素性によるばらつきは見 られた。ロコミ，意見はどの素性においても低い結果であった.

## 5. 2 実験 2

次にサポートベクターマシンを用いて多クラス分類を行った。その結果を表 5 に示す.

表 5 は各カテゴリの再現率，および全体の正解率 を示している. 実験 2 のおいては名詞, 名詞 2 (数,固有を除いた名詞），自立語，全品詞を素性とした tf-idfベクトルと自立語を素性とした Word2Vecを単語ベクトルとして使用した.表 5 : 実験 2 における再現率，全体の正解率

再現率の結果について素性別にみると, 情報提示, ロコミでは Word2Vec を使用した場合，意見，おす すめでは自立語，最新情報では名詞を用いた場合の 再現率が最も高くなった。しかし，平均を取ると素性による差はほぼ見られない。また，カテゴリ別に 比較すると, おすすめの再現率が 0.8 と圧倒的に高 く, 口コミ，意見は 0.3 前後と低い。全体の正解率 においては素性別の差はほぼ見られず, 0.4 前後であ った.

## 6 まとめ

本研究では旅行代理店での対話における回答方法 を基準とした分類の提案，および機械学習を用いて その分類を行う手法の検討を目的とした. 回答方法 を基準とした分類として，「情報提示」「ロコミ」

「意見」「おすすめ」「最新情報」の 5 種類への分類を提案した. 分類手法としては tf-idf ベクトルや Word2Vec の単語ベクトルを特徴量とした SVM の 実装を行い，素性別やカテゴリ別における分類精度 を比較した。実験の結果素性による差は大きくはな いものの, 名詞が分類を左右する特徴になっている ことが分かった. 今後の課題として分類器にサポー トベクターマシン以外を使用すること，精度を高め るための素性の探究が挙げられる.

## 参考文献

[1] 吉田裕介, 萩原将文, “複数の言語資源を用いた ユーモアを含む対話システム” , 日本知能情報ファ ジィ学会誌, vol.26, No.2, pp.627-636, 2014.

[2] 藤倉将平, 小川義人, 菊池英明, “非タスク指向対話システムにおけるユーモア応答生成手法” , 人工知能学会全国大会論文集，pp.1-4，2015.

[3] 赤崎智, 鍜治伸裕, “知的対話アシスタントにお ける雑談を目的としたユーザ発話の検出” , 情報処理学会研究報告, vol.2017-NL-231, No. 18 pp.1-9, 2017. [4] 栗山和子, 神門典子, “Q\&A サイトにおける質問と回答の分析”, 情報処理学会研究報告, vol2019F1-95, No. 19 pp.1-8, 2009.

[5] 田中友二, 望月崇由, 八木貴史, 徳永幸生, 杉山精, “Q\&A サイトにおける情報検索型質問の自動抽出”, 第 74 回全国大会講演論文集, pp.529-530, 2012. [6] 大森勇輔, 森田和宏, 泓田正雄, 青江順一, “疑似訓練データを用いた $\mathrm{Q} \& \mathrm{~A}$ サイトの質問分類”，言語処理学会第 21 回年次大会発表論文集, pp.489492, 2015 .

[7] 渡邊直人, 島田諭, 関洋平, 神門典子, 佐藤哲司, “QA コミュニティにおける質問者の期待に基づく 質問分類に関する一検討, ” , DEIM Forum 2011,B51,2011 .

[8] 渡邊直人, 島田諭, 関洋平, 神門典子, 佐藤哲司, “コミュニティ QAにおける質問の多面的評価法の 検討” 情報知識学会誌, vol.21, No. 2 pp.163-168, 2011. [9] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean, "Efficient Estimation of Word Representations in Vector Space” ICLR Workshop, 2013.
 柳谷百音 ${ }^{1}$ 但馬康宏 ${ }^{2}$ ${ }^{1}$ 岡山県立大学大学大学院 情報系工学研究科 ${ }^{2}$ 岡山県立大学 情報システム工学科 ${ }^{1}$ sk621047@cse. oka-pu. ac. jp  