# クイズAI システムを用いた ヒューマンロボットインタラクションのための検討

坪倉和哉 1 久保谷空史 ${ }^{1}$ 小林邦和 ${ }^{1}$
1 愛知県立大学大学院情報科学研究科
\{im212008,im211004\}@cis.aichi-pu.ac.jp, kobayashi@ist.aichi-pu.ac.jp

## 概要

本研究では，「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦〜」 のシステムをヒューマンロボットインタラクション に適用するための検討を行った。具体的には，クイ ズ問題に対して, クイズ難易度と早押し可能タイミ ングのアノテーションを行い，分析を行った. クイ ズ難易度の推定では $65 \%$ の正解率を得た。また，平均的にクイズの問題文の $3 / 4$ が読み上げられた時点 で早押し可能であることが明らかになった。また， ロボットにクイズシステムの実装を行うための検討 を行った。

## 1 はじめに

近年，スマートスピーカやスマートフォンのバー チャルアシスタントなどの質問応答システムが身近 なものとなっている. そのため, 質問応答に関する 研究が行われている. 日本語を対象とした質問応答 の研究として「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦 11) （以下，「AI王」と呼ぶ）が挙げられる。AI王は, 日本語を対象とした質問応答研究を促進させることを 目的とし, クイズ問題を題材としたコンペティショ ンである. AI 王では，クイズの問題文からクイズの 解答を返すシステムの性能を競う. コンペティショ ンでは，クイズ問題の全文を入力としているため, クイズ番組で見られるような，いわゆる「早押し」 に関する問題には対応していない。また, システム がクイズを解答するだけではなく, クイズを通した 人とのインタラクションも考えられる。例えば，エ ンターテインメント分野や教育分野, 介護分野など において，ロボットやバーチャルエージェントとク イズを行うことで，ユーザを楽しませたり，教育的 な効果をもたらすことができると考える. このようなインタラクションを行うためには，

1) https://sites.google.com/view/project-aio/ competition2
クイズを出題したり，解いたりするだけではなく， ユーザの知識レベルに合わせて出題するクイズの難易度を変更したり, 難易度に応じて「この問題は難 しいね」などと発話することでインタラクションの 質を高めることが可能であると考える.

そこで本研究では, AI 王のデータセットとベー スラインモデルを用いて，コンペティションでは対象とされていない，人と一緒にクイズを行うロボッ トシステムを構築するための検討を行う，具体的に は, 以下の 3 点について検討を行った。

・クイズの難易度推定

・早押し可能なタイミングの分析

・AI 王のベースラインモデルをロボットに適用 し，人とロボットが一緒にクイズを行うシステ 么の検討

2 章では $\mathrm{AI}$ 王のデータセットの一部に対して行っ た難易度と早押し可能タイミングのアノテーション について述べる。 3 章では，アノテーションデータ を分析した結果をもとに考察する. 4 章では $\mathrm{AI}$ 王 のベースラインモデルをコミュニケーションロボッ 卜に適用するための検討を行う. 最後に 5 章で本稿 をまとめる。

## 2 クイズデータのアノテーション

本研究では, クイズ問題の分析を行うため, AI 王第 2 回コンペティションで公開されている「第 2 回 コンペティション開発データ $\mathrm{v} 1.0 」 を$ 用いる. この データセットに収録されている 1,000 問のクイズ問題からランダムで抽出した 100 問に対してアノテー ションを行った。アノテータは以下の 2 つのラベル のアノテーションを行った。なお，アノテータには 問題の ID (qid), 問題文 (question), 正解のリスト （answers）が与えられる.
- 難易度（1５９整数値）

・早押し可能タイミング
難易度は, クイズ問題の難しさを表す指標であ る. クイズの問題文と正解から, 問題の難易度を 1 (易しい) 〜 （難しい）の整数值でラベリングを 行う.

早押し可能タイミングは，仮にクイズの問題文を 読み上げられた場合, 読み上げ途中のどの時点で答 えを推測可能かを表す，AI 王ではクイズ問題の全文が入力として与えられるが，クイズ番組のように クイズ問題を読み上げるようなインタラクション を考えた場合には, 問題の読み上げ途中で解答する ことも可能となる. アノテータがクイズ問題の答え を知らない場合, 早押し可能タイミングのアノテー ションは困難であるから，アノテータにはクイズの 問題とクイズの答えを提示し，クイズの答えを知識 として知っているとした場合, 早押し解答可能だと 思う時点にラベルを付与してもらった.

アノテータは, 理系大学院生（情報系専攻） 3 名 （男性）である. アノテータの属性を理系大学院生 （情報系専攻, 男性）としたのは, 属性の違いによる 難易度の感じ方に対する影響を抑えるためである. クイズを題材として人とロボットがインタラクショ ンを行う際には, ユーザの属性を考慮した出題問題 の選択などにより, インタラクションの質を高める ことが可能になると考えるが，ユーザの属性とクイ ズ問題の難易度の感じ方の関係性については本研究 では対象とせず，今後の検討事項としたい.

## 3 分析と考察

本章では前章のアノテーション結果の分析と考察 を行う。

## 3.1 クイズ難易度

人とロボットがクイズを題材としてインタラク ションを行うことを考える上で, クイズの難易度を 推定することはインタラクションの幅を広げるこ とができる．例えば，インタラクション相手が子ど もであれば，易しい問題を提示し，クイズが得意な ユーザであれば難しい問題を提示するといったこと が可能となる. そのため, クイズ難易度の推定を試 みる。

## 3.1.1 アノテータによる難易度の違い

3 名のアノテータによるクイズ難易度ラベルのア ノテーションの結果を表 1 に示す. 3 名のアノテー タ間で全アノテータが同一ラベルを付与した割合は表 1 クイズ難易度アノテーションの結果

$22 \%$ ，少なくとも 2 名が同一ラベルを付与した割合 は 75\%であった. クイズ問題每に 3 名のアノテータ の難易度ラベルの平均值を求め, その値をクイズの 難易度とした. 全クイズの難易度の平均値を求めた 結果，平均クイズ難易度は 3.0 となった。

## 3.1.2 クイズ問題から特徴量の抽出

クイズの問題文からクイズ難易度との相関の分析 （3.1.3）や難易度推定（3.1.4）に用いるための特徴量 の抽出を行う.

クイズ問題の難易度推定のために, クイズの問題文から以下の特徴量を抽出した。

・クイズの問題文の長さ
- 問題文中の各品詞の出現数

問題文中の各品詞の出現数は，オープンソースの 日本語自然言語処理ライブラリである「GiNZA $\rfloor^{2)}$ を用いて，クイズの問題文を形態素解析し，品詞ご とに出現頻度をカウントした. なお, 品詞のタグ セットとして, 日本語の UD 品詞タグで定義されて いる 17 種の品詞タグを用いた [1].

## 3.1.3 特徴量と難易度の相関の分析

クイズの難易度と 3.1.2 節で抽出した特徴量との 相関の分析を行う. クイズの難易度は 3 名によるア ノテーションの平均値を採用する.

クイズの難易度と前節で抽出した特徴量との間に 弱い相関（ $|r|>0.20 ）$ のある特徴量と相関係数を表 2 に示す. 表より, 3 つの特徵量においてクイズ難易度との弱い相関がみられた. 問題文に登場する固有名詞を知っていないと, クイズに解答が困難であ ることから, 固有名詞とクイズの難易度との間に弱 い相関があったと考えられる。設置詞は, 格助詞・副助詞・係助詞である. 語と語の意味関係を示した り，意味を添えたりするため，クイズ問題文中に設置詞の数が多くなると, 問題文の複雑度が上がり,難易度も高まると考えられる．同様に，問題文が長 くなるほど問題文の複雑度が上がるため, 難易度も 上がると考えられる。


表 3

## 3.1.4クイズ難易度の推定

3.1.2 節で抽出した特徴量を用いてクイズの難易度の推定を試みる. 17 個の品詞タグセットうち,「等位接続詞」と「その他」はデータセット中に出現しなかったため，「等位接続詞」と「その他」を除 く 15 個の品詞の出現頻度とクイズ問題文の長さを 合わせた，合計 16 個の特徵量をクイズの難易度の 推定に用いる.

クイズの難易度は 1～5 の範囲の值であるが，こ こでは単純化のため, 3 名のアノテーションの平均值が 3 以下のクイズを「易しい」，3より大きいクイ ズを「難しい」とし，難易度（易しい/難しい）の 2 クラス分類問題として学習・評価を行う.

難易度推定には中間層 2 層からなる NN（Neural Network）を用いる。100 問のクイズ問題のうち，80 問を学習に, 残りの 20 問を評価に用いる. 各特徴量 の標準化を行い, $\mathrm{NN}$ の入力とした. 学習は $10 \mathrm{epoch}$行った.

なお，NN のハイパーパラメータ（中間層のユ ニット数, ドロップアウト率, 中間層の活性化関数, 最適化アルゴリズム）は，オープンソースのハ イパーパラメータ自動最適化フレームワークである Optuna[2] を用いて最適化を行った。最適化したハ イパーパラメータを表 3 に示す.

評価の結果, 難易度の 2 クラス分類の正解率は $65 \%$ と低い精度となった。推定に用いた特徴量は品詞の出現頻度と問題文の長さを合わせた 16 個の特徵量であり, クイズの難易度推定には十分な情報が 含まれていないことが確認された。

## 3.2 早押し可能タイミング

クイズ番組のようにクイズ問題が読み上げられ, クイズに解答するインタラクションを考えた場合， いわゆる「早押し」が可能となるため, 早押し可能
なタイミングの分析を行った。

3 名のアノテータがクイズ問題文中に早押し可能 タイミングの付与を行った。まず， 3 名のアノテー タによる問題文の長さに対する早押し可能位置の平均を求めた. クイズの問題文の長さを $100 \%$ とした 場合，早押し可能位置の平均は $74.7 \%$ であり, 問題文の $3 / 4$ が読み上げられた時点でおおよそ半数の問題が回答可能であることが示唆された。

クイズの問題文の長さに対する早押し可能位置と 難易度との相関係数を求めた結果，0.137 であった。 そのため, 早押し可能タイミングはクイズの難易度 には依存しないことが示唆された。

## 4 ロボットへの実装

本章では，人とロボットが一緒にクイズを行うイ ンタラクションの実装を検討する。人とロボットが 一緒にクイズを行うことを考えた場合，クイズの司会者と解答者の 2 つの役割がある。人とロボットに この役割をどう割り当てるかによって，いくつかの インタラクションの形式が考えられるが，ここで は，人が司会者としてクイズ問題を出題し，人とロ ボットがクイズの解答を行うことを考える．本研究 では, 対話ロボットとして, ソフトバンクロボティ スク社の「NAO」を用いる.

## 4.1 クイズインタラクションの流れ

クイズインタラクションの流れを図 1 に示す.ま ず，司会者がクイズ問題を読み上げる．解答者（ロ ボット）は司会者が読み上げたクイズ問題を音声認識する。音声認識には Google Cloud Speech-to-Text ${ }^{3}$ ) を用いる．音声認識結果は，クイズ解答推定システ ムに送られる。ここでは，クイズ解答推定システム として，AI 王のベースラインシステムを用いる。こ のベースラインシステムは，文献 [3] をべースに AI 王コンペティションで扱う日本語クイズ問題で利用 できるように改修されたシステムである.

続いて, 解答者（ロボット）はクイズ解答推定シ ステムにより予測されたクイズ解答を読み上げる.読み上げられた解答は司会者により正誤判定が行わ れ，「正解です」や「不正解です」などとフィード バックする．ロボットは司会者の正誤判定を音声認識し，正解の場合は喜びを，不正解の場合は悲しみ を表出する発話や動きを行うことで，正誤判定に対 してフィードバックする．その後は，クイズの出題

3) https://cloud.google.com/speech-to-text

図 1 クイズインタラクションの流れ

回数の上限まで上述の流れを繰り返す.

図 1 では考慮されていないが, 通常クイズの解答者は複数である. そのため, クイズの解答段階で は，クイズの解答権の付与を行う必要がある. 本シ ステムでは, クイズ解答前にロボットの名前 (NAO) を呼ぶことで解答権の付与を行う。

## 5 おわりに

本研究では，「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦～」 のシステムをヒューマンロボットインタラクション に適用するための検討を行った. 具体的には，クイ ズ問題に対して, クイズ難易度と早押し可能タイミ ングのアノテーションを行い，分析を行った。クイ ズ難易度の推定では $65 \%$ の正解率を得た. また, 平均的にクイズの問題文の $3 / 4$ が読み上げられた時点 で早押し可能であることが明らかになった。また， ロボットにクイズシステムを実装するための検討を 行った。

今後の課題として, 本研究でクイズ難易度の推定 に用いた特徵量 16 個では十分に難易度を推定でき ないことが明らかとなったため, 単語や文章の意味表現ベクトルを用いるなど，特徴量を追加し，クイ ズ難易度推定の精度向上を目指す。また，多様な属性のアノテータにクイズ難易度をアノテーション してもらうことで, ユーザの属性とクイズ難易度の 関係性を分析し，ユーザの属性を考慮した出題問題 の選択を可能にすることを目指す. 本研究では早押 し可能タイミングの推定は行っていないため, 今後 データを増やして早押し可能タイミングの推定を行 う. さらに, 本研究ではロボットへの実装の検討を 行ったが，実装と人を含めたインタラクション実験 は行っていないため, 今後人とロボットが一緒にク イズを解く実験を行い，インタラクションの評価を する予定である.

## 参考文献

[1] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパス.自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[2] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. CoRR, Vol. abs/1907.10902, , 2019.

[3] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.
 坪倉和哉 1 久保谷空史 ${ }^{1}$ 小林邦和 ${ }^{1}$ 1 愛知県立大学大学院情報科学研究科 \{im212008,im211004\}@cis.aichi-pu.ac.jp, kobayashi@ist.aichi-pu.ac.jp  