# 早押しクイズのパラレル問題の自動生成

橋元佐知 佐藤理史 宮田玲 小川浩平
名古屋大学大学院工学研究科
hashimoto.sachi@d.mbox.nagoya-u.ac.jp

## 概要

本稿では、日本語の早押しクイズの「パラレル問題」を自動生成する方法を提案する。この方法で は、アノテーション済みの既存のパラレル問題を利用し、その一部の要素を置換することによって、新 たな問題を作成する。置換する要素には、対比ぺ ア、答の上位概念、問題の対象ドメイン、の 3 種類 がある。これらの置換先の候補として、特定のカテ ゴリに対するワードリストや対比ペアリストを準備 しておく。本システムを用いて、これまでに、500 問以上の新たなパラレル問題を作成した。

## 1 はじめに

答が一意に定まるクイズ問題は、これまで質問応答 $(\mathrm{QA})$ システムの開発において、しばしば用いら れてきた [1][2]。日本でも、クイズを題材にした日本語 QA データセット JAQKET[3] が開発され、これ を用いた質問応答システムのコンペティションも行 われた [4]。

このようなデータセットの構築のためには、大量 のクイズ問題が必要となるが、良質のクイズ問題を 作成することは、それほど容易ではない。問題文と その答を作ることが最初の関門であるが、それ以外 にも「裏取り」と呼ばれる答の正当性・一意性を確認する作業や、問題の難易度の適切さを確認する作業が必要であり、かなりの知力と労力、経験を必要 する [5]。QA システムが目指しているのは、クイズ 問題を解く能力の実現であるが、クイズ問題を作る ためには、それとは異なる知的能力が必要である。実際、クイズ問題作成は、ある種の創作という側面 を持ち、日本ではクイズ作家とよばれる人達やクイ ズ制作専門会社が存在する。

コンピュータによるクイズ問題自動生成の目的 は、単に QA システム開発用のデータセット構築の ために留まらない。良質のクイズ問題の自動生成が 可能となれば、クイズ大会やクイズ番組への問題提供など商用利用の道が開ける。さらに、教育現場で の活用を想定したクイズ問題の自動生成の研究もい くつか存在する [6][7]。

本稿では、日本語の早押しクイズの「パラレル問題」を対象に、クイズ問題を自動生成する方法を提案する。

## 2 パラレル問題の構造と特徵

本研究が対象とする「パラレル問題」とは、 アイルランドの首都はダブリンですが、アイス ランドの首都はどこでしょう？

のような、「〜は〜ですが、〜は何でしょう？」と いう形式の問題である。その基本構造を図 1 に示す $[8]$ 。パラレル問題は 4 つのパート $(\mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D})$ と答 $(W)$ から構成され、各パートはそれぞれ中核要素 $(X$, $Y, Z, Q)$ を持つ。これら以外にも、中核要素の上位概念や問題の対象ドメインが含まれる場合もある。本研究で扱う問題の構成要素の一覧を表 1 に示す。

パラレル問題の最大の特徴は、 $X$ と $Z$ (あるいは、 まれに $Y$ と $Q(=W))$ が、何らかの対比軸になってい ることである [5]。本稿では、この対比軸の分類を 対比関係と呼ぶ。この対比関係の種類は限られてい る (表 2)。例えば、「アイルランド $(X)$ の首都はダブ リンですが、アイスランド $(Z)$ の首都はどこでしょ う？」という問題では、「アイルランド」と「アイス ランド」が音・表記の類似という観点で対比関係を なす。「日本で一番 $(X)$ 高い山は富士山ですが、二番目 $(Z)$ に高い山は何でしょう？」という問題では、「一番」と「二番目」が連続という観点で対比関係を なす。「アイルランド $(X)$ の首都はダブリンですが、中国 $(Z)$ の首都はどこでしょう？」や「日本で一番 $(X)$ 高い山は富士山ですが、三番目 $(Z)$ に高い山は 何でしょう？」という問題は、対比関係が不自然で あり、パラレル問題として不適切である。

パラレル問題のもうひとつの特徵は、前半部 $(\mathrm{AB}$ パート) と後半部 (CD パート) が並行的となる点で ある。つまり、 $X-Y$ の関係と $Z-Q(=W)$ の関係は、

図 1 パラレル問題の基本構造

表 1 パラレル問題の構成要素

同一である。例えば、「アイルランド $(X)$ の首都は ダブリン $(Y)$ ですが、アイスランド $(Z)$ の公用語は 何 $(Q)$ でしょう？」という問題は、「アイルランド首都-ダブリン」と「アイスランドー公用語-アイス ランド語」という関係が一致しないため、パラレル 問題として不適切である。

## 3 問題文生成の基本戦略

前節で述べた 2 つの特徴は、パラレル問題を作る 際に満たすべき制約となる。この 2 つの制約を満た す問題を作る方法として、既存のパラレル問題を利用し、その一部の要素を置換する方法を採用する。置換する要素には、いくつかの選択肢がある。

## 3.1 対比ペアを置換する

問題文に含まれる対比ぺア $(X$ と $Z$ )を別の対比ぺ アに置換することにより、新たな問題を作ることが できる。以下にその概略を示す。

1. 元となる問題を選択する。

例:「アイルランドの首都はダブリンですが、ア イスランドの首都はどこでしょう？ (答: レイ キャビク)」

2. 置換元の対比ぺアを抽出し、問題をフレームに 一般化する。

フレーム $=X$ の首都は $Y$ ですが、 $Z$ の首都はど こでしょう？ (答: $W$ )

$X, Z=$ アイルランド, アイスランド

3. 置換先の対比ペアを決定する。

$X, Z=$ オーストリア, オーストラリア

4. 問題作成に必要な答要素 $(Y$ と $W)$ を決定する。

 \\

$Y=$ ウィーン,$W=$ キャンベラ

5. フレームに要素を代入し、問題を完成させる。「オーストリアの首都はウィーンですが、オー ストラリアの首都はどこでしょう？ (答: キャン ベラ)」

ここで、ステップ 3 と 4 の実現がポイントとなる。 ステップ 3 では、フレームに代入できる置換先対比ぺアを選択する必要がある。置換元の対比ペアと 同種の対比ペア、つまり、語のカテゴリ (上記の例 では「国名」) が同一であり、対比関係の種類 (「音・表記の類似」) が同一であるような対比ぺアを選択 すれば、フレームに代入できる可能性が高い。加え て、対比関係の種類が「対義 (『最初に』と『最後 に』)」の場合は、これを「連続(『最初に』と『次 に』)」に置換することにより、問題を作れる場合も ある。

ステップ 4 で答要素 $(Y$ と $W)$ を決定することは、「オーストリア (オーストラリア)の首都はどこで しょう」という問題を解くことに等しい。つまり、 ステップ 4 を実現するには、クイズ問題を解く方法 を適用すればよい。

## 3.2 対比ペア以外の要素を置換する

対比ペア以外の要素 $(y, D)$ の置換によっても、新 たな問題を作ることができる。以下にその概略を 示す。

1. 元となる問題を選択する。

例：「日本で最も大きいトンボはオニヤンマで すが、最も小さいトンボは何でしょう？(答: ハッチョウトンボ)」

2. 置換元要素を選択し、問題をフレームに一般化 する。

フレーム $=$ 日本で最も大きい $y$ は $Y$ ですが、最 も小さい $w(=y)$ は何でしょう？ (答: $W$ ) $y=$ トンボ

3. 置換先要素を決定する。 $y$ ニカマキリ

4. 問題作成に必要な答要素 $(Y$ と $W)$ を決定する。

図 2 パラレル問題自動生成システムの構成

$Y=$ オオカマキリ,$W=$ ヒナカマキリ

5. フレームに要素を代入し、問題を完成させる。

「日本で最も大きいカマキリはオオカマキリで すが、最も小さいカマキリは何でしょう (答: ヒ ナカマキリ)

基本的な流れは、対比ペアの置換の場合と同じで あり、置換元要素の選択 (ステップ 2) と置換先要素 の決定 (ステップ 3) のみが異なる。ステップ 3 で は、置換元の語と同じカテゴリの語を選択すると、 フレームに代入できる可能性が高い。

なお、上記の例では、答要素 $Y$ の上位概念である $y(=w)$ を置換したが、ドメイン $D$ の置換 (「日本 $\rightarrow$ 世界」)によっても、新しい問題を作ることがで きる。

## 3.3 自動化への準備

上記の方法を自動化するために、次の準備を 行う。

1. 追加アノテーション

既存のパラレル問題には、すでに構成要素 (表 1) がアノテーションされているが [8]、それ に加えて、各要素に国名などのカテゴリ情報を 付与する。さらに、対比ペアには、対比関係の 種類の情報を付与する。

2. ワードリスト・対比ペアリストの作成

付与したカテゴリに対して、そのカテゴリに属 する語を集めたリストや対比ペアリストを作成 する。

## 4 パラレル問題自動生成システム

作成したパラレル問題自動生成システムの全体像を図 2 に示す。本システムの入力はアノテーショ ン済みのパラレル問題であり、前節に示した流れに 沿って、新たなパラレル問題を作成・出力する。以下では、置換先の候補となる、ワードリストと対比 ペアリストの作成法、および、答要素 $(Y, W)$ の決定法を説明する。

## 4.1 ワードリストの作成

問題の構成要素 $(X, Z, D, y)$ のカテゴリに対する ワードリストの作成には、次の 2 種類の方法を使用 した。ワードリストに収録する語は、原則として、日本語版 Wikipedia の記事タイトルに限定した。

## 1. 記事冒頭文を利用した同一カテゴリ語の収集

Wikipedia 記事の最初の 1 文 (記事冒頭文) が類似していたり、その文の最後の名詞句が同一で あれば、それらの記事のタイトルは同一カテゴ リに属する可能性が高い。この性質を利用して 特定のカテゴリに属する語を収集する。具体的 には、既存のパラレル問題から特定のカテゴリ に属する語の具体例を収集し、それを出発点と して、そのカテゴリに属する語を収集する。記事冒頭文の類似性判定には、TF-IDF の重み付 き Bag-of-Words のコサイン類似度を用い、値が 0.65 以上である場合に、同一カテゴリに属する と判定する。

2.「○○の一覧」ページからの抽出

Wikipediaの「○○の一覧」ページでまとめられ ている項目を収集する。

作成したワードリストの語に対して、ローマ字読 み（訓令式）を追加した。また、「略称」「人物の愛称」などのカテゴリでは、「機関・機構の略語」「歴史上の人物の幼名」のような下位のカテゴリを設 け、各語に正式名称等の情報を追加した。

対比ぺアを構成する要素 $(X, Z)$ では 78 種類のカ テゴリが存在するが、これまでに 11 種類のカテゴ リのワードリストを作成した。それ以外の要素 $(D$, $y)$ では、13 種類のカテゴリ中、 2 種類のカテゴリの ワードリストを作成した。

## 4.2 対比ペアリストの作成

対比ペアリストは、次の 2 種類の方法で作成した。

1. ワードリストから作成する (音・表記の類似)特定のカテゴリに対するワードリストから、音 や表記が類似するぺアを次の方法で収集し、そ のカテゴリの対比ぺアリストを作る。

(a) 表記および音 (ローマ字読み) の編集距離 が、それぞれの文字列の平均長の $1 / 2$ を超 えないペアを抽出する。

(b) 得られたぺアのリストを、音の編集距離が 小さい順 (同一の場合は、表記の文字列長 の差が小さい順) にソートする。

(c) ソートされたリストの先頭から、ペアを順 に取得する。ただし、既に取得したぺアに 含まれる語を含むぺアは取得しない。

## 2. 既存のパラレル問題から収集する (対義・連続)既存のパラレル問題から、カテゴリが「属性・程度」か「属性・順序」で、かつ、対比関係が 「対義」である対比ぺアを「対義ペアリスト」 に、対比関係が「連続」である対比ぺアを「連続ペアリスト」に収録する。この 2 つの対比ぺ アリストは、対比関係の種類が「対義」の問題 から、「連続」の問題を生成する際に使用する。

## 4.3 答要素の決定

作成する問題の答要素 $(Y, W)$ の決定には、次の 2 つの方法を使用する。以下では、答要素 $Y$ を決定す る方法を示すが、 $W$ の決定法も同様である。

## 1. ワードリストに情報が存在する場合

ワードリストの情報をそのまま利用する。例え ば、「GDP は $Y$ の略ですが」という問題文が得 られ、ワードリストに「GDP」の正式名称の情報がある場合は、その正式名称を $Y$ として採用 する。

## 2. 検索エンジンを利用する

Yahoo! 検索エンジンで、得られた問題文の A パートを完全一致で検索する。検索結果の上位 10 件のスニペットを取得し、(1) 入力した問題文の直後から句読点まで、(2) 句読点から入力 した問題文の直前まで、(3) 入力問題文以外の 太字部分、を抽出して、答候補とする。次に、得られた答候補を、問題文の $\mathrm{A}$ パートの末尾 に追加して、完全一致で再び検索を行い、最も ヒット数の多かった答候補を $Y$ とする。表 3 生成したパラレル問題数

カテゴリの括弧内の数字は、そのカテゴリの対比ペアリスト またはワードリストに要素数を表す。生成数の括弧内の数字 は、生成で利用した既存の問題の数を表す。

## 5 生成例と考察

本システムで実際に作成できたパラレル問題の数 を表 3 に、生成例を付録 $\mathrm{A}$ に示す。

表 3 からわかるように、今回取り組んだカテゴリ の多くでは、少数の既存の問題から、数十問の新し い問題を生成することができた。より多くのカテゴ リに対して、ワードリストや対比ペアリストを準備すれば、さらに多くの問題を生成することがで きる。

ただし、表 3 は正しく $Y$ や $W$ を求められた問題 の生成数であり、システムが出力した問題の 4 割程度が不適切な問題であった。不適切な問題には、問題の答が存在しないか、複数存在するために、誤っ た $Y$ や $W$ が出力されたものが多かった。例えば、 フレーム「X(国名) の国の鳥は $Y$ だ」を利用して生成された問題文

スロバキアの国の鳥は $Y$ ですが、スロベニアの

国の鳥は何でしょう？(答: $W$ )

では、スロバキアとスロベニアがどちらも国鳥を定 めていないため、答を求めることができず、誤った $Y$ や $W$ が出力された。

今後は、より多くのカテゴリやフレームを利用し た問題の生成や、適切な問題の生成精度の向上、生成された問題の評価に取り組みたい。

## 参考文献

[1] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building Watson: An overview of the DeepQA project. AI

Magazine, Vol. 31, No. 3, pp. 59-79, Jul. 2010.

[2] Pedro Rodriguez, Shi Feng, Mohit Iyyer, He He, and Jordan L. Boyd-Graber. Quizbowl: The case for incremental question answering. CoRR, 2019.

[3] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセットの構築. 言語処理学会第 26 回年次大会発表論文集, pp. 237-240, 2020.

[4] AI 王〜クイズ AI 日本一決定戦〜，（202201 閲 覧）. https://sites.google.com/view/ nlp2021-aio/.

[5] 伊沢拓司. クイズ思考の解体. 朝日新聞出版, 2021.

[6] Naoshi Sakamoto. Automated generation of fill-inthe-blanks-type quizzes using wikipedia. International Journal of Computer Theory and Engineering, Vol. 9, No. 5, pp. 367-373, 2017.

[7] 史佳奥原, 雄一清, 康之田原, 昭彦大須賀. Linked data を用いた俯瞰的な多肢選択式問題自動生成手法の提案. 情報処理学会論文誌, Vol. 60, No. 10, pp. 1738-1756, oct 2019.

[8] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 競技 クイズ・パラレル問題の基本構造と文型. 言語処理学会第 27 回年次大会発表論文集, pp. 1420-1424, 2021.

## A パラレル問題の生成例

## A. 1 対比ぺアの置換による生成例

## A.1.1 対比関係「対義」を「連続」に置換する生成例

元の問題 1 年で最初に来る二十四節気は「小寒」ですが、最後に来る二十四節気は何でしょう？(答: 冬至)

生成問題 1 年で最初に来る二十四節気は「小寒」ですが、次に来る二十四節気は何でしょう？(答: 大寒)

## A.1.2 音・表記の類似ぺアの置換による生成例

 \\

## A. 2 対比ぺア以外の要素の置換による生成例

 \\


 橋元佐知 佐藤理史 宮田玲 小川浩平 名古屋大学大学院工学研究科 hashimoto.sachi@d.mbox.nagoya-u.ac.jp  