# 問題タイプを考慮した英単語穴埋め問題の 不正解選択肢の自動生成

吉見 菜那 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 内田 諭 2 荒瀬 由紀 ${ }^{3}$ 二宮 崇 1
1 愛媛大学 2 九州大学 3 大阪大学
yoshimi@ai.cs.ehime-u.ac.jp \{kajiwara,ninomiya\}@cs.ehime-u.ac.jp
uchida@flc.kyushu-u.ac.jp arase@ist.osaka-u.ac.jp

## 概要

本研究では、日本の大学入試の英単語穴埋め問題 を題材として、不正解選択肢の自動生成に取り組 む。先行研究では全ての問題に対して同一の手法を 適用していたが、本研究では 3 種類の問題タイプ （文法・機能語・文脈）を定義し、それぞれの特徵を 考慮して不正解選択肢を自動生成する手法を提案す る。日本の大学入試で実際に出題された 500 問を用 いた評価実験の結果、提案手法は特に機能語の問題 において既存手法を大きく上回る性能を達成した。

## 1 はじめに

英単語穴埋め問題 [1] は、学習者の英語習熟度を 評価する方法のひとつであり、TOEIC ${ }^{1}$ や実用英語技能検定 ${ }^{2}$ などの試験から学校教育の現場まで、広 く使用されている。問題形式は図 1 のとおり、ある 1 単語を空欄とする問題文に対して、空欄に当ては まる正解選択肢が 1つ、当てはまらない不正解選択肢が 3 つの 4 択形式で構成されるのが一般的であ る。これらの選択肢は、教員などの豊富な言語教育経験を持つ作問者によって人手で作成されるため、作問コストが大きい。本研究では、作問者の負担軽減のために、不正解選択肢の候補を自動生成する。

英単語穴埋め問題における不正解選択肢の自動生成に関する先行研究では、正解単語と意味的に類似 する単語を生成する手法 [2-7] が多く提案されてい る。また、問題文中の単語との共起情報を用いる手法 [8,9]、文脈全体を考慮する手法 [10]、学習者の誤 り傾向を考慮する手法 [11] なども提案されてきた。 しかし、これらの先行研究は全ての問題に対して同一の手法を適用するため、生成された不正解選択肢

1) https://www.ets.org/toeic.html

2) https://www.eiken.or.jp/eiken/
Jeff didn' $t$ accept the job offer because of the _ salary.
(a) low
(b) weak
(c) cheap
(d) inexpensive

(a) が正解選択肢

図1 英単語穴埋め問題 (大学入試センター試験, 2018） ${ }^{4)}$

の特徴に偏りがある。実際の問題には、作問者の意図が反映されており、文法知識を問う問題や慣用表現を問う問題など複数の問題タイプが存在する。そ のため、既存手法には不正解選択肢の特徵を問題夕 イプごとに柔軟に変更できないという課題がある。

本研究では、日本の大学入試における英単語穴埋 め問題を対象に、人手で問題タイプを分類する。そ の上で、問題タイプごとの選択肢の特徴を考慮し て、それぞれに適した不正解選択肢の自動生成手法 を提案する。作問者によって用意された実際の不正解選択肢と自動生成した不正解選択肢の一致率を評価したところ、提案手法は多くの設定において既存手法 $[5,7,10]$ を上回る性能を達成した。

## 2 関連研究

先行研究 $[5,7,10]$ では、英単語穴埋め問題の不正解選択肢の自動生成を、候補生成・リランキング・ フィルタリングの 3 つのステップで行っている。本節では、この 3 ステップで各手法の概要をまとめる。

単語分散表現に基づく手法 [5] は、word2vec [12] の余弦類似度によって正解単語との意味的類似度が 高い単語を候補生成し、候補単語を類似度によって ランキングし、フィルタリングとして単語 3-gramを 用いている。単語 3-gram によるフィルタリングで は、候補単語を空欄に当てはめた際に、候補単語と その前後の単語からなる単語 3-gram が Wikipedia ${ }^{3}$ )上に出現する場合、その単語を候補から除外する。

3) https://en.wikipedia.org/
表 1 本研究で構築した英単語穴埋め問題データセットの例

マスク言語モデルに基づく手法 [10] は、単語分散表現に基づく手法 [5] を改良したもので、単語分散表現によって候補生成し、BERT [13] の単語穴埋め 確率によって文脈を考慮して候補をリランキングす る。フィルタリングにも BERT の単語穴埋め確率を 用いており、確率の上位 $\theta_{H}$ 位以上は正解となり得 る信頼性の低い不正解選択肢であり $\theta_{L}$ 位以下は妥当性の低い不正解選択肢であるとして、確率の上位 $\theta_{H}$ 位から $\theta_{L}$ 位までの候補単語を抽出している。

折り返し翻訳に基づく手法 [7] は、問題文をド イツ語などのピボット言語に機械翻訳し、それを さらに英語へと折り返し翻訳した際に、単語アラ イメントによって正解単語と対応する候補単語を 獲得する。リランキングには、単語分散表現の余弦類似度 [5] や BERT の単語穴埋め確率 [10] など、任意の既存手法を用いる。フィルタリングでは、 WordNet [14]を用いて正解単語の同義語を除外し、 さらに正解単語と異なる品詞の単語を除外する。

## 3 問題タイプの定義

2017 年から 2021 年までの 5 年間に出題された日本の大学入試問題4) の中から無作為に 500 問を抽出 し、英語教育を専門とする大学教員が問題タイプを 分類した。表 1 に例示するように、英単語穴埋め問題を以下の 3 種類の問題タイプに分類した。
- 文法 : 主に同じ語の活用形を選択肢とする問題
- 機能語：規定の機能語リストからの選択肢であ る問題
- 文脈：文脈または慣用表現によって選択肢が決 まる問題

表 2 に、各問題タイプの出題頻度の内訳を示す。


図 2 提案手法の概要

文脈の問題が約半数を占め、機能語の問題が約 4 割、文法の問題が 1 割強の割合であった。次節で は、これらの問題タイプごとの特徴を考慮した不正解選択肢の生成手法を検討する。

## 4 不正解選択肢の生成

本研究でも先行研究 $[5,7,10]$ と同様に、候補生成・リランキング・フィルタリングの 3 つのステッ プによって不正解選択肢を生成する。提案手法の概要を図 2 に示す。候補生成およびリランキングにお いては、2 節で説明した既存手法のうち、検証セッ $r^{5)}$ における性能が最高となる手法の組み合わせを 問題タイプごとに選択した。フィルタリングにおい ては、以下で説明する各問題タイプの特徴を考慮し た新しい手法を提案する。

## 4.1 文法問題のためのフィルタリング

文法問題では、基本的に同じ語の活用形を選択肢 とするため、正解単語の活用形を不正解選択肢の候補として取得したい。そこで本研究では、正解単語 と同じ品詞および活用形を持つ候補を除外する。

また、信頼性の低い（正解となり得る）不正解選択肢を避けるために、空欄に当てはめた際に自然な 文を構成する候補は除外する必要がある。そこで本研究では、BERT [13] の単語穴埋め確率を用いて、正解単語よりも高確率の候補単語を除外する。表 1 の 1 文目の例では、同じ品詞の候補として “thinks”、高確率の候補として “watches” などが削除される。

表 3 問題タイプごとの不正解選択肢の自動生成の $\mathrm{F}$ 値

## 4.2 機能語問題のためのフィルタリング

機能語問題では、基本的に前置詞や接続詞などの 機能語のみを選択肢として用いる。そこで本研究で は、日本の大学受験用の機能語リスト ${ }^{6}$ を用意し、 ここに含まれない候補単語を除外する。表 1 の 2 文目の例では、“ime”や“taken”などが削除される。

## 4.3 文脈問題のためのフィルタリング

文脈問題は、コロケーションやイディオムの知識 を問う問題であるため、問題文中の周辺単語とよく 共起する単語を候補として使用したい。ただし、文法問題と同様に、信頼性の低い不正解選択肢を避け るために、BERT の単語穴埋め確率において正解単語よりも高確率の候補単語は除外する。表 1 の 3 文目の例では、“comfy” ゃ“cosy”が削除される。

## 5 評価実験

3 節で収集した 500 件の英単語穴埋め問題を対象 に、不正解選択肢を自動生成する評価実験を行う。

## 5.1 実験設定

モデル 候補生成には、2 節で紹介した単語分散表現に基づく手法 [5] および折り返し翻訳に基 づく手法 [7] を用いた。ここで、単語分散表現には fastText ${ }^{7)}$ [15] を使用した。また、折り返し翻訳に は先行研究 [7] の設定に従って英独および独英の


Transformer ${ }^{8)}[16,17]$ を使用し、単語アライメントの 計算には単語分散表現および Hungarian 法 $[18,19]$ を 用いて候補単語を収集した。

リランキングには、単語分散表現に基づく手法 [5] およびマスク言語モデルに基づく手法 [10] を用いた。後者のリランキングには、HuggingFace Transformers [20] 経由で BERT-base-uncased ${ }^{9)}$ [13] を 使用した。なお、候補単語は fastText および BERT の 語彙に共通して出現する単語のみに制限している。

フィルタリングでは、NLTK ${ }^{10)}$ [21]を用いて品詞 タグ付けした。機能語は、166 単語6)を収集した。

比較手法 本研究では、2 節で説明した単語分散表現に基づく手法 [5]、マスク言語モデルに基づく 手法 [10]、折り返し翻訳に基づく手法 [7] の 3 手法 を提案手法と比較した。比較手法のフィルタリング において、Wikipedia は前処理済み ${ }^{11)}$ [22] の英語テ キストを使用した。また、先行研究 [10] の設定に従 い、閾値には $\theta_{H}=11$ および $\theta_{L}=39$ を使用した。

評価 各手法において 100 種類の単語を候補生成 し、リランキングおよびフィルタリングした上位 $k \in\{3,5,10,20\}$ 単語を、実際の不正解選択肢 3 件と 比較する。評価指標には、再現率および適合率を求 め、その調和平均（F 値）を用いる。ただし、候補 が $k$ 単語に満たない場合は、語彙の中から無作為に 選択した。

8) https://github.com/facebookresearch/fairseq/blob/ main/examples/wmt19/README.md

9) https://huggingface.co/bert-base-uncased

10) https://www.nltk.org/

11) https://www. tensorflow.org/datasets/catalog/wiki40b

## 5.2 実験結果

表 3 に実験結果を示す。各問題タイプにおいて、上から 3 行は比較手法、最下行は提案手法の性能を 示している。提案手法は、12 件中の 9 設定において 最高性能を達成し、残りの 3 設定においても 2 番目 に高い性能を示したため、問題タイプの特徴を考慮 したフィルタリングの有効性を確認できた。特に、機能語問題において性能の向上が顕著であり、候補数 $k$ の増加に伴ってより大きな改善が見られた。

表 4 に、問題タイプごとの不正解選択肢の出力例 を示す。まず、文法問題においては、比較手法は正解単語と意味的に類似する単語を候補として出力 する傾向が見られた。一方で、提案手法は実際の不正解選択肢である “discuss” や“discussed” に加えて、 “discussion” “discussions” などの正解単語の活用形 を出力しており、文法問題の特徴を反映した候補生成ができた。次に、機能語問題においては、比較手法は機能語以外の単語も出力しており、実際の不正解選択肢は出力できていない。一方で、提案手法は 問題の特徴を考慮したフィルタリングによって機能語のみを候補として生成し、実際の不正解選択肢の うち “for”および “with”を上位 5 件に含めることに 成功している。また、文脈問題においては、表 3 に 示したとおり、上位 5 件程度までは比較手法 [7] と 提案手法が同様の候補を出力しているが、提案手法 はそれ以降にも良い候補を出力できる場合が多い。
It was certainly _ crowded than I thought it would be.
(a) less
(b) little
(c) least
(d) fewer

(a)が正解選択肢

図 3 自動生成が難しい文法問題の例（会津大学, 2018） ${ }^{4)}$

文法問題において、一部の設定では提案手法が有効ではなかった。この要因には、文法問題と分類さ れた問題の中に文脈問題との区別が難しい問題が含 まれる点が考えられる。図 3 の例のような、正解単語の活用形を不正解選択肢としない文法問題（66 問中の 16 問）は、提案手法では対処できなかった。

## 6 おわりに

本研究では、日本の大学入試における英単語穴埋 め問題の作問コストを削減するために、問題タイプ ごとの特徴を考慮した不正解選択肢の自動生成手法を提案した。まず、英単語穴埋め問題には文法問題・機能語問題・文脈問題の 3 タイプが存在するこ とを明らかにし、問題タイプのラベル付きコーパス を構築した。そして、候補のフィルタリングを中心 に、各問題タイプの特徴を考慮した不正解選択肢の 自動生成手法を提案した。実験の結果、提案手法は 多くの設定において比較手法の性能を上回り、不正解選択肢の生成において問題タイプを考慮すること の有効性を確認した。今後の課題として、問題タイ プを自動分類してコーパスの規模を拡大し、教師あ り学習による不正解選択肢の生成を検討したい。

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号：

JP21H03564, JP22H00677）の助成を受けたものです。

## 参考文献

[1] Wilson L Taylor. "Cloze Procedure" : A New Tool for Measuring Readability. Journalism quarterly, Vol. 30, No. 42, pp. 415-433, 1953.

[2] Ruslan Mitkov and Le An Ha. Computer-Aided Generation of Multiple-Choice Tests. In Proceedings of the HLT-NAACL 03 Workshop on Building Educational Applications Using Natural Language Processing Volume 2, p. 17-22, 2003.

[3] Eiichiro Sumita, Fumiaki Sugaya, and Seiichi Yamamoto. Measuring Non-native Speakers' Proficiency of English by Using a Test with Automatically-Generated Fill-inthe-Blank Questions. In Proceedings of the Second Workshop on Building Educational Applications Using NLP, pp. 61-68, 2005.

[4] Torsten Zesch and Oren Melamud. Automatic Generation of Challenging Distractors Using Context-Sensitive Inference Rules. In Proceedings of the Ninth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 143-148, 2014.

[5] Shu Jiang and John Lee. Distractor Generation for Chinese Fill-in-the-blank Items. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 143-148, 2017.

[6] Yunik Susanti, Takenobu Tokunaga, Hitoshi Nishikawa, and Hiroyuki Obari. Automatic Distractor Generation for Multiple-choice English Vocabulary Questions. Research and Practice in Technology Enhanced Learning, Vol. 13, No. 15, pp. 1-16, 2018.

[7] Subhadarshi Panda, Frank Palma Gomez, Michael Flor, and Alla Rozovskaya. Automatic Generation of Distractors for Fill-in-the-Blank Exercises with Round-Trip Neural Machine Translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 391401, 2022.

[8] Chao-Lin Liu, Chun-Hung Wang, Zhao-Ming Gao, and Shang-Ming Huang. Applications of Lexical Information for Algorithmically Composing Multiple-Choice Cloze Items. In Proceedings of the Second Workshop on Building Educational Applications Using NLP, 2005.

[9] Jennifer Hill and Rahul Simha. Automatic Generation of Context-Based Fill-in-the-Blank Exercises Using Cooccurrence Likelihoods and Google n-grams. In Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 2330, 2016.

[10] Chak Yan Yeung, John Lee, and Benjamin Tsou. Difficultyaware Distractor Generation for Gap-Fill Items. In Proceedings of the The 17th Annual Workshop of the Australasian Language Technology Association, pp. 159-164, 2019.
[11] Keisuke Sakaguchi, Yuki Arase, and Mamoru Komachi. Discriminative Approach to Fill-in-the-Blank Quiz Generation for Language Learners. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 238-242, 2013.

[12] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of the 1st International Conference on Learning Representations, 2013.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[14] George A. Miller. WordNet: A Lexical Database for English. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[15] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[16] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, and Sergey Edunov. Facebook FAIR's WMT19 News Translation Task Submission. In Proceedings of the Fourth Conference on Machine Translation, pp. 314319, 2019.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[18] Harold W. Kuhn. The Hungarian Method for the Assignment Problem. Naval Research Logistics Quarterly, Vol. 2, 1-2, pp. 83-97, 1955.

[19] Yangqiu Song and Dan Roth. Unsupervised Sparse Vector Densification for Short Text Similarity. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1275-1280. Association for Computational Linguistics, 2015.

[20] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[21] Steven Bird and Edward Loper. NLTK: The Natural Language Toolkit. In Proc. of ACL, 2004.

[22] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami AlRfou. Wiki-40B: Multilingual Language Model dataset. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 2440-2452, 2020.
 吉見 菜那 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 内田 諭 2 荒瀬 由紀 ${ }^{3}$ 二宮 崇 1 1 愛媛大学 2 九州大学 3 大阪大学 yoshimi@ai.cs.ehime-u.ac.jp \{kajiwara,ninomiya\}@cs.ehime-u.ac.jp uchida@flc.kyushu-u.ac.jp arase@ist.osaka-u.ac.jp  