# 項目反応理論に基づく難易度調節可能な読解問題自動生成手法

鈴木彩香 1 宇都雅輝 1
1 電気通信大学大学院
\{suzuki_ayaka,uto\}@ai.lab.uec.ac.jp

## 概要

読解問題自動生成とは, 読解対象文からそれに関連する問題を自動生成する技術である。近年では,深層学習を用いた手法により, 柔軟で高品質な問題生成が実現されている.しかし, 従来手法には, 次 の課題がある. 1）問題に対応する答えを生成でき ない.2）学習者の能力に合わせた難易度の問題を 生成できない。これらの問題を解決するために, 本研究では, 項目反応理論を用いて推定される難易度 を考慮して，問題と答えのぺアを生成する手法を提案する。提案手法は事前学習済み深層学習モデル （BERT とGPT-2）を拡張することで実現する。

## 1 はじめに

読解問題自動生成とは, 読解対象文からそれに関連する問題を自動生成する技術であり, 教育分野に おいて読解力の育成・評価を支援する技術の一つと して活用が期待されている。

従来の読解問題自動生成手法は, 人手で設計し たルールやテンプレートを利用する手法が主流で あったが, 適切なルールやテンプレートの作成に は大きなコストを要する $[1,2,3]$. この問題に対 し, 近年では, 深層学習を用いた end-to-end の手法 が多数提案されている $[4,5,6,7,8,9]$. 初期の手法としては, リカレントニューラルネットワーク (Recurrent Neural Networks : RNN) やアテンション に基づく sequence-to-sequence（seq2seq）モデル [6] が提案されてきた。一方で, 近年では, 事前学習済 みの Transformerに基づく手法が多数提案され, 読解対象文に対応した流暢な問題生成を実現している $[5,10,11,12,13]$.

一方で, 問題生成技術を読解力を育成する学習支援として活用する場合, 学習者の能力に合わせた適切な難易度の問題を出題することが効果的である. このような背景から, 近年, 難易度調整可能な問題生成技術がいくつか提案されている $[10,14,15,16]$. しかし，既存手法には次の問題点がある.
1. 読解対象文と答えを与えて問題を生成するた め, 問題とそれに対応した答えの両方を生成す ることはできない.

2. 問題の難易度と学習者の能力の関係を無視して いるため, 学習者の能力にあった適切な難易度 の問題生成を行うことができない.

これらの問題を解決するために, 本研究では, 項目反応理論（Item response theory：IRT）[17]を用い て定量化される難易度値を与えて，問題と答えのぺ アを生成する新たな読解問題自動生成手法を提案す る. 提案手法は, BERT と GPT- 2 に基づく, 2 つの 事前学習済み深層学習モデルを用いて構成する.

## 2 提案手法

本研究では, 読解対象文 $\boldsymbol{w}_{i}=\left.\{w_{i m} \mid m \in\right.$ $\left.\left.\{1, \ldots, M_{i}\right.\}\right.\}$ とそれに関連する問題文 $\boldsymbol{q}_{i}=\left.\{q_{i n} \mid n \in\right.$ $\left.\left.\{1, \ldots, N_{i}\right.\}\right.\}$, およびその問題に対応する答え $\boldsymbol{a}_{i}=\left.\{a_{i o} \mid o \in\left.\{1, \ldots, O_{i}\right.\}\right.\}$ で構成されるデータ セット $\boldsymbol{C}=\left.\{\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i} \mid i \in\{1, \ldots, I\}\right.\}$ が与えられてい る場合を考える。ここで， $w_{i m}, q_{i n}, a_{i o}$ はそれぞれ $\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i}$ の $m, n, o$ 番目の単語を表し, $M_{i}, N_{i}$, $O_{i}$ は $\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i}$ の単語数を表す. また, $I$ はデータ 数を表す. 本研究では, このデータセットに各問題 の難易度を加えたデータセットを次のように作成 し，次節で説明する提案手法の訓練データとする。

1. 各問題に対する正誤反応データの収集: データ セット $C$ に含まれる各問題 $\boldsymbol{q}_{i}$ に対する解答者 の正誤反応データを収集する.ただし，本研究 では人間の解答者を QA (Question Answering) システムで代用する， QA システムとは，読解対象文と問題文を入力して答えを予測するシス テムであり，ここでは $\mathrm{QA}$ システムによる解答 と答え $a_{i}$ の完全一致により正誤判定を行う.

2. IRTを用いた難易度推定: 本研究では問題 の難易度推定に IRTを使用する. IRT は，数理モデルを用いたテスト理論の一つであり，
様々なハイステークス試験で活用されている $[18,19,20]$. IRT では, 学習者の能力と問題の 難易度を関連づけて推定でき, 学習者の能力に あった適切な難易度値の選定が可能である.こ こでは, 最も単純な IRT モデルである次式の ラッシュモデルを利用して, 正誤反応データか ら各問題の難易度値を推定する。

$
p_{i j}=\frac{\exp \left(\theta_{j}-b_{i}\right)}{1+\exp \left(\theta_{j}-b_{i}\right)}
$

ここで, $p_{i j}$ は $i$ 番目の問題における $j$ 番目の解答者の正答確率を表し, $b_{i}$ は $i$ 番目の問題の難易度値, $\theta_{j}$ は $j$ 番目の解答者の能力值を表す. ラッシュモデルでは, $\theta_{j}=b_{i}$ のときに正答確率 が 0.5 となる. 適応的学習では, 一般に正答確率が 0.5 となる問題を与えることが有効とされ ているため, $b_{i}=\theta_{j}$ を難易度値として指定し て，問題を生成することが望ましいといえる。

3. 難易度を含んだデータセットの作成: データ セット $\boldsymbol{C}$ に IRT で推定された難易度値を加えた 新しいデータセット $\boldsymbol{C}^{\prime}$ を作成する。 $\boldsymbol{C}^{\prime}$ は, 読解対象文 $\boldsymbol{w}_{i}$, 問題文 $\boldsymbol{q}_{\boldsymbol{i}}$, 答え $\boldsymbol{a}_{\boldsymbol{i}}$, 難易度値 $b_{i}$ の集合として，以下のように表記できる。

$
\boldsymbol{C}^{\prime}=\left.\{\left(\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i}, b_{i}\right) \mid i \in\{1, \ldots, I\}\right.\}
$

このデータセット $\boldsymbol{C}^{\prime}$ をい用いて，提案手法では，1）読解対象文と指定した難易度值から答えを抽出する モデルと，2）抽出された答えと読解対象文, 難易度値から問題文を生成するモデル，の２段階で問題生成を実現する．以降で各モデルの詳細を説明する。

## 2.1 難易度調整可能な答え抽出モデル

難易度調整可能な答え抽出モデルでは基礎モデ ルに BERT (Bidirectional Encoder Representations from Transformers）[21]を用いる．BERT は， 1 億以上の パラメータを持つ Transformer ベースの深層学習モ デルを, 33 億語以上の単語を含む文章データセット で事前学習したモデルである. 事前学習は, Masked Language Model と Next Sentence Prediction の二つの 教師なし学習で実現されている. BERT は, 文書の 分類や回帰タスクをはじめとして，系列ラベリング や抽出型文章要約のような文章からの要素抽出タス クにも広く利用されている [22].

本研究では, BERTを基礎モデルとして, 読解対象文と指定した難易度值から答えを抽出するモデルを 構築する. 具体的には, 読解対象文 $w_{i}$ と難易度值 $b_{i}$ を特殊トークンで連結したデータ $[\mathrm{CLS}] b_{i}[\mathrm{SEP}] \boldsymbol{w}_{i}$
を入力として受け取り，読解対象文における答えの 開始位置と終了位置を出力するように BERT の出力層を設計してファインチューニング（追加学習）す る.ここで，ファインチューニングの損失関数は以下で定義する。

$
-\sum_{i=1}^{I} \sum_{m=1}^{M_{i}}\left.\{Z_{i m}^{(s)} \log P_{i m}^{(s)}+Z_{i m}^{(e)} \log P_{i m}^{(e)}\right.\}
$

ここで, $Z_{i m}^{(s)}$ と $Z_{i m}^{(e)}$ は読解対象文 $\boldsymbol{w}_{i}$ 中の $m$ 番目の 単語が答えの開始位置と終了位置である場合にそれ ぞれ 1 を取るダミー変数である. また, $P_{i m}^{(s)}$ と $P_{i m}^{(e)}$ は次式で定義される。

$
\begin{aligned}
& P_{i m}^{(s)}=\operatorname{softmax}\left(\boldsymbol{S} \cdot \boldsymbol{T}_{i m}\right)=\frac{\exp \left(\boldsymbol{S} \cdot \boldsymbol{T}_{i m}\right)}{\sum_{m^{\prime}}^{M_{i}} \exp \left(\boldsymbol{S} \cdot \boldsymbol{T}_{i m^{\prime}}\right)} \\
& P_{i m}^{(e)}=\operatorname{softmax}\left(\boldsymbol{E} \cdot \boldsymbol{T}_{i m}\right)=\frac{\exp \left(\boldsymbol{E} \cdot \boldsymbol{T}_{i m}\right)}{\sum_{m^{\prime}}^{M_{i}} \exp \left(\boldsymbol{E} \cdot \boldsymbol{T}_{i m^{\prime}}\right)}
\end{aligned}
$

ここで， $\boldsymbol{T}_{i m}$ は読解対象文 $\boldsymbol{w}_{i}$ における $m$ 番目の単語に対応する BERT の出力ベクトルを表し, $S$ と $\boldsymbol{E}$ は学習される重みベクトルを表す.

このようにファインチューニングした BERT を用 いた答えの抽出は, 答えの開始位置 $\hat{s}$ と終了位置 $\hat{e}$ を次式で求め，その区間の単語列を読解対象文から 抽出することで行う。

$
\hat{s}=\arg \max _{m} P_{i m}^{(s)}, \hat{e}=\arg \max _{m} P_{i m}^{(e)}
$

## 2.2 難易度調整可能な問題生成モデル

難易度調整可能な問題生成モデルでは基礎モデ ルに GPT-2 (Generative Pre-trained Transformer 2) [23] を用いる。GPT-2 は， 15 億以上のパラメータを持つ Transformer ベースの深層学習モデルを， 800 万以上 の文書データで事前学習した言語モデルである．事前学習は, 現時点までに入力された単語列から次に 出現する単語を逐次的に予測させる Language Model と呼ばれる教師なし学習で実現されている. GPT-2 は, 問題生成タスクを含む様々な文章生成タスクで 広く利用されている。

本研究では，GPT-2 を基礎モデルとした問題自動生成手法 [24] を, 問題の難易度を調整できるよう に拡張する. 具体的には, 読解対象文 $\boldsymbol{w}_{i}$ と答え $\boldsymbol{a}_{i}$,問題文 $\boldsymbol{q}_{i}$, 難易度値 $b_{i}$ を特殊トークンで連結した 以下のデータを学習に用いる.

$
b_{i}<\mathrm{QU}>\boldsymbol{W}_{i}<\mathrm{AN}>\boldsymbol{a}_{i}<\mathrm{AN}>\boldsymbol{W}_{i}^{\prime}<\mathrm{G}>\boldsymbol{q}_{i}
$

ただし， $\boldsymbol{W}_{i}$ と $\boldsymbol{W}_{i}^{\prime}$ はそれぞれ読解対象文 $\boldsymbol{w}_{i}$ 中の答 え $\boldsymbol{a}_{i}$ 以前と以降の単語列を表し，<AN>は答えの開始と終了を表す特殊トークンである．また，〈QU>

とくG>は読解対象文と問題文の開始を表す特殊トー クンである.このデータを用いた GPT-2 のファイ ンチューニングは, 以下の損失関数の最小化により 行う.

$
-\sum_{i=1}^{I} \sum_{n=1}^{N_{i}} \log \left.\{P\left(q_{i n} \mid q_{i 1}, \ldots, q_{i(n-1)}, \boldsymbol{w}_{i}, \boldsymbol{a}_{i}, b_{i}\right)\right.\}
$

ここで,

$
\begin{array}{r}
P\left(q_{i n} \mid q_{i 1}, \ldots, q_{i(n-1)}, \boldsymbol{w}_{i}, \boldsymbol{a}_{i}, b_{i}\right) \\
=\operatorname{softmax}\left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}\right) \\
\quad=\frac{\exp \left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}\right)}{\sum_{v^{\prime}}^{V^{\prime}} \exp \left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}\right)}
\end{array}
$

であり, $V^{\prime}$ は GPT-2 が扱う語彙の総数, $\boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}$ は単語列 $\boldsymbol{q}_{i(n-1)}=\left(q_{i 1}, \ldots, q_{i(n-1)}\right)$ に続いて単語 $q_{i n}$ を入力した場合の GPT-2 の出力ベクトル, $\boldsymbol{G}$ は学習され る重みベクトルである.

ファインチューニングされたモデルを用いた問題文の生成は, <G>までのデータを入力として与え,次式に従って一単語ずつ生成することで行う.

$
\begin{aligned}
\hat{q}_{i n} & =\arg \max _{v} P\left(v \mid \hat{q}_{i 1}, \ldots, \hat{q}_{i(n-1)}, \boldsymbol{w}_{i}, \boldsymbol{a}_{i}, b_{i}\right) \\
& =\arg \max _{v}\left(\operatorname{softmax}\left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}^{v}}^{v}\right)\right)
\end{aligned}
$

## 3 提案手法の有効性評価実験

提案手法の有効性を評価するために，質問応答$\cdot$問題生成タスクで広く利用される SQuAD データ セット [25]を用いて実験を行った. SQuADとは, Wikipedia の様々な記事（読解対象文に対応）に基 づいて作成された 98,169 個の問題とそれに対応す る答えで構成されるデータセットである. このデー タはあらかじめ, 訓練データ $(90 \%)$, テストデータ （10\%）に分割されている．SQuAD データセットを 用いた実験手順は以下の通りである。

1. SQuAD の訓練データを用いて, 精度の異なる 5 つの $\mathrm{QA}$ システム $[21,26,25,27]$ を構築した.
2. 5 つの $\mathrm{QA}$ システムに SQuAD のテストデータ 中の各問題を解答させ, 正誤反応データを収集 した。

3. 得られた正誤反応データを用いて, 式(1)のラッ シュモデルで各問題の難易度値を推定した. 得 られた難易度値は, 6 值 (-3.96, -1.82, - - . 26, $0.88,2.00,3.60)$ であり, 值が小さいほど簡単 な問題であることを意味する.モデルが数值入力を理解しやすいように, 実数值で推定した 難易度値 $(-3.96,-1.82,-0.26,0.88,2.01,3.60)$

図 1 難易度別の正答率

を正の整数值 $(1,29,49,64,79,100 ）$ に線形変換を行なった。

4. 得られた難易度值と SQuAD のテストデータを 統合して，難易度值を加えたデータセットを作成した.このデータセットを $90 \%$ と $10 \%$ に分割 し，90\%を提案手法の訓練データ，10\%を評価用データとした.

5. SQuAD の訓練データを用いて, 難易度を考慮 せずに答え抽出モデルと問題生成モデルを一度 ファインチューニングしたのち, 手順 4 で作成 した提案手法のための訓練データで難易度を考慮したファインチューニングを行なった.

6. 所望の難易度に応じた出力が行えたかを評価す るために，10\%の評価用データ中の読解対象文 に対して，6 パタンの難易度值をそれぞれ与え て生成した問題と答えを用いて，機械による評価と人間による評価を実施した。

## 3.1 機械による評価

上記の実験手順 6 における機械による評価は, 以下の 2 つの観点で行なった。
- 生成された問題の難易度別正答率
- 抽出された答えの難易度別平均単語数 ただし, 正答率の評価には 2 つの $\mathrm{QA}$ システム $[21,26]$ を使用し, 先行研究 $[10]$ と同様に 2 つの $\mathrm{QA}$ システムが正解した場合のみを正答として扱った。

まず，生成された問題の難易度別正答率を図 1 に 示す. 図から, 難易度が高いほど生成された問題に 対する QA システムの正答率が減少する傾向が確認 できる.このことから, 提案した問題生成手法が,指定した難易度を反映した問題生成を行っているこ とが示唆される。

次に，答えの難易度別単語数を図 2 に示す. 図か ら, 難易度が高いほど抽出された答えの平均単語数 が増加する傾向が確認できる。一般に答えの単語数

図 2 難易度別の単語数

表 1 出力された問題と答えの例

読解対象文 Deacons are called by God, affirmed by the church, and ordained by a bishop to servant leadership within the church. They are ordained to ministries of word, service, compassion, and justice. They may be appointed to ministry within the local church or to an extension ministry that supports the mission of the church. ... Deacons serve supports the mission of the church. ... Deacons serve a term of $2-3$ years as provisional deacons prior to their ordination.難易度値 1

問題 Who ordained deacons?

答え bishop

難易度値 100

が多くなるほど難しい問題であると予測できること から，提案手法が指定した難易度を反映した答え抽出を行っていることが示唆される.

また, 出力された問題と答えの例を表 1 に示す.表から，難易度を低く指定すると，単一の用語を答 えとする比較的簡単な問題が生成されたのに対し,難易度を高く指定すると，長めの文章を答えとする 比較的難しい問題が生成されたことがわかる.

## 3.2 人間による評価

人間による評価では, 評価用データからランダム に選択した 10 個の読解対象文について 6 段階の難易度別に生成された答えと問題（合計 60 ペア）を 以下の 4 つの観点に基づいて， 4 人の評定者で採点 した。
- 流暢性 : 文法的な正しさや流暢さの評価. 適当, 不適当, 許容範囲の 3 段階で評価した。
- 内容関連性 : 生成された問題が読解対象文の内容と関連しているかの評価. 適当, 不適当の 2 段階で評価した。
- 解答可能性 : 抽出された答えが生成された問題 の正しい答えとなっているかの評価. 適当, 不適当, 不十分, 過剩の 4 段階で評価した. 不十分は答えを部分的に含むが不足している場合を 表し, 過剰は抽出された答えに余分な部分が含 まれていることを表す.
- 難易度 : 生成された問題の難易度の評価. 1 か

図 3 人間による難易度評価

ら 5 の 5 段階で評価した. 1 が最も簡単な問題 を意味し， 5 が最も難しい問題を意味する.

流暢性, 内容関連性, 解答可能性の結果を表 2 に 示す.なお，表中の「解答可能性」行に記載された 「内容関連」と「内容非関連」の列は, 解答可能性 で不適当と判定された問題のうち，内容関連性が適当/不適当であったものの割合をそれぞれ表す.表 から， 7 割以上の問題が流暢な文法で生成されてお り, 約 9 割の問題が適切に読解対象文の内容を反映 していることがわかる。さらに，約 7 割のケースで 解答可能な問題と答えのペアが生成できており, 不十分/過剩を含めると 8 割以上のケースで少なくと も部分的には対応した問題と答えのペアが生成でき たことがわかる。一方で，解答不適当と判定された 残りの 1.5 割については, 生成された問題と本文の 内容が関連していないことが主要因であった。

次に，難易度の評価結果を図 3 に示す。図から，難易度を高く指定して生成した問題ほど人間評価者 が難しいと判断したことがわかり，人間の主観的難易度にあった問題が生成できたことがわかる。

## 4 おわりに

本研究では, 任意の難易度の問題と答えを自動生成する手法を提案し, 実験から提案手法の有効性を 示した. 今後は，人間を対象にしたデータ収集を行 ない，より厳密な評価実験を行う。

## 参考文献

[1] David Lindberg, Fred Popowich, John Nesbit, and Phil Winne. Generating Natural Language Questions to Support Learning On-Line. In Proc. Natural Language Generation, pp. 105-114, 2013.

[2] Igor Labutov, Sumit Basu, and Lucy Vanderwende. Deep Questions without Deep Understanding. In Proc. the Association for Computational Linguistics and Natural Language Processing, pp. 889-898, 2015.

[3] Michael Heilman and Noah A. Smith. Good Question! Statistical Ranking for Question Generation. In Proc. the North American Chapter of the Association for Computational Linguistics, pp. 609-617, 2010.

[4] Ruqing Zhang, Jiafeng Guo, Lu Chen, Yixing Fan, and Xueqi Cheng. A Review on Question Generation from Natural Language Text. ACM Transactions on Information Systems, 2021.

[5] Ying-Hong Chan and Yao-Chung Fan. A Recurrent BERTbased Model for Question Generation. In Proc. Workshop on Machine Reading for Question Answering, pp. 154162, 2019.

[6] Xinya Du, Junru Shao, and Cardie Cardie. Learning to Ask: Neural Question Generation for Reading Comprehension. In Proc. Annual Meeting of the Association for Computational Linguistics, 2017.

[7] Sandeep Subramanian, Tong Wang, Xingdi Yuan, Saizheng Zhang, Yoshua Bengio, and Adam Trischler. Neural Models for Key Phrase Extraction and Question Generation. In Proc. Machine Reading for Question Answering,, pp. 78-88, 2018.

[8] Yanghoon Kim, Hwanhee Lee, Joongbo Shin, and Kyomin Jung. Improving Neural Question Generation Using Answer Separation. In Proc. the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 6602-6609, 2019.

[9] Xingwu Sun, Jing Liu, Yajuan Lyu, Wei He, Yanjun Ma, and Shi Wang. Answer-focused and Position-aware Neural Question Generation. In Proc. Empirical Methods in Natural Language Processing, pp. 3930-3939, 2018.

[10] Yifan Gao, Lidong Bing, Wang Chen, Michael Lyu, and Irwin King. Difficulty Controllable Generation of Reading Comprehension Questions. In Proc. International Joint Conference on Artificial Intelligence, 2019.

[11] Seungyeon Lee and Minho Lee. Type-dependent Prompt CycleQAG : Cycle Consistency for Multi-hop Question Generation. In Proc. International Conference on Computational Linguistics, 2022.

[12] Manav Rathod, Tony Tu, and Katherine Stasaski. Educational Multi-Question Generation for Reading Comprehension. In Proc. Workshop on Innovative Use of NLP for Building Educational Applications, 2022.

[13] Asahi Ushio, Fernando Alva-Manchego, and Jose Camacho-Collados. Generative Language Models for Paragraph-Level Question Generation. In Proc. Conference on Empirical Methods in Natural Language Processing, 2022.

[14] Yi Cheng, Siyao Li, Bang Liu, Ruihui Zhao, Sujian Li, Chenghua Lin, and Yefeng Zheng. Guiding the growth:
Difficulty-controllable question generation through stepby-step rewriting. In Proc. Annual Meeting of the Association for Computational Linguistics and International Joint Conference on Natural Language Processing, 2021.

[15] Ghader Kurdi, Jared Leo, Bijan Parsia, Uli Sattler, and Salam AI-Emari. A Systematic Review of Automatic Question Generation for Educational Purposes. International Journal of Artificial Intelligence in Education, Vol. 30, pp. 121-204, 2019.

[16] Tahani Alsubait, Bijan Parsia, and Ulrike Sattler. A similarity-based theory of controlling MCQ difficulty. In Proc. International Conference on E-Learning and ETechnologies in Education, pp. 283-288, 2013.

[17] Frederic M Lord. Applications of item response theory to practical testing problems. Routledge, 2012.

[18] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. $\mathrm{He}-$ liyon, Vol. 4, No. 5, pp. 1-32, 2018.

[19] Masaki Uto. A Bayesian many-facet Rasch model with Markov modeling for rater severity drift. Behavior Research Methods, 2022.

[20] Masaki Uto. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, No. 2, pp. 425-457, 2021.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[22] Anirudh Srikanth, Ashwin Shankar Umasankar, Saravanan Thanu, and S. Jaya Nirmala. Extractive Text Summarization using Dynamic Clustering and Co-Reference on BERT. In Proc. International Conference on Computing, Communication and Security, pp. 1-5, 2020.

[23] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAI, 2019.

[24] Megha Srivastava and Noah Goodman. Question Generation for Adaptive Education. In Proc. Annual Meeting of the Association for Computational Linguistics and International Joint Conference on Natural Language Processing, pp. 692-701, 2021.

[25] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In Proc. Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[26] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. In Proc. International Conference on Learning Representations, 2020.

[27] Matthew Richardson, Christopher J.C. Burges, and Erin Renshaw. MCTest: A Challenge Dataset for the OpenDomain Machine Comprehension of Text. In Proc. Empirical Methods in Natural Language Processing, pp. 193203, 2013
 鈴木彩香 1 宇都雅輝 1 1 電気通信大学大学院 \{suzuki_ayaka,uto\}@ai.lab.uec.ac.jp  