# BERT を利用した日本語小論文採点支援システムの検討

江島知優
岡山大学工学部
chihiro.100522@s.okayama-u.ac.jp
堀江遼河
岡山大学大学院自然科学研究科
ptmnøudx@s. okayama-u.ac.jp
竹内孔一
岡山大学大学院自然科学研究科
takeuc-k@okayama-u.ac.jp

## 1 はじめに

記述式問題に対する自動採点は近年の大学入試改革等で需要が高まっているのに伴い，様々な手法 が提案されている．英語の文章や外国人が書いた日本語の文章を対象とした研究としては佐藤 [1] のト ランズダクティブ学習や平尾ら [2] の作文自動評価 システムがある. 佐藤は記述式答案の自動採点は学習の過程で評価データの情報を明示的に利用する トランズダクティブ学習を用いることが適切であ ると主張し, 英語で書かれた記述式答案のデータ セットである ASAP-SAS を用いてクラスタリングを したモデルとクラスタリングをしていないモデル およびランダムのモデルとの比較を行い，クラス タリングをしたモデルの精度が最も高いことを示 した. 平尾らは外国人の日本語学習者が書いた作文を集めた GoodWriting データセットを利用して全体・内容・構成・言語の 4 観点で BERT (Bidirectional Encoder Representations from Transformers) [3] を用い た手法と従来の素性を用いた手法との比較を行い， BERTを用いた手法が構成以外の 3 観点で精度が高 いことを示した.

日本人が書いた日本語文章を対象とした研究と しては船山 [4] の確信度推計手法による研究, 内田 ら [5] の項目反応理論に基づく能力推定値を活用し た手法などが挙げられる。船山は代々木ゼミナール の国語長文読解問題データセットを用いて事後確率を用いた確信度推定手法と TrustScore を用いた確信度推定手法を検証し，TrustScore を用いた手法の ほうが精度が高く，また、学習に利用するデータ数 を減らした場合でも TrustScore を用いた手法の精度 が維持されることを示した. 内田らは項目反応理論 （IRT）を用いて客観式問題から求められる受験者の能力推定値を組み込んだ新たな深層学習自動採点モ デルを提案し $\mathrm{t}$ 検定の結果提案手法が従来手法より 有意水準 5\%で高い精度を示したことを確認した。他にも，清野ら [6] による Neural Attention モデルや，大野ら [7] による IDF の評価手法がある。

このように記述式問題の自動採点に対しては多く の研究が行われているがその多くは 100 文字以下の いわゆる短答式記述問題と呼ばれるものを対象と している. 本研究では， 100 文字を超える小論文を ターゲットとして BERT を用いたモデルを作成し，性能の分析を行った。

## 2 小論文自動採点システム

本研究では 1 点から 5 点の各整数値の値をクラス としたクラス分類問題に取り組んだ。図 1 に作成し た BERT モデルの構造を示す. BERT モデルでは，小論文を符号化し冒頭に [CLS] トークンを，末尾に [SEP] トークンを挿入したものが入力として与えら れる. 符号化された本文の長さがモデルが読み取れ る系列長を超えた場合，本文の最大系列長を超えた 部分は削除される。図中の $\mathrm{E}$ は大力の埋め込み表現，を，C [CLS]トークンの隠れべクトルを，Ti は i 番目のトークンの隠れべクトルをそれぞれ表して いる. 今回のモデルでは BERT の最終層の出力は各 クラスに対するべクトルであり，最大のものを推定 した点数としている.

## 3 評価実験

本章では評価実験に使用した小論文やその設問内容，実験結果を説明する。

図 1 BERT を利用した小論文自動採点システム

## 3.1 小論文データ

小論文データとして講義の受講者の解答データを 用いている. 講義は「グローバリゼーションの光と 影」,「自然科学の構成と科学教育」,「東アジア経済 の現状」，「批判的思考とエセ科学」の 4 種類である. これらの答案は人手で 1 点から 5 点までの 5 段階で 採点されており，その点数を正解データとする.

## 3.2 小論文の設問内容

本節では今回の実験に利用した小論文の設問内容 を示す.

講義名 : 「グローバリゼーションの光と影」

問 1 「グローバリゼーションは、世界、または 各国の所得格差をどのように変化させましたか。ま た、なぜ所得格差拡大、または縮小の現象が現れた と考えますか。300 字以内で答えなさい。」

問 2 「多国籍企業は、グローバリゼーションの 進展の中でどのような役割を果たしましたか。多国籍企業の具体例をあげて、250 字以内で答えな さい。」

問 3 「文化のグローバリゼーションは、私たち の生活にどのような影響を与えましたか。また、あ なたはそれをどのように評価しますか。具体例をあ げて、300 字以内で答えなさい。」

講義名：「自然科学の構成と科学教育」

問 1 「科学的」とはどのような条件をみたす必要があるのか 100 字以内で答えよ。」

問 2 「講義で解説した自然科学の二つの側面を 参考に、自然科学が果たす役割について 400 字以内 で論ぜよ。」

問 $3\lceil\lceil$ Scientific and Technological Literacy for All」 の狙いを考慮し、これからの科学教育はどうあるべ
きか 500 字以上 800 字以内で論ぜよ。」

講義名：「東アジア経済の現状」

問 1 「日中韓の相互依存の強さを、データを示 して簡潔に述べなさい。また、相互依存を示す経済協力・協業の具体例をあげ、合わせて 300 字以内で 答えなさい。」

問 2 「「中所得国の罠」の概略を説明し、どうし たらそれを乗り越えることができるか 250 字以内で 説明しなさい。」

問 3 「日中韓には少子化や環境問題など 3 国に 共通する経済問題がある一方、それぞれの国に特有 の課題も多くあります。それぞれの国が抱えている 特徴的な経済問題をあげ、東アジアにおける協調と 対立の構造を 300 字以内で説明しなさい。」

講義名：「批判的思考とエセ科学」

問 1 「「批判的思考」の定義に関連して、「批判的思考」に関する研究で共通に見出される「批判的思考」の 3 つの観点を述べなさい。 100 文字。」

問 2 「講義で紹介した右のグラフを根拠に「長生きするためにはカラーテレビを多く所有すれば良 い」と主張することが妥当ではない理由を 400 字以内で述べなさい。ただし、このようなグラフが形成 される理由の説明を加えること。」

問 3 「各自で「ニセ科学」の可能性があると思 う実例を挙げ、その実例が「ニセ科学」であること を証明するためには、どのような方法で、どのよう な証拠を得て、どのように説明する必要があるのか を論じなさい。また、その実例がニセ科学でも信じ てしまいやすい要因は何かについても考察し、説明 しなさい。ただし、講義で扱った事例以外のものを 挙げること。 500 字以上 800 字以内。」

## 3.3 実験設定

BERT の言語モデルは Mecabを利用した日本語訓練済みの HuggingFaceBERT ${ }^{1}$ を使用した。このモデ ルの語彙サイズは 32,000 である. 今回の害験では 最大シーケンス長とバッチサイズの組み合わせを 2 つ用いた. 1 つは最大シーケンス長が 512 , バッ チサイズが 16 であり，もう 1 つは最大シーケンス 長が 400 ，バッチサイズが 32 である．また，小論文 データの数は「グローバリゼーションの光と影」が 328,「自然科学の構成と科学教育」が 327 , 「東アジ

1) https://github.com/huggingface/transformers

ア経済の現状」および「批判的思考とエセ科学」が 290 であり，そのうち 50 をテストデータ，残りを 訓練データとして利用している. 訓練データのうち 50 個をValidation_dataとしている.

## 3.4 評価尺度

本節では今回作成したシステムの精度を測る方法を示す. 人手で採点した結果と採点支援システ ムの出力した結果を入力とし, Accuracy および重 み付きカッパ係数 (QWK: Quadratic Weighted Kappa) での評価を行う. Accuracy の計算式を式 (1)(2) に 示す.

$
\begin{aligned}
e q(a, b) & = \begin{cases}1 & (a=b) \\
0 & (a \neq b)\end{cases} \\
\text { Accuracy } & =\frac{\sum_{i=1}^{n} e q\left(A_{i}, B_{i}\right)}{n}
\end{aligned}
$

$n$ は小論文のデータ数であり $A_{i}, B_{i}$ は $i$ 番目の点数 データである. Accuracy が 1 に近いほど一致率が 高いと言える。

## 3.5 実験結果

小論文の各設問に対してValidation_Accuracy (Val_Acc) とTest_Accuracy (Test_Acc) および QWK をそれぞれ算出した. 表 1 には最大シーケンス長 512，バッチサイズ 16 で実験した結果を，表 2 には 最大シーケンス長 400 , バッチサイズ 32 で実験を 行った結果を示している. 表中では各講義名につい て「グローバリゼーションの光と影」を「グローバ ル」,「自然科学の構成と科学教育」を「自然科学」,「東アジア経済の現状」を「東アジア」，「批判的思考 とエセ科学」を「批判的思考」とそれぞれ表現して いる

表 1 バッチサイズ 16 でのシステムの評価

表 2 バッチサイズ 32 でのシステムの評価

## 3.6 分析

Accuracy の結果から BERT は従来研究されてい た短答式記述問題に加え, 500 字以上 800 字以下と いった長文記述問題に対しても 5 クラス分類の期待値である 0.2 より高い精度で推定できている. し かし， QWK の値を確認すると特にバッチサイズ 16 の場合に 0.000 といった值が多く見られる. これは BERT の推定値がすべて同じ值になったことを示 す. BERT の問題点として 1 点などの極端な点数を 推定することが難しく, 平均値や最頻値に近い値を 予測する傾向が強いことが挙げられ，この問題点に よりバッチサイズ 16 の QWK が低くなってしまっ たと考えられる. バッチサイズを 32 に変更するこ とで「東アジア経済の現状」や「批判的思考とエセ 科学」のQWK の値には改善がみられる一方で，「自然科学の構成と科学教育」等の QWK 値は低いまま である.このようにバッチサイズの変更によって推定の精度は大きく変動するため今後も検討が必要で ある。

## 4 おわりに

本研究では, HuggingFaceBERT を用いた小論文自動採点システムを作成しAccuracy および QWK に よる性能評価を行った. 平均値に近い値を予測して しまうといった BERT の特性上，推測値がすべて同 じ値になってしまうという問題点も見られたがバッ チサイズを大きくする等の工夫によって精度を改善 することが可能であり，BERT が小論文自動採点に 有効であることを示した.

## 謝辞

本研究の遂行にあたって岡山大学運営費交付金機能強化経費「小論文、エッセイ等による入学試験で の学力の三要素を評価するための採点評価支援シス テムの開発導入」の助成を受けた.

## 参考文献

[1] 佐藤俊. 評価データのクラスタリングを用いた記述式答案自動採点のためのトランズダクティブ学習. 言語処理学会第 26 回年次大会発表論文集, 2020.

[2] 平尾礼央, 新井美桜, 嶋中宏希, 勝又智, 小町守. 複数項目の採点を行う日本語学習者の作文自動評価シス テム. 言語処理学会第 26 回年次大会発表論文集, pp. 1181-1184, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2018.

[4] 舟山弘晃. 記述式答案自動採点のための確信度推定手法の検討. 言語処理学会第 26 回年次大会発表論文集, 2020.

[5] 内田優斗, 宇都雅輝. 項目反応理論に基づく能力推定値を活用した短答記述式問題自動採点手法. 言語処理学会第 26 回年次大会発表論文集, 2020 .

[6] 清野光雄竹内孔一.ニューラルネットワークを利用し た日本語小論文の自動採点の検討. FIT2019 講演論文集, 2019.

[7] 大野雅幸, 泉仁宏太, 竹内孔一, 小畑友也, 田口雅弘, 稲田佳彦, 飯塚誠也, 阿保達彦, 上田均. 小論文自動採点 データ構築と理解力および妥当性評価手法の構築. 言語処理学会第 24 回年次大会, pp. 368-371, 2018.
 江島知優 岡山大学工学部 chihiro.100522@s.okayama-u.ac.jp 堀江遼河 岡山大学大学院自然科学研究科 ptmnøudx@s. okayama-u.ac.jp 竹内孔一 岡山大学大学院自然科学研究科 takeuc-k@okayama-u.ac.jp  