# 多次元項目反応理論と深層学習に基づく 複数観点同時自動採点手法の精度改善

柴田拓海 ${ }^{1}$ 宇都雅輝 ${ }^{1}$
1 電気通信大学大学院
\{shibata,uto\}@ai.lab.uec.ac.jp

## 概要

深層学習を用いた小論文自動採点手法の一つと して，全体得点と複数の評価観点別得点を同時に予測する手法が近年注目され，高精度を達成しつつあ る. しかし, 従来手法は得点予測の根拠について解釈性が低いという問題があった. Shibata \& Uto はこ の問題を解決するために多次元項目反応理論を組み 込んで解釈性を高めた複数観点同時自動採点手法を 提案している. しかし, この手法は従来手法と比較 して僅かながら予測精度の低下がみられる。そこで 本研究では，精度低下の原因を分析し，予測精度を 改善した手法を提案する.

## 1 はじめに

近年，小論文試験の採点をコンピュータを用 いて自動化する小論文自動採点 (Automated Essay Scoring；AES）手法が多数提案されている. 自動採点を実現する手法は特徴量ベースと深層学習ベース の手法に大別される。これまでは，特徴量べースの 手法が一般的であったが (e.g., [1-3])，近年では深層学習を用いた自動採点モデルが多数提案されてい る (e.g., [4-16]). 深層学習自動採点モデルは文章の 単語系列を入力として，データから自動で複雑な特徵量を学習でき，高精度を達成している。

従来の自動採点モデルの多くは，全体得点のみを 予測する採点場面を想定している (e.g., [5-12])。し かし，学習評価場面などで小論文試験を運用する場合，より詳細なフィードバックを受検者に行うため に，論理構成力や文章表現力などの評価観点別の得点付けを行いたい場面も少なくない [13]. そこで，複数の評価観点に対応する得点を同時に予測できる モデルが近年提案されている (e.g., [13-16]).

現時点では, Ridley ら [16] の複数観点自動採点モ デルが最高精度を達成しているが，このモデルには解釈性の観点から次のような問題がある。(1) 評価観点ごとに複雑な多層ニューラルネットワークを 持つため予測根拠を解釈することが難しい。(2) 一般に評価観点は，背後に測定したい能力尺度を想定 し，それを測定できるように設計されるが [17]，こ のモデルでは複数評価観点の背後に想定される能力尺度を解釈することができない。

これらの問題を解決するために，Shibata \& Uto [18,19] は，項目反応理論を利用した手法を提案 している，具体的には，評価観点の特性を考慮した 多次元項目反応モデル [20] を出力層とし，それ以外を Ridley らのモデルを元にした評価観点共通の ニューラルネットワークとしたモデルを開発してい る.この手法の利点は以下の通りである。(1) 評価観点固有の出力層は, 識別力と困難度と呼ばれる項目反応理論で一般的な 2 種類のパラメータのみで説明されるため，それらのパラメータ值に基づいて観点ごとの特性を定量的に解釈できる。 (2) 多次元項目反応モデル層の能力次元数を最適化してパラメー タを分析することで，複数評価観点の背後に想定さ れる能力尺度を解釈できる。

このモデルは上記の点において解釈性を向上させ ることに成功したが，僅かに Ridley らの手法と比較 してモデルの予測精度が低下することがわかってい る.この原因を調査するために評価観点別の精度評価実験を行ったところ，特に全体得点の予測精度が 低いことがわかった．そこで本研究では Shibata \& Uto の手法において，全体得点の予測精度を改善す る手法を提案する。

## 2 項目反応理論

ここでは，本研究で扱う自動採点手法で利用して いる項目反応理論について説明する. 項目反応理論（Item Response Theory；IRT）[21] は，近年のコン ピュータ・テスティングの発展に伴い，様々な分野

図 1 Shibata \& Uto の複数観点同時自動採点モデル（左）と提案モデル（右）の概念図

で実用化が進められている数理モデルを用いたテス 卜理論の一つである. IRT モデルは正誤データなど の 2 值型のデータを前提とするものが多いが，多段階の得点データに対応した IRT モデルも多数提案 されている．また一般的な IRT モデルでは，測定対象の能力に 1 次元性を仮定しているが，測定される 能力に多次元性を仮定できるモデルも提案されて いる。

本研究では，代表的な多次元多値型 IRT モデル である多次元一般化部分採点モデル (Generalized Partial Credit Model；GPCM）[22]を使用する. ここで は, 先行研究 $[17,20]$ のように各評価観点を項目とみ なして多次元 GPCM を適用する。具体的には，受検者 $j$ が評価観点 $m$ において，得点 $k \in\left.\{1,2, \ldots, K_{m}\right.\}$ を得る確率を次式で与えるモデルを適用する。

$
P_{j m k}=\frac{\exp \left(k \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{j}+\sum_{u=1}^{k} \beta_{m u}\right)}{\sum_{v=1}^{K_{m}} \exp \left(v \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{j}+\sum_{u=1}^{v} \beta_{m u}\right)}
$

ここで， $\boldsymbol{\theta}_{j}=\left(\theta_{j 1}, \theta_{j 2}, \ldots, \theta_{j d}\right)$ は受検者 $j$ の $d$ 次元の能力を表すパラメータベクトルであり， ベクトルの各要素は各次元の能力值を表す. $\boldsymbol{\alpha}_{m}=\left(\alpha_{m 1}, \alpha_{m 2}, \ldots, \alpha_{m d}\right)$ は $\boldsymbol{\theta}_{j}$ に対応した評価観点 $m$ の $d$ 次元識別力, $\beta_{m u}$ は評価観点 $m$ において力 テゴリ $u-1$ から $u$ に遷移する困難度を表すパラ メータである， $K_{m}$ は，評価観点 $m$ における得点段階数を表す.なお，モデルの識別性のために， $\beta_{m 1}=0: \forall m$ を所与とする.

## 3 Shibata \& Uto の自動採点モデル

ここでは上述した多次元 GPCM を組み込んだ Shibata \& Uto $[18,19]$ の複数観点同時自動採点モデル について説明する. モデルの概念図を図 1 (左) に示
した. このモデルは，受検者 $j \in \mathcal{F}=\{1,2, \ldots, J\}$ の 小論文を入力とし，評価観点 $m \in M=\{1,2, \ldots, M\}$ に対応する得点 $\hat{y}_{j m}$ を出力する. ここで $J$ は受検者数, $M$ は評価観点数を表し, 特に $m=1$ は全体得点を 表すものとする．また，受検者 $j$ の小論文は単語系列として,$\left.\{w_{j s l} \mid s \in\left.\{1,2, \ldots, S_{j}\right.\}, l \in\left.\{1,2, \ldots, l_{j s}\right.\}\right.\}$ と表せる. $w_{j s l}$ は受検者 $j$ の小論文における $s$ 番目 の文の $l$ 番目の単語であり， $S_{j}$ はその小論文の文数, $l_{j s}$ は $s$ 番目の文の単語数である.

このモデルでは，まず受検者の小論文が文ごとに Embedding 層, Convolution 層, Attention Pooling 層 [9] に入力され，文単位の分散表現の系列に変換され る. 次に, この出力系列に対して, Recurrent 層 [23], Attention Pooling 層が適用される. さらに単語数や 可読性，文章の複雑さなどを表す人手で設計した特徵量のベクトル $F_{j}$ [16] を結合することで文章単位 の分散表現 $\boldsymbol{c}_{j}$ が得られる. このモデルでは，このべ クトル $\boldsymbol{c}_{j}$ を全結合層に入力し，多次元 IRT におけ る能力値べクトル $\boldsymbol{\theta}_{j}$ に対応する值を $\boldsymbol{\theta}_{j}=\boldsymbol{W}_{t} \boldsymbol{c}_{j}+\boldsymbol{b}_{t}$ で求める。ここで， $\boldsymbol{W}_{t}$ は重み行列， $\boldsymbol{b}_{t}$ はバイアス ベクトルを表す.

最後に，得られた $\boldsymbol{\theta}_{j}$ を用いて多次元 GPCM 層で 式（1）を計算することで，各評価観点 $m$ に対する 得点の出力確率が得られる．得点予測の際には，期待得点 $\sum_{k=1}^{K_{m}} k P_{j m k}$ を予測得点とする.

モデルの学習は以下の多クラス交差エントロピー （Categorical Cross-Entropy；CCE）誤差を損失関数と して誤差逆伝播法で行われる.

$
\mathscr{L}_{C C E}=-\frac{1}{J M} \sum_{j=1}^{J} \sum_{m=1}^{M} \sum_{k=1}^{K_{m}} y_{j m k} \log \left(P_{j m k}\right)
$
表 1 課題別の平均 QWK スコア

表 2 課題 1, 2 の評価観点別 QWK スコア

表 3 課題 3，4，5，6 の評価観点別 QWK スコア

ただし,$J$ は訓練データの小論文数， $M$ は評価観点数， $y_{j m k}$ は受検者 $j$ の評価観点 $m$ における真得点 が $k$ のときに 1 をりり，それ以外のときに 0 をる ダミ一変数である.

## 4 性能評価

ここでは，Shibata \& Uto のモデルの性能を詳細 に分析するために, 評価観点別の予測精度の評価 を行う。本害験では，実データとして，Automated Student Assessment Prize (ASAP) と, ASAP++ [24] を 用いる. ASAP は AES 研究の分野で広く使用される データセットである. ASAP と ASAP++には 8 つの 小論文課題に関する答案が含まれており，それぞ れの答案に対して全体得点と評価観点別の得点が 与えられている. 小論文数の課題ごとの平均は約 1622, 平均単語数は 275 である. なお課題 1 と課題 2 は, Content (Cont), Organization (Org), Word Choice (WC), Sentence Fluency (SF), Conventions (Conv),課題 3 から課題 6 は Cont, Prompt Adherence (PA),表 4 課題 7 の評価観点別 QWK スコア

表 5 課題 8 の評価観点別 QWK スコア

Language (Lang), Narrativity (Nar), 課題 7 は Cont, Org, Conv, Style, 課題 8 は課題 1 と 2 に共通する 評価観点に加えて Voice といった評価観点でそれぞ れ得点付けされている.

本論文では，Shibata \& Uto のモデルの次元数をそ れぞれ 1，2，3 と変化させて得点予測精度を評価 する実験を行った. またベースラインとして Ridley ら [16] のモデルの精度評価も行った. なお各モデ ルにおける Embedding 層では，共通して 50 次元の GloVe [25] による事前学習済みの単語埋め込みを利用した. モデルの性能評価は，5 分割交差検証を用 いて行った. 5 分割交差検証は課題ごとに独立して 実施し，エポック数は全てのモデルで 50 とした. 評価関数には，2 次の重み付きカッパ係数（Quadratic Weighted Kappa；QWK）を用いた.

実験結果を表 1 に示す. 表 1 では観点ごとに QWK スコアを計算し，その平均スコアを課題ごと に示している. 各条件で最も精度が高い手法の結果 を太字で示してある。 なお，表には Shibata \& Uto の モデルの中で最も精度が高かった 3 次元のモデル の数値のみ示している. 表 1 の平均 QWK スコアか ら, Shibata \& Uto のモデルは Ridley らのモデルと比較して予測精度が低下していることが読み取れる。 この原因をより詳しく分析するために，各評価観点 ごとの QWK スコアを表 2-5 に示す.これらの表か ら特に課題 1-4 と 6 における全体得点の予測精度が 低い傾向が読み取れる。このことは全体得点とその 他の観点別の得点を単一の IRT モデルで表現する ことが困難な場合があることを示唆いている。そこ

で, 本研究では Shibata \& Uto のモデルに対して全体得点を個別に予測する構造を持たせたモデルを提案 する。

## 5 提案モデル

本研究では，従来の Shibata \& Uto モデル（以下，従来モデルと呼ぶ）に全体得点を予測する固有の ニューラルネットワークを追加したモデルを提案す る. 提案モデルの概念図を図 1 （右）に示す. また，従来モデルは全体得点 $\hat{y}_{j 1}$ を観点別得点の一つとし て扱ったが，提案モデルでは全体得点と観点別得点 を区別する点に注意されたい．

提案モデルは, 入力層から一層目の Attention Pooling 層までは従来モデルと同じ構造であり, こ のネットワークを用いて文単位の分散表現の系列を 生成した後，全体得点のみを予測するネットワーク と観点別得点を予測するネットワークに分岐する. ここで, 観点別得点を出力するネットワークは従来 モデルと同じ構造となっている. 他方, 全体得点固有のネットワークは Recurrent 層から Concatenate 層までは観点別得点固有のネットワークと同じ構造であるが，出力層の設計が異なる。具体的には, Concatenate 層までで全体得点の予測に使用する文章単位の分散表現 $\tilde{\boldsymbol{c}}_{j}$ を算出し，この $\tilde{\boldsymbol{c}}_{j}$ に対してシグ モイド関数を活性化関数に持つ全結合層を適用さ せ，受検者 $j$ の全体得点 $\hat{y}_{j 1}$ を $\hat{y}_{j 1}=\sigma\left(\boldsymbol{W}_{o} \tilde{\boldsymbol{c}}_{j}+b_{o}\right)$ と予測する．ここで， $\sigma$ はシグモイド関数， $\boldsymbol{W}_{o}$ は 重み， $b_{o}$ はバイアスを表す.なお，この出力層の 設計は，全体得点を予測する一般的な自動採点モデ ル (e.g., [6,8,9]) と同様の設計である. この出力層 は得点予測にシグモイド関数を使用しているため, $\hat{y}_{j 1}$ は 0 から 1 の間の値をとる. 実際の得点尺度が これと異なる場合には， $\hat{y}_{j 1}$ を一次変換して実際の 得点尺度に合わせる。

提案モデルは全体得点に関する誤差を平均二乗誤差（Mean Squared Error； MSE）で算出し，他の観点別得点に関する誤差は従来モデルと同様に CCE 誤差で算出する。つまり，提案モデルは損失関数を 次式のように MSE 誤差と CCE 誤差の和として定義 し，誤差逆伝播法で学習を行う。

$
\mathscr{L}_{\text {total }}=\frac{1}{J} \sum_{j=1}^{J}\left(\hat{y}_{j 1}-y_{j 1}\right)^{2}+\mathscr{L}_{C C E}^{\prime}
$

ここで $y_{j 1}$ は受検者 $j$ の真の全体得点を， $\mathscr{L}_{C C E}^{\prime}$ は 式（2）において全体得点を含めない場合の CCE 誤差を表す。また，モデルの各種ハイパーパラメータ
は先行研究 $[18,19]$ に合わせ，最適化アルゴリズム には RMSProp [26] を用いる。

なお提案モデルの解釈の方法については従来モデ ルとほとんど同じであるため，詳しい解釈方法は文献 $[18,19]$ を参照されたい.

## 6 得点予測精度の評価実験

ここでは提案モデルの精度評価実験を行う. 実験 の手順は 4 章と同様である. 表 1 に最も精度が高 かった 3 次元の提案モデルの結果を示した. 表 1 の 平均 $\mathrm{QWK}$ スコアより, 提案モデルは, 従来モデル の精度を上回っていることが読み取れる. さらに提案モデルは Ridley らのモデルと比較しても同等の精度を達成していることがわかる. このことから，提案モデルは予測精度を改善できたといえる。

次に，各課題に関する評価観点別の QWK スコア を表 2-5 に示す.これらの表より, 特に課題 1-4 と 6 において全体得点の予測精度が大きく向上してい ることがわかる. この結果から提案モデルの全体得点固有のネットワークが有効に機能していることが 確認できる.

## 7 まとめ

本研究では，従来の複数観点同時自動採点モデル の解釈性を保持しつつ，予測精度を高めたモデルを 提案した. 提案モデルを用いた実験から，提案モデ ルは全体得点の予測精度向上に寄与することがわ かった.

なお実験結果から全体得点と観点別得点を単一の IRT モデルで表現していることが従来の Shibata \& Uto モデルの精度低下の原因であると考えられる. しかし, 本研究で利用している多次元 GPCM は一つ の観点に対して完全に独立な能力尺度を与えること が可能であるため，理論的には多次元 IRT における 能力次元数を十分に多く設定すれば，尺度構成に関 わらず柔軟に適合できるはずである。しかし実際に は従来モデルの予測精度は高々 3 次元で十分である ことがわかっており，次元数が増加しても従来モデ ルの予測精度は改善しない. そのため従来モデルの 全体得点における予測精度の低さは，多次元 GPCM 層よりも下の層における表現力の低さに起因すると 考えられる。この仮説を検証する方法として，従来 モデルを各能力次元に固有のニューラルネットワー クを持たせることが考えられる. この手法について は今後の課題としたい.

## 謝辞

本研究は JSPS 科研費 19H05663，20K20817， 21H00898 の助成を受けたものです.

## 参考文献

[1] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater ${ }^{\circledR}$ v.2. The Journal of Technology, Learning and Assessment, Vol. 4, No. 3, pp. 1-30, 2006.

[2] Hongbo Chen and Ben He. Automated essay scoring by maximizing human-machine agreement. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1741-1752, 2013.

[3] Peter Phandi, Kian Ming A Chai, and Hwee Tou Ng. Flexible domain adaptation for automated essay scoring using correlated linear regression. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 431-439, 2015.

[4] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 1-26, 2021.

[5] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 715-725. Association for Computational Linguistics, 2016.

[6] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.

[7] Fei Dong and Yue Zhang. Automatic features for essay scoring-an empirical study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077, 2016.

[8] Yi Tay, Minh C Phan, Luu Anh Tuan, and Siu Cheung Hui. Skipflow: Incorporating neural coherence features for end-to-end automatic text scoring. In Thirty-Second AAAI Conference on Artificial Intelligence, pp. 59485955, 2018.

[9] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essay scoring. In Proceedings of the 21st Conference on Computational Natural Language Learning, pp. 153162, 2017.

[10] Youmna Farag, Helen Yannakoudakis, and Ted Briscoe. Neural automated essay scoring and coherence modeling for adversarially crafted input. arXiv, 2018.

[11] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[12] Masaki Uto and Masashi Okano. Learning automated essay scoring models using item-response-theory-based scores to decrease effects of rater biases. IEEE Transactions on Learning Technologies, Vol. 14, No. 6, pp. 763-776, 2021.
[13] Sandeep Mathias and Pushpak Bhattacharyya. Can neural networks automatically score essay traits? In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 8591, 2020.

[14] Mohamed A. Hussein, Hesham A. Hassan, and Mohammad Nassef. A trait-based deep learning automated essay scoring system with adaptive feedback. International Journal of Advanced Computer Science and Applications, Vol. 11, No. 5, pp. 287-293, 2020.

[15] Farjana Sultana Mim, Naoya Inoue, Paul Reisert, Hiroki Ouchi, and Kentaro Inui. Unsupervised learning of discourse-aware text representation for essay scoring. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 378-385, 2019.

[16] Robert Ridley, Liang He, Xin-yu Dai, Shujian Huang, and Jiajun Chen. Automated cross-prompt scoring of essay traits. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13745-13753, 2021.

[17] Masaki Uto. A multidimensional item response theory model for rubric-based writing assessment. In Artificial Intelligence in Education, pp. 420-432. Springer International Publishing, 2021.

[18] Takumi Shibata and Masaki Uto. Analytic automated essay scoring based on deep neural networks integrating multidimensional item response theory. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 2917-2926, 2022.

[19]柴田拓海, 宇都雅輝. 多次元項目反応理論と深層学習 を用いた複数観点同時自動採点手法. 電子情報通信学会論文誌 D, Vol. 106, No. 1, pp. 47-56, 2023.

[20] Masaki Uto. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, No. 2, pp. 425-457, 2021.

[21] F.M. Lord. Applications of item response theory to practical testing problems. Erlbaum Associates, 1980.

[22] Lihua Yao and Richard D. Schwarz. A multidimensional partial credit model with associated item and test statistics: An application to mixed-format tests. Applied Psychological Measurement, Vol. 30, No. 6, pp.469-492, 2006.

[23] Jeffrey L Elman. Finding structure in time. Cognitive science, Vol. 14, No. 2, pp. 179-211, 1990.

[24] Sandeep Mathias and Pushpak Bhattacharyya. ASAP++: Enriching the ASAP automated essay grading dataset with essay attribute scores. Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[25] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 15321543, 2014.

[26] Yann Dauphin, Harm de Vries, and Yoshua Bengio. Equilibrated adaptive learning rates for non-convex optimization. In Advances in Neural Information Processing Systems, Vol. 28, pp. 1504-1512. Curran Associates, Inc., 2015 .
 柴田拓海 ${ }^{1}$ 宇都雅輝 ${ }^{1}$ 1 電気通信大学大学院 \{shibata,uto\}@ai.lab.uec.ac.jp  