# アノテータのバイアスを考慮した記述・論述式自動採点手法

岡野将士
電気通信大学大学院
okano@ai. lab.uec.ac.jp
}

宇都雅輝
電気通信大学大学院
uto@ai.lab.uec.ac.jp

## 1 はじめに

近年，新しい時代に必要となる能力を評価する手法として記述・論述式試験が注目されている.しか し，大規模試験に記述・論述式試験を導入する場合，時間的・金銭的コストの高さや採点の公平性の 担保の難しさといった課題が存在する. 自動採点手法はこれらの解決策の一つとして注目されている.

自動採点を実現する方法として，事前に定義され た特徴量を用いる手法 $[1,2,3,4]$ や深層学習モデル を用いた手法 $[5,6,7,8,9]$ が存在する. これらの手法の多くは, 教師あり機械学習を用いてモデル学習 を行う。しかしながら，教師あり機械学習では，モ デル学習に利用するデータセットの質がモデルの構築精度に影響を与えるという欠点が知られている。教師あり機械学習を用いた自動採点モデルでは，モ デル学習に利用する採点済み答案データセット中の 得点はバイアスのない正確な得点であると仮定す る.しかし，大規模試験では多数のアノテータが分担して採点を行うことが一般的であり，そのような 場合，個々の答案に対する得点がアノテータの特性 （甘さ/厳しさなど）に強く依存してしまう [10]. こ のようなアノテータの特性の影響を受けたデータ を利用した場合，学習されるモデルもその影響を受 け, 予測性能が低下することが報告されている [11].

他方で，教育・心理測定の分野において，アノ テータの特性の影響を考慮して真の得点を推定でき る手法が多数提案されている. 具体的には, 数理モ デルを用いたテスト理論の一つである項目反応モデ ルに，アノテータの特性を表すパラメータを加えた モデルとして提案されている $[10,12,13,14,15,16]$

そこで本研究では，アノテータの特性を考慮した 項目反応モデルを教師あり機械学習を用いた自動採点モデルに組み込んだ，アノテータのバイアスに頑健な新たな自動採点手法を提案する。具体的には， アノテータが与える得点データから項目反応モデ ルを用いて各答案の真の得点を推定し，これを目的変数として自動採点モデルを学習する.この手法は 様々な自動採点モデルで利用できるが，本研究では 特徵量ベース自動採点モデルとして EASE[4], 深層学習自動採点モデルとして, LSTM に基づくモデル [7] と BERTを用いたモデル [9]への組み込みを行 う. 提案手法を利用することで，アノテータのバイ アスに頑健なモデル学習と得点予測が期待できる.

## 2 データ

本研究では，ある記述・論述式問題に対する $J$ 人 の受験者 $\mathscr{F}=\{1, \ldots, J\}$ の答案集合 $\boldsymbol{A}$ と，各答案を $R$ 人のアノテータ $\mathscr{R}=\{1, \ldots, R\}$ で分担して採点し た得点集合 $\boldsymbol{U}$ で構成されるデータを想定する.

答案集合 $\boldsymbol{A}$ は，受験者 $j \in \mathcal{F}$ の答案 $e_{j}$ の集合で あり, 得点集合 $\boldsymbol{U}$ は答案 $e_{j}$ に対してアノテータ $r \in \mathscr{R}$ が $K$ 段階 $\mathscr{K}=\{1, \ldots, K\}$ で与えた得点 $U_{j r}$ の 集合として，U=\{U$\left.U_{j r} \in \mathscr{K} \cup\{-1\} \mid j \in \mathcal{F}, r \in \mathscr{R}\right.\}$ と定義される. ここで, $U_{j r}=-1$ は久測データを表す.欠測データは答案 $e_{j}$ にアノテータ $r$ が割り当てら れていない場合に生じる. 実際の採点場面ではアノ テータの負担軽減のために，個々の答案に数名のア ノテータを割り当てて採点が行われるため，このよ うな久測が生じる。

## 3 自動採点モデル

## 3.1 特徴量ベース自動採点モデル

事前に定義した特徴量を用いた自動採点手法は自動採点を実現する手法として古くから研究されて おり，実際の試験現場でも用いられている $[1,2,3]$. それらの中でも特に, EASE (Enhanced AI Scoring Engine）[4] は自動採点のコンペティションで3位に 入賞したモデルであり, 数多くの研究で比較対象と して用いられている.このモデルでは, 使用語彙や 品詞情報, 単語数などに基づく特徴量を用いて得点 の推定を行っている. 具体的には，これらの特徴量 を答案から抽出し，それらを回帰モデルに入力する

ことで自動採点を実現している. また，回帰モデル としてべイジアンリッジ回帰（BLRR）とサポート ベクター回帰（SVR）が使用されることが多い [3].

## 3.2 深層学習自動採点モデル

深層学習自動採点モデルは対象答案の単語系列 を深層学習モデルに入力することで，人手で設計し た特徴量を利用することなく，採点を行う手法であ り, 近年多くの手法が提案されている $[5,6,7,8,9]$. LSTM に基づくモデル [7] はそれら最先端研究の ベースライン手法として知られている. このモデル では，答案の単語系列を入力し，5つの層（Lookup Table Layer $\cdot$ Convolution Layer $\cdot$ Recurrent Layer $\cdot$ Pooling Layer ・ Linear Layer with Sigmoid Activation）を通して 得点を予測する. LSTM は 3 層目の Recurrent Layer で用いられ，得点予測に有効な特徴量を文脈を考慮して抽出する。また， 5 層目の Linear Layer with Sigmoid Activation では Pooling 層の出力ベクトル $\boldsymbol{M}_{j}$ から得点を表すスカラー值を求める. 具体的には， シグモイド関数 $\sigma$ を用いて, $\hat{U}_{j}=\sigma\left(\boldsymbol{W}_{\boldsymbol{j}}+b\right)$ で計算する. ここで， $\boldsymbol{W}$ と $b$ は重みとバイアスを表すパ ラメータである.この際， $\hat{U}_{j}$ は $(0,1)$ の值を取るた め，一次変換を行い，実際の得点尺度に合わせる。

また，様々なタスクで最高精度を達成している BERT[17] を用いたモデル [9]も提案されている. このモデルでは, 答案の単語系列を入力し, 多層 の双方向 Transformer（BERT）を通すことで，中間表現 $\boldsymbol{M}_{j}$ を生成する.この中間表現 $\boldsymbol{M}_{j}$ を LSTM に基づくモデルと同様の Linear Layer with Sigmoid Activation に通すことで得点を計算する。

## 3.3 従来手法の問題点

上述した自動採点モデルの多くは，教師あり機械学習を用いてモデル学習を行う。この際，採点済み の答案データセットを教師データとして活用する。具体的には，次式で定義される平均二乗誤差 (mean squared error：MSE）を損失関数として, 誤差逆伝搬法で学習することが一般的である.

$
\operatorname{MSE}(\boldsymbol{U}, \hat{\boldsymbol{U}})=\frac{1}{J} \sum_{j=1}^{J}\left(U_{j}-\hat{U}_{j}\right)
$

ここで, $U_{j}$ は $e_{j}$ の得点を, $\hat{U}_{j}$ は $e_{j}$ の予測得点を表 す.しかし, 学習データ中の得点データはアノテー タの特性に強く依存する.この場合, 自動採点モデ ルにも，アノテータの特性の影響が反映され，予測精度が低下してしまうことが指摘されている. 本研究では，この問題を解決するために，項目反応理論 を用いる。

## 4 項目反応モデル

項目反応理論 (Item Response Theory：IRT) は，コ ンピュータ・テスティングの普及とともに近年様々 な分野で実用化が進められている数理モデルを用い たテスト理論の一つである. 本研究では, 最先端研究である宇都・植野のモデル $[13,18]$ を利用する.

宇都・植野のモデル $[13,18]$ では，受験者 $j \in \mathscr{g}$ ある答案に対し, アノテータ $r \in \mathscr{R}$ が得点 $k \in \mathscr{K}$ を 与える確率は次式で定義される。

$
P_{j r k}=\frac{\exp \sum_{m=1}^{k}\left[\alpha_{r}\left(\theta_{j}-\beta_{r}-d_{r m}\right)\right]}{\sum_{l=1}^{K} \exp \sum_{m=1}^{l}\left[\alpha_{r}\left(\theta_{j}-\beta_{r}-d_{r m}\right)\right]}
$

ここで， $\alpha_{r}, \beta_{r}, d_{r k}$ はそれぞれアノテータ $r$ の一貫性，厳しさ，得点 $k$ に対するアノテータ $r$ の厳し さを表し（ただし，パラメータの識別性のために， $d_{r 1}=0, \sum_{k=2}^{K} d_{r k}=0$ を仮定 $), \theta_{j}$ は受験者 $j$ の真の能力を表す潜在変数である.この $\theta_{j}$ は採点対象とな る答案の数が受験者ごとに一つであることから，そ の受験者の答案 $e_{j}$ の真の得点（以降では IRT 得点 と呼ぶ）を表す潜在変数とみなせる. 本研究のアイ ディアは，このモデルによって推定される IRT 得点 $\theta_{j}$ を用いて自動採点モデルを学習することにある.

## 5 提案手法

本研究では，アノテータの特性を考慮した項目反応モデルを自動採点モデルに組み込むことで，学習 データに含まれるアノテータのバイアスに頑健な 自動採点手法を提案する。提案手法は，IRTによる 得点補正と, 自動採点モデルの学習の二段階で構成 される. モデルの学習段階と得点の予測段階につい て，手順を説明する。

## 1. モデル学習

1) 得点データ $\boldsymbol{U}$ から，IRT モデルを用いて $\theta_{j}$ を推定する。この $\theta_{j}$ を，答案 $e_{j}$ に対する得点 とする。2) 得点 $\theta_{j}$ を予測するように，自動採点モデルを学習する. 具体的には自動採点モデ ルの損失関数を次の MSE で定義し, 誤差逆伝播法によりパラメータを学習する。

$
\operatorname{MSE}(\boldsymbol{\theta}, \hat{\boldsymbol{\theta}})=\frac{1}{J} \sum_{j=1}^{J}\left(\theta_{j}-\hat{\theta}_{j}\right)^{2}
$

ここで $\hat{\theta}_{j}$ は，自動採点モデルの予測値を表す.
表 1 検証モデルの設定

## 2. 得点予測

得点予測は，前節で学習されたモデルを用いて $\theta_{j}$ を予測することで行う．ただし，IRTでは一般に $\theta_{j}$ の分布として標準正規分布を仮定する ため, $\theta_{j}$ は $[-\infty, \infty]$ の範囲の値をとり, 元の得点とは尺度が変わってしまう. 元の得点尺度に 合わせるために，本実験では次のように IRT モ デルに基づく期待得点 $\hat{U}_{j}$ を求める.

$
\hat{U}_{j}=\frac{1}{R} \sum_{r=1}^{R} \sum_{k=1}^{K} k \cdot P_{j r k}
$

なお，提案手法の本来の利用方法でないが，提案手法では個々のアノテータが与える得点も 予測することができる．具体的には，アノテー タ $r$ が $e_{j^{\prime}}$ に与える得点は次式で予測できる.

$
\hat{U}_{j^{\prime} r}=\sum_{k=1}^{K} k \cdot P_{j^{\prime} r k}
$

## 6 実データによる評価実験

## 6.1 実データ

本実験では，実データとして自動採点モデルの ベンチマークデータとして広く利用されている Automated Student Assessment Prize（ASAP）を使用す る. ASAP は 2012 年にヒューレット財団がスポン サーとなって開催されたコンペティションのデー タであり，8つの異なるトピックに対する答案デー タと得点データで構成されている. ただし，ASAP のデータにはアノテータの情報が含まれていない ため，提案手法を直接は適用できない。そのため，新たにアノテータを雇用して ASAP の答案データ を再度採点し, 本実験で用いる得点データを収集し た. 具体的には, 先行研究で予測精度が最も高かっ たトピック 5 の 1805 個の答案に対して, Amazon Mechanical Turk で募集した英語ネイティブ 38 名の アノテータを 1 つの答案あたり 3～5 名割り当てて，
ASAP と同様に 5 段階の採点を行った. ASAP の得点データとの相関は，平均で 0.675 であった.

## 6.2 得点予測の頑健性の評価

本節では，提案手法を利用することで，アノテー タのバイアスに頑健な自動採点モデルを学習できる かを評価する．本実験では，個々の答案を採点する アノテータを変化させても，安定した性能の自動採点モデルを学習できるかによってこれを評価する.

具体的には，項目反応モデルの研究における実験手順 $[19,20]$ を参考に，以下の手順で評価実験を 行った. 1) 得点データから IRT モデルのアノテータ に関するパラメータを推定した. 2) 各答案に与えら れた複数のアノテータの得点からランダムに 1 つ の得点を選択することで，各答案に単一の得点が与 えられたデータセットを作成した. 同様の手続きで 10 パターンの異なるデータセットを作成した. こ れらのデータセットを $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, \boldsymbol{U}_{10}^{\prime}\right.\}$ とする.3) $n$ 番目の得点データセット $U_{n}^{\prime}$ から各答案に対する IRT 得点を推定した. 推定時には，手順 1 で推定したア ノテータに関するパラメータを所与とした. 4) 得ら れた IRT 得点と答案文のデータセットを用いて，5 分割交差検証法で各答案の予測得点を求めた. 5) 手順 4 を $n=\{1, \ldots, 10\}$ について行ったあと， $n$ 番目 のデータセットから求めた予測得点と $n^{\prime}$ 番目の得点データセットから推定した予測得点とのカッパ 係数，重み付きカッパ係数（Linear Weighted Kappa： LWK)，2 次重み付きカッパ係数 (Quadratic Weighted Kappa：QWK), 平均絶対誤差 (Mean Absolute Error： MAE), 平均平方二乗誤差（Root Mean Square Error : RMSE），相関係数を $n \in\{1, \ldots, 10\} ， n^{\prime} \in\{1, \ldots, 10\}$ の全ての組み合わせについて求め，それらの平均を 算出した.

比較のために，IRT を利用しない既存の自動採点手法についても同様の実験を行った。具体的には，手順 2 で作成したデータセット $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, U_{10}^{\prime}\right.\}$ を用い て, 手順 4, 5 と同様に 5 分割交差検証法で得点を予測し, 予測された得点同士の一致性指標を求めた.

また，提案手法・従来手法ともに，深層学習自動採点モデルとしてはLSTM と BERT を用いたモデ ル，特徴量ベース手法としては EASE について上記 の実験を行った.なお，LSTM 自動採点モデルにつ いては，各層の有無や構成について複数の方式が提案されている。 そのため，表 1 に記載した複数の構成のモデルについて検証を行った。また，EASEに
表 2 予測の頑健性の評価結果

}} & \multirow{2}{*}{\multicolumn{3}{|c|}{ LWK }} & \multirow{2}{*}{\multicolumn{2}{|c|}{}} & \multirow{2}{*}{\multicolumn{3}{|c|}{ 值 $\frac{M}{M}$}} & $\mathrm{AE}$ & \multicolumn{3}{|c|}{ RMSE } & \multicolumn{3}{|c|}{ 相関係娄 } \\

表 3 予測得点の評価結果

 & ツハ & & &  & 直 & &  & & 提案 &  & & 提案 &  & & & 既 & \\

*は $\mathrm{p}$ 值が 0.05 未満，** は $\mathrm{p}$ 値が 0.01 未満を表す.

ついても用いる回帰モデルは複数考えられるが，先行研究で精度が高い BLRR のモデルを用いる. さら に，提案手法と既存手法で性能に有意な差があるか を確認するために，各指標の平均値について，提案手法と既存手法で $\mathrm{t}$ 検定を行った.

実験結果を表 2 に示す. 表中では提案手法と既存手法で性能が高い方を太字で示している。表 2 か ら，ほぼ全ての条件において，提案手法が有意に高 い性能を示していることが確認できる。このことか ら，IRT 得点を目的変数として自動採点モデルを学習する提案手法により，アノテータのバイアスに頑健な自動採点を実現できたことがわかる.

## 6.3 提案手法の得点予測精度評価

本節では，各アノテータの得点 $U_{j r}$ の予測精度を 評価するために， $U_{j r}$ の予測得点と実際の得点との 一致度を, 前節と同様の一致性指標を用いて 5 分割交差検証法で評価した. 具体的な実験手順は次の通 りである。提案モデルでは，手順 $1 ， 2 ， 3$ は前節と 同様に行い，手順 4 において式 (4) で期待得点を求 める代わりに各アノテータの得点の予測値を式 (5) で求め, 予測された得点と実際の得点との一致性指標を求めた. 既存モデルでは，前節の手順 2 で作成 したデータセット $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, \boldsymbol{U}_{10}^{\prime}\right.\}$ を用いて 5 分割交差検証法で得点予測を行い，予測された得点と実際の 得点との一致性指標を求めた.

結果を表 3 に示す. 表 3 では，提案手法と既存手法で性能が高い方を太字で示している. 提案手法と 既存手法の性能を比較すると，ほぼ全ての場合で 提案手法が高い性能を示している。これは，IRTに よって補正された得点は文章の質を素点そのものよ りも正確に反映しているため，提案手法では文章と 得点の関係がより適切に学習できたことが要因と考 えられる.このことから，提案手法は予測得点の頑健性向上に加え，アノテータが与えた得点の予測に も有効であることが確認できた。

## 7 まとめ

近年，自動採点技術に注目が集まっているが，教師あり機械学習を用いたモデルでは学習データセッ トによるモデルの不安定さが指摘されてきた。本研究では, IRTを用いて各答案の真の得点を推定し， それを自動採点モデルに学習させることで，この問題を解決する手法を提案し，実データ実験から有効性を示した．今後は，このモデルを end-to-end にす ることで，IRT 得点の推定にテキストの情報も活用 し，さらなる性能改善を目指したい。

## 参考文献

[1] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater ${ }^{\circledR}$ v.2. Journal of Technology, Learning and Assessment, Vol. 4, No. 3, pp. 1-30, February 2006.

[2] Hongbo Chen and Ben He. Automated essay scoring by maximizing human-machine agreement. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1741-1752. Association for Computational Linguistics, October 2013.

[3] Peter Phandi, Kian Ming A. Chai, and Hwee Tou Ng. Flexible domain adaptation for automated essay scoring using correlated linear regression. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 431-439. Association for Computational Linguistics, 2015.

[4] Tauber James, Paruchuri Vik, Huang Diana, Jarvis John, Aune Nate, and Kern John. Enhanced ai scoring engine, （2021-1 閲覧）. https://github.com/edx/ease.

[5] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the Annual Meeting of the Association for Computational Linguistics, Vol. 1, pp. 715-725. Association for Computational Linguistics, August 2016.

[6] Jiawei Liu, Yang Xu, and Lingzhe Zhao. Automated essay scoring based on two-stage learning. CoRR,arXiv, December 2019.

[7] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891. Association for Computational Linguistics, November 2016.

[8] Fei Dong and Yue Zhang. Automatic features for essay scoring - an empirical study. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077. Association for Computational Linguistics, November 2016.

[9] Pedro Uria Rodriguez, Amir Jafari, and Christopher M. Ormerod. Language models and automated essay scoring. arXiv, September 2019.

[10] 宇都雅輝, 植野真臣. パフォーマンス評価のための 項目反応モデルの比較と展望. 日本テスト学会誌, Vol. 12, No. 1, pp. 56-75, May 2016.

[11] Evelin Amorim, Marcia Cançado, and Adriano Veloso. Automated essay scoring in the presence of biased ratings. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics, Vol. 1, pp. 229-237. Association for Computational Linguistics, June 2018.

[12] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. $\mathrm{He}$ liyon, Elsevier, Vol. 4, No. 5, pp. 1-32, May 2018.

[13] Masaki Uto and Maomi Ueno. A generalized many-facet Rasch model and its Bayesian estimation using Hamiltonian Monte Carlo. Behaviormetrika, Springer, Vol. 47, No. 2, pp. 469-496, 2020.

[14] Richard J. Patz, Brian W. Junker, Matthew S. Johnson, and Louis T. Mariano. The hierarchical rater model for rated test items and its application to large-scale educational assessment data. Journal of Educational and Behavioral Statistics, Vol. 27, No. 4, pp. 341-384, January 2002.

[15] Richard J. Patz and Brian W. Junker. Applications and extensions of MCMC in IRT: Multiple item types, missing data, and rated responses. Journal of Educational and Behavioral Statistics, Vol. 24, No. 4, pp.342-366, December 1999.

[16] J.M. Linacre. Many-faceted Rasch Measurement. MESA Press, January 1989.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186. Association for Computational Linguistics, 2019.

[18] 宇都雅輝, 植野真臣. ピアアセスメントにおける異質評価者に頑健な項目反応理論. 電子情報通信学会論文誌. D, 情報・システム, Vol. 101, No. 1, pp. 211-224, January 2018.

[19] 宇都雅輝. 論述式試験における評点データと文章情報を活用した項目反応トピックモデル. 電子情報通信学会論文誌 D, Vol. 102, No. 8, pp. 553-566, August 2019.

[20] Masaki Uto. Rater-effect IRT model integrating supervised LDA for accurate measurement of essay writing ability. In Proceedings of the Conference on Artificial Intelligence in Education, pp. 494-506. Springer, June 2019.
 岡野将士 電気通信大学大学院 okano@ai. lab.uec.ac.jp }  宇都雅輝 電気通信大学大学院 uto@ai.lab.uec.ac.jp  