# 論述構造解析技術を用いたニューラル小論文自動採点手法

山浦美里 ${ }^{1}$ 福田樹 1 宇都雅輝 1
1 電気通信大学大学院
\{yamaura, fukuda,uto\}@ai. lab.uec.ac.jp

## 概要

近年，深層学習を用いた小論文自動採点モデルが 高精度を達成しつつあるが，従来の深層学習自動採点モデルは文章の論理構造を明示的には考慮できな い. 本研究では, 論述構造解析技術を用いて推定さ れる文章の論理構造を考慮できる新たな深層学習自動採点モデルを提案する。

## 1 はじめに

論理的思考力や表現力が新しい時代に求められ る資質として注目される中，そのような能力の評価法の一つとして小論文試験が広く活用されている $[1,2,3]$. しかし，小論文試験には，採点の公平性担保の困難さや人手採点に伴うコストの増大などの懸念がある [4]. これらの問題を解決する手段の一つ として自動採点技術が近年注目されている $[5,6]$.

既存の小論文自動採点手法は大きく2つに分類で きる [6,7]. 一つは人手で設計した特徴量を用いる 手法であり, 文章から抽出した特徴量（総単語数や 接続詞数，文法エラー率など）を線形回帰モデルや 決定木などの機械学習モデルに入力して得点を予測 する $[5,8]$. 二つ目は深層学習を用いる手法であり,入力が小論文の単語系列, 出力が得点となる深層学習モデルを構築して自動採点を実現する [6,9]. 近年では, BERT（Bidirectional Encoder Representations from Transformers）[10] などを用いた深層学習自動採点モデルが高精度を達成している [11,12].

従来の深層学習自動採点モデルでは，単語の意味 や単語間の関係性は考慮できるが，文章の論理構造 は直接的には考慮できない [13, 14]. 論理構造は小論文の質に関わる本質的な要素の一つであるため,論理構造をモデルに明示的に与えることができれ ば，更なる自動採点の精度向上が期待できる。この ような背景から, Nguyen \& Litman[15] は, 論理構造 を考慮できる小論文自動採点手法を提案している. この手法では，自然言語処理分野において近年高精度化が進む論述構造解析技術 (Argument Mining) $[16,17,18,19,20,21]$ を用いて文章の論理構造を推定し, 得られた論理構造から特徵量（論理構造の構成要素数やそれらの要素間のエッジの数，各要素中 の単語数など）を抽出して特徴量ベースの自動採点手法を構築している. しかし，実験の結果，論理構造に関する特徵量の追加による自動採点精度の改善 は限定的であったことを報告している。 この要因と しては, 論理構造の情報を表層的な特徵量に縮約し てしまったため，論理構造の情報を十分に活用でき なかったことが考えられる。

そこで本研究では, 論述構造解析で求めた論理構造を人手で設計した特徵量に変換せずに処理でき る深層学習手法を開発し，その手法を組み込んだ新 たな深層学習自動採点手法を提案する. 具体的に は，BERT モデルの Self-Attention 機構を拡張するこ とで，論理構造を考慮できる深層学習モデルを構築 し，その処理結果を従来の深層学習自動採点モデル に統合する方法を開発する。 さらに，ベンチマーク データを用いた実験を通して提案手法の有効性を 示す.

## 2 提案手法

## 2.1 論述構造解析による論理構造推定

提案手法では, Nguyen \& Litman [15] と同様に, 論理構造の推定に論述構造解析技術を用いる. 論述構造解析では, 図 1 のように，まず文章中から論理構造のノードに対応する文や文節（論理要素と呼ぶ）

図 1 論述構造解析の概念図

を抽出し, それらの論理要素間の論理関係を木構造制約を満たすように推定することで，文章の論理構造を推定する [18]. 本研究では, 近年高精度を達成 している深層学習べースの論述構造解析手法の一つ である Eger et al.[19] の手法を用いる.

## 2.2 論理構造を処理する深層学習モデル

提案手法では，論理構造を処理する深層学習モ デルの基礎モデルとして BERTを用いる. BERT は，Self-Attention 機構をコアとする Transformer と 呼ばれる構造を 12 層重ねた深層学習モデルであ る. 本研究では, BERTへの入力として, 採点対象文の先頭に [CLS] という特殊タグを挿入した単語系列 $\left.\{w_{0}, w_{1}, \ldots, w_{T}\right.\}$ （ただし， $w_{0}$ は [CLS] タグ， $w_{t}$ $(t>1)$ は対象文の $t$ 番目の単語, $T$ は対象文の単語数を表す）を考え，[CLS] タグに対応する出力べク トルを入力文に対する分散表現ベクトルとみなす。 このとき，BERT の $l$ 層目の Self-Attention は次式で 求められる.

$
\mathbf{H}_{l}=\mathbf{A}_{l} \cdot \mathbf{V}_{l}
$

ここで， $\mathbf{H}_{l}$ は $l$ 層目の Self-Attention 層の出力であ り, $(T+1) \times D$ の行列（ただし， $D$ は BERT の潜在変数ベクトルの次元数を表す) である。なお， $\mathbf{H}_{l}$ の行数が対象文中の単語数 $T$ ではなく $(T+1)$ と なっているのは，上記の通り，BERTへの入力の先頭に特殊タグ [CLS] を付与しているためである. また, $\mathbf{V}_{l}$ は一つ前の層の出力 $\mathbf{H}_{l-1}$ に基づいて計算される $(T+1) \times D$ の行列である. さらに， $\mathbf{A}_{l}$ は $(T+1) \times(T+1)$ のアテンション重みを表す行列であ り，通常の BERTでは，次式で求められる。

$
\mathbf{A}_{l}=\operatorname{softmax}\left(\frac{\mathbf{Q}_{l} \cdot \mathbf{K}_{l}^{\top}}{\sqrt{d}}\right)
$

ここで， $\mathbf{Q}_{l}$ と $\mathbf{K}_{l}$ は一つ前の層の出力 $\mathbf{H}_{l-1}$ に基づい て計算される $(T+1) \times D$ の行列であり,$d$ は調整係数である.

アテンション重み行列 $\mathbf{A}_{l}$ は，文章中のある単語 の分散表現ベクトルを計算するために，その他の単語の情報をどれだけ参照するかをコントロールす る機能を持つ. 例えば， $\mathbf{A}_{l}$ の $t$ 行 $t^{\prime}$ 列目の要素 $a_{l t t^{\prime}}$ は単語 $w_{t}$ の分散表現ベクトルを計算する際に， $w_{t^{\prime}}$ の情報をどれだけ重み付けして加算するかを表現 する. 本研究では，このアテンション重みを調整す ることで，論理構造を明示的に反映することを目指 す. 具体的には, 論理関係のある論理要素間では単語間の情報参照を許可し，論理関係がない論理要素間では単語間での情報参照を行わせないようにする ために, Visible Matrix と呼ぶ $(T+1) \times(T+1)$ の行列 $\mathbf{M}=\left.\{m_{t t^{\prime}} \mid t, t^{\prime} \in\{0, \ldots, T\}\right.\}$ を導入し，アテンショ ン重み行列 $\mathbf{A}_{l}$ を次のように計算する.

$
\mathbf{A}_{l}=\operatorname{softmax}\left(\frac{\mathbf{Q}_{l} \cdot \mathbf{K}_{l}^{\top}}{\sqrt{d}}+\mathbf{M}\right)
$

この式では, Visible Matrix $\mathbf{M} の t$ 行 $t^{\prime}$ 列目の要素 $m_{t t^{\prime}}$ が - になると，Softmax 関数により，アテン ション行列の $t$ 行 $t^{\prime}$ 列目の要素 $a_{l t t^{\prime}}$ が 0 となるた め, 式 (1) の Self-Attention の計算において $t$ 番目 の単語の分散表現ベクトルの計算時に $t^{\prime}$ 番目の単語の情報を無視させることができる．そこで，本研究では，論理関係がない単語間について $m_{t t^{\prime}}=-\infty$,論理関係がある単語間について $m_{t t^{\prime}}=0$ になるよう に，次のように Visible matrix を構築する。

今，採点対象文に論述構造解析を適用した結果， $P$ 個の論理要素が得られたとする. ここで, $p$ 番目 の論理要素を $\mathbf{C}_{p}$ （ただし， $p=\{1, \ldots, P\}$ ）とし， $\mathbf{C}_{p}$ はその論理要素に含まれる連続する単語の集合 として $\left.\{w_{i}, w_{i+1}, \ldots, w_{I_{p}}\right.\}$ で表すとする. ただし， $i$ は対象文中における論理要素 $\mathbf{C}_{p}$ の開始位置, $I_{p}$ は $\mathbf{C}_{p}$ に含まれる単語数とする。また，論理要素間の 関係は $P \times P$ の対称行列 $\mathbf{R}=\left.\{r_{u v} \mid u, v \in\{1, \ldots, P\}\right.\}$ で表し, $u$ 番目の論理要素 $\mathbf{C}_{u}$ と $v$ 番目の論理要素 $\mathbf{C}_{v}$ に論理関係があるとき $r_{u v}=r_{v u}=1$, そうでない ときに $r_{u v}=r_{v u}=0$ とする. 以上の定義のもとで，本研究では, 以下の 2 条件を満たすときに $m_{t t^{\prime}}=0$, そうでないときに $m_{t t^{\prime}}=-\infty$ となるように, Visible matrix Mを作成する.
1. $w_{t}$ を要素に持つ論理要素 $\mathbf{C}_{p}$ と $w_{t^{\prime}}$ を要素に持 つ論理要素 $\mathbf{C}_{p^{\prime}}$ が存在する。
2. $\mathbf{C}_{p}$ と $\mathbf{C}_{p^{\prime}}$ に論理関係が存在する. すなわち $r_{p p^{\prime}}=1$ である.

なお, 個々の論理要素について, 論理要素内の単語同士では情報の参照ができるように, $r_{p p}=1 ; \forall p$ とする. また, 本研究では, [CLS] に対応する出力 を論理構造を考慮した全体の分散表現べクトルと することを想定しているため，Visible Matrix M の 0 行目の要素は 0 , すなわち $m_{0 t}=0 ; \forall t$ とし, 全体 の情報が [CLS] に集約されるようにする. 反対に， [CLS] タグに集約される情報を各単語が参照できて はいけないため，M の 0 列目の要素は 0 行目を除 いて全て $-\infty$ とする. 本研究では，以上のように作

図 2 Visible Matrix 適用の概念図

成した Visible Matrix を用いて，論理構造の情報を 反映できるように Self-Attention を拡張した BERT を 「BERT-LS」と呼ぶ.

図 2 に Visible Matrix の作成と BERT-LS における Self-Attention の概念図を示す. 図 2 の下部で図示し ているように，BERT-LS の Self-Attention では，各単語の分散表現ベクトルを計算する際に，その単語 と論理的に関係がある論理要素の情報のみが考慮 され，論理関係がない論理要素間では単語間の情報参照がおこらないようになっている. そのため,全単語間の関係を考慮する通常の BERT と比べて, BERT-LS では論理構造を強調した情報処理が実現で きると考えられる。また，図からもわかるように， BERT-LS では，[CLS] タグに対応する分散表現べク トルに全体の情報が縮約されている。よって，本研究では，BERT-LS の最終層の [CLS] タグに対応する 出力ベクトル $x_{0}^{\prime}$ を論理構造を考慮した分散表現べ クトルとして採用する.

## 2.3 論理構造を考慮した深層学習自動採点手法

ここでは，BERT-LS を用いて処理した論理構造情報を，従来の深層学習自動採点モデルに加味させる 手法を提案する. 従来の深層学習自動採点モデルと しては，様々なモデルが利用できるが，ここでは，近年ベースラインとして広く利用される BERT を用 いた深層学習自動採点モデルを基礎モデルとして利

図 3 BERT による自動採点モデルの概念図用する.

BERTを用いた自動採点モデルの概念図を図 3 に示す. モデルへの入力は，BERT-LS と同様に，小論文の先頭に [CLS] タグを挿入した単語系列 $\left.\{w_{0}, w_{1}, \ldots, w_{T}\right.\}$ である. BERTを用いた自動採点モ デルでは， [CLS] タグに対応する BERT の出力べク トル $x_{0}$ に対して，次式で与えられる Linear Layer with Sigmoid Activation を適用することで，予測得点 $s$ を求める。

$
s=\sigma\left(\boldsymbol{W} \boldsymbol{x}_{0}+b\right)
$

ここで， $\sigma$ は Sigmoid 関数を表し， $\boldsymbol{W}$ と $b$ は重みべ クトルとバイアスを表すパラメータである. なお， $s$ は 0 から 1 の値を取るため，得点尺度がこれと 異なる場合には， $s$ を一次変換し，実際の得点尺度 に合わせる. 例えば， $1 \sim K$ の $K$ 段階得点の場合， $K s+1$ と変換する.

提案手法では，図 4 に示すように，BERT-LS で得 られる分散表現ベクトル $\boldsymbol{x}_{0}^{\prime}$ ([CLS] に対応する最終

図 4 提案モデルの概念図
表 1 実験結果

層の出力ベクトル）を，従来の深層学習自動採点 モデルで得られる分散表現ベクトル $x_{0}$ と結合した ベクトル $\left[x_{0} ; x_{0}^{\prime}\right]$ を作成し, それを Linear Layer with Sigmoid Activation に入力して予測得点を算出する.

モデル学習は, 次式の平均二乗誤差 (mean squared error：MSE）を損失関数として誤差逆伝搬法で行う。

$
\frac{1}{N} \sum_{n=1}^{N}\left(s_{n}-s_{n}^{*}\right)^{2}
$

ここで， $s_{n}$ は小論文 $n$ の予測得点， $s_{n}^{*}$ は真の得点 を表し， $N$ は訓練データ中の小論文の数を表す. な お，出力層に Sigmoid 関数を採用しているため，真 の得点は 0 から 1 の値に線形変換する必要がある.

## 3 実験

提案手法の有効性を確認するために，ベンチマー クデータを用いた評価実験を行う．実験には，自動採点研究のベンチマークデータとして広く利用さ れている Automated Student Assessment Prize (ASAP) を用いた. ASAP は，8つの異なる小論文課題に対 して，英語を母語とする米国の学生が英語で解答し た小論文と，それに対する得点で構成されるデータ セットである. 予測精度の評価実験は，8つの課題別に 5 分割交差検証法で行い，精度評価指標には 2 次重み付きカッパ係数 (QWK; quadratic weighted kappa）を用いた.

ベースとする深層学習自動採点モデル（図 4 の右側のモデル）には，BERT，RoBERTa[22], ALBERT[23], DistilBERT[24], DeBERTa[25], LSTM （Long short term memory）を中心としたモデル [26] を用い，それぞれのモデルに対して，BERT-LS を統合した提案手法と BERT-LS を使用しない従来手法 について予測精度を求めた. さらに，BERT-LS 単体
についても同様の実験を行なった.

実験結果を表 1 に示す. 太字は提案手法と従来手法で精度の高い方を示している。また， $\mathrm{p}$ 值列は，同一のベースモデルにおける提案手法と従来手法の 平均精度について，対応のある $\mathrm{t}$ 検定を行なった結果を示している。表 1 より，概ね全てのべースモデ ルで提案手法の平均精度が従来手法より高いこと, また，BERT-LS を単体で使用した場合と比べても，提案手法の精度が高いことが確認できる。

従来手法と比べた提案手法の精度改善は, 課題 1 , 2，8 において大きい傾向が確認できる. ASAP デー タセットには，自身の意見を論証するタイプの課題 (課題 1，2，7，8）と，与えられた長文に対してや や短めの文章で回答する形式の課題（課題 $3 ， 4 ， 5$, 6）が含まれており，精度改善が大きかった課題 1 , 2，8 は論証タイプの課題である. このことから，提案手法は, 論理的な文章構成が必要とされるタイプ の小論文課題において，有効性が高い傾向があると 考えられる。

## 4 まとめ

本研究では, 論述構造解析を用いて小論文の論理構造を推定し，その情報を深層学習で解析する手法 を開発するとともに，その手法を組み込んだ新たな 深層学習自動採点モデルを提案した. 実データ実験 により，提案モデルによって小論文の論理構造を明示的に深層学習モデルに組み込むことが，自動採点 の精度改善に有効であることが示された. 論理構造 を活用した自動採点の先行研究 [15] では, 論理構造 に基づく特徴量組み込みの有効性は示されなかった が，本研究で提案した方法で組み込みを行えば精度 が改善されることが示された.

## 参考文献

[1] Yousef Abosalem. Assessment techniques and students' higher-order thinking skills. International Journal of Secondary Education, Vol. 4, pp. 1-11, 012016.

[2] Emily R Lai. Critical thinking: A literature review. Pearson's Research Reports, Vol. 6, No. 1, pp. 40-41, 2011.

[3] Ou Lydia Liu, Lois Frankel, and Katrina Crotts Roohr. Assessing critical thinking in higher education: Current state and directions for next-generation assessment. ETS Research Report Series, Vol. 2014, No. 1, pp. 1-23, 2014.

[4] Masaki Uto and Masashi Okano. Learning Automated Essay Scoring Models Using Item-Response-Theory-Based Scores to Decrease Effects of Rater Biases. IEEE Transactions on Learning Technologies, Vol. 14, No. 6, pp. 763-776, 2021.

[5] Zixuan Ke and Vincent Ng. Automated Essay Scoring: A Survey of the State of the Art. In Proc. International Joint Conferences on Artificial Intelligence Organization, Vol. 19, pp. 6300-6308, 2019.

[6] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 459-484, 2021.

[7] Takumi Shibata and Masaki Uto. Analytic Automated Essay Scoring Based on Deep Neural Networks Integrating Multidimensional Item Response Theory. In Proc. International Conference on Computational Linguistics, pp. 2917-2926, Gyeongju, Republic of Korea, October 2022.

[8] Peter Phandi, Kian Ming A Chai, and Hwee Tou Ng. Flexible Domain Adaptation for Automated Essay Scoring Using Correlated Linear Regression. In Proc. Conference on Empirical Methods in Natural Language Processing, pp. 431-439, 2015.

[9] Farah Nadeem, Huy Nguyen, Yang Liu, and Mari Ostendorf. Automated Essay Scoring with Discourse-Aware Neural Models. In Proc. Workshop on Innovative Use of NLP for Building Educational Applications, pp. 484-493, 2019.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, June 2019.

[11] Christian Stab, Tristan Miller, Benjamin Schiller, Pranav Rai, and Iryna Gurevych. Cross-topic argument mining from heterogeneous sources. In Proc. Conference on Empirical Methods in Natural Language Processing, pp. 3664-3674, 2018.

[12] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural Automated Essay Scoring Incorporating Handcrafted Features. In Proc. International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[13] Harneet Kaur Janda, Atish Pawar, Shan Du, and Vijay Mago. Syntactic, semantic and sentiment analysis: The joint effect on automated essay evaluation. IEEE Access, Vol. 7, pp. 108486-108503, 2019.
[14] Patrick Hohenecker and Thomas Lukasiewicz. Ontology reasoning with deep neural networks. Journal of Artificial Intelligence Research, Vol. 68, pp. 503-540, 2020.

[15] Huy Nguyen and Diane Litman. Argument Mining for Improving the Automated Scoring of Persuasive Essays. Proc. Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence, Vol. 32, No. 1, 2018.

[16] Raquel Mochales Palau and Marie-Francine Moens. Argumentation Mining: The Detection, Classification and Structure of Arguments in Text. In Proc. International Conference on Artificial Intelligence and Law, pp. 98-107, 2009.

[17] Ruty Rinott, Lena Dankin, Carlos Alzate Perez, Mitesh M. Khapra, Ehud Aharoni, and Noam Slonim. Show Me Your Evidence - an Automatic Method for Context Dependent Evidence Detection. In Proc. Conference on Empirical Methods in Natural Language Processing, pp. 440-450, 2015.

[18] Christian Stab and Iryna Gurevych. Parsing Argumentation Structures in Persuasive Essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, 2017.

[19] Steffen Eger, Johannes Daxenberger, and Iryna Gurevych. Neural End-to-End Learning for Computational Argumentation Mining. In Proc. Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 11-22, 2017.

[20] John Lawrence and Chris Reed. Argument Mining: A Survey. Computational Linguistics, Vol. 45, No. 4, pp. 765-818, 2020.

[21] Yuxiao Ye and Simone Teufel. End-to-End Argument Mining as Biaffine Dependency Parsing. In Proc. Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 669-678, 2021.

[22] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[23] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite BERT for self-supervised learning of language representations. International Conference on Learning Representations, 2020.

[24] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

[25] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. arXiv preprint arXiv:2006.03654, 2020.

[26] Kaveh Taghipour and Hwee Tou Ng. A Neural Approach to Automated Essay Scoring. In Proc. Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.
 山浦美里 ${ }^{1}$ 福田樹 1 宇都雅輝 1 1 電気通信大学大学院 \{yamaura, fukuda,uto\}@ai. lab.uec.ac.jp  