# 学習者回答予測モデルからの設問の正答者数予測分布推定

江原遥 1
1 東京学芸大学 教育学部
ehara@u-gakugei.ac.jp

## 概要

本稿では，問題文から問題文の難しさを考慮して 学習者が正答できるかを判定する学習者回答予測夕 スクを扱う．BERTなどの大規模言語モデルを用い る場合，学習者ごとに異なった結果を出す判別がで きない問題があり，学習者を表すトークンを問題文 に付与してこの問題を解決する手法を筆者が 2022 年に提案した. 本稿では，この手法をさらに拡張 し, 個人化判別対応の微調整済み言語モデルから，問題の難しさ等の性質を「正答者数予測分布」とし て抽出する手法を提案する。

## 1 はじめに

学習支援システムにおいて，学習者が項目に回答 できるかどうかを予測する事は，学習者に合った水準の項目（設問）の提示など，適応的学習支援を行 うための基本的なタスクである．学習者が項目に回答した履歴のデータがあれば，教育心理学などで 能力や難しさのモデル化に多用される項目反応理論 (Item Response Theory，以下 IRT) [1] を用いるこ とで, 学習者の能力と項目の難しさを推定し, 学習者の反応予測を行う事ができる。しかし，IRTに基 づくモデルは通常, 学習者の回答パターンにのみ 依存し，項目（設問）が自然文で書かれていても文意を理解しない，自然言語処理においては，近年， Transformer モデルに代表される深層言語モデルが自然文理解で高い性能を示している [2]ため，設問文 の理解に，これらの深層言語モデルを用いたい．し かし，これらの言語モデルは，通常，言語のみをモ デル化するため, 学習者ごとに異なった判定を行う ことができず，学習者反応の予測に用いることが難 しい問題があった.

この問題に対し, 筆者は, 設問文を考慮した学習者反応の予測問題に適用する簡便な方法を提案し た [3]. この手法では，事前学習済の深層言語モデ ル Bidirectional Encoder Representation of Tranformers
(BERT)[2] に，学習者 IDを表す語を新語として追加 し，設問文の文頭に学習者 ID を表す語を置くこと で，「この学習者 ID の被験者が次の設問文で表され る問題に正答できるか否か」を予測するように，テ スト結果データセット上で, 微調整 (fine-tune) して いる。この手法は，自然文で記述されている設問に 対して, 複数の学習者が正答/誤答が明瞭にわかる形式（多肢選択式など）で回答する試験結果データで あれば，幅広く適用することが原理的に可能である ため，汎用性が高い. 教育の目的では，さらに，予測だけでなく，設問の難しさ（困難度）や，設問が 良問である度合い（識別力）も微調整済モデルから 取得したい.こうした設問に関する値を既に学習者 の回答がわかっている設定で取得できる統計的手法 としては, 項目反応理論 (Item Response Theory, IRT) の 2 パラメータモデルが知られている. しかし，一部の学習者の回答結果が不明であり予測しなければ ならない設定で，予測性能が高いだけでなく，さら に，こうした設問文の解釈に重要な値を深層言語モ デルから取得する手法はわかっていなかった。

本稿では，微調整済の BERT による学習者回答予測モデルで，高い予測精度を持ったうえ，設問の難 しさなど教育上重要な情報を取得できる正答者数分布を推定する手法を提案する. 提案手法から抽出し た設問の性質は，評価データ中の学習者の回答を与 えた設定で IRT を用いて推定した設問の困難度・識別力と統計的有意に相関した. 提案手法により，高 い予測性能に加え，IRT のような高い解釈性を持つ 微調整済 BERTを構築できることが示された。

## 2 関連研究

本研究で扱うのはテストなどの設問文とその回答 データであり，学習者が限られた時間で回答できる ものである. 一方, 長期にわたり, どの学習者がど の設問に正答/誤答しそうかという時系列回答デー タから，問題の難しさに関する埋め込みを作成する タスクは知識追跡（Knowledge Tracing）という名前

図 1 学習者トークンの導入.

図 2 実験設定. 青く塗られた部分がパラメタ推定に使わ れる訓練データ。斜線部が性能比較に用いられるテスト データ.

で知られており，データマイニング分野などで研究 されている $[4,5,6,7]$. しかし，これらの中では，設問文のテキスト情報は利用されていない。 その理由 は，知識追跡タスクの評価に標準的に用いられてい るデータセットが数学などいわゆる理系分野の問題 であるため，設問文の言語的知識よりも，過去の回答データの方が設問の難しさを推定するのに有効な 設定であるためと推察される．設問文のテキスト情報を設問間関係に変換して知識追跡に利用する研究 はあるものの [8], 知識追跡は, 長期の時系列回答 データが対象であるため，本研究とは設定も目的も 異なる. そのほか，近年，BERT を用いた教育応用 が提案されているが $[9,10,11]$, これらの研究では 学習者回答予測については扱われていない.

## 3 予測性能評価

本研究は，設問文から直接，設問の難しさを推定 する研究であるため，1）一文程度の短い分量で， 2 ）文中の語の意味を捉えることが回答の正誤に大 きくかかわるデータセットで評価することが，結果 がわかりやすく望ましい. このため, 頻出英単語の 典型的な語義と, 意外な語義の設問に，それぞれ多肢選択式で答えてもらったデータセット [3] を用い て性能評価を行った. [3] のデータセットでは，英語母語話者に問題として成立していることを確認 してもらったうえで，クラウドソーシングサービス Lancers $^{1)}$ から，2021 年 1 月に収集した. より詳細は [3] を参照されたい.

これにより，対応する問題は 12 問となる.

表 1 図 2 斜線部の予測精度 (accuracy).

Transformer モデルを個人化判別に対応させる手法 は，自然言語処理の言語教育応用の目的では著者の 知る限り知られていない. ただし, Transformer モデ ルに特殊なトークン（語）を加えて微調整を行い，様々な問題設定に対応させる手法は知られており, ライブラリ上で特殊なトークンを加える機能が用意 されている. 本研究では，この機能を利用すること で，学習者に対応するトークン（学習者トークン） を作り，これを入力系列の最初に置くことによって 判別を行う手法を提案する（図 1). 例えば，学習者 ID が 3 番の学習者を表すトークン “[USR3]”を導入し, “[USR3] It was a difficult period.” が入力であれ ば，3 番の学習者が “It was a difficult period.” という 文から成る設問に正答するか否かを予測する問題に 帰着させる，入力文はそのままで，入力文の前に，単純に学習者トークンが挿入されている点に注意さ れたい，導入するトークン数は学習者数と同数であ る. Transformer では各トークンに対して，その語と しての機能を表現する単語埋め迄みベクトルがある ので，学習者トークンに対しても埋め込みベクトル が作られる。

重要な点として，提案手法では，文中のどの語に ついての設問であるかという情報や，誤答選択肢の 情報は与えていない. すなわち，提案手法の判別器は, 表 2 のどの単語に下線が引かれているかや,表 2 や表 3 の正答以外の選択肢の情報を用いない.提案手法は，単純に正解となる文を入力とし，これ を学習者が理解できるか否かを判別する判別器を 構成している，と解釈できる。これにより，提案手法は，表 2 と表 3 という仔細の異なる 2 種類の多肢選択式の問題に対応できる.このように，提案手法 の適用範囲を広くとることができる. 今回の設定で は，入力文が短文であり，学習者が 1 語でもわから なければ正答できない設問で構成されているため，語義を知っている事と正解となる文を理解できるか 否かは，同一視できる.

Transformer モデルのその他の実験設定については 多用される設定とした。判別には， transformers ラ

イブラリの AutoModelForSequenceClassification を 用いた。微調整の訓練には Adam 法 [12] を用い, バッチサイズは 32 とした.

Transformer モデルを用いた結果を，表 1 に示す。* は IRT の最高性能と比較して Wilcoxon 検定で統計的有意であることを表し，**は $p<0.01 ， * は ~ p<0.05$ を表す。また提案手法の（）内は用いた事前学習済 モデル名である．表 1 では，まず，学習者トークン を導入した提案手法が，IRT を用いた従来手法より 高い性能を達成していることが分かる. この実験結果は，設問文の意味を考慮する事で，IRT より高精度な判別が行えることを示している。

## 4 設問の難しさや識別力の抽出法

ここまでは微調整済の BERT モデルから学習者の 能力值を抽出する方法であったが，さらに，設問の 難しさや識別力に相当する値を抽出する方法を提案 する. 方法の概略を示す. BERT は被験者が設問文 が指定されれば，その被験者がその設問に正答でき るかどうかだけでなく, その確率值も予測として出力できる. ある設問に着目し, 全被験者がその設問 を解いた時の正答できる確率を BERT に出力させ， ここからその設問の正答者数の確率分布を計算す る．被験者間の独立性を仮定すると，数学的には，成功確率が互いに異なる独立なベルヌーイ分布の和 の分布であるポアソン 2 項分布を計算する事に相当 する. この時, その設問の正答者数の確率分布の平均を設問の難易度，分散を識別力のような設問の良 さと解釈する事が可能になる。

ここでは，被験者数を $N$ 人とし，学習者の添字を $n$ とする（厳密には，被験者の中から特定の被験者 を選び $N$ と $J$ が異なる設定もあり得るので，違う 文字でおいた). 項目数を $I$ 個とし，項目の添字を $i$ とする. 学習データ上で予測器を微調整した後,予測器は学習者 $n$ が項目 $i$ に正しく回答する確率を 出力することができる. この確率を BERTProb $(n, i)$ と表記する. 簡単のために, ここからは設問 $i$ に 焦点を当てる. $B E R T \operatorname{Prob}(n, i)$ を使って， $\mathrm{N}$ 人の うち，質問 $i$ に正答する者の確率分布を求めたい. そこで BERTProb $(n, i)$ の確率で 1 , そうでなけれ ば 0 となるベルヌーイ分布に従う確率変数 $A_{n}$ を $A_{n} \sim \operatorname{Bernoulli}(B E R T P r o b(n, i))$ と定義する. ここ で，簡単のため，これらの確率変数 $\left.\{A_{1}, \ldots, A_{n}\right.\}$ は 互いに独立であると仮定する．学習者について和を とり, 項目 $i$ の全 $N$ 人の中での正答者数の確率分布
は次のように書ける。

$
A_{i}=\sum_{n=1}^{N} A_{n}
$

式 1 は互いに独立なベルヌーイ分布の和であり， ポアソン 2 項分布と呼ばれる ${ }^{2}$. この分布の計算 は，動的計画法を用いて計算可能である。 [13,14] ではポアソン 2 項分布の計算を全く違うタスクに対 して行う中で詳述しているので，計算アルゴリズム の詳細はこちらを参照されたい。

$A_{i}$ は確率分布なので，平均と分散を計算できる. $A_{i}$ は，全 $N$ 人のうち, 項目 $i$ の正答者数である事 に注意すると， $A_{i}$ の平均は，問題 $i$ の難易度を表し ていると解釈できる。また， $A_{i}$ の分散は，問題 $i$ の 正解者数を予測のためのエラーバーと解釈できる.同じような難しさの設問の中では，分散が最も小さ い，つまり，正答者数の予測がつきやすい問題が良問と考えられる． $A_{i}$ の分散は，項目反応理論におけ る「識別力」に似た性質を持つ指標である。項目反応理論の識別力は，項目が能力の高い被験者と低い 被験者を識別する力を表す．直感的には，能力が本当は高い被験者が間違えてしまうような確率の少な い「良問」である度合いを表す. $A_{i}$ の分散も，項目反応理論の識別力のように良問である度合を表す が，項目反応理論はモデルが固定されているのに対 し, $A_{i}$ の分散は予測器 $B E R T \operatorname{Prob}(n, i)$ の確率值さ えわかればどのような予測器を用いても計算できる ので，深層転移学習のような複雑な手法を用いた場合でも計算できる.

横軸に $A_{i}$ の分散，縦軸に $A_{i}$ の平均值をとること でリスク・リターンプロットを作成できる。まず， どの程度の難しさの設問を選びたいかを決めて縦軸 の値に注目し，次に同程度の難しさの問題の中で横軸の值が最も小さいもの（最も左にあるもの）を選 ぶことで，特定の難易度の良問を選択可能である. この最も左にある点を結んだ線を「効率的フロン ティア」という [14].

図 3 と図 4 に，ある項目（設問） $i$ について，受験者数がそれぞれ 5 人， 235 人である場合の分布を 描いた。（5人については，ランダムに受験者を選 んだ）図 3 から，受験者数が少ないときでも，非対称な分布の形が計算できている事が分かる。また，図 6 に，リスク-リターンプロットを描いた. 各点 は前述の 12 問の設問であり，破線は効率的フロン

図 3 ある項目で，受験者数が 5 人のときに予測される正答者数の分布.

図 4 図 3 と同じ項目で，受験者数が 235 人であるときに 予測される正答者数の分布.

図 5 受験者数が 235 人で 2 問の予測される正答者数の分布を重ねたもの.

ティアである．全 12 問のうち，効率的フロンティ ア上の問題を選ぶことで，3問の「良問」をさらに 選び出せている事が分かる．また，図 5 に，難しい 問題（正答者数が少ない問題）と易しい問題のグラ フを重ねた。わずかではあるが，難しい問題では，釣り鐘型の横幅（分散）が大きいことが見て取れる.

今回，提案手法は予測される正答者数の分布の平均を設問の難しさとして，標準偏差を設問の良問度合い（設問の難しさ推定のしやすさ）として出力で きる. こうした值は，IRT においても，それぞれ，困難度，識別力という名前で知られている。図 7,図 8 に，提案手法による値と，テストデータ中の値 を与えたうえで IRT が推定した困難度・識別力の 値の（簡単のため）負値を図示する。相関係数は，図 7 では $0.78(p<0.01)$, 図 8 では $0.62(p<0.05)$ で あり，どちらも統計的有意な相関がみられた.

## 5 おわりに

本研究では，設問文を考慮して，学習者が所与の 設問に正答/誤答するかを予測する学習者回答予測 のタスクにおいて，高い予測性能を保ちつつ，設問 の難しさや良問度合いなどの教育上重要な情報を取得できる手法を提案した. 具体的には，深層言語モ

図 6 各設問について，受験者の総数が 235 である場合の リスク（横軸，各設問の予測される正解者数の分布の分散）とリターン（縦軸，各設問の予測される正解者数の分布の平均）をプロットしたものである．各点は設問を表 し，各点の番号は設問番号である。縦軸が同程度の值で あれば，分散が小さい設問（図中左側の設問）が良問で ある.

-(IRTの難しさ)

図 7 正答者数予測分布の平均と-(IRT の困難度).

-(IRTの識別力パラメタ)

図 8 正答者数予測分布の標準偏差と-(IRT の識別力).

デル BERT の微調整段階で，学習者を表す単語を導入することにより学習者ごとに異なる出力を行う 既存手法 [3] を拡張し，微調整済 BERT の予測確率値から，予測される正答者数分布を求める手法を提案した。これにより，平均を各設問の難易度とみな せ，その分散を各設問の良問度合いとみなせる事を 示した。 [3] により，微調整済 BERT の学習者を表す 単語の埋め込みベクトルから学習者の能力値を取り 出す方法も提案している. 本研究により, IRT と同様，微調整済 BERT から学習者の能力値と設問の難易度の両方の情報を解釈することが可能になった。

今後の課題としては，設問の文ベクトルと難易度 や識別力の関係性を求めることなどがあげられる。

## 謝辞

本研究は，科学技術振興機構 ACT-X 研究費 (JPMJAX2006) の支援を受けた.

## 参考文献

[1] Frank B. Baker. Item Response Theory : Parameter Estimation Techniques, Second Edition. CRC Press, July 2004.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, 2019.

[3] Yo Ehara. No meaning left unlearned: Predicting learners' knowledge of atypical meanings of words from vocabulary tests for their typical meanings. In Proc. of Educational Data Mining (short paper), 2022.

[4] Aritra Ghosh, Neil Heffernan, and Andrew S. Lan. Context-Aware Attentive Knowledge Tracing. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 2330-2339, New York, NY, USA, 2020. Association for Computing Machinery.

[5] Shuanghong Shen, Qi Liu, Enhong Chen, Zhenya Huang, Wei Huang, Yu Yin, Yu Su, and Shijin Wang. Learning Process-consistent Knowledge Tracing. In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery \& Data Mining, KDD ’21, pp. 1452-1460, New York, NY, USA, 2021. Association for Computing Machinery.

[6] Shuanghong Shen, Zhenya Huang, Qi Liu, Yu Su, Shijin Wang, and Enhong Chen. Assessing Student's Dynamic Knowledge State by Exploring the Question Difficulty Effect. In Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '22, pp. 427-437, New York, NY, USA, 2022. Association for Computing Machinery.

[7] Ghodai Abdelrahman and Qing Wang. Deep Graph Memory Networks for Forgetting-Robust Knowledge Tracing. IEEE Transactions on Knowledge and Data Engineering, pp. 1-13, 2022. Conference Name: IEEE Transactions on Knowledge and Data Engineering.

[8] Shalini Pandey and Jaideep Srivastava. RKT: RelationAware Self-Attention for Knowledge Tracing. In Proceedings of the 29th ACM International Conference on Information \& Knowledge Management, CIKM '20, pp. 1205-1214, New York, NY, USA, 2020. Association for Computing Machinery.

[9] Jia Tracy Shen, Michiharu Yamashita, Ethan Prihar, Neil Heffernan, Xintao Wu, Sean McGrew, and Dongwon Lee. Classifying math knowledge components via task-adaptive pre-trained bert. In Proc. of AIED, pp. 408-419, 2021.

[10] Lele Sha, Mladen Rakovic, Alexander WhitelockWainwright, David Carroll, Victoria M Yew, Dragan Gasevic, and Guanliang Chen. Assessing algorithmic fairness in automatic classifiers of educational forum posts. In
Proc. of AIED, pp. 381-394, 2021.

[11] Shiting Xu, Guowei Xu, Peilei Jia, Wenbiao Ding, Zhongqin Wu, and Zitao Liu. Automatic task requirements writing evaluation via machine reading comprehension. In Proc. of AIED, pp. 446-458. Springer, 2021.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proc. of ICLR, 2015.

[13] Yo Ehara. Lurat: a lightweight unsupervised automatic readability assessment toolkit for second language learners. In Proc. of ICTAI, pp. 806-814, 2021.

[14] Yo Ehara. Selecting reading texts suitable for incidental vocabulary learning by considering the estimated distribution of acquired vocabulary. In Proc. of Educational Data Mining (poster paper), 2022.
表 2 実際の設問例.

It was a difficult period.

a) question

b) time

c) thing to do

d) book

表 3 意外な意味を問う設問例.

She had a missed

a) time

b) period

c) hour

d) duration

## A データセットの詳細 [3]

[3] で用いたデータセットについて詳述する.

この 2 つの工夫を施した実際の設問例が表 3 であ

る. “period”には通常の「期間」の他に「生理」とい う意味があり，これを問うている．学習者は，70問 の通常の用例の語彙テストの前に，表 3 のような設問を 13 問解くように求められる. ただし, 先に解 く表 3 の形式の選択肢が，表 2 の形式の問題に影響 していないかどうかを後で確認できるよう，意外な 語義ではあるが，通常の語義の設問群の側に対応す る設問がない設問を 1 問設けた。

## B IRT による学習者回答予測

語の意外と思われる語義の難しさを典型的な語義 の難しさで代替してしまうと，学習者が設問に正答/誤答するかを IRT で予測する際，どの程度の悪影響 があるのだろうか？これを調べるために，次の実験 を行った.まず， 235 人の学習者を 135 人と 100 人 に分ける (図 2). 意外と思われる語義の設問群 (12 問）のパラメタについては前者の 135 人の学習者反応だけから，典型的な語義の設問群（70問）のパラ メタについては 235 人全員の学習者反応で推定す る. この推定の際には，後者の 100 人 $\times 12$ 問，計 1,200 件の回答データは用いていないことに注意さ れたい. 項目反応理論では, 推定された学習者 $\theta_{j}$ の能力値 $\theta_{j}$, 語義の困難度 $d_{i}$ を用い, $\theta_{j}>d_{i}$ であ れば学習者 $j$ が設問 $i$ に正答，そうでなければ誤答 と判定する. 設問 $i$ の困難度パラメタとして，意外 と思われる語義の 12 問の困難度パラメタを直接用 いた場合と, 対応する語の典型的な語義の困難度パ ラメタで代替した場合で，この 1,200 件の回答デー タの予測精度を比較した. 予測精度 (accuracy) の結果を表 1 に記す. その結果，直接用いた場合の予測

図 9 IRT の能力パラメタ（横軸，pyirt によって算出）と，学習者トークンの単語埋め込みベクトルの第一主成分得点（縦軸）。

精度は $64.4 \%$ ，典型的な語義の困難度で代替した場合は $54.4 \%$ と, 10 ポイントの差が出た. この差は, Wilcoxon 検定で $p<0.01$ で有意であった. この結果 から，学習者反応の予測における，語の語義ごとに 困難度を推定することの重要性がわかる．より直接的に言い換えれば，この結果は，語の意外な用例の 難しさを，語の典型的な用例の難しさで置き換える と，学習者回答予測の精度が著しく低下することを 示唆している.

## C 能力值抽出

[3] では，次の手順で微調整済モデルからの能力値抽出に成功している. 微調整後の bert-large-cased の場合の学習者トークンに対する単語埋め込みべク トルのみを集めた. すなわち，学習者の人数分の単語埋め込みベクトルの集合がある。このベクトル集合に対して主成分分析を行い，その第一主成分得点 と IRT の能力値パラメタを比較した（図 9）．各点は 学習者を表す. IRT の能力値パラメタの算出には, Python の pyirt ライブラリを用いた. 両者は相関係数 0.72 という強い相関を示した $(p<0.01)$. これ により，提案手法を用いた場合でも，能力値は学習者トークンの第一主成分得点として容易に抽出でき ることが分かった。これにより，提案手法は文意を 考慮することにより IRT より高い精度を達成しなが ら，IRT と同様に「能力值を取り出せる」という高 い解釈性を持つことが示された.

図 9 では，縦に筋が入っているように見える部分 がある。これは，pyirt の内部で使われている IRT の パラメタ推定アルゴリズムの性質で，横軸の学習者 の能力値パラメタの推定の際，能力に大きな差がな い能力值パラメタは 1 つの值にまとめられる性質が あるため，横軸が同じ値を取る学習者が存在するた めである.


# Towards Creating Analytic Dimensions for Evaluating the Quality of Debate Counter-Arguments

Wenzhi Wang ${ }^{1,2}$ Paul Reisert $^{3}$ Naoya Inoue $^{4,2}$
Shoichi Naito ${ }^{1,2,5}$ Camélia Guerraoui $^{1}$ Keshav Singh $^{1} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University $\quad{ }^{2}$ RIKEN $\quad{ }^{3}$ Beyond Reason $\quad{ }^{4}$ JAIST $\quad{ }^{5}$ Ricoh Company, Ltd.
\{wang.wenzhi.r7, guerraoui.camelia.kenza.q4, singh.keshav.t4\}@dc.tohoku.ac.jp
beyond.reason.sp@gmail.com naoya-i@jaist.ac.jp
shohichi.naitoh@jp.ricoh.com kentaro.inui@tohoku.ac.jp

## Abstract

Evaluating the quality of argumentative texts is a challenging but exciting research topic which has gained attention over the years. In the context of debates, quality evaluation has been extensively researched and applied to top-level arguments but rarely to counter-arguments due to their complex nature. In this work, we tackle the task of argumentative quality assessment of counter-arguments (CA) in a debate. We first survey a set of debate rubrics and papers to find commonalities applicable to evaluating CAs and create four new analytic dimensions for assessing their quality. To test the feasibility of our dimensions, we employ crowdsourcing to evaluate CAs using our dimensions, and we report our preliminary results.

## 1 Introduction

Counter-arguments are an important way of constructing an argument, especially in the context of debates. One must first consider their opponent's argument both logically and rhetorically in order to construct an effective counter-argument. Such way of considering an opponent's argument can significantly help one improve their critical thinking skills. One means for constructing counterarguments includes parliamentary debates which require critical analysis and rhetorical skills [1].

An example of a parliamentary debate is shown in Figure 1. In this debate, the Prime Minister makes their original argument (OA), and the Leader of the Opposition attacks the Prime Minister's point in their counter-argument (CA). After both parties complete their turns, their arguments are then evaluated by a judge who declares a winner.

 &  \\

 & \\

Figure 1 Overview of our analytic dimensions created for capturing the quality of the $\mathrm{CA}$ in response to the $\mathrm{OA}$ along with their respective scores collected via crowdsourcing.

Not only is this time-consuming for a judge, especially for a teacher in a debate class, but it has the possibility of introducing bias into the evaluation. Therefore, an automated approach to evaluating arguments in a debate is ideal.

Although many works have focused on the evaluation of the original argument (i.e. arguments that argue freely for or against the topic without basing on the logic of another argument) in a debate, little attention has been given to the evaluation of counter-arguments due to their dependency on the original argument during evaluation. In order to automatically evaluate such counter-arguments, a model built on top of a rich dataset of original arguments and counter-arguments consisting of evaluated scores along
with their reasoning is required. However, it remains an open issue as to what evaluation criteria are even required to automate the quality evaluation of counter-arguments.

There are many benefits to creating evaluation criteria for automatic $\mathrm{CA}$ evaluation. In the context of education, students learning debates could utilize the criteria scores output by a computational model given to their counterargument, where the scores themselves could guide the learners towards improving their argumentation given reasons such as those shown in Figure 1. Furthermore, as mentioned a priori, the workload for judges (e.g. educators) and bias could significantly be reduced. To assist learners even further, both scoring the argument while simultaneously providing the spans in the $\mathrm{OA}$ and $\mathrm{CA}$, where the arguments could be improved, could even further assist the learning in improving their argumentative skills.

Towards the ultimate goal of automatic evaluation of CAs, in this work, we focus heavily on creating new dimensions for evaluating CAs. We first collect a wide range of debate rubrics and find commonalities among them. Based on our findings, we create four new analytic dimensions (see Figure 1), each of which is assessed with a 3 -scale score along with reasons. Finally, we test the feasibility of our dimensions via crowdsourcing. ${ }^{1)}$ Overall, we discover that while our dimensions are new, there are still many challenges to overcome.

## 2 Related Work

Recently, the majority of works in the argumentation field focus on evaluating arguments on general dimensions, such as persuasiveness $[2,3,4,5,6]$ which mostly focuses on whether an argument is strong, clear, supported by decent evidence; appropriateness and content richness $[7,8,9]$, where appropriateness is defined as whether an argument is on-topic and has the right stance and content richness is broadly described as how many distinct aspects an argument covers; plausibility [7, 10] which is assessed in a sense of whether an argument contradicts the commonsense or in other words, whether a human will plausibly make it; grammaticality [6, 8, 7, 9], coherence [5], and bias [7]. However, those dimensions are too generic in the sense that they solely take into account the relation between an argument and a given prompt (topic) or the relation between argumentative units within an argument.

Table 1 New dimensions created for CA evaluation. Our new dimensions differ from previous dimensions in that they were created for CA in direct response to a topic (prompt) and an OA.

 &  \\

Thus, they do not reflect properties that are inherent in the counter-argument that is in relation to the given topic as well as the original argument.

Wachsmuth et al. [11] proposed a taxonomy with 15 dimensions for argumentation quality assessment and annotated a corpus of stance-argument pairs based on those dimensions. The dimension Global sufficiency, which says argumentation is sufficient if it adequately rebuts those counter-arguments that can be anticipated, is most relevant to our work. Nevertheless, it cannot be directly applied to evaluating the counter-argument in the context of debates since it does not address the specific relation between the original argument and the counter-argument with the presence of the actual original argument.

We argue that analytic dimensions of quality for CAs in a setting of debates should consider more the relationship between the original argument and counter-argument. In this work, we attempt to create dimensions that are specific to evaluating CAs in a debate.

## 3 Creating Analytic Dimensions

As shown in Section 2, several dimensions for CAs exist. However, the dimensions are either too general or do not consider CAs in response to debate-level original arguments. In order to create quality dimensions that are specific to evaluating counter-arguments, we first explore debate rubrics for determining common properties amongst scores which can help in creating new analytic dimensions.

## 3.1 Existing debate rubrics

To obtain clues about which dimensions to create, we collected 7 publicly available debate rubrics ${ }^{2}$ and surveyed

2) The debate rubrics we surveyed can be found at https://gi thub. com/oubunshitsu/debate_CA_assessment.

Table 2 Scoring rubrics for our newly created dimensions for counter-arguments (CA) in response to an original argument (OA).

 & 1 & CA misquotes or does not quote the OA. \\

them for common properties useful for evaluating counterarguments in response to debate-level original arguments. We found that a decent CA should directly and effectively respond to or attack the points made by the opposing side, in our case, the OA. Such attacks should be supported with convincing evidence clearly explaining why the arguments from the opposing side are weak or illogical. On top of that, a good CA can also state its own arguments showing the reason that it is stronger than the opposing side, thus enhancing the overall persuasiveness.

## 3.2 Our new dimensions

Definitions Based on our findings in existing debate rubrics, we create four new dimensions, each of which is scored with a 3-scale value, for evaluating counterarguments in response to debate-level original arguments. The definitions of the dimensions are shown in Table 1.

Considering the characteristic of parliamentary debates where the OA only mentions one central point (supported with several premises), we set the dimensions of Quotation from the Original Argument and Attack on the Main Point to be focused on the main point in the OA. Although we are aware that a good attack in a CA should be supported by decent evidence, we do not consider dimensions related to evidence in this work since they have already been extensively explored in the literature [2].

Scoring criteria We also provide a scoring rubric for each of the 4 dimensions. The scoring rubrics are shown in Table 2. We set the scoring scheme to be 3 -scale to make each score as distinct as possible so that it could serve as constructive feedback to some extent, to show specifically how the argumentation could be improved.

## 4 Crowdsourcing Experiment

We describe our preliminary crowdsourcing experiment for testing the feasibility of annotating our new dimensions.

## 4.1 Data

In this work, we use The Debate Dataset, a dataset of debates created via crowdsourcing ${ }^{1)}$ and an extension of the dataset used in TYPIC [12]. When creating this dataset, crowdworkers were given the topic "Students should have part-time jobs", and an original argument supporting the topic. Workers were then instructed to write a point from the original argument and write their counter-argument to rebut the point. The dataset contains 5 original arguments with 446 counter-arguments in total. In the experiments, we utilize all 5 original arguments with 5 associated counter-arguments for each as a preliminary test. We plan to annotate and publish all the data in the future.

## 4.2 Experiment: Counter-argument Quality Assessment Task

We first collect workers with a basic understanding of our task and grant them the qualification of Outstanding worker. ${ }^{3)}$ Following the work [8], for each dimension, we show an example counter-argument for every possible score in addition to the scoring rubric in the crowdsourcing in-

Table 3 Krippendorff's $\alpha$ with interval distance function for each dimension as well as all dimensions combined.

terface ${ }^{4)}$. Workers are instructed to rate a CA based on the scoring rubrics and also write down their specific reasons for the rating for each dimension. Five unique Outstanding Workers are asked to annotate one CA at a time. In total, $125(=5 \times 5 \times 5)$ annotations are conducted.

## 4.3 Results and Analysis

There are seven unique workers in total who participated in the experiment. To measure inter-annotator agreement among workers, we calculated Krippendorff's $\alpha$ [13]. As shown in Table 3, we obtained moderate agreements on $A o S, Q u o$, and Att, however, low agreement on Nat.

We investigated the reason for the low agreement rate (e.g. Nat) by manually checking some of the scoring reasons written by workers. Our main findings include 1) there are still some expressions used in a nebulous way in the rubrics, which potentially brought in subjectivity, such as "vague attack" in Att or "new argument" in Nat. 2) for Nat, the current rubric cannot cover the situation where there are both "new arguments that are for the topic" and "new arguments that are against the topic" mixed in a single essay, which implies that a more fine-grained level annotation of dividing the counter-argument essay into individual arguments and assessing on top of that is needed. 3) workers' understanding of "the main point made in the original argument" also varies, which indicates the difficulty of this task that one must understand the logic of both sides.

## 5 Discussion

Towards a more fine-grained annotation, where each of the individual arguments (i.e. claim and its supporting premises) could be assessed separately and aggregated to the overall quality of the counter-argument, we first attempted to capture different granularity of attacks.

Given that, ideally, a strong counter-argument could comprehensively attack all the points made in the original argument (including the central point and all the supporting premises), we investigated various ways of capturing the coverage of attacks using crowdsourcing.

Free selection We first allowed workers to freely se-

lect all attack pairs (i.e. free text spans) between the OA and CA. Although we were able to collect reasonable attack pairs, we found that the results largely varied among workers, which made it difficult to calculate the agreement.

Sentence-level selection We attempted to solve the issue by having workers select pre-separated sentences, instead of free spans, from both the OA and CA. We still found difficulties for the annotators, potentially due to the fact that the understanding of the two essays also varies.

Logic-graph Representation To assist workers in better understanding the OA, we tried explicating the logic of the OA by representing it as a logic graph. Each argument, including the central point and all the premises that support the point, is broken down into nodes and relations. Each node is a concept, and the relations mainly include causal relations (promote and suppress [14]). We had workers select one sentence from the CA and all the nodes or relations attacked by the sentence in the logic graph. We found that although it is possible to collect attack pairs in this way, it is required to know the argumentative structure within the CA in advance when it comes to evaluating the attacks since there might be associations between sentences in different attack pairs (e.g. one sentence might serve as evidence for another in the CA, thus we cannot simply ask the question "Is this attack supported by evidence" for every attack pair).

## 6 Conclusion and Future Work

In this work, we tackled the challenging task of assessing counter-arguments in debates. We surveyed several debate rubrics and created four new analytic dimensions for evaluating the quality of the counter-argument in relation to the original argument. We conducted a crowdsourcing experiment and found that while the workers understand the dimensions, there are still many challenges to achieving a good agreement among workers.

In our future work, we will refine the scoring rubrics based on workers' scoring reasons and have workers highlight the text segments along with their scores instead of writing the reasons in free text. We will also expand the annotation to the whole corpus. Moreover, we will explore more fine-grained annotations where we could capture the diversity of attacks and also incorporate dimensions related to evidence assessment, based on previous works, into the evaluation procedure of counter-arguments.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 22H00524.

## References

[1] Kate Shuster and John Meany. Introducing parliamentary debate: A resource for teachers and students. Claremont Colleges Debate Outreach, January 2016.

[2] Winston Carlile, Nishant Gurrapadi, Zixuan Ke, and Vincent Ng. Give me more feedback: Annotating argument persuasiveness and related attributes in student essays. In Proceedings of the 56th Annual Meeting of the ACL (Volume 1: Long Papers), pp. 621-631, Melbourne, Australia, July 2018. ACL.

[3] Martin Hinton and Jean H M Wagemans. Evaluating reasoning in natural arguments: A procedural approach. Argumentation, Vol. 36, No. 1, pp. 61-84, March 2022.

[4] Thiemo Wambsganss and Christina Niklaus. Modeling persuasive discourse to adaptively support students' argumentative writing. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8748-8760, Dublin, Ireland, May 2022. ACL.

[5] Thiemo Wambsganss, Christina Niklaus, Matthias Cetto, Matthias Söllner, Siegfried Handschuh, and Jan Marco Leimeister. AL: An adaptive learning support system for argumentation skills. In Proceedings of the $2020 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, CHI '20, pp. 1-14, New York, NY, USA, April 2020. ACM.

[6] Benjamin Schiller, Johannes Daxenberger, and Iryna Gurevych. Aspect-controlled neural argument generation. In Proceedings of the 2021 Conference of the North American Chapter of the ACL: Human Language Technologies, pp. 380-396, Online, June 2021. ACL.

[7] Khalid Al Khatib, Lukas Trautner, Henning Wachsmuth, Yufang Hou, and Benno Stein. Employing argumentation knowledge graphs for neural argument generation. In Proceedings of the 59th Annual Meeting of the ACL and the 11th IJCNLP (Volume 1: Long Papers), pp. 4744-4754, Online, August 2021. ACL.

[8] Xinyu Hua, Zhe Hu, and Lu Wang. Argument generation with retrieval, planning, and realization. June 2019.

[9] Milad Alshomary, Shahbaz Syed, Arkajit Dhar, Martin Potthast, and Henning Wachsmuth. Argument undermining: Counter-Argument generation by attacking weak premises. May 2021.

[10] Shai Gretz, Yonatan Bilu, Edo Cohen-Karlik, and Noam Slonim. The workweek is the best time to start a family a study of GPT-2 based claim generation. In Findings of the ACL: EMNLP 2020, pp. 528-544, Online, November 2020. ACL.

[11] Henning Wachsmuth, Nona Naderi, Yufang Hou, Yonatan Bilu, Vinodkumar Prabhakaran, Tim Alberdingk Thijm, Graeme Hirst, and Benno Stein. Computational argumen- tation quality assessment in natural language. In Proceedings of the 15th Conference of the European Chapter of the ACL: Volume 1, Long Papers, Stroudsburg, PA, USA, 2017. ACL.

[12] Shoichi Naito, Shintaro Sawada, Chihiro Nakagawa, Naoya Inoue, Kenshi Yamaguchi, Iori Shimizu, Farjana Sultana Mim, Keshav Singh, and Kentaro Inui. TYPIC: A corpus of Template-Based diagnostic comments on argumentation. In Proceedings of the Thirteenth LREC, pp. 5916-5928, Marseille, France, June 2022. European Language Resources Association.

[13] K. Krippendorff. Content analysis: An introduction to methodology. Beverly Hills, CA., 1980. Sage Publications, Inc.

[14] Paul Reisert, Naoya Inoue, Tatsuki Kuribayashi, and Kentaro Inui. Feasible annotation scheme for capturing policy argument reasoning using argument templates. In Proceedings of the 5th Workshop on Argument Mining, pp. 79-89, Brussels, Belgium, November 2018. ACL.

Figure 2 The crowdsourcing interface. For space reasons, we only show one dimension.

## A Competent Workers Selection

Given the difficulty of collecting high-level annotations via crowdsourcing, we first create a filtering procedure to collect competent workers for our task through a qualification test and survey. The qualification test contains three debates, each of which is a pair of an original argument and a counter-argument. For each debate, there is one comprehension question asking "Which point from the original argument is the counter-argument attacking?" with four candidate options. Only workers who answered all three questions correctly can get access to the survey and additional comprehension questions. The survey's goal was to learn more about our workers, such as their native language and level of expertise with argumentation. The purpose of the additional comprehension questions was to filter out workers that provided generic responses or exhibited a low level of fluency. Specifically, the workers were given a debate and asked to score the quality of the counter-argument while providing reasons. The reasons were judged by two expert annotators, both authors of this paper, and incompetent workers were filtered out.

## B Crowdsourcing Interface

An example of our final crowdsourcing interface is shown in Figure 2. Due to space reasons, we only show one of the dimensions (Attack on the main point) shown in our guidelines, an example debate, as well as the question for the dimension. ${ }^{5)}$ Workers were first asked to rate on a scale of 1-3 based on the scoring rubric, and provide a specific reason for their score. We plan to utilize such reasons to further improve our crowdsourcing task in future trials.

5) The complete version of the interface can be found at https: //github.com/oubunshitsu/debate_CA_assessment.


# What can Short Answer Scoring Models Learn from Cross-prompt Training Data?

Hiroaki Funayama ${ }^{1,2}$ Yuya Asazuma ${ }^{1,2}$
Yuichiroh Matsubayashi $^{1,2}$ Tomoya Mizumoto ${ }^{2}$ Kentaro Inui ${ }^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN
$\{$ h. funa, asazuma.yuya.r7 $\}$ dc. tohoku.ac.jp
$\{y . m$, kentaro.inui\}@tohoku.ac.jp tomoya.mizumoto@a.riken.jp
}

\begin{abstract}
For the task of Automatic Short Answer Scoring (ASAS), both rubrics and reference answers differ for every single prompt which requires a need to annotate answers for each in order to construct a highly-effective scoring model. Such need to annotate answers for every prompt is costly, especially in the context of school education and online courses where only a few answers to prompts exist. In this work, we attempt to reduce this burden by first training a model for predicting scores given rubrics and answers of already annotated prompts (adaptive-pretraining). We then fine-tune the model on a small amount of data for each new prompt to be graded. Our experimental results show that adaptive-pretraining with rubrics significantly improve scoring accuracy, especially when the training data is scarce.
\end{abstract
## 1 Introduction

Automatic Short Answer Scoring (ASAS) is the task of automatically scoring a given input (e.g., essays) to a prompt based on existing rubrics and reference answers $[1,2,3,4]$. ASAS has been extensively studied as a means to reduce the burden of manually scoring student answers in both school education and large-scale examinations. Recently, the practical application of ASAS systems has gained much attention, both in school education and e-learning [5, 6, 7]. However, the annotation cost is limited in school education and online courses, making it challenging to obtain sufficient training data for developing ASAS models [8]. The data to train ASAS models must be prepared for each prompt independently, as the rubrics and reference answers are different for each prompt [9]. Those facts are a considerable barrier to the practical application of ASAS systems in these situations. However, whether cross-prompt training of ASAS models can reduce annotation costs is one of the biggest open issues in this field, and few studies have addressed it [10].

Towards answering this question, given that annotated data from other prompts cannot be used directly for training an ASAS model for a specific prompt since the rubrics and reference answers for each prompt are entirely different, we focus on the relationship between the rubrics and the answers. ASAS is a task that assigns a score when an answer implicates an expression described in the rubric. Thus, we can view ASAS as determining implication relations by flexibly matching the semantics between the rubrics and answers. We leverage already annotated prompts to make the model recognize such implication relationships flexibly. Inspired by this idea, we attempt to make a model (i.e., BERT) learn the relationship between rubrics and answers using already annotated prompts (see fig.1). We can't use them directly to train the model because the rubrics contain various information for grading answers. Therefore, we utilize key phrases $[11,12]$, representative examples of expressions that an answer should include to gain scores.

We train BERT on already graded prompts as predicting scores by inputting key phrase/answer pairs (name it adaptive-pretraining). Thorough the adaptive-pretraining, we expect the model will learn the relationship between the key phrase and the expressions in the answers. We then finetune BERT on the prompts to be graded. With adaptivepretraining, we expect to build ASAS models that are more robust against expression variation, especially when the training data is scarce.

In our experiment, we examine the effectiveness of

Figure 1 Overview of our proposed method. We input a key phrase, reference expressions, with an answer. We first adaptive-pretrain the ASAS model on already annotated prompts and then finetune the model on a prompt to be graded.

adaptive-pretrain with key phrases. Our experimental results show that the model performance improves by 0.17 at maximum in Quadratic Weighted Kappa (QWK) by adaptive-pretraining with key phrases.

In addition to our experiments, towards effective ASAS modeling which requires a significant amount of prompts and answers, we contribute 1,0000 new data annotations (20 prompts with 500 answers each) to the RIKEN dataset [11], the only Japanese dataset available for ASAS. We make our data annotations publicly available for academic purposes.

## 2 Method

As mentioned a priori, in this study, we attempt to train ASAS models in a cross-prompt manner in order to reduce the data required to train a model for a new prompt to be graded automatically by leveraging data from already annotated prompts. Specifically, we first train a BERT model to predict scores from pairs of answers and key phrases of the already annotated prompts (adaptive pretrain). Next, we further fine-tune BERT with the small amount of data from the prompt to be graded automatically.

## 2.1 Task definition

In this study, we assume that fully annotated prompts are available. We consider utilizing those annotated prompts to train models for the newly obtained prompts to be graded automatically. Let $P_{\text {known }}$ denote the already annotated prompts and $P_{\text {target }}$ denote the newly obtained prompts to be graded. Suppose $X_{p}$ represents a set of all possible student's answers of a given prompt $p \in P$, and $\mathbf{x} \in X_{p}$ is an answer. The prompt has an integer score range from
0 to $N$, which is basically defined in rubrics. Namely, the score for each answer is selected from one of the integer set $S=\{0, \ldots, N\}$. Therefore, we can define the ASAS task as assigning one of the scores $s \in S$ for each given input $\mathbf{x} \in X_{p}$. Moreover, to construct an ASAS model means to construct a regression function $m$ from every input of student answer $\mathbf{x} \in X$ to a score $s \in S$, that is, $m: X \rightarrow S$.

## 2.2 Scoring model

A typical, recent approach to constructing a mapping function $m$ is the use of newly developed deep neural networks (DNNs). As discussed a priori, the set of scores $S$ consists of several consecutive integers $\{0, \ldots, N\}$. Suppose $D$ is training data that consist of a set of actually obtained student's answers $\mathbf{x}$ and its corresponding human annotated score $s$ pairs, that is, $D=\left(\left(\mathbf{x}_{i}, s_{i}\right)\right)_{i=1}^{I}$, where $I$ is the number of training data. To train the model $m$, we try to minimize the Mean Squared Error (MSE) loss on training data $L_{m}(D)$ calculated using model $m$. Therefore, we can write the training process of the SAS model as the following minimization problem:

$m=\underset{m^{\prime}}{\operatorname{argmin}}\left.\{L_{m^{\prime}}(D)\right.\}, \quad L_{m}(D)=\frac{1}{|D|} \sum_{(\mathbf{x}, s) \in D}(s-m(\mathbf{x}))^{2}$,

where $m(\mathbf{x})$ represents the calculated prediction of model $m$ given input $\mathbf{x}$. Once $m$ is obtained, we can predict the score $\widehat{s}$ of any input (student answer) by using trained model $m$ as $\widehat{s}=m(\mathbf{x})$.

## 2.3 Adaptive-pretrain with rubrics

## 2.3.1 Key phrase

A key phrase is a representative example of the expressions that an answer must contain in order to gain scores. In general, rubrics are difficult to utilize directly because they detail the information and properties that an answer must contain in order to score. In general, it is difficult to use rubrics for training models directly because they detail the information and expressions that an answer must contain to gain scores. Therefore, we utilize key phrases such as those shown in Figure 2.

## 2.3.2 Adaptive-pretrain

As described in Section 2.1, we utilize data from already annotated prompts $P_{\text {known }}$ to train models for prompts $P_{\text {target }}$ to be graded. For each prompt $p \in P$, there exists a key phrase $k_{p}$.We separate the key phrase $k_{p}$ of prompt $p$ and the i-th answer $x_{p, i}$ of prompt $p$ by [SEP] as the sequence $t_{p, i}=\left.\{k_{p},[S E P], \mathbf{x}_{\mathbf{p}, \mathbf{i}}\right.\}$. Then, we construct data for adaptive-pretraining as:

$
D_{\text {adap }}=\left.\{\left(t_{p, i}, s_{p, i}\right) \mid p \in=P_{\text {known }}\right.\}_{i=1}^{I}
$

We train the BERT-based regression model on this dataset $\mathscr{D}_{\text {adap }}$ to obtain model $m_{\text {adap }}$ :

$
m_{\text {adap }}=\underset{m^{\prime}}{\operatorname{argmin}}\left.\{L_{m^{\prime}}\left(D_{\text {adap }}\right)\right.\}
$

We refer to models trained on existing graded prompts as adaptive-pretraining.

Next, we further fine-tune the adaptive-pretrained model on $p \in P_{\text {target }}$ to obtain a model $m_{p}$ for prompt $p$.

$
m_{p}=\underset{m^{\prime}}{\operatorname{argmin}}\left.\{L_{m^{\prime}}\left(D_{p}\right.\},\right.
$

## 3 Experiment

## 3.1 Dataset

We use the RIKEN dataset, the only publicly available Japanese SAS dataset ${ }^{1)}$ provided in [11]. As mentioned in Section.1, we extend the dataset to conduct this research. Each prompt in the RIKEN dataset has several scoring rubrics (i.e., analytic criterion [11]), and an answer is manually graded based on each analytic criterion independently

Figure 2 Example of a prompt, scoring rubric, and student's answers excerpted from RIKEN dataset [11] and translated from Japanese to English. For space reasons, some parts of the rubrics and answers are omitted.

(i.e., analytic score). Thus, following [13], we treat this analytic criterion as an individual scoring task. For simplicity, we refer to each analytic criterion as a single prompt in this paper. In this way, we consider that there are a total of 109 prompts in this dataset.

In our experiment, we used 21 prompts as $P_{\text {target }}$ to evaluate the effectiveness of adaptive-pretraining (see Appendix for detailed information regarding 3 ). For adaptivepretraining, we used all remaining 88 prompts consisting of 480 answers per prompt for training the model and 20 answers per prompt as devset.

## 3.2 Setting

As described in Section 2.2, we used pretrained BERT [14] as the encoder for the automatic scoring model and use the vectors of CLS tokens as feature vectors for predicting answers ${ }^{2}$

Similar to previous studies $[11,15,2]$, we use a Quadratic Weighted Kappa (QWK) [16], a de facto standard evaluation metric in ASAS, in the evaluation of our models. The scores were normalized to a range from 0 to 1 according to previous studies [15,11]. QWK was measured by re-scaling when evaluated on the test set. We train a model for 5 epochs in the adaptive-pretraining process. We then fine-tune the adaptive-pretrained model for 10 epochs. In the setting without adaptive-pretraining process, we fine-tune the model for 30 epochs. We computed the QWK of the dev set at the end of each epoch

Table 1 QWK and standard deviation of four settings; with and without adaptive-pretraining, and with and without rubrics (keyphrase). In the adaptive-pretraining phase, we use 88 prompts, 480 answers per prompt. We change the amount of data for finetuning as 25,50 , 100 , and 200 .

} & \multicolumn{2}{c}{ w/ Adaptive-pretraining } & \multicolumn{2}{c}{ w/o Adaptive-pretraining } \\
\cline { 2 - 5 } & w/ rubric & w/o rubric & w/ rubric & w/o rubric \\

50 & $0.74 \pm 0.01$ & $0.62 \pm 0.02$ & $0.64 \pm 0.02$ & $0.64 \pm 0.01$ \\
100 & $0.78 \pm 0.01$ & $0.70 \pm 0.02$ & $0.73 \pm 0.02$ & $0.73 \pm 0.01$ \\
200 & $0.81 \pm 0.01$ & $0.77 \pm 0.01$ & $0.80 \pm 0.01$ & $0.79 \pm 0.01$ \\

in fine-tuning process and evaluated the test set using the parameters with the maximum QWK.

## 3.3 Results

Table 2 QWK and standard deviation when the total number of answers used for adaptive-pretrain is fixed at 1,600 and the number of questions used is varied from $5,10,20,40,80.50$ training data were used for finetuning.

 & QWK \\

10 & 160 & $0.68 \pm 0.02$ \\
20 & 80 & $0.74 \pm 0.01$ \\
40 & 40 & $0.74 \pm 0.01$ \\
80 & 20 & $0.74 \pm 0.00$ \\

We first compared the performance with and without adaptive pretraining and with and without scoring criteria. Here, similar to [11], we experimented with 25 , 50, 100, and 200 training data instances in the fine-tuning phase. The results are shown in Table 1. First, we can see that adaptive pretraining without key phrases does not improve the model performance. Similarly, using only key phrases without adaptive pretraining does not improve scoring accuracy. QWK improves significantly only when key phrases are used and when adaptive-pretrain is performed. The gain was notably large when the training data was scarce, with a maximum improvement of about 0.17 in QWK when using 25 answers for fine-tuning. On the other hand, the performance did not improve when we used 200 answers in training, which indicates that adaptivepretraining does not benefit when sufficient training data is available. Furthermore, it is also suggested that the adaptive pretraining with key phrases can reduce the required training data by half while maintaining the same perfor- mance. Note that the results without adaptive-pretrain are comparable to the results of the baseline model shown in [11].

Impact of the number of prompts used for adaptive-pretraining Next, we examined how changes in the number of prompts affect adaptive-pretrain: we fixed the total number of answers used for the adaptive-pretrain at 1,600 and varied the number of prompts between 5, 10, 20,40 , and 80 . We performed fine-tuning using 50 answers for each prompt. The results are shown in Table 2. The QWK is 0.68 when the number of prompts is 5 or 10 , indicating that the effectiveness of adaptive-pretraining is inferior when the number of prompts is less than 20 . This suggests that a sufficient number of prompts are required for effective adaptive-pretraining. It also suggests that increasing the number of prompts is more effective for adaptive-pretraining than increasing the number of answers per prompts.

## 4 Conclusion

The limited cost of annotation for data has been a major obstacle in deploying ASAS systems into school education and online learning courses. To tackle this problem, we considered utilizing already annotated prompts. Specifically, we first performed adaptive-pretraining for a BERTbased regression model using the answers and key phrases of the annotated questions. We then further fine-tuned the BERT model with a small amount of data on the prompt we want to grade automatically.

Experimental results showed that adaptive-pretraining with key phrases greatly improves the performance of the model, especially when the training data is scarce. We also discovered that adaptive-pretraining can reduce the amount of required training data by half while maintaining the same performance.

## Acknowledgement

We are grateful to Dr. Paul Reisert for their writing and editing assistance. This work was supported by JSPS KAKENHI Grant Number 22H00524, JP19K12112, JST SPRING, Grant Number JPMJSP2114. We also appreciate Takamiya Gakuen Yoyogi Seminar for providing the valuable data.

## References

[1] Claudia Leacock and Martin Chodorow. C-rater: Automated Scoring of Short-Answer Questions. Computers and the Humanities, Vol. 37, No. 4, pp. 389-405, 2003.

[2] Michael Mohler, Razvan Bunescu, and Rada Mihalcea. Learning to Grade Short Answer Questions using Semantic Similarity Measures and Dependency Graph Alignments. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: $\mathrm{Hu}$ man Language Technologies, pp. 752-762, 2011.

[3] Md Arafat Sultan, Cristobal Salazar, and Tamara Sumner. Fast and easy short answer grading with high accuracy. In NAACL-HLT, pp. 1070-1075, San Diego, California, June 2016. Association for Computational Linguistics.

[4] Surya Krishnamurthy, Ekansh Gayakwad, and Nallakaruppan Kailasanathan. Deep learning for short answer scoring. International Journal of Recent Technology and Engineering, Vol. 7, pp. 1712-1715, 032019.

[5] Yaman Kumar, Swati Aggarwal, Debanjan Mahata, Rajiv Ratn Shah, Ponnurangam Kumaraguru, and Roger Zimmermann. Get it scored using autosas - an automated system for scoring short answers. In AAAI/IAAI/EAAI. AAAI Press, 2019.

[6] Shourya Roy, Sandipan Dandapat, Ajay Nagesh, and Y. Narahari. Wisdom of students: A consistent automatic short answer grading technique. In Proceedings of the 13th International Conference on Natural Language Processing, pp. 178-187, Varanasi, India, December 2016. NLP Association of India.

[7] Xiaoming Zhai. Practices and theories: How can machine learning assist in innovative assessment practices in science education. Journal of Science Education and Technology, Vol. 30, No. 2, pp. 139-149, Apr 2021.

[8] Torsten Zesch, Michael Heilman, and Aoife Cahill. Reducing annotation efforts in supervised short answer scoring. In Proceedings of the Tenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 124-132, Denver, Colorado, June 2015. Association for Computational Linguistics.

[9] Steven Burrows, Iryna Gurevych, and Benno Stein. The eras and trends of automatic short answer grading. International Journal of Artificial Intelligence in Education, Vol. 25, No. 1, pp. 60-117, 2015.

[10] Stefan Haller, Adina Aldea, Christin Seifert, and Nicola Strisciuglio. Survey on automated short answer grading with deep learning: from word embeddings to transformers, 2022.
[11] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring. In BEA, pp. 316-325, 2019.

[12] Tianqi Wang, Hiroaki Funayama, Hiroki Ouchi, and Kentaro Inui. Data augmentation by rubrics for short answer grading. Journal of Natural Language Processing, Vol. 28, No. 1, pp. 183-205, 2021.

[13] Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, and Kentaro Inui. Balancing cost and quality: An exploration of human-in-theloop frameworks for automated short answer scoring. In Maria Mercedes Rodrigo, Noburu Matsuda, Alexandra I. Cristea, and Vania Dimitrova, editors, Artificial Intelligence in Education, pp. 465-476, Cham, 2022. Springer International Publishing.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACLHLT, pp. 4171-4186, June 2019

[15] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In BEA, pp. 159-168, 2017.

[16] Jacob Cohen. Weighted Kappa: Nominal Scale Agreement with Provision for Scaled Disagreement or Partial Credit. Psychological bulletin, Vol. 70, No. 4, pp. 213-220, 1968.

## A List of prompts used in the evaluation

In this study, we considered the use of already annotated prompts for constructing ASAS models for new prompts to be graded. Therefore, in the experiments, we divided all prompts into two categories, prompts used for adaptive pretraining (already annotated prompts) and prompts used for the evaluation (prompts to be graded). We shows the list of prompts used for the evaluation in table 3 . We used all prompts except those in this table for adaptive-pretrain.

Table 3 List of the prompts and analytic criterion used for the evaluation.


# 論述構造解析技術を用いたニューラル小論文自動採点手法

山浦美里 ${ }^{1}$ 福田樹 1 宇都雅輝 1
1 電気通信大学大学院
\{yamaura, fukuda,uto\}@ai. lab.uec.ac.jp

## 概要

近年，深層学習を用いた小論文自動採点モデルが 高精度を達成しつつあるが，従来の深層学習自動採点モデルは文章の論理構造を明示的には考慮できな い. 本研究では, 論述構造解析技術を用いて推定さ れる文章の論理構造を考慮できる新たな深層学習自動採点モデルを提案する。

## 1 はじめに

論理的思考力や表現力が新しい時代に求められ る資質として注目される中，そのような能力の評価法の一つとして小論文試験が広く活用されている $[1,2,3]$. しかし，小論文試験には，採点の公平性担保の困難さや人手採点に伴うコストの増大などの懸念がある [4]. これらの問題を解決する手段の一つ として自動採点技術が近年注目されている $[5,6]$.

既存の小論文自動採点手法は大きく2つに分類で きる [6,7]. 一つは人手で設計した特徴量を用いる 手法であり, 文章から抽出した特徴量（総単語数や 接続詞数，文法エラー率など）を線形回帰モデルや 決定木などの機械学習モデルに入力して得点を予測 する $[5,8]$. 二つ目は深層学習を用いる手法であり,入力が小論文の単語系列, 出力が得点となる深層学習モデルを構築して自動採点を実現する [6,9]. 近年では, BERT（Bidirectional Encoder Representations from Transformers）[10] などを用いた深層学習自動採点モデルが高精度を達成している [11,12].

従来の深層学習自動採点モデルでは，単語の意味 や単語間の関係性は考慮できるが，文章の論理構造 は直接的には考慮できない [13, 14]. 論理構造は小論文の質に関わる本質的な要素の一つであるため,論理構造をモデルに明示的に与えることができれ ば，更なる自動採点の精度向上が期待できる。この ような背景から, Nguyen \& Litman[15] は, 論理構造 を考慮できる小論文自動採点手法を提案している. この手法では，自然言語処理分野において近年高精度化が進む論述構造解析技術 (Argument Mining) $[16,17,18,19,20,21]$ を用いて文章の論理構造を推定し, 得られた論理構造から特徵量（論理構造の構成要素数やそれらの要素間のエッジの数，各要素中 の単語数など）を抽出して特徴量ベースの自動採点手法を構築している. しかし，実験の結果，論理構造に関する特徵量の追加による自動採点精度の改善 は限定的であったことを報告している。 この要因と しては, 論理構造の情報を表層的な特徵量に縮約し てしまったため，論理構造の情報を十分に活用でき なかったことが考えられる。

そこで本研究では, 論述構造解析で求めた論理構造を人手で設計した特徵量に変換せずに処理でき る深層学習手法を開発し，その手法を組み込んだ新 たな深層学習自動採点手法を提案する. 具体的に は，BERT モデルの Self-Attention 機構を拡張するこ とで，論理構造を考慮できる深層学習モデルを構築 し，その処理結果を従来の深層学習自動採点モデル に統合する方法を開発する。 さらに，ベンチマーク データを用いた実験を通して提案手法の有効性を 示す.

## 2 提案手法

## 2.1 論述構造解析による論理構造推定

提案手法では, Nguyen \& Litman [15] と同様に, 論理構造の推定に論述構造解析技術を用いる. 論述構造解析では, 図 1 のように，まず文章中から論理構造のノードに対応する文や文節（論理要素と呼ぶ）

図 1 論述構造解析の概念図

を抽出し, それらの論理要素間の論理関係を木構造制約を満たすように推定することで，文章の論理構造を推定する [18]. 本研究では, 近年高精度を達成 している深層学習べースの論述構造解析手法の一つ である Eger et al.[19] の手法を用いる.

## 2.2 論理構造を処理する深層学習モデル

提案手法では，論理構造を処理する深層学習モ デルの基礎モデルとして BERTを用いる. BERT は，Self-Attention 機構をコアとする Transformer と 呼ばれる構造を 12 層重ねた深層学習モデルであ る. 本研究では, BERTへの入力として, 採点対象文の先頭に [CLS] という特殊タグを挿入した単語系列 $\left.\{w_{0}, w_{1}, \ldots, w_{T}\right.\}$ （ただし， $w_{0}$ は [CLS] タグ， $w_{t}$ $(t>1)$ は対象文の $t$ 番目の単語, $T$ は対象文の単語数を表す）を考え，[CLS] タグに対応する出力べク トルを入力文に対する分散表現ベクトルとみなす。 このとき，BERT の $l$ 層目の Self-Attention は次式で 求められる.

$
\mathbf{H}_{l}=\mathbf{A}_{l} \cdot \mathbf{V}_{l}
$

ここで， $\mathbf{H}_{l}$ は $l$ 層目の Self-Attention 層の出力であ り, $(T+1) \times D$ の行列（ただし， $D$ は BERT の潜在変数ベクトルの次元数を表す) である。なお， $\mathbf{H}_{l}$ の行数が対象文中の単語数 $T$ ではなく $(T+1)$ と なっているのは，上記の通り，BERTへの入力の先頭に特殊タグ [CLS] を付与しているためである. また, $\mathbf{V}_{l}$ は一つ前の層の出力 $\mathbf{H}_{l-1}$ に基づいて計算される $(T+1) \times D$ の行列である. さらに， $\mathbf{A}_{l}$ は $(T+1) \times(T+1)$ のアテンション重みを表す行列であ り，通常の BERTでは，次式で求められる。

$
\mathbf{A}_{l}=\operatorname{softmax}\left(\frac{\mathbf{Q}_{l} \cdot \mathbf{K}_{l}^{\top}}{\sqrt{d}}\right)
$

ここで， $\mathbf{Q}_{l}$ と $\mathbf{K}_{l}$ は一つ前の層の出力 $\mathbf{H}_{l-1}$ に基づい て計算される $(T+1) \times D$ の行列であり,$d$ は調整係数である.

アテンション重み行列 $\mathbf{A}_{l}$ は，文章中のある単語 の分散表現ベクトルを計算するために，その他の単語の情報をどれだけ参照するかをコントロールす る機能を持つ. 例えば， $\mathbf{A}_{l}$ の $t$ 行 $t^{\prime}$ 列目の要素 $a_{l t t^{\prime}}$ は単語 $w_{t}$ の分散表現ベクトルを計算する際に， $w_{t^{\prime}}$ の情報をどれだけ重み付けして加算するかを表現 する. 本研究では，このアテンション重みを調整す ることで，論理構造を明示的に反映することを目指 す. 具体的には, 論理関係のある論理要素間では単語間の情報参照を許可し，論理関係がない論理要素間では単語間での情報参照を行わせないようにする ために, Visible Matrix と呼ぶ $(T+1) \times(T+1)$ の行列 $\mathbf{M}=\left.\{m_{t t^{\prime}} \mid t, t^{\prime} \in\{0, \ldots, T\}\right.\}$ を導入し，アテンショ ン重み行列 $\mathbf{A}_{l}$ を次のように計算する.

$
\mathbf{A}_{l}=\operatorname{softmax}\left(\frac{\mathbf{Q}_{l} \cdot \mathbf{K}_{l}^{\top}}{\sqrt{d}}+\mathbf{M}\right)
$

この式では, Visible Matrix $\mathbf{M} の t$ 行 $t^{\prime}$ 列目の要素 $m_{t t^{\prime}}$ が - になると，Softmax 関数により，アテン ション行列の $t$ 行 $t^{\prime}$ 列目の要素 $a_{l t t^{\prime}}$ が 0 となるた め, 式 (1) の Self-Attention の計算において $t$ 番目 の単語の分散表現ベクトルの計算時に $t^{\prime}$ 番目の単語の情報を無視させることができる．そこで，本研究では，論理関係がない単語間について $m_{t t^{\prime}}=-\infty$,論理関係がある単語間について $m_{t t^{\prime}}=0$ になるよう に，次のように Visible matrix を構築する。

今，採点対象文に論述構造解析を適用した結果， $P$ 個の論理要素が得られたとする. ここで, $p$ 番目 の論理要素を $\mathbf{C}_{p}$ （ただし， $p=\{1, \ldots, P\}$ ）とし， $\mathbf{C}_{p}$ はその論理要素に含まれる連続する単語の集合 として $\left.\{w_{i}, w_{i+1}, \ldots, w_{I_{p}}\right.\}$ で表すとする. ただし， $i$ は対象文中における論理要素 $\mathbf{C}_{p}$ の開始位置, $I_{p}$ は $\mathbf{C}_{p}$ に含まれる単語数とする。また，論理要素間の 関係は $P \times P$ の対称行列 $\mathbf{R}=\left.\{r_{u v} \mid u, v \in\{1, \ldots, P\}\right.\}$ で表し, $u$ 番目の論理要素 $\mathbf{C}_{u}$ と $v$ 番目の論理要素 $\mathbf{C}_{v}$ に論理関係があるとき $r_{u v}=r_{v u}=1$, そうでない ときに $r_{u v}=r_{v u}=0$ とする. 以上の定義のもとで，本研究では, 以下の 2 条件を満たすときに $m_{t t^{\prime}}=0$, そうでないときに $m_{t t^{\prime}}=-\infty$ となるように, Visible matrix Mを作成する.
1. $w_{t}$ を要素に持つ論理要素 $\mathbf{C}_{p}$ と $w_{t^{\prime}}$ を要素に持 つ論理要素 $\mathbf{C}_{p^{\prime}}$ が存在する。
2. $\mathbf{C}_{p}$ と $\mathbf{C}_{p^{\prime}}$ に論理関係が存在する. すなわち $r_{p p^{\prime}}=1$ である.

なお, 個々の論理要素について, 論理要素内の単語同士では情報の参照ができるように, $r_{p p}=1 ; \forall p$ とする. また, 本研究では, [CLS] に対応する出力 を論理構造を考慮した全体の分散表現べクトルと することを想定しているため，Visible Matrix M の 0 行目の要素は 0 , すなわち $m_{0 t}=0 ; \forall t$ とし, 全体 の情報が [CLS] に集約されるようにする. 反対に， [CLS] タグに集約される情報を各単語が参照できて はいけないため，M の 0 列目の要素は 0 行目を除 いて全て $-\infty$ とする. 本研究では，以上のように作

図 2 Visible Matrix 適用の概念図

成した Visible Matrix を用いて，論理構造の情報を 反映できるように Self-Attention を拡張した BERT を 「BERT-LS」と呼ぶ.

図 2 に Visible Matrix の作成と BERT-LS における Self-Attention の概念図を示す. 図 2 の下部で図示し ているように，BERT-LS の Self-Attention では，各単語の分散表現ベクトルを計算する際に，その単語 と論理的に関係がある論理要素の情報のみが考慮 され，論理関係がない論理要素間では単語間の情報参照がおこらないようになっている. そのため,全単語間の関係を考慮する通常の BERT と比べて, BERT-LS では論理構造を強調した情報処理が実現で きると考えられる。また，図からもわかるように， BERT-LS では，[CLS] タグに対応する分散表現べク トルに全体の情報が縮約されている。よって，本研究では，BERT-LS の最終層の [CLS] タグに対応する 出力ベクトル $x_{0}^{\prime}$ を論理構造を考慮した分散表現べ クトルとして採用する.

## 2.3 論理構造を考慮した深層学習自動採点手法

ここでは，BERT-LS を用いて処理した論理構造情報を，従来の深層学習自動採点モデルに加味させる 手法を提案する. 従来の深層学習自動採点モデルと しては，様々なモデルが利用できるが，ここでは，近年ベースラインとして広く利用される BERT を用 いた深層学習自動採点モデルを基礎モデルとして利

図 3 BERT による自動採点モデルの概念図用する.

BERTを用いた自動採点モデルの概念図を図 3 に示す. モデルへの入力は，BERT-LS と同様に，小論文の先頭に [CLS] タグを挿入した単語系列 $\left.\{w_{0}, w_{1}, \ldots, w_{T}\right.\}$ である. BERTを用いた自動採点モ デルでは， [CLS] タグに対応する BERT の出力べク トル $x_{0}$ に対して，次式で与えられる Linear Layer with Sigmoid Activation を適用することで，予測得点 $s$ を求める。

$
s=\sigma\left(\boldsymbol{W} \boldsymbol{x}_{0}+b\right)
$

ここで， $\sigma$ は Sigmoid 関数を表し， $\boldsymbol{W}$ と $b$ は重みべ クトルとバイアスを表すパラメータである. なお， $s$ は 0 から 1 の値を取るため，得点尺度がこれと 異なる場合には， $s$ を一次変換し，実際の得点尺度 に合わせる. 例えば， $1 \sim K$ の $K$ 段階得点の場合， $K s+1$ と変換する.

提案手法では，図 4 に示すように，BERT-LS で得 られる分散表現ベクトル $\boldsymbol{x}_{0}^{\prime}$ ([CLS] に対応する最終

図 4 提案モデルの概念図
表 1 実験結果

層の出力ベクトル）を，従来の深層学習自動採点 モデルで得られる分散表現ベクトル $x_{0}$ と結合した ベクトル $\left[x_{0} ; x_{0}^{\prime}\right]$ を作成し, それを Linear Layer with Sigmoid Activation に入力して予測得点を算出する.

モデル学習は, 次式の平均二乗誤差 (mean squared error：MSE）を損失関数として誤差逆伝搬法で行う。

$
\frac{1}{N} \sum_{n=1}^{N}\left(s_{n}-s_{n}^{*}\right)^{2}
$

ここで， $s_{n}$ は小論文 $n$ の予測得点， $s_{n}^{*}$ は真の得点 を表し， $N$ は訓練データ中の小論文の数を表す. な お，出力層に Sigmoid 関数を採用しているため，真 の得点は 0 から 1 の値に線形変換する必要がある.

## 3 実験

提案手法の有効性を確認するために，ベンチマー クデータを用いた評価実験を行う．実験には，自動採点研究のベンチマークデータとして広く利用さ れている Automated Student Assessment Prize (ASAP) を用いた. ASAP は，8つの異なる小論文課題に対 して，英語を母語とする米国の学生が英語で解答し た小論文と，それに対する得点で構成されるデータ セットである. 予測精度の評価実験は，8つの課題別に 5 分割交差検証法で行い，精度評価指標には 2 次重み付きカッパ係数 (QWK; quadratic weighted kappa）を用いた.

ベースとする深層学習自動採点モデル（図 4 の右側のモデル）には，BERT，RoBERTa[22], ALBERT[23], DistilBERT[24], DeBERTa[25], LSTM （Long short term memory）を中心としたモデル [26] を用い，それぞれのモデルに対して，BERT-LS を統合した提案手法と BERT-LS を使用しない従来手法 について予測精度を求めた. さらに，BERT-LS 単体
についても同様の実験を行なった.

実験結果を表 1 に示す. 太字は提案手法と従来手法で精度の高い方を示している。また， $\mathrm{p}$ 值列は，同一のベースモデルにおける提案手法と従来手法の 平均精度について，対応のある $\mathrm{t}$ 検定を行なった結果を示している。表 1 より，概ね全てのべースモデ ルで提案手法の平均精度が従来手法より高いこと, また，BERT-LS を単体で使用した場合と比べても，提案手法の精度が高いことが確認できる。

従来手法と比べた提案手法の精度改善は, 課題 1 , 2，8 において大きい傾向が確認できる. ASAP デー タセットには，自身の意見を論証するタイプの課題 (課題 1，2，7，8）と，与えられた長文に対してや や短めの文章で回答する形式の課題（課題 $3 ， 4 ， 5$, 6）が含まれており，精度改善が大きかった課題 1 , 2，8 は論証タイプの課題である. このことから，提案手法は, 論理的な文章構成が必要とされるタイプ の小論文課題において，有効性が高い傾向があると 考えられる。

## 4 まとめ

本研究では, 論述構造解析を用いて小論文の論理構造を推定し，その情報を深層学習で解析する手法 を開発するとともに，その手法を組み込んだ新たな 深層学習自動採点モデルを提案した. 実データ実験 により，提案モデルによって小論文の論理構造を明示的に深層学習モデルに組み込むことが，自動採点 の精度改善に有効であることが示された. 論理構造 を活用した自動採点の先行研究 [15] では, 論理構造 に基づく特徴量組み込みの有効性は示されなかった が，本研究で提案した方法で組み込みを行えば精度 が改善されることが示された.

## 参考文献

[1] Yousef Abosalem. Assessment techniques and students' higher-order thinking skills. International Journal of Secondary Education, Vol. 4, pp. 1-11, 012016.

[2] Emily R Lai. Critical thinking: A literature review. Pearson's Research Reports, Vol. 6, No. 1, pp. 40-41, 2011.

[3] Ou Lydia Liu, Lois Frankel, and Katrina Crotts Roohr. Assessing critical thinking in higher education: Current state and directions for next-generation assessment. ETS Research Report Series, Vol. 2014, No. 1, pp. 1-23, 2014.

[4] Masaki Uto and Masashi Okano. Learning Automated Essay Scoring Models Using Item-Response-Theory-Based Scores to Decrease Effects of Rater Biases. IEEE Transactions on Learning Technologies, Vol. 14, No. 6, pp. 763-776, 2021.

[5] Zixuan Ke and Vincent Ng. Automated Essay Scoring: A Survey of the State of the Art. In Proc. International Joint Conferences on Artificial Intelligence Organization, Vol. 19, pp. 6300-6308, 2019.

[6] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 459-484, 2021.

[7] Takumi Shibata and Masaki Uto. Analytic Automated Essay Scoring Based on Deep Neural Networks Integrating Multidimensional Item Response Theory. In Proc. International Conference on Computational Linguistics, pp. 2917-2926, Gyeongju, Republic of Korea, October 2022.

[8] Peter Phandi, Kian Ming A Chai, and Hwee Tou Ng. Flexible Domain Adaptation for Automated Essay Scoring Using Correlated Linear Regression. In Proc. Conference on Empirical Methods in Natural Language Processing, pp. 431-439, 2015.

[9] Farah Nadeem, Huy Nguyen, Yang Liu, and Mari Ostendorf. Automated Essay Scoring with Discourse-Aware Neural Models. In Proc. Workshop on Innovative Use of NLP for Building Educational Applications, pp. 484-493, 2019.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, June 2019.

[11] Christian Stab, Tristan Miller, Benjamin Schiller, Pranav Rai, and Iryna Gurevych. Cross-topic argument mining from heterogeneous sources. In Proc. Conference on Empirical Methods in Natural Language Processing, pp. 3664-3674, 2018.

[12] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural Automated Essay Scoring Incorporating Handcrafted Features. In Proc. International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[13] Harneet Kaur Janda, Atish Pawar, Shan Du, and Vijay Mago. Syntactic, semantic and sentiment analysis: The joint effect on automated essay evaluation. IEEE Access, Vol. 7, pp. 108486-108503, 2019.
[14] Patrick Hohenecker and Thomas Lukasiewicz. Ontology reasoning with deep neural networks. Journal of Artificial Intelligence Research, Vol. 68, pp. 503-540, 2020.

[15] Huy Nguyen and Diane Litman. Argument Mining for Improving the Automated Scoring of Persuasive Essays. Proc. Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence, Vol. 32, No. 1, 2018.

[16] Raquel Mochales Palau and Marie-Francine Moens. Argumentation Mining: The Detection, Classification and Structure of Arguments in Text. In Proc. International Conference on Artificial Intelligence and Law, pp. 98-107, 2009.

[17] Ruty Rinott, Lena Dankin, Carlos Alzate Perez, Mitesh M. Khapra, Ehud Aharoni, and Noam Slonim. Show Me Your Evidence - an Automatic Method for Context Dependent Evidence Detection. In Proc. Conference on Empirical Methods in Natural Language Processing, pp. 440-450, 2015.

[18] Christian Stab and Iryna Gurevych. Parsing Argumentation Structures in Persuasive Essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, 2017.

[19] Steffen Eger, Johannes Daxenberger, and Iryna Gurevych. Neural End-to-End Learning for Computational Argumentation Mining. In Proc. Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 11-22, 2017.

[20] John Lawrence and Chris Reed. Argument Mining: A Survey. Computational Linguistics, Vol. 45, No. 4, pp. 765-818, 2020.

[21] Yuxiao Ye and Simone Teufel. End-to-End Argument Mining as Biaffine Dependency Parsing. In Proc. Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 669-678, 2021.

[22] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[23] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite BERT for self-supervised learning of language representations. International Conference on Learning Representations, 2020.

[24] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

[25] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. arXiv preprint arXiv:2006.03654, 2020.

[26] Kaveh Taghipour and Hwee Tou Ng. A Neural Approach to Automated Essay Scoring. In Proc. Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.


# 記述式答案採点モデルの採点基準に対する整合性の検証

浅妻佑弥 ${ }^{1,2}$ 舟山弘晃 ${ }^{1,2}$ 松林優一郎 ${ }^{1,2}$ 水本智也 ${ }^{2}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{asazuma.yuya.r7, h. funa\}@dc. tohoku.ac.jp
\{y.m, kentaro.inui\}@tohoku.ac.jp tomoya.mizumoto@a.riken.jp

## 概要

記述式答案自動採点タスクにおいて，採点基準と 合致する採点モデルを構築することは重要な要件で あるが，訓練済みのモデルに対して採点基準との整合性を効率的に検証する手段は確立されていない.有力な手法として，モデルの内部動作を可視化でき る特徵量帰属法 (Feature Attribution) が存在するが,解答毎に検証を行う必要があるため，多数のデータ を使用した上で整合性を証明することは困難だっ た. 本研究では，クラスタリングアルゴリズムを特徵量帰属法で求めた説明系列に適用することで，少 ない労力で採点モデルと採点基準間の整合性検証を 可能にした.

## 1 はじめに

記述式答案自動採点 (Short Answer Scoring) とは, ある問題に対して解答された数十文字程度の答案を 自動で採点するタスクである [1]. 機械学習モデル で解ける形式に落とし込む場合，採点結果を目的変数に設定し，答案の文章を説明変数とする回帰問題 として扱い，問題文や採点基準（ルーブリック）は 補助的な特徴量として扱うのが一般的である [2].

しかしながら，本来の採点過程では採点基準との 合致が求められる. ゆえに，採点基準に沿った答案箇所が主な得点源となり，モデルが利用する特徴量 となることが求められるが，現状の多くの取り組み では答案の文章が主たる入力であり，学習の過程で 使用する特徴量が決定されるため, 基準に沿った採点をモデルが行うことを保証することはできない. たとえ，補助的な特徴量として採点基準を導入して も，機械学習モデルが利用するかは学習によって決定されるため，正確な保証になるわけではない。

この不安定性の問題に対応する手段として, 特徴量帰属法 (Feature Attribution) の活用が考えられる.主に説明可能な AI (XAI) 分野において扱われ, 出力
に対する入力特徴量の寄与度をモデルを使用して計算する手法群の総称である. モデルが使用した特徴量を根拠箇所としてヒートマップの形式で可視化す ることが可能であり，モデルの動作や判断の手がか りを得るための手法として定評がある [3].

しかしながら，特徴量帰属法は答案毎にベクトル の形式で寄与度を計算するため, 自然言語で記述さ れた採点基準とは形式が異なり，単純な自動化は難 しい．また，可能な限り多くの答案で検証できるこ とが望ましいが，訓練に使用する答案の数は最低で も数百・数千に及ぶため, 全ての答案に対する検証 を行うことは困難である。

本研究では，特徴量帰属法を使用した採点基準と の整合性検証が抱える実務上の問題点を解消するた めに，スペクトラルクラスタリング [4]を使用した クラスタ分析による整合性検証ツールの開発を行っ た. そして，考案した手続きの有効性を示すため，採点基準を含むデータセット上で動作確認を行い,少ない労力で訓練済みの機械学習モデルと採点基準間の整合性検証が可能であることを確認した。

## 2 関連研究

記述式答案採点モデルの解釈を目的とした既存研究は限られている. Mizumoto ら [5], Zeng ら [6] は 注意機構 [7] の重みをモデルの解釈として提供して いるが，モデルの一部の特徴量でしかないため，採点基準の検証手段としての使用には適さない.

一方で，Tasuku ら [8] は特徵量帰属法で生成した 説明系列と採点基準を元としたアノテーションの重複率を計測することで，モデルが採点基準に沿った 動作を行うか検証している. しかしながら，検証し たい全てのサンプルに対して採点基準を元としたア ノテーションを実施する必要があり, 新規のデータ セットに適応するための障壁が高い．そのため，少 ない労力で採点基準との整合性を検証できる手法を 本研究で取り扱う.

図 1 本研究の概略図. 訓練に使用した答案に対して特徴量帰属法による説明系列を生成し，クラスタリングによって類型の答案を集約する．各々のクラスタに対して採点基準と比較することで整合性のチェックを行う。

## 3 手法

## 3.1 特徵量帰属法

特徴量帰属法 (Feature Attribution) ${ }^{1}$ はモデルの出力に対する入力特徴量の寄与度を計算するための手法である. 入力サンプルの集合を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$ ，機械学習モデルを $f(\boldsymbol{x})$ とする. あるサンプル $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{m}\right)$ に対するモデルの出力得点が $\boldsymbol{y}$ で あるとき，出力得点に対する入力系列の重要度を説明系列 $\boldsymbol{e}=\left(e_{1}, e_{2}, \ldots, e_{n}\right)$ として計算する．各 $e_{i}$ の値 は得点に対する $x_{i}$ の寄与度となることが望まれる。

本研究では, 寄与度の計算に Integrated Gradients [9]を使用する. 勾配計算を利用する解釈手法 [10] の中でも有力な手法であり，モデルと入出力を利用 して以下の式で計算する。

$
e_{i}=\left(x_{i}-x_{i}^{\prime}\right) \int_{0}^{1} \nabla f\left(\boldsymbol{x}^{\prime}+\alpha\left(\boldsymbol{x}-\boldsymbol{x}^{\prime}\right)\right) \mathrm{d} \alpha
$

ここで， $x_{i}^{\prime}$ はベースラインと呼ばれる比較の基準 となる入力サンプルであり, 本研究では零テンソル を使用する. 摄動ベースの手法 [11][12] と比較して 計算量が少なく，微分可能であれば大規模なモデル でも実行可能であるため，本研究で採用する.

## 3.2 SpRAy

SpRAy[13] は特徴量帰属法による解釈の分析を行 う手法である。論文内において, PASCAL VOC 2007 に対して学習された分類モデルが, 馬カテゴリの分類に画像の透かし表記を利用することを明らかにし ている. 本研究では，SpRAyを自然言語処理領域に 拡張し，記述式答案自動採点タスクで利用する。
解の為に，論文内では特徴量帰属法の名称を使用する。
SpRAy の主な特徴として，スペクトラルクラスタ リングを使用したクラスタ分析を行う．ラプラシア ン行列の固有値分解によるグラフの連結成分分解 の問題を解くことでクラスタリングを行う手法で あり，説明系列の集合を $k$ 個のクラスタに分類す るとき，アルゴリズムは以下の 4 ステップで実行さ れる.

1. 任意の二つの説明系列 $\boldsymbol{e}_{\boldsymbol{a}}$ と $\boldsymbol{e}_{\boldsymbol{b}}$ の関係性から親和性行列 $A$ を構築する.
2. $A$ をグラフ構造に帰着し, 対称正規化ラプラシ アン行列 $L_{\text {sym }}$ を求める.
3. $L_{s y m}$ の固有値分解を行う. 固有值の昇順に $k$個の固有値ベクトルを選択して行列 $E$ を作る.
4. $E$ に対して素朴なクラスタリング手法を実施す る. 本研究では $\mathrm{k}$-means 法 [14]を使用する.

ここで，固有値を昇順に整列した系列の前後の差分 $\lambda_{i}^{\text {gap }}=\lambda_{i+1}-\lambda_{i}$ は固有値ギャップと呼称され，最適なクラスタの数を推定できるヒューリスティック な指標として扱うことができる. [15]

## 4 実験

本章で，記述式答案自動採点データセットを使用 した検証実験を行い，少ない労力でモデルと採点基準間の整合性検証が可能であることを示す.

## 4.1 データセット

本研究では, 理研記述問題採点データセット [16][5][17] を使用して実験を行った.このデータ セットは，入力とする答案文章，採点者による得点，採点の根拠を示すアノテーションから構成され る. データセット内には複数の問題文に対するデー タが含まれているが，本実験では問題 Y14_1-2_1_3 を使用する. 得点は複数の採点項目によって構成さ
表 1 問題 Y14_1-2_1_3 の採点項目.4つの採点項目から 構成され，合算した点数が最終的な得点となる.

項目 配点 満点となる文章スパンの例

れる. 表 1 に，採点項目の詳細を示す.

## 4.2 機械学習モデル

実験のために，水本ら [5] の研究を基にした機械学習モデルを構築する. エンコーダ層に BERT[18] を導入し，デコーダ層に注意機構 [7] を使用する。学習済みの BERT モデルには文字単位の日本語 BERT モデル2)を使用する．後の実験のために，採点項目毎の部分点をべクトル形式で予測する個別採点モデルと, 採点結果を合算した点数をスカラー形式で予測する全体採点モデルを構築する，得点を予測する回帰問題としてモデルを訓練した. モデルの 性能評価は付録 $\mathrm{A}$ に記載する。

## 4.3 クラスタ分析の前処理

モデルの学習後, 使用した訓練サンプルに対して Integrated Gradients による説明系列を生成する。た だし，埋め込み層に対する勾配の計算は不可能であ るため，埋め込み後の入力に対して寄与度を計算す る. クラスタリングにあたり説明系列間の類似性か ら親和性行列を構築する必要があるが，入力が可変長系列であるため，全ての入力に対して総和を取っ た説明系列間でコサイン類似度を計算する。親和性行列からラプラシアン行列への変換は, 5 つの近傍 の頂点を接続行列として扱い，対称正規化ラプラシ アン行列を構築する。また，予測スコアが最大の点数の二割以下であるサンプルについては除外する.白紙の答案に対して採点理由を求めることが不可能 であるように, 得点が著しく低い答案に対する説明 を求めることが困難なためである.

## 4.4 全体採点モデル

まず，全体採点モデルに対してクラスタ分析を行 う. ラプラシアン行列に対して求めた固有値の特性 を図 2 に示す. $\lambda_{1} \cdot \lambda_{2}$ の固有値ギャップが大きく, $\lambda_{5}$ 以降は緩やかに増加することが確認できる。この

2) https://github.com/cl-tohoku/bert-japanese

図 2 全体採点モデルにおける固有値の推移.

結果より，クラスタ数を $k=5$ に設定してクラスタ 分析を行った。ヒートマップで色付けしたクラスタ 毎の文章例を図 3 に示す. なお，ヒートマップの濃度は，トークン毎に説明系列の総和を取り標準化を 施した値を使用した。概ね，各クラスタに含まれる 顕著な特徵は以下の結果になった。

・クラスタ 0,4 : 西洋 (項目 A)，対決 (項目 B)

・クラスタ 1, 2: 同意 (項目 C), 説得 (項目 D)

・クラスタ 3: 類似性の少ない答案の集合

3 番以外のクラスタで，表 1 に示す採点基準を中心に集約される傾向が確認できた．クラスタ 3 の み，類似性が少ない答案と説明系列が集約されてい る.ゆえに，3 番以外のクラスタに属する訓練サン プルに関しては基準との整合性あると結論付けられ る. クラスタ 3 に所属するサンプルのみ，個別に検証することになるが，今回の実験では問題のある事例は発見できなかった.

以上の手順によって，少ない労力で採点基準との 整合性を確認できた．なお，採点基準に反するよう な説明系列を発見することはなかった。

## 4.5 個別採点モデル

4.4 節と同様の手順で，個別採点モデルに対する クラスタ分析を行った. 分析自体は全ての採点項目 に対して実行したが，本文には採点項目 B における 結果を記載する．ヒートマップで色付けしたクラス タ毎の文章例を図 4，ラプラシアン行列に対して計算した固有値の特性を図 5 に示す. $\lambda_{5}$ 以降は緩や かに増加することが確認できるため，クラスタ数は $k=5$ 亿設定した. 図 4 において，各クラスタに含 まれる顕著な特徴は以下の結果になった。

・クラスタ 0: 西洋文化の基底 (負)，対決，異人

・クラスタ 1:「対決」,答案が類似する。

・クラスタ 2: 西洋 (負)，異人，人間

・クラスタ 3: 西洋 (負)，他人は自分とは異なる

・クラスタ 4:「対決」，「異人」
一 [CLS]西洋文化の基底には「対決」のスタンスがあり、神対人間、人間対自然、人間対人間という形で現されるということ。[SEP]

0 [CLS]西洋文化の基底には「対決」のスタンスがある。その「対決」は神对人間、人間対自然、人間対人間という形で現れること[SEP] [CLS]西洋文化の基底には「刘決」といラスタンスがあり、そのスタンスが、様々な形で現れることで西洋の文化は導かれてきたということ[SEP] [CLS]西洋文化の基底にある神对人間、人間対自然人間对人間という形のような「対決」のスタンスこそが人を説得させようとする锝舌になる。 [SEP] [CLS] コーロッパは民族などが異った国々が狭い地域に雑居しているから自分の考えを相手に伝え、同意してもらう必要があること。[SEP] [CLS]西洋人は基本的には他人は自分とは違う人間と見なし、自分の考えを相手にきちんと説明して相手から同意を取つける説得が必要であること。 [SEP]

[CLS]西洋人は基本的に他人は異人と見なすため、自分の考えに他人を同意させる必要があると考える。だから「対決」のスタンスがあるということ。 [SEP] [CLS]西洋文化の、人間は常に「何か」と対決しているしため、その対決している人に自分の考えを同意させるのが必要だと考えているから。[SEP] [CLS]西洋人にとって他人は異人であり、自分の考え方を相手に説明して相手からの同意を取りつける必要があるので説得は西洋人に不可決な技術であること。 [SEP] [CLS]西洋人は他人は自分と異なる人間と見なすため基底に「対決」というスタンスがあり、西洋人に生きてゆくうえで大切な技術であり、別の考えであること。 [SEP]

3 [CLS]西洋人は基本的には他人は自分とは異なる人間(異人)と見なし、西洋文化の基底には「対決」のスタンスがあるということ。[SEP] [CLS]神対人間、人間対自然、人間対人間という形で現される西洋文化の「対決」のスタンスのこと。 [SEP]

[CLS]西洋文化の基底には「対決」のスタンスがあり、その「対決」は神对人間、人間对自然、人間对人間という形で現われるということ。[SEP]

4 [CLS]西洋人は基本的に他人は自分とは異なる人間(異人)と見なしており、さらに西洋文化の基底には「対決」のスタンスがあること。[SEP] [CLS]西洋文化の基底には「対決」のスタンスがあり、その「対決」は神対人間、人間対自然、人間対人間という形で現われること。[SEP]

図 3 全体採点モデルで生成した説明系列を対象としてクラスタ分析を行った結果. 各クラスタに含まれる文章と説明系列を三件ずつ例示する。文頭の番号は各クラスタの ID を示す.

一 [CLS]西洋文化の基底には他人という自分と異なる人を自分の考えに同意させるために言葉を尽くし对決するという考えがあるため、説得が本質であるという事。 [SEP]

0 [CLS]西洋文化の基底には「対決」のスタンスがあり、神対人間(宗教=契約)、人間対自然科学=合理主義)、人間対人間(個人主義)という形で現れること[SEP]

[CLS]西洋人は他人と自分は異なる人間と見なし、自分の考えに他人を同意させるためて言葉を尽くして伝えようとするということ。[SEP]

[CLS]西洋文化の基底には「对決」のスタンスがあり、その「对決」は、神对人間、人間对自然、人間对人間という4つの形で現れる。[SEP]

1 [CLS]西洋文化の基底には「対決」のスタンスがある。その「対決」は神対人間、人間対自然、人間对人間という形で現れる。[SEP] [CLS]西洋文化の基底には「玟決」のスタンスがあり、その「対決」は神対人間、人間対自然、人間対人間という形で現れるということ。[SEP]

[CLS]他人を自分を異なる人と見なして、自分の考えを相手に同意させる必要があると考え、他人に分かってもらうために言葉を尽くし考えを伝えようとすること[SEP]

2 [CLS]ヨーロッパは民族や言語や文化を異にする多くの国々が狭い地域に雑居していることから他人を異人ととらえ、相手から同意を取りつける必要があること。 [SEP] [CLS]西洋人は基本的に他人を異人と見なすため自分の考えに他人を同意させる必要があると考え、そのために言葉を尽くして自分の考えを伝えようとすること。 [SEP] [CLS]西洋文化の基底には「対決」のスタンスがあり、基本的に他人は自分とは異なる人間だから自分の考えに同意させる必要があると考えるということ。[SEP]

3 [CLS]西洋人は基本的には他人は自分とは異なる人間と見なす。だから自分の考えに他人を同意させる必要があると考え、言葉をつくして考えを伝えようとする。 [SEP] [CLS]宗教や自然に対する考え方の違いや、個人の思想が様々だったので自分とは買なる人間である他人に自分の考えを分かってもらうために镜舌が発達した[SEP]

一 [CLS]西洋文芸は日本文芸とは違い他人は自分と異なる人間と見なすため西洋文化の基底には对決のスタンスがあり、それは個人主義という形で現れるということ[SEP]

4 [CLS]神対人間、人間対自然人間対人間という西洋文化の基底には「刘決」というスタンスがあり、説得は生きてゆくうえで大切な技術であるということ。[SEP] [CLS]他文化の人と往む事が多く、考え方の違いで対決する事が多かったヨーロッパでは、説得しないと、他人に自分の考えが理解してもらえないと考えたから[SEP]

図 4 個別採点モデル・採点項目 B で生成した説明系列を対象としてクラスタ分析を行った結果. 各クラスタに含まれ る文章と説明系列を三件ずつ例示する．文頭の番号は各クラスタの ID を示す.

図 5 個別採点モデル・項目 B における固有値の推移.

全体採点モデルの時と同様に，一貫した説明のパ ターンをクラスタ内で確認できる。採点項目 B に該当する表現に高い寄与度が割り振られているパター ンが多いが，一方で採点項目 A であるはずの”西洋文化”に対して強い負の寄与度が確認できる。ゆえ に，採点項目 B に含まれない基準”西洋文化”を使用 して答案を採点している可能性が浮上した.

## 5 議論

あくまで固有値ギャップはヒューリスティックな 指標であるため，依然として最適なクラスタ数を設定することは困難である．大きなクラスタ数を指定 すれば詳細な分割が行われるが，検証の労力が増大
しクラスタリングの意義を損ねてしまう。一方で，小さすぎるクラスタ数を指定すれば，一つのクラス タに複数のパターンが含まれることになる. 現に， 4.4 節における実験では，一つのクラスタ内に複数 の採点項目のパターンが観測された. そもそも，固有値ギャップ特性によるクラスタ数の推定に対して 批判的な意見も存在する [19].

また，本論文の実験結果は人間視点の定性的な評価に留まっているため，今後の研究ではクラスタ間 の距離・階層関係を利用した定量的な評価の実施を 計画している.

## 6 おわりに

本研究では，記述式答案自動採点タスクにおける 採点基準検証の省労力化を目的として, 特徵量帰属法とクラスタリングを使用した検証手法を開発し た. 有効性を示すために，採点基準を含むデータ セット上で動作確認を行い. 訓練済みの機械学習モ デルに対して整合性検証が可能であることを確認し た. また，実際に採点基準から外れた動作の疑いが ある事例を発見することができた.

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 00524$ ，JST 次世代研究者挑戦的研究プログラム JPMJSP2114 の助成を受け たものである．また，研究を進めるにあたり，頻繁 に議論に参加していただいた Tohoku NLP グループ の皆様へ感謝いたします。

## 参考文献

[1] Md Arafat Sultan, Cristobal Salazar, and Tamara Sumner. Fast and easy short answer grading with high accuracy. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1070-1075, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[3] Ričards Marcinkevičs and Julia E Vogt. Interpretability and explainability: A machine learning zoo mini-tour. December 2020.

[4] Andrew Y Ng, C S Division, U C Berkeley, Michael I Jordan, C S Div, Dept Of, Stat U C Berkeley, and Yair Weiss. On spectral clustering: Analysis and an algorithm. https: //proceedings.neurips.cc/paper/2001/file/ 801272ee79cfde7fa5960571fee36b9b-Paper.pdf. Accessed: 2023-1-11.

[5] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. pp. 316-325, August 2019.

[6] Zijie Zeng, Xinyu Li, Dragan Gasevic, and Guanliang Chen. Do deep neural nets display human-like attention in short answer scoring? In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 191-205, Seattle, United States, July 2022. Association for Computational Linguistics.

[7] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. September 2014.

[8] Tasuku Sato, Hiroaki Funayama, Kazuaki Hanawa, and Kentaro Inui. Plausibility and faithfulness of feature Attribution-Based explanations in automated short answer scoring. In Artificial Intelligence in Education, pp. 231242. Springer International Publishing, 2022.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. March 2017.

[10] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. December 2013.

[11] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. "why should I trust you?": Explaining the predictions of any classifier. February 2016.

[12] Scott Lundberg and Su-In Lee. A unified approach to interpreting model predictions. May 2017.

[13] Sebastian Lapuschkin, Stephan Wäldchen, Alexander Binder, Grégoire Montavon, Wojciech Samek, and KlausRobert Müller. Unmasking clever hans predictors and assessing what machines really learn. Nat. Commun., Vol. 10, No. 1, p. 1096, March 2019.

[14] J MacQueen. Some methods for classification and analysis of multivariate observations. In Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, Volume 1: Statistics, Vol. 5.1, pp. 281298. University of California Press, January 1967.

[15] Ulrike von Luxburg. A tutorial on spectral clustering. November 2007.

[16] 理化学研究所. 理研記述問題採点データセット. July 2020.

[17] Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, and Kentaro Inui. Balancing cost and quality: An exploration of Human-inthe-Loop frameworks for automated short answer scoring. In Artificial Intelligence in Education, pp. 465-476. Springer International Publishing, 2022.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. pp. 4171-4186, June 2019.

[19] Song Wang, Karl Rohe, Pengsheng Ji, and Jiashun Jin. DON'T MIND THE (EIGEN) GAP. https://www. stat.cmu.edu/ jiashun/Research/ Selected/SCC-disc3.pdf. Accessed: 2023-1-13.

## A 採点モデルの性能評価

採点モデルを訓練した後に，テストセットを使用 した性能の評価を行った. RMSE と QWK の二つの 指標で測定した結果を記載する。

## A. 1 全体採点モデル

全体採点モデル，テストセットに対する性能評価 の結果を表 2 に示す.

## A. 2 個別採点モデル

個別採点モデル，テストセットに対する性能評価 の結果を表 3 に示す. 採点項目ごとに性能の測定を 行った.

表 2 全体採点モデル・テストセットにおけるモデルの性能. 問題 Y14_1-2_1_3を使用.

表 3 個別採点モデル・テストセットにおける採点項目毎 の性能. 問題 Y14_1-2_1_3を使用.


# DRS 意味解析における出現位置を利用した語彙数削減

黒澤 友哉 谷中瞳
東京大学
\{kurosawa-tomoya, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

高度な意味解析タスクの一つとして、文を入力と して談話表示構造 (Discourse Representation Structure, DRS）を出力する DRS 意味解析がある。DRS 意味解析器のうち、高精度を達成した van Noord et al. (2020) [1] のエンコーダ・デコーダモデルは 2 つの 独立したエンコーダを用いている。一方は文中の単語とその意味タグを交互に並べて入力とし、他方は 文を文字単位で分割し入力とすることで、文の意味情報を学習しようと試みている。しかしこの手法で は、文中のトークンが DRS トークンに含まれるた め、モデルの語彙数が非常に大きくなり、デコーダ の計算量が増大し予測精度の低下につながる可能性 がある。本研究では、DRS に含まれるトークンの うち解析対象の文にも含まれるトークンを、文にお ける出現位置に置き換えるという手法を提案する。 これにより、モデルの出力語彙数が $90 \%$ 以上減少 し、エンコーダ・デコーダモデルがより正確に DRS トークンを予測できる。実験により、既存手法と比較して精度の上昇を示したと同時に、学習時間の短縮とメモリ量の低下も達成した。

## 1 はじめに

意味解析は自然言語文を意味関係を構造化した 意味表現に変換する、自然言語処理において最も 基礎的なタスクの一つである。意味表現の形式は 数多く存在するが、本研究では理論言語学の分析 に基づく高度な意味表現形式 [2] である談話表示構造 (DRS) に着目する。図 1 は I was born on the 31st of May in 1940 を表現する DRS である。談話指示子の 集合 (例: t1, e1 など) と条件の集合（例: $\mathbf{t} 1<"$ "now" など）の組を「箱」と呼び、これらを用いて表現し たDRSを箱形式 DRS と呼ぶ。

図 2 は図 1 と等価であるが、表現方法が異なる。図2 のようなDRS を句形式DRS と呼ぶ。句形式

図 1 I was born on the 31st of May in 1940 を表す箱形式 DRS。

図 2 図 1 と等価な句形式 DRS。DOM, MOY, YOC は それぞれ DayOfMonth, MonthOfYear, YearOfCentury の略で ある。

DRS は箱形式 DRS に対し、エンコーダ・デコーダ モデルで扱う表現方法として適しており、[1,3] な どで用いられている。

特に [1] が提案した意味解析器は、複数のエン コーダを用いたエンコーダ・デコーダモデルで、入力のトークン列のみならず、その文字の系列や様々 な言語情報を与えて学習させている。彼らは様々な 組み合わせで実験を行なっているが、そのうち、2 つのエンコーダを用い、一方には入力のトークン列 とその意味タグを、他方には文字の系列を与える手法が最も良い精度を達成した。

しかし、句形式 DRS の一部のトークンは、モデル が予測すべき語彙の数を大きく増加させる要因とな りうる。一つ目は図 2 の 6 行目のように、文に出現 する単語が第 2 トークンに挿入されることがある。二つ目は図 2 の 7, 9, 10 行目のように、文に出現す る単語の表す値が第 4 トークンに挿入されることが ある。いずれについても任意の単語や値が挿入され うるため、エンコーダ・デコーダモデルはより膨大 な語彙を有する必要があり、結果として予測精度が 落ちている可能性がある。さらに、学習時に観測し なかった未知語も扱わなければならない。
表 1 PMB 3.0.0 と 4.0.0 の英語におけるドキュメント数の 一覧。

} & \multicolumn{1}{c}{ Test } & \multicolumn{1}{c}{} & \multicolumn{1}{c}{} \\

4.0 .0 & 7,668 & 1,169 & 1,048 & 127,303 & 151,493 \\

そこで本研究では、上述したトークンを可能な限 り減少させることにより、エンコーダ・デコーダモ デルによる予測の精度と頑健性の向上を狙う。そ れを可能にするために、文と DRS の両方に現れる トークンは、該当の DRS トークンを文中の出現位置を明示的に示すトークンに書き換えたデータで学習し、予測をする。出現位置に置き換えたデータで 学習したエンコーダ・デコーダモデルは予測の際に も出現位置トークンとして出力し、出現位置トーク ンが示す文中の単語に書き換えることで最終的な予測とする。

## 2 関連研究

## 2.1 Parallel Meaning Bank

Parallel Meaning Bank (PMB) [4] は大規模な DRS コーパスの一種であり、英語、ドイツ語、イタリア 語、オランダ語の 4 言語のデータがデータセットと して提供されている。データは文と DRS 以外にも、各トークンの品詞や意味タグなど多くの言語情報が 付与されている。2023 年 1 月現在、4.0.0 までが利用可能である1)。各言語のデータは Gold, Silver, Bronze の3つに分割されており、Gold は完全に人手でアノ テーションされたもの、Silver は一部が人手による アノテーションが付与されたもの、Bronze は人手に よるアノテーションを用いて学習したモデルが自動 でアノテーションを付与したものがそれぞれ割り当 てられている。表 1 に PMB 3.0.0 と 4.0.0のうち、英語のデータセットの詳細を示す。

日本語 PMB データについてはデータセットして 提供されていないものの、[5] の貢献により PMB Explorer $^{2}$ では利用可能である。

## 2.2 DRS 意味解析

DRS は 80 年代に導入された談話表示理論 (Discourse Representation Theory) [2] に基づく意味表現形式であり、様々な DRS 意味解析手法が提案さ

1) https://pmb.let.rug.nl/data.php

2) https://pmb.let.rug.nl/explorer/explore.php

図 3 図 2 を、箱変数と個体変数をそれぞれ相対的に変換 した相対句形式 $\mathrm{DRS}$ 。見やすさのために開業している。 なお、エンコーダへの入力では改行は***と表される。

図 4 図 3 に、文中に現れるトークンをその出現位置で置 き換えた相対句形式 DRS（提案手法）。

れている [6, 7]。近年は深層学習のモデルを用い た研究が多く、[3] は双方向 long short-term memory (bi-LSTM) [8] を用いている。[9] も深層学習のモデ ルを手法に組み入れているが、DRS は句形式ではな くグラフ形式を採用している。また [10] もグラフ形式を採用しており、いずれの研究も少量の学習デー タで比較的高い精度を達成している。

なお、本研究に最も近い研究は [11] である。この 研究は我々が語彙数の増加の原因として着目してい るトークンをダミー化し、これらをエンコーダ・デ コーダモデルに予測させるもしくは後処理で埋める 手法をとっている。語彙数の減少に注視する点は共通するが、本研究では完全にダミー化するのではな く、意味タグとトークンの出現位置との組み合わせ によって精度上昇を狙う。

## 3 提案手法

出力する語彙数を抑制し、効果的にDRS トークン を予測する方法として以下の手法を提案する。学習 の前処理として、句形式 DRS に含まれるトークン のうち、それらが文中にも出現する場合、文中にお ける出現位置に書き換える。先行研究 [1] において、図 2 の句形式 DRS は、図 3 の相対句形式 DRS [3] に 変換してエンコーダに入力する。相対句形式 DRS において、箱変数 \$と個体変数 @ はそれぞれの導入 との相対位置で記述される。例えば、6行目の第 4 トークン@0は最新の個体変数 $(5$ 行目の REF = e1) を指し、 7 行目の第 3 トークン @-1 は最新から一つ 前の個体変数（3 行目のREF = $t 1$ ）を指す。

提案手法は、図 3 の相対句形式 DRS をさらに図 4 に変換する。表 2 は句形式 DRS の行を分類したも
表 2 句形式 DRS の各行のフォーマット。ここで箱変数（b1 など）を\$で、個体変数（t1, $\mathrm{e} 1$ など）を @で表している。

のであるが、書き換えられるトークンは大きく分け て 2 種類あり、タイプC（6 行目）の第 2 トークン と、タイプD $(7,9,10$ 行目) の第4トークンである。

## 3.1 タイプＣの書き換え

タイプ $\mathrm{C}$ の第 3 トークンにおいて第 2 トークンの 語義 (synset) が WordNet [12] 形式で与えられるため、 その品詞情報を用いて文中の単語を原形に変換す る。この原形が第 2 トークンと同等の場合、\#に続 いて、その単語の出現位置を付与する。例えば、図 3 の 6 行目の bear は、文中に（0 始まりで）2 番目 に出現する動詞 born の原形であるので、 \#2 に書き 換えられる。

第 2 トークンが_（アンダースコア）繋がりで与 えられる場合、そのトークンが複合名詞 (mobile_ phonesなど）のものと句動詞（get_up など）のもの がある。複合名詞の場合、文中において～（チル ダ）繋がりで与えられているため、それらを空白と して扱い、原形へ変換した上で一致するか否かで書 き換えの有無を決定する。一方で句動詞の場合、構成する単語の間に別の単語が挟まる場合がある。例 えば、The boy has taken the toy away from his little sister には句動詞 take away が存在するが、それを構成す る単語は隣接していない。そのため句動詞について は、それを構成する2番目以降の単語の出現位置を、直前の単語からの相対位置として扱う。例えば、先述の文の相対句動詞 DRS に含まれる take_away は、文中で take は 3 番目 (taken の原形)、away は 6 番目に現れるので\#3_3に書き換えられる。

なお、以上の一連の判定で第 2 トークンが文中の 単語と同等にならない場合、そのトークンは書き換 えない。

## 3.2 タイプDの書き換え

タイプD で第 4 トークンが値の場合、そのトーク ンは図 2 の 6 行目の brown (名前)、17 行目の 4 (数量）の他にも、okinawa（地名）やyen（単位）など が存在する。それらを完全に網羅することは困難で あるため、以下の手法をとり文中に出現する単語と同じかを判定する。

まず、第 4 トークンの値と一致する単語が文中に 存在すればその出現位置に書き換える。この規則 により役割（第 2 トークンのことを表す）が Name (名称) や YearOfCentury（年）の値について対応可能になる。Unit（単位）についても、単数形に変換 することにより一致すれば書き換えの対象になる。

次に、第 4 トークンの値に対応する単語が文中に 存在すればその出現位置に書き換える。例えば、図 3 の 7 行目の 31 は文中では $31 s t$ であり、これらが 同等なので図 4 においてその出現位置に書き換え られている。この対応関係は人手で判定することは 困難なため、学習データの対応関係から作成した辞書を用いて同等かを判定する。これにより Quantity (数量)、DayOfMonth（日にち）、ClockTime（時刻) など、数に関係するほとんどの役割について対応可能になる。

## 3.3 出現位置を基にした復元方法

タイプ $\mathrm{C}$ に関しては、出現位置の指す単語を品詞情報を用いて原形に変換し、出現位置トーク ンを書き換える。タイプDに関しては、出現位置 トークンへ変換する際に構成した辞書を用いて復元する。このときに、出現位置トークンの指す単語が辞書に含まれていないなどのエラーが発生 した場合はダミーのトークンで書き換える。例え ば \$n DayofMonth @m "\#2" に対し文トークンの 2 番目に日にちを表す単語が存在しなかった場合、 \$n DayOfMonth @m "00" とする。

## 4 実験

## 4.1 実験設定

3.1 節と 3.2 節で説明した手法により PMB 3.0.0 の 英語の Gold データと Silver データを書き換える。書き換えを行なった各セットを用い、van Noord et al. (2020) [1] で最も精度が良かった実験設定である、 bi-LSTM エンコーダを 2 つ導入したエンコーダ・デ コーダモデルを用いる。2つのエンコーダのうち一
表 3 実験結果。[11]では ill-formed 数の報告がなかった。「ータイプ $\mathrm{C} 」$ は提案手法」において、タイプ $\mathrm{C}$ の復元 をしなかった場合の値を表す。

方は PMB で与えられたトークナイズされたトーク ン列と意味タグ [13] を交互に並べてエンコーダへ入力し、他方はトークン列を文字ごとに区切って入力 する。

事前学習では Gold Train データと Silver Train デー タを合わせて用い、Gold Dev データでバリデーショ ンを行なう。ファインチューニングでは Gold Train データと Gold Dev データを用いて学習・バリデー ションを行ない、Gold Test データで評価する。一度 の事前学習に対して 5 回のファインチューニングを 施し、それらから得られた値の平均値を結果として 採用する。

評価指標 各実験結果は Counter [14] を用いて得 られる。この評価ツールは出力された句構造 DRS と正解とを比較して、行を単位とする F-scoreなど の評価値を出力する。テストデータ全体の精度は ミクロF-score として求められる。例えば、句構造 DRS が 5 行からなる A と 20 行からなる B があると する。ある DRS 意味解析器が A に対しては正解と まったく同じ出力をしたのに対し、Bに対しては何 らかのエラーにより一切の出力がなかった。このと き、Counter が出力する値は各々の F-score の平均值 $(1+0) / 2=0.5$ ではなく、行数によって重み付けさ れて計算された F-score である $(5+0) /(5+20)=0.2$ である。

## 4.2 結果と分析

表 3 に結果を示す。[1] が報告した値 89.3 と比較 し、我々の手法を用いることでより高い精度であ る89.9を達成した。一方で、出力された相対句形式 DRS が ill-formed であったものの数は [1] と比較し て増加した。ここで相対句形式 DRS が ill-formed で あるとは、表 2 のいずれにも当てはまらない行が存在したり、変数の相対参照に失敗したりするなどで 正しい句形式 DRS に変換できないことを表す。表 4 事前学習時間、消費 GPUメモリ、語彙数の比較。先行研究の各值は再現実験で得られた値である。

 &  & 語彙数 \\

提案手法 & $\mathbf{1 8 6}$ & $\mathbf{8 . 9 8}$ & $\mathbf{1 , 0 8 1}$ \\
差異の割合 & $21.5 \%$ & $41.3 \%$ & $90.5 \%$ \\

アブレーション実験 表 3 の下 2 行はアブレー ション実験の結果を示している。これはタイプ C （3.1 節）とタイプ D（3.2 節）の書き換えそれぞれが どの程度精度上昇に寄与したかを示すものである。表 3 によると、タイプ C の書き換えは約 15\%、タ イプD は約 5\% の精度上昇をもたらしたことが観察 できる。

事前学習時間、消費 GPU メモリ、語彙数の比較表 4 に実験を行なった際の各指標を示す。我々の提案手法は精度上昇のみならず、事前学習時間を約 $20 \%$ 以上減、GPUメモリの消費量を約 $40 \%$ 以上減 し、特に語彙数は $90 \%$ 以上減を達成した。

未知語に関する分析 [1] と提案手法の 5 回の予測のうちそれぞれ一つを抽出し比較したところ、[1] で未知語であることを示す @@UNKNOWN@@ トークンは 250 個出力されていたが、そのうち提案手法におい て正しく予測されたトークンは 233 個であった。

ill-formed 数に関する分析 ill-formed になった ケースは量化や否定など、学習データが不十分な言語現象を含むものが多くを占めた。特に、一度でも ill-formed になった 31 ケースのうち、接続や量化を 示す意味タグ ANDをもつものは 10 ケース存在して いた。

## 5 おわりに

本研究ではDRS の意味解析に着目し、句形式 DRS において文と共通する DRS トークンを出現位置トークンに置き換える手法を試みた。実験の結果、出力語彙数が大幅に減少したことにより、既存手法と比較し有意な精度上昇が見られ、さらに事前学習時間とGPUメモリの消費量も減少した。

今後は、PMBに含まれる英語以外の言語に対し て、語彙数を抑制するアプローチを試みる予定であ る。また、DRS 意味解析以外の意味解析タスクへの 応用なども考えられる。

## 謝辞

本研究は JST さきがけ JPMJPR21C8 の支援を受け たものである。

## 参考文献

[1] Rik van Noord, Antonio Toral, and Johan Bos. Characterlevel representations improve DRS-based semantic parsing even in the age of BERT. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4587-4603, Online, 2020. Association for Computational Linguistics.

[2] Hans Kamp and Uwe Reyle. From Discourse to Logic. Springer, Dordrecht, 1993.

[3] Rik van Noord, Lasha Abzianidze, Antonio Toral, and Johan Bos. Exploring neural methods for parsing discourse representation structures. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 619633, 2018.

[4] Lasha Abzianidze, Johannes Bjerva, Kilian Evang, Hessel Haagsma, Rik van Noord, Pierre Ludmann, Duc-Duy Nguyen, and Johan Bos. The Parallel Meaning Bank: Towards a multilingual corpus of translations annotated with compositional meaning representations. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 242-247, Valencia, Spain, 2017. Association for Computational Linguistics.

[5] 谷中瞳, 峯島宏次, 山田彬克, 山口悠, 窪田悠介, Lasha Abzianidze, Johan Bos. 多言語統語・意味情報コーパ ス Parallel Meaning Bank 日本語版の構築. 言語処理学会 第 26 回年次大会. 言語処理学会年次大会発表論文集, 2020 .

[6] Hajime Wada and Nicholas Asher. BUILDRS: An implementation of DR theory and LFG. In Proceedings of Coling 1986 Volume 1: The 11th International Conference on Computational Linguistics, 1986.

[7] Johan Bos. Wide-coverage semantic analysis with Boxer. In Proceedings of Semantics in Text Processing. STEP 2008 Conference, pp. 277-286. College Publications, 2008.

[8] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, pp. 1735-80, 1997.

[9] Federico Fancellu, Sorcha Gilroy, Adam Lopez, and Mirella Lapata. Semantic graph parsing with recurrent neural network DAG grammars. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2769-2778, Hong Kong, China, 2019. Association for Computational Linguistics.

[10] Wessel Poelman, Rik van Noord, and Johan Bos. Transparent semantic parsing with Universal Dependencies using graph transformations. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 4186-4192, Gyeongju, Republic of Korea, 2022.
International Committee on Computational Linguistics.

[11] Minxing Shen and Kilian Evang. DRS parsing as sequence labeling. In Proceedings of the 11th Joint Conference on Lexical and Computational Semantics, pp. 213225, Seattle, Washington, 2022. Association for Computational Linguistics.

[12] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, p. 39-41, 1995.

[13] Lasha Abzianidze and Johan Bos. Towards universal semantic tagging. In Proceedings of the 12th International Conference on Computational Semantics, 2017.

[14] Rik van Noord, Lasha Abzianidze, Hessel Haagsma, and Johan Bos. Evaluating scoped meaning representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, 2018. European Language Resources Association (ELRA).