# 多次元項目反応理論と深層学習に基づく 複数観点同時自動採点手法の精度改善

柴田拓海 ${ }^{1}$ 宇都雅輝 ${ }^{1}$
1 電気通信大学大学院
\{shibata,uto\}@ai.lab.uec.ac.jp

## 概要

深層学習を用いた小論文自動採点手法の一つと して，全体得点と複数の評価観点別得点を同時に予測する手法が近年注目され，高精度を達成しつつあ る. しかし, 従来手法は得点予測の根拠について解釈性が低いという問題があった. Shibata \& Uto はこ の問題を解決するために多次元項目反応理論を組み 込んで解釈性を高めた複数観点同時自動採点手法を 提案している. しかし, この手法は従来手法と比較 して僅かながら予測精度の低下がみられる。そこで 本研究では，精度低下の原因を分析し，予測精度を 改善した手法を提案する.

## 1 はじめに

近年，小論文試験の採点をコンピュータを用 いて自動化する小論文自動採点 (Automated Essay Scoring；AES）手法が多数提案されている. 自動採点を実現する手法は特徴量ベースと深層学習ベース の手法に大別される。これまでは，特徴量べースの 手法が一般的であったが (e.g., [1-3])，近年では深層学習を用いた自動採点モデルが多数提案されてい る (e.g., [4-16]). 深層学習自動採点モデルは文章の 単語系列を入力として，データから自動で複雑な特徵量を学習でき，高精度を達成している。

従来の自動採点モデルの多くは，全体得点のみを 予測する採点場面を想定している (e.g., [5-12])。し かし，学習評価場面などで小論文試験を運用する場合，より詳細なフィードバックを受検者に行うため に，論理構成力や文章表現力などの評価観点別の得点付けを行いたい場面も少なくない [13]. そこで，複数の評価観点に対応する得点を同時に予測できる モデルが近年提案されている (e.g., [13-16]).

現時点では, Ridley ら [16] の複数観点自動採点モ デルが最高精度を達成しているが，このモデルには解釈性の観点から次のような問題がある。(1) 評価観点ごとに複雑な多層ニューラルネットワークを 持つため予測根拠を解釈することが難しい。(2) 一般に評価観点は，背後に測定したい能力尺度を想定 し，それを測定できるように設計されるが [17]，こ のモデルでは複数評価観点の背後に想定される能力尺度を解釈することができない。

これらの問題を解決するために，Shibata \& Uto [18,19] は，項目反応理論を利用した手法を提案 している，具体的には，評価観点の特性を考慮した 多次元項目反応モデル [20] を出力層とし，それ以外を Ridley らのモデルを元にした評価観点共通の ニューラルネットワークとしたモデルを開発してい る.この手法の利点は以下の通りである。(1) 評価観点固有の出力層は, 識別力と困難度と呼ばれる項目反応理論で一般的な 2 種類のパラメータのみで説明されるため，それらのパラメータ值に基づいて観点ごとの特性を定量的に解釈できる。 (2) 多次元項目反応モデル層の能力次元数を最適化してパラメー タを分析することで，複数評価観点の背後に想定さ れる能力尺度を解釈できる。

このモデルは上記の点において解釈性を向上させ ることに成功したが，僅かに Ridley らの手法と比較 してモデルの予測精度が低下することがわかってい る.この原因を調査するために評価観点別の精度評価実験を行ったところ，特に全体得点の予測精度が 低いことがわかった．そこで本研究では Shibata \& Uto の手法において，全体得点の予測精度を改善す る手法を提案する。

## 2 項目反応理論

ここでは，本研究で扱う自動採点手法で利用して いる項目反応理論について説明する. 項目反応理論（Item Response Theory；IRT）[21] は，近年のコン ピュータ・テスティングの発展に伴い，様々な分野

図 1 Shibata \& Uto の複数観点同時自動採点モデル（左）と提案モデル（右）の概念図

で実用化が進められている数理モデルを用いたテス 卜理論の一つである. IRT モデルは正誤データなど の 2 值型のデータを前提とするものが多いが，多段階の得点データに対応した IRT モデルも多数提案 されている．また一般的な IRT モデルでは，測定対象の能力に 1 次元性を仮定しているが，測定される 能力に多次元性を仮定できるモデルも提案されて いる。

本研究では，代表的な多次元多値型 IRT モデル である多次元一般化部分採点モデル (Generalized Partial Credit Model；GPCM）[22]を使用する. ここで は, 先行研究 $[17,20]$ のように各評価観点を項目とみ なして多次元 GPCM を適用する。具体的には，受検者 $j$ が評価観点 $m$ において，得点 $k \in\left.\{1,2, \ldots, K_{m}\right.\}$ を得る確率を次式で与えるモデルを適用する。

$
P_{j m k}=\frac{\exp \left(k \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{j}+\sum_{u=1}^{k} \beta_{m u}\right)}{\sum_{v=1}^{K_{m}} \exp \left(v \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{j}+\sum_{u=1}^{v} \beta_{m u}\right)}
$

ここで， $\boldsymbol{\theta}_{j}=\left(\theta_{j 1}, \theta_{j 2}, \ldots, \theta_{j d}\right)$ は受検者 $j$ の $d$ 次元の能力を表すパラメータベクトルであり， ベクトルの各要素は各次元の能力值を表す. $\boldsymbol{\alpha}_{m}=\left(\alpha_{m 1}, \alpha_{m 2}, \ldots, \alpha_{m d}\right)$ は $\boldsymbol{\theta}_{j}$ に対応した評価観点 $m$ の $d$ 次元識別力, $\beta_{m u}$ は評価観点 $m$ において力 テゴリ $u-1$ から $u$ に遷移する困難度を表すパラ メータである， $K_{m}$ は，評価観点 $m$ における得点段階数を表す.なお，モデルの識別性のために， $\beta_{m 1}=0: \forall m$ を所与とする.

## 3 Shibata \& Uto の自動採点モデル

ここでは上述した多次元 GPCM を組み込んだ Shibata \& Uto $[18,19]$ の複数観点同時自動採点モデル について説明する. モデルの概念図を図 1 (左) に示
した. このモデルは，受検者 $j \in \mathcal{F}=\{1,2, \ldots, J\}$ の 小論文を入力とし，評価観点 $m \in M=\{1,2, \ldots, M\}$ に対応する得点 $\hat{y}_{j m}$ を出力する. ここで $J$ は受検者数, $M$ は評価観点数を表し, 特に $m=1$ は全体得点を 表すものとする．また，受検者 $j$ の小論文は単語系列として,$\left.\{w_{j s l} \mid s \in\left.\{1,2, \ldots, S_{j}\right.\}, l \in\left.\{1,2, \ldots, l_{j s}\right.\}\right.\}$ と表せる. $w_{j s l}$ は受検者 $j$ の小論文における $s$ 番目 の文の $l$ 番目の単語であり， $S_{j}$ はその小論文の文数, $l_{j s}$ は $s$ 番目の文の単語数である.

このモデルでは，まず受検者の小論文が文ごとに Embedding 層, Convolution 層, Attention Pooling 層 [9] に入力され，文単位の分散表現の系列に変換され る. 次に, この出力系列に対して, Recurrent 層 [23], Attention Pooling 層が適用される. さらに単語数や 可読性，文章の複雑さなどを表す人手で設計した特徵量のベクトル $F_{j}$ [16] を結合することで文章単位 の分散表現 $\boldsymbol{c}_{j}$ が得られる. このモデルでは，このべ クトル $\boldsymbol{c}_{j}$ を全結合層に入力し，多次元 IRT におけ る能力値べクトル $\boldsymbol{\theta}_{j}$ に対応する值を $\boldsymbol{\theta}_{j}=\boldsymbol{W}_{t} \boldsymbol{c}_{j}+\boldsymbol{b}_{t}$ で求める。ここで， $\boldsymbol{W}_{t}$ は重み行列， $\boldsymbol{b}_{t}$ はバイアス ベクトルを表す.

最後に，得られた $\boldsymbol{\theta}_{j}$ を用いて多次元 GPCM 層で 式（1）を計算することで，各評価観点 $m$ に対する 得点の出力確率が得られる．得点予測の際には，期待得点 $\sum_{k=1}^{K_{m}} k P_{j m k}$ を予測得点とする.

モデルの学習は以下の多クラス交差エントロピー （Categorical Cross-Entropy；CCE）誤差を損失関数と して誤差逆伝播法で行われる.

$
\mathscr{L}_{C C E}=-\frac{1}{J M} \sum_{j=1}^{J} \sum_{m=1}^{M} \sum_{k=1}^{K_{m}} y_{j m k} \log \left(P_{j m k}\right)
$
表 1 課題別の平均 QWK スコア

表 2 課題 1, 2 の評価観点別 QWK スコア

表 3 課題 3，4，5，6 の評価観点別 QWK スコア

ただし,$J$ は訓練データの小論文数， $M$ は評価観点数， $y_{j m k}$ は受検者 $j$ の評価観点 $m$ における真得点 が $k$ のときに 1 をりり，それ以外のときに 0 をる ダミ一変数である.

## 4 性能評価

ここでは，Shibata \& Uto のモデルの性能を詳細 に分析するために, 評価観点別の予測精度の評価 を行う。本害験では，実データとして，Automated Student Assessment Prize (ASAP) と, ASAP++ [24] を 用いる. ASAP は AES 研究の分野で広く使用される データセットである. ASAP と ASAP++には 8 つの 小論文課題に関する答案が含まれており，それぞ れの答案に対して全体得点と評価観点別の得点が 与えられている. 小論文数の課題ごとの平均は約 1622, 平均単語数は 275 である. なお課題 1 と課題 2 は, Content (Cont), Organization (Org), Word Choice (WC), Sentence Fluency (SF), Conventions (Conv),課題 3 から課題 6 は Cont, Prompt Adherence (PA),表 4 課題 7 の評価観点別 QWK スコア

表 5 課題 8 の評価観点別 QWK スコア

Language (Lang), Narrativity (Nar), 課題 7 は Cont, Org, Conv, Style, 課題 8 は課題 1 と 2 に共通する 評価観点に加えて Voice といった評価観点でそれぞ れ得点付けされている.

本論文では，Shibata \& Uto のモデルの次元数をそ れぞれ 1，2，3 と変化させて得点予測精度を評価 する実験を行った. またベースラインとして Ridley ら [16] のモデルの精度評価も行った. なお各モデ ルにおける Embedding 層では，共通して 50 次元の GloVe [25] による事前学習済みの単語埋め込みを利用した. モデルの性能評価は，5 分割交差検証を用 いて行った. 5 分割交差検証は課題ごとに独立して 実施し，エポック数は全てのモデルで 50 とした. 評価関数には，2 次の重み付きカッパ係数（Quadratic Weighted Kappa；QWK）を用いた.

実験結果を表 1 に示す. 表 1 では観点ごとに QWK スコアを計算し，その平均スコアを課題ごと に示している. 各条件で最も精度が高い手法の結果 を太字で示してある。 なお，表には Shibata \& Uto の モデルの中で最も精度が高かった 3 次元のモデル の数値のみ示している. 表 1 の平均 QWK スコアか ら, Shibata \& Uto のモデルは Ridley らのモデルと比較して予測精度が低下していることが読み取れる。 この原因をより詳しく分析するために，各評価観点 ごとの QWK スコアを表 2-5 に示す.これらの表か ら特に課題 1-4 と 6 における全体得点の予測精度が 低い傾向が読み取れる。このことは全体得点とその 他の観点別の得点を単一の IRT モデルで表現する ことが困難な場合があることを示唆いている。そこ

で, 本研究では Shibata \& Uto のモデルに対して全体得点を個別に予測する構造を持たせたモデルを提案 する。

## 5 提案モデル

本研究では，従来の Shibata \& Uto モデル（以下，従来モデルと呼ぶ）に全体得点を予測する固有の ニューラルネットワークを追加したモデルを提案す る. 提案モデルの概念図を図 1 （右）に示す. また，従来モデルは全体得点 $\hat{y}_{j 1}$ を観点別得点の一つとし て扱ったが，提案モデルでは全体得点と観点別得点 を区別する点に注意されたい．

提案モデルは, 入力層から一層目の Attention Pooling 層までは従来モデルと同じ構造であり, こ のネットワークを用いて文単位の分散表現の系列を 生成した後，全体得点のみを予測するネットワーク と観点別得点を予測するネットワークに分岐する. ここで, 観点別得点を出力するネットワークは従来 モデルと同じ構造となっている. 他方, 全体得点固有のネットワークは Recurrent 層から Concatenate 層までは観点別得点固有のネットワークと同じ構造であるが，出力層の設計が異なる。具体的には, Concatenate 層までで全体得点の予測に使用する文章単位の分散表現 $\tilde{\boldsymbol{c}}_{j}$ を算出し，この $\tilde{\boldsymbol{c}}_{j}$ に対してシグ モイド関数を活性化関数に持つ全結合層を適用さ せ，受検者 $j$ の全体得点 $\hat{y}_{j 1}$ を $\hat{y}_{j 1}=\sigma\left(\boldsymbol{W}_{o} \tilde{\boldsymbol{c}}_{j}+b_{o}\right)$ と予測する．ここで， $\sigma$ はシグモイド関数， $\boldsymbol{W}_{o}$ は 重み， $b_{o}$ はバイアスを表す.なお，この出力層の 設計は，全体得点を予測する一般的な自動採点モデ ル (e.g., [6,8,9]) と同様の設計である. この出力層 は得点予測にシグモイド関数を使用しているため, $\hat{y}_{j 1}$ は 0 から 1 の間の値をとる. 実際の得点尺度が これと異なる場合には， $\hat{y}_{j 1}$ を一次変換して実際の 得点尺度に合わせる。

提案モデルは全体得点に関する誤差を平均二乗誤差（Mean Squared Error； MSE）で算出し，他の観点別得点に関する誤差は従来モデルと同様に CCE 誤差で算出する。つまり，提案モデルは損失関数を 次式のように MSE 誤差と CCE 誤差の和として定義 し，誤差逆伝播法で学習を行う。

$
\mathscr{L}_{\text {total }}=\frac{1}{J} \sum_{j=1}^{J}\left(\hat{y}_{j 1}-y_{j 1}\right)^{2}+\mathscr{L}_{C C E}^{\prime}
$

ここで $y_{j 1}$ は受検者 $j$ の真の全体得点を， $\mathscr{L}_{C C E}^{\prime}$ は 式（2）において全体得点を含めない場合の CCE 誤差を表す。また，モデルの各種ハイパーパラメータ
は先行研究 $[18,19]$ に合わせ，最適化アルゴリズム には RMSProp [26] を用いる。

なお提案モデルの解釈の方法については従来モデ ルとほとんど同じであるため，詳しい解釈方法は文献 $[18,19]$ を参照されたい.

## 6 得点予測精度の評価実験

ここでは提案モデルの精度評価実験を行う. 実験 の手順は 4 章と同様である. 表 1 に最も精度が高 かった 3 次元の提案モデルの結果を示した. 表 1 の 平均 $\mathrm{QWK}$ スコアより, 提案モデルは, 従来モデル の精度を上回っていることが読み取れる. さらに提案モデルは Ridley らのモデルと比較しても同等の精度を達成していることがわかる. このことから，提案モデルは予測精度を改善できたといえる。

次に，各課題に関する評価観点別の QWK スコア を表 2-5 に示す.これらの表より, 特に課題 1-4 と 6 において全体得点の予測精度が大きく向上してい ることがわかる. この結果から提案モデルの全体得点固有のネットワークが有効に機能していることが 確認できる.

## 7 まとめ

本研究では，従来の複数観点同時自動採点モデル の解釈性を保持しつつ，予測精度を高めたモデルを 提案した. 提案モデルを用いた実験から，提案モデ ルは全体得点の予測精度向上に寄与することがわ かった.

なお実験結果から全体得点と観点別得点を単一の IRT モデルで表現していることが従来の Shibata \& Uto モデルの精度低下の原因であると考えられる. しかし, 本研究で利用している多次元 GPCM は一つ の観点に対して完全に独立な能力尺度を与えること が可能であるため，理論的には多次元 IRT における 能力次元数を十分に多く設定すれば，尺度構成に関 わらず柔軟に適合できるはずである。しかし実際に は従来モデルの予測精度は高々 3 次元で十分である ことがわかっており，次元数が増加しても従来モデ ルの予測精度は改善しない. そのため従来モデルの 全体得点における予測精度の低さは，多次元 GPCM 層よりも下の層における表現力の低さに起因すると 考えられる。この仮説を検証する方法として，従来 モデルを各能力次元に固有のニューラルネットワー クを持たせることが考えられる. この手法について は今後の課題としたい.

## 謝辞

本研究は JSPS 科研費 19H05663，20K20817， 21H00898 の助成を受けたものです.

## 参考文献

[1] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater ${ }^{\circledR}$ v.2. The Journal of Technology, Learning and Assessment, Vol. 4, No. 3, pp. 1-30, 2006.

[2] Hongbo Chen and Ben He. Automated essay scoring by maximizing human-machine agreement. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1741-1752, 2013.

[3] Peter Phandi, Kian Ming A Chai, and Hwee Tou Ng. Flexible domain adaptation for automated essay scoring using correlated linear regression. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 431-439, 2015.

[4] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 1-26, 2021.

[5] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 715-725. Association for Computational Linguistics, 2016.

[6] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.

[7] Fei Dong and Yue Zhang. Automatic features for essay scoring-an empirical study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077, 2016.

[8] Yi Tay, Minh C Phan, Luu Anh Tuan, and Siu Cheung Hui. Skipflow: Incorporating neural coherence features for end-to-end automatic text scoring. In Thirty-Second AAAI Conference on Artificial Intelligence, pp. 59485955, 2018.

[9] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essay scoring. In Proceedings of the 21st Conference on Computational Natural Language Learning, pp. 153162, 2017.

[10] Youmna Farag, Helen Yannakoudakis, and Ted Briscoe. Neural automated essay scoring and coherence modeling for adversarially crafted input. arXiv, 2018.

[11] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[12] Masaki Uto and Masashi Okano. Learning automated essay scoring models using item-response-theory-based scores to decrease effects of rater biases. IEEE Transactions on Learning Technologies, Vol. 14, No. 6, pp. 763-776, 2021.
[13] Sandeep Mathias and Pushpak Bhattacharyya. Can neural networks automatically score essay traits? In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 8591, 2020.

[14] Mohamed A. Hussein, Hesham A. Hassan, and Mohammad Nassef. A trait-based deep learning automated essay scoring system with adaptive feedback. International Journal of Advanced Computer Science and Applications, Vol. 11, No. 5, pp. 287-293, 2020.

[15] Farjana Sultana Mim, Naoya Inoue, Paul Reisert, Hiroki Ouchi, and Kentaro Inui. Unsupervised learning of discourse-aware text representation for essay scoring. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 378-385, 2019.

[16] Robert Ridley, Liang He, Xin-yu Dai, Shujian Huang, and Jiajun Chen. Automated cross-prompt scoring of essay traits. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13745-13753, 2021.

[17] Masaki Uto. A multidimensional item response theory model for rubric-based writing assessment. In Artificial Intelligence in Education, pp. 420-432. Springer International Publishing, 2021.

[18] Takumi Shibata and Masaki Uto. Analytic automated essay scoring based on deep neural networks integrating multidimensional item response theory. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 2917-2926, 2022.

[19]柴田拓海, 宇都雅輝. 多次元項目反応理論と深層学習 を用いた複数観点同時自動採点手法. 電子情報通信学会論文誌 D, Vol. 106, No. 1, pp. 47-56, 2023.

[20] Masaki Uto. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, No. 2, pp. 425-457, 2021.

[21] F.M. Lord. Applications of item response theory to practical testing problems. Erlbaum Associates, 1980.

[22] Lihua Yao and Richard D. Schwarz. A multidimensional partial credit model with associated item and test statistics: An application to mixed-format tests. Applied Psychological Measurement, Vol. 30, No. 6, pp.469-492, 2006.

[23] Jeffrey L Elman. Finding structure in time. Cognitive science, Vol. 14, No. 2, pp. 179-211, 1990.

[24] Sandeep Mathias and Pushpak Bhattacharyya. ASAP++: Enriching the ASAP automated essay grading dataset with essay attribute scores. Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[25] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 15321543, 2014.

[26] Yann Dauphin, Harm de Vries, and Yoshua Bengio. Equilibrated adaptive learning rates for non-convex optimization. In Advances in Neural Information Processing Systems, Vol. 28, pp. 1504-1512. Curran Associates, Inc., 2015 .


# Cono: A Word Emotion Lexicon Built On Movie Scripts

Barbara Kiyomoto Katsuhito Sudoh Satoshi Nakamura
Nara Institute of Science and Technology
\{kiyomoto.barbara.kb7, sudoh,s-nakamura\}@is.naist.jp
}

\begin{abstract}
A common issue that language learners face is identifying word emotion in their non-native language. Translations that they reference may provide a literal translation, without consideration for the emotional information a word carries. There is a limited amount of word emotion lexicons available that could help with this problem, therefore we attempt to create a system that automatically classifies word emotion using movie scripts as training data. We then create a learner-friendly application called Cono, that allows language learners to view emotion lexicons in a more accessible way by providing analysis for their input text and then identifying emotion words along with their synonyms with emotion label predictions.
\end{abstract
## 1 Introduction

A word may have many synonyms, where the synonyms might have very similar meanings, but different emotional sentiments. For example, slim and lanky are both synonyms for the word thin. However, only one of those synonyms could be used with positive sentiment to compliment one's figure, i.e., slim. A language learner may face difficulty in choosing the right synonym for the right context, if they are not aware of the emotional meaning. A tool that could help a language learner with this issue, aside from access to a native speaker, is an emotion lexicon.

An emotion lexicon could be used just like a dictionary, except it is used to find the emotional sentiment attached to a word rather than the literal meaning. However, there is a limited amount of existing lexicons that learners could access, so this research hopes to add to the current available resources. Furthermore, if a language learner finds that a word they tried to use in their non-native language does not contain the sentiment they intended, they would want to find a proper synonym with the right emotion meaning. Therefore, this research hopes to also present an effective

## UI for language use support.

This paper will begin with an introduction to well-known emotion and sentiment theories, before continuing with a reference to similar related studies and then an explanation of our method in creating our word emotion classification system with a final analysis of its inner workings in the evaluation and conclusion.

## 2 Background on Emotion Models

It is important to start with a clarification of the difference between the terms sentiment and emotion. Sentiment analysis focuses on the distinction of positive, negative, or neutral, whereas emotion analysis focuses on identifying specific emotions such as anger, sadness, or joy. Emotion analysis can be considered "a natural evolution of sentiment analysis" according to Staiano and Guerini (2014) [1]. From this point, the terms sentiment and emotion will be used accordingly.

In our research, we choose to focus on finding a way to classify synonyms in emotion categories rather than sentiment, in order to provide more varied information. Synonyms like slim, lanky and thin can certainly be respectively categorized into either positive, negative or neutral sentiment. However, if we add another synonym like emaciated, it can be more specifically differentiated from the other synonyms as a word that carries the emotions of fear and sadness.

With regard to emotion analysis, a commonly debated question is: how many emotions can you categorize emotion into? The answer is there is no single set of agreedupon categories; however, there are several well-known emotion models that propose their own emotion categories. The most well-known being Ekman's six basic emotions [2]. Paul Ekman proposed that there were six basic and universal emotions, which all cultures could identify by facial expressions. These six categories being: anger, fear, happiness, sadness, disgust, and surprise.

Figure 1 Plutchik's Wheel of Emotions

Another well-known model is Plutchik's wheel of emotions [3]. Plutchik proposed eight basic emotions of joy, trust, fear, surprise, sadness, disgust, anger, and anticipation. He then placed these basic emotions on a color wheel, including a spectrum of stronger and weaker variations for each emotion, as seen in Figure 1. For example, looking at the emotion of joy (in the yellow spectrum), the stronger variation is ecstacy and the weaker variation is serenity.

It is also possible to view emotion as a spectrum, rather than a set of emotion categories. The Valence-ArousalDominance model, or VAD model, proposed by Russel and Mehrabian [4] views emotion as points in 3D space along the axes of valence(pleasure-displeasure), arousal(calmness-excitement), and dominance(controllack of control).

## 3 Related Studies

## 3.1 Automatic Emotion Lexicon Creation

In the field of emotion lexicon generation, a dilemma besides choosing the appropriate emotion model to use is how to create a lexicon while reducing the high cost of human annotation.

DepecheMood is one Emotion Lexicon that is automatically created from news articles on rappler.com. For each article on this website, readers can vote for one of eight emotion labels, thus creating a large set of documents with emotion labels collected through crowd-sourcing. Using distributional statistics and unsupervised learning, Staiano and Guerini [1] calculate the most likely emotion labels for words based on their frequency in each article.

DeepMoji [5] is another system that works around the lack of annotated data. It is trained on a dataset of tweets containing emojis to choose the most fitting emoji from a set of 64 to match a tweet. Although it does not perform automatic emotion classification of words, it performs a similar function of sentence level emotion classification without the need for annotation. This research illustrates the possibilities of using emojis as a type of emotion model, and the benefits to using already emotion-rich data.

## 3.2 Emotion Analysis in Education

In this research, we also examine how emotion analysis and emotion lexicons have been used in the classroom to aid learning and teaching. Emotion analysis with facial recognition on students has been used in the system 4 Little Trees [6]. Student facial expressions are analyzed during class and categorized into Ekman's six basic emotions with an $85 \%$ accuracy rate. The system is used for teachers as a way to monitor student emotions for better classroom management and learning support. However, such uses of emotion analysis have been criticized as violations of privacy of one's emotions, in addition to causing unwanted consequences such as discrimination when errors occur[7]. While facial expression analysis may be a sensitive topic, it is also possible to use sentiment or emotion lexicons to analyze student text, e.g. Feng and Qui [8] construct a sentiment lexicon in the educational field, that can be used to analyze positive or negative sentiment in student text.

Although emotion analysis is used on students by educators, little effort is shown in making emotion data available to learners for self-study purposes rather than management purposes. In contrast to what has already been done with emotion lexicons, we consider learner-based emotion lexicon availability when we present our results.

## 4 Methodology

This research hopes to find a method to automatically create an emotion lexicon based on a word's frequency scores among various labelled documents. Rather than requiring emotion annotation by annotators as the main part of the process, we would like to observe if a word's emotion label can be estimated based on its use frequency in various movie genres. Our inspiration is the distributional hypothesis, which posits that "there is a correlation be-
tween distributional similarity and meaning similarity"[9]. Since a movie in a certain genre is likely to trigger a specific emotion (such as a horror film activating the fear emotion, or a comedy activating joy), we hypothesize that a pattern of occurrence can be found for emotion words across movie genres. Based on this hypothesis, we use supervised learning to predict emotion labels on words based on their use frequency in various movie genres.

## 4.1 Collecting the Training Data

Movie scripts were collected to be used as training data using the method by Ramakrishna et al. (2017) [10]. In total, 448 movie scripts were obtained, along with their genre tags. The script data was then organized into 19 genre categories. Since a single movie often had more than one genre tag, most of the movie scripts exist in several genre categories. The number of scripts in each genre is shown in Table 2 in the Appendix.

We then collect labelled emotion words from the NRC Emotion Lexicon [11]. This lexicon contains more than 14,000 words with crowd-sourced binary labels for positive, negative, anger, anticipation, disgust, fear, joy, sadness, surprise, and trust. This lexicon contains words that are not emotion-bearing as well, marked with binary (0) labels for each emotion. To create our training dataset, we find the TF-IDF frequency scores of each word from the NRC Emotion Lexicon, in each movie genre. TF-IDF (term frequency-inverse document frequency) was used because scores for content words (meaning-bearing words) are higher, and scores for function words (mostly grammatical words) are lower. The resulting training dataset consists of the NRC Emotion Lexicon words with TF-IDF scores for each word in 19 movie genres.

## 4.2 Training the Prediction Model

To predict emotion on words, 8 models were trained on the NRC Emotion Lexicon with TF-IDF scores to predict binary labels for the emotions of positive, negative, anger, disgust, fear, joy, sadness, and surprise. The emotions of anticipation and trust from the NRC Emotion Lexicon are excluded, as we plan to represent the results of the research with emojis that are easily interpretable by language learners. We predict for Ekman's six emotions, which are universally identifiable facial expressions [2] and therefore adaptable to emoji, as well as sentiment.

Emotion prediction was performed for each emotion with the method of K-means with the Minkowski distance metric, and Support Vector Machine (SVM) in the RBF kernel. Each model was trained with $80 \%$ of the dataset, and $20 \%$ of the dataset was then used for testing the performance of the model. In preliminary experiments, there was an issue with recall due to the data imbalance between positive and negative binary labels. To resolve this issue, emotion word data was duplicated in the training data nine times. For sentiment prediction, the training data only contains two duplicates of sentiment words, since increasing the duplicates too many times caused an overwhelming amount of false positives. The performance of the perfected models on the test data is shown in Table 1.

## 4.3 Creating a New Emotion Lexicon

The SVM model performs the best on test data, so this is the model used to create a new emotion lexicon. We hope to aid learners particularly with the identification of differences in synonym meaning, therefore our next step was to collect synonyms of words in the NRC Emotion Lexicon from WordNet. Using the same method as when creating the training dataset, the TF-IDF frequency scores of the synonym words were found in scripts for each movie genre. Inputting the synonyms with their TF-IDF frequencies into our model, the emotion predictions were collected for each synonym in 8 categories of sentiment and emotion: positive, negative, anger, disgust, fear, joy, sadness, and surprise. If a synonym is predicted to have no sentiment or emotion, it is assumed the word is neutral and labelled as such. We will refer to the resulting dataset as the Cono dataset.

## 4.4 Creating the Cono Application

One main focus of this research has been to develop larger emotion lexicons without the need for copious

Figure 2 The Cono Tool

amounts of annotation, while another vital motivation is to make emotion lexicon data more readily available to language learners. This section describes the Cono application tool (shown in Figure 2), which we have created as an aid to learners in identifying word emotion within text.

In creating the user interface (UI) of Cono, the use of complicated jargon is avoided to provide a scaffolded explanation of the purpose of the tool. Our explanation states that this is "A Word Emotion Analysis Tool" that will help find emotion-carrying words in text, and their synonyms with emotion prediction labels. Users can select example sentences to try first, or proceed to enter their own text for analysis. The system first highlights words in the text that belong to the NRC Emotion Lexicon. These words are shown with an emoji next to each word, based on the emotion label provided in the NRC Emotion Lexicon. Ekman's six basic emotions are universally distinguished by facial expressions, which is why emoji are shown as a visual aid. The visual representation will assist English learners in creating emotion associations with words.

After finding emotion words in the text, the synonyms from the Cono dataset are shown with the emotion predictions (also represented in emoji form) provided from our model. To ensure that the meaning of the emoji representations is clear, a pop-up legend is provided, showing each emoji and the emotion it represents.

## 5 Evaluation

Eight volunteers participated in a user evaluation experiment in order to judge the use-ability and helpfulness of the Cono application. The demographics were 3 female and 5 male participants; 7 participants were non-native English speakers, and 1 participant was a native speaker. Based on TOEIC scores, the English proficiency levels are distributed amongst the evaluators as such: 3 evaluators with professional proficiency, 1 evaluator with working proficiency, 3 evaluators with basic working proficiency, and 1 evaluator with advanced elementary proficiency.

The overall response to the UI was positive. $75 \%$ of the evaluators found the purpose of the application to be clear, and found no issues with the website features or visual design. A few issues noticed by the other $25 \%$ included the inability to input long text, or the discomfort in having to click on the legend each time. Suggestions given included providing dictionary definitions and example use cases of synonyms in sentences for easier comparison.

To evaluate model predictions, evaluators were asked to compare labels from the NRC Emotion Lexicon with labels from the Cono dataset, and rate them on a five-point scale from Very Accurate to Very Inaccurate. Regarding NRC Emotion Lexicon labels, 3 evaluators voted that the labels were Very Accurate, and 5 voted them to be Accurate. For emotion labels from the Cono dataset, 3 evaluators rated the labels as Accurate, 4 selected Inaccurate, and 1 evaluator selected neither Inaccurate nor Accurate. Many evaluators noted excessive neutral labels in the Cono dataset. As this label was chosen only after a word was predicted not to have other emotion meanings, this part of the system will be adjusted. Additional information from the user evaluation is provided in Figures 3 to 7.

## 6 Conclusion

This paper described the construction of the Cono dataset and Cono UI, with consideration to previous research on emotion modeling and emotion lexicons, and educational support. In future work, changes will be made to improve the prediction model and UI based on feedback. Easy accessibility for learners to emotion lexicons will remain a fundamental focus. The novelty point of this research as well was showing the possibilities of emotion lexicons as learner support. Many existing emotion lexicon datasets are built for use in opinion-mining and emotion analysis in research or business marketing, while here we show their use in language education.

## References

[1] Jacopo Staiano and Marco Guerini. Depeche mood: a lexicon for emotion analysis from crowd annotated news. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 427-433, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[2] Dylan Evans. Emotion: A Very Short Introduction. Oxford: Oxford University Press, 2003.

[3] Robert Plutchik. The nature of emotions: Human emotions have deep evolutionary roots, a fact that may explain their complexity and provide tools for clinical practice. American Scientist, Vol. 89, No. 4, pp. 344-350, 2001.

[4] James Russell and Albert Mehrabian. Evidence for a threefactor theory of emotions. Journal of Research in Personality, Vol. 11, pp. 273-294, 091977.

[5] Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan, and Sune Lehmann. Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1615-1625, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Madhumita Murgia. Emotion recognition: Can ai detect human feelings from a face? Financial Times, May 2021.

[7] Kate Crawford. Time to regulate AI that interprets human emotions. Nature, Vol. 592, No. 7853, pp. 167-167, April 2021.

[8] Xiang Feng and Longhui Qiu. The construction of sentiment lexicon in educational field based on word2vec. In Annual Proceedings of Selected Research and Development Papers Presented at the Annual Convention of the Association for Educational Communications and Technology, Vol. 1, pp. 129-146, Jascksonville,Florida, November 2017.

[9] Magnus Sahlgren. The distributional hypothesis. The Italian Journal of Linguistics, Vol. 20, pp. 33-53, 2008.

[10] Anil Ramakrishna, Victor R. Martínez, Nikolaos Malandrakis, Karan Singla, and Shrikanth Narayanan. Linguistic analysis of differences in portrayal of movie characters. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1669-1678, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[11] Saif M. Mohammad and Peter D. Turney. Crowdsourcing a word-emotion association lexicon. Computational Intelligence, Vol. 29, No. 3, pp. 436-465, 2013.

## A Appendix

## A. 1 Movie Script Data

Table 2 Number of scripts in each movie genre

## A. 2 Cono Application Evaluations

On a scale of 1 to 5 , with 1 being a low evaluation and 5 being a high evaluation, this section shows the evaluation results of the user experiment.

Figure 3 Evaluation of application purpose clarity

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Explain to Me What Is Wrong With My Arguments: A Survey about Explanations in Argumentation

Camélia Guerraoui ${ }^{1} \quad$ Paul Reisert $^{3} \quad$ Keshav Singh $^{1} \quad$ Farjana Sultana Mim $^{1}$
Naoya Inoue $^{4,2}$ Shoichi Naito $^{1,2,5}$ Wenzhi Wang ${ }^{1,2}$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University $\quad{ }^{2}$ RIKEN $\quad{ }^{3}$ Beyond Reason $\quad 4$ JAST $\quad{ }^{5}$ Ricoh Company, Ltd.
\{guerraoui.camelia.kenza.q4, singh.keshav.t4, mim.farjana.sultana.t3,
naito.shoichi.t1, wang.wenzhi.r7\}@dc.tohoku.ac.jp
beyond.reason.sp@gmail.com, naoya-i@jaist.ac.jp, kentaro.inui@tohoku.ac.jp

## Abstract

The use of argumentation in education has been shown to improve critical thinking skills for end-users such as students, and computational models for argumentation have been developed to assist in this process. Although these models are useful for evaluating the quality of an argument, they oftentimes cannot explain why a particular argument is considered poor or not, which makes it difficult to provide constructive feedback to users to strengthen their critical thinking skills. In this survey, we aim to explore the type of explanations provided by the current computational models for argumentation, and the possibility of enhancing the explainability of such models, ultimately helping learners improve their critical thinking skills.

## 1 Introduction

Argumentation is the field of elaboration and presentation of arguments to debate, persuade, and agree, where an argument is made of a conclusion (i.e., a claim) supported by reasons (i.e., premises) [1]. By analogy with computational linguistics, computational argumentation refers to the use of computer-based methods to analyze and create arguments and debates [2]. It is a subfield of artificial intelligence that deals with the automated representation, evaluation, and generation of arguments. This field includes important applications such as mining arguments [3], assessing an argument's quality [4], reconstructing implicit assumptions in arguments [5] or even providing constructive feedback for improving arguments [6].

In the context of education, learning argumentation (e.g. writing argumentative essays, debates, etc.) has been

Figure 1 Overview of works focusing on the evaluation and improvement in argumentation.

shown to improve students' critical thinking skills [7, 8]. A number of researchers have been working on computational argumentation to support and provide tools to assist learners in improving the quality of their arguments.

Although computational models for argumentation are proven to assist students' learning and reduce teachers' workload $[9,10]$, such models still lack to efficiently explain how an argument can be improved; e.g., why a particular argument was labeled bad or given a low score by their automatic evaluation rubrics. In other words, the model should be not only able to provide its results but also be able to explain the results in a comprehensive way for the users so that users can understand, and ultimately improve their argumentation skills.

We argue that the output for current computational models for argumentation act as a type of explanation. For our survey, we categorize explanations into the following types:
- Shallow: The model identifies an error but doesn't explain how and why it should be corrected (i.e., what is wrong)
- In-depth: The model identifies an error and explains

Figure 2 Example of shallow, in-depth and interactive explanations for the same input argument

how to refine the argument in a way the end-user can understand (i.e., why it is wrong)
- Interactive: The model identifies an error at an indepth level and adapts its explanations based on the end-user's understanding and interactions to avoid reproduction of the same error (i.e., how to explain)

In Figure 2, an argument consisting of two claims and one premise is shown. The first explanations are categorized as shallow as they only mention the existence of a hasty generalization fallacy. The second provides a more in-depth reasoning by pointing out why it is a fallacy. The last interacts with a child to explain more easily the fallacy.

Towards explainable computational argumentation, this paper aims to give an overview of computational argumentation on automated quality assessment. We explore work providing shallow (§3) and in-depth explanations (§4). Finally, we discuss how to develop argumentation systems that provide interactive explanations in a way in which learners can improve their critical thinking skills (§5).

We believe that our survey can help the community focus more on explanation in argumentation and apply it to newer models, thus making the system more explainable. ${ }^{1)}$

## 2 Related Work

## 2.1 Explainable Al

Explainable AI (XAI) is a research area to make AI models easily understandable for humans [11]. Based on
 at https://cl-tohoku.github.io/explain_arguments.
Clinciu and Hastie [12], XAI will help both expert and non-expert users "to have a deeper understanding and the appropriate level of trust [in AI systems], which will hopefully lead to increased adoption of this technology."

To the best of our knowledge, XAI has been relatively little studied but has great potential in argumentation. Ideally, computational models should evaluate the quality of argumentation while providing efficient comments or feedback, i.e., explaining the results. However, bridging the gap between argumentation and XAI has remained unexplored.

## 2.2 Explainable Computational Argumentation

Several surveys have been done in the field of argumentation ([13, 14, 15, 16]) and explainability ([17, 18, 19]). In this section, we focus on the recent surveys related to explainability in argumentation.

First, Vassiliades et al. [20] highlight the potential of argumentation in explainable systems. They provide an exhaustive overview of argumentation systems for XAI by grouping them by domain, such as law, medicine, and semantic web. For each domain, papers are compared by tasks (e.g, argument classification). Despite the extensiveness of this survey, some topics important for improving explanations in argumentative systems received little attention. For example, frameworks that include arguments with commonsense knowledge have rarely been discussed, even though, they can enhance the model's explainability [21].

Čyras et al. [22] focus on the different frameworks, types, and forms of explanations. They distinguish intrinsic approaches (models using argumentative methods) from post-hoc approaches (non-argumentative models that provide complete or partial explanations). They discuss multiple forms of argumentation, such as dialogue, extensions, and sub-graphs. Their final roadmap covers the need to focus more on properties and computational aspects of argumentation-based explanations. Whereas they focus on argumentation used to explain, our work discusses how computational argumentation needs more explanation.

Moreover, our work distinguishes itself from the two previous surveys $[20,22]$ by focusing on evaluating and improving users' critical thinking skills.

## 3 Shallow Explanations

To improve students' critical thinking skills, we first need to evaluate their argumentative texts, i.e., identify
argumentative errors. In this section, we focus on models providing shallow explanations, i.e., models that identify what should be corrected in the arguments. We discuss recent works that identify properties such as the structure of arguments helpful to assist in this process.

## 3.1 Argumentative Structure

As shown in Figure 1, shallow explanations consist of multiple criteria. We first discuss the components, relations followed by the schemes.

Components: Identifying argumentative components is one of the fundamental tasks in argumentation [23,24,25]. Such works primarily focus on identifying components such as claims and premises. More recently, the usefulness of identifying such components can be seen in tasks such as counter-argument generation. For example, in Alshomary et al. [26], weak premises are identified and ranked in order to generate counter-arguments.

Relations: After identifying the different components of an argumentative text, it is necessary to distinguish the multiple relations between them to assert the quality of the arguments' quality. Indeed, supporting or refuting a claim is made of complex logical moves, such as promoting, contradicting, or acknowledging a fact. Therefore it is not trivial to use correct logic. To identify the different relations patterns, Yuan et al. [27] focus on finding interactive argument pairs, whereas Mim et al. [28] enables annotating complex attack relations.

Schemes: In addition to components and relations, Walton et al. [1] proposed a set of roughly 80 logical argumentation schemes to categorize the underlying logic. Each scheme has a set of critical questions which provide a template to assess the strength of the argument depending upon the associated scheme. Since the first work on automatically detecting argumentation schemes in argumentative texts [29], the use of such schemes has been explored in tasks such as essay scoring [30].

## 3.2 Complex Properties

Although a good structure with a claim and premises is necessary for a good argument, it is not sufficient. Indeed an argument has other more complex properties, such as its logical, dialectical, and rhetorical aspects. In this section, we focus only on logical fallacies (i.e., the use of false or invalid inferences) and on debate patterns (i.e., interactions between arguments from different points of view).

Fallacies: Towards giving effective feedback to students and explaining the results, logical fallacies, or errors in logical reasoning, have received attention [31, 32, 33]. Given the large number of logical fallacies that exist (over 100 types), it has been increasingly difficult to identify them in argumentative texts. Habernal et al. [31] created a gamification method for capturing common fallacies through the use of crowdsourcing. Motivated by the latter, Bonial et al. [32] aimed to capture similar fallacy types for news articles, but the low distribution of fallacy types in the wild makes identification challenging.

Debates: In a case of a debate, an opponent is willing to give a counter-argument synchronously and interactively. Analyzing and evaluating a debate is a difficult task as we need to retrieve not only the argumentation structure of each opponent but also the relations between them.

Bao et al. [34] focuses on argument pair extraction (APE), which consists of finding two interactive arguments from two argumentative passages of a discussion. Although the APE task gives insights into relations between different argumentative texts, it does not indicate complex relations (i.e., how claims, supports, attacks and the intention of the speakers are interrelated). To palliate this issue, Hautli-Janisz et al. [35] identified and analyzed the dialogical argumentative structure of debates using Inference Anchoring Theory (IAT) [36]. Following the same IAT theory, Kikteva et al. [37] investigated the role of different types of questions (e.g., pure, assertive, and rhetorical questions) in dialogical argumentative setting and showed that different type of question leads to different argumentative discourse. Focused more on the opponent's side of a debate, Naito et al. [38] propose diagnostic comments for assessing the quality of counter-arguments by providing expressive, informative and unique templates. The comments are then written by template selection and slot filling.

Although the identification of such argumentative structures (components, relations, and schemes) and properties (fallacies and debates pattern) is important, it has limitations in terms of effective feedback. Identifying a missing claim or a wrong premise is not enough to properly understand how to improve the argumentation. Therefore we relate the identification of structure and properties to shallow explanations in the sense that end-users can still
benefit from the output of the models.

## 4 In-Depth Explanations

Although shallow explanations help end-users to identify their mistakes, they tend to be minimalist and need more guidance. Shallow explanations can be hard to understand, specially for beginners in argumentation. To explain more effectively the errors in an argument, a model should go a step further, hence by providing $i n$-depth explanations, which attempt to identify the argument's implicit components to explain why there is an error in an argument.

Implicit Knowledge and Reasoning in Arguments: To provide in-depth explanations, we need to know how to refine the argument, i.e., how to identify implicit information. Recently many works have focused their attention on this aim. The main goal of such studies is to make the structure and reasoning of arguments explicit to better explain the arguments for humans. Additionally, this focus can eventually help build Robust Argumentation Machines that can be enriched with language understanding capacity. The ExpLAIN project Becker et al. [39] and Jo et al. [40] are one such example that focuses extensively on reconstructing implicit knowledge in arguments by relying on knowledge graphs among others. Taking a step further in this direction, Singh et al. [41] proposed to utilize such implicit information to bridge the implicit reasoning gap in arguments to help students explain their arguments better.

Rules and Annotations: Another way to provide indepth explanations is to understand how a model reaches its conclusion when asserting the quality of an argument. For example, in the case of evaluation of an argument's logic, Jo et al. [42] provided LogBERT, a more interpretable model based on logical and theory-informed mechanisms between two statements. LogBert relies on multiple rules that specify evidence for the support and attack relations between a claim and a statement. Although the use of rules gives a glance of explanation, LogBert remains "a black-box model with some insightful explainability." If we know how a model identifies a mistake in an argument, we can use these mechanisms to explain the diagnosis of an argument, which can help refine it.

## 5 Interactive Explanations

Even if in-depth explanations are a step towards understanding and guidance, they are static, which can be problematic depending on the end-user. Indeed beginners or professionals in argumentation do not need the same amount of feedback. A child and an adult have different levels of understanding and knowledge. Therefore it is important that a model knows how to explain the errors and hence adapts its output by providing interactive explanations.

To reach that aim, Wambsganss et al. [43] provide a visual feedback dashboard to help students see any logical error in their argumentation. Based on this learning support system, a user can easily see if a premise or a claim is missing. The dashboard provides different granularity levels of explanations, which enables the user to control the amount of needed information. Taking a step further in this direction, Wambsganss et al. [10] created an interactive educational system that uses interactive dialogues to teach students about the argumentative structure of a text. The system provides not only feedback on the user's texts but also learning session with different exercises.

Although Wambsganss et al. [10] propose different granularity levels of explanations, their study is restrained to students from their university. Having end-users from different backgrounds may imply the need for new levels of explanations. Indeed, Wachsmuth and Alshomary [44] showed that the age of the explainee changes the way an explainer explains the topic at hand. Information such as the age of the learner should be considered in future interactive argumentative feedback systems, where terminology such as fallacy and their existence would require different approaches of explanation for younger students (i.e., elementary) in comparison to older students.

Therefore we think models should in the future provide more interactive explanations (i.e., precisely adjusted by considering the background of the learner) to efficiently improve the critical thinking skills of an end-user.

## 6 Conclusion

In this survey, we explored several works providing explanations in argumentation, following the categories shallow (§3), in-depth (§4) and interactive (§5). In the future, we will extend our survey with other works, specially focusing on quality framework and scoring, which have been left behind. We will also approach the rhetorical and dialectical aspects of an argument which have received little or even no attention in this survey.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 22H00524.

## References

[1] Douglas Walton, Christopher Reed, and Fabrizio Macagno. Argumentation schemes. Cambridge University Press, 2008.

[2] Iryna Gurevych, Eduard H. Hovy, Noam Slonim, and Benno Stein. 2015512 - debating technologies 2 table of contents executive summary. 2016.

[3] Khalid Al-Khatib, Henning Wachsmuth, Matthias Hagen, Jonas Köhler, and Benno Stein. Cross-domain mining of argumentative text through distant supervision. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1395-1404, San Diego, California, June 2016. Association for Computational Linguistic

[4] Roxanne El Baff, Henning Wachsmuth, Khalid Al-Khatib, and Benno Stein. Challenge or empower: Revisiting argumentation quality in a news editorial corpus. In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 454-464, Brussels, Belgium, October 2018. Association for Computational Linguistics

[5] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. The argument reasoning comprehension task: Identification and reconstruction of implicit warrants. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 19301940, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[6] Thiemo Wambsganss, Christina Niklaus, Matthias Söllner, Siegfried Handschuh, and Jan Marco Leimeister. A corpus for argumentative writing support in German. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 856-869, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[7] R.T. Pithers and Rebecca Soden. Critical thinking in education: a review. Educational Research, Vol. 42, No. 3, pp. 237-249, 2000

[8] Linda Behar-Horenstein and Lian Niu. Teaching critical thinking skills in higher education: A review of the literature. Journal of College Teaching and Learning, Vol. 8, 022011.

[9] Charles Twardy. Argument maps improve critical thinking. Teaching Philosophy, Vol. 27, , 062004

[10] Thiemo Wambsganß, Tobias Kueng, Matthias Söllner, and Jan Marco Leimeister. Arguetutor: An adaptive dialog-based learning system for argumentation skills. pp. 1-13, 052021

[11] Amina Adadi and Mohammed Berrada. Peeking inside the black-box: A survey on explainable artificial intelligence (xai). IEEE Access, Vol. PP, pp. $1-1,092018$

[12] Miruna-Adriana Clinciu and Helen Hastie. A survey of explainable AI terminology. In Proceedings of the 1st Workshop on Interactive Natural Language Technology for Explainable Artificial Intelligence (NL4XAI 2019), pp. 8-13. Association for Computational Linguistics, 2019.

[13] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 6300-6308. International Joint Conferences on Artificial Intelligence Organization, 72019.

[14] Beata Beigman Klebanov and Nitin Madnani. Automated evaluation of writing - 50 years and counting. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7796-

[15] John Lawrence and Chris Reed. Argument Mining: A Survey. Computational Linguistics, Vol. 45, No. 4, pp. 765-818, 012020

[16] Xinyu Wang, Yohan Lee, and Juneyoung Park. Automated evaluation for student argumentative writing: A survey, 2022.

[17] Marina Danilevsky, Kun Qian, Ranit Aharonov, Yannis Katsis, Ban Kawas, and Prithviraj Sen. A survey of the state of explainable ai for natural language processing, 2020

[18] Sheikh Rabiul Islam, William Eberle, Sheikh Khaled Ghafoor, and Mohiuddin Ahmed. Explainable artificial intelligence approaches: A survey, 2021.

[19] Mareike Hartmann and Daniel Sonntag. A survey on improving nlp models with human explanations, 2022.

[20] Alexandros Vassiliades, Nick Bassiliades, and Theodore Patkos. Argumentation and explainable artificial intelligence: a survey. The Knowledge Engineering Review, Vol 36, p e5, 2021.

[21] Swarnadeep Saha, Prateek Yadav, Lisa Bauer, and Mohit Bansal. ExplaGraphs: An explanation graph generation task for structured commonsense reasoning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7716-7740, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[22] Kristijonas Čyras, Antonio Rago, Emanuele Albini, Pietro Baroni, and Francesca Toni. Argumentative xai: A survey, 2021.

[23] Simone Teufel. Argumentative zoning: Information extraction from scientific text. 1999.

[24] Christian Stab and Iryna Gurevych. Identifying argumentative discourse structures in persuasive essays. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4656, Doha, Qatar, October 2014. Association for Computational Linguistics

[25] Yohan Jo, Jacky Visser, Chris Reed, and Eduard Hovy. Extracting implicitly asserted propositions in argumentation, 2020.

[26] Milad Alshomary, Shahbaz Syed, Arkajit Dhar, Martin Potthast, and Hen- ning Wachsmuth. Counter-argument generation by attacking weak premises. In Findings of the Association for Computational Linguistics: $\mathrm{ACL}$ IJCNLP 2021, pp. 1816-1827, Online, August 2021. Association for Computational Linguistics.

[27] Jian Yuan, Zhongyu Wei, Donghua Zhao, Qi Zhang, and Changjian Jiang. Leveraging argumentation knowledge graph for interactive argument pai identification. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2310-2319, Online, August 2021. Association for Computational Linguistics.

[28] Farjana Sultana Mim, Naoya Inoue, Shoichi Naito, Keshav Singh, and Kentaro Inui. LPAttack: A feasible annotation scheme for capturing logic pattern of attacks in arguments. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2446-2459, Marseille, France, June 2022. European Language Resources Association.

[29] Vanessa Wei Feng and Graeme Hirst. Classifying arguments by scheme. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 987-996, Portland, Oregon, USA, June 2011. Association for Computational Linguistics

[30] Yi Song, Michael Heilman, Beata Beigman Klebanov, and Paul Deane. Applying argumentation schemes for essay scoring. In Proceedings of the First Workshop on Argumentation Mining, pp. 69-78, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[31] Ivan Habernal, Raffael Hannemann, Christian Pollak, Christopher Klamm, Patrick Pauli, and Iryna Gurevych. Argotario: Computational argumentation meets serious games. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 7-12, Copenhagen, Denmark, September 2017. Association for Computational Linguistic

[32] Claire Bonial, Austin Blodgett, Taylor Hudson, Stephanie M. Lukin, Jeffrey Micher, Douglas Summers-Stay, Peter Sutor, and Clare Voss. The search for agreement on logical fallacy annotation of an infodemic. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp 4430-4438, Marseille, France, June 2022. European Language Resources Association.

[33] Zhijing Jin, Abhinav Lalwani, Tejas Vaidhya, Xiaoyu Shen, Yiwen Ding, Zhiheng Lyu, Mrinmaya Sachan, Rada Mihalcea, and Bernhard Schölkopf. Logical fallacy detection, 2022.

[34] Jianzhu Bao, Jingyi Sun, Qinglin Zhu, and Ruifeng Xu. Have my arguments been replied to? argument pair extraction as machine reading comprehension. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 29-35, Dublin, Ireland, May 2022. Association for Computational Linguistic

[35] Annette Hautli-Janisz, Zlata Kikteva, Wassiliki Siskou, Kamila Gorska, Ray Becker, and Chris Reed. QT30: A corpus of argument and conflict in broadcast debate. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 3291-3300, Marseille, France, June 2022. European Language Resources Association.

[36] Kasia Budsziyska, Mathilde Janier, Chris Reed, Patrick Saint-Dizier, Manfred Stede, and Olena Yakorska. A model for processing illocutionary structure and argumentation in debates. In 9th International Conference on Language Resources and Evaluation (LREC 2014), Vol. 14, pp. electronicmedium. European Language Resources Association (ELRA), 2014.

[37] Zlata Kikteva, Kamila Gorska, Wassiliki Siskou, Annette Hautli-Janisz, and Chris Reed. The keystone role played by questions in debate. In Proceedings of the 3rd Workshop on Computational Approaches to Discourse, pp. of the 3rd Workshop on Computational Approaches to Discourse, pp. Conference on Computational Linguistics.

[38] Shoichi Naito, Shintaro Sawada, Chihiro Nakagawa, Naoya Inoue, Kenshi Yamaguchi, Iori Shimizu, Farjana Sultana Mim, Keshav Singh, and Kentaro Inui. TYPIC: A corpus of template-based diagnostic comments on argumentation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5916-5928, Marseille, France, June 2022. European Language Resources Association.

[39] Maria Becker, Siting Liang, and Anette Frank. Reconstructing implicit knowledge with language models. In Proceedings of Deep Learning Inside Out (DeeLIO): The 2nd Workshop on Knowledge Extraction and Integration for Deep Learning Architectures, pp. 11-24, Online, June 2021. Association for Computational Linguistics.

[40] Yohan Jo, Haneul Yoo, JinYeong Bak, Alice Oh, Chris Reed, and Eduard Hovy. Knowledge-enhanced evidence retrieval for counterargument generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, Online, November 2021. Association for Computational Lin guistics.

[41] Keshav Singh, Naoya Inoue, Farjana Sultana Mim, Shoichi Naito, and Kentaro Inui. IRAC: A domain-specific annotated corpus of implicit reasoning in arguments. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 4674-4683, Marseille, France, June 2022. European Language Resources Association.

[42] Yohan Jo, Seojin Bang, Chris Reed, and Eduard Hovy. Classifying argumentative relations using logical mechanisms and argumentation schemes. Transactions of the Association for Computational Linguistics, Vol. 9 , pp. 721-739, 2021.

[43] Thiemo Wambsganß, Christina Niklaus, Matthias Cetto, Matthias Söllner Siegfried Handschuh, and Jan Marco Leimeister. Al: An adaptive learning Siegfried Handschuh, and Jan Marco Leimeister.
support system for argumentation skills. 042020.

[44] Henning Wachsmuth and Milad Alshomary. "mama always had a way of explaining things so I could understand": A dialogue corpus for learning to construct explanations. In Proceedings of the 29th International Confer ence on Computational Linguistics, pp. 344-354, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.


# 外国語検定の面接試験において生成する質問の難易度選定

林鳴昊 1 伊藤滉一朗 1 松原茂樹 1,2
1 名古屋大学大学院情報学研究科 2 名古屋大学情報連携推進本部
lin.minghao.b3@s.mail.nagoya-u.ac.jp ito.koichiro.v1@s.mail.nagoya-u.ac.jp
matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

外国語学習者の語学力を客観的かつ迅速に判定 する需要が高まっている。読解力，聴解力，作文力 の測定については，筆記試験やリスニング試験の作問あるいは採点の自動化が検討されている。一方，会話力の測定については十分に検討されていない.本稿では，外国語の会話力測定のための面接試験の 自動化に向けて，生成する質問の難易度を選定する 手法を提案する. 本手法では, 受験者の能力に応じ て柔軟に質問の難易度を選定するために，受験者の 返答の適切さを利用する. 日本語学習者会話データ ベースの模擬試験データを用いて実験を行い，本手法の有効性を確認した。

## 1 はじめに

留学や就職で海外に渡る人が増加するにつれて，外国語学習者の語学力を評価する需要が高まってい る. 語学力の評価では, 読解力, 聴解力, 作文力,会話力の測定が行われる [1]. このうち, 読解力, 聴解力, 作文力の測定については, 試験問題の作成や 採点などにおいて，自動化が検討されている（例え ば， $[2,3,4]$ ). 一方で, 会話力の測定については, 自動測定を目的とした研究があるものの [5]，その検討は十分ではない.

会話力を測定するための試験はその形態により， モノローグ試験と面接試験に分けられる。モノロー グ試験では, 事前に決められた質問に対する受験者 の返答によって会話力を評価する。すなわち，モノ ローグ試験は，試験中に質問が変更されることが なく，静的な試験であるといえる。一方，面接試験 は，面接官が受験者との会話を通して質問を柔軟に 変更しながら，その返答に基づき会話力を評価する ものであり，動的な試験であるといえる.

会話力の測定においては，実世界での会話の要素 を試験に反映させることが期待されている [6]. 面接試験は，モノローグ試験と比較して，高い信頼度 で会話力を測定でき，実世界での人間同士の会話の シミュレートも容易である。そのため，近年のコン ピュータを利用した言語アセスメントは，対話的ま たは動的な方略を導入し，個々の学習者に焦点を当 てた測定へと移行している [7].

本稿では，外国語の会話力測定のための面接試験 の自動化に向けて, 生成する質問の難易度を選定す る手法を提案する. 本手法では，受験者の能力に応 じて柔軟に質問の難易度を選定するために，受験者 の返答の適切さを利用する. 面接官と受験者の対話文脈に加えて, 直前の返答の適切さを入力として,面接官の次の質問の難易度を選定する．難易度を選定するためのモデルとして, BERT [8]を採用した.模擬面接試験のデータセットを用いた実験を行い，本手法の有効性を確認した。

## 2 関連研究

会話力を測定するための試験は，モノローグ 試験と面接試験に分けられる。これまで，モノ ローグ試験の自動化に関する研究が行われてい る $[9,10,11]$. 採点の自動化に関しては, Siamese convolutional neural network [12]を用いて受験者の会話力を評価する研究 [9] や，線形回帰モデルを用い て受験者の返答を評価する研究 [10] が存在する。

試験の実施を含めた自動化を目指す研究も存在 している. 受験者に対して，文の読み上げや短文問題への返答などを機械的に要求する Pearson Test of English の結果から，会話力を評価する研究が行われ ている [13]. また，モノローグ試験を実施するため の音声対話システムを構築する試みもある [11].こ のシステムでは，読み上げタスクと繰り返しタスク が実施可能であり，流暢性，発音，繰り返しの精度 に着目して，会話力を評価する。

モノローグ試験と面接試験の評価の間には，高い 相関があることが示されているものの [6]，面接試
表 1 面接試験における会話の例

 \\

験の方が高い信頼度で会話力を測定でき，実世界で の人間同士の会話のシミュレートも容易である。ま た，会話力の測定においては，実世界での会話の要素を試験に反映させることが期待されている [6]. しかし, 質問の難易度が動的に変化する面接試験に 関しては，その自動化はあまり進んでいない。

## 3 面接試験の質問の難易度

外国語の会話力測定のための面接試験では，受験者の返答の適切さに応じて，面接官は質問の難易度 を調整している [14].

表 1 に，面接試験の会話例を示す. $Q_{i}$ と $R_{i}$ は， それぞれ, $i$ 番目の面接官の質問と受験者の返答を 表す。また，【】内は，質問の難易度または返答の 適切さを表す. 例えば，2つ目の質問 $Q_{2}$ に対する 返答 $R_{2}$ は適切ではない. 受験者が $Q_{2}$ の質問に返答 する会話力を備えておらず返答に困ったために， $R_{2}$ のような不適切な返答になり，これを受けて，面接官の次の質問 $R_{3}$ は, 2 択で返答できる易しい質問と なったと考えられる. このように面接官は, 受験者 の返答の適切さに応じて試験中に質問の難易度を動的に変えることで，受験者の言語能力を評価してい る [15]. そこで本稿では，外国語の会話力測定のた めの面接試験の自動化に向けて, 生成する質問の難易度を選定する手法を提案する。

## 4 提案手法

## 4.1 手法の概要

外国語の会話力測定のための面接試験では，面接官は, 受験者の返答の適切さに応じて，質問の難易度を調整している. そこで本手法では, 面接官の質問方略に基づき，2 段階のアプローチをとる. 図 1 に，本手法のアーキテクチャを示す. 本手法は，返答の適切さ推定モデルと質問の難易度選定モデル

図 1 提案手法のアーキテクチャ

の 2 つから構成される。まず，面接試験の対話文脈 から，推定対象となる返答の適切さを推定し，続い $\tau$ ，対話文脈と適切さの推定結果から，次の質問 の難易度を選定する。推定および選定モデルには， BERT を用いる. BERT は， Transformer [16] アーキ テクチャをべースに構築されており，対話システム 関連のタスクでの適用例も多い $[17,18,19]$.

## 4.2 返答の適切さ推定

返答の適切さ推定モデルでは，面接試験の会話に おける， $i$ 番目の受験者の返答 $R_{i}$ の適切さを推定す る. 推定された適切さは, 面接官が $R_{i}$ の次に生成す る質問の難易度の選定に利用される. 返答の適切さ の推定には，推定対象の返答を含む直前 2 組の質問 と返答の組を用いる. すなわち， $\left[Q_{i-1}, R_{i-1}, Q_{i}, R_{i}\right]$ から， $R_{i}$ の適切さを推定する.

返答の適切さ推定モデルは, BERTを fine-tuning す ることで構築する. [[CLS] $Q_{i-1}$ [SEP] $R_{i-1}$ [SEP] $\left.Q_{i}[\mathrm{SEP}] R_{i}[\mathrm{SEP}]\right]$ という系列をモデル全体の入力 として与え, [CLS] トークンに対応する BERT の最終層の出力 $T_{[\mathrm{CLS}]}$ を，線形変換と softmax 関数から なる分類層に入力することで， $R_{i}$ の適切さを出力 する。なお，BERT は，2 種類の Segment embeddings を持つが，適切さ推定モデルでは， 入力系列全体 を 1 つのセグメントとみなし，系列全体で同種の Segment embeddings を適用している. 参考として， モデル図を Appendix の A に示す.

## 4.3 質問の難易度選定

難易度選定モデルでは，面接試験の会話におけ る， $i$ 番目の受験者の返答 $R_{i}$ の次に生成する質問の 難易度を選定する. すなわち， $Q_{i+1}$ の質問の難易度 を選定する．難易度選定には，直前の 2 組の質問と
返答の組に加えて, 直前の返答の適切さを用いる.直前の返答の適切さ（以降では，適切さラベルとも 呼ぶ）を $\mathrm{L}$ とすと， $\left[Q_{i-1}, R_{i-1}, Q_{i}, R_{i}\right]$ と $\mathrm{L}$ を力 として， $Q_{i+1}$ の難易度を選定する。

難易度選定モデルは，適切さ推定モデルと同様に，BERTを fine-tuning することで構築する。た だし，適切さラベル $\mathrm{L} を ，$ 特殊トークンとして入力系列に加える. [[CLS] L [SEP] $Q_{i-1}$ [SEP] $R_{i-1}$ [SEP] $Q_{i}$ [SEP] $R_{i}$ [SEP]] という系列を入力として 与え, [CLS] トークンに対応する BERT の最終層の 出力 $T_{[\mathrm{CLS}]}$ を, 線形変換と softmax 関数からなる分類層に入力することで， $Q_{i+1}$ の難易度を出力する。

難易度選定モデルでは，Xiong ら [20] のラベル フュージングの手法を参考に，非自然言語であるラ ベルと自然言語である対話文脈を別のセグメント とみなし，それぞれに別の Segment embeddings を割 り当てる. すなわち, [[CLS] L [SEP]] には1つ目 のセグメントに対応する Segment embeddings を適用 し, 後続の系列には 2 つ目のセグメントに対応する Segment embeddings を適用する. 参考として，モデ ル図を Appendix の A に示す.

## 5 実験

## 5.1 実験データ

本手法の有効性を検証するために，難易度選定実験を実施した. 実験には, 国立国語研究所が公開 している日本語学習者会話データベース $(\mathrm{JLCD})^{1)}$ の模擬面接試験データを用いた。模擬面接試験は, ACTFL Oral Proficiency Interview (OPI) の標準に従っ て行われ，実生活の中で効果的かつ適切に言語を使用する能力を評価するものである．約 20 分の試験 を経て, 受験者の会話力は, 大きく分けて, 初級,中級，上級，超級の 4 段階で評価される.

模擬面接データには， 390 個の試験データが含ま れている. 本実験では，その一部分である 59 個の 試験データを，実験データとして利用した. その書 き起こしデータを発話単位に分割した結果， 3,251 個の面接官の質問と受験者の返答に分割された. 実験データを試験単位で約 8:1:1 に分割し, それぞれ,学習, 開発, テストに用いた。

実験データ内の返答に対して，その適切さを人手で付与した. 本実験では, 適切さは, 返答が適切 か不適切かの 2 値とした. 表 2 に，実験データに

表 2 適切さの分布

表 3 難易度の分布

おける返答の適切さの分布を示す. 実験データ内 の質問に対しても，その難易度を人手で付与した。 ACTFL-OPI 標準では,

1. 初級から中級程度の会話力では, 2 択問題や単純な事実と結論を求める質問に適切に返答可能

2. 上級から超級程度の会話力では, 物事に対する 詳しい説明，描写，叙述，比較，個人的な意見 を求める質問に返答可能

とされている.これらを踏まえて，本実験では，上記の 1 に対応する質問を易しい質問，2 に対応する 質問を難しい質問とし，難易度を易しいか難しいか の 2 值で付与した. 表 3 に，実験データにおける質問の難易度の分布を示す。

## 5.2 モデル設定

事前学習済みの BERT を fine-tuning することで,返答の適切さ推定モデルと質問の難易度選定モデル を実装した. 本実験では，返答の適切さと質問の難易度は共に 2 值としているので，推定および選定モ デルは共に 2 クラス分類を行うモデルである. いず れのモデルについても，事前学習済みの BERTとし て，東北大学が公開しているモデル2)を用いた.

各モデルとも，バッチサイズを 16 , 最適化アル ゴリズムを AdamW [21]，重み減衰を 0.01，ドロッ プアウト率を 0.1 , 入力トークンの最大長を 512 に 設定した．学習率は，返答の適切さ推定モデルでは 1e-5, 質問の難易度選定モデルでは 2e-7 とした. ま た，各モデルとも，損失関数は Cross Entropy Loss と した. ただし，損失には各クラスの重みの逆数に比例する class-weight を適用した. 各モデルとも, 10 エポック学習し，1 エポックごとに開発データでの 損失を計算し，その損失が最も小さかったモデルを 用いて，テストデータに対する性能を評価した。

4 章で提案した難易度選定モデルの学習には, 返答の適切さの正解ラベルを用いた. 一方，評価で は，返答の適切さ推定モデルで推定されたラベルを 用いた．以降では，このように学習させた難易度選定モデルを [ours (noisy)] と表記する. [ours (noisy)] の評価時の性能は，返答の適切さ推定モデルの推定

2) https://github.com/cl-tohoku/bert-japanese
誤りの影響を受ける.

## 5.3 評価指標と比較手法

本実験では，適合率，再現率，F1 值のマクロ平均 を評価指標とした。また，本手法の性能を評価する ために，比較手法を実装した，BERTを用いた返答 の適切さ推定手法に対しては，返答によらずランダ ムに推定を行う手法を比較手法とした. 返答が適切 であると推定する確率は，学習データにおける適切な返答の割合と同じく 0.809 とした. 以降では, BERT を用いた推定手法を [ours], ランダムに推定 する手法を [random] と表記する。

質問の難易度選定手法 [ours (noisy)] に対しては，以下の 4 つの手法を比較手法とした.

・ [random]: 質問の難易度によらずランダムに難易度を選定する．易しい質問であると選定する 確率は，学習データにおける易しい質問の割合 と同じく 0.714 とした.

・ [vanilla BERT]: 返答の適切さを利用せずに，直前の 2 組の質問と返答から難易度を選定する
- [ours (noisy) w/o seg]: 返答の適切さを利用する が，入力系列全体で同種の Segment embeddings を適用している。
- [ours (correct)]: 評価時においても, 返答の適切 さの正解ラベルを用いて，難易度を選定する。本手法の性能は，返答の適切さの推定性能が $100 \%$ という理想的な環境下での参考値である.

## 5.4 実験結果

表 4 に，適切さ推定手法の性能を示す. [ours] は，比較手法である [random] を全ての評価指標で上回っ た.このことから，BERTを利用することで，返答 の適切さの推定がある程度の性能で可能であること を確認した．また，[ours] の正解率は 0.758 であっ た.このことは, 質問の難易度選定手法の性能評価 において, [ours (noisy)] および [ours (noisy) w/o seg] が利用した返答の適切さラベルのうち，75.8\%のラ ベルが正しいものであったことを意味する。

表 5 に，質問の難易度選定手法の性能を示す。提案手法 [ours (noisy)] は, 返答の適切さを利用しな い [random] と [vanilla BERT] を全ての評価指標で上回った.このことは，質問の難易度選定において，返答の適切さを利用することの有効性を示してい る. また, [ours (noisy)] は, [ours (noisy) w/o seg] に対表 4 返答の適切さ推定手法の性能

表 5 質問の難易度選定手法性能評価

しても，全ての評価指標で上回った. このことは，非自然言語である返答の適切さラベルと，自然言語 である対話文脈を別のセグメントとみなし，それ ぞれに別の Segment embeddings を割り当てることの 有効性を示している。なお，提案手法 [ours (noisy)] は, [ours (correct)] と比較して, 全ての評価指標でわ ずかに性能が低下した.この結果は，返答の適切さ 推定モデルの誤差によるものと考えられる．参考と して，Appendix の Bに，本実験における提案手法 [ours (noisy)]による難易度選定の例を示す.

## 6 おわりに

本稿では，外国語の会話力測定のための面接試験 において，生成する質問の難易度を選定する手法に ついて述べた. 本手法では，直前の返答の適切さ を推定したのちに，その適切さを踏まえて，次の 質問の難易度を選定する。また，返答の適切さを 効果的に利用するために，BERT における Segment embeddings に着目したラベルフュージング手法を取 り入れた. 模擬面接試験のデータセットを用いた実験を行い，本手法の有効性を確認した。

本手法では，質問と返答については，直前 2 組を 入力として利用したが，さらに前の質問と返答の利用も検討したい。また，面接官は，試験の初期段階 ではプロービングに，後期段階ではレベルチェック に重点を置くというように，その質問方略は変化す ると考えられる。このような変化を考慮するため に，今後は，面接試験における経過時間などの利用 も検討したい。

## 参考文献

[1] Donald E. Powers. The case for a comprehensive, fourskills assessment of English-language proficiency. R \& D Connections, Vol. 14, pp. 1-12, 2010.

[2] Yi-Ting Huang, Ya-Min Tseng, Yeali S Sun, and Meng Chang Chen. Tedquiz: automatic quiz generation for ted talks video clips to assess listening comprehension. In Proceedings of the 2014 IEEE 14th International Conference on Advanced Learning Technologies, pp. 350-354, 2014.

[3] Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1342-1352, 2017.

[4] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[5] Diane Litman, Steve Young, Mark Gales, Kate Knill, Karen Ottewell, Rogier Van Dalen, and David Vandyke. Towards using conversations with spoken dialogue systems in the automated assessment of non-native speakers of English. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 270-275, 2016.

[6] Jared Bernstein, Alistair Van Moere, and Jian Cheng. Validating automated speaking tests. Language Testing, Vol. 27, No. 3, pp. 355-377, 2010.

[7] Akbar Bahari. Computer-assisted language proficiency assessment tools and strategies. Open Learning: The Journal of Open, Distance and e-Learning, Vol. 36, No. 1, pp. 61-87, 2021.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[9] Su-Youn Yoon and Chong Min Lee. Content modeling for automated oral proficiency scoring system. In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 394-401, 2019.

[10] Klaus Zechner, Keelan Evanini, Su-Youn Yoon, Lawrence Davis, Xinhao Wang, Lei Chen, Chong Min Lee, and Chee Wee Leong. Automated scoring of speaking items in an assessment for teachers of English as a foreign language. In Proceedings of the 9th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 134-142, 2014.

[11] Febe De Wet, Christa Van Der Walt, and Thomas R. Niesler. Automatic assessment of oral language proficiency and listening comprehension. Speech Communication, Vol. 51, No. 10, pp. 864-874, 2009

[12] Jonas Mueller and Aditya Thyagarajan. Siamese recur- rent architectures for learning sentence similarity. In Proceedings of the 30th AAAI Conference on Artificial Intelligence, pp. 2786-2792, 2016.

[13] Pearson Longman. Official Guide to Pearson Test of English Academic. Pearson Japan, 2nd edition, 2012.

[14] Gabriele Kasper. When once is not enough: Politeness of multiple requests in oral proficiency interviews. Multilingua, Vol. 25, No. 3, pp. 323-350, 2006.

[15] ACTFL. Oral proficiency interview familiarization manual, 2012. https://community . actfl.org.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, Vol. 30, 2017.

[17] Chien-Sheng Wu, Steven C.H. Hoi, Richard Socher, and Caiming Xiong. TOD-BERT: Pre-trained natural language understanding for task-oriented dialogue. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 917-929, 2020.

[18] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, 2021.

[19] Peiyao Wang, Joyce Fang, and Julia Reinspach. CS-BERT: a pretrained model for customer service dialogues. In Proceedings of the 3rd Workshop on Natural Language Processing for Conversational AI, pp. 130-142, November 2021.

[20] Yijin Xiong, Yukun Feng, Hao Wu, Hidetaka Kamigaito, and Manabu Okumura. Fusing label embedding into BERT: An efficient improvement for text classification. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1743-1750, 2021.

[21] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 7th International Conference on Learning Representations, 2019.

## A モデル図

返答の適切さ推定モデル，及び，質問の難易度選定モデルについて補足する．図 2 と図 3 亿，それぞれのモデル図を示 す. $q_{i}^{j}$ および $r_{i}^{j}$ は，それぞれ， $i$ 番目の質問 $Q_{i}$ と返答 $R_{i}$ 中の $j$ 番目のトークンを表す. 質問の難易度選定モデルでは, $R_{i}$ の適切さラベル L を入力に加えており, [[CLS] L [SEP]] には 1 つ目のセグメントに対応する Segment embeddings $E_{A}$ を適用し，後続の系列には 2 つ目のセグメントに対応する $E_{B}$ を適用する.

図 2 返答の適切さ推定モデル構造

図 3 質問の難易度選定モデル

## B 難易度選定の例

表 6 に，[ours (noisy)] と [vanilla BERT] による難易度選定の例を示す. 適切さの列は，返答の適切さの推定結果を示し ている。なお，この推定結果は正しいものである。また，難易度の列は，データ中の正解ラベルを示している。この例で は, [ours (noisy)] は正しく難易度を選定できたが，[vanilla BERT] は誤っている. [ours (noisy)] は， $R_{55}$ が適切な返答であ るという情報を利用して， $R_{55}$ の次に生成される質問は難しい質問であると正しく選定できたものと考えられる。

表 6 [ours (noisy)] と [vanilla BERT] による難易度選定の例（ $Q_{56}$ の難易度が選定の対象）

 \\


# 訂正文の流暢性向上を目的とした 系列タグ付け文法誤り訂正器の強化学習手法

五藤巧 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学
\{goto.takumi.gv7, taro\}@is.naist.jp

## 概要

テキストに対して編集のタグ付けを行う文法誤り 訂正器である GECToR は, 出力の説明性が高い一方 で訂正文の流暢性が低い問題がある。この問題の原因として，GECToR がタグの情報のみから最適化さ れており，推定した訂正文の情報を考慮できていな いことが考えられる. 本研究では，訂正文の流暢性 を考慮してタグ推定の最適化を行うために，GPT-2 言語モデルが与える文の perplexityを報酬とした強化学習を行なった. 実験の結果，訂正性能を維持し つつ，訂正文の流暢性が系列変換モデルと同等もし くは上回ることを示した.

## 1 はじめに

文法誤り訂正は，入力文に含まれる文法誤りや表記誤りを訂正するタスクである。近年では系列タグ 付けモデルに基づいた，推論が高速で説明性が高 いモデルが提案されている. 同モデルでは，入力 の各トークンについて編集操作を示すタグを推定 し，タグに従って後処理として入力文を編集する ことで訂正文を獲得する．代表的なモデルである GECToR [1] は，無編集・置換・挿入・削除を示す基本的なタグに加えて，「動詞を過去形に」といった 言語情報を考慮したタグを推定する．従来の系列変換モデルに基づく訂正手法が訂正文を直接推定す ることと比較して，タグの情報が直接ユーザへの フィードバックとして使用できるため有用である.

一方で，GECToR の訂正文は流暢性が低いことが 問題である. 詳細は 2 節で述べるが，系列変換モデ ルとの比較を行った結果, 訂正性能が同等であるに もかかわらず GECToR の訂正文の流暢性は低いこ とが明らかになった. Sakaguchi ら [2] によって流暢性の重要性が指摘されていることや，流暢性の低 さは GECToR の実応用の幅を狭めることを考慮す表 1 最小限の訂正と流暢な訂正の例。誤り文における誤 り単語を赤字で，訂正文において訂正された単語を青字 で示した.

 \\

ると，改善されることが望ましい。ここで，表 1 に Napoles ら [3] に倣い流暢性の高い訂正例を挙げる.最小限の訂正では冠詞 the の挿入と，主語動詞の一致の訂正（affects $\rightarrow$ affect）が起こっている。一方，流暢な訂正では動詞の語彙選択に関する訂正 (affect $\rightarrow$ cause）と，それに伴う語順の入れ替えによって大 きな書き換えが起こっている. 本研究の大局的な目的は，後者のような流暢な訂正の性能向上である.

本研究は，GECToR の流暢性が低い原因は，最適化がタグ情報のみから行われており，得られた訂正文の情報を考慮していないことにあるという仮説に 基づいている．そこで，言語モデルの生成確率に基 づいて流暢性の観点から訂正文の報酬を計算し，報酬を強化学習のアルゴリズムを用いてタグの最適化 に反映する学習手法を提案する。

## 2 GECToR の流暢性

流暢性に関して，GECToR と系列変換モデルの 比較実験を行った. GECToR には RoBERTa [4] ベー スの訓練済みモデルを用いる。また，推論時のパ ラメータである無編集タグへのバイアスと文レべ ルの誤り検出確率の間値は共に 0 とした。これら の値を小さくすることで訂正が積極的になり，よ り大きな書き換えを必要とする流暢な訂正が行 えると考えられる。系列変換モデルには，Kiyono ら [5] と Kaneko ら [6] のモデルを用いる. Kiyono

らは，Transformer [7] 系列変換モデルを大量の擬似誤りで事前学習する点が特徴である. Kaneko らも Transformer 系列変換モデルであり，エンコーダに より得られた表現に加えて BERT [8] から得られた 表現も加えて学習する。なお，いずれも著者らが 公開する訓練済みモデルを用いて1)，ビーム幅を 5 として生成した. これらの 3 種類のモデルは, 訂正性能そのものが乘離しないように，最小限の訂正性能が近いものを恣意的に選択した. 具体的に は，CoNLL-2014 ベンチマーク [9]における M M ス コアラ [10]の $\mathrm{F}_{0.5}$ は GECToR が 62.43, Kiyono らが 62.03, Kaneko らが 62.77 である.

流暢性の評価に用いるデータセットには， JFLEG [3] の開発データを用いる. JFLEG は流暢な 訂正性能を評価するためのデータセットである．複数の観点から流暢性を評価するため，評価尺度に は GLEU [11, 12]，SOME [13]，および GPT-2 [14] の perplexity の 3 種類を用いる. GLEU は n-gram の一致率に基づく JFLEG の標準的な参照あり評価尺度 である. SOME は文法誤り訂正の参照なし評価尺度 の一つであり，訂正文の人手評価に直接最適化する ように評価器を学習する. SOME は複数の観点から 評価するが，本研究では流暢性の評価結果のみを報告する. 最後に, Asano ら [15] が訂正文の流暢性を RNN 言語モデルを用いて計算したことを動機とし， より高性能な言語モデルとして GPT-2を用いて評価 する。評価データの訂正文それぞれについてトーク ン数で正規化した perplexity を独立に算出し，その 平均値を報告する。

実験結果を表 2 に示す. 表 2 の編集率は，入力文 と出力文の単語レベルの編集距離を, 入力文の単語数で割った値である. 表 2 の結果は，最小限の訂正性能は同等であるにもかかわらず，GECToR は系列変換モデルよりも訂正文の流暢性が低いことを示唆 する．また，系列変換モデルと同程度の編集率であ ることから，十分に書き換えを行なっているのにも かかわらず訂正文の流暢性が低いことが分かる.

## 3 流暢性を報酬とした強化学習

本研究では, 流暢性が低い原因は, GECToR の最適化がタグの情報のみから行われており，推定した タグを用いて編集することで得られる訂正文の情報

1) Kiyono らのモデルにはpretlarge+SSE (finetuned)を，Kaneko らの モデルにはhttps://drive.google.com/drive/folders/1h_ r46EswcT1q75qwje6h6yJp0xzAG8gP?usp=sharing を用いた.表 2 GECToR と系列変換モデルの比較結果

JFLEG-dev

を考慮できていないことにあると考える。したがっ て，訂正文を流暢性の観点から考慮した最適化を行 うための手法を提案する。

## 3.1 定式化

GECToR はトークン単位のタグ付けと誤り検出をマルチタスク問題として最適化する. 入力文を $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots\right), \boldsymbol{x}$ に対する正解のタグ列を $\boldsymbol{y}^{t}=\left(y_{1}^{t}, y_{2}^{t}, \ldots\right)$ および正解の誤り検出ラベルを $\boldsymbol{y}^{d}=\left(y_{1}^{d}, y_{2}^{d}, \ldots\right)$ とおく. ここで, $|\boldsymbol{x}|=\left|\boldsymbol{y}^{t}\right|=\left|\boldsymbol{y}^{d}\right|$ で あり，事前に定義したタグの集合を $y$ として $y^{t} \in \mathcal{y}$ である. また誤り検出ラベルは $y^{d} \in\{0,1\}$ であり， 1 のとき誤りであることを示す. GECToR は $x$ を入力したとき，何らかのエンコーダ（BERT [8] など） により獲得した $\boldsymbol{x}$ の表現ベクトルを，2 種類の線形層にそれぞれ独立に入力し，タグの推定確率および 誤り検出確率を計算する。この処理をタグの推定関数 $P^{t}(\cdot)$ および誤り検出確率の推定関数 $P^{d}(\cdot)$ と定義 するとき，従来の損失関数 $\mathscr{L}_{m l e}$ は次式で表される.

$
\mathscr{L}_{m l e}=-\sum_{i=1}^{|\boldsymbol{x}|}\left(\log P^{t}\left(y_{i}^{t} \mid x_{i}, \boldsymbol{x}\right)+\log P^{d}\left(y_{i}^{d} \mid x_{i}, \boldsymbol{x}\right)\right)
$

一方で，本研究では訂正文から計算される報酬を 考慮するため，貪欲に生成した系列に対する損失を 考える。まず $x \in \boldsymbol{x}$ について，貪欲に推定したタグ $\hat{y}^{t} \in \mathcal{y}$ および誤り検出ラベル $\hat{y}^{d} \in\{0,1\}$ を得る.

$
\hat{y}^{t}=\underset{y^{t} \in \mathcal{Y}}{\arg \max } P^{t}\left(y^{t} \mid x, \boldsymbol{x}\right), \hat{y}^{d}=\underset{y^{d} \in\{0,1\}}{\arg \max } P^{d}\left(y^{d} \mid x, \boldsymbol{x}\right)
$

得られたタグ系列 $\hat{\boldsymbol{y}}^{t}=\left(\hat{y}_{1}^{t}, \hat{y}_{2}^{t}, \ldots\right)$ をもとに $\boldsymbol{x}$ を編集する2)ことで，訂正文 $\hat{\boldsymbol{t}}=\left(\hat{t}_{1}, \hat{t}_{2}, \ldots\right)$ が得られる. ここで，訂正文の流暢性を計算する何らかの報酬関数を $r(\cdot) \in \mathbb{R}$ としたとき，REINFORCE アルゴリズ 么 [16] によって報酬を考慮した損失 $\mathscr{L}_{r l}$ を次式で計

2）この編集処理では誤り検出確率の閾値を 0 としているた め，タグのみの情報から訂正文が獲得される。
算する.

$\mathscr{L}_{r l}=-(r(\hat{\boldsymbol{t}})-\hat{r}) \sum_{i=1}^{|x|}\left(\log P^{t}\left(\hat{y}_{i}^{t} \mid x_{i}, \boldsymbol{x}\right)+\log P^{d}\left(\hat{y}_{i}^{d} \mid x_{i}, \boldsymbol{x}\right)\right)$

$\hat{r}$ は報酬の分散を抑えるためのべースライン報酬で ある. 式 3 で重要なのは，損失はタグ $\left(\hat{y}^{t}\right)$ および 誤り検出ラベル $\left(\hat{y}^{d}\right)$ の情報から計算するが, 報酬 は訂正文 $(\hat{\boldsymbol{t}})$ の情報から計算することである。これ により，訂正文の流暢性を考慮しながら最適化する ことができる.

最終的な損失 $\mathscr{L}$ は式 4 亿示すように, パラメータ $\lambda(0 \leq \lambda \leq 1)$ を用いて重み付き和を取る.この理由 は，訂正性能および訂正文の流暢性の両方の側面か らモデルを最適化するためである. $\mathscr{L}_{m l e}$ 項が訂正性能の向上に， $\mathscr{L}_{r l}$ 項が訂正文の流暢性の向上に貢献することを期待する.

$
\mathscr{L}=\lambda \mathscr{L}_{m l e}+(1-\lambda) \mathscr{L}_{r l}
$

## 3.2 報酬

式 3 の損失でモデルを学習するためには，報酬関数 $r(\cdot)$ が必要である. 本研究ではこの報酬関数とし て，トークン数で正規化した GPT-2 の perplexityを用 いる。これにより，言語モデルが捉える流暢性を反映した訂正文が生成できると考えられる．ただし， より流暢であるほど報酬が高くなるように設計する ため，式５のように負の perplextiyを Min-Max 法に よって正規化した值を報酬とする。ここで， $p p l(\cdot)$ は GPT-2 のパープレキシティであり， min および max は正規化における最小値と最大値に対応する八 イパーパラメタである. ただし，負の perplexity が 最小値を下回る場合は最小値に丸めることとする。

$
r(\boldsymbol{t})=\frac{\max (\min ,-p p l(\boldsymbol{t}))-\min }{\max -\min }
$

## 4 実験

## 4.1 実験設定

データセット 実験に用いるデータを表 3 に示す. 訓練データは擬似誤りデータである PIE-synthetic $[17]^{3}$ および実誤りデータである FCEtrain [18], Lang-8 [19], NUCLE [20], W\&I+LOCNESStrain [21]を用いる. 実験では Omelianchuk ら [1] と同
 た.表 3 実験に使用するデータセットの概要

様に 3 段階での訓練を行うため，データを用いる段階も表に併記する。評価データには，JFLEG-test [3] および CoNLL-2014 [9]を用いる.

評価方法 訂正文の流暢性や流暢な訂正性能は JFLEG-test に対する出力を 2 節で述べた評価尺度で 評価する．また，最小限の訂正性能を評価するため に CoNLL-2014 に対する出力を $\mathrm{M}^{2}$ スコアラ [10] に より評価する。なお，推論時の 2 種類のパラメータ （2 節を参照）は JFLEG-dev の性能を元に探索する.

学習方法 Omelianchuk ら [1] と同様に 3 段階 での訓練を行う１１段階目は擬似誤りによる訓練，2段階目は無編集の文ペアを除いた実誤り による訓練，3段階目は無編集の文ぺアも含めた W\&I+LOCNESS-trainによる訓練である. 1 段階目で は $\mathscr{L}_{m l e}$ の損失のみで最適化し, $2 \cdot 3$ 段階目では $\mathscr{L}$ の損失で最適化する。 入力文の表現ベクトルを得る ためのエンコーダは RoBERTa [4] とする. 式 4 の $\lambda$ は $\lambda \in\{0.1,0.3,0.5,0.7,0.9\}$ を試行する。また，式 3 のベースライン報酬 $\hat{r}$ にはミニバッチ内の報酬の平均を用いた. 式 5 の min と max はそれぞれ-300と-1 とした。その他の詳細なパラメータについては，付録 Aを参照されたい。

## 4.2 実験結果

実験結果を表 4 亿示す。表 4 では，系列変換モデ ルに基づく既存手法と， $\mathscr{L}_{m l e}$ 項のみで学習すること に等しい $\lambda=1$ の場合，および開発データで最も高 い性能を達成した $\lambda=0.5$ の場合の性能を記載する. まず， $\lambda=0.5$ と $\lambda=1$ の場合を比較すると， $\lambda=0.5$ の場合が JFLEG-test の評価値全てにおいて上回って いる. このことは，強化学習に基づく損失 $\mathscr{L}_{r l}$ が流暢性の向上に寄与していることを示す。また，編集率は 0.2 ポイント向上しており，より大きく書き換 えることで流暢性が向上したと考えられる．提案手法（ $\lambda=0.5 ）$ と系列変換モデル（Kiyono らおよび Kaneko ら）との比較では，GLEU の値は提案手法が
表 4 提案手法と既存手法との性能比較. いずれもシングルモデルの評価結果である．上のブロックは系列変換モデル，下のブロックは系列タグ付けモデルに基づく訂正器の評価結果を示す.

劣っているものの，SOME やGPT-2 のパープレキシ ティの值は競合する結果となった. このことは，提案手法は訂正文の流暢性を向上させるが，そのこと は流暢な訂正性能の向上には必ずしもつながらない ことを示唆する.

CoNLL-2014 において $\lambda=0.5$ と $\lambda=1$ の場合の性能を比較すると，提案手法は $\mathrm{F}_{0.5}$ が 0.6 ポイント低下した. しかしながら，大きな悪化ではないと考え られるため，提案手法は訂正性能を維持しつつ訂正文の流暢性を高められると考えられる。

## 5 分析

$\lambda$ の影響 $\lambda を \lambda \in\{0.1,0.3,0.5,0.7,0.9,1\}$ の中で 変化させたときの JFLEG-test における実験結果を表 5 に示す. $\lambda=0.5$ として, $\mathscr{L}_{m l e}$ と $\mathscr{L}_{r l}$ を同じ重みで 扱うことで最良の結果を得た. GPT-2の值からは， $\lambda$ の値が小さいほど（ $\mathscr{L}_{r l}$ 項の影響が大きくなるほ ど）訂正文が流暢になる傾向にあることが分かる.一方で，SOME の評価結果は逆の傾向を示した. こ のことは，訂正文の流暢性について一貫した評価は 難しいことを示唆する.

表 $5 \lambda$ と流暢性に関する性能値の関係

流暢性が向上する要因 どのような訂正が行 われたことで流暢性が向上したか分析するため, ERRANT [22,23]を用いて JFLEG-test の性能を誤り タイプ別に評価した. $\lambda=1$ の場合を基準として $\lambda=0.5$ の場合の訂正傾向の違いを分析したところ，名詞や動詞といった内容語の訂正が増加している 一方，冠詞・綴り・前置詞といった機能語もしくは表層の訂正はほとんど増加していなかった. 内容語 に関する訂正は機能語や表記の訂正よりも訂正文 の perplexity に大きく影響すると考えられるため， perplexityを報酬とする提案手法は内容語を積極的 に書き換えることで流暢性を向上させたと考えられ る. ただし，訂正の総数は増えているが偽陽性が増 える傾向にあったため，表 4 の GLEU や $\mathrm{M}^{2}$ による 参照あり評価では性能が伸び悩んだと考えられる。誤りタイプ別の評価の詳細は付録 B に示す.

## 6 関連研究

強化学習に基づく文法誤り訂正手法には, Sakaguchi ら [24] と Raheja ら [25] の研究がある. Sakaguchi らは，GRU 系列変換モデルの学習におい て，評価尺度である GLEUを報酬関数とした学習手法を提案した. Raheja らは, 報酬関数として訂正文 の作成者が人間か訂正器かを判別する分類器を用い て, Transformer 系列変換モデルと敵対的に学習させ る手法を提案した。

これらの関連研究と比較して, 本研究は系列タグ 付けに基づく訂正器に強化学習を導入した点が異 なる。また，提案手法では報酬関数を GPT-2 言語モ デルとしたが，関連研究に倣い GLEU や SOME と いった他の尺度を用いたり，新たな報酬関数を設計 して敵対的に学習することには考慮の余地がある.

## 7 おわりに

本研究では, 系列タグ付けに基づく文法誤り訂正器である GECTOR は，訂正文の流暢性が低い問題を 指摘した. 問題の原因は最適化に訂正文の情報が使 われていないことであると考えられる. したがっ て，言語モデルに基づいて計算した報酬を用いて強化学習を行うことで，訂正文の流暢性を考慮する学習手法を提案した. 実験の結果, 訂正性能を維持し ながら訂正文の流暢性が向上した。提案手法と異な る報酬関数による学習や，GECToR 以外の系列タグ 付けに基づく訂正器への応用は今後の課題とする.

## 参考文献

[1] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR - grammatical error correction: Tag, not rewrite. In BEA, pp. 163-170, Seattle, WA, USA $\rightarrow$ Online, July 2020. Association for Computational Linguistics.

[2] Keisuke Sakaguchi, Courtney Napoles, Matt Post, and Joel Tetreault. Reassessing the goals of grammatical error correction: Fluency instead of grammaticality. TACL, Vol. 4, pp. 169-182, 2016.

[3] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A fluency corpus and benchmark for grammatical error correction. In EACL, pp. 229-234, Valencia, Spain, April 2017. Association for Computational Linguistics.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[5] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In EMNLP-IJCNLP, pp. 12361242, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-decoder models can benefit from pre-trained masked language models in grammatical error correction. In ACL, pp. 4248-4254, Online, July 2020. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 shared task on grammatical error correction. In CoNLL, pp. 1-14, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[10] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In NAACL, pp. 568-572, Montréal, Canada, June 2012. Association for Computational Linguistics.

[11] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In ACL, pp. 588-593, Beijing, China, July 2015. Association for Computational Linguistics.

[12] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Gleu without tuning, 2016.

[13] Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, and Mamoru Komachi. SOME: Reference-less sub-metrics optimized for manual evaluations of grammatical error correction. In COLING, pp. 6516-6522, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[14] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[15] Hiroki Asano, Tomoya Mizumoto, and Kentaro Inui. Referencebased metrics can be replaced with reference-less metrics in evaluating grammatical error correction systems. In IJCNLP, pp. 343348, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[16] Ronald J Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine learn- ing, Vol. 8, No. 3, pp. 229-256, 1992.

[17] Abhijeet Awasthi, Sunita Sarawagi, Rasna Goyal, Sabyasachi Ghosh, and Vihari Piratla. Parallel iterative edit models for local sequence transduction. In EMNLP-IJCNLP, pp. 4260-4270, Hong Kong, China, November 2019. Association for Computational Linguistics.

[18] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In ACL, pp. 180-189, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[19] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning SNS for automated Japanese error correction of second language learners. In ICJNLP, pp. 147-155, Chiang Mai, Thailand, November 2011. Asian Federation of Natural Language Processing.

[20] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In BEA, pp. 22-31, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[21] Helen Yannakoudakis, Øistein E Andersen, Ardeshir Geranpayeh, Ted Briscoe, and Diane Nicholls. Developing an automated writing placement system for esl learners. Applied Measurement in Education, Vol. 31, No. 3, pp. 251-267, 2018.

[22] Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic extraction of learner errors in ESL sentences using linguistically enhanced alignments. In COLING, pp. 825-835, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[23] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In ACL, pp. 793-805, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[24] Keisuke Sakaguchi, Matt Post, and Benjamin Van Durme. Grammatical error correction with neural reinforcement learning. In ICJNLP, pp. 366-372, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[25] Vipul Raheja and Dimitris Alikaniotis. Adversarial Grammatical Error Correction. In Findings of EMNLP, pp. 3075-3087, Online, November 2020. Association for Computational Linguistics.

## A 実験における詳細なパラメータ

学習時 4 節で述べたように，モデルの学習は 3 段階で行う. 訓練時のパラメータは表 6 のとおりで ある. 特に表記のない限り，3 段階全てで同じパラ メータを用いた。

表 6 実験に用いたパラメータの詳細

## B 誤りタイプに関する詳細な性能

5 節では，提案手法により流暢性が向上する原因 として，内容語の訂正をより積極的に行っているこ とを述べた。より詳細な性能を表 7 に示す. モデル が行った訂正に注目するため，表 7 には一部の誤 りタイプについて，True Positive に該当する訂正数 (TPカラム), False Positive に該当する訂正数（FPカ ラム）および適合率を示す. さらに，提案手法が従来手法に比べて何倍の訂正数かを示すため, 訂正数 の合計（True Positive と False Positive の和）につい て, $\lambda=0.5$ の場合の値を $\lambda=1$ の場合の値で割った 值を示す ( $\triangle$ カラム).

5 節で述べたように，機能語や表層の訂正と内容語の訂正には訂正数の傾向に違いがある. 名詞につ いては，語彙選択に関する訂正である「名詞」は提案手法により 1.47 倍訂正数が増加した。一方,「名詞の数」は訂正数に変化がない，名詞の数に関する 訂正は文意を大きく変えないため，提案手法を適用 しても変化がなかったと考えられる. 同様のこと は，「動詞」や「動詞の時制」は若干訂正数が増加す るが，「動詞の形態」については変わらないことか らも言える。「形容詞」や「副詞」も訂正数が増加し ていることが分かる．ただし，「形容詞」や「副詞」 は頻度が少ないため $\Delta$ に関して他の誤りタイプと比較するのは難しい。表 7 誤りタイプ別の訂正数と性能値