# 英単語学習支援に向けた語義曖昧性解消モデルの性能分析

菊地真人 按田将吾 大直忠親
名古屋工業大学大学院 情報工学系プログラム
\{kikuchi,ozono\}@nitech.ac.jp anda@ozlab.org

## 概要

語義曖昧性解消（WSD）の技術を応用した外国語教育システムが開発され, 特に語彙学習でよく利用 されている.これらは，WSD の成功を前提として おり，WSD の失敗は学習者の混乱を招くことにも なり得る。しかし，教育での利用を考慮した WSD モデルの性能分析が不十分である. 本研究では, Transformer ベースの WSD モデル LMMS-SP の性能 と，英単語に付与された語彙学習の意味での難易レ ベルとの関係を分析する. その結果，難しい単語ほ ど WSD の正解率が高い傾向にあった．また易しい 単語では, WSD の正解率が 3 割程度しかないもの があった.この原因として，まれにしか使わない低頻出語義を，高頻出語義と誤ることが考えられる。

## 1 はじめに

語義曖昧性解消（WSD）の技術を応用した外国語教育システム $[1,2,3]$ が開発され, 特に語彙学習で よく利用されている. 学習者は WSD を活用するこ とで, 読解文脈における単語の適切な意味（語義） を調べる手間が省け，学習を効率化できる. しか し, Transformer [4] に基づく最先端の WSD モデル でも，WSD の正解率は $7 \sim 8$ 割にとどまる. 加えて 多くの教育システムは基本的に，WSD の成功を前提に設計されており, WSD の失敗は学習者の混乱 を招くことになりかねない。一部の研究 [5] では， WSD の失敗を考慮した教育効果も検証されている が, WSD が常に成功するときが最も有効という結果が得られている. 以上より, WSD モデルの利用 が効果的な状況を, 教育的側面を考慮して分析し, その性質を理解した上で用いることが重要である。 それによって既存の教育システムでも，教育効果の さらなる向上を見込める可能性がある.

本研究では, Transformer ベースの WSD モデル LMMS-SP [6] の性能と, 英語学習語彙表 $[7,8,9]$ の 難易レベルとの関係を分析する. 英語学習語彙表と
は，学習者が時間や労力の観点から効率よく英単語 を学べるよう，学習すべき語彙を難易レベル別に掲載したものである ${ }^{1)}$. 低レベルには英語を使うため に不可欠な，汎用的に使う “易しい”語彙が掲載さ れている。高レベルには使う場面は比較的限られる が，表現力を豊かにするための “難しい”語彙が掲載されている. 難易レベル毎の LMMS-SP の性能を 解明することで, LMMS-SP が英語学習の下級者か ら上級者のどの層により有益なのかを知ることが できる. さらに語義ごとの例示的なエラー分析も行 う. 結果として, LMMS-SP は高レベルの難しい単語ほど，WSD の正解率が高い傾向が明らかになっ た. また低レベルの易しい単語では，WSD の正解率が 3 割程度しかないものがあった. この原因とし て，まれにしか使われない語義を，広く使われる語義と誤ることが考えられる。

## 2 関連研究

## 2.1 外国語教育での WSD の利活用

WSD を外国語教育に用いた最初期の研究として， Kulkarni ら [1] は英語の語彙学習システム REAP に WSDを導入し, 読解文脈における英単語の語義を学習者が効率的に調べられるようにした. Rosa ら [2] は Kulkarni らの成果をべースとして，クラウドソー シングで WSD 訓練データセットを強化することで，語彙学習におけるWSDのさらなる有効性を示した. Degraeuwe ら [3] は，スペイン語学習のための WSD モデルとして，訓練データ収集プロセスの一部を対話的な語彙演習に統合する枠組みを提案した。これ らの研究では，WSDを用いた教育システムの構築 および教育効果の検証に焦点を当てている。一方で 教育的側面から，既存の WSD モデルがどのような 状況で有益・無益なのかは，WSD モデルの性能と関

連付けて詳細に分析する必要がある。

## 2.2 WSD の性能に関する分析調査

Loureiro ら [10] は， Transformer に基づくWSD モ デルの詳細な性能分析を行なった。また Kapelner ら [11] は，人間にとって WSDを困難にする要因を 明らかにした。しかし，外国語教育での利活用を想定した, WSD モデルの分析研究は少ない. Miyata ら [12] は日本語の単語を対象に，語義に基づく単語 の曖昧度を表す公式を導出し, 単語の学習難易度と 曖昧性との関係を調査した. Suzuki ら [13] は, WSD モデルを用いて英語と日本語の単語に対する曖昧度 を定義し，難易度と曖昧性の関係を再調査した。し かし, Suzuki らはWSD のために古典的な Lesk アル ゴリズム [14]を用いており, 得た結論も本研究とは 異なる. 彼らは難しい単語ほど曖昧性が高い，すな わち WSD が困難と主張する. 対して本研究では， Transformerによる最先端の WSD モデルを用い，難 しい単語ほど WSD が容易という逆の主張をする.

## 3 前提知識

## 3.1 LMMS-SP

本研究で用いる WSD モデル LMMS-SP [6] を説明する．LMMS-SP は，意味の埋め込み表現に基づ くWSD モデルである. 本モデルは，インスタンス （WSD の対象単語）を含む文を入力とし，そのイン スタンスに対する文脈埋め込みを作成する。その 後, 作成した文脈埋め込みと事前訓練で得た各語義 の意味埋め込みとのコサイン類似度が最大となる語義を出力する. LMMS-SP の最大の特徴は, WordNet 3.0 の収録語義を網羅した意味埋め込みを利用でき る点である. WordNet [15] は電子的に利用可能な概念辞書であり，単語の概念的な同義語，下位語，上位語などを語義単位で可視化することができる。我々は英語学習支援の研究に WordNetを活用する予定でおり，SOTA に近い性能を持ち WordNet の全語義を扱える LMMS-SP を選んだ。

## 3.2 英語学習語彙表

英語学習語彙表は, 効率的な語彙学習のために,語彙を難易レベル別に掲載したものである ${ }^{1)}$ 。共通 して低レベルには易しい語彙が，高レベルには難し い語彙が掲載されている。ここでは本研究で用いる 語彙表を説明する. Kilgarriff [7] は，イギリス英語表 1 北大語彙表の収録語彙に関する情報

表 2 各レベルに対する平均の正解率

の大規模コーパス British National Corpus の単語頻度 をもとに BNC 語彙表を作成した. この語彙表はネ イティブ英語コーパスに基づくため, 第二言語とし ての英語学習において，適切な語彙が掲載されてい るとは限らない. 杉浦 [8] は，高校英語の検定教科書を分析し，使用語彙を頻度順に並べた日本人向け の語彙表を作成した. また，英語学習への有用性を 高めるため，語彙の選定過程をより工夫した語彙表 も作成されている，そのような語彙表には，北海道大学の園田 [9] による北大語彙表, 大学英語教育学会（JACET）の英語語彙研究会による JACET8000, アルク教育社によるSVL12000 などがある. 本研究 では，各語彙表に記載の難易レベルと WSD の正解率との関係を調べ，4.1 節と概ね同様の結論を得た。 しかし本稿では紙面の都合上, 北大語彙表に絞って 実験結果を掲載し，議論する。

## 4 実験

実験では，英単語の難易レベルと WSD の正解率 との関係を明らかにする。また本来ならば，ある単語が持つ各語義についても，使用頻度や学習難易度 は異なるはずである．そこで，WSD を誤りやすい 単語に関して，語義単位での細かいエラー分析も行 う． LMMS-SP は著者らが公開している実装をその まま用いた2) ， LMMS-SP で用いる Transformer は，比較的性能が良いとされる albert-xxlarge-v2 とした.難易レベルの指標として，北大語彙表を用いた結果 を掲載する。北大語彙表の収録語彙に関する情報を 表 1 に示す. 各レベルは学習段階で区別され，レべ

ル 1 には最も平易な語彙，レベル 5 には最も難解な 語彙が収録されている．WSDの評価データとして， Raganato ら [16] が公開した ALL データセットを用 いた ${ }^{3)}$.このデータセットは, Senseval と SemEval という WSD に関する各コンペティションの評価 データを結合させたものである．個々のデータセッ トでは，高レベルの単語数が少ないものがあり，本研究での分析に不十分な場合がある. ゆえに ALL データセットを用いることにした.

## 4.1 難易レベルと WSD 正解率との関係

北大語彙表の難易レベルごとに，WSD の正解率 を平均した結果を表 2 に示す. どのレベルでも正解率は 7 割を超え，レベルが上がるほど正解率も上が る傾向にある。一般に，難解な（高レベルの）単語 ほどコーパスでの出現頻度が低く, 十分な訓練情報 が得られない. そのため，高レベル語は正解率が低 いことも予想された. しかしこの結果は，その予想 とは逆の傾向を示している。低レベル語ほど様々な 文脈で使われ，高レベル語ほど限定された文脈で使 われることが多い. よって, 高レベル語は使用機会 が少ないが，持つ語義の数も少なく，WSDでは高レ ベル語の方が語義の特定が容易な可能性を考えた.

この仮説を検証するため，レベル毎の単語に対す る語義数の平均値と標準偏差を WordNet 3.0 上で調査し，表 3 にまとめた。この表を見ると，レベル 1 に属する語彙に関しては語義数の平均値と標準偏差が 10 を超え，語義数が多様な単語が集まってい ることが分かる．全体を見ると，レベルが上がるほ ど語義数の平均値と標準偏差が小さくなる傾向に ある. この結果は, 高レベル語は語義数が少ないた め，適切な語義を当てやすいという仮説を支持する ものである. また表 1 と表 2 を見比べて分かるよう に，北大語彙表でレベル 1 の語彙サイズ（単語数） は小さいにもかかわらず，ALL データセットでは WSD の対象となるレベル 1 の単語頻度が多い.こ

3) http://lcl.uniroma1.it/wsdeval/evaluation-data表 4 ALLデータセットで最も出題された 10 語の結果

の理由も表 3 から説明できる．高レベル語はそもそ もWSD が不要な場合が多い。一方でレベル 1 の単語は，多数の語義を持つことがあり使用頻度も高い ため，WSDの対象となりやすい.

## 4.2 語義単位のエラー分析

低レベルの基本的な語彙に対して，WSD が失敗 しやすい原因を考察する。表 4 は ALL データセッ トにおいて，WSD の対象となる最頻出 10 語の情報 を掲載したものである. 大半を占める 8 語が，レべ ル1の単語であった. これらの単語の中に, 正解率 が高い単語と低い単語が混在する。例えば, “use” は 76\%の高い正解率を有するが，“say” “make”の 正解率は $30 \%$ 台しかない。したがって，正解率が著 しく低い単語の影響で，レベル 1 の語彙に対する全体の正解率が低下したと考える。

そこで，正解率の低い単語 “say”を例として，語義単位でのエラー分析を行った。まず，“say”の各語義に関する情報を表 5 に示す。なお，WordNet 3.0 に存在する “say” の語義数は 12 であるが，この表 では実験に関係する 8 つの語義に限って掲載した.表中の Sense Key とは，WordNet において各語義に 付与された固有の認識番号である．頻度とは，語義アノテーション付きコーパス SemCor 3.0 におけ る語義毎の出現頻度である. なお SemCor 3.0 は, LMMS-SP の訓練データの一部であるため，高頻出 の語義ほど LMMS-SP に訓練事例が多く与えられ たことを意味する．品詞と説明は，語義に対して WordNet 上で付与された品詞と説明である. 最頻出語義（MFS）は say\%2:32:00:: で，この語義は広く使用されるものであることが分かる．続いて頻出の語義は say\%2:32:01:: である．残りの語義は前述の語義
表 5 単語 “say” の各語義に関する情報

表 6 単語“say”の各語義に対する結果

2 つと比較して使用頻度が低い. 次に, “say” の各語義に対して，WSDを試みた結果を表 6 に示す.この 表における対角成分は，各語義に対する正解率を表 す. 対角成分の分母がゼロということは, LMMS-SP がどこかのインスタンスへある語義を付与したが，実際にはその語義を正解とするインスタンスは一つ もなかったことを意味する．結果を見ると，高頻出語義 say\%2:32:00:: と say\%2:32:01:: は正解率が高い 傾向にある。一方で，まれにしか使用されない低頻出語義（LFS）say\%2:32:13:: と say\%2:32:15:: に対す る WSD は完全に失敗している. 誤り方の傾向を確認すると，LFSを高頻出語義へと割り当ててしまう ことが多いようである.

既存の WSD モデルは，MFS の割り当てに対して 強いバイアスがあることが指摘されており，MFS の WSD に対しては高い性能を有するが，それ以外の LFS の性能は低いことが多い $[17,18,19]$. LMMS-SP は，WordNetの語義を網羅した意味埋め込みを活用 することで，MFS fallback 4 )をしないことが利点であ るが [20], 実験結果から LMMS-SP でも高頻出語義 を過剩に割り当てる様子を確認した．基本的な単語

4）正解の語義に対する訓練データがない場合，インスタンス に MFSを割り当てること.
は多くの語義を持つが，その中でよく使われる“平易な”語義は限られる。よって，まれな語義を多く 持つ単語に対して，高頻出語義の誤った割り当てが 頻発したと考える.

## 5 おわりに

LMMS-SP の性能と英単語の難易レベルとの関係 を調べた. どのレベルでも WSD の正解率は平均し て 7 割を超え，レベルが高くなるほど正解率が高く なる（WSD が容易になる）傾向があった．高レべ ル語はコーパスでの出現頻度が低いが持つ語義の数 も少なく，分散表現の活用により，出現頻度が低い ことによる悪影響を軽減できた可能性がある。その 一方で，低レベル語は単語自体は平易でありながら も多数の語義を持ち，一部の語義しか頻繁に使われ ないことが WSD を難しくすることも示唆された。語義単位でのエラー分析の結果, LMMS-SP は他の WSD モデルと同様に，LFS を高頻出語義と誤るこ とが多いようである．LMMS-SP の教育的な応用に ついては，難しい語彙を学びたい上級者への利用は 効果的と考えられる。 しかし，LFS を正確に捉える ための利用にはまだ課題が残されている。

## 謝辞

本研究の一部は JSPS 科研費 JP19K12266, JP22K18006 の助成を受けたものです.

## 参考文献

[1] Anagha Kulkarni, Michael Heilman, Maxine Eskenazi, and Jamie Callan. Word sense disambiguation for vocabulary learning. In Proceedings of the 9th International Conference on Intelligent Tutoring Systems, pp. 500509, 2008.

[2] Kevin Dela Rosa and Maxine Eskenazin. Impact of word sense disambiguation on ordering dictionary definitions in vocabulary learning tutors. In Proceedings of the 24th International Florida Artificial Intelligence Research Society Conference, pp. 507-512, 2011.

[3] Jasper Degraeuwe and Patrick Goethals. Interactive word sense disambiguation in foreign language learning. In Proceedings of the 11th Workshop on NLP for Computer Assisted Language Learning, pp. 46-54, 2022.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 1-11, 2017.

[5] Soojeong Eom, Markus Dickinson, and Rebecca Sachs. Sense-specific lexical information for reading assistance. In Proceedings of the 7th Workshop on Building Educational Applications Using NLP, pp. 316-325, 2012.

[6] Daniel Loureiro, Alípio Mário Jorge, and Jose CamachoCollados. LMMS reloaded: Transformer-based sense embeddings for disambiguation and beyond. Artificial Intelligence, Vol. 305, p. 103661, 2022.

[7] Adam Kilgarriff. BNC database and word frequency lists, 1995. https://www.kilgarriff.co.uk/bnc-readme. html.

[8] 杉浦千早. 高校英語教科書語彙リストの作成と使用語彙の検討. Language Education and Technology, Vol. 39, pp. 117-136, 2002.

[9] 園田勝英. 大学生用英語語彙表のための基礎的研究.北海道大学言語文化部, 1996.

[10] Daniel Loureiro, Kiamehr Rezaee, Mohammad Taher Pilehvar, and Jose Camacho-Collados. Analysis and evaluation of language models for word sense disambiguation. Computational Linguistics, Vol. 47, No. 2, pp. 387443, 2021.

[11] Adam Kapelner, Krishna Kaliannan, H. Andrew Schwartz, Lyle Ungar, and Dean Foster. New insights from coarse word sense disambiguation in the crowd. In Proceedings of the 24th International Conference on Computational Linguistics, pp. 539-548, 2012.

[12] Koki Miyata, Takahiko Suzuki, and Sachio Hirokawa. Difficulty and ambiguity of verbs: Analysis based on synsets in Japanese WordNet. In Proceedings of the 1st International Conference on Advanced Information Technologies, pp. 1-4, 2013.

[13] Takahiko Suzuki, Koki Miyata, and Sachio Hirokawa. Dif- ficulty of words and their ambiguity estimated from the result of word sense disambiguation. In Proceedings of the 11th International Conference on Knowledge, Information and Creativity Support Systems, pp. 1-5, 2016.

[14] Jonas Ekedahl and Koraljka Golub. Word sense disambiguation using WordNet and the Lesk algorithm. Projektarbeten 2004, Vol. 17, pp. 1-6, 2004.

[15] Christiane Fellbaum (Ed.). WordNet: An Electronic Lexical Database. The MIT Press, 1998.

[16] Alessandro Raganato, Jose Camacho-Collados, and Roberto Navigli. Word sense disambiguation: A unified evaluation framework and empirical comparison. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 99-110, 2017.

[17] Marten Postma, Ruben Izquierdo, Eneko Agirre, German Rigau, and Piek Vossen. Addressing the MFS bias in WSD systems. In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 1695-1700, 2016.

[18] Marten Postma, Ruben Izquierdo Bevia, and Piek Vossen. More is not always better: balancing sense distributions for all-words Word Sense Disambiguation. In Proceedings of the 26th International Conference on Computational Linguistics, pp. 3496-3506, 2016.

[19] Minh Le, Marten Postma, Jacopo Urbani, and Piek Vossen. A deep dive into word sense disambiguation with LSTM. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 354-365, 2018.

[20] Daniel Loureiro and Alípio Jorge. Language modelling makes sense: Propagating representations through WordNet for full-coverage word sense disambiguation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5682-5691, 2019.

## A様々な語彙表に対する難易レベルと WSD 正解率の関係

図 1 様々な語彙表に対する難易レベルと WSD 正解率の関係。各語彙表は凡例の左から，杉浦リスト英語 I（SUGI1）,杉浦リスト英語 II（SUGI2）, BNC 語彙表（BNC）, 北大語彙表（HUEVL）, JACET8000（JACET）, ALC-SVL12000（SVL） の順で並んでいる。語彙表ごとにレベルの粒度や掲載語数が異なるため，同一レベルでの語彙表間の比較はできないこ とに注意する．SVLを除く全ての語彙表で，正解率が最低となったのはレベル 1 であった. また，ほとんどの語彙表に おいて高レベルの正解率が高い。なお SVL はレベル分けが細かすぎるため，レベル毎の単語数が極端に少なくなり，高 レベルの正解率が安定せず変動した可能性がある.

## B 単語 “use”に関する WSD のエラー分析

表 4 において高い正解率（76\%）を示した単語 “use”に対する WSD の詳細な結果を掲載する．表 7 は “use” の各語義に関する情報，表 8 は各語義に対する WSD の結果である. 各表の見方は, 4.2 節で述べた表 5 , 表 6 の見方と同様である。これらの表から，“use”も“say”と同様に多数の LFS を持つが，ALLデータセットにお いて高頻出語義を正解とするインスタンスが多いため，正解率が高かったことが分かる.

表 7 単語 “use”の各語義に関する情報

表 8 単語 “use” の各語義に対する結果


# Development, Evaluation, and Further Research of Voice-enabled Chatbot for English as a Foreign Language

Julio Christian Young ${ }^{1}$ Makoto Shishido ${ }^{2}$
Graduate School of Advanced Science and Technology, Tokyo Denki University
 }^{1}$ \{julio.christian.young\}@gmail.com ${ }^{2}\{$ shishido\}@mail.dendai.ac.jp

\begin{abstract}
Studies show that chatbots can help new EFL students practice their communication skills. However, several problems in the EFL learning chatbot still have not been fully addressed. Two of the problems are the appropriateness of TTS to produce audio materials within the chatbot and a standalone chatbot that could work without an internet connection. This study compared quantitative and qualitative aspects of TTS- and native speakers-produced to address the first problem. Besides that, we created and evaluated a standalone chatbot using lightweight speech recognition to address the second. Furthermore, we discuss other topics worth investigating based on these two results.
\end{abstract
## 1 Introduction

Learning a new language can be daunting, especially for English as a Foreign Language (EFL) students. As EFL students often lack time and opportunity to practice, they will feel awkward and fear being judged when they get a chance. In the long term, this situation can lead students to doubt their abilities and lose motivation to learn $[1,2]$.

Several studies in the past $[3,4,5,6,7,8]$ showed that chatbots could be ideal learning partners, especially for EFL students with low language proficiency. Research in $[3,5,6]$ argued that students tend to feel less anxious when practicing with chatbots. Based on their input type, two kinds of chatbots that often used in the EFL learning context: text-based and voice-enabled chatbots.

While text-based implementations often interact with their students in free-typed text format, voice-enabled chatbots are usually implemented via multi-choice text inputs that students can choose by read-aloud one of the choices available. This mechanism was preferred as chatbots that process direct voice input often led to communication breakdown. A communication breakdown might occur as the chatbot tries to reply based on an incorrect transcription by the speech recognition module in the chatbot.

Even though implementing multi-choice text inputs limits students' interactions, researchers believe it could still be helpful to support students with low language proficiencies [5]. As they still have limited vocabulary to produce their sentences, predefined choices could help them to interact with the bot. Moreover, by employing a mechanism that compared the transcription result with the reference text, the application could provide meaningful feedback regarding students' mispronunciations.

Besides the SR module, the quality of the voice response from the chatbot is another factor that influences the success of EFL learning chatbots. Ideally, prerecorded responses produced by native speakers would be best to mimic an actual conversation experience with a human partner. However, involving native speakers will increase the cost and time of application development.

In [5], the researcher demonstrated how TTS technology could substitute the involvement of native speakers. Even though TTS produced all audio used in [5] almost $85 \%$ of participants in the experiment felt the audio sounded natural. The overall evaluation of the chatbot also revealed that most participants enjoyed their learning experience using the chatbot.

In our study, to support EFL students' English learning journey, we developed a voice-enabled chatbot to help students practice their speaking skills. Although similar studies have been conducted, our study will address the remaining challenges that have not been adequately addressed.

## 2 Problem Statement

Despite many previous studies on EFL learning with chatbots, several issues still have not been entirely
covered. In our study, there will be two issues that we want to address.

Lack of comparison of audio materials produced by native speakers and TTS technology - None of the previous studies explicitly compared the use of TTS- and native speakers-produced materials for EFL learning chatbots. In our study, we compared the qualities between TTS- and native speakers-produced materials for sentences in dialogue format. Since chatbots process sentences in dialog format, this comparison could reflect the suitability of TTS-produced materials in them.

Implementation of the SR in the chatbot relies on the Internet - To the best of our knowledge, all previous studies that explored the usage of voice-enabled chatbots for EFL learning relied on cloud-based SR services [3, 4, $5,6]$, which rely on the internet. As they rely on the internet, students' interaction would be disrupted with the app when the internet connection is unstable. In the worst scenario, students with a bad Internet connection would be unable to use the app.

Unlike previous research that relied on cloud-based SR services, our study tried to explore the possibility of using a small SR model. As a small SR model only require low computational power, it could be run on students' own devices, thus making it works without the internet. A small SR model developed in [9] shows good transcription accuracy despite using less than $400 \mathrm{Mb}$ of memory. While big models usually need about $16 \mathrm{~Gb}$ of memory to achieve a word error rate (WER) of $5.6 \%$, this model achieves a WER of $9.85 \%$ with far less memory.

Despite its promising performance, no previous studies have attempted to implement small SR. Even though the small SR model has relatively lesser performance than the big one, its implementation potential for achieving standalone chatbot EFL learning is worth investigating. Therefore, our study tries to measure the suitability and performance of a small SR model in EFL learning chatbots.

## 3 Research Settings

## 3.1 The Comparison of Two Audio Types

We designed a blind comparative test scenario involving native speakers and TTS audio materials to address the first problem. Sixty undergraduate EFL students participated in the test. All students had studied English in formal learning settings for about 13 to 14 years. During the test, participants were asked to listen to each audio material in random order without knowing whether native speakers or TTS produced it. After that, they were asked to judge the audio material and transcript its content.

Moreover, ten audio transcriptions used in the test were taken from an English learning textbook in [10]. As there were two audio materials for each audio transcription, each participant needed to listen to twenty audio materials to finish the test. While native speakers' audio materials were taken from supplementary materials with the book, TTS-produced materials were produced using WaveNet TTS with North American English. WaveNet TTS was chosen since it produced significantly better audio quality than other TTS methods [11].

In the test, we compared native speakers- and TTSproduced audio materials qualitatively and quantitatively. The qualitative aspects measured in the experiment are pronunciation accuracy (PA), naturalness (N), comprehensibility (C), and intelligibility (I). Comprehensibility measures how easy to hear given audio. Intelligibility measure how well they can understand it. Data related to these criteria will be collected using a 6point Likert scale question.

Other than that, word error rate (WER) was chosen as a metric to compare two audio material groups quantitatively. The WER on each audio material was calculated by comparing the reference transcription from a given audio and each participant. The WER score can represent how effortlessly students understand specific audio materials.

## 3.2 Usability of a Small Speech Recognition Model for EFL Learning Chatbots

We developed an android-based EFL learning chatbot for practicing English speaking skills to measure the suitability of a small SR model. The developed chatbot is a voice-enabled chatbot with multi-choice text inputs with a small SR module from [9]. Fifteen undergraduate students with 13 to 14 years of English learning experience participated in this experiment. Participants were asked to use the app for a week and finish at least two topics within the chatbot. All participants' resulting transcriptions were recorded to be analyzed after.

In the app, the bot will always initiate the conversation, and users can choose one from three or four available responses as a reply. Based on a user reply, the bot will continue the conversation until there is no other response that the bot cannot return. Whenever users choose a reply, they can click a new bubble chat containing their response to practice their speaking skills. The app will mark parts of the sentence that do not appear in the resulting transcription by the SR module in red. Otherwise, in green. Figure 1 depicts the chatbot and user interaction in the app.

Figure 1. The bot and user interaction in the app

After a week, they were required to fill out a post activity questionnaire to capture their perceived usefulness (PU), perceived ease of use (PE), and attitude toward using (TA) the EFL learning chatbot. The questions asked to the participants were 6 Likert-type questions given in Table 1.

Besides that, the WER calculation was also done with the collected transcriptions. The purpose is to measure the WER of a small SR model, specifically for EFL learning chatbots. As the SR model implemented in the chatbot also has dynamic vocabularies features to target only specific vocabularies, the resulting WER might be lower than the previously mentioned WER in [9].

## 4 Results

## 4.1 The Comparison of Two Audio Types

The result on qualitative aspects of native speakersand TTS-produced audio materials can be seen in Table 1. The slight difference in another three criteria (except $\mathrm{N}$ ) between the two audio types shows that TTS-produced audio can be appropriate for producing listening materials in dialogue format, thus making it suitable for a chatbot. On top of that, a significant standard deviation from naturalness on TTS-produced materials indicates that several students might believe that sounds natural while others do not.

Table 1. Participants perceived audio quality

Questions

Has ASR correctly recognized and evaluated what you said? (PU-1)

Does practicing speaking skills with ASR give you a more controllable and personalized learning environment? (PU-2)

Do you feel comfortable practicing your speaking skill with the help of ASR? (PE-1)

Do you feel convenient as you need to emphasize clarity (speaking slowly) when you practice using ASR? (PE-2)

How interested are you in a learning system with ASR that can help practice your English speaking skill?

Do you want to adopt the learning system with ASR to practice your English speaking skill?

Table 2. Perceived Quality of Both Audio Groups

} & \multirow{2}{*}{ Indicator } & \multicolumn{4}{|c|}{ Criteria } \\
\cline { 3 - 6 } & & PA & N & I & C \\

\cline { 2 - 6 } & Std Dev. & 0.75 & 0.92 & 0.62 & 0.67 \\

\cline { 2 - 6 } & Std Dev. & 0.75 & 1.34 & 0.68 & 0.67 \\

Furthermore, the WER on each audio materials group was calculated using the participants' resulting transcriptions. While transcriptions using native speakersproduced materials got a WER of 0.068 , the TTSproduced ones got 0.062 . In contrast to the result in the comprehensibility criterion that favors native speakersproduced materials, low WERs on both audio types indicated that participants could easily understand both.

Following such results, we investigated what kind of sentences resulted in more errors in the native speakersproduced materials. After looking further, we notice that transcriptions based on native speakers-produced materials miss words more often than TTS ones. As native speakers often reduce, contract, and mash some combination of words in their spoken form, low- to intermediate-level students might miss one of the words while listening to them. However, further investigation is needed to support this claim.

## 4.2 Usability of a Small Speech Recognition Model for EFL Learning Chatbots

The summary of results from the post activity questionnaire towards the EFL Learning chatbot with a
small SR model is given in Table 3.

Table 3. Post-Activity Questionnaire Result

The result concluded that participants agreed that the chatbot could correctly recognize and evaluate their speech, thus enabling them to practice their speaking skills. Moreover, the PE-1 value showed that participants agreed to feel comfortable speaking with the chatbot. However, the low PE-2 value indicates that they might feel awkward as they need to speak slowly while using the chatbot. Finally, participants seemed interested in practicing English using the chatbot based on the final average from TA-1 and TA-2.

Next, the WER was calculated to determine the significant performance gain of dynamic vocabulary features in the SR model for a specific application. While the SR model used achieved a WER of $9.85 \%$ in a more general dataset, it achieved a WER of $7.42 \%$ in the experiment. The lower WER score indicated that implementing the dynamic vocabulary feature allows the model to perform better.

Following such findings, we also did an open-ended group discussion with participants to gather opinions about their learning experiences while using the app. A participant in the discussion mentioned feeling less enthusiastic about using the app after using it for some time. The participant also added that it would be interesting if there were more features besides speech evaluation in the application. Following this statement, other participants also agree that different types of exercise might make the application more challenging, thus making it more fun.

## 5 Discussions

## 5.1 Further Evaluation on TTS and Nativespeakers Audio for EFL Learning

Our evaluation results indicate that students made fewer errors when transcribing TTS materials than ones produced by native speakers. Native speakers sometimes link words together to make them sound natural, yet make them sound different and challenging to be understood by students. Alternatively, TTS materials might pronounce each word in the sentence individually, thus making it easier for students to grasp but sounding unnatural. However, as only ten audio pairs were compared in our study, they would be enough to capture different types of linking in connected speech. Therefore, further studies are needed to analyze the differences between TTS- and native-speaker-produced materials to prove such a claim.

Furthermore, we suggest that future research involves using speech recognition technology rather than involving students in the audio transcription process. SR technology enables the comparison process for large amounts of data, thus making the research result more reliable. On top of that, various SR models with different transcription performances could capture the difference between two audio groups across different levels of competency

## 5.2 Improving Chatbot Interactivity

There are a few ways we can try to improve interactivity within the chatbot. One approach could be to make the chatbot more engaging by incorporating a wider range of content and activities. Presently, no active learning activities are done while students listen to audio responses by the chatbot. Therefore, in the future update, we plan to implement the fill-in-the-blank and sentence scramble features in the app.

To implement the listening fill-in-the-blank feature, we can modify the text response returned by the bot by replacing a random word with a blank line. Thus, instead of passively listening to the bot's response, students can actively interact with the app by filling in the blank line after each listening session. By listening to a spoken language recording and filling in the missing words, students can practice using the vocabulary in context and become more familiar with it, thus reinforcing their understanding of such words and how to use them correctly.

Similarly, the sentence scramble feature can be employed by modifying the text response by the bot. In this activity, students will get a jumbled sentence and its spoken form in the correct order for each response from the bot. Then, based on the jumbled sentence, they need to rearrange the words to form a grammatically correct and coherent sentence. By completing sentence scramble activities, students can improve their ability to understand and produce grammatically correct sentences.

## References

[1] Aiello, J., \& Mongibello, A. (2019). Supporting EFL learners with a virtual environment: A focus on L2 pronunciation. Journal of e-Learning and Knowledge Society, 15, 95- 108. https://doi.org/10.20368/1971-8829/1444.

[2] Huang, X., \& Jia, X. (2016). Corrective feedback on pronunciation: Students' and teachers' perceptions. International Journal of English Linguistics, 6(6), 245-254. https://doi.org/10.5539/ijel.v6n6p245.

[3] Han, D. E. (2020). The Effects of Voice-based AI Chatbots on Korean EFL Middle School Students' Speaking Competence and Affective Domains.

[4] Shishido, M. (2018, June). Developing e-learning system for English conversation practice using speech recognition and artificial intelligence. In EdMedia+ Innovate Learning (pp. 226-231). Association for the Advancement of Computing in Education.

[5] Shishido M. (2021). Developing and Evaluating the e-learning Material for Speaking Practice with the Latest AI Technology ISSN: 2189-1036 - The IAFOR International Conference on Education Hawaii 2021 Official Conference Proceedings.

[6] Shishido, M. (2019, June). Evaluating e-learning system for English conversation practice with speech recognition and future development using AI. In EdMedia+ Innovate Learning (pp. 213-218). Association for the Advancement of Computing in Education.

[7] Kim, N. Y. (2018). A study on chatbots for developing Korean college students' English listening and reading skills. Journal of Digital Convergence, 16(8), 19-26.

[8] Shin, D., Kim, H., Lee, J. H., \& Yang, H. (2021). Exploring the Use of An Artificial Intelligence Chatbot as Second Language Conversation Partners. Korean Journal of English Language and Linguistics, 21, 375-391.

[9] Alpha Cephei. (2020). Vosk Offline Speech Recognition Performance. [Online]. Available: https://alphacephei.com/vosk/models

[10] Shishido, M., "Checking in at the airport Listening Practice," in Virtual Travel around the World，バーチャル世界旅行: チャットボットで 学ぶ旅行英会話, 1st ed. Tokyo, Japan: Seibido, 2022

[11] Oord, A. V. D., Dieleman, S., Zen, H., Simonyan, K., Vinyals, O., Graves, A., ... \& Kavukcuoglu, K. (2016). Wavenet: A generative model for raw audio. arXiv preprint arXiv:1609.03499.


# BERT による系列ラベリングを用いた文法誤り検出

岡本昇也 ${ }^{1}$ 南條浩輝 ${ }^{2}$ 馬青 1
1 龍谷大学理工学研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ t22m002@mail.ryukoku.ac.jp
${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp
${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

本研究では，文法誤り検出システムを実装し，先行研究と比較した. 先行研究では文法誤り検出を系列ラベリングタスクとし，BiLSTMを用いた。我々 は，BERT を用いて同じく系列ラベリングタスクと して解き，文法誤り検出システムを実装した. 実験 の結果，BERTを用いての文法誤り検出システムは，適合率，再現率， $\mathrm{F}(0.5)$ 值のすべてにおいて，先行研究の BiLSTM 上り高かった. また, 文字レベルの モデル Flairを用いた実験も行い，適合率がさらに 高くなったという結果が得られた。

## 1 はじめに

近年, 言語学習者向けの作文支援システムは多く 開発されている。その中には学習者の作文の文法誤 りを自動で訂正するシステムや，学習者の作文を自動評価し点数をつけるシステムなどがある. このよ うな作文支援システムにより, 学習者及び教育者の 負担を軽減することができる [1].

本研究では，作文支援システムのための文法誤 り検出 (Grammatical Error Detection: GED) に取り組 む。これは，文法誤りを含む文を入力すると文法の 誤っている位置をユーザに提示するシステムであ る. 言語学習者が作文を書く際に，指導者なしで文法誤り位置を確認することを可能とする技術であ り，作文支援システムの基本となる重要な技術で ある。文法誤り訂正 (Grammatical Error Correction) は，文法誤り検出（GED）の結果に基づき，誤りを 正しい表現に自動訂正するものであり，GEDはこの 前段階の技術としても重要である.

文法誤り検出 (GED) に関しては, 近年では深層学習を用いた研究が精度を上げ英語では BiLSTM を 用いることで最高精度の誤り検出を行っている [2].英語では深層学習を用いた文法誤り検出の研究が 多くなされている。これに対して，日本語では深層学習を用いての文法誤り検出の研究は先行研究 [1] などが行われているものの，十分であるとは言えな い.このような背景に基づき，我々は日本語を対象 とした深層学習に基づく文法誤り検出を研究し, そ の効果を確認する。

文法誤り検出を深層学習を用いて行うためには 大規模のデータセットが必要となる．そこで，本研究では，大規模なデータセットである Lang-8 コー パス [3] を利用する. Lang-8 コーパスは，語学学習 のための SNS Lang-8 の添削ログからクローリング して作られた，誤りを含む文とその訂正文からなる データである．約 200 万文対からなり，文法誤り訂正用のデータとしては規模の大きいものである.

本研究では，文法誤り検出を系列ラベリングタス クとして解くことを目指す. 系列ラベリングとは，系列の各要素もしくは部分系列に対してタグ付け を行う手法である。代表例として，品詞タグ付けや チャンキングなどがある。文法誤り検出は，作文を 単語系列として扱い，各単語に正解または誤りの ラベルを付与する系列ラベリング問題として表現 できる. 先行研究 [1] では BiLSTMを用いて, 文法誤り検出を系列ラベリング問題として解いている. BiLSTM では，前後の文脈情報を考慮して正誤ラべ ルの判定を行えるが，遠く離れたデータの影響を扱 うのが難しい問題が残る．日本語における文法誤り 検出には，「全然〜ない」などの遠く離れた関係や，基本的に文末に置かれる用言と文中の格助詞の関係 を考慮する必要がある．BiLSTM よりも，系列中の 各単語同士の直接的に影響を考慮できる attention 機構をもつモデルのほうが望ましいと考える。そこで 本研究では BERTを用いる.

図 1 BERT の系列ラベリングの構造（文献 [6] の図 4 の (d) を引用)

## 2 系列ラベリング

## 2.1 BERT による系列ラベリング

BERT (Bidirectional Encoder Representation from Transformer）は, attention 機構のみで構成される Encoder-Decoder モデルである Transfomer[4] の Encoder の部分を用いたモデルである.

BERT を用いた系列ラベリングは，BERT の出力 に線形変換を適用したものとして実装される [5].学習の際は，文を符号化したものを BERT に入力 し，損失を計算する．損失関数はクロスエントロ ピーを用いた. BERTでの一般的な系列ラベリング の様子を図 1 に示す.

## 2.2 系列ラベリングによる文法誤り検出

文法誤り検出は，各単語に正解または誤りラベル を付与するタスクに該当すると考えられる。 そのた め，本研究では，文法誤り検出を系列ラベリングタ スクとして扱う。図 1 では，系列ラベリングの BIO 法で行っているが（B-PER は BIO の B に対応して いる), 本研究では, BIO 法でなくIO 法で行った. BERT の系列ラベリングを用いた文法誤り検出の様子を図 2 に示す. 出力ラベルの I と C は IO 法の I と $\mathrm{O}$ に対応している.

このような，モデルを用いて学習するために各単語に正解または誤りのラベルが付与されている必要 がある.

図 2 BERT での文法誤り検出

図 3 Lang-8 データの一例

## 3 データセットの作成

データセットの作成に Lang-8 コーパス [7]を使用 した.

## 3.1 Lang-8

Lang-8コーパスは学習者の作文であるエッセイと その添削結果からなるコーパスである，各エッセイ には，エッセイ ID，ユーザーID，学習言語タグ，母語タグが付与されている。すべての学習者の文には 1 以上の添削文が付与されている. 本研究では, Lang-8コーパスに含まれる, 日本語学習者が書いた 添削前の文である誤用例と日本語母語話者が添削し た文である正用例のペア 72.2 万文対を用いる. そ の例を図 3 に示す.

## 3.2 データセットへの単語の正誤ラベル 付与

Lang-8 コーパスは，学習者の作文（誤用例）とそ れを訂正した作文（正用例）のペアからなるコーパ スである。誤用例文のどの単語が誤り単語であるか は正用例文を見ることで確認できるが，元の誤用例文の各単語に直接的に誤りラベルが付与されている わけではない. したがって，系列ラベリング問題に 使うためには，誤用例文の各単語に正誤ラベルを付与しておく必要がある.

そこで，アライメントツール [8]を使用して，各単語にラベル付けを行った。具体的には 72.2 万文対の日本語誤用例文と正用例文の対にそれぞれに対 して，アライメントツールを用いて単語アライメン

図 4 Lang-8コーパスのラベル付けの様子 (別の語に置換 される場合)

図 5 Lang-8コーパスのラベル付けの様子 (余計な語があ 了場合)

トをとり，一致しているところを C (正解)，一致し ないところをI（誤り）とした. ラベル付けの様子 を図 4 , 図 5 に示す. 図 4 は，単語アライメントを とった際に対応する単語が誤っている場合のラベル 付けの例である. 図 5 は，単語アライメントをとっ た際に誤用例の方の単語に対応する単語がない場合 のラベル付けの例である. 本研究では，単語アライ メントをとった際に正用例の方に対応する単語がな い場合は扱っていない. このラベル付けされた誤用例データをデータセットとして実験で使用する．本論文では，このデータセットを誤用タグ付きデータ セットとよぶことにする.

## 4 実験

## 4.1 実験データ

文法誤り検出の実験には，誤用タグ付きデータ セットを使用する. 72.2 万の誤用タグ付きデータ セットを表 1 に示す通り, 学習データ，検証データ，評価データに分割した。

## 4.2 評価方法

各単語に対して正誤ラベルを推定し，誤ラベルの 一致度でその性能を評価する。評価尺度には，全て の誤ラベルのうち，どの程度を正しく検出できたか を表す再現率（Recall）と，誤ラベルと検出した中で 正しく誤ラベルであった適合率（Precision）を用い る. 再現率と適合率は通常トレードオフの関係にあ るので，この両者の調和平均である $\mathrm{F}$ 值を用いる. $\mathrm{F}$ 值は式（1）で与えられる。ここで， $\beta(\geq 0)$ は適合率と再現率のどちらかをどの程度重要視するかのパ ラメータであり， $\beta=1$ のときは両者を等しく扱い， $0 \leq \beta<1$ のときは適合率を重視し， $1<\beta$ のときは 再現率を重視する.

$
F(\beta)=\frac{\left(\beta^{2}+1.0\right) \times \text { Precision } \times \text { Recall }}{\beta^{2} \times \text { Precision }+ \text { Recall }}
$

外国語学習のために誤り箇所を指摘する（フィード バックする）ことを考えたとき，文法誤りでないも のを誤りとフィードバックすることは望ましくな く，正確なフィードバックの方がカバレッジの高い 誤り検出よりも学習効果があるとされている [9]. つまり，多くの文法誤りをきちんと誤りとフィード バックする（再現率が高い）ことよりも，与えた誤 りであるというフィードバックが正しい（適合率が 高い）ことが学習にとって望ましい。そこで本研究 では，適合率を重視する $\mathrm{F}(0.5)$ で評価した。

## 4.3 実験条件

本研究で使用した BERT は，東北大学が公開して いる日本語事前学習済みのモデルを用いた．BERT のハイパーパラメータは，最適化アルゴリズムを AdamW（学習率が 0.00001）に，バッチサイズを 32 文にして，検証データを用いて最もロスの少ないエ ポック数を決定した。

比較のために，先行研究の BiLSTMを用いたシス テムを実装したものと，系列ラベリングタスクにお いてよい性能を示している Flair[10][11]を用いた実験を行った.

Flair では，文字エンベディングに基づく単語エ ンベディングのみを用いるモデルと，それに BERT エンベディングを加えた単語エンベディングを 用いるモデルを用いた。このようにして得られ た単語エンベディング系列をBiLSTM_CRF で系列 ラベリングする．前者を Flair+BiLSTM_CRF，後者 を Flair_BERT+BiLSTM_CRF と表記することとする。 それぞれのモデル構造は図 6 と図 7 に示す. 最適化 アルゴリズムには SGDを使用した。ただし，学習率を 0.1 とし， 5 エポック連続で学習損失が減少し ない場合に学習率を半分にするアニーリングを行う [11]. バッチサイズは 32 とした.

## 4.4 実験結果

各モデルにおける文法誤り検出の評価結果を 表 2 に示す。適合率 (Precision) と再現率 (Recall), $\mathrm{F}(0.5)$ 全てにおいて BiLSTM に比べて BERT の方が
表 2 日本語文法誤り検出の評価

図 6 Flair のモデルの構造

図 7 Flair_BERT のモデルの構造 [10][12]

上回っている. 重視している適合率に注目すると Flair+BiLSTM_CRFが最も高い 0.773 となった. ただ し, 再現率は 0.107 と低く, 比較的正確なフィード バックは行えるものの多くの文法誤りを見逃してい る結果となった。一方，BERTを用いたモデルは適合率が Flair モデルに比べるとやや低いものの 0.639 であり, 再現率が 0.226 と Flair のモデルに比べて 高かった. 総合的な指標 $\mathrm{F}(0.5)$ では BERT が最も高 かった. また，単語エンベディングに文字エンベ ディングと単語エンベディングを用いた Flair モデル （Flair_BERT+BiLSTM_CRF）については，文字エンベ ディングのみの Flair（Flair+BiLSTM_CRF）と BERT の中間的な結果となっており, Flair+BiLSTM_CRF の適合率と BERT の再現率のよさをそれぞれ活かせ るハイブリッド型的なモデルになっている. 文字レ ベルのモデルを用いると，正確なフィードバックが 期待でき，BERTなどの単語レベルのモデルを用い ると文字レベル程の正確なフィードバックは期待で
きないが文字レベルのモデルに比べてカバレッジの 高い文法誤り検出になると考える。

## 5 終わりに

本研究では BERT を用いて文法誤り検出システム を実装し，先行研究との比較を行った. 実験の結果，BERT を用いての文法誤り検出システムは，適合率，再現率， $\mathrm{F}(0.5)$ 値のすべてにおいて，先行研究の BiLSTM より高かった. また，文字レベルのモ デル Flairを導入することにより，適合率がさらに 向上し，言語学習者へのより正確なフィードバック が期待できることがわかった. 今後は Flair の高い 適合率と BERT の高い再現率を生かしたハイブリッ ドモデルを実装し，文法誤り検出の性能向上を図り たい.

## 謝辞

Lang-8 のデータ使用に際して，快諾くださった株式会社 Lang-8 社長喜 洋洋氏に感謝申し上げます。 なお，本研究は JSPS 科研費 $19 \mathrm{~K} 12241$ の助成を受け たものです.

## 参考文献

[1] 新井美桜, 金子正弘, 小町守. 日本語学習者向けの文法誤り検出機能付き作文用例検索システム. 人工知能学会論文誌, Vol. 35, No. 5, pp. A-K23_1-9, 2020.

[2] M. Rei and H. Yannakoudakis. Compositional sequence labeling models for error detection in learner writing. In Proceedings of ACL, pp. 1181-1191, 2016.

[3] T. Mizumoto, T. Tajiri, T. Fujino, S. Kasahara, M. Komachi, M. Nagata, and Y. Matsumoto. Naist lang-8 learner corpora, 2012. https://sites.google.com/ site/naistlang8corpora/home.

[4] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin. Attention is all you need. In Neural Information Processing Systems, 2017.

[5] 近江崇宏, 金田健太郎, 森長誠, 江間見亜利. BERT に よる自然言語処理入門 - Transfomers を使った実践 プログラミングー. オーム社, 2021.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. arXiv, 2018.
http://arxiv.org/abs/1810.04805.

[7] M. Tomoya, M. Komachi, and M. Nagata. Mining revision $\log$ of language learning sns for automated japanese error correction of second language learners. In Proceedings of the 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[8] Z. Dou and G. Neubig. Word alignment by fine-tuning embeddings on parallel corpora. In Conference of the European Chapter of the Association for Computational Linguistics (EACL), 2021.

[9] R. Nagata and K. Nakatani. Evaluating performance of grammatical error de tection to maximize learning effect. In Proceedings of COLING, pp. 894-900, 2010.

[10] A. Akbik, T. Bergmann, D. Blythe, K. Rasul, S. Schweter, and R. Vollgraf. FLAIR: An easy-to-use framework for state-of-the-art NLP. In NAACL 2019, 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, 2019.

[11] A. Akbik, D. Blythe, and R. Vollgraf. Contextual string embeddings for sequence labeling. In COLING 2018, 27th International Conference on Computational Linguistics, pp. 1638-1649, 2018.

[12] G. Lample, M. Ballesteros, S. Subramanian, K. Kawakami, and C. Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260--270, 2016.


# テキストマイニングで知る語学教師の発話嗜癖

砂岡和子 ${ }^{1}$ 譚翠玲 $^{2}$
 }^{1}$ 早稲田大学政治経済学術院 ${ }^{2}$ 北海道大学国際広報メディア・観光学院院生

ksunaoka@waseda.jp

chuiling. tam.s3@elms. hokudai. ac. jp
## 概要

大学中国語初級クラス授業での教師の発話をテキ ストマイニングにかけ, 本人の言葉遣いの特徴を可視化する実験を行った. その結果, 授業活動の定量的構造分析では見えない語学教員の発話嗜癖を観察 することができた. 教師 $\Leftrightarrow$ 学習者 $\Leftrightarrow$ 教材の三者間 Interaction が形骸化しないよう, 教師は自身の発話を自覚的にコントロールする必要があり, マイニ ングは発話振り返りのためのツールとして有効であ る.

## 1 研究背景と目的

近年, 学習者中心の教育に授業観の転換が強く求 められ, コロナ禍によるオンライン教育を経て, ど のように学習者が主体的・対話的で深い学びを実現 できるのかが一層重要なテーマになっている[1][2]. Moore は教員と学習者との隔たりの関係を教育学的 に説明する Transaction Distance Theory（交流距離理論）を提唱し, 対話(dialogue), 構成（structure）, 自律性 (autonomy) が成功の鍵であると主張した[3].

図 1 Types-of-interaction

Anderson 等はこのうちの「対話」を更に「教師↔学習者」「学習者 $\Leftrightarrow$ 教材」「教師 $\Leftrightarrow$ 教材」に細分し図 1, この 3 三者間の Interaction を活性化すれば, 深く 意味ある学びを学習者に提供できると説いた $[8]$.

## 1. 1 研究の目的

大学の中国語初級クラスでの教師の発話特徴を, テキストマイニングによって可視化を試みる.教室 での自身の言葉遣いの傾向を, 直感的に知る手段と してマイニングが有効なことを実証するためである。授業参与者の相互作用を分析する研究には, Class Action Research (AR), Learning Analytics (LA),生体情報の適応, エスノメソドロジーによる会話分析など，さまざまなアプローチがある．外国語授業活動の実証的分析には, Flint [8]や COLT, FOCUS な どの枠組みが使われる[9]. だが教育現場はそれぞれ 学習環境や教育目的が異なり, 授業参加者も同じで はない。授業実践はどれも一回性で，かつ進行し続 ける行為的現実 (actuarily) であるため[10], 上掲の 静態的構造分析が一般性を持つとは限らない.

そこで本稿は教師の授業発話をテキストマイニン グにかけ, 本人の言葉遣いの特徵を把握する実験を 行う. 初任段階の教員は内容を教えることに注力す る余り, 自身の発話量をコントロールできない $[11]$.他方, 中堅・熟練教員は, 担当科目の知識や教育技術に習熟する反面, 教場での言葉遣いが習い性とな り, 形骸化に気が付かない場合が多い[12]. 普段意識 しない発話の癖が，ワードクラウド上に浮かび上が れば, 思い込みや知的孤立を回避する契機となろう。

## 1.2 観察対象とデータ

2021 年実施の某大学中国語初級クラス授業 (一コ
マ，breakout room2 回を含む約 60 分間）を録画し，全発話の文字書き起こしを行った。授業形式は HyFlex ${ }^{2}$ で, 出席学生数は対面 7 名+オンライン参加 が 36 名の計 43 名（欠席者 6 名）. 全員中国語初修者.中国語ネイティブのベテラン教員 1 名で授業担当 $(\mathrm{TA}$ 無) . 録画当日の授業内容は, 新しい課の単語の発音チェックと文型練習.学生は LMS（Moodle） での反転授業で予復習済み.

録画中の教師と学生の全授業活動を, Quality On The Line[13]の Benchmark に即し, Teaching \& Learning の複数カテゴリーに分類し, それぞれ生起回数と所要時間を定量的に記述した. その結果, 教員が全授業活動に占める割合は回数で $(61.4 \%)$, 時間数で

(72.0\%) であった. 約 50 名と語学授業としては大規模クラスを, 遠隔と対面を双方に配慮しつつ運営 する必要から, 教員主導の授業になったと思われる.

教員活動の中身は, (1)学生へのフィードバック,

(2)指名, (3)指示, (4)質問, (5)解説が上位を占めた (回数で(1) $19.7 \%$ 、(2) $12.9 \% 、$ (3) $7.5 \% 、(4) 7.1 \% 、(5) 1.7 \% 、$時間比で(1) $20.4 \%$ 、(2)7.2\%、(3)4.5\%、(4)9.0\%、(5)10.2\%).本教員の基本授業スタイルは，学生への丁寧な(1)フ イードバックと (3)指示および(4)質問を, (2)個別の学生を指名しながら繰り返し行い，時折(5)解説を挟む 形式であることが分かる.

## 2 分析方法

上記(1)（5)の上位教員活動の録画書き起こしテキ ストを，それぞれカテゴリーごとにテキストマイニ ングにかける。解析には (株) User Local の AI テキス トマイニング無料ツールを利用した 3 . 無料版で可能 な分析は, 単語出現度（スコア順\&頻度順）, 共起 キーワード，2 次元マップ，係り受け解析，階層的 クラスタリングがあるが，本文では単語出現頻度の 結果のみを挙げる。なお個人情報保護の観点から，固有名詞は一般的な地名や姓氏に置き換えた. User Local は $\beta$ 版で中国語解析も行えるが, 日中英混在テ キストには対応しないため，文字化け防止用に，中国語簡体字は繁体字で書き取った。日中同形漢字は マイニング表示では区別不能であるが，書き起こし 原文で区別できる.

## 3 分析結果と解釈

単語出現頻度のワードクラウドから, 本授業担当教員の使用語彙について，以下 3 点を指摘できる. 1）学習者への謙譲（例：くださる，もらう），依願（例：お願い），詫び（例：ごめんなさい，すみ ません）などの表現を多用する癖がある. 図 2, 3, 4 参照. 学習者の緊張や不安を和らげるためと 推測できるが，目標言語の習得に必要なコミュニケ ーションか否か再考の余地がある.

図 2 [指名]出現頻度順

図 3 [指示]出現頻度順

図 4 [質問]出現頻度順
^{3}$ UserLocal https://textmining.userlocal.jp
}

2）すべてのカテゴリーで日本語と中国語の併用 または混用が多い. 図2[指名]では. 学生は中国語 の発音で姓名を呼ばれるが，聞き取れないと，教員 は日本語での指名に切り替える. 図 5[フィードバ ック]では，学生が良くできたことを褒める（非常，好）は中国語だが，日本語でも（すばらしい，良い，上手）と褒めている。図 4 教員の質問は日本語が多い（例：冷蔵庫，携帯電話，本棚）。

上掲 Quality On The Line による統計結果では, 本授業での教員発話に占める中国語の比率は $9 \%$ 弱と 極めて低い4. 中国語でのインプット, および語彙 のバリエーションを増やし, 学習者に中国語の産出 を促す工夫が求められよう。

図 $\mathbf{5}[$ フィードバック] 出現頻度順

3 ) 文法用語が多い. 図 6[解説]には「場所 ${ }^{5}$, 名詞,主語, 動詞, 代名詞, 指示」など文法解説の語彙が 目立つ. 教科書記載通りの説明は，教師 $\Leftrightarrow$ 教材なら びに学生@教材間 Interaction の形骸化を引き起こす.文法用語の使用を減らし, 学習者のフレイズ産出を 優先する解説法を探求する必要がある.

図 2 [解説]出現頻度順

4 日本の公立高校英語授業で，母語使用の平均は $50 \%$ [14].

## 4 まとめと課題

外国語教師の授業中の発話には, 二重の機能 (Dual function）がある [15].一つは (A) 外国語習得用の卜 レーニング用言語, もう一つは（B）学生とのコミ ユニケーションを図るための発話である. 実際の教場では，両者が混然一体となって使われており，上記テキストマイニングの分析結果からは，(1)フィー ドバック，(2)指名，(3)指示，(4)質問，(5)解説いずれ のカテゴリーにも，（A）（B）が併存し，かつ無意識に混用されている. 学習者の受容と理解の負担軽減には，上記指摘の如く，1）普段教師が（B） と考える発話嗜癖に気づき，真正のコミュニケーシ ヨン促進の言葉に改め，（A）との使い分けを意識 すること．2）多言語併用を管理して，学習者の混乱を小さくすること．3）文法用語等の専門語彙を 減らす，または言葉を置き換え，学習者が目標言語 を実際に使用する場面を増やすなど工夫が必要だ。

マイニングの結果は，教授者が自身の言語使用の機能と, それが学習に与える効果について, より自覚的であるべきことを示している。

誤解が無いよう断っておくが，本教員の授業に対 する学生評価は高い。他大学と共通で半期ごとに実施する学生アンケートでは, 本大学教師の授業は,学生同士のペアワークやグループワークの機会, 宿題や小テストへの取り組み，教員やクラスメートに 気軽に相談や質問ができるなどの項目において，他校より平均値が有意に高く，授業中指名（質問）の チャンスも十分あると回答している（待刊）。

一回ごとの授業は, 社会的・文化的文脈に埋め込 まれた動態的実践である．従って，授業分析も実践当事者である教師が，内省材料として主体的に利用 することが望ましい.

発話嗜癖可視化に有用なテキストマイニングであ るが，課題は，外国語授業の発話は多言語を基本と するのに対し, 現今の言語処理ツールは単言語をド メインとする点にある．翻訳，音声認識，音声合成 などあらゆるツールが, 多言語混在テキストや音声 の処理には対応していない.加えて中国語は日中同形漢字が存在し，解析ツールで両者を区別すること が難しい. 今回は手作業で入力テキストに工夫を加 えたが，多言語混在音声や文書を扱えるツールがあ

5 中国語の名詞には, 場所名詞と一般名詞があり，文法機能が異なる.

れば，より簡便に語学授業のテキストマイニングを 実行できよう．今後に期待したい。

## 謝辞

本研究の一部は JSPS 科研費 C (21K00773) の助成による.データ作成に (侏)UserLocal の AI テキスト マイニング無料ツールを利用した. 併せて感謝する.

## 参考文献

1. 文部科学省平成 $29 \cdot 30 \cdot 31$ 年改訂学習指導要領 https://www.mext.go.jp/content/1421692_8.pdf

2. 文化審議会国語文科会. 2019 年度日本語教育人材 の養成・研修の在り方について（報告）改訂版 https://www.bunka.go.jp/seisaku/bunkashingikai/kokugo /kokugo/kokugo_70/pdf/r1414272_04.pdf

3. Moore, M. (1989). Three types of interaction. American Journal of Distance Education, 3(2), 1-6.

4. Anderson, T. (2003). Modes of Interaction in Distance Education: Recent Developments and Research Questions. In M. Moore and G. Anderson (Eds.), Handbook of Distance Education. (pp. 129-144) NJ: Erlbaum.

5. Lave, J., \& Wenger, E. (1991). Situated learning: Legitimate peripheral participation. Cambridge University Press.

https://doi.org/10.1017/CBO9780511815355

6. Wenger, E. (1998). Communities of practice: Learning, Meaning, and identity. Cambridge University Press. https://doi.org/10.1017/CBO9780511803932

7. Rovai, A. P. (2002). Building sense of community at a
Distance. The International Review of Research in Open and Distance Learning, 3(1), 1-16.

https://doi.org/10.19173/irrodl.v3i1.79

8. Moskowitz, G. (1971). Interaction analysis : a new

Modern language for supervisors. Foreign Language Annals. 5:211-21.

9. 飯野厚 (2008). 「語学授業観察法の概観〜 FLint, COLT, FOCUS に焦点をあてて〜」『清泉女学院短期

大学研究紀要』, 27 号. pp. 13-29.

10. 小田博志(2010).『エスノグラフィー入門 :<現場 >を質的研究する』春秋社

11. 長門三成子 (2010). 「実習生の教室談話の構造教師と学習者のインターアクションを中心に一」『日本語教育実践研究論文集』筑波大学大学院地域研究研究科 pp. 69-83.

12. 横溝紳一(2021).『日本語教師教育学』くろしお 出版

13. National Education Association (2000) . Quality On The Line: Benchmarks For Success in Internet-Based Distance Education, The Institute for Higher Education Policy. https://www.ihep.org/wp-

content/uploads/2014/05/uploads_docs_pubs_qualityont heline.pdf.

14. 中村啓子(2017).公立高校における「英語による 授業」に対する英語教師の意識調査,Sophia University Junior College Division Faculty Journal, 第 38 号,3146.

15. 靳洪刚 (2018). 提问互动法: 语言课堂教师提问的理论与实践. 国际汉语教育. 3(1), 46-62.


# 日本語 BERT モデルによる近代文の誤り訂正

謝素春 松本章代
東北学院大学大学院 人間情報学研究科
s2195101@g. tohoku-gakuin. ac. jp

## 概要

近代の資料は重要な価値がある. 現在文書の電子化には光学文字認識 (OCR) がよく使われているが,既存の OCR モデルの識別では近代文書を正確に獲得することが困難なため, 識別エラーを訂正する必要がある. 現在, 言語モデルを OCR の誤り訂正に運用する手法が用いられているが，公開されている日本語言語モデルは主に現代文データで学習したもの であり，近代文に対しては性能をうまく発揮できな い可能性が高い. そこで本研究は, 近代文のデータ を収集し，近代文言語モデルを構築する。また，近代文の誤り訂正データセットを構築し, モデルの誤 り訂正性能を検証した。さらに比較実験を通じて，近代文と現代文モデルの間の転移性を検証した。

## 1 はじめに

近代, すなわち明治時代 (1868) から昭和初期 (1945) までの歴史は日本に対して大きな変化を与えた。近世から現代までのかけ橋として, 当時の教育, 経済,政治，および文化は現在の日本にも影響している。 その当時の紙資料は今でも数多く保管され，重要な 価値を持っている。古文書であれば，従来は人手に よって手書きの文章を解読し, 現代文に書き換えて 出版していたが，現在では，紙の資料を画像化し，人工知能に基づく手法を用いて，自動的に文字列に 変換する方法が用いられている.しかし残念ながら，現在古文書のテキスト化は手書き字やくずし文字で 保存された江戸時代の古典籍を対象とした研究がメ インとになっており $[1,2,3]$, 活字体である近代の出版物に対しての研究はほとんど見当たらない. そこ で，近代の文書をテキスト化する研究をおこないた いと考えた。

画像からテキストを変換するには光学文字認識 (Optical Character Recognition; OCR)を利用するのが 一般的だが，文書の保存状況やフォントの違いと異

図 1 近代文書の一例 1916 年の東北学院時報体字の使用[4],および利用したOCRなどによって，識別の精度が大きく変わる一方，現代文のテキスト 化と比べ, 近代文のテキスト化精度はまだ高くない。正確な文章を得るためには, OCR の識別エラーに対 して，校正を行う必要がある。

近代文書のテキストにおいて，従来は主に人手よ り文字入力および校正が行われているが，近年では OCR を用いての自動テキスト化と人手校正を組み 合わせる手法を用いられた。しかし，文字が不鮮明 のため脱字が発生する場合や, OCR の学習データ不足のため識別できない文字がある場合が散見される， その一例を図 1 に示す。それに対して，増田[4]は言語情報および字形情報を同時に考慮した OCR 訂正手法を提案した。しかし，近代文書における誤り検出の困難さにより，テキスト全体の訂正率にはあま り寄与しなかった。また近代文コーパスで学習した Kindai-OCR ${ }^{i}$ [5]，NDLOCR ${ }^{\mathrm{ii}}$ を開発したが，近代資料で実際に検証した結果，識別精度はまだ改善する 余地があることが示された.

近年 OCR の誤り訂正タスクにおいて，BERT ${ }^{\mathrm{iii}}$ モ デルを用いる手法を見られる．BERT モデル[6]は，

iii https://github.com/google-research/bert

Google 社が提出した事前学習済み言語モデルであ り, ほかの言語モデルと比べ，文脈を考慮した単語 の分散表現を獲得する特徴がある。BERTを用いた 手法は分類タスク，質問応答などを含む様々なタス クにおいて優れた結果を示した[6].

誤り検出と誤り訂正のタスクにおいても, BERT が有効であることが確認されている. Kaneko ら[7] は，文法誤り訂正(GEC)タスクにおいて BERT を組 み込むことで，優れた結果を得た．Yamakoshi ら[8] は BERT をベースにした分類器を使用し, 日本語の 法律用語の誤りの検出と訂正タスクにおいて，他の モデルを上回る性能が出せることを示した. 近代文 の識別誤りにおいても，事前学習済夕 BERT モデル が有効と予想される.

上記のタスクでは代表的な事前学習済みの汎用型日本語 BERT モデルである東北大 BERT ${ }^{\mathrm{iv}}$ と京大 BERT $^{v}$ [9]を利用した. ほかに NICT ${ }^{v i}$ や Laboro 社vii によりいくつかの日本語 BERT モデルも公開されて いる。それらのモデルは主に日本語 Wikipedia をコ 一パスとして学習し, ほかに経済新聞やインターネ ット上のオープンデータから学習しているモデルも あるが，いずれも現代文を用いて訓練したモデルで あり安易に近代文に適応しても良い結果は得られな いと予想される。

近代文用の BERT としては青空文庫 (2020 年時点) で事前学習したモデルviii がある. ただし, 青空文庫 の多数は，新字新仮名で書かれたものである. その 中に同じ文章を新字新仮名と旧字旧仮名 2 つのバー ジョンが同時に存在する場合もある. 青空文庫 BERT はそれらのデータを現代文として学習に利用 しているため, 近代文に対する性能は高くないと予想される.

そこで, 本研究は新たな近代文データセットを収集し, 近代文用の BERT モデルを構築する. また近代文の誤り訂正データセットで微調整学習(finetuning)する. 最後に, モデルの誤り訂正性能を検証寸る. さらに, 近代文モデルと既存の現代文モデル をそれぞれ近代文と現代文の誤り訂正データセット を用いて比較実験を行う。

## 2 近代文 BERT モデルの構築

現代文と比べて近代文は独自の仮名や漢字遣いが 存在し, 文法も異なる部分が多いため, 近代日本語 のテキスト化において誤字訂正は事前学習済みの近代 BERT モデルを使用することで性能が向上できる と予想されている。しかし, 現時点性能を確認され た近代文用の BERT モデルが存在していない。そこ で本研究では, 近代文用の BERT モデルを構築する. また, 事前学習済みのモデルを用い, 近代文の誤り 訂正データセットで微調整学習し, 近代文モデルの 性能検証を行う。それに加え，現代文と近代文の誤 り訂正データセットにおいて，現代文 BERT と近代文 BERT の比較実験をおこない，近代文用 BERT の 有効性を調查する。

## 2.1 近代文コーパス

近代の紙資料は数多く存在するが，テキスト化さ れたものは少ないうえ，公開されているデータはさ らに少なく，データの入手が困難である。本研究の 事前学習用データは, 2022 年 7 月 30 日時点の青空文庫のデータおよび国立国語研究所 $\mathrm{ix} よ り$ 公開され た近代語コーパスより獲得した。

青空文庫 ${ }^{x}$ は著作権が切れた日本語文章が数多く 収録されており，2022 年時点は 1000 名以上の作家 の作品が収録されている。その中に明治期から昭和初期の文章が多数存在し, その一部は入力時に新字新仮名の文章に変換されている。旧字旧仮名の文字 に統一するため, 本研究は新字新仮名と旧字旧仮名 の文章を分けて収集し処理を行った。

近代語コーパスxi は『太陽コーパス』, 『近代女性雑誌コーパス』，『明六雑誌コーパス』，『国民之友コーパス』xii の４つのコーパスにより構成され ている。明治前期から昭和戦前期まで（1945 年）の 近代資料より選ばれた代表的な近代資料である[10]. これらのデータは文章入力後, 人手による校正も行 われており，近代日本語のモデル構築に適切なデー タといえる。

近代語コーパスも青空文庫と同様に，文章の間は

1 の空白行で区切り, 文章の内容は 1 文 1 行に分割して処理する．正確に分割できない文に対しては 人手で句読点を追加して文を分割した。 上記 2 つの コーパスから作成した近代文データセットは合計 $627 \mathrm{MB}$ ，約 508 万文である.

## 2.2 モデルの事前学習

BERT Base モデル[6]を用いて近代文 BERT を構築 した. 分かち書きありの設定とし, 近代文語 Unidic ${ }^{\text {xiii }}$ [11]による $\mathrm{MeCab}^{\mathrm{xiv}}$ を使用した. 事前学習の実装は 東北大 BERT を利用し, 100 万ステップの学習を実施した.

## 3 近代文識別率の事前調査

既存の OCR が近代文に対する識別率を調査する ため, Tesseract OCR ${ }^{\mathrm{xv}}$, EasyOCR ${ }^{\mathrm{xvi}}$, PaddleOCR ${ }^{\mathrm{xvii}}$, Kindai-OCR [5], および Cloud Vision OCR ${ }^{\text {xviii } の ~} 5$ 種類の OCR モデルを比較した. その結果, 識別率が比較的に高いCloud Vision OCR を識別モデルとして採用した.

近代文書の識別率を客観的に評価するため, 近代文章の画像で実験を行った。近代の出版物は様々あ るが，東北学院時報xixおよび『文明論の概略』の一部を実験対象とした. 東北学院時報は, 1916 年に創刊され, 2022 年現在まで 100 年以上発行を続けてい る. 創刊号から現存するものはすべて画像として PDF 化され，ネットで公開されている。 そのうち, 1916 年の第 1 号から第 3 号の内容より 59 枚のキャ プチャ画像を作成し，テキスト化の実験対象とする. また, 『文明論の概略』は, 1931 年に岩波書店から 出版された. 第 1 章より 61 枚のキャプチャ画像xx 作成し, 同じくテキスト化の実験対象とする. 実験対象から 120 文のキャプチャ画像および対応テキス トを含むデータを人手より作成した(『文明論の概略』 のテキストはブログxi 上のデータに基づいて作成 した). キャプチャ画像の選定基準としては, 主に縦書きの 1 文から 2 文単位でキャプチャ画像を作成し,複雑なレイアウトを含む内容は今回選択していない. Cloud Vision OCR で検証した結果，近代文に対する

平均識別率は $89 \%$ \%゙った. さらに識別エラーに対し て分析し, 近代文の識別エラーは主に誤字, 脱字で あることを確認した。

## 4 評価実験

## 4.1 近代文誤り訂正データセット

事前調查により近代文の識別エラーは誤字と脱字 が主たる要因となることがわかった。本研究ではま ず誤字を中心に検証する。また，脱字は未来のタス クとする。近代文に対する誤り訂正能力を検証する には, 近代文の誤り訂正データセットが必要である.本研究では, 近代文データに基づき, 類似文字の書 き換えにより近代文誤り訂正データセットを作成し た。作成方法は下記の通りである.

1. 類似文字作成: フォントより文字を画像化 し，画像のバイナリデータを取得する。その 後，文字画像をぺアごとに類似度を計算し，類似度が高い top-6を類似文字とする.フォ ントに含まれていない文字は，異体字リス 卜xxii より類似文字を生成する。

2. 近代語コーパスを文ごとに改行して正規化 する. その後, 長さ 10 以下また 200 以上の 文を取り除く[12].

3. 文ごとに，近代文語 Unidic を用いた MeCab を利用して分かち書きする. その後, ランダ ムに単語を選択し, その中の 1 文字を該当 する類似文字に変更する。

4. 変更された文字以外のテキストと組み合わ せることで，正解文と誤字を含む文のぺア を作成する。

## 4.2 近代文モデルの検証

近代文 BERT モデルの性能を検証するために，構築した近代文誤り訂正データセットで微調整学習し たモデルを, 評価データでの正解率を評価基準とし て性能を評価する. 188832 ペアの近代文エラーデー タセットから，学習データ，検証データおよび評価 データをそれぞれ $165087,11846,11899$ で設定した。

表 1 近代文 BERT の誤り訂正の正解率

表 2 近代文 BERT と東北大 BERT の比較実験

学習時に学習率は 1e-5 で設定し, 最大シーケンス長 は 60 , batch size は 32 で，それぞれ $5,10,15$ エポッ クで学習し, 評価データでの性能を検証する. 評価時は，エラー箇所を指定せず，文中にあるすべての トークン位置に対して語彙数での分類を実行する,尤度が最も高い予測（分類）結果を当該位置で選択 されたトークンとする。提供された正解文と完全に 一致する場合のみを正解とする。

## 4.3 比較実験設定

比較実験では, 近代文データセットより学習した モデルと現代文データセットより学習したモデルに 対し, 現代文と近代文の誤り訂正データセットでの 微調整学習により比較実験し, 性能評価を行う. 現代文用のモデルは, 東北大の BERT base モデルとす る. 評価用のデータセットに関しては, 近代文に対 する性能検証は近代文誤り訂正データセットを用い るが，現代文に対する性能評価は現代文の誤り訂正 データセットである京大の日本語 Wikipedia 入力誤 りデータセットxxiii [12]用いる. 京大の誤りデータ セットには複数のエラータイプのデータが含まれる が, 一貫性を保持するため, 誤字のエラータイプの みを用いる。

## 5 結果と考察

近代文の誤り訂正データセットでの検証結果を表 1 に示す. 微調整学習の Epoch 数を増やすと, 評価 データでのエラー訂正の正解率が向上した, Epoch

xxiii 日本語 Wikipedia 入力誤りデータセット:

https://tinyurl.com/2gkurns6数が 15 の時に正解率が最も高く, 0.56 になった. そ れにより, 事前学習した近代文 BERT モデルは誤り 訂正のタスクにおいて有効であり, 誤り訂正データ セットでの微調整学習も有効であることがわかった。

比較実験の結果を表 2 に示す. 近代文誤り訂正夕 スクにおいて, 近代文 BERT は現代文 BERT より正解率が約 0.36 向上した.このことから, 近代文 BERT は有意義であることがわかる。また，近代文 BERT および現代文 BERT は，それぞれ逆のデータセット によるタスクにおいて正解率が低くなった.このこ とから, 現代文と近代文はある程度の共通点はある が，近代あるいは現代文一方のデータのみで学習し たモデルはもう 1 の言語種類のタスクでは適切に 機能しない可能性が示唆された.

また，近代文 BERT が近代文タスクで達成した正解率は現代文 BERT が現代文タスクで達成した正解率より低い.これは事前学習時の学習データ量の違 いが要因と考えられる. 東北大 BERT は 4GB, 約 9.3 億の単語量で学習したのに対して, 近代文 BERT は $627 \mathrm{MB}$ で 1.4 億のデータで訓練した. 事前学習量の 差は 6.4 倍であるため, 正解率の差は事前学習のデ 一夕量による違いと考えられる。

## 6 まとめ

本研究は青空文庫および近代文コーパスを用い，近代文用の BERT 事前学習モデルを構築し，その性能を検証した．類似文字変換により生成された近代文の誤り訂正タスクによりその性能を検証した。そ の結果, 近代文 BERT モデルは, 現代文用の BERT モデルより高い性能を示した. また, 比較実験より 近代文または現代文のみで学習したモデルは, もう 1 つの言語のタスクには対応できないことを実験的 に示した。

また, 微調整学習した近代文用の BERT モデルを OCR の識別エラーで評価したが, 性能は十分に高く なかった. 今後の課題として, 近代文の事前学習の データ量を増やし，近代文の誤り訂正タスクおよび 近代文の識別誤り訂正の実運用における性能を改善 できるかを検証していく.

## 謝辞

本研究は Google の TPU Research Cloud (TRC) program のTPU 支援を受けたものです.

## 参考文献

[1] Dilbag Singh, C.V. Aravinda, Manjit Kaur, Meng Lin, Jyothi Shetty, Vikram Raju Reddicherla, and Heung-No Lee. Dknet: Deep kuzushiji characters recognition network. In IEEE Access, Vol. 10, pp. 7587275883, 2022.

[2] Lamb, Alex, Tarin Clanuwat, and Asanobu Kitamoto. KuroNet: Regularized residual U-Nets for end-to-end Kuzushiji character recognition. In SN Computer Science, Vol. 1, No. 177, pp. 1-15, 2020.

[3] Anh Duc Le, Tarin Clanuwat, and Asanobu Kitamoto. A Human-Inspired Recognition System for Pre-Modern Japanese Historical Documents. In IEEE Access, Vol. 7, pp. 84163-84169, 2019.

[4] 増田勝也. 言語情報と字形情報を用いた近代書籍に対する OCR 誤り訂正. 人文科学とコンピュー 夕研究会 2016 論文集, pp. 57-62, 2016.

[5] Anh Duc Le, Daichi Mochihashi, Katsuya Masuda, Hideki Mima, and Nam Tuan Ly. Recognition of Japanese historical text lines by an attention-based encoder-decoder and text line generation. In Proceedings of the 5th International Workshop on Historical Document Imaging and Processing, pp. 37-41, 2019.

[6] Jacob Devlin, Ming Wei Chang, Kenton Lee, and

Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1 (Long and Short Papers), pp. 4171-4186, 2019.

[7] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4248-4254, 2020.
[8] Takahiro Yamakoshi, Takahiro Komamizu, Yasuhiro Ogawa, and Katsuhiko Toyama. Japanese Mistakable Legal Term Correction using Infrequencyaware BERT Classifier. In IEEE Big Data, pp.4342-4351, 2019.

[9] 柴田知秀, 河原大輔, 黒橋禎夫. BERT による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, pp. 205-208, 2019.

[10] 近藤明日子, 田中牧郎. 『明六雑誌コーパス』 の仕様. 『近代語コーパス設計のための文献言語研究成果報告書』,pp. 118-143, 2012.

[11] 小木曽智信, 小町守, 松本裕治. 歴史的日本語資料を対象とした形態素解析. 自然言語処理, Vol. 20, pp.727-748, 2013.

[12] 田中佑，村脇有吾，河原大輔，黒橋禎夫. 日本語 Wikipedia の編集履歴に基づく入力誤りデータセ ットと訂正システムの改良. 自然言語処理, Vol 28, pp. 995-1033, 2021.


# Towards Creating Analytic Dimensions for Evaluating the Quality of Debate Counter-Arguments

Wenzhi Wang ${ }^{1,2}$ Paul Reisert $^{3}$ Naoya Inoue $^{4,2}$
Shoichi Naito ${ }^{1,2,5}$ Camélia Guerraoui $^{1}$ Keshav Singh $^{1} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University $\quad{ }^{2}$ RIKEN $\quad{ }^{3}$ Beyond Reason $\quad{ }^{4}$ JAIST $\quad{ }^{5}$ Ricoh Company, Ltd.
\{wang.wenzhi.r7, guerraoui.camelia.kenza.q4, singh.keshav.t4\}@dc.tohoku.ac.jp
beyond.reason.sp@gmail.com naoya-i@jaist.ac.jp
shohichi.naitoh@jp.ricoh.com kentaro.inui@tohoku.ac.jp

## Abstract

Evaluating the quality of argumentative texts is a challenging but exciting research topic which has gained attention over the years. In the context of debates, quality evaluation has been extensively researched and applied to top-level arguments but rarely to counter-arguments due to their complex nature. In this work, we tackle the task of argumentative quality assessment of counter-arguments (CA) in a debate. We first survey a set of debate rubrics and papers to find commonalities applicable to evaluating CAs and create four new analytic dimensions for assessing their quality. To test the feasibility of our dimensions, we employ crowdsourcing to evaluate CAs using our dimensions, and we report our preliminary results.

## 1 Introduction

Counter-arguments are an important way of constructing an argument, especially in the context of debates. One must first consider their opponent's argument both logically and rhetorically in order to construct an effective counter-argument. Such way of considering an opponent's argument can significantly help one improve their critical thinking skills. One means for constructing counterarguments includes parliamentary debates which require critical analysis and rhetorical skills [1].

An example of a parliamentary debate is shown in Figure 1. In this debate, the Prime Minister makes their original argument (OA), and the Leader of the Opposition attacks the Prime Minister's point in their counter-argument (CA). After both parties complete their turns, their arguments are then evaluated by a judge who declares a winner.

 &  \\

 & \\

Figure 1 Overview of our analytic dimensions created for capturing the quality of the $\mathrm{CA}$ in response to the $\mathrm{OA}$ along with their respective scores collected via crowdsourcing.

Not only is this time-consuming for a judge, especially for a teacher in a debate class, but it has the possibility of introducing bias into the evaluation. Therefore, an automated approach to evaluating arguments in a debate is ideal.

Although many works have focused on the evaluation of the original argument (i.e. arguments that argue freely for or against the topic without basing on the logic of another argument) in a debate, little attention has been given to the evaluation of counter-arguments due to their dependency on the original argument during evaluation. In order to automatically evaluate such counter-arguments, a model built on top of a rich dataset of original arguments and counter-arguments consisting of evaluated scores along
with their reasoning is required. However, it remains an open issue as to what evaluation criteria are even required to automate the quality evaluation of counter-arguments.

There are many benefits to creating evaluation criteria for automatic $\mathrm{CA}$ evaluation. In the context of education, students learning debates could utilize the criteria scores output by a computational model given to their counterargument, where the scores themselves could guide the learners towards improving their argumentation given reasons such as those shown in Figure 1. Furthermore, as mentioned a priori, the workload for judges (e.g. educators) and bias could significantly be reduced. To assist learners even further, both scoring the argument while simultaneously providing the spans in the $\mathrm{OA}$ and $\mathrm{CA}$, where the arguments could be improved, could even further assist the learning in improving their argumentative skills.

Towards the ultimate goal of automatic evaluation of CAs, in this work, we focus heavily on creating new dimensions for evaluating CAs. We first collect a wide range of debate rubrics and find commonalities among them. Based on our findings, we create four new analytic dimensions (see Figure 1), each of which is assessed with a 3 -scale score along with reasons. Finally, we test the feasibility of our dimensions via crowdsourcing. ${ }^{1)}$ Overall, we discover that while our dimensions are new, there are still many challenges to overcome.

## 2 Related Work

Recently, the majority of works in the argumentation field focus on evaluating arguments on general dimensions, such as persuasiveness $[2,3,4,5,6]$ which mostly focuses on whether an argument is strong, clear, supported by decent evidence; appropriateness and content richness $[7,8,9]$, where appropriateness is defined as whether an argument is on-topic and has the right stance and content richness is broadly described as how many distinct aspects an argument covers; plausibility [7, 10] which is assessed in a sense of whether an argument contradicts the commonsense or in other words, whether a human will plausibly make it; grammaticality [6, 8, 7, 9], coherence [5], and bias [7]. However, those dimensions are too generic in the sense that they solely take into account the relation between an argument and a given prompt (topic) or the relation between argumentative units within an argument.

Table 1 New dimensions created for CA evaluation. Our new dimensions differ from previous dimensions in that they were created for CA in direct response to a topic (prompt) and an OA.

 &  \\

Thus, they do not reflect properties that are inherent in the counter-argument that is in relation to the given topic as well as the original argument.

Wachsmuth et al. [11] proposed a taxonomy with 15 dimensions for argumentation quality assessment and annotated a corpus of stance-argument pairs based on those dimensions. The dimension Global sufficiency, which says argumentation is sufficient if it adequately rebuts those counter-arguments that can be anticipated, is most relevant to our work. Nevertheless, it cannot be directly applied to evaluating the counter-argument in the context of debates since it does not address the specific relation between the original argument and the counter-argument with the presence of the actual original argument.

We argue that analytic dimensions of quality for CAs in a setting of debates should consider more the relationship between the original argument and counter-argument. In this work, we attempt to create dimensions that are specific to evaluating CAs in a debate.

## 3 Creating Analytic Dimensions

As shown in Section 2, several dimensions for CAs exist. However, the dimensions are either too general or do not consider CAs in response to debate-level original arguments. In order to create quality dimensions that are specific to evaluating counter-arguments, we first explore debate rubrics for determining common properties amongst scores which can help in creating new analytic dimensions.

## 3.1 Existing debate rubrics

To obtain clues about which dimensions to create, we collected 7 publicly available debate rubrics ${ }^{2}$ and surveyed

2) The debate rubrics we surveyed can be found at https://gi thub. com/oubunshitsu/debate_CA_assessment.

Table 2 Scoring rubrics for our newly created dimensions for counter-arguments (CA) in response to an original argument (OA).

 & 1 & CA misquotes or does not quote the OA. \\

them for common properties useful for evaluating counterarguments in response to debate-level original arguments. We found that a decent CA should directly and effectively respond to or attack the points made by the opposing side, in our case, the OA. Such attacks should be supported with convincing evidence clearly explaining why the arguments from the opposing side are weak or illogical. On top of that, a good CA can also state its own arguments showing the reason that it is stronger than the opposing side, thus enhancing the overall persuasiveness.

## 3.2 Our new dimensions

Definitions Based on our findings in existing debate rubrics, we create four new dimensions, each of which is scored with a 3-scale value, for evaluating counterarguments in response to debate-level original arguments. The definitions of the dimensions are shown in Table 1.

Considering the characteristic of parliamentary debates where the OA only mentions one central point (supported with several premises), we set the dimensions of Quotation from the Original Argument and Attack on the Main Point to be focused on the main point in the OA. Although we are aware that a good attack in a CA should be supported by decent evidence, we do not consider dimensions related to evidence in this work since they have already been extensively explored in the literature [2].

Scoring criteria We also provide a scoring rubric for each of the 4 dimensions. The scoring rubrics are shown in Table 2. We set the scoring scheme to be 3 -scale to make each score as distinct as possible so that it could serve as constructive feedback to some extent, to show specifically how the argumentation could be improved.

## 4 Crowdsourcing Experiment

We describe our preliminary crowdsourcing experiment for testing the feasibility of annotating our new dimensions.

## 4.1 Data

In this work, we use The Debate Dataset, a dataset of debates created via crowdsourcing ${ }^{1)}$ and an extension of the dataset used in TYPIC [12]. When creating this dataset, crowdworkers were given the topic "Students should have part-time jobs", and an original argument supporting the topic. Workers were then instructed to write a point from the original argument and write their counter-argument to rebut the point. The dataset contains 5 original arguments with 446 counter-arguments in total. In the experiments, we utilize all 5 original arguments with 5 associated counter-arguments for each as a preliminary test. We plan to annotate and publish all the data in the future.

## 4.2 Experiment: Counter-argument Quality Assessment Task

We first collect workers with a basic understanding of our task and grant them the qualification of Outstanding worker. ${ }^{3)}$ Following the work [8], for each dimension, we show an example counter-argument for every possible score in addition to the scoring rubric in the crowdsourcing in-

Table 3 Krippendorff's $\alpha$ with interval distance function for each dimension as well as all dimensions combined.

terface ${ }^{4)}$. Workers are instructed to rate a CA based on the scoring rubrics and also write down their specific reasons for the rating for each dimension. Five unique Outstanding Workers are asked to annotate one CA at a time. In total, $125(=5 \times 5 \times 5)$ annotations are conducted.

## 4.3 Results and Analysis

There are seven unique workers in total who participated in the experiment. To measure inter-annotator agreement among workers, we calculated Krippendorff's $\alpha$ [13]. As shown in Table 3, we obtained moderate agreements on $A o S, Q u o$, and Att, however, low agreement on Nat.

We investigated the reason for the low agreement rate (e.g. Nat) by manually checking some of the scoring reasons written by workers. Our main findings include 1) there are still some expressions used in a nebulous way in the rubrics, which potentially brought in subjectivity, such as "vague attack" in Att or "new argument" in Nat. 2) for Nat, the current rubric cannot cover the situation where there are both "new arguments that are for the topic" and "new arguments that are against the topic" mixed in a single essay, which implies that a more fine-grained level annotation of dividing the counter-argument essay into individual arguments and assessing on top of that is needed. 3) workers' understanding of "the main point made in the original argument" also varies, which indicates the difficulty of this task that one must understand the logic of both sides.

## 5 Discussion

Towards a more fine-grained annotation, where each of the individual arguments (i.e. claim and its supporting premises) could be assessed separately and aggregated to the overall quality of the counter-argument, we first attempted to capture different granularity of attacks.

Given that, ideally, a strong counter-argument could comprehensively attack all the points made in the original argument (including the central point and all the supporting premises), we investigated various ways of capturing the coverage of attacks using crowdsourcing.

Free selection We first allowed workers to freely se-

lect all attack pairs (i.e. free text spans) between the OA and CA. Although we were able to collect reasonable attack pairs, we found that the results largely varied among workers, which made it difficult to calculate the agreement.

Sentence-level selection We attempted to solve the issue by having workers select pre-separated sentences, instead of free spans, from both the OA and CA. We still found difficulties for the annotators, potentially due to the fact that the understanding of the two essays also varies.

Logic-graph Representation To assist workers in better understanding the OA, we tried explicating the logic of the OA by representing it as a logic graph. Each argument, including the central point and all the premises that support the point, is broken down into nodes and relations. Each node is a concept, and the relations mainly include causal relations (promote and suppress [14]). We had workers select one sentence from the CA and all the nodes or relations attacked by the sentence in the logic graph. We found that although it is possible to collect attack pairs in this way, it is required to know the argumentative structure within the CA in advance when it comes to evaluating the attacks since there might be associations between sentences in different attack pairs (e.g. one sentence might serve as evidence for another in the CA, thus we cannot simply ask the question "Is this attack supported by evidence" for every attack pair).

## 6 Conclusion and Future Work

In this work, we tackled the challenging task of assessing counter-arguments in debates. We surveyed several debate rubrics and created four new analytic dimensions for evaluating the quality of the counter-argument in relation to the original argument. We conducted a crowdsourcing experiment and found that while the workers understand the dimensions, there are still many challenges to achieving a good agreement among workers.

In our future work, we will refine the scoring rubrics based on workers' scoring reasons and have workers highlight the text segments along with their scores instead of writing the reasons in free text. We will also expand the annotation to the whole corpus. Moreover, we will explore more fine-grained annotations where we could capture the diversity of attacks and also incorporate dimensions related to evidence assessment, based on previous works, into the evaluation procedure of counter-arguments.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 22H00524.

## References

[1] Kate Shuster and John Meany. Introducing parliamentary debate: A resource for teachers and students. Claremont Colleges Debate Outreach, January 2016.

[2] Winston Carlile, Nishant Gurrapadi, Zixuan Ke, and Vincent Ng. Give me more feedback: Annotating argument persuasiveness and related attributes in student essays. In Proceedings of the 56th Annual Meeting of the ACL (Volume 1: Long Papers), pp. 621-631, Melbourne, Australia, July 2018. ACL.

[3] Martin Hinton and Jean H M Wagemans. Evaluating reasoning in natural arguments: A procedural approach. Argumentation, Vol. 36, No. 1, pp. 61-84, March 2022.

[4] Thiemo Wambsganss and Christina Niklaus. Modeling persuasive discourse to adaptively support students' argumentative writing. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8748-8760, Dublin, Ireland, May 2022. ACL.

[5] Thiemo Wambsganss, Christina Niklaus, Matthias Cetto, Matthias Söllner, Siegfried Handschuh, and Jan Marco Leimeister. AL: An adaptive learning support system for argumentation skills. In Proceedings of the $2020 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, CHI '20, pp. 1-14, New York, NY, USA, April 2020. ACM.

[6] Benjamin Schiller, Johannes Daxenberger, and Iryna Gurevych. Aspect-controlled neural argument generation. In Proceedings of the 2021 Conference of the North American Chapter of the ACL: Human Language Technologies, pp. 380-396, Online, June 2021. ACL.

[7] Khalid Al Khatib, Lukas Trautner, Henning Wachsmuth, Yufang Hou, and Benno Stein. Employing argumentation knowledge graphs for neural argument generation. In Proceedings of the 59th Annual Meeting of the ACL and the 11th IJCNLP (Volume 1: Long Papers), pp. 4744-4754, Online, August 2021. ACL.

[8] Xinyu Hua, Zhe Hu, and Lu Wang. Argument generation with retrieval, planning, and realization. June 2019.

[9] Milad Alshomary, Shahbaz Syed, Arkajit Dhar, Martin Potthast, and Henning Wachsmuth. Argument undermining: Counter-Argument generation by attacking weak premises. May 2021.

[10] Shai Gretz, Yonatan Bilu, Edo Cohen-Karlik, and Noam Slonim. The workweek is the best time to start a family a study of GPT-2 based claim generation. In Findings of the ACL: EMNLP 2020, pp. 528-544, Online, November 2020. ACL.

[11] Henning Wachsmuth, Nona Naderi, Yufang Hou, Yonatan Bilu, Vinodkumar Prabhakaran, Tim Alberdingk Thijm, Graeme Hirst, and Benno Stein. Computational argumen- tation quality assessment in natural language. In Proceedings of the 15th Conference of the European Chapter of the ACL: Volume 1, Long Papers, Stroudsburg, PA, USA, 2017. ACL.

[12] Shoichi Naito, Shintaro Sawada, Chihiro Nakagawa, Naoya Inoue, Kenshi Yamaguchi, Iori Shimizu, Farjana Sultana Mim, Keshav Singh, and Kentaro Inui. TYPIC: A corpus of Template-Based diagnostic comments on argumentation. In Proceedings of the Thirteenth LREC, pp. 5916-5928, Marseille, France, June 2022. European Language Resources Association.

[13] K. Krippendorff. Content analysis: An introduction to methodology. Beverly Hills, CA., 1980. Sage Publications, Inc.

[14] Paul Reisert, Naoya Inoue, Tatsuki Kuribayashi, and Kentaro Inui. Feasible annotation scheme for capturing policy argument reasoning using argument templates. In Proceedings of the 5th Workshop on Argument Mining, pp. 79-89, Brussels, Belgium, November 2018. ACL.

Figure 2 The crowdsourcing interface. For space reasons, we only show one dimension.

## A Competent Workers Selection

Given the difficulty of collecting high-level annotations via crowdsourcing, we first create a filtering procedure to collect competent workers for our task through a qualification test and survey. The qualification test contains three debates, each of which is a pair of an original argument and a counter-argument. For each debate, there is one comprehension question asking "Which point from the original argument is the counter-argument attacking?" with four candidate options. Only workers who answered all three questions correctly can get access to the survey and additional comprehension questions. The survey's goal was to learn more about our workers, such as their native language and level of expertise with argumentation. The purpose of the additional comprehension questions was to filter out workers that provided generic responses or exhibited a low level of fluency. Specifically, the workers were given a debate and asked to score the quality of the counter-argument while providing reasons. The reasons were judged by two expert annotators, both authors of this paper, and incompetent workers were filtered out.

## B Crowdsourcing Interface

An example of our final crowdsourcing interface is shown in Figure 2. Due to space reasons, we only show one of the dimensions (Attack on the main point) shown in our guidelines, an example debate, as well as the question for the dimension. ${ }^{5)}$ Workers were first asked to rate on a scale of 1-3 based on the scoring rubric, and provide a specific reason for their score. We plan to utilize such reasons to further improve our crowdsourcing task in future trials.

5) The complete version of the interface can be found at https: //github.com/oubunshitsu/debate_CA_assessment.


# 記述式答案採点モデルの採点基準に対する整合性の検証

浅妻佑弥 ${ }^{1,2}$ 舟山弘晃 ${ }^{1,2}$ 松林優一郎 ${ }^{1,2}$ 水本智也 ${ }^{2}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{asazuma.yuya.r7, h. funa\}@dc. tohoku.ac.jp
\{y.m, kentaro.inui\}@tohoku.ac.jp tomoya.mizumoto@a.riken.jp

## 概要

記述式答案自動採点タスクにおいて，採点基準と 合致する採点モデルを構築することは重要な要件で あるが，訓練済みのモデルに対して採点基準との整合性を効率的に検証する手段は確立されていない.有力な手法として，モデルの内部動作を可視化でき る特徵量帰属法 (Feature Attribution) が存在するが,解答毎に検証を行う必要があるため，多数のデータ を使用した上で整合性を証明することは困難だっ た. 本研究では，クラスタリングアルゴリズムを特徵量帰属法で求めた説明系列に適用することで，少 ない労力で採点モデルと採点基準間の整合性検証を 可能にした.

## 1 はじめに

記述式答案自動採点 (Short Answer Scoring) とは, ある問題に対して解答された数十文字程度の答案を 自動で採点するタスクである [1]. 機械学習モデル で解ける形式に落とし込む場合，採点結果を目的変数に設定し，答案の文章を説明変数とする回帰問題 として扱い，問題文や採点基準（ルーブリック）は 補助的な特徴量として扱うのが一般的である [2].

しかしながら，本来の採点過程では採点基準との 合致が求められる. ゆえに，採点基準に沿った答案箇所が主な得点源となり，モデルが利用する特徴量 となることが求められるが，現状の多くの取り組み では答案の文章が主たる入力であり，学習の過程で 使用する特徴量が決定されるため, 基準に沿った採点をモデルが行うことを保証することはできない. たとえ，補助的な特徴量として採点基準を導入して も，機械学習モデルが利用するかは学習によって決定されるため，正確な保証になるわけではない。

この不安定性の問題に対応する手段として, 特徴量帰属法 (Feature Attribution) の活用が考えられる.主に説明可能な AI (XAI) 分野において扱われ, 出力
に対する入力特徴量の寄与度をモデルを使用して計算する手法群の総称である. モデルが使用した特徴量を根拠箇所としてヒートマップの形式で可視化す ることが可能であり，モデルの動作や判断の手がか りを得るための手法として定評がある [3].

しかしながら，特徴量帰属法は答案毎にベクトル の形式で寄与度を計算するため, 自然言語で記述さ れた採点基準とは形式が異なり，単純な自動化は難 しい．また，可能な限り多くの答案で検証できるこ とが望ましいが，訓練に使用する答案の数は最低で も数百・数千に及ぶため, 全ての答案に対する検証 を行うことは困難である。

本研究では，特徴量帰属法を使用した採点基準と の整合性検証が抱える実務上の問題点を解消するた めに，スペクトラルクラスタリング [4]を使用した クラスタ分析による整合性検証ツールの開発を行っ た. そして，考案した手続きの有効性を示すため，採点基準を含むデータセット上で動作確認を行い,少ない労力で訓練済みの機械学習モデルと採点基準間の整合性検証が可能であることを確認した。

## 2 関連研究

記述式答案採点モデルの解釈を目的とした既存研究は限られている. Mizumoto ら [5], Zeng ら [6] は 注意機構 [7] の重みをモデルの解釈として提供して いるが，モデルの一部の特徴量でしかないため，採点基準の検証手段としての使用には適さない.

一方で，Tasuku ら [8] は特徵量帰属法で生成した 説明系列と採点基準を元としたアノテーションの重複率を計測することで，モデルが採点基準に沿った 動作を行うか検証している. しかしながら，検証し たい全てのサンプルに対して採点基準を元としたア ノテーションを実施する必要があり, 新規のデータ セットに適応するための障壁が高い．そのため，少 ない労力で採点基準との整合性を検証できる手法を 本研究で取り扱う.

図 1 本研究の概略図. 訓練に使用した答案に対して特徴量帰属法による説明系列を生成し，クラスタリングによって類型の答案を集約する．各々のクラスタに対して採点基準と比較することで整合性のチェックを行う。

## 3 手法

## 3.1 特徵量帰属法

特徴量帰属法 (Feature Attribution) ${ }^{1}$ はモデルの出力に対する入力特徴量の寄与度を計算するための手法である. 入力サンプルの集合を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$ ，機械学習モデルを $f(\boldsymbol{x})$ とする. あるサンプル $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{m}\right)$ に対するモデルの出力得点が $\boldsymbol{y}$ で あるとき，出力得点に対する入力系列の重要度を説明系列 $\boldsymbol{e}=\left(e_{1}, e_{2}, \ldots, e_{n}\right)$ として計算する．各 $e_{i}$ の値 は得点に対する $x_{i}$ の寄与度となることが望まれる。

本研究では, 寄与度の計算に Integrated Gradients [9]を使用する. 勾配計算を利用する解釈手法 [10] の中でも有力な手法であり，モデルと入出力を利用 して以下の式で計算する。

$
e_{i}=\left(x_{i}-x_{i}^{\prime}\right) \int_{0}^{1} \nabla f\left(\boldsymbol{x}^{\prime}+\alpha\left(\boldsymbol{x}-\boldsymbol{x}^{\prime}\right)\right) \mathrm{d} \alpha
$

ここで， $x_{i}^{\prime}$ はベースラインと呼ばれる比較の基準 となる入力サンプルであり, 本研究では零テンソル を使用する. 摄動ベースの手法 [11][12] と比較して 計算量が少なく，微分可能であれば大規模なモデル でも実行可能であるため，本研究で採用する.

## 3.2 SpRAy

SpRAy[13] は特徴量帰属法による解釈の分析を行 う手法である。論文内において, PASCAL VOC 2007 に対して学習された分類モデルが, 馬カテゴリの分類に画像の透かし表記を利用することを明らかにし ている. 本研究では，SpRAyを自然言語処理領域に 拡張し，記述式答案自動採点タスクで利用する。
解の為に，論文内では特徴量帰属法の名称を使用する。
SpRAy の主な特徴として，スペクトラルクラスタ リングを使用したクラスタ分析を行う．ラプラシア ン行列の固有値分解によるグラフの連結成分分解 の問題を解くことでクラスタリングを行う手法で あり，説明系列の集合を $k$ 個のクラスタに分類す るとき，アルゴリズムは以下の 4 ステップで実行さ れる.

1. 任意の二つの説明系列 $\boldsymbol{e}_{\boldsymbol{a}}$ と $\boldsymbol{e}_{\boldsymbol{b}}$ の関係性から親和性行列 $A$ を構築する.
2. $A$ をグラフ構造に帰着し, 対称正規化ラプラシ アン行列 $L_{\text {sym }}$ を求める.
3. $L_{s y m}$ の固有値分解を行う. 固有值の昇順に $k$個の固有値ベクトルを選択して行列 $E$ を作る.
4. $E$ に対して素朴なクラスタリング手法を実施す る. 本研究では $\mathrm{k}$-means 法 [14]を使用する.

ここで，固有値を昇順に整列した系列の前後の差分 $\lambda_{i}^{\text {gap }}=\lambda_{i+1}-\lambda_{i}$ は固有値ギャップと呼称され，最適なクラスタの数を推定できるヒューリスティック な指標として扱うことができる. [15]

## 4 実験

本章で，記述式答案自動採点データセットを使用 した検証実験を行い，少ない労力でモデルと採点基準間の整合性検証が可能であることを示す.

## 4.1 データセット

本研究では, 理研記述問題採点データセット [16][5][17] を使用して実験を行った.このデータ セットは，入力とする答案文章，採点者による得点，採点の根拠を示すアノテーションから構成され る. データセット内には複数の問題文に対するデー タが含まれているが，本実験では問題 Y14_1-2_1_3 を使用する. 得点は複数の採点項目によって構成さ
表 1 問題 Y14_1-2_1_3 の採点項目.4つの採点項目から 構成され，合算した点数が最終的な得点となる.

項目 配点 満点となる文章スパンの例

れる. 表 1 に，採点項目の詳細を示す.

## 4.2 機械学習モデル

実験のために，水本ら [5] の研究を基にした機械学習モデルを構築する. エンコーダ層に BERT[18] を導入し，デコーダ層に注意機構 [7] を使用する。学習済みの BERT モデルには文字単位の日本語 BERT モデル2)を使用する．後の実験のために，採点項目毎の部分点をべクトル形式で予測する個別採点モデルと, 採点結果を合算した点数をスカラー形式で予測する全体採点モデルを構築する，得点を予測する回帰問題としてモデルを訓練した. モデルの 性能評価は付録 $\mathrm{A}$ に記載する。

## 4.3 クラスタ分析の前処理

モデルの学習後, 使用した訓練サンプルに対して Integrated Gradients による説明系列を生成する。た だし，埋め込み層に対する勾配の計算は不可能であ るため，埋め込み後の入力に対して寄与度を計算す る. クラスタリングにあたり説明系列間の類似性か ら親和性行列を構築する必要があるが，入力が可変長系列であるため，全ての入力に対して総和を取っ た説明系列間でコサイン類似度を計算する。親和性行列からラプラシアン行列への変換は, 5 つの近傍 の頂点を接続行列として扱い，対称正規化ラプラシ アン行列を構築する。また，予測スコアが最大の点数の二割以下であるサンプルについては除外する.白紙の答案に対して採点理由を求めることが不可能 であるように, 得点が著しく低い答案に対する説明 を求めることが困難なためである.

## 4.4 全体採点モデル

まず，全体採点モデルに対してクラスタ分析を行 う. ラプラシアン行列に対して求めた固有値の特性 を図 2 に示す. $\lambda_{1} \cdot \lambda_{2}$ の固有値ギャップが大きく, $\lambda_{5}$ 以降は緩やかに増加することが確認できる。この

2) https://github.com/cl-tohoku/bert-japanese

図 2 全体採点モデルにおける固有値の推移.

結果より，クラスタ数を $k=5$ に設定してクラスタ 分析を行った。ヒートマップで色付けしたクラスタ 毎の文章例を図 3 に示す. なお，ヒートマップの濃度は，トークン毎に説明系列の総和を取り標準化を 施した値を使用した。概ね，各クラスタに含まれる 顕著な特徵は以下の結果になった。

・クラスタ 0,4 : 西洋 (項目 A)，対決 (項目 B)

・クラスタ 1, 2: 同意 (項目 C), 説得 (項目 D)

・クラスタ 3: 類似性の少ない答案の集合

3 番以外のクラスタで，表 1 に示す採点基準を中心に集約される傾向が確認できた．クラスタ 3 の み，類似性が少ない答案と説明系列が集約されてい る.ゆえに，3 番以外のクラスタに属する訓練サン プルに関しては基準との整合性あると結論付けられ る. クラスタ 3 に所属するサンプルのみ，個別に検証することになるが，今回の実験では問題のある事例は発見できなかった.

以上の手順によって，少ない労力で採点基準との 整合性を確認できた．なお，採点基準に反するよう な説明系列を発見することはなかった。

## 4.5 個別採点モデル

4.4 節と同様の手順で，個別採点モデルに対する クラスタ分析を行った. 分析自体は全ての採点項目 に対して実行したが，本文には採点項目 B における 結果を記載する．ヒートマップで色付けしたクラス タ毎の文章例を図 4，ラプラシアン行列に対して計算した固有値の特性を図 5 に示す. $\lambda_{5}$ 以降は緩や かに増加することが確認できるため，クラスタ数は $k=5$ 亿設定した. 図 4 において，各クラスタに含 まれる顕著な特徴は以下の結果になった。

・クラスタ 0: 西洋文化の基底 (負)，対決，異人

・クラスタ 1:「対決」,答案が類似する。

・クラスタ 2: 西洋 (負)，異人，人間

・クラスタ 3: 西洋 (負)，他人は自分とは異なる

・クラスタ 4:「対決」，「異人」
一 [CLS]西洋文化の基底には「対決」のスタンスがあり、神対人間、人間対自然、人間対人間という形で現されるということ。[SEP]

0 [CLS]西洋文化の基底には「対決」のスタンスがある。その「対決」は神对人間、人間対自然、人間対人間という形で現れること[SEP] [CLS]西洋文化の基底には「刘決」といラスタンスがあり、そのスタンスが、様々な形で現れることで西洋の文化は導かれてきたということ[SEP] [CLS]西洋文化の基底にある神对人間、人間対自然人間对人間という形のような「対決」のスタンスこそが人を説得させようとする锝舌になる。 [SEP] [CLS] コーロッパは民族などが異った国々が狭い地域に雑居しているから自分の考えを相手に伝え、同意してもらう必要があること。[SEP] [CLS]西洋人は基本的には他人は自分とは違う人間と見なし、自分の考えを相手にきちんと説明して相手から同意を取つける説得が必要であること。 [SEP]

[CLS]西洋人は基本的に他人は異人と見なすため、自分の考えに他人を同意させる必要があると考える。だから「対決」のスタンスがあるということ。 [SEP] [CLS]西洋文化の、人間は常に「何か」と対決しているしため、その対決している人に自分の考えを同意させるのが必要だと考えているから。[SEP] [CLS]西洋人にとって他人は異人であり、自分の考え方を相手に説明して相手からの同意を取りつける必要があるので説得は西洋人に不可決な技術であること。 [SEP] [CLS]西洋人は他人は自分と異なる人間と見なすため基底に「対決」というスタンスがあり、西洋人に生きてゆくうえで大切な技術であり、別の考えであること。 [SEP]

3 [CLS]西洋人は基本的には他人は自分とは異なる人間(異人)と見なし、西洋文化の基底には「対決」のスタンスがあるということ。[SEP] [CLS]神対人間、人間対自然、人間対人間という形で現される西洋文化の「対決」のスタンスのこと。 [SEP]

[CLS]西洋文化の基底には「対決」のスタンスがあり、その「対決」は神对人間、人間对自然、人間对人間という形で現われるということ。[SEP]

4 [CLS]西洋人は基本的に他人は自分とは異なる人間(異人)と見なしており、さらに西洋文化の基底には「対決」のスタンスがあること。[SEP] [CLS]西洋文化の基底には「対決」のスタンスがあり、その「対決」は神対人間、人間対自然、人間対人間という形で現われること。[SEP]

図 3 全体採点モデルで生成した説明系列を対象としてクラスタ分析を行った結果. 各クラスタに含まれる文章と説明系列を三件ずつ例示する。文頭の番号は各クラスタの ID を示す.

一 [CLS]西洋文化の基底には他人という自分と異なる人を自分の考えに同意させるために言葉を尽くし对決するという考えがあるため、説得が本質であるという事。 [SEP]

0 [CLS]西洋文化の基底には「対決」のスタンスがあり、神対人間(宗教=契約)、人間対自然科学=合理主義)、人間対人間(個人主義)という形で現れること[SEP]

[CLS]西洋人は他人と自分は異なる人間と見なし、自分の考えに他人を同意させるためて言葉を尽くして伝えようとするということ。[SEP]

[CLS]西洋文化の基底には「对決」のスタンスがあり、その「对決」は、神对人間、人間对自然、人間对人間という4つの形で現れる。[SEP]

1 [CLS]西洋文化の基底には「対決」のスタンスがある。その「対決」は神対人間、人間対自然、人間对人間という形で現れる。[SEP] [CLS]西洋文化の基底には「玟決」のスタンスがあり、その「対決」は神対人間、人間対自然、人間対人間という形で現れるということ。[SEP]

[CLS]他人を自分を異なる人と見なして、自分の考えを相手に同意させる必要があると考え、他人に分かってもらうために言葉を尽くし考えを伝えようとすること[SEP]

2 [CLS]ヨーロッパは民族や言語や文化を異にする多くの国々が狭い地域に雑居していることから他人を異人ととらえ、相手から同意を取りつける必要があること。 [SEP] [CLS]西洋人は基本的に他人を異人と見なすため自分の考えに他人を同意させる必要があると考え、そのために言葉を尽くして自分の考えを伝えようとすること。 [SEP] [CLS]西洋文化の基底には「対決」のスタンスがあり、基本的に他人は自分とは異なる人間だから自分の考えに同意させる必要があると考えるということ。[SEP]

3 [CLS]西洋人は基本的には他人は自分とは異なる人間と見なす。だから自分の考えに他人を同意させる必要があると考え、言葉をつくして考えを伝えようとする。 [SEP] [CLS]宗教や自然に対する考え方の違いや、個人の思想が様々だったので自分とは買なる人間である他人に自分の考えを分かってもらうために镜舌が発達した[SEP]

一 [CLS]西洋文芸は日本文芸とは違い他人は自分と異なる人間と見なすため西洋文化の基底には对決のスタンスがあり、それは個人主義という形で現れるということ[SEP]

4 [CLS]神対人間、人間対自然人間対人間という西洋文化の基底には「刘決」というスタンスがあり、説得は生きてゆくうえで大切な技術であるということ。[SEP] [CLS]他文化の人と往む事が多く、考え方の違いで対決する事が多かったヨーロッパでは、説得しないと、他人に自分の考えが理解してもらえないと考えたから[SEP]

図 4 個別採点モデル・採点項目 B で生成した説明系列を対象としてクラスタ分析を行った結果. 各クラスタに含まれ る文章と説明系列を三件ずつ例示する．文頭の番号は各クラスタの ID を示す.

図 5 個別採点モデル・項目 B における固有値の推移.

全体採点モデルの時と同様に，一貫した説明のパ ターンをクラスタ内で確認できる。採点項目 B に該当する表現に高い寄与度が割り振られているパター ンが多いが，一方で採点項目 A であるはずの”西洋文化”に対して強い負の寄与度が確認できる。ゆえ に，採点項目 B に含まれない基準”西洋文化”を使用 して答案を採点している可能性が浮上した.

## 5 議論

あくまで固有値ギャップはヒューリスティックな 指標であるため，依然として最適なクラスタ数を設定することは困難である．大きなクラスタ数を指定 すれば詳細な分割が行われるが，検証の労力が増大
しクラスタリングの意義を損ねてしまう。一方で，小さすぎるクラスタ数を指定すれば，一つのクラス タに複数のパターンが含まれることになる. 現に， 4.4 節における実験では，一つのクラスタ内に複数 の採点項目のパターンが観測された. そもそも，固有値ギャップ特性によるクラスタ数の推定に対して 批判的な意見も存在する [19].

また，本論文の実験結果は人間視点の定性的な評価に留まっているため，今後の研究ではクラスタ間 の距離・階層関係を利用した定量的な評価の実施を 計画している.

## 6 おわりに

本研究では，記述式答案自動採点タスクにおける 採点基準検証の省労力化を目的として, 特徵量帰属法とクラスタリングを使用した検証手法を開発し た. 有効性を示すために，採点基準を含むデータ セット上で動作確認を行い. 訓練済みの機械学習モ デルに対して整合性検証が可能であることを確認し た. また，実際に採点基準から外れた動作の疑いが ある事例を発見することができた.

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 00524$ ，JST 次世代研究者挑戦的研究プログラム JPMJSP2114 の助成を受け たものである．また，研究を進めるにあたり，頻繁 に議論に参加していただいた Tohoku NLP グループ の皆様へ感謝いたします。

## 参考文献

[1] Md Arafat Sultan, Cristobal Salazar, and Tamara Sumner. Fast and easy short answer grading with high accuracy. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1070-1075, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[3] Ričards Marcinkevičs and Julia E Vogt. Interpretability and explainability: A machine learning zoo mini-tour. December 2020.

[4] Andrew Y Ng, C S Division, U C Berkeley, Michael I Jordan, C S Div, Dept Of, Stat U C Berkeley, and Yair Weiss. On spectral clustering: Analysis and an algorithm. https: //proceedings.neurips.cc/paper/2001/file/ 801272ee79cfde7fa5960571fee36b9b-Paper.pdf. Accessed: 2023-1-11.

[5] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. pp. 316-325, August 2019.

[6] Zijie Zeng, Xinyu Li, Dragan Gasevic, and Guanliang Chen. Do deep neural nets display human-like attention in short answer scoring? In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 191-205, Seattle, United States, July 2022. Association for Computational Linguistics.

[7] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. September 2014.

[8] Tasuku Sato, Hiroaki Funayama, Kazuaki Hanawa, and Kentaro Inui. Plausibility and faithfulness of feature Attribution-Based explanations in automated short answer scoring. In Artificial Intelligence in Education, pp. 231242. Springer International Publishing, 2022.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. March 2017.

[10] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. December 2013.

[11] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. "why should I trust you?": Explaining the predictions of any classifier. February 2016.

[12] Scott Lundberg and Su-In Lee. A unified approach to interpreting model predictions. May 2017.

[13] Sebastian Lapuschkin, Stephan Wäldchen, Alexander Binder, Grégoire Montavon, Wojciech Samek, and KlausRobert Müller. Unmasking clever hans predictors and assessing what machines really learn. Nat. Commun., Vol. 10, No. 1, p. 1096, March 2019.

[14] J MacQueen. Some methods for classification and analysis of multivariate observations. In Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, Volume 1: Statistics, Vol. 5.1, pp. 281298. University of California Press, January 1967.

[15] Ulrike von Luxburg. A tutorial on spectral clustering. November 2007.

[16] 理化学研究所. 理研記述問題採点データセット. July 2020.

[17] Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, and Kentaro Inui. Balancing cost and quality: An exploration of Human-inthe-Loop frameworks for automated short answer scoring. In Artificial Intelligence in Education, pp. 465-476. Springer International Publishing, 2022.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. pp. 4171-4186, June 2019.

[19] Song Wang, Karl Rohe, Pengsheng Ji, and Jiashun Jin. DON'T MIND THE (EIGEN) GAP. https://www. stat.cmu.edu/ jiashun/Research/ Selected/SCC-disc3.pdf. Accessed: 2023-1-13.

## A 採点モデルの性能評価

採点モデルを訓練した後に，テストセットを使用 した性能の評価を行った. RMSE と QWK の二つの 指標で測定した結果を記載する。

## A. 1 全体採点モデル

全体採点モデル，テストセットに対する性能評価 の結果を表 2 に示す.

## A. 2 個別採点モデル

個別採点モデル，テストセットに対する性能評価 の結果を表 3 に示す. 採点項目ごとに性能の測定を 行った.

表 2 全体採点モデル・テストセットにおけるモデルの性能. 問題 Y14_1-2_1_3を使用.

表 3 個別採点モデル・テストセットにおける採点項目毎 の性能. 問題 Y14_1-2_1_3を使用.