# テキストをグラフで置換する可能性と教育現場での実証

橋田浩一 1,2 張子良 ${ }^{2}$ 姚子凡 ${ }^{2}$ KARILAS Vili Valtteri ${ }^{2}$
方詩涛 ${ }^{2}$ 譚匡桓 $^{2}$ 柴田健一 ${ }^{1}$ 松原 勇介 ${ }^{2}$
1 理化学研究所革新知能統合研究センター 2 東京大学大学院情報理工学系研究科
koiti.hasida@riken.jp hasida.koiti@i.u-tokyo.ac.jp

## 概要

グラフの形の文書を作ることにより批判的思考力が高まることが知られている。われわれは、比較的小さな文書の共同作成はテキストよりグラフの方が簡単であることを示した。さらに、余分なコストをかけずに高校の通常の授業にグラフ文書の共同作成を導入して授業の効率が高まることを実証した。したがって、教育の現場にグラフ文書を普及させて生徒たちの批判的思考力を高めることができると考えられる。さらに、一般的な業務の現場にもグラフ文書を普及させることにより社会全体の知的生産性を高められる可能性がある。

## 1 はじめに

KJ 法 [1] の A 型図式、概念地図 (concept map) [2]議論地図 (argument map)、マインドマップ (mind map)、多段の箇条書きなどの広義のグラフは、教育や発想支援のための補助資料として用いられてきた $[3,4,5,6]$ 。実際、グラフの教育的効果が近年の研究で明らになっている。たとえば、批判的思考の明示的なトレーニングをしなくても、また概念地図の内容によらず、概念地図を 1 人で作っていると批判的思考力が高まる [7]。また、概念地図の共同作成も単独作成と同程度以上に批判的思考力を高める $[8,9,10]$ 。概念地図以外のグラフも批判的思考力を高める $[11,12,13,14,15,16,17,18,19]$ ので、グラフの種類によらず、グラフの単独作成も共同作成も批判的思考力を高める効果があり、その際に批判的思考の明示的なトレーニングは不要で、またグラフの内容も特に限定しなくて良いと考えられる。 それにもかかわらずグラフが一般にあまり普及していないのは、グラフの作成および作成法の習得にコストがかかるためと言われている [20]。しかし一方では、グラフの作成を経ることによってテキスト文書の質が高まる (合計 30 分以内で $\mathrm{KJ}$ 法の $\mathrm{A}$ 型図式を作ってからテキスト文書を作った場合と、同じく 30 分以内でテキスト文書だけを作った場合を比べると、前者の方がテキスト文書の質が高い)こともわかっている [21]。これはおそらく、基本的にはグラフの方がテキストよりも作りやすいために複雑化しやすく、その複雑性の制御が難しいということだろう。たとえば八木下らの実験 [21] では、あまり大きなグラフができない設定になっていたために、 グラフの複雑性を制御するコストが顕在化しなかったと解釈できる。

文書があまり大きくない場合にグラフの方がテキストより作りやすいとすれば、文書が大きい場合もグラフの方がテキストより作りやすいと考えるのが自然だろう。グラフの複雑性の制御は簡単ではないがテキストの複雑性の制御ほど難しくないとわれわれは考えている1)。この考えが正しければ、社会全体においてグラフでテキストを置き換えることにより文書作成の生産性を高めるとともに批判的思考力を高めることができるはずである。

以下ではまず、文書があまり大きくない場合にグラフがテキストよりも共同作成しやすいことを示す (共同作成に着目するのはネットワーク外部性によってグラフの普及を促進するためである)。次に、実際の業務等にグラフの共同作成を導入可能であることを示す教育現場での実証実験について述べる。最後に、テキスト文書をグラフ文書で置換して社会全体の生産性を高める可能性とそのための課題を論ずる。

1） テキスト文書の作成に習熟するのは難しいが、これはテキストの複雑性の制御が難しいということだろう。OECD の国際成人力調査 https://www.oecd.emb-japan.go.jp/itpr_ja/ 11_000001_00107.html によれば、OECD 諸国で文章をまともに読めるのは成人の 4 割程度であり、まともな文章を書ける成人はさらに少ないはずである。

## 2 グラフはテキストより作りやすい

一般にテキストは文の間を談話関係等でつなぎ合わせたものだから、文を表わすノードと談話関係等を表わすリンクからなるグラフによって任意のテキストの内容を表現することができる。そのようなグラフの作成を容易にし価値を高めるため、談話関係等を定義するオントロジーに基づく図 1 のような RDF グラフ [22]を考える。以後このようなグラフをグラフ文書 (graph document) と呼ぶ。概念地図や議論地図など他の種類のグラフではリンクの種類 (関係)を自由テキストで表現するが、それでは大力の手間が大きいだけでなく、関係が標準化されないので誤解が生じやすく自動処理が難しく学習用デー タとしての価値も低い。グラフ文書の場合は標準化された関係を選択入力できるので、他種のグラフよりも作成が容易で利用価値が高いと考えられる。

ここでは、グラフ文書の共同作成がテキスト文書の共同作成より容易である (生産性が高い) ことを示した実験 [23] の概要を報告する。紙面の都合により詳細は割愛するが、研究参加者を各々 2 人からなるいくつかのグループに分けて、各グループにいくつかの文書作成課題の各々に対してテキスト文書またはグラフ文書を共同作成させ、そうして作られたテキスト文書とグラフ文書をいくつかの指標に関して比較する、というのが実験計画の概要である。各々の共同文書作成作業において各参加者の作業時間を 30 分以内とした。そのような実験を同期的な共同作成と非同期的な共同作成について実施した。

同期的な共同作成では、図 2 のように、各グルー プの 2 人のメンバーが対面で話をしながら各々の PC で共有文書を編集する。それによって作られたテキスト文書とグラフ文書の比較を図 3 に示す。比較の指標は、課題に関連する論点の個数、推論の長さ、議論の展開の度合、および展開された議論が統合される度合である。テキスト文書もグラフ文書も、課題 (たとえば「教育予算を増やすべきか」など)を根ノードとする木 (サイクルを含むことがあるので正確には木とは限らないが木に近いグラフ) に変換し、同義のノードを 1 個にまとめ、課題と無関係なノードを削除することによって、指標の値を求めた。図 3では各指標で平均が 1 になるように値を正規化し、各指標についてテキスト文書とグラフ文書の平均値を示す。統合度の差は統計的有意性が低いが、他の指標についてはテキスト文書よりもグラ
フ文書の方が $3 \%$ 水準で有意に優れていることがわかる。

非同期的な共同作成では、図 4 のように、各グループのメンバーのうち 1 人がまず文書の半分ほどを作り、次にもう1 人が残りを作る。2人の間のコミュニケーションは文書データの共有のみによる。 その場合のテキスト文書とグラフ文書の比較を図 5 に示す。比較の指標として連結度を加えたが、これは 2 人が作った部分グラフの間を結ぶリンクの本数である (それらのリンクは 2 番目のメンバーが作ったものである)。各指標の値の求め方は上記と同様である。推論の長さについては統計的有意性がやや低いが、すべての指標についてテキスト文書よりグラフ文書の方が優れていることがわかる。

以上を要するに、 30 分程度以内の共同文書作成においてはテキスト文書よりもグラフ文書の方が生産性が高い。上記の実験で作られたグラフ文書はノー ドの個数が 50 程度以下だったので、ノードが 50 個程度以下のグラフ文書は同程度のサイズのテキスト文書より作りやすいと言えよう。

## 3 グラフ文書を教育に導入できる

さしあたりは文書が比較的小さい場合に限られるにせよ、テキスト文書よりグラフ文書の方が作成が簡単なのだから、少なくともその範囲においてテキスト文書をグラフ文書に代わって普及させることができて、それにより多くの人々の批判的思考力を高めることが可能と考えられる。

グラフ文書を最初に導入する先としては教育の現場が有望と考えられる。批判的思考力などの社会情緒的能力 (非認知能力) が高ければ将来経済的に成功する可能性が高い [24] と考えられているので、教育にグラフ文書を導入するメリットはわかりやすい。 また、教育の現場へのグラフ文書の導入による批判的思考力の向上を測定するのは比較的容易と考えられる。これに対し、一般的な業務の現場では各個人の能力の向上よりも会社の利益や組織のミッションの方が重要だが、グラフ文書による利益の向上やミッションの達成は測定が難しい。

グラフ文書を教育に導入するには、中学校や高等学校の通常の授業で近年広く行なわれるようになっているグループディスカッション (協調学習) において各グループがディスカッションの議事録を共同作成するという方法が考えられる。特に公教育においては教員が多忙なため通常の授業を越える負担を求

図 1 本稿の一部を表わすグラフ文書

図 2 文書の同期的共同作成

図 4 文書の非同期的共同作成

図 3 テキスト文書とグラフ文書の同期的共同作成

■テキスト ■グラフ

図 5 テキスト文書とグラフ文書の非同期的共同作成

めるのは実際上不可能であり、逆に授業の効率を高める (負担を軽減する) 必要があるが、この方法であれば、学習指導要領に従う通常の学校教育において教員の負担を増さずにグラフ文書の共同作成を導入して授業の効率を向上させられる可能性が高いと思われる。

そこでわれわれは、埼玉県川口市の川口市立高校および神奈川県横須賀市の三浦学園高校の協力を得て、各高校で 1 年生の 1 クラスずつを対象とし、必修科目である「現代の国語」の通常の授業のグルー プディスカッションにグラフ文書の共同作成を導入した。各クラスの生徒約 20名が 2〜5 名からなるグループに分かれて、各グループが 20 分程度のディスカッションの内容を表わすグラフ文書を共同作成し、そのグラフ文書に教員と他のグループがコメン卜した。各クラスでこのような授業を 2022 年 10 月から 2022 年 12 月または 2023 年 1 月にかけて 5 回行ない、その前後に批判的思考力の標準的なテストを実施した。

本稿執筆の時点でそのテストのデータの分析が終了していないので、授業の観察と教員および生徒からの聞き取りに基づいて報告すると、結果は良好であった。教科書の図表等のコピーに注釈を加えた資料を教員が事前に用意して生徒に配布することがあったが、同様の資料は従来の授業でも作成していたので、グラフ文書の導入が教員の準備の負担を増やすことはないと考えられる。授業中に各グループが作ったグラフ文書を教員がプロジェクタで投影して即座にコメントしていたが、テキスト文書だとコメントするまでにもう少し時間がかかるはずである。生徒はグラフ文書作成ツール (セマンティックエディタ $)^{2)}$ を特に支障なく使いこなしており、また談話関係等の選択入力がグラフ文書を作りやすくしていることも理解していた。以上から、グラフ文書の導入により授業の効率が高まったと言えよう。 グラフ文書を用いた 5 回の授業による批判的思考力の向上をこれから定量的に分析する予定であるが、その結果はおそらく統計的有意性の低いわずかな向上であろう。今回の実証の最大の意義はグラフ文書が授業の効率を高めることを示した点にあり、 さらに長期にわたるグラフ文書の共同作成により批判的思考力が大きく向上することは先行研究に鑑みて確実と考えている。

2） セマンティックエディタは PLR 標準アプリ Personary https://assemblogue.com/apps/PLR2.html の機能として実装されている。

## 4 おわりに

この実証の結果から、グラフ文書を教育現場に普及させて多くの生徒の批判的思考力を高めることが可能と考えられる。その普及がある程度進んで批判的思考力向上の効果が広く知られるようになれば、一般の業務の現場にグラフ文書の共同作成を導入することによって文書共同作成の生産性と社員の批判的思考力が高まり企業の業績が向上することを多くの人々が容易に想像できるだろう。こうしてグラフ文書の共同作成が一般に普及して産業や学術の水準が永続的に高まると考えられる。

また、オントロジーで構造化されたグラフ文書は AI の学習データとしても入力データとしても有用性が高いので、グラフ文書の普及が AIを振興し、 $\mathrm{AI}$ の振興がグラフ文書の活用を高度化すると期待される。それを見越して、セマンティックエディタ (SE) は図 6 のように PLR (Personal Life Repository; 分

図 6 PLR によるデータの共有と収集

散 PDS ライブラリ) [25, 26] によりデータを容易かつ安全に共有・収集できるように実装してある。

以上のようなグラフ文書の効果を最大化するには、ノードが 50 個程度よりも多いグラフ文書を効率的に作成・活用する方法を明らかにし、あらゆるテキスト文書をグラフ文書で置換する必要がある。前述のように、グラフが複雑化しやすいのはグラフを作るのが簡単だからであり、その複雑化の制御はテキスト文書の複雑化の制御よりも簡単だとわれわれは考えている。複雑性の制御には構造化とそれによる構造共有が重要であり、その点でグラフはテキストより優れているはずである。その優位性を生かしたユーザインタフェースの開発が、グラフ文書の効果を最大化するために最も重要な研究課題である。

## 謝辞

グラフ文書を用いる授業を担当された川口市立高校の石原直哉教諭と三浦学苑高校の佐々木綱衛教諭、ならびに実証の準備等にご尽力下さった両校の先生方に感謝する。本研究の一部は NEDO の「人と共に進化する次世代人工知能に関する技術開発」事業の支援を受けた。

## 参考文献

[1] 川喜田二郎. 発想法改版一創造性開発のために. 中公新書. 2017.

[2] Joseph D. Novak and D. Bob. Gowin. Learning How to Learn. New York: Cambridge University Press, 1984.

[3] Marvin Willerman and Richard A. Mac Harg. The concept map as an advance organizer. Journal of Research in Science Teaching, Vol. 28, pp. 705-711, 1991.

[4] Ray McAleese. The knowledge arena as an extension to the concept map: Reflection in action. Interactive Learning Environments, Vol. 6, No. 3, pp. 251-272, 1998.

[5] Joseph. D. Novak. Learning, Creating, and Using Knowledge: Concept Maps as Facilitative Tools in Schools and Corporations. Mahweh, NJ: Lawrence Erlbaum Associates, 1998.

[6] Christina De Simone, Richard F. Schmid, and Laura Mcewen. Supporting the learning process with collaborative concept mapping using computer-based communication tools and processes. Educational Research \& Evaluation, Vol. 7, No. 2-3, pp. 263-283, 2001.

[7] Karl Cottenie and Marianne Staempfli. Concept mapping as means to critical thinking. Teaching \& Learning Innovations, 2016.

[8] Chei-Chang Chiou. Comparing the effect of computerassisted collaborative and individual concept mapping on improving critical thinking ability: The role of student learning style. In Proc. of The Second Intl. Conf. on Advances in Economics, Social Science and Human Behaviour Study, pp. 83-84, 2015.

[9] Narayankripa Sundararajan, Olusola O. Adesope, and Andy Cavagnetto. The process of collaborative concept mapping in kindergarten and the effect on critical thinking skills. The Journal of STEM Education: Innovations and Research, Vol. 19, No. 1, pp. 5-13, 2018.

[10] Fatin Azhana Abd Aziz and Lilia Halim. Concept mapping plays important roles on students' critical thinking skills in science. In The Eurasia Proceedings of Educational \& Social Sciences (EPESS), No. 17, pp. 1-9, 2020.

[11] Alma Mueller, Mary Johnston, Diane Bligh, and Judith Wilkinson. Joining mind mapping and care planning to enhance student critical thinking and achieve holistic nursing care. International Journal of Nursing Terminologies and Classifications, Vol. 13, No. 1, pp. 24-27, 2002.

[12] Claudia María Álvarez Ortiz. Does philosophy improve critical thinking skills?, 2007. Master thesis, The University of Melbourne.

[13] Shiah-Lian Chen, Tienli Liang, Mei-Li Lee, and I-Chen
Liao. Effects of concept map teaching on students' critical thinking and approach to learning and studying. Journal of Nursing Education, Vol. 50, No. 8, pp. 466-469, 2011. doi:10.3928/01484834-20110415-06.

[14] Ebrahim Khodadady and Afsaneh Ghanizadeh. The impact of concept mapping on efl learners' critical thinking ability. English Language Teaching, Vol. 4, No. 4, pp. 49-60, 2011. doi:10.5539/elt.v4n4p49.

[15] Weillie Lee, Chi-Hua Chiang, I-Chen Liao, Mei-Li Lee, Shiah-Lian Chen, and Tienli Liang. The longitudinal effect of concept mapping teaching on critical thinking. Nurse Education Today, Vol. 33, pp. 1219-1223, 2013.

[16] James Gorman and Jane Heinze-Fry. Conceptual Mapping Facilitates Coherence and Critical Thinking in the Science Education System, pp. 1227-1258. IGI Global, 2015.

[17] Mahmoud Kaddoura, Olga Van-Dyke, and Qing Yang. Impact of a concept map teaching approach on nursing students' critical thinking skills. Nursing \& Health sciences, Vol. 18, No. 3, pp. 350-354, 2016. doi:10.1111/nhs. 12277 .

[18] Meng Yue, Meng Zhang, Chunmei Zhang, and Changde Jin. The effectiveness of concept mapping on development of critical thinking in nursing education: A systematic review and meta-analysis. Nurse Education Today, Vol. 52, pp. 87-94, 2017.

[19] Sheng-Shiang Tseng. Using concept mapping activities to enhance students' critical thinking skills at a high school in taiwan. The Asia-Pacific Education Researcher, Vol. 29, pp. 249-256, 2020.

[20] E. Michael Nussbaum. Argumentation and studentcentered learning environments. In David H. Jonassen and Susan M. Land, editors, Theoretical foundations of learning environments (2nd ed.), p. 114-141. New York: Routledge, 2012.

[21] 八木下和代, 宗森純, 首藤勝. 内容と構造を対象とした KJ 法 B 型文章評価方法の提案と適用. 情報処理学会論文誌, Vol. 39, No. 7, pp. 2029-2042, 1998.

[22] ISO. ISO 24627-3: Language resource management - comprehensive annotation framework (ComAF) part 3: Diagrammatic semantic authoring (DSA), 2021. https://www.iso.org/standard/74582.html.

[23] Zilian Zhang. Collaborative graph composition is more productive than collaborative text composition, 2020. Master thesis, the University of Tokyo.

[24] Leslie Morrison Gutman and Ingrid Schoon. The impact of non-cognitive skills on outcomes for young people. A literature review, Instutute of Education, University of London, 2013.

[25] Kôiti Hasida. Decentralized management and utilization of personal data. In SFDI2020: Fourth Workshop on Software Foundations for Data Interoperability, 2020. invited talk.

[26] 橋田浩一. パーソナルデータの分散管理による価值の最大化. 計測と制御, Vol. 59, No. 9, pp. 653-658, 2020.


# 文法項目を指定した第二言語学習用応答生成

岡野 裕紀 ${ }^{1}$ 船越 孝太郎 ${ }^{1}$ 永田 亮 2,3 奥村 学 1,3
1 東京工業大学 2 甲南大学 3 理化学研究所
\{okano, funakoshi, oku\}@lr.pi.titech.ac.jp
nagata-nlp2023@ml . hyogo-u.ac.jp

## 概要

語学学習やライティング支援など教育分野において言語処理技術の活用が注目されている. 本稿では，対話形式の文法学習に向けて，対話の応答文に特定の文法項目を含める言語生成に取り組む. 生成手法として，強化学習によって生成モデルを訓練する手法と，大規模汎用言語モデルに少数サンプルの入力例を与えて生成する手法を検討する。 そして，強化学習の報酬関数として，文法項目の含有に加え，多様性と流暢性の観点の導入を検討する．実験の結果，どちらの手法でも生成が可能であること，報酬関数としては多様性よりも流暢性の考慮が重要であることが確認された。

## 1 はじめに

言語処理技術を教育に活用する一つの方向性として，語学学習に対話システムを活用することが注目されており, 多くの研究で語学学習者の対話相手として導入され，その効果が検証されてきた. 先行研究 $[1,2,3]$ からは, 対話システムを語学教育に導入する利点となる特徴として, 時間を問わず利用でき，語学学習をより手軽で身近なものにできること，多くの人々が慣れ親しんだチャットベースのアプリケーションなどに容易に組み込み可能であり，使用の敷居が低いこと, 個人の学習状況に合わせて最適化できることなどが挙げられる。これらの特徴はいずれも，対話システムが語学学習のパートナー として有用であり，より良い選択肢の一つとなりうることを示唆していると考えられる。

また, Nagata ら [4]により, 単純な対話システムである ELIZA [5] を用いた場合でも学習者の文産出量が増加することが示された. さらに，彼らの実験では，チャットボットの文に出現する単語を学習者が採用した結果が報告されており，学習者が知らない言葉や自分では使わない傾向にある言葉を学習する
のに対話システムが有効であることが示唆された.本稿では，対話モデルの応答に学習者が習得したい文法項目を含ませることにより，語学学習における対話モデルの可用性の向上に取り組む.ここで，文法項目とは中学・高校の英語学習で扱われる，現在完了形，仮定法，関係詞節，不定詞などの項目を指す。対話システムとの対話を通して英文産出量を増やすだけでなく, 学習したい文法項目に触れる機会を増やすことで優れた学習効果が期待できる.

所望の表現を含む応答文の生成を行う研究として，条件を満たすテキストを生成するように，事前学習済み言語モデルを誘導する補助モジュールを構築する手法 [6] や，大規模言語モデルを訓練する際に，制御コードを一緒に学習させ，それらのコードを用いて生成を制御する手法 [7] などがある。これらの手法は教師あり学習に基づいているため，教師付きデータセットが必要である。しかし，言語処理技術の教育応用については多くの資源が整備されているとは言えず，特に，文法項目に関する大規模なラベル付き対話データセットが充実していないという課題がある。したがって，教師あり学習を用いるこれらの手法においては，訓練に用いるデータセットの不足が懸念される.

そこで本稿では，大規模なラベル付きデータセットを必要とせず所望の文法項目を含む応答を生成する手法として，強化学習を用いる手法と，大規模汎用言語モデルに，プロンプトと呼ばれるタスクの指示と少数のサンプルを含んだ入力を与える手法を検討する。強化学習の報酬関数には，文法項目が含まれるかどうかを判定する分類器を用いる. また，学習が文法項目のみに偏って応答文の質が落ちないように，応答文の多様性，流暢性に関する報酬関数を設計し，それらの組み合わせの効果を検討する。

## 2 関連研究

強化学習による文生成強化学習は，行動系列に
対して報酬関数によって与えられる非即時的な評価に基づき，状態に応じた最適な行動方策を獲得する機械学習の枠組みである. 出力したトークンを行動と捉えることで, 言語生成を強化学習の問題として扱うことができる. ニューラルネットで生成モデルを構成する場合, REINFORCE [8] などの方策勾配法に基づく手法によって，出力に対する報酬の期待值を最大化するようにパラメータを最適化できる. 報酬関数でベースライン関数との差分を考慮することで報酬と確率勾配の分散を減らし学習を安定させる，ベースライン付き強化学習がよく用いられる.

報酬関数の設計はタスクによって様々だが，従来の教師あり学習における誤差関数とは異なり,微分不可能な関数を利用できることから，BLEU， ROUGE などの評価尺度を用いるテキスト生成タスクでよく利用されている $[9,10,11]$. 深層学習に基づく言語生成では一般に誤差関数に交差エントロピーが用いられ, 目的関数と評価尺度が異なることになるが，報酬関数に評価尺度を取り入れることで，そのギャップを緩和できる。

大規模汎用言語モデルによる生成近年，タスクの説明とその例を含むプロンプトを事前学習済みの生成型言語モデルに入力として与えることで言語モデルの出力を制御する手法が盛んに研究されている [12,13,14]. 特に, GPT-3 [15] は，タスクを説明する自然言語の指示のみが与えられる zero-shot，指示に加えてタスクの例が 1 つ与えられる one-shot,指示に加えてタスクの例が複数与えられる few-shot, いずれの場合にも学習データに含まれない例に対して，勾配の更新や fine-tuneを行わずとも有望な結果を示した. 特に, few-shot の実験設定では, CoQA や TriviaQA において他の fine-tune されたモデルと同等，もしくはそれ以上の値を達成している.

## 3 文生成手法

## 3.1 強化学習を用いた文生成

## 3.1.1 Self-critic 強化学習

まず，生成モデルの学習に用いる Self-critic 強化学習 [16] について説明する. 文生成における強化学習では, 生成モデルによってサンプリングされた文 $\hat{x}$ に対して，報酬関数 $R$ による報酬を係数とした尤度を最適化することで，高い報酬を得られる文が生成されやすくなるようにする. Self-critic 強化学習は, ベースライン関数として, 生成モデル自身の貪欲法による生成に対する報酬を設定する手法であり, 以下の式で定義される。

$
\nabla_{\theta} L_{\mathrm{SCST}} \propto-\left(R(\hat{x})-R\left(x^{*}\right)\right) \nabla_{\theta} \log p_{\theta}(\hat{x})
$

ここで， $x^{*}$ は生成モデルから貪欲法で生成された出力を表す. 貪欲法により得られた文 $x^{*}$ と比較して, サンプリングにより得られた $\hat{x}$ の報酬の值が大きい場合， $\hat{x}$ の生成がより促進され，報酬の値が小さい場合，生成が抑制される。

本稿では 3 つの異なる報酬関数を検討する。一つ目は，主目的である文法項目を含めた生成のための報酬関数である。他に，文法項目のみに偏った学習を緩和するための関数として生成文の多様性と流暢性に関する報酬関数をそれぞれ用意する。また， batch 単位で処理を行うため, $M$ 文の入力文集合 $\boldsymbol{C}$ に対する応答文集合 $S$ に対して報酬を計算する.

## 3.1.2 文法項目含有のための報酬関数

与えられた文が文法項目を含んでいるかどうかを判定する分類器を $F_{\mathrm{g}}()$ として，報酬関数 $R_{\mathrm{g}}()$ を以下のように定義する。

$
R_{\mathrm{g}}(\mathbf{S})=\frac{1}{|\mathbf{S}|} \sum_{s \in \mathbf{S}} F_{\mathrm{g}}(s)
$

この値が大きいほど， $\mathbf{S}$ 中の文が所望の文法項目を用いている割合が高いことを示す.

$F_{g}()$ は, BERT [17]を用いて，入力文が文法項目を含むかどうかの判定を行う，入力文に [CLS] トー クンを付与して BERT の入力とし，次式のように [CLS] トークンの埋め込み表現 $\boldsymbol{h}_{[\mathrm{CLS}]}$ に対し文法項目を含有するスコアを予測する。

$
F_{\mathrm{g}}(s)=\sigma\left(\boldsymbol{w}^{\top} \boldsymbol{h}_{[\mathrm{CLS}]}+b\right)
$

ここで， $\sigma$ はシグモイド関数， $\boldsymbol{w}, b$ は学習可能なパラメータである. $F_{\mathrm{g}}(s)$ が閾値を上回る場合に文法項目を含有すると判定し， $s$ を項目含有文とよぶ.

## 3.1.3 多様性のための報酬関数

テキストの多様性を測る指標として n-gram ベー スの指標である Distinct-N [18]を用いる。値が大きいほど多様性が高く，以下のように定義される。

$
R_{d}(\mathbf{S})=\frac{\operatorname{Count}(\text { unique }(\mathrm{n}-\operatorname{gram}(\mathbf{S})))}{\operatorname{Count}(\mathrm{n}-\operatorname{gram}(\mathbf{S}))}
$

n-gram(S) は文集合 $S$ 中のすべての n-gram を求める関数であり, unique はその集合から重複を除去する関数である.

## 3.1.4流暢性のための報酬関数

対話の文脈における応答文の流暢性を考えるため， $\boldsymbol{C}$ に対する $S$ の尤度を，パラメータ $\boldsymbol{\theta}$ を持つ事前学習済みの対話モデルにより計算し, 流暢性のスコアとして定義する。

$
R_{f}(\mathbf{C}, \mathbf{S})=\frac{1}{M} \sum_{i=1}^{M} P_{\boldsymbol{\theta}}\left(s_{i} \mid c_{i}\right)
$

ここで， $s_{i}$ は $c_{i}$ に対する応答文である. したがって，応答文 $s_{i}$ の流暢性が高いほど，報酬の值が高くなる。

## 3.2 Few-shot プロンプトを用いた文生成

Few-shot プロンプトを用いた文生成では，大規模言語モデルに対して，図 1 のように，タスクの説明とそのタスクのいくつかの例，最後にタスクの入力 （図 1 中の $\left.\langle c_{i}>\right.$ ）を与え，モデルがその続きを補完することでタスクに沿った出力を得る。

## 4 実験

実験では，SCoRE データセット [19] に含まれる文法項目のうち，現在完了形，関係詞節，仮定法の 3 種類を用いた. 実験では，項目含有文生成における強化学習と few-shot プロンプトの有効性を確認する。また，報酬関数の組み合わせ方の優劣と，その優劣の文法項目との関係を検証する。

## 4.1 データセット

対話コーパスである Daily dialog ${ }^{11}$ [20] に収録されている対話から各対話の最初の発話を直前の発話として抽出し, それに対する応答の生成を行った.これは，応答生成に以前の文脈情報が関わることを避け，タスクを単純化するためである。

公開されている学習データを分割し，10,618 件の学習データ，500 件の開発データ，1,000 件のテストデータとして用いた。

## 4.2 ハイパーパラメータ

Self-critic 強化学習における生成モデルの初期値と，流暢性のための報酬関数の $\theta$ には DialoGPT [21] を使用し，サンプリングには top- $k$ サンプリング [22] を用いた. early stopping は開発データによって 10 batch ごとに評価し, patienceを 3 として学習を停止した. 学習が進むと項目含有文の生成数は増加す

1) https://huggingface.co/datasets/daily_dialog
A and B are speaking. Create B's response using the present perfect.

$==$

A: Good morning, how are you doing today?

B: I have been feeling pretty good, Dr . Smith .

$===$

A: What's your plan for your future?

B: I'd like to work in a law firm to enrich my experience and put what I've learned into practice

$==$

A: I'm going to Japan this year on vacation.

B: Have you ever been to America?

$===$

A: $<c_{i}>$

B:

図 1 現在完了形用のプロンプトのテンプレート

るが，同じような文が多く生成され，多様性が失われる結果が得られる. そのため, 項目含有率と多様性はトレードオフの関係にあることを根拠として， それらの積をとったものを early stopping の指標として採用した。

また，大規模汎用言語モデルとして GPT-3 davinci ${ }^{22}$ [15] を用い, temperature $=1$ とした. 現在完了形の生成に用いたプロンプトを図 1 に示す. その他の設定については付録 A に詳細を記載する。

## 4.3 文法項目の含有判定に用いた分類器

3.1.2 節の報酬関数 $R_{g}$ が用いる分類器には, SCoRE データセットによって学習されたモデルを使用した. 現在完了形，関係詞節，仮定法のそれぞれについて分類器を学習し, 含有判定の閾値は 0.5 とした. SCoRE データセットおよび分類器の学習,性能に関しては付録 B に詳細を記載する。

## 4.4 比較手法

強化学習による生成とプロンプトによる生成を比較し，強化学習においては報酬関数に関して，以下の 5 つの組み合わせを比較した $: R_{g}, R_{g}+R_{d}$, $R_{g} \times R_{d}, R_{g}+R_{f}, R_{g} \times R_{f}$.

## 4.5 評価尺度

入力文に対して，強化学習による生成においては，beam 幅を 10 とした beam searchにより 10 通りの応答文を生成し，プロンプトによる生成においては，4.2 節の設定のもとで 10 回生成を行った. そのうち，分類器を用いて項目含有文を判定し，その中で最も尤度が高い文を出力文とする。そして，テストデータに対する出力文の尤度の平均値を評価

表 1 実験結果: 現在完了

値とする。これを $\mathrm{GOAL}^{3)}$ と呼ぶ. 尤度は DialoGPT により算出する。 なお平均値の算出に際し, 出力文に項目含有文が含まれない場合，その事例は除外する.また，含有割合は，項目含有文が出力文に含まれる割合である。

## 5 実験結果

表 1, 2, 3 に文法項目ごとの実験結果を示す. 現在完了形，仮定法については $R_{g} \times R_{f}$ が最も高い GOAL 值を示し, 関係詞節については $R_{g}+R_{f}$ が最も高い値を示した. $R_{g}+R_{f}$ はいずれの実験設定においても高い GOALを示した. 生成例を付録 Cに示す. 強化学習の各設定を強化学習前の DialoGPT と比較すると，いずれも含有割合は向上しており，強化学習を用いて項目含有文を生成できることが確認された．また，いずれの場合においても，学習前と比べて Distinct-1,2 の値は低下した。

現在完了と関係詞節では，多様性のための報酬関数 $R_{d}$ を用いず，流暢性のための報酬関数 $R_{f}$ を用いるほうが高い Distinct 値が得られており， $R_{d}$ の効果は限定的だと考えられる. 理由として以下のことが考えられる。まず，多様性スコアが高いと判断された文が生成されやすくなったとしても，batch 単位という狭い範囲における多様性を計算しているため， モデルの多様性を正しく反映するとは限らない。また， batch に含まれる入力文が似ている場合，出力における多様性スコアは低下するのが自然だが，現状の報酬関数ではそれを十分考慮していない。また，流暢性を考慮することで，固定的なパターンの乱用 （固定的なパターンにより $R_{g}$ のスコアは上がる）が抑制される.これらのことから， $R_{d}$ の値が高い文を生成するように学習させることは必ずしも多様性を改善するとは限らず，多様性のための報酬関数にはさらなる改善が必要と考えられる。すべての文法項目において，流暢性のための報酬関数 $R_{f}$ を適用した場合に GOAL 値の改善が見られた. 従って，

3) GOAL: Grammar Oriented Average Likelihood表 2 実験結果: 関係詞節

表 3 実験結果: 仮定法

$R_{f}$ は文法項目含有の制御を果たした上で，生成文の質の低下を抑止する効果があったと考えられる。強化学習とプロンプトを比較すると，プロンプトによる生成では高い Distinct 值が得られていた。 DialoGPT が基準となる GOAL 値では強化学習の方が高いものの, 目視で確認した範囲では GPT-3 の出力も遜色ない. 仮定法以外では, 含有割合も同程度得られている。本稿が想定する利用形態では，複数候補を生成して適当な項目含有文を選択すればよいので， 0.53 程度の含有割合でも問題ない. したがって，本稿の単純な設定下では，学習も不要なプロンプトによる生成手法に分があるといえる。しかし， より複雑な生成の制御を行いたい場合には，強化学習に優位性が生まれる可能性もある。

## 6 おわりに

強化学習とプロンプトによる応答生成手法を比較し，どちらの手法でも期待した生成結果を得られることを確認した．多様性の高さと学習が不要であることを考慮すると，本稿の設定下ではプロンプトによる手法に優位性が認められる。強化学習で用いる報酬関数については，多様性のための報酬関数の効果が限定的である一方で，流暢性のための報酬関数の有効性が示唆された. 今後の方向性として, 対象とする文法項目の拡充や，より複雑な制御が可能な生成手法の検討が挙げられる. 本稿では学習者が特定文法項目を含む発話に触れる機会の増加を目指したが，学習者が次発話で文法項目を使用することを促す先行発話の生成も検討したい.

## 参考文献

[1] Na-Young Kim. Effects of voice chat on efl learners' speaking ability according to proficiency levels. Multimedia-Assisted Language Learning, Vol. 19, No. 4, pp. 63-88, 2016.

[2] Stergios Tegos, Stavros Demetriadis, and Thrasyvoulos Tsiatsos. A configurable conversational agent to trigger students' productive dialogue: a pilot study in the call domain. International Journal of Artificial Intelligence in Education, Vol. 24, No. 1, pp. 62-91, 2014.

[3] Sherry Ruan, Angelica Willis, Qianyao Xu, Glenn M Davis, Liwei Jiang, Emma Brunskill, and James A Landay. Bookbuddy: Turning digital materials into interactive foreign language lessons through a voice chatbot. In Proceedings of the Sixth (2019) ACM Conference on Learning@ Scale, pp. 1-4, 2019.

[4] Ryo Nagata, Tomoya Hashiguchi, and Driss Sadoun. Is the simplest chatbot effective in english writing learning assistance? In LeMinh Nguyen, Xuan-Hieu Phan, Kôiti Hasida, and Satoshi Tojo, editors, Computational Linguistics, pp. 245-256, Singapore, 2020. Springer Singapore.

[5] Joseph Weizenbaum. Eliza - a computer program for the study of natural language communication between man and machine. Communications of the ACM, Vol. 9, No. 1, pp. 36-45, 1966.

[6] Zhaojiang Lin, Andrea Madotto, Yejin Bang, and Pascale Fung. The adapter-bot: All-in-one controllable conversational model. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 16081-16083, 2021.

[7] Nitish Shirish Keskar, Bryan McCann, Lav R Varshney, Caiming Xiong, and Richard Socher. Ctrl: A conditional transformer language model for controllable generation. arXiv preprint arXiv:1909.05858, 2019.

[8] Ronald J Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine learning, Vol. 8, No. 3, pp. 229-256, 1992.

[9] Romain Paulus, Caiming Xiong, and Richard Socher. A deep reinforced model for abstractive summarization. In International Conference on Learning Representations, 2018.

[10] Lijun Wu, Fei Tian, Tao Qin, Jianhuang Lai, and Tie-Yan Liu. A study of reinforcement learning for neural machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3612-3621, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[11] Karthik Narasimhan, Adam Yala, and Regina Barzilay. Improving information extraction by acquiring external evidence with reinforcement learning. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2355-2365, Austin, Texas, November 2016. Association for Computational Linguistics.

[12] Jiaoda Li, Ryan Cotterell, and Mrinmaya Sachan. Probing via prompting. arXiv preprint arXiv:2207.01736, 2022.

[13] Laria Reynolds and Kyle McDonell. Prompt programming for large language models: Beyond the few-shot paradigm. In Extended Abstracts of the $2021 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, pp. 1-7, 2021.

[14] Yao Dou, Maxwell Forbes, Rik Koncel-Kedziorski, Noah A Smith, and Yejin Choi. Is gpt-3 text indistinguishable from human text? scarecrow: A framework for scrutinizing machine text. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7250-7274, 2022.

[15] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter,
Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. CoRR, Vol. abs/2005.14165, , 2020.

[16] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7008-7024, 2017.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, $\mathrm{pp}$. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[19] Kiyomi Chujo, Kathryn Oghigian, and Shiro Akasegawa. A corpus and grammatical browsing system for remedial efl learners. Multiple affordances of language corpora for data-driven learning, pp. 109-130, 2015.

[20] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. Dailydialog: A manually labelled multi-turn dialogue dataset. arXiv preprint arXiv:1710.03957, 2017.

[21] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, Online, July 2020. Association for Computational Linguistics.

[22] Angela Fan, Mike Lewis, and Yann Dauphin. Hierarchical neural story generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 889-898, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[23] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019

[24] 投野由紀夫（編）。学習者コーパスによる英語 C E F R レベル基準特性の特定と活用に関する総合的研究, 2016 . https://kaken.nii.ac.jp/ja/grant/KAKENHI-PROJECT-24242017.

 \\

DialoGPT & I love seafood! \\
w/ $R_{g} \times R_{f}$ & I've never been to a seafood restaurant. \\
GPT-3 w/ few-shot & I've never been to that restaurant for a lunch buffet . \\

DialoGPT & I don't have a package tour. \\
w/ $R_{g} \times R_{f}$ & I don't, but I've heard of it. \\
GPT-3 w/ few-shot & Definitely . In fact, I have been living in Hollywood for around twenty days . \\

図 2 比較手法および DialoGPT の出力の比較

## A 実験の詳細設定

Self-critic 強化学習における top- $k$ サンプリングでは， $k$ を 50 とした， $R_{d}$ における Distinct-N において， $N=2$ とした. 学習時にパラメータを AdamW [23] によって最適化し, 学習率は $2 e^{-5}$, L2 正則化の係数を $1 e^{-2}$ とした. Distinct-Nを適切に計算するために, 最小出力長を 10 とした. batch size は 10 , 最大 1100 イテレーションとした.

## B 文法項目の判定に用いた分類器

強化学習の報酬関数として文法を含むかどうかの判定を行う分類器を用いた。

分類器の構造は，本文の 3.1.2 節で述べたように，判定を行う入力文に対して，BERTの [CLS]トークンの埋め込みから線形層とシグモイド関数により文法項目を含むかどうかの推定を行う。

今回作成した分類器には, 学習のためのデータセットが必要である. ただし, 必要なデータは対話形式である必要はなく, 言語モデルを教師学習する場合と比べ小規模でよい，また，データが得られない場合には正規表現による分類で代替可能である.

ここでは, 分類器の学習に用いたデータセットと学習時の設定について述べ，分類器の性能を正規表現を用いたルールベースによる分類と比較する. 正規表現は CEFR-J の正規表現リスト [24] に基づいて作成し，現在完了形において分類器と性能を比較した。

## B. 1 SCoRE データセット

文に対して文法項目が人手により付与されている SCoRE データセット ${ }^{4}$ [19]を分類器の学習に用いた. したがって，文法項目は SCoRE データセットに含まれる用例について扱うこととする. SCoRE データセットは大分類としておよそ 20 種類の文法項目が付与されており, 表 4 亿今回対象とした文法項目に該当するデータの件数を示す.また，項目内においても複数の用例が収録されており, 例として仮定法では, I wish, if I were, if 過去形, if had 過去分詞などが収録されている.

分類器の学習には, 対象の文法項目が付与された正例の他に, 対象の文法項目が付与されていない負例が必要となる。そこで，負例には SCoREデータセット内から対象の文法項目ではない文法項目が付与されている文を用いる. ただし，対象の文法項目が付与されていない全て

4) https://www.score-corpus.org/表 4 SCoREデータセットの統計量

の文を負例とすると，適していないデータが含まれる可能性があり，また，データ中の割合が大きく偏るため, 人手によって負例に適しているかを確認して分類の学習に用いるデータセットを構築した. 得られた分類用のデー タセットから $80 \%$ を学習データ，20\%をテストデータに分割した. 最終的に, 現在完了には, 学習データとテストデータをそれぞれ 1,222 ，および 306 件とした. 関係詞節と仮定法には，学習データを 1,977 件，テストデータ 495 件とした。

## B. 2 ハイパーパラメータ

分類モデルには BERT (bert-large-uncased)を初期値として使用した. 学習時にパラメータを AdamW によって最適化し, 学習率は $2 e^{-5}$, L2 正則化の係数を $1 e^{-2}$ とした. Batch size は 10 ，エポック数は 10 とした. 本実験においては，分類器はテストデータにおいて最も高い性能を示したモデルを用いた。

## B. 3 分類性能

表 5 にそれぞれの文法項目に対する分類器の分類性能を示す. 評価尺度に正解ラベルと予測ラベルの間の正解率を用いて評価した. 実験では，現在完了において正規表現よりも BERT の方が分類性能が高かったため，他の項目についても BERTを用いた分類器を報酬関数として採用した。

## C 出力例

現在完了形の出力例を図 2 に示す. Daily dialog や DialoGPT と比較して, 学習後は現在完了を用いた応答文となっていることが確認できる。 その上，入力に対する応答として破綻のない応答となっている。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 和文英訳問題自動添削システムにおける意味内容の添削

松井颯汰 ${ }^{1}$ 綱川隆司 ${ }^{1}$ 西田昌史 ${ }^{1}$ 西村雅史 ${ }^{1}$
1 静岡大学大学院総合科学技術研究科
matsui.sota.17@shizuoka.ac.jp
\{tuna, nishida, nisimura\}@inf.shizuoka.ac.jp

## 概要

本研究では，和文英訳問題の意味内容の誤りを自動添削する手法を提案する．BERTをべースとした手法で学習者訳中の意味内容の誤りを検出し, 単語アライメントと英和辞典を用いて誤り単語と訂正候補の単語 (熟語)を提示するシステムを開発した．実験では，提案システムの誤り検出および誤り訂正に関する精度を評価した。

## 1 はじめに

和文英訳問題は日本語の出題文を英語に翻訳する記述式問題である. これらは, 高校・大学入学試験等で問われる問題であるため，和文英訳問題は入学試験に出題されるほど英語の学習において重要である. しかし，和文英訳問題は記述式問題であるため，学習者自身による正誤判定が困難である. そのため，習熟者による添削が必要となるが，家庭での学習時のような習熟者が常に存在する環境ばかりではない.このような背景から，和文英訳問題を含めた記述式問題を自動で採点・添削するシステムが注目され，実用化が求められている.

杉浦 [1] によると，和文英訳の回答アプローチは 「文法的手段」と「意味内容の表現手段」の 2 つに分かれているとされている.ここで述べられている 「意味内容の表現手段」とは，日本語の意味を汲みとりその内容を英語的な発想を介して英語で表現するものであるということである. よって，本研究での和文英訳で発生する誤りは「文法の誤り」と「意味内容の誤り」とする。その中で，「文法の誤り」を自動添削するシステムはニューラルベースで開発した Grammarly[2] を始めとして盛んに研究が行われている [3]. 一方で，「意味内容の誤り」の自動添削に関する研究は希少である，これらのことをふまえて本研究では，「意味内容の誤り」を自動添削することに焦点を当てる.和文英訳問題を自動採点・添削する研究として，採点項目をあらかじめ用意し，その項目に応じて構築したシステム [4] や，学習訳と出題文の機械翻訳文の尤度から採点する [5]がある．しかし， [4]を含めた現在実用化されている和文英訳問題自動添削システムは添削可能な問題が限られており， [5] は添削をせず採点のみにとどまっている. そこで本研究では，任意の問題に対して添削可能な和文英訳問題自動添削システムを開発する。提案システムによって，学習者が習熟者不在の環境下においても十分な添削を受けることを期待している.

自動添削を実現するにあたって，誤りを検出しその誤りを訂正する二つの工程に分ける。そして，検出・訂正ともに BERT[6] をべースにした手法を提案する。誤り検出では，BERT で構築した自然言語推論モデルと Sentence-BERT(S-BERT)[7]を組み合わせた手法を用いる. 誤り訂正では，BERTを fine-tune した単語アライメントモデル [8] で学習者訳と出題文との単語アライメントを取り，英和辞典を活用した手法を用いる. 具体的な手法は次章以降で述べる.

実験では，提案システムが大学受験レベルの和文英訳問題の答案において，70\%以上で誤り文を検出し，その中で $55 \%$ 程度の訂正率であることを示した.

## 2 システム概要

「文法誤り」を添削する [2]によると，「文法誤り」 の誤りタイプは「挿入」「置換」「削除」の三つに分けられている。「意味内容の誤り」の添削も誤りはこの三タイプからなるものとする。このうち，「削除」については，学習者は意味的に余分な単語を記述するケースが少ないため，提案システムでは「削除」する機能を実装していない。

また，「意味内容の誤り」にスペルミスも含むものとする。これは，“風呂 (bath)”という単語に対し

図 1 提案システムの処理の流れ

て，“basu(人名)” “ “bass(男声最低音)”等で訳した場合の誤りは「文法誤り」システムでは検出・訂正不可能であると考えたからである.

図 1 に提案システム全体の処理の流れを示す。まず，利用者は出題文 (日本語) と学習者訳 (英語)を入力する. また，用意可能であれば正解文 (英語) も入力する. 出題文を翻訳 API(本研究では DeepL API を利用した)を用いて機械翻訳する。これにより，正解文が用意不可能な場合でも疑似的な正解文を作成する. 入力された正解文がある場合, 入力正解文,機械翻訳文のそれぞれと学習者訳との $\cos$ 類似度を求め，類似度が高い方を誤り検出・訂正用に用いる正解文とする. 正解文と学習者訳それぞれの単語をベクトル化したものを $A_{i}, B_{i}$ とすると, $\cos$ 類似度は式 1 のように求める.

$
\cos \text { 類似度 }=\frac{\sum_{i=1}^{n} A_{i} B_{i}}{\sqrt{\sum_{i=1}^{n} A_{i}^{2}} \sqrt{\sum_{i=1}^{n} B_{i}^{2}}}
$

そして，自然言語推論モデルと S-BERT で学習者訳中の意味内容の誤りの有無を検出する. 誤りが検出された場合, 単語アライメントモデルで出題文と学習者訳・正解文との対応関係をそれぞれ取る. 正解文と学習者訳とで対応関係の取れていない単語と英和辞典に記載のない単語を誤りとする. 最後に誤り箇所と正解文から抽出した訂正候補の単語を示すシステムとなっている.

## 3 誤り検出

## 3.1 自然言語推論モデル

本研究では，意味内容の誤り検出に自然言語推論 (NLI) を利用する. 自然言語推論とは前提文に対して仮定文が「含意」となるのか「矛盾」となるのか「中立」となるのかを判定するタスクである.学習者訳と正解文との自然言語推論で「矛盾」がなければ意味内容に誤りがないとし，「矛盾」があれば意味内容に誤りがあるとした。自然言語推論モデルの構築には，約 43 万対あるラベル付けされた MultiNLIを学習データとし, 事前学習モデルに BERT-LARGE モデルを用いて fine-tune した.

## 3.2 Sentence-BERT

前述した自然言語推論モデルに加え，本研究では Sentence-BERT(S-BERT)[7] を利用し誤り検出する. S-BERT は二つの類似したテキストペアを学習デー タとし，BERT などの事前学習モデルで fine-tune することで，文べクトルの生成を目的に考案されたモデルである.

天野ら [9] は意味内容の誤り検出に S-BERT 利用の有効性を示している. 本研究では，学習者訳と正解文二つの文べクトルを取り，二つのべクトルの $\cos$ 類似度を求めることで，意味内容の一致度を測る. S-BERT のモデルは MiniLM[10] で fine-tune された paraphrase-MiniLM-L3-v2を用いた。

## 3.3 統合

誤り検出部は自然言語推論モデルと S-BERTを統合させて実装した．統合した誤り検出の流れを図 2 に示す. 付録 A. 1 に誤り検出における $\cos$ 類似度間値設定の予備実験を記載する。

## 4 誤り訂正

## 4.1 形態素解析器

図 1 に示すように，誤り訂正では，まず，日本語の学習者訳と英語の出題文と学習者訳を形態素

図 2 誤り検出の流れ

解析する. 本研究では, 日本語の形態素解析器に MeCab[11] を用い, 英語の形態素解析器に nltk の tokenizer[12]を用いた. 形態素解析器を用いる狙いとしては，意味内容に誤りが起こらない「助詞」や 「助動詞」などを訂正の候補から除外するためである。

## 4.2 単語アライメント

## 4.2.1 awesome-align

誤り訂正に利用する単語アライメントモデルとして, awesome-align[8] を利用する.これは，2021 年時点での日英間アライメントで最も低いエラー率を記録したアライメントモデルである. awesome-align の特徴として，アライメントが付与されていない対訳コーパスで学習可能であることがあげられる. 多言語事前学習モデルである MBERT[6] を用いることで，別言語間で同一の単語の埋め込み表現を求める. 埋め込み表現 $h_{x}$ と $h_{y}(x$ と $y$ はそれぞれの言語に対する文を示す) とすると式 2 のような類似行列を得る。

$
S=h_{x} h_{y}^{T}
$

双方向間の類似行列を取得してから閾値 c でアライメントの可否を式 3 のように判定する。

$
A=\left(S_{x y}>c\right) *\left(S_{y x}^{T}>c\right)
$

アライメント関係にあるとされる単語を Mask して単語を予測するなど計 5 つの目的関数を定義し fine-tune することで，より高品質な単語埋め込み表現を得る. 得られた埋め込み表現から式 2 と 3 から再度アライメントを求める.

[8] では京都フリータスク (KFTT)[13]を用いて日英間単語の fine-tuneを実施した. KFTT は Wikipedia から京都に関係した文を取得したコーパスであり，専門単語の出現がわずかである和文英訳問題の出題文に対しては不向きである．そこで，本研究では KFTT に加え，比較的簡潔な日本語で構成された田中コーパス [14] と様々な分野を網羅している JParaCrawl[15] の一部を加えた計 80 万文の対訳デー タで fine-tuneした.

## 4.2 .2 訂正への応用

出題文・学習者訳間の単語アライメントと出題文・正解文間の単語アライメントの二つを取得する. Mecab が「名詞」「動詞」「副詞」「形容詞」「接続詞」「感動詞」と判定した出題文中の日本語単語に対して，正解文のみにアライメントされている単語を訂正候補とした. また，上記品詞に属していても「い」や「て」のような意味を持たない単語を除外するルールを定めることで精度向上を測った. さらに，英語では複数単語で一つの日本語単語となる場合も考えられるので，フレーズ単位で対応させた.これらは前述した「挿入」の機能にあたる.

## 4.3 辞書を利用した訂正

awesome-align は，文構造を考慮してしまうので，正解文と類似した箇所にある学習者訳の単語がアライメントされてしまう。例えば，“私は野球をしました”という出題文に対して学習者が “I played soccer”と訳した場合，“soccer”と “baseball” の両単語がアライメントされてしまう。

本研究では，前述した問題に対処するために英和辞典を用いる. 正解文と学習者訳両者アライメントされた場合，学習者訳中の単語が出題文単語に近い意味が存在するのかを英和辞典で調べる．完全一致もしくは，出題文中の単語に漢字が含まれる場合は先頭漢字が一致しているものを正解とし，それ以外を不正解とした。使用した英和辞典は英辞郎 [16] および Web 上の Weblio 辞書 [17] である.これは前述した「置換」の機能にあたる。なお，誤りありと判定されたが添削単語が存在しない場合は，誤りなしとして表示することにした. 訂正のより細かな流れの一例を図 3 に示す.

## 5 実験

## 5.1 実験条件

実験に利用するデータとして，大学受験レベルの和文英訳問題 [18],[19] の中からランダムに 51 問を抽出し，英語中級レベルの 5 名の解答者に英訳文作

図 3 誤り訂正の流れ

成を依頼した。

得られた回答延べ 254 文を著者らが「意味内容の誤り」に基づいて正解文と不正解文のラベル付けを実施し，このデータを用いて評価実験を行う. 解答文データの内訳を表 1 に示す.

表 1 解答文データの内訳

## 5.2 実験結果

本研究における実験として, どの程度誤りが検出可能かと，表 1 の誤答文に対して，提案システムが誤りと判定したものに対しての訂正がどの程度適切であったのかを評価した。

まず，正解文・不正解文それぞれにおける誤り検出の適合率，再現率， $\mathrm{F}$ 値を表 2 に示す. なお，本論文中の結果は小数点第三位で四捨五入している.

表 2 誤り検出結果

また，112 文の不正解文に対して，提案システムがどの程度単語 (熟語)を添削できたのかを調べた。提案システムが不正解であると判定した個数は 102 文である. 102 文の添削結果の妥当性を著者らにより人手評価した。適切な添削を行った単語 (熟語)数, 不適切な添削を行った単語 (熟語) 数を表 3 に示す.

最後に，不正解文中の不適切な添削であったもののうち，適切な訳であるのに不適切な添削を実施してしまった単語 (熟語) 数と不適切な添削であるのに添削出来なかった単語 (熟語) 数を，それぞれ過剩添削，添削不足とし，その結果を表 4 に示す.

付録 A. 2 に本実験における添削例を記載する。表 3 誤り訂正結果

## 5.3 考察

誤り検出では，正解文・不正解文において表 2 よりどの指標でも $70 \%$ 以上の精度を得ることができた. T5[20] などの BERT や miniLM より高度な言語モデルを基に自然言語推論モデルや S-BERTを構築することで，さらなる精度向上が期待できる。

誤り訂正では，半分程度の確率で適切な添削が可能であることを示した. その中でも表 4 より添削がなされない単語 (熟語) より添削すべきでない単語 (熟語)を添削する方がはるかに多い．これは，英和辞典に存在しない出題文とアライメント関係にあった学習者訳中の単語 (熟語) が不正解判定されるためであると考えられる。それと同時に，101 文中で添削されなかった単語が 21 個と少なかったため, 作成した英和辞典が出題文中の単語をある程度網羅していることを示した. また，Dou and Neubig[8] によるもののような近年の単語アライメントモデルが，出題文と学習者訳・正解文それぞれの単語の対応関係が高精度で取れ, 訂正タスクにも十分応用可能であることも示した. 英和辞典やルールベースの拡張，類義語辞典を構築するなどで過剰添削の削減に期待できる.

## 6 おわりに

本研究では，「意味内容の誤り」を自動添削することに特化した和文英訳添削システムを構築した.提案システムとして，BERTをべースとした誤り検出と, 単語アライメントモデルと英和辞典を利用した誤り訂正の二つを提案した. 実験の結果，誤り検出では全ての指標において 0.7 以上を記録することができたが，誤り訂正では半分弱の添削が不適切であり，さらなる改善が必要である.

今後の課題として，単語アライメントモデルを訂正タスク向けに拡張したモデルの検討や過剩添削を防ぐアルゴリズムの検討を行うとともに，ユーザへの評価実験を行っていきたい.

## 謝辞

本研究は JSPS 科研費 JP20K00830 の助成を受けたものです.

## 参考文献

[1] 杉浦正好. ライティング指導としての和文英訳. 愛知学院大学文学部紀要, No. 39, pp. 127-135, 2010.

[2] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. Gectorgrammatical error correction: tag, not rewrite. arXiv preprint arXiv:2005.12592, 2020.

[3] Yu Wang, Yuelin Wang, Jie Liu, and Zhuo Liu. A comprehensive survey of grammar error correction. arXiv preprint arXiv:2005.06600, 2020.

[4] 菊地正弥, 尾中大介 and 舟山弘晃, 松林優一郎, 乾健太郎. 項目採点技術に基づいた和文英訳答案の自動採点. 言語処理学会, 2021.

[5] 松岡保静, 中村俊允 and 村上聡一朗, 澤山熱気. 英作文採点・添削技術の開発. NTT DOCOMO テクニカル・ジャーナル, Vol. 27, No. 39, 2020.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[7] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084, 2019.

[8] Zi-Yi Dou and Graham Neubig. Word alignment by finetuning embeddings on parallel corpora. arXiv preprint arXiv:2101.08231, 2021

[9] 天野勇弥, 松井颯汰, 綱川隆司, 西田昌史, 西村雅史ほか. 和文英訳自動添削システムにおける内容誤り検出手法の検討. 第 84 回全国大会講演論文集, Vol. 2022, No. 1, pp. 807-808, 2022.

[10] Wenhui Wang, Furu Wei, Li Dong, Hangbo Bao, Nan Yang, and Ming Zhou. Minilm: Deep self-attention distillation for task-agnostic compression of pre-trained transformers. Advances in Neural Information Processing Systems, Vol. 33, pp. 5776-5788, 2020.

[11]（2022 年 12 月 22 日閲覧）. https://github.com/ neologd/mecab-ipadic-neologd.

[12]（2022 年 12 月 22 日閲覧）. https://www.nltk.org/.

[13]（2022 年 12 月 22 日閲覧）. http://www. phontron. com/kftt/index-ja.html.

[14]（2022 年 12 月 22 日閲覧）.http://www. edrdg.org/ wiki/index.php/Tanaka_Corpus.

[15] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. Jparacrawl: A large scale web-based english-japanese parallel corpus. arXiv preprint arXiv:1911.10668, 2019.

[16]（2022 年 12 月 22 日閲覧）. https://http://www. eijiro.jp/.

[17]（2022年12月22日閲覧）.https://ejje.weblio.jp/.

[18] 高橋響. 英語ライティングの鬼 100 則. 明日香出版社, 2021 .

[19] 竹岡広信. ドラゴン・イングリッシュ基本英文 100 .講談社, 2005.
[20] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

## A 付録

## A. 1 誤り検出における $\cos$ 類似度評価

予備実験として，S-BERT の意味内容の誤り検出における適切な $\cos$ 類似度の数值を調査した. 実験には，本論文で用いたデータとは別のクラウドソー シングで収集した. その後著者らで正解文と不正解文に分け，それぞれ 50 文ずつ計 100 文をランダムに抽出した. 正解文・不正解文と事前に用意した問題集の解答とで S-BERT が示した $\cos$ 類似度の平均値を表 5 に示す.

表 $5 \cos$ 類似度の平均値

表 5 より，正解文に対する $\cos$ 類似度の平均值が 0.83 であることから， 0.8 周辺で閾値設定すればよいと仮説を立てた.

次に，それぞれ 50 文の正解文・不正解文と事前に用意した問題集の解答とで S-BERT が示す $\cos$ 類似度の値をそれぞれ箱ひげ図で表した. その箱ひげ図を図 4 に示す.

図 4 正解文・不正解文に対する S-BERT が示す $\cos$ 類似度の箱ひげ図

箱ひげ図 4 より，正解文に対する $\cos$ 類似度が 0.8 弱から 0.9 強に収まっている. また, 不正解文に対する $\cos$ 類似度が 0.9 以上のものがほぼない. さらに，正解文に対する $\cos$ 類似度はいくつかの外れ値を含んでいる。それらの結果と訂正候補が無い場合は誤りなしとすることをふまえて，正解文の $\cos$ 類似度が 0.85 以上となればその文は正解文であろうと仮定し，閾値設定した。

## A. 2 添削例

ここでは，提案システムにおける添削の一例を示す.

## A.2.1 添削が適切な例

出題文が“もし宝くじにあたったら，彼らは一生懸命働かなくなるでしょう。”の時に学習者が “If they get big amount of money, they won't work forever." と訳した場合の例を示す。この時の誤り単語 (熟語) は“宝くじ”, “あたる”, “一生懸命”である．その時の提案システムの出力を表 6 に示す.

表 6 適切な添削例

表 6 中の “get $\Rightarrow$ won”は “get”から “won”への変更を促している.

## A.2.2 添削が不適切な例

出題文が “医療の向上のおかげで，多くの国で平均寿命が高くなりました。”の時に学習者が "Thanks to the medical improvement, people live longer in many countries.” と訳した場合の例を示す.この時の誤り単語 (熟語) は “平均寿命” である. その時の提案システムの出力を表 7 に示す.

表 7 不適切な添削例

“longer” の原型である“long”において，英和辞典では “向上”という意味の記載がないため不正解判定されている．また，英和辞典において “live”に“平生使う” という記載があるため, “平均寿命” とマッチしてしまった.


# エッセイ自動採点における文法特徵と学習者レベルの関係

土肥康輔 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{doi.kosuke.de8, sudoh, s-nakamura\}@is.naist.jp

## 概要

本研究では，エッセイ自動採点において文法特徵を考慮することの効果について検証する. エッセイの分散表現に加えて，学習者が正しく使えている文法項目の情報や，文法誤りの情報をモデルの入力に用いることで，モデル性能が向上するかを検証した. 実験の結果，正しく使えている文法項目の情報は，モデル性能の向上につながらなかった．また，文法誤りの情報は，学習者のレベルが高いデータセットにおいては効果がない一方で，様々なレベルの学習者が含まれているデータセットにおいては効果があることが示された.

## 1 はじめに

近年の外国語教育では，ライティングやスピーキング能力の育成も重視されるようになっており，学校現場や入試で両能力のテストが実施されることも増えている。しかし，その評価には，大きな人的・時間的コストがかかるという課題がある。採点自体に時間がかかることに加えて, 評価の信頼性を保つためには，採点者の訓練が必要である．このような課題を背景に，自動採点研究が行われている.

ライティングやスピーキングといった学習者のパフォーマンスを評価する方法は, 総合的評価と分析的評価に大別される. 前者は学習者の作文や発話に対して1つのスコアを付与するのに対して，後者は文法や内容等の複数の観点に対してそれぞれスコアを付与する。ただし，総合的評価においても，それらの観点での出来栄えが基準となっていることが一般的である. 例えば TOEFL iBT の基準 (表 1) では,内容, 構成, 文法, 語彙等が言及されている. 特に文法，語彙については，テスト問題のトピックとは関係なく, ある習熟度レべルの学習者に特徴的な項目があることが明らかになっている [1]. 人間の採点者は，そのような項目を探しながら学習者のパフォーマンスを評価しているとも言われており [1],表 1 TOEFL iBT ライティング基準 (スコア 5)

An essay at this level largely accomplishes all of the following: - Effectively addresses the topic and task
- Is well organized and well developed, using clearly appropriate explanations, exemplifications and/or details
- Displays unity, progression and coherence
- Displays consistent facility in the use of language, demonstrating syntactic variety, appropriate word choice and idiomaticity, though it may have minor lexical or grammatical errors

自動採点モデルにおいて文法特徴を明示的に利用することで，様々なテスト問題に対して頑健なモデルを構築することが期待できる。そこで本研究は， エッセイ自動採点 (AES) において文法特徴を考慮することの効果について検証する。

## 2 関連研究

AES は，学習者が書いたエッセイにスコアやレベル等の評価値を付与するタスクである. AES モデルでは，特徵量エンジニアリングによって得られた特徴量が広く用いられていた ([2], [3] を参照). 例えば e-rater [4] は，文法誤りや語彙の複雑さの指標を含む 12 種類の特徴量を用いている. [5] は様々な言語特徵を用いて学習したモデルの検証を行い, 文法の複雑さや誤りに関する指標に高い重みが割り振られていることを明らかにした. [6] は文法誤り検出タスクとのマルチタスク学習を行うことで，AES のパフォーマンスが向上することを示した.

近年では, 特徼量エンジニアリングを不要とする, 深層学習に基づく手法が主流となってきている. RNN や Bi-LSTM を用いたモデル [7, 8] や, BERT [9] 等の事前学習済み言語モデルに基づくモデル $[10,11]$ が提案されている. しかし [2]は, これらの深層学習に基づくアプローチと特徴量エンジニアリングに基づくアプローチは相補的な関係にあり，両者を組み合わせることでモデル性能が向上する可能性を指摘した，実際に，エッセイの分散表現と人手で作成された特徴量を組み合わせたモデル [12,13] が提案されている. [14] は，BERTから得ら

れるエッセイの分散表現と文法誤りの情報を組み合わせたモデルを提案した. しかし, 文法誤り情報の追加は, 話し言葉自動採点でモデル性能を向上させた一方で，AES では効果がなかった。

## 3 文法特徵利用の効果検証

本研究では，[14] の手法をべースに，BERT 基づくAES モデルにおいて，文法特徴を用いることの効果について検証する. [14]では, 文法特徴として文法誤り情報が用いられていたが，本研究では， CEFR の基準特性研究 [1] を参考に，学習者が正しく使えている文法項目の情報も用いる. CEFR [15] は言語能力を評価する国際指標で，習熟度を $\mathrm{A} 1$ (初級) ～C2 (上級) の 6 段階に区分する. 基準特性は CEFR の各レベルで特徴的な言語項目群であり, あるレベル以上の学習者が正しく使うことができる positive linguistic features (PF) と, あるレベルの学習者が間違えやすい negative linguistic features (NF) がある. 以下の節で，検証に用いる $\mathrm{PF}$ とFについて具体的に説明する.

## 3.1 Positive Linguistic Features

PF の抽出には, CEFR-J Grammar Profile 文法項目頻度分析プログラム $[16,17]$ を用いる. 同プログラムは，501 種類の文法項目のテキスト中での頻度を，正規表現に基づいて算出できる. しかし，そのままではテキスト中で使われていない文法項目が多く, スパースなベクトルとなってしまうため，100 語あたりの延べ使用数，及び文法項目の異なり数に基づき集計したものを特徴量として用いる (表 2 上段). また， 4.1 節で後述するデータの訓練セットにおいて, エッセイの評価値と相関の高かった文法項目 $(100$ 語あたりの延べ使用数 $=6$ 項目, 使用の有無 $=$ 25 項目) のベクトルも使用する (表 2 中段).

## 3.2 Negative Linguistic Features

NF には，100 語あたりの文法誤り頻度を用いる。具体的には， ERRANT [18] によって付与される，24 種類の誤りタグに基づき，特徴量を作成する (表 2 下段). タグのグループ化は, EFCamDat [19] に付与されている誤りタグに対して, [14] が行ったグルー プ分けを参照し, できる限り対応が取れる形で行った (付録 A). テキスト中の文法誤り数の推定には, エッセイを入力とする回帰モデル (4.2.1 節を参照) を用いる。表 2 使用する文法特徴量

異なり数以外は, 100 語あたりの相対頻度.

## 4 実験

実験では，3節で述べた文法特徴を用いることで， BERT に基づく採点モデルの性能が向上するかを検証する.

## 4.1 データセット

本研究では, EFCamDat Cleaned Subcorpus [20], FCE [21], W\&I+L [22] の 3 種類のデータを用いた. EFCamDat と W\&I+L には初級〜上級の様々なレべルの作文が含まれている一方で，FCE には比較的高いレベルの作文のみが含まれている. モデルの学習に使用したデータの詳細を表 3 に示す.

EFCamDatには，習熟度レベル 1～15 (CEFR A1～ $\mathrm{C} 1$ に対応) の作文が収録されている. 本研究ではそのうち, 文法誤りタグが付与されている 498,207 件のデータを用いた. データは, train, dev, test に分割し, train はさらに, 文法誤り数推定モデルの学習用と，採点モデルの学習用に分割した. 採点モデルの学習データには，全習熟度レベルを含む train_sc と, FCE との比較を意図した train_b2 (レベル 9〜13) を準備した. dev と test は，文法誤り数推定モデルと採点モデルの評価に共通して用いた。

FCEには，CEFR B2 レべルの試験において学習者が書いたエッセイが収録されている. 文法誤り情報に加えて，0５.3 点の範囲のスコアが付与されている. 本研究では, BEA 2019 の文法誤り訂正 Shared Task で配布されたバージョンを, 採点モデルの構築・評価に用いた。

W\&I+L には，学習者と母語話者によって書かれたエッセイが収録されている. 文法誤り情報に加えて, 学習者に対しては CEFR A1.i～C2.ii の 12 段階,母語話者に対しては $\mathrm{N}$ のラベルが付与されている.本研究では，学習者によって書かれたエッセイのみを，採点モデルの構築・評価に用いた. W\&I+L は，
表 3 学習に使用したデータ

test が公開されていないため，devを評価に用い， trainを分割して学習・開発データとして用いた。

## 4.2 実験設定

文法誤り数推定モデル，及び採点モデルの両方で，BERT を利用してエッセイの分散表現を取得する. BERT は HuggingFace 社が公開している bert-base-uncasedを用い，学習データの最大入力長は 512 トークンとした. 両モデルとも，BERT のパラメータは固定して学習を行った。

## 4.2.1 文法誤り数推定モデル

文法誤り数推定モデルは，エッセイの分散表現を入力とし，エッセイに含まれる文法誤り数を予測する. 文法誤り数は，0から 1 の範囲に正規化した. エッセイの分散表現を入力する線形層の隠れ層の数は 3 , 各層のノード数は 256 とした. 活性化関数には reluを用いた. 損失関数は平均二乗誤差 (MSE) を用い，最適化アルゴリズムは Adam，学習率 8e-6, バッチサイズ 16 とし， 60 エポック学習を行った.

## 4.3 採点モデル

採点モデルは，エッセイの分散表現と文法特徴量を入力とし，エッセイのスコアを予測する。エッセイの分散表現と文法特徴のべクトルを結合したものを線形層への入力とした. EFCamDat と W\&I+L では，エッセイに付与されている評価値は「レベル」 であるが，これを連続値とみなすことで，回帰モデルを学習した. エッセイのスコアは-1 から 1 の範囲に正規化した. 線形層の隠れ層の数は 5 , 各層のノード数は $768,1024,512,256,64$ とした.活性化関数には relu を用い, dropout $=0.2$ に設定した. 損失関数は MSEを用い, 最適化アルゴリズムは Adam，学習率 1e-5，バッチサイズ 16 とし， 120 エポック学習を行った.

ベースラインとしては，エッセイの分散表現のみを入力とするモデルを準備した. エポック数を 60 とした以外は, 文法特徴量を使う場合と同一の設定とした.表 4 文法誤り数推定モデルの結果 (ピアソンの積率相関係数). err $7 \mathrm{gr}$ と $\operatorname{err} 24 \mathrm{tag}$ の値は各相関係数の平均値.

## 4.4 実験結果

## 4.4.1 文法誤り数推定モデル

表 4 は，推定された文法誤り数と正解データとの相関係数を示している. 文法誤りの総数の推定では，比較的強い正の相関 (err sum $=0.6772)$ が見られた一方で，推定する誤りカテゴリ・タグの数が増加すると $(1 \rightarrow 7 \rightarrow 24)$, 相関係数は低くなっていった.これは，カテゴリ・タグが細分化されることで，各文法誤りの頻度が低くなることが影響していると考えられる．7つの誤りカテゴリを予測するモデル (err 7 gr) について, 各誤りカテゴリの頻度と相関係数の関係を確認したところ，誤り数が最も多いW_lang (スペルや正書法の誤り) で相関係数が最も高く(0.6192), 誤り数が少なくなるにつれて相関係数が低くなっていくことが確認された. 相関係数が 0.3978 と最も低くなった AG (数の一致に関する誤り) は，EFCamDat dev で 1,614 例しかないのに対して，W」lang は 13,285 例見つかった. また, 頻度が低い誤りカテゴリは，多くの作文で当該カテゴリの誤り数が 0 となっていた。

## 4.4.2 採点モデル

表 5 は，推定されたエッセイのスコアと正解スコアとの相関係数を示している．実験は異なるシード値によって 3 回行い，それらの結果の平均値を表に揭載した。

$\mathrm{PF}$ を用いても，BERT に基づくAES モデルの性能は向上しなかった. $\mathrm{PF}$ をい用いたモデルとべースラインの相関係数は同等であることがほとんどだが, $\mathrm{g}$ item sum と g item $9 \operatorname{lev}$ (文法の延べ使用数) は,高いレベルの学習者のデータ (EFCamDat_b2，FCE) で用いると，相関係数が悪化した. 延べ使用数は,同一の文法事項を繰り返し使っている場合でも，その数値は大きくなる.このような作文は，低いレべル帯では問題にならないものの，高いレべル帯ではネガティブな印象になると考えられる。実際，FCE trainにおいて，文法の延べ使用数と異なり数の差
表 5 採点モデルの結果 (ピアソンの積率相関係数)

(平均 $=62.91$ ) が 40 以下の作文のスコア平均は 3.08 だったのに対して，差が 80 以上の作文のスコア平均は 3.79 であった. 延べ使用数に基づく特徴量はこの差を表現できていないと考えられる. これに対して, g type 25 (文法の異なり数) は, FCE 以外のデー タセットにおいて，ごく僅かな差であるものの，異なるシード值での 3 回の実験全てでベースラインの性能を上回った. 本研究の手法でははっきりとした PF の効果は確認できなかったため，より効果的な PF の活用方法を検討することが今後の課題である.

$\mathrm{NF}$ については，文法誤り数推定モデルの性能が比較的高かった err sum のみ, 同モデルによる推定値を用いた実験を行った. 推定された文法誤りの総数を用いた場合，採点モデルの性能は向上しなかった.しかし W\&I+L においては，ごく僅かな差であるものの, 異なるシード値での 3 回の実験全てでベースラインの性能を上回った. 文法誤り数推定モデル (err sum) が推定する誤り数と真の誤り数の相関係数は 0.6772 (表 5) であるため, $\mathrm{NF}$ を用いること自体の効果がないのか, 文法誤り数の推定精度が低いことが問題なのかが不明である.

## 4.4.3 オラクルデータによる検証

$\mathrm{NF}$ の効果の有無を明らかにするため，オラクルデータとして，データセットに付与されている文法誤り情報を用いた検証を行った。表 6 に，エッセイの予測スコアと正解スコアとの相関係数を示す.

学習者の習熟度が高いデータ (EFCamDat_b2, FCE) においては，NFを追加してもモデル性能の向上は見られなかった. 高いレベル (少なくとも本実験で対象となっていた CEFR B2 付近) の学習者は,文法をある程度使いこなせることが当たり前であり, 文法誤りという観点からはあまり差がないことが示唆される。一方で，様々なレべルの作文を含む EFCamDat_sc と W\&I+L においては，相反する結果となった. EFCamDat_scでは，NFを追加してもモ表 6 オラクルデータの結果 (ピアソンの積率相関係数)

デル性能は向上しなかったが，W\&I+L では相関係数が 0.05 0.07 程度上昇した. W\&I+L での予測スコアと正解スコアの散布図を付録 B に示す. err sum を用いることで，正解スコアとの差異が大きい点 (特に，正解スコアより予測スコアが高い点) がベー スラインよりも減少していた。また，W\&I+L において異なる 3 つの NF の効果を比較すると，誤り情報を集計するよりもタグレベルの情報を維持する方が相関係数が高くなった.

学習者のレベルが様々である場合，レベルによって文法の出来栄えが異なっていると想定できるため, W\&I+L の結果の方が直観に合致している. EFCamDat でNFの効果がなかった原因として考えられるものの 1 つは, EFCamDat に付与されている文法誤り情報の正確さである. FCE や W\&I+L のアノテーションが少数の専門家によってなされたのに対して，EFCamDatのアノテーションは，オンライン英会話学校のライティング課題に対して教師が文法誤りを訂正した結果に基づいている。そのため,訂正の一貫性や網羅性に問題があると言われており，これが結果に影響を与えた可能性がある.

2 つ目に，EFCamDat のエッセイは W\&I+L と比べて文法誤りの数が少ない傾向があること (100 語あたり 8.93 個 vs. 10.83 個 ; 付録 C) が考えられる.これは, EFCamDat のエッセイが短いこと (平均 120.98 語 vs. 平均 200.95 語)，上述のアノテーションの網羅性の問題が関連している考えられる。高レベル帯の文法誤り数は両データセットでほぼ同じなのに対して，文法特徴が効果的な低〜中レべルの作文ではその差異が大きくなっていた.

## 5 おわりに

本研究では，AES で文法特徴を考慮することの効果について検証した. PF は, 本研究の活用手法ではモデル性能の向上に寄与しなかったが， $\mathrm{NF}$ は幅広いレベルの学習者を採点する場合には有効であることが示唆された．PFを活用する手法や，高レべルの学習者に対して有効な言語特徴を検討することが今後の課題である.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054，JST 科

学技術イノベーション創出に向けた大学フェロー

シップ創設事業 JPMJFS2137 の助成を受けたものである。

## 参考文献

[1] John A Hawkins and Luna Filipović. Criterial Features in L2 English: Specifying the Reference Levels of the Common European Framework. Cambridge University Press, 2012.

[2] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, 2019.

[3] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 459-484, 2021.

[4] Jill Burstein, Martin Chodorow, and Claudia Leacock. Automated essay evaluation: The criterion online writing service. Al Magazine, Vol. 25, No. 3, pp. 27-36, 2004.

[5] Sowmya Vajjala. Automated assessment of Non-Native learner essays: Investigating the role of linguistic features. International Journal of Artificial Intelligence in Education, Vol. 28, No. 1, pp. 79-105, 2018.

[6] Ronan Cummins and Marek Rei. Neural multi-task learning in automated assessment. arXiv, Vol. arXiv: 1801.06830, , 2018.

[7] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.

[8] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 715-725, 2016.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[10] Farah Nadeem, Huy Nguyen, Yang Liu, and Mari Ostendorf. Automated essay scoring with discourse-aware neural models. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 484-493, 2019.

[11] Ruosong Yang, Jiannong Cao, Zhiyuan Wen, Youzheng $\mathrm{Wu}$, and Xiaodong He. Enhancing automated essay scoring performance via fine-tuning pre-trained language models with combination of regression and ranking. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1560-1569, 2020.
[12] Tirthankar Dasgupta, Abir Naskar, Lipika Dey, and Rupsa Saha. Augmenting textual qualitative features in deep convolution recurrent neural network for automatic essay scoring. In Proceedings of the 5th Workshop on Natural Language Processing Techniques for Educational Applications, pp. 93-102, 2018.

[13] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[14] Stefano Bannò and Marco Matassoni. Cross-corpora experiments of automatic proficiency assessment and error detection for spoken English. In Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2022), pp. 82-91, 2022.

[15] Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Cambridge University Press, 2001.

[16] 投野由紀夫 (編). 平成 24 年度平成 27 年度科学研究費補助金 (基盤研究 (A)) 研究課題番号 24242017 研究成果報告書学習者コーパスによる英語 CEFR レベル基準特性の特定と活用に関する総合的研究. 2016.

[17] 石井康毅. CEFR-J Grammar Profile 文法項目頻度分析プログラム. http://www.cefr-j.org/download.html (2022 年 10 月 20 日ダウンロード), 2020.

[18] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017.

[19] Jeroen Geertzen, Theodora Alexopoulou, and Anna Korhonen. Automatic linguistic annotation of large scale L2 databases: The EF-Cambridge open language database (EFCamDat). In Selected Proceedings of the 2012 Second Language Research Forum: Building Bridges between Disciplines, pp. 240-254, 2014.

[20] Itamar Shatz. Refining and modifying the EFCAMDAT: Lessons from creating a new corpus from an existing large-scale English learner language database. International Journal of Learner Corpus Research, Vol. 6, No. 2, pp. 220-236, 2020.

[21] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[22] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

## A ERRANT の誤りタグのグループ化

Lexical は同じ品詞の別の語に訂正する誤り，form は語の選択は正しいが活用形が間違っている誤り，VT は動詞の時制の誤り，PAP は前置詞・冠詞・所有格の誤り，AG は数の一致に関する誤り，W_lang はスペル・正書法の誤り，Others は語順及びその他の誤りを表す. VT，PAP，AG は [14]に基づいている.

## B W\&I+L での baseline と err sum の結果

## C EFCamDat と W\&I+L の語数と 100 語あたりの文法誤り数


# 問題タイプを考慮した英単語穴埋め問題の 不正解選択肢の自動生成

吉見 菜那 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 内田 諭 2 荒瀬 由紀 ${ }^{3}$ 二宮 崇 1
1 愛媛大学 2 九州大学 3 大阪大学
yoshimi@ai.cs.ehime-u.ac.jp \{kajiwara,ninomiya\}@cs.ehime-u.ac.jp
uchida@flc.kyushu-u.ac.jp arase@ist.osaka-u.ac.jp

## 概要

本研究では、日本の大学入試の英単語穴埋め問題を題材として、不正解選択肢の自動生成に取り組む。先行研究では全ての問題に対して同一の手法を適用していたが、本研究では 3 種類の問題タイプ （文法・機能語・文脈）を定義し、それぞれの特徵を考慮して不正解選択肢を自動生成する手法を提案する。日本の大学入試で実際に出題された 500 問を用いた評価実験の結果、提案手法は特に機能語の問題において既存手法を大きく上回る性能を達成した。

## 1 はじめに

英単語穴埋め問題 [1] は、学習者の英語習熟度を評価する方法のひとつであり、TOEIC ${ }^{1}$ や実用英語技能検定 ${ }^{2}$ などの試験から学校教育の現場まで、広く使用されている。問題形式は図 1 のとおり、ある 1 単語を空欄とする問題文に対して、空欄に当てはまる正解選択肢が 1つ、当てはまらない不正解選択肢が 3 つの 4 択形式で構成されるのが一般的である。これらの選択肢は、教員などの豊富な言語教育経験を持つ作問者によって人手で作成されるため、作問コストが大きい。本研究では、作問者の負担軽減のために、不正解選択肢の候補を自動生成する。

英単語穴埋め問題における不正解選択肢の自動生成に関する先行研究では、正解単語と意味的に類似する単語を生成する手法 [2-7] が多く提案されている。また、問題文中の単語との共起情報を用いる手法 [8,9]、文脈全体を考慮する手法 [10]、学習者の誤り傾向を考慮する手法 [11] なども提案されてきた。 しかし、これらの先行研究は全ての問題に対して同一の手法を適用するため、生成された不正解選択肢

1) https://www.ets.org/toeic.html

2) https://www.eiken.or.jp/eiken/
Jeff didn' $t$ accept the job offer because of the _ salary.
(a) low
(b) weak
(c) cheap
(d) inexpensive

(a) が正解選択肢

図1 英単語穴埋め問題 (大学入試センター試験, 2018） ${ }^{4)}$

の特徴に偏りがある。実際の問題には、作問者の意図が反映されており、文法知識を問う問題や慣用表現を問う問題など複数の問題タイプが存在する。そのため、既存手法には不正解選択肢の特徵を問題夕イプごとに柔軟に変更できないという課題がある。

本研究では、日本の大学入試における英単語穴埋め問題を対象に、人手で問題タイプを分類する。その上で、問題タイプごとの選択肢の特徴を考慮して、それぞれに適した不正解選択肢の自動生成手法を提案する。作問者によって用意された実際の不正解選択肢と自動生成した不正解選択肢の一致率を評価したところ、提案手法は多くの設定において既存手法 $[5,7,10]$ を上回る性能を達成した。

## 2 関連研究

先行研究 $[5,7,10]$ では、英単語穴埋め問題の不正解選択肢の自動生成を、候補生成・リランキング・ フィルタリングの 3 つのステップで行っている。本節では、この 3 ステップで各手法の概要をまとめる。

単語分散表現に基づく手法 [5] は、word2vec [12] の余弦類似度によって正解単語との意味的類似度が高い単語を候補生成し、候補単語を類似度によってランキングし、フィルタリングとして単語 3-gramを用いている。単語 3-gram によるフィルタリングでは、候補単語を空欄に当てはめた際に、候補単語とその前後の単語からなる単語 3-gram が Wikipedia ${ }^{3}$ )上に出現する場合、その単語を候補から除外する。

3) https://en.wikipedia.org/
表 1 本研究で構築した英単語穴埋め問題データセットの例

マスク言語モデルに基づく手法 [10] は、単語分散表現に基づく手法 [5] を改良したもので、単語分散表現によって候補生成し、BERT [13] の単語穴埋め確率によって文脈を考慮して候補をリランキングする。フィルタリングにも BERT の単語穴埋め確率を用いており、確率の上位 $\theta_{H}$ 位以上は正解となり得る信頼性の低い不正解選択肢であり $\theta_{L}$ 位以下は妥当性の低い不正解選択肢であるとして、確率の上位 $\theta_{H}$ 位から $\theta_{L}$ 位までの候補単語を抽出している。

折り返し翻訳に基づく手法 [7] は、問題文をドイツ語などのピボット言語に機械翻訳し、それをさらに英語へと折り返し翻訳した際に、単語アライメントによって正解単語と対応する候補単語を獲得する。リランキングには、単語分散表現の余弦類似度 [5] や BERT の単語穴埋め確率 [10] など、任意の既存手法を用いる。フィルタリングでは、 WordNet [14]を用いて正解単語の同義語を除外し、 さらに正解単語と異なる品詞の単語を除外する。

## 3 問題タイプの定義

2017 年から 2021 年までの 5 年間に出題された日本の大学入試問題4) の中から無作為に 500 問を抽出し、英語教育を専門とする大学教員が問題タイプを分類した。表 1 に例示するように、英単語穴埋め問題を以下の 3 種類の問題タイプに分類した。
- 文法 : 主に同じ語の活用形を選択肢とする問題
- 機能語：規定の機能語リストからの選択肢である問題
- 文脈：文脈または慣用表現によって選択肢が決まる問題

表 2 に、各問題タイプの出題頻度の内訳を示す。

図 2 提案手法の概要

文脈の問題が約半数を占め、機能語の問題が約 4 割、文法の問題が 1 割強の割合であった。次節では、これらの問題タイプごとの特徴を考慮した不正解選択肢の生成手法を検討する。

## 4 不正解選択肢の生成

本研究でも先行研究 $[5,7,10]$ と同様に、候補生成・リランキング・フィルタリングの 3 つのステップによって不正解選択肢を生成する。提案手法の概要を図 2 に示す。候補生成およびリランキングにおいては、2 節で説明した既存手法のうち、検証セッ $r^{5)}$ における性能が最高となる手法の組み合わせを問題タイプごとに選択した。フィルタリングにおいては、以下で説明する各問題タイプの特徴を考慮した新しい手法を提案する。

## 4.1 文法問題のためのフィルタリング

文法問題では、基本的に同じ語の活用形を選択肢とするため、正解単語の活用形を不正解選択肢の候補として取得したい。そこで本研究では、正解単語と同じ品詞および活用形を持つ候補を除外する。

また、信頼性の低い（正解となり得る）不正解選択肢を避けるために、空欄に当てはめた際に自然な文を構成する候補は除外する必要がある。そこで本研究では、BERT [13] の単語穴埋め確率を用いて、正解単語よりも高確率の候補単語を除外する。表 1 の 1 文目の例では、同じ品詞の候補として “thinks”、高確率の候補として “watches” などが削除される。

表 3 問題タイプごとの不正解選択肢の自動生成の $\mathrm{F}$ 値

## 4.2 機能語問題のためのフィルタリング

機能語問題では、基本的に前置詞や接続詞などの機能語のみを選択肢として用いる。そこで本研究では、日本の大学受験用の機能語リスト ${ }^{6}$ を用意し、 ここに含まれない候補単語を除外する。表 1 の 2 文目の例では、“ime”や“taken”などが削除される。

## 4.3 文脈問題のためのフィルタリング

文脈問題は、コロケーションやイディオムの知識を問う問題であるため、問題文中の周辺単語とよく共起する単語を候補として使用したい。ただし、文法問題と同様に、信頼性の低い不正解選択肢を避けるために、BERT の単語穴埋め確率において正解単語よりも高確率の候補単語は除外する。表 1 の 3 文目の例では、“comfy” ゃ“cosy”が削除される。

## 5 評価実験

3 節で収集した 500 件の英単語穴埋め問題を対象に、不正解選択肢を自動生成する評価実験を行う。

## 5.1 実験設定

モデル候補生成には、2 節で紹介した単語分散表現に基づく手法 [5] および折り返し翻訳に基づく手法 [7] を用いた。ここで、単語分散表現には fastText ${ }^{7)}$ [15] を使用した。また、折り返し翻訳には先行研究 [7] の設定に従って英独および独英の

Transformer ${ }^{8)}[16,17]$ を使用し、単語アライメントの計算には単語分散表現および Hungarian 法 $[18,19]$ を用いて候補単語を収集した。

リランキングには、単語分散表現に基づく手法 [5] およびマスク言語モデルに基づく手法 [10] を用いた。後者のリランキングには、HuggingFace Transformers [20] 経由で BERT-base-uncased ${ }^{9)}$ [13] を使用した。なお、候補単語は fastText および BERT の語彙に共通して出現する単語のみに制限している。

フィルタリングでは、NLTK ${ }^{10)}$ [21]を用いて品詞タグ付けした。機能語は、166 単語6)を収集した。

比較手法本研究では、2 節で説明した単語分散表現に基づく手法 [5]、マスク言語モデルに基づく手法 [10]、折り返し翻訳に基づく手法 [7] の 3 手法を提案手法と比較した。比較手法のフィルタリングにおいて、Wikipedia は前処理済み ${ }^{11)}$ [22] の英語テキストを使用した。また、先行研究 [10] の設定に従い、閾値には $\theta_{H}=11$ および $\theta_{L}=39$ を使用した。

評価各手法において 100 種類の単語を候補生成し、リランキングおよびフィルタリングした上位 $k \in\{3,5,10,20\}$ 単語を、実際の不正解選択肢 3 件と比較する。評価指標には、再現率および適合率を求め、その調和平均（F 値）を用いる。ただし、候補が $k$ 単語に満たない場合は、語彙の中から無作為に選択した。

8) https://github.com/facebookresearch/fairseq/blob/ main/examples/wmt19/README.md

9) https://huggingface.co/bert-base-uncased

10) https://www.nltk.org/

11) https://www. tensorflow.org/datasets/catalog/wiki40b

## 5.2 実験結果

表 3 に実験結果を示す。各問題タイプにおいて、上から 3 行は比較手法、最下行は提案手法の性能を示している。提案手法は、12 件中の 9 設定において最高性能を達成し、残りの 3 設定においても 2 番目に高い性能を示したため、問題タイプの特徴を考慮したフィルタリングの有効性を確認できた。特に、機能語問題において性能の向上が顕著であり、候補数 $k$ の増加に伴ってより大きな改善が見られた。

表 4 に、問題タイプごとの不正解選択肢の出力例を示す。まず、文法問題においては、比較手法は正解単語と意味的に類似する単語を候補として出力する傾向が見られた。一方で、提案手法は実際の不正解選択肢である “discuss” や“discussed” に加えて、 “discussion” “discussions” などの正解単語の活用形を出力しており、文法問題の特徴を反映した候補生成ができた。次に、機能語問題においては、比較手法は機能語以外の単語も出力しており、実際の不正解選択肢は出力できていない。一方で、提案手法は問題の特徴を考慮したフィルタリングによって機能語のみを候補として生成し、実際の不正解選択肢のうち “for”および “with”を上位 5 件に含めることに成功している。また、文脈問題においては、表 3 に示したとおり、上位 5 件程度までは比較手法 [7] と提案手法が同様の候補を出力しているが、提案手法はそれ以降にも良い候補を出力できる場合が多い。
It was certainly _ crowded than I thought it would be.
(a) less
(b) little
(c) least
(d) fewer

(a)が正解選択肢

図 3 自動生成が難しい文法問題の例（会津大学, 2018） ${ }^{4)}$

文法問題において、一部の設定では提案手法が有効ではなかった。この要因には、文法問題と分類された問題の中に文脈問題との区別が難しい問題が含まれる点が考えられる。図 3 の例のような、正解単語の活用形を不正解選択肢としない文法問題（66 問中の 16 問）は、提案手法では対処できなかった。

## 6 おわりに

本研究では、日本の大学入試における英単語穴埋め問題の作問コストを削減するために、問題タイプごとの特徴を考慮した不正解選択肢の自動生成手法を提案した。まず、英単語穴埋め問題には文法問題・機能語問題・文脈問題の 3 タイプが存在することを明らかにし、問題タイプのラベル付きコーパスを構築した。そして、候補のフィルタリングを中心に、各問題タイプの特徴を考慮した不正解選択肢の自動生成手法を提案した。実験の結果、提案手法は多くの設定において比較手法の性能を上回り、不正解選択肢の生成において問題タイプを考慮することの有効性を確認した。今後の課題として、問題タイプを自動分類してコーパスの規模を拡大し、教師あり学習による不正解選択肢の生成を検討したい。

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号：

JP21H03564, JP22H00677）の助成を受けたものです。

## 参考文献

[1] Wilson L Taylor. "Cloze Procedure" : A New Tool for Measuring Readability. Journalism quarterly, Vol. 30, No. 42, pp. 415-433, 1953.

[2] Ruslan Mitkov and Le An Ha. Computer-Aided Generation of Multiple-Choice Tests. In Proceedings of the HLT-NAACL 03 Workshop on Building Educational Applications Using Natural Language Processing Volume 2, p. 17-22, 2003.

[3] Eiichiro Sumita, Fumiaki Sugaya, and Seiichi Yamamoto. Measuring Non-native Speakers' Proficiency of English by Using a Test with Automatically-Generated Fill-inthe-Blank Questions. In Proceedings of the Second Workshop on Building Educational Applications Using NLP, pp. 61-68, 2005.

[4] Torsten Zesch and Oren Melamud. Automatic Generation of Challenging Distractors Using Context-Sensitive Inference Rules. In Proceedings of the Ninth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 143-148, 2014.

[5] Shu Jiang and John Lee. Distractor Generation for Chinese Fill-in-the-blank Items. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 143-148, 2017.

[6] Yunik Susanti, Takenobu Tokunaga, Hitoshi Nishikawa, and Hiroyuki Obari. Automatic Distractor Generation for Multiple-choice English Vocabulary Questions. Research and Practice in Technology Enhanced Learning, Vol. 13, No. 15, pp. 1-16, 2018.

[7] Subhadarshi Panda, Frank Palma Gomez, Michael Flor, and Alla Rozovskaya. Automatic Generation of Distractors for Fill-in-the-Blank Exercises with Round-Trip Neural Machine Translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 391401, 2022.

[8] Chao-Lin Liu, Chun-Hung Wang, Zhao-Ming Gao, and Shang-Ming Huang. Applications of Lexical Information for Algorithmically Composing Multiple-Choice Cloze Items. In Proceedings of the Second Workshop on Building Educational Applications Using NLP, 2005.

[9] Jennifer Hill and Rahul Simha. Automatic Generation of Context-Based Fill-in-the-Blank Exercises Using Cooccurrence Likelihoods and Google n-grams. In Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 2330, 2016.

[10] Chak Yan Yeung, John Lee, and Benjamin Tsou. Difficultyaware Distractor Generation for Gap-Fill Items. In Proceedings of the The 17th Annual Workshop of the Australasian Language Technology Association, pp. 159-164, 2019.
[11] Keisuke Sakaguchi, Yuki Arase, and Mamoru Komachi. Discriminative Approach to Fill-in-the-Blank Quiz Generation for Language Learners. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 238-242, 2013.

[12] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of the 1st International Conference on Learning Representations, 2013.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[14] George A. Miller. WordNet: A Lexical Database for English. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[15] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[16] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, and Sergey Edunov. Facebook FAIR's WMT19 News Translation Task Submission. In Proceedings of the Fourth Conference on Machine Translation, pp. 314319, 2019.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[18] Harold W. Kuhn. The Hungarian Method for the Assignment Problem. Naval Research Logistics Quarterly, Vol. 2, 1-2, pp. 83-97, 1955.

[19] Yangqiu Song and Dan Roth. Unsupervised Sparse Vector Densification for Short Text Similarity. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1275-1280. Association for Computational Linguistics, 2015.

[20] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[21] Steven Bird and Edward Loper. NLTK: The Natural Language Toolkit. In Proc. of ACL, 2004.

[22] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami AlRfou. Wiki-40B: Multilingual Language Model dataset. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 2440-2452, 2020.


# 多次元項目反応理論と深層学習に基づく 複数観点同時自動採点手法の精度改善

柴田拓海 ${ }^{1}$ 宇都雅輝 ${ }^{1}$
1 電気通信大学大学院
\{shibata,uto\}@ai.lab.uec.ac.jp

## 概要

深層学習を用いた小論文自動採点手法の一つとして，全体得点と複数の評価観点別得点を同時に予測する手法が近年注目され，高精度を達成しつつある. しかし, 従来手法は得点予測の根拠について解釈性が低いという問題があった. Shibata \& Uto はこの問題を解決するために多次元項目反応理論を組み込んで解釈性を高めた複数観点同時自動採点手法を提案している. しかし, この手法は従来手法と比較して僅かながら予測精度の低下がみられる。そこで本研究では，精度低下の原因を分析し，予測精度を改善した手法を提案する.

## 1 はじめに

近年，小論文試験の採点をコンピュータを用いて自動化する小論文自動採点 (Automated Essay Scoring；AES）手法が多数提案されている. 自動採点を実現する手法は特徴量ベースと深層学習ベースの手法に大別される。これまでは，特徴量べースの手法が一般的であったが (e.g., [1-3])，近年では深層学習を用いた自動採点モデルが多数提案されている (e.g., [4-16]). 深層学習自動採点モデルは文章の単語系列を入力として，データから自動で複雑な特徵量を学習でき，高精度を達成している。

従来の自動採点モデルの多くは，全体得点のみを予測する採点場面を想定している (e.g., [5-12])。しかし，学習評価場面などで小論文試験を運用する場合，より詳細なフィードバックを受検者に行うために，論理構成力や文章表現力などの評価観点別の得点付けを行いたい場面も少なくない [13]. そこで，複数の評価観点に対応する得点を同時に予測できるモデルが近年提案されている (e.g., [13-16]).

現時点では, Ridley ら [16] の複数観点自動採点モデルが最高精度を達成しているが，このモデルには解釈性の観点から次のような問題がある。(1) 評価観点ごとに複雑な多層ニューラルネットワークを持つため予測根拠を解釈することが難しい。(2) 一般に評価観点は，背後に測定したい能力尺度を想定し，それを測定できるように設計されるが [17]，このモデルでは複数評価観点の背後に想定される能力尺度を解釈することができない。

これらの問題を解決するために，Shibata \& Uto [18,19] は，項目反応理論を利用した手法を提案している，具体的には，評価観点の特性を考慮した多次元項目反応モデル [20] を出力層とし，それ以外を Ridley らのモデルを元にした評価観点共通のニューラルネットワークとしたモデルを開発している.この手法の利点は以下の通りである。(1) 評価観点固有の出力層は, 識別力と困難度と呼ばれる項目反応理論で一般的な 2 種類のパラメータのみで説明されるため，それらのパラメータ值に基づいて観点ごとの特性を定量的に解釈できる。 (2) 多次元項目反応モデル層の能力次元数を最適化してパラメー タを分析することで，複数評価観点の背後に想定される能力尺度を解釈できる。

このモデルは上記の点において解釈性を向上させることに成功したが，僅かに Ridley らの手法と比較してモデルの予測精度が低下することがわかっている.この原因を調査するために評価観点別の精度評価実験を行ったところ，特に全体得点の予測精度が低いことがわかった．そこで本研究では Shibata \& Uto の手法において，全体得点の予測精度を改善する手法を提案する。

## 2 項目反応理論

ここでは，本研究で扱う自動採点手法で利用している項目反応理論について説明する. 項目反応理論（Item Response Theory；IRT）[21] は，近年のコンピュータ・テスティングの発展に伴い，様々な分野

図 1 Shibata \& Uto の複数観点同時自動採点モデル（左）と提案モデル（右）の概念図

で実用化が進められている数理モデルを用いたテス卜理論の一つである. IRT モデルは正誤データなどの 2 值型のデータを前提とするものが多いが，多段階の得点データに対応した IRT モデルも多数提案されている．また一般的な IRT モデルでは，測定対象の能力に 1 次元性を仮定しているが，測定される能力に多次元性を仮定できるモデルも提案されている。

本研究では，代表的な多次元多値型 IRT モデルである多次元一般化部分採点モデル (Generalized Partial Credit Model；GPCM）[22]を使用する. ここでは, 先行研究 $[17,20]$ のように各評価観点を項目とみなして多次元 GPCM を適用する。具体的には，受検者 $j$ が評価観点 $m$ において，得点 $k \in\left.\{1,2, \ldots, K_{m}\right.\}$ を得る確率を次式で与えるモデルを適用する。

$
P_{j m k}=\frac{\exp \left(k \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{j}+\sum_{u=1}^{k} \beta_{m u}\right)}{\sum_{v=1}^{K_{m}} \exp \left(v \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{j}+\sum_{u=1}^{v} \beta_{m u}\right)}
$

ここで， $\boldsymbol{\theta}_{j}=\left(\theta_{j 1}, \theta_{j 2}, \ldots, \theta_{j d}\right)$ は受検者 $j$ の $d$ 次元の能力を表すパラメータベクトルであり， ベクトルの各要素は各次元の能力值を表す. $\boldsymbol{\alpha}_{m}=\left(\alpha_{m 1}, \alpha_{m 2}, \ldots, \alpha_{m d}\right)$ は $\boldsymbol{\theta}_{j}$ に対応した評価観点 $m$ の $d$ 次元識別力, $\beta_{m u}$ は評価観点 $m$ において力テゴリ $u-1$ から $u$ に遷移する困難度を表すパラメータである， $K_{m}$ は，評価観点 $m$ における得点段階数を表す.なお，モデルの識別性のために， $\beta_{m 1}=0: \forall m$ を所与とする.

## 3 Shibata \& Uto の自動採点モデル

ここでは上述した多次元 GPCM を組み込んだ Shibata \& Uto $[18,19]$ の複数観点同時自動採点モデルについて説明する. モデルの概念図を図 1 (左) に示
した. このモデルは，受検者 $j \in \mathcal{F}=\{1,2, \ldots, J\}$ の小論文を入力とし，評価観点 $m \in M=\{1,2, \ldots, M\}$ に対応する得点 $\hat{y}_{j m}$ を出力する. ここで $J$ は受検者数, $M$ は評価観点数を表し, 特に $m=1$ は全体得点を表すものとする．また，受検者 $j$ の小論文は単語系列として,$\left.\{w_{j s l} \mid s \in\left.\{1,2, \ldots, S_{j}\right.\}, l \in\left.\{1,2, \ldots, l_{j s}\right.\}\right.\}$ と表せる. $w_{j s l}$ は受検者 $j$ の小論文における $s$ 番目の文の $l$ 番目の単語であり， $S_{j}$ はその小論文の文数, $l_{j s}$ は $s$ 番目の文の単語数である.

このモデルでは，まず受検者の小論文が文ごとに Embedding 層, Convolution 層, Attention Pooling 層 [9] に入力され，文単位の分散表現の系列に変換される. 次に, この出力系列に対して, Recurrent 層 [23], Attention Pooling 層が適用される. さらに単語数や可読性，文章の複雑さなどを表す人手で設計した特徵量のベクトル $F_{j}$ [16] を結合することで文章単位の分散表現 $\boldsymbol{c}_{j}$ が得られる. このモデルでは，このべクトル $\boldsymbol{c}_{j}$ を全結合層に入力し，多次元 IRT における能力値べクトル $\boldsymbol{\theta}_{j}$ に対応する值を $\boldsymbol{\theta}_{j}=\boldsymbol{W}_{t} \boldsymbol{c}_{j}+\boldsymbol{b}_{t}$ で求める。ここで， $\boldsymbol{W}_{t}$ は重み行列， $\boldsymbol{b}_{t}$ はバイアスベクトルを表す.

最後に，得られた $\boldsymbol{\theta}_{j}$ を用いて多次元 GPCM 層で式（1）を計算することで，各評価観点 $m$ に対する得点の出力確率が得られる．得点予測の際には，期待得点 $\sum_{k=1}^{K_{m}} k P_{j m k}$ を予測得点とする.

モデルの学習は以下の多クラス交差エントロピー （Categorical Cross-Entropy；CCE）誤差を損失関数として誤差逆伝播法で行われる.

$
\mathscr{L}_{C C E}=-\frac{1}{J M} \sum_{j=1}^{J} \sum_{m=1}^{M} \sum_{k=1}^{K_{m}} y_{j m k} \log \left(P_{j m k}\right)
$
表 1 課題別の平均 QWK スコア

表 2 課題 1, 2 の評価観点別 QWK スコア

表 3 課題 3，4，5，6 の評価観点別 QWK スコア

ただし,$J$ は訓練データの小論文数， $M$ は評価観点数， $y_{j m k}$ は受検者 $j$ の評価観点 $m$ における真得点が $k$ のときに 1 をりり，それ以外のときに 0 をるダミ一変数である.

## 4 性能評価

ここでは，Shibata \& Uto のモデルの性能を詳細に分析するために, 評価観点別の予測精度の評価を行う。本害験では，実データとして，Automated Student Assessment Prize (ASAP) と, ASAP++ [24] を用いる. ASAP は AES 研究の分野で広く使用されるデータセットである. ASAP と ASAP++には 8 つの小論文課題に関する答案が含まれており，それぞれの答案に対して全体得点と評価観点別の得点が与えられている. 小論文数の課題ごとの平均は約 1622, 平均単語数は 275 である. なお課題 1 と課題 2 は, Content (Cont), Organization (Org), Word Choice (WC), Sentence Fluency (SF), Conventions (Conv),課題 3 から課題 6 は Cont, Prompt Adherence (PA),表 4 課題 7 の評価観点別 QWK スコア

表 5 課題 8 の評価観点別 QWK スコア

Language (Lang), Narrativity (Nar), 課題 7 は Cont, Org, Conv, Style, 課題 8 は課題 1 と 2 に共通する評価観点に加えて Voice といった評価観点でそれぞれ得点付けされている.

本論文では，Shibata \& Uto のモデルの次元数をそれぞれ 1，2，3 と変化させて得点予測精度を評価する実験を行った. またベースラインとして Ridley ら [16] のモデルの精度評価も行った. なお各モデルにおける Embedding 層では，共通して 50 次元の GloVe [25] による事前学習済みの単語埋め込みを利用した. モデルの性能評価は，5 分割交差検証を用いて行った. 5 分割交差検証は課題ごとに独立して実施し，エポック数は全てのモデルで 50 とした. 評価関数には，2 次の重み付きカッパ係数（Quadratic Weighted Kappa；QWK）を用いた.

実験結果を表 1 に示す. 表 1 では観点ごとに QWK スコアを計算し，その平均スコアを課題ごとに示している. 各条件で最も精度が高い手法の結果を太字で示してある。 なお，表には Shibata \& Uto のモデルの中で最も精度が高かった 3 次元のモデルの数値のみ示している. 表 1 の平均 QWK スコアから, Shibata \& Uto のモデルは Ridley らのモデルと比較して予測精度が低下していることが読み取れる。 この原因をより詳しく分析するために，各評価観点ごとの QWK スコアを表 2-5 に示す.これらの表から特に課題 1-4 と 6 における全体得点の予測精度が低い傾向が読み取れる。このことは全体得点とその他の観点別の得点を単一の IRT モデルで表現することが困難な場合があることを示唆いている。そこ

で, 本研究では Shibata \& Uto のモデルに対して全体得点を個別に予測する構造を持たせたモデルを提案する。

## 5 提案モデル

本研究では，従来の Shibata \& Uto モデル（以下，従来モデルと呼ぶ）に全体得点を予測する固有のニューラルネットワークを追加したモデルを提案する. 提案モデルの概念図を図 1 （右）に示す. また，従来モデルは全体得点 $\hat{y}_{j 1}$ を観点別得点の一つとして扱ったが，提案モデルでは全体得点と観点別得点を区別する点に注意されたい．

提案モデルは, 入力層から一層目の Attention Pooling 層までは従来モデルと同じ構造であり, このネットワークを用いて文単位の分散表現の系列を生成した後，全体得点のみを予測するネットワークと観点別得点を予測するネットワークに分岐する. ここで, 観点別得点を出力するネットワークは従来モデルと同じ構造となっている. 他方, 全体得点固有のネットワークは Recurrent 層から Concatenate 層までは観点別得点固有のネットワークと同じ構造であるが，出力層の設計が異なる。具体的には, Concatenate 層までで全体得点の予測に使用する文章単位の分散表現 $\tilde{\boldsymbol{c}}_{j}$ を算出し，この $\tilde{\boldsymbol{c}}_{j}$ に対してシグモイド関数を活性化関数に持つ全結合層を適用させ，受検者 $j$ の全体得点 $\hat{y}_{j 1}$ を $\hat{y}_{j 1}=\sigma\left(\boldsymbol{W}_{o} \tilde{\boldsymbol{c}}_{j}+b_{o}\right)$ と予測する．ここで， $\sigma$ はシグモイド関数， $\boldsymbol{W}_{o}$ は重み， $b_{o}$ はバイアスを表す.なお，この出力層の設計は，全体得点を予測する一般的な自動採点モデル (e.g., [6,8,9]) と同様の設計である. この出力層は得点予測にシグモイド関数を使用しているため, $\hat{y}_{j 1}$ は 0 から 1 の間の値をとる. 実際の得点尺度がこれと異なる場合には， $\hat{y}_{j 1}$ を一次変換して実際の得点尺度に合わせる。

提案モデルは全体得点に関する誤差を平均二乗誤差（Mean Squared Error； MSE）で算出し，他の観点別得点に関する誤差は従来モデルと同様に CCE 誤差で算出する。つまり，提案モデルは損失関数を次式のように MSE 誤差と CCE 誤差の和として定義し，誤差逆伝播法で学習を行う。

$
\mathscr{L}_{\text {total }}=\frac{1}{J} \sum_{j=1}^{J}\left(\hat{y}_{j 1}-y_{j 1}\right)^{2}+\mathscr{L}_{C C E}^{\prime}
$

ここで $y_{j 1}$ は受検者 $j$ の真の全体得点を， $\mathscr{L}_{C C E}^{\prime}$ は式（2）において全体得点を含めない場合の CCE 誤差を表す。また，モデルの各種ハイパーパラメータ
は先行研究 $[18,19]$ に合わせ，最適化アルゴリズムには RMSProp [26] を用いる。

なお提案モデルの解釈の方法については従来モデルとほとんど同じであるため，詳しい解釈方法は文献 $[18,19]$ を参照されたい.

## 6 得点予測精度の評価実験

ここでは提案モデルの精度評価実験を行う. 実験の手順は 4 章と同様である. 表 1 に最も精度が高かった 3 次元の提案モデルの結果を示した. 表 1 の平均 $\mathrm{QWK}$ スコアより, 提案モデルは, 従来モデルの精度を上回っていることが読み取れる. さらに提案モデルは Ridley らのモデルと比較しても同等の精度を達成していることがわかる. このことから，提案モデルは予測精度を改善できたといえる。

次に，各課題に関する評価観点別の QWK スコアを表 2-5 に示す.これらの表より, 特に課題 1-4 と 6 において全体得点の予測精度が大きく向上していることがわかる. この結果から提案モデルの全体得点固有のネットワークが有効に機能していることが確認できる.

## 7 まとめ

本研究では，従来の複数観点同時自動採点モデルの解釈性を保持しつつ，予測精度を高めたモデルを提案した. 提案モデルを用いた実験から，提案モデルは全体得点の予測精度向上に寄与することがわかった.

なお実験結果から全体得点と観点別得点を単一の IRT モデルで表現していることが従来の Shibata \& Uto モデルの精度低下の原因であると考えられる. しかし, 本研究で利用している多次元 GPCM は一つの観点に対して完全に独立な能力尺度を与えることが可能であるため，理論的には多次元 IRT における能力次元数を十分に多く設定すれば，尺度構成に関わらず柔軟に適合できるはずである。しかし実際には従来モデルの予測精度は高々 3 次元で十分であることがわかっており，次元数が増加しても従来モデルの予測精度は改善しない. そのため従来モデルの全体得点における予測精度の低さは，多次元 GPCM 層よりも下の層における表現力の低さに起因すると考えられる。この仮説を検証する方法として，従来モデルを各能力次元に固有のニューラルネットワー クを持たせることが考えられる. この手法については今後の課題としたい.

## 謝辞

本研究は JSPS 科研費 19H05663，20K20817， 21H00898 の助成を受けたものです.

## 参考文献

[1] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater ${ }^{\circledR}$ v.2. The Journal of Technology, Learning and Assessment, Vol. 4, No. 3, pp. 1-30, 2006.

[2] Hongbo Chen and Ben He. Automated essay scoring by maximizing human-machine agreement. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1741-1752, 2013.

[3] Peter Phandi, Kian Ming A Chai, and Hwee Tou Ng. Flexible domain adaptation for automated essay scoring using correlated linear regression. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 431-439, 2015.

[4] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 1-26, 2021.

[5] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 715-725. Association for Computational Linguistics, 2016.

[6] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.

[7] Fei Dong and Yue Zhang. Automatic features for essay scoring-an empirical study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077, 2016.

[8] Yi Tay, Minh C Phan, Luu Anh Tuan, and Siu Cheung Hui. Skipflow: Incorporating neural coherence features for end-to-end automatic text scoring. In Thirty-Second AAAI Conference on Artificial Intelligence, pp. 59485955, 2018.

[9] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essay scoring. In Proceedings of the 21st Conference on Computational Natural Language Learning, pp. 153162, 2017.

[10] Youmna Farag, Helen Yannakoudakis, and Ted Briscoe. Neural automated essay scoring and coherence modeling for adversarially crafted input. arXiv, 2018.

[11] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[12] Masaki Uto and Masashi Okano. Learning automated essay scoring models using item-response-theory-based scores to decrease effects of rater biases. IEEE Transactions on Learning Technologies, Vol. 14, No. 6, pp. 763-776, 2021.
[13] Sandeep Mathias and Pushpak Bhattacharyya. Can neural networks automatically score essay traits? In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 8591, 2020.

[14] Mohamed A. Hussein, Hesham A. Hassan, and Mohammad Nassef. A trait-based deep learning automated essay scoring system with adaptive feedback. International Journal of Advanced Computer Science and Applications, Vol. 11, No. 5, pp. 287-293, 2020.

[15] Farjana Sultana Mim, Naoya Inoue, Paul Reisert, Hiroki Ouchi, and Kentaro Inui. Unsupervised learning of discourse-aware text representation for essay scoring. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 378-385, 2019.

[16] Robert Ridley, Liang He, Xin-yu Dai, Shujian Huang, and Jiajun Chen. Automated cross-prompt scoring of essay traits. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13745-13753, 2021.

[17] Masaki Uto. A multidimensional item response theory model for rubric-based writing assessment. In Artificial Intelligence in Education, pp. 420-432. Springer International Publishing, 2021.

[18] Takumi Shibata and Masaki Uto. Analytic automated essay scoring based on deep neural networks integrating multidimensional item response theory. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 2917-2926, 2022.

[19]柴田拓海, 宇都雅輝. 多次元項目反応理論と深層学習を用いた複数観点同時自動採点手法. 電子情報通信学会論文誌 D, Vol. 106, No. 1, pp. 47-56, 2023.

[20] Masaki Uto. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, No. 2, pp. 425-457, 2021.

[21] F.M. Lord. Applications of item response theory to practical testing problems. Erlbaum Associates, 1980.

[22] Lihua Yao and Richard D. Schwarz. A multidimensional partial credit model with associated item and test statistics: An application to mixed-format tests. Applied Psychological Measurement, Vol. 30, No. 6, pp.469-492, 2006.

[23] Jeffrey L Elman. Finding structure in time. Cognitive science, Vol. 14, No. 2, pp. 179-211, 1990.

[24] Sandeep Mathias and Pushpak Bhattacharyya. ASAP++: Enriching the ASAP automated essay grading dataset with essay attribute scores. Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[25] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 15321543, 2014.

[26] Yann Dauphin, Harm de Vries, and Yoshua Bengio. Equilibrated adaptive learning rates for non-convex optimization. In Advances in Neural Information Processing Systems, Vol. 28, pp. 1504-1512. Curran Associates, Inc., 2015 .


# Cono: A Word Emotion Lexicon Built On Movie Scripts

Barbara Kiyomoto Katsuhito Sudoh Satoshi Nakamura
Nara Institute of Science and Technology
\{kiyomoto.barbara.kb7, sudoh,s-nakamura\}@is.naist.jp
}

\begin{abstract}
A common issue that language learners face is identifying word emotion in their non-native language. Translations that they reference may provide a literal translation, without consideration for the emotional information a word carries. There is a limited amount of word emotion lexicons available that could help with this problem, therefore we attempt to create a system that automatically classifies word emotion using movie scripts as training data. We then create a learner-friendly application called Cono, that allows language learners to view emotion lexicons in a more accessible way by providing analysis for their input text and then identifying emotion words along with their synonyms with emotion label predictions.
\end{abstract
## 1 Introduction

A word may have many synonyms, where the synonyms might have very similar meanings, but different emotional sentiments. For example, slim and lanky are both synonyms for the word thin. However, only one of those synonyms could be used with positive sentiment to compliment one's figure, i.e., slim. A language learner may face difficulty in choosing the right synonym for the right context, if they are not aware of the emotional meaning. A tool that could help a language learner with this issue, aside from access to a native speaker, is an emotion lexicon.

An emotion lexicon could be used just like a dictionary, except it is used to find the emotional sentiment attached to a word rather than the literal meaning. However, there is a limited amount of existing lexicons that learners could access, so this research hopes to add to the current available resources. Furthermore, if a language learner finds that a word they tried to use in their non-native language does not contain the sentiment they intended, they would want to find a proper synonym with the right emotion meaning. Therefore, this research hopes to also present an effective

## UI for language use support.

This paper will begin with an introduction to well-known emotion and sentiment theories, before continuing with a reference to similar related studies and then an explanation of our method in creating our word emotion classification system with a final analysis of its inner workings in the evaluation and conclusion.

## 2 Background on Emotion Models

It is important to start with a clarification of the difference between the terms sentiment and emotion. Sentiment analysis focuses on the distinction of positive, negative, or neutral, whereas emotion analysis focuses on identifying specific emotions such as anger, sadness, or joy. Emotion analysis can be considered "a natural evolution of sentiment analysis" according to Staiano and Guerini (2014) [1]. From this point, the terms sentiment and emotion will be used accordingly.

In our research, we choose to focus on finding a way to classify synonyms in emotion categories rather than sentiment, in order to provide more varied information. Synonyms like slim, lanky and thin can certainly be respectively categorized into either positive, negative or neutral sentiment. However, if we add another synonym like emaciated, it can be more specifically differentiated from the other synonyms as a word that carries the emotions of fear and sadness.

With regard to emotion analysis, a commonly debated question is: how many emotions can you categorize emotion into? The answer is there is no single set of agreedupon categories; however, there are several well-known emotion models that propose their own emotion categories. The most well-known being Ekman's six basic emotions [2]. Paul Ekman proposed that there were six basic and universal emotions, which all cultures could identify by facial expressions. These six categories being: anger, fear, happiness, sadness, disgust, and surprise.

Figure 1 Plutchik's Wheel of Emotions

Another well-known model is Plutchik's wheel of emotions [3]. Plutchik proposed eight basic emotions of joy, trust, fear, surprise, sadness, disgust, anger, and anticipation. He then placed these basic emotions on a color wheel, including a spectrum of stronger and weaker variations for each emotion, as seen in Figure 1. For example, looking at the emotion of joy (in the yellow spectrum), the stronger variation is ecstacy and the weaker variation is serenity.

It is also possible to view emotion as a spectrum, rather than a set of emotion categories. The Valence-ArousalDominance model, or VAD model, proposed by Russel and Mehrabian [4] views emotion as points in 3D space along the axes of valence(pleasure-displeasure), arousal(calmness-excitement), and dominance(controllack of control).

## 3 Related Studies

## 3.1 Automatic Emotion Lexicon Creation

In the field of emotion lexicon generation, a dilemma besides choosing the appropriate emotion model to use is how to create a lexicon while reducing the high cost of human annotation.

DepecheMood is one Emotion Lexicon that is automatically created from news articles on rappler.com. For each article on this website, readers can vote for one of eight emotion labels, thus creating a large set of documents with emotion labels collected through crowd-sourcing. Using distributional statistics and unsupervised learning, Staiano and Guerini [1] calculate the most likely emotion labels for words based on their frequency in each article.

DeepMoji [5] is another system that works around the lack of annotated data. It is trained on a dataset of tweets containing emojis to choose the most fitting emoji from a set of 64 to match a tweet. Although it does not perform automatic emotion classification of words, it performs a similar function of sentence level emotion classification without the need for annotation. This research illustrates the possibilities of using emojis as a type of emotion model, and the benefits to using already emotion-rich data.

## 3.2 Emotion Analysis in Education

In this research, we also examine how emotion analysis and emotion lexicons have been used in the classroom to aid learning and teaching. Emotion analysis with facial recognition on students has been used in the system 4 Little Trees [6]. Student facial expressions are analyzed during class and categorized into Ekman's six basic emotions with an $85 \%$ accuracy rate. The system is used for teachers as a way to monitor student emotions for better classroom management and learning support. However, such uses of emotion analysis have been criticized as violations of privacy of one's emotions, in addition to causing unwanted consequences such as discrimination when errors occur[7]. While facial expression analysis may be a sensitive topic, it is also possible to use sentiment or emotion lexicons to analyze student text, e.g. Feng and Qui [8] construct a sentiment lexicon in the educational field, that can be used to analyze positive or negative sentiment in student text.

Although emotion analysis is used on students by educators, little effort is shown in making emotion data available to learners for self-study purposes rather than management purposes. In contrast to what has already been done with emotion lexicons, we consider learner-based emotion lexicon availability when we present our results.

## 4 Methodology

This research hopes to find a method to automatically create an emotion lexicon based on a word's frequency scores among various labelled documents. Rather than requiring emotion annotation by annotators as the main part of the process, we would like to observe if a word's emotion label can be estimated based on its use frequency in various movie genres. Our inspiration is the distributional hypothesis, which posits that "there is a correlation be-
tween distributional similarity and meaning similarity"[9]. Since a movie in a certain genre is likely to trigger a specific emotion (such as a horror film activating the fear emotion, or a comedy activating joy), we hypothesize that a pattern of occurrence can be found for emotion words across movie genres. Based on this hypothesis, we use supervised learning to predict emotion labels on words based on their use frequency in various movie genres.

## 4.1 Collecting the Training Data

Movie scripts were collected to be used as training data using the method by Ramakrishna et al. (2017) [10]. In total, 448 movie scripts were obtained, along with their genre tags. The script data was then organized into 19 genre categories. Since a single movie often had more than one genre tag, most of the movie scripts exist in several genre categories. The number of scripts in each genre is shown in Table 2 in the Appendix.

We then collect labelled emotion words from the NRC Emotion Lexicon [11]. This lexicon contains more than 14,000 words with crowd-sourced binary labels for positive, negative, anger, anticipation, disgust, fear, joy, sadness, surprise, and trust. This lexicon contains words that are not emotion-bearing as well, marked with binary (0) labels for each emotion. To create our training dataset, we find the TF-IDF frequency scores of each word from the NRC Emotion Lexicon, in each movie genre. TF-IDF (term frequency-inverse document frequency) was used because scores for content words (meaning-bearing words) are higher, and scores for function words (mostly grammatical words) are lower. The resulting training dataset consists of the NRC Emotion Lexicon words with TF-IDF scores for each word in 19 movie genres.

## 4.2 Training the Prediction Model

To predict emotion on words, 8 models were trained on the NRC Emotion Lexicon with TF-IDF scores to predict binary labels for the emotions of positive, negative, anger, disgust, fear, joy, sadness, and surprise. The emotions of anticipation and trust from the NRC Emotion Lexicon are excluded, as we plan to represent the results of the research with emojis that are easily interpretable by language learners. We predict for Ekman's six emotions, which are universally identifiable facial expressions [2] and therefore adaptable to emoji, as well as sentiment.

Emotion prediction was performed for each emotion with the method of K-means with the Minkowski distance metric, and Support Vector Machine (SVM) in the RBF kernel. Each model was trained with $80 \%$ of the dataset, and $20 \%$ of the dataset was then used for testing the performance of the model. In preliminary experiments, there was an issue with recall due to the data imbalance between positive and negative binary labels. To resolve this issue, emotion word data was duplicated in the training data nine times. For sentiment prediction, the training data only contains two duplicates of sentiment words, since increasing the duplicates too many times caused an overwhelming amount of false positives. The performance of the perfected models on the test data is shown in Table 1.

## 4.3 Creating a New Emotion Lexicon

The SVM model performs the best on test data, so this is the model used to create a new emotion lexicon. We hope to aid learners particularly with the identification of differences in synonym meaning, therefore our next step was to collect synonyms of words in the NRC Emotion Lexicon from WordNet. Using the same method as when creating the training dataset, the TF-IDF frequency scores of the synonym words were found in scripts for each movie genre. Inputting the synonyms with their TF-IDF frequencies into our model, the emotion predictions were collected for each synonym in 8 categories of sentiment and emotion: positive, negative, anger, disgust, fear, joy, sadness, and surprise. If a synonym is predicted to have no sentiment or emotion, it is assumed the word is neutral and labelled as such. We will refer to the resulting dataset as the Cono dataset.

## 4.4 Creating the Cono Application

One main focus of this research has been to develop larger emotion lexicons without the need for copious

Figure 2 The Cono Tool

amounts of annotation, while another vital motivation is to make emotion lexicon data more readily available to language learners. This section describes the Cono application tool (shown in Figure 2), which we have created as an aid to learners in identifying word emotion within text.

In creating the user interface (UI) of Cono, the use of complicated jargon is avoided to provide a scaffolded explanation of the purpose of the tool. Our explanation states that this is "A Word Emotion Analysis Tool" that will help find emotion-carrying words in text, and their synonyms with emotion prediction labels. Users can select example sentences to try first, or proceed to enter their own text for analysis. The system first highlights words in the text that belong to the NRC Emotion Lexicon. These words are shown with an emoji next to each word, based on the emotion label provided in the NRC Emotion Lexicon. Ekman's six basic emotions are universally distinguished by facial expressions, which is why emoji are shown as a visual aid. The visual representation will assist English learners in creating emotion associations with words.

After finding emotion words in the text, the synonyms from the Cono dataset are shown with the emotion predictions (also represented in emoji form) provided from our model. To ensure that the meaning of the emoji representations is clear, a pop-up legend is provided, showing each emoji and the emotion it represents.

## 5 Evaluation

Eight volunteers participated in a user evaluation experiment in order to judge the use-ability and helpfulness of the Cono application. The demographics were 3 female and 5 male participants; 7 participants were non-native English speakers, and 1 participant was a native speaker. Based on TOEIC scores, the English proficiency levels are distributed amongst the evaluators as such: 3 evaluators with professional proficiency, 1 evaluator with working proficiency, 3 evaluators with basic working proficiency, and 1 evaluator with advanced elementary proficiency.

The overall response to the UI was positive. $75 \%$ of the evaluators found the purpose of the application to be clear, and found no issues with the website features or visual design. A few issues noticed by the other $25 \%$ included the inability to input long text, or the discomfort in having to click on the legend each time. Suggestions given included providing dictionary definitions and example use cases of synonyms in sentences for easier comparison.

To evaluate model predictions, evaluators were asked to compare labels from the NRC Emotion Lexicon with labels from the Cono dataset, and rate them on a five-point scale from Very Accurate to Very Inaccurate. Regarding NRC Emotion Lexicon labels, 3 evaluators voted that the labels were Very Accurate, and 5 voted them to be Accurate. For emotion labels from the Cono dataset, 3 evaluators rated the labels as Accurate, 4 selected Inaccurate, and 1 evaluator selected neither Inaccurate nor Accurate. Many evaluators noted excessive neutral labels in the Cono dataset. As this label was chosen only after a word was predicted not to have other emotion meanings, this part of the system will be adjusted. Additional information from the user evaluation is provided in Figures 3 to 7.

## 6 Conclusion

This paper described the construction of the Cono dataset and Cono UI, with consideration to previous research on emotion modeling and emotion lexicons, and educational support. In future work, changes will be made to improve the prediction model and UI based on feedback. Easy accessibility for learners to emotion lexicons will remain a fundamental focus. The novelty point of this research as well was showing the possibilities of emotion lexicons as learner support. Many existing emotion lexicon datasets are built for use in opinion-mining and emotion analysis in research or business marketing, while here we show their use in language education.

## References

[1] Jacopo Staiano and Marco Guerini. Depeche mood: a lexicon for emotion analysis from crowd annotated news. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 427-433, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[2] Dylan Evans. Emotion: A Very Short Introduction. Oxford: Oxford University Press, 2003.

[3] Robert Plutchik. The nature of emotions: Human emotions have deep evolutionary roots, a fact that may explain their complexity and provide tools for clinical practice. American Scientist, Vol. 89, No. 4, pp. 344-350, 2001.

[4] James Russell and Albert Mehrabian. Evidence for a threefactor theory of emotions. Journal of Research in Personality, Vol. 11, pp. 273-294, 091977.

[5] Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan, and Sune Lehmann. Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1615-1625, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Madhumita Murgia. Emotion recognition: Can ai detect human feelings from a face? Financial Times, May 2021.

[7] Kate Crawford. Time to regulate AI that interprets human emotions. Nature, Vol. 592, No. 7853, pp. 167-167, April 2021.

[8] Xiang Feng and Longhui Qiu. The construction of sentiment lexicon in educational field based on word2vec. In Annual Proceedings of Selected Research and Development Papers Presented at the Annual Convention of the Association for Educational Communications and Technology, Vol. 1, pp. 129-146, Jascksonville,Florida, November 2017.

[9] Magnus Sahlgren. The distributional hypothesis. The Italian Journal of Linguistics, Vol. 20, pp. 33-53, 2008.

[10] Anil Ramakrishna, Victor R. Martínez, Nikolaos Malandrakis, Karan Singla, and Shrikanth Narayanan. Linguistic analysis of differences in portrayal of movie characters. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1669-1678, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[11] Saif M. Mohammad and Peter D. Turney. Crowdsourcing a word-emotion association lexicon. Computational Intelligence, Vol. 29, No. 3, pp. 436-465, 2013.

## A Appendix

## A. 1 Movie Script Data

Table 2 Number of scripts in each movie genre

## A. 2 Cono Application Evaluations

On a scale of 1 to 5 , with 1 being a low evaluation and 5 being a high evaluation, this section shows the evaluation results of the user experiment.

Figure 3 Evaluation of application purpose clarity