# Explain to Me What Is Wrong With My Arguments: A Survey about Explanations in Argumentation

Camélia Guerraoui ${ }^{1} \quad$ Paul Reisert $^{3} \quad$ Keshav Singh $^{1} \quad$ Farjana Sultana Mim $^{1}$
Naoya Inoue $^{4,2}$ Shoichi Naito $^{1,2,5}$ Wenzhi Wang ${ }^{1,2}$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University $\quad{ }^{2}$ RIKEN $\quad{ }^{3}$ Beyond Reason $\quad 4$ JAST $\quad{ }^{5}$ Ricoh Company, Ltd.
\{guerraoui.camelia.kenza.q4, singh.keshav.t4, mim.farjana.sultana.t3,
naito.shoichi.t1, wang.wenzhi.r7\}@dc.tohoku.ac.jp
beyond.reason.sp@gmail.com, naoya-i@jaist.ac.jp, kentaro.inui@tohoku.ac.jp

## Abstract

The use of argumentation in education has been shown to improve critical thinking skills for end-users such as students, and computational models for argumentation have been developed to assist in this process. Although these models are useful for evaluating the quality of an argument, they oftentimes cannot explain why a particular argument is considered poor or not, which makes it difficult to provide constructive feedback to users to strengthen their critical thinking skills. In this survey, we aim to explore the type of explanations provided by the current computational models for argumentation, and the possibility of enhancing the explainability of such models, ultimately helping learners improve their critical thinking skills.

## 1 Introduction

Argumentation is the field of elaboration and presentation of arguments to debate, persuade, and agree, where an argument is made of a conclusion (i.e., a claim) supported by reasons (i.e., premises) [1]. By analogy with computational linguistics, computational argumentation refers to the use of computer-based methods to analyze and create arguments and debates [2]. It is a subfield of artificial intelligence that deals with the automated representation, evaluation, and generation of arguments. This field includes important applications such as mining arguments [3], assessing an argument's quality [4], reconstructing implicit assumptions in arguments [5] or even providing constructive feedback for improving arguments [6].

In the context of education, learning argumentation (e.g. writing argumentative essays, debates, etc.) has been

Figure 1 Overview of works focusing on the evaluation and improvement in argumentation.

shown to improve students' critical thinking skills [7, 8]. A number of researchers have been working on computational argumentation to support and provide tools to assist learners in improving the quality of their arguments.

Although computational models for argumentation are proven to assist students' learning and reduce teachers' workload $[9,10]$, such models still lack to efficiently explain how an argument can be improved; e.g., why a particular argument was labeled bad or given a low score by their automatic evaluation rubrics. In other words, the model should be not only able to provide its results but also be able to explain the results in a comprehensive way for the users so that users can understand, and ultimately improve their argumentation skills.

We argue that the output for current computational models for argumentation act as a type of explanation. For our survey, we categorize explanations into the following types:
- Shallow: The model identifies an error but doesn't explain how and why it should be corrected (i.e., what is wrong)
- In-depth: The model identifies an error and explains

Figure 2 Example of shallow, in-depth and interactive explanations for the same input argument

how to refine the argument in a way the end-user can understand (i.e., why it is wrong)
- Interactive: The model identifies an error at an indepth level and adapts its explanations based on the end-user's understanding and interactions to avoid reproduction of the same error (i.e., how to explain)

In Figure 2, an argument consisting of two claims and one premise is shown. The first explanations are categorized as shallow as they only mention the existence of a hasty generalization fallacy. The second provides a more in-depth reasoning by pointing out why it is a fallacy. The last interacts with a child to explain more easily the fallacy.

Towards explainable computational argumentation, this paper aims to give an overview of computational argumentation on automated quality assessment. We explore work providing shallow (§3) and in-depth explanations (§4). Finally, we discuss how to develop argumentation systems that provide interactive explanations in a way in which learners can improve their critical thinking skills (§5).

We believe that our survey can help the community focus more on explanation in argumentation and apply it to newer models, thus making the system more explainable. ${ }^{1)}$

## 2 Related Work

## 2.1 Explainable Al

Explainable AI (XAI) is a research area to make AI models easily understandable for humans [11]. Based on
 at https://cl-tohoku.github.io/explain_arguments.
Clinciu and Hastie [12], XAI will help both expert and non-expert users "to have a deeper understanding and the appropriate level of trust [in AI systems], which will hopefully lead to increased adoption of this technology."

To the best of our knowledge, XAI has been relatively little studied but has great potential in argumentation. Ideally, computational models should evaluate the quality of argumentation while providing efficient comments or feedback, i.e., explaining the results. However, bridging the gap between argumentation and XAI has remained unexplored.

## 2.2 Explainable Computational Argumentation

Several surveys have been done in the field of argumentation ([13, 14, 15, 16]) and explainability ([17, 18, 19]). In this section, we focus on the recent surveys related to explainability in argumentation.

First, Vassiliades et al. [20] highlight the potential of argumentation in explainable systems. They provide an exhaustive overview of argumentation systems for XAI by grouping them by domain, such as law, medicine, and semantic web. For each domain, papers are compared by tasks (e.g, argument classification). Despite the extensiveness of this survey, some topics important for improving explanations in argumentative systems received little attention. For example, frameworks that include arguments with commonsense knowledge have rarely been discussed, even though, they can enhance the model's explainability [21].

Čyras et al. [22] focus on the different frameworks, types, and forms of explanations. They distinguish intrinsic approaches (models using argumentative methods) from post-hoc approaches (non-argumentative models that provide complete or partial explanations). They discuss multiple forms of argumentation, such as dialogue, extensions, and sub-graphs. Their final roadmap covers the need to focus more on properties and computational aspects of argumentation-based explanations. Whereas they focus on argumentation used to explain, our work discusses how computational argumentation needs more explanation.

Moreover, our work distinguishes itself from the two previous surveys $[20,22]$ by focusing on evaluating and improving users' critical thinking skills.

## 3 Shallow Explanations

To improve students' critical thinking skills, we first need to evaluate their argumentative texts, i.e., identify
argumentative errors. In this section, we focus on models providing shallow explanations, i.e., models that identify what should be corrected in the arguments. We discuss recent works that identify properties such as the structure of arguments helpful to assist in this process.

## 3.1 Argumentative Structure

As shown in Figure 1, shallow explanations consist of multiple criteria. We first discuss the components, relations followed by the schemes.

Components: Identifying argumentative components is one of the fundamental tasks in argumentation [23,24,25]. Such works primarily focus on identifying components such as claims and premises. More recently, the usefulness of identifying such components can be seen in tasks such as counter-argument generation. For example, in Alshomary et al. [26], weak premises are identified and ranked in order to generate counter-arguments.

Relations: After identifying the different components of an argumentative text, it is necessary to distinguish the multiple relations between them to assert the quality of the arguments' quality. Indeed, supporting or refuting a claim is made of complex logical moves, such as promoting, contradicting, or acknowledging a fact. Therefore it is not trivial to use correct logic. To identify the different relations patterns, Yuan et al. [27] focus on finding interactive argument pairs, whereas Mim et al. [28] enables annotating complex attack relations.

Schemes: In addition to components and relations, Walton et al. [1] proposed a set of roughly 80 logical argumentation schemes to categorize the underlying logic. Each scheme has a set of critical questions which provide a template to assess the strength of the argument depending upon the associated scheme. Since the first work on automatically detecting argumentation schemes in argumentative texts [29], the use of such schemes has been explored in tasks such as essay scoring [30].

## 3.2 Complex Properties

Although a good structure with a claim and premises is necessary for a good argument, it is not sufficient. Indeed an argument has other more complex properties, such as its logical, dialectical, and rhetorical aspects. In this section, we focus only on logical fallacies (i.e., the use of false or invalid inferences) and on debate patterns (i.e., interactions between arguments from different points of view).

Fallacies: Towards giving effective feedback to students and explaining the results, logical fallacies, or errors in logical reasoning, have received attention [31, 32, 33]. Given the large number of logical fallacies that exist (over 100 types), it has been increasingly difficult to identify them in argumentative texts. Habernal et al. [31] created a gamification method for capturing common fallacies through the use of crowdsourcing. Motivated by the latter, Bonial et al. [32] aimed to capture similar fallacy types for news articles, but the low distribution of fallacy types in the wild makes identification challenging.

Debates: In a case of a debate, an opponent is willing to give a counter-argument synchronously and interactively. Analyzing and evaluating a debate is a difficult task as we need to retrieve not only the argumentation structure of each opponent but also the relations between them.

Bao et al. [34] focuses on argument pair extraction (APE), which consists of finding two interactive arguments from two argumentative passages of a discussion. Although the APE task gives insights into relations between different argumentative texts, it does not indicate complex relations (i.e., how claims, supports, attacks and the intention of the speakers are interrelated). To palliate this issue, Hautli-Janisz et al. [35] identified and analyzed the dialogical argumentative structure of debates using Inference Anchoring Theory (IAT) [36]. Following the same IAT theory, Kikteva et al. [37] investigated the role of different types of questions (e.g., pure, assertive, and rhetorical questions) in dialogical argumentative setting and showed that different type of question leads to different argumentative discourse. Focused more on the opponent's side of a debate, Naito et al. [38] propose diagnostic comments for assessing the quality of counter-arguments by providing expressive, informative and unique templates. The comments are then written by template selection and slot filling.

Although the identification of such argumentative structures (components, relations, and schemes) and properties (fallacies and debates pattern) is important, it has limitations in terms of effective feedback. Identifying a missing claim or a wrong premise is not enough to properly understand how to improve the argumentation. Therefore we relate the identification of structure and properties to shallow explanations in the sense that end-users can still
benefit from the output of the models.

## 4 In-Depth Explanations

Although shallow explanations help end-users to identify their mistakes, they tend to be minimalist and need more guidance. Shallow explanations can be hard to understand, specially for beginners in argumentation. To explain more effectively the errors in an argument, a model should go a step further, hence by providing $i n$-depth explanations, which attempt to identify the argument's implicit components to explain why there is an error in an argument.

Implicit Knowledge and Reasoning in Arguments: To provide in-depth explanations, we need to know how to refine the argument, i.e., how to identify implicit information. Recently many works have focused their attention on this aim. The main goal of such studies is to make the structure and reasoning of arguments explicit to better explain the arguments for humans. Additionally, this focus can eventually help build Robust Argumentation Machines that can be enriched with language understanding capacity. The ExpLAIN project Becker et al. [39] and Jo et al. [40] are one such example that focuses extensively on reconstructing implicit knowledge in arguments by relying on knowledge graphs among others. Taking a step further in this direction, Singh et al. [41] proposed to utilize such implicit information to bridge the implicit reasoning gap in arguments to help students explain their arguments better.

Rules and Annotations: Another way to provide indepth explanations is to understand how a model reaches its conclusion when asserting the quality of an argument. For example, in the case of evaluation of an argument's logic, Jo et al. [42] provided LogBERT, a more interpretable model based on logical and theory-informed mechanisms between two statements. LogBert relies on multiple rules that specify evidence for the support and attack relations between a claim and a statement. Although the use of rules gives a glance of explanation, LogBert remains "a black-box model with some insightful explainability." If we know how a model identifies a mistake in an argument, we can use these mechanisms to explain the diagnosis of an argument, which can help refine it.

## 5 Interactive Explanations

Even if in-depth explanations are a step towards understanding and guidance, they are static, which can be problematic depending on the end-user. Indeed beginners or professionals in argumentation do not need the same amount of feedback. A child and an adult have different levels of understanding and knowledge. Therefore it is important that a model knows how to explain the errors and hence adapts its output by providing interactive explanations.

To reach that aim, Wambsganss et al. [43] provide a visual feedback dashboard to help students see any logical error in their argumentation. Based on this learning support system, a user can easily see if a premise or a claim is missing. The dashboard provides different granularity levels of explanations, which enables the user to control the amount of needed information. Taking a step further in this direction, Wambsganss et al. [10] created an interactive educational system that uses interactive dialogues to teach students about the argumentative structure of a text. The system provides not only feedback on the user's texts but also learning session with different exercises.

Although Wambsganss et al. [10] propose different granularity levels of explanations, their study is restrained to students from their university. Having end-users from different backgrounds may imply the need for new levels of explanations. Indeed, Wachsmuth and Alshomary [44] showed that the age of the explainee changes the way an explainer explains the topic at hand. Information such as the age of the learner should be considered in future interactive argumentative feedback systems, where terminology such as fallacy and their existence would require different approaches of explanation for younger students (i.e., elementary) in comparison to older students.

Therefore we think models should in the future provide more interactive explanations (i.e., precisely adjusted by considering the background of the learner) to efficiently improve the critical thinking skills of an end-user.

## 6 Conclusion

In this survey, we explored several works providing explanations in argumentation, following the categories shallow (§3), in-depth (§4) and interactive (§5). In the future, we will extend our survey with other works, specially focusing on quality framework and scoring, which have been left behind. We will also approach the rhetorical and dialectical aspects of an argument which have received little or even no attention in this survey.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 22H00524.

## References

[1] Douglas Walton, Christopher Reed, and Fabrizio Macagno. Argumentation schemes. Cambridge University Press, 2008.

[2] Iryna Gurevych, Eduard H. Hovy, Noam Slonim, and Benno Stein. 2015512 - debating technologies 2 table of contents executive summary. 2016.

[3] Khalid Al-Khatib, Henning Wachsmuth, Matthias Hagen, Jonas Köhler, and Benno Stein. Cross-domain mining of argumentative text through distant supervision. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1395-1404, San Diego, California, June 2016. Association for Computational Linguistic

[4] Roxanne El Baff, Henning Wachsmuth, Khalid Al-Khatib, and Benno Stein. Challenge or empower: Revisiting argumentation quality in a news editorial corpus. In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 454-464, Brussels, Belgium, October 2018. Association for Computational Linguistics

[5] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. The argument reasoning comprehension task: Identification and reconstruction of implicit warrants. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 19301940, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[6] Thiemo Wambsganss, Christina Niklaus, Matthias Söllner, Siegfried Handschuh, and Jan Marco Leimeister. A corpus for argumentative writing support in German. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 856-869, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[7] R.T. Pithers and Rebecca Soden. Critical thinking in education: a review. Educational Research, Vol. 42, No. 3, pp. 237-249, 2000

[8] Linda Behar-Horenstein and Lian Niu. Teaching critical thinking skills in higher education: A review of the literature. Journal of College Teaching and Learning, Vol. 8, 022011.

[9] Charles Twardy. Argument maps improve critical thinking. Teaching Philosophy, Vol. 27, , 062004

[10] Thiemo Wambsganß, Tobias Kueng, Matthias Söllner, and Jan Marco Leimeister. Arguetutor: An adaptive dialog-based learning system for argumentation skills. pp. 1-13, 052021

[11] Amina Adadi and Mohammed Berrada. Peeking inside the black-box: A survey on explainable artificial intelligence (xai). IEEE Access, Vol. PP, pp. $1-1,092018$

[12] Miruna-Adriana Clinciu and Helen Hastie. A survey of explainable AI terminology. In Proceedings of the 1st Workshop on Interactive Natural Language Technology for Explainable Artificial Intelligence (NL4XAI 2019), pp. 8-13. Association for Computational Linguistics, 2019.

[13] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 6300-6308. International Joint Conferences on Artificial Intelligence Organization, 72019.

[14] Beata Beigman Klebanov and Nitin Madnani. Automated evaluation of writing - 50 years and counting. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7796-

[15] John Lawrence and Chris Reed. Argument Mining: A Survey. Computational Linguistics, Vol. 45, No. 4, pp. 765-818, 012020

[16] Xinyu Wang, Yohan Lee, and Juneyoung Park. Automated evaluation for student argumentative writing: A survey, 2022.

[17] Marina Danilevsky, Kun Qian, Ranit Aharonov, Yannis Katsis, Ban Kawas, and Prithviraj Sen. A survey of the state of explainable ai for natural language processing, 2020

[18] Sheikh Rabiul Islam, William Eberle, Sheikh Khaled Ghafoor, and Mohiuddin Ahmed. Explainable artificial intelligence approaches: A survey, 2021.

[19] Mareike Hartmann and Daniel Sonntag. A survey on improving nlp models with human explanations, 2022.

[20] Alexandros Vassiliades, Nick Bassiliades, and Theodore Patkos. Argumentation and explainable artificial intelligence: a survey. The Knowledge Engineering Review, Vol 36, p e5, 2021.

[21] Swarnadeep Saha, Prateek Yadav, Lisa Bauer, and Mohit Bansal. ExplaGraphs: An explanation graph generation task for structured commonsense reasoning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7716-7740, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[22] Kristijonas Čyras, Antonio Rago, Emanuele Albini, Pietro Baroni, and Francesca Toni. Argumentative xai: A survey, 2021.

[23] Simone Teufel. Argumentative zoning: Information extraction from scientific text. 1999.

[24] Christian Stab and Iryna Gurevych. Identifying argumentative discourse structures in persuasive essays. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4656, Doha, Qatar, October 2014. Association for Computational Linguistics

[25] Yohan Jo, Jacky Visser, Chris Reed, and Eduard Hovy. Extracting implicitly asserted propositions in argumentation, 2020.

[26] Milad Alshomary, Shahbaz Syed, Arkajit Dhar, Martin Potthast, and Hen- ning Wachsmuth. Counter-argument generation by attacking weak premises. In Findings of the Association for Computational Linguistics: $\mathrm{ACL}$ IJCNLP 2021, pp. 1816-1827, Online, August 2021. Association for Computational Linguistics.

[27] Jian Yuan, Zhongyu Wei, Donghua Zhao, Qi Zhang, and Changjian Jiang. Leveraging argumentation knowledge graph for interactive argument pai identification. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2310-2319, Online, August 2021. Association for Computational Linguistics.

[28] Farjana Sultana Mim, Naoya Inoue, Shoichi Naito, Keshav Singh, and Kentaro Inui. LPAttack: A feasible annotation scheme for capturing logic pattern of attacks in arguments. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2446-2459, Marseille, France, June 2022. European Language Resources Association.

[29] Vanessa Wei Feng and Graeme Hirst. Classifying arguments by scheme. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 987-996, Portland, Oregon, USA, June 2011. Association for Computational Linguistics

[30] Yi Song, Michael Heilman, Beata Beigman Klebanov, and Paul Deane. Applying argumentation schemes for essay scoring. In Proceedings of the First Workshop on Argumentation Mining, pp. 69-78, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[31] Ivan Habernal, Raffael Hannemann, Christian Pollak, Christopher Klamm, Patrick Pauli, and Iryna Gurevych. Argotario: Computational argumentation meets serious games. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 7-12, Copenhagen, Denmark, September 2017. Association for Computational Linguistic

[32] Claire Bonial, Austin Blodgett, Taylor Hudson, Stephanie M. Lukin, Jeffrey Micher, Douglas Summers-Stay, Peter Sutor, and Clare Voss. The search for agreement on logical fallacy annotation of an infodemic. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp 4430-4438, Marseille, France, June 2022. European Language Resources Association.

[33] Zhijing Jin, Abhinav Lalwani, Tejas Vaidhya, Xiaoyu Shen, Yiwen Ding, Zhiheng Lyu, Mrinmaya Sachan, Rada Mihalcea, and Bernhard Schölkopf. Logical fallacy detection, 2022.

[34] Jianzhu Bao, Jingyi Sun, Qinglin Zhu, and Ruifeng Xu. Have my arguments been replied to? argument pair extraction as machine reading comprehension. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 29-35, Dublin, Ireland, May 2022. Association for Computational Linguistic

[35] Annette Hautli-Janisz, Zlata Kikteva, Wassiliki Siskou, Kamila Gorska, Ray Becker, and Chris Reed. QT30: A corpus of argument and conflict in broadcast debate. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 3291-3300, Marseille, France, June 2022. European Language Resources Association.

[36] Kasia Budsziyska, Mathilde Janier, Chris Reed, Patrick Saint-Dizier, Manfred Stede, and Olena Yakorska. A model for processing illocutionary structure and argumentation in debates. In 9th International Conference on Language Resources and Evaluation (LREC 2014), Vol. 14, pp. electronicmedium. European Language Resources Association (ELRA), 2014.

[37] Zlata Kikteva, Kamila Gorska, Wassiliki Siskou, Annette Hautli-Janisz, and Chris Reed. The keystone role played by questions in debate. In Proceedings of the 3rd Workshop on Computational Approaches to Discourse, pp. of the 3rd Workshop on Computational Approaches to Discourse, pp. Conference on Computational Linguistics.

[38] Shoichi Naito, Shintaro Sawada, Chihiro Nakagawa, Naoya Inoue, Kenshi Yamaguchi, Iori Shimizu, Farjana Sultana Mim, Keshav Singh, and Kentaro Inui. TYPIC: A corpus of template-based diagnostic comments on argumentation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5916-5928, Marseille, France, June 2022. European Language Resources Association.

[39] Maria Becker, Siting Liang, and Anette Frank. Reconstructing implicit knowledge with language models. In Proceedings of Deep Learning Inside Out (DeeLIO): The 2nd Workshop on Knowledge Extraction and Integration for Deep Learning Architectures, pp. 11-24, Online, June 2021. Association for Computational Linguistics.

[40] Yohan Jo, Haneul Yoo, JinYeong Bak, Alice Oh, Chris Reed, and Eduard Hovy. Knowledge-enhanced evidence retrieval for counterargument generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, Online, November 2021. Association for Computational Lin guistics.

[41] Keshav Singh, Naoya Inoue, Farjana Sultana Mim, Shoichi Naito, and Kentaro Inui. IRAC: A domain-specific annotated corpus of implicit reasoning in arguments. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 4674-4683, Marseille, France, June 2022. European Language Resources Association.

[42] Yohan Jo, Seojin Bang, Chris Reed, and Eduard Hovy. Classifying argumentative relations using logical mechanisms and argumentation schemes. Transactions of the Association for Computational Linguistics, Vol. 9 , pp. 721-739, 2021.

[43] Thiemo Wambsganß, Christina Niklaus, Matthias Cetto, Matthias Söllner Siegfried Handschuh, and Jan Marco Leimeister. Al: An adaptive learning Siegfried Handschuh, and Jan Marco Leimeister.
support system for argumentation skills. 042020.

[44] Henning Wachsmuth and Milad Alshomary. "mama always had a way of explaining things so I could understand": A dialogue corpus for learning to construct explanations. In Proceedings of the 29th International Confer ence on Computational Linguistics, pp. 344-354, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.


# Cono: A Word Emotion Lexicon Built On Movie Scripts

Barbara Kiyomoto Katsuhito Sudoh Satoshi Nakamura
Nara Institute of Science and Technology
\{kiyomoto.barbara.kb7, sudoh,s-nakamura\}@is.naist.jp
}

\begin{abstract}
A common issue that language learners face is identifying word emotion in their non-native language. Translations that they reference may provide a literal translation, without consideration for the emotional information a word carries. There is a limited amount of word emotion lexicons available that could help with this problem, therefore we attempt to create a system that automatically classifies word emotion using movie scripts as training data. We then create a learner-friendly application called Cono, that allows language learners to view emotion lexicons in a more accessible way by providing analysis for their input text and then identifying emotion words along with their synonyms with emotion label predictions.
\end{abstract
## 1 Introduction

A word may have many synonyms, where the synonyms might have very similar meanings, but different emotional sentiments. For example, slim and lanky are both synonyms for the word thin. However, only one of those synonyms could be used with positive sentiment to compliment one's figure, i.e., slim. A language learner may face difficulty in choosing the right synonym for the right context, if they are not aware of the emotional meaning. A tool that could help a language learner with this issue, aside from access to a native speaker, is an emotion lexicon.

An emotion lexicon could be used just like a dictionary, except it is used to find the emotional sentiment attached to a word rather than the literal meaning. However, there is a limited amount of existing lexicons that learners could access, so this research hopes to add to the current available resources. Furthermore, if a language learner finds that a word they tried to use in their non-native language does not contain the sentiment they intended, they would want to find a proper synonym with the right emotion meaning. Therefore, this research hopes to also present an effective

## UI for language use support.

This paper will begin with an introduction to well-known emotion and sentiment theories, before continuing with a reference to similar related studies and then an explanation of our method in creating our word emotion classification system with a final analysis of its inner workings in the evaluation and conclusion.

## 2 Background on Emotion Models

It is important to start with a clarification of the difference between the terms sentiment and emotion. Sentiment analysis focuses on the distinction of positive, negative, or neutral, whereas emotion analysis focuses on identifying specific emotions such as anger, sadness, or joy. Emotion analysis can be considered "a natural evolution of sentiment analysis" according to Staiano and Guerini (2014) [1]. From this point, the terms sentiment and emotion will be used accordingly.

In our research, we choose to focus on finding a way to classify synonyms in emotion categories rather than sentiment, in order to provide more varied information. Synonyms like slim, lanky and thin can certainly be respectively categorized into either positive, negative or neutral sentiment. However, if we add another synonym like emaciated, it can be more specifically differentiated from the other synonyms as a word that carries the emotions of fear and sadness.

With regard to emotion analysis, a commonly debated question is: how many emotions can you categorize emotion into? The answer is there is no single set of agreedupon categories; however, there are several well-known emotion models that propose their own emotion categories. The most well-known being Ekman's six basic emotions [2]. Paul Ekman proposed that there were six basic and universal emotions, which all cultures could identify by facial expressions. These six categories being: anger, fear, happiness, sadness, disgust, and surprise.

Figure 1 Plutchik's Wheel of Emotions

Another well-known model is Plutchik's wheel of emotions [3]. Plutchik proposed eight basic emotions of joy, trust, fear, surprise, sadness, disgust, anger, and anticipation. He then placed these basic emotions on a color wheel, including a spectrum of stronger and weaker variations for each emotion, as seen in Figure 1. For example, looking at the emotion of joy (in the yellow spectrum), the stronger variation is ecstacy and the weaker variation is serenity.

It is also possible to view emotion as a spectrum, rather than a set of emotion categories. The Valence-ArousalDominance model, or VAD model, proposed by Russel and Mehrabian [4] views emotion as points in 3D space along the axes of valence(pleasure-displeasure), arousal(calmness-excitement), and dominance(controllack of control).

## 3 Related Studies

## 3.1 Automatic Emotion Lexicon Creation

In the field of emotion lexicon generation, a dilemma besides choosing the appropriate emotion model to use is how to create a lexicon while reducing the high cost of human annotation.

DepecheMood is one Emotion Lexicon that is automatically created from news articles on rappler.com. For each article on this website, readers can vote for one of eight emotion labels, thus creating a large set of documents with emotion labels collected through crowd-sourcing. Using distributional statistics and unsupervised learning, Staiano and Guerini [1] calculate the most likely emotion labels for words based on their frequency in each article.

DeepMoji [5] is another system that works around the lack of annotated data. It is trained on a dataset of tweets containing emojis to choose the most fitting emoji from a set of 64 to match a tweet. Although it does not perform automatic emotion classification of words, it performs a similar function of sentence level emotion classification without the need for annotation. This research illustrates the possibilities of using emojis as a type of emotion model, and the benefits to using already emotion-rich data.

## 3.2 Emotion Analysis in Education

In this research, we also examine how emotion analysis and emotion lexicons have been used in the classroom to aid learning and teaching. Emotion analysis with facial recognition on students has been used in the system 4 Little Trees [6]. Student facial expressions are analyzed during class and categorized into Ekman's six basic emotions with an $85 \%$ accuracy rate. The system is used for teachers as a way to monitor student emotions for better classroom management and learning support. However, such uses of emotion analysis have been criticized as violations of privacy of one's emotions, in addition to causing unwanted consequences such as discrimination when errors occur[7]. While facial expression analysis may be a sensitive topic, it is also possible to use sentiment or emotion lexicons to analyze student text, e.g. Feng and Qui [8] construct a sentiment lexicon in the educational field, that can be used to analyze positive or negative sentiment in student text.

Although emotion analysis is used on students by educators, little effort is shown in making emotion data available to learners for self-study purposes rather than management purposes. In contrast to what has already been done with emotion lexicons, we consider learner-based emotion lexicon availability when we present our results.

## 4 Methodology

This research hopes to find a method to automatically create an emotion lexicon based on a word's frequency scores among various labelled documents. Rather than requiring emotion annotation by annotators as the main part of the process, we would like to observe if a word's emotion label can be estimated based on its use frequency in various movie genres. Our inspiration is the distributional hypothesis, which posits that "there is a correlation be-
tween distributional similarity and meaning similarity"[9]. Since a movie in a certain genre is likely to trigger a specific emotion (such as a horror film activating the fear emotion, or a comedy activating joy), we hypothesize that a pattern of occurrence can be found for emotion words across movie genres. Based on this hypothesis, we use supervised learning to predict emotion labels on words based on their use frequency in various movie genres.

## 4.1 Collecting the Training Data

Movie scripts were collected to be used as training data using the method by Ramakrishna et al. (2017) [10]. In total, 448 movie scripts were obtained, along with their genre tags. The script data was then organized into 19 genre categories. Since a single movie often had more than one genre tag, most of the movie scripts exist in several genre categories. The number of scripts in each genre is shown in Table 2 in the Appendix.

We then collect labelled emotion words from the NRC Emotion Lexicon [11]. This lexicon contains more than 14,000 words with crowd-sourced binary labels for positive, negative, anger, anticipation, disgust, fear, joy, sadness, surprise, and trust. This lexicon contains words that are not emotion-bearing as well, marked with binary (0) labels for each emotion. To create our training dataset, we find the TF-IDF frequency scores of each word from the NRC Emotion Lexicon, in each movie genre. TF-IDF (term frequency-inverse document frequency) was used because scores for content words (meaning-bearing words) are higher, and scores for function words (mostly grammatical words) are lower. The resulting training dataset consists of the NRC Emotion Lexicon words with TF-IDF scores for each word in 19 movie genres.

## 4.2 Training the Prediction Model

To predict emotion on words, 8 models were trained on the NRC Emotion Lexicon with TF-IDF scores to predict binary labels for the emotions of positive, negative, anger, disgust, fear, joy, sadness, and surprise. The emotions of anticipation and trust from the NRC Emotion Lexicon are excluded, as we plan to represent the results of the research with emojis that are easily interpretable by language learners. We predict for Ekman's six emotions, which are universally identifiable facial expressions [2] and therefore adaptable to emoji, as well as sentiment.

Emotion prediction was performed for each emotion with the method of K-means with the Minkowski distance metric, and Support Vector Machine (SVM) in the RBF kernel. Each model was trained with $80 \%$ of the dataset, and $20 \%$ of the dataset was then used for testing the performance of the model. In preliminary experiments, there was an issue with recall due to the data imbalance between positive and negative binary labels. To resolve this issue, emotion word data was duplicated in the training data nine times. For sentiment prediction, the training data only contains two duplicates of sentiment words, since increasing the duplicates too many times caused an overwhelming amount of false positives. The performance of the perfected models on the test data is shown in Table 1.

## 4.3 Creating a New Emotion Lexicon

The SVM model performs the best on test data, so this is the model used to create a new emotion lexicon. We hope to aid learners particularly with the identification of differences in synonym meaning, therefore our next step was to collect synonyms of words in the NRC Emotion Lexicon from WordNet. Using the same method as when creating the training dataset, the TF-IDF frequency scores of the synonym words were found in scripts for each movie genre. Inputting the synonyms with their TF-IDF frequencies into our model, the emotion predictions were collected for each synonym in 8 categories of sentiment and emotion: positive, negative, anger, disgust, fear, joy, sadness, and surprise. If a synonym is predicted to have no sentiment or emotion, it is assumed the word is neutral and labelled as such. We will refer to the resulting dataset as the Cono dataset.

## 4.4 Creating the Cono Application

One main focus of this research has been to develop larger emotion lexicons without the need for copious

Figure 2 The Cono Tool

amounts of annotation, while another vital motivation is to make emotion lexicon data more readily available to language learners. This section describes the Cono application tool (shown in Figure 2), which we have created as an aid to learners in identifying word emotion within text.

In creating the user interface (UI) of Cono, the use of complicated jargon is avoided to provide a scaffolded explanation of the purpose of the tool. Our explanation states that this is "A Word Emotion Analysis Tool" that will help find emotion-carrying words in text, and their synonyms with emotion prediction labels. Users can select example sentences to try first, or proceed to enter their own text for analysis. The system first highlights words in the text that belong to the NRC Emotion Lexicon. These words are shown with an emoji next to each word, based on the emotion label provided in the NRC Emotion Lexicon. Ekman's six basic emotions are universally distinguished by facial expressions, which is why emoji are shown as a visual aid. The visual representation will assist English learners in creating emotion associations with words.

After finding emotion words in the text, the synonyms from the Cono dataset are shown with the emotion predictions (also represented in emoji form) provided from our model. To ensure that the meaning of the emoji representations is clear, a pop-up legend is provided, showing each emoji and the emotion it represents.

## 5 Evaluation

Eight volunteers participated in a user evaluation experiment in order to judge the use-ability and helpfulness of the Cono application. The demographics were 3 female and 5 male participants; 7 participants were non-native English speakers, and 1 participant was a native speaker. Based on TOEIC scores, the English proficiency levels are distributed amongst the evaluators as such: 3 evaluators with professional proficiency, 1 evaluator with working proficiency, 3 evaluators with basic working proficiency, and 1 evaluator with advanced elementary proficiency.

The overall response to the UI was positive. $75 \%$ of the evaluators found the purpose of the application to be clear, and found no issues with the website features or visual design. A few issues noticed by the other $25 \%$ included the inability to input long text, or the discomfort in having to click on the legend each time. Suggestions given included providing dictionary definitions and example use cases of synonyms in sentences for easier comparison.

To evaluate model predictions, evaluators were asked to compare labels from the NRC Emotion Lexicon with labels from the Cono dataset, and rate them on a five-point scale from Very Accurate to Very Inaccurate. Regarding NRC Emotion Lexicon labels, 3 evaluators voted that the labels were Very Accurate, and 5 voted them to be Accurate. For emotion labels from the Cono dataset, 3 evaluators rated the labels as Accurate, 4 selected Inaccurate, and 1 evaluator selected neither Inaccurate nor Accurate. Many evaluators noted excessive neutral labels in the Cono dataset. As this label was chosen only after a word was predicted not to have other emotion meanings, this part of the system will be adjusted. Additional information from the user evaluation is provided in Figures 3 to 7.

## 6 Conclusion

This paper described the construction of the Cono dataset and Cono UI, with consideration to previous research on emotion modeling and emotion lexicons, and educational support. In future work, changes will be made to improve the prediction model and UI based on feedback. Easy accessibility for learners to emotion lexicons will remain a fundamental focus. The novelty point of this research as well was showing the possibilities of emotion lexicons as learner support. Many existing emotion lexicon datasets are built for use in opinion-mining and emotion analysis in research or business marketing, while here we show their use in language education.

## References

[1] Jacopo Staiano and Marco Guerini. Depeche mood: a lexicon for emotion analysis from crowd annotated news. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 427-433, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[2] Dylan Evans. Emotion: A Very Short Introduction. Oxford: Oxford University Press, 2003.

[3] Robert Plutchik. The nature of emotions: Human emotions have deep evolutionary roots, a fact that may explain their complexity and provide tools for clinical practice. American Scientist, Vol. 89, No. 4, pp. 344-350, 2001.

[4] James Russell and Albert Mehrabian. Evidence for a threefactor theory of emotions. Journal of Research in Personality, Vol. 11, pp. 273-294, 091977.

[5] Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan, and Sune Lehmann. Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1615-1625, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Madhumita Murgia. Emotion recognition: Can ai detect human feelings from a face? Financial Times, May 2021.

[7] Kate Crawford. Time to regulate AI that interprets human emotions. Nature, Vol. 592, No. 7853, pp. 167-167, April 2021.

[8] Xiang Feng and Longhui Qiu. The construction of sentiment lexicon in educational field based on word2vec. In Annual Proceedings of Selected Research and Development Papers Presented at the Annual Convention of the Association for Educational Communications and Technology, Vol. 1, pp. 129-146, Jascksonville,Florida, November 2017.

[9] Magnus Sahlgren. The distributional hypothesis. The Italian Journal of Linguistics, Vol. 20, pp. 33-53, 2008.

[10] Anil Ramakrishna, Victor R. Martínez, Nikolaos Malandrakis, Karan Singla, and Shrikanth Narayanan. Linguistic analysis of differences in portrayal of movie characters. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1669-1678, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[11] Saif M. Mohammad and Peter D. Turney. Crowdsourcing a word-emotion association lexicon. Computational Intelligence, Vol. 29, No. 3, pp. 436-465, 2013.

## A Appendix

## A. 1 Movie Script Data

Table 2 Number of scripts in each movie genre

## A. 2 Cono Application Evaluations

On a scale of 1 to 5 , with 1 being a low evaluation and 5 being a high evaluation, this section shows the evaluation results of the user experiment.

Figure 3 Evaluation of application purpose clarity


# 多次元項目反応理論と深層学習に基づく 複数観点同時自動採点手法の精度改善

柴田拓海 ${ }^{1}$ 宇都雅輝 ${ }^{1}$
1 電気通信大学大学院
\{shibata,uto\}@ai.lab.uec.ac.jp

## 概要

深層学習を用いた小論文自動採点手法の一つと して，全体得点と複数の評価観点別得点を同時に予測する手法が近年注目され，高精度を達成しつつあ る. しかし, 従来手法は得点予測の根拠について解釈性が低いという問題があった. Shibata \& Uto はこ の問題を解決するために多次元項目反応理論を組み 込んで解釈性を高めた複数観点同時自動採点手法を 提案している. しかし, この手法は従来手法と比較 して僅かながら予測精度の低下がみられる。そこで 本研究では，精度低下の原因を分析し，予測精度を 改善した手法を提案する.

## 1 はじめに

近年，小論文試験の採点をコンピュータを用 いて自動化する小論文自動採点 (Automated Essay Scoring；AES）手法が多数提案されている. 自動採点を実現する手法は特徴量ベースと深層学習ベース の手法に大別される。これまでは，特徴量べースの 手法が一般的であったが (e.g., [1-3])，近年では深層学習を用いた自動採点モデルが多数提案されてい る (e.g., [4-16]). 深層学習自動採点モデルは文章の 単語系列を入力として，データから自動で複雑な特徵量を学習でき，高精度を達成している。

従来の自動採点モデルの多くは，全体得点のみを 予測する採点場面を想定している (e.g., [5-12])。し かし，学習評価場面などで小論文試験を運用する場合，より詳細なフィードバックを受検者に行うため に，論理構成力や文章表現力などの評価観点別の得点付けを行いたい場面も少なくない [13]. そこで，複数の評価観点に対応する得点を同時に予測できる モデルが近年提案されている (e.g., [13-16]).

現時点では, Ridley ら [16] の複数観点自動採点モ デルが最高精度を達成しているが，このモデルには解釈性の観点から次のような問題がある。(1) 評価観点ごとに複雑な多層ニューラルネットワークを 持つため予測根拠を解釈することが難しい。(2) 一般に評価観点は，背後に測定したい能力尺度を想定 し，それを測定できるように設計されるが [17]，こ のモデルでは複数評価観点の背後に想定される能力尺度を解釈することができない。

これらの問題を解決するために，Shibata \& Uto [18,19] は，項目反応理論を利用した手法を提案 している，具体的には，評価観点の特性を考慮した 多次元項目反応モデル [20] を出力層とし，それ以外を Ridley らのモデルを元にした評価観点共通の ニューラルネットワークとしたモデルを開発してい る.この手法の利点は以下の通りである。(1) 評価観点固有の出力層は, 識別力と困難度と呼ばれる項目反応理論で一般的な 2 種類のパラメータのみで説明されるため，それらのパラメータ值に基づいて観点ごとの特性を定量的に解釈できる。 (2) 多次元項目反応モデル層の能力次元数を最適化してパラメー タを分析することで，複数評価観点の背後に想定さ れる能力尺度を解釈できる。

このモデルは上記の点において解釈性を向上させ ることに成功したが，僅かに Ridley らの手法と比較 してモデルの予測精度が低下することがわかってい る.この原因を調査するために評価観点別の精度評価実験を行ったところ，特に全体得点の予測精度が 低いことがわかった．そこで本研究では Shibata \& Uto の手法において，全体得点の予測精度を改善す る手法を提案する。

## 2 項目反応理論

ここでは，本研究で扱う自動採点手法で利用して いる項目反応理論について説明する. 項目反応理論（Item Response Theory；IRT）[21] は，近年のコン ピュータ・テスティングの発展に伴い，様々な分野

図 1 Shibata \& Uto の複数観点同時自動採点モデル（左）と提案モデル（右）の概念図

で実用化が進められている数理モデルを用いたテス 卜理論の一つである. IRT モデルは正誤データなど の 2 值型のデータを前提とするものが多いが，多段階の得点データに対応した IRT モデルも多数提案 されている．また一般的な IRT モデルでは，測定対象の能力に 1 次元性を仮定しているが，測定される 能力に多次元性を仮定できるモデルも提案されて いる。

本研究では，代表的な多次元多値型 IRT モデル である多次元一般化部分採点モデル (Generalized Partial Credit Model；GPCM）[22]を使用する. ここで は, 先行研究 $[17,20]$ のように各評価観点を項目とみ なして多次元 GPCM を適用する。具体的には，受検者 $j$ が評価観点 $m$ において，得点 $k \in\left.\{1,2, \ldots, K_{m}\right.\}$ を得る確率を次式で与えるモデルを適用する。

$
P_{j m k}=\frac{\exp \left(k \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{j}+\sum_{u=1}^{k} \beta_{m u}\right)}{\sum_{v=1}^{K_{m}} \exp \left(v \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{j}+\sum_{u=1}^{v} \beta_{m u}\right)}
$

ここで， $\boldsymbol{\theta}_{j}=\left(\theta_{j 1}, \theta_{j 2}, \ldots, \theta_{j d}\right)$ は受検者 $j$ の $d$ 次元の能力を表すパラメータベクトルであり， ベクトルの各要素は各次元の能力值を表す. $\boldsymbol{\alpha}_{m}=\left(\alpha_{m 1}, \alpha_{m 2}, \ldots, \alpha_{m d}\right)$ は $\boldsymbol{\theta}_{j}$ に対応した評価観点 $m$ の $d$ 次元識別力, $\beta_{m u}$ は評価観点 $m$ において力 テゴリ $u-1$ から $u$ に遷移する困難度を表すパラ メータである， $K_{m}$ は，評価観点 $m$ における得点段階数を表す.なお，モデルの識別性のために， $\beta_{m 1}=0: \forall m$ を所与とする.

## 3 Shibata \& Uto の自動採点モデル

ここでは上述した多次元 GPCM を組み込んだ Shibata \& Uto $[18,19]$ の複数観点同時自動採点モデル について説明する. モデルの概念図を図 1 (左) に示
した. このモデルは，受検者 $j \in \mathcal{F}=\{1,2, \ldots, J\}$ の 小論文を入力とし，評価観点 $m \in M=\{1,2, \ldots, M\}$ に対応する得点 $\hat{y}_{j m}$ を出力する. ここで $J$ は受検者数, $M$ は評価観点数を表し, 特に $m=1$ は全体得点を 表すものとする．また，受検者 $j$ の小論文は単語系列として,$\left.\{w_{j s l} \mid s \in\left.\{1,2, \ldots, S_{j}\right.\}, l \in\left.\{1,2, \ldots, l_{j s}\right.\}\right.\}$ と表せる. $w_{j s l}$ は受検者 $j$ の小論文における $s$ 番目 の文の $l$ 番目の単語であり， $S_{j}$ はその小論文の文数, $l_{j s}$ は $s$ 番目の文の単語数である.

このモデルでは，まず受検者の小論文が文ごとに Embedding 層, Convolution 層, Attention Pooling 層 [9] に入力され，文単位の分散表現の系列に変換され る. 次に, この出力系列に対して, Recurrent 層 [23], Attention Pooling 層が適用される. さらに単語数や 可読性，文章の複雑さなどを表す人手で設計した特徵量のベクトル $F_{j}$ [16] を結合することで文章単位 の分散表現 $\boldsymbol{c}_{j}$ が得られる. このモデルでは，このべ クトル $\boldsymbol{c}_{j}$ を全結合層に入力し，多次元 IRT におけ る能力値べクトル $\boldsymbol{\theta}_{j}$ に対応する值を $\boldsymbol{\theta}_{j}=\boldsymbol{W}_{t} \boldsymbol{c}_{j}+\boldsymbol{b}_{t}$ で求める。ここで， $\boldsymbol{W}_{t}$ は重み行列， $\boldsymbol{b}_{t}$ はバイアス ベクトルを表す.

最後に，得られた $\boldsymbol{\theta}_{j}$ を用いて多次元 GPCM 層で 式（1）を計算することで，各評価観点 $m$ に対する 得点の出力確率が得られる．得点予測の際には，期待得点 $\sum_{k=1}^{K_{m}} k P_{j m k}$ を予測得点とする.

モデルの学習は以下の多クラス交差エントロピー （Categorical Cross-Entropy；CCE）誤差を損失関数と して誤差逆伝播法で行われる.

$
\mathscr{L}_{C C E}=-\frac{1}{J M} \sum_{j=1}^{J} \sum_{m=1}^{M} \sum_{k=1}^{K_{m}} y_{j m k} \log \left(P_{j m k}\right)
$
表 1 課題別の平均 QWK スコア

表 2 課題 1, 2 の評価観点別 QWK スコア

表 3 課題 3，4，5，6 の評価観点別 QWK スコア

ただし,$J$ は訓練データの小論文数， $M$ は評価観点数， $y_{j m k}$ は受検者 $j$ の評価観点 $m$ における真得点 が $k$ のときに 1 をりり，それ以外のときに 0 をる ダミ一変数である.

## 4 性能評価

ここでは，Shibata \& Uto のモデルの性能を詳細 に分析するために, 評価観点別の予測精度の評価 を行う。本害験では，実データとして，Automated Student Assessment Prize (ASAP) と, ASAP++ [24] を 用いる. ASAP は AES 研究の分野で広く使用される データセットである. ASAP と ASAP++には 8 つの 小論文課題に関する答案が含まれており，それぞ れの答案に対して全体得点と評価観点別の得点が 与えられている. 小論文数の課題ごとの平均は約 1622, 平均単語数は 275 である. なお課題 1 と課題 2 は, Content (Cont), Organization (Org), Word Choice (WC), Sentence Fluency (SF), Conventions (Conv),課題 3 から課題 6 は Cont, Prompt Adherence (PA),表 4 課題 7 の評価観点別 QWK スコア

表 5 課題 8 の評価観点別 QWK スコア

Language (Lang), Narrativity (Nar), 課題 7 は Cont, Org, Conv, Style, 課題 8 は課題 1 と 2 に共通する 評価観点に加えて Voice といった評価観点でそれぞ れ得点付けされている.

本論文では，Shibata \& Uto のモデルの次元数をそ れぞれ 1，2，3 と変化させて得点予測精度を評価 する実験を行った. またベースラインとして Ridley ら [16] のモデルの精度評価も行った. なお各モデ ルにおける Embedding 層では，共通して 50 次元の GloVe [25] による事前学習済みの単語埋め込みを利用した. モデルの性能評価は，5 分割交差検証を用 いて行った. 5 分割交差検証は課題ごとに独立して 実施し，エポック数は全てのモデルで 50 とした. 評価関数には，2 次の重み付きカッパ係数（Quadratic Weighted Kappa；QWK）を用いた.

実験結果を表 1 に示す. 表 1 では観点ごとに QWK スコアを計算し，その平均スコアを課題ごと に示している. 各条件で最も精度が高い手法の結果 を太字で示してある。 なお，表には Shibata \& Uto の モデルの中で最も精度が高かった 3 次元のモデル の数値のみ示している. 表 1 の平均 QWK スコアか ら, Shibata \& Uto のモデルは Ridley らのモデルと比較して予測精度が低下していることが読み取れる。 この原因をより詳しく分析するために，各評価観点 ごとの QWK スコアを表 2-5 に示す.これらの表か ら特に課題 1-4 と 6 における全体得点の予測精度が 低い傾向が読み取れる。このことは全体得点とその 他の観点別の得点を単一の IRT モデルで表現する ことが困難な場合があることを示唆いている。そこ

で, 本研究では Shibata \& Uto のモデルに対して全体得点を個別に予測する構造を持たせたモデルを提案 する。

## 5 提案モデル

本研究では，従来の Shibata \& Uto モデル（以下，従来モデルと呼ぶ）に全体得点を予測する固有の ニューラルネットワークを追加したモデルを提案す る. 提案モデルの概念図を図 1 （右）に示す. また，従来モデルは全体得点 $\hat{y}_{j 1}$ を観点別得点の一つとし て扱ったが，提案モデルでは全体得点と観点別得点 を区別する点に注意されたい．

提案モデルは, 入力層から一層目の Attention Pooling 層までは従来モデルと同じ構造であり, こ のネットワークを用いて文単位の分散表現の系列を 生成した後，全体得点のみを予測するネットワーク と観点別得点を予測するネットワークに分岐する. ここで, 観点別得点を出力するネットワークは従来 モデルと同じ構造となっている. 他方, 全体得点固有のネットワークは Recurrent 層から Concatenate 層までは観点別得点固有のネットワークと同じ構造であるが，出力層の設計が異なる。具体的には, Concatenate 層までで全体得点の予測に使用する文章単位の分散表現 $\tilde{\boldsymbol{c}}_{j}$ を算出し，この $\tilde{\boldsymbol{c}}_{j}$ に対してシグ モイド関数を活性化関数に持つ全結合層を適用さ せ，受検者 $j$ の全体得点 $\hat{y}_{j 1}$ を $\hat{y}_{j 1}=\sigma\left(\boldsymbol{W}_{o} \tilde{\boldsymbol{c}}_{j}+b_{o}\right)$ と予測する．ここで， $\sigma$ はシグモイド関数， $\boldsymbol{W}_{o}$ は 重み， $b_{o}$ はバイアスを表す.なお，この出力層の 設計は，全体得点を予測する一般的な自動採点モデ ル (e.g., [6,8,9]) と同様の設計である. この出力層 は得点予測にシグモイド関数を使用しているため, $\hat{y}_{j 1}$ は 0 から 1 の間の値をとる. 実際の得点尺度が これと異なる場合には， $\hat{y}_{j 1}$ を一次変換して実際の 得点尺度に合わせる。

提案モデルは全体得点に関する誤差を平均二乗誤差（Mean Squared Error； MSE）で算出し，他の観点別得点に関する誤差は従来モデルと同様に CCE 誤差で算出する。つまり，提案モデルは損失関数を 次式のように MSE 誤差と CCE 誤差の和として定義 し，誤差逆伝播法で学習を行う。

$
\mathscr{L}_{\text {total }}=\frac{1}{J} \sum_{j=1}^{J}\left(\hat{y}_{j 1}-y_{j 1}\right)^{2}+\mathscr{L}_{C C E}^{\prime}
$

ここで $y_{j 1}$ は受検者 $j$ の真の全体得点を， $\mathscr{L}_{C C E}^{\prime}$ は 式（2）において全体得点を含めない場合の CCE 誤差を表す。また，モデルの各種ハイパーパラメータ
は先行研究 $[18,19]$ に合わせ，最適化アルゴリズム には RMSProp [26] を用いる。

なお提案モデルの解釈の方法については従来モデ ルとほとんど同じであるため，詳しい解釈方法は文献 $[18,19]$ を参照されたい.

## 6 得点予測精度の評価実験

ここでは提案モデルの精度評価実験を行う. 実験 の手順は 4 章と同様である. 表 1 に最も精度が高 かった 3 次元の提案モデルの結果を示した. 表 1 の 平均 $\mathrm{QWK}$ スコアより, 提案モデルは, 従来モデル の精度を上回っていることが読み取れる. さらに提案モデルは Ridley らのモデルと比較しても同等の精度を達成していることがわかる. このことから，提案モデルは予測精度を改善できたといえる。

次に，各課題に関する評価観点別の QWK スコア を表 2-5 に示す.これらの表より, 特に課題 1-4 と 6 において全体得点の予測精度が大きく向上してい ることがわかる. この結果から提案モデルの全体得点固有のネットワークが有効に機能していることが 確認できる.

## 7 まとめ

本研究では，従来の複数観点同時自動採点モデル の解釈性を保持しつつ，予測精度を高めたモデルを 提案した. 提案モデルを用いた実験から，提案モデ ルは全体得点の予測精度向上に寄与することがわ かった.

なお実験結果から全体得点と観点別得点を単一の IRT モデルで表現していることが従来の Shibata \& Uto モデルの精度低下の原因であると考えられる. しかし, 本研究で利用している多次元 GPCM は一つ の観点に対して完全に独立な能力尺度を与えること が可能であるため，理論的には多次元 IRT における 能力次元数を十分に多く設定すれば，尺度構成に関 わらず柔軟に適合できるはずである。しかし実際に は従来モデルの予測精度は高々 3 次元で十分である ことがわかっており，次元数が増加しても従来モデ ルの予測精度は改善しない. そのため従来モデルの 全体得点における予測精度の低さは，多次元 GPCM 層よりも下の層における表現力の低さに起因すると 考えられる。この仮説を検証する方法として，従来 モデルを各能力次元に固有のニューラルネットワー クを持たせることが考えられる. この手法について は今後の課題としたい.

## 謝辞

本研究は JSPS 科研費 19H05663，20K20817， 21H00898 の助成を受けたものです.

## 参考文献

[1] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater ${ }^{\circledR}$ v.2. The Journal of Technology, Learning and Assessment, Vol. 4, No. 3, pp. 1-30, 2006.

[2] Hongbo Chen and Ben He. Automated essay scoring by maximizing human-machine agreement. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1741-1752, 2013.

[3] Peter Phandi, Kian Ming A Chai, and Hwee Tou Ng. Flexible domain adaptation for automated essay scoring using correlated linear regression. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 431-439, 2015.

[4] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 1-26, 2021.

[5] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 715-725. Association for Computational Linguistics, 2016.

[6] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.

[7] Fei Dong and Yue Zhang. Automatic features for essay scoring-an empirical study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077, 2016.

[8] Yi Tay, Minh C Phan, Luu Anh Tuan, and Siu Cheung Hui. Skipflow: Incorporating neural coherence features for end-to-end automatic text scoring. In Thirty-Second AAAI Conference on Artificial Intelligence, pp. 59485955, 2018.

[9] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essay scoring. In Proceedings of the 21st Conference on Computational Natural Language Learning, pp. 153162, 2017.

[10] Youmna Farag, Helen Yannakoudakis, and Ted Briscoe. Neural automated essay scoring and coherence modeling for adversarially crafted input. arXiv, 2018.

[11] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[12] Masaki Uto and Masashi Okano. Learning automated essay scoring models using item-response-theory-based scores to decrease effects of rater biases. IEEE Transactions on Learning Technologies, Vol. 14, No. 6, pp. 763-776, 2021.
[13] Sandeep Mathias and Pushpak Bhattacharyya. Can neural networks automatically score essay traits? In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 8591, 2020.

[14] Mohamed A. Hussein, Hesham A. Hassan, and Mohammad Nassef. A trait-based deep learning automated essay scoring system with adaptive feedback. International Journal of Advanced Computer Science and Applications, Vol. 11, No. 5, pp. 287-293, 2020.

[15] Farjana Sultana Mim, Naoya Inoue, Paul Reisert, Hiroki Ouchi, and Kentaro Inui. Unsupervised learning of discourse-aware text representation for essay scoring. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 378-385, 2019.

[16] Robert Ridley, Liang He, Xin-yu Dai, Shujian Huang, and Jiajun Chen. Automated cross-prompt scoring of essay traits. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13745-13753, 2021.

[17] Masaki Uto. A multidimensional item response theory model for rubric-based writing assessment. In Artificial Intelligence in Education, pp. 420-432. Springer International Publishing, 2021.

[18] Takumi Shibata and Masaki Uto. Analytic automated essay scoring based on deep neural networks integrating multidimensional item response theory. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 2917-2926, 2022.

[19]柴田拓海, 宇都雅輝. 多次元項目反応理論と深層学習 を用いた複数観点同時自動採点手法. 電子情報通信学会論文誌 D, Vol. 106, No. 1, pp. 47-56, 2023.

[20] Masaki Uto. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, No. 2, pp. 425-457, 2021.

[21] F.M. Lord. Applications of item response theory to practical testing problems. Erlbaum Associates, 1980.

[22] Lihua Yao and Richard D. Schwarz. A multidimensional partial credit model with associated item and test statistics: An application to mixed-format tests. Applied Psychological Measurement, Vol. 30, No. 6, pp.469-492, 2006.

[23] Jeffrey L Elman. Finding structure in time. Cognitive science, Vol. 14, No. 2, pp. 179-211, 1990.

[24] Sandeep Mathias and Pushpak Bhattacharyya. ASAP++: Enriching the ASAP automated essay grading dataset with essay attribute scores. Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[25] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 15321543, 2014.

[26] Yann Dauphin, Harm de Vries, and Yoshua Bengio. Equilibrated adaptive learning rates for non-convex optimization. In Advances in Neural Information Processing Systems, Vol. 28, pp. 1504-1512. Curran Associates, Inc., 2015 .


# 問題タイプを考慮した英単語穴埋め問題の 不正解選択肢の自動生成

吉見 菜那 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 内田 諭 2 荒瀬 由紀 ${ }^{3}$ 二宮 崇 1
1 愛媛大学 2 九州大学 3 大阪大学
yoshimi@ai.cs.ehime-u.ac.jp \{kajiwara,ninomiya\}@cs.ehime-u.ac.jp
uchida@flc.kyushu-u.ac.jp arase@ist.osaka-u.ac.jp

## 概要

本研究では、日本の大学入試の英単語穴埋め問題 を題材として、不正解選択肢の自動生成に取り組 む。先行研究では全ての問題に対して同一の手法を 適用していたが、本研究では 3 種類の問題タイプ （文法・機能語・文脈）を定義し、それぞれの特徵を 考慮して不正解選択肢を自動生成する手法を提案す る。日本の大学入試で実際に出題された 500 問を用 いた評価実験の結果、提案手法は特に機能語の問題 において既存手法を大きく上回る性能を達成した。

## 1 はじめに

英単語穴埋め問題 [1] は、学習者の英語習熟度を 評価する方法のひとつであり、TOEIC ${ }^{1}$ や実用英語技能検定 ${ }^{2}$ などの試験から学校教育の現場まで、広 く使用されている。問題形式は図 1 のとおり、ある 1 単語を空欄とする問題文に対して、空欄に当ては まる正解選択肢が 1つ、当てはまらない不正解選択肢が 3 つの 4 択形式で構成されるのが一般的であ る。これらの選択肢は、教員などの豊富な言語教育経験を持つ作問者によって人手で作成されるため、作問コストが大きい。本研究では、作問者の負担軽減のために、不正解選択肢の候補を自動生成する。

英単語穴埋め問題における不正解選択肢の自動生成に関する先行研究では、正解単語と意味的に類似 する単語を生成する手法 [2-7] が多く提案されてい る。また、問題文中の単語との共起情報を用いる手法 [8,9]、文脈全体を考慮する手法 [10]、学習者の誤 り傾向を考慮する手法 [11] なども提案されてきた。 しかし、これらの先行研究は全ての問題に対して同一の手法を適用するため、生成された不正解選択肢

1) https://www.ets.org/toeic.html

2) https://www.eiken.or.jp/eiken/
Jeff didn' $t$ accept the job offer because of the _ salary.
(a) low
(b) weak
(c) cheap
(d) inexpensive

(a) が正解選択肢

図1 英単語穴埋め問題 (大学入試センター試験, 2018） ${ }^{4)}$

の特徴に偏りがある。実際の問題には、作問者の意図が反映されており、文法知識を問う問題や慣用表現を問う問題など複数の問題タイプが存在する。そ のため、既存手法には不正解選択肢の特徵を問題夕 イプごとに柔軟に変更できないという課題がある。

本研究では、日本の大学入試における英単語穴埋 め問題を対象に、人手で問題タイプを分類する。そ の上で、問題タイプごとの選択肢の特徴を考慮し て、それぞれに適した不正解選択肢の自動生成手法 を提案する。作問者によって用意された実際の不正解選択肢と自動生成した不正解選択肢の一致率を評価したところ、提案手法は多くの設定において既存手法 $[5,7,10]$ を上回る性能を達成した。

## 2 関連研究

先行研究 $[5,7,10]$ では、英単語穴埋め問題の不正解選択肢の自動生成を、候補生成・リランキング・ フィルタリングの 3 つのステップで行っている。本節では、この 3 ステップで各手法の概要をまとめる。

単語分散表現に基づく手法 [5] は、word2vec [12] の余弦類似度によって正解単語との意味的類似度が 高い単語を候補生成し、候補単語を類似度によって ランキングし、フィルタリングとして単語 3-gramを 用いている。単語 3-gram によるフィルタリングで は、候補単語を空欄に当てはめた際に、候補単語と その前後の単語からなる単語 3-gram が Wikipedia ${ }^{3}$ )上に出現する場合、その単語を候補から除外する。

3) https://en.wikipedia.org/
表 1 本研究で構築した英単語穴埋め問題データセットの例

マスク言語モデルに基づく手法 [10] は、単語分散表現に基づく手法 [5] を改良したもので、単語分散表現によって候補生成し、BERT [13] の単語穴埋め 確率によって文脈を考慮して候補をリランキングす る。フィルタリングにも BERT の単語穴埋め確率を 用いており、確率の上位 $\theta_{H}$ 位以上は正解となり得 る信頼性の低い不正解選択肢であり $\theta_{L}$ 位以下は妥当性の低い不正解選択肢であるとして、確率の上位 $\theta_{H}$ 位から $\theta_{L}$ 位までの候補単語を抽出している。

折り返し翻訳に基づく手法 [7] は、問題文をド イツ語などのピボット言語に機械翻訳し、それを さらに英語へと折り返し翻訳した際に、単語アラ イメントによって正解単語と対応する候補単語を 獲得する。リランキングには、単語分散表現の余弦類似度 [5] や BERT の単語穴埋め確率 [10] など、任意の既存手法を用いる。フィルタリングでは、 WordNet [14]を用いて正解単語の同義語を除外し、 さらに正解単語と異なる品詞の単語を除外する。

## 3 問題タイプの定義

2017 年から 2021 年までの 5 年間に出題された日本の大学入試問題4) の中から無作為に 500 問を抽出 し、英語教育を専門とする大学教員が問題タイプを 分類した。表 1 に例示するように、英単語穴埋め問題を以下の 3 種類の問題タイプに分類した。
- 文法 : 主に同じ語の活用形を選択肢とする問題
- 機能語：規定の機能語リストからの選択肢であ る問題
- 文脈：文脈または慣用表現によって選択肢が決 まる問題

表 2 に、各問題タイプの出題頻度の内訳を示す。

図 2 提案手法の概要

文脈の問題が約半数を占め、機能語の問題が約 4 割、文法の問題が 1 割強の割合であった。次節で は、これらの問題タイプごとの特徴を考慮した不正解選択肢の生成手法を検討する。

## 4 不正解選択肢の生成

本研究でも先行研究 $[5,7,10]$ と同様に、候補生成・リランキング・フィルタリングの 3 つのステッ プによって不正解選択肢を生成する。提案手法の概要を図 2 に示す。候補生成およびリランキングにお いては、2 節で説明した既存手法のうち、検証セッ $r^{5)}$ における性能が最高となる手法の組み合わせを 問題タイプごとに選択した。フィルタリングにおい ては、以下で説明する各問題タイプの特徴を考慮し た新しい手法を提案する。

## 4.1 文法問題のためのフィルタリング

文法問題では、基本的に同じ語の活用形を選択肢 とするため、正解単語の活用形を不正解選択肢の候補として取得したい。そこで本研究では、正解単語 と同じ品詞および活用形を持つ候補を除外する。

また、信頼性の低い（正解となり得る）不正解選択肢を避けるために、空欄に当てはめた際に自然な 文を構成する候補は除外する必要がある。そこで本研究では、BERT [13] の単語穴埋め確率を用いて、正解単語よりも高確率の候補単語を除外する。表 1 の 1 文目の例では、同じ品詞の候補として “thinks”、高確率の候補として “watches” などが削除される。

表 3 問題タイプごとの不正解選択肢の自動生成の $\mathrm{F}$ 値

## 4.2 機能語問題のためのフィルタリング

機能語問題では、基本的に前置詞や接続詞などの 機能語のみを選択肢として用いる。そこで本研究で は、日本の大学受験用の機能語リスト ${ }^{6}$ を用意し、 ここに含まれない候補単語を除外する。表 1 の 2 文目の例では、“ime”や“taken”などが削除される。

## 4.3 文脈問題のためのフィルタリング

文脈問題は、コロケーションやイディオムの知識 を問う問題であるため、問題文中の周辺単語とよく 共起する単語を候補として使用したい。ただし、文法問題と同様に、信頼性の低い不正解選択肢を避け るために、BERT の単語穴埋め確率において正解単語よりも高確率の候補単語は除外する。表 1 の 3 文目の例では、“comfy” ゃ“cosy”が削除される。

## 5 評価実験

3 節で収集した 500 件の英単語穴埋め問題を対象 に、不正解選択肢を自動生成する評価実験を行う。

## 5.1 実験設定

モデル 候補生成には、2 節で紹介した単語分散表現に基づく手法 [5] および折り返し翻訳に基 づく手法 [7] を用いた。ここで、単語分散表現には fastText ${ }^{7)}$ [15] を使用した。また、折り返し翻訳に は先行研究 [7] の設定に従って英独および独英の

Transformer ${ }^{8)}[16,17]$ を使用し、単語アライメントの 計算には単語分散表現および Hungarian 法 $[18,19]$ を 用いて候補単語を収集した。

リランキングには、単語分散表現に基づく手法 [5] およびマスク言語モデルに基づく手法 [10] を用いた。後者のリランキングには、HuggingFace Transformers [20] 経由で BERT-base-uncased ${ }^{9)}$ [13] を 使用した。なお、候補単語は fastText および BERT の 語彙に共通して出現する単語のみに制限している。

フィルタリングでは、NLTK ${ }^{10)}$ [21]を用いて品詞 タグ付けした。機能語は、166 単語6)を収集した。

比較手法 本研究では、2 節で説明した単語分散表現に基づく手法 [5]、マスク言語モデルに基づく 手法 [10]、折り返し翻訳に基づく手法 [7] の 3 手法 を提案手法と比較した。比較手法のフィルタリング において、Wikipedia は前処理済み ${ }^{11)}$ [22] の英語テ キストを使用した。また、先行研究 [10] の設定に従 い、閾値には $\theta_{H}=11$ および $\theta_{L}=39$ を使用した。

評価 各手法において 100 種類の単語を候補生成 し、リランキングおよびフィルタリングした上位 $k \in\{3,5,10,20\}$ 単語を、実際の不正解選択肢 3 件と 比較する。評価指標には、再現率および適合率を求 め、その調和平均（F 値）を用いる。ただし、候補 が $k$ 単語に満たない場合は、語彙の中から無作為に 選択した。

8) https://github.com/facebookresearch/fairseq/blob/ main/examples/wmt19/README.md

9) https://huggingface.co/bert-base-uncased

10) https://www.nltk.org/

11) https://www. tensorflow.org/datasets/catalog/wiki40b

## 5.2 実験結果

表 3 に実験結果を示す。各問題タイプにおいて、上から 3 行は比較手法、最下行は提案手法の性能を 示している。提案手法は、12 件中の 9 設定において 最高性能を達成し、残りの 3 設定においても 2 番目 に高い性能を示したため、問題タイプの特徴を考慮 したフィルタリングの有効性を確認できた。特に、機能語問題において性能の向上が顕著であり、候補数 $k$ の増加に伴ってより大きな改善が見られた。

表 4 に、問題タイプごとの不正解選択肢の出力例 を示す。まず、文法問題においては、比較手法は正解単語と意味的に類似する単語を候補として出力 する傾向が見られた。一方で、提案手法は実際の不正解選択肢である “discuss” や“discussed” に加えて、 “discussion” “discussions” などの正解単語の活用形 を出力しており、文法問題の特徴を反映した候補生成ができた。次に、機能語問題においては、比較手法は機能語以外の単語も出力しており、実際の不正解選択肢は出力できていない。一方で、提案手法は 問題の特徴を考慮したフィルタリングによって機能語のみを候補として生成し、実際の不正解選択肢の うち “for”および “with”を上位 5 件に含めることに 成功している。また、文脈問題においては、表 3 に 示したとおり、上位 5 件程度までは比較手法 [7] と 提案手法が同様の候補を出力しているが、提案手法 はそれ以降にも良い候補を出力できる場合が多い。
It was certainly _ crowded than I thought it would be.
(a) less
(b) little
(c) least
(d) fewer

(a)が正解選択肢

図 3 自動生成が難しい文法問題の例（会津大学, 2018） ${ }^{4)}$

文法問題において、一部の設定では提案手法が有効ではなかった。この要因には、文法問題と分類さ れた問題の中に文脈問題との区別が難しい問題が含 まれる点が考えられる。図 3 の例のような、正解単語の活用形を不正解選択肢としない文法問題（66 問中の 16 問）は、提案手法では対処できなかった。

## 6 おわりに

本研究では、日本の大学入試における英単語穴埋 め問題の作問コストを削減するために、問題タイプ ごとの特徴を考慮した不正解選択肢の自動生成手法を提案した。まず、英単語穴埋め問題には文法問題・機能語問題・文脈問題の 3 タイプが存在するこ とを明らかにし、問題タイプのラベル付きコーパス を構築した。そして、候補のフィルタリングを中心 に、各問題タイプの特徴を考慮した不正解選択肢の 自動生成手法を提案した。実験の結果、提案手法は 多くの設定において比較手法の性能を上回り、不正解選択肢の生成において問題タイプを考慮すること の有効性を確認した。今後の課題として、問題タイ プを自動分類してコーパスの規模を拡大し、教師あ り学習による不正解選択肢の生成を検討したい。

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号：

JP21H03564, JP22H00677）の助成を受けたものです。

## 参考文献

[1] Wilson L Taylor. "Cloze Procedure" : A New Tool for Measuring Readability. Journalism quarterly, Vol. 30, No. 42, pp. 415-433, 1953.

[2] Ruslan Mitkov and Le An Ha. Computer-Aided Generation of Multiple-Choice Tests. In Proceedings of the HLT-NAACL 03 Workshop on Building Educational Applications Using Natural Language Processing Volume 2, p. 17-22, 2003.

[3] Eiichiro Sumita, Fumiaki Sugaya, and Seiichi Yamamoto. Measuring Non-native Speakers' Proficiency of English by Using a Test with Automatically-Generated Fill-inthe-Blank Questions. In Proceedings of the Second Workshop on Building Educational Applications Using NLP, pp. 61-68, 2005.

[4] Torsten Zesch and Oren Melamud. Automatic Generation of Challenging Distractors Using Context-Sensitive Inference Rules. In Proceedings of the Ninth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 143-148, 2014.

[5] Shu Jiang and John Lee. Distractor Generation for Chinese Fill-in-the-blank Items. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 143-148, 2017.

[6] Yunik Susanti, Takenobu Tokunaga, Hitoshi Nishikawa, and Hiroyuki Obari. Automatic Distractor Generation for Multiple-choice English Vocabulary Questions. Research and Practice in Technology Enhanced Learning, Vol. 13, No. 15, pp. 1-16, 2018.

[7] Subhadarshi Panda, Frank Palma Gomez, Michael Flor, and Alla Rozovskaya. Automatic Generation of Distractors for Fill-in-the-Blank Exercises with Round-Trip Neural Machine Translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 391401, 2022.

[8] Chao-Lin Liu, Chun-Hung Wang, Zhao-Ming Gao, and Shang-Ming Huang. Applications of Lexical Information for Algorithmically Composing Multiple-Choice Cloze Items. In Proceedings of the Second Workshop on Building Educational Applications Using NLP, 2005.

[9] Jennifer Hill and Rahul Simha. Automatic Generation of Context-Based Fill-in-the-Blank Exercises Using Cooccurrence Likelihoods and Google n-grams. In Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 2330, 2016.

[10] Chak Yan Yeung, John Lee, and Benjamin Tsou. Difficultyaware Distractor Generation for Gap-Fill Items. In Proceedings of the The 17th Annual Workshop of the Australasian Language Technology Association, pp. 159-164, 2019.
[11] Keisuke Sakaguchi, Yuki Arase, and Mamoru Komachi. Discriminative Approach to Fill-in-the-Blank Quiz Generation for Language Learners. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 238-242, 2013.

[12] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of the 1st International Conference on Learning Representations, 2013.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[14] George A. Miller. WordNet: A Lexical Database for English. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[15] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[16] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, and Sergey Edunov. Facebook FAIR's WMT19 News Translation Task Submission. In Proceedings of the Fourth Conference on Machine Translation, pp. 314319, 2019.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[18] Harold W. Kuhn. The Hungarian Method for the Assignment Problem. Naval Research Logistics Quarterly, Vol. 2, 1-2, pp. 83-97, 1955.

[19] Yangqiu Song and Dan Roth. Unsupervised Sparse Vector Densification for Short Text Similarity. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1275-1280. Association for Computational Linguistics, 2015.

[20] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[21] Steven Bird and Edward Loper. NLTK: The Natural Language Toolkit. In Proc. of ACL, 2004.

[22] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami AlRfou. Wiki-40B: Multilingual Language Model dataset. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 2440-2452, 2020.


# 外国語検定の面接試験において生成する質問の難易度選定

林鳴昊 1 伊藤滉一朗 1 松原茂樹 1,2
1 名古屋大学大学院情報学研究科 2 名古屋大学情報連携推進本部
lin.minghao.b3@s.mail.nagoya-u.ac.jp ito.koichiro.v1@s.mail.nagoya-u.ac.jp
matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

外国語学習者の語学力を客観的かつ迅速に判定 する需要が高まっている。読解力，聴解力，作文力 の測定については，筆記試験やリスニング試験の作問あるいは採点の自動化が検討されている。一方，会話力の測定については十分に検討されていない.本稿では，外国語の会話力測定のための面接試験の 自動化に向けて，生成する質問の難易度を選定する 手法を提案する. 本手法では, 受験者の能力に応じ て柔軟に質問の難易度を選定するために，受験者の 返答の適切さを利用する. 日本語学習者会話データ ベースの模擬試験データを用いて実験を行い，本手法の有効性を確認した。

## 1 はじめに

留学や就職で海外に渡る人が増加するにつれて，外国語学習者の語学力を評価する需要が高まってい る. 語学力の評価では, 読解力, 聴解力, 作文力,会話力の測定が行われる [1]. このうち, 読解力, 聴解力, 作文力の測定については, 試験問題の作成や 採点などにおいて，自動化が検討されている（例え ば， $[2,3,4]$ ). 一方で, 会話力の測定については, 自動測定を目的とした研究があるものの [5]，その検討は十分ではない.

会話力を測定するための試験はその形態により， モノローグ試験と面接試験に分けられる。モノロー グ試験では, 事前に決められた質問に対する受験者 の返答によって会話力を評価する。すなわち，モノ ローグ試験は，試験中に質問が変更されることが なく，静的な試験であるといえる。一方，面接試験 は，面接官が受験者との会話を通して質問を柔軟に 変更しながら，その返答に基づき会話力を評価する ものであり，動的な試験であるといえる.

会話力の測定においては，実世界での会話の要素 を試験に反映させることが期待されている [6]. 面接試験は，モノローグ試験と比較して，高い信頼度 で会話力を測定でき，実世界での人間同士の会話の シミュレートも容易である。そのため，近年のコン ピュータを利用した言語アセスメントは，対話的ま たは動的な方略を導入し，個々の学習者に焦点を当 てた測定へと移行している [7].

本稿では，外国語の会話力測定のための面接試験 の自動化に向けて, 生成する質問の難易度を選定す る手法を提案する. 本手法では，受験者の能力に応 じて柔軟に質問の難易度を選定するために，受験者 の返答の適切さを利用する. 面接官と受験者の対話文脈に加えて, 直前の返答の適切さを入力として,面接官の次の質問の難易度を選定する．難易度を選定するためのモデルとして, BERT [8]を採用した.模擬面接試験のデータセットを用いた実験を行い，本手法の有効性を確認した。

## 2 関連研究

会話力を測定するための試験は，モノローグ 試験と面接試験に分けられる。これまで，モノ ローグ試験の自動化に関する研究が行われてい る $[9,10,11]$. 採点の自動化に関しては, Siamese convolutional neural network [12]を用いて受験者の会話力を評価する研究 [9] や，線形回帰モデルを用い て受験者の返答を評価する研究 [10] が存在する。

試験の実施を含めた自動化を目指す研究も存在 している. 受験者に対して，文の読み上げや短文問題への返答などを機械的に要求する Pearson Test of English の結果から，会話力を評価する研究が行われ ている [13]. また，モノローグ試験を実施するため の音声対話システムを構築する試みもある [11].こ のシステムでは，読み上げタスクと繰り返しタスク が実施可能であり，流暢性，発音，繰り返しの精度 に着目して，会話力を評価する。

モノローグ試験と面接試験の評価の間には，高い 相関があることが示されているものの [6]，面接試
表 1 面接試験における会話の例

 \\

験の方が高い信頼度で会話力を測定でき，実世界で の人間同士の会話のシミュレートも容易である。ま た，会話力の測定においては，実世界での会話の要素を試験に反映させることが期待されている [6]. しかし, 質問の難易度が動的に変化する面接試験に 関しては，その自動化はあまり進んでいない。

## 3 面接試験の質問の難易度

外国語の会話力測定のための面接試験では，受験者の返答の適切さに応じて，面接官は質問の難易度 を調整している [14].

表 1 に，面接試験の会話例を示す. $Q_{i}$ と $R_{i}$ は， それぞれ, $i$ 番目の面接官の質問と受験者の返答を 表す。また，【】内は，質問の難易度または返答の 適切さを表す. 例えば，2つ目の質問 $Q_{2}$ に対する 返答 $R_{2}$ は適切ではない. 受験者が $Q_{2}$ の質問に返答 する会話力を備えておらず返答に困ったために， $R_{2}$ のような不適切な返答になり，これを受けて，面接官の次の質問 $R_{3}$ は, 2 択で返答できる易しい質問と なったと考えられる. このように面接官は, 受験者 の返答の適切さに応じて試験中に質問の難易度を動的に変えることで，受験者の言語能力を評価してい る [15]. そこで本稿では，外国語の会話力測定のた めの面接試験の自動化に向けて, 生成する質問の難易度を選定する手法を提案する。

## 4 提案手法

## 4.1 手法の概要

外国語の会話力測定のための面接試験では，面接官は, 受験者の返答の適切さに応じて，質問の難易度を調整している. そこで本手法では, 面接官の質問方略に基づき，2 段階のアプローチをとる. 図 1 に，本手法のアーキテクチャを示す. 本手法は，返答の適切さ推定モデルと質問の難易度選定モデル

図 1 提案手法のアーキテクチャ

の 2 つから構成される。まず，面接試験の対話文脈 から，推定対象となる返答の適切さを推定し，続い $\tau$ ，対話文脈と適切さの推定結果から，次の質問 の難易度を選定する。推定および選定モデルには， BERT を用いる. BERT は， Transformer [16] アーキ テクチャをべースに構築されており，対話システム 関連のタスクでの適用例も多い $[17,18,19]$.

## 4.2 返答の適切さ推定

返答の適切さ推定モデルでは，面接試験の会話に おける， $i$ 番目の受験者の返答 $R_{i}$ の適切さを推定す る. 推定された適切さは, 面接官が $R_{i}$ の次に生成す る質問の難易度の選定に利用される. 返答の適切さ の推定には，推定対象の返答を含む直前 2 組の質問 と返答の組を用いる. すなわち， $\left[Q_{i-1}, R_{i-1}, Q_{i}, R_{i}\right]$ から， $R_{i}$ の適切さを推定する.

返答の適切さ推定モデルは, BERTを fine-tuning す ることで構築する. [[CLS] $Q_{i-1}$ [SEP] $R_{i-1}$ [SEP] $\left.Q_{i}[\mathrm{SEP}] R_{i}[\mathrm{SEP}]\right]$ という系列をモデル全体の入力 として与え, [CLS] トークンに対応する BERT の最終層の出力 $T_{[\mathrm{CLS}]}$ を，線形変換と softmax 関数から なる分類層に入力することで， $R_{i}$ の適切さを出力 する。なお，BERT は，2 種類の Segment embeddings を持つが，適切さ推定モデルでは， 入力系列全体 を 1 つのセグメントとみなし，系列全体で同種の Segment embeddings を適用している. 参考として， モデル図を Appendix の A に示す.

## 4.3 質問の難易度選定

難易度選定モデルでは，面接試験の会話におけ る， $i$ 番目の受験者の返答 $R_{i}$ の次に生成する質問の 難易度を選定する. すなわち， $Q_{i+1}$ の質問の難易度 を選定する．難易度選定には，直前の 2 組の質問と
返答の組に加えて, 直前の返答の適切さを用いる.直前の返答の適切さ（以降では，適切さラベルとも 呼ぶ）を $\mathrm{L}$ とすと， $\left[Q_{i-1}, R_{i-1}, Q_{i}, R_{i}\right]$ と $\mathrm{L}$ を力 として， $Q_{i+1}$ の難易度を選定する。

難易度選定モデルは，適切さ推定モデルと同様に，BERTを fine-tuning することで構築する。た だし，適切さラベル $\mathrm{L} を ，$ 特殊トークンとして入力系列に加える. [[CLS] L [SEP] $Q_{i-1}$ [SEP] $R_{i-1}$ [SEP] $Q_{i}$ [SEP] $R_{i}$ [SEP]] という系列を入力として 与え, [CLS] トークンに対応する BERT の最終層の 出力 $T_{[\mathrm{CLS}]}$ を, 線形変換と softmax 関数からなる分類層に入力することで， $Q_{i+1}$ の難易度を出力する。

難易度選定モデルでは，Xiong ら [20] のラベル フュージングの手法を参考に，非自然言語であるラ ベルと自然言語である対話文脈を別のセグメント とみなし，それぞれに別の Segment embeddings を割 り当てる. すなわち, [[CLS] L [SEP]] には1つ目 のセグメントに対応する Segment embeddings を適用 し, 後続の系列には 2 つ目のセグメントに対応する Segment embeddings を適用する. 参考として，モデ ル図を Appendix の A に示す.

## 5 実験

## 5.1 実験データ

本手法の有効性を検証するために，難易度選定実験を実施した. 実験には, 国立国語研究所が公開 している日本語学習者会話データベース $(\mathrm{JLCD})^{1)}$ の模擬面接試験データを用いた。模擬面接試験は, ACTFL Oral Proficiency Interview (OPI) の標準に従っ て行われ，実生活の中で効果的かつ適切に言語を使用する能力を評価するものである．約 20 分の試験 を経て, 受験者の会話力は, 大きく分けて, 初級,中級，上級，超級の 4 段階で評価される.

模擬面接データには， 390 個の試験データが含ま れている. 本実験では，その一部分である 59 個の 試験データを，実験データとして利用した. その書 き起こしデータを発話単位に分割した結果， 3,251 個の面接官の質問と受験者の返答に分割された. 実験データを試験単位で約 8:1:1 に分割し, それぞれ,学習, 開発, テストに用いた。

実験データ内の返答に対して，その適切さを人手で付与した. 本実験では, 適切さは, 返答が適切 か不適切かの 2 値とした. 表 2 に，実験データに

表 2 適切さの分布

表 3 難易度の分布

おける返答の適切さの分布を示す. 実験データ内 の質問に対しても，その難易度を人手で付与した。 ACTFL-OPI 標準では,

1. 初級から中級程度の会話力では, 2 択問題や単純な事実と結論を求める質問に適切に返答可能

2. 上級から超級程度の会話力では, 物事に対する 詳しい説明，描写，叙述，比較，個人的な意見 を求める質問に返答可能

とされている.これらを踏まえて，本実験では，上記の 1 に対応する質問を易しい質問，2 に対応する 質問を難しい質問とし，難易度を易しいか難しいか の 2 值で付与した. 表 3 に，実験データにおける質問の難易度の分布を示す。

## 5.2 モデル設定

事前学習済みの BERT を fine-tuning することで,返答の適切さ推定モデルと質問の難易度選定モデル を実装した. 本実験では，返答の適切さと質問の難易度は共に 2 值としているので，推定および選定モ デルは共に 2 クラス分類を行うモデルである. いず れのモデルについても，事前学習済みの BERTとし て，東北大学が公開しているモデル2)を用いた.

各モデルとも，バッチサイズを 16 , 最適化アル ゴリズムを AdamW [21]，重み減衰を 0.01，ドロッ プアウト率を 0.1 , 入力トークンの最大長を 512 に 設定した．学習率は，返答の適切さ推定モデルでは 1e-5, 質問の難易度選定モデルでは 2e-7 とした. ま た，各モデルとも，損失関数は Cross Entropy Loss と した. ただし，損失には各クラスの重みの逆数に比例する class-weight を適用した. 各モデルとも, 10 エポック学習し，1 エポックごとに開発データでの 損失を計算し，その損失が最も小さかったモデルを 用いて，テストデータに対する性能を評価した。

4 章で提案した難易度選定モデルの学習には, 返答の適切さの正解ラベルを用いた. 一方，評価で は，返答の適切さ推定モデルで推定されたラベルを 用いた．以降では，このように学習させた難易度選定モデルを [ours (noisy)] と表記する. [ours (noisy)] の評価時の性能は，返答の適切さ推定モデルの推定

2) https://github.com/cl-tohoku/bert-japanese
誤りの影響を受ける.

## 5.3 評価指標と比較手法

本実験では，適合率，再現率，F1 值のマクロ平均 を評価指標とした。また，本手法の性能を評価する ために，比較手法を実装した，BERTを用いた返答 の適切さ推定手法に対しては，返答によらずランダ ムに推定を行う手法を比較手法とした. 返答が適切 であると推定する確率は，学習データにおける適切な返答の割合と同じく 0.809 とした. 以降では, BERT を用いた推定手法を [ours], ランダムに推定 する手法を [random] と表記する。

質問の難易度選定手法 [ours (noisy)] に対しては，以下の 4 つの手法を比較手法とした.

・ [random]: 質問の難易度によらずランダムに難易度を選定する．易しい質問であると選定する 確率は，学習データにおける易しい質問の割合 と同じく 0.714 とした.

・ [vanilla BERT]: 返答の適切さを利用せずに，直前の 2 組の質問と返答から難易度を選定する
- [ours (noisy) w/o seg]: 返答の適切さを利用する が，入力系列全体で同種の Segment embeddings を適用している。
- [ours (correct)]: 評価時においても, 返答の適切 さの正解ラベルを用いて，難易度を選定する。本手法の性能は，返答の適切さの推定性能が $100 \%$ という理想的な環境下での参考値である.

## 5.4 実験結果

表 4 に，適切さ推定手法の性能を示す. [ours] は，比較手法である [random] を全ての評価指標で上回っ た.このことから，BERTを利用することで，返答 の適切さの推定がある程度の性能で可能であること を確認した．また，[ours] の正解率は 0.758 であっ た.このことは, 質問の難易度選定手法の性能評価 において, [ours (noisy)] および [ours (noisy) w/o seg] が利用した返答の適切さラベルのうち，75.8\%のラ ベルが正しいものであったことを意味する。

表 5 に，質問の難易度選定手法の性能を示す。提案手法 [ours (noisy)] は, 返答の適切さを利用しな い [random] と [vanilla BERT] を全ての評価指標で上回った.このことは，質問の難易度選定において，返答の適切さを利用することの有効性を示してい る. また, [ours (noisy)] は, [ours (noisy) w/o seg] に対表 4 返答の適切さ推定手法の性能

表 5 質問の難易度選定手法性能評価

しても，全ての評価指標で上回った. このことは，非自然言語である返答の適切さラベルと，自然言語 である対話文脈を別のセグメントとみなし，それ ぞれに別の Segment embeddings を割り当てることの 有効性を示している。なお，提案手法 [ours (noisy)] は, [ours (correct)] と比較して, 全ての評価指標でわ ずかに性能が低下した.この結果は，返答の適切さ 推定モデルの誤差によるものと考えられる．参考と して，Appendix の Bに，本実験における提案手法 [ours (noisy)]による難易度選定の例を示す.

## 6 おわりに

本稿では，外国語の会話力測定のための面接試験 において，生成する質問の難易度を選定する手法に ついて述べた. 本手法では，直前の返答の適切さ を推定したのちに，その適切さを踏まえて，次の 質問の難易度を選定する。また，返答の適切さを 効果的に利用するために，BERT における Segment embeddings に着目したラベルフュージング手法を取 り入れた. 模擬面接試験のデータセットを用いた実験を行い，本手法の有効性を確認した。

本手法では，質問と返答については，直前 2 組を 入力として利用したが，さらに前の質問と返答の利用も検討したい。また，面接官は，試験の初期段階 ではプロービングに，後期段階ではレベルチェック に重点を置くというように，その質問方略は変化す ると考えられる。このような変化を考慮するため に，今後は，面接試験における経過時間などの利用 も検討したい。

## 参考文献

[1] Donald E. Powers. The case for a comprehensive, fourskills assessment of English-language proficiency. R \& D Connections, Vol. 14, pp. 1-12, 2010.

[2] Yi-Ting Huang, Ya-Min Tseng, Yeali S Sun, and Meng Chang Chen. Tedquiz: automatic quiz generation for ted talks video clips to assess listening comprehension. In Proceedings of the 2014 IEEE 14th International Conference on Advanced Learning Technologies, pp. 350-354, 2014.

[3] Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1342-1352, 2017.

[4] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[5] Diane Litman, Steve Young, Mark Gales, Kate Knill, Karen Ottewell, Rogier Van Dalen, and David Vandyke. Towards using conversations with spoken dialogue systems in the automated assessment of non-native speakers of English. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 270-275, 2016.

[6] Jared Bernstein, Alistair Van Moere, and Jian Cheng. Validating automated speaking tests. Language Testing, Vol. 27, No. 3, pp. 355-377, 2010.

[7] Akbar Bahari. Computer-assisted language proficiency assessment tools and strategies. Open Learning: The Journal of Open, Distance and e-Learning, Vol. 36, No. 1, pp. 61-87, 2021.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[9] Su-Youn Yoon and Chong Min Lee. Content modeling for automated oral proficiency scoring system. In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 394-401, 2019.

[10] Klaus Zechner, Keelan Evanini, Su-Youn Yoon, Lawrence Davis, Xinhao Wang, Lei Chen, Chong Min Lee, and Chee Wee Leong. Automated scoring of speaking items in an assessment for teachers of English as a foreign language. In Proceedings of the 9th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 134-142, 2014.

[11] Febe De Wet, Christa Van Der Walt, and Thomas R. Niesler. Automatic assessment of oral language proficiency and listening comprehension. Speech Communication, Vol. 51, No. 10, pp. 864-874, 2009

[12] Jonas Mueller and Aditya Thyagarajan. Siamese recur- rent architectures for learning sentence similarity. In Proceedings of the 30th AAAI Conference on Artificial Intelligence, pp. 2786-2792, 2016.

[13] Pearson Longman. Official Guide to Pearson Test of English Academic. Pearson Japan, 2nd edition, 2012.

[14] Gabriele Kasper. When once is not enough: Politeness of multiple requests in oral proficiency interviews. Multilingua, Vol. 25, No. 3, pp. 323-350, 2006.

[15] ACTFL. Oral proficiency interview familiarization manual, 2012. https://community . actfl.org.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, Vol. 30, 2017.

[17] Chien-Sheng Wu, Steven C.H. Hoi, Richard Socher, and Caiming Xiong. TOD-BERT: Pre-trained natural language understanding for task-oriented dialogue. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 917-929, 2020.

[18] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, 2021.

[19] Peiyao Wang, Joyce Fang, and Julia Reinspach. CS-BERT: a pretrained model for customer service dialogues. In Proceedings of the 3rd Workshop on Natural Language Processing for Conversational AI, pp. 130-142, November 2021.

[20] Yijin Xiong, Yukun Feng, Hao Wu, Hidetaka Kamigaito, and Manabu Okumura. Fusing label embedding into BERT: An efficient improvement for text classification. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1743-1750, 2021.

[21] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 7th International Conference on Learning Representations, 2019.

## A モデル図

返答の適切さ推定モデル，及び，質問の難易度選定モデルについて補足する．図 2 と図 3 亿，それぞれのモデル図を示 す. $q_{i}^{j}$ および $r_{i}^{j}$ は，それぞれ， $i$ 番目の質問 $Q_{i}$ と返答 $R_{i}$ 中の $j$ 番目のトークンを表す. 質問の難易度選定モデルでは, $R_{i}$ の適切さラベル L を入力に加えており, [[CLS] L [SEP]] には 1 つ目のセグメントに対応する Segment embeddings $E_{A}$ を適用し，後続の系列には 2 つ目のセグメントに対応する $E_{B}$ を適用する.

図 2 返答の適切さ推定モデル構造

図 3 質問の難易度選定モデル

## B 難易度選定の例

表 6 に，[ours (noisy)] と [vanilla BERT] による難易度選定の例を示す. 適切さの列は，返答の適切さの推定結果を示し ている。なお，この推定結果は正しいものである。また，難易度の列は，データ中の正解ラベルを示している。この例で は, [ours (noisy)] は正しく難易度を選定できたが，[vanilla BERT] は誤っている. [ours (noisy)] は， $R_{55}$ が適切な返答であ るという情報を利用して， $R_{55}$ の次に生成される質問は難しい質問であると正しく選定できたものと考えられる。

表 6 [ours (noisy)] と [vanilla BERT] による難易度選定の例（ $Q_{56}$ の難易度が選定の対象）

 \\


# 年少者向け日本語会話アセスメントにおける評価者側の 「はい」「うん」「そう」の使用傾向と生徒の日本語能力との関わり

落合哉人
東京福祉大学
katakanato@icloud.com

## 概要

本研究では, 公立中学校に在籍する外国にルーツ を持つ生徒に対して, 日本語を母語とする評価者が 日本語能力の測定を行う際，評価者の発話における 「はい」「うん」「そう」の使用傾向が，最終的な 評価とどのように関わるか検討した. 分析の結果,評価者が用いる「はい」は最終的なステージ判定の 上昇と対応して増加する傾向がある一方，「うん」 と「そう」は減少する傾向があることが見出された.中でも「そう」は「評価」を行う発話の冒頭で使用 されることが多く, その使用傾向が生徒のステージ を予測する目安となることが示唆された。

## 1 はじめに

日本語の談話において，「はい」「うん」「そう」 といった応答表現は文字通り先行する他者の発話へ の応答を示すだけでなく, やりとりの進行そのもの の管理に資する側面があることが以前から指摘され ている[1][2]. 特に教室談話において, 応答表現のそ のような側面はしばしば効果的に利用されると言え， たとえば山元[3]では, 教室において談話の進行を管理できる者（=教師）が，発話や活動を区切り，次 の発話や活動を始めるために「はい，じやあ」とい う表現を利用する様子が観察されている。また, 同様の観察は CLD (Culturally and Linguistically Diverse)生徒（う外国にルーツを持つ生徒）を対象として日本語能力の測定を行う際の評価者 (日本語母語話者)側の発話でも(1)のように当てはまることが窥える.

(1)【導入会話/ステージ3】

評価者：まず名前を教えてください。

CLD 生徒 A：はい，私の名前は［名前］です.

評価者：はい. 何年生ですか.

CLD 生徒 A : えっと: 3 年生 3 組です.

評価者：はい. 何歳ですか.一方で，そのような「教師」や「評価者」の発話に おける応答表現の使用が，評価された生徒の日本語能力とどのように関わるかということは，これまで それほど検討がなされていない。

たとえば，応答表現「はい」について日本語学の 視座から検討する冨樫[4]は，「情報がある程度まと まった形で提示された後か，あるいは逆に全く出て いないポイントのどちらか」で現れる語であること を記述している．同論に基づくと「はい」は，求め られる回答を「まとまった形で提示」できる上級学習者（女るいは，全く提示できない初級学習者）に 対する評価者の発話で多く現れるのではないか，と いう仮説を立てることができる。また，このような 仮説が確かであれば, 評価者側の応答表現の使用傾向自体を日本語能力の判定に資する一つの補助的な 基準として利用できる可能性も拓かれる.

そこで本研究では，CLD 生徒に対する「外国人児童生徒のための JSL 対話型アセスメント DLA (Dialogic Language Assessment for Japanese as a Second Language)」(文部科学省が提供する測定方法 [5]. 以下，DLA）の実施映像をデータとして取り上 げ，評価者の発話に含まれる「はい」及び，類似の 応答表現である「うん」と「そう」にに着目して使用傾向を分析する.

## 2 データ

本研究では，茨城県教育委員会からの研究受託に 基づき筑波大学が行っているグローバル・サポート 事業「オンライン学習による日本語初期指導カリキ ュラム開発・検証に関する研究」[6][7]の一環として 実施された DLA の映像 38 件をデータとして用いる.当該の事業では, 茨城県内の公立中学校に在籍する

CLD生徒を対象として定期的にDLAを行っており，正答の数及び「文・段落の質」「発音・流暢度」「話寸態度」等の質的評価に基づき生徒の日本語能力を ステージ 1 の の 6 段階で評価している ${ }^{i i}$. 本研究で は, 2020 年 9 月から 2021 年 12 月にかけて, 6 校の 中学校に在籍する計 22 人の生徒に対して行われた DLA の課題の一部を録画し, 文字起こし及び形態素解析iiを行った. 録画した課題は以下の 3 つである.

(1) 導入会話

名前等の個人情報の確認と言語環境の確認

(2) 語彙力チェック

イラストを使用した基本語彙 55 項目の確認

(例：「目」「卵」「牛」「電話」)

(3) DLA〈話す〉

イラストを使用した様々な質問（最大 38 問）

(例 : この部屋に, 何がありますか/学校で 地震が起きたら，どうしますか)

なお, 2021 年 12 月時点の生徒のステージ判定は, ステージ 2 が 6 人(うち 2 人がステージ 1 から上昇), ステージ 3 が 11 人(らち 2 人がステージ 2 から上昇), ステージ 5 が 4 人(うち 1 人がステージ 4 から上昇), ステージ 6 が 1 人であり，評価者は計 12 人である.本研究では 38 件のデータのうち, 該当するデータ が 1 件しかないステージ 6 を除く 37 件を分析の対象 とした. ステージごとのデータの数を表 1 に示す.

表 1 対象とするデータの内訳

 &  &  \\

## 3 分析の観点

DLA〈話す〉では, 生徒の日本語能力と対応して 評価者が適宜質問の数を調節できる設計がなされて いる. そのため, 本研究では, 対象とするデータ全体と，すべての生徒に対して行われる「導入会話」及び「語彙力チェック」のみの双方における「はい」

ii DLA では〈話す〉〈読む〉〈書く〉〈聴く〉の４つの 課題があるが, 現時点では〈話す〉と〈書く〉のみ実施さ れている. なお, 〈書く〉は, 評価者との対話を伴わない 作文課題であるため, 本研究では分析の対象としない.

iii MeCab (0.996)及び現代話し言葉 Unidic (3.1.0)を用いた.「うん」「そう」の使用傾向を分析した。

また，談話におけるどのような「はい」「うん」

「そう」の用法の増減が全体的な使用傾向の変動と 関わるか検討するため，特に，生徒の回答の直後の ターン冒頭で用いられ, 同一のターンで次の質問へ の移行がなされる(2)のような「はい」「うん」「そ う」に注目して数を数えた ${ }^{\mathrm{iv}}$.

(2)【語彙力チェック/ステージ2】評価者： $10 . \quad$ ((イラストを見せる)) CLD 生徒 B : 卵.

評価者：はい.いいね，卵、いいね。

11. ((イラストを見せる))

CLD 生徒 B : えっと, エビです.

(2)のような「はい」（「うん」「そう」）は，教室談話で典型的に見られる「始発 (Initiation)」-「応答 (Reply)」-「評価 (Evaluation)」という行為連鎖 (IRE 連鎖 $[8] ）$ のち「評価」の冒頭に位置するものであ る. 寸なわち DLA では, 評価者が生徒の答えに対 して何らかの判断をしたことを表す応答表現である とみなせる点で使用傾向が最終的に評価された日本語能力と連動する可能性があるため, 分析の観点と して取り上げることにした.

## 4 分析の結果

## 4. 1 データ全体における使用傾向

まず, 本研究が対象としたデータ全体における「は い」「うん」「そう」の，発話 1000 形態素あたりの 使用頻度（以下，調整頻度）を表 2 に示す。

表 2 応答表現の使用傾向（データ全体）

iv データの中には, ターン冒頭で生徒の回答の一部を復唱 し, その後で「はい」「うん」「そう」を使用する場面も 見られた. 本研究では, そのような用例も生徒の回答直後 のターン冒頭相当の位置で使用されたものと考えた. 同様 に，「はい」「うん」「そう」が連続で使用される場合（例： はい，うん，そうですね），2 番目以降のものも 1 番目に 使用されたものと同じ位置で使用されたものと捉えた. $\mathrm{v}$ 実際に確認された使用回数.
表 2 から，評価者の発話における「はい」の使用 は生徒のステージの上昇と対応して増加する傾向が あり, 反対に「そう」の使用は生徒のステージの上昇と対応して減少する傾向があることがわかるvi.一方で，「うん」の使用については一見して，ステ ージと対応した一定の傾向はないように思われる。次に，「評価」の冒頭に位置する「はい」「うん」「そう」の使用傾向を表 3 に示す.

表 3 「評価」の冒頭に位置する 応答表現の使用傾向（データ全体）

 &  &  \\

& {$[51.9 \%]$} & {$[31.3 \%]$} & {$[68.2 \%]$} \\

& {$[50.0 \%]$} & {$[26.9 \%]$} & {$[82.2 \%]$} \\

& {$[47.6 \%]$} & {$[49.0 \%]$} & {$[72.4 \%]$} \\

& {$[50.4 \%]$} & {$[31.8 \%]$} & {$[71.1 \%]$} \\

表 3 から, 「評価」の冒頭に位置する「はい」と 「そう」も,使用位置を問わない全体的な傾向同様, ステージと対応して増加または減少する傾向がある ことがわかる. また，この位置で使用されるものに 限った場合，「うん」についても「そう」と同様， ステージの上昇と対応して減少する傾向があること が窥える。ただし, 位置を問わない全体的な使用回数に占める割合は 3 語で違う傾向があり，「そう」 はどのステージでも $70 \sim 80 \%$ 程度が「評価」の冒頭 に位置するのに対して，「はい」と「うん」は違う 位置 (う用法) で使用されるものも多い様子が見ら れる。特に「はい」の割合はステージ 1 から 2 にか けて下がるものの, それ以降はほぼ横ばいであり,

「評価」の冒頭に位置するもののみがステージの上昇と対応して増えるわけではないことが示唆される。
(1)=22.445, \mathrm{p}<.01\right)$.

vii 「はい」「うん」「そう」それぞれの使用回数全体に 占める割合。
}

## 4. 2 「導入会話」及び「語彙カチェック」 のみにおける使用傾向

\author{
続いて，以上のような「はい」「うん」「そう」
} の使用傾向において，質問のあり方が及ぼしている 影響を検討する．DLA〈話す〉の実施場面を除いた データにおける「はい」「うん」「そう」の，全体的な使用傾向を表 4 に，「評価」の冒頭に位置する ものの使用傾向を表 5 に，それぞれ示す。

表 4 応答表現の使用傾向（DLA〈話す〉以外）

表 5 「評価」の冒頭に位置する 応答表現の使用傾向（DLA〈話す〉以外）

 &  &  \\

表 4 から，対象とするデータを「導入会話」及び 「語彙力チェック」に限定した場合も評価者の発話 における「はい」の使用は生徒のステージの上昇と ともに増え，「そう」の使用は生徒のステージの上昇とともに減る傾向があることがわかるviii. 一方，「うん」の調整頻度はステージ 3 で最も高く, ステ

viii データ全体に対する分析結果同様,「はい」の増加は 比較的緩やかであるため, ステージごとの使用回数と評価者の発話全体の形態素数の比について Cochran-Armitage 検定を行った. その結果, ステージの上昇と対応して使用回数が増加しているという結論が得られた $\left(\chi^{2}(1)=\right.$ $11.408, \mathrm{p}<.01)$.

ージ 1 と 5 で同程度である様子が見られる.

また，表 5 から，「評価」の冒頭に位置するもの のみを見た場合も，「はい」「うん」「そう」それ ぞれに関して，表 4 における位置を問わない結果と 類似した形で, ステージごとの調整頻度が推移して いることが窥える。なお，「評価」の冒頭に位置す る「はい」「うん」「そう」の位置を問わない使用回数全体に占める割合は, 3 語ともに表 3 で示した データ全体を対象とする分析結果よりも高く, 特に

「そう」は，ステージ 1 と 3 において， 9 割以上の 用例が「評価」の冒頭に位置することがわかる.

以上のように課題を限定した場合, 評価者が使用寸る「うん」についてはステージ1から3 3 にかけて 増加し, それ以降再び減少する傾向を見出せるが,

「はい」と「そう」については課題を限定しない場合と類似した使用傾向を認めることができる.

## 5 考察

前節の分析から, CLD 生徒に対して日本語能力の 測定を行う際，評価者が用いる「はい」は最終的な ステージ判定の上昇と対応して増加する傾向がある 一方，「うん」と「そう」はステージの上昇ととも に減少する傾向があることが見出された。 また, 3 語のうち「はい」と「そう」の増減に関しては課題 を統制した場合も同様の結論が得られることが示唆 された. 本節では, 評価者の応答表現の使用が生徒 の日本語能力と対応する機序について考える.

本研究のデータにおいて, 生徒のステージが低い 段階では評価者による「はい」の使用が少なかった 内実には，1 節で述べた通りこの語が「情報がある 程度まとまった形で提示された後」[4]に現れること が関わる可能性がある. しかしながら, 使用位置の 観察から, 「評価」の冒頭に位置しない(3)のような 「はい」もステージの上昇と対応して増えることを 考えると，ステージと使用傾向の対応は「まとまっ た情報」か否かだけでは説明できないことがわかる.強いて言えば， ステージの高い生徒ほど，積極的な 反応を示す様子が窥えることから, 評価者側も丁寧 な対応が求められるのかもしれない。

(3)【DLA〈話す〉ノステージ5】

評価者：これからカードを見て先生と、私と 話しをします.

CLD 生徒 C:はい.

評価者：法．分からないときは分かりませ んと言ってください.
CLD 生徒 C：はい.

評価者：はい. では始めましょう。

一方で，「そう」については多くの用例が「評価」 の冒頭に位置するものであることから，使用傾向が 生徒の日本語能力に対する評価者の判断とある程度対応しているものとみなせる.その背後には「そう」 が「はい」や「うん」と違ってあいづちや, 話題の 仕切り直しで使いにくいと考えられることや, 生徒 の日本語能力が低いほど, 回答に対する意欲や日本語学習そのものへの意欲を高めるため, (4)のような 積極的な肯定を要することがあるものと思われる。

(4)【語彙力チェック／ステージ1】

評価者：41. ((イラストを見せる))

CLD 生徒 D : 飛行機.

評価者 ：乤う．42. ((イラストを見せる))

CLD 生徒 D : 分かりません.

評価者：43. じゃあこれは何をしますか.

((イラストを見せる))

CLD 生徒 D : Swimming.

評価者: 党うそう.

なお, 本研究のデータにおいて「うん」は「評価」 の冒頭に位置しない用例が多く, どの評価者の発話 でもあいづちとして用いられている様子が見られた。 したがって (生徒側の発話の長さについては, 今後実際に検討する必要があるが），使用語彙の少なさ から発話そのものが短いステージ 1 の生徒や, 反対 にすぐに適切な回答を産出できるステージ 5 の生徒 に対しては，そもそもあいづちを挟む余地が少ない 点で, 「うん」の使用が減った可能性がある.

## 6 おわりに

以上, 本研究では CLD 生徒に対する DLA の実施映像をデータとして評価者側の発話における「はい」

「うん」「そう」の使用傾向と生徒の日本語能力と の関わりを検討した. 本研究で分析した 3 語のうち 特に「そう」は, 生徒の日本語能力に対する評価者 の判断と関わりが深く，その使用傾向をあらかじめ 生徒のステージを予測する目安とし得ることが示唆 される. 今後, 対象とするデータを増やすことで, ステージと使用傾向の対応についてさらなる検証を 行うこととしたい. また, 本研究で確認した「はい」「うん」「そう」の使用の特徴が，DLA の実施場面以外の談話（たとえば，日本語母語話者を対象とし た教室談話）で当てはまるかどうかについても今後検討することとしたい.

## 謝辞

本研究は JSPS 科研費 JP22H00666 の助成を受けた ものです.

## 参考文献

1. 三宅和子 (1998)「談話における「はい」の機能：応答詞としての「はい」からリズムとりの「はい」 まで」『東洋大学短期大学紀要』30, pp.13-25.

2. 佐藤有希子 (2005) 「日本語母語話者の雑談におけ る「うん」と「そう」:フィラーとして用いられ る場合」『国際開発研究フォーラム』29, pp.107-124.

3. 山元一晃 (2013)「教室談話における境界マーカー 「はい」と教室外での使用 : その使用制約に注目 して」『日本語/日本語教育研究』4, pp.199-214.

4. 冨樫純一 (2002)「「はい」と「うん」の関係をめ ぐって」定延利之(編)『「うん」と「そう」の言語学』pp.127-157. ひつじ書房

5. 文部科学省初等中等教育局国際教育課 (2014)「外国人坚童生徒のための JSL 対話型アセスメント DLA」

(https://www.mext.go.jp/a menu/shotou/clarinet/003/

6. 澤田浩子 (2021) 「茨城県教育委員会グローバル・ サポート事業 オンライン学習による日本語初期指導カリキュラム開発・検証に関する研究 令和 2 年度実施のご報告」

 〈2023 年 1 月 7 日閲覧〉

7. Sawada, H., \& Inoue, R. (2021). Network for Supporting Education of Foreign Children During Covid-19: Language Assessments as a Tool for Promoting Community Integration. Acta Linguistica Asiatica, 11(2), pp.33-50.

8. Mehan, H. (1979). Learning Lessons: Social Organization in the Classroom, Harvard University Press.

## 付録：

○本研究が対象としたデータで実施されている質問（[5]より引用）