# Explain to Me What Is Wrong With My Arguments: A Survey about Explanations in Argumentation

Camélia Guerraoui ${ }^{1} \quad$ Paul Reisert $^{3} \quad$ Keshav Singh $^{1} \quad$ Farjana Sultana Mim $^{1}$
Naoya Inoue $^{4,2}$ Shoichi Naito $^{1,2,5}$ Wenzhi Wang ${ }^{1,2}$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University $\quad{ }^{2}$ RIKEN $\quad{ }^{3}$ Beyond Reason $\quad 4$ JAST $\quad{ }^{5}$ Ricoh Company, Ltd.
\{guerraoui.camelia.kenza.q4, singh.keshav.t4, mim.farjana.sultana.t3,
naito.shoichi.t1, wang.wenzhi.r7\}@dc.tohoku.ac.jp
beyond.reason.sp@gmail.com, naoya-i@jaist.ac.jp, kentaro.inui@tohoku.ac.jp

## Abstract

The use of argumentation in education has been shown to improve critical thinking skills for end-users such as students, and computational models for argumentation have been developed to assist in this process. Although these models are useful for evaluating the quality of an argument, they oftentimes cannot explain why a particular argument is considered poor or not, which makes it difficult to provide constructive feedback to users to strengthen their critical thinking skills. In this survey, we aim to explore the type of explanations provided by the current computational models for argumentation, and the possibility of enhancing the explainability of such models, ultimately helping learners improve their critical thinking skills.

## 1 Introduction

Argumentation is the field of elaboration and presentation of arguments to debate, persuade, and agree, where an argument is made of a conclusion (i.e., a claim) supported by reasons (i.e., premises) [1]. By analogy with computational linguistics, computational argumentation refers to the use of computer-based methods to analyze and create arguments and debates [2]. It is a subfield of artificial intelligence that deals with the automated representation, evaluation, and generation of arguments. This field includes important applications such as mining arguments [3], assessing an argument's quality [4], reconstructing implicit assumptions in arguments [5] or even providing constructive feedback for improving arguments [6].

In the context of education, learning argumentation (e.g. writing argumentative essays, debates, etc.) has been

Figure 1 Overview of works focusing on the evaluation and improvement in argumentation.

shown to improve students' critical thinking skills [7, 8]. A number of researchers have been working on computational argumentation to support and provide tools to assist learners in improving the quality of their arguments.

Although computational models for argumentation are proven to assist students' learning and reduce teachers' workload $[9,10]$, such models still lack to efficiently explain how an argument can be improved; e.g., why a particular argument was labeled bad or given a low score by their automatic evaluation rubrics. In other words, the model should be not only able to provide its results but also be able to explain the results in a comprehensive way for the users so that users can understand, and ultimately improve their argumentation skills.

We argue that the output for current computational models for argumentation act as a type of explanation. For our survey, we categorize explanations into the following types:
- Shallow: The model identifies an error but doesn't explain how and why it should be corrected (i.e., what is wrong)
- In-depth: The model identifies an error and explains

Figure 2 Example of shallow, in-depth and interactive explanations for the same input argument

how to refine the argument in a way the end-user can understand (i.e., why it is wrong)
- Interactive: The model identifies an error at an indepth level and adapts its explanations based on the end-user's understanding and interactions to avoid reproduction of the same error (i.e., how to explain)

In Figure 2, an argument consisting of two claims and one premise is shown. The first explanations are categorized as shallow as they only mention the existence of a hasty generalization fallacy. The second provides a more in-depth reasoning by pointing out why it is a fallacy. The last interacts with a child to explain more easily the fallacy.

Towards explainable computational argumentation, this paper aims to give an overview of computational argumentation on automated quality assessment. We explore work providing shallow (§3) and in-depth explanations (§4). Finally, we discuss how to develop argumentation systems that provide interactive explanations in a way in which learners can improve their critical thinking skills (§5).

We believe that our survey can help the community focus more on explanation in argumentation and apply it to newer models, thus making the system more explainable. ${ }^{1)}$

## 2 Related Work

## 2.1 Explainable Al

Explainable AI (XAI) is a research area to make AI models easily understandable for humans [11]. Based on
 at https://cl-tohoku.github.io/explain_arguments.
Clinciu and Hastie [12], XAI will help both expert and non-expert users "to have a deeper understanding and the appropriate level of trust [in AI systems], which will hopefully lead to increased adoption of this technology."

To the best of our knowledge, XAI has been relatively little studied but has great potential in argumentation. Ideally, computational models should evaluate the quality of argumentation while providing efficient comments or feedback, i.e., explaining the results. However, bridging the gap between argumentation and XAI has remained unexplored.

## 2.2 Explainable Computational Argumentation

Several surveys have been done in the field of argumentation ([13, 14, 15, 16]) and explainability ([17, 18, 19]). In this section, we focus on the recent surveys related to explainability in argumentation.

First, Vassiliades et al. [20] highlight the potential of argumentation in explainable systems. They provide an exhaustive overview of argumentation systems for XAI by grouping them by domain, such as law, medicine, and semantic web. For each domain, papers are compared by tasks (e.g, argument classification). Despite the extensiveness of this survey, some topics important for improving explanations in argumentative systems received little attention. For example, frameworks that include arguments with commonsense knowledge have rarely been discussed, even though, they can enhance the model's explainability [21].

Čyras et al. [22] focus on the different frameworks, types, and forms of explanations. They distinguish intrinsic approaches (models using argumentative methods) from post-hoc approaches (non-argumentative models that provide complete or partial explanations). They discuss multiple forms of argumentation, such as dialogue, extensions, and sub-graphs. Their final roadmap covers the need to focus more on properties and computational aspects of argumentation-based explanations. Whereas they focus on argumentation used to explain, our work discusses how computational argumentation needs more explanation.

Moreover, our work distinguishes itself from the two previous surveys $[20,22]$ by focusing on evaluating and improving users' critical thinking skills.

## 3 Shallow Explanations

To improve students' critical thinking skills, we first need to evaluate their argumentative texts, i.e., identify
argumentative errors. In this section, we focus on models providing shallow explanations, i.e., models that identify what should be corrected in the arguments. We discuss recent works that identify properties such as the structure of arguments helpful to assist in this process.

## 3.1 Argumentative Structure

As shown in Figure 1, shallow explanations consist of multiple criteria. We first discuss the components, relations followed by the schemes.

Components: Identifying argumentative components is one of the fundamental tasks in argumentation [23,24,25]. Such works primarily focus on identifying components such as claims and premises. More recently, the usefulness of identifying such components can be seen in tasks such as counter-argument generation. For example, in Alshomary et al. [26], weak premises are identified and ranked in order to generate counter-arguments.

Relations: After identifying the different components of an argumentative text, it is necessary to distinguish the multiple relations between them to assert the quality of the arguments' quality. Indeed, supporting or refuting a claim is made of complex logical moves, such as promoting, contradicting, or acknowledging a fact. Therefore it is not trivial to use correct logic. To identify the different relations patterns, Yuan et al. [27] focus on finding interactive argument pairs, whereas Mim et al. [28] enables annotating complex attack relations.

Schemes: In addition to components and relations, Walton et al. [1] proposed a set of roughly 80 logical argumentation schemes to categorize the underlying logic. Each scheme has a set of critical questions which provide a template to assess the strength of the argument depending upon the associated scheme. Since the first work on automatically detecting argumentation schemes in argumentative texts [29], the use of such schemes has been explored in tasks such as essay scoring [30].

## 3.2 Complex Properties

Although a good structure with a claim and premises is necessary for a good argument, it is not sufficient. Indeed an argument has other more complex properties, such as its logical, dialectical, and rhetorical aspects. In this section, we focus only on logical fallacies (i.e., the use of false or invalid inferences) and on debate patterns (i.e., interactions between arguments from different points of view).

Fallacies: Towards giving effective feedback to students and explaining the results, logical fallacies, or errors in logical reasoning, have received attention [31, 32, 33]. Given the large number of logical fallacies that exist (over 100 types), it has been increasingly difficult to identify them in argumentative texts. Habernal et al. [31] created a gamification method for capturing common fallacies through the use of crowdsourcing. Motivated by the latter, Bonial et al. [32] aimed to capture similar fallacy types for news articles, but the low distribution of fallacy types in the wild makes identification challenging.

Debates: In a case of a debate, an opponent is willing to give a counter-argument synchronously and interactively. Analyzing and evaluating a debate is a difficult task as we need to retrieve not only the argumentation structure of each opponent but also the relations between them.

Bao et al. [34] focuses on argument pair extraction (APE), which consists of finding two interactive arguments from two argumentative passages of a discussion. Although the APE task gives insights into relations between different argumentative texts, it does not indicate complex relations (i.e., how claims, supports, attacks and the intention of the speakers are interrelated). To palliate this issue, Hautli-Janisz et al. [35] identified and analyzed the dialogical argumentative structure of debates using Inference Anchoring Theory (IAT) [36]. Following the same IAT theory, Kikteva et al. [37] investigated the role of different types of questions (e.g., pure, assertive, and rhetorical questions) in dialogical argumentative setting and showed that different type of question leads to different argumentative discourse. Focused more on the opponent's side of a debate, Naito et al. [38] propose diagnostic comments for assessing the quality of counter-arguments by providing expressive, informative and unique templates. The comments are then written by template selection and slot filling.

Although the identification of such argumentative structures (components, relations, and schemes) and properties (fallacies and debates pattern) is important, it has limitations in terms of effective feedback. Identifying a missing claim or a wrong premise is not enough to properly understand how to improve the argumentation. Therefore we relate the identification of structure and properties to shallow explanations in the sense that end-users can still
benefit from the output of the models.

## 4 In-Depth Explanations

Although shallow explanations help end-users to identify their mistakes, they tend to be minimalist and need more guidance. Shallow explanations can be hard to understand, specially for beginners in argumentation. To explain more effectively the errors in an argument, a model should go a step further, hence by providing $i n$-depth explanations, which attempt to identify the argument's implicit components to explain why there is an error in an argument.

Implicit Knowledge and Reasoning in Arguments: To provide in-depth explanations, we need to know how to refine the argument, i.e., how to identify implicit information. Recently many works have focused their attention on this aim. The main goal of such studies is to make the structure and reasoning of arguments explicit to better explain the arguments for humans. Additionally, this focus can eventually help build Robust Argumentation Machines that can be enriched with language understanding capacity. The ExpLAIN project Becker et al. [39] and Jo et al. [40] are one such example that focuses extensively on reconstructing implicit knowledge in arguments by relying on knowledge graphs among others. Taking a step further in this direction, Singh et al. [41] proposed to utilize such implicit information to bridge the implicit reasoning gap in arguments to help students explain their arguments better.

Rules and Annotations: Another way to provide indepth explanations is to understand how a model reaches its conclusion when asserting the quality of an argument. For example, in the case of evaluation of an argument's logic, Jo et al. [42] provided LogBERT, a more interpretable model based on logical and theory-informed mechanisms between two statements. LogBert relies on multiple rules that specify evidence for the support and attack relations between a claim and a statement. Although the use of rules gives a glance of explanation, LogBert remains "a black-box model with some insightful explainability." If we know how a model identifies a mistake in an argument, we can use these mechanisms to explain the diagnosis of an argument, which can help refine it.

## 5 Interactive Explanations

Even if in-depth explanations are a step towards understanding and guidance, they are static, which can be problematic depending on the end-user. Indeed beginners or professionals in argumentation do not need the same amount of feedback. A child and an adult have different levels of understanding and knowledge. Therefore it is important that a model knows how to explain the errors and hence adapts its output by providing interactive explanations.

To reach that aim, Wambsganss et al. [43] provide a visual feedback dashboard to help students see any logical error in their argumentation. Based on this learning support system, a user can easily see if a premise or a claim is missing. The dashboard provides different granularity levels of explanations, which enables the user to control the amount of needed information. Taking a step further in this direction, Wambsganss et al. [10] created an interactive educational system that uses interactive dialogues to teach students about the argumentative structure of a text. The system provides not only feedback on the user's texts but also learning session with different exercises.

Although Wambsganss et al. [10] propose different granularity levels of explanations, their study is restrained to students from their university. Having end-users from different backgrounds may imply the need for new levels of explanations. Indeed, Wachsmuth and Alshomary [44] showed that the age of the explainee changes the way an explainer explains the topic at hand. Information such as the age of the learner should be considered in future interactive argumentative feedback systems, where terminology such as fallacy and their existence would require different approaches of explanation for younger students (i.e., elementary) in comparison to older students.

Therefore we think models should in the future provide more interactive explanations (i.e., precisely adjusted by considering the background of the learner) to efficiently improve the critical thinking skills of an end-user.

## 6 Conclusion

In this survey, we explored several works providing explanations in argumentation, following the categories shallow (§3), in-depth (§4) and interactive (§5). In the future, we will extend our survey with other works, specially focusing on quality framework and scoring, which have been left behind. We will also approach the rhetorical and dialectical aspects of an argument which have received little or even no attention in this survey.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 22H00524.

## References

[1] Douglas Walton, Christopher Reed, and Fabrizio Macagno. Argumentation schemes. Cambridge University Press, 2008.

[2] Iryna Gurevych, Eduard H. Hovy, Noam Slonim, and Benno Stein. 2015512 - debating technologies 2 table of contents executive summary. 2016.

[3] Khalid Al-Khatib, Henning Wachsmuth, Matthias Hagen, Jonas Köhler, and Benno Stein. Cross-domain mining of argumentative text through distant supervision. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1395-1404, San Diego, California, June 2016. Association for Computational Linguistic

[4] Roxanne El Baff, Henning Wachsmuth, Khalid Al-Khatib, and Benno Stein. Challenge or empower: Revisiting argumentation quality in a news editorial corpus. In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 454-464, Brussels, Belgium, October 2018. Association for Computational Linguistics

[5] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. The argument reasoning comprehension task: Identification and reconstruction of implicit warrants. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 19301940, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[6] Thiemo Wambsganss, Christina Niklaus, Matthias Söllner, Siegfried Handschuh, and Jan Marco Leimeister. A corpus for argumentative writing support in German. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 856-869, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[7] R.T. Pithers and Rebecca Soden. Critical thinking in education: a review. Educational Research, Vol. 42, No. 3, pp. 237-249, 2000

[8] Linda Behar-Horenstein and Lian Niu. Teaching critical thinking skills in higher education: A review of the literature. Journal of College Teaching and Learning, Vol. 8, 022011.

[9] Charles Twardy. Argument maps improve critical thinking. Teaching Philosophy, Vol. 27, , 062004

[10] Thiemo Wambsganß, Tobias Kueng, Matthias Söllner, and Jan Marco Leimeister. Arguetutor: An adaptive dialog-based learning system for argumentation skills. pp. 1-13, 052021

[11] Amina Adadi and Mohammed Berrada. Peeking inside the black-box: A survey on explainable artificial intelligence (xai). IEEE Access, Vol. PP, pp. $1-1,092018$

[12] Miruna-Adriana Clinciu and Helen Hastie. A survey of explainable AI terminology. In Proceedings of the 1st Workshop on Interactive Natural Language Technology for Explainable Artificial Intelligence (NL4XAI 2019), pp. 8-13. Association for Computational Linguistics, 2019.

[13] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 6300-6308. International Joint Conferences on Artificial Intelligence Organization, 72019.

[14] Beata Beigman Klebanov and Nitin Madnani. Automated evaluation of writing - 50 years and counting. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7796-

[15] John Lawrence and Chris Reed. Argument Mining: A Survey. Computational Linguistics, Vol. 45, No. 4, pp. 765-818, 012020

[16] Xinyu Wang, Yohan Lee, and Juneyoung Park. Automated evaluation for student argumentative writing: A survey, 2022.

[17] Marina Danilevsky, Kun Qian, Ranit Aharonov, Yannis Katsis, Ban Kawas, and Prithviraj Sen. A survey of the state of explainable ai for natural language processing, 2020

[18] Sheikh Rabiul Islam, William Eberle, Sheikh Khaled Ghafoor, and Mohiuddin Ahmed. Explainable artificial intelligence approaches: A survey, 2021.

[19] Mareike Hartmann and Daniel Sonntag. A survey on improving nlp models with human explanations, 2022.

[20] Alexandros Vassiliades, Nick Bassiliades, and Theodore Patkos. Argumentation and explainable artificial intelligence: a survey. The Knowledge Engineering Review, Vol 36, p e5, 2021.

[21] Swarnadeep Saha, Prateek Yadav, Lisa Bauer, and Mohit Bansal. ExplaGraphs: An explanation graph generation task for structured commonsense reasoning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7716-7740, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[22] Kristijonas Čyras, Antonio Rago, Emanuele Albini, Pietro Baroni, and Francesca Toni. Argumentative xai: A survey, 2021.

[23] Simone Teufel. Argumentative zoning: Information extraction from scientific text. 1999.

[24] Christian Stab and Iryna Gurevych. Identifying argumentative discourse structures in persuasive essays. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4656, Doha, Qatar, October 2014. Association for Computational Linguistics

[25] Yohan Jo, Jacky Visser, Chris Reed, and Eduard Hovy. Extracting implicitly asserted propositions in argumentation, 2020.

[26] Milad Alshomary, Shahbaz Syed, Arkajit Dhar, Martin Potthast, and Hen- ning Wachsmuth. Counter-argument generation by attacking weak premises. In Findings of the Association for Computational Linguistics: $\mathrm{ACL}$ IJCNLP 2021, pp. 1816-1827, Online, August 2021. Association for Computational Linguistics.

[27] Jian Yuan, Zhongyu Wei, Donghua Zhao, Qi Zhang, and Changjian Jiang. Leveraging argumentation knowledge graph for interactive argument pai identification. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2310-2319, Online, August 2021. Association for Computational Linguistics.

[28] Farjana Sultana Mim, Naoya Inoue, Shoichi Naito, Keshav Singh, and Kentaro Inui. LPAttack: A feasible annotation scheme for capturing logic pattern of attacks in arguments. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2446-2459, Marseille, France, June 2022. European Language Resources Association.

[29] Vanessa Wei Feng and Graeme Hirst. Classifying arguments by scheme. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 987-996, Portland, Oregon, USA, June 2011. Association for Computational Linguistics

[30] Yi Song, Michael Heilman, Beata Beigman Klebanov, and Paul Deane. Applying argumentation schemes for essay scoring. In Proceedings of the First Workshop on Argumentation Mining, pp. 69-78, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[31] Ivan Habernal, Raffael Hannemann, Christian Pollak, Christopher Klamm, Patrick Pauli, and Iryna Gurevych. Argotario: Computational argumentation meets serious games. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 7-12, Copenhagen, Denmark, September 2017. Association for Computational Linguistic

[32] Claire Bonial, Austin Blodgett, Taylor Hudson, Stephanie M. Lukin, Jeffrey Micher, Douglas Summers-Stay, Peter Sutor, and Clare Voss. The search for agreement on logical fallacy annotation of an infodemic. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp 4430-4438, Marseille, France, June 2022. European Language Resources Association.

[33] Zhijing Jin, Abhinav Lalwani, Tejas Vaidhya, Xiaoyu Shen, Yiwen Ding, Zhiheng Lyu, Mrinmaya Sachan, Rada Mihalcea, and Bernhard Schölkopf. Logical fallacy detection, 2022.

[34] Jianzhu Bao, Jingyi Sun, Qinglin Zhu, and Ruifeng Xu. Have my arguments been replied to? argument pair extraction as machine reading comprehension. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 29-35, Dublin, Ireland, May 2022. Association for Computational Linguistic

[35] Annette Hautli-Janisz, Zlata Kikteva, Wassiliki Siskou, Kamila Gorska, Ray Becker, and Chris Reed. QT30: A corpus of argument and conflict in broadcast debate. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 3291-3300, Marseille, France, June 2022. European Language Resources Association.

[36] Kasia Budsziyska, Mathilde Janier, Chris Reed, Patrick Saint-Dizier, Manfred Stede, and Olena Yakorska. A model for processing illocutionary structure and argumentation in debates. In 9th International Conference on Language Resources and Evaluation (LREC 2014), Vol. 14, pp. electronicmedium. European Language Resources Association (ELRA), 2014.

[37] Zlata Kikteva, Kamila Gorska, Wassiliki Siskou, Annette Hautli-Janisz, and Chris Reed. The keystone role played by questions in debate. In Proceedings of the 3rd Workshop on Computational Approaches to Discourse, pp. of the 3rd Workshop on Computational Approaches to Discourse, pp. Conference on Computational Linguistics.

[38] Shoichi Naito, Shintaro Sawada, Chihiro Nakagawa, Naoya Inoue, Kenshi Yamaguchi, Iori Shimizu, Farjana Sultana Mim, Keshav Singh, and Kentaro Inui. TYPIC: A corpus of template-based diagnostic comments on argumentation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5916-5928, Marseille, France, June 2022. European Language Resources Association.

[39] Maria Becker, Siting Liang, and Anette Frank. Reconstructing implicit knowledge with language models. In Proceedings of Deep Learning Inside Out (DeeLIO): The 2nd Workshop on Knowledge Extraction and Integration for Deep Learning Architectures, pp. 11-24, Online, June 2021. Association for Computational Linguistics.

[40] Yohan Jo, Haneul Yoo, JinYeong Bak, Alice Oh, Chris Reed, and Eduard Hovy. Knowledge-enhanced evidence retrieval for counterargument generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, Online, November 2021. Association for Computational Lin guistics.

[41] Keshav Singh, Naoya Inoue, Farjana Sultana Mim, Shoichi Naito, and Kentaro Inui. IRAC: A domain-specific annotated corpus of implicit reasoning in arguments. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 4674-4683, Marseille, France, June 2022. European Language Resources Association.

[42] Yohan Jo, Seojin Bang, Chris Reed, and Eduard Hovy. Classifying argumentative relations using logical mechanisms and argumentation schemes. Transactions of the Association for Computational Linguistics, Vol. 9 , pp. 721-739, 2021.

[43] Thiemo Wambsganß, Christina Niklaus, Matthias Cetto, Matthias Söllner Siegfried Handschuh, and Jan Marco Leimeister. Al: An adaptive learning Siegfried Handschuh, and Jan Marco Leimeister.
support system for argumentation skills. 042020.

[44] Henning Wachsmuth and Milad Alshomary. "mama always had a way of explaining things so I could understand": A dialogue corpus for learning to construct explanations. In Proceedings of the 29th International Confer ence on Computational Linguistics, pp. 344-354, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.


# 外国語検定の面接試験において生成する質問の難易度選定

林鳴昊 1 伊藤滉一朗 1 松原茂樹 1,2
1 名古屋大学大学院情報学研究科 2 名古屋大学情報連携推進本部
lin.minghao.b3@s.mail.nagoya-u.ac.jp ito.koichiro.v1@s.mail.nagoya-u.ac.jp
matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

外国語学習者の語学力を客観的かつ迅速に判定する需要が高まっている。読解力，聴解力，作文力の測定については，筆記試験やリスニング試験の作問あるいは採点の自動化が検討されている。一方，会話力の測定については十分に検討されていない.本稿では，外国語の会話力測定のための面接試験の自動化に向けて，生成する質問の難易度を選定する手法を提案する. 本手法では, 受験者の能力に応じて柔軟に質問の難易度を選定するために，受験者の返答の適切さを利用する. 日本語学習者会話データベースの模擬試験データを用いて実験を行い，本手法の有効性を確認した。

## 1 はじめに

留学や就職で海外に渡る人が増加するにつれて，外国語学習者の語学力を評価する需要が高まっている. 語学力の評価では, 読解力, 聴解力, 作文力,会話力の測定が行われる [1]. このうち, 読解力, 聴解力, 作文力の測定については, 試験問題の作成や採点などにおいて，自動化が検討されている（例えば， $[2,3,4]$ ). 一方で, 会話力の測定については, 自動測定を目的とした研究があるものの [5]，その検討は十分ではない.

会話力を測定するための試験はその形態により， モノローグ試験と面接試験に分けられる。モノロー グ試験では, 事前に決められた質問に対する受験者の返答によって会話力を評価する。すなわち，モノローグ試験は，試験中に質問が変更されることがなく，静的な試験であるといえる。一方，面接試験は，面接官が受験者との会話を通して質問を柔軟に変更しながら，その返答に基づき会話力を評価するものであり，動的な試験であるといえる.

会話力の測定においては，実世界での会話の要素を試験に反映させることが期待されている [6]. 面接試験は，モノローグ試験と比較して，高い信頼度で会話力を測定でき，実世界での人間同士の会話のシミュレートも容易である。そのため，近年のコンピュータを利用した言語アセスメントは，対話的または動的な方略を導入し，個々の学習者に焦点を当てた測定へと移行している [7].

本稿では，外国語の会話力測定のための面接試験の自動化に向けて, 生成する質問の難易度を選定する手法を提案する. 本手法では，受験者の能力に応じて柔軟に質問の難易度を選定するために，受験者の返答の適切さを利用する. 面接官と受験者の対話文脈に加えて, 直前の返答の適切さを入力として,面接官の次の質問の難易度を選定する．難易度を選定するためのモデルとして, BERT [8]を採用した.模擬面接試験のデータセットを用いた実験を行い，本手法の有効性を確認した。

## 2 関連研究

会話力を測定するための試験は，モノローグ試験と面接試験に分けられる。これまで，モノローグ試験の自動化に関する研究が行われている $[9,10,11]$. 採点の自動化に関しては, Siamese convolutional neural network [12]を用いて受験者の会話力を評価する研究 [9] や，線形回帰モデルを用いて受験者の返答を評価する研究 [10] が存在する。

試験の実施を含めた自動化を目指す研究も存在している. 受験者に対して，文の読み上げや短文問題への返答などを機械的に要求する Pearson Test of English の結果から，会話力を評価する研究が行われている [13]. また，モノローグ試験を実施するための音声対話システムを構築する試みもある [11].このシステムでは，読み上げタスクと繰り返しタスクが実施可能であり，流暢性，発音，繰り返しの精度に着目して，会話力を評価する。

モノローグ試験と面接試験の評価の間には，高い相関があることが示されているものの [6]，面接試
表 1 面接試験における会話の例

 \\

験の方が高い信頼度で会話力を測定でき，実世界での人間同士の会話のシミュレートも容易である。また，会話力の測定においては，実世界での会話の要素を試験に反映させることが期待されている [6]. しかし, 質問の難易度が動的に変化する面接試験に関しては，その自動化はあまり進んでいない。

## 3 面接試験の質問の難易度

外国語の会話力測定のための面接試験では，受験者の返答の適切さに応じて，面接官は質問の難易度を調整している [14].

表 1 に，面接試験の会話例を示す. $Q_{i}$ と $R_{i}$ は， それぞれ, $i$ 番目の面接官の質問と受験者の返答を表す。また，【】内は，質問の難易度または返答の適切さを表す. 例えば，2つ目の質問 $Q_{2}$ に対する返答 $R_{2}$ は適切ではない. 受験者が $Q_{2}$ の質問に返答する会話力を備えておらず返答に困ったために， $R_{2}$ のような不適切な返答になり，これを受けて，面接官の次の質問 $R_{3}$ は, 2 択で返答できる易しい質問となったと考えられる. このように面接官は, 受験者の返答の適切さに応じて試験中に質問の難易度を動的に変えることで，受験者の言語能力を評価している [15]. そこで本稿では，外国語の会話力測定のための面接試験の自動化に向けて, 生成する質問の難易度を選定する手法を提案する。

## 4 提案手法

## 4.1 手法の概要

外国語の会話力測定のための面接試験では，面接官は, 受験者の返答の適切さに応じて，質問の難易度を調整している. そこで本手法では, 面接官の質問方略に基づき，2 段階のアプローチをとる. 図 1 に，本手法のアーキテクチャを示す. 本手法は，返答の適切さ推定モデルと質問の難易度選定モデル

図 1 提案手法のアーキテクチャ

の 2 つから構成される。まず，面接試験の対話文脈から，推定対象となる返答の適切さを推定し，続い $\tau$ ，対話文脈と適切さの推定結果から，次の質問の難易度を選定する。推定および選定モデルには， BERT を用いる. BERT は， Transformer [16] アーキテクチャをべースに構築されており，対話システム関連のタスクでの適用例も多い $[17,18,19]$.

## 4.2 返答の適切さ推定

返答の適切さ推定モデルでは，面接試験の会話における， $i$ 番目の受験者の返答 $R_{i}$ の適切さを推定する. 推定された適切さは, 面接官が $R_{i}$ の次に生成する質問の難易度の選定に利用される. 返答の適切さの推定には，推定対象の返答を含む直前 2 組の質問と返答の組を用いる. すなわち， $\left[Q_{i-1}, R_{i-1}, Q_{i}, R_{i}\right]$ から， $R_{i}$ の適切さを推定する.

返答の適切さ推定モデルは, BERTを fine-tuning することで構築する. [[CLS] $Q_{i-1}$ [SEP] $R_{i-1}$ [SEP] $\left.Q_{i}[\mathrm{SEP}] R_{i}[\mathrm{SEP}]\right]$ という系列をモデル全体の入力として与え, [CLS] トークンに対応する BERT の最終層の出力 $T_{[\mathrm{CLS}]}$ を，線形変換と softmax 関数からなる分類層に入力することで， $R_{i}$ の適切さを出力する。なお，BERT は，2 種類の Segment embeddings を持つが，適切さ推定モデルでは， 入力系列全体を 1 つのセグメントとみなし，系列全体で同種の Segment embeddings を適用している. 参考として， モデル図を Appendix の A に示す.

## 4.3 質問の難易度選定

難易度選定モデルでは，面接試験の会話における， $i$ 番目の受験者の返答 $R_{i}$ の次に生成する質問の難易度を選定する. すなわち， $Q_{i+1}$ の質問の難易度を選定する．難易度選定には，直前の 2 組の質問と
返答の組に加えて, 直前の返答の適切さを用いる.直前の返答の適切さ（以降では，適切さラベルとも呼ぶ）を $\mathrm{L}$ とすと， $\left[Q_{i-1}, R_{i-1}, Q_{i}, R_{i}\right]$ と $\mathrm{L}$ を力として， $Q_{i+1}$ の難易度を選定する。

難易度選定モデルは，適切さ推定モデルと同様に，BERTを fine-tuning することで構築する。ただし，適切さラベル $\mathrm{L} を ，$ 特殊トークンとして入力系列に加える. [[CLS] L [SEP] $Q_{i-1}$ [SEP] $R_{i-1}$ [SEP] $Q_{i}$ [SEP] $R_{i}$ [SEP]] という系列を入力として与え, [CLS] トークンに対応する BERT の最終層の出力 $T_{[\mathrm{CLS}]}$ を, 線形変換と softmax 関数からなる分類層に入力することで， $Q_{i+1}$ の難易度を出力する。

難易度選定モデルでは，Xiong ら [20] のラベルフュージングの手法を参考に，非自然言語であるラベルと自然言語である対話文脈を別のセグメントとみなし，それぞれに別の Segment embeddings を割り当てる. すなわち, [[CLS] L [SEP]] には1つ目のセグメントに対応する Segment embeddings を適用し, 後続の系列には 2 つ目のセグメントに対応する Segment embeddings を適用する. 参考として，モデル図を Appendix の A に示す.

## 5 実験

## 5.1 実験データ

本手法の有効性を検証するために，難易度選定実験を実施した. 実験には, 国立国語研究所が公開している日本語学習者会話データベース $(\mathrm{JLCD})^{1)}$ の模擬面接試験データを用いた。模擬面接試験は, ACTFL Oral Proficiency Interview (OPI) の標準に従って行われ，実生活の中で効果的かつ適切に言語を使用する能力を評価するものである．約 20 分の試験を経て, 受験者の会話力は, 大きく分けて, 初級,中級，上級，超級の 4 段階で評価される.

模擬面接データには， 390 個の試験データが含まれている. 本実験では，その一部分である 59 個の試験データを，実験データとして利用した. その書き起こしデータを発話単位に分割した結果， 3,251 個の面接官の質問と受験者の返答に分割された. 実験データを試験単位で約 8:1:1 に分割し, それぞれ,学習, 開発, テストに用いた。

実験データ内の返答に対して，その適切さを人手で付与した. 本実験では, 適切さは, 返答が適切か不適切かの 2 値とした. 表 2 に，実験データに

表 2 適切さの分布

表 3 難易度の分布

おける返答の適切さの分布を示す. 実験データ内の質問に対しても，その難易度を人手で付与した。 ACTFL-OPI 標準では,

1. 初級から中級程度の会話力では, 2 択問題や単純な事実と結論を求める質問に適切に返答可能

2. 上級から超級程度の会話力では, 物事に対する詳しい説明，描写，叙述，比較，個人的な意見を求める質問に返答可能

とされている.これらを踏まえて，本実験では，上記の 1 に対応する質問を易しい質問，2 に対応する質問を難しい質問とし，難易度を易しいか難しいかの 2 值で付与した. 表 3 に，実験データにおける質問の難易度の分布を示す。

## 5.2 モデル設定

事前学習済みの BERT を fine-tuning することで,返答の適切さ推定モデルと質問の難易度選定モデルを実装した. 本実験では，返答の適切さと質問の難易度は共に 2 值としているので，推定および選定モデルは共に 2 クラス分類を行うモデルである. いずれのモデルについても，事前学習済みの BERTとして，東北大学が公開しているモデル2)を用いた.

各モデルとも，バッチサイズを 16 , 最適化アルゴリズムを AdamW [21]，重み減衰を 0.01，ドロップアウト率を 0.1 , 入力トークンの最大長を 512 に設定した．学習率は，返答の適切さ推定モデルでは 1e-5, 質問の難易度選定モデルでは 2e-7 とした. また，各モデルとも，損失関数は Cross Entropy Loss とした. ただし，損失には各クラスの重みの逆数に比例する class-weight を適用した. 各モデルとも, 10 エポック学習し，1 エポックごとに開発データでの損失を計算し，その損失が最も小さかったモデルを用いて，テストデータに対する性能を評価した。

4 章で提案した難易度選定モデルの学習には, 返答の適切さの正解ラベルを用いた. 一方，評価では，返答の適切さ推定モデルで推定されたラベルを用いた．以降では，このように学習させた難易度選定モデルを [ours (noisy)] と表記する. [ours (noisy)] の評価時の性能は，返答の適切さ推定モデルの推定

2) https://github.com/cl-tohoku/bert-japanese
誤りの影響を受ける.

## 5.3 評価指標と比較手法

本実験では，適合率，再現率，F1 值のマクロ平均を評価指標とした。また，本手法の性能を評価するために，比較手法を実装した，BERTを用いた返答の適切さ推定手法に対しては，返答によらずランダムに推定を行う手法を比較手法とした. 返答が適切であると推定する確率は，学習データにおける適切な返答の割合と同じく 0.809 とした. 以降では, BERT を用いた推定手法を [ours], ランダムに推定する手法を [random] と表記する。

質問の難易度選定手法 [ours (noisy)] に対しては，以下の 4 つの手法を比較手法とした.

・ [random]: 質問の難易度によらずランダムに難易度を選定する．易しい質問であると選定する確率は，学習データにおける易しい質問の割合と同じく 0.714 とした.

・ [vanilla BERT]: 返答の適切さを利用せずに，直前の 2 組の質問と返答から難易度を選定する
- [ours (noisy) w/o seg]: 返答の適切さを利用するが，入力系列全体で同種の Segment embeddings を適用している。
- [ours (correct)]: 評価時においても, 返答の適切さの正解ラベルを用いて，難易度を選定する。本手法の性能は，返答の適切さの推定性能が $100 \%$ という理想的な環境下での参考値である.

## 5.4 実験結果

表 4 に，適切さ推定手法の性能を示す. [ours] は，比較手法である [random] を全ての評価指標で上回った.このことから，BERTを利用することで，返答の適切さの推定がある程度の性能で可能であることを確認した．また，[ours] の正解率は 0.758 であった.このことは, 質問の難易度選定手法の性能評価において, [ours (noisy)] および [ours (noisy) w/o seg] が利用した返答の適切さラベルのうち，75.8\%のラベルが正しいものであったことを意味する。

表 5 に，質問の難易度選定手法の性能を示す。提案手法 [ours (noisy)] は, 返答の適切さを利用しない [random] と [vanilla BERT] を全ての評価指標で上回った.このことは，質問の難易度選定において，返答の適切さを利用することの有効性を示している. また, [ours (noisy)] は, [ours (noisy) w/o seg] に対表 4 返答の適切さ推定手法の性能

表 5 質問の難易度選定手法性能評価

しても，全ての評価指標で上回った. このことは，非自然言語である返答の適切さラベルと，自然言語である対話文脈を別のセグメントとみなし，それぞれに別の Segment embeddings を割り当てることの有効性を示している。なお，提案手法 [ours (noisy)] は, [ours (correct)] と比較して, 全ての評価指標でわずかに性能が低下した.この結果は，返答の適切さ推定モデルの誤差によるものと考えられる．参考として，Appendix の Bに，本実験における提案手法 [ours (noisy)]による難易度選定の例を示す.

## 6 おわりに

本稿では，外国語の会話力測定のための面接試験において，生成する質問の難易度を選定する手法について述べた. 本手法では，直前の返答の適切さを推定したのちに，その適切さを踏まえて，次の質問の難易度を選定する。また，返答の適切さを効果的に利用するために，BERT における Segment embeddings に着目したラベルフュージング手法を取り入れた. 模擬面接試験のデータセットを用いた実験を行い，本手法の有効性を確認した。

本手法では，質問と返答については，直前 2 組を入力として利用したが，さらに前の質問と返答の利用も検討したい。また，面接官は，試験の初期段階ではプロービングに，後期段階ではレベルチェックに重点を置くというように，その質問方略は変化すると考えられる。このような変化を考慮するために，今後は，面接試験における経過時間などの利用も検討したい。

## 参考文献

[1] Donald E. Powers. The case for a comprehensive, fourskills assessment of English-language proficiency. R \& D Connections, Vol. 14, pp. 1-12, 2010.

[2] Yi-Ting Huang, Ya-Min Tseng, Yeali S Sun, and Meng Chang Chen. Tedquiz: automatic quiz generation for ted talks video clips to assess listening comprehension. In Proceedings of the 2014 IEEE 14th International Conference on Advanced Learning Technologies, pp. 350-354, 2014.

[3] Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1342-1352, 2017.

[4] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[5] Diane Litman, Steve Young, Mark Gales, Kate Knill, Karen Ottewell, Rogier Van Dalen, and David Vandyke. Towards using conversations with spoken dialogue systems in the automated assessment of non-native speakers of English. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 270-275, 2016.

[6] Jared Bernstein, Alistair Van Moere, and Jian Cheng. Validating automated speaking tests. Language Testing, Vol. 27, No. 3, pp. 355-377, 2010.

[7] Akbar Bahari. Computer-assisted language proficiency assessment tools and strategies. Open Learning: The Journal of Open, Distance and e-Learning, Vol. 36, No. 1, pp. 61-87, 2021.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[9] Su-Youn Yoon and Chong Min Lee. Content modeling for automated oral proficiency scoring system. In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 394-401, 2019.

[10] Klaus Zechner, Keelan Evanini, Su-Youn Yoon, Lawrence Davis, Xinhao Wang, Lei Chen, Chong Min Lee, and Chee Wee Leong. Automated scoring of speaking items in an assessment for teachers of English as a foreign language. In Proceedings of the 9th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 134-142, 2014.

[11] Febe De Wet, Christa Van Der Walt, and Thomas R. Niesler. Automatic assessment of oral language proficiency and listening comprehension. Speech Communication, Vol. 51, No. 10, pp. 864-874, 2009

[12] Jonas Mueller and Aditya Thyagarajan. Siamese recur- rent architectures for learning sentence similarity. In Proceedings of the 30th AAAI Conference on Artificial Intelligence, pp. 2786-2792, 2016.

[13] Pearson Longman. Official Guide to Pearson Test of English Academic. Pearson Japan, 2nd edition, 2012.

[14] Gabriele Kasper. When once is not enough: Politeness of multiple requests in oral proficiency interviews. Multilingua, Vol. 25, No. 3, pp. 323-350, 2006.

[15] ACTFL. Oral proficiency interview familiarization manual, 2012. https://community . actfl.org.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, Vol. 30, 2017.

[17] Chien-Sheng Wu, Steven C.H. Hoi, Richard Socher, and Caiming Xiong. TOD-BERT: Pre-trained natural language understanding for task-oriented dialogue. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 917-929, 2020.

[18] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, 2021.

[19] Peiyao Wang, Joyce Fang, and Julia Reinspach. CS-BERT: a pretrained model for customer service dialogues. In Proceedings of the 3rd Workshop on Natural Language Processing for Conversational AI, pp. 130-142, November 2021.

[20] Yijin Xiong, Yukun Feng, Hao Wu, Hidetaka Kamigaito, and Manabu Okumura. Fusing label embedding into BERT: An efficient improvement for text classification. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1743-1750, 2021.

[21] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 7th International Conference on Learning Representations, 2019.

## A モデル図

返答の適切さ推定モデル，及び，質問の難易度選定モデルについて補足する．図 2 と図 3 亿，それぞれのモデル図を示す. $q_{i}^{j}$ および $r_{i}^{j}$ は，それぞれ， $i$ 番目の質問 $Q_{i}$ と返答 $R_{i}$ 中の $j$ 番目のトークンを表す. 質問の難易度選定モデルでは, $R_{i}$ の適切さラベル L を入力に加えており, [[CLS] L [SEP]] には 1 つ目のセグメントに対応する Segment embeddings $E_{A}$ を適用し，後続の系列には 2 つ目のセグメントに対応する $E_{B}$ を適用する.

図 2 返答の適切さ推定モデル構造

図 3 質問の難易度選定モデル

## B 難易度選定の例

表 6 に，[ours (noisy)] と [vanilla BERT] による難易度選定の例を示す. 適切さの列は，返答の適切さの推定結果を示している。なお，この推定結果は正しいものである。また，難易度の列は，データ中の正解ラベルを示している。この例では, [ours (noisy)] は正しく難易度を選定できたが，[vanilla BERT] は誤っている. [ours (noisy)] は， $R_{55}$ が適切な返答であるという情報を利用して， $R_{55}$ の次に生成される質問は難しい質問であると正しく選定できたものと考えられる。

表 6 [ours (noisy)] と [vanilla BERT] による難易度選定の例（ $Q_{56}$ の難易度が選定の対象）

 \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 訂正文の流暢性向上を目的とした 系列タグ付け文法誤り訂正器の強化学習手法

五藤巧 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学
\{goto.takumi.gv7, taro\}@is.naist.jp

## 概要

テキストに対して編集のタグ付けを行う文法誤り訂正器である GECToR は, 出力の説明性が高い一方で訂正文の流暢性が低い問題がある。この問題の原因として，GECToR がタグの情報のみから最適化されており，推定した訂正文の情報を考慮できていないことが考えられる. 本研究では，訂正文の流暢性を考慮してタグ推定の最適化を行うために，GPT-2 言語モデルが与える文の perplexityを報酬とした強化学習を行なった. 実験の結果，訂正性能を維持しつつ，訂正文の流暢性が系列変換モデルと同等もしくは上回ることを示した.

## 1 はじめに

文法誤り訂正は，入力文に含まれる文法誤りや表記誤りを訂正するタスクである。近年では系列タグ付けモデルに基づいた，推論が高速で説明性が高いモデルが提案されている. 同モデルでは，入力の各トークンについて編集操作を示すタグを推定し，タグに従って後処理として入力文を編集することで訂正文を獲得する．代表的なモデルである GECToR [1] は，無編集・置換・挿入・削除を示す基本的なタグに加えて，「動詞を過去形に」といった言語情報を考慮したタグを推定する．従来の系列変換モデルに基づく訂正手法が訂正文を直接推定することと比較して，タグの情報が直接ユーザへのフィードバックとして使用できるため有用である.

一方で，GECToR の訂正文は流暢性が低いことが問題である. 詳細は 2 節で述べるが，系列変換モデルとの比較を行った結果, 訂正性能が同等であるにもかかわらず GECToR の訂正文の流暢性は低いことが明らかになった. Sakaguchi ら [2] によって流暢性の重要性が指摘されていることや，流暢性の低さは GECToR の実応用の幅を狭めることを考慮す表 1 最小限の訂正と流暢な訂正の例。誤り文における誤り単語を赤字で，訂正文において訂正された単語を青字で示した.

 \\

ると，改善されることが望ましい。ここで，表 1 に Napoles ら [3] に倣い流暢性の高い訂正例を挙げる.最小限の訂正では冠詞 the の挿入と，主語動詞の一致の訂正（affects $\rightarrow$ affect）が起こっている。一方，流暢な訂正では動詞の語彙選択に関する訂正 (affect $\rightarrow$ cause）と，それに伴う語順の入れ替えによって大きな書き換えが起こっている. 本研究の大局的な目的は，後者のような流暢な訂正の性能向上である.

本研究は，GECToR の流暢性が低い原因は，最適化がタグ情報のみから行われており，得られた訂正文の情報を考慮していないことにあるという仮説に基づいている．そこで，言語モデルの生成確率に基づいて流暢性の観点から訂正文の報酬を計算し，報酬を強化学習のアルゴリズムを用いてタグの最適化に反映する学習手法を提案する。

## 2 GECToR の流暢性

流暢性に関して，GECToR と系列変換モデルの比較実験を行った. GECToR には RoBERTa [4] ベー スの訓練済みモデルを用いる。また，推論時のパラメータである無編集タグへのバイアスと文レべルの誤り検出確率の間値は共に 0 とした。これらの値を小さくすることで訂正が積極的になり，より大きな書き換えを必要とする流暢な訂正が行えると考えられる。系列変換モデルには，Kiyono ら [5] と Kaneko ら [6] のモデルを用いる. Kiyono

らは，Transformer [7] 系列変換モデルを大量の擬似誤りで事前学習する点が特徴である. Kaneko らも Transformer 系列変換モデルであり，エンコーダにより得られた表現に加えて BERT [8] から得られた表現も加えて学習する。なお，いずれも著者らが公開する訓練済みモデルを用いて1)，ビーム幅を 5 として生成した. これらの 3 種類のモデルは, 訂正性能そのものが乘離しないように，最小限の訂正性能が近いものを恣意的に選択した. 具体的には，CoNLL-2014 ベンチマーク [9]における M M スコアラ [10]の $\mathrm{F}_{0.5}$ は GECToR が 62.43, Kiyono らが 62.03, Kaneko らが 62.77 である.

流暢性の評価に用いるデータセットには， JFLEG [3] の開発データを用いる. JFLEG は流暢な訂正性能を評価するためのデータセットである．複数の観点から流暢性を評価するため，評価尺度には GLEU [11, 12]，SOME [13]，および GPT-2 [14] の perplexity の 3 種類を用いる. GLEU は n-gram の一致率に基づく JFLEG の標準的な参照あり評価尺度である. SOME は文法誤り訂正の参照なし評価尺度の一つであり，訂正文の人手評価に直接最適化するように評価器を学習する. SOME は複数の観点から評価するが，本研究では流暢性の評価結果のみを報告する. 最後に, Asano ら [15] が訂正文の流暢性を RNN 言語モデルを用いて計算したことを動機とし， より高性能な言語モデルとして GPT-2を用いて評価する。評価データの訂正文それぞれについてトークン数で正規化した perplexity を独立に算出し，その平均値を報告する。

実験結果を表 2 に示す. 表 2 の編集率は，入力文と出力文の単語レベルの編集距離を, 入力文の単語数で割った値である. 表 2 の結果は，最小限の訂正性能は同等であるにもかかわらず，GECToR は系列変換モデルよりも訂正文の流暢性が低いことを示唆する．また，系列変換モデルと同程度の編集率であることから，十分に書き換えを行なっているのにもかかわらず訂正文の流暢性が低いことが分かる.

## 3 流暢性を報酬とした強化学習

本研究では, 流暢性が低い原因は, GECToR の最適化がタグの情報のみから行われており，推定したタグを用いて編集することで得られる訂正文の情報

1) Kiyono らのモデルにはpretlarge+SSE (finetuned)を，Kaneko らのモデルにはhttps://drive.google.com/drive/folders/1h_ r46EswcT1q75qwje6h6yJp0xzAG8gP?usp=sharing を用いた.表 2 GECToR と系列変換モデルの比較結果

JFLEG-dev

を考慮できていないことにあると考える。したがって，訂正文を流暢性の観点から考慮した最適化を行うための手法を提案する。

## 3.1 定式化

GECToR はトークン単位のタグ付けと誤り検出をマルチタスク問題として最適化する. 入力文を $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots\right), \boldsymbol{x}$ に対する正解のタグ列を $\boldsymbol{y}^{t}=\left(y_{1}^{t}, y_{2}^{t}, \ldots\right)$ および正解の誤り検出ラベルを $\boldsymbol{y}^{d}=\left(y_{1}^{d}, y_{2}^{d}, \ldots\right)$ とおく. ここで, $|\boldsymbol{x}|=\left|\boldsymbol{y}^{t}\right|=\left|\boldsymbol{y}^{d}\right|$ であり，事前に定義したタグの集合を $y$ として $y^{t} \in \mathcal{y}$ である. また誤り検出ラベルは $y^{d} \in\{0,1\}$ であり， 1 のとき誤りであることを示す. GECToR は $x$ を入力したとき，何らかのエンコーダ（BERT [8] など） により獲得した $\boldsymbol{x}$ の表現ベクトルを，2 種類の線形層にそれぞれ独立に入力し，タグの推定確率および誤り検出確率を計算する。この処理をタグの推定関数 $P^{t}(\cdot)$ および誤り検出確率の推定関数 $P^{d}(\cdot)$ と定義するとき，従来の損失関数 $\mathscr{L}_{m l e}$ は次式で表される.

$
\mathscr{L}_{m l e}=-\sum_{i=1}^{|\boldsymbol{x}|}\left(\log P^{t}\left(y_{i}^{t} \mid x_{i}, \boldsymbol{x}\right)+\log P^{d}\left(y_{i}^{d} \mid x_{i}, \boldsymbol{x}\right)\right)
$

一方で，本研究では訂正文から計算される報酬を考慮するため，貪欲に生成した系列に対する損失を考える。まず $x \in \boldsymbol{x}$ について，貪欲に推定したタグ $\hat{y}^{t} \in \mathcal{y}$ および誤り検出ラベル $\hat{y}^{d} \in\{0,1\}$ を得る.

$
\hat{y}^{t}=\underset{y^{t} \in \mathcal{Y}}{\arg \max } P^{t}\left(y^{t} \mid x, \boldsymbol{x}\right), \hat{y}^{d}=\underset{y^{d} \in\{0,1\}}{\arg \max } P^{d}\left(y^{d} \mid x, \boldsymbol{x}\right)
$

得られたタグ系列 $\hat{\boldsymbol{y}}^{t}=\left(\hat{y}_{1}^{t}, \hat{y}_{2}^{t}, \ldots\right)$ をもとに $\boldsymbol{x}$ を編集する2)ことで，訂正文 $\hat{\boldsymbol{t}}=\left(\hat{t}_{1}, \hat{t}_{2}, \ldots\right)$ が得られる. ここで，訂正文の流暢性を計算する何らかの報酬関数を $r(\cdot) \in \mathbb{R}$ としたとき，REINFORCE アルゴリズ么 [16] によって報酬を考慮した損失 $\mathscr{L}_{r l}$ を次式で計

2）この編集処理では誤り検出確率の閾値を 0 としているため，タグのみの情報から訂正文が獲得される。
算する.

$\mathscr{L}_{r l}=-(r(\hat{\boldsymbol{t}})-\hat{r}) \sum_{i=1}^{|x|}\left(\log P^{t}\left(\hat{y}_{i}^{t} \mid x_{i}, \boldsymbol{x}\right)+\log P^{d}\left(\hat{y}_{i}^{d} \mid x_{i}, \boldsymbol{x}\right)\right)$

$\hat{r}$ は報酬の分散を抑えるためのべースライン報酬である. 式 3 で重要なのは，損失はタグ $\left(\hat{y}^{t}\right)$ および誤り検出ラベル $\left(\hat{y}^{d}\right)$ の情報から計算するが, 報酬は訂正文 $(\hat{\boldsymbol{t}})$ の情報から計算することである。これにより，訂正文の流暢性を考慮しながら最適化することができる.

最終的な損失 $\mathscr{L}$ は式 4 亿示すように, パラメータ $\lambda(0 \leq \lambda \leq 1)$ を用いて重み付き和を取る.この理由は，訂正性能および訂正文の流暢性の両方の側面からモデルを最適化するためである. $\mathscr{L}_{m l e}$ 項が訂正性能の向上に， $\mathscr{L}_{r l}$ 項が訂正文の流暢性の向上に貢献することを期待する.

$
\mathscr{L}=\lambda \mathscr{L}_{m l e}+(1-\lambda) \mathscr{L}_{r l}
$

## 3.2 報酬

式 3 の損失でモデルを学習するためには，報酬関数 $r(\cdot)$ が必要である. 本研究ではこの報酬関数として，トークン数で正規化した GPT-2 の perplexityを用いる。これにより，言語モデルが捉える流暢性を反映した訂正文が生成できると考えられる．ただし， より流暢であるほど報酬が高くなるように設計するため，式５のように負の perplextiyを Min-Max 法によって正規化した值を報酬とする。ここで， $p p l(\cdot)$ は GPT-2 のパープレキシティであり， min および max は正規化における最小値と最大値に対応する八イパーパラメタである. ただし，負の perplexity が最小値を下回る場合は最小値に丸めることとする。

$
r(\boldsymbol{t})=\frac{\max (\min ,-p p l(\boldsymbol{t}))-\min }{\max -\min }
$

## 4 実験

## 4.1 実験設定

データセット実験に用いるデータを表 3 に示す. 訓練データは擬似誤りデータである PIE-synthetic $[17]^{3}$ および実誤りデータである FCEtrain [18], Lang-8 [19], NUCLE [20], W\&I+LOCNESStrain [21]を用いる. 実験では Omelianchuk ら [1] と同
 た.表 3 実験に使用するデータセットの概要

様に 3 段階での訓練を行うため，データを用いる段階も表に併記する。評価データには，JFLEG-test [3] および CoNLL-2014 [9]を用いる.

評価方法訂正文の流暢性や流暢な訂正性能は JFLEG-test に対する出力を 2 節で述べた評価尺度で評価する．また，最小限の訂正性能を評価するために CoNLL-2014 に対する出力を $\mathrm{M}^{2}$ スコアラ [10] により評価する。なお，推論時の 2 種類のパラメータ （2 節を参照）は JFLEG-dev の性能を元に探索する.

学習方法 Omelianchuk ら [1] と同様に 3 段階での訓練を行う１１段階目は擬似誤りによる訓練，2段階目は無編集の文ペアを除いた実誤りによる訓練，3段階目は無編集の文ぺアも含めた W\&I+LOCNESS-trainによる訓練である. 1 段階目では $\mathscr{L}_{m l e}$ の損失のみで最適化し, $2 \cdot 3$ 段階目では $\mathscr{L}$ の損失で最適化する。 入力文の表現ベクトルを得るためのエンコーダは RoBERTa [4] とする. 式 4 の $\lambda$ は $\lambda \in\{0.1,0.3,0.5,0.7,0.9\}$ を試行する。また，式 3 のベースライン報酬 $\hat{r}$ にはミニバッチ内の報酬の平均を用いた. 式 5 の min と max はそれぞれ-300と-1 とした。その他の詳細なパラメータについては，付録 Aを参照されたい。

## 4.2 実験結果

実験結果を表 4 亿示す。表 4 では，系列変換モデルに基づく既存手法と， $\mathscr{L}_{m l e}$ 項のみで学習することに等しい $\lambda=1$ の場合，および開発データで最も高い性能を達成した $\lambda=0.5$ の場合の性能を記載する. まず， $\lambda=0.5$ と $\lambda=1$ の場合を比較すると， $\lambda=0.5$ の場合が JFLEG-test の評価値全てにおいて上回っている. このことは，強化学習に基づく損失 $\mathscr{L}_{r l}$ が流暢性の向上に寄与していることを示す。また，編集率は 0.2 ポイント向上しており，より大きく書き換えることで流暢性が向上したと考えられる．提案手法（ $\lambda=0.5 ）$ と系列変換モデル（Kiyono らおよび Kaneko ら）との比較では，GLEU の値は提案手法が
表 4 提案手法と既存手法との性能比較. いずれもシングルモデルの評価結果である．上のブロックは系列変換モデル，下のブロックは系列タグ付けモデルに基づく訂正器の評価結果を示す.

劣っているものの，SOME やGPT-2 のパープレキシティの值は競合する結果となった. このことは，提案手法は訂正文の流暢性を向上させるが，そのことは流暢な訂正性能の向上には必ずしもつながらないことを示唆する.

CoNLL-2014 において $\lambda=0.5$ と $\lambda=1$ の場合の性能を比較すると，提案手法は $\mathrm{F}_{0.5}$ が 0.6 ポイント低下した. しかしながら，大きな悪化ではないと考えられるため，提案手法は訂正性能を維持しつつ訂正文の流暢性を高められると考えられる。

## 5 分析

$\lambda$ の影響 $\lambda を \lambda \in\{0.1,0.3,0.5,0.7,0.9,1\}$ の中で変化させたときの JFLEG-test における実験結果を表 5 に示す. $\lambda=0.5$ として, $\mathscr{L}_{m l e}$ と $\mathscr{L}_{r l}$ を同じ重みで扱うことで最良の結果を得た. GPT-2の值からは， $\lambda$ の値が小さいほど（ $\mathscr{L}_{r l}$ 項の影響が大きくなるほど）訂正文が流暢になる傾向にあることが分かる.一方で，SOME の評価結果は逆の傾向を示した. このことは，訂正文の流暢性について一貫した評価は難しいことを示唆する.

表 $5 \lambda$ と流暢性に関する性能値の関係

流暢性が向上する要因どのような訂正が行われたことで流暢性が向上したか分析するため, ERRANT [22,23]を用いて JFLEG-test の性能を誤りタイプ別に評価した. $\lambda=1$ の場合を基準として $\lambda=0.5$ の場合の訂正傾向の違いを分析したところ，名詞や動詞といった内容語の訂正が増加している一方，冠詞・綴り・前置詞といった機能語もしくは表層の訂正はほとんど増加していなかった. 内容語に関する訂正は機能語や表記の訂正よりも訂正文の perplexity に大きく影響すると考えられるため， perplexityを報酬とする提案手法は内容語を積極的に書き換えることで流暢性を向上させたと考えられる. ただし，訂正の総数は増えているが偽陽性が増える傾向にあったため，表 4 の GLEU や $\mathrm{M}^{2}$ による参照あり評価では性能が伸び悩んだと考えられる。誤りタイプ別の評価の詳細は付録 B に示す.

## 6 関連研究

強化学習に基づく文法誤り訂正手法には, Sakaguchi ら [24] と Raheja ら [25] の研究がある. Sakaguchi らは，GRU 系列変換モデルの学習において，評価尺度である GLEUを報酬関数とした学習手法を提案した. Raheja らは, 報酬関数として訂正文の作成者が人間か訂正器かを判別する分類器を用いて, Transformer 系列変換モデルと敵対的に学習させる手法を提案した。

これらの関連研究と比較して, 本研究は系列タグ付けに基づく訂正器に強化学習を導入した点が異なる。また，提案手法では報酬関数を GPT-2 言語モデルとしたが，関連研究に倣い GLEU や SOME といった他の尺度を用いたり，新たな報酬関数を設計して敵対的に学習することには考慮の余地がある.

## 7 おわりに

本研究では, 系列タグ付けに基づく文法誤り訂正器である GECTOR は，訂正文の流暢性が低い問題を指摘した. 問題の原因は最適化に訂正文の情報が使われていないことであると考えられる. したがって，言語モデルに基づいて計算した報酬を用いて強化学習を行うことで，訂正文の流暢性を考慮する学習手法を提案した. 実験の結果, 訂正性能を維持しながら訂正文の流暢性が向上した。提案手法と異なる報酬関数による学習や，GECToR 以外の系列タグ付けに基づく訂正器への応用は今後の課題とする.

## 参考文献

[1] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR - grammatical error correction: Tag, not rewrite. In BEA, pp. 163-170, Seattle, WA, USA $\rightarrow$ Online, July 2020. Association for Computational Linguistics.

[2] Keisuke Sakaguchi, Courtney Napoles, Matt Post, and Joel Tetreault. Reassessing the goals of grammatical error correction: Fluency instead of grammaticality. TACL, Vol. 4, pp. 169-182, 2016.

[3] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A fluency corpus and benchmark for grammatical error correction. In EACL, pp. 229-234, Valencia, Spain, April 2017. Association for Computational Linguistics.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[5] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In EMNLP-IJCNLP, pp. 12361242, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-decoder models can benefit from pre-trained masked language models in grammatical error correction. In ACL, pp. 4248-4254, Online, July 2020. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 shared task on grammatical error correction. In CoNLL, pp. 1-14, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[10] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In NAACL, pp. 568-572, Montréal, Canada, June 2012. Association for Computational Linguistics.

[11] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In ACL, pp. 588-593, Beijing, China, July 2015. Association for Computational Linguistics.

[12] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Gleu without tuning, 2016.

[13] Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, and Mamoru Komachi. SOME: Reference-less sub-metrics optimized for manual evaluations of grammatical error correction. In COLING, pp. 6516-6522, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[14] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[15] Hiroki Asano, Tomoya Mizumoto, and Kentaro Inui. Referencebased metrics can be replaced with reference-less metrics in evaluating grammatical error correction systems. In IJCNLP, pp. 343348, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[16] Ronald J Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine learn- ing, Vol. 8, No. 3, pp. 229-256, 1992.

[17] Abhijeet Awasthi, Sunita Sarawagi, Rasna Goyal, Sabyasachi Ghosh, and Vihari Piratla. Parallel iterative edit models for local sequence transduction. In EMNLP-IJCNLP, pp. 4260-4270, Hong Kong, China, November 2019. Association for Computational Linguistics.

[18] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In ACL, pp. 180-189, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[19] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning SNS for automated Japanese error correction of second language learners. In ICJNLP, pp. 147-155, Chiang Mai, Thailand, November 2011. Asian Federation of Natural Language Processing.

[20] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In BEA, pp. 22-31, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[21] Helen Yannakoudakis, Øistein E Andersen, Ardeshir Geranpayeh, Ted Briscoe, and Diane Nicholls. Developing an automated writing placement system for esl learners. Applied Measurement in Education, Vol. 31, No. 3, pp. 251-267, 2018.

[22] Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic extraction of learner errors in ESL sentences using linguistically enhanced alignments. In COLING, pp. 825-835, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[23] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In ACL, pp. 793-805, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[24] Keisuke Sakaguchi, Matt Post, and Benjamin Van Durme. Grammatical error correction with neural reinforcement learning. In ICJNLP, pp. 366-372, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[25] Vipul Raheja and Dimitris Alikaniotis. Adversarial Grammatical Error Correction. In Findings of EMNLP, pp. 3075-3087, Online, November 2020. Association for Computational Linguistics.

## A 実験における詳細なパラメータ

学習時 4 節で述べたように，モデルの学習は 3 段階で行う. 訓練時のパラメータは表 6 のとおりである. 特に表記のない限り，3 段階全てで同じパラメータを用いた。

表 6 実験に用いたパラメータの詳細

## B 誤りタイプに関する詳細な性能

5 節では，提案手法により流暢性が向上する原因として，内容語の訂正をより積極的に行っていることを述べた。より詳細な性能を表 7 に示す. モデルが行った訂正に注目するため，表 7 には一部の誤りタイプについて，True Positive に該当する訂正数 (TPカラム), False Positive に該当する訂正数（FPカラム）および適合率を示す. さらに，提案手法が従来手法に比べて何倍の訂正数かを示すため, 訂正数の合計（True Positive と False Positive の和）について, $\lambda=0.5$ の場合の値を $\lambda=1$ の場合の値で割った值を示す ( $\triangle$ カラム).

5 節で述べたように，機能語や表層の訂正と内容語の訂正には訂正数の傾向に違いがある. 名詞については，語彙選択に関する訂正である「名詞」は提案手法により 1.47 倍訂正数が増加した。一方,「名詞の数」は訂正数に変化がない，名詞の数に関する訂正は文意を大きく変えないため，提案手法を適用しても変化がなかったと考えられる. 同様のことは，「動詞」や「動詞の時制」は若干訂正数が増加するが，「動詞の形態」については変わらないことからも言える。「形容詞」や「副詞」も訂正数が増加していることが分かる．ただし，「形容詞」や「副詞」 は頻度が少ないため $\Delta$ に関して他の誤りタイプと比較するのは難しい。表 7 誤りタイプ別の訂正数と性能値


# 左隅型再帰的ニューラルネットワーク文法による 日本語 fMRI データのモデリング

杉本侑嗣 1 吉田遼 1 鄭 嫣婷 2
小泉政利 ${ }^{3}$ Jonathan R. Brennan ${ }^{4}$ 大関洋平 1
1 東京大学大学院総合文化研究科 2 東北大学大学院国際文化研究科
3 東北大学大学院文学研究科言語学研究室 ${ }^{4}$ University of Michigan, Department of Linguistics
\{yushis, yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp \{koizumi, jeong\}@tohoku.ac.jp
jobrenn@umich.edu

## 概要

本研究では、日本語を対象として、新たな fMRI データセットを構築するとともに、(i) 階層構造を明示的に扱うモデルである再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammar, RNNG) の確率的な予測が、扱わない言語モデルである Long Short-Term Memory (LSTM) の確率的な予測よりもよく脳活動データを説明できる脳部位は何処なのか、さらに、(ii) 左隅型 RNNG が、トップダウン型 RNNG よりも高い説明力を持つ部位は何処なのか、を調査する。結果として、言語処理に関連する複数の部位において、RNNG が LSTM よりも脳活動データをより良く説明できるが、その効果は左隅型 RNNG に限定的であることが示され、人間の脳内における左隅型解析による階層構造の構築の実在性が示唆された。

## 1 はじめに

人間の脳内で起こる逐次的な文理解は、理論言語学が仮定するような、自然言語の階層構造 $[1,2]$ の構築を伴うのであろうか。神経言語学では、非常に制約された言語表現の刺激 (e.g., 文vs. 単語のリスト）を用い、階層構造の処理に関わる脳部位を特定することで、この問いが検証されてきた $[3,4,5,6,7]$ 。一方近年では、自然言語処理のモデルの発達により、自然言語の階層構造を明示的に扱う・扱わない言語モデルそれぞれの確率的な予測と、人間の脳活動データを比較することで、「自然な」刺激文を用いてこの問いを検証することも可能になってきている $[8,9]$ 。この計算神経言語学のアプローチによる先行研究では、特定の脳部位におい
て、階層構造を明示的に扱う言語モデルの確率的な予測が、扱わない言語モデルの確率的な予測よりも、脳活動データをよく説明できることから、人間の逐次的な文理解は階層構造の構築を伴うことが示唆されてきた [10]。

しかしながら、先行研究では、階層構造を明示的に扱うモデル・扱わないモデルの二分法による比較が行われており、階層構造を明示的に扱うモデルの解析戦略には焦点が当てられていない。特に、Brennan ら [10] は、主要部先導型右枝分かれの言語である英語を対象とし、トップダウン型解析戦略の再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammar, RNNG; [11])を用いて階層構造の処理に関わる脳部位の特定を行なっているが、計算心理言語学の先行研究 $[12,13,14]$ では、 トップダウン型解析戦略は主要部終端型左枝分かれの言語の解析には適さず、左隅型解析戦略がより認知的に妥当であるとされている。

よって、本研究では、主要部終端型左枝分かれの言語である日本語を対象として、新たな fMRI デー タセットを構築するとともに、(i) 階層構造を明示的に扱うモデルである RNNG の確率的な予測が、扱わない言語モデルである Long Short-Term Memory (LSTM; [15]) の確率的な予測よりもよく脳活動デー タを説明できる脳部位は何処なのか、さらに、(ii) 左隅型 RNNG が、トップダウン型 RNNG よりも高い説明力を持つ部位は何処なのか、を調査する。結果として、言語処理に関連する複数の部位において、 RNNG が LSTM よりも脳活動データをより良く説明できるが、その効果は、トップタウン型 RNNG にはなく、左隅型 RNNG に限定的であることが示され、人間の脳内における左隅型解析による階層構造の構
築の実在性が示唆された。

## 2 橋渡し仮説: サプライザル理論

サプライザル理論 $[16,17]$ によれば、人間は文処理の際、逐次文脈から次にくる語や文節を予測しており、予測しやすい語や文節は認知的負荷が低く、予測しにくい語や文節の認知的負荷が高くなるとされる。さらに、その語や文節の予測しやすさは、(1) のように定式化できるとされる。

$
-\log p(\text { 語や文節 | 文脈 })
$

近年、様々なアーキテクチャの言語モデルが算出したサプライザルと、人間から得られる視線、脳波や fMRIを比較することで、各アーキテクチャの人間の逐次的な文理解のモデルとしての認知的妥当性が検証されている $[18,10,14]$ 。fMRI データを扱う本研究では、認知的に妥当な言語モデルにより得られた文節単位のサプライザルは、人間の認知的負荷を表す血中酸素レベル依存性 (BOLD) 信号の増加と近い傾向を示すことが予想される。

## 3 実験

## 3.1 言語モデル

n-gram $n$-gram は、自然言語の階層構造を明示的に扱わない言語モデルである。 $n$-gram は、固定窓幅内のみの単語を文脈として扱う（cf. マルコフモデル）ため、階層構造を明示的に扱う言語モデルに対する、単語列に基づく予測の弱いべースラインであると言える。本研究では、KenLM 実装の 5 -gram を用いた。1)

LSTM Long Short-Term Memory (LSTM; [15]) は、自然言語の階層構造を明示的に扱わない言語モデルである。LSTM は、先行文脈全体を 1 つの単語べクトルとして扱うため、階層構造を明示的に扱う言語モデルに対する、単語列に基づく予測の強いべー スラインであると言える。本研究では、単語埋め込み・隠れ層の次元数 256 の 2 層 LSTM を用いた。

トップダウン型・左隅型 RNNG 再帰的ニュー ラルネットワーク文法 (Recurrent Neural Network Grammar, RNNG; [11]) は、自然言語の階層構造を明示的に扱う言語モデルである。生成の各時刻では、 RNNG は逐次スタック LSTM を用いて先行する単語列とその階層構造を 1 つのべクトルに集約し、その

ベクトルに基づき次の時刻のアクションが次の 3 つから選択される：
- GEN：終端記号（単語）の生成。

・NT : 非終端記号（句）を開く。

・REDUCE：非終端記号（句）を閉じる。

REDUCE の際には、双方向 LSTM に基づく構成関数により、閉じられた句はそれを表す一つのべクトルへと集約される。本研究では、トップダウン型解析戦略、および左隅型解析戦略、という、2つの異なる解析戦略の RNNG（それぞれ、トップダウン型 RNNG、および、左隅型 RNNG）を対象として検証を行う。Noji and Oseki [19]により実装2 された、単語埋め込み・隠れ層の次元数 256 の 2 層スタック LSTM を持つトップダウン型・左隅型 RNNG を用いた。また、それぞれの RNNG の推論には、単語同期型ビームサーチ [20]を用いた。

各言語モデルは、吉田ら [14]により NINJAL Parsed Corpus of Modern Japanese (NPCMJ) ${ }^{3}$ )で学習されたものを用いた。

## 3.2 fMRI 実験手続

実験参加者本研究の fMRI 実験には 42 名の日本語母語話者（全員右利きの健常成人、女性 23 名、平均年齢 21.1 歳、 $\mathrm{SD}=1.7$ ) が参加した。参加者は全員正常な視力（矯正を含む）を有していた。

刺激文と課題本研究で使用する刺激文は、「現代日本語書き言葉均衡コーパス (Balanced Corpus of Contemporary Written Japanese: BCCWJ、[21]) にある様々なジャンルの中から新聞記事の一部を使用している。 BCCWJ-EyeTrack [22] と BCCWJ-EEG [23] と同様に、新聞記事 20 件の記事を使用し、 5 件の記事ごとに 4 つのブロックに分けられる。各記事の提示には PychoPy を使い [24, 25]、 Rapid Serial Visual Presentation (RSVP) によって文節が $500 \mathrm{~ms}$ ごとに表示される (各文節の間には $500 \mathrm{~ms}$ 何も表示されない)。また記事を読み終える度に質問が提示される。本実験では、fMRIによって実験参加者が文節ごとに区切られた刺激文を MRI 装置の中で読んでいる際の脳活動データ収集を行った。

前処理 fMRI データの前処理はSPM12を使用し、頭の動きの補正 (realignment)、スライスタイミング補正 (slice timing correction)、脳解剖画像の脳機能画像への登録 (coregistration) と脳解剖画像の分解

2) https://github.com/aistairc/rnng-pytorch

3) http://npcmj.ninjal.ac.jp
(segmentation)、脳機能画像の標準化 (normalization)、脳機能画像の空間的平滑化 (smoothing) の処理を行った。

## 3.3 fMRI データ解析

fMRI 解析するにあたり、42 名の fMRI データのうち 34 名分の fMRI データを使用した。また、最初のデータポイント 10 スライス分 $(20$ 秒、 $\mathrm{TR}=2.0)$ は、刺激提示されていないため、解析からは除いた。

説明変数本研究では、サプライザルを用いて人間の文処理における予測処理をモデル化することを目的としているが、人間の言語処理に際しては、その他の関連する脳活動も生じるため、これらをモデル化する説明変数をべースラインとして使用する。先行研究を踏襲し [10]、このベースラインには、文節のオフセットに 1、それ以外は 0 を与える word rate、文節の長さ (word length)、文節内単語頻度の対数平均 (word frequency)、記事内の文の位置 (sentid)、文中の文節の位置 (sentpos)、fMRI データ取得の際の各参加者の頭の動きのパラメータ $6 \supset(\mathrm{dx} 、 \mathrm{dy} 、$ $\mathrm{dz} 、 \mathrm{rx} 、 \mathrm{ry} 、 \mathrm{rz})$ を用いる。

本研究で関心のある各言語モデルのサプライザルの値とベースラインで使用する説明変数は Python のパッケージである nilearn ${ }^{4}$ を使用し、Hymodynamic Response Function (HRF) によって推定 BOLD 信号に変換した。また、各言語モデルのサプライザルは、 word rate に対して直交処理 (orthogonalization) を行なった。fMRI データポイントは 2 秒ごとに記録されるため $(\mathrm{TR}=2.0)$ 、各説明変数の推定 BOLD 信号には $0.5 \mathrm{~Hz}$ で再サンプリング処理を行った。

関心領域解析関心領域解析に伴い、先行研究に基づいて左脳の 8 つの関心領域を選んだ [4, 10, 26, 27, 28, 5]。具体的には、以下の関心領域を使用した; 下前頭回の弁蓋部 (Inferior frontal gyrus opercular part、IFG_Oper)、三角部 (Inferior frontal gyrus triangular part、IFG_Tri)、眼窝部 (Inferior frontal gyrus orbital part、IFG_Orb)、下頭小葉 (Inferior parietal lobule、 IPL)、角回 (Angular gyrus、AG)、上側頭回 (Superior temporal gyrus、STG)、上側頭極 (Temporal pole: superior temporal gyrus、sATL)、中側頭極 (Temporal pole: middle temporal gyrus、mATL)。fMRI データの各関心領域ごとの BOLD 信号の抽出には、Automated Anatomical Labeling (AAL) アトラス [29]を使用した。

これらの各領域のモデル化には、R の lmer パッケージの線形混合モデルを用いた。具体的には、 ベースラインの回帰モデルに各言語モデルのサプライザルを説明変数として 1 つずつ付け加え、モデルを付け加える前の回帰モデルとの間で R の anova 関数により分散分析を行う。分析の結果、統計的な有意差が出れば、より fMRI に対して言語モデルの精度の高いことを示す。ベースライン回帰モデルには参加者 (subject_number) をランダム切片として加えた、以下の線形混合モデルを用いる。

$
\begin{aligned}
& \text { ROI } \sim \text { word_rate }+ \text { word_length }+ \text { word_freq } \\
& + \text { sentid }+ \text { sentpos }+d x+d y+d z+r x+r y+r z
\end{aligned}
$

$
+(1 \mid \text { subject_number })
$

全脳解析探索的な全脳解析では、nilearn の一般線形モデルを用い、解析を行った。個人レベル解析では、頭の動きのパラメータ以外の説明変数を元にデザインマトリックスが作成され、各実験参加者の fMRI データごとに係数がマップされた NIfTI ファイルが集団解析のために作成された。集団解析では、 Yeo ら [30] のマスクを使用し、ガウスフィルター 処理 (8mm の半値全幅) が行われた。閾値マップは z-scored されたものを使用した。false discovery rate $\alpha$ $=0.05$ が設定され、 50 voxels のクラスターサイズの閾値とした。閾値のピークの座標と AAL での領域名を特定するため、AtlasReader [31]を使用した。

## 4 結果と考察

## 4.1 関心領域解析

関心領域解析の結果は、表 $1 、 2$ に示した。表 1 の結果では、階層構造を明示的に扱う RNNG が、扱わないモデルである LSTM よりもよく脳活動デー タを説明できる脳部位を同定することを目的とした。まず左隅型 RNNG の説明力を調べるため (表 1 上部)、ベースライン回帰モデルに $n$-gram、LSTM を加えたモデルと、更に左隅型 RNNG(RNNG_LC) を加えたモデルの分散分析を行うと、IFG_Oper、 IFG_Tri、IPL、AG、STGの 5 つの領域で統計的な有意差が認められた。同様の分散分析をトップダウン型 RNNG(RNNG_TD) で行った結果、どの領域でも統計的な有意差は認められなかった (表 1 下部)。表 2 では、トップダウン型 RNNG よりも左隅型 RNNG がどの脳領域で説明力があるかを調べるため、ベー スライン回帰モデルに $n$-gram、LSTM、RNNG_TDを

表 1 Model Comparison の結果。Bonferroni 法により有意水準 $\alpha=0.003125$ で検定した.

加えたモデルとそのモデルに RNNGLC を加えたモデルとの分散分析を行った。結果として、mATL 以外の部位で統計的有意差が見られた。表 1 と表 2 の結果を踏まえると、左隅型 RNNG は、LSTM に比べて、関心領域の 5 つでより脳活動データを説明でき、トップダウン型 RNNG と比べても mATL 以外の部分で説明力を示している。一方トップダウン型 RNNG は、LSTM に対してどの脳領域でもより高い説明力を示す結果にはならなかった。

表 2 Model Comparison の結果。Bonferroni 法により有意差 $\alpha=0.00625$ で検定を行った。

## 4.2 全脳解析

全脳解析では、図 $1 、 2 、 3$ に示される結果となった (詳細な結果は表 3 を参照)。LSTM(補正なし)では、左脳後側頭葉の脳活動が見られ、トップダウン型 RNNG（補正なし）では、左脳紡錘状回での脳活動が見られ、本研究の関心領域解析で扱った脳部位
では、活動が見られなかった。左隅型 RNNG では、左脳下頭小葉での脳活動が見られた。この脳領域は、領域関心解析の結果でも統計的有意差の出ており、先行研究ではトップダウン型 RNNG のサプライザルに対して、この部位での脳活動が報告されている [10]。つまり英語では、トップダウン型の RNNG で効果の見られる領域が、本研究では左隅型 RNNG で見られている結果となった。このことは、少なくとも日本語では、左隅型 RNNG のほうが、トップダウン型 RNNG より脳活動データに対して説明力を持つことを支持している。

図 1 LSTM (補正なし)

図 2 RNNG_TD (補正なし)

図 3 RNNGLC

## 5 おわりに

本研究では、日本語を対象として、新たな fMRI データセットを構築し、(i) 階層構造を明示的に扱うモデルである RNNG の確率的な予測が、扱わない言語モデルである LSTM の確率的な予測よりもよく脳活動データを説明できる脳部位は何処なのか、さらに、(ii) 左隅型 RNNG が、トップダウン型 RNNG よりも高い説明力を持つ部位は何処なのか、 を調査した。結果として、言語処理に関連する複数の部位において、RNNG が LSTM よりも脳活動デー タをより良く説明できるが、その効果はトップダウン型 RNNG にはなく、左隅型 RNNG に限定的であることが示され、人間の脳内における左隅型解析による階層構造の構築の実在性が示唆された。

## 謝辞

本研究は、JSPS 科研費 JP21H05061、JP19H05589、 JST さきがけ JPMJPR21C2 の助成を受けたものです。

## 参考文献

[1] Noam Chomsky. Syntactic Structures. Mouton, The Hague, 1957.

[2] Martin B.H. Everaert, Marinus A.C. Huybregts, Noam Chomsky, Robert C. Berwick, and Johan J. Bolhuis. Structures, not strings: Linguistics as part of the cognitive sciences. Trends in Cognitive Sciences, Vol. 19, No. 12, pp. 729-743, 2015.

[3] Christophe Pallier, Anne-Dominique Devauchelle, and Stanislas Dehaene. Cortical representation of the constituent structure of sentences. Proceedings of the National Academy of Sciences, Vol. 108, No. 6, pp. 2522-2527, 2011.

[4] D.K. Bemis and Liina Pylkkänen. Basic Linguistic Composition Recruits the Left Anterior Temporal Lobe and Left Angular Gyrus During Both Listening and Reading. Cerebral Cortex, Vol. 23, No. 8, pp. 1859-1873, 062012.

[5] Emiliano Zaccarella and Angela D. Friederici. Merge in the human brain: A sub-region based functional investigation in the left pars opercularis. Frontiers in Psychology, Vol. 6, , 2015.

[6] Emiliano Zaccarella, Lars Meyer, Michiru Makuuchi, and Angela D. Friederici. Building by Syntax: The Neural Basis of Minimal Linguistic Structures. Cerebral Cortex, Vol. 27, No. 1, pp. 411-421, 102017.

[7] William Matchin, Christopher Hammerly, and Ellen Lau. The role of the IFG and pSTS in syntactic prediction: Evidence from a parametric study of hierarchical structure in fMRI. Cortex, Vol. 88, pp. 106-123, 2017.

[8] Jonathan R. Brennan. Naturalistic sentence comprehension in the brain. Language and Linguistics Compass, Vol. 10, No. 7, pp. 299-313, 2016.

[9] John Hale, Luca Campanelli, Jixing Li, Shohini Bhattasali, Christophe Pallier, and Jonathan R. Brennan. Neurocomputational models of language processing. Annual Review of Linguistics, Vol. 8, No. 1, pp. 427-446, 2022.

[10] Jonathan R. Brennan, Chris Dyer, Adhiguna Kuncoro, and John T. Hale. Localizing syntactic predictions using recurrent neural network grammars. Neuropsychologia, Vol. 146, p. 107479, 2020.

[11] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[12] Steven P. Abney and Mark Johnson. Memory requirements and local ambiguities of parsing strategies. Journal of Psycholinguistic Research, Vol. 20, No. 3, pp. 233-250, 1991.

[13] Philip Resnik. Left-corner parsing and psychological plausibility. In Proceedings of the 14th Conference on Computational Linguistics - Volume 1, COLING '92, pp. 191-197, USA, 1992. Association for Computational Linguistics.

[14] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[15] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 111997.

[16] John Hale. A probabilistic Earley parser as a psycholinguistic model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics, 2001.

[17] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, 2008.

[18] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2727-2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[19] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 43404352, Online, August 2021. Association for Computational Linguistics.

[20] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[21] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[22] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto. Reading-time annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684-694, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[23] Yohei Oseki and Masayuki Asahara. Design of BCCWJ-EEG: Balanced corpus with human electroencephalography. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 189-194, Marseille, France, May 2020. European Language Resources Association.

[24] Jonathan W. Peirce. Psychopy-psychophysics software in python. Journal of neuroscience methods, Vol. 162, No. 1-2, pp. 8-13, 2007.

[25] Jonathan W. Peirce. Generating stimuli for neuroscience using psychopy. Frontiers in Neuroinformatics, Vol. 2:10, , 2009.

[26] Angela D. Friederici. Language in our brain: The origins of a uniquely human capacity. MIT Press, 2017.

[27] Peter Hagoort. Chapter 28 - muc (memory, unification, control): A model on the neurobiology of language beyond single word processing. In Gregory Hickok and Steven L. Small, editors, Neurobiology of Language, pp. 339-347. Academic Press, San Diego, 2016.

[28] William Matchin and Gregory Hickok. The cortical organization of syntax. Cerebral Cortex, Vol. 30, No. 3, pp. 1481-1498, 2020.

[29] N. Tzourio-Mazoyer, B. Landeau, D. Papathanassiou, F. Crivello, O. Etard, N. Delcroix, B. Mazoyer, and M. Joliot. Automated anatomical labeling of activations in SPM using a macroscopic anatomical parcellation of the MNI MRI single-subject brain. Neurolmage, Vol. 15, No. 1, pp. 273-289, 2002.

[30] B. T. Yeo, Fenna M. Krienen, Jorge Sepulcre, Mert R. Sabuncu, Danial Lashkari, Marisa Hollinshead, Joshua L. Roffman, Jordan W. Smoller, Lilla Zöllei, Jonathan R. Polimeni, Bruce Fischl, Hesheng Liu, and Randy L. Buckner. The organization of the human cerebral cortex estimated by intrinsic functional connectivity. Journal of Neurophysiology, Vol. 106, No. 3, pp. 1125-1165, 2011. PMID: 21653723.

[31] Michael Philipp Notter, Dan Gale, Peer Herholz, Ross Markello, Marie-Laure Notter-Bielser, and Kirstie Whitaker. AtlasReader: A python package to generate coordinate tables, region labels, and informative figures from statistical MRI images. Journal of Open Source Software, Vol. 4, No. 34, p. 1257, 2019.

## A 全脳解析結果一覧

} & \multirow[t]{2}{*}{ Region (AAL) } \\

表 3 LSTM、RNNG_TD、RNNG_LCの全脳解析の結果。false discovery rate: $\alpha=0.05 、 50$ voxel のクラスターサイズの閾値を設定した。


# The effect of subliminal facial expression on perspective adoption during
## language comprehension in Japanese

\author{
小波津豪 ${ }^{1}$ ，赤嶺奨 ${ }^{2}$, 大城彩佳 ${ }^{3}$ ，新国佳祐 ${ }^{4}$ ，里麻奈美 ${ }^{3}$ \\ ${ }^{1}$ University of the Basque Country, ${ }^{2}$ Max Planck Institute for Psycholinguistics, ${ }^{3}$ 沖䋲国際大学, ${ }^{4}$ 新潟青陵大学 \\ tkohatsu001@ikasle.ehu.eus
}

\begin{abstract}
This study explores the link between the perception of positive/negative facial expressions and the broadening/narrowing of cognitive processing by examining whether brief exposure to facial expressions affects participants' tendency to adopt an agent or observer perspective when comprehending null-subject sentences in Japanese. We found no influence of positive facial expressions on perspective adoption, supporting the hypothesis that perceiving positive emotions broadens cognition. We also found that negative facial expressions facilitated the adoption of an actor's perspective, supporting the hypothesis that perceiving negative emotions narrows cognition. The study discusses the effects of subliminal facial priming on cognitive processing and subsequent perspective adoption during language comprehension.
\end{abstract}

## 1 Introduction

During the processing of a sentence, language comprehenders mentally represent the event described in the sentence from a particular perspective (Brunyé, et al., 2009; Sato \& Bergen, 2013). For example, Brunyé et al. (2009) showed that comprehending the pronouns you or $I$ in a sentence (e.g., you are / I am slicing the tomato) primed an actor's perspective (i.e., as if the comprehender is conducting the action), while the pronoun he (e.g., he is slicing the tomato) primed an observer's perspective (i.e., as if the comprehender is observing another's action). In line with Brunyé, et al.'s results, Sato and Bergen (2013) found that no perspective adoption was necessary when agent/observer were not linguistically specified, as in Japanese nullsubject sentences. Their participants saw three sentences: a context sentence; a sentence describing an event in

which the grammatical subject was overtly stated (e.g., You are / He is making an apple pie); and a target sentence with one of three types of grammatical subject (e.g., You are / He is / $\phi$ cutting an apple). They then saw an image of the event depicted from either the actor's or the observer's perspective, and judged whether the image matched what they had read. A reaction time analysis showed that while second-person pronouns primed actor perspective and third-person pronouns primed observer perspective, null-subject sentences led to no significant difference in reaction times to the actor's and observer's perspective images. Interestingly, Niikuni, et al. (2021) found that people with a high sense of agency ${ }^{i}$ (SoA) showed no preference in perspective adoption, consistent with Sato and Bergen's results, but that people with low SoA showed a preference for the observer's perspective ${ }^{\mathrm{ii}}$. Taken together, these studies suggest the possibility that perspective adoption during language comprehension is affected by not only by linguistic cues but also by psychological factors, such as SoA.

Much research on the interaction between emotion and cognitive processing has stated that positive emotions broaden thought, action, and processing while negative emotions narrow them down (e.g., The broaden-andbuild theory of positive emotions in Fredrickson, 2001; Fredrickson \& Branigan, 2005; Schwarz, 2002). This has some empirical support from research on the distribution of attention to a visual field (Fujimura \& Suzuki, 2010) and language processing (Hernandez-Guitierrez et al., 2022; Yano et al., 2018). For instance, Fujimura and Suzuki (2010) found higher accuracy rates on sad-face recognition when the sad face appeared in the central

ii SoA was evaluated on Asai et al.'s (2009) "SoA scale," where a high score indicates unstable SoA and a low score, stable SoA.
visual field rather than in a peripheral field, although they found no such difference for happy-face recognition. Moreover, Yano and Koizumi (2018) found the larger electric activities in a happy mood group for semantic reversal anomalies which required multipleprocessing (world knowledge, syntactic, and semantic processing) compared to a sad mood group.

## 2 The present research

This study uses a sentence-picture verification task with visual priming to investigate the effects of emotional facial expressions on perspective adoption during the comprehension of null-subject sentences in Japanese. It builds on the findings of the studies reviewed above, which all suggest the possibility that observing another person's facial expressions can interact with a language comprehender's perspective adoption. It also draws on social psychology research showing that social information perceived below the level of conscious awareness may activate knowledge that shapes subsequence behavior or various types of decision-making (e.g., Winkielman \& Berridge, 2004; Ferguson and Bargh, 2004, for review). Thus, a brief exposure to another's facial expressions may influence our cognitive processing. More specifically, seeing a positive face would broaden subsequent linguistic processing while seeing a negative face would narrow it. In fact, Akamine, et al., (2022) found that subliminal priming with positive/negative facial expressions facilitated the processing of Japanese null-subject sentences with up/down vertical spatial meanings (e.g., Hashigo-o nobotteimasu '(Somebody is) climbing the ladder'; Hashigo-o kudatteimasu '(Somebody is) going down the ladder'). The current study looks for a similar subliminal priming effect of emotional facial expressions on perspective adoption.

We made two predictions based on the studies of Fredrickson (2001) and Schwarz (2002), which suggest a link between positive/negative emotions and the broadening/narrowing of processing. First, we predicted that a brief exposure to a positive facial expression will make comprehenders engage in heuristic processing, which will enable them to adopt both actor's and observer's perspectives when comprehending Japanese null-subject sentences. Second, we predict that a negative facial expression will make comprehenders engage in analytic processing, which will hinder them from adopting both perspectives, and instead lead them to take one or the other perspective.

## 3 Experiment

## 3.1 Participants

Forty-five native speakers of Japanese, all students at Okinawa International University (Female $=30$, Mage $=$ 21.6, $\mathrm{SD}=1.62$ ), participated in the study.

## 3. 2 Materials

Prime Pictures (Faces): For each trial, participants were first briefly primed by seeing an image of a male's or a female's face $(N=6)$ with either a smile, a neutral expression or a frown for $17 \mathrm{~ms}$ (ATR-promotions, 2006).

Sentence Materials: The sentence materials comprise 72 transitive, past-tense, null-subject Japanese sentences: 36 targets and 36 fillers. Of each set of 36 sentences, 18 describe positive events, as in (1), while the other 18 describe negative events, as in (2).

(1) Target positive sentence

Houseki-o migai-ta tokorodesu.

jewelry-ACC polish-past just

" $\phi$ just polished jewelry"

(2) Target negative sentence Fuusen-o wat-ta tokorodesu. balloon-ACC pop-past just " $\phi$ just popped a balloon"

Target Pictures (Events): The picture materials were drawn specifically for this experiment. For each target and filler sentence, a pair of pictures was created, one from an actor's perspective and another from an observer's perspective. For the actor's perspective $(N=36)$, the pictures showed actions depicted from the participant's viewpoint; that is, as if the participant were conducting the action (Fig. 1a). For the observer perspective $(N=36)$, the pictured actions were depicted from the participant's viewpoint, as if the participant were watching another's action (Fig. 1b).

Figure 1. Popping a balloon from (a) actor's perspective on the left and (b) observer's perspective on the right.

## 3. 3 Procedure

The experiment was conducted with each participant individually in a quiet room, using Psytoolkit (Stoet, 2010, 2017). Participants completed nine practice trials, repeating them if necessary until they reached $100 \%$ accuracy. In the main experiment, each trial started with a fixation cross for $3000 \mathrm{~ms}$, followed by the prime image, which was either the smile, the neutral, or the frown face, presented for $17 \mathrm{~ms}$; the prime was followed by an image of a puzzle for $183 \mathrm{~ms}$. To ensure that participants saw the brief representation of a facial prime, they were told not to blink until they saw the puzzle image. Next, a nullsubject sentence was presented for $3000 \mathrm{~ms}$. The sentence was followed by a fixation cross for $1500 \mathrm{~ms}$, which was succeeded by the picture depicting the sentence action from either the actor's or the observer's perspective. Participants judged whether the picture correctly described the prior sentence by pressing a key on the keyboard: the F key for incorrect or the $\mathrm{K}$ key for correct, having been instructed to respond as quickly and accurately as possible (Fig. 2). As soon as the participant pressed one of the keys for the response, the next trial began.

Figure 2. A trial for an actor's perspective in the smile condition.

## 3. 4 Results

Using the lme4 (Bates, et al., 2015) and the lmerTest (Kuznetsova, et al., 2017) packages in the R programming language ( $\mathrm{R}$ Core Team, 2019), linear mixed-effects model analyses with participants and items as random factors (Baayen, et al., 2008) were conducted. The dependent variable was reaction times (RTs) to the target pictures. Face (frown/neutral/smile) and Perspective (observer/actor) were included as fixed effects with interactions between the factors. The accuracy of the response was included as an additional fixed factor (Accuracy) in the model, without interactions with Face and Perspective.

One participant's data were excluded because the accuracy rate for the target trials was $<75 \%(72.2 \%)$; all the other participants showed an accuracy rate of $>83 \%$. In addition, one trial in which the RT was $>7000 \mathrm{~ms}$ was excluded as an outlier; all remaining RTs were $<5000 \mathrm{~ms}$. Furthermore, for each participant, trials with RTs more than 2.5 SDs away from that individual's mean RT for target trials were excluded. In total, $5.4 \%$ of the target data were excluded from the analysis.

In the mixed model analyses, Face conditions (frown $/$ neutral $/$ smile) were treatment-coded with the neutral condition as the reference level, and Perspective conditions (observer/subjective) were deviation-coded.

Figure 3 shows the mean RTs for the target pictures. The analysis revealed no significant main effect of Perspective $(\beta=-55.4, \mathrm{SE}=66.3, \mathrm{t}=-1.44, \mathrm{p}=.15)$ or of Smile-Face $(\beta=-24.7, \mathrm{SE}=24.1, \mathrm{t}=1.03, \mathrm{p}=.30)$, and no significant interaction between Smile-Face and Perspective $(\beta=32.9, \mathrm{SE}=48.2, \mathrm{t}=0.68, \mathrm{p}=.50)$. In contrast, the main effect of Frown-Face was significant ( $\beta$ $=-60.7, \mathrm{SE}=24.2, \mathrm{t}=-2.51, \mathrm{p}<.05)$, and there was a significant interaction effect between Frown-Face and Perspective $(\beta=103.0, S E=48.4, t=2.13, p<.05)$.

Figure 3. Mean RTs for each experimental condition. Error bars represent the standard error of the mean.

In addition to the RT analysis, we conducted a logistic mixed-effect model analysis for the accuracy of the responses. The analysis revealed no significant main effect of Face or Perspective, and no interaction between them $(p s>.20)$. Table 1 shows the mean accuracy rate for each Face and Perspective conditions.

Table 1: Mean accuracy rate for each experimental condition.

## 4 Discussion

Based on the broaden-and-build theory of positive emotions (Fredrickson, 2001), this study investigated the effects of subliminal facial expressions on perspective adoption during language comprehension in Japanese. In line with Sato and Bergen (2013), the results showed that no particular perspective was adopted in Japanese nullsubject sentences. This finding bears out our first prediction that perceiving positive facial positive facial expressions broadens cognition, allowing comprehenders to adopt either the actor or the observer perspective. We also found that brief exposure to negative facial expressions did influence perspective adoption. Specifically, the Frown-Face $\times$ Perspective interaction was significant in the RT analysis, indicating that the (non-significant) tendency to respond faster to observer- perspective pictures than to actor-perspective ones in the neutral-face condition is reversed in the frown-face condition (see Figure 3). Thus, we can conclude that the brief exposure to negative faces encouraged the participants to adopt an actor perspective rather than an observer perspective when comprehending null-subject sentences, which supports our second prediction. This finding suggests that a negative face might narrow cognitive processing, preventing comprehenders from taking both perspectives but influencing them to take one particular perspective, namely, the actor's perspective.

Furthermore, the main effect of the Frown-Face prime was significant, indicating that the RTs were significantly faster in the negative-face condition than in the neutral condition. However, the finding of no significant main effect of the Smile-Face prime indicates no significant difference in RTs between the positive-face and neutral conditions. The rapid responses in the negative-face condition might possibly be due to a higher arousal level driven by the perception of a negative-face expression compared to neutral and positive-facial expressions (Robinson, et al., 2004).

## Acknow ledgment

This study is supported by KAKENHI \#19H01263

(PI: Manami Sato).

## References

Akamine, S., Kohatsu, T., Niikuni, K., Schafer, A. J., \& Sato, M. (2022). Emotions in language processing:

Affective priming in embodied cognition. In proceedings of the 39th Annual Meeting of Japanese Cognitive Science Society, 326-332.

Asai, T., Takano, K., Sugimori, E., \& Tanno, Y. (2009). Development of the sense of agency scale and its factor structure. Japanese Journal of Psychology, 80, 414-421.

Baayen, R. H., Davidson, D. J., \& Bates, D. M. (2008). Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language, 59, 390-412.

Brunyé, T. T., Ditman, T., Mahoney, C. R., Augustyn, J. S., \& Taylor, H. A. (2009). When you and I share perspectives: Pronouns modulate perspective taking
during narrative comprehension. Psychological Science, 20(1), 27-32.

Ferguson, M. J., \& Bargh, J. A. (2004). How social perception can automatically influence behavior. Trends in Cognitive Sciences, 8(1), 33-39. https://doi.org/10.1016/j.tics.2003.11.004

Fredrickson, B. L. (2001). The role of positive emotions in positive psychology: The broaden-and-build theory of positive emotions. American Psychologist, 56(3), 218-226.

Fredrickson, B. L., \& Branigan, C. (2005). Positive emotions broaden the scope of attention and thoughtaction repertoires. Cognition \& Emotion, 19(3), 313332.

Fujimura, T., \& Suzuki, N. (2010). Recognition of dynamic facial expressions in peripheral and central vision. The Japanese Journal of Psychology, 81(4), 348-355.

Kuznetsova, A., Brockhoff, P. B., \& Christensen, R. H. B. (2017). lmerTest package: Tests in linear mixed effects models. Journal of Statistical Software, 82(13). https://doi.org/10.18637/jss.v082.i13

Moore, J. W. (2016). What is the sense of agency and why does it matter? Frontiers in Psychology, 7, 1272. https://doi.org/10.3389/fpsyg.2016.01272

Niikuni, K., Sato, M., \& Muramoto, T. (2021) Individual differences in sense of agency and perspective adoption in comprehending Japanese null-subject sentences. The Japanese Journal of Psychology, 92(2), 89-99.

R Core Team (2019). R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing. Retrieved from https://www. R-project.org/ (February 6, 2020)

Robinson, M. D., Storbeck, J., Meier, B. P., \& Kirkeby, B. S. (2004). Watch out! That could be dangerous: Valence-arousal interactions in evaluative processing. Personality and Social Psychology Bulletin, 30(11), 1472-1484.

Sato, M., \& Bergen, B. K. (2013). The case of the missing pronouns: Does mentally simulated perspective play a functional role in the comprehension of person? Cognition, 127(3), 361374.

Schwarz, N. (2002). Situated cognition and the wisdom of feelings: Cognitive tuning. In L. F. Barrett \& P. Salovey (Eds.), The wisdom in feeling: Psychological processes in emotional intelligence (pp. 144-166). The Guilford Press.

Stoet, G. (2010). PsyToolkit—A software package for programming psychological experiments using Linux. Behavior Research Methods, 42(4), 10961104. https://doi.org/10.1016/j.cognition.2004.04.003

Stoet, G. (2017). PsyToolkit: A novel web-based method for running online questionnaires and reaction-time experiments. Teaching of Psychology, 44(1), 24-31.

Winkielman, P., \& Berridge, K. C. (2004). Unconscious emotion. Current Directions in Psychological Science, 13(3), 120-123.

Yano, M., Suzuki, Y., \& Koizumi, M. (2018). The effect of emotional state on the processing of morphosyntactic and semantic reversal anomalies in Japanese: Evidence from event-related brain potentials. Journal of Psycholinguistic Research, 47(1), 261-277.