# Natural Language Processing Technologies in English as Second Language Learning Applications: A Review

Julio Christian Young ${ }^{1}$ Makoto Shishido ${ }^{2}$
Graduate School of Advanced Science and Technology, Tokyo Denki University
1julio.christian.young[at]_gmail.com ${ }^{2}$ shishido[at]mail.dendai.ac.jp
}

\begin{abstract}
Previous studies have shown how Artificial Intelligence (AI) technology can help the English as Second Language (ESL) learning process. Text to Speech, Speech to Text, and Chatbot are some of them. In this research, the research objective is to show the status, opportunities, and challenges associated with such technologies for ESL learning.
\end{abstract
## 1 Introduction

Having fluent English communication skills increase one's academic and career opportunities. With the popularization of deep neural networks in 2015 [1], artificial intelligence (AI) began to accomplish humanlike performance in various natural language processing tasks. Therefore, its implementation starts to revolutionize how one can learn a language effectively, inclusively English. Chatbot, text to speech (TTS), and speech to text (SST) are AI applicative aspects favored by researchers to achieve such objectives.

For Learning English as a Second Language (ESL), research in $[8,14,15]$ shows that STT technology can create a personalized learning system; therefore, students can practice and evaluate their speaking skills individually. The research found that the resulting system made students feel comfortable as it mitigates the fear of being judged when they practice in a classroom setting. On the other research in [11, 20], researchers found that TTS technology can mitigate the cost to hire a professional for producing listening materials. Moreover, using TTS, teachers can adjust the listening materials according to the class competency. Lastly, research in [17, 26, 27] demonstrated that a chatbot could be a perfect learning partner as it never grows tired and can be accessed according to students' needs.
However, there are still several challenges that have not been fully addressed mentioned by the previous research. For instance, in [16, 17], researchers state a Chatbot's unintelligent behavior might cause a communication breakdown that minimizes students' learning interest. While for STT-based learning applications, researchers argued it requires unusual preparations and only works in the research setting, not in the real-world situation [18]. Lastly, most students in [19] believed their teacher is a better pronunciation model even when they achieved a better score using TTS word dictation system.

Based on the presented benefits and challenges, the focus of this research is to do a literature review to gather all information regarding the opportunity, challenges, and research results related to the application of TTS, STT, and Chatbot technology.

## 2 Research Methodology

In this research, the sequence of activities carried out for the literature review process is described in Fig. 1.

Fig. 1. The Sequence of Activities Conducted in Our

$
\text { Study }
$

In the article gathering step, 61 items were gathered using one from the following keywords: "chatbot", "speech to text", and "text to speech, with two extra keywords of "English" and "learning". The gathering was done using Google Scholar Search Engine for research published from 2017 to 2020. Secondly, the abstract screening step was conducted to ensure that each gathered
article truly presented the potential benefits and challenges of such technologies in English learning. Based on the abstract screening step, there are only 26 remaining articles (5 in TTS, 6 in STT, and 15 in Chatbot domain). Finally, the remaining articles will be read to extract all information under these categories.

1. How they implement their technology of choice to help the learning process.

2. The opportunity assumed.

3. The research results.

4. The presented challenges in the implementation part.

The summarization from all points above will be presented in the next section. For readers' convenience, the summarization results for each technology will be presented in a separate subsection.

## 3 Previous Research

## 3.1 TTS for English Learning

Learning Strategy - Several learning strategies can be incorporated with TTS technology such as Listening comprehension [11, 13], phonological acquisition [12], words dictation [19], and word rhyme \& synonym [20].

Opportunity - Through various implementations, researchers believe there are advantages of TTS for ESL learning, which are.

1. TTS technology mitigates the cost and time to hire professionals for producing listening materials [11, 20].

2. Facilitator has total control of speech rate, loudness, tone, speaker's identity, and delay between a word in the produced materials $[11,12,13]$.

3. TTS service read reads the words at a constant rate and each word is rhythmically segmented [20].

4. Audio files produced by the TTS service have a native-like pronunciation which might enrich students' language input [13].

Results - Research in [12, 20] conclude that both $\theta f$ students who learn with human voices and audio materials from TTS have a similar learning performance; while research in $[11,19]$ conclude that students who learn with TTS assistance perform better learning performance compared to students that learn with the conventional method. On the other hand, qualitative research [13] on teacher perspective in incorporating the TTS technology for ESL learning also yielded a positive result. EFL teachers believed TTS might be useful to create listening materials and the produced material has a similar pronunciation to the native speaker so it might be beneficial to students.

Challenges - Despite its positive impact, there are several challenges for its application, such as.

1. Due to unnatural voice characteristics and emotionless intonation, most participants prefer ESL teachers to TTS technology [19].

2. TTS technology doesn't truly understand the concept of language, so there is no confirmation whether each word is spelled correctly or not [13].

3. Current TTS technology has no intonation to some punctuations (e.g., exclamation or question mark) resulting in wrong intonation to exclamatory and interrogative sentences [13].

## 3.2 STT for ESL Learning

Learning Strategy - In ESL Learning, researchers mainly incorporated STT technology for pronunciationrelated activities which include single vowels pronunciation [21], students' phonetic and fluency evaluation [15, 18], and utterance practice [8, 14, 15]. However, in [22], researchers utilize STT technology to provide real-time transcription of EFL teachers' speech in a classroom.

Opportunity - The previous research stated there are several advantages of STT for ESL learning which are.

1. Mitigate the resources needed for one-on-one practice that involves a native speaker $[8,18]$.

2. Provide a less intimidating and serene practice environment as students often feel uncomfortable, and fear to be judged to practice in a public [15].

3. STT implementation for speech transcription [22] provides dual-modality so it might be useful to fit students' learning styles.

Results - All previous quantitative research shows a positive result on students' perception regarding STTbased learning applications [8, 14, 15, 21, 22]. Most participants in $[8,14,15]$ felt less intimidated in their speaking practices using STT; it fits their learning preferences, and they're willing to use it for in- and outclass learning activities. For the real-time transcription use in [22], most participants highly appreciate STT implementation for improving their listening skills. On
the other end, quantitative research in [18] shows that students who use STT for ESL learning have a better speaking performance compared to others who do not.

Challenges - Regardless, there are several difficulties mentioned from STT implementation for ESL Learning.

1. Small group of students with high language ability finds the visual aspect of STT useless as they processed information directly from speech. [22].

2. STT might affect students' speaking performance as they might be slowing their speech on purpose to accentuate clarity [18].

3. Considering current STT trained by audio data from native speakers, the recognition rate for ESL students is often low due to their utterances being often mistranslated [8].

## 3.3 Chatbot for ESL Learning

For ESL Learning, research in the past utilized chatbots more frequently compared to the other two. Chatbots leverage text or voice modalities to engage in meaningful conversations with students. For chatbot application that interacts through users' utterances, STT and TTS technologies become the two underlying components to process the input and output voice in it. Therefore, the successful application of a voice-based chatbot for ESL learning simply reflects the success of the other two technologies within.

Learning Strategy - Researchers primarily implement chatbots as learning tools by making them learners' conversation partners. While researchers in $[2,9,26,5,4]$ implement a chatbot as a free conversational agent that engages in a diverse and broad conversation, others try to use it to aim at a specific learning objective. For example, researchers in [10] utilized a chatbot to assist students in a writing practice; while in [23], researchers created a chatbot that assists students in their writing activities by finding spelling and grammatical errors in their writing; in other research [24], the chatbot acts as students' virtual reading partner that recommends appropriate readings based on their level and evaluates their reading comprehension.

Opportunity - Researchers in the past considered the following advantages when they integrated a chatbot into ESL learning.
1. Students learn better when words are presented in spoken forms with a conversational style in which a chatbot is capable of [25].

2. Chatbot has a huge potential to help countries with an insufficient number of English native speakers [25, 9].

3. Interacting with a chatbot creates a pleasant learning experience for students $[3,6,26,27]$. A chatbot voluntarily engages in a conversation with students anytime and anywhere [25, 26, 17, 9, 6]. For ESL students with low language and speaking skills, in contrast to a human partner, a Chabot never grows tired and impatient even when a student keeps repeating the same mistake $[26,17,27]$.

4. Learning with a chatbot allows students to dictate the flow of the conversation to present learning materials according to their needs $[3,6]$.

5. Through multimodality implementation, a chatbot allows students to practice all skills in the English language (speaking, listening, reading, and writing). Moreover, it provides the opportunity for students to make use of diverse vocabulary and sentences structures that they scarcely use [26, 17, 27].

Results - The qualitative research result in the past shows a mix between the positive and negative impact of chatbot usage in ESL learning. For the positive part, most participants believed chatbot is beneficial for language learning [10, 16]. Most participants also agreed that a chatbot can hold a native-like conversation that feels authentic [10]. Moreover, in [9], after 10 minutes of weekly engagement with a chatbot in 8 weeks period, students felt more motivated, interested, and confident for their English skills. Participants from various research in $[24,3,27]$ perceived chatbot as a better learning partner (more patient, non-judgmental, and more relaxing) compared to the human study partner.

However, research in [4] shows that when students were engaged in a chat session for long enough, they began to lose interest in the chatbot thus leading to a significant decrease in their motivation. Secondly, the previous research [23] finds students feel a conversation with a chatbot was dull as its response are is unvaried. On top of that, chatbot inappropriate and unnatural responses could also lead to a bland conversation that decreases their learning motivation.

On the other hand, most quantitative research showed a positive result of a chatbot on improving students' English performance. In the previous research, after a short term (a week) [7, 10] and a long term (eight weeks) [9] of engagement with a chatbot, students showed a significant vocabulary test score improvement. Moreover, a study in [7] also compared a chatbot and a traditional Listeningand-Repeat (LRE) learning system, its result also shows that students engage 2.1 times longer with a chatbot system compared to the traditional LRE. Other previous research $[16,4]$ that measure the effects of chatbot usage on English writing skills found a significant improvement in students' words production and grammar skills. Lastly, in [2], researchers found that students who incorporate chatbots into their learning process achieve a better TOEIC Listening and Reading test score compared to others who do not.

Challenges - The previous research showed there are several challenges worth considering when chatbot technology is used for ESL learning.

1. Students might find the conversation with a chatbot is dull as it often gives monotonous responses [16, 17]. On top of that, the inappropriate responses from chatbots can lead students to frustration thus demotivating them [17].

2. Unintellectual nature of chatbot often makes its engagement with students short [17].

3. As a conversation partner, chatbots are often programmed for a specific and limited range of topics that don't suit the learners' needs and interests [10, 25].

## 4 Conclusion

In the last four years, most research showed the practicality and promising result of STT, $\mathrm{TTS}_{2}$ and Chatbot for ESL learning. Through the assistance of such technology, teachers can provide a great number of materials and exercises for ESL students. Furthermore, they can also allow students to engage in genuine communication despite their unideal learning environment. However, researchers in [4] argued that the novelty effects might be the main factor of their successful result so in the long term they will not truly contribute to students' English skills. Therefore, to help students in their learning process, it is better to view such technology as a supportive tool that aimed at a specific learning objective and designed them to fit that.

## References

[1] LeCun, Y., Bengio, Y., \& Hinton, G. (2015). Deep learning. nature, 521(7553), 436-444.

[2] Kim, N. Y. (2018). A study on chatbots for developing Korean college students' English listening and reading skills. Journal of Digital Convergence, 16(8), 19-26.

[3] Shin, D., Kim, H., Lee, J. H., \& Yang, H. (2021). Exploring the Use of An Artificial Intelligence Chatbot as Second Language Conversation Partners. Korean Journal of English Language and Linguistics, 21, 375-391.

[4] Kim, N. Y. (2019). A study on the use of artificial intelligence chatbots for improving English grammar skills. Journal of Digital Convergence, 17(8), 37-4.

[5] Fryer, L. K., Ainley, M., Thompson, A., Gibson, A., \& Sherlock, Z. (2017). Stimulating and sustaining interest in a language course: An experimental comparison of Chatbot and Human task partners. Computers in Human Behavior, 75, 461-468.

[6] Nghi, T. T., \& Phuc, T. H. Bots as Foreign Language Learning Tools: From Theory To Practice.

[7] Ruan, S., Jiang, L., Xu, Q., Liu, Z., Davis, G. M., Brunskill, E., \& Landay, J. A. (2021, April). EnglishBot: An AI-Powered Conversational System for Second Language Learning. In 26th International Conference on Intelligent User Interfaces (pp. 434444).

[8] Shishido, M. (2018, June). Developing e-learning system for English conversation practice using speech recognition and artificial intelligence. In EdMedia+ Innovate Learning (pp. 226-231). Association for the Advancement of Computing in Education.

[9] Kim, N. Y. (2018). Chatbots and Korean EFL students' English vocabulary learning. Journal of Digital Convergence, 16(2), 1-7.

[10] Alsadoon, R. (2021). Chatting with AI Bot: Vocabulary Learning Assistant for Saudi EFL Learners. English Language Teaching, 14(6), 135157.

[11] Andriani, T. N., Herawati, Y. W., \& Sulistyo, T. (2020). Text-to-Speech Application for Foreign Language Learner' Listening Comprehension in Indonesia.

[12] Cardoso, W. (2018). Learning L2 pronunciation with a text-to-speech synthesizer. Future-proof CALL: language learning as exploration and encounters-short papers from EUROCALL, 16-21.

[13] Oktalia, D., \& Drajati, N. (2018). English teachers' perceptions of text to speech software and Google site in an EFL Classroom: What English teachers really think and know. International Journal of Education and Development using ICT, 14(3).

[14] Shishido, M. (2019, June). Evaluating e-learning system for English conversation practice with speech recognition and future development using AI. In EdMedia+ Innovate Learning (pp. 213-218). Association for the Advancement of Computing in Education.

[15] Shishido M. (2021). Developing and Evaluating the e-learning Material for Speaking Practice with the Latest AI Technology ISSN: 2189-1036 - The IAFOR International Conference on Education Hawaii 2021 Official Conference Proceedings.

[16] Bailey, D., Southam, A., \& Costley, J. (2021). Digital storytelling with chatbots: Mapping L2 participation and perception patterns. Interactive Technology and Smart Education.

[17] Haristiani, N. (2019, November). Artificial Intelligence (AI) chatbot as language learning medium: An inquiry. In Journal of Physics: Conference Series (Vol. 1387, No. 1, p. 012020). IOP Publishing.

[18] Moxon, S. (2021). Exploring the Effects of Automated Pronunciation Evaluation on L2 Students in Thailand. IAFOR Journal of Education, $9(3)$.
[19] Chiang, H. H. (2019). A Comparison between Teacher-Led and Online Text-to-Speech Dictation for Students' Vocabulary Performance. English Language Teaching, 12(3), 77-93.

[20] Matsuda, N. (2017). Evidence of effects of text-tospeech synthetic speech to improve second language learning. Jacet journal, 61, 149-164.

[21] Tejedor-Garcia, C., Escudero-Mancebo, D., Cardenoso-Payo, V., \& Gonzalez-Ferreras, C. (2020). Using challenges to enhance a learning game for pronunciation training of English as a second language. IEEE Access, 8, 74250-74266.

[22] Hwang, W. Y., Li, Y. H., \& Shadiev, R. (2018). Exploring effects of discussion on visual attention, learning performance, and perceptions of students learning with STR-support. Computers \& Education, 116, 225-236.

[23] Nakano, A., Theeramunkong, T., \& Taira, H. A Conversational Agent for English Writing Skill Learners.

[24] Ruan, S., Willis, A., Xu, Q., Davis, G. M., Jiang, L., Brunskill, E., \& Landay, J. A. (2019, June). Bookbuddy: Turning digital materials into interactive foreign language lessons through a voice chatbot. In Proceedings of the Sixth ACM Conference on Learning@ Scale (pp. 1-4).

[25] Fryer, L., Coniam, D., Carpenter, R., \& Lăpuşneanu, D. (2020). Bots for language learning now: Current and future directions.

[26] Han, D. E. (2020). The Effects of Voice-based AI Chatbots on Korean EFL Middle School Students' Speaking Competence and Affective Domains.

[27] Yin, Q., \& Satar, M. (2020). English as a foreign language learner interaction with chatbots: Negotiation for meaning. International Online Journal of Education and Teaching.


# A Preliminary Exploration of Asian Englishes-Oriented Classroom Activities: A Data-Driven Approach

Mariko Takahashi
Faculty of Foreign Studies, Setsunan University
mariko. takahashi@ilc. setsunan. ac. jp
}

\begin{abstract}
This study explored concise data-driven learning activities which were designed to expose Japanese university students to authentic data of Asian Englishes in order to raise their awareness toward differences between the varieties of English. By implementing six activities oriented to Asian Englishes, this preliminary exploration showed that short classroom activities served the purpose of having students notice characteristics of Asian Englishes and that activities in which students indirectly accessed data in corpora or databases were suitable as short activities of approximately 20 minutes.
\end{abstract
## 1 Introduction and background

English has been playing a significant role as an international language in today's society. The number of people who speak English as their second or foreign language exceeds the number of people who speak it as their first language, and the language is now used as " $\mathrm{a}$ non-local lingua franca, the means of communicating between people from anywhere in the world" (Mauranen, 2018, p. 7). As a result of its global spread, English came to have diverse features, thus becoming "Englishes" in the plural (e.g., Jenkins, 2015; Kirkpatrick, 2007). This phenomenon is also observed in Asia, with varieties of English in Asia referred to as "Asian Englishes."

Based on the Three Circles model of Englishes (e.g., Kachru, 1985), Japan belongs to the Expanding Circle. English is the most widely studied foreign language in Japan despite its limited use for communication outside of the classroom (e.g., Seargeant, 2009). Native varieties of English are still dominant in English teaching materials although their relevance has been questioned (Galloway \& Rose, 2015, pp. 196-197). Textbooks used at Japanese universities also tend to have complimentary audio files recorded by native speakers of English.

However, due to its nature as an international language today, "the majority of English learners will likely use the language as a lingua franca with fellow non-native English speakers" (Galloway \& Rose, 2015, p. x). Japanese university students are no exception to this trend, and it is likely that they will encounter different varieties of English especially if they use English at work after they graduate. As such, it would be advantageous for them to become familiar with, or at least become aware of the presence of, various Englishes in their English classes at university. It is not necessarily feasible to dedicate a large portion of the course to this theme when the curriculum requires the instructor to follow a certain syllabus. Therefore, it is worth exploring how to introduce diverse Englishes to university students through short classroom activities.

One potential way to achieve this is to integrate data-driven learning (DDL) because it can help students notice authentic language use. According to Chambers (2010), DDL utilizes data from corpora and lets students use such data "either indirectly by allowing them to learn about language use by studying concordances prepared in advance by the teacher, or directly by allowing them access to corpora and concordancing software to carry out their own searches" (p. 345) (see also, Boulton, 2012; Flowerdew, 2015). DDL typically involves the use of corpora, however, Boulton (2015) for example indicated that the data on the internet can be utilized for DDL along with search engines. DDL has been incorporated in English language teaching (e.g., Ackerley, 2017; Bardovi-Harlig, Mossman, \& Su, 2017) and has also been utilized in English classes in Japan (e.g., Mizumoto \& Chujo, 2015). It has not necessarily been associated with World Englishes (WE) or Asian Englishes (AE). In fact, despite the abundance of
corpus-based research on WE (e.g., Lange \& Leuckert, 2020), it still remains to be seen how to actively engage students in exploration of authentic data of WE/ $\mathrm{AE}$ through short activities in the classroom.

The current study aims to explore the possibility of incorporating data-driven $\mathrm{AE}$-oriented learning activities in English classes to raise Japanese university students' awareness toward $\mathrm{AE}$ by implementing three types of short classroom activities based on authentic data. Only the first type (see below) qualifies as typical DDL, yet the second and the third types could be considered as DDL in the sense students actively explore authentic linguistic data. This is a small-scale, preliminary study of practical examples intended for looking into possible options. Activities such as presentations and discussion of relevant concepts (as seen in Rajprasit, 2021) and writing about WE (as seen in Thompson, 2021) qualify as activities on WE/ $\mathrm{AE}$; however, this paper deals with activities which focus on the use of authentic data.

## 2 Methodology and context

Three types of classroom activities (approximately 20 minutes each) incorporating $\mathrm{AE}$ were planned and prepared: 1) corpus-based activities, 2) audio-based activities, and 3) video sharing platform-based activities. For each type, direct activities and indirect activities were included; "direct" here means activities which asked participants to directly access the corpus or the database, while "indirect" means activities which utilized the data retrieved from the corpus or the database by the instructor beforehand.

The activities were conducted in at least one of the following English courses taught by the researcher as the instructor in the academic year 2021: Class A (communication, 9 students), Class B (speaking, 12 students), Class C (grammar, 15 students), Class D (communication, 3 students), Class $\mathrm{E}$ (communication, 17 students), and Class F (seminar, 11 students).

## 3 Corpus-based activities

For the first type of activities, the Corpus of Global Web-Based English (GloWbE) (Davies, 2013) was utilized. GloWbE consists of approximately 1.9 billion words of web-based texts from 20 countries and areas, and it is suitable for conducing comparative analyses between varieties of English (Davies, 2015). GloWbE includes 8 countries and areas from Asia with varying number of words: India, Sri Lanka, Pakistan, Bangladesh, Singapore, Malaysia, Philippines, and Hong Kong.

## 3.1 Direct corpus search activity (A, D)

For this activity, the instructor asked some of the students to suggest a word or phrase they would like to search on GloWbE. The instructor then conducted the search by using the built-in concordancer. The students looked at the results on frequency along the concordance lines and discussed how the word or phrase was used. This format was taken to minimize the time the students needed to familiarize themselves with the tools because the activity was intended to be a short one. As mentioned in Boulton (2012), it can be time-consuming to have students learn how to use the tools accurately (p. 153).

For example, one of the students in Class A suggested the phrase "you know" to be searched in the corpus. The search showed that there were 313262 instances of "you know" in the corpus but that speakers of some varieties (e.g, American English, Australian English, Philippine English) used the expression more frequently than speakers of other varieties (e.g., Bangladeshi English, Hong Kong English). The frequency data on the screen were not normalized, but the students could evaluate the data by looking at the hue of each cell. The students then read several concordance lines from different varieties. This activity enabled the students to actively select and explore the words or phrases they were interested in. However, they tended to choose expressions which occurred frequently across the varieties, which made it difficult to compare the usage across varieties in detail. In other words, this direct corpus search activity did not seem to focus the students' attention clearly on the features of AE.

## 3.2 Indirect corpus search activity (A, C, D)

For this activity, the instructor chose the target forms beforehand, ran the search on GloWbE by using the concordancer, normalized the frequency, extracted data relevant to selected varieties of native and Asian Englishes, and presented the data on a worksheet (see Appendix) along several concordance lines. The students
were asked to follow the questions in pairs or in groups to analyze and explore the forms and usage.

As the target forms, expressions commonly observed across Englishes (e.g., "I mean") as well as expressions characteristic to AE (e.g., "lah" in Singapore English and Malaysian English) were selected. The first type was to have the students pay attention to the differences in the frequency of occurrence of common expressions across the varieties. On the other hand, the second type was to have them notice that there were characteristic features in $\mathrm{AE}$ and to encourage them to inductively explore their usage based on the concordance lines. There was more control to this activity compared to the direct corpus search activity, and as such, it seemed to be more effective in focusing the students' attention on AE within a short period of time.

## 4 Audio-based activities

For the second type of activities, audio files from the International Dialects of English Archive (IDEA) (Meier \& Meier, n.d.) were utilized. The archive includes audio files of English speakers across the world including Asia; each speakers reads Comma Gets A Cure aloud and also provides a short unscripted monologue about themselves. It was developed as a resource for performers to learn English accents, but now it is used for various purposes including academic research (Persley, 2013, p. 63). IDEA has also been used in English classrooms (e.g., McMahon, 2021).

## 4.1 Identifying features activity (A, D)

For this activity, the students used their device to directly access IDEA in pairs or in groups. They first chose a country from Asia available on IDEA with their partner(s) and selected two or three audio files. Next, they listened to the audio files multiple times, focusing primarily on the unscripted monologue part. They were allowed to look at the script after they listened to the audio file once. They then followed the instructions on the worksheet (see Appendix) and tried to identify characteristic features of pronunciation, grammar, and expressions. After spending approximately 15 minutes, the students reported their findings to the class.

For example, a pair from Class A chose to explore Korean English. They initially struggled to express their findings in words but eventually succeed in identifying the replacement of $[z]$ with $[s]$ in the speech of one of the Korean English speakers. Another pair focused on speakers of Philippine English and wrote that the rhythm (or intonation) was different from English speakers they were familiar with. An intriguing comment was made when we listened to audio files from different countries as a class; one of the students remarked, "zenzen chigau! (it's so different!)", indicating that the student noticed how accents of AE may dramatically differ. Overall, this activity turned out to be beneficial for having students focus on pronunciation and intonation of $\mathrm{AE}$ through listening to authentic yet somewhat controlled audio data of their choice. However, it was difficult for them to identify grammatical features or characteristic expressions in a short period of time, indicating that corpus-based activities (typical DDL) as above are more suitable for exploration of such features.

## 4.2 Listening comprehension activity (B, C)

For this activity, the instructor selected audio files of AE speakers from IDEA and prepared listening comprehension questions beforehand. The students did not directly explore IDEA, and in that sense, the students utilized the database indirectly. They did not have access to the script and had to solely rely on listening to answer the comprehension questions. As this activity was meant to be a short one intended to draw the students' attention toward differences in accents, only two, easy questions were prepared for each audio file. The questions were given orally; for example, "Where did the speaker learn English?" and "What is the speaker's favorite food?" The students listened to the audio files and then confirmed their answers with their classmates sitting around them. The instructor then asked the students to discuss if they had any trouble understanding the speakers, and if so, what the contributing factors were and how they could become more familiar with different varieties of $\mathrm{AE}$. The students were encouraged to access other audio files outside of the class. This activity was flexible in terms of length and content.

## 5. Video-based activities

For the third type of activities, that is, video sharing
platform-based activities, YouTube was utilized  because of its popularity and the variety of videos available on the platform.

## 5.1 Finding videos activity (F)

For this activity, the instructor asked the students to find videos in English produced by YouTubers from any country in Asia in pairs. Instead of randomly searching on YouTube, the students first tried to identify popular YouTubers in the country of their selection. This part went successfully for most pairs as they were able to find websites introducing YouTubers from different countries. However, the activity soon encountered a major problem. Popular YouTubers tended to speak in the most widely spoken language of their country. Even when they found videos in English, it was difficult to tell if the speaker was from that country or an expatriate from another country. YouTube also tended to suggest Japanese videos even when they typed search words in English. This means that this "direct" search activity did not work well for exploration of $\mathrm{AE}$.

## 5.2 Watching videos activity (B, E)

For this activity, the instructor compiled a playlist consisting of English videos produced by YouTubers from different countries in Asia (Singapore, Korea, Philippines, India, Malaysia). The videos were on food, fashion, and lifestyle. There were videos on AE on YouTube, but such videos were not included in the playlist because they somewhat went against the purpose of inductive learning. The playlist was shared with the students in Classes B and E along with the note to encourage them to pay attention to differences in English. The two classes were chosen for this activity because the students were making a YouTube-style video for their final project. As this was partly conducted as an optional assignment outside of the class this time, it was difficult to confirm the extent the students noticed features of AE. However, unlike the "direct" activity, this "indirect" activity enabled the students to access authentic English videos from Asia produced for entertainment purposes.

## 6. Discussion

This study explored three types of "data-driven," short classroom activities which aimed to raise students' awareness toward $\mathrm{AE}$. The results of the implementation of "direct" and "indirect" activities in English classrooms showed that exposure to authentic data of $\mathrm{AE}$ can potentially facilitate Japanese university students' awareness toward the diversity of English in Asia even when it is not possible to spare a significant portion of the class time to this type of activities. However, from the perspective of the instructor, the students were more responsive to indirect activities than to direct activities; perhaps, the latter type of activities would have required more explanation. This indicated that for short classroom activities, it is necessary for the instructor to organize the data beforehand to a certain degree without decreasing their authenticity so that students would be able to access and handle the data efficiently within the allocated time.

Among the six activities explored in this preliminary study, the indirect corpus search activity (3.2) and the listening comprehension activity (4.2) seemed to actively engage the students in a way that their attention was directed to the features of $\mathrm{AE}$ inside the classroom in a relatively short period of time of around 20 minutes. Although it was essential to encourage the students to discover the features of $\mathrm{AE}$ by themselves, it was also necessary for the instructor to emphasize the purpose of the activities clearly so that the students would not consider "differences" as "learner mistakes." This study was a preliminary study with the primary aim of exploring possible options, and as such, only informal feedback was collected from the students. Informal comments from the students indicated that they were able to notice that there were differences in $\mathrm{AE}$.

## 7. Conclusion

This preliminary exploration of activities has shown that short and concise activities based on authentic data of AE, especially "indirect" data-driven activities, can be incorporated into English classes to have university students become aware of different varieties of English. This study was limited in that structured and quantitative analysis of the effects of the activities was not conducted. It would be more ideal to implement longer data-driven activities; however, within the restriction of time and requirement of syllabi, concise in-class activities are likely to become the first step in raising university students' awareness toward Asian Englishes.

## References

Ackerley, K. (2017). Effects of corpus-based instruction on phraseology in learner English. Language Learning \& Technology, 21(3), 195-216. http://hdl.handle.net/10125/44627

Bardovi-Harlig, K., Mossman, S., \& Su, Y. (2017). The effect of corpus-based instruction on pragmatic routines. Language Learning \& Technology, 21(3), 76-103. http://hdl.handle.net/10125/44622

Boulton, A. (2012). Hands-on / hands-off: Alternative approaches to data-driven learning. In J. Thomas \& A. Boulton (Eds.), Input, process and product: Developments in teaching and language corpora (pp. 152-168). Masaryk University Press.

Boulton, A. (2015). Applying data-driven learning to the web. In A. Leńko-Szymańska \& A. Boulton (Eds.), Multiple affordances of language corpora for data-driven learning (pp. 267-295). John Benjamins.

Chambers, A. (2010). What is data-driven learning? In A. O'Keeffee \& M. McCarthy (Eds.), The Routledge handbook of corpus linguistics (pp. 345-358). Routledge.

Davies, M. (2013) Corpus of Global Web-Based English. https://www.english-corpora.org/glowbe/.

Davies, M. (2015). Introducing the 1.9 billion word Global Web-Based English Corpus (GloWbE). 21st Century Text, 5.

https://21centurytext.wordpress.com/introducing-the-1 -9-billion-word-global-web-based-english-corpus-glo wbe/

Flowerdew, L. (2015). Data-driven learning and language learning theories: Whither the twain will meet. In A. Leńko-Szymańska \& A. Boulton (Eds.), Multiple affordances of language corpora for data-driven learning (pp. 15-36). John Benjamins.

Galloway, N., \& Rose, H. (2015). Introducing global Englishes. Routledge.

Jenkins, J. (2015). Global Englishes (3rd ed.). Routledge.

Kachru, B. (1985). Standards, codification and sociolinguistic realism: The English language in the outer circle. In R. Quirk \& H. G. Widdowson (Eds.), English in the world: Teaching and learning the language and literatures (pp. 11-30). Cambridge
University Press.

Kirkpatrick, A. (2007). World Englishes. Cambridge University Press.

Lange, C., \& Leuckert, S. (2020). Corpus linguistics for World Englishes: A guide for research . Routledge.

Mauranen, A. (2018). Conceptualising ELF. In J. Jenkins, W. Baker, \& M. Dewey (Eds.), The Routledge handbook of English as a lingua franca (pp. 7-24). Routledge.

McMahon, A. (2021). Creating and teaching a global Englishes-themed EFL course. APU Journal of Language Research, 6, 133-145. https://doi.org/10.34409/apujlr.6.0_141

Meier, P., \& Meier, C. (n.d.). International Dialects of English Archive. https://www.dialectsarchive.com/

Mizumoto, A., \& Chujo, K. (2015). A meta-analysis of data-driven learning approach in the Japanese EFL classroom. English Corpus Studies, 22, 1-18. http://hdl.handle.net/10112/13009

Persley, N. H. (2013). An innovative IDEA: a review of the International Dialects of English Archive. English Today, 29(3), 63-64. https://doi.org/10.1017/S0266078413000229

Rajprasit, K. (2021). 'Do as WE do': Teaching World Englishes in a general English course to Thai students. RELC Journal. Advanced online publication. https://doi.org/10.1177/00336882211011276

Seargeant, P. (2009). The idea of English in Japan: Ideology and the evolution of a global language. Bristol: Multilingual Matters.

Thompson, V. E. (2021). Integrating Global Englishes into literature and writing units: Advice for secondary teachers. In M. D. Devereaux \& C. C. Palmer, Teaching English language variation in the global classroom (pp. 82-91). Routledge.

## Appendix

This is a simplified version of the worksheet distributed in Class D.

## Part 1

Look at the following data from the Corpus of Global Web-Based English . Answer the questions.

Q1-1 When do you use the expression "I mean" in English? Look at the following examples as reference. (concordance lines were provided here on the actual worksheet)

Q1-2 This table shows the frequency of the expression "I mean" per 1 million words.

What can you learn from this data?

Q2-1 In some areas, speakers sometimes add "lah" to what they say. Look at the following examples.

What do you think "lah" means? How do speakers use it? (concordance lines were provided here on the actual worksheet)

Q2-2 This table shows the frequency of "lah" per 1 million words. What can you learn from this data?

(note that the instructor had eliminated proper nouns when normalizing the data)

Q3 Is there any other expression (or word) you want to search on the corpus?

Q4 How can we learn about different features of English across countries/ areas? Give examples.

e.g., read English magazine articles from different countries

## Part 2

Access the International Dialects of English Archive .

Choose a country from Asia, listen to a few audio files (I suggest you focus on the latter half - speakers usually talk about themselves toward the end) and answer the following questions.

Your country [

] Speakers you selected [

Q1 What features of pronunciation or rhythm did you notice?

Q2 Did you notice any characteristic vocabulary or expressions?

Q3 What grammatical features did you notice?

Q4 Do you think the speakers were "learners" of English or "users" of English? Why?


# Development of tutorial materials for learning Chinese focusing on pronunciation practice

Luo Yang', Makoto Shishido ${ }^{2}$
Graduate School of System Design and Technology, Tokyo Denki University
$\left.\{21}.$ amd21\}@ms.dendai.ac.jp ${ }^{1},\left.\{}.$ shishido\}@mail.dendai.ac.jp ${ }^{2}$
}

\begin{abstract}
China is Japan's largest trading partner, and China ranks first in the number of overseas offices of Japanese companies. The economic relationship between China and Japan is getting closer. Japan's direct investment in China has been rising steadily every year. [1] Under these circumstances, it would be beneficial for Japanese university students to study Chinese. In addition, the Japanese have been learning Chinese characters since they were in elementary school, so the ability to read and write Chinese sentences can be improved without difficulty. Many people think that the difficulty in learning Chinese is the pronunciation. However, there are currently few self-study applications that emphasize pronunciation and dialogue practice. Therefore, this paper aims to make an application that emphasizes pronunciation practice.
\end{abstract
## 1. Introduction

The purpose of this research is to develop Chinese learning materials for university students at the beginner's level, mainly focusing on pronunciation practice, so that they can study daily topics and acquire basic communication skills. Its effectiveness will be tested using controlled experiments and so on.

## 2. Previous Research

## 2.1 Pinyin and Chinese syllables

Pinyin is a phonetic symbol used in mainland China. It refers to a system of phonetic notation in which syllables are divided into phonetic characters and written in Latin characters. On the other hand, the Chinese syllables are mainly used in Taiwan. It is represented by 37 characters, including ユタ $\square \subset$ (Bopomofo). Some of the characters are similar to Japanese kana, but unlike kana, they are not syllabic characters. In addition, while kana is created by using the cursive script and kanji radicals, the Chinese syllables are based on ancient scripts. Pinyin, which uses Latin characters, is thought to be easier to learn for foreigners than the Chinese syllables.

## 2.2 Difficulties in Chinese Learning

The first is the difficulty of Chinese pronunciation itself. Chinese syllables are made up of 21 initials, 35 vowels, and 5 tones (including the soft tone). There are many combinations, and some of them do not exist in Japanese, so how to master them is a big problem for beginners. Secondly, there are a large number of homophones with different characters and the same characters with different sounds in Chinese, and the correspondence between Chinese characters and pinyin is also a big problem. In addition, unlike English and Japanese, the pronunciation rules of Pinyin itself are also a major difficulty in Chinese learning. [2]

For the Japanese, it is well known that the most difficult part of learning Chinese is generally considered to be to master the tones. In Japanese, the pronunciation difference between homophones is generally distinguished by the difference in the degree of highness or lowness between syllables. [3] In Chinese, every syllable has a tone, and the change of tone has a great influence on the meaning of words. Take an example of a sentence explaining tones that often appears in Chinese textbooks, “妈妈骂马”, pronounced as "Māma mà mă”. Every character has the same initial " $\mathrm{m}$ " and the same vowel " $\mathrm{a}$ ", the only difference between them is the tone. However, this sentence means "Mother scolds a horse." From this example, we can also find another difficulty in Chinese tones. “妈妈” is a word with the same character, but pronounced as "Māma". The character behind changes its tone to a soft tone. In Chinese, many characters change tones in sentences.

## 3. Methods

Among the Chinese textbooks, there are three methods of teaching pronunciation. First, at the beginning of the textbook, focus on teaching Pinyin. This method is thought to be too abstract to dampen students' interest in learning. The other two methods are text writing for learning a specific pronunciation and learning pronunciation in texts on a certain topic. [4] The former method can focus on learning difficult pronunciations, but at the same time, it lacks practicality, and it is easy to bring frustration and reduce learning interest in the early stage. Today's Chinese education researchers prefer to let learners learn common pronunciations by using frequently used words. This method is also used in this textbook.

The textbook will focus on pronunciation practice and will include the following content to help students study basic Chinese communication skills.

First, listen to and study the conversation text. Then, study the words related to the conversation text and practice pronunciation. At this point, we import the iFLYTEK pronunciation evaluation system to evaluate the students' pronunciation. All recorded data is going to be created by Google's Text to Speech.

The content of the course is based on the HSK introductory vocabulary list. To acquire a basic level of Chinese proficiency, students need to learn basic pronouns, nouns, verbs, and learn how to express time, age, money, and numbers. The materials consist of 10 chapters, and about 150 words will be studied.

## 3.1 Google Text to Speech

Google Text to Speech technology can be deployed to produce natural human-like speech, and an API built on DeepMind's expertise in text-to-speech can produce speech that is very close to human-like. There are over 220 voices to choose from in more than 40 languages and language variants, including Chinese, Japanese, Spanish, and Russian. Without the hassle of recording a new phrase, users can define and select the voice profile that best suits their needs, and quickly adjust it to suit the voice changes they need. [5]

## 3.2 iFLYTEK Pronunciation Evaluation System

iFLYTEK pronunciation evaluation system can measure the correctness and fluency of the initials, vowels, and tone. With this system, it is possible to evaluate pronunciation objectively based on certain criteria for many users. [6] At the same time, the iFLYTEK pronunciation evaluation system is also used in the HSK test. So it is good for users to get a high score on the HSK test by using the iFLYTEK System in the application.

Table 1 Explanation on iFLYTEK XML output table[7]

Among the outputs of the iFLYTEK system, there are four related to scores. The standard score is a score that displays emotion. The integrity score and fluency score are related to the completeness of the sentence, which are considered unnecessary for this application. Therefore, only the tone score and the phone score are used in this application.

Since the iFLYTEK speech evaluation system has no fixed scoring criteria, in this application the score is calculated using this formula:

Score $=$ phone_score $* 0.7+$ tone_score $* 0.3$

The score is out of 10 points, 8 points or more will be shown in green, 6 points or more but less than 8 points will be shown in yellow, and 6 points or less will be shown in red.

## 4. Application Development

## 4.1 Development environment

In this study, the target device is an Android smartphone, which is developed in Android Studio using the JavaScript language

## 4.2 Application usage flow

The following is an example of the screen display when learning Chapter 1. The text of Chapter 1 is about greeting, so users will learn vocabulary related to personal pronouns. Each chapter has a topic and learning the pronunciation of the vocabulary related to this topic after the text is the method of this teaching application.

When you open the application, the main menu
appears. From the main menu, select the chapter you want to study, and the text content will be displayed (Figure 1).

Figure 1 Home page

Press the "VOICE" button to play the audio data (Figure 2).

Figure 2 Chapter 1 text

Figure 3 Studying words

Press the "NEXT" button to proceed to the word study (Figure 3). Press the "VOICE" button to listen to the recording, then press "RECORD" to enter your pronunciation, and the iFLYTEK evaluation score will be displayed (Figure 4).

Figure 4 Pronunciation scores

## 5. Deficiencies

This application is still in development, so there are still some deficiencies that need to be addressed in the future.

First of all, there is no pronunciation method in the textbook. Due to the difficulty of Chinese pronunciation, especially the distinction between some front and rear nasal sounds, and the position of the tongue when aspirating air, it is impossible to accurately convey the pronunciation method only by sound. So when users learn these syllables, it may be difficult to grasp the essentials and increase the difficulty of learning.

Secondly, as described above, Chinese syllables consist of initials, vowels, and tones. However, iFLYTEK's score can only be specific to one word and cannot be subdivided, so users can't understand where their pronunciation is wrong.

Thirdly, the characteristics of language learning require the conversion of short-term memory into longterm memory, but there is a lack of relevant means in this stage. In addition, this application lacks the means to enhance the interest in learning and also lacks the method of review. These issues need to be resolved in the next development stage.

## 6. Future Work

Regarding the deficiencies mentioned above, the next development has the following plans.

Firstly, to extract syllables that are difficult for users to
master, and to add relevant chapters to learn pronunciations that do not exist in Japanese. This is in order to study the hard part of initials and vowels alone for users. For example, the character “耳”, which has the same mean in Chinese and Japanese, means an ear. The pronunciation in Chinese is Ěr, which does not exist in Japanese. The character "耳" should be the focus of learning.[8]

Secondly, due to the defects of iFLYTEK, there is no good solution at this stage. The application is going to show details about the pronunciations which are under 8 points. So at least, users can know if they were wrong at the initials and vowels or tones. However, as mentioned earlier, Japanese generally have the weakest awareness of pitch, while iLFYTEK has tone scores. In the next stage, it is possible to adjust the weighting of the tone score and the content of the application after confirming the subject's weakness through preliminary experiments. It is also possible to increase the content related to tones and the change of tones.

To convert short-term memory into long-term memory, a common method is to link abstract Chinese characters with pronunciations and real things. [9] In the future, if possible, illustrations will be added to the application to strengthen the user's memory. On the other hand, quizzes after chapters are also necessary as a means of reviewing and enhancing memory. It allows users to understand their own learning situation and enhance their learning motivation. Reinforcing tone-related memory in quizzes could be effective.

This study proposes an application for learning Chinese for university students with a general education level of beginner. In the current application, the contents of Chapter 10 have not been completed yet. In the future, a plan to enrich the contents of the teaching materials by including these chapters is being thought of. In addition, adding functions such as a word book to improve learning efficiency is in the plan. A user-friendly UI/UX is also considered to be designed to increase the motivation of learners to learn. How to design experiments to verify the effectiveness of this application is also planned in the future.

## References

[1] 日中経済関係 - 中国経済．外務省中国・モン ゴル第二課，令和 2 年 5 月 27 日, (accessed 2021-12-01.)

https://www.mofa.go.jp/mofaj/area/page3 000307. html.

[2] 中国語発音教育におけるカラー拼音の効用.塩旗伸一郎，駒澤大学外国語論集 23, 2017 年, $59-82$

[3] 谈谈对日本 2 外汉语学习者 “声调难” 问题的认识. 丁雷, 島根大学外国語教育センタージ ヤーナル 12, 2017 年, 75-87

[4] 記憶モデル理論からみた中国語発音教育のあ り方. 竹中佐英子, 目白大学心理学研究(1), 2005 年, 61-72

[5] Text-to-Speech document. Google Cloud, (accessed 2021-12-01.)

https://cloud.google.com/text-to-speech.

[6] 中国語における発音評価一流暢さが聞き手に 与える影響一, 西宮藍子, 早稲田大学大学院文学研究科紀要, 2015 年, 第 2 分冊, 201-209

[7] iFLYTEK document. (online) (accessed 2022-0110.)

https://www.xfyun.cn/doc/voiceservice/ise/ise prot ocol.html.

[8] 学習成果の可視化に関する試案(1)：中国語初級段階における発音習得を中心に。大島吉郎，大東文化大学紀要. 人文科学, 2021 年, 第 59 巻, $193-208$

[9] 語彙マップを用いた初級漢字語彙教材の開発.徳弘康代, JSL 漢字学習研究会誌, 2016 年, 第 8 巻, $15-19$


# スマートスピーカー用日本語学習機能の開発

加藤大輔 宾戸真
東京電機大学大学院 情報環境学研究科
$\{20$ jkm08\}@ms. dendai.ac. jp, \{shishido\}@mail.dendai. ac.jp

## 概要

学校の授業内でデジタル教材を紙教材と併用することができる法令が実施され, デジタ ル教材の需要が拡大されている.デバイスが いくつかある中で, スマートスピーカーを使用した学習教材の実例はまだ少ない状況に ある.スマートスピーカーは AI アシスタン 卜機能を搭載しており，その操作方法は音声 によるものである。この人間対機械で対話を するという行為を利用し，語学学習を日常に 身近なものしたいと考えた. そこで本研究で はスマートスピーカー内の機能として日本語を母語としない日本語学習者のための日本語学習機能を開発し, 使用感を確認するた めの実験を行った。

## 1 はじめに

令和 2 年度から新学習指導要領を踏まえた 授業の改善や特別な手助けが必要となる生徒のための補助を目的として，これまでの紙 の教科書に加えて学習者用のデジタル教材 を併用することができる法令が実施され, デ ジタル教材の需要が拡大されている。[1]し かしその中で，スマートスピーカーを使用し た学習教材の実例はまだ少ない状況にある。現在スマートスピーカーの普及は急速に進 んでおり,今後より生活に身近なものになる と考えられている。[2]

そのようなスマートスピーカーの特徴であ る，話しかけるだけで操作ができる点やAI アシスタント機能が搭載されている点から 紙教材での学習方法に比べて, 日常生活で何 かをしながら，必要以上に頑張らなくても，学習を面白いと魅力に感じながら, できるこ とを増やせるような学習方法の可能性を検証したいと考えた. そこで本研究では, スマ 一トスピーカーの現状についての調査, スマ 一トスピーカー用の学習機能の開発,スマー トスピーカーでの学習の可能性について調査する。

## 2 先行研究 $\cdot$ 類似教材

スマートスピーカーを利用した日本語学習機能に関する研究としては, 熊本大学の甲斐晶子 (2018.9) [3] があげられる.また,スマ 一トスピーカーを利用した学習教材の例と しては，「ベストティーチャーから生まれた 英語リスニングドリル 100 選」（株式会社べ ストティーチャー)(2017.10)[4]や「九九ゼ ミ」（株式会社八雲ソフトウェ ア)(2018.12) [5]などがある.

## 3 Amazon Echo と Alexa

スマートスピーカーとは音声で操作するこ とができる対話型の AI 機能を持つスピーカ 一であり，ユーザが話しかけることで，天気， ニュース, 時間, 音楽, 家電を操作することが できる.日本で主に流通しているものは Am azon Echo (Amazon), Google Home(Google), Home Pod(Apple)などがある. 本研究で使用 するスマートスピーカーは, 世界で一番普及 している点, デバイスに画面があり画面の必要性を比較できる点, そして個人の開発者に よってAI アシスタントの機能を拡張できる 開発環境が日本語にも対応している点から Amazon の AlexaというAIアシスタント(ク ラウドベースの音声サービス)を搭載した A mazon Echoを選択した。

## 4 Alexa スキルの仕組み

Amazon Echoには普段周りの音を聞いてい る状態であるマイクが内蔵されており，ユー ザーが発話した「アレクサ」というウェイク ワードに反応して要求を録音し, 音声データ としてインターネットを通じてAlexaに転送 する.その転送されたデータを Alexa の自動音声認識(ASR) と自然言語理解 (NLU)で処理 し，プログラムを実行するサーバーにリクエ ストデータとして転送する.サーバーが処理後転送したレスポンスをAlexa の音声合成 (TTS)を通じてユーザの耳に届ける．６］

## 5 学習機能の作成

Amazon Echo に搭載されているAlexaを用 いて日本語学習者を対象とした日本語を学習することができる Alexa スキルを作成す る.Alexa スキルを作成する方法は多く存在 するが, 本研究では Alexa スキルをノンコー ディングで作成することができるサービス であるVoiceflowを使用した。[7]

## 5.1 Voiceflow とは

はじめに Alexa と対話するには「Alexa,○○を 開いて」のようなフレーズを発話する必要がある. この○○に入る名称をここでは呼び出し名と言い，最初に設定する.また,Voiceflow は Alexa が発話 する Speak ブロックとユーザの発話内容を判別し 分岐させる Choice ブロックを使用することで,会話 をフローチャートのように作成することができ,実際 の会話の動きを視覚化することができる.

## 6 予備実験

## 6.1 実験内容

Zoom のビデオ通話を通して Amazon Echo の画面を見ながら 3 種類の問題を操作し, 教材の評価をする。

## 6.2 実験被験者

東京電機大学在学の留学生 5 名と東京電機大学日本語教師 1 名を対象として実験を行っ た. 留学生の日本語学習歴は 3 年以上であっ
た.

## 6.3 予備実験で使用する Alexa スキ ル

予備実験で使用するために Voiceflow で作成した Alexaスキルは画面表示の有無での使用度を比較するために, 画面表示がなく, 音声のみを聞いて解答する問題である” 反対 の言葉”，画面表示を見て解答をする問題”漢字の読み方”, 画面表示はあるが見なくて も解答ができる問題” 言葉の言い換え”の 3 種類の問題である. 問題の内容は, 日本語能力試験の問題を引用した. [8] 日本語能力試験の問題の引用に関しては, 著作権者の国際交流基金及び日本国際教育支援協会の著作物利用方法に従い, 作成した Alexa スキルの 一般公開はせず, 本研究における実験時及び 本論文のみの使用に限る.

## 6.3.1 反対の言葉

“反対の言葉” は問題で読まれた単語に対 して反対の意味の単語を答えるものである。画面表示はないため音声のみを聞いて解答 する必要がある.

## 6.3.2 漢字の読み方

“漢字の読み方”は画面に表示されている 問題文の中の下線部の漢字の正しい読み方 を 4 つの選択肢から選ぶものである. 問題文 は読まれないため画面を見て解答する必要 がある。

## 6.3.3 言葉の言い換え

“言葉の言い換え”は画面に表示されてい る問題文の中の下線部の言葉に意味が最も 近いものを 4 つの選択肢から選ぶものである。問題文と選択肢が読まれるため画面表示を 見なくても解答できる。

## 6.4 予備実験結果

スマートスピーカーを使用したことがあっ た被験者は半数であった, 問題操作の容易さ には全員から肯定的な意見があり, スマート スピーカーを操作し学習する方法は学習者 に受け入れられそうであることが確認でき た.画面表示の有無に関しては意見が分かれ

たが,画面表示有りでは問題の説明や問題文,解説が全てで日本語での表示だけであった ため英語での表示があると日本語に不慣れ な学習者にとってより分かりやすいという 意見が得られた。画面表示無しでは, 普段の 生活で料理が退屈であるため, 音声だけで操作することができれば料理しながら学習す ることができて良いという意見を得ること ができた. 問題の内容については” 反対の言葉”で文脈がないと意味が取れないものがあ り, 単語ではなく文レベルで発話させること によって文法の変形練習もできるのが良い という意見を得ることができた。

## 7 本実験

## 7.1 予備実験結果から作成した Alexa スキル

予備実験の結果から対象となる学習者の日本語能力に合った問題の難易度や構成を改 めて検討し, 対象を東京電機大学大学院の留学生の入学生の基準となっている日本語能力試験 N2 レベルとし, 試験の練習ができる ような Alexa スキルを作成した.作成には日本語能力試験 N2 の練習をするために, 実際 に試験に出題された問題を使用し, 問題の説明や問題文における漢字の振り仮名等を N2 レベルで統一した.また,この試験は言語知識 (文字・語彙・文法), 読解, 聴解, の 3 科目 に分けられ, 18 種の大門で構成されている. この中から,スマートスピーカーの機能で学習するために, 画面に問題文が入りきらない 長文の読解問題等の問題として成り立たな いものを除いた全 9 種の大問の各 2 問ずっで 構成することとした. [8]

問題は選択式方式であり, 学習者は 4 つの選択肢から選び, 解答する. 選択肢は問題の性質上, 言葉で解答するものと, 振られた数字 で解答するものがある.このように解答方法 が変わる問題の前には学習者が戸惑うこと の内容に解答方法が音声で指示される.また,日本語能力試験 N2 で構成されている科目と問題数は以下の表の通りであり赤色の中括弧で括られているものが今回のAlexa スキル で出題される科目である.

そして, 実際にスマートスピーカーの画面 に表示される問題の例は以下の図の通りで あり, 文字・語彙の問題は緑, 文法の問題は黄色, 聴解の問題は水色と分けることとした.

## 7.2 実験内容

紙教材での学習とAlexaスキルでの学習を行 い, 学習中の集中度, リラックス度, 没入度,緊張度, 落ち着き度の測定を行い測定データ の分析を行う. 集中度, リラックス度の測定 には米 NeuroSky 社のへッドセッド型の簡易型脳波測定器 MindWave Mobile2を, 没入度,緊張度, 落ち着き度の測定には JINS 社の眼鏡型ウェアラブル端末 JINSMEMEを使用す る. [9] [10]

## 7.2.1 Mind Wave Mobile2

MindWave Mobile2 ではセンサーアームに搭載された電極から検出した脳波を基に， $\alpha$ 波・ $\beta$ 波などのパワースペクトルや NeuroSky 社独自の脳波解析アルゴリズムから集中度・リ ラックス度のレベル, 及び瞬きの有無のデー 夕を出力する. 本実験では集中度・リラック ス度の測定を行う。

## 7.2.2 JINSMEME

JINSMEME では 6 軸モーションセンサーに よる体の体軸変化の記録や 3 点式眼電位セン サーによるまばたき, 視線移動の記録, 集中力, 活力, 落ち着き等ココロの状態の補足を する. 本実験では没入度・緊張度・落ち着き度 の測定を行う。

## 7.2.3 測定データの定義
- MindWave

Attention: 集中度 $(0 \sim 100$, 集中していない〜集中している)

Meditation：リラックス度 $(0 \sim 100$, リラック スしてない〜リラックスしている)

測定間隔： 1 秒毎

## - JINSMEME

focus Score：没入度 $(0 \sim 100$, 没入度が低い
没入度高い)

tension Score：緊張度 $(0 \sim 100$, 緊張が弱い〜緊張が強い)

calm Score : 落ち着き度 $(0 \sim 100$, 落ち着いて いない〜落ち着いている)

測定間隔: 15 秒毎

## 7.3 実験被験者

東京電機大学在学の留学生 23 名を対象とし て行った。

日本語学習歴は 2 年以上で 5 年以上学習して いる人が 6 割であった.

## 7.4 実験結果

本実験でスマートスピーカーを初めて操作 したという被験者は約 7 割であったが操作に 戸惑うことなくスムーズに問題を解答する ことができた. 正答率は紙教材が $86.4 \%$, Alex a スキルが $82.6 \%$ で紙教材の方が僅かに上回 ったがそれほど差はないと考える.また, Min dWave とJINSMEME で測定したデータは, 各被験者のデータ数, 最高値, 最低値, 平均値, データの值が 70 以上の数と割合, データの值 が 30 以下の数を表にした. 以下は測定した データから一例として紙教材で学習してい る際に MindWave で測定した Attention (集中度）の表.である。

## 7.5 データ分析

本実験で測定した集中度, リラックス度,没入度, 緊張度, 落ち着き度が 70 以上であっ た割合と 30 以下であった割合をそれぞれ紙教材とAlexaスキルで以下のグラフのように 比較する。

また, 全てのデータを比較した結果を次に記 す.

- MindWave

集中度

70 以上：紙教材の方が多く, 集中度が高い, 30 以下: Alexaスキルが多く, 集中度が低い。 リラックス度

70 以上：紙教材の方が多くリラックス度が 高い.

30 以下: Alexa スキルが多く, リラックス度が高い。

## - JINSMEME

没入度

70 以上：紙教材の方が多く, 没入度が高い。 30 以下: Alexaスキルが多く, 没入度が低 い.

## 緊張度

70 以上：Alexaスキルが多く, 緊張度が高 い.

30 以下：紙教材の方が多く, 緊張度が低い。落ち着き度

70 以上: 紙教材の方が多く, 落ち着き度が高 い.

30 以下: Alexa スキルが多く, 落ち着き度が 低い。

## 8 考察

実験前の仮説では, 紙教材の方が集中度, 没入度, 緊張度が高く, Alexa スキルの方がリラ ックス度, 落ち着き度が高いと考えていたが,実験結果は紙教材の方が集中度, 没入度, リ ラックス度, 落ち着き度が高く, Alexa スキル の方が緊張度が高いという結果となった. 教材の操作方法について問題はなかったが, 初 めてスマートスピーカーを操作する被験者 も多く, 被験者がこれまで長い期間学習に使用してきた紙教材と比較すると慣れによる 差も多く出たと考えられる。

## 9 今後の展望

今回の実験は一回限りの学習だったため,今後は実験期間を長くし, 複数回学習するこ とによってスマートスピーカーの操作に慣 れる期間が必要だと考える. また, 実験の結果は仮説通りの結果とはならなかったが, 被験者からスマートスピーカーでの語学学習 について肯定的な意見も多く, 教材の改良に 努める.そして, 本来の目標であったスマー トスピーカーを利用したリラックス状態で のながら学習で学習効果を高められるよう な教材の工夫を目指す.

## 参考文献

[1]文部科学省.デジタル教科書について.” htt ps://www.mext.go.jp/a_menu/shotou/kyouk asho/seido/1407731.htm"

[2] Canalys: Global smart speaker installed bas e to top 200 million by end of 2019 " http s://www.canalys.com/newsroom/canalys-glob al-smart-speaker-installed-base-to-top-200million-by-end-of-2019”,2019.5.15

［3］甲斐晶子ほか 3 名，”受身系転換練習のため のスマートスピーカー (Alexa) 用機能の開発”日本教育工学会 第34回全国大会発表論文集, 2018.9, pp.669-670.

[4]「ベストティーチャーから生まれた英語リスニングド リル100選を Google Home に提供」”https:// www.best-teacher-inc.com/news/google-hom e",2017.10.15

５5］株式会社八雲ソフトウェアホームページ "https: //8clouds.co.jp/smart/”, 2020.4.1 参照

[6] Alexa スキル開発トレーニング ”https://develop er.amazon.com/ja-JP/alexa/alexa-skills-kit/t raining/build-a-skill”, 2020.4.1 参照

[7] Voiceflow "https://www.voiceflow.com/"

[8] 日本語能力試験公式ウェブサイト “https://ww w.jljl.jp/index.html”, 2012

[9] Neurosky “https://www.neurosky.jp”

[10] JINS MEME “https://jinsmeme.com”

## 付録

図 1 “漢字の読み方” のフローチャート

[8]

0

図 2 “言葉の言い換え”のフローチャート

$[8]$

図 3 “表記” の問題画面 [8]

図 4 “文法” の問題画面 [8]

図 5 “聴解” の問題画面 [8]

図 6 MindWave Attention $\sigma$ 比較 (70 以上)

図 7 MindWave Attention の比較 (30 以下)

表 1 MindWave で測定した Attention のデータ

 &  \\


# 外国語学習者にとって意外な用例の難しさ測定のための 語彙テスト・データセット構築

江原遥 1
1 東京学芸大学 教育学部
ehara@u-gakugei.ac.jp

## 概要

外国語学習者（第二言語学習者）が初期に学ぶ語 の多くは高頻度語であり，よく使われる用例とは異 なる意味で使われる用例がある.こうした学習者に とって意外な用例は，よく使われる用例より難しい と思われるが，どの程度難しいのであろうか？この ような文脈を考慮した用例ごとの語の難しさ測定に は，近年急速に発達している文脈化単語埋め込みな ど，文脈の意味を捉える深層学習技術の活用が容易 に考えられる。しかし，これを評価するために，同一の学習者にある語の複数の用例についての設問 に回答させる語彙テストやその結果のデータセッ トが，既存にはほとんど存在しない。そこで，本研究では, 語の用例ごとの難しさ評価のためのデータ セットを構築し，項目反応理論に基づき評価する。

## 1 はじめに

外国語学習において，語の習得は，外国語学習の 大部分の時間を占める. その数が膨大であるため か，外国語学習における語の習得においては，語彙量が主に注目されてきた。例えば，有名なテキス ト中の語の 95\% 98\%以上を（述べ語数で）知らな いと，テキストを十分に理解する事が難しい [1] と いった応用言語学分野の実験結果では，テキスト中 の語をカウントする際に，語の多義性は考慮してい ない、これは，テキスト中の語の語義を自動的に推定する事が技術的に難しかったためと考えられる。

一方で，外国語学習において初期に学ぶ単語の多 くが高頻度語であり, 高頻度語は多義性を持つこと が多い。語彙量計測などの目的で用いられる語彙テ ストのうち，一般的な多肢選択式の試験として広く 用いられている Vocabulary Size Test [2]では，語義を 限定する工夫が施されている。具体的には，表 1 に 示すように，設問で語だけを提示するのではなく，文中に語を入れ込み，その語の意味と最も近い選択肢を選択させる形式になっている。 さらに，文法的 な証拠から適切な選択肢を選ぶことができないよ う，どの選択肢も，文中の指定部分とそのまま入れ 替えても，文法的には正しい文になるように作成さ れている.

語彙テスト結果データ，(どの学習者がどの設問 に正答/誤答したか，というデータ）から，学習者の 能力値や語の難しさを推定するモデルとしては，項目反応理論 (Item Response Theory) [3] が教育学や心理学の分野で広く使われている. しかし, 項目反応理論は設問の意味的情報を一切用いずに，純粋 に被験者の正答/誤答の情報だけから語の難しさを 推定するモデルである．このため，設問が少しで も変更された場合，再度，語彙テストを行わなけ れば結果がわからない，例えば，語の用例ごとに 外国語学習者にとっての難しさを測定するために は，各語について語の用例の分，適切な作問を行 う必要がある. 例えば， 1 万語の各語の用例につい てて，適切な多肢選択式の作問を行えば，設問数 は数万にもなり，こうした問題の全てに学習者に 回答してもらう事は明らかに非現実的である。近年では BERT(bidirectional encoder representations from transformers)[4] をはじめとする，大規模な母語話者 コーパスで事前学習を行う事で文脈を捉えた意味処理を行う手法が盛んである．そこで，こうした手法 を用いて，設問の用例と頻出用例との近さを計測す る事で，語の難しさを計測する手法が容易に考えら れる。しかし，こうした発展性のある手法を評価す るためには，まずは，評価のために信頼できるデー タセットが必要になる．現状では，著者の知る限り そうしたデータセットは整備されていない.

そこで，本稿では，語の用例ごとの難しさ測定のために, 英語を第二言語として学ぶ学習者 (English-as-a-Second-Language Learners)を対象とした
語彙テストを構築した. この語彙テストで，語の意外な用例の設問については，複数の英語母語話者 大学英語教員に問題として成立していることを確認 した. 次に，この語彙テストを用いてクラウドソー シングを用いて，学習者の被験者反応実験では，実際に項目反応理論を用いて，被験者反応のみを用い て，語の通常の用例と，意外と思われる用例の間の 難しさの差を計測した. 項目反応理論を用いて分析 した結果，語の通常の用例の方が，統計的有意に難 しく，良問とみなせる度合い（識別力）も高いこと を定量的に示した. 本研究で作成されたデータセッ トは，今後1)で公開する予定である。

## 2 関連研究

本研究で提示するデータセットの必要性を既存研究との関連から説明する. 1 つは，語学学習アプ リ Duolingo 上の設問に対する回答データを用いた SLAM データセット [5] である. もう 1 つは，多数 の語学学習者に対して, 文中のわからない語をア ノテーションさせた複雑単語推定 (Complex Word Identification, CWI） のデータセット [6] である.こ れらのデータセットと本研究で提示するデータセッ トの違いとして，各被験者は多くある設問のうちの ごく一部にしか回答していないという点が挙げられ る。言い換えると，被験者を行，設問を列とし，被験者の設問に対する回答内容を要素とする行列を 考えた場合，これらのデータセットでは行列が疎に なっている. 項目反応理論は，被験者の設問に対す る回答内容から，設問の難しさや被験者の能力値を 推定を目標とするが，この推定のためには，各被験者がほぼ全ての設問に回答している形式のデータ セットであることが望ましい，また，どちらのデー タセットでも，文中の語に対する被験者の回答が記録されてはいるものの，設問について，今回のデー タセットのような語の通常の用例と，意外と思われ る用例といったようなアノテーションはされていな い. さらに，[6] を含む CWI のデータセットでは，一般に，提示された文に対して，被験者が難しいと 感じた語が記録されているだけであり，被験者が実際にその語の意味を適切に理解しているかテスト を通じた確認はしていない。すなわち，意味は理解 できたが難しいと感じてアノテーションした場合 もあれば，単純に意味が分からなかった場合も含ま れる。

表 1 実際の設問例

It was a difficult period.

a) question

b) time

c) thing to do

d) book

## 3 語彙テスト作成・データセット

語彙テスト作成・データセット作成は，著者が過去に語彙テスト結果データセット作成時の設定に準 じて行った [7]. データセットはクラウドソーシング サービス Lancers ${ }^{2}$ から，2021 年 1 月に収集した. 英語学習にある程度興味がある学習者を集めるため,過去に TOEIC を受験したことがある学習者のみ語彙テストを受けられると明記して，データを収集し た. その結果, 235 名の被験者から回答があった. Lancers の作業者は大部分日本語母語話者であるた め，学習者の母語は，大部分日本語を母語とするも のと思われる。

まず，通常の語彙テストとしては，文献 [7] と同様に，Vocabulary Size Test（VST）[2]を用いた. た だし，VST は 100 問からなるのに対して，[7]では，低頻度語に関する設問では, Lancers 上のどの学習者 もほとんどチャンスレートしか回答できていなかっ たことから，被験者の負担感を減らし的確な回答を 集めやすくするため，低頻度語 30 問を削った. す なわち，残り 70 問を通常の語彙テストとして用い た.この設問例を表 1 に示す. 文中の単語に下線が 引かれてあり，被験者は，この単語と交換した際に 元の文と意味が最も近くなる選択肢を選ぶように求 められる。この際，文法的から選択肢を絞れてしま わないように，選択肢は下線部と文字通り置き換え ても正文となるように作られている。例えば表 1 で あれば，複数形の選択肢が内容に配慮されている。

一方，学習者にとって意外である思われる用例に ついては，著者が作問し，英語母語話者を含む静岡理工科大学の教員複数名に問題として成立してい るか確認を取る方法で，作成した. この際，表 1 と 同様の形式にして，“period" という単語について 2 つの設問がある事が分かってしまうと，意外な語義 については通常の語義以外の選択肢を選ぶことで，選択肢を絞り，意味を知らなくても回答できてしま う。そこで，本研究では，次の 2 つの工夫を行った。

1. 意外な語義を問う設問については，下線部の意

2) https://lancers.co.jp/
表 2 意外な意味を問う設問例

She had a missed

a) time

b) period

c) hour

d) duration

味について問う形にはせず，空欄を埋める形式 の問題とした。これにより，意外な語義につい ては正答を知らなければ，どの語についての設問であるのかもわからないようにした。

2. 通常の語義についての設問を先に行ってしまう と，そこで出てきた単語と同じ語が正答であろ う，という推測ができてしまう。そこで，意外 な語義についての設問群を最初に行い，通常の 語義についての設問群に移動したら，意外な語義についての設問群には戻れないようにした.

この 2 つの工夫を施した実際の設問例が表 2 であ る. “period”には通常の「期間」の他に「生理」とい う意味があり，これを問うている．被験者は，70 問 の通常の用例の語彙テストの前に，表 2 のような設問を 13 問解くように求められる。ただし，先に解 く表 2 の形式の選択肢が，表 1 の形式の問題に影響 していないかどうかを後で確認できるよう，意外な 語義ではあるが，通常の語義の設問群の側に対応す る設問がない設問を 1 問設けた. これにより，対応 する問題は 12 問となる.

## 4 項目反応理論

項目反応理論モデルについて，簡単に説明する。被験者の数を $J$ ，設問（項目, item）の数を $I$ とする.簡単のため, 被験者の添字 (index) と被験者, 項目の 添字と項目を同一視する。例えば， $i$ 番目の項目を，単に $i$ と書くことにする。 $y_{i j}$ は，被験者 $j$ が項目 $i$ に正答するとき 1 ，誤答であるとき 0 であるとする.試験結果データ $\left.\{y_{i j} \mid i \in\{1, \ldots, I\}, j \in\{1, \ldots, J\}\right.\}$ が 与えられたとき, 2PL モデルでは, 被験者 $j$ が項目 $i$ に正答する確率を次の式でモデル化する.

$
P\left(y_{i j}=1 \mid i, j\right)=\sigma\left(a_{i}\left(\theta_{j}-d_{i}\right)\right)
$

ここで, $\sigma$ は $\sigma(x)=\frac{1}{1+\exp (-x)}$ で定義されるロジス ティックシグモイド関数である。 $\sigma$ は $(0,1)$ を値域 とする単調増加関数であり， $\sigma(0)=0.5$ である. 実数を $(0,1)$ の範囲に射影し, 確率として扱うため に用いられている。(1)において， $\theta_{j}$ は能力パラメ 夕（ability parameter）と呼ばれ，被験者の能力を表 すパラメタである． $d_{i}$ は困難度パラメタ（difficulty parameter）と呼ばれ，項目の難しさを表すパラメタ である.(1)より， $\theta_{j}$ が $d_{i}$ を上回る時，被験者が正答する確率が誤答確率より高くなる。 $a_{i}>0$ は，通常，正の値を取り，識別力パラメタ（discrimination parameter）と呼ばれる.この值が大きいほど, $\theta_{j}-d_{i}$ が正答確率/誤答確率に大きく影響するようになる. $\theta_{j}-d_{i}$ を用いて, 被験者 $j$ が設問 $i$ に正答するか否 かが見分けやすくなる事を表しているため，「識別力」と呼ばれる．より直観的には設問 $i$ が，能力值 が高い学習者と低い学習者を正確に見分けられると いう意味で良問であることを示している。

## 5 実験

項目反応理論の困難度・識別力の各パラメタを求 めるには，pyirt ${ }^{3}$ を用いた。これは，周辺化最尤推定（Marginalized Maximum Likelihood Estimation）に より項目反応理論を行うライブラリである．前述の データセットに対して，2PL モデルを用いて困難度 と識別力パラメタを求めた. 表 1 と表 2 のように，設問のペアが 12 組ある. 通常の用例, 学習者にとっ て意外と思われる用例の困難度パラメタを，それぞ れ横軸，縦軸に表し，横軸と縦軸の縮尺・範囲を同一にプロットし図 1 に示した。各点は語を表す。

困難度の比較 図 1 の左下から右上まで，点線で 対角線を示した. 図 1 の横軸・縦軸とも，困難度パ ラメタの值であり，この値が大きいほど難しいと判定される。そのため，この対角線より左上にある点 は，通常の用例の困難度より，学習者にとって意外 と思われる用例の困難度の方が，語彙テスト結果 データからも学習者にとって回答が難しいと判定さ れた語ということになる。今回は設問数が少ないの で，図 1 の結果が偶然得られた可能性がどの程度あ るか検証するため，横軸の値の列と縦軸の値の列で 統計的検定を行った. Wilcoxon 検定の結果，縦軸の 值の列が統計的有意に横軸の值の列より大きかった $（ p<0.01 ）$.すなわち，縦軸の設問群の方が横軸の 設問群より難しかった事が示唆される。

識別力の比較 識別力についても，図 1 と同様に プロットし，図 3 に示した. 識別力は，直観的には，高いほど，その問題で（他の問題で推定される）能力値が高い学習者と低い学習者を分けることができ るという意味で，良問である度合いを表す。学習者 にとって意外と思われる用例は，能力値が高い学習者でも知らないことがあり，低い学習者でも知って

3) https://github.com/17zuoye/pyirt

図 1 各語の, 通常の用例の困難度（横軸）と学習者に とって意外と思われる用例の困難度（縦軸）のプロット.各点は各語を表す.

いることがあるため，通常の用例よりも識別力が低 いと予想される。全ての語について，通常の用例の 方が，意外と思われる用例よりも識別力が高いと推定されている。この結果も，Wilcoxon 検定の結果，統計的に有意であった $(p<0.01)$. 識別力のプロッ トについては紙面の都合のため付録に記す。

困難度と識別カのプロット 識別力は，直観的に は，他の設問で能力值が高いと推定された学習者が 簡単な問題に誤答してしまう，また，他の設問で能力値が低いと推定された学習者が難しい問題に正答 してしまう場合に低下する，今回の設定では，前者 のケースはあまり見られないが，後者のケースで回答が分からない学習者がとりあえず選んだ選択肢に 正答してしまう事はあるので，困難度の高い説問ほ ど，識別力が低く出ることが予想される. 困難度の 高い問題の識別力を向上させる 1 つの方法として は，選択肢に「わからない」や未回答を許すという 方法が考えられる. しかし，クラウドソーシング上 でこの方法を取ると，ほぼ全ての設問に対して「わ からない」と回答するケースなどがあるため, 今回 はこの方法は取らなかった. 全ての語についての困難度パラメタと識別力パラメタのプロットを示し た（図 2）. 図 2 から，困難度が増加するにつれて，識別力が減少していく傾向が見て取れる. 困難度 パラメタと識別力の間の困難度パラメタと識別力 パラメタの間のスピアマンの順位相関係数は-0.739 $（ p<0.01 ）$ で，「強い相関」が認められた.

図 2 全語の困難度（横軸）と識別力（縦軸）の関係.

被験者反応予測による評価 現状のように，語の 意外と思われる用例の難しさを通常の用例の難しさ で代替してしまうと，被験者が設問に正答/誤答す るかにどの程度の悪影響があるのだろうか？これを 調べるために，次の実験を行った.まず， 235 人の 被験者を 135 人と 100 人に分ける. 意外と思われる 用例の設問群（12 問）のパラメタについては前者の 135 人の被験者反応だけから，通常の用例の設問群 （70 問）のパラメタについては 235 人全員の被験者反応で推定する.この推定の際には，後者の 100 人 $\times 12$ 問，計 1,200 件の回答データは用いていないこ とに注意されたい。(1)より，推定された被験者の 能力值 $\theta_{j}$, 用例の困難度 $d_{i}$ を用い, $\theta_{j}>d_{i}$ であれば 被験者 $j$ が設問 $i$ に正答，そうでなければ誤答と判定できる．設問 $i$ の困難度パラメタとして，意外と 思われる用例の 12 問の困難度パラメタを直接用い た場合と，対応する語の通常の用例の困難度パラメ タで代替した場合で，この 1,200 件の回答データの 予測精度を比較した。その結果，直接用いた場合の 予測精度は $64.4 \%$ ，通常の用例の困難度で代替した 場合は $54.4 \%$ と, 10 ポイントの差が出た. この差 は，Wilcoxon 検定で $p<0.01$ で有意であった.

以上から，被験者反応の予測における，語の用例 ごとに困難度を推定することの重要性がわかる.

## 6 結論

本研究では, 外国語語彙学習において, 語の通常 （典型的）な用例と学習者にとって意外と思われる 用例の外国語学習者にとっての難しさの差を，被験者反応から測定可能なデータセットを提案した.こ のデータセットにより，BERT などの転移学習技術 を用いて，文脈に埋め込まれた個々の語の難しさを 推定できるモデルを評価する事が可能になった. こ うしたモデルの提案が，今後の課題となる.

## 謝辞

本研究は，科学技術振興機構 ACT-X 研究費 (JPMJAX2006), ならびに日本学術振興会科学技術研究費補助金（18K18118）の支援を受けています. また，産業技術総合研究所の $\mathrm{AI}$ 橋渡しクラウド (ABCI)を使用しています。本データセットの設問 が問題として成立しているか確認していただいた,谷口ジョイ先生をはじめとする静岡理工科大学の先生方に深く感謝いたします。

## 参考文献

[1] I. Nation. How Large a Vocabulary is Needed For Reading and Listening? Canadian Modern Language Review, Vol. 63, No. 1, pp. 59-82, October 2006.

[2] David Beglar and Paul Nation. A vocabulary size test. The Language Teacher, Vol. 31, No. 7, pp. 9-13, 2007.

[3] Frank B. Baker. Item Response Theory : Parameter Estimation Techniques, Second Edition. CRC Press, July 2004.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, 2019.

[5] Burr Settles. Data for the 2018 Duolingo Shared Task on Second Language Acquisition Modeling (SLAM), 2018.

[6] Seid Muhie Yimam, Chris Biemann, Shervin Malmasi, Gustavo Paetzold, Lucia Specia, Sanja Štajner, Anaïs Tack, and Marcos Zampieri. A report on the complex word identification shared task 2018. In Proc. of BEA, June 2018.

[7] Yo Ehara. Building an English Vocabulary Knowledge Dataset of Japanese English-as-a-Second-Language Learners Using Crowdsourcing. In Proc. of LREC, May 2018.

図 3 各語の, 通常の用例の識別力（横軸）と学習者に とって意外と思われる用例の識別力（縦軸）のプロット.各点は各語を表す.

## A 付録 (Appendix)

付録には，本論に直接関係ないが，参考になる図 を示す. 図 3 に識別力のプロットを示す.


# トレースにより画像の注視点を与えるインタラクティブな テキスト生成

渡邊 清子小林一郎
お茶の水女子大学
\{watanabe.sayako, koba\}@is.ocha.ac.jp

## 概要

近年，画像キャプション生成の研究は画像に対す る前処理から得られた情報を元に画像キャプション を生成するだけでなく，画像処理情報に対して，コ ントロールシグナルと呼ばれる視点に相当する追加情報を与えることで，画像に対してユーザの興味 に基づくキャプションを生成する研究へと発展し ている. 本研究では，人は一般的に画像の内容を説明する際，大抵説明したい対象に注意を促す為に指 でそのものを差しながら説明することに着目し，画像への指差しをコントロールシグナルと捉える.ま た，このような行為で生じる指差しの軌跡のことを トレースと呼び，トレースに込められた意味を反映 することで，より説明者の意図に沿ったインタラク ティブな画像キャプション生成手法を提案する.

## 1 はじめに

近年，画像キャプショニングの研究は，Faster R-CNN [1] や Semantic Segmentation [2] といった手法 を用いて画像の内容を捉え，その結果から画像内 の物体間の関係を捉えるシーングラフ $[3,4]$ を構築 し，そのグラフに基づきキャプションを生成するも のなど，画像の内容を深く捉える手法に基づくキャ プション生成手法が提案されている $[5,6,7]$. 一方 で，生成されるキャプションは多くの場合，用いら れる学習データに依存しており，画像内容を説明 する者の意図が反映される結果ではない場合が多 い.このことを踏まえて，近年では，キャプション 生成を制御する為のコントロールシグナルと呼ば れる追加情報を与えて, 説明者の意図に近いキャプ ションを生成する研究なども取り上げられてきてい る $[8,9,10]$. しかし，与えられるコントロールシグ ナルはキャプション内容に言及したものが多く, 説明者の感覚や興味に沿うインタラクティブな画像
キャプション生成の報告はあまりない。このことか ら，本研究では，音声で画像を説明する際に説明の 描画領域を指したトレースデータをもつ Localized Narratives(LN) [11]を用いて，トレースにより画像の 注視点を与えた画像キャプショニング手法を提案 する。

## 2 提案手法

## 2.1 概要

図 1 に提案手法の概要を示す.

図 1 提案手法の概要

(1)画像のトレース 画像中の説明したい箇所をト レースする。その際，説明を詳細にしたい対象に対 してはトレースを念入りに行う。

(2)説明領域の抽出 トレースの描画範囲から説明領域を抽出し，各領域のトレースの滞在時間から文長を推定する．Fast R-CNNを用いて，各領域のバウ ンディングボックス（B.Box）を抽出する.

(3)画像キャプション生成 (2)よって抽出した B.Box の特徴量と生成する文の長さを示す語数を入力とし, Deng ら [12] による文長を制御可能な画像

図 2 トレースの座標変化量

図 3 速さに注目したトレースの可視化

図 4 速いトレースを削除した結果
キャプション生成モデル LaBERT を用いて，それぞ れの領域の画像キャプションを生成する。

## 2.2 Localized Narratives

Pont-Tuset ら [11] は，視覚と言語を繋ぐマルチ モーダルな画像キャプションを目標として，音声 で画像を説明する際に，説明の描写領域を指し たトレースデータセット Localized Narratives（LN） を構築した. LN は，人が画像をペンでトレース しながら音声でその内容を説明するという実験 を通じて収集したデータセットである。データ 数も多く, Open Images [13] $\cdot$ Microsoft COCO [14]$\cdot$ Flickr30k [15]・ADE20k [16] の 4 つのデータセット から成っている．LNには，画像・トレース・画像 キャプション・音声の 4 つが含まれている. 表 1 に データの内容を示す.

timed_caption の情報から，時間当たりのの平均発話単語数を計算したところ，1 秒間に 1.94 単語発話し ている事がわかった。この結果は，画像キャプショ ンの長さコントロールの際に参考にする.

表 1 Localized Narratives データ内訳

## 2.3 トレースによる説明領域の抽出

画像の中でも，説明者が注目した部分からキャプ ションを生成する為に，トレースの描画範囲から説明領域を抽出する。画像説明時における人の特性を 解明する為に，以下の 2 つの特徴量を抽出した.

座標の変化量 横軸に時間をとり，縦軸にトレー スに関する変化量（ $x$ 座標 $x y$ 座標）をとったグラフ を図 2 に示す. 赤色でハイライトしている部分は,説明者が説明を止めている文と文の間の時間であ り，画像の説明に一区切りついた箇所に相当する.赤い部分のグラフは平らになっており，トレースの 変化量はほぼ変化がない事がわかった. 同じような 現象が他のデータにも多く見受けられた. この結果 は，説明者は 1 文説明し終わった際，少し止まって から次の文の説明に移るという特性があることを示唆する．画像説明時のトレースにおける人の行動特性は必ずしも常にこのようになるわけではなく，他 の行動特性も観察されたが，本研究では上記の行動特性を基準とする。

トレースの移動速度 トレースによる画像説明時 における人の 2 つ目の行動特性として，特別に動き が速いトレースは，説明対象となるオブジェクト間 の移動の為のトレースであり，その部分を説明をし ている訳ではないという点に着目した. トレースの 動作の速度を，速いほど黒に，遅いほど赤に対応さ せて可視化したものを図 3 に示す. 図 4 は，図 3 に おいて，オブジェクト間の移動とみなされた部分を 削除して可視化した. 実際に，芝生から木への移動，木から山への移動，空から雲への移動の箇所が 削除され，説明対象となった各オブジェクトのみを 指しているトレースが抽出されたことがわかる.

## 2.4 LaBERT [12]

説明者の注目の度合いを反映した画像キャプ ションを生成する為に，トレースの滞在時間によ り説明の詳述さを決定する手法として，文長制御 が可能な非自己回帰型のキャプション生成を行う LaBERT [12] のデコーダを用いる. 逐次的に次の単語を予測する自己回帰的な文生成手法は，生成文の 長さを制御できない，また，生成する文の長さが長 くなると計算量は線形的に増加してしまうといった 欠点がある。これに対し，Deng ら [12] は，長さ制御可能な画像キャプションの為の非自己回帰型デ コーダを考案し，文長を制御する効率の良い文生成

図 5 トレースを入力とした説明者の意図に沿った画像キャプション生成結果

## を実現した。

LaBERT のデコーダにおける処理の概要を図 6 に示 す.また、そのアルゴリズムを Algorithm1 に示す.

図 6 LaBERT を用いた長さ $L_{\text {low }} \sim L_{\text {high }}$ の文生成概要

## 3 実験

画像とトレースを入力として，トレースに沿った 画像キャプションを生成する.

## 3.1 実験設定

画像データは Microsoft COCO を使用し，Cornia ら [18] が使用している Faster-RCNN を各画像に施し 取得した B.Box の特徴量をまとめたデータセット coco_detections.hdf5 ${ }^{1)}$ から, 2048 次元の画像特徴量, B.Box の位置を示す 4 次元の座標，オブジェクトを 示す 1601 次元のカテゴリーを用いた. 生成文の単語数は, 7〜9words, 10〜14words, 15〜19words, 20〜 25 words の 4 種類を設定し, 文のアップデート回数 は 4 種類に対し, 10 回, 15 回, 20 回, 20 回に設定し

た.また，言語モデルは事前学習済み $\mathrm{BERT}_{\mathrm{BASE}}{ }^{2)}$ を 用いた. この実験設定の下，バッチサイズ 256 ，イ テレーション 100,000 回でモデルの学習を行なった.

## 3.2 実験結果

トレースを大力として，説明者の意図に沿うよう に画像の説明したい箇所にトレースを与えた情報に 基づきキャプション生成を行った．結果の例を図 5 に示す. 図 5 中の各項目について以下に説明する.

説明領域 トレースの座標変化量と速さを元に説明対象となる領域（図中，青い四角形の領域）を抽出したものとなる．各画像には，抽出されたトレー スと B.Box（赤い四角形）が写っており, 説明対象領域を $\frac{1}{4}$ 以上含む B.Box から画像特徴量を取得して いる。また，黒いトレースはオブジェクト間の移動

とみなし, 削除した。

正解キャプション 実際に説明者が発話したキャ プション.

トレースの滞在時間 説明領域内にトレースが滞在した秒数.

推定単語数 生成文を構成する単語数. トレース の滞在秒数に，LNにおける 1 秒間あたりの平均発話単語数 1.94 を掛けて推定した。

文長の指定 推定単語数から選ばれる文の長さ.現在， 3.1 節で示した 4 つの範囲を設定している.

BLEU スコア 文生成の精度の評価指標として， BLEU スコア [19]を示している.

各説明領域での結果を以下に示す。

図 5-1: suitcase というオブジェクトは捉えていたも のの, 推定単語数が正解キャプションの単語数に比 べて多くなっていた.

図 5-2:オブジェクトの認識やキャプションの長さ などトレースの意図を捉えられ，期待した結果が得 られた。

図 5-3: 正解キャプションでは「女性のカバン」につ いて言及しているが，周りの情報を取り込んで two people の説明になってしまっている.

図 5-4: 背景のみの描写なので, 認識できるオブジェ クトが少ないこともあり，想定していたキャプショ ンが生成されなかった.

## 3.3 考察

実験結果と正解キャプションおよび付録 A に示し た様々な文長の下での生成結果と比較しながら考察 する.

図 7-1：トレースの滞在時間から推測した 20～25 単語ではなく，7～9 単語の結果の方が正解キャプショ ンに近いと考えられる。また，この場合 BLEU スコ アも 1.72 と少し上がっていた. 正解キャプションも 12 単語である為, トレースの滞在時間ほど長い文に よる説明は求められていない。これは，図中の「カ バン」というオブジェクトが画像全体の比率の大部分を占めていることから，ひとつのオブジェクトを 指し示すのにトレースの滞在時間が長くなってし まった為と考えられる．このことは，文長を 1 秒あ たりの平均発話語数のみで決めるのではなく，説明対象となる領域に含まれるオブジェクトや領域の面積も考慮すべきであると考える。

図 7-2: 全ての文長の場合で 2 人の人間を捉えられ
ていたが，どこに立っているかなど，背景の情報は 不揃いで正確に捉えられていないことがわかった.

図 7-3:「女性のカバン」を言及出来ていない点に ついて，このように誰かの所有物や食べ物の具な ど，特定の部分に注目して説明する場合は Dense captioning [20] などのような局所的な説明を可能に する画像キャプション生成方法などを参考に改良す る必要があると考える.

図 7-4：10～14words, 15〜19words の生成途中で，正解キャプションに含まれる building が出現したにも 関わらず，最終的な生成キャプションとして残らな かった様子が見られた。これは，画像特徴量よりも 言語モデルが優先されてしまった結果生じた事例だ と考える。一概に $\mathrm{t}$ の値が大きくなる程，良い単語 に置き換わる訳ではないことがわかった。

また，今回，キャプション生成の評価指標として 採用した BLEU のスコアはとても低くなっている. この原因の一つとして，正解文とする LN のキャプ ションは，画像全体を一括して説明するものになっ ており，今回のように部分的な領域での説明と整合性がとれない部分もあることが考えられる。

## 4 おわりに

本研究では，画像に対してトレースを用いなが ら説明するデータセット Localized Narratives と文長制御が可能な非自己回帰型テキスト生成を行う LaBERT のデコーダを組み合わせ，トレースから説明者の説明意図を汲み取りインタラクティブに説明文を生成する画像キャプション生成手法を提案し た. 説明対象となる領域の選択やキャプションの長 さは，LN の統計量から求めた値を採用したが，説明意図を表現するキャプション生成に必要となる画像特徴量の適切な抽出や, 個々の説明領域内の物体 の在り様などをより踏まえて、キャプション生成す る必要があることがわかった.

今後の課題として，これらの問題に取り組みつ つ，説明領域全体を俯瞰する観点からのキャプショ ン生成も可能にしたい.

## 参考文献

[1] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. Faster R-CNN: towards real-time object detection with region proposal networks. CoRR, Vol. abs/1506.01497, , 2015.

[2] Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2015.

[3] Danfei Xu, Yuke Zhu, Christopher B. Choy, and Li Fei-Fei. Scene graph generation by iterative message passing. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017.

[4] Jianwei Yang, Jiasen Lu, Stefan Lee, Dhruv Batra, and Devi Parikh. Graph R-CNN for scene graph generation. In Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, editors, Computer Vision - ECCV 2018 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part I, Vol. 11205 of Lecture Notes in Computer Science, pp. 690-706. Springer, 2018.

[5] Zhan Shi, Xu Zhou, Xipeng Qiu, and Xiaodan Zhu. Improving image captioning with better use of caption. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7454-7464, Online, July 2020. Association for Computational Linguistics.

[6] Xu Yang, Kaihua Tang, Hanwang Zhang, and Jianfei Cai. Auto-encoding scene graphs for image captioning. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10677-10686, 2019.

[7] Wenqiao Zhang, Haochen Shi, Siliang Tang, Jun Xiao, Qiang Yu, and Yueting Zhuang. Consensus graph representation learning for better grounded image captioning. In Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI 2021, Thirty-Third Conference on Innovative Applications of Artificial Intelligence, IAAI 2021, The Eleventh Symposium on Educational Advances in Artificial Intelligence, EAAI 2021, Virtual Event, February 2-9, 2021, pp. 3394-3402. AAAI Press, 2021.

[8] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, control and tell: A framework for generating controllable and grounded captions. CoRR, Vol. abs/1811.10652, , 2018.

[9] Long Chen, Zhihong Jiang, Jun Xiao, and Wei Liu. Human-like controllable image captioning with verbspecific semantic roles. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2021, virtual, June 19-25, 2021, pp. 16846-16856. Computer Vision Foundation / IEEE, 2021.

[10] Kun Yan, Lei Ji, Huaishao Luo, Ming Zhou, Nan Duan, and Shuai Ma. Control image captioning spatially and temporally. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2014-2025, Online, August 2021. Association for Computational Linguistics.

[11] Jordi Pont-Tuset, Jasper Uijlings, Soravit Changpinyo, Radu Soricut, and Vittorio Ferrari. Connecting vision and language with localized narratives. In $E C C V, 2020$.

[12] Chaorui Deng, Ning Ding, Mingkui Tan, and Qi Wu. Length-controllable image captioning. CoRR, Vol. abs/2007.09580, , 2020.

[13] Alina Kuznetsova, Hassan Rom, Neil Alldrin, Jasper R. R. Uijlings, Ivan Krasin, Jordi Pont-Tuset, Shahab Kamali, Stefan Popov, Matteo Malloci, Tom Duerig, and Vittorio Ferrari. The open images dataset V4: unified image classification, object detection, and visual relationship detection at scale. CoRR, Vol. abs/1811.00982, , 2018.

[14] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, Lubomir D. Bourdev, Ross B. Girshick, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. CoRR, Vol. abs/1405.0312, , 2014.

[15] B. A. Plummer, L. Wang, C. M. Cervantes, J. C. Caicedo, J. Hockenmaier, and S. Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer imageto-sentence models. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 2641-2649, December 2015.

[16] Bolei Zhou, Hang Zhao, Xavier Puig, Sanja Fidler, Adela Barriuso, and Antonio Torralba. Semantic understanding of scenes through the ADE20K dataset. CoRR, Vol. abs/1608.05442, , 2016.

[17] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization, 2016

[18] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, Control and Tell: A Framework for Generating Controllable and Grounded Captions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[20] Justin Johnson, Andrej Karpathy, and Li Fei-Fei. Densecap: Fully convolutional localization networks for dense captioning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016.

## A 付録

図 7 様々な文長での画像キャプション生成結果


# 定義文自動生成による 専門分野向けエンティティリンキングの精度向上

石垣達也 ${ }^{1}$ 上原由衣 ${ }^{1}$ 劉珊珊 ${ }^{1}$ 松本裕治 ${ }^{2}$ 高村大也 ${ }^{1}$
1 産業技術総合研究所 2 理化学研究所
\{ishigaki.tatsuya, yui.uehara, shanshan.liu, takamura.hiroya\}@aist.go.jp
yuji.matsumoto@riken.jp

## 概要

本研究では，専門分野向けのエンティティリンキ ング (EL)を複数の知識べースから獲得した定義文 を用いて学習する枠組みを扱う．ELは入力文中の 言及 (メンション)を知識ベース中のエンティティ に紐付ける問題である. 候補エンティティの定義文 を埋め込み表現で表し，リンクするか否かを判定す る分類器の学習に用いる手法が知られている. しか し, 定義文は知識ベース中のすべてのエンティティ に付与されているとは限らず，欠損が生じているこ とがしばしばある。そこで，欠損した定義文を言語生成技術により補完することを提案する。 より具体的には，複数の知識ベースを利用し，片方の知識 ベースの定義文からもう片方の知識べースの定義文 を生成することにより，欠損した定義文を互いに補 い合う．また，元々の定義文および生成した疑似定義文を有効活用するためのエンティティリンキン グモデルのアーキテクチャについて調査を行った. MedMentions を用いた実験において，疑似定義文も 活用するモデルが既存手法よりも有意に上回る性能 を示した。

## 1 はじめに

エンティティリンキング (EL) は入力文に含ま れる固有名詞などの言及 (メンション)を, 知識 ベース中のエンティティに対応付ける問題である. Wikipedia などの一般分野の知識ベースにリンクす る設定 [1, 2] のほか, 分野特化の設定 [3] が存在す る. 本研究では特に生物医学の UMLS にリンクす る後者の設定を扱う. どちらの設定でも，標準的な アプローチでは，1) 入力文の言及を検出し，2) 知識 ベースから候補エンティティを抽出した上で，3) 候補をスコアリングする. 本研究では特にスコアリン

図 1: 疑似定義文を用い EL モデルを学習する枠組み.

グ部分に着目し，言及と候補エンティティを適切に 埋め込み表現に変換し, それらがリンクするか否か 正しく判定する分類器の構築を目指す.

従来，EL モデルでは言及と候補エンティティそ れぞれを埋め込みべクトルとして表現し，類似度や 教師あり学習を用いてリンクするか否か判定する 手法がよく用いられている。言及は主に BERT [4]等でベクトル化するのが標準的であるが，候補エン ティティのベクトル化にはエンティティ名を用い る手法やグラフ構造を用いる手法など様々な方法 がある。また，知識べースの各エンティティの定義文 ${ }^{1)}$ を用いる手法もあり，その有効性が知られて いる [2]. しかし, 定義文は必ずしもすべてのエン ティティに対し用意されているわけではない。そこ で，本研究では言語生成技術により定義文を生成し EL モデルの学習に用いる枠組みを提案する。とく に複数の知識ベースから定義文を取得し，欠損する 定義文を言語生成により互いに補完する。

図 1 に示すように，提案する枠組みは，まず UMLS と MeSH, UMLS とWikipedia の対応付けデー タ [5] から，UMLS エンティティに対し MeSH およ び Wikipedia に含まれる定義文を取得する. ただし，

1）一文からなることが多い短いテキストなので，本論文では 定義文と呼ぶが，実際は複数の文から成ることもある.

これらの定義文は欠損している可能性がある. そこ で，MeSH および Wikipedia 両方に定義文が存在す る事例を用いて，2つの言語生成モデル [6] を学習 する. 1 つ目は MeSH の定義文を入力し Wikipedia の定義文らしい出力を自動生成するモデル，2つ目 は Wikipedia の定義文から MeSH の定義文らしい出力を生成するモデルである. これら 2 つの言語生成モデルを用い，知識べースに存在する MeSH お よび Wikipedia の定義文から疑似的な MeSH および Wikipedia の定義文を獲得する。これにより，MeSH もしくは Wikipedia いずれかに定義文が獲得できれ ば欠損テキストに対し疑似的な定義文を獲得でき，定義文の欠損の問題が軽減できると考えられる. 最終的に1つの候補エンティティに対し, MeSH およ び Wikipedia の定義文とそれらから自動生成した疑似的な定義文という 4 種類のテキストを得る.

複数の種類の定義文を利用するエンコードモデル として 2 種類の方法を提案する. 具体的には 1) 久損箇所を疑似定義文で補完する手法，2）疑似定義文 を疑似定義文用のエンコーダで読み込む手法を比較 する. MedMentions [7]を用いた実験より，2) の学習手法，すなわち MeSH 定義文，Wikipedia 定義文，ま たそれぞれに対し自動生成した疑似定義文の 4 種類 を異なるエンコーダで読み込む手法が良い性能を示 すことが分かった．疑似定義文も用いて学習したモ デルは既存手法 [3] よりも良い性能を示すことを報告する。この結果は，従来人間が読むテキストを生成することを目的としていた言語生成モデルの新た な応用の可能性を示すものである.

## 2 関連研究

EL の既存設定は Wikipedia や Freebase [8] など一般分野の知識ベースを対象とする設定 $[1,9,2]$ や, UMLS [10] などの専門分野の知識ベースをリンク先 とする設定が存在する。これらは，テキストデータ の利用という観点では定義文を用いる設定 $[1,2]$ と 定義文を用いずエンティティ名，エイリアス名，グ ラフ構造 [9] といった定義文以外を用いる設定 [9] に分けられる。定義文を用いる設定はただ 1 つの 定義文の存在を仮定しており，1つの候補エンティ ティに対し複数種類の定義文を用いる本研究の設定 と異なる。

EL の既存手法には入力文のエンティティ抽出と 知識ベースエンティティへのリンキングを同時に行 う手法 [11]，それぞれ別に行う手法 [3] が存在する。

図 2: MeSH および Wikipedia の定義文.

本研究では特に候補エンティティに対するスコアリ ングに着目し, 既存のエンティティ抽出および候補 エンティティ生成を用いる.

一方，Wikipedia や Web コーパスから事前学習し た言語生成モデルが，要約など多くの生成タスクに おいて良い性能を示している. 本研究でも，疑似定義文の生成に Wikipedia から事前学習した BART [6] を用いる。言語生成モデルと ELを組み合わせた手法としては, 出力エンティティ名を言語生成モデル で直接生成する手法 [12] が注目されている. これに 対し本研究は, 既存の分類問題として ELを行う枠組みで学習可能な疑似的な学習データを作成するた めに言語生成モデルを用いる.

## 3 提案手法

本研究では， 4 種類の定義文を用いる。すなわち， 1) UMLS とリンクされた MeSH の定義文, 2) UMLS とリンクされた Wikipedia の定義文，3) Wikipedia の 定義文から自動生成された疑似的な MeSH 定義文， および 4) MeSH の定義文から自動生成された疑似的 な Wikipedia 定義文である．以後，疑似的な定義文 を自動生成する手法，ベースラインとして用いる既存モデル MedLinker および複数ソースの定義文を活用するためのモデル拡張について述べる.

## 3.1 定義文の獲得

本研究では特に MedMentions データセットを用 いる設定を扱う.この設定は, PubMed の論文要旨に含まれる言及を，UMLS エンティティに付け る. 図 2 に示すように，MedMentions に出現する UMLS エンティティのうち $80 \%$ にいては MeSH の定義文が取得可能である. すなわち，残りの 20\%については MeSH の定義文が欠損する。一方， MedMentions に出現する UMLS エンティティのうち 20\%については Wikipedia 定義文が取得可能である. さらに MedMentions 全体のうち 18\%は MeSH および Wikipedia の両方の定義文が存在する.

本研究では両方から定義文が取得可能な 18\%部分 を言語生成モデルの学習に用いる.1つ目は MeSH

の定義文を大力とし，疑似的な Wikipedia 定義文を 生成するモデルである. 2 つ目は Wikipedia の定義文を入力し，疑似的な Mesh 定義文を生成するモ デルである. これらの言語生成モデルは英語版の Wikipedia で事前学習された BARTを用い, MeSH お よび Wikipedia の定義文を生成するよう追加学習を 行った.

## 3.2 ベースモデル: MedLinker

ベースラインとする既存手法 MedLinker [3] につ いて述べる.

MedLinker の学習済み配布モデル ${ }^{2)}$ を，言及抽出，候補生成に用いる. MedLinkerによる候補スコアリ ングは定義文の情報は用いず，1) 入力文中の言及の みを大力として計算するスコアおよび，2) 言及と候補エンティティのコサイン類似度による表層一致ス コアを組み合わせる手法である. 本研究では 4 つの 定義文も考慮するスコアを用いて MedLinker を拡張 する. 以下に MedLinker の2つのスコアについて概説する.

1つ目のスコア ScoreCLF はニューラルネットワー クによるスコアリングであり，以下のように入力文中の言及 ent および候補エンティティ $c$ に対するス コアを計算する:

$
\begin{gathered}
\mathbf{s}=\operatorname{Softmax}\left(\mathbf{W}_{e} \text { AverageBERT }(\text { ent })\right), \\
\operatorname{ScoreCLF}(e n t, c)=\mathbf{s} \cdot \delta_{c} .
\end{gathered}
$

ここで，AverageBERT は入力文全体を読み込みエン ティティ部分のサブワードに対する埋め込み表現の 平均值を返す．実際には，BERT の最終層だけでな く，その 2 つ前までの層におけるべクトル表現も含 め平均ベクトルを計算する. 重み行列 $\mathbf{W}_{e}$ とソフト マックス関数を用いて，学習データに含まれるエン ティティ種類数と同じ数の次元を持つ確率分布 $\mathbf{s}$ に 変換する. よって，各次元が学習データに含まれる UMLS エンティティとリンクするか否かを表現する スコアとなる. 候補エンティティ $c$ に対応する要素 のみが 1 をとる one-hot ベクトル $\delta_{c}$ との内積を計算 することで，候補エンティティ $c$ に対するスコアを 得る.

2 つ目のスコア scoreSTR は ent と c のエンティ ティ名をそれぞれ文字 1 グラムから 4 グラムを用い て素性べクトルとし, 表層一致度をコサイン類似度 を用いて計算した:

$
\operatorname{scoreSTR}(e, c)=\cos (e, c)
$

ここで， $\cos ()$ はコサイン類似度を返す。これら 2 つ のスコアの最大値が最終的なスコアとなる.

## 3.3 定義文を活用するモデル

次に，既存モデルを定義文を用いるよう拡張する.この拡張では, MedLinker での 2 つの スコアに加え，定義文を用いてスコアリング する提案スコア ScoreDef を計算し，3つのスコ アの最大値を最終的なスコアとする: Score = max(ScoreSTR, ScoreCLF, ScoreDef). ScoreDef の計算手法として，1) MeSH 定義文を用いる手法，2) MeSH および Wikipedia 定義文を用いる手法，3) 疑似定義文で MeSH および Wikipedia 定義文の欠損を補完す る手法，および 4) 別のエンコーダで 4 種類の定義文 を読み込む手法を比較する。

1. MeSH 定義文を用いる手法: MeSH の定義文 $d e f_{M}$ を用いて候補エンティティ $c$ に対しスコア計算する 以下の手法を用いる:

$
\begin{aligned}
& \operatorname{ScoreDef}(\text { ent }, c)=\operatorname{Softmax}\left(\mathbf{W}_{M}[\right. \\
& \text { AverageBERT(ent); } \\
& \left.\left.\operatorname{BERT}_{M}\left(d e f_{M}\right)\right]\right),
\end{aligned}
$

ここで，BERT ${ }_{M}$ は候補エンティティの MeSH 定義文 を BERT で読み込み，先頭に付与された [CLF]トー クンに対する表現べクトルを返す。また，[;] は結合 ベクトルを表し， $\mathbf{W}_{M}$ は結合ベクトルを 2 次元に圧縮する重み行列である.

2. MeSH および Wikipedia の定義文を用いる手法: さらに，複数種類の定義文を用いる効果を検証する ため，Wikipedia の定義文も用いスコアリングする モデルを考える:

$
\begin{aligned}
\operatorname{ScoreDef}(\text { ent }, c)= & \operatorname{Sof} \operatorname{tmax}\left(\mathbf{W}_{M+W}[\right. \\
& \text { AverageBERT }(\text { ent }) ; \\
& \left.\left.\operatorname{BERT}_{M}\left(\text { def }_{M}\right) ; \operatorname{BERT}_{W}\left(\text { de } f_{W}\right)\right]\right),
\end{aligned}
$

ここで，BERT $W_{W}$ は Wikipedia 定義文先頭の $[$ CLF] トー クンに対する埋め込み表現で， $\mathbf{W}_{M+W}$ は結合ベクト ルを二次元に圧縮するための重み行列である。

3. 定義文の欠損を疑似定義文で補完する手法: 前述 したように MeSH の定義文や Wikipedia 定義文は欠損する。その場合，空のサブトークン列の先頭に [CLF] トークンが付与され読み込まれるため，エン ティティの定義に関する情報を活用できない。その

ため，欠損箇所を自動生成した疑似定義文で補完す るモデルを提案する:

$
\begin{aligned}
& \text { ScoreDef }(\text { ent }, c)=\operatorname{Softmax}\left(\mathbf{W}_{M+W+A u g}[\right. \\
& \text { AverageBERT(ent); } \\
& \operatorname{BERT}_{M}\left(\text { de }_{\text {Aug } M}\right) ; \\
& \left.\left.\operatorname{BERT}_{W}\left(d e f_{A u g W}\right)\right]\right),
\end{aligned}
$

ここで，BERT ${ }_{A u g M}$ および BERT ${ }_{A u g W}$ は MeSH または Wikipedia 定義文が欠損する場合に，疑似定義文で補完したテキストの埋め込み表現を表す。 $\mathbf{W}_{M+W+A u g}$ は前述した手法と同様に重み行列である.

4. 4 つの定義文を異なるエンコーダで読み込む手法:前述した補完による手法は, 自動生成した疑似定義文と MeSH もしくは Wikipedia に含まれる定義文を 区別せず，それぞれ単一のエンコーダで読み込む。 ここで，疑似定義文と本来の定義文は区別し別のエ ンコーダで読み込む手法を提案する：

$\operatorname{ScoreDef}($ ent,,$c)=\operatorname{Softmax}\left(\mathbf{W}_{M+W+\operatorname{Sep}}[\right.$ AverageBERT (ent); $\operatorname{BERT}_{M}\left(\right.$ de $\left._{M}\right)$; $\operatorname{BERT}_{W}\left(\right.$ de $\left.f_{W}\right)$; BERT $_{\text {PseudoM }}\left(\right.$ def $\left._{\text {Pseudo }}\right)$; BERT $_{\text {Pseudow }}\left(\right.$ de $\left.\left.\left._{\text {Pseudow }}\right)\right]\right)$,

ここで，BERT Pseudow および BERT PseudoM は疑似定義文をそれぞれ読み込む BERTである。

## 4 実験

実験には MedMentions st21pv [7] データを用いた. MedMentions は PubMed の論文要旨を UMLS に人手 でリンクしたデータを格納している．UMLS エン ティティには固有の ID である CUI の他に STR と呼 ばれるカテゴリに相当する ID も含むが，本研究で はより難しい問題である CUIアノテーションを正解 として用いる。実験には MedMentions データセット の学習，開発および評価用のデータ分割を用いた。 ScoreSTR，ScoreCLF の計算には学習済みモデルを 用い，提案スコアの ScoreDef は学習セットを用い て学習した. 評価指標には MedLinker との比較のた め，適合率，再現率， $\mathrm{F}$ 值を用いる。

## 5 結果

表 1 に結果を示す. MedMentions 全体での評価を表の左側に示す. ScoreDef は MeSH および Wikipedia 定義文の両方もしくはいずれかが存在す

表 1: MedMentions 全体での評価 (左) と MeSH もしく は Wikipedia いずれかもしくは両方の定義文が入手 できる部分での評価 (右). *別エンコーダモデルと UMLS+Wikipedia モデルとの差は統計的に有意 $(p<0.01)$.

る場合に計算できる. よって，両方が存在しない場合には MedLinker のスコアと変化がない. よって， ScoreDef の計算可能な部分 (図 2 における青と緑部分の和集合) のみでの評価も行う。また, $\mathrm{MeSH}$ も しくは Wikipedia の少なくともいずれかの定義文が 存在しScoreDef が計算可能な部分のみでの評価は 表 1 の右側に示す.

MedMentions 全体での評価では，定義文の情報を 用いない MedLinker のF 值は 48.36であるのに対し，定義文を用いる手法では $\mathrm{F}$ 值が 48.57 まで向上し た. さらに，さらに複数種類の定義文を用いる拡張 として Wikipedia の定義文を追加すると $\mathrm{F}$ 値が 48.61 まで向上した．疑似的な定義文も用いる 2 つのモデ ルは補完による手法が 48.62 であり効果が見られな かった。一方，別のエンコーダで読み込むモデルで は 48.75 と性能を向上させ，別エンコーダで読み込 む手法が有効であることが分かった。

ScoreDef の計算可能な部分での評価では, MedLinker と疑似定義文を用いる手法の性能差 は MedMentions 全体での評価值での性能差より 大きい. 具体的には MedMentions 全体での評価で は MedLinker の F 值からの向上が 0.39 (48.36 から 48.75) なのに対し, ScoreDef が計算可能な部分では 0.62 (50.27 から 50.89) であった. よって，定義文を 用いるスコア関数によってスコアが変わる部分に対 して，提案した枠組みはより効果的に作用している ことがわかる.

## 6 おわりに

本研究では専門分野向け EL モデルの学習に，言語生成モデルにより作成した疑似的な定義文を活用 する新たな枠組みを提案した。実験より，疑似的な 定義文であっても EL モデルの性能を向上させるこ とが分かった。この知見は，言語生成モデルの新た な活用法としての新たな可能性を示すものである。

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP16010) の結果得られたものである. 産総研の AI 橋渡しク ラウド $(\mathrm{ABCI})$ を利用し実験を行った.

## 参考文献

[1] Rada Mihalcea and Andras Csomai. Wikify! linking documents to encyclopedic knowledge. In Proceedings of 29th ACM International Conference on Information and Knowledge Management, p. 233-242, New York, USA, 2007. Association for Computing Machinery.

[2] Manoj Prabhakar Kannan Ravi, Kuldeep Singh, Isaiah Onando Mulang', Saeedeh Shekarpour, Johannes Hoffart, and Jens Lehmann. CHOLAN: A modular approach for neural entity linking on Wikipedia and Wikidata. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 504-514, Online, April 2021. Association for Computational Linguistics.

[3] Daniel Loureiro and Alípio Mário Jorge. In Joemon M. Jose, Emine Yilmaz, João Magalhães, Pablo Castells, Nicola Ferro, Mário J. Silva, and Flávio Martins, editors, Proceedings of 42nd European Conference on Information Retrieval.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Afshin Rahimi, Timothy Baldwin, and Karin Verspoor. WikiUMLS: Aligning UMLS to Wikipedia via crosslingual neural ranking. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5957-5962, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[6] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[7] Sunil Mohan and Donghui Li. Medmentions: A large biomedical corpus annotated with \{umls\} concepts. In Proceedings of Automated Knowledge Base Construction (AKBC), 2019.

[8] Kurt Bollacker, Colin Evans, Praveen Paritosh, Tim Sturge, and Jamie Taylor. Freebase: a collaboratively created graph database for structuring human knowledge. In SIGMOD '08: Proceedings of the 2008 ACM SIGMOD inter- national conference on Management of data, pp. 12471250, New York, NY, USA, 2008. ACM.

[9] Zhicheng Zheng, Xiance Si, Fangtao Li, Edward Y. Chang, and Xiaoyan Zhu. Entity disambiguation with freebase. In Proceedings of the The 2012 IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technology - Volume 01, WI-IAT '12, p. 82-89, USA, 2012. IEEE Computer Society.

[10] Olivier Bodenreider. The unified medical language system (umls): integrating biomedical terminology. Nucleic Acids Res., Vol. 32, No. Database-Issue, pp. 267-270, 2004.

[11] Nikolaos Kolitsas, Octavian-Eugen Ganea, and Thomas Hofmann. End-to-end neural entity linking. In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 519-529, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[12] Nicola De Cao, Gautier Izacard, Sebastian Riedel, and Fabio Petroni. Autoregressive entity retrieval. In Proceedings of The Ninth International Conference on Learning Representations (ICLR2021), 2021.