# トランスフォーマー文法

吉田遼 大関洋平
東京大学
\{yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

本研究では、階層構造における部分木を一つのベクトルに動的に合成しつつ、階層構造を生成する Transformer である、トランスフォーマー 文法 (Transformer Grammar, TG) を提案する。さらに、SyntaxGymを用いて TG を評価し、RNNG 及び PLM-mask の精度を上回ることを確認した。階層構造を明示的に扱う上で、アテンション機構と、部分木の合成関数の双方に利点があることを示唆したといえる。

## 1 はじめに

人間らしい文法能力を持った言語モデルとは、どのようなモデルだろうか。近年主流の Transformer [1]をべースとした大規模な事前学習モデルの一つである GPT-2 XL [2] は、言語モデルの文法能力を問うベンチマークである SyntaxGym [3] において最も高い精度を達成している [4]。しかし、 これらのモデルの精度は人間が文法能力を獲得するまでに得るよりも遥かに大規模な学習データによって支えられており、アーキテクチャ自体が「人間らしい」かどうかは定かではないとの指摘もある [5]。 Linzen は同論文 [5] で、「人間らしい」アーキテクチャの例としては、自然言語の階層構造を明示的に扱うモデルが考えられる、と述べているが、それらのモデルの代表が再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammars, RNNG) [6] である。RNNG は、少ないデータで統制した際に他のモデルよりも高い文法能力を獲得できることが示されている他 $[7,8]$ 、人間の脳波を高い精度でモデル化できることから、人間の文処理モデルとしての妥当性も主張されているモデルである [9]。RNNG の最大の特徴は、階層構造における部分木を一つのべクトルに動的に合成する合成関数であり、先行研究では、この合成関数なしではRNNG は構造をうまく扱えないことが明らかになっている $[10,8]$ 。一方で、近年 Qian ら [11] は、Transformer ベースの階層構造を明示的に扱うモデルを提案し、大規模な事前学習なしに高い文法能力を獲得できることを示している。しかし、彼らの提案したモデルは、 RNNG においては必要不可欠であった合成関数を持っておらず、階層構造を明示的に扱うことによる利点を生かしきれていない可能性がある。そこで、本研究では、階層構造における部分木を一つのベクトルに動的に合成しつつ、階層構造を生成する Transformer である、トランスフォーマー文法 (Transformer Grammar, TG) を提案する。

## 2 先行研究

## 2.1 再帰的ニューラルネットワーク文法

$\mathrm{RNNG}^{1}{ }^{1}$ は、RNN ベースの単語列 $X$ と階層構造 $Y$ の生成モデルであり、以下の同時確率をモデル化する：

$
p(X, Y)=p\left(a_{1}, \cdots, a_{n}\right)=\sum_{t=1}^{n} p\left(a_{t} \mid a_{<t}\right)
$

ここで、 $a_{t}$ は各時点での階層構造または単語列の生成に関する動作である。RNNG は、スタックと呼ばれるデータ構造でベクトルを保持しており、各時点における動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ は、スタック LSTM [12]により算出されたスタックの状態を表すベクトルに基づき算出される。動作は以下の 3 つからなる：

・ $\mathrm{NT}(\mathrm{X})$ : 新たに開いた句 $(\mathrm{X}$ を生成する。開いた句の非終端記号 (Xを表すべクトルが、スタックの先頭に追加される。

・ $\mathrm{GEN}(\mathrm{x})$ ：単語 $\mathrm{x}$ を生成する。生成した単語 $\mathrm{x}$ を表すべクトルが、スタックの先頭に追加される。

1）本論文では、Dyer ら [6] が元論文で提案しているモデルではなく、Kuncoro ら [10]によって提案された Stack-only RNNG を扱う。

図 1 双方向 LSTM による合成関数。REDUCE の際の、閉じた句を表すべクトルの算出に用いられる。図は Dyer ら [6]より引用。

-REDUCE：直近開かれた句を閉じる。最もスタックの先頭に近い、開いた句の非終端記号を表すべクトル及び、その句の娘にあたる全てのベクトルが、合成関数により閉じた句を表す一つのベクトルに合成される。合成関数には、双方向 LSTM が用いられる (図 1)。

前述したように、RNNG は、REDUCE の際の合成関数を取り除くと、構文解析精度 [10]、文法能力 [8]、及び脳波のモデル化精度 [9] が低下することが分かっており、合成関数が階層構造を正確に捉えるための中心的役割を担っているといえる。

## 2.2 Parsing as Language Modeling

Parsing as Language Modeling (PLM) は、Qian ら [11] によって提案された、Transformerベースの単語列と階層構造の生成モデルであり、RNNG と同様に、式 1 の同時確率をモデル化する。PLM は、RNNGと異なり、NT(x)、GEN(x)、REDUCE の動作時に、それぞれ、開いた句の生成、単語の生成、REDUCE トークンの生成のみを行う。そして、通常の言語モデルが単語列 $w_{1}, \cdots, w_{n}$ を扱うのと同様に、動作列 $a_{1}, \cdots, a_{n}$ を扱い、Transformerにより各時点における動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ を算出する。

また、Qian らは同論文で、PLM に部分木の情報を有効活用させるため、全てのアテンションヘッドのうち 2 つに対して、1つには直近の開かれた句の内部のみ、もう 1 つには直近開かれた句の外側のみ、に注意を注意を向けさせるという手法を提案している。Transformer 言語モデルが、訓練時にモデルが未来の情報を参照しないために用いられる、“マスク”を用いてこの手法を実現しているため、このモデルは PLM-mask と呼ばれる。

前述したように、Qian らは実験により、PLM 及び PLM-maskは、大規模な事前学習なしに高い文法能力を獲得できることを示している。また、彼らの結果からは PLM-mask が PLM の文法能力を僅

図 $2 \mathrm{TG}$ のアーキテクチャ。

かではあるが上回っていることが読み取れ、一見 PLM-mask は部分木の情報を有効活用できているようにも思われる。しかしながら、PLM-maskは、 RNNG の合成関数のように部分木を表す一つのべクトルを生成しているわけではない。RNNGにおいては必要不可欠であった合成関数が、PLMのような Transformer ベースのモデルにとってもまた必要であるという可能性は捨て切れない。

## 3 トランスフォーマー文法

本研究では、階層構造における部分木を一つのベクトルに動的に合成しつつ、階層構造を生成する Transformer である、トランスフォーマー文法 (Transformer Grammar, TG) を提案する。TG のアー キテクチャを、図 2 に示した。TGは、RNNG 及び PLM (-mask) と同様に、式 1 の同時確率をモデル化する。TGは、ベクトルを保持するデータ構造としてスタックを用い、各時点における動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ は、Transformerにより算出された、スタックの状態を表すべクトルに基づき算出される。 NT(X)、GEN(x)、REDUCE の動作時の挙動は RNNG と同じである。したがって、REDUCE の動作時には、合成関数 (図 1)により、部分木は一つのべクトルに合成される。

図 3 SyntaxGym 全体の結果。LM、PLM-mask、GPT-2 の結果は Qian ら [11]より引用。

TG の学習同じくTransformer ベースのモデルである PLM (-mask) は、動作列 $a_{1}, \cdots, a_{n}$ を通常の言語モデルのように扱う。そのため、PLM (-mask) の学習時には、通常の Transformer 言語モデルの学習と同じように、全動作を同時に処理することが可能である。一方で、TGは各時点でスタック内部のベクトルが動的に変化する。そのため、通常の Transformer 言語モデルは文生成時のみに行う、各時点における逐次処理を、TG は学習時にも行う必要がある。また、TG は各時点での動作が文ごとに異なるため、RNNG と同様にミニバッチ化が難しい。 そこで本研究では、固定長テンソルのスタックによる RNNG のミニバッチ化手法 [13] に数点の変更を施し、TGに適用した。具体的には、Transformer への入力には、バッチ内で最もスタックが深い文に合わせて、全ての文について、それよりも浅い位置にあるスタック内の全てのベクトルを用いるように変更し、2) さらに、Transformer の出力からは、各文のスタックの深さを保持するポインタ3) 位置のベクトルを取り出すように変更を施した。しかしながら、TGでは、アテンション機構によるメモリの多量の消費により、この手法を用いてもRNNG ほどの大きいバッチサイズでの並列化は実現できない。 これらのように、階層構造における部分木を一つのベクトルに動的に合成しつつ、階層構造を生成する Transformer の実現には、計算効率の犠牲が伴っている。

## 4 実験

本節では、言語モデルの文法知識を問うベンチマークである SyntaxGym [3] を用いて、SGの文法能力を評価する.

## 4.1 実験設定

Qian ら [11] が報告している、PLM-maskなどのモデルの評価結果と公平に比較をするために、本論文における実験設定の大部分は彼らの実験設定を踏襲している。

## 4.1.1学習データ

BLLIP-MD [14] を用いた。 $600 \mathrm{~K}$ 文、14M トークンからなるコーパスである。モデルの学習に用いる階層構造は、Qian ら [11] が PLM (-mask) を学習する際に、SoTA の句構造構文解析器 [15] によって付与したのと同じものを用いた。4）各文の単語は、 Huggingface Transformer [16] 実装の BPE [17] トークナイザを用いてサブワード単位に分割した。

## 4.1.2 モデル及びパラメータ

TG 256 次元、 3 層 4 アテンションヘッドのモデルを用いた。総パラメータ数は $16.6 \mathrm{M}$ 。

RNNG 276 次元、 2 層のモデルを用いた。総パラメータ数は 16.6M。Qian ら [11] は、Hu ら [4] により学習された RNNG と PLM (-mask) を比較しているが、Hu らは RNNG の学習に単語単位で分割したコーパスを用いている一方、Qian らは PLM (-mask) の学習にサブワード単位で分割されたコーパスを用いており、実験設定の乘離が見られた。そのため本論文では、サブワード単位で分割されたコーパスを用いて、TG と同じパラメータ数の RNNG を学習した。

PLM-mask Qian らにより報告されている、768 次元、12 層 12 アテンションヘッドのモデルの結果を引用する。総パラメータ数は $117 \mathrm{M}$ 。総パラメータ数は TG と RNG の約 7 倍であるが、学習コーパスなどの条件は TG と RNNG と同じである。

LM ベースラインの階層構造を明示的に扱わない言語モデル (LM) である。Qian らにより報告されている、768 次元、12 層 12 アテンションヘッドのモデルの結果を引用する。

4） BLLIP コーパスには元から階層構造が付与されているが、 より正確な階層構造を得るために、その終端記号の単語列のみを取り出し、このような処理をしている。

図 4 Circuit レベルの結果。LM、PLM-mask の結果は Qian ら [11] より引用。

## 4.1.3 評価データ

言語モデルの文法知識を問うベンチマークである、SyntaxGym [3] を用いた。幅広い文法知識を力バーしており、例えば、Agreement の circuitでは、主語に動詞の数を一致させる能力が問われている。具体的には、言語モデルには以下の (1)のように動詞の数が異なる 2 文が与えられ、正しい数の動詞 ((1a) の下線部) に、誤った数の動詞 ((1b) の下線部) よりも高い確率を付与することが期待される：

(1) a. The author next to the senators is good. b.*The author next to the senators are good.

階層構造を明示的に扱うモデルが単語に付与する確率は、先行研究 $[18,8]$ を踏襲して、word-synchronous beam search [19] を用いて求める。具体的には、単語列の背後に想定される階層構造のうち確率の高いものを複数保持しつつ、それらの確率を階層構造について周辺化することでモデルが単語に付与する確率を算出する。Qian ら [11] を踏襲し、動作ビーム幅 100、単語ビーム幅 $10 、$ ファストトラック幅 5 を採用した。

## 4.2 結果

## 4.2.1 SyntaxGym 全体

SyntaxGym 全体の結果を、表 3 に示した。棒グラフは seed の異なる 3 つのモデルの結果の平均値を表し、それぞれの点は各 seed の結果を表す。LM、 PLM-mask、GPT-2 の結果は Qian らの論文 [11] より引用したものである。はじめに、本論文の提案モデルである TGを含む全てのモデルがベースラインの LM を上回っており、階層構造を明示的にモデル化することの利点があることが確認できる。次に、
TGは、RNNG の精度を上回っている。このことから、合成関数により部分木を一つのベクトルに合成するモデルにおいても、アテンション機構により過去の全ての情報を直接参照できることの利点があることが分かる。次に、TGは、PLM-mask の精度を上回っている。このことから、Transformer ベースのモデルが階層構造を扱う際にも、合成関数によって部分木を一つのべクトルに動的に合成することの利点があることが分かる。最後に、Qian らの論文 [11] より引用した事前学習済み GPT-2 の結果 $(80.8 \%)$ と比較すると、BLLIP-MD で学習したモデルのうち、唯一 TGのみが匹敵する精度 $(80.7 \%)$ を達成している。

## 4.2.2 Circuit レベル

SyntaxGym の各 circuit レベルの結果を、表 4 に示した。TGは、Agreement を除くほぼ全ての circuitにおいて、RNNG 及び PLM-mask の結果を上回っており、アテンション機構と、部分木の合成関数は、幅広い文法知識の獲得に有用であることが分かる。

## 5 おわりに

本研究では、階層構造における部分木を一つのベクトルに動的に合成しつつ、階層構造を生成する Transformer である、トランスフォーマー 文法 (Transformer Grammar, TG) を提案した。そして、SyntaxGym を用いて TG を評価し、RNNG 及び PLM-mask の精度を上回ることを確認した。階層構造を明示的に扱う上で、アテンション機構と、部分木の合成関数の双方に利点があることを示唆したといえる。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受

けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998$6008,2017$.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019

[3] Jon Gauthier, Jennifer Hu, Ethan Wilcox, Peng Qian, and Roger Levy. SyntaxGym: An online platform for targeted evaluation of language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 70-76, Online, July 2020. Association for Computational Linguistics.

[4] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In Proceedings of the Association of Computational Linguistics, 2020

[5] Tal Linzen. How can we accelerate progress towards human-like linguistic generalization? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5210-5217, Online, July 2020. Association for Computational Linguistics.

[6] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntaxsensitive dependencies well, but modeling structure makes them better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1426-1436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural supervision improves learning of non-local grammatical dependencies. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. $2727-$ 2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Adhiguna Kuncoro, Miguel Ballesteros, Lingpeng Kong, Chris Dyer, Graham Neubig, and Noah A. Smith. What do recurrent neural network grammars learn about syntax? In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1249-1258, Valencia, Spain, April 2017. Association for Computational Linguistics.

[11] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural guidance for transformer language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3735-3745, Online, August 2021. Association for Computational Linguistics.

[12] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[13] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4340-4352, Online, August 2021. Association for Computational Linguistics.

[14] Eugene Charniak, Don Blaheta, Niyu Ge, Keith Hall, John Hale, and Mark Johnson. Bllip 1987-89 wsj corpus release 1. Linguistic Data Consortium, Philadelphia, Vol. 36, , 2000

[15] Nikita Kitaev and Dan Klein. Constituency parsing with a selfattentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[17] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[18] Richard Futrell, Ethan Wilcox, Takashi Morita, Peng Qian, Miguel Ballesteros, and Roger Levy. Neural language models as psycholinguistic subjects: Representations of syntactic state. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 32-42, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[19] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.


# Natural Language Processing Technologies in English as Second Language Learning Applications: A Review

Julio Christian Young ${ }^{1}$ Makoto Shishido ${ }^{2}$
Graduate School of Advanced Science and Technology, Tokyo Denki University
1julio.christian.young[at]_gmail.com ${ }^{2}$ shishido[at]mail.dendai.ac.jp
}

\begin{abstract}
Previous studies have shown how Artificial Intelligence (AI) technology can help the English as Second Language (ESL) learning process. Text to Speech, Speech to Text, and Chatbot are some of them. In this research, the research objective is to show the status, opportunities, and challenges associated with such technologies for ESL learning.
\end{abstract
## 1 Introduction

Having fluent English communication skills increase one's academic and career opportunities. With the popularization of deep neural networks in 2015 [1], artificial intelligence (AI) began to accomplish humanlike performance in various natural language processing tasks. Therefore, its implementation starts to revolutionize how one can learn a language effectively, inclusively English. Chatbot, text to speech (TTS), and speech to text (SST) are AI applicative aspects favored by researchers to achieve such objectives.

For Learning English as a Second Language (ESL), research in $[8,14,15]$ shows that STT technology can create a personalized learning system; therefore, students can practice and evaluate their speaking skills individually. The research found that the resulting system made students feel comfortable as it mitigates the fear of being judged when they practice in a classroom setting. On the other research in [11, 20], researchers found that TTS technology can mitigate the cost to hire a professional for producing listening materials. Moreover, using TTS, teachers can adjust the listening materials according to the class competency. Lastly, research in [17, 26, 27] demonstrated that a chatbot could be a perfect learning partner as it never grows tired and can be accessed according to students' needs.
However, there are still several challenges that have not been fully addressed mentioned by the previous research. For instance, in [16, 17], researchers state a Chatbot's unintelligent behavior might cause a communication breakdown that minimizes students' learning interest. While for STT-based learning applications, researchers argued it requires unusual preparations and only works in the research setting, not in the real-world situation [18]. Lastly, most students in [19] believed their teacher is a better pronunciation model even when they achieved a better score using TTS word dictation system.

Based on the presented benefits and challenges, the focus of this research is to do a literature review to gather all information regarding the opportunity, challenges, and research results related to the application of TTS, STT, and Chatbot technology.

## 2 Research Methodology

In this research, the sequence of activities carried out for the literature review process is described in Fig. 1.

Fig. 1. The Sequence of Activities Conducted in Our

$
\text { Study }
$

In the article gathering step, 61 items were gathered using one from the following keywords: "chatbot", "speech to text", and "text to speech, with two extra keywords of "English" and "learning". The gathering was done using Google Scholar Search Engine for research published from 2017 to 2020. Secondly, the abstract screening step was conducted to ensure that each gathered
article truly presented the potential benefits and challenges of such technologies in English learning. Based on the abstract screening step, there are only 26 remaining articles (5 in TTS, 6 in STT, and 15 in Chatbot domain). Finally, the remaining articles will be read to extract all information under these categories.

1. How they implement their technology of choice to help the learning process.

2. The opportunity assumed.

3. The research results.

4. The presented challenges in the implementation part.

The summarization from all points above will be presented in the next section. For readers' convenience, the summarization results for each technology will be presented in a separate subsection.

## 3 Previous Research

## 3.1 TTS for English Learning

Learning Strategy - Several learning strategies can be incorporated with TTS technology such as Listening comprehension [11, 13], phonological acquisition [12], words dictation [19], and word rhyme \& synonym [20].

Opportunity - Through various implementations, researchers believe there are advantages of TTS for ESL learning, which are.

1. TTS technology mitigates the cost and time to hire professionals for producing listening materials [11, 20].

2. Facilitator has total control of speech rate, loudness, tone, speaker's identity, and delay between a word in the produced materials $[11,12,13]$.

3. TTS service read reads the words at a constant rate and each word is rhythmically segmented [20].

4. Audio files produced by the TTS service have a native-like pronunciation which might enrich students' language input [13].

Results - Research in [12, 20] conclude that both $\theta f$ students who learn with human voices and audio materials from TTS have a similar learning performance; while research in $[11,19]$ conclude that students who learn with TTS assistance perform better learning performance compared to students that learn with the conventional method. On the other hand, qualitative research [13] on teacher perspective in incorporating the TTS technology for ESL learning also yielded a positive result. EFL teachers believed TTS might be useful to create listening materials and the produced material has a similar pronunciation to the native speaker so it might be beneficial to students.

Challenges - Despite its positive impact, there are several challenges for its application, such as.

1. Due to unnatural voice characteristics and emotionless intonation, most participants prefer ESL teachers to TTS technology [19].

2. TTS technology doesn't truly understand the concept of language, so there is no confirmation whether each word is spelled correctly or not [13].

3. Current TTS technology has no intonation to some punctuations (e.g., exclamation or question mark) resulting in wrong intonation to exclamatory and interrogative sentences [13].

## 3.2 STT for ESL Learning

Learning Strategy - In ESL Learning, researchers mainly incorporated STT technology for pronunciationrelated activities which include single vowels pronunciation [21], students' phonetic and fluency evaluation [15, 18], and utterance practice [8, 14, 15]. However, in [22], researchers utilize STT technology to provide real-time transcription of EFL teachers' speech in a classroom.

Opportunity - The previous research stated there are several advantages of STT for ESL learning which are.

1. Mitigate the resources needed for one-on-one practice that involves a native speaker $[8,18]$.

2. Provide a less intimidating and serene practice environment as students often feel uncomfortable, and fear to be judged to practice in a public [15].

3. STT implementation for speech transcription [22] provides dual-modality so it might be useful to fit students' learning styles.

Results - All previous quantitative research shows a positive result on students' perception regarding STTbased learning applications [8, 14, 15, 21, 22]. Most participants in $[8,14,15]$ felt less intimidated in their speaking practices using STT; it fits their learning preferences, and they're willing to use it for in- and outclass learning activities. For the real-time transcription use in [22], most participants highly appreciate STT implementation for improving their listening skills. On
the other end, quantitative research in [18] shows that students who use STT for ESL learning have a better speaking performance compared to others who do not.

Challenges - Regardless, there are several difficulties mentioned from STT implementation for ESL Learning.

1. Small group of students with high language ability finds the visual aspect of STT useless as they processed information directly from speech. [22].

2. STT might affect students' speaking performance as they might be slowing their speech on purpose to accentuate clarity [18].

3. Considering current STT trained by audio data from native speakers, the recognition rate for ESL students is often low due to their utterances being often mistranslated [8].

## 3.3 Chatbot for ESL Learning

For ESL Learning, research in the past utilized chatbots more frequently compared to the other two. Chatbots leverage text or voice modalities to engage in meaningful conversations with students. For chatbot application that interacts through users' utterances, STT and TTS technologies become the two underlying components to process the input and output voice in it. Therefore, the successful application of a voice-based chatbot for ESL learning simply reflects the success of the other two technologies within.

Learning Strategy - Researchers primarily implement chatbots as learning tools by making them learners' conversation partners. While researchers in $[2,9,26,5,4]$ implement a chatbot as a free conversational agent that engages in a diverse and broad conversation, others try to use it to aim at a specific learning objective. For example, researchers in [10] utilized a chatbot to assist students in a writing practice; while in [23], researchers created a chatbot that assists students in their writing activities by finding spelling and grammatical errors in their writing; in other research [24], the chatbot acts as students' virtual reading partner that recommends appropriate readings based on their level and evaluates their reading comprehension.

Opportunity - Researchers in the past considered the following advantages when they integrated a chatbot into ESL learning.
1. Students learn better when words are presented in spoken forms with a conversational style in which a chatbot is capable of [25].

2. Chatbot has a huge potential to help countries with an insufficient number of English native speakers [25, 9].

3. Interacting with a chatbot creates a pleasant learning experience for students $[3,6,26,27]$. A chatbot voluntarily engages in a conversation with students anytime and anywhere [25, 26, 17, 9, 6]. For ESL students with low language and speaking skills, in contrast to a human partner, a Chabot never grows tired and impatient even when a student keeps repeating the same mistake $[26,17,27]$.

4. Learning with a chatbot allows students to dictate the flow of the conversation to present learning materials according to their needs $[3,6]$.

5. Through multimodality implementation, a chatbot allows students to practice all skills in the English language (speaking, listening, reading, and writing). Moreover, it provides the opportunity for students to make use of diverse vocabulary and sentences structures that they scarcely use [26, 17, 27].

Results - The qualitative research result in the past shows a mix between the positive and negative impact of chatbot usage in ESL learning. For the positive part, most participants believed chatbot is beneficial for language learning [10, 16]. Most participants also agreed that a chatbot can hold a native-like conversation that feels authentic [10]. Moreover, in [9], after 10 minutes of weekly engagement with a chatbot in 8 weeks period, students felt more motivated, interested, and confident for their English skills. Participants from various research in $[24,3,27]$ perceived chatbot as a better learning partner (more patient, non-judgmental, and more relaxing) compared to the human study partner.

However, research in [4] shows that when students were engaged in a chat session for long enough, they began to lose interest in the chatbot thus leading to a significant decrease in their motivation. Secondly, the previous research [23] finds students feel a conversation with a chatbot was dull as its response are is unvaried. On top of that, chatbot inappropriate and unnatural responses could also lead to a bland conversation that decreases their learning motivation.

On the other hand, most quantitative research showed a positive result of a chatbot on improving students' English performance. In the previous research, after a short term (a week) [7, 10] and a long term (eight weeks) [9] of engagement with a chatbot, students showed a significant vocabulary test score improvement. Moreover, a study in [7] also compared a chatbot and a traditional Listeningand-Repeat (LRE) learning system, its result also shows that students engage 2.1 times longer with a chatbot system compared to the traditional LRE. Other previous research $[16,4]$ that measure the effects of chatbot usage on English writing skills found a significant improvement in students' words production and grammar skills. Lastly, in [2], researchers found that students who incorporate chatbots into their learning process achieve a better TOEIC Listening and Reading test score compared to others who do not.

Challenges - The previous research showed there are several challenges worth considering when chatbot technology is used for ESL learning.

1. Students might find the conversation with a chatbot is dull as it often gives monotonous responses [16, 17]. On top of that, the inappropriate responses from chatbots can lead students to frustration thus demotivating them [17].

2. Unintellectual nature of chatbot often makes its engagement with students short [17].

3. As a conversation partner, chatbots are often programmed for a specific and limited range of topics that don't suit the learners' needs and interests [10, 25].

## 4 Conclusion

In the last four years, most research showed the practicality and promising result of STT, $\mathrm{TTS}_{2}$ and Chatbot for ESL learning. Through the assistance of such technology, teachers can provide a great number of materials and exercises for ESL students. Furthermore, they can also allow students to engage in genuine communication despite their unideal learning environment. However, researchers in [4] argued that the novelty effects might be the main factor of their successful result so in the long term they will not truly contribute to students' English skills. Therefore, to help students in their learning process, it is better to view such technology as a supportive tool that aimed at a specific learning objective and designed them to fit that.

## References

[1] LeCun, Y., Bengio, Y., \& Hinton, G. (2015). Deep learning. nature, 521(7553), 436-444.

[2] Kim, N. Y. (2018). A study on chatbots for developing Korean college students' English listening and reading skills. Journal of Digital Convergence, 16(8), 19-26.

[3] Shin, D., Kim, H., Lee, J. H., \& Yang, H. (2021). Exploring the Use of An Artificial Intelligence Chatbot as Second Language Conversation Partners. Korean Journal of English Language and Linguistics, 21, 375-391.

[4] Kim, N. Y. (2019). A study on the use of artificial intelligence chatbots for improving English grammar skills. Journal of Digital Convergence, 17(8), 37-4.

[5] Fryer, L. K., Ainley, M., Thompson, A., Gibson, A., \& Sherlock, Z. (2017). Stimulating and sustaining interest in a language course: An experimental comparison of Chatbot and Human task partners. Computers in Human Behavior, 75, 461-468.

[6] Nghi, T. T., \& Phuc, T. H. Bots as Foreign Language Learning Tools: From Theory To Practice.

[7] Ruan, S., Jiang, L., Xu, Q., Liu, Z., Davis, G. M., Brunskill, E., \& Landay, J. A. (2021, April). EnglishBot: An AI-Powered Conversational System for Second Language Learning. In 26th International Conference on Intelligent User Interfaces (pp. 434444).

[8] Shishido, M. (2018, June). Developing e-learning system for English conversation practice using speech recognition and artificial intelligence. In EdMedia+ Innovate Learning (pp. 226-231). Association for the Advancement of Computing in Education.

[9] Kim, N. Y. (2018). Chatbots and Korean EFL students' English vocabulary learning. Journal of Digital Convergence, 16(2), 1-7.

[10] Alsadoon, R. (2021). Chatting with AI Bot: Vocabulary Learning Assistant for Saudi EFL Learners. English Language Teaching, 14(6), 135157.

[11] Andriani, T. N., Herawati, Y. W., \& Sulistyo, T. (2020). Text-to-Speech Application for Foreign Language Learner' Listening Comprehension in Indonesia.

[12] Cardoso, W. (2018). Learning L2 pronunciation with a text-to-speech synthesizer. Future-proof CALL: language learning as exploration and encounters-short papers from EUROCALL, 16-21.

[13] Oktalia, D., \& Drajati, N. (2018). English teachers' perceptions of text to speech software and Google site in an EFL Classroom: What English teachers really think and know. International Journal of Education and Development using ICT, 14(3).

[14] Shishido, M. (2019, June). Evaluating e-learning system for English conversation practice with speech recognition and future development using AI. In EdMedia+ Innovate Learning (pp. 213-218). Association for the Advancement of Computing in Education.

[15] Shishido M. (2021). Developing and Evaluating the e-learning Material for Speaking Practice with the Latest AI Technology ISSN: 2189-1036 - The IAFOR International Conference on Education Hawaii 2021 Official Conference Proceedings.

[16] Bailey, D., Southam, A., \& Costley, J. (2021). Digital storytelling with chatbots: Mapping L2 participation and perception patterns. Interactive Technology and Smart Education.

[17] Haristiani, N. (2019, November). Artificial Intelligence (AI) chatbot as language learning medium: An inquiry. In Journal of Physics: Conference Series (Vol. 1387, No. 1, p. 012020). IOP Publishing.

[18] Moxon, S. (2021). Exploring the Effects of Automated Pronunciation Evaluation on L2 Students in Thailand. IAFOR Journal of Education, $9(3)$.
[19] Chiang, H. H. (2019). A Comparison between Teacher-Led and Online Text-to-Speech Dictation for Students' Vocabulary Performance. English Language Teaching, 12(3), 77-93.

[20] Matsuda, N. (2017). Evidence of effects of text-tospeech synthetic speech to improve second language learning. Jacet journal, 61, 149-164.

[21] Tejedor-Garcia, C., Escudero-Mancebo, D., Cardenoso-Payo, V., \& Gonzalez-Ferreras, C. (2020). Using challenges to enhance a learning game for pronunciation training of English as a second language. IEEE Access, 8, 74250-74266.

[22] Hwang, W. Y., Li, Y. H., \& Shadiev, R. (2018). Exploring effects of discussion on visual attention, learning performance, and perceptions of students learning with STR-support. Computers \& Education, 116, 225-236.

[23] Nakano, A., Theeramunkong, T., \& Taira, H. A Conversational Agent for English Writing Skill Learners.

[24] Ruan, S., Willis, A., Xu, Q., Davis, G. M., Jiang, L., Brunskill, E., \& Landay, J. A. (2019, June). Bookbuddy: Turning digital materials into interactive foreign language lessons through a voice chatbot. In Proceedings of the Sixth ACM Conference on Learning@ Scale (pp. 1-4).

[25] Fryer, L., Coniam, D., Carpenter, R., \& Lăpuşneanu, D. (2020). Bots for language learning now: Current and future directions.

[26] Han, D. E. (2020). The Effects of Voice-based AI Chatbots on Korean EFL Middle School Students' Speaking Competence and Affective Domains.

[27] Yin, Q., \& Satar, M. (2020). English as a foreign language learner interaction with chatbots: Negotiation for meaning. International Online Journal of Education and Teaching.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# A Preliminary Exploration of Asian Englishes-Oriented Classroom Activities: A Data-Driven Approach

Mariko Takahashi
Faculty of Foreign Studies, Setsunan University
mariko. takahashi@ilc. setsunan. ac. jp
}

\begin{abstract}
This study explored concise data-driven learning activities which were designed to expose Japanese university students to authentic data of Asian Englishes in order to raise their awareness toward differences between the varieties of English. By implementing six activities oriented to Asian Englishes, this preliminary exploration showed that short classroom activities served the purpose of having students notice characteristics of Asian Englishes and that activities in which students indirectly accessed data in corpora or databases were suitable as short activities of approximately 20 minutes.
\end{abstract
## 1 Introduction and background

English has been playing a significant role as an international language in today's society. The number of people who speak English as their second or foreign language exceeds the number of people who speak it as their first language, and the language is now used as " $\mathrm{a}$ non-local lingua franca, the means of communicating between people from anywhere in the world" (Mauranen, 2018, p. 7). As a result of its global spread, English came to have diverse features, thus becoming "Englishes" in the plural (e.g., Jenkins, 2015; Kirkpatrick, 2007). This phenomenon is also observed in Asia, with varieties of English in Asia referred to as "Asian Englishes."

Based on the Three Circles model of Englishes (e.g., Kachru, 1985), Japan belongs to the Expanding Circle. English is the most widely studied foreign language in Japan despite its limited use for communication outside of the classroom (e.g., Seargeant, 2009). Native varieties of English are still dominant in English teaching materials although their relevance has been questioned (Galloway \& Rose, 2015, pp. 196-197). Textbooks used at Japanese universities also tend to have complimentary audio files recorded by native speakers of English.

However, due to its nature as an international language today, "the majority of English learners will likely use the language as a lingua franca with fellow non-native English speakers" (Galloway \& Rose, 2015, p. x). Japanese university students are no exception to this trend, and it is likely that they will encounter different varieties of English especially if they use English at work after they graduate. As such, it would be advantageous for them to become familiar with, or at least become aware of the presence of, various Englishes in their English classes at university. It is not necessarily feasible to dedicate a large portion of the course to this theme when the curriculum requires the instructor to follow a certain syllabus. Therefore, it is worth exploring how to introduce diverse Englishes to university students through short classroom activities.

One potential way to achieve this is to integrate data-driven learning (DDL) because it can help students notice authentic language use. According to Chambers (2010), DDL utilizes data from corpora and lets students use such data "either indirectly by allowing them to learn about language use by studying concordances prepared in advance by the teacher, or directly by allowing them access to corpora and concordancing software to carry out their own searches" (p. 345) (see also, Boulton, 2012; Flowerdew, 2015). DDL typically involves the use of corpora, however, Boulton (2015) for example indicated that the data on the internet can be utilized for DDL along with search engines. DDL has been incorporated in English language teaching (e.g., Ackerley, 2017; Bardovi-Harlig, Mossman, \& Su, 2017) and has also been utilized in English classes in Japan (e.g., Mizumoto \& Chujo, 2015). It has not necessarily been associated with World Englishes (WE) or Asian Englishes (AE). In fact, despite the abundance of
corpus-based research on WE (e.g., Lange \& Leuckert, 2020), it still remains to be seen how to actively engage students in exploration of authentic data of WE/ $\mathrm{AE}$ through short activities in the classroom.

The current study aims to explore the possibility of incorporating data-driven $\mathrm{AE}$-oriented learning activities in English classes to raise Japanese university students' awareness toward $\mathrm{AE}$ by implementing three types of short classroom activities based on authentic data. Only the first type (see below) qualifies as typical DDL, yet the second and the third types could be considered as DDL in the sense students actively explore authentic linguistic data. This is a small-scale, preliminary study of practical examples intended for looking into possible options. Activities such as presentations and discussion of relevant concepts (as seen in Rajprasit, 2021) and writing about WE (as seen in Thompson, 2021) qualify as activities on WE/ $\mathrm{AE}$; however, this paper deals with activities which focus on the use of authentic data.

## 2 Methodology and context

Three types of classroom activities (approximately 20 minutes each) incorporating $\mathrm{AE}$ were planned and prepared: 1) corpus-based activities, 2) audio-based activities, and 3) video sharing platform-based activities. For each type, direct activities and indirect activities were included; "direct" here means activities which asked participants to directly access the corpus or the database, while "indirect" means activities which utilized the data retrieved from the corpus or the database by the instructor beforehand.

The activities were conducted in at least one of the following English courses taught by the researcher as the instructor in the academic year 2021: Class A (communication, 9 students), Class B (speaking, 12 students), Class C (grammar, 15 students), Class D (communication, 3 students), Class $\mathrm{E}$ (communication, 17 students), and Class F (seminar, 11 students).

## 3 Corpus-based activities

For the first type of activities, the Corpus of Global Web-Based English (GloWbE) (Davies, 2013) was utilized. GloWbE consists of approximately 1.9 billion words of web-based texts from 20 countries and areas, and it is suitable for conducing comparative analyses between varieties of English (Davies, 2015). GloWbE includes 8 countries and areas from Asia with varying number of words: India, Sri Lanka, Pakistan, Bangladesh, Singapore, Malaysia, Philippines, and Hong Kong.

## 3.1 Direct corpus search activity (A, D)

For this activity, the instructor asked some of the students to suggest a word or phrase they would like to search on GloWbE. The instructor then conducted the search by using the built-in concordancer. The students looked at the results on frequency along the concordance lines and discussed how the word or phrase was used. This format was taken to minimize the time the students needed to familiarize themselves with the tools because the activity was intended to be a short one. As mentioned in Boulton (2012), it can be time-consuming to have students learn how to use the tools accurately (p. 153).

For example, one of the students in Class A suggested the phrase "you know" to be searched in the corpus. The search showed that there were 313262 instances of "you know" in the corpus but that speakers of some varieties (e.g, American English, Australian English, Philippine English) used the expression more frequently than speakers of other varieties (e.g., Bangladeshi English, Hong Kong English). The frequency data on the screen were not normalized, but the students could evaluate the data by looking at the hue of each cell. The students then read several concordance lines from different varieties. This activity enabled the students to actively select and explore the words or phrases they were interested in. However, they tended to choose expressions which occurred frequently across the varieties, which made it difficult to compare the usage across varieties in detail. In other words, this direct corpus search activity did not seem to focus the students' attention clearly on the features of AE.

## 3.2 Indirect corpus search activity (A, C, D)

For this activity, the instructor chose the target forms beforehand, ran the search on GloWbE by using the concordancer, normalized the frequency, extracted data relevant to selected varieties of native and Asian Englishes, and presented the data on a worksheet (see Appendix) along several concordance lines. The students
were asked to follow the questions in pairs or in groups to analyze and explore the forms and usage.

As the target forms, expressions commonly observed across Englishes (e.g., "I mean") as well as expressions characteristic to AE (e.g., "lah" in Singapore English and Malaysian English) were selected. The first type was to have the students pay attention to the differences in the frequency of occurrence of common expressions across the varieties. On the other hand, the second type was to have them notice that there were characteristic features in $\mathrm{AE}$ and to encourage them to inductively explore their usage based on the concordance lines. There was more control to this activity compared to the direct corpus search activity, and as such, it seemed to be more effective in focusing the students' attention on AE within a short period of time.

## 4 Audio-based activities

For the second type of activities, audio files from the International Dialects of English Archive (IDEA) (Meier \& Meier, n.d.) were utilized. The archive includes audio files of English speakers across the world including Asia; each speakers reads Comma Gets A Cure aloud and also provides a short unscripted monologue about themselves. It was developed as a resource for performers to learn English accents, but now it is used for various purposes including academic research (Persley, 2013, p. 63). IDEA has also been used in English classrooms (e.g., McMahon, 2021).

## 4.1 Identifying features activity (A, D)

For this activity, the students used their device to directly access IDEA in pairs or in groups. They first chose a country from Asia available on IDEA with their partner(s) and selected two or three audio files. Next, they listened to the audio files multiple times, focusing primarily on the unscripted monologue part. They were allowed to look at the script after they listened to the audio file once. They then followed the instructions on the worksheet (see Appendix) and tried to identify characteristic features of pronunciation, grammar, and expressions. After spending approximately 15 minutes, the students reported their findings to the class.

For example, a pair from Class A chose to explore Korean English. They initially struggled to express their findings in words but eventually succeed in identifying the replacement of $[z]$ with $[s]$ in the speech of one of the Korean English speakers. Another pair focused on speakers of Philippine English and wrote that the rhythm (or intonation) was different from English speakers they were familiar with. An intriguing comment was made when we listened to audio files from different countries as a class; one of the students remarked, "zenzen chigau! (it's so different!)", indicating that the student noticed how accents of AE may dramatically differ. Overall, this activity turned out to be beneficial for having students focus on pronunciation and intonation of $\mathrm{AE}$ through listening to authentic yet somewhat controlled audio data of their choice. However, it was difficult for them to identify grammatical features or characteristic expressions in a short period of time, indicating that corpus-based activities (typical DDL) as above are more suitable for exploration of such features.

## 4.2 Listening comprehension activity (B, C)

For this activity, the instructor selected audio files of AE speakers from IDEA and prepared listening comprehension questions beforehand. The students did not directly explore IDEA, and in that sense, the students utilized the database indirectly. They did not have access to the script and had to solely rely on listening to answer the comprehension questions. As this activity was meant to be a short one intended to draw the students' attention toward differences in accents, only two, easy questions were prepared for each audio file. The questions were given orally; for example, "Where did the speaker learn English?" and "What is the speaker's favorite food?" The students listened to the audio files and then confirmed their answers with their classmates sitting around them. The instructor then asked the students to discuss if they had any trouble understanding the speakers, and if so, what the contributing factors were and how they could become more familiar with different varieties of $\mathrm{AE}$. The students were encouraged to access other audio files outside of the class. This activity was flexible in terms of length and content.

## 5. Video-based activities

For the third type of activities, that is, video sharing
platform-based activities, YouTube was utilized  because of its popularity and the variety of videos available on the platform.

## 5.1 Finding videos activity (F)

For this activity, the instructor asked the students to find videos in English produced by YouTubers from any country in Asia in pairs. Instead of randomly searching on YouTube, the students first tried to identify popular YouTubers in the country of their selection. This part went successfully for most pairs as they were able to find websites introducing YouTubers from different countries. However, the activity soon encountered a major problem. Popular YouTubers tended to speak in the most widely spoken language of their country. Even when they found videos in English, it was difficult to tell if the speaker was from that country or an expatriate from another country. YouTube also tended to suggest Japanese videos even when they typed search words in English. This means that this "direct" search activity did not work well for exploration of $\mathrm{AE}$.

## 5.2 Watching videos activity (B, E)

For this activity, the instructor compiled a playlist consisting of English videos produced by YouTubers from different countries in Asia (Singapore, Korea, Philippines, India, Malaysia). The videos were on food, fashion, and lifestyle. There were videos on AE on YouTube, but such videos were not included in the playlist because they somewhat went against the purpose of inductive learning. The playlist was shared with the students in Classes B and E along with the note to encourage them to pay attention to differences in English. The two classes were chosen for this activity because the students were making a YouTube-style video for their final project. As this was partly conducted as an optional assignment outside of the class this time, it was difficult to confirm the extent the students noticed features of AE. However, unlike the "direct" activity, this "indirect" activity enabled the students to access authentic English videos from Asia produced for entertainment purposes.

## 6. Discussion

This study explored three types of "data-driven," short classroom activities which aimed to raise students' awareness toward $\mathrm{AE}$. The results of the implementation of "direct" and "indirect" activities in English classrooms showed that exposure to authentic data of $\mathrm{AE}$ can potentially facilitate Japanese university students' awareness toward the diversity of English in Asia even when it is not possible to spare a significant portion of the class time to this type of activities. However, from the perspective of the instructor, the students were more responsive to indirect activities than to direct activities; perhaps, the latter type of activities would have required more explanation. This indicated that for short classroom activities, it is necessary for the instructor to organize the data beforehand to a certain degree without decreasing their authenticity so that students would be able to access and handle the data efficiently within the allocated time.

Among the six activities explored in this preliminary study, the indirect corpus search activity (3.2) and the listening comprehension activity (4.2) seemed to actively engage the students in a way that their attention was directed to the features of $\mathrm{AE}$ inside the classroom in a relatively short period of time of around 20 minutes. Although it was essential to encourage the students to discover the features of $\mathrm{AE}$ by themselves, it was also necessary for the instructor to emphasize the purpose of the activities clearly so that the students would not consider "differences" as "learner mistakes." This study was a preliminary study with the primary aim of exploring possible options, and as such, only informal feedback was collected from the students. Informal comments from the students indicated that they were able to notice that there were differences in $\mathrm{AE}$.

## 7. Conclusion

This preliminary exploration of activities has shown that short and concise activities based on authentic data of AE, especially "indirect" data-driven activities, can be incorporated into English classes to have university students become aware of different varieties of English. This study was limited in that structured and quantitative analysis of the effects of the activities was not conducted. It would be more ideal to implement longer data-driven activities; however, within the restriction of time and requirement of syllabi, concise in-class activities are likely to become the first step in raising university students' awareness toward Asian Englishes.

## References

Ackerley, K. (2017). Effects of corpus-based instruction on phraseology in learner English. Language Learning \& Technology, 21(3), 195-216. http://hdl.handle.net/10125/44627

Bardovi-Harlig, K., Mossman, S., \& Su, Y. (2017). The effect of corpus-based instruction on pragmatic routines. Language Learning \& Technology, 21(3), 76-103. http://hdl.handle.net/10125/44622

Boulton, A. (2012). Hands-on / hands-off: Alternative approaches to data-driven learning. In J. Thomas \& A. Boulton (Eds.), Input, process and product: Developments in teaching and language corpora (pp. 152-168). Masaryk University Press.

Boulton, A. (2015). Applying data-driven learning to the web. In A. Leńko-Szymańska \& A. Boulton (Eds.), Multiple affordances of language corpora for data-driven learning (pp. 267-295). John Benjamins.

Chambers, A. (2010). What is data-driven learning? In A. O'Keeffee \& M. McCarthy (Eds.), The Routledge handbook of corpus linguistics (pp. 345-358). Routledge.

Davies, M. (2013) Corpus of Global Web-Based English. https://www.english-corpora.org/glowbe/.

Davies, M. (2015). Introducing the 1.9 billion word Global Web-Based English Corpus (GloWbE). 21st Century Text, 5.

https://21centurytext.wordpress.com/introducing-the-1 -9-billion-word-global-web-based-english-corpus-glo wbe/

Flowerdew, L. (2015). Data-driven learning and language learning theories: Whither the twain will meet. In A. Leńko-Szymańska \& A. Boulton (Eds.), Multiple affordances of language corpora for data-driven learning (pp. 15-36). John Benjamins.

Galloway, N., \& Rose, H. (2015). Introducing global Englishes. Routledge.

Jenkins, J. (2015). Global Englishes (3rd ed.). Routledge.

Kachru, B. (1985). Standards, codification and sociolinguistic realism: The English language in the outer circle. In R. Quirk \& H. G. Widdowson (Eds.), English in the world: Teaching and learning the language and literatures (pp. 11-30). Cambridge
University Press.

Kirkpatrick, A. (2007). World Englishes. Cambridge University Press.

Lange, C., \& Leuckert, S. (2020). Corpus linguistics for World Englishes: A guide for research . Routledge.

Mauranen, A. (2018). Conceptualising ELF. In J. Jenkins, W. Baker, \& M. Dewey (Eds.), The Routledge handbook of English as a lingua franca (pp. 7-24). Routledge.

McMahon, A. (2021). Creating and teaching a global Englishes-themed EFL course. APU Journal of Language Research, 6, 133-145. https://doi.org/10.34409/apujlr.6.0_141

Meier, P., \& Meier, C. (n.d.). International Dialects of English Archive. https://www.dialectsarchive.com/

Mizumoto, A., \& Chujo, K. (2015). A meta-analysis of data-driven learning approach in the Japanese EFL classroom. English Corpus Studies, 22, 1-18. http://hdl.handle.net/10112/13009

Persley, N. H. (2013). An innovative IDEA: a review of the International Dialects of English Archive. English Today, 29(3), 63-64. https://doi.org/10.1017/S0266078413000229

Rajprasit, K. (2021). 'Do as WE do': Teaching World Englishes in a general English course to Thai students. RELC Journal. Advanced online publication. https://doi.org/10.1177/00336882211011276

Seargeant, P. (2009). The idea of English in Japan: Ideology and the evolution of a global language. Bristol: Multilingual Matters.

Thompson, V. E. (2021). Integrating Global Englishes into literature and writing units: Advice for secondary teachers. In M. D. Devereaux \& C. C. Palmer, Teaching English language variation in the global classroom (pp. 82-91). Routledge.

## Appendix

This is a simplified version of the worksheet distributed in Class D.

## Part 1

Look at the following data from the Corpus of Global Web-Based English . Answer the questions.

Q1-1 When do you use the expression "I mean" in English? Look at the following examples as reference. (concordance lines were provided here on the actual worksheet)

Q1-2 This table shows the frequency of the expression "I mean" per 1 million words.

What can you learn from this data?

Q2-1 In some areas, speakers sometimes add "lah" to what they say. Look at the following examples.

What do you think "lah" means? How do speakers use it? (concordance lines were provided here on the actual worksheet)

Q2-2 This table shows the frequency of "lah" per 1 million words. What can you learn from this data?

(note that the instructor had eliminated proper nouns when normalizing the data)

Q3 Is there any other expression (or word) you want to search on the corpus?

Q4 How can we learn about different features of English across countries/ areas? Give examples.

e.g., read English magazine articles from different countries

## Part 2

Access the International Dialects of English Archive .

Choose a country from Asia, listen to a few audio files (I suggest you focus on the latter half - speakers usually talk about themselves toward the end) and answer the following questions.

Your country [

] Speakers you selected [

Q1 What features of pronunciation or rhythm did you notice?

Q2 Did you notice any characteristic vocabulary or expressions?

Q3 What grammatical features did you notice?

Q4 Do you think the speakers were "learners" of English or "users" of English? Why?


# Development of tutorial materials for learning Chinese focusing on pronunciation practice

Luo Yang', Makoto Shishido ${ }^{2}$
Graduate School of System Design and Technology, Tokyo Denki University
$\left.\{21}.$ amd21\}@ms.dendai.ac.jp ${ }^{1},\left.\{}.$ shishido\}@mail.dendai.ac.jp ${ }^{2}$
}

\begin{abstract}
China is Japan's largest trading partner, and China ranks first in the number of overseas offices of Japanese companies. The economic relationship between China and Japan is getting closer. Japan's direct investment in China has been rising steadily every year. [1] Under these circumstances, it would be beneficial for Japanese university students to study Chinese. In addition, the Japanese have been learning Chinese characters since they were in elementary school, so the ability to read and write Chinese sentences can be improved without difficulty. Many people think that the difficulty in learning Chinese is the pronunciation. However, there are currently few self-study applications that emphasize pronunciation and dialogue practice. Therefore, this paper aims to make an application that emphasizes pronunciation practice.
\end{abstract
## 1. Introduction

The purpose of this research is to develop Chinese learning materials for university students at the beginner's level, mainly focusing on pronunciation practice, so that they can study daily topics and acquire basic communication skills. Its effectiveness will be tested using controlled experiments and so on.

## 2. Previous Research

## 2.1 Pinyin and Chinese syllables

Pinyin is a phonetic symbol used in mainland China. It refers to a system of phonetic notation in which syllables are divided into phonetic characters and written in Latin characters. On the other hand, the Chinese syllables are mainly used in Taiwan. It is represented by 37 characters, including ユタ $\square \subset$ (Bopomofo). Some of the characters are similar to Japanese kana, but unlike kana, they are not syllabic characters. In addition, while kana is created by using the cursive script and kanji radicals, the Chinese syllables are based on ancient scripts. Pinyin, which uses Latin characters, is thought to be easier to learn for foreigners than the Chinese syllables.

## 2.2 Difficulties in Chinese Learning

The first is the difficulty of Chinese pronunciation itself. Chinese syllables are made up of 21 initials, 35 vowels, and 5 tones (including the soft tone). There are many combinations, and some of them do not exist in Japanese, so how to master them is a big problem for beginners. Secondly, there are a large number of homophones with different characters and the same characters with different sounds in Chinese, and the correspondence between Chinese characters and pinyin is also a big problem. In addition, unlike English and Japanese, the pronunciation rules of Pinyin itself are also a major difficulty in Chinese learning. [2]

For the Japanese, it is well known that the most difficult part of learning Chinese is generally considered to be to master the tones. In Japanese, the pronunciation difference between homophones is generally distinguished by the difference in the degree of highness or lowness between syllables. [3] In Chinese, every syllable has a tone, and the change of tone has a great influence on the meaning of words. Take an example of a sentence explaining tones that often appears in Chinese textbooks, “妈妈骂马”, pronounced as "Māma mà mă”. Every character has the same initial " $\mathrm{m}$ " and the same vowel " $\mathrm{a}$ ", the only difference between them is the tone. However, this sentence means "Mother scolds a horse." From this example, we can also find another difficulty in Chinese tones. “妈妈” is a word with the same character, but pronounced as "Māma". The character behind changes its tone to a soft tone. In Chinese, many characters change tones in sentences.

## 3. Methods

Among the Chinese textbooks, there are three methods of teaching pronunciation. First, at the beginning of the textbook, focus on teaching Pinyin. This method is thought to be too abstract to dampen students' interest in learning. The other two methods are text writing for learning a specific pronunciation and learning pronunciation in texts on a certain topic. [4] The former method can focus on learning difficult pronunciations, but at the same time, it lacks practicality, and it is easy to bring frustration and reduce learning interest in the early stage. Today's Chinese education researchers prefer to let learners learn common pronunciations by using frequently used words. This method is also used in this textbook.

The textbook will focus on pronunciation practice and will include the following content to help students study basic Chinese communication skills.

First, listen to and study the conversation text. Then, study the words related to the conversation text and practice pronunciation. At this point, we import the iFLYTEK pronunciation evaluation system to evaluate the students' pronunciation. All recorded data is going to be created by Google's Text to Speech.

The content of the course is based on the HSK introductory vocabulary list. To acquire a basic level of Chinese proficiency, students need to learn basic pronouns, nouns, verbs, and learn how to express time, age, money, and numbers. The materials consist of 10 chapters, and about 150 words will be studied.

## 3.1 Google Text to Speech

Google Text to Speech technology can be deployed to produce natural human-like speech, and an API built on DeepMind's expertise in text-to-speech can produce speech that is very close to human-like. There are over 220 voices to choose from in more than 40 languages and language variants, including Chinese, Japanese, Spanish, and Russian. Without the hassle of recording a new phrase, users can define and select the voice profile that best suits their needs, and quickly adjust it to suit the voice changes they need. [5]

## 3.2 iFLYTEK Pronunciation Evaluation System

iFLYTEK pronunciation evaluation system can measure the correctness and fluency of the initials, vowels, and tone. With this system, it is possible to evaluate pronunciation objectively based on certain criteria for many users. [6] At the same time, the iFLYTEK pronunciation evaluation system is also used in the HSK test. So it is good for users to get a high score on the HSK test by using the iFLYTEK System in the application.

Table 1 Explanation on iFLYTEK XML output table[7]

Among the outputs of the iFLYTEK system, there are four related to scores. The standard score is a score that displays emotion. The integrity score and fluency score are related to the completeness of the sentence, which are considered unnecessary for this application. Therefore, only the tone score and the phone score are used in this application.

Since the iFLYTEK speech evaluation system has no fixed scoring criteria, in this application the score is calculated using this formula:

Score $=$ phone_score $* 0.7+$ tone_score $* 0.3$

The score is out of 10 points, 8 points or more will be shown in green, 6 points or more but less than 8 points will be shown in yellow, and 6 points or less will be shown in red.

## 4. Application Development

## 4.1 Development environment

In this study, the target device is an Android smartphone, which is developed in Android Studio using the JavaScript language

## 4.2 Application usage flow

The following is an example of the screen display when learning Chapter 1. The text of Chapter 1 is about greeting, so users will learn vocabulary related to personal pronouns. Each chapter has a topic and learning the pronunciation of the vocabulary related to this topic after the text is the method of this teaching application.

When you open the application, the main menu
appears. From the main menu, select the chapter you want to study, and the text content will be displayed (Figure 1).

Figure 1 Home page

Press the "VOICE" button to play the audio data (Figure 2).

Figure 2 Chapter 1 text

Figure 3 Studying words

Press the "NEXT" button to proceed to the word study (Figure 3). Press the "VOICE" button to listen to the recording, then press "RECORD" to enter your pronunciation, and the iFLYTEK evaluation score will be displayed (Figure 4).

Figure 4 Pronunciation scores

## 5. Deficiencies

This application is still in development, so there are still some deficiencies that need to be addressed in the future.

First of all, there is no pronunciation method in the textbook. Due to the difficulty of Chinese pronunciation, especially the distinction between some front and rear nasal sounds, and the position of the tongue when aspirating air, it is impossible to accurately convey the pronunciation method only by sound. So when users learn these syllables, it may be difficult to grasp the essentials and increase the difficulty of learning.

Secondly, as described above, Chinese syllables consist of initials, vowels, and tones. However, iFLYTEK's score can only be specific to one word and cannot be subdivided, so users can't understand where their pronunciation is wrong.

Thirdly, the characteristics of language learning require the conversion of short-term memory into longterm memory, but there is a lack of relevant means in this stage. In addition, this application lacks the means to enhance the interest in learning and also lacks the method of review. These issues need to be resolved in the next development stage.

## 6. Future Work

Regarding the deficiencies mentioned above, the next development has the following plans.

Firstly, to extract syllables that are difficult for users to
master, and to add relevant chapters to learn pronunciations that do not exist in Japanese. This is in order to study the hard part of initials and vowels alone for users. For example, the character “耳”, which has the same mean in Chinese and Japanese, means an ear. The pronunciation in Chinese is Ěr, which does not exist in Japanese. The character "耳" should be the focus of learning.[8]

Secondly, due to the defects of iFLYTEK, there is no good solution at this stage. The application is going to show details about the pronunciations which are under 8 points. So at least, users can know if they were wrong at the initials and vowels or tones. However, as mentioned earlier, Japanese generally have the weakest awareness of pitch, while iLFYTEK has tone scores. In the next stage, it is possible to adjust the weighting of the tone score and the content of the application after confirming the subject's weakness through preliminary experiments. It is also possible to increase the content related to tones and the change of tones.

To convert short-term memory into long-term memory, a common method is to link abstract Chinese characters with pronunciations and real things. [9] In the future, if possible, illustrations will be added to the application to strengthen the user's memory. On the other hand, quizzes after chapters are also necessary as a means of reviewing and enhancing memory. It allows users to understand their own learning situation and enhance their learning motivation. Reinforcing tone-related memory in quizzes could be effective.

This study proposes an application for learning Chinese for university students with a general education level of beginner. In the current application, the contents of Chapter 10 have not been completed yet. In the future, a plan to enrich the contents of the teaching materials by including these chapters is being thought of. In addition, adding functions such as a word book to improve learning efficiency is in the plan. A user-friendly UI/UX is also considered to be designed to increase the motivation of learners to learn. How to design experiments to verify the effectiveness of this application is also planned in the future.

## References

[1] 日中経済関係 - 中国経済．外務省中国・モンゴル第二課，令和 2 年 5 月 27 日, (accessed 2021-12-01.)

https://www.mofa.go.jp/mofaj/area/page3 000307. html.

[2] 中国語発音教育におけるカラー拼音の効用.塩旗伸一郎，駒澤大学外国語論集 23, 2017 年, $59-82$

[3] 谈谈对日本 2 外汉语学习者 “声调难” 问题的认识. 丁雷, 島根大学外国語教育センタージヤーナル 12, 2017 年, 75-87

[4] 記憶モデル理論からみた中国語発音教育のあり方. 竹中佐英子, 目白大学心理学研究(1), 2005 年, 61-72

[5] Text-to-Speech document. Google Cloud, (accessed 2021-12-01.)

https://cloud.google.com/text-to-speech.

[6] 中国語における発音評価一流暢さが聞き手に与える影響一, 西宮藍子, 早稲田大学大学院文学研究科紀要, 2015 年, 第 2 分冊, 201-209

[7] iFLYTEK document. (online) (accessed 2022-0110.)

https://www.xfyun.cn/doc/voiceservice/ise/ise prot ocol.html.

[8] 学習成果の可視化に関する試案(1)：中国語初級段階における発音習得を中心に。大島吉郎，大東文化大学紀要. 人文科学, 2021 年, 第 59 巻, $193-208$

[9] 語彙マップを用いた初級漢字語彙教材の開発.徳弘康代, JSL 漢字学習研究会誌, 2016 年, 第 8 巻, $15-19$


# スマートスピーカー用日本語学習機能の開発

加藤大輔 宾戸真
東京電機大学大学院 情報環境学研究科
$\{20$ jkm08\}@ms. dendai.ac. jp, \{shishido\}@mail.dendai. ac.jp

## 概要

学校の授業内でデジタル教材を紙教材と併用することができる法令が実施され, デジタル教材の需要が拡大されている.デバイスがいくつかある中で, スマートスピーカーを使用した学習教材の実例はまだ少ない状況にある.スマートスピーカーは AI アシスタン卜機能を搭載しており，その操作方法は音声によるものである。この人間対機械で対話をするという行為を利用し，語学学習を日常に身近なものしたいと考えた. そこで本研究ではスマートスピーカー内の機能として日本語を母語としない日本語学習者のための日本語学習機能を開発し, 使用感を確認するための実験を行った。

## 1 はじめに

令和 2 年度から新学習指導要領を踏まえた授業の改善や特別な手助けが必要となる生徒のための補助を目的として，これまでの紙の教科書に加えて学習者用のデジタル教材を併用することができる法令が実施され, デジタル教材の需要が拡大されている。[1]しかしその中で，スマートスピーカーを使用した学習教材の実例はまだ少ない状況にある。現在スマートスピーカーの普及は急速に進んでおり,今後より生活に身近なものになると考えられている。[2]

そのようなスマートスピーカーの特徴である，話しかけるだけで操作ができる点やAI アシスタント機能が搭載されている点から紙教材での学習方法に比べて, 日常生活で何かをしながら，必要以上に頑張らなくても，学習を面白いと魅力に感じながら, できることを増やせるような学習方法の可能性を検証したいと考えた. そこで本研究では, スマ一トスピーカーの現状についての調査, スマ一トスピーカー用の学習機能の開発,スマー トスピーカーでの学習の可能性について調査する。

## 2 先行研究 $\cdot$ 類似教材

スマートスピーカーを利用した日本語学習機能に関する研究としては, 熊本大学の甲斐晶子 (2018.9) [3] があげられる.また,スマ一トスピーカーを利用した学習教材の例としては，「ベストティーチャーから生まれた英語リスニングドリル 100 選」（株式会社べストティーチャー)(2017.10)[4]や「九九ゼミ」（株式会社八雲ソフトウェア)(2018.12) [5]などがある.

## 3 Amazon Echo と Alexa

スマートスピーカーとは音声で操作することができる対話型の AI 機能を持つスピーカ一であり，ユーザが話しかけることで，天気， ニュース, 時間, 音楽, 家電を操作することができる.日本で主に流通しているものは Am azon Echo (Amazon), Google Home(Google), Home Pod(Apple)などがある. 本研究で使用するスマートスピーカーは, 世界で一番普及している点, デバイスに画面があり画面の必要性を比較できる点, そして個人の開発者によってAI アシスタントの機能を拡張できる開発環境が日本語にも対応している点から Amazon の AlexaというAIアシスタント(クラウドベースの音声サービス)を搭載した A mazon Echoを選択した。

## 4 Alexa スキルの仕組み

Amazon Echoには普段周りの音を聞いている状態であるマイクが内蔵されており，ユー ザーが発話した「アレクサ」というウェイクワードに反応して要求を録音し, 音声データとしてインターネットを通じてAlexaに転送する.その転送されたデータを Alexa の自動音声認識(ASR) と自然言語理解 (NLU)で処理し，プログラムを実行するサーバーにリクエストデータとして転送する.サーバーが処理後転送したレスポンスをAlexa の音声合成 (TTS)を通じてユーザの耳に届ける．６］

## 5 学習機能の作成

Amazon Echo に搭載されているAlexaを用いて日本語学習者を対象とした日本語を学習することができる Alexa スキルを作成する.Alexa スキルを作成する方法は多く存在するが, 本研究では Alexa スキルをノンコー ディングで作成することができるサービスであるVoiceflowを使用した。[7]

## 5.1 Voiceflow とは

はじめに Alexa と対話するには「Alexa,○○を開いて」のようなフレーズを発話する必要がある. この○○に入る名称をここでは呼び出し名と言い，最初に設定する.また,Voiceflow は Alexa が発話する Speak ブロックとユーザの発話内容を判別し分岐させる Choice ブロックを使用することで,会話をフローチャートのように作成することができ,実際の会話の動きを視覚化することができる.

## 6 予備実験

## 6.1 実験内容

Zoom のビデオ通話を通して Amazon Echo の画面を見ながら 3 種類の問題を操作し, 教材の評価をする。

## 6.2 実験被験者

東京電機大学在学の留学生 5 名と東京電機大学日本語教師 1 名を対象として実験を行った. 留学生の日本語学習歴は 3 年以上であっ
た.

## 6.3 予備実験で使用する Alexa スキ ル

予備実験で使用するために Voiceflow で作成した Alexaスキルは画面表示の有無での使用度を比較するために, 画面表示がなく, 音声のみを聞いて解答する問題である” 反対の言葉”，画面表示を見て解答をする問題”漢字の読み方”, 画面表示はあるが見なくても解答ができる問題” 言葉の言い換え”の 3 種類の問題である. 問題の内容は, 日本語能力試験の問題を引用した. [8] 日本語能力試験の問題の引用に関しては, 著作権者の国際交流基金及び日本国際教育支援協会の著作物利用方法に従い, 作成した Alexa スキルの一般公開はせず, 本研究における実験時及び本論文のみの使用に限る.

## 6.3.1 反対の言葉

“反対の言葉” は問題で読まれた単語に対して反対の意味の単語を答えるものである。画面表示はないため音声のみを聞いて解答する必要がある.

## 6.3.2 漢字の読み方

“漢字の読み方”は画面に表示されている問題文の中の下線部の漢字の正しい読み方を 4 つの選択肢から選ぶものである. 問題文は読まれないため画面を見て解答する必要がある。

## 6.3.3 言葉の言い換え

“言葉の言い換え”は画面に表示されている問題文の中の下線部の言葉に意味が最も近いものを 4 つの選択肢から選ぶものである。問題文と選択肢が読まれるため画面表示を見なくても解答できる。

## 6.4 予備実験結果

スマートスピーカーを使用したことがあった被験者は半数であった, 問題操作の容易さには全員から肯定的な意見があり, スマートスピーカーを操作し学習する方法は学習者に受け入れられそうであることが確認できた.画面表示の有無に関しては意見が分かれ

たが,画面表示有りでは問題の説明や問題文,解説が全てで日本語での表示だけであったため英語での表示があると日本語に不慣れな学習者にとってより分かりやすいという意見が得られた。画面表示無しでは, 普段の生活で料理が退屈であるため, 音声だけで操作することができれば料理しながら学習することができて良いという意見を得ることができた. 問題の内容については” 反対の言葉”で文脈がないと意味が取れないものがあり, 単語ではなく文レベルで発話させることによって文法の変形練習もできるのが良いという意見を得ることができた。

## 7 本実験

## 7.1 予備実験結果から作成した Alexa スキル

予備実験の結果から対象となる学習者の日本語能力に合った問題の難易度や構成を改めて検討し, 対象を東京電機大学大学院の留学生の入学生の基準となっている日本語能力試験 N2 レベルとし, 試験の練習ができるような Alexa スキルを作成した.作成には日本語能力試験 N2 の練習をするために, 実際に試験に出題された問題を使用し, 問題の説明や問題文における漢字の振り仮名等を N2 レベルで統一した.また,この試験は言語知識 (文字・語彙・文法), 読解, 聴解, の 3 科目に分けられ, 18 種の大門で構成されている. この中から,スマートスピーカーの機能で学習するために, 画面に問題文が入りきらない長文の読解問題等の問題として成り立たないものを除いた全 9 種の大問の各 2 問ずっで構成することとした. [8]

問題は選択式方式であり, 学習者は 4 つの選択肢から選び, 解答する. 選択肢は問題の性質上, 言葉で解答するものと, 振られた数字で解答するものがある.このように解答方法が変わる問題の前には学習者が戸惑うことの内容に解答方法が音声で指示される.また,日本語能力試験 N2 で構成されている科目と問題数は以下の表の通りであり赤色の中括弧で括られているものが今回のAlexa スキルで出題される科目である.

そして, 実際にスマートスピーカーの画面に表示される問題の例は以下の図の通りであり, 文字・語彙の問題は緑, 文法の問題は黄色, 聴解の問題は水色と分けることとした.

## 7.2 実験内容

紙教材での学習とAlexaスキルでの学習を行い, 学習中の集中度, リラックス度, 没入度,緊張度, 落ち着き度の測定を行い測定データの分析を行う. 集中度, リラックス度の測定には米 NeuroSky 社のへッドセッド型の簡易型脳波測定器 MindWave Mobile2を, 没入度,緊張度, 落ち着き度の測定には JINS 社の眼鏡型ウェアラブル端末 JINSMEMEを使用する. [9] [10]

## 7.2.1 Mind Wave Mobile2

MindWave Mobile2 ではセンサーアームに搭載された電極から検出した脳波を基に， $\alpha$ 波・ $\beta$ 波などのパワースペクトルや NeuroSky 社独自の脳波解析アルゴリズムから集中度・リラックス度のレベル, 及び瞬きの有無のデー 夕を出力する. 本実験では集中度・リラックス度の測定を行う。

## 7.2.2 JINSMEME

JINSMEME では 6 軸モーションセンサーによる体の体軸変化の記録や 3 点式眼電位センサーによるまばたき, 視線移動の記録, 集中力, 活力, 落ち着き等ココロの状態の補足をする. 本実験では没入度・緊張度・落ち着き度の測定を行う。

## 7.2.3 測定データの定義
- MindWave

Attention: 集中度 $(0 \sim 100$, 集中していない〜集中している)

Meditation：リラックス度 $(0 \sim 100$, リラックスしてない〜リラックスしている)

測定間隔： 1 秒毎

## - JINSMEME

focus Score：没入度 $(0 \sim 100$, 没入度が低い
没入度高い)

tension Score：緊張度 $(0 \sim 100$, 緊張が弱い〜緊張が強い)

calm Score : 落ち着き度 $(0 \sim 100$, 落ち着いていない〜落ち着いている)

測定間隔: 15 秒毎

## 7.3 実験被験者

東京電機大学在学の留学生 23 名を対象として行った。

日本語学習歴は 2 年以上で 5 年以上学習している人が 6 割であった.

## 7.4 実験結果

本実験でスマートスピーカーを初めて操作したという被験者は約 7 割であったが操作に戸惑うことなくスムーズに問題を解答することができた. 正答率は紙教材が $86.4 \%$, Alex a スキルが $82.6 \%$ で紙教材の方が僅かに上回ったがそれほど差はないと考える.また, Min dWave とJINSMEME で測定したデータは, 各被験者のデータ数, 最高値, 最低値, 平均値, データの值が 70 以上の数と割合, データの值が 30 以下の数を表にした. 以下は測定したデータから一例として紙教材で学習している際に MindWave で測定した Attention (集中度）の表.である。

## 7.5 データ分析

本実験で測定した集中度, リラックス度,没入度, 緊張度, 落ち着き度が 70 以上であった割合と 30 以下であった割合をそれぞれ紙教材とAlexaスキルで以下のグラフのように比較する。

また, 全てのデータを比較した結果を次に記す.

- MindWave

集中度

70 以上：紙教材の方が多く, 集中度が高い, 30 以下: Alexaスキルが多く, 集中度が低い。 リラックス度

70 以上：紙教材の方が多くリラックス度が高い.

30 以下: Alexa スキルが多く, リラックス度が高い。

## - JINSMEME

没入度

70 以上：紙教材の方が多く, 没入度が高い。 30 以下: Alexaスキルが多く, 没入度が低い.

## 緊張度

70 以上：Alexaスキルが多く, 緊張度が高い.

30 以下：紙教材の方が多く, 緊張度が低い。落ち着き度

70 以上: 紙教材の方が多く, 落ち着き度が高い.

30 以下: Alexa スキルが多く, 落ち着き度が低い。

## 8 考察

実験前の仮説では, 紙教材の方が集中度, 没入度, 緊張度が高く, Alexa スキルの方がリラックス度, 落ち着き度が高いと考えていたが,実験結果は紙教材の方が集中度, 没入度, リラックス度, 落ち着き度が高く, Alexa スキルの方が緊張度が高いという結果となった. 教材の操作方法について問題はなかったが, 初めてスマートスピーカーを操作する被験者も多く, 被験者がこれまで長い期間学習に使用してきた紙教材と比較すると慣れによる差も多く出たと考えられる。

## 9 今後の展望

今回の実験は一回限りの学習だったため,今後は実験期間を長くし, 複数回学習することによってスマートスピーカーの操作に慣れる期間が必要だと考える. また, 実験の結果は仮説通りの結果とはならなかったが, 被験者からスマートスピーカーでの語学学習について肯定的な意見も多く, 教材の改良に努める.そして, 本来の目標であったスマー トスピーカーを利用したリラックス状態でのながら学習で学習効果を高められるような教材の工夫を目指す.

## 参考文献

[1]文部科学省.デジタル教科書について.” htt ps://www.mext.go.jp/a_menu/shotou/kyouk asho/seido/1407731.htm"

[2] Canalys: Global smart speaker installed bas e to top 200 million by end of 2019 " http s://www.canalys.com/newsroom/canalys-glob al-smart-speaker-installed-base-to-top-200million-by-end-of-2019”,2019.5.15

［3］甲斐晶子ほか 3 名，”受身系転換練習のためのスマートスピーカー (Alexa) 用機能の開発”日本教育工学会第34回全国大会発表論文集, 2018.9, pp.669-670.

[4]「ベストティーチャーから生まれた英語リスニングドリル100選を Google Home に提供」”https:// www.best-teacher-inc.com/news/google-hom e",2017.10.15

５5］株式会社八雲ソフトウェアホームページ "https: //8clouds.co.jp/smart/”, 2020.4.1 参照

[6] Alexa スキル開発トレーニング ”https://develop er.amazon.com/ja-JP/alexa/alexa-skills-kit/t raining/build-a-skill”, 2020.4.1 参照

[7] Voiceflow "https://www.voiceflow.com/"

[8] 日本語能力試験公式ウェブサイト “https://ww w.jljl.jp/index.html”, 2012

[9] Neurosky “https://www.neurosky.jp”

[10] JINS MEME “https://jinsmeme.com”

## 付録

図 1 “漢字の読み方” のフローチャート

[8]

0

図 2 “言葉の言い換え”のフローチャート

$[8]$

図 3 “表記” の問題画面 [8]

図 4 “文法” の問題画面 [8]

図 5 “聴解” の問題画面 [8]

図 6 MindWave Attention $\sigma$ 比較 (70 以上)

図 7 MindWave Attention の比較 (30 以下)

表 1 MindWave で測定した Attention のデータ

 &  \\


# 外国語学習者にとって意外な用例の難しさ測定のための 語彙テスト・データセット構築

江原遥 1
1 東京学芸大学 教育学部
ehara@u-gakugei.ac.jp

## 概要

外国語学習者（第二言語学習者）が初期に学ぶ語の多くは高頻度語であり，よく使われる用例とは異なる意味で使われる用例がある.こうした学習者にとって意外な用例は，よく使われる用例より難しいと思われるが，どの程度難しいのであろうか？このような文脈を考慮した用例ごとの語の難しさ測定には，近年急速に発達している文脈化単語埋め込みなど，文脈の意味を捉える深層学習技術の活用が容易に考えられる。しかし，これを評価するために，同一の学習者にある語の複数の用例についての設問に回答させる語彙テストやその結果のデータセットが，既存にはほとんど存在しない。そこで，本研究では, 語の用例ごとの難しさ評価のためのデータセットを構築し，項目反応理論に基づき評価する。

## 1 はじめに

外国語学習において，語の習得は，外国語学習の大部分の時間を占める. その数が膨大であるためか，外国語学習における語の習得においては，語彙量が主に注目されてきた。例えば，有名なテキスト中の語の 95\% 98\%以上を（述べ語数で）知らないと，テキストを十分に理解する事が難しい [1] といった応用言語学分野の実験結果では，テキスト中の語をカウントする際に，語の多義性は考慮していない、これは，テキスト中の語の語義を自動的に推定する事が技術的に難しかったためと考えられる。

一方で，外国語学習において初期に学ぶ単語の多くが高頻度語であり, 高頻度語は多義性を持つことが多い。語彙量計測などの目的で用いられる語彙テストのうち，一般的な多肢選択式の試験として広く用いられている Vocabulary Size Test [2]では，語義を限定する工夫が施されている。具体的には，表 1 に示すように，設問で語だけを提示するのではなく，文中に語を入れ込み，その語の意味と最も近い選択肢を選択させる形式になっている。 さらに，文法的な証拠から適切な選択肢を選ぶことができないよう，どの選択肢も，文中の指定部分とそのまま入れ替えても，文法的には正しい文になるように作成されている.

語彙テスト結果データ，(どの学習者がどの設問に正答/誤答したか，というデータ）から，学習者の能力値や語の難しさを推定するモデルとしては，項目反応理論 (Item Response Theory) [3] が教育学や心理学の分野で広く使われている. しかし, 項目反応理論は設問の意味的情報を一切用いずに，純粋に被験者の正答/誤答の情報だけから語の難しさを推定するモデルである．このため，設問が少しでも変更された場合，再度，語彙テストを行わなければ結果がわからない，例えば，語の用例ごとに外国語学習者にとっての難しさを測定するためには，各語について語の用例の分，適切な作問を行う必要がある. 例えば， 1 万語の各語の用例についてて，適切な多肢選択式の作問を行えば，設問数は数万にもなり，こうした問題の全てに学習者に回答してもらう事は明らかに非現実的である。近年では BERT(bidirectional encoder representations from transformers)[4] をはじめとする，大規模な母語話者コーパスで事前学習を行う事で文脈を捉えた意味処理を行う手法が盛んである．そこで，こうした手法を用いて，設問の用例と頻出用例との近さを計測する事で，語の難しさを計測する手法が容易に考えられる。しかし，こうした発展性のある手法を評価するためには，まずは，評価のために信頼できるデー タセットが必要になる．現状では，著者の知る限りそうしたデータセットは整備されていない.

そこで，本稿では，語の用例ごとの難しさ測定のために, 英語を第二言語として学ぶ学習者 (English-as-a-Second-Language Learners)を対象とした
語彙テストを構築した. この語彙テストで，語の意外な用例の設問については，複数の英語母語話者大学英語教員に問題として成立していることを確認した. 次に，この語彙テストを用いてクラウドソー シングを用いて，学習者の被験者反応実験では，実際に項目反応理論を用いて，被験者反応のみを用いて，語の通常の用例と，意外と思われる用例の間の難しさの差を計測した. 項目反応理論を用いて分析した結果，語の通常の用例の方が，統計的有意に難しく，良問とみなせる度合い（識別力）も高いことを定量的に示した. 本研究で作成されたデータセットは，今後1)で公開する予定である。

## 2 関連研究

本研究で提示するデータセットの必要性を既存研究との関連から説明する. 1 つは，語学学習アプリ Duolingo 上の設問に対する回答データを用いた SLAM データセット [5] である. もう 1 つは，多数の語学学習者に対して, 文中のわからない語をアノテーションさせた複雑単語推定 (Complex Word Identification, CWI） のデータセット [6] である.これらのデータセットと本研究で提示するデータセットの違いとして，各被験者は多くある設問のうちのごく一部にしか回答していないという点が挙げられる。言い換えると，被験者を行，設問を列とし，被験者の設問に対する回答内容を要素とする行列を考えた場合，これらのデータセットでは行列が疎になっている. 項目反応理論は，被験者の設問に対する回答内容から，設問の難しさや被験者の能力値を推定を目標とするが，この推定のためには，各被験者がほぼ全ての設問に回答している形式のデータセットであることが望ましい，また，どちらのデー タセットでも，文中の語に対する被験者の回答が記録されてはいるものの，設問について，今回のデー タセットのような語の通常の用例と，意外と思われる用例といったようなアノテーションはされていない. さらに，[6] を含む CWI のデータセットでは，一般に，提示された文に対して，被験者が難しいと感じた語が記録されているだけであり，被験者が実際にその語の意味を適切に理解しているかテストを通じた確認はしていない。すなわち，意味は理解できたが難しいと感じてアノテーションした場合もあれば，単純に意味が分からなかった場合も含まれる。

表 1 実際の設問例

It was a difficult period.

a) question

b) time

c) thing to do

d) book

## 3 語彙テスト作成・データセット

語彙テスト作成・データセット作成は，著者が過去に語彙テスト結果データセット作成時の設定に準じて行った [7]. データセットはクラウドソーシングサービス Lancers ${ }^{2}$ から，2021 年 1 月に収集した. 英語学習にある程度興味がある学習者を集めるため,過去に TOEIC を受験したことがある学習者のみ語彙テストを受けられると明記して，データを収集した. その結果, 235 名の被験者から回答があった. Lancers の作業者は大部分日本語母語話者であるため，学習者の母語は，大部分日本語を母語とするものと思われる。

まず，通常の語彙テストとしては，文献 [7] と同様に，Vocabulary Size Test（VST）[2]を用いた. ただし，VST は 100 問からなるのに対して，[7]では，低頻度語に関する設問では, Lancers 上のどの学習者もほとんどチャンスレートしか回答できていなかったことから，被験者の負担感を減らし的確な回答を集めやすくするため，低頻度語 30 問を削った. すなわち，残り 70 問を通常の語彙テストとして用いた.この設問例を表 1 に示す. 文中の単語に下線が引かれてあり，被験者は，この単語と交換した際に元の文と意味が最も近くなる選択肢を選ぶように求められる。この際，文法的から選択肢を絞れてしまわないように，選択肢は下線部と文字通り置き換えても正文となるように作られている。例えば表 1 であれば，複数形の選択肢が内容に配慮されている。

一方，学習者にとって意外である思われる用例については，著者が作問し，英語母語話者を含む静岡理工科大学の教員複数名に問題として成立しているか確認を取る方法で，作成した. この際，表 1 と同様の形式にして，“period" という単語について 2 つの設問がある事が分かってしまうと，意外な語義については通常の語義以外の選択肢を選ぶことで，選択肢を絞り，意味を知らなくても回答できてしまう。そこで，本研究では，次の 2 つの工夫を行った。

1. 意外な語義を問う設問については，下線部の意

2) https://lancers.co.jp/
表 2 意外な意味を問う設問例

She had a missed

a) time

b) period

c) hour

d) duration

味について問う形にはせず，空欄を埋める形式の問題とした。これにより，意外な語義については正答を知らなければ，どの語についての設問であるのかもわからないようにした。

2. 通常の語義についての設問を先に行ってしまうと，そこで出てきた単語と同じ語が正答であろう，という推測ができてしまう。そこで，意外な語義についての設問群を最初に行い，通常の語義についての設問群に移動したら，意外な語義についての設問群には戻れないようにした.

この 2 つの工夫を施した実際の設問例が表 2 である. “period”には通常の「期間」の他に「生理」という意味があり，これを問うている．被験者は，70 問の通常の用例の語彙テストの前に，表 2 のような設問を 13 問解くように求められる。ただし，先に解く表 2 の形式の選択肢が，表 1 の形式の問題に影響していないかどうかを後で確認できるよう，意外な語義ではあるが，通常の語義の設問群の側に対応する設問がない設問を 1 問設けた. これにより，対応する問題は 12 問となる.

## 4 項目反応理論

項目反応理論モデルについて，簡単に説明する。被験者の数を $J$ ，設問（項目, item）の数を $I$ とする.簡単のため, 被験者の添字 (index) と被験者, 項目の添字と項目を同一視する。例えば， $i$ 番目の項目を，単に $i$ と書くことにする。 $y_{i j}$ は，被験者 $j$ が項目 $i$ に正答するとき 1 ，誤答であるとき 0 であるとする.試験結果データ $\left.\{y_{i j} \mid i \in\{1, \ldots, I\}, j \in\{1, \ldots, J\}\right.\}$ が与えられたとき, 2PL モデルでは, 被験者 $j$ が項目 $i$ に正答する確率を次の式でモデル化する.

$
P\left(y_{i j}=1 \mid i, j\right)=\sigma\left(a_{i}\left(\theta_{j}-d_{i}\right)\right)
$

ここで, $\sigma$ は $\sigma(x)=\frac{1}{1+\exp (-x)}$ で定義されるロジスティックシグモイド関数である。 $\sigma$ は $(0,1)$ を値域とする単調増加関数であり， $\sigma(0)=0.5$ である. 実数を $(0,1)$ の範囲に射影し, 確率として扱うために用いられている。(1)において， $\theta_{j}$ は能力パラメ夕（ability parameter）と呼ばれ，被験者の能力を表すパラメタである． $d_{i}$ は困難度パラメタ（difficulty parameter）と呼ばれ，項目の難しさを表すパラメタである.(1)より， $\theta_{j}$ が $d_{i}$ を上回る時，被験者が正答する確率が誤答確率より高くなる。 $a_{i}>0$ は，通常，正の値を取り，識別力パラメタ（discrimination parameter）と呼ばれる.この值が大きいほど, $\theta_{j}-d_{i}$ が正答確率/誤答確率に大きく影響するようになる. $\theta_{j}-d_{i}$ を用いて, 被験者 $j$ が設問 $i$ に正答するか否かが見分けやすくなる事を表しているため，「識別力」と呼ばれる．より直観的には設問 $i$ が，能力值が高い学習者と低い学習者を正確に見分けられるという意味で良問であることを示している。

## 5 実験

項目反応理論の困難度・識別力の各パラメタを求めるには，pyirt ${ }^{3}$ を用いた。これは，周辺化最尤推定（Marginalized Maximum Likelihood Estimation）により項目反応理論を行うライブラリである．前述のデータセットに対して，2PL モデルを用いて困難度と識別力パラメタを求めた. 表 1 と表 2 のように，設問のペアが 12 組ある. 通常の用例, 学習者にとって意外と思われる用例の困難度パラメタを，それぞれ横軸，縦軸に表し，横軸と縦軸の縮尺・範囲を同一にプロットし図 1 に示した。各点は語を表す。

困難度の比較図 1 の左下から右上まで，点線で対角線を示した. 図 1 の横軸・縦軸とも，困難度パラメタの值であり，この値が大きいほど難しいと判定される。そのため，この対角線より左上にある点は，通常の用例の困難度より，学習者にとって意外と思われる用例の困難度の方が，語彙テスト結果データからも学習者にとって回答が難しいと判定された語ということになる。今回は設問数が少ないので，図 1 の結果が偶然得られた可能性がどの程度あるか検証するため，横軸の値の列と縦軸の値の列で統計的検定を行った. Wilcoxon 検定の結果，縦軸の值の列が統計的有意に横軸の值の列より大きかった $（ p<0.01 ）$.すなわち，縦軸の設問群の方が横軸の設問群より難しかった事が示唆される。

識別力の比較識別力についても，図 1 と同様にプロットし，図 3 に示した. 識別力は，直観的には，高いほど，その問題で（他の問題で推定される）能力値が高い学習者と低い学習者を分けることができるという意味で，良問である度合いを表す。学習者にとって意外と思われる用例は，能力値が高い学習者でも知らないことがあり，低い学習者でも知って

3) https://github.com/17zuoye/pyirt

図 1 各語の, 通常の用例の困難度（横軸）と学習者にとって意外と思われる用例の困難度（縦軸）のプロット.各点は各語を表す.

いることがあるため，通常の用例よりも識別力が低いと予想される。全ての語について，通常の用例の方が，意外と思われる用例よりも識別力が高いと推定されている。この結果も，Wilcoxon 検定の結果，統計的に有意であった $(p<0.01)$. 識別力のプロットについては紙面の都合のため付録に記す。

困難度と識別カのプロット識別力は，直観的には，他の設問で能力值が高いと推定された学習者が簡単な問題に誤答してしまう，また，他の設問で能力値が低いと推定された学習者が難しい問題に正答してしまう場合に低下する，今回の設定では，前者のケースはあまり見られないが，後者のケースで回答が分からない学習者がとりあえず選んだ選択肢に正答してしまう事はあるので，困難度の高い説問ほど，識別力が低く出ることが予想される. 困難度の高い問題の識別力を向上させる 1 つの方法としては，選択肢に「わからない」や未回答を許すという方法が考えられる. しかし，クラウドソーシング上でこの方法を取ると，ほぼ全ての設問に対して「わからない」と回答するケースなどがあるため, 今回はこの方法は取らなかった. 全ての語についての困難度パラメタと識別力パラメタのプロットを示した（図 2）. 図 2 から，困難度が増加するにつれて，識別力が減少していく傾向が見て取れる. 困難度パラメタと識別力の間の困難度パラメタと識別力パラメタの間のスピアマンの順位相関係数は-0.739 $（ p<0.01 ）$ で，「強い相関」が認められた.

図 2 全語の困難度（横軸）と識別力（縦軸）の関係.

被験者反応予測による評価現状のように，語の意外と思われる用例の難しさを通常の用例の難しさで代替してしまうと，被験者が設問に正答/誤答するかにどの程度の悪影響があるのだろうか？これを調べるために，次の実験を行った.まず， 235 人の被験者を 135 人と 100 人に分ける. 意外と思われる用例の設問群（12 問）のパラメタについては前者の 135 人の被験者反応だけから，通常の用例の設問群 （70 問）のパラメタについては 235 人全員の被験者反応で推定する.この推定の際には，後者の 100 人 $\times 12$ 問，計 1,200 件の回答データは用いていないことに注意されたい。(1)より，推定された被験者の能力值 $\theta_{j}$, 用例の困難度 $d_{i}$ を用い, $\theta_{j}>d_{i}$ であれば被験者 $j$ が設問 $i$ に正答，そうでなければ誤答と判定できる．設問 $i$ の困難度パラメタとして，意外と思われる用例の 12 問の困難度パラメタを直接用いた場合と，対応する語の通常の用例の困難度パラメタで代替した場合で，この 1,200 件の回答データの予測精度を比較した。その結果，直接用いた場合の予測精度は $64.4 \%$ ，通常の用例の困難度で代替した場合は $54.4 \%$ と, 10 ポイントの差が出た. この差は，Wilcoxon 検定で $p<0.01$ で有意であった.

以上から，被験者反応の予測における，語の用例ごとに困難度を推定することの重要性がわかる.

## 6 結論

本研究では, 外国語語彙学習において, 語の通常 （典型的）な用例と学習者にとって意外と思われる用例の外国語学習者にとっての難しさの差を，被験者反応から測定可能なデータセットを提案した.このデータセットにより，BERT などの転移学習技術を用いて，文脈に埋め込まれた個々の語の難しさを推定できるモデルを評価する事が可能になった. こうしたモデルの提案が，今後の課題となる.

## 謝辞

本研究は，科学技術振興機構 ACT-X 研究費 (JPMJAX2006), ならびに日本学術振興会科学技術研究費補助金（18K18118）の支援を受けています. また，産業技術総合研究所の $\mathrm{AI}$ 橋渡しクラウド (ABCI)を使用しています。本データセットの設問が問題として成立しているか確認していただいた,谷口ジョイ先生をはじめとする静岡理工科大学の先生方に深く感謝いたします。

## 参考文献

[1] I. Nation. How Large a Vocabulary is Needed For Reading and Listening? Canadian Modern Language Review, Vol. 63, No. 1, pp. 59-82, October 2006.

[2] David Beglar and Paul Nation. A vocabulary size test. The Language Teacher, Vol. 31, No. 7, pp. 9-13, 2007.

[3] Frank B. Baker. Item Response Theory : Parameter Estimation Techniques, Second Edition. CRC Press, July 2004.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, 2019.

[5] Burr Settles. Data for the 2018 Duolingo Shared Task on Second Language Acquisition Modeling (SLAM), 2018.

[6] Seid Muhie Yimam, Chris Biemann, Shervin Malmasi, Gustavo Paetzold, Lucia Specia, Sanja Štajner, Anaïs Tack, and Marcos Zampieri. A report on the complex word identification shared task 2018. In Proc. of BEA, June 2018.

[7] Yo Ehara. Building an English Vocabulary Knowledge Dataset of Japanese English-as-a-Second-Language Learners Using Crowdsourcing. In Proc. of LREC, May 2018.

図 3 各語の, 通常の用例の識別力（横軸）と学習者にとって意外と思われる用例の識別力（縦軸）のプロット.各点は各語を表す.

## A 付録 (Appendix)

付録には，本論に直接関係ないが，参考になる図を示す. 図 3 に識別力のプロットを示す.


# トレースにより画像の注視点を与えるインタラクティブな テキスト生成

渡邊 清子小林一郎
お茶の水女子大学
\{watanabe.sayako, koba\}@is.ocha.ac.jp

## 概要

近年，画像キャプション生成の研究は画像に対する前処理から得られた情報を元に画像キャプションを生成するだけでなく，画像処理情報に対して，コントロールシグナルと呼ばれる視点に相当する追加情報を与えることで，画像に対してユーザの興味に基づくキャプションを生成する研究へと発展している. 本研究では，人は一般的に画像の内容を説明する際，大抵説明したい対象に注意を促す為に指でそのものを差しながら説明することに着目し，画像への指差しをコントロールシグナルと捉える.また，このような行為で生じる指差しの軌跡のことをトレースと呼び，トレースに込められた意味を反映することで，より説明者の意図に沿ったインタラクティブな画像キャプション生成手法を提案する.

## 1 はじめに

近年，画像キャプショニングの研究は，Faster R-CNN [1] や Semantic Segmentation [2] といった手法を用いて画像の内容を捉え，その結果から画像内の物体間の関係を捉えるシーングラフ $[3,4]$ を構築し，そのグラフに基づきキャプションを生成するものなど，画像の内容を深く捉える手法に基づくキャプション生成手法が提案されている $[5,6,7]$. 一方で，生成されるキャプションは多くの場合，用いられる学習データに依存しており，画像内容を説明する者の意図が反映される結果ではない場合が多い.このことを踏まえて，近年では，キャプション生成を制御する為のコントロールシグナルと呼ばれる追加情報を与えて, 説明者の意図に近いキャプションを生成する研究なども取り上げられてきている $[8,9,10]$. しかし，与えられるコントロールシグナルはキャプション内容に言及したものが多く, 説明者の感覚や興味に沿うインタラクティブな画像
キャプション生成の報告はあまりない。このことから，本研究では，音声で画像を説明する際に説明の描画領域を指したトレースデータをもつ Localized Narratives(LN) [11]を用いて，トレースにより画像の注視点を与えた画像キャプショニング手法を提案する。

## 2 提案手法

## 2.1 概要

図 1 に提案手法の概要を示す.

図 1 提案手法の概要

(1)画像のトレース画像中の説明したい箇所をトレースする。その際，説明を詳細にしたい対象に対してはトレースを念入りに行う。

(2)説明領域の抽出トレースの描画範囲から説明領域を抽出し，各領域のトレースの滞在時間から文長を推定する．Fast R-CNNを用いて，各領域のバウンディングボックス（B.Box）を抽出する.

(3)画像キャプション生成 (2)よって抽出した B.Box の特徴量と生成する文の長さを示す語数を入力とし, Deng ら [12] による文長を制御可能な画像

図 2 トレースの座標変化量

図 3 速さに注目したトレースの可視化

図 4 速いトレースを削除した結果
キャプション生成モデル LaBERT を用いて，それぞれの領域の画像キャプションを生成する。

## 2.2 Localized Narratives

Pont-Tuset ら [11] は，視覚と言語を繋ぐマルチモーダルな画像キャプションを目標として，音声で画像を説明する際に，説明の描写領域を指したトレースデータセット Localized Narratives（LN） を構築した. LN は，人が画像をペンでトレースしながら音声でその内容を説明するという実験を通じて収集したデータセットである。データ数も多く, Open Images [13] $\cdot$ Microsoft COCO [14]$\cdot$ Flickr30k [15]・ADE20k [16] の 4 つのデータセットから成っている．LNには，画像・トレース・画像キャプション・音声の 4 つが含まれている. 表 1 にデータの内容を示す.

timed_caption の情報から，時間当たりのの平均発話単語数を計算したところ，1 秒間に 1.94 単語発話している事がわかった。この結果は，画像キャプションの長さコントロールの際に参考にする.

表 1 Localized Narratives データ内訳

## 2.3 トレースによる説明領域の抽出

画像の中でも，説明者が注目した部分からキャプションを生成する為に，トレースの描画範囲から説明領域を抽出する。画像説明時における人の特性を解明する為に，以下の 2 つの特徴量を抽出した.

座標の変化量横軸に時間をとり，縦軸にトレー スに関する変化量（ $x$ 座標 $x y$ 座標）をとったグラフを図 2 に示す. 赤色でハイライトしている部分は,説明者が説明を止めている文と文の間の時間であり，画像の説明に一区切りついた箇所に相当する.赤い部分のグラフは平らになっており，トレースの変化量はほぼ変化がない事がわかった. 同じような現象が他のデータにも多く見受けられた. この結果は，説明者は 1 文説明し終わった際，少し止まってから次の文の説明に移るという特性があることを示唆する．画像説明時のトレースにおける人の行動特性は必ずしも常にこのようになるわけではなく，他の行動特性も観察されたが，本研究では上記の行動特性を基準とする。

トレースの移動速度トレースによる画像説明時における人の 2 つ目の行動特性として，特別に動きが速いトレースは，説明対象となるオブジェクト間の移動の為のトレースであり，その部分を説明をしている訳ではないという点に着目した. トレースの動作の速度を，速いほど黒に，遅いほど赤に対応させて可視化したものを図 3 に示す. 図 4 は，図 3 において，オブジェクト間の移動とみなされた部分を削除して可視化した. 実際に，芝生から木への移動，木から山への移動，空から雲への移動の箇所が削除され，説明対象となった各オブジェクトのみを指しているトレースが抽出されたことがわかる.

## 2.4 LaBERT [12]

説明者の注目の度合いを反映した画像キャプションを生成する為に，トレースの滞在時間により説明の詳述さを決定する手法として，文長制御が可能な非自己回帰型のキャプション生成を行う LaBERT [12] のデコーダを用いる. 逐次的に次の単語を予測する自己回帰的な文生成手法は，生成文の長さを制御できない，また，生成する文の長さが長くなると計算量は線形的に増加してしまうといった欠点がある。これに対し，Deng ら [12] は，長さ制御可能な画像キャプションの為の非自己回帰型デコーダを考案し，文長を制御する効率の良い文生成

図 5 トレースを入力とした説明者の意図に沿った画像キャプション生成結果

## を実現した。

LaBERT のデコーダにおける処理の概要を図 6 に示す.また、そのアルゴリズムを Algorithm1 に示す.

図 6 LaBERT を用いた長さ $L_{\text {low }} \sim L_{\text {high }}$ の文生成概要

## 3 実験

画像とトレースを入力として，トレースに沿った画像キャプションを生成する.

## 3.1 実験設定

画像データは Microsoft COCO を使用し，Cornia ら [18] が使用している Faster-RCNN を各画像に施し取得した B.Box の特徴量をまとめたデータセット coco_detections.hdf5 ${ }^{1)}$ から, 2048 次元の画像特徴量, B.Box の位置を示す 4 次元の座標，オブジェクトを示す 1601 次元のカテゴリーを用いた. 生成文の単語数は, 7〜9words, 10〜14words, 15〜19words, 20〜 25 words の 4 種類を設定し, 文のアップデート回数は 4 種類に対し, 10 回, 15 回, 20 回, 20 回に設定し

た.また，言語モデルは事前学習済み $\mathrm{BERT}_{\mathrm{BASE}}{ }^{2)}$ を用いた. この実験設定の下，バッチサイズ 256 ，イテレーション 100,000 回でモデルの学習を行なった.

## 3.2 実験結果

トレースを大力として，説明者の意図に沿うように画像の説明したい箇所にトレースを与えた情報に基づきキャプション生成を行った．結果の例を図 5 に示す. 図 5 中の各項目について以下に説明する.

説明領域トレースの座標変化量と速さを元に説明対象となる領域（図中，青い四角形の領域）を抽出したものとなる．各画像には，抽出されたトレー スと B.Box（赤い四角形）が写っており, 説明対象領域を $\frac{1}{4}$ 以上含む B.Box から画像特徴量を取得している。また，黒いトレースはオブジェクト間の移動

とみなし, 削除した。

正解キャプション実際に説明者が発話したキャプション.

トレースの滞在時間説明領域内にトレースが滞在した秒数.

推定単語数生成文を構成する単語数. トレースの滞在秒数に，LNにおける 1 秒間あたりの平均発話単語数 1.94 を掛けて推定した。

文長の指定推定単語数から選ばれる文の長さ.現在， 3.1 節で示した 4 つの範囲を設定している.

BLEU スコア文生成の精度の評価指標として， BLEU スコア [19]を示している.

各説明領域での結果を以下に示す。

図 5-1: suitcase というオブジェクトは捉えていたものの, 推定単語数が正解キャプションの単語数に比べて多くなっていた.

図 5-2:オブジェクトの認識やキャプションの長さなどトレースの意図を捉えられ，期待した結果が得られた。

図 5-3: 正解キャプションでは「女性のカバン」について言及しているが，周りの情報を取り込んで two people の説明になってしまっている.

図 5-4: 背景のみの描写なので, 認識できるオブジェクトが少ないこともあり，想定していたキャプションが生成されなかった.

## 3.3 考察

実験結果と正解キャプションおよび付録 A に示した様々な文長の下での生成結果と比較しながら考察する.

図 7-1：トレースの滞在時間から推測した 20～25 単語ではなく，7～9 単語の結果の方が正解キャプションに近いと考えられる。また，この場合 BLEU スコアも 1.72 と少し上がっていた. 正解キャプションも 12 単語である為, トレースの滞在時間ほど長い文による説明は求められていない。これは，図中の「カバン」というオブジェクトが画像全体の比率の大部分を占めていることから，ひとつのオブジェクトを指し示すのにトレースの滞在時間が長くなってしまった為と考えられる．このことは，文長を 1 秒あたりの平均発話語数のみで決めるのではなく，説明対象となる領域に含まれるオブジェクトや領域の面積も考慮すべきであると考える。

図 7-2: 全ての文長の場合で 2 人の人間を捉えられ
ていたが，どこに立っているかなど，背景の情報は不揃いで正確に捉えられていないことがわかった.

図 7-3:「女性のカバン」を言及出来ていない点について，このように誰かの所有物や食べ物の具など，特定の部分に注目して説明する場合は Dense captioning [20] などのような局所的な説明を可能にする画像キャプション生成方法などを参考に改良する必要があると考える.

図 7-4：10～14words, 15〜19words の生成途中で，正解キャプションに含まれる building が出現したにも関わらず，最終的な生成キャプションとして残らなかった様子が見られた。これは，画像特徴量よりも言語モデルが優先されてしまった結果生じた事例だと考える。一概に $\mathrm{t}$ の値が大きくなる程，良い単語に置き換わる訳ではないことがわかった。

また，今回，キャプション生成の評価指標として採用した BLEU のスコアはとても低くなっている. この原因の一つとして，正解文とする LN のキャプションは，画像全体を一括して説明するものになっており，今回のように部分的な領域での説明と整合性がとれない部分もあることが考えられる。

## 4 おわりに

本研究では，画像に対してトレースを用いながら説明するデータセット Localized Narratives と文長制御が可能な非自己回帰型テキスト生成を行う LaBERT のデコーダを組み合わせ，トレースから説明者の説明意図を汲み取りインタラクティブに説明文を生成する画像キャプション生成手法を提案した. 説明対象となる領域の選択やキャプションの長さは，LN の統計量から求めた値を採用したが，説明意図を表現するキャプション生成に必要となる画像特徴量の適切な抽出や, 個々の説明領域内の物体の在り様などをより踏まえて、キャプション生成する必要があることがわかった.

今後の課題として，これらの問題に取り組みつつ，説明領域全体を俯瞰する観点からのキャプション生成も可能にしたい.

## 参考文献

[1] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. Faster R-CNN: towards real-time object detection with region proposal networks. CoRR, Vol. abs/1506.01497, , 2015.

[2] Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2015.

[3] Danfei Xu, Yuke Zhu, Christopher B. Choy, and Li Fei-Fei. Scene graph generation by iterative message passing. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017.

[4] Jianwei Yang, Jiasen Lu, Stefan Lee, Dhruv Batra, and Devi Parikh. Graph R-CNN for scene graph generation. In Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, editors, Computer Vision - ECCV 2018 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part I, Vol. 11205 of Lecture Notes in Computer Science, pp. 690-706. Springer, 2018.

[5] Zhan Shi, Xu Zhou, Xipeng Qiu, and Xiaodan Zhu. Improving image captioning with better use of caption. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7454-7464, Online, July 2020. Association for Computational Linguistics.

[6] Xu Yang, Kaihua Tang, Hanwang Zhang, and Jianfei Cai. Auto-encoding scene graphs for image captioning. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10677-10686, 2019.

[7] Wenqiao Zhang, Haochen Shi, Siliang Tang, Jun Xiao, Qiang Yu, and Yueting Zhuang. Consensus graph representation learning for better grounded image captioning. In Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI 2021, Thirty-Third Conference on Innovative Applications of Artificial Intelligence, IAAI 2021, The Eleventh Symposium on Educational Advances in Artificial Intelligence, EAAI 2021, Virtual Event, February 2-9, 2021, pp. 3394-3402. AAAI Press, 2021.

[8] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, control and tell: A framework for generating controllable and grounded captions. CoRR, Vol. abs/1811.10652, , 2018.

[9] Long Chen, Zhihong Jiang, Jun Xiao, and Wei Liu. Human-like controllable image captioning with verbspecific semantic roles. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2021, virtual, June 19-25, 2021, pp. 16846-16856. Computer Vision Foundation / IEEE, 2021.

[10] Kun Yan, Lei Ji, Huaishao Luo, Ming Zhou, Nan Duan, and Shuai Ma. Control image captioning spatially and temporally. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2014-2025, Online, August 2021. Association for Computational Linguistics.

[11] Jordi Pont-Tuset, Jasper Uijlings, Soravit Changpinyo, Radu Soricut, and Vittorio Ferrari. Connecting vision and language with localized narratives. In $E C C V, 2020$.

[12] Chaorui Deng, Ning Ding, Mingkui Tan, and Qi Wu. Length-controllable image captioning. CoRR, Vol. abs/2007.09580, , 2020.

[13] Alina Kuznetsova, Hassan Rom, Neil Alldrin, Jasper R. R. Uijlings, Ivan Krasin, Jordi Pont-Tuset, Shahab Kamali, Stefan Popov, Matteo Malloci, Tom Duerig, and Vittorio Ferrari. The open images dataset V4: unified image classification, object detection, and visual relationship detection at scale. CoRR, Vol. abs/1811.00982, , 2018.

[14] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, Lubomir D. Bourdev, Ross B. Girshick, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. CoRR, Vol. abs/1405.0312, , 2014.

[15] B. A. Plummer, L. Wang, C. M. Cervantes, J. C. Caicedo, J. Hockenmaier, and S. Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer imageto-sentence models. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 2641-2649, December 2015.

[16] Bolei Zhou, Hang Zhao, Xavier Puig, Sanja Fidler, Adela Barriuso, and Antonio Torralba. Semantic understanding of scenes through the ADE20K dataset. CoRR, Vol. abs/1608.05442, , 2016.

[17] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization, 2016

[18] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, Control and Tell: A Framework for Generating Controllable and Grounded Captions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[20] Justin Johnson, Andrej Karpathy, and Li Fei-Fei. Densecap: Fully convolutional localization networks for dense captioning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016.

## A 付録

図 7 様々な文長での画像キャプション生成結果