# 日本語の語彙力と読み時間について

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

本研究では、ヒトの語彙力の差が読み時間にどの ように影響を与えるのかについて検討を行う。具体的には、単語親密度調査に参加した方の評定値に対 して一般化線形混合モデルを適用した際の調査協力者のランダム効果を語彙力と仮定する。その後、同調査協力者に自己ペース読文課題に参加してもらい 読み時間を収集し、読み時間に対して一般化線形混合モデルを適用した際の語彙力の固定効果により、語彙力の差が読み時間に与える傾向を明らかにし た。また、得られた傾向からサプライザルや言語モ デルにおけるパープレキシティとの関連について考察を行う。

## 1 はじめに

本研究では、日本語の語彙力と読み時間の関係 について検討する。以前の調査では、視線走査装置1) や自己ペース読文法 [1] を用いた、新聞記事を 対象として読み時間データを収集 [2] し、記憶力を 計測するリーディングスパンテスト [3] と平成年代 に構築された語彙数判定テスト $[4,5]$ による実験協力者の能力差に基づく分析を行った [6]。得られた は語彙力が高い実験協力者の読み時間が長い傾向 があるという結果であった。 24 人の実験協力者の 語彙力の分散が小さいことが考えられるが、実験協力者を研究室に呼んで、視線走査装置を用いて 実験を行うことが困難となった。一方、英語にお いては、Amazon Mechanical Turk で被験者を募集し て、読み時間を収集した Natural Story Corpus (NSC) [7] が構築されている。同様の試みとして、Yahoo! Japan の Yahoo! クラウドソーシングを用い被験者を 募集したうえで、ibex ${ }^{2}$ を利用して、ウェブブラウ ザを介して自己ぺース読文法により大規模に読み 時間データを収集した [8]。読み時間収集対象者に

は、事前に単語親密度判定タスクに参加し、そのモ デル化の副産物として得られる対象者の語彙力を得 た [9]。これらの二つの調査結果を線形混合モデル で対照させたところ、「語彙力が高い実験協力者の 読み時間が短い」傾向が確認された。従前の結果が 語彙力の高い 1 人の実験協力者の行動に由来する可能性があり、大規模化した行動実験に基づく今回の 分析により異なる結果が得られた。

また、サプライザル $[10,11]$ や言語モデルのパー プレキシティとの関連 $[12,13,14,15,16,17,18]$ につ いても考察を行う。

## 2 データの収集手法

## 2.1 語彙力データの構築

語彙力データは単語親密度データの収集 $[19,9]$ 時 に得られる実験協力者の偏りを数値化したものを用 いる。具体的には、2018 年より毎年『分類語彙表』 の見出し語に対して、「知っている」「書く」「読む」「話す」「聞く」の程度を収集した。収集したデータ を一般化線形混合モデルで単語親密度を 84,114 語 のランダム効果として、語彙力を 6,732 人の実験協力者のランダム効果としてベイジアン線形混合モデ ルによりモデル化した。モデル化する際に、単語側 の標準偏差を 1.0、実験協力者の標準偏差を 0.5 とし た正規分布によりモデル化したものを用いる ${ }^{3}$ 。

後述するとおり、単語親密度調査の協力者の一部 の方が、次節に述べる読み時間データの収集に参加 した。読み時間データの収集に参加した方の語彙力 の分布を図 1 に示す。

## 2.2 読み時間データの収集

前節に示した単語親密度データ収集の 2020 年 10 月の調查に協力された方のうち、語彙数判定の分散が適切な 2,092人を対象に、自己ペース読文法に

図 1 語彙力の分布

表 1 刺激文と実験協力者の統計

表 2 分析対象

よる読み時間データ収集実験参加を募った $[8]$ 。最初に『現代日本語書き言葉均衡コーパス』の白書 (OW) 1 サンプルについて試験的に 500 人の協力者 を募集した。その後、教科書 (OT) 38 サンプルと書籍 (PB)83 サンプルについて、1 サンプル当たり 200 人の協力者を募集した。各実験協力者は 2020 年 11 月 12 月にかけて、白書 $\rightarrow$ 教科書 $\rightarrow$ 書籍の順に 自由に実験に参加でき、読むサンプルの数も自由に 設定した。従前の発表 [8] と同じスクリーニングを 行った後、単語親密度調査 200 回答以上・読み時間実験 5 サンプル以上に参加した実験協力者のデータ を分析対象とした。表 1 に刺激文と実験協力者の統計を、表 2 に分析対象となるデータ数を示す。

## 3 統計分析

統計分析は対数読み時間に対する線形混合モデ ルにおいて、各固定効果における有意差が確認で きるか否かにより行う。呈示順4) - 文字列長 ${ }^{5)}$ - 試行

4） BCCWJ-SPR2 における文呈示順 SPR_sentence_ID (sentid) $\cdot$文節呈示順 SPR_bunsetsu_ID (bid)

5）BCCWJ-SPR2 における表層形文字列長 SPR_word_length (length)。順6) ・係り受(゙7) ・ 実験協力者の語彙力 ${ }^{8)}$ を固定効果 とし、実験協力者 9$)$ ・サンプル $\mathrm{ID}^{10)}$ をランダム効果 とした。本稿では $\operatorname{lme4}[20,21]$ を用いた一般化線形混合モデルの結果を示す。一度モデルを推定したう えで、3SDよりも外側の値のデータポイントを排除 し、再推定を行った結果を表 3 に示す。なお、対数読み時間を頻度主義的な線形混合モデルで分析した ものを付録の表 4 に、同様のモデルをベイジアン線形混合モデル（対数正規モデル）で分析したものを 付録の表 5 に示す。

まず、同一サンプル内の呈示順については、実験 が進むについて文脈を得るために読み時間が短く なる傾向が確認された。文字列長は長いほど認識に 時間が長くなる傾向が確認された。試行順について は教科書においては実験協力者が慣れて短くなる 傾向が確認された。書籍においては、反対に繰り返 し実施することによる疲れからか、長くなる傾向が 確認された。最後に係り受けの数が多いほど、予測 が効くために、読み時間が短くなる傾向が確認され た。ここまでは既存の分析結果 [8] と同様の結果で あった。

## 4 考察

以下、結果についての考察を示す。

## 4.1 語彙力の影響

以前の調査 [6] では語彙力が高い実験協力者の読 み時間が長い傾向が確認された。しかしながら、調

6） BCCWJ-SPR2 における実験協力者ごとの試行順（サンプル 単位に集計）SPR_trial。OW については 1 サンプルのみのた めに常に試行順が 1 のため未定義。

7）BCCWJ-SPR2 における当該文節に対する係り受けの数 SPR_DepPara_depnum (dependent)。BCCWJ-DepPara から復元。 OT には係り受けが付与されていないために未定義。

8）WLSP-Familiary3.1 における実験協力者のランダム効果 WFR_subj_rate。

9）BCCWJ-SPR2 における実験協力者固有のID SPR_subj_ID_factor。

10） BCCWJ におけるサンプル ID BCCWJ_Sample_ID。

回帰式：

SPR_reading_time SPR_sentence_ID + SPR_bunsetsu_ID + SPR_word_length + DepPara_depnum

+ SPR_trial + WFR_subj_rate + (1 | SPR_subj_ID_factor) + (1 | BCCWJ_Sample_ID)

但し、OT は 1 回の試行のみのため SPR_trial は未定義、OT は係り受け情報が付与されていないため DepPara_depnum は 未定義。

表 3 一般化線形混合モデルに基づく分析結果（読み時間）

查人数が少ないうえ語彙力が高い群が実質 1 名で あったために、この1名のデータに依存し、一般性 のない分析である可能性があった。本調査では、読 み時間計測タスクを自己ペース読文課題に限定しな がらも、数百人規模のデータを用い、読む文章量も 増やした設定で再検証を行った。また語彙力の測定 もNTT の平成版語彙数判定テストではなく、新た に単語親密度調査に基づく副産物としての協力者の 語彙力を用いた。結果、語彙力が高い群の読み時間 がより短くなる傾向が観察された。

## 4.2 レジスタの影響

語彙力の影響を有意差の観点で見ると、OT(教科書) が $p<0.1 、 \mathrm{~PB}$ (書籍) が $p<0.05 、 \mathrm{OW}$ (白書) が $p<0.01$ であった。教科書は小・中・高の国語の教科書のサンプルであり、協力者は一度は読んだこと がある可能性がある。書籍と白書を比べると、一般 に書籍のほうが協力者が読みなれている可能性もあ る。このレジスタについてのなじみの程度が、語彙力の影響の有意差に表れている可能性がある。なじ みのある教科書では語彙力の影響の差が小さいが、 なじみのない白書では語彙力の影響の差が大きく なった可能性がある。

## 4.3 サプライザルや言語モデルのパープレ キシティとの関係

サプライザル $[10,11]$ は、文処理の負荷に対する 情報量基準に基づいた指標で、当該単語の文脈中の 負の対数確率（次式）によりモデル化される文処理 の困難さを表す：

$
\text { Surprisal }(w)=-\log _{2} P(w \mid \text { context })
$

似た概念の言語モデルの評価指標としてパープ レキシティ (平均分岐数) perplexity(context)= $\Pi_{i=1}^{N} P\left(w_{i}\right)^{1 / N}$ がある。これを対数を取った形式 (cross entropy) で表記すると $H$ (context) = $\frac{1}{N} \sum_{i=1}^{N} \log _{2} P\left(w_{i}\right)$ となるが、言語モデルとして次 にくる単語 $w$ を予測する際の仮定としては、 $\arg \max \log _{2} P(w \mid$ context $)$ と、この cross entropy の最大化問題に帰着でき、実質的には符号が反転したサ プライザルの式の最小化と等価の問題と捉えること ができる。

このパープレキシティ (cross entropy) が低いほど ヒトらしいという研究は英語については確認されて いる $[12,13,14,15,16]$ 一方、英語と日本語における 読み時間と Transformer 系の言語モデルの対照分析 [17,18] において、日本語においては必ずしもそう とは言えない報告がなされた。

ここで、サプライザル・パープレキシティとは何

か、さらには「ヒトらしい」とは何かについて考え たい。過去の研究においては、言語モデルの能力差によるパープレキシティの検討がなされてきた。本研究ではヒトの能力差とレジスタの親密性の観点 から検討を行いたい。

まず、ヒトの能力差の観点からは、仮定として語彙力が高いヒトは文脈から単語を推測する確率が 高いとするならば、この能力差がサプライザルの指標を下げ、全体的に読み時間を短くした可能性があ る。サプライザルと言語モデルのパープレキシティ の等価性から、言語モデルのパープレキシティが高 くなるにつれ、より語彙力の高い群に親和性がある 予測を行う可能性がある。

次に、レジスタの親密性の観点からは、仮定とし て、OT(教科書) は一度読んだ可能性があるテキス トであり、PB(書籍) は普段読んでいるものに近い 新しいテキストであり、OW(白書) は普段読み慣れ ないテキストであると想定する。親密性の観点から は、OT>PB>OW の順で次にくる単語が予測しやす い可能性があり、サプライザルはこの逆順で小さい (パープレキシティの観点からは正順で大きい) レ ジスタであると考える。表 3 の語彙力の有意差の傾向から、 $\mathrm{OT}<\mathrm{PB}<\mathrm{OW}$ の順で語彙力の差が出やすく なっていることがわかる。本データ (BCCWJ-SPR2) の $\mathrm{PB}$ の NDC（日本十進分類法）に基づく分析 [22] では、多くの人が親しみやすい芸能やスポーツなど を含む「7. 芸術・美術」が読み時間が短くなる傾向 が確認されている。

以上の観点を総合的に考えると、「ヒトらしい」言語モデルとは、適切なレベルの語彙力を持ち、レ ジスタの親密性の差異により予測可能性が変化しう るものであろうと考える。後者のレジスタの親密性 については、Hale らが、サプライザルをジャンル横断的に調査し、EEGデータと推定したサプライザル とを対照することで、同一ジャンルで訓練した言語 モデルのほうがより EEG データに適合することを 報告している [23]。

## 5 おわりに

本研究では、日本語の読み時間と語彙力の関係 について検討した。本研究の貢献は以下の 3 点で ある：

・対面で実験できないなか、オンラインで日本語 の読み時間と語彙力調査を大規模に行う方法を 確立した。
・大規模調査により、日本語において語彙力の読 み時間に与える影響について、複数レジスタの 資料に対して調査した。
- 調査結果として、「語彙力の高い」群が読み時間が短くなることを確認した。

分析結果から以下の 2 点について考察を行った：

・ヒトの能力差において、「語彙力の高い」こと と「言語モデルのパープレキシティの高い」こ とのアナロジーを仮定すると、言語モデルの パープレキシティが高くなるにつれてより語彙力の高い群に親和性がある予測を行う可能性が ある。

・レジスタの親密性において、サプライザルが全体的に低いであろう読みなれているレジスタに おいては、語彙力の差が出にくい。

このように日本語の読み時間において、ヒトの能力差やレジスタ差の検討が可能になった。今後、よ り精緻な数理モデルによる検討を期待する。

今回、ヒト側の能力として語彙力について検討を 行い、上記の傾向について明らかにした。日本語に おいては、再帰的ニューラルネットワーク文法に よる読み時間の検討 $[24,25]$ も進められている。文法に基づくヒトの文処理過程をつかさどる重要な 概念として、実験協力者の作業記憶容量 (パージ ングアルゴリズムにおけるビーム幅相当）がある。 BCCWJ-EyeTrack においては、日本語リーディング スパンテスト [3] を行い、成績の優劣による検討も 行った [6]。本データにおいても、オンラインで作業記憶容量を評価する方法について検討し、パージ ングに基づく文処理過程のモデリングについて評価可能なデータを構築したい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 17H00917, 18H05521 の支援を受けました。

## 参考文献

[1]Marcel Adam Just, Patricia A. Carpenter, and Jacqueline D. Woolley. Paradigms and processes in reading comprehension. Journal of Experimental Psychology: General, 3:228-238, 1982.

[2]浅原正幸, 小野創, and 宮本エジソン 正. BCCWJEyeTrack-『現代日本語書き言葉均衡コーパス』に対 する読み時間付与とその分析-. 言語研究, 156:67-96, 2019.

[3]苧阪満里子, editor. ワーキングメモリー脳のメモ帳. 新曜社, 2002.

[4]Shigeaki Amano and Tadahisa Kondo. Estimation of Mental Lexicon Size with Word Familiarity Database. In Proceedings of International Conference on Spoken Language Processing, volume 5, pages 2119-2122, 1998.

[5]天野成昭 and 近藤 公久, editors. 単語親密度, NTT デー タベースシリーズ 日本語の語彙特性第 $l$ 巻. 三省堂, 1999.

[6]浅原 正幸, 小野創, and 宮本 エジソン 正. 『現代日本語書き言葉均衡コーパス』の読み時間とその被験者属性. In 言語処理学会第 23 回年次大会発表論文集, pages 273-276, 2017.

[7]Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank, Anastasia Vishnevetsky, Steven Piantadosi, and Evelina Fedorenko. The Natural Stories Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[8]浅原 正幸. クラウドソーシングによる大規模読み時間 データ収集. In 言語処理学会第 27 回年次大会発表論文集, pages 1156-1161, 2021.

[9]浅原 正幸. クラウドソーシングによる単語親密度デー 夕の構築 (2021 年版). In 言語処理学会第 28 回年次大会発表論文集, 2022.

[10]John Hale. A probabilistic earley parser as a psycholinguistic model. In Proceedings of the Second Conference of the North American Chapter of the Association for Computational Linguistics, volume 2, pages 159-166, 2001.

[11]Expectation-based syntactic comprehension. Cognition, 106(3):1126-1177, 2008.

[12]Stefan L. Frank and Rens Bod. Insensitivity of the human sentence-processing system to hierarchical structure. Journal of Psychological Science, 22(6):829-834, 2011.

[13]Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of CMCL, pages 61-69, 2012.

[14]Adam Goodkind and Klinton Bicknell. Predictive Power of Word Surprisal for Reading Times is a Linear Function of Language Model Quality. In Proceedings of CMCL, pages $10-18,2018$

[15]Adam Goodkind and Klinton Bicknell. Comparing Gated and Simple Recurent Neural Network Architectures as Models of Human Sentence Processing. In Proceedings of the 41st Annual Conference of the Cognitive Science Society, pages 112-118, 2019.

[16]Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language
Models for Human Real-Time Comprehension Behavior. In Proceedings of the 42nd Annual Conference of the Cognitive Science Society, pages 1707-1713, 2020.

[17]Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguisticsand the 11 th International Joint Conference on Natural Language Processing, pages 5203-5217, 2011.

[18]栗林樹生, 大関洋平, 伊藤 拓海, 吉田遼, 浅原 正幸, and 乾 健太郎. 予測の正確な言語モデルがヒトらしいとは 限らない. In 言語処理学会第 27 回年次大会発表論文集, pages 267-272, 2021.

[19]浅原 正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[20]Douglas Bates, Martin Mächler, Ben Bolker, and Steve Walker. Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67:1-48, 2015.

[21]Marek Hlavac. stargazer: Well-formatted regression and summary statistics tables, 2018. R package version 5.2.2.

[22]浅原 正幸 and 加藤 祥. 『現代日本語書き言葉均衡コー パス』書籍サンプルの読み時間の分析. In 日本語学会 2021 年度春季大会予稿集, pages 49-54, 2021.

[23]John Hale, Adhiguna Kuncoro, Keith Hall, Chris Dyer, and Jonathan Brennan. Text genre and training data size in human-like parsing. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 5846-5852, Hong Kong, China, November 2019. Association for Computational Linguistics.

[24]Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[25]吉田 遼, 能地 宏, and 大関 洋平. 再帰的ニューラルネッ トワーク文法による人間の文処理のモデリング. In 言語処理学会第 27 回年次大会発表論文集, pages 273-278, 2021.

## A 付録

回帰式：

SPR_log_reading_time SPR_sentence_ID + SPR_bunsetsu_ID + SPR_word_length + DepPara_depnum

+ SPR_trial + WFR_subj_rate + (1 | SPR_subj_ID_factor $)+(1$ | BCCWJ_Sample_ID)

但し、OT は 1 回の試行のみのため SPR_trial は未定義、OT は係り受け情報が付与されていないため DepPara_depnum は 未定義。

表 4 一般化線形混合モデルに基づく分析結果（OW 白書・OT 教科書・PB 書籍 $:$ 対数読み時間）

表 5 ベイジアン線形混合モデルに基づく分析結果（OW 白書のみ：対数正規モデル）


# How nearly random mutations to sentences affect their acceptabilities:

Preliminary quantitative analyses based on ARDJ data

Kow Kuroda ${ }^{1}$, Hikaru Yokono $^{2}$, Keiga Abe ${ }^{3}$, Tomoyuki Tsuchiya ${ }^{4}$, Yoshihiko Asao ${ }^{5}$,
Yuichiro Kobayashi ${ }^{6}$, Toshiyuki Kanamaru ${ }^{7}$, and Takumi Tagawa ${ }^{8}$
${ }^{1}$ Kyorin University, ${ }^{2}$ Meisei University, ${ }^{3}$ Wako University, ${ }^{4}$ Kyushu University,
 }^{5}$ National Institute of Communications and Information Technology, ${ }^{6}$ Nihon University, ${ }^{7}$ Kyoto University, ${ }^{8}$ Tsukuba University

\begin{abstract}
ARDJ s2u data consists of 300 sentences paired with acceptability ratings. Out of them, 36 are "originals" that were human-made and other 264 are their "mutations" that were generated either by nearly random replacement of a nominal, a verbal or a positional (e.g., case-marker) or by random swapping a pair of phrases (i.e., bunsetu) inside. This allows us to analyze effects of mutation systematically. With DBSCAN of the originals, layered analysis of mutation effects was carried out. Findings are: i) No mutations improve low acceptabilities; ii) The order of systematicity is: $\mathrm{p}<\mathrm{v}<\mathrm{n}<\mathrm{s}$; iii) The order of effect size is: $\mathrm{p}<$ $\mathrm{v}, \mathrm{n}, \mathrm{s}$, so that $\mathrm{n}-$, s-mutations often cause as large effects as v-mutation, or oven larger; iv) No simple dichotomy is possible between "acceptable" and "acceptable" sentences. Rather, their distinction is continuous and graded, so that (logistic) regression is a better modeling of the distinction.
\end{abstract
## 1 Introduction

Linguistics is concerned with acceptabilities of sentences, if not exclusively. But acceptability is an elusive notion $[1,2,3,4,5,6]$. Any group of linguists rarely agree on its theoretical definition, meaning that it is a highly theoryladen notion [7]. If its theoretical definition is somehow shared, its operative definition is virtually missing. The situation is still worse. Even if presume its definition is fine, we are still far from knowing what acceptabilities really are. No unbiased, large-scale collection of the required data has ever been done. In particular, we are far from fully understanding what modifications to a sentence bring about what effect, and to what degree, because data-driven study into this problem has never been done. What linguists know about acceptability suffers from "confirmationbias" $[8,9,10,11,12,13]$. This is the issue that dictates this research based on Acceptability Rating Data for Japanese (ARDJ for short) [14, 15, 16, 17, 18, 19].

ARDJ is a project of empirically-oriented language science, rather than mere linguistics, that attempts to implement the framework of randomized control trials in the field of linguistics, with sympathy for Evidence-based Medicine
(EBM) [20,21]. A crucial conviction that paved the way for ARDJ is that intuitions by experts (e.g., acceptability judgments by linguists) are valuable with no doubt, but they are too weak "evidence" to be treated as "facts"; rather, they are more or less reliable "guides."

The stimuli used in the ARDJ surveys comprise two kinds of sentences: 36 "originals" hand-crafted by humans and their "variants" generated by applying nearly random mutations on the originals. Mutations are only nearly random rather than fully random, because they have target sites, and values for replacement are chosen based on word2vec distributional similarities. See [16] for relevant details. Appendix A. 1 gives a brief summary. Effects of mutation can be systematically analyzed by comparing responses to the originals and their mutations.

## 2 Analysis and results

To make our analysis effective, we use PCA, tSNE with DBSCAN clustering, overplot, and KL-divergence-based heatmap/clustering. In $\$ 2.3 .1-\$ 2.3 .4$, analysis of effects of mutation is implemented as a layered analysis in which Clusters 1, 2, 3 and 4, are taken as four separate groups of data. Discarding the originals in Clusters 2, 3 and 4, KLdivergence-based analysis is performed on mutations to the originals in Cluster 1 in \$2.4. Lastly, effects are analyzed by exploring properties of mutation-wise KL-divergence heatmaps in $\S 2.5$.

## 2.136 originals and their attributes

ARDJ s2u data [17] has 36 "originals" presented in Figure $1,001,002, \ldots$, o36, with relevant attributes. Details are presented in §2.1. How this data was prepared is described in Appendix A. The originals are sorted decreasingly by $\mathrm{r} 01, \mathrm{r} 12$ values, and increasingly by $\mathrm{r} 23, \mathrm{r} 3 \mathrm{x}$ values. Only 32 originals have more than 2 mutations. So, the number of effective originals is 32 rather than 36 , as Figure 1 shows. The effective ones have $(8.31-1)$ mutations/variants on average, with a maximum of 16 and minimum of 4 .

Figure 1: $\mathbf{3 6}$ originals with attributes

The originals were clustered using DBCAN, giving us 4 clusters. $\$ 2.2$ deals with this result. The resulting clustering is laid out over a PC1-PC2 plane of PCA rotation and a Dim1-Dim2 plane of tSNE transformation. This gives us how the sentences are associated to each other.

## 2.2 Clustering of originals and all stimuli

Figure 2: PCA and tSNE of 36 originals

## 2.2.1 Clustering originals only

DBSCAN was used to cluster the 36 originals to identify 4 clusters, which are shown in PCA and tSNE plots in Figure 2. tSNE in Figure 2 suggests the existence of a unified dimension along which acceptability can be measured. The deviance of Cluster 2 from it can be accounted for its special nature described below.

## 2.2.2 Clustering all 270 stimuli

For comparison, we present clustering of all stimuli including the 36 originals described above. Figure 3 gives PCA and tSNE plots of DBSCAN clustering. Note that the setting for eps and minPts parameters here is independent from those for the parameters for the DBSCAN clustering of the 36 originals.

Figure 3: PCA and tSNE of all 270 stimuli

## 2.3 Layered Analysis

This clustering result seems natural in that clusterwise overplots in Figure 4 seem to capture both the similarities and dissimilarities quite well. Each cluster consists of instances with surprising similarities.

rating ranges
lustered by DBSCAN (eps $=$

rating ranges
DBSCAN (eps $=0$

Figure 4: Clusterwise ovwerplots of originals

Comparing with the data in Figure 1, we can safely conclude the following:

a. Cluster 1 identifies the group of "acceptable" stimuli, Cluster 4 the one of "unacceptable" stimuli, and Clusters 2 and 3 the ones of "ambiguous" stimuli, with different qualities.

b. Cluster 3 consists of 3 instances, 003, 011 and o24, that have a "split" decision, in that raters are split into two groups of those who accept them fully and those who reject them fully.

c. Cluster 4 consists of 3 instances, 001,007 and 032, that have a nearly "uniform" distribution of (un)acceptability along the range, though with a slight inclination toward acceptability.

With these distinctions among the originals, we can now turn to effectively analyzing the effects of mutation to answer the research question: how random mutations to sentences affect their acceptabilities, and to what extent.

## 2.3.1 Analysis 1a: Mutations to originals in Cluster 4

We start our analysis with the one of the mutations to the originals to Cluster 4, a relatively large cluster, having 13
members which can be labelled as "unacceptable" stimuli. This is because the effects are simple and can be characterized most easily.

Effects of mutation are analyzed in three visualizations, as shown in Figure 5: i) overplot of response profiles (in the leftmost column); ii) proportional distribution of range values after reordering; and iii) layout of DBSCAN clusters in a rotated geometry $G$.

Figure 5: Mutations to originals to Cluster 4 [4 samples]

In each analysis, stimuli are ordered by their range values. So, their positions relative to o in the legend roughly indicate if mutations increase or decrease acceptabilities.

As suggested by the plots in Figure 5, virtually no mutations improve the original acceptabilities. In addition, the response profiles, i.e., shapes of distribution, stay unchanged for most cases. So, there seems to be a rule like "once (made) deviant, always deviant." This finding is not truly surprising, let alone unexpected; yet, it deserves a mention because this is the first empirical confirmation of a truism on a large scale that has long awaited testing.

## 2.3.2 Analysis 1b: Mutations to originals in Cluster 3

Effects of mutations to cases in Cluster 3 are similar to the ones to stimuli in Cluster 4. Stimuli in Cluster 3 almost are almost never improved by any mutation, though, admittedly, we can hardly state generalizations safely because we have too few affected cases.

## 2.3.3 Analysis 1c: Mutations to originals in Cluster 2

Effects of mutations to cases in Cluster 2 are somewhat different from the ones to stimuli in Cluster 3. Unlike stimuli in Cluster 3, stimuli in Cluster 2 sometimes improve, though, again, we can hardly state generalizations safely

Figure 6: Mutations to originals to Cluster 3 [One case was dropped due to insufficient cases.]

due to having too few affected cases. It is interesting that o11 and o24 get more acceptable through certain mutations, though o03 does not possess such properties.

Figure 7: Mutations to originals to Cluster 2 [2 samples]

## 2.3.4 Analysis 1d: Mutations to originals in Cluster 1

Mutations to the originals in Clusters 2, 3 and 4 tell us virtually nothing interesting about how mutations affect acceptability, because we can hardly identify meaningful differences between mutations and their originals. This is not true of mutations to the originals in Cluster 1.

Mutation effects are different case by case, but generally speaking, we can observe the following:

a. Lexical changes (i.e., mutations to either $\mathrm{n}$ (ominals), v(erbals), or $\mathrm{p}$ (ositionals)) nearly always drop acceptability, while non-lexical changes (i.e., swapping) do not. Swapping often keeps the acceptability.

b. It is not true, at least not observed, that n-changes reduce acceptability more than $\mathrm{v}$-and $\mathrm{p}$-changes, as far as degree of deviance is measured.

c. Changes to $\mathrm{p}$ introduce only a slight amount of deviance, though it is unignorable.

d. Effects of mutation are diverse, in that the number of clusters recognized is greater than the ones in other clusters, Clusters 2, 3 and 4.

e. Mutations do not simply make sentences unacceptable, in that resulting profiles do not always look like those in the originals in Cluster

Figure 8: Mutations to originals to Cluster 1 [5 samples]

4. Rather, they look more like the originals in Cluster 3 or 2 . So, the effects of mutation are more subtle than researchers have guessed.

With their relative importance, cases in Cluster 1 deserve further exploration. We do it by analyzing them with KLdivergence cross-table.

## 2.4 Analysis 2: KL-divergence for originals to Cluster 1

The diagrams in Figure 9 are heatmaps of the 9 samples, taken in Figure 8, allowing us to make the following observations:

a. p- and v-mutations tend to cluster together, but not always.

b. swapping and n-mutations tend to lack systematic effects, though they often cause drastic deterioration.

## 2.5 Analysis 3: KL-divergence cross-table by mutation

Different types of mutation, i.e., p, v, $n$ and $s$, have different magnitudes of effects. To estimate them, we can use KLdivergence heatmaps, as shown in Figure 10.

If the contrasts between "hot" and "cool" areas are sharp, the magnitude of effects can be judged to be large. If the

Figure 9: KL-div. heatmaps for Cluster 1 cases [009, o08, $005,016,023,022,026,027,031]$

Figure 10: KL-div. heatmaps for mutation types [p, v, n, $\mathbf{s ,} \mathbf{0}]$

degree contrasts are spread, effects are unsystematic. With this criterion, we can conclude that i) the effect of $p$ mutations is least contrastive and most systematic; ii) that of $\mathrm{v}$ mutations is second least contrastive and rather systematic; iii) that of n mutations is second most contrastive and rather unsystematic; and iv) that of s mutations is most contrastive and most systematic. Note that the 36 originals are contrastive only because they are largely designed so.

## 3 Discussion and Conclusion

So, what are causes of reduced acceptabilities? With the results so far, we can now decide if we are able to answer this question. The most sincere answer to this would be: there is no simple answer to this question. What does this mean, then?

Simple dichotomy between "acceptable" and "unacceptable" kinds of sentences is too simple and unrealistic, though it is widely accepted and practiced in many areas of linguistics. What really matters about acceptabilities are response profiles (distributional pattern of responses) rather than categorical judgments, on the one hand, and regression to response profiles rather than binary classification (e.g., dichotomy $=$ categorical judgment), on the other. This is a conclusion compatible with the results in [15].

What do linguists need to do with this reality, then? We would suggest that the goals of linguistics should be redefined. Redefined goals include the construction of a mapping from sentences in textual form (e.g., values in s.text in Table 1) to response profiles (e.g., arrays of values [r01, r12, r23, r3x] in the table in Figure 1), yielding overplots in Figures 4. This can never be attained until large-scaled, bias-free databases like ARDJ are built for as many languages as possible. Until then, linguistics would never make itself an empirical science.

## Acknowledgements

This research was supported by JSPS through Grant-in-Aid (16K13223)

We are grateful for Shunji Awazu (Jissen Women's University), Asuka Terai (Future University of Hakodate) and Minoru Yamaizumi (Osaka University), who kindly helped our execution of Phase 1 of ARDJ Survey 2.

All statistic analyses were done on $\mathrm{R}$ version 3.6.3, a free statistical software developed by R Core Team .

## References

[1] Wayne Cowart. Experimental Syntax: Applying Objective Methods to Sentence Judgments. Sage Publishing, 1997.

[2] Ira A. Noveck and Dan Sperber, editors. Experimental Pragmatics. Palgrave Macmillan, 2005.

[3] Gary Dean Prideaux, Bruce L. Derwing, and William J. Baker. Experimental Linguistics: Integration of Theories and Applications. John Benjamins, 1979.

[4] Carson T. Schütze. The Empirical Base of Linguistics: Grammaticallity Judgments and Linguistic Methodlogy. Language Science Press/University of Chicago Press, 2016 [1996].

[5] Jon Sprouse. Three open questions in experimental syntax. Linguistics Vanguard, Vol. 1, No. 1, pp. 89-100, 2015.

[6] Jon Sprouse and Norbert Horstein. Experimental Syntax and Island Effects. Cambridge University Press, 2013.

[7] Holly P. Branigan and Martin Pickering. An experimental approach to linguistic representation. Behavioral and Brain Sciences, Vol. 40, 2017.

[8] Jonathan Baron. Thinking and Deciding. Cambridge University Press, 2000 [1988, 1994].

[9] H. W. Bierhoff and R. Klein. Expectations, confirmation bias, and suggestibility. In V. A. Gheorghiu, P. Netter, H. J. Eysenck, and R. Rosenthal, editors, Suggestion and Suggestibility, pp. 337-346. New York: Springer, 1989.

[10] Joshua Klayman. Varieties of confirmation bias. Psychology of Learning and Motivation, Vol. 32, pp. 384-418, 1995.

[11] Thomas Gilovich. How We Know What Isn't So: The Fallibility of Human Reason in Everyday Life. Free Press., 1993. [(日本語訳) 人間，この信じやすきもの: 迷信・誤信はど うして生まれるか. 新曜社.].

[12] David Robson. The Intelligence Trap: Why Smart People Do Stupid Things and How to Make Wiser Decisions. Hodder \& Stoughton, 2019.

[13] Stuart A. Vyse. Believing in Magic: The Psychology of Superstition. Oxford University Press, reprinted edition, 2000. [(日本語訳): 人はなぜ迷信を信じるのか: 思い込みの心理学. 朝日新聞社, 1999.].

[14] Kow Kuroda. Reassessing PCA of Acceptability Rating Data for Japanese (ARDJ) using kernel MVA. In Proceedings of the 26th Annual Meeting of Association of NLP, pp. 15231526,2020
[15] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Aaso, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Simulating acceptability judgments using ARDJ data. In Proceedings of the 27th Annual Meeting of Association of NLP, pp. 739-743, 2021.

[16] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Development of Acceptability Rating Data of Japanese (ARDJ): An initial report. In Proceedings of the 24th Annual Meeting of the Association for NLP, pp. 65-68, 2018.

[17] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Insights from a large scale web survey for Acceptability Rating Data for Japanese (ARDJ) project. In Proceedings of the 25th Annual Meeting for the Association of NLP, pp. 253-256, 2019.

[18] 黒田航, 阿部慶賀, 横野光, 土屋智行, 小林雄一郎, 金丸敏幸, 浅尾仁彦, 田川拓海. 容認度評定に影響する要因の定量的評価: 日本語容認度評定データ (ARDJ) から得られた知見. 日本認知科学会第 36 回大会発表論文集, pp. 727-736, 2019.

[19] 黒田航, 阿部慶賀, 粟津俊二, 寺井あすか, 土屋智行. ARDJ を基にした容認度評定値と反応時間の多変量解析と混合回帰分析. 認知科学会第 37 回大会発表論文集, pp. 919-928, 2020.

[20] G. Evidence-based Medicine Group [Guyatt, J. Cairns, and D. et al.] Churchill. Evidence-based medicine: A new approach to teaching the practice of medicine. Journal of the American Medical Association, Vol. 268, No. 17, pp. 2420 5, 1992 (Nov 4).

[21] David Isaacs and Dominic Fitzgerald. Seven alternatives to evidence based medicine. The British Medical Journal, Vol. 319, No. 7225, p. 1618, 1999.

## A Data preparation

## A. 1 Construction of stimuli

To make the outcomes of ARDJ truly empirical and useful, we need to employ as unbiased stimuli as possible. The best way to implement it is to employ automatic generation rather than relying too much on human intuitions. Random mutation in DNA sequences serves as a model. The basic idea is the following:

(4) Steps of randomized generation with targets

Step 1. Construct sentences, called "originals," $O=\left.\{o_{1}\right.$, $\left.o_{2}, \ldots, o_{n}\right.\}$ with or without deviance.

Step 2. Introduce random mutations to instances of $O$. Let $M$ denote the result.

Step 3. Mix $O$ and $M$ and use its subsets for acceptability rating tasks.

More details of Step 2 are given in the following:

(5) A) Random replacement of a lexical item under POSidentity (edit type: 1(exical)); B) Random replacement of a postpositional case-marker $(\mathrm{P})$ with another (edit type: $\mathrm{p}($ ositional)); C) Random positional exchange of a given pair of NPs (or PPs) (edit type: s(wapping)).

provided that items for replacement are selected on a predefined measure such as distributional similarity.

The first and second authors developed Python scripts to implement mutations of $\mathrm{A}-, \mathrm{B}-$ and $\mathrm{C}$-classes. They are provided at https://github.com/kow-k/ Japanese-sentence-mutators.

## A. 2 Surveys

By 2019, ARDJ completed two experiments. The first one, called "Survey 1," was carried out in 2017. It was intended to be a pilot study with only a limited variety of responders (roughly 200 college students only) on 200 sentences for stimuli. Kuroda et al. [16] reported on this survey. The second experiment, called "Survey 2," was carried out in 2018. This was the main study, with the stimulus set expanded to 300 with some overlap with Survey 1.

Survey 2 had two phases, Phases 1 and 2, and collected responses from 1,880 participants in total. Phase 1 was a small scale, paper-based survey, to which 201 participants (mostly all college or university students) contributed responses. This was comparable to the pilot study done in 2017. Phase 2 was a large scale web survey to which 1,679 participants contributed responses. They were significantly more varied in their attributes and we would safely state responses obtained were randomized enough. Survey 2 unified (s2u) data consists of unification of responses from Phase 1 and Phase 2. These data are freely available at https://kow-k.github.io/ Acceptability-Rating-Data-of-Japanese/, but you need to register to use them.

## A. 3 Collection of ratings/responses

On acceptability rating, participants were asked to choose one of the four choices in (6).

(6) 0. 違和感がなく自然に理解できる文 [natural and easy to understand]; 1. 違和感を感じるが理解可能な文 [more or less deviant but comprehensible]; 2. 違和感を感じ て理解困難な文 [deviant and difficult to understand]; 3.不自然な理解不能な文 [quite unnatural and incomprehensible]

Prefixes 0, 1, 2 and 3 are added to indicate the degrees of deviance, though they need not be on a single scale.

Outlier responders were filtered out using standard deviation $(0.6<\mathrm{sd}<1.5)$ and Mahalanobis distance $(<0.95)$. See Kuroda et al [17] for relevant details.

## A. 4 Standardizing responses

Note that gr0, .., gr9 are different data sets, and cannot be directly compared. Comparison of them requires standardization. All groups were collapsed and responses were counted for each of the four rating ranges $r[0,1), r[1,2), r[2,3)$, and $r[3, \infty)$.

Table 1 shows 10 samples of this process. These raw counts were then converted into proportions to item-wise sums. This gave us density array, $P=$ $\langle p[0,1), p[1,2), p[2,3), p[3, \infty)\rangle$, as exemplified in Table 2. Note that allowed response values were $0,1,2$, and 3 . These numbers are reinterpreted as ranges $r[0,1), r[1,2)$, $r[2,3)$, and $r[3, \infty)$, respectively, where $r[i, j)$ means a sum of response counts between $i$ and $j$ with $i$ included and $j$ excluded. The converted arrays of ranged response probabilities in this format are to be called "response potentials." They are commensurable among groups with different sets of responders, and were used as effective encodings of the responses in a variety of analyses.

Table 1: Frequency table by ranges (6 samples)

Table 2: Density table by ranges (6 samples)


# 情報量に基づく日本語項省略の分析

石月由紀子 1 栗林 樹生 1,2 松林 優一郎 1,4 大関 洋平 3,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 東京大学 ${ }^{4}$ 理化学研究所
yukiko.ishizuki.p7@dc.tohoku.ac.jp,
\{kuribayashi,y.m\}@tohoku.ac.jp, oseki@g.ecc.u-tokyo.ac.jp

## 概要

日本語は英語などの言語と比べて項省略が生じや すい言語である. 本研究では，人がどのような基準 で日本語の項省略を行うか，書き手の計算モデルに ついて探求する．具体的には，「書き手は読み手に とっての処理負荷を想定しながら文を書いており，後続要素の処理負荷をなるべく大きくしないように 省略を行っている」という仮説を立てる．項に後続 する単語系列の処理負荷の近似として言語モデルが 計算するサプライザルを用いて分析を行い，結果と して，後続する単語の処理負荷 (サプライザル) が大 きくならないよう省略を行っているという，我々の 仮説を支持する結果が得られた。

## 1 はじめに

言語を用いた情報伝達における主要な目的の一 つは，情報を相手に正確に伝えることである。しか し，情報を正確に伝えるという目標に反して日本語 では文要素の省略現象が頻繁に観察され，なぜ・ど のようなときに省略が生じるのかは言語学的関心を 集めてきた. どのような要素が省略可能・不可能で あるかといった説明は長らく生成統語論で議論され てきたが $[1,2,3,4]$, 言語運用における実際の書き 手の判断 (省略する儿ない) の傾向については分析 が限られている.

本研究ではこのような書き手の省略判断の選好に ついて，情報理論に基づくアプローチで説明を試み る. 情報理論的，確率的な説明は，省略や指示表現選択といった言語産出現象の説明としばしば相性が よく, これまでにも発話中の情報量の分布がなめら かになるような情報伝達を仮定する情報密度一様性 (UID) 仮説 $[5,6]$ や，人間の読み負荷とサプライザル の関係 [7] に基づいて，関係詞省略 [6] や縮約 [8], 格助詞の省略 $[9,10]$ などが分析されてきた.

本研究では，「書き手が読み手にとっての処理負荷を想定しながら文を書いており，後続要素の処理負荷をなるべく大きくしないように省略を行って いる」という仮説を立てる. 読み手にとっての処理負荷の増大と，要素を省略しないことによる文の長 さ (㔯長性) にはトレードオフがあり, 両方の要請 を満たすには，処理負荷を増大させない範囲で省略 を行うという戦略が妥当であると考えられる。例 えば，「家のコーヒー豆が切れたので、デパートで コーヒー豆を買った」という文については，述語動詞の項 (コーヒー豆を)が省略されていても無理なく 後続の情報 (買った) の解釈が可能であることから省略ができると考える。

実験では，動詞の項の省略に焦点を当て，項の省略とその省略によって引き起こされる後続文脈の処理負荷の変化の関係を調査した. 後続文脈の処理負荷については，サプライザル理論に則り，累積サプ ライザルの変化 (項が省略されたときに, 後続要素 の驚きがどれほど増えるか) を観察する。述語項構造・共参照アノテーション付きデータを用い，テキ スト上で省略されている項といない項について，そ の項の表出・省略によって引き起こされる後続単語 の処理負荷の変化量を調査し,「後続する要素の処理負荷が増えないように省略を行っている」という 仮説を支持する結果が得られた。

## 2 サプライザルによる処理負荷推定

人の読み処理や言語の産出過程については，計算心理言語学の視点から分析が行われている. 特に近年では，逐次的な単語の処理困難度と情報量の間の 相関を説明するサプライザル理論 [7] が，読み時間 のモデリング $[11,12]$ などに応用されている. サプ ライザルは, 先行文脈 $c=w_{1}, \ldots, w_{i-1}$ に続く単語 $w_{i}$ の出現確率について負の対数をとったものであり，

$
\operatorname{surprisal}\left(w_{i} \mid c\right)=-\log _{2} P\left(w_{i} \mid c\right)
$

によって求められる。 日本語においても，読み時間 の長さとサプライザルの大きさに相関があることが 示されている [13]. さらには，共参照 [14] やフラグ メント [15] といった言語現象についても，サプライ ザルを用い情報量の観点で分析が与えられている。本研究では, 日本語の項省略について後続の語の読 み処理負荷との関係を観察するために，サプライザ ルを用いて分析を行う。

## 3 方法

本研究での仮説は「書き手は読み手にとっての処理負荷を想定しながら文を書いており，日本語にお いて自然に省略される項は，項の出現の有無によっ て引き起こされる後続単語の処理負荷の変化量が相対的に小さい」というものである. この仮説を検証 するため，(1) まず予備実験的に，文章中に登場する 述語の項を「自然に省略される項」と「自然には省略されない項」の2つのグループに分け，それぞれ のグループで項を出現させた場合と項を出現させな い場合を比べ，後続の語のサプライザルにどの程度 の変化が現れるかを確認する。(2) その後，項省略 に関連する可能性のあるその他の因子を交えて回帰分析を行い，実際に後続の語のサプライザルの変化量が書き手が項省略を起こすか否かの予測に寄与し ているかどうかを検証する。

人手による実験用データの作成上記の検証を行 うにあたっては，書き手が項を明示している事例と 省略を行っている事例を区別したデータを作成する 必要がある. 本研究では係り受け. 並列構造と述語項構造・共参照がアノテーションされた現代日本語書き言葉均衡コーパス (BCCWJ-DeparaPAS)[16] の書籍（PB）ドメインから述語項関係を持つ事例を抽出 することでこのデータを作成した.

作成したデータの概略図を図 1 に示す。まず，文章中の述語の項について，書き手が項を明示してい る事例を (A) 項表出群 (付録表 3) とし，省略を行っ ている事例を (B) 項省略群 (付録 表 4) とした. ガ， Э，二格の 3 つの表層格を対象とし, (A) 群，(B) 群共にそれぞれの格に対し，20 事例ずつ，計 120 の事例をサンプルした.

さらに，この事例に対して項の出現の有無による 後続の語のサプライザルの変化を計算するために， (A) 項表出群については，明示されている項を削除 した文を新たに作成した。一方で，(B) 項省略群に ついては，省略された項を文内に補った文を作成し

図 1 (A) 項表出群と (B) 項省略群における後続文脈のサ プライザル比較の概略図.(A) 群，(B) 群共に項が表出し ている場合と表出していない場合の文を作成し，項以降 のサプライザル差を比較する

た.この場合の項の挿入位置は著者ら 3 名で合議の 上，アノテーションされている述語項構造の意味が 保たれてかつ，もっとも日本語として自然な文とな る位置に定めた。作成の詳細な手順については付録 A に記した。

## 4 実験

## 4.1 実験設定

言語モデルサプライザルの計算には，新聞と 日本語 wikipedia で学習した Transformer ベースの left-to-right 言語モデルの単語予測確率を使用し た [17]. 3 節で作成した事例について，ターゲット となる述語より前方 300 サブワードを前方文脈と し，前方文脈と対象述語を含む文をつなげたものを 入力系列とした. 直前の語までの入力に基づいて計算される次の単語の予測確率を用いて項の出現位置以降の各単語のサプライザルを計算した1)．言語モ デルの詳細は付録 D に示す.

## 4.2 予備実験

項の有無によるサプライザルの変化 図 2 (1) は，文中のある述語の項を仮に出現させなかった場合 の後続する単語列の処理負荷から, 出現させた場合 の処理負荷を引いた値について，その傾向を示した ものである。この値が大きいほど，項を出現させな

1）言語モデルの入力には，入力文を mecab と unidic で国語研短単位に分割し，それをさらに BPE (Bite Pair Encoding) によっ てサブワード化したものを用いた. サプライザルの計算時は 国語研短単位ごとにサブワードのサプライザルの和を取った.

図 2 (1) は，項を表出させた時とさせないときの，項以降の単語のサプライザルの総和の変化を示す. (2) は，項以降の単語のサプライザルの総和の変化のうち，対象の 述語動詞のサプライザルの変化を除いた值を示す. (1) に おける変化の大きさに比べ，(2)の変化の大きさが小さい ことから，項を表出させるときの後続文脈の情報量の変化は主に対応する動詞で起きていることがわかる.

かった場合に，後続する情報の処理負荷が増大する ことを意味する．後続する単語列の処理負荷として は，具体的に項から文末までの単語のサプライザル の総和を用いた。

## テキスト上で省略されている項は省略しても後続 する処理負荷が増大しにくい 図中で，（A) 項表出群は書き手が実際に項を表出させた群であり，(B)項省略群は書き手が実際に項を省略させた群であ る. 図 2 (1) について (A) 群と (B) 群の結果を比較 すると，(A) 群の中央値が 2.24，(B) 群の中央值が -0.12 と, 項表出群のサプライザル差が項省略群よ り相対的に大きい値となった. また，この傾向はす べての表層格で同様に観測できた (付録 $\mathrm{C}$ を参照). つまり，書き手が省略を選択した群の方が，省略を 選択しなかった群に比べて，省略を行うことによっ て発生する後方単語のサプライザルの増加量が相対的に小さくなっている. この結果は「後方の単語の 読み処理負荷 ( $\propto$ サフライザル)を増大させないよう に書き手が省略する項を選択している」という仮説 を支持している。

処理負荷の増大は主に動詞で生じている 具体的 に後方のどの部分で主たるサプライザルの変化が起 こっているかを観察したところ，事例の多くでター ゲットの動詞部分で相対的に大きな変化が見られ た. 図 2 (2) は，後続文脈の処理負荷 (サプライザル 変化の総和) のうち，対応する動詞のサプライザル変化を除いた量を示す. 項の後方から文末まで単語 のサプライザル変化の総和 (図 2 (1)) のうち, 対象の 述語動詞以外の部分のサプライザルの変化 (図 2 (2)) は小さい.このことから, 項の有無は後述の単語の 中でも特に述語の処理負荷により大きな影響を与え ていることが示唆され，述語のサプライザルが項省略の可否に関わることが予想される。このことをよ り精緻に分析するため，次節では回帰分析を行う。

## 4.3 回帰分析

前節 4.2 で示された述語のサプライザル差の影響 について，項省略に関連する可能性のあるその他の 因子を加えて回帰分析を行い，実際に後続の語のサ プライザルの変化量が，書き手が項省略を起こすか 否かの説明に寄与していることを確かめる。具体的 には，述語動詞のサプライザル差以外に，以下の 6 つの因子を考慮し，コーパス上において書き手が項 を省略させていたかどうかを目的変数とした回帰分析を行う. ${ }^{2}$

省略可能性に影響すると想定されるものとして，項の情報状態に関連する素性を 2 つ選択した。ま ず，先行研究 [13] より，名詞句の情報状態に伴う読 み負荷の傾向がサプライザルでも再現されることが 確認されていることから，項が新情報か旧情報かを 近似的に表現する素性として (1) 項名詞句のサプラ イザルを用いた．加えて，(2) 項名詞句と共参照関係にある名詞句が項の挿入位置よりも前に存在する かどうかを素性とした。さらに，述語項構造解析で 使用される基本的特徴量として，(3) 項名詞句の長 さ，(4) 項を含む文の長さ, (5) 項が何文目に出現する か，(6) 項と述語の単語距離を選定した (表 1).

省略可能性とサプライザル構築したモデルの回帰式を式 2 に示す。

$
\begin{aligned}
& \text { dep_zero } \sim \text { diff_verb_spr }+ \text { arg_spr } \\
& +l_{\text {_arg }}+\text { arg_eq }+l_{\text {_sent }} \\
& + \text { appearance + arg2verb }
\end{aligned}
$

推定結果を表 2 に示す。選択された説明変数のう ち，有意水準 $5 \%$ において帰無仮説を棄却し，有意性が認められた素性は，(a) 述語動詞のサプライザ ル差, (b) 項のサプライザル， (c) 項と述語の単語距離の 3 つであった. (a)より，他の素性を考慮しても なお，述語動詞のサプライザルの変化が小さいほど

2）これらの素性はステップワイズ法によって選定し，素性間 に強い相関がないことを確認した。
表 1 回帰分析に用いた素性の一覧

 \\

省略されやすいという傾向が示された。(b) につい ては，読み手にとって出現が予測しやすい項ほど省略されやすいという傾向が観察され，旧情報のもつ 情報量が小さいことを想定すると，旧情報ほど省略 されやすいという言語的直観と一致する。 (c) 動詞 と離れている項が省略されやすいという傾向につい ては，関連する語同士は近くに配置されるという言語一般的な傾向を踏まえると，述語との関連が弱い 単語ほど省略されやすいということを示している. また，主題や主語など，文頭の要素が省略されすい という傾向と一貫する.

## 5 議論

今回は項と後続要素との関係に着目してサプライ ザルを比較したが，今回説明変数に組み込まなかっ た部分においても議論の余地が残されている. 例え ば，そもそも書き手が通常あまり書かれないような 稀な情報を記述したい場合は，その情報を記述すれ ば記述するほど文のサプライザルは上昇するので あり，その場合，項を省略すればするほど全体のサ プライザルは低下することになる。しかしながら，著者が伝えたい情報が真にそれであるならば，情報 を省略することはできない. したがって，理想的に は，書き手が伝達したい情報が十分に読み手に伝わ るという制約条件の元での読み手の処理負荷最小化問題といったような問題の定式化が望まれる。今表 2 回帰分析の結果. $P|z|$ における*の数は，係数が 0 であるという帰無仮説を有意水準 $90 \%(*), 95 \%(* *)$, $99 \%$ (***)で棄却したことを示す.

後は，そのような制約付き問題の分析の第一歩とし て，分析対象の項が新情報であるか旧情報であるか を明確に区別したデータ上で同様の分析を行うこと を検討する。

また，「項省略によって大きくなる述語動詞の情報量が，省略によって小さくなる項自体の情報量を 上回る場合には省略ができない」という UID の観点 からの解釈も興味深く，UID の観点を含めた更なる 分析は今後の課題としたい.

## 6 おわりに

本研究では，読み時間や縮約などの現象に関する 既存研究で導入されていたサプライザル理論を日本語項省略の分析に拡張し, 情報量の観点から人がど のような基準で項省略を行うかという書き手の計算 モデルを探索した。結果として，項の有無によるサ プライザルの変化を分析した結果，書き手が省略を 選択する項は，省略しないことを選択する項と比べ て, 省略することで発生する後方の単語の読み処理負荷の変化量が相対的に小さくなるという仮説を 裏付ける結果が得られた. また，回帰分析の結果か ら，省略を行うことで発生する述語動詞のサプライ ザルの増加量が項省略の因子として存在することが 明らかになった. 今後は分析対象のデータの規模の 拡大や，より多くの素性を考慮した分析を行うこと を目標としたい。これに加え，人にとっての「自然 な省略」を定量化するため，個々人で省略するかし ないかの判断の摇れが生じる可能性のある項の事例 について，省略の自然さに関する人間のアグリーメ ントを取ることを検討している。

## 謝辞

本研究は，JSPS 科研費 JP19K12112，JP20J22697， および JST さきがけ JPMJPR21C2 の支援を受けたも

のです.

## 参考文献

[1] S.-Y. Kuroda. Whether we agree or not. Lingvisticae Investigationes, Vol. 12, pp. 1-47, 11988.

[2] Mamoru Saito. Notes on east asian argument ellipsis. LANGUAGE RESEARCH, Vol. 43, pp. 203-227, 2007.

[3] Mamoru Saito. (a) case for labeling: Labeling in languages without $\phi$-feature agreement. Linguistic Review, Vol. 33, pp. 129-175, 22016.

[4] Serkan Sener and Takahashi Daiko. Argument ellipsis in japanese and turkish. MIT Working Papers in Linguistics 61 : Proceedings of the 6th Workshop on Altaic Formal Linguistics : Department of Linguistics and Philosophy. MIT, pp. 325-339, 2010

[5] T Jaeger and Roger Levy. Speakers optimize information density through syntactic reduction. Vol. 19, pp. 849-856. MIT Press, 2007.

[6] T Florian Jaeger. Redundancy and reduction: Speakers manage syntactic information density. Cognitive Psychology, Vol. 61, pp. 23-62, 82010.

[7] John Hale. A probabilistic earley parser as a psycholinguistic model. pp. 159-166, 2001.

[8] Austin F. Frank and T. Florain Jaeger. Uc merced proceedings of the annual meeting of the cognitive science society title speaking rationally: Uniform information density as an optimal strategy for language production permalink speaking rationally: Uniform information density as an optimal strategy for language production. Proceedings of the Annual Meeting of the Cognitive Science Society, Vol. 30, p. 30, 2008

[9] Chigusa Kurumada and T Florian Jaeger. Communicative efficiency in language production: Optional case-marking in japanese. Journal of Memory and Language, Vol. 83, pp. 152-178, 122015.

[10] ELISABETH NORCLIFFE and T. FLORIAN JAEGER. Predicting head-marking variability in yucatec maya relative clause production. Language and Cognition, Vol. 8, pp. 167-205, 62016.

[11] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto. Reading-time annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684-694, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[12] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. ACL-IJCNLP 2021 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, Proceedings of the Conference, pp. 5203-5217, 2021.

[13] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会第 27 回年次大会発表論文集, pp. 723-728, 2021.

[14] Laura Aina, Xixian Liao, Gemma Boleda, and Matthijs
Westera. Does referent predictability affect the choice of referential form? A computational approach using masked coreference resolution. CoRR, Vol. abs/2109.13105, , 2021.

[15] Robin Lemke, Ingo Reich, Lisa Schäfer, and Heiner Drenhaus. Predictable words are more likely to be omitted in fragments-evidence from production data. Frontiers in Psychology, Vol. 12, p. 2266, 72021.

[16] 浅原正幸, 大村舞. Bccwj-depparapas: 『現代日本語書 き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会第 22 回年次大会発表論文集, pp. 489-492, 2016.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998-6008, 2017.

[18] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of EMNLP, pp. 66-71, 2018.

## Ａ検証に用いたデータの作成手法

本研究では係り受け. 並列構造と述語項構造・共参照 がアノテーションされた現代日本語書き言葉均衡コーパ ス (BCCWJ-DeparaPAS) [16] の書籍（PB）ドメイン 83 ファ イルを用いて検証を行った，コーパスには，名詞句相当 の単語に項 id が付与され, 述語相当の単語に NTC 形式の 属性，及び項との関係が付与されている. ゼロ代名詞に ついては, ga_dep="zero"というようなタグ付けがされて いる. 項の格助詞については，コーパス上における格属性のうち，ガ格， ヨ格，二格の 3 パターンを対象とし，述語に関しては本研究では用言述語のみを対象とした。ま た，用言述語のうち，する，ある，なるのような機能性の 強い語については, 予め除外した. さらに, 各群につい て項の格パターンに分類した上で，ガ格，二格，ヨ格それ ぞれ 20 サンプルを無作為に抽出した. まず，(A) 項表出群については，コーパス上で表出している項を消去した データを作成した。続いて (B) 項省略群については，コー パス上で省略されている項を元文に補填したデータを作成した. その際，補填する項の格助詞については，例え ば主格「僕が」を「僕は」に変更するような表出形の変化 を許容し，その插入位置は著者ら 3 名で合議の上，元文 の述語項構造において自然と感じる位置に補填した。

## B 作成したデータの例

表 3 (A) 項表出群のデータ作成例

(BCCWJ:00003_A_PB59_00001)

 \\

表 4 (B) 項省略群のデータ作成例

(BCCWJ:00001_A_PB12_00001)

 \\

## C 予備実験の結果

図 3 述語の項を出現させなかった場合の項から文末の単語のサプライザルの総和から，仮に出現させた場合の項以降の単語のサプライザルの総和を引いた値に関する表層格間の比較.

## D＼cjkstart言語モデルハイパーパラメータ

Transformer 日本語言語モデルを，500万文(日本語 Wikipedia と新聞) で学習し, 100,000 回アップデート後 のチェックポイントを用いた. 日本語テキストは，アノ テーションデータとの分割の一貫性を保つため，一度国語研短単位に分割した後, BPE でサブワードに分割し $た^{3)}$.

表 5 言語モデルのハイパーパラメータ.

 &  &  \\

3） SentencePiece [18] を用い，文字の網羅率を 0.9995 , 語彙数 を 100,000とした.


# トランスフォーマー文法

吉田遼 大関洋平
東京大学
\{yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

本研究では、階層構造における部分木を一つ のベクトルに動的に合成しつつ、階層構造を生成する Transformer である、トランスフォーマー 文法 (Transformer Grammar, TG) を提案する。さら に、SyntaxGymを用いて TG を評価し、RNNG 及び PLM-mask の精度を上回ることを確認した。階層構造を明示的に扱う上で、アテンション機構と、部分木の合成関数の双方に利点があることを示唆したと いえる。

## 1 はじめに

人間らしい文法能力を持った言語モデルと は、どのようなモデルだろうか。近年主流の Transformer [1]をべースとした大規模な事前学習モ デルの一つである GPT-2 XL [2] は、言語モデルの文法能力を問うベンチマークである SyntaxGym [3] に おいて最も高い精度を達成している [4]。しかし、 これらのモデルの精度は人間が文法能力を獲得する までに得るよりも遥かに大規模な学習データによっ て支えられており、アーキテクチャ自体が「人間ら しい」かどうかは定かではないとの指摘もある [5]。 Linzen は同論文 [5] で、「人間らしい」アーキテク チャの例としては、自然言語の階層構造を明示的に 扱うモデルが考えられる、と述べているが、それら のモデルの代表が再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammars, RNNG) [6] で ある。RNNG は、少ないデータで統制した際に他の モデルよりも高い文法能力を獲得できることが示さ れている他 $[7,8]$ 、人間の脳波を高い精度でモデル 化できることから、人間の文処理モデルとしての妥当性も主張されているモデルである [9]。RNNG の 最大の特徴は、階層構造における部分木を一つのべ クトルに動的に合成する合成関数であり、先行研究 では、この合成関数なしではRNNG は構造をうまく 扱えないことが明らかになっている $[10,8]$ 。一方で、近年 Qian ら [11] は、Transformer ベース の階層構造を明示的に扱うモデルを提案し、大規模 な事前学習なしに高い文法能力を獲得できること を示している。しかし、彼らの提案したモデルは、 RNNG においては必要不可欠であった合成関数を 持っておらず、階層構造を明示的に扱うことによ る利点を生かしきれていない可能性がある。そこ で、本研究では、階層構造における部分木を一つ のベクトルに動的に合成しつつ、階層構造を生成 する Transformer である、トランスフォーマー文法 (Transformer Grammar, TG) を提案する。

## 2 先行研究

## 2.1 再帰的ニューラルネットワーク文法

$\mathrm{RNNG}^{1}{ }^{1}$ は、RNN ベースの単語列 $X$ と階層構造 $Y$ の生成モデルであり、以下の同時確率をモデル化 する：

$
p(X, Y)=p\left(a_{1}, \cdots, a_{n}\right)=\sum_{t=1}^{n} p\left(a_{t} \mid a_{<t}\right)
$

ここで、 $a_{t}$ は各時点での階層構造または単語列の 生成に関する動作である。RNNG は、スタックと 呼ばれるデータ構造でベクトルを保持しており、各時点における動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ は、スタック LSTM [12]により算出されたスタックの状態を表す ベクトルに基づき算出される。動作は以下の 3 つか らなる：

・ $\mathrm{NT}(\mathrm{X})$ : 新たに開いた句 $(\mathrm{X}$ を生成する。開いた 句の非終端記号 (Xを表すべクトルが、スタッ クの先頭に追加される。

・ $\mathrm{GEN}(\mathrm{x})$ ：単語 $\mathrm{x}$ を生成する。生成した単語 $\mathrm{x}$ を表すべクトルが、スタックの先頭に追加さ れる。

1）本論文では、Dyer ら [6] が元論文で提案しているモデルで はなく、Kuncoro ら [10]によって提案された Stack-only RNNG を扱う。

図 1 双方向 LSTM による合成関数。REDUCE の際の、閉じた句を表すべクトルの算出に用いられる。図は Dyer ら [6]より引用。

-REDUCE：直近開かれた句を閉じる。最もス タックの先頭に近い、開いた句の非終端記号を 表すべクトル及び、その句の娘にあたる全ての ベクトルが、合成関数により閉じた句を表す一 つのベクトルに合成される。合成関数には、双方向 LSTM が用いられる (図 1)。

前述したように、RNNG は、REDUCE の際の合成関数を取り除くと、構文解析精度 [10]、文法能力 [8]、及び脳波のモデル化精度 [9] が低下すること が分かっており、合成関数が階層構造を正確に捉え るための中心的役割を担っているといえる。

## 2.2 Parsing as Language Modeling

Parsing as Language Modeling (PLM) は、Qian ら [11] によって提案された、Transformerベースの単語列 と階層構造の生成モデルであり、RNNG と同様に、式 1 の同時確率をモデル化する。PLM は、RNNGと 異なり、NT(x)、GEN(x)、REDUCE の動作時に、そ れぞれ、開いた句の生成、単語の生成、REDUCE トークンの生成のみを行う。そして、通常の言語モ デルが単語列 $w_{1}, \cdots, w_{n}$ を扱うのと同様に、動作列 $a_{1}, \cdots, a_{n}$ を扱い、Transformerにより各時点におけ る動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ を算出する。

また、Qian らは同論文で、PLM に部分木の情報 を有効活用させるため、全てのアテンションヘッ ドのうち 2 つに対して、1つには直近の開かれた句 の内部のみ、もう 1 つには直近開かれた句の外側の み、に注意を注意を向けさせるという手法を提案し ている。Transformer 言語モデルが、訓練時にモデル が未来の情報を参照しないために用いられる、“マ スク”を用いてこの手法を実現しているため、この モデルは PLM-mask と呼ばれる。

前述したように、Qian らは実験により、PLM 及 び PLM-maskは、大規模な事前学習なしに高い文法能力を獲得できることを示している。また、彼 らの結果からは PLM-mask が PLM の文法能力を僅

図 $2 \mathrm{TG}$ のアーキテクチャ。

かではあるが上回っていることが読み取れ、一見 PLM-mask は部分木の情報を有効活用できている ようにも思われる。しかしながら、PLM-maskは、 RNNG の合成関数のように部分木を表す一つのべク トルを生成しているわけではない。RNNGにおいて は必要不可欠であった合成関数が、PLMのような Transformer ベースのモデルにとってもまた必要であ るという可能性は捨て切れない。

## 3 トランスフォーマー文法

本研究では、階層構造における部分木を一つの ベクトルに動的に合成しつつ、階層構造を生成 する Transformer である、トランスフォーマー文法 (Transformer Grammar, TG) を提案する。TG のアー キテクチャを、図 2 に示した。TGは、RNNG 及び PLM (-mask) と同様に、式 1 の同時確率をモデル 化する。TGは、ベクトルを保持するデータ構造 としてスタックを用い、各時点における動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ は、Transformerにより算出された、ス タックの状態を表すべクトルに基づき算出される。 NT(X)、GEN(x)、REDUCE の動作時の挙動は RNNG と同じである。したがって、REDUCE の動作時に は、合成関数 (図 1)により、部分木は一つのべクト ルに合成される。

図 3 SyntaxGym 全体の結果。LM、PLM-mask、GPT-2 の 結果は Qian ら [11]より引用。

TG の学習 同じくTransformer ベースのモデルで ある PLM (-mask) は、動作列 $a_{1}, \cdots, a_{n}$ を通常の言語モデルのように扱う。そのため、PLM (-mask) の 学習時には、通常の Transformer 言語モデルの学習 と同じように、全動作を同時に処理することが可能である。一方で、TGは各時点でスタック内部 のベクトルが動的に変化する。そのため、通常の Transformer 言語モデルは文生成時のみに行う、各時点における逐次処理を、TG は学習時にも行う必要 がある。また、TG は各時点での動作が文ごとに異 なるため、RNNG と同様にミニバッチ化が難しい。 そこで本研究では、固定長テンソルのスタックによ る RNNG のミニバッチ化手法 [13] に数点の変更を 施し、TGに適用した。具体的には、Transformer へ の入力には、バッチ内で最もスタックが深い文に合 わせて、全ての文について、それよりも浅い位置に あるスタック内の全てのベクトルを用いるように 変更し、2) さらに、Transformer の出力からは、各文 のスタックの深さを保持するポインタ3) 位置のベク トルを取り出すように変更を施した。しかしなが ら、TGでは、アテンション機構によるメモリの多量の消費により、この手法を用いてもRNNG ほど の大きいバッチサイズでの並列化は実現できない。 これらのように、階層構造における部分木を一つの ベクトルに動的に合成しつつ、階層構造を生成する Transformer の実現には、計算効率の犠牲が伴って いる。

## 4 実験

本節では、言語モデルの文法知識を問うベンチ マークである SyntaxGym [3] を用いて、SGの文法能力を評価する.

## 4.1 実験設定

Qian ら [11] が報告している、PLM-maskなどのモ デルの評価結果と公平に比較をするために、本論文 における実験設定の大部分は彼らの実験設定を踏襲 している。

## 4.1.1学習データ

BLLIP-MD [14] を用いた。 $600 \mathrm{~K}$ 文、14M トーク ンからなるコーパスである。モデルの学習に用い る階層構造は、Qian ら [11] が PLM (-mask) を学習 する際に、SoTA の句構造構文解析器 [15] によって 付与したのと同じものを用いた。4）各文の単語は、 Huggingface Transformer [16] 実装の BPE [17] トーク ナイザを用いてサブワード単位に分割した。

## 4.1.2 モデル及びパラメータ

TG 256 次元、 3 層 4 アテンションヘッドのモデ ルを用いた。総パラメータ数は $16.6 \mathrm{M}$ 。

RNNG 276 次元、 2 層のモデルを用いた。総パラ メータ数は 16.6M。Qian ら [11] は、Hu ら [4] によ り学習された RNNG と PLM (-mask) を比較してい るが、Hu らは RNNG の学習に単語単位で分割した コーパスを用いている一方、Qian らは PLM (-mask) の学習にサブワード単位で分割されたコーパスを 用いており、実験設定の乘離が見られた。そのため 本論文では、サブワード単位で分割されたコーパス を用いて、TG と同じパラメータ数の RNNG を学習 した。

PLM-mask Qian らにより報告されている、768 次元、12 層 12 アテンションヘッドのモデルの結果を 引用する。総パラメータ数は $117 \mathrm{M}$ 。総パラメータ 数は TG と RNG の約 7 倍であるが、学習コーパス などの条件は TG と RNNG と同じである。

LM ベースラインの階層構造を明示的に扱わな い言語モデル (LM) である。Qian らにより報告され ている、768 次元、12 層 12 アテンションヘッドの モデルの結果を引用する。

4） BLLIP コーパスには元から階層構造が付与されているが、 より正確な階層構造を得るために、その終端記号の単語列の みを取り出し、このような処理をしている。

図 4 Circuit レベルの結果。LM、PLM-mask の結果は Qian ら [11] より引用。

## 4.1.3 評価データ

言語モデルの文法知識を問うベンチマークであ る、SyntaxGym [3] を用いた。幅広い文法知識を力 バーしており、例えば、Agreement の circuitでは、主語に動詞の数を一致させる能力が問われている。具体的には、言語モデルには以下の (1)のように動詞 の数が異なる 2 文が与えられ、正しい数の動詞 ((1a) の下線部) に、誤った数の動詞 ((1b) の下線部) より も高い確率を付与することが期待される：

(1) a. The author next to the senators is good. b.*The author next to the senators are good.

階層構造を明示的に扱うモデルが単語に付与する確率は、先行研究 $[18,8]$ を踏襲して、word-synchronous beam search [19] を用いて求める。具体的には、単語列の背後に想定される階層構造のうち確率の高いも のを複数保持しつつ、それらの確率を階層構造につ いて周辺化することでモデルが単語に付与する確率 を算出する。Qian ら [11] を踏襲し、動作ビーム幅 100、単語ビーム幅 $10 、$ ファストトラック幅 5 を採用した。

## 4.2 結果

## 4.2.1 SyntaxGym 全体

SyntaxGym 全体の結果を、表 3 に示した。棒グラ フは seed の異なる 3 つのモデルの結果の平均値を 表し、それぞれの点は各 seed の結果を表す。LM、 PLM-mask、GPT-2 の結果は Qian らの論文 [11] より 引用したものである。はじめに、本論文の提案モデ ルである TGを含む全てのモデルがベースライン の LM を上回っており、階層構造を明示的にモデル 化することの利点があることが確認できる。次に、
TGは、RNNG の精度を上回っている。このことか ら、合成関数により部分木を一つのベクトルに合成 するモデルにおいても、アテンション機構により過去の全ての情報を直接参照できることの利点がある ことが分かる。次に、TGは、PLM-mask の精度を上回っている。このことから、Transformer ベースのモ デルが階層構造を扱う際にも、合成関数によって部分木を一つのべクトルに動的に合成することの利点 があることが分かる。最後に、Qian らの論文 [11] よ り引用した事前学習済み GPT-2 の結果 $(80.8 \%)$ と比較すると、BLLIP-MD で学習したモデルのうち、唯一 TGのみが匹敵する精度 $(80.7 \%)$ を達成している。

## 4.2.2 Circuit レベル

SyntaxGym の各 circuit レベルの結果を、表 4 に示 した。TGは、Agreement を除くほぼ全ての circuitに おいて、RNNG 及び PLM-mask の結果を上回ってお り、アテンション機構と、部分木の合成関数は、幅広い文法知識の獲得に有用であることが分かる。

## 5 おわりに

本研究では、階層構造における部分木を一つ のベクトルに動的に合成しつつ、階層構造を生成する Transformer である、トランスフォーマー 文法 (Transformer Grammar, TG) を提案した。そし て、SyntaxGym を用いて TG を評価し、RNNG 及び PLM-mask の精度を上回ることを確認した。階層構造を明示的に扱う上で、アテンション機構と、部分木の合成関数の双方に利点があることを示唆したと いえる。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受

けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998$6008,2017$.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019

[3] Jon Gauthier, Jennifer Hu, Ethan Wilcox, Peng Qian, and Roger Levy. SyntaxGym: An online platform for targeted evaluation of language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 70-76, Online, July 2020. Association for Computational Linguistics.

[4] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In Proceedings of the Association of Computational Linguistics, 2020

[5] Tal Linzen. How can we accelerate progress towards human-like linguistic generalization? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5210-5217, Online, July 2020. Association for Computational Linguistics.

[6] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntaxsensitive dependencies well, but modeling structure makes them better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1426-1436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural supervision improves learning of non-local grammatical dependencies. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. $2727-$ 2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Adhiguna Kuncoro, Miguel Ballesteros, Lingpeng Kong, Chris Dyer, Graham Neubig, and Noah A. Smith. What do recurrent neural network grammars learn about syntax? In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1249-1258, Valencia, Spain, April 2017. Association for Computational Linguistics.

[11] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural guidance for transformer language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3735-3745, Online, August 2021. Association for Computational Linguistics.

[12] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[13] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4340-4352, Online, August 2021. Association for Computational Linguistics.

[14] Eugene Charniak, Don Blaheta, Niyu Ge, Keith Hall, John Hale, and Mark Johnson. Bllip 1987-89 wsj corpus release 1. Linguistic Data Consortium, Philadelphia, Vol. 36, , 2000

[15] Nikita Kitaev and Dan Klein. Constituency parsing with a selfattentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[17] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[18] Richard Futrell, Ethan Wilcox, Takashi Morita, Peng Qian, Miguel Ballesteros, and Roger Levy. Neural language models as psycholinguistic subjects: Representations of syntactic state. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 32-42, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[19] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.


# Natural Language Processing Technologies in English as Second Language Learning Applications: A Review

Julio Christian Young ${ }^{1}$ Makoto Shishido ${ }^{2}$
Graduate School of Advanced Science and Technology, Tokyo Denki University
1julio.christian.young[at]_gmail.com ${ }^{2}$ shishido[at]mail.dendai.ac.jp
}

\begin{abstract}
Previous studies have shown how Artificial Intelligence (AI) technology can help the English as Second Language (ESL) learning process. Text to Speech, Speech to Text, and Chatbot are some of them. In this research, the research objective is to show the status, opportunities, and challenges associated with such technologies for ESL learning.
\end{abstract
## 1 Introduction

Having fluent English communication skills increase one's academic and career opportunities. With the popularization of deep neural networks in 2015 [1], artificial intelligence (AI) began to accomplish humanlike performance in various natural language processing tasks. Therefore, its implementation starts to revolutionize how one can learn a language effectively, inclusively English. Chatbot, text to speech (TTS), and speech to text (SST) are AI applicative aspects favored by researchers to achieve such objectives.

For Learning English as a Second Language (ESL), research in $[8,14,15]$ shows that STT technology can create a personalized learning system; therefore, students can practice and evaluate their speaking skills individually. The research found that the resulting system made students feel comfortable as it mitigates the fear of being judged when they practice in a classroom setting. On the other research in [11, 20], researchers found that TTS technology can mitigate the cost to hire a professional for producing listening materials. Moreover, using TTS, teachers can adjust the listening materials according to the class competency. Lastly, research in [17, 26, 27] demonstrated that a chatbot could be a perfect learning partner as it never grows tired and can be accessed according to students' needs.
However, there are still several challenges that have not been fully addressed mentioned by the previous research. For instance, in [16, 17], researchers state a Chatbot's unintelligent behavior might cause a communication breakdown that minimizes students' learning interest. While for STT-based learning applications, researchers argued it requires unusual preparations and only works in the research setting, not in the real-world situation [18]. Lastly, most students in [19] believed their teacher is a better pronunciation model even when they achieved a better score using TTS word dictation system.

Based on the presented benefits and challenges, the focus of this research is to do a literature review to gather all information regarding the opportunity, challenges, and research results related to the application of TTS, STT, and Chatbot technology.

## 2 Research Methodology

In this research, the sequence of activities carried out for the literature review process is described in Fig. 1.

Fig. 1. The Sequence of Activities Conducted in Our

$
\text { Study }
$

In the article gathering step, 61 items were gathered using one from the following keywords: "chatbot", "speech to text", and "text to speech, with two extra keywords of "English" and "learning". The gathering was done using Google Scholar Search Engine for research published from 2017 to 2020. Secondly, the abstract screening step was conducted to ensure that each gathered
article truly presented the potential benefits and challenges of such technologies in English learning. Based on the abstract screening step, there are only 26 remaining articles (5 in TTS, 6 in STT, and 15 in Chatbot domain). Finally, the remaining articles will be read to extract all information under these categories.

1. How they implement their technology of choice to help the learning process.

2. The opportunity assumed.

3. The research results.

4. The presented challenges in the implementation part.

The summarization from all points above will be presented in the next section. For readers' convenience, the summarization results for each technology will be presented in a separate subsection.

## 3 Previous Research

## 3.1 TTS for English Learning

Learning Strategy - Several learning strategies can be incorporated with TTS technology such as Listening comprehension [11, 13], phonological acquisition [12], words dictation [19], and word rhyme \& synonym [20].

Opportunity - Through various implementations, researchers believe there are advantages of TTS for ESL learning, which are.

1. TTS technology mitigates the cost and time to hire professionals for producing listening materials [11, 20].

2. Facilitator has total control of speech rate, loudness, tone, speaker's identity, and delay between a word in the produced materials $[11,12,13]$.

3. TTS service read reads the words at a constant rate and each word is rhythmically segmented [20].

4. Audio files produced by the TTS service have a native-like pronunciation which might enrich students' language input [13].

Results - Research in [12, 20] conclude that both $\theta f$ students who learn with human voices and audio materials from TTS have a similar learning performance; while research in $[11,19]$ conclude that students who learn with TTS assistance perform better learning performance compared to students that learn with the conventional method. On the other hand, qualitative research [13] on teacher perspective in incorporating the TTS technology for ESL learning also yielded a positive result. EFL teachers believed TTS might be useful to create listening materials and the produced material has a similar pronunciation to the native speaker so it might be beneficial to students.

Challenges - Despite its positive impact, there are several challenges for its application, such as.

1. Due to unnatural voice characteristics and emotionless intonation, most participants prefer ESL teachers to TTS technology [19].

2. TTS technology doesn't truly understand the concept of language, so there is no confirmation whether each word is spelled correctly or not [13].

3. Current TTS technology has no intonation to some punctuations (e.g., exclamation or question mark) resulting in wrong intonation to exclamatory and interrogative sentences [13].

## 3.2 STT for ESL Learning

Learning Strategy - In ESL Learning, researchers mainly incorporated STT technology for pronunciationrelated activities which include single vowels pronunciation [21], students' phonetic and fluency evaluation [15, 18], and utterance practice [8, 14, 15]. However, in [22], researchers utilize STT technology to provide real-time transcription of EFL teachers' speech in a classroom.

Opportunity - The previous research stated there are several advantages of STT for ESL learning which are.

1. Mitigate the resources needed for one-on-one practice that involves a native speaker $[8,18]$.

2. Provide a less intimidating and serene practice environment as students often feel uncomfortable, and fear to be judged to practice in a public [15].

3. STT implementation for speech transcription [22] provides dual-modality so it might be useful to fit students' learning styles.

Results - All previous quantitative research shows a positive result on students' perception regarding STTbased learning applications [8, 14, 15, 21, 22]. Most participants in $[8,14,15]$ felt less intimidated in their speaking practices using STT; it fits their learning preferences, and they're willing to use it for in- and outclass learning activities. For the real-time transcription use in [22], most participants highly appreciate STT implementation for improving their listening skills. On
the other end, quantitative research in [18] shows that students who use STT for ESL learning have a better speaking performance compared to others who do not.

Challenges - Regardless, there are several difficulties mentioned from STT implementation for ESL Learning.

1. Small group of students with high language ability finds the visual aspect of STT useless as they processed information directly from speech. [22].

2. STT might affect students' speaking performance as they might be slowing their speech on purpose to accentuate clarity [18].

3. Considering current STT trained by audio data from native speakers, the recognition rate for ESL students is often low due to their utterances being often mistranslated [8].

## 3.3 Chatbot for ESL Learning

For ESL Learning, research in the past utilized chatbots more frequently compared to the other two. Chatbots leverage text or voice modalities to engage in meaningful conversations with students. For chatbot application that interacts through users' utterances, STT and TTS technologies become the two underlying components to process the input and output voice in it. Therefore, the successful application of a voice-based chatbot for ESL learning simply reflects the success of the other two technologies within.

Learning Strategy - Researchers primarily implement chatbots as learning tools by making them learners' conversation partners. While researchers in $[2,9,26,5,4]$ implement a chatbot as a free conversational agent that engages in a diverse and broad conversation, others try to use it to aim at a specific learning objective. For example, researchers in [10] utilized a chatbot to assist students in a writing practice; while in [23], researchers created a chatbot that assists students in their writing activities by finding spelling and grammatical errors in their writing; in other research [24], the chatbot acts as students' virtual reading partner that recommends appropriate readings based on their level and evaluates their reading comprehension.

Opportunity - Researchers in the past considered the following advantages when they integrated a chatbot into ESL learning.
1. Students learn better when words are presented in spoken forms with a conversational style in which a chatbot is capable of [25].

2. Chatbot has a huge potential to help countries with an insufficient number of English native speakers [25, 9].

3. Interacting with a chatbot creates a pleasant learning experience for students $[3,6,26,27]$. A chatbot voluntarily engages in a conversation with students anytime and anywhere [25, 26, 17, 9, 6]. For ESL students with low language and speaking skills, in contrast to a human partner, a Chabot never grows tired and impatient even when a student keeps repeating the same mistake $[26,17,27]$.

4. Learning with a chatbot allows students to dictate the flow of the conversation to present learning materials according to their needs $[3,6]$.

5. Through multimodality implementation, a chatbot allows students to practice all skills in the English language (speaking, listening, reading, and writing). Moreover, it provides the opportunity for students to make use of diverse vocabulary and sentences structures that they scarcely use [26, 17, 27].

Results - The qualitative research result in the past shows a mix between the positive and negative impact of chatbot usage in ESL learning. For the positive part, most participants believed chatbot is beneficial for language learning [10, 16]. Most participants also agreed that a chatbot can hold a native-like conversation that feels authentic [10]. Moreover, in [9], after 10 minutes of weekly engagement with a chatbot in 8 weeks period, students felt more motivated, interested, and confident for their English skills. Participants from various research in $[24,3,27]$ perceived chatbot as a better learning partner (more patient, non-judgmental, and more relaxing) compared to the human study partner.

However, research in [4] shows that when students were engaged in a chat session for long enough, they began to lose interest in the chatbot thus leading to a significant decrease in their motivation. Secondly, the previous research [23] finds students feel a conversation with a chatbot was dull as its response are is unvaried. On top of that, chatbot inappropriate and unnatural responses could also lead to a bland conversation that decreases their learning motivation.

On the other hand, most quantitative research showed a positive result of a chatbot on improving students' English performance. In the previous research, after a short term (a week) [7, 10] and a long term (eight weeks) [9] of engagement with a chatbot, students showed a significant vocabulary test score improvement. Moreover, a study in [7] also compared a chatbot and a traditional Listeningand-Repeat (LRE) learning system, its result also shows that students engage 2.1 times longer with a chatbot system compared to the traditional LRE. Other previous research $[16,4]$ that measure the effects of chatbot usage on English writing skills found a significant improvement in students' words production and grammar skills. Lastly, in [2], researchers found that students who incorporate chatbots into their learning process achieve a better TOEIC Listening and Reading test score compared to others who do not.

Challenges - The previous research showed there are several challenges worth considering when chatbot technology is used for ESL learning.

1. Students might find the conversation with a chatbot is dull as it often gives monotonous responses [16, 17]. On top of that, the inappropriate responses from chatbots can lead students to frustration thus demotivating them [17].

2. Unintellectual nature of chatbot often makes its engagement with students short [17].

3. As a conversation partner, chatbots are often programmed for a specific and limited range of topics that don't suit the learners' needs and interests [10, 25].

## 4 Conclusion

In the last four years, most research showed the practicality and promising result of STT, $\mathrm{TTS}_{2}$ and Chatbot for ESL learning. Through the assistance of such technology, teachers can provide a great number of materials and exercises for ESL students. Furthermore, they can also allow students to engage in genuine communication despite their unideal learning environment. However, researchers in [4] argued that the novelty effects might be the main factor of their successful result so in the long term they will not truly contribute to students' English skills. Therefore, to help students in their learning process, it is better to view such technology as a supportive tool that aimed at a specific learning objective and designed them to fit that.

## References

[1] LeCun, Y., Bengio, Y., \& Hinton, G. (2015). Deep learning. nature, 521(7553), 436-444.

[2] Kim, N. Y. (2018). A study on chatbots for developing Korean college students' English listening and reading skills. Journal of Digital Convergence, 16(8), 19-26.

[3] Shin, D., Kim, H., Lee, J. H., \& Yang, H. (2021). Exploring the Use of An Artificial Intelligence Chatbot as Second Language Conversation Partners. Korean Journal of English Language and Linguistics, 21, 375-391.

[4] Kim, N. Y. (2019). A study on the use of artificial intelligence chatbots for improving English grammar skills. Journal of Digital Convergence, 17(8), 37-4.

[5] Fryer, L. K., Ainley, M., Thompson, A., Gibson, A., \& Sherlock, Z. (2017). Stimulating and sustaining interest in a language course: An experimental comparison of Chatbot and Human task partners. Computers in Human Behavior, 75, 461-468.

[6] Nghi, T. T., \& Phuc, T. H. Bots as Foreign Language Learning Tools: From Theory To Practice.

[7] Ruan, S., Jiang, L., Xu, Q., Liu, Z., Davis, G. M., Brunskill, E., \& Landay, J. A. (2021, April). EnglishBot: An AI-Powered Conversational System for Second Language Learning. In 26th International Conference on Intelligent User Interfaces (pp. 434444).

[8] Shishido, M. (2018, June). Developing e-learning system for English conversation practice using speech recognition and artificial intelligence. In EdMedia+ Innovate Learning (pp. 226-231). Association for the Advancement of Computing in Education.

[9] Kim, N. Y. (2018). Chatbots and Korean EFL students' English vocabulary learning. Journal of Digital Convergence, 16(2), 1-7.

[10] Alsadoon, R. (2021). Chatting with AI Bot: Vocabulary Learning Assistant for Saudi EFL Learners. English Language Teaching, 14(6), 135157.

[11] Andriani, T. N., Herawati, Y. W., \& Sulistyo, T. (2020). Text-to-Speech Application for Foreign Language Learner' Listening Comprehension in Indonesia.

[12] Cardoso, W. (2018). Learning L2 pronunciation with a text-to-speech synthesizer. Future-proof CALL: language learning as exploration and encounters-short papers from EUROCALL, 16-21.

[13] Oktalia, D., \& Drajati, N. (2018). English teachers' perceptions of text to speech software and Google site in an EFL Classroom: What English teachers really think and know. International Journal of Education and Development using ICT, 14(3).

[14] Shishido, M. (2019, June). Evaluating e-learning system for English conversation practice with speech recognition and future development using AI. In EdMedia+ Innovate Learning (pp. 213-218). Association for the Advancement of Computing in Education.

[15] Shishido M. (2021). Developing and Evaluating the e-learning Material for Speaking Practice with the Latest AI Technology ISSN: 2189-1036 - The IAFOR International Conference on Education Hawaii 2021 Official Conference Proceedings.

[16] Bailey, D., Southam, A., \& Costley, J. (2021). Digital storytelling with chatbots: Mapping L2 participation and perception patterns. Interactive Technology and Smart Education.

[17] Haristiani, N. (2019, November). Artificial Intelligence (AI) chatbot as language learning medium: An inquiry. In Journal of Physics: Conference Series (Vol. 1387, No. 1, p. 012020). IOP Publishing.

[18] Moxon, S. (2021). Exploring the Effects of Automated Pronunciation Evaluation on L2 Students in Thailand. IAFOR Journal of Education, $9(3)$.
[19] Chiang, H. H. (2019). A Comparison between Teacher-Led and Online Text-to-Speech Dictation for Students' Vocabulary Performance. English Language Teaching, 12(3), 77-93.

[20] Matsuda, N. (2017). Evidence of effects of text-tospeech synthetic speech to improve second language learning. Jacet journal, 61, 149-164.

[21] Tejedor-Garcia, C., Escudero-Mancebo, D., Cardenoso-Payo, V., \& Gonzalez-Ferreras, C. (2020). Using challenges to enhance a learning game for pronunciation training of English as a second language. IEEE Access, 8, 74250-74266.

[22] Hwang, W. Y., Li, Y. H., \& Shadiev, R. (2018). Exploring effects of discussion on visual attention, learning performance, and perceptions of students learning with STR-support. Computers \& Education, 116, 225-236.

[23] Nakano, A., Theeramunkong, T., \& Taira, H. A Conversational Agent for English Writing Skill Learners.

[24] Ruan, S., Willis, A., Xu, Q., Davis, G. M., Jiang, L., Brunskill, E., \& Landay, J. A. (2019, June). Bookbuddy: Turning digital materials into interactive foreign language lessons through a voice chatbot. In Proceedings of the Sixth ACM Conference on Learning@ Scale (pp. 1-4).

[25] Fryer, L., Coniam, D., Carpenter, R., \& Lăpuşneanu, D. (2020). Bots for language learning now: Current and future directions.

[26] Han, D. E. (2020). The Effects of Voice-based AI Chatbots on Korean EFL Middle School Students' Speaking Competence and Affective Domains.

[27] Yin, Q., \& Satar, M. (2020). English as a foreign language learner interaction with chatbots: Negotiation for meaning. International Online Journal of Education and Teaching.