# 日本語の語彙力と読み時間について

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

本研究では、ヒトの語彙力の差が読み時間にどの ように影響を与えるのかについて検討を行う。具体的には、単語親密度調査に参加した方の評定値に対 して一般化線形混合モデルを適用した際の調査協力者のランダム効果を語彙力と仮定する。その後、同調査協力者に自己ペース読文課題に参加してもらい 読み時間を収集し、読み時間に対して一般化線形混合モデルを適用した際の語彙力の固定効果により、語彙力の差が読み時間に与える傾向を明らかにし た。また、得られた傾向からサプライザルや言語モ デルにおけるパープレキシティとの関連について考察を行う。

## 1 はじめに

本研究では、日本語の語彙力と読み時間の関係 について検討する。以前の調査では、視線走査装置1) や自己ペース読文法 [1] を用いた、新聞記事を 対象として読み時間データを収集 [2] し、記憶力を 計測するリーディングスパンテスト [3] と平成年代 に構築された語彙数判定テスト $[4,5]$ による実験協力者の能力差に基づく分析を行った [6]。得られた は語彙力が高い実験協力者の読み時間が長い傾向 があるという結果であった。 24 人の実験協力者の 語彙力の分散が小さいことが考えられるが、実験協力者を研究室に呼んで、視線走査装置を用いて 実験を行うことが困難となった。一方、英語にお いては、Amazon Mechanical Turk で被験者を募集し て、読み時間を収集した Natural Story Corpus (NSC) [7] が構築されている。同様の試みとして、Yahoo! Japan の Yahoo! クラウドソーシングを用い被験者を 募集したうえで、ibex ${ }^{2}$ を利用して、ウェブブラウ ザを介して自己ぺース読文法により大規模に読み 時間データを収集した [8]。読み時間収集対象者に


は、事前に単語親密度判定タスクに参加し、そのモ デル化の副産物として得られる対象者の語彙力を得 た [9]。これらの二つの調査結果を線形混合モデル で対照させたところ、「語彙力が高い実験協力者の 読み時間が短い」傾向が確認された。従前の結果が 語彙力の高い 1 人の実験協力者の行動に由来する可能性があり、大規模化した行動実験に基づく今回の 分析により異なる結果が得られた。

また、サプライザル $[10,11]$ や言語モデルのパー プレキシティとの関連 $[12,13,14,15,16,17,18]$ につ いても考察を行う。

## 2 データの収集手法

## 2.1 語彙力データの構築

語彙力データは単語親密度データの収集 $[19,9]$ 時 に得られる実験協力者の偏りを数値化したものを用 いる。具体的には、2018 年より毎年『分類語彙表』 の見出し語に対して、「知っている」「書く」「読む」「話す」「聞く」の程度を収集した。収集したデータ を一般化線形混合モデルで単語親密度を 84,114 語 のランダム効果として、語彙力を 6,732 人の実験協力者のランダム効果としてベイジアン線形混合モデ ルによりモデル化した。モデル化する際に、単語側 の標準偏差を 1.0、実験協力者の標準偏差を 0.5 とし た正規分布によりモデル化したものを用いる ${ }^{3}$ 。

後述するとおり、単語親密度調査の協力者の一部 の方が、次節に述べる読み時間データの収集に参加 した。読み時間データの収集に参加した方の語彙力 の分布を図 1 に示す。

## 2.2 読み時間データの収集

前節に示した単語親密度データ収集の 2020 年 10 月の調查に協力された方のうち、語彙数判定の分散が適切な 2,092人を対象に、自己ペース読文法に


図 1 語彙力の分布

表 1 刺激文と実験協力者の統計

表 2 分析対象

よる読み時間データ収集実験参加を募った $[8]$ 。最初に『現代日本語書き言葉均衡コーパス』の白書 (OW) 1 サンプルについて試験的に 500 人の協力者 を募集した。その後、教科書 (OT) 38 サンプルと書籍 (PB)83 サンプルについて、1 サンプル当たり 200 人の協力者を募集した。各実験協力者は 2020 年 11 月 12 月にかけて、白書 $\rightarrow$ 教科書 $\rightarrow$ 書籍の順に 自由に実験に参加でき、読むサンプルの数も自由に 設定した。従前の発表 [8] と同じスクリーニングを 行った後、単語親密度調査 200 回答以上・読み時間実験 5 サンプル以上に参加した実験協力者のデータ を分析対象とした。表 1 に刺激文と実験協力者の統計を、表 2 に分析対象となるデータ数を示す。

## 3 統計分析

統計分析は対数読み時間に対する線形混合モデ ルにおいて、各固定効果における有意差が確認で きるか否かにより行う。呈示順4) - 文字列長 ${ }^{5)}$ - 試行

4） BCCWJ-SPR2 における文呈示順 SPR_sentence_ID (sentid) $\cdot$文節呈示順 SPR_bunsetsu_ID (bid)

5）BCCWJ-SPR2 における表層形文字列長 SPR_word_length (length)。順6) ・係り受(゙7) ・ 実験協力者の語彙力 ${ }^{8)}$ を固定効果 とし、実験協力者 9$)$ ・サンプル $\mathrm{ID}^{10)}$ をランダム効果 とした。本稿では $\operatorname{lme4}[20,21]$ を用いた一般化線形混合モデルの結果を示す。一度モデルを推定したう えで、3SDよりも外側の値のデータポイントを排除 し、再推定を行った結果を表 3 に示す。なお、対数読み時間を頻度主義的な線形混合モデルで分析した ものを付録の表 4 に、同様のモデルをベイジアン線形混合モデル（対数正規モデル）で分析したものを 付録の表 5 に示す。

まず、同一サンプル内の呈示順については、実験 が進むについて文脈を得るために読み時間が短く なる傾向が確認された。文字列長は長いほど認識に 時間が長くなる傾向が確認された。試行順について は教科書においては実験協力者が慣れて短くなる 傾向が確認された。書籍においては、反対に繰り返 し実施することによる疲れからか、長くなる傾向が 確認された。最後に係り受けの数が多いほど、予測 が効くために、読み時間が短くなる傾向が確認され た。ここまでは既存の分析結果 [8] と同様の結果で あった。

## 4 考察

以下、結果についての考察を示す。

## 4.1 語彙力の影響

以前の調査 [6] では語彙力が高い実験協力者の読 み時間が長い傾向が確認された。しかしながら、調

6） BCCWJ-SPR2 における実験協力者ごとの試行順（サンプル 単位に集計）SPR_trial。OW については 1 サンプルのみのた めに常に試行順が 1 のため未定義。

7）BCCWJ-SPR2 における当該文節に対する係り受けの数 SPR_DepPara_depnum (dependent)。BCCWJ-DepPara から復元。 OT には係り受けが付与されていないために未定義。

8）WLSP-Familiary3.1 における実験協力者のランダム効果 WFR_subj_rate。

9）BCCWJ-SPR2 における実験協力者固有のID SPR_subj_ID_factor。

10） BCCWJ におけるサンプル ID BCCWJ_Sample_ID。

回帰式：

SPR_reading_time SPR_sentence_ID + SPR_bunsetsu_ID + SPR_word_length + DepPara_depnum

+ SPR_trial + WFR_subj_rate + (1 | SPR_subj_ID_factor) + (1 | BCCWJ_Sample_ID)

但し、OT は 1 回の試行のみのため SPR_trial は未定義、OT は係り受け情報が付与されていないため DepPara_depnum は 未定義。

表 3 一般化線形混合モデルに基づく分析結果（読み時間）

查人数が少ないうえ語彙力が高い群が実質 1 名で あったために、この1名のデータに依存し、一般性 のない分析である可能性があった。本調査では、読 み時間計測タスクを自己ペース読文課題に限定しな がらも、数百人規模のデータを用い、読む文章量も 増やした設定で再検証を行った。また語彙力の測定 もNTT の平成版語彙数判定テストではなく、新た に単語親密度調査に基づく副産物としての協力者の 語彙力を用いた。結果、語彙力が高い群の読み時間 がより短くなる傾向が観察された。

## 4.2 レジスタの影響

語彙力の影響を有意差の観点で見ると、OT(教科書) が $p<0.1 、 \mathrm{~PB}$ (書籍) が $p<0.05 、 \mathrm{OW}$ (白書) が $p<0.01$ であった。教科書は小・中・高の国語の教科書のサンプルであり、協力者は一度は読んだこと がある可能性がある。書籍と白書を比べると、一般 に書籍のほうが協力者が読みなれている可能性もあ る。このレジスタについてのなじみの程度が、語彙力の影響の有意差に表れている可能性がある。なじ みのある教科書では語彙力の影響の差が小さいが、 なじみのない白書では語彙力の影響の差が大きく なった可能性がある。

## 4.3 サプライザルや言語モデルのパープレ キシティとの関係

サプライザル $[10,11]$ は、文処理の負荷に対する 情報量基準に基づいた指標で、当該単語の文脈中の 負の対数確率（次式）によりモデル化される文処理 の困難さを表す：

$
\text { Surprisal }(w)=-\log _{2} P(w \mid \text { context })
$

似た概念の言語モデルの評価指標としてパープ レキシティ (平均分岐数) perplexity(context)= $\Pi_{i=1}^{N} P\left(w_{i}\right)^{1 / N}$ がある。これを対数を取った形式 (cross entropy) で表記すると $H$ (context) = $\frac{1}{N} \sum_{i=1}^{N} \log _{2} P\left(w_{i}\right)$ となるが、言語モデルとして次 にくる単語 $w$ を予測する際の仮定としては、 $\arg \max \log _{2} P(w \mid$ context $)$ と、この cross entropy の最大化問題に帰着でき、実質的には符号が反転したサ プライザルの式の最小化と等価の問題と捉えること ができる。

このパープレキシティ (cross entropy) が低いほど ヒトらしいという研究は英語については確認されて いる $[12,13,14,15,16]$ 一方、英語と日本語における 読み時間と Transformer 系の言語モデルの対照分析 [17,18] において、日本語においては必ずしもそう とは言えない報告がなされた。

ここで、サプライザル・パープレキシティとは何

か、さらには「ヒトらしい」とは何かについて考え たい。過去の研究においては、言語モデルの能力差によるパープレキシティの検討がなされてきた。本研究ではヒトの能力差とレジスタの親密性の観点 から検討を行いたい。

まず、ヒトの能力差の観点からは、仮定として語彙力が高いヒトは文脈から単語を推測する確率が 高いとするならば、この能力差がサプライザルの指標を下げ、全体的に読み時間を短くした可能性があ る。サプライザルと言語モデルのパープレキシティ の等価性から、言語モデルのパープレキシティが高 くなるにつれ、より語彙力の高い群に親和性がある 予測を行う可能性がある。

次に、レジスタの親密性の観点からは、仮定とし て、OT(教科書) は一度読んだ可能性があるテキス トであり、PB(書籍) は普段読んでいるものに近い 新しいテキストであり、OW(白書) は普段読み慣れ ないテキストであると想定する。親密性の観点から は、OT>PB>OW の順で次にくる単語が予測しやす い可能性があり、サプライザルはこの逆順で小さい (パープレキシティの観点からは正順で大きい) レ ジスタであると考える。表 3 の語彙力の有意差の傾向から、 $\mathrm{OT}<\mathrm{PB}<\mathrm{OW}$ の順で語彙力の差が出やすく なっていることがわかる。本データ (BCCWJ-SPR2) の $\mathrm{PB}$ の NDC（日本十進分類法）に基づく分析 [22] では、多くの人が親しみやすい芸能やスポーツなど を含む「7. 芸術・美術」が読み時間が短くなる傾向 が確認されている。

以上の観点を総合的に考えると、「ヒトらしい」言語モデルとは、適切なレベルの語彙力を持ち、レ ジスタの親密性の差異により予測可能性が変化しう るものであろうと考える。後者のレジスタの親密性 については、Hale らが、サプライザルをジャンル横断的に調査し、EEGデータと推定したサプライザル とを対照することで、同一ジャンルで訓練した言語 モデルのほうがより EEG データに適合することを 報告している [23]。

## 5 おわりに

本研究では、日本語の読み時間と語彙力の関係 について検討した。本研究の貢献は以下の 3 点で ある：

・対面で実験できないなか、オンラインで日本語 の読み時間と語彙力調査を大規模に行う方法を 確立した。
・大規模調査により、日本語において語彙力の読 み時間に与える影響について、複数レジスタの 資料に対して調査した。
- 調査結果として、「語彙力の高い」群が読み時間が短くなることを確認した。

分析結果から以下の 2 点について考察を行った：

・ヒトの能力差において、「語彙力の高い」こと と「言語モデルのパープレキシティの高い」こ とのアナロジーを仮定すると、言語モデルの パープレキシティが高くなるにつれてより語彙力の高い群に親和性がある予測を行う可能性が ある。

・レジスタの親密性において、サプライザルが全体的に低いであろう読みなれているレジスタに おいては、語彙力の差が出にくい。

このように日本語の読み時間において、ヒトの能力差やレジスタ差の検討が可能になった。今後、よ り精緻な数理モデルによる検討を期待する。

今回、ヒト側の能力として語彙力について検討を 行い、上記の傾向について明らかにした。日本語に おいては、再帰的ニューラルネットワーク文法に よる読み時間の検討 $[24,25]$ も進められている。文法に基づくヒトの文処理過程をつかさどる重要な 概念として、実験協力者の作業記憶容量 (パージ ングアルゴリズムにおけるビーム幅相当）がある。 BCCWJ-EyeTrack においては、日本語リーディング スパンテスト [3] を行い、成績の優劣による検討も 行った [6]。本データにおいても、オンラインで作業記憶容量を評価する方法について検討し、パージ ングに基づく文処理過程のモデリングについて評価可能なデータを構築したい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 17H00917, 18H05521 の支援を受けました。

## 参考文献

[1]Marcel Adam Just, Patricia A. Carpenter, and Jacqueline D. Woolley. Paradigms and processes in reading comprehension. Journal of Experimental Psychology: General, 3:228-238, 1982.

[2]浅原正幸, 小野創, and 宮本エジソン 正. BCCWJEyeTrack-『現代日本語書き言葉均衡コーパス』に対 する読み時間付与とその分析-. 言語研究, 156:67-96, 2019.

[3]苧阪満里子, editor. ワーキングメモリー脳のメモ帳. 新曜社, 2002.

[4]Shigeaki Amano and Tadahisa Kondo. Estimation of Mental Lexicon Size with Word Familiarity Database. In Proceedings of International Conference on Spoken Language Processing, volume 5, pages 2119-2122, 1998.

[5]天野成昭 and 近藤 公久, editors. 単語親密度, NTT デー タベースシリーズ 日本語の語彙特性第 $l$ 巻. 三省堂, 1999.

[6]浅原 正幸, 小野創, and 宮本 エジソン 正. 『現代日本語書き言葉均衡コーパス』の読み時間とその被験者属性. In 言語処理学会第 23 回年次大会発表論文集, pages 273-276, 2017.

[7]Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank, Anastasia Vishnevetsky, Steven Piantadosi, and Evelina Fedorenko. The Natural Stories Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[8]浅原 正幸. クラウドソーシングによる大規模読み時間 データ収集. In 言語処理学会第 27 回年次大会発表論文集, pages 1156-1161, 2021.

[9]浅原 正幸. クラウドソーシングによる単語親密度デー 夕の構築 (2021 年版). In 言語処理学会第 28 回年次大会発表論文集, 2022.

[10]John Hale. A probabilistic earley parser as a psycholinguistic model. In Proceedings of the Second Conference of the North American Chapter of the Association for Computational Linguistics, volume 2, pages 159-166, 2001.

[11]Expectation-based syntactic comprehension. Cognition, 106(3):1126-1177, 2008.

[12]Stefan L. Frank and Rens Bod. Insensitivity of the human sentence-processing system to hierarchical structure. Journal of Psychological Science, 22(6):829-834, 2011.

[13]Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of CMCL, pages 61-69, 2012.

[14]Adam Goodkind and Klinton Bicknell. Predictive Power of Word Surprisal for Reading Times is a Linear Function of Language Model Quality. In Proceedings of CMCL, pages $10-18,2018$

[15]Adam Goodkind and Klinton Bicknell. Comparing Gated and Simple Recurent Neural Network Architectures as Models of Human Sentence Processing. In Proceedings of the 41st Annual Conference of the Cognitive Science Society, pages 112-118, 2019.

[16]Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language
Models for Human Real-Time Comprehension Behavior. In Proceedings of the 42nd Annual Conference of the Cognitive Science Society, pages 1707-1713, 2020.

[17]Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguisticsand the 11 th International Joint Conference on Natural Language Processing, pages 5203-5217, 2011.

[18]栗林樹生, 大関洋平, 伊藤 拓海, 吉田遼, 浅原 正幸, and 乾 健太郎. 予測の正確な言語モデルがヒトらしいとは 限らない. In 言語処理学会第 27 回年次大会発表論文集, pages 267-272, 2021.

[19]浅原 正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[20]Douglas Bates, Martin Mächler, Ben Bolker, and Steve Walker. Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67:1-48, 2015.

[21]Marek Hlavac. stargazer: Well-formatted regression and summary statistics tables, 2018. R package version 5.2.2.

[22]浅原 正幸 and 加藤 祥. 『現代日本語書き言葉均衡コー パス』書籍サンプルの読み時間の分析. In 日本語学会 2021 年度春季大会予稿集, pages 49-54, 2021.

[23]John Hale, Adhiguna Kuncoro, Keith Hall, Chris Dyer, and Jonathan Brennan. Text genre and training data size in human-like parsing. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 5846-5852, Hong Kong, China, November 2019. Association for Computational Linguistics.

[24]Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[25]吉田 遼, 能地 宏, and 大関 洋平. 再帰的ニューラルネッ トワーク文法による人間の文処理のモデリング. In 言語処理学会第 27 回年次大会発表論文集, pages 273-278, 2021.

## A 付録

回帰式：

SPR_log_reading_time SPR_sentence_ID + SPR_bunsetsu_ID + SPR_word_length + DepPara_depnum

+ SPR_trial + WFR_subj_rate + (1 | SPR_subj_ID_factor $)+(1$ | BCCWJ_Sample_ID)

但し、OT は 1 回の試行のみのため SPR_trial は未定義、OT は係り受け情報が付与されていないため DepPara_depnum は 未定義。

表 4 一般化線形混合モデルに基づく分析結果（OW 白書・OT 教科書・PB 書籍 $:$ 対数読み時間）

表 5 ベイジアン線形混合モデルに基づく分析結果（OW 白書のみ：対数正規モデル）
 浅原 正幸 国立国語研究所 masayu-a@ninjal.ac.jp  