# クラウドソーシングによる大規模読み時間データ収集

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 1 はじめに

本研究では、クラウドソーシングにより、日本語 を対象とした大規模読み時間データを構築したので 報告する。我々は、視線走査装置 ${ }^{1}$ や自己ペース読文法 [1]を用いて、新聞記事を対象として読み時間 データを収集 [2] し、さまざまな分析 $[3,4,5,6,7]$ を おこなってきた。また、教科書・書籍に対しても視線走査装置による小規模の読み時間データを収集 した [8]。しかしながら、被験者を研究室に呼んで、視線走査装置を用いて実験を行うことが困難となっ た。一方、英語においては、Amazon Mechanical Turk で被験者を募集して、読み時間を収集した Natural Story Corpus (NSC) [9] が構築されている。同様の試 みとして、Yahoo! Japan の Yahoo! クラウドソーシン グを用い被験者を募集したうえで、ibex ${ }^{2)}$ を利用し て、ウェブブラウザを介して自己ペース読文法によ り大規模に読み時間データを収集した。本稿では読 み時間収集手法を示すとともに、簡単な統計分析結果を報告する。

## 2 読み時間データの収集手法

## 2.1 刺激文

刺激文は『現代日本語書き言葉均衡コーパス』

権フリーのもの 1 莫科書ンプルを、実験環境とともに結果を公開する。OTは、国語科（現代文）のもの 38 サンプル（小 17、中 9、高 12）を用いた。これは、日本で国語教育を受けた方であれば過去に読んだ ことがある刺激文として、読み時間データを収集し た。今後、国外で国語教育を受けた方や日本語学習者のデータを取得し、国語教育・日本語教育におけ るリーダビリティ評価の対照データとして利用する ことを想定する。PBはコアデータ 83 サンプルを用


2) https://github.com/addrummond/ibex/
いた。これは、係り受けなど多様なアノテーション に基づく検討を行うほか、PNの読み時間データで制限されている商用利用を想定する。

表 1 に、刺激文のサンプル数・文数・文節数（お よび募集被験者数：次節で言及）を示す。対照のた めに NSC のサンプル数・文数・単語数を示す。NSC はおよそ 1,000 語程度の文章をサンフプリングした が、我々のデータもOT・PBサンプルについては平均 1,000 文節以上のデータを刺激として用いた。

各刺激文章に対して、内容をきちんと読んでいる かを確認するための YES/NO で回答する質問を 2 つ ずつ（YES が正解 1 つ、NO が正解 1 つ）設定した。

表 1 刺激文の統計

†本研究と NSC の集計方法は異なる（2.2 節参照）

## 2.2 自己ペース読文法

図 1 移動窓方式による自己ペース読文法

自己ペース読文法は、移動空を用いて疑似的な視線移動環境を設定しながら、部分的に呈示された単
語や文節の表示時間により読み時間を計測する手法 である。図 1 に例を示す。スペースキーを押すたび に逐次的に文節が表示され、スペースキーを押した 時間間隔をミリ秒単位で記録することで読み時間を 計測する。1 文章を読んだ最後に「はい」「いいえ」 の 2 択で答える内容把握の設問を設定した。ブラウ ザ上で自己ペース読文法による被験者実験を行うた め、ibexfarm ${ }^{3}$ を用いた。日本語対応は文献 [11] に 倣った。

## 2.3 被験者

被験者は Yahoo! クラウドソーシング4)により募集した。 2020 年 10 月に、あらかじめ「単語親密度」 の評定実験 [12] を行い、単語親密度の回答におい て、回答の分散が大きい2,092人を対象に募集した。 これは、適切に作業に取り組む方をあらかじめ選別 するほか、単語親密度推定時に被験者毎の語彙力も 推定できるために、事前実験として行った。

OWに対しては、試験的に 500 人募集して実験を 行った。OT・PBに対しては、200人募集した。内容確認質問の正解が YES である実験 100 人、NO で ある実験 100 人募集した ${ }^{5)}$ 。表 1 に示す本研究の被験者数はサンプル毎の募集人員だが、NSC の被験者数はいずれかのサンプルを確認した異なり人数であ る。NSC においては、各被験者は最低 5 サンプルを 確認した。NSC 論文で言及されているように本実験 の作業者の異なりを集計すると 574 人（延べ 24,727 人）であった。

## 3 実験データの整理

## 3.1 不適切なデータの排除

本データの収集は、オンラインで実施したため、 データの品質が対面で収集した際よりも品質が悪 いことが想定される。そこで、不適切なデータの排除を試みる。まず、(1) 実験開始時に実験データの 取り扱いおよび謝金の支払方法に同意していない ものを排除した。次に、(2) 同じ被験者が同じサン プルを複数回実施した場合、 2 回目以降の試行デー タを削除した。さらに、(3) サンプル単位の平均読 み時間が $150 \mathrm{~ms}$ 未満もしくは $2,000 \mathrm{~ms}$ 超過のもの、 (4)YES/NO 質問を誤答しているものを排除した。


最後にデータポイント単位に不適切なデータを排除する。表 3 の「適切なサンプル」の行に、適切な サンプルに含まれるデータポイント数を示す。これ らから、さらに (5) $100 \mathrm{~ms}$ 未満もしくは $3,000 \mathrm{~ms}$ 超過のものを排除した。結果、表中「分析対象」に示 す件数を適切なデータポイントとして扱うことに した。 ${ }^{6}$ NSR のデータポイント数が 848,857 と比し ても、大規模な読み時間データが構築できたとい える。

## 3.2 実験データの形式

表 4 に実験データの形式について示す。データは TSV の帳票形式で 1 行目がヘッダ行で列名を記載し てある。

BCCWJ_Sample_ID と BCCWJ_start が BCCWJ 上 の位置情報で、この情報により BCCWJ 上の形態論情報や各種アノテーションデータと突合ができる。

SPR_sentence_ID と SPR_bunsetsu_ID が実験時の 文 ID と文節 ID で、実質的に実験内の呈示順を表 す。SPR_surface は呈示した表層形であるが、OT と PB はマスクして文字数のみ (SPR_word_length) がわ かるようにした。

SPR_reading_time が分析対象の読み時間である。分析時には、対数読み時間 (SPR_log_reading_time) も生成した。SPR_instructiontime が最初の実験教示 の時間である。2 回目以降の実験においては読み飛 ばされる傾向がある。

SPR_QA_question が実験時の確認用の YES/NO 質問で、SPR_QA_answer がその正解である。 SPR_QA_correct が被験者が YES/NO 質問に正解 したか否かのフラグで、公開データは基本的には正

6）基準として、NSC [9] が $100 \mathrm{~ms}$ 未満もしくは $3,000 \mathrm{~ms}$ 超過の データポイントを削除しているのを参考にした。
表 4 実験データの形式

解したもののみとする。SPR_QA_qatime が被験者が YES/NO 質問に要した回答時間である。

SPR_subj_ID が被験者 ID である。SPR_averageRT が実験時のサンプル単位の平均読み時間である。 SPR_timestamp が実験を実施した時刻、SPR_trial が 当該ジャンルの読み時間計測を行うのが何回目かを 表す。SPR_control が実験時の呈示方法（文節間に 空白があるかないか) である。

読み時間の係り受けの書影響を検討するため に、コアデータの自W・䢂籍に対しては、BCCWJDepPara [13] の情報を付与した。BCCWJ-DepPara は BCCWJ と異なる文境界を定義しているため、呈示した際の文節 ID との䶡踣が生じる (DepPara_bid, DepPara_depid) が、係り受けの数 (DepPara_depnum) は BCCWJ-DepPara の基準に基づく。

また、OTについては、分析対象として教科書の 校種 (BCCWJ_OT_school_type, OT01: 小・OT02:中・ OT03:高等学校) を設定した。

## 4 実験データの分析

## 4.1 分析方法

本稿では、頻度主義的な分析手法 $[14,15]$ による 結果を示す。読み時間の検討を一般化線形混合モデ ル (R[16], lme4[17], stargazer[18])を用いて行う。固定効果として、呈示順の情報である SPR_sentence_ID (実験時の文 ID) ・SPR_bunsetsu_ID (実験時の文節 ID) と、表層形の文字数である SPR_word_lengthを考慮した。OW・PBについては、当該文蓈既の係り受けの数DepPara_depnum を考慮し た。OTにつついては、校種 SPR_OT_school_type を考慮した。OT・PBについては、同一の被験者が複数 のサンプルを読んだ際の試行順序 SPR_trial も固定効果としてモデル化した。

また、被験者間の個人差をモデル化するために

した。OT・PB については、サンプル間の個体差を モデル化するために BCCWJ_Sample_ID (BCCWJ の サンプル ID) もランダム効果として考慮した。分析式は次のとおり：

SPR_reading_time

SPR_sentence_ID+SPR_bunsetsu_ID

+SPR_word_length+SPR_trial

+DepPara_depnum+BCCWJ_OT_school_type

+(1|SPR_subj_ID_factor)+(1|BCCWJ_Sample_ID) .以下では、一度モデルを推定したうえで、3SDより も外側の值のデータポイントを排除し、再推定を 行った結果を示す。なお、対数読み時間の頻度主義的な分析は付録に示す。
表 5 一般化線形混合モデルの基づく分析結果（読み時間）

## 4.2 分析結果

表 5 に分析結果を示す。表中、固定効果に対する 推定値を有意差の有無ともに示す。カッコ内の値は 標準誤差である。

サンプル内の呈示順 (SPR_sentence_ID,

SPR_bunsetsu_ID) については、いずれのレジス タにおいても読み時間が短くなる傾向が確認され た。文字数が長くなるにつれて読み時間が長くなる 傾向も確認された (SPR_word_length)。

自漛・P部については、当該文節の係り受けの数 (DepPara_depnum) との相関を検討した。いずれの結果も係り受けの数が多い文節の読み時間が短くなる 傾向が確認された。

OT・PB については、同一の被験者が複数のサン プルを読んだ際の試行順序SPR_trial も固定効果と して検討した。OTにおいては試行回数を重ねるに あたり読み時間が短くなるが、PB においては試行回数を重敔るにあたり読み時間が長くなる傾向がみ られた。OTについては、校種 SPR_OT_school_type を考慮した。小学校のテキストに比べて、高等学校 の読み時間のほうが短くなる傾向がみられた。OT においては、実験選択画面において小学校 $\Rightarrow$ 中学校 $\Rightarrow$ 高等学校という順で進めやすいようになってお り、実際 SPR_trial と小中高等学校の校種順に相関 がある状態であった。このことが読み時間に対する 試行回数の影響のレジスタ間の䶡䶣をもたらした可能性がある。

最後にレジスタ間の関係について言及する。被験

最初に実験を行ったOWでは、他のレジスタと比べ て長い傾向がみられる。OTは日本国内で国語の教育を受けた場合には一度は目にしている可能性が高 いテキストである。しかしながら、呈示順が影響し

書籍に対しては、日本十進分類法などによるジャン ル間比較を行うことを検討する。

## 5 おわりに

本発表では、クラウドソーシングを用いて構築し た大規模な読み時間データについて紹介した。ブラ ウザ上で動作する自己ペース読文法による実験環境 ibexfarm を用い、Yahoo! クラウドソーシングで被験者を募集することにより、短期間・低価格に大規模読み時間データを構築することができた。実験デー タの分析においては、線形混合モデルによる試行順・係り受けの数の影響を検討し、過去の実験室で 収集したデータによる結果と同様の結果が得られる ことを確認した。さらに、OTの分析においては、小学校の教科書よりも高等学校の教科書のほうが成人日本語話者の読み時間が短くなることを確認した。

本データは https://github.com/masayu-a/ BCCWJ-SPR2 で公開する。今後、BCCWJ のさまざ まなアノテーションとの重ね合わせを行い様々な分析を行うとともに、ベイズ主義的な分析 $[19,20]$ も 進めたい。また、L1 学習者・L2 学習者の読み時間 を収集することにより、言語の読解能力の習得過程 のデータ化を進めたい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 18H05521, 18K18519 の支援を受けました。

## 参考文献

[1]Marcel Adam Just, Patricia A. Carpenter, and Jacqueline D. Woolley. Paradigms and processes in reading comprehension. Journal of Experimental Psychology: General, 3:228-238, 1982.

[2]浅原 正幸, 小野創, and 宮本 エジソン 正. BCCWJEyeTrack-『現代日本語書き言葉均衡コーパス』に対 する読み時間付与とその分析-. 言語研究, 156:67-96, 2019.

[3]浅原 正幸. 名詞句の情報の状態と読み時間について.自然言語処理, 25(5):527-554, 2018.

[4]浅原 正幸. 日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. 自然言語処理, 26(2):301-327, 2019.

[5]浅原 正幸 and 加藤祥. 読み時間と統語・意味分類. 認知科学, 26(2):219-230, 2019.

[6]浅原 正幸. 単語埋め込みに基づくサプライザル. 自然言語処理, 26(3):635-652, 2019.

[7]浅原 正幸. 読み時間と述語項構造・共参照情報につい て. In 言語処理学会第 25 回年次大会発表論文集, pages 249-252, 2019.

[8]森山奈々美, 荻原 亜彩美, 近藤森音, 浅原正幸, and 相澤彰子. BCCWJ-EyeTrack-2: 書籍と教科書の読み時間 データ. In 言語処理学会第 25 回年次大会発表論文集, pages 699-702, 2019.

[9]Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank, Anastasia Vishnevetsky, Steven Piantadosi, and Evelina Fedorenko. The Natural Stories Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[10]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, 48:345-371, 2014.

[11]中谷 健太郎. 自己ペース読文課題を使った実験：ウェ ブ編. In 中谷 健太郎, editor, パソコンがあればできる! ことばの実験研究の方法 容認性調査、読文・産出実験からコーパスまで, chapter 4, pages 81-106. ひつじ書房, 東京, 2019.

[12]浅原 正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[13]浅原正幸 and 松本 裕治. 『現代日本語書き言葉均衡 コーパス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, 25(4):331-356, 2018.

[14]R. Harald Baayen. Analyzing Linguistic Data: A practical Introduction to Statistics using R. Cambridge University Press, 2008.

[15]Shravan Vasishth, Daniel Schad, Audrey Bürki, and Reinhold Kliegl. Linear Mixed Models in Linguistics and Psychology: A Comprehensive Introduction. (近刊).

[16]R Core Team. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria, 2020.

[17]Douglas Bates, Martin Mächler, Ben Bolker, and Steve
Walker. Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1):1-48, 2015.

[18]Marek Hlavac. stargazer: Well-Formatted Regression and Summary Statistics Tables. Central European Labour Studies Institute (CELSI), Bratislava, Slovakia, 2018. R package version 5.2.2.

[19]Tanner Sorensen, Sven Hohenstein, and Shravan Vasishth. Bayesian linear mixed models using Stan: A tutorial for psychologists, linguists, and cognitive scientists. Quantitative Methods for Psychology, 12:175-200, 2016.

[20]Bruno Nicenboim, Daniel Schad, and Shravan Vasishth. An Introduction to Bayesian Data Analysis for Cognitive Science. (近刊).

## A 付録

表 6 に対数読み時間の分析結果を示す。外れ値とみなす $3 \mathrm{SD} よ り$ 外側の削除数が若干減ったが、基本的に 読み時間と同様の結果が得られた。

表 6 一般化線形混合モデルに基づく分析結果（対数読み時間）


 浅原 正幸 国立国語研究所 masayu-a@ninjal.ac.jp  