# 日本語の読みやすさに対する 情報量に基づいた統一的な解釈

栗林樹生 ${ }^{1,2}$ 大関洋平 3,4 伊藤拓海 ${ }^{1,2}$ 吉田遼 3 浅原正幸 5 乾健太郎 1,4 1 東北大学 ${ }^{2}$ Langsmith 株式会社 3 東京大学 4 理化学研究所 5 国立国語研究所 \{kuribayashi, t-ito, inui\}@ecei.tohoku.ac.jp \{oseki, yoshiryo0617\}@g.ecc.u-tokyo.ac.jp, masayu-a@ninjal.ac.jp
## 1 はじめに

読みやすい文章とはどのようなものだろうか？文章を書いて情報伝達をする全てのヒトに関わる問い である. 本研究では，「読む」というヒトの情報処理のモデルについてモデルが何を計算しているかと いうレベルで理解し，文章の読みやすさについて洞察を得ることを目指す。

## 1.1 背景

英語では，特に言語モデルによって計算される サプライザル $(-\log p($ 単語や文| 先行文脈 $))$ が単語や文の逐次的な処理負荷をうまくモデリングで きるというコーパス全体の傾向が報告されてき た $[1,2,3,4,5,6,7,8]$. ヒトは続きを予測しながら文章を読んでおり，予想と異なる情報が登場する（サ プライザルが高くなる）と処理負荷が高まる（例え ば，読み時間が長くなる）というサプライザル理論に基づく $[9,10]$. 一方日本語では，近年読み時間 データ（BCCWJ-EyeTrack）が整備され [11], 日本語 の逐次的な読みやすさについて探索的な分析が行わ れてきた $[11,12,13,14]$. 例えば「係り元が先行文脈に多く存在する文節が読みやすい」 [11]，「聞き 手にとって既知と想定される情報は読みやすい」と いった記述がされてきた [14]. これらの記述は, ヒ トの文処理モデル解明の手がかりとなるだけでな く，読みやすい文章を書く上での知見としても役立 つ可能性がある．しかしながら，これらの個別の記述間の共通点については定かでなく, 新たな傾向の 探索は依然困難である。

## 1.2 仮説と検証結果

サプライザル理論に基づき，BCCWJ-EyeTrack に おいて記述的研究で得られてきた日本語読み時間に

図 1 ヒトの読み時間と言語モデルから得られるサプライ ザルの傾向の比較の概要.

関する傾向が，サプライザルが大きいところで読み にくくなるという傾向として統一的に解釈できると いう仮説を立てる。この仮説が支持されれば，読み 時間に対する個別の観察間に繋がりが生まれ，例え ば観測の難しいヒトに現れる現象（読み時間の変化 など）ではなく文章に付与されたサプライザルを分析することで，読みやすさの傾向に関する新たな記述に繋がる可能性がある。このような記述は，サプ ライザルが大きいところで読みにくくなるといった 実際のライティングに適用しにくい知見を噛み砕い たものとして有益であると考える。また「なぜある 言語現象が読み時間に影響を与えるのか」といった ヒトに対する現象個別の科学的な問いが「なぜサプ ライザルがヒトの読み時間に影響を与えるのか」と いうヒトに対する一般的な問いと「なぜその言語現象がコーパス上の確率に影響を与えるのか」という データで検証しやすい問いに整理される。さらに， サプライザル理論については英語コーパス上での検証が中心であり，日本語における本理論の一般性に ついても示唆を与える. 加えて，工学的応用として 言語モデルを文章の逐次的な読みやすさの評価に用 いる妥当性の検証にも繋がる。

Transformer 自己回帰言語モデルを用いた実験よ り，少なくとも BCCWJ-EyeTrack 上で報告されて きた統語から談話レベルに及ぶ読み時間の様々な
傾向についてはサプライザル上でも概ね再現され た. すなわち，個別の記述が情報量の観点から統一的に解釈できることが支持された。またヒトは 先を予想しながら文章を読んでおり，予想できな い情報が現れると読み負荷が大きくなるというサ プライザル理論の言語横断的な一般性も支持され た. 最後に読み時間とサプライザルの相違点につ いて分析し, 特に PPL の低い言語モデルで，ヒト の読み時間で得られていた特定の観察が極端なバ イアスとして観測される傾向を報告する. 本研究 で BCCWJ-EyeTrack に対して付与したサプライザル データ（BCCWJ-UniSeqLM）は公開する1).

## 2 実験設定

## 2.1 言語モデル

文章レベルの left-to-right 言語モデルを訓練 した. 入力はサブワードに分割した2)。読み 時間は文節ごとに付与されており, 長さ $N$ の文 $w_{1: N}=\left(w_{1}, w_{2}, \cdots, w_{N}\right)$ 内の長さ $T$ の文節 $\left.b=w_{k: k+T}(1<k \leq k+T \leq N)^{3}\right)$ について,文節を構成するサブワードの同時確率のサ プライザル $-\log _{2} p\left(w_{k}, \cdots, w_{k+T} \mid w_{1}, \cdots, w_{k-1}\right)=$ - $\sum_{i=k}^{k+T} \log _{2} p\left(w_{i} \mid w_{1}, \cdots, w_{i-1}\right)$ を計算した。八イ パーパラメータや学習データ量に関しては予備分析を行い，PPLが最も低い設定（LMPPL）と，サ プライザルによってヒトの読み時間を最もうまくモ デリングできた設定（LMPSY）の 2 種類を実験に用 いる4)。予備分析については付録に記載する。

## 2.2 サプライザルのモデリング

それぞれの言語モデルを用いて BCCWJ-EyeTrack 上の各文節にサプライザルを付与し, 既存研究 $[12,13,14]$ でヒトの読み時間に対して行われてい た分析を，被説明変数を読み時間からサプライザル に置き換えて実施した，具体的には，既存研究に従 い下式の右辺に分析ごとに興味の対象となる説明変数（例えば統語範疇ラベルなど）を加えてサプライ

1) https://github.com/kuribayashi4/BCCWJ-UniSeqLM

2) mecab [15] と unidic で国語研短単位に分割した後，バイト 対符号化を用いてさらに分割した（character coverage $=0.9995$, vocab size $=100000)$.

3） BOSトークン $\left(w_{1}\right)$ の存在から，文節は $w_{2}$ 以降から始まる. 4） 学習データは新聞記事と日本語 Wikipedia（1.4G サブワー ド）から成り, $\mathrm{LM}_{\mathrm{PPL}}$ の学習にはすべてのデータを, $\mathrm{LM}_{\mathrm{PSY}}$ で は 1/10 の学習データを使った。また， L $M_{P P L}$ に対して LM $M_{P S Y}$ は $1 / 100$ のアップデート回数で訓練され，およそ $1 / 10$ のパラ メータ数である.
ザルをモデリングし，回帰係数の傾向を分析した：

$
\begin{aligned}
\text { surprisal } & \sim \text { length }+ \text { BOS }+ \text { EOS }+ \text { pre_EOS }+ \text { sentN } \\
& + \text { tokenN }+(1 \mid \text { article })+(1 \mid \text { seed }) .
\end{aligned}
$

各言語モデルについて異なるシードで 3 つのモデル を学習し, 記事 ID と言語モデルのシードを変量因子として扱った. 回帰モデルには一般化線形混合モ デルを用いた.

スペースの都合上，実験ではサプライザルをモ デリングした結果の回帰係数の符号および，係数 が 0 であるという対立仮説に対する $\mathrm{p}$ 値 ( $\mathrm{p} \mathrm{p}<0.1$; ${ }^{* *} \mathrm{p}<0.05 ;{ }^{* * *} \mathrm{p}<0.01 ）$ を報告する. また分析に応じ $\tau$ ，係数同士の大小関係も補助的に報告する5）（結果の表中で 背景色を灰色にして 記載する)。またヒ トの読み時間についても，式 1 の被説明変数を読み 時間に置き換えて同様の検証を行い，サプライザル をモデリングした場合と係数の傾向を比較する．読 み時間としては，視線走査法により計測された対数注視時間（first pass time, FPT）と自己ペース読文法 により計測された対数読み時間（SELF）を用いた $[11]^{6)}$.いずれの分析においても，読み時間が 0 で あるか 3 標準偏差を超えるデータポイントはあら かじめ除外し, 被説明変数を標準化した. 最終的に 13,148 のデータポイントを用いた.

## 3 実験

## 3.1 統語・意味範疇

コーパス中の各文節には，統語範疇ラベル（体，用，相の類など）と意味範疇ラベル（関係，主体，活動，生産物，自然の部門など）が付与されており， （i）読み時間が体の類>相の類>用の類となる傾向, （ii）関係の部門の読み時間が短くなる傾向が報告さ れている [12]. 既存研究に従い各文節の統語・意味範疇のラベルを式 1 の右辺に固定因子として追加 し，サプライザル・読み時間をモデリングした。

ヒトのFPT, SELF と, LM $\mathrm{LPPL}_{\mathrm{PPL}}, \mathrm{LM}_{\mathrm{PSY}}$ から得られ たサプライザルについて，回帰係数の一部を表 1 に 示す. 例えば「用（v.s. 体)」の行ではヒトと言語モ デルいずれにおいても符号が負であることより，体 の類よりも用の類に分類される文節の方がサプライ
, \mathrm{B}$ に対 する回帰係数の推定量の差 $\left|\alpha_{A}-\alpha_{B}\right|$ が， $\alpha_{A}$ と $\alpha_{B}$ のいずれ においても $90 \%(*), 95 \%(* *)$, $99 \%$ (***) 信頼区間を超え るかで判断する

6）式 1 の被説明変数を読み時間に置き換え，スクリーン上の 表示位置などの説明変数を加えた．詳細は付録に記述する。
}
表 1 読み時間・サプライザルと，意味・統語範疇の関係. 係数の差については背景色を灰色にする。

} & 用 (vs. 体) & $-* * *$ & $-^{* * *}$ & $-* * *$ & $-* * *$ \\

表 2 読み時間・サプライザルと anti-locality 効果.

ザルが小さく，読み時間も短くなる傾向にあること が分かる．統語範疇においては，読み時間とサプラ イザルいずれも体の類>相の類>用の類の順に小さく なるという一貫した傾向がみられた。意味範疇にお いては，関係の部門の読み時間が短くなるという読 み時間の傾向が $\mathrm{LM}_{\mathrm{PSY}}$ で概ね再現された。

## 3.2 統語構造

日本語をはじめとする主辞後置言語では，先行文脈に係り元が多く存在するほど読み時間が短くなる anti-locality 効果が報告されている [16,17]. 例えば 下の例では，「買った」の係り元は 2 つ存在し「バッ グを」については 1 つ存在するため，「買った」の方 が読み時間が短くなるという効果である。

(2)

式 1 の右辺に，先行文脈に存在する文節の係り元数 を固定因子として加え，サプライザルと読み時間を モデリングした. 表 2 より, 係り元数に対する係数 が有意に負であることから，読み時間とサプライザ ルいずれにおいても係り元数が多くなるほど処理負荷が低くなるという anti-locality 効果が確認された.本結果はサプライザル理論が anti-locality 効果を説明できるとする予想 [10] を支持する.

## 3.3 節境界

英語では節末で読み時間が長くなる wrap-up 効果 が報告されているが $[18,19]$, 日本語では wrap-up 効果が生じないという報告がされてきた [13]. 式1の表 3 読み時間・サプライザルと wrap-up 効果.

右辺に，文節が節末に存在するかという固定因子 を加え，サプライザルと読み時間をモデリングし た. 表 3 より，節末に配置される文節はサプライザ ルが小さいため読みやすく，読み時間においても wrap-up 効果が生じないことが示唆された.

さらに読み時間では，節の種類によって節末の読 み時間の傾向が異なることが報告されてきた [13].例えば，（i）内容節（節内の述語と係り先の語とに述語項関係がない）よりも，補足語修飾節（節内の述語と係り先の語とに述語項関係がある）の方が節末 の読み時間が短い，（ii）引用節よりも名詞節の方が 読み時間が短いといった傾向が観察されている. 式 1 の右辺に，文節が属する節の種類を固定因子とし て加えモデリングした結果を表 3 に示す。傾向（i)， (ii) についてサプライザルでも同様の傾向が観察さ れ，節末ごとのサプライザルの大小の傾向の違いに 起因する読み時間の差であることが示唆された。

## 3.4 情報構造

情報構造と日本語の読み時間を照らし合わせた 分析が行われてきた [20,14]. 既存研究 [14] に従い，情報構造に直接的・間接的に関わる，(i）書き手の 立場で考える情報の新旧（情報状態），(ii）読み手 の立場も含めて考える共有性，(iii）指示対象を聞き 手が同定できるかを示す定性，（iv）対象が生きてい るかを示す有生性の 4 つの観点で分析を行う．英語 など冠詞が存在する言語と比べて日本語では情報の 性質の表出が少なく, 文章に表出されない情報構造 によるバイアスがサプライザルに現れるかは，言語 モデルの分析という観点でも興味深い.

既存研究に従い，式 1 の右辺に情報状態，共有性,定性，有生性に対応する固定因子を同時に加え，サ プライザルと読み時間をモデリングした。表 5 よ り，SELF や既存研究で示されていた（i）新情報よ り旧情報の方が読みやすい（情報状態における新情報>旧情報)，（ii）聞き手と共有できている情報のほ うが読みやすい（共有性における非共有>想定可能>
表 5 読み時間・サプライザルと情報構造の関係. 係数の 差については背景色を灰色にする。

PPL
- 係り元数 : is_Im

新情報: is_Im

$\checkmark$ 旧情報: is_Im

非共有: is_Im

太想定可能 : is_Im

共有: is_Im図 2 言語モデルの PPLと，その言語モデルから得られ たサプライザルを用いてサブグループ解析をした際の各交互作用項に対する回帰係数との関係.

共有)，(iii）定名詞句よりも不定名詞句の方が読み やすい，（iv）有生名詞句よりも無生名詞句の方が読 みやすいといった傾向が，特に L $M_{P P L}$ で示された.

## 4 読み時間とサプライザルの相違点

最後に，ある因子がサプライザルと読み時間に与 える影響の差について交互作用の解析を通して調査 する．具体的には，サプライザルと読み時間を言語 モデルとヒトという異なるグループから得られた 「読み負荷」という同一の変数とみなし，読み負荷 に対して回帰を行う. 本研究では, 既存研究で典型的に分析される FPTを用いた。なお，読み時間とサ プライザルはそれぞれあらかじめ平均 0 ，分散 1 に 標準化している．説明変数として「言語モデルから 得られた読み負荷であるか」（is_lm）という二値素性（言語モデルであれば 1 ，ヒトであれば 0 ）を追加 し, さらに式 1 の右辺や分析の対象となる各固定因子それぞれについてis_lm との交互作用項を追加す
る. ある因子 A と is_lm の交互作用項に対する係数 $\left(\alpha_{\text {A:is_lm }}\right)$ は，因子 A が被説明変数に与える影響が，言語モデルグループとヒトグループでどう異なるか を意味する．例えば $\alpha_{\text {A*is_lm }}$ が有意に 0 より大きい 場合は，ヒトよりも言語モデルに対して因子 A の与 える影響が，因子 A の値が大きくなることで読み負荷が増大する方向に大きいことを表す．3節の分析 で用いたそれぞれの固定因子について，is_lm との 交互作用を分析した。また訓練設定が異なる 111 の 言語モデルについてそれぞれ分析を行い，言語モデ ルの PPL と交互作用の関係を見る（詳細は付録へ).

特に顕著な傾向が見られた（i）係り元数（antilocality 効果)，（ii）情報状態，（iii）共有性に対応す る固定因子について，is_lm との交互作用項の傾向 を報告する（図 2），各プロットが，各言語モデルを 用いた実験結果（交互作用項の係数）に対応し，横軸が実験で用いた言語モデルの PPL，縦軸が係数の 值である。係り元数，情報状態，共有性いずれにお いても PPL が低くなるほど係数が 0 から離れてい き，読み時間において観察されていた傾向が過剩に 示される方向（anti-localityを支持，新情報>旧情報，非共有>想定可能>共有）にヒトから逸脱していく傾向が見られた. サプライザルで観察されたバイアス からヒトの読み負荷に対して洞察を得る場合，バイ アスの大きさについてはサプライザル上で誇張され ている可能性があるが，バイアスの方向（ある現象 が処理負荷を増加させるか低下させるか）について は洞察を得られる可能性が示唆された。

## 5 おわりに

日本語の読み時間について探索的な分析から記述 されてきた傾向について，情報量に基づいて統一的 に解釈できるという仮説を立てた．統語から談話レ ベルの観点において，読み時間とサプライザルの間 に様々な共通点が観察され，仮説が支持された。よ り大規模なデータに基づいた調査 ${ }^{7)}$ や，脳活動デー タなどを用いた調査も視野に入れたい.

謝辞. 本研究は JSPS 科研費 JP20J22697, 19H04990 の助成を受けたものです.また，国立国語研究所共同研究プロジェクト「大規模コーパス を利用した言語処理の計算心理言語学的研究」の支援を受けたものです.

7）特に述語項構造・共参照との関係については，データポイ ントの少なさから今後の検証課題とした.

## 参考文献

[1]Stefan L. Frank and Rens Bod. Insensitivity of the Human Sentence-Processing System to Hierarchical Structure. Journal of Psychological Science, Vol. 22, No. 6, pp. 829-834, 2011.

[2]Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of CMCL, pp. 61-69, Montréal, Canada, 6 2012. Association for Computational Linguistics.

[3]Tal Linzen. What can linguistics and deep learning contribute to each other? Journal of Language, Vol. 95, No. 1, pp. 99-108, 2019.

[4]Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of CMCL2018, pp. 10-18, 2018.

[5]Christoph Aurnhammer and Stefan Frank. Comparing gated and simple recurrent neural network architectures as models of human sentence processing. In Proceedings of the 41 st Annual Conference of the Cognitive Science Society, pp. 112-118, 2019.

[6]Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior. In Proceedings of $\mathrm{CogSci}$, pp. 1707-1713, 2020.

[7]Danny Merkx and Stefan L. Frank. Comparing Transformers and RNNs on predicting human sentence processing data. arXiv preprint arXiv:2005.09471,2020, 2020.

[8]Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverseengineering converges on a model for predictive processing. bioRxiv, 2020.

[9]John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In Proceedings of NAACL, pp. 159-166, 2001.

[10]Roger Levy. Expectation-based syntactic comprehension. Journal of Cognition, Vol. 106, No. 3, pp. 11261177,2008 .

[11]Masayuki Asahara, Hajime Ono, and Edson T
Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING, pp. 684-694, 2016.

[12]Masayuki Asahara and Sachi Kato. Between Reading Time and Syntactic / Semantic Categories. In Proceedings of IJCNLP, pp. 404-412, 2017.

[13]Masayuki Asahara. Between reading time and clause boundaries in Japanese - wrap-up effect in a head-final language. In Proceedings of PACLIC, pp. 19-27, 2018.

[14]Masayuki Asahara. Between Reading Time and the Information Status of Noun Phrases. Natural Language Processing, Vol. 25, No. 5, pp. 527-554, 2018.

[15]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[16]Lars Konieczny. Locality and parsing complexity. Journal of Psycholinguistic Research, Vol. 29, No. 6, pp. 627-645, 2000.

[17]Shodai Uchida, E Miyamoto, Yuki Hirose, Yuki Kobayashi, and Takane Ito. An ERP study of parsing and memory load in Japanese sentence processing - A comparison between left-corner parsing and the Dependency Locality Theory. Technical report of IEICE. Thought and language, Vol. 114, pp. 101-106, 2014.

[18]Marcel A. Just and Patricia A. Carpenter. A theory of reading: From eye fixations to comprehension. Journal of Psychological Review, 1980.

[19]Keith Rayner, Gretchen Kambe, and Susan A. Duffy. The Effect of Clause Wrap-Up on Eye Movements during Reading. Quarterly Journal of Experimental Psychology Section A: Human Experimental Psychology, Vol. 53, No. 4, pp. 1061-1080, 2000.

[20]Masayuki Asahara. Between reading time and information structure. In Proceedings of PACLIC, pp. 1524, 2017.
表 6 本実験で用いた素性.

 \\

## A 素性

本実験で用いた素性を表 6 亿示す.なおヒトに対する読み時間測定の際文末に改行を加えているため，例えば is_first は「文頭である」か「文が長く画面上で改行が生じた際の改行後の文節」で発火する素性である. (is_first, is_last, is_second_last) につ いて，画面上での改行を考慮しない素性が（BOS, EOS, pre_EOS） であり，ヒトの読み時間のモデリングの際には前者を，言語モ デルのサプライザルのモデリングの際には後者を用いた。（lineN, segmentN）と（sentN, tokenN）についても，画面上での改行を考慮するかしないかの違いである. 画面呈示順など読み時間測定纪関わる素性は，既存研究でより詳細に記述されている [11].

## B言語モデルの設定

アーキテクチャ (400M パラメータの) Transformer, $55 \mathrm{M}$ パラ メータの Transformer, LSTM), 学習データサイズ (1.4G, 140M, $14 \mathrm{M}$ サブワード） パラメータアップデート回数 $(100 \mathrm{~K}, 10 \mathrm{~K}$, $1 \mathrm{~K} ， 0.1 \mathrm{~K} ）$ の異なるニューラル言語モデルを学習し， PPLが最も 低くなる設定とヒトの読み時間をサプライザルによってうまく モデリングできる設定の二種類を採用した．ヒトの読み時間の モデリングには, 本文の実験と同様にコーパス中の 13,148 デー タポイントを使用し，以下の式によってモデリングした：

$
\begin{aligned}
\log (\mathrm{RT}) & \sim \text { surprisal + freq + length + prev_freq } \\
& + \text { prev_length }+ \text { is_first }+ \text { is_last } \\
& + \text { is_second_last }+ \text { screenN }+ \text { lineN } \\
& + \text { segmentN }+(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

読み時間データに対する対数尤度で言語モデルの読み時間に対 するモデリング能力を評価した。学習率や最適化アルゴリズム などその他のパラメータについては fairseq のデフォルト設定を 使用した.

## C 回帰式

各実験における回帰式を記述する。

## C. 1 統語範疇, 意味範疇 (3.1 節)

$
\begin{aligned}
\text { surprisal } & \sim \text { WLSPLUWA + WLSPLUWB + length }+ \text { BOS + EOS + pre_EOS } \\
& + \text { sentN + tokenN + anti_locality }+(1 \mid \text { article }) \\
& +(1 \mid \text { seed }) . \\
\log (\mathrm{RT}) & \sim \text { WLSPLUWA }+ \text { WLSPLUWB + length }+ \text { is_first } \\
& + \text { is_last }+ \text { is_second_last }+ \text { screenN }+ \text { lineN }+ \text { segmentN } \\
& + \text { anti_locality }+(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

## C. 2 統語構造（3.2 節）

surprisal $\sim$ anti_locality + length + BOS + EOS + pre_EOS + sentN

$
+ \text { tokenN }+(1 \mid \text { article })+(1 \mid \text { seed }) .
$

$\log (\mathrm{RT}) \sim$ anti_locality + length + is_first + is_last + is_second_last + screenN + lineN + segment $N$ $+(1 \mid$ article $)+(1 \mid$ subj $)$

## C. 3 節境界（3.3 節）

wrap-up 効果については以下の式でモデリングし，いずれの節 （CLMHST，CLMMST，CLMFUT，CLMHRT）でも回帰係数が有意に負で あった.

surprisal $\sim$ CLMHST + CLMMST + CLMFUT + CLMHRT + length + BOS + EOS

+ pre_EOS + sentN + tokenN + anti_locality + (1|article $)$

$+(1 \mid$ seed $)$

$\log (\mathrm{RT}) \sim$ CLMHST + CLMMST + CLMFUT + CLMHRT + length + is_first

+ is_last + is_second_last + screenN + lineN + segmentN

+ anti_locality + (1|article) + (1|subj) .

節の種類による違いについては, 以下の式でモデリングした：

surprisal $\sim$ CLMHSL + CLMMSL + CLMFUL + CLMHRL + length + BOS + EOS

+ pre_EOS + sentN + tokenN + anti_locality + (1|article $)$

$+(1 \mid$ seed $)$

$\log (\mathrm{RT}) \sim$ CLMHSL + CLMMSL + CLMFUL + CLMHRL + length + is_first

+ is_last + is_second_last + screenN + lineN + segmentN

+ anti_locality + (1|article $)+(1 \mid$ subj $)$.

## C. 4 情報構造（3.4 節）

surprisal $\sim$ infostatus + definiteness + animacy + commonness

$
\begin{aligned}
& + \text { length }+ \text { BOS }+ \text { EOS }+ \text { pre_EOS }+ \text { sentN }+ \text { tokenN } \\
& + \text { anti_locality }+(1 \mid \text { article })+(1 \mid \text { seed }) .
\end{aligned}
$

$\log (\mathrm{RT}) \sim$ infostatus + definiteness + animacy + commonness

+ length + is_first + is_last + is_second_last + screenN

+ lineN + segmentN + anti_locality + (1|article $)+(1 \mid$ subj $)$.

## C. 5 交互作用の解析

reading_effort $\sim$ freq*is_lm + length $* i s_{-} l m+$ prev_freq*is_lm

$
\begin{aligned}
& + \text { prev_length*is_lm }+ \text { BOS*is_lm }+ \text { EOS*is_lm } \\
& + \text { pre_EOS*is_lm + sentN*is_lm + tokenN*is_lm } \\
& \text { +anti_locality*is_lm + (1|article })+(1 \mid \text { subj_seed })
\end{aligned}
$

$A * B$ は $A ， B$ という固定因子と，A と B の交互作用 $A: B$ を加えるこ とを意味する。分析の対象とする各素性 Z について，上式の説明変数に Z*is_lmを加え，Z:is_lm に対する回帰係数を分析した.
 栗林樹生 ${ }^{1,2}$ 大関洋平 3,4 伊藤拓海 ${ }^{1,2}$ 吉田遼 3 浅原正幸 5 乾健太郎 1,4 1 東北大学 ${ }^{2}$ Langsmith 株式会社 3 東京大学 4 理化学研究所 5 国立国語研究所 \{kuribayashi, t-ito, inui\}@ecei.tohoku.ac.jp \{oseki, yoshiryo0617\}@g.ecc.u-tokyo.ac.jp, masayu-a@ninjal.ac.jp 