# ニューラル言語モデルの過剰な作業記憶

栗林樹生 1,2 大関洋平 3,4 Ana Brassard ${ }^{4,1}$ 乾健太郎 1,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 東京大学 ${ }^{4}$ 理化学研究所
\{kuribayashi, inui\}@tohoku.ac.jp oseki@g.ecc.u-tokyo.ac.jp
ana.brassard@riken.jp

## 概要

近年，ニューラル言語モデルの分析が盛んに行わ れ，ヒトの言語処理について探求する計算心理言語学の両視点を取り入れた分析も増えた. 例えば言語 モデルとヒトの文処理の振る舞いを直接比較する研究が行われている. 本研究では, どのような計算モ デルがヒトの振る舞いを忠実に再現するかという，計算心理言語学的な関心で研究を行う場合，工学的 な文脈で典型的に活用される LSTM や Transformer 言語モデル $[1,2]$ をのまま用いることが，必ずし も道具立てとして妥当な選択ではないことを指摘す る. 具体的には，ニューラル言語モデルに入力する 文脈を限ることでよりヒトらしい振る舞いが促され ることから，これらのモデルはヒトと比べて過剩な 作業記憶 (同時に処理できる文脈情報) 容量を有して いることを提示する。

## 1 はじめに

ニューラル言語モデルには，自然言語処理分野か らの工学的な関心と, 計算心理言語学からの科学的 な関心が寄せられている。近年では両分野の視点を 融合させた研究も行われ，自然言語処理分野におい て工学的成功を収めたモデルに対して，心理言語学的な視点から，例えばヒトと同様の振る舞いをする か調査するといった試みが盛んである $[3,4,5,6,7]$.

読み活動のモデリング: 本研究では，ヒトの言語処理活動を忠実に再現するモデルを探求することで 構成論的にヒトの言語処理を理解するという認知科学・計算心理言語学の立場をとる. 人工知能・認知科学分野の目標の一つは，ヒトの振る舞いを説明す るモデルを作り，ヒトの理解を深めること (計算心理学) であり [8], 計算心理言語学では特にヒトの逐次的な読み活動 (読み時間など)をモデルの対象とす る [9]. モデル・理解にも様々な段階が存在するが， ここでは，物理学が物体の複雑な運動を簡潔な数式

図 1 サプライザルを条件付ける文脈長 (横軸)を制御し た場合の，ヒトの読み時間との傾向の近さ(縦軸) の変化. 例えば $\mathrm{n}=3$ は， 3-gram サプライザルの結果に対応す る. 縦軸の値 (psychometric predictive power; PPP) が大きい ほど，そのサプライザルがヒトの逐次的読み負荷をうま く説明することを表す.

で説明しようとするように，ヒトが文を一単語ずつ 読む際に示す逐次的な読み負荷を簡潔に説明する理想化されたモデルに関心がある.

自然言語処理技術の発展により，これまで計算 が困難であった量を近似的に求め，読み負荷のモ デルとして検証することが可能になった。例えば $-\log p$ (単語|長い文脈) はその最たる例であり，長 い系列の頻度を数えて值を求めることは現害的でな いが，ニューラル言語モデルを訓練することで，(少 なくとも次の単語の出現を正確に予測するという観点で) 正確な值を算出できるようになった.このよ うな発展も後押しし, 言語モデルや統語解析器が推定するサプライザル $(-\log p$ (単語|文脈 $))$ でヒトの 読み負荷を説明しようとする，予測に基づく説明が
注目を集めた $[10,4]$. ヒトは次の単語の出現を予測 しながら文を読んでおり，予測を裏切られると処理負荷が上がるという説明である。また次なる関心と して，どのようなモデル・アルゴリズムで計算され るサプライザルがヒトの文処理をうまく説明するか が焦点となっている.

作業記憶の乘離: このようなヒトの文処理の機序 を説明する視点からは，近年の強力な言語モデルを 用いて認知モデリングを行うことが必ずしも妥当な 選択ではないことを指摘する。具体的には，工学的 に高い性能を示す LSTM や Transformer がヒトと比 べて過剰な作業記憶 (同時に処理できる文脈情報の 量)をもつことを実験的に示し, むしろ忘却が促さ れる単純な再帰型ニューラルネットワーク [11] や n-gram モデルなどの方が，ヒトの読み活動の計算モ デルとしては妥当である可能性を提示する.

近年のニューラル言語モデル (例えば Transformer [2] に基づくモデル) は数百から数千単語の文脈に同時にアクセスしながら次の単語を予測する 設計であり，帰納バイアスとして非常に強力な作業記憶容量 (同時に処理できる文脈の量) を仮定して いる [3]. それに対して，一般にヒトの作業記憶は 非常に制限されており, 高々 4 つ程度の項目を同時 に処理することが限度などと示唆されている [12].例えば 10 桁程度の電話番号を一度で覚えることが できるヒトはそういないだろう。ヒトの文処理もま た作業記憶の制約を受けていると考えられており，例えば長距離依存により読み負荷が増加すること や [13], 関連する要素がなるべく近くに配置される という言語の一般的な性質を説明する [14].

実験と示唆: ヒトらしい作業記憶の模倣として ニューラル言語モデルに入力する文脈に制限を与え ることで，よりヒトの文処理活動データ (視線停留時間) と近い，ヒトらしい振る舞いが促されるか，文処理活動データの説明力を損なわなかった (図 1). このことから，近年の言語モデルがヒトよりも強力 な作業記憶を持つということを主張する。

本研究では作業記憶の局所性 (遠い情報ほどアク セスが難しい)を仮定し, 直近 $n-1$ 語の文脈から計算されるサプライザル ( $n$-gram サプライザル) とヒ トの読み活動の近さを分析する. 日本語と英語の言語横断的な調査から，高々 3-gram 程度のモデルで 計算されるサプライザルによりヒトの読み活動がう まく説明できる (日本語)，または文脈を限っても説明能力を損なわない (英語)ことが示された.
また，コーパス平均的に妥当な文脈長が定まらな かった英語の結果 (図 1 下) について分析すると，特定の語では長い/短い文脈を考慮したサプライザル が読み時間をうまく説明するといった，統語依存な 傾向が観察された. 特に動詞の読み時間について,主語が離れているほど，長い文脈で読み時間を説明 できた.この傾向は日本語では観察されず，英語に おける主語と動詞の数の一致や，日本語における (主語でなく) 主題の卓越性といった要因が，結果の 言語依存性 (図 1) と関連している可能性がある.

## 2 記憶に基づく説明

文処理の計算論的モデルについて，予測に基づく 説明とは伝統的に対立する形で，記憶に基づく説明が提唱されてきた．記憶に基づく説明では，離れ た文脈情報へのアクセスには負荷がかかるなどの仮説をおいている [13,15]. 言語や現象に応じて予測 と記憶の説明の妥当性は異なっていた $[16,17]$. 本研究は, 読み負荷のモデリングにおける予測と記憶 の両側面の融合を試みた研究とも解釈できる. 本研究で扱う不完全な文脈に基づくサプライザルは両者を融合した指標として近年提唱されてきたもの の [18]，データに基づく検証は限られており，本研究はその妥当性について経験的な証拠を提供した。

また, n-gram モデルは予測と記憶の両側面を反映した典型的なモデルであるものの，特に近年は ニューラル言語モデルの分析におけるべースライン として，頻度ベースの n-gram 言語モデルが登場す ることが多く $[10,4,6]$, 両者はニューラルネットに 基づくかなど複数の軸で仮定が異なるため，サプラ イザルの条件として適切な文脈について分野内で厳密に調査されていなかった. 本研究ではニューラル 言語モデルの入力を制限し，文脈長の観点でのみ切 り分けて分析を行う.

## 3 手法・実験設定

ヒトの逐次的な文処理負荷 (視線停留の長さ) と言語モデルが計算する指標の傾向の近さを測定する.作業記憶の局所性を踏まえ [13]，本研究では，直前 $n-1$ 語を文脈として用いる $n$-gram サプライザルの 認知的妥当性について分析し， $n$ を動かした際の影響を観察する。

不完全な文脈に基づくサプライザル: Left-toright 言語モデル $\theta$ によって計算される不完全な文脈に基づくサプライザルを用いる。言語モデルはサ

ブワードを入力単位としているが，読み時間は単語 (英語) や文節 (日本語) といったより大きな単位に付与されている。読み時間データに従い，本研究では 「語」は英語の単語または日本語の文節を指す。

文中の $i$ 番目のサブワードを $w_{i}, i$ 番目の語を $s_{i}$ とする. 各語は 1 つ以上の連続するサブワー ドで構成される. ある語 $s_{i}=\left[w_{k}, \cdots, w_{l}\right]$ の文脈 $c_{<i}=\left[s_{0}, \cdots, s_{i-1}\right]$ における n-gram サプライザル $I_{\mathrm{n} \text {-gram }}$ を以下のように計算する.

$
\begin{aligned}
I_{\mathrm{n}-\operatorname{gram}}\left(s_{i}, c_{<i}, n\right) & =-\log p_{\theta}\left(s_{i} \mid s_{i-n+1}, \cdots, s_{i-1}\right), \\
& =\sum_{j=k}^{l}-\log p_{\theta}\left(w_{j} \mid w_{m}, \cdots, w_{j-1}\right) .
\end{aligned}
$

ここで， $w_{m}$ は， $s_{i-n+1}$ の開始サブワードを指す.

例えば日本語における 3-gram サプライザルでは，直前 2 文節を構成するサブワード系列を文脈として与 えている。単語や文節のサプライザルは, 確率の連鎖律より，それらを構成するサブワードのサプライ ザルの和として計算する。なお，通常のテキストで 学習した言語モデルを用い，推論時に文脈を制限す ることで $I_{\mathrm{n} \text {-gram }}$ を計算しており, 学習と推論の乘離 については付録 A で議論する。

評価指標: 尺度 $I_{\mathrm{n}-\mathrm{gram}}$ の読み時間に対する説明力を一般化線形混合モデルで測定する. 具体的に は， $I_{\mathrm{n} \text {-gram }}$ とベースライン素性を説明変数とし, 各語の視線停留時間を被説明変数とする回帰モデルを 訓練する (付録 B). 同様に， $I_{\mathrm{n} \text {-gram }}$ を含まないべー スライン素性のみの回帰モデルも訓練し, 両回帰モ デルが示す対数尤度 (当てはまりの良さ)を求める.両対数尤度の差のデータポイント数平均を「ヒトら しさ」の尺度 (psychometric predictive power; PPP)と し，PPPが大きいほど $I_{\mathrm{n}-\mathrm{gram}}$ が読み時間をうまく説明するとみなす。この PPPを n-gram サプライザル を計算する際の文脈長を変えて比較する。具体的に は， $\{2,3,5,7,10,20\}$-gram サプライザルと, 文内の前方文脈すべてを用いる “full” 設定の計 7 設定を比較 する. なお, 本研究の主たる関心は文の統語的処理 であり，文を超えた文脈は考慮しない。

読み時間データ: Dundee corpus (英語) と BCCWJEyeTrack (日本語)を用いて英日横断的な検証を行 う $[19,20]$. はずれ値などを除去し (付録 C), Dundee corpus では 217,876 データポイント, BCCWJEyeTrackでは 9,217 データポイントを用いる. 読み 時間として，first pass duration を対象とする。言語モデル: Transformer/LSTM 言語モデルを利用した $[2,1]$. 詳細は付録 D に記載する。異なる シードで学習した 3 つのモデルの結果の平均と標準偏差を報告する。

## 4 実験: ヒトらしい文脈長

はじめに，コーパス全体の傾向として，読み時間 を平均何語の直前の文脈情報によってうまく説明で きるか調査する (4 節). その後, 長い文脈で条件付 けることの効能を調査する (5 節). 結果から，記憶 のバイアスと統語のバイアスを確認した。

## 4.1 結果

結果を図 1 に示す. 日本語ではある程度短い文脈 に条件づいたサプライザル (3-gram サプライザル) が読み時間をうまく説明でき，英語では文脈を限っ ても認知的妥当性が大きく変化しないことがわかっ た. 英語での妥当性を保ちつつ，日本語での妥当性 を向上させたという点で, 限られた文脈に基づくサ プライザルが言語横断的に妥当な尺度であることが 示唆された．言い方を変えると，文内のすべての文脈をニューラル言語モデルに与えサプライザルを計算する方法では，ヒトの読み活動を説明する上で過剩な文脈を考慮していると言える。

日本語: 日本語では文節 3-gram がもっとも良い PPP を達成し, 文脈を過度に用いて計算されたサプ ライザルはヒトの読み活動から乘離することが示さ れた.このことは, ヒトの逐次的な統語処理の負荷 が局所的な情報で説明できるというひとつの可能性 を示唆する．また非常に荒い紐付けではあるが，作業記憶の限度としてしばしば挙げられる $4 \pm 1$ 項目 という数と 3 文節という数は近しい [12].

英語: 文脈長を変化させても PPP は大きく変化し なかった (図1下). 一つの解釈としては, データポ イントに応じてサプライザルを条件付けるべき適切 な文脈長が異なる可能性があり，コーパス平均的な 傾向で見ると，文脈長を変えても PPP に変化がない ように見えている可能性がある．特に，作業記憶の 制約に反し, 長い文脈で条件付けることが適切であ ると観察されるケースがどのようなものであるか，次節でより詳しく分析していく.

## 5 分析: いつ長い文脈が有効か?

英語における遠い主語の存在が，対応する動詞の 読み時間の説明に必要な文脈長を引き伸ばしている

ことが示唆された。

設定: 4 節では，様々な条件でサプライザルを計算し，視線停留時間を説明する回帰モデルの当ては まりの良さを通して分析を行った. 本節では, 長い 短い文脈条件で付けたサプライザルによる視線停留時間回帰モデル $\left(M_{\text {short }}, M_{\text {long }}\right)$ について，読み時間へ の当てはまりが悪い箇所を調査し比較する. 具体的 には，長い文脈で条件づけたサプライザルを用いた 回帰モデル $M_{\text {short }}$ と, 短い文脈で条件づけたサプラ イザルを用いた回帰モデル $M_{\text {long }}$ が推定するデータ ポイント (語)ごとの残差 (小さいほど回帰式が視線停留時間をうまく説明できている)を観察する。あ るデータポイント集合 $D$ について, 長い文脈を考慮 した $M_{\text {long }}$ による二乗残差平均 $r_{\text {long }}(\mathscr{D})$ が $M_{\text {short }}$ の 示す二乗残差平均 $r_{\text {short }}(\mathscr{D})$ と比べてどれほど小さく なるかを，長い文脈を考慮する有効性とみなす。具体的には， $r_{\text {short }}(\mathscr{D})-r_{\text {long }}(\mathscr{D})$ を $D$ における長い文脈の貢献度 $(C)$ とし, $r_{\text {short }}(\mathscr{D})$ が大きく (当てはまり が悪く),$r_{\text {long }}(D)$ が小さくなる (当てはまりが良い) ほど $C$ は大きくなる。 $M_{\text {short }}, M_{\text {long }}$ として，2-gram と full の設定で当てはめた回帰モデルを用いた。ま た，文脈を考慮することの効果に焦点を当てるた め，文の後方に出現する語に分析対象を限った. ${ }^{1)}$

統語依存距離と記憶: 統語的に関連する前方要素に作業記憶が影響を受けている可能性をあ げる [13]. 例えば, “Ken goes to the school.” と “Ken, who is my brother, goes to the school.”という文におい て, “goes” の処理の際に主語 “Ken” が意識されるの であれば，後者の文における “goes” の読み時間のモ デリングに長い文脈が必要になると示唆される.

本分析では，主語と動詞の依存距離について分析 を行う. ${ }^{2}$ 動詞に対応するデータポイント集合を，対応する主語との依存距離 (何語離れているか) に基 づいて分割し, 各データポイント集合について長い 文脈を考慮することの残差の減少量 Cを観察する。図 2 左より，主語が離れた動詞ほど読み時間のモデ リングにおいて，長い文脈を用いることの有効性が 確認された。このことから, 読み時間が主語と動詞 の関係に強く影響を受けていることが示唆された。


図 2 動詞の読み時間のモデリングにおける，長い文脈の 貢献度 $\mathrm{C}$ と主語との距離の関係.

同様の分析を日本語データで行ったところ，日本語では，主語と動詞の距離と，サプライザルを条件付ける文脈長との間に影響が観察されなかった (図2右).このことから，図 1 における言語依存な 結果は，主語動詞間の長距離依存に対するヒトの振 る舞いの違いと関連していることが示唆された. 英語では，主語と動詞に数の一致が課されているこ と, 日本語が主題卓越言語であるため主語の存在が 読み手にとって意識的なものではないことなどがこ の差異を生む要因として考えられる. 本研究では,記憶 (局所性) と統語のバイアスを外部的に文脈を編集して取り入れたが，どのようなモデル設計，学習 を行うことでこのようなヒトらしい記憶の制約を獲得させることができるかは興味深い.

## 6 おわりに

本研究では，言語モデルに入力する文脈長を制限 した実験から，近年自然言語処理分野で用いられる ニューラル言語モデルが，ヒトに比べて過剩な作業記憶を有している可能性を提示した．特に近年言語 モデルが注目を集め，ヒトの言語処理との比較にも 分野の関心が向いている. もしヒトの逐次的文処理 を純粋に再現し，ヒトの計算論的なモデルを探求す ることが研究の目的であれば，LSTM や Transformer といったモデルよりも，むしろ単純な再帰型ニュー ラルネットワーク [11] や n-gram のようなモデルを 用いることが妥当かもしれない．また，本実験は不完全な文脈に基づくサプライザルの妥当性を経験的 に支持し，読み活動データにおける記憶 (局所性) と 統語的バイアスの相互的な作用を示唆した.

## 謝辞

本研究は JSPS 科研費 JP20J22697，JST さきがけ

JPMJPR21C2 の支援を受けたものである.

## 参考文献

[1] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Journal of Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998-6008, 2017.

[3] Danny Merkx and Stefan L. Frank. Human Sentence Processing: Recurrence or Attention? In Procceding of CMCL 2021, 2020.

[4] Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior. In Proceedings of CogSci, pp. 1707-1713, 2020.

[5] Ethan Wilcox, Pranali Vani, and Roger Levy. A targeted assessment of incremental processing in neural language models and humans. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 939-952, Online, August 2021. Association for Computational Linguistics.

[6] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[7] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with Left-Corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Stuart C Shapiro. Artificial intelligence (AI). In Encyclopedia of Computer Science, pp. 89-93. John Wiley and Sons Ltd., GBR, January 2003.

[9] M W Crocker. Computational psycholinguistics. Computational Linguistics and Natural Language, 2010.

[10] Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of CMCL2018, pp. 10-18, 2018.

[11] Jeffrey LElman. Distributed representations, simple recurrent networks, and grammatical structure. Mach. Learn., Vol. 7, No. 2, pp. 195-225, September 1991.

[12] N Cowan. The magical number 4 in short-term mem- ory: a reconsideration of mental storage capacity. Behav. Brain Sci., Vol. 24, No. 1, pp. 87-114; discussion 114-85, February 2001.

[13] Edward Gibson. The dependency locality theory: A distance-based theory of lingustic complexity. Image, language, brain, Vol. 2000, pp. 95-126, 2000.

[14] Edward Gibson, Richard Futrell, Steven P Piantadosi, Isabelle Dautriche, Kyle Mahowald, Leon Bergen, and Roger Levy. How efficiency shapes human language. Trends Cogn. Sci., Vol. 23, No. 5, pp. 389-407, May 2019.

[15] Richard L Lewis and Shravan Vasishth. An activationbased model of sentence processing as skilled memory retrieval. Cogn. Sci., Vol. 29, No. 3, pp. 375-419, May 2005.

[16] Lars Konieczny. Locality and Parsing Complexity. Journal of Psycholinguistic Research, Vol. 29, No. 6, pp. 627-645, 2000.

[17] Samar Husain, Shravan Vasishth, and Narayanan Srinivasan. Strong expectations cancel locality effects: evidence from hindi. PLoS One, Vol. 9, No. 7, p. e100986, July 2014.

[18] Richard Futrell, Edward Gibson, and Roger P. Levy. LossyContext Surprisal: An Information-Theoretic Model of Memory Effects in Sentence Processing. Journal of Cognitive Science, 2020.

[19] Alan Kennedy, Robin Hill, and Joël Pynte. The dundee corpus. In Proceedings of the 12th European conference on eye movement, 2003.

[20] Masayuki Asahara, Hajime Ono, and Edson T Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING, pp. 684-694, 2016.

[21] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of EMNLP, pp. 66-71, 2018.

## A N-gram サプライザルの正確性

表 1 ニューラル/数え上げ n-gram 言語モデルのパープ レキシティ.サブワードレベルの言語モデルで比較して いる.

本研究では，ニューラル言語モデルはコーパスを適当 なブロックで区切ったチャンクをミニバッチとして訓練 している. 各ミニバッチの先頭周辺では， n-gram 言語モ デルのような学習が行われるが，全体としてみるとその ような訓練事例の数は限られているため，今回のように ニューラル言語モデルで n-gram サプライザルを求めた場合，学習と推論の乘離が想定される. しかしながら，サ ブワードレベルの n-gram サプライザルによって計算され るコーパスのパープレキシティを本実験の設定(ニューラ ル) と数え上げに基づく n-gram 言語モデルで比較すると，本設定の n-gram サプライザルの方が低いことが分かっ た. したがって, 本研究ではニューラル言語モデルが, 先頭数語のみを入力した際にも適切な振る舞いをしている と一旦結論づけた。パープレキシティは読み時間が付与 されたコーパスで測定した。

## B 回帰モデル

読み時間（RT）のモデリングは以下の式で行った：

$
\begin{aligned}
\text { RT } & \sim \text { surprisal + surprisal_prev_1 } \\
& + \text { surprisal_prev_2 + freq } * \text { length } \\
& + \text { freq_prev_1*length_prev_1 } \\
& + \text { screenN + lineN } \\
& + \text { segmentN + }(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

各素性の概要は表 2 に示す. prev_1 などは, 一単語 まえの該当する素性を示す。前の語のサプライザル (surprisal_prev_1と surprisal_prev_2)は, 周辺の語の 処理負荷が読み時間に影響を与えるスピルオーバー効果 を考慮して含めた．ただし，日本語においては有意な効果が観察されなかったため除いた。

## C データの前処理

英語では以下のいずれかの条件に合致するデータポイ ントを，日本語では (a), (c), (e) のいずれかに合致するデー タポイントを除いた

(a) 読み時間が 0 秒であるか，3 標準偏差から外れている

(b) 句読点が含まれる

(c) 数量を表す文字・語が含まれる

 \\

(d) 句読点・数量の次の語

(e) 読み時間測定時に画面上で各行の最初に提示されて いる表 2 回帰モデルで用いた素性

(f) 読み時間測定時に画面上で各行の最後に提示されて いる

(b) と (f) に関しては，日本語に適用すると「考える。」のよ

うな文末の文節がすべて除かれるため，適用しなかった。

## D＼cjkstart言語モデルハイパーパラメータ

表 3 にニューラル言語モデルのハイパーパラメータを 示す。およそ 500 万文の日本語テキスト (Wikipedia と新聞) と，400万文の英語テキスト (Wikipedia)を学習データ として用い，10万回アップデートした言語モデルを用い た. 日本語テキストは，読み時間データの分割との一貫

 &  &  \\

性を保つため，一度国語研短単位に分割した後，BPEで サブワードに分割した ${ }^{3}$.

表 3 ニューラル言語モデルのハイパーパラメータ. Transformer (上) と LSTM (下).

3） SentencePiece [21] を用い，文字の網羅率を 0.9995 ，語彙数 を 100,000とした.
 栗林樹生 1,2 大関洋平 3,4 Ana Brassard ${ }^{4,1}$ 乾健太郎 1,4 1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 東京大学 ${ }^{4}$ 理化学研究所 \{kuribayashi, inui\}@tohoku.ac.jp oseki@g.ecc.u-tokyo.ac.jp ana.brassard@riken.jp  