# 言語処理的アプローチによる better off 構文の定着過程の説明

永田亮 ${ }^{1}$ 大谷直輝 ${ }^{2}$ 高村大也 ${ }^{3}$ 川崎義史 ${ }^{4}$
1 甲南大学 ${ }^{2}$ 東京外国語大学 3 産業技術総合研究所 ${ }^{4}$ 東京大学
nagata-better_off a hyogo-u.ac.jp.

## 概要

本稿では，言語処理的アプローチにより，better off の新しい用法が定着した経緯に関する仮説を検証する。具体的には，コーパス中の用例をクラスタリングすることで用法変化を定量化し，言語学的な観点から提示された仮説に一致するかどうかを検証する。その結果は，従来の仮説を大枠で支持するものの，派生するいくつかの可能性を示唆する．また，分類結果に基づき，関連した新たなリサーチクエッションを提示する. 更に，本アプローチの一般的な分析への拡張可能性についても示す.

## 1 はじめに

現代英語の better off は意味的にも統語的にも不規則性がある [1]. 語源的には, better off は well off（裕福な）の比較級とされ, 主に形容詞の叙述用法で使用される（以降，この用法を字義的用法と表記).次のような例が典型的である：

(1) I am better off than before.（以前より裕福だ）

一方，better off の新しい用法は，

(2) a. You're better off dead. (死んだ方がましだ)

b. You're better off buying it. (買った方がましだ)

のように, 意味的にも統語的にも字義的用法とは異なる。例文 (2)では，「裕福な」という意味は失われ，代わりに「〜した方がましだ」という意味が表される. 更に，統語の観点からは， better off は be 動詞の補語にもかかわらず，更にそれ自体の補語と解釈できる形容詞 (dead) や分詞 (buying it) をとるという特殊な構造を示す. 以降では，補語と解釈できる句を従えるこの用法を新用法と呼ぶことにする。

本稿の主題は，新用法がどのように定着したかを説明することにあるが，その仮説として次の四段階を経る大谷の仮説 [2]がある：

(Stage 1) 字義的用法のみが存在する初期段階

(Stage 2) 字義的意味が一般化する段階
(Stage 3) 仮想状況を想定した用例が増加する段階 (Stage 4) 新用法が定着する段階

(Stage 1) では，例文 (1)のような経済的な状況のみを表す. (Stage 2)では，適用範囲が拡張され，経済的な状況以外に対しても「より良い」という意味を表すようになる。(Stage 3) では，現状とは異なる仮想的な状況を想定した用例が増える。例えば，You would be better off without her. （彼女がいないほうがよいだろう）のような例である。この例は，「彼女がいない」という仮想的な状況を想定している. 前段階で適用範囲が拡張されたことで，仮想的な状況との比較が増えたと考えられている．そのため，非現実的な状況を表す would などの助動詞や if 節との共起が多くなる。また，仮想的な状況や条件を表す語句（上の例文では without her）が better off に後続することも増える。(Stage 4)では, better off に後続する仮想的な状況や条件を表す語句が，その出現位置のため，主語の仮想的な状態を表す補語として再解釈される. その結果, 文法的に不適格な例文 (2) のような構造が許されるようになる. それに伴い，仮想的な状況が強調され，（仮想的な状況より）「〜 の方がましだ」という意味を表すようになる．以上のように，この仮説では，字義的用法から出発し，適用範囲が拡張され，更に仮想的な状況を想定した事例が増え，新用法が定着すると予想する。

本稿では，言語処理的なアプローチで，この仮説を検証する。具体的には，コーパスから得られる情報のみに基いて better off の事例をクラスタリングし, 用法変化（年代と各用法の頻度）の図として表す. その図において仮説の各段階が観測されるかを検証する. 本稿の成果は次の 3 点に要約される. 第一に，検証結果は大谷の仮説に大枠従うものの，細かい点で別の可能性があることを示す. 第二に，結果の詳細な分析により, 新たな仮説とりサーチクエッションを提示する. 第三に，以上の結果を踏まえつつ，今回のアプローチに基いた，より一般的な言語分析の可能性を示す.

## 2 分析方法

分析の基本はクラスタリング結果を用法変化のグラフとして表すことにある。横軸と縦軸をそれぞれ年代と各クラスタ内の事例数としたグラフである.

分析対象として, Corpus of Historical American English (COHA) [3] 中のノイズを除去した CCOHA [4] を用いる。1810〜2010 年代の文書を収録する約 4.7 億語からなる歴史コーパスである。各文書には，作成年とジャンルの情報が付与されている。 付録 A に示す前処理を施し， better off を含む 2,591 文を得た。

## 2.1 事例のクラスタリング

事例のクラスタリングには， $k$-means++ [5]を用いる. $k$-means++を適用するためには，各事例をべクトルに変換する必要がある. 本研究では，言語モデルである BERT（bert-base-uncased）を用いた. 各事例を文単位で BERT に入力し, better off の出現位置に対応する最終層の隠れ状態を連結してべクトルとした。なお， bert-base-uncased を用いているため，大文字／小文字の区別はされない.

クラスタ数 $k$ は，仮説が想定する四段階に合わせて４とした．また，次に述べる人手の分類に合わせ， $k=3$ としたクラスタリングも行った. なお， クラスタ番号の割り当てには任意性があるが，年代と頻度から決定した. すなわち, 出現年代が古い順に 1 から番号を割り当てた. 同じ年代で同時に出現するクラスタについては, 頻度が高い方に若い番号を割り当てた. 以降では, 表記の煩雑さを避けるため, 各事例に割り当てられるクラスタ番号をクラスと表記することとする (クラスタそのものに言及するときはクラスタと表記する).これに合わせて，人手の分類結果もクラスと表記する。

## 2.2 人手による分類

比較のために，人手でも 2,591 事例を分類した文献 [2] を参考に, 次の 3 クラスに分類した。なお,判断に迷う事例および形容詞の叙述用法以外の事例は，以降の分析では対象外とした（2,591 事例のうち 24 が該当した).

（説明の都合上，この順で導入するが, ）クラス 3 は新用法に対応する. 判断基準は, better off が形容詞 (例 : dead), 分詞 (例 : learning it), to-不定詞句 （例：to stay here）を従える事例とした。この条件を満たす事例は全てクラス 3 とした。
クラス 2 は，仮想的な状況を想定した用法に対応する。文献 [1] に倣い，仮想的な状況を表す語句を伴う事例とした. 具体的には, would や may などの助動詞, if 節, probably, maybe などの法副詞を含む事例をこのクラスとした。

それ以外をクラス 1 とした. 仮説に対応させると, (Stage 1) と (Stage 2) に属する事例をまとめたクラスとなる。本来であれば，字義的用法と経済的意味以外に拡張された用法を区別して二つのクラスに分けるべきであるが，その判別は非常に困難であるため，文献 [2] 従い両者を一つにまとめた。

以上の基準に基づいて，2,591 事例に対して人手でクラスを割り当てた. 作業は，第一著者と第二著者で独立に行った. 各作業者が独立でシングルチェックを行った.この時点での両者の一致率は 95\%（ $\kappa=0.92 ）$ であった. その後，すり合わせを行い最終的なクラスを決定した.

## 3 結果

図 1 と図 2 にそれぞれ，クラスタリングノ人手の分類により得た用法変化の図を示す. 横軸が年代,縦軸が各クラスの事例数に対応する. 両図は非常に類似するといえる。二つのグラフ間の平均二乗誤差（の平方根）は 8.5 であった1)（人手の分類結果から得た図同士の平均誤差は 2.1)。また，クラスの一致率は $72 \%(\kappa=0.56)$ であった（人同士 $95 \%$ $(\kappa=0.92))$.

仮説の検証に先立ち，クラスタリングの結果が人手の分類に対応するかを確認した．各クラスタの重心 $^{2)}$ に最も近い事例 10 件を観察した。

クラスタ 3 については, 全 10 件とも補語に現在分詞を従える事例であった（一方，クラスタ 1 と 2 については，一件も該当しなかった)，クラスタ 3 の全事例を確認したところ, $83 \%(=430 / 521)$ は, 形容詞，現在分詞，to-不定詞のいずれかを従える用例であった.したがって，クラスタ 3 は新用法に（ほぼ）対応するといえる.

クラスタ 2 についても人の分類基準に対応することが確認できた. 重心最近傍 10 件中 9 件は, would などの助動詞を伴う事例であった. 残り 1 つは, "He believes they are better off here." というものであった. 従属節の内容は実際に生じた事象でなく, 主語が想定する事象であるので，この事例も仮想的な状

図1 クラスタリングを用いて得た用法変化の図 $(k=3)$.

況を表すと解釈することもできる。その他のクラスタ 2 の事例をランダムに 36 件サンプリングしたところ $70 \%$ は人手の分類基準を満たす事例であった.

クラスタ 1 は，完全には一致しないが，人間の分類基準に準ずることを確認した. 重心最近傍の 10 件のうちクラス 2,3 の条件を満たすものはそれぞれ 0 件， 3 件であった. ただし，他の二つのクラスタに比較すると多様な事例を含んでおり, 別の解釈も存在する可能性もある.

コーパスから得られる情報のみに基いた教師なし分類（クラスタリング）と人手の分類がよく一致することは興味深い. 単語の分布から見ても better off の三クラスは特徴的であることを示唆する.

話を本題に戻し，用法変化の図に基いて仮説の検証を行う. 図 1, 図 2 共に, 1960 年代頃より新用法であるクラス 3 が増加し始める. この時期以降が新用法が定着した（Stage 4）に対応する．その少し前の 1910～1950 年代には，クラス 2（仮想的な状況を表す語句を伴う用例）が増加傾向にある（参考のために，比率にした図を付録 B に示す)．ただし，人手で作成した図 2 では，その増加はそれほど顕著ではない. クラス 3 の定着と並行してクラス 2 が増加しているようにも見える。一方で，2000 年代以降は若干であるが減少している点も興味深い.

図 3 に，クラスタ数を 4 にした場合の結果を示す.紙面の関係から根拠は付録 B に譲るが，各クラスタの解釈は次のとおりである．クラスタ 1 から順に， （1）than を伴う典型的な比較の意味が強い用法，（2） than 以外の語句（here など）が後続する用法，(3) 仮想的な状況を表す語句を伴う用法，(4) 新用法と解釈した. 図 3 から，1860 年代ごろまではクラス 1 の事例が主流であることがわかる（(Stage 1) に対応). その後，クラス 1 は相対的に減少し，代わりにクラ

図 2 人手の分類結果から得た用法変化の図.

ス 2 とクラス 3 が増加する（(Stage 2〜3）に対応).新用法であるクラス 4 が定着する前の 1920～1950 年代に，クラス 3 が増加しているが顕著ではない.

以上の結果は，次のようにまとめられる．用法変化の図は，大谷の仮説を大枠で支持する．特に，字義的用法から仮想的な状況を表す語句を伴う用法，新用法に移行している傾向はどの図でも確認できる. 一方で，細かい点では仮説に必ずしも一致しない部分も見られる. 次節で，仮説との差異を考察する。

## 4 考察

仮説では，仮想的な状況を想定する用法が増えたことにより，新しい意味と構造が生じたと予想する. 図 2 では，新用法の better off が生じたのは 1870 年代である。その後，新用法が少数使われる期間がしばらく続く（以降で何度か取り扱うため，この現象をトッピング現象 $\left.{ }^{3}\right)$ と呼ぶことにする). 図では， クラス 2 が増加した 1910〜1950 年代以前にトッピング現象として新用法は生じている. このことを考慮すると，1860 年代以前にクラス 2 が増加した（すなわち (Stage 3) が起こった) 可能性も否定できない. 残念ながら，今回用いた CCOHA では 1860 年代以前の better off の事例が少なく判断がつかない.

また，大谷の仮説とは（Stage 3）と（Stage 4）の順序が逆になる説も考えられる。すなわち，何らかの別の要因で新用法が生じ，その結果，仮想的な状況を想定する用法が増えたという説である．実際，図 1～ 3 はそのように解釈もできることを前節で見た. 新用法が生じた別の要因として，ある個人また一部のグループが新用法を使い始めたということが
 トッピングのように見えるためこのように名付けた.

図 3 クラスタリングを用いて得た用法変化の図 $(k=4)$.

考えられる. 各年代/ジャンルにおける新用法の出現頻度を求めてみると，1900 年代以前は全て文学作品で出現することが確認できた (付録 B の図 5 に頻度情報を示した)。1910 年代には，雑誌，ノンフィクションにも出現し, その後, 全てのジャンルに広がる. 事例数が少ないため，推測の域を出ないが作家のような創造的な文章を書く一部の人により新用法が作り出され，他者に広まった可能性もある。

更に，前節でみたように，2000 年代以降になると仮想的な状況を想定する用法が減少傾向になる. クラスタ数 4 の場合，クラス 3 では $62 \%$ の事例が助動詞を伴うが，クラス 4 になると $39 \%$ まで減少する (具体的な頻度は付録 B の表 1 に示した).この現象は，助動詞が担っていた仮想的な状況が better off に移行した語彙化 (lexicalization) の例として説明できる. すなわち，わざわざ助動詞でマーキングせずとも, better off だけで仮想的な状況を想起させられるようになったということである.この現象は，少なくとも，仮想的な意味を想定する用法が新用法に強い関りをもつことを示唆する。

以上のように，今回得られた結果は，仮説の精緻化や修正を促す多くの示唆を与える. 現段階では，大谷の仮説から派生した複数の説が考えられ，更なる調査が必要であると結論付けられる．特に，(1)仮想的な状況を想定する用法が増えて新用法が増えたのか，その逆であるのか，（2）そもそも新用法がいつどのように生じたのか，（3）なぜ新用法になると助動詞との共起が減るのか, というのは新たな疑問であり，今後の更なる研究が待たれる。

## 5 一般の場合への拡張可能性

本節では，今回のアプローチがより一般的な言語の分析に拡張可能かを考察する. 大前提として，言語モデルの内部を直接観測することは困難であるの
で，結果の解釈には常に注意が必要である。また，今回は解釈可能なクラスタが得られたが，他の現象に対しても同様のことが成り立つとは限らない.

このように注意すべき点はあるものの，本アプローチは様々な言語分析に応用できる可能性がある. 本稿のように，仮説の検証と修正に用いることができる. また，何らかのアイデアを思いついた際に, 用法変化を可視化し, 研究をさらに進めるかどうかの意思決定にも利用できる. 人手の分析は有効な手段ではあるが，時間とコストがかかる．例えば, 今回の場合, 第一著者は, 2,519 事例の分類に 20 時間ほど費やした. クラスタリングの場合は十数秒である. この簡便さと即時性は大きな利点である.

別の有効な応用例として，3節で導入したトッピング現象の発見を取り上げる。トッピング現象は，特異点である可能性が高いが，（ある期間内で）低頻度である上に，いつ始まるかは未知であるため,人手で発見することは困難である。一方，今回のアプローチでは視覚的に効率よく発見できる. 少々作為的な例ではあるが，実例として，単語 appleを対象にしたところ 1930～1970 年代にトッピング現象が発見された (図は付録 C に示した). 1970 年代は Apple Computer Company が創業された時期であり，正に appleが新しい意味を獲得した瞬間である.

以上のように，言語処理的アプローチは，言語学における質的分析と組み合わせることで，実証性の高い方法論を提供することができる可能性がある.特に，表層情報のみに基づいた教師なし学習というアプローチは，実際の言語使用を基盤として言語体系を捉えようとする用法基盤モデル $[6,7]$ の考え方と親和性が高く，今後更なる発展が，言語学，言語処理の両面から期待される.

## 6 おわりに

本稿では，言語処理的なアプローチを用いて better off の新用法に関する仮説の検証を行った. その結果，従来の仮説を概ね支持するが，派生するいくつかの可能性があることを示した. また，（1）仮想的な状況を想定する用法が増えて新用法が増えたのか，その逆であるのか，（2）そもそも新用法がいつどのように生じたのか，（3）なせ新用法になると助動詞との共起が減るのか，という新たなリサーチクエッションも示した. 更に, 本アプローチの一般的な分析への拡張可能性も示した.

## 謝辞

本研究は JSPS 科研費 18K11456，19K00657 の助成を受けたものである.

## 参考文献

[1] 大谷直輝. 英語の better off 構文について. 日本言語学会第 157 回大会予稿集, pp. 246-251, 2018.

[2] 大谷直輝. better off 構文の定着に関する認知言語学的考察. 言語処理学会第 28 回年次大会発表論文集, 2022.

[3] Mark Davies. Expanding horizons in historical linguistics with the 400-million word corpus of historical American English. Corpora, Vol. 7, No. 2, pp. 121-157, 2012.

[4] Reem Alatrash, Dominik Schlechtweg, Jonas Kuhn, and Sabine Schulte im Walde. CCOHA: Clean corpus of historical American English. In Proc. of the 12th Language Resources and Evaluation Conference, pp. 6958-6966, 2020.

[5] David Arthur and Sergei Vassilvitskii. k-means++: the advantages of careful seeding. In Proc. of 18h Annual ACMSIAM Symposium on Discrete Algorithms, pp. 10271035, 2007.

[6] Ronald W. Langacker. A Usage-based Model. Stanford University Press, Stanford, 1988.

[7] Michael Barlow and Suzanne Kemmer. Usage-Based Models of Language. CSLI Publications, Stanford, 2000.

図 4 人手の分類結果から得た用法変化 (比率).

## A コーパスに対する前処理

今回の分析に合わせて，CCOHA に対して次のような前処理を行った。ノイズと思われる文書は除外した. 具体的には，「@@年.txt」（例：@@1525.txt） のように年とファイル名と思われる文字列を含む文書は分析対象外とする (この処理により, 全 140,743 文書から 140,665 文書へ減少)。また，文書中のタグ （

など）は除去した.

この結果から， better offを含む文を抽出した. 文脈が短い事例 (better off $の$ 左右の単語数が 5 未満) は対象外とした. 更に，伏字が含まれている文も対象外とした ${ }^{4)}$. その結果，2,591 文を得た. 人手の分類の際に提示順の影響が出ないように，ランダムに並べ替えた。

## B クラスタリング結果の詳細

図 4 に，人手での分類結果から得られた用法変化の図を示す。本文とは異なり，縦軸は各クラスの相対頻度である。

$k=4$ とした場合のクラスの解釈根拠は次の通りである。表 1 に，各クラスにおける than，助動詞 ${ }^{5)}$ ，新用法が出現した割合を示す. 表 1 によると，クラス 1 でのみ, than を伴う頻度が圧倒的に高い. これらの事例は, better off の典型例であるといえる。クラス 2 は，than の代わりに別の句 (at home, without it, now など）が後続する事例が増える.このことは，経済的な意味からより一般的な意味へ拡張されたことを示唆する。ただし，クラス 1 でも，経済的な意味以外でも使用されている事例も多数存在するので，大谷の仮説の (Stage 1) と（Stage 2）に完全

4） COHA および CCOHA では，著作権の制限により，一定の割合で文章の一部が伏字になっている.

5）ここでは，構文解析は行わず，単純に better off の右側／左側に, than/助動詞が出現するかを数えた. これは better off 構文は特殊であり，構文解析がうまくいかないことが多いことを考慮したためである.なお，ここでは助動詞を can, could, may, might, shall, should, will, would とした.

図 5 年代/ジャンル別の新用法頻度.

図 6 単語 apple におけるトッピング現象.

に対応するわけではない. 更に，表 1 の助動詞の列に目を向けると，クラス 3 での出現頻度が相対的に高いことが分かる．興味深い点として，クラス 4 では助動詞の頻度がクラス 3 に比べて低くなっている; 両者の差は有意である（母比率の差の検定, $p<0.01$ ). この点については, 4 節で考察している.

図 5 に，各年代/ジャンルにおける新用法の出現頻度を示す. 新用法はフィクションから別のジャンルへ広がっていることが分かる。

## C apple におけるトッピング現象

単語 apple に対してトッピング現象を観察してみる. 今回のアプローチを用いて用法変化を図示した $^{6)}$.ただし，クラスタ数は 2 とした. その結果は図 6に示す通りである。図 6より，1930～1990 年代にトッピング現象がみられる。

表 1 各クラスで than, 助動詞, 新用法が出現する割合.

6）bert-base-uncased を用いているため，大文字／小文字の情報は利用していないことに注意されたい。


# 依存型意味論による singular which 疑問文の節埋め込みの分析

船蔵颯
京都大学人間・環境学研究科
funakura. hayate.28p@st.kyoto-u.ac.jp

## 概要

本稿では singular which 疑問文の節埋め込みに対して依存型意味論 (Dependent Type Semantics)[1,2] による分析を提案する。singular which 疑問文は Uniqueness Presupposition と呼ばれる前提を引き起こすことが知られている $[3,4]$ 。また、応答的述語 (responsive predicate)の一つである know の補文として singular which 疑問文が埋め込まれるときにも Uniqueness Presupposition は引き起こされる [5]。本稿の分析により、これらの現象が依存型意味論で捉えられることを示す。

## 1 はじめに

平叙文と疑問文のどちらも補文として埋め込むことができる述語は応答的述語 (responsive predicate) と呼ばれる [6]。例えば know は応答的述語のひとつである。

(1) a. John knows Sue danced.

b. John knows which student danced.

さらに、応答的述語は平叙文を補文とする場合と、疑問文を補文とする場合とでそれぞれ異なる意味を持つわけではないことが (2)により示唆される [7]。

(2) Alice knows/realized/reported that Ann left and Bill knows/realized/reported which other girls left.

([7]より引用)

以上を背景として、応答的述語が平叙文と疑問文のいずれも補文としてとりうることを、複数の意味を仮定せずに捉えることは、形式意味論における課題の一つとなっている [7]。

上述の課題に関連する現象として、疑問文埋め込み構文 $x V s Q$. において引き起こされる前提の問題が挙げられる。singular which 疑問文 which $N \varphi$ ?は Exactly one $N \varphi$. を前提とする $[3,4]$ 。また、know
が singular which 疑問文を補文として埋め込むときにも同様の前提が観察される [5]。 singular which 疑問文が引き起こすこのような前提は Uniqueness Presupposition と呼ばれ、疑問文埋め込みの意味論で取り組まれている現象の一つである $[4,5]^{1)}$ 。 Uniqueness Presupposition の例を (3) に示す。

(3) a. Which student danced? presupposes Exactly one student danced.

b. John knows which student danced. presupposes Exactly one student danced.

ここでいう singular which 疑問文は、疑問詞 which の直後に単数形の名詞が現れる形の疑問文である。

依存型意味論は Martin-Löf の依存型理論 [8] に基づく自然言語の証明論的意味論である。依存型意味論による先行の分析として、疑問文については [9]、応答的述語 know を含む叙実述語 (factive predicate)への平叙文埋め込みについては [10] で分析が行われているが、著者の知る限りでは singular which 疑問文とその埋め込みの分析は未着手の問題である。

本稿では singular which 疑問文に対して依存型意味論 (Dependent Type Semantics)[1, 2] による意味表示を提案する。また、提案した意味表示のもとで (3) の Uniqueness Presupposition が予測されることを示す (5.1 節)。さらに、平叙文を補文とする know の意味表示 [10] により、 singular which 疑問文を補文とする場合の Uniqueness Presupposition が予測されることを示す (5.2 節)。

## 2 現象の記述

本章では、本稿で主な説明対象とする現象について述べる。そのうちの一つは singular which 疑問文の引き起こす Uniqueness Presupposition であり、もう一つは singular which 疑問文が know の補文となると

1）この前提を語用論的前提とみなす見方もある [5]。本稿では Uniqueness Presupposition を意味論的な前提とみなし、したがって意味表示に含めることとする。

きに尚も観察される Uniqueness Presupposition である。

## 2.1 singular which 疑問文の前提

singular which 疑問文 which $N \varphi$ ?は Exactly one $N \varphi$. を前提とする $[3,4]$ 。

?? Which student danced? presupposes Exactly one student danced.

1 章でも述べた通り、この前提は Uniqueness Presuppositionと呼ばれ、以下では UP と略記する。

## 2.2 叙実述語への疑問文埋め込みによる 前提

上に述べた UP は叙実述語への疑問文埋め込み $x$ knows which $N \varphi$. においても観察される [5]。次に示すように、 $x$ knows which $N \varphi$. は Exactly one student danced. を含意する。

(4) John knows which student danced. entails Exactly one student danced.

さらに (4) の後件 Exactly one student danced. は、否定、疑問、条件文の前件といった構文のもとでも含意される。すなわち次が成り立つ。

(5) a. John doesn't know which student danced.

b. Does John know which student danced?

c. If John knows which student danced, that's a problem.

entails Exactly one student danced.

このように否定、疑問、条件文の前件といった構文のもとでも含意が保たれる現象を投射 (projection) といい、投射が起こるような含意を特別に前提という [11]。以上から Exactly one $N \varphi$. は $x$ knows which $N \varphi$. の前提である。

平叙文の叙実述語への埋め込み構文においても同様の前提が観察される [12]。その例を次に示す。

(6) John knows that Sue danced. presupposes Sue danced.

以上から、 singular which 疑問詞の意味論には少なくとも以下のことが求められる。

1. singular which 疑問文の UPを予測する
2. know が平叙文を補文とする構文 $x$ knows [declarative]. と、疑問文を補文とする構文 $x$ knows [interrogative]. それぞれの前提を、knowに複数の意味を仮定せずして予測する

## 3 依存型意味論

本章では依存型意味論の理論的基礎である依存型理論の基本的なアイデアを述べ、その後に依存型意味論に固有の特徴の一つである未指定項による前提の取り扱いについて述べる。

## 3.1 依存型理論

依存型理論は単純型理論に対してח型、 $\Sigma$ 型などを加えたものであり、大きな特徴の一つとして、型の中に項が現れることができる。また、それぞれの型の意味は推論規則によって与えられる。本稿で用いる型の推論規則は付録に掲載している。

カリー・ハワード対応により、型は命題、項は命題の証明と同一視できる。型と命題の対応関係の一部を表 1 に示す。ただし、 $\Sigma$ 型の表記として依存型意味論に固有の表記 $\left[\begin{array}{l}x: A \\ B(x)\end{array}\right]$ を用いている 2$)$ 。

表 1 型と命題の対応

依存型意味論では、自然言語の意味表示に依存型理論の型を用いる。また、統語論として典型的には組み合わせ範疇文法 (Combinatory Categorial Grammar)[13] が採用され、これは本稿でも同様である。

## 3.2 未指定項

依存型意味論は上述のような性質を備える依存型理論に対して、前提・照応を表現する演算子として未指定項 $\varrho_{i}$ を導入する。 $i$ は自然数であり、複数の未指定項を区別するための添字である。依存型意味論においては、前提は文の意味表示に対する型検査を通して予測される。

2） 依存型意味論では $\Pi$ 型の表記として $(x: A) \rightarrow B(x)$ がしばしば用いられるが、本稿ではスペースの都合により $[8]$ の表記 $(\Pi x: A) B(x)$ を用いる。

図 1 John knows Sue danced. の意味表示導出

図 2 意味表示 (8) の型検査

例として、叙実述語が平叙文を補文とするときの前提 (7) の依存型意味論による予測 [10] について述べる。

(7) John knows Sue danced. presupposes Sue danced.

組み合わせ範疇文法 (CCG) による図 1 の導出により、(7) の前件 John knows Sue danced. には次の意味表示が与えられる。

(8) $\lambda c \cdot \mathbf{k n}(j o h n)(\mathbf{d}($ sue $))\left(@_{i c} c\right)$

依存型意味論では、文、すなわち CCG カテゴリが $S$ である表現の意味表示は $\delta \rightarrow$ type という型を持つことが要求される。この条件は文の felicity condition と呼ばれる [1]。意味表示 (8) が felicity condition を満たすことの証明は図 2 の通りである。この証明では次の (9) が閉じていない葉として残っている。

(9) $@_{i}: \delta \rightarrow \mathbf{d}($ sue $)$

付録の規則 (@F) より、(9)を証明するためには先行する談話の証明から $\mathbf{d}($ sue $)$ の証明、つまり、Sue danced. の証明を構成しなければならない。以上の手続きにより、前提推論 (7) が成り立つことが予測される。

## 4 依存型意味論における singular which 疑問詞の分析

4.1 叙実述語への疑問文埋め込みによる前提

singular which 疑問詞に対して、次の意味表示を提案する。

(10) に現れる $\Theta_{i} c:: A$ という形の項は型アノテー ション (type annotation) と呼ばれ、項 $\varrho_{i} c$ の持つ型が A であるとあらかじめ指定する際に用いられる。

図 3 の導出木により、 singular which 疑問文 (11-a) の意味表示として (11-b) が得られる。

(11) a. Which student danced?
b. $\quad \lambda c . \mathbf{d}\left(\pi_{1}\left(\varrho_{i} c::\left[\begin{array}{l}x: \text { Entity } \\ (\mathbf{s}(x) \times \mathbf{d}(x) \times \\ (\Pi y: \text { Entity })(\mathbf{s}(y) \times \mathbf{d}(y) \\ \rightarrow(y=\text { Entity } x)))\end{array}\right]\right)\right)$

この表示により、2 章で提示した事実が説明されることを次章にて示す。

## 5 分析の経験的な検証

## 5.1 singular which 疑問文の前提

本節では、 singular which 疑問文の UP が本稿の分析により予測されることを示す。

singular which 疑問文の意味表示 (11-b) が felicity condition を満たすことは図 4 により示される。この証明では次の (12) が閉じていない葉として残っている。

(12) $@_{i}: \delta \rightarrow\left[\begin{array}{l}x: \text { Entity } \\ (\Pi y: \text { Entity })(\mathbf{s}(y) \times \mathbf{d}(y) \rightarrow x=\text { Entity } y)\end{array}\right]$

3.2 節での議論と同様に、(11-b) が felicity condition を満たすためには、先行する談話の証明から Exactly one student danced. の証明を構成しなければならない。以上のようにして、 singular which 疑問文の UP

図 3 Which student danced?の意味表示導出

図 4 意味表示 (11-b) の型検査

## が予測される。

## 5.2 叙実述語への疑問文埋め込みによる 前提

本節では次の前提推論が、本稿の提案により予測されることを示す。

(13) John knows which student danced. presupposes Exactly one student danced.

(13) の前件 John knows which student danced. の意味表示として次の (14) が得られる。

(14) $\mathbf{k n}(j o h n)\left(\mathbf{d}\left(\pi_{1}\left(@_{i} c:: \begin{array}{l}x: E \text { : Entity } \\ (\mathbf{s}(x) \times \mathbf{d}(x) \times \\ (\Pi y: \text { Entity }(\mathbf{s}(y) \times \mathbf{d}(y) \\ \rightarrow(y=\text { Entity } x)))\end{array}\right]\right)\right)\left(@_{i} c\right)$平叙文埋め込みの場合 (図 2) と同様に、kn の第二引数は型 type を持たなければならない。したがって次が成り立つ必要がある。

(15) $\mathbf{d}\left(\pi_{1}\left(\varrho_{i} c::\left[\begin{array}{l}x: \text { Entity } \\ (\mathbf{s}(x) \times \mathbf{d}(x) \times \\ (\Pi y: \mathbf{E n t i t y})(\mathbf{s}(y) \times \mathbf{d}(y) \\ \rightarrow(y=\text { Entity } x)))\end{array}\right]\right)\right):$ type

(15)を示す証明は図 4 の部分証明図であることから、この場合にも (12) が閉じていない前提として残る。したがって、(14)が felicity condition を満たすには、先行する談話の証明から Exactly one student danced. の証明を構成しなければならない。以上のようにして、knowへの疑問文埋め込みによる UP が予測される。

## 6 おわりに

本稿では singular which 疑問文に対して依存型意味論による意味表示を提案した。本稿で与えた意味表示の下では、 singular which 疑問文の UPを自然に予測することができる。また、knowが singular which 疑問文を補文とする場合の UP を、平叙文を補文とする know と共通の意味表示の下で予測することができる。これは、平叙文と補文とする know と、疑問文を補文とする know が共通の意味を持つという仮説に沿うものである。

singular which 疑問文以外の which 疑問文へと分析を拡張することは今後の課題の一つである。本稿では応答的述語の一つである know に関係する前提現象を議論の対象としている。応答的述語の意味論へ向けたその他の課題として、例えば Predicates of relevance と呼ばれる述語 (care, matter など) の前提パターン [14] がある。これらの述語には、補文が平叙文であるときに引き起こされる前提が、補文が疑問文であるときには観察されないという特徴がある。 こうした述語を依存型意味論により捉えることも今後取り組むべき課題である。

## 謝辞

本稿執筆を通して複数回にわたって議論していただいた京都大学人間・環境学研究科の櫻川貴司准教授に感謝いたします。

## 参考文献

[1]Bekki Daisuke. Representing anaphora with dependent types. In International conference on logical aspects of computational linguistics, pp. 14-29. Springer, 2014.

[2]Bekki Daisuke and Mineshima Koji. Context-passing and underspecification in dependent type semantics. In Modern perspectives in type-theoretical semantics, pp. 11-41. Springer, 2017.

[3]Duží Marie and Číhalová Martina. Questions, answers, and presuppositions. Computación y Sistemas, Vol. 19, No. 4, pp. 647-659, 2015.

[4]Dayal Veneeta. Locality in Wh-quantification: Questions and relative clauses in Hindi. Kluwer Academic Publishers, 1996.

[5]Uegaki Wataru. The existential/uniqueness presupposition of wh-complements projects from the answers. Linguistics and Philosophy, Vol. 44, No. 4, pp. 911-951, 2021.

[6]Lahiri Utpal. Questions and Answers in Embedded Contexts. Oxford University Press UK, 2001.

[7]Uegaki Wataru. The semantics of question-embedding predicates. Language and Linguistics Compass, Vol. 13, No. 1, p. e12308, 2019.

[8]Martin-Löf Per. Intuitionistic Type Theory. Bibliopolis, 1984.

[9]Watanabe Kazuki, Mineshima Koji, and Bekki Daisuke. Questions in dependent type semantics. In Proceedings of the Sixth Workshop on Natural Language and Computer Science, pp. 23-33, Gothenburg, Sweden, May 2019. Association for Computational Linguistics.

[10]Tanaka Ribeka, Mineshima Koji, and Bekki Daisuke. Factivity and presupposition in dependent type semantics. Journal of Language Modelling, Vol. 5, No. 2, p. 385-420, 2017.

[11]The Cambridge Handbook of Formal Semantics. Cambridge Handbooks in Language and Linguistics. Cambridge University Press, 2016.

[12]Wilson Deirdre. Presuppositions on factives. Linguistic Inquiry, Vol. 3, No. 3, p. 405-10, 1972.

[13]Steedman Mark. The syntactic process, Vol. 24. MIT press Cambridge, MA, 2000.

[14]Elliott Patrick D., Klinedinst Nathan, Sudo Yasutada, and Uegaki Wataru. Predicates of Relevance and Theories of Question Embedding. Journal of Semantics, Vol. 34, No. 3, pp. 547-554, 042017.

## 付録

本稿で用いた型および未指定項に関する推論規則の一部を掲載する。ただし $i, j, k$ は自然数であるとする。詳細は [1,2]を参照されたい。

$
\begin{aligned}
& \text { (@F) } \frac{A: \text { type }_{i} \quad A \text { true }}{@_{j}: A} \quad(\text { ann }) \frac{t: A}{(t:: A): A} \\
& \overline{x: A}^{(k)} \quad \overline{x: A}{ }^{(k)} \\
& \text { (חF) } \frac{A: \text { type }_{i} \quad B(x): \text { type }_{j}}{(\Pi x: A) B(x): \text { type }_{\max (i, j)}} \quad \text { (חI) } \frac{A: \text { type }_{i} \quad B(x): M}{\lambda x \cdot M:(\Pi x: A) B(x)}\left(\text { (k) } \quad \text { (חE) } \frac{M:(\Pi x: A) B(x) \quad N: A}{M N: B(x)[N / x]}\right. \\
& \overline{x: A}^{(k)}
\end{aligned}
$

$
\begin{aligned}
& (\Sigma E) \frac{M:\left[\begin{array}{l}
x: A \\
B(x)
\end{array}\right]}{\pi_{1}(M): A} \quad(\Sigma E) \frac{M:\left[\begin{array}{l}
x: A \\
B(x)
\end{array}\right]}{\pi_{2}(M): B(x)\left[\pi_{1}(M) / x\right]}
\end{aligned}
$

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ニューラルネットワークを用いた株価変動に関するコメントの生成

関野伊吹 佐々木稔
茨城大学院 理工学部 情報工学専攻
21nm734a@vc.ibaraki.ac.jp minoru.sasaki.01@vc.ibaraki.ac.jp

## 概要

近年，株価から市況コメントを生成する技術に注目が集まっている.しかし, 現状はアナリストが手作業でコメントを生成している. 本稿では,アナリストの作業負担を軽减するために，市況コメントに含まれる「株価変動に関するコメント」を生成する手法を提案する. 提案手法は、株価の数値変動とそれに対応する記事を学習してコメントを生成し, 用意された定型文に付与することで, 市況コメントを完成させるものである. 実験の結果、生成に用いた特徴量が有効であり，提案手法は市況コメントを生成できることを確認した。

## 1 はじめに

近年，気象・スポーツ・医療・金融など，さまざまな分野でデータの活用が行われている。しかし， データが大規模であったり,複雑であったりすると、専門知識のない人が理解するのは難しく，専門家であってもデータを理解し, 重要な要素を抽出するのに時間がかかるという問題がある。このようなデー 夕を有効活用する方法のひとつとして，Data to Text 技術がある。これは，データの概要を人間が解釈しやすいようにテキストで表現する技術で，近年こういった需要が高まり注目されている。

今回の研究対象である、株価データから市況コメントを生成するタスクも，Data to Text 技術の一種である. 現在, 市況コメントの生成は, 社会情勢などを調査・分析する専門家であるアナリストが行っている。彼らは，株価発表後に株価を分析し，市況コメントを生成している. しかし，アナリストが株価から市況コメント全文を生成するには，多くの時間と労力が必要である．そこで，本稿では，アナリストの市況コメントを生成する労力軽減のために，市況コメントの一部を自動生成する手法を提案する.具体的には，株価数值の値動きとその変動幅に関する表現を手書きの記事から抽出し，機械学習により株価の値動きと表現を学習することで，コメントを生成する. 生成されたコメントをあらかじめ用意されたフォーマットに当てはめることで，市況コメン卜における定量的な分析結果を自動生成することが可能となる。その結果、アナリストは本業である要因分析などに集中できるようになる.

本稿では，日経平均株価の市況コメント生成といらタスクに基づき，時系列データから様々な特徴を抽出し，テキスト化を行う。まず，株価データの変化を捉えるために，一定期間の日経 225 データを用意する。次に、市況コメント内の表現を生成できるように, $\mathrm{NQN}($ 日経クイックニュース)から重要な 12 フレーズを抽出する。これらのフレーズは市況コメントの第一文に頻出するものであり，主なフレーズは「続落」，「続伸」，「反落」，「反落」の 4 つで、これらに「大幅」、「小幅」という変動幅を表す表現を加えた計 12 個を使用する.これらのフレ ーズを株価の値動きに対応させることで， 1 つの学習データを作成した。

実験では、学習済みデータを使用して生成されたフレーズと実際に手書きで書かれた記事から抽出したフレーズの比較のために F 值を用い，提案手法がベースライン手法や先行研究のものと比べて性能が向上していると確認できた。またフレーズ生成の比較として，米株価の影響がどれほどあるかも同時に確認した。米株価は市況コメント内でも触れられる機会が多く，そのほとんどが日経平均株価の変動に関与しているため精度向上を目指して採用したが，精度はほぼ変わらない，あるいは低下という結果になった。

## 2 関連研究 $\cdot$ 関連手法

データの要約を人間が解釈しやすいようにテキストで自動生成する Data to Text 技術については，さまざまな研究が行われている。例えば、時系列の気象情報から天気予報のテキストを自動生成する研究 [1]，医師や看護師の意思決定を支援する臨床データからのテキスト生成[2]，一定期間内の学習状況を記
録した時系列データから学生へのフィードバックテキストを生成する研究[3]などが行われている。これまで, Data to Text の研究では, 人手で作成したルー ルを用いてテキストを生成することが主流であった。 しかし近年，情報通信技術の発展に伴い，大規模かつ複雑なデータを容易に入手できるようになり，デ一タとテキストの大規模な対応関係に基づいてテキストを生成する機械学習型の手法への関心が高まっている。例えば、画像データから説明文を生成する画像キャプション生成[4]や, 成形された気象データからの天気予報テキスト生成[5]など，様々なデータからテキストへの機械学習活用の研究が行われている.

市場コメントを生成する技術には，様々な観点からアプローチがなされている. 例えば, 日経平均株価の値動きに影響を与えたとされる出来事や他の銘柄の情報などの変化要因を生成する技術[6], 日経平均株価のデータに加えて生成する相場コメントの内容を表す話題を入力することで生成する文章を制御する技術[7], 株価の履歴や時間に依存した表現などの特徴を生成する技術[8]などがある. 今回の論文で比較する先行研究は, 生成するテキスト全文を機械学習によって生成する手法であり, 本稿では, テキスト全文ではなく株価の値動きや変動幅を表す単語を適切に選択し、一部のテキストを生成する技術に取り組んでいる.

## 3 提案手法

3 節では, 日経平均株価と NQN から, 株価の値動きや変動幅を表す語句を抽出する方法を紹介する。

## 3.1 概要

図 1 に提案手法のモデルを示す. 提案手法ではまず，株価データと記事データの対応付けを行うために, データの成形を行った。記事データにはノイズとなるフレーズが多く含まれているため，生成される一文のみを抽出する。株価データも同様に，ノイズが多いため, 学習しやすい形に成形する. 成形したフレーズと株価の対応関係を作り、それを使って学習を開始する。機械学習には, エンコーダとして一般的に使われている MLP（Multilayer Perceptron）を使用した. 最後に，学習したデータを用いて，日米の株価データを含むテストデータを入力し，フレーズを予測する。そして生成されたフ
レーズを，用意されたフォーマットに代入し、市況コメントを完成させる．ただし本稿の評価基準として使用するのは生成されたフレーズとし,フォーマットに代入した全文との比較は行わない.

図 1 :提案手法の概略

## 3.2 データの前処理方法

画像処理, 自然言語処理など様々な分野で機械学習モデルの汎化やデータからのノイズ除去のために前処理を行うことが一般的である. 本論文でも同様に前処理を適用している。NQN からフレーズ抽出は機械的に行い，数値データである日経平均株価終値のデータに対しては標準化と前日比の差分を用いる前処理を施した。記事データから抽出するフレーズに関して，1 日の統計的な市況コメントが生成される 15:00 代の記事からフレーズを抽出する。フレー ズが複数個ある場合は, 最初に出現したフレーズをその日のフレーズとする。株価データに使用した処理方法の式は以下の二つである。

$
\begin{gathered}
x_{s t d}=\left(x_{i}-\mu\right) / \theta \\
x_{\text {move }}=x_{i}-r_{i}
\end{gathered}
$

(1)では, 学習に用いたデータ $\mathrm{x} 、$ 平均值 $\mu$, 標準偏差 $\theta$ を用いて，標準化を行う。

(2)では, 前日の終值からの価格変化を捉えるため

に, 各タイムステップの価格 $\mathrm{x}$ と前日の終値 $\mathrm{r}$ との差を計算する，なお，使用する株価のデータは終値とし, 標準偏差・前日比の前処理したデー夕を同時に使用することがあるので 3 日分を 1 フレーズに対応させる.

## 3.3 エンコード手法

時系列株価データのエンコード手法の検討として, MLP $\mathrm{CNN}, \mathrm{RNN}$ などが考えられる. 先行研究の結果から, MLP をエンコーダとしたモデルがベースラインを含めた他すべてのモデルと比較し

てよいスコアがでると判明している. よって本稿でもMLPをエンコーダとして使用するものとする.

## 4 実験

## 4. 1 データセット

本稿では、株価データとして日経平均株価とダウ平均株価を，記事データとして NQNを使用する。使用寸るデータは, 2014 年から 2017 年までの 4 年間である。表 1 と表 2 に, 本稿で使用した日経平均株価とダウ平均株価の例を示す. 表 3 に使用した NQN を示す. 日経平均株価・ダウ平均株価はともに終値を使用し, NQN は生成する式を抽出できる部分を使用している。

表 1.日経平均株価

表 2.ダウ平均株価

表 3.NQN の一部

 \\

## 4. 2 評価方法

評価は生成したテキストと手書きで書かれた記事データから抽出したフレーズと比較した $\mathrm{F}$ 值で判断を行う。またテキスト生成に使用した素性の有効性を確認するために， 2 種類の前処理方法をそれぞれ適用したものと 2 つの前処理を同時に使用したものの計 3 種類の比較を行う. なお, 先行研究では, 生成されたテキスト全文のうち, フレーズのみの精度も算出しているため, そちらも比較の対象とする.
これらに加えて, 市況コメントの 2 文目以降で用いられる米株の影響によっておこる事象のテキスト自動生成の先駆けとして米株が日経平均株価に与える影響についての比較も示す.

## 5 実験結果

$\mathrm{F}$ 值による評価の実験結果を表 4 に示す.

表 4. 各 $\mathrm{F}$ 值

## 5. 1 先行研究との差異

先行研究では, 表 3 に表したような記事テキスト全文を学習し，市況コメントを生成する手法をとつており, その中で生成されたフレーズの精度が表 4 の先行研究の闌に示されている. 本稿の結果を見ると, ほぼすべての素性を用いたものでも結果が良くなっている. これは先行研究で使用されているフレ一ズが多すぎるというのが推察できる. 例えば先行研究では, 株価の価格がいったん下がって上がるという「反発」というフレーズに対して，「反発」のみではなく「上げに転じる」というフレーズを用いている.これは文章の流暢性の確保のために行っていることだが，文章としては「反発」，「上げに転じる」のどちらでも通じると判断し，フレーズの統一化を行った結果, 約 10 パーセント近くの精度向上を確認できた.

## 5.2 米株の影響

手書きの市況コメント本文には一行目に日経平均株価の変動について書かれ， 2 行目以降で米株について触れられることが頻繁にある. その中で記述される中に「前日の米株式市場で主要株価指数がそろって上昇した流れを受け、(中略) 日経平均株価は反発した。」というような文章が現れる.この文章からも読み取れるように日経平均株価は米株の影響を色濃く受けていると推察できるため, 本稿で有効性の確認を行った. 結果として, 主なフレーズ 4 種類 (続落・続伸・反発・反落)の $\mathrm{F}$ 値はほぼ変わらなかったものの，小幅・大幅のつくフレーズの生成率が全体的に増加している. 日経平均株価だけでなく米株価の值を入力したことによってよりフレーズに対する株価の細分化ができたからだと推察できる.

## 終わりに

本稿では，日経平均株価と NQN を用いて株価の值動きとその変動幅に関するフレーズを抽出し，機械学習によりフレーズと値動きを学習させ，与えられた株価に対するフレーズを生成することを試みた。生成した表現と元記事から抽出した表現を比較し、 どの学習データが優れているかを $\mathrm{F}$ 值で検証した。結論として，2 種類の前処理を実施した学習データが, 先行研究の結果を全体的に見ると上回りました. これは，先行研究において類似したフレーズを統一していたためと考えられる.

また、米株が日経平均株価に与える影響を調べるために米株価 (ダウ平均株価)を新たな入力として与えることで，生成率に変化があるかを調べた。結果として米株価を入力として与えた時, 主なフレーズの生成率にはあまり影響なかったが，株価の変動幅を表すフレーズの生成率は全体的に向上していた.

## 参考文献

[1] B. Anja, "Probabilistic Generation of Weather Forecast Texts" Association for Computational Linguistics, pp. 164-171, 2007.

[2] F. Portet, E. Reiter, J. Hunter, and S. Sripada "Automatic Generation of Textual Summaries from Neonatal Intensive Care Data" Artificial Intelligence, Volume173, pp. 789$816,2009$.

[3] D. Gkatzia, H. Hastie, and O. Lemon "Comparing Multilabel Classification with Reinforcement Learning for Summarization of Time-series Data."
Association for Computational Linguistics, pp. 1231-1240, 2014.

[4] O. Vinyals, A. Toshev, S. Bengio, and D. Erhan "Show and Tell: A Neural Image Caption Generator" IEEE, Accession Number: 15524253, 2015.

[5] H. Mei, M. Bansal, and M. R. Walter "What to talk about and how? Selective Generation using LSTMs with Coarse-to-Fine Alignment" Association for Computational Linguistics, pp. 720-730, 2016.

[6] T. Aoki, A. Miyazawa, T. Ishigaki, K. Goshima, K. Aoki, I. Kobayashi, H. Takamura, and Y. Miyao "Generating Market Comments Referring to External Resources” Association for Computational Linguistics, pp. 135-139, 2018. (RELATED WORK/METHODS)

[7] K. Aoki, A. Miyazawa, T. Ishigaki, T. Aoki, H. Noji, K. Goshima, I. Kobayashi, H. Takamura, and Y. Miyao "Controlling Contents in Data-to-Document Generation with Human-Designed Topic Labels", Association for Computational Linguistics, pp. 323-332, 2019.

[8] S. Murakami, A. Watanabe, A. Miyazawa, K. Goshima, T. Yanase, H. Takamura, and Y. Miyao, "Learning to Generate Market Comments from Stock Prices” Proceeding of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1374-1384, 2017.


# Vaporetto: 点予測法に基づく高速な日本語トークナイザ

赤部晃一 1 神田峻介 1 小田悠介 ${ }^{1,2}$ 森 信介 ${ }^{3}$
${ }^{1}$ LegalForce Research 2 東北大学データ駆動科学・AI 教育研究センター
3 京都大学 学術情報メディアセンター
\{koichi.akabe, shunsuke.kanda, yusuke.oda\}@legalforce.co.jp
forest@i.kyoto-u.ac.jp

## 概要

線形分類モデルによる点予測法に基づくトークナイザに関し，高速な計算手法を開発し，その実装である Vaporetto ${ }^{1)}$ について報告する。本手法では，予測の際に圧縮ダブル配列を用いたオートマトンを採用し，高速な文字列探索を実現する。また，スコアに対して 3 種類の前処理を提案する. 実験の結果,既存の点予測法に基づくトークナイザである KyTea と比較し, 5.4 倍の高速化が確認された.また，提案した前処理手法については，その全てが高速化に寄与することを確認した.

## 1 はじめに

日本語や中国語など，文中に単語境界を示す区切り記号を挿入しない言語では，自然言語処理の前処理としてトークン化を行う必要がある。これには大きく分けて 2 種類の手法が利用される. 1 つは系列予測法と呼ばれ，入力文から辞書に基づくラティスを構築し，語や語間に対して与えられるコストが最小化される経路を探索する。代表的なものでは MeCab [1] が採用している. もう1つは点予測法と呼ばれ，入力文のすべての文字間に対し，語の境界であるか否かを識別モデルによって判別する．代表的なものでは KyTea [2] が採用している.

トークン化は前処理として広く利用されており，大量のテキストを処理するとき，分割の精度だけでなく実行速度も重要である. 本研究では，既存の点予測法に基づくトークン化を，モデルに手を加えずに高速に動作させる手法を提案する.

## 2 点予測法によるトークン化

点予測法では，入力文の各文字境界に対して指定された幅の窓を考え，ここに含まれる文字列から識

1) https://github.com/legalforce-research/vaporetto
トークンの境界か?

図 1 点予測法に基づくトークン化の例. 括弧内の数字は，判定箇所に対する各 $n$-gram の相対位置を示す.

別モデルの素性を生成する [3]. KyTea では素性とし $\tau$ ，文字 $n$-gram，文字種 $n$-gram，辞書単語素性の 3 種類を利用して線形分類モデルを学習する。

図 1 は点予測法によるトークン化の例である.この例では，入力文として「は、全世界の国民が、」が与えられ，「界」と「の」の間がトークン境界であるか否かを文字 $n$-gram 素性を用いて識別している。文字 $n$-gram 素性は，窓に含まれる文字 $n$-gram と， その相対位置の組で表現される. 文字種 $n$-gram についても素性の作り方は文字 $n$-gram の場合と同様だが，各文字をひらがな，カタカナ，漢字，数字， ローマ字，その他の 6 種類に分類し，文字の代わりに文字種記号の配列を利用する. 図 2 は辞書単語素性の例である. この例では，単語辞書に「の」と 「世界」が含まれる場合に，太線で示された文字境界に対してどのような素性が生成されるかを示している. KyTea と MeCab の精度面による比較分析は,先行研究 [4] で行われている。

## 3 アルゴリズムの高速化

2 節で示したトークン化手法は，入力文に対する 3 種類のパターン集合を用いたオーバーラップパターンマッチと，マッチ箇所に対するスコアの加算という 2 つの問題に帰着される。

図 3 は，入力文の各文字境界に対してスコアを計

図 2 辞書単語素性の例. 3-gram 以上の場合は, 複数の文字境界について「内側」素性を生成する。

図 $3 n$-gram スコア配列の合計スコア配列への加算の例. ここでは 2 つの $n$-gram に対して括弧内で示された相対位置に応じたスコアが学習されており，スコア計算の際は各 $n$-gram スコアが合計スコア配列に加算される.

算する例である．窓幅を $W$ とすると，各 $n$-gram について文字境界との相対位置に応じた $2 W-n+1$ 通りのスコアが学習される。 トークン境界の予測時には，各 $n$-gram をパターンとして，入力文に対するパターンマッチを行い，マッチしたパターンとその位置から，どの文字境界にどのスコアを加算するかを決定する。

本節では，パターンマッチとスコア計算のそれぞれの部分について，処理の高速化手法を紹介する。

## 3.1 パターンマッチの高速化

$\mathrm{MeCab}$ に代表される系列予測法に基づくトークナイザの多くは，パターンマッチにトライ法 [5] を採用している. トライ法によるパターンマッチは，入力文の長さを $N$, パターンの平均長を $K$ としたとき $O(N K)$ 時間で動作する.

一方，提案法では Aho-Corasick (AC) 法 [6] によるパターンマッチオートマトン (PMA)を採用する. AC 法は，マッチする解の個数を occ とすると $O(N+o c c)$ 時間で動作し， 3.2 節で提案する高速化手法とも親和性がある．また，PMAを圧縮ダブル配列 [7] で実装することで高速な解析を実現する.

図 4 「世」「世界」「全世界」を登録した PMA．状態 $s$ は 「全世界」と「世界」を報告する出力状態．点線は Failure リンクを示しており，ルートへの Failure リンクは省略している。

## 3.2 n-gram スコアの事前加算

PMA に登録されているパターン集合を $\mathscr{P} と$ し，あるパターン $p \in \mathscr{P}$ の $n$-gram スコア配列を $\boldsymbol{w}_{\text {pattern }}(p)$ とする. AC 法による PMA は, 出力状態 $s$ に到達した際にマッチしたパターン集合 $\mathcal{S}(s) \subseteq \mathscr{P}$ を報告する. 点予測法では PMA が報告した $\mathcal{\delta}(s)$ について, 全ての $q \in \mathcal{S}(s)$ の $n$-gram スコア配列 $\boldsymbol{w}_{\text {pattern }}(q)$ を合計スコア配列に加算することで文字境界のスコアを算出する。例えば図 3 は， $\delta(s)=\{$ 世界, 全世界 $\}$ について, $n$-gram スコア配列 $\boldsymbol{w}_{\text {pattern }}$ (世界) と $\boldsymbol{w}_{\text {pattern }}$ (全世界)を合計スコア配列に加算する様子を示している.

提案法では，各 $q の n$-gram スコア配列を別々に加算するのではなく，まとめて加算することで合計スコアの計算を高速化する．具体的には，各出力状態 $s$ について以下のスコア配列 $\boldsymbol{w}_{\text {state }}(s)$ を定義する.

$
\boldsymbol{w}_{\text {state }}(s):=\sum_{q \in \mathcal{S}(s)} \boldsymbol{w}_{\text {pattern }}(q)
$

PMA が出力状態 $s$ に到達し $\delta(s)$ が報告された際は, $\boldsymbol{w}_{\text {pattern }}(q)$ を参照する代わりに $\boldsymbol{w}_{\text {state }}(s)$ を参照する.

図 4 は，「世」「世界」「全世界」という 3 つのパターンを登録した PMAを示している. 出力状態 $s$ は $\delta(s)=\{$ 世界, 全世界 $\}$ を報告する。提案法では, これらの $n$-gram スコア配列を事前に加算し，配列 $\boldsymbol{w}_{\text {state }}(s)$ を状態 $s$ に持たせておくことで合計スコア配列への加算回数が低減される。

## 3.3 辞書単語素性のスコアの事前加算

辞書中の単語のうち, 文字 $n$-gram 素性の文字列と厳密一致する単語については辞書から削除し, 辞書単語素性のスコアを事前に文字 $n$-gram 素性のスコアに加算しておく.これにより, 辞書単語素性 PMA からのパターン報告回数が減少し, 文字 $n$-gram 素
性のスコアと辞書単語素性のスコアをまとめて合計スコア配列に加算することが可能となる.

## 3.4 文字種 n-gram スコアの事前加算

文字種 $n$-gram によって加算される文字境界のスコアは，窓によって切り出される文字列のみによって一意に決まる。そのため, 長さ $2 W$ の系列の全組合せについて事前に計算したスコアを保存しておけば，解析時のパターンマッチとスコアの加算を回避できる. 文字種は高々 6 種類のため, 各文字種に 3 ビットのコード値を割り当てれば，文字種系列は $6 W$ ビットの整数値で表現できる. この整数値を系列の IDとし，計算済みスコアへの参照に用いる。 $W=3$ のとき, 系列の ID は高々 262,144 通りであり，各スコアを 4 バイトで保持するとメモリ使用量は $1 \mathrm{MiB}$ とな.

入力文として文字種列 $\left(a_{0}, a_{1}, \ldots, a_{N-1}\right)$ が与えられたとき，各文字境界についての系列の ID は以下のように表現できる. 文字 $a_{i-1}$ と $a_{i}$ の境界に対応した系列 $A_{i}=\left(a_{i-W}, a_{i-W+1}, \ldots, a_{i+W-1}\right)$ の IDを $\operatorname{Id}\left(A_{i}\right)$ と表記する. $i \notin[0, N)$ な $a_{i}$ は範囲外を表現する特殊文字として扱い，そのコード值は 0 とする。 このとき, $\operatorname{Id}\left(A_{i}\right)$ は以下の漸化式で記述できる.

$
\operatorname{Id}\left(A_{i+1}\right)=\left(\left(\operatorname{Id}\left(A_{i}\right) \ll 3\right) \mid \operatorname{Cd}\left(a_{i+W}\right)\right) \&\left(2^{6 W}-1\right)
$

ただし, 初項は $\operatorname{Id}\left(A_{-W}\right)=0$ である. 式中の $\operatorname{cd}(a) \in$ $[0,8)$ は文字種 $a$ のコード値, “《”は左シフト演算, “”は OR 演算，“\&”は AND 演算である.

漸化式が示すように, $\operatorname{Id}\left(A_{i}\right)$ を用いて $\operatorname{Id}\left(A_{i+1}\right)$ が計算できる. すなわち $\operatorname{Id}\left(A_{-W}\right)=0$ を起点とし，文字境界を 1 文字ずつ右に移動しながら, 各系列の ID がビット演算で高速に計算できる. 図 5 は文字種系列の IDをビット演算を用いて計算する例である.

## 4 L1 正則化によるモデルの圧縮

L1 正則化 [8] を利用すれば重みべクトルがスパー スとなり，過学習を防ぎつつ小さなモデルを学習することが可能である．線形分類モデルの学習で L1 正則化を行うには，以下の目的関数を最小化する重みベクトル $\boldsymbol{w}$ を学習する。

$
\min _{\boldsymbol{w}}\|\boldsymbol{w}\|_{1}+C \sum_{i} \xi\left(\boldsymbol{w} ; \boldsymbol{x}_{i}, y_{i}\right)
$

ここで $\xi\left(\boldsymbol{w} ; \boldsymbol{x}_{i}, y_{i}\right)$ は $i$ 番目の入力 $\boldsymbol{x}_{i}$ と出力 $y_{i}$ から計算される損失関数，C は罰則パラメータである ${ }^{2}$.

LIBLINEAR では目的関数の係数としている.ここでは

図 5 文字種系列のIDを計算する例. 空幅 $W=3$ としている. 文字種の下の数字は, 各文字種に対応したコード值を表す. $\mathrm{Cd}(\mathrm{H})=001_{(2)}$ はひらがな, $\mathrm{Cd}(\mathrm{K})=101_{(2)}$ は漢字, $\mathrm{Cd}(\mathrm{O})=110_{(2)}$ はその他の文字種に対応している. 次の系列 ID は，現在の系列 ID に対するビット演算によって求まる。

$C$ が小さいほど罰則項の比重が大きくなり，正則化をより強くかけることとなる. モデルサイズを小さくすると, 合計スコアの計算に必要な各スコアの加算回数が減ることに加え, CPU キャッシュの利用頻度も上がり，処理の高速化が期待される. 本研究では，モデルのサイズと分割速度の関係を調査し，モデルサイズの調整による高速化も検討する.

## 5 実験

提案法の高速化効果を検証するため，提案法と各種ツールの分割速度の比較を行った. また，正則化係数に応じた精度の比較も行った。

## 5.1 実験設定

点予測法のモデル学習のためのデータセットとし $\tau$, 現代日本語書き言葉均衡コーパス (BCCWJ [9], Ver. 1.1)のうち, 人手で短単位アノテーションされたコアデータ 60,004 文を利用した. また，辞書として UniDic [10] (Ver. 3.1.0)のうち半角空白記号を含まない 879,048 語を利用した. 各実験では，BCCWJ のコアデータ 60,004 文を 10 分割して交差検証を行った。速度の測定では，分割対象の文を先に RAMに読み込み，IO 処理にかかる時間は除外した. モデルの学習には LIBLINEAR [11] の L1-regularized L2-loss SVC を利用し, $C=1.0$ とした. また, 窓幅 $W=3$ とし, $n$-gram の最大長は 3 とした.

3 節で提案した各手法の効果を確認するため，各手法を個別に適用した場合とすべて適用した場合の

表 1 分割速度の比較. 単位は [100万文字/秒]. 罰則パラメータCは 1.0 とした.

速度を測定した. 比較対象として, 既存の点予測法に基づくトークナイザである KyTea の分割速度を測定した. ${ }^{3)}$

また，学習データやモデルが異なるため単純な比較はできないが， MeCab と sudachi.rs") によってトークン化した際の実行速度も測定した. MeCabでは IPADIC を利用し, sudachi.rs では SudachiDict-core (Ver. 20210802) による短単位相当の分割を行った.

実験は以下のスペックのマシンを用いてシングルスレッドで実施した.
- CPU: Intel(R) Core(TM) i7-8086K CPU @ 4.00GHz - Memory: 64GiB RAM (L1: 32KiB, L2: 256KiB)

## 5.2 実験結果

## 5.2.1 分割速度の比較

分割速度の比較結果を表 1 に示す. 実験結果によると，提案法では素性のスコアの前処理をしない場合でも KyTea の 4 倍以上の速度でトークン化処理を行うことが可能であり, 圧縮ダブル配列を利用した $\mathrm{AC}$ 法の効果が大きいことが分かる。また， (b)～(d) の各手法を単独で実施した場合と同時に実施した場合のいずれの場合も処理が高速化された事が確認された。

## 5.2.2 L1 正則化, 分割精度, 分割速度の関係

図 6 は，罰則パラメータ $C$ を変化させた際の，分割誤り率と分割速度の関係を示している.Cが小さい領域では，精度と速度はトレード・オフの関係にあり，正則化を強くするほど精度が下がる一方，分

図 6 罰則パラメータを変化させた際の，分割誤り率と分割速度の関係.

図 7 罰則パラメータを変化させた際の，スコアが 0 でない $n$-gram の数と PMA の状態数の関係.

割速度は速くなる.しかしながら， $C$ が大きい領域では正則化が弱まるにつれて分割速度が遅くなるだけでなく，過学習によって分割誤りも増えている.

次に，図 7 は $C$ を変化させた際の，スコアが 0 でない $n$-gram の個数と PMA の状態数の関係を示している. 正則化を強くするほど， $n$-gram がモデルから削除され PMA が小さくなるが，その際に長い $n$-gram が優先的にモデルから削除され，短い $n$-gram が支配的になることが確認できる.

## 6 まとめ

本研究では，線形分類モデルを用いた点予測法に基づく日本語のトークン化を，パターンマッチとスコアの加算という 2 つの部分問題に帰着させ，各部分に対して最適化を行った.

提案したアルゴリズムは日本語のトークン化に特化したものではなく，AC オートマトンを利用した点予測法に一般化することが可能なため，他分野への応用も検討したい.

## 参考文献

[1] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[2] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[3] Manabu Sassano. An empirical study of active learning with support vector machines for Japanese word segmentation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 505-512, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[4] 森信介, 中田陽介, Neubig Graham, 河原達也. 点予測による形態素解析. 自然言語処理, Vol. 18, No. 4, pp. 367-381, 2011.

[5] Edward Fredkin. Trie memory. Communications of the ACM, Vol. 3, No. 9, pp. 490-499, 1960.

[6] Alfred V. Aho and Margaret J. Corasick. Efficient string matching: An aid to bibliographic search. Commun. ACM, Vol. 18, No. 6, pp. 333-340, June 1975.

[7] Susumu Yata, Masaki Oono, Kazuhiro Morita, Masao Fuketa, Toru Sumitomo, and Jun-ichi Aoe. A compact static double-array keeping character codes. Inf. Process. Manage., Vol. 43, No. 1, p. 237-247, January 2007.

[8] Robert Tibshirani. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), Vol. 58, No. 1, pp. 267-288, 1996.

[9] 前川喜久雄. 代表性を有する大規模日本語書き言葉コーパスの構築 (く特集>日本語コーパス). 人工知能, Vol. 24, No. 5, pp. 616-622, 2009.

[10] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, oct 2007.

[11] Rong-En Fan, Kai-Wei Chang, Cho-Jui Hsieh, Xiang-Rui Wang, and Chih-Jen Lin. Liblinear: A library for large linear classification. J. Mach. Learn. Res., Vol. 9, p. 1871-1874, June 2008.

[12] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

## A データや分割単位の違いによる 速度の比較

表 2 は，分割単位を変更した際の各ツールの速度を比較したものである. KyTea と Vaporetto では, 学習コーパスとして BCCWJ の短単位 (SUW) と長単位 (LUW) のいずれかを利用し，単語辞書は利用していない. MeCabでは, SUWとして UniDic, LUW として IPADIC を利用した. Sudachi では SUWとして UniDic 相当，LUW として固有表現 (NE) 相当のオプションを利用した.

表 2 分割速度の比較. 単位は [100万文字/秒].

KyTea, Vaporetto, Sudachi, sudachi.rs では, 分割単位の違いによる速度の大きな変化は確認できない。一方， MeCab では UniDic を使用した場合に IPADIC に比べて 2 倍程度の時間を要していることが確認できる. MeCabで BCCWJを解析した際の L1 キャッシュミスの回数を perf コマンドで測定したところ， IPADIC を使用した際は $3.6 \times 10^{6}$ 回であったのに対し，UniDic を使用した際は $63.1 \times 10^{6}$ 回であった。 UniDic を使用した場合，キャッシュミスが多く発生していることが速度低下の原因となっていることが伺える。

## B L1キャッシュミスの頻度

図 8 は，罰則パラメータ $C$ を変化させた際の L1 キャッシュミスが発生する回数を示している. BCCWJ の 60,004 文で 10 交差検証を行った際の，各セットでの合計値を示した. キャッシュミスの回数は perfコマンドで測定した。

単語辞書を利用しない場合， $C<0.1$ まではモデルサイズが小さいため，キャッシュミスの回数が 1 万回程度で抑えられており，キャッシュが効率的に利用されていることが伺える. しかし， $C>0.1$ では次第にモデルがキャッシュに乗り切らなくなり， キャッシュミスの回数が増えていくことが確認で

図 8 罰則パラメータを変化させた際の，L1 キャッシュミス回数の変化.

きる.

また，単語辞書を利用する場合は，Cが小さい領域でもキャッシュミスが多く発生していることが確認できる.

## C 窓幅と n-gram サイズを変化させ た際の分割速度と分割精度の関係

表 3 は容幅 $W$ と $n$-gram サイズを変化させた際の,分割速度と分割精度の関係を示している。学習には BCCWJ のみ利用し, 単語辞書は利用していない. $W \geq 4$ の場合, 文字種 $n$-gram のスコアを事前計算するとメモリを多く消費するため，文字 $n$-gram と同様に PMAを利用している.

表 3 窓幅ごとの分割速度と分割精度. 速度の単位は $[100$万文字/秒].

SUW の場合, $W=n=3$ で精度が上限となり, LUW の場合は $W=n=5$ で精度が上限となっていることが確認できる.


# 構造的曖昧性に基づく読みづらさの検出

吉田あいり 河原大輔
早稲田大学理工学術院
yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp

## 概要

日本語文の読みづらさを定量的に評価することを目的とし,構造的曖昧性を活用した手法を提案する。漸進的要素を組み入れ, BERT による構文解析の結果を用いて評価する. ベースラインには言語モデルによる尤度 (サプライザル)を用いて, 読みづらさの正解データはクラウドソーシングにより文ぺアに対して複数人の回答を収集したものを使用する. 2 種類の方法で作成したデータにて評価を行い, 提案手法はベースラインに対して有意な結果を得た。

## 1 はじめに

テキストを読む機会は多く,文が読みやすいことは消費される時間の短縮以外に読者の理解度の向上にもつながる. そのため, 文の情報を損なわない読みやすい文が必要とされる. 本研究では執筆支援システムにおいて想定される読点の挿入や語順整理といった文の読みやすさの改良の前段階として, 自動的に読みづらい文を検出することを目的とする。

人間における読みづらさは主に読み時間で評価され, 計算機においては言語モデルを用いて計算される負の尤度であるサプライザルで評価される [1]. これは予想と異なる内容が現れた際に読み負荷が高まるというサプライザル理論に基づいている $[2,3]$. ここに日本語特有の要素を考慮することで, 本研究では日本語に適した読みづらさの検出を目指す。

日本語の逐次的な読みやすさにおける先行研究にて, 先行文脈に係り元が多い文節ほど読みやすいことや読み間違いが読み負荷を高めることがわかっている. 例えば, 文 (1) [4] は「男性を」の部分で再解釈に要する読み時間が増加する。

（1)警官が犯人を捕まえた男性を...

本研究では構造的曖昧性に着目し, 漸進的構文解析結果と係り先の保留のプロセスを利用して読みづらさの検出を行う。

## 2 関連研究

## 2.1 読みやすさの分析

人間の読みづらさは読み時間を用いて評価されており, 読み時間を主軸とした分析がされる. 日本語の読み時間データは BCCWJ-EyeTrack が整備され, 先行文脈に係り元文脈が多い要素ほど読み時間が短くなるということが分析されている [5]. また, 日本語の読解時間と統語・意味カテゴリの対比分析においても関連する先行文脈が読み時間の減少に関与すること [6] や, 文の意味的曖昧性の高さが構造的曖昧性の解消/保留に影響することがわかっている $[4,7]$.他にも個別の言語現象が読み時間に与える影響に対して分析が行われている $[8,9]$.

これらは読みやすい文における知見ではあるが，統一的な傾向は定かではない. そこでサプライザル理論に基づいて, 日本語読み時間に関する傾向がサプライザルが大きいところで読みにくくなるという傾向に統一的に解釈できるかという仮説検証がなされた [10]. 読み時間の様々な傾向がサプライザルでも再現され, 情報量の観点から解釈できることが示されている。

## 2.2 ガーデンパス効果

読み時間が増加する要素の 1 つとしてガーデンパス (GP) 効果がある.これは, 文の理解の途中で一時的に誤った解釈をし, 続きを読んだ際に誤解に気づいて解釈をし直す事になるが，この再解釈により発生する処理負荷や読み直しにかかるコストにおける効果である. 文理解の初期段階で曖昧性を解消しようとするために, 結果として誤解釈が発生する.この効果がもたらす構造的曖昧文の性質は言語の構造により異なることが分析されている [11]. GP 文は最後まで解釈が曖昧な場合もある. 例えば，「かわいい少女の猫」の「かわいい」が修飾するのはこの部分のみでは決定できない。

## 2.3 単語親密度

本研究では構造要素による読みづらさに着目するために, 単語難易度による影響を減らす工夫が必要である. WLSP-familiarity ${ }^{1)}$ は「分類語彙表」増補改訂版データベースに親密度情報を付与したもの [12] であり, 見知らぬ単語による読みづらさを軽減するためにこれを用いてフィルタリングを行う.

## 2.4 漸進的係り受け解析

人間の言語理解過程には漸進性があり, 音声言語アプリケーションの基盤技術として漸進的係り受け解析技術の研究がなされている [13]. 言語処理過程のデータを構築・分析することにより人間の漸進的係り受け解析能力や入力予測能力の解析がなされている $[14,15]$. 逐次処理を行うために, 係り先を未入力部分と見做し, 未大力の中でも同一文節であるのかまで考慮してアノテーションが行われている.人間の言語理解には漸進性がある [16] が, 特に音声では大力と同時に処理することが求められ, 漸進的言語処理システムが開発されている. 本研究ではテキストに漸進性を組み込むことで, GP 効果等の特徴を考慮する。

## 3 構文解析

読みづらさを検出するために, 構造的に曖昧な文を示すラベル付きデータなしで活用できる機械学習を用いた構文解析を行う。

## 3.1 BERT に基づく構文解析

BERT を活用し, 日本語構文解析の精度を向上させる手法 (BERTKNP) が提案されている [17]. 構文解析を head [18] の選択と見なすことによりBERTに 1 層追加する形で実装を行っている. 事前学習されたモデルを活用することで, 大量の生コーパスを利用し構文解析の精度向上を達成している。

## 3.2 漸進的構文解析手法

BERT による構文解析に漸進的な視点を入れることで, 人間が読む際の要素を追加する. 単語ごとに係り受けのアノテーションがなされた文 (Original) に対して, 単語が 1つずつ入力される過程 (Slided) を考えていく.ある単語が入力されるまでの部分における, 係り受け構造を学習データとして作成する. 入力

図 1: 漸進的構文構造データ作成

される単語数を 1 ずつずらしていくことで漸進的なデータを実現する. 図 1 のように Slided の入力は文の途中までであり, 未入力部分に係る単語も存在する. その場合は係り先を特定単語ではなく,未決定 ([UND]) と指定する [14]. 単語ごとにずらして作成した文は Original に対しての分量が非常に多くなるため, Slided について過学習を起こす可能性がある. そこで Slided には $\mathrm{n} \%$ の制限を設ける. どの程度漸進的データを追加するべきかとシャッフルの必要性は予備実験にて確認する.

## 3.3 解析結果

漸進的構文解析において適切な漸進的データ量を確認するために, 実験の結果を表 1 に示す. 精度は単語単位での精度と文単位の精度の平均の 2 通りで算出した. 加えて [UND] の再現率も測定した. 日本語 BERT は NICT BERT 日本語 Pre-trained モデル2)を使用した. fine-tuning には京都大学テキストコーパス (新聞) と京都大学ウェブ文書リードコーパス (ウェブ) の 2 種類を混合したコーパス約 5 万文を使用し，元論文にならい 3 epoch 回した. また, 評価には京大コーパス約 4,000 文を使用した.

京大コーパスにおいては加工しない BERTKNP が一番精度が高い. 漸進的要素を加えた Slide All (Orig+Slided 100\%) においては元のデータに $5 \%$ 混合したデータを用いて学習したモデルが一番精度が良く, 再現率は $50 \%$ 混合した場合が良い值となった。 また, 予測精度と再現率はデータをシャッフルすることによる悪影響を受けることがわかった. 漸進的データの追加は精度の向上に直結しない上, 計算資源と時間を消費する. 本研究では, 精度を重視して 5\%のみ追加したデータで fine-tuning したモデルを用いてこれ以降の実験を進める。

表 1: 漸進的構文解析の精度

表 2: 各データの文ペア数

## 4 実験

## 4.1 正解データ作成と評価方法

読みづらさの正解データを作成するために, 京大コーパスに前処理として単語親密度によるフィルタリングを行い, 親密度が負のスコアを持つ形態素を含む文を除外した. また, 形態素数が 20 に満たない文も除去し, 形態素数が 20 から 30 のものと 30 以上のものに分割後, 文長によるソートを行ってから文字数順に 2 文のペアを作成した. これにより, 単語難易度による難読性を排除した上で, 文長だけでなく形態素数の近い分ペアを作成している.このペア文の比較による評価を行う. Yahoo!クラウドソーシングにより 1 ペアに対して 10 人の回答をフィルタリングされた 322 文について収集した. 2 文のうちどちらが構造的に読みづらいかという質問に対して, [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の 3 つの選択肢を用意した.

文法構造を考慮した読みづらさとして以下の 2 つの要素を挙げ,これに基づき評価させた。

1. 複数の解釈ができる

2. 理解に反復が必要となる

収集データから 2 種類の正解データを作成し, それぞれのデータにおいて評価を行う.作成された正解データのペア数を表 2 に示す.

多数決 10 人中 $\mathrm{n}$ 人の回答が一致したぺア文を正解データとする. 例えば, [文 $\mathrm{A}$, 同等, 文 B] の回答数が $[6,3,1]$ の際は, $\mathrm{n}=5$ の場合は文 $\mathrm{A}$ が読みづらいデータとして採用され, $\mathrm{n}=7$ の場合は使用しない. 評価は [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の全ての精度により行う.

平均 [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の回答を $[-1,0,1]$ の数値と見なして各回答数の和をスコアとする. 閾値 $\mathrm{m}$ を使用し, $[-10,-m),[-m, m],(m, 10]$ をそれぞれの回答として分類する. $\mathrm{m}$ の値は難易度の判別がつかない文ペアが十分除かれたものを選択する. 正負でスコアリングしているため, [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の回答数が $[2,7,1]$ と $[5,1,4]$ の場合のスコアはどちらも-1 となる. 従って, 同等である回答が多くとも判別できないため, 文 $\mathrm{A} \cdot \mathrm{B}$ のどちらが読みづらいかのみを扱い, 同等なものは除外した精度により評価する。

多数決・平均手法共に, $\mathrm{n} / \mathrm{m}$ を大きくするほど確実に読みづらい文ぺアを取得できるが, 使用できるぺア数が減少するため適当な $\mathrm{n} / \mathrm{m}$ を抽出した.

## 4.2 読みづらさの検出方法

本研究では,作成した漸進的データを用いて学習した構文解析モデルによる解析結果から係り先が未決定 ([UND]) である数を長さで正規化したものを読みづらさのスコアとする. 人間の言語理解の漸進性を取り入れた上で, 係り受け構造の保留により受ける読みづらさを考慮している. 本研究では 2 文のどちらが読みづらいかまたは同等であるかを正解として扱うが, スコアは数値で算出される. そこでスコアの差分を取り, その絶対値が閾値以下のものを同等である場合として評価する. 間値は精度が最も高くなる値を選んだ。

ベースラインにはサプライザルとして $-\log p(x \mid$ 先行文脈）を使用する. 実装では-log_softmax を使用した. サプライザルは尤度の反転であり,これが大きいほど読みづらいと言える.これを計算するために言語モデル $\mathrm{GPT}-2^{3)}$ を利用した.こちらもスコアの差分から同等である場合の評価を行った。

## 4.3 結果

表 3 に各データにおける精度の結果を示す. 正解は漸進的構文解析が全て正しく付与されたデータを用いて算出した精度である. 提案手法は多数決と平均どちらのデータに対しても読みづらい文の検出をすることができた. 確実に難易度に差があると判断された文ぺア (多数決 $n=7$, 平均 $m=3$ ) に対しては特に有意な差が現れた。

3) https://huggingface.co/colorfulscoop/gpt2-small-ja
表 3: 読みづらさ検出の精度

(a) 各単語長でのカウント

(b) 各単語長での累積図 2: [UND] 数の比較

## 5 考察

## 5.1 難しい文と平易な文

構造的に難しいと判別された文の特徴として主語が省略されているものや, 並列構造等が見られた. 文長が短いために一定数主語が無い文が存在しており,これらを排除することでより構造に焦点を当てた実験を行うことができると考えられる. また, 長い名詞句やカタカナは中身を読まずに塊であると判別できるため簡単と評価される傾向があった.

ここで, 図 2 にて難易度判定により有意な差を得た文における係り先未決定の動きを見る. 以下の文 (2a) は 10 人中 9 人が読みづらい文として選択し, 1 人が同等であると回答した.

（2）a.しかし、旧民社党は大半の議員が新進党に参加し、さきがけとの連携も流動的で連携相手は不確定だ。

b.初期の警察署が置かれたセントラル地区のハリウッド通りには、インド料理店やインド系企業が多い。

(2b) は大力に適宜係り先が決定されているが, (2a) は保留されていることがわかり, 文の構造的難易度により未決定数に差が生じることが確認できる.

## 5.2 読みづらさの正解データ作成

多数決方式の $\mathrm{n}=5$ においては [文 $\mathrm{A}$, 同等, 文 B] の回答数が $[1,4,5]$ の様な回答が存在し, 小さい $\mathrm{n}$ に対しては難易度の定まらない文が混在していると考えられる. 平均方式はこの欠点はカバーできるものの，同等の文に対しての評価ができなくなる。

多数決方式にて $\mathrm{n}$ の値により収集される文ペアを見ていく. $\mathrm{n}=5$ の例として (3), $\mathrm{n}=7$ の例として (4)を示す. (3a)と (4b) が読みづらい文である.

（3）a.九七年まで村山政権が続くのは安定かもしれないが、確信を持って政治がやれるのか。

b.この時は大分舞鶴がロスタイムに入って追いつき、抽選で長崎北陽台が決勝に進んだ。

（4） a.同県警では、県警山岳救助隊など約七十人で捜索したが、午後五時、捜索を打ち切った。

b.本に囲まれ、埋もれ、重みで床が抜けそうだ、と心配するような生活にあこがれている。

(3) は文構造が似通っており難易度にさほど差が感じられないが, (4b) には並列構造が見られ, 係り先の理解に時間を要する. $\mathrm{n}$ をきくすることで確かに難易度差がある文ぺアを取得している。

## 5.3 校正における活用

構造的曖昧性の絶対評価は難しく, 本研究では 2 文の比較による評価を行った. 難易度のスコアはサプライサルと提案手法のどちらも各文ごとに付与している.そのため読みづらいと判別された文のスコアの平均・分散における解析が, その文単体での難易度の判別に繋がる.これを用いて難しい文の指摘を行うことで筆者による修正や自動書き換え等の校正への活用が見込まれる。

## 6 終わりに

日本語構造に着目した読みづらさの検出を行なつた. 漸進的構文解析による, 未入力文脈への係り構造を利用することで, サプライザルに比べて構造的に読みづらい文の検出を行うことができた. 今後は構文解析結果の top-K 比較による構文確率の比較や語義曖昧性への拡張などによる読みづらさの検出を検討する. また, 特定の曖昧性に的を絞った正解データの用意は困難であり, 収集方法も改善の余地がある.

## 参考文献

[1] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverse-engineering converges on a model for predictive processing. bioRxiv, 2020.

[2] John Hale. A probabilistic earley parser as a psycholinguistic model. In Proceedings of the Second Meeting of the North American Chapter of the Association for Computational Linguistics on Language Technologies, NAACL '01, p. 1-8, USA, 2001. Association for Computational Linguistics.

[3] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, 2008.

[4] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消と保留に及ぼす影響 (2). 日本認知心理学会発表論文集, Vol. 2011, pp. 74-74, 2011.

[5] 浅原正幸, 小野創, 宮本エジソン正. Bccwj-eyetrack :『現代日本語書き言葉均衡コーパス』に対する読み時間付与とその分析. 言語研究, No. 156, pp. 67-96, 2019.

[6] 浅原正幸, 加藤祥. 読み時間と統語・意味分類. 認知科学, Vol. 26, No. 2, pp. 219-230, 2019.

[7] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消と保留に及ぼす影響. 日本認知心理学会発表論文集, Vol. 2010, No. 0, pp. 81-81, 2010.

[8] Masayuki Asahara. Between reading time and clause boundaries in japanese- wrap-up effect in a head-final language一日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. Journal of Natural Language Processing, Vol. 26, pp. 301-327, 06 2019.

[9] Masayuki Asahara. Between reading time and the information status of noun phrases 名詞句の情報の状態と読み時間について. Journal of Natural Language Processing, Vol. 25, pp. 527-554, 122018.

[10] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づいた統一的な解釈. 言語処理学会第 27 回年次大会発表論文集, pp. 723-728, 2021.

[11] 井上雅勝. ガーデンパス現象に基づく日本語文理解過程の実証的研究. 大阪大学博士論文, 2000.

[12] 浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, Vol. 27, No. 1, pp. 133-150, 2020.

[13] Tomohiro Ohno and Shigeki Matsubara. Dependency structure for incremental parsing of Japanese and its application. In Proceedings of the 13th International Conference on Parsing Technologies (IWPT 2013), pp. 91-97, Nara, Japan, November 2013. Assocation for Computational Linguistics.

[14] 大野誠寛, 松原茂樹. 漸進的係り受け解析の出力構造一人間の文解析過程のアノテーション-. 言語処理学会第 22 回年次大会発表論文集, pp. 457-460, 2016.

[15] 後藤亮, 大野誠寛, 松原茂樹. 人間の漸進的言語処理能力の分析. 情報処理学会第 82 回全国大会, pp. 457-458, 2020.
[16] Gerry Altmann and Mark Steedman. Interaction with context during human sentence processing. Cognition, Vol. 30, No. 3, pp. 191-238, 1988.

[17] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, pp. 205-208, 2019.

[18] Xingxing Zhang, Jianpeng Cheng, and Mirella Lapata. Dependency parsing as head selection. In EACL 2017, pp. 665-676, 2017.


# 日本語の語彙力と読み時間について

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

本研究では、ヒトの語彙力の差が読み時間にどのように影響を与えるのかについて検討を行う。具体的には、単語親密度調査に参加した方の評定値に対して一般化線形混合モデルを適用した際の調査協力者のランダム効果を語彙力と仮定する。その後、同調査協力者に自己ペース読文課題に参加してもらい読み時間を収集し、読み時間に対して一般化線形混合モデルを適用した際の語彙力の固定効果により、語彙力の差が読み時間に与える傾向を明らかにした。また、得られた傾向からサプライザルや言語モデルにおけるパープレキシティとの関連について考察を行う。

## 1 はじめに

本研究では、日本語の語彙力と読み時間の関係について検討する。以前の調査では、視線走査装置1) や自己ペース読文法 [1] を用いた、新聞記事を対象として読み時間データを収集 [2] し、記憶力を計測するリーディングスパンテスト [3] と平成年代に構築された語彙数判定テスト $[4,5]$ による実験協力者の能力差に基づく分析を行った [6]。得られたは語彙力が高い実験協力者の読み時間が長い傾向があるという結果であった。 24 人の実験協力者の語彙力の分散が小さいことが考えられるが、実験協力者を研究室に呼んで、視線走査装置を用いて実験を行うことが困難となった。一方、英語においては、Amazon Mechanical Turk で被験者を募集して、読み時間を収集した Natural Story Corpus (NSC) [7] が構築されている。同様の試みとして、Yahoo! Japan の Yahoo! クラウドソーシングを用い被験者を募集したうえで、ibex ${ }^{2}$ を利用して、ウェブブラウザを介して自己ぺース読文法により大規模に読み時間データを収集した [8]。読み時間収集対象者に

は、事前に単語親密度判定タスクに参加し、そのモデル化の副産物として得られる対象者の語彙力を得た [9]。これらの二つの調査結果を線形混合モデルで対照させたところ、「語彙力が高い実験協力者の読み時間が短い」傾向が確認された。従前の結果が語彙力の高い 1 人の実験協力者の行動に由来する可能性があり、大規模化した行動実験に基づく今回の分析により異なる結果が得られた。

また、サプライザル $[10,11]$ や言語モデルのパー プレキシティとの関連 $[12,13,14,15,16,17,18]$ についても考察を行う。

## 2 データの収集手法

## 2.1 語彙力データの構築

語彙力データは単語親密度データの収集 $[19,9]$ 時に得られる実験協力者の偏りを数値化したものを用いる。具体的には、2018 年より毎年『分類語彙表』 の見出し語に対して、「知っている」「書く」「読む」「話す」「聞く」の程度を収集した。収集したデータを一般化線形混合モデルで単語親密度を 84,114 語のランダム効果として、語彙力を 6,732 人の実験協力者のランダム効果としてベイジアン線形混合モデルによりモデル化した。モデル化する際に、単語側の標準偏差を 1.0、実験協力者の標準偏差を 0.5 とした正規分布によりモデル化したものを用いる ${ }^{3}$ 。

後述するとおり、単語親密度調査の協力者の一部の方が、次節に述べる読み時間データの収集に参加した。読み時間データの収集に参加した方の語彙力の分布を図 1 に示す。

## 2.2 読み時間データの収集

前節に示した単語親密度データ収集の 2020 年 10 月の調查に協力された方のうち、語彙数判定の分散が適切な 2,092人を対象に、自己ペース読文法に

図 1 語彙力の分布

表 1 刺激文と実験協力者の統計

表 2 分析対象

よる読み時間データ収集実験参加を募った $[8]$ 。最初に『現代日本語書き言葉均衡コーパス』の白書 (OW) 1 サンプルについて試験的に 500 人の協力者を募集した。その後、教科書 (OT) 38 サンプルと書籍 (PB)83 サンプルについて、1 サンプル当たり 200 人の協力者を募集した。各実験協力者は 2020 年 11 月 12 月にかけて、白書 $\rightarrow$ 教科書 $\rightarrow$ 書籍の順に自由に実験に参加でき、読むサンプルの数も自由に設定した。従前の発表 [8] と同じスクリーニングを行った後、単語親密度調査 200 回答以上・読み時間実験 5 サンプル以上に参加した実験協力者のデータを分析対象とした。表 1 に刺激文と実験協力者の統計を、表 2 に分析対象となるデータ数を示す。

## 3 統計分析

統計分析は対数読み時間に対する線形混合モデルにおいて、各固定効果における有意差が確認できるか否かにより行う。呈示順4) - 文字列長 ${ }^{5)}$ - 試行

4） BCCWJ-SPR2 における文呈示順 SPR_sentence_ID (sentid) $\cdot$文節呈示順 SPR_bunsetsu_ID (bid)

5）BCCWJ-SPR2 における表層形文字列長 SPR_word_length (length)。順6) ・係り受(゙7) ・ 実験協力者の語彙力 ${ }^{8)}$ を固定効果とし、実験協力者 9$)$ ・サンプル $\mathrm{ID}^{10)}$ をランダム効果とした。本稿では $\operatorname{lme4}[20,21]$ を用いた一般化線形混合モデルの結果を示す。一度モデルを推定したうえで、3SDよりも外側の値のデータポイントを排除し、再推定を行った結果を表 3 に示す。なお、対数読み時間を頻度主義的な線形混合モデルで分析したものを付録の表 4 に、同様のモデルをベイジアン線形混合モデル（対数正規モデル）で分析したものを付録の表 5 に示す。

まず、同一サンプル内の呈示順については、実験が進むについて文脈を得るために読み時間が短くなる傾向が確認された。文字列長は長いほど認識に時間が長くなる傾向が確認された。試行順については教科書においては実験協力者が慣れて短くなる傾向が確認された。書籍においては、反対に繰り返し実施することによる疲れからか、長くなる傾向が確認された。最後に係り受けの数が多いほど、予測が効くために、読み時間が短くなる傾向が確認された。ここまでは既存の分析結果 [8] と同様の結果であった。

## 4 考察

以下、結果についての考察を示す。

## 4.1 語彙力の影響

以前の調査 [6] では語彙力が高い実験協力者の読み時間が長い傾向が確認された。しかしながら、調

6） BCCWJ-SPR2 における実験協力者ごとの試行順（サンプル単位に集計）SPR_trial。OW については 1 サンプルのみのために常に試行順が 1 のため未定義。

7）BCCWJ-SPR2 における当該文節に対する係り受けの数 SPR_DepPara_depnum (dependent)。BCCWJ-DepPara から復元。 OT には係り受けが付与されていないために未定義。

8）WLSP-Familiary3.1 における実験協力者のランダム効果 WFR_subj_rate。

9）BCCWJ-SPR2 における実験協力者固有のID SPR_subj_ID_factor。

10） BCCWJ におけるサンプル ID BCCWJ_Sample_ID。

回帰式：

SPR_reading_time SPR_sentence_ID + SPR_bunsetsu_ID + SPR_word_length + DepPara_depnum

+ SPR_trial + WFR_subj_rate + (1 | SPR_subj_ID_factor) + (1 | BCCWJ_Sample_ID)

但し、OT は 1 回の試行のみのため SPR_trial は未定義、OT は係り受け情報が付与されていないため DepPara_depnum は未定義。

表 3 一般化線形混合モデルに基づく分析結果（読み時間）

查人数が少ないうえ語彙力が高い群が実質 1 名であったために、この1名のデータに依存し、一般性のない分析である可能性があった。本調査では、読み時間計測タスクを自己ペース読文課題に限定しながらも、数百人規模のデータを用い、読む文章量も増やした設定で再検証を行った。また語彙力の測定もNTT の平成版語彙数判定テストではなく、新たに単語親密度調査に基づく副産物としての協力者の語彙力を用いた。結果、語彙力が高い群の読み時間がより短くなる傾向が観察された。

## 4.2 レジスタの影響

語彙力の影響を有意差の観点で見ると、OT(教科書) が $p<0.1 、 \mathrm{~PB}$ (書籍) が $p<0.05 、 \mathrm{OW}$ (白書) が $p<0.01$ であった。教科書は小・中・高の国語の教科書のサンプルであり、協力者は一度は読んだことがある可能性がある。書籍と白書を比べると、一般に書籍のほうが協力者が読みなれている可能性もある。このレジスタについてのなじみの程度が、語彙力の影響の有意差に表れている可能性がある。なじみのある教科書では語彙力の影響の差が小さいが、 なじみのない白書では語彙力の影響の差が大きくなった可能性がある。

## 4.3 サプライザルや言語モデルのパープレ キシティとの関係

サプライザル $[10,11]$ は、文処理の負荷に対する情報量基準に基づいた指標で、当該単語の文脈中の負の対数確率（次式）によりモデル化される文処理の困難さを表す：

$
\text { Surprisal }(w)=-\log _{2} P(w \mid \text { context })
$

似た概念の言語モデルの評価指標としてパープレキシティ (平均分岐数) perplexity(context)= $\Pi_{i=1}^{N} P\left(w_{i}\right)^{1 / N}$ がある。これを対数を取った形式 (cross entropy) で表記すると $H$ (context) = $\frac{1}{N} \sum_{i=1}^{N} \log _{2} P\left(w_{i}\right)$ となるが、言語モデルとして次にくる単語 $w$ を予測する際の仮定としては、 $\arg \max \log _{2} P(w \mid$ context $)$ と、この cross entropy の最大化問題に帰着でき、実質的には符号が反転したサプライザルの式の最小化と等価の問題と捉えることができる。

このパープレキシティ (cross entropy) が低いほどヒトらしいという研究は英語については確認されている $[12,13,14,15,16]$ 一方、英語と日本語における読み時間と Transformer 系の言語モデルの対照分析 [17,18] において、日本語においては必ずしもそうとは言えない報告がなされた。

ここで、サプライザル・パープレキシティとは何

か、さらには「ヒトらしい」とは何かについて考えたい。過去の研究においては、言語モデルの能力差によるパープレキシティの検討がなされてきた。本研究ではヒトの能力差とレジスタの親密性の観点から検討を行いたい。

まず、ヒトの能力差の観点からは、仮定として語彙力が高いヒトは文脈から単語を推測する確率が高いとするならば、この能力差がサプライザルの指標を下げ、全体的に読み時間を短くした可能性がある。サプライザルと言語モデルのパープレキシティの等価性から、言語モデルのパープレキシティが高くなるにつれ、より語彙力の高い群に親和性がある予測を行う可能性がある。

次に、レジスタの親密性の観点からは、仮定として、OT(教科書) は一度読んだ可能性があるテキストであり、PB(書籍) は普段読んでいるものに近い新しいテキストであり、OW(白書) は普段読み慣れないテキストであると想定する。親密性の観点からは、OT>PB>OW の順で次にくる単語が予測しやすい可能性があり、サプライザルはこの逆順で小さい (パープレキシティの観点からは正順で大きい) レジスタであると考える。表 3 の語彙力の有意差の傾向から、 $\mathrm{OT}<\mathrm{PB}<\mathrm{OW}$ の順で語彙力の差が出やすくなっていることがわかる。本データ (BCCWJ-SPR2) の $\mathrm{PB}$ の NDC（日本十進分類法）に基づく分析 [22] では、多くの人が親しみやすい芸能やスポーツなどを含む「7. 芸術・美術」が読み時間が短くなる傾向が確認されている。

以上の観点を総合的に考えると、「ヒトらしい」言語モデルとは、適切なレベルの語彙力を持ち、レジスタの親密性の差異により予測可能性が変化しうるものであろうと考える。後者のレジスタの親密性については、Hale らが、サプライザルをジャンル横断的に調査し、EEGデータと推定したサプライザルとを対照することで、同一ジャンルで訓練した言語モデルのほうがより EEG データに適合することを報告している [23]。

## 5 おわりに

本研究では、日本語の読み時間と語彙力の関係について検討した。本研究の貢献は以下の 3 点である：

・対面で実験できないなか、オンラインで日本語の読み時間と語彙力調査を大規模に行う方法を確立した。
・大規模調査により、日本語において語彙力の読み時間に与える影響について、複数レジスタの資料に対して調査した。
- 調査結果として、「語彙力の高い」群が読み時間が短くなることを確認した。

分析結果から以下の 2 点について考察を行った：

・ヒトの能力差において、「語彙力の高い」ことと「言語モデルのパープレキシティの高い」ことのアナロジーを仮定すると、言語モデルのパープレキシティが高くなるにつれてより語彙力の高い群に親和性がある予測を行う可能性がある。

・レジスタの親密性において、サプライザルが全体的に低いであろう読みなれているレジスタにおいては、語彙力の差が出にくい。

このように日本語の読み時間において、ヒトの能力差やレジスタ差の検討が可能になった。今後、より精緻な数理モデルによる検討を期待する。

今回、ヒト側の能力として語彙力について検討を行い、上記の傾向について明らかにした。日本語においては、再帰的ニューラルネットワーク文法による読み時間の検討 $[24,25]$ も進められている。文法に基づくヒトの文処理過程をつかさどる重要な概念として、実験協力者の作業記憶容量 (パージングアルゴリズムにおけるビーム幅相当）がある。 BCCWJ-EyeTrack においては、日本語リーディングスパンテスト [3] を行い、成績の優劣による検討も行った [6]。本データにおいても、オンラインで作業記憶容量を評価する方法について検討し、パージングに基づく文処理過程のモデリングについて評価可能なデータを構築したい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 17H00917, 18H05521 の支援を受けました。

## 参考文献

[1]Marcel Adam Just, Patricia A. Carpenter, and Jacqueline D. Woolley. Paradigms and processes in reading comprehension. Journal of Experimental Psychology: General, 3:228-238, 1982.

[2]浅原正幸, 小野創, and 宮本エジソン正. BCCWJEyeTrack-『現代日本語書き言葉均衡コーパス』に対する読み時間付与とその分析-. 言語研究, 156:67-96, 2019.

[3]苧阪満里子, editor. ワーキングメモリー脳のメモ帳. 新曜社, 2002.

[4]Shigeaki Amano and Tadahisa Kondo. Estimation of Mental Lexicon Size with Word Familiarity Database. In Proceedings of International Conference on Spoken Language Processing, volume 5, pages 2119-2122, 1998.

[5]天野成昭 and 近藤公久, editors. 単語親密度, NTT デー タベースシリーズ日本語の語彙特性第 $l$ 巻. 三省堂, 1999.

[6]浅原正幸, 小野創, and 宮本エジソン正. 『現代日本語書き言葉均衡コーパス』の読み時間とその被験者属性. In 言語処理学会第 23 回年次大会発表論文集, pages 273-276, 2017.

[7]Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank, Anastasia Vishnevetsky, Steven Piantadosi, and Evelina Fedorenko. The Natural Stories Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[8]浅原正幸. クラウドソーシングによる大規模読み時間データ収集. In 言語処理学会第 27 回年次大会発表論文集, pages 1156-1161, 2021.

[9]浅原正幸. クラウドソーシングによる単語親密度デー 夕の構築 (2021 年版). In 言語処理学会第 28 回年次大会発表論文集, 2022.

[10]John Hale. A probabilistic earley parser as a psycholinguistic model. In Proceedings of the Second Conference of the North American Chapter of the Association for Computational Linguistics, volume 2, pages 159-166, 2001.

[11]Expectation-based syntactic comprehension. Cognition, 106(3):1126-1177, 2008.

[12]Stefan L. Frank and Rens Bod. Insensitivity of the human sentence-processing system to hierarchical structure. Journal of Psychological Science, 22(6):829-834, 2011.

[13]Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of CMCL, pages 61-69, 2012.

[14]Adam Goodkind and Klinton Bicknell. Predictive Power of Word Surprisal for Reading Times is a Linear Function of Language Model Quality. In Proceedings of CMCL, pages $10-18,2018$

[15]Adam Goodkind and Klinton Bicknell. Comparing Gated and Simple Recurent Neural Network Architectures as Models of Human Sentence Processing. In Proceedings of the 41st Annual Conference of the Cognitive Science Society, pages 112-118, 2019.

[16]Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language
Models for Human Real-Time Comprehension Behavior. In Proceedings of the 42nd Annual Conference of the Cognitive Science Society, pages 1707-1713, 2020.

[17]Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguisticsand the 11 th International Joint Conference on Natural Language Processing, pages 5203-5217, 2011.

[18]栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, and 乾健太郎. 予測の正確な言語モデルがヒトらしいとは限らない. In 言語処理学会第 27 回年次大会発表論文集, pages 267-272, 2021.

[19]浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[20]Douglas Bates, Martin Mächler, Ben Bolker, and Steve Walker. Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67:1-48, 2015.

[21]Marek Hlavac. stargazer: Well-formatted regression and summary statistics tables, 2018. R package version 5.2.2.

[22]浅原正幸 and 加藤祥. 『現代日本語書き言葉均衡コー パス』書籍サンプルの読み時間の分析. In 日本語学会 2021 年度春季大会予稿集, pages 49-54, 2021.

[23]John Hale, Adhiguna Kuncoro, Keith Hall, Chris Dyer, and Jonathan Brennan. Text genre and training data size in human-like parsing. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 5846-5852, Hong Kong, China, November 2019. Association for Computational Linguistics.

[24]Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[25]吉田遼, 能地宏, and 大関洋平. 再帰的ニューラルネットワーク文法による人間の文処理のモデリング. In 言語処理学会第 27 回年次大会発表論文集, pages 273-278, 2021.

## A 付録

回帰式：

SPR_log_reading_time SPR_sentence_ID + SPR_bunsetsu_ID + SPR_word_length + DepPara_depnum

+ SPR_trial + WFR_subj_rate + (1 | SPR_subj_ID_factor $)+(1$ | BCCWJ_Sample_ID)

但し、OT は 1 回の試行のみのため SPR_trial は未定義、OT は係り受け情報が付与されていないため DepPara_depnum は未定義。

表 4 一般化線形混合モデルに基づく分析結果（OW 白書・OT 教科書・PB 書籍 $:$ 対数読み時間）

表 5 ベイジアン線形混合モデルに基づく分析結果（OW 白書のみ：対数正規モデル）


# How nearly random mutations to sentences affect their acceptabilities:

Preliminary quantitative analyses based on ARDJ data

Kow Kuroda ${ }^{1}$, Hikaru Yokono $^{2}$, Keiga Abe ${ }^{3}$, Tomoyuki Tsuchiya ${ }^{4}$, Yoshihiko Asao ${ }^{5}$,
Yuichiro Kobayashi ${ }^{6}$, Toshiyuki Kanamaru ${ }^{7}$, and Takumi Tagawa ${ }^{8}$
${ }^{1}$ Kyorin University, ${ }^{2}$ Meisei University, ${ }^{3}$ Wako University, ${ }^{4}$ Kyushu University,
 }^{5}$ National Institute of Communications and Information Technology, ${ }^{6}$ Nihon University, ${ }^{7}$ Kyoto University, ${ }^{8}$ Tsukuba University

\begin{abstract}
ARDJ s2u data consists of 300 sentences paired with acceptability ratings. Out of them, 36 are "originals" that were human-made and other 264 are their "mutations" that were generated either by nearly random replacement of a nominal, a verbal or a positional (e.g., case-marker) or by random swapping a pair of phrases (i.e., bunsetu) inside. This allows us to analyze effects of mutation systematically. With DBSCAN of the originals, layered analysis of mutation effects was carried out. Findings are: i) No mutations improve low acceptabilities; ii) The order of systematicity is: $\mathrm{p}<\mathrm{v}<\mathrm{n}<\mathrm{s}$; iii) The order of effect size is: $\mathrm{p}<$ $\mathrm{v}, \mathrm{n}, \mathrm{s}$, so that $\mathrm{n}-$, s-mutations often cause as large effects as v-mutation, or oven larger; iv) No simple dichotomy is possible between "acceptable" and "acceptable" sentences. Rather, their distinction is continuous and graded, so that (logistic) regression is a better modeling of the distinction.
\end{abstract
## 1 Introduction

Linguistics is concerned with acceptabilities of sentences, if not exclusively. But acceptability is an elusive notion $[1,2,3,4,5,6]$. Any group of linguists rarely agree on its theoretical definition, meaning that it is a highly theoryladen notion [7]. If its theoretical definition is somehow shared, its operative definition is virtually missing. The situation is still worse. Even if presume its definition is fine, we are still far from knowing what acceptabilities really are. No unbiased, large-scale collection of the required data has ever been done. In particular, we are far from fully understanding what modifications to a sentence bring about what effect, and to what degree, because data-driven study into this problem has never been done. What linguists know about acceptability suffers from "confirmationbias" $[8,9,10,11,12,13]$. This is the issue that dictates this research based on Acceptability Rating Data for Japanese (ARDJ for short) [14, 15, 16, 17, 18, 19].

ARDJ is a project of empirically-oriented language science, rather than mere linguistics, that attempts to implement the framework of randomized control trials in the field of linguistics, with sympathy for Evidence-based Medicine
(EBM) [20,21]. A crucial conviction that paved the way for ARDJ is that intuitions by experts (e.g., acceptability judgments by linguists) are valuable with no doubt, but they are too weak "evidence" to be treated as "facts"; rather, they are more or less reliable "guides."

The stimuli used in the ARDJ surveys comprise two kinds of sentences: 36 "originals" hand-crafted by humans and their "variants" generated by applying nearly random mutations on the originals. Mutations are only nearly random rather than fully random, because they have target sites, and values for replacement are chosen based on word2vec distributional similarities. See [16] for relevant details. Appendix A. 1 gives a brief summary. Effects of mutation can be systematically analyzed by comparing responses to the originals and their mutations.

## 2 Analysis and results

To make our analysis effective, we use PCA, tSNE with DBSCAN clustering, overplot, and KL-divergence-based heatmap/clustering. In $\$ 2.3 .1-\$ 2.3 .4$, analysis of effects of mutation is implemented as a layered analysis in which Clusters 1, 2, 3 and 4, are taken as four separate groups of data. Discarding the originals in Clusters 2, 3 and 4, KLdivergence-based analysis is performed on mutations to the originals in Cluster 1 in \$2.4. Lastly, effects are analyzed by exploring properties of mutation-wise KL-divergence heatmaps in $\S 2.5$.

## 2.136 originals and their attributes

ARDJ s2u data [17] has 36 "originals" presented in Figure $1,001,002, \ldots$, o36, with relevant attributes. Details are presented in §2.1. How this data was prepared is described in Appendix A. The originals are sorted decreasingly by $\mathrm{r} 01, \mathrm{r} 12$ values, and increasingly by $\mathrm{r} 23, \mathrm{r} 3 \mathrm{x}$ values. Only 32 originals have more than 2 mutations. So, the number of effective originals is 32 rather than 36 , as Figure 1 shows. The effective ones have $(8.31-1)$ mutations/variants on average, with a maximum of 16 and minimum of 4 .

Figure 1: $\mathbf{3 6}$ originals with attributes

The originals were clustered using DBCAN, giving us 4 clusters. $\$ 2.2$ deals with this result. The resulting clustering is laid out over a PC1-PC2 plane of PCA rotation and a Dim1-Dim2 plane of tSNE transformation. This gives us how the sentences are associated to each other.

## 2.2 Clustering of originals and all stimuli

Figure 2: PCA and tSNE of 36 originals

## 2.2.1 Clustering originals only

DBSCAN was used to cluster the 36 originals to identify 4 clusters, which are shown in PCA and tSNE plots in Figure 2. tSNE in Figure 2 suggests the existence of a unified dimension along which acceptability can be measured. The deviance of Cluster 2 from it can be accounted for its special nature described below.

## 2.2.2 Clustering all 270 stimuli

For comparison, we present clustering of all stimuli including the 36 originals described above. Figure 3 gives PCA and tSNE plots of DBSCAN clustering. Note that the setting for eps and minPts parameters here is independent from those for the parameters for the DBSCAN clustering of the 36 originals.

Figure 3: PCA and tSNE of all 270 stimuli

## 2.3 Layered Analysis

This clustering result seems natural in that clusterwise overplots in Figure 4 seem to capture both the similarities and dissimilarities quite well. Each cluster consists of instances with surprising similarities.

rating ranges
lustered by DBSCAN (eps $=$

rating ranges
DBSCAN (eps $=0$

Figure 4: Clusterwise ovwerplots of originals

Comparing with the data in Figure 1, we can safely conclude the following:

a. Cluster 1 identifies the group of "acceptable" stimuli, Cluster 4 the one of "unacceptable" stimuli, and Clusters 2 and 3 the ones of "ambiguous" stimuli, with different qualities.

b. Cluster 3 consists of 3 instances, 003, 011 and o24, that have a "split" decision, in that raters are split into two groups of those who accept them fully and those who reject them fully.

c. Cluster 4 consists of 3 instances, 001,007 and 032, that have a nearly "uniform" distribution of (un)acceptability along the range, though with a slight inclination toward acceptability.

With these distinctions among the originals, we can now turn to effectively analyzing the effects of mutation to answer the research question: how random mutations to sentences affect their acceptabilities, and to what extent.

## 2.3.1 Analysis 1a: Mutations to originals in Cluster 4

We start our analysis with the one of the mutations to the originals to Cluster 4, a relatively large cluster, having 13
members which can be labelled as "unacceptable" stimuli. This is because the effects are simple and can be characterized most easily.

Effects of mutation are analyzed in three visualizations, as shown in Figure 5: i) overplot of response profiles (in the leftmost column); ii) proportional distribution of range values after reordering; and iii) layout of DBSCAN clusters in a rotated geometry $G$.

Figure 5: Mutations to originals to Cluster 4 [4 samples]

In each analysis, stimuli are ordered by their range values. So, their positions relative to o in the legend roughly indicate if mutations increase or decrease acceptabilities.

As suggested by the plots in Figure 5, virtually no mutations improve the original acceptabilities. In addition, the response profiles, i.e., shapes of distribution, stay unchanged for most cases. So, there seems to be a rule like "once (made) deviant, always deviant." This finding is not truly surprising, let alone unexpected; yet, it deserves a mention because this is the first empirical confirmation of a truism on a large scale that has long awaited testing.

## 2.3.2 Analysis 1b: Mutations to originals in Cluster 3

Effects of mutations to cases in Cluster 3 are similar to the ones to stimuli in Cluster 4. Stimuli in Cluster 3 almost are almost never improved by any mutation, though, admittedly, we can hardly state generalizations safely because we have too few affected cases.

## 2.3.3 Analysis 1c: Mutations to originals in Cluster 2

Effects of mutations to cases in Cluster 2 are somewhat different from the ones to stimuli in Cluster 3. Unlike stimuli in Cluster 3, stimuli in Cluster 2 sometimes improve, though, again, we can hardly state generalizations safely

Figure 6: Mutations to originals to Cluster 3 [One case was dropped due to insufficient cases.]

due to having too few affected cases. It is interesting that o11 and o24 get more acceptable through certain mutations, though o03 does not possess such properties.

Figure 7: Mutations to originals to Cluster 2 [2 samples]

## 2.3.4 Analysis 1d: Mutations to originals in Cluster 1

Mutations to the originals in Clusters 2, 3 and 4 tell us virtually nothing interesting about how mutations affect acceptability, because we can hardly identify meaningful differences between mutations and their originals. This is not true of mutations to the originals in Cluster 1.

Mutation effects are different case by case, but generally speaking, we can observe the following:

a. Lexical changes (i.e., mutations to either $\mathrm{n}$ (ominals), v(erbals), or $\mathrm{p}$ (ositionals)) nearly always drop acceptability, while non-lexical changes (i.e., swapping) do not. Swapping often keeps the acceptability.

b. It is not true, at least not observed, that n-changes reduce acceptability more than $\mathrm{v}$-and $\mathrm{p}$-changes, as far as degree of deviance is measured.

c. Changes to $\mathrm{p}$ introduce only a slight amount of deviance, though it is unignorable.

d. Effects of mutation are diverse, in that the number of clusters recognized is greater than the ones in other clusters, Clusters 2, 3 and 4.

e. Mutations do not simply make sentences unacceptable, in that resulting profiles do not always look like those in the originals in Cluster

Figure 8: Mutations to originals to Cluster 1 [5 samples]

4. Rather, they look more like the originals in Cluster 3 or 2 . So, the effects of mutation are more subtle than researchers have guessed.

With their relative importance, cases in Cluster 1 deserve further exploration. We do it by analyzing them with KLdivergence cross-table.

## 2.4 Analysis 2: KL-divergence for originals to Cluster 1

The diagrams in Figure 9 are heatmaps of the 9 samples, taken in Figure 8, allowing us to make the following observations:

a. p- and v-mutations tend to cluster together, but not always.

b. swapping and n-mutations tend to lack systematic effects, though they often cause drastic deterioration.

## 2.5 Analysis 3: KL-divergence cross-table by mutation

Different types of mutation, i.e., p, v, $n$ and $s$, have different magnitudes of effects. To estimate them, we can use KLdivergence heatmaps, as shown in Figure 10.

If the contrasts between "hot" and "cool" areas are sharp, the magnitude of effects can be judged to be large. If the

Figure 9: KL-div. heatmaps for Cluster 1 cases [009, o08, $005,016,023,022,026,027,031]$

Figure 10: KL-div. heatmaps for mutation types [p, v, n, $\mathbf{s ,} \mathbf{0}]$

degree contrasts are spread, effects are unsystematic. With this criterion, we can conclude that i) the effect of $p$ mutations is least contrastive and most systematic; ii) that of $\mathrm{v}$ mutations is second least contrastive and rather systematic; iii) that of n mutations is second most contrastive and rather unsystematic; and iv) that of s mutations is most contrastive and most systematic. Note that the 36 originals are contrastive only because they are largely designed so.

## 3 Discussion and Conclusion

So, what are causes of reduced acceptabilities? With the results so far, we can now decide if we are able to answer this question. The most sincere answer to this would be: there is no simple answer to this question. What does this mean, then?

Simple dichotomy between "acceptable" and "unacceptable" kinds of sentences is too simple and unrealistic, though it is widely accepted and practiced in many areas of linguistics. What really matters about acceptabilities are response profiles (distributional pattern of responses) rather than categorical judgments, on the one hand, and regression to response profiles rather than binary classification (e.g., dichotomy $=$ categorical judgment), on the other. This is a conclusion compatible with the results in [15].

What do linguists need to do with this reality, then? We would suggest that the goals of linguistics should be redefined. Redefined goals include the construction of a mapping from sentences in textual form (e.g., values in s.text in Table 1) to response profiles (e.g., arrays of values [r01, r12, r23, r3x] in the table in Figure 1), yielding overplots in Figures 4. This can never be attained until large-scaled, bias-free databases like ARDJ are built for as many languages as possible. Until then, linguistics would never make itself an empirical science.

## Acknowledgements

This research was supported by JSPS through Grant-in-Aid (16K13223)

We are grateful for Shunji Awazu (Jissen Women's University), Asuka Terai (Future University of Hakodate) and Minoru Yamaizumi (Osaka University), who kindly helped our execution of Phase 1 of ARDJ Survey 2.

All statistic analyses were done on $\mathrm{R}$ version 3.6.3, a free statistical software developed by R Core Team .

## References

[1] Wayne Cowart. Experimental Syntax: Applying Objective Methods to Sentence Judgments. Sage Publishing, 1997.

[2] Ira A. Noveck and Dan Sperber, editors. Experimental Pragmatics. Palgrave Macmillan, 2005.

[3] Gary Dean Prideaux, Bruce L. Derwing, and William J. Baker. Experimental Linguistics: Integration of Theories and Applications. John Benjamins, 1979.

[4] Carson T. Schütze. The Empirical Base of Linguistics: Grammaticallity Judgments and Linguistic Methodlogy. Language Science Press/University of Chicago Press, 2016 [1996].

[5] Jon Sprouse. Three open questions in experimental syntax. Linguistics Vanguard, Vol. 1, No. 1, pp. 89-100, 2015.

[6] Jon Sprouse and Norbert Horstein. Experimental Syntax and Island Effects. Cambridge University Press, 2013.

[7] Holly P. Branigan and Martin Pickering. An experimental approach to linguistic representation. Behavioral and Brain Sciences, Vol. 40, 2017.

[8] Jonathan Baron. Thinking and Deciding. Cambridge University Press, 2000 [1988, 1994].

[9] H. W. Bierhoff and R. Klein. Expectations, confirmation bias, and suggestibility. In V. A. Gheorghiu, P. Netter, H. J. Eysenck, and R. Rosenthal, editors, Suggestion and Suggestibility, pp. 337-346. New York: Springer, 1989.

[10] Joshua Klayman. Varieties of confirmation bias. Psychology of Learning and Motivation, Vol. 32, pp. 384-418, 1995.

[11] Thomas Gilovich. How We Know What Isn't So: The Fallibility of Human Reason in Everyday Life. Free Press., 1993. [(日本語訳) 人間，この信じやすきもの: 迷信・誤信はどうして生まれるか. 新曜社.].

[12] David Robson. The Intelligence Trap: Why Smart People Do Stupid Things and How to Make Wiser Decisions. Hodder \& Stoughton, 2019.

[13] Stuart A. Vyse. Believing in Magic: The Psychology of Superstition. Oxford University Press, reprinted edition, 2000. [(日本語訳): 人はなぜ迷信を信じるのか: 思い込みの心理学. 朝日新聞社, 1999.].

[14] Kow Kuroda. Reassessing PCA of Acceptability Rating Data for Japanese (ARDJ) using kernel MVA. In Proceedings of the 26th Annual Meeting of Association of NLP, pp. 15231526,2020
[15] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Aaso, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Simulating acceptability judgments using ARDJ data. In Proceedings of the 27th Annual Meeting of Association of NLP, pp. 739-743, 2021.

[16] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Development of Acceptability Rating Data of Japanese (ARDJ): An initial report. In Proceedings of the 24th Annual Meeting of the Association for NLP, pp. 65-68, 2018.

[17] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Insights from a large scale web survey for Acceptability Rating Data for Japanese (ARDJ) project. In Proceedings of the 25th Annual Meeting for the Association of NLP, pp. 253-256, 2019.

[18] 黒田航, 阿部慶賀, 横野光, 土屋智行, 小林雄一郎, 金丸敏幸, 浅尾仁彦, 田川拓海. 容認度評定に影響する要因の定量的評価: 日本語容認度評定データ (ARDJ) から得られた知見. 日本認知科学会第 36 回大会発表論文集, pp. 727-736, 2019.

[19] 黒田航, 阿部慶賀, 粟津俊二, 寺井あすか, 土屋智行. ARDJ を基にした容認度評定値と反応時間の多変量解析と混合回帰分析. 認知科学会第 37 回大会発表論文集, pp. 919-928, 2020.

[20] G. Evidence-based Medicine Group [Guyatt, J. Cairns, and D. et al.] Churchill. Evidence-based medicine: A new approach to teaching the practice of medicine. Journal of the American Medical Association, Vol. 268, No. 17, pp. 2420 5, 1992 (Nov 4).

[21] David Isaacs and Dominic Fitzgerald. Seven alternatives to evidence based medicine. The British Medical Journal, Vol. 319, No. 7225, p. 1618, 1999.

## A Data preparation

## A. 1 Construction of stimuli

To make the outcomes of ARDJ truly empirical and useful, we need to employ as unbiased stimuli as possible. The best way to implement it is to employ automatic generation rather than relying too much on human intuitions. Random mutation in DNA sequences serves as a model. The basic idea is the following:

(4) Steps of randomized generation with targets

Step 1. Construct sentences, called "originals," $O=\left.\{o_{1}\right.$, $\left.o_{2}, \ldots, o_{n}\right.\}$ with or without deviance.

Step 2. Introduce random mutations to instances of $O$. Let $M$ denote the result.

Step 3. Mix $O$ and $M$ and use its subsets for acceptability rating tasks.

More details of Step 2 are given in the following:

(5) A) Random replacement of a lexical item under POSidentity (edit type: 1(exical)); B) Random replacement of a postpositional case-marker $(\mathrm{P})$ with another (edit type: $\mathrm{p}($ ositional)); C) Random positional exchange of a given pair of NPs (or PPs) (edit type: s(wapping)).

provided that items for replacement are selected on a predefined measure such as distributional similarity.

The first and second authors developed Python scripts to implement mutations of $\mathrm{A}-, \mathrm{B}-$ and $\mathrm{C}$-classes. They are provided at https://github.com/kow-k/ Japanese-sentence-mutators.

## A. 2 Surveys

By 2019, ARDJ completed two experiments. The first one, called "Survey 1," was carried out in 2017. It was intended to be a pilot study with only a limited variety of responders (roughly 200 college students only) on 200 sentences for stimuli. Kuroda et al. [16] reported on this survey. The second experiment, called "Survey 2," was carried out in 2018. This was the main study, with the stimulus set expanded to 300 with some overlap with Survey 1.

Survey 2 had two phases, Phases 1 and 2, and collected responses from 1,880 participants in total. Phase 1 was a small scale, paper-based survey, to which 201 participants (mostly all college or university students) contributed responses. This was comparable to the pilot study done in 2017. Phase 2 was a large scale web survey to which 1,679 participants contributed responses. They were significantly more varied in their attributes and we would safely state responses obtained were randomized enough. Survey 2 unified (s2u) data consists of unification of responses from Phase 1 and Phase 2. These data are freely available at https://kow-k.github.io/ Acceptability-Rating-Data-of-Japanese/, but you need to register to use them.

## A. 3 Collection of ratings/responses

On acceptability rating, participants were asked to choose one of the four choices in (6).

(6) 0. 違和感がなく自然に理解できる文 [natural and easy to understand]; 1. 違和感を感じるが理解可能な文 [more or less deviant but comprehensible]; 2. 違和感を感じて理解困難な文 [deviant and difficult to understand]; 3.不自然な理解不能な文 [quite unnatural and incomprehensible]

Prefixes 0, 1, 2 and 3 are added to indicate the degrees of deviance, though they need not be on a single scale.

Outlier responders were filtered out using standard deviation $(0.6<\mathrm{sd}<1.5)$ and Mahalanobis distance $(<0.95)$. See Kuroda et al [17] for relevant details.

## A. 4 Standardizing responses

Note that gr0, .., gr9 are different data sets, and cannot be directly compared. Comparison of them requires standardization. All groups were collapsed and responses were counted for each of the four rating ranges $r[0,1), r[1,2), r[2,3)$, and $r[3, \infty)$.

Table 1 shows 10 samples of this process. These raw counts were then converted into proportions to item-wise sums. This gave us density array, $P=$ $\langle p[0,1), p[1,2), p[2,3), p[3, \infty)\rangle$, as exemplified in Table 2. Note that allowed response values were $0,1,2$, and 3 . These numbers are reinterpreted as ranges $r[0,1), r[1,2)$, $r[2,3)$, and $r[3, \infty)$, respectively, where $r[i, j)$ means a sum of response counts between $i$ and $j$ with $i$ included and $j$ excluded. The converted arrays of ranged response probabilities in this format are to be called "response potentials." They are commensurable among groups with different sets of responders, and were used as effective encodings of the responses in a variety of analyses.

Table 1: Frequency table by ranges (6 samples)

Table 2: Density table by ranges (6 samples)


# 情報量に基づく日本語項省略の分析

石月由紀子 1 栗林 樹生 1,2 松林 優一郎 1,4 大関 洋平 3,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 東京大学 ${ }^{4}$ 理化学研究所
yukiko.ishizuki.p7@dc.tohoku.ac.jp,
\{kuribayashi,y.m\}@tohoku.ac.jp, oseki@g.ecc.u-tokyo.ac.jp

## 概要

日本語は英語などの言語と比べて項省略が生じやすい言語である. 本研究では，人がどのような基準で日本語の項省略を行うか，書き手の計算モデルについて探求する．具体的には，「書き手は読み手にとっての処理負荷を想定しながら文を書いており，後続要素の処理負荷をなるべく大きくしないように省略を行っている」という仮説を立てる．項に後続する単語系列の処理負荷の近似として言語モデルが計算するサプライザルを用いて分析を行い，結果として，後続する単語の処理負荷 (サプライザル) が大きくならないよう省略を行っているという，我々の仮説を支持する結果が得られた。

## 1 はじめに

言語を用いた情報伝達における主要な目的の一つは，情報を相手に正確に伝えることである。しかし，情報を正確に伝えるという目標に反して日本語では文要素の省略現象が頻繁に観察され，なぜ・どのようなときに省略が生じるのかは言語学的関心を集めてきた. どのような要素が省略可能・不可能であるかといった説明は長らく生成統語論で議論されてきたが $[1,2,3,4]$, 言語運用における実際の書き手の判断 (省略する儿ない) の傾向については分析が限られている.

本研究ではこのような書き手の省略判断の選好について，情報理論に基づくアプローチで説明を試みる. 情報理論的，確率的な説明は，省略や指示表現選択といった言語産出現象の説明としばしば相性がよく, これまでにも発話中の情報量の分布がなめらかになるような情報伝達を仮定する情報密度一様性 (UID) 仮説 $[5,6]$ や，人間の読み負荷とサプライザルの関係 [7] に基づいて，関係詞省略 [6] や縮約 [8], 格助詞の省略 $[9,10]$ などが分析されてきた.

本研究では，「書き手が読み手にとっての処理負荷を想定しながら文を書いており，後続要素の処理負荷をなるべく大きくしないように省略を行っている」という仮説を立てる. 読み手にとっての処理負荷の増大と，要素を省略しないことによる文の長さ (㔯長性) にはトレードオフがあり, 両方の要請を満たすには，処理負荷を増大させない範囲で省略を行うという戦略が妥当であると考えられる。例えば，「家のコーヒー豆が切れたので、デパートでコーヒー豆を買った」という文については，述語動詞の項 (コーヒー豆を)が省略されていても無理なく後続の情報 (買った) の解釈が可能であることから省略ができると考える。

実験では，動詞の項の省略に焦点を当て，項の省略とその省略によって引き起こされる後続文脈の処理負荷の変化の関係を調査した. 後続文脈の処理負荷については，サプライザル理論に則り，累積サプライザルの変化 (項が省略されたときに, 後続要素の驚きがどれほど増えるか) を観察する。述語項構造・共参照アノテーション付きデータを用い，テキスト上で省略されている項といない項について，その項の表出・省略によって引き起こされる後続単語の処理負荷の変化量を調査し,「後続する要素の処理負荷が増えないように省略を行っている」という仮説を支持する結果が得られた。

## 2 サプライザルによる処理負荷推定

人の読み処理や言語の産出過程については，計算心理言語学の視点から分析が行われている. 特に近年では，逐次的な単語の処理困難度と情報量の間の相関を説明するサプライザル理論 [7] が，読み時間のモデリング $[11,12]$ などに応用されている. サプライザルは, 先行文脈 $c=w_{1}, \ldots, w_{i-1}$ に続く単語 $w_{i}$ の出現確率について負の対数をとったものであり，

$
\operatorname{surprisal}\left(w_{i} \mid c\right)=-\log _{2} P\left(w_{i} \mid c\right)
$

によって求められる。 日本語においても，読み時間の長さとサプライザルの大きさに相関があることが示されている [13]. さらには，共参照 [14] やフラグメント [15] といった言語現象についても，サプライザルを用い情報量の観点で分析が与えられている。本研究では, 日本語の項省略について後続の語の読み処理負荷との関係を観察するために，サプライザルを用いて分析を行う。

## 3 方法

本研究での仮説は「書き手は読み手にとっての処理負荷を想定しながら文を書いており，日本語において自然に省略される項は，項の出現の有無によって引き起こされる後続単語の処理負荷の変化量が相対的に小さい」というものである. この仮説を検証するため，(1) まず予備実験的に，文章中に登場する述語の項を「自然に省略される項」と「自然には省略されない項」の2つのグループに分け，それぞれのグループで項を出現させた場合と項を出現させない場合を比べ，後続の語のサプライザルにどの程度の変化が現れるかを確認する。(2) その後，項省略に関連する可能性のあるその他の因子を交えて回帰分析を行い，実際に後続の語のサプライザルの変化量が書き手が項省略を起こすか否かの予測に寄与しているかどうかを検証する。

人手による実験用データの作成上記の検証を行うにあたっては，書き手が項を明示している事例と省略を行っている事例を区別したデータを作成する必要がある. 本研究では係り受け. 並列構造と述語項構造・共参照がアノテーションされた現代日本語書き言葉均衡コーパス (BCCWJ-DeparaPAS)[16] の書籍（PB）ドメインから述語項関係を持つ事例を抽出することでこのデータを作成した.

作成したデータの概略図を図 1 に示す。まず，文章中の述語の項について，書き手が項を明示している事例を (A) 項表出群 (付録表 3) とし，省略を行っている事例を (B) 項省略群 (付録表 4) とした. ガ， Э，二格の 3 つの表層格を対象とし, (A) 群，(B) 群共にそれぞれの格に対し，20 事例ずつ，計 120 の事例をサンプルした.

さらに，この事例に対して項の出現の有無による後続の語のサプライザルの変化を計算するために， (A) 項表出群については，明示されている項を削除した文を新たに作成した。一方で，(B) 項省略群については，省略された項を文内に補った文を作成し

図 1 (A) 項表出群と (B) 項省略群における後続文脈のサプライザル比較の概略図.(A) 群，(B) 群共に項が表出している場合と表出していない場合の文を作成し，項以降のサプライザル差を比較する

た.この場合の項の挿入位置は著者ら 3 名で合議の上，アノテーションされている述語項構造の意味が保たれてかつ，もっとも日本語として自然な文となる位置に定めた。作成の詳細な手順については付録 A に記した。

## 4 実験

## 4.1 実験設定

言語モデルサプライザルの計算には，新聞と日本語 wikipedia で学習した Transformer ベースの left-to-right 言語モデルの単語予測確率を使用した [17]. 3 節で作成した事例について，ターゲットとなる述語より前方 300 サブワードを前方文脈とし，前方文脈と対象述語を含む文をつなげたものを入力系列とした. 直前の語までの入力に基づいて計算される次の単語の予測確率を用いて項の出現位置以降の各単語のサプライザルを計算した1)．言語モデルの詳細は付録 D に示す.

## 4.2 予備実験

項の有無によるサプライザルの変化図 2 (1) は，文中のある述語の項を仮に出現させなかった場合の後続する単語列の処理負荷から, 出現させた場合の処理負荷を引いた値について，その傾向を示したものである。この値が大きいほど，項を出現させな

1）言語モデルの入力には，入力文を mecab と unidic で国語研短単位に分割し，それをさらに BPE (Bite Pair Encoding) によってサブワード化したものを用いた. サプライザルの計算時は国語研短単位ごとにサブワードのサプライザルの和を取った.

図 2 (1) は，項を表出させた時とさせないときの，項以降の単語のサプライザルの総和の変化を示す. (2) は，項以降の単語のサプライザルの総和の変化のうち，対象の述語動詞のサプライザルの変化を除いた值を示す. (1) における変化の大きさに比べ，(2)の変化の大きさが小さいことから，項を表出させるときの後続文脈の情報量の変化は主に対応する動詞で起きていることがわかる.

かった場合に，後続する情報の処理負荷が増大することを意味する．後続する単語列の処理負荷としては，具体的に項から文末までの単語のサプライザルの総和を用いた。

## テキスト上で省略されている項は省略しても後続 する処理負荷が増大しにくい 図中で，（A) 項表出群は書き手が実際に項を表出させた群であり，(B)項省略群は書き手が実際に項を省略させた群であ る. 図 2 (1) について (A) 群と (B) 群の結果を比較 すると，(A) 群の中央値が 2.24，(B) 群の中央值が -0.12 と, 項表出群のサプライザル差が項省略群よ り相対的に大きい値となった. また，この傾向はす べての表層格で同様に観測できた (付録 $\mathrm{C}$ を参照). つまり，書き手が省略を選択した群の方が，省略を 選択しなかった群に比べて，省略を行うことによっ て発生する後方単語のサプライザルの増加量が相対的に小さくなっている. この結果は「後方の単語の 読み処理負荷 ( $\propto$ サフライザル)を増大させないよう に書き手が省略する項を選択している」という仮説 を支持している。

処理負荷の増大は主に動詞で生じている具体的に後方のどの部分で主たるサプライザルの変化が起こっているかを観察したところ，事例の多くでター ゲットの動詞部分で相対的に大きな変化が見られた. 図 2 (2) は，後続文脈の処理負荷 (サプライザル変化の総和) のうち，対応する動詞のサプライザル変化を除いた量を示す. 項の後方から文末まで単語のサプライザル変化の総和 (図 2 (1)) のうち, 対象の述語動詞以外の部分のサプライザルの変化 (図 2 (2)) は小さい.このことから, 項の有無は後述の単語の中でも特に述語の処理負荷により大きな影響を与えていることが示唆され，述語のサプライザルが項省略の可否に関わることが予想される。このことをより精緻に分析するため，次節では回帰分析を行う。

## 4.3 回帰分析

前節 4.2 で示された述語のサプライザル差の影響について，項省略に関連する可能性のあるその他の因子を加えて回帰分析を行い，実際に後続の語のサプライザルの変化量が，書き手が項省略を起こすか否かの説明に寄与していることを確かめる。具体的には，述語動詞のサプライザル差以外に，以下の 6 つの因子を考慮し，コーパス上において書き手が項を省略させていたかどうかを目的変数とした回帰分析を行う. ${ }^{2}$

省略可能性に影響すると想定されるものとして，項の情報状態に関連する素性を 2 つ選択した。まず，先行研究 [13] より，名詞句の情報状態に伴う読み負荷の傾向がサプライザルでも再現されることが確認されていることから，項が新情報か旧情報かを近似的に表現する素性として (1) 項名詞句のサプライザルを用いた．加えて，(2) 項名詞句と共参照関係にある名詞句が項の挿入位置よりも前に存在するかどうかを素性とした。さらに，述語項構造解析で使用される基本的特徴量として，(3) 項名詞句の長さ，(4) 項を含む文の長さ, (5) 項が何文目に出現するか，(6) 項と述語の単語距離を選定した (表 1).

省略可能性とサプライザル構築したモデルの回帰式を式 2 に示す。

$
\begin{aligned}
& \text { dep_zero } \sim \text { diff_verb_spr }+ \text { arg_spr } \\
& +l_{\text {_arg }}+\text { arg_eq }+l_{\text {_sent }} \\
& + \text { appearance + arg2verb }
\end{aligned}
$

推定結果を表 2 に示す。選択された説明変数のうち，有意水準 $5 \%$ において帰無仮説を棄却し，有意性が認められた素性は，(a) 述語動詞のサプライザル差, (b) 項のサプライザル， (c) 項と述語の単語距離の 3 つであった. (a)より，他の素性を考慮してもなお，述語動詞のサプライザルの変化が小さいほど

2）これらの素性はステップワイズ法によって選定し，素性間に強い相関がないことを確認した。
表 1 回帰分析に用いた素性の一覧

 \\

省略されやすいという傾向が示された。(b) については，読み手にとって出現が予測しやすい項ほど省略されやすいという傾向が観察され，旧情報のもつ情報量が小さいことを想定すると，旧情報ほど省略されやすいという言語的直観と一致する。 (c) 動詞と離れている項が省略されやすいという傾向については，関連する語同士は近くに配置されるという言語一般的な傾向を踏まえると，述語との関連が弱い単語ほど省略されやすいということを示している. また，主題や主語など，文頭の要素が省略されすいという傾向と一貫する.

## 5 議論

今回は項と後続要素との関係に着目してサプライザルを比較したが，今回説明変数に組み込まなかった部分においても議論の余地が残されている. 例えば，そもそも書き手が通常あまり書かれないような稀な情報を記述したい場合は，その情報を記述すれば記述するほど文のサプライザルは上昇するのであり，その場合，項を省略すればするほど全体のサプライザルは低下することになる。しかしながら，著者が伝えたい情報が真にそれであるならば，情報を省略することはできない. したがって，理想的には，書き手が伝達したい情報が十分に読み手に伝わるという制約条件の元での読み手の処理負荷最小化問題といったような問題の定式化が望まれる。今表 2 回帰分析の結果. $P|z|$ における*の数は，係数が 0 であるという帰無仮説を有意水準 $90 \%(*), 95 \%(* *)$, $99 \%$ (***)で棄却したことを示す.

後は，そのような制約付き問題の分析の第一歩として，分析対象の項が新情報であるか旧情報であるかを明確に区別したデータ上で同様の分析を行うことを検討する。

また，「項省略によって大きくなる述語動詞の情報量が，省略によって小さくなる項自体の情報量を上回る場合には省略ができない」という UID の観点からの解釈も興味深く，UID の観点を含めた更なる分析は今後の課題としたい.

## 6 おわりに

本研究では，読み時間や縮約などの現象に関する既存研究で導入されていたサプライザル理論を日本語項省略の分析に拡張し, 情報量の観点から人がどのような基準で項省略を行うかという書き手の計算モデルを探索した。結果として，項の有無によるサプライザルの変化を分析した結果，書き手が省略を選択する項は，省略しないことを選択する項と比べて, 省略することで発生する後方の単語の読み処理負荷の変化量が相対的に小さくなるという仮説を裏付ける結果が得られた. また，回帰分析の結果から，省略を行うことで発生する述語動詞のサプライザルの増加量が項省略の因子として存在することが明らかになった. 今後は分析対象のデータの規模の拡大や，より多くの素性を考慮した分析を行うことを目標としたい。これに加え，人にとっての「自然な省略」を定量化するため，個々人で省略するかしないかの判断の摇れが生じる可能性のある項の事例について，省略の自然さに関する人間のアグリーメントを取ることを検討している。

## 謝辞

本研究は，JSPS 科研費 JP19K12112，JP20J22697， および JST さきがけ JPMJPR21C2 の支援を受けたも

のです.

## 参考文献

[1] S.-Y. Kuroda. Whether we agree or not. Lingvisticae Investigationes, Vol. 12, pp. 1-47, 11988.

[2] Mamoru Saito. Notes on east asian argument ellipsis. LANGUAGE RESEARCH, Vol. 43, pp. 203-227, 2007.

[3] Mamoru Saito. (a) case for labeling: Labeling in languages without $\phi$-feature agreement. Linguistic Review, Vol. 33, pp. 129-175, 22016.

[4] Serkan Sener and Takahashi Daiko. Argument ellipsis in japanese and turkish. MIT Working Papers in Linguistics 61 : Proceedings of the 6th Workshop on Altaic Formal Linguistics : Department of Linguistics and Philosophy. MIT, pp. 325-339, 2010

[5] T Jaeger and Roger Levy. Speakers optimize information density through syntactic reduction. Vol. 19, pp. 849-856. MIT Press, 2007.

[6] T Florian Jaeger. Redundancy and reduction: Speakers manage syntactic information density. Cognitive Psychology, Vol. 61, pp. 23-62, 82010.

[7] John Hale. A probabilistic earley parser as a psycholinguistic model. pp. 159-166, 2001.

[8] Austin F. Frank and T. Florain Jaeger. Uc merced proceedings of the annual meeting of the cognitive science society title speaking rationally: Uniform information density as an optimal strategy for language production permalink speaking rationally: Uniform information density as an optimal strategy for language production. Proceedings of the Annual Meeting of the Cognitive Science Society, Vol. 30, p. 30, 2008

[9] Chigusa Kurumada and T Florian Jaeger. Communicative efficiency in language production: Optional case-marking in japanese. Journal of Memory and Language, Vol. 83, pp. 152-178, 122015.

[10] ELISABETH NORCLIFFE and T. FLORIAN JAEGER. Predicting head-marking variability in yucatec maya relative clause production. Language and Cognition, Vol. 8, pp. 167-205, 62016.

[11] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto. Reading-time annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684-694, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[12] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. ACL-IJCNLP 2021 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, Proceedings of the Conference, pp. 5203-5217, 2021.

[13] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づいた統一的な解釈. 言語処理学会第 27 回年次大会発表論文集, pp. 723-728, 2021.

[14] Laura Aina, Xixian Liao, Gemma Boleda, and Matthijs
Westera. Does referent predictability affect the choice of referential form? A computational approach using masked coreference resolution. CoRR, Vol. abs/2109.13105, , 2021.

[15] Robin Lemke, Ingo Reich, Lisa Schäfer, and Heiner Drenhaus. Predictable words are more likely to be omitted in fragments-evidence from production data. Frontiers in Psychology, Vol. 12, p. 2266, 72021.

[16] 浅原正幸, 大村舞. Bccwj-depparapas: 『現代日本語書き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会第 22 回年次大会発表論文集, pp. 489-492, 2016.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998-6008, 2017.

[18] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of EMNLP, pp. 66-71, 2018.

## Ａ検証に用いたデータの作成手法

本研究では係り受け. 並列構造と述語項構造・共参照がアノテーションされた現代日本語書き言葉均衡コーパス (BCCWJ-DeparaPAS) [16] の書籍（PB）ドメイン 83 ファイルを用いて検証を行った，コーパスには，名詞句相当の単語に項 id が付与され, 述語相当の単語に NTC 形式の属性，及び項との関係が付与されている. ゼロ代名詞については, ga_dep="zero"というようなタグ付けがされている. 項の格助詞については，コーパス上における格属性のうち，ガ格， ヨ格，二格の 3 パターンを対象とし，述語に関しては本研究では用言述語のみを対象とした。また，用言述語のうち，する，ある，なるのような機能性の強い語については, 予め除外した. さらに, 各群について項の格パターンに分類した上で，ガ格，二格，ヨ格それぞれ 20 サンプルを無作為に抽出した. まず，(A) 項表出群については，コーパス上で表出している項を消去したデータを作成した。続いて (B) 項省略群については，コー パス上で省略されている項を元文に補填したデータを作成した. その際，補填する項の格助詞については，例えば主格「僕が」を「僕は」に変更するような表出形の変化を許容し，その插入位置は著者ら 3 名で合議の上，元文の述語項構造において自然と感じる位置に補填した。

## B 作成したデータの例

表 3 (A) 項表出群のデータ作成例

(BCCWJ:00003_A_PB59_00001)

 \\

表 4 (B) 項省略群のデータ作成例

(BCCWJ:00001_A_PB12_00001)

 \\

## C 予備実験の結果

図 3 述語の項を出現させなかった場合の項から文末の単語のサプライザルの総和から，仮に出現させた場合の項以降の単語のサプライザルの総和を引いた値に関する表層格間の比較.

## D＼cjkstart言語モデルハイパーパラメータ

Transformer 日本語言語モデルを，500万文(日本語 Wikipedia と新聞) で学習し, 100,000 回アップデート後のチェックポイントを用いた. 日本語テキストは，アノテーションデータとの分割の一貫性を保つため，一度国語研短単位に分割した後, BPE でサブワードに分割し $た^{3)}$.

表 5 言語モデルのハイパーパラメータ.

 &  &  \\

3） SentencePiece [18] を用い，文字の網羅率を 0.9995 , 語彙数を 100,000とした.