# 構造的曖昧性に基づく読みづらさの検出

吉田あいり 河原大輔
早稲田大学理工学術院
yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp

## 概要

日本語文の読みづらさを定量的に評価することを 目的とし,構造的曖昧性を活用した手法を提案する。漸進的要素を組み入れ, BERT による構文解析の結果を用いて評価する. ベースラインには言語モデル による尤度 (サプライザル)を用いて, 読みづらさの 正解データはクラウドソーシングにより文ぺアに対 して複数人の回答を収集したものを使用する. 2 種類の方法で作成したデータにて評価を行い, 提案手法はベースラインに対して有意な結果を得た。

## 1 はじめに

テキストを読む機会は多く,文が読みやすいこと は消費される時間の短縮以外に読者の理解度の向上 にもつながる. そのため, 文の情報を損なわない読み やすい文が必要とされる. 本研究では執筆支援シス テムにおいて想定される読点の挿入や語順整理と いった文の読みやすさの改良の前段階として, 自動的に読みづらい文を検出することを目的とする。

人間における読みづらさは主に読み時間で評価さ れ, 計算機においては言語モデルを用いて計算され る負の尤度であるサプライザルで評価される [1]. こ れは予想と異なる内容が現れた際に読み負荷が高ま るというサプライザル理論に基づいている $[2,3]$. こ こに日本語特有の要素を考慮することで, 本研究で は日本語に適した読みづらさの検出を目指す。

日本語の逐次的な読みやすさにおける先行研究に て, 先行文脈に係り元が多い文節ほど読みやすいこ とや読み間違いが読み負荷を高めることがわかって いる. 例えば, 文 (1) [4] は「男性を」の部分で再解釈 に要する読み時間が増加する。

（1)警官が犯人を捕まえた男性を...

本研究では構造的曖昧性に着目し, 漸進的構文解析結果と係り先の保留のプロセスを利用して読みづ らさの検出を行う。

## 2 関連研究

## 2.1 読みやすさの分析

人間の読みづらさは読み時間を用いて評価されて おり, 読み時間を主軸とした分析がされる. 日本語の 読み時間データは BCCWJ-EyeTrack が整備され, 先行文脈に係り元文脈が多い要素ほど読み時間が短く なるということが分析されている [5]. また, 日本語 の読解時間と統語・意味カテゴリの対比分析におい ても関連する先行文脈が読み時間の減少に関与する こと [6] や, 文の意味的曖昧性の高さが構造的曖昧性の解消/保留に影響することがわかっている $[4,7]$.他にも個別の言語現象が読み時間に与える影響に対 して分析が行われている $[8,9]$.

これらは読みやすい文における知見ではあるが，統一的な傾向は定かではない. そこでサプライザル 理論に基づいて, 日本語読み時間に関する傾向がサ プライザルが大きいところで読みにくくなるという 傾向に統一的に解釈できるかという仮説検証がなさ れた [10]. 読み時間の様々な傾向がサプライザルで も再現され, 情報量の観点から解釈できることが示 されている。

## 2.2 ガーデンパス効果

読み時間が増加する要素の 1 つとしてガーデンパ ス (GP) 効果がある.これは, 文の理解の途中で一時的に誤った解釈をし, 続きを読んだ際に誤解に気づ いて解釈をし直す事になるが，この再解釈により発生する処理負荷や読み直しにかかるコストにおける 効果である. 文理解の初期段階で曖昧性を解消しよ うとするために, 結果として誤解釈が発生する.この 効果がもたらす構造的曖昧文の性質は言語の構造に より異なることが分析されている [11]. GP 文は最後 まで解釈が曖昧な場合もある. 例えば，「かわいい少女の猫」の「かわいい」が修飾するのはこの部分の みでは決定できない。

## 2.3 単語親密度

本研究では構造要素による読みづらさに着目する ために, 単語難易度による影響を減らす工夫が必要 である. WLSP-familiarity ${ }^{1)}$ は「分類語彙表」増補改訂版データベースに親密度情報を付与したもの [12] であり, 見知らぬ単語による読みづらさを軽減する ためにこれを用いてフィルタリングを行う.

## 2.4 漸進的係り受け解析

人間の言語理解過程には漸進性があり, 音声言語 アプリケーションの基盤技術として漸進的係り受け 解析技術の研究がなされている [13]. 言語処理過程 のデータを構築・分析することにより人間の漸進的係り受け解析能力や入力予測能力の解析がなされて いる $[14,15]$. 逐次処理を行うために, 係り先を未入力部分と見做し, 未大力の中でも同一文節であるの かまで考慮してアノテーションが行われている.人間の言語理解には漸進性がある [16] が, 特に音声で は大力と同時に処理することが求められ, 漸進的言語処理システムが開発されている. 本研究ではテキ ストに漸進性を組み込むことで, GP 効果等の特徴を 考慮する。

## 3 構文解析

読みづらさを検出するために, 構造的に曖昧な文 を示すラベル付きデータなしで活用できる機械学習 を用いた構文解析を行う。

## 3.1 BERT に基づく構文解析

BERT を活用し, 日本語構文解析の精度を向上さ せる手法 (BERTKNP) が提案されている [17]. 構文解析を head [18] の選択と見なすことによりBERTに 1 層追加する形で実装を行っている. 事前学習された モデルを活用することで, 大量の生コーパスを利用 し構文解析の精度向上を達成している。

## 3.2 漸進的構文解析手法

BERT による構文解析に漸進的な視点を入れるこ とで, 人間が読む際の要素を追加する. 単語ごとに係 り受けのアノテーションがなされた文 (Original) に 対して, 単語が 1つずつ入力される過程 (Slided) を考 えていく.ある単語が入力されるまでの部分におけ る, 係り受け構造を学習データとして作成する. 入力


図 1: 漸進的構文構造データ作成

される単語数を 1 ずつずらしていくことで漸進的な データを実現する. 図 1 のように Slided の入力は文 の途中までであり, 未入力部分に係る単語も存在す る. その場合は係り先を特定単語ではなく,未決定 ([UND]) と指定する [14]. 単語ごとにずらして作成 した文は Original に対しての分量が非常に多くなる ため, Slided について過学習を起こす可能性がある. そこで Slided には $\mathrm{n} \%$ の制限を設ける. どの程度漸進的データを追加するべきかとシャッフルの必要性は 予備実験にて確認する.

## 3.3 解析結果

漸進的構文解析において適切な漸進的データ量を 確認するために, 実験の結果を表 1 に示す. 精度は単語単位での精度と文単位の精度の平均の 2 通りで算出した. 加えて [UND] の再現率も測定した. 日本語 BERT は NICT BERT 日本語 Pre-trained モデル2)を使用した. fine-tuning には京都大学テキストコーパス (新聞) と京都大学ウェブ文書リードコーパス (ウェ ブ) の 2 種類を混合したコーパス約 5 万文を使用し，元論文にならい 3 epoch 回した. また, 評価には京大 コーパス約 4,000 文を使用した.

京大コーパスにおいては加工しない BERTKNP が一番精度が高い. 漸進的要素を加えた Slide All (Orig+Slided 100\%) においては元のデータに $5 \%$ 混合 したデータを用いて学習したモデルが一番精度が 良く, 再現率は $50 \%$ 混合した場合が良い值となった。 また, 予測精度と再現率はデータをシャッフルする ことによる悪影響を受けることがわかった. 漸進的 データの追加は精度の向上に直結しない上, 計算資源と時間を消費する. 本研究では, 精度を重視して 5\%のみ追加したデータで fine-tuning したモデルを用 いてこれ以降の実験を進める。

表 1: 漸進的構文解析の精度

表 2: 各データの文ペア数

## 4 実験

## 4.1 正解データ作成と評価方法

読みづらさの正解データを作成するために, 京大 コーパスに前処理として単語親密度によるフィルタ リングを行い, 親密度が負のスコアを持つ形態素を 含む文を除外した. また, 形態素数が 20 に満たない 文も除去し, 形態素数が 20 から 30 のものと 30 以上 のものに分割後, 文長によるソートを行ってから文字数順に 2 文のペアを作成した. これにより, 単語難易度による難読性を排除した上で, 文長だけでなく 形態素数の近い分ペアを作成している.このペア文 の比較による評価を行う. Yahoo!クラウドソーシン グにより 1 ペアに対して 10 人の回答をフィルタリ ングされた 322 文について収集した. 2 文のうちど ちらが構造的に読みづらいかという質問に対して, [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の 3 つの選択肢を用意した.

文法構造を考慮した読みづらさとして以下の 2 つ の要素を挙げ,これに基づき評価させた。

1. 複数の解釈ができる

2. 理解に反復が必要となる

収集データから 2 種類の正解データを作成し, そ れぞれのデータにおいて評価を行う.作成された正解データのペア数を表 2 に示す.

多数決 10 人中 $\mathrm{n}$ 人の回答が一致したぺア文を 正解データとする. 例えば, [文 $\mathrm{A}$, 同等, 文 B] の回答数が $[6,3,1]$ の際は, $\mathrm{n}=5$ の場合は文 $\mathrm{A}$ が読みづらい データとして採用され, $\mathrm{n}=7$ の場合は使用しない. 評価は [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の全ての精度により行う.

平均 [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の回答を $[-1,0,1]$ の数値と 見なして各回答数の和をスコアとする. 閾値 $\mathrm{m}$ を使用し, $[-10,-m),[-m, m],(m, 10]$ をそれぞれの回答 として分類する. $\mathrm{m}$ の値は難易度の判別がつかない 文ペアが十分除かれたものを選択する. 正負でスコ アリングしているため, [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の 回答数 が $[2,7,1]$ と $[5,1,4]$ の場合のスコアはどちらも-1 と なる. 従って, 同等である回答が多くとも判別できな いため, 文 $\mathrm{A} \cdot \mathrm{B}$ のどちらが読みづらいかのみを扱 い, 同等なものは除外した精度により評価する。

多数決・平均手法共に, $\mathrm{n} / \mathrm{m}$ を大きくするほど確実 に読みづらい文ぺアを取得できるが, 使用できるぺ ア数が減少するため適当な $\mathrm{n} / \mathrm{m}$ を抽出した.

## 4.2 読みづらさの検出方法

本研究では,作成した漸進的データを用いて学習 した構文解析モデルによる解析結果から係り先が未決定 ([UND]) である数を長さで正規化したものを読 みづらさのスコアとする. 人間の言語理解の漸進性 を取り入れた上で, 係り受け構造の保留により受け る読みづらさを考慮している. 本研究では 2 文のど ちらが読みづらいかまたは同等であるかを正解とし て扱うが, スコアは数値で算出される. そこでスコア の差分を取り, その絶対値が閾値以下のものを同等 である場合として評価する. 間値は精度が最も高く なる値を選んだ。

ベースラインにはサプライザルとして $-\log p(x \mid$ 先行文脈）を使用する. 実装では-log_softmax を使用 した. サプライザルは尤度の反転であり,これが大き いほど読みづらいと言える.これを計算するために 言語モデル $\mathrm{GPT}-2^{3)}$ を利用した.こちらもスコアの差分から同等である場合の評価を行った。

## 4.3 結果

表 3 に各データにおける精度の結果を示す. 正解 は漸進的構文解析が全て正しく付与されたデータを 用いて算出した精度である. 提案手法は多数決と平均どちらのデータに対しても読みづらい文の検出を することができた. 確実に難易度に差があると判断 された文ぺア (多数決 $n=7$, 平均 $m=3$ ) に対しては特 に有意な差が現れた。

3) https://huggingface.co/colorfulscoop/gpt2-small-ja
表 3: 読みづらさ検出の精度

(a) 各単語長でのカウント

(b) 各単語長での累積図 2: [UND] 数の比較

## 5 考察

## 5.1 難しい文と平易な文

構造的に難しいと判別された文の特徴として主語 が省略されているものや, 並列構造等が見られた. 文長が短いために一定数主語が無い文が存在してお り,これらを排除することでより構造に焦点を当て た実験を行うことができると考えられる. また, 長い 名詞句やカタカナは中身を読まずに塊であると判別 できるため簡単と評価される傾向があった.

ここで, 図 2 にて難易度判定により有意な差を得 た文における係り先未決定の動きを見る. 以下の文 (2a) は 10 人中 9 人が読みづらい文として選択し, 1 人が同等であると回答した.

（2）a.しかし、旧民社党は大半の議員が新進党に 参加し、さきがけとの連携も流動的で連携相手は不確定だ。

b.初期の警察署が置かれたセントラル地区の ハリウッド通りには、インド料理店やイン ド系企業が多い。

(2b) は大力に適宜係り先が決定されているが, (2a) は保留されていることがわかり, 文の構造的難易度 により未決定数に差が生じることが確認できる.

## 5.2 読みづらさの正解データ作成

多数決方式の $\mathrm{n}=5$ においては [文 $\mathrm{A}$, 同等, 文 B] の 回答数が $[1,4,5]$ の様な回答が存在し, 小さい $\mathrm{n}$ に対 しては難易度の定まらない文が混在していると考え られる. 平均方式はこの欠点はカバーできるものの，同等の文に対しての評価ができなくなる。

多数決方式にて $\mathrm{n}$ の値により収集される文ペアを 見ていく. $\mathrm{n}=5$ の例として (3), $\mathrm{n}=7$ の例として (4)を 示す. (3a)と (4b) が読みづらい文である.

（3）a.九七年まで村山政権が続くのは安定かもし れないが、確信を持って政治がやれるのか。

b.この時は大分舞鶴がロスタイムに入って追 いつき、抽選で長崎北陽台が決勝に進んだ。

（4） a.同県警では、県警山岳救助隊など約七十人で捜索したが、午後五時、捜索を打ち 切った。

b.本に囲まれ、埋もれ、重みで床が抜けそう だ、と心配するような生活にあこがれて いる。

(3) は文構造が似通っており難易度にさほど差が 感じられないが, (4b) には並列構造が見られ, 係り先 の理解に時間を要する. $\mathrm{n}$ をきくすることで確か に難易度差がある文ぺアを取得している。

## 5.3 校正における活用

構造的曖昧性の絶対評価は難しく, 本研究では 2 文の比較による評価を行った. 難易度のスコアはサ プライサルと提案手法のどちらも各文ごとに付与し ている.そのため読みづらいと判別された文のスコ アの平均・分散における解析が, その文単体での難易度の判別に繋がる.これを用いて難しい文の指摘 を行うことで筆者による修正や自動書き換え等の校正への活用が見込まれる。

## 6 終わりに

日本語構造に着目した読みづらさの検出を行なつ た. 漸進的構文解析による, 未入力文脈への係り構造 を利用することで, サプライザルに比べて構造的に 読みづらい文の検出を行うことができた. 今後は構文解析結果の top-K 比較による構文確率の比較や語義曖昧性への拡張などによる読みづらさの検出を検討する. また, 特定の曖昧性に的を絞った正解データ の用意は困難であり, 収集方法も改善の余地がある.

## 参考文献

[1] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverse-engineering converges on a model for predictive processing. bioRxiv, 2020.

[2] John Hale. A probabilistic earley parser as a psycholinguistic model. In Proceedings of the Second Meeting of the North American Chapter of the Association for Computational Linguistics on Language Technologies, NAACL '01, p. 1-8, USA, 2001. Association for Computational Linguistics.

[3] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, 2008.

[4] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響 (2). 日本認知心理学会発表論文集, Vol. 2011, pp. 74-74, 2011.

[5] 浅原正幸, 小野創, 宮本 エジソン正. Bccwj-eyetrack :『現代日本語書き言葉均衡コーパス』に対する読み 時間付与とその分析. 言語研究, No. 156, pp. 67-96, 2019.

[6] 浅原正幸, 加藤祥. 読み時間と統語・意味分類. 認知科学, Vol. 26, No. 2, pp. 219-230, 2019.

[7] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響. 日本認知心理学会発表論文集, Vol. 2010, No. 0, pp. 81-81, 2010.

[8] Masayuki Asahara. Between reading time and clause boundaries in japanese- wrap-up effect in a head-final language一日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. Journal of Natural Language Processing, Vol. 26, pp. 301-327, 06 2019.

[9] Masayuki Asahara. Between reading time and the information status of noun phrases 名詞句の情報の状態 と読み時間について. Journal of Natural Language Processing, Vol. 25, pp. 527-554, 122018.

[10] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会 第 27 回年次大会発表論文集, pp. 723-728, 2021.

[11] 井上雅勝. ガーデンパス現象に基づく日本語文理解過程の実証的研究. 大阪大学博士論文, 2000.

[12] 浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, Vol. 27, No. 1, pp. 133-150, 2020.

[13] Tomohiro Ohno and Shigeki Matsubara. Dependency structure for incremental parsing of Japanese and its application. In Proceedings of the 13th International Conference on Parsing Technologies (IWPT 2013), pp. 91-97, Nara, Japan, November 2013. Assocation for Computational Linguistics.

[14] 大野誠寛, 松原茂樹. 漸進的係り受け解析の出力構造一人間の文解析過程のアノテーション-. 言語処理学会 第 22 回年次大会 発表論文集, pp. 457-460, 2016.

[15] 後藤亮, 大野誠寛, 松原茂樹. 人間の漸進的言語処理能力の分析. 情報処理学会 第 82 回全国大会, pp. 457-458, 2020.
[16] Gerry Altmann and Mark Steedman. Interaction with context during human sentence processing. Cognition, Vol. 30, No. 3, pp. 191-238, 1988.

[17] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, pp. 205-208, 2019.

[18] Xingxing Zhang, Jianpeng Cheng, and Mirella Lapata. Dependency parsing as head selection. In EACL 2017, pp. 665-676, 2017.
 吉田あいり 河原大輔 早稲田大学理工学術院 yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp  