# 情報量に基づく日本語項省略の分析

石月由紀子 1 栗林 樹生 1,2 松林 優一郎 1,4 大関 洋平 3,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 東京大学 ${ }^{4}$ 理化学研究所
yukiko.ishizuki.p7@dc.tohoku.ac.jp,
\{kuribayashi,y.m\}@tohoku.ac.jp, oseki@g.ecc.u-tokyo.ac.jp

## 概要

日本語は英語などの言語と比べて項省略が生じや すい言語である. 本研究では，人がどのような基準 で日本語の項省略を行うか，書き手の計算モデルに ついて探求する．具体的には，「書き手は読み手に とっての処理負荷を想定しながら文を書いており，後続要素の処理負荷をなるべく大きくしないように 省略を行っている」という仮説を立てる．項に後続 する単語系列の処理負荷の近似として言語モデルが 計算するサプライザルを用いて分析を行い，結果と して，後続する単語の処理負荷 (サプライザル) が大 きくならないよう省略を行っているという，我々の 仮説を支持する結果が得られた。

## 1 はじめに

言語を用いた情報伝達における主要な目的の一 つは，情報を相手に正確に伝えることである。しか し，情報を正確に伝えるという目標に反して日本語 では文要素の省略現象が頻繁に観察され，なぜ・ど のようなときに省略が生じるのかは言語学的関心を 集めてきた. どのような要素が省略可能・不可能で あるかといった説明は長らく生成統語論で議論され てきたが $[1,2,3,4]$, 言語運用における実際の書き 手の判断 (省略する儿ない) の傾向については分析 が限られている.

本研究ではこのような書き手の省略判断の選好に ついて，情報理論に基づくアプローチで説明を試み る. 情報理論的，確率的な説明は，省略や指示表現選択といった言語産出現象の説明としばしば相性が よく, これまでにも発話中の情報量の分布がなめら かになるような情報伝達を仮定する情報密度一様性 (UID) 仮説 $[5,6]$ や，人間の読み負荷とサプライザル の関係 [7] に基づいて，関係詞省略 [6] や縮約 [8], 格助詞の省略 $[9,10]$ などが分析されてきた.

本研究では，「書き手が読み手にとっての処理負荷を想定しながら文を書いており，後続要素の処理負荷をなるべく大きくしないように省略を行って いる」という仮説を立てる. 読み手にとっての処理負荷の増大と，要素を省略しないことによる文の長 さ (㔯長性) にはトレードオフがあり, 両方の要請 を満たすには，処理負荷を増大させない範囲で省略 を行うという戦略が妥当であると考えられる。例 えば，「家のコーヒー豆が切れたので、デパートで コーヒー豆を買った」という文については，述語動詞の項 (コーヒー豆を)が省略されていても無理なく 後続の情報 (買った) の解釈が可能であることから省略ができると考える。

実験では，動詞の項の省略に焦点を当て，項の省略とその省略によって引き起こされる後続文脈の処理負荷の変化の関係を調査した. 後続文脈の処理負荷については，サプライザル理論に則り，累積サプ ライザルの変化 (項が省略されたときに, 後続要素 の驚きがどれほど増えるか) を観察する。述語項構造・共参照アノテーション付きデータを用い，テキ スト上で省略されている項といない項について，そ の項の表出・省略によって引き起こされる後続単語 の処理負荷の変化量を調査し,「後続する要素の処理負荷が増えないように省略を行っている」という 仮説を支持する結果が得られた。

## 2 サプライザルによる処理負荷推定

人の読み処理や言語の産出過程については，計算心理言語学の視点から分析が行われている. 特に近年では，逐次的な単語の処理困難度と情報量の間の 相関を説明するサプライザル理論 [7] が，読み時間 のモデリング $[11,12]$ などに応用されている. サプ ライザルは, 先行文脈 $c=w_{1}, \ldots, w_{i-1}$ に続く単語 $w_{i}$ の出現確率について負の対数をとったものであり，

$
\operatorname{surprisal}\left(w_{i} \mid c\right)=-\log _{2} P\left(w_{i} \mid c\right)
$

によって求められる。 日本語においても，読み時間 の長さとサプライザルの大きさに相関があることが 示されている [13]. さらには，共参照 [14] やフラグ メント [15] といった言語現象についても，サプライ ザルを用い情報量の観点で分析が与えられている。本研究では, 日本語の項省略について後続の語の読 み処理負荷との関係を観察するために，サプライザ ルを用いて分析を行う。

## 3 方法

本研究での仮説は「書き手は読み手にとっての処理負荷を想定しながら文を書いており，日本語にお いて自然に省略される項は，項の出現の有無によっ て引き起こされる後続単語の処理負荷の変化量が相対的に小さい」というものである. この仮説を検証 するため，(1) まず予備実験的に，文章中に登場する 述語の項を「自然に省略される項」と「自然には省略されない項」の2つのグループに分け，それぞれ のグループで項を出現させた場合と項を出現させな い場合を比べ，後続の語のサプライザルにどの程度 の変化が現れるかを確認する。(2) その後，項省略 に関連する可能性のあるその他の因子を交えて回帰分析を行い，実際に後続の語のサプライザルの変化量が書き手が項省略を起こすか否かの予測に寄与し ているかどうかを検証する。

人手による実験用データの作成上記の検証を行 うにあたっては，書き手が項を明示している事例と 省略を行っている事例を区別したデータを作成する 必要がある. 本研究では係り受け. 並列構造と述語項構造・共参照がアノテーションされた現代日本語書き言葉均衡コーパス (BCCWJ-DeparaPAS)[16] の書籍（PB）ドメインから述語項関係を持つ事例を抽出 することでこのデータを作成した.

作成したデータの概略図を図 1 に示す。まず，文章中の述語の項について，書き手が項を明示してい る事例を (A) 項表出群 (付録表 3) とし，省略を行っ ている事例を (B) 項省略群 (付録 表 4) とした. ガ， Э，二格の 3 つの表層格を対象とし, (A) 群，(B) 群共にそれぞれの格に対し，20 事例ずつ，計 120 の事例をサンプルした.

さらに，この事例に対して項の出現の有無による 後続の語のサプライザルの変化を計算するために， (A) 項表出群については，明示されている項を削除 した文を新たに作成した。一方で，(B) 項省略群に ついては，省略された項を文内に補った文を作成し

図 1 (A) 項表出群と (B) 項省略群における後続文脈のサ プライザル比較の概略図.(A) 群，(B) 群共に項が表出し ている場合と表出していない場合の文を作成し，項以降 のサプライザル差を比較する

た.この場合の項の挿入位置は著者ら 3 名で合議の 上，アノテーションされている述語項構造の意味が 保たれてかつ，もっとも日本語として自然な文とな る位置に定めた。作成の詳細な手順については付録 A に記した。

## 4 実験

## 4.1 実験設定

言語モデルサプライザルの計算には，新聞と 日本語 wikipedia で学習した Transformer ベースの left-to-right 言語モデルの単語予測確率を使用し た [17]. 3 節で作成した事例について，ターゲット となる述語より前方 300 サブワードを前方文脈と し，前方文脈と対象述語を含む文をつなげたものを 入力系列とした. 直前の語までの入力に基づいて計算される次の単語の予測確率を用いて項の出現位置以降の各単語のサプライザルを計算した1)．言語モ デルの詳細は付録 D に示す.

## 4.2 予備実験

項の有無によるサプライザルの変化 図 2 (1) は，文中のある述語の項を仮に出現させなかった場合 の後続する単語列の処理負荷から, 出現させた場合 の処理負荷を引いた値について，その傾向を示した ものである。この値が大きいほど，項を出現させな

1）言語モデルの入力には，入力文を mecab と unidic で国語研短単位に分割し，それをさらに BPE (Bite Pair Encoding) によっ てサブワード化したものを用いた. サプライザルの計算時は 国語研短単位ごとにサブワードのサプライザルの和を取った.

図 2 (1) は，項を表出させた時とさせないときの，項以降の単語のサプライザルの総和の変化を示す. (2) は，項以降の単語のサプライザルの総和の変化のうち，対象の 述語動詞のサプライザルの変化を除いた值を示す. (1) に おける変化の大きさに比べ，(2)の変化の大きさが小さい ことから，項を表出させるときの後続文脈の情報量の変化は主に対応する動詞で起きていることがわかる.

かった場合に，後続する情報の処理負荷が増大する ことを意味する．後続する単語列の処理負荷として は，具体的に項から文末までの単語のサプライザル の総和を用いた。

## テキスト上で省略されている項は省略しても後続 する処理負荷が増大しにくい 図中で，（A) 項表出群は書き手が実際に項を表出させた群であり，(B)項省略群は書き手が実際に項を省略させた群であ る. 図 2 (1) について (A) 群と (B) 群の結果を比較 すると，(A) 群の中央値が 2.24，(B) 群の中央值が -0.12 と, 項表出群のサプライザル差が項省略群よ り相対的に大きい値となった. また，この傾向はす べての表層格で同様に観測できた (付録 $\mathrm{C}$ を参照). つまり，書き手が省略を選択した群の方が，省略を 選択しなかった群に比べて，省略を行うことによっ て発生する後方単語のサプライザルの増加量が相対的に小さくなっている. この結果は「後方の単語の 読み処理負荷 ( $\propto$ サフライザル)を増大させないよう に書き手が省略する項を選択している」という仮説 を支持している。

処理負荷の増大は主に動詞で生じている 具体的 に後方のどの部分で主たるサプライザルの変化が起 こっているかを観察したところ，事例の多くでター ゲットの動詞部分で相対的に大きな変化が見られ た. 図 2 (2) は，後続文脈の処理負荷 (サプライザル 変化の総和) のうち，対応する動詞のサプライザル変化を除いた量を示す. 項の後方から文末まで単語 のサプライザル変化の総和 (図 2 (1)) のうち, 対象の 述語動詞以外の部分のサプライザルの変化 (図 2 (2)) は小さい.このことから, 項の有無は後述の単語の 中でも特に述語の処理負荷により大きな影響を与え ていることが示唆され，述語のサプライザルが項省略の可否に関わることが予想される。このことをよ り精緻に分析するため，次節では回帰分析を行う。

## 4.3 回帰分析

前節 4.2 で示された述語のサプライザル差の影響 について，項省略に関連する可能性のあるその他の 因子を加えて回帰分析を行い，実際に後続の語のサ プライザルの変化量が，書き手が項省略を起こすか 否かの説明に寄与していることを確かめる。具体的 には，述語動詞のサプライザル差以外に，以下の 6 つの因子を考慮し，コーパス上において書き手が項 を省略させていたかどうかを目的変数とした回帰分析を行う. ${ }^{2}$

省略可能性に影響すると想定されるものとして，項の情報状態に関連する素性を 2 つ選択した。ま ず，先行研究 [13] より，名詞句の情報状態に伴う読 み負荷の傾向がサプライザルでも再現されることが 確認されていることから，項が新情報か旧情報かを 近似的に表現する素性として (1) 項名詞句のサプラ イザルを用いた．加えて，(2) 項名詞句と共参照関係にある名詞句が項の挿入位置よりも前に存在する かどうかを素性とした。さらに，述語項構造解析で 使用される基本的特徴量として，(3) 項名詞句の長 さ，(4) 項を含む文の長さ, (5) 項が何文目に出現する か，(6) 項と述語の単語距離を選定した (表 1).

省略可能性とサプライザル構築したモデルの回帰式を式 2 に示す。

$
\begin{aligned}
& \text { dep_zero } \sim \text { diff_verb_spr }+ \text { arg_spr } \\
& +l_{\text {_arg }}+\text { arg_eq }+l_{\text {_sent }} \\
& + \text { appearance + arg2verb }
\end{aligned}
$

推定結果を表 2 に示す。選択された説明変数のう ち，有意水準 $5 \%$ において帰無仮説を棄却し，有意性が認められた素性は，(a) 述語動詞のサプライザ ル差, (b) 項のサプライザル， (c) 項と述語の単語距離の 3 つであった. (a)より，他の素性を考慮しても なお，述語動詞のサプライザルの変化が小さいほど

2）これらの素性はステップワイズ法によって選定し，素性間 に強い相関がないことを確認した。
表 1 回帰分析に用いた素性の一覧

 \\

省略されやすいという傾向が示された。(b) につい ては，読み手にとって出現が予測しやすい項ほど省略されやすいという傾向が観察され，旧情報のもつ 情報量が小さいことを想定すると，旧情報ほど省略 されやすいという言語的直観と一致する。 (c) 動詞 と離れている項が省略されやすいという傾向につい ては，関連する語同士は近くに配置されるという言語一般的な傾向を踏まえると，述語との関連が弱い 単語ほど省略されやすいということを示している. また，主題や主語など，文頭の要素が省略されすい という傾向と一貫する.

## 5 議論

今回は項と後続要素との関係に着目してサプライ ザルを比較したが，今回説明変数に組み込まなかっ た部分においても議論の余地が残されている. 例え ば，そもそも書き手が通常あまり書かれないような 稀な情報を記述したい場合は，その情報を記述すれ ば記述するほど文のサプライザルは上昇するので あり，その場合，項を省略すればするほど全体のサ プライザルは低下することになる。しかしながら，著者が伝えたい情報が真にそれであるならば，情報 を省略することはできない. したがって，理想的に は，書き手が伝達したい情報が十分に読み手に伝わ るという制約条件の元での読み手の処理負荷最小化問題といったような問題の定式化が望まれる。今表 2 回帰分析の結果. $P|z|$ における*の数は，係数が 0 であるという帰無仮説を有意水準 $90 \%(*), 95 \%(* *)$, $99 \%$ (***)で棄却したことを示す.

後は，そのような制約付き問題の分析の第一歩とし て，分析対象の項が新情報であるか旧情報であるか を明確に区別したデータ上で同様の分析を行うこと を検討する。

また，「項省略によって大きくなる述語動詞の情報量が，省略によって小さくなる項自体の情報量を 上回る場合には省略ができない」という UID の観点 からの解釈も興味深く，UID の観点を含めた更なる 分析は今後の課題としたい.

## 6 おわりに

本研究では，読み時間や縮約などの現象に関する 既存研究で導入されていたサプライザル理論を日本語項省略の分析に拡張し, 情報量の観点から人がど のような基準で項省略を行うかという書き手の計算 モデルを探索した。結果として，項の有無によるサ プライザルの変化を分析した結果，書き手が省略を 選択する項は，省略しないことを選択する項と比べ て, 省略することで発生する後方の単語の読み処理負荷の変化量が相対的に小さくなるという仮説を 裏付ける結果が得られた. また，回帰分析の結果か ら，省略を行うことで発生する述語動詞のサプライ ザルの増加量が項省略の因子として存在することが 明らかになった. 今後は分析対象のデータの規模の 拡大や，より多くの素性を考慮した分析を行うこと を目標としたい。これに加え，人にとっての「自然 な省略」を定量化するため，個々人で省略するかし ないかの判断の摇れが生じる可能性のある項の事例 について，省略の自然さに関する人間のアグリーメ ントを取ることを検討している。

## 謝辞

本研究は，JSPS 科研費 JP19K12112，JP20J22697， および JST さきがけ JPMJPR21C2 の支援を受けたも

のです.

## 参考文献

[1] S.-Y. Kuroda. Whether we agree or not. Lingvisticae Investigationes, Vol. 12, pp. 1-47, 11988.

[2] Mamoru Saito. Notes on east asian argument ellipsis. LANGUAGE RESEARCH, Vol. 43, pp. 203-227, 2007.

[3] Mamoru Saito. (a) case for labeling: Labeling in languages without $\phi$-feature agreement. Linguistic Review, Vol. 33, pp. 129-175, 22016.

[4] Serkan Sener and Takahashi Daiko. Argument ellipsis in japanese and turkish. MIT Working Papers in Linguistics 61 : Proceedings of the 6th Workshop on Altaic Formal Linguistics : Department of Linguistics and Philosophy. MIT, pp. 325-339, 2010

[5] T Jaeger and Roger Levy. Speakers optimize information density through syntactic reduction. Vol. 19, pp. 849-856. MIT Press, 2007.

[6] T Florian Jaeger. Redundancy and reduction: Speakers manage syntactic information density. Cognitive Psychology, Vol. 61, pp. 23-62, 82010.

[7] John Hale. A probabilistic earley parser as a psycholinguistic model. pp. 159-166, 2001.

[8] Austin F. Frank and T. Florain Jaeger. Uc merced proceedings of the annual meeting of the cognitive science society title speaking rationally: Uniform information density as an optimal strategy for language production permalink speaking rationally: Uniform information density as an optimal strategy for language production. Proceedings of the Annual Meeting of the Cognitive Science Society, Vol. 30, p. 30, 2008

[9] Chigusa Kurumada and T Florian Jaeger. Communicative efficiency in language production: Optional case-marking in japanese. Journal of Memory and Language, Vol. 83, pp. 152-178, 122015.

[10] ELISABETH NORCLIFFE and T. FLORIAN JAEGER. Predicting head-marking variability in yucatec maya relative clause production. Language and Cognition, Vol. 8, pp. 167-205, 62016.

[11] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto. Reading-time annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684-694, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[12] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. ACL-IJCNLP 2021 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, Proceedings of the Conference, pp. 5203-5217, 2021.

[13] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会第 27 回年次大会発表論文集, pp. 723-728, 2021.

[14] Laura Aina, Xixian Liao, Gemma Boleda, and Matthijs
Westera. Does referent predictability affect the choice of referential form? A computational approach using masked coreference resolution. CoRR, Vol. abs/2109.13105, , 2021.

[15] Robin Lemke, Ingo Reich, Lisa Schäfer, and Heiner Drenhaus. Predictable words are more likely to be omitted in fragments-evidence from production data. Frontiers in Psychology, Vol. 12, p. 2266, 72021.

[16] 浅原正幸, 大村舞. Bccwj-depparapas: 『現代日本語書 き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会第 22 回年次大会発表論文集, pp. 489-492, 2016.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998-6008, 2017.

[18] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of EMNLP, pp. 66-71, 2018.

## Ａ検証に用いたデータの作成手法

本研究では係り受け. 並列構造と述語項構造・共参照 がアノテーションされた現代日本語書き言葉均衡コーパ ス (BCCWJ-DeparaPAS) [16] の書籍（PB）ドメイン 83 ファ イルを用いて検証を行った，コーパスには，名詞句相当 の単語に項 id が付与され, 述語相当の単語に NTC 形式の 属性，及び項との関係が付与されている. ゼロ代名詞に ついては, ga_dep="zero"というようなタグ付けがされて いる. 項の格助詞については，コーパス上における格属性のうち，ガ格， ヨ格，二格の 3 パターンを対象とし，述語に関しては本研究では用言述語のみを対象とした。ま た，用言述語のうち，する，ある，なるのような機能性の 強い語については, 予め除外した. さらに, 各群につい て項の格パターンに分類した上で，ガ格，二格，ヨ格それ ぞれ 20 サンプルを無作為に抽出した. まず，(A) 項表出群については，コーパス上で表出している項を消去した データを作成した。続いて (B) 項省略群については，コー パス上で省略されている項を元文に補填したデータを作成した. その際，補填する項の格助詞については，例え ば主格「僕が」を「僕は」に変更するような表出形の変化 を許容し，その插入位置は著者ら 3 名で合議の上，元文 の述語項構造において自然と感じる位置に補填した。

## B 作成したデータの例

表 3 (A) 項表出群のデータ作成例

(BCCWJ:00003_A_PB59_00001)

 \\

表 4 (B) 項省略群のデータ作成例

(BCCWJ:00001_A_PB12_00001)

 \\

## C 予備実験の結果

図 3 述語の項を出現させなかった場合の項から文末の単語のサプライザルの総和から，仮に出現させた場合の項以降の単語のサプライザルの総和を引いた値に関する表層格間の比較.

## D＼cjkstart言語モデルハイパーパラメータ

Transformer 日本語言語モデルを，500万文(日本語 Wikipedia と新聞) で学習し, 100,000 回アップデート後 のチェックポイントを用いた. 日本語テキストは，アノ テーションデータとの分割の一貫性を保つため，一度国語研短単位に分割した後, BPE でサブワードに分割し $た^{3)}$.

表 5 言語モデルのハイパーパラメータ.

 &  &  \\

3） SentencePiece [18] を用い，文字の網羅率を 0.9995 , 語彙数 を 100,000とした.
 石月由紀子 1 栗林 樹生 1,2 松林 優一郎 1,4 大関 洋平 3,4 1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 東京大学 ${ }^{4}$ 理化学研究所 yukiko.ishizuki.p7@dc.tohoku.ac.jp, \{kuribayashi,y.m\}@tohoku.ac.jp, oseki@g.ecc.u-tokyo.ac.jp  