# Vaporetto: 点予測法に基づく高速な日本語トークナイザ

赤部晃一 1 神田峻介 1 小田悠介 ${ }^{1,2}$ 森 信介 ${ }^{3}$
${ }^{1}$ LegalForce Research 2 東北大学データ駆動科学・AI 教育研究センター
3 京都大学 学術情報メディアセンター
\{koichi.akabe, shunsuke.kanda, yusuke.oda\}@legalforce.co.jp
forest@i.kyoto-u.ac.jp

## 概要

線形分類モデルによる点予測法に基づくトークナ イザに関し，高速な計算手法を開発し，その実装で ある Vaporetto ${ }^{1)}$ について報告する。本手法では，予測の際に圧縮ダブル配列を用いたオートマトンを採用し，高速な文字列探索を実現する。また，スコア に対して 3 種類の前処理を提案する. 実験の結果,既存の点予測法に基づくトークナイザである KyTea と比較し, 5.4 倍の高速化が確認された.また，提案した前処理手法については，その全てが高速化に 寄与することを確認した.

## 1 はじめに

日本語や中国語など，文中に単語境界を示す区切 り記号を挿入しない言語では，自然言語処理の前処理としてトークン化を行う必要がある。これには大 きく分けて 2 種類の手法が利用される. 1 つは系列予測法と呼ばれ，入力文から辞書に基づくラティス を構築し，語や語間に対して与えられるコストが 最小化される経路を探索する。代表的なものでは MeCab [1] が採用している. もう1つは点予測法と 呼ばれ，入力文のすべての文字間に対し，語の境界 であるか否かを識別モデルによって判別する．代表的なものでは KyTea [2] が採用している.

トークン化は前処理として広く利用されており，大量のテキストを処理するとき，分割の精度だけで なく実行速度も重要である. 本研究では，既存の点予測法に基づくトークン化を，モデルに手を加えず に高速に動作させる手法を提案する.

## 2 点予測法によるトークン化

点予測法では，入力文の各文字境界に対して指定 された幅の窓を考え，ここに含まれる文字列から識

1) https://github.com/legalforce-research/vaporetto
トークンの境界か?

図 1 点予測法に基づくトークン化の例. 括弧内の数字 は，判定箇所に対する各 $n$-gram の相対位置を示す.

別モデルの素性を生成する [3]. KyTea では素性とし $\tau$ ，文字 $n$-gram，文字種 $n$-gram，辞書単語素性の 3 種類を利用して線形分類モデルを学習する。

図 1 は点予測法によるトークン化の例である.こ の例では，入力文として「は、全世界の国民が、」が 与えられ，「界」と「の」の間がトークン境界であ るか否かを文字 $n$-gram 素性を用いて識別している。文字 $n$-gram 素性は，窓に含まれる文字 $n$-gram と， その相対位置の組で表現される. 文字種 $n$-gram に ついても素性の作り方は文字 $n$-gram の場合と同様 だが，各文字をひらがな，カタカナ，漢字，数字， ローマ字，その他の 6 種類に分類し，文字の代わり に文字種記号の配列を利用する. 図 2 は辞書単語素性の例である. この例では，単語辞書に「の」と 「世界」が含まれる場合に，太線で示された文字境界に対してどのような素性が生成されるかを示して いる. KyTea と MeCab の精度面による比較分析は,先行研究 [4] で行われている。

## 3 アルゴリズムの高速化

2 節で示したトークン化手法は，入力文に対する 3 種類のパターン集合を用いたオーバーラップパ ターンマッチと，マッチ箇所に対するスコアの加算 という 2 つの問題に帰着される。

図 3 は，入力文の各文字境界に対してスコアを計

図 2 辞書単語素性の例. 3-gram 以上の場合は, 複数の文字境界について「内側」素性を生成する。

図 $3 n$-gram スコア配列の合計スコア配列への加算の例. ここでは 2 つの $n$-gram に対して括弧内で示された相対位置に応じたスコアが学習されており，スコア計算の際は 各 $n$-gram スコアが合計スコア配列に加算される.

算する例である．窓幅を $W$ とすると，各 $n$-gram に ついて文字境界との相対位置に応じた $2 W-n+1$ 通 りのスコアが学習される。 トークン境界の予測時に は，各 $n$-gram をパターンとして，入力文に対するパ ターンマッチを行い，マッチしたパターンとその位置から，どの文字境界にどのスコアを加算するかを 決定する。

本節では，パターンマッチとスコア計算のそれぞ れの部分について，処理の高速化手法を紹介する。

## 3.1 パターンマッチの高速化

$\mathrm{MeCab}$ に代表される系列予測法に基づくトークナ イザの多くは，パターンマッチにトライ法 [5] を採用している. トライ法によるパターンマッチは，入力文の長さを $N$, パターンの平均長を $K$ としたとき $O(N K)$ 時間で動作する.

一方，提案法では Aho-Corasick (AC) 法 [6] によ るパターンマッチオートマトン (PMA)を採用す る. AC 法は，マッチする解の個数を occ とすると $O(N+o c c)$ 時間で動作し， 3.2 節で提案する高速化手法とも親和性がある．また，PMAを圧縮ダブル 配列 [7] で実装することで高速な解析を実現する.

図 4 「世」「世界」「全世界」を登録した PMA．状態 $s$ は 「全世界」と「世界」を報告する出力状態．点線は Failure リンクを示しており，ルートへの Failure リンクは省略し ている。

## 3.2 n-gram スコアの事前加算

PMA に登録されているパターン集合を $\mathscr{P} と$ し，あるパターン $p \in \mathscr{P}$ の $n$-gram スコア配列を $\boldsymbol{w}_{\text {pattern }}(p)$ とする. AC 法による PMA は, 出力状態 $s$ に到達した際にマッチしたパターン集合 $\mathcal{S}(s) \subseteq \mathscr{P}$ を報告する. 点予測法では PMA が報告 した $\mathcal{\delta}(s)$ について, 全ての $q \in \mathcal{S}(s)$ の $n$-gram スコ ア配列 $\boldsymbol{w}_{\text {pattern }}(q)$ を合計スコア配列に加算するこ とで文字境界のスコアを算出する。例えば図 3 は， $\delta(s)=\{$ 世界, 全世界 $\}$ について, $n$-gram スコア配列 $\boldsymbol{w}_{\text {pattern }}$ (世界) と $\boldsymbol{w}_{\text {pattern }}$ (全世界)を合計スコア配列 に加算する様子を示している.

提案法では，各 $q の n$-gram スコア配列を別々に 加算するのではなく，まとめて加算することで合計 スコアの計算を高速化する．具体的には，各出力状態 $s$ について以下のスコア配列 $\boldsymbol{w}_{\text {state }}(s)$ を定義する.

$
\boldsymbol{w}_{\text {state }}(s):=\sum_{q \in \mathcal{S}(s)} \boldsymbol{w}_{\text {pattern }}(q)
$

PMA が出力状態 $s$ に到達し $\delta(s)$ が報告された際は, $\boldsymbol{w}_{\text {pattern }}(q)$ を参照する代わりに $\boldsymbol{w}_{\text {state }}(s)$ を参照する.

図 4 は，「世」「世界」「全世界」という 3 つのパ ターンを登録した PMAを示している. 出力状態 $s$ は $\delta(s)=\{$ 世界, 全世界 $\}$ を報告する。提案法では, これらの $n$-gram スコア配列を事前に加算し，配列 $\boldsymbol{w}_{\text {state }}(s)$ を状態 $s$ に持たせておくことで合計スコア 配列への加算回数が低減される。

## 3.3 辞書単語素性のスコアの事前加算

辞書中の単語のうち, 文字 $n$-gram 素性の文字列と 厳密一致する単語については辞書から削除し, 辞書単語素性のスコアを事前に文字 $n$-gram 素性のスコ アに加算しておく.これにより, 辞書単語素性 PMA からのパターン報告回数が減少し, 文字 $n$-gram 素
性のスコアと辞書単語素性のスコアをまとめて合計 スコア配列に加算することが可能となる.

## 3.4 文字種 n-gram スコアの事前加算

文字種 $n$-gram によって加算される文字境界のス コアは，窓によって切り出される文字列のみによっ て一意に決まる。そのため, 長さ $2 W$ の系列の全組合せについて事前に計算したスコアを保存してお けば，解析時のパターンマッチとスコアの加算を回避できる. 文字種は高々 6 種類のため, 各文字種に 3 ビットのコード値を割り当てれば，文字種系列は $6 W$ ビットの整数値で表現できる. この整数値を系列の IDとし，計算済みスコアへの参照に用いる。 $W=3$ のとき, 系列の ID は高々 262,144 通りであ り，各スコアを 4 バイトで保持するとメモリ使用量 は $1 \mathrm{MiB}$ とな.

入力文として文字種列 $\left(a_{0}, a_{1}, \ldots, a_{N-1}\right)$ が与えら れたとき，各文字境界についての系列の ID は以下のように表現できる. 文字 $a_{i-1}$ と $a_{i}$ の境界に対応した系列 $A_{i}=\left(a_{i-W}, a_{i-W+1}, \ldots, a_{i+W-1}\right)$ の IDを $\operatorname{Id}\left(A_{i}\right)$ と表記する. $i \notin[0, N)$ な $a_{i}$ は範囲外を表現 する特殊文字として扱い，そのコード值は 0 とする。 このとき, $\operatorname{Id}\left(A_{i}\right)$ は以下の漸化式で記述できる.

$
\operatorname{Id}\left(A_{i+1}\right)=\left(\left(\operatorname{Id}\left(A_{i}\right) \ll 3\right) \mid \operatorname{Cd}\left(a_{i+W}\right)\right) \&\left(2^{6 W}-1\right)
$

ただし, 初項は $\operatorname{Id}\left(A_{-W}\right)=0$ である. 式中の $\operatorname{cd}(a) \in$ $[0,8)$ は文字種 $a$ のコード値, “《”は左シフト演算, “”は OR 演算，“\&”は AND 演算である.

漸化式が示すように, $\operatorname{Id}\left(A_{i}\right)$ を用いて $\operatorname{Id}\left(A_{i+1}\right)$ が 計算できる. すなわち $\operatorname{Id}\left(A_{-W}\right)=0$ を起点とし，文字境界を 1 文字ずつ右に移動しながら, 各系列の ID がビット演算で高速に計算できる. 図 5 は文字種系列の IDをビット演算を用いて計算する例である.

## 4 L1 正則化によるモデルの圧縮

L1 正則化 [8] を利用すれば重みべクトルがスパー スとなり，過学習を防ぎつつ小さなモデルを学習す ることが可能である．線形分類モデルの学習で L1 正則化を行うには，以下の目的関数を最小化する重 みベクトル $\boldsymbol{w}$ を学習する。

$
\min _{\boldsymbol{w}}\|\boldsymbol{w}\|_{1}+C \sum_{i} \xi\left(\boldsymbol{w} ; \boldsymbol{x}_{i}, y_{i}\right)
$

ここで $\xi\left(\boldsymbol{w} ; \boldsymbol{x}_{i}, y_{i}\right)$ は $i$ 番目の入力 $\boldsymbol{x}_{i}$ と出力 $y_{i}$ から 計算される損失関数，C は罰則パラメータである ${ }^{2}$.

LIBLINEAR では目的関数の係数としている.ここでは

図 5 文字種系列のIDを計算する例. 空幅 $W=3$ として いる. 文字種の下の数字は, 各文字種に対応したコード 值を表す. $\mathrm{Cd}(\mathrm{H})=001_{(2)}$ はひらがな, $\mathrm{Cd}(\mathrm{K})=101_{(2)}$ は漢字, $\mathrm{Cd}(\mathrm{O})=110_{(2)}$ はその他の文字種に対応している. 次 の系列 ID は，現在の系列 ID に対するビット演算によっ て求まる。

$C$ が小さいほど罰則項の比重が大きくなり，正則化 をより強くかけることとなる. モデルサイズを小さ くすると, 合計スコアの計算に必要な各スコアの加算回数が減ることに加え, CPU キャッシュの利用頻度も上がり，処理の高速化が期待される. 本研究で は，モデルのサイズと分割速度の関係を調査し，モ デルサイズの調整による高速化も検討する.

## 5 実験

提案法の高速化効果を検証するため，提案法と各種ツールの分割速度の比較を行った. また，正則化係数に応じた精度の比較も行った。

## 5.1 実験設定

点予測法のモデル学習のためのデータセットとし $\tau$, 現代日本語書き言葉均衡コーパス (BCCWJ [9], Ver. 1.1)のうち, 人手で短単位アノテーションされ たコアデータ 60,004 文を利用した. また，辞書とし て UniDic [10] (Ver. 3.1.0)のうち半角空白記号を含ま ない 879,048 語を利用した. 各実験では，BCCWJ の コアデータ 60,004 文を 10 分割して交差検証を行っ た。速度の測定では，分割対象の文を先に RAMに 読み込み，IO 処理にかかる時間は除外した. モデル の学習には LIBLINEAR [11] の L1-regularized L2-loss SVC を利用し, $C=1.0$ とした. また, 窓幅 $W=3$ と し, $n$-gram の最大長は 3 とした.

3 節で提案した各手法の効果を確認するため，各手法を個別に適用した場合とすべて適用した場合の

表 1 分割速度の比較. 単位は [100万文字/秒]. 罰則パラ メータCは 1.0 とした.

速度を測定した. 比較対象として, 既存の点予測法 に基づくトークナイザである KyTea の分割速度を測定した. ${ }^{3)}$

また，学習データやモデルが異なるため単純な 比較はできないが， MeCab と sudachi.rs") によって トークン化した際の実行速度も測定した. MeCabで は IPADIC を利用し, sudachi.rs では SudachiDict-core (Ver. 20210802) による短単位相当の分割を行った.

実験は以下のスペックのマシンを用いてシングル スレッドで実施した.
- CPU: Intel(R) Core(TM) i7-8086K CPU @ 4.00GHz - Memory: 64GiB RAM (L1: 32KiB, L2: 256KiB)

## 5.2 実験結果

## 5.2.1 分割速度の比較

分割速度の比較結果を表 1 に示す. 実験結果によ ると，提案法では素性のスコアの前処理をしない場合でも KyTea の 4 倍以上の速度でトークン化処理を 行うことが可能であり, 圧縮ダブル配列を利用した $\mathrm{AC}$ 法の効果が大きいことが分かる。また， (b)～(d) の各手法を単独で実施した場合と同時に実施した場合のいずれの場合も処理が高速化された事が確認さ れた。

## 5.2.2 L1 正則化, 分割精度, 分割速度の関係

図 6 は，罰則パラメータ $C$ を変化させた際の，分割誤り率と分割速度の関係を示している.Cが小さ い領域では，精度と速度はトレード・オフの関係に あり，正則化を強くするほど精度が下がる一方，分

図 6 罰則パラメータを変化させた際の，分割誤り率と分割速度の関係.

図 7 罰則パラメータを変化させた際の，スコアが 0 でな い $n$-gram の数と PMA の状態数の関係.

割速度は速くなる.しかしながら， $C$ が大きい領域 では正則化が弱まるにつれて分割速度が遅くなるだ けでなく，過学習によって分割誤りも増えている.

次に，図 7 は $C$ を変化させた際の，スコアが 0 で ない $n$-gram の個数と PMA の状態数の関係を示し ている. 正則化を強くするほど， $n$-gram がモデル から削除され PMA が小さくなるが，その際に長い $n$-gram が優先的にモデルから削除され，短い $n$-gram が支配的になることが確認できる.

## 6 まとめ

本研究では，線形分類モデルを用いた点予測法に 基づく日本語のトークン化を，パターンマッチとス コアの加算という 2 つの部分問題に帰着させ，各部分に対して最適化を行った.

提案したアルゴリズムは日本語のトークン化に特化したものではなく，AC オートマトンを利用した 点予測法に一般化することが可能なため，他分野へ の応用も検討したい.

## 参考文献

[1] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[2] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[3] Manabu Sassano. An empirical study of active learning with support vector machines for Japanese word segmentation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 505-512, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[4] 森信介, 中田陽介, Neubig Graham, 河原達也. 点予測 による形態素解析. 自然言語処理, Vol. 18, No. 4, pp. 367-381, 2011.

[5] Edward Fredkin. Trie memory. Communications of the ACM, Vol. 3, No. 9, pp. 490-499, 1960.

[6] Alfred V. Aho and Margaret J. Corasick. Efficient string matching: An aid to bibliographic search. Commun. ACM, Vol. 18, No. 6, pp. 333-340, June 1975.

[7] Susumu Yata, Masaki Oono, Kazuhiro Morita, Masao Fuketa, Toru Sumitomo, and Jun-ichi Aoe. A compact static double-array keeping character codes. Inf. Process. Manage., Vol. 43, No. 1, p. 237-247, January 2007.

[8] Robert Tibshirani. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), Vol. 58, No. 1, pp. 267-288, 1996.

[9] 前川喜久雄. 代表性を有する大規模日本語書き言葉 コーパスの構築 (く特集>日本語コーパス). 人工知能, Vol. 24, No. 5, pp. 616-622, 2009.

[10] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, oct 2007.

[11] Rong-En Fan, Kai-Wei Chang, Cho-Jui Hsieh, Xiang-Rui Wang, and Chih-Jen Lin. Liblinear: A library for large linear classification. J. Mach. Learn. Res., Vol. 9, p. 1871-1874, June 2008.

[12] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

## A データや分割単位の違いによる 速度の比較

表 2 は，分割単位を変更した際の各ツールの速度 を比較したものである. KyTea と Vaporetto では, 学習コーパスとして BCCWJ の短単位 (SUW) と長単位 (LUW) のいずれかを利用し，単語辞書は利用して いない. MeCabでは, SUWとして UniDic, LUW と して IPADIC を利用した. Sudachi では SUWとして UniDic 相当，LUW として固有表現 (NE) 相当のオプ ションを利用した.

表 2 分割速度の比較. 単位は [100万文字/秒].

KyTea, Vaporetto, Sudachi, sudachi.rs では, 分割単位の違いによる速度の大きな変化は確認できない。一方， MeCab では UniDic を使用した場合に IPADIC に比べて 2 倍程度の時間を要していることが確認で きる. MeCabで BCCWJを解析した際の L1 キャッ シュミスの回数を perf コマンドで測定したところ， IPADIC を使用した際は $3.6 \times 10^{6}$ 回であったのに対 し，UniDic を使用した際は $63.1 \times 10^{6}$ 回であった。 UniDic を使用した場合，キャッシュミスが多く発生 していることが速度低下の原因となっていることが 伺える。

## B L1キャッシュミスの頻度

図 8 は，罰則パラメータ $C$ を変化させた際の L1 キャッシュミスが発生する回数を示している. BCCWJ の 60,004 文で 10 交差検証を行った際の，各 セットでの合計値を示した. キャッシュミスの回数 は perfコマンドで測定した。

単語辞書を利用しない場合， $C<0.1$ まではモデ ルサイズが小さいため，キャッシュミスの回数が 1 万回程度で抑えられており，キャッシュが効率的に 利用されていることが伺える. しかし， $C>0.1$ で は次第にモデルがキャッシュに乗り切らなくなり， キャッシュミスの回数が増えていくことが確認で

図 8 罰則パラメータを変化させた際の，L1 キャッシュ ミス回数の変化.

きる.

また，単語辞書を利用する場合は，Cが小さい領域でもキャッシュミスが多く発生していることが確認できる.

## C 窓幅と n-gram サイズを変化させ た際の分割速度と分割精度の関係

表 3 は容幅 $W$ と $n$-gram サイズを変化させた際の,分割速度と分割精度の関係を示している。学習には BCCWJ のみ利用し, 単語辞書は利用していない. $W \geq 4$ の場合, 文字種 $n$-gram のスコアを事前計算す るとメモリを多く消費するため，文字 $n$-gram と同様に PMAを利用している.

表 3 窓幅ごとの分割速度と分割精度. 速度の単位は $[100$万文字/秒].

SUW の場合, $W=n=3$ で精度が上限となり, LUW の場合は $W=n=5$ で精度が上限となっている ことが確認できる.


# 構造的曖昧性に基づく読みづらさの検出

吉田あいり 河原大輔
早稲田大学理工学術院
yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp

## 概要

日本語文の読みづらさを定量的に評価することを 目的とし,構造的曖昧性を活用した手法を提案する。漸進的要素を組み入れ, BERT による構文解析の結果を用いて評価する. ベースラインには言語モデル による尤度 (サプライザル)を用いて, 読みづらさの 正解データはクラウドソーシングにより文ぺアに対 して複数人の回答を収集したものを使用する. 2 種類の方法で作成したデータにて評価を行い, 提案手法はベースラインに対して有意な結果を得た。

## 1 はじめに

テキストを読む機会は多く,文が読みやすいこと は消費される時間の短縮以外に読者の理解度の向上 にもつながる. そのため, 文の情報を損なわない読み やすい文が必要とされる. 本研究では執筆支援シス テムにおいて想定される読点の挿入や語順整理と いった文の読みやすさの改良の前段階として, 自動的に読みづらい文を検出することを目的とする。

人間における読みづらさは主に読み時間で評価さ れ, 計算機においては言語モデルを用いて計算され る負の尤度であるサプライザルで評価される [1]. こ れは予想と異なる内容が現れた際に読み負荷が高ま るというサプライザル理論に基づいている $[2,3]$. こ こに日本語特有の要素を考慮することで, 本研究で は日本語に適した読みづらさの検出を目指す。

日本語の逐次的な読みやすさにおける先行研究に て, 先行文脈に係り元が多い文節ほど読みやすいこ とや読み間違いが読み負荷を高めることがわかって いる. 例えば, 文 (1) [4] は「男性を」の部分で再解釈 に要する読み時間が増加する。

（1)警官が犯人を捕まえた男性を...

本研究では構造的曖昧性に着目し, 漸進的構文解析結果と係り先の保留のプロセスを利用して読みづ らさの検出を行う。

## 2 関連研究

## 2.1 読みやすさの分析

人間の読みづらさは読み時間を用いて評価されて おり, 読み時間を主軸とした分析がされる. 日本語の 読み時間データは BCCWJ-EyeTrack が整備され, 先行文脈に係り元文脈が多い要素ほど読み時間が短く なるということが分析されている [5]. また, 日本語 の読解時間と統語・意味カテゴリの対比分析におい ても関連する先行文脈が読み時間の減少に関与する こと [6] や, 文の意味的曖昧性の高さが構造的曖昧性の解消/保留に影響することがわかっている $[4,7]$.他にも個別の言語現象が読み時間に与える影響に対 して分析が行われている $[8,9]$.

これらは読みやすい文における知見ではあるが，統一的な傾向は定かではない. そこでサプライザル 理論に基づいて, 日本語読み時間に関する傾向がサ プライザルが大きいところで読みにくくなるという 傾向に統一的に解釈できるかという仮説検証がなさ れた [10]. 読み時間の様々な傾向がサプライザルで も再現され, 情報量の観点から解釈できることが示 されている。

## 2.2 ガーデンパス効果

読み時間が増加する要素の 1 つとしてガーデンパ ス (GP) 効果がある.これは, 文の理解の途中で一時的に誤った解釈をし, 続きを読んだ際に誤解に気づ いて解釈をし直す事になるが，この再解釈により発生する処理負荷や読み直しにかかるコストにおける 効果である. 文理解の初期段階で曖昧性を解消しよ うとするために, 結果として誤解釈が発生する.この 効果がもたらす構造的曖昧文の性質は言語の構造に より異なることが分析されている [11]. GP 文は最後 まで解釈が曖昧な場合もある. 例えば，「かわいい少女の猫」の「かわいい」が修飾するのはこの部分の みでは決定できない。

## 2.3 単語親密度

本研究では構造要素による読みづらさに着目する ために, 単語難易度による影響を減らす工夫が必要 である. WLSP-familiarity ${ }^{1)}$ は「分類語彙表」増補改訂版データベースに親密度情報を付与したもの [12] であり, 見知らぬ単語による読みづらさを軽減する ためにこれを用いてフィルタリングを行う.

## 2.4 漸進的係り受け解析

人間の言語理解過程には漸進性があり, 音声言語 アプリケーションの基盤技術として漸進的係り受け 解析技術の研究がなされている [13]. 言語処理過程 のデータを構築・分析することにより人間の漸進的係り受け解析能力や入力予測能力の解析がなされて いる $[14,15]$. 逐次処理を行うために, 係り先を未入力部分と見做し, 未大力の中でも同一文節であるの かまで考慮してアノテーションが行われている.人間の言語理解には漸進性がある [16] が, 特に音声で は大力と同時に処理することが求められ, 漸進的言語処理システムが開発されている. 本研究ではテキ ストに漸進性を組み込むことで, GP 効果等の特徴を 考慮する。

## 3 構文解析

読みづらさを検出するために, 構造的に曖昧な文 を示すラベル付きデータなしで活用できる機械学習 を用いた構文解析を行う。

## 3.1 BERT に基づく構文解析

BERT を活用し, 日本語構文解析の精度を向上さ せる手法 (BERTKNP) が提案されている [17]. 構文解析を head [18] の選択と見なすことによりBERTに 1 層追加する形で実装を行っている. 事前学習された モデルを活用することで, 大量の生コーパスを利用 し構文解析の精度向上を達成している。

## 3.2 漸進的構文解析手法

BERT による構文解析に漸進的な視点を入れるこ とで, 人間が読む際の要素を追加する. 単語ごとに係 り受けのアノテーションがなされた文 (Original) に 対して, 単語が 1つずつ入力される過程 (Slided) を考 えていく.ある単語が入力されるまでの部分におけ る, 係り受け構造を学習データとして作成する. 入力

図 1: 漸進的構文構造データ作成

される単語数を 1 ずつずらしていくことで漸進的な データを実現する. 図 1 のように Slided の入力は文 の途中までであり, 未入力部分に係る単語も存在す る. その場合は係り先を特定単語ではなく,未決定 ([UND]) と指定する [14]. 単語ごとにずらして作成 した文は Original に対しての分量が非常に多くなる ため, Slided について過学習を起こす可能性がある. そこで Slided には $\mathrm{n} \%$ の制限を設ける. どの程度漸進的データを追加するべきかとシャッフルの必要性は 予備実験にて確認する.

## 3.3 解析結果

漸進的構文解析において適切な漸進的データ量を 確認するために, 実験の結果を表 1 に示す. 精度は単語単位での精度と文単位の精度の平均の 2 通りで算出した. 加えて [UND] の再現率も測定した. 日本語 BERT は NICT BERT 日本語 Pre-trained モデル2)を使用した. fine-tuning には京都大学テキストコーパス (新聞) と京都大学ウェブ文書リードコーパス (ウェ ブ) の 2 種類を混合したコーパス約 5 万文を使用し，元論文にならい 3 epoch 回した. また, 評価には京大 コーパス約 4,000 文を使用した.

京大コーパスにおいては加工しない BERTKNP が一番精度が高い. 漸進的要素を加えた Slide All (Orig+Slided 100\%) においては元のデータに $5 \%$ 混合 したデータを用いて学習したモデルが一番精度が 良く, 再現率は $50 \%$ 混合した場合が良い值となった。 また, 予測精度と再現率はデータをシャッフルする ことによる悪影響を受けることがわかった. 漸進的 データの追加は精度の向上に直結しない上, 計算資源と時間を消費する. 本研究では, 精度を重視して 5\%のみ追加したデータで fine-tuning したモデルを用 いてこれ以降の実験を進める。

表 1: 漸進的構文解析の精度

表 2: 各データの文ペア数

## 4 実験

## 4.1 正解データ作成と評価方法

読みづらさの正解データを作成するために, 京大 コーパスに前処理として単語親密度によるフィルタ リングを行い, 親密度が負のスコアを持つ形態素を 含む文を除外した. また, 形態素数が 20 に満たない 文も除去し, 形態素数が 20 から 30 のものと 30 以上 のものに分割後, 文長によるソートを行ってから文字数順に 2 文のペアを作成した. これにより, 単語難易度による難読性を排除した上で, 文長だけでなく 形態素数の近い分ペアを作成している.このペア文 の比較による評価を行う. Yahoo!クラウドソーシン グにより 1 ペアに対して 10 人の回答をフィルタリ ングされた 322 文について収集した. 2 文のうちど ちらが構造的に読みづらいかという質問に対して, [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の 3 つの選択肢を用意した.

文法構造を考慮した読みづらさとして以下の 2 つ の要素を挙げ,これに基づき評価させた。

1. 複数の解釈ができる

2. 理解に反復が必要となる

収集データから 2 種類の正解データを作成し, そ れぞれのデータにおいて評価を行う.作成された正解データのペア数を表 2 に示す.

多数決 10 人中 $\mathrm{n}$ 人の回答が一致したぺア文を 正解データとする. 例えば, [文 $\mathrm{A}$, 同等, 文 B] の回答数が $[6,3,1]$ の際は, $\mathrm{n}=5$ の場合は文 $\mathrm{A}$ が読みづらい データとして採用され, $\mathrm{n}=7$ の場合は使用しない. 評価は [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の全ての精度により行う.

平均 [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の回答を $[-1,0,1]$ の数値と 見なして各回答数の和をスコアとする. 閾値 $\mathrm{m}$ を使用し, $[-10,-m),[-m, m],(m, 10]$ をそれぞれの回答 として分類する. $\mathrm{m}$ の値は難易度の判別がつかない 文ペアが十分除かれたものを選択する. 正負でスコ アリングしているため, [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の 回答数 が $[2,7,1]$ と $[5,1,4]$ の場合のスコアはどちらも-1 と なる. 従って, 同等である回答が多くとも判別できな いため, 文 $\mathrm{A} \cdot \mathrm{B}$ のどちらが読みづらいかのみを扱 い, 同等なものは除外した精度により評価する。

多数決・平均手法共に, $\mathrm{n} / \mathrm{m}$ を大きくするほど確実 に読みづらい文ぺアを取得できるが, 使用できるぺ ア数が減少するため適当な $\mathrm{n} / \mathrm{m}$ を抽出した.

## 4.2 読みづらさの検出方法

本研究では,作成した漸進的データを用いて学習 した構文解析モデルによる解析結果から係り先が未決定 ([UND]) である数を長さで正規化したものを読 みづらさのスコアとする. 人間の言語理解の漸進性 を取り入れた上で, 係り受け構造の保留により受け る読みづらさを考慮している. 本研究では 2 文のど ちらが読みづらいかまたは同等であるかを正解とし て扱うが, スコアは数値で算出される. そこでスコア の差分を取り, その絶対値が閾値以下のものを同等 である場合として評価する. 間値は精度が最も高く なる値を選んだ。

ベースラインにはサプライザルとして $-\log p(x \mid$ 先行文脈）を使用する. 実装では-log_softmax を使用 した. サプライザルは尤度の反転であり,これが大き いほど読みづらいと言える.これを計算するために 言語モデル $\mathrm{GPT}-2^{3)}$ を利用した.こちらもスコアの差分から同等である場合の評価を行った。

## 4.3 結果

表 3 に各データにおける精度の結果を示す. 正解 は漸進的構文解析が全て正しく付与されたデータを 用いて算出した精度である. 提案手法は多数決と平均どちらのデータに対しても読みづらい文の検出を することができた. 確実に難易度に差があると判断 された文ぺア (多数決 $n=7$, 平均 $m=3$ ) に対しては特 に有意な差が現れた。

3) https://huggingface.co/colorfulscoop/gpt2-small-ja
表 3: 読みづらさ検出の精度

(a) 各単語長でのカウント

(b) 各単語長での累積図 2: [UND] 数の比較

## 5 考察

## 5.1 難しい文と平易な文

構造的に難しいと判別された文の特徴として主語 が省略されているものや, 並列構造等が見られた. 文長が短いために一定数主語が無い文が存在してお り,これらを排除することでより構造に焦点を当て た実験を行うことができると考えられる. また, 長い 名詞句やカタカナは中身を読まずに塊であると判別 できるため簡単と評価される傾向があった.

ここで, 図 2 にて難易度判定により有意な差を得 た文における係り先未決定の動きを見る. 以下の文 (2a) は 10 人中 9 人が読みづらい文として選択し, 1 人が同等であると回答した.

（2）a.しかし、旧民社党は大半の議員が新進党に 参加し、さきがけとの連携も流動的で連携相手は不確定だ。

b.初期の警察署が置かれたセントラル地区の ハリウッド通りには、インド料理店やイン ド系企業が多い。

(2b) は大力に適宜係り先が決定されているが, (2a) は保留されていることがわかり, 文の構造的難易度 により未決定数に差が生じることが確認できる.

## 5.2 読みづらさの正解データ作成

多数決方式の $\mathrm{n}=5$ においては [文 $\mathrm{A}$, 同等, 文 B] の 回答数が $[1,4,5]$ の様な回答が存在し, 小さい $\mathrm{n}$ に対 しては難易度の定まらない文が混在していると考え られる. 平均方式はこの欠点はカバーできるものの，同等の文に対しての評価ができなくなる。

多数決方式にて $\mathrm{n}$ の値により収集される文ペアを 見ていく. $\mathrm{n}=5$ の例として (3), $\mathrm{n}=7$ の例として (4)を 示す. (3a)と (4b) が読みづらい文である.

（3）a.九七年まで村山政権が続くのは安定かもし れないが、確信を持って政治がやれるのか。

b.この時は大分舞鶴がロスタイムに入って追 いつき、抽選で長崎北陽台が決勝に進んだ。

（4） a.同県警では、県警山岳救助隊など約七十人で捜索したが、午後五時、捜索を打ち 切った。

b.本に囲まれ、埋もれ、重みで床が抜けそう だ、と心配するような生活にあこがれて いる。

(3) は文構造が似通っており難易度にさほど差が 感じられないが, (4b) には並列構造が見られ, 係り先 の理解に時間を要する. $\mathrm{n}$ をきくすることで確か に難易度差がある文ぺアを取得している。

## 5.3 校正における活用

構造的曖昧性の絶対評価は難しく, 本研究では 2 文の比較による評価を行った. 難易度のスコアはサ プライサルと提案手法のどちらも各文ごとに付与し ている.そのため読みづらいと判別された文のスコ アの平均・分散における解析が, その文単体での難易度の判別に繋がる.これを用いて難しい文の指摘 を行うことで筆者による修正や自動書き換え等の校正への活用が見込まれる。

## 6 終わりに

日本語構造に着目した読みづらさの検出を行なつ た. 漸進的構文解析による, 未入力文脈への係り構造 を利用することで, サプライザルに比べて構造的に 読みづらい文の検出を行うことができた. 今後は構文解析結果の top-K 比較による構文確率の比較や語義曖昧性への拡張などによる読みづらさの検出を検討する. また, 特定の曖昧性に的を絞った正解データ の用意は困難であり, 収集方法も改善の余地がある.

## 参考文献

[1] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverse-engineering converges on a model for predictive processing. bioRxiv, 2020.

[2] John Hale. A probabilistic earley parser as a psycholinguistic model. In Proceedings of the Second Meeting of the North American Chapter of the Association for Computational Linguistics on Language Technologies, NAACL '01, p. 1-8, USA, 2001. Association for Computational Linguistics.

[3] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, 2008.

[4] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響 (2). 日本認知心理学会発表論文集, Vol. 2011, pp. 74-74, 2011.

[5] 浅原正幸, 小野創, 宮本 エジソン正. Bccwj-eyetrack :『現代日本語書き言葉均衡コーパス』に対する読み 時間付与とその分析. 言語研究, No. 156, pp. 67-96, 2019.

[6] 浅原正幸, 加藤祥. 読み時間と統語・意味分類. 認知科学, Vol. 26, No. 2, pp. 219-230, 2019.

[7] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響. 日本認知心理学会発表論文集, Vol. 2010, No. 0, pp. 81-81, 2010.

[8] Masayuki Asahara. Between reading time and clause boundaries in japanese- wrap-up effect in a head-final language一日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. Journal of Natural Language Processing, Vol. 26, pp. 301-327, 06 2019.

[9] Masayuki Asahara. Between reading time and the information status of noun phrases 名詞句の情報の状態 と読み時間について. Journal of Natural Language Processing, Vol. 25, pp. 527-554, 122018.

[10] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会 第 27 回年次大会発表論文集, pp. 723-728, 2021.

[11] 井上雅勝. ガーデンパス現象に基づく日本語文理解過程の実証的研究. 大阪大学博士論文, 2000.

[12] 浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, Vol. 27, No. 1, pp. 133-150, 2020.

[13] Tomohiro Ohno and Shigeki Matsubara. Dependency structure for incremental parsing of Japanese and its application. In Proceedings of the 13th International Conference on Parsing Technologies (IWPT 2013), pp. 91-97, Nara, Japan, November 2013. Assocation for Computational Linguistics.

[14] 大野誠寛, 松原茂樹. 漸進的係り受け解析の出力構造一人間の文解析過程のアノテーション-. 言語処理学会 第 22 回年次大会 発表論文集, pp. 457-460, 2016.

[15] 後藤亮, 大野誠寛, 松原茂樹. 人間の漸進的言語処理能力の分析. 情報処理学会 第 82 回全国大会, pp. 457-458, 2020.
[16] Gerry Altmann and Mark Steedman. Interaction with context during human sentence processing. Cognition, Vol. 30, No. 3, pp. 191-238, 1988.

[17] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, pp. 205-208, 2019.

[18] Xingxing Zhang, Jianpeng Cheng, and Mirella Lapata. Dependency parsing as head selection. In EACL 2017, pp. 665-676, 2017.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語の語彙力と読み時間について

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

本研究では、ヒトの語彙力の差が読み時間にどの ように影響を与えるのかについて検討を行う。具体的には、単語親密度調査に参加した方の評定値に対 して一般化線形混合モデルを適用した際の調査協力者のランダム効果を語彙力と仮定する。その後、同調査協力者に自己ペース読文課題に参加してもらい 読み時間を収集し、読み時間に対して一般化線形混合モデルを適用した際の語彙力の固定効果により、語彙力の差が読み時間に与える傾向を明らかにし た。また、得られた傾向からサプライザルや言語モ デルにおけるパープレキシティとの関連について考察を行う。

## 1 はじめに

本研究では、日本語の語彙力と読み時間の関係 について検討する。以前の調査では、視線走査装置1) や自己ペース読文法 [1] を用いた、新聞記事を 対象として読み時間データを収集 [2] し、記憶力を 計測するリーディングスパンテスト [3] と平成年代 に構築された語彙数判定テスト $[4,5]$ による実験協力者の能力差に基づく分析を行った [6]。得られた は語彙力が高い実験協力者の読み時間が長い傾向 があるという結果であった。 24 人の実験協力者の 語彙力の分散が小さいことが考えられるが、実験協力者を研究室に呼んで、視線走査装置を用いて 実験を行うことが困難となった。一方、英語にお いては、Amazon Mechanical Turk で被験者を募集し て、読み時間を収集した Natural Story Corpus (NSC) [7] が構築されている。同様の試みとして、Yahoo! Japan の Yahoo! クラウドソーシングを用い被験者を 募集したうえで、ibex ${ }^{2}$ を利用して、ウェブブラウ ザを介して自己ぺース読文法により大規模に読み 時間データを収集した [8]。読み時間収集対象者に

は、事前に単語親密度判定タスクに参加し、そのモ デル化の副産物として得られる対象者の語彙力を得 た [9]。これらの二つの調査結果を線形混合モデル で対照させたところ、「語彙力が高い実験協力者の 読み時間が短い」傾向が確認された。従前の結果が 語彙力の高い 1 人の実験協力者の行動に由来する可能性があり、大規模化した行動実験に基づく今回の 分析により異なる結果が得られた。

また、サプライザル $[10,11]$ や言語モデルのパー プレキシティとの関連 $[12,13,14,15,16,17,18]$ につ いても考察を行う。

## 2 データの収集手法

## 2.1 語彙力データの構築

語彙力データは単語親密度データの収集 $[19,9]$ 時 に得られる実験協力者の偏りを数値化したものを用 いる。具体的には、2018 年より毎年『分類語彙表』 の見出し語に対して、「知っている」「書く」「読む」「話す」「聞く」の程度を収集した。収集したデータ を一般化線形混合モデルで単語親密度を 84,114 語 のランダム効果として、語彙力を 6,732 人の実験協力者のランダム効果としてベイジアン線形混合モデ ルによりモデル化した。モデル化する際に、単語側 の標準偏差を 1.0、実験協力者の標準偏差を 0.5 とし た正規分布によりモデル化したものを用いる ${ }^{3}$ 。

後述するとおり、単語親密度調査の協力者の一部 の方が、次節に述べる読み時間データの収集に参加 した。読み時間データの収集に参加した方の語彙力 の分布を図 1 に示す。

## 2.2 読み時間データの収集

前節に示した単語親密度データ収集の 2020 年 10 月の調查に協力された方のうち、語彙数判定の分散が適切な 2,092人を対象に、自己ペース読文法に

図 1 語彙力の分布

表 1 刺激文と実験協力者の統計

表 2 分析対象

よる読み時間データ収集実験参加を募った $[8]$ 。最初に『現代日本語書き言葉均衡コーパス』の白書 (OW) 1 サンプルについて試験的に 500 人の協力者 を募集した。その後、教科書 (OT) 38 サンプルと書籍 (PB)83 サンプルについて、1 サンプル当たり 200 人の協力者を募集した。各実験協力者は 2020 年 11 月 12 月にかけて、白書 $\rightarrow$ 教科書 $\rightarrow$ 書籍の順に 自由に実験に参加でき、読むサンプルの数も自由に 設定した。従前の発表 [8] と同じスクリーニングを 行った後、単語親密度調査 200 回答以上・読み時間実験 5 サンプル以上に参加した実験協力者のデータ を分析対象とした。表 1 に刺激文と実験協力者の統計を、表 2 に分析対象となるデータ数を示す。

## 3 統計分析

統計分析は対数読み時間に対する線形混合モデ ルにおいて、各固定効果における有意差が確認で きるか否かにより行う。呈示順4) - 文字列長 ${ }^{5)}$ - 試行

4） BCCWJ-SPR2 における文呈示順 SPR_sentence_ID (sentid) $\cdot$文節呈示順 SPR_bunsetsu_ID (bid)

5）BCCWJ-SPR2 における表層形文字列長 SPR_word_length (length)。順6) ・係り受(゙7) ・ 実験協力者の語彙力 ${ }^{8)}$ を固定効果 とし、実験協力者 9$)$ ・サンプル $\mathrm{ID}^{10)}$ をランダム効果 とした。本稿では $\operatorname{lme4}[20,21]$ を用いた一般化線形混合モデルの結果を示す。一度モデルを推定したう えで、3SDよりも外側の値のデータポイントを排除 し、再推定を行った結果を表 3 に示す。なお、対数読み時間を頻度主義的な線形混合モデルで分析した ものを付録の表 4 に、同様のモデルをベイジアン線形混合モデル（対数正規モデル）で分析したものを 付録の表 5 に示す。

まず、同一サンプル内の呈示順については、実験 が進むについて文脈を得るために読み時間が短く なる傾向が確認された。文字列長は長いほど認識に 時間が長くなる傾向が確認された。試行順について は教科書においては実験協力者が慣れて短くなる 傾向が確認された。書籍においては、反対に繰り返 し実施することによる疲れからか、長くなる傾向が 確認された。最後に係り受けの数が多いほど、予測 が効くために、読み時間が短くなる傾向が確認され た。ここまでは既存の分析結果 [8] と同様の結果で あった。

## 4 考察

以下、結果についての考察を示す。

## 4.1 語彙力の影響

以前の調査 [6] では語彙力が高い実験協力者の読 み時間が長い傾向が確認された。しかしながら、調

6） BCCWJ-SPR2 における実験協力者ごとの試行順（サンプル 単位に集計）SPR_trial。OW については 1 サンプルのみのた めに常に試行順が 1 のため未定義。

7）BCCWJ-SPR2 における当該文節に対する係り受けの数 SPR_DepPara_depnum (dependent)。BCCWJ-DepPara から復元。 OT には係り受けが付与されていないために未定義。

8）WLSP-Familiary3.1 における実験協力者のランダム効果 WFR_subj_rate。

9）BCCWJ-SPR2 における実験協力者固有のID SPR_subj_ID_factor。

10） BCCWJ におけるサンプル ID BCCWJ_Sample_ID。

回帰式：

SPR_reading_time SPR_sentence_ID + SPR_bunsetsu_ID + SPR_word_length + DepPara_depnum

+ SPR_trial + WFR_subj_rate + (1 | SPR_subj_ID_factor) + (1 | BCCWJ_Sample_ID)

但し、OT は 1 回の試行のみのため SPR_trial は未定義、OT は係り受け情報が付与されていないため DepPara_depnum は 未定義。

表 3 一般化線形混合モデルに基づく分析結果（読み時間）

查人数が少ないうえ語彙力が高い群が実質 1 名で あったために、この1名のデータに依存し、一般性 のない分析である可能性があった。本調査では、読 み時間計測タスクを自己ペース読文課題に限定しな がらも、数百人規模のデータを用い、読む文章量も 増やした設定で再検証を行った。また語彙力の測定 もNTT の平成版語彙数判定テストではなく、新た に単語親密度調査に基づく副産物としての協力者の 語彙力を用いた。結果、語彙力が高い群の読み時間 がより短くなる傾向が観察された。

## 4.2 レジスタの影響

語彙力の影響を有意差の観点で見ると、OT(教科書) が $p<0.1 、 \mathrm{~PB}$ (書籍) が $p<0.05 、 \mathrm{OW}$ (白書) が $p<0.01$ であった。教科書は小・中・高の国語の教科書のサンプルであり、協力者は一度は読んだこと がある可能性がある。書籍と白書を比べると、一般 に書籍のほうが協力者が読みなれている可能性もあ る。このレジスタについてのなじみの程度が、語彙力の影響の有意差に表れている可能性がある。なじ みのある教科書では語彙力の影響の差が小さいが、 なじみのない白書では語彙力の影響の差が大きく なった可能性がある。

## 4.3 サプライザルや言語モデルのパープレ キシティとの関係

サプライザル $[10,11]$ は、文処理の負荷に対する 情報量基準に基づいた指標で、当該単語の文脈中の 負の対数確率（次式）によりモデル化される文処理 の困難さを表す：

$
\text { Surprisal }(w)=-\log _{2} P(w \mid \text { context })
$

似た概念の言語モデルの評価指標としてパープ レキシティ (平均分岐数) perplexity(context)= $\Pi_{i=1}^{N} P\left(w_{i}\right)^{1 / N}$ がある。これを対数を取った形式 (cross entropy) で表記すると $H$ (context) = $\frac{1}{N} \sum_{i=1}^{N} \log _{2} P\left(w_{i}\right)$ となるが、言語モデルとして次 にくる単語 $w$ を予測する際の仮定としては、 $\arg \max \log _{2} P(w \mid$ context $)$ と、この cross entropy の最大化問題に帰着でき、実質的には符号が反転したサ プライザルの式の最小化と等価の問題と捉えること ができる。

このパープレキシティ (cross entropy) が低いほど ヒトらしいという研究は英語については確認されて いる $[12,13,14,15,16]$ 一方、英語と日本語における 読み時間と Transformer 系の言語モデルの対照分析 [17,18] において、日本語においては必ずしもそう とは言えない報告がなされた。

ここで、サプライザル・パープレキシティとは何

か、さらには「ヒトらしい」とは何かについて考え たい。過去の研究においては、言語モデルの能力差によるパープレキシティの検討がなされてきた。本研究ではヒトの能力差とレジスタの親密性の観点 から検討を行いたい。

まず、ヒトの能力差の観点からは、仮定として語彙力が高いヒトは文脈から単語を推測する確率が 高いとするならば、この能力差がサプライザルの指標を下げ、全体的に読み時間を短くした可能性があ る。サプライザルと言語モデルのパープレキシティ の等価性から、言語モデルのパープレキシティが高 くなるにつれ、より語彙力の高い群に親和性がある 予測を行う可能性がある。

次に、レジスタの親密性の観点からは、仮定とし て、OT(教科書) は一度読んだ可能性があるテキス トであり、PB(書籍) は普段読んでいるものに近い 新しいテキストであり、OW(白書) は普段読み慣れ ないテキストであると想定する。親密性の観点から は、OT>PB>OW の順で次にくる単語が予測しやす い可能性があり、サプライザルはこの逆順で小さい (パープレキシティの観点からは正順で大きい) レ ジスタであると考える。表 3 の語彙力の有意差の傾向から、 $\mathrm{OT}<\mathrm{PB}<\mathrm{OW}$ の順で語彙力の差が出やすく なっていることがわかる。本データ (BCCWJ-SPR2) の $\mathrm{PB}$ の NDC（日本十進分類法）に基づく分析 [22] では、多くの人が親しみやすい芸能やスポーツなど を含む「7. 芸術・美術」が読み時間が短くなる傾向 が確認されている。

以上の観点を総合的に考えると、「ヒトらしい」言語モデルとは、適切なレベルの語彙力を持ち、レ ジスタの親密性の差異により予測可能性が変化しう るものであろうと考える。後者のレジスタの親密性 については、Hale らが、サプライザルをジャンル横断的に調査し、EEGデータと推定したサプライザル とを対照することで、同一ジャンルで訓練した言語 モデルのほうがより EEG データに適合することを 報告している [23]。

## 5 おわりに

本研究では、日本語の読み時間と語彙力の関係 について検討した。本研究の貢献は以下の 3 点で ある：

・対面で実験できないなか、オンラインで日本語 の読み時間と語彙力調査を大規模に行う方法を 確立した。
・大規模調査により、日本語において語彙力の読 み時間に与える影響について、複数レジスタの 資料に対して調査した。
- 調査結果として、「語彙力の高い」群が読み時間が短くなることを確認した。

分析結果から以下の 2 点について考察を行った：

・ヒトの能力差において、「語彙力の高い」こと と「言語モデルのパープレキシティの高い」こ とのアナロジーを仮定すると、言語モデルの パープレキシティが高くなるにつれてより語彙力の高い群に親和性がある予測を行う可能性が ある。

・レジスタの親密性において、サプライザルが全体的に低いであろう読みなれているレジスタに おいては、語彙力の差が出にくい。

このように日本語の読み時間において、ヒトの能力差やレジスタ差の検討が可能になった。今後、よ り精緻な数理モデルによる検討を期待する。

今回、ヒト側の能力として語彙力について検討を 行い、上記の傾向について明らかにした。日本語に おいては、再帰的ニューラルネットワーク文法に よる読み時間の検討 $[24,25]$ も進められている。文法に基づくヒトの文処理過程をつかさどる重要な 概念として、実験協力者の作業記憶容量 (パージ ングアルゴリズムにおけるビーム幅相当）がある。 BCCWJ-EyeTrack においては、日本語リーディング スパンテスト [3] を行い、成績の優劣による検討も 行った [6]。本データにおいても、オンラインで作業記憶容量を評価する方法について検討し、パージ ングに基づく文処理過程のモデリングについて評価可能なデータを構築したい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 17H00917, 18H05521 の支援を受けました。

## 参考文献

[1]Marcel Adam Just, Patricia A. Carpenter, and Jacqueline D. Woolley. Paradigms and processes in reading comprehension. Journal of Experimental Psychology: General, 3:228-238, 1982.

[2]浅原正幸, 小野創, and 宮本エジソン 正. BCCWJEyeTrack-『現代日本語書き言葉均衡コーパス』に対 する読み時間付与とその分析-. 言語研究, 156:67-96, 2019.

[3]苧阪満里子, editor. ワーキングメモリー脳のメモ帳. 新曜社, 2002.

[4]Shigeaki Amano and Tadahisa Kondo. Estimation of Mental Lexicon Size with Word Familiarity Database. In Proceedings of International Conference on Spoken Language Processing, volume 5, pages 2119-2122, 1998.

[5]天野成昭 and 近藤 公久, editors. 単語親密度, NTT デー タベースシリーズ 日本語の語彙特性第 $l$ 巻. 三省堂, 1999.

[6]浅原 正幸, 小野創, and 宮本 エジソン 正. 『現代日本語書き言葉均衡コーパス』の読み時間とその被験者属性. In 言語処理学会第 23 回年次大会発表論文集, pages 273-276, 2017.

[7]Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank, Anastasia Vishnevetsky, Steven Piantadosi, and Evelina Fedorenko. The Natural Stories Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[8]浅原 正幸. クラウドソーシングによる大規模読み時間 データ収集. In 言語処理学会第 27 回年次大会発表論文集, pages 1156-1161, 2021.

[9]浅原 正幸. クラウドソーシングによる単語親密度デー 夕の構築 (2021 年版). In 言語処理学会第 28 回年次大会発表論文集, 2022.

[10]John Hale. A probabilistic earley parser as a psycholinguistic model. In Proceedings of the Second Conference of the North American Chapter of the Association for Computational Linguistics, volume 2, pages 159-166, 2001.

[11]Expectation-based syntactic comprehension. Cognition, 106(3):1126-1177, 2008.

[12]Stefan L. Frank and Rens Bod. Insensitivity of the human sentence-processing system to hierarchical structure. Journal of Psychological Science, 22(6):829-834, 2011.

[13]Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of CMCL, pages 61-69, 2012.

[14]Adam Goodkind and Klinton Bicknell. Predictive Power of Word Surprisal for Reading Times is a Linear Function of Language Model Quality. In Proceedings of CMCL, pages $10-18,2018$

[15]Adam Goodkind and Klinton Bicknell. Comparing Gated and Simple Recurent Neural Network Architectures as Models of Human Sentence Processing. In Proceedings of the 41st Annual Conference of the Cognitive Science Society, pages 112-118, 2019.

[16]Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language
Models for Human Real-Time Comprehension Behavior. In Proceedings of the 42nd Annual Conference of the Cognitive Science Society, pages 1707-1713, 2020.

[17]Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguisticsand the 11 th International Joint Conference on Natural Language Processing, pages 5203-5217, 2011.

[18]栗林樹生, 大関洋平, 伊藤 拓海, 吉田遼, 浅原 正幸, and 乾 健太郎. 予測の正確な言語モデルがヒトらしいとは 限らない. In 言語処理学会第 27 回年次大会発表論文集, pages 267-272, 2021.

[19]浅原 正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[20]Douglas Bates, Martin Mächler, Ben Bolker, and Steve Walker. Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67:1-48, 2015.

[21]Marek Hlavac. stargazer: Well-formatted regression and summary statistics tables, 2018. R package version 5.2.2.

[22]浅原 正幸 and 加藤 祥. 『現代日本語書き言葉均衡コー パス』書籍サンプルの読み時間の分析. In 日本語学会 2021 年度春季大会予稿集, pages 49-54, 2021.

[23]John Hale, Adhiguna Kuncoro, Keith Hall, Chris Dyer, and Jonathan Brennan. Text genre and training data size in human-like parsing. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 5846-5852, Hong Kong, China, November 2019. Association for Computational Linguistics.

[24]Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[25]吉田 遼, 能地 宏, and 大関 洋平. 再帰的ニューラルネッ トワーク文法による人間の文処理のモデリング. In 言語処理学会第 27 回年次大会発表論文集, pages 273-278, 2021.

## A 付録

回帰式：

SPR_log_reading_time SPR_sentence_ID + SPR_bunsetsu_ID + SPR_word_length + DepPara_depnum

+ SPR_trial + WFR_subj_rate + (1 | SPR_subj_ID_factor $)+(1$ | BCCWJ_Sample_ID)

但し、OT は 1 回の試行のみのため SPR_trial は未定義、OT は係り受け情報が付与されていないため DepPara_depnum は 未定義。

表 4 一般化線形混合モデルに基づく分析結果（OW 白書・OT 教科書・PB 書籍 $:$ 対数読み時間）

表 5 ベイジアン線形混合モデルに基づく分析結果（OW 白書のみ：対数正規モデル）


# How nearly random mutations to sentences affect their acceptabilities:

Preliminary quantitative analyses based on ARDJ data

Kow Kuroda ${ }^{1}$, Hikaru Yokono $^{2}$, Keiga Abe ${ }^{3}$, Tomoyuki Tsuchiya ${ }^{4}$, Yoshihiko Asao ${ }^{5}$,
Yuichiro Kobayashi ${ }^{6}$, Toshiyuki Kanamaru ${ }^{7}$, and Takumi Tagawa ${ }^{8}$
${ }^{1}$ Kyorin University, ${ }^{2}$ Meisei University, ${ }^{3}$ Wako University, ${ }^{4}$ Kyushu University,
 }^{5}$ National Institute of Communications and Information Technology, ${ }^{6}$ Nihon University, ${ }^{7}$ Kyoto University, ${ }^{8}$ Tsukuba University

\begin{abstract}
ARDJ s2u data consists of 300 sentences paired with acceptability ratings. Out of them, 36 are "originals" that were human-made and other 264 are their "mutations" that were generated either by nearly random replacement of a nominal, a verbal or a positional (e.g., case-marker) or by random swapping a pair of phrases (i.e., bunsetu) inside. This allows us to analyze effects of mutation systematically. With DBSCAN of the originals, layered analysis of mutation effects was carried out. Findings are: i) No mutations improve low acceptabilities; ii) The order of systematicity is: $\mathrm{p}<\mathrm{v}<\mathrm{n}<\mathrm{s}$; iii) The order of effect size is: $\mathrm{p}<$ $\mathrm{v}, \mathrm{n}, \mathrm{s}$, so that $\mathrm{n}-$, s-mutations often cause as large effects as v-mutation, or oven larger; iv) No simple dichotomy is possible between "acceptable" and "acceptable" sentences. Rather, their distinction is continuous and graded, so that (logistic) regression is a better modeling of the distinction.
\end{abstract
## 1 Introduction

Linguistics is concerned with acceptabilities of sentences, if not exclusively. But acceptability is an elusive notion $[1,2,3,4,5,6]$. Any group of linguists rarely agree on its theoretical definition, meaning that it is a highly theoryladen notion [7]. If its theoretical definition is somehow shared, its operative definition is virtually missing. The situation is still worse. Even if presume its definition is fine, we are still far from knowing what acceptabilities really are. No unbiased, large-scale collection of the required data has ever been done. In particular, we are far from fully understanding what modifications to a sentence bring about what effect, and to what degree, because data-driven study into this problem has never been done. What linguists know about acceptability suffers from "confirmationbias" $[8,9,10,11,12,13]$. This is the issue that dictates this research based on Acceptability Rating Data for Japanese (ARDJ for short) [14, 15, 16, 17, 18, 19].

ARDJ is a project of empirically-oriented language science, rather than mere linguistics, that attempts to implement the framework of randomized control trials in the field of linguistics, with sympathy for Evidence-based Medicine
(EBM) [20,21]. A crucial conviction that paved the way for ARDJ is that intuitions by experts (e.g., acceptability judgments by linguists) are valuable with no doubt, but they are too weak "evidence" to be treated as "facts"; rather, they are more or less reliable "guides."

The stimuli used in the ARDJ surveys comprise two kinds of sentences: 36 "originals" hand-crafted by humans and their "variants" generated by applying nearly random mutations on the originals. Mutations are only nearly random rather than fully random, because they have target sites, and values for replacement are chosen based on word2vec distributional similarities. See [16] for relevant details. Appendix A. 1 gives a brief summary. Effects of mutation can be systematically analyzed by comparing responses to the originals and their mutations.

## 2 Analysis and results

To make our analysis effective, we use PCA, tSNE with DBSCAN clustering, overplot, and KL-divergence-based heatmap/clustering. In $\$ 2.3 .1-\$ 2.3 .4$, analysis of effects of mutation is implemented as a layered analysis in which Clusters 1, 2, 3 and 4, are taken as four separate groups of data. Discarding the originals in Clusters 2, 3 and 4, KLdivergence-based analysis is performed on mutations to the originals in Cluster 1 in \$2.4. Lastly, effects are analyzed by exploring properties of mutation-wise KL-divergence heatmaps in $\S 2.5$.

## 2.136 originals and their attributes

ARDJ s2u data [17] has 36 "originals" presented in Figure $1,001,002, \ldots$, o36, with relevant attributes. Details are presented in §2.1. How this data was prepared is described in Appendix A. The originals are sorted decreasingly by $\mathrm{r} 01, \mathrm{r} 12$ values, and increasingly by $\mathrm{r} 23, \mathrm{r} 3 \mathrm{x}$ values. Only 32 originals have more than 2 mutations. So, the number of effective originals is 32 rather than 36 , as Figure 1 shows. The effective ones have $(8.31-1)$ mutations/variants on average, with a maximum of 16 and minimum of 4 .

Figure 1: $\mathbf{3 6}$ originals with attributes

The originals were clustered using DBCAN, giving us 4 clusters. $\$ 2.2$ deals with this result. The resulting clustering is laid out over a PC1-PC2 plane of PCA rotation and a Dim1-Dim2 plane of tSNE transformation. This gives us how the sentences are associated to each other.

## 2.2 Clustering of originals and all stimuli

Figure 2: PCA and tSNE of 36 originals

## 2.2.1 Clustering originals only

DBSCAN was used to cluster the 36 originals to identify 4 clusters, which are shown in PCA and tSNE plots in Figure 2. tSNE in Figure 2 suggests the existence of a unified dimension along which acceptability can be measured. The deviance of Cluster 2 from it can be accounted for its special nature described below.

## 2.2.2 Clustering all 270 stimuli

For comparison, we present clustering of all stimuli including the 36 originals described above. Figure 3 gives PCA and tSNE plots of DBSCAN clustering. Note that the setting for eps and minPts parameters here is independent from those for the parameters for the DBSCAN clustering of the 36 originals.

Figure 3: PCA and tSNE of all 270 stimuli

## 2.3 Layered Analysis

This clustering result seems natural in that clusterwise overplots in Figure 4 seem to capture both the similarities and dissimilarities quite well. Each cluster consists of instances with surprising similarities.

rating ranges
lustered by DBSCAN (eps $=$

rating ranges
DBSCAN (eps $=0$

Figure 4: Clusterwise ovwerplots of originals

Comparing with the data in Figure 1, we can safely conclude the following:

a. Cluster 1 identifies the group of "acceptable" stimuli, Cluster 4 the one of "unacceptable" stimuli, and Clusters 2 and 3 the ones of "ambiguous" stimuli, with different qualities.

b. Cluster 3 consists of 3 instances, 003, 011 and o24, that have a "split" decision, in that raters are split into two groups of those who accept them fully and those who reject them fully.

c. Cluster 4 consists of 3 instances, 001,007 and 032, that have a nearly "uniform" distribution of (un)acceptability along the range, though with a slight inclination toward acceptability.

With these distinctions among the originals, we can now turn to effectively analyzing the effects of mutation to answer the research question: how random mutations to sentences affect their acceptabilities, and to what extent.

## 2.3.1 Analysis 1a: Mutations to originals in Cluster 4

We start our analysis with the one of the mutations to the originals to Cluster 4, a relatively large cluster, having 13
members which can be labelled as "unacceptable" stimuli. This is because the effects are simple and can be characterized most easily.

Effects of mutation are analyzed in three visualizations, as shown in Figure 5: i) overplot of response profiles (in the leftmost column); ii) proportional distribution of range values after reordering; and iii) layout of DBSCAN clusters in a rotated geometry $G$.

Figure 5: Mutations to originals to Cluster 4 [4 samples]

In each analysis, stimuli are ordered by their range values. So, their positions relative to o in the legend roughly indicate if mutations increase or decrease acceptabilities.

As suggested by the plots in Figure 5, virtually no mutations improve the original acceptabilities. In addition, the response profiles, i.e., shapes of distribution, stay unchanged for most cases. So, there seems to be a rule like "once (made) deviant, always deviant." This finding is not truly surprising, let alone unexpected; yet, it deserves a mention because this is the first empirical confirmation of a truism on a large scale that has long awaited testing.

## 2.3.2 Analysis 1b: Mutations to originals in Cluster 3

Effects of mutations to cases in Cluster 3 are similar to the ones to stimuli in Cluster 4. Stimuli in Cluster 3 almost are almost never improved by any mutation, though, admittedly, we can hardly state generalizations safely because we have too few affected cases.

## 2.3.3 Analysis 1c: Mutations to originals in Cluster 2

Effects of mutations to cases in Cluster 2 are somewhat different from the ones to stimuli in Cluster 3. Unlike stimuli in Cluster 3, stimuli in Cluster 2 sometimes improve, though, again, we can hardly state generalizations safely

Figure 6: Mutations to originals to Cluster 3 [One case was dropped due to insufficient cases.]

due to having too few affected cases. It is interesting that o11 and o24 get more acceptable through certain mutations, though o03 does not possess such properties.

Figure 7: Mutations to originals to Cluster 2 [2 samples]

## 2.3.4 Analysis 1d: Mutations to originals in Cluster 1

Mutations to the originals in Clusters 2, 3 and 4 tell us virtually nothing interesting about how mutations affect acceptability, because we can hardly identify meaningful differences between mutations and their originals. This is not true of mutations to the originals in Cluster 1.

Mutation effects are different case by case, but generally speaking, we can observe the following:

a. Lexical changes (i.e., mutations to either $\mathrm{n}$ (ominals), v(erbals), or $\mathrm{p}$ (ositionals)) nearly always drop acceptability, while non-lexical changes (i.e., swapping) do not. Swapping often keeps the acceptability.

b. It is not true, at least not observed, that n-changes reduce acceptability more than $\mathrm{v}$-and $\mathrm{p}$-changes, as far as degree of deviance is measured.

c. Changes to $\mathrm{p}$ introduce only a slight amount of deviance, though it is unignorable.

d. Effects of mutation are diverse, in that the number of clusters recognized is greater than the ones in other clusters, Clusters 2, 3 and 4.

e. Mutations do not simply make sentences unacceptable, in that resulting profiles do not always look like those in the originals in Cluster

Figure 8: Mutations to originals to Cluster 1 [5 samples]

4. Rather, they look more like the originals in Cluster 3 or 2 . So, the effects of mutation are more subtle than researchers have guessed.

With their relative importance, cases in Cluster 1 deserve further exploration. We do it by analyzing them with KLdivergence cross-table.

## 2.4 Analysis 2: KL-divergence for originals to Cluster 1

The diagrams in Figure 9 are heatmaps of the 9 samples, taken in Figure 8, allowing us to make the following observations:

a. p- and v-mutations tend to cluster together, but not always.

b. swapping and n-mutations tend to lack systematic effects, though they often cause drastic deterioration.

## 2.5 Analysis 3: KL-divergence cross-table by mutation

Different types of mutation, i.e., p, v, $n$ and $s$, have different magnitudes of effects. To estimate them, we can use KLdivergence heatmaps, as shown in Figure 10.

If the contrasts between "hot" and "cool" areas are sharp, the magnitude of effects can be judged to be large. If the

Figure 9: KL-div. heatmaps for Cluster 1 cases [009, o08, $005,016,023,022,026,027,031]$

Figure 10: KL-div. heatmaps for mutation types [p, v, n, $\mathbf{s ,} \mathbf{0}]$

degree contrasts are spread, effects are unsystematic. With this criterion, we can conclude that i) the effect of $p$ mutations is least contrastive and most systematic; ii) that of $\mathrm{v}$ mutations is second least contrastive and rather systematic; iii) that of n mutations is second most contrastive and rather unsystematic; and iv) that of s mutations is most contrastive and most systematic. Note that the 36 originals are contrastive only because they are largely designed so.

## 3 Discussion and Conclusion

So, what are causes of reduced acceptabilities? With the results so far, we can now decide if we are able to answer this question. The most sincere answer to this would be: there is no simple answer to this question. What does this mean, then?

Simple dichotomy between "acceptable" and "unacceptable" kinds of sentences is too simple and unrealistic, though it is widely accepted and practiced in many areas of linguistics. What really matters about acceptabilities are response profiles (distributional pattern of responses) rather than categorical judgments, on the one hand, and regression to response profiles rather than binary classification (e.g., dichotomy $=$ categorical judgment), on the other. This is a conclusion compatible with the results in [15].

What do linguists need to do with this reality, then? We would suggest that the goals of linguistics should be redefined. Redefined goals include the construction of a mapping from sentences in textual form (e.g., values in s.text in Table 1) to response profiles (e.g., arrays of values [r01, r12, r23, r3x] in the table in Figure 1), yielding overplots in Figures 4. This can never be attained until large-scaled, bias-free databases like ARDJ are built for as many languages as possible. Until then, linguistics would never make itself an empirical science.

## Acknowledgements

This research was supported by JSPS through Grant-in-Aid (16K13223)

We are grateful for Shunji Awazu (Jissen Women's University), Asuka Terai (Future University of Hakodate) and Minoru Yamaizumi (Osaka University), who kindly helped our execution of Phase 1 of ARDJ Survey 2.

All statistic analyses were done on $\mathrm{R}$ version 3.6.3, a free statistical software developed by R Core Team .

## References

[1] Wayne Cowart. Experimental Syntax: Applying Objective Methods to Sentence Judgments. Sage Publishing, 1997.

[2] Ira A. Noveck and Dan Sperber, editors. Experimental Pragmatics. Palgrave Macmillan, 2005.

[3] Gary Dean Prideaux, Bruce L. Derwing, and William J. Baker. Experimental Linguistics: Integration of Theories and Applications. John Benjamins, 1979.

[4] Carson T. Schütze. The Empirical Base of Linguistics: Grammaticallity Judgments and Linguistic Methodlogy. Language Science Press/University of Chicago Press, 2016 [1996].

[5] Jon Sprouse. Three open questions in experimental syntax. Linguistics Vanguard, Vol. 1, No. 1, pp. 89-100, 2015.

[6] Jon Sprouse and Norbert Horstein. Experimental Syntax and Island Effects. Cambridge University Press, 2013.

[7] Holly P. Branigan and Martin Pickering. An experimental approach to linguistic representation. Behavioral and Brain Sciences, Vol. 40, 2017.

[8] Jonathan Baron. Thinking and Deciding. Cambridge University Press, 2000 [1988, 1994].

[9] H. W. Bierhoff and R. Klein. Expectations, confirmation bias, and suggestibility. In V. A. Gheorghiu, P. Netter, H. J. Eysenck, and R. Rosenthal, editors, Suggestion and Suggestibility, pp. 337-346. New York: Springer, 1989.

[10] Joshua Klayman. Varieties of confirmation bias. Psychology of Learning and Motivation, Vol. 32, pp. 384-418, 1995.

[11] Thomas Gilovich. How We Know What Isn't So: The Fallibility of Human Reason in Everyday Life. Free Press., 1993. [(日本語訳) 人間，この信じやすきもの: 迷信・誤信はど うして生まれるか. 新曜社.].

[12] David Robson. The Intelligence Trap: Why Smart People Do Stupid Things and How to Make Wiser Decisions. Hodder \& Stoughton, 2019.

[13] Stuart A. Vyse. Believing in Magic: The Psychology of Superstition. Oxford University Press, reprinted edition, 2000. [(日本語訳): 人はなぜ迷信を信じるのか: 思い込みの心理学. 朝日新聞社, 1999.].

[14] Kow Kuroda. Reassessing PCA of Acceptability Rating Data for Japanese (ARDJ) using kernel MVA. In Proceedings of the 26th Annual Meeting of Association of NLP, pp. 15231526,2020
[15] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Aaso, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Simulating acceptability judgments using ARDJ data. In Proceedings of the 27th Annual Meeting of Association of NLP, pp. 739-743, 2021.

[16] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Development of Acceptability Rating Data of Japanese (ARDJ): An initial report. In Proceedings of the 24th Annual Meeting of the Association for NLP, pp. 65-68, 2018.

[17] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Insights from a large scale web survey for Acceptability Rating Data for Japanese (ARDJ) project. In Proceedings of the 25th Annual Meeting for the Association of NLP, pp. 253-256, 2019.

[18] 黒田航, 阿部慶賀, 横野光, 土屋智行, 小林雄一郎, 金丸敏幸, 浅尾仁彦, 田川拓海. 容認度評定に影響する要因の定量的評価: 日本語容認度評定データ (ARDJ) から得られた知見. 日本認知科学会第 36 回大会発表論文集, pp. 727-736, 2019.

[19] 黒田航, 阿部慶賀, 粟津俊二, 寺井あすか, 土屋智行. ARDJ を基にした容認度評定値と反応時間の多変量解析と混合回帰分析. 認知科学会第 37 回大会発表論文集, pp. 919-928, 2020.

[20] G. Evidence-based Medicine Group [Guyatt, J. Cairns, and D. et al.] Churchill. Evidence-based medicine: A new approach to teaching the practice of medicine. Journal of the American Medical Association, Vol. 268, No. 17, pp. 2420 5, 1992 (Nov 4).

[21] David Isaacs and Dominic Fitzgerald. Seven alternatives to evidence based medicine. The British Medical Journal, Vol. 319, No. 7225, p. 1618, 1999.

## A Data preparation

## A. 1 Construction of stimuli

To make the outcomes of ARDJ truly empirical and useful, we need to employ as unbiased stimuli as possible. The best way to implement it is to employ automatic generation rather than relying too much on human intuitions. Random mutation in DNA sequences serves as a model. The basic idea is the following:

(4) Steps of randomized generation with targets

Step 1. Construct sentences, called "originals," $O=\left.\{o_{1}\right.$, $\left.o_{2}, \ldots, o_{n}\right.\}$ with or without deviance.

Step 2. Introduce random mutations to instances of $O$. Let $M$ denote the result.

Step 3. Mix $O$ and $M$ and use its subsets for acceptability rating tasks.

More details of Step 2 are given in the following:

(5) A) Random replacement of a lexical item under POSidentity (edit type: 1(exical)); B) Random replacement of a postpositional case-marker $(\mathrm{P})$ with another (edit type: $\mathrm{p}($ ositional)); C) Random positional exchange of a given pair of NPs (or PPs) (edit type: s(wapping)).

provided that items for replacement are selected on a predefined measure such as distributional similarity.

The first and second authors developed Python scripts to implement mutations of $\mathrm{A}-, \mathrm{B}-$ and $\mathrm{C}$-classes. They are provided at https://github.com/kow-k/ Japanese-sentence-mutators.

## A. 2 Surveys

By 2019, ARDJ completed two experiments. The first one, called "Survey 1," was carried out in 2017. It was intended to be a pilot study with only a limited variety of responders (roughly 200 college students only) on 200 sentences for stimuli. Kuroda et al. [16] reported on this survey. The second experiment, called "Survey 2," was carried out in 2018. This was the main study, with the stimulus set expanded to 300 with some overlap with Survey 1.

Survey 2 had two phases, Phases 1 and 2, and collected responses from 1,880 participants in total. Phase 1 was a small scale, paper-based survey, to which 201 participants (mostly all college or university students) contributed responses. This was comparable to the pilot study done in 2017. Phase 2 was a large scale web survey to which 1,679 participants contributed responses. They were significantly more varied in their attributes and we would safely state responses obtained were randomized enough. Survey 2 unified (s2u) data consists of unification of responses from Phase 1 and Phase 2. These data are freely available at https://kow-k.github.io/ Acceptability-Rating-Data-of-Japanese/, but you need to register to use them.

## A. 3 Collection of ratings/responses

On acceptability rating, participants were asked to choose one of the four choices in (6).

(6) 0. 違和感がなく自然に理解できる文 [natural and easy to understand]; 1. 違和感を感じるが理解可能な文 [more or less deviant but comprehensible]; 2. 違和感を感じ て理解困難な文 [deviant and difficult to understand]; 3.不自然な理解不能な文 [quite unnatural and incomprehensible]

Prefixes 0, 1, 2 and 3 are added to indicate the degrees of deviance, though they need not be on a single scale.

Outlier responders were filtered out using standard deviation $(0.6<\mathrm{sd}<1.5)$ and Mahalanobis distance $(<0.95)$. See Kuroda et al [17] for relevant details.

## A. 4 Standardizing responses

Note that gr0, .., gr9 are different data sets, and cannot be directly compared. Comparison of them requires standardization. All groups were collapsed and responses were counted for each of the four rating ranges $r[0,1), r[1,2), r[2,3)$, and $r[3, \infty)$.

Table 1 shows 10 samples of this process. These raw counts were then converted into proportions to item-wise sums. This gave us density array, $P=$ $\langle p[0,1), p[1,2), p[2,3), p[3, \infty)\rangle$, as exemplified in Table 2. Note that allowed response values were $0,1,2$, and 3 . These numbers are reinterpreted as ranges $r[0,1), r[1,2)$, $r[2,3)$, and $r[3, \infty)$, respectively, where $r[i, j)$ means a sum of response counts between $i$ and $j$ with $i$ included and $j$ excluded. The converted arrays of ranged response probabilities in this format are to be called "response potentials." They are commensurable among groups with different sets of responders, and were used as effective encodings of the responses in a variety of analyses.

Table 1: Frequency table by ranges (6 samples)

Table 2: Density table by ranges (6 samples)


# 情報量に基づく日本語項省略の分析

石月由紀子 1 栗林 樹生 1,2 松林 優一郎 1,4 大関 洋平 3,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 東京大学 ${ }^{4}$ 理化学研究所
yukiko.ishizuki.p7@dc.tohoku.ac.jp,
\{kuribayashi,y.m\}@tohoku.ac.jp, oseki@g.ecc.u-tokyo.ac.jp

## 概要

日本語は英語などの言語と比べて項省略が生じや すい言語である. 本研究では，人がどのような基準 で日本語の項省略を行うか，書き手の計算モデルに ついて探求する．具体的には，「書き手は読み手に とっての処理負荷を想定しながら文を書いており，後続要素の処理負荷をなるべく大きくしないように 省略を行っている」という仮説を立てる．項に後続 する単語系列の処理負荷の近似として言語モデルが 計算するサプライザルを用いて分析を行い，結果と して，後続する単語の処理負荷 (サプライザル) が大 きくならないよう省略を行っているという，我々の 仮説を支持する結果が得られた。

## 1 はじめに

言語を用いた情報伝達における主要な目的の一 つは，情報を相手に正確に伝えることである。しか し，情報を正確に伝えるという目標に反して日本語 では文要素の省略現象が頻繁に観察され，なぜ・ど のようなときに省略が生じるのかは言語学的関心を 集めてきた. どのような要素が省略可能・不可能で あるかといった説明は長らく生成統語論で議論され てきたが $[1,2,3,4]$, 言語運用における実際の書き 手の判断 (省略する儿ない) の傾向については分析 が限られている.

本研究ではこのような書き手の省略判断の選好に ついて，情報理論に基づくアプローチで説明を試み る. 情報理論的，確率的な説明は，省略や指示表現選択といった言語産出現象の説明としばしば相性が よく, これまでにも発話中の情報量の分布がなめら かになるような情報伝達を仮定する情報密度一様性 (UID) 仮説 $[5,6]$ や，人間の読み負荷とサプライザル の関係 [7] に基づいて，関係詞省略 [6] や縮約 [8], 格助詞の省略 $[9,10]$ などが分析されてきた.

本研究では，「書き手が読み手にとっての処理負荷を想定しながら文を書いており，後続要素の処理負荷をなるべく大きくしないように省略を行って いる」という仮説を立てる. 読み手にとっての処理負荷の増大と，要素を省略しないことによる文の長 さ (㔯長性) にはトレードオフがあり, 両方の要請 を満たすには，処理負荷を増大させない範囲で省略 を行うという戦略が妥当であると考えられる。例 えば，「家のコーヒー豆が切れたので、デパートで コーヒー豆を買った」という文については，述語動詞の項 (コーヒー豆を)が省略されていても無理なく 後続の情報 (買った) の解釈が可能であることから省略ができると考える。

実験では，動詞の項の省略に焦点を当て，項の省略とその省略によって引き起こされる後続文脈の処理負荷の変化の関係を調査した. 後続文脈の処理負荷については，サプライザル理論に則り，累積サプ ライザルの変化 (項が省略されたときに, 後続要素 の驚きがどれほど増えるか) を観察する。述語項構造・共参照アノテーション付きデータを用い，テキ スト上で省略されている項といない項について，そ の項の表出・省略によって引き起こされる後続単語 の処理負荷の変化量を調査し,「後続する要素の処理負荷が増えないように省略を行っている」という 仮説を支持する結果が得られた。

## 2 サプライザルによる処理負荷推定

人の読み処理や言語の産出過程については，計算心理言語学の視点から分析が行われている. 特に近年では，逐次的な単語の処理困難度と情報量の間の 相関を説明するサプライザル理論 [7] が，読み時間 のモデリング $[11,12]$ などに応用されている. サプ ライザルは, 先行文脈 $c=w_{1}, \ldots, w_{i-1}$ に続く単語 $w_{i}$ の出現確率について負の対数をとったものであり，

$
\operatorname{surprisal}\left(w_{i} \mid c\right)=-\log _{2} P\left(w_{i} \mid c\right)
$

によって求められる。 日本語においても，読み時間 の長さとサプライザルの大きさに相関があることが 示されている [13]. さらには，共参照 [14] やフラグ メント [15] といった言語現象についても，サプライ ザルを用い情報量の観点で分析が与えられている。本研究では, 日本語の項省略について後続の語の読 み処理負荷との関係を観察するために，サプライザ ルを用いて分析を行う。

## 3 方法

本研究での仮説は「書き手は読み手にとっての処理負荷を想定しながら文を書いており，日本語にお いて自然に省略される項は，項の出現の有無によっ て引き起こされる後続単語の処理負荷の変化量が相対的に小さい」というものである. この仮説を検証 するため，(1) まず予備実験的に，文章中に登場する 述語の項を「自然に省略される項」と「自然には省略されない項」の2つのグループに分け，それぞれ のグループで項を出現させた場合と項を出現させな い場合を比べ，後続の語のサプライザルにどの程度 の変化が現れるかを確認する。(2) その後，項省略 に関連する可能性のあるその他の因子を交えて回帰分析を行い，実際に後続の語のサプライザルの変化量が書き手が項省略を起こすか否かの予測に寄与し ているかどうかを検証する。

人手による実験用データの作成上記の検証を行 うにあたっては，書き手が項を明示している事例と 省略を行っている事例を区別したデータを作成する 必要がある. 本研究では係り受け. 並列構造と述語項構造・共参照がアノテーションされた現代日本語書き言葉均衡コーパス (BCCWJ-DeparaPAS)[16] の書籍（PB）ドメインから述語項関係を持つ事例を抽出 することでこのデータを作成した.

作成したデータの概略図を図 1 に示す。まず，文章中の述語の項について，書き手が項を明示してい る事例を (A) 項表出群 (付録表 3) とし，省略を行っ ている事例を (B) 項省略群 (付録 表 4) とした. ガ， Э，二格の 3 つの表層格を対象とし, (A) 群，(B) 群共にそれぞれの格に対し，20 事例ずつ，計 120 の事例をサンプルした.

さらに，この事例に対して項の出現の有無による 後続の語のサプライザルの変化を計算するために， (A) 項表出群については，明示されている項を削除 した文を新たに作成した。一方で，(B) 項省略群に ついては，省略された項を文内に補った文を作成し

図 1 (A) 項表出群と (B) 項省略群における後続文脈のサ プライザル比較の概略図.(A) 群，(B) 群共に項が表出し ている場合と表出していない場合の文を作成し，項以降 のサプライザル差を比較する

た.この場合の項の挿入位置は著者ら 3 名で合議の 上，アノテーションされている述語項構造の意味が 保たれてかつ，もっとも日本語として自然な文とな る位置に定めた。作成の詳細な手順については付録 A に記した。

## 4 実験

## 4.1 実験設定

言語モデルサプライザルの計算には，新聞と 日本語 wikipedia で学習した Transformer ベースの left-to-right 言語モデルの単語予測確率を使用し た [17]. 3 節で作成した事例について，ターゲット となる述語より前方 300 サブワードを前方文脈と し，前方文脈と対象述語を含む文をつなげたものを 入力系列とした. 直前の語までの入力に基づいて計算される次の単語の予測確率を用いて項の出現位置以降の各単語のサプライザルを計算した1)．言語モ デルの詳細は付録 D に示す.

## 4.2 予備実験

項の有無によるサプライザルの変化 図 2 (1) は，文中のある述語の項を仮に出現させなかった場合 の後続する単語列の処理負荷から, 出現させた場合 の処理負荷を引いた値について，その傾向を示した ものである。この値が大きいほど，項を出現させな

1）言語モデルの入力には，入力文を mecab と unidic で国語研短単位に分割し，それをさらに BPE (Bite Pair Encoding) によっ てサブワード化したものを用いた. サプライザルの計算時は 国語研短単位ごとにサブワードのサプライザルの和を取った.

図 2 (1) は，項を表出させた時とさせないときの，項以降の単語のサプライザルの総和の変化を示す. (2) は，項以降の単語のサプライザルの総和の変化のうち，対象の 述語動詞のサプライザルの変化を除いた值を示す. (1) に おける変化の大きさに比べ，(2)の変化の大きさが小さい ことから，項を表出させるときの後続文脈の情報量の変化は主に対応する動詞で起きていることがわかる.

かった場合に，後続する情報の処理負荷が増大する ことを意味する．後続する単語列の処理負荷として は，具体的に項から文末までの単語のサプライザル の総和を用いた。

## テキスト上で省略されている項は省略しても後続 する処理負荷が増大しにくい 図中で，（A) 項表出群は書き手が実際に項を表出させた群であり，(B)項省略群は書き手が実際に項を省略させた群であ る. 図 2 (1) について (A) 群と (B) 群の結果を比較 すると，(A) 群の中央値が 2.24，(B) 群の中央值が -0.12 と, 項表出群のサプライザル差が項省略群よ り相対的に大きい値となった. また，この傾向はす べての表層格で同様に観測できた (付録 $\mathrm{C}$ を参照). つまり，書き手が省略を選択した群の方が，省略を 選択しなかった群に比べて，省略を行うことによっ て発生する後方単語のサプライザルの増加量が相対的に小さくなっている. この結果は「後方の単語の 読み処理負荷 ( $\propto$ サフライザル)を増大させないよう に書き手が省略する項を選択している」という仮説 を支持している。

処理負荷の増大は主に動詞で生じている 具体的 に後方のどの部分で主たるサプライザルの変化が起 こっているかを観察したところ，事例の多くでター ゲットの動詞部分で相対的に大きな変化が見られ た. 図 2 (2) は，後続文脈の処理負荷 (サプライザル 変化の総和) のうち，対応する動詞のサプライザル変化を除いた量を示す. 項の後方から文末まで単語 のサプライザル変化の総和 (図 2 (1)) のうち, 対象の 述語動詞以外の部分のサプライザルの変化 (図 2 (2)) は小さい.このことから, 項の有無は後述の単語の 中でも特に述語の処理負荷により大きな影響を与え ていることが示唆され，述語のサプライザルが項省略の可否に関わることが予想される。このことをよ り精緻に分析するため，次節では回帰分析を行う。

## 4.3 回帰分析

前節 4.2 で示された述語のサプライザル差の影響 について，項省略に関連する可能性のあるその他の 因子を加えて回帰分析を行い，実際に後続の語のサ プライザルの変化量が，書き手が項省略を起こすか 否かの説明に寄与していることを確かめる。具体的 には，述語動詞のサプライザル差以外に，以下の 6 つの因子を考慮し，コーパス上において書き手が項 を省略させていたかどうかを目的変数とした回帰分析を行う. ${ }^{2}$

省略可能性に影響すると想定されるものとして，項の情報状態に関連する素性を 2 つ選択した。ま ず，先行研究 [13] より，名詞句の情報状態に伴う読 み負荷の傾向がサプライザルでも再現されることが 確認されていることから，項が新情報か旧情報かを 近似的に表現する素性として (1) 項名詞句のサプラ イザルを用いた．加えて，(2) 項名詞句と共参照関係にある名詞句が項の挿入位置よりも前に存在する かどうかを素性とした。さらに，述語項構造解析で 使用される基本的特徴量として，(3) 項名詞句の長 さ，(4) 項を含む文の長さ, (5) 項が何文目に出現する か，(6) 項と述語の単語距離を選定した (表 1).

省略可能性とサプライザル構築したモデルの回帰式を式 2 に示す。

$
\begin{aligned}
& \text { dep_zero } \sim \text { diff_verb_spr }+ \text { arg_spr } \\
& +l_{\text {_arg }}+\text { arg_eq }+l_{\text {_sent }} \\
& + \text { appearance + arg2verb }
\end{aligned}
$

推定結果を表 2 に示す。選択された説明変数のう ち，有意水準 $5 \%$ において帰無仮説を棄却し，有意性が認められた素性は，(a) 述語動詞のサプライザ ル差, (b) 項のサプライザル， (c) 項と述語の単語距離の 3 つであった. (a)より，他の素性を考慮しても なお，述語動詞のサプライザルの変化が小さいほど

2）これらの素性はステップワイズ法によって選定し，素性間 に強い相関がないことを確認した。
表 1 回帰分析に用いた素性の一覧

 \\

省略されやすいという傾向が示された。(b) につい ては，読み手にとって出現が予測しやすい項ほど省略されやすいという傾向が観察され，旧情報のもつ 情報量が小さいことを想定すると，旧情報ほど省略 されやすいという言語的直観と一致する。 (c) 動詞 と離れている項が省略されやすいという傾向につい ては，関連する語同士は近くに配置されるという言語一般的な傾向を踏まえると，述語との関連が弱い 単語ほど省略されやすいということを示している. また，主題や主語など，文頭の要素が省略されすい という傾向と一貫する.

## 5 議論

今回は項と後続要素との関係に着目してサプライ ザルを比較したが，今回説明変数に組み込まなかっ た部分においても議論の余地が残されている. 例え ば，そもそも書き手が通常あまり書かれないような 稀な情報を記述したい場合は，その情報を記述すれ ば記述するほど文のサプライザルは上昇するので あり，その場合，項を省略すればするほど全体のサ プライザルは低下することになる。しかしながら，著者が伝えたい情報が真にそれであるならば，情報 を省略することはできない. したがって，理想的に は，書き手が伝達したい情報が十分に読み手に伝わ るという制約条件の元での読み手の処理負荷最小化問題といったような問題の定式化が望まれる。今表 2 回帰分析の結果. $P|z|$ における*の数は，係数が 0 であるという帰無仮説を有意水準 $90 \%(*), 95 \%(* *)$, $99 \%$ (***)で棄却したことを示す.

後は，そのような制約付き問題の分析の第一歩とし て，分析対象の項が新情報であるか旧情報であるか を明確に区別したデータ上で同様の分析を行うこと を検討する。

また，「項省略によって大きくなる述語動詞の情報量が，省略によって小さくなる項自体の情報量を 上回る場合には省略ができない」という UID の観点 からの解釈も興味深く，UID の観点を含めた更なる 分析は今後の課題としたい.

## 6 おわりに

本研究では，読み時間や縮約などの現象に関する 既存研究で導入されていたサプライザル理論を日本語項省略の分析に拡張し, 情報量の観点から人がど のような基準で項省略を行うかという書き手の計算 モデルを探索した。結果として，項の有無によるサ プライザルの変化を分析した結果，書き手が省略を 選択する項は，省略しないことを選択する項と比べ て, 省略することで発生する後方の単語の読み処理負荷の変化量が相対的に小さくなるという仮説を 裏付ける結果が得られた. また，回帰分析の結果か ら，省略を行うことで発生する述語動詞のサプライ ザルの増加量が項省略の因子として存在することが 明らかになった. 今後は分析対象のデータの規模の 拡大や，より多くの素性を考慮した分析を行うこと を目標としたい。これに加え，人にとっての「自然 な省略」を定量化するため，個々人で省略するかし ないかの判断の摇れが生じる可能性のある項の事例 について，省略の自然さに関する人間のアグリーメ ントを取ることを検討している。

## 謝辞

本研究は，JSPS 科研費 JP19K12112，JP20J22697， および JST さきがけ JPMJPR21C2 の支援を受けたも

のです.

## 参考文献

[1] S.-Y. Kuroda. Whether we agree or not. Lingvisticae Investigationes, Vol. 12, pp. 1-47, 11988.

[2] Mamoru Saito. Notes on east asian argument ellipsis. LANGUAGE RESEARCH, Vol. 43, pp. 203-227, 2007.

[3] Mamoru Saito. (a) case for labeling: Labeling in languages without $\phi$-feature agreement. Linguistic Review, Vol. 33, pp. 129-175, 22016.

[4] Serkan Sener and Takahashi Daiko. Argument ellipsis in japanese and turkish. MIT Working Papers in Linguistics 61 : Proceedings of the 6th Workshop on Altaic Formal Linguistics : Department of Linguistics and Philosophy. MIT, pp. 325-339, 2010

[5] T Jaeger and Roger Levy. Speakers optimize information density through syntactic reduction. Vol. 19, pp. 849-856. MIT Press, 2007.

[6] T Florian Jaeger. Redundancy and reduction: Speakers manage syntactic information density. Cognitive Psychology, Vol. 61, pp. 23-62, 82010.

[7] John Hale. A probabilistic earley parser as a psycholinguistic model. pp. 159-166, 2001.

[8] Austin F. Frank and T. Florain Jaeger. Uc merced proceedings of the annual meeting of the cognitive science society title speaking rationally: Uniform information density as an optimal strategy for language production permalink speaking rationally: Uniform information density as an optimal strategy for language production. Proceedings of the Annual Meeting of the Cognitive Science Society, Vol. 30, p. 30, 2008

[9] Chigusa Kurumada and T Florian Jaeger. Communicative efficiency in language production: Optional case-marking in japanese. Journal of Memory and Language, Vol. 83, pp. 152-178, 122015.

[10] ELISABETH NORCLIFFE and T. FLORIAN JAEGER. Predicting head-marking variability in yucatec maya relative clause production. Language and Cognition, Vol. 8, pp. 167-205, 62016.

[11] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto. Reading-time annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684-694, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[12] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. ACL-IJCNLP 2021 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, Proceedings of the Conference, pp. 5203-5217, 2021.

[13] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会第 27 回年次大会発表論文集, pp. 723-728, 2021.

[14] Laura Aina, Xixian Liao, Gemma Boleda, and Matthijs
Westera. Does referent predictability affect the choice of referential form? A computational approach using masked coreference resolution. CoRR, Vol. abs/2109.13105, , 2021.

[15] Robin Lemke, Ingo Reich, Lisa Schäfer, and Heiner Drenhaus. Predictable words are more likely to be omitted in fragments-evidence from production data. Frontiers in Psychology, Vol. 12, p. 2266, 72021.

[16] 浅原正幸, 大村舞. Bccwj-depparapas: 『現代日本語書 き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会第 22 回年次大会発表論文集, pp. 489-492, 2016.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998-6008, 2017.

[18] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of EMNLP, pp. 66-71, 2018.

## Ａ検証に用いたデータの作成手法

本研究では係り受け. 並列構造と述語項構造・共参照 がアノテーションされた現代日本語書き言葉均衡コーパ ス (BCCWJ-DeparaPAS) [16] の書籍（PB）ドメイン 83 ファ イルを用いて検証を行った，コーパスには，名詞句相当 の単語に項 id が付与され, 述語相当の単語に NTC 形式の 属性，及び項との関係が付与されている. ゼロ代名詞に ついては, ga_dep="zero"というようなタグ付けがされて いる. 項の格助詞については，コーパス上における格属性のうち，ガ格， ヨ格，二格の 3 パターンを対象とし，述語に関しては本研究では用言述語のみを対象とした。ま た，用言述語のうち，する，ある，なるのような機能性の 強い語については, 予め除外した. さらに, 各群につい て項の格パターンに分類した上で，ガ格，二格，ヨ格それ ぞれ 20 サンプルを無作為に抽出した. まず，(A) 項表出群については，コーパス上で表出している項を消去した データを作成した。続いて (B) 項省略群については，コー パス上で省略されている項を元文に補填したデータを作成した. その際，補填する項の格助詞については，例え ば主格「僕が」を「僕は」に変更するような表出形の変化 を許容し，その插入位置は著者ら 3 名で合議の上，元文 の述語項構造において自然と感じる位置に補填した。

## B 作成したデータの例

表 3 (A) 項表出群のデータ作成例

(BCCWJ:00003_A_PB59_00001)

 \\

表 4 (B) 項省略群のデータ作成例

(BCCWJ:00001_A_PB12_00001)

 \\

## C 予備実験の結果

図 3 述語の項を出現させなかった場合の項から文末の単語のサプライザルの総和から，仮に出現させた場合の項以降の単語のサプライザルの総和を引いた値に関する表層格間の比較.

## D＼cjkstart言語モデルハイパーパラメータ

Transformer 日本語言語モデルを，500万文(日本語 Wikipedia と新聞) で学習し, 100,000 回アップデート後 のチェックポイントを用いた. 日本語テキストは，アノ テーションデータとの分割の一貫性を保つため，一度国語研短単位に分割した後, BPE でサブワードに分割し $た^{3)}$.

表 5 言語モデルのハイパーパラメータ.

 &  &  \\

3） SentencePiece [18] を用い，文字の網羅率を 0.9995 , 語彙数 を 100,000とした.


# トランスフォーマー文法

吉田遼 大関洋平
東京大学
\{yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

本研究では、階層構造における部分木を一つ のベクトルに動的に合成しつつ、階層構造を生成する Transformer である、トランスフォーマー 文法 (Transformer Grammar, TG) を提案する。さら に、SyntaxGymを用いて TG を評価し、RNNG 及び PLM-mask の精度を上回ることを確認した。階層構造を明示的に扱う上で、アテンション機構と、部分木の合成関数の双方に利点があることを示唆したと いえる。

## 1 はじめに

人間らしい文法能力を持った言語モデルと は、どのようなモデルだろうか。近年主流の Transformer [1]をべースとした大規模な事前学習モ デルの一つである GPT-2 XL [2] は、言語モデルの文法能力を問うベンチマークである SyntaxGym [3] に おいて最も高い精度を達成している [4]。しかし、 これらのモデルの精度は人間が文法能力を獲得する までに得るよりも遥かに大規模な学習データによっ て支えられており、アーキテクチャ自体が「人間ら しい」かどうかは定かではないとの指摘もある [5]。 Linzen は同論文 [5] で、「人間らしい」アーキテク チャの例としては、自然言語の階層構造を明示的に 扱うモデルが考えられる、と述べているが、それら のモデルの代表が再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammars, RNNG) [6] で ある。RNNG は、少ないデータで統制した際に他の モデルよりも高い文法能力を獲得できることが示さ れている他 $[7,8]$ 、人間の脳波を高い精度でモデル 化できることから、人間の文処理モデルとしての妥当性も主張されているモデルである [9]。RNNG の 最大の特徴は、階層構造における部分木を一つのべ クトルに動的に合成する合成関数であり、先行研究 では、この合成関数なしではRNNG は構造をうまく 扱えないことが明らかになっている $[10,8]$ 。一方で、近年 Qian ら [11] は、Transformer ベース の階層構造を明示的に扱うモデルを提案し、大規模 な事前学習なしに高い文法能力を獲得できること を示している。しかし、彼らの提案したモデルは、 RNNG においては必要不可欠であった合成関数を 持っておらず、階層構造を明示的に扱うことによ る利点を生かしきれていない可能性がある。そこ で、本研究では、階層構造における部分木を一つ のベクトルに動的に合成しつつ、階層構造を生成 する Transformer である、トランスフォーマー文法 (Transformer Grammar, TG) を提案する。

## 2 先行研究

## 2.1 再帰的ニューラルネットワーク文法

$\mathrm{RNNG}^{1}{ }^{1}$ は、RNN ベースの単語列 $X$ と階層構造 $Y$ の生成モデルであり、以下の同時確率をモデル化 する：

$
p(X, Y)=p\left(a_{1}, \cdots, a_{n}\right)=\sum_{t=1}^{n} p\left(a_{t} \mid a_{<t}\right)
$

ここで、 $a_{t}$ は各時点での階層構造または単語列の 生成に関する動作である。RNNG は、スタックと 呼ばれるデータ構造でベクトルを保持しており、各時点における動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ は、スタック LSTM [12]により算出されたスタックの状態を表す ベクトルに基づき算出される。動作は以下の 3 つか らなる：

・ $\mathrm{NT}(\mathrm{X})$ : 新たに開いた句 $(\mathrm{X}$ を生成する。開いた 句の非終端記号 (Xを表すべクトルが、スタッ クの先頭に追加される。

・ $\mathrm{GEN}(\mathrm{x})$ ：単語 $\mathrm{x}$ を生成する。生成した単語 $\mathrm{x}$ を表すべクトルが、スタックの先頭に追加さ れる。

1）本論文では、Dyer ら [6] が元論文で提案しているモデルで はなく、Kuncoro ら [10]によって提案された Stack-only RNNG を扱う。

図 1 双方向 LSTM による合成関数。REDUCE の際の、閉じた句を表すべクトルの算出に用いられる。図は Dyer ら [6]より引用。

-REDUCE：直近開かれた句を閉じる。最もス タックの先頭に近い、開いた句の非終端記号を 表すべクトル及び、その句の娘にあたる全ての ベクトルが、合成関数により閉じた句を表す一 つのベクトルに合成される。合成関数には、双方向 LSTM が用いられる (図 1)。

前述したように、RNNG は、REDUCE の際の合成関数を取り除くと、構文解析精度 [10]、文法能力 [8]、及び脳波のモデル化精度 [9] が低下すること が分かっており、合成関数が階層構造を正確に捉え るための中心的役割を担っているといえる。

## 2.2 Parsing as Language Modeling

Parsing as Language Modeling (PLM) は、Qian ら [11] によって提案された、Transformerベースの単語列 と階層構造の生成モデルであり、RNNG と同様に、式 1 の同時確率をモデル化する。PLM は、RNNGと 異なり、NT(x)、GEN(x)、REDUCE の動作時に、そ れぞれ、開いた句の生成、単語の生成、REDUCE トークンの生成のみを行う。そして、通常の言語モ デルが単語列 $w_{1}, \cdots, w_{n}$ を扱うのと同様に、動作列 $a_{1}, \cdots, a_{n}$ を扱い、Transformerにより各時点におけ る動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ を算出する。

また、Qian らは同論文で、PLM に部分木の情報 を有効活用させるため、全てのアテンションヘッ ドのうち 2 つに対して、1つには直近の開かれた句 の内部のみ、もう 1 つには直近開かれた句の外側の み、に注意を注意を向けさせるという手法を提案し ている。Transformer 言語モデルが、訓練時にモデル が未来の情報を参照しないために用いられる、“マ スク”を用いてこの手法を実現しているため、この モデルは PLM-mask と呼ばれる。

前述したように、Qian らは実験により、PLM 及 び PLM-maskは、大規模な事前学習なしに高い文法能力を獲得できることを示している。また、彼 らの結果からは PLM-mask が PLM の文法能力を僅

図 $2 \mathrm{TG}$ のアーキテクチャ。

かではあるが上回っていることが読み取れ、一見 PLM-mask は部分木の情報を有効活用できている ようにも思われる。しかしながら、PLM-maskは、 RNNG の合成関数のように部分木を表す一つのべク トルを生成しているわけではない。RNNGにおいて は必要不可欠であった合成関数が、PLMのような Transformer ベースのモデルにとってもまた必要であ るという可能性は捨て切れない。

## 3 トランスフォーマー文法

本研究では、階層構造における部分木を一つの ベクトルに動的に合成しつつ、階層構造を生成 する Transformer である、トランスフォーマー文法 (Transformer Grammar, TG) を提案する。TG のアー キテクチャを、図 2 に示した。TGは、RNNG 及び PLM (-mask) と同様に、式 1 の同時確率をモデル 化する。TGは、ベクトルを保持するデータ構造 としてスタックを用い、各時点における動作の確率 $p\left(a_{t} \mid a_{<t}\right)$ は、Transformerにより算出された、ス タックの状態を表すべクトルに基づき算出される。 NT(X)、GEN(x)、REDUCE の動作時の挙動は RNNG と同じである。したがって、REDUCE の動作時に は、合成関数 (図 1)により、部分木は一つのべクト ルに合成される。

図 3 SyntaxGym 全体の結果。LM、PLM-mask、GPT-2 の 結果は Qian ら [11]より引用。

TG の学習 同じくTransformer ベースのモデルで ある PLM (-mask) は、動作列 $a_{1}, \cdots, a_{n}$ を通常の言語モデルのように扱う。そのため、PLM (-mask) の 学習時には、通常の Transformer 言語モデルの学習 と同じように、全動作を同時に処理することが可能である。一方で、TGは各時点でスタック内部 のベクトルが動的に変化する。そのため、通常の Transformer 言語モデルは文生成時のみに行う、各時点における逐次処理を、TG は学習時にも行う必要 がある。また、TG は各時点での動作が文ごとに異 なるため、RNNG と同様にミニバッチ化が難しい。 そこで本研究では、固定長テンソルのスタックによ る RNNG のミニバッチ化手法 [13] に数点の変更を 施し、TGに適用した。具体的には、Transformer へ の入力には、バッチ内で最もスタックが深い文に合 わせて、全ての文について、それよりも浅い位置に あるスタック内の全てのベクトルを用いるように 変更し、2) さらに、Transformer の出力からは、各文 のスタックの深さを保持するポインタ3) 位置のベク トルを取り出すように変更を施した。しかしなが ら、TGでは、アテンション機構によるメモリの多量の消費により、この手法を用いてもRNNG ほど の大きいバッチサイズでの並列化は実現できない。 これらのように、階層構造における部分木を一つの ベクトルに動的に合成しつつ、階層構造を生成する Transformer の実現には、計算効率の犠牲が伴って いる。

## 4 実験

本節では、言語モデルの文法知識を問うベンチ マークである SyntaxGym [3] を用いて、SGの文法能力を評価する.

## 4.1 実験設定

Qian ら [11] が報告している、PLM-maskなどのモ デルの評価結果と公平に比較をするために、本論文 における実験設定の大部分は彼らの実験設定を踏襲 している。

## 4.1.1学習データ

BLLIP-MD [14] を用いた。 $600 \mathrm{~K}$ 文、14M トーク ンからなるコーパスである。モデルの学習に用い る階層構造は、Qian ら [11] が PLM (-mask) を学習 する際に、SoTA の句構造構文解析器 [15] によって 付与したのと同じものを用いた。4）各文の単語は、 Huggingface Transformer [16] 実装の BPE [17] トーク ナイザを用いてサブワード単位に分割した。

## 4.1.2 モデル及びパラメータ

TG 256 次元、 3 層 4 アテンションヘッドのモデ ルを用いた。総パラメータ数は $16.6 \mathrm{M}$ 。

RNNG 276 次元、 2 層のモデルを用いた。総パラ メータ数は 16.6M。Qian ら [11] は、Hu ら [4] によ り学習された RNNG と PLM (-mask) を比較してい るが、Hu らは RNNG の学習に単語単位で分割した コーパスを用いている一方、Qian らは PLM (-mask) の学習にサブワード単位で分割されたコーパスを 用いており、実験設定の乘離が見られた。そのため 本論文では、サブワード単位で分割されたコーパス を用いて、TG と同じパラメータ数の RNNG を学習 した。

PLM-mask Qian らにより報告されている、768 次元、12 層 12 アテンションヘッドのモデルの結果を 引用する。総パラメータ数は $117 \mathrm{M}$ 。総パラメータ 数は TG と RNG の約 7 倍であるが、学習コーパス などの条件は TG と RNNG と同じである。

LM ベースラインの階層構造を明示的に扱わな い言語モデル (LM) である。Qian らにより報告され ている、768 次元、12 層 12 アテンションヘッドの モデルの結果を引用する。

4） BLLIP コーパスには元から階層構造が付与されているが、 より正確な階層構造を得るために、その終端記号の単語列の みを取り出し、このような処理をしている。

図 4 Circuit レベルの結果。LM、PLM-mask の結果は Qian ら [11] より引用。

## 4.1.3 評価データ

言語モデルの文法知識を問うベンチマークであ る、SyntaxGym [3] を用いた。幅広い文法知識を力 バーしており、例えば、Agreement の circuitでは、主語に動詞の数を一致させる能力が問われている。具体的には、言語モデルには以下の (1)のように動詞 の数が異なる 2 文が与えられ、正しい数の動詞 ((1a) の下線部) に、誤った数の動詞 ((1b) の下線部) より も高い確率を付与することが期待される：

(1) a. The author next to the senators is good. b.*The author next to the senators are good.

階層構造を明示的に扱うモデルが単語に付与する確率は、先行研究 $[18,8]$ を踏襲して、word-synchronous beam search [19] を用いて求める。具体的には、単語列の背後に想定される階層構造のうち確率の高いも のを複数保持しつつ、それらの確率を階層構造につ いて周辺化することでモデルが単語に付与する確率 を算出する。Qian ら [11] を踏襲し、動作ビーム幅 100、単語ビーム幅 $10 、$ ファストトラック幅 5 を採用した。

## 4.2 結果

## 4.2.1 SyntaxGym 全体

SyntaxGym 全体の結果を、表 3 に示した。棒グラ フは seed の異なる 3 つのモデルの結果の平均値を 表し、それぞれの点は各 seed の結果を表す。LM、 PLM-mask、GPT-2 の結果は Qian らの論文 [11] より 引用したものである。はじめに、本論文の提案モデ ルである TGを含む全てのモデルがベースライン の LM を上回っており、階層構造を明示的にモデル 化することの利点があることが確認できる。次に、
TGは、RNNG の精度を上回っている。このことか ら、合成関数により部分木を一つのベクトルに合成 するモデルにおいても、アテンション機構により過去の全ての情報を直接参照できることの利点がある ことが分かる。次に、TGは、PLM-mask の精度を上回っている。このことから、Transformer ベースのモ デルが階層構造を扱う際にも、合成関数によって部分木を一つのべクトルに動的に合成することの利点 があることが分かる。最後に、Qian らの論文 [11] よ り引用した事前学習済み GPT-2 の結果 $(80.8 \%)$ と比較すると、BLLIP-MD で学習したモデルのうち、唯一 TGのみが匹敵する精度 $(80.7 \%)$ を達成している。

## 4.2.2 Circuit レベル

SyntaxGym の各 circuit レベルの結果を、表 4 に示 した。TGは、Agreement を除くほぼ全ての circuitに おいて、RNNG 及び PLM-mask の結果を上回ってお り、アテンション機構と、部分木の合成関数は、幅広い文法知識の獲得に有用であることが分かる。

## 5 おわりに

本研究では、階層構造における部分木を一つ のベクトルに動的に合成しつつ、階層構造を生成する Transformer である、トランスフォーマー 文法 (Transformer Grammar, TG) を提案した。そし て、SyntaxGym を用いて TG を評価し、RNNG 及び PLM-mask の精度を上回ることを確認した。階層構造を明示的に扱う上で、アテンション機構と、部分木の合成関数の双方に利点があることを示唆したと いえる。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受

けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998$6008,2017$.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019

[3] Jon Gauthier, Jennifer Hu, Ethan Wilcox, Peng Qian, and Roger Levy. SyntaxGym: An online platform for targeted evaluation of language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 70-76, Online, July 2020. Association for Computational Linguistics.

[4] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In Proceedings of the Association of Computational Linguistics, 2020

[5] Tal Linzen. How can we accelerate progress towards human-like linguistic generalization? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5210-5217, Online, July 2020. Association for Computational Linguistics.

[6] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntaxsensitive dependencies well, but modeling structure makes them better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1426-1436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural supervision improves learning of non-local grammatical dependencies. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. $2727-$ 2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Adhiguna Kuncoro, Miguel Ballesteros, Lingpeng Kong, Chris Dyer, Graham Neubig, and Noah A. Smith. What do recurrent neural network grammars learn about syntax? In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1249-1258, Valencia, Spain, April 2017. Association for Computational Linguistics.

[11] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural guidance for transformer language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3735-3745, Online, August 2021. Association for Computational Linguistics.

[12] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[13] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4340-4352, Online, August 2021. Association for Computational Linguistics.

[14] Eugene Charniak, Don Blaheta, Niyu Ge, Keith Hall, John Hale, and Mark Johnson. Bllip 1987-89 wsj corpus release 1. Linguistic Data Consortium, Philadelphia, Vol. 36, , 2000

[15] Nikita Kitaev and Dan Klein. Constituency parsing with a selfattentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[17] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[18] Richard Futrell, Ethan Wilcox, Takashi Morita, Peng Qian, Miguel Ballesteros, and Roger Levy. Neural language models as psycholinguistic subjects: Representations of syntactic state. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 32-42, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[19] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.