# 高速・高精度検索のための勾配推定手法を用いた 擬似スパースベクトルの学習法

長谷川拓西田京介加来宗一郎吉田仙
日本電信電話株式会社 NTTメディアインテリジェンス研究所
taku.hasegawa.ps@hco.ntt.co.jp

## 1 はじめに

深層学習技術の発展により, ニューラルネット ワーク（NN）を用いた検索モデルの有効性について 数多く報告されている [1]. 近年では，BERT [2]を はじめとする事前学習モデルの利用により従来技術 を大きく上回る精度で検索が可能となってきた [3].

しかし，大規模検索においては，[3] の様にクエリ と文書を併せて NNに入力する方式では，検索対象 の文書数分の計算が検索のたびに必要となるため,検索速度の観点から実用的でない. そこで，クエリ と文書を独立に NN で密べクトルにエンコードし て，最大内積探索（MIPS）により検索する方式が近年では盛んに研究されている [4]. MIPS は高速な検索を可能にするが，MIPS のインデックスを構築す るための計算時間が膨大となる課題が残る.

そこで我々は，クエリと文書を独立にスパースベ クトルにエンコードし，転置インデックスを利用可能にすることでインデックスの構築および検索の両方を高速に行うことを目指す. 本研究では，長谷川 らにより提案された $\alpha$-SVS [5] の拡張に取り組む. $\alpha$-SVS ではベクトルの各次元に対し，ミニバッチに おける絶対値の大きさの上位 $100 \alpha \%$ 值が小 さな要素を 0 として得た擬似的なスパースベクト ルを用いて損失を計算するが，離散的な forward 計算（top- $\alpha$ ）の勾配が不安定となる問題があった. 本研究では, 離散 forward 関数の偏微分の線形補間に より擬似的な勾配を推定する手法を導入すること でこの問題を解決する．大規模コーパスである MS MARCO を用いた数値実験により，従来の $\alpha$-SVS に 比べ性能が向上したことを示す.

## 2 定義

本研究で取り組む情報検索と関連する用語につい て定義する.定義 1 (擬似スパースベクトル). $k$ 番目のベクトルを $v^{k}=\left[v_{1}^{k}, \ldots, v_{D}^{k}\right]^{\top} \in \mathbb{R}^{D}$ とする. $v^{k}$ の擬似スパース ベクトルの $i$ 次元目を以下で定義する.

$
f\left(v_{i}^{k} \mid \theta_{i}\right)= \begin{cases}v_{i}^{k} & v_{i}^{k}>\theta_{i} \\ 0 & \text { otherwise }\end{cases}
$

ここで $\theta_{i}$ は $i$ 次元目の間値である.

定義 2 (擬似スパースベクトルを用いた転置イン デックス). 擬似スパースベクトルを用いた転置辞書 を表現べクトルの各次元を潜在単語とみなし，次元番号の集合 $\{1,2, \ldots, D\}$ から $X^{p} \times \mathbb{R}_{>0}$ の部分集合の 族への写像として定義する。ここで，インデックス $i$ の像は文書とその文書とクエリの関連度スコアの 部分集合 $\left.\{\left(x^{\mathrm{p}_{k}}, v_{i}^{k}\right) \mid k=1, \ldots, K, v_{i}^{k} \neq 0\right.\}$ である.

## $3 \alpha$-SVS

高次元のスパースベクトルを作ることにより，特徵べクトルを擬似的に潜在単語とみなして転置イン デックスを作成する手法 [6] がこれまで提案されて きたが，単純にL1ノルムを最小化する方法では， ベクトルが部分空間に偏る問題があった.

長谷川らはこの問題を解決するために top- $\alpha$ 学習 とこれを導入した検索モデル $\alpha$-SVS を提案してい る [5]. 図 1 に $\alpha$-SVS のアーキテクチャを示す.

## 3.1 文脈埋め込み層

文脈埋め达み層の出力は $H=\operatorname{BERT}(X)$ として得 られる.ここで, 入力系列 $X$ は，

$
X=\left([\mathrm{CLS}], x_{1}, x_{2}, \ldots,[\mathrm{SEP}]\right)
$

とし, $\{x\}$ はクエリ $x^{q}$ あるいは文書 $x^{p_{k}}$ のトークナ イズされたサブワード系列である． BERT はクエリ と文書に対して共有される。

図 $1 \alpha$-SVS のアーキテクチャ. 左図：訓練時のモデル。 $\alpha$-擬似スパースベクトルはクエリ，正例，負例のペアワイズで 学習される. 右図 : 検索時のモデル。 $\alpha$-擬似スパースベクトルで作成した転置辞書を用いてクエリと文書の内積で関連度スコアが算出される。

## 3.2 ベクトル出力層

ベクトル出力層は BERT の出力 $H$ の [CLS]トーク ンに対応する $h_{0}$ を入力とし，全結合層 2 層と ReLU で高次元空間に写像した $v \in \mathbb{R}^{D}$ が出力となる. さ らに，出力べクトルの L2ノルムが 1 となるように 正規化を行い，超球面上で最適化を行う。

$
v^{\prime}=\operatorname{ReLU}\left(W_{2} \operatorname{ReLU}\left(W_{1} h_{0}+b_{1}\right)+b_{2}\right), \quad v=\frac{v^{\prime}}{\left.\|v^{\prime}\right.\|_{2}}
$

$W_{2} \in \mathbb{R}^{D \times D_{\text {hid }}}, W_{1} \in \mathbb{R}^{D_{\text {hid }} \times 768}, b_{2} \in \mathbb{R}^{D}$ および $b_{1} \in$

## $3.3 \alpha$-擬似スパースベクトル

$\alpha$-SVS は得られたべクトル集合に対し，各次元の 値の絶対値の大きさ上位 $100 \alpha \%$ で閾値 $\theta_{i}$ （式 1）を 決め，值が小さな要素を 0 とみなし $\alpha$-擬似スパース ベクトルを得る. 数式による定義は付録 4 に記載し た.この $\alpha$-擬似スパースベクトルを用いて損失関数 を計算して学習する方法を top- $\alpha$ 学習と呼ぶ.

また，検索時と学習時の上位 $100 \alpha \%$ の閾値はそ れぞれ異なるべクトル集合から計算され，クエリと 文書でもそれぞれ独立で閾値を計算する。訓練時の $\alpha$ は文書，クエリそれぞれ $\alpha_{\mathrm{p}}, \alpha_{\mathrm{q}}$ と表し, 検索時は それぞれ $\alpha_{\mathrm{p}}^{\prime}, \alpha_{\mathrm{q}}^{\prime}$ と表すこととする.

訓練時の $\alpha$-擬似スパースベクトル 各ミニバッチ での与えられたクエリと文書のベクトル集合を $V_{i}^{\mathrm{q}}$ と $V_{i}^{\mathrm{p}}$ とする。 $\alpha$-擬似スパースベクトルは $\alpha_{\mathrm{p}}, \alpha_{\mathrm{q}}$ を 用いて以下のように計算される.

$
f_{\mathrm{q}}\left(v_{i}^{\mathrm{q}}\right)= \begin{cases}v_{i}^{\mathrm{q}} & v_{i}^{\mathrm{q}}>\operatorname{top}\left(V_{i}^{\mathrm{q}} \mid \alpha_{\mathrm{q}}\right) \\ 0 & \text { otherwise }\end{cases}
$

$
f_{\mathrm{p}}\left(v_{i}^{\mathrm{p}}\right)= \begin{cases}v_{i}^{\mathrm{p}} & v_{i}^{\mathrm{p}}>\operatorname{top}\left(V_{i}^{\mathrm{p}} \mid \alpha_{\mathrm{p}}\right) \\ 0 & \text { otherwise }\end{cases}
$

ここで， $\alpha_{\mathrm{p}}=\alpha_{\mathrm{q}}=1$ の場合，密ベクトルによる学習 と等価となる.

検索時の $\alpha$-擬似スパースベクトル 検索時にお いては検索精度を保証できるような上位 $\alpha_{\mathrm{q}}^{\prime}$ を計算 するのに十分なクエリ数が常に得られるとは限ら ない. ゆえに， $\alpha$-SVS では，クエリについては訓練 データのクエリ集合を用いて $\operatorname{top}\left(V_{i}^{\mathrm{q}} \mid \alpha_{\mathrm{q}}^{\prime}\right)$ を計算し,文書については検索対象となる全ての文書集合から $\operatorname{top}\left(V_{i}^{\mathrm{p}} \mid \alpha_{\mathrm{p}^{\prime}}^{\prime}\right)$ を計算する.

## 3.4 損失関数

$\alpha$-SVS ではペアワイズランキング学習を行う．訓練データとして $\mathscr{D}=\left.\{\left(x_{i}^{\mathrm{q}}, x_{i}^{\mathrm{p}_{1}}, x_{i}^{\mathrm{p}_{2}}\right) \mid i=1, \ldots, N\right.\}$ を 与える. ここで $x_{i}^{\mathrm{p}_{1}}$ はクエリの正例文書, $x_{i}^{\mathrm{p}_{2}}$ は負例文書である. $i$ 番目の訓練サンプルに対するヒンジ ロス $L_{i}$ は $\alpha$-擬似スパースベクトルで計算した内積 を用いて以下で定義される。

$
L_{i}=\max \left.\{0, \epsilon-\left(f_{\mathrm{q}}\left(v_{i}^{\mathrm{q}}\right) \cdot f_{\mathrm{p}}\left(v_{i}^{\mathrm{p}_{1}}\right)-f_{\mathrm{q}}\left(v_{i}^{\mathrm{q}}\right) \cdot f_{\mathrm{p}}\left(v_{i}^{\mathrm{p}_{2}}\right)\right)\right.\}
$

ここで $\epsilon$ はヒンジロスのマージンを決定するハイ パーパラメータである.

## 3.5 単一モデルでの 2 段階検索

$\alpha$-擬似スパースベクトルは大規模検索で有用であ るが，文書数が膨大な場合においては非常に小さい $\alpha$ を設定する必要がある．この場合 $v$ で得られる関
連度スコアに対しての近似精度は落ちてしまうた め， $\alpha$-SVS では検索時に同じモデルを用いて 2 段階 に検索を行う。 1 段階目は $\alpha$-擬似スパースベクトル の内積で計算した関連度が上位 $k$ 件の文書を選ぶ. 2 段回目では $\alpha$-擬似スパースベクトルを作成する 前の元のべクトル $v$ を用いて内積で関連度スコアを 計算し, 最終的な関連文書のランキングを得る. 従来では 2 段階検索と呼ばれる場合 2 つの検索モデル を用いて行われるが， $\alpha$-SVS では単一のモデルで 2 段階検索を行うため，2 段回目の検索時ではクエリ や文書をモデルに入力する必要がなく高速に計算可能である.

## 4 提案手法

前節で述べた $\alpha$-SVS の学習をより精度良くする ために，本論文では擬似勾配推定手法を導入する。擬似勾配推定手法はモデルの軽量化のためにモデル の低ビット化の際によく用いられる手法であり [7],離散的な forward 計算が含まれるネットワークの学習を効果的に行うために用いられる。

## 4.1 top- $\alpha$ 学習中における勾配

top- $\alpha$ 学習の forward 計算のうち, 式 1 で定義され ている関数 $f$ は偏微分を行うと

$
\frac{\partial f}{\partial v_{i}^{k}}\left(v_{i}^{k} \mid \theta_{i}\right)= \begin{cases}1 & v_{i}^{k}>\theta_{i} \\ 0 & \text { otherwise }\end{cases}
$

となる. ただし $\theta_{i}=t o p\left(V_{i} \mid \alpha\right)$ である.

top- $\alpha$ 学習では, ミニバッチ内の他の要素次第で 同じ文書べクトルであっても top- $\alpha$ に含まれる場合 と含まれない場合が存在しうる. 式 7 で誤差逆伝搬法を用いて学習を行った場合、top- $\alpha$ に含まれな かった次元は誤差が伝搬されず $V_{i}$ の選ばれ方に大 きく影響を受ける. モデルの初期値にも依存するた め，この不確定性は学習過程に影響を与えうる.

## 4.2 top- $\alpha$ 学習中の勾配推定

本論文では偏微分した関数を線形補完すること により，ミニバッチで選ばれる $V_{i}$ の影響を軽減す る手法を提案する. 式 7 で示した top- $\alpha$ 学習での backward で用いられる関数を，以下の式で置き換え ることにより勾配推定手法を導入する。

$
\frac{\partial g}{\partial v_{i}^{k}}\left(v_{i}^{k} \mid \theta_{i}, \theta_{i}^{\prime}\right)= \begin{cases}1 & v_{i}^{k}>\theta_{i} \\ \frac{1}{\theta_{i}-\theta_{i}^{\prime}} v_{i}^{k}-\frac{\theta_{i}^{\prime}}{\theta_{i}-\theta_{i}^{\prime}} & \theta_{i}^{\prime}<v_{i}^{k} \leq \theta_{i} \\ 0 & v_{i}^{k} \leq \theta_{i}^{\prime}\end{cases}
$

図 2 勾配推定の backward 関数

ここで， $\theta_{i}^{\prime}$ は $\theta_{i}^{\prime} \leq \theta_{i}$ を満たす. 図 2 に従来手法お よび提案手法で用いられる関数を示す.

ここで注意すべきは $\theta_{i}=t o p\left(V_{i} \mid \alpha\right)$ であり,$V_{i}$ が 与えられてから決定されるため, 毎回異なる値をと る. $\theta_{i}^{\prime}$ も同様に決定される必要があるため, 本研究 では下記の 2 通りの方法で $\theta_{i}^{\prime}$ を決定した。
1. $V_{i}$ の最大値を用いた閾値.

$
\theta_{i}^{\prime}=2 \operatorname{top}\left(V_{i} \mid \alpha\right)-\max V_{i}
$

2. top- $k \alpha$ を用いた閾値.

$
\theta_{i}^{\prime}=\operatorname{top}\left(V_{i} \mid k \alpha\right)
$

以後，本論文では 1 を用いたモデルを $\alpha-\mathrm{SVS}_{\text {max }}$ ， 2 を用いたモデルを $\alpha-\mathrm{SVS}_{\mathrm{k} \alpha}$ とする.

## 5 評価実験

## 5.1 実験設定

MS MARCO 2.1 [9] の Passage and Document Retrieval タスクにより実験を行った。データの詳細お よび学習設定については付録 A. 2 に記載した.

比較対象として，クエリから答えとなる文書 を事前学習モデル T5 [10]を用いて予測し転置辞書によりキーワード検索を行う手法である docTTTTTquery [8] およびパッセージおよび文書レ ベルの単語重みをニューラルネットを用いて計算し，これらを利用しキーワード検索を行う手法 DeepCT [11,12]を用いた。

## 5.2 勾配推定手法の効果に関する評価

$\alpha$-SVS および勾配推定手法を導入した $\alpha$-SVS のラ ンキング精度および検索速度について評価し比較 した.

表 1 に実験結果を示す. MSMARCO のリーダー ボードでの評価指標として採用されているMRR @
表 1 MSMARCO パッセージ検索タスクにおける検索精度の結果. 比較手法の結果は文献 [8] から引用.

 &  &  &  \\

図 32 種類の勾配推定手法の 2 つの閾値とその差の推移.

10 では提案手法の $\alpha-\mathrm{SVS}_{\max }$ が最も良い結果となっ た. ただし docTTTTTquery や DeepCT と比べ Recall は低く，R@1000についてはBM25にも劣っている。 このことから $\alpha$-SVS は関連文書を大量の文書から 上位にランキングする能力には長けているが，一部検索漏れを起こしうるということがわかった．特に この問題は勾配推定手法を用いたとしても大きくは 改善されず，さらに勾配推定手法を導入した $\alpha$-SVS は従来の手法にくらべて僅かながら recall が下がっ ている箇所が見られる.よって勾配推定手法を導入した場合，上位のランキング精度は向上するが， Recallへの貢献はみられず，劣化する可能性もある ことがわかった. この問題への取り組みは今後の課題である.

一方で, docTTTTTquery で得られた結果と $\alpha$-SVS で得られた結果を半分ずつ合わせた結果である docTTTTTquery $+\alpha$-SVS の R @ 100 および $\mathrm{R} @ 1000$ の 結果は docTTTTTquery と比較しても最も良い結果 であった. この結果から， $\alpha$-SVS は他の手法では検索漏れを起こしうるパッセージを検索することが 可能であることがわかり， $\alpha$-SVS の有用性が示さ れた。

## 5.32 つの勾配推定手法の比較

2つの勾配推定の手法を比較するために学習中の $\theta$ および $\theta^{\prime}$ の推移を調べた. 図 3 に結果を示す.こ の結果から $\alpha-\mathrm{SVS}_{\text {max }}$ は $\alpha-\mathrm{SVS}_{2 \alpha}$ に比べ各次元の値 の上位 $100 \alpha \%$ の間値が高くなりやすい傾向があり，学習が進むにつれ線形補完される区間が大きくなり やすい傾向があることがわかった. これはあるべク トルは特定の次元に大きい值を持ちやすいことを示 しており， $\alpha$-SVS の出力は L2ノルムが 1 であるこ とから， $\alpha-\mathrm{SVS}_{\max }$ の方がよりスパース性の高いべ クトルが得られやすい傾向にあることがわかった.

## 6 おわりに

本研究では大規模検索モデル $\alpha$-SVS の学習をより 促進するための勾配推定手法を提案し，MS MARCO 2.1 の passage ranking タスクにおいて従来手法を上回る性能を達成した。

従来の $\alpha$-SVS ではランダムに選ばれるバッチ内で の値の上位で閾値決まるため，学習の安定性に欠け るという問題があった. 本研究では，勾配推定手法 を導入することによりバッチによる閾値の摇らぎを 考慮してより効率の良い学習を実現した。

## 参考文献

[1] Bhaskar Mitra and Nick Craswell. An introduction to neural information retrieval. Foundations and Trends in Information Retrieval, Vol. 13, No. 1, pp. 1-126, 2018.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 4171-4186, 2019.

[3] Rodrigo Nogueira and Kyunghyun Cho. Passage re-ranking with BERT. 2019. arXiv:1901.04085.

[4] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick S. H. Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In EMNLP, pp. 6769-6781, 2020.

[5] 長谷川拓, 西田京介, 加来宗一郎, 富田準二. 高速な情報検索に向けた文脈考慮型スパース文書ベクトルの獲得. 人工知能学会全国大会論文集, Vol. 2020, pp. 4Rin145-4Rin145, 2020.

[6] Hamed Zamani, Mostafa Dehghani, W. Bruce Croft, Erik G. Learned-Miller, and Jaap Kamps. From neural re-ranking to neural ranking: Learning a sparse representation for inverted indexing. In CIKM, pp. 497-506, 2018.

[7] Zechun Liu, Baoyuan Wu, Wenhan Luo, Xin Yang, Wei Liu, and Kwang-Ting Cheng. Bi-real net: Enhancing the performance of 1-bit cnns with improved representational capability and advanced training algorithm. In Proceedings of the European Conference on Computer Vision (ECCV), September 2018.

[8] Rodrigo Nogueira and Jimmy Lin. From doc2query to docttttquery. https: //cs. uwaterloo.ca/ jimmylin/publications/ Nogueira_Lin_2019_docTTTTTquery-v2.pdf, 2019.

[9] Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, and Tong Wang. MS MARCO: A human generated machine reading comprehension dataset. 2018. arXiv:1611.09268v3.
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. CoRR, Vol. abs/1910.10683, , 2019.

[11] Zhuyun Dai and Jamie Callan. Context-aware sentence/passage term importance estimation for first stage retrieval. CoRR, Vol. abs/1910.10687, , 2019.

[12] Zhuyun Dai and Jamie Callan. An evaluation of weakly-supervised deepct in the trec 2019 deep learning track. In TREC, 2019.

[13] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.

## A 付録

## A. 1 定義

定義 3 ( 2 段階検索タスク). クエリ $x^{\mathrm{q}}$ と $K$ 個の文書 $X^{\mathrm{P}}=\left.\{x^{\mathrm{p}_{k}} \mid k=1, \ldots, K\right.\}$ が入力として与えられ、初 めにモデルは $X^{\mathrm{p}}$ からクエリと関連する $T_{1}$ 個の文書 の順序集合を返す. 次にモデルは先の $T_{1}$ 件の文書 をリランキングし， $T_{2}$ 個のクエリに関連する文書の 順序集合を返す。ただし，順序集合とはクエリと文書の関連度によって順序づけられた集合である。

定義 4 ( $\alpha$-擬似スパースベクトル). ベクトル集合の $i$ 番目の要素の集合 $V_{i}$ を $V_{i}=\left.\{v_{i}^{k} \mid k=1, \ldots,\right.\}$ とす る. $\alpha$-擬似スパースベクトル $v^{k}$ の $i$ 次元目は

$
f^{\prime}\left(v_{i}^{k}, V_{i} \mid \alpha\right)= \begin{cases}v_{i}^{k} & v_{i}^{k}>\operatorname{top}\left(V_{i} \mid \alpha\right) \\ 0 & (\text { otherwise })\end{cases}
$

ここで，top $(\cdot \mid \alpha)$ は与えられた集合の上位 $100 \alpha \%$ の 閾値を返す関数である.

## A. 2 実験設定の詳細

## データセット.MS MARCO 2.1 [9] の Passage and Document Retrieval タスクにより実験を行った.本タスクでは ReRanking と Full Ranking が Passage 単位，Document 単位それぞれで存在しており，本実験では Passage Rankingを用いて評価を行った.

ReRanking タスクではあらかじめ BM25 を用いて絞 り込まれた上位 1000 件の passage が与えられている が，Full Ranking では約 880 万件の検索対象文書か ら検索を行うことが求められる. ランキング指標と しては Mean Reciprocal Rank (MRR) Craswell09a が 用いられている。

学習用設定. Train Triples Small セットを用い て，バッチサイズ 100，エポック数 1 とし， 4 枚の NVIDIA Tesla V100 GPU により学習した. 最適化に は Adam [13] を用い， $\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-8}$ とした. モデルパラメータは 0 で初期化したバ イアスを除き， $N(0,0.02)$ で初期化した. 学習率は $1 \times 10^{-6}$ とし, 学習の半分までは 0 から線形で増加 させ，最終ステップで $9 \times 10^{-7}$ になるように線形に 減衰させた. 勾配は最大ノルム 1 でクリッピングし た. BERT は base モデル（768 次元）を利用し， 2 層 の出力層の中間層の次元数は 1000 , 最終層（スパー スベクトル v）の次元数 $D$ は 30000 とした. hinge loss のマージン $\epsilon$ は 1.0 とした. トークナイズには表 2 MS MARCO 2.1 の passage ranking のデータの詳細.

BERT Wordpiece トークナイザ1）（語彙数 $30 \mathrm{~K}$ ）を用 いた.

top $\alpha$ 学習のためのハイパーパラメータとして $\alpha_{\mathrm{q}}=0.1 \%$ とした. また，バッチサイズ 100 とした 場合，バッチ内で上位 $\alpha \%$ を計算すると 閾值がバッ チ内のデータに強く依存しすぎるため，計算を安定 させるために現在のステップを含め過去 20 ステッ プ分の訓練データのベクトルを保存しておき，これ らを合わせて用いることで top $\alpha$ の閾値を安定させ た. ここで，現在のステップを除く 19 ステップ分 のデータについては閾値の決定にのみ用い，計算グ ラフは保持せずパラメータの更新は行わないものと した.


# ベイジアンネットを用いた袋小路文読解モデル

高橋直人
産業技術総合研究所人工知能研究センター
naoto.takahashi@aist.go.jp
竹内泉
産業技術総合研究所人工知能研究センター
takeuti@ni.aist.go.jp
一杉裕志
産業技術総合研究所人工知能研究センター
y-ichisugi@aist.go.jp

## 1 はじめに

袋小路文（garden path sentences）[1] とは、文法的 に正しく、かつ比較的単純な構造をしているにもか かわらず、人間にとって読解が困難な一連の文を指 す.たとえば

Fat people eat accumulates.

という文を初めて目にしたとき、多くの人は “fat people” (太った人々) を文の主語、eat（食べる）を 学の動詞と捉えるので、次に来る accumulates（動詞「蓄積する」の 3 人称単数現在形 $)$ に惑うことに なる。

この現象は、人間が自然言語を理解するときは文 の終了を待たず、先頭から漸進的に解析を進めてい るという主張を支持する，光れと同時に、人間は自然言語の理解に際して並列解析もバックトラックも 苦手であることを示している. 最初の 3 語が入力さ れた時点で統語構造を仮定してしまうため、4 語目 が来たときに全体を再構成することができず、結果 として文の解析に失敗するというわけである．

一方で、もし適切な文脈が与えられれば、袋小路文は容易に解釈できることが知られている。たと えば

Carbohydrates that people eat are quickly broken down, but fat people eat accumulates.

と書かれていれば、fat は脂肪という意味の名詞であ り、people eat は光れを修飾する関係節で先頭の that あるいは which が省略されているとわかるので、文 の後半は「人々が食べるところの脂肪は蓄積する」 という意味であると解釈できる.
(S (NP (NP carbohydrates)

(SBAR (WHNP that)

(S/NP (NP people) $($ (VP/NP eat))))

(VP are quickly broken down))

図 1 "carbohydrates that people eat are quickly broken down" の統語解析例 . 表示に用いた文法範疇は基本的に Penn Treebank 方式 [3] に準拠しているが、空範疇を消去し、ス ラッシュ記号を用いた組合せ範疇文法 [4] 風の記法で置き 換えている。

文脈によってこの解釈が可能になるのは、文の前半が概略図 1 のように統語解析され、爫の結果とし て以下の効果が生じるためだと我々は考えている。

1. 単語 fat は「太った」という意味の形容詞と も、「脂肪」という意味の名詞とも解釈できる。特定の文脈がない場合は前者の解釈が優位と なっているが、carbohydrates (炭水化物) という 名詞が出現すると語彙プライミング効果 [2] が 生じ、炎の結果として意味的に関係の強い「脂肪」の解釈が優先されるようになる．

2. 文の前半に “that people eat” という明示的な関係節 (SBAR) が登場することによって、後半の “people eat” の部分か関係節であると認識されや すくなる．

人間は上記のような言語情報処理を大脳皮質の 言語野で行っていると考えられるが、近年の計算論的神経科学の研究によると、大脳皮質はベイジアン ネット的な計算をしている可能性が高い $[5,6]$. も し実際に乥うであるならば、上に掲げた袋小路文の 読解過程を、ベイジアンネットを用いてモデル化す

ることが可能なはずである．以下では关のような計算心理言語学的モデルの構築を試みる。

## 2 統語解析用ベイジアンネット

前述の通り、人間が自然言語を理解するときは文 の終了を待たず、先頭から漸進的に解析を進めてい ると考えられる．ただし、1語読む毎に部分木を順次一意に決定するのではなく、ある程度の先読みが 可能とされている [7]. 光こで本節では、“fat people eat accumulates” という 4 語文の先頭 3 語までを同時 に入力した状態をベイジアンネットでモデル化する ことを考える。

統語解析用の文法がチョムスキー標準形の文脈自由文法で与えられるという条件の下で、光のような ベイジアンネットをナイーブに実装した例を図 2 に 示す. Nii のように二つの添字番号が等しいノード は、 $\mathrm{i}$ 番目の入力語に対応する. 一方 $\mathrm{Nij}$ のように二 つの添字番号が異なるノードは、 $\mathrm{i}$ 番目の入力語か ら $\mathrm{j}$ 番目の入力語までを結合した文法範疇に対応す る.これらのノードが取り得る值は、乥れ光れの位置において適用可能な生成規則である ${ }^{11}$. すなわち $\mathrm{i}<\mathrm{j}, \mathrm{i} \leq \mathrm{k} \leq \mathrm{j}$ としたときに $\mathrm{Nij}$ が取り得る値は、右辺第 1 項が Nik の左辺、右辺第 2 項が $\mathrm{Nkj}$ の左辺とな る生成規則である。

生成規則の一覧を表 1 に、各ノードの条件付き確率表を表 2 から表 7 に示す.たただし、表 2 と表 6 に 示した数値は一例に過ぎない、なお、生じる確率 が 0 となる生成規則、および当該ノードの值が void (適用可能規則なし) となる場合に関しては、条件付き確率表内での記述を省略してある。

また、図 2 中の $\mathrm{Nc}$ は特別なノードで、入力文内 における文法範疇を示すのではなく、適切な先行文脈の有無を示す. 適切な先行文脈がある場合は、 ノード N11 において fat を「脂肪」と解釈する確率、 およびノード N23 において “people eat”を関係節と 解釈する確率が上昇する。

$\mathrm{Nc}$ の値は事前確率によって決まるのではなく、実験者が計算を行う際に決定するものである．した がって、表 2 内に表現されている

$
\begin{aligned}
& \mathrm{p}(\mathrm{N} 11=\text { "JJ } \rightarrow \text { fat" } \mid \mathrm{Nc}=\mathrm{no})=0.7 \\
& \mathrm{p}(\mathrm{N} 11=\text { "NP } \rightarrow \text { fat" } \mid \mathrm{Nc}=\mathrm{no})=0.3
\end{aligned}
$

とは、「実験者が $\mathrm{Nc}=\mathrm{no}$ と決定したときは、 $\mathrm{N} 11=$ “JJ $\rightarrow$ fat" となる事前確率が 0.7 で、 $\mathrm{N} 11=$ "NP $\rightarrow$ fat"

1) 各ノードが取る值は、 $\rightarrow$ の左辺に来る文法範疇ではなく、 $\rightarrow$ を含んだ個々の生成規則である．

図 2 連続 3語解析用ベイジアンネットのナイーブな実装

表 1 図 2 中で、 $\mathrm{Nc}$ 以外の各ノードが值として取り得る 生成規則のリスト . 最後の void は、当該ノードにおいて 適用可能な生成規則が存在しないことを示す特別な值で

となる事前確率が 0.3 である」ことを意味する．

## 3 文脈が読解に与える影響

本節では文脈の有無が袋小路文の読解に与える影響に関して考察する。

まず、特定の文脈が存在しない $(\mathrm{Nc}=\mathrm{no})$ とい う条件の下で “Fat people eat accumulates.” という文 を読んだ場合、“fat people eat”までの部分を「太っ た人々は食べる」と解釈する $(\mathrm{N} 13=$ " $\mathrm{S} / \mathrm{NP} \rightarrow \mathrm{NP}$ VP/NP”) 確率は以下のようになる。
$\mathrm{p}(\mathrm{N} 13=$ "S/NP $\rightarrow \mathrm{NP}$ VP/NP" $\mid \mathrm{Nc}=$ no $)$

$=\mathrm{p}(\mathrm{N} 12=$ "NP $\rightarrow \mathrm{JJ} \mathrm{NP}$ ",

$\mathrm{N} 33=$ "VP/NP $\rightarrow$ eat"

| $\mathrm{Nc}=$ no )

$\because$ 上記 N13 の値を成立させる組み合わせは、

このN12と N33 のみ

$=\mathrm{p}(\mathrm{N} 11=$ "JJ $\rightarrow$ fat",

$\mathrm{N} 22=$ "NP $\rightarrow$ people",

$\mathrm{N} 33=$ "VP/NP $\rightarrow$ eat"

| $\mathrm{Nc}=$ no )

$\because$ 上記 N12 の值を成立させる組み合わせは、

このN11と N22のみ

$=0.7 * 1 * 1=0.7$

また、同じく特定の文脈が存在しない状態で“fat people eat”までの部分を「人々が食べるところの脂肪は」と解釈する (N13 = “NP $\rightarrow$ NP SBAR”) 確率は 以下のようになる．

$\because$ 上記 N13 の値を成立させる組み合わせは、 この $\mathrm{N} 11$ と $\mathrm{N} 23$ のみ

$=0.3 * 0.5=0.15$

したがって特定の文脈が存在しない場合は、「太った人々は食べる」という解釈が優位となり、光の結果 4 語目が来たときに戶惑ってしまうことが 説明できる。

なお上記の確率値を合計しても 1 にならない理由は、ノード N13 の值が void となるような組み合 わせ（すなわち統語解析に失敗するような組み合わ せ）が他に存在するからである．

一方、適切な先行文脈が存在する場合 $(\mathrm{Nc}=\mathrm{yes})$ に同樣の計算を実行すると、以下の結果を得る．

「人々が食べるところの脂肪は」と解釈する確率 :

$
\begin{aligned}
& \mathrm{p}(\mathrm{N} 13=\text { "NP } \rightarrow \mathrm{NP} \text { SBAR" } \mid \mathrm{Nc}=\text { yes }) \\
& =\mathrm{p}(\mathrm{N} 11=\text { "NP } \rightarrow \text { fat", } \\
& \mathrm{N} 23=\text { "SBAR } \rightarrow \text { NP VP/NP" } \\
& \mathrm{Nc}=\text { yes }) \\
& =0.7 * 0.6=0.42
\end{aligned}
$

今度は「人々が食べるところの脂肪は」という解釈が優位となるため、4 語目の accumulates に戶惑 うことがなくなる.

もちろんこれらの数値は恣意的に設定した条件付 き確率表に依存しているが、少なくとも原理的には ベイジアンネットを用いて袋小路文の読解モデル が作成可能であることを上記の計算結果は示して いる。

## 4 関連研究

人間が自然言語を理解する過程をモデル化した研究は古くから存在する．

これまで多くの研究において、ある種の文が理解困難であるのは人間の作業記憶の容量と関係 があると仮定されてきた . 最初期の研究の一つと して、Marcus[7] が挙げられる.ここで提案された PARSIFAL と呼ばれるパーザは、解析途中の部分木の記憶容量に意図的な制限が加えられている。 PARSIFAL は言語学的に興味を引く複杂倠な統語構造 の解析に成功する一方で、人間と同樣、袋小路文の 解析に失敗するという興味深い特徵を持つ。

これに対し Crain and Steedman[8] は、適切な文脈 さえ与えられれば人間は袋小路文が理解可能にな ると主張した . Schuler[9] は、この主張が PARSIFAL では説明できない点を指摘し、更に人間の統語処理 が汎用の短期記憶の中で実現されるという仮定の 下に、階層型隠れマルコフモデルに基づくパーザを 作成して、爫の実効性を大規模コーパスを用いて示 した.

また、言語理論の面から袋小路文の理解困難性の 説明を試みた例には、Pritchett[10]がある．ここでは 袋小路文の理解困難性が、統率・束縛理論の $\theta$ 規準 に基づいて説明されている. 処理の原則は提案され ているが、具体的なパーザや、爫のメカニズムは提案されていない。

一方、ベイジアンネットを統語解析に利用する試 みとしては Takahashi and Ichisugi [11,12,13] などが あるが、これらで用いられているベイジアンネット は簡略版であるため、具体的な確率値を計算するこ とはできない．炎のため同一の文に対して複数の解
釈が存在した場合に、どの解釈がより確からしいか を本稿のように比較検討することはできない．

## 5 おわりに

人間はベイジアンネット的計算に基づいて文を読解しているという仮説を検討するために、実際にべ イジアンネットを用いて袋小路文の読解モデル作成 を試みた . 人手で恣意的に作成した条件付き確率を 用いてはいるものの、目標とするモデルが原理的に は作成可能であることを示した . 読解モデルの条件付き確率表を人手で与えるのではなく、訓練データ から学習することは可能かどうかを探るのは今後の 課題である。

今回作成したモデルが対象しているのは、単一の 袋小路文に過ぎない，一般に知られている袋小路文 の種類は数十かせいぜい数百と思われるが、光の中 には今回の例文とは異なる要因で読解困難となって いるパターンも多いはずである．今後はと艺れらの読解困難性と光れを解消する仕組をモデル化する必要がある.また、文脈が袋小路文の読解に与える影響が、多義語や生成規則の選択に関するプライミン グ効果だけに限られるのか否かも興味ある問題で ある.

今後はこれらの点を考慮しつつ研究を進めていき たい.

表 21 番目の入力語 fat に対応するノードN11 の条件付 き確率表 $. \mathrm{Nc}=$ no の場合（特定の文脈が存在しない場合)、fat は「太った」という意味の形容詞 (JJ) と解釈され やすいが、 $\mathrm{Nc}=$ yes の場合は、「脂肪」という意味の名詞

表 32 番目の入力語 people に対応するノード N22 の条件付き確率表 . 語彙的暧昧性がないため、このノードが 值として取り得る生成規則は一意に定まる。

$
\begin{array}{c|c}
\mathrm{N} 22 & \mathrm{p}(\mathrm{N} 22) \\

\end{array}
$

表 43 番目の入力語 eat に対応するノードN33 の条件付 き確率表 . 語彙的暧昧性がないため、このノードが値と して取り得る生成規則は一意に定まる．VP/NPは、右側 に NP が来ると全体として VP となる文法範疇、すなわち 他動詞を意味する。

表 51 番目の入力語と 2 番目の入力語を結合した文法範疇に対応するノードN12 の条件付き確率表 . N22 の値は 常に一定なので、N12 が意味のある値（void 以外の値）を 取る組み合わせは一意に定まる．

表 62 番目の入力語と 3 番目の入力語を結合した文法範疇に対応するノードN23 の条件付き確率表 . N22 が取る 值は常に同一であり、 $\mathrm{N} 33$ が取る値も常に同一である. よって N23 がどのような確率でどのような值を取るかは、文脈ノード $\mathrm{Nc}$ のみに依存する $. \mathrm{Nc}=\mathrm{no}$ の場合（特定の 文脈が存在しない場合) は、S/NP を左辺とする規則も SBAR を左辺とする規則も同じ確率で選択され得るが、先行文脈にSBAR を左辺とする規則が出現するとSBAR を 左辺とする規則か優位となる．なお S/NP は、右側に NP が来ると全体として S となる文法範疇、すなわち名詞句 と他動詞の連続を意味する。

表 7 1番目の入力語から 3 番目の入力語までを結合した 文法範疇に対応するノードN13 の条件付き確率表 . この ノードが取り得る値と正の確率は統語上は N11、N23、 N12、N33 の4ノードに依存するが、N12 の值は N11 から 一意に定まるため、また N33 は常に一定値を取るため、

 & 1 \\

## 参考文献

[1] スティーブン・ピンカー. 言語を生みだす本能 [上] . NHK 出版, 1995. 椋田直子 [訳]

[2] 阿部純一, 桃内佳雄, 金子康朗, 李光五. 人間の言語情報処理:言語理解の認知科学. サイエンス社, 1994.

[3] A. Bies. Bracketing guidelines for Treebank II style Penn Treebank project. Technical report, Department of Linguistics, University of Pennsylvania, Philadelphia, PA, USA, 1995.

[4] 戶次大介. 日本語文法の形式理論. くろしお出版, 2010.

[5] Tai Sing Lee and David Mumford. Hierachical bayesian inference in the visual cortex. Journal of Optical Society of America A, Vol. 20, No. 7, pp. 1434-1448, 2003.

[6] 一杉裕志. 大脳皮質とベイジアンネット. 日本口 ボット学会誌, Vol. 29, No. 3, pp. 412 -415, 2011.

[7] Mitch Marcus. Theory of Syntactic Recognition for Natural Language. 1980.

[8]

[9] William Schuler, Samir AbdelRahman, Timothy A. Miller, and Lane Schwartz. Broad-coverage parsing using humanlike memory constraints. Comput. Linguistics, Vol. 36, No. 1, pp. 1-30, 2010.

[10] Bradley L. Pritchett. Garden path phenomena and the grammatical basis of language processing. Language, Vol. 64, No. 3, pp. 539-576, 1988.

[11] 高橋直人, 一杉裕志. 制限付き疑似ベイジアンネット を用いた文脈自由文法解析の試み. 第 31 回人工知能学会全国大会, 2017.

[12] Naoto Takahashi and Yuuji Ichisugi. Restricted quasi bayesian networks as a prototyping tool for computational models of individual cortical areas. In Proceedings of Machine Learning Research, Vol. 73. PMLR, 2017.

[13] Naoto Takahashi and Yuuji Ichisugi. Toward Human-Like Sentence Interpretation-a Syntactic Parser Implemented as a Restricted Quasi Bayesian Network-: Proceedings of the Ninth Annual Meeting of the BICA Society, pp. 301-309. Springer, 012019.


# 読解能カテストに対するニューラル言語モデルを用いた 自動解答及びその結果の分析

青木拓磨 $1 *$ 原田裕文 $1 *$ 三浦大輝 $1 *$ 新井紀子 2 松崎拓也 ${ }^{1}$
}

1 東京理科大学 理学部第一部 応用数学科 2 教育のための科学研究所

\{1417002, 1417086, 1417100\}@ed.tus.ac.jp, arai@s4e.jp, matuzaki@rs.tus.ac.jp
## 1 はじめに

リーディングスキルテスト（RST）とは，「読解」 のプロセスとして 11 の段階を想定し，それらを実践する力を 7 つの問題タイプで多面的に測ること で，読解能力を測定するテストである $[1,2]$. 中高生を中心に, 小学生・成人も含め, これまで延べ約 20 万人が受検している. RST は項目反応理論 [3] に 基づき設計され, 各問題の困難度が推定される. ま た, 困難度が推定済みの問題への反応に基づき受検者の各問題タイプにおける能力値が推定される.

近年, 多数開発されている機械読解や「自然言語理解」のベンチマークデータでは人間が解いた際の 精度を測定し, 機械による解答精度と比較すること が多い。しかしほとんどの場合「人間が正解した」 かどうかは「被験者の 80 \%以上が正解した」, と いった大まかな定義に基づいており，かつ，RST の ように多数の人間による解答結果が存在するものは 我々が知る限り存在しない。

そこで，言語処理による自動解答結果と人間の RST 受検者の結果を比較することで，言語処理技術 の課題と人の読解の特性の両方についての知見が得 られることが期待できる. Arai ら [1] は, RST の係 り受け解析問題 (DEP) を CaboCha [4] で解析し, 出力された係り受け構造と整合する選択肢を人手で選 ぶことで $66 \%$ の正答率を得ており, 能力値に換算 すると受検者の最頻值をやや下回るものとなったこ とを報告している．また，最も誤りの多い問題文の 特徴として, 動詞句の並列が含まれる事を挙げてい る. 一方, 本論文では, 係り受け解析の他に, 照応解決 ・同義文判定についても取り組む. また, 全て の解答器は BERT [5] を用いており, 解答の選択ま で全てのプロセスを自動的に行う.
* 同等の貢献

## 2 RST の問題例

本論文では, RSTの7 タイプの問題のうち「係り 受け解析」,「照応解決」,「同義文判定」を対象とす る. 係り受け解析は文の構造を正しく把握する能力, 照応解決は指示詞やゼロ代名詞が指すものを正確に特定する能力, 同義文判定は 2 つの文章が同じ 意味かどうかを判定する能力を測る，図 1～図 3 に, これら 3 タイプの問題の例を示す. 問題例は全て公式サイト [6] からの引用である. 図中の提示文・補助提示文・選択肢が解答器への入力である.

## 3 手法

本研究では, 日本語テキストで Pre-training された BERT を，各タスクで Fine-tuning することで解答器 を作成する. 以下, 各問題タイプに対する解答器の 概要を述べる。

## 3.1 係り受け解析

RST の係り受け解析問題を，選択肢を空欄に 挿入した補助提示文を提示文に連結したもの を選択肢の数だけ作り,そのうち 1 つを選ぶ 課題として定式化する. 具体的には，提示文を text1，選択肢を挿入した補助提示文を text 2 として $[\mathrm{CLS}]+$ text1 + [SEP] + text2 + [SEP] を各選択肢につ いて用意してそれぞれにスコアを与え，そのうち最 もスコアが高いものを解答とする．スコアは，それ ぞれを BERT に入力したときの [CLS] に対する出力 ベクトルと, パラメータベクトルの内積とする.

既存の問題は学習データとしては少量であったた め, 以下のように疑似問題を生成した。まず，RST 問題は，1３文で構成されているため，コーパスか ら連続する 3 文以下の部分を抜き出し, 提示文とし て用いた。補助提示文は，提示文が例えば「 $\cdots \mathrm{A}$ が

図 1 係り受け解析問題の例 (正解:ブラックホール)

図 2 照応解決問題の例 (正解:アッシリア人)

図 3 同義文判定問題の例 (正解:同じである)

Bを CにVする。‥」という形であるとき，

$\mathrm{B} \mathrm{V}$ するのは $($ )である.

CにVするのは $(\quad$ )である.

(いずれも正解は「A」)などを，ルールに基づいて 生成した。負例となる選択肢は, 提示文内の名詞か ら正解を除く3～7 個をランダムに選んで用いた。

## 3.2 照応解決

植田ら [7] の論文中の「ベースモデル」を用いて， ゼロ照応解析を含む述語項構造解析と照応解析の同時学習を行った. 以下，その概要をまとめる.

まず，入力文書を形態素分割した後, WordPiece を用いてサブワードに分割する．次に，入力系列の 先頭に [CLS], 末尾に $[\mathrm{SEP}]$ と 5 つの特殊トークン [著者] $\cdot$ [読者] $\cdot$ [不特定:人] $\cdot$ [NULL] $\cdot$ [NA] を挿入 し, BERT に入力する. [著者] $\cdot$[読者] $\cdot$ [不特定:人] はそれぞれ外界の照応先に対応し, [NULL] と [NA] はそれぞれ，述語項構造解析において項が存在しな い場合と, 照応解析において照応先が存在しない場合を表す。予測の際は，次の計算を行う。述語項構造解析では, 述語と文書中の全サブワードに対し, ガ格・ヨ格・二格のスコアを計算し，スコア最大の 項をその述語の項として出力する。より正確には,述語サブワード $p_{i}$ に対し, 項候補サブワード $a_{j}$ が 格 $c$ の項になる確率を，

$
\begin{gathered}
P\left(a_{j} \mid p_{i}, c\right)=\frac{\exp \left(s_{c}\left(a_{j}, p_{i}\right)\right)}{\sum_{k} \exp \left(s_{c}\left(a_{k}, p_{i}\right)\right)} \\
s_{c}\left(a_{j}, p_{i}\right)=v^{T} \tanh \left(W_{c} \boldsymbol{a}_{j}+U_{c} \boldsymbol{p}_{i}\right)
\end{gathered}
$

と定義する。ここで, $\boldsymbol{p}_{i}, \boldsymbol{a}_{j}$ はサブワード $p_{i}, a_{j}$ に対応する BERT 最終層のベクトル, $v, W_{c}, U_{c}$ は Fine-tuning で新たに導入されたパラメータを表す。 なお，述語サブワード及び項候補サブワードとして は形態素の先頭サブワードを用いる．照応解析の場合は, 先行詞サブワードと照応詞サブワードに対し て同様の計算を行う.

RST 問題に解答器を適用する際には，まず問題に 対するパターンマッチによってゼロ照応かそれ以外 かに分ける．ゼロ照応の場合は，はじめに補助提示文を係り受け解析し，空闌部分を項とする述語を抽出する。次に，各選択肢を形態素分割し，最右の名詞を抽出する。抽出した述語サブワードと各選択肢 サブワードに対し，ガ格・ヨ格・二格のスコアを計算する.このとき，各スコアが [NULL] に対するも のより小さい場合, 候補から除外する。最後に, 格 ごとに softmax で正規化し，スコア最大の選択肢を 解答とする，照応解析では，問題文から指示詞を抽出し, 指示詞サブワードと各選択肢サブワードに対 して同様の計算を行う.

## 3.3 同義文判定

同義かどうかを判定する 2 つの文章を text1, text2 とするとき, $[\mathrm{CLS}]+$ text1 + [SEP] + text2 + [SEP] を BERT に入力し, [CLS] に対する出力ベクトルとパ ラメータベクトルの内積が閾値以上であれば「同 じである」，そうでなければ「異なる」と判定す る. Fine-tuning に使用したデータセットは，京都大学テキストコーパス (KTC) ver. 4.0 と日本語 SNLI (Stanford Natural Language Inference) [8] [9] である.

KTC から 2 つのタイプの疑似問題を作成した. 1 つ目は，文末の動詞の文節に係る複数の文節を，そ れらを根とする部分木とともにランダムに入れ替え たものを元の文とぺアにし，正解を「同じである」 としたものである. さらに入れ替え後の文からラン ダムに名詞を 2 つ選択して交換したものを元の文と

ペアにし，正解を「異なる」とした問題を作成した。 2 つ目のタイプの問題を作る際は，最初に「A BをVした」のように, 文末の述語がヲ格を持つ動詞である文を抽出した. そして 1 つ目と同様, 文末 の文節に係る文節をランダムに入れ替えた. 最後に

と書き換え，元の文とぺアにしたものを正解「同じ である」の問題とした. さらに 1 つ目と同様に, 受動態に変換した上で，さらにランダムに名詞を交換 したものを正解が「異なる」の問題とした.

日本語 SNLI は含意関係認識の英語のデータ セットであるSNLIを機械翻訳によって日本語化したデータである.このデータは多数の文の ペアから成り, 各ペアに対して Entailment (含意す る), Contradiction (矛盾する), Neutral (どちらでも ない)の3つのラベルのいずれかが付与されてい る. Entailment は, 正確には同義とは異なるがそ れに近いものと考え「同じである」の例とした。 Contradiction は, 必ず「同じでない」を意味するた め「異なる」の例とした。

## 4 実験設定

全ての解答器で, 東北大学によって作成された日本語 BERT 事前訓練済みモデル1を利用した。

係り受け問題に対する解答器の訓練データとし て, NAIST テキストコーパス ver. 1.5（NTC1.5）[10] から 3.1 節で説明した方法で, 129,256 個の疑似問題 を生成した。そのうち 9 割を訓練データ, 残り 1 割 を開発データとして用いた。開発データのスコアは 0.8255 となった.

照応解決問題に対する解答器の訓練にも NTC 1.5 を使用した. データは既存研究で広く用いられて いる Taira ら [11]の分割に従って訓練・開発・評価 データに分割した. 述語項構造解析は, 用言及び事態性名詞を対象とする述語として訓練した. 照応解析は, 全ての指示詞を対象とした．NTC1.5を用い た評価の際には, システムが出力したサブワード が，正解サブワードと同じ共参照クラスタのいず れかに含まれる場合は正解とした。損失関数には Cross-Entropy を使用し, 異なる初期値で 20 エポッ ク学習させた. 表 1 に, 既存モデルとの F1 スコア での比較を示す. 評価対象とした述語の数が若干異 なるため厳密な比較ではないが，格解析・ゼロ照応解析ともに既存研究と比べ精度が向上している. な

表 1 NTC1.5 評価セットにおける既存研究との比較

 \\

松林ら [12] & 90.07 & 54.53 & - \\
今野ら [13] & 87.72 & 47.72 & - \\

図 4 同義文判定の閾值と開発データに対する精度

お，照応解析については，指示表現のみを扱う先行研究がなかったため，ここでは比較しない，RST 問題を用いたテストには，異なる初期值による結果の うち NTC 1.5 の評価データに対する精度が最も高い ものを用いた。

同義文判定問題に対する解答器の訓練には, 3.3 節で述べた通り KTC 及び日本語 SNLIを用いた. KTC から作成した疑似問題は, 1 つ目のタイプが 57,155 問, 2 つ目のタイプが 5,954 問であり, 日本語 SNLI $の$ Entailment が 177,257 問, Contradiction が 179,842 問である.これらの $99 \%$ を訓練データ, 残 りの $1 \%$ を開発データに用いた。図 4 は間值と疑似問題及びRST 問題（いずれも開発データ）に対する 精度の関係を示す. テストにはRST の開発データ に対する精度が最も高かった閾値 2.2 を用いた。

## 5 実験結果

表 2 に, RST 問題に対する各解答器の正答率を 示す. 開発データとテストデータは作成時期の異 なる問題セットを用いており，これらに対する正答率の差は問題傾向の違いによるものと考えられ る. 図 5 に, 問題の困難度と解答器の正答率の関係 を示す. グラフ上の点 $(x, y)$ は, 困難度が $x$ に近い 問題に対する解答器の正答率が，おおよそ $y$ である ことを表す。正確には以下の様にグラフを作成し た。まず，問題セットを困難度の順に並べたもの を $q_{1}, q_{2}, \ldots, q_{N}$ とする.そこから連続する $w$ 問の ウィンドウ $q_{i}, q_{i+1}, \ldots, q_{i+w-1}$ を取り出し, これら の問題の困難度の平均値を $x_{i}$, これらに対する解答器の正答率を $y_{i}$ とする。これを $i=1,2, \ldots$ につい
表 2 RST 問題に対する解答器の正答率

同義文判定（開発）

図 5 問題困難度と解答器の正答率の関係

て行って得た座標 $\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots$ を折れ線でつ ないで表示した. ウィンドウ幅 $w$ は同義文判定のテ ストデータについては $w=25$, それ以外については $w=50$ とした. 図から, 係り受け解析のテストセッ トを除き, 困難度が大きいほど解答器の正答率が低 い傾向があること，すなわち人間にとって難しい読解課題は解答器にとっても難しいことが分かる. 係 り受け解析のテストデータでは困難度 -1.00 付近に 正答率のピークが見られ, より易しい問題に対して 正答率が低くなっている。原因として, 訓練に用い た疑似問題ではカバーされないタイプの問題で, 人 にとっては易しいものがテストデータに多く存在し たことが予想されるが，正確な理由は不明である。

図 6 に問題の形態素数と解答器の正答率及び困難度の関係を示す.ここでの問題の形態素数とは,係り受け解析と照応解析では正解選択肢と述語の 距離, 同義文判定では 2 つ文章の形態素数の平均 を意味する. 図6（左）から, 係り受け解析を除き,形態素数が多いほど正答率が低い傾向があること, すなわち解答器にとっての難しさの 1 つの要因は 形態素数であることが示唆される。一方, 図 6 (右) から, 形態素数と人にとっての困難度には明確な相関がないことがわかる. すなわち人にとっての困難度は形態素数に依存しておらず, 本研究で用いた解答器と人の能力の特性の違いの 1 つだと言える.

図 6 問題の形態素数と解答器の正答率及び困難度の関係

## 6 おわりに

本研究では, RST の問題に対する自動解答結果と 人間の受検者の結果を比較することで，言語処理技術の課題と人間の読解の特性について検討した。そ の結果, 人間にとって難しい読解問題は解答器に とってもおおむね難しい傾向があることが分かっ た。一方で, 形態素数と解答器の正答率には負の相関があるのに対し，人にとっての困難度とは相関が みられなかった.このことから，人に比べ BERTに 基づく解答器はより表層的な手掛かりに依存する度合いが大きいことが示唆される。係り受け解析と同義文判定では，疑似問題と RST 問題に対する精度に 乘離がある。これは，疑似問題が RST の問題を力 バーしきれていないことと, RST に比べ簡単すぎる ことが理由と考えられる．疑似問題の生成方法を改良し, 解答器の精度を向上させることで, 人の読解 とのより詳細な比較が可能になることが期待される が，難しい疑似問題を生成すること自体が挑戦的な 研究課題となるだろう. 一方, 照応解決は, 解答器 の精度が NTC 1.5 に対する現在の最高精度に近く, かつ，RST 問題に対する精度との乘離も比較的小さ いことから, 照応解決技術自体の精度を向上させる ことが主要な課題となるだろう。

## 謝辞

本研究は JST, さきがけ, JPMJPR175A およびJSPS 科研費 JP16H01819 の支援を受けたものである.

## 参考文献

[1] Noriko H. Arai, Naoya Todo, Teiko Arai, Kyosuke Bunji, Shingo Sugawara, Miwa Inuzuka, Takuya Matsuzaki, and Koken Ozaki. Reading skill test to diagnose basic language skills in comparison to machines. Proceedings of the 39th Annual Cognitive Science Society Meeting (CogSci 2017), pp. 1556-1561, 2017.

[2] RST パンフレット. https://www.s4e.jp/wysiwyg/ file/download/1/1157.

[3] F. M. Lord and M. R. Novick. Statistical theories of mental test scores. Addisom-Wesley, 1968.

[4] 工藤拓, 松本裕治. チャンキングの段階適用による 日本語係り受け解析. Vol. 43, No. 6, pp. 1834-1842, 2002.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2019.

[6]教育のための科学研究所, 2020-12 閲覧. https: //www.s4e.jp.

[7] 植田暢大, 河原大輔, 黒橋禎夫. BERT と Refinement ネットワークによる統合的照応・共参照解析.言語処理学会第 26 回年次大会発表論文集, pp. 1101-1104, 2020.

[8] 吉越卓見, 河原大輔, 黒橋禎夫ほか. 機械翻訳を用い た自然言語推論データセットの多言語化. 研究報告自然言語処理 (NL), Vol. 2020, No. 6, pp. 1-8, 2020.

[9] Samuel R Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. EMNLP, 2015.

[10] 飯田龍, 小町守, 井之上直也, 乾健太郎, 松本裕治. 述語項構造と照応関係のアノテーション:NAIST テキ ストコーパス構築の経験から. 自然言語処理, Vol. 17, No. 2, pp. 25-50, 42010.

[11] Hirotoshi Taira, Sanae Fujita, and Masaaki Nagata. A Japanese predicate argument structure analysis using decision lists. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 523-532, 2008.

[12] 松林優一郎, 乾健太郎. 複数の述語間の関係を考慮し た End-to-End 日本語述語項構造解析. 言語処理学会第 24 回年次大会 発表論文集, pp. 101-104, 2018.

[13] 今野颯人, 松林優一郎, 大内啓樹, 清野舜, 乾健太郎.前方文脈の埋め込みを利用した日本語述語項構造解析. 言語処理学会第 25 回年次大会 発表論文集, pp. 53-56, 2019.


# 予測の正確な言語モデルがヒトらしいとは限らない

栗林樹生 ${ }^{1,2}$ 大関洋平 ${ }^{3,4}$ 伊藤拓海 ${ }^{1,2}$ 吉田遼 ${ }^{3}$ 浅原正幸 ${ }^{5}$ 乾健太郎 1,4

1 東北大学 ${ }^{2}$ Langsmith 株式会社 3 東京大学 4 理化学研究所 5 国立国語研究所

\{kuribayashi, t-ito, inui\}@ecei.tohoku.ac.jp

\{oseki, yoshiryo0617\}@g.ecc.u-tokyo.ac.jp, masayu-a@ninjal.ac.jp
## 1 はじめに

文章を読んでいると，ある部分はスラスラ読めた り，特定の箇所ではつっかえたりする.このような 逐次的な読みやすさはどのように計算されるのだろ うか. 本研究では, ヒトの漸進的な文処理の計算モ デルについて洞察を得ることを目指す。

近年では，単語や文のサプライザル $(-\log p($ 単語や文| 先行文脈 $))$ が読みやすさを 決める主要な要因であるとするサプライザル理論 $[1,2]$ が支持されている. ヒトは先読みをしなが ら文章を読んでおり，予想と異なる情報が出現す る（サプライザルが大きくなる）と処理負荷が高 まる（例えば，読み時間が長くなる）という説であ る. 本理論はサプライザルをどのようなモデルで計算するかについては中立的であり，ヒトの読み活動 をうまくモデリングできるようなサプライザルを 算出するモデルを探求することで，構成論的なアプ ローチによりヒトの文処理に対して洞察を得てき た $[3,4,5,6,7,8]$. 本研究でも, モデルから得られた サプライザルがヒトの読み活動をどれほどモデリン グできるかを「ヒトらしさ」の指標とし，ヒトらし いモデルを探求する.

最近ではサプライザル理論に基づいた実験から， パープレキシティ（PPL）の低い言語モデルほどヒ トらしいという報告がされてきた $[3,4,9,10,11]$.本研究ではこの報告の一般性について再検証し, 例 えば自然言語処理分野で行われている訓練データ量 やパラメータ数を増やすといった改良 [12] の先に認知科学が目指すヒトらしいモデルがあるのか, 両分野が向かう先の関係について示唆を与えることを目指す. 図 1 に示すとおり言語モデルの予測の正確さ （PPLの低さ）はヒトらしさを必ずしも含意しない. また既存研究では英語の限られたコーパス上でのみ 議論が行われており，様々な言語や現象において予

図 1 PPLの低い言語モデルとヒトらしい言語モデルの要略. 縦軸はヒトの読み時間と言語モデルのサプライザル.

測の正確さ（PPLの低さ）とヒトらしさの間の関係 が成り立つかは定かでない.

省略，語順などの観点で英語と大きく異なる日本語に焦点を当てて PPLとヒトらしさの関係について 検証した. 実験結果より, PPL が低い言語モデルほ どヒトらしいという英語で観察された関係は日本語 では必ずしも成立せず，本関係は言語横断的な一般性を欠く観察であると一旦結論づけた。また乘離の 傾向について，言語の階層的な構造を明示的に教師 として与えていない言語モデルが，ヒトの読み活動 よりも統語構造に過剩に敏感なサプライザルを計算 するという観察が得られた. 具体的には，主辞後置言語の読み時間で典型的に観察される統語構造に 関する効果 [13] の観点で，言語モデルがヒトより も強くバイアスを受けていた。本乘離について，日本語と英語の違いに結びつけて議論する. 本研究で BCCWJ-EyeTrack に対して付与した 111 の言語モデ ルによるサプライザルデータ（BCCWJ-UniSeqLM） は公開する ${ }^{1}$ 。

## 2 関連研究

ヒトの漸進的な文処理モデルの解明に向けて，認知科学, 心理言語学の分野ではヒトの読み活動（読み時間や脳活動データ）が長らく分析され

てきた [14,13,1,2,3,4,15,16]. 読み時間について は，特に主辞先行言語（英語など）と主辞後置言語（日本語など）間で異なる傾向が報告されてお り $[13,17,18,19]$, 特定の言語で報告された観察（本研究の文脈では，PPL $\propto$ ヒトしさ）が異なる言語 で成り立つかは自明でない。これまでも，主辞先行言語で提案されたワーキングメモリによる読み時間 の説明 [14] について, 主辞後置言語におけるヒトの 傾向をうまく説明できないことが指摘され [13, 17],後の anti-locality theory やサプライザル理論に繋がっ た $[13,1,2]$.

## 3 実験設定: 言語モデル

サブワード2)を入力単位とした文章レベルの leftto-right 言語モデルを用いる. 長さ $N$ の文 $w_{1: N}$ にお ける長さ $T$ の文節 $\left.b=w_{k: k+T} \quad(1<k \leq k+T \leq N)^{3}\right)$ のサプライザルを以下のように計算する：

$
\begin{aligned}
\operatorname{surprisal}(b) & =-\log _{2} p\left(w_{k}, \cdots, w_{k+T} \mid w_{1}, \cdots, w_{k-1}\right) \\
& =-\sum_{i=k}^{k+T} \log _{2} p\left(w_{i} \mid w_{1}, \cdots, w_{i-1}\right)
\end{aligned}
$

言語モデルの種類: パラメータ数の異なる 2 種類の Transformer 言語モデル (400M パラメータ の TRANS-L と 55M パラメータの TRANS-S）と LSTM ベースの言語モデルについて, 学習データ量 $(1.4 \mathrm{G}$, 140M，14M サブワード）とパラメータアップデー 卜回数 $(100 \mathrm{~K}, 10 \mathrm{~K}, 1 \mathrm{~K}, 0.1 \mathrm{~K})$ を変えて学習し, さ らにそれぞれの設定について3つの異なるランダム シード4)でモデルを学習した $(3 \times 3 \times 4 \times 3=108$ モ デル)。学習データは新聞記事と日本語 Wikipedia か ら成る. さらに， 3 グラム，4グラム，5グラム言語 モデル5)も加え，計 111 の設定について分析した.

## 4 実験 1: PPL とヒトらしさ

各言語モデルについて, PPLとヒトらしさの関係 を調べる。あらかじめベースライン特徴量で読み時間をモデリングし, ある言語モデルから得られたサ プライザルを固定因子として追加した際にモデリン グ性能がどれほど上昇するかで言語モデルのヒトら

2) mecab [20] と unidic で国語研短単位に分割した後，バイト対符号化 [21] によってさらに分割した (character coverage $=0.9995$, vocab size $=100000)$.

3） BOSトークン $\left(w_{1}\right)$ の存在から，文節は $w_{2}$ 以降から始まる.

4） $140 \mathrm{M} ， 14 \mathrm{M}$ サブワードのデータで学習するモデルについて は，データのサンプリングも変えている.

5）学習データ（1.4G サブワード）をすべて用いhttps: //github.com/kpu/kenlm でモデルを作成した.
しさを評価する，具体的には，既存研究に従い，サ プライザルを考慮する前後における読み時間デー 夕の文節平均対数尤度の変化 $\Delta$ LogLikを報告する. $\Delta \operatorname{LogLik}$ が大きいほど，その言語モデルがヒトらし いことを示す. 読み時間（RT）のモデリングは以下 の式で行う：

$
\begin{aligned}
\log (\mathrm{RT}) & \sim \text { surprisal + freq + length }+ \text { prev_freq } \\
& + \text { prev_length }+ \text { is_first }+ \text { is_last } \\
& + \text { is_second_last }+ \text { screenN }+ \text { lineN } \\
& + \text { segmentN }+(1 \mid \text { article })+(1 \mid \text { subj })
\end{aligned}
$

各特徴量の詳細は付録に示す. (1|x) は $\mathrm{x}$ をランダ ム切片として組み込むことを指す. ベースライ ンモデルでは式 1 の説明変数からサプライザル （surprisal）を除く。既存研究に従い [22], 視線走査法により計測された対数注視時間（first pass time） をモデリングした. 予測モデルとして一般化線形混合モデル（GLMM）を用いた.

既存研究 [18] に従い読み時間がゼロ秒である文節 は除いた。また，読み時間について 3 標準偏差を超 える文節についても除外した. 最終的に 13,148 の データポイントを用いた.

## 4.1 結果

図 2 に結果を示す. 各プロットは各言語モデル に対応する．X軸が言語モデルの PPL（対数スケー ル), $\mathrm{Y}$ 軸が言語モデルの読み時間モデリング能力 であり，モデリング能力が高いことと本研究でいう 「ヒトらしい」ことは同義である. グラフが左肩上 がりの場合は PPL が低いほどヒトらしいと言える. Goodman ら [9] は，言語モデルの PPL が低くなるほ ど読み時間モデリング能力が向上し，両者には直線的な関係があることを報告した。一方で本実験結果 では，言語モデルの PPL と読み時間モデリング能力 の間のピアソン相関係数は-0.21であり，さらにPPL が 0 から 1000 の範囲では，PPL の低い言語モデル ほどヒトらしくないという正の相関が見られた（ピ アソン相関係数 0.19).これらの結果から一旦, PPL の低い言語モデルほどヒトらしいという知見は言語横断的な一般性を欠くと結論づける。

アーキテクチャ, データ量, アップデート回数別 の読み時間モデリング能力の平均を表 1 亿示す。ス コアが高いほどヒトの読み時間のモデリングに貢献 するサプライザルを計算することを意味する。一般的な言語モデルの性能に対する傾向に反し，N-gram

図 2 PPLと読み時間モデリング能力の関係.

表 1 左からアーキテクチャ，学習データ量，アップデー ト回数ごとの読み時間モデリング能力の比較.

言語モデルやアップデートが比較的少なめ（1000 回）のモデルのモデリング性能が高いことが分かっ た. N-gram 言語モデルが比較的ヒトらしいことは 英語における既存研究でも報告されている [9]. 5 節 では，各言語モデルがもつ性質について分析をし， どのような観点で言語モデルがヒトの読み活動デー タから逸脱していくか調べる。

## 5 実験 2: 統語情報とサプライザル

読み時間が統語範疇や統語構造の影響を受けてい るという知見に従い $[18,23]$, 本研究では統語範疇 と統語構造の 2 つの観点から各言語モデルの性質を 調べる. 具体的に本研究では, 各言語モデルが計算 するサプライザルの統語範疇と統語構造に対する敏感さを測定する。

言語モデルが各文節に対して計算するサプライザ ルを擬似的な読み時間とみなし，既存研究 $[18,23]$ と同様にモデリングを行う．具体的には 4 節と同様，はじめに各言語モデルが計算するサプライザル をべースライン特徴量（式 1 の surprisal を除く説明変数) ${ }^{6}$ によってモデリングする (ベースライン

6）スクリーン上の提示位置などといったヒトに対する測定で

図 3 Anti-locality 効果の要略. 矢印は係り受け関係を,各文節の下の数字は先行文脈に存在する係り元文節の数 を表し，この值が大きいほど読み負荷（Y 軸方向の位置） が小さくなるとされている.

モデル)．続いて統語範疇や統語構造に関する特徴量を追加したときのモデリング性能の具合いである （文節平均対数尤度の変化） $\Delta \operatorname{LogLik}$ 調べる.

統語範疇に対する敏感さ BCCWJ中の各文節は 用の類，相の類，体の類，その他，分類不能のいず れかのカテゴリに分類されている. ベースラインモ デルに対して各文節がどのカテゴリに属すかという 説明変数を加え，サプライザルに対する対数尤度が どれほど変化するかを測定する。

統語構造に対する敏感さ 日本語を含む主辞後置言語では，単語や文節の読みやすさが文内の先行文脈に出現する係り元の要素数の影響を受ける anti-locality 効果が報告されている [13,17]. ある要素の係り元が前方にたくさん存在するほど，その要素を予測する手がかりが多くなり，読み負荷が下が るという仮説である。図 3 に anti-locality 効果の概略を示す. anti-locality 理論に基づくと，例えば係り 元が存在しない図 3 中の「テレビ」よりも，直接係 り元が 2 つ存在する「活躍中」の方が読み負荷が低 いとされる.

各言語モデルが統語バイアスをどれほど強く有す るかを検証するため，ベースラインモデルに対して 先行文脈に存在する係り元の数を説明変数として追加し，対数尤度がどれほど変化するかを測定する。

## 5.1 結果

各言語モデルが計算するサプライザルについて，統語範疇と統語構造（anti-locality 効果）に対する敏感さを測定した結果が図 4 である．各プロットが各言語モデルに対応し，縦軸がそれぞれの特徴量に対 する敏感度である。図 4 左では $\mathrm{X}$ 軸を各言語モデル の読み時間モデリング能力，図 4 右では $\mathrm{X}$ 軸を PPL としている。まず図 4 左より，読み時間予測性能の 高いモデルほど統語範疇に対して強く敏感であるこ とが分かる（ピアソン相関係数で 0.85 ）。また図 4

特有に生じる要因については，素性の設計を一部変更してい る. 詳しくは付録に記載.

図 4 言語モデルの PPL，ヒトらしさ，統語に対する敏感 さの関係.

右より，ある程度 PPL の高い（およそ PPL200）言語モデルは統語範疇に対して敏感であるのに対し, さらに PPLが下がっていくと統語構造に対して敏感 になることが観察され，PPL と統語構造に対する敏感さの間には順位相関係数-0.79 の相関が見られた。統語範疇から統語構造への敏感さの変化や, 目的関数として構造を明示的に与えていないにも関わらず 言語モデルが統語構造に敏感になっていく様子は言語獲得の観点からも興味深い。

これらの観察から, 日本語話者は統語構造よりも 統語範疇に近いレベルで先読みをしており，PPLの 低い言語モデルはより高度な統語構造のレベルで文 を処理していることで乘離が生じている可能性があ げられる．分析では，PPL の低い言語モデルがどの ように統語構造に対して敏感であるかを調査する。

## 5.2 分析

統語構造の観点におけるヒトと言語モデルの乘離 を詳細に分析する. 図 5 に，ある文節に対する先行文脈に存在する係り元の数と平均読み時間・サプラ イザルを示す. 左からヒトの対数読み時間，読み時間モデリング性能の高い言語モデルが算出するサプ ライザル，PPL の最も低い言語モデルが算出するサ プライザルである．ヒトの対数読み時間や読み時間予測性能の高い言語モデルでは直線的な anti-locality 効果が観察されるのに対し，PPL の低い言語モデル では, anti-locality 効果が曲線的であった. 本曲線に 対する一つの解釈として, PPL 最小化の目的関数の もと言語モデルを訓練していくと，文内に係り元の ない文節（以降， $\mathrm{DEP}_{0}$ ）の予測が係り元の存在する 文節と比べて相対的に苦手になり, $\mathrm{DEP}_{0}$ に対して 不当に高いサプライザルを計算してしまっている 可能性をあげる. なお，英語ではこのような係り元 の数という観点における乘離は観察されなかった (付録).

図 5 ヒトの読み時間，最もヒトらしい言語モデルのサプ ライザル，PPL の低い言語モデルのサプライザルにおけ

る, anti-locality 効果の違い.

$\mathrm{DEP}_{0}$ の予測については文内に統語的な手がかりが 存在せず，例えば先行文脈を考慮した自然な主題展開といった談話レべルの処理が必要になると考えら れる。近年，談話レベルの文章展開において言語モ デルとヒトの間に乘離があることが報告されてお り [24], 更に日本語では顕在性の高い話題などは省略されることから，文章に表出されている情報のみ で談話的な手がかりをモデリングすることが難しい と考えられる。一方でヒトは例えば省略された話題 などを補って文章を読んでいると考えられ，結果的 に文を超えた予測が必要になる $\mathrm{DEP}_{0}$ における読み 負荷 (読み時間とサプライザル) の乘離という形で, ヒトと言語モデルの違いが観察されているという解釈をあげる。

## 6 おわりに

本研究では PPL の低い言語モデルほどヒトらし いという知見に対して既存研究とは異なる観察を 提示し，分野が目指すモデルの間の関係に示唆を与 えた，具体的には，言語モデルの予測が正確になる （PPLが低くなる）につれて，ヒトの文処理モデルに 近づくとは限らないということを示した. 既存研究 と異なる結果が得られた原因については，本稿であ げた解釈の他にも読み時間測定時のノイズやサプラ イザルを通して評価すること（サプライザル理論） の妥当性といった様々な要因が考えられるため，引 き続き調査をすすめる必要がある。一つの方向性と して，日本語以外の言語についても検証を進め，言語のどのような性質が乘離に結びつくのか分析して いきたい.

謝辞. 本研究は JSPS 科研費 JP20J22697, 19H04990 の助成を受けたものです。また，国立国語研究所共同研究プロジェクト「大規模コーパス を利用した言語処理の計算心理言語学的研究」の支援を受けたものです.

## 参考文献

[1]John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In Proceedings of NAACL, pp. 159-166, 2001.

[2]Roger Levy. Expectation-based syntactic comprehension. Journal of Cognition, Vol. 106, No. 3, pp. 1126-1177, 2008.

[3]Stefan L. Frank and Rens Bod. Insensitivity of the Human Sentence-Processing System to Hierarchical Structure. Journal of Psychological Science, Vol. 22, No. 6, pp. 829-834, 2011.

[4]Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of CMCL, pp. 61-69, Montréal, Canada, 6 2012. Association for Computational Linguistics.

[5]John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan R. Brennan. Finding syntax in human encephalography with beam search. In Proceedings of ACL, pp. 2727-2736, 2018.

[6]Tal Linzen. What can linguistics and deep learning contribute to each other? Journal of Language, Vol. 95, No. 1, pp. 99108, 2019.

[7]Danny Merkx and Stefan L. Frank. Comparing Transformers and RNNs on predicting human sentence processing data. arXiv preprint arXiv:2005.09471,2020, 2020.

[8]Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverse-engineering converges on a model for predictive processing. bioRxiv, 2020.

[9]Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of CMCL2018, pp. $10-18,2018$.

[10]Christoph Aurnhammer and Stefan Frank. Comparing gated and simple recurrent neural network architectures as models of human sentence processing. In Proceedings of the 41st Annual Conference of the Cognitive Science Society, pp. 112118, 2019.

[11]Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior. In Proceedings of CogSci, pp. 1707-1713, 2020.

[12]Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020.

[13]Lars Konieczny. Locality and parsing complexity. Journal of Psycholinguistic Research, Vol. 29, No. 6, pp. 627-645, 2000.

[14]Edward Gibson. Linguistic complexity: Locality of syntactic dependencies. Journal of Cognition, Vol. 68, No. 1, pp. 1-76, 1998.

[15]Stefan L Frank, Leun J Otten, Giulia Galli, and Gabriella Vigliocco. The ERP response to the amount of information conveyed by words in sentences. Brain and language, Vol. 140, pp. 1-11, 2015.

[16]Jonathan R Brennan, Edward P Stabler, Sarah E Van Wagenen, Wen-Ming Luh, and John T Hale. Abstract linguistic structure correlates with temporal activity during naturalistic comprehension. Brain and language, Vol. 157, pp. 81-94, 2016.

[17]Shodai Uchida, E Miyamoto, Yuki Hirose, Yuki Kobayashi, and Takane Ito. An ERP study of parsing and memory load in Japanese sentence processing - A comparison between leftcorner parsing and the Dependency Locality Theory. Technical report of IEICE. Thought and language, Vol. 114, pp. 101-106, 2014.

[18]Masayuki Asahara, Hajime Ono, and Edson T Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING, pp. 684-694, 2016.

[19]Masayuki Asahara. Between reading time and clause boundaries in Japanese - wrap-up effect in a head-final language. In Proceedings of PACLIC, pp. 19-27, 2018.

[20]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[21]Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of ACL, pp. 1715-1725, 2016.

[22]Nathaniel J. Smith and Roger Levy. The effect of word predictability on reading time is logarithmic. Journal of Cognition, Vol. 128, No. 3, pp. 302-319, 2013.

[23]Masayuki Asahara and Sachi Kato. Between Reading Time and Syntactic / Semantic Categories. In Proceedings of IJCNLP, pp. 404-412, 2017.

[24]Shiva Upadhye, Leon Bergen, and Andrew Kehler. Predicting Reference: What do Language Models Learn about Discourse Models? In Proceedings of EMNLP2020, pp. 977-982, Online, 11 2020. Association for Computational Linguistics.

[25]Alan Kennedy, Robin Hill, and Joël Pynte. The dundee corpus. In Proceedings of the 12th European conference on eye movement, 2003

[26]Maria Barrett, Željko Agi, and Anders Søgaard. The Dundee Treebank. In Fourteenth International Workshop on Treebanks and Linguistic Theories, pp. 242-248, 2015.
表 2 本実験で用いた素性.

 \\

## A 素性

本実験で用いた素性を表 2 に示す. なおヒトに対する読み時間測定の際文末に改行を加えているため，例えば is_first は「文頭である」か「文が長く画面上で改行が生じた際の改行後の文節」で発火する素性である。（is_first, is_last, is_second_last）につ いて，画面上での改行を考慮しない素性が（BOS, EOS, pre_EOS） であり，ヒトの読み時間のモデリングの際には前者を，言語モ デルのサプライザルのモデリングの際には後者を用いた.（lineN, segmentN）と（sentN, tokenN）についても，画面上での改行を考慮するかしないかの違いである。画面呈示順など読み時間測定 に関わる素性は，既存研究でより詳細に記述されている [18].

## B 指標

## B. 1 ヒトらしさ

式 1 でモデリングした際の読み時間データに対する対数尤度を $\operatorname{LogLik}_{\mathrm{SP}}$ とする.また，以下の式で読み時間をモデリングした 際の読み時間データに対する対数尤度を $\operatorname{LogLik}_{\mathrm{BASE}}$ とする：

$\log (\mathrm{RT}) \sim$ freq + length + prev_freq + prev_length + is_first + is_last + is_second_last + screenN + lineN

+ segmentN $+(1 \mid$ article $)+(1 \mid$ subj $)$

$\Delta$ LogLik は以下のように計算される：

$
\Delta \operatorname{LogLik}=\frac{\operatorname{LogLik}_{\mathrm{SP}}-\operatorname{LogLik}_{\mathrm{BASE}}}{\text { データ全体の文節数 }}
$

本値をそれぞれの言語モデルから得られたサプライザルを用い て求め，各言語モデルのヒトらしさとした.

## B. 2 統語情報に対する敏感さ

以下の式でサプライザルをモデリングした際のサプライザル に対する対数尤度を LogLik ${ }_{\mathrm{BASrF}}^{\text {surpal }}$ とおき，これらの説明変数に加 えて統語情報を追加したときの対数尤度変化を報告した：

surprisal $\sim$ freq + length + prev_freq + prev_length + BOS + EOS + pre_EOS + sentN + tokenN + (1|article)

図 6 ヒトの読み時間，最もヒトらしい言語モデルのサプ ライザル，PPL の低い言語モデルのサプライザルにおけ る, anti-locality 効果の違い.

## B.2.1 倒語範疇

以下の式でサプライザルをモデリングした際のサプライザル に対する対数尤度を LogLik ${ }_{\text {CATEGORY }}^{\text {surprisal }}$ とおく：

surprisal $\sim$ WLSPLUWA + freq + length + prev_freq

+ prev_length + BOS + EOS + pre_EOS + sentN

+ tokenN + (1|article)

倒語範疇に対する敏感さを以下のように求める：

$
\frac{\operatorname{LogLik}_{\text {CATEGORY }}^{\text {surprisal }}-\operatorname{LogLik}_{\mathrm{BASE}}^{\text {surprisal }}}{\text { データ全体の文節数 }} .
$

## B.2.2 統語構造 (anti-locality 効果)

以下の式でサプライザルをモデリングした際のサプライザル に対する対数尤度を $\operatorname{LogLik}_{\text {STRUCTURE }}^{\text {surpisal }}$ とおく：

$
\begin{aligned}
\text { surprisal } & \sim \text { anti_locality }+ \text { freq + length }+ \text { prev_freq } \\
& + \text { prev_length }+ \text { BOS }+ \text { EOS }+ \text { pre_EOS }+ \text { sentN } \\
& + \text { tokenN }+(1 \mid \text { article }) .
\end{aligned}
$

倒語構造に対する敏感さを以下のように求める。

## C 英語における anti-locality 効果

英語言語モデルについても，5 節の分析と同様に anti-locality 効果の観点から PPL の低い言語モデルがヒトから逸脱していくか を調査する. Dundee コーパス $[25,26]$ を用い first pass time をヒト の読み時間としている. 既存研究が公開しているサプライザル データ7)を用い，PPL の低い言語モデルとして GPT-2 の結果を， また PPL の低下による乘離を調査したいため，比較として比較的 PPL の高い 5-gram 言語モデルの結果を用いた. 英語で逸脱が 見られなかった場合は，英語と日本語の何らかの差異（例えば主辞先行言語であるか主辞後置言語であるか）において特有の乘離であることが示唆される. 英語では，ある単語について先行文脈に存在する直接係り先および係り元の数を anti-locality 值と し，この値と読み時間，サプライザルの関係を調べた. 図 6 に結果を示す.まず，anti-locality 値が大きくなるほど読み時間やサプ ライザルが小さくなるといった単純な傾向は見られない.これ は, anti-locality 効果が主辞後置言語で観察されるという既存の知見と一致する. 図 6右（PPL の低い言語モデル）とヒトを比較し ても顕著な乘離は観察されない。従って，少なくとも英語と日本語の比較という観点では，5 節で観察された乘離は日本語特有の ものであった.


# 再帰的ニューラルネットワーク文法による 人間の文処理のモデリング

吉田遼 1 能地宏 ${ }^{2}$ 大関洋平 1
1 東京大学 2 産業技術総合研究所
\{yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp, hiroshi.noji@aist.go.jp

## 1 はじめに

理論言語学では, 自然言語は階層構造を持つと言 われている [1].しかし, RNN 言語モデルの一つであ る LSTM [2] 言語モデルは, 階層構造を考慮しない線形モデルであるにもかかわらず, 言語モデリング精度が高い [3] だけでなく, 単語間の長距離依存関係を 把握できる文法能力を有している $[4,5]$. また, 近年 では, RNN 言語モデルが算出した確率的な予測が,階層構造モデルである PCFG よりも高い精度で脳波 をモデル化できることから, 線形モデルの認知的妥当性までもが主張されている [6].

一方で, 自然言語の階層構造を明示的に考慮す るニューラル言語モデルも提案されている。その 一つが, 階層構造と単語列の生成モデルである再帰的ニューラルネットワーク文法 (recurrent neural network grammar, RNNG) [7] である. 先行研究では, RNNG は LSTM 言語モデルよりも高い言語モデリン グ精度や文法能力を有している $[8,9]$ など, 言語処理 において線形モデルよりも階層構造モデルが優位で あることが示されてきた. また, RNNG は LSTM 言語モデルよりも高い精度で脳波をモデル化できるこ とから, 線形モデルは認知的に妥当であるとはいえ ず, 人間は階層構造を認識しながら文処理をしてい る可能性が示唆されている [10].

Hale ら [10] は, RNNG の認知的妥当性を主張し ているが，その parsing strategy には着目していな い. RNNG は, top-down parsing strategy を持つモデル であるが，中央埋め込み文に対するワーキングメ モリ負荷の観点から, 人間の持つ parsing strategy は left-corner であると言われている [11]. また, 先行研究で用いられている英語のように, 右枝分かれ構造 を持つ言語とは異なり, 日本語のように左枝分かれ 構造を持つ言語は, top-down parsing strategy では解析 が難しいと言われており, 人間の持つ parsing strategy
は top-down ではない可能性がある.

そこで本研究では, 左枝分かれ構造を持つ日本語を用いて, top-down/left-corner parsing strategy を持 $\supset$ RNNG の認知的妥当性を, LSTM 言語モデルと比較することにより検証した. 実験により, left-corner parsing モデルが最も認知的に妥当であるが, 線形モ デルや top-down parsing モデルも部分的には認知的 に妥当であることを示唆する結果が得られた. また，先行研究では言語モデリング精度の高い言語モデル ほど認知的妥当性が高いことが確認されている [12] が, 本研究の追加実験では, 工学的精度の高い RNNG ほど認知的妥当性が高い一方で, LSTM 言語モデル の言語モデリング精度の高さは必ずしも認知的な妥当性を意味しないことが示唆された。

## 2 Linking hypothesis: surprisal 理論

人間は, 文脈から次に来る単語や文節を予測しな がら文を処理しており，予測しやすい単語や文節は 処理負荷が低く, 読み時間が短くなると言われてい る.これを定式化したのが, surprisal 理論 $[13,14]$ で ある. Surprisal 理論では, 文脈に出現する単語や文節 の情報量は surprisal $(-\log p$ (単語や文節|文脈 $))$ に より測ることができ,さらに $p$ (単語や文節|文脈) が小さいほど大きい値をとる surprisal は, 単語や文節の処理負荷に比例するとされている. 近年では,言語モデルの算出した surprisal が読み時間や脳波の モデル化に有効であることが示されており [6,12],階層構造モデルと線形モデルの読み時間・脳波のモ デル化精度を言語モデルの認知的妥当性とみなし 比較することで, 人間の文処理に階層構造の認識が 伴うか, という問いが検証されてきた $[15,16,6,10]$. しかし,これらの先行研究では, 統一的な結論は得 られておらず,また階層構造モデルの parsing strategy は着目されていない. 本研究では, surprisal 理論に則 り, 日本語で LSTM 言語モデルと top-down/left-corner

RNNG の認知的妥当性を比較する.

## 3 実験

## 3.1 言語モデル

## 3.1.1LSTM 言語モデル

LSTM 言語モデルは, 階層構造を考慮しない単語列の生成モデルである. 本研究では, 単語埋め込みの 次元数 256 , 隠れ層の次元数 256 の 2 層 LSTM を持つ LSTM 言語モデルを用いた.

## 3.1.2 Top-down/left-corner RNNG

RNNG は, RNNを用いた階層構造と単語列の生成 モデルである. RNNG のアーキテクチャを, 図 1 に 示す. RNNG では, 単語 (e.g., “hungry”), 開いた句 のラベル (e.g., “(NP”) がベクトルで表現される. そ れらのベクトルから, 閉じた句 (e.g., “(NP the hungry (cat)”）も一つのベクトル表現として算出される. そ れらのべクトルは, スタックと呼ばれるデータ構造 に保持される。

Top-down RNNG では, 各時刻においてスタック LSTM により算出されたスタックの状態を表すべク トルに基づき, 以下の 3 つのアクションに対する確率分布が算出される：

・開いた句のラベルの生成 : 開いた句のラベルを 表すべクトルが, スタックの先頭に追加される.

・単語の生成：単語を表すべクトルが, スタック の先頭に追加される。

・句を閉じる：スタック内の開いた句のラベル及 びその句の構成素を表すべクトルが, 閉じた句 を表す一つのベクトルに合成される.

前 2 つのアクションが選択された際には, スタック の状態を表すべクトルに基づきどの開いた句のラべ ル・単語が生成されるかが選択される. 「句を閉じ る」アクションの際の, 閉じた句を表すべクトル算出の際には双方向 LSTM が用いられる（図 2）.

Left-corner RNNG [8] では, top-down RNNG の「開 いた句のラベルの生成」にあたるアクションとして，「開いた句ラベルの生成及びスタック内での入れ替 え」アクションがある. Left-corner parsing では, 開い た句のラベルがその句の構成素の最左要素が生成ま たは句として閉じられた後に生成される. よって, 開 いた句のラベルが生成された際に, 句の構成素の最

図 1 RNNG のアーキテクチャ. 図は Hale ら [10] より.

図 2 「句を閉じる」アクションの際の閉じた句ベクトル の算出. 図は Dyer ら [7] より.

左要素がスタックの先頭に存在するため, それらを 入れ替えることで, スタック内にその時刻までに構築された階層構造を実現する。

本研究では, 単語埋め込みの次元数 256 , 隠れ 層の次元数 256 の 2 層スタックLSTMを持つ top-down/left-corner RNNG を用いた.

## 3.2 コーパス

## 3.2.1 学習用コーパス

NINJAL Parsed Corpus of Modern Japanese (NPCMJ, http://npcmj.ninjal.ac.jp）を用いた. 現代日本語 の書き言葉と話し言葉のテクストに対し文の統語・意味解析情報が付与されている. 総文数 40,831 文,
総語数 560,098 語である. 短単位 ${ }^{1}$ を力単位とし て, 文単位に分割されたコーパスで言語モデルを学習した. LSTM 言語モデルの学習には, 単語列のみ, RNNG の学習には, 階層構造2) ・単語列が用いられた.

## 3.2.2 視線計測コーパス

BCCWJ-EyeTrack [20]を用いた. 『現代日本語書き 言葉均衡コーパス』 [21] の新聞記事サンプルに対し て, 日本語母語話者 24 人分の読み時間が付与されて いる. Smith ら [22]に則り, 読み時間として first pass timeを用いた. 浅原ら [20] に則り、読み時間がゼロ ミリ秒である文節は視線が停留していないとして分析データから除外し, また, 本文に出現する文節のみ を対象とした. さらに, Fossum ら [16] を踏襲し, 言語 モデルの訓練データに出現しない単語を含む文節に ついても除外した.

## 3.3 Surprisal

LSTM 言語モデルの単語 surprisal は言語モデ ルが算出した当該単語の文脈条件付き確率 ( $p$ (単語|文脈 $)$ ) から直接求められる.

RNNG の単語 surprisal は, Hale ら [10] を踏襲し、 ビームサーチ [23]を用いて求める. 単語列の背後に 想定される階層構造のうち確率の高いものを複数保持しつつ, それらの確率を階層構造について周辺化 することで $p$ (単語|文脈) を求める. 本研究では, Wilcox ら [9] 踏襲し, 周辺化対象となる構造の数 を表す単語ビーム幅として 10 を採用した ${ }^{31)}$.

言語モデルは単語単位の確率を算出するが, 日本語では読み時間は文節単位に付与される. 本研究で は, 文節内の単語 surprisal の和を文節 surprisal とし て用いた。

## 3.4 評価指標：Deviance accuracy

先行研究にならい, 読み時間に関係するとされる 説明変数で対数読み時間をモデル化したベースラ インの回帰モデルに, 言語モデルの surprisal を説明変数として加えた際の deviance の減少分 (deviance accuracy）を比較する. Deviance accuracy に統計的な 有意差があるかどうかは, nested model comparision で

評価した. 言語モデル A, B の surprisalを共に説明変数に含む回帰モデルの deviance が, 言語モデル A の surprisal のみを含む回帰モデルの deviance よりも $\chi^{2}$ 検定（ $p \leq 0.05 ）$ 下で有意に小さければ, 言語モ デル B の surprisal は, 言語モデル A の surprisal が説明できていない variance を説明できており, deviance accuracy の差は有意である. 逆もまた同様である.

ベースライン回帰モデルには, 以下の線形混合モ デルを用いる：

$
\begin{aligned}
\log (\mathrm{RT}) & \sim \text { length }+ \text { freq } \\
& + \text { is_first }+ \text { is_last }+ \text { is_second_last } \\
& + \text { screenN }+ \text { lineN }+ \text { segmentN } \\
& +(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

各説明変数の詳細については, 付録に示す. 数値型の 説明変数は, 全て中心化を行った. 最初に一度モデ ル化した上で, 3 標準偏差を超える文節を除外した. 11,504 の文節が最終的なモデル化対象となった.

## 4 結果

結果を図 3 に示した. 横軸が言語モデルを表し，縦軸が deviance accuracy を表す. Deviance accuracy の nested model comparision の結果を, 表 1 に示した.図 3 より, ベースライン回帰モデルに surprisalを説明変数として加えた際に, 全ての言語モデルで読 み時間のモデル化精度が向上した. 言語モデル間 では, left-corner RNNG が最も deviance accuracy が高 く, LSTM 言語モデルと top-down RNNG は left-corner RNNG より低い同程度の deviance accuracy であった.

表 1 より, left-corner RNNG と LSTM 言語モデル， top-down RNNG 間の deviance accuracy の差が有意 であった. また, 全ての言語モデル間の組み合わ せで nested model comparision の結果が有意であり, deviance accracy が低い LSTM 言語モデルや top-down RNNG であっても, left-corner RNNG が説明できない varirnce を説明できていた.これは, left-corner parsing モデルが最も認知的に妥当であるが, 線形モデルや top-down parsing モデルも部分的には認知的に妥当 であることを示唆する。

## 5 追加実験

Hale ら [10] では, top-down RNNG が LSTM 言語モ デルよりも認知的妥当性が高いことが報告され ていた. 一方, 本研究では, top-down RNNG と LSTM 言語モデルの deviance accuracy は同程度であった.

図 3 言語モデルの deviance accuracy. 横軸は言語モデル を, 縦軸は deviance accuracy（ベースライン回帰モデルか らの deviance の減少分）を表す. 各色が表す言語モデルは 以下 : 赤= LSTM 言語モデル、青 = top-down RNNG、緑 $=$ left-corner RNNG.

表 1 Nested model comparison の結果. Bonferroni 法によ

Goodkind ら [12] では言語モデリング精度の高い言語モデルほど認知的妥当性が高いことが確認されて いる. また, Hale ら [10] では, 単語ビーム幅が大きく なると, RNNG の構文解析精度が高くなることが確認されている.これらのことから, より大きな単語 ビーム幅を持つ RNNG であれば, 工学的精度が向上 し, top-down RNNG でも LSTM 言語モデルよりも高 い認知的妥当性が得られる可能性がある.

この仮説を検証するために, 複数の単語ビーム幅 $k=\{10,20,40,60,80,100\}$ を持つ RNNGを用いて,工学的精度と認知的妥当性の関係を調べる ${ }^{4)}$.

## 結果

結果を図 4 に示す. 横軸が-perplexityを表し, 縦軸が deviance accuracyを表す.1（赤）が LSTM 言

が left-corner RNNG を表し, $\mathrm{n}$ は単語ビーム幅を表 す. Top-down/left-corner RNNG 共に, 単語ビーム幅が

図 4 Perplexity と deviance Accuracy の関係. 横軸 が-perplexity を表し, 縦軸が deviance acuracyを表す.1（赤）

（緑）が left-corner RNNG, $n$ は単語ビーム幅を表す.

大きくなるほど言語モデリング精度が向上した. Top-down/left-corner RNNG では, 言語モデリング精度が向上すると読み時間のモデル化精度も向上す る傾向が観察された. 一方で, LSTM 言語モデルは,様々なビーム幅の RNNG と比べ, 言語モデリング精度が高いが読み時間のモデル化精度が低かった.ま た, 仮説のように, top-down RNNG であっても, 言語 モデリング精度が向上すると LSTM 言語モデルの deviance accuracy を上回った. RNNG の構文解析精度 と deviance accuracy の関係については, 付録に示す が, 言語モデリング精度と同様の傾向が観察された.

## 6 おわりに

本研究では, left-corner parsing モデルが最も認知的 に妥当であるが, 線形モデルや top-down parsing モデ ルも部分的には認知的に妥当であることが示唆され た. また, 工学的精度の高い RNNG ほど, 認知的妥当性が高い一方で, LSTM 言語モデルの言語モデリン グ精度の高さは必ずしも認知的妥当性を意味しない ことが示唆された。

## 謝辞

本研究は JSPS 科研費 JP19H04990，および国立国語研究所共同研究プロジェクト「大規模コーパスを 利用した言語処理の計算心理言語学的研究」の助成 を受けたものです.

## 参考文献

[1] Noam Chomsky. Syntactic structures. Mouton, The Hague, 1957. OCLC: 308125.

[2] Sepp Hochreiter and Jürgen Schmidhuber. Long Shortterm Memory. Neural computation, Vol. 9, pp. 1735-80, December 1997.

[3] Martin Sundermeyer, R. Schlüter, and H. Ney. LSTM Neural Networks for Language Modeling. In INTERSPEECH, 2012.

[4] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[5] Ethan Wilcox, Roger Levy, Takashi Morita, and Richard Futrell. What do RNN Language Models Learn about Filler-Gap Dependencies? In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 211-221, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[6] Stefan L. Frank, Leun J. Otten, Giulia Galli, and Gabriella Vigliocco. The ERP response to the amount of information conveyed by words in sentences. Brain and Language, Vol. 140, pp. 1-11, January 2015.

[7] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent Neural Network Grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[8] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs Can Learn Syntax-Sensitive Dependencies Well, But Modeling Structure Makes Them Better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1426-1436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural Supervision Improves Learning of Non-Local Grammatical Dependencies. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2727-2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Steven P. Abney and Mark Johnson. Memory requirements and local ambiguities of parsing strategies. Journal of Psycholinguistic Research, Vol. 20, No. 3, pp. 233-250, May 1991.
[12] Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of the 8th Workshop on Cognitive Modeling and Computational Linguistics (CMCL 2018), pp. 10-18, Salt Lake City, Utah, January 2018. Association for Computational Linguistics.

[13] John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics, 2001.

[14] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, March 2008.

[15] Stefan Frank and Rens Bod. Insensitivity of the Human Sentence-Processing System to Hierarchical Structure. Psychological science, Vol. 22, pp. 829-34, June 2011.

[16] Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of the 3rd Workshop on Cognitive Modeling and Computational Linguistics (CMCL 2012), pp. 61-69, Montréal, Canada, June 2012. Association for Computational Linguistics.

[17] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[18] Yasuharu Den, Junpei Nakamura, Toshinobu Ogiso, and Hideki Ogura. A Proper Approach to Japanese Morphological Analysis: Dictionary, Model, and Evaluation. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[19] Christopher Manning and Hinrich Schutze. Foundations of Statistical Natural Language Processing. MIT Press, May 1999. Google-Books-ID: 3qnuDwAAQBAJ.

[20] 正幸浅原, 創小野, エジソン 正宮本. BCCWJEyeTrack. 言語研究, Vol. 156, pp. 67-96, 2019.

[21] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, June 2014.

[22] Nathaniel J. Smith and Roger Levy. The effect of word predictability on reading time is logarithmic. Cognition, Vol. 128, No. 3, pp. 302-319, September 2013.

[23] Mitchell Stern, Daniel Fried, and Dan Klein. Effective Inference for Generative Neural Parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.
表 2 本研究で用いた説明変数.

図 5 F1 bracket accuracy と deviance accuracy の関係. 横軸 が F1 bracketing accuracy を表し, 縦軸が deviance accuracy を表す. td[n]（青）が top-down RNNG, lc[n]（緑）が left-corner RNNG を表し, $\mathrm{n}$ は単語ビーム幅を表す. 水平に 引かれた点線は LSTM 言語モデルの deviance accuracyを 表す.

## A 説明変数

本実験で用いた説明変数を表 2 に示す.これらの説明変数 は, 浅原ら [20] で用いられているものを踏襲しつつ, 本研究の分析対象外である空白情報に関する説明変数と, 係数が有意では ない記事提示順に関する説明変数を除いた. その上で, 先行研究 $[15,16,10]$ で用いられている頻度情報を加えた。

## B 構文解析精度

RNNG は, 単語列と階層構造の生成モデルであるため, RNNG の工学的精度には, 5 節で用いた言語モデリング精度の他に, 構文解析精度がある. RNNG の構文解析精度として, RNNG が単語ビーム幅内で最も高い確率を算出した階層構造の F1 bracket accuracy を用い, 認知的妥当性との関係を調べた. RNNG の構文解析精度と読み時間のモデル化精度の関係を図 5 に示した. 横軸が F1 bracket accuracy を表し, 縦軸が deviance accuracy を表す. $\operatorname{td[n]}$ （青）が top-down RNNG, lc[n]（緑）が left-corner RNNG を表し, n は単語ビーム幅を表す. 水平に引かれた点線は, LSTM の deviance accuracy を表す. top-down/left-corner RNNG 共に, 単語ビーム幅が 大きくなるほど構文解析精度が向上した. 図 5 のように, top-down /left-corner RNNG では, 構文解析精度が向上すると読み時間の モデル化精度も向上する傾向が観察された. Top-down RNNG で
も,構文解析精度が高い場合には, LSTM 言語モデルの deviance accuracy を数值として上回ることも確認された.

## C 学習用コーパスの分割

学習用コーパスである NPCMJ は, 14 の出典のテクストからな る.この各出典におけるテクストの, $90 \%$ を訓練データ, $5 \%$ を検証 データとして用いた. 言語モデルの学習は, 訓練データにより行 われ, 検証データにおける損失が 3 エポック連続で減少しなくな るまで行われた. 残り $5 \%$ はテストデータとして, 言語モデルの perplexity と RNNG の構文解析精度を測定する際に用いた。


# 宿の推薦根拠説明システムにおける魅力度の考慮と 実用を見据えた評価

叶内 晨 $1^{*}$ 根石 将人 ${ }^{2}$ 林部 祐太 ${ }^{1}$ 大内 啓樹 3 岡崎 直観 4
1 株式会社リクルート Megagon Labs 2 東京大学 3 理化学研究所 4 東京工業大学

## 1 はじめに

近年，機械学習モデルを利用した推薦時におい て，なぜその候補を推薦するのか，という推薦根拠 の説明性の研究に注目が集まっている $[1,2,3,4]$. Kanouchi ら [5] は抽象的な要求に対する根拠付きの 推薦文を提示するために，根拠説明データセットと そのモデルを構築した. しかし、実際にユーザに宿 を推薦するシーンを想定すると推薦根拠の候補は無数に考えられ，ユーザにとってより魅力的な根拠を 選択して提示する必要があるが，彼らのモデルでは 利用する推薦根拠の選定ができていない.

そこで本研究では，推薦根拠説明システムの実 サービスへの導入に向け，Kanouchi らの取り組みを 基にして根拠がどの程度魅力的なのかを予測するモ デルを構築し，その出力の有用性をドメイン知識を 有した実務担当者により評価する。評価の結果，根拠判定に加えて魅力度を考慮したモデルが適合率 0.81 で推薦根拠の抽出に成功し, 生成した推薦文の うち $55 \%$ は実業務で利用可能なことを報告する.

## 2 先行研究

Kanouchi ら [5] は，宿予約時の推薦根拠説明のた めに，根拠説明データセット1) とそのモデルを構築 した. データセット構築では, (1) レビュータイトル と抽象的な要求の類似性を利用して，宿のレビュー データのタイトルの一部を抽象的な要求とみなし て収集し，(2) 対応するレビュー本文中で要求に対応する根拠を含む文をアノテーションし，(3)その 根拠文を推薦文へ言い換えた. モデル構築では， (1) 要求と各文が与えられた際に根拠文かどうかを 予測する BERT モデル [6] と，(2) 要求とその根拠文 が与えられた時に推薦文を生成する LSTM ベースの モデル [7]の2つのモデルを連結させることで，要求に対する根拠付きの推薦文を生成した.

しかし，推薦文を実際にユーザに提示する際は，抽出される根拠文は複数であるのに対して提示する 推薦文は大抵 1 文であり, 複数の根拠の中からユー ザにとってより魅力的な根拠を選ぶ必要がある. そ こで本研究では，魅力度を考慮した推薦文説明シス テムを構築し，その出力結果を人手評価する。

## 3 魅力度のアノテーション

複数の根拠の中からユーザにとってより魅力的な 根拠を抽出するため, 要求に満たす根拠文に対して 魅力度をアノテーションした2). クラウドソーシン グ3)を利用し，ワーカーに対して「あなたはとある 要求（例えば，絶景の宿）を満たす宿を探していま す. 次の根拠文が書かれた宿にどれくらい魅力を感 じますか」という質問をして，次の 4 段階から 1 つ を選択してもらった。

1. 大変魅力的: このレビュー文が決め手で対象の 宿が第一候補になり得る

2. 魅力的: 第一候補ではないが嬉しく，このレ ビュー文が理由で予約候補になり得る

3. 普通: 要求に関する情報だが，特別嬉しくは感 じない

4. 魅力的ではない: その根拠ではこの宿にしたい とは思わない・判断できない

データは，Kanouchi ら [5] が作成した根拠説明デー タセットに含まれる根拠文からランダムな 8,000 文 を対象とし，各文を 5 人でアノテーションした.た だし，宿予約時にユーザがネガティブな要求はしな いと仮定し，要求がネガティブな事例 (例えば，接客が微妙) はアノテーションの対象から除いた。

表 1 にアノテーション結果を示す. 大変魅力的な 根拠が全体の $25.3 \%$ ，魅力的な根拠が $47.7 \%$ なのに 対して，魅力的ではない根拠は $4.3 \%$ に留まった.

表 1 魅力度のアノテーション結果の分布と例

図 1 推薦根拠説明システムの概要図

## 4 システム構築

本研究で構築した，魅力度も考慮した推薦根拠説明システムの概要とデータの流れを図 1 に示す. Kanouchi ら [5] の根拠文判定モデルと推薦文生成モ デルはそのまま利用し, 追加で魅力度推定モデルを 構築した. 魅力度推定のためのデータセットとし て，3節のアノテーションで 5 人中 2 人以上が大変魅力的と答えた文を正例，普通もしくは鬿力的では ないと答えた人が 1 人以上で，かつ誰も大変魅力的 と答えていない文を負例とした。データ数は正例 2,908 件：負例 2,090 件で，ランダムに $8: 1: 1$ の比率で分割して学習: 検証 : テストデータとした.

モデルは BERT [6] を用い，その他すべての条件 は Kanouchi らの BERT モデルと同様の設定とした. BERT モデルは二值分類問題として finetuning した が，モデル最終層の出力結果を softmax 関数で正規化することで，推論時の確信度を得た. 根拠判定モ デルに対する確信度として根拠スコア，魅力度推定 モデルに対する確信度として魅力スコアを得た。

魅力度も考慮した根拠抽出の有用性確認のため,次の 3 つの手法で根拠文を抽出し，評価した。

手法 1) 根拠スコア最大: 魅力スコアを利用せずに，根拠スコア最大の根拠文を利用する

手法 2) 魅カスコア最大: 根拠判定で根拠文と予測さ れた文に対して魅力度推定を行い，魅力スコ ア最大の根拠文を利用する表 2 利用可能な根拠文の割合

表 3 根拠判定モデルで抽出された根拠文数毎の 利用可能な根拠文の割合

 &  \\

手法 3) 根拠スコアと魅カスコアの積が最大: 根拠判定によって根拠文と予測された文に対して魅力度推定を行い，根拠スコアと鬿力スコアの 積が最大の根拠文を利用する

## 5 評価

ドメイン知識を有する実務担当者 3 名により， システムの出力が実サービスで利用可能か評価し $た^{4)}$. 評価対象は 2 種類で, 要求と宿が与えられた 際の（1）システムが抽出した根拠文と（2）システ ムが生成した推薦文を評価した。

評価セットは，50 種類の要求毎にそれぞれ宿を 2 つ選定し，合計 100 件の宿とした. クラウドソー シングで「宿を提案してくれるコンシェルジュに宿 に関する希望を伝える際，どのようなメッセージを

4）本論文ではサービスでの実運用の可否を調査するため，実務担当者の判断を優先し自動評価は行わない.
表 4 利用不可能な根拠文のエラー分析

 \\

送りますか」という質問でデータを収集し，実務担当者とは別の関係者が評価セットに用いる要求を 50 種類選んだ. 評価に用いる宿は，旅行情報サイ トじゃらん net ${ }^{5}$ にある宿とし， Li ら [8] の手法を基 にした独自のシステムを用いて, 要求を入力し宿候補を得た.また根拠説明のみを評価するために，シ ステムが出力した宿候補を関係者が目視で確認し，要求を満たす宿のみを評価対象とした。 その際，レ ビュー数が最低 30 件以上ある宿に限定し，また 100 件以上ある場合は最新の 100 件のみ実験に用いた.

## 5.1 抽出した根拠文の人手評価

4 節で構築したシステムの手法 3 つを評価した。要求をもつユーザに宿を実際に提案する状況を想定し，その根拠文を使ってユーザにお薦めをできる か，また利用できる根拠文である場合は宿を薦める 強い根拠となるかを 3 段階で評価した。

## 利用可能:

1. 強い根拠なので，積極的にユーザに伝えたい

2. 根拠であり，ユーザに伝える価値がある

## 利用不可:

3. 根拠ではない，もしくは根拠ではあるが実業務 では使えない

全ての事例を実務担当者 3 名で評価し, 3 名のア ノテーションの一致率（Fleiss の kappa 値）は 0.425 で，中程度の一致となった. 3 名の意見が割れた事例については，多数決を採った。

手法ごとの根拠文の評価結果を表 2 に示す. 手法 3 が 0.81 の割合で利用可能な根拠を抽出することに 成功しており, 精度がもっとも良かった. 強い根拠 の抽出精度は手法毎に大きな差はなかった.

魅力スコアにより結果が改善した例として，「健康的な朝食」という要求に対して, 手法 1 は「朝食 が品数も多く, 朝からワインもあり, 地元食材が 豊富でした」という文を選択し, 利用可能な根拠

表 5 利用可能な推薦文の割合

と判定された一方で，魅力度を考慮した手法 2,3で は，「朝食は北海道の食材満載で，特に野菜のクオ リティは非常に高く, サラダ以外に温野菜をチーズ フォンデューにしたり，スープカレーに入れたりし て食べてました.」と具体的根拠を多く含んだ文の 抽出に成功し, 強い根拠であると判定された。

根拠判定モデルで抽出された根拠文数毎の評価結果を表 3 に示す. 根拠判定モデルによって十分な量 の根拠文（13 文以上）が抽出されている場合，手法 3 は， 0.88 の精度で利用可能な根拠文を抽出するこ とに成功した. 一方で根拠判定モデルによって抽出 された根拠文数が少ない場合（12 文以下），すべて の手法において精度が低下し, 特に手法 2 の魅力ス コア最大の根拠文を利用する場合のスコアが 0.63 でもっとも低かった. 事例を確認しながら精度低下 の原因を調査したところ，BERT の根拠判定モデル によって抽出される根拠文が少ない場合，抽出され た根拠文に偽陽性（根拠とは言えない文）が多く含 まれることがわかった. そのため，抽出される根拠文が少ない場合は，魅力スコアによる並べ替えをせ ずに根拠スコアが最大ものをそのまま利用した方 が，精度高く根拠文を抽出できたと考えられる。

表 4 に，実務担当者が実業務で利用不可能と答え た手法 3 の出力 19 件に対するエラー分析結果を示 す.もっとも多いエラーは 10 件で，根拠文ではあ るものの利用できるレベルに達していないと判断さ れた事例であった. 例えば実業務では「観光に便利 な宿」という要求に回答する場合, 近隣の観光地名 とそこまでの所要時間の明確な回答が求められる。 しかし，抽出された根拠文にその情報はなく, 利用水準以下と判断された。他の例には「ゆっくりくつ ろげる宿」という要求に対して「ほとんど貸切状態
表 6 システムが抽出した根拠文と生成した推薦文の例

 \\

でゆっくり入浴」というように，根拠が偶発的・限定的すぎるために推薦では利用不可と判断された事例も確認された. これらの文は Kanouchi ら [5] の研究では根拠文としてアノテーションされておりモ デルの出力は想定どおりであるため，今後アノテー ションの修正かモデルの改善が必要である.

2 番目に多いエラーは根拠文とは言い切れない事例で，例えば「繁華街へのアクセスが便利な宿」と いう要求に対して「空港からも近く」という文は, アクセスが便利であることを表すが，繁華街へのア クセスの利便性は不明である。このような要求に状況を限定する句が含まれている場合に，モデルがそ の条件を認識できず，解析に失敗する事例が複数確認された．改善策としては，条件などを含む難しい 要求を集めて Kanouchi らの根拠説明データセット を拡張する方法などが考えられる. 残りのエラーは 3 件で，根拠を 1 件も抽出できない事例であった.

## 5.2 生成した推薦文の人手評価

4 節で構築したシステムによって生成された推薦文が提示可能かどうか評価した。評価セットは 5.1 節と同様の設定とし，その中から「利用可能」な根拠文と判定された事例のみを評価対象とした。ただ し，生成モデルはすべての手法で同一なため，根拠文抽出の精度がもっとも良かった手法（3）の生成結果にのみ次の 3 択で評価した.

1. そのままユーザへ提示可能

2. 一部修正すればユーザへ提示可能

3. 利用不可, もしくは部分的に使えたとしても自分で書いた方が早い評価結果を表 5 に示す。そのまま提示可能な割合 が 0.09 , 一部修正後に提示可能な割合が 0.46 とな り，合計で半分以上の推薦文をオペレータ業務で利用可能である. しかし，そのまま提示可能な割合は 0.09 であり，実務担当者がそのまま利用可能な推薦文を生成できる割合は低い.

表 6 に生成した推薦文の例とその評価結果を示 す. 例 1,2 は生成に成功し，そのまま提示可能な推薦文の例である。一部修正する必要がある例とし て，例 3 は「格安」をユーザが求めているのに対し て推薦文では「安価」であることを主張しているた め修正が必要な例で，例 4 は「館内だけで満足でき る宿」に対して施設が充実していることを説明して いるが，部屋や食事などの重要な要素への言及がな く，実務利用のためには改善の余地がある例であ る. また利用不可能な事例に関しては，例 5 のよう に根拠文の時点では利用可能であるが，推薦文生成時に LSTM モデルが誤って出力を短くしすぎる事例 が多くみられた。

## 6 終わりに

本研究では，Kanouchi らの根拠文判定と推薦文言 い換えに加えて根拠の魅力度推定を行い，宿推薦時 の推薦根拠説明システム全体を人手評価した. 評価 の結果，抽出した根拠文のうち $81 \%$ に利用価值があ り，また根拠文が十分に確保できる状況では，さら にその精度が向上することを示した. 生成した推薦文は，55\%を業務で利用可能であることを示した.今後はこれらのシステムを実サービス上で活用して いくための改善と開発をしたい.

## 参考文献

[1] Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl. Item-based collaborative filtering recommendation algorithms. In Proceedings of the 10th International Conference on World Wide Web (WWW 2001), pp. 285-295, 2001.

[2] Yongfeng Zhang, Guokun Lai, Min Zhang, Yi Zhang, Yiqun Liu, and Shaoping Ma. Explicit factor models for explainable recommendation based on phrase-level sentiment analysis. In Proceedings of the 37th International ACM SIGIR Conference on Research \& Development in Information Retrieval, pp. 83-92, 2014.

[3] Guoshuai Zhao, Hao Fu, Ruihua Song, Tetsuya Sakai, Zhongxia Chen, Xing Xie, and Xueming Qian. Personalized reason generation for explainable song recommendation. ACM Transactions on Intelligent Systems and Technology (TIST), Vol. 10, No. 4, pp. 1-21, 2019.

[4] Yongfeng Zhang, Xu Chen, et al. Explainable recommendation: A survey and new perspectives. Foundations and Trends in Information Retrieval, Vol. 14, No. 1, pp. 1-101, 2020.

[5] Shin Kanouchi, Masato Neishi, Yuta Hayashibe, Hiroki Ouchi, and Naoaki Okazaki. You may like this hotel because ...: Identifying evidence for explainable recommendations. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing (AACL-IJCNLP 2020), pp. 890-899. Association for Computational Linguistics, 2020.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019), pp. 4171-4186, 2019.

[7] Minh-Thang Luong, Hieu Pham, and Christopher D Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015), pp. 1412-1421, 2015.

[8] Yuliang Li, Aaron Feng, Jinfeng Li, Saran Mumick, Alon Halevy, Vivian Li, and Wang-Chiew Tan. Subjective databases. Proceedings of the VLDB Endowment, Vol. 12, No. 11, pp. 1330-1343, 2019.


# ソーシャルメディアにおけるヘイトスピーチ検出に向けた 日本語データセット構築の試案

荒井 ひろみ ${ }^{1,2}$ 和泉 悠 ${ }^{3}$ 朱 喜哲 4 仲宗根 勝仁 1 谷中 瞳 1
1 理化学研究所 2 科学技術振興機構 さきがけ
3 南山大学 4 大阪大学
\{hiromi.arai, katsuhito. nakasone, hitomi .yanaka\}@riken.jp,
yuizumi@nanzan-u.ac.jp, nyarl905@gmai.com

## 1 はじめに

今日のデジタル社会が直面している主要な問題の 1 つに, ソーシャルメディアなどのネット上に蔓延 する攻撃的・暴力的表現の取り扱いがある. 特に社会的弱者を標的としたいわゆる「へイトスピーチ」 は世界的な問題となっており，差別や暴動すらを煽動するこうした表現への対応が求められている.へ イトスピーチには排外主義的なものも多く存在する が，特にコロナ禍において，排外主義に対する懸念 が多くの組織や識者により表明されている ${ }^{1)}$.

ヘイトスピーチをどのように検出すればよいの かといった課題に取り組むため, 現在までに多数の 暴言やへイトスピーチに関するデータセットが多様な言語及びメディア資源を基にして構築されて きた. 例えば，英語だけでなく，ドイツ語，イタリ ア語 [1], ロシア語 [2], タイ語 [3], インドネシア 語 [4] などのデータセットがある. 本研究では, 日本語のヘイトスピーチのデータセットの構築に取り 組んだ。

大規模にへイトスピーチのデータセットを構築 するためには, クラウドソーシングの活用など非専門家によるアノテーションが想定される。しかし,「ヘイト (スピーチ)」という言葉は個々人による見解が一致しないと想定され [5], 厳密な定義は不可能 だという指摘もある [6]. そのため, SNS 上の投稿 のような, 発言の対象が曖昧であり複雑な様相を呈 すデータの分類に際しては, アノテーターの主観的 な判断に委ねる要素を極力減らすことが望ましい。

本研究の貢献は以下の通りである。まず, 日本語 におけるへイトスピーチのデータセット作成に向 けて，発言が話題にしている対象者とその対象者に

対する攻撃性の種類を判断させるような手続き的 な暴言分類のアノテーションガイドラインを設計 した。特に日本独自の歴史・地域性を踏まえたへイ トスピーチ理解と, 人文社会科学におけるへイトス ピーチに関する理論的知見に依拠したアノテーショ ンガイドラインを設計した。さらに SNS 上のへイ トスピーチの候補となるツイートを収集し，クラウ ドソーシングを用いたアノテーションを試験的に実施し, 得られたデータセットの特徴を考察した.

## 2 関連研究

ヘイトスピーチやその他ネット上の有害表現を もとにしたデータセット作成が急速に進められて いる. 言語の種類, データの収集方法, データのア ノテーション手法・ラベルの種類どれも多様であ る2). 他の法的概念と同様，「ヘイトスピーチ」に世界共通の定義があるわけではなく, 各研究者が独自 にラベルを規定して，試行錯誤を通じてアノテー ション手法を検討している段階だと言える。例え ば [8] は社会学における批判的人種理論の枠組みを 利用し, 「人種差別的」(racist) もしくは「性差別的」 (sexist) というラベルをツイートに付与した。「憎悪的」(hateful) や「攻撃的」(offensive) といったラベル を何らかの形で特徴付け, アノテーターに直接的に 判断させる事例も多い $[9,10,11]$. 既存のアノテー ション手法の限界として, 黒人英語をより攻撃的な ものと分類している, という人種差別的バイアスの 存在も指摘されている [5]. 多言語を使用してデー タセットを構築することにより, 南アジアでの女性荗視的傾向の高さを測定したといった [12], 地域性 を考慮した研究も増加している. 本研究も, 日本国内における排外主義（移民や外国人，在日コリアン

2）例えば [7, Table 2]を参照されたい

など「日本人」以外を排斥しようとするもの）に焦点を当てた，地域性を持つものと言える。

より精度の高いアノテーションを目指して，ラベ ル設定の精緻化やタスクの分散化が図られている.攻撃対象, 攻撃内容やその程度などを細分化すると いった手法が採用されている。例えば，ヘイトス ピーチの根拠となる属性として, 人種・性別・障が いといったラベルを付与させるといったものであ る $[4,13,14,15]$. 本研究も, 以下で見るように攻撃対象と攻撃内容を分けて細目化したアノテーション 方法を提案している.

日本語を対象とした類似研究として特にネットい じめ (cyberbullying) の文脈における有害情報検出の 手法を検討したものが多く存在する $[16,17,18,19]$.本研究は, 個人だけでなく特定属性の集団を標的と した排外主義的なへイトスピーチに焦点を当て, 有害な書き込みを別の角度から検討している。

コロナ禍における反アジアのへイトスピーチにつ いて, 英語ツイートのデータセットが作成されてい る. COVID-19 のキーワードが含まれるツイートの うち, 個人またはアジアの人々, 組織, 国, または 政府のグループに向けられたへイトスピーチ, 反へ イト, 中立の 3 種類の分類 $[20]$ 及び敵意や糾弾, 力 ウンタースピーチなどの分類 [21] がアノテーション されている. 本研究も同様にコロナ禍を考慮してい るが，特に日本における排外主義的へイトスピーチ に着目した分類を行っている。

## 3 構築手法

## 3.1 検索語リスト作成

日本語のツイートを対象に, 排外主義的ツイート の収集を目的として検索語を合計 12 件選定した。検索語には, 日本で特に顕著に見られる在日コリア ン及び中国人に関連する差別語（例えば「在日」や 「シナ」）と, 差別語に対応する中立的な語（例えば 「韓国人」や「中国」)，コロナ禍における排外主義的 な言動を収集するために「反日」や「売国」といっ た語を含めた。

## 3.2 データ収集

日本語のツイートを Twitter Search API を用い収集 した。COVID-19関係の暴言ツィート候補について は, 上記の検索語と, 一般的に COVID-19 関係の話題に含まれるキーワードである「コロナ」を AND検索して収集した。また，COVID-19 以外の暴言ツ イート候補については，上記の検索語から「コロ ナ」を除外して検索し収集した。なお，今回収集し た COVID-19 関係の暴言ツイート候補は全て目視で COVID-19関連であることを確認した。検索におい ては URL や画像・動画を含むもの, リツイートを除外した。検索は 2020/12/1-2020/12/9 の期間の日本時間の各日に, 各検索語の組に対して上限 100 ツィー トまでランダム選択で収集した。さらに各検索語か ら期間中に収集されたツイートに対し，それぞれ 5 から 23 件を乱択しデータセットを作成した。

## 3.3 ガイドライン設計

ヘイトスピーチに関する人文社会科学分野の研究蓄積からも「へイト（スピーチ）」概念の定義につい ては一致を見せておらず，なおのこと非専門家アノ テーターに対して同概念の適用に関する判断を求め ることは困難である．そのため, 本研究ではこうし た概念を使用せず，その典型的な特徴である「集団 に対する攻撃」という側面に基づいて，より負荷の 少ない判断を求める方法をとった. 具体的には，ラ ベルを攻撃対象 (A) と攻撃内容 (B) に分け, 各々を 細分化したガイドラインを設計した. ラベル A のカ テゴリはツイートが話題にしている対象者の分類で ある. ラベル B のカテゴリは $\mathrm{A}$ で選択された対象者に対する攻撃の種類の分類である。また，[22] の 分類を参考に，文として成立しておらず意味が取れ ないもの, 広告のみのもの, フィクションについて のツイートなどは分類の対象外となるラベル C とし た。アノテーターには各対象ツイートの本文につい て A，B 各カテゴリから 1 つ以上の該当ラベルを選択するか， $\mathrm{C}$ を選択するよう指示した.ツイート内容に複数の主張が含まれるケースを考慮し, A と B それぞれのラベルについて複数選択可能にした。

ガイドラインには，簡単な説明と短い例文を添え たラベル及び，アノテーションについての補足説明 とラベル付けの具体例を記載した。また，ある表現 が差別語にあたるかどうかの判断は個々の知識に依存するため, 今回は「中国ウイルス」や「在日特権」 などを含む 27 項目の差別語からなるリストを作成 し, アノテーターが参照できるよう配慮した。

表 1 にアノテーションに用いたラベルの概要を 示す. A1 は人種やセクシャリティなどに基づくグ ループ，A2 はそれに限らない職業や思想などで定義されるグループとし， A3 は著名人や知人等であ
表 1 ラベルの概要.

## カテゴリ A 対象

A1容易に変更できないヒトの属性に もとづくグループ

A2 A1には当てはまらない何らかのグ ループ

A3 個人

A4 対象がはっきりしないもの

カテゴリ B 攻撃タイプ

B1コミュニティや地域からの排除を 告知・扇動する

B2 生命を脅かす，精神的・身体的な 危害を加える，名誉を傷つけるな どのことを告知・扇動する

B3 口污くののしる，侮辱する

B4不確かな根拠にもとづいた情報を 言いふらす，拡散させる

B5

B1-B4 のどれにも当てはまらず，攻撃的でない

る. B1 と B2 は，日本のいわゆる「ヘイトスピーチ 解消法」の施行に伴う啓発活動において用いられ たへイトスピーチの例示 ${ }^{3}$ ， 及び川崎市のヘイトス ピーチ禁止条例解釈指針4)を参考に作成した．B3に 該当するのは，例えば「ゴキブリ以下」など侮荗的 なことを言い誰かをおとしめる行為である．B4 に 該当するのは，例えば「○○人が暴動を起こしてい る」など事実関係が不明なことを言いふらす・拡散 させるなどして誰かをおとしめる行為である.

補足説明では, 差別語や「バカ」や「チビ」といっ た不快語がツイートに含まれていることだけを根拠 としてそのツイートを攻撃的だと判断しないよう指示した。また, 「政権太郎は議員を辞めるべきであ る」といった内容を含むツイートはある意味で特定 のコミュニティから個人を排除するよう主張するも のだが，批判・論評の範囲に収まる内容の場合には 攻撃的と判断しないよう指示した. A1 かつ B1，ま たは A1 かつ B2 のツイートが明確なヘイトスピー チの事例と考えられる．A1 かつ B3，または A1 か つ B4 のツイートは保護の対象となるグループに対 する攻撃的な内容を有し，法規制の対象外ではある ものの少なくともその一部には広義のヘイトスピー チに該当するものが含まれていると考えられる.

3) http://www.moj.go.jp/JINKEN/jinken04_00108.html

4) https://www.city.kawasaki.jp/templates/press/cmsfiles/contents /0000115/115983/0316houdou.pdf

## 3.4 アノテーション

本研究ではクラウドソーシングプラットフォー ムであるランサーズ5)を通じてアノテーションを実施した。アノテーターは日本語のネイティブスピー カー 3 名とした. アノテーターは最初にガイドライ ンの読み込み及び 10 問のアノテーションテストを 全問正解するまで繰り返し実施し，ガイドラインを 十分理解するようにした。その後アノテーターはツ イートのアノテーションを実施した。多数決によっ て 2 人以上一致したアノテーションを各ツイートの ラベルとした。

## 4 データセットの概要

キーワード「コロナ」を含むツイート 230 件，含 まないツイート 270 件のデータセットが得られた。 それぞれ CALD (COVID-19-related abusive language dataset), NALD (non-COVID-related abusive language dataset) とする. B1〜B4 の少なくとも一つのラ ベル（攻撃的ラベル）を得たデータは，CALD が

判定される B5 のラベルを得たデータは，CALDが 41.3\%，NALD が 50\%であった. 各データセットに おける各ラベルの総数を表 2 に示す.

クラウドワーカー 3 人のアノテーションの一致度 は, 全体で CALD で 0.83 , NALD で 0.80 であった。 ラベルがつかなかったケースは, CALDで 15 件, NALD で 17 件あった。他の方法はアノテーション の前に候補ツイートのスクリーニング [4] などを利用しているが，本研究ではラベルなしの割合が $10 \%$以下となるため，ワーカーによる判断のゆらぎはあ る程度抑えられたと考えられる。

## 5 分析 $\cdot$ 考察

差別語を含むが無害な事例 3.3 節で述べたよう に，アノテーターには差別語が含まれていることだ けを理由に攻撃的なツイートと判断しないよう指示 した. その結果, 差別語が含まれる発言を引用しそ の発言を非難するといったカウンタースピーチにあ たる事例や，差別語が含まれているが誰かをおとし める目的のない事例が B5 に分類されていた.

CALD と NALD の比較 CALD と NALD との比較 を通じて，以下の仮説を得ることができた。まず，同期間で明らかなへイトスピーチに該当する A1

5) https://www.lancers.jp/
表 2 データセットのラベル数及びアノテーション一致度.

と B1，または A1と B2 の組み合わせの出現率は, CALD で $5.7 \%$, NALD で $2.2 \%$ といずれも低水準で あり, 有意な差はみられなかった. 他方, 罵倒や侮辱などの暴言を指す B3 と $\mathrm{A} 1$ との組み合わせでは, NALD がやや多かった（CALD で 22.6\%，NALD で $24.8 \%$ ）.またフェイクニュースやデマに相当する B4 と A1 との組み合わせでは, CALD が顕著に多 かった（CALDで 30.4\%, NALDで $23.3 \%$ ).これよ り, COVID-19 の流行にかこつけた暴言に関しては,明らかなへイトスピーチや罵倒・侮聋的発言より も, まことしやかなデマ, フェイクニュースの形を とりがちである，という仮説が提出できる。これは 今後の計量的な検証が必要なものの, 今回のアノ テーション方式を通じて可能になった示唆である.

アノテーションが摇れた事例 ラベルがつかな かったツイートについては, 専門家かどうかに関 わらず判断の難しい事例が多数見られた。例えば,「○○人の友人がいますが, 表面的に付き合う分に はいいが社会的に付き合うなら警戒感が欠かせま せん」というツイートは，「黒人の友達がいる」論法 6) の典型的な事例だが，この内容だけでは当のツ イートが暴言かどうかを判断するのは難しい。この ツイートは特定の人種に対する何らかの偏見に基づ いており，ある種の有害さを含んでいると考えられ るが，B1 やB2 に該当しないのはもちろんのこと，明確な侮辱でもなければ, 具体的なデマや偏見を拡散させるものでもない.

個人差がある事例 他国の政権や政党に言及した ものや在日米軍などの他国の組織への言及があるツ イートについて，A2 だけをアノテーションする者 と, A1 と A2 の両方にアノテーションする者に分 かれる場合があった。例えば「中国さん」というフ レーズを含むツイートは中国政府だけでなく中国人 あるいは一般に中国に向けられたものと考えられる が，中国政府だけを標的とした攻撃的ツイートとし て A2 のみアノテーションされた場合があった。

6）被差別者の友人や知人がいることを前置きし，自身が差別主義者でないことを主張ないしは示唆すること. 差別主義者 の常套句として知られる.

## 6 おわりに

本研究のアノテーション設計は，「ヘイトスピー チ」のような高負荷な概念に頼ることなく, 非専門家アノテーターによる一定水準の検出を可能にする ものであった。とりわけガイドラインは，オンライ ン上の暴言・ヘイトスピーチについて，きめ細かな 把握が可能である.これらはへイトスピーチに関す る人文社会科学の知見を生かしつつ，またそれらの 分野から提出される仮説の検証と社会実装につなが るデータセットの構築という学際的研究の進展に貢献するものである.

今後の課題として以下がある.まず，本研究は現段階ではアノテーション済みデータの総数が小さ く, 定量的な判断や仮説検証は難しい。同様に，ア ノテーター数が少ないために, 現段階では偏りやバ イアスの可能性を排除できない。今後，アノテー ター数を増やしガイドラインを改良することによっ て, 5 章で紹介したようなアノテーションの摇れや 個人差の問題を解消できる可能性がある.

さらに，データセット構築の先に望まれる社会実装に向けた分野横断的な課題がある。言語処理の観点では，今回のアノテーションで $\mathrm{C} に$ 分類されたノ イズを事前に除去したり，B5 のような検索語を含 むが非攻撃的なタイプのツイートを識別することな どの自動化を試みることが期待される．他方，人文社会科学の観点では，とりわけ国内法におけるへイ トスピーチ検出に向けて，現ガイドラインでは区別 できないB3（罵倒表現）やB4（フェイクニュース， デマ）の悪さの「程度」について一定の判定を可能 にするための理論的検討や，それに基づいたガイド ライン整備などが求められる.

謝辞. 本研究の一部は JST さきがけ JPMJPR1752, JSPS 科研費 18K12194, JP20K19868, T19K230050, 2020 年度南山大学パッへ研究奨励金 I-A-2 の助成を受けたものである。

## 参考文献

[1] Fabio Del Vigna, Andrea Cimino, Felice Dell'Orletta, Marinella Petrocchi, and Maurizio Tesconi. Hate me, hate me not: Hate speech detection on Facebook. In Proceedings of the First Italian Conference on Cybersecurity (ITASEC17), pp. 86-95, 2017.

[2] Nadezhda Zueva, Madina Kabirova, and Pavel Kalaidin. Reducing unintended identity bias in Russian hate speech detection. In Proceedings of the Fourth Workshop on Online Abuse and Harms, pp. 65-69, 2020.

[3] Suppawong Tuarob and Jarernsri Mitrpanont. Automatic discovery of abusive thai language usages in social networks. In International Conference on Asian Digital Libraries, pp. 267-278, 2017.

[4] Muhammad Okky Ibrohim and Indra Budi. Multi-label hate speech and abusive language detection in Indonesian Twitter. In Proceedings of the Third Workshop on Abusive Language Online, pp. 46-57, 2019.

[5] Thomas Davidson, Debasmita Bhattacharya, and Ingmar Weber. Racial bias in hate speech and abusive language detection datasets. In Proceedings of the Third Workshop on Abusive Language Online, pp. 25-35, 2019.

[6] Alexander Brown. What is hate speech? part 1: The myth of hate. Law and Philosophy, Vol. 36, pp. 419-468, 2017.

[7] Sai Saket Aluru, Binny Mathew, Punyajoy Saha, and Animesh Mukherjee. Deep learning models for multilingual hate speech detection. arXiv:2004.06465, 2020.

[8] Zeerak Waseem and Dirk Hovy. Hateful symbols or hateful people? predictive features for hate speech detection on Twitter. In Proceedings of the NAACL student research workshop, pp. 88-93, 2016.

[9] Chikashi Nobata, Joel Tetreault, Achint Thomas, Yashar Mehdad, and Yi Chang. Abusive language detection in online user content. In Proceedings of the 25th international conference on world wide web, pp. 145-153, 2016.

[10] Thomas Davidson, Dana Warmsley, Michael Macy, and Ingmar Weber. Automated hate speech detection and the problem of offensive language. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11, 2017.

[11] Antigoni Founta, Constantinos Djouvas, Despoina Chatzakou, Ilias Leontiadis, Jeremy Blackburn, Gianluca Stringhini, Athena Vakali, Michael Sirivianos, and Nicolas Kourtellis. Large scale crowdsourcing and characterization of Twitter abusive behavior. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 12, 2018.

[12] Shiladitya Bhattacharya, Siddharth Singh, Ritesh Kumar, Akanksha Bansal, Akash Bhagat, Yogesh Dawer, Bornini Lahiri, and Atul Kr. Ojha. Developing a multilingual annotated corpus of misogyny and aggression. In Proceedings of the Second Workshop on Trolling, Aggression and Cyberbullying, pp. 158-168, 2020.

[13] Paula Fortuna, João Rocha da Silva, Juan Soler-Company, Leo Wanner, and Sérgio Nunes. A hierarchically-labeled Portuguese hate speech dataset. In Proceedings of the Third Workshop on Abusive Language Online, pp. 94-104,
2019.

[14] Binny Mathew, Punyajoy Saha, Seid Muhie Yimam, Chris Biemann, Pawan Goyal, and Animesh Mukherjee. Hatexplain: A benchmark dataset for explainable hate speech detection. arXiv:2012.10289, 2020.

[15] Nedjma Ousidhoum, Zizheng Lin, Hongming Zhang, Yangqiu Song, and Dit-Yan Yeung. Multilingual and multiaspect hate speech analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4675-4684, 2019.

[16] 松葉達明, 桝井文人, 河合敦夫, 井須尚紀. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 言語処理学会第 17 回年次大会発表論文集, pp. 388-391, 2011.

[17]新田大征, 桝井文人, Ptaszynski Michal, 木村泰知, Rzepka Rafal, 荒木健治. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 人工知能学会全国大会論文集, Vol. JSAI2013, pp. 2039-2039, 2013

[18] Michal Ptaszynski, Fumito Masui, Taisei Nitta, Suzuha Hatakeyama, Yasutomo Kimura, Rafal Rzepka, and Kenji Araki. Sustainable cyberbullying detection with categorymaximized relevance of harmful phrases and doublefiltered automatic optimization. International Journal of Child-Computer Interaction, Vol. 8, pp. 15 - 30, 2016.

[19] Michal E Ptaszynski and Fumito Masui. Automatic Cyberbullying Detection: Emerging Research and Opportunities: Emerging Research and Opportunities. IGI Global, 2018.

[20] Caleb Ziems, Bing He, Sandeep Soni, and Srijan Kumar. Racism is a virus: Anti-Asian hate and counterhate in social media during the COVID-19 crisis. arXiv:2005.12423, 2020.

[21] Bertie Vidgen, Scott Hale, Ella Guest, Helen Margetts, David Broniatowski, Zeerak Waseem, Austin Botelho, Matthew Hall, and Rebekah Tromble. Detecting East Asian prejudice on social media. In Proceedings of the Fourth Workshop on Online Abuse and Harms, 2020.

[22] Ona de Gibert, Naiara Perez, Aitor García-Pablos, and Montse Cuadros. Hate speech dataset from a white supremacy forum. In Proceedings of the 2nd Workshop on Abusive Language Online (ALW2), pp. 11-20. Association for Computational Linguistics, 2018.


# Wikipedia からの意外な恩恵事例の抽出

尾崎立一 橋本力* 村脇有吾 $\quad$ 黒橋禎夫ま 竬々野学 $\S$
京都大学大学院情報学研究科 *\$ヤフー株式会社
\{ozaki, murawaki,kuro\}@nlp.ist.i.kyoto-u.ac.jp msassano@yahoo-corp.jp

## 1 はじめに

現代社会は地球規模での相互依存性の深化ととも に複雑さが増し続けている. それにともない, リー マンショックや新型コロナウィルスの世界的流行 のような予測困難な事態が発生し，それが社会に 重大な影響を与えることがある。その一方で，そ のようなネガティブな事態によって，意外なポジ ティブな事態が生まれることもある．新型コロナ ウィルスが旧来のシステムの問題点を明らかにし， デジタル化・オンライン化推進の契機になるよう な例である。このような意外な恩恵を含めて俯瞰的に問題を捉えることは重要であり，千載一遇の チャンスを掴む可能性を高めることにもなる.

そこで本研究は，意外な恩恵の事例を大規模テキ ストから自動抽出することを目的とする．大規模テ キストとして Wikipedia 記事群を用いる. Wikipedia は百科事典であり，様々な事物を広範に扱ってい ること，また多くの人々が編集に参加し内容を精査 しているため, 情報の信憑性も高いと考えられるこ とがその理由である. 対象言語は英語である．以下 に本研究で対象とする，意外な恩恵の例を挙げる。

Smoking reduces the risk of Parkinson's disease.

健康にとって有害だと広く知られている喫煙に，実 はパーキンソン病のリスクを減らしうること1) が 述べられている。この例が示す通り, 本研究にお ける意外な恩恵は，専門家を含む一部の人々には 既知でもその他大勢の人々にとっては意外と感じ られる恩恵のことである.

提案手法の基本的なアイデアは次の通りである: ネガティブなものと広く知られているエンティティ を何らかの恩恵をもたらすものとして述べている 文は，その意外な恩恵を述べている可能性が高い.上述の Smoking の例は, 健康にとって有害である点 でネガティブといえる喫煙を，パーキンソン病リ スク低減の恩恵をもたらすものとして述べている。 reduces the risk of Parkinson's disease のような恩恵を

図 1 提案手法の全体像

述べている箇所をポジティブ説明，ネガティブな ものと広く知られているエンティティをネガティ ブエンティティと呼ぶことにすると，上記アイデ アを次のように言い換えることができる: ネガティ ブエンティティについてのポジティブ説明を述べ ている文は，その意外な恩恵を述べている可能性 が高い。このアイデアを実現するには，ネガティ ブエンティティとポジティブ説明を自動認識する 方法が必要である．2 節で詳述する.

英語 Wikipedia 全体からランダムに抽出した 300 文を調べたところ意外な恩恵を述べている文は 1 文 も無かった。これは本タスクの難易度が非常に高い ことを示している。一方, 提案手法は英語 Wikipedia 全体から意外な恩恵の事例を 40 件自動抽出できた.改善の余地は大きいが，意外な恩恵の割合がそも そも非常に低いため，全数チェック等のナイーブ な手法と比べ，はるかに効率的に意外な恩恵の事例を抽出できる．実験については 4 節で述べる.

## 2 提案手法

図 1 に示す通り，提案手法は, Wikipedia からネ ガティブエンティティを抽出し，次に，それが主題となっている文を抽出する。 最後に, 分類器に よって，ネガティブエンティティのポジティブ説明を述べているものだけを残す。

## 2.1 ネガティブエンティティ抽出

本研究におけるネガティブエンティティは, 病気 や災害，事故，不況，テロ，戦争等の不運，不幸な

図 2 Cancer (左) と Flood のセクション群

事物，またはそれらの原因となりうる事物を指す。

英語の Wikipedia 記事として取り上げられてい る（記事タイトルとなっている）エンティティのう ち，記事中に Cause または Causes というセクショ ンが設けられているものは, Cancer, Flood, Traffic collision, Great Depression 等2) ネガティブエンティ ティである場合が多い. これは，何らかの不運，不幸につながりうる，または実際そうなった事物に ついて百科事典に記述する際は，その原因が重要 な記載項目と見なされるからだと推測される. 図 2 亿 Cancer と Flood の記事のセクション群を示す.

以上の観察結果に基づき，提案手法はCause, Causes セクションを持つ記事のタイトルをネガティ ブエンティティとして抽出する.

## 2.2 文抽出

抽出したネガティブエンティティが主題の文を 意外な恩恵事例の候補（2.3 節で述べる分類器への 入力）として Wikipedia から抽出する. ネガティブ エンティティが主題である文に限定するのは，単 に当該エンティティを含む文だと，その説明がポ ジティブであれネガティブであれ，そもそも極性 が当該エンティティに関するものではない可能性 があるからである.

ここで問題になるのはいかにして文の主題を認識するかである．提案手法は，Wikipedia 記事中の 当該記事のタイトルを含む文はそのタイトルを主題とした文である可能性が高い，という仮説のも と，ネガティブエンティティがタイトルである記事から，そのタイトルを含む文を抽出する。例え ば，タイトルが Flood の記事から文字列 Flood/flood を含む文を抽出する。

加えて，意外な恩恵事例抽出の精度を上げるべ く, 文の抽出元を, Benefit, Advantage, Positive のい ずれかの文字列をセクション名に含むセクション のみに限定する。 つまり，提案手法は，ネガティブ エンティティがタイトルである記事の中の, Benefits やAdvantages, Positive Effects といったポジティブな

## Benefits

Floods (in particular more frequent or smaller floods) can also bring many benefits, such as recharging ground water, making soil more fertile and increasing nutrients in some soils. Flood waters provide much needed water resources in arid and semi-arid regions where precipitation can be very unevenly distributed throughout the year and kills pests in the farming land. Freshwater floods particularly play an important role in maintaining ecosystems in river corridor and are a key factor in maintaining floodplain biodiversity. ${ }^{[22]}$ Flooding can spread nutrients to lakes and rivers, which can lead to increased biomass and improved fisheries for a few years. For some fish species, an inundated floodplain may form a highly suitable location for spawning with few predators and enhanced levels of nutrients or food. ${ }^{[23]}$ Fish, such as the weather fish, make use of floods in order to reach new habitats. Bird populations may also profit from the boost in food production caused by flooding. $[24]$

Periodic flooding was essential to the well-being of ancient communities along the TigrisEuphrates Rivers, the Nile River, the Indus River, the Ganges and the Yellow River among others The viability of hydropower, a renewable source of energy, is also higher in flood prone regions.

図 3 Flood の Benefits セクション

内容が書かれている可能性が高いセクションから のみ文を抽出する．ネガティブエンティティに関 する記事の一部でありながらポジティブな内容が 書かれているセクションは少数ながら存在する. 例 えば図 2 右にあるように, Flood はネガティブエン ティティでありながら，その記事には Benefits セク ションが含まれている。図 3 に示す通り，そうし たセクションにはネガティブエンティティのポジ ティブな側面が書かれる傾向がある。一方で，そ うしたセクションにある文全てが意外な恩恵を述 べているわけではない. そこで 2.3 節で述べる分類器により，抽出した文を意外な恩恵を述べている 可能性の高いものとそれ以外に分類する.

## 2.3 分類器

提案手法の分類器は，抽出された 1 文を入力とし て受け取り，そのうちのネガティブエンティティ以外の箇所，つまりネガティブエンティティの説明が ポジティブである可能性を示すスコアを出力する.具体的には，ネガティブエンティティを<ENT>と いう記号に置換した文を受け取り，0から 1 の間の スコアを出力する.

分類器は, BERT $^{3}$ ) と, 1 層の feed-forward network から成る. 大力文はトークン列に分割され，先頭 に [CLS]トークン, 末尾に [SEP] トークンが連結さ れる. BERT の最終層の [CLS] トークンに対応する embedding を feed-forward network に入力しスコアを 得る.

## 3 分類器の学習

分類器の学習データは次の通りに構築した。ま ず，英語 Wikipedia（2019 年 1 月 7 日版）全体か ら，粗いフィルタリングとして，セクション名に Advantage,Benefit などのポジティブなキーワードを 含むセクションの文のみを残す。次に，それらの 中から，何らかの事柄のポジティブな面について 述べている文を人手で見つけ，ポジティブ説明と する. 非ポジティブ説明については，上記以外の

3) https://huggingface.co/bert-base-cased

図 4 提案手法で抽出したネガティブエンティティの例

セクション中から，何らかの事柄のネガティブな 面，またはポジティブでもネガティブでもない面 について述べた文を人手で見つけた。最終的に 585 文からなる学習データができた。 そのうち, 266 文 がポジティブ説明である.

上記データを用いて分類器を学習した. Epoch 数 は 500, Loss 関数は Cross Entropy, 最適化には AdamW を用いた。

## 4 評価実験

提案手法により意外な恩恵候補文抽出し，分類器によりランキングした. その評価結果と抽出で きた事例について述べる。

## 4.1 ネガティブエンティティ・意外な恩恵候補文の抽出

提案手法により，英語 Wikipedia から 6042 件の ネガティブエンティティを抽出した. 50 件をラン ダムに抽出して調査したところ 42 件が実際にネガ ティブエンティティと言えるものだった. 図 4 に 抽出したネガティブエンティティを例示する。 病気 や災害，事故，経済的困難，戦争等幅広いネガティ ブエンティティが抽出できた。

次に。提案手法を用いて実際に英語 Wikipedia か ら意外な恩恵事例の候補文を抽出した. その結果， Wikipedia 全体から 112 文を抽出した.

## 4.2 ベースライン手法

ベースラインとして, Wikipedia 全体からランダ ムに 300 文を抽出する方法を選んだ。これが最も シンプルな手法であること，意外な恩恵事例抽出 の先行研究が著者らの知る限り存在しないこと， Wikipedia 全体に占める意外な恩恵事例の割合を推定したかったことがその理由である4).

## 4.3 評価方法

抽出した事例の適合率と抽出数を評価する。正解判定は著者のうち 2 名が別々に行う. 判定作業

図 5 提案手法のランクごとの適合率

では，Yes（抽出した文は意外な恩恵事例である）， No（そうした事例ではない），？（判断に迷う）の 3 つのラベルのいずれかを付与する形で行う．次の 基準のいずれかで両者の判定をとりまとめ，最終的な判定とする。

1. 両者とも Yes としたものだけを正解とする.

2. 一人でも Yes としたものを正解とする.

3. 両者とも Yes か？としたものを正解とする.

4. 一人でも Yes か? としたものを正解とする.

公正さを担保するため，判定作業に先立ち，提案手法とベースラインの出力を 1 つにまとめ，シャッ フルし，どの文がどの手法の出力かわからないよ うにする。

両者の判定の Cohen's kappa の値は 0.65 (substantial agreement) だった.

## 4.4 評価結果

実験の結果，ベースラインの抽出数と適合率は ともに 0 ，つまりその出力 300 件はいずれも意外 な恩恵事例とは言えないものだった. そのため, Wikipedia 全体に占める意外な恩恵事例の割合は推定できなかった. この点は今後の課題としたい.

提案手法の抽出数（スコア上位 $k$ 件）とその適合率をプロットしたグラフを図 5 に挙げる。凡例の $\mathrm{C} 1$ から C4 は 4.3 節の基準 1 から 4 に対応する. 条件 C4 では適合率 $80 \%$ 以上で 16 件の意外な恩恵事例を抽出した. Wikipedia 全体から抽出した事例候補全 112 件中 40 件が意外な恩恵事例と言えるものだった.

表 1 に提案手法の抽出結果の例を挙げる. 誤りの 要因は (1) ネガティブエンティティ抽出の誤り，つ まり Cause/Causes セクションのある記事のタイトル だがネガティブとは言えないエンティティを誤って 抽出した場合 (表 1 の Rank 79 位)，(2) 文抽出の誤り， つまり, Gram positive bacteremia 等のように, Benefit, Advantage，Positive のいずれかを含むセクションタ イトルのセクションではあるが，当該エンティティ に関するポジティブな内容ではないセクションから 文抽出した場合 (Rank 85 位)，(3) 分類器の誤り，つ まり当該エンティティの説明を誤ってポジティブと

 \\

表 1 提案手法の抽出結果の例: ランク，判定者 2 名の判定，ネガティブエンティティ，抽出された文

判定した場合（87 位）の大きく3つに分類できる.

(1) ネガティブエンティティ抽出は, CauselCauses セクションの有無という非常にナイーブな手がか りのみに基づいているが，そうした手がかりを利用して学習データを効率的に収集し, 教師あり学習を用いることで精度向上が期待できる。(2) 文抽出も同様に，ポジティブな内容が書かれているセ クションのタイトルかどうかの判定に教師あり学習を導入することで改善が期待できる. (3) 現状の 分類器は 585 件のわずかなデータで学習されたも のであり，学習データの拡充による精度向上の余地は大きいと考えられる。

## 5 関連研究

本研究は，不確実な未来に備えるための，あま り知られていない因果関係知識の獲得の研究と見 なすことができ，未来シナリオ予測 $[2,4]$, 因果関係知識獲得 $[3,1]$, トリビア知識獲得 [5] の 3 つが 関連の深い領域となる.

未来シナリオ予測は，将来起こりうる重大な事態をその可能性がいかに低くても事前に把握する， という目的のもと，起こりうる未来のシナリオを 予測，生成する研究である. 因果関係知識獲得は,原因と結果を表すテキストを獲得する研究であり， その獲得結果は未来シナリオを自動生成する際に 用いられることがある. こうした過去の研究と本研究の大きな違いは，意外な結末にフォーカスし， その自動抽出技術を開発したことにある. 従来の未来シナリオ予測でも意外な結末を対象にしてはいた が，それは人手によるところが大きい。一方従来の 因果関係知識獲得は常識的知識を対象としており，意外なものをシステマティックに獲得することは困難だった. トリビア知識獲得は，オバマ元大統領の グラミー賞受賞等, あまり知られていない意外な事実を自動獲得する研究である. しかし，意外な結末 に関する事実を獲得する研究はこれまでなかった。

これまでになかった意外な恩恵事例抽出を可能に したのは，1節で述べた，ネガティブエンティティの ポジティブ説明を述べている文は，その意外な恩恵
を述べている可能性が高い, というアイデアである.

## 6 おわりに

本研究では意外な恩恵の事例を自動抽出する手法を提案した. 精度, 抽出数ともに改善の余地は 大きいが，4.4 節で述べた通り，機械学習の導入や 学習データの拡充で精度向上が大いに期待できる。

今後の方向性として意外な落とし穴事例抽出が 挙げられる．つまり，善意の施策やサービス等が何 らかの不運，不幸な結末につながる事例の抽出であ り，例えば，食糧増産のための政策が逆に大飢饉に つながった毛沢東による大躍進政策が挙げられる。

また，本研究では対象を Wikipedia に限定したが， Wikipedia 以外への拡張も今後の課題である. 具体的には，作成したネガティブエンティティのリス トと説明分類器を新聞記事，ブログ，SNS 等に適応し，意外な恩恵の文を抽出する．その際，提案手法では Wkipedia の記事タイトルとセクション名を 利用したが，そのような Wikipedia 特有の構造が利用できない点が問題となる.

## 参考文献

[1] Chikara Hashimoto. Weakly supervised multilingual causality extraction from Wikipedia. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2988-2999, 2019.

[2] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 987-997, 2014.

[3] Canasai Kruengkrai, Kentaro Torisawa, Chikara Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence (AAAI), pp. 3466-3473, 2017.

[4] Kira Radinsky, Sagie Davidovich, and Shaul Markovitch. Learning causality for news events prediction. In Proceed-
ings of the 2012 World Wide Web Conference (WWW), pp. 909-918, 2012.

[5] David Tsurel, Dan Pelleg, Ido Guy, and Dafna Shahaf. Fun facts: Automatic trivia fact extraction from wikipedia. In Proceedings of the Tenth ACM International Conference on Web Search and Data Mining (WSDM), pp. 345-354, 2017.