# 時系列構造化ニューラルトピックモデル

宮本 望 ${ }^{1}$ 磯沼 大 $^{1}$ *高瀬 翔 2 森 純一郎 ${ }^{1,3}$ 坂田 一郎 1
1 東京大学 2 東京工業大学 3 理研 AIP
\{nmiyamoto, isonuma, isakata\}@ipr-ctr.t.u-tokyo.ac.jp
sho.takase@linecorp.com mori@mi.u-tokyo.ac.jp

## 概要

本研究ではトピック間の依存関係を捉えつつ、そ の時系列的発展を扱うことができる時系列構造化 ニューラルトピックモデルを提案する。本モデル は、トピックの依存関係を self-attention 機構に基づ いてモデル化することで、トピックの分化・統合過程を捉える。さらに、アテンションの重みが文書間 の引用関係を反映するように、引用正則化項を導入 する。本モデルは Perplexity や Coherence において、既存の時系列トピックモデル [1] を上回ることを確認した。また、実際の論文群を用いて、本モデルが トピックの遷移過程を捉えられることを検証した。

## 1 はじめに

文書のトピックとその比率を推定するトピック モデルは、Latent Dirichlet Allocation (LDA [2])をは じめ、自然言語処理において広く利用されている。 その一種である時系列トピックモデル $[1,3]$ は、ト ピックの時系列上の変遷を追うことで、時間経過に 伴うトピック中の単語変化の可視化を可能にした。

しかし、既存の時系列トピックモデルは、トピッ クの時系列変化を各トピックで独立に扱っており、新規トピックの形成に対し過去のトピックがどう寄与したのか、トピック間の依存関係を捉えることは できない (図 1(a))。特に論文など、引用関係により 依存関係にある文書のモデル化において、各トピッ クが独立して変化し、前の時刻のトピックにのみ依存しているという前提は適切ではない。

そこで本研究では、トピック間の依存関係を捉え ながらその時系列発展を扱うことができるトピック モデルとして、時系列構造化ニューラルトピックモ デルを提案する（図 1(b)）。具体的には、トピックの 依存関係を self-attention 機構 [4] に基づきモデル化 することで、新規トピックがどの既存トピックに基

図 1 (a) 時系列トピックモデルと (b) 提案モデルの比較。

づき生まれたかを明らかにする。さらに、文書の引用関係を反映するようにアテンションの重みを正則化する引用正則化項を導入し、アテンションの重み をトピックの分化・統合過程として解釈できるよう にした。これにより、複数時刻に跨った学術トピッ クの分化・統合など複雑な過程を定量的に捉えるこ とが可能になる。

評価実験では、従来モデルの ETM [5] や D-ETM [1] と比較して、Perplexity と Coherence において、提案モデルがその性能を上回ることを確認した。さら に、提案モデルが学術トピックの分化・統合過程を 捉えられていることを定性的に確認した。

## 2 事前準備

まず、本研究の基礎となる時系列トピックモデル として、Dynamic Embedded Topic Model (D-ETM [1]) を解説する。D-ETM はトピックの時系列変化をモ デル化することで、時系列文書の解析を行う。具体的には、単語の意味空間におけるトピックごとの埋 め込み表現（トピック埋め込み）とトピック比率の 平均を変化させることで、トピックの時間変化を捉

## える。D-ETM の生成プロセスを以下に示す。

1. 時刻 $t \in\{1, \ldots, T\}$ について：

$k$ 番目のトピック埋め込みのサンプル:

$\boldsymbol{\alpha}_{k}^{(t)} \sim \mathcal{N}\left(\boldsymbol{\alpha}_{k}^{(t-1)}, \sigma^{2} \boldsymbol{I}\right)$

トピック比率の平均のサンプル:

$\boldsymbol{\eta}_{t} \sim \mathcal{N}\left(\boldsymbol{\eta}_{t-1}, \delta^{2} I\right)$

2. 各文書 $d \in\{1, \ldots, D\}$ について:

トピック比率のサンプル: $\boldsymbol{\theta}_{d} \sim \mathscr{L} \mathcal{N}\left(\boldsymbol{\eta}_{t_{d}}, \gamma^{2} \boldsymbol{I}\right)$

3. 文書 $d$ 中の各単語 $n \in\left.\{1, \ldots, N_{d}\right.\}$ について:

トピックの割り当て: $z_{d, n} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{d}\right)$

単語のサンプル: $w_{d, n} \sim \operatorname{Cat}\left(\boldsymbol{\beta}_{z_{d, n}}^{\left(t_{d}\right)}\right)$

ただし、Cat($\cdot$) はカテゴリカル分布、 $\mathscr{L} N(\cdot, \cdot)$ はロ ジット正規分布を指す。 $\sigma$ と $\delta \gamma$ はハイパーパラ メータである。単語分布 $\boldsymbol{\beta}_{k}^{(t)}$ は以下の式で計算さ れる。

$
\boldsymbol{\beta}_{k}^{(t)}=\operatorname{softmax}\left(\boldsymbol{\rho}^{\top} \boldsymbol{\alpha}_{k}^{(t)}\right)
$

$\rho \in \mathbb{R}^{L \times V}$ は $L$ 次元の単語埋め込み行列であり、 $\rho_{v} \in \mathbb{R}^{L}$ は $v$ 番目の単語埋め込みに対応する。

D-ETM では、変分推論 [6] で $\boldsymbol{\alpha}$ と $\boldsymbol{\eta}$ と $\boldsymbol{\theta}$ の事後分布を推定する。特に、トピック埋め达み $\alpha$ について は、以下の平均場近似を用いる。

$
\begin{array}{r}
q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)=\mathcal{N}\left(\boldsymbol{\mu}_{k}^{(t)}, \boldsymbol{\sigma}_{k}^{(t)}\right) \\
q(\boldsymbol{\alpha})=\prod_{k} \prod_{t} q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)
\end{array}
$

ただし、 $\boldsymbol{\alpha}_{k}^{(t)}$ は平均 $\boldsymbol{\mu}_{k}^{(t)}$ と分散 $\boldsymbol{\sigma}_{k}^{(t)}$ のガウス分布に 従いサンプルされる。

この平均場近似は、事後分布において各トピック が独立であることを仮定しており、トピック間の依存関係を推定することができない。一方、本研究で は、 self-attention 機構によりトピック埋め込みを推定する構造化変分推論を導入し、トピック間の依存関係をモデル化する。

## 3 提案モデル

本章では、提案モデルである時系列構造化ニュー ラルトピックモデルについて述べる。生成プロセス は D-ETM と同一である。

## 3.1 トピック埋め込みの推論

D-ETM とは異なり、提案モデルは構造化変分推論 によりトピック埋め込みを推論する。 self-attention

図 2 self-attentionによるトピック埋め込みの素の作成。

機構を利用して、過去の全てのトピック埋め込みか らトピック埋め込みを計算する。

$
\begin{array}{r}
\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\operatorname{self}-\operatorname{attention}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right)=\mathcal{N}\left(f_{\mu}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t)}\right), f_{\sigma}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t)}\right)\right)
\end{array}
$

変数 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ はトピック埋め込みの素であり、 $f_{\mu}$ と $f_{\sigma}$ は $\tilde{\boldsymbol{\alpha}}_{k}^{(t+1)}$ を変分ガウス分布に変換する関数である。

self-attention の計算 式 (9)を計算するため、時刻 $t-1$ 以前の全てのトピック埋め込みの素 $\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}$ からキー $\boldsymbol{K}_{1: K}^{(1: t-1)} \in \mathbb{R}^{K(t-1) \times L}$ 及びバリュー $\boldsymbol{V}_{1: K}^{(1: t-1)} \in \mathbb{R}^{K(t-1) \times L}$ を計算する。また、時刻 $t-1$ の $k$ 番目のトピック埋め込み $\tilde{\alpha}_{k}^{(t)}$ からクエリ $\boldsymbol{q}_{k}^{(t-1)} \in \mathbb{R}^{L}$ を計算する。

$
\begin{array}{r}
\boldsymbol{K}_{1: K}^{(1: t-1)}=f_{k}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
\boldsymbol{V}_{1: K}^{(1: t-1)}=f_{v}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
\boldsymbol{q}_{k}^{(t-1)}=f_{q}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t-1)}\right)
\end{array}
$

ただし、 $f_{q}, f_{k}, f_{v}$ は多層パーセプトロンである。こ のとき、時刻 $t$ のトピック $k$ に対するアテンション の重み $\boldsymbol{a}_{k}^{(t)} \in \mathbb{R}^{K(t-1)}$ は、以下の式で表される。

$
\boldsymbol{a}_{k}^{(t)}=\operatorname{softmax}\left(\boldsymbol{q}_{k}^{(t-1)} \boldsymbol{K}_{1: K}^{(1: t-1) \top}\right)
$

$\boldsymbol{a}_{k}^{(t)}$ は時刻 $t$ 以前の各トピックに依存している確率 を表しているとみなせる。これを重みとして利用 し、 $\boldsymbol{V}^{(1: t-1)}$ の重み和を計算することで、 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ を求め る。一連の過程を図 2 に示す。

$
\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\boldsymbol{a}_{1: K}^{(1: t-1)} \boldsymbol{V}_{1: K}^{(1: t-1)}
$

$\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ は、残差接続 [7] を経て正規化される。残差接続を行うことで、勾配爆発や勾配消失を防ぐこと が可能になる。また、事前分布では $\boldsymbol{\alpha}_{k}^{(t)}$ は $\boldsymbol{\alpha}_{k}^{(t-1)}$ を 平均とする正規分布により生成されると仮定してい るため、時刻 $t$ のトピック $k$ は時刻 $t-1$ のトピック $k$ に比較的類似したものが推定される。

self-attention の導入の経緯 self-attention 機構の 代わりに、トピック間の依存関係を表す学習可能な 重み $\boldsymbol{w} \in \mathbb{R}^{K}$ を用いて、 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\boldsymbol{w}^{\top} \tilde{\boldsymbol{\alpha}}_{1: K}^{(t-1)}$ としてパラ メータ化する方法も本研究では検討した。しかし、

この方法では 1 時刻間のトピック間の依存関係しか モデル化できず、学術論文で多く見られる複数時刻 に跨るトピック間の依存関係のモデル化には不適当である。一方、self-attention 機構は任意の数のト ピックを入力として用いることが可能であり、かつ 各時刻を通じて $f_{q}, f_{k}, f_{v}$ のパラメータが共有される ため、パラメータ数はトピック数に依らず一定であ る。よって、 self-attention 機構は複数時刻に跨るト ピック間の依存関係のモデル化により適当であるこ とから、本研究では self-attention 機構を採用した。

## 3.2 全体の推論と ELBO

提案モデルによる文書の尤度は以下のように与え られる。

$
\begin{aligned}
& p\left(\boldsymbol{w}_{1: D} \mid \sigma, \delta, \gamma\right) \\
& =\int\left.\{\prod_{d} \prod_{n}\left(\boldsymbol{\beta}^{\left(t_{d}\right)} \cdot \boldsymbol{\theta}_{d}\right)_{w_{d, n}} p\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}\right)\right.\} \\
& \quad\left.\{\prod_{t} \prod_{k} p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right) p\left(\boldsymbol{\alpha}_{k}^{t} \mid \boldsymbol{\alpha}_{k}^{t-1}\right)\right.\} d \boldsymbol{\theta} d \boldsymbol{\eta} d \boldsymbol{\alpha}
\end{aligned}
$

ここで、事後分布 $p\left(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha} \mid \boldsymbol{w}_{1: D}\right)$ の近似事後分布 として $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ を導入する。D-ETM と同様に、 $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ は以下のように計算される。

$
\begin{aligned}
q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})= & \prod_{d} q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}, \boldsymbol{w}_{d}\right) \times \prod_{t} q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right) \\
& \times \prod_{t} \prod_{k} q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right)
\end{aligned}
$

ただし、 $\boldsymbol{w}_{d}$ は文書 $d$ の Bag-of-Words 表現を、 $\tilde{w}_{t}$ は 正規化された時刻 $t$ における全文書の Bag-of-Words 表現を表す。文書の対数尤度に対する変分下限は以下の式で求められる。

$
\begin{aligned}
& L_{d o c}=\sum_{d} \mathrm{E}_{q\left(\boldsymbol{\theta}_{d}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\boldsymbol{w}_{d}^{\top} \log \left(\boldsymbol{\beta}^{\left(t_{d}\right)} \cdot \boldsymbol{\theta}_{d}\right)\right] \\
& \quad-\sum_{d} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}, \boldsymbol{w}_{d}\right) \| p\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}\right)\right] \\
& \quad-\sum_{t} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right) \| p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right)\right] \\
& \quad-\sum_{t} \sum_{k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right) \| p\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{k}^{(t-1)}\right)\right]
\end{aligned}
$

## 4 引用正則化項ありの提案モデル

3 章で述べた提案モデルは、トピック間のアテン ションの重みを解釈することが困難である。理想的 には、アテンションはトピック間の潜在的な依存関係を表し、それは文書間の引用関係として顕在化さ れるべきである。そこで、アテンションの重みを引用関係に対応するように正則化を行うことで、アテ ンションの解釈可能性を担保する。また、引用正則化項によりテキストと引用を同時にモデル化するこ とで、トピックの質的な向上が期待される。

アテンションの重みの正則化にあたり、トピッ ク比率 $\boldsymbol{\theta}$ 、アテンションの重み $\boldsymbol{a}$ 、文書比率 $\phi$ に基 づいて文書間の引用をモデル化する。文書のぺア $(i, j) \in\{1, \ldots, D\} \times\{1, \ldots, D\}$ 間の引用は以下のよ うにモデル化される。

1. 引用トピックの割り当て: $z_{i} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{i}\right)$

2. 被引用トピックの割り当て: $z_{j} \sim \operatorname{Cat}\left(\boldsymbol{a}_{z_{i}}^{\left(t_{i}\right)}\right)$

3. 被引用文書のサンプル: $d_{j} \sim \operatorname{Cat}\left(\boldsymbol{\phi}_{z_{j}}\right)$

ただし、 $\boldsymbol{a}_{k}^{\left(t_{i}\right)} \in \mathbb{R}^{K\left(t_{i}-1\right)}$ はアテンションの重みであ り、過去の全トピック $z_{j} \in\{1, \ldots, K\} \times\left.\{1, \ldots, t_{i}-1\right.\}$ に依存する確率の分布を指す。文書比率 $\boldsymbol{\phi}_{k} \in \mathbb{R}^{D}$ は、あるトピックが割り当てられた被引用文書の確率分布を示しており、以下の式で表される。

$
\phi_{z_{j}}^{\left(d_{j}\right)}=\frac{\theta_{d_{j}}^{\left(z_{j}\right)}}{\sum_{d_{j}} \theta_{d_{j}}^{\left(z_{j}\right)}}
$

この仮定のもと、引用 $c_{i, j} \in\{0,1\}$ の尤度は以下 のように与えられる。

$
\begin{aligned}
& p\left(c_{i, j}=1 \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right) \\
& =\sum_{k}^{K} \sum_{k^{\prime}}^{K} p\left(d_{j} \mid \boldsymbol{\phi}_{k^{\prime}}\right) p\left(z_{j}=k^{\prime} \mid \boldsymbol{a}_{k}^{\left(t_{i}\right)}\right) p\left(z_{i}=k \mid \boldsymbol{\theta}_{i}\right)
\end{aligned}
$

ただし、 $c_{i, j}=1$ は文書 $d_{i}$ が文書 $d_{j}$ を引用すること を示す。文書と引用の対数尤度に対する変分下限は 以下の式で表される。

$
L=L_{d o c}+\sum_{i}^{D} \sum_{j}^{D} \operatorname{BCE}\left(p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right), c_{i, j}\right)
$

ただし、 $L_{d o c}$ は式 (18)により定義され、BCE は二値の交差エントロピーである。詳細な変分下限の導出は付録 A. 1 に記す。

## 5 実験

## 5.1 実験設定

本実験では、The Semantic Scholar Open Research Corpus (S2ORC [8]) $)^{1}$ をもとに構築した $A C L$ 及び CS のデータセットを用いる。 $A C L$ データセットは ACL 系列の国際会議で発表された論文群であり、CSデー

表 1 各モデルの評価結果。Perplexity は低いほど良く、Coherence と Diversity は高いほど良い。

タセットは、研究分野に “Computer Science”を含む 論文群である。各データセットの詳細な情報を、付録 A. 2 に記載した。データセットに関する具体的な 数値を表 2 にまとめる。ベースラインには、ETM [5] 及び D-ETM [1]を用いる。提案モデルに対する 引用データ制約の効果を測定するため、提案モデル に対する引用正則化項の有無による結果も比較す る。詳細な実験設定は付録 A. 3 に記載する。

## 5.2 実験結果

トピックモデルの性能を以下の 3 つの基準で定量的に評価した。

Perplexity まず、生成モデルとしての汎化能力 を評価するため、Perplexity [9]を用いた。両データ セットにおいて、提案モデルは、従来モデルを上回 ることを示した（表 1）。また、引用正則化項ありの 提案モデルは、引用正則化項なしの提案モデルを上回ることから、引用情報がトピックモデルの汎化能力に寄与することが確認された。

Coherence トピックの解釈可能性を評価するた め、トピックの Coherence を平均自己相互情報量 [10] で測定した。具体的には、トピック $k$ の頻出語上位 10 個の単語中の各 2 単語について、正規化自己相互情報量報を計算した。各モデルの全トピック の平均 Coherence を表 1 に示す。引用正則化項あり の提案モデルが従来モデルを上回った他、引用正則化項なしのトピックモデルも D-ETM と競合し、十分にトピックが解釈可能であることが確認された。

Diversity トピックの多様性を評価するため、全 トピックの頻出語上位 25 語において重複していな

図 $3 A C L$ データセットにおけるトピック遷移の例。各ト ピックの頻出語上位 5 つを示す。Attention の重みが 0.05 以上であれば太線、 0.02 以上 0.05 未満であれば細線でト ピック間の依存関係を表現した。

い単語の割合を算出し、トピック間の Diversityを測定する。各モデルにおける Diversity の平均値を表 1 に示す。両モデルは従来モデルと遜色なく、十分に トピックの多様性が担保されることを確認した。

## 5.3 トピック遷移の可視化

$A C L$ データセットを用いて、提案モデルがトピッ クの遷移を捉えられているか確認した。図 3 にそ の例を示す。上段のトピックは「グラフ」、中段の トピックは「ニューラルネットワーク」、下段のト ピックは「ソーシャルメディア」を表している。ト ピックの頻出語を確認することで、そのトピックに おける頻出単語の変遷を追うことができる一方、ア テンションの重みを確認することでトピックの分化 や統合過程を追うことができる。

## 6 おわりに

本研究では、トピック間の依存関係を self-attention 機構でモデル化したトピックモデルを提案した。評価実験の結果、提案モデルは複数の指標について従来モデルの性能を上回った。また、文書間の引用関係を考慮した正則化を加えることで、さらなる性能 の向上が示唆された。また、トピック遷移を追うこ とで、提案モデルが実際の学術文献のトピックの動向調査に利用できることを確認した。

## 謝辞

本研究は、NEDO JPNP20006、JST ACT-X JPMJAX1904 及び JST CREST JPMJCR21D1 の支援を受 けたものである。

## 参考文献

[1] Adji B Dieng, Francisco JR Ruiz, and David M Blei. The dynamic embedded topic model. arXiv preprint arXiv:1907.05545, 2019.

[2] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[3] David M. Blei and John D. Lafferty. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, ICML '06, p. 113-120, New York, NY, USA, 2006. Association for Computing Machinery.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017

[5] Adji B. Dieng, Francisco J. R. Ruiz, and David M. Blei. Topic modeling in embedding spaces. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 439-453, 2020.

[6] David M Blei, Alp Kucukelbir, and Jon D McAuliffe. Variational inference: A review for statisticians. Journal of the American statistical Association, Vol. 112, No. 518, pp. 859-877, 2017.

[7] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014

[8] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4969-4983, Online, July 2020. Association for Computational Linguistics.

[9] Michal Rosen-Zvi, Thomas Griffiths, Mark Steyvers, and Padhraic Smyth. The author-topic model for authors and documents. In Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, UAI '04, p. 487-494, Arlington, Virginia, USA, 2004. AUAI Press.

[10] David Mimno, Hanna Wallach, Edmund Talley, Miriam Leenders, and Andrew McCallum. Optimizing semantic coherence in topic models. In Proceedings of the 2011 conference on empirical methods in natural language processing, pp. 262-272, 2011.

[11] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, Vol. arXiv:1412.6980v9, , 2014.

[12] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, Vol. 26, , 2013.

## A 付録

## A. 1 引用正則化項ありの提案モデルの変分下限の導出

この章では、式 (24) の導出を行う。文書と引用の 尤度は以下の式で計算される。

$
\begin{aligned}
& p\left(\boldsymbol{w}_{1: D}, c_{1,1}, \ldots, c_{D, D} \mid \sigma, \delta, \gamma\right) \\
& =\int\left.\{\prod_{i} \prod_{n}\left(\boldsymbol{\beta}^{\left(t_{i}\right)} \cdot \boldsymbol{\theta}_{i}\right)_{w_{i, n}} p\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{t_{i}}\right)\right.\} \\
& \quad\left.\{\prod_{i} p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right)\right.\} \\
& \quad\left.\{\prod_{t} p\left(\prod_{k} \mid \boldsymbol{\eta}_{t}\right) p\left(\boldsymbol{\alpha}_{k}^{t} \mid \boldsymbol{\alpha}_{k}^{t-1}\right)\right.\} d \boldsymbol{\theta} d \boldsymbol{\eta} d \boldsymbol{\alpha}
\end{aligned}
$

近似事後分布 $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ は、式 (17) のように計算さ れる。よって、文書と引用の対数尤度に対する変分下限は以下のように表される。

$
\begin{aligned}
L & =\sum_{i} \mathrm{E}_{q\left(\boldsymbol{\theta}_{i}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\boldsymbol{w}_{i}^{\top} \log \left(\boldsymbol{\beta}^{\left(t_{i}\right)} \cdot \boldsymbol{\theta}_{i}\right)\right] \\
& +\sum_{i} \sum_{j} \mathrm{E}_{q\left(\boldsymbol{\theta}_{i}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\log p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right)\right] \\
& -\sum_{i} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{\boldsymbol{t}_{i}}, \boldsymbol{w}_{i}\right) \| p\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{t_{i}}\right)\right] \\
& -\sum_{t} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}, \tilde{\boldsymbol{w}}_{t}\right) \| p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right)\right] \\
& -\sum_{t} \sum_{k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right) \| p\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{k}^{(t-1)}\right)\right] \\
= & L_{d o c}+\sum_{i}^{D} \sum_{j}^{D} \operatorname{BCE}\left(p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right), c_{i, j}\right)
\end{aligned}
$

## A. 2 実験に用いたデータセット

本節では、各データセットの作成手順について説明する。S2ORC は、136,595,995 の論文群を保有し ており、各論文は論文 ID、出版年、要約、被引用論文 ID、ACL ID、研究分野などを保持する。 $A C L$ データセットについては、2006 年から 2019 年ま での ACL ID が “None” でない論文を抽出する。CS データセットについては、2006 年から 2019 年まで の研究分野が “Computer Science” である論文を抽出 し、被引用論文数の多い上位 40,000 本を抽出する。

得られた論文群は、3:1:1 の比率でランダムに訓練用、検証用、評価用文書データセットに分類す る。訓練用文書データセットに対して、出現数が 10 未満の語彙、 $70 \%$ 以上の論文に共通して出現する語彙、数字を除去して得られた文書を Bag-of-Words と して保持する。各時刻において十分な量の文書を確保するため、 2 年分の文書群をまとめて一つの時刻 の文書群とする。例えば、2006 年と 2007 年の文書群をまとめて、それらを時刻 $t=0$ とする。

## A. 3 実装詳細

各モデルのハイパーパラメータは、 $A C L$ の検証 データセットの Perplexity に基づいてチューニング されている。全ての実験でトピック数 $K$ は 20 と設定し、トピック埋め込みの推論以外のパラメータは D-ETM の実装2)に従って設定した。勾配降下法は Adam [11]を用いて、バッチサイズ 512 でモデルを 学習させる。学習率については、提案モデルと ETM については $6.0 \times 10^{-4} 、$ D-ETM については $8.0 \times 10^{-4}$ である。より良い実験結果を得るため、各モデルに ついて学習率の減衰を適用し、ロスが収束するまで 学習を継続させている。

DSNTM 内部の self-attention 機構の $f_{q}, f_{k}, f_{v}$ 及び トピック埋め込みの変分パラメータ構築の $f_{\mu}, f_{\sigma}$ は、全てに次元数が 300 の隠れ層の MLPを利用す る。また、残差接続後の正規化は、レイヤー正規化 [12]を指す。

各モデルとも、変文推論の事後分布の分散のパラ メータは $\delta^{2}=\sigma^{2}=0.005$ で、 $\gamma^{2}=1$ とした。単語埋め 込みについては、skip-gram [13] の埋め込み表現を利用しており、その次元数は 300 である。

トピック比率 $\boldsymbol{\theta}$ の推論 $q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{\boldsymbol{t}_{d}}, \boldsymbol{w}_{d}\right)$ は、ReLU 活性化と 800 次元の隠れ層を持つ 2 層の MLP、その 後に $\theta_{d}$ の平均 $f_{\mu}$ と分散 $f_{\sigma}$ が続く構成である。卜 ピック比率の平均 $\boldsymbol{\eta}$ の推論 $q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right)$ を構築す るため、bag-of-words 表現 $\tilde{w}_{t}$ を 400 次元の低次元空間に線形写像し、それを、400 次元の 3 層の隠れ層 を持つ LSTM の入力として利用する。LSTM の出力 は、直前のトピック比率の平均 $\boldsymbol{\eta}_{t-1}$ と結合され、そ の結果を $K$ 次元空間に線形写像し、 $\boldsymbol{\eta}_{t}$ の平均と分散を得る。

2) https://github.com/adjidieng/DETM


# 木構造自己注意機構による教師あり統語構造解析

成田百花 ${ }^{1}$ 持橋大地 ${ }^{2}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学 2 統計数理研究所
\{g1820529,koba\}@is.ocha.ac.jp daichi@ism.ac.jp

## 概要

本研究では，Transformer のエンコーダにおける自己注意機構を入力文の統語構造を反映するように変更し，抽出された特徴量を用いてデコーダにおいて 構文木構造を生成する新しい統語構造解析モデルを 提案する。提案モデルを用いることで既存のモデル と比較して，WSJコーパスにおける $F_{1}$ スコアをは じめとする評価実験において構文解析精度が向上す ることが示された. また，提案モデルにおいてエン コーダの中間層の出力を用いた統語構造解析手法に ついても実験結果を示す.

## 1 はじめに

近年，自己注意機構を用いた深層学習モデル Transformer [1] が，高い汎用性を持つことから機械翻訳にとどまらず，様々な自然言語処理課題に対し て採用され，高い成果を挙げている。自己注意機構 とは，文中の各単語間の関連性を表すスコアを算出 するもので，潜在的に統語構造情報を捉えている可能性が考えられることから，これを工夫した統語構造解析手法が提案されている [2] [3]. 深層学習を統語構造解析に用いることで，文を連続値の情報で あるべクトルで扱うことが可能となり，従来の文法規則のマッチングによる処理とは違い，より頑健な 処理を実現できるという利点がある．その一方で，統語構造解析研究においては，これまでに構築され た多くの統語構造解析結果のデータが存在する. 双方の利点を活かすことを考え，本研究では自己注意機構を用いた教師あり統語構造解析モデルを提案 する。

## 2 関連研究

代表的な統語構造解析手法として, CKY アルゴ リズムがある．CKYアルゴリズムを模倣した手法 として, Stern ら [4] はニューラル手法による Chart Parser を提案している. Stern らのモデルでは，エン
コーダの双方向 LSTM によって抽出した入力文の特徵量を用いて，デコーダの Chart Parser が文の “句ま たは節を構成する単語間”と“品詞”それぞれの評価点を算出し，文の最適な構文木を予測する。また， Gaddy ら [5] は Stern らの Chart Parserに修正を加え たモデルを提案している。 そして，Kitaev ら [2] は， この Gaddy らのモデルのエンコーダに双方向 LSTM ではなく，自己注意機構を用いたモデルを提案して いる. Stern ら， Gaddy ら，そして Kitaev らのモデル では，双方向 LSTM と自己注意機構が統語構造情報 を算出することを前提としてデコーダへの入力とし ている．しかし，双方向 LSTM と自己注意機構の出力には統語構造情報は明示的には反映されていない ため，デコーダに用いる情報としてはまだ改善の余地がある．そこで本研究では，エンコーダの出力に より確かな統語構造情報を反映するような制約を用 いて抽出した特徴量をデコーダの入力とする手法を 提案する。

自己注意機構を用いた教師なし統語構造解析モデ ルとして, Wang ら [3] は Tree Transformer を提案し ている. Tree Transformer は Transformer のエンコー ダを用いたモデルで，自己注意機構に入力文の統語構造情報を反映するように制約を加える。エンコー ダは，BERT [6] の学習タスクである，[Mask] トーク ンに置き換えられた文中の単語を予測する Masked Language Modeling (MLM)により教師なし学習され る.しかし，この MLM による学習は，統語構造情報について予測を行いモデルを学習しているのでは なく，[Mask]トークンの予測を対象に学習をしてい るため，統語構造の解析が十分とは言えない.よっ て，本研究は統語構造情報を含む値を予測値とし，既存の統語構造解析結果のデータを用いた，教師あ り統語構造解析モデルを提案する。

## 3 基本モデル

本節では，提案モデルのベースラインとなる Kitaev ら [2] のアーキテクチャについて説明する.

図 1: 分割自己注意機構. 入力文の埋め込みべクト ル $x_{c}$ と位置埋め込みべクトル $x_{p}$ それぞれに対して 別々に Attention が計算され，その後に結合される.

エンコーダ部には分割自己注意機構（3.1 節)，デ コーダ部には Stern ら [4]の Chart Parserに Gaddy ら [5] が修正を加えた Chart Decoder（3.2 節）を用い たモデルである.

$N$ 個の単語を含む入力文の埋め込みベクトル $\boldsymbol{x}^{(c)}=\left[c_{1}, c_{2}, \ldots, c_{N}\right]$ を BERT [6] の最終層の出力か ら抽出する. また，入力文の位置埋め込みベクトル $を \boldsymbol{x}^{(p)}=\left[p_{1}, p_{2}, \ldots, p_{N}\right]$ とする.

## 3.1 分割自己注意機構

通常の自己注意機構では埋め込みベクトル $\boldsymbol{x}^{(c)}$ と 位置埋め込みべクトル $\boldsymbol{x}^{(p)}$ を足し合わせたべクト ル $\boldsymbol{x}=x^{(c)}+x^{(p)}$ に対して Attention を計算する. し かし，分割自己注意機構では $\boldsymbol{x}^{(c)}$ と $\boldsymbol{x}^{(p)}$ それぞれ に対して別々に Attentionを計算する。分割自己注意機構の入力 $\boldsymbol{x}$, パラメータ行列 $W, c=W x$ をそれ ぞれ式 (1)，式 (2)，式 (3)とする.

$
\begin{gathered}
\boldsymbol{x}=\left[x^{(c)} ; x^{(p)}\right] \\
W=\left[\begin{array}{cc}
W^{(c)} & 0 \\
0 & W^{(p)}
\end{array}\right] \\
c=\left[c^{(c)} ; c^{(p)}\right]=\left[W^{(c)} x^{(c)} ; W^{(p)} x^{(p)}\right]
\end{gathered}
$

以上より, 入力 $x$ から得られる Query, Key, Value はそれぞれ $Q=\left[q^{(c)} ; q^{(p)}\right], K=\left[k^{(c)} ; k^{(p)}\right], V=$ $\left[v^{(c)} ; v^{(p)}\right]$ となる. Query, Key, Value と, Keyの次元 $d_{k}$ 用いて自己注意機構は式 (4) で表される.

$
\operatorname{Attention}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

内積 $Q K^{T}$ は $q^{(c)} \cdot k^{(c)}+q^{(v)} \cdot k^{(v)}$ に分解される.

図 1 に式 (4) の值の導出過程を示す.

## 3.2 Chart Decoder

構文木 $T$ は文中の $i$ 番目の単語で始まり $j$ 番目で 終わる句または節と，その品詞 $l$ の集合によって式 (5) のように表される. $|T|$ は集合の数，すなわちそ の文に含まれる句または節の合計数である.

$
T=\left.\{\left(i_{t}, j_{t}, l_{t}\right): t=1, \ldots,|T|\right.\}
$

また，エンコーダからの出力を用いて，各文の構文木 $T$ に実数值のスコアとして，式 (6) で表される $s(T)$ が生成される.

$
s(T)=\sum_{(i, j, l) \in T} s(i, j, l)
$

$s(i, j, l)$ は品詞 $l$ を持つ文中の $i$ から $j$ 番目の単語間 の実数值のスコアである. 生成された $s(T)$ のうち 最も高いスコアのものが，CKY 法を模倣した式 (7) の推測アルゴリズムによって選ばれ，構文木 $T$ の最適な統語構造として予測される.

$
\hat{T}=\arg \max _{T} s(T)
$

このように Chart Decoder を用いることで，構文木の スコア，すなわち統語構造情報を予測値とすること ができる．また Chart Decoder は，CKY アルゴリズ ムを模倣したシンプルで合理的なアーキテクチャで ありながら，WSJデータのみで学習した解析器の中 では最も高い性能を達成していることから, 本研究 でもこれを採用することにする。

## 4 提案手法

図 2 に提案モデルの全体の構造を示す. エンコー ダ部に Wang ら [3] の”Constituent Attention モジュー ル”を導入した木構造自己注意機構（4.1 節）を用い て, 入力文の統語構造情報を抽出する. エンコーダ から抽出された情報に基づき，デコーダ部の Chart Decoder（3.2 節）で構文木のスコアを算出し，教師 あり学習を行う。

## 4.1 木構造自己注意機構

木構造自己注意機構は統語構造情報を抽出する ために, 3.1 節の分割自己注意機構に隣り合う単語間の関連性を捉える”Constituent Attention モジュー ル"を導入する. "Constituent Attention モジュール"で は， $\mathrm{N}$ 個の単語を含む文の各単語に対して，文中 の句または節（constituent）の区切りを推測する確率 $a=\left.\{a_{1}, \ldots a_{N}\right.\}$ を生成する. 確率 $a$ を用いて，同

Output: (S (NP (The ) (NP ( cute dog ))) (VP (VP ( is wagging )) (NP ( its tail ))))

个

Input: the cute dog is wagging its tail

図 2: 提案モデルの全体図. エンコーダには，分割自己注意機構に”Constituent Attention モジュール”を 導入した木構造自己注意機構, デコーダには Chart Decoderを用いる。

図 3: （左）木構造自己注意機構を用いたエンコー ダ.ブロックは入力文から生成された constituent を 表している。層を登るにつれ constituent はマージさ れ徐々に大きくなる.（右）エンコーダ各層の構成.

じ constituent に属する単語同士のみで自己注意機構 を作用させる制約 ”Constituent Priors $C_{i, j}$ "が生成され る. "Constituent Priors $C_{i, j}$ "は，式 (8) で表される，文中の $i$ 番目の単語と $j$ 番目の単語が同じ constituent に含まれるかの確率である.

$
C_{i, j}=\prod_{k=i}^{j-1} a_{k}
$

上層に移るにつれ constituent は隣同士でマージされ て徐々に大きくなり，エンコーダ内部で入力文の構文木を形作る（図 3)。式 (8) と式 (4)を用いて，木構造自己注意機構は式 (9) のように求められる.

$
\operatorname{Attention}(Q, K, V)_{\text {tree }}=C \odot \operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

木構造自己注意機構を用いることで，通常の自己注意機構よりも統語構造情報を反映した特徵量を抽出することができる．これにより，Chart Decoder が 効率よく文中に含まれる句または節を捉えることを 可能とする.

## 4.2 中間層を用いた統語構造解析

通常の統語構造解析では，エンコーダの最終層の 出力に基づいて，デコーダが入力文の構文木を予測 する. しかし，入力文によって構文木の深さは異な り，それに合った統語構造情報が必要となると考え られる。そこで，エンコーダ内部に constituent で構文木を形作る木構造自己注意機構の性質を利用し て，エンコーダの中間層の出力をデコーダの入力と し，統語構造を解析する手法を提案する。 アルゴリズムを Algorithm 1 に示す.

## 5 実験

本節では，4 章で提案した手法を用いたモデルの 性能及び有効性を検証する。

## 5.1 実験設定

実験では，Penn Treebank ${ }^{1)}$ の WSJ（英字経済新聞 Wall Street Journal $\left.{ }^{2}\right)$ ）コーパスを用いて，予測され る構文木が人間の作成した構文木とどの程度類似し ているかを評価する。コーパスのデータ数はそれぞ れ，訓練データ 39,832 (2-21 章)，開発データ 1,700 (22 章)，評価データ 2,416 (23 章) の標準的分割で ある．学習の際， 1 Epoch おきにデータをシャッフ ルする. Multi-Head 数を 8, batch 数を 32 とした.

## 5.2 木構造自己注意機構の有効性検証

本節では，提案手法の木構造自己注意機構の有効性を検証するため，通常の自己注意機構を用い た Kitaev ら [2] のモデル（従来モデル）と，双方向 LSTM を用いた Stern ら [4] と Gaddy ら [5] のモデル と比較を行った. また，同じデータセットを用いた より高い精度を持つモデルとして Zhou ら [7] のモ デルも表中に示す.この際， 4.2 節の手法は用いず， エンコーダの最終層の出力を用いて統語構造解析を 行う．エンコーダの層数を $\ell$ として，表 1 に実験結

表 1: Penn Treebank での実験結果 [\%].

果を示す. 精度の評価尺度には $F_{1}$ スコア，再現率 と適合率が共に $100 \%$ である割合（完全一致），品詞 の正解率（品詞）を用いた. 表より，提案モデルが 従来モデルよりも品詞以外の結果が良いことがわか る. また，双方向 LSTM を用いたモデルと比較して も精度が高い.これらのことから木構造自己注意機構は通常の自己注意機構や双方向 LSTM よりも確か な統語構造情報を抽出し，デコーダでの解析を補助 し，性能改善に寄与することがわかる.

また，従来モデル $(\ell=10)$ が従来モデル $(\ell=2)$ より も精度が低い理由は，入力文の埋め込みベクトルの 生成に BERT を用いているため，これにより既に入力文の特徵がある程度抽出され，その後に多くのエ ンコーダを積んでしまうと過学習を引き起こす可能性が考えられる。一方で，提案モデル $(\ell=10)$ が提案 モデル $(\ell=2)$ よりも精度が高い理由は，エンコーダ 内部で構文木を形作る木構造自己注意機構の性質に より, 入力文の構文木を作るためにはある程度の層数を必要とすることが考えられる。

## 5.3 文の長さにおける有効性検証

本節では，文の長さにおける各モデルの有効性を 検証するため, 従来モデル $(\ell=2)$ と提案モデルの, 5.2 節の解析結果から完全一致した文の長さごとの 数（正解数）を比較する．結果を表 2 に示す. 表中 の WSJ は評価データに含まれる文の各長さの内訳 である．長さが 40 以下の文に対しては，5.2 節にお いて最も精度の高かった提案モデル $(\ell=10)$ の正解数 が多かった。しかし，長さが 41 以上の文について は提案モデル $(\ell=8)$ の正解数が多かった。これによ り文の長さによって構文木の深さが異なり，必要と なる統語構造情報が異なることが考えられる.表 2: 各モデルの解析結果から完全一致した文の長 さ $|s|$ ごとの数（WSJ は評価データに含まれる文の 各長さの内訳）

表 3: 中間層を用いた統語構造解析結果（提案モデ ル $(\ell=12)$ のエンコーダの各中間層の出力を用いた解析結果から，完全一致した文の長さ $|s|$ ごとの数）

## 5.4 中間層を用いた統語構造解析結果

本節では，提案手法の中間層を用いた統語構造解析の結果を示す. 提案モデル $(\ell=12)$ のエンコーダの 各中間層の出力をデコーダの入力とし，構文木を予測する．各中間層を用いた解析結果から完全一致し た文の長さごとの数を表 3 に示す. 表中の中間層は Algorithm 1 の $m$ である. 表より，Layer10と Layer8 の出力を用いた際の，長さ 41 以上の正解数が同じ ことから，完全一致した長さ 41 以上の文では Layer8 と Layer10 で出力されるスコアが重複していること が考えられる．以上と 5.3 節の結果から，構文木そ れぞれに対して適切な中間層から出力される統語構造情報を用いるべきであることが考えられる。

## 6 まとめ

本論文では，木構造自己注意機構とエンコーダの 中間層を用いた統語解析手法を提案した。木構造自己注意機構を用いることで， $F_{1}$ スコアと完全一致に おいて従来の自己注意機構や双方向 LSTM を用いた モデルを上回る結果を達成できることを実験により 確認した．また，エンコーダの中間層を用いた解析結果から，各構文木に対して適切な中間層の出力を 用いるべき事がわかった。このことから今後は，口 ジスティック回帰などを用いて効率的に各入力文の 構文木に適した中間層を選びとるような手法を提案 し，モデルの改良に取り組みたい。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. of the 31st NIPS, 2017

[2] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Yau-Shian Wang, Hung yi Lee, and Yun-Nung (Vivian) Chen. Tree transformer: Integrating tree structures into self-attention. In $E M N L P, 2019$.

[4] Mitchell Stern, Jacob Andreas, and Dan Klein. A minimal span-based neural constituency parser. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 818-827, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[5] David Gaddy, Mitchell Stern, and Dan Klein. What's going on in neural constituency parsers? an analysis. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 999 1010, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Junru Zhou, Zuchao Li, and Hai Zhao. Parsing all: Syntax and semantics, dependencies and spans. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4438-4449, Online, November 2020. Association for Computational Linguistics.


# Recurrent Neural Network CCG 構文解析器の実装

田上青空 戸次大介
お茶の水女子大学
\{tagami.sora, bekki\}@is.ocha.ac.jp

## 概要

自然言語処理において広く利用されている深層学習モデルは、文をトークン列とみなして処理を行 う。しかし文には統語構造が存在しており、意味合成のような言語学的な計算を行うためには、表層的 な情報を越えた統語構造を明示的にモデル化する必要があると考えられる。文の統語構造を考慮する言語モデルとして、Recurrent Neural Network Grammars (RNNGs)[1] がある。RNNGs は言語モデルと構文解析器の二つの側面を持ち、内部の文法としては CFG を用いている。本研究では RNNGs の内部文法とし て、CFGに代えて、より自然言語の統語構造を適切に捉える文法である CCG を用いた実装を行い、 $\mathrm{CFG}$ によるモデルとの比較・検証を実施した。

## 1 はじめに

近年、BERT[2] や GPT-3[3] に代表される深層学習 を用いた言語モデルの発展はめざましく、あらゆる 自然言語処理タスクにおいて高精度を誇っている。 これらのモデルは、膨大なデータと巨大なパラメー タによって、データからある種の「傾向」を抽出す ることに優れている。しかし、文を文字またはサブ ワードからなるトークン列とみなして解析を行なっ ているため、文がもつ統語構造や依存関係を考慮し ているわけではない。したがって、これらのモデル からは文が持つ言語学的な情報を得られず、統語解析やそれに基づく意味解析を行うことは難しい。

一方で、C\&C[4]、EasyCCG[5]、depccg[6]など、組合せ範疇文法 (Combinatory Categorial Grammar; 以後 CCG) を用いた構文解析器の開発が進んでいる。組合せ範疇文法は形式統語論の理論であり、これらの 構文解析器の出力として得られる CCG の統語構造 は、ccg2lambda[7]にみられるように意味合成に用い ることができる。しかしながら、構文解析器の性能 を向上するには、人手でアノテーションした専門的 でコストの高いデータが必要となるため、このアプ
ローチには大量のデータを用意するのが難しいとい う欠点が存在する。また言語モデルではないため、単語の埋め込みという形での出力や単語の出現確率 などの確率的な情報は得ることができない。

そのような潮流のなかで、 Recurrent Neural Network Grammars (以後 RNNGs)[1] は、文の統語構造を考慮 した深層学習モデルであり、言語モデルと構文解析器の 2 つの側面を併せ持つ。このモデルは、両方の側面で文脈自由文法 (Context-Free Grammar; 以後 CFG) を用いて統語情報を獲得する。RNNGs は LSTMs に比べ長期的な依存関係が捉えられること が知られている $[8,9]$ 。また、RNNGs が学習する内容は脳波に現れる人間の言語処理の困難さの指標と も対応し、人の文処理モデルとしての妥当性も示唆 されている [10]。

本研究では、RNNGs のモデルで使用する文法を CFG から CCG に変更したモデル (RNN-CCG)を構成・実装することを試みる。この変更には、CCGの 統語構造を獲得し、そのまま意味合成につなげるこ とができるという利点がある。実験を通して、文法 として CFG を使用した場合とどのような違いが生 じるかを検証を行い、CCG 特有の特徴を考慮するモ デル構成や手法を検討する。

## 2 Recurrent Neural Network Grammars

RNNGs は、単語間やフレーズ間のネストした階層関係を明示的にモデル化する言語モデルおよび $\mathrm{CFG}$ 構文解析器である。ここでは構文解析モデル としての振る舞いを例に挙げる。内部では Stack、 Buffer の 2 つのデータ構造が用いられており、初期状態では Buffer に全単語ベクトルが格納されてい る。それらに対する操作は Action として以下のよう に定義される。

-SHIFT: 単語ベクトルを Buffer の先頭から除い て、Stack に追加。

・NT X: 非終端記号 X に対応するべクトルを

図 1 RNNGs のアーキテクチャ

Stack に追加。この時追加される非終端記号 X は、「開いた」状態とされる。
- REDUCE: Stack から、最初に見つけた開いた 非終端記号 Xまでを除く。それらをエンコード した新しいべクトルを生成し、新たな要素とし て Stack に再追加する。

各時点での Stack、Buffer、これまでの Action 履歴は それぞれ LSTMs と RNNs を用いてエンコードされ、 それらをもとに次の Action が決定される形で構文解析が行われる。Stackに対して操作が行われるたび 先頭から計算し直すことは非効率であるため、stack LSTMs[11] という機構を用いて最適化されている。図 1 に示すのは、The hungry cat meows. という例文が すべて正しく解析されている場合において、meows に対応するべクトルを SHIFT することを予測する 際の状態を表したものである。

RNNGs には後続する研究が行われており、いく つかの類似するモデルが存在する。Bufferを廃止 しStackのみを用いた stack-only RNNGs[12]、並列実行を実現しより大きなデータを学習することに 対応した Pytorch 実装モデル [13]、RNNs ではなく Transformer を用いたモデル $[14,15]$ などがあげられ るが、本稿では最もシンプルな形である元論文のモ デル [1] を参照し、構文解析器の側面に着目して実験を行った。

## 3 RNN-CCG

本研究では、RNNGs の再実装である RNN-CFG と、RNNGs で使用する文法を CFG ではなく CCG に替えたモデルである RNN-CCG を実装した。CCG の統語範疇を $\mathrm{CFG}$ の終端記号として扱えば、CCG も句構造文法とみなすことができる。したがって、 CCG を用いた場合でも、Action の判定は多値分類問題として解くことができ、CFG を使用した場合と同様に実装することができる。

## 3.1 組合せ範疇文法 (CCG)

組合せ範疇文法（CCG）[16,17,18] は語彙化文法 の一種である。文脈自由文法のような句構造文法で は統語構造に関わる情報の大部分が書き換え規則 によって記述され、辞書は比較的単純であるのに対 し、語彙化文法では、それらの情報の大部分が辞書 に記述され、組合せ規則は比較的単純であるという 特徴がある。また、CCGによる統語構造は、そのま ま意味合成の計算経路を決定するという大きな利点 をもつ。

文脈自由文法において、The hungry cat meows. を 生成するには以下の規則が必要である。1）非終端記号がこれらの書き換え規則によって、再帰的に書き 換えられることにより文が解析される。

$
\begin{array}{rll}
S & \rightarrow & N P V P \\
V P & \rightarrow & \text { meows } \\
N P & \rightarrow \quad \text { The hungrycat }
\end{array}
$

一方で CCG においては、各語彙は以下のように 定義される。この例の場合には、CCG の組合せ規則 である逆関数適用規則を用いて二つの語彙が組み上 げられ、一つの文となる。

$
\begin{array}{rll}
\text { The hungry cat } & \vdash & N P \\
\text { meows } & \vdash & (S \backslash N P)
\end{array}
$

CCG の組合せ規則の一部を以下に挙げる。

関数適用規則 $: \frac{X / Y Y}{X}>\frac{Y \quad X \backslash Y}{X}<$

関数合成規則 : $\frac{X / Y \quad Y / Z}{X / Z}>\mathbf{B} \quad \frac{Y \backslash Z \quad X \backslash Y}{X \backslash Z}<\mathbf{B}$

## 3.2 RNN-CCG vs. Transformer

RNNGs が登場した当初は BERT[2]、GPT-3[3] のよ うな大規模言語モデルがまだ存在していなかった。 しかし、その後の大規模言語モデルの成功により、言語モデルとしての RNNGs の存在意義は薄れつつ あるように見受けられる。後続する研究 $[14,15]$ は、 RNNGs の後継モデルというよりは、Transformer に 構成素が持つ情報を与えてファインチューニングす

る方法論を採っている。しかし RNNGs には、以下 の 2 つの側面において再評価すべき余地があると考 える。

1. RNNGs も Transformer も、ある箇所に現れる言語表現の情報を、周囲の文脈を使って予測する 点では共通している。しかし、周囲の文脈とし て参与するのは Transformer ではサブワードで あるのに対し、RNNGs では構成素である。そ れによって、RNNGs では「構成素の埋め込み」 が「周囲を予測する情報」を担うことになる。

2. またRNNGs ではある箇所に現れる言語表現と いうのは、サブワードだけではなく構成素であ る。したがって RNNGs ではサブワードの出現 と構成素の出現を区別することなく予測しなけ ればならない。それによって、RNNGsでは「構成素の埋め込み」が「周囲によって予測される 情報」を担うことになる。

結果的に、RNNGsにおける構成素は、同様の環境 に現れうる構成素と近い埋め込みを持つことが期待 される。これによって、RNNGsでは語と句を区別す ることなく捉えることができる。これは Transformer にはない特徴である。

また、構文解析にせよ文生成にせよ、RNNGs は （各構成素の分散表現だけではなく）文全体の統語構造を出力する。これもまた Transformer にはない 特徵である。

RNNGsのこれら二つの特徵を考慮すると、RNNGs において CFG ではなく $\mathrm{CCG}$ を採用することには 2 つの利点があると考えられる。以下順に述べる。

まず 1 つ目の特徴に対して、CCG は CFG と比較 して（等位接続構文や長距離移動構文等を含む）よ り多彩な統語環境において、何が構成素であり何が 構成素ではないのかを適切に切り分けることがで きる。もし RNNGs が採用する文法が CFG ではなく CCG であれば、RNNGs はより妥当な構成素概念を 持つことになり、それに対する分散表現の割り当て もより適切なものになることが期待される。

次に 2 つ目の特徴に対して、CCG は CFG と異な り、意味合成の仕組みを誘導する。すなわち、 $\mathrm{CCG}$ では統語構造と意味合成が準同型の関係にあるた め、CCGでは統語解析に成功すれば意味合成は必ず 成功する、という保障が得られる。これは $\mathrm{CFG}$ に 基づく文法にはみられない利点である。

このように、RNNGs には Transformer ベースの言語モデルにはない二つの特徴があるが、採用する文法理論を CFG から CCG に置き換えることによっ て、この二つの特徵を明確な利点に置き換えること につながると考えられる。

## 4 実験

## 4.1 実験設定

RNN-CFG と RNN-CCG の実装には、Torchの Haskell インターフェースである hasktorch ${ }^{2)}$ を用 いた。学習には、CFGデータとして Penn Treebank $\left.{ }^{3}\right)$ CCG データとして $\mathrm{CCGbank}^{4)}$ を用いた。ど ちらも Wall Street Jarnal コーパスの §2-21を学習デー タ、§24を検証データ、§23を評価データとして使用した。詳細は表 1 の通りである。

実験環境には、産総研 $\mathrm{AI}$ 橋渡しクラウド $(\mathrm{ABCI})^{5}$ の rt_G.large (NVIDIA V100 for NVLink 16GiB HBM2) を1ノード使用した。

## 4.2 実験結果

それぞれのデータでの、いくつかの Action の F1 スコアと、全体の microF1 スコアを表 2,3 に示した。

表 2 CFG での実験結果

表 3 CCG での実験結果

一般的に構文解析器は間違った予測をするとそ れ以降の予測にも影響がでるが、ここでの F1 スコ アの値においては、各タイムステップ以前の予測結果は全て正解データを用いた予測の上で算出して いる。

## 4.3 考察

UNK ラベルの位置づけ学習データに含まれてい

2) http://hasktorch.org/

3) https://catalog.ldc.upenn.edu/LDC99T42

4) https://catalog.ldc.upenn.edu/LDC2005T13

5) https://abci.ai/

ないラベルが評価時に出現した場合は誤った出力結果とした。一般に、出現頻度の低いラベルについて は unknown タグ (以下 UNK) としてまとめてしまうこ とが多い。

この選択肢は、RNN-CFG では問題とならない。 たとえば、本来 $A \leftarrow B, C, D$ という書き換え規則が あるところで、 $C$ の頻度が低くUNK となった場合 は、Stackには $B$, UNK, $D$ が並ぶことになる。これを、 $A$ として REDUCEしたところで、解析としては問題なく、得られる統語構造も正解の近似といった位置づけとなる。

しかし RNN-CCG では、たとえば本来 Stack が $N P, S \backslash N P$ となって REDUCE して $S$ となるべきとこ ろを、仮に NP の頻度が低くUNK となった場合など では、Stackには UNK, $S \backslash N P$ が並ぶことになる。その ような場合には組合せ規則の適用ができず、自動的 に不整合な予測結果となってしまうことを考慮し、本研究では UNK を用いない設定で評価を行った。

RNN-CFG vs. RNN-CCG 各ラベルごとのF1スコ アをみると、RNN-CFG、RNN-CCG のどちらにおい ても、SHIFT、REDUCE、NT S 等、出現頻度が高い Action に関しては正しく予測されていることが多 い。一方で、CFGではハイフンで区切られた小分類 を含む非終端記号、CCGでは/,\を含む統語範疇を 生成する Action などは、学習データにおいて出現頻度が低い傾向にあり精度の低下に繋がっていると考 えられる。

また RNN-CFG と比較して RNN-CCG の microF1 が高い原因として、以下の 2 つが挙げられる。ま ず、RNN-CFG の方が学習データにおいて出現頻度 の低い Action の割合が高いことである。前述した通 り、出現頻度が低い Action は十分に学習されておら ず精度に影響するが、出現頻度が 10 回以下の Action は、RNN-CFG では全 Action の 83.9\%、RNN-CCG で は 67.9\%を占める。次に、RNN-CFG の方が Action 次元数が多いことである。Action 次元数は表 1 の通 りであり、これはそのまま多值分類問題のクラス数 となるため、多い方が難易度の高いタスクとなる。

POSタグについて RNN-CFGでは POS タグは考慮されていない。そのため同じ枠組みで RNN-CCG を実装した場合には、出力された Action 系列から図 1 に示すような構文木を得ることになる。この例に おいて、disclosed の統語範疇は $S[p s s] \backslash N P$ であるこ とが推測されるが、CCG 統語構造の利点である意味合成の経路を得るにはこのような語の統語範疇を補完し、もう一段階解像度の高い統語情報を復元する 必要がある。さらに、were や’nt に関しては統語範疇の補完自体が自明ではなく、意味合成に用いる文法としては現状の RNN-CCG は不十分であると考え られる。

図 1 RNN-CCGで扱われる構文木

## 5 おわりに

本研究では、RNNGs モデルの内部で使用する 言語を CFG から CCGに置き換えたモデルである RNN-CCG を実装し、従来の RNNGs モデルである RNN-CFG と比較実験を行った。その結果、RNNGs を CCGを用いて実装した場合も、CFG を用いた実装と同様の恩恵を得られることが示された。ただ し、 4.3 節で述べたように、文法として CFG ではな くCCG を用いることの利点を生かすためには、更 に解像度の高い出力を得る必要も生じている。

今後の課題としては 2 つ挙げられる。第一に、不整合な出力結果の除去である。RNN-CCG では RNN-CFG と異なり、出力された Action 系列が不整合である場合がある。RNN-CFG では “NT X” で生成されるどのような非終端記号列も、そのような書 き換え規則が存在するとみなせば適切である。しか しRNN-CCG では、組合せ規則を適用できない出力 は不整合な結果であり、意味合成にも用いることが できない。また 4.3 節に述べた通り、単語の統語範疇が出力されないことも構文解析器の出力結果とし ては不十分であり、後続タスクに影響を及ぼす。こ れらの問題への対処は今後の課題としたい。

第二に、出現頻度が低い統語範疇への対応であ る。実験結果が示す通り、出現頻度が低く十分に学習できていない統語範疇は精度が低下する原因であ るため、改善が望まれる。

3.2 節で述べた通り、RNN-CCG は RNN-CFG とは 異なった利点を持つものと考えられる。そのため、構文解析器としての精度を向上させることに加え、 CCG の特徴をより活かしたモデル構成を探ってい きたい。

## 参考文献

[1] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, June 2016.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[3] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. CoRR, Vol. abs/2005.14165, , 2020.

[4] Stephen Clark and James R. Curran. Wide-coverage efficient statistical parsing with CCG and log-linear models. Computational Linguistics, Vol. 33, No. 4, pp. 493-552, 2007.

[5] Mike Lewis and Mark Steedman. A* CCG parsing with a supertag-factored model. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), October 2014.

[6] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. CoRR, Vol. abs/1704.06936, , 2017

[7] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. On-demand injection of lexical knowledge for recognising textual entailment. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, April 2017.

[8] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntax-sensitive dependencies well, but modeling structure makes them better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), July 2018.

[9] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural supervision improves learning of non-local grammatical dependencies. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), June 2019.

[10] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with

beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), July 2018.

[11] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. CoRR, Vol. abs/1505.08075, , 2015.

[12] Adhiguna Kuncoro, Miguel Ballesteros, Lingpeng Kong, Chris Dyer, Graham Neubig, and Noah A. Smith. What do recurrent neural network grammars learn about syntax? In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, April 2017.

[13] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. CoRR, Vol. abs/2105.14822, , 2021.

[14] Laurent Sartran, Samuel Barrett, Adhiguna Kuncoro, Miloš Stanojević, Phil Blunsom, and Chris Dyer. Transformer grammars: Augmenting transformer language models with syntactic inductive biases at scale. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 1423-1439, 2022.

[15] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural guidance for transformer language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), August 2021.

[16] Mark J. Steedman. Surface Structure and Interpretation. The MIT Press, Cambridge, 1996.

[17] Mark J. Steedman. The Syntactic Process (Language, Speech, and Communication). The MIT Press, Cambridge, 2000.

[18] 戸次大介. 日本語文法の形式理論 一 活用体系・統語範疇・意味合成 —. くろしお出版, 2010.


# BERT の教師なし分野適応による数学問題テキスト構文解析の 精度向上要因の分析

吉田琉夏 松崎拓也
東京理科大学 理学部第一部 応用数学科
1419099@ed.tus.ac.jp matuzaki@rs.tus.ac.jp

## 概要

本研究では，BERT の分野適応によって数学テキ ストの構文解析精度が向上する要因およびその限界 を明らかにする。また，BERT の分野適応の効果は 分野固有のサブ言語である数式を表現する方式に依存することを示し，適切な方式を明らかにする。

実験の結果，BERT の分野適用を行う場合，数式全体を専用の特殊トークンで置き換える方式が最も 構文解析精度が高く, 分野適応を行わない場合に比 べて約 4 ポイント向上した. また，このとき数式を 含む構造に関する誤りが多く改善されていた。一方 で， fine-tuning に用いた新聞係り受けコーパスでの 出現頻度が低い構造に関する誤りは，BERT の分野適応のみでは改善されにくいことがわかった.

## 1 はじめに

数学テキスト・法律・技術文書など，読解に一定 の専門知識が必要になるテキストの構文アノテー ションは，高コストである。一方で，近年 BERT の 使用により高精度な係り受け解析が実現できること が示され [1], さらに, BERT の事前訓練に構文解析 の対象とする分野のテキストを用いることの有効性 が示されている [2]. そこで本研究では, 構文注釈付きデータが不要な BERT の分野適応のみによっ て，数学テキストの解析精度がどこまで向上するか を分析する．具体的には，数学テキストの文節単位 の係り受け解析において，Wikipedia のみで事前訓練した BERT を用いる場合と数学テキストでの事前学習を追加で行う場合を比較した。

また，数学テキストにはサブ言語である数式が頻出する. 数式はメイン言語, 例えば日本語とは語彙 も文法も全く異なるため，メイン言語のトークンと 同列に扱って BERT に入力するのが適切であるか 否かは不明である. 同様なことは化学式など分野固有のサブ言語を含む種々のテキストでも起きる。そ こで本研究では，BERT を数学テキストに適用する 際の数式の表現として，数式全体を 1 つの未知語 トークンで表す場合，新たに追加した特殊トークン で表す場合，数式に現れる記号を BERT の語彙に加 える場合，数式を数式専用 BERT に入力したときの [CLS]ベクトルで表す場合の 4 つを比較した.

実験の結果，BERT の分野適用を行う場合，数式 を専用の特殊トークンで表す方式が最も係り受け解析精度が高く, 分野適応を行わない場合に比べて約 4 ポイント向上した. しかし, さらに係り受け注釈付き数学テキストを訓練に使用した場合と比べると なお約 3 ポイントの差がある.

そこで，(1)BERT の分野適応によって改善する誤 りと (2)注釈付き数学テキストを用いた訓練によって のみ改善する誤りについて分析した. その結果，(1) では，数式を含むことが多い構造に関する誤り，(2) では，注釈付き新聞テキストでは低頻度な構造の誤 りが多く改善されることがわかった.

## 2 方法

本稿で比較する係り受け解析手法では全て東北大学が公開している Wikipedia での事前学習済み BERT-base モデル [3]（以下，東北大 BERT と呼ぶ） を用いた。そして，以下の 3 点について次節の表 3 の様に組み合わせた計 6 つの解析モデルを作成した:

1. 数学生テキストを用いた追加の事前訓練の有無
2. 4 つの数式表現方式のいずれを用いるか

3. 係り先予測の fine-tuning において，新聞に加え て数学係り受けデータを用いるか否か

## 2.1 使用データ

数学生テキストとして，1957 年〜2020 年の大学入試問題を収集し，数式を MathML 表記したもの [4]（以下，MRaw と表記）を用いた。注釈付き新聞
表 1 使用データのサイズ. 数式\%は各数式を 1 つの形態素と数えたときの全形態素に占める数式の割合

表 24 つの方式による数式を含む入力の表現の例

テキストとしては，京都大学テキストコーパス Ver. 4 （以下，KTC）[5]を用いた. 注釈付き数学テキスト としては，1997 年〜2011 年のセンター試験と 1994 年 2014 年の国立大学 2 次試験数学問題に KTC と 同じ基準で係り受け構造を付与したもの（以下， MDep）を用いた。

## 2.2 数式の表現方法

数式の表現として，以下の 4 つを比較した．表 2 にそれぞれの例を示す.

[UNK] 数式全体をまとめて東北大 BERT の語彙の 未知語トークン [UNK] で表す

[MATH] 新規追加した特殊トークン [MATH] で表す Mixed 数式に現れる個々の記号（以下，数式ト一 クン）を語彙に加え，日本語のサブトークンと 数式トークンが混じった列に BERT を適用する

ExprBERT 数式トークン列を数式専用 BERT に入力したときの [CLS] ベクトルを数式に対応する 単語埋め込みとして東北大 BERT に入力する

数式トークン列は，アルファベットや演算子，上付 き・下付きを表す記号等からなる LaTeX 風の記法 である．数式トークンの語彙サイズは 241 で，例え ば， $a_{n}=n^{2}+100 n$ であれば

$
a,-\{, n,\},=, n,^{\wedge}\{, 2,\},+, 100, n
$

のように表す. 数式専用 BERT の構成は BERT-base と同一である.

## 2.3 BERT の分野適応の手順

東北大 BERT を初期値とし，MRawを訓練デー タとする Masked Language Modeling (MLM) タスクに よって BERT の分野適応を行った. タスクの設定は Devlin ら [6] に従った. 数式の表現として ExprBERT

1） $\mathbf{e}_{1}, \mathbf{e}_{2}$ はそれぞれ対応する数式トークン列を数式専用 BERT に入力したときの [CLS] ベクトルを表す
を用いる場合は，マスクしたトークンを予測する代 わりに，東北大 BERT の単語埋め込みおよびミニ バッチ中の数式に対する数式専用 BERT による埋め 込みの中から，マスクしたトークンないし数式に対応するべクトルを選択するタスクとした。

## 2.4 係り受け解析モデル

Dozat と Manning[7]の Biaffine モデルを BERT と組 み合わせて文節単位の係り受けに適用した. Biaffine 関数への入力ベクトルは，係り元の文節の語形およ び係り先候補の主辞に相当する形態素それぞれの先頭のサブトークンに対する BERT の出力ベクトルと した. 主辞・語形の定義は文献 [8] に従った.

## 2.5 係り先予測 fine-tuning の手順

訓練データとして KTC，あるいは KTC と MDep を連結したものを使用して係り先予測タスクへの fine-tuning を行い，評価データとして MDep を用い た. 訓練データとして KTC のみを用いる場合は， その 1 割を検証データとし，KTCと MDepを連結し たものを用いる場合は，MDepの 1 割を検証データ，残りを訓練データとし，MDepを 5 分割した交差検証で評価した。

## 3 実験結果

表 3 亿，事前訓練データ・係り受け訓練データ・数式の表現方式の 6 つの組み合わせに対する評価結果を示す. 全体に対する精度に加え，数式を含む 文節を MATH，含まない文節をWORD と表すとき，係り元一係り先の 4 つのパターンごとの $F_{1}$ スコア を示した. Biaffine 関数の出力に基づく係り先予測 の結果が交差する係り受け関係を生じるケースは極 めて少なかったため, CKY 等の解析アルゴリズム は用いず，係り先予測の結果を評価した。

表 3 より，構文解析済みデータが存在しない場合 であっても，数学問題データで MLMを行うことに よってどの数式表現方式でも精度が向上しているこ とがわかる．特に数式を $[\mathrm{MATH}]$ で表す場合は，数式を [UNK] で表す場合に比べて約 4 ポイントの精度向上を達成しており，とりわけ MATH $\rightarrow$ MATH 型の $F_{1}$ スコアは約 11 ポイントも向上している.

BERTの分野適応のみを行う場合，ExprBERT， Mixed, [MATH] の 3 つの数式表現方法を比較する と, [MATH] の結果が最も良好で, 次いで Mixed, ExprBERT の順になっている. しかし，数式を
表 3 事前訓練データ・係り受け訓練データ・数式の表現方式の 6 つの組み合わせに対する評価結果

 &  &  &  &  &  &  &  \\

表 4 BERT の分野啇応により改善した誤りの内訳

$[\mathrm{MATH}]$ と表す場合であっても BERT の分野適応の み行う場合と，さらにMDepを用いて訓練する場合 との間で約 3 ポイントの精度の差が生じている.

## 4 誤りの改善例の分析

BERT の分野適応による構文解析精度の向上の要因およびその限界を明らかにするために，誤りの改善例を分析した，具体的には，事前訓練データ：係 り受け訓練データ : 数式表現の組み合わせを

設定(1) = Wiki : KTC : [UNK]

設定(2) = Wiki+MRaw : KTC : [MATH]

設定(3) = Wiki+MRaw : KTC+MDep : [MATH]

と名付けるとき，設定(1)から設定(2)で改善される誤 り (\$4.1)，および設定(2)から設定(3)で改善する誤り (\$4.2) について 5 分割交差検証のうちの 1 つ分から 改善された誤りを 100 個サンプリングし，分析し た. 実際の改善例は付録 §6 に示す。

また，数式を $[\mathrm{MATH}]$ で表す単純な方式が，数式 の構成要素まで考慮する方式を上回った理由を探る ため, $[\mathrm{MATH}]$ 方式および ExprBERT による数式の 埋め込みを観察した (\$4.3).

## 4.1 BERT の分野適応による改善例の分類

設定(1)から設定(2)で改善した誤りを分類した結果 を表 4 に示す. 表中の並列された数式との同格関係 の誤りとは，下図の様に，並列された数式のタイプ を表す名詞が，正しい係り先である最後の並列要素 に係らない誤りのことである。3)

2） Wiki は Wikipedia の略である.数式の並列の解析誤りとは，並列要素が，右隣の 並列要素に係らない誤りのことである:

ガ格を持たない命令形に関する誤りとは, 命令形 にガ格あるいは無格の名詞が係る誤りである．特に 並列された数式の一部が命令形に係る誤りが改善さ れた例が複数見られた。

これらの誤りが改善された理由として以下が予想 される。まず，Wikipedia では未知語トークンは点在して出現しやすいのに対し，特殊トークンを用い た MLM により，数式同士が近くに出現しやすいこ とが学習される。さらに，KTCによる係り受け訓練 で，近接する同種のトークンは，並列関係になりや すいことが学習されることで数式の並列を含む構造 が正しく解析されやすくなる.

## 4.2 数式係り受けデータによる訓練でのみ 改善した例の分類

設定(2)から設定(3)で改善した誤りを分類した結果 を表 6 に示す.「 「A は $B$ とする」型の誤りは，「A は」の文節が，「する」に係ってしまい，「A $B$ と (ともに何かを) する」という誤った解釈に対応する 構造となるものである: ${ }^{4)}$

条件が命令形に係る誤りとは，下図の様に「条件 が成り立つとき(のみ)～せよ」という誤った解釈に 対応する構造を出力する誤りである:

3）この項の図では，黒矢印は正解，赤矢印は設定(1)，青矢印 は設定(2)で出力される係り受け関係を表す。

4）この項の図では，黒矢印は正解，赤矢印は設定(2)，青矢印 は設定(3で出力された係り受け関係を表す.
表 5 異なる数式表現による数式埋め込みの比較

表 6 数式係り受けデータを用いた訓練で改善した 誤りの内訳

部分並列の解析誤りとは，「父は山，母は海が好 きだ」の様な構造における解析誤りである:

§4.1と $\$ 4.2$ で共通して多く見られた並列に関する 誤りの改善例を比べると， 84.1 の改善例の多くでは 並列要素が $2 \sim 3$ 個であるのに対し, $\$ 4.2$ の改善例で は並列要素をそれ以上含むものが多かった. 表 7 に KTC と MDep における読点で区切られた名詞並列中の要素数の分布を示す. この形の並列は KTC で は MDepに比べ少数で，かつ並列要素が少ないもの が主である. このため, 多数の要素からなる並列構造に関する誤りは MRaw での MLM と KTC での訓練のみでは十分に改善できなかったと考えられる。

$「 A$ は $B$ とる」型の誤りおよび条件が命令形に 係る誤りは，正解・誤りいずれの構造も文法的にあ りうるが，数学テキストで主である解釈に対応する 方の構造が，新聞では出現しにくいため，MDep で の学習によりはじめて改善されたと考えられる.

また，部分並列の解析誤りは，この構造が KTCで は $1 \%$ 未満の文しか出現しないのに対し, 数学テキ ストでは頻出すること，さらに「母は海が好きだ」 に対する正しい構造が「父は山，」が付加されること
で誤りになるという特殊性により，KTC のみでの係 り受け訓練では改善されにくかったと考えられる。

## 4.3 異なる数式表現による数式埋め込みの 比較

数式を [MATH] で表す単純な方式が，数式の構成要素まで考慮する方式を上回った理由を探るため， [MATH] 方式および ExprBERT による数式の埋め込 みを観察した。表 5 に，(1) “ 2 次関数 $y=a x^{2}+b x+c$ の..."および $(2)$ “. .2 点 $(0,4),(2, k)$ を...”の下線部の数式を，文脈とともに設定(2)の BERT に入力し た時と，文脈なしで ExprBERT に入力した時に得ら れる埋め込みと $\cos$ 距離が近くなる入力を示した.

表 5 より，入力 (1)に対しては，ExprBERTによる 数式埋め込みでは， 2 次関数に加え 3 次関数の埋め 込み，[MATH] 方式では，2 次関数との類似度が高 いことが分かる。 入力 (2)に対しては, ExprBERTに よる数式埋め込みでは，座標の埋め込み，[MATH]方式では，点を表す変数との類似度が高いことが分 かる.5)

これらの例より，[MATH] 方式による数式埋め込 みは，係り受け解析を目的とする場合，数式の特徴 を十分に捉えていることがうかがえる. よって，数式の表現が単一の特殊トークン [MATH] であって も，文脈によって数式同士の類似度が予測できるた め，より複雑な ExprBERT による数式埋め込みと同等以上の効果があったものと思われる。

## 5 おわりに

BERT の分野適用を行う場合，数式を専用の特殊 トークンで表す方式が最も構文解析精度が高いこと がわかった. さらに，BERT の分野適用のみで，数式を含む構造に関する誤りが多く改善されることが わかった。しかし， fine-tuningに用いた注釈付き新聞テキストで低頻度な構造は改善されにくいことが わかった。
$ 座標のみの数式である.
}

## 謝辞

数学問題テキストを提供頂いた広松芳紀様および 数学テキスト係り受けデータを提供頂いた「ロボッ トは東大に入れるか」プロジェクトの皆様に深く感謝いたします.

## 参考文献

[1] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, 2019.

[2] Jenna Kanerva, Filip Ginter, and Sampo Pyysalo. Dependency parsing of biomedical text with bert. In BMC Bioinformatics, 2020.

[3] https://github.com/cl-tohoku/ bert-japanese.

[4] 広松芳紀. 大学入試数学問題集成, 2022. https: //mathexamtest.web.fc2.com/index.html.

[5] 黒橋禎夫, 長尾眞. 京都大学テキストコーパス・ プロジェクト. 言語処理学会 第 3 回年次大会, pp. 115-118, 1997.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In North American Chapter of the Association for Computational Linguistics (NAACL), 2019.

[7] Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings, 2017.

[8] 工藤拓, 松本裕治. チャンキングの段階適用に よる係り受け解析. 情報処理学会, 2002.

## 6 付録

## 6.1 BERT の分野適応の手順

パラメータ最適化の最大エポック数は 50 で，検証データに対するロスが最小になるエポック数を選んだ. ミニバッチサイズは 16 とした. 最適化手法として AdamW を用い，学習率は $5 \times 10^{-5}$ とした.

## 6.2 係り先予測 fine-tuning の手順

最大エポック数を 5 とした以外は 86.1 と同じ設定でパラメータ最適化を行った.

## 6.3 BERT の分野適応により改善した誤りの実例

以下では，黒矢印は正解，赤矢印は設定(1)，青矢印は設定(2)で出力された係り受け関係を表す.

図 1 並列された数式との同格関係に関する誤りの実例 1

図 2 並列された数式との同格関係に関する誤りの実例 2

図 3 数式の並列の解析誤り

図4 ガ格を持たない命令形に関する誤り

## 6.4 数学係り受けデータを用いた訓練で改善した誤りの実例

以下では，黒矢印は正解，赤矢印は設定(2)，青矢印は設定(3で出力された係り受け関係を表す.

図 $5 「 A$ は $B$ とする」型の誤り，部分並列の解析誤りの実例

図 6 条件が命令形に係る誤りの実例


# 実世界の文書に対する構文解析器の疑似評価

金山博宮本 晃太郎
日本アイ・ビー・エム株式会社東京基礎研究所
\{hkana,kmiya\}@jp.ibm.com

## 概要

本研究では、構文解析器の実応用上での性能を、 ドメイン特有の名詞句の構造に着目して推定する手法を示す。構文構造を付与したコーパスに比して、当該ドメインの専門用語のリストは低コストで取得 でき、それらが部分木を形成するかをもって、解析器が重要な句を認識する能力を調べる。これによっ て、ドメインに特化した観点で複数の解析器の性能 を比較することや、実用性を大きく損なう現象に注目して解析器をチューニングすることが可能とな る。2つのドメインで 5 つの解析器の性能を測る実験では、一般のベンチマーク上のスコアとは異なる 傾向が観測され、実用の観点で考慮すべき点が示唆 された。

## 1 はじめに

文区切り・単語区切り・品詞タグ付け・依存構造解析などを行う自然言語の解析器はさまざまな 場面で利用されており、Universal Dependencies (UD) $[10,9]$ など各言語のリソースが整備され、学習や評価に使われるようになった。しかし、実応用の場面 で入力される文書は、特殊な語彙や文体を含むこと が多く、それらに対して既存の解析器が好適な結果 を出力できているとは限らない。例えば、自動車の 不具合の報告の中の文 (1) ${ }^{1}$ は、(1a) の構造2) を持ち、 このように “check engine light” が複合名詞句として 認識されれば、事物と動作の関係が抽出できて、現象の把握に役立つ。

(1) Check engine light came on.

しかし、ある解析器の出力では (1b) のように、

1）「エンジンを確認せよという警告が点灯する」の意。

2） comp. は compound ラベルを示す。 “check”が動詞とタグ付けされることにより名詞句 の部分が部分木を構成せず、文全体の構造が乱れて いた。これは後段の処理の大きな障害となりうる。

*(1b)

このように特定の分野の文書に対して解析器を適用して、意味役割付与 [1] や評価表現抽出 [6] などの 後段の処理をする局面で、現存する解析器が充分な 性能を出せているだろうか。その性能は UD のコー パス上でのベンチマークによって測ることができて いるだろうか。特に、複数の解析器やその様々なモ デルのうち最も適したものを用いたい時に、どれを 選択すれば望ましい出力が得やすいか。これらの質問に答えるための正確な測定には、当該分野の文書 に構文構造を付与したコーパスを用いることが望ま しいが、そのようなコーパスは存在しないし、それ を逐一作成するコストは膨大である。

一方で、テキストマイニングの運用の局面では、 しばしば当該分野で検索や分析の対象となる辞書 を作成したり [7, 13]、既存のオントロジーを流用す るなどして、名詞句や固有名詞が列挙されたリソー スが存在することが多い。文 (1)における“heck engine” ないし “check engine light”がそれに該当す る。これらの句が当該分野の文書中に現れた場合、 (1a) のように構文木の中で部分木を構成するはず である。一方、(1b) のように句が分断されている場合、解析器の明らかな出力誤りである場合が多い。

本論文では、分野特有の名詞句に対する解析結果 の構造を調べることによって、構文構造のアノテー ションに頼らずに解析器の実応用における性能を推定する方法を提案する。これによって、一般のベン チマーキングとは異なり、実応用の観点で複数の解析器の性能を比較することや、実用性を大きく損な う現象に絞って解析器のチューニングを行うことが できるようになる。
表 1 分野名詞句の例。

## 2 分野名詞句辞書

いわゆる複数語表現（MWE）で名詞的なもの [3] のうち、特定の分野で頻出する専門用語や固有名詞 をここでは分野名詞句と呼ぶ。表 1 に、自動車の不具合のレポートと、サービスの契約書の各ドメイン の分野名詞句の例を示す。分野名詞句は次のような性質を持つ。

1. 専門用語や固有名詞のリストであるため、これ らの語が文書中の表層上に現れた場合は、曖昧性が少なく、文脈により異なる解釈がされるこ とは稀である。

2.これらの語は、情報検索や関係抽出など、当該分野の文書を処理する上で重要であり、品詞タ グ付けや構文解析に失敗すると、構文解析結果 の有用性が大きく損なわれる。

それらを列挙した辞書のことを、分野名詞句辞書と呼ぶ。分野名詞句辞書は、各分野の専門家が分析等の目的で既に作成済であることが多く、そうで なくてもテキストマイニングにより頻出する語やフ レーズを集計するなどで半自動的に構築したり、重要キーフレーズの教師なし学習 [4] により獲得する ことができるなど、その構築自体に大きなコストは かからないという状況を想定している。

## 3 名詞句の構文構造

2 節で示した分野名詞句が、特定の分野の文の構文解析結果の中でどのような構造になっていると望 ましいか、逆にどのような構造が出力されたら解析 に失敗していると推定されるかを考える。そのため に、分野名詞句と表層が一致した部分の構文木の形 を以下の 6 種類に分類する。

right 分野名詞句の多くは、例 (2) の “safety concern” の部分 ${ }^{3}$ のように、compound のラベルで結ばれ

3）分野名詞句辞書に含まれる複合語と符合した部分を四角の 枠で示す。
る複合名詞となっている。このように、分野名詞句の中で、最も右の語が主辞であり、その中 の他のすべての語が名詞句内の語に係っている 形を right と呼ぶ。

(2)

left 固有名詞の場合、(3)のように、flat や nummod のラベルで左側が主辞となる構造となることが 一般的である。このように、最も左の語が主辞 であり、その他の語が名詞句内の語に係る形を left と呼ぶ。

(3)

mid 3 語以上からなる分野名詞句の場合、それら の組み合わせにより、(4)のように主辞が中間 に位置することがある。この形を mid と呼ぶ。

(4)

same 分野辞書にある名詞句が、さらに大きな名詞句の一部として出現する場合がある。構文解析器の出力 (5) では、“warning light” が分野名詞句として検出された。しかし “warning light message”がより大きな複合名詞であり、解析結果でも “warning”と “light” の双方が “message” に compound ラベルで係る形となっていること から、“warning light”に着目すると、その中で 係り受けが閉じていない。厳密には “warning” と “message” の係り受けは正しくないが、名詞句の内部構造を正確に捉えることは難しく4)、 “warning light message” が部分木を成せば全体の 構文構造に破綻をきたすほどではないと考え て、エラーとしては検出しないこととする。こ のように、分野名詞句のそれぞれの語が外側の 同じ語に係っている構造を same と呼ぶ。

4）UD のコーパスの中でも、 3 語以上の flat や compound の内部構造は詳細にアノテートされていない。

図 1 other となる例。分野名詞句 “stop light” の構造が分断されている。

conj 並列句において、名詞句の構造が分断される 場合も考慮する。(6) では、“repair shop”が分野名詞句であるが、“dealer”と “repair”が並列構造 をなして“shop”に係る構造となっており、左側主辞の原則により係り受けが分断されている が、これは構文構造として正しい。このような 場合、“dealer shop”が分野名詞句辞書にあるな ら、並列構造が正しいとみなして、解析誤りで はないと判定する。このようなケースを conj と 呼ぶ。

(6)

other これまでの分類に属さないものが other であ る。(1b)のように品詞タグ付けの誤りに起因す るものや、図 1 のように名詞句が分断される場合などが該当し、これらを潜在的に重大な解析誤りであると捉える。

また、(7) の並列構造では、検出された分野名詞句 “steering wheel” の構文構造が分断されて いるが、これは “truck”と“steering”が並列とみ なされるという誤った解析結果によるものであ る。“truck wheel”という語が分野名詞句辞書に 無いことから、これも other に分類され、解析誤りであるとみなせる。

*(7)

## 4 評価実験

本節では、英語の 2 つの分野を題材に、 3 節の基準で other と分類される分野名詞句の潜在的な解析誤りの量を調べることによって、当該分野における 解析器の有用性を評価する。また、一般のベンチ マークと比較して、各解析器の評価結果の傾向にど のような差異があるかを調べる。表 2 解析器 $A \sim E$ の単語区切り (Words) ・品詞タグ付け (UPOS) ・係り受け解析 (UAS, LAS) の精度 (F1 值) を UD_English-EWT コーパスで測定したもの。

## 4.1 分野のデータ

まず、自動車分野のデータとして、National Highway Traffic Safety Administration (NHTSA) [2] が収集・公開している「Consumer Complaints」 5)のうち の 10,000 レコードを用いた。

また、法的契約文書のデータとして、CUAD [5] データセット6）のうちの「2020」ディレクトリから 抽出された 10,000 レコードを用いた。

分野名詞句辞書として、自動車分野では分析に用 いていた既存の辞書にある 3,942 個の名詞句を活用 した。契約書分野では文書集合中で連続して単語の 先頭が大文字で書かれる頻度が高い名詞句 924 個を 抽出した。それらの例は表 1 に示した通りである。

## 4.2 解析器

英語の解析器として、ここでは、UDPipe 2 [12] の UD_EWT 2.6 モデル、Stanza 1.0.0 [11]、Trankit 1.0 .0 [8]、および 2 つの内製の解析器を含めた 5 つを比較 する。なお、各解析器の優劣を議論することは本論文の趣旨ではないので、以下ではこれらの順序を変 えて解析器 $A \sim E$ と表記する。

これらの解析器をUD_English-EWT のテストデー タで評価した結果を表 2 に示す。品詞タグ付け・依存構造解析とも、B, D, E の值が高い。UAS, LAS が 最も高い B は単語区切りの性能の高さによることも あり、D, E と本質的な性能に大きな差はない。

EWT コーパスにはさまざまな特殊な現象がある

5) https://www.nhtsa.gov/nhtsa-datasets-and-apis\# complaints

6) https://paperswithcode.com/dataset/cuad
表 3 各解析器の自動車分野での名詞句の構造の頻度。括弧は other となる割合を示す。

表 4 契約書分野での名詞句の構造の分類。

ことが知られており [14]、UD のベンチマークと実応用での有用性には乘離がある可能性がある。この 後の評価では分野のコーパスを用いて検証を行う。

## 4.3 評価結果

表 3 と表 4 に、 2 つの分野の文書での分野名詞句 の構造の頻度を示す。other となる場合が潜在的な 解析誤りであるとして、その割合を付記してある。解析器 A を除いて両分野で right が $90 \%$ を超えて いる通り、分野名詞句の大半は複合名詞として認識 されている。A では他よりも left ・ mid が多いが、複合名詞が左主辞の固有名詞と解釈される場合がほと んどで、それらは分析に大きな支障はない。解析器 C は same が多く、より広い範囲の複合名詞と捉え る傾向がある。

other の割合は契約書のほうが多い。フォーマル な文体ではあるものの長い文が多いことから解析が 難しいことがわかる。また、conj の頻度に並列句の 多さが現れている。

これらを表 2 で見た性能と比較すると、解析器 C は LAS のスコアが最も低いのに other の割合は小さ く、特に契約書分野ではエラーの割合が最も低い。契約書分野では UD 上の係り受けの誤り率7) と other の割合が負の相関を持っており、解析器の実データ 上での性能は UD-EWT でのベンチマークでは測定 できていないといえる。

表 5 各構造と実際の誤りの関係。

表 6 誤りの頻度の多い分野名詞句の例。

## 4.4 擬似評価の妥当性

other の検出による性能の評価が妥当であるかを 知るために、各カテゴリの名詞句の構文構造が実際 に正しいかどうかを、自動車分野の文に対する解析器 $A \sim E$ の解析結果から 40 件ずつサンプリングして 調査した。表 5 にその結果を示す。これより、other の分類によって分野名詞句の誤りを検出することの 適合率は $95 \%$ (=2/40)、再現率は各カテゴリの頻度 を考慮して $78.4 \%(=(49.8 / 40) /(63.5 / 40))$ と計算さ れ、簡単な方法でありながら名詞句周辺の解析誤り を正しく捉えられているといえる。

## 4.5 誤りの典型例

表 6 に、解析器 A が各分野で other となった分野名詞句のうち頻度が高いものを示す8)。自動車分野 では “warning”や“steering” などが動詞とみなされる ことによる誤りが目立つことなどがわかり、複合語 を集約して一語とみなすなどの前処理によって解析誤りを防ぐことができる。契約書分野でも、解析に 支障をきたす専門用語が見出された点が興味深い。

## 5 まとめ

本論文では、実応用上での解析器の性能を、分野特有の名詞句の解析結果に着目して推定する手法を 示した。これにより、新たなコーパスを作成するコ ストをかけずに、一般のベンチマークとは別の観点 で、当該分野の文書の解析において最も好ましい解析器やモデルを選択することができるようになっ た。また、後段の処理で致命的になりうる典型的な 誤りを検知することができて、有用な解析器を実現 するための示唆が得られた。

## 参考文献

[1] Xavier Carreras and Lluís Màrquez. Introduction to the CoNLL-2005 shared task: Semantic role labeling. In Proceedings of the ninth conference on computational natural language learning (CoNLL2005), pp. 152-164, 2005.

[2] Monica G. Eboli, Catherine M. Maberry, Ian A Gibbs, and Ramsi Haddad. Detecting potential vehicle concerns using natural language processing applied to automotive big data. In Proceedings of the 26th International Technical Conference on the Enhanced Safety of Vehicles (ESV), 2019.

[3] Meghdad Farahmand, Aaron Smith, and Joakim Nivre. A multiword expression data set: Annotating non-compositionality and conventionalization for English noun compounds. In Proceedings of the 11th Workshop on Multiword Expressions, pp. 29-33, Denver, Colorado, June 2015. Association for Computational Linguistics.

[4] Xiaotao Gu, Zihan Wang, Zhenyu Bi, Yu Meng, Liyuan Liu, Jiawei Han, and Jingbo Shang. UCPhrase: Unsupervised context-aware quality phrase tagging. In KDD'21: The 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, August 14-18, 2021, Vol. 2021, 2021.

[5] Dan Hendrycks, Collin Burns, Anya Chen, and Spencer Ball. CUAD: An expert-annotated NLP dataset for legal contract review. In J. Vanschoren and S. Yeung, editors, Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks, Vol. 1, 2021.

[6] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clause-level Sentiment Detection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 40634073, 2020.

[7] Tetsuya Nasukawa and Tohru Nagano. Text analysis and knowledge mining system. IBM Systems Journal, Vol. 40, No. 4, pp. 967-984, 2001.

[8] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A light-weight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 80-90, Online, April 2021. Association for Computational Linguistics.

[9] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, Marseille, France, May 2020. European Language Resources Association.

[10] Joakim Nivre and et al. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of LREC, Portorož, Slovenia, 2016.

[11] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[12] Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing UD 2.0 with UDPipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, Vancouver, Canada, August 2017.

[13] 那須川哲哉, 吉田一星, 宅間大介, 鈴木祥子, 村岡雅康, 小比田涼介. テキストマイニングのた めの辞書構築, 第 2 章, pp. 27-58. テキストマイ ニングの基礎技術と応用. 岩波書店, 2020.

[14] 金山博, 大湖卓也. UD_English-EWT との付き 合い方. 言語処理学会第 28 回年次大会予稿集, March 2022.


# 平仮名 BERT を用いた平仮名文の分割

井筒順 1 古宮嘉那子 2 新納浩幸 3
1 茨城大学大学院理工学研究科情報工学専攻 2 東京農工大学工学研究院
3 茨城大学大学院理工学研究科情報科学領域
21nm707h@vc.ibaraki.ac.jp kkomiya@go.tuat.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

既存の日本語の形態素解析システムの性能は非常 に高いが、これらシステムは漢字仮名混じりの文を 対象にしているため、平仮名で書かれた文を単語分割することは難しい。本論文では漢字以外の文字、 つまり平仮名、数字、記号からなる文字べースの unigram BERT と bigram BERT を作成し、これらを利用して二種類の平仮名文の単語分割システムを構築 した。これらを KyTeaを利用した平仮名分割システ ムと比較したところ、unigram BERTによる平仮名分割システムの性能が最も高くなったことを示す。

## 1 はじめに

日本語には $\mathrm{MeCab}^{1)}$ や Chasen ${ }^{2}$ 等の形態素解析シ ステムが存在している。これらのシステムの性能は 非常に高いが、漢字仮名混じりの文を対象にしてい るため、ほとんど全てが平仮名で書かれた文3)を単語分割することは難しい。

日本語初学者が最初に習得するのは平仮名であり 平仮名で構成された文章を読む機会が多い。しかし 平仮名で構成された文章を滞ることなく読むことは 日本語の母語話者であっても難しい。

本稿では BERT を利用した 2 種類の平仮名文の分割システムを作成しその性能評価を行う。さらに、 $\mathrm{KyTea}^{4)}$ を用いた平仮名文 KeyTea 単語分割システム を作成し、作成した 2 種類の BERT による平仮名文 の単語分割システムと比較する。

## 2 関連研究

工藤ら [1] は，平仮名交じり文が生成される過程 を生成モデルを用いてモデル化した。そして、その

1) https://taku910.github.io/mecab/

2) https://chasen-legacy.osdn.jp

3）数字や記号は含まれている。

4) http://www. phontron.com/kytea/
パラメータを大規模 Webコーパスと EM アルゴリズ ムで推定することで、平仮名交じり文の解析性能を 向上させる手法を提案している。また、林ら [2] は 平仮名語の単語を辞書に追加することで形態素解析 の精度が向上することを報告している。井筒ら [3] は $\mathrm{MeCab}$ の ipadic 辞書を平仮名に変換し、平仮名 のみで構成されたコーパスを用いることで平仮名の みの文での形態素解析を行っている。さらに、井筒 ら [4] は Bi-LSTM CRF モデルを用いた平仮名文の形態素解析を行い、複数のジャンルの文に対して複数回、学習とファインチューニングを行うことで形態素解析の性能にどのように変化を与えられるかを報告している。また、森山ら [5] は RNNLMを用いた べた書きかな文の形態素解析を行ない、その性能が 単語分割と単語素性の全てを正解とする最も厳しい 基準において従来手法を有意に上回ることを報告し ている。さらに、森山ら [6] は RNN とロジスティッ ク回帰を用いた平仮名文の逐次的な形態素解析手法 を提案し、平仮名文における形態素解析の性能向上 とシステムの高速化を報告している。

分野に特化した BERTを作成する研究として代表的なものには鈴木ら [7] の研究がある。これは、金融文書を用い金融に関する文に特化した BERTを作成したことを報告する論文である。鈴木らは、汎用言語コーパスを用いて事前学習を行った BERT モデ ルに対して、金融コーパスを用いてファインチュー ニングを行うことが有効であるかの検証を行なって いる。

本論文は井筒 $[8]$ を再実験し、追加実験と考察を 加えたものである。

## 3 提案手法

本稿では平仮名文に特化した 2 種類の平仮名 BERT モデルを生成し、それぞれを利用して平仮名文の単語分割システムを作成した。平仮名 BERT モ

デルのうち、1つ目のモデルは unigram BERT モデ ルである。これは平仮名の文字 unigram で構成され た文集合を事前学習に利用して生成した BERT モデ ルである。2つ目のモデルは bigram BERT モデルで ある。これは平仮名の文字 bigram で構成された文集合を事前学習に利用して生成した BERT モデルで ある。我々は上記 2 つのモデルを平仮名文の単語分割のデータを使ってファインチューニングすること で、平仮名の文の単語分割システムを作成した。本研究では、これら 2 つの平仮名文の単語分割システ ムの $\mathrm{F}$ 值を比較する。さらに、KyTeaによる平仮名文の単語分割のモデルを作成し、上記 2 つの平仮名文の単語分割システムの $\mathrm{F}$ 値と比較する。

## 3.1 unigram BERT 単語分割システム

unigram BERT は、事前学習用データとして平仮名 の文字 unigram で構成された文を利用した BERT モ デルである。Wikipedia の漢字仮名交じり文を平仮名に変換し、さらに文字 unigram に分かち書きした データを事前学習用のデータとして使用した。この unigram BERT に対し、平仮名文の単語分割のデー タを使ってファインチューニングすることで、平仮名文の単語分割システムを作成した。これを以降、 unigram BERT 単語分割システムと呼ぶ。

## 3.2 bigram BERT 単語分割システム

bigram BERT は、事前学習用データとして、平仮名の文字 bigram で構成された文を利用した BERT モデルである。Wikipedia の漢字仮名交じり文を平仮名に変換し、さらに文字 bigram に分かち書きし たデータを事前学習用のデータとして使用した。こ の bigram BERT に対し、平仮名文の単語分割のデー 夕を使用してファインチューニングをすることで、平仮名文の単語分割システムを作成した。これを以降、bigram BERT 単語分割システムと呼ぶ。

4

## データ

## 4.1 Wikipedia による事前学習用データ

2 種類の平仮名 BERT を作成するための事前学習

本データの作成方法は以下である。まず、 Wikipedia の漢字仮名交じり文を MeCabを利用して

5) https://dumps.wikimedia.org/jawiki/latest/

6) jawiki-latest-pages-articles.xml.bz2形態素解析し、形態素解析結果における読み部分を 利用することで平仮名のみで構成された文を得る。 MeCab の辞書には Unidic を利用した。MeCab の読 みデータから作成しているため、出力される平仮名文は、正確な平仮名文ではなく、疑似的な平仮名文である。次に、平仮名のみで構成された文を文字 unigram の形と文字 bigram の形に変換した。ただ し、bigram の終端における文字列は、unigram との 文字数を揃えるために、句点に文字種「*」を追加し た「。*」としている。最後に、文の行頭と行末に対 してそれぞれ [CLS] タグと $[\mathrm{SEP}]$ タグを付与した。

上記の操作により 300 万文の Wikipedia による事前学習用データを得た。

## 4.2 Wikipedia による平仮名文の単語分か ち書きデータ

unigram BERT と bigram BERT におけるファイン チューニングに利用するデータとして、Wikipedia による平仮名文の単語分かち書きデータを作成し た。本データは、 $\mathrm{MeCab}$ の単語分割結果を信じ、そ の平仮名表記を利用して作成した。また、単語分割 を二値分類として処理するため、分割対象位置の文字を 1、それ以外の文字を 0 とするタグデータを作成した。

上記の操作により 100 万文の Wikipedia による平仮名文の単語分かち書きデータを得た。

## 4.3 日本語書き言葉コーパスによる平仮名文の単語分かち書きデータ

日本語書き言葉コーパス (以下 BCCWJ[9] と記す) のコアデータは人手により単語に分けられたデー タであるので、これを利用することにより正確な平仮名文を作成することが可能となる。BCCWJコア データを平仮名の分かち書きに変換したデータを平仮名文の単語分割システムのファインチューニング 用のデータおよびテストデータとして利用する。

本データの作成方法は以下である。まず BCCWJ のコアデータの読み情報を利用し、ほぼ平仮名で 構成された文に変換した。次にそれらの文を文字 unigram の形と文字 bigram の形に変換した。文字 unigram の形に変換したデータは unigram BERT の ファインチューニング用のデータとして利用し、文字 biram の形に変換したデータは bigram BERT の ファインチューニング用のデータとして利用する。 また BCCWJ のコアデータの単語区切りを利用し単語分割を二値分類として処理するための、分割対象位置の文字を 1 、それ以外の文字を 0 とするタグ

データを作成した。上記の操作により 40928 文の BCCWJによる平仮名の分かち書きデータを得た。 unigram BERT 作成及び bigram BERT 作成におい て使用した語彙の総数はそれぞれ 300 と 80956 であ る。語彙には平仮名、片仮名、アルファベット、数字、複数の記号が含まれている。

## 5 実験

作成した 2 種類の BERT における平仮名文の単語分割の $\mathrm{F}$ 值がファインチューニング時のデータ量と データの種類によりどのように変化するのかを検証 するために 2 つの実験を行った。

また二つの提案手法と比較するために、KyТeа を 用いて平仮名文の単語分割システムを作成した。こ れを以降、平仮名 KyTea 単語分割システムと呼ぶ。 KyTea は単語分割および読み推定の機能を持つシス テムである。部分的アノテーションから学習をする ことが可能であり、点予測を利用して文の解析を行 う。学習には、二つの提案手法による単語分割シス テムのファインチューニングに利用したデータと 同内容のものを用いた。ただし、フォーマットは KyTea に合うように変形した。

作成した単語分割システムは、テストデータに対 する正解率、適合率、再現率、 $\mathrm{F}$ 値を評価した。

## 5.1 実験 1：BCCWJによるファインチュー ニングの実験

この実験では、正確な平仮名文の単語分割情報の データを利用して、2 種類の BERT 単語分割システ ムの $\mathrm{F}$ 値を平仮名 KyTea 単語分割システムの $\mathrm{F}$ 値 と比較する。300万文の Wikipedia による事前学習用データを利用して平仮名 BERT を作成し、 40928 文の BCCWJによる平仮名文の単語分かち書きデー 夕を用いて単語分割システムの 5 分割交差検定を 行った。また平仮名 KyTea 単語分割システムにつ いても、 2 種類の BERT 単語分割システムと同様の データを用いて、 5 分割交差検定を行った。ただし、平仮名 KyTea 単語分割システムには、事前学習した BERTを用いていない。

次に、本実験において BERT の事前学習で使用し たパラメータを表 1 に、ファインチューニングで使用したパラメータを表 2 に示す。

表 2 ファインチューニングにおけるパラメータ

 &  & エポック数 & 50 \\

## 5.2 実験 2: Wikipedia によるファイン チューニングの実験

この実験では、疑似データである Wikipedia の単語分割情報を大量に利用した、3つの単語分割シス テムの F 值を比較する。300 万文の Wikipedia によ る事前学習用データを利用して平仮名 BERTを作成し、ファイチューニングのデータとして 100 万文 の Wikipedia による平仮名文の単語分かち書きデー タを利用して単語分割システムのファインチューニ ングを行った。なお、事前学習用のデータとファイ ンチューニング用のデータの重複はない。一方で、実験 1 における事前学習データと実験 2 における事前学習データは同一のものを利用している。また、 unigram BERT 単語分割システムおよび bigram BERT 単語分割システムに利用した 100 万文の Wikipedia による平仮名文の単語分かち書きデータを利用し、平仮名 KyTea 単語分割システムを作成し、評価し た。テストデータには 40 万文の Wikipedia のデータ と 40928 文の BCCWJによる平仮名文の単語分かち 書きデータをそれぞれ利用した。

実験 2 において BERT の事前学習で使用したパラ メータおよびファインチューニングで使用したパラ メータはどちらも epoch 数以外は実験 1 で利用した パラメータと同一である。実験 2 における epoch 数 は 24 とした。

## 6 実験結果

実験 1 : BCCWJによるファインチューニングの実験における各システムに対する 5 分割交差検定の正解率、適合率、再現率、 $\mathrm{F}$ 値を表 3 に示す。

表 3 実験 1 における各システムの結果

 &  &  \\

適合率 & $\mathbf{9 4 . 3 6}$ & 92.56 & 90.93 \\
再現率 & $\mathbf{9 4 . 2 4}$ & 92.60 & 88.56 \\
F 値 & $\mathbf{9 4 . 3 0}$ & 92.58 & 89.66 \\

表 3 から、unigram BERT 単語分割システムは平仮名 KyTea 単語分割システムと比較し、 $\mathrm{F}$ 值が 4.64 point 向上していることが分かる。また bigram BERT 単語分割システムは平仮名 KyTea 単語分割システム と比較して F 值が 2.92 point 向上している。さらに
unigram BERT 単語分割システムは bigram BERT 単語分割システムよりも $\mathrm{F}$ 値が 1.72 point 高い。

次に、実験 2 : Wikipediaによるファインチューニ ングの実験の結果を表 4 に示す。

表 4 実験 2 : Wikipediaによるファインチューニングの実験における各システムの結果

 &  &  \\

表 4 から unigram BERT 単語分割システムは、平仮名 KyTea 単語分割システムと比較し、Wikipedia をテストデータとした場合は $\mathrm{F}$ 値が 5.69point 向上

し、BCCWJ のコアデータをテストデータとして利用した場合は $\mathrm{F}$ 値が 4.59point 向上していることが 分かる。また bigram BERT 単語分割システムは、平仮名 KyTea 単語分割システムと比較し、Wikipedia をテストデータとした場合は $\mathrm{F}$ 值が 4.99point 向上 し、BCCWJをテストデータとして利用した場合 には F 値が 3.77point 向上していることが分かる。 さらに、unigram BERT 単語分割システムは bigram BERT 単語分割システムより高い $\mathrm{F}$ 値となった。 $\mathrm{F}$値の差は、Wikipediaをテストデータとした場合は 0.70point であり、BCCWJをテストデータとした場合は 0.82 point であった。

## 7 考察

表 3 と表 4 より、実験 1 と実験 2 でそれぞれ作成 した 2 つの平仮名 BERT 単語分割システムの $\mathrm{F}$ 值 は、平仮名 KyTea 単語分割システムの $\mathrm{F}$ 值よりも高 いことが確認できる。これにより、unigram BERT 単語分割システムと bigram BERT 単語分割システムが 有効であるといえる。

次に、実験 1 と実験 2 の結果を比較する。BCCWJ をテストデータにした実験結果同士（表 3 と表 4 の BCCWJ の結果）を比較すると、実験 1 における 2種類の平仮名 BERT 単語分割システムの $\mathrm{F}$ 値の方 が高い。これは、実験 1 のファインチューニング のデータはテストデータと同じ BCCWJであるが、実験 2 では Wikipeda のデータを利用しているため であると考えられる。特に、BCCWJでは正確な読 みと単語分割の区切りの情報を利用しているが、 Wikipedia は疑似データゆえに、Wikipedia データの 質は BCCWJ よりも低いと考えられる。実験 1 で利用した BCCWJ は約 4.5 万件であるのに対して実験 2 で利用した Wikipedia のデータは 100 万文であるこ とを考えると、ファインチューニングにおける疑似 データの量を増やしても、テストデータと同ドメイ ンの正確なデータには及ばないことが分かる。

一方で、大量の Wikipedia の疑似データを与えた 際、同 Wikipedia のテストデータに対する正解率は 99\%を超える（表 4)。そのため、テストデータと同 じドメインで、なおかつテストデータと整合性のあ る単語分割の情報をもつ大量のデータを利用して ファインチューニングした場合には、かなり単語分割の評価値が高くなることが分かる。

## 8 おわりに

本研究では、平仮名文に特化して学習した 2 種類 の BERTを利用した文単語分割システム、unigram BERT 単語分割システムと bigram BERT 単語分割シ ステムを作成した。このシステムは BERT の事前学習として、MeCabを利用して Wikipedia の平仮名文のデータから作成した文字 unigram または文字 bigram のデータを利用し、平仮名文の単語分かち書 きのデータでファインチューニングを行うことで 作成したものである。BCCWJ のコアデータを利用 した五分割交差実験と、Wikipedia のデータを利用 したファインチューニングによる実験において、平仮名文の単語分割の $\mathrm{F}$ 值は共に KyTea を用いた平仮名文単語分割システムの $\mathrm{F}$ 値を上回った。また、 unigram BERT 単語分割システムと bigram BERT 単語分割システムの $\mathrm{F}$ 値を比較すると、unigram BERT 単語分割システムの方が $\mathrm{F}$ 值が向上した。これには モデルの大きさに対する事前学習のデータ数が影響 したと考えられる。

また、実験により、ファインチューニングに利用するデータは、大量のドメインの異なった疑似 データよりも、少量のドメインの等しい、テスト データと整合性の取れたデータの方がよいことが分 かった。

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同研究（22FC04）と JSPS 科研費 $18 \mathrm{~K} 11421$ の助成を受 けています。

## 参考文献

[1] 工藤拓, 市川宙, David Talbot, 賀沢秀人. Web 上 のひらがな交じり文に頑健な形態素解析. 言語処理学会第 18 回年次大会発表論文集, pp. 1272-1275, 2012.

[2] 林聖人, 山村毅. ひらがな語の追加と形態素解析の精度についての考察析. 愛知県立大学情報科学部平成 28 年度卒業論文要旨, 2017.

[3] 井筒順, 明石陸, 加藤涼, 岸野望叶, 小林汰一郎,金野佑太, 古宮嘉那子. Mecabによる平仮名のみ の形態素解析. 言語処理学会第 26 回年次大会発表論文集, pp. 65-69, 2020.

[4] Jun Izutsu and Kanako Komiya. Morphological analysis of japanese hiragana sentences using the bi-lstm crf model,. 10th International Conference on Natural Language Processing (NLP 2021), 2021.

[5] 森山柊平, 大野誠寛, 増田英孝, 絹川博之ほか. Recurrent neural network language model を用いた べた書きかな文の形態素解析. 情報処理学会論文誌, Vol. 59, No. 10, pp. 1911-1921, 2018.

[6] 森山柊平, 大野誠寛. Rnn とロジスティック回帰 を用いた平仮名文の逐次的な形態素解析. 自然言語処理, Vol. 29, No. 2, pp. 367-394, 2022.

[7] 鈴木雅弘, 坂地泰紀, 和泉潔, 石川康. 金融文書を 用いた追加事前学習言語モデルの構築と検証.言語処理学会 第 28 回年次大会発表論文集, pp. 588-592, 2020.

[8] 井筒順, 古宮嘉那子, 新納浩幸. 平仮名 bert に よる平仮名文の分割. 研究報告自然言語処理 (NL), Vol. 2022-NL-253, No. 1, pp. 1-7, 2022.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

## A 追加実験

実験 1 と実験 2 の結果において、2 種類の平仮名 BERT 単語分割システムの $\mathrm{F}$ 値を比較すると、 unigram BERT 単語分割システムの $\mathrm{F}$ 值がより良い結果であることが確認できる。bigram の方が unigram より情報量が多くなるため、我々は bigram BERT 単語分割システムの方が、unigram BERT 単語分割シ ステムを上回ることを予想していたが、結果は逆 であった。この理由としては、モデルの大きさに 対応して必要になる学習データの差が考えられる。本研究において使用した平仮名 BERT の語彙数は unigram BERT 作成では 300 であり、bigram BERT 作成では 80956 であった。つまり語彙数に約 270 倍の 差が存在する。その分、モデルは大きくなるため、必要な学習データも多くなると考えられる。ところ が、 2 種類の平仮名 BERT 単語分割システムにおけ る事前学習で利用したデータ数はどちらも 300 万文であった。つまり、モデルの大きさに必要な学習 データ量に対して bigram BERT には十分な学習デー タではなかった可能性があり、それが unigram BERT 単語分割システムの $\mathrm{F}$ 值が bigram BERT の $\mathrm{F}$ 値を上回った要因であると考えられる。

語彙数に大幅な差があることに着目し、我々は、実験 1 のテストデータから記号等の文字種を除い たデータを利用し、各システムの評価を再度算出し た。実験 1 のテストデータから取り除かなかった文字種は、平仮名・片仮名・句点・読点・長音・符空白である。実験 1 のテストデータの各文に対して上記以外の文字種が含まれる文は評価せず、上記のみ の文字種で構成された文を各システムに入力し、評価した。本追加実験における結果を表 5 に示す。

表 5 実験 1 においてテストデータから記号を除いた場合 の各システムの結果

 &  &  \\

適合率 & $\mathbf{9 5 . 0 4}$ & 93.38 & 92.15 \\
再現率 & $\mathbf{9 4 . 9 3}$ & 93.50 & 89.81 \\
F 値 & $\mathbf{9 4 . 9 9}$ & 93.44 & 90.91 \\

表 5 より文字種を制限することにより全体的に F 值が向上していることが確認できる。特に、unigram BERT 単語分割システムと bigram BERT 単語分割シ ステムにおける F 值の差は 1.55pointである。表3に おける 2 つの単語分割システムの $\mathrm{F}$ 値の差が 1.72
であったことから、テストデータにおける文字種を 制限することで $\mathrm{F}$ 値の差が縮まっていることがわ かる。

## B 実験の可視化

実験 1 におけるシステム構築を可視化した図を図 1 に示す。また、実験 2 におけるシステム構築を可視化した図を図 2 に示す。

図1 実験 1 : BCCWJによるファインチューニングの実験

図 2 実験 2: Wikipedia によるファインチューニングの 実験


# 思考連鎖指示における大規模言語モデルの否定表現理解

葉夢宇 1 栗林樹生 1,2 舟山弘晃 1,3 鈴木潤 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
\{ye.mengyu.s1, h.funa\}@dc.tohoku.ac.jp
\{kuribayashi, jun.suzuki\}@tohoku.ac.jp

## 概要

近年，推論過程の出力を指示することで大規模言語モデルの性能が向上することが示された. しかし 既存研究では，推論過程を経て生成された結論のみ が評価されており，モデルがどのような推論過程を 生成し, また過程から導かれる妥当な結論を下して いるのかといった推論内容の大規模な分析は行われ ていない. 本研究では，言語モデルについて，推論過程を踏まえて結論を生成する能力を評価し，特に 言語モデルが苦手としてきた否定表現の扱いに焦点 を当てる. 実験を通して，最先端の 175B 言語モデ ルですら，推論過程に not が存在する場合，結論と して noを生成するといった浅い理解に基づいた処理が行われている可能性を示す.

## 1 はじめに

近年，大規模言語モデルに少数事例を提示する ことで様々な言語タスクを解く, 少数事例指示 （few-shot prompting）[1]が注目を集めている. 特 に最近では，推論過程を生成するようモデルに指示する思考連鎖指示 (chain of thought prompting) [2] の有効性が示された. 例えば，「大谷翔平選手が 硬式ボールを投げた可能性はあるか」といった質問 に対して，思考連鎖指示に基づく推論では，モデ ルはまず「大谷選手は野球選手であり, 硬式ボー ルは野球で投げるので...」といった推論過程を生成 し, 続いて「はい」といった結論を導く. 既存研究 では，思考連鎖指示のもと最終的に得られる結論の 質が向上することは示されたものの，モデルが妥当 な過推論程を生成しているのか, モデルの結論が過程と一貫しているのかといった推論過程の妥当性に ついては十分に分析されていない.

本研究では，一連の思考指示を (i) 推論仮定を生成する段階と (ii) 与えられた過程から結論を出す段階に分解し, 評価の容易さから，まずは後者の与え問題：「大谷翔平選手が硬式ボールを投 げた」はあり得そうか？推論過程を明示して答えよ。

推論過程 : 大谷選手は野球選手であり,硬式ボールは野球のみで投げるので,

図1 思考連鎖指示を元に，大規模言語モデルを用いて，否定表現が含まれる推論過程から論理的に適切な結論を 導くことができるかを調査する

られた過程から結論を導く能力について統制的に調査を行う．特に，言語モデルが苦手としてきた否定表現の処理に焦点を当て，only やnot といった否定表現が含まれる推論過程から論理的に適切な結論を 導くことができるかを調査する（図 1).

GPT-3（text-davinci-002，パラメータサイズ 175B） $[3,1]$ と OPT-66B (Open Pre-trained Transformer Language Models）[4]を含む大規模言語モデルを対象 とした実験の結果，only，not，implausible といった 表現に誤誘導 (mispriming) され，否定的な表現が 推論過程に含まれるだけで，論理的な帰結に反して モデルの下す結果は大きく noに偏ることが観察さ れた.

この結果から，依然として深い言語理解に基づく 論理的な推論が行われていないことが示唆された.

## 2 実験設定

評価したい能力: 思考連鎖指示では，少なくとも (i) 推論過程を生成し (ii) 推論過程を踏まえて結論を

$
\begin{aligned}
& \text { Determine whether an artificially constructed sentence } \\
& \text { relating to sports is plausible or not. } \\
& \text { Q: Is the following sentence plausible? "Bam Adebayo } \\
& \text { scored a reverse layup in the Western Conference Finals." } \\
& \text { A: Let's think step by step. } \\
& \text { Bam Adebayo is an American basketball player. Scoring a } \\
& \text { reverse layup only happens in basketball. So the answer is } \\
& \text { yes. } \\
& \text { Q: Is the following sentence plausible? "Santi Cazorla } \\
& \text { scored a touchdown." } \\
& \text { A: Let's think step by step. } \\
& \text { Santi Cazorla is a soccer player. Touchdowns are only } \\
& \text { happen in football. So the answer is no. } \\
& \text { Q: Is the following sentence plausible? "DeMar DeRozan } \\
& \text { was called for the goaltend." } \\
& \text { A: Let's think step by step. } \\
& \text { DeMar DeRozan is an American basketball player. } \\
& \text { Goaltending only happens in basketball. So the answer is } \\
& \text { yes. }
\end{aligned}
$

図 2 少数事例指示文の例，緑色は推論過程の部分を表す

出力するという 2 つの能力が求められる. 本研究で は，後者に焦点を当てて評価を行う，後者に焦点を 当てる理由としては，yes/no の答えのみを出力する 段階は分類問題であるため評価が比較的簡単である ことと，この能力は思考連鎖指示が達成されるため の必要条件であるため，最低限の要請として達成で きることを期待したいという点があげられる.

問題設定: 例題として，「Pが A をした」という文 の尤もらしさをモデルに自然言語で問う設定を採用 した1）。ここでPは人名(player，スポーツ選手名）, A は行動（action，ボールを踣るなど）を表し，推論過程ではPが何のスポーツ S の選手であるか，また A がそのスポーツS で行われているかを段階的に推論するシナリオを採用した。図 2 に示す通り，実際 の問題は英語で書かれている.

実験では，問題と推論過程（So the answer is まで） をモデルに入力し，モデルが yes/no のどちらを回答 するか分析することで，推論過程を踏まえて適切な 結論を出力する能力を評価する．結論を導くステッ プでは「PはSの選手である，SではAしない. よっ てPはAしない」といった簡単な論理推論が求めら れている。この段階において，例えば推論過程に

$n o t$ のような否定表現が出現したら結論を no とす るといった表層的な処理が行われているかを調査 する.

なお，推論過程はあらかじめ準備した適当なもの を入力しており，ある人名があるスポーツの選手で ありそうか，ある行動がそのスポーツで行われるか といった常識的知識をモデルに問わない。この点は 3.1 節でも更に対処する。

少数事例指示: 先行研究 [6] に倣い，タスクに関 する説明と，問題文・模範的な推論過程・結論を合計 3 問をモデルに入力したのち，実際に解かせたい 問題の問題文と推論過程を入力する．以降導入する 否定語を挿入した設定などにおいても，指示文は共通のものを用いている。

モデル： 実験では，GPT-3（text-davinci-002，パラ メータサイズ 175B） [3,1] と OPT(Open Pre-trained Transformer Language Models) [4] を用いた. OPT に ついては Huggingface ${ }^{2)}$ 上に公開されているパラ メータサイズの異なる 7 モデル (350M, 1.3B, 2.7B, 6.7B, 13B, 30B, 66B）を評価対象とした。

## 3 実験

まず初めに，推論過程を踏まえて正しく回答でき るかを精緻に問うため，常識知識ではなく推論過程 を見なければ解けない問題設定を導入する (3.1 節).次に，否定表現の有無とモデルの振る舞いについて 調査を行う (3.2 節).

## 3.1 事前実験: FICTION 設定の導入

設定 BIG-Bench の Sports understanding 問題 [5] か ら収集したデータセット (REAL) に加え，架空の選手名・スポーツ名から構成したデータセット（FICTION） を用意した (付録 A). 既存の REAL セットは実世界 の常識に即した問題になっているが，本研究の関心 のもとでは，モデルが正解した時に推論過程の内容 を理解して結論を導いたのか，モデルが持つ常識知識に基づいて回答できたのかの切り分けが難しい.従って，推論過程を踏まえないと答えることのでき ない FICTION 設定を導入した。なお，正解ラベルの 分布は $1: 1$ であることが期待されるが，乱数シード の都合上，REAL 設定では正解ラベルが yes の問題 が 496 問，正解ラベルが no の問題が 504 問であり， FICTION 設定では正解ラベルが yes の問題が 495 問，
 opt
表 1 結果（yes: yes の割合，no: no の割合）

正解ラベルが no の問題が 505 問である.

結果 表 1 に各設定での正解率と, モデルが yes/no と回答した割合を示す.また前述の通り， データセット中の yes/no が回答である問題の比はお よそ $1: 1$ である。事前学習の知識が使えない FICTION 設定では全体的に正解率が下がり，特に OPT-30B お よび OPT-2.7B においては, 出力が yes か no のどち らかに大きく偏ることになった. このことから思考連鎖指示中には生成した推論過程のみでなく，モデ ルが有する知識も活用されていることが示唆され，推論過程の分析をする上で，事前知識が使えない設定を導入することの意義が確認された. 以降の実験 では，FICTION 設定に編集を加えていく。

## 3.2 実験: 否定語の影響

設定： 否定表現に関する 4 つの設定を導入す る. ONLY 設定において，元の問題設定 [5] では，「P は $\mathrm{S}_{1}$ の選手である. A $\mathrm{S}_{2}$ で行われる. よって no」 というシナリオで問題が設計されているが，「Aが $\mathrm{S}_{2}$ で行われる」ことは「Aが $\mathrm{S}_{1}$ で行われない」こ とを含意しないため, 厳密には曖昧性のある問題で あった. そこで「Aが $\mathrm{S}_{2}$ のみで行われる」といっ た制限を導入することで，問題を解きやすくする。 Not 設定は，否定表現の意味合いを強まることの影響を調べるために導入する． Implausible+（Not）は FICTION 設定と同じ問題構成で，質問文や推論過程内の機能語を変えた場合でも，モデルがその変化に 応じて正しい出力をするかを調査する. 各設定の概略を以下に示す. モデルには質問と，回答における \{はいいいえ $\}$ の直前までが入力される。また図 3 の例のように，実際はこれらの問題は英語で記述さ れている.

## ONLY

質問:「Pが A した.」という文はあり得そうか？回答: $P$ は $S_{1}$ 選手であり, $A$ は $\left.\{S_{1} / S_{2}\right.\}$ のみで行

Q: Is the following sentence plausible? "Judy Hogan
set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
only happens in caseball. So the answer is
Q: Is the following sentence plausible? "Judy Hogan
set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
did not happen in fileball. So the answer is

Q: Is the following sentence implausible? "Judy
Hogan set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
only happen in caseball. So the answer is

Not+Implausible設定
Qogan set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
did not happen in fileball. So the answer is

図 3 ONLy, Not, Implausible および Not+ImPlaUSIBLE の設定における入力文の例.

われるので，\{はい/いえ\}

## Not

質問: 「PがALた.」という文はあり得そうか？

回答: $\mathrm{P}$ は $\mathrm{S}_{1}$ 選手であり，A $\left.\{\mathrm{S}_{1}\right.$ のみで行わ れる/ $S_{1}$ で行われない $\}$ ので，\{はい/いえ\}

## IMPLAUSIBLE

質問:「Pが A Lた.」という文はあり得ないか？

回答: $\mathrm{P}$ は $\mathrm{S}_{1}$ 選手であり, $A$ は $\left.\{\mathrm{S}_{1} / \mathrm{S}_{2}\right.\}$ のみで行 われるので，\{いいえ/いい\}\})

## IMPLAUSIBLE+NOT

質問: 「PがALた.」という文はあり得ないか？

回答: $\mathrm{P}$ は $\mathrm{S}_{1}$ 選手であり, $\mathrm{A}$ は $\left.\{\mathrm{S}_{1}\right.$ のみで行わ れる/ $S_{1}$ で行われない $\}$ ので，\{いいえ/はい\} $\}$

## 3.3 結果・考察

表 2 に結果を示す. 全てのタスクにおいて, noが 出力された問題の割合の大幅な上昇を観測した.こ の結果から, 出力が否定的な意味合いを持つ単語に 誤誘導されていることが示唆される.

ONLY 設定: この設定では，問題が明確化されたに も関わらず，FicTION 設定と比較すると no の生成率 が高まることから，言語モデルは onlyによって誤誘

表 2 結果（yes: yes の割合， no: no の割合）

導されたことが確認された. この点からも，言語モ デルが論理的な推論といった深い言語理解に基づい て思考連鎖指示をできているとは考えづらい.

Noт 設定：この設定では，yes の問題は onlyを用 いた ONLY 設定と同様のものを，noの問題は not を 用いた推論過程に書き換えたものである. この設定 でも FICTION 設定と比較すると no の生成率が高くな り，依然として否定語の扱いに苦戦していることが 観察された。

ImPLAUSIble (+Not) 設定 : ImplAUSIBLE 設定と ImPLAUSIBLE+NOT 設定の共通点は, 少数事例指示文の 部分に変更を加えずに, implausible かという質問に 変更したことである。この 2 つの設定でも，FICTION 設定より多くの no が生成され, 否定表現に誤誘導 され，GPT-3，そしてどんなパラメータ数の OPT に 関しても，implausible という単語に誤誘導され，ほ ぼ noしか答えない現象が観察された。

以上の観察より，単なる否定的な単語の出現によ り，論理的に妥当な帰結に反して，言語モデルの 回答は no に誤誘導されていくことが確認された.従って，思考連鎖指示では生成された推論過程に含 まれる浅い特徴によって，結論を導いている可能性 が示唆された。

## 4 関連研究

思考連鎖指示による性能向上 これまでの思考連鎖指示に関する研究では，主に最終的な結論の 正当性が評価され，推論過程の妥当性に関して の大規模な評価は行われていなかった. 例えば， BIG-Bench [5] を代表とした横断的評価において，思考連鎖指示を用いることによって，多数のタスク において人間の正解率を上回ったことが報告され た [6].

本研究は，結論の正当性と共に，推論の過程の妥当性や，モデルの推論におけるある種の癖を分析し
たものであり，本研究の結果から，思考連鎖指示の 評価の解像度を上げ，近年の言語モデルの能力につ いて知見を深めることも期待される。

言語モデルにおける誤誘導効果と否定表現 事前学習済み言語モデルでは，例えば Talk? Birds can [MASK] と入力すると Birds can talk と生成してしま うように，質問に直接関係のない単語に出力が誘導 される誤誘導効果が報告されている [7].

アリストテレスの「命題論」では，全ての宣言文 は肯定と否定のいずれかに分類されている [8], 否定表現は自然言語を扱うための重要な概念であると されている。．否定表現に焦点を絞ったデータセット が多数存在している $[9,10,11,12]$. それらのデータ セットを用いた評価結果から，否定表現を理解する ことは事前学習済みモデルにとって挑戦的なタスク であることが確認されている [13]. 本研究の結果で は，推論過程や問題文に否定表現が含まれる際，最近の大規模言語モデルでも，no と結論を下してしま うような誤誘導効果が生じることを確認した。

## 5 おわりに

本稿では，大規模言語モデルの推論能力の向上に 寄与する思考連鎖指示を対象に，推論過程から結論 を導く部分，特に否定表現に注目し，大規模言語モ デルは妥当な推論過程を行なっているかどうかを検証した. GPT-3 とOPTを対象とした実験では，論理関係ではなく，否定表現が存在するからnoを生成 するというような浅い推論を行なっている可能性を 明らかにした。

今後はより多くの思考連鎖指示が有効とされるタ スクに検証対象を拡張しさらに深堀りしていく.ま た，これまでに BERT [14] などを対象とした内部解析手法を用い，大規模言語モデルの内部挙動を分析 する方向性も興味深い。

## 謝辞

本研究は，JSPS 科研費 JP21H04901，JST ムーン ショット型研究開発事業 JPMJMS2011 (fundamental research), JST 次世代研究者挑戦的研究プログラム JPMJSP2114 の助成を受けて実施されたものである.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, and et al. Language models are few-shot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[2] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, Vol. abs/2201.11903, , 2022.

[3] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F. Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. CoRR, Vol. abs/2203.02155, , 2022.

[4] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona T. Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: open pre-trained transformer language models. CoRR, Vol. abs/2205.01068, , 2022.

[5] Aarohi Srivastava, Abhinav Rastogi, Abhishek Rao, Abu Awal Md Shoeb, Abubakar Abid, Adam Fisch, Adam R. Brown, Adam Santoro, Aditya Gupta, Adrià Garriga-Alonso, and et al. Beyond the imitation game: Quantifying and extrapolating the capabilities of language models. CoRR, Vol. abs/2206.04615, , 2022.

[6] Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V. Le, Ed H. Chi, Denny Zhou, and Jason Wei. Challenging big-bench tasks and whether chain-of-thought can solve them. CoRR, Vol. abs/2210.09261, , 2022.

[7] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 7811-7818. Association for Computational Linguistics, 2020.

[8] John L Ackrill and et al. Categories and De interpretatione. Clarendon Press, 1975.

[9] Atticus Geiger, Kyle Richardson, and Christopher Potts. Neural natural language inference models partially embed theories of lexical entailment and negation. In Afra Alishahi, Yonatan Belinkov, Grzegorz Chrupala, Dieuwke Hupkes, Yuval Pinter, and Hassan Sajjad, editors, Proceedings of the Third BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, BlackboxNLP@EMNLP 2020, Online, November 2020, pp. 163-173. Association for Computational Linguistics, 2020.

[10] Abhilasha Ravichander, Matt Gardner, and Ana Marasovic. CONDAQA: A contrastive reading comprehension dataset for reasoning about negation. CoRR, Vol. abs/2211.00295, , 2022.

[11] Roser Morante and Eduardo Blanco. *sem 2012 shared task: Resolving the scope and focus of negation. In Eneko Agirre, Johan Bos, and Mona T. Diab, editors, Proceedings of the First Joint Conference on Lexical and Computational Semantics, * SEM 2012, June 7-8, 2012, Montréal, Canada, pp. 265-274. Association for Computational Linguistics, 2012.

[12] Johan Reitan, Jørgen Faret, Björn Gambäck, and Lars Bungum. Negation scope detection for twitter sentiment analysis. In Alexandra Balahur, Erik Van der Goot, Piek Vossen, and Andrés Montoyo, editors, Proceedings of the 6th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, WASSA@EMNLP 2015, 17 September 2015, Lisbon, Portugal, pp. 99-108. The Association for Computer Linguistics, 2015.

[13] Md Mosharaf Hossain, Venelin Kovatchev, Pranoy Dutta, Tiffany Kao, Elizabeth Wei, and Eduardo Blanco. An analysis of natural language inference benchmarks through the lens of negation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 9106-9118. Association for Computational Linguistics, 2020.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

## A Fiction データセット

FICTION 設定では，架空のスポーツ名を 5 個，そして一種目につき 100 個の架空の選手名，合計 500 個の選手名を作った.ここで架空スポーツ名の全部および架空選手名の一部（50 個）を表 3 に示す.

表 3 FICTIONデータセットの一部詳細