# 学習済み単語分散表現を用いた連続空間トピックモデル

井上 誠一 ${ }^{1}$ 相田 太一 ${ }^{2}$ 浅井 学 ${ }^{1}$ 小町 守 ${ }^{2}$
創価大学 ${ }^{1}$ 東京都立大学 ${ }^{2}$
e1706456@soka-u.jp, m-asai@soka.ac.jp, \{aida-taichi@ed., komachi@\}tmu.ac.jp

## 1 はじめに

トピックモデルは，テキストコーパスから文書中 に潜在的に存在する話題を自動的に抽出する統計モ デルであり，情報検索 [1]，協調フィルタリング [2],著者識別 [3]，意見抽出 [4] など，自然言語処理の内外で様々なアプリケーションに応用されている.

トピックモデルの代表的な手法である, Latent Dirichlet Allocation (LDA) [5] は, 各文書に潜在トピッ クがあると仮定し, 統計的に共起しやすい単語の 集合が生成される要因を潜在トピックという観測 できない確率変数で定式化している。一方，持橋 らによって提案された Continuous Space Topic Model (CSTM) [6] は, LDA とは異なり, 潜在トピックと いった中間変数を用いることなく文書をモデル化 する。具体的には，単語に潜在座標を明示的に導入 し，その上に文書の意味を表すガウス過程に従う関数を考えることで定式化される. LDAでは，単語を 生成する確率分布は固定となっており, トピック分布の制御によって単語の生起確率を操作するため,各文書に応じて単語を生成する確率分布を変更する ことができなかった. それに対しCSTMでは, 単語 の確率を潜在トピックを通じてではなく, 単語の潜在座標と文書の意味を表す関数によって文書ごとに 直接操作するため, 文書に応じて動的に単語分布を 変更することが可能となり， パープレキシティにお いて LDA など従来のトピックモデルを上回る性能 を発揮したと報告されている。

CSTM は，単語の分散表現を用いて文書のモデル 化を行っているが，分散表現は推定パラメータとし てモデル内で学習される構造となっており，そのパ ラメータの多さからモデルの推定に時間がかかる. また，その学習に使われる情報は単語の出現頻度の みとなっており, 単語の意味的な関係性を捉えるこ とが難しい. そのため, Gaussian LDA [7] と同様に,単語の意味的な関係性を捉えた単語分散表現を用 い，事前情報として与えれば，収束の高速化と精度
の向上が期待できる.

そこで, 本研究では, CSTM の推定パラメータの 一つである単語の潜在座標をWord2Vec [8] で事前 に学習し, CSTM の生成モデルに学習済みの単語分散表現を導入する手法を提案する，日本語と英語の コーパスを用いて実験を行った結果，収束速度が改善し，パープレキシティにおいて提案手法が CSTM を超える性能を持つことを示した. また，学習した モデルを用いて文書における単語の重要度を観察 し，定性的な評価を行った。

## 2 関連研究

## 2.1 連続空間トピックモデル

CSTM では，言語のバースト性 [9]を考慮するた め，ディリクレ分布と多項分布の合成分布である Polya 分布を用いて単語の生起確率をモデル化する. $\boldsymbol{y}=\left(y_{1}, y_{2}, \ldots, y_{V}\right)$ を文書 $\boldsymbol{w}$ に出現する各単語の出現頻度とすると, Polya 分布は次のように定義される

$
p(\boldsymbol{y} \mid \boldsymbol{\alpha})=\frac{\Gamma\left(\sum_{v} \alpha_{v}\right)}{\Gamma\left(\sum_{v}\left(\alpha_{v}+y_{v}\right)\right)} \prod_{v} \frac{\Gamma\left(\alpha_{v}+y_{v}\right)}{\Gamma\left(\alpha_{v}\right)}
$

( $\alpha$ は Polya 分布の集中度パラメータ).ここで，各単語 $w_{v}$ が $d$ 次元の潜在座標 $\phi\left(w_{v}\right) \sim \mathcal{N}\left(0, I_{d}\right)$ を 持っていると仮定し，それぞれの文書で，意味的に 関連のある単語の生起確率を大きくするため，同じ 潜在空間上に平均 0 のガウス過程に従う関数

$
f \sim \mathrm{GP}(0, \mathrm{~K})
$

$\left(\mathrm{K}\right.$ はカーネル行列で, $\mathrm{K}_{i j}=k\left(w_{i}, w_{j}\right)=\phi\left(w_{i}\right)^{T} \phi\left(w_{j}\right)$ の内積カーネル）を生成する. ガウス過程 [10] と は，ランダムな回帰関数を生成する確率過程であ $\eta, k\left(w_{i}, w_{j}\right)$ が近いほど対応する出力 $f\left(x_{i}\right), f\left(x_{j}\right)$ も近くなる. $f$ は直感的には「この文書で言いたい こと」を表している. そして，その関数値に従って Polya 分布の集中度パラメータ $\alpha_{v}$ が大きくなるよ うに

$
\alpha_{v} \propto \alpha_{0} G_{0}\left(w_{v}\right) \exp \left(f\left(w_{v}\right)\right)
$

とモデル化する. ここで， $\alpha_{0} \sim \mathrm{Ga}\left(a_{0}, b_{0}\right)$ は推定パ ラメータであり, $\mathrm{Ga}\left(a_{0}, b_{0}\right)$ はガンマ分布である. また, $G_{0}\left(w_{v}\right)$ は単語 $w_{v}$ の「デフォルト」確率であ り，最尤推定値 \# $\left(w_{v}\right) / \sum_{i} \#\left(w_{i}\right)$ を用いる（\# $\left(w_{v}\right)$ は 全文書中における単語 $w_{v}$ の出現頻度）。これらを踏 まえると，CSTM の生成過程は次のようになる。

1. Draw $\alpha_{0} \sim \operatorname{Ga}\left(a_{0}, b_{0}\right)$.

2. Draw $G_{0} \sim \mathrm{PY}(\beta, \gamma)$. (実際は最尤推定値)

3. For $v=1 \ldots V, \phi\left(w_{v}\right) \sim \mathcal{N}\left(0, I_{d}\right)$.

4. For $n=1 \ldots N$,
- Draw $f_{n} \sim \mathrm{GP}(0, \mathrm{~K})$.
- For $v=1 \ldots V, \alpha_{v}=\alpha_{0} G_{0}\left(w_{v}\right) e^{f_{n}\left(w_{v}\right)}$.
- Draw $\boldsymbol{w} \sim \operatorname{Polya}(\boldsymbol{\alpha})$.

## 2.2 単語の分散表現

Milokov らによって提案された Word2Vec [8] は，分布仮説 [11] に基づいた，単語の意味的な関係性を 捉えた分散表現を学習する確率モデルである．学習手法の一つである Continuous Bag-of-Words (CBOW) モデルは， $\delta$ を文脈空幅として，近傍の文脈単語集合 $C_{w_{t}}=\left.\{w_{t \pm i} \mid 1 \leq i \leq \delta\right.\}$ を入力とした時のターゲッ 卜単語 $w_{t}$ の予測確率

$
p\left(w_{t} \mid C_{w_{t}}\right) \propto \exp \left(\eta\left(w_{t}\right)^{T} \tilde{\eta}\left(C_{w_{t}}\right)\right)
$

を最大化することにより単語ベクトル $\eta\left(w_{t}\right)$ を学習 する. ここで， $\tilde{\eta}\left(C_{w_{t}}\right):=\left|C_{w_{t}}\right|^{-1} \sum_{w \in C_{w_{t}}} \eta(w)$ は全文脈単語ベクトルの平均ベクトルを表す.

## 3 提案手法

## 3.1 学習済み分散表現を用いた文書モデル

我々は，2.1 節で紹介した CSTM に，2.2 節で紹介 した手法によって獲得される単語分散表現を導入す ることでモデルを構築する。まず，CBOW モデルに よって意味的な関係性を捉えた単語分散表現を学習 する。本研究では，特にトピック的な関係性 [12]を 学習するため, 文脈窓幅を比較的大きい $\delta=10$ とし 学習を行った. また， $V$ を語彙サイズとして，獲得 した単語分散表現 $\eta\left(w_{1}\right), \eta\left(w_{2}\right), \ldots, \eta\left(w_{V}\right)$ に対し,次のように中心化・正規化を施す.

$
\psi\left(w_{v}\right)=\tau S^{-\frac{1}{2}}\left.\{\eta\left(w_{v}\right)-V^{-1} \sum_{i} \eta\left(w_{i}\right)\right.\}
$

ここで， $S$ は正規化定数であり，

$
S=V^{-1} \sum_{i} \eta\left(w_{i}\right)^{T} \eta\left(w_{i}\right)
$

である.また， $\tau$ はハイパーパラメータであり，本研究では $\tau=d^{-1 / 2}$ とした. 次に，持橋らと同様に，式 (5) から得られる単語分散表現からなる潜在空間上に，平均 0 , カーネル関数 $k\left(w_{i}, w_{j}\right)=\psi\left(w_{i}\right)^{T} \psi\left(w_{j}\right)$ のガウス過程に従う関数

$
f \sim \operatorname{GP}\left(0, \mathrm{~K}_{\psi}\right)
$

を考える. しかし $f$ は原理的には無限次元であり，直接推定することは難しいため, Paisley ら [13] と同様に，単語の潜在空間上に文書の潜在座標を表す補助変数

$
u \sim \mathcal{N}\left(0, I_{d}\right)
$

を導入する。このとき，単語の潜在座標をまとめて $\Psi=\left(\psi\left(w_{1}\right), \psi\left(w_{2}\right), \cdots \psi\left(w_{V}\right)\right)^{T}$ とおけば, $f=\Psi u$ の 分布は $u$ を積分消去して

$
f \mid \Psi \sim \operatorname{GP}\left(0, \Psi^{T} \Psi\right)=\operatorname{GP}\left(0, \mathrm{~K}_{\psi}\right)
$

となり, $f$ が式 (7) と同じガウス過程に従うことに なる。

よって，提案手法では，事前学習済みの単語分散表現を潜在空間上の単語座標とし，文書の意味を表現するガウス過程を，単語ベクトルと同じ潜在空間上にある文書ベクトル $u$ を用いて，

$
f\left(w_{v}\right) \propto \psi\left(w_{v}\right)^{T} u
$

と表現し，式 (3) と同様に $\alpha_{v}$ を

$
\alpha_{v} \propto \alpha_{0} G_{0}\left(w_{v}\right) \exp \left(\psi\left(w_{v}\right)^{T} u\right)
$

として，単語の確率を式 (1) の Polya 分布でモデル化 する.

## 3.2 MCMC 法による学習

$N$ 個の文書をまとめて $\boldsymbol{D}=\left(\boldsymbol{y}_{1}, \boldsymbol{y}_{2}, \ldots, \boldsymbol{y}_{N}\right)$ とする と， $\alpha_{0}$ と $\alpha$ の同時分布は

$
p\left(\alpha_{0}, \boldsymbol{\alpha} \mid \boldsymbol{D}\right) \propto \prod_{n} p\left(\boldsymbol{y}_{n} \mid \alpha_{0}, G_{0}, f_{n}\right) p\left(\alpha_{0}\right) p\left(f_{n} \mid \psi\right)
$

であるが， $\alpha$ は式 (10) の文書ベクトル $u$ を通じての み変化するので，提案モデルにおける推定パラメー タの $\alpha_{0}$ と $\boldsymbol{u}=\left(u_{1}, u_{2}, \ldots, u_{n}\right)$ の同時分布は，

$
p\left(\alpha_{0}, \boldsymbol{u} \mid \boldsymbol{D}\right) \propto \prod_{n} p\left(\boldsymbol{y}_{n} \mid \alpha_{0}, G_{0}, \psi, u_{n}\right) p\left(\alpha_{0}\right) p\left(u_{n}\right)
$

と表される。モデルの学習には，持橋らと同様に局所解の問題のないランダムウォーク MH 法を用い
表 1 実験に用いた各コーパスの統計量.

た. ${ }^{1)}$ 推定パラメータは，式 (11)の $\alpha_{0}$ と文書べクト ル $u$ であり，それぞれ提案分布

$
\begin{aligned}
\alpha_{0}^{\prime} & =\alpha_{0} \cdot \exp (z) \\
z & \sim \mathcal{N}\left(0, \sigma_{\alpha_{0}}^{2}\right) \\
u^{\prime} & \sim \mathcal{N}\left(u, \sigma_{u}^{2} I\right)
\end{aligned}
$

から候補を生成し，尤度比に従う採択確率

$
\begin{aligned}
& \mathscr{A}\left(\alpha_{0}^{\prime}\right)=\min \left.\{1, \frac{\prod_{n} p_{n}\left(\boldsymbol{y}_{n} \mid \alpha^{\prime}\right) \mathrm{Ga}\left(\alpha_{0}^{\prime} \mid a_{0}, b_{0}\right)}{\prod_{n} p_{n}\left(\boldsymbol{y}_{n} \mid \alpha\right) \mathrm{Ga}\left(\alpha_{0} \mid a_{0}, b_{0}\right)}\right.\}, \\
& \mathscr{A}\left(u^{\prime}\right)=\min \left.\{1, \frac{p\left(\boldsymbol{y}_{n} \mid \alpha^{\prime}\right) p\left(u^{\prime} \mid 0, I_{d}\right)}{p\left(\boldsymbol{y}_{n} \mid \alpha\right) p\left(u \mid 0, I_{d}\right)}\right.\}
\end{aligned}
$

を用いて受理の判定を行った。本研究では，ラン ダムウォーク幅を, 予備実験の結果からそれぞれ $\sigma_{\alpha_{0}}=0.2, \sigma_{u}=0.01$ と置いて実験を行った.

## 4 実験

## 4.1 コーパス

本研究では，英語コーパスの NIPS $^{2}$ ，日本語コー パスの CSJ コーパスと毎日新聞（2013 年度から 10,000 記事をランダムに選択）を用いて実験を行っ た. 日本語コーパスである CSJコーパスと毎日新聞 に対しては, 前処理として $\mathrm{MeCab}^{3}$ )による分かち書 き4)を行い，全てのコーパスにおいて，出現頻度が 5 以下の単語を学習データから除外した. 各コーパ スの統計量を表 1 に示す.

## 4.2 予測パープレキシティ

性能の評価のため, 提案モデルと CSTM のパー プレキシティを計算した. Wallach ら [15] に従い, データの各文書のランダムな $80 \%$ の単語を用いて モデルを学習し, 残りの $20 \%$ の単語のパープレキシ ティを計算した。

提案手法と CSTM における各コーパスの予測パー プレキシティを表 2 に示す. 両モデルにおいて，潜

1）事後分布の勾配を使用する Hamiltonian MCMC 法 [14] も試 みたが数值微分が必要であり，計算コストの高さから本研究 ではランダムウォーク MH 法を用いて実験を行った.

2) https://cs.nyu.edu/ roweis/data.html

3) https://taku910.github.io/mecab/

4）分かち書きの辞書には ipadic を用いた.表 2 各コーパスでのテストセットパープレキシティ.

図 1 提案モデルと CSTM における予測パープレキシ ティの推移.

在次元数を $10,20,50,100$ と変化させたうち最も良 いスコアを示した。提案手法は，3つ全てのコーパ スにおける予測パープレキシティで CSTM を下回 り，より高い性能であることがわかる.

また, 図 1 に提案モデルと CSTM におけるパープ レキシティの推移を示す. 提案モデルは，学習済み の分散表現よりトピック的な関係性を事前情報とし て持つため, 全てのデータセットに対する学習にお いて収束速度が CSTM を上回った。

## 4.3 文書における上位単語・下位単語

提案モデルと CSTM は単語ベクトルと同じ空間上 に文書ベクトルを考え，それらの内積を用いて単語 の確率を操作する．そのため，単語ベクトルと文書 ベクトルの内積から，文書で現れやすい単語とそう でない単語といった, 文書における単語の重要度を 定量的に測ることができる.

例として，提案モデルと CSTM に対して，CSJ コーパスを用いて，「あなたの住んでいる町や地域 について」というトピックの文書における内積スコ アの上位単語・下位単語を計算し，表 3,4 に示し た. 計算には, 文書ベクトルと, 学習に使用した語彙に含まれる全ての単語の単語ベクトルを用いた。 CSTM から計算される上位単語には，「ゲーム」や 「テープ」，「生地」といった文書のトピックとは関係のない語が含まれているが，提案モデルから計算
表 3 提案モデルを用いて，CSJコーパス中の「あなたの 住んでいる町や地域について」の講演データにおける上位単語 (左)・下位単語 (右) それぞれ 30 単語.

された上位単語のほとんどが，文書のトピックと関連を持った語であり，「駅」や「町」といったトピッ クに関連する単語に対して大きな値を示しているこ とが確認できる。また，提案モデルから計算された 下位単語についても, 「研究者」や「実験」, また,「音声」や「モーラ」など，文書のトピックに関連の ない語に対して小さな値を示していることが確認で きる。これは，CSTM と異なり，提案モデルが単語 のトピック的関係性を事前知識として持つため，卜 ピック的に類似した単語の集合を捉えた文書べクト ルの推定が容易になったためと考える。

このように，提案モデルは，文書のトピックと関連する単語に対して適切に大きな確率を与え, 関連 の低い単語に対しては小さな確率を与えることか ら，文書における単語の確率を柔軟に操作できてい ることがわかる.表 4 CSTMを用いて，CSJコーパス中の「あなたの住ん でいる町や地域について」の講演データにおける上位単語 (左)・下位単語 (右) それぞれ 30 単語.

## 5 まとめと今後の展望

本研究では，学習済み単語分散表現を Continuous Space Topic Model に導入することで，単語の意味的 な関係性を事前知識として与え，パープレキシティ において従来手法を上回り, 収束時間が短縮された ことを示した。また，文書における単語の重要度を 観察し，従来手法よりも優れた結果であることを定性的に示した. 今後は, 本研究では使用しなかった Hamiltonian MCMC による最適化等を含めたモデル のより良い推定方法を検討していきたい。

## 参考文献

[1] X. Wei, and W. Croft. LDA-Based Document Models for Ad-Hoc Retrieval. In Proceedings of the 29th Annual International ACM SIGIR Conference
on Research and Development in Information Retrieval, 178-85, 2006.

[2] M. Marlin. Modeling User Rating Profiles for Collaborative Filtering. In Advances in Neural Information Processing Systems, 16:627-34, 2003.

[3] T. Griffiths, M. Steyvers, and P. Smyth. The AuthorTopic Model for Authors and Documents. In Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, 487-94, 2004.

[4] C. Lin, Y. He, R. Everson, and S. Ruger. Weakly Supervised Joint Sentiment-Topic Detection from Text. In IEEE Transactions on Knowledge and Data Engineering, 24 (6): 1134-45. 2012.

[5] D. Blei, A. Ng, and M. Jordan. Latent Dirichlet Allocation. In Journal of Machine Learning Research, 3:993-1022, 2003.

[6] 持橋大地, 吉井和佳, 後藤真孝. ガウス過程に基 づく連続空間トピックモデル. 情報処理学会研究報告 2013-NL-213(11), 1-8, 2013.

[7] R. Das, M. Zaheer, and C. Dyer. Gaussian LDA for Topic Models with Word Embeddings. In Proceedings of the 53nd Annual Meeting of the Association for Computational Linguistics, 1:795-804, 2015.

[8] T. Mikolov, K. Chen, G. Corrado, and J. Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of the International Conference on Learning Representations, 2013.

[9] G. Doyle and C. Elkan Accounting for Burstiness in Topic Models. In Proceedings of the 26th Annual International Conference on Machine Learning, 281288, 2009.

[10] C. Rasmussen and C. Williams. Gaussian Processes for Machine Learning, Cambridge, MA, USA:MIT Press, 2006.

[11] S. Harris. Distributional Structure. Word \& World 10 (2-3): 146-62, 1954.

[12] B. Mohit, K. Gimpel, and K. Livescu. Tailoring Continuous Word Representations for Dependency Parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2:809-15, 2014.

[13] J. Paisley, C. Wang, and D. Blei. The Discrete Infinite Logistic Normal Distribution. In Bayesian Analysis, 7(2):235-272, 2012.

[14] M. Neal. MCMC using Hamiltonian Dynamics.
Handbook of Markov Chain Monte Carlo, 2(11), 2, 2011 .

[15] H. Wallach, I. Murray, R. Salakhutdinov, and D. Mimno. Evaluation Methods for Topic Models. In Proceedings of the 26th Annual International Conference on Machine Learning, 1105-1112, 2009.
 井上 誠一 ${ }^{1}$ 相田 太一 ${ }^{2}$ 浅井 学 ${ }^{1}$ 小町 守 ${ }^{2}$ 創価大学 ${ }^{1}$ 東京都立大学 ${ }^{2}$ e1706456@soka-u.jp, m-asai@soka.ac.jp, \{aida-taichi@ed., komachi@\}tmu.ac.jp  