# ガウス過程を用いた Dynamic Topic Model による時系列分析

緒方学人伊東拓真阿部秀尚
文教大学情報学部
\{b7p31078, b7p31013,hidenao\} @ bunkyo.ac.jp

## 1 はじめに

近年，SNS，Web の普及により，ニュース記事， Twitter のツイート，ブログ記事などの投稿が大量に 行われている.これらに伴い, 大量の文書集合から,内容を把握することは難しい問題であった. そのた め, 文章集合の内容を把握できる話題の抽出, 時系列的に話題がどのような変化するかを目的とされた Latent Dirichlet Allocation(LDA)[1]をはじめとする 数々のトピックモデルが多く研究されてきた. LDA とは，各トピックの単語分布と各文書に割り当てら れたトピック比率が生成され, これらに従って, サ イコロのようにトピックを無作為で選択され，また 同様に単語を無作為に選択されるようなモデルであ る. また時系列トピックモデル とは, トピックの単語分布や文書に割り当てられるトピック比率が時間 に依存するモデルである.このようなモデルとした さまざまな時系列トピックモデルが提案されている.代表的なものとして, 話題の隆盛に着目した Dynamic Topic Model(DTM)[2]などが挙げられる.

DTM のモデリング要件として, 「対象とする現象 にどのような性質があるのか」，「データからどのよ うな情報を抽出したいのか」, 「時間的に近接する文書集合は類似したトピックを共有する」などが挙げ られ, この要件からトピックの単語分布が時系列で の変化するモデルが仮定している。 [2]より, 時系列 での単語の変化が示されている.

本論文では，ニュース記事を対象にあるトピック が別のトピックに影響している事例があると考えら れる. 例えば， 2020 年アメリカ大統領選挙といった 政治的な事例に対して, 次の時刻では, 株価への影響が実際に起きた経済的な事例があり，また，ある 時刻ではスポーツといった話題と政治的な話題が時刻間での関係ないことがあるなど，複数のトピック 間に類似性がある場合やない場合がある．既存のト ピックモデルではトピックの単語分布のみ時系列変化に依存しているため, 複数の類似したトピックと 類似していなトピックの時系列変化を捉えることが
できない。これらに対して，DTM と文書間とトピッ ク間の類似性を測ることができる Gaussian Process

Topic Model(GPTM)[3]を組み合わせた Gaussian Process-Dynamic Topic Model(GP-DTM)および推論方法を提案する．GP-DTMにより，上述の問題への対処を示す.

既存のトピックモデルの各トピックの単語分布は 独立しているため，上述の通り複数のトピックは何 かしらの時系列的な依存関係があることを仮定し，提案モデルによる推論を行い，関係性を示す。提案 モデルによる推論を行うことで，大量の文書集合が 生成している複雑な情報社会に対して，時系列的に 類似している話題を抽出し，ユーザの理解を目的と する.

## 2 関連研究

本論文で関連して，本論文と似たような問題設定 を行い，Temporal Dirichlet Process Mixture の拡張版, Multi-dependent Temporal Dirichlet Process Mixture(MdTDPM)による複数のトピック間が依存 し合いながら時間発展を仮定するモデルが提案され ている[4]．実験データとして，「YOMIURI ONLINE(読売新聞)」にて 2014 年 4 月 25 日から 2014 年 6 月 16 日までの 4373 件，「毎日新聞のニュ 一ス・情報サイト」における 2014 年 7 月 15 日から 8 月 14 日までの 2880 件の 2 つのニュース記事を用 いて，複数のトピックへの依存の有用性を示してい る.

[5]では，ニュース記事からトピック抽出し, 時系列で表示し，対象とするトピックと他のトピック の類似性を算出しており，時系列変化への相関性な どを考察している.

また, Google Trends のキーワード入力により，人気度の動向や関連トピック，関連キーワード，地域 によっての興味度の視覚化などが挙げられる。

## 3 モデルの概要

## 3.1 潜在的ディリクレ配分法(LDA)

LDA は, トピック数 $\mathrm{k}$ を固定したとき, 単語の種類数 $V$ とおくとする. 単語のトピック分布は $\phi_{k}=$ $\left(\phi_{k, 1}, \ldots, \phi_{k, V}\right)$ と呼ばれる変数に対応し, 文書数 $\mathrm{M}$, 文書 $d$ の総単語総数を $\mathrm{N}$ とおき. LDA では各文書 $d$ は 複数のトピックから構成され, その構成比率は $\theta_{d}=$ $\left(\theta_{d, 1}, \ldots, \theta_{d, K}\right)$ と呼ばれる変数に対応されている. $\phi_{k}, \theta_{d}$ は確率ベクトルであるため, 離散分布である ディリクレ分布によって生成を仮定し，以下のよう に示される.

$
\left.\{\begin{array}{lr}
\theta_{d} \sim \operatorname{Dirichlt}(\alpha) & (d=1, \ldots, M) \\
\phi_{k} \sim \operatorname{Dirichlt}(\beta) & (k=1, \ldots, K)
\end{array}\right.
$

$\alpha, \beta$ は $\mathrm{K}$ 次元, $\mathrm{V}$ 次元ベクトルのパラメータであ る. また, $z_{d, i}$ は各文書 $d の \mathrm{n}$ 番目の単語に対する潜在トピックであり, 各単語に割り当てられる. そし $\tau w_{d, i}$ は各トピックの単語分布 $\phi_{k}$ のうちどれから 生成されたかを示す変数である. $z_{d, i}, w_{d, i}$ は離散値 であるため, 生成分布として, カテゴリー分布を仮定し，以下のように示される。

$
\begin{aligned}
z_{d, i} & \sim \text { Categorical }\left(\theta_{d}\right) \\
w_{d, i} & \sim \operatorname{Categorical}\left(\phi_{z_{d, i}}\right)
\end{aligned}
$

## 3.2 ガウス過程状態空間モデル

まずガウス過程状態空間モデルを説明する前に，状態空間モデルを説明する. 状態空間モデルとは,時系列モデルの一種で観測データと観測データの裏側に存在する潜在状態の変動を推定するモデルであ り，DTM や本論文の提案モデルである GP-DTM の モデリングの際に扱うモデルである. 式で表すと，下記のように示される.

$
x_{t}=f\left(x_{t-1}\right)+\varepsilon_{f}, y_{t}=g\left(x_{t}\right)+\varepsilon_{g}
$

式(4)に着目すると,ここでtは時間を表し, $x_{t-1}, x_{t}$ には依存関係があると仮定したモデルであり，左の 方程式を状態方程式と呼び, 状態遷移関数 $f(x)$ と独立した過程誤差 $\varepsilon_{f}$ で成り立つ. また, 右の方程式を 観測方程式と呼び, 観測関数 $g(x)$ と独立した観測誤差 $\varepsilon_{g}$ で成り立っている. 過程誤差と観測誤差は正規分布から生成され, $\varepsilon \sim N\left(0, \sigma_{.}^{2} I\right)$ と定式化でき，

$
\left.\{\begin{array}{l}
x_{t} \sim N\left(f\left(x_{t-1}\right), \sigma_{f}^{2} I\right) \\
y_{t} \sim N\left(g\left(x_{t}\right), \sigma_{g}^{2} I\right)
\end{array}\right.
$

と表すことができ，式(3)と同じように考えることは できるが, $x_{1} \sim N\left(f\left(x_{0}\right), \sigma_{f}^{2} I\right)$ と一緒に考える必要が ある。式(5)は DTM， GP-DTM のモデル化するのに 扱うので，今後式(5)で説明を行う。

次にガウス過程とは，任意の自然数 $\mathrm{N}$ に対して，入力 $x_{n}=\left(x_{1}, \ldots, x_{N}\right)$ に対して, 出力 $f\left(x_{n}\right)=$ $\left(f\left(x_{1}\right), \ldots, f\left(x_{N}\right)\right)$ が平均 $\mu$, 分散共分散行列 $K=$ $k\left(x_{n}, x_{n^{\prime}}\right)$ をもつ多変量正規分布 $N(\mu, K)$ に従うとす る.つまり,

$
f(x) \sim G P(\mu, K)
$

と表すことができる。ここで，分散共分散行列 $K=$ $k\left(x_{n}, x_{n^{\prime}}\right)$ はカーネル行列と呼び, $\mathrm{x}$ 座標とする入力 $x^{\prime}$ が与えられたら, $\mathrm{y}$ 座標とする $x^{\prime}$ の付近にあるデー 夕点と近い値をとる行列である.

そしてガウス過程状態空間モデルでは, 状態空間 モデルの状態遷移関数 $f$ および観測関数 $g$ をガウス 過程によりモデル化を行い，下記のように示される。

$
\begin{aligned}
& f(x) \sim G P\left(\mu, K_{f}\right) \\
& g(x) \sim G P\left(\mu, K_{g}\right)
\end{aligned}
$

その他は，通常の状態空間モデルの式(5)と同じよ うに定式化される. ガウス過程状態空間モデルはガ ウス過程により, 非線形な時間発展を考えることが できるノンパラメトリックのモデルであり，表現力 が高い。また複数の時系列に対して，類似性を測る ことが可能である.

## 3.3 Dynamic Topic Model(DTM)

Dynamic Topic Model(DTM)とは, LDA と状態空間 モデルを組み合わせたモデルであり，時刻 $t-1$ と $t$ の依存関係があるとことを考慮し, 時刻 $t$ におけるト ピックの単語分布 $\phi_{t, k}$ の時系列変化をモデリングす る手法である．定式化を下記のように示される。

$
\theta_{t, d} \sim \operatorname{Dirichlt}\left(\alpha_{t}\right)
$
文書のトピック比率 $\theta_{t, d}$ は LDA と同様にディリクレ 分布より生成され, トピックの単語分布 $\phi_{t, k}$ は時刻 $t-1$ と $の$ 依存関係を考慮するため, 上述の状態空間モデルにより定式化される.

$
x_{t, k} \sim N\left(x_{t-1, k}, \sigma^{2} I\right)
$

式(9)は V 次元の実ベクトル $x_{t, k}$ を正規分布より生成 され，正規分布から生成分布と仮定しているため,要素和が 1 とは限らず，負の値を取ってしまう．そ のため，式(9)に Soft-max 関数を利用して変換する.

$
\phi_{t, k, v}=\frac{\exp \left(x_{t, k, v}\right)}{\sum_{v^{\prime}=1}^{V} \exp \left(x_{t, k, v^{\prime}}\right)}
$

そして, 潜在トピック $z_{t, d, i}$ と各トピックの単語分布 $\phi_{k}$ のうちどれから生成された単語集合 $w_{t, d, i}$ は LDA と同様に，

$
\begin{gathered}
z_{t, d, i} \sim \text { Categorical }\left(\theta_{t, d}\right) \\
w_{t, d, i} \sim \text { Categorical }\left(\phi_{t, z_{d, i}}\right)
\end{gathered}
$

## 3.4 Gaussian Process Dynamic Topic Model

DTM はトピックの単語分布のみ時系列変化に依存しているため, 複数の類似したトピックと類似し ていないトピックの時系列変化を捉えることができ ない. また時系列変化の類似性を測ることはできな いため, 複数の文書間, トピック間の類似関係を考慮した時系列トピックモデルを考える。そのため,時系列の類似性を考慮し, 表現力が高いガウス過程状態空間モデルと DTM を組み合わせたモデルを提案する. 具体的には, LDA の各文書のトピック比率 はディリクレ分布によって生成されているため, 文書間の相関性や類似性を把握できない. それに対し て, トピック比率をガウス過程から生成し, カーネ ルにより文書間の類似性を把握できるように仮定す る. また文書も時系列的に依存関係があることも考慮しながら, 状態空間モデルを定式化するが, 状態空間モデルは生成分布を正規分布と仮定しているた め, 本論文では多変量正規分布を仮定し, 分散共分散行列により相関性を取り入れることで文書間の相関性を持つことを仮定する。そしてガウス過程から トピック比率を生成していると仮定しているため,
3.3 節と同様に Soft-max 関数を利用して変換する必要がある。

$
\begin{aligned}
& g(\eta) \sim G P\left(\mu, \mathcal{K}_{t}\right) \\
& \eta_{t, d} \sim N_{k}\left(g\left(\eta_{t-1, d}\right), \Sigma\right) \\
& \theta_{t, d, k}=\frac{\exp \left(\eta_{t, d, k}\right)}{\sum_{k^{\prime}=1}^{K} \exp \left(\eta_{t, d, k^{\prime}}\right)}
\end{aligned}
$

次にトピックの単語分布もトピック比率と同様に 考え,

$
\begin{aligned}
& f(x) \sim G P\left(\mu, \mathcal{K}_{t}^{\prime}\right) \\
& x_{t, k} \sim N_{k}\left(f\left(x_{t-1, k}\right), \Sigma\right) \\
& \phi_{t, k, v}=\frac{\exp \left(\eta_{t, k, v}\right)}{\sum_{v^{\prime}=1}^{V} \exp \left(\eta_{t, k, v^{\prime}}\right)}
\end{aligned}
$

と示される.

次に, 潜在トピック $z_{t, d, i}$ と各トピックの単語分布 $\phi_{k}$ のうちどれから生成された単語集合 $w_{t, d, i}$ は DTM と同様に，

$z_{t, d, i} \sim$ Categorical $\left(\theta_{t, d}\right), w_{t, d, i} \sim$ Categorical $\left(\phi_{t, z_{d, i}}\right)$

## 4 実験結果と評価

## 4.1 評価方法

提案モデルの評価として，今回扱うデータである goo ニュースの 2020/12/30 2020/1/6 の「社会」, 「ビ ジネス」,「政治」,「国際・科学」から各日付, 各ジ ヤンルから 5 件のニュース(合計 160 件)を抽出した Bag-of-words 形式のニュースデータである. ニュー スデータから 8:2 に学習用データと評価デー夕に分割し, 1 6 のトピック数を用いて, LDA, GP-DTM の 二つのモデルを 6 回繰り返し学習し, Perplexity の平均を求め, 比較評価を行った。

Perplexity とは,トピックモデルの予測精度を測る 評価指標としてよく扱われる. Perplexity は値が低い ほど，モデルの予測性能が高いことを示している.下記に Perplexity の式を示す.

$
\text { perplextiy }=\exp \left(-\frac{1}{N} \sum_{d} \log p\left(w_{d}\right)\right)
$

表 1 Perplexity によるモデル比較

式(21)では， $\mathrm{N}$ はテストデータ中の総単語数のこ とを指し， $w_{d}$ は文書 $\mathrm{d}$ に含まれる単語である.

## 4.2 実験結果

Perplexity の最小値としては, トピック数 2 の提案 モデルよりトピック数 3 の LDA が優れていること がわかつた。また，時系列の順序にトピックを抽出 し, 時刻 $t$ と時刻 $t-1$ の互いの類似度を測った. 本論文では，2020/12/30 2021/1/6 を対象にコサイン類似度を測った. 話題の類似性の平均および時系列のト ピックの結果 1 10 位の確率が高いものを図 2 に示 す.トピックを時系列順に考察すると,「社会関連」,「社会関連」,「国際関連」,「社会関連」,「政治関連」,「政治関連」,「コロナ関連」,「コロナ関連」のよう な話題を取り上げられていると解釈できると考える.

したがって, 図 2 の時系列トピックの類似関係を 考察して，類似関係があるものを図 3 に示す.上記の図の関係性はコロナ関連で成り立っている。 そのことから, 社会的な話題から国際的な話題, 政治的な話題, コロナ関連の話題の共通として類似し ているものはコロナ関連であることが解釈できる.

## 5 まとめ

本論文では，時系列での各トピックの類似性があ ることを仮定し, 時系列トピックモデルを提案し, そ のモデルの推論方法と実際のニュース記事のデータ を用いて，実験を行なって，考察した。結果として Perplexity を用いて, モデル選択の評価では, LDAの 万が提案モデルより優れていたが，仮定した問題へ の話題の類似関係を示すことができた.

今後の課題としては, Perplexity の精度を上げ, 話題 の類似関係を可視化できるようにしたいと考える.

Perplexityに対して, 提案モデルの近似事後分布の設定やモデル自体の改善, 別の推論を検討する必要が あると考えられる。

表 2 各日付のトピック

表 3 各日付のトピック類似関係

## 参考文献

[1]. Blei, D. M., Ng, A. Y. and Jordan, M. I.: Latent dirichlet allocation, the Journal of machine Learning research, Vol. 3, pp. 993-1022 (2003).

[2]. Blei, D. M. and Lafferty, J. D.: Dynamic topic models, Proc. ICML'06, ACM, pp. 113-120 (2006).

[3]. Stefanos Eleftheriadis, Thomas F.W. Nicholson, Marc P. Deisenroth, James Hensman.:Identification of Gaussian Process State Space Models.

[4]. 佐々木 健太郎, 吉川 大弘, 古橋 武.: 複数の卜 ピックの時間依存関係を考慮した時系列トピックモ デル(2014). 情報処理学会研究報告.Vol.2014-MPS-100 No3

[5].山田大造.新聞記事に対するトピックモデルの適用とトピックの時系列変化に関する考察(2017). 情報処理学会研究報告.Vol.2017-CH-115 No1
 緒方学人伊東拓真阿部秀尚 文教大学情報学部 \{b7p31078, b7p31013,hidenao\} @ bunkyo.ac.jp  