# 時系列構造化ニューラルトピックモデル

宮本 望 ${ }^{1}$ 磯沼 大 $^{1}$ *高瀬 翔 2 森 純一郎 ${ }^{1,3}$ 坂田 一郎 1
1 東京大学 2 東京工業大学 3 理研 AIP
\{nmiyamoto, isonuma, isakata\}@ipr-ctr.t.u-tokyo.ac.jp
sho.takase@linecorp.com mori@mi.u-tokyo.ac.jp

## 概要

本研究ではトピック間の依存関係を捉えつつ、そ の時系列的発展を扱うことができる時系列構造化 ニューラルトピックモデルを提案する。本モデル は、トピックの依存関係を self-attention 機構に基づ いてモデル化することで、トピックの分化・統合過程を捉える。さらに、アテンションの重みが文書間 の引用関係を反映するように、引用正則化項を導入 する。本モデルは Perplexity や Coherence において、既存の時系列トピックモデル [1] を上回ることを確認した。また、実際の論文群を用いて、本モデルが トピックの遷移過程を捉えられることを検証した。

## 1 はじめに

文書のトピックとその比率を推定するトピック モデルは、Latent Dirichlet Allocation (LDA [2])をは じめ、自然言語処理において広く利用されている。 その一種である時系列トピックモデル $[1,3]$ は、ト ピックの時系列上の変遷を追うことで、時間経過に 伴うトピック中の単語変化の可視化を可能にした。

しかし、既存の時系列トピックモデルは、トピッ クの時系列変化を各トピックで独立に扱っており、新規トピックの形成に対し過去のトピックがどう寄与したのか、トピック間の依存関係を捉えることは できない (図 1(a))。特に論文など、引用関係により 依存関係にある文書のモデル化において、各トピッ クが独立して変化し、前の時刻のトピックにのみ依存しているという前提は適切ではない。

そこで本研究では、トピック間の依存関係を捉え ながらその時系列発展を扱うことができるトピック モデルとして、時系列構造化ニューラルトピックモ デルを提案する（図 1(b)）。具体的には、トピックの 依存関係を self-attention 機構 [4] に基づきモデル化 することで、新規トピックがどの既存トピックに基


図 1 (a) 時系列トピックモデルと (b) 提案モデルの比較。

づき生まれたかを明らかにする。さらに、文書の引用関係を反映するようにアテンションの重みを正則化する引用正則化項を導入し、アテンションの重み をトピックの分化・統合過程として解釈できるよう にした。これにより、複数時刻に跨った学術トピッ クの分化・統合など複雑な過程を定量的に捉えるこ とが可能になる。

評価実験では、従来モデルの ETM [5] や D-ETM [1] と比較して、Perplexity と Coherence において、提案モデルがその性能を上回ることを確認した。さら に、提案モデルが学術トピックの分化・統合過程を 捉えられていることを定性的に確認した。

## 2 事前準備

まず、本研究の基礎となる時系列トピックモデル として、Dynamic Embedded Topic Model (D-ETM [1]) を解説する。D-ETM はトピックの時系列変化をモ デル化することで、時系列文書の解析を行う。具体的には、単語の意味空間におけるトピックごとの埋 め込み表現（トピック埋め込み）とトピック比率の 平均を変化させることで、トピックの時間変化を捉

## える。D-ETM の生成プロセスを以下に示す。

1. 時刻 $t \in\{1, \ldots, T\}$ について：

$k$ 番目のトピック埋め込みのサンプル:

$\boldsymbol{\alpha}_{k}^{(t)} \sim \mathcal{N}\left(\boldsymbol{\alpha}_{k}^{(t-1)}, \sigma^{2} \boldsymbol{I}\right)$

トピック比率の平均のサンプル:

$\boldsymbol{\eta}_{t} \sim \mathcal{N}\left(\boldsymbol{\eta}_{t-1}, \delta^{2} I\right)$

2. 各文書 $d \in\{1, \ldots, D\}$ について:

トピック比率のサンプル: $\boldsymbol{\theta}_{d} \sim \mathscr{L} \mathcal{N}\left(\boldsymbol{\eta}_{t_{d}}, \gamma^{2} \boldsymbol{I}\right)$

3. 文書 $d$ 中の各単語 $n \in\left.\{1, \ldots, N_{d}\right.\}$ について:

トピックの割り当て: $z_{d, n} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{d}\right)$

単語のサンプル: $w_{d, n} \sim \operatorname{Cat}\left(\boldsymbol{\beta}_{z_{d, n}}^{\left(t_{d}\right)}\right)$

ただし、Cat($\cdot$) はカテゴリカル分布、 $\mathscr{L} N(\cdot, \cdot)$ はロ ジット正規分布を指す。 $\sigma$ と $\delta \gamma$ はハイパーパラ メータである。単語分布 $\boldsymbol{\beta}_{k}^{(t)}$ は以下の式で計算さ れる。

$
\boldsymbol{\beta}_{k}^{(t)}=\operatorname{softmax}\left(\boldsymbol{\rho}^{\top} \boldsymbol{\alpha}_{k}^{(t)}\right)
$

$\rho \in \mathbb{R}^{L \times V}$ は $L$ 次元の単語埋め込み行列であり、 $\rho_{v} \in \mathbb{R}^{L}$ は $v$ 番目の単語埋め込みに対応する。

D-ETM では、変分推論 [6] で $\boldsymbol{\alpha}$ と $\boldsymbol{\eta}$ と $\boldsymbol{\theta}$ の事後分布を推定する。特に、トピック埋め达み $\alpha$ について は、以下の平均場近似を用いる。

$
\begin{array}{r}
q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)=\mathcal{N}\left(\boldsymbol{\mu}_{k}^{(t)}, \boldsymbol{\sigma}_{k}^{(t)}\right) \\
q(\boldsymbol{\alpha})=\prod_{k} \prod_{t} q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)
\end{array}
$

ただし、 $\boldsymbol{\alpha}_{k}^{(t)}$ は平均 $\boldsymbol{\mu}_{k}^{(t)}$ と分散 $\boldsymbol{\sigma}_{k}^{(t)}$ のガウス分布に 従いサンプルされる。

この平均場近似は、事後分布において各トピック が独立であることを仮定しており、トピック間の依存関係を推定することができない。一方、本研究で は、 self-attention 機構によりトピック埋め込みを推定する構造化変分推論を導入し、トピック間の依存関係をモデル化する。

## 3 提案モデル

本章では、提案モデルである時系列構造化ニュー ラルトピックモデルについて述べる。生成プロセス は D-ETM と同一である。

## 3.1 トピック埋め込みの推論

D-ETM とは異なり、提案モデルは構造化変分推論 によりトピック埋め込みを推論する。 self-attention

図 2 self-attentionによるトピック埋め込みの素の作成。

機構を利用して、過去の全てのトピック埋め込みか らトピック埋め込みを計算する。

$
\begin{array}{r}
\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\operatorname{self}-\operatorname{attention}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right)=\mathcal{N}\left(f_{\mu}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t)}\right), f_{\sigma}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t)}\right)\right)
\end{array}
$

変数 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ はトピック埋め込みの素であり、 $f_{\mu}$ と $f_{\sigma}$ は $\tilde{\boldsymbol{\alpha}}_{k}^{(t+1)}$ を変分ガウス分布に変換する関数である。

self-attention の計算 式 (9)を計算するため、時刻 $t-1$ 以前の全てのトピック埋め込みの素 $\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}$ からキー $\boldsymbol{K}_{1: K}^{(1: t-1)} \in \mathbb{R}^{K(t-1) \times L}$ 及びバリュー $\boldsymbol{V}_{1: K}^{(1: t-1)} \in \mathbb{R}^{K(t-1) \times L}$ を計算する。また、時刻 $t-1$ の $k$ 番目のトピック埋め込み $\tilde{\alpha}_{k}^{(t)}$ からクエリ $\boldsymbol{q}_{k}^{(t-1)} \in \mathbb{R}^{L}$ を計算する。

$
\begin{array}{r}
\boldsymbol{K}_{1: K}^{(1: t-1)}=f_{k}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
\boldsymbol{V}_{1: K}^{(1: t-1)}=f_{v}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
\boldsymbol{q}_{k}^{(t-1)}=f_{q}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t-1)}\right)
\end{array}
$

ただし、 $f_{q}, f_{k}, f_{v}$ は多層パーセプトロンである。こ のとき、時刻 $t$ のトピック $k$ に対するアテンション の重み $\boldsymbol{a}_{k}^{(t)} \in \mathbb{R}^{K(t-1)}$ は、以下の式で表される。

$
\boldsymbol{a}_{k}^{(t)}=\operatorname{softmax}\left(\boldsymbol{q}_{k}^{(t-1)} \boldsymbol{K}_{1: K}^{(1: t-1) \top}\right)
$

$\boldsymbol{a}_{k}^{(t)}$ は時刻 $t$ 以前の各トピックに依存している確率 を表しているとみなせる。これを重みとして利用 し、 $\boldsymbol{V}^{(1: t-1)}$ の重み和を計算することで、 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ を求め る。一連の過程を図 2 に示す。

$
\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\boldsymbol{a}_{1: K}^{(1: t-1)} \boldsymbol{V}_{1: K}^{(1: t-1)}
$

$\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ は、残差接続 [7] を経て正規化される。残差接続を行うことで、勾配爆発や勾配消失を防ぐこと が可能になる。また、事前分布では $\boldsymbol{\alpha}_{k}^{(t)}$ は $\boldsymbol{\alpha}_{k}^{(t-1)}$ を 平均とする正規分布により生成されると仮定してい るため、時刻 $t$ のトピック $k$ は時刻 $t-1$ のトピック $k$ に比較的類似したものが推定される。

self-attention の導入の経緯 self-attention 機構の 代わりに、トピック間の依存関係を表す学習可能な 重み $\boldsymbol{w} \in \mathbb{R}^{K}$ を用いて、 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\boldsymbol{w}^{\top} \tilde{\boldsymbol{\alpha}}_{1: K}^{(t-1)}$ としてパラ メータ化する方法も本研究では検討した。しかし、

この方法では 1 時刻間のトピック間の依存関係しか モデル化できず、学術論文で多く見られる複数時刻 に跨るトピック間の依存関係のモデル化には不適当である。一方、self-attention 機構は任意の数のト ピックを入力として用いることが可能であり、かつ 各時刻を通じて $f_{q}, f_{k}, f_{v}$ のパラメータが共有される ため、パラメータ数はトピック数に依らず一定であ る。よって、 self-attention 機構は複数時刻に跨るト ピック間の依存関係のモデル化により適当であるこ とから、本研究では self-attention 機構を採用した。

## 3.2 全体の推論と ELBO

提案モデルによる文書の尤度は以下のように与え られる。

$
\begin{aligned}
& p\left(\boldsymbol{w}_{1: D} \mid \sigma, \delta, \gamma\right) \\
& =\int\left.\{\prod_{d} \prod_{n}\left(\boldsymbol{\beta}^{\left(t_{d}\right)} \cdot \boldsymbol{\theta}_{d}\right)_{w_{d, n}} p\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}\right)\right.\} \\
& \quad\left.\{\prod_{t} \prod_{k} p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right) p\left(\boldsymbol{\alpha}_{k}^{t} \mid \boldsymbol{\alpha}_{k}^{t-1}\right)\right.\} d \boldsymbol{\theta} d \boldsymbol{\eta} d \boldsymbol{\alpha}
\end{aligned}
$

ここで、事後分布 $p\left(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha} \mid \boldsymbol{w}_{1: D}\right)$ の近似事後分布 として $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ を導入する。D-ETM と同様に、 $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ は以下のように計算される。

$
\begin{aligned}
q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})= & \prod_{d} q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}, \boldsymbol{w}_{d}\right) \times \prod_{t} q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right) \\
& \times \prod_{t} \prod_{k} q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right)
\end{aligned}
$

ただし、 $\boldsymbol{w}_{d}$ は文書 $d$ の Bag-of-Words 表現を、 $\tilde{w}_{t}$ は 正規化された時刻 $t$ における全文書の Bag-of-Words 表現を表す。文書の対数尤度に対する変分下限は以下の式で求められる。

$
\begin{aligned}
& L_{d o c}=\sum_{d} \mathrm{E}_{q\left(\boldsymbol{\theta}_{d}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\boldsymbol{w}_{d}^{\top} \log \left(\boldsymbol{\beta}^{\left(t_{d}\right)} \cdot \boldsymbol{\theta}_{d}\right)\right] \\
& \quad-\sum_{d} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}, \boldsymbol{w}_{d}\right) \| p\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}\right)\right] \\
& \quad-\sum_{t} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right) \| p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right)\right] \\
& \quad-\sum_{t} \sum_{k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right) \| p\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{k}^{(t-1)}\right)\right]
\end{aligned}
$

## 4 引用正則化項ありの提案モデル

3 章で述べた提案モデルは、トピック間のアテン ションの重みを解釈することが困難である。理想的 には、アテンションはトピック間の潜在的な依存関係を表し、それは文書間の引用関係として顕在化さ れるべきである。そこで、アテンションの重みを引用関係に対応するように正則化を行うことで、アテ ンションの解釈可能性を担保する。また、引用正則化項によりテキストと引用を同時にモデル化するこ とで、トピックの質的な向上が期待される。

アテンションの重みの正則化にあたり、トピッ ク比率 $\boldsymbol{\theta}$ 、アテンションの重み $\boldsymbol{a}$ 、文書比率 $\phi$ に基 づいて文書間の引用をモデル化する。文書のぺア $(i, j) \in\{1, \ldots, D\} \times\{1, \ldots, D\}$ 間の引用は以下のよ うにモデル化される。

1. 引用トピックの割り当て: $z_{i} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{i}\right)$

2. 被引用トピックの割り当て: $z_{j} \sim \operatorname{Cat}\left(\boldsymbol{a}_{z_{i}}^{\left(t_{i}\right)}\right)$

3. 被引用文書のサンプル: $d_{j} \sim \operatorname{Cat}\left(\boldsymbol{\phi}_{z_{j}}\right)$

ただし、 $\boldsymbol{a}_{k}^{\left(t_{i}\right)} \in \mathbb{R}^{K\left(t_{i}-1\right)}$ はアテンションの重みであ り、過去の全トピック $z_{j} \in\{1, \ldots, K\} \times\left.\{1, \ldots, t_{i}-1\right.\}$ に依存する確率の分布を指す。文書比率 $\boldsymbol{\phi}_{k} \in \mathbb{R}^{D}$ は、あるトピックが割り当てられた被引用文書の確率分布を示しており、以下の式で表される。

$
\phi_{z_{j}}^{\left(d_{j}\right)}=\frac{\theta_{d_{j}}^{\left(z_{j}\right)}}{\sum_{d_{j}} \theta_{d_{j}}^{\left(z_{j}\right)}}
$

この仮定のもと、引用 $c_{i, j} \in\{0,1\}$ の尤度は以下 のように与えられる。

$
\begin{aligned}
& p\left(c_{i, j}=1 \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right) \\
& =\sum_{k}^{K} \sum_{k^{\prime}}^{K} p\left(d_{j} \mid \boldsymbol{\phi}_{k^{\prime}}\right) p\left(z_{j}=k^{\prime} \mid \boldsymbol{a}_{k}^{\left(t_{i}\right)}\right) p\left(z_{i}=k \mid \boldsymbol{\theta}_{i}\right)
\end{aligned}
$

ただし、 $c_{i, j}=1$ は文書 $d_{i}$ が文書 $d_{j}$ を引用すること を示す。文書と引用の対数尤度に対する変分下限は 以下の式で表される。

$
L=L_{d o c}+\sum_{i}^{D} \sum_{j}^{D} \operatorname{BCE}\left(p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right), c_{i, j}\right)
$

ただし、 $L_{d o c}$ は式 (18)により定義され、BCE は二値の交差エントロピーである。詳細な変分下限の導出は付録 A. 1 に記す。

## 5 実験

## 5.1 実験設定

本実験では、The Semantic Scholar Open Research Corpus (S2ORC [8]) $)^{1}$ をもとに構築した $A C L$ 及び CS のデータセットを用いる。 $A C L$ データセットは ACL 系列の国際会議で発表された論文群であり、CSデー

表 1 各モデルの評価結果。Perplexity は低いほど良く、Coherence と Diversity は高いほど良い。

タセットは、研究分野に “Computer Science”を含む 論文群である。各データセットの詳細な情報を、付録 A. 2 に記載した。データセットに関する具体的な 数値を表 2 にまとめる。ベースラインには、ETM [5] 及び D-ETM [1]を用いる。提案モデルに対する 引用データ制約の効果を測定するため、提案モデル に対する引用正則化項の有無による結果も比較す る。詳細な実験設定は付録 A. 3 に記載する。

## 5.2 実験結果

トピックモデルの性能を以下の 3 つの基準で定量的に評価した。

Perplexity まず、生成モデルとしての汎化能力 を評価するため、Perplexity [9]を用いた。両データ セットにおいて、提案モデルは、従来モデルを上回 ることを示した（表 1）。また、引用正則化項ありの 提案モデルは、引用正則化項なしの提案モデルを上回ることから、引用情報がトピックモデルの汎化能力に寄与することが確認された。

Coherence トピックの解釈可能性を評価するた め、トピックの Coherence を平均自己相互情報量 [10] で測定した。具体的には、トピック $k$ の頻出語上位 10 個の単語中の各 2 単語について、正規化自己相互情報量報を計算した。各モデルの全トピック の平均 Coherence を表 1 に示す。引用正則化項あり の提案モデルが従来モデルを上回った他、引用正則化項なしのトピックモデルも D-ETM と競合し、十分にトピックが解釈可能であることが確認された。

Diversity トピックの多様性を評価するため、全 トピックの頻出語上位 25 語において重複していな

図 $3 A C L$ データセットにおけるトピック遷移の例。各ト ピックの頻出語上位 5 つを示す。Attention の重みが 0.05 以上であれば太線、 0.02 以上 0.05 未満であれば細線でト ピック間の依存関係を表現した。

い単語の割合を算出し、トピック間の Diversityを測定する。各モデルにおける Diversity の平均値を表 1 に示す。両モデルは従来モデルと遜色なく、十分に トピックの多様性が担保されることを確認した。

## 5.3 トピック遷移の可視化

$A C L$ データセットを用いて、提案モデルがトピッ クの遷移を捉えられているか確認した。図 3 にそ の例を示す。上段のトピックは「グラフ」、中段の トピックは「ニューラルネットワーク」、下段のト ピックは「ソーシャルメディア」を表している。ト ピックの頻出語を確認することで、そのトピックに おける頻出単語の変遷を追うことができる一方、ア テンションの重みを確認することでトピックの分化 や統合過程を追うことができる。

## 6 おわりに

本研究では、トピック間の依存関係を self-attention 機構でモデル化したトピックモデルを提案した。評価実験の結果、提案モデルは複数の指標について従来モデルの性能を上回った。また、文書間の引用関係を考慮した正則化を加えることで、さらなる性能 の向上が示唆された。また、トピック遷移を追うこ とで、提案モデルが実際の学術文献のトピックの動向調査に利用できることを確認した。

## 謝辞

本研究は、NEDO JPNP20006、JST ACT-X JPMJAX1904 及び JST CREST JPMJCR21D1 の支援を受 けたものである。

## 参考文献

[1] Adji B Dieng, Francisco JR Ruiz, and David M Blei. The dynamic embedded topic model. arXiv preprint arXiv:1907.05545, 2019.

[2] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[3] David M. Blei and John D. Lafferty. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, ICML '06, p. 113-120, New York, NY, USA, 2006. Association for Computing Machinery.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017

[5] Adji B. Dieng, Francisco J. R. Ruiz, and David M. Blei. Topic modeling in embedding spaces. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 439-453, 2020.

[6] David M Blei, Alp Kucukelbir, and Jon D McAuliffe. Variational inference: A review for statisticians. Journal of the American statistical Association, Vol. 112, No. 518, pp. 859-877, 2017.

[7] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014

[8] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4969-4983, Online, July 2020. Association for Computational Linguistics.

[9] Michal Rosen-Zvi, Thomas Griffiths, Mark Steyvers, and Padhraic Smyth. The author-topic model for authors and documents. In Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, UAI '04, p. 487-494, Arlington, Virginia, USA, 2004. AUAI Press.

[10] David Mimno, Hanna Wallach, Edmund Talley, Miriam Leenders, and Andrew McCallum. Optimizing semantic coherence in topic models. In Proceedings of the 2011 conference on empirical methods in natural language processing, pp. 262-272, 2011.

[11] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, Vol. arXiv:1412.6980v9, , 2014.

[12] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, Vol. 26, , 2013.

## A 付録

## A. 1 引用正則化項ありの提案モデルの変分下限の導出

この章では、式 (24) の導出を行う。文書と引用の 尤度は以下の式で計算される。

$
\begin{aligned}
& p\left(\boldsymbol{w}_{1: D}, c_{1,1}, \ldots, c_{D, D} \mid \sigma, \delta, \gamma\right) \\
& =\int\left.\{\prod_{i} \prod_{n}\left(\boldsymbol{\beta}^{\left(t_{i}\right)} \cdot \boldsymbol{\theta}_{i}\right)_{w_{i, n}} p\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{t_{i}}\right)\right.\} \\
& \quad\left.\{\prod_{i} p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right)\right.\} \\
& \quad\left.\{\prod_{t} p\left(\prod_{k} \mid \boldsymbol{\eta}_{t}\right) p\left(\boldsymbol{\alpha}_{k}^{t} \mid \boldsymbol{\alpha}_{k}^{t-1}\right)\right.\} d \boldsymbol{\theta} d \boldsymbol{\eta} d \boldsymbol{\alpha}
\end{aligned}
$

近似事後分布 $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ は、式 (17) のように計算さ れる。よって、文書と引用の対数尤度に対する変分下限は以下のように表される。

$
\begin{aligned}
L & =\sum_{i} \mathrm{E}_{q\left(\boldsymbol{\theta}_{i}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\boldsymbol{w}_{i}^{\top} \log \left(\boldsymbol{\beta}^{\left(t_{i}\right)} \cdot \boldsymbol{\theta}_{i}\right)\right] \\
& +\sum_{i} \sum_{j} \mathrm{E}_{q\left(\boldsymbol{\theta}_{i}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\log p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right)\right] \\
& -\sum_{i} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{\boldsymbol{t}_{i}}, \boldsymbol{w}_{i}\right) \| p\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{t_{i}}\right)\right] \\
& -\sum_{t} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}, \tilde{\boldsymbol{w}}_{t}\right) \| p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right)\right] \\
& -\sum_{t} \sum_{k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right) \| p\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{k}^{(t-1)}\right)\right] \\
= & L_{d o c}+\sum_{i}^{D} \sum_{j}^{D} \operatorname{BCE}\left(p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right), c_{i, j}\right)
\end{aligned}
$

## A. 2 実験に用いたデータセット

本節では、各データセットの作成手順について説明する。S2ORC は、136,595,995 の論文群を保有し ており、各論文は論文 ID、出版年、要約、被引用論文 ID、ACL ID、研究分野などを保持する。 $A C L$ データセットについては、2006 年から 2019 年ま での ACL ID が “None” でない論文を抽出する。CS データセットについては、2006 年から 2019 年まで の研究分野が “Computer Science” である論文を抽出 し、被引用論文数の多い上位 40,000 本を抽出する。

得られた論文群は、3:1:1 の比率でランダムに訓練用、検証用、評価用文書データセットに分類す る。訓練用文書データセットに対して、出現数が 10 未満の語彙、 $70 \%$ 以上の論文に共通して出現する語彙、数字を除去して得られた文書を Bag-of-Words と して保持する。各時刻において十分な量の文書を確保するため、 2 年分の文書群をまとめて一つの時刻 の文書群とする。例えば、2006 年と 2007 年の文書群をまとめて、それらを時刻 $t=0$ とする。

## A. 3 実装詳細

各モデルのハイパーパラメータは、 $A C L$ の検証 データセットの Perplexity に基づいてチューニング されている。全ての実験でトピック数 $K$ は 20 と設定し、トピック埋め込みの推論以外のパラメータは D-ETM の実装2)に従って設定した。勾配降下法は Adam [11]を用いて、バッチサイズ 512 でモデルを 学習させる。学習率については、提案モデルと ETM については $6.0 \times 10^{-4} 、$ D-ETM については $8.0 \times 10^{-4}$ である。より良い実験結果を得るため、各モデルに ついて学習率の減衰を適用し、ロスが収束するまで 学習を継続させている。

DSNTM 内部の self-attention 機構の $f_{q}, f_{k}, f_{v}$ 及び トピック埋め込みの変分パラメータ構築の $f_{\mu}, f_{\sigma}$ は、全てに次元数が 300 の隠れ層の MLPを利用す る。また、残差接続後の正規化は、レイヤー正規化 [12]を指す。

各モデルとも、変文推論の事後分布の分散のパラ メータは $\delta^{2}=\sigma^{2}=0.005$ で、 $\gamma^{2}=1$ とした。単語埋め 込みについては、skip-gram [13] の埋め込み表現を利用しており、その次元数は 300 である。

トピック比率 $\boldsymbol{\theta}$ の推論 $q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{\boldsymbol{t}_{d}}, \boldsymbol{w}_{d}\right)$ は、ReLU 活性化と 800 次元の隠れ層を持つ 2 層の MLP、その 後に $\theta_{d}$ の平均 $f_{\mu}$ と分散 $f_{\sigma}$ が続く構成である。卜 ピック比率の平均 $\boldsymbol{\eta}$ の推論 $q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right)$ を構築す るため、bag-of-words 表現 $\tilde{w}_{t}$ を 400 次元の低次元空間に線形写像し、それを、400 次元の 3 層の隠れ層 を持つ LSTM の入力として利用する。LSTM の出力 は、直前のトピック比率の平均 $\boldsymbol{\eta}_{t-1}$ と結合され、そ の結果を $K$ 次元空間に線形写像し、 $\boldsymbol{\eta}_{t}$ の平均と分散を得る。

2) https://github.com/adjidieng/DETM
 宮本 望 ${ }^{1}$ 磯沼 大 $^{1}$ *高瀬 翔 2 森 純一郎 ${ }^{1,3}$ 坂田 一郎 1 1 東京大学 2 東京工業大学 3 理研 AIP \{nmiyamoto, isonuma, isakata\}@ipr-ctr.t.u-tokyo.ac.jp sho.takase@linecorp.com mori@mi.u-tokyo.ac.jp  