# スケール不変な木構造棒折り過程に基づく 無限階層トピックモデル

江島舟星 ${ }^{1}$
1 ハーバード大学大学院 政治学科
shuseieshima@g. harvard.edu
}

持橋大地 2
2 統計数理研究所
daichi@ism.ac.jp

## 概要

階層的トピックモデルは、多様なトピックを木構造で整理するために活用されてきた。しかし既存手法では、木が深くなるにつれて各トピックの平均確率が指数的に小さくなり、似通ったトピックが多数推定されてしまう。本研究ではこの課題に対し、ス ケール不変木構造棒折り過程を用いた階層的トピッ クモデル (ihLDA) を提案する。提案手法はトピック 生成時にその親を考慮することで、トピック平均確率の減衰を抑え、深い木構造の推定を可能にする。 また、提案手法は木構造棒折り過程の階層化でもあ る。提案手法が、ニューラルモデルを含む既存手法 より 2 つの指標で優れることを実験的に確認した。

## 1 はじめに

トピックモデルは文章の要約、注釈、分類のため に幅広く用いられているが $[1,2,3,4]$ 、大規模コー パスから数千ものトピックを推定できるモデルが登場したことで $[5,6,7,8]$ 、大量のトピックを解釈す る必要性が高まった。

階層的トピックモデルは、トピックの階層的構造 もコーパスから学習することで、トピックの整理 と解釈を助けるものである $[9,10,11,12,13,14,15]$ 。 しかし既存手法では、用いられる確率が小さく、似通ったトピックー単語分布を持つ多数のトピックが 推定される。これは確率的モデルだけでなく、近年 のニューラルモデルにおいても共通の現象である。

トピックの平均確率が減衰する原因は、階層モデ ルで用いられる棒折り過程 [16] が、各トピックの平均確率を木が深くなるにつれ指数的に小さくするこ とにある。既存手法では推定される木構造を一定の 深さで打ち切るなどのヒューリスティックに基づ き、トピックの減衰を防いできた。

これに対し本研究は、スケール不変な木構造棒折
り過程と、それに基づく無限階層トピックモデル (ihLDA) を提案し、以下の 3 点を実現する。

1.トピック生成時にその親を考慮し、トピック平均確率の減衰を抑えた深い木構造の推定

2. 木構造棒折り過程 (TSSB) [11] の階層ベイズ化

3. 木構造に属する全てのトピックを数え上げる必要のない、効率的なサンプリング

棒折り過程を用いる既存手法に提案手法を取り 入れることは容易であり、本研究は確率的モデル、 ニューラルモデル双方の改善に資するものである。

## 2 木構造棒折り過程

木構造棒折り過程 (TSSB)[11] は、2つの棒折り過程を [16] を組み合わせ、理論的には無限の深さと幅 を持つトピック木を図 1 のように実現する。

階層的トピックモデルは潜在トピック $\boldsymbol{\epsilon}=\boldsymbol{\epsilon}_{1} \epsilon_{2} \ldots$ を各文書の各単語に割り当てる。深さ $|\epsilon|$ のトピッ ク $\boldsymbol{\epsilon}$ は先祖と子を持ち、 $\{\boldsymbol{\kappa}: \boldsymbol{\kappa}<\boldsymbol{\epsilon}\}$ が先祖集合を表 す。また、 $\boldsymbol{\epsilon}$ の親は $\boldsymbol{\epsilon}^{\prime} て ゙ 、 \boldsymbol{\epsilon}$ の子は $\{\boldsymbol{\epsilon} k: k \in 1,2,3, \ldots\}$ で示す。

TSSB におけるトピック $\boldsymbol{\epsilon}$ の確率 $\pi_{\epsilon}$ は、

$
\pi_{\epsilon}=v_{\epsilon} \prod_{\kappa<\epsilon}\left(1-v_{\kappa}\right) \cdot \prod_{\kappa \leq \epsilon} \phi_{\kappa}, \phi_{\epsilon k}=\psi_{\epsilon k} \prod_{j=1}^{k-1}\left(1-\psi_{\epsilon j}\right)
$

で表される。式 (1) の第 1 項はトピック $\epsilon$ が縦方向 に止まる確率であり、続く積は $\boldsymbol{\epsilon}$ の先祖を縦方向に は通過しつつ、横方向では $\epsilon$ とその先祖に止まる確率である。縦横方向に止まる確率は、ベータ分布に 従うとする。

$
v_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \alpha_{0}\right), \psi_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \gamma_{0}\right) .
$

$\alpha_{\epsilon}=\alpha_{|\epsilon|} \cdot \lambda^{|\epsilon|-1}, 0 \leq \lambda \leq 1$ と定め、深いほど単語が止 まりやすくする。以下、 $\alpha_{\epsilon}$ を $\alpha$ と記す。

図1 木構造棒折り過程 [11]。青の区間はその幅に比例した確率 $\pi$ のトピックを、角括弧は各トピックの経路を、黒線 は親子関係を、 $\psi$ は横方向の棒折り過程を示す。右図はトピックのみを抜き出したものである。

(a) TSSB [11]

(b) スケール不変 TSSB (提案手法)

$\alpha_{0}=3.5, \gamma_{0}=2, \lambda=0.25$

図 2 TSSB [11] (a) とスケール不変 TSSB (b)。青の区間は その幅に比例したトピックを示す。(a)(b) は同じハイパー パラメータから生成された木構造であるが、(b) の提案手法は確率 $\pi_{\epsilon}$ が小さすぎるトピックを生成しない。

Level $\ell$

図 3 深さ $\ell$ における横方向の平均分割確率。 3 つの異な る確率を持つ木の根を提案手法では示した。提案手法の 減衰は、TSSB よりも遅い。 $\gamma_{0}$ の値は 0.8 に固定した。

## 3 スケール不変木構造棒折り過程

TSSB は階層的トピックモデルに用いられるが $[14,15] 、 木$ 構造が深くなるほどトピックの平均確率が指数的に小さくなるという問題を抱えている。図 2(a) に示されるように、 3 段目、 4 段目のトピッ クの確率はより上部のトピックと比べて小さい。

このような TSSB の性質は、横方向パラメータ $\psi_{\epsilon}$ が深さに関わらず同じ平均確率を持つために生じ る。付録 A が示す通り、深さ $\ell$ における横方向の平均分割確率は $\mathbb{E}[\phi \mid \ell] \approx 1 /(2 \gamma+1)^{\ell}$ であり、深さ $\ell$ が 分母の指数にある。このため、図 3 の点線が示すよ うな指数的な減衰が生じてしまう。

そこで本研究では、式 (2)の $\gamma_{0}$ を親ノード $\boldsymbol{\epsilon}^{\prime}$ から

$
\psi_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \phi_{\boldsymbol{\epsilon}^{\prime}} \gamma_{0}\right)
$

としてスケールを修正する。ここで根ノードにおい
ては $\phi_{\boldsymbol{\epsilon}^{\prime}}=1$ である。以下 $\gamma=\phi_{\boldsymbol{\epsilon}^{\prime}} \gamma_{0}$ と表記する。

式 (3) で鍵となるのは、親トピック $\boldsymbol{\epsilon}^{\prime}$ における横方向の分割確率 $\phi_{\epsilon^{\prime}}$ を用いて、その子トピックの相対的な棒の長さ $\psi_{\epsilon}$ を求めている点である。これに よって、付録 $\mathrm{A}$ に示した通り、深さ $\ell$ での平均的な 棒の長さを $\mathbb{E}[\phi \mid \ell] \approx 1 /(2 \gamma+1 / \mathbb{E}[\phi \mid \ell-1])(\ell \geq 2)$ と し、深さ $\ell$ に対してスケール不変となる分割を実現 した。図 3 の実線が提案手法であるスケール不変木構造棒折り過程 (スケール不変 TSSB) を表している。

図 2(b) にこのスケール不変 TSSB からのサンプル を、(a)と同じハイパーパラメータを用いて示した。提案手法を用いると、木構造が深くなってもトピッ クの確率が小さくなりにくいことがわかる。

## 4 スケール不変木構造棒折り過程に 基づく無限階層トピックモデル

トピックモデルは、文書-トピック分布とトピッ ク一単語分布の組み合わせであり、本論文が提案す るihLDA は、スケール不変 TSSB を前者に、階層 Pitman-Yor 過程 [17]を後者に用いる。

文書-トピック分布それぞれのトピックが用い られる確率は文書ごとに異なるが、トピック自体は 全ての文書で共有されなければならない。このため 本研究は、スケール不変 TSSB を階層木構造棒折り 過程 (HTSSB) [18] に適用する。図 4 の通り、HTSSB は親 TSSB から子 TSSB を各文書に対して階層的に 生成する。

図 4 HTSSB は親 TSSB から子 TSSB を階層的に生成す る。子TSSB は各文書の文書-トピック分布である。

HTSSB は階層ディリクレ過程 (HDP)[19]を式 (2) と (3) の縦横方向のパラメータに適用する。HTSSB での親子関係を示すために、チルダ記号を用い て子 TSSB のトピック $\boldsymbol{\epsilon}$ に対応する親 TSSB のト

$v_{\epsilon} \sim \operatorname{Be}\left(a \tau_{\tilde{\epsilon}}, a\left(1-\sum_{\kappa \leq \tilde{\epsilon}} \tau_{\kappa}\right)\right) 、 \tau_{\epsilon}=v_{\epsilon} \prod_{\kappa<\epsilon}\left(1-v_{\kappa}\right)$ 、横方向の確率は $\psi_{\boldsymbol{\epsilon} k} \sim \operatorname{Be}\left(b \phi_{\tilde{\boldsymbol{\epsilon}} k}, b\left(1-\sum_{j=1}^{k} \phi_{\tilde{\boldsymbol{\epsilon}} j}\right)\right)$ となり、各文書の木構造は式 (1) から求まる。子 TSSB での トピックの割り当てが、HTSSB によって親 TSSB に も影響することに留意しなければならない。

トピックー単語分布 階層 Pitman-Yor 過程 (HPY)[17] によって、深さに応じてトピックの 専門性を高めつつ、親子トピックに意味的な関連性を持たせることができる。 $H_{\boldsymbol{\epsilon}}$ をトピック $\boldsymbol{\epsilon}$ のトピックー単語分布とすると、この事前分布が Pitman-Yor 過程に従い $H_{\epsilon} \sim P Y\left(d_{|\epsilon|}, \theta_{|\epsilon|}, H_{\epsilon^{\prime}}\right)$ となる。 これを根ノード $H_{[1]} \sim \mathrm{PY}\left(d_{0}, \theta_{0}, H_{0}\right)$ に至るまで繰り 返し、 $H_{0}=1 / V$ と単語数 $V$ を用いて一様分布を考え る。トピックー単語分布の木構造は文書-トピック分布の親 TSSB と同じであり、各文書の各トピックで 対応するトピックー単語分布が保証されている。

生成過程 ihLDA の生成過程は、次の通りである。

1. 親 TSSB $\tilde{\pi}$ の生成。 $\pi$ は TSSB とする。

2. トピック一単語分布 $H_{\epsilon}$ を HPYを使って $\widetilde{\pi} の$ 各 トピックに対して生成。

3. 各文書 $d$ に対して文書分布 $\boldsymbol{\pi}^{(d)} \sim \operatorname{HTSSB}(\widetilde{\pi})$ を 生成。

4. 文書 $d$ の $i$ 番目の単語に対し、トピックを $z_{d i} \sim \pi^{(d)}$ と生成し、次に単語 $w_{d i} \sim H_{z d i}$ を生成する。

## 5 モデルの推論

トピック木構造に関わる式 (2)と (3) の縦横パラ メータを推定するために、ディリクレ過程表現の一 つである中華料理街過程 [20]を用いる。トピック $\boldsymbol{\epsilon}$ において、 $n_{0}(\boldsymbol{\epsilon})$ が縦方向の停止数を、 $m_{0}(\boldsymbol{\epsilon})$ が横方向の停止数を、 $n_{1}(\boldsymbol{\epsilon})$ が縦方向の通過数を、 $m_{1}(\boldsymbol{\epsilon})$ が横方向の通過数を表すとする。また $n(\boldsymbol{\epsilon})=n_{0}(\boldsymbol{\epsilon})+n_{1}(\boldsymbol{\epsilon})$ 、 $m(\boldsymbol{\epsilon})=m_{0}(\boldsymbol{\epsilon})+m_{1}(\boldsymbol{\epsilon})$ と定義する。するとデータと他 のパラメータで条件づけたパラメータの期待値がそ れぞれ $\widehat{v}_{\boldsymbol{\epsilon}}=\mathbb{E}\left[v_{\boldsymbol{\epsilon}} \mid\right.$ rest $]=\left(1+n_{0}(\boldsymbol{\epsilon})\right) /(1+\alpha+n(\boldsymbol{\epsilon}))$ と $\widehat{\psi}_{\boldsymbol{\epsilon}}=\mathbb{E}\left[\psi_{\boldsymbol{\epsilon}} \mid\right.$ rest $]=\left(1+m_{0}(\boldsymbol{\epsilon})\right) /(1+\gamma+m(\boldsymbol{\epsilon}))$ となる。 ここで式 (1)を用いることで、 $\pi_{\epsilon}$ の事後確率の期待值が求まる。さらに HTSSB においても同様に、文書 $d$ における縦横パラメータの事後確率の期待値が

$
\begin{aligned}
\mathbb{E}\left[v_{\boldsymbol{\epsilon}}^{(d)} \mid \mathrm{rest}\right] & =\frac{a \tau_{\tilde{\boldsymbol{\epsilon}}}+n_{0}(\boldsymbol{\epsilon})}{a\left(1-\sum_{\kappa<\tilde{\boldsymbol{\epsilon}}} \tau_{\kappa}\right)+n(\boldsymbol{\epsilon})}, \\
\mathbb{E}\left[\psi_{\boldsymbol{\epsilon} k}^{(d)} \mid \mathrm{rest}\right] & =\frac{b \phi_{\tilde{\boldsymbol{\epsilon}}}+m_{0}(\boldsymbol{\epsilon} k)}{b\left(1-\sum_{j=1}^{k-1} \phi_{\tilde{\boldsymbol{\epsilon}}^{\prime} j}\right)+m(\boldsymbol{\epsilon} k)}
\end{aligned}
$

であることがわかる。親 TSSB の停止・通過回数の 更新については、付録 B に詳述した。

次に、トピックの割り当てについてはレトロスぺ クティブサンプリング [21] と二分探索を組み合わ せたギブスサンプリングを用いた。スライスサンプ リングは現在のトピックと、ランダムに選ばれたト ピックを比較するため、任意の $u \sim \operatorname{Unif}[0,1)$ に対応 するトピックを見つけることさえできれば、全ての トピックを数え上げる必要がなく効率的である。付録 C に具体的なアルゴリズムを示した。

HPY のパラメータ推定は原論文 [17] に従い、そ の他はスライスサンプリング $[22,23]$ を用いた。

## 6 実験

設定 実験には BBC News [24]、20News [25]、独自のWikipedia コーパスを用いた。文書数はそれぞ れ 2,225、18,828、50,513であり、ランダムに選んだ $80 \%$ 訓練データとした。

比較対象は nCRP [9]、rCRP [12]、TSNTM [14]、 nTSNTM [15] で、それぞれ既定值を用いたが、10,000 イテレーションに 2 週間以上かかったモデルは結果 から除外した。全てのモデルを同一基準で比較する ために、各トピックは少なくとも 100 語に割り当て られているものとした。

量的比較 既存研究で用いられているトピック固有性 (TU)[26, 27, 15]、平均重複 (AO)[15] に加えて、新しく木構造多様性 (TD) を提案する。TU は大きい ほどトピックが平均的に固有の単語を上位語に持 ち、AO は小さいほど親子の上位語の重複が少ない。 ただし親子トピックは意味的な重なりを持つはずな ので、上位語の重複が低いとき解釈性が高いかは慎重に検討せねばならない。TD は子トピックの固有性を親トピックの重要性で重み付けしたもので、以下のように定義する。

$
\mathrm{TD}=\sum_{\boldsymbol{\epsilon} \in \mathscr{T}} w_{\boldsymbol{\epsilon}} \frac{\left|\mathscr{V}_{\mathscr{C}(\boldsymbol{\epsilon})}\right|}{u|\mathscr{C}(\boldsymbol{\epsilon})|} ; w_{\boldsymbol{\epsilon}}=\frac{|\mathscr{D}(\boldsymbol{\epsilon})|}{\sum_{\boldsymbol{\kappa} \in \mathscr{T}}|\mathscr{D}(\boldsymbol{\kappa})|}
$

ここで、 $\mathscr{C}(\boldsymbol{\epsilon})$ は $\boldsymbol{\epsilon}$ の子トピックの集合、 $\mathscr{D}(\boldsymbol{\epsilon})$ は $\boldsymbol{\epsilon}$ の子孫の集合、 $\mathscr{V}_{\mathcal{N}}$ はトピック集合 $\mathcal{N}$ の上位 $u$ 語か ら重複を除いた単語集合である。TDが大きいほど、子トピックが固有の単語を含む。

表 1 に各指標を $5,10,15$ の上位語数で計算した平均をまとめた。提案手法は TD と TU で既存手法を 上回り、割り当てが 100 語未満のトピックを含めて も高い性能を示している (括弧内の値)。既存の確率的手法 (nCRP と rCRP) は、木が深さ 3 で打ち切られ

} & \multicolumn{3}{|c|}{ 木構造多様性 (TD) (†) } & \multicolumn{3}{|c|}{ トピック固有性 $(\mathrm{TU})(\uparrow)$} & \multicolumn{3}{|c|}{ 平均重複 $(\mathrm{AO})(\downarrow)$} & \multicolumn{3}{|c|}{ トピック数 } \\

表 1 量的比較結果。比較のため 100 語未満にしか割り当てられなかったトピックを除外したが、提案手法については除外前の值を括弧内に示した。

図 $5 \mathrm{BBC}$ コーパスを用いた深さ 6 の木の上位語。色付きの枝を図 6 でさらに説明している。

ているにも関わらず大量のトピックを推定した。

図 6 図 5 の左から 1 番目(赤)、3番目(青)、4番目(緑)の 枝のトピックー単語確率。固有名詞の確率はノードが深い ほど高く、一般的な単語はノードが浅いほど高い。

木構造と上位語図 5 に推定された深さ 6 の木と 上位語を、図 6 にいくつかのトピックー単語確率を 示した。固有名詞の確率はノードが深いほど高く、一般的な単語の確率はノードが浅いほど高い。また それぞれの枝が固有のテーマを表していることが読 みとれる。

## 7 関連研究

既存研究では確率の小さなトピックが作られ ることを防ぐために、深さ 3 の浅い木のみの推定 や $[9,12,13]$ 、経験則に基づくトピック生成の制約 $[14,15]$ がなされてきた。これに対し提案手法は、深 い木構造でも打ち切りなしに妥当なトピック数を推定できる (表 1 の括弧内)。また提案手法はTSSB の 階層モデルであるから、単語を生成するトピックが 既存のモデルのように文書ごとに制約されることが ない $[9,10,13]$ 。

階層的トピックモデルは様々なモデルに拡張され ており [28, 29, 30, 31, 32]、棒折り過程を使う既存手法に提案手法を容易に反映させることができる。

## 8 結語

既存の階層的トピックモデルには深くなるにつれ てトピックの確率が指数的に減衰する問題があっ た。親トピックを考慮することでこの問題を解消す る提案手法は、棒折り過程を用いる既存モデルにも 広く応用可能である。実験は 2 つの指標で提案手法 がニューラルを含む既存手法を上回ることを示し、定性的な検証でも $\ell \geq 4$ の深い木の推定が行えるこ とがわかった。

一方、本研究で用いたギブスサンプリングは近似 を伴う既存手法 [33] よりも遅いことがわかってい る。将来的には分散アルゴリズムや変分推論を組み 合わせ、より大規模なコーパスを処理できるように したい。また、本研究の教師なし学習で推定される 木構造を利用者の考える分類と一致させるため、非階層的トピックモデルで提案されている半教師あり 学習 $[34,35]$ を取り入れることも今後の課題である。

## 参考文献

[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

[2] David M. Blei and John D. Lafferty. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, 2006.

[3] Jonathan Chang and David M Blei. Hierarchical relational models for document networks. The Annals of Applied Statistics, Vol. 4, pp. 124-150, 2010.

[4] Margaret E. Roberts, Brandon M. Stewart, and Edoardo M. Airoldi. A model of text for experimentation in the social sciences. Journal of the American Statistical Association, Vol. 111, pp. 988-1003, 2016.

[5] Aaron Q Li, Amr Ahmed, Sujith Ravi, and Alexander J Smola. Reducing the sampling complexity of topic models. In Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 891-900, 2014.

[6] Hsiang-Fu Yu, Cho-Jui Hsieh, Hyokun Yun, S V N Vishwanathan, and Inderjit $S$ Dhillon. A scalable asynchronous distributed algorithm for topic modeling. In Proceedings of the 24th International Conference on World Wide Web, pp. 1340-1350, 2015.

[7] Jinhui Yuan, Fei Gao, Qirong Ho, Wei Dai, Jinliang Wei, Xun Zheng, Eric P. Xing, Tie Yan Liu, and Wei Ying Ma. LightLDA: Big topic models on modest computer clusters. In Proceedings of the 24th International Conference on World Wide Web, pp. 13511361, may 2015.

[8] Jianfei Chen, Kaiwei Li, Jun Zhu, and Wenguang Chen. WarpLDA: A cache efficient $\mathrm{O}(1)$ algorithm for latent Dirichlet allocation. Proceedings of the VLDB Endowment, Vol. 9, , 2016.

[9] David M. Blei, Thomas L. Griffiths, Michael I. Jordan, and Joshua B. Tenenbaum. Hierarchical topic models and the nested Chinese restaurant process. In Proceedings of the 16th International Conference on Neural Information Processing Systems, pp. 17-24, 2003

[10] David M. Blei, Thomas L. Griffiths, and Michael I. Jordan. The nested Chinese restaurant process and bayesian nonparametric inference of topic hierarchies. Journal of the ACM, Vol. 57, No. 2, pp. 1-30, feb 2010.

[11] Ryan P. Adams, Zoubin Ghahramani, and Michael I. Jordan. Treestructured stick breaking for hierarchical data. In Proceedings of the 23rd International Conference on Neural Information Processing Systems, pp. 19-27, 2010.

[12] Joon Hee Kim, Dongwoo Kim, Suin Kim, and Alice Oh. Modeling topic hierarchies with the recursive Chinese restaurant process. In Proceedings of the 21 st ACM international conference on Information and knowledge management, pp. 783-792. ACM Press, 2012.

[13] John Paisley, Chong Wang, David M. Blei, and Michael I. Jordan. Nested hierarchical Dirichlet processes. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 37, No. 2, pp. 256-270, feb 2015.

[14] Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Tree-structured neural topic model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 800-806, 2020.

[15] Ziye Chen, Cheng Ding, Zusheng Zhang, Yanghui Rao, and Haoran Xie. Tree-structured topic modeling with nonparametric neural variational inference. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 2343-2353, 2021.

[16] Jayaram Sethuraman. A constructive definition of dirichlet priors. Statistica Sinica, Vol. 4, No. 2, pp. 639-650, 1994.

[17] Yee Whye Teh. A Bayesian interpretation of interpolated Kneser-
Ney. Technical report, National University of Singapore School of Computing, 2006

[18] 持橋大地, 能地宏. 無限木構造隠れ Markov モデルによ る階層的品詞の教師なし学習. 情報処理学会研究報告 2016-NL-226, 2016.

[19] Yee Whye Teh, Michael I Jordan, Matthew J Beal, and David M Blei. Hierarchical dirichlet processes. Journal of the American Statistical Association, Vol. 101, No. 476, pp. 1566-1581, 2006.

[20] John Paisley and Lawrence Carin. Hidden markov models with stick-breaking priors. IEEE Transactions on Signal Processing, Vol. 57, No. 10, pp. 3905-3917, 2009.

[21] Omiros Papaspiliopoulos and Gareth O. Roberts. Retrospective Markov chain Monte Carlo methods for Dirichlet process hierarchical models. Biometrika, Vol. 95, No. 1, pp. 169-186, 2008.

[22] Radford M Neal. Slice sampling. The Annals of Statistics, Vol. 31, pp. 705-767, 2003 .

[23] Daichi Mochihashi. Unbounded slice sampling. ISM Research Memorandum No. 1209, 2020.

[24] Derek Greene and Pádraig Cunningham. Practical solutions to the problem of diagonal dominance in kernel document clustering. In Proceedings of the 23rd International Conference on Machine learning, pp. 377-384. ACM Press, 2006.

[25] Ken Lang. NewsWeeder: Learning to filter Netnews. In Proceedings of the Twelfth International Conference on Machine Learning, pp. 331-339, 1995.

[26] Feng Nan, Ran Ding, Ramesh Nallapati, and Bing Xiang. Topic modeling with Wasserstein autoencoders. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[27] Corentin Masson and Syrielle Montariol. Detecting omissions of risk factors in company annual reports. In Proceedings of the Second Workshop on Financial Technology and Natural Language Processing, pp. 15-21, 2020.

[28] Su Jin Shin and Il Chul Moon. Guided HTM: Hierarchical topic model with dirichlet forest priors. IEEE Transactions on Knowledge and Data Engineering, Vol. 29, No. 2, pp. 330-343, feb 2017.

[29] Yueshen Xu, Jianwei Yin, Jianbin Huang, and Yuyu Yin. Hierarchical topic modeling with automatic knowledge mining. Expert Systems with Applications, Vol. 103, pp. 106-117, aug 2018.

[30] Ming Yang and William H. Hsu. HDPauthor: A new hybrid author-topic model using latent Dirichlet allocation and hierarchical Dirichlet processes. In Proceedings of the 25th International Conference Companion on World Wide Web, pp. 619-624, 2016.

[31] Xi Zou, Yuelong Zhu, Jun Feng, Jiamin Lu, and Xiaodong Li. A novel hierarchical topic model for horizontal topic expansion with observed label information. IEEE Access, Vol. 7, pp. 184242184253, 2019.

[32] Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Unsupervised abstractive opinion summarization by generating sentences with tree-structured topic guidance. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 945961, 2021.

[33] Diederik P Kingma and Max Welling. Stochastic gradient vb and the variational auto-encoder. In Proceedings of the 2nd International Conference on Learning Representations, Vol. 19, p. 121, 2014.

[34] Jagadeesh Jagarlamudi, Hal Daumé III, and Raghavendra Udupa. Incorporating lexical priors into topic models. In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 204-213, 2012.

[35] Shusei Eshima, Kosuke Imai, and Tomoya Sasaki. Keyword assisted topic models. arXiv 2004.05964, 2020.

## A 階層 TSSB でのトピック平均確率

棒降り過程 $\phi_{k}=v_{k} \prod_{j=1}^{k-1}\left(1-v_{j}\right), v_{k} \sim \operatorname{Be}(1, \gamma)$ に おいて、 $v_{k}$ の平均確率は $\mathbb{E}\left[v_{k}\right]=1 /(1+\gamma)$ であるか ら、 $k$ 番目に折られた棒の平均確率は以下となる、

$
\mathbb{E}\left[\phi_{k}\right]=\frac{1}{1+\gamma}\left(\frac{\gamma}{1+\gamma}\right)^{k-1}=\frac{1}{\gamma}\left(\frac{\gamma}{1+\gamma}\right)^{k} .
$

次に棒折り過程におけるトピックの平均確率は、

$
\begin{aligned}
\mathbb{E}[\phi] & =\sum_{k=1}^{\infty} \mathbb{E}\left[\phi_{k}\right] \cdot \phi_{k} \\
& \approx \sum_{k=1}^{\infty} \mathbb{E}\left[\phi_{k}\right]^{2} \\
& =\sum_{k=1}^{\infty}\left(\frac{\gamma}{\gamma+1} \cdot \frac{1}{\gamma}\right)^{2} \\
& =\frac{1}{\gamma^{2}} \sum_{k=1}^{\infty}\left(\frac{1}{\left(1+\frac{1}{\gamma}\right)^{2}}\right)^{k} \\
& =\frac{1}{2 \gamma+1}
\end{aligned}
$

となる。ここでは $\phi_{k}$ の平均を近似として用いた。棒折り過程を用いると、深さ $\ell$ におけるトピックの 平均確率は

$
\mathbb{E}[\phi \mid \ell]=\mathbb{E}[\phi \mid \ell-1] \cdot \mathbb{E}[\phi] \approx \frac{1}{(2 \gamma+1)^{\ell}},
$

となる。最初の等号は深さ $\ell-1$ での棒が更に深さ $\ell$ において折られることを示している。 3 節に示した 提案手法では、平均確率が

$
\begin{aligned}
\mathbb{E}[\phi \mid \ell] & =\mathbb{E}[\phi \mid \ell-1] \cdot \mathbb{E}[\phi] \\
& \approx \mathbb{E}[\phi \mid \ell-1] \cdot \frac{1}{2(\gamma \cdot \mathbb{E}[\phi \mid \ell-1])+1} \\
& =\frac{1}{2 \gamma+1 / \mathbb{E}[\phi \mid \ell-1]} \text { for } \ell \geq 2 .
\end{aligned}
$

となる。木構造の根 $(\ell=1)$ においては $\mathbb{E}[\phi \mid \ell=1]=$ $1 /(2 \gamma+1)$ である。木構造が深くなっても、トピック の平均確率が指数的に小さくなることはない。

## B HTSSB での停止・通過回数

単語 $w$ が子 TSSB のトピック $\epsilon$ で縦方向の停止を した場合、 $a v_{\tilde{\boldsymbol{\epsilon}}} /(a+n(\boldsymbol{\epsilon}))$ に比例する確率で親 TSSB の対応ノード $\tilde{\boldsymbol{\epsilon}}$ を更新し、 $n(\boldsymbol{\epsilon}) /(a+n(\boldsymbol{\epsilon}))$ に比例する 確率で子 TSSB の $\boldsymbol{\epsilon}$ のみを更新する。横方向につい ても同様に $b \psi_{\tilde{\boldsymbol{\epsilon}}} /(b+m(\boldsymbol{\epsilon}))$ に比例する確率で親 TSSB の対応ノード $\tilde{\boldsymbol{\epsilon}}$ を更新し、 $m(\boldsymbol{\epsilon}) /(b+m(\boldsymbol{\epsilon}))$ に比例す る確率で子 TSSB の $\boldsymbol{\epsilon}$ のみを更新する。

## C 推論アルゴリズム

トピックの探索と割り当ては以下の通りである。

## D 評価指標の詳細

トピック固有性 (TU) 定義は $\mathrm{TU}=$ $|\mathcal{T}|^{-1} \sum_{\boldsymbol{\epsilon} \in \mathscr{T}}\left(u^{-1} \sum_{u^{\prime}=1}^{u} n\left(u^{\prime}, \boldsymbol{\epsilon}\right)^{-1}\right)$ である。ここで $\mathscr{T}$ は推定されたトピック集合、 $n\left(u^{\prime}, \boldsymbol{\epsilon}\right)$ は $\boldsymbol{\epsilon}$ の $u^{\prime}$ 番目 の上位単語が、全てのトピックでの上位 $u$ 語に登場 した回数である。TU が大きいほどトピックの固有性が高い。

平均重複 (AO) $\mathrm{AO}$ は親子トピック間で上位 $u$ 語 の重複を平均し、 $\mathrm{AO}=|\mathscr{T}|^{-1} \sum_{\epsilon \in \mathscr{T}}\left|\mathscr{V}_{\epsilon} \cap \mathscr{V}_{\epsilon^{\prime}}\right| \cdot u^{-1}$ と定義される。ここで $\mathscr{V}_{\epsilon}$ は $\epsilon$ の上位 $u$ 語である。低い $\mathrm{AO}$ は親子関係の単語の重複が少ないことを示す。
 江島舟星 ${ }^{1}$ 1 ハーバード大学大学院 政治学科 shuseieshima@g. harvard.edu }  持橋大地 2 2 統計数理研究所 daichi@ism.ac.jp  