# 文書の分散表現を用いたトピック分析手法の提案

中山悠理 ${ }^{1}$ 小林亮太 ${ }^{1,2}$
1 東京大学大学院 新領域創成科学研究科
2 東京大学 数理・情報教育研究センター
\{3645588575,r-koba\}@edu.k.u-tokyo.ac.jp

## 概要

トピック分析は，多数の文書から主要なテーマを 抽出する技術であり，大規模なテキストデータの分析を可能にする．トピック分析を行う代表的手法と してトピックモデル (LDA など) があり，様々な分野に応用されてきた. 一方で, この手法を文書の単語数が少ないソーシャルメディアデータなどに適用 すると，人間が解釈しやすいテーマ(トピック)が得 れないという問題がある。本研究では文書の分散表現に基づくトピック分析手法を提案し，2つのデー タセットを用いてトピック分析手法の性能を評価 した.

## 1 はじめに

デジタル化が進み，ニュース，Webページ，論文，書籍など様々な形のテキストデータを利用できるよ うになりつつある. テキストデータを整理，理解す るための 1 つの方法は，人間が実際にテキストを読 んで意味解釈を行うことである. しかし，オンライ ン上のテキストデータは爆発的に増えているため，全てのデータを人手で意味解釈することは不可能で ある.

テキストデータの例として，多数のニュース記事 (文書) の集合を考えよう，それぞれのニュース記事 には，政治，経済，スポーツ，科学など記事のテー マがあるだろう．トピック分析の目的は，テキスト データから記事のテーマを自動的に発見し，ニュー ス記事をテーマが似たいくつかのグループに分類 することである．トピック分析を行う代表的手法 として，トピックモデル (Latent Dirichlet Allocation, LDA) [1] が挙げられる. LDA は，1)トピックはいく つかの単語の組み合わせによって決まる，2) 文書 はいくつかのトピックが組み合わさったものであ る，という仮定のもとで，多量のテキストデータか らトピック群を抽出する統計モデルである。トピッ
クモデルは，テキストデータの分析で広く使われ ており，バイオインフォマティクス [2], 科学計量学 (scientometrics) [3], 政治学 [4] などに応用されて いる.

Twitter や Reddit などのソーシャルメディアから 得られるテキストデータの分析は, 東日本大震災 [5] [6] [7] や Covid-19 [8] などの災害，あるいは，選挙 [9] や Covid-19 ワクチン [10] [11] などの社会的課題に対する人々の認識を把握することへの一助 となることが期待されている。 その一方で，ソー シャルメディアデータの特徵として，1) 文書 (ツ イートやコメント)の単語数が少ない，2）誤字脱字 などにより出現頻度の少ない単語が多数現れる， という 2 点が挙げられる. そのため，このような データにLDAを適用すると，人間にとって解釈困難なトピックが得られてしまう. 前者の問題 (文書 の短さ) に対応するため, Author Topic Model [12] や TwitterLDA [13] など LDA を拡張したモデルが提案 されている. しかしながら，ソーシャルメディア データからトピック抽出を行うことは依然として困難な状況にある。

本研究では, 文書の分散表現 (文書の埋め込み) に 基づくトピック分析手法を提案する。 そして，20 Newsgroup と AG's corpus の 2 つのデータセットを 用いて提案手法の性能評価を行い，既存手法である LDA と比較を行った.

## 2 提案手法

本研究では，多量の文書を $K$ 個のトピックに分類 する手法を提案する。提案手法は，

・文書をベクトルに埋め込む（3.1 節）.

・得られた埋め込みべクトルを混合ガウスモデル を用いてクラスタリングを行う（3.2 節）。

の 2 段階に基づく．以降では，上の 1)，2にについて
説明する。

## 2.1 埋め込みべクトルの計算

この節では，文書 (単語列) から埋め込みベクトル を計算する方法を説明する。自然言語処理で広く用 いられている単語埋め込みは文書中の個々の単語を ベクトルに変換することであるが，文書埋め込みは 文書全体を 1 つのベクトルに変換することである. これにより，単語数が異なる文書群をべクトル群と して表現できる.

本研究では 2 つの機械学習モデル, doc2vec [14] と Sentence-BERT (SBERT) [15] を用いた. doc2vec は，単語の埋め込みべクトルを計算する word2vec [16] か ら着想を得て開発されたものである. doc2vecでは 埋め込みべクトルの次元 $D$ を変えることができる.今回は $D=2,4, \cdots, 160$ を検討した. 本研究では, Python ライブラリ gensim[17]を使用して doc2vec の 埋め込みベクトルを計算した.

SBERT [15] は NLI データセットから事前学習さ れた機械学習モデルである. SBERT は, 文書埋め込 みべクトルを得るため，BERT [18]に pooling 処理を 追加したものである. SBERT の出力ベクトルの次元は変更できないため, 固定値 $D=384$ を用いた.本研究では, hugging face を通して公開されている all-MiniLM-L6-v2 ${ }^{1)}$ を使用した.

前処理として, 文書べクトル $\mathbf{v}_{i}$ から平均ベクトル を引いて中心化された文書べクトル $\overline{\mathbf{v}}_{i}$ を計算した.

$
\overline{\mathbf{v}}_{i}=\mathbf{v}_{i}-\mathbf{m}_{\mathbf{v}}
$

ただし, $\mathbf{m}_{\mathbf{v}}=\frac{1}{n} \sum_{i=1}^{n} \mathbf{v}_{i}$ は平均ベクトル,$n$ はデータ セットの文書数を表す。必要に応じて，中心化され たべクトル $\overline{\mathbf{v}}_{i}$ のノルムが 1 になるように正規化を 行なった.

## 2.2 混合ガウス分布によるクラスタリング

次に，埋め込みべクトルを混合ガウスモデルを用 いてクラスタリングした. 埋め込みベクトルの確率分布 $p(\mathbf{x})$ を以下の式で表される混合ガウス分布で フィットした:

$
p(\mathbf{x} \mid \mu, \boldsymbol{\Sigma}, \pi)=\sum_{i=1}^{K} \pi_{i} \mathcal{N}\left(\mathbf{x} \mid \mu_{i}, \boldsymbol{\Sigma}_{i}\right)
$

ただし, $K$ はトピック数, $\mathcal{N}\left(\mathbf{x} \mid \boldsymbol{\mu}_{i}, \boldsymbol{\Sigma}_{i}\right)$ は $D$ 次元ガ ウス分布 (平均ベクトル: $\mu_{i}$, 共分散行列: $\boldsymbol{\Sigma}_{i}$ ), $\pi_{i}$ は 混合比を表す.

1) https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2本研究では，共分散行列 $\Sigma_{i}$ として，以下の 3 つの 場合で比較を行なった:
- full: $\Sigma_{i}$ は正定値行列 (制約なし).
- diag: $\Sigma_{i}$ は正定値かつ対角行列.
- scalar: $\Sigma_{i}$ は正定値かつ単位行列の定数倍.

パラメータ $\mu_{i}, \Sigma_{i}, \pi_{i}$ は逐次的に計算することによっ て推定できる [19]. 混合ガウス分布のパラメータ推定は，python パッケージ scikit-learn[20] を用いて行 なった。

## 3 実験

## 3.1 データセット

本研究では, 20 Newsgroups(20News) [21], AG's corpus [22]の 2 つのデータセットを用いた. 20News はニュース記事のデータが 20 種類のテーマ (医学,銃問題, 中東の政治など) に分類されたものである. このデータセットには，自然言語でない長文が含ま れていたため，単語数が上位 $0.01 \%$ の文書を除いて 分析した.

AG's corpus は 12 万件のニュース記事を集めたも のであり，ニュース記事の本文とタイトルが 4 つ のテーマ (世界, 科学/技術，スポーツ，ビジネス) に分類されている. データセットを，ニュース記事 (AgNews) とタイトル (AgTitle) に分けて分析を行 なった. 表 1 は，データセットの平均単語数，文書数を示す.

表 1 本研究で用いたデータセット

## 3.2 評価指標

本研究では，抽出されたトピックの性能を評価す るための指標として，補正された相互情報量 (AMI, Adjusted Mutual Information) [23] と Coherence スコア $C_{V}$ [24] を用いた. AMI は分類の類似度についての 指標である．今回は人手でつけられた文書の分類結果と，トピック抽出モデルで得られた分類結果の類似度を AMI で評価し，AMI をトピックの分類精度 であると考える。 AMI は 1 以下の值を取る指標であ る. 2 つの分類結果が完全に一致するときのみ AMI

は 1 をり，2つの分類結果の類似度はランダムな 場合と同程度の場合には AMI は 0 をとる. AMI は Python ライブラリ scikit-learn[20] を用いて計算した.

Coherence score $C_{V}$ はトピックの解釈性について の指標であり，トピック内の文書の単語分布によ り計算される。 $C_{V}$ は人間による解釈結果と相関 があり，人にとって解釈しやすいトピックでは高 い値を取る傾向にある. $C_{V}$ は Python ライブラリ gensim [17] を用いて計算した。

## 3.3 埋め込み方法の検討

まず，埋め込み次元を変更できる doc2vec につ いて，次元が分類精度 (AMI) に与える影響を調べ た. 混合ガウスモデルの共分散行列を scalar とし て，トピック数 $K$ はそれぞれのデータセットと同じ 数 (20News: 20, AgNews: 4) にしてトピック抽出を行 なった. 図 1 は，2つのデータセット (A. 20news, B. AgNews) から分類精度を計算した結果である。そ の結果，分類精度は埋め込みの次元に大きく影響を 受け, 20News では 80 次元, AgNews では 8 次元，と すると精度が最も高くなった. また，埋め込み次元 が低次元の場合を除き，正規化 (図 1: オレンジ) は 分類精度を向上させた.

次に，SBERTを用いて文書埋め込みを計算し，正規化が分類精度 (AMI) に与える影響を調べた (表 2). doc2vec の時ほど大きな効果はないものの，正規化 はSBERT を用いた場合でも分類精度を向上させる ことがわかった。また，最適な埋め込み次元を用い た doc2vec と SBERT で分類精度 (AMI)を比較した (表 3). いずれのデータセットに対しても，SBERT の方が高い分類精度を達成した。

以降の解析では，データセットに応じて埋め込み 次元を調整する必要がなく, 高い分類精度を達成し たSBERT (正規化あり)を用いて文書埋め込みを行 なった.

表 2 正規化が分類精度 (AMI) に与える影響. 埋め込み モデルはSBERTを用いた。

埋め込み次元

埋め込み次元

図 1 埋め込み方法 (埋め込み次元と正規化) が分類精度 (AMI) に与える影響 (A. 20news, B. AgNews). 埋め込みモ デルは doc2vecを用いた。

表 3 埋め込み用いる機械学習モデルの違いによる分類精度 (AMI) の比較.太字は最も精度の高い機械学習モデル を示す.

## 3.4 混合ガウスモデルの共分散行列の検討

クラスタリングアルゴリズム ( 2.2 節) の違いが分類精度 (AMI) に与える影響を調べるため，3 種類の 共分散行列 (full， diag， scalar) を用いた混合ガウス モデルでトピック抽出を行い，分類精度を比較し た (表 4).この結果，共分散行列に制限を加えない (full) と，単位行列 (scalar) に比べて分類精度がわず かに向上することがわかった．以降では，共分散行列には制限を加えずに (full) 分析を行なった.

表 4 共分散行列が分類精度 (AMI) に与える影響. 太字 は最も精度の高い共分散行列を示す。

## 3.5 実験結果

最後に，提案手法と既存手法である LDAを用い て，文書群のトピック分析を行い，性能比較を行 なった。提案手法では，機械学習モデルSBERTを 用いて埋め込みを行い，正規化をした上で，制約 なし (full) の共分散行列を持つ混合ガウスモデル を使ってクラスタリングを行なった。また，LDA を用いた実験では，前処理として"I"，"is"，"a"な ど，文書の内容にかかわらず出現する単語（stop words) を除去し, LDA の分析には Python ライブラ リ gensim [17]を用いた。

表 5 は, 20News, AgNews の 2 つのデータセットに ついて，分類精度についての指標である AMI とト ピックの解积性についての指標である $C_{V}$ を比較し たものである. 提案手法は， AMI， $C_{V}$ のいずれの 指標についても, 既存手法 (LDA) に比べて高い性能 を達成した. この結果は, 提案手法のトピック分析結果は, 既存手法に比べて, 人間が分類した結果に より近く，トピックもより解釈しやすいものになっ ていることを示唆している.

次に，ツイートのような文書の単語数が少ない場合の性能を評価するため， AG's corpus のニュースタ イトルを文書としたデータセット (AgTitle) につい てトピック分析を行なった. ニュース記事のデータ セットと同様に，提案手法は，AMI， $C_{V}$ のいずれ の指標についても，既存手法 (LDA) に比べて高い 性能を達成した. 既存手法 (LDA) の分類精度 (AMI)
はチャンスレベルと同程度になっている.この結果は，LDA はトピック分類ができていないことを 示唆している。 その一方で，提案手法は， AgNews (ニュース記事データ)に比べると性能が低下するも のの，ニュースタイトルだけを分析した場合にも AMI: $0.50, C_{V}: 0.84$ と高い性能を示した. この性能 は, AgNewsの LDA よりも高い性能であった.

表 5 提案手法 (SBERT) と既存手法 (LDA) の性能比較.太字は精度が高い手法を示す。

## 4 おわりに

本研究では，テキストデータからトピックを抽出するタスクにおいて, 文書埋め込みと混合ガウ スモデルを組み合わせた手法を提案した。そして，人手によってトピックが付与された 20 News，AG's corpusの 2 つのデータセットを用いて，トピック分析手法の性能評価を行なった。その結果，提案手法は，既存手法である LDA に比べて高い性能であ ること，つまり，より人間に近いトピック分類を 行い (AMI が高い)，トピックが解釈しやすい (Topic Coherence $C_{V}$ が高い)ことが示された. さらに，提案手法は短い文書 (ニュースタイトルのみ) に対して も，高性能なトピックを抽出できることを示唆する 結果が得られた。

## 謝辞

本研究は, JSPS 科研費 JP18K11560, JP19H01133, JP21H03559, JP21H04571, JP22H03695, AMED JP21wm0525004，JST さきがけ JPMJPR1925 の支援を受けたものである.

## 参考文献

[1] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, pp. 993-1022, 2003.

[2] Lin Liu, Lin Tang, Wen Dong, Shaowen Yao, and Wei Zhou. An overview of topic modeling and its current ap-
plications in bioinformatics. SpringerPlus, Vol. 5, No. 1, p. 1608.

[3] Thomas L. Griffiths and Mark Steyvers. Finding scientific topics. Proceedings of the National Academy of Sciences, Vol. 101, No. suppl_1, pp. 5228-5235, 2004.

[4] Justin Grimmer and Brandon M. Stewart. Text as Data: The Promise and Pitfalls of Automatic Content Analysis Methods for Political Texts. Political Analysis, Vol. 21, No. 3, pp. 267-297.

[5] Son Doan, Bao-Khanh Ho Vo, and Nigel Collier. An Analysis of Twitter Messages in the 2011 Tohoku Earthquake. In Patty Kostkova, Martin Szomszor, and David Fowler, editors, Electronic Healthcare, Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering, pp. 58-66. Springer.

[6] Misako Takayasu, Kazuya Sato, Yukie Sano, Kenta Yamada, Wataru Miura, and Hideki Takayasu. Rumor Diffusion and Convergence during the 3.11 Earthquake: A Twitter Case Study. PLOS ONE, Vol. 10, No. 4, p. e0121443.

[7] Takako Hashimoto, David Lawrence Shepard, Tetsuji Kuboyama, Kilho Shin, Ryota Kobayashi, and Takeaki Uno. Analyzing temporal patterns of topic diversity using graph clustering. The Journal of Supercomputing, Vol. 77, No. 5, pp. 4375-4388.

[8] Shu-Feng Tsao, Helen Chen, Therese Tisseverasinghe, Yang Yang, Lianghua Li, and Zahid A. Butt. What social media told us in the time of COVID-19: A scoping review. The Lancet Digital Health, Vol. 3, No. 3, pp. e175-e194.

[9] Hao Wang, Doğan Can, Abe Kazemzadeh, François Bar, and Shrikanth Narayanan. A system for real-time twitter sentiment analysis of 2012 us presidential election cycle. In Proceedings of the ACL 2012 System Demonstrations, pp. 115-120.

[10] Ryota Kobayashi, Yuka Takedomi, Yuri Nakayama, Towa Suda, Takeaki Uno, Takako Hashimoto, Masashi Toyoda, Naoki Yoshinaga, Masaru Kitsuregawa, and Luis E. C. Rocha. Evolution of public opinion on covid-19 vaccination in japan: Large-scale twitter data analysis. Journal of Medical Internet Research, Vol. 24, No. 12, p. e41928.

[11] Takako Hashimoto, Takeaki Uno, Yuka Takedomi, David Shepard, Masashi Toyoda, Naoki Yoshinaga, Masaru Kitsuregawa, and Ryota Kobayashi. Two-stage clustering method for discovering people's perceptions: A case study of the covid-19 vaccine from twitter. In 2021 IEEE International Conference on Big Data (Big Data), pp. 614-621, 2021.

[12] Michal Rosen-Zvi, Thomas Griffiths, Mark Steyvers, and Padhraic Smyth. The author-topic model for authors and documents. In Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, pp. 487-494. AUAI Press.

[13] Wayne ZHAO, Jing JIANG, Jianshu WENG, Jing HE, Ee Peng LIM, Hongfei YAN, and Xiaoming LI. TwitterLDA. SMU Research Data.

[14] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Proceedings of the 31st International Conference on International Conference on Machine Learning - Volume 32, p.
II-1188-II-1196. JMLR.org, 2014.

[15] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[16] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In 1 st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[17] Radim Rehurek and Petr Sojka. Gensim-python framework for vector space modelling. NLP Centre, Faculty of Informatics, Masaryk University, Brno, Czech Republic, Vol. 3, No. 2.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[19] Christopher M. Bishop. Pattern Recognition and Machine Learning (Information Science and Statistics). Springer-Verlag, Berlin, Heidelberg, 2006.

[20] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. Scikitlearn: Machine Learning in Python. Journal of Machine Learning Research, Vol. 12, pp. 2825-2830.

[21] Youngjoong Ko. A study of term weighting schemes using class information for text classification. In Proceedings of the 35th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1029-1030. Association for Computing Machinery.

[22] Xiang Zhang, Junbo Zhao, and Yann LeCun. Characterlevel convolutional networks for text classification. In Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 1, p. 649-657, Cambridge, MA, USA, 2015. MIT Press.

[23] Nguyen Xuan Vinh, Julien Epps, and James Bailey. Information theoretic measures for clusterings comparison: Is a correction for chance necessary? In Proceedings of the 26th Annual International Conference on Machine Learning, pp. 1073-1080. Association for Computing Machinery.

[24] Michael Röder, Andreas Both, and Alexander Hinneburg. Exploring the Space of Topic Coherence Measures. In Proceedings of the Eighth ACM International Conference on Web Search and Data Mining, pp. 399-408. Association for Computing Machinery.
 中山悠理 ${ }^{1}$ 小林亮太 ${ }^{1,2}$ 1 東京大学大学院 新領域創成科学研究科 2 東京大学 数理・情報教育研究センター \{3645588575,r-koba\}@edu.k.u-tokyo.ac.jp  