# トピックモデルによる市場変動要因の抽出

川原一修 1
${ }^{1}$ Japan Digital Design
\{takanobu.kawahara\}@japan-d2.com

## 概要

本稿では日々大量に生じる金融ニュースから市場 の変動に影響を与えたトピックをトピックモデルを 使用して効率的に抽出する手法を考察した。先行研究と比べてトピックの抽出に文章のコンテキストま で用いる点に新規性があり、比較実験でコンテキス トを使用する手法の優位性を示したあと、実際に市場変動に影響を与えたトピックを抽出し人間の目で 見ても違和感のないことを確かめた。

## 1 はじめに

金融アナリストが市場分析を行う際に、過去に あった、類似した環境での市場動向について調査し 将来を予想する上での参考とすることが多々ある。 しかし、金融市場は様々な要素で変動し、市場の値動きだけから過去の相場がどのような要素によって ドライブされていたのか特定することは難しく、金融アナリストは過去の金融ニュースなど多量の文献調査に時間をさくケースがままある。そこで本稿で は、市場関連ニュースのヘッドラインを使用してど のようなニュースが市場の動向に影響を与えていた のか検出する手法について考察した。日々大量に流 れてくるニュースをトピックモデルによって大別 し、その後シンプルな回帰モデルで市場変動に影響 を与えていたトピックを効率的に検出する手法を提案する。時々の市場をドライブしていたトピックを 明らかにすることで、金融アナリストの文献調查の 補助情報として利用することを考えた。

## 2 先行研究

## 2.1 トピックモデル

文章の集合から、これらの文章の生成過程に潜ん でいる潜在トピックを抽出しようとする研究はト ピックモデルとしてこれまで盛んに研究されてき た。とりわけ、Latent Dirichlet Allocation(LDA)[1] や
Non-Negative Matrix Factorization(NMF) [2] は実務で も広く利用されるようになった。これらの手法は大量の文章の中からトピックを効率的に抽出する上 で有用な手法ではあるが、文章中に各単語が何回登場したかを数え上げて作成した行列 (Bag of Words, BoW) をべースとした手法であるため、単語同士の つながりが形成する文章のコンテキストを必ずしも 活用しきれないことが欠点としてあげられる。

これに対して、特に Bidirectional Encoder Representation from Transformers(BERT) [3] の登場以来、文章 の分散表現を使用してトピックの抽出に文章の コンテキストまで活用しようとする研究が行わ れている。節 3.1 で解説する BERTopic[3] の他に も、Sentence-BERT [4] による分散表現と BoW を同時に活用し、Valuational Auto Encoder を用いて潜在 トピックを抽出する Combined Topic Model(CTM)[5] や,Doc2Vec [6] によって事前学習された分散表現か らクラスターを探知することでトピックを抽出する Top2Vec[7] などでは、従来手法である LDA などと 比べてトランスフォーマーベースの手法のパフォー マンスが優位だったとの報告がなされている。

## 2.2 トピックモデルを使用したマーケット 変動要因の抽出

マーケットの変動を説明するトピックを抽出する 研究としては [8] が挙げられる。[8] では、S\&P500 指数の構成銘柄の価格リターンやボラティリティ を説明するトピックを抽出する手法が研究された。手法としては複数の LDA のアンサンブルによるト ピック抽出と相対的なトピックウェイトによるター ゲット変数の回帰であり、アンサンブルの手法に 様々な工夫が凝らされている。トピックのセンチ メントを株価の将来変動の予想に活用した研究と しては [9] や [10] があるが、これらの研究と異なり [8] では、将来の市場変動を予測することを研究の モチベーションにしているのではなく、変動の要因 となっているトピックを検出することをモチベー ションにしている点が本稿に近しい。[8]、本稿とも

に市場変動とテキスト情報で同時点のデータを使用 して分析を進めていることをここで強調する。本稿 との違いについては [8] では LDA ベースの手法を用 いており、文章のコンテキストまで取り入れて分析 を行うことの効果の検証は本稿で新規の観点だと考 える。

## 3 理論

## 3.1 BERTopic

本節では BERTopic[11] について概観する。 BERTopic ではLDA などの従来手法と異なり、文章の生成に特別なモデルを想定しない。BERTopic のトピック抽出方法は要約すると以下の流れに なる。

1. Sentence-BERT[4] による分散表現の抽出

2. UMAP[12] による次元削減

3. HDBSCAN[13] によるクラスタリングとトピッ クの抽出

4. c-TF-IDFによるトピックの代表単語の抽出

c-TF-IDF は通常ドキュメント単位で計算される TF-IDFをクラスター単位に拡張した手法であり、各単語 $t$ のクラスター $c$ 内でのウェイト $W$ は以下の様 に計算される

$
W_{t, c}=t f_{t, c} \cdot \log \left(1+\frac{A}{t f_{t}}\right)
$

右辺第一項はクラスター内での単語の出現頻度 $t f$ であり、通常の TF-IDFで inverse document freaquancy に相当する第 2 項は全クラスターの平均単語数 $A$ を 各々のクラスターに単語 $t$ が登場する頻度で除した 值となっている。このウェイトが高い単語ほどクラ スター内での重要度が高い単語と解釈される。

## 3.2 トピックの評価指標

本稿ではトピックモデルの精度評価に Topic Coherence(TC) と Topic Diversity(TD) の 2 つの指標 を採用した。TC の計算方法にはいくつかのバリ エーションがあるが、本稿では normalized pointwise mutual information(NPMI) [14] 利用した。具体的に は 2 つの単語 $w_{i}, w_{j}$ の NPMI は以下の式で計算さ れる。

$
\begin{gathered}
\operatorname{NPMI}\left(w_{i}, w_{j}\right)=\left(\ln \frac{p\left(w_{i}, w_{j}\right)}{p\left(w_{i}\right) p\left(w_{j}\right)}\right) /-\ln p\left(w_{i}, w_{j}\right) \\
T C_{t}=\frac{2}{k(k-1)} \sum_{i=1}^{k-1} \sum_{j=i}^{k} N P M I\left(w_{i}, w_{j}\right)
\end{gathered}
$

式1の $p($.$) はコーパスの中での単語の出現確率で、$単語ペアが同時に出現する確率が高いほど NPMI の 値は大きくなり、 -1 から 1 の間の値を取る。 $T C_{t}$ はトピック $t$ で上位 $k$ 単語の NPMI の平均値であり、 $\mathrm{TC}$ は全てのトピックについて $T C_{t}$ の平均をとって 計算される。使用する単語数 $\mathrm{k}$ はハイパーパラメー タであり本稿では 10 を用いた。TC は人間の評価し たトピックの精度との相関が高いとの研究 [15] があ ることから広く利用されるようになった。TDは各 トピックにユニークな単語の割合で、 0 から 1 の値 をとる。広範なトピックを探知できていれば值は 1 に近づき、トピックの重複が多ければ值は 0 に近づ $<[16]$ 。

## 4 データ

金融ヘッドラインデータ 本稿では Bloomberg 社 のイベントドリブンフィードサービスから Textile News のヘッドラインを取得して利用する。本デー タセットにはニュースを識別する ID、ニュースが フィードされた時刻、言語、ヘッドラインなどの情報が提供されている。ニュースのへッドラインのみ を分析の対象とし本文は使用しない、また言語が英語のヘッドラインのみ使用する。ニュースによって は事後的にアップデートされるものがあり、同じ ID を持つニュースの中でフィード時刻が最新のレコー ドのみを使用してニュースの重複を回避した。使用 したデータの期間と件数は以下の通りである。

1. トピックモデルの比較
- 期間: 2022 年 12 月 $5-7$ 日、13、14 日
- 件数: 27,937

2. マーケット変動要因の抽出
- 期間：2018年 1 月 1 日 2022年 6 月 30 日
- 件数 : 7,232,088

本稿では以後このデータセットを金融へッドライン データと呼ぶことにする。

市場データ 代表的な市場指数として S\&P500 指数を利用する。日次で終值を Bloomberg から取得し て利用する。

## 5 実験手法

本稿では 2 つ実験を行った。1つ目の実験は金融ヘッドラインニュースに有効なトピックモデルの 探索を行うための比較実験であり、複数のトピック モデルをデータに当てはめて得られたトピックの 品質を比較する。2つ目の実験はトピックモデルに

よって得られたトピックのセンチメントが市場変動 に対して説明力があるのか検証した上で、実際に検出されたトピックを例示する。

## 5.1 トピックモデルの比較

本節では複数のトピックモデルについて金融へッドラインデータでの性能を比較する。比較したモデルは LDA,NMF,CTM,Top2Vec,BERTopicFinBERT,BERTopic の 6 種類である。BERTopicFinBERT については BERTopic のプロセスのう ち 1 番の分散表現の抽出に、FinBERT [17] の [cls] トークンの出力に相当するべクトルを利用した。6 種類の手法の中で、CTM,Top2Vec, 2 種の BERTopic が文章の分散表現を利用した比較的新規の手法であ る。クラスタリングの品質はトピック毎に抽出した 代表単語の TC と TD で計測した。すべてのモデル でトピック数をハイパーパラメータとして与えるこ とができる。本実験では $10,20,30,40,50$ と 5 種類の トピック数について乱数シードを変えながら 3 回実験を繰り返し、全 15 回の試行の精度指標の平均を 報告している。

## 5.2 市場変動の回帰モデル

前出の BERTopic を使用して抽出したトピックが 市場の変動に対して説明力があるか、シンプルな回帰モデルを構築して検証する。

$
\begin{aligned}
r_{t, t-1} & =\beta_{1} r_{t-1, t-2}+\beta_{2} r_{t-1, t-6}+\beta_{3} r_{t-1, t-11} \\
& +\sum_{i=1}^{K} \beta_{i+3} \text { sentiment }_{i, t}
\end{aligned}
$

$r_{t, t-i}$ は $t-i$ 時点の引け值から $t$ 時点の引け值ま での価格リターンであり、最初の 3 項は前日までの 1 日、 5 日、10 日リターンを説明変数として使用し ており、 sentiment $t_{i, t}$ はトピック $i$ の $t$ 時点でのセン チメントである。使用するトピック数 $K$ を 0 とした 場合と 0 より大きな数としたときにモデルの説明力 に違いがあるかを検証する。回帰は Lasso 回帰とし て行い、制約項の係数はハイパーパラメータとして 5fold のクロスバリデーションにより決定する。精度指標としては $R^{2}$ 値、平均絶対誤差、平均 2 乗誤差 を測定する。モデルはデータを3 个月毎に区分し、 それぞれの期間でトピックの抽出と、回帰モデルの 推定を行う。ヘッドラインの取得時間が UTC21 時以降の場合には翌日のニュースとして取り扱う、本表 1 モデル毎のトピックの品質

稿では市場指数として S\&P500 指数を使用してお り、米国での取引が活発となる時間を意識して時間 を区分した。へッドラインのセンチメントの計測に は FinBERT を利用する。FinBERT では入力文章の 極性が positive,neutral,negative の 3 クラスに判定され る共に、クラスに属する可能性をスコアとして出力 する。得られたセンチメントが positive の場合には スコアをセンチメントスコアとして利用し、neutral の場合には 0 、negative の場合にはスコアに-1を乗 じてへッドラインのセンチメントスコアとした。各 トピック $i$ の日次センチメントスコアは、時点 $t$ で 得られたへッドラインのうち、当該トピックに属す るへッドラインのセンチメントスコアの平均として 計算する。

## 6 実験結果

## 6.1 トピックモデルの比較

各モデルにより抽出されたトピックの精度指標を 表 1 にまとめた。TC については BERTopic の精度が 最も良好で次いで BERTopic-FinBERT が良好であっ た。LDA や NMF の様な BoWをべースとした手法 と比較してトピックの精度が高くなっているのは [11] の報告と傾向が一致しており、文章のコンテキ ストを活用することが得られたトピックの精度に有利に働く可能性があるという点は金融へッドライン データに関しても同様であった。TCでみた精度が 最も低いのは Top2Vec であり、複雑な潜在べクトル の分布に対して、クラスターのセントロイドを使用 したトピックの抽出が [11] の指摘通り有効に機能し ていない可能性がある。最後に BERTopic-FinBERT と BERTopic の比較では、直観的には金融コーパス でのファインチューニングが行われた FinBERT と 使用することで精度が向上することが期待された が、結果としては Sentence-BERT を使用したモデル の精度が比較的良好だった。文全体の分散表現を獲
表 2 回帰モデルの精度指標

表 3 各トピックの回帰係数と代表単語

得するように訓練した Sentence-BERT を利用するこ とがへッドラインのクラスター作成には有利だった 可能性があり、金融コーパスで文章全体の分散表現 を獲得するように事前学習したモデルを使用するこ とでさらなる精度の向上を望めることから今後の課題として記載する。

## 6.2 マーケット変動要因の抽出

## 6.2.1 精度指標

金融ヘッドラインデータを用いて、式 2 のモデル を推定し、モデルの精度指標を表 2 にまとめた。使用するトピック数は $K$ を $0,50,100$ と 3 種類実験して いる。表中の数字は、データ期間を 3 ヶ月毎の区分 に分けた 18 セットでそれぞれモデルを推定した結果の平均値である。 $\mathrm{K}$ を 0 として、過去の価格変動 だけで市場変動をモデリングしたケースではマー ケット変動に対する説明力はほどんどなく $R^{2}$ 值も 0 に近い值になっている、使用するトピックの数を 増やすと $R^{2}$ の値は大きくなり、2つの誤差指標も $K=0$ の場合と比べて低下している。トピックのセ ンチメントがマーケットの変動の少なくとも一部を 説明していると考えられる。

## 6.2.2 抽出されたトピック

次に、実際に推定されたモデルと抽出された単語 の具体例を示す。表 3 に 2022 年 4 月 1 日から 6 月 30 日のデータを使用したモデルについて一部のト ピックセンチメントに対する回帰係数と各トピック の代表単語の上位 10 単語を示す。

推定されたモデルでは 24 個の説明変数の係数が 0 と異なった、うち値が正であったものは 7 個も含 め、全てがトピックセンチメントであった。表 3で は紙面に収めるために 4 つのトピックのみについ て記載する。1 番目のトピックは SP500 や NASDAQ などの単語が並び主に米国の株式市場に関する ニュースと思われる。当日の金融市場の動向をタイ ムリーにニュースとして配信するベンダーが存在 し、これらのニュースがトピックとして抽出されて いる。市場動向ニュースを事後的に抽出すること に実務的な意味があるのかは議論の余地があるが、 その他のトピックにも特徵的な単語が並ぶ。 3 番目 のトピックでは”ukraine"、"russia”などの単語が並び ロシアのウクライナ侵攻の情勢に金融市場が敏感 になっていたことが示される。4 番目のトピックに は”ecb","treasuries","curve"、などの金利市場に関わ る単語が並び、各国中央銀行の動向や金利市場の ニュースが株式市場にも影響を与えていた可能性が 示唆される。

## 7 結論

本稿では金融アナリストが過去の市場変動の要因 となった事象を調べる際に、ニューステキストとト ピックモデルを使用して効率的に市場変動の要因と なったトピックを抽出する手法を提案し実証実験を 行った。実験は 2 段階に分けて行われ、 1 つ目の比較実験では金融ニューステキストに複数のトピック モデルを適用し、トランスフォーマーベースの手法 が LDA などの従来手法と比べてトピック抽出のパ フォーマンスが優位であることを明らかにした。2 つ目の実験では BERTopic を使用して実際にトピッ クを抽出し、回帰分析を通じて市場の変動を説明す るトピックが検出できるか検証した。トピックを説明変数として使用したモデルはそうでないモデルと 比べて $R^{2}$ などでみて精度が向上しており、市場の 変動を説明するトピックが検出できていると考え る。実際に検出されたトピックも人間の直観にあう 内容となっており本稿で提案した手法に一定の有用性があると考える。

## 参考文献

[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. J. Mach. Learn. Res., Vol. 3, No. null, pp. 993-1022, mar 2003.

[2] Cédric Févotte and Jérôme Idier. Algorithms for nonnegative matrix factorization with the $\beta$-divergence. Neural Computation, Vol. 23, No. 9, pp. 2421-2456, 2011.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks, 2019.

[5] Federico Bianchi, Silvia Terragni, and Dirk Hovy. Pretraining is a hot topic: Contextualized document embeddings improve topic coherence. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 759-766, Online, August 2021. Association for Computational Linguistics.

[6] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Eric P. Xing and Tony Jebara, editors, Proceedings of the 31st International Conference on Machine Learning, Vol. 32 of Proceedings of Machine Learning Research, pp. 1188-1196, Bejing, China, 22-24 Jun 2014. PMLR.

[7] Dimo Angelov. Top2vec: Distributed representations of topics. CoRR, Vol. abs/2008.09470, , 2020.

[8] Paul Glasserman, Kriste Krstovski, Paul Laliberte, and Harry Mamaysky. Choosing news topics to explain stock market returns. In Proceedings of the First ACM International Conference on Al in Finance, ICAIF '20, New York, NY, USA, 2021. Association for Computing Machinery.

[9] Thien Hai Nguyen and Kiyoaki Shirai. Topic modeling based sentiment analysis on social media for stock market prediction. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1354-1364, Beijing, China, July 2015. Association for Computational Linguistics.

[10] Jaydeep Soni Ivalio Dimov. Trading esg news using topic codes factors, 2021.

[11] Maarten Grootendorst. Bertopic: Neural topic modeling with a class-based tf-idf procedure. 2022.

[12] Leland McInnes, John Healy, and James Melville. Umap: Uniform manifold approximation and projection for dimension reduction, 2018.

[13] Leland McInnes and John Healy. Accelerated hierarchi- cal density based clustering. In 2017 IEEE International Conference on Data Mining Workshops (ICDMW). IEEE, nov 2017.

[14] Gerlof Bouma. Normalized (pointwise) mutual information in collocation extraction. Proceedings of GSCL, Vol. 30, pp. 31-40, 2009.

[15] Jey Han Lau, David Newman, and Timothy Baldwin. Machine reading tea leaves: Automatically evaluating topic coherence and topic model quality. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 530539, Gothenburg, Sweden, April 2014. Association for Computational Linguistics.

[16] Adji B. Dieng, Francisco J. R. Ruiz, and David M. Blei. Topic modeling in embedding spaces. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 439-453, 2020.

[17] Dogu Araci. Finbert: Financial sentiment analysis with pre-trained language models, 2019.
 川原一修 1 ${ }^{1}$ Japan Digital Design \{takanobu.kawahara\}@japan-d2.com  