# 子育て支援 QA サイトにおける潜在嗜好変化の時系列推定

住谷祐太 ${ }^{1}$ 富川雄斗 ${ }^{2}$ 伊藤尚紀 ${ }^{2}$ 高橋里司 ${ }^{3}$
1 電気通信大学大学院 情報理工学研究科 情報学専攻 2 電気通信大学 情報理工学域 I 類
3 電気通信大学大学院情報理工学研究科情報・ネットワーク工学専攻
\{sumiya, tomikawa,ito, stakahashi\}@uec.ac.jp

## 概要

ソーシャルメディアを活用した子育て情報の収集が盛んになっている．特に子育てに関する QAコ ミュニティでは，子育て中の母親が質問を気軽に投稿できるため，投稿されるテキストには一般的な情報だけでなく，ユーザが抱える悩みや嗜好が含まれ ていることが多い. それらの特徴量を把握すること はソーシャルメディアマーケティングにおいて重要 な技術課題となる. そこで本研究では，ユーザの潜在嗜好を捉えるための新しいトピックモデルを提案 する. 提案手法では，ユーザの年齢区分や子供の月齢などの補助情報の活用や，嗜好の時間依存性を考慮する．実験では令和 3 年度データ解析コンペティ ションでコネヒト株式会社から提供されたママリの データを使用し，手法の有効性を検証する。

## 1 はじめに

子育て情報の収集・共有を行う QAコミュニティ の一つに，コネヒト株式会社が提供するママリが存在する．ママリでは匿名性を利用して知人には相談 できないような悩みを質問できるため，投稿される 質問はユーザの潜在嗜好を把握する上で有益な情報 だと言える. 子育て特有の事情として，ユーザの嗜好は属性や子供の月齢，時間によって異なると考え られ，従来のユーザ全体を解析の対象とした場合で は十分に嗜好を把握できない問題がある。

関連研究として，ユーザの質問文から潜在嗜好を 推定する手法にトピックモデルが存在し, 自然言語 の潜在的意味解析に広く用いられている. 特に Blei et al. [1] が提案した LDA (Latent Dirichlet Allocation) は，一つの文書に複数の潜在トピックが存在すると 仮定し，そのトピックの分布を離散分布としてモデ ル化する代表的な潜在変数モデルである.

一方で新生児の母親が主なユーザである QAコ ミュニティ上での質問は，文書となる質問文以外に質問者の年齢や居住地域，そして事前に付与される 質問カテゴリタグなどが付与され，それに応じて質問の意図が大きく異なると想定される。また子供を 育てるユーザの場合，月齢に応じて質問内容が変化 していくことも考慮する必要がある．本研究では， ユーザの潜在嗜好を捉えるためにこれらの補助情報 を利用した新しいトピックモデルを提案する.

## 2 提案手法

しいトピックモデルとして，SCTTM (Supervised Correspondence Topic Tracking Model) を提案する. SCTTM では，LDA に対して三つの拡張を行う．は じめに，最初の質問時における子供の月齢を考慮す るようにトピックを学習させるため，連続変数を考慮したトピックを推定できる sLDA [2] を組み込む. SLDA は，学習過程のトピックを説明変数にとり， それらで月齢を線形回帰したときの当てはまりが良 くなるようにトピックと偏回帰係数を逐次的に学習 する.

次に，離散値ラベルの補助情報も考慮してトピッ クを学習させるため, Corr-LDA [3] を取り入れる. Corr-LDA を取り入れることにより，各トピックの 単語分布の推定と同様に，補助情報の分布も推定す る.ここで補助情報の生成に用いられるトピック は，必ず単語を生成したトピックとなるようにモデ ル化するため, 単語と補助情報の対応関係を適切に 学習することができる.

最後に，ユーザの嗜好変化を考慮するための手法 として，TTM [4] を用いたパラメータ推定を行う. TTM は時間情報が付けられた文書集合から，時間変化するトピックを推定する手法であるため，質問文からユーザ個人の潜在嗜好と時間発展を適切に追跡することができる. また TTM はオンライン学習 が可能な点から，日々蓄積されるユーザの質問デー タを効率的に学習できる利点がある. 本研究では,
最初の時刻 $t=1$ で月齢と補助情報に沿ったトピッ クを学習した後, 時刻 $t>1$ 以降はそれらのトピッ クが時間依存して変化するように学習させる.

## 2.1 トピックの生成

全ユーザ数を $U$ ，総時刻を $T$, 全ユーザで観測さ れる総単語の種類を $V$ ，トピック数を $K$ として，あ る時刻 $t$ においてあるユーザ $u$ が生成した文書の単語の組を $\boldsymbol{w}_{t u}=\left(w_{t u 1}, \cdots, w_{t u N_{t u}}\right)$ と表記する. ここ で $N_{t u}$ は時刻 $t$ においてユーザ $u$ が生成した文書に 含まれる単語数である。

トピックモデルでは，ユーザ毎にトピック分布 $\boldsymbol{\theta}_{t u}=\left(\theta_{t u 1}, \cdots, \theta_{t u K}\right)^{\top} \in \mathbb{R}^{K}$ が与えられ, 各要素 $\theta_{t u k}$ は時刻 $t$ でユーザ $u$ の単語にトピック $k$ が 割り当てられる確率を表す. すなわち $\theta_{t u k} \geq 0$, $\sum_{k} \theta_{t u k}=1$ を満たす. 各トピック $k$ には固有の単語分布 $\boldsymbol{\phi}_{t k}=\left(\phi_{t k 1}, \cdots, \phi_{t k V}\right)^{\top} \in \mathbb{R}^{V}$ が存在し, 各要素 $\phi_{t k v}$ は時刻 $t$ のトピック $k$ で単語 $v$ が生成される確率を表す.ここで $\phi_{t k v} \geq 0, \Sigma_{v} \phi_{t k v}=1$ を満たす。

生成過程における各単語 $w_{\text {tun }}$ は, トピック分布 $\boldsymbol{\theta}_{t u}$ にしたがってトピック $z_{t u n}\left(n=1, \cdots, N_{t u}\right)$ が割 り当てられ, その単語分布 $\boldsymbol{\phi}_{t z_{t u n}}$ にしたがって生成 されると仮定する。

## 2.2 トピックの推定

はじめに，ユーザが投稿した質問単語ごとにト ピックをサンプリングする. 本研究では崩壊型ギ ブスサンプリング [6]を用いて，トピック分布，単語分布，補助情報分布のパラメータを周辺化した 周辺同時分布により単語トピックのサンプリング 確率を求める. 時刻 $t=1$ において, ユーザ $u$ の単語 $n$ に割り当てられるトピック $z_{\text {tun }}$ が $k$ となる確率は, 周辺同時分布にベイズの定理を適用するこ とで式 (1)のように求めることができる. 式中の $\backslash t u n$ は, 時刻 $t$ でユーザ $u$ の単語 $n$ に割り当てら れるトピックを除くことを意味する。また $N_{t k n}$ は 時刻 $t$ においてトピック $k$ に単語 $n$ が割り当てら れた個数， $N_{t k}$ はその単語毎の総和を表し, $N_{t u k}$, $M_{t u k}^{i}$ はそれぞれ時刻 $t$ でユーザ $u$ に割り当てられ た単語トピック, 補助情報 $i$ のトピック $k$ の個数 を表す. さらに時刻 $t=1$ では, ユーザ $u$ が持つ連続変数 $y_{u}$ がガウス分布 $\mathcal{N}\left(\boldsymbol{\eta}^{\top} \widetilde{z}_{t u}, \sigma^{2}\right)$ に従い生成さ れると仮定する， $\boldsymbol{\eta} \in \mathbb{R}^{K}$ は線形回帰パラメータ, $\widetilde{z}_{t u}=\left(\frac{N_{t u 1}}{N_{t u}}, \cdots, \frac{N_{t u K}}{N_{t u}}\right)^{\top} \in \mathbb{R}^{K}$ は時刻 $t=1$ における ユーザ $u$ のトピック割合, $\sigma^{2}$ は分散パラメータを表す。

$
\begin{aligned}
& p\left(z_{t u n}=k \mid \mathrm{Z}_{\backslash t u n}, \mathrm{~W}_{t}, \boldsymbol{\alpha}, \beta, \boldsymbol{\eta}, \sigma^{2}\right) \\
& \propto\left(N_{t u k \backslash t u n}+\alpha_{k}\right) \frac{N_{t k w_{t u n} \backslash t u n}+\beta}{N_{t k \backslash t u n}+\beta V} \\
& \times\left(\frac{N_{t u k \backslash t u n}+1}{N_{t u k \backslash t u n}}\right)^{\sum_{i} M_{t u k}^{i}} \\
& \times \exp \left.\{\frac{\eta_{k}}{N_{t u} \sigma^{2}}\left(y_{u}-\boldsymbol{\eta}^{\top} \widetilde{\boldsymbol{z}}_{\backslash t u n}-\frac{\eta_{k}}{2 N_{t u}}\right)\right.\} .
\end{aligned}
$

$\alpha \in \mathbb{R}^{K}, \beta$ はディリクレ分布のパラメータである.便宜上， $\boldsymbol{\theta}_{t u}, \boldsymbol{\phi}_{t k}$ を行列表現したものを $\boldsymbol{\Theta}_{t}, \boldsymbol{\Phi}_{t}$ と 表し， $\boldsymbol{w}_{t u} ， z_{t u}$ をそれぞれ要素毎にまとめた集合を $\mathrm{W}_{t}, \mathrm{Z}_{t}$ と表す. なお式 (1)で条件付き独立となる項 およびその変数については省略している。

時刻 $t>1$ でも同様にトピックのサンプリング 確率を式 (2)のように求めることができる. 式中の $\hat{\boldsymbol{\Theta}}_{t-1}, \hat{\mathbf{\Phi}}_{t-1}$ はそれぞれ $\boldsymbol{\Theta}_{t-1}, \boldsymbol{\Phi}_{t-1}$ の推定値である.

$
\begin{aligned}
& p\left(z_{t u n}=k \mid \mathrm{Z}_{\backslash t u n}, \mathrm{~W}_{t}, \boldsymbol{\alpha}_{t}, \boldsymbol{\beta}_{t}, \hat{\boldsymbol{\Theta}}_{t-1}, \hat{\boldsymbol{\Phi}}_{t-1}\right) \\
& \propto\left(N_{t u k}+\alpha_{t u} \hat{\theta}_{t-1, u k}\right) \\
& \times \frac{N_{t k w_{t u n} \backslash t u n}+\beta_{t k} \hat{\phi}_{t-1, k w_{t u n}}}{N_{t k \backslash t u n}+\beta_{t k}} \\
& \times\left(\frac{N_{t u k \backslash t u n}+1}{N_{t u k \backslash t u n}}\right)^{\sum_{i} M_{t u k}^{i}} .
\end{aligned}
$

$\alpha_{t} \in \mathbb{R}^{U}, \beta_{t} \in \mathbb{R}^{K}$ はディリクレ分布のパラメータを 表し，それ以外に条件付き独立となる項およびその 変数については省略している.

## 3 評価実験

提案手法について実データを用いた検証を行う.検証では子供の月齢を登録している質問数が 5 回， 10 回，20 回のユーザをそれぞれ 250 人ずつ無作為 に抽出し，計 750 人のユーザを用いる．各ユーザが 投稿した質問単語を 9:1 の比率で訓練単語とテスト 単語に分割し，トピック数 $K$ を 5 から 20 まで 5 刻 みに増やした時の各々について, 月齢予測に必要な パラメータとトピック分布 $\boldsymbol{\Theta}_{t}$, 単語分布 $\boldsymbol{\Phi}_{t}$ を学習 する。また，[5]では, Perplexity [1] を用いた最適な トピック数 $K=25$ を求めて，実験を行なっている.

## 3.1 月齢の予測精度の有効性

最初の質問時 $(t=1)$ における, 各ユーザの子供の 月齢をSCTTM による逐次的な線形回帰で予測し， その精度を検証する. モデルはユーザを訓練用とテ スト用に 8:2 で分けて，各トピック数毎に MSEを 用いて 5 分割交差検証で評価し, 表 1 の結果を得
表 1 子供の月齢の予測結果：訓練，テストはそれぞれのデータでの MSE 值を表す.

表 2 平均 Top- $N$-accuracy(\%) による質問単語の予測結果

た. 本研究では月齢予測が有効であることを示すた めに，実験において月齢を考慮しない通常の LDA， RandomForest [7], LightGBM [8] の三つのモデルと比較している。この結果から，訓練ユーザに関して は，LightGBM や RandamForest の MSE の精度が向上しているが，これは過学習を起こしているためで あると考えられる。一方で，テストユーザに関して は SCTTM が他の手法に比べて MSE の精度が向上 していることが確認できる.

## 3.2 質問単語の時系列推定の有効性

各時刻で質問される単語の推定精度を複数のモ デルと比較しながら評価する．比較するモデルは， LDA，TTM，TTM に月齢以外の補助情報を加えた CTTM，提案手法の SCTTM の四つである. 評価指標には次式で定義される Top- $N$-accuracy を採用
する。

$
P\left(w_{t u}=v \mid \hat{\boldsymbol{\Theta}}_{t-1}, \hat{\mathbf{\Phi}}_{t-1}\right)=\sum_{k=1}^{K} \hat{\theta}_{t-1, u k} \hat{\phi}_{t-1, k v}
$

式 (3) は，現時刻 $t$ で観測された単語 $v$ をテスト単語とし，その生成確率を一つ前の時刻 $t-1$ の単語集合から推定されたトピック分布 $\hat{\boldsymbol{\Theta}}_{t-1}$ と単語分布 $\hat{\boldsymbol{\Phi}}_{t-1}$ で予測する. 出力として, 単語 $v$ の生成確率 が上位 $N$ 件に含まれる割合を返す。この值が高い ほど，精度良く単語を予測できていることを意味す る. Top- $N$-accuracy を使い，質問回数が 5 回， 10 回， 20 回のユーザそれぞれについて $N=1,2,3$ 件での平均を，トピック数を変えながら評価した結果を表 2 に示す. この結果から，時間依存性と補助情報，連続変数の月齢を考慮した SCTTM が他のモデルに比 べて高い精度を示していることが確認できる。

## 4 おわりに

ユーザ毎に時間発展して観測される文書と，それ らに対応する補助情報が観測される QA サイトにお けるソーシャルメディアマーケティングにおいて， ユーザの潜在嗜好を推定することは，広告推薦や新 たなユーザコネクションの推薦において重要な技術課題である。本研究では，この技術課題を解決する 新しいトピックモデルである SCTTM を提案した.実験では令和 3 年度データ解析コンペティションに おいてコネヒト株式会社のママリのデータを使い，月齢や補助情報を考慮しつつ，ユーザ毎に時間発展 する嗜好変化を正しく推定できることを示した. ま た，抽出するトピック数を変化させた場合，少ない トピック数に対して時系列推定の精度は良いが，月齢予測の精度が悪いことを確認し，トレードオフの 関係にあることを確認した。両者のバランスがよい トピック数として，20が妥当であることを確認し， [5] での結果と比較すると Perplexy によってトピッ ク数を決定することが最適とは限らないことが分 かった。

本研究で提案した SCTTM は時間発展を考慮でき る他のソーシャルメディアの文書データに対して も適用可能であり，汎用性の高いモデルであると言 える。

## 謝辞

新生児・乳幼児の母親をメインユーザとするポー タルアプリのデータを提供いただいた，コネヒト株式会社様およびデータ解析コンペティション運営の 方々に感謝申し上げます. また，DB サーバの提供 やコンペティション参加の支援をしていただいた電気通信大学情報工学工房および，学術技師の島崎様 に感謝申し上げます。

## 参考文献

[1] D. M. Blei, A. Y. Ng and M. I. Jordan, "Latent dirichlet allocation," Journal of Machine Learning Research, 3, pp. 993-1022, 2003.

[2] J. Mcauliffe and D. Blei, "Supervised topic models," In Proceedings of Advances in Neural Information Processing Systems, 20, pp. 121-128, 2007.

[3] D. M. Blei and M. I. Jordan, "Modeling annotated data," In Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval, pp. 127-134, 2003.

[4] T. Iwata, S. Watanabe, T. Yamada, and N. Ueda, "Topic tracking model for analyzing consumer purchase behavior," In Proceedings of the 21 st International Joint Conference on Artificial Intelligence, 9, pp. 1427-1432, 2009.

[5] 住谷祐太, 富川雄斗, 伊藤尚紀, 高橋里司, “SCTTM によるユーザ属性を考慮した潜在嗜好変化の時系列推定”，オペレーションズ・リサーチ，68(2), 2023.

[6] T. L. Griffiths and M. Steyvers, "Finding scientific topics," In Proceedings of the National Academy of Sciences, 101, pp. 5228-5235.

[7] L. Breiman, "Random forests," Machine Learning, 45, pp. 5-32, 2001.

[8] G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye and T. Y. Liu, "Lightgbm: A highly efficient gradient boosting decision tree," In Proceedings of Advances in Neural Information Processing Systems, 30, pp. 31463154, 2017.
 住谷祐太 ${ }^{1}$ 富川雄斗 ${ }^{2}$ 伊藤尚紀 ${ }^{2}$ 高橋里司 ${ }^{3}$ 1 電気通信大学大学院 情報理工学研究科 情報学専攻 2 電気通信大学 情報理工学域 I 類 3 電気通信大学大学院情報理工学研究科情報・ネットワーク工学専攻 \{sumiya, tomikawa,ito, stakahashi\}@uec.ac.jp  