# ツイートテキストデータによるリツイート数予測とその要因分析

増川哲太 ${ }^{1}$ 雨宮正弥 ${ }^{1}$ 仲田明良 ${ }^{1}$ 高須遼 $^{2}$ 狩野芳伸 ${ }^{1,2}$
1 静岡大学 情報学部 ${ }^{2}$ 静岡大学 総合科学技術研究科情報学専攻
${ }_{1}^{1,2}\{$ tmasukawa, mamemiya, anakada, rtakasu, kano $\}$ kanolab. net

## 概要

SNS 投稿が社会に及ぼす影響は、人々の行動を左右するまでに大きくなった. Twitter に投稿されたツ イートの影響を測る指標の一つはリツイート数であ る. 本研究では投稿テキストのみからリツイート数 の予測を試みた。結果、リツイート数が十分に多い 場合、フォロワー数の貢献は低くテキストのみで予測可能であることを示したうえ、我々が大規模ツイ ートデータで事前学習した RoBERTa が他のモデル より良く、対数正規化したリッイート数に対し絶対平均パーセント誤差で 0.602 の予測性能であった. ツイート文中の各文節の予測への貢献度合いを分析 し、「バズる」ツイートの傾向について示唆を得た。

## 1 はじめに

現代社会において、ソーシャルネットワーキング サービス(Social Networking Service、以下 SNS)は我々 の生活に深く根付いており、経済から政治まで様々 な分野に世界的な影響を及ぼしている。行政機関か ら企業、一個人に至るまでの多様な情報の発信にお いて、SNS を使用することは今やスタンダードなも のとなっている.そのような SNS の中でも、Twitter ${ }^{\mathrm{i}}$ は活発にテキストの投稿が行われていると同時に、 データ取得 API が公開されており、膨大なデータを 収集分析することができる.

Twitter ではリツイート機能により対象のツイー ト（投稿）をフォロワー全員と共有できるため、リ ツイートは情報の拡散において重要な要素である。先行研究の多くはフォロワー数、フォロー数、いい 氶数や文長といった数値的特徴のみを用いてリツイ 一ト数の予測を行っているが、投稿内容を無視した 予測は不正確な可能性が高い. ツイート本文の言語的特徴からリツイート数を予測し、どのような文章 が拡散されやすいかの分析ができれば、予測性能向上のみならずツイートがどのような社会的影響をも ちうるかの分析が可能になる.

そこで本研究では、投稿テキストの特徴量を用い たリツイート数の予測を行った. 予測には我々が大規模ツイートデータで事前学習した JTweetRoBERTa をファインチューニングして使用 しほかの事前学習モデルと比較したところ、最も良 い性能を得た. また、フォロワー数の影響も比較し た結果、リツイート数が十分に多い場合、投稿テキ ストのみほうがよい性能を得ることができた。 さら に文節の Ablation Study により、リツイート予測値 を決定づける要因を分析した。

## 2 関連研究

Sharma ら(2022)[1]は、人間のリツイート行動パタ ーンを把握するために、文字数や単語数などツイー トの本文の数値的特徴と、フォロワー数やフォロー 数などのユーザープロフィールの数值的特徴からリ ツイート数の予測を行った. これら数値的特徴量を 組み合わせた新たな特徴量を提案して、リツイート の予測を行った。

Liu ら (2014)[2]は中国の Twitter に似た SNS である Weiboilについて、同様のユーザープロフィールや投稿に関する情報を用いてリツイート数を予測した。訓練データをリツイート数でいくつかのクラスに分割した後、テキストとユーザーに関する数値的特峌量とクラスラベルを用い、クラス分類タスクとして 学習、推測した。

こうした数値的特徴を用いてリツイート数の予測 を行う手法では、ユーザーの思考や興味を反映させ た予測できているとはいえない. Twitter ユーザーの 思考がもっとも強く映し出されているのはツイート テキストそのものであり、それを用いることでより リツイート数をより正確に予測できると期待する.

Zhang ら(2016)[3]はユーザーのツイートを類似し


ii https://m.weibo.cn/

た単語やトピックでクラスタリングし、それらの注目度と現在のツイートの類似度やツイートの文脈情報、その他特徴量を学習させ、ある特定のツイート をリツイートする可能性を予測している. Wang ら (2020)[4]は Weibo から大量のデータを収集し、ユー ザーの投稿本文、プロフィール、ユーザー間のネッ トワーク情報のベクトルをつなぎ合わせて分類する ことで、ある投稿をリツイートするかどうかの予測 を行っている.これらの先行研究では、Twitter ユー ザーの興味・関心を言語特徴やその他特徴を用いて 取り込んでいるが、ユーザー個別のリツイート行動 を予測することが目的であり、本研究の目的である リツイート数の予測とは異なる。

## 3 提案手法とデータセット

本研究では、我々が独自に 6 億件の日本語ツイー 卜で RoBERTa-base を事前学習した JTweetRoBERTa[5]の利用を提案手法として、東北大学が公開している Wikipedia で事前学習した日本語 BERT[6]の BERT-baseiii，同 BERT-large ${ }^{\mathrm{iv}}$ 、rinna 社の提供する Wikipedia および cc100 で事前学習し たRoBERTa[7]の三つを比較対象として用いた.

これら事前学習済みモデルに対して、以下で説明 する Twitter データセットによるファインチューニ ングを行った. 具体的には、BERT の最終層に回帰分析用の全結合層を追加してファインチューニング を行った. ファインチューニングの各種パラメータ 設定は、付録 $\mathrm{A} 1$ に記載する.

「インフルエンサー」であること自体がリツイー 卜数に影響を及ぼす可能性を分析するために、対象 ツイートを発信したアカウントのフォロワー数のみ での予測と、JTweetRoBERTa の最終全結合層にフ オロワー数も入力した場合の予測を行った.

さらに、ツイートのどの文節がリツイート予測に 重要かの Ablation Study による要因分析を行った.

## 3.1 ファインチューンの変数と損失関数

ファインチューニング時の正解となるリツイート 数 $\boldsymbol{r}$ に幅があり学習が難しくなってしまうため、 $\boldsymbol{x}$ $=\log _{2}(r+1)$ と正規化した值 $\boldsymbol{x}$ を用いた. 以下 $\boldsymbol{x}$ を 対数正規化リツイート数と呼ぶ.


リツイート数のスケールの幅が大きいため、誤差 を比率で表現する損失関数も検討したが、正解値と 予測値によっては簡単に小さい値になりやすくモデ ルの最適化には向かない、そのためモデル学習時の 損失関数としては平均絶対誤差を採用した。

## 3. 2 Twitter データセット

本研究で使用したデータは、Twitter API $\mathrm{v} 2 \mathrm{v}$ の Academic Research アクセスにより取得した. ツイー ト本文がリツイート数にどのくらい影響を及ぼすの かをテキストに焦点をおいて分析するため、リプラ イ、引用リツイート、画像・動画を含むツイートは 除外した．URL や絵文字は削除した。

リツイート数の少ない投稿ほど頻度が高いが、対象投稿のリツイート数が十分に多くないと統計的な 予測が難しい，特にリツイートのない投稿はその理由に特殊な要因が考えられるため、すべて除外した。

ファインチューニング用データセット 日本語 ひらがな五十音を含むツイートを、制限を設けずタ イムライン上から収集するランダムサンプリングで、投稿期間は 2022 年 1 月 1 日 2022 年 10 月 31 日であ る.しかしこの方法のみでは、リツイート数が多い ツイートを十分に取得することが困難だった。その ため、リツイート数が多かった投稿をまとめてさら にリツイートしているアカウントをいくつか収集し、 そこでリツイートされた投稿をすべて収集したもの （以下「まとめアカウントデータ」と呼ぶ）を加え、 リツイート数の多い投稿を補強したものをファイン チューニングに用いた.ただし、ひらがなないしカ タカナが一文字もないツイートは除外した。これら

図 1 ファインチューニング用データセットの リツイート数毎の頻度分布
^{v}$ https://developer.twitter.com/en/docs/twitter-api
}

フィルタ後のリツイート数の分布を図 1 に示す（リ

ツイート数 0 の投稿数も参考に残した）。

要因分析用データセット上記のまとめアカウ ントデータのみを用いた. ファインチューニング時 に用いたツイートと重複するものは除外した。

表 1 にファインチューニング用と要因分析用のデ ータセットの統計を示す.

表 1 各データセットの統計情報

## 4 実験設定と評価

評価に用いた指標は、平均二乗誤差(MSE)、二乗平均平方根誤差(RMSE)、平均絶対誤差(MAE)、平均絶対パーセント誤差(MAPE)、決定係数 $\left(\mathrm{R}^{2}\right)$ 、相関係数 (r)の 6 つである. 評価指標の詳細については付録 A2 に記載する。

## 4. 1 訓練時のデータ分割と評価結果

前章で述べたファインチューニング用データセッ 卜を訓練・検証・評価に分割した。ランダムサンプ リングしたツイートは 38:1:1、まとめアカウントデ 一タは 8:1:1 に分割した. リツイート数が多いもの が訓練・検証・テストそれぞれに適度に含まれるよ うに、それぞれ分割してから結合した。結果、ファ インチューニング用のツイート数は、訓練・検証・評価の件数がそれぞれ $113671 、 3672,3675$ となった。 ファインチューニングの結果、ほぼすべての指標 において JTweetRoBERTaが最も良いスコアを得た （表 2）. 表 2 の follower カラムはフォロワー数の みで予測した結果を、JTweetRoBERTa+follower は
JTweetRoBERTa の最終全結合層にフォロワー数も 入力した場合の予測結果であるが、フォロワー数を 加えた結果、かえって性能が低下している. 次節で その詳細を分析する。

## 4. 2 リッイート数による性能比較

リツイート数の過多によって予測性能が異なる可能性がある．その調査のため、前節のフォロワー数 を使わないモデル間比較で最も良い性能を得た、提案手法である JTweetRoBERTa と、 JTweetRoBERTa+follower , follower $の$ 三つについて テストデータをリツイート数 $1024\left(=2^{10}\right)$ 未満の計 2845 ツイート、2 $2^{10}$ 以上の計 830 ツイートの二つに 分割し、それぞれに対して評価值を算出した。表 3 に結果を示す.

表 3 リツイート分布別の予測性能比較

JTR: JTweet-RoBERTa, f: follower

 & $\mathbf{f}$ & $\mathbf{J T R}$ &  & \multicolumn{1}{|c|}{$\mathbf{f}$} \\

二つのデータセット間でリツイート数のスケール が異なるため、絶対值ではなく比率で評価する MAPE が妥当な指標である. MAPE はリツイート数 $2^{10}$ 未満では follower が、リツイート数 $2^{10}$ 以上では JTweetRoBERTa が最も良い性能であった。

## 4. 3 文節 Ablation Study による要因分析

リツイート数予測に影響の大きい単語や文節を分析するため、オリジナルの入力ツイート文からいず れかひとつの文節を除いて予測を行い比較した。ツ

表 2 対数正規化リツイート数のモデル別予測の評価値

 &  & follower \\

イート本文から削除したときに最も予測值が下がる 文節が最も影響を及ぼしていると考え、要因分析用 のデータセットすべてについてこの分析を行った.

予測にはファインチューニングした JTweetRoBERTaを使うが、ファインチューニングで 用いたものとは別に入力用ツイートデータを用意し た. 文節区切りには日本語構文・格・照応解析シス テム KNPviを用いた. ハッシュタグが KNP の入力に 含まれていると正常に動作しないため、一旦ツイー 卜本文からハッシュタグを抽出し KNP に入力した 後でツイート本文の元の場所に戻し予測を行った.

表 4 に、ツイート本文をすべて入力した際のリツ イート数予測値と、いずれかの文節を抜いた場合の らち最小の予測値とについて、予測値の差上位 10 件 をまとめた。

表 4 文節 Ablation Study の分析結果

 \\

けど。 \\

## 5 考察

表 2 に示した、ファインチューニングしたモデル のうちフォロワー数を使用しないモデル間の性能比較では、提案手法である JTweetRoBERTa が最も高 い性能であった.ツイート文には特有の語彙、文体、構造があるため大規模ツイートテキストによる事前学習が有効であったと考えられる。

表 3 の JTweetRoBERTa の結果を比較すると、リ ツイート数が多い方が性能が良く、内容以外の要因 が相対的に減るであろうこと、リツイート数の多い
ツイートには予想を決定づける要因が多く含まれた ためにより予測を安定させた可能性がある.

リツイート数 1024( $\left.=2^{10}\right)$ 以上のツイートに対する 予測で、フォロワー数が貢献しなかったことは意外 で重要な発見である. フォロワー数が少ないアカウ ントからの発信であっても、ツイート内容が「バズ る」ものであれば他のアカウントの紹介等を介して 最終的にリツイート数が増加するのではないか.

リツイート数 $1024\left(=2^{10}\right)$ 未満のツイートではフォ ロワー数のほうが予測に寄与した. フォロワー数が 多いほど、内容にかかわらずリツイートするユーザ 一群が多いのかもしれない。

表 4 の分析結果で挙がった文節を見ると、「お願 いなのですが、」「言わせて、」といった相手に働 きかけるような文節が上位にみられる。また、トピ ックをあらわす文節が「忍者だった」「飼われた」

【超重要事項】「筋肉注射の」「【拡散希望】脳梗塞って」のようにアピーリングで意外性のある内容であることも重要であるという結果になった。こ のことから提案手法では、ツイート本文中の要点に 関する文節を重要視してリツイート数予測を行って いるのではないかと考えられる。

## 6 おわりに

本研究では、ツイート本文の言語特徴からリツイ 一ト数を予測できるかを試みた.モデル比較の結果、 ツイートデータで事前学習させた提案手法の JTweetRoBERTa が、リツイート数 1024 $\left(=2^{10}\right)$ 以上 の予測において MAPE が 0.602 と最も良い性能を達成した. リツイート数が十分に多い場合フォロワー 数の貢献は低くテキストのみで予測が可能であるう え、Ablation Study の結果からは相手への働きかけ表現やツイート文のトピックを表すアピーリングな文節を重要視しているのではないかという示唆を得た。

今後はファインチューニングに用いたリツイート 数の分布がより均一になるよう収集方法を工夫して データ数を増やし、モデルのさらなる一般化を目指 したい。また、ユーザーのツイート履歴やツイート の前後関係、社会背景とツイートタイミングといっ た時系列の情報など、ツイート本文以外の特徵量も 含めたモデルを構築することで、よりユーザーの特性とツイート拡散過程を反映した予測を試みたい.


## 謝辞

本研究は JSPS 科研費 JP22H00804, JP21K18115, JP20K20509, JST AIP 加速課題 JPMJCR22U4, およ びセコム科学技術財団特定領域研究助成の支援をう けたものです.

## 参考文献

[1] Saurabh Sharma, and Vishal Gupta. Role of twitter user profile features in retweet prediction for big data streams. Multimedia Tools and Applications, Volume 81, pp. 27309-27338. 2022.

[2] Gang Liu, Chuan Shi, Qing Chen, Bin Wu, and Jiayin Qi. A Two-Phase Model for Retweet Number Prediction. Web-Age Information Management. WAIM 2014. Lecture Notes in Computer Science, vol 8485, pp 781792. 2014.

[3] Qi Zhang, Yeyun Gong, Jindou Wu, Haoran Huang and Xuanjing Huang. Retweet Prediction with Attentionbased Deep Neural Network. Proceedings of the 25th ACM International on Conference on Information and Knowledge Management, pp. 75-84. 2016.

[4] Chunjia Wang, Yongquan Fan, Yajin Du, and Zefen Sun. Predict Individual Retweet Behavior Based on Multi-feature. IOP Conference Series: Materials Science and Engineering, Volume 790, Number 1, pp. 012046. 2020.

[5] Ryo Takasu, Hironobu Nakamura, Taishiro Kishimoto, and Yoshinobu Kano. Mental Health Classification using Large Scale Tweet Dataset. Proceedings of the 36th Annual Conference of the Japanese Society for Artificial Intelligence. 2022.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.0485v2, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692. 2019.

## A 付録

## A1 ファインチューン時のパラメータ設定

今回学習に使用した最適化アルゴリズムは Adam である.フォロワー数のみで学習した場合は、最終回帰層のみ学習させた。

$\mathrm{Ir}=5 \mathrm{e}-5$ (各言語モデル)、1e-5(最終回帰層)

max_epochs $=100$ (early_stopping 設定により早期終了する可能性もある.)

## A2 評価指標

本研究で用いた評価指標は、平均二乗誤差(MSE: Mean Squared Error)、二乗平均平方根誤差(RMSE:

Root Mean Squared Error)、平均絶対誤差(MAE:

Mean Absolute Error)、平均絶対パーセント誤差 (MAPE: Mean Absolute Percentage Error)、決定係数

$\left(\mathrm{R}^{2}\right) 、$ ピアソンの相関係数 $(\mathrm{r})$ の 6 つである. 以下に それぞれを求める式を示す.

( $y$ : 正解值、 $\hat{y}$ : 予測値、 $\mathrm{n}:$ データ数)

$M S E=\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}$

$R M S E=\sqrt{M S E}$

$M A E=\frac{1}{n} \sum_{i=1}^{n}\left|y_{i}-\hat{y}_{i}\right|$

MAPE $=\frac{1}{n} \sum_{i=1}^{n}\left|\frac{y_{i}-\hat{y}_{i}}{y_{i}}\right|$

$R^{2}=1-\frac{\sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}}{\sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}}$

$r=\frac{\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)\left(\hat{y}_{i}-\overline{\hat{y}}\right)}{\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}} \sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(\hat{y}_{i}-\overline{\hat{y}}\right)^{2}}}$
 増川哲太 ${ }^{1}$ 雨宮正弥 ${ }^{1}$ 仲田明良 ${ }^{1}$ 高須遼 $^{2}$ 狩野芳伸 ${ }^{1,2}$ 1 静岡大学 情報学部 ${ }^{2}$ 静岡大学 総合科学技術研究科情報学専攻 ${ }_{1}^{1,2}\{$ tmasukawa, mamemiya, anakada, rtakasu, kano $\}$ kanolab. net  