# 多様な特徵量を考慮した Twitter ユーザの性別推定

廣田遼 白井清昭
北陸先端科学技術大学院大学 先端科学技術専攻科
s2110142@jaist.ac.jp

## 概要

Twitter ユーザの性別を推定する手法を提案する。従来研究の多くはユーザが投稿するツイートを元 に性別を分類していたのに対し，本研究は，投稿ツ イート，自己紹介文，ユーザ名，プロフィール画像， フォロワーなど，様々な特徴量を考慮する点に特長 がある。また，投稿ツイートのテキストと画像を同時に考慮した複数のモデルを提案する．評価実験の 結果，提案手法の有効性を確認した。

## 1 はじめに

本論文は Twitter ユーザの性別を推定する新しい 手法を提案する. 従来研究の多くがツイートを対象に性別を推定している一方, Twitterでは, 投稿画像, 自己紹介文, プロフィール画像, フォロワーな ど様々な情報が取得できる。本研究では Twitter か ら得られる多角的な情報を元にユーザの性別をより 正確に予測する。また，性別のラベルが付与された Twitter ユーザのデータは作成コストが高いため，ラ ベル付きデータを自動拡張することで性別推定の正解率を向上させることを狙う。

## 2 関連研究

Twitter ユーザのプロフィール推定については多く の先行研究がある. Sakaki らは，ユーザが投稿する ツイートのテキストと画像のそれぞれについて，そ れを素性とする分類器を学習し, 最終的に両者のア ンサンブルモデルによって性別を予測する手法を 提案した [1]. Wang らは, ツイートテキスト，プロ フィール画像, 名前, 紹介文を素性とし, ユーザの 性別, 年齢, 所属, 組織を予測するモデルを提案し た [2]. Liu らは，投稿テキスト，自己紹介文，統計量を素性とし, 機械学習の古典的モデルならびに深層学習モデルによるプロフィール推定の性能を比較 した [3]. Morgan-Lopez らは, 誕生日ツイートなど の Twitter 特有の特徴量を利用することで，ユーザの年齢推定の精度を向上させた [4].

本研究でもツイートのテキストと画像の両方を利用するが，Sakaki らの手法がテキストと画像の分類器を別々に学習しているのに対し, 本研究では両者 の素性を同時に入力とする分類器を学習する点に違 いがある。また，ツイート以外の情報を利用してプ ロフィールを推定する先行研究があるが，本研究で は Twitterから得られるより多くの情報を同時に考慮するモデルを提案する。

## 3 提案手法

Twitter ユーザの性別を「男性」「女性」のいずれ かに分類する。このため, 使用する素性 (特徵量) が 異なる複数の分類器を学習する。 そのうちの 1 つは ユーザのツイートを素性とした分類器である (3.1 項). それ以外に Twitter から得られる様々な情報を 素性とした分類器を学習する (3.2 項). 最後にこれ らの分類器を統合したモデルを学習する (3.3 項).

## 3.1 ツイートによる分類器

ここではユーザによって投稿された複数のツイー トからそのユーザの性別を予測する。特に，ツイー トのテキストと画像の両方を考慮し, これらの組み 合せ方によって複数のモデルを提案する.

性別推定は 2 段階で行う。(1) 個々のツイートに 対し性別スコアを予測する。性別スコアは，1のと きは男性，0のときは女性を表すものとする。(2) ユーザが投稿した複数のツイートの性別スコアから ユーザの性別を決定する。以下の 3 通りの方法を採用する。

1. 性別スコアの平均を求め, 0.5 以上のとき男性, それ未満のとき女性と判定する。以下，この方法を Tw-ave と記す.

2. 性別スコアを Softmax 関数を用いて正規化した 後, 1.の処理を行う. 以下, Tw-soft と記す.

3. Softmax 関数による正規化の後, 性別クラス毎

に性別スコアが 1 または 0 に近い上位 $10 \%$ のツ イート (合計 $20 \%$ ) を選別した後, 1.の処理を行 う. 以下, Tw-sel と記す。

以下, ツイートを対象にした個々の分類器の詳細 について述べる。

Text only model ツイートのテキストのみを用いて 性別を推定する分類器である。具体的には, 訓練 データによって fine-tuning した BERT[5]を用いて性別スコアを得る.

Image only model ツイートに投稿された画像の みを用いて性別を推定する分類器. 具体的には, Vision Transformer [6] を訓練データによって finetuning し，そのモデルを用いて性別スコアを得る. ただし, 画像が含まれていないツイートは, 学習時 には使用せず，テスト時には性別を判定しない。

Early fusion model ツイートのテキストと画像を同時に考慮して性別を判定する．そのアーキテクチャ を図 1(a)に示す。テキストはBERT, 画像はVision Transformerによってそれぞれ埋め込みベクトルに 変換する。ただし，画像がないツイートに対する 画像埋め込みはゼロベクトルとする。次に，これ らを連結したべクトルを全結合層 (Full Connected Layer;FCL) に渡して性別スコアを出力する. 学習時 の損失関数は Log Loss 関数とする。

Late fusion model Early fusion model と同じくツイー トのテキストと画像を同時に考慮するが，両者の埋 め込みを次元圧縮した後で組み合わせる. アーキテ クチャを図 1(b) に示す。テキストと画像を埋め込み を BERT と Vision Transformer で得た後，それぞれを 別々に全結合層に渡して4 次元のべクトルに圧縮す る. 最後にこれらを連結したべクトルを全結合層に 渡して性別スコアを出力する。

Dense fusion model Early fusion model $\varepsilon$ Late fusion

(a) Early fusion

(b) Late fusion

(c) Dense fusion図 1 ツイートに対する性別判定モデル model を組み合わせたモデル，そのアーキテクチヤ を図1(c) に示す. BERTによって得られるテキスト の埋め込みベクトル, Vision Transformerによって得 られる画像の埋め込みベクトル, Late fusion model と同様にこれらを次元圧縮した埋め込みベクトルを 連結して全結合層に渡し，性別スコアを得る。

Caption model ツイートのテキストと画像を同時 に考慮するが，画像からキャプションを生成して から両者を組み合わせる．まず，Clip model [7] を用 いて画像の英語のキャプションを生成する. 次に, Google の翻訳 API [8] によって英語のキャプション を日本語に翻訳する。 そして, ツイートのテキスト と日本語のキャプションを特殊トークン $\langle$ sep $\rangle$ を挟 んで連結し，これを入力テキストとして，BERTを 用いて性別スコアを得る.

Ensemble model Text only model $と$ Early fusion model を組み合わせたモデル．画像のないツイートは Text only model で, 画像付きのツイートは Early fusion model で性別スコアを得る.

## 3.2 Twitter の情報による分類器

Twitter 統計量による分類器 Liu らの研究 [3] を参考に, 表 1 に示す Twitter から得られる統計情報を 素性として分類器を学習する. 学習アルゴリズム として Light Gradient Boosting Machine(Light GBM)[9] を用いる。

表 1 性別推定に使用する Twitter 統計量

ユーザ名による分類器 Twitter ユーザの名前から 性別を予測する，具体的には，ユーザ名の文字の uni-gram, ひらがな表記のユーザ名の文字 bi-gram を 素性として性別推定の分類器を学習する. また, 末尾の文字 uni-gram，ひらがな bi-gram に “end_”とい う特殊記号をつけたものも素性とする。学習アルゴ リズムとして Light GBMを用いる.

## プロフィール画像, ヘッダ画像による分類器 Twitter 上のユーザのプロフィールページに表示され るプロフィール画像 (ユーザの顔写真が多い) とへッ 夕゙画像から性別を判定する。プロフィール画像の み, ヘッダ画像のみ，両方を素性とする 3 つの分類
器を学習する. 分類モデルとして Vision Transformer を用いる。

自己紹介文による分類器 Twitter 上のプロフィール ページに表示される自己紹介文から性別を予測す る。一般に自己紹介は複数の文で書かれるが，本研究では 1 つの文として扱う. 分類モデルとして BERTを用いる。

フォロワーの自己紹介文による分類器 あるユーザ をフォローしている別のユーザをランダムに 100 名選択し，そのユーザの自己紹介文を元に性別を推定 する．自己紹介文を MeCabを用いて形態素解析し，単語を素性, その TF-IDFを値とする素性べクトル を作成する。 さらに, Latest Semantic Indexing (LSI) によってユーザのベクトルを 1000 次元に圧縮する。 これを素性として Light GBMを学習する。

## 3.3 統合モデル

これまで述べてきた分類器を統合した性別判定モ デルを学習する． 3.1 項で述べたツイートを用いる 分類器と, 3.2 項で述べた全ての分類器を組み合わ せる．各分類器が出力する性別スコアを素性とし, Light GBM を用いて最終的な分類器を得る.

## 3.4 訓練データの自動拡張

まず，初期の訓練データから性別の分類器を学習 する．次に，ラベルのない大量の Twitter ユーザの データを用意し，学習した分類器を用いて各ユーザ の性別を判定し，ラベルを付与する。この際，判定 の信頼度の大きい (性別スコアが 0 または 1 に近い)上位 3000 件のユーザのみにラベルを付与する.

## 4 評価実験

## 4.1 実験データ

評価実験のために以下のデータを構築した。

初期データ 主に著名人の Twitterアカウントを対象にラベル付きデー夕を構築する。まず，Twitter 日本フォロワー数総合ランキング [10] から上位 2 万件 のアカウントを収集する。それぞれのアカウントか ら, Twitter API を用いて分類器の学習に必要な情報 を獲得する、ツイートについては, リツイートを除 く最新の投稿を 100 件獲得する。

次に，それぞれのユーザの性別を Twitter 以外の 情報を参照して自動的に判定する，具体的には，各 ユーザ (著名人) の Wikipedia のエントリを参照し，表 2 ツイートによる分類器を用いた性別推定の正解率

そのプロフィール画像を得る。そして，オンライン 顔認識プラットフォーム Face++[11]を用いてユー ザの性別を判定し，それをラベルとして付与する。 Wikipedia のエントリがないとき, Goolge 画像検索 を用いて上位 5 件の画像を取得し，それぞれの画像の性別を Face++を用いて判定し，その多数決に よって性別のラベル付けを行う。

上記の処理によって 5000 人のユーザのラベル付 きデータを獲得した。実験では，これを 8:1:1の割合で訓練, 開発, テストデータに分割して使用した。 ラベルなしデータ 訓練データの自動拡張のため,性別のラベルが付与されていないユーザの集合を 得る。まず，前述のフォロワー数ランキングの順位 2 万から 3 万のユーザを選ぶ. 次に, Twitter API に よって分類器の学習に必要な情報 (ツイートについ ては初期データと同じく最新の 100 件のツイート) の取得を試み，これに成功した 6,845 名のユーザを ラベルなしデータとした。

評価データ 著名人ではない一般ユーザを対象に人手で性別のラベルを付与し, 評価データを構築す る. 初期データの著名人ユーザをフォローしてい るユーザのうち，フォロワー数が 1,000 人以下 ${ }^{11}$ の ユーザを選別する．３名の被験者に，Twitter ユーザ の最新の 20 件のツイートやプロフィール画面を参照し，「男性」「女性」「不明」のいずれかを付与する ことを依頼する．２名以上の被験者が「男性」また は「女性」のラベルを付与した 459 名のユーザを選別し, 評価デー夕とした。

## 4.2 実験結果

## 4.2.1 ツイートによる分類器の評価

3.1 項で述べたツイートのテキストと画像を元に 性別を予測する分類器を評価する．実験結果を表 2

表 3 個々の分類器ならびに統合モデルの評価デー夕に対する性別推定の正解率

Tw-ave, Tw-soft, Tw-sel はツイートに基づく分類器のうち表 2 の初期データの正解率が最も高い Ensemble model である。その他の分類器の略号は次の通り。統計:Twitter の統計量, 画像-P: プロフィール画像, 画像-H: ヘッ ダ画像，画像-PH: プロフィール\&ヘッダ画像，自己: 自己紹介文，フォ自己: フォロワーの自己紹介文

に示す. ave, soft, sel は， 3.1 項の冒頭で述べた個々 のツイートの性別スコアを元にユーザの性別を予測 する方式の違いを表す。

初期データでは， Text only モデルの正解率が，テ キストと画像の両方の情報を用いる Early fusion, Late fusion, Dense fusion の各モデルよりも高い. た だし，画像を含むツイートについては，テキスト・画像を同時に考慮するモデルの精度が高いことが 確認された。結果として, Text only model と Early fusion model を組み合わせた Ensemble model の正解率が最も高かった。なお, ave, soft, sel の優劣はモデ ルによって異なり，どの手法が最適であるかを結論付けることはできなかつた.

一方，評価データでは, Image only model は Text only model よりも正解率が高く, Caption model 以外 のテキストと画像を同時に使用するモデルよりも高 い. 著名人ではない一般ユーザの場合，男女によっ て投稿する画像に顕著な違いがあり，テキストより も画像の方が性別判定の有力な手がかりになってい ると考えられる。例外は Caption モデルで，比較し た分類器の中では最高の成績を収めている.

## 4.2.2 Twitter の情報による分類器の評価

3.2, 3.3 項で述べた分類器によって評価デー夕の 性別を判定したときの正解率を表 3 に示す。初期 データのみ，初期データとそれぞれの分類器によっ て自動拡張したデー夕を使う場合 (表 3 の「拡張」),初期データおよび正解率の一番高い統合モデルに よって推定した性別ラベルを付与して自動拡張した データを使う場合 (表 3 の「拡張 (統合)」)を比較し た. 最後の実験条件は，正解率の高い統合モデルを 用いることで, 質の高い自動拡張データを獲得した ときの効果を確認するためのものである。なお，統合モデルは「拡張」と「拡張 (統合)」の実験条件と で同じモデルが得られる。

初期データを訓練データとしたとき，統合モデ ルの正解率は 0.851 であり, 個々の分類器よりも高
い.ツイートのテキストや画像だけでなく，Twitter から得られる様々な情報を考慮することが性別推定 の正解率の向上に寄与することが確認できる. 個々 の分類器では, プロフィール画像を用いた分類器の 正解率が最も高い. プロフィール画像として本人の 写真が使われている場合, 性別推定の有力な情報と なる。また，ユーザ名を用いた分類器も正解率が高 く, 名前に性差が強く現われていることがわかる.

拡張デー夕を使用することで，個々の分類器では 正解率が向上したものもあるが，統合モデルの正解率は向上しなかった. 特に正解率の高かったプロ フィール画像を用いた分類器の性能が大きく低下し ていることから，統合モデルの正解率が 0.045 ポイ ント下がった。プロフィール画像やへッダ画像を用 いた分類器は, 正解率は高いが，性別のスコアが 0.5 付近の場合が多く，性別推定の信頼度は低いことが 確認された。自動拡張によって信頼度が低い事例が 多く追加されていることが，プロフィール・ヘッダ 画像を用いた分類器の正解率が低下した原因と言え る。自動拡張データを得る手法として，それぞれの モデルよりも統合モデルの判定結果に基づいてラベ ルを決めた方が全体的には正解率が高い。このこと は，自動拡張データの品質が向上すれば，訓練デー 夕の増加が有効である可能性を示唆する．今回の実験では，個々の分類器で追加する事例数を同じにす るために，判定の信頼度の上位 3000 件のデー夕を 追加したが，ある閾値以上の信頼度の事例のみ追加 するなど，自動拡張するデー夕の性別ラベルの誤り を減らす工夫が必要である。

## 5 おわりに

本論文では，Twitter ユーザの性別を予測するため の新しい手法を提案した。評価実験では，統合モデ ルの有効性は確認できたが，自動ラベル付けによる 訓練データの拡張は効果がなかつた。今後の課題と して，拡張データの品質を高めるための手法を考案 することが挙げられる。

## 参考文献

[1] Shigeyuki Sakaki, Yasuhide Miura, Xiaojun Ma, Keigo Hattori, and Tomoko Ohkuma. Twitter user gender inference using combined analysis of text and image processing. In Proceedings of the 25th International Conference on Computational Linguistics, pp. 54-61, 2014.

[2] Zijian Wang, Scott A. Hale, David Adelani, Przemyslaw A. Grabowics, Timo Hartmann, Fabian Flöck, and Dacid Jurgens. Demographic inference and representative population estimates from multilingual social media data. In Proceedings of the World Wide Web Conference, pp. 2056-2067, 2019.

[3] Yaguang Liu, Lisa Singh, and Zeina Mneimneh. A comparative analysis of classic and deep learning models for inferring gender and age of Twitter users. In Proceedings of the 2nd International Conference on Deep Learning Theory and Applications, pp. 48-58, 2021.

[4] Antonio A. Morgan-Lopez, Annice E. Kim, Robert F. Chew, and Paul Ruddle. Predicting age groups of Twitter users based on language and metadata features. PLOS ONE, Vol. 12, No. 8, p. e0183537, 2017.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[6] Dosovitskiy Alexey, Beyer Lucas, Kolesnikov Alexander, Weissenborn Dirk, Zhai Xiaohua, Unterthiner Thomas, Dehghani Mostafa, Minderer Matthias, Heigold Georg, Gelly Sylvain, Uszkoreit Jakob, and Houlsby Neil. An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations, 2021.

[7] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, pp. 8748-8763, 2021.

[8] Googletrans, (2023-1 閲 覧). https://pypi.org/ project/googletrans/.

[9] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. LightGBM: A highly efficient gradient boosting decision tree. Advances in Neural Information Processing Systems, Vol. 30, , 2017.

[10] Twitter 日本フォロワー数 総合ランキング, (2022-1 閲覧). https://meyou.jp/ranking/follower_allcat.

[11] Face++, (2023-1 閲覧). https://www. faceplusplus. $\mathrm{com} /$.
 廣田遼 白井清昭 北陸先端科学技術大学院大学 先端科学技術専攻科 s2110142@jaist.ac.jp  