# 絵文字の共起関係を用いた距離学習

町田秀輔守屋俊柴田千尋
東京工科大学 バイオ・情報メディア研究科
\{c011624552, c0115334ef, shibatachh\}@edu.teu.ac.jp

## 1 はじめに

スマートフォンや PC の発達により，インター ネットや電子メールを通じたテキストベースの伝達方法が盛んに行われるようになっている. 商品レ ビューやチャットツール，ソーシャルネットワーキ ングサービスなど人の意見や考えなど気軽に発言で きる場が増え, それらを利用した解析技術の需要も 増している．自然言語処理の感情分析は，テキスト から人間の感情を推定することを目的とし，前述し たサービスの分析に非常に重要な技術の一つであ る.しかし，人間的な感情を正確に捉えることは難 しく, 感情の定量的な推定を行うことができる手法 は未だに発展途上である．既存の感情分析タスクと しては，文または文章から，「ポジティブ，ネガティ ブ，ニュートラル」のような 3 つの極性感情を推定 したり, SemEval [1]の「Joy, Sadness, fear, anger」 のような細分化した感情を推定するものが存在す る。一方で, 心理学分野では, プルチックら [2] に よって提案されている感情の輪と呼ばれるものがあ り, 8 つの基本感情「喜び, 信頼, 恐れ, 驚き, 悲し み，嫌悪，怒り，期待」があり，さらにこれら 2 つ を組み合わせた感情を人間特有の高度な感情と定義 される。 心理学的な知見である感情の輪では, 人間特有の感情は基本感情を組み合わせたものとしてい るが，自然言語処理の感情分析タスクでは，これら の高度な感情についての言及はしておらず，まだ基本感情の分析しか行われていない. そこで本研究で は複雑な感情表現を得るための足掛かりとして, 絵文字を利用した距離学習を提案する．絵文字を使う 利点として, 絵文字には, 感情を表す表現の種類が 豊富であることがあげられる．絵文字の持つ豊富な 感情の含意を利用して，絵文字間の共起関係を距離学習の仮ラベルとして用い，対応する文を距離空間 へ埋め込むことで，従来のラベルを予測するモデル よりも，定量的表現が獲得できる。絵文字は, 同一文章内で複数種類使われることが多いため，この共起関係を用いることで，文章の感情の視点から見た ときの類似性を表しているものとして捉えることが 可能となる.

## 2 関連研究

## 2.1 距離学習

距離学習は, データ間の距離や類似度などから データの埋め込み表現を学習をする手法の一つであ る. Hadsell ら [3] による Contrastive loss では，一般的に，入力データを一度に二つサンプリングし，サ ンプル同士が類似しているなら距離を近づけ，そう でないなら遠ざけるように学習することで，任意距離で測れる空間へ埋め込むことが可能となってい る.また，Wang ら [4] は，入力データを一度に三サ ンプル $(a, b, c)$ 用意し, サンプル $a$ の埋め込みベクト ルと, $a$ と類似するサンプル $b$ との埋め込みべクト ルとの距離を近づけ, 同時に,$a$ と類似していない サンプル $c$ の埋め込みベクトルとの距離を遠ざける ように学習する手法 (トリプレットロス)を提案して いる.

## 2.2 BERT

BERT [5] は事前学習を行うモデルの一種で，多く 自然言語処理のタスクで高い性能が報告されている 汎用性の高いモデルである．入力データはサブワー ドによるトークン化を行い，先頭と文末に特殊トー クンである CLS と SEP を挿入する。事前学習では 入力トークンをマスクし，マスク箇所を周囲の情報 から予測する Masked Language Model と，2つの文章 を入力して繋がりのある文章か，そうでないかの 2 值分類を行う Next Sentence Prediction を行わせてい る.この 2 つのタスクを解くことで，トークン間の 関係と文間の関係を教師なしで学習することができ る. 事前学習を行わせた BERT では，特定のタスク には特化していないが，文章の表現を獲得すること

に優れたモデルとなっており, 事前学習済みモデル に対して，特定のタスクに特化したデータセットを 用いて fine tune を行うことで, 対象のタスクに対し て適応した高い精度を持ったモデルとなる。

## 3 提案手法

## 3.1 絵文字を元にした距離学習

本研究の朹組みで行う距離学習では, 文章を BERT へ入力し, 得られた埋め込み表現からトリプ レットロスで学習を行う，提案手法では，トリプ レットロスで学習する際のデータのサンプリングに 絵文字の共起関係を用いる.

$
\begin{aligned}
\operatorname{TripletLoss}(a, p, n)= & \max \{d(a, p)-d(a, p) \\
& + \text { margin, } 0\}
\end{aligned}
$

式 1 は, 本研究で用いるロス関数であり, $a$ は特定 の絵文字が付いた文の埋め込みべクトル, $p$ は, $a$ と同一の絵文字または共起関係にある絵文字が付い た別の文の埋め込みべクトル,$n$ は, $a$ と異なりか つ共起関係にない絵文字の付いた文の埋め込みべク トルである.また, margin の値は 1 とする.

全体の流れとしては, 図 1 に示すように，まず， データを一つ選び，そのデータに付与されていた絵文字と共起しやすい絵文字, または同一の絵文字の ついた文章をポジティブなサンプルとし，それ以外 の文章をネガティブなサンプルとして取る。その 後, 得られた三つのサンプルをそれぞれ BERT の Encoderへ入力する．BERTの出力のうち, CLSトー クンに対応する位置の出力ベクトルを文ベクトル して, トリプレットロスで誤差を計算し，モデルを 更新する. 提案手法では, 絵文字の共起関係を通し て, 文の持つ感情を捉えた文間の距離関係が, 学習 の結果, ベクトル空間中に埋め込まれることを期待 する.

図 1 提案手法の概要図

## 3.2 絵文字の共起関係の抽出および共起頻度に基づくサンプリング

絵文字自体は視覚的な訴求力を伴った記号であ り，どのような感情を意味するかが事前に与えられ
ているわけではない. また, 本研究で用いた絵文字 の総数はであり, それらがすべて独立した感情を 表しているわけではない。一方で，実際に文章内に 用いられる際には, 視覚的・意味的に似ている絵文字が同一文章内で複数種類使われることが多い. そ こで, 共起している絵文字を使用している文章同士 は感情の意味で類似していると仮定し, この共起関係から似た文表現が埋め込む先の空間でまとまり やすくなることを期待する．さらに，前述の三つの サンプルを得る際のサンプリング確率に, 共起頻度，または，自己相互情報量 (PMI; Point-wise Mutual Information)を用いる.

$
\operatorname{PMI}(x, y)=\log \frac{p(x, y)}{p(x) p(y)}
$

共起頻度を用いたサンプリングでは, 頻度の閾値 を 1000 回として，間值以上のものを共起関係にあ るものとした。そして，各頻度を足して 1 になるよ う正規化することで確率とみなし，サンプリングを 行う. PMIを用いたサンプリングでは, PMI が間值 0 を超えるサンプル同士を共起している，閾値を上回らないものを共起していないとする．PMI は頻度 とは異なるため, サンプリング時の確率にするため に Softmax 関数を通すことで確率とみなしてサンプ リングを行う。これにより, 単に共起したかどうか の二值ではなく, どの程度共起しやすいかが, 距離空間上でどの程度文同士がまとまりやすいかに影響 を与えるようにすることができる.

## 4 データセット

## 4.1 訓練データ

提案手法のデータセットは 2012 年から 2016 年の Twitter から収集した文章内に絵文字が含まれている もの, 約 1600 万件を用いる. サンプリングに用い る共起頻度と PMI はこの 1600 万件の発言から計算 する.しかし, 距離学習に用いるデータセットは絵文字の出現頻度, 上位 100 個の絵文字が含まれた文章を用いる. これは低頻度な絵文字については, 共起関係を得ることが難しい. 提案手法の学習に悪影響を与えてしまう可能性があるためである.

## 4.2 評価デー夕

評価用のデータセットには，3つのデータセット を使用する. Twitterを基に作成された SemEval2013-

2016 年の Sentiment Analysis in Tweet のデータセット と SemEval2018 年の Affect in Tweets を用いる. さら に，もう 1 つは映画のレビューサイトを基に作成 された SST-2(Stanford Sentiment Treebank)を用いる. データセットの詳細については表 1 に示す. SST-2 のデータセットには, ポジティブ, ネガティブの 感情ラベルがあり, SemEval2013-2016 年にはさら にニュートラルの感情ラベルが付与されている. SemEval2018 年はより詳しい感情ラベルと感情の強度が 0-1 の範囲の連続值でラベル付けされている。感情ラベルには喜び, 恐れ, 怒り, 悲しみの 4 つの 感情ラベルがついており, 感情強度には, アンケー トから BWS(Best Worst Scaling)を用いて各ツイート に連続值がラベル付けされている.

## 5 実験

データセットの文章を BERTへ入力し, 得られた 文ベクトルを使った実験を行う，得られた文べクト ルが感情分類データセットへどの程度効果的か, 文 ベクトルが感情表現に基づいて埋め込まれているか を次元圧縮によって可視化したマップから定性的に 評価する。また, SemEval2018 の感情強度を用いた 実験では, 文ベクトルが, 強度ごとに分布している かを, 強度とべクトル間の距離に基づき実験する。

## 5.1 感情分類データセットでの評価

提案手法が実際に感情分類データセットへ効果的 かを調べるため, まず，3つのデータセットを用い た評価実験を行う．モデルの評価には BERT で得ら れた文ベクトルを入力とした線形 SVM の正解率で 示す. 距離空間への埋め込みを学習しているため,通常の文表現よりも分類しやすいということを定量的に測るため線形モデルで文ベクトルの評価を 行う. 評価データは<文ベクトル，ラベル>の対を感情分類データセットごとに用意する。訓練データと テストデータの総数については表 1 の通りに行う. ベースラインである事前学習済み BERT と提案手法 3 つのモデル評価を行い，実験の結果を 2 に示す.表 2 線形 SVM による比較

ベースラインは, 事前学習済み BERT の文ベク トルを使った実験である。(a), (b), (c) は提案手法 であり (a) は全ての絵文字付き文章が距離空間で独立する様に学習させるものである. (b) は絵文字間 の共起頻度に基づいてポジティブサンプリングを 行ったもので, (c) は絵文字間の PMIに基づいてポ ジティブサンプリングを行うものである. ベースラ インと提案手法では, 提案手法がどのデータセット でも線形 SVM の正解率が高いことを示している.特に, SemEval2018では, より細分化した感情ラべ ルがついたデータセットではあるが，提案手法では ベースラインと比べると約 $12 \%$ ほど，正解率が向上していることがわかる．他のデータセットと比べ ると, 感情ラベルが多いことから分類が難しいデー タセットではあるが，正解率が向上していることか ら，より細かい感情を捉える様な学習ができている ことがわかる. また, 提案手法である (b), (c) は, (a)よりも優れている。共起関係を用いたサンプリ ングが効果的であったことが結果からわかる.

## 5.2 文ベクトルの可視化

BERT によって得られた文べクトルの可視化を行 う. 可視化には, 次元圧縮手法である t-SNEによっ て 2 次元へ埋め込んだデータ点から, ベースライン と提案手法の比較を行う．可視化を行うデータセッ トは SST-2 のテストデータとする. まずベースライ ン手法の文ベクトルを可視化したものを図 2 で示 す. 図 2 では, ベースラインの文ベクトルが, 感情 ラベルごとに分かれることはなく交わった状態で可視化されている. ベースラインのモデルでは, 感情 ラベルにまつわる情報を上手く獲得できていないと いうことが結果からわかる. 次に, 図 3 では, 提案手法の文ベクトルを可視化したものになる. 図 2 と 比べるとラベル間の交わりが少ないことがわかる.可視化の結果から, 文ベクトルは一定の感情的な情報に作用した埋め込みが行われていることを示唆し ているといえる.

図 2 ベースライン

図 3 提案手法

## 5.3 感情強度と文ベクトル間距離

SemEval2018には感情強度についてのラベルがあ る. そこで，この強度とラベル間の距離についての 分析を行う。まず，感情強度は $0-1$ の範囲であるた め, 0.1 間隔で 10 個のラベルヘ再ラベリングを行 う．新たにつけた感情強度のラベルと文ベクトル間 の距離についての相関関係を図 4 に示す.

図 4 感情ラベル"悲しみ"の強度と距離についての図

図 4 では，提案手法を用いた，感情ラベル"悲し み"の感情強度と文ベクトル間の距離についての相関関係を示す.この図では相関係数が 0.987 となり 強度と距離の相関関係には強い正の相関があること がわかった。ベースラインのベクトル表現を用いた場合だと相関係数が 0.836 と，提案手法よりも低い。 そのため，提案手法が感情の強度を表す様な学習が 行われているということがわかる。さらに，全ての 感情ラベルとデータセット全体の強度についても 分析を行った。その結果を表 3 に示す. 感情ラベル の"楽しい"を除いた 3 つの感情ラベルとデータセッ 卜全体での結果から，提案手法では感情の強度とべ クトル間の距離についてうまく表現できていること がわかる.

表 3 感情ラベルの強度と距離の相関係数

## 相関係数

## 6 おわりに

本研究では，絵文字を利用したデータサンプリン グを行う距離学習を提案した。絵文字のついた文章 が複雑な感情を表しているとして，絵文字に基づい た距離学習を行い，より分類しやすい空間へ文べク トルを埋め込む学習を行った。その結果，線形 SVM の正解率はデータセットによらず向上していること が確認でき，感情の強度についても，強度ごとに文 ベクトルを埋め込むことができていることを確認で きた。提案手法では，新たなデータセットで再学習 することなく一定の感情分類の精度が得られ, 感情 の強度についても，文ベクトルを強度ごとに埋め込 むことが確認された。今後は，さらに複雑な感情ラ ベルに対しての分析や他の言語への適応などが期待 される.

## 参考文献

[1]Saif Mohammad, Felipe Bravo-Marquez, Mohammad Salameh, and Svetlana Kiritchenko. SemEval-2018 task 1: Affect in tweets. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 1-17, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2]ROBERT PLUTCHIK. Chapter 1 - a general psychoevolutionary theory of emotion. In Robert Plutchik and Henry Kellerman, editors, Theories of Emotion, pp. 3 - 33. Academic Press, 1980.

[3]R. Hadsell, S. Chopra, and Y. LeCun. Dimensionality reduction by learning an invariant mapping. In 2006 IEEE Computer So-
ciety Conference on Computer Vision and Pattern Recognition (CVPR'06), Vol. 2, pp. 1735-1742, June 2006.

[4]Jiang Wang, Yang Song, Thomas Leung, Chuck Rosenberg, Jingbin Wang, James Philbin, Bo Chen, and Ying Wu. Learning fine-grained image similarity with deep ranking. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014.

[5]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.
 町田秀輔守屋俊柴田千尋 東京工科大学 バイオ・情報メディア研究科 \{c011624552, c0115334ef, shibatachh\}@edu.teu.ac.jp  