# 発話者の発話意図推定に影響を及ぼす 表情の絵文字の検出

廣瀬将也 ${ }^{1}$ 森辰則 1
1 横浜国立大学大学院環境情報学府
hirose-masaya-km@ynu.jp tmori@ynu.ac.jp

## 概要

絵文字は文字では伝えにくい意味や感情を表現す ることができるため, 感情表現の簡略化やコミュニ ケーションの充実のために広く採用されている。絵文字は近年研究においても注目されており，自然言語処理分野では主に感情分析に利用されている。本論文では, 絵文字を使った感情分析において, 既存手法を利用した感情推定結果に影響を及ぼすと考えら れる皮肉や自嘲の (1) といったレトリカルな用法の 絵文字を検出する方法を提案する。

## 1 序論

SNS を始めとするオンラインコミュニケーション では, 表情や仕草といった非言語情報が制限される ため, 情報の伝達に支障をきたす可能性がある.こう した状況の中で, 非言語的なコミュニケーション機能を有する絵文字が活用されている。

多様な表現ができる絵文字は, 感情推定において も重要な要素となりうる. Hussien ら [1] は, “Joy”, "Sadness", "Anger", "Disgust” の 4 種類の感情を表す ラベル (感情ラベル) を絵文字に割り当て, 文と絵文字の感情は一貫しているという仮定の元, 割り当て た感情ラベルを絵文字を含む文の感情ラベルとみな して学習データに用いることで, 文の感情を推定し ている。また Felbo ら [2] は, 絵文字そのものを文の ラベルとして文から絵文字への予測を行い, 絵文字予測に使ったモデルを転移学習させることで, 絵文字予測タスクから学習した言語表現が感情認識や皮肉検出タスクに有用であることを示した。

しかし,こうした研究の多くは, 絵文字の多様性に ついての考慮が十分ではない. 例えば () という絵文字は喜びの感情を表す文と伴に使われることが多い が，中には表 1 のように皮肉や自嘲の笑顔として利用される場合もある.

絵文字に割り当てた感情ラベルを，それを含む文 のラベルとして利用する場合, 皮肉や自嘲の笑顔の ようにレトリックとして使われる絵文字 (以下「レ トリカル絵文字」と呼ぶ) は発話者の発話意図推定 に影響を及ぼす可能性があり，こうした絵文字を認識して区別することは重要だと考えられる。本研究 ではこのような発話者の発話意図推定に影響を及ぼ す絵文字を自動的に検出するシステムを提案する。

## 2 関連研究

近年, 絵文字を利用した感情分析手法が注目され ているが，絵文字の多様性について考慮した研究は 少ない. Felbo ら [2] は，コーパスの予備知識を必要 としない絵文字予測を使った事前学習と転移学習に よって, 感情推定や皮肉検出で成果をあげている. 事前学習の絵文字予測に関する考察では, 複数の絵文字を使うことで多様な表現を獲得でき，後続のタス クでより良い成果が出ると言及しているが，1 つの 絵文字が持つ多様性については詳しく触れられてい ない. またChen ら [3] は1つの絵文字が正極性にも 負極性にも使われることを考慮し (極性の説明は 3 章を参照)，極性ごとに異なる埋め込みを得ることを 期待して, 絵文字を埋め込む際, 正極性用と負極性用 に 2 つの埋め込みを割り当てている. しかし, 絵文字 に対する 2 つの埋め込みが極性の違いを捉えたもの とは限らず, 評価実験における精度の向上は学習パ ラメータ数の増加によるものの可能性があるため, より詳細な分析が求められる. 本研究の提案手法は,絵文字が持つ多様性をより詳細に分析する際に活用 することが期待できる.

## 3 絵文字の用法に関する分析

本章ではレトリカル絵文字の検出手法を検討す るために, 絵文字の用法に関する分析について説明 する。

## 3.1 ツイートの収集とアノテーション

Twitter のデータを対象として，ツイートにおける 絵文字の用法を分析した. ツイートデータは Twitter API を利用して収集し, 2019 年 9 月から 11 月におけ るツイートのうち (‥: $\cdot$ の のいずれかを含むも のを合計 1000 件取得した. ツイートは複数の文で構成されているものが多く, 1ツイートに複数の絵文字を含む場合もあるため, 収集したツイートから絵文字に対応すると考えられる 1 文（以下ツイート文 とする）を手動で抽出した。

絵文字が感情推定に及ぼす影響を調べるために， それぞれのツイート文について「言語情報のみか ら推定される書き手の感情」および「言語情報と絵文字の組み合わせから推定される書き手の感情」 の 2 通りのラベル付けを行った. このラベル付けは 第一著者によって行われた. ラベルとして付与し た感情は, 中村による感情表現辞典 [4] で利用され ている 10 種類のラベル“喜” ・“好”・“安” . “哀” . “厭” . “怖” . “怒” ・ “恥” . “昂” . “驚”に 3 種類のラ ベル “ $\mathrm{N}($ ニュートラル)” ・ “願” . “他”を加えたもの を利用した。最終的に絵文字 (1)を有する文 228 件, (1.: を有する文 240 件, ‘ を有する文 132 件について,各々に前述の 2 通りのラベルを付与したコーパスを 作成した. ラベル付けの例を表 2 に示す.

## 3.2 分析結果

付与した感情ラベルの割合を絵文字ごとにまとめ た結果を表 3, 4 に示す.

$51.5 \%$ が怒の感情を表す文と伴に使われていること が分かり，それぞれの絵文字が現れる文の感情ラべ ルには偏りがあることがわかる。

次に, 付与した感情を正極性・負極性の 2 つの極表 3 言語情報のみから推定される 書き手の感情と絵文字の関係 (割合)

表 4 言語情報と絵文字の組み合わせから推定される 書き手の感情と絵文字の関係 (割合)

性に分割し，言語情報のみから推定される書き手の 感情極性と絵文字の関係を調査した。付与した感情のうち, “喜” . “好”. “安”を正極性, “哀”・恥”・ “厭” ・怖” ・“怒” ・ “昂”を負極性とし, 極性の定義で きない“N” . “願” . “驚” . “他” は対象から除いた。

このとき, 各極性の割合を (正極性, 負極性) とす ると, (ㄹ) $(82.5 \%, 6.6 \%)$, は $(13.8 \%, 76.3 \%)$, : (3.8, $87.1 \%)$ となり, 絵文字が使われる文の極性で考 えると,偏りがより顕著に現れることが分かる.

ここで, ある絵文字が付与された文について, 言語表現のみから推定された書き手の感情が正極性であ るか負極性であるかを集計した結果, 大多数を占め る感情極性 (正極性もしくは負極性) をその絵文字が 付与された文集合のマジョリティ極性とし，マイノ リティの感情極性を文集合のマイノリティ極性とす る. 以下では単にそれぞれ「絵文字のマジョリティ 極性 (マイノリティ極性)」と呼ぶ.

(ㄷ)の各極性の割合より, (ㄷ)のマジョリティ極性は 正極性，(ㅇ)のマイノリティ極性は負極性となるが，表 3 と表 4 を比較すると, 絵文字が付与される前に 感情ラベルが “N” だった文に (1)を付与した場合は そのラベルが “喜”に変化しているのに対して, () の マイノリティ極性である負極性に (1) が付与されて も極性が変化していないことが分かる．負極性に (1) が付与される事例についてさらに分析を行ったとこ ろ, 負極性で利用される ①) は皮肉や自嘲のニュアン スを持つことが分かった。

## 3.3 レトリカル絵文字検出のための仮説

上記の結果より, 皮肉や自嘲のニュアンスを持つ (10) は, 怒りや悲しみといった負極性を持つ文と伴に 使われていることが分かった. そのため, 言語情報か ら怒り・悲しみといった負極性を予測できれば，皮肉・自嘲の()が検出できると考えられる。

また，は怒り：は悲しみを感情ラベルとして
持つ文とともに使われることが多く, 文と絵文字の 感情ラベルが逆の極性を持つようなレトリカルな絵文字の利用があったとしても少数である。絵文字を 感情ラベルの代替物とした場合,一般的な機械学習 ではマジョリティの事例に偏る判断をする傾向にあ るため, 絵文字が利用される文の感情に偏りがあれ ば, 言語情報から絵文字を予測する分類器は, 文に感情ラベルを付与する分類器と同等なものとして有効 に機能することが期待できる.

以上のことから,次のような仮説が導かれる。

(1) が付与されている文について, 絵文字分類器 が もひしは をを予測した場合, 文の感情ラ ベルは怒りや悲しみと対応している可能性が高 く, 文に付与されている絵文字 ⑩ は皮肉や自嘲 を表すレトリカルな用法である可能性が高い.

本論文ではこの仮説を元にレトリカル絵文字を検出する.

## 4 レトリカル絵文字の検出手法

本章では, 3.3 節で述べた仮説を元に, 絵文字分類器を利用したレトリカル絵文字の検出手法を説明す る.なお, 本論文では )がレトリカルな用法で使わ れているものを検出対象として扱う。

まず, 5.1.1 項で説明する前処理によって, 絵文字を 含む文を「絵文字を除いた文」と「文のラベルとな る絵文字 (1つ)」に分割する. 提案モデルはこの 2 つ を入力として, 入力した絵文字がレトリカル絵文字 であるかどうかを判定し, その結果を出力する.

レトリカル絵文字の判定に利用する絵文字分類器 は, 入力文に対する適切な絵文字を 2 つの絵文字か ら選択し, 選択した絵文字とその予測確率を出力す る二値分類器で作成する. 二値分類としたのは, 絵文字予測タスクでは多值分類よりも二值分類の方が予測性能が高いという先行研究に基づいている [5].

絵文字分類器の出力候補となる 2 つの絵文字の組

各組み合わせごとに分類器の学習を行う. ().(2)の 組み合わせは, マジョリティ極性が類似した絵文字 の組み合わせではレトリカルな絵文字を検出しづら くなるという予想を検証するために利用する。

次に, 学習済みの絵文字分類器に対して, 学習に利用していない ()を含む文から絵文字を除いた文を 入力する. このとき, 入力文のラベルとして (ㄹ を保持しておく. 絵文字分類器が (1) 以外の絵文字を出力 した場合, 入力文のラベルとした をレトリカルな
（）とみなす.この出力 (ㅇを陽性としたときの偽陰性) は分類器の間違いそのものである場合も考えら れるが, 提案モデルではこれをレトリカル絵文字と みなす。このとき, 偽陰性である絵文字の予測確率 を，入力文が () のマイノリティ極性をもつ文である 確率と同等のものであると期待し，これを「レトリ カル絵文字である確率」とする．以上の操作を経て，提案モデルは, 入力した絵文字がレトリカル絵文字 であるかどうかの判定結果とその確率を出力する。

## 5 評価実験

本章では, 提案モデルがレトリカル絵文字の検出 に有効かどうかを検証するための実験を行う。

## 5.1 実験設定

## 5.1.1 データセット

本論文で利用する絵文字付きデータは, Search Tweets APIを利用して収集した. 学習・検証用のデー タセットとして, 4 章で示した 4つの絵文字につい てそれぞれの絵文字を含むツイートを 110 万件ずつ 取得した. ツイートは 2021 年 10 月 31 日から遡って 取得したものを利用し, ハッシュタグ・リンク・メ ディアを持つツイート, リプライやリツイートであ るツイートはクエリを利用して除外した。

次に，学習データの大きさによる検出率の変化を 調べるために, 各絵文字ごとに訓練用に 100 万件ず つ・検証用に 10 万件ずつランダムサンプリングし た LARGE サブセット (L) と, 各絵文字ごとに訓練用 に 10 万件ずつ・検証用に 2 万件ずつランダムサン プリングした SMALL サブセット $(\mathrm{S})$ を作成した.こ

絵文字の組み合わせごとに統合することで, 各サブ セットの総数は LARGE サブセットが訓練用に 200 万件・検証用に 20 万件, SMALL サブセットが訓練用に 20 万件・検証用に 4 万件となり, 最終的に 6 種類のサブセットを作成した.

また, 評価用のデータセットとして, 2021 年 11 月 1 日から 2021 年 11 月 30 日における (ㄷ)を含むツ イートを同様の条件で 100 万件取得した. 評価時に データセットの重複を避けるため, ランダムに並び 替えた評価用データセットを 5 万件ずつのサブセッ トに分割し, 分割したサブセットを各モデルごとの 評価に利用する。

最後に, 絵文字がツイート毎に 1 つになるように
収集したツイートに対して次の前処理を行った。ま ずクエリとして利用した絵文字のうち末尾のものを 除いた全ての絵文字を削除する。1つだけ残った絵文字を文のラベルとして保持しておき, 残った絵文字を EMOJI という特殊トークンに置き換える。

## 5.1.2 実装モデル

絵文字分類器は, 埋め込み層, LSTM 層, 全結合層, ソフトマックス層から構成される DNN である.絵文字を除いた文と, 文のラベルとした絵文字を 入力として, 入力した絵文字がレトリカル絵文字 であるかどうかの判定とその確率を出力する．文 は形態素解析器 MeCab[6] と, 単語分かち書き辞書 mecab-ipadic-NEologd[7] を用いて単語分割を行い, 埋 め込み層へと入力する。埋め込み層の次元数は 300 , LSTM の隠れ層の次元数は 128 を利用した.

## 5.1.3 評価方法

5.1.1 項で作成した評価用データに対して，モデル を用いてレトリカル絵文字の判定を行い, 以下の式 でレトリカル絵文字 (9) の検出率を評価する。

$
\text { 検出率 }=\frac{\text { 実際にレトリカル絵文字 ()であった事例数 }}{\text { モデルがレトリカル絵文字 ) と判定した事例数 }}
$

実際にレトリカル絵文字であるかどうかは人手で 判定し, 学習データの異なるモデルごとにそれぞれ 300 件ずつ行った. このとき, () 全体におけるレトリ カル絵文字の割合を調べるため, 評価用のサブセッ トからランダムに 300 件抽出したものについても同様に判定を行った.

また, レトリカル絵文字の検出率とモデルの出力 における「レトリカル絵文字である確率」の関係性を調べるため, 各モデルには評価用サブセット 5 万件を入力し，その出力を確率順に並び替え，上位 (top) と下位 (worst) からそれぞれ 100 件ずつ抽出し たもの, それらを除いたものからランダム (random) に 100 件抽出したものを評価した。

## 5.2 実験結果

6 種類のサブセットを利用して絵文字分類器の学習を行い, 5.1.3 項の方法によって評価を行った. 評価結果を表 5 に示す。

なお, 表 5 における all は, top・worst・random の合計 300 件におけるレトリカル絵文字の割合を表す. また, 評価用のサブセットからランダムに 300 件抽出したものにおけるレトリカル絵文字 (ㅇ) の割合は $3.3 \%$ あった

表 5 レトリカル絵文字の割合

## 5.3 考察

まず，各モデルにおける all の値に注目すると，ラ ンダムに抽出した におけるレトリカル絵文字の 割合 $(3.3 \%)$ と比較して, () $\cdot$ (6) $\cdot$ (1) の組み合 わせではレトリカル絵文字の検出率が大きく上回っ ている.これに対して, () ・(2)の組み合わせでは, 3 章の分析で () が負極性で使われていた割合が $6.6 \%$ だったことも考慮すると,ランダムに（）を取得した 場合と殆ど変わらないといえる。この結果より, 極性 の異なる絵文字の組み合わせを学習に利用すること が重要であると考えられる。

また, どの絵文字の組み合わせも学習用のデータ サイズを大きくすることで，レトリカル絵文字の検出率が向上していることが分かる. これは, 学習用の データサイズを大きくすることで，それぞれの絵文字のマジョリティ極性に対する識別性能が向上し,結果としてマイノリティ極性を持つレトリカル絵文字の検出率が高まっているからだと考えられる。

いて，レトリカル絵文字の確率が top のものと worst のもので大きく差が生じており，提案モデルの予測確率は有効に機能していると考えられる。

## 6 まとめ

本論文では, 絵文字を使った感情分析において, 既存手法の感情推定結果に影響を及ぼすと考えられる 皮肉や自嘲の (1) といったレトリカルな絵文字を検出する方法を提案した. 提案手法では, 極性の異なる 2 種類の絵文字を学習データとして絵文字の二值分類器を作成し, 分類器の出力における偽陰性を用い てレトリカルな絵文字を検出する. 実験の結果, 提案手法がレトリカルな絵文字の検出に有効であること が示された.

## 参考文献

[1] Wegdan A Hussien, Yahya M Tashtoush, Mahmoud AlAyyoub, and Mohammed N Al-Kabi. Are emoticons good enough to train emotion classifiers of arabic tweets? In 2016 7th International Conference on Computer Science and Information Technology (CSIT), pp. 1-6, 2016.

[2] Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan, and Sune Lehmann. Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1615-1625, 2017

[3] Yuxiao Chen, Jianbo Yuan, Quanzeng You, and Jiebo Luo. Twitter sentiment analysis via bi-sense emoji embedding and attention-based lstm. In Proceedings of the 26th ACM international conference on Multimedia, pp. 117-125, 2018.

[4] 中村明. 感情表現辞典. 東京堂出版, 1993 .

[5] Weicheng Ma, Ruibo Liu, Lili Wang, and Soroush Vosoughi. Multi-resolution annotations for emoji prediction. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6684-6694, 2020 .

[6] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[7] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会発表論文集, pp. 875-878, 2017.
 廣瀬将也 ${ }^{1}$ 森辰則 1 1 横浜国立大学大学院環境情報学府 hirose-masaya-km@ynu.jp tmori@ynu.ac.jp  