# 主観と客観の感情極性分類のための日本語データセット

宮内 裕人 1 鈴木 陽也 ${ }^{1}$ 秋山 和輝 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 二宮 崇 ${ }^{1}$
武村 紀子 ${ }^{2}$ 中島悠太 ${ }^{2}$ 長原一 2
1 愛媛大学 2 大阪大学
\{miyauchi,suzuki,k_akiyama\}@ai.cs.ehime-u.ac.jp
\{kajiwara,ninomiya\}@cs.ehime-u.acjp
\{takemura,n-yuta, nagahara\}@ids.osaka-u.ac.jp

## 概要

本研究では、Plutchik の基本 8 感情の強度および 感情極性を注釈付けした日本語の感情分析のための データセットを構築し、公開した。60 人のアノテー タから収集した合計 35,000 件の SNS 上の投稿につ いて、書き手自身の主観的な感情と読み手による客観的な感情の両方をラベル付けした。本稿では、喜 びや悲しみなどの基本感情とポジティブまたはネガ ティブの感情極性の間の関係を明らかにし、感情極性分類のベンチマークの結果を報告する。

## 1 はじめに

感情分析は、対話システム [1] やソーシャルメ ディアマイニング [2] など多くの応用を持つ主要 な自然言語処理タスクのひとつである。感情分析 の先行研究では、テキストからの感情極性の推定 （Sentiment Analysis）および基本感情の分類（Emotion Detection）の2つのサブタスクが扱われてきた。前者はポジティブまたはネガティブの感情極性を対象 とするものであり、後者は喜びや悲しみなどの 4 種類から 8 種類ほどの基本感情 $[3,4]$ を対象とする。

表 2 に示すように、感情分析の先行研究は、感情極性（Sentiment）を扱うか基本感情（Emotion）を扱 うか、また、テキストの書き手の感情（主観感情） を扱うかテキストの読み手の感情（客観感情）を扱 うかという点で、多様な研究が行われてきた。しか し、これらを包括的に扱った先行研究は存在しない ため、感情極性と基本感情の間の関係や、書き手の 感情と読み手の感情の間の関係は明らかではない。

本研究では、日本語のSNS テキストに対して主観 と客観の両方の立場から基本感情の強度を付与した WRIME [5] を拡張し、表 1 のように同じテキストに 対して主観と客観の両方の立場から感情極性のラべ表 1 本研究で構築したデータセットの例

傘盗まれたんだけど！！

悲

 &  &  &  &  &  &  & &  \\

ルを追加した。本研究で構築した日本語の感情分析

## 2 感情分析データセットの構築

## 2.1 主観的アノテーション

クラウドソーシングのランサーズ2)を用いて、60 人の主観注釈者を雇用した。注釈者の性別の内訳 は、男性が 21 人、女性が 39 人である。また、年齢 の内訳は、 20 代が 28 人、 30 代が 22 人、 40 歳以上が 10 人である。主観注釈者は、SNS 上での自身の過去 の投稿に対して、Plutchik の 8 感情 [3] の強度をそれ ぞれ 4 段階（無・弱・中・強）で付与するとともに、感情極性を 5 段階（強いポジティブ・ポジティブ・ ニュートラル・ネガティブ・強いネガティブ）で付与した。ただし、テキストからの感情分析という目的のために、画像付きの投稿や URL 付きの投稿は 対象外とした。各注釈者は 100 件から 1,000 件まで の投稿にラベルを付与しており、合計で 35,000 件の 投稿を収集した。全ての主観注釈者は、自身が提供 する全ての投稿に対して、感情強度と感情極性の両方のラベルを付与した。投稿時期については特に制

表 2 感情分析データセットの一覧

表 3 Quadratic Weighted Kappaによる注釈者間のアノテーションの一致率

限を設けなかったが、結果として 2010 年 8 月から 2020 年 11 月までの 10 年間の範囲の投稿が集まっ た。なお、投稿 1 件あたり 10 円の報酬を支払った。

収集した感情極性ラベルの品質を評価するため に、注釈者ごとに 30 件の投稿を無作為抽出した。評価者（大学生 1 人）は、投稿内容と感情極性ラべ ルを見て、以下の基準で各投稿を 4 段階評価した。

・3: 付与されたラベルに完全に同意できる

・2 : 付与されたラベルに概ね同意できる

・1: 付与されたラベルに同意しにくい

・0：付与されたラベルに全く同意できない

評価結果を注釈者ごとに平均すると、最低 1.9 点、最高 2.8 点で平均 2.4 点であった。なお、 0 点の投稿 は存在しなかった。平均 2 点を下回る注釈者は 4 人 いたが、著しく低品質な注釈者は見られなかった。

## 2.2 客観的アノテーション

同じくランサーズを用いて、3人の客観注釈者を 雇用した。注釈者の内訳は、 30 代の女性が 2 人と 40 代の女性が 1 人である。客観注釈者は、2.1 節で収集した 35,000 件の全投稿に対して、主観注釈者と同様に感情強度と感情極性の両方をラベル付けした。
ただし、主観注釈者がテキストの書き手である自身 の感情を付与した一方で、客観注釈者は読み手であ る自身がテキストから想像する書き手の感情を付与 した。なお、投稿 1 件あたり 3 円の報酬を支払った。収集したラベルの品質を評価するために、 Quadratic Weighted Kappa ${ }^{3)}$ [12]を用いて注釈者間の 一致率を計算した。表 3 の上段に、客観注釈者の アノテーションの一致率を示す。怒りの感情は $\kappa>0.6$ の substantial agreement、信頼の感情は $\kappa<0.4$ の fair agreement であるが、 8 感情の全体としては $0.5<\kappa<0.6$ の moderate agreement を確認できた。感情極性についても、 moderate から substantial な一致を確認できた。

## 3 データセットの分析

表 3 の下段に、主観注釈者と客観注釈者の間のア ノテーションの一致率を示す。先行研究 [5] と同様 に、 8 感情において、主観注釈者と客観注釈者の間 の感情強度の一致率は客観注釈者間の一致率よりも 全体的に低い。本研究で新たに付与した感情極性に

表 4 注釈者ごとの感情極性ラベルの分布

表 5 主観と客観の感情極性ラベルの混同行列（\%）

表 6 感情強度と感情極性のピアソン相関係数

おいても、同様の傾向が見られた。以降では、本研究で新たに付与した感情極性について調査する。

## 3.1 主観と客観の感情極性ラベルの分布

表 4 に、注釈者ごとの感情極性ラベルの分布を示 す。主観注釈者の感情極性ラベルは、ニュートラル が最も多く、強いポジティブおよび強いネガティブ の極端なラベルは比較的少ない。 3 人の客観注釈者 にはそれぞれ異なる特徵が見られたが、平均すると 主観注釈者と似た傾向が見られた。ただし、強いポ ジティブおよび強いネガティブの極端なラベルは少 なく、ネガティブのラベルが多い。

表 5 に、主観注釈者の感情極性ラベルと客観注釈者の感情極性ラベルの平均値の混同行列を示す。主観注釈者が強いポジティブと回答した投稿におい て、客観注釈者はその $70.5 \%$ をポジティブと回答し た。また、主観注釈者が強いネガティブと回答した 投稿において、客観注釈者はその $80.2 \%$ をネガティ ブと回答した。なお、主観注釈者と客観注釈者の感情極性の正負が異なる割合は $3.9 \%$ から $8.8 \%$ と充分 に少ない。以上から、客観注釈者は主観注釈者の感情極性の正負を適切に推定できるが、感情極性の強度は弱めに見積もる傾向があることがわかった。

## 3.2 感情強度と感情極性の関係

表 6 に、感情強度と感情極性のピアソン相関を示 す。この表から、各感情がポジティブな感情なのか ネガティブな感情なのかがわかる。この分析から、 Plutchik の 8 感情のうち、喜び・期待・信頼の 3 つは ポジティブな感情、悲しみ・怒り・恐れ・嫌悪の 4 つはネガティブな感情であると言える。表 7 主観と客観の感情極性の一致率

また、複数の感情が共起する投稿においては、主観注釈者による感情極性のラベルと客観注釈者に よる感情極性のラベルの一致率が高まることがわ かった。本分析では、主観の感情強度に従ってデー タセットを以下のように 3 分割した。

・無感情 : 全ての感情強度が無または弱

・単一感情： 1 つの感情強度のみが中または強

・複数感情 : 2 つ以上の感情強度が中または強

表 7 に、感情の共起と主観客観の感情極性の一致率 の関係を示す。無感情の投稿よりも単一感情の投稿 の方が主観の感情極性と客観の感情極性の一致率が 高く、単一感情の投稿よりも複数感情が共起する投稿の方がさらに高い一致率を持つことがわかる。

## 4 感情極性分類の実験

2 節のデータセットを用いて、感情極性 $(-2 \cdot-1 \cdot$ $0 ・ 1 ・ 2 ） を$ 推定する 5 値分類の評価実験を行う。

## 4.1 実験設定

データセットは、 40 人 30,000 件の訓練用データ、 10 人 2,500 件の検証用データ、 10 人 2,500 件の評価用データに重複なく分割して実験する。感情極性分析モデルの性能は、正解率 (Accuracy)、平均絶対誤差 (MAE)、Quadratic Weighted Kappa (QWK) の 3 つ の指標によって自動評価する。主観注釈者が付与し
表 8 感情極性分類の実験結果

た感情極性ラベル（主観データ）を用いる評価と、 3 人の客観注釈者が付与した感情極性ラベルの平均值（客観データ）を用いる評価の両方を実施する。本実験では、以下の 3 種類の分類器を用いる。

$\cdot$BoW+LogReg：Bag-of-Words による素性抽出と ロジスティック回帰による分類を行う。単語分割には MeCab（IPADIC-2.7.0)4) [13]を用いる。
- BERT (Wikipedia) ${ }^{5}$ ：Wikipedia を用いて事前訓練された日本語 BERTを感情極性分類タスクの ために再訓練し、 $\boldsymbol{y}=\operatorname{softmax}(\boldsymbol{h} \boldsymbol{W})$ として感情極性を推定する。ただし、 $\boldsymbol{h}$ は BERT の [CLS] トークンから得られる素性べクトルである。
- BERT (SNS) ${ }^{6}$ ：SNS テキスト上で事前訓練され た日本語 BERTを本タスク用に再訓練する。

BoW+LogReg の実装には、scikit-learn ${ }^{7)}$ [14]を使用 する。ハイパーパラメータCは、 $\{0.01,0.1,1,10,100\}$ の中から検証用データにおける最適値を選択する。 BERT の実装には、Transformers ${ }^{8}$ [15] を使用する。 バッチサイズは $32 、$ ドロップアウト率は 0.1 、学習率は 2e-5、最適化は Adam [16] として、3 エポック の early-stopping を適用する。

## 4.2 実験結果

実験結果を表 8 に示す。BoW+LogReg よりも BERT の性能が高く、訓練データと評価データのド メインが一致する BERT (SNS) が最高性能を達成し た。また、客観データにおける評価よりも主観デー タにおける評価の方が全体的に性能が低く、主観的 な感情極性の推定がより難しいことがわかる。

表 8 の上段では、主観データを用いて訓練したモ


デルで主観データにおける評価を実施し、客観デー タを用いて訓練したモデルで客観データにおける 評価を実施した。下段には、主観データを用いて訓練した主観 BERT (SNS) による客観データにおける 評価および客観データを用いて訓練した客観 BERT (SNS) による主観データにおける評価の結果を示 す。この結果から、評価対象に関わらず、客観デー タを用いて訓練したモデルの性能が一貫して高いこ とがわかる。先述のように、書き手の感情極性（主観データ）の推定は難しいため、単純な訓練では十分な性能が得られなかったものと考えられる。

## 5 おわりに

本研究では、日本語の感情分析のためのデータ セット ${ }^{1}$ ） [5] を拡張し、約 2 倍の規模（35,000 件）へ の拡大と感情極性ラベルのアノテーションを行っ た。基本 8 感情と感情極性の両方を付与した感情分析コーパスは日本語としては初であり、これらの感情ラベルをテキストの書き手による主観的な立場と 読み手による客観的な立場の両方からアノテーショ ンしたのは英語など他の言語を含めても初の取り組 みである。本コーパスを用いることで、テキストと 感情に関する包括的な分析が可能になった。

調査の結果、喜び・期待・信頼の 3 感情はポジ ティブな感情、悲しみ・怒り・恐れ・嫌悪の 4 感情 はネガティブな感情であることが明らかになった。 また、複数の感情が共起するテキストは、単一の感情のみが含まれるテキストよりも、読み手にとって 書き手の感情を読み取りやすいこともわかった。感情極性分類の実験結果からは、書き手による主観的な感情極性の推定が、読み手による客観的な感情極性の推定よりも難しいことがわかった。今後の 課題として、基本感情の強度推定とのマルチタスク 学習や、投稿履歴などを考慮した個人特化によっ て、主観的な感情極性分類の性能を改善したい。

## 謝辞

本研究は、文部科学省による Society 5.0 実現化研

究拠点支援事業（JPMXP0518071489）の助成を受け たものです。

## 参考文献

[1] Ryoko Tokuhisa, Kentaro Inui, and Yuji Matsumoto. Emotion Classification Using Massive Examples Extracted from the Web. In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 881-888, 2008.

[2] Stefan Stieglitz and Linh Dang-Xuan. Emotions and Information Diffusion in Social Media - Sentiment of Microblogs and Sharing Behavior. Journal of Management Information Systems, Vol. 29, No. 4, pp. 217-248, 2013.

[3] Robert Plutchik. A General Psychoevolutionary Theory of Emotion. Theories of Emotion, Vol. 1, pp. 3-31, 1980.

[4] Paul Ekman. An Argument for Basic Emotions. Cognition and Emotion, Vol. 6, No. 3-4, pp. 169-200, 1992.

[5] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[6] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning Word Vectors for Sentiment Analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 142-150, 2011.

[7] Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, 2013.

[8] Klaus R. Scherer and Harald G. Wallbott. Evidence for Universality and Cultural Variation of Differential Emotion Response Patterning. Journal of Personality and Social Psychology, Vol. 66, No. 2, pp. 310-328, 1994.

[9] Saif Mohammad, Felipe Bravo-Marquez, Mohammad Salameh, and Svetlana Kiritchenko. SemEval-2018 Task 1: Affect in Tweets. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 1-17, 2018.

[10] Carlo Strapparava and Rada Mihalcea. SemEval-2007 Task 14: Affective Text. In Proceedings of the Fourth International Workshop on Semantic Evaluations, pp. 70-74, 2007.

[11] Yu Suzuki. Filtering Method for Twitter Streaming Data Using Human-in-the-Loop Machine Learning. Journal of Information Processing, Vol. 27, pp. 404-410, 2019.

[12] Jacob Cohen. Weighted Kappa: Nominal Scale Agreement Provision for Scaled Disagreement or Partial Credit. Psy- chological Bulletin, Vol. 70, No. 4, pp. 213-220, 1968.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[14] Fabian Pedregosa, Gaël Varoquaux, Alexandre Gramfort, Vincent Michel, Bertrand Thirion, Olivier Grisel, Mathieu Blondel, Peter Prettenhofer, Ron Weiss, Vincent Dubourg, Jake Vanderplas, Alexandre Passos, David Cournapeau, Matthieu Brucher, Matthieu Perrot, and Édouard Duchesnay. Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research, Vol. 12, No. 85, pp. 28252830, 2011.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[16] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations, 2015.
 宮内 裕人 1 鈴木 陽也 ${ }^{1}$ 秋山 和輝 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 二宮 崇 ${ }^{1}$ 武村 紀子 ${ }^{2}$ 中島悠太 ${ }^{2}$ 長原一 2 1 愛媛大学 2 大阪大学 \{miyauchi,suzuki,k_akiyama\}@ai.cs.ehime-u.ac.jp \{kajiwara,ninomiya\}@cs.ehime-u.acjp \{takemura,n-yuta, nagahara\}@ids.osaka-u.ac.jp  