# 状況別感情極性日本語辞書の作成とその活用

高田 篤志 1 狩野芳伸 ${ }^{2}$ 山崎俊彦 1
1 東京大学大学院 2 静岡大学
a_takada@hal.t.u-tokyo.ac.jp kano@inf.shizuoka.ac.jp
yamasaki@cvm.t.u-tokyo.ac.jp

## 概要

言葉の意味や文脈の多様性に対応できることを目指して、20の異なる状況に対してラベル付けされ た日本語の感情極性辞書 Japanese Situation-dependent Sentiment Polarity Dictionary (SiSP) を作成した。この 辞書は、25,520 の日本語単語からなり、各単語の各状況に対してクラウドワーカーによって 10 件ずつ 極性の投票を行ったものである。このSiSPを用い て、辞書内の各単語の極性、および文脈を考慮した 文中の辞書単語の極性を予測した。いずれの実験で も、状況を考慮しないべースライン辞書に比べて、安定して感情極性の予測を行えることを確認した。

## 1 初めに

顔画像や音声、文章などからそこに込められた人間の感情を理解することは学術的・産業的価値が高 く、これまでも様々な試みがなされてきた。テキス トから感情を解析するためには、一般的に感情極性辞書が用いられる。既存の感情極性辞書の多くは、単語に対してポジティブかネガティブとラベル付 けされているものか、いくつかのクラスカテゴリに 単語を分類しているものが多い。しかし、単語は文脈や状況によって様々な意味を持ち、異なる印象を 与えることがある。例えば「速い」という言葉は、「レーシングカーが速い」という文脈ではポジティ ブな意味となる。一方、友達と歩いていて、その友達の歩くスピードが「速い」という場合ネガティブ な意味となる。現在の感情極性辞書では速いという 単語のみに注目して単一のラベルを付けているた め、このような多様な状況や意味に対応することが できない。またクラスラベルをアノテーションした 感情極性辞書ではカテゴリ内の単語の感情極性の強弱は無視されている。

そこで本研究では、20 種類の状況それぞれに対し て感情極性値ラベルを付与した Situation-dependent
Sentiment Polarity Dictionary (SiSP) を作成した。この SiSP は我々の知る限り状況別に感情極性値をラベリ ングした最初の感情極性辞書である。SiSP は後日 オープンソースで公開する予定である。本論文では SiSP の概要、及び SiSP を用いて行った単語単位で の極性予測と文脈を加味した極性予測の実験結果を 示す。

## 2 関連研究

## 2.1 感情極性辞書

感情極性辞書の多くは、ポジティブかネガティ ブの軸でラベル付けされた単語のリストである。 ポジティブ、ネガティブ問わず感情極性ラベルは 主観的なラベルであるため、人の手でラベルを 付けられることが多い。Linguistic Inquiry and Word Count (LIWC) [1] は 6,000 以上の単語を 125 のカテゴ リに分類した辞書である。Choudhury ら [2] はこの 辞書を用いて、ツイートからうつ病の発症を予測 した。The Affective Norms for English Words (ANEW) lexicon [3] は Valence-Arousal-Dominance (VAD) モデ ルに基づいて Valence, Arousal, Dominance のそれぞ れについて 1 から 9 までのラベルを付けた 1,024 個 の英単語からなる辞書である。

SentiWordNet [4, 5] は WordNet [6] を拡張したもの である。各単語についてポジティブとネガティブ及 びニュートラルについて 0.0 から 1.0 の值でラベル 付けする。ポジティブ、ネガティブ、ニュートラル の各カテゴリのラベルの値の合計が 1 になるように 正規化されている。SentiWordNet の尔点としては多 くの単語がニュートラルに分類されており、明らか にノイズと見なせるラベルが多いことが挙げられ る。本研究で作成した SiSP は 20 種類の状況に対し

ラル (ポジティブでもネガティブでもないがその状況でその単語を使うことはある)、関係ない(その状
況についてその単語を使うことがない)、意味がわ からないの各ラベルが 0 から 1 までの数値で表現さ れている。また一つの単語の一つの状況についてラ ベルの合計值が 1 となるように正規化されている。

## 2.2 固有表現認識

Named Entity Recognition (NER) は文中に含まれる 固有表現を抽出するタスクである。文中の固有表現 （Named Entity）を抽出し、人名、組織名、地名などの 固有名詞と、日付、時間表現、数量、金額などの事前に定義した表現に分類する。NER で頻用される IOB フォーマットでは、固有表現の先頭トークンに は B、非先頭トークンにはIタグを付与し、またど の表現にも属さないトークンには $\mathrm{O}$ と割り振る。例 えば、'Mark Watney visited Mars' という文について、人のタグを'Person', 場所のタグを'Location' とすると Mark は B-Person、Watney は I-Person、visited はどの トークンにも属さないので O、Mars は B-Location と なる。タスクによっては地名を都市、州、国などの 細かい場所として分類するものや人名について政治家や芸能人などのサブカテゴリーを設定するものも ある。代表的なデータセットとして CoNLL2002 と CoNLL2003 [7] が挙げられる。これらのデータセッ トでは、スペイン語、オランダ語、英語、ドイツ語 の新聞記事からなる文に、4 種類のタグ (人物、組織、場所、その他すべての種類の実体）を付与して いる。他にもさまざまな言語のデータセットが公開 されている $[8,9,10,11]$ 。

## 3 SiSP の構築

既存の感情極性辞書では、単語が使用される状況 を反映することができていない。そこで、本研究で は 20 種類の状況を設定した新しい感情極性辞書を 作成した。設定した状況は以下の 20 種類の状況は 以下の 20 種類である: 経済、コミュニケーション、子育て、健康、生存意欲、職、対人関係、家族、緊張、精神状態、仕事、外出、家庭、忙しさ、気力、睡眠、食欲、好奇心、身体的状態、恋愛。これら 20 の 状況は、Social Network Servises (SNS) 等において個人的・社会的な感情や精神状態を分析することを念頭に設定した。今後、必要に応じて状況の多様性を 増やすことは可能である。

辞書に含まれる単語は Takamura ら [12] と Kobayashi ら [13] の辞書から 25,520 語 (それぞれ の辞書から 14,400 語と 11,120 語)を使用した。ラべ
ルの選択肢はポジティブ、ネガティブ、ニュートラ ル(ポジティブでもネガティブでもないがその状況 でその単語を使うことはある)、関係ない (その状況 についてその単語を使うことがない)、意味がわか らないの 5 通りを設定した。 5 つ目の「意味がわか らない」という選択肢は、予備実験において意味が 難解な単語をワーカーに示したときいい加減に選択する傾向が見られたため、それを防ぐ目的で設定 した。

アノテーションは Yahoo! クラウドソーシング サービスを利用し、10 人に各単語、各状況のラベル 付けを依頼した。辞書の品質を保証するために 2 種類のチェック問題を設定し、そのチェック問題に対 して正しく回答できた参加者の回答のみを採用し た。チェック問題を通過した参加者は参加者全体の 40\%であった。SiSP のラベルは、20 の状況に対し て 10 人が投票したものである。したがって、ラべ ルは各単語が各状況に対して肯定的か否定的かとい うバイナリ値を示すものではなく、5つの選択肢へ の投票率となっている。

表 2 は、SiSP の中で状況によってラベルが異なる 単語の例をいくつか示している。「干渉」という単語は、恋愛の状況において (Positive, Negative $)=(0.1$, $0.6)$ であるのに対し、精神状態では $(0.5,0.2)$ になっ ている。「完売」は 経済では Positive $=0.8$ であるが、外出では Positive $=0.1$ となる。「敵意」は人間関係で は Negative $=0.9$ だが、子育てでは Negative $=0.3$ に変化している。

## 4 実験

作成した辞書を用いて、単語の極性予測を行っ た。本研究では 2 種類の設定で実験を行った。 1 つ 目の実験は、個々の単語の極性を独立に予測するこ とである。2つ目の実験は、短文に含まれる単語の 極性を文脈を考慮して予測することである。なお、本稿ではぺージ制限により精神状態についてのみ結果を示す。状況を考慮しないべースラインとして、今回用意した 20 個の状況に対する極性ラベルを加算した上で正規化を行い、5つのラベルの合計値が 1 になるようにした辞書を作成した。

本実験では、ニュートラル、関係ない、意味がわ からないのラベルを統一して Others ラベルとして扱 う。すなわち、ポジティブ、ネガティブ、Others の 3 クラス問題とし、最もラベル値 (投票数) が大きい ものを分類の正解クラスとして扱う。学習データに
表 1 SiSP の諸元

表 2 SiSP の例

は精神状態についてポジティブの単語が 1,118 個、 ネガティブの単語が 3,364 個、Others が 9,624 個含ま れている。

## 4.1 単語単体の極性予測

辞書に含まれる単語を学習データとテストデー タに分割した。辞書の単語をべクトル化するために word2vec [14]を使用した。word2vec の事前学習モデ ルには鈴木らの [15] 事前学習した 300 次元のモデ ルを使用した。このべクトルを入力としてサポート ベクターマシン (SVM) を用いて単語の極性分類を 行った。

分類結果を表 3 左に記す。ポジティブ、ネガティ ブラベルの予測はベースラインに比べて大きく改善 が見られる。Others の予測精度は下がっているが、 これはポジティブとネガティブの予測精度が上がっ たことによる相対的な変化であると考えている。ポ ジティブについての precision と recall の結果は著し く低いものになっている。これは作成したデータ セットについてポジティブのデータが少ないためで あるからと考えられる。またべースラインについて も同様にポジティブに分類されたものはなくほとん ど Others に分類されている。

## 4.2 文章中の単語についての極性予測

次に、文脈情報を考慮した場合の感情極性予測実験を行った。学習・テストデータに twitter APIを用
いて集めたツイートを用いた。未知の単語の極性を 予測する設定にするために、テストデータには収集 した全ツイートの中で 1 回だけ現れる SiSP 単語を 含め、残りを学習データとして用いこの SiSP 単語 の極性を推測させ評価する。一回としたのは、出現頻度の高い SiSP 単語を訓練データに回すことで十分な学習データ量を確保するためである。具体的に は、Twitter API を用いて 20,530 件のツイートを収集 し、SiSP に登録されている単語を 1 つ以上含むツ イートを入力データとして用いた。得られたツイー ト文を形態素解析し、各単語に極性ラベルを付与し た。ツイートには SiSP 単語が含まれることのみで、 その他の単語がなんであるかの情報が付与されてい ないが、SiSP 登録単語以外は Others として扱った。 モデルとしては、BERT [16] の日本語訓練モデルを 使用した。結果は 3 の右側に記されている.ベース ラインと比較すると、ポジティブとネガティブとも に precision, recall, F1 スコアは精神状態の方が優れ た值を示している。また表 3 左と比較すると文章 の文脈情報がモデルの極性予測に役立つことが分 かる。

## 5 考察

単語のみでの極性分析については、Others のラベ ルを持つ単語が非常に多い (ポジティブ: 1,118 , ネガ ティブ:3,364, Others: 9624) であることが精度の低下 の原因であると考えられる。そこで、ポジティブ、

表 4 「精神状態」についての単語の感情極性予測におけるオーバーサンプリングとアンダーサンプリングの効果。

ネガティブのラベルを持つ単語の数が Others ラベル を持つ単語と同じになるように、オーバーサンプリ ングとアンダーサンプリングを行った。word2vec に おけるオーバーサンプリングはポジティブとネガ ティブのデータについて Others のデータと同数に なるまで繰り返した。文中の単語の極性予測のアン ダーサンプリングは Others ラベルの単語のみで構成 される文を除外することで行った。

オーバーサンプリングの結果を表 4 左に示す。表 3 のオーバーサンプリング前の結果を比較すると オーバーサンプリングが precision, recall, F1 スコア の性能改善に大きく貢献していることが分かる。特にポジティブラベルについての改善が著しい (+0.418 ポイント)。ネガティブについて、精神状態 のオーバーサンプリングの precision が全ての設定の 中で最も優れていた。

アンダーサンプリングの結果を表 4 右に示す。表 3 の結果と比較すると、ポジティブ、ネガティブ 共にF1 スコアが向上していることが分かる。また ネガティブについての precision、ポジティブについ ての recall も改善されている。しかし、文脈を考慮 した単語のアンダーサンプリング は、単語のみの オーバーサンプリングほど大きな効果は得られな い。これは、学習データから Others 文のみを除外し たため、正負の単語のバランスがとれていないため と考えられる。

モデルが文脈を考慮して感情極性をしているこ とを示すため、対照実験として単語単位でテスト データを BERT に入力した。その結果を表 5 に示表 5 BERT にて文脈を考慮しない場合の「精神状態」に ついての単語の感情極性予測。

す。表 4 右と比べると一様に性能が下がっており、我々のモデルは文脈を感情極性予測のヒントにして いることが伺える。

## 6 まとめ

本研究では、20 種類の状況を考慮した新しい感情極性辞書である Situation-dependent Sentiment Polarity Dictionary (SiSP) を構築した。単語単体での極性の 予測では、特にネガティブの precision, recall, F1 スコ アがベースラインより大幅に向上する結果を得た。 さらに、学習データセットをオーバーサンプリング することで、予測性能が向上した。また、ツイート を学習データとした未知語の極性予測においても、 ベースラインの手法と比較して状況別の予測が優れ た結果を示した。また、ツイート単位と単語単位の 比較から、入力データの文脈情報も感情極性を推論 する上で重要であることが示された。

本辞書は、20の状況を持つオープンソースの感情極性辞書としては我々の知る限り世界初の試みであ る。今後は、この辞書を他言語に拡張することを考 えている。

## 謝辞

本研究の一部は JST, CREST JPMJCR19F4 および 東京大学大学院情報理工学系研究科の IXT プロジェ クトの支援を受けて行われた。本論文におけるクラ ウドソーシングについては、東京大学大学院情報理工学系の倫理審査委員会から承認を得て行ったもの である。

## 参考文献

[1] James W Pennebaker, Martha E Francis, and Roger J Booth. Linguistic inquiry and word count: Liwc 2001. Mahway: Lawrence Erlbaum Associates, Vol. 71, No. 2001, p. 2001, 2001.

[2] Munmun De Choudhury, Michael Gamon, Scott Counts, and Eric Horvitz. Predicting depression via social media. In Seventh International AAAI Conference on Weblogs and Social Media, 2013.

[3] Margaret M Bradley and Peter J Lang. Affective norms for english words (anew): Instruction manual and affective ratings. Technical report, (Tech. Report C-1). Gainesville: University of Florida, Center for Research in Psychophysiology, 1999.

[4] Andrea Esuli and Fabrizio Sebastiani. Sentiwordnet: A publicly available lexical resource for opinion mining. In Language Resources and Evaluation, 2006.

[5] Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. Sentiwordnet 3.0: an enhanced lexical resource for sentiment analysis and opinion mining. In Language Resources and Evaluation, Vol. 10, pp. 2200-2204, 2010.

[6] George A Miller. Wordnet: a lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[7] Erik F Sang and Fien De Meulder. Introduction to the conll2003 shared task: Language-independent named entity recognition. arXiv preprint cs/0306050, 2003.

[8] Anil Kumar Singh. Named entity recognition for south and south east asian languages: taking stock. In The IJCNLP08 Workshop on Named Entity Recognition for South and South East Asian Languages, 2008.

[9] Khaled Shaalan. A survey of arabic named entity recognition and classification. Computational Linguistics, Vol. 40, No. 2, pp. 469-510, 2014.

[10] Darina Benikova, Chris Biemann, and Marc Reznicek. Nosta-d named entity annotation for german: Guidelines and dataset. In Language Resources and Evaluation, pp. 2524-2531, 2014.

[11] Jakub Piskorski, Lidia Pivovarova, Jan S̆najder, Josef Steinberger, and Roman Yangarber. The first cross-lingual challenge on recognition, normalization, and matching of named entities in slavic languages. In The 6th Workshop on Balto-Slavic Natural Language Processing, pp. 7685, 2017.

[12] Hiroya Takamura, Takashi Inui, and Manabu Okumura. Extracting semantic orientations of words using spin model. In The Association for Computational Linguis- tics, pp. 133-140, 2005.

[13] Nozomi Kobayashi, Kentaro Inui, Yuji Matsumoto, and Kenji Tateishi. Collecting evaluative expressions for opinion extraction. Journal of Natural Language Processing, Vol. 12, No. 3, pp. 203-222, 2005.

[14] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[15] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会発表論文集, pp. 797-800, 2016.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

## A 参考情報

表 6: 全ての状況についての単語の極性予測精度


 高田 篤志 1 狩野芳伸 ${ }^{2}$ 山崎俊彦 1 1 東京大学大学院 2 静岡大学 a_takada@hal.t.u-tokyo.ac.jp kano@inf.shizuoka.ac.jp yamasaki@cvm.t.u-tokyo.ac.jp  