# コモンセンス知識を利用した物語中の登場人物の感情推定

田辺ひかり
}

小川哲司林哲則林良彦
早稲田大学理工学術院
tanabe@pcl.cs.waseda.ac.jp

## 1 はじめに

物語における登場人物の感情推定においては，直接的な感情表現を手がかりとするだけではなく，常識的知識を援用して「行間を読む」ことが必要とな る. 本研究では，物語を構成する各文における登場人物の感情を推定するというタスクにおいて，事態 に関するコモンセンス知識を導入し，さらに，対象文の先行文脈を考慮することで，感情推定の精度を 向上させることを試みる。

本研究で対象とする Story commonsense データ セット [1] は，5 文からなる短い物語の各文に対し，登場人物の感情カテゴリが，Plutchik の基本感情 [2] を利用したマルチラベルの形態で付与されている。 このため，対象タスクはマルチラベルの分類問題と して定式化される. 本研究では，外部のコモンセン ス知識として, 出来事と出来事, 出来事と人物の心的状態の関係に関する事態知識を収集した知識グラ フ ATOMIC [3] を使用し，文脈情報としては，対象文の先行文を用いた。

評価実験において，対象文，文脈，外部知識それ ぞれからの情報の統合方法に関して複数の設定を比較した結果，外部知識，文脈の双方を用いることが 推定精度向上に有効であるが，その際は，双方の情報を別々に処理した後にアンサンブル的に統合する ことが有効であること，および，用いる外部知識は タスクに適合するように事前に選別しておくことが 有用であることなどが確認された.

## 2 関連研究

Rashkin ら [1] は物語中の人物の心的状態を推定 するためのデータセットとして Story commonsense データセットを構築した. 物語理解のデータセット では，物語の中で起きたことや物語の前後を推論す る QA 形式のものが多く [4][5][6]，人物の心的状態 に焦点を当てたデータセットは珍しい.
Story commonsense データセットには基本的欲求 と人物の感情の二つの側面でラベル付与がなされ ている. Paul と Frank [7] は, ConceptNet [8]を利用 した基本的欲求ラベルの推定を行っている. 物語 と欲求カテゴリを関係付ける可能性のあるパスを ConceptNetから取り出し, PageRankなどのグラフ理論的指標により算出したパスの重要度が高い上位 $k$本のパスを推定に利用することで，外部知識を用い ないモデルを上回る精度を達成した. しかし，本研究で扱う感情推定は行っていない.

Story commonsense データセットにおける感情推定を行った研究として， $[9,10,11]$ がある. 対象夕 スクがマルチラベル分類問題であるため，カテゴリ 間の依存・相関関係の扱いが課題となる.

田辺ら [9] [11] は Plutchik の環の構造, 学習データ における感情ラベルの共起関係を用い，感情極性の 二值分類とのマルチタスク学習を行った. さらに推定対象文の先行文脈を取り込むことで推定精度を向上させた．また，モデルから得られる文の分散表現 の主成分分析から Plutchik の環の構造が概ね妥当で あることを示した。

Gaonkar ら [10] は, Label-Embedding Attentive Network (LEAM) [12] を利用することにより，感情カテ ゴリ間の関係を考慮し，さらに，BERTを用いた label embedding の獲得やラベル同士の共起関係の利用, ラベルなしデータを用いた半教師あり学習を行うこ とにより，当該タスクの SOTAを達成した。

これらの研究はカテゴリ間の関係の利用に焦点を当てており, Paul と Frank の研究ような外部知識は利用していない. Paul と Frank の研究では ConceptNet のようなエンティティを単位とした知識 グラフを利用しているものの，ATOMIC で提供さ れるような出来事を単位とするコモンセンス知識 は利用しておらず，知る限りでは，本研究は Story commonsense データセットにおける感情推定に対す るコモンセンス知識利用の初めての試みである。

## 3 データセットと知識リソース

## 3.1 Story commonsense データセット

Rashkin らは物語文中の登場人物の内面状態を推定するために，Story commonsense データセット [1] を作成した. このデータセットは 5 文からなる短い 物語を集めた Story cloze test [13] データセットの一部に対して，一文ごと・登場人物ごとに心的状態を アノテートしている. 心的状態は基本的欲求と感情 の二つの観点でラベル付けされており，それぞれ複数のラベルの付与が許容されている. これにより，多面的な心的状態が表されるが，タスクはマルチラ ベル分類問題となる. なお, 本研究の対象である 感情ラベルには Plucthik [2] の 8 感情 (joy, trust, fear, surprise, sadness, disgust, anger, anticipation) が用いら れている。

## 3.2 コモンセンス知識グラフ: ATOMIC

ATOMIC [3] は，事態1) 間の前後・因果関係などに 関する常識的知識 (コモンセンス) を if-then 関係と して整理した知識グラフである. 特に，出来事と関係する人物の感情・意図などの心的状態の関係知識 を収集している点が特徴的であり, 物語文からの感情推定に有用であることが期待できる.

以下に ATOMIC における互いに関連する三つ組群の例を示す。一行目は各三つ組に共通する head ノードであり, IfEvent を表す.二行目以降の各行 は，三つ組における relation エッジ，tail ノードを表 しており，これらによりThenEventを表す.これに は，状態や性質に関する記述も含まれる。

[PersonX repels PersonY's attack]
- [xAttr] -> [PersonX is brave]
- [xEffect] $\rightarrow$ [PersonX's heart races]
- [xEffect] -> [PersonX gains an enemy]

$-[$ oEffect] -> [PersonY gets hurt]

表 1 に ATOMIC で使用される三つ組・エッジの夕 イプ・定義などを表す. 最左列は，三つ組が (1)人物の内面状態を表す IfEvent-MentalState，(2) 人物の 態度や人柄を表す IfEvent-Persona，(3) IfEvent と関連 する出来事を表す IfEvent-Event の3つのタイプに大分類されることを示す. 感情推定に関しては，特に (1)と (2)のタイプの三つ組が有効であることが期待 できる. 第二列に示すエッジタイプでは，headノー


ドの出来事を行う主体 (PersonX) とそれ以外の客体 (others)を区別している.

## 4 感情推定モデル

図 1 に提案する感情推定モデルを示す. 対象文 とそれに関連するコモンセンス知識を用いること により感情推定を行う知識利用モデルからの尤度 (logits_p) と, 対象文と先行文脈から感情推定を行 う文脈利用モデルの尤度 (logits_s) を次式の重み付 き和により統合し, 最終的な推定結果を得る.

$
\text { logits }=w \text { logits_s }+(1-w) \text { logits_p }
$

なお，それぞれのモデルにおけるエンコーダーは 事前に別個に学習されたものを使用する.

## 4.1 知識利用モデル

外部知識の抽出: 感情推定に有用そうな情報を ATOMIC から抽出しモデルに入力する. 抽出は物語文と三つ組の headノードの単語マッチングによっ て行う。まず，物語文の単語から品詞が 'PART'， 'PUNCT', 'CCONJ', 'DET' のいずれかである ものをストップワードとして削除し，残された単語と ATOMIC 中の IfEvent との重複単語数が閾値以上の三つ組を一定個数取得する. 今回は，三つ 組の量と物語との合致度に関する定性分析から閾值を 3 とした. 実験においては，モデルへ入力す る知識を表 1 に示した ATOMIC の三つ組タイプが IfEvent-Persona，IfEvent-MentalState のものに限定す る場合と全てを用いる場合を比較する。

対象文のエンコーディング: 以下の入力形式に より感情推定の対象文を BERT [14] によりエンコー ドし, [CLS] ベクトルを分散表現として利用する.

$[C L S]\{$ 人物 $\} \#\{$ 対象文 $\}[S E P]$

外部知識の導入：対象文と同様に BERT を用い たエンコーディングを行うため，抽出した三つ組 をエッジを表 1 最右列に示す疑似自然文に置換し，三つ組の各要素 head, relation, tail は別個にエンコー ドする. 得られた分散表現と物語文の分散表現の source-target attention を行い，物語文との関連度で重 み付けされた三つ組分散表現に更新する. Attention で重み付けされた三つ組の分散表現と対象文の分散表現を連結したのち，全結合層と softmax 関数に通 し，8つの各感情クラスの有無を示す尤度を求める. この尤度による識別結果と正例との損失を binary cross-entropy loss によって計算し，パラメータ更新
表 1 ATOMIC のエッジと自然文への書き換え表現一覧

 &  &  &  \\

図 1 提案する感情推定モデル

## を行う。

## 4.2 文脈利用モデル

登場人物の感情は，物語中の一文のみだけでなく 複数文に渡る出来事や状況の連鎖によって生じう る.このような場合，推定モデルへ入力する対象文一文のみでは正しく推定することは難しい. そこ で，対象文より前に何が起きたか，そもそもどのよ うな状況にあるのかといった文脈を入力に加える.

Rashkin ら [1] は，先行文脈において推定対象の登場人物が現れる文に限定したが，本研究では複数人物間のインタラクションが，対象の人物が陽に現れ ない文に記述される可能性を考慮し, 対象文に先行 する文を文脈として利用する [11].

BERT のの入力形式は，以下のように対象文と文脈を記号\#により区分する形式とした.

## $[C L S]\{$ 人物 $\ \#\{$ 文脈 $\} \#\{$ 対象文 $\}[S E P]$}

なお，後述の実験においては，比較のために，導入する文脈を空として文脈モデルを利用する設定で の評価 (表 2 の\#7) も行っている.

## 5 実験

## 5.1 実験設定

Story commonsense データセットの train セットに は正例ラベルが付与されていないため，dev セット を学習データとして使用し， test セットを用いて評価を行った。データ量 (物語文・登場人物対) は，学習データ 13,004 対，テストデータ 11,859 対である.

物語と三つ組のエンコードには，事前学習済み の BERT のモデル bert-base uncased を使用し，学習 データで fine-tune した. 物語文の最大入力長は 20
表 2 マルチラベル感情分類への外部知識と文脈の利用の効果

単語とし, 先行文による文脈を用いる場合は 80 単語に制限した. BERT から得る [CLS] 分散表現の次元サイズは 765 とした. 学習における最適化には Adam [15]を用い，エポック数は 32 ， バッチサイズ は 32 とした. ATOMIC から抽出する三つ組の最大個数は 40 個とした. 式 1 において，知識利用モデ ルと文脈利用モデルの影響力を調節する重み $w$ は，予備実験から $w=0.7$ とした. 評価指標にはマイク 口平均による精度 (Precision), 再現率 (Recall), F1 值 (F1)を用いた.

## 5.2 実験結果

表 2 に各設定における推定精度を示す. 知識利用 モデルのカラムにおける onlyEmo は, ATOMIC の三 つ組タイプを IfEvent-Persona， IfEvent-MentalState に 限定した場合，All は限定しない場合を表す。参考 のため，Gaonkar らの実験結果 [10]を\#1，\#2 に引用 している.

\#1, \#2 と \#3 の比較から, 提案手法は現在の SOTA を達成しているモデルよりも P が上回っているが， R では劣っている.これは, Gaonkar らの手法 [10] がラベル間の共起関係を強く意識した手法であるこ とによる.

\#4 と \#5 の比較からは，利用する外部知識のタイ プをあらかじめ対象タスクに応じて限定できるな ら，そうすべきことが分かる. このことは，\#7に対 する\#5 の比較では外部知識を限定なしで利用する とかえって精度が下がるのに対し，\#7 と\#4 に比較 では精度が向上していることからも裏付けられる。

\#3 と \#4の比較からは，外部知識だけでなく，文脈を併用することが有効であることが分かる. 事前実験として知識利用モデル側で文脈を利用する設定 も試したが，精度が低下したことから，外部知識と 文脈は別に扱い，後にアンサンブル的に統合するの が良いと考えられる。
＃3 と ４４違いは，文脈利用モデルのアンサンブ ルの有無であり，後者では $\mathrm{F} 1$ が $60.11 \mathrm{pt}$ から $57.90 \mathrm{pt}$ へ $2.21 \mathrm{pt}$ 低下している. これに対し, \#3 と \#6の差異は，知識利用モデル (onlyEmo 条件) 使用の有無で あるが，後者における $\mathrm{F} 1$ の低下は，0.68pt にとど まっている。この差から，現状のモデルにおいて は，文脈利用による精度向上への寄与の方がコモン センス外部知識より大きい可能性が示唆される. 現在の文脈の扱いは非常に単純化したものであるに も関わらずこのような傾向が見られたことから，外部知識の利用に関しては，まだ多くの改善の余地が 残っているものと考えられる。

## 6 むすび

本研究では，物語を構成する各文における登場人物の感情を推定するというタスクにおいて，事態に 関するコモンセンス知識 (ATOMIC) を導入すことに より，感情推定の精度を向上させることを試みた. また，その際に物語テキストの文脈を利用すること の効果について実験的に調査した.

Story commmonsense データセットを用いた実験結果からは，上記のアンサンブルモデルが有効である こと，用いる外部知識は，可能ならばタスクに適合 するように事前に限定しておくことが有用であるこ と，外部知識を用いる効用は文脈から得られる後よ りも小さく, 外部知識の利用法にはまだ多くの課題 が残っていることなどが分かった.

今後の課題としては，外部知識からの三つ組の抽出法を改善し, 利用する知識情報を増やすこ一方 で，これにより増大するノイズを低減することが挙 げられる。後者に関しては, Story commonsense デー タセットに収録されている基本欲求を利用し，それ に基づく行動・出来事と引き起こされる登場人物の 感情との相互作用や, 物語の進行と感情の推移の連関関係などを扱っていく必要があると考えている。

## 参考文献

[1] Hannah Rashkin, Antoine Bosselut, Maarten Sap, Kevin Knight, and Yejin Choi. Modeling naive psychology of characters in simple commonsense stories. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2289-2299, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Robert Plutchik. A general psychoevolutionary theory of emotion. In Robert Plutchik and Henry Kellerman, editors, Theories of Emotion, pp. 3 - 33. Academic Press, 1980.

[3] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 3027-3035, 2019.

[4] Matthew Richardson, Christopher J.C. Burges, and Erin Renshaw. MCTest: A challenge dataset for the opendomain machine comprehension of text. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 193-203, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[5] Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen. A corpus and cloze evaluation for deeper understanding of commonsense stories. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 839-849, San Diego, California, June 2016. Association for Computational Linguistics.

[6] Melissa Roemmele, Cosmin Adrian Bejan, and Andrew S Gordon. Choice of plausible alternatives: An evaluation of commonsense causal reasoning. In AAAI spring symposium: logical formalizations of commonsense reasoning, pp. 90-95, 2011.

[7] Debjit Paul and Anette Frank. Ranking and selecting multihop knowledge paths to better predict human needs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3671-3681, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, 2017.

[9] 田辺ひかり, 小川哲司, 小林哲則, 林良彦. 感情推定 における感情カテゴリに関する先験的知識の利用. 言語処理学会第 26 回年次大会発表論文集, pp. 1404-1407, 2020 .

[10] Radhika Gaonkar, Heeyoung Kwon, Mohaddeseh Bastan, Niranjan Balasubramanian, and Nathanael Chambers. Modeling label semantics for predicting emotional reactions. In Proceedings of the 58th Annual Meeting of the As- sociation for Computational Linguistics, pp. 4687-4692, Online, July 2020. Association for Computational Linguistics.

[11] Hikari Tanabe, Tetsuji Ogawa, Tetsunori Kobayashi, and Yoshihiko Hayashi. Exploiting narrative context and a priori knowledge of categories in textual emotion classification. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5535-5540, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[12] Guoyin Wang, Chunyuan Li, Wenlin Wang, Yizhe Zhang, Dinghan Shen, Xinyuan Zhang, Ricardo Henao, and Lawrence Carin. Joint embedding of words and labels for text classification. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2321-2331, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[13] Nasrin Mostafazadeh, Michael Roth, Annie Louis, Nathanael Chambers, and James Allen. LSDSem 2017 shared task: The story cloze test. In Proceedings of the 2nd Workshop on Linking Models of Lexical, Sentential and Discourse-level Semantics, pp. 46-51, Valencia, Spain, April 2017. Association for Computational Linguistics.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014 .
 田辺ひかり }  小川哲司林哲則林良彦 早稲田大学理工学術院 tanabe@pcl.cs.waseda.ac.jp  