# センチメント分析を用いた感情を重視した 物語の階層的要約手法

酒井健壱 上乃聖 李晃伸
名古屋工業大学工学部情報工学科
k.sakai.403@stn.nitech.ac.jp \{sei.ueno,ri\}@nitech.ac.jp

## 概要

物語におけるあらすじはストーリー全体を簡潔に要約したものであるが，同時にその作品の魅力を未読者へ十分に伝えるものであることが求められる. 本研究では, 物語の魅力はその登場人物の感情の発露およびその変化と強く結びつくという考えのもと，感情表現を重視した魅力ある物語のあらすじの自動生成を目指す．LLM を用いてセンチメント分析を行い文単位の感情ラベルを付与したうえで， Hierarchical merging を用いて要約を作成する. 生成したあらすじの印象と正確さのそれぞれを測る実験を行い，提案法の効果を検証した結果を述べる。

## 1 はじめに

Web 上では青空文庫 [1] や小説家にな弓う [2] といった無料で多くの小説を読むことができるサービスが存在する。このように数多く存在する作品から自分に合った作品を探すことは難しく，あらすじはそれを判断する重要な情報となり得る。しかし，多くの作品に対して人手であらすじを作成することは多くの労力を要する. そこでより作品の魅力が伝えられるあらすじの自動生成が可能となれば，読者が探し求めていた小説を見つける可能性が高まることが期待される.

物語のあらすじを作る際に作品の中からどの部分を含めるかを選択することは正解がなく難しい. Lehnert らの研究では要約手法の体系化のために plot unit と呼ばれる構造化手法を提案した [3]. これは物語が人物の感情的反応と，それに対して因果関係にある出来事の組み合わせであるという考えのもと, 要約を構成していく.このように人物感情を中心にあらすじを構成する手法がある．物語の人物感情は感情語を用いた直接的な描写に限らず，行動や状況から感情を推測させる間接的なものもある。そ
こで物語から人物感情を取得するために，センチメント分析を用いて物語全体の人物感情の変化を推定する。

近年，GPT-3をはじめとして多くの大規模言語モデル (LLM) が登場している. LLM は要約やセンチメント分析のような様々なタスクに対して追加学習をせずに対応できるという特徴がある。そこで本研究では LLM を用いてセンチメント分析による物語から感情情報の抽出し, 要約を行うことで感情を重視したあらすじの生成を行う。

## 2 関連研究

物語の自動要約において人物感情を中心に要約する研究として，横野は感情表現に着目した物語要約を提案している [4]. 提案手法では本文から感情表現辞典 [5] に掲載されている感情表現を含んだ文とその感情の生起原因となる文を中心に抽出し要約としている。一方で物語からセンチメント分析を用いて人物感情を推定する研究として Rashkin らは登場人物の心情理解のためのデータセットである Story Commonsence データセットを作成している [6]. 日常の出来事を題材とした 5 文の文章で構成される ROCStories [7] から抽出した文と登場人物のペアに，人物の意図と感情をマルチラベルでアノテーションをしている。感情のアノテーションには Plutchik の 8 つの基本感情 [8] をラベルに使用している. このように人物感情を重視した要約とセンチメント分析を用いた人物感情の推定を行った研究はそれぞれ存在するが，センチメント分析の結果を用いて要約を行う研究はこれまでにない.

近年登場した LLM でも Zero-Shot による要約やセンチメント分析の研究がされている．Wu らは分割した本文に要約と統合を繰り返すことで全文要約を行う手法を提案している [9]. またChang らの研究では LLM による物語の要約手法として Wu らの

図 1 ベースラインのシステム構成

図 2 提案手法のシステム構成

提案した手法を元にした Hierarchical merging と, 分割した本文の追加と要約による圧縮を繰り返し行う Incremental updating を使用している [10]. センチメント分析では Rathje らは 12 の言語による感情分析データセットを対象に LLM による感情分析の有効性を検証した [11]. 極性や感情，攻撃性の有無を対象としたカテゴリ分類の他に，リッカート尺度での極性や感情強度のスコアリングで検証している。検証の結果, 英語の感情分類データセットにおいて LLM は感情辞書ベースに比べてはるかに優れており，機械学習モデルでは同等かそれに近い性能を示している.

## 3 提案手法

## 3.1 システム構成

本研究では感情を重視したあらすじの有効性を検証するためベースラインと提案手法の 2 つのシステムで比較を行う. 図 1 がべースラインシステム,図 2 が提案手法のモデル図である. ベースラインでは本文をそのまま入力して要約する。一方で提案手法ではセンチメント分析を用いて人物の感情情報を推定し，要約を行う際のプロンプトに加える。 なお今回センチメント分析と要約を行う LLM には GPT-4-turbo (gpt-4-1106-preview) を使用する.

## 3.2 センチメント分析による感情推定

提案手法では感情の種類とその強度を推定し，感情が表出している部分をあらすじで重視する. 物語での感情と強度推定は文脈を考慮する必要があるが，今回のような長文の物語を対象としたデータセットの構築は難しい，そこで本研究ではLLMを用いて Zero-Shot でのセンチメント分析を行うこととする. センチメント分析用 LLM では各文に対して, 個々の感情ラベルのスコアを出力させる. 感情ラベルには Plutchik の 8 つの基本感情 [8] に基づいて喜び，信頼，恐れ，驚き，悲しみ，嫌悪，怒り，期

図 3 センチメント分析用 LLM の出力 (赤字が要約用 LLMへの入力で使用する感情ラベル)

図 4 提案手法での入力例

待を設定する．スコアは 0 から 3 の 4 段階として該当する感情が含まれていない場合は 0 をつけ，含まれている場合には 3 段階で推定する。なお付録の A にプロンプトを示す.

図 3 が実行結果の例である.この結果を元に付与するラベルを決定し要約で使用する入力文を作成する. 提案手法では付与するラベルとして以下の 2 つの条件の内どちらか満たしているものを全て採用する。

1. スコアが 3 の感情ラベル
2. 2 以上のスコアが 3 文以上連続している場合の感情ラベル

図 3 の場合, 条件 1 に該当する感情ラベルは 2 文目の怒り，3文目の恐れと驚きである. 条件 2 に該当する感情ラベルとして恐れがある. 恐れのスコアは $2 ， 2 ， 3$ と 2 以上のスコアが 3 文連続しているため条件 1 で採用した 3 文目に加えて $1 ， 2$ 文目にも恐れのラベルを入力文に付与する。 その結果が図 4 である。一文に対して付与するラベルは 1 つに限定せず，条件を満たすラベルは全て使用する。

## 3.3Hierarchical merging を用いた要約

要約用 LLM では要約手法に Wu らの研究 [9] や Chang らの研究 [10] のような LLM で物語要約を扱う研究で使用されている Hierarchical merging を用いる. 図 5 に全体図を示す。要約作成ではまず，分割した本文から 1 段目で初期要約を作成する. 2 段目では複数の初期要約から新たに中間要約を作成する. 最後に 3 段目で中間要約すべてを要約することで最終要約とする.

Hierarchical merging では 3 種類の要約パターンがあるが，すべて異なるプロンプトで要約を行う．以下に各プロンプトの役割を示す。付録の A に使用し

図 5 Hierarchical merging の全体図. 点線はコンテキストの入力を表し, 同じプロンプトを用いる要約を四角で囲んでいる.

たプロンプトを示す. 赤字の部分が提案手法で追加した指示文である.

## プロンプト $1:$ チャンク要約

プロンプト 1 は図 5 での赤い四角の中の要約において使われ，分割された作品本文から要約を行う. 提案手法では付与した感情ラベルを要約に取り入れるためにラベルの説明と感情を含めた文の生成を指示する.

## プロンプト 2 : マージ要約

プロンプト 2 は図 5 の青い四角の中の要約で使われ，2つ以上の要約を入力として 1 つの要約を作成する. 2 段目最初の中間要約や 3 段目の最終要約で使用する。

提案手法においてプロンプト 2 では 1 段目での要約を入力とする. そのため 1 段目の要約文の感情を含む内容を残すように指示している。

## プロンプト 3 : コンテキスト付きマージ要約

プロンプト 3 は図 5 の黄緑の四角の中の要約で使われ，中間要約においてそれまでの本文情報を失わないようにコンテキストを加えて要約を行う。

プロンプト 3 はプロンプト 2 にコンテキストを加えたものである. コンテキストには最初から直前まで作成した中間要約を入力する．出力にはコンテキストの内容が含めないことと,コンテキストに続く形で出力を行うことをプロンプト内で指示する. また提案手法ではプロンプ卜 2 と同様に感情付き要約文を重視する指示も加える.

## 4 評価実験

20 代の学生 25 人を対象に実験を行った. 本研究では感情を重視することであらすじがより作品の魅力を伝えられるものになることを目標としている表 1 実験 1 ：あらすじから受ける作品の印象評価の質問 No 質問内容あらすじ内で人物の感情が明確であると感じましたか? あらすじから物語の雾囲気が効果的に伝わりましたか? あらすじから物語を読んでみたいという興味を持ちましたか？

物語をより楽しんで読むことができそうだと感じましたか?

5 あらすじを読むことで物語に感情移入しましたか?

が，本文全体を読んだときの印象と差異が生じることも考えられる. そこで提案手法が読み手が作品に対してどのような印象を与えるかの評価を実験 1 とする。一方あらすじが本文の要約として適切に内容の提示ができているかの評価を実験 2 として行う.

## 4.1 実験 1 ：あらすじから受ける作品の印象評価

実験 1 では青空文庫から久生十蘭の「黒い手帳」 を題材とした。あらすじのみから受け取る印象を測るために，2022 年の青空文庫アクセスランキングで上位 500 作品に入っていない作品を選んだ. 実験では読書経験の有無を質問したが，今回参加した被験者は全員が未読であった。

実験では本文を提示せず，あらすじのみを読ませた. その後それぞれのあらすじについて表 1 に示した 5 つの質問に答えてもらった. 評価尺度には 7 段階のリッカート尺度を使用し，7がとてもそう思う， 1 が全くそう思わないとした. 付録の B. 1 に実験 1 で使用したあらすじを示す.

表 2 に結果を示す. 実験 1 では質問 3 を除いた全ての質問で提案手法のスコアが上回った。質問 1 からこの手法を用いることであらすじ内に登場人物の感情を反映させることができたと言える。また人物感情を重点的に取り入れることで質問 2 と 5 のように物語の雾囲気を効果的に伝えることや，読み手に感情移入をさせるといった，作品がどんな内容であるかを知ることに対して有効であった。一方で作品に興味を持たせることや，より楽しませるといったような事前知識のない読み手を読書に前向きにさせるような効果は見られなかった。

提案手法のあらすじでは人物の感情に関する記述がベースラインに比べて多い. 物語の中で人物の心情ははっきりと描写されないことも多い. また，通常のあらすじでは簡潔さを重要視するために設定や出来事を中心にまとめることが多く, 心情にまでは

言及しないことが多い. そのため提案手法のあらすじは，心情というより詳細な情報を伝えることで作品に対する理解がしやすかったと考えられる. しかし読み手に興味を持たせるには，作品の先の展開を知りたいと思わせる必要がある．物語においては登場人物が困難な状況に直面する問題となる場面とそれを何らかの方法で乗り越えていく解決の場面があることが多い. 本研究ではそれらを区別せずにあらすじに含めて生成していた. 読み手に興味を持たせるには，問題となる場面を中心のあらすじとして解決に関する内容を少なくすることで続きが気になるような工夫も必要であると考えられる.

## 4.2 実験 $2:$ 本文と比較したあらすじの内容評価

実験 2 では青空文庫から新美南吉の「ごん狐」を題材とした.こちらの実験ではあらすじが本文全体の要約として適切か判断するために，国語の教科書に掲載されていて読書経験が多いであろう本作を選んだ. 実験 1 と同様に読書経験の有無を聞いたところ，被験者全員がありと答えた。

実験では本文を一通り読んだ後に 2 つのあらすじを読んでもらった．その後，本文とあらすじを比較しながら表 3 に示した 6 つ質問に答えてもらった. 評価尺度には実験 1 と同じように 7 段階のリッカート尺度を使用した. 付録の B. 2 に実験 2 で使用したあらすじを示す.

表 4 に結果を示す. 実験 2 では質問 5 を除いた全ての質問で提案手法のスコアが下回る結果となった. LLM が推定した感情やその結果から生成したあらすじが被験者の読解と異なると，質問 1，2，3 の項目は提案手法ではスコアが低下すると考えられる.また感情を重視することで，あらすじで語られる内容に偏りが生まれると質問 4，60ような物語の流れに沿うことや，主題を適切に伝えるといったあらすじ全体のまとまりは悪くなる.

提案手法のあらすじでは「悲しみに沈んだ」や表 3 実験 2 : 本文と比較したあらすじの内容評価の質問

 \\

表 4 実験 2 : 本文と比較したあらすじの内容評価の結果

「激怒した」というような強調した感情表現がある.極端な表現は読み手の印象に残りやすいが，行き過ぎると実際に本文から読み取れる心情とは違いが生じる。また心情を加えるという制約を無理に守ろうとして，不自然な表現であったり，冗長な文になっている箇所が見られた。本研究では感情の強度を元にあらすじに含めるべき感情や内容を指示していたが，読み手が違和感のないようにあらすじへどのようにして取り入れるかプロンプトでの指示の仕方は今後への課題である.

## 5 おわりに

本研究では LLM を用いた物語要約に，センチメント分析による感情推定の結果を加えることで感情を重視したあらすじの作成を行った。提案手法のあらすじは読み手に作品の雾囲気を伝えたり，感情移入させたりする効果があった．その一方で本文の要約としては正確さに欠ける結果となった。しかし， あらすじにおいて感情を重視することは作品の魅力を伝えることに効果があることが分かった. 今後は感情を重視することで生じている文章の不自然さや本文との相違をなくしつつも，読み手に興味を持たせられるようなあらすじの生成を目指す。

## 参考文献

[1] 青空文庫. https://www.aozora.gr.jp/.

[2] 小説家になろう.https://syosetu.com/.

[3] Wendy G Lehnert. Plot units and narrative summarization. Cognitive science, Vol. 5, No. 4, pp. 293-331, 1981.

[4] 横野光. 登場人物の感情表現に着目した物語要約.言語処理学会第 13 回年次報告, 2007.

[5] 中村明. 感情表現辞典. 東京堂出版, 1993 .

[6] Hannah Rashkin, Antoine Bosselut, Maarten Sap, Kevin Knight, and Yejin Choi. Modeling naive psychology of characters in simple commonsense stories, 2018.

[7] Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen. A corpus and cloze evaluation for deeper understanding of commonsense stories. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 839-849, 2016.

[8] Robert Plutchik. A general psychoevolutionary theory of emotion. In Theories of emotion, pp. 3-33. Elsevier, 1980.

[9] Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nisan Stiennon, Ryan Lowe, Jan Leike, and Paul Christiano. Recursively summarizing books with human feedback, 2021.

[10] Yapei Chang, Kyle Lo, Tanya Goyal, and Mohit Iyyer. Booookscore: A systematic exploration of book-length summarization in the era of llms, 2023.

[11] Steve Rathje, Dan-Mircea Mirea, Ilia Sucholutsky, Raja Marjieh, Claire Robertson, and Jay J Van Bavel. Gpt is an effective tool for multilingual psychological text analysis. 2023.

## A プロンプト

図 6 センチメント分析で用いたプロンプト

図 7 プロンプト 1：チャンク要約のプロンプト

図 8 プロンプト 2：マージ要約のプロンプト

$
\begin{aligned}
& 4 \text { 命令: } \\
& \text { あなたは[プロの編集者]です。 } \\
& \text { 以下の制約条件とこれまでの物語のコンテキストと入力文をもとに新たに要約を3文 } \\
& \text { で出力してください。 } \\
& \text { \#制約条件: } \\
& \text { 入力文はストーリーの断片であり、その要約に再帰的な結合を行うことでストー } \\
& \text { リー全体の要約を行う。 } \\
& \text { 主要なイベント、背景、設定、登場人物、目的、動機となる必要な情報は必ず含 } \\
& \text { める。 } \\
& \text { } \cdot \text {人物や場所が初めて登場する場合は要約内で簡単に触れる。 } \\
& \text { } \cdot \text { 感倩が現れている部分は要約に必ず含める } \\
& \text { } \cdot \text {コンテキストの内容はこれまでのストーリーの要約なので出力文に絶対に含めな }
\end{aligned}
$

図 9 プロンプト 3：コンテキスト付きマージ要約のプロンプト

## B 生成したあらすじ

## B. 1 実験 1 :「黒い手帳」

パリ留学中の主人公は経済的困穿により潮湿な部屋に引っ越し、階下のアメリカ出身の音楽学生夫婦と出会う。夫婦は布哇の大漁場主から留学資金を提供されており、上階の日本人男性は秘密の研究に没頭して噂されていた。主人公はこれまでルーレットの研究に執着していたが、無駄であったと悟る。夫婦は支援者の不運で送金を失い、貧困に直面しながらもルーレットての成功を夢見ていた。彼らは上階の男性が考案した勝利システムに取り憑かれるも失敗し、最終的には彼を食事に招いてシステムを聞き出そうとする。 しかし男性はルーレットにシステムがないと言い続け、夫婦の計画に反対する。夫婦の殺人計画に関わる疑念を持った主人公は、彼らの行動を観察し、「Manual of Toxicology」を読むことで毒物学を学び始める。愛情の告白や南京虫煄蒸計画に関与する六階の住人に主人公は興味を持つが、亜砒酸毒殺計画への危険性を回避するため慎重に行動する。男性は夫婦に命を救われるが失敗に終わった白耳義への旅立ちと彼自身の転落死計画に苦悩する。そして、その計画に協力した友人によって、男性はパリの朝、屋根から突き落とされる。

図 10 ベースラインで生成したあらすじ

黒いモロッコ皮の手帳には、ルーレットの秘密を求めた絵師が記した賭博研究が記載されていた。絵師はルーヴルでの衝撃後に賭博への情熱を傾け、最終的にはその虚妄性を受け入れた。その手帳は焦慮に駆られた日系アメリ力人夫婦にとって目的となったが、手に入れることはできなかった。彼らは経済的支援が途絶えた深い絶望の中で、六階の男性が発見したルーレットシステムの秘密を学ほうとしたが、熱意とは裏腹に失敗を重ねた。夫婦は夫の殺害というタルジュ事件に関与し、毒物学による計画された殺人に対する理解を深めていた。一方、物語の語り手である観察者は、彼らの苦悩に同情せず、冷静に事態を見守っていた。夫婦間の孤立と苦恼が深まる中、観察者は彼らの犯罪的傾向を記録し、毒物学への精神的な探究を動機としていた。しかし、賭博研究に消耗した病床の男性の自殺願望と、夫婦の救命行動による急変に直面し、内なる恐怖と罪悪感に苛まれた。最終的に、主人公は賭けのシステムへの強欲と恐怖を認識し、修行に専念することを決意。彼は絵師の手帳を焼き、「システムは完成した」との言葉と共に過去を水に流す決断を固めた。物語は夫婦が危険な計画から手を引き、新たな出発を暗示する温泉街への旅立ちで終了する。

図 11 提案手法で生成したあらすじ

## B. 2 実験 2 :「ごん狐」

ごん狐は、いたずら好きな狐で、中山様が治める村近くに住んでいました。彼は兵十が捕った魚を川に投げ返し、のちにうなぎを盗んで逃げようとしているところを発見されますが、逃走中にうなぎに首を絡まれ、ハプニシグに見舞われました。兵十の母の葬式に参列する兵十を見て、ごん狐は自らのいたずらで兵十の母にうなぎを食べさせられなかったことに罪要感を感じます。彼は貣しい兵十に同情し、こっそりと食料を持っていくことで援助を始めますが、盗人と間違えられて兵十に殴られます。最終的に、ごん狐は兵十によって撃たれ、兵十はごんが以前から親切に食べ物を差し入れていたことを知り、事実にショックを受けます。

図 12 ベースラインで生成したあらすじ

昔、中山の小城の近くの山にいた孤独でいたずら好きのごん狐は、ある日兵十の漁獲を川に戻したものの、兵十の願いであった母のための最後のうなぎを返す機会を奪うと気づき悲しみに沈んた゚。兵十に同情したごん狐は彼にいわしを贈つたが、兵十は誤解から傷つけられる。心優しいごん狐は兵十と加助に栗や松茸を与えて善意を示そうと努め、二人が話す不思議な事件に興味を持ちます。好奇心旺盛なごん狐は吉兵衛の家で行われる集会とお経に引かれますが、兵十の家に忍び込んだところを見つかり、過去の出来事を知つて激怒した兵十に撃たれます。兵十は倒れたごん狐の側に積もる栗を見て彼の善意を理解し、怒りを解き撃たれたこんにに同情の情を抱きました。

図 13 提案手法で生成したあらすじ