# 共参照情報を活用した映画のあらすじ要約生成

川原田将之 $\dagger$ 長谷川駿 $\dagger$ 上垣外英剛 $\dagger$ 高村大也 $\dagger$ 奥村学 $\dagger$
$\dagger$ 東京工業大学 $\S$ 産業技術総合研究所
\{kawarada@lr., hasegawa.s@lr., kamigaito@lr., takamura@, oku@\}pi.titech.ac.jp

## 1 はじめに

インターネット上の映画情報サイトでは，様々な 映画のあらすじを読むことができる。その中には映画内容を詳細に記した長文のあらすじも多く存在す る.しかし，読者には必要最低限の情報が含まれた 簡潔なあらすじを読みたいという需要も大きい。そ こで，本研究では，映画内容が詳細に記載されたあ らすじを自動要約し, 簡潔なあらすじを作成する単一文書要約手法の研究を行う。一般的な文書要約の アプローチには大きく分けて抽出型と生成型が存在 する。しかし，映画のあらすじでは，1文であって も人物に関して詳細な記述がされている場合があ り，文を抽出単位とした抽出型要約では冗長になる ことが予想される。 そのため, 本研究では映画のあ らすじ要約を生成型文書要約として定式化する.

我々が調査したところ，映画をドメインとする要約用データセットは存在していなかった。 そこで まず，映画情報サイトである IMDb (Internet Movie Database $)^{1}$ からデータの収集を行い，映画全体のス トーリーが詳細に書かれたあらすじと，それに対応 した要約文書であるあらすじ要約がぺアとなった映画要約データセットを構築した。

映画のあらすじには，文書要約の研究で広く用い られているニュース記事と比べて，人称代名詞が多用されるという特徴がある。しかし, 現在の生成型要約モデルではそれらを十分に考慮できているとは 言えない。そこで，我々は入力文書のエンコード時 に共参照情報を明示的に活用した要約手法を提案す る.また，本研究で作成した映画要約データセット は，CNN/Daily Mail(以下 CNN/DM) データセット [1] などのニュース記事要約用データセットと比べると 小規模である。そのため，本研究では，ドメインの 異なる大規模な要約データセットでモデル全体の事前学習を行った後，映画要約データセットを用いて fine-tuning を行う.

1) https://www.imdb.com/評価実験において，共参照情報を明示的に活用す る提案手法，そしてドメインの異なる大規模なデー タセットを用いた事前学習による性能向上が，自動評価指標に関し確認された。

## 2 関連研究

単一文書要約に関する研究は幅広く行われている $[2,3]$ が，小説や映画などの物語を対象とした研究 は少ない $[4,5]$.

ニューラルネットワークによる生成型要約は,文書を入力，要約を出力とした Encoder-Decoder モデルをべースとして行われる [6]. 近年で は，BERT (Bidirectional Encoder Representations from Transformers) に代表される事前学習済みエンコーダ $[7,8]$ を文書要約タスクに適応学習する研究が行わ れている。Liu ら [9] は，BERTを用いて文書全体を エンコードした後，Transformer[10] でデコードする ことにより，事前学習済みのエンコーダを使った生成型文書要約を行った。

$\mathrm{Xu}$ ら [11] は，予め文書の談話構造と共参照関係 を表すグラフを作成しておき，BERT から得られた 隠れ状態を Graph Convolution Networks (GCN)[12] で 更にエンコードすることにより，EDU 単位で抽出型要約を行っている．Xu らの研究は，文書の共参照関係を取り入れたモデルであり本研究と近いが，本研究は生成型要約であることから，同じ手法でモデ ルに共参照情報を組み込むことが出来ない。また，用いるデータセットのドメインも異なっている.

## 3 映画要約データセット

映画のあらすじ要約を行うにあたり，映画ドメイ ンの要約データセットの構築をした後，作成した データセットの分析を行う.

## 3.1 データセットの作成

映画データの収集先として映画情報サイトである IMDb を選択した，IMDb は，映画情報をユーザー
表 1 映画要約データセットと CNN/DM データセットの比較

が自由に投稿できるようになっており，ネタバレを 含まず簡潔に書かれた Plot Summaries と映画全体の 内容が詳細に書かれた Plot Synopses の 2 種類のあら すじを投稿することができる.

まず，IMDb が公開している映画の固有 ID リ スト2)に記載されている作品を元に映画データ を収集した. 次に，収集した映画データの中で Plot Synopses にテキストが存在しない作品やPlot Summaries の文書長が Plot Synopses の文書長を上回っている作品を削除し3)，最終的に 27,414 作品 のデータを取得した. そして，作品単位でデータ の分割を行った後, Plot Synopsis をあらすじ, Plot Summaries をあらすじ要約としてデータセットを構築した。

## 3.2 データセットの分析

文書数，入力文書長，出力文書長，人称代名詞 が文書に占める割合のそれぞれについて，映画要約データセットと CNN/DM データセットで比較を 行ったもの先を表 1 に示す. 入力文書長, 出力文書長，人称代名詞が文書に占める割合の值は，全デー タの平均値である.

投稿の規定上, Plot Summaries は複数投稿できる のに対して，Plot Synopsis は 1 作品につき 1 つしか 投稿出来ないため，1つのあらすじに対して複数の あらすじ要約が存在するデータセットとなってい る. train/valid/test セットのそれぞれについて，あら すじは 21,931/2,743/2,740 データであるのに対して, あらすじ要約は $43,281 / 5,461 / 5,529$ データとなって おり, 1 作品あたり平均して約 2 種類のあらすじ要約が存在していることを意味する.

また，各あらすじ文書中に存在する単語の中で 人称代名詞の割合は $7.17 \%$ であった. これは，CNN データセットに含まれる割合よりも 40\%程度高く， DM データセットよりも $30 \%$ 程度高い値である。

2) https://www.imdb.com/interfaces/

3）テキストが存在していても記号のみの場合などは削除した.

4）単語分割には Stanford CoreNLP 3.8.0を用いた.

## 4 提案手法

先行研究 [9]をべースに，共参照情報を明示的に 活用できるよう改良を加えた生成型要約モデルを図 1 に示す. 本手法ではまず，あらすじに対する共参照解析 [13] を行い，共参照グラフ（4.1 節で後述）を 作成する．その上で，あらすじを BERTでエンコー ドした後，グラフエンコーダを用いて共参照グラフ に基づき隠れ状態を更新する。最後に Transformer でデコードを行うことであらすじ要約を生成する。

## 4.1 共参照グラフ

共参照解析とは，文書内で言及されている名詞句等の表現対が同一の対象を指しているか否かを判別 する処理のことである.

共参照関係にある表現は，1 単語から成る表現だ けではなく, 人物名など複数単語から成る表現も存在する。また，BERTの入力はサブワードに分割さ れている必要があり, 1 単語の表現であっても複数 のサブワードから構成されている場合がある.

これらを扱うため，トークン分割後のある表現 $s=\left.\{s_{1}, s_{2}, \ldots, s_{M}\right.\}$ の中で, 最初と最後のサブワー ドである $s_{1}, s_{M}$ をその表現を代表するサブワード $s_{\text {start }}, s_{\text {end }}$ とする ${ }^{5)}$. そして, 同一対象を示す各表現に対して， $s_{\text {start }}, s_{\text {end }}$ 同士をそれぞれ独立して連結する. 最後に，各サブワードに self-loop エッジを 追加することで，サブワードをノードとする共参照 グラフを作成した.

## 4.2 BERT を使ったエンコード

先行研究に従い，前処理として入力テキストをサ ブワードに分割し, 入力の最初に [CLS] ラベル, 各文の最後に $[\mathrm{SEP}]$ ラベルを追加する．その上で，入力 $\mathbf{x}=\left.\{x_{1}, \ldots, x_{n}\right.\}$ は次式によってエンコードされ,隠孔状態 $\mathbf{h}=\left.\{\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}\right.\} \in \mathbb{R}^{d \times n}$ を得る：

$
\left.\{\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}\right.\}=\operatorname{BERT}\left(\left.\{x_{1}, \ldots, x_{n}\right.\}\right) .
$

ここで，dは隠れ状態の次元を表している。
}, s_{\text {end }}\right)=\left(s_{1}, s_{1}\right)$ とする.
}

図 1 共参照情報を活用した生成型要約モデル

## 4.3 グラフエンコーダ

$L$ 層のグラフエンコーダを用いて, BERTから出力 された隠れ状態 $\mathbf{h}$ の更新を行う. $l$ 層目のグラフエ ンコーダの出力を $\mathbf{h}^{(l+1)}=\left.\{\mathbf{h}_{1}^{(l+1)}, \ldots, \mathbf{h}_{n}^{(l+1)}\right.\} \in \mathbb{R}^{d \times n}$ と表すと, $\mathbf{h}_{i}^{(l)}$ から $\mathbf{h}_{i}^{(l+1)}$ への更新は次のように行 われる。

まず，共参照グラフで繋がっているサブワー ド間で情報の交換を行うため，Gated Graph Neural Networks (以下 GGNN)[14] により $\mathbf{h}_{i}^{(l)}$ を $\mathbf{u}_{i}^{(l+1)}$ に変換する。 $\mathbf{u}_{i}^{(l+1)}$ は次の式で計算される：

$
\begin{aligned}
\mathbf{m}_{i}^{(l+1)} & =\sum_{j \in \mathcal{N}(i)} \mathbf{W}^{(l)} \mathbf{h}_{j}^{(l)} \\
\mathbf{u}_{i}^{(l+1)} & =\operatorname{GRU}^{(l)}\left(\mathbf{m}_{i}^{(l+1)}, \mathbf{h}_{i}^{(l)}\right)
\end{aligned}
$

ここで， $\mathcal{N}(i)$ は共参照グラフにおいて $i$ 番目のサブ ワードとエッジで繋がったサブワードの集合であ る. $\mathbf{W}^{(l)} \in \mathbb{R}^{d \times d}$ は $l$ 層目の学習パラメータである. $\mathbf{h}_{i}^{(l+1)}$ は $\mathbf{u}_{i}^{(l+1)}$ と $\mathbf{h}_{i}^{(l)}$ を用い次式で更新される：

$
\mathbf{h}_{i}^{(l+1)}=\operatorname{LayerNorm}\left(\mathbf{h}_{i}^{(l)}+\operatorname{ReLU}\left(\mathbf{u}_{i}^{(l+1)}\right)\right) \text {. }
$

$\mathbf{h}^{(1)}$ には BERT の出力 $\mathbf{h}$ を用い，最終的に $L$ 層目 から $\mathbf{h}^{(L+1)}$ が出力される.

## 4.4 デコーダ

先行研究 [9] と同様に，デコーダにはランダムに 初期化された Transformer[10]を用いる. グラフエン コーダにより出力された隠れ状態 $\mathbf{h}^{(L+1)}$ を使ってあ らすじ要約の生成を行う。

## 4.5 CNN/DM データセットによる事前学習

3.1 節で作成した映画要約データセットは, CNN/DM データセットに比べて規模が小さい. そ
のため，未学習であるグラフエンコーダやデコーダ を含むモデルを映画要約データセットのみで学習す ることは困難である。

そこで，CNN/DMデータセットを用いてグラフエ ンコーダやデコーダを含むモデル全体を事前学習し た後，映画要約データセットによる fine-tuning を行 う. fine-tuning の際には，モデル全体の学習率を低 くすることで事前学習の情報を保ちつつ学習する。

## 5 実験

提案手法の要約性能を評価するため, 先行研究モ デルである BERTSUMABS[9]をベースラインに自動評価による比較実験を行う。

## 5.1 実験設定

先行研究の実装6)を基に実験を行った. GGNN の 実装には，PyTorch geometric ${ }^{7}$ を用いた。実験に必要 なハイパーパラメータは, 基本的にデフォルト值を 用いた. ただし，グラフエンコーダは $L=2$, ドロ ップアウト率 $=0.2$ とした.

CNN/DM 事前学習+映画データ: 事前学習では, BERT の学習率を 0.002, warming-up ステップを 20,000 とし, グラフエンコーダとデコーダの学習率 を 0.2, warming-up ステップを 10,000 とした. 学習 は 200,000 ステップ行い，CNN/DM データセットの 開発データで Perprexity が最も小さいステップの重 みを選択した。そして，選択した重みから更に映画要約データセットで fine-tuning を行う. fine-tuning では，BERT，グラフエンコーダ，デコーダの全てで 学習率を 0.002 , warming-up ステップを 20,000 とし

6) https://github.com/nlpyang/PreSumm

7) https://github.com/rusty1s/pytorch_geometric
表 2 自動評価結果

た上で 50,000 ステップの学習を行った.

映画データのみ：CNN/DM 事前学習の効果を確認 するため, 映画データのみでも学習を行う. 先行研究に従い BERT の学習率を 0.002, warming-up ス テップを 20,000 とした. また, グラフエンコーダ とデコーダの学習率を 0.2, warming-up ステップは 10,000 とした. 学習は 50,000 ステップを行った.

## 5.2 実験結果

先行研究同様, ROUGE-1, -2, -L (R-1, R-2, R-L) [15] による自動評価結果を表 2 に示す. 表には異な る初期値から学習した 3 モデルの平均値を記し, 太字はベースラインに対する差が有意 $(p=0.05)$ であ ることを表す。

映画データのみで学習した場合をみると, ベー スラインと比べて，提案手法は ROUGE スコアが それぞれ $0.27,0.21,0.27$ 改善しており, 共参照情報 によって要約性能が向上したことがわかる。次に， CNN/DM で事前学習を行った場合と映画データの みで学習した場合を比較する. ベースライン同士 の比較で ROUGE スコアがそれぞれ $1.80,0.97,1.28$改善しており, 事前学習の効果は大きいことがわ かる. CNN/DM で事前学習を行った場合において ベースラインと提案手法を比較すると，ROUGE ス コアで $0.20,0.05,0.20$ 改善しており, ROUGE-1 と ROUGE-L では有意な差があった. 事前学習を行っ た場合でも共参照情報は要約性能の向上に寄与して いることがわかる. また，提案手法モデルで共参照 グラフを用いず， self-loop エッジのみをグラフエン コーダに入力するとべースラインよりも悪化した. これは, ベースラインよりもグラフエンコーダ部分 における未学習のパラメータが増加することで，学習が困難になるためであると考えられる。

更に, ベースラインと提案手法の出力例を図 2 に示す. 各モデルの出力の中で，あらすじと対応

図 2 ベースラインと提案手法の出力例

している箇所を青字で示してある。あらすじでは “decide to conceal” の主語は “Harry's relatives” であ るが，ベースラインでは “Harry's parents” となって いる.これは，あらすじの中で直前に "his parents, lily and James Potter” に関する記述があり，一般的に “parents”と “relative” は近い表現であるため，モデ ル側が上手く区別できていないからであると考え られる。一方，提案手法では “his relatives” と正し く出力出来ている.これは, 近い表現であったして も，共参照情報によって人物の区別が容易になった と考えることができる.

## 6 まとめ

本研究では，映画のあらすじ要約を生成型文書要約として行った. 映画ドメインの要約用データセッ 卜を作成し，共参照情報を考慮した生成型要約手法を提案した. ROUGE スコアに基づく評価実験の 結果，提案手法が従来手法を上回り，ROUGE-1 と ROUGE-L では有意に上回っていた. また, 出力文書を比較すると提案手法では人物に関する記述で真実性の改善が見られた。今後は，人手による評価も 交えて提案手法の有効性を確かめたい。

## 参考文献

[1] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In NIPS, 2015.

[2] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1073-1083, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Jiwei Tan, Xiaojun Wan, and Jianguo Xiao. Abstractive document summarization with a graph-based attentional neural model. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1171-1181, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4] Rada Mihalcea and Hakan Ceylan. Explorations in automatic book summarization. In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 380-389, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[5] Anna Kazantseva and Stan Szpakowicz. Summarizing short stories. Computational Linguistics, Vol. 36, No. 1, pp. 71-109, 2010.

[6] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çağlar Guçehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[9] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon,
U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[11] Jiacheng Xu, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourse-aware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, Online, July 2020. Association for Computational Linguistics.

[12] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. CoRR, Vol. abs/1609.02907, , 2016.

[13] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 188-197, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[14] Yujia Li, Daniel Tarlow, Marc Brockschmidt, and Richard Zemel. Gated graph sequence neural networks, 2015. cite arxiv:1511.05493Comment: Published as a conference paper in ICLR 2016.

[15] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.
 川原田将之 $\dagger$ 長谷川駿 $\dagger$ 上垣外英剛 $\dagger$ 高村大也 $\dagger$ 奥村学 $\dagger$ $\dagger$ 東京工業大学 $\S$ 産業技術総合研究所 \{kawarada@lr., hasegawa.s@lr., kamigaito@lr., takamura@, oku@\}pi.titech.ac.jp  