# 論文要旨を捉えたスライド生成における 割り当て問題の適用

久保谷 善記 ${ }^{1}$ 品川政太朗 ${ }^{2}$ 山本晋太郎 $^{1}$ 鈴木亮太 $^{3}$ 森島繁生 ${ }^{4}$
1 早稲田大学 2 奈良先端科学技術大学院大学
3 産業技術総合研究所 4 早稲田大学理工学術院総合研究所
yoshikikubotani@akane.waseda.jp sei.shinagawa@is.naist.jp
s.yamamoto@fuji.waseda.jp ryota.suzuki@aist.go.jp shigeo@waseda.jp

## 概要

論文の要点を自身の目的に合わせてプレゼンテー ションスライドにまとめることは，情報の発信や共有といった観点から重要性を増してきているが，試行錯誤を求められ労力がかかる問題がある. そこで 本研究では， スライド作成者が，タイトルを指定す ることで，インタラクティブに論文からスライドテ キストを作成できるシステムの実現を目指す。本シ ステムは，与えられたスライドタイトルから論文の 本文を検索して抽出するモジュールと，検索した文章を端的に要約するモジュールで構成される.こ のような要件を満たす既存手法である Document to Slide (D2S) と比べて, 提案手法では検索文のスライ ドへの割り当てを考慮することで，スライド間での テキストの内容の重複を抑えることに成功した。

## 1 はじめに

要点をまとめて情報発信を行う道具として，プレ ゼンテーションスライド（スライド）と呼ばれる紙芝居形式の資料を作成することが日常的に行われ てきている. 例えば，学会などの研究集会の場で は，研究者は自身の研究成果を発表するために，論文を提出するだけでなく，スライドを用いた口頭発表により研究の要点を伝えることが求められる. ま た，学問分野全体において論文の数が増え続けてお り [1]，論文の著者ではない人々が，論文の要点をス ライドにまとめ, 勉強会の場や Web 上で発信するこ とで，効率的に知見を共有し合うといったことが行 われてきている。近年では, Qiita ${ }^{1)}$ のスライド機能 や, SlideShare ${ }^{2)}$ といった Web 上での共有プラット フォームが充実しており，誰でも手軽にスライドに

1) https://qiita.com/

2) https://www.slideshare.net/
よる知識共有ができるようになってきている.

しかし，論文などの技術的文書のスライド作成 は，経験と技能が求められる，具体的には，発信者 （スライド作成者）がどのような選考・目的を持っ て論文の情報を発信するのか，口頭発表による説明 を前提とするか否か，発表時間やスライドのページ 数に制限があるかどうか，想定する読者・聴衆はど の程度その論文についての前提知識を持つか，など の条件を考慮する必要がある. これらはスライド作成に慣れていない初心者には難しい作業であり，経験を積んだ熟達者でも，一度大枠を作成した上で前述の条件を参照して微調整を繰り返したり，時には 条件自体を修正して作り直すといったことを行う. つまり，スライド化の作業は少なくない労力をかけ て試行錯誤を繰り返す必要のある作業だと言える。

本研究では，このようなスライド作成の難点を低減する方法として，論文をスライド化したいスライ ド作成者が，目的に合わせてスライドのタイトルや キーワードのみを設定するだけで，それらの条件に 沿って半自動で論文をスライド化するインタラク ティブなシステムを提案する．本システムの最終的 な目標は，スライド作成者がこのシステムを使うこ とによって，論文をどのようにスライド化するか手軽に試行錯誤しながらたたき台を作成できるように なることである.

このようなインタラクティブなスライド生成シス テムに求められる要件には，(1)スライドに記載され るテキストが，スライド作成者によって指定された タイトルに沿っていること，(2)そのテキストが端的 にまとまっていること, (3)内容の重複が必要以上に 起こっていないこと，の三つが挙げられる．論文の 図や文章のスライドへの配置の仕方も最終的には考慮すべき重要な課題であるが，たたき台として大ま

かな構成を決めるための試行錯誤の段階では考慮し なくとも大きな影響が無いと考え, 本研究ではテキ ストのみに着目する。

スライドのタイトルに沿ったテキストを生成す るためには，タイトルと論文本文の内容の相関を適切に測りとり, 関連する文章のみを論文から抽出す る検索器が必要である. また, 端的にまとまったテ キストを生成するには原文の重要な情報をとらえ つつ冗長な部分を排除する要約モデルが求められ る. スライドタイトルに相関のある文章を論文か ら抽出し, 要約したテキストを生成する手法とし て Document to Slide (D2S) [2] が提案されているが， ページ間で過分に検索文が重複されてしまうという 問題があり, 本研究の要求である, 必要以上に内容 の重複がないことを満たせない. そこで，本研究で はページ間の内容の重複を解消しつつ要約スライド を生成する手法を提案する。本研究では検索部分で 新たに組合せ最適化の割り当て問題を解くことで，異なるスライド間で内容が被らないようにスライド を生成できることを示す.

## 2 関連研究

プレゼンテーションを自動で生成しようとする 研究は 2000 年ごろから存在する. 初期のスライド 生成の研究では, 文章の形態素に着目してテキスト からスライド用の箇条書きテキストを生成する研究 [3] や，指定したトピックで Web サイトを検索し てルールベースでスライドテキストを作成する研究 [4] など，ヒューリスティックな設計に依存する モデルが主流であった. また，後年には論文からの スライド生成に対象を絞った研究 [5-7] も登場した. これらの研究では，主に回帰モデルを用いて論文内 の文章間の重要度をスコアリングし, 整数線形計画法（ILP）によってスコアが最大となるような文章 を抽出してスライドのテキストとしていた. 深層学習が主流となった近年では，文章の重要度を得るモ デルとして畳み込みニューラルネットワークやリカ レントニューラルネットワークを使用する研究 [8] が現れたほか, 系列データの相関を捉えることに長 けた self-attentionを用いた言語モデルを利用した研究 $[2,9]$ も存在する.

## 3 提案手法

はじめに，スライドタイトルに沿った内容を論文 から抽出し，それらを端的にまとめたテキストを

図 1: D2S の文埋め込みモデルの概要図

生成する，という目的のため本研究が参考にした Document to Slide (D2S) [2] を説明する.

D2S におけるスライド生成は，スライドページの タイトルをクエリとして論文内の関連する文章を検索する段階と，検索した文章をスライドに載せる上 で適切な長さに要約する段階の 2 段階に分かれてい る. 前半の文章検索の部分では，まずスライドのタ イトルとテキストを用いて文の埋め込み表現を獲得 する文埋め込みモデルを対照学習し, 推論時にはス ライドのタイトルと論文内の文章を入力して類似度 を計測する。この文埋め込みモデルには，学術的な 文書に特化して事前訓練を行なった SciBERT [10] を 採用し, 出力の CLS トークンを $\mathrm{FC}$ 層により 128 次元に圧縮することで埋め込み表現とした. 図 1 に文埋め込みモデルの概要を示す. その後, 各スライド タイトルごとに $\cos$ 類似度の値が高い文章上位 10 個を抽出し，検索結果とする．後半の要約では，検索された文章からスライドに載るテキストを生成で きるように BART [11]をファインチューニングして 使用する。

しかし，D2S の検索のように類似度の高いものを 常に 10 個取得する方法だと, 同じ文章が複数のス ライドタイトルと結び付けられてしまう可能性があ る.これは異なるスライドページで同じ内容が何度 も述べられることを意味しているため検索の仕方と して不適切である. 本研究ではこの検索部分に制約条件付きの割り当て問題を追加することで，スライ ドタイトルに関連する論文内の文章の重複を抑える
方法を提案する．この割り当て問題は，次のように 定式化する.

各スライドのタイトル $q_{i} \in \mathbb{Q}$ に対して，論文内の 文章 $s_{j} \in \delta$ を割り当てることを考える.このとき,前述の SciBERT を用いて，論文の各文・その文章の 属するセクションタイトル・スライドのタイトルの 分散表現 $E_{s}, E_{t}, E_{q}$ を作成する.

$
\begin{aligned}
E_{s} & =\operatorname{linear}_{s}\left(\operatorname{SciBERT}\left(s_{j}\right)\right) \\
E_{t} & =\operatorname{linear}_{s}\left(\operatorname{SciBERT}\left(t_{j}\right)\right) \\
E_{q} & =\operatorname{linear}_{q}\left(\operatorname{SciBERT}\left(q_{i}\right)\right)
\end{aligned}
$

ここで $t_{j}$ は, 論文内の文章 $s_{j}$ が属するセクショ ンのタイトルを表す. 式 (1)-(3)で計算した分散表現をもとに，スライドタイトルと論文の文章間の $\cos$ 類似度は $c_{i, j}$ は次式 (4)のように計算される。

$
c_{i, j}=\left(0.75 E_{s}+0.25 E_{t}\right) \cdot E_{q}
$

また，割り当てるか否かのバイナリ変数を $x_{i, j} \in\{0,1\}$ とすると, 最適化時の目的関数は以下の ように定義できる.

$
\sum_{j} \sum_{i} c_{i, j} x_{i, j}
$

この最適化問題の目的は，重複を抑えつつスライ ドタイトルに関連する論文内の文章を割り当てるこ とであるため，以下の二つの制約を加える。

$
\begin{array}{ll}
\sum_{i} x_{i, j} \leq N & \text { for } \forall j \\
\sum_{j} x_{i, j} \leq M & \text { for } \forall i
\end{array}
$

式 (6) の制約は一つの文章が 3 個以上のスライド に割り当てられないようにする制約，式 (7) の制約 は一つのスライドに割り当てられる文章の最大数を 10 個にする制約である. 本研究では $N=3, M=10$ として実験を行った。

## 4 実験設定

提案手法の有効性を確かめるため，2つの実験を 行った. 1つ目の実験は，指定されたスライドタイ トルから，論文中の関連する文章を検索して抽出す るモジュールの性能を評価するための実験である.各スライドタイトルにつき，上位 10 件の文章を検索する場合と, 割り当て問題を最適化した場合で抽出される文章とで比較した. 評価指標には, 既存手法と同様に逆ドキュメント頻度（IDF）によって重 み付けした ROUGE スコア [2] (付録 A)を用い, 論文表 1: 抽出結果の IDF 重み付け ROUGE スコア

表 2: 生成テキストの ROUGE スコア

内でキーワードとなる単語を抽出できているかどう かを確かめた。

2つ目の実験は, 両手法によって最終的に生成さ れるスライドの文章を評価することで，システム全体としての性能を評価するための実験である．実際 に両手法によって抽出された文章を用いて要約モ デルを訓練し, 生成されたテキストと人手で作ら れたスライドテキストとの類似度を ROUGE スコ アで比較した. また, 生成されたテキストの内容 の重複具合を調べるため, 事前訓練済みの Sentence BERT [12] を用いて, 生成されたスライドのテキス 卜同士の内容重複度を式 (8) で計算した。

$
\text { 内容重複度 }=\frac{1}{n} \sum_{i}^{n} \max _{\left(e_{j}^{(i)}, e_{k}^{(i)}\right) \in S_{i}, j \neq k} \cos \left(e_{j}^{(i)}, e_{k}^{(i)}\right)
$

内容重複度は，生成したスライド集合から算出す る. $i$ 番目の論文から生成したスライド集合 $S_{i}$ の全 てのテキストを Sentence BERT でベクトル化し，こ の中の 2 組のベクトル $\left(e_{j}^{(i)}, e_{k}^{(i)}\right)$ の中で, 最も $\cos$ 類似度が高い組合せを， $n$ 報の論文で平均する. 内容重複度は，0 に近いほどスライド間での内容の重複 が少なく, 1 に近いほど重複が多いことに対応する.

## 5 結果

論文中の文章検索モジュールの性能を評価した結果を表 1 に示す. 各スライドタイトルごとに $\cos$ 類似度が上位 10 件の文章を抽出する手法（D2S）で は, Recall が優位であった一方で, Precision では提案手法の割り当て問題最適化による抽出が優位で あった。

上位 10 件を抽出する場合に対して，割り当て問題最適化による Recall が下がったのは, 割り当て問題の適用によって, 論文のスニペット数の数が限ら
表 3: 提案手法により重複が抑えられた例（Ziqiang ら [13] の論文を使用）

## [ページ 2] “Seq2seq Summarization”というタイトルのスライドに対する結果

 &  \\

れている場合に，スライド数あたりに割り当たるス ニペット数が減少したためであると考えられる．実際に平均抽出数は D $2 \mathrm{~S}$ が 10 件であるのに対し，割 り当て問題最適化の場合は 8.5 件であった.

2 つ目の実験結果を表 2 に示す. ROUGE スコア による評価では，既存手法の方が人手のスライドテ キストの内容を再現できていたことがわかる. しか し，個々の生成文の結果を見ると，提案手法により スライド間での生成テキストの重複が削減できた ケースが確認できた。表 3 にその一例を示す. この 表では，ある論文のスライド 2 ページ（ページ 2 と ページ 4）に対して，既存手法と提案手法が生成し たテキスト，および実際に人手によって作成された テキストを比較している。ここで，システムが提案 するテキストが人手のスライドテキストの内容と一致する部分には，内容ごとに別色で色付けをしてい る。また，太字の部分はスライド間での内容の重複 を表している。

実際に，ページ 2 とページ 4 で上位 10 件の文章を 抽出した場合の生成結果を比べると，太字部分に明 らかな重複が見られる．結果として，既存手法では ページ 2，ページ 4 の両方で実際のスライドテキス 卜の内容を再生できていないことがわかる. 一方で 提案手法では，ページ２の結果には実際のスライド テキストと一致する内容は見られないものの，ペー表 4: 生成テキストの内容重複度

ジ 4 では高い精度で人手のスライドテキストの内容 を再生できていた。

また，両手法の内容重複度の平均値を表 4 に示 す. 提案手法は単語・フレーズ単位では人手のスラ イドテキストを既存手法に比べて再現できていない が，内容の重複を抑えることに成功していることが 分かる.

## 6 おわりに

本研究では，初心者経験者を問わず労力のかかる スライドテキストの生成を，論文から半自動的に行 うシステムを目指し，生成されたスライドの内容重複を抑える手法を提案した．実験では， $\cos$ 類似度 を用いたスコアリングをもとに割り当て問題の最適化を行うことで，重複の少ないスライドテキストの 生成することに成功した。一方で, ROUGE スコア による生成テキストの評価では既存手法にやや劣っ ており課題が残る. 今後の発展としては，抽出する 論文の文章の長さを情報量や文脈を考慮して調整す ることや，文章の重複ではなく内容の重複を排除す る検索手法を提案することが考えられる。

## 参考文献

[1] Lutz Bornmann and Rüdiger Mutz. Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references. Journal of the Association for Information Science and Technology, Vol. 66, No. 11, pp. 2215-2222, 2015.

[2] Edward Sun, Yufang Hou, Dakuo Wang, Yunfeng Zhang, and Nancy X.R. Wang. D2S: Document-to-Slide Generation Via Query-Based Text Summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021.

[3] Tomohide Shibata and Sadao Kurohashi. Automatic Slide Generation Based on Discourse Structure Analysis. In International Conference on Natural Language Processing, Vol. 3651, pp. 754-766, 2005.

[4] Mostafa Shaikh, Mitsuru Ishizuka, and Md Tawhidul Islam. 'Auto-Presentation': a multi-agent system for building automatic multi-modal presentation of a topic from World Wide Web information. In IEEE/WIC/ACM International Conference on Intelligent Agent Technology, pp. 246-249, 2005.

[5] Yue Hu and Xiaojun Wan. PPSGen: Learning-Based Presentation Slides Generation for Academic Papers. Knowledge and Data Engineering, IEEE Transactions on, Vol. 27, pp. 1085-1097, 2015.

[6] A. Ashray Bhandare, Chetan J. Awati, and Sonam Kharade. Automatic era: Presentation slides from Academic paper. International Conference on Automatic Control and Dynamic Optimization Techniques, pp. 809-814, 2016.

[7] Sida Wang, Xiaojun Wan, and Shikang Du. Phrase-based presentation slides generation for academic papers. In Thirty-First AAAI Conference on Artificial Intelligence, pp. 196-202, 2017.

[8] Athar Sefid, Jian Wu, Prasenjit Mitra, and C. Lee Giles. Automatic Slide Generation for Scientific Papers. In SciKnow@K-CAP, 2019.

[9] Tsu-Jui Fu, William Yang Wang, Daniel McDuff, and Yale Song. DOC2PPT: Automatic Presentation Slides Generation from Scientific Documents. arXiv preprint arXiv:2101.11796, 2021.

[10] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: Pretrained Language Model for Scientific Text. In Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, 2019.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[12] Nils Reimers and Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. In Empirical Methods in Natural Language
Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

[13] Ziqiang Cao, Wenjie Li, Sujian Li, and Furu Wei. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, 2018.

## A IDF 重み付け ROUGE スコア

4 で言及した，逆ドキュメント頻度（IDF）によっ て重み付けされた ROUGE スコアの計算式を追記し ておく. $\operatorname{idf}(w, D)$ をある単語 $w$ のドキュメント $D$ に対する IDF， $|D|$ を $D$ に含まれる文章の総数， $n_{w}$ を単語 $w$ が $D$ のうち何個の文章に含まれるかの回数とするとき，IDFにより重み付けされた ROUGE スコアは次式 (9)-(12) のように計算される.

$
\begin{aligned}
& \operatorname{idf}(w, D)=\log \left(\frac{|D|}{1+n_{w}}\right)+1 \\
& \operatorname{IDF}_{\text {Recall }}=\frac{\sum_{w \in T_{k}^{\text {slide }} \cap T_{l}^{\text {picked }}} \operatorname{idf}(w, D)}{\sum_{w \in T_{k}^{\text {slide }}} \operatorname{idf}(w, D)}
\end{aligned}
$

$
\begin{aligned}
& \mathrm{IDF}_{\text {F-measure }}=\frac{2 \cdot \mathrm{IDF}_{\text {Recall }} \cdot \mathrm{IDF}_{\text {Precision }}}{\mathrm{IDF}_{\text {Recall }}+\mathrm{IDF}_{\text {Precision }}}
\end{aligned}
$

ここで今回の設定では，ドキュメント $D$ は論文で ある.また， $T_{k}^{\text {slide }}$ は人手によって作成されたスライ ドのテキストに含まれる単語集合を， $T_{l}^{\text {picked }}$ は検索 モジュールによって抽出された論文の文章に含まれ る単語集合を表している。
 久保谷 善記 ${ }^{1}$ 品川政太朗 ${ }^{2}$ 山本晋太郎 $^{1}$ 鈴木亮太 $^{3}$ 森島繁生 ${ }^{4}$ 1 早稲田大学 2 奈良先端科学技術大学院大学 3 産業技術総合研究所 4 早稲田大学理工学術院総合研究所 yoshikikubotani@akane.waseda.jp sei.shinagawa@is.naist.jp s.yamamoto@fuji.waseda.jp ryota.suzuki@aist.go.jp shigeo@waseda.jp  