# ユーザーの操作性を考慮した論文要約スライドの半自動生成

久保谷 善記 $^{1}$ 森島 繁生 ${ }^{2}$
1 早稲田大学 2 早稲田大学理工学術院総合研究所
yoshikikubotani@akane.waseda.jp shigeo@waseda.jp

## 概要

スライドには，視覚的要素を用いた説明により認知負荷を下げ，聴衆の理解を促す効果がある．その ため，日頃から難解な内容を説明する必要のある研究者にとって，論文をスライドに要約し発表する機会は少なくない.しかし，研究者は研究作業や論文執筆などに時間が取られるため，スライド作成に割 く十分な時間を確保できない場合がある. 本研究で は，このような問題を解決するため，論文からスラ イドを半自動で生成するシステムを提案する。作成者の裁量で自動化の度合いが調節できるよう，任意 の作成段階からのスライド生成を実現する.

## 1 はじめに

コミュニケーションにおいては，視覚的な情報を 用いることで，相手に対して自身の考えや意見を正確かつ効果的に伝達することができる．実際に，意思伝達を行う際には文章，音声，図表など様々な媒体が使用されるが，伝える内容が複雑な場合には，記述情報と視覚的情報を組み合わせることで，より 円滑なコミュニケーションが期待できる. プレゼン テーションスライド（スライド）はこれら二つの情報を統合して扱うことのできる代表的な媒体として 知られているが，コンパクトなテキスト（記述的情報）とその配置（視覚的情報）を用いることで聴衆 の認知負荷を下げることができるため，教育現場で ある学校から職場まで幅広く使われている。

同様の理由で，学術的な場における意思伝達にも スライドは頻繁に使用されており，難解な内容を多 く扱う研究者にとって必要不可欠な媒体である. 特 に，学会や研究室，輪読会・勉強会といった場にお いては，研究者は自身の研究や技術的文書から得た 情報など，高度に専門的な内容の発表・共有を行う 必要があるため，記述のみでは理解困難な内容を他 の研究者に伝える手段として，スライドは重宝され ている.
このように，研究者にとってスライドは情報発信 に欠かせない媒体であるが，その作成には多くの時間と労力を要する．まず，研究者は日々の研究活動 や論文の調査・執筆などで忙しく，スライドの作成 に十分な時間をかけることは難しい。特に，近年は 広く学問領域全体で論文数が増加しており，最新の 手法に追随するために必要な論文調査の量は膨大で ある [1]. また，専門的な内容をわかりやすくスラ イドとしてまとめるには経験と技術を要する．具体的には，作成者がどのような目的で情報発信を行う のか，聴衆がどの程度の前提知識を持っているか，発表時間や全体のページ数に制約はないかなどの条件を考慮する必要があり，全ての条件を満たすよう にページごとの説明の粒度や構図の配置を決定する には，経験者であっても試行錯誤を要する。

近年は，スライド作成にかかる労力を低減させる ベく，論文要旨をとらえたスライドの自動生成に関 する手法が提案されてきた。しかしその多くは，ス ライドテキストの生成に主眼を置き要素の配置を適切に扱っていない [2-5], または逆にレイアウトの 生成のみを扱っている [6] などの制約があり，テキ ストとレイアウト両者の情報を同時に扱うことに は課題が残る. また，両者を同時に扱っている研究 も，論文からスライドを生成する過程に人間が関与 することは考慮しておらず，作成者の意図や好みを 反映した自由度の高い生成は実現できていない [7].

本研究では，多忙な研究者のスライド作成を補助 する目的で，論文からスライドを半自動で生成する システムを提案する．スライド作成者の熟練度やデ ザイン嗜好によって自動化の度合いが調節できる よう，タイトルのみが与えられた状態からだけでな く，追加で任意のスライド要素が与えられた状態か らのスライド生成を実現する。

## 2 関連研究

スライドの自動生成に関する議論は，主として自然言語処理分野において論文の要旨要約という視点

図 1 : 提案手法の概要図

から行われてきた. 2000 年代初頭の初期の研究に おいては，形態要素分析や決定的なルールによるス コアリングなどを用いて，スライドに載せるに相応 しい長さのテキストを作成する研究 $[3,8]$ が主流で あった. その後は，サポートベクター回帰 (SVR) な どの回帰モデルを訓練することで論文中の文章の重要度を学習し, 整数線形計画法 (ILP) によってスラ イドに割り当てるという手法が広く用いられるよう になった [4,5,9]. また近年では, Encoder-Decoder型 のニューラルネットワークを用いた抽象型要約によ る研究が提案されている $[2,7]$. しかし, 上記の先行研究には，取得したテキストをルールベースで配置 していたり, テキストと図以外の要素をレイアウト 生成の対象には含めていないといった問題がある。

## 3 提案手法

以降の議論のため，ここで本稿内で使用する記号について説明する. 論文 $P_{i}$ とそれと対を成すス ライド $D_{i}$ の集合を $\left.\{P_{i}, D_{i}\right.\}_{i=1}^{I}$ と置く.この時，ス ライド $D_{i}$ が $J$ 枚のスライドページからなるとする と, $D_{i}=\left.\{P_{j}\right.\}_{j=1}^{J}$ である. また，スライドページ $P_{j}$内に配置される $N$ 個の要素は, クラス $C_{n}$, サイズ $\left(W_{n}, H_{n}\right)$, 位置 $\left(X_{n}, Y_{n}\right)$ の 3 属性によって表現され るとする。ここでクラスとは，タイトルテキストや 箇条書き, 図や表というように, 配置される要素が スライド内でどのような役割を果たすかを簡潔に表 すものである．スライドの要素がテキストを含むク
ラスに属する場合，そのテキストは $T_{n}$ で表記する。論文の文章については，4 文を 1 つのスニペット $S$ として定義し, 文章単位でなくスニペット単位で論文のテキストデータを扱った。従って, 論文 $P_{i}$ が $K$ 組のスニペットからなるとすると, $P_{i}=\left.\{S_{k}\right.\}_{k=1}^{K}$ となる。なお，過度に複雑な表記を避けるため明示的に記載はしていないが，スニペット数 $K$ やスライ ドページ数 $J$ は論文やスライドごとに異なるため $i$ に依存し，スライドページ内の要素の数 $N$ はページ ごとに異なるため $i$ と $j$ に依存している.

ある論文からその要旨を捉えたスライドを生成す る際には，以下の 3 つの点に配慮して作成する必要 がある.

1. 現在のスライドページに論文のどの内容が載る べきか

2. 載るべき内容に沿って，スライドページをどの ようなレイアウトとするか

3. レイアウトをもとに，実際にどの程度の粒度の テキストを載せるか

これらの要件をもとに，我々は図 1 に示すような Attention 機構を用いたモデルを提案する. まず要件 1 を満たすための前処理として，スライドページに 関連するスニペットを論文から取得する。具体的に は，式 (1), (2)に示すように，事前学習済みの言語 モデルを使って論文のスニペット $S_{k}$ と各スライド ページのスライドタイトル $T_{n}$ s.t. $C_{n}=$ title のそれ

ぞれから埋め込み $\boldsymbol{E}_{s}^{(k)}, \boldsymbol{E}_{t}^{(n)}$ を取得する. その後,式 (3)のように埋め込み同士で内積を取り，各スラ イドページ $P_{j}$ ごとに内積スコア $R_{k j}$ の上位 20 個の スニペットを用意する．スライドページの内容を最 も端的に表すのはスライドタイトルであるため,こ の操作によって論文からスライドページに関わりの ある情報だけを抽出できる。なお，埋め込み表現獲得のための言語モデルには Sentence-BERT [10]を使用した.

$
\begin{aligned}
\boldsymbol{E}_{s}^{(k)} & =\operatorname{Sentence-\operatorname {BERT}(S_{k})} \\
\boldsymbol{E}_{t}^{(n)} & =\operatorname{Sentence-} \operatorname{BERT}\left(T_{n}\right) \quad \text { s.t. } C_{n}=\text { title } \\
R_{k j} & =\boldsymbol{E}_{s}^{(k)} \cdot \boldsymbol{E}_{t}^{(n)}
\end{aligned}
$

提案モデルは大まかに 2 つのモジュールに分か れており，それぞれレイアウト生成と論文要旨要約を担当する.レイアウト生成モジュールでは， Gupta らの研究 [11] に倣い，部分的にマスクされ た系列 $\left[C_{1}, W_{1}, H_{1}, X_{1}, Y_{1}, \cdots C_{N}, W_{N}, H_{N}, X_{N}, Y_{N}\right]$ の 回帰問題としてレイアウト生成を定義した. ネッ トワークには Xiang ら [12] の提案する双方向型の Transformer Encoderをベースとして用いており, 系列内での関係を Self-Attention 機構によって捉えてい る. また, 要件 2 で述べたように, 各スライドぺー ジのレイアウトはそのページに載る内容に依存す るべきである. 従って，論文要旨要約モジュールの Encoder の出力とレイアウト生成モジュールの隠れ 状態との間で Cross-Attention を取ることで，前処理 で取得した内積スコア上位 20 組のスニペットとレ イアウトとの関係を捉えている。一方, 論文要旨要約モジュールには，訓練済みの BART [13]をべース としたネットワークを用いている. 要件 3 を満た すために，レイアウト生成モジュールで推定され たレイアウトのクラス $\hat{C}_{n}$, サイズ $\left(\hat{W}_{n}, \hat{H}_{n}\right)$, 位置 $\left(\hat{X}_{n}, \hat{Y}_{n}\right)$ の埋め込みと BART の Decoder の隠れ状態 との間で Cross-Attentionを取っている.このように することで，Decoder は推定されたレイアウトの情報を参照しつつ文章要約を行うことが可能になる。

上記のアプローチでは，レイアウト系列のマスク の割合により，スライドの初期状態の調節が可能で ある. 従って，目的や好みに合わせてスライド内の 要素の数やクラス，サイズや位置を自由に編集する ことで，スライド作成者は生成過程に直接関与する ことができる.表 1 : 生成レイアウトの要素重複度比較

表 2: 生成-正解レイアウトの類似度比較

## 4 実験設定

提案手法の有効性を検証するためには，論文の テキストと，それに対応するスライドのテキスト とレイアウトのすべてを含むデータセットが必須 である。しかし，我々が調べた限りでは，そのよう なデータセットは公開されていなかった. 従って， ACL Anthology ${ }^{1)}$ で公開されている発表資料から，小規模なデータセットを作成して実験を行った. データセットは 24 報の OCR された論文と，それに 対応する同数のスライドからなる．総計 2885 個の スライドの要素はタイトル，箇条書き，見出し，そ の他テキスト，図，表，アイコンの 8 クラスのいず れかでアノテーションされており，これを訓練とテ ストでデータを $4: 1$ に分割して実験に用いた。

実験は，レイアウト生成モジュールと論文要旨要約モジュールの機能を確認するために，生成された レイアウトとテキストについて行った. レイアウト については，異なる作成段階から生成した結果を， 2 つの指標で評価した. 具体的には，(a) タイトルの み指定，(b) タイトルとその他の要素のクラスを指定，(c) タイトルとその他の要素のクラス・サイズ を指定，の3つの作成段階を初期状態としてレイア ウトを生成した. 生成されたレイアウトにおける要素同士の重複具合を確認するための指標として，式 (4) に示されるスライドページごとの IoUを算出し， その平均値をもって比較した。また，レイアウト類似度 [14] を用いることで，生成レイアウトと正解レ イアウトの間の類似度を評価した。これは，クラス やサイズ，位置をもとに 2 つのレイアウトの要素間 で関連度を算出し, 関連度が最大となるマッチング の結果から，レイアウト全体としての類似度を 0 か

target

title

図 2: レイアウト生成結果の描画

表 3: 生成-正解テキストの類似度比較

ら1 のスコアで表す指標である.

$
\mathrm{IoU}_{j}=\frac{P_{j} \text { 内の要素が重複した領域 }}{P_{j} \text { 内の要素が存在する領域 }}
$

テキストについては，生成されたテキストと正解 スライドテキストの類似度を ROUGE スコアで比較 した. なお，生成テキストと正解テキストとの対応 が取れなければ指標の計算ができないため, 論文要旨要約モジュールに渡すレイアウトの情報には，レ イアウト生成モジュールの生成結果ではなく正解レ イアウトを使用した。

## 5 結果

スライド要素のページ内重複度とレイアウトの 類似度のそれぞれについて，3つの作成段階を初期状態として比較した結果を表 1 ，表 2 に示す. 表 2 の結果から, 完成に近い状態から生成を始めること で，正解レイアウトに近いレイアウトを生成できて いることがわかる。一方で, 要素の重複度は条件を 与えて生成することで増加した. これは, ページ内 の領域を多く占める可能性のあるクラスの要素が強制的に配置され, 要素同士がより重なりやすくなっ たことが原因と考えられる。

また，生成されたスライドテキストが正解テキス トとどれくらい類似していたかの結果を表 3 に示 す. Precisionに比べて Recall が高いが，これは生成 されたスライドテキストが正解テキストに比べて長いためである。実際に，評価に使用したデータに ついて, 生成テキストと正解テキストの平均単語数 を計算したところ，前者は 50.63 words，後者は 7.52 words であった. また 2-gram についての ROUGE ス コアが低いことから，生成テキストは正解テキスト に含まれる 2 語以上のフレーズを再現することがで きていないことがわかる.

最後に，各条件のもと生成されたレイアウトと正解レイアウトを描画して比較した結果を図 2 に示し た. 条件が増えるごとに正解に近いレイアウトが生成できていることが見て取れる。ここではスペース の都合上載せていないが，要素の数が多い場合や複雑なレイアウトを持つ場合には，規則性のない配置 になってしまっていた。これは，データ数が 1500 程度の小規模なデータを使用していたため，スライ ドのデータ分布が持つ特徴を完全には学習できな かったことを示している.

## 6 おわりに

本研究では，研究者にとって不可欠なスライドの 作成コストを下げるため，論文からスライドを半自動で生成可能なシステムを提案した. レイアウトと テキストの両者を互いに考慮した生成を可能にする ため，Attention 機構を用いたモデルを採用し，評価 のため小規模なデータセットを作成して実験を行っ た. 実験では，小規模なデータセットを用いたこと から，全体として性能は高くはなかったものの，任意の編集段階からスライドを生成可能なモデルの 可能性を示した. 今後の課題として，より大規模な データセットを用いて実験を行うことや，より多様 な種類のモーダルを考慮した生成の仕組みを模索す ることが挙げられる.

## 参考文献

[1] Lutz Bornmann and Rüdiger Mutz. Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references. Journal of the Association for Information Science and Technology, Vol. 66, No. 11, pp. 2215-2222, 2015.

[2] Edward Sun, Yufang Hou, Dakuo Wang, Yunfeng Zhang, and Nancy X.R. Wang. D2S: Document-to-Slide Generation Via Query-Based Text Summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021.

[3] Tomohide Shibata and Sadao Kurohashi. Automatic Slide Generation Based on Discourse Structure Analysis. In International Conference on Natural Language Processing, Vol. 3651, pp. 754-766, 2005.

[4] Yue Hu and Xiaojun Wan. PPSGen: Learning-Based Presentation Slides Generation for Academic Papers. Knowledge and Data Engineering, IEEE Transactions on, Vol. 27, pp. 1085-1097, 2015.

[5] Athar Sefid, Jian Wu, Prasenjit Mitra, and C. Lee Giles. Automatic Slide Generation for Scientific Papers. In SciKnow@K-CAP, 2019.

[6] Chuhao Jin, Hongteng Xu, Ruihua Song, and Zhiwu Lu. Text2Poster: Laying Out Stylized Texts on Retrieved Images. In IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4823-4827, 2022.

[7] Tsu-Jui Fu, William Yang Wang, Daniel McDuff, and Yale Song. Doc2ppt: Automatic presentation slides generation from scientific documents. Vol. 36, No. 1, pp. 634-642, 2022 .

[8] Mostafa Shaikh, Mitsuru Ishizuka, and Md Tawhidul Islam. 'Auto-Presentation': a multi-agent system for building automatic multi-modal presentation of a topic from World Wide Web information. In IEEE/WIC/ACM International Conference on Intelligent Agent Technology, pp. 246-249, 2005.

[9] A. Ashray Bhandare, Chetan J. Awati, and Sonam Kharade. Automatic era: Presentation slides from Academic paper. International Conference on Automatic Control and Dynamic Optimization Techniques, pp. 809$814,2016$.

[10] Nils Reimers and Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. In Empirical Methods in Natural Language Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

[11] K. Gupta, J. Lazarow, A. Achille, L. Davis, V. Mahadevan, and A. Shrivastava. LayoutTransformer: Layout Generation and Completion with Self-attention. In Proceedings of the International Conference on Computer Vision, pp. 984-994, 2021.

[12] Xiang Kong, Lu Jiang, Huiwen Chang, Han Zhang, Yuan Hao, Haifeng Gong, and Irfan Essa. BLT: Bidirectional Layout Transformer for Controllable Layout Generation. In Proceedings of the 17th European Conference on Computer Vision, pp. 474-490, 2022.
[13] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[14] Akshay Gadi Patil, Omri Ben-Eliezer, Or Perel, and Hadar Averbuch-Elor. READ: Recursive autoencoders for document layout generation. In CVPR 2020 Workshop on Text and Documents in the Deep Learning Era, 2020.
 久保谷 善記 $^{1}$ 森島 繁生 ${ }^{2}$ 1 早稲田大学 2 早稲田大学理工学術院総合研究所 yoshikikubotani@akane.waseda.jp shigeo@waseda.jp  