# 指定要約長に応じたソフトな内容選択による要約長操作可能な End-to-End 要約

楢木悠士 ${ }^{1}$ 小林 哲則 ${ }^{1}$ 林 良彦 ${ }^{1}$
1* 早稲田大学理工学術院 yuji.1277@akane.waseda.jp

## 概要

指定した長さに応じて適切な要約を生成する技術 への要請が高まっている. 本研究では，任意の指定要約長 $k$ が与えられたとき，原文書中のトークンの 重要度を評価し，それに応じてソフトマスクをかけ ることで埋め込み表現を調整する機構 SumTop- $k$ を 提案する. SumTop- $k$ は, 要約長操作のための制約 なしで，要約タスクによる End-to-End 学習によって 要約長の制御を可能にした. 評価実験の結果，提案手法は既存手法と同等以上の要約性能を達成した。本稿ではさらに, SumTop- $k$ 内で計算されるトーク ンごとのスコアが生成される要約に与える影響を分析し，これらを意図的に変化させることで生成要約 の内容を操作できる可能性を示す.

## 1 はじめに

自動要約に関する研究は多く, 要約技術の応用例 も増えてきている．我々は，要約技術の実用化に向 けて必要となる要約長の操作に注目する. 長さ制御可能な要約は, 所望の長さの簡潔で流暢な要約を生成することを目的としている．その技術は，各デバ イス，デザイン，ユーザに応じた適切な長さの要約 を提供するために，ユーザエクスペリエンスの観点 から求められている. 要約に含めるべき情報量や粒度は，指定要約長によって異なるため，このタスク は単に長さを制御するだけでは機能しない。した がって, 要約長操作可能な要約システムでは, 生成 されるテキストの長さを制御するだけでなく, 要約 に含めるべき情報を適切に選択する必要がある.本論文では，指定される任意の要約長 $k$ に対し て原文書中のトークンの重要度を評価し，それに 応じて埋め込み表現を調整するソフトマスク機構 SumTop- $k$ を提案する. ソフトマスク生成には微分可能な top-k 演算 [1] を用いることで, End-to-End 学習を可能にする。これは，内容選択機能を独立した抽出型要約モデルによって実現する既存研究 [2] に おける End-to-End 学習ができないという問題を解決 する。

BART の Encoderに提案手法の SumTop- $k$ を組 み込み，生成要約の品質と長さの操作性を CNN DailyMail とXSum データセットを用いた実験によ り評価した. その結果，提案手法は既存手法と同等以上の要約性能を達成しつつ，要約長の制御が可能であることを確認した。特に CNN DailyMail デー タセットにおいては BART や要約長操作可能な既存研究と比べて最も高い ROUGE スコアを達成し, XSum データセットでは，BART と同程度の ROUGE スコアを示した. さらに，SumTop- $k$ 内で計算され るトークンごとのスコアが生成される要約に与える 影響を分析し, SumTop- $k$ 内のトークンスコアは生成要約に含まれるトークンと相関があることを示 した.この結果を受け，SumTop- $k$ のスコアの順位換えによって，要約の内容を操作する可能性を検討 した.

## 2 関連研究

要約長操作に関連する既存研究では, 要約生成時 に制御を行う手法が提案されてきた。菊池ら [3] は 指定要約長までの残りの長さの埋め込みをモデル に入力することで，高瀬と岡崎 [4] は残りの長さを Transformer の位置埋め込み表現に追加で埋め込むこ とで要約長を操作した. Yu らは推論時に指定要約長の埋め込み表現を単語予測層の前に連結すること で，要約長の制御を実現している [5]. しかし，指定要約長の情報をモデルに与えるだけでは，指定要約長に応じて適切に要約の内容を変化させることは困難である。すなわち，指定要約長に応じた内容選択 が必要となる.

斉藤らは，抽出型要約モデルを用いて原文書から 情報を選択し，原文と抽出されたトークンを抽象型要約モデルに入力する方式を提案した [2]. このア

プローチは，要約長の操作性と高い ROUGE スコア を達成したが，情報選択のための抽出型モデルが End-to-End に学習ができないため, 性能上のボトル ネックになっていると考えられる。一方，Liu らは 内容選択に注力した手法を提案した [6]. このモデ ルでは，まず合成データによる事前学習によって内容選択機能を実現し, 元のデータセット上で全体の 要約タスクでの学習を行う. さらに, 指定要約長付近で EOS トークンを高確率で生成するために， decoder における Attention スコアを指定要約長まで の残りの長さに応じて調整している. この Attention スコアの調整方法は, 生成要約長の操作に有効であ るが, 生成要約の品質の観点からは多分に強引であ ると考えられる。

我々は，原文書に対して，指定要約長 $k$ に応じた ソフトマスクをかける機構 SumTop- $k$ を提案する.

SumTop- $k$ は，内容選択に関する機能を End-to-End 学習が可能なモデルとしながら, Liu らのように直接的な確率調整を行わずに要約長制御を可能とする 方法である.

## 3 提案手法: SumTop- $k$

本節では，指定要約長 $k$ に応じたソフトマスク を原文書にかける機構 SumTop- $k$ の構成について 述べる. 我々は, 文書要約モデルとして EncoderDecoder 型モデルの代表格である BARTを採用する. SumTop- $k$ モジュールは, BART の Encoder の最終層 を置き換えるものであり，SumTop- $k$ の入力にソフ トマスクをかけた埋め込み表現を出力する. 埋め込 み表現の shape は, [batch_size, src_len,embed_dim] である.

Encoder 最終層における適用方法については複数 の可能性があるが，本研究では図 1 に示す 2 つの 適用方法について実験を行った. Query (図 1 の (a)) は, Self-Attention の Query の入力に SumTop- $k$ を適用 したもので，原文書とマスクした表現の間の SourceTarget Attention のような処理になる. After_Attn (図 1 の (b)) は, SumTop- $k$ を Self-Attention の後の埋め込 み表現に適用することを意味し, Encoder の出力に より直接的な影響を与える。

SumTop- $k$ モジュールのアーキテクチャを図 2 に示す. SumTop- $k$ は 3 段階の処理を持つ. 初 めに, Self-Attention と 1 層の線形層を用いて, [batch_size,src_len, 1] の shape をしたトークンごと のスコアを計算する，次に，トークンごとのスコア

(a)

(b)図1SumTop- $k$ の適用方法.（a）と（b）はそれぞれQuery とAfter_Attnを表す。

を要約生成のための重要度だと捉え，それに応じた ソフトマスクを微分可能な top-k 演算 [1] を用いて 生成する. 最後に SumTop- $k$ は元の入力表現にソフ トマスクをかけた表現を出力する. SumTop- $k$ は完全に微分可能であり，モデルの学習時にどのような トークンのスコアを高くすべきかなどの追加の制約 は与えられることはない，よって，SumTop- $k$ がど のように原文書の表現を調整するかは，モデル全体 の End-to-End の学習に依存する。

## 4 評価実験の設定

CNN DailyMail, XSum という要約研究における 標準データセットを用い, 要約品質と要約長制御 に関する評価を行う。また，図 1 (a)，(b) に示した SumTop- $k$ の 2 つの配置について比較を行う.

CNN DailyMail データセットとXSum データセッ トでは，ビームサイズをそれぞれ 4 と 6 に設定し た.また，ビームサーチ時の n-gram の繰り返し回数の最大値は 2 とした. 手法自体の要約長の操作性 を検証するため，提案手法で検証する際には，要約長の最大・最小の制約は与えない.

比較手法には，文書要約手法である BART および BART+attention head masking (AHM) [7], 要約長操作可能な要約手法である LPAS[2] および PtLAAM[6] を用いる。

要約の品質を測るために ROUGE スコアを，要約

図 2 SumTop- $k$ の構造.

長の操作性を測るために生成要約の平均長と式 1 で 定義される Variance を使用する。なお， $y_{i}$ は参照要約， $y_{i}^{\prime}$ は生成要約， $n$ はテストデータ数, len (.) は 入力に含まれるトークンの数を返す。

$
\mathrm{Var}=0.001 * \frac{1}{n} \sum_{i=1}^{n}\left|\operatorname{len}\left(y_{i}\right)-\operatorname{len}\left(y_{i}^{\prime}\right)\right|^{2}
$

前述したように, SumTop- $k$ の処理で高いスコアを 持つトークンには制約がないため，どのようなトー クンが高いスコアを持つかを確認する必要がある.我々は，ソフトマスクの値が高いトークンは生成要約に現れやすいと仮説立てた。そこで，SumTop-k の操作とモデルの最終出力の関係を分析するため に，トークンの生成要約に対する貢献の度合いを 表す，式 2 に示す指標 Con を提案する. SumTop- $k$ のトークンスコアで上位指定要約長個のトークン $\left(T_{t o p-k}\right)$ を SumTop- $k$ で重要だと判断されたトーク ンと考え, 生成要約に含まれるトークン $\left(T_{g e n}\right)$ に対 するトークンの精度を貢献の度合いとする。

$
\text { Con }=\frac{\operatorname{count}\left(\operatorname{set}\left(T_{\text {top-k }}\right) \cap \operatorname{set}\left(T_{\text {gen }}\right)\right)}{\operatorname{count}\left(\operatorname{set}\left(T_{\text {gen }}\right)\right)} \times 100
$

ここで， $\operatorname{count}(\cdot)$ は入力集合の要素数を返し， $\operatorname{set}(\cdot)$ は大力配列の要素の集合を返す.

## 5 評価実験の結果

## 5.1 要約の品質と要約長の操作性

CNN DailyMail とXSum のデータセットに対して，提案手法と既存手法を評価した結果を表 1 に示す.本実験にける指定要約長は参照要約の長さとした. BART+AHM [7], LPAS [2] と PtLAAM [6] の ROUGE スコアはそれぞれの論文から，LPAS と PtLAAM の Variance は Liu らが示した図 [6] を参照している。

まず，生成要約の品質について考察する. CNN
DailyMail データセットにおいて，提案手法は既存手法と比較して高いROUGE スコアを示した.特に，提案手法はAfter_Attnにおいて，最も高い ROUGE スコアを示した. XSum データセットでは，提案手法はベースラインである BART と同程度の ROUGE スコアを示し，LPASを上回った. XSum で は CNN DailyMail と比較して ROUGE スコアが向上 しなかったが，これは XSum データセットでは CNN DailyMail と比較して正解要約の抽象度が高いから だと考えられる。

次に，要約長の操作性について考察する。両デー タセットにおいて，提案手法はベースラインの BART よりも低い Variance を達成し，より良い操作性を持つことが確認できた，なお，Liu らの報告した BART の Variance と我々の測定した BART の Variance は大きく異なるため，本論文で比較す るには公平でないと考え，提案手法と既存手法の Variance は比較しないこととした.

モデル内部の各トークンのスコアと生成要約の 相関を測る貢献度では，提案手法のトークンスコア は BART の Attention スコアより高い. 特に, CNN DailyMail の SumTop- $k$ After_Attn では，生成要約に 含まれるトークンの $40 \%$ 以上が SumTop- $k$ の上位 $\mathrm{k}$個のトークンスコアに含まれる。これらの結果か ら，提案手法は，要約に含めたいトークンにより他界スコアを与えていることが示唆される。

## 5.2 要約の内容操作の可能性

SumTop- $k$ を用いたモデルにおける要約の内容操作の可能性を検討する. 提案手法による貢献度スコ アが高いことは表 1 に示した通りである.これは， SumTop- $k$ におけるスコアの順位を意図的に変更す ることで，生成要約に現れるトークンが変化する可能性があることを示唆する。 そこで，SumTop- $k$ は 要約の内容を操作することができると仮説立てた。

この仮説を検証するため，ROUGE スコアが低い (我々の分析では ROUGE- 1 で 0.2 以下) テストデー タに対して，意図的に順位を変更した場合の生成要約の変化を観察した。順位換えするトークンは，元 の文書に出現したトークンのうち，正しい要約には 出現するが生成要約には出現しないトークンとし た. さらに，機能語ではなく内容語のみに変更を加 えたいので，原文書に 3 回以上現れるトークンは順位換えの対象から除外した. CNN DailyMail データ セットで SumTop-k の After_Attn を適用した結果に ついて分析を行った. SumTop-k のスコアにおける 順位を調整した後に，再度推論したときの生成要約 がどのように変化するかを ROUGE スコアで比較し た結果を表 2 に示す. 具体的には指定要約長 $k$ が 10 のとき，順位の上げ幅は 10 倍の 100 とした.また， 2 つの事例を表 3 に示す.

表 2 順位換えの前と後の ROUGE スコアの結果.

表 3 SumTop- $k$ のトークンスコアの順位換えによる要約 の変化の事例.

 \\

表 2 から，意図的な順位換えが ROUGE スコアを 向上させたことが確認できる. つまり，この操作に より生成要約の内容が参照要約の内容に近づいた.表 3 の例では，順位換えにより，生成要約に”launch window”に関する説明が含まれるようになった。

## 6 おわりに

我々は，原文書に対して，任意の指定要約長 $k$ に 応じたトークンスコアの算出とそれに伴うソフトマ スクをかける機構 SumTop- $k$ を提案した。提案手法 は End-to-End での学習が可能であり，追加の制約な しに要約の長さを操作することが可能である。

評価実験の結果，提案手法は既存手法と同等以上 の要約性能を達成しつつ，要約長の制御が可能であ ることを確認した．特に CNN DailyMail データセッ 卜においては BART や要約長操作可能な既存研究 と比べて最も高い ROUGE スコアを達成し，XSum データセットでは，BART と同程度の ROUGE スコ アを示した．また，SmTop-k のトークンスコアで上位 $\mathrm{k}$ 個のトークンが，生成要約に含まれるトークン と相関を持つことを確認し，SumTop- $k$ を用いるこ とが生成要約の内容に寄与していることを確認し た. さらに，トークンスコアを意図的に順位換えす ることで，低品質の要約を改善し，生成要約の内容 を操作できることを示した。

このような要約制御の機能は，自動要約技術を実応用する上で重要と考えられる. 今後は，原文書に 現れないトークンが含まれるような抽象的な要約を 生成できる長さ制御可能な要約手法を検討する.

## 参考文献

[1] Yujia Xie, Hanjun Dai, Minshuo Chen, Bo Dai, Tuo Zhao, Hongyuan Zha, Wei Wei, and Tomas Pfister. Differentiable top-k with optimal transport. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 20520-20531. Curran Associates, Inc., 2020.

[2] 斉藤いつみ, 西田京介, 西田光甫, 大塚淳史, 浅野久子,富田準二, 進藤裕之, 松本裕治. 出力長制御と重要箇所 の特定を同時に行う生成型要約. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 3Rin481-3Rin481, 2020.

[3] Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling output length in neural encoder-decoders. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1328-1338, Austin, Texas, November 2016. Association for Computational Linguistics.

[4] Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3999-4004, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Zhongyi Yu, Zhenghao Wu, Hao Zheng, Zhe XuanYuan, Jefferson Fong, and Weifeng Su. LenAtten: An effective length controlling unit for text summarization. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 363-370, Online, August 2021. Association for Computational Linguistics.

[6] Yizhu Liu, Qi Jia, and Kenny Zhu. Length control in abstractive summarization by pretraining information selection. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6885-6895, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[7] Shuyang Cao and Lu Wang. Attention head masking for inference time content selection in abstractive summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5008-5016, Online, June 2021. Association for Computational Linguistics.

## A Case Study

成要約に含まれる。

図 3 原文書と参照要約の例と，BART と 5 種類の異なる 指定要約長での提案手法による生成要約.

図 3 には，CNN DailyMail データセットの原文書 とその参照要約と，BART と我々の提案手法である BART + SumTop- $k$ After_Attnにより， 5 種類の異な る指定要約長の生成要約を示した. 原文書の太字の トークンは SumTop- $k$ のトークンスコアが上位 $\mathrm{k}$ 個 のトークンである.

BART と比較して，提案手法 SumTop- $k$ で指定要約長を参照要約の長さとすると, 要約が短くなり参照要約の長さに近づくことがわかった. 指定要約長が 10 と 30 の生成要約では，ポール・ウォーカー の事故について記述されているが，指定要約長が 50 の要約では, シリーズの新作について，指定要約長が 70 の要約では，製作者の発言について記述 されている.このように，希望する長さによって，要約に含めるべき内容が異なることが確認された. SumTop- $k$ のスコアが上位 $\mathrm{k}$ 個のトークン（太字部分）について前述の貢献度の結果からわかるよう に, SumTop- $k$ のスコアが上位 $\mathrm{k}$ 個のトークンも生
 楢木悠士 ${ }^{1}$ 小林 哲則 ${ }^{1}$ 林 良彦 ${ }^{1}$ 1* 早稲田大学理工学術院 yuji.1277@akane.waseda.jp  