# 忠実性向上のために n-gram の抽出性を報酬とする 強化学習を用いる抽象型要約

星野智紀 上垣外英剛 渡辺太郎
奈良先端科学技術大学院大学
\{hoshino.tomoki.ho6, kamigaito.h, taro\}@is.naist.jp

## 概要

抽象型要約生成モデルの出力する要約には、要約元となる原文書に記述される事実とは異なる内容が 出力されることがある。本研究では強化学習の報酬 を要約の原文書に対する抽出性とし、それを向上さ せることで、要約生成モデルが出力する要約の忠実性向上に取り組んだ。抽象型要約のタスクで使用さ れることが多いxsum データセットを用いた実験の 結果、出力された要約の抽出性が向上し、忠実性に 対する自動評価尺度である FEQA のスコアと原文書 に対する含意が改善されることが確認された。

## 1 はじめに

近年、事前学習済み系列変換モデルに対して fine-tune することで、要約生成モデルの出力する抽象型要約の精度は大きく向上し、流暢な要約生成が 可能となった $[1,2]$ 。一方、要約生成モデルの出力 する要約に、要約元となる原文書には存在しない、異なる事実を含んでしまう問題が指摘されている [3]。この問題点は要約生成をアプリケーションとし て使用する上では深刻であり、例えば、ニュース記事の要約が事実とは反する誤りを含む場合、誤情報 を拡散する可能性があり、対処が必要である。この 深刻な問題を解決するために、先行研究では、要約生成モデルの出力する要約の事実性を向上させる 様々な研究がされてきた。

抽象型要約において、事実と異なる要約が生成さ れる原因の一つとして、原文書には存在しない単語 や意味関係が出現する問題 (hallucination) が指摘さ れている [4]。これは、原文書に対して忠実ではな い要約を生成することが事実とは異なる要約を生成 する要因となり得るという考えである。

また、学習を行うデータセット自体に忠実性を低下させる問題があるとの指摘もなされている。主表 1 事実に誤りのある要約例

流な要約タスクのデータセットである xsum デー タセット [5] において、正解となる要約中に多く の hallucination を含むことが指摘されている $[4,6]$ 。従って、このようなデータセットを用いて学習され た要約生成モデルは忠実ではない要約を生成する可能性がある。

上記で指摘されている問題点を考慮すると、抽象型要約における忠実性を向上させるためには、出力 すべき要約をデータセットのみに基づいて学習しな いような方法が求められる。

これらの背景を踏まえ、本研究では強化学習を通 じて要約生成モデルの忠実性を向上させるための手法を提案する。強化学習では報酬に基づいた学習が 行われるため、学習データのみに制約されることな く、与えられた報酬に沿う要約を学習することが可能である。また、強化学習の報酬として、我々は生成された要約の原文書に対する抽出性に着目した。

抽象型要約は、原文書に存在する文や表現を抜き 出す（抽出する）のではなく、系列変換モデルのデ コーダでトークン単位での生成を行うことで要約を 出力している。これにより抽象型要約モデルは流暢 な要約生成が可能である一方、その柔軟な表現力に より原文書に存在しない文字列を出力することで hallucination を引き起こす可能性がある。

図1（左）提案手法の概要（右上）被覆率の計算式（右下）被覆率の計算例

抽出性への着目は、系列変換モデルの出力の抽出性を向上させることで、原文書の内容に沿う要約を 生成しやすくなることで hallucination を低減させ、結果として要約の忠実性が向上するのではないかと いう考えに基づく。またこの方法は、参照要約では なく原文書に対しての抽出性を向上させるため、参照要約に含まれる hallucination の影響を低減させる ことも期待できる。さらに抽出性の計算は後述する ようにモデルでの予測を必要とせず軽量であるた め、強化学習の報酬としても適している。

上記を実現するため、要約生成モデルから出力さ れる要約がどの程度、要約元の原文書と一致して いるかをサブワード単位の n-gram で算出し、その 一致率 (以下、被覆率) [7] を強化学習の手法であ る Self-critical Sequence Training (SCST) [8] の報酬と して fine-tune 済みの要約生成モデルに対して学習を 行った。

抽象型要約タスクで頻繁に使用される xsum デー タセットを用いた実験の結果、提案手法は最尤推定 に基づく損失関数で fine-tune されたべースラインと 比較し、正解の要約との一致を測る要約の評価指標 である ROUGE は低下したものの、忠実性に対する 評価指標である FEQA と原文書に対する含意の向上 が確かめられた。

## 2 提案手法

提案手法は事前学習済み系列変換モデルを要約 データにより fine-tuneしたモデルに対して、SCST に従った重みパラメータの更新を行う。モデルの概略を図 1 （左）に示した。

## 2.1 要約生成に用いる系列変換モデル

本研究では、事前学習済み系列変換モデルの BART [1]を要約生成に用いる。BART は原文書を入力として要約を出力する Transformer エンコー ダ・デコーダモデル [9] である。エンコーダへの入力系列を $\boldsymbol{x}=x_{1} \cdots x_{n}$ 、デコーダからの出力系列を $\boldsymbol{y}=y_{1} \cdots y_{m}$ とするとき、出力系列は次式に従い出力される。

$
\hat{\boldsymbol{y}}=\underset{\boldsymbol{y}}{\arg \max } \prod_{t=1}^{m} p\left(y_{t} \mid \boldsymbol{x}, y_{1} \cdots y_{t-1}\right)
$

## 2.2 目的関数

提案手法の目的関数は最尤推定に基づく損失 $\mathscr{L}_{m l e}$ と、強化学習に基づく損失 $\mathscr{L}_{r l}$ のハイ パーパラメータ $\gamma$ による重み付き和 $\mathscr{L}_{\text {mixed }}=$ $\gamma \mathscr{L}_{r l}+(1-\gamma) \mathscr{L}_{m l e}$ (ただし、 $\left.0 \leq \gamma \leq 1\right)$ で表される。

$\mathscr{L}_{m l e}$ は訓練データ中の参照要約の系列 $\boldsymbol{y}^{*}$ を用い て次のように計算される

$
\mathscr{L}_{m l e}=-\sum_{t=1}^{m} \log p\left(y_{t}^{*} \mid \boldsymbol{x}, y_{1}^{*} \cdots y_{t-1}^{*}\right)
$

SCST に基づく $\mathscr{L}_{r l}$ は、系列変換モデルの出力す るサンプリングされた系列 $\boldsymbol{y}^{\boldsymbol{s}}$ と貪欲法によって得 られる系列 $\hat{\boldsymbol{y}}$ を用いて、次のように計算される。

$
\mathscr{L}_{r l}=-\left(r\left(\boldsymbol{y}^{\boldsymbol{s}}\right)-r(\hat{\boldsymbol{y}})\right) \sum_{t=1}^{m} \log p\left(y_{t}^{s} \mid \boldsymbol{x}, y_{1}^{s} \cdots y_{t-1}^{s}\right)
$

$r(\cdot)$ は与えられた系列に対する報酬を返す関数で あり、次節で説明する。

## 2.3 報酬

提案手法の報酬 $r(\cdot)$ には要約の被覆率を用い た。被覆率は要約に出現する単語のうち、それら の単語がどの程度原文書でも出現しているのかを 示す割合である。これは Grusky らが提案している coverage [7] の算出方法を元にしている。

本提案手法では、図 1 (右下) のように単語単位 ではなくサブワード単位で要約の被覆率を算出す

る。また、被覆率を 1 サブワードごとにだけ算出す るのではなく、サブワードの n-gram に対して、被覆率を計算する。これによって、単語単位より細かい 粒度から複数単語での被覆率までを報酬で考慮する ことができる。

繰り返しなどを含む生成結果に対して不当に高い 被覆率を与えないよう、原文書に出現するあるサブ ワードの n-gram の回数以上に要約にそのサブワー ドの n-gram が出現した場合は、原文書での出現回数までしか被覆率の算出には含めないようにした。

なお、我々は適切な n-gram のサイズを知るため、後述する実験では、n-gram の範囲を変えて複数のモ デルを学習し、それぞれのモデルが生成する要約の 違いについて分析した。

## 3 実験設定

データセット 実験には xsum データセットを用 いた。xsum はニュース記事を原文書とするデータ セットで、一つのニュース記事に対して、一つの要約が対応している。xsum は CNN/DailyMail [10] はど のデータセットにくらべ、抽象性の高い参照要約で ある。そのため、強化学習によって抽出性を高める 本研究の目的に沿うデータセットと判断した。

評価指標 本研究では、提案手法の忠実性と流暢性を評価する。そのため、忠実性と流暢性に関する 自動評価指標を用い、要約生成モデルの出力結果を 評価した。

忠実性の評価には FEQA [11] と Entailment [12]を 用いた。FEQA は要約から質問と回答を生成し、そ の質問に対して、質問応答モデルが原文書から回答 を抽出する。回答があらかじめ生成した回答と一致 していれば、忠実性があるとみなす。Entailment は 自然言語推論タスクのデータセットで fine-tune した 事前学習済言語モデル RoBERTa [13] を用いている。自然言語推論タスクとは、前提文と仮説文とが与え られた時に、その 2 文の関係が含意 (entailment) ・中立 (neutral)・矛盾 (contradiction) のいずれである かを分類するタスクである [14]。前提文・仮説文を それぞれ原文書・要約とし、含意に分類される要約 が増加すれば忠実性が向上したとみなす。流暢性の評価には、事前学習済み言語モデルであ る BERT [15]を用いる、擬似対数尤度スコア（以下、 PLL）[16] を用いた。なお、Salazar らによって提案 された PLL は系列長によってスコアが正規化され ていないが、本稿の実験結果で記載している PLLの値は要約長で正規化された値である。

要約の情報性を測る指標として、ROUGE [17] を 用いた。ROUGE は参照要約との語彙の一致を測る ことで、要約として重要であると考えられる情報を どれだけ含んでいるかを示す。

また、抽出性を報酬とした強化学習によって、要約の被覆率が向上しているかの評価も行なった。

これらの評価には xsum データセットの評価デー タを用いた。

実装・学習 提案手法を実装し、最尤推定に基づ く $\mathscr{L}_{m l e}$ の損失関数のみで fine-tune した BART モデ ルをベースラインとし、比較を行った。

提案手法の実装には huggingface が公開する transformers を用いて実装を行った。細かな実験設定については付録 A に記した。

提案手法であるSCST による学習の前に、BART モデルに対して最尤推定に基づく損失 $\mathscr{L}_{m l e}$ による 学習を 3 エポック行った。これは、SCSTによる学習の際に収束を速めるためである。また、この学習 を行ったモデルを本実験のベースラインとしてい る。SCST に基づく学習は 1 エポック行った。

これらの学習はともに、xsum データセットの訓練データを用いた。

## 4 実験結果と考察

忠実性と流暢性表 2 に忠実性と流暢性に関する 結果を示した。忠実性に関しては報酬なしのべース ラインと比べて、FEQA の場合は 2, 4-gram 報酬の 場合には向上が見られた。また、Entailment に関し ては、全ての n-gram 報酬の場合で向上が見られた。流暢性に関しては PLL の値は 4-gram 報酬で低下が 見られるものの、他の設定では参照要約と同等であ り大きく低下してはいない。この結果から、我々が 提案する n-gram に基づく抽出性を報酬に用いるこ とで参照要約と同等程度に流暢で、かつより高い忠実性を持つ要約が生成可能であることが分かった。

情報性表 3 に情報性に関する結果を示した。報酬を使用しないべースライン手法が最も高い ROUGE-1,2,Lを達成している。また、提案手法に関 しては、3,4-gram 報酬を与えたモデルは指標の値が 低くなった一方、それらより少ない、あるいは、多 い n-gram 報酬を与えたモデルは、指標の値が相対的に高くなった。

これは強化学習ではモデルが参照要約とは異なる 系列を学習しょうとする特性と、ROUGE スコアが
表 $2 \mathrm{FEQA} \cdot$ Entailment $\cdot$ PLL

表 3 情報性

単語単位に基づく表層上の一致のみに限定される ことに起因することが要因の一つであると考えら れる。その一方で、提案手法が抽出性を高める過程 で、要約上重要である、キーワードなどの情報を用 いていないため、抽出対象の重要度を考慮すること は今後の改善点であると考えられる。

抽出性 表 4 亿参照要約、ベースラインと提案モ デルの被覆率の平均値の比較を示した。提案モデル の値は、それぞれ n-gram サブワード被覆率報酬を与 えたモデルの n-gram サブワード被覆率を示してい る。この結果から、提案手法の強化学習によって、実際に n-gram サブワード被覆率は向上することが わかった。

考察 実験結果から本提案手法は参照要約と同等程度に流暢でかつより忠実性が高い要約が生成可能 であることが判明した。その一方で情報性について は低下が見られ、抽出性を考慮する際に対象とする n-gram の重要度も同時に考慮すべきであることを示唆する結果が得られた。

なお、要約性の評価指標である ROUGE は、基本的には参照要約との単語単位の n-gram の一致 を測る指標であるため、強化学習の影響によって ROUGE の値が下がったということは、参照要約表 4 抽出性

に現れない単語が出現するようになったと考える こともできる。この結果は、参照要約に存在する hallucinaiton の影響を低減させることを期待する本提案手法の動機に沿ったものであるといえる。

また、3,4-gram 付近の報酬を与えたモデルの忠実性がベースラインに比べて向上し、流暢性・情報性 は低下した。それらに比べ、1-gram や 6-gram 報酬 を与えたモデルは忠実性の向上が小さく、流暢性・情報性の低下も小さかった。これは、1-gram サブ ワードの被覆率はベースラインモデルの出力自体 が高く、報酬を与えても出力への変化が小さく、ま た、高い n-gram サブワードの被覆率は、ベースライ ンモデルの出力がかなり低く、被覆率を向上させる 学習がうまくできなかったことからと考えられる。

このことから、本実験設定において、数単語程度 にわたる n-gram サブワードを利用できる 3,4-gram を使用することが最も効果的な報酬となることがわ かった。

## 5 まとめ

本研究では、要約生成モデルが出力する要約の忠実性向上を目的として、要約元となる原文書と要約生成モデルが出力した要約との n-gram サブワード 被覆率を報酬としたSCST に基づく強化学習モデル を提案した。

xsum データセットを用いた実験の結果、提案手法 は最尤推定に基づく損失関数で fine-tune されたべー スラインと比較し、参照要約に含まれる情報をどれ だけカバーしたかを示す評価指標である ROUGE は 低下したものの、流暢性に関する評価指標である PLL は参照要約と同等程度の値を維持し、忠実性に 対する評価指標である FEQA と原文書に対する含意 の向上が確かめられた。

## 参考文献

[1] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence pretraining for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[2] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J Liu. PEGASUS: pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning, No. Article 1051 in ICML'20, pp. 11328-11339. JMLR.org, July 2020.

[3] Ziqiang Cao, Furu Wei, Wenjie Li, and Sujian Li. Faithful to the original: fact-aware neural abstractive summarization. In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence and Thirtieth Innovative Applications of Artificial Intelligence Conference and Eighth AAAI Symposium on Educational Advances in Artificial Intelligence, No. Article 586 in AAAI'18/IAAI'18/EAAI'18, pp. 4784-4791. AAAI Press, February 2018.

[4] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919, Online, July 2020. Association for Computational Linguistics.

[5] Shashi Narayan, Shay B Cohen, and Mirella Lapata. Don't give me the details, just the summary! Topic-Aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, 2018. Association for Computational Linguistics.

[6] Feng Nan, Ramesh Nallapati, Zhiguo Wang, Cicero Nogueira dos Santos, Henghui Zhu, Dejiao Zhang, Kathleen McKeown, and Bing Xiang. Entity-level factual consistency of abstractive text summarization. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2727-2733, Online, April 2021. Association for Computational Linguistics.

[7] Max Grusky, Mor Naaman, and Yoav Artzi. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 708-719, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7008-7024. IEEE, July 2017.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, I Guyon R. Garnett, and U, editors, Advances in Neural Information Processing Systems, Vol. 30. proceedings.neurips.cc, June 2017.

[10] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çağlar Gulçehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Esin Durmus, He He, and Mona Diab. FEQA: A question answering evaluation framework for faithfulness assessment in abstractive summarization. In Proceedings of the 58th Annual
Meeting of the Association for Computational Linguistics, pp. 5055-5070, Online, July 2020. Association for Computational Linguistics.

[12] Tobias Falke, Leonardo F R Ribeiro, Prasetya Ajie Utama, Ido Dagan, and Iryna Gurevych. Ranking generated summaries by correctness: An interesting but challenging application for natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2214-2220, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. July 2019.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A BroadCoverage challenge corpus for sentence understanding through inference. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16] Julian Salazar, Davis Liang, Toan Q Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, Online, July 2020. Association for Computational Linguistics.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

## A 実装の詳細

本研究のベースライン・提案手法ともに huggingface にで公開されている事前学習済み系列変換モデ ルのパラメータ "facebook/bart-base“1)を用いた。

ベースラインモデルは、BART に対してxsum データセットを用いて fine-tuneを行った。学習率は $5 \times 10^{-5}$ 、ミニバッチサイズは 8 、Gradient Accumulation Step は 1 とした。

提案手法は、ベースラインモデルに対して、xsum データセットを用いて SCST に基づく強化学習 を行った。学習率は $1 \times 10^{-4}$ 、バッチサイズは 8 、 Gradient Accumulation Step は 8 とした。また、目的関数のハイパーパラメータ $\gamma$ は 0.5 とした。

強化学習のための要約生成時は beam サイズを 4 に設定して生成を行い、最もスコアの高かった出力系列を報酬の計算と学習に用いた。また、強化学習 のためのサンプリングされた要約を生成するため に、Top-K, Top-P サンプリングを用いた。K, P はそ れぞれ $50,0.8$ に設定した。

強化学習は初期値の影響を受けやすいため、提案手法では初期値を変更した 3 つのモデルを学習し、 その中で開発データに対し最も ROUGE-1 の值が高 いものを忠実性と流暢性との評価対象とした。これ は、要約として最も相応しい文書に対して忠実性と 流暢性とを確認するべきと考えたからである。

評価分析に用いる要約生成は、beam サイズを 4 に設定して生成を行い、最もスコアの高かった出力系列を出力結果とした。

1) https://huggingface.co/facebook/bart-base
 星野智紀 上垣外英剛 渡辺太郎 奈良先端科学技術大学院大学 \{hoshino.tomoki.ho6, kamigaito.h, taro\}@is.naist.jp  