# テキスト変換モデルに基づく 様々な制約を用いたインタラクティブ要約

柴田 知秀 $\dagger$ 山田 悠右 $\ddagger$ 小林 隼人 $\dagger$ 田口 拓明 $\dagger$ 奥村 学
†ヤフー株式会社 ‡東京工業大学
\{tomshiba, hakobaya, htaguchi\}@yahoo-corp.jp
\{yuyamada@lr.,oku@\}pi.titech.ac.jp

## 1 はじめに

Encoder-decoder モデル [1,2] や事前学習モデル $[3,4]$ などの深層学習の進展により、テキスト自動要約の技術が進歩している。自動要約手法の精度を 向上させる余地がある一方で [5]、そもそも要約の 正解には様々な観点が考えられる場合も多いことか ら、ユーザからのフィードバックをもとに要約を生成・改良させる研究が進められている [6,7]。本論文ではユーザが制約を与えてインタラクティブに要約を行う設定 (Mao らの研究) [6] に焦点をあてる。

制約付き要約が必要となる場面を、Yahoo!ニュー ス・トピックスを例として説明する。Yahoo!ニュー ス・トピックスでは、日々のニュース記事の中から 重要なニュースを選択し、要点を押さえた短い見出 しを編集者の手により作成している。そこでは、見出しの候補を自動生成し編集者に提示することに よって、編集支援を行っている [8]。この発展とし て、自動生成された見出しに対して、編集者が含め たいキーワードやフレーズを制約として与えると、 その条件を満たす見出しが生成されれば、さらなる 編集支援を行えると考えられる。

先に述べた Mao らの研究 [6] やその他の制約付き 生成の研究 $[9,10]$ ではキーワードやフレーズなど、入力文書に依らず同一の制約のタイプを想定してい る。しかし、制約のタイプは文書によって異なるの が自然である。例えば求める要約が抽出型であれば 制約として文であることが望ましく、また、抽象型 であればキーワードやフレーズであることが望まし い。また、Mao らの研究では制約を一回与えるのみ であるが、数回与えながら徐々に要約を改善してい くのが自然な設定である。

そこで本研究では様々なタイプの制約を与える インタラクティブ要約の手法を提案する。提案手法
の概要を図 1 に示す。本研究は自動処理の精度を向上させるという設定ではなく、入力の文書に対して ユーザ (編集者) が生成したい要約が頭にあり、それ をもとに制約を与えて要約を改善する、というイン タラクティブな要約をシミュレートする設定とな る。まず、制約なしで生成した要約がユーザに提示 され、ユーザは制約を与える。この例ではキーワー ド制約として「新しい」という単語を与え、システ ムはこの制約のもとに要約を生成する。さらにフ レーズ制約として「気象庁」を与える、という具合 にインタラクティブに要約を生成していく。制約付 きの学習・評価セットを構築するのはコストが高い ことから、Маoらの研究と同じく、正解要約に含ま れていてシステム出力には含まれていないキーワー ドやフレーズを疑似的に制約とみなす。

また、Mao らは制約を満たす生成を得るモデル [11] をデコード時に用いているが、このモデルでは 様々なタイプの制約に対応することができない。そ こで本論文ではテキスト変換モデルを用い、制約の 単位にかかわらず、制約を入力側に入れることによ り制約付き生成を実現する。本研究ではテキスト変換モデルとして T5 [3] を用いる。

標準的に用いられている評価セットを用いて、イ ンタラクティブ要約がどのように実現されるかを検証した。

## 2 提案手法

## 2.1 枠組み

まず、入力文書 $(s r c)$ と正解要約 $(t g t)$ が与えられ、制約なしのベースモデル $M_{\text {base }}$ を学習する。このモ デル $M_{\text {base }}$ を使って生成された要約を pred とする。制約 $C$ は tgt にあって、pred に存在しないものを抽出する。

火山灰の量は? 気象庁が24日から新しい降灰予報
スタート
$\cdots$
火山灰も広い範囲にわたって私たちの生活に大き
な被害を与えます。
気象打は、3月24日から新しい降灰予報を順次ス
タートさせます。
これまでの降灰予報をバージョンアップさせたこ
の予報は、一体どのようなものなのでしょうか。

制約なし生成

火山灰の量は? 気象庁 (0.17)

$
\text { キーワード制約: 新しい }
$

制約あり生成 (1)

火山灰の量は? 新しい降灰予報 (0.44)

制約あり生成 (2)

火山灰の量は? 気象庁新予報 (0.23)

$
\text { キーワード制約: 降灰 }
$

制約あり生成 (3)

気象庁、24日から新しい降灰予報 (0.57)

 \\

図 1 提案手法の概要 (括弧内の数字は ROUGE2 F の值を示す)

図 2 様々なタイプの制約(下線が引かれた制約はランダムに選ばれたものを示す)

## 2.2 様々なタイプの制約

制約として、入力によらず単一の制約のタイプを 与えるというよりは様々なタイプの制約を与えるの が自然である。本研究では制約のタイプとして文、 フレーズ、キーワードを考える。

文 tghに含まれていて、predに含まれない文を 制約として抽出したいが、入力中のある文がその まま tgt に含まれているとは限らないので、抽出型要約における正解文抽出の方法 [12,13] を拡張し、 pred と連結すると ROUGE F 值が高くなるような入力中の文を制約として抽出する。

キーワード 文単位で制約を考えると、特に抽象型要約の場合、不要な部分が含まれてしまう可能性が高い。そこで、キーワード単位での制約を考 え、tgtに含まれ、predには含まれないものを制約 とする。

制約の候補を抽出する対象として 2 種類の問題設定を考える。1つは $s r c$ のみで、これはキーワード を入力文書から抜き出す形で設定することを想定す る(この設定を $\operatorname{src}$ と呼ぶ)。もう 1 つの設定として、 $t g t$ も加えることを考え、これは入力文書には含ま れていない言い換え表現などをキーワードを含める
ことができる(この設定を $s r c+t g t$ と呼ぶ)。

フレーズ キーワードよりも少し大きな単位とし てフレーズを考える。要約に含むべきフレーズとし て固有表現が多いことから、本研究では固有表現の みを対象とする。キーワードと同様に、tgt に含ま れ、predには含まれないものを制約とする。

ある文書について制約のタイプが複数抽出され る場合、どの制約のタイプが最善であるかは分から ないので、ランダムに制約のタイプを選ぶ。また、 ある制約について複数ある場合はその中からラン ダムに一つ選ぶ。図 2 に制約の例を示す。一つ目の 例では文・フレーズ・キーワード制約が得られてお り、ここからランダムに選んだ結果、キーワード制約が選ばれ、 3 つのキーワードのうちからランダム に「大統領」が選ばれている。二つ目の例では文制約とキーワード制約が抽出されており、フレーズ制約は条件に合致するものがない。

## 2.3 テキスト変換モデルの利用

テキスト変換モデルを利用することにより、制約 がどのような単位であっても入力に制約を加えるだ けで、制約付き生成を実現することができる。制約 なしのベースモデル $M_{\text {base }}$ でシステム出力 $p r e d$ を

図 3 制約付きデータの構築とインタラクティブ生成の方法 (test は valid と同様の方法で構築)

生成することを以下のフォーマットで表現する。

summarize: $s r c \rightarrow$ pred

制約ありモデル $M_{C} 、 i$ 回目のシステム出力を pred $_{i}$ とすると、 $M_{C}$ で pred $_{i}$ を生成する場合、制約を入力の先頭に追加し、

## C summarize: $s r c \rightarrow$ pred $_{i$}

とする。制約 $C$ は「(制約タイプ) constraint: (制約文字列)」とする。制約タイプは sentence、phrase、 keyword のいずれかをとり、制約のタイプを区別す るために付与している。図 2 の 1 つ目の例の入力は 以下のようになる。

keyword constraint: 大統領 summarize: トランプ 氏に.. $\rightarrow$..

インタラクティブに生成を繰り返し行うので、2 回目以降の生成では過去の制約も満たすょうに、以下のように過去の制約も入力に加える $\left(C_{i}\right.$ は $i$ 回目 の制約を表わす)。

## $C_{1 C_{2}$.. $C_{i}$ summarize: $s r c \rightarrow$ pred $_{i}$}

## 2.4 制約付きデータの構築とインタラク ティブ生成

制約付き評価セットの構築ならびにインタラク ティブ生成を図 3 に示す。まず、 $\operatorname{train}$ の src と tgt を 使ってベースモデル $M_{\text {base }}$ を学習し、valid の pred を生成する。そして、pred と tgt を比較し、2.2 節で 述べた方法で制約を抽出する。

制約ありモデルを学習するために、trainについて も制約を付与する必要があるので、trainを $N$ 分割 し1)、N-1 個で制約なしモデルを学習し、残りに対 して pred を生成し、同様に制約を抽出する。そして これを $N$ 回繰り返すことにより、train のすべてに対 して制約を得る。次に、train の制約付き src と tgt


から制約ありモデル $M_{C}$ を学習する。学習したモデ ルを用いて valid に対して pred $_{1}$ を生成し、インタ ラクション 1 回目の生成 pred $_{1}$ を得る。次に、 pred 1 と tgt から次の制約 $C_{2}$ を得て、 $C_{2}$ と $s r c$ に対して $M_{C}$ を適用することにより、2 回目の生成 pred $_{2}$ を得 る。このようにして、インタラクティブな生成を実現することができる。

## 3 実験

## 3.1 実験設定

自動要約で標準的に用いられている英語の評価 セット 3 つ (CNN/DM [14, 1], XSum [15], Reddit [16]) と、日本語のものとして Yahoo!ニュースのトピック ス記事のデータセット (Topics [8]) を用いた。表 1 に 各評価セットの統計データを示す。

CNN/DM は抽出度が高く、XSum と Reddit は抽出度が低いデータセットであり、抽出度によってどの ようにシステムの振舞いが異なるかを実証する。

評価尺度は標準的に用いられている ROUGE-1,2,L の $\mathrm{F}$ 值 [17] を用いた。評価の基本単位として英語 の場合は単語を、日本語の場合は文字を用いた。ま た、インタラクションの回数を 3 とした。

事前学習モデルとして、英語の場合は $\mathrm{T} 5^{2}$ を、日本語の場合は $\mathrm{mT5}[18]^{3}$ を用いた。モデルサイズは どちらも base を利用した。実装は Hugging Face 社 が提供する transformers $の$ seq2seq を使った4)。

キーワード制約の抽出において、英語では TextRank $[19,20]^{5}$ を用い、日本語では形態素解析器 JUMAN $\left.^{6}\right)$ で単語に分割し、TFIDF が上位のものを キーワードとした。フレーズ制約の抽出において Spacyを用いて固有表現解析を行った。

## 3.2 実験結果 $\cdot$ 考察

制約を用いないベースラインと、制約として文、 フレーズ、キーワードのうちの一つのみを採用した


 & $\underset{(\operatorname{src})}{\mathrm{K}} \quad \underset{(\mathrm{src}+\operatorname{tgt})}{\mathrm{K}}$ & R-1 & R-2 & R-L & R-1 & R-2 & R-L & R-1 & R-2 & R-L & R-1 & $\mathrm{R}-2$ & R-L \\

表 2 実験結果 (制約の S, P, K はそれぞれ文、フレーズ、キーワードを示す)

} & \multirow[b]{2}{*}{1} & \multirow{2}{*}{} & \multirow{2}{*}{ \\
0.572
} & \multirow{2}{*}{ \\
0.726
} & \multirow{2}{*}{  } & \multirow{2}{*}{ \\
0.930
} & \multicolumn{2}{|c|}{ (src) $\quad \stackrel{\text { なし }}{(\mathrm{src}+\operatorname{tgt})}$} & \multirow{2}{*}{} & & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{$\underset{(\operatorname{src})(\operatorname{src}+\operatorname{tgt})}{\mathrm{K}} \quad \mathrm{K}$} \\

表 3 制約が抽出された割合 (「なし」はどのタイプの制約も抽出されな かったことを、2 カラム目の「1,2,3」はインタクラションの回数を示す)

表 4 出力が制約を満たした割合

場合、全てを採用した場合、ならびに、フレーズと キーワード制約については抽出の対象として $s r c$ の みと $s r c+t g t$ の場合 (2.2 節参照) を比較した。表 2 に実験結果を示す。

CNN/DM は抽出度が高い評価セットであるので、文制約のみを用いた場合が最も精度が高く、また、 XSum は src に含まれないフレーズが多いことから フレーズ制約 $(s r c+t g t)$ のみを用いた場合が最も精度が高かったが、おおまかな傾向としてはすべての 制約を用いた場合が精度が高く、様々な制約を用い ることの有効性を示すことができている。

Reddit の P(src), K(src) ならびに Topics の P(src) は 制約を用いないべースラインよりも低くなってし まっている。この原因を明らかにするために、valid セットにおいてそれぞれの制約が抽出された割合を 表 3 に示す。Reddit の P(src),K(src)と Topics の P(src) は他に比べて制約が抽出された割合が低いことがわ

くのキーワード・フレーズが要約に使用されている ことに起因する。

表 4 にシステム出力が与えた制約を満たした割合 を示す7）。インタラクションが進むにつれて、制約

7）文制約の場合、制約が満たされたかどうかを判断するのが
を満たすのが次第に難しくなっていることがわか る。また、Reddit は他の評価セットに比べて制約を 満たした割合が低い。これは難しい評価セットであ ることと、制約が抽出された割合が他の評価セット に比べて低い (表 3 参照)ことに起因する。

以下の例では Topics 評価セットにおいて、制約付 き出力が制約「夏」を満たしておらず、制約なし出力と同じ出力となってしまっている。この問題に対 しては N-best を生成し、制約を満たす出力を採用す ることによって対処することが考えられる。

tgt:梅雨の熱中症 真夏並みに注意

pred:熱中症の季節到来気をつけたい落とし穴

キーワード制約: 夏

制約付き pred: 熱中症の季節到来気をつけたい落とし穴

## 4 おわりに

本論文ではテキスト変換モデルに基づき、文・フ レーズ・キーワードの様々な制約を用いてインタラ クティブに要約を行う手法を提案した。今後の課題 としてはキーワードやフレーズを削除する制約の導入や出力長の制約を加えることなどがあげられる。

難しいので、フレーズ制約とキーワード制約についてのみ算出した。

## 参考文献

[1] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Caglar Gulcehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of SIGNLL2016, pp. 280-290, 2016.

[2] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of ACL2017, pp. 1073-1083, 2017.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of ACL2020, pp. 7871-7880, 2020.

[5] Dandan Huang, Leyang Cui, Sen Yang, Guangsheng Bao, Kun Wang, Jun Xie, and Yue Zhang. What have we achieved on text summarization? In Proceedings of EMNLP2020, pp. 446-469, 2020.

[6] Yuning Mao, Xiang Ren, Heng Ji, and Jiawei Han. Constrained abstractive summarization: Preserving factual consistency with constrained generation, 2020.

[7] Nisan Stiennon, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei, and Paul Christiano. Learning to summarize from human feedback. CoRR, Vol. abs/2009.01325, , 2020.

[8] Kazuma Murao, Ken Kobayashi, Hayato Kobayashi, Taichi Yatsuka, Takeshi Masuyama, Tatsuru Higurashi, and Yoshimune Tabuchi. A case study on neural headline generation for editing support. In Proceedings of NAACL2019 (Industry Papers), pp. 73-82, 2019.

[9] Zi-Yi Dou, Pengfei Liu, Hiroaki Hayashi, Zhengbao Jiang, and Graham Neubig. GSum: A general framework for guided neural abstractive summarization, 2020.

[10] Itsumi Saito, Kyosuke Nishida, Kosuke Nishida, and Junji Tomita. Abstractive summarization with combination of pre-trained sequence-to-sequence and saliency models, 2020.

[11] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Proceedings of NAACL2018, pp. 13141324, 2018.

[12] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Satinder P. Singh and Shaul Markovitch, editors, Proceedings of AAAI2017, pp. 3075-3081, 2017.

[13] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of EMNLPIJCNLP2019, pp. 3730-3740, 2019.

[14] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and
Phil Blunsom. Teaching machines to read and comprehend. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 28, pp. 1693-1701. Curran Associates, Inc., 2015.

[15] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of EMNLP2018, pp. 1797-1807, 2018.

[16] Byeongchang Kim, Hyunwoo Kim, and Gunhee Kim. Abstractive summarization of Reddit posts with multi-level memory networks. In Proceedings of NAACL2019, pp. 2519-2531, 2019.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[18] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer, 2020.

[19] Rada Mihalcea and Paul Tarau. TextRank: Bringing order into text. In Proceedings of EMNLP2004, pp. 404-411, 2004.

[20] Federico Barrios, Federico López, Luis Argerich, and Rosa Wachenchauzer. Variations of the similarity function of textrank for automated summarization. CoRR, Vol. abs/1602.03606, , 2016.

## 付録

図 4 各インタラクションでの精度 (Topics)

図 4 に評価セット Topics における各インタラク ションでの精度 (R2)を示す。全般的な傾向として、最初の上がり幅が最も大きく、ゆるやかに向上して いくことがわかる。
 柴田 知秀 $\dagger$ 山田 悠右 $\ddagger$ 小林 隼人 $\dagger$ 田口 拓明 $\dagger$ 奥村 学 †ヤフー株式会社 ‡東京工業大学 \{tomshiba, hakobaya, htaguchi\}@yahoo-corp.jp \{yuyamada@lr.,oku@\}pi.titech.ac.jp  