# 抽出型要約と言い換えによる生成型要約の訓練データ拡張

Loem Mengsay 高瀬翔 金子正弘 岡崎直観
東京工業大学情報理工学院
\{mengsay. loem, sho. takase, masahiro.kaneko\}@nlp.c.titech.ac.jp
okazaki@c.titech.ac.jp

## 概要

大量の訓練データを用いたニューラルモデルは生成型要約タスクにおいて高い性能を達成している. しかしながら，大規模な並列コーパスの構築はコス トの観点から容易ではない.これを解決するため,本研究では生成型要約タスクの疑似訓練データを低 コストで効果的に構築する手法を提案し, 訓練デー タを拡張する。提案手法は抽出型要約と言い換えの 2 つのステップで疑似訓練データを構築する. 抽出型要約では入力テキストの主要部分を抽出し，言い 換えではその多様な表現を得る．実験を通して，提案手法は生成型要約タスクの性能を向上させ，逆翻訳や自己学習などの既存の訓練データ拡張手法を上回ることを確認する。

## 1 はじめに

ニューラルエンコーダ・デコーダは，機械翻訳や 自動要約などの様々な系列変換タスクにおいて顕著 な性能を達成している $[1,2]$. 近年の研究において ニューラル手法の性能は訓練データ量に対数比例 することが指摘されており [3], 系列変換タスクに おいて高い性能を達成するためには，大規模な並列 コーパスが必要である [4]. 本稿では，生成型要約 タスクにおけるニューラルエンコーダ・デコーダの 性能を向上させるために，訓練データを拡張するこ とに取り組む。

人手による並列コーパスの構築はコストが高いた め, 既存研究では疑似訓練データを自動的に構築す る方法が検討されている. 疑似訓練データを構築す る方法としては，逆翻訳 [5] が広く用いられている。翻訳タスクにおける逆翻訳では，翻訳先の言語の文 から翻訳元の言語の文を生成するモデルを学習し，得られたモデルを翻訳先の言語のコーパスに適用 し，翻訳元の言語の疑似コーパスを生成する。この 逆翻訳手法を要約に適用した場合，モデルは要約か
ら原文書を生成する必要があるため，要約タスクに おける逆翻訳は本質的に非現実的である（付録 A）.

He ら [6] は，自己学習が機械翻訳や要約タスクの 性能を向上させることを示した. 自己学習では教師 モデルを学習し，そのモデルを入力側のコーパスに 適応し, 出力側の疑似コーパスを生成する。逆翻訳 が非現実的な処理であったのに対し, 自己学習によ る疑似要約の生成は合理的である. しかしながら，自己学習を適用した場合，多様な要約の生成が困難 であると指摘されている [7]. これらの問題に加え，自己学習や逆翻訳において高品質な疑似データを得 るためには，大量の訓練データで教師モデルや逆翻訳モデルを学習しておく必要があるため，データ構築のコストが高い.

そこで，本研究では生成型要約の疑似訓練データ を構築する新たなアプローチとして，抽出型要約と 言い換えの組み合わせによる手法を提案する．提案手法は原文の統語構造を基に，ヒューリスティック な手法で重要な部分を要約として抽出する.このた め, 逆翻訳や自己学習と異なり, 疑似訓練データ作成のためだけにニューラルモデルを構築する必要 がない。抽出された要約に対し，既存のモデルを活用した言い換え手法を適用し，多様な疑似要約を 得る.

本研究では見出し生成タスクと文書要約タスクで 実験を行う．実験を通して，提案手法による疑似訓練データは両タスクにおいて性能を向上させること を確認した．具体的には，疑似データを用いること により両タスクの ROUGE F1 スコアが 0.50 以上向上した。また，生成された疑似データの性質を分析 し，提案手法による疑似データの生成が従来手法よ り効率的であることを示した．提案手法は真の訓練 データが少ない低リソースの設定においても頑健で あることが確認された（付録 B）.

図 1 提案手法による疑似データの生成過程の例.

## 2 提案手法

1 節で述べたように，提案手法は抽出型要約と言 い換えから構成される. 図 1 に提案手法の概要を示 す. 提案手法は文を入力とし，その文に対応する疑似要約文を生成する。このため, 文書から疑似要約 を構築する場合には，文書内に含まれる複数の文に 対して独立に提案手法を適用し, 各文の要約文の集合を文書の要約とする.

## 2.1 ステップ 1 ：抽出型要約

抽出型要約のステップでは，原文の中から重要な 部分を抽出する，すなわち，入力文の文圧縮を行 う. 先行研究ではルールベースの手法 [8], 構文木 から重要部分を検出するアプローチ [9]，ニューラ ルベースの手法 $[10,11]$ などの圧縮方法が提案され ている。本研究では，コストの少ない手法，すなわ ち，新たにモデルを構築する必要のない手法とし て，与えられた文の構文木を基に文圧縮を行う.

本研究では，文の重要な部分は与えられた文の構文木の根付き部分木であると定義する. まず，与え られた文を係り受け解析し，その係り受け木を得 る. 次に，係り受け木の深いノード，すなわち，末端に近いノードを刈り，元の構文木よりも深さの小 さい根付き部分木を得る. 本手法では部分木の深さ によって, 出力要約の長さ (単語数)を調整するこ とができる. 本研究では，係り受け木の染さの半分より深いノードを刈る. 図 1 の下段（左）に本ス テップの例を示す.

## 2.2 ステップ 2 : 言い換え

ステップ 1 により抽出された要約は原文に含まれ る単語のみで構成されている．要約の多様性を高め るために要約に言い換えの手法を適用する．高品質 なニューラル機械翻訳モデルが公開されているた め，言い換えには機械翻訳モデルを用いたアプロー チ [12]を採用する．具体的には，文を別の言語に翻訳し，翻訳された文を元の言語に翻訳する折り返し 翻訳を行い，言い換えを得る。図 1 の下段（右）に 本ステップの例を示す.

## 3 実験

提案手法の効果を調べるため, 見出し生成と文書要約の 2 つの要約タスクで実験を行った. 見出し生成タスクでは Gigaword データセット [2]を用いた. このデータセットには，英語 Gigaword コーパスか ら抽出された約 380 万の文書の 1 文目と見出し文 の対が訓練データとして含まれる。文書要約タスク では，単一の文書要約タスクに広く利用されてい る CNN/DailyMail データセット [13]を用いた。この データセットには，CNN と DailyMail のウェブサイ トから抽出されたニュース記事と要約の 28 万対が 訓練データとして含まれている。ニューラルエン コーダ・デコーダモデルとして fairseq ${ }^{1)}$ に実装され ている Transformer[14]を用いた。

## 3.1 比較手法

既存研究で提案されてきた代表的な訓練データ拡張手法との比較を行う. 疑似データの構築は各デー タセットの訓練データをもとに行う．なお，Caswell

1) https://github.com/pytorch/fairseq
表 1 見出し生成タスクと文書要約タスクにおける ROUGE F1 スコア. 丸括弧の中は疑似訓練データ数を示す。

ら [15] に従い，全ての疑似訓練データについての入力の先頭に<Pseudo>の特殊トークンを付加する.

オーバーサンプリング 訓練データから原文書と 要約の対をサンプリングし，訓練データに追加す る.すなわち，この手法で構築される訓練データに は，真の訓練データのみが含まれる。

逆翻訳訓練データを用いて，要約から原文を生成するニューラルエンコーダ・デコーダの学習を行 う. 次に，このモデルを訓練データ内の要約に適用 し，対応する原文書を生成する. 生成された原文書 と真の要約の対を疑似訓練データとして使用する。

自己学習 各訓練データを用いて, 原文書から要約を生成するニューラルエンコーダ・デコーダを学習する. 次に，訓練データの原文をニューラルエン コーダ・デコーダに入力し，対応する要約を生成す る. 真の原文書と生成された要約の対を疑似訓練 データとして使用する.

提案手法 各訓練データに対して提案手法を適用 する．2 節で説明したように，提案手法は文単位で 疑似要約を生成する。ニューラルエンコーダ・デ コーダでは先頭の数文を入力とすることが多いこと にならい，文書要約タスクでは，原文書に含まれる 冒頭の 3 文を提案手法への入力とし, 各文の要約を 元の順序で連結して原文書の要約とする. 抽出型要約ステップの係り受け解析には， $\mathrm{spaCy}^{2}$ を使用す る. 言い換えステップでは, $\mathrm{Ng}$ ら [16] が構築した 英独・独英翻訳モデル ${ }^{3}$ を使用する。

## 3.2 結果

表 1 に真の訓練データのみを用いた場合と，各 データ拡張手法を用いた手法の ROUGE スコアを示 す.オーバーサンプリングは拡張を行わない場合と 比較して高いスコアを達成している。この結果は，重複した学習事例であっても訓練データ量が増え


表 2 生成された疑似要約の真の要約に対する BLEU と F1 BERTScores.

るほど，ニューラルエンコーダ・デコーダの性能が 向上することを示唆している。逆翻訳と自己学習は 拡張を行わない場合よりも性能は高いが，オーバー サンプリングと同程度のスコアである。これらの結果は，性能改善は両者が生成する疑似データの品質 ではなく，学習データの増加によってもたらされた ことを示唆している。逆翻訳と自己学習は疑似デー タの生成に別のモデルを学習する必要があるため, そのコストを考慮するとオーバーサンプリングが 優れている。これらに対し，提案手法は他のデー 夕拡張手法よりも高い性能を達成した。特に，提案手法による疑似訓練データは見出し生成におけ る ROUGE-2 スコアを大幅に向上させた。文書要約 では，拡張を行わない場合と比較して提案手法によ るデータ拡張は全ての ROUGE スコアを有意に向上 させた4)．これらの結果から，提案手法はオーバー サンプリング，逆翻訳，自己学習を含む既存のデー タ拡張手法よりも，生成型要約タスクのための疑似 データを構築するのに有効であると言える.

## 4 分析

## 4.1 疑似データの多様性

1 節で述べたように，提案手法は自己学習より多様な要約を生成するために言い換えを行なってい る.この効果を検証するために，自己学習と提案手法により生成された疑似要約を比較する。表 2 は 各訓練データにおける真の要約と生成された疑似

4） スチューデントの $\mathrm{t}$ 検定で $p<0.05$.
表 3 疑似データ生成するのに要する時間と費用.

要約の BLEU スコアを示している．また，意味的類似性の指標として F1 ベースの BERTScore[17] も 示している. この表から, 自己学習と提案手法の BERTScore は高いことがわかる. この結果は生成さ れた要約が真の要約と意味的に類似していることを 意味する.このことから，いずれの方法で生成され た要約も疑似データとして意味的に適していると言 える。

一方，提案手法の BLEU スコアは自己学習のスコ アよりも低い.この結果は, 自己学習と比較して提案手法が真の要約と異なるフレーズを多く含んだ 疑似要約を生成していることを示している。 すなわ ち, 提案手法で構築した訓練データは自己学習より も多様な要約を含むことが分かる。

## 4.2 疑似データ生成の効率

提案手法は公開されている翻訳モデルをそのま ま用いることができるため，逆翻訳や自己学習のよ うに翻訳・生成モデルを学習する必要はない. その ため, 既存手法と比較すると低コストで疑似データ を構築できる. 表 3 は各疑似データの構築手法の所要時間5)を示す. また，クラウドコンピューティン グサービスである Amazon EC2を用いて疑似データ を構築した場合に必要な費用も示している. 表 3 か ら，逆翻訳と自己学習はモデルの学習に多くの時間 を要することがわかる。一方, 提案手法では学習を 必要としないため, 他の手法と比較して $1 / 10$ 以下の 金額で疑似データを構築できる。

## 5 関連研究

逆翻訳と自己学習は，系列変換タスクのデータ拡張手法として広く使われている $[5,18,6]$. 逆翻訳は 機械翻訳において有効なアプローチであるが，1 節 で述べたように，要約タスクに適用するのは非現実的である。また，自己学習は機械翻訳や要約タスク


において有効な手法と報告されている $[19,6]$ が，多様な疑似データを生成することは困難である [7] た め，性能の向上に限界がある.

訓練データとの差異が小さい摂動を用いて性能改善を行う手法は，データ拡張とみなすことができる [20]. Takase ら [21] は, 単語ドロップアウトや単語置換のような単純な手法は敵対的摂動よりも効率的 に性能を向上させられることを示した.これらの摂動は本研究の提案手法と独立しているため, 組み合 わせることでさらに性能向上が期待できる.

提案手法の抽出型要約のステップでは文圧縮の手法を用いている. Dorr ら [8] は言語学的に動機づけ られたヒューリスティックを用いたルールベースの 文圧縮手法を提案した. Filippova ら [9] は訓練デー タから重要な部分木を学習する教師あり文圧縮法を 提案した。また，近年ではニューラルネットを用い た文圧縮の研究も行われている $[10,11]$. 本研究で は教師ありモデルや学習コーパスを必要としない,文の構文木に基づくルールベースの手法を採用し文 の圧縮を行った。

提案手法は抽出された要約に対して言い換えを 行い，疑似データの多様性を高めている. Bolshakov ら [22] は辞書に基づき単語を同義語に置き換える ことで，言い換えを行う手法を提案した。最近の研究は，言い換えタスクを系列変換タスクとして定式化することにより，ニューラルベースの言い換え生成を行っている [23]. 機械翻訳モデルを用いた折り 返し翻訳による言い換え文生成も提案されている [12]. 近年は高性能な機械翻訳モデルは公開されて いるため，本研究では言い換え生成の手法として折 り返し翻訳を採用した。

## 6 おわりに

本研究では, 生成型要約タスクのための疑似デー タを生成する新しい手法を提案した. 提案手法は抽出型要約と言い換えの 2 つのステップから構成さ れる。抽出型要約により入力の重要な部分を見つ け，言い換えにより多様な表現を獲得する．実験の 結果，提案手法は逆翻訳や自己学習の疑似データ生成手法と比較して，より効果的であることが示され た. また，提案手法は疑似データ生成において追加 でモデルを学習する必要がないため, 他の手法に対 して，コストの面でも優れていることを示した.

謝辞 本研究は JSPS 科研費 $19 \mathrm{H} 01118$ および JP21K17800 の助成を受けたものです.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In 3rd International Conference on Learning Representations, 2015.

[2] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, 2015.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems 33, pp. 1877-1901, 2020.

[4] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, 2017.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 86-96, 2016.

[6] Junxian He, Jiatao Gu, Jiajun Shen, and Marc'Aurelio Ranzato. Revisiting self-training for neural sequence generation. In International Conference on Learning Representations, 2020 .

[7] Jiatao Gu, James Bradbury, Caiming Xiong, Victor OK Li, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018.

[8] Bonnie Dorr, David Zajic, and Richard Schwartz. Hedge trimmer: A parse-and-trim approach to headline generation. In Proceedings of the HLT-NAACL 03 Text Summarization Workshop, pp. 1-8, 2003.

[9] Katja Filippova and Yasemin Altun. Overcoming the lack of parallel data in sentence compression. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1481-1491, 2013.

[10] Katja Filippova, Enrique Alfonseca, Carlos A. Colmenares, Lukasz Kaiser, and Oriol Vinyals. Sentence compression by deletion with LSTMs. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 360-368, 2015.

[11] Hidetaka Kamigaito, Katsuhiko Hayashi, Tsutomu Hirao, and Masaaki Nagata. Higher-order syntactic attention network for longer sentence compression. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human
Language Technologies, pp. 1716-1726, 2018.

[12] Jonathan Mallinson, Rico Sennrich, and Mirella Lapata. Paraphrasing revisited with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 881-893, 2017.

[13] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, August 2016.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008, 2017.

[15] Isaac Caswell, Ciprian Chelba, and David Grangier. Tagged back-translation. In Proceedings of the Fourth Conference on Machine Translation, pp. 53-63, 2019.

[16] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, and Sergey Edunov. Facebook FAIR's WMT19 news translation task submission. In Proceedings of the Fourth Conference on Machine Translation, pp. 314-319, 2019.

[17] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. CoRR, Vol. abs/1904.09675, , 2019.

[18] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 1236-1242, 2019.

[19] Jiajun Zhang and Chengqing Zong. Exploiting source-side monolingual data in neural machine translation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1535-1545, 2016.

[20] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 452-457, 2018.

[21] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780, 2021.

[22] Igor A. Bolshakov and Alexander Gelbukh. Synonymous paraphrasing using wordnet and internet. In Natural Language Processing and Information Systems, pp. 312323, 2004

[23] Aaditya Prakash, Sadid A. Hasan, Kathy Lee, Vivek Datla, Ashequl Qadir, Joey Liu, and Oladimeji Farri. Neural paraphrase generation with stacked residual LSTM networks. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2923-2934, 2016.
表 4 逆翻訳により生成された原文と真の原文との ROUGE F1 スコア. 比率と差は, 生成された原文と真の 原文に含まれるトークン数の比較である.

## A 逆翻訳による疑似データ

1 節で述べたように，生成型要約タスクにおける 逆翻訳アプローチは，要約から原文を復元する必要 があるため，本質的に不可能である．そこで，逆翻訳により生成された原文の性質を調べた。

表 4 は，逆翻訳により生成された原文の長さ （トークン数）の比率と差とを示す. 生成された原文は元の原文より短いことが分かる.この結果は,逆翻訳が真の原文の情報を完全に復元できていない ことを示している。つまり，要約から原文を生成す ることが難しいことを意味している。

また，逆翻訳により生成された原文が真のデータ に対応しているかを調べるために，真の原文を正解 と見なした場合の ROUGE スコアを表 4 に示す. 文書要約の場合, ROUGE スコアは極めて低くなって いる。この結果からも，逆翻訳は原文の生成に失敗 していることがわかる.

一方，見出し生成の ROUGE スコアは文書要約の ROUGE スコアと比較して高い. この結果は, 逆翻訳は要約から原文の核となる部分を復元できる可能性を示している。見出し生成タスクは，与えられた 文章から見出しを生成するタスクであるため，要約 （見出し）には原文の主要な部分が含まれているこ とが多い. このような性質が高いROUGE スコアの 要因になっていると考えられる。

## B 低リソース設定

2 節で述べたように，提案手法は訓練データの量 が少ない場合でも，頑健であると予想される。この 仮説を調べるために，低リソースな訓練データの設定で実験を行なった。

見出し生成タスクと文書要約タスクの各訓練セッ トから，1千件の事例を抽出する. 抽出された事例 は，真の訓練データとし，残りの事例を疑似データ の生成に利用する. 比較手法と実験設定は 3 と同様 である.

表 5 と 6 に，見出し生成タスクと文書要約タスク における，各手法の ROUGE F1 スコアを示す. 両夕表 5 低リソース設定における見出し生成タスクの結果.

表 6 低リソース設定における文書要約タスクの結果.

スクにおいて，オーバーサンプリングは拡張なしを 上回る性能を得ることがわかる. このように，重複 した学習データはニューラルエンコードデコーダモ デルの性能を向上させる. この結果は, 3.2 の結果 と整合性がある。

表 5 により, 見出し生成では，逆翻訳がオーバー サンプリングより高いスコアを達成している。ま た，表 6 により，文書要約では自己学習がオーバー サンプリングより優れていることが分かる.この結果は，適切なタスクに適用すれば，既存のアプロー チがオーバーサンプリングよりも効果的である可能性を示している。

一方，提案手法は両タスクにおいて他の手法より 有意に高い性能を達成している. よって，提案手法 は真の訓練データの量が少ない場合にも有効である ことがわかる.
 Loem Mengsay 高瀬翔 金子正弘 岡崎直観 東京工業大学情報理工学院 \{mengsay. loem, sho. takase, masahiro.kaneko\}@nlp.c.titech.ac.jp okazaki@c.titech.ac.jp  