# ExtraPhrase: 生成型要約のための効率的データ拡張

Mengsay Loem $\cdot$ 高瀬 翔 $\dagger \cdot$ 金子 正弘 $\dagger \cdot$ 岡崎 直観 $\dagger$
}

大量の訓練データを用いたニューラルモデルは生成型要約タスクにおいて高い性能 を達成している。しかしながら，大規模な並列コーパスの構築はコストの観点から 容易ではない。これを解決するため, 本研究では生成型要約タスクの疑似訓練デー タを低コストで効果的に構築する手法として ExtraPhrase を提案し, 訓練データを 拡張する。 ExtraPhrase は文圧縮と言い換えの 2 つのモジュールで疑似訓練デー夕 を構築する。文圧縮では入力テキストの主要部分を獲得し, 言い換えではその多様 な表現を得る。実験を通して，ExtraPhrase は生成型要約タスクの性能を向上させ，逆翻訳や自己学習などの既存の訓練デー夕拡張手法を上回ることを確認した。また， ExtraPhrase は，学習データが著しく少ない場合でも大きな効果が発揮できること を示した。

キーワード：データ拡張，要約，言い換え
## ExtraPhrase: Efficient Data Augmentation for Abstractive Summarization

\author{
Mengsay Loem $^{\dagger}$, Sho Takase $^{\dagger}$, Masahiro Kaneko ${ }^{\dagger}$ and Naoaki Okazaki ${ }^{\dagger}$
}

Neural models trained on large amounts of parallel data have achieved impressive performance in abstractive summarization tasks. However, constructing large-scale parallel corpora can be expensive and challenging. In this work, we introduce a lowcost and effective strategy called ExtraPhrase to augment training data for abstractive summarization tasks. ExtraPhrase constructs pseudo training data with two modules: sentence compression and paraphrasing. We extract major parts of an input text with sentence compression and obtain its diverse expressions with paraphrasing. Through experiments, we show that ExtraPhrase improves the performance of abstractive summarization tasks by more than 0.50 points in ROUGE scores compared to the setting without data augmentation. ExtraPhrase also outperforms existing methods such as back-translation and self-training. We also show that ExtraPhrase is significantly effective when the amount of genuine training data is remarkably small, i.e., in a low-resource setting. Moreover, ExtraPhrase is more cost-efficient than existing approaches.

Key Words: Data Augmentation, Summarization, Paraphrase


## 1 はじめに

ニューラルエンコーダ・デコーダは, 機械翻訳や自動要約などの様々な系列変換タスクにおいて顕著な性能を達成している (Bahdanau et al. 2015; Rush et al. 2015; Vaswani et al. 2017).近年の研究においてニューラルネットワークを用いた手法の性能は訓練デー夕量に対数比例することが指摘されており (Brown et al. 2020), 系列変換タスクにおいても高い性能を達成するためには，大規模な並列コーパスが必要である (Koehn and Knowles 2017). 本稿では, 生成型要約タスクにおけるニューラルエンコーダ・デコーダの性能を向上させるために, 訓練データを拡張することに取り組む。

人手による並列コーパスの構築はコストが高いため, 既存研究では疑似訓練デー夕を自動的に構築する方法が検討されている。疑似訓練データを構築する方法としては, 逆翻訳 (Sennrich et al. 2016a) が広く用いられている。翻訳タスクにおける逆翻訳では, 翻訳先の言語の文から翻訳元の言語の文を生成するモデルを学習し, 得られたモデルを翻訳先の言語のコーパスに適用し，翻訳元の言語の疑似コーパスを生成する。また，機械翻訳以外にも，文法誤り訂正 (Kiyono et al. 2019) や要約 (Parida and Motlicek 2019) タスクにおいても，逆翻訳が利用されている。しかしながら，この逆翻訳手法を要約タスクに適用する場合にモデルは，要約から原文を生成する必要があるため, 要約タスクにおける逆翻訳は本質的に非合理的である（付録 A）.

He ら (He et al. 2020) は, 自己学習が機械翻訳や要約タスクの性能を向上させることを示した. 自己学習では教師モデルを学習し, そのモデルを入力側のコーパスに適応し, 出力側の疑似コーパスを生成する。逆翻訳が非合理的な処理であったのに対し, 自己学習による疑似要約の生成は合理的である。しかしながら, 自己学習を適用した場合, 多様な要約の生成が困難であると指摘されている (Gu et al. 2018). これらの問題に加え, 自己学習や逆翻訳において高品質な疑似データを得るためには，大量の訓練データで教師モデルや逆翻訳モデルを学習しておく必要があるため, データ構築のコストが高い.

そこで, 本研究では生成型要約の疑似訓練データを構築する新たなアプローチとして抽出型要約と言い換えの組み合わせによる手法 (Extraction and Paraphrasing; ExtraPhrase) を提案する. ExtraPhraseの抽出型要約では, 原文の統語構造を基に，ヒューリスティックな手法で重要な部分を要約として残し, 原文を圧縮する。このため, 逆翻訳や自己学習と異なり, 疑似訓練データ作成のためだけにニューラルモデルを構築する必要がない。圧縮された要約に対し,既存のモデルを活用した言い換え手法を適用し，多様な疑似要約を得る。

本研究では見出し生成タスクと文書要約タスクで実験を行う．実験を通して，ExtraPhraseによる疑似訓練データは両タスクにおいて性能を向上させることを確認した. 具体的には, 疑似データを用いることにより両タスクの ROUGE F1 スコアが 0.50 以上向上した. 提案手法は真の訓練データが少ない低リソースの設定においても頑健であることが確認された（4.2 節)。ま

た, 生成された疑似データの性質を分析し（4.3 節）, 提案手法による疑似データの生成が従来手法より効率的であることを示した (4.4 節).

## 2 提案手法: ExtraPhrase

1 節で述べたように, 提案手法は抽出型要約の手法である文圧縮と言い換えの 2 つモジュー ルから構成される，以降では，提案手法の抽出型要約を文圧縮と呼ぶことにする．図 1 に提案手法の概要を示す。提案手法は単文を入力とし，その文に対応する疑似要約文を生成する。複数の文からなる文書の場合は，各文に対して独立に文圧縮と言い換えを行い，その出力を連結することより，疑似要約を作成する.

## 2.1 文圧縮

文圧縮のモジュールでは，原文の中から重要な部分を獲得する．先行研究ではルールベースの手法 (Dorr et al. 2003), 構文木から重要部分を検出するアプローチ (Filippova and Altun 2013), ニューラルネットワークを用いた手法 (Filippova et al. 2015; Kamigaito et al. 2018)などの圧縮方法が提案されている。本研究では, コストの少ない手法, すなわち, 新たにモデルを構築する必要のない手法として，与えられた文の構文木を基に文圧縮を行う.

本研究では, 文の重要な部分は与えられた文の構文木の根付き部分木であると定義する。まず，与えられた文を係り受け解析し，その係り受け木を得る。次に，係り受け木の深いノード， すなわち，末端に近いノードを刈り，元の構文木よりも深さの小さい根付き部分木を得る。本手法では部分木の深さによって, 出力要約の長さ（単語数）を調整することができる. 最後に,

図 1 提案手法による疑似データの生成過程の例.
圧縮された根付き部分木を元の文の語順に従って線形化し，与えられた文の要約を得る。図 1 の下段（左）に本モジュールで行われる処理の例を示す.この例では，係り受け木の深さの半分より深いノードを刈り，根付き部分木を得る。本研究では，文書要約において，先頭の 3 文を抽出したうえで，その 3 文に対して上記の処理を適用し，その出力を連結したものを文書の圧縮された要約とする。

## 2.2 言い換え

文圧縮で得られた要約は原文に含まれる単語のみで構成されている。要約の多様性を高めるために要約に言い換えの手法を適用する。高品質なニューラル機械翻訳モデルが公開されているため，言い換えには機械翻訳モデルを用いたアプローチ (Mallinson et al. 2017) を採用する.具体的には，ある文を別の言語に翻訳し，その翻訳文を元の言語に翻訳するという折り返し翻訳を行うことで言い換え表現を得る方法である。このアプローチは様々な言い換えを生成できるため, データ拡張として利用する研究もある (Yu et al. 2018). そこで, この言い換えのモジュー ルでは, 圧縮された要約に，一般に公開されているニューラル機械翻訳モデルを適用し，翻訳された文章を逆翻訳モデルによって元の言語に翻訳する。文圧縮と同様に，要約に複数の文が含まれる場合は，各文に対して1つずつ言い換えを生成する。図 1 の右下段に本モジュールの処理の例を示す.この例では，圧縮された要約をドイツ語に翻訳し，翻訳された文を元の英語に翻訳する。

## 3 実験

## 3.1 データセット

ExtraPhrase の効果を調べるため, 見出し生成と文書要約の 2 つの要約タスクで実験を行った. 表 1 はデータセットの統計を示している. 見出し生成タスクでは Gigaword データセット (Rush et al. 2015) を用いた.このデータセットには, 英語 Gigaword コーパスから抽出された約 380 万の文書の 1 文目と見出し文の対が訓練データとして含まれる．本実験では，訓練セット，検証セット，およびテストセットの分割は Rush ら (Rush et al. 2015)の設定と同じものを使用した。文書要約タスクでは, 広く利用されている CNN/DailyMail データセット (Sennrich

表 1 データセットの統計.
et al. 2016b) を用いた. このデータセットには, CNN と DailyMail のウェブサイトから抽出されたニュース記事と要約の 28 万対が訓練データとして含まれている。両データセットにおいて, Byte Pair Encoding (Sennrich et al. 2016b)を用い, 入力側と出力側で語彙を共有した, サイズ 32,000 の語彙セットを構築した。

## 3.2 比較手法

既存研究で提案されてきた代表的な訓練データ拡張手法との比較を行った. 疑似データの構築は各データセットの訓練データをもとに行った。なお, Caswell ら (Caswell et al. 2019) に従い, 全ての疑似訓練データについて, 入力の先頭に<Pseudo>の特殊トークンを付加した. オーバーサンプリング訓練データから原文書と要約の対をサンプリングし, 訓練デー夕に追加した。すなわち, この手法で構築される訓練データには，真の訓練データのみが含まれている.逆翻訳真の訓練データを用いて，要約から原文を生成するニューラルエンコーダ・デコーダの学習を行った。次に，このモデルを訓練デー夕内の要約に適用し，対応する原文書を生成した. 生成された原文書と真の要約の対を疑似訓練データとして使用した.

自己学習各真の訓練データを用いて，原文書から要約を生成するニューラルエンコーダ・デコーダを学習した，次に，訓練データの原文をニューラルエンコーダ・デコーダに入力し，対応する要約を生成した，真の原文書と生成された要約の対を疑似訓練データとして使用した.

ExtraPhrase 各訓練データに対して提案手法の ExtraPhrase を適用した．２節で説明したように，提案手法は文単位で疑似要約を生成した。ニューラルエンコーダ・デコーダでは先頭の数文を入力とすることが多いことにならい，文書要約タスクでは，原文書に含まれる冒頭の 3 文 (Lead-3)を提案手法への入力とし, 各文の要約を元の順序で連結して原文書の要約とした. 文圧縮での係り受け解析には， $\mathrm{spaCy}^{1}$ を使用した，本実験では，文圧縮のモジュールにおいて，入力文の係り受け木の深さの半分より深いノードを刈った。言い換えでは, $\mathrm{Ng}$ ら ( $\mathrm{Ng}$ et al. 2019) が構築した英独・独英翻訳モデル2を使用した.

## 3.3 エンコーダ・デコーダ

本実験では，ニューラルエンコーダ・デコーダモデルとして, Transformer (Vaswani et al. 2017)を用いた，各生成要約のモデルに加えて，逆翻訳手法の逆翻訳モデルと自己学習手法の教師モデルも Transformer を使用した. モデルの設定として, Vaswani et al. (2017) に記載されている Transformer-base の設定を採用した。この設定は，機械翻訳に関する研究において広く用いられている (Vaswani et al. 2017; Ott et al. 2018)。詳細には, fairseq ${ }^{3}($ Ott et al. 2019)の実
^{1}$ https://spacy.io/

2 https://github.com/pytorch/fairseq/tree/main/examples/translation

3 https://github.com/pytorch/fairseq
}
装を実験に利用し, 学習時のハイパーパラメータは既存研究 (Vaswani et al. 2017) で使われている設定を用いた。詳細な設定は付録 Bに示されている.

## 3.4 結果

表 2 と 3 に，見出し生成タスクと文書要約タスクにおける真の訓練データのみを用いた場合と, 各データ拡張手法を用いた場合の ROUGE スコア (Lin 2004)を示す. オーバーサンプリングは拡張を行わない場合よりも高いスコアを達成した。この結果は, 訓練デー夕量が増えるほど，重複した学習事例であってもニューラルエンコーダ・デコーダの性能が向上することを示唆している。逆翻訳と自己学習は拡張を行わない場合よりも性能は高いが，オーバーサンプリングと同程度のスコアであった。これらの結果は, 性能改善は両者が生成する疑似デー夕の品質ではなく，訓練デー夕の増加によってもたらされたことを示唆している，逆翻訳と自己学習は疑似データの生成に別のモデルを学習する必要があるため, そのコストを考慮するとオーバー サンプリングが優れている。一方, 見出し生成と文書要約の両方のタスクで, ExtraPhrase は他のデータ拡張手法よりも高い性能を達成した。見出し生成タスクにおいて，ExtraPhrase によるデータ拡張は, データ拡張を行わない場合から, 全ての ROUGE スコアで 0.50 ポイント以上を向上させた. ExtraPhrase は, 逆翻訳と自己学習の既存の拡張法と比較し, ROUGE-1 と ROUGE-L では要約性能の向上幅が小さいが, ROUGE-2 スコアで性能の大幅な向上が見られた. 文書要約において, 提案手法によるデー夕拡張は, 拡張を行わない場合と比較して全ての

表 2 見出し生成タスクにおける ROUGE F1 スコア. 丸括弧の中は真の訓練事例数を示す.

表 3 文書要約タスクにおける ROUGE F1 スコア. 丸括弧の中は真の訓練事例数を示す.

ROUGE スコアを有意に向上させた ${ }^{4}$. これらの結果から, ExtraPhrase はオーバーサンプリング，逆翻訳，自己学習を含む既存のデータ拡張手法よりも，生成型要約タスクのための疑似デー 夕を構築するのに有効であると言える。

## 4 分析

## 4.1 アブレーション

## 4.1.1文圧縮と言い換えの効果

表 4 (a) と表 5 (a)において，「w/o 言い換え」と「w/o 文圧縮」は，2 節で述べた文圧縮のみと言い換えのみを適用し，疑似要約を得た手法である。見出し生成タスクでは，「w/o 言い換え」は拡張なしの設定よりも高い性能を達成した。また，小さな差ではあるが，ROUGE-1, ROUGE-Lにおいて，「w/o 言い換え」は ExtraPhrase よりも高いスコアを示した.「w/o 文圧縮」 は, ExtraPhrase と比較して ROUGE-1 およびROUGE-L のスコアは同等であるが, ROUGE-2のスコアは低下した。この結果から, 見出し生成タスクにおいて, 文圧縮と言い換えの各モジュー ルが性能の向上に貢献したと考えられる.

文書要約において, 冒頭の 3 文を提案手法を適用せずに疑似要約として扱う場合の結果を,表 5 の「Lead-3 による拡張」に示した. 表 5 にり，「w/o 言い換え」と「w/o 文圧縮」の場合は，「Lead-3による拡張」よりも高いスコアを達成した。これらの結果から，文書要約タスクにおいても, ExtraPhraseの各モジュールが要約性能の向上に貢献していることを示唆している. また, 表 5 (a)の比較から, 各モジュールのみを用いた場合は, ExtraPhrase より性能が低い.

表 4 見出し生成タスクにおけるアブレーション。丸括弧の中は真の訓練事例数を示す.
$ 検定で $p<0.05$
}

} & \multirow{2}{*}{$\frac{\text { ROUGE-2 }}{17.55}$} & \multirow{2}{*}{$\frac{\text { ROUGE-L }}{36.75}$} \\

表 5 文書要約タスクにおけるアブレーション。丸括弧の中は真の訓練事例数を示す.

そのことから, ExtraPhrase は, 各モジュールを単独で使用した場合よりも優れていることを示唆している.

## 4.1.2 文圧縮率の効果

本節では，ExtraPhraseの文圧縮モジュールにおける圧縮率，すなわち，枝刈りの深さが性能に与える影響を調べた，文圧縮の圧縮率を変化させ，疑似要約を生成した際の実験結果を表 4 (b) と表 5 (b) に示した. 見出し生成と文書要約の両タスクにおいて，圧縮率が 0.5 の場合が一番高い性能が達成した，圧縮率が 0.3 の場合は， 0.5 の場合より性能が低く, 拡張なしの場合と同等の結果が確認された。この低い性能は, 圧縮率が小さい枝刈りでは非常に短い疑似要約が出力されることによるものと考えられる．本手法の文圧縮モジュールでは, 単文を入力としているため, 0.3 のような小さい圧縮率で枝刈りした際には，構文木の根周辺のみが残され，疑似要約の質低下に影響すると考えられる.

## 4.1.3疑似訓練事例数の効果

本節では， ExtraPhraseの疑似訓練事例数による要約性能への影響を調べた。疑似データを増やすため，ExtraPhraseの言い換えモジュールでの機械翻訳の各ステップにおいて，翻訳モデルに複数の候補翻訳文を出力させ，一つの原文に対し，複数の疑似要約を取得した。表 4(c) と表 5(c)には，疑似訓練事例数を 4 倍にするために，言い換えモジュールの折り返し翻訳の各翻訳フェーズにおいて，2best 翻訳の出力を用いることで，4つの疑似要約を得た「4best 翻訳」 が示されている。表 4(c) と表 5(c) から，「4best 翻訳」により疑似訓練事例数を 4 倍にした際,見出し生成と文書要約の両方のタスクにおいて，「1best 翻訳」の場合より高い性能が確認され

た.この結果から, 疑似訓練事例の増加が性能の向上に貢献していることを示唆している.

## 4.2 低リソース設定

ExtraPhrase は，疑似訓練データを生成するためにニューラルモデルを訓練する必要がないため, 真の訓練デー夕の量が少ない場合でも，頑健であると予想される。この仮説を調べるために，低リソースな訓練データの設定で実験を行った. 見出し生成タスクと文書要約タスクの各訓練セットから，1千件の事例を抽出した。抽出された事例は, 真の訓練データとし, 残りの事例を疑似データの生成に利用した。比較手法と実験設定は 3 節と同様である.

表 6 と 7 に，見出し生成タスクと文書要約タスクにおける各手法の ROUGE F1 スコアを示す. 両タスクにおいて，オーバーサンプリングは拡張なしを上回る性能を示した. このように，重複した学習データはニユーラルエンコーダ・デコーダモデルの性能を向上させた. この結果は, 3.4 の結果と整合性がある。表 6 により, 見出し生成では, 逆翻訳がオーバーサンプリングより高いスコアを達成した。 また, 表 7 により, 文書要約では自己学習がオーバーサンプリングより優れていることが分かった。この結果は, 適切なタスクに適用すれば, 既存のアプロー チがオーバーサンプリングよりも効果的である可能性を示している. 一方, ExtraPhrase は両夕スクにおいて他の手法より有意に高い性能を発揮した。 よって, ExtraPhrase は真の訓練デー 夕の量が少ない場合にも有効であることが分かった.

表 6 低リソース設定における見出し生成タスクの結果. 丸括弧の中は真の訓練事例数を示す.

表 7 低リソース設定における文書要約タスクの結果. 丸括弧の中は真の訓練事例数を示す.

## 4.3 疑似データの多様性

1 節で述べたように，ExtraPhrase は自己学習より多様な要約を生成するために言い換えを行っている。この効果を検証するために, 自己学習と提案手法により生成された疑似要約を比較する。表 8 は各訓練データにおける真の要約と生成された疑似要約の BLEU スコアを示している。また，意味的類似性の指標としてF1ベースの BERTScore (Zhang et al. 2019) も示している.この表から, 自己学習と ExtraPhraseの BERTScore は高いことがわかる. この結果は生成された要約が真の要約と意味的に類似していることを意味する。このことから，いずれの方法で生成された要約も疑似データとして意味的に適していると言える。

一方, ExtraPhraseの BLEU スコアは自己学習のスコアよりも低い。この結果は, 自己学習と比較して提案手法が真の要約と異なるフレーズを多く含んだ疑似要約を生成していることを示している。すなわち, 提案手法で構築した訓練デー夕は自己学習よりも多様な要約を含むことが分かる.

## 4.4 疑似データ生成の効率

ExtraPhrase は公開されている翻訳モデルをそのまま用いることができるため, 逆翻訳や自己学習のように翻訳・生成モデルを学習する必要はない. そのため, 既存手法と比較すると低コストで疑似データを構築できる。表 9 は各疑似データの構築手法の所要時間 5 を示す。また, クラウドコンピューティングサービスである Amazon EC2 を用いて疑似データを構築した場合

表 8 生成された疑似要約の真の要約に対する BLEU と F1 BERTScores.

表 9 生成された疑似要約の真の要約に対する BLEUと F1 BERTScores.
$ の場合で計算している。
}

に必要な費用も示している。表 9 から, 逆翻訳と自己学習はモデルの学習に多くの時間を要することがわかる。一方, ExtraPhraseでは学習を必要としないため, 他の手法と比較して $1 / 10$以下の金額で疑似データを構築できる.

## 5 関連研究

系列変換タスクのデータ拡張手法として，逆翻訳と自己学習は広く使われている手法である (Sennrich et al. 2016a; Kiyono et al. 2019; He et al. 2020). Sennich ら (Sennrich et al. 2016a) は,出力側の言語のデータから入力側の言語に翻訳して疑似データを生成し, 機械翻訳の訓練デー 夕を拡張する逆翻訳アプローチを提案した． Edunov ら (Edunov et al. 2018)は，機械翻訳のための大規模なモノリンガル設定における逆翻訳アプローチの有効性を報告した。また, Hoang ら (Hoang et al. 2018) は，逆翻訳を複数回繰り返し適用する反復逆翻訳手法を紹介した。逆翻訳は機械翻訳において有効なアプローチであるが，1 節で述べたように，要約タスクに適用するのは非現実的である。自己学習では，真の訓練データでモデルを学習し，それを応用して疑似データを生成する．Zhang ら (Zhang and Zong 2016) は, ニューラル機械翻訳用の並列コー パスを拡張するために自己学習を適用した．Heら (He et al. 2020) は，自己学習において，デコード中にドロップアウトをノイズとして用いるノイズ自己学習を導入した. これらの研究では，自己学習は機械翻訳や要約タスクにおいて有効な手法と報告されているが, 多様な疑似デー 夕を生成することは困難である (Gu et al. 2018) ため, 性能の向上に限界がある.

他のデータ拡張法として，訓練データとの差異が小さい摂動を用いて性能改善を行う手法はある (Kobayashi 2018). Takase ら (Takase and Kiyono 2021) は，単語ドロップアウトや単語置換のような単純な手法は敵対的摂動よりも効率的に性能を向上させられることを示した. これらの摄動は本研究の提案手法と独立しているため, 組み合わせることでさらに性能向上が期待できる。

近年の研究においては, 大規模な事前学習モデルを利用することにより要約の性能が向上することが報告されている (Lewis et al. 2020; Raffel et al. 2020; Zhang et al. 2020). しかしながら，BART (Lewis et al. 2020) や T5 (Raffel et al. 2020) などの汎用事前学習モデルを利用する場合, 要約タスクに合わせたファインチューニングが必要であり，そのために学習データを準備する必要がある. PEGASUS (Zhang et al. 2020)のような要約タスクに特化した事前学習モデルを用いる場合でも，事前学習とファインチューニングの学習データが必要である。このような状況において, 提案手法は, 事前学習モデルのファインチューニングを行う学習デー夕を拡張する手法として用いることができる。また, 提案手法は構文木を用いているため, 事前学習モデルの対象言語やドメインに依存せず柔軟に適用できる.

提案手法では文圧縮の手法が用いられている. Dorr ら (Dorr et al. 2003) は言語学的に動機

づけられたヒューリスティックを用いたルールベースの文圧縮手法を提案した. Filippova ら (Filippova and Altun 2013) は訓練データから重要な部分木を学習する教師あり文圧縮法を提案した。また，近年ではニューラルネットを用いた文圧縮の研究も行われている (Filippova et al. 2015; Kamigaito et al. 2018). 本研究では教師ありモデルや学習コーパスを必要としない, 文の構文木に基づくルールベースの手法を採用し文の圧縮を行った. Nikolov ら (Nikolov and Hahnloser 2020) は要約の教師なし手法として文の抽出と言い換えを組み合わせたアプローチを提案した.本研究の目的は疑似訓練データを構築することであり，新しい教師なし手法を提案することではない.

提案手法は圧縮された要約に対して言い換えを行い，疑似データの多様性を高めている.

Bolshakov ら (Bolshakov and Gelbukh 2004)は辞書に基づき単語を同義語に置き換えることで，言い換えを行う手法を提案した．最近では，言い換えタスクを系列変換タスクとして定式化することにより，ニューラルベースの言い換え生成を行う手法が提案されている (Prakash et al. 2016)。また，機械翻訳モデルを用いた折り返し翻訳による言い換え文生成も提案されている (Mallinson et al. 2017). 近年は高性能な機械翻訳モデルは公開されているため, 本研究では言い換え生成の手法として折り返し翻訳を採用した。

## 6 おわりに

本研究では，生成型要約タスクのための疑似データを生成する新しい手法を提案した，提案手法は文圧縮と言い換えの 2 つのモジュールから構成される。文圧縮により入力の重要な部分を獲得し，言い換えにより多様な表現を得る。実験の結果，提案手法は逆翻訳や自己学習の疑似デー夕生成手法と比較して，より効果的であることが示された。また, 提案手法は疑似デー 夕生成において追加でモデルを学習する必要がないため, 他の手法に対して, コストの面でも優れていることを示した。

## 付録

## A 逆翻訳による疑似データ

1 節で述べたように，生成型要約タスクにおける逆翻訳アプローチは，要約から原文を復元する必要があるため, 本質的に不可能である。 そこで，逆翻訳により生成された原文の性質を調べた。

表 10 は，逆翻訳により生成された原文の長さ（トークン数）の比率と差とを示す. 生成され

た原文は元の原文より短いことが分かる。この結果は，逆翻訳が真の原文の情報を完全に復元できていないことを示している。つまり，要約から原文を生成することが難しいことを意味している.

また，逆翻訳により生成された原文が真のデー夕に対応しているかを調べるために，真の原文を正解と見なした場合のROUGE スコアを表 10 に示す。文書要約の場合, ROUGEスコアは極めて低くなっている。この結果からも，逆翻訳は原文の生成に失敗していることがわかる.

一方, 見出し生成の ROUGE スコアは文書要約の ROUGE スコアと比較して高い.この結果は, 逆翻訳は要約から原文の核となる部分を復元できる可能性を示している. 見出し生成タスクは，与えられた文章から見出しを生成するタスクであるため，要約（見出し）には原文の主要な部分が含まれていることが多い.このような性質が高いROUGE スコアの要因になっていると考えられる。

## B 実験設定の詳細

本研究では, 要約モデルと逆翻訳モデルで Transformer (base) (Vaswani et al. 2017)のアーキテクチャを用いた。モデルの詳細な構成を表 11 に示す。また，学習時の詳細な設定を表 12 と表 13 に示す. 各設定は， 4 枚の GPU で実施した実験を想定している.

表 10 逆翻訳により生成された原文と真の原文との ROUGE F1 スコア. 比率と差は, 生成された原文と真の原文に含まれるトークン数の比較である.

表 11 要約と逆翻訳で用いられた Transformer モデルの構成.

表 12 見出し生成タスクにおけるデータ拡張なしとデータ拡張あり場合の学習設定.

表 13 文書要約タスクにおけるデータ拡張なしとデータ拡張あり場合の学習設定.

## 謝 辞

本研究の一部は, JSPS 科研費 19 H01118 および JP21K17800 の助成を受けたものです. 本研究成果の一部は, 独立行政法人情報通信研究機構 (NICT) の委託研究 (No. 225) により得られたものです.

## 参考文献

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In 3rd International Conference on Learning Representations.

Bolshakov, I. A. and Gelbukh, A. (2004). "Synonymous Paraphrasing Using WordNet and Internet." In Natural Language Processing and Information Systems, pp. 312-323.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Advances in Neural

Information Processing Systems 33, pp. 1877-1901.

Caswell, I., Chelba, C., and Grangier, D. (2019). "Tagged Back-Translation." In Proceedings of the 4th Conference on Machine Translation, pp. 53-63.

Dorr, B., Zajic, D., and Schwartz, R. (2003). "Hedge Trimmer: A Parse-and-Trim Approach to Headline Generation." In Proceedings of the HLT-NAACL 03 Text Summarization Workshop, pp. 1-8.

Edunov, S., Ott, M., Auli, M., and Grangier, D. (2018). "Understanding Back-Translation at Scale." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500.

Filippova, K., Alfonseca, E., Colmenares, C. A., Kaiser, L., and Vinyals, O. (2015). "Sentence Compression by Deletion with LSTMs." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 360-368.

Filippova, K. and Altun, Y. (2013). "Overcoming the Lack of Parallel Data in Sentence Compression." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1481-1491.

Gu, J., Bradbury, J., Xiong, C., Li, V. O., and Socher, R. (2018). "Non-Autoregressive Neural Machine Translation." In International Conference on Learning Representations.

He, J., Gu, J., Shen, J., and Ranzato, M. (2020). "Revisiting Self-Training for Neural Sequence Generation." In International Conference on Learning Representations.

Hoang, V. C. D., Koehn, P., Haffari, G., and Cohn, T. (2018). "Iterative Back-Translation for Neural Machine Translation." In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24.

Kamigaito, H., Hayashi, K., Hirao, T., and Nagata, M. (2018). "Higher-Order Syntactic Attention Network for Longer Sentence Compression." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1716-1726.

Kiyono, S., Suzuki, J., Mita, M., Mizumoto, T., and Inui, K. (2019). "An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 1236-1242.

Kobayashi, S. (2018). "Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 452-457.

Koehn, P. and Knowles, R. (2017). "Six Challenges for Neural Machine Translation." In Pro-
ceedings of the 1st Workshop on Neural Machine Translation, pp. 28-39.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online. Association for Computational Linguistics.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics.

Loem, M., Takase, S., Kaneko, M., and Okazaki, N. (2022). "ExtraPhrase: Efficient Data Augmentation for Abstractive Summarization." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp. 16-24.

Mallinson, J., Sennrich, R., and Lapata, M. (2017). "Paraphrasing Revisited with Neural Machine Translation." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 881-893.

Ng, N., Yee, K., Baevski, A., Ott, M., Auli, M., and Edunov, S. (2019). "Facebook FAIR's WMT19 News Translation Task Submission." In Proceedings of the 4th Conference on Machine Translation, pp. 314-319.

Nikolov, N. I. and Hahnloser, R. (2020). "Abstractive Document Summarization without Parallel Data." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6638-6644.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53.

Ott, M., Edunov, S., Grangier, D., and Auli, M. (2018). "Scaling Neural Machine Translation." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 1-9.

Parida, S. and Motlicek, P. (2019). "Abstract Text Summarization: A Low Resource Challenge." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5994-5998.

Prakash, A., Hasan, S. A., Lee, K., Datla, V., Qadir, A., Liu, J., and Farri, O. (2016). "Neural Paraphrase Generation with Stacked Residual LSTM Networks." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2923-2934.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389.

Sennrich, R., Haddow, B., and Birch, A. (2016a). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 86-96.

Sennrich, R., Haddow, B., and Birch, A. (2016b). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725.

Takase, S. and Kiyono, S. (2021). "Rethinking Perturbations in Encoder-Decoders for Fast Training." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Yu, A. W., Dohan, D., Le, Q., Luong, T., Zhao, R., and Chen, K. (2018). "Fast and Accurate Reading Comprehension by Combining Self-Attention and Convolution." In International Conference on Learning Representations.

Zhang, J. and Zong, C. (2016). "Exploiting Source-side Monolingual Data in Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1535-1545.

Zhang, J., Zhao, Y., Saleh, M., and Liu, P. J. (2020). "PEGASUS: Pre-Training with Extracted Gap-Sentences for Abstractive Summarization." In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org.

Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., and Artzi, Y. (2019). "BERTScore: Evaluating Text Generation with BERT." CoRR, abs/1904.09675.

## 略歴

Mengsay Loem: 2022 年東京工業大学情報理工学院情報工学系卒業. 同年 4 月より情報理工学院情報工学系知能情報コース修士課程に在学中.

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究
科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了. 博士 (情報科学). NTT コミュニケーション科学基礎研究所でのリサー チアソシエイト, 東京工業大学での研究員, 東京工業大学情報理工学院助教を経て, 2022 年 10 月よりシニアリサーチャーとして LINE 株式会社に所属.言語処理学会, ACL 各会員.

金子正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京 (現東京都立大学) システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 首都大学東京システムデザイン研究科博士後期課程に進学. 2019 年より日本学術振興会特別研究員 (DC2)を経て, 2021 年博士後期課程修了. 博士 (情報科学). 同年より東京工業大学情報理工学院研究員. 現在に至る.

岡崎直観：2007 年東京大学大学院情報理工学系研究科博士課程修了. 東京大学大学院情報理工学系研究科 - 特任研究員, 東北大学大学院情報科学研究科准教授を経て, 2017 年 8 月より東京工業大学情報理工学院教授. 言語処理学会, 人工知能学会, 情報処理学会, ACL 各会員.

