# 不要文削除によるデータ拡張に関する研究

大内 智仁 ${ }^{\dagger} \cdot$ 田伏 正佳 ${ }^{\dagger}$
}

近年インターネット上の情報量は指数関数的に増加している。そのため, 自動要約 システム技術は必要不可欠なものとなってくると思われる。自動要約システムを構築するには要約コーパスが必要となる。しかし, 多量の要約コーパスを作成するに は人手が必要となりコストがかかってしまう. そこで, 本研究では自動要約システ ムにおけるデータ拡張として, 記事に対して, 最も重要度の低い文を除去する手法 を提案する。本研究では, Pointer-Generator モデルにおいて提案手法の効果を検証 した. また, 本研究の比較対象として, 文書分類において用いられたデータ拡張手法である EDA (Easy Data Augmentation Techniques) や，Luhn， LexRankを用い た手法で実験を行った．Pointer-Generator モデルで用いたコーパスは CNN/Daily Mail dataset であり, トータルで, 287,226 記事存在する. 本研究では, 287,226 記事の他に，57,000 記事， 28,000 記事において比較実験した。結果は, EDA や Luhn, LexRankを用いた手法では拡張せずに元の記事だけで学習する手法 (拡張なし手法) よりも悪くなることがあったが, 提案手法は全ての記事数において拡張なし手法よ りも良い結果となった。

キーワード：自動要約, data augmentation, Pointer-Generator モデル, EDA
## The Effectiveness of Data Augmentation by Removing Unimportant sentence

\author{
Tomohito OuChI ${ }^{\dagger}$ and Masayoshi TaBuse ${ }^{\dagger}$
}

In recent years the amount of information on the Internet has increased exponentially. Consequently, automatic article summarisation technology will be indispensable. In this study, we propose a data augmentation method for an automatic summarisation system. The proposed method removes the least important sentence in an article. We used a topic model to determine the importance of sentences in articles. The Luhn and LexRank methods were used as comparative methods for determining the importance of sentences in articles. Additionally, we used Easy Data Augmentation (EDA) techniques as the comparison method for this study. EDA is a data augmentation method applied to document classification. A comparative experiment was performed using input datasets with 28,000, 57,000, and 287,226 articles. The Luhn and LexRank methods always produced the worst results, while EDA sometimes performed worse than the baseline method without a data augmentation. The proposed

method performed the best in all cases.

Key Words: Automatic Summarization, Data Augmentation, Pointer-Generator Model, $E D A$

## 1 はじめに

近年，全世界のインターネット上の情報量は指数関数的に増加しており (Reinsel et al. 2020), 2010 年から 2024 年まで年平均 $29 \%$ で成長し, 2024 年には 143ZB に達すると予想されている. また，テキストデータに関しても，2018 年の全世界の Web サイト数は 16 億程度であったのに 対して 2021 年現在においては 18 億程度 (Internet Live Stats 2021) と， 3 年で 2 億程度増えて いることからこれからもどんどん増えていくことが予想される。このような状況のなかで，イ ンターネットの情報を取捨選択する必要性は高まっており, 自動要約の技術が必須となってく る。しかし，実用段階に至っている自動要約システムの多くが，元の文章から要約文を抽出す るだけに終わっている。これは抽出型要約といわれており，問題点として，指示語の指す情報 の不明確さ，不必要な接続詞の存在，文同士の不自然なつながりなどがあげられる．しかし，抽出型要約システムによっては，要約をする元の文章だけで学習できる場合があり, 必ずしも要約の文章が必要とならないことがある。その場合，抽出型要約は，デー夕整備のコストはあま りかからない。一方で, 抽出型要約に対して生成型要約というものがある. 生成型要約の多く は, Encoder-Decoder モデルを基本として作られている。この方法でシステムを作る際，学習 には，要約をする元の文章と要約の文章のペアが多く必要となる，さらに，例えば，日本語の 論文の要約システムを作るとすれば，日本語の論文とその要約文のデータセットが必要となる. このシステムの学習に，ニュース記事の要約データセットを用いることはできない。 なぜなら，文章の体裁が全く違うからである。このように，特定のドメイン・言語で大規模データセット を作るのは困難である。本研究では，様々な長さの文章に対して複数の要約文を生成する要約 システムに焦点を当て，学習のためのデータセットに対してデータ拡張の効果を検証した。ま ず, Encoderで，入力文章を固定長のベクトルに変換し, Decoderでその固定長のべクトルから，一単語ずつ生成していく，生成する際には，一単語ずつ，学習に使った語彙の中から選んで要約を作る。初期のころは，Decoder 側で使われる語彙集合から，単語を選んでいたが，のちに， Copy Mechanism (Gu et al. 2016) が提案され, Encoder 側の単語をコピーして生成する機構が 提案された。これによって，特定の文章にしかでてこない単語（固有名詞など）を生成すること を可能にした。また，生成された要約文に同じフレーズが繰り返される問題を解決するために Coverage Mechanism (Tu et al. 2016)が提案された. 本研究では, データ拡張の検証としてこの Copy Mechanism と Coverage Mechanism を組み合わせた Pointer-Generator モデル (See et al. 2017）を使用した，学習のためのデータセットとして，日本語では, Livedoor News を用いた三
行要約がある (小平 2018) が, 本研究では, 様々な長さの文章に対して複数の要約文を生成する 要約システムでのデータ拡張の検証を目指しており，採用しなかった．また，出力長制御を考慮した見出し生成モデルのための大規模コーパス (JNC, JAMUL) (人見 他 2019) では, 見出し 生成を目的としており，これも採用しなかった．英語では，CNN/Daily Mail Dataset (Hermann et al. 2015) や, Cornell Newsroom (Grusky et al. 2018), Gigaword (Napoles et al. 2012)などの データセットが整備されている。このデータセットは, 人手の要約が付いており, 様々な長さ の要約をする文章があり, 複数文要約にもなっている。 そこで, 本研究では, データセットと して CNN/Daily Mail Dataset を用い，少ないデータでもデータ拡張することで効果的に自動要約システムを作ることができないかということに着目した. 既存の自然言語処理におけるデー 夕拡張手法を以下に示す。

1. 同義語・類義語で置き換える

2. 類似度を計算して置き換える

3. 反意語で置き換える

4. 文章内の語と語を入れ替える

5. ランダムに削除する

6. Back Translation を用いて文章を水増しする

本研究においてデータ拡張の比較対象として用いた EDA(Easy Data Augmentation Techniques) (Wei and Zou 2019)は， 1 と 4 と 5 に該当する．2の類似度を計算するには，教師なしクラス タリングや単語埋め込み行列などを使う。単語埋め込み行列には, word2vec (Mikolov et al. 2013), GloVe (Pennington et al. 2014), fastText (Bojanowski et al. 2017) などがある. 6 の Back Translation (Edunov et al. 2018)は，機械翻訳におけるデータ拡張手法である。しかし，いずれ の手法も文書分類システムや機械翻訳システムで効果が確かめられているだけであり，自動要約システムでは効果を検証されていない。一方, 画像処理分野では, 少ないデータでも効果的 に画像処理ができるデー夕拡張の方法がある。具体的には，以下の 9 つがある．

1. 水平・垂直方向に画像をシフトする

2. 水平方向・垂直方向に画像を反転させる

3. 回転させる（回転角度はランダムの場合あり）

4. 明度を変える

5. ズームインする・ズームアウトする

6. 画像の一部をくり抜く, 削除する

7. 背景色を変える

8. 背景を置き換える

9. Mixup $\cdot$ CutMix

ここで説明する Mixup と CutMix では，カテゴリを表すラベルを 1 （あり）か 0 （なし）で

はなく，連続量で表す，例えば，犬であるかないか（1 か $0 ）$ ではなく，犬である可能性が高い （例えば，0.8）という風に表す. Mixupは，二枚の画像とラべルを組み合わせて一つのデータ に合成する (Zhang et al. 2018). 例えば，犬 0.4 猫 0.6 といったラベルの画像は各画素値を犬 0.4 猫 0.6 の比率で合成した画像になる. CutMix は，複数の画像の一部を切り取ってつなぎ合わせ て 1 枚の入力画像にするデー夕拡張である (Yun et al. 2019). ラベルの表し方は，合成した画像中のそれぞれのラベルの付いた画像の面積比となる。例えば，犬と猫の面積比が $1: 3$ である ならば，犬 0.25 猫 0.75 というラベルとなる. Mixup や CutMix 以外の手法では，元画像だけで データ拡張が行える。我々は，これらの手法の内，背景を置き換えるという拡張手法に着目し， データ拡張手法を提案する，具体的には，要約する文章において，不要文を取り除き，文章の 大意を損なわない拡張文章を作ることでデータ拡張を行う.

## 2 関連研究

自動要約システムに関連する研究は, 大別して抽出型要約と生成型要約の二つの種類がある.以下の三つの節でそれぞれの要約とデータ拡張の関連研究について説明する。

## 2.1 抽出型要約

一つ目は, 抽出型要約である。これは, 要約元の文章から重要な部分を抽出して行う要約で,文単位のものから，フレーズ，単語単位まである，複数文書要約においては，同じような内容 の部分を抽出しないように，㔯長性を考慮した要約にする必要がある。抽出型要約でよく使わ れる手法としては, Graph Base 手法と Feature Base 手法, Topic Base 手法などがある.

Graph Base 手法でよく用いられるアルゴリズムとしてTextRank (Mihalcea and Tarau 2004) が挙げられる。これは, Google 検索で用いられている PageRank 手法 (Page et al. 1998)をもと に，自然言語に適用したものである.

PageRankでは，あるぺージが人気の高いぺージから多くリンクされていればいるほどその ページは重要度が高いとしている。TextRankは相互に関連度の高い語句は重要度が高いという 仮定に基づき語句を選択する手法である。この TextRankの派生に LexRank (Erkan and Radev 2004)がある. 本研究において提案手法に対する比較手法として LexRankを用いたデー夕拡張を 行う. 以降, この比較手法を DA-LexRank と呼ぶ (このDA は Data Augmentation からとった).

Feature Base 手法は, 文の特徴を定義して，その特徴による重みづけを行うことで文選択を行 うものである。本研究では, 単語の位置と頻度の情報を元に文の重要度を測る手法 (Luhn 1958) を用いてデータ拡張を行い提案手法に対する比較手法とする. 以降，この比較手法を DA-Luhn と呼ぶ.

Topic Base 手法は, トピックモデル (Blei et al. 2003) を用いて, 各文においてトピックの出
現確率が高いものから文を選択するという手法である。文におけるトピック分布は，文におい てTF-IDF 値を求め，それから，トピック分布の事前分布であるディリクレ分布を推定するこ とで得られる. 本研究では, 重松らの研究 (重松, 小林 2012 )をもとにトピックモデルを用いて 文の重要度を決めた。

## 2.2 生成型要約

二つ目は, 生成型要約である。これは, 要約元の文章と要約の対応関係を学習させ, 未知の 文章が入力されたときに，要約を生成するというものである。ここで，生成するというのは，入力文章から文, フレーズ，単語を抽出するのではなく，一から要約を生成するというものであ る. 生成の仕方は, 生成確率の高い単語をひとつずつ選んでいき, 文章の終わりを示すトーク ンが選ばれたときに，生成を終了するというものである．抽出型要約に比べて自然な文が生成 される可能性が高いが，二つの課題がある.

一つ目の課題は, 要約元の文章と要約のペアになったデータ作成の困難さである。要約元の 文章だけなら用意できるが，要約は，人による介入が必要となりコストがかかってしまう，人 によっても要約の仕方は変わり，また，どれくらいの長さにするかも変わってくる，そのため，厳密にデータを作ろうとすると, 要約の基準を定めなければならない. また, 機械翻訳では, 翻訳元の文数と翻訳先の文数は等しくなるが, 自動要約では, 要約の文数に対して, 要約元の文数はその数倍の量になることが多い。したがって, できるかぎり少ないデータで効率よく自動要約システムを作ることが求められる.

二つ目の課題は，自動要約タスクの定義の曖昧性である。機械翻訳においては，入力された文 の内容を過不足なく翻訳することがタスクの定義の正解として設定できるが, 自動要約に関して は, どの程度要約するのがタスクの定義の正解なのかはタスクの目的による. 実用段階となると, そのタスクで求められている程度の要約ができればいいということになる。このように, タスク によって求められる正解が変わってくるという意味で，デー夕作成の困難さがある。 その難し さから, 生成型要約の研究が始まった当初は, ニュース記事の 1 文目を入力してタイトルを生成 するというタスクに限定して研究が行われた。このタスクは通称見出し生成タスクと呼ばれる. また, Encoder-Decoder モデルを初めて導入した論文に ABS (Attention Based Summarization) がある (Rush et al. 2015). これを皮切りに，深層学習を用いた自動要約システムの研究が盛ん になった。そして，2017 年には， CNN/Daily Mail Dataset を用いた Pointer-Generator モデル (See, Liu, and Manning 2017) が開発された. 今までは, Encoder-Decoder モデルに Attention モデルを加えたものが主流であったが, 記事特有の固有名詞などがうまく生成できないという 問題があった。そこで, Encoder 側の単語をコピーするか, Decoder 側の語彙から選ぶかを確率 で決めるという Copy Mechanism が開発された (Gu et al. 2016). しかし, このメカニズムで生成された要約は, 同じフレーズを繰り返してしまうという問題があった。これを解決するため

に，以前選ばれた単語を選ばれにくくする Coverage Mechanism (Tu et al. 2016) というものが 開発された。

## 2.3 既存のデータ拡張手法

自然言語処理におけるデータ拡張に関する研究はいくつかある。多くは，文書分類に適用し たもので，そのうちの一つが EDA (Wei and Zou 2019)である. また，機械翻訳におけるデータ 拡張手法として, Back Translation (Edunov et al. 2018) がある. Back Translation とは, まず,入力ソースと出力ソースのデータから，翻訳モデルと逆翻訳モデルを作る．次に，入力ソース が存在しない出力ソースから，逆翻訳モデルで，入力ソース（疑似データ）を作るというもので ある。したがって, 本来のデータに加えて, 逆翻訳した入力ソースと出力ソースができ, データ 拡張を行うものである. Edunov らの研究 (Edunov et al. 2018) によって機械翻訳のベンチマー クを大幅に更新したことが確認された。

## 3 データ拡張

この章では，本研究において用いたデー夕拡張について説明する．3.1節では，本研究で提案 した手法を， 3.2 節では，それに対して比較する対象の手法を説明する。

## 3.1 提案手法

## 3.1.1 トピックモデル

潜在的意味解析は文書のもつ話題や分野など「潜在的な意味カテゴリ」を解析する手法 (Blei et al. 2003) である. この「潜在的な意味カテゴリ」を潜在的なトピック，または単にトピックと 呼び，文書内の複数の単語の共起性によって創発されると考える，トピックモデルは，文書に 隠れた潜在的なトピックを推定するモデルである。特に LDA (Latent Dirichlet Allocation) は,一つの文書に複数の潜在的なトピックが存在すると仮定し，そのトピック分布をディリクレ分布としてモデル化する，単語などを表層的と表現するならば，トピックは，単語と違って表面 には現れないので潜在的と表現できる。潜在的なトピック分布にディリクレ分布を仮定するこ とから，潜在的ディリクレ配分法と呼ばれる。

例えば，「貴景勝 実戦稽古再開 カド番で臨む 7 月場所 自分の攻めを意識」という文が あったとする．人はこの文を見て相撲に関する文書であることを理解できる．文書中に相撲と いう言葉は出てこないにもかかわらずである. よって, 単語は単に存在しているのではなく,潜在的なトピックから生成され，それぞれの文書はその文書がもつ複数のトピックに応じて出現しやすい単語集合で構成されていると考える.

## 3.1.2 文の重要度の決め方

トピックモデルを用いた文の重要度の決め方は, 重松らの研究 (重松, 小林 2012)を参考にし た. 今回用いたトピックモデルには，LDA 手法を用いた。また，本研究で用いたモジュールは gensim のバージョン 3.7 .3 を利用した. トピックモデルは, 一つの文書が複数のトピックから なることを仮定した言語モデルの一つである。また，それぞれのトピックは出現単語分布を持 つ. 文 $s$ の重要度 $i_{s}$ の決め方は次のようになる.

1. 文を構成している単語 $w$ のトピック $t$ における出現確率 $p(w \mid t)$ と文 $s$ におけるトピック $\mathrm{t}$ の出現確率 $q(t \mid s)$ の積を算出

2. 文を構成している全ての単語 $W$ で総和

3. 文長の平方根 $\sqrt{|s|}$ で割る

4. 全てのトピック $T$ において総和する

式で表すと以下の通りとなる.

$
i_{s}=\sum_{t \in T} \sum_{w \in W} \frac{p(w \mid t) q(t \mid s)}{\sqrt{|s|}}
$

この手法は，文を構成している主要なトピックにおいて出現確率の高い単語が多く含まれて いるときにスコアが高くなる.

## 3.1.3 処理の手順

我々は，画像処理におけるデータ拡張の考え方をもとに，文章から不要文を削除するデータ 拡張の方法を用いてデータ拡張の効果を検証した。画像処理におけるデータ拡張の一種である 「背景の差し替え」における背景を，自動要約システムにおける入力文章の不要な部分に置き換 え，入力文章から不要な部分を取り除いたものを新たな入力文章とした。 入力文章から不要文 を取り除くことは，画像処理における背景の除去（無背景に置き換えること）に対応する．他 の背景に置き換える，つまり不要文を他の文に置き換えることは，今後の課題として検討する べきである。また，この方法で生成される拡張デー夕は，不要文を除くだけなので意味的に破綻した文章が生み出される可能性は少ないといえる。本研究の提案手法は, 具体的に, 以下の 手順をとる.

1. 英語の Wikipedia のデータからトピックモデルを作る. Wikipedia のデータを選んた理由は多くの項目を解説しており，内容に偏りが少ないためである，今回の実験では，卜 ピック数を 100 と設定し， 20 文書以上かつ全記事（287,226 記事）の 1 割以下の文書で 使われた語に限定した，トピック数を決める際に Chang らの研究 (Chang et al. 2009)を 参考にした. この研究では, Wikipedia においてトピック数を $50,100,150$ とおき LDA 手法を含む三つの手法で実験している．LDA 手法においてはトピック数が 150 のときが

図 1 提案手法の疑似コード

最もパフォーマンスが高かった. しかし， 150 で実験すると各文が持つトピックの重な りが少なくなり, 各文の重要度がうまく計算できないと思われたため本研究ではトピッ ク数を 100 に減らした.

2. 1. で作成したトピックモデルを用いて，各文章 $\mathrm{S}$ における各文 $\mathrm{s}$ の重要度 $i_{s}$ をスコアと して算出する

3. 重要度 $i_{s}$ の最も低い文を取り除き，拡張データ $\mathrm{E}$ とする アルゴリズムを図示すると, 図 1 のようになる.

## 3.2 比較手法

本研究では, 提案手法の比較対象として, EDA (Wei and Zou 2019) と, Feature Base 手法で ある，単語の位置と頻度の情報を元に文の重要度を測る手法 (Luhn 1958)を用いたデー夕拡張手法 (DA-Luhn) と, Graph Base 手法である LexRank を用いたデータ拡張手法 (DA-LexRank) を用いた。以下では, EDAと，DA-Luhn, DA-LexRankについて説明する.

## 3.2.1 EDA

EDA は極性分類やレビュー推定などの文書分類におけるタスクにおいて，データ拡張を行っ た方法である，中間べクトルにノイズを加えるなどのデータ拡張ではなく，記事自体を変える データ拡張として，EDAを比較手法として選んた。拡張手法の概要は以下となる。

(1) Synonym Replacement (SR)

ある単語を同義語に置き換える

(2) Random Insertion (RI)

ある単語の同義語を記事のランダムな位置に挿入する

(3) Random Swap (RS)

ランダムな二つの単語を入れ替える

(4) Random Deletion (RD) ランダムな単語を削除する

EDA では，上記の四つの手法を行う頻度を記事に使われている延べの単語数にハイパーパラ メータ $\alpha$ を掛けて求めている. この研究では, 訓練記事数が 5,000 以上だと $\alpha$ の值は 0.1 に設定しているので本研究でもそれに倣った。また, EDAの論文 (Wei and Zou 2019)によると，一 つの記事に対する拡張する記事の数を 4 にしたときが最も良い結果が出たということで，本研究でもそれに倣った. EDAを Pointer-Generator モデル (See et al. 2017)に適用して，提案手法 との比較検討を行った. 本研究では, $\mathrm{EDA} の$ 各手法 (SR, RI, RS, RD) と, 文章ごとに各手法を ランダムに選択した手法（以降,この手法を EDA と呼ぶ）を比較手法とした.

## 3.2.2 DA-Luhn

単語の位置と頻度の情報を元に文の重要度を測る手法 (Luhn 1958)では，まず，対象とする 文章のうち, ストップワードでない頻出単語のトップ 100 単語を重要単語とし, 重要単語の文章中の位置を調べる。次に，重要単語同士の距離が 4 以下のものを一つのクラスタとしてクラ スタリングする。そして, クラスタ内の重要単語数の二乗の値を, クラスタの最初の単語と最後の単語の距離で割った値を，そのクラスタのスコアとする。最終的に各クラスタのスコアの 最大値がその文のスコアになる。そのスコアを用いて，不要文（最小スコアの文）を除去する データ拡張手法がDA-Luhn となる。

## 3.2.3 DA-LexRank

LexRankは，多くの文と類似する文や重要な文と類似する文は重要な文と考え，文章同士の TF-IDF ゙クトルのコサイン類似度から遷移確率行列を求め, 遷移確率行列に滞在確率ベクトル をかけたものが滞在確率べクトルになるような滞在確率べクトルを求める.このときの滞在確率ベクトルが文の重要度となる。そして, 文の重要度を用いて, 不要文（最小スコアの文）を 除去するデータ拡張手法が DA-LexRank となる。今回の実験では，コサイン類似度が 0.1 以上 のものは全て 1 とし, 更新前の滞在確率べクトルと更新後の滞在確率べクトルの差のノルムが 0.1 以下になったときを収束条件とした.

## 4 Pointer-Generator モデル

この章では, 本研究において使用した自動要約システムである Pointer-Generator モデル (See et al. 2017) について説明する。そのために必要な知識として, Encoder-Decoder モデル, Attention モデルについても説明する.

## 4.1 Encoder-Decoder+Attention モデル

図 2 が LSTM Encoder-Decoder+Attention モデルの概要図になる．ＳTM (Long Short Term Memory) は (Hochreiter and Schmidhuber 1997)を参照されたい.

$\boldsymbol{x}(\tau)$ は $\tau$ 番目の単語を指す. Encoder は, $T$ 個の単語から成り立っており, Decoder 側で $\mathrm{t}$ 番目の単語の隠れべクトル $h_{d e c}(t)$ を算出する場合を表している. $h_{d e c}(t)$ の算出の仕方は, 以下 の式による.

$
\boldsymbol{h}_{\boldsymbol{d e c}}(t)=f\left(\boldsymbol{h}_{\boldsymbol{d e c}}(t-1), \boldsymbol{y}(t-1), \boldsymbol{c}(t)\right)
$

$\boldsymbol{c}(t)$ は以下の式によって求められる.

$
\boldsymbol{c}(t)=\sum_{\tau=1}^{T} \boldsymbol{\alpha}_{\tau}(t) \boldsymbol{h}_{\boldsymbol{d e c}}(\tau)
$

つまり，この $\boldsymbol{\alpha}_{\tau}(t)$ が， Encoder 側のそれぞれの単語をどれくらいデコーダー側に伝えるか の割合を表している.

$
w_{\tau}(t)=f\left(\boldsymbol{h}_{\boldsymbol{d e c}}(t-1), \boldsymbol{h}_{\text {enc }}(\tau)\right)
$

なる $w_{\tau}(t)$ を用いて,

$
\alpha_{\tau}(t)=\frac{\exp \left(w_{\tau}(t)\right)}{\sum_{\rho=1}^{T} \exp \left(w_{\rho}(t)\right)}=\operatorname{softmax}\left(w_{\tau}(t)\right)
$

と表される. この $w_{\tau}(t)$ が最適化されるべきパラメータである.

図 2 LSTM Encoder-Decoder+Attention モデルの概要図

## 4.2 Pointer-Generator モデル

Pointer-Generator モデルについて説明する．Pointer-Generator モデルは Encoder-Decoder + Attention モデルに, Copy Mechanism と CoverageMechanism を追加したモデルである. 概要図 は図 3 の通りとなる。

このモデルは以下の手順で処理を行う.

1. 入力テキスト (Source Text)を, 双方向 LSTM でエンコードする. 可変長の長さのデー タを固定長のべクトルになおす。（赤色箇所）

2. EncorderLSTM で Attention Mechanism（青色箇所）を用いて，単語生成確率（黒色箇所）を求める.

3. デコード部分 (Partial Summary) における単語の生成確率分布 (Vocabulary Distribution) に，エンコード部分における Attention の値 (Attention Distribution) を加算する (Copy Mechanism) (Final Distribution). Copy Mechanism によって, モデルの出力語彙には含 まれない単語を生成することが可能となる.

4. Final Distribution から最終的に生成する単語を選択

5. 2.〜4. を繰り返して, 逐次的に単語を生成. 文章の終わりを表すトークンが選ばれたら, そこで，デコード（要約）は終了する

図 3 Pointer-Generator モデルの概略図 (See et al. 2017)

Coverage Mechanism を使うときは，2.の時点において以下の処理を行う.

以前 Attention の値が大きかったところは， Attention 値を減衰させる。これには，現在注目している Encoderの単語以前の Attentionを総和した Coverage Vector を導入する. また，それを Attention Distribution（Encoderに入力された全語彙の Attention 分布）の 式に加える。そして，最終的な損失に，現在の Attention か Coverage Vector の低い方を 加える，そうすることで， Attention の方が低いときは, 現在の単語の Attention が減衰 するように学習され, Coverage Vectorの方が低いときは, 現在の単語が重要ということ なので，それまでの Attention が減衰するように学習する。

この処理を行うことで, できるだけ入力文章全体の情報を用いて要約を生成するようにする.

## 5 実験条件

この章では, 本研究における実験条件について述べる， 5.1 節では, パラメータ設定と, デコー ドする（要約を生成する）ときに使うビームサーチについて説明する． 5.2 節では Early Stopping について説明する。

## 5.1 パラメータ設定

本研究では, データセットに CNN/Daily Mail Dataset (DeepMind Q\&A Dataset)を用いた. このデータセットは，訓練データが 287,226 記事，検証データが 13,368 記事，テストデータが 11,490 記事存在する.データ拡張の効果を見るために, 287,226 記事の他に, 約 $1 / 5$ の記事数で ある 57,000 記事と， 約 $1 / 10$ の記事数である 28,000 記事で実験を行った. 隠れ層のべクトルサ イズは 256 に設定し，埋め込みベクトルサイズは 128 に設定した。ドロップアウトは使ってい ない. バッチサイズは 8 に設定した. Pointer-Generator モデル (See, Liu, and Manning 2017) （以降この論文を原論文と呼ぶ）では，バッチサイズが 16 となっているため, 同じ記事数学習す るためには, 二倍の学習回数が必要となる。要約を生成する部分には, ビームサーチを使用し た. 貪欲法では，単語を生成するときに，最も生成確率の高い単語をひとつ選ぶのに対し，ビー ムサーチでは，上位 $\mathrm{K}$ 個までの生成単語を保持しながら処理を進めていく。そして最終的にで きた複数の要約に対して, それぞれの単語の生成確率を掛け, 最も高いものを最終的な生成要約とした。今回の実験では, $\mathrm{K}$ の值は 4 に設定している。語彙数は 50,000 に, 学習率は 0.15 に 設定した。 原論文では, エンコードする際に，入力記事の最初から 400 単語のみを用いて，学習していたが, 提案手法の場合, 取り除かれる不要文が最初から 400 単語以内にない場合, 文 を取り除いた効果が無くなってしまうので，入力記事全ての単語を用いて学習した。具体的に は, 入力単語数に, 入力記事の中の最大単語数である 2,380 を用いた. また, 最適化アルゴリ ズムは AdaGrad を用いた。これらのパラメータを表 1 に示した.

表 1 パラメータ設定

## 5.2 Early Stopping

Early Stopping というのは, 通常, 各エポックの検証誤差（学習したモデルを使って, 学習 データ以外の検証データを入力して得られた要約と参照要約との生成確率の誤差）をモニタリ ングし，ある一定のエポック数が進んでも，検証誤差が下がらなかったところで学習を終了す るというものである. Ouchi らの研究 (Ouchi and Tabuse 2019) では 90,000 記事, 45,000 記事, において提案手法と拡張なし手法の比較を行っているが, 異なる記事数における学習回数の決定法について考察をしていなかった。具体的には，90,000 記事，45,000 記事が全記事に対して 約 $1 / 3,1 / 6$ の記事数になるということから, 学習回数も 287,226 記事のときの $1 / 3,1 / 6$ 回にし ていた. それに対し本研究では, モデルや訓練記事数に応じた学習回数を決定する方法として Early Stopping を採用した。訓練データ数 287,226 記事, 57,000 記事, 28,000 記事それぞれで,各手法において検証誤差をモニタリングし，どれだけのエポック数をモニタリングすればよいか を決定した。モニタリングするエポック数については, 最小の検証誤差を出したエポック数の 2 倍までモニタリングする（例えば，5 エポックで検証誤差が最小なら 10 エポックまでモニタリ ングしてそれでも最小値が更新されなければ，5 エポックのモデルを採用する）。デコード（要約）に使うモデルは，誤差が最小となったときのモデルを使うことにする．我々は， Coverage Mechanism においては， Coverage Lossを用いて，各ステップにおいてモニタリングした.

## 6 実験

6.1 節では, 評価に用いた尺度を, 6.2 節, 6.3 節では拡張なし手法, 提案手法, SR, RI, RS, RD について, Early Stopping の条件を変えた比較実験を述べ, 6.4 節, 6.5 節では 6.3 節の実験 2 に対して，記事数を変えて比較実験をした結果を載せた． 6.6 節では, さらに比較対象として， DA-Luhn, DA-LexRank, EDA を加えて実験をした結果を載せた。 6.7 節では, 生成した要約例を載せた。

## 6.1 評価尺度

本研究では, 評価尺度に ROUGEを用いた (Lin 2004). ROUGE は, 参照要約と生成要約の単語の一致率を見るものである。本研究における参照要約は, CNN/Daily Mail Dataset (DeepMind Q\&A Dataset)において人が作った要約である. 本研究では, ROUGE-1, ROUGE-2, ROUGE-L を用いた，ROUGE-1，ROUGE-2 は，それぞれユニグラム，バイグラムの一致率, ROUGE-L は, 最長共通部分列の文長に対する割合で測る。参照要約を A B C D とし, 生成要約を A B C X Y とすると，例えば，ROUGE-1の再現率は，3/5で，適合率は，3/4である，ROUGE-2で は, 要約をバイグラムに直さなければならないので, 参照要約は, $(\mathrm{A} \mathrm{B}),(\mathrm{B} \mathrm{C}),(\mathrm{C} D)$, 生成要約は, (A B), (B C), (C X), (X Y) となるので, 再現率は, $2 / 4$ で, 適合率は, $2 / 3$ となる. また，それぞれの ROUGEの測り方として，再現率と適合率と $\mathrm{F}$ 值を用いる。再現率は，参照要約がどれだけ生成要約に含まれているか，つまり，参照要約の単語をどれだけ生成できたか をみるもので，適合率は，生成要約がどれだけ参照要約に含まれているかを考えるものである. F 値は再現率と適合率を両方考慮したもので，式 (6)で表される。

$
F \text { 值 }=\frac{2 \times \text { Recall } \times \text { Precision }}{\text { Recall }+ \text { Precision }}
$

ただし, Recall は再現率, Precision は適合率を表す. Recall, Precisionの計算式はそれぞ れ式 (7), 式 (8)となる.

$
\begin{gathered}
\text { Recall }=\frac{\text { 参照要約と生成要約の一致単語数もしくは一致単語長 }}{\text { 生成要約の単語数 }} \\
\text { Precision }=\frac{\text { 参照要約と生成要約の一致単語数もしくは一致単語長 }}{\text { 参照要約の単語数 }}
\end{gathered}
$

## 6.2 原論文と Coverage Mechanism の条件を揃えた比較実験（実験 1）

本実験では, 学習記事数を最大記事数である 287,226 記事にして実験を行った． Copy Mechanism に関しては, Early Stoppingで，検証誤差が最小となるようなエポックを見つけた. Coverage Mechanism については，原論文に倣って，6,000 回とした.

## 6.2.1 結果

表 2 に結果を示す.

原論文と Coverage Mechanismの条件を揃えた条件では，提案手法が最も良くなり，EDAの RD (Random Deletion) 手法が最も悪い結果となった。続いて, RI (Random Insertion), SR (Synonym Replacement), 拡張なし手法, RS (Random Swap), そして提案手法の順番に良く なっていった.

表 2 学習記事数 287,226 の F 值 (Copy Mechanism: Early Stopping, Coverage Mechanism: 6,000)

表 3 学習記事数 287,226 の F 値 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping)

## 6.2.2 考察

Coverage Mechanism は 6,000 回と固定したが, あくまで拡張なし手法において最適な回数で ある可能性もあるので，実験 2 では，Coverage Mechanism に関して，Early Stopping を用いる ことで，手法に限らず，自動的に決定する手法をとった，実験 1 の条件下では，提案手法が最 も良い結果となり，拡張なし手法に比べて，スコアが 0.055 良くなっている。本実験の拡張な し手法と原論文との違いは大きく二つある。まず入力単語数を原論文では 400 単語と限定して いたのに対し, 本研究では限定をなくした. 二つ目は, Early Stopping を用いたところである. これは，他の記事数で実験したり，他の手法で比べる際に学習回数をヒューリスティックに決 めるのを避けるために必要なことであった.

## 6.3 学習回数を全て Early Stopping で決定した比較実験（実験 2）

本実験では, 実験 1 と同じく学習記事数を最大記事数である 287,226 記事にして実験を行った.

Copy Mechanism に関しては, Early Stopping で行い, Coverage Mechanism についても Early Stopping で行った.

## 6.3.1 結果

表 3 に結果を示す.

提案手法が最も良い結果となり, EDAのRS (Random Swap) が最も悪い結果となり，続い て, RD (Random Deletion), SR (Synonym Replacement), RI (Random Insertion), 拡張なし 手法, そして提案手法の順に良くなっていった.

## 6.3.2 考察

本実験では Coverage Mechanism においても Copy mechanism と同様に Early Stopping を用 いた。結果からみると, 提案手法が最も良い結果となった。提案手法は拡張なし手法に比べて, スコアが 0.016 程度良くなっている。実験 1 と実験 2 を比べてみると，拡張なし手法は若干で あるが良くなっている，提案手法をみると, 少し悪くなっている.

## $6.457,000$ 記事におけるデータ拡張効果の検証実験（実験 3 ）

本実験では, 学習記事数を最大の約 $1 / 5$ の 57,000 記事にして, 実験 2 と同様, Copy Mechanism, Coverage Mechanism の両方で Early Stopping を用いた.

## 6.4.1 結果

表 4 に結果を示す.

提案手法が最も良い結果となり RS (Random Swap)が最も悪い結果となった.

## 6.4.2 考察

RS (Random Swap), 拡張なし手法, RD (Random Deletion), RI (Random Insertion), SR (Synonym Replacement), そして提案手法の順番に値が良くなっている。提案手法は拡張なし 手法に比べて，スコアが 0.0251 良くなっている. RI (Random Insertion) と SR (Synonym Replacement) は拡張なし手法よりも良くなった. このことから, 提案手法に関して 287,226 記事 のときよりもデータ拡張の効果が大きくなったということが言える。また, EDAのうち RS 以外は全て拡張なし手法よりも良い結果となった. 少ない記事の方がデータ拡張の効果が出るこ とは，EDAの論文 (Wei and Zou 2019) でも報告されている。これは，多くの記事を学習した 方が偏りが少なくなり，デー夕拡張の効果が出にくいことによると思われる．今回の例だと， 57,000 記事は学習の偏りが多くなり，データ拡張によってデータの複雑性を増すことにより汎化性能が高まったものと思われる。 さらに，本実験で言うと，提案手法が EDA の各手法より も汎化性能を上げるのに有用であったと言える。拡張なし手法に比べて提案手法の方が拡張し た分, デー夕は増えているが, 学習デー夕を増やせることがデー夕拡張手法のメリットであり,

表 4 学習記事数 57,000 の F 値 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping)
学習回数が増える可能性については Early Stopping で自動化されているのでデー夕拡張手法の 効果を検証する上で問題ではないと考える。

## $6.528,000$ 記事におけるデータ拡張効果の検証実験（実験 4）

本実験では，学習記事数を最大記事数の約 $1 / 10$ である 28,000 記事にして，実験を行った. Copy Mechanism, Coverage Mechanism の学習回数の決め方は実験 2 と同じとした.

## 6.5.1 結果

表 5 に結果を示す.

本実験でも提案手法が最もよい結果となり, SR (Synonym Replacement)で最も悪い結果と なった。

## 6.5.2 考察

RS (Random Swap), 拡張なし手法, RI (Random Insertion), RD (Random Deletion), 提案手法, SR (Synonym Replacement)の順番に良くなった. 提案手法は, 拡張なし手法に比べて, スコアが 0.0115 良くなった. EDAの手法は，拡張なし手法よりも良くなることもあれば，悪く なることもあった. しかし, 提案手法は常に拡張なし手法よりも良い結果を出していた. 今回 の実験では，SR 手法が最も良い結果となっている.

実験 2 から実験 4 までをみると，どれも RS 手法が一番悪い結果となっている，一方で，実験 1 に関しては, 提案手法を除いて最も良い結果となっている． RS 手法は, ランダムに二つの 単語を入れ替えてデータ拡張する手法で, EDAの他の 3 手法より最も意味的に破綻した文章を 作ってしまう可能性がある。そのため, 実験 2 から実験 4 では RS 手法が最も悪い結果になっ たものと思われる。実験 1 に関しては，Coverage Mechanism の学習回数を 6,000 回として固定 して学習しており, 他の実験よりも多い回数になっている。 そのため, 他の実験に比べ全体の 文脈をより考慮した形となり，多少文が破綻しても影響が少なかったのではないかと思われる．逆に，SR 手法は，全体的に EDA 手法の中で最も良い結果を出している。その理由として, SR 手法は, 同義語に入れ替えるものなので，意味的に最も影響の少ない手法となっているためで

表 5 学習記事数 28,000 の F 值 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping)

あると考えられる．残りの $\mathrm{RI}$ 手法と $\mathrm{RD}$ 手法は，前者の二つの手法の中間に位置する． $\mathrm{RI}$ 手法は，ある単語の同義語をランダムな位置に挿入する方法で， RD 手法は，ランダムな単語を削除する方法で，いずれも同じ単語数だけ文章全体に影響を与えるという意味で同程度の効果が 表れたものと思われる。

提案手法よりも EDA 手法全体が悪くなった原因としては，EDAの場合は，特に意味のない 単語を挿入したりや単語が入れ替わってしまい意味が取れなくなったり，重要な単語が消され てしまう可能性があることにより汎化性能を上げる効果よりも正しく学習できなかった影響の ほうが大きかったと思われる。その点で，提案手法は，不要文を削除するだけなので文章全体 の意味が取れなくなることもなく, さらに重要なところが削除されることもないのでデー夕拡張による悪い影響は少なく効果が EDAより表れていたものと考えられる.

## 6.6 提案手法, DA-Luhn, DA-LexRank, EDA の比較実験（実験 5）

本実験では, 記事数 287,226, Copy Mechanism, Coverage Mechanism の学習回数の決め方は 実験 2 と同じとした。そして，本実験ではさらに，DA-Luhn, DA-LexRank, EDAの方法でデー 夕拡張して学習させた結果も載せた。また, DA-Luhn, DA-LexRank手法と提案手法における 不要文抽出の評価実験も行った。

## 6.6.1 結果

表 6,7 に結果を示す.

新たに加えた三手法 (DA-Luhn, DA-LexRank, EDA)のどの手法も拡張なし手法, 提案手法,

表 6 学習記事数 287,226 の F 值 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping). 全手法で比較.

表 7 各手法と ROUGE を用いた手法で一致した文の数

EDA の各手法 (SR, RI, RS, RD) に及ばなかった。表 8 においては, ROUGEを用いて, 要約と 最もROUGE-1のF 値の高かった文を最重要文とし, 要約との ROUGE-1のF 値の最も低かっ た文もしくは，ROUGE-1のＦ 值が 0 になった文集合を不要文または不要文群とした．そして，提案手法に用いたトピックモデルと DA-LexRank で用いた LexRank と DA-Luhn で用いた Luhn を使って最重要文と不要文を抽出し，一致した文の数を調べた.

## 6.6.2 考察

DA-Luhn が最も悪い結果となり, 続いて, DA-LexRank, EDA, RS (Random Swap), RD (Random Deletion), SR (Synonym Replacement), RI (Random Insertion), 拡張なし手法, そ して提案手法の順に良くなっていった。この結果から，データ拡張をするために行う文の重要度決めに用いるのは，DA-Luhn や DA-LexRankよりもトピックモデルを用いた提案手法の方が 効果があることを確認した．実際，表 8 を見てもわかるとおり，提案手法を用いた場合の方が，不要文, 最重要文とも一致度は高い，ROUGE を使って不要文削除を行えばいいのではないか ということも考えられるが，ROUGE はあくまで単語の一致率を見ているので単語がひとつも 一致しない文はスコアが 0 になる。したがって，スコアが 0 の文同士の重要度の差は生まれな い. 本研究では，不要文として一文を削除することにしているが，ROUGEだとスコアがどち らも 0 で差が生まれない場合に一文を選ぶことができないため本研究では扱わなかった。また， EDA は，組み合わせて使うよりもそれぞれの手法を用いた方がデータ拡張の効果が表れやすい ことが確認できた．DA-Luhnがトピックモデルを用いたときよりも拡張の効果が表れなかった 原因として，DA-Luhnでは，単語の位置と頻度だけを考慮しており，一方で，トピックモデル は TF-IDF 行列からトピック分布の事前分布であるディリクレ分布を推定するため，各文章の トピック分布を評価することができる点にあると思われる。次に DA-LexRankがトピックモデ ルを用いたときよりも拡張の効果が表れなかった原因として考えられるのは，トピックモデル では，TF-IDF 行列から推定したトピックを用いているので，car と automobile といった同じ意味でも異なる単語を捉えられる。そのようなトピックの観点がDA-LexRankにはなかったこと が文の重要度を決めるときに影響を及ぼし，トピックモデルより悪い結果になったものと思わ れる。

## 6.7 生成した要約例

本文と生成した要約例を付録に載せる。要約例は，拡張なし手法で生成した要約と提案手法 で生成した要約とを比較するため, 参照要約との ROUGE-1の F 值をもとに，実験 1 において 提案手法で生成した要約と参照要約との ROUGE-1の F 値が最大になる場合（付録 1 ），最小に なる場合（付録 2 ），中央値になる場合（付録 3）の三つの場合の要約元文，参照要約，拡張な し手法での要約，提案手法での要約を示した。また，図 4 ６は，そのうち要約例だけ示す.

図 4 ROUGE-1 の F 値が最大になる場合（要約のみ）

## 参照要約

gray 's family asked there be no protests ; they condemned violence .

community leaders and brave residents got in between rioters and police .

生成要約（拡張なし手法 coverage 6,000 回）

"i want them all to go back home ," rev. jamal bryant tells cnn 's rev. jamal bryant .

the gangs have signed a peace deal and are uniting to push against police lines .

the gangs are consistently pursued by the fbi .

生成要約（提案手法 coverage 6,000 回）

"i want them all to go back home ," rev. jamal bryant says .

"i want y' all to get justice for my son ," "i 'm just a soldier ," stepfather says .

"i want y' all to get justice for my son, but do n't do it like this is for freddie ," stepfather says .

図 5 ROUGE-1 の F 値が最小になる場合（要約のみ）

ROUGE-1 の F 值が最大になる場合（図 4）は，参照要約が 4 文あるが，拡張なし手法モデル はそのうち最初の 2 文だけ正解している。提案手法は 4 文とも正解している. ROUGE- 1 の F 値が最小になる場合（図 5）は, どちらの手法も正解には程遠いが, “jamal bryant”というこの 文章にしか出てこない固有名詞に対して，うまく生成できているのがわかる．提案手法の方は，文が繰り返されており，Coverage Mechanismがうまく働いていないことがわかる， ROUGE-1 の $\mathrm{F}$ 值が中央值をとる場合（図 6）は，どちらの手法も最初の一文だけうまく生成できている のがわかる，総合すると，若干ではあるが提案手法の方が全体として良い要約になっているも のと思われる。

図 6 ROUGE-1の F 值が中央値をとる場合（要約のみ）

## 7 おわりに

本研究では，自然言語処理におけるデー夕拡張の手法を提案し，自動要約システム PointerGenerator モデル (See et al. 2017) の場合で，デー夕拡張の効果があることを示した. また，比較実験により，自動要約システムにおいて汎化性能を出すためには，EDAの各手法およびそれ らを組み合わせた手法よりも提案手法の方が効果があることが確認できた. さらに, 本研究で は, 重要度の低い文を取り出す方法として, 抽出型要約の 3 手法 (トピックモデル, DA-Luhn, DA-LexRank）で比較実験したが，実験 5 の結果からトピックモデルの場合が最も不要文抽出 の一致度は高かった。したがって, データ拡張の効果もトピックモデルの場合が最も良かった。 より少ない学習記事においてデータ拡張の効果が大きく現れるのではないかと考えていたが,実験結果からは， 57,000 記事のときに一番効果が表れていた. しかし，少なすぎるとデータ拡張の効果が少なくなることがわかった，今回は，一番重要度の低い文を取り除いた文章を拡張記事データとして水増しすることでデータ拡張を行った. しかし, 元の文章の長短に関わらず,一文しか取り除いていないので，今後の課題として，文章の長さに応じて取り除く文の数を変 えるといった拡張が考えられる。また, 重要度の低い文を取り除くのではなく, 重要度の高い 文を残すというやり方も考えられる。最近の研究では，BERTを使った自動要約システムも考 えられている (Liu and Lapata 2019)。このように, Pointer-Generator モデルだけでなく最先端 のモデルにも提案手法が有効であるか試していく必要性がある.

## 参考文献

Blei, D. M., Ng, A. Y., and Jordan, M. I. (2003). "Latent Dirichlet Allocation." The Journal of Machine Learning Research, 3, pp. 993-1022.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." In Transactions of the Association for Computational Linguistics (TACL), Vol. 5, pp. 135-146.

Chang, J., Gerrish, S., Wang, C., Boyd-graber, J., and Blei, D. (2009). "Reading Tea Leaves: How Humans Interpret Topic Models." In Proceedings of the 22nd International Conference on Neural Information Processing Systems, pp. 288-296.

Edunov, S., Ott, M., Auli, M., and Grangier, D. (2018). "Understanding Back-Translation at Scale." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 489-500.

Erkan, G. and Radev, D. R. (2004). "LexRank : Graph-based Lexical Centrality as Salience as Text Summarization." Journal of Artificial Intelligence Research, 22, pp. 457-479.

Grusky, M., Naaman, M., and Artzi, Y. (2018). "Newsroom: A Dataset of 1.3 Million Summaries with Diverse Extractive Strategies." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 708-719.

Gu, J., Lu, Z., Li, H., and Li, V. O. (2016). "Incorporating Copying Mechanism in Sequenceto-sequence Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 1631-1640.

Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., and Mustafa Suleyman, P. B. (2015). "Teaching Machines to Read and Comprehend." In Proceedings of the 28th International Conference on Neural Information Processing Systems (NIPS), pp. 1693-1701.

人見雄太, 田口雄哉, 田森秀明, 菊田洸, 西鳥羽二郎, 岡崎直観, 乾健太郎, 奥村学 (2019). 出力長制御を考慮した見出し生成モデルのための大規模コーパス. 言語処理学会第 25 回年次大会発表論文集, pp. 1225-1228. 言語処理学会. [Y. Hitomi et al. (2019). Shutsuryokucho Seigyo wo Kouryo shita Midashi Seisei Moderu no tameno Daikibo Kopasu. Proceedings of the 25th Annual Meeting of the Association for Natural Language Processing, pp. 1225-1228.].

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." In Neural Computation, pp. 1735-1780.

Internet Live Stats. "Total number of Websites." https://www. internetlivestats .com/totalnumber-of-websites/.
小平知範 (2018). 文書構造に着目したニューラル文書要約. Master's thesis, 首都大学東京大学院システムデザイン研究科情報通信システム学域. [T. Kodaira (2018). Incorporating Document Structure into Neural Abstractive Summarization. Master's thesis, Graduate School of System Design, Tokyo Metropolitan University.].

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81.

Liu, Y. and Lapata, M. (2019). "Text Summarization with Pretrained Encoders." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3730-3740.

Luhn, H. P. (1958). "The Automatic Creation of Literature of Abstracts." IBM Journal of Research and Development, 2 (2), pp. 159-165.

Mihalcea, R. and Tarau, P. (2004). "TextRank: Bringing Order into Texts." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP-WS), pp. 404-411.

Mikolov, T., Chen, K., Corrado, G. S., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In International Conference on Learning Representations (ICLR2013).

Napoles, C., Gormley, M., and Durme, B. V. (2012). "Annotated Gigaword." In Proceedings of the Joint Workshop on Automatic Knowledge Base Construction $\mathcal{E}$ Web-scale Knowledge Extraction (AKBC-WEKEX), pp. 95-100.

Ouchi, T. and Tabuse, M. (2019). "Effectiveness of Data Augmentation in Automatic Summarization System." In The Proceedings of the 2019 International Conference on Artificial Life and Robotics, pp. 177-180.

Page, L., Brin, S., Motwani, R., and Winograd, T. (1998). "The PageRank Citation Ranking: Bringing Order to the Web." In Proceedings of the 7th International World Wide Web Conference, pp. 161-172.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543.

Reinsel, D., Rydning, J., and Gantz, J. F. . "Worldwide Global DataSphere Forecast, 20202024: The COVID-19 Data Bump and the Future of Data Growth." https://www.idc. com/getdoc . jsp?containerId=US44797920.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in

Natural Language Processing, pp. 379-389.

See, A., Liu, P. J., and Manning, C. D. (2017). "Get To The Point: Summarization with PointerGenerator Networks." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1073-1083.

重松遥, 小林一郎 (2012). 潜在的トピックの重要度を考慮した要約文の生成. 言語処理学会第 18 回年次大会発表論文集, pp. 3-26. 言語処理学会. [H. Shigematsu and I. Kobayashi (2012). Senzaiteki Topikku no Juyodo wo Kouryo shita Yoyakubun no Sakusei. Proceedings of the 18th Annual Meeting of the Association for Natural Language Processing, pp. 3-26.].

Tu, Z., Lu, Z., Liu, Y., Liu, X., and Li, H. (2016). "Modeling Coverage for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 76-85.

Wei, J. and Zou, K. (2019). "EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6382-6388.

Yun, S., Han, D., Oh, S. J., Chun, S., Choe, J., and Yoo, Y. (2019). "CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features." In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 6023-6032.

Zhang, H., Cisse, M., Dauphin, Y. N., and Lopez-Paz, D. (2018). "mixup: Beyond Empirical Risk Minimization." In International Conference on Learning Representations (ICLR).

## 付録 1

ROUGE-1 の F 值が最大になる場合

## 要約元の文章

"april 8 , 2015 . after a report on headlines concerning the u.s. and cuba , cnn student news gives some perspective on california 's historic drought : its effects are becoming more likely to ripple across the nation . there 's been a flu outbreak in chicago - but not one that affects humans . and a proposed tunnel would connect denmark and germany via an undersea road and rail line . on this page you will find today 's show transcript and a place for you to request to be on the cnn student news roll call . transcript . click here to access the transcript of today 's cnn student news program . please note that there may be a delay between the time when the video is available and when the transcript is published . cnn student news is created by a team of journalists who consider the common core state standards, national standards in
different subject areas, and state standards when producing the show . roll call . for a chance to be mentioned on the next cnn student news, comment on the bottom of this page with your school name, mascot, city and state . we will be selecting schools from the comments of the previous show . you must be a teacher or a student age 13 or older to request a mention on the cnn student news roll call! thank you for using cnn student news!"

## 参照要約

this page includes the show transcript .

use the transcript to help students with reading comprehension and vocabulary .

at the bottom of the page, comment for a chance to be mentioned on cnn student news .

you must be a teacher or a student age 13 or older to request a mention on the cnn student news roll call .

生成要約（拡張なし手法 coverage 6000 回）

this page includes the show transcript .

use the transcript to help students with reading comprehension and vocabulary .

use the weekly newsquiz to test your knowledge of stories you saw on cnn student news .

生成要約（提案手法 coverage 6000 回）

this page includes the show transcript .

use the transcript to help students with reading comprehension and vocabulary .

at the bottom of the page, comment for a chance to be mentioned on cnn student news .

you must be a teacher or a student age 13 or older to request a mention on the cnn student news roll call .

## 付録 2

## ROUGE-1の F 値が最小になる場合

## 要約元の文章

"please, not even a demonstration . freddie gray 's family had asked there be quiet on baltimore 's streets the day they laid him to rest . and above all , no violence . raging hordes turned a deaf ear to that on monday . but a handful of people repeated the family 's message . they became criers in the desert against countless young people flinging rocks at police, breaking windows , looting and setting fires . the peacemakers - clergy , gray 's family and brave residents - placed themselves in the rioters' way . their message was the same . "i want them all to go back home ," said rev. jamal bryant . "it 's disrespect to the family . the family was very clear -
we 've been saying it all along - today there was absolutely no protest , no demonstration ," he said . but the messengers were a finger in a dam that quickly crumbled, as rowdy groups swelled into a full urban riot . it overshadowed the message peaceful protesters delivered on prior days - justice for gray . the 25-year-old african-american man died from spinal injuries after being arrested earlier this month . the early fits of violence came in the afternoon, about the time mourners left gray 's memorial services blocks away, rev. bryant said . they bumped right into it . "for us to come out of the burial and walk into this is absolutely inexcusable ,

" he said . he did not want to see it spread to downtown baltimore, where some rioters said it would , and organized people to stand in the way . "we have a line of gentlemen from the nation of islam to build a human wall, as well as men from the christian church making that human wall ," he said . but as crowds turned into multitudes , the intervention became a drop in the bucket by compare, and police lines were also no match . as officers in riot gear receded, flames engulfed cars and stores and roared out of apartment buildings into the night sky . a senior living facility under construction by a baptist church burned to the ground . the blazes stretched the fire departments ' resources, as at least 30 trucks deployed . looters streamed into a cvs, bodegas and liquor stores and walked out with what they could carry . a young man in a blue sweatshirt tried to talk people down by himself . he walked up to cnn correspondent miguel martinez, as a store nearby was being looted . it later went up in flames . the man, who did n't say his name, was disgusted at what was happening in his neighborhood and disappointed in the police response to rioting . there was a line of police down the street , not far away . "they could have moved down here to stop it ," he told martinez . the gray family 's lawyers, again , put the family 's wish out to the public that there be no protests that day, let alone violence . it 's marring the cause and hope for change that may have come out of the investigation into freddie gray 's death , said family attorney mary koch . "that 's just disintegrated into just looking at baltimore city and thinking that the city is the city of violence ," she said . against all odds , a handful of individuals kept trying to stop it . a tall, adult man walked up to a young man who was confronting riot police. he slung an arm over his shoulder , turned him back around in the other direction and marched him away from police lines . but as they strolled past a crowd, a young man behind them hurled a stone at police, putting his whole body into the throw . at least one young man paid the price for his participation, when his mother turned up to spank him home . before running cameras , she slapped him in the head again and again , driving him away from the crowd, as she cursed . police commissioner anthony batts later thanked her . "i wish i had more parents that took charge of their kids out there tonight , " he said . after night fell, giving way to a

10 p.m. curfew for juveniles, robert valentine stood alone with his back to a line of police in riot gear . he shooed away young people tempted to approach them . " go ! step your - ss away!" "i 'm just a soldier ," said valentine . he told cnn 's joe johns that he was a veteran of the vietnam war . young people had no business on the streets, he said . "they need to be in their home units studying and doing something with their lives . " even baltimore members of the crips and bloods, two street gangs renowned for drug dealing and extensive violent crime - and for killing each other - came together with others who condemned the rage that swept through their neighborhoods . "the guys who pulled me aside are self-identifying as crips and say they do n't approve of whats happening . "this is our community , " "wrote baltimore sun reporter justin fenton on his confirmed twitter account . gangs members joined community leaders and gray 's family for a press conference monday night on the stage at new shiloh baptist church, which had held gray 's funeral . an announcer thanked them for coming to the church . the gangs have signed a peace deal and are uniting to push against police lines in protests , according to a report by the daily beast . rev. bryant also mentioned their peace treaty . but police say the gangs' purpose goes much further - that they and another gang called the black guerilla family plan to ' take out' law enforcement officers , police said . " this is a credible threat." the gangs are consistently pursued by the fbi . at the end of the day , gray 's family had the last word on the violence at the press conference . it was n't good . "to see that it turned into all this violence and destruction , i am appalled ," said richard shipley , gray 's stepfather . "i want y' all to get justice for my son, but do n't do it like this here ," said gray 's mother gloria darden , who wore a t-shirt with her son 's photo . "i do n't think that 's for freddie ," his twin sister fredericka gray said . "i think the violence is wrong . " after had been bitterly marred by the rioting . murphy asked for a show of hands in the church audience of people who had experienced police brutality or personally knew someone who did . all but a few hands went up ."参照要約

gray 's family asked there be no protests ; they condemned violence . community leaders and brave residents got in between rioters and police .生成要約（拡張なし手法 coverage 6000 回）

" i want them all to go back home ," rev. jamal bryant tells cnn 's rev. jamal bryant .

the gangs have signed a peace deal and are uniting to push against police lines .

the gangs are consistently pursued by the fbi .

生成要約（提案手法 coverage 6000 回）

"i want them all to go back home ," rev. jamal bryant says .
"i want y' all to get justice for my son ," "i 'm just a soldier ," stepfather says .

" i want y' all to get justice for my son , but do n't do it like this is for freddie ," stepfather says .

## 付録 3

ROUGE-1の F 値が中央値をとる場合

## 要約元の文章

"britain bucked the trend of western nations by increasing spending on foreign aid last year while others imposed savage cuts . more than half the members of a group of 28 industrialised nations reduced their aid budget between 2013 and 2014 , a report found . britain 's failure to follow suit - thanks to a target imposed by david cameron - means that its overseas aid spending of 0.7 per cent of national income is double the average level of the other nations in the group known as the development assistance committee . a target set by david cameron -lrbpictured at a rally this week -rrb- has left britain unable to follow other countries in reducing their aid budget between 2013 and 2014 . out of every \# 100 spent by these western nations on overseas aid, no less than \# 14 now comes from the uk . overall across these 28 countries aid budgets fell by 0.5 per cent in real terms, according to the report by the organisation for economic co-operation and development . despite this , the uk increased its spend by 1.2 per cent to \# 11.7 billion in 2014 . it comes on top of even larger increases in previous years . france slashed its aid budget by 9.2 per cent to \# 6.2 billion, the fourth successive decrease . japan 's was cut by 15.3 per cent to \# 5.5 billion . australia cut its foreign aid by 7.2 per cent to \# 2.5 billion , while cash-strapped spain cut its funding by 20.3 per cent to \# 1.1 billion . the uk 's aid budget is now nearly double france 's and ten times the level in spain . in total , 15 members of the dac cut foreign aid, including belgium, italy , norway , poland and portugal . britain was one of 13 countries which increased its budget despite the straitened times . these included germany, the us and new zealand . trade, not aid : conservative mp peter bone . surprisingly, greece, which is dependent on bailouts from the eu and the imf, put up its aid budget by 6.8 per cent . last night tory peter bone, who is standing for re-election as mp for wellingborough, said : ' when we have seen cuts at home, people find it very strange that we can give away so many billions of pounds a year, half of which we do n't even control who it goes to . ' people are telling me on the doorstep during this campaign that we should cut the amount we spend on overseas aid, and increase opportunities for poorer countries to
trade with the eu - trade, not aid, is what we need . what this report shows is that other governments recognise the fact that we have got to look after our own country first , and ensure aid is better targeted . ' britain 's aid budget may need to rise by at least \# 500million in future years, because changes in eu accounting rules make it harder to meet the 0.7 per cent target . the development assistance committee was set up by the oecd which represents richer countries . the oecd report , 2014 global outlook on aid , shows that britain is one of only five members of the dac to meet the target of spending 0.7 per cent of national income on aid along with sweden, luxembourg, norway and denmark . the average oecd member spends just 0.39 per cent . in monetary terms, the uk now has the second highest aid budget in the world behind the us which spends \# 19.6 billion . but that is just 0.19 per cent of its national income . france spends 0.36 per cent , and germany 0.41 per cent . the 28 dac members spent a total of \# 81billion on aid last year - a record figure , but down in real terms . it means the uk 's budget of \# 11.7 billion is a seventh of the entire total for the western world . max lawson, of oxfam , praised britain and criticised countries which have cut their aid budgets . ' aid saves lives , ' he said . 'what we 're seeing is shameful indifference on the part of many of the world 's richest nations . ' their leaders are breaking with impunity the solemn promise they made to help make poverty history . '"

## 参照要約

more than half of members of group of industrial nations reduced aid .

but britain failed to follow suit - thanks to target imposed by mr cameron .

its overseas spending is double the average level of other nations in group .

生成要約（拡張なし手法 coverage 6000 回）

more than half the members of a group of 28 industrialised nations reduced their aid budget between 2013 and 2014 , a report found .

britain 's failure to follow suit means that its overseas aid spending of 0.7 per cent of national income is double the average level of the other nations .

overall across these 28 countries aid budgets fell by 0.5 per cent in real terms .

生成要約（提案手法 coverage 6000 回）

more than half the members of a group of 28 industrialised nations reduced their aid budget between 2013 and 2014 .

out of every \# 100 spent by these western nations on overseas aid, no less than \# 14 now comes from the uk.

despite this , the uk increased its spend by 1.2 per cent to \# 11.7 billion in 2014 .

## 略歴

大内 智仁：2017 年京都府立大学生命環境学部環境 - 情報科学科卒業. 2019 年同大学大学院生命環境科学研究科環境科学専攻修了. 同年同大学大学院生命環境科学研究科環境科学専攻博士後期課程に進学.

田伏 正佳：1983 年神戸大学理学部物理学科卒業. 1985 年同大学大学院理学研究科修士課程修了. 1988 年同大学大学院自然科学研究科博士課程修了. 学術博士. 1992 年宮崎大学工学部助手. 1999 年同大学助教授. 2003 年京都府立大学人間環境学部助教授. 2019 年同大学教授. 機械学習, コンピュータビ ジョン, 自然言語処理に興味を持つ.


# データ指向型アプローチによるクローズドブック質問応答

鈴木 正敏 ${ }^{\dagger, \dagger \dagger} \cdot$ 松田 耕史 ${ }^{\dagger, \dagger} \cdot$ ・大内 $\quad$ 啓樹 ${ }^{\dagger, \dagger} \cdot$ ・鈴木 潤 $\dagger,+\dagger \cdot$

乾 健太郎 ${ }^{\dagger, \dagger \dagger}$

近年の言語モデリング技術の進展に伴い，クローズドブック質問応答と呼ばれる，読解を伴わない質問応答タスクの研究が進められている. 既存研究では, モデルの訓練可能なパラメータ数を増大させることや, モデルの構造をより洗練されることに 重点が置かれてきた。本研究では，モデルに多様な事実知識を効率的に持たせるた めに，データ指向のアプローチを選択し，その有効性を検証する。具体的には，事実知識の知識源として Wikipediaを利用した拡張データセットを作成し，モデルの訓練に利用する，実験により，データ拡張を用いて訓練したモデルが，訓練データで は見られなかった質問に正しく答えることができ, モデルが拡張データから新しい 知識を学習していることを示唆する結果が得られた。正解率の評価では, Quizbowl の従来の最高性能を更新し, TriviaQA の強力な系列生成モデルに匹敵する性能をお よそ 20 分の 1 のパラメータ数で実現した*.

キーワード：質問応答，言語モデル，事実知識
## A Data-Oriented Approach for Closed-Book Question Answering

\author{
Masatoshi Suzuki $^{\dagger, \dagger \dagger}$, Koji Matsuda ${ }^{\dagger \dagger, \dagger}$, Hiroki Ouchi ${ }^{\dagger \dagger, \dagger}$, Jun Suzuki ${ }^{\dagger, \dagger \dagger}$ \\ and Kentaro InUi ${ }^{\dagger, \dagger \dagger}$
}

Recent progress in language modeling is promoting research on a question answering (QA) task without reading comprehension, which is called closed-book QA. While previous studies are focused on enlarging and sophisticating a model to address this task, we take a data-oriented approach to teach a model about diverse factual knowledge efficiently. We utilize Wikipedia as an additional source of knowledge to create an augmented dataset. We empirically show that our model trained with data augmentation correctly answers questions unseen in the training data, suggesting that the model learns new knowledge from the augmented data. Accordingly, our model outperforms the previously reported best performance on Quizbowl, and performs on par with a strong baseline on TriviaQA although our model has about 20 times fewer parameters.

Key Words: Question Answering, Language Modeling, Factual Knowledge

## 1 はじめに

質問応答は, 自然言語処理における重要な問題の一つであり, 古くから研究が続けられている.特に近年では, SQuAD (Rajpurkar et al. 2016, 2018), MS MARCO (Bajaj et al. 2016), RACE (Lai et al. 2017) といった読解型質問応答の大規模なデータセットが多数提案され, それと同時 に，深層ニューラルネットワークを用いた質問応答の手法が数多く提案されている。また，こ れらのデータセットは，質問応答の研究だけではなく，近年盛んに研究がなされている BERT (Devlin et al. 2019) をはじめとする大規模言語モデルの言語理解能力を測るベンチマークとし ても利用されている.

これらのデータセットが対象とする読解型質問応答のタスクでは，質問文と関連文書の両方 が与えられ，システムは関連文書から正解の可能性が高い文字列を抜き出すことによって質問 に解答する。すなわち，システムは解答時に知識源となる関連文書をその場で参照することが 許されるので，質問に答えるためには文書の「読み方」を学習できれば良く，質問で問われる事実知識そのものをモデリングする必要はない。そのため, 読解型質問応答の問題設定は, 人間に とっての「持ち込み可能 (open-book) 試験」に喻えられる。一方, システムが文書を「どう読む か」を問う読解型質問応答とは対照的に，与えられる質問について「何を知っているか」を直接問う「クローズドブック質問応答 (closed-book QA)」と呼ばれるタスクが近年注目されてい る (Roberts et al. 2020)、クローズドブック質問応答では，現実の「持ち込み不可 (closed-book)試験」と同様，解答時に質問文以外の情報を参照することは認められない。したがって，シス テム（解答者）は事前に出題範囲を十分に学習し, 記憶しておくことが要求される. すなわち, クローズドブック質問応答は，あらかじめ重要な情報を知識として記憶し，与えられる質問に 対して自らが保持する知識を用いて答えるという，人間の知識を用いた知的活動により近い問題設定となっている.

最近では，大規模な言語モデルが事実知識をどれだけ保持しているかをクローズドブック質問応答によって評価する研究がいくつか行われている。既存の研究では，モデルの訓練可能な パラメータの数を多くしたり (Raffel et al. 2019), モデルの構造や訓練の目的関数を工夫する (Ling et al. 2020; Févry et al. 2020) というモデル指向の方法によって, クローズドブック質問応答の性能が向上することが報告されている。特に最先端の研究では, 数十億〜数百億の訓練可能なパラメータを持つ超巨大なモデルによる性能が報告されている (Roberts et al. 2020).これ らの研究は，言語モデルが持つことのできる表現力や汎化能力を追究するという面で意義深い 反面，モデルの訓練には大規模な計算機資源と多大なエネルギーを必要とするため, 誰でも既存研究を再現でき改善を加えられるという状況からは逸脱しつつあることが懸念される (Strubell et al. 2019). 一方, モデル指向の方法とは対照的に, 訓練データを工夫してモデルが持つ知識の カバー率を上げることでクローズドブック質問応答を実現するというデータ指向のアプローチ

も考えられる。クローズドブック質問応答の実例としてクイズを考えてみると，例えば「ジョー ジ・ルーカス」が答えとなるクイズ問題は, 監督した作品, 本人の生い立ち, 家族についてな ど，複数の異なる角度からの知識が問われることが予想される。しかし， モデルが予習に用い る訓練データには, 考えられる多様なクイズ問題の一部しか含まれていない。そのため, 訓練 データに登場しない問題がテスト時に出題された際には, 訓練デー夕のみで訓練されたモデル にとっては多くの場合, 解答不可能であると考えられる。このことは, 正解が訓練データ中に 1 回もしくは数回しか出現しない, いわゆる few-shot の事例では特に問題となる。このような 問題に対して，データ指向のアプローチは，より多様な事実知識をより効率的にモデルに教え るために役立てられると考えられる。さらに，モデルの大型化に頼らずにクローズドブック質問応答を実現できれば，関連文書の検索・走查を伴う読解型質問応答システムよりも高速に利用者の質問に解答できるシステムが低コストで実現できる可能性がある. しかしながら, 深層 ニューラルネットワークを活用したクローズドブック質問応答の研究は歷史が浅く, データ指向のアプローチの有効性については十分に研究がされていない.

本稿では, クローズドブック質問応答におけるデータ指向アプローチの有効性を実験的に調査する，具体的には，Wikipediaを知識源とした拡張データを作成し，遠距離教師あり学習に よって，元の訓練データには記述されていない事実知識をモデルに教えるために利用する．モデ ルには事前訓練済み言語モデルの BERT (Devlin et al. 2019)を用い，元の訓練データおよび拡張データに対してモデルをファインチューンさせる．実験では，クイズを題材にした質問応答 のデータセットである Quizbowl (Rodriguez et al. 2019)と TriviaQA (Joshi et al. 2017)を用い て, モデルのクローズドブック質問応答の性能を調査した. モデルが出力した解答の分析から，拡張データを用いて訓練されたモデルが，元の訓練データには記述されていない事実知識を問 う問題に対しても正しく解答できたことがわかり，モデルが拡張データから新たな知識を学習 し解答に活用できていることを示唆する結果が得られた. テストデータを用いた評価実験では， Quizbowl では従来の最高性能を更新し, TriviaQA では既存の強力な系列生成モデル (Roberts et al. 2020) に匹敵する性能をおよそ 20 分の 1 のパラメータ数で実現した.

以下では，2節でクローズドブック質問応答の関連研究について概観し，3節でタスクの定義 およびデータセットについて説明する， 4 節で本研究の提案手法について述べ， 5 節で実験設定 および実験結果を示す. 6 節でまとめと今後の展望について述べる.

## 2 関連研究

質問応答システムの研究は, 古くはコンピュータの黎明期である 1960 年代に遡る. 初期の研究は主に自然言語理解を目的としたものであったが (Green et al. 1961; Winograd 1971), 1990 年代からは，情報アクセス技術としての質問応答の研究が行われるようになった．特に，分野が
限定されない文書集合に対する質問応答，いわゆるオープンドメイン質問応答の研究は, 1999 年に開かれた情報検索技術の評価型ワークショプ TREC-8 での QA トラックをきっかけに広く 取り組まれるようになった (Voorhees 1999)，オープンドメイン質問応答は，質問文の解析，情報検索，解答候補の抽出，解答候補の統合という複数のモジュールによるパイプライン処理で行 われることが一般的である。初期のシステムでは，各モジュールの処理に人手による規則や素性 の設計を伴う手法が主流であった (Simmons 1965)，2011 年にアメリカのクイズ番組 Jeopardy! で人間のクイズ王と対戦し勝利を収めたIBM Watson (Ferrucci 2012)は，大量のコーパスと大規模な計算資源を活用したパイプライン処理に基づく質問応答システムであり，そのプロジェ クトの成功は人工知能研究の進展を社会に大きく印象付けた。一方, 2010 年代から，与えられ る文書を読解して質問に答える読解型質問応答の研究が，深層ニューラルネットワーク技術の 進展およびSQuAD (Rajpurkar et al. 2016) に代表される数多くのデータセットの登場により後押しされ，多くの研究者に取り組まれるようになった。 それ以降，オープンドメイン質問応答 の研究においても，解答候補の抽出・統合のモジュールを読解型質問応答のモデルに置き換え ることでより高い解答性能の実現を目指す研究が進められている (Chen et al. 2017; Clark and Gardner 2018; Wang et al. 2018; Seo et al. 2019).

さらに近年, 深層ニューラルネットワークを用いた自然言語処理技術のさらなる発展に伴い,文書の検索や読解を必要とせずモデルに知識そのものを保持させることで質問応答を実現する， クローズドブック質問応答と呼ばれるタスクの研究がいくつか行われている。その一つに，大規模なコーパスで訓練された言語モデルがどれだけ事実知識を保持し想起できるかを評価する 一連の研究がある. Radford et al. (2019) は，大量のウェブ文書を用いて訓練された GPT-2 と 呼ばれる汎用言語モデルを提案し，言語モデルのテキスト生成による質問応答の能力を Natural Questions データセット (Kwiatkowski et al. 2019) の上で評価した. その結果，質問に対して

Raffel et al. (2019)は，GPT-2よりもさらに多くの訓練可能なパラメータを持つ汎用系列変換モ デル T5 を提案し, Roberts et al. (2020) は T5の質問応答能力を，本来は読解型質問応答のデー タセットである TriviaQA (Joshi et al. 2017)の質問をテキスト生成により解かせることで評価 した. その結果，数十億〜数百億個の訓練可能なパラメータを持つモデルが，複数の強力な読解型質問応答のモデルを上回る解答性能を示した. 別の系統の研究では, エンティティの分散表現の学習に焦点を当て, 学習された分散表現の評価にクローズドブック質問応答を利用して いる. Ling et al. (2020)と Févry et al. (2020)は, Wikipedia 記事のハイパーリンクを活用し, エンティティの分散表現を学習する方法をそれぞれ提案した．彼らの研究では，TriviaQAをエ ンティティをクラスとした分類問題として解くことにより，学習されたエンティティの分散表現の有用性を評価している．以上の既存研究に対して本研究は，モデルの構造の工夫や大型化 に頼ることなく，訓練に用いるデータを工夫することよって， より効率的にクローズドブック
質問応答のモデルを訓練することを追究するものである.

言語モデルが保持する知識の評価を目的とした既存研究としては, 入力文のマスクされた部分 を予測させることでモデルが持つ知識の評価を行う研究がある. Petroni et al. (2019) と Davison et al. (2019) による研究では, 知識ベースを利用して, 関係知識に対応する部分がマスクされ た穴埋め問題の文を作成し，穴埋め言語モデルである BERT にマスク部分を予測させることに よって，モデルが保持する知識を評価した。これに対して本研究では, 関係知識ではなく, 工 ンティティについて任意のテキストで記述される知識を質問応答の形式で評価するという点で 異なっている.

質問応答のタスクにデータ拡張を適用させた既存研究として, Rodriguez et al. (2019) は, Quizbowl (Boyd-Graber et al. 2012) というクローズドブック質問応答タスクにおいて, Wikipedia から作成した拡張データをモデルの訓練に利用することを提案した. 彼らは GRU (Cho et al. 2014）をモデルに用いた実験により，データ拡張がモデルの解答性能の向上に寄与することを示 した。他方, Yang et al. (2019a) は，読解型質問応答におけるデータ拡張の有効性について調査 している．BERT を読解モデルに利用した彼らの実験では，拡張データと元の訓練データを用 いた段階的なモデルのファインチューニングが，モデルの読解性能の向上に有効であることを 報告している. 本研究ではこれらの既存研究を踏まえ, (Rodriguez et al. 2019) と同様のクロー ズドブック質問応答における，訓練済み言語モデルおよびデータ拡張の有効性を調査し，データ 拡張によってどのような問題を解答できるようになったかについて, より詳しい分析を与える.

## 3 クローズドブック質問応答

## 3.1 タスク定義

本研究では，データ指向のアプローチをとる既存研究 (Rodriguez et al. 2019) に倣い，クロー ズドブック質問応答をエンティティをクラスとした分類問題として解く。すなわち, システム は，与えられる質問文 $q$ に対して，予決定されたエンティティの集合 $V_{a}=\left.\{a_{1}, \cdots, a_{\left|V_{a}\right|}\right.\}$ の 要素であるようなエンティティ $a$ を正解として予測する。したがって, 本解法はクラス数が $\left|V_{a}\right|$ のマルチクラス分類問題となる.

## 3.2 データセット

本研究では, ドメインを限定しない多様な事実知識についてモデルの解答性能を評価するた めに，クイズの問題を活用した質問応答のデータセットである Quizbowl と TriviaQAを実験に 用いる．各データセットの統計量を表 1 に示す。それぞれのデータセットについて，訓練デー 夕に 1 回以上正解として出現するエンティティの集合を正解エンティティの集合 $V_{a}$ として定め る. すなわち, Quizbowl では 25,969クラス, TriviaQA では 28,689 クラスの多クラス分類問題

となる¹. 以下の節では， 2 種類のデータセットの特徴について述べる.

## 3.2.1 Quizbowl

Quizbowl は，主に英語圏で実際に行われているクイズの大会であり，自然言語処理における質問応答のタスクとしても研究されている (Boyd-Graber et al. 2012; Iyyer et al. 2014; Rodriguez et al. 2019). 表 2 に, Quizbowl で出題されるクイズ問題の例を示す. Quizbowl で出題される 問題は「早押しクイズ」であり，解答者は正解が分かった時点でブザーを押して解答する。そ のため, 質問の文章は, 正解のエンティティについてより詳しく知っている解答者が有利とな るよう，より難しい（知名度の低い，抽象的な）ヒントが先に，より易しい（よく知られてい

表 1 データセットの統計量

表 2 Quizbowl の問題例

る，具体的な）ヒントが後に現れるように，複数の文を配列させることで作られている．

本研究では, Rodriguez et al. (2019) によって提案された QANTA 2018 データセットを用い る². QANTA 2018 は，過去の Quizbowlの大会で使用されたおよそ 12 万問のクイズ問題からな るデータセットである。すべてのクイズ問題には, 正解のエンテイテイが Wikipedia の記事夕 イトルとして付与されている。そのため, QANTA 2018 のクイズ問題は, Wikipediaの記事タイ トルをクラスとした分類問題として解くことができるようになっている.

## 3.2.2 TriviaQA

TriviaQA (Joshi et al. 2017) は，ウェブ上のクイズ問題を収集して作られた質問応答のデータ セットである．表 3 に，TriviaQA の質問と正解の例を示す．TriviaQA は元々読解タスク向け に作られたデータセットであり, データセットに含まれる各事例は, 質問文, 正解, そして読解対象の文書からなる。同様の読解タスクのデータセットとして SQuAD (Rajpurkar et al. 2016, 2018) があるが，SQuAD は Wikipediaの文章に対して質問を人手で作成・付与することで作ら れているため，例えば “What individual is the school named after?” のような，それ単独では 意味が定まらないような質問が一部含まれている。これに対してTriviaQA は, 既存のクイズ問題に対してウェブ文書や Wikipedia 記事を付与するという方法で作られており，質問の内容が 読解対象の文書の内容に依存してしない. したがって, TriviaQAは, 読解対象の文書を無視す ることでクローズドブック質問応答のデータセットとしても用いることができ，実際にクロー ズドブック質問応答の既存研究でもそのように用いられている (Roberts et al. 2020; Ling et al. 2020; Févry et al. 2020).

本研究では, TriviaQAの公式ウェブサイト3で公開されているデータのうち, unfiltered-train のデータをモデルの訓練に, wikipedia-dev と wikipedia-test のそれぞれをモデルの開発およびテス ト用のデータとして用いる。 TriviaQAの訓練および開発データには, 質問文, 正解の文字列,読解文書の他に, Wikipedia の記事タイトルで表された正解エンティティの情報もメタデータ

質問 $q$

正解エンティティ $a$

Who composed the opera "The Marriage of Figaro"?

Who died in 1791 in Vienna, while working on a Requiem?

Which Austrian composer's works are given K numbers according to Wolfgang_Amadeus_Mozart the 19th century Kochel catalogue?

表 3 TriviaQA の問題例

(a) Quizbowl

(b) TriviaQA

図 1 訓練データにおけるエンティティの出現頻度

として付与されている. 本研究では，分類問題として解くクローズドブック質問応答の設定に 適合させるため，訓練データのうち正解エンティティの情報が付与されている事例のみをモデ ルの訓練に用い，読解向けの正解の文字列ではなく正解エンティティの情報をモデルへの教師信号として用いる。

## 3.2.32つのデータセットに共通する特徴

Quizbowl と TriviaQA のデータセットに共通する特徴の一つに，訓練データの量に対して正解エンティティの異なり数 $\left|V_{a}\right|$ が大きく, その出現頻度の分布が大きく偏っていることが挙げ られる。図 1 に，それぞれの訓練データセットにおける正解エンティティの出現頻度を示す. どちらのデータセットでも，一部の正解エンティティは訓練データに多く出現する一方で，ほと んどの正解エンティティは訓練データに 1 回もしくは数回しか出現しない, いわゆる few-shot の事例となっている。本研究では，このような few-shot の正解エンティティに対してもモデル が多様な知識を持てるように，デー夕拡張を行う（4.2節）。

## 4 提案手法

## 4.1 モデル

本研究では，クローズドブック質問応答のモデルとして，大規模コーパスで事前訓練された 汎用言語モデルである BERT (Devlin et al. 2019) を多クラス分類問題向けに拡張したものを用 いる ${ }^{4}$. 具体的には，質問文 $q$ の入力に対して BERT が出力する，文頭の特殊トークン [CLS] に 対応するべクトル $\mathbf{q} \in \mathbb{R}^{d}$ を多クラス分類層に入力し $\operatorname{softmax}$ 関数を適用することで，エンティ
^{4}$ https://github.com/google-research/bert で配布されている BERT-base (cased) のモデルを用いた.
}

ティ $a \in V_{a}$ が質問 $q$ の正解である確率分布 $P(a \mid q)$ を計算する.

$
P(a \mid q)=\frac{\exp \left(\mathbf{q}^{\top} \mathbf{w}_{a}\right)}{\sum_{a^{\prime} \in V_{a}} \exp \left(\mathbf{q}^{\top} \mathbf{w}_{a^{\prime}}\right)}
$

ここで, $\mathbf{w}_{a} \in \mathbb{R}^{d}$ は, エンティティ $a \in V_{a}$ に関連付けられた, 訓練可能な重みべクトルである.

なお, 本研究では BERT の他にも, RoBERTa (Liu et al. 2019) と XLNet (Yang et al. 2019b) をモデルに用いた実験も行っている。これらの実験結果については付録 $\mathrm{A}$ に示す.

## 4.2 データ拡張

エンティティについてのより多様な事実知識をモデルに保持させるために, Wikipediaを知識源としたデー夕拡張を行う。本研究では, Rodriguez et al. (2019) が提案したデー夕拡張手法 を基本に，拡張データを作成する。

Quizbowlと TriviaQAのそれぞれについて，拡張デー夕を以下の手順により作成した：

(1) 正解エンティティの集合 $V_{a}$ の要素である各エンティティ $a$ について， $a$ を記事名（主題）とする Wikipedia 記事 $D^{(a)}$ を取得する.

(2) 各エンティティの記事 $D^{(a)}$ について，記事本文全文を文分割して $\left.\{s_{i}^{(a)}\right.\}_{i=1}^{N_{a}}$ を得る.こ こで， $N_{a}$ は記事 $D^{(a)}$ の本文の文数である.

(3) 各エンティティの記事 $D^{(a)}$ について得られた文-エンティティペア $\left.\{\left(s_{i}^{(a)}, a\right)\right.\}_{i=1}^{N_{a}}$ を拡張 データの事例とする。

なお, Wikipedia 記事からの拡張デー夕作成にあたっては, (Rodriguez et al. 2019) では各記事 の最初の段落だけから文を取り出していたのに対し, 本研究では記事全文から文を取り出して いる.これにより, 訓練したモデルの解答性能が向上することを事前実験により確認している.

拡張データの作成には，英語版 Wikipediaの 2018 年 4 月 18 日付けのダンプファイルを使用 した．Wikipediaダンプファイルからの記事本文の抽出には WikiExtractor 6 を，本文の文分割 には BlingFire Tokenizer ${ }^{7}$ を使用した，記事から得られた文のうち，文長が 20 文字よりも短い記事は, ノイズとなる可能性が高いため拡張データから除外した。また, 文中における正解エン ティティの直接的な言及は, 解答のあからさまなヒントとなりうるため, マスクする処理を行っ た. 具体的には, 各文-エンティティペア $(s, a)$ について, 文 $s$ に含まれる, 正解エンティティ $a$ と単語単位で部分一致する全ての文字列を，その文字列をサブワード分割した際と同じ長さ の [MASK] トークン列に置換した。ここで完全一致ではなく部分一致としたのは，文中の言及 が正解エンティティの略称（人名であれば姓名のいずれかなど）であっても置換できるように

文 $s$

エンティティ $a$

(a) He composed more than 600 works, many acknowledged as pinnacles of symphonic, concertante, chamber, operatic, and choral music.

(b) Ludwig van Beethoven composed his own early works in the shadow Wolfgang_Amadeus_Mozart of Mozart, and Joseph Haydn wrote: "posterity will not see such a talent again in 100 years"

(c) The circumstances of his early death have been much mythologized.

表 4 Wikipedia から作成した拡張データの例

するためである8．なお，部分一致の検索は大文字と小文字を区別せずに行った.

作成した拡張デー夕の統計量を表 1 に，事例を表 4 にそれぞれ示す。一般に，Wikipediaの記事には, エンティティについての多様な側面からの情報が記述されているが, 表 4 の (c)の例の ように，それ単独では主題のエンティティを特定することが難しい文も一定の割合で存在する. このような文は，1文だけからなる訓練事例としてはノイズになると考えられるため，フィルタ リングにより取り除くことでデータセットの品質を向上させられる可能性がある ${ }^{9}$.あるいは,正解エンティティが同じである複数の文を組み合わせることで，より正解エンティティを特定 しやすい訓練事例を作ることも考えられる。このように，本研究のデータセットの作成方法に は, 品質向上のための改良の余地が残されているが, 本稿では今後の研究課題とする.

## 5 実験

クローズドブック質問応答におけるデータ拡張の有効性，ならびにデータ拡張によりモデル が未知の質問に答えられるかどうかを検証するために，実験を行った.

## 5.1 実験設定

Rodriguez et al. (2019) の研究では, Wikipedia から作成した拡張データを元の訓練データと 混ぜ合わせることによって，データ拡張を行っていた。一方，BERT をはじめとする言語モデル の訓練には，タスク非依存のコーパスを用いた事前訓練とタスク固有の訓練データを用いたファ インチューニングからなる 2 段階の訓練方法が広く用いられている. 本研究では, (Rodriguez

et al. 2019) と同様のデータ拡張方法に加えて, 拡張データと元の訓練データを用いた 2 段階の データ拡張についても実験を行う。

3.2 節で述べた Quizbowl と TriviaQAのそれぞれのデータセットについて, 4.1 節で述べたモ デルと 4.2 節で述べた手法で作成した拡張デー夕を用い，以下の 5 つの設定で実験を行った.

・ Quiz: モデルをクイズの訓練データのみで訓練する.

・Wiki: モデルをWikipediaから作成した拡張データのみで訓練する.

・Quiz+Wiki: モデルを，クイズの訓練データと Wikipedia から作成した拡張データを混合したデータを用いて訓練する。これは, 既存研究 (Rodriguez et al. 2019) と同様のデー 夕拡張手法である。
- Quiz $\rightarrow$ Wiki: モデルをクイズの訓練データで訓練した後に, Wikipedia から作成した拡張データで追加訓練する.
- Wiki $\rightarrow$ Quiz: モデルをWikipedia から作成した拡張データで訓練した後に，クイズの訓練データで追加訓練する。

各実験設定で，訓練時のエポック数は 10 , ミニバッチサイズは 128 とした ${ }^{10}$. ただし, TriviaQA の Quizの設定のみ, 訓練データの量が少ないことによるモデルの過小適合を避けるため, 訓練時のエポック数を 30 とした. モデルの訓練には, モデルが予測する正解の確率分布 $P(a \mid q)$ と正解ラベルの間の交差エントロピー損失の最小化を目的関数とした。最適化のアルゴリズムには AdamW (Loshchilov and Hutter 2019) を用い, 訓練の冒頭 20\%における学習率の warm up およ び以降の学習率の linear decayを適用した。その他のハイパーパラメータの一覧を表 5 に示す.実験には, PyTorch (Paszke et al. 2019) ${ }^{11}$, AllenNLP (Gardner et al. 2018) ${ }^{12}$, Transformers (Wolf

表 5 モデルのハイパーパラメータの一覧

et al. 2020) ${ }^{13}$ を使用した. モデルの訓練および評価には，メモリ容量 16GB の NVIDIA V100 GPU 1 枚を使用した. 1 つのモデルの訓練には, データセットと実験設定によって異なるが,最大で 36 時間の時間を要した。

## 5.2 実験結果

## 5.2.1 データ拡張による解答性能の向上

表 6 に, Quizbowl と TriviaQAの訓練データおよび開発データに対するモデルの解答性能を 示す。まず，Quizの実験設定の結果について見ると，訓練データ上での正解率がほぼ $100 \%$ に 到達した。このことから，モデルは各データセットの訓練データを丸暗記し，全く同じ内容の 質問が入力された時には正しく解答できることがわかる．次に，デー夕拡張を行う実験設定同士で比較すると, Wiki $\rightarrow$ Quiz の実験設定が, Quiz+Wiki および Quiz $\rightarrow$ Wiki と比較して最も高 い正解率を示した。これら 3 つの実験設定では，モデルは同じ訓練データの事例を同じ回数た け与えられるにも関わらず，解答性能に差が生じているということから， モデルの事前訓練の 後にタスク特有のデータセットでファインチューニングを行うという，BERT をはじめとする 言語モデルの訓練に広く用いられている万法が，クローズドブック質問応答のタスクにおいて も有効であることが示唆される。これとは対照的に，Quiz $\rightarrow$ Wiki の実験設定では正解率が著 しく低下し，データ拡張を行わない Quizの実験設定よりも悪い結果となった. Quiz $\rightarrow$ Wiki で は訓練データ上での正解率も大きく低下していることから，モデルの破滅的忘却 (catastrophic forgetting) (McCloskey and Cohen 1989; French 1999) が発生していると考えられる.

図 2 に, Quizbowl および TriviaQA の開発データにおける，Quiz および Wiki $\rightarrow$ Quiz 設定で訓練されたモデルの few-shot の正解エンティティに対する解答性能を示す. どちらのデータセッ トにおいても, Wiki $\rightarrow$ Quizのデータ拡張の設定によって few-shot の正解エンティティに対して

表 6 Quizbowl と TriviaQA の訓練・開発デー夕に対する正解率（†は訓練時のエポック数を 30 とした 場合の結果であることを示す)

特に大きな性能向上が見られた。 few-shot の正解エンティティは, 元のクイズの訓練データに 含まれる限られた情報のみでは解答することが難しいと考えられるため，これらエンティティ での解答性能が向上したという結果は，デー夕拡張によりモデルが新しい知識を学習したこと で，初見の質問に対しても正しく答えられるようになったことを支持している.

## 5.2.2 データ拡張がモデルの解答に及ぼす影響の分析

表 7 に，Quiz の設定で訓練されたモデルは誤答したが Wiki $\rightarrow$ Quiz の設定で訓練されたモデ ルは正答できた，TriviaQAの開発デー夕の質問の例を示す。表 7 の質問に正しく解答するため には，モデルは「George Lucasが Star Wars を監督した」という事実知識を保持していなけれ ばならない，しかし，TriviaQAの訓練データには，George Lucas が監督した別の映画に関す る質問は含まれているが，Star Warsに関する質問は含まれていない。そのため，Quizの設定 で訓練されたモデルにとっては，開発データの問題は未知の知識を問う問題となり，正答でき

(a) Quizbowl

(b) TriviaQA

図 2 開発データに含まれる few-shot の正解エンティティに対する正解率

質問 : Who created the Star Wars series of films?

正解エンティティ：George_Lucas

訓練データに含まれる，正解エンティティが同じである質問：
- Who directed the 1973 film American Graffiti?
- "THX1138" and "American Graffiti" were the first two feature films directed by whom?

拡張データに含まれる，解答に必要な知識が記述された文 (一部抜粋)：
- Lucas is best known as the creator of the "Star Wars" and "Indiana Jones" franchises, as well as ...
- Lucasńext film, an epic space opera titled "Star Wars" (1977), went through a troubled production process; ...

表 7 データ拡張によって正答するようになった TriviaQA 開発データの問題例

なかったと考えられる。他方, Wikipedia から作成した拡張データには, George Lucas が Star Wars を監督した事実について述べられた文が複数存在する。Wiki $\rightarrow$ Quiz の設定で訓練された モデルは，これらの拡張データの事例から新たな知識を学習し，質問に答えることができるよ うになったと考えられる14.

それとは逆に, Quizの設定で訓練されたモデルは正答できていたにもかかわらず, Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは誤答した質問も存在する。表 8 に例を示す.この質問は, 解答に必要な知識が拡張デー夕にのみ存在していたにもかかわらず, デー夕拡張なしのモデルは正答し,逆にデータ拡張ありのモデルは誤答するようになってしまった。詳しく調べると, TriviaQA の 訓練デー夕には “In which sea”で始まる質問が 9 問あり，そのうちの 4 問は正解が Caribbean の質問で，残りの 5 問はそれぞれ異なるエンティティが正解の質問であった。すなわち，Quiz の設定で訓練されたモデルは，訓練デー夕に見られる出題内容の偏りを学習してしまい，表層的 な手がかりだけで正答できていたと考えられる。その一方で，Caribbeanの拡張デー夕には，真 に解答の手掛かりとなる知識を含む文が 1 つしか含まれておらず，Wiki $\rightarrow$ Quiz の設定で訓練さ れたモデルは, 正解エンティティを弁別するのに十分な知識を学習できなかったと推測される.

データ拡張がモデルの解答に与える影響についてより詳しく調査するため, TriviaQA の開発 データの事例を (a) Quiz と Wiki $\rightarrow$ Quizのどちらの設定でも正答できた事例， (b) Quiz では誤

た事例，(d) Quiz と Wiki $\rightarrow$ Quiz のどちらの設定でも誤答した事例 の 4 つのグループに分割し,

質問：In which sea are the Cayman Islands?

正解エンティティ：Caribbean

訓練データに含まれる，正解エンティティが同じである質問：
- The dance Meringue originated where?
- In which sea is the British overseas territory of Montserrat?
- In which sea is the island of Barbados?
- The island Commonwealth of Dominica sits in which sea or ocean?
- In which sea is the country of Grenada?
- Which sea surrounds the island of Martinique?
- In which sea is the island of Martinique?

拡張データに含まれる，解答に必要な知識が記述された文：
- These islands include Aruba (possessing only minor volcanic features), Curacao, Barbados, Bonaire, the Cayman Islands, Saint Croix, the Bahamas, and Antigua.

表 8 デー夕拡張によって誤答するようになった TriviaQA 開発デー夕の問題例

分析を行った. それぞれのグループに対してランダムサンプルした 20 例について, 質問の解答 に必要な知識がクイズの訓練データまたは Wikipedia の拡張データのどちらに記述されていた かで事例を分類し，その割合を求めた。ここで「質問の解答に必要な知識」とは，解答を一つ に特定するために必要な事実知識とし, その形式は定めないものとした ${ }^{15}$. 分析は, 著者自身 がクイズの訓練データおよび Wikipediaの拡張データを比較することにより行った.

図 3 に分析の結果を示す. 図 3 (a) より，デー夕拡張の有無にかかわらず正解できた事例の $90 \%$ は，クイズの訓練データに解答に必要な知識が記述されていたことがわかる。一方, 図 3 (b)より，データ拡張により正解できるようになった事例の $55 \%$ は, Wikipedia の拡張データに のみ必要な知識が記述されていた。すなわち，モデルが拡張データから新しい知識を獲得して 質問に正答できるようになった事例が，デー夕拡張で新たに解けるようになった質問のおよそ 半数を占めていたことがわかる。また，図 3 (c) および (d) は，提案手法では正答できなかった 質問の多くは必要な知識が拡張デー夕に記述されていなかったものであることを示している. このような事例には，解答に必要な情報が複数の文にまたがって記述されていたり別の記事に 記述されているような例 ${ }^{16}$, あるいは Wikipedia の記事内容を正しく取得できなかった例 17 も 含まれる。このような例は, 本研究のデータ拡張手法, すなわち Wikipedia の文-記事タイトル ペアを擬似的にクイズの質問-正解ペアとみなす方法の限界を示すものであり，より洗練された データ拡張手法によって解決できる可能性がある.

(a) Quiz: correct Wiki $\rightarrow$ Quiz: correct

(b) Quiz: wrong Wiki $\rightarrow$ Quiz: correct

(c) Quiz: correct Wiki $\rightarrow$ Quiz: wrong

(d) Quiz: wrong Wiki $\rightarrow$ Quiz: wrong

図 3 TriviaQA の開発データにおける, 質問の解答に必要な知識の所在の割合. Quiz は TriviaQA の訓練データ内に知識が存在する事例, Wiki は Wikipedia の拡張データ内に知識が存在する事例, Both は両方のデータに知識が存在する事例, None はどちらのデータにも知識が存在しなかった事例を それぞれ示す。

## 5.2.3 既存手法の解答性能との比較

最後に, Quizbowlと TriviaQA のテストデータ上での提案手法の解答性能を示し, 既存手法 と比較する。ここでは, 既存手法との比較を容易にするために, 解答性能の評価指標として夕 スクおよびデータセット固有のもの, すなわち, Quizbowl では正解率 (Accuracy), TriviaQA で は解答文字列の完全一致率 (Exact Match, EM) を評価指標として用いる. TriviaQA について は，テストデータは非公開であるため, 公式サイトのリーダーボード18上で解答性能を評価し た. また，本来は読解タスクである TriviaQA の正解文字列と，モデルが予測する Wikipedia 記事タイトルのミスマッチを抑制するため, 提案手法のモデルの出力に対して文字列整形の後処理を適用した ${ }^{19}$.

表 9 と表 10 に, Quizbowl と TriviaQA のテストデータに対するモデルの解答性能をそれぞ れ示す.データ拡張を利用した本研究の提案手法により, Quizbowl では, GloVe (Pennington et al. 2014) と GRU (Cho et al. 2014) を用いた既存手法の解答性能を 5.5 ポイント上回る性能 を達成した。また, TriviaQA では，汎用テキスト生成モデルの T5-3B (Roberts et al. 2020) に 匹敵する解答性能を，T5-3B の 20 分の 1 以下のモデルパラメータ数で実現した.

表 9 Quizbowl のテストデー夕に対する解答性能

表 10 TriviaQA のテストデータに対する解答性能

## 6 おわりに

本稿では, クローズドブック質問応答のタスクにおける, データ指向のアプローチの有効性に ついて検証した。 エンティティについてのより多様な知識をモデルに与えるために, Wikipedia を知識源とした拡張データを作成し，モデルの訓練に利用した。実験により，デー夕拡張を行 い訓練したモデルは，元の訓練データに現れない知識を要する質問に対しても正しく答えられ るようになり，データ拡張の有効性を確認した。

本研究で提案したデータ指向のアプローチは, 既存のモデル指向のアプローチと直交するも のであり，最近提案された Entities as Experts (Févry et al. 2020)のような，より洗練されたモ デルの利用と組み合わせることも可能である.

本研究の今後の課題として, より洗練されたデー夕拡張手法の提案, および, モデルが扱う ことのできるエンティティをより多くすることが挙げられる。前者については, 4.2 節で述べ たように，拡張データからノイズとなる文をフィルタリングすることや，複数の文を組み合わ せることでノイズを低減すること，後者については，正解エンティティの集合 $\left|V_{a}\right|$ を，例えば Wikipedia に記事があるエンティティ全件に拡張することなどが考えられる．特に後者は，本研究では初めから解けない事例として扱っていた zero-shot の事例を解答可能とするためには必須であるが，元の訓練データに出現しないエンティティに対する解答の汎化性能をどのように 実現するか，拡張データの利用方法と合わせて検討する必要がある.

## 謝 辞

本研究はの一部は, JSPS 科研費 JP19J13238, JP19H04162 の助成を受けたものです.

## 参考文献

Bajaj, P., Campos, D., Craswell, N., Deng, L., Gao, J., Liu, X., Majumder, R., McNamara, A., Mitra, B., Nguyen, T., Rosenberg, M., Song, X., Stoica, A., Tiwary, S., and Wang, T. (2016). "MS MARCO: A Human Generated MAchine Reading COmprehension Dataset." In CoCo@NIPS.

Boyd-Graber, J., Satinoff, B., He, H., and Daumé III, H. (2012). "Besting the Quiz Master: Crowdsourcing Incremental Classification Games." In EMNLP, pp. 1290-1301.

Chen, D., Fisch, A., Weston, J., and Bordes, A. (2017). "Reading Wikipedia to Answer OpenDomain Questions." In $A C L$, Vol. 1, pp. 1870-1879.

Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and

Bengio, Y. (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In EMNLP, pp. 1724-1734.

Clark, C. and Gardner, M. (2018). "Simple and Effective Multi-Paragraph Reading Comprehension." In $A C L$, Vol. 1, pp. 845-855.

Davison, J., Feldman, J., and Rush, A. (2019). "Commonsense Knowledge Mining from Pretrained Models." In EMNLP, pp. 1173-1178.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In NAACL, Vol. 1, pp. 4171-4186.

Ferrucci, D. A. (2012). "Introduction to "This is Watson"." IBM Journal of Research and Development, 56 (3.4), pp. 1:1-1:15.

Févry, T., Baldini Soares, L., FitzGerald, N., Choi, E., and Kwiatkowski, T. (2020). "Entities as Experts: Sparse Memory Access with Entity Supervision." In EMNLP, pp. 4937-4951.

French, R. M. (1999). "Catastrophic Forgetting in Connectionist Networks." Trends in Cognitive Sciences, 3 (4), pp. 128-135.

Gardner, M., Grus, J., Neumann, M., Tafjord, O., Dasigi, P., Liu, N. F., Peters, M., Schmitz, M., and Zettlemoyer, L. (2018). "AllenNLP: A Deep Semantic Natural Language Processing Platform." In Proceedings of Workshop for NLP Open Source Software (NLP-OSS), pp. 1-6.

Green, B. F., Wolf, A. K., Chomsky, C., and Laughery, K. (1961). "Baseball: An Automatic Question-Answerer." In Proceedings of the Western Joint Computer Conference 19, pp. 219-224.

Iyyer, M., Boyd-Graber, J., Claudino, L., Socher, R., and Daumé III, H. (2014). "A Neural Network for Factoid Question Answering over Paragraphs." In EMNLP, pp. 633-644.

Joshi, M., Choi, E., Weld, D., and Zettlemoyer, L. (2017). "TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension." In $A C L$, Vol. 1, pp. 1601-1611.

Kwiatkowski, T., Palomaki, J., Redfield, O., Collins, M., Parikh, A., Alberti, C., Epstein, D., Polosukhin, I., Devlin, J., Lee, K., Toutanova, K., Jones, L., Kelcey, M., Chang, M.-W., Dai, A. M., Uszkoreit, J., Le, Q., and Petrov, S. (2019). "Natural Questions: A Benchmark for Question Answering Research." TACL, 7, pp. 453-466.

Lai, G., Xie, Q., Liu, H., Yang, Y., and Hovy, E. (2017). "RACE: Large-scale ReAding Comprehension Dataset From Examinations." In EMNLP, pp. 785-794.

Ling, J., FitzGerald, N., Shan, Z., Soares, L. B., Févry, T., Weiss, D., and Kwiatkowski, T. (2020). "Learning Cross-Context Entity Representations from Text." CoRR, arXiv:2001.03765.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach."

## CoRR, arXiv:1907.11692.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In ICLR.

McCloskey, M. and Cohen, N. J. (1989). "Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem." In Bower, G. H. (Ed.), Psychology of Learning and Motivation, Vol. 24, pp. 109-165. Academic Press.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In NeurIPS, pp. 8024-8035.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In $E M N L P$, pp. 1532-1543.

Petroni, F., Rocktäschel, T., Riedel, S., Lewis, P., Bakhtin, A., Wu, Y., and Miller, A. (2019). "Language Models as Knowledge Bases?" In EMNLP, pp. 2463-2473.

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. (2019). "Language Models are Unsupervised Multitask Learners." Tech. rep..

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2019). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." CoRR, arXiv:1910.10683.

Rajpurkar, P., Jia, R., and Liang, P. (2018). "Know What You Don't Know: Unanswerable Questions for SQuAD." In $A C L$, Vol. 2, pp. 784-789.

Rajpurkar, P., Zhang, J., Lopyrev, K., and Liang, P. (2016). "SQuAD: 100,000 Questions for Machine Comprehension of Text." In EMNLP, pp. 2383-2392.

Roberts, A., Raffel, C., and Shazeer, N. (2020). "How Much Knowledge Can You Pack Into the Parameters of a Language Model?" In EMNLP, pp. 5418-5426. Association for Computational Linguistics.

Rodriguez, P., Feng, S., Iyyer, M., He, H., and Boyd-Graber, J. (2019). "Quizbowl: The Case for Incremental Question Answering." CoRR, arXiv:1904.04792.

Seo, M., Lee, J., Kwiatkowski, T., Parikh, A., Farhadi, A., and Hajishirzi, H. (2019). "RealTime Open-Domain Question Answering with Dense-Sparse Phrase Index." In $A C L$, pp. 4430-4441.

Simmons, R. F. (1965). "Answering English Questions by Computer: A Survey." Communications of the ACM, 8 (1), pp. 53-70.

Strubell, E., Ganesh, A., and McCallum, A. (2019). "Energy and Policy Considerations for Deep Learning in NLP." In $A C L$, pp. 3645-3650.

Voorhees, E. M. (1999). "The TREC-8 Question Answering Track Report." In TREC-8, pp. $77-82$.

Wang, S., Yu, M., Guo, X., Wang, Z., Klinger, T., Zhang, W., Chang, S., Tesauro, G., Zhou, B., and Jiang, J. (2018). "R3: Reinforced Reader-Ranker for Open-Domain Question Answering." In $A A A I$, pp. 5981-5988.

Winograd, T. (1971). "Procedures as a Representation for Data in a Computer Program for Understanding Natural Language." MIT AI Technical Report, 235, pp. 1-461.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. (2020). "Transformers: State-of-the-Art Natural Language Processing." In EMNLP, Vol. System Demonstrations, pp. $38-45$.

Yang, W., Xie, Y., Tan, L., Xiong, K., Li, M., and Lin, J. (2019a). "Data Augmentation for BERT Fine-Tuning in Open-Domain Question Answering." CoRR, arXiv:1904.06652.

Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R. R., and Le, Q. V. (2019b). "XLNet: Generalized Autoregressive Pretraining for Language Understanding." In NeurIPS, pp. $5754-5764$.

## 付録

## A異なる言語モデルを用いた場合の性能

本研究では，BERT 以外の言語モデルを用いた場合についても，5.1 と同様の設定で実験を 行った. 表 11 に，モデルに RoBERTa-base (Liu et al. 2019)20および XLNet-base cased (Yang et al. 2019b)21を用いた場合の, Quizbowl と TriviaQAの訓練・開発データ上の正解率を示す. モデルを変更した場合でも，Quizの質問は丸暗記できること，Wiki $\rightarrow$ Quizの段階的なデー夕拡張が有効であること，別のデー夕拡張の設定では性能低下を引き起こすことといった, 5.2.1 節 で述べた現象が同様にみられることを確認できた.

表 12 に，Quizの設定で訓練されたモデルは誤答したが Wiki $\rightarrow$ Quiz の設定で訓練されたモデ ルは正答できた, TriviaQAの開発データの質問の追加の例を示す. 表 12 の最後の例は, 開発 データの質問と同じ正解を持つ質問が訓練データ中に 17 件存在していたが, そのどれもが開発 データの質問と内容が共通していない質問であった例である.

表 11 RoBERTa およびXLNet をモデルに用いた場合の正解率

質問 : In what middle east harbor was the destroyer USS Cole attacked by suicide bombers in 2000, resulting in 56 casualties?

正解エンティティ：Aden

訓練データに含まれる，正解エンティティが同じである質問：
- What was the capital city of the People's Democratic Republic of Yemen until 1990?
- What's capital of The Peoples Democratic Republic of Yemen?

拡張データに含まれる，解答に必要な知識が記述された文 (一部抜粋)：
- The bombing attack on destroyer USS "Cole" took place in Aden on 12 October 2000.

質問 : Who is the only Spanish winner of the Ladies' Singles at Wimbledon?

正解エンティティ：Conchita_Martinez

訓練データに含まれる，正解エンティティが同じである質問：
- Who defeated Martina Navratilova in her last Wimbledon Singles Final?

拡張データに含まれる，解答に必要な知識が記述された文（一部抜粋）：
- She was the first Spanish player to win the women's singles title at Wimbledon, where she beat Martina Navratilova to win the 1994 title.
- Martínez, however, won the match in three sets and became the first Spanish woman to win Wimbledon.

質問：Which literary character is the best known creation of the writer Earl Derr Biggers?正解エンティティ：Charlie_Chan

訓練データに含まれる，正解エンティティが同じである質問：
- Which retro film character frequently referred to his 'Number One son' in his films?
- Warner Oland, Sydney Toler and Roland Winters have all played which fictional detective?

拡張データに含まれる，解答に必要な知識が記述された文（一部抜粋）：
- Charlie Chan is a fictional character created by Earl Derr Biggers.

質問： The Sign Of Four was a detective story written by which author?

正解エンティティ：Arthur_Conan_Doyle

訓練データに含まれる，正解エンティティが同じである質問：
- What is the name of the author of the Sherlock Holmes books? Who wrote the novel 'The Hound of the Baskervilles?
- Which author was responsible for the series of short comic books Brigadier Gerard? ... (計 17 問)

拡張データに含まれる，解答に必要な知識が記述された文（一部抜粋）：
- A sequel to "A Study in Scarlet" was commissioned, and "The Sign of the Four" appeared in "Lippincottś Magazine" in February 1890, under agreement with the Ward Lock company.

表 12 データ拡張によって正答するようになった TriviaQA 開発データの問題の別例

## 略歴

鈴木 正敏：2018 年東北大学大学院情報科学研究科博士前期課程修了. 同年より 東北大学大学院情報科学研究科博士後期課程に在籍中. 2019 年より日本学術振興会特別研究員 (DC2). 同年より理化学研究所革新知能統合研究センター 言語情報アクセス技術チーム研修生.

松田 耕史：2012 年東京工業大学大学院総合理工学研究科修了. 修士 (工学). 2018 年より理化学研究所革新知能統合研究センターテクニカルスタッフ. 東北大学大学院情報科学研究科博士後期課程に在籍中.

大内 啓樹：奈良先端科学技術大学院情報科学研究科にて, 2015 年博士前期課程修了. 2018 年博士後期課程修了. 2018 年より理化学研究所革新知能統合研究センター特別研究員.

鈴木潤：2001 年から 2018 年まで日本電信電話株式会社 コミュニケーショ ン科学基礎研究所研究員 (主任研究員/特別研究員). 2005 年奈良先端科学技術大学院情報科学研究科博士後期課程修了. 現在, 東北大学デー夕駆動科学・AI 教育研究センター教授.

乾 健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/