# 質問一回答ペアを活用する 半教師あり抽出型質問要約モデルとその学習法

本稿は質問を対象とした抽出型要約を扱う。ニューラルネットワークによる抽出型要約モデルの学習には, 大規模なラベル付きデータが必要となる。 ユーザが自由に 記述する Yahoo!知恵袋などのコミュニティ QA (CQA) に投稿される質問に対して は，ラベル付きデー夕の獲得が難しい，そこで，本研究ではラベル付きデータが不足する問題を軽減するため, 小規模な人手ラベル付きデー夕に加え, CQAから大量 に獲得可能な質問－回答ペアを活用する，半教師あり要約モデルを提案する。また，提案モデルの学習法として, 質問－回答ペアを活用した事前学習, 同時学習, Distant Supervision による疑似ラベルの活用，サンプリング手法などを提案する。従来の半教師あり学習の枠組みでは考慮されてこなかった, 質問－回答といったぺア構造か ら，効率的に要約モデルを学習する手法を考察する。実験より，適切なサンプリン グ法や疑似ラベルを用いた同時学習手法により，特にラべル付きデータが小規模な 場合に良い性能を示したことを報告する。

キーワード : 質問要約, 文書要約, 抽出型要約, ニューラルネットワーク, Distant Supervision
## Semi-Supervised Extractive Question Summarizer Using Question-Answer Pairs and its Learning Methods

\author{
Tatsuya ISHiGaKI ${ }^{\dagger}$, Kazuya Machida $^{\dagger \dagger}$, Hayato Kobayashi ${ }^{\dagger \dagger}$, \\ Hiroya TAKAMURA ${ }^{\dagger \dagger \dagger, \dagger}$ and Manabu OKUMURA ${ }^{\dagger \dagger \dagger \dagger}$
}

We treat extractive summarization for questions. Neural extractive summarizers often require much labeled training data. Obtaining such labels is difficult, especially for user-generated content, such as questions posted on community question answering services. In this paper, we propose semi-supervised extractive summarizers for such questions that exploit question-answer pairs to alleviate the problem of insufficient labeled data. To this end, we propose several learning methods, namely pretraining, multi-task learning, distant supervision, and sampling methods, to examine how to

effectively use such unlabeled paired data. Experimental results show that multi-task training performs well with an appropriate sampling method or distant supervision, especially when the labeled data is small.

Key Words: Question Summarization, Document Summarization, Extractive Summarization, Neural Networks, Distant Supervision

## 1 はじめに

Yahoo!知恵袋に代表されるコミュニティ QA (CQA)には日々多くの質問が投稿される，スマートフォンに送信されるプッシュ通知や質問の検索結果画面に表示される見出しは，ユーザが投稿の全文を読むか否かを決定する手がかりとなる，多くの CQA では，見出しとして質問の先頭部分を表示する。しかし, 図 1 に例示するように重要箇所は必ずしも質問の先頭に現れるとは限らない. ユーザの的確な判断を助けるためには，質問の重要箇所を見出しに含めることが重要である。そこで，本研究では質問に対する要約課題に取り組む.

本稿では質問要約課題を抽出型単一文書要約として定式化する．抽出型要約は原文書中の文もしくは単語列をそのまま取り出し要約として提示する手法である。原文書に現れる表現の言い換えを許容する生成型要約とは異なり, 非文の出力を比較的抑えられるという観点から安全性が高い，実サービスへの適用を指向し，本研究では質問からもっとも重要な単一文を選択し要約とする設定を扱う。

抽出型要約自体は, 自然言語処理の分野において長く取り組まれている課題の一つである.古くは単語出現頻度 (Luhn 1958) を用いる文の重要度計算の研究から始まり，グラフに基づく手法 (Mihalcea and Tarau 2004), トピックに基づく手法 (Gong and Liu 2001), 素性ベースの機械学習による手法 (Naik and Gaonkar 2017), 組み合わせ最適化問題として定式化する手法 (Li, Qian, and Liu 2013; Kikuchi, Hirao, Takamura, Okumura, and Nagata 2014) など多くの手法が提案されている。2016 年以降は大規模データを用いたニューラルネットワークに基づく手法が積極的に研究されている (Cheng and Lapata 2016; Nallapati, Zhai, and Zhou 2017). ニューラルネットワークを用いた要約モデルの学習に必要となる大規模なラベル付きデー夕は，人手作

図 1 コミュニティ QAへの投稿される質問と回答の例
成するコストが大きい。また，CQAなどにユーザが自由に投稿するテキストに対しては良質なラベルの自動付与が難しい.

このようなデータ獲得の問題を軽減するため, 本稿ではラベル付きデータに加え質問 - 回答ペアも用いて学習する半教師あり学習に基づく抽出型質問要約モデルを提案する. 図 1 の右側に示す回答には,「iPhone」や「WiFi」といった質問中の重要と思われる単語が含まれている.本研究では回答情報が質問中の重要箇所を同定するための手がかりになると考える。人手によるラベルの大規模な獲得は難しいが，質問－回答ペアは CQAから大規模に獲得可能である.

提案モデルは文抽出器と回答生成器の 2 つの部品から構成され, 前者はラベル付きデータ,後者はペアデータを用いて学習される。それぞれの部品が質問中の文に対し重要度を出力し, 2 つの重要度を組み合わせ最終的な文の重要度を得る．提案モデルの設定は従来の半教師あり学習とは異なり, 大規模データ側が質問－回答というぺア構造を持つ点に特徵がある。このような設定において, どのような学習手法が有効であるかは必ずしも明らかではない。そこで,本研究ではぺア構造を持つデータを用いてニューラルネットワークを事前学習する手法, 文抽出器および回答生成器をそれぞれ別に学習しスコアを統合する手法, 文抽出器および回答生成器を同時学習する手法を提案し比較する。また, 人手ラベル付きデータとペアデータのサイズが大きく異なる点も問題となる。これに対処するために，小規模データのオーバーサンプリング，大規模データのアンダーサンプリングおよび Distant Supervision による疑似ラベルの大規模データへの付与など，データ不均衡問題を解消する手法も提案する.

実験より, (a) 文抽出器と回答生成器を同時学習する手法が有効であるが, データ不均衡問題に対処するための適切なサンプリング法が必要となる，(b) ラベル付きコーパスが小規模な場合に，Distant Supervision に基づく手法を用いた疑似ラベルを用いて学習することで，より良い性能が得られるという 2 つの知見が得られた。

本稿の貢献を以下にまとめる。

- 質問－回答ぺアを活用する半教師あり学習モデルおよびその学習法を提案する．事前学習手法, 文抽出器および回答生成器をそれぞれ別に学習し結合する手法, 同時学習する手法を提案し，その効果を実験的に検証する。

- データサイズの不均衡問題を解消するための手法としてサンプリング手法および Distant Supervisionによる疑似ラベルの活用による手法を提案し，その有効性を確認する.

- 半教師あり学習による質問要約モデルの学習および性能評価に利用可能な 4 つのデータセットを作成する．具体的には．質問に対し要約に含めるべき文を人手ラベル付けした小規模 （775 事例）および中規模（12,406 事例）データ，100,000 件の質問－回答ぺアを格納した大規模データ，Distant Supervision に基づく提案手法により疑似ラベルを付与したデータを作成する。

・ 実験に用いたデータは公開する ${ }^{1}$.

以後, 本稿では 2 節で提案モデルについて定式化し, 3 節で実験に用いるデータについて述ベる. 特に，人手ラベル付きデータのクラウドソーシング (3.1 節) や Distant Supervision による疑似ラベルを自動付与する提案手法 (3.3 節) について詳述する．4 節では実験に用いる比較手法として, 提案モデルの学習法 (4.1.1 節), サンプリング法 (4.1.2 節) および疑似ラベルの活用 (4.1.3 節) によるデータ不均衡問題の解消について述べ， 5 節で結果をまとめる. 6 節で他の研究との関連について述べ，最後に 7 節で今後の方向性として, 他の自然言語処理課題への応用可能性について議論する.

## 2 提案モデル

本節では我々の提案する半教師あり質問要約モデルについて述べる. 図 2 に全体像を示す.本モデルは文抽出器と回答生成器の 2 つの部品からなる. 図 2 の太枠部分が文抽出器, 破線部分が回答生成器である. 文抽出器はラベル付きデータから学習されるニューラルネットワークを用いて，質問中の文の重要度を計算する。一方，回答生成器は質問 - 回答ペアから学習される注意機構付きエンコーダ・デコーダ (Luong, Pham, and Manning 2015) を用いて, 回答単語列生成を行う。単語列生成時に計算する質問中の文に対する注意重みを重要度とみなす。半教師あり学習の観点からは, 文抽出器が主となるタスクであり, 回答生成器が補助的なタスクを解くモデルとみなすことができる.

これら 2 つの部品はエンコーダを共有する。まず，エンコーダは単語を Long Short-term Memory (LSTM) (Hochreiter and Schmidhuber 1997)による文エンコーダで読み込み，文表現ベクトルを出力する。その後, 別の LSTM で構築される文書エンコーダで文表現ベクトルを逐次読み込み，文脈を考慮したべクトル表現を得る。文書エンコーダの出力するべクトル表現はその後, 文抽出器および回答生成器による重要度計算に用いられる. 文抽出器および回答生成器の処理が完了した段階で 2 つの重要度が得られることになる。これら 2 の重要度を統合することで, 最終的な文の重要度を得る。重要度が最大となる文をシステムの出力要約とする.以下にエンコーダ, 文抽出器, 回答生成器, 2 つの重要度の統合, 学習に用いる損失関数について順に定式化する。

## 2.1 エンコーダ

本モデルでは文エンコーダおよび文書エンコーダという 2 のエンコーダが階層に接続される. 入力質問は文系列 $d=\left(s_{1}, s_{2}, \ldots, s_{m}\right)$ とし, 文は単語列 $s_{i}=\left(w_{i, 1}, w_{i, 2}, \ldots, w_{i,\left|s_{i}\right|}\right)$ で表現
^{1}$ http://lr-www.pi.titech.ac.jp/ ishigaki/chiebukuro/
}

図 2 回答情報を活用する半教師あり質問要約器

する。文エンコーダは各文に含まれる単語を LSTM で読み込み単語表現系列 $\left(h_{i, 1}, \ldots, h_{i,\left|s_{i}\right|}\right)$ を得る。文書エンコーダは文エンコーダの最終状態 $h_{i,\left|s_{i}\right|}$ を各文に対し逐次読み込み，文脈を考慮した文表現べクトル系列 $\left(h_{1}, \ldots, h_{m}\right)$ を出力する。この系列は文抽出器および回答生成器に渡され，それぞれの重要度計算に用いられる。

## 2.2 文抽出器による重要度計算

文抽出器による重要度計算について述べる。文抽出器は質問中の文がもっとも重要な文であるか否かを分類する二值分類問題を解く．エンコーダの出力ベクトル $\left(h_{1}, \ldots, h_{m}\right)$ は，それぞれ 2 次元ベクトルに線形変換され，ソフトマックス関数で重要文であるか否かを表現する二値確率分布に変換される:

$
p\left(s_{i}\right)=\operatorname{softmax}\left(W_{\text {ext }} h_{i}\right)
$

ここで， $W_{\mathrm{ext}}$ は線形変換するための重み行列である.

文抽出器はラベル付きデータから学習される。学習時の損失関数には交差エントロピーを用いる:

$
L_{\text {ext }}=-\sum_{i=1}^{m}\left.\{\left(1-t_{i}\right) \log \left(1-p\left(s_{i}\right)\right)+t_{i} \log p\left(s_{i}\right)\right.\}
$

ここで， $t_{i}$ は $s_{i}$ がもっとも重要な文である場合に 1 をとり，それ以外では 0 をとる二値変数である．文抽出器のみを学習する実験設定においては，この損失関数のみを用い学習を行い，回答生成器と同時学習をする設定においては後述するように回答生成器側の損失関数と統合して
用いる。

このニューラルネットワークの計算する確率値 $p\left(s_{i}\right)$ を文 $s_{i}$ の重要度と考える：

$
f_{\text {ext }}\left(s_{i}\right)=p\left(s_{i}\right)
$

この重要度は, 後述する回答生成器の出力する重要度と統合されることで, 最終的な文の重要度の計算に用いられる。

## 2.3 回答生成器による重要度計算

次に, 回答生成器による重要度計算について述べる。回答生成器は回答単語列 $\left(y_{1}, y_{2}, \ldots, y_{k}\right)$ を注意機構付きエンコーダ・デコーダを用いて出力する。回答生成時に注意機構が計算する注意重みを文の重要度とみなす。

デコーダの LSTM は以下のように時刻 $j$ における隠れ状態べクトル $h_{j}^{\prime}$ を計算する：

$
h_{j}^{\prime}=\operatorname{LSTM}\left(h_{j-1}^{\prime}, \operatorname{emb}\left(y_{j-1}\right)\right) .
$

$\mathrm{emb}$ () は引数の単語埋め込み表現を表す. なお, $t=0$ における隠れ状態ベクトル $h_{0}^{\prime}$ はエンコー ダLSTM の最終状態で初期化する。それぞれの時刻において，単語生起確率分布を隠れ状態 $h_{j}^{\prime}$ を用いて以下のように計算する：

$
p\left(y_{j} \mid y_{<j}, d\right)=\operatorname{softmax}\left(W_{\text {gen }} h_{j}^{\prime}\right)
$

ここで， $W_{\text {gen }}$ は重みべクトル， $y_{<j}$ はこれまでに生成した単語列 $y_{<j}=\left(y_{1}, \ldots, y_{j-1}\right)$ を表す. デコーダは確率値が最大となる単語を貪欲に出力する.

単語系列の出力時には注意機構 (Luong et al. 2015) を用いる。注意機構はデコーダの隠れ状態ベクトルを用いて，質問中の文を重み付ける，時刻 $j$ におる注意機構による文脈べクトル $c_{j}$ は以下のように注意重みを用いてエンコーダ側の文べクトルを加重平均することで得る：

$
c_{j}=\sum_{i=1}^{m} \alpha_{j}(i) h_{i}
$

ここで，時刻 $j$ におけるエンコーダ側の文ベクトル $h_{i} へ$ の注意重み $\alpha_{j}(i)$ は以下のように計算する：

$
\alpha_{j}(i)=\frac{\exp \left(h_{j}^{\prime} \cdot h_{i}\right)}{\sum_{i^{\prime}=1}^{m} \exp \left(h_{j}^{\prime} \cdot h_{i^{\prime}}\right)}
$

式 (5)の $h_{j}^{\prime}$ を文脈ベクトル $c_{j}$ を考慮するよう，以下の $\hat{h} て ゙$ 置き換える：

$
\hat{h}=W_{c}\left[h_{j}^{\prime} ; c_{j}\right]
$
同様に $W_{c}$ は重み行列で, $\left[h_{j}^{\prime} ; c_{j}\right]$ は $h_{j}^{\prime}$ と $c_{j}$ の結合ベクトルを表す.

重要度計算の際には, 回答生成の際に大きな注意重みが与えられた文は要約に含めるべき重要な文であると考える。すなわち, 回答生成器の注意機構が計算した注意重みを文 $s_{i}$ の重要度計算に以下のように用いる：

$
f_{\text {gen }}\left(s_{i}\right)=\frac{\sum_{j=1}^{J} \alpha_{j}(i)}{J} .
$

ここで，Jは回答生成のデコードが完了するまでのタイムステップ数である．Jには回答生成時に終了を表す特別なトークン EOD が出力されるまでのタイムステップ数が設定される． 50 ステップを超えた場合には $J=50$ とする。この注意重みを回答生成器による文の重要度とし,文抽出器による重要度と統合し最終的な文の重要度を得る。

学習時の損失関数には負の対数尤度を用いる：

$
L_{\text {gen }}=-\sum_{(d, y) \in D} \log p(y \mid d)
$

ここで，Dは質問－回答ペアデータに含まれる事例集合を表す。回答生成器のみを学習する実験設定においては, この損失関数のみを用い学習を行い, 文抽出器と同時学習をする設定においては後述するように文生成器側の損失関数と統合して用いる.

## 2.4 重要度の統合

文抽出器と回答文生成器による重要度を統合する手法について述べる。 $f_{\text {ext }}$ と $f_{\text {gen }}$ は最終的に以下のように重み付き和として統合し, 最終的な文の重要度スコア $f\left(s_{i}\right)$ を得る：

$
f\left(s_{i}\right)=\kappa f_{\text {ext }}\left(s_{i}\right)+(1-\kappa) f_{\text {gen }}\left(s_{i}\right) .
$

$\kappa$ は文抽出器および回答生成器が出力する重要度を重み付けるハイパーパラメータである． $\kappa$ の値は実験設定により，0，1，または開発セットで調整した値を用いる.

## 2.5 損失関数の統合

また, 文抽出器と回答生成器を同時学習する場合には前述した 2 つのモデルの損失関数を統合する必要がある．以下のように 2 つの損失関数をハイパーパラメータ $\lambda$ 用いて重み付け和として統合する：

$
L=\lambda L_{\text {ext }}+(1-\lambda) L_{\text {gen }}
$

4.1 節において述べるように，入の値を制御することで，事前学習，同時学習などの学習手法を切り替える。

## 3 データセット作成

実験に用いる 4 つのデータセット (LabelSmall, LabelMedium, Pair, Pseudo)について述べる. LabelSmall および LabelMedium はクラウドソーシングにより，要約に含めるべき文を人手でラベル付与した小規模および中規模のデータセットである。一方, Pairは質問－回答ペアを格納した大規模データセットであり，ラベルはない．Pseudoは後述する Distant Supervision に基づく提案ラベル付与手法を用いて，ラベルを持たないPairに対し，疑似的なラべルを自動付与したデータセットである。自動付与した疑似ラベルのためノイズを含むが，大量のラベル付き学習データを獲得できる利点があり, データ不均衡問題の解消に役立つと考えられる。なお, これらのデータセットは Yahoo!知恵袋コーパス (NII 2018)を基に作成する．以下にそれぞれのデータセットの作成法について詳述する.

## 3.1 人手ラベル付けしたデータ (LabelSmall, LabelMedium)

人手で質問をラベル付けしたデータとして, 小規模な LabelSmall および中規模な LabelMedium を構築する．LabelSmall は 775 質問を格納した人手ラベル付きデータセットである．Yahoo!知恵袋コーパスから 3,000 質問を抽出し，クラウドソーシングにより人手ラベルを付与した. 5 人の作業者のうち 4 人以上が同じ文を重要と判定した 775 質問を LabelSmall に含めた. 775 質問すべてに対し要約に含めるべきもっとも重要な 1 文を正例としてラベル付けし，それ以外は負例とラベル付けした．LabelMedium は 12,406 事例からなる中規模データセットである． LabelSmall と同様にクラウドソーシングを用いて, Yahoo!知恵袋コーパスから抽出した 30,000 質問に対し, 5 人の作業者が重要文を判定し, 4 人以上の作業者が同じ文を重要と判定した質問を含めた.

クラウドソーシングに依頼した質問の選定法および作業者への指示について詳細を述べる. Yahoo!知恵袋コーパス内には 2 文程度の短い質問もあれば長い質問も存在する． LabelSmall および LabelMedium は実験において, 評価用データとしても用いる. そのため, 長さの定義を質問に含まれる文数としたとき, 文数に対するデータセット中の質問数の頻度分布が, Yahoo!知恵袋コーパスの分布と異なると正しい評価ができない，そこで，Yahoo!知恵袋コーパス内の文数ごとの質問数の頻度分布と LabelSmall および LabelMedium 内の分布ができる限り近くになるよう層化抽出した．2つのデータセットに含まれる質問の文数に対する質問数の頻度分布を表 1 に示す.この表において，例えば文数が 2 文である質問は LabelSmall 中に 461 事例含まれていることを示す. クラウドソーシングには Lancers²を用い，作業者には以下の指示を与えた.

(1) 質問全体を良く読み質問内容を理解する.

（2）もっとも重要な文を 1 文選択する.

表 1 Pair の質問の文数ごとの質問数頻度

スラッシュ $(/)$ の左が LabelSmall，右が LabelMedium の文数ごとの質問数である.

(3) 1 文では要約できない場合には“要約できない”を選択する.

4 人以上の作業者のアノテーションが同じ文をもっとも重要と判定した事例を LabelSmall およびLabelMedium として採用し, 775 事例および 12,406 事例をそれぞれ獲得した.

## 3.2 質問一回答データ (Pair)

Pair は 10 万事例の質問－回答ペアからなるデータセットである．Yahoo!知恵袋コーパスに含まれる質問のうちランダムに 10 万事例を抽出した。 なお，以下の条件を満たすようコーパスをフィルタリングした上で抽出した.

(1) ベストアンサー3を伴う質問.

(2) 2 文以上 9 文以下の質問.

(3) 極端に長い文（50 単語以上の文）を含まない質問.

回答生成器の学習にはできる限り良質な回答を用いたい。そこで，1つ目の規則を用いて良質な回答に限定した. なお, 後者 2 つの制約は1)ノイズとなる質問を除外するため, 2) モデル学習の計算コストを削減するため, という 2 の理由から設定した. 10 文以上からなる質問投稿はデータセット全体の $5 \%$ 以下である.

## 3.3 疑似ラベルを自動付与したデータ (Pseudo)

Pair 中の質問にはラベルがない。これにより，ラベル付きデータ (LabelSmall および LabelMedium) とのデータサイズの不均衡が発生する。そこで，Pairに含まれる質問に要約に含めるべき文に関する二値ラベルを自動付与する手法を新たに提案する．以下に我々の自動ラベル付与手法および，構築した疑似ラベル付きのデータセットPseudoについて説明する.

## 3.3.1 質問要約のための Distant Supervision

はじめに，我々の提案するラベルの自動付与手法の基本的な考え方を説明する。この自動付与手法は Distant Supervision の考えに基づく．Distant Supervision は，ヒューリスティックや規則，外部データなどを用いて，コストをかけずに大量の疑似ラベル付きデータを生成し学習する手法である。この考え方は知識べースに格納された知識を手がかりに関係抽出課題のため

表 2 単一文質問と複数文質問の例

の疑似的な学習データを作成する手法 (Mintz, Bills, Snow, and Jurafsky 2009) に最初に適用されて以降，絵文字を手がかりに極性分類課題のための学習デー夕を作成する手法 (Go, Bhayani, and Huang 2009) など直接的なラベル付きデータの獲得が難しい課題に適用されている。要約研究では新聞記事に付与された 3 行程度の人手による生成型要約を手がかりに, 抽出型要約モデルを学習するためのラベルを自動付与する手法 (Nallapati et al. 2017) が提案されている. 本研究で対象とする Yahoo!知恵袋コーパスには質問本文のみが含まれ4，夕イトルや人手による要約を含まないためこの手法は直接適用できない.

自動ラベル付けを行うために，我々は Yahoo!知恵袋に単一文で投稿される質問の特徵が，要約に含めたい文と似ていることに着目した. Yahoo!知恵袋に投稿される質問は単一文質問と 2 文以上からなる複数文質問に大別できる。表 2 に例を示す。質問要約において，出力要約文は単体で理解できる質問であることが望ましい。例えば，表 2 に例示するように，「ヤフーオークションのプレミアムアカウントはどうやったら取れますか」という単一文で投稿される質問には，「ヤフーオークション」や「プレミアムアカウント」といった，質問内容を理解するために必要な情報があらかじめ埋め込まれている，そのため，質問内容を理解するために他の文の情報を必要としない．このように，単一文質問は単体で理解できる質問であることから，要約に含めたい文と似た特徵を持つと考えられる。一方，例えば 10 文以上で構成されるなどの長い質問に含まれる個別文に着目すると,「こんにちは.」や「オークションについての質問です.」といった挨拶や背景情報を説明する文も含まれる。このような文の多くは，質問文ではなかったり，「これはどうやったら取れますか？」のように質問文であるものの，他の文への照応を含むことが多い。このような文は，単体で理解できる質問ではなく要約に含めたい文とは異なる特徵を持つと考えられる。

Yahoo!知恵袋コーパスを用いた予備分析では，無作為に抽出した 100 の単一文質問のうち $98 \%$ はその文単体で理解できる質問であった。残りの $2 \%$ は挨拶や主張のみが記述される投稿であった。一方で， 10 文以上で構成される長い質問に含まれる文を人手で分析すると，わずか $7 \%$ がその文単体で質問内容が理解できる文であった。このような分析から，CQAに投稿される単一


図 3 疑似ラベル付与のための提案手法概要

文質問のほとんどは，その文のみで内容が理解できる質問であり，要約に含めたい文と似た特徵を持っていることがわかった。一方，長い質問の個別文は質問でなかったり，質問文であっても単体で理解できない事例が多く, 要約に含めたい文とは異なる特徴を持つことがわかった.

そこで，図 3 に示すように，1) 単一文質問を正例とし，長い質問中の個別文を負例としたデー 夕を Yahoo!知恵袋コーパスから抽出し，2) 二値分類器を学習し，さらに3)Pairに含まれる質問中の文に分類器を用いてラベル付与することで，Pairに疑似的なラベルを付与し，データサイズ不均衡を解消できると考えた。

## 3.3.2Distant Supervision による自動ラベル付与手順

具体的なラベル付与手順を説明する。この枠組みでは，まずYahoo!知恵袋コーパスから単一文質問および，10 文以上で構成される質問を抽出する（手順 1)。次に，単一文質問を正例， 10 文以上で構成される質問中の文を負例として, 分類器を学習する (手順 2). 最後に, この分類器の出力する確信度を文の重要度とみなし, この重要度スコアが最大となる文を正例とラベル付与する (手順 3).

手順 1 では Yahoo!知恵袋コーパスから，単一文質問を 8,000 文， 10 文以上から構成される複数文質問中の文を $1,700,000$ 文，無作為に抽出する ${ }^{5}$. 抽出文のうち，単一文質問を正例， 10 文以上から構成される複数文質問中の文を負例と自動でラベル付与し, 分類器の学習に用いる. なお，疑似ラべルを付与するための分類器の学習に 10 文以上の質問を用いるが，提案要約モデル $(2$ 節)は 10 文以上の入力も受け付ける.

手順 2 の分類器にはLSTM を用いた単純な分類器を用いる。文をLSTM で読み込み，その隠れ層を全結合層により 2 次元に圧縮したのちソフトマックス関数を用いて確率分布に変換する。 この分類器の出力する確率値は, 文の単一文質問らしさを表現するものであるが, 我々の枠組
^{5}$ LabelSmall および LabelMedium は 2 文から 9 文の質問からなるため, Pseudoとは重複しない. また, Pair とは独立にサンプルしたため重複しない.
}

みではこれを文の疑似的な重要度と考える。

手順 3 では, 分類器の出力確率を手がかりに正例および負例の二值ラベルを質問中の文に付与する。入力質問には複数のフォーカスが含まれる場合がある。例えば，アメリカの大統領の名前を尋ねたあとに大統領の出身地を尋ねる場合を想定する。そのような場合には，どちらのフォーカスがより重要であるか判定するのは難しい。本研究では，入力質問が複数のフォーカスを持つ場合には，より前に出現するフォーカスを正解として扱う.

そのため, 分類器の出力確率が閾値以上の文が複数存在する場合には, 入力に複数のフォー カスが存在するとみなし，より先頭に近い位置に出現する文を正例としてラべル付与する。それ以外の場合には確率が最大となる文を正例としてラべル付与する。なお, 閾値は LabelSmall の正例を正しく当てられるよう調整し，実際には 0.7 に設定された。上記の手順により, Pair の質問側に対し疑似ラベルを自動付与したデータ Pseudoを獲得した。

## 4 実験

本節では提案モデルを様々な学習手法を用いて構築する。また, 教師なしおよび教師あり学習に基づくベースライン手法と性能を比較する。

## 4.1 提案モデルに基づく手法

2 節にて述べた 2 つのパラメータ $\lambda$ および $\kappa$ を変更することにより様々なモデルを作成した. なお， $\lambda$ は文抽出器と回答生成器から計算される 2 つ損失関数を重み付けるパラメータで, $\kappa$ は 2 つの部品が計算する文の重要度を重み付けるパラメータである。 さらに，ラベル付きデー 夕 (LabelSmall および LabelMedium) と Pairのデータサイズが不均衡となる問題を解決するため, サンプリング法や Distant Supervision による疑似ラベルを組み合わせた学習手法も提案する. 以下に各手法について説明する。

## 4.1.1 損失関数の制御パラメータ $\lambda$ および出カスコアの制御パラメータ $\kappa$ を変化させたモデル

- Ext: 文抽出器のみ用いるモデル $(\lambda=1, \kappa=1)$.

- Gen: 回答生成器のみ用いるモデル $(\lambda=0, \kappa=0)$.

- Sep: 文抽出器をラベル付きデータ (LabelSmall もしくは LabelMedium)を用いて学習し $(\lambda=1)$, さらに回答生成器を Pair を用いて別に学習 $(\lambda=0)$ する. 文の重要度スコアを計算する際に 2 つのモデルからのスコアを統合する。なお，ハイパーパラメータ $\kappa$ は開発セットで調整する.

- Pre: はじめに回答生成器のみをPair を用いて事前学習する $(\lambda=0)$. その後, 学習されたエンコーダの重みを保存し, 文抽出器の学習を行い追加学習 $(\lambda=1)$ する. 文のスコアリン

グ時には文抽出器からのスコアのみ用いる $(\kappa=1)$.

- Multi: 文抽出器と回答生成器を同時学習する. ミニバッチはデータセットごとに作成し,損失関数はそれぞれ計算する．Pairには人手アノテーションによる正解ラベルが付与されていないので，このデータからミニバッチを作成する際には，文抽出器から計算される損失 $L_{\mathrm{ext}}$ を 0 にする. ハイパーパラメータ $\lambda$ おび $\kappa は$ 開発セットで調整する.

## 4.1.2オーバーサンプリング/アンダーサンプリングを用いるモデル

Pair とラベル付きデータ (LabelSmall および LabelMedium)のデータサイズは大きく異なる.今回の設定ではメインの処理となる文抽出器の学習に用いるラベル付きデータよりも, 補助的なタスクである回答生成に用いる Pairのサイズが大幅に大きい。このデータサイズの不均衡を改善することで，性能が向上すると考えた。そこで，Multi の亜種として以下の 2 つのモデルを提案する。

- MultiOver: ラベル付きデータ (LabelSmall または LabelMedium)をオーバーサンプリングし，データサイズをPair と同様にしMultiを学習する。

・ MultiUnder: Pairをアンダーサンプリングし, データサイズをラベル付きデータ (LabelSmall またはLabelMedium) と同様にしMultiを学習する。

## 4.1.3Distant Supervision によるデータ拡張と組み合わせるモデル

さらに, Pseudoを用いることでデータ不均衡問題を解決することができると考えた. Pseudo を用いて学習する以下のモデルを提案する.

- MultiDist: ラベル付きデータ (LabelSmall または LabelMedium) および Pseudoを用いて Multiを学習する。

- ExtDist/SepDist/PreDist: Ext/Sep/PreをそれぞれPseudoを用いて学習する.

## 4.2 教師なしおよび教師あり学習に基づくベースラインモデル

教師なしおよび教師あり学習に基づくベースラインとしては，以下の 5 モデルを採用する.

- Lead: 先頭文を選択する.

- TfIdf: tf-idf 值が最大となる文を要約文として選択する。idf は Yahoo!知恵袋コーパス全体から事前に計算した。

- SimEmb: 入力質問と要約文の意味的な類似度が最大になる文を選択する. 意味的類似度の計算には Word Movers’ Distance (Kusner, Sun, Kolkin, and Weinberger 2015)を用いた.

- LexRank: 抽出型要約において代表的なグラフベース手法である LexRank (Erkan and Radev 2004) による重要度スコアが最大となる文を選択する。エッジの重みは Yahoo!知恵袋コーパスの質問全体での単語共起頻度を計算した。

- RegQ: 質問文らしさを同定するロジスティック回帰モデルをラベル付きデータから学習し, スコアが最大となる文を要約文として選択する．質問文らしさを捉える素性として文末表現, 疑問詞の有無および文長の 3 種類を用いた. 文末表現素性は文末の uni-gram, bi-gram, tri-gram を二値素性として表現した。 疑問詞素性は「いつ」「誰」「たれ」「どこ」「何」「なに」を手がかり語としてそれぞれを二値素性として表現した。文長素性は文に含まれる単語数を 0-5 単語, 6-10 単語, 11-15 単語, 16-20 単語, $21-25$ 単語, それ以上に分けそれぞれを二値素性として表現した。

## 4.3 評価指標

モデルの評価には以下の式で計算される，正解率を用いる：

$
\text { 正解率 }=\frac{\text { 最重要文を正しく予測できた質問数 }}{\text { 評価セット中の質問数 }} .
$

要約モデルの評価にはしばしばROUGE (Lin 2004), 再現率, 精度などが用いられる。 これらの評価指標は要約長制約がバイト数や文字数で与えられる設定において，重要な単語をどの程度含められたか評価する。本研究は単一文を抽出する設定であり, 重要な文が選択できたか否かが重要である。よって，正解率を採用する．実験時にはラべル付きデータ（LabelSmall または LabelMedium) を3:1:1に 5 分割し, それぞれ学習セット, 開発セット, 評価セットに用いる 5 分割交差検定を行った.

## 4.4 前処理と実験パラメータ

前処理としてすべてのデータセットに含まれる質問と回答は句点, 改行記号, 感嘆符, 疑問符の連続を手がかりに文分割し，MeCab6を用いて形態素に分割した。質問中の文は形態素系列として表現されエンコーダに渡され，回答を用いる提案手法は形態素系列を出力する．入力および出力単語の辞書次元は 30,000 に設定した。単語埋め込み層, LSTM の隠れ層の次元はそれぞれ 256 に設定し, 単語埋め込み層は Yahoo!知恵袋コーパスを用いて word2vec を事前学習7 した. 最適化器には Adam (Kingma and Ba 2015) ( $\left.\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.999, \epsilon=1 \mathrm{e}-8\right)$,勾配のクリッピングは 5.0 とし， ドロップアウトの割合は 0.2 を用いた。学習時のミニバッチサイズは 50 に設定した. 同時学習時には, それぞれのデータセットから別のバッチを生成し, バッチ内で事例をランダムに並べ替えた上で学習し, 損失関数の値はミニバッチごとに計算した. 学習時は 10 エポック分行い, 評価時には開発セットでの正解率がもっとも高いモデルを用いた。ハイパーパラメータの $\lambda$ は 0.0 から 1.0 の間で 0.1 刻みに変更し開発セットの正解率を最大にするよう調整した。

表 3 各手法の正解率

“、"は学習に用いたデータセットを示す.

## 5 結果

本節では各手法の性能について述べる。表 3 に各モデルから得られた正解率を示す。もっとも左のカラムに示す手法名は 4 つのグループに分けられている。 上のグループから順に教師なし学習に基づくべースライン, 半教師あり学習に基づく提案モデル, 提案モデルのうち同時学習によるモデル，Distant Supervisionによる疑似ラベルを用いるモデルである．4つの区分に分けられているカラムのうち, 左から 2 番目のカラムに示すチェックマーク $(\checkmark)$ は学習に用いたデータセットを示す. 左から 3 番目，4番目の区分にLabelSmall と LabelMedium を評価セットとした場合の正解率をそれぞれ示す。なお, 教師あり学習に基づくモデルの正解率は 5 分割交差検定を用いて計算した正解率である。

## 5.1 小規模ラベル付きデータ (LabelSmall) での正解率

はじめに, LabelSmallを評価セットとして用いた場合の正解率について述べる．教師なし学習に基づく手法は, Lead (.813) がもっとも高い正解率を得た. それに対し, 他の教師なし学習に基づく手法 (TfIdf (.556), SimEmb (.640), LexRank (.779))の正解率は Lead よりも低い，従来の新聞記事等を基にしたデータセットでは比較的良い性能を示すモデルであっても，質問要約課題においてはその限りではないことがわかる．質問を同定する教師あり学習に基づくモデル $\operatorname{RegQ}$ (.608)も Lead の性能には及ばない. データセット中の要約文とアノテーションされた
文は実際にはすべて質問文であったが，複数の質問文を含む入力などでは，質問文同定課題を解くだけでは要約として適切な文を選択できない場合がある。例えば，「水泳に詳しい人はいませんか？クロールの最適な息継ぎのタイミングを教えて下さい． 3 回に 1 回ですか？すぐに息が上がってしまいますが， 2 回に 1 回だと多すぎですか？」といった入力は RegQによってすべての文に高いスコアが与えられ，重要文を正しく選択できない。これらの結果は，質問要約課題が質問文同定と重要文同定を同時に解く必要がある課題であることを示唆しており，質問要約課題のタスク自体の難しさを示すものといえる.

3つ目のグループでは, Multi (.770)よりもMultiUnder (.857) が良い性能を示しており，サンプリング法によるデータ不均衡問題の軽減が重要であることがわかる。サンプリング法を用いないMulti (.770) は Ext (.813)よりも性能が低い. よって，単純に同時学習するだけでは不十分であり，適切なサンプリング法と組み合わせデータ不均衡問題を軽減する必要がある。サンプリングを用いる 2 手法 (MultiOver と MultiUnder) は近い正解率を得たが, MultiUnder の正解率がやや高い。これは, 775 事例という小規模データである LabelSmall をオーバーサンプリングすることにより, 同一の事例が何回も学習デー夕内に存在することになり, LabelSmall に含まれる事例に対し過学習を引き起こしたものと思われる。

4 つ目のグループでは, MultiDist (.875) がもっとも良い性能を示し, 疑似ラベルによるデー 夕不均衡問題の軽減も有効であることがわかる．MultiDistと他の手法との性能差は, 符号検定により統計的に有意であることを確かめた $(p<0.05)$. Distant Supervisionによる疑似ラべル付きデータそのものを文抽出器の学習に活用する ExtDist (.838) も, 疑似ラベルを用いない Ext (.813)よりも性能が高い。つまり，ノイズが含まれる疑似ラベルであっても，小規模な人手ラベル付きデータを用いるよりも良い性能が得られる。同時学習を用いるMultiDist (.875)はさらに性能を向上させた。同時学習を用いる提案手法は従来の要約研究において強いべースラインとして知られている Leadよりも良い性能を示した．新聞記事などを対象とした従来の研究に比較し, Lead が質問要約において良い性能を示さない理由については, 5.3 節で出力例を示し, 議論する。

その他の手法については, $\operatorname{Sep}(.828)$ が良い性能を示した. これは, Extによる文抽出器からのスコアと Genによる回答生成器からのスコアがうまくアンサンブルされた結果と考えられる.一方，Gen (.659)のみを用いる場合には人手付与されたラベル付きのデータを一切使わないため性能が低く，回答生成という補助的なタスクのみで重要文を同定することは，難しい。この点からも，小規模な人手ラベル付きのデータと大規模な質問－回答ぺアを組み合わせた半教師あり学習モデルは有効であることがわかる. Pre (.788) は予想に反し Ext (.813)よりも性能が低い。これは 775 事例という小さな事例数が事前学習したモデルの追加学習には不十分であったと考えられる。

## 5.2 中規模ラベル付きデータ (LabelMedium)での正解率

次に人手によるラベル付きデータのサイズが, 正解率に及ぼす影響について議論する. LabelMedium での正解率を表 3 のもっとも右のカラムに示す. LabelSmall が 775 事例であったのに対し, LabelMedium は 12,406 事例と中規模のデータセットである.

LabelMedium を用いた場合には正解率がほぼ全ての提案モデルで, LabelSmallを用いた場合と比較し, 向上した。これは, 人手によるラベル付きデータが大きくなり, データ不均衡問題が緩和されることが要因であると考えられる．LabelSmallを用いた実験では適切なサンプリングや疑似ラベルの利用がない場合に, 同時学習手法 (Multi)の性能が低かった. 一方, LabelMedium での実験においてMulti (.894)の正解率はサンプリング法を用いないにも関わらず，Ext (.886) よりも高い. さらに適切なサンプリング法 (MultiUnder およびMultiOver) と組み合わせることで, 性能がさらに向上（それぞれ. 913 と.917）する.

MultiOver (.917) と MultiUnder (.913) との性能差はごく僅かになった. LabelSmall を用いた実験ではアンダーサンプリングの正解率がオーバーサンプリングよりも高かった。これは, LabelMedium を用いた場合には，人手ラベル付きデータのサイズが大きいため, オーバーサンプリング時に同一の質問が学習事例に含まれる回数が減り, MultiOverの過学習が軽減されたためと考えられる。

一方，疑似ラベルを学習に活用するMultiDist (.908) は MultiUnder (.913)よりもわずかに低い性能を示し, その効果がみられなかった. 小規模データ LabelSmallでの実験では Distant Supervision による疑似ラベル付きデータとの組み合わせたMultiDist (.875)は, MultiUnder (.857) よりも良い性能を示していた。これは, LabelMediumでは人手でラベル付与されたデー 夕が増えたことにより，Distant Supervision による疑似ラベルはむしろノイズとして働いたためと考えられる。

の LabelMedium での正解率が LabelSmall での正解率よりも低くなるのは, 開発セットにより

Sep は同時学習とサンプリングや Distant Supervision と組み合わせる提案モデルの正解率より

以上の考察から，とくに人手による良質なラベル付きデータが小規模な場合に，半教師あり学習による提案手法およびサンプリングや疑似ラベルの利用といった学習法は有効であることが分かった. また，人手によるラベル付きデータが中規模に獲得できる状況でも，同時学習やサンプリング法の併用によって性能を向上できる. Distant Supervision による疑似ラベルの活用は良質な人手によるラベル付きデータが多く獲得できる場合にはノイズとして働き，効果的に作用しない.
表 4 LabelSmall を用いた実験での出力例

、は各手法の選択した文を示す。質問中の太字の文は正解要約文である.

## 5.3 出力の定性的分析

最後に出力の定性的な分析を行う. 分析対象の手法 (Lead, Ext, MultiUnder, MultiDist) は表 3 に挙げた手法の 4 つの区分から，代表的な手法を 1 つずつ選択した. LabelSmall を用いた実験での出力例を表 4 に示す.

表 4 の最初の例は Lead が正しい要約文を選択できない事例を示す.Lead が正しく重要文を選択できない理由として，質問では核となる文が必ずしも先頭に現れるとは限らない点が挙げられる。データセット内の質問の持つ談話構造には少なくとも以下の 2 種類が存在する.

(1) 背景となる情報を提示した後，核となる質問文に続く.

（2）核となる質問文を提示した後，背景となる情報を補足する.

Lead は前者に対応できないため, 提案手法よりも性能が低いものと考えられる．表 4 の例では, アボカドに関する背景となる情報を提示した後,「アボカドを上手に熟れさせる方法」という核となる質問を行う．既存の要約研究では新聞記事や科学論文をもとにしたデータセットで性能評価されることが多い. 既存データでは結論を先に記述する談話構造が多く用いられるため, Lead は強いベースラインとして知られている。本研究で扱う CQAへの投稿は新聞記事とは異なり，書き手が専門家ではない質問であり，新聞記事とは談話構造が異なる事例が相対的に多い。よって, Lead は本課題に対して良い性能を示さない.

2 つ目の例は ExtのエラーがMultiUnder や MultiDist で解消された例を示す. Ext は学習データの不足から「教えてください。」などの表現を含む文に非常に高いスコアを与えるよう過学習している。回答生成との同時学習や疑似ラベルを活用することで, データ不足を補い，より正しく重要文を同定できたと考えられる.

## 6 関連研究

半教師あり学習を用いた文書要約に関する研究 (Amini and Gallinari 2002; Wong, Wu, and Li 2008; Li and Li 2014)はこれまでにも取り組まれている. 小規模なラベル付きデー夕と大規模なラベルなしデータを用いる手法が一般的である。本稿で着目する設定では大規模データ側が質問－回答というぺア構造を持つ点が既存研究と異なる.

同時学習の研究についても翻訳，対話，関係抽出に関するサーベイ論文 (Ruder 2017) が発表されるなど, 近年活発に研究されている。要約課題向けの同時学習手法としては, Guo ら (Guo, Pasunuru, and Bansal 2018) は生成型文書要約器を文のアラインメントや質問生成タスクと同時学習する手法を提案した。また, 文圧縮と依存構造解析 (Kamigaito, Hayashi, Hirao, and Nagata 2018), 抽出型文書要約と修辞構造理論に基づく談話構造解析 (Mann and Thompson 1988; Ishigaki, Kamigaito, Takamura, and Okumura 2019) など, 要約とテキストの構造解析を同時学習する手法についても取り組まれている。これらはメインのタスクとなる要約については，大規模なラベル付きデータを使用している，我々は，ラベル付きデータが大規模に獲得できない状況を想定するため，設定が異なる. Isonuma ら (Isonuma, Fujino, Mori, Matsuo, and Sakata 2017) の抽出型要約とテキスト分類を同時学習する手法は, テキストに付与されたカテゴリ情報を自動獲得し活用する点が我々の手法に近いが，我々の想定するユーザが自由に投稿できる CQA では良質なメタデータの獲得が難しい. Angeldisら (Angelidis and Lapata 2018) による Amazon レビューを対象とした意見要約と Aspect Extraction や極性判定との同時学習も本研究に関連する。この課題はユーザ投稿型のテキストデータを対象とする点で我々の設定と近いが, 補助的なタスクとして用いている Aspect Extraction や極性判定はニューラルネットワーク以前の意見要約研究 (Hu and Liu 2004) において要約モデルのサブタスクとして取り組まれている。そのため, これらの同時学習はその有効性は比較的明らかであるが, 我々の提案する回答生成との同時学習は従来似たような設定に取り組まれたことはなく, 必ずしもその有効性が明らかではない.

要約研究とぺア構造を組み合わせる研究も存在する. Chen ら (Chen, Wu, Wang, and Ding 2018) は質問応答システムの質問－応答ぺアを要約の評価に用いた. 我々の研究では質問－回答ペアを学習時に用いることから設定が異なる. Arumae と Liu (Arumae and Liu 2018)は強化学習モデルの学習時に用いる報酬を質問－応答対を手がかりに設計した. 穴埋め形式の質問を用いることから本研究にはそのまま適用できない. Gao ら (Gao, Chen, Li, Ren, Bing, Zhao, and Yan 2019) は記事とそれに対するユーザのコメントを入力とする要約モデルを提案した. 記事-コメントというぺア構造を考慮する点が我々の設定と近いが，同時学習する我々のモデルとは異なり，Gao らのモデルは記事－コメントペアを入力とするマルチモーダル要約設定である。なお，我々のモデルは質問一回答ペアを学習時にのみ用い，評価時には用いない。よって,
原文書に加え，補助的な入力を想定するマルチモーダルな設定とは異なる.

質問を入力とする要約モデルという観点からは，本研究はクエリ指向要約 (Liu, Li, Cao, Lin,

Han, and Yu 2008; Morita, Sakai, and Okumura 2011; Chan, Zhou, Wang, and Chua 2012; Ishigaki, Huang, Takamura, Chen, and Okumura 2020)とも関連する.この設定においては, 原文書に加え単語列もしくは質問文をクエリとして与え，要約器はその答えをより含めるような要約を出力する．質問応答システムとは異なり，要約モデルは必ずしもクエリに対し回答する必要はなく，あくまで原文書から得られる情報のみを用いて要約を出力する．クエリ指向要約も原文書に加え，補助的な入力を想定するマルチモーダル要約の一種と考えられ，原文書のみを入力とする本研究の設定とは異なる.

CQAから抽出したデータを用いる研究も多く存在する。例えば, 質問応答システム (Surdeanu, Ciaramita, and Zaragoza 2008; Celikyilmaz, Thint, and Huang 2009; Bhaskar 2013), 類似質問検索 (Lei, Joshi, Barzilay, Jaakkola, Tymoshenko, Moschitti, and Màrquez 2016; Romeo, Da San Martino, Barrón-Cedeño, Moschitti, Belinkov, Hsu, Zhang, Mohtarami, and Glass 2016; Nakov, Hoogeveen, Màrquez, Moschitti, Mubarak, Baldwin, and Verspoor 2017) や質問生成 (Heilman and Smith 2010) がある. CQA から抽出したデータを用いた要約研究として, Tamura ら (Tamura, Takamura, and Okumura 2005) は複数文質問を受け付ける質問応答システムの性能を向上させるために，もっとも核となる文を抽出する手法を提案した. Higurashi ら (Higurashi， Kobayashi, Masuyama, and Murao 2018) は “learning-to-rank”により質問から重要な部分文字列を抽出する手法を提案した。これらの手法は質問要約課題に取り組んでいるが，人手作成されたアノテーションデータのみを用いる点で我々の設定と異なる。また, Ishigaki ら (Ishigaki, Takamura, and Okumura 2017) は CQA に投稿される長文質問を対象とし, 抽出型および生成型のモデルを比較した. この研究ではユーザが質問に対し見出しを付与することを想定しており，本研究が見出しを含まない設定を想定する点で異なる.

Distant Supervision の研究も多く存在する. Mintz ら (Mintz et al. 2009) は FreeBase (Bollacker, Evans, Paritosh, Sturge, and Taylor 2008)に格納されたエンティティの情報を用いて，テキストに関係抽出課題向けの情報を自動的にアノテーションする手法を提案した。その他にも，顔文字を極性分類問題向けのデータ作成に活用する手法 (Go et al. 2009), Wikipedia に付与されたトピックラベルを用いてブログに対し分類ラベルを付与する手法 (Husby and Barbosa 2012) など多く存在する。要約研究向けには, Nallapati ら (Nallapati et al. 2017) や Chen と Lapata (Cheng and Lapata 2016) が CNN/DailyMail データセットに含まれるハイライト（記者が記述した箇条書きの要約）を手がかりに，要約に含めるべき文を自動アノテーションした.我々の設定ではハイライトや見出しなど人手作成された要約がなく, これらの手法を直接適用することはできない.

## 7 おわりに

本研究では抽出型質問要約課題に対し, 質問－回答ペアを活用する半教師あり学習の枠組みを新たに提案した，また，サンプリング法およびDistant Supervision に基づく疑似ラベルを利用した学習法も提案した，実験より，文抽出器と回答生成器を同時学習するモデルを適切なサンプリング法や Distant Supervision による疑似ラベル付与手法と併せて用いることで，特に人手によるラベル付きデータが小規模な場合に良い性能を示すことが確かめられた.

本研究は半教師あり学習に基づく自然言語処理モデルに対し, ペア構造を活用する枠組みを新たに提案したものと捉えることができる. 今後の方向として, 例えば, 記事-コメント対, 発話－応答対など, ペア構造を持ったデータに幅広く応用できる可能性がある.

さらに，関係抽出課題などで成果を上げている Distant Supervision によるデータ作成手法を要約研究に新たに応用し有効性を示した。単一文を選択するタスクに対し, 抽出したい文と類似する事例を大量に獲得する情報源を考えることで，他の言語処理タスクにも幅広く応用できる可能性がある，例えば，有害な情報を含む文を選択する課題に対し，検出したい文と類似する特徴を持つ文をウェブ上から大量に獲得するなどの方針が考えられる．このように，ラベル付きデータの獲得が困難な多くの言語処理課題に対し，疑似ラベルを活用することで大規模な機械学習モデルの適用範囲を広げられる可能性がある。

## 謝 辞

本稿は ECIR2020 に採録済みの 2 論文 (Ishigaki, Machida, Kobayashi, Takamura, and Okumura 2020; Machida, Ishigaki, Kobayashi, Takamura, and Okumura 2020), 情報処理学会自然言語処理研究会および言語処理学会全国大会にて発表済みの 2 論文 (石垣, 町田, 小林, 高村, 奥村 2018; 町田，小林，高村，奥村 2019）を基にしたものです. 最後に，査読者様およびご担当編集委員様の丁寧な御査読と有益なコメントに感謝申し上げます.

## 参考文献

Amini, M.-R. and Gallinari, P. (2002). "The Use of Unlabeled Data to Improve Supervised Learning for Text Summarization." In Proceedings of the 25th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2002), pp. 105-112. Association for Computational Machinery.

Angelidis, S. and Lapata, M. (2018). "Summarizing Opinions: Aspect Extraction Meets Sentiment Prediction and They Are Both Weakly Supervised." In Proceedings of the 2018 Confer-
ence on Empirical Methods in Natural Language Processing (EMNLP 2018), pp. 3675-3686. Association for Computational Linguistics.

Arumae, K. and Liu, F. (2018). "Reinforced Extractive Summarization with Question-Focused Rewards." In Proceedings of 56th Annual Meeting of the Association for Computational Linguistics (ACL2018) Student Research Workshop, pp. 105-111. Association for Computational Linguistics.

Bhaskar, P. (2013). "Answering Questions from Multiple Documents - the Role of MultiDocument Summarization." In Proceedings of the Recent Advances in Natural Language Processing 2013 (RANLP2014) Student Research Workshop, pp. 14-21.

Bollacker, K., Evans, C., Paritosh, P., Sturge, T., and Taylor, J. (2008). "Freebase: A Collaboratively Created Graph Database for Structuring Human Knowledge." In Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data (SIGMOD2008), pp. 1247-1250. Association for Computational Machinery.

Celikyilmaz, A., Thint, M., and Huang, Z. (2009). "A Graph-based Semi-Supervised Learning for Question-Answering." In Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing (ACL-IJCNLP2009), pp. 719-727.

Chan, W., Zhou, X., Wang, W., and Chua, T.-S. (2012). "Community Answer Summarization for Multi-Sentence Question with Group L1 Regularization." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (ACL 2012), pp. 582-591. Association for Computational Linguistics.

Chen, P., Wu, F., Wang, T., and Ding, W. (2018). "A Semantic QA-Based Approach for Text Summarization Evaluation." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, (AAAI-18), pp. 4800-4807. AAAI Press.

Cheng, J. and Lapata, M. (2016). "Neural Summarization by Extracting Sentences and Words." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), pp. 484-494. Association for Computational Linguistics.

Erkan, G. and Radev, D. R. (2004). "LexRank: Graph-based Lexical Centrality As Salience in Text Summarization." Journal of Artificial Intelligence Research (JAIR), 22 (1), pp. 457-479.

Gao, S., Chen, X., Li, P., Ren, Z., Bing, L., Zhao, D., and Yan, R. (2019). "Abstractive Text Summarization by Incorporating Reader Comments." In Proceedings of the 33rd AAAI Conference on Artificial Intelligence (AAAI-19), pp. 6399-6406. AAAI Press.

Go, A., Bhayani, R., and Huang, L. (2009). "Twitter Sentiment Classification using Distant

Supervision." In Stanford Technical Report.

Gong, Y. and Liu, X. (2001). "Generic Text Summarization Using Relevance Measure and Latent Semantic Analysis." In Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR2001), pp. 19-25.

Guo, H., Pasunuru, R., and Bansal, M. (2018). "Soft Layer-Specific Multi-Task Summarization with Entailment and Question Generation." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), pp. 687-697. Association for Computational Linguistics.

Heilman, M. and Smith, N. A. (2010). "Good Question! Statistical Ranking for Question Generation." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT 2010), pp. 609-617. Association for Computational Linguistics.

Higurashi, T., Kobayashi, H., Masuyama, T., and Murao, K. (2018). "Extractive Headline Generation Based on Learning to Rank for Community Question Answering." In Proceedings of the 27th International Conference on Computational Linguistics (COLING 2018), pp. 1742-1753. Association for Computational Linguistics.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Hu, M. and Liu, B. (2004). "Mining and Summarizing Customer Reviews." In Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’04, pp. 168-177, New York, NY, USA. Association for Computing Machinery.

Husby, S. D. and Barbosa, D. (2012). "Topic Classification of Blog Posts using Distant Supervision." In Proceedings of the Workshop on Semantic Analysis in Social Media, pp. 28-36.

Ishigaki, T., Huang, H.-H., Takamura, H., Chen, H.-H., and Okumura, M. (2020). "Neural Query-Biased Abstractive Summarization Using Copying Mechanism." In 42nd European Conference on Information Retrieval (ECIR2020), pp. 174-181. Springer.

Ishigaki, T., Kamigaito, H., Takamura, H., and Okumura, M. (2019). "Discourse-Aware Hierarchical Attention Network for Extractive Single-Document Summarization." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 497-506, Varna, Bulgaria. INCOMA Ltd.

石垣達也，町田和哉，小林隼人，高村大也，奥村学 (2018). Distant Supervision による質問要約. 情報処理学会第 236 回自然言語処理研究会 (NL236), pp. 1-5.

Ishigaki, T., Machida, K., Kobayashi, H., Takamura, H., and Okumura, M. (2020). "Distant Supervision for Question Summarization." In Proceedings of The 42nd annual European

Conference on Information Retrieval (ECIR2020), pp. 182-189.

Ishigaki, T., Takamura, H., and Okumura, M. (2017). "Summarizing Lengthy Questions." In Proceedings of the 8th International Joint Conference on Natural Language Processing (IJCNLP 2017), pp. 792-800. Asian Federation of Natural Language Processing.

Isonuma, M., Fujino, T., Mori, J., Matsuo, Y., and Sakata, I. (2017). "Extractive Summarization Using Multi-Task Learning with Document Classification." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP 2017), pp. 2101-2110. Association for Computational Linguistics.

Kamigaito, H., Hayashi, K., Hirao, T., and Nagata, M. (2018). "Higher-Order Syntactic Attention Network for Longer Sentence Compression." In Proceedings of 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL2018), pp. 1716-1726.

Kikuchi, Y., Hirao, T., Takamura, H., Okumura, M., and Nagata, M. (2014). "Single Document Summarization based on Nested Tree Structure." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL2014), Vol. 2, pp. 315-320.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In International Conference on Learning Representations (ICLR2015).

Kusner, M., Sun, Y., Kolkin, N., and Weinberger, K. (2015). "From Word Embeddings To Document Distances." In Proceedings of the 32nd International Conference on Machine Learning (ICML 2015), Vol. 37, pp. 957-966. PMLR.

Lei, T., Joshi, H., Barzilay, R., Jaakkola, T., Tymoshenko, K., Moschitti, A., and Màrquez, L. (2016). "Semi-supervised Question Retrieval with Gated Convolutions." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2016), pp. 1279-1289. Association for Computational Linguistics.

Li, C., Qian, X., and Liu, Y. (2013). "Using Supervised Bigram-based ILP for Extractive Summarization." In Proceedings of 51st Annual Meeting of the Association for Computational Linguistics (ACL2013), pp. 1004-1013.

Li, Y. and Li, S. (2014). "Query-focused Multi-Document Summarization: Combining a Topic Model with Graph-based Semi-supervised Learning." In Proceedings of the 25th International Conference on Computational Linguistics (COLING 2014), pp. 1197-1207. Dublin City University and Association for Computational Linguistics.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Proceedings of ACL2004 Workshop, pp. 74-81.

Liu, Y., Li, S., Cao, Y., Lin, C.-Y., Han, D., and Yu, Y. (2008). "Understanding and Summarizing Answers in Community-Based Question Answering Services." In Proceedings of the 22nd International Conference on Computational Linguistics (COLING 2008), pp. 497-504. Coling 2008 Organizing Committee.

Luhn, H. P. (1958). "The Automatic Creation of Literature Abstracts." IBM Journal of Research Development, 1 (2), pp. 159-165.

Luong, M.-T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015), pp. 1412-1421. Association for Computational Linguistics.

Machida, K., Ishigaki, T., Kobayashi, H., Takamura, H., and Okumura, M. (2020). "Semisupervised Extractive Question Summarization Using Question-Answer Pairs." In Proceedings of the 42nd annual European Conference on Information Retrieval (ECIR2020), pp. 255-264. Springer International Publishing.

町田和哉，小林隼人，高村大也，奥村学 (2019). 質問-回答対を利用した半教師有り抽出型質問要約. 言語処理学会第 25 回年次大会 (NLP2020), pp. 1551-1554.

Mann, W. C. and Thompson, S. A. (1988). "Rhetorical Structure Theory: Toward a Functional Theory of Text Organization." Text-Interdisciplinary Journal for the Study of Discourse, $\mathbf{8}$ (3), pp. 243-281.

Mihalcea, R. and Tarau, P. (2004). "TextRank: Bringing Order into Text." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP2004), pp. 404-411.

Mintz, M., Bills, S., Snow, R., and Jurafsky, D. (2009). "Distant Supervision for Relation Extraction without Labeled Data." In Proceedings of the Joint Conference of the 47th Annual Meeting of the Accociation of Computational Linguistics and the 4th International Joint Conference on Natural Language Processing (ACL-IJCNLP2009), pp. 1003-1011.

Morita, H., Sakai, T., and Okumura, M. (2011). "Query Snowball: A Co-occurrence-based Approach to Multi-document Summarization for Question Answering." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies (ACL-HLT 2011), pp. 223-229. Association for Computational Linguistics.

Naik, S. S. and Gaonkar, M. N. (2017). "Extractive Text Summarization by Feature-based Sentence Extraction using Rule-based Concept." In 2017 2nd IEEE International Conference on Recent Trends in Electronics, Information Communication Technology (RTEICT), pp. 1364-1368.

Nakov, P., Hoogeveen, D., Màrquez, L., Moschitti, A., Mubarak, H., Baldwin, T., and Verspoor, K. (2017). "SemEval-2017 Task 3: Community Question Answering." In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 27-48. Association for Computational Linguistics.

Nallapati, R., Zhai, F., and Zhou, B. (2017). "SummaRuNNer: A Recurrent Neural Network Based Sequence Model for Extractive Summarization of Documents." In Proceedings of the 31st AAAI Conference on Artificial Intelligence (AAAI 2017), pp. 3075-3081. AAAI Press.

NII (2018). "Yahoo! Chiebukuro data (2nd edition)." https://www.nii.ac.jp/dsc/idr/en/yahoo/.

Romeo, S., Da San Martino, G., Barrón-Cedeño, A., Moschitti, A., Belinkov, Y., Hsu, W.-N., Zhang, Y., Mohtarami, M., and Glass, J. (2016). "Neural Attention for Learning to Rank Questions in Community Question Answering." In Proceedings of the 26th International Conference on Computational Linguistics (COLING 2016), pp. 1734-1745. The COLING 2016 Organizing Committee.

Ruder, S. (2017). "An Overview of Multi-Task Learning in Deep Neural Networks." CoRR, abs/1706.05098.

Surdeanu, M., Ciaramita, M., and Zaragoza, H. (2008). "Learning to Rank Answers on Large Online QA Collections." In Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies (ACL-HLT 2008), pp. 719-727. Association for Computational Linguistics.

Tamura, A., Takamura, H., and Okumura, M. (2005). "Classification of Multiple-Sentence Questions." In Proceedings of the 2nd International Joint Conference on Natural Language Processing (IJCNLP 2005), pp. 426-437. Springer-Verlag Berlin Heidelberg.

Wong, K.-F., Wu, M., and Li, W. (2008). "Extractive Summarization Using Supervised and SemiSupervised Learning." In Proceedings of the 22nd International Conference on Computational Linguistics (COLING 2008), pp. 985-992. Coling 2008 Organizing Committee.

## 略歴

石垣達也：2014 年東京工業大学総合理工学研究科博士前期課程修了。同年,同大学博士後期課程（2018 年 9 月から 3 ヶ月間は国立台湾大学にて研究）. 2019 年, 同大学科学技術創成研究院研究員. 同年 9 月, 博士 (工学) 学位取得. 2020 年 4 月より産総研特別研究員, 現在に至る. 専門は自然言語処理.言語処理学会, 情報処理学会各会員.

町田和哉：2017 年群馬大学理工学部情報理工学科卒業. 2019 年東京工業大学大学院情報通信系情報通信コース修了. 2019 年から株式会社リクルートホー

ルディングスにてデータ分析業務に従事.

小林隼人：2010 年東北大学大学院情報科学研究科博士後期課程修了. 同年より 2013 年まで株式会社東芝研究開発センター勤務. 2013 年よりヤフー株式会社 Yahoo! JAPAN 研究所勤務, 2017 年より理化学研究所 AIP センター勤務 (部分出向・客員研究員), 現在に至る. 専門は自然言語処理・機械学習.博士（情報科学).

高村大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウィーン工科大学にて研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)。2003 年から 2010 年まで東京工業大学精密工学研究所助教. 2006 年にはイリノイ大学にて客員研究員. 2010 年から 2016 年まで同准教授. 2017 年より同教授および産業技術総合研究所人工知能センター知識情報研究チー ム研究チーム長. 計算言語学, 自然言語処理を専門とし, 特に機械学習の応用に興味を持つ。

奥村学：1962 年生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授, 2009 年同教授, 現在は, 科学技術創成研究院教授. 工学博士. 自然言語処理, 知的情報提示技術, 語学学習支援, テキスト評価分析，テキストマイニングに関する研究に従事．情報処理学会, 電子情報通信学会, 人工知能学会, AAAI, ACL, 認知科学会, 計量国語学会各会員.

$(2020$ 年 5 月 1 日 $\quad$ 受付 $)$
$(2020$ 年 7 月 31 日 $\quad$ 再受付 $)$
$(2020$ 年 9 月 9 日 $\quad$ 採録)