# クエリ指向要約におけるクエリと要約の統合的な生成

服部翔 Youmi Ma 岡崎直観
東京工業大学
\{kakeru.hattori@nlp.,youmi.ma@nlp.,okazaki@\}c.titech.ac.jp

## 概要

クエリ指向要約は，ある特定のクエリ（質問）に 対して要約を生成するタスクである。しかし実際に は，ユーザが未知の文書に対してクエリを考えるこ とは難しい，そこで本研究では，クエリ指向要約の 発展形として，クエリも含めて自動生成するクエリ 推薦付き要約を提案し，具体的なタスクと評価方法 の設計を行う．次に，設計したタスクに対し，文書 の特定の部分（スパン）からクエリ・要約を生成す る手法などを提案する。実験では，スパンやそれに 代わる機構が多様なクエリの生成に有効だが，スパ ンの予測精度が全体のボトルネックとなることを確認する。また，文書の不要な部分を事前に予測して 除去する手法も提案し，その有効性を実証する。

## 1 はじめに

自動要約のタスク設定の 1 つとして，クエリ指向要約（Query-Focused Summarization）[1] がある.ク エリ指向要約では，ある特定のトピック・内容に関 するクエリ（質問）が与えられ，そのクエリに対す る要約を生成する。ユーザ（読者）の興味や疑問に 合わせてクエリを与えることで，議事録のような長 い文書に対しても，ユーザが真に求める情報を要約 として的確に提供できる.

一方，クエリ指向要約の既存研究では，クエリが 事前に与えられることを前提としている. しかし実際には，ユーザが内容を知らない文書に対してクエ リを考えることは難しい。もし，システムが与えら れた文書に対して適切なクエリを推薦できれば，こ の課題を解決できる．例えば，ウェブ検索エンジン などではクエリ推薦機能の提供例1) があるなど，社会的な需要も高いと見込まれる2).

そこで本稿では，クエリ指向要約を発展させた研

1）海外の Google 検索では People Also Ask と呼ばれる機能に 対応する．日本でも「他の人はこちらも質問」として，近年表示されるようになった.

2）いわゆる FAQなども，身近なクエリ推薦の一種である.

図1クエリ推薦付き要約

究として，クエリの推薦と対応する要約の統合的な 生成，すなわちクエリ推薦付き要約を提案する。ク エリ推薦付き要約では，与えられた文書の重要な卜 ピックや内容の把握に役立つクエリと，対応する要約のペアを複数生成し，それら全体をユーザに提供 する（図 1)。大力としてクエリが与えられる既存の クエリ指向要約とは異なり，クエリ推薦付き要約で は，クエリも含めて全て自動生成する。

クエリ推薦付き要約は，ユーザが興味を持ちそう なクエリと，その特定のトピックに詳しく踏み込ん だ内容の要約のペアを複数生成するため，ユーザが 真に求める情報や，文書の重要な内容を網羅すると 期待される。また，要約全体がクエリと要約のペア の集合という形で構造化されるとともに，ユーザが 自分の興味に合わせて要約の一部を選択的に読むこ とができるため，可読性の観点でもユーザ・エクス ペリエンスが向上する.

本研究の主な貢献は以下の通りである.

・クエリ推薦付き要約の自動生成タスクを定義 し，生成したクエリと要約の集合全体を適切に 評価するための評価指標を設計・選定した。
- 文書の特定の区間（スパン）に着目してクエリ 推薦付き要約を生成する手法などを提案した。実験では，スパンやそれに代わる機構が多様な クエリ生成に重要であることを確認した。

・スパンを明示的に指定する手法では，スパンの 予測精度の低さがクエリ・要約の生成精度のボ トルネックとなっていることを確認した。

・事前に文書の不要な部分を予測し，除去してか らスパンを指定して生成することで，クエリ・要約の生成精度が向上することを確認した。

## 2 本研究で取り組むタスク

## 2.1 使用するデータセット（QMSum）

本研究では，データセットとして QMSum [2]を使用する. QMSum はマルチドメインの議事録を対象 にした, クエリ指向要約向けの英語のデータセット であり, 232 件の会議と 1,802 件のクエリ・要約の組 を収録している. 各会議に対する複数のクエリは, その会議の重要なトピックをカバーしているとされ る.また，各クエリに関連するスパン（文書の特定 の一部分）がターン33) 単位で注釈付けされている.

## 2.2 タスクの目的

本研究の目的は，1 節で提案したクエリ推薦付き 要約として適切なクエリ・要約の組の集合を生成す ることである. その際，クエリ・要約の組の集合が 満たすべき性質として，以下の 2 つを考慮したい.

・多様なクエリで構成されている。

・文書の重要な内容を網羅的にカバーしている.

「多様なクエリ」とはクエリ同士の語彙的な重複 や意味的な重複が少ないことを意味する。一方，「文書の重要な内容を網羅的にカバー」するという のは, 本質的には一意に解が定まらない難しい問題 であるが，今回は用いるデータセット（QMSum）に 収録されているクエリが，重要なトピックをカバー する良いクエリであるとされている [2]ことから， データセットのクエリと要約の組の集合をそのまま 全て再現することを本研究の目標とする。

## 2.3 タスクの定義

前述の目的を踏まえ，具体的な生成タスクを 次のように定義・設計する。 ある文書 $D$ に対し て, $K$ 個のクエリ・要約の組で構成される集合 $S=\left.\{\left(q_{1}, a_{1}\right),\left(q_{2}, a_{2}\right), \cdots,\left(q_{K}, a_{K}\right)\right.\}$ を生成する. 1 つの文書 $D$ に対し, 生成目標はデータセットで用い られた全てのクエリ・要約の組とする。また，その 個数 $K$ は定数として事前に与えるものとする.

## 2.4 タスクの評価方法

前述の目的を踏まえ，生成したクエリ・要約の組 の集合を，(i) 多様性と (ii) 内容一致性の 2 つ側面 で評価する. 具体的な評価指標は 4.1 節で記述する.


図 2 SegEnc (Fusion-in-Decoder) のアーキテクチャ

図 3 スパンを指定する手法による生成

## 3 クエリ推薦付き要約の自動生成

文書からクエリや要約を生成する際には， Transformer [3] をべースとした seq2seq モデルを用 いる. 本研究では特に, Fusion-in-Decoder $[4,5,6]$ のアーキテクチャを取り入れ，QMSumのクエリ 指向要約タスクで最先端の性能を達成している SegEnc [7] を主に採用する. SegEnc は図 2 のように 入力文を一定の長さでチャンクとして分割し, 別々 のエンコーダに入力したものをデコーダ側で結合す る. また, シーンに応じて各チャンク共通の適切な 接頭辞を入力に追加することで効果的な文生成を実現している. 本稿では, SegEncを用いたクエリや要約の生成手法として，以下の 2 つを検討する。

## 3.1 文書全体を入力する手法

まず，クエリ生成器に文書全体と生成するクエリ 数4)を入力として与え，クエリの集合を区切り文字 で繋いだ文字列として一括で生成する. その後，要約生成器に文書全体と生成したクエリの 1つを入力 として与え，対応する要約を個別に生成する。

## 3.2 スパンを指定する手法

文書全体ではなく，特定の区間（スパン）を入力 として，クエリや要約を個別に生成する. 図 3 に示 すように，同じ文書内でも毎回異なるスパンを与 え，入力情報を差別化することで，同一の文書に対 して複数の異なるクエリ・要約を容易に生成できる ようになる。また，クエリ・要約生成の際に明示的 にスパンを指定するため，生成結果に対する説明性 の向上も期待できる.

4）ただし，生成するクエリの個数は完全には制御できない.

1 つの文書に対して複数のクエリ・要約の組を生成する際に，互いに異なるスパンをどのように指定 するかは難しい問題であるが，本稿ではシンプルな 方法として，均等割り当てを検討する。これは，図 3 のように文書全体にスパンを均等に割り当てると いうものである．単純ではあるが，文書全体を力 バーするスパンから，文書の内容を広くカバーする クエリ・要約の生成が期待できる.

ターン・フィルタ 前述の均等割り当てに対する 工夫として，ターン・フィルタを検討する。これ は，文書内のあまり重要ではないターンを事前に予測し，文書から除去することで，スパンの予測精度向上を目指すものである．具体的には，データセッ トで文書にアノテートされている複数のクエリに対応するスパンに 1 つでも含まれているターンを 1 ， そうでないターンを 0 とラベル付けした教師デー タを準備し，文書の各ターンを二値分類する．その 後，0 とラベル予測したターンの一部を除去して， スパン指定を行う．実際には，BIO 記法 [8] を採用 し, 単語ごとに BIO のラベルを予測する分類器を構築し，ターンに含まれる全ての単語の予測ラベルの 多数決でターンのラベルを決定する。

## 4 実験

提案手法の性能を検証するため，クエリ推薦付き 要約の自動生成を QMSum [2] 上で実験した. 基本的に，クエリ・要約は SegEnc で「クエリ $\rightarrow$ 要約」の 順で生成し，ターン・フィルタは無効とした。

スパン指定の有無 文書全体を入力する手法と均等割り当てでスパンを指定する手法との性能を比較 し，スパン指定がクエリ・要約の生成に与える影響 を検証したい。また本項目では，SegEncに加えて LED-large[9]をクエリ生成器とした場合も実験し, モデル構造とクエリの多様性の関係についても検証 した.

ターン・フィルタの有無 均等割り当てにおけ るターン・フィルタの有効性を検証したい．また， ターン・フィルタを有効・無効にした場合に加え， データセットの正解のスパンを与えた場合も比較 し，スパンの予測精度がクエリ・要約の性能に与え る影響について検証した。

クエリ・要約の生成方法 スパンを指定する手法 において，クエリ・要約の生成順序や方法の違いが もたらす影響について調査したい。具体的には「ク エリ $\rightarrow$ 要約」「要約 $\rightarrow$ クリ」「クエリ＋要約」「要約十クエリ」の 4 通りを検証した. 最初の 2 つは個別の生成器でクエリ・要約を順に生成するが, 生成順序を入れ替える. 残りの 2 つは 1 つの生成器でク エリ・要約の組を一括で生成するが，生成目標の順序を入れ替える。

## 4.1 評価指標

本稿では，スパンの重複度・クエリの多様性・ク エリと要約の内容一致性を文書単位で評価する。

Span-F1 スパンをターン番号の配列とみなし，正解のスパン $K$ 個と生成したスパン $K$ 個との間の 全てのペア $K^{2}$ 個について，重複度を $\mathrm{F} 1$ スコアで評価する。そしてスコアが高いぺアの組み合わせを最大二部マッチングで決定し，それらのペアの F1 ス コアの平均値を最終スコアとする.

distinct-n 生成したクエリ $K$ 個の間の語彙多様性を評価する指標として Li ら [10] が使用した distinct-nを導入する. distinct-n は $K$ 個のクエリに含 まれる [n-gram の種類数] / [n-gram の総数] で定義さ れる。本稿では $\{1,2\}$-gram について算出する.

ROUGE 正解および生成したクエリ・要約と の一致度を ROUGE-\{1,2,L(sum)\} [11] で評価する. Span-F1 と同様の要領でペアを決定し ${ }^{5)}$, それらのス コアの平均値を報告する。なおクエリについては， QMSum のスキーマ部分の一致を過剩に評価しない ようにするため，事前にルールに基づいてスキーマ 部分を除去し，ROUGEを計算する（付録 B 参照）.

## 4.2 実験結果

実験結果を表 1 と 2 に示す. 提案手法は，適切な スパン指定もしくはモデル構造によって，1つの文書に対して多様なクエリを提示し，それらに対する 要約を生成できた．また，クエリ・要約の内容に関 する精度も一定の水準に達したが，こちらは今後よ り改善の余地があると思われる．詳細な結果を以降 で分析する。なお，具体的な生成例は，本研究で制作したデモサイト6) 上で公開している.

スパン指定の有無 表 1 の2〜5行目に示すよう に，スパンを指定する手法での distinct-n は，クエリ 生成器が SegEnc・LED-large いずれの場合も，デー タセットの正解のクエリ（ $0.49,0.73 ）$ には及ばない が，一定水準の語彙多様性を達成した。一方で文書全体を入力する手法での distinct-n は， SegEnc の場
(\mathrm{sum})\}$ の平均値とする.

6) https://qss-demo.vercel.app/
}
表 1 スパン指定およびターン・フィルタの有無による性能の比較

表 2 クエリ・要約の生成方法による性能の比較

合は極端に高く，正解のクエリすら上回ったのに対 し，LED-large の場合は極端に低く，実際にはほぼ 同じクエリの反復となっていた. SegEnc は 3 節で 述べたようなモデル構造によって，明示的なスパン が無くても，実質的に均等割り当てに近い方法で文書の一部分に着目しているといえるが，LED-large には同様の機構が存在しない.これらの結果から，文書の特定の区間に着目する何らかの機構が多様な クエリの生成に重要ではないかと考えられる。ただ し，クエリ・要約の ROUGE にはいずれも明確な優劣関係が確認できなかったことから, 多様なクエリ であっても内容的に良いクエリ・要約の組が生成で きているとは限らない. 多様性と内容面での精度向上の両立は今後の課題である.

ターン・フィルタの有効性 表 1 の 5,6 行目に示 すように，ターン・フィルタを有効にした場合は， クエリの語彙多様性はわずかに低下したものの，ス パン・クエリ・要約の予測・生成精度は全面的に向上し, 本稿の提案手法の中では概ね最良のスコアが 得られた. スパンの予測精度向上に伴い，クエリ・要約を生成する精度も改善されたと考えられ，ター ン・フィルタの有効性が確認できた．ただし，表 1 の 1 行目に示すように, 正解のスパンを与えた場合 のクエリ・要約の ROUGE は他よりも大幅に高く, スパン予測の精度の低さがクエリ・要約生成のボト ルネックであることが示唆される。より適切なスパ ンの推定手法，およびスパンを指定しない生成手法 を構築することは，今後の課題である.

クエリ・要約の生成方法の影響 表 2 に示すよう に，クエリの distinct-n はクエリを先に生成する方法 (「クエリ $\rightarrow$ 要約」「クエリ+要約」) と要約を先に生成する方法（「要約ークエリ」「要約+クエリ」）で 大幅な差があり，後者の方が高い結果となった. ま た，クエリの ROUGE はいずれも「クエリ+要約」が 最も高い結果となった. このように生成方法はクエ リの生成に影響を与え，特に生成順序がクエリの語彙多様性に大きな影響をもたらすことがわかった.一方で, 要約の ROUGE は手法間での差が小さく, クエリの ROUGE との相関も確認できなかった.

## 5 おわりに

本稿では，クエリ指向要約の発展形として，クエ リも含めて自動生成するクエリ推薦付き要約を提案 し，具体的なタスクと評価方法の設計を行った. 次 に，設計したタスクに対して，文書全体を入力する 手法およびスパンを指定する手法を提案し，実験で は文書の特定の区間に着目する機構が多様なクエリ 生成に重要であることがわかった。また，スパンを 指定する手法では, 文書の不要な部分を事前に除去 することで，スパンの予測精度やクエリ・要約の生成精度が向上した. ただし，スパンの予測精度は依然として低く, クエリ・要約生成のボトルネックと なることが示唆された. さらに，クエリと要約の生成方法について検証し, 主に生成の順序がクエリの 語彙多様性に大きな影響を与えることがわかった。

今後は，クエリ・要約の組の多様性と内容面の向上の両立のため，より高度なスパンの推定手法，お よびスパンを指定しない生成手法の構築を検討した い.また，日本語を含めたデータセットの作成，よ り良いクエリ推薦付き要約の評価指標, 要約の可読性の定量的な評価方法についても研究を進めてゆき たい.

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため のマルチモーダル情報の外部制御可能なモデリング の研究開発」(課題 225）により得られたものです.

## 参考文献

[1] Hoa Trang Dang. Overview of DUC 2005. In Proceedings of the document understanding conference, volume 2005, pp. 1-12, 2005.

[2] Ming Zhong, Da Yin, Tao Yu, Ahmad Zaidi, Mutethia Mutuma, Rahul Jha, Ahmed Hassan Awadallah, Asli Celikyilmaz, Yang Liu, Xipeng Qiu, and Dragomir Radev. QMSum: A new benchmark for query-based multi-domain meeting summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5905-5921, Online, June 2021. Association for Computational Linguistics.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[4] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering, 2020.

[5] Gautier Izacard and Edouard Grave. Distilling knowledge from reader to retriever for question answering, 2020

[6] Gautier Izacard, Fabio Petroni, Lucas Hosseini, Nicola De Cao, Sebastian Riedel, and Edouard Grave. A memory efficient baseline for open domain question answering, 2020.

[7] Jesse Vig, Alexander Fabbri, Wojciech Kryscinski, ChienSheng Wu, and Wenhao Liu. Exploring neural models for query-focused summarization. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1455-1468, Seattle, United States, July 2022. Association for Computational Linguistics.

[8] Lance Ramshaw and Mitch Marcus. Text chunking using transformation-based learning. In Third Workshop on Very Large Corpora, 1995.

[9] Iz Beltagy, Matthew E Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv preprint arXiv:2004.05150, 2020.

[10] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[11] Chin-Yew Lin. ROUGE: A package for automatic evalu- ation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[12] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

## A より詳細な実験設定

全ての実験では， 1 つの実験条件（生成モデル・方法・順序，スパンの指定方法，ターン・フィルタ の有無）に対して，seed 值を変更して 5 回ずつ実験 を行い，それらの平均值を結果として報告した。ま た, 事前学習済みモデルは HuggingFace ${ }^{7)}$ で公開され ているものを使用し, 微調整の際は, Huggingface の examples の実装コード8)を適宜改変した Python ファ イル・スクリプトファイルを使用した.

## A. 1 ターン・フィルタ

事前学習済みの Longformer-base [9]を微調整して モデルを作成した. QMSum の文書は非常に長いた め,一度にモデルに入りきらない場合は, 4,096Token ごとに区切って入力を行った. その際，Vig ら [7] の研究を参考に，入力区間は $50 \%$ オーバーラップさ せ，入力の端付近の予測をなるべく使わないように 配慮した. なお，モデルの予測に基づいて文書から ターンを除去する割合は最大でも文書全体の $25 \%$ と し，残すターンがなるべく連続した区間となるよう に実装した．また，割り当てるスパンのターン数自体は，同一の文書内で通常の均等割り当ての場合と 揃えることで，Span-F1 によるスパンの重複度評価 の公平性を保つこととした. このことにより，ター ン・フィルタを有効とした場合は, 通常の場合と異 なり，割り当てたスパン間で区間の重複が発生して いる.

## A. 2 クエリ・要約生成器の学習

割り当てたスパンのテキストから $\operatorname{SegEnc}[7] も$ しくは LED-large[9] でクエリ・要約を生成した. SegEnc は BART-large[12] をバックボーンモデルと し，チャンクサイズを 512 ，最大チャンク数を 32 ，入力のオーバーラップを $50 \%$ とした. LED-large は 入力長上限が 16,384 token のものを使用した。また 生成器は, データセットの正解のクエリ・要約およ び対応する関連スパンからクエリ・要約を予測する ように学習させた。なお，学習率は $5 \mathrm{e}-6$ ，エポック 数は 10 とした.

## B クエリ評価時のスキーマ除去

本稿では，生成したクエリを評価する際，QMSum のスキーマ部分の一致を過剩に評価することを防止するため，事前にルールベースでスキーマ部分 を除去した上で ROUGE を計算した。具体的には， QMSum の論文 [2] に記載がある 13 種類の Specific Query Schema List および，条件を緩めた独自定義の スキーマを，Python の正規表現ライブラリで検出 し，スキーマ部分以外のみを残すように置換した。 スキーマとその置換方法の一例を表 3 に示す.

## C 生成結果のデモサイト

本稿で提案した，クエリ推薦付き要約の自動生成 モデルの出力例を，ブラウザ上で簡単に確認できる Web サイトを制作した. サイトは以下の URL およ

https://qss-demo.vercel.app/

7) https://huggingface.co/

8) https://github.com/huggingface/transformers
 服部翔 Youmi Ma 岡崎直観 東京工業大学 \{kakeru.hattori@nlp.,youmi.ma@nlp.,okazaki@\}c.titech.ac.jp  