# Controlling Text Generation With Fiction-Writing Modes

Wenjie Zhong ${ }^{1,2}$, Jason Naradowsky ${ }^{1}$, Hiroya Takamura ${ }^{2}$, Ichiro Kobayashi ${ }^{2,3}$, Yusuke Miyao ${ }^{1,2}$
${ }^{1}$ The University of Tokyo, ${ }^{2}$ AIST, ${ }^{3}$ Ochanomizu University,
zvengin@is.s.u-tokyo.ac.jp
}

\begin{abstract}
We explore incorporating concepts from writing skills curricula into human-machine collaborative writing scenarios, focusing on adding writing modes as a control for text generation models. Using crowd-sourced workers, we annotate a corpus of narrative text paragraphs with writing mode labels. Classifiers trained on this data achieve an average accuracy of $\sim 87 \%$ on held-out data. We fine-tune a set of large language models to condition on writing mode labels, and show that the generated text is recognized as belonging to the specified mode with high accuracy.
\end{abstract
## 1 Introduction

Large-scale pre-trained language models (PLMs) have demonstrated a remarkable aptitude for generating text with an exceptional degree of fluency and structure [1], sparking renewed efforts to utilize them for the purpose of generating narrative fiction. Recent work has explored various ways of controlling PLMs, using sentiment [2], style [3], and even character information [4], in an attempt to cater the generated text to an author's intentions.

However, the aforementioned controls deal primarily with static attributes of text; an attribute like style is more synonymous with an entire author or book than with a single passage of text. Less attention has been paid to designing effective control factors for the real demands of human authors in collaborative writing settings, where authors typically exercise more dynamic control over their writing, at the sentence or paragraph level. Here we find inspiration from the creative writing literature, where the notion of a fiction writing mode is frequently presented as an important concept to consider when crafting narrative fiction.

A fiction-writing mode (also referred to as a rhetorical mode) is a particular manner of writing, encapsulating the focus, style, and pacing of the text (among other things) [5].

 \\

Figure 1 Example of expanding the Summary into stories using different writing Modes. The bold words imply the particular manner of expression in that mode. Dialogue focuses on the utterances spoken by characters, Action on the motion of characters, and Description on the depiction of characters or places.

Figure 1 illustrates how the same event can be described in different ways depending on the writing mode, using the three most common types, Dialogue, Action, and Description. Skilled authors proficiently use writing modes as a stylistic choice to engage readers and progress the narrative (see Section 2 for more detail). Thus, we expect to provide the fiction-writing mode to users to control the models to generate text with different styles.

To this end, we are faced with a challenge. To the best of our knowledge, there is no available dataset annotated with writing modes to train generation models. We create a Fiction wRIting moDE dataset (FRIDE dataset) containing 1,736 fiction paragraphs annotated by crowd-source workers with the three writing mode labels. Subsequently, we train a classifier on the FRIDE dataset and use it to anno-

Table 1 The number of instances for dialogue (Dia.), action (Act.), description (Des.), and uncertain (Unc.) modes in the dataset. Kappa is the inter-annotator agreement and Len.(std) is the average token number in each instance and its standard deviation.

tate paragraphs of a large fiction corpus in order to create a larger-scale dataset. Using the established paradigm of training conditional text generation models by summarizing and reconstructing text [6], the dataset is used to train models which can be conditioned on a writing mode label.

Through the automatic evaluation, we show: (1) the use of writing mode labels with conditional text generation models contributes to average 1.4 and 2.0 points improvements on ROUGE-L and BERTScore; (2) the writing modes of generated text are effectively controlled, and are classified as belonging to the target mode in $87.6 \%$ of cases.

## 2 Fiction-Writing Mode

Fiction-writing modes have long been proposed as a useful abstraction in the study of literature and creative writing [7, 5], dating as far back as Aristotle [8]. While there is no consensus on the categorization of writing modes, most sources prefer to introduce at least three modes: (1) Dialogue, direct quotation of characters speaking, (2) Action, an account of a series of events, one after another, chronologically, and (3) Description, a more detailed inspection of people, places, or things and their properties. These are the three major writing modes which are the focus of study in this paper.

Just as there is no agreement on how best to categorize writing modes, there is also no consensus on what text exhibits a particular mode. Even a single sentence can exhibit multiple writing modes, in varying degrees. However, for the purpose of this work, we assume that each paragraph can be categorized as exhibiting a single writing mode.

FRIDE Dataset In order to train models which generate text in a specified writing mode, we must first create a dataset, which we refer to as Fiction-wRIting moDE dataset (FRIDE dataset), which pairs paragraphs of narrative text with their corresponding writing mode labels. However, directly annotating writing modes on a large-scale narrative dataset is expensive and time-consuming. We first collect a modestly sized dataset from crowd-sourced workers, and utilize it to train a writing mode classifier. The classifier can then be used to provide high-confidence labels to a much larger dataset of narrative text paragraphs, on a scale suitable for training large text generation models.

Paragraphs for annotation are collected from fiction books sourced from Project Gutenberg ${ }^{11}$ (128 books) and, namely, for more contemporary writing, Smashwords ${ }^{2}$ ) (150 books). Each book is divided into paragraphs using Chapterize $^{3)}$, and paragraphs longer than 200 words are removed. In situations where a continuous dialogue takes place over paragraph boundaries, we group them into a single paragraph. Each paragraph was annotated with one of the three aforementioned writing modes using Amazon Mechanical Turk (AMT). In addition, we add a fourth category, Uncertain, to encompass cases where the writing mode is unclear or does not fit well into the three main modes. All annotators were native English speakers, and three annotators were assigned to each paragraph. Paragraphs were assigned the majority label, or marked as uncertain in cases where each annotator provided a different label. We continued the annotation process until we had approximately 1,000 instances labeled and balanced across the three main modes (Table 1).

Writing Mode Classifier While it is possible to use the collected data to train a model, the relatively small pool of examples may cause the model to be sensitive to other text characteristics unrelated to the writing mode. To help alleviate this problem, we train a writing mode classifier and employ it to predict writing modes on a larger collection of texts. We experiment with training three separate classifiers, each trained by fine-tuning a different PLM (BERT [9], XLNet [10], or RoBERTa [11]) on the FRIDE dataset. We randomly sample 300 instances from each type of writing mode and divide them using a 1000/100/100 train/dev/test split, with an equal number of each label in each split. An evaluation of these models (Table 2) shows that all models perform similarly. The RoBERTa-based model was used as the final writing mode classifier throughout the remainder of this paper.

FRIDE-XL Dataset In order to construct a larger dataset of writing modes suitable for training modeconditional text generation models, we utilize the classifier trained in the preceding section on a larger set of texts,

Table 2 The performance of writing mode classifiers on the FRIDE dataset.

extending the previous text to 5,946 fiction books from Project Gutenberg. We leverage the writing mode classifier to assign a writing mode label to each paragraph of books and randomly select 362,880 paragraphs. We refer to this dataset as FRIDE-XL.

## 3 Models

We evaluate writing mode as a control factor on three different PLM architectures: BART [12], T5 [13], and GPT2 [14]. All models have been used previously for text generation but differ in ways that may impact their ability to adhere to the conditioning information and the quality of the generated text. For instance, the larger parameter size and contextual window size of GPT2 has made it a common choice for story generation with long text [15, 16, 17], but smaller models like T5 show great controllability [18]. We assess each of these three models, fine-tuning them to reconstruct paragraphs from the FRIDE-XL dataset.

For training conditional text generation models, we follow an established paradigm of summarization, conditioning, and reconstruction [6]. First, each paragraph is summarized using an existing summarization model. Here we use the narrative text summarization [19], and decode using beam search with a beam size of 5 as in that work. We then fine-tune a PLM to reconstruct the original paragraph, conditioning on the summary. In this way, the summary acts as a semantic control: the trained model accepts user summaries and attempts to expand upon them to generate a longer paragraph, embellishing missing and less important details in a reasonable way.

Other forms of information can also be added to the summaries to function as additional controls. The conditioning factors provided to models are:
- Summary, generated from the paragraph by a pretrained model.
- Context, the preceding paragraph.
- Length, the number of tokens in the paragraph divided into ten equally-sized bins.
- Writing Mode, the mode assigned to the paragraph by the classifier as described in Sec. 2.

For $\mathrm{T} 5$ and BART, the training methodology is straightforward: we concatenate the controlling information and use it as input to the encoder, training the decoder to generate the original paragraph. For GPT2, which has only a decoder, we concatenate the conditions as prompts.

## 4 Automatic Evaluation

In this section, we study the influence of model inputs (e.g., summaries, length, and writing modes) on the text quality, and assess to what extent the writing modes of text can be controlled, as measured by automatic metrics.

## 4.1 Baseline Models

In addition to ablations of our proposed models, we compare against three baseline systems:

GPT2 We finetune GPT2 [14] identically to our proposed system, but using only the preceding paragraph and without other inputs.

PPLM As conventional training requires lots of annotated data, an attribute classifier is employed to guide the pretrained language model to generate text with specified attributes [20]. To adapt the PPLM to our task, we train a writing mode classifier as the attribute classifier on the FRIDE dataset. As the writing modes of preceding paragraphs would interfere with the classifier, the PPLM does not take the preceding paragraphs as context.

FIST A system [21] which utilizes keywords instead of summaries to sketch the semantic content of the desired stories is proposed. As there is no prompt in our dataset, following their idea, we infer the keywords from the leading context (the preceding paragraphs) and then generate stories conditioning on the context and keywords.

## 4.2 Results

We evaluate the models along three axes: fluency, similarity, and controllability, using the test set of the FRIDEXL dataset. The results of our automatic evaluation are shown in Table 3.

Fluency We evaluate fluency using perplexity computed by the pre-trained GPT2 model. We find that there is an average 0.8 decrease in perplexity when summaries are added and 1.2 increase when writing modes are added.

Similarity We evaluate the similarity of the generated texts to the target texts using BLEU-4 [22], ROUGE-L [23],

Table 3 Automatic evaluation on quality and controllability as model inputs (summaries (S), length $(\mathbf{L})$, and writing modes $(\mathbf{M})$ ) vary. Quality is evaluated by perplexity (PPL), BLEU-4 (B4), ROUGE-L (RL), BERTScore (BS), and controllability is measured by the accuracy of the generated stories matching the specified writing mode. controlling the writing modes of stories when the writing modes $(\mathbf{M})$ are specified as Dialogue, Action, and Description. The inputs such as summaries $(\mathbf{S})$, length $(\mathbf{L})$, and writing modes $(\mathbf{M})$ for the evaluation of quality and controllability are respectively inferred from the leading context and the target stories.

and BERTScore [24]. We observe a consistent improvement across all models as the amount of conditioning context increases, and that the models using writing mode factors outperform those without.

Controllability Lastly, we evaluate the controllability of mode-controlled models. For each paragraph, a target writing mode is chosen using the writing mode classifier, and used as conditioning for a text generation model. The classifier is then used to predict the writing mode of the generated text, and we measure the accuracy of generating stories with the specified writing modes.

On average, including writing mode as condition improves the accuracy of generating text which is classified as that mode, but the effect varies drastically by the specific mode. For Action and Description modes, the inclusion of writing mode conditioning improves accuracy on average by $45.4 \%$ and $45.6 \%$, respectively, compared to none mode-conditioned models. For dialogue, the improvement is $21.5 \%$, relatively lower.

It is interesting to note that the inclusion of summaries to the length-only model results in significant improvements to the controllability of the text. This implies that the pretrained models are able to naturally infer the intended writing mode from the summaries to some degree, with modest accuracy ( 44\%) on average for Action and Description modes, and up to $86 \%$ on Dialogue with BART. Summaries may contain some cues about the intended modes, especially, the summaries for Dialogue have strong cues (said, replied, argued, ...) in most cases. However, the consistently significant increase of accuracy scores when conditioning on writing modes illustrates the effectiveness of modes as a control factor.

## 5 Conclusion

In this work, we introduced writing modes as a control for human-machine collaborative writing scenarios and showed that training models to condition on writing modes resulted in stories that were closer to targets. The automatic evaluation shows that the writing modes of text are effectively controlled. To control text generation, we collected FRIDE and FRIDE-XL, datasets of narrative text annotated with writing modes, which we released to help facilitate further research in writing modes and fine-grained control for storytelling.

## Acknowledgments

This paper is based on results obtained from a project JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO). This work was partially supported by JSPS KAKENHI Grant Number JP19H05692.

## References

[1]Jian Guan, Xiaoxi Mao, and et al. Long text generation by modeling sentence-level and discourse-level coherence. ACL/IJCNLP, 2021.

[2]Fuli Luo, Damai Dai, and et al. Learning to control the fine-grained sentiment for story ending generation. In ACL, 2019.

[3]Xiangzhe Kong, Jialiang Huang, Ziquan Tung, Jian Guan, and Minlie Huang. Stylized story generation with style-guided planning. ACL/IJCNLP, 2021.

[4]Danyang Liu, Juntao Li, Meng-Hsuan Yu, Ziming Huang, Gongshen Liu, Dongyan Zhao, and Rui Yan. A character-centric neural model for automated story generation. In AAAI, 2020.

[5]M. Klaassen. Fiction-Writing Modes: Eleven Essential Tools for Bringing Your Story to Life. Bookbaby, 2015.

[6]Xiaofei Sun, Chun Fan, Zijun Sun, Yuxian Meng, Fei $\mathrm{Wu}$, and Jiwei Li. Summarize, outline, and elaborate: Long-text generation via hierarchical supervision from extractive summaries. CoRR, 2020.

[7]Jessica Morrell. Between the lines: Master the subtle elements of fiction writing. Penguin, 2006.

[8]Stephen Halliwell and Aristotle. Aristotle's Poetics. University of Chicago Press, Chicago, 1998.

[9]J Devlin, MW Chang, K Lee, and KB Toutanova. Pre-training of deep bidirectional transformers for language understanding. ACL, 2019.

[10]Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. NeurIPs, 2019.

[11]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, 2019.
[12]Mike Lewis, Yinhan Liu, and et al. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. ACL, 2019.

[13]Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 2020.

[14]Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2018.

[15]Wei Wang, Piji Li, and Hai-Tao Zheng. Consistency and coherency enhanced story generation. In ECIR, 2021.

[16]Elizabeth Clark and Noah A. Smith. Choose your own adventure: Paired suggestions in collaborative writing for evaluating story generation models. In NAACL, 2021.

[17]Nader Akoury, Shufan Wang, Josh Whiting, Stephen Hood, Nanyun Peng, and Mohit Iyyer. STORIUM: A dataset and evaluation platform for machine-in-theloop story generation. In EMNLP, 2020.

[18]Jordan Clive, Kris Cao, and Marek Rei. Control prefixes for text generation. CoRR, 2021.

[19]Wojciech Kryscinski, Nazneen Fatema Rajani, and et al. Booksum: A collection of datasets for longform narrative summarization. CoRR, 2021.

[20]Sumanth Dathathri, Andrea Madotto, and et al. Plug and play language models: A simple approach to controlled text generation. In ICLR, 2020.

[21]Le Fang, Tao Zeng, Chaochun Liu, Liefeng Bo, Wen Dong, and Changyou Chen. Outline to story: Finegrained controllable story generation from cascaded events. CoRR, 2021.

[22]Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, 2002.

[23]Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, 2004.

[24]Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. In ICLR, 2020.


# 入力文章の内容に沿った新たな歌詞を生成する 作詞支援システムと剽窃リスクを下げる歌詞生成手法

渡邊研斗 後藤真孝
産業技術総合研究所
\{kento.watanabe,m.goto\}@aist.go.jp

## 概要

本研究の目的は，ユーザが歌詞に書きたい内容を 文章として入力した時，その入力文章の内容に沿い つつ字面が似ていない歌詞を生成することで，ユー ザに新たな作詞の発想を与える作詞支援システム を開発することである。この目的達成のために，(a)既存の画像生成技術を用いることで，「入力文章の 字面に関する情報を取り除きつつ入力の内容を表し た画像」を生成し, (b) 本研究で提案する画像の内容 を表した歌詞を生成するエンコーダ・デコーダを用 いることで，「入力文章の内容に沿いつつ字面が似 ていない歌詞」を生成する. 更に，自動歌詞生成技術を用いた創作活動を円滑にするために，剽窃リス クを下げる歌詞生成手法を提案する。

## 1 はじめに

歌詞情報処理 [1] の研究として, 自動歌詞生成技術を活用した作詞支援システムが提案されてき た $[2,3,4,5,6,7]$. Watanabe ら [4, 5] のシステムは, ユーザが選択したトピックに沿った歌詞を生成でき るが，選択可能なトピックは限られているためユー ザの自由度は低く, 生成される歌詞の作風が似てし まう問題点がある. Oliveira ら [6,7] のシステムは, ユーザが入力した単語を含む歌詞を生成できるが，入力単語が生成歌詞に必ず含まれるため, 入力単語以外の単語で表現した歌詞が生成されにくい. 例え ば，単語「海岸」を入力しても「ビーチ」や「海辺」等の同じ意味だが別表現の単語は生成されにくい.

本研究の目的は，「海岸で車を運転する」のような 歌詞に書きたい内容を文章として入力した時，「海辺のハイウェイを走りたい [改行] ハンドルを握る君 とならば」のような入力文章の内容に沿った歌詞を 生成して提示することで，ユーザに発想を与える作詞支援システムを開発することである。本システム

図 1 提案する作詞支援システムと歌詞生成手法の概要

の対象ユーザとして，歌詞に書きたい内容は決まっ ているがどんなフレーズで書けばよいか思いつか ない人を想定している．よって，もしシステムが入力文章と字面が似た歌詞を提示してしまうと，ユー ザに新たな発想を与えることは難しくなる．我々は 「入力の内容に沿いつつ字面が似ていない歌詞を提示することが，ユーザに新たな発想を与える」とい う考えの元で作詞支援システムを開発する。

この目的達成のために，入力文章の内容に沿いつ つ字面が似ていない歌詞を生成する手法を提案す る. 単純な手法として，文章と歌詞のペアデータを 学習したエンコーダ・デコーダを用いて歌詞生成を すれば良いと考えられるが，そのようなペアデータ は存在しない。そこで，文章要約技術や機械翻訳技術などを用いて歌詞から文章を自動生成すること で，ペアデータを用意する方法が考えられる。 しか し，このようにして用意された文章と歌詞のペアは 字面が似ているため，このペアデータを学習したエ ンコーダ・デコーダは入力文章と字面が似た歌詞を 生成する可能性がある.

そこで図 1 のように，(a) 入力文章の内容を保持 したまま，入力の字面に関する情報を取り除いた中間表現へ変換した後に，(b) その中間表現の内容に 沿った歌詞を生成することで，目的の「入力文章の 内容に沿いつつ字面が似ていない歌詞」の生成を可能とする. 本研究ではこの「中間表現」として画像 を用いる。ここで画像を選択した理由には，Stable Diffusion[8] を始めとした拡散モデルによって入力文章の内容を表した画像生成が可能となったという背
景がある.この技術で生成された画像は, 入力文章 の内容を表しているだけでなく, 入力文章の字面に 関する情報が取り除かれた状態であるため，目的の 中間表現の条件を満たしている. 更に，入力文章の 形式（単語・フレーズ・文・段落）に関わらず画像を 生成できるため, ユーザの入力形式に依存しない柔軟性の高い作詞支援システムの開発が可能となる.

本研究では， 入力文章から画像を生成するために 既存の画像生成技術を利用するが，画像から歌詞を 生成するエンコーダ・デコーダに関しては新たに学習をする必要がある．このエンコーダ・デコーダを 学習するためには, 大力文章から生成された画像と 歌詞のペアデータを用意できれば理想的だが，上述 したようにそのような入力文章データは存在しな い. そこで本研究では，画像生成技術を用いて歌詞 から画像を生成することで，画像と歌詞のペアデー タを用意する. このように画像生成技術を活用する と, 目的の歌詞生成が可能となるだけでなく, 画像 から歌詞を生成するエンコーダ・デコーダの訓練 データを用意することも可能となる.

更に本研究では，訓練データの歌詞を剽窃するリ スクを下げる歌詞生成手法を提案する. 機械学習に 基づく歌詞生成では, 訓練データ中の歌詞フレーズ を再利用して剽窃するリスクがある．ユーザが作詞支援システムを安心して使うには，そのリスクを下 げられる歌詞生成手法が求められると我々は考えて いる．そこで本研究では，訓練データ中で少数の曲 のみが使用している固有なフレーズを生成不可能に する制約を加えることで，剽窃リスクを下げる.

実験の結果，提案手法は比較手法よりも入力文章 の内容に沿いつつ字面が似ていない歌詞を生成可能 であることが確かめられた. また，剽窃対策を施さ ないと, 生成歌詞中の一割以上のフレーズが剽窃と なってしまう可能性があることが確かめられた.

## 2 作詞支援システム

本研究では，歌詞に書きたい内容を文章として入力すると，その文章の内容に沿った歌詞の候補を生成し提示する作詞支援システムを提案する。本シス テムはユーザが文章を大力する入力パネル（図 2 左側）と，生成された歌詞を表示する歌詞表示パネル （右側）で構成される. ユーザは基本的な操作とし て，以下の手順により作詞をすることができる.

1. 入力パネルに, 作りたい歌詞の内容を文章とし て自由な長さ・スタイルで入力する。

図 2 作詞支援システムのスクリーンショット

2. 入力が完了すると, 歌詞表示パネルに入力文章 の内容に沿った歌詞の候補が複数生成される.

以上の操作で, 本システムはユーザの意図に近い歌詞を複数生成するが，必要に応じて入力文章や歌詞 を修正したり, 生成する歌詞の条件（行数やシード 値など）のパラメータを変更することで，ユーザが 意図した歌詞に更に近づけることが可能となる.

## 2.1 自動生成が創作活動を妨げないために

自動生成技術が発展することで，作業が効率化さ れるという長所がある一方で，既存の創作物を剽窃 してしまい創作者の権利を侵害してしまう可能性が ある. 本システムでは，多くの異なる曲で使用され ているありがちなフレーズ（ありがち度 $[9,10]$ の 高い単語列）を生成することは剽窃には当たらない と仮定し, 少数の曲のみ (今回は仮に 3 曲以下とし た）で使用された固有なフレーズを生成不可能にす ることで剽窃の可能性を下げる機能を実装する.

## 3 実装

## 3.1 入力文章の内容に沿った歌詞を自動生成する手法

提案した作詞支援システムにおける自動歌詞生成 は以下のような入出力を想定している. 入力は歌詞 に書きたい内容を表した文章であり, 出力は入力文章の内容に沿いつつ字面が似ていない歌詞とする. この入出力の歌詞生成を可能にするエンコーダ・デ コーダの訓練データとして，歌詞の内容を表しつつ 字面は似ていない文章が多数必要となるが，そのよ うなデータは存在しない. また，文章要約技術等を 用いて歌詞のペアとなる文章を自動生成したとし ても，その文章は歌詞と字面が似ているため，この データで学習されたエンコーダ・デコーダは大力文章と字面が似た歌詞を生成する可能性がある.

そこで本研究では図 1 のように，(a) 既存の画像生成技術を用いて入力文章の内容を表した画像を生成 することで，入力文章の字面に関する情報を取り除 く. そして (b) 画像の内容を表した歌詞を生成する エンコーダ・デコーダを用いることで，目的の「入力文章の内容に沿いつつ字面が似ていない歌詞」の 生成を可能とする. このエンコーダ・デコーダを学習するためには，入力文章から生成された画像と歌詞のペアデータを用意できれば理想的だが，上述し たようにそのような入力文章データは存在しない。 そこで本研究では，画像生成技術を用いて歌詞から 画像を生成することで，歌詞以外の文章データを一切用いずに訓練データを用意する．なお，一枚の画像は歌詞の一段落分の内容を表現すると仮定して，画像と歌詞段落のペアデータを用意する.

以上の着想を元に，提案エンコーダ・デコーダの 詳細を説明する．まず，訓練データ用の日本語歌詞 の各段落を日英機械翻訳 ${ }^{11}$ により英語へ翻訳し，翻訳された英語歌詞から，アニメスタイルの画像を生成する技術 Anything v3.02) (Stable Diffusion の改良型) を用いて解像度が $512 \times 512$ の画像を生成する.こ こで, Anything v3.0を用いる理由は，(1) 文章のまま 入力してもその内容を表した画像が生成でき，(2)一貫したスタイルの画像を用いた方がエンコーダ・ デコーダを学習しやすいと考えたためである.

次に, Vision Transformer[11]を用いて画像から計算した特徵量 $(10 \times 768$ 次元 $)$ を, Transformer デコー ダ [12] の Multi-Head Attention 層へ入力する.また, CaboCha[13] を用いて形態素解析された各単語を 単語埋め込み層と位置埋め込み層を通してべクト ル化し, Transformer デコーダの Masked Multi-Head Attention 層へ入力する. 最後に，デコーダの出力を 単語生成確率分布を表す全結合層へ渡す。

## 3.1.1 パラメータ

埋め込みの次元数は 768 とし, Multi-Head の数 は 6，デコーダの層数は 2, Feedforward 層の次元数は 1024，活性化関数は GELUを用いる. Vision Transformer は学習済みモデル3)を用い，そのパラ メータは再学習しない。最適化には AdamW[14]を 用い，学習率は 0.001 とし， ウォームアップステッ プは 1 エポック分とする. 学習は 40 エポック行い,

1) https://huggingface.co/staka/fugumt-en-ja

2) https://huggingface.co/Linaqruf/anything-v3.0

3) https://huggingface.co/google/

vit-base-patch32-224-in21k開発データにおける最良 Loss のモデルを採用する。

なお，BERT[15] や GPT-2[16] などの大規模言語モ デルの学習済みパラメータはあえて利用せずに，歌詞データのみを用いてエンコーダ・デコーダを学習 する。これは，大規模言語モデルの訓練データ中の 文章を剽窃する可能性をゼロにするためである.

## 3.1.2 訓練データ

112,462 曲（856,778 段落）の日本語のポピュラー 音楽の歌詞を用い，8:2 で訓練/開発データに分割す る. 学習対象の語彙は文書頻度が大きい上位 50,831 の単語を使用し，その他の単語は未知語タグに置換 する。また，語彙には改行を表す EOL タグと段落頭/木を表す BOP/EOP タグが含まれる。

## 3.2 歌詞生成アルゴリズム

作詞支援システムでは，様々なバリエーションの 歌詞を複数生成・提示することで，ユーザに新たな 発想を与えることを想定している。そのため本研究 では，ビーム探索のような最尤な単語列を探索する 手法ではなく，サンプリングによる生成手法を用い る.ただし，単にサンプリングすると生成確率が低 い単語が生成される可能性があるため，本研究では Top- $P$ サンプリング [17] を用いて，生成確率が低い 単語のサンプリングを禁止する. Top- $P$ サンプリン グでは，各単語列を独立に生成するため，複数の 歌詞候補を同時に生成できる. さらに本研究では, ユーザが設定した行数などの詳細な条件を満たした 歌詞を生成するために，これらの条件を満たさない 単語列の生成を禁止する。

提案生成手法が既存歌詞を剽窃するリスクを下げ るために，歌詞データ中の文書頻度が 1 から 3 であ る単語 4-gram の生成を禁止する. この処理は, 多く の曲で使用されているありがちなフレーズは再利用 できるが，少数の曲でしか使用されていない固有な フレーズを生成したら剽窃にあたる可能性が高い， という仮定の元で設計した. 単語 4-gram の文書頻度を正確に計算するためには，歌詞データ中に同一楽曲の歌詞が重複して存在しない状態にする必要が ある.ここで重要なことは，異なる歌詞が誤って同一楽曲と判定されることは問題ないが，同じ歌詞な のに同一楽曲でないと判定されることは避けなけれ ばならない点である．そこで，歌詞データ中のあら ゆる歌詞のペアにおいて以下の 2 つの基準で判定す ることで，同一楽曲判定に取りこぼしがないょうに

する. (1) 単語 20-gram が一致している単語列が存在 すれば同一楽曲とする. (2)もしくは, 歌詞間の標準化編集距離 [18] が 0.5 以下のものを同一楽曲とす る. この基準により，112,462 曲中で同一楽曲の歌詞を連結して 1 つの歌詞に置き換えた 109,829 曲の 歌詞を用いて，単語 4-gram の文書頻度を計算した。

## 4 実験

提案エンコーダ・デコーダの性能を評価するため には，実験用の歌詞とその内容を表した入力文章の ペアが必要となる. 本研究では, 小説がアニメ化さ れた時のアニメ主題歌の歌詞は，小説の内容を元に 作詞されたと仮定し, 51 作品の Web 小説の概要文章と，その主題歌の歌詞 (2730 段落) を評価データ として用意した. 実験では, 小説の概要文章を大力 した時のパープレキシティや生成歌詞を評価する。

実験の比較手法として，異なるペアデータを学習 した以下のエンコーダ・デコーダを用意した.

Image-to-Lyrics (I2L) 提案エンコーダ・デコーダ.

Summary-to-Lyrics (S2L) 文章要約手法4) を用いて 歌詞の一段落を一文へ要約することで要約文と オリジナル歌詞のペアを作成してから，そのペ アデータを学習したエンコーダ・デコーダ.

Back translation-to-Lyrics (B2L) 日英翻訳手法と 英日翻訳手法 ${ }^{5}$ を用いて歌詞を日 $\rightarrow$ 英 $\rightarrow$ 日と逆翻訳することで逆翻訳歌詞とオリジナル歌詞の ペアを作成してから，そのペアデータを学習し たエンコーダ・デコーダ.

上記 S2L と B2L は Transformer を用いたエンコー ダ・デコーダであり, そのパラメータは I $2 \mathrm{~L}$ と同じ である. 生成手法の Top- $P$ サンプリングのパラメー タ $P$ は 0.9 とし， 1 つの入力に対して 5 つの歌詞候補を生成する. この比較実験では純粋な歌詞生成能力を評価するために，剽窃対策は施していない.

まず，各エンコーダ・デコーダが入力文章の内容 に沿った歌詞を生成する能力を持つかを調べるため に，パープレキシティを計算した. その結果， I2L は 149.30，S2Lは181.60，B2Lは 1207.52 となり，提案エンコーダ・デコーダのパープレキシティが最も 良いことが確かめられた。また, 生成歌詞が入力文章の字面と似ているかを調べるために，生成歌詞と 入力文章の標準化編集距離を計算した. その結果, I2L は $0.91 ， \mathrm{~S} 2 \mathrm{~L}$ は $0.87 ， \mathrm{~B} 2 \mathrm{~L}$ は 0.76 となり，提案

4) https://huggingface.co/tsmatz/mt5_summarize_japanese

5) https://huggingface.co/staka/fugumt-en-ja表 1 入力文章に対して生成された歌詞の例

 &  \\

エンコーダ・デコーダが生成した歌詞は入力文章と 最も文字列が異なっていることが確かめられた。こ れらの実験結果は，要約文-歌詞ぺアや逆翻訳歌詞歌詞ペアを学習した場合よりも，画像-歌詞ペアを 学習した場合の方が，入力文章の内容に沿いつつ字面が似ていない歌詞を生成できることを意味する.

次に，剽窃対策を施していない歌詞生成手法がど れだけ剽窃リスクを負っているかを調べるために，生成された歌詞中のすべての単語 4-gram のうち,文書頻度が 1 以上かつ 3 以下の単語 4-gram の割合 $R$ を計算する。その結果，提案エンコーダ・デコー ダを用いて歌詞を生成した場合， $R=17.5 \%$ である ことが確認された．これは，剽窃対策を施さないと 生成歌詞の一割以上のフレーズは既存歌詞に固有な フレーズである可能性が高いことを意味する．ただ し，提案した剽窃対策を施すことで $R=0 \%$ となり，既存歌詞に固有なフレーズを再利用してしまう剽窃 リスクを下げることが可能となる.

表 1 に，入力文章とそれに基づいて提案エンコー ダ・デコーダが生成した歌詞の例を示す. なお，こ こでは剽窃対策を施した生成手法を用いている。こ れらの入力文章は, RWC 研究用音楽データベース [19] の歌詞と JSICK データセット [20] の文から選択 した.この表より, 入力文章の内容に沿いつつ字面 が似ていない歌詞が生成されていることがわかる. また，その他の生成結果の例を付録に掲載する.

## 5 まとめ

本研究の主な貢献は以下の通りである. (1) 入力文章の内容に沿った歌詞候補を提示することでユー ザに新たな発想を与える作詞支援システムを提案し た. (2) 入力文章の内容に沿いつつ字面が似ていな い歌詞を生成するために，画像生成技術を活用した Image-to-Lyrics エンコーダ・デコーダを提案した. (3) 既存の歌詞を剽窃するリスクを下げる歌詞生成手法を提案した. 今後は作詞支援システムのユーザ 評価を行う予定である.

## 謝辞

本研究の一部は JST CREST JPMJCR20D4 と JSPS 科研費 JP20K19878 の支援を受けた。

## 参考文献

[1] Kento Watanabe and Masaraka Goto. Lyrics information processing: Analysis, generation, and applications. In Proceedings of the 1st Workshop on NLP for Music and Audio (NLP4MusA 2020), pp. 6-12, 2020.

[2] Chihiro Abe and Akinori Ito. A Japanese lyrics writing support system for amateur songwriters. In Proceedings of the Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2012), pp. 1-4, 2012.

[3] Eric Malmi, Pyry Takala, Hannu Toivonen, Tapani Raiko, and Aristides Gionis. DopeLearning: A computational approach to rap lyrics generation. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 195-204, 2016.

[4] 渡邊研斗, 松林優一郎, 乾健太郎, 中野倫靖, 深山覚,後藤真孝. LyriSys: 歌詞の大局的構造に基づいた作詞支援インタフェース. 日本ソフトウェア科学会 第 23 回インタラクティブシステムとソフトウェアに 関するワークショップ (WISS 2015) 論文集, 2015.

[5] Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Tomoyasu Nakano, Satoru Fukayama, and Masataka Goto. LyriSys: An interactive support system for writing lyrics based on topic transition. In Proceedings of the 22nd Annual Meeting of the Intelligent User Interfaces Community (ACM IUI 2017), pp. 559-563, 2017.

[6] Hugo Gonçalo Oliveira, Tiago Mendes, and Ana Boavida. Co-PoeTryMe: a co-creative interface for the composition of poetry. In Proceedings of the 10th International Conference on Natural Language Generation (INLG 2017), pp. 70-71, 2017.

[7] Hugo Gonçalo Oliveira, Tiago Mendes, Ana Boavida, Ai Nakamura, and Margareta Ackerman. Co-PoeTryMe: Interactive poetry generation. Cognitive Systems Research, Vol. 54, pp. 199-216, 2019.

[8] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022), pp. 10674-10685, 2022.

[9] 中野倫靖, 吉井和佳, 後藤真孝. 確率的生成モデルに 基づく音楽の類似度とありがち度の推定に関する検討. 情報処理学会研究報告 音楽情報科学 (MUS), Vol. 2014, No. 2, pp. 1-7, 2014.

[10] Tomoyasu Nakano, Kazuyoshi Yoshii, and Masataka Goto. Musical similarity and commonness estimation based on probabilistic generative models of musical elements. International Journal of Semantic Computing (IJSC 2016), No. 1, pp. 27-52, 2016.

[11] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov,
Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of the 9th International Conference on Learning Representations (ICLR 2021), 2021.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 1-11, 2017.

[13] Taku Kudo and Yuji Matsumoto. Japanese dependency analysis using cascaded chunking. In Proceedings of the 6th Conference on Natural Language Learning (CoNLL 2002), 2002.

[14] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 7th International Conference on Learning Representations (ICLR 2019), 2019.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019), pp. 4171-4186, 2019.

[16] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[17] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In Proceedings of the 8th International Conference on Learning Representations (ICLR 2020), 2020.

[18] Yujian Li and Bi Liu. A normalized Levenshtein distance metric. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 6, pp. 1091-1095, 2007.

[19] Masataka Goto, Hiroki Hashiguchi, Takuichi Nishimura, and Ryuichi Oka. RWC Music Database: Popular, classical and jazz music databases. In Proceedings of the 3rd International Conference on Music Information Retrieval (ISMIR 2002), Vol. 2, pp. 287-288, 2002.

[20] Hitomi Yanaka and Koji Mineshima. Compositional evaluation on Japanese textual entailment and similarity. Transactions of the Association for Computational Linguistics (TACL), Vol. 10, pp. 1266-1284, 2022.

## A 入力文章に対して生成された画像および歌詞の例

 \\

上の例のうち, 上 3 つの入力文章は JSICK データセットから選択した文であり, 下 3 つの入力文章は RWC 研究用音楽データベースの歌詞から選択した文章である．上 3 つの例では， 入力文章に記された具体的な情景が画像として生成され，この画像の内容を表した歌詞が生成されていることがわかる。一方，下 3 つの例 は感情的・抽象的な内容の入力文章である。この時，入力文章の内容と同じ感情の表情をした人物の画像が 生成され，その感情を表した歌詞が生成されていることがわかる.


# 敵対的生成ネットワークを用いて抽出した 画像の構造情報に基づく画像キャプション生成

田辺雄大 ${ }^{1}$ 綱川隆司 1
1 静岡大学大学院 総合科学技術研究科 情報学専攻
tanabe.yudai.17@shizuoka.ac.jp tuna@inf.shizuoka.ac.jp

## 概要

画像キャプション生成タスクは画像認識と自然言語処理が含まれる複雑なタスクである。本論文では 画像認識の部分に生成モデルである GANを応用す る。対象の画像を GANを用いて再構成し、再構成 した画像から画像の内部表現を得る。これによりラ ンダムで特徵量を得た場合よりも良い性能を出し た。また、画像を再構成することにより、再構成す る前のデータセットよりもキャプションモデルを 変化させた場合の影響が大きくなった。これにより GAN での再構成によって空間的に画像を捉えるよ うになったことの示唆が得られた。

## 1 はじめに

入力された画像の説明文を生成する画像キャプ ション生成は画像認識とその画像に対する自然言語処理を扱う人工知能の研究分野として注目されてい る。画像処理においてはオブジェクトの検出と認識 が必要であり、また、どのような状況なのか、その オブジェクトの特性はどのようなものか、それらの 相互作用は何かも理解する必要がある。ある言語の 文として正しいテキストを生成するためにはその言語の構文的・意味的な知識が必要である。

機械が画像を理解するためには画像の特徴をど のように取得するかに大きく依存する。画像の特徴抽出には従来の機械学習ベースの手法と、深層学習 ベースの手法に分けられる。

従来の機械学習ベースの手法では LBP[1] SIFT[2], HOG[3] などの特徴や、それらの特徴の組 み合わせが広く使われている。入力データから特徵 を抽出し、サポートベクターマシーン (SVM)[4] な どの分類器に入力することでオブジェクトを判別 する。

一方、深層学習ベースの手法では大規模な画像や動画のデータセットから自動で特徴を学習 するため、多様な入力に対応できる。例として、画像からの特徵抽出には CNN(Convolutional Neural Networks)[5] が、広く用いられる。CNNでの処理に 続いてキャプション生成には RNN(Reccurent Neural Networks) が一般的である。

近年頻繁に用いられる生成モデルである GAN(Generative Adversarial Nets) は画像などの生成 タスクで大きな成功を収めている。GAN は生成器 と、生成器から生成されたものが本物か偽物かを見分ける識別器によって構成されている。GANを画像キャプション生成に応用した手法ではキャプショ ン生成モデルを生成器とし、生成されたキャプショ ンを評価する識別器を交互に評価するために敵対的学習を行った [12]。この手法により従来の強化学習 ベースの画像キャプション生成モデルよりも良い性能となった。さらにその過程でよく学習された識別器は画像キャプションの評価指標としても利用す ることができる。GAN の学習方法や識別器を画像 キャプション生成タスクに応用する研究は行われて いる。本研究では GAN を画像処理部分に応用する ことによるキャプション生成への影響を調査する ため、GANを画像処理部分に応用する手法を提案 する。

## 2 few-shot part segmentation

GAN の潜在変数を変化させると生成画像も変化 するという研究もあり、GAN の各層から抽出する内部表現は生成画像と密接に関係している。Tritrong ら [10] の研究ではその内部表現を利用することに よってセマンティック情報を保持することができる のではないかと仮定された。Tritrong ら [10] はその 内部表現を利用することによってセマンティック情報を保持することができると仮定し、セマンティッ クパートセグメンテーションによる手法を提案し た。セマンティックパートセグメンテーションとは 画像内のオブジェクトのセグメント化を行うセマン ティックセグメンテーションとは異なり、オブジェ クト内のセグメント化するタスクになっている。目

図 1 few-shot part segmentation モデル図 [10]

や鼻・顔のように 2 つの隣接するパーツ間の境界が 曖昧なことがあるためセマンティックセグメンテー ションよりも難しいタスクになっている。 モデルの概要図が図 1 である。

1. 対象となるドメインのデータセットで GANを 学習

2. 学習済み GANを用いて画像の内部表現を生成
3. 2 で生成した画像に手動でアノテーション

4. 内部表現を入力として few-shot セグメンテー ション
5. 4 において新にデータセットを作成し、新たに セグメンテーションマップを予測

GAN には StyleGAN2 が用いられ、few-shot ネット ワークには評価実験の結果から CNN が採用されて いる。内部表現の抽出は 1 のように、生成器の全て の層から活性化マップを抽出し、それらを最大次元 ヘアップサンプリングし連結することによって得 る。この内部表現は生成された各画像にのみ有效で あり、テスト画像には使用することができないが、任意のテスト画像を生成する潜在変数を最適化する ことで同様に内部表現を得ることができる。

これらの内部表現を利用し学習した結果、非常に 少ない数のラベル付きデータでパートセグメンテー ションを可能にし、10～50 倍のラベルを必要とする 完全教師有りの手法と同程度の性能を出した。本研究により、GAN が画像を生成する際に画像の構造情報を学習していることの示唆を与えた。筆者はこ の技術に着目し、GAN の生成器が保持している画像の構造情報をキャプション生成モデルに入力する ことで、よりキャプションに画像の構造情報が反映 された結果となることに期待した。

## 3 提案手法

提案手法のモデル図が図 2である。提案手法は GANを用いて画像から内部表現を抽出するタスク とキャプション生成モデルを用いて内部表現から

れる。

## 3.1 画像投影器

データセットの画像を GAN で生成するための潜在変数を得る。StyleGAN2[8] では与えられた画像に 対応する潜在変数を得る際に、拡張などを行うこと なく元の潜在空間から潜在変数を得る。最適化の際 に潜在変数にランダムノイズを加え、そのノイズの 最適化も行う。

元画像と再構成画像の LPIPS[13] 距離を $D_{\text {LPIPS }}\left[\boldsymbol{x}, g\left(\tilde{g}^{-1}(\boldsymbol{x})\right)\right]$ として計算し、画像の類似度とする。ここで $x$ は対象の画像、 $\tilde{g}^{-1}$ は近似投影演算を表す。

## 3.2 画像からの内部表現抽出

ベースライン: Rennie ら [11] の研究では 101 層の Resnet-101 で特徴量を抽出している。Attention モデ ルでは最後の畳み込み層で画像を符号化し、出力が $14 \times 14 \times 2048$ のサイズになるように最大プーリン グを行う。後述するキャプション生成モデルに FC モデルを用いる場合は出力層を空間的に平均化する ことで 2048 次元の特徴量を得る。

提案手法: Tritrong ら [10] の研究では、生成器の各層からから $a_{1}, a_{2}, \ldots, a_{n}$ のように活性化マップを抽出する。さらにこれらを以下の式で結合する:

$
F=\mathbb{U}\left(a_{1}\right) \oplus_{c} \mathbb{U}\left(a_{2}\right) \oplus_{c} \ldots \mathbb{U}\left(a_{n}\right)
$

ここで、 $U()$ は画像サイズに空間的にアップサンプ リングする関数であり、 $\oplus_{c}$ はチャンネル次元に連結 する処理である。

提案手法ではキャプションモデルの入力やベース ラインの次元数に合わせるためアップサンプリング ではなく、14 × 14 に次元数を整え各層を連結する。提案手法では学習済み GAN の生成器を用いて画像から特徴量を抽出する。まず初めに対象となるド メインの画像群で GANを学習し、そのドメインの 画像を生成するモデルを作成する。次にキャプショ ン付きデータセットの画像を画像投影器に入力し、学習済み GAN に入力するための潜在変数を取得す るとともに、学習済み GAN の生成器を用いて画像 の再構成を行う。そしてその潜在変数を同様の学習済み GAN の生成器に入力し、内部表現を得る。 このようにして画像から対応する内部表現を抽出 する。

図 2 提案手法のモデル図

## 3.3 キャプション生成モデル

FC モデル: 入力画像を CNN などで特徴量を取得 し、線形射影で埋め込む。単語はワンホットベクト ルで表現され、同様の次元数の線形埋め込みで埋 め込まれる。このモデルではまず単語が生成され、 LSTM にフィードバックされる。モデルのパラメー タを $\theta$ とすると教師データが与えられたときのクロ スエントロピー誤差を損失関数 $L(\theta)$ として最小化 する：

$
L(\theta)=-\sum_{t=1}^{T} \log \left(p_{\theta}\left(w_{t}^{*} \mid w_{1}^{*}, \ldots w_{t-1}^{*}\right)\right)
$

Attention モデル (Att2in2): Attention モデルは各タ イムステップで画像の特定の領域に焦点を当てるた めに入力された空間的特徴を動的に再重み付けす る。Xu ら [9]によるキャプションのための Attention モデルのアーキテクチャを修正し、LSTM のセルに のみ Attention によって得られた特徵量を入力する。式 (1)と同様の損失を最適化する。

## 4 実験

## 4.1 データセット

画像の内部表現を抽出するための GAN の学習に は BIRDS450[7] という 450 種類の鳥が含まれるデー タセットを使用した。BIRDS450 のうち、GAN の学習には学習用の 70626 枚を使用した。

本論文でのキャプションモデルの学習には全て CUB-200(Caltech-UCSD Birds-200-2011)を使用した。 このデータセットは 200 のサブカテゴリからなる 学習用 5994 枚、テスト用 5794 枚の合計 11788 枚と なっている。各画像には 10 個のキャプションが付 けられており、10 単語以上の文となっている。語彙 は 5 個以下の単語を削除した。

提案手法では全てのデータセットの GAN による 再構成を行う。CUB-200をGAN で再構成した画像
を用いてベースラインモデルの学習も行い、提案手法と比較する。

評価指標は BLEU、METEOR、ROUGE-L、CIDEr-D を用いる。

## 4.2 画像の内部表現

画像から特徴量を抽出する方法は 3.2 節 の通りである。ベースラインである ResNet からは FC モデルでは 2048、Attention モデ ルでは $14 \times 14 \times 2048$ 次元である。提案手法からは FC モデルでは各層の次元数が $(512,512,512,512,512,512,512,512,512,256,256,128,128)$ となっているので全て合わせて 5376 次元、Attention モデルでは $14 \times 14 \times 5376$ 次元となる。

また、提案手法と比較するためにランダムで特徴量を生成し比較実験を行う。正規分布から FC モデ ル、Attention モデルそれぞれ 5376 次元、 $14 \times 14 \times$ 5376 次元の特徴量を得る。

## 4.3 実験結果

## 4.3.1画像の再構成

StyleGAN2 によって再構成された画像と元の画像 の LPIPS 距離のヒストグラムが図 3 である。画像の リサイズを行っているため LPIPS の值が高くなって しまう画像がある。画像から潜在変数、潜在変数か ら画像へのマッピングが複雑なため再構成が失敗す る例も存在する。

画像の再構成によって元の画像とは異なる画像と なってしまう場合がある。そのような画像にも同様 のキャプションを付けた場合、結果にどのような影響があるかの検証を行う。画像の特徴抽出はベース ラインモデルで行う。

表 1 の 2 行目はテストデータの画像だけを再構成画像に変えた場合、3 行目は学習・テストデータ両方の画像を再構成画像に変えた場合の結果となって
表 1 モデルと特徴量による実験結果

図 3 LPIPS 距離のヒストグラム

いる。テストデータのみ変化させた場合は、どちら も変化させた場合よりも評価指標に大きな差がない ことがわかる。図 4 はベースラインモデルで学習・ テストデータどちらも再構成画像を用いた場合での テストデータの LPIPS と perplexity の散布図である。 これより、再構成画像の LPIPS と perplexity には相関がない、すなわち元画像と再構成画像の差と生成 されたキャプションの精度には相関がない。

## 4.3.2 画像の内部表現抽出方法による実験

画像の内部表現抽出による比較を行う。結果が 表 1 である。FC モデル、Attention モデルどちらも ResNet から得た特徴量の方が良い性能となってい る。データセットに CUB-200 再構成を使ったケー スでは Attention モデルにすることで性能が大幅に 向上するが、CUB-200では向上が見られない。その 結果 CUB-200 で学習した場合と CUB-200 再構成の データセットで学習した Attention モデルの精度が同程度となった。一方、ランダムの特徴量では性能が

図 4 ベースラインモデルでの LPIPS と perplexity

劣化した。提案手法はランダムで特徴量を得た場合 よりも良い性能となっているため提案手法は画像の 意味を持つ特徴量を抽出できていることがわかる。

## 5 結論

本論文では画像キャプション生成タスクの画像か ら特徴量を取得するモジュールにGANを応用する 手法を提案した。GAN が画像生成時に画像の構造 も学習しているという性質を利用し、その画像キャ プション生成への適用について調査した。その結果、本論文では GAN から得た特徴量がランダムで 得た特徴量よりも優れていることが示された。さら に画像を再構成することで画像の特徴量を線形に取得する FC モデルに対して空間的に画像の特徴量を 取得する Attention モデルを適用した場合の精度の向上幅が上昇し、Attention モデルでは精度が FC モデ ルでもとの特徵量を用いた場合と同程度となった。 これにより画像を再構成することで、空間的に画像 を捉えるようになったことの示唆が得られた。

## 参考文献

[1] Ojala, Timo, Matti Pietikäinen, and Topi Mäenpää. ”Gray scale and rotation invariant texture classification with local binary patterns." European conference on computer vision. Springer, Berlin, Heidelberg, 2000.

[2] Lowe, David G. "Distinctive image features from scaleinvariant keypoints." International journal of computer vision 60.2 (2004): 91-110.

[3] Dalal, Navneet, and Bill Triggs. "Histograms of oriented gradients for human detection." 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). Vol. 1. Ieee, 2005

[4] Boser, Bernhard E., Isabelle M. Guyon, and Vladimir N. Vapnik. "A training algorithm for optimal margin classifiers." Proceedings of the fifth annual workshop on Computational learning theory. 1992.

[5] LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.

[6] Hossain, MD Zakir, et al. "A comprehensive survey of deep learning for image captioning." ACM Computing Surveys (CsUR) 51.6 (2019): 1-36.

[7] https://www.kaggle.com/datasets/gpiosenka/100-birdspecies

[8] Karras, Tero, et al. "Analyzing and improving the image quality of stylegan." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.

[9] Xu, Kelvin, et al. "Show, attend and tell: Neural image caption generation with visual attention." International conference on machine learning. PMLR, 2015.

[10] Tritrong, Nontawat, Pitchaporn Rewatbowornwong, and Supasorn Suwajanakorn. "Repurposing gans for oneshot semantic part segmentation." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021.

[11] Rennie, Steven J., et al. "Self-critical sequence training for image captioning." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

[12] Chen, Chen, et al. "Improving image captioning with conditional generative adversarial nets." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. No. 01. 2019.

[13] Zhang, Richard, et al. "The unreasonable effectiveness of deep features as a perceptual metric." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018


# 人間とシステムの議論に基づく NLP タスクの問題に対する予測

金子正弘 ${ }^{1}$ Graham Neubig ${ }^{2}$ 岡崎 直観 ${ }^{1}$
1 東京工業大学 ${ }^{2}$ Carnegie Mellon University
masahiro.kaneko@nlp.c.titech.ac.jp gneubig@cs.cmu.edu
okazaki@c.titech.ac.jp

## 概要

人間は共通の問題に取り組む際、対話による議論 を通じてお互いに考えの説明、同意や反論を行い問題解決を目指す。同様に、タスクを解く際にシステ ムと人間との間で議論ができるようになると、シス テムの性能改善や信頼性向上につながる。既存研究 では相互に意見を述べるのではなく、システムが一方的に人間に予測の説明をする、または人間が一方的に予測について質問をすることしかできない。本研究では対話によりタスクの予測結果を議論する データセットを作成し、議論可能なシステムを構築 する。実験により、提案システムが有益な議論がで きること、問題に関する議論を通じてシステムの性能改善につながることを示した。

## 1 はじめに

深層学習システムは様々なタスクで高性能を達成 することが判明し、実用化が加速しているが、その 予測理由を人間に分かるように説明することは不得意である。問題解決のために人間がシステムの力を 引き出そうとするには、データや内部状態、出力傾向などを分析する必要があり、深層学習に精通した 専門家でないと難しい。この問題に対処するため、人間の情報伝達に用いられる基本的な道具である 自然言語を介して、直感的にシステムの力を引き出 し、問題解決を目指す研究が進められている。

これまでに、システムの予測理由を自然言語で人間に説明する手法が提案されている $[1,2,3,4]$ 。こ れは従来のデータや内部状態、出力傾向などを分析 する方法と比較して、システムについて人間が直感的に把握できる。しかし、説明生成の研究では人間 が追加の説明を求めたり、特定の説明を要求するこ とを想定していないため、解釈性や実用上が乏しい ことが指摘されている [5]。

Slack ら [5] は対話形式で人間がシステムに予測理

図1 NLIにおける人間とシステムの議論の例。

由やタスクについて質問することができるシステム を提案した。対話できるトピックは事前に決められ ているが、説明生成とは異なり人間からシステムに 対して特定の説明を要求できる。一方で、人間同士 で問題解決を行う場合は、人間が一方的に説明した り質問するのではなく、互いに説明や質問を行い、議論しながら課題解決を行う。互いに意見を述べ議論することは考えを洗練させることにつながり、問題解決にとって重要であるが、既存手法では人間と システムの相互の情報伝達や議論を実現できない。

本研究では、図 1 のようにモデルが人間と対話形式で予測について議論するシステムを提案する。こ れにより、人間とシステムの両方が予測の説明や不明点の質問などを行い、考えを洗練させ問題解決を 行うことが可能になる。前提文と仮説文の関係が含意、矛盾と中立のいずれであるかを予測する自然言語推論（Natural Language Inference; NLI）タスクにお いて GPT-3 [3] による実験を行った。人間と議論す るシステムを学習するために、NLI の問題に対して 人間が予測を行い、その結果について人間同士が議論するデータを作成した。定量評価と人手評価の結
果、作成したデータを few-shot に用いたシステムは 作成したデータを用いないシステムと比較して、有益な議論を行えることが分かった。さらに、問題に 対する議論の情報をシステムに与えることで、議論 の情報が与えられていないシステムと比較して、性能が多くの場合で改善することを示した。

## 2 関連研究

Slack ら [6] はローン、糖尿病、再犯予測の 3 つ のタスクにおいて対話により説明する TalkToModel を提案した。ユーザは TalkToModel と予測の説明、 データの変更、エラー分析、対話履歴の参照と実験設定の説明の 5 つのカテゴリに関して対話すること ができる。これらのカテゴリに関連した対話をする ようにアノテータに指示することで、TalkToModel を学習・評価するデータを作成している。一方で、 カテゴリはインタビューやデータに基づいて決定さ れたのではなく、著者らが主観的に定義している。 そのため、自由形式で対話する本研究とは異なり、人間が実際に必要とするシステムの会話に基づかな い可能性がある。さらに、人間とシステムの両者が 意見や質問を述べる両方向の対話による相互理解を 目指す本研究とは異なり、システムが人間の質問に 答えるような一方向な対話のみを対象としている。

Lakkaraju ら [5] は、既存の AI システムの説明の 有用性や今後の説明のあり方について、AI 以外の専門家のニーズを把握するために、医療や健康管理、政策立案の専門家らにインタビューを行った。その 結果、AI システムを用いて意思決定を行う際は人間 の同僚と仕事をするように対話形式で考えを説明で きることを好むことを明らかにした。さらに、これ らの専門家らは対話形式の説明を行うことでシステ ムにも説明責任を果たすことを望んでいることも分 かった。そのため、対話を用いて人間とシステムが 議論することは相互理解のために有望かつ有益であ ると考えられる。

## 3 実験

議論可能なシステムを学習するために、ラベルの 予測が異なる人間同士が NLI の問題について議論す るデータを作成する。NLP タスクの問題に対して人間同士が質の高い議論を行うには、タスクに対する 知識を持つアノテータが各問題に対して複数ターン の対話を行わなければならず、データ収集のコスト が高い。そのため、事前学習モデルに対してプロン
プトを適用した few-shot[3] 言語生成により議論を行 うシステム構築することで、学習データ作成のコス トを抑える。

## 3.1 データ作成

議論能力の評価と few-shot のプロンプトに用いる ための議論データは、NLPにおいて一般的なベンチ マークデータである Stanford NLI （SNLI）[7] に対 して作成する。自然言語処理の研究に関する知識を 持つ 4 人にアノテータを依頼した。まず、SNLI の 開発データから 100 問をサンプリングし、アノテー タに前提文と仮説文を提示し、ラベルを予測しても らった。その後、ラベルが異なったアノテータ同士 が対となり、問題について個人情報と不適切な発話 を含まないように注意しつつ、ラベルが一致するま で自由形式で議論し、最終的なラベルを決定する。 SNLI の開発データには、5つのラベルが付与されて おり、これらのラベルの多数決により正解ラベルを 決めている。5つのラベルが異なっている問題を対象とする方が、議論を行うためのアノテータ間でラ ベルが異なるデータを効率的に収集できると考えら れる。そのため、5つ中 3 つが同一のラベルになっ ている問題からアノテーションのための問題をサ ンプルした。そして、各発話に対して最終的なラべ ルの根拠と「なる」「ならない」「無関係」のラベル を付与する。例えば、図 1 であれば、「どちらも人 が椅子に座っているが、性別が指定されていないの で中立です」は根拠となり、「どちらも人が椅子に 座っているので含意です」は根拠とならず、「はい」 は無関係となる。これらのラベルは few-shot 学習の 際に用いないが、システムの議論能力を自動評価す るために用いる。

このアノテーション作業では、39 問に対して議論 データを収集した。そのうち、10 問を few-shot のた めのプロンプトとして使い、29 問を評価に用いた。 1 つ問題に対して平均で 8.9 発話、最短で 3 発話、最長で 13 発話の議論が行われていた。ラベルの根拠と「なる」「ならない」「無関係」のラベルの数は 評価データにおいてそれぞれ、 $34,35,14$ であった。

## 3.2 システム

実験に用いるシステムは zero-shot、few-shot 事例と few-shot 事例十議論の 3 つである。zero-shot で はタスク説明のみ、few-shot 事例ではタスク説明と 事例（前提文、仮説文とラベル）、few-shot 事例十議

タスク説明 Please select the label whether the premise and hypothesis are entailment, contradiction, or neutral. Premise: A woman in black pants is looking at her Premise: A woman in black pants is looking at her cellphone. Hypothesis: a woman is looking at her phone Label: entailment Discussion: Human1: It is entailment, because a woman is looking at her phone in both sentences. Human2: Is the phone in the hypothesis is necessarily a cellphone? It could be a landline phone. Human1: People rarely look at a landline phone, that's why I think it is the same cellphone. Human2: I think it is also true that it is better to consider the general cases. Otherwise, it would be neutral in many cases. Human1: I think so too. So it is entailment, right?

Premise: A woman in a teal apron prepares a meal at a restaurant. Hypothesis: A woman prepare a lunch in restaurant Label:

図 2 事例数が 1 問の時のプロンプト例。

論ではタスク説明と事例に加えて事例のラベルに 関する人間の議論がそれぞれプロンプトとして与 えられる。これらのプロンプトに続けて解きたい問題を連結し、入力としてシステムに与えることで推論を行う。それぞれのプロンプトの例を図 2 に示 した。プロンプトに使われる事例は few-shot 事例と few-shot 事例十議論で共通であり、全ての問題で同一のものを使用する。どのシステムもパラメータを 更新する学習は行わない。事前学習済み言語モデル として GPT-3 [3] (text-davinci-003 ${ }^{11}$ )を用いる。

## 3.3 システムの議論能力の評価方法

システムが議論能力を有しているかを調べるた めに、自動評価と人手評価を行い、各システムを 比較する。自動評価では、作成した議論データの 各発話が正解ラベルの根拠となるかならないかの アノテーションを用いる。正解ラベルの根拠とな らない発話よりも根拠となる発話をシステムが 生成しやすければ、システムは正解を導く正しい 議論を行えると見なせる。そこで、根拠となる発話とならない発話に対するシステムの平均の尤度を計算し、比較する。議論の尤度を計算するた め、入力の問題と対象となる議論の発話までを連結し、対象発話に関する尤度を計算する。この時、問題の Label には対立している 2 つのラベルを与 える。例えば、議論の 2 番目の発話が対象の場合 "Premise: A nun is taking a picture outside. Hypothesis: A nun is taking a selfie. Label: neutral or entailment Discussion: Human1: I think it is entailment, because the nun is taking a picture, so it might be a selfie. Human2:

Since it is outside, it is conceivable that the nun is taking some scenery." が問題として与えられ、太字部分の 尤度が計算される。

表 1 正解ラベルの根拠となる発話とならない発話の 尤度。

人手評価では、ラベル予測が異なる人間とシステ ムが議論を行い、最終的なラベル付け結果と SNLI データに付与されているラベルとの一致率により、 システムが人間と有益な議論を行えることを示す。 その際、システムのラベルが誤りで人間のラベルが 正しかった時に人間の意見を受諾する能力と、人間 のラベルが誤りでシステムのラベルが正しかった時 に人間の意見に反論する能力の 2 点を評価する。

SNLI において 5 人中 3 人が正解ラベルを付与し たデータから 10 問データをサンプルし、3つのシ ステムと人間が合計 30 回の議論を行った。その際、 システムのラベルが正しければ人間はシステムのラ ベルを変更させるような敵対的な議論を行い、シス テムのラベルが誤っていた場合は正解ラベルに誘導 する議論を人間が行う。

システムと議論を行うために、図 2 で示したプロ ンプトと問題を与えて各システムがラベルを予測 した後に、人間の議論に関する発話を追加でシステ ムに入力する。追加の入力では人間の発話の先頭に は Human: を付与し、末尾には次がシステムの発話 であることが分かるように System: を付与した。そ して、システムとの議論を促すため、人間の最初の 発話の冒頭に “Let’s discuss it more.”を挿入した。具体的には、議論を行う最初のプロンプトは “Human: Let's discuss it more. I think neutral, because there may be a kitchen in the barn. System: "のようになる。人間が 最終的なラベルを決定して議論が収束する、または 説得できないと思うまで議論を続けた。

## 3.4 議論能力の評価結果

表 1 は、zero-shot、few-shot 事例、few-shot 事例十議論それぞれの最終的なラベルの根拠となる発話 とならない発話の尤度を示している。zero-shot と few-shot 事例では根拠になるかならないかで龙度は ほとんど変わらない。一方で、few-shot 事例十議論 は根拠となる発話が根拠とならない発話と比較し て尤度が高い。このことから、作成した議論データ を用いることで、より正解の根拠となる議論がで きるようになることがわかる。さらに、zero-shot と
表 2 人間の意見に対するシステムの受諾と反論能力の 評価。

前提文: A man looking over a bicycle's rear wheel in the maintenance garage with various tools visible in the background.

仮説文: A man waits outside a garage.

Few-shot事例

Label: Contradiction

Human: Let's discuss it more. Is not it neutral?

Because looking over a bicycle's rear wheel does not

necessarily mean he is waiting.

System: That's true. The premise and hypothesis are neutral.

Few-shot事例 + 議論

Label: Contradiction

Human: Let's discuss it more. Is not it neutral?

Because looking over a bicycle's rear wheel does not necessarily mean he is waiting.

System: Yes, you are right. The premise is describing that the man is actively working while the hypothesis is describing a passive state. Therefore, the label should be contradiction.

Human: He is just looking over a bicycle's rear wheel, why is he considered to be actively working?

System: Looking over a bicycle's rear wheel suggests that he is inspecting the wheel, possibly to repair or replace it. That is an active process, and thus is considered as actively working.

図 3 few-shot 事例と few-shot 事例十議論の人間に対する 反論の例。

few-shot 事例と比較して、few-shot 事例十議論の方が 尤度が高いため、議論を few-shot で学ぶことで議論能力を高めることができる。

表 2 は、受諾能力と反論能力それぞれを評価する 設定における、議論によって決まったラベルの正解率を表している。さらに、人間とシステムが議論し た結果辿りついた最終ラベルと、議論をしていない 時の予測ラベルそれぞれの正解率を示している。実験の結果、どのシステムでも受諾は全て成功して いる。反論に関しては zero-shot と few-shot と比較し て、few-shot 事例十議論はうまく反論できている。 さらに、few-shot が zero-shot と同じような反論能力 となっており、システムのラベル予測の性能が議論能力に必ずしも直結しない可能性がある。受諾と比較すると、システムは人間に対して反論することが 苦手な傾向があるため、悪意を持って予測を操作す る人間に注意する必要がある。そして、正解率では few-shot 事例十議論が最も性能改善していることか ら、提案データを使うことで性能改善につながるよ うな議論が人間との間で行えることが分かる。

図 3 は、few-shot 事例と few-shot 事例十議論が人間と議論した時の例である。これはシステムが予測 した矛盾（Contradiction）が正解であるため、シス表 3 SNLI と $\operatorname{ANLI}(\mathrm{R} 1, \mathrm{R} 2, \mathrm{R} 3)$ の評価データにおけるシ ステムの性能。

テムは反論する必要がある。few-shot 事例は反論す ることなく人間のラベルをそのまま受諾し予測を変更している。一方で、few-shot 事例十議論は人間に 対して男性の状態の違いを説明することで正しい反論が行っていることが分かる。

## 3.5 NLI タスクでの性能への影響

これまでの実験結果から、人間とシステムの議論 が性能改善に有益であることがわかった。そのた め、議論もプロンプトとして与える few-shot 事例+議論は、プロンプトの議論により NLI の問題に対し て深い理解ができ性能が改善すると考えられる。そ こで、zero-shot、few-shot 事例、few-shot 事例＋議論 それぞれの NLIにおける性能を比較する。ここで はプロンプトの “Label:” の後に予測されたラベルを 予測とし、人間とシステムの議論などは行わない。 NLI の性能評価では SNLI に加えて、Adversarial NLI (ANLI) [8] も用いる。ANLI では NLI システムに対 して反復的に敵対的なアノテーションを行うことで データを作成しており、システムにとって解くこと が難しい問題で構成されている。反復回数の違いで R1、R2、R3の 3 つのデータがあり、それぞれの評価データを使って評価を行う。

表 3 は SNLI と ANLI の評価データにおける各シ ステムの正解率を表している。SNLI では few-shot 事例＋議論は性能が few-shot 事例に負けているが、 ANLI の 3 つのデータセットでは性能が最も良いこ とが分かる。これは、SNLI と比較して ANLI は難し いデータであり、議論による問題への詳細な理解が 性能改善に寄与したからであると考えられる。

## 4 おわりに

NLI タスクの予測について議論するデータを作成 し、人間と議論可能なシステムの構築と評価を行っ た。作成した議論データを用いて学習したモデル は、性能改善につながるような有益な議論を人間と 行えることが分かった。さらに、NLIにおいて特に 難しい問題に対するシステムの性能改善に向けて、議論データが寄与することも明らかにした。

## 謝辞

本研究成果は、国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため

のマルチモーダル情報の外部制御可能なモデリング

の研究開発」(課題 225）により得られたものです。

## 参考文献

[1] Wang Ling, Dani Yogatama, Chris Dyer, and Phil Blunsom. Program induction by rationale generation: Learning to solve and explain algebraic word problems. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 158-167, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 18771901, 2020.

[4] Sarah Wiegreffe, Jack Hessel, Swabha Swayamdipta, Mark Riedl, and Yejin Choi. Reframing Human-AI collaboration for generating Free-Text explanations. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 632-658, Seattle, United States, July 2022. Association for Computational Linguistics.

[5] Dylan Slack, Satyapriya Krishna, Himabindu Lakkaraju, and Sameer Singh. Talktomodel: Explaining machine learning models with interactive natural language conversations. 2022.

[6] Joseph Chee Chang, Saleema Amershi, and Ece Kamar. Revolt: Collaborative crowdsourcing for labeling machine learning datasets. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, CHI '17, pp. 2334-2346, New York, NY, USA, May 2017. Association for Computing Machinery.

[7] Samuel R Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, On-


# クエリ指向要約におけるクエリと要約の統合的な生成

服部翔 Youmi Ma 岡崎直観
東京工業大学
\{kakeru.hattori@nlp.,youmi.ma@nlp.,okazaki@\}c.titech.ac.jp

## 概要

クエリ指向要約は，ある特定のクエリ（質問）に 対して要約を生成するタスクである。しかし実際に は，ユーザが未知の文書に対してクエリを考えるこ とは難しい，そこで本研究では，クエリ指向要約の 発展形として，クエリも含めて自動生成するクエリ 推薦付き要約を提案し，具体的なタスクと評価方法 の設計を行う．次に，設計したタスクに対し，文書 の特定の部分（スパン）からクエリ・要約を生成す る手法などを提案する。実験では，スパンやそれに 代わる機構が多様なクエリの生成に有効だが，スパ ンの予測精度が全体のボトルネックとなることを確認する。また，文書の不要な部分を事前に予測して 除去する手法も提案し，その有効性を実証する。

## 1 はじめに

自動要約のタスク設定の 1 つとして，クエリ指向要約（Query-Focused Summarization）[1] がある.ク エリ指向要約では，ある特定のトピック・内容に関 するクエリ（質問）が与えられ，そのクエリに対す る要約を生成する。ユーザ（読者）の興味や疑問に 合わせてクエリを与えることで，議事録のような長 い文書に対しても，ユーザが真に求める情報を要約 として的確に提供できる.

一方，クエリ指向要約の既存研究では，クエリが 事前に与えられることを前提としている. しかし実際には，ユーザが内容を知らない文書に対してクエ リを考えることは難しい。もし，システムが与えら れた文書に対して適切なクエリを推薦できれば，こ の課題を解決できる．例えば，ウェブ検索エンジン などではクエリ推薦機能の提供例1) があるなど，社会的な需要も高いと見込まれる2).

そこで本稿では，クエリ指向要約を発展させた研

1）海外の Google 検索では People Also Ask と呼ばれる機能に 対応する．日本でも「他の人はこちらも質問」として，近年表示されるようになった.

2）いわゆる FAQなども，身近なクエリ推薦の一種である.

図1クエリ推薦付き要約

究として，クエリの推薦と対応する要約の統合的な 生成，すなわちクエリ推薦付き要約を提案する。ク エリ推薦付き要約では，与えられた文書の重要な卜 ピックや内容の把握に役立つクエリと，対応する要約のペアを複数生成し，それら全体をユーザに提供 する（図 1)。大力としてクエリが与えられる既存の クエリ指向要約とは異なり，クエリ推薦付き要約で は，クエリも含めて全て自動生成する。

クエリ推薦付き要約は，ユーザが興味を持ちそう なクエリと，その特定のトピックに詳しく踏み込ん だ内容の要約のペアを複数生成するため，ユーザが 真に求める情報や，文書の重要な内容を網羅すると 期待される。また，要約全体がクエリと要約のペア の集合という形で構造化されるとともに，ユーザが 自分の興味に合わせて要約の一部を選択的に読むこ とができるため，可読性の観点でもユーザ・エクス ペリエンスが向上する.

本研究の主な貢献は以下の通りである.

・クエリ推薦付き要約の自動生成タスクを定義 し，生成したクエリと要約の集合全体を適切に 評価するための評価指標を設計・選定した。
- 文書の特定の区間（スパン）に着目してクエリ 推薦付き要約を生成する手法などを提案した。実験では，スパンやそれに代わる機構が多様な クエリ生成に重要であることを確認した。

・スパンを明示的に指定する手法では，スパンの 予測精度の低さがクエリ・要約の生成精度のボ トルネックとなっていることを確認した。

・事前に文書の不要な部分を予測し，除去してか らスパンを指定して生成することで，クエリ・要約の生成精度が向上することを確認した。

## 2 本研究で取り組むタスク

## 2.1 使用するデータセット（QMSum）

本研究では，データセットとして QMSum [2]を使用する. QMSum はマルチドメインの議事録を対象 にした, クエリ指向要約向けの英語のデータセット であり, 232 件の会議と 1,802 件のクエリ・要約の組 を収録している. 各会議に対する複数のクエリは, その会議の重要なトピックをカバーしているとされ る.また，各クエリに関連するスパン（文書の特定 の一部分）がターン33) 単位で注釈付けされている.

## 2.2 タスクの目的

本研究の目的は，1 節で提案したクエリ推薦付き 要約として適切なクエリ・要約の組の集合を生成す ることである. その際，クエリ・要約の組の集合が 満たすべき性質として，以下の 2 つを考慮したい.

・多様なクエリで構成されている。

・文書の重要な内容を網羅的にカバーしている.

「多様なクエリ」とはクエリ同士の語彙的な重複 や意味的な重複が少ないことを意味する。一方，「文書の重要な内容を網羅的にカバー」するという のは, 本質的には一意に解が定まらない難しい問題 であるが，今回は用いるデータセット（QMSum）に 収録されているクエリが，重要なトピックをカバー する良いクエリであるとされている [2]ことから， データセットのクエリと要約の組の集合をそのまま 全て再現することを本研究の目標とする。

## 2.3 タスクの定義

前述の目的を踏まえ，具体的な生成タスクを 次のように定義・設計する。 ある文書 $D$ に対し て, $K$ 個のクエリ・要約の組で構成される集合 $S=\left.\{\left(q_{1}, a_{1}\right),\left(q_{2}, a_{2}\right), \cdots,\left(q_{K}, a_{K}\right)\right.\}$ を生成する. 1 つの文書 $D$ に対し, 生成目標はデータセットで用い られた全てのクエリ・要約の組とする。また，その 個数 $K$ は定数として事前に与えるものとする.

## 2.4 タスクの評価方法

前述の目的を踏まえ，生成したクエリ・要約の組 の集合を，(i) 多様性と (ii) 内容一致性の 2 つ側面 で評価する. 具体的な評価指標は 4.1 節で記述する.

図 2 SegEnc (Fusion-in-Decoder) のアーキテクチャ

図 3 スパンを指定する手法による生成

## 3 クエリ推薦付き要約の自動生成

文書からクエリや要約を生成する際には， Transformer [3] をべースとした seq2seq モデルを用 いる. 本研究では特に, Fusion-in-Decoder $[4,5,6]$ のアーキテクチャを取り入れ，QMSumのクエリ 指向要約タスクで最先端の性能を達成している SegEnc [7] を主に採用する. SegEnc は図 2 のように 入力文を一定の長さでチャンクとして分割し, 別々 のエンコーダに入力したものをデコーダ側で結合す る. また, シーンに応じて各チャンク共通の適切な 接頭辞を入力に追加することで効果的な文生成を実現している. 本稿では, SegEncを用いたクエリや要約の生成手法として，以下の 2 つを検討する。

## 3.1 文書全体を入力する手法

まず，クエリ生成器に文書全体と生成するクエリ 数4)を入力として与え，クエリの集合を区切り文字 で繋いだ文字列として一括で生成する. その後，要約生成器に文書全体と生成したクエリの 1つを入力 として与え，対応する要約を個別に生成する。

## 3.2 スパンを指定する手法

文書全体ではなく，特定の区間（スパン）を入力 として，クエリや要約を個別に生成する. 図 3 に示 すように，同じ文書内でも毎回異なるスパンを与 え，入力情報を差別化することで，同一の文書に対 して複数の異なるクエリ・要約を容易に生成できる ようになる。また，クエリ・要約生成の際に明示的 にスパンを指定するため，生成結果に対する説明性 の向上も期待できる.

4）ただし，生成するクエリの個数は完全には制御できない.

1 つの文書に対して複数のクエリ・要約の組を生成する際に，互いに異なるスパンをどのように指定 するかは難しい問題であるが，本稿ではシンプルな 方法として，均等割り当てを検討する。これは，図 3 のように文書全体にスパンを均等に割り当てると いうものである．単純ではあるが，文書全体を力 バーするスパンから，文書の内容を広くカバーする クエリ・要約の生成が期待できる.

ターン・フィルタ 前述の均等割り当てに対する 工夫として，ターン・フィルタを検討する。これ は，文書内のあまり重要ではないターンを事前に予測し，文書から除去することで，スパンの予測精度向上を目指すものである．具体的には，データセッ トで文書にアノテートされている複数のクエリに対応するスパンに 1 つでも含まれているターンを 1 ， そうでないターンを 0 とラベル付けした教師デー タを準備し，文書の各ターンを二値分類する．その 後，0 とラベル予測したターンの一部を除去して， スパン指定を行う．実際には，BIO 記法 [8] を採用 し, 単語ごとに BIO のラベルを予測する分類器を構築し，ターンに含まれる全ての単語の予測ラベルの 多数決でターンのラベルを決定する。

## 4 実験

提案手法の性能を検証するため，クエリ推薦付き 要約の自動生成を QMSum [2] 上で実験した. 基本的に，クエリ・要約は SegEnc で「クエリ $\rightarrow$ 要約」の 順で生成し，ターン・フィルタは無効とした。

スパン指定の有無 文書全体を入力する手法と均等割り当てでスパンを指定する手法との性能を比較 し，スパン指定がクエリ・要約の生成に与える影響 を検証したい。また本項目では，SegEncに加えて LED-large[9]をクエリ生成器とした場合も実験し, モデル構造とクエリの多様性の関係についても検証 した.

ターン・フィルタの有無 均等割り当てにおけ るターン・フィルタの有効性を検証したい．また， ターン・フィルタを有効・無効にした場合に加え， データセットの正解のスパンを与えた場合も比較 し，スパンの予測精度がクエリ・要約の性能に与え る影響について検証した。

クエリ・要約の生成方法 スパンを指定する手法 において，クエリ・要約の生成順序や方法の違いが もたらす影響について調査したい。具体的には「ク エリ $\rightarrow$ 要約」「要約 $\rightarrow$ クリ」「クエリ＋要約」「要約十クエリ」の 4 通りを検証した. 最初の 2 つは個別の生成器でクエリ・要約を順に生成するが, 生成順序を入れ替える. 残りの 2 つは 1 つの生成器でク エリ・要約の組を一括で生成するが，生成目標の順序を入れ替える。

## 4.1 評価指標

本稿では，スパンの重複度・クエリの多様性・ク エリと要約の内容一致性を文書単位で評価する。

Span-F1 スパンをターン番号の配列とみなし，正解のスパン $K$ 個と生成したスパン $K$ 個との間の 全てのペア $K^{2}$ 個について，重複度を $\mathrm{F} 1$ スコアで評価する。そしてスコアが高いぺアの組み合わせを最大二部マッチングで決定し，それらのペアの F1 ス コアの平均値を最終スコアとする.

distinct-n 生成したクエリ $K$ 個の間の語彙多様性を評価する指標として Li ら [10] が使用した distinct-nを導入する. distinct-n は $K$ 個のクエリに含 まれる [n-gram の種類数] / [n-gram の総数] で定義さ れる。本稿では $\{1,2\}$-gram について算出する.

ROUGE 正解および生成したクエリ・要約と の一致度を ROUGE-\{1,2,L(sum)\} [11] で評価する. Span-F1 と同様の要領でペアを決定し ${ }^{5)}$, それらのス コアの平均値を報告する。なおクエリについては， QMSum のスキーマ部分の一致を過剩に評価しない ようにするため，事前にルールに基づいてスキーマ 部分を除去し，ROUGEを計算する（付録 B 参照）.

## 4.2 実験結果

実験結果を表 1 と 2 に示す. 提案手法は，適切な スパン指定もしくはモデル構造によって，1つの文書に対して多様なクエリを提示し，それらに対する 要約を生成できた．また，クエリ・要約の内容に関 する精度も一定の水準に達したが，こちらは今後よ り改善の余地があると思われる．詳細な結果を以降 で分析する。なお，具体的な生成例は，本研究で制作したデモサイト6) 上で公開している.

スパン指定の有無 表 1 の2〜5行目に示すよう に，スパンを指定する手法での distinct-n は，クエリ 生成器が SegEnc・LED-large いずれの場合も，デー タセットの正解のクエリ（ $0.49,0.73 ）$ には及ばない が，一定水準の語彙多様性を達成した。一方で文書全体を入力する手法での distinct-n は， SegEnc の場
(\mathrm{sum})\}$ の平均値とする.

6) https://qss-demo.vercel.app/
}
表 1 スパン指定およびターン・フィルタの有無による性能の比較

表 2 クエリ・要約の生成方法による性能の比較

合は極端に高く，正解のクエリすら上回ったのに対 し，LED-large の場合は極端に低く，実際にはほぼ 同じクエリの反復となっていた. SegEnc は 3 節で 述べたようなモデル構造によって，明示的なスパン が無くても，実質的に均等割り当てに近い方法で文書の一部分に着目しているといえるが，LED-large には同様の機構が存在しない.これらの結果から，文書の特定の区間に着目する何らかの機構が多様な クエリの生成に重要ではないかと考えられる。ただ し，クエリ・要約の ROUGE にはいずれも明確な優劣関係が確認できなかったことから, 多様なクエリ であっても内容的に良いクエリ・要約の組が生成で きているとは限らない. 多様性と内容面での精度向上の両立は今後の課題である.

ターン・フィルタの有効性 表 1 の 5,6 行目に示 すように，ターン・フィルタを有効にした場合は， クエリの語彙多様性はわずかに低下したものの，ス パン・クエリ・要約の予測・生成精度は全面的に向上し, 本稿の提案手法の中では概ね最良のスコアが 得られた. スパンの予測精度向上に伴い，クエリ・要約を生成する精度も改善されたと考えられ，ター ン・フィルタの有効性が確認できた．ただし，表 1 の 1 行目に示すように, 正解のスパンを与えた場合 のクエリ・要約の ROUGE は他よりも大幅に高く, スパン予測の精度の低さがクエリ・要約生成のボト ルネックであることが示唆される。より適切なスパ ンの推定手法，およびスパンを指定しない生成手法 を構築することは，今後の課題である.

クエリ・要約の生成方法の影響 表 2 に示すよう に，クエリの distinct-n はクエリを先に生成する方法 (「クエリ $\rightarrow$ 要約」「クエリ+要約」) と要約を先に生成する方法（「要約ークエリ」「要約+クエリ」）で 大幅な差があり，後者の方が高い結果となった. ま た，クエリの ROUGE はいずれも「クエリ+要約」が 最も高い結果となった. このように生成方法はクエ リの生成に影響を与え，特に生成順序がクエリの語彙多様性に大きな影響をもたらすことがわかった.一方で, 要約の ROUGE は手法間での差が小さく, クエリの ROUGE との相関も確認できなかった.

## 5 おわりに

本稿では，クエリ指向要約の発展形として，クエ リも含めて自動生成するクエリ推薦付き要約を提案 し，具体的なタスクと評価方法の設計を行った. 次 に，設計したタスクに対して，文書全体を入力する 手法およびスパンを指定する手法を提案し，実験で は文書の特定の区間に着目する機構が多様なクエリ 生成に重要であることがわかった。また，スパンを 指定する手法では, 文書の不要な部分を事前に除去 することで，スパンの予測精度やクエリ・要約の生成精度が向上した. ただし，スパンの予測精度は依然として低く, クエリ・要約生成のボトルネックと なることが示唆された. さらに，クエリと要約の生成方法について検証し, 主に生成の順序がクエリの 語彙多様性に大きな影響を与えることがわかった。

今後は，クエリ・要約の組の多様性と内容面の向上の両立のため，より高度なスパンの推定手法，お よびスパンを指定しない生成手法の構築を検討した い.また，日本語を含めたデータセットの作成，よ り良いクエリ推薦付き要約の評価指標, 要約の可読性の定量的な評価方法についても研究を進めてゆき たい.

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため のマルチモーダル情報の外部制御可能なモデリング の研究開発」(課題 225）により得られたものです.

## 参考文献

[1] Hoa Trang Dang. Overview of DUC 2005. In Proceedings of the document understanding conference, volume 2005, pp. 1-12, 2005.

[2] Ming Zhong, Da Yin, Tao Yu, Ahmad Zaidi, Mutethia Mutuma, Rahul Jha, Ahmed Hassan Awadallah, Asli Celikyilmaz, Yang Liu, Xipeng Qiu, and Dragomir Radev. QMSum: A new benchmark for query-based multi-domain meeting summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5905-5921, Online, June 2021. Association for Computational Linguistics.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[4] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering, 2020.

[5] Gautier Izacard and Edouard Grave. Distilling knowledge from reader to retriever for question answering, 2020

[6] Gautier Izacard, Fabio Petroni, Lucas Hosseini, Nicola De Cao, Sebastian Riedel, and Edouard Grave. A memory efficient baseline for open domain question answering, 2020.

[7] Jesse Vig, Alexander Fabbri, Wojciech Kryscinski, ChienSheng Wu, and Wenhao Liu. Exploring neural models for query-focused summarization. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1455-1468, Seattle, United States, July 2022. Association for Computational Linguistics.

[8] Lance Ramshaw and Mitch Marcus. Text chunking using transformation-based learning. In Third Workshop on Very Large Corpora, 1995.

[9] Iz Beltagy, Matthew E Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv preprint arXiv:2004.05150, 2020.

[10] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[11] Chin-Yew Lin. ROUGE: A package for automatic evalu- ation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[12] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

## A より詳細な実験設定

全ての実験では， 1 つの実験条件（生成モデル・方法・順序，スパンの指定方法，ターン・フィルタ の有無）に対して，seed 值を変更して 5 回ずつ実験 を行い，それらの平均值を結果として報告した。ま た, 事前学習済みモデルは HuggingFace ${ }^{7)}$ で公開され ているものを使用し, 微調整の際は, Huggingface の examples の実装コード8)を適宜改変した Python ファ イル・スクリプトファイルを使用した.

## A. 1 ターン・フィルタ

事前学習済みの Longformer-base [9]を微調整して モデルを作成した. QMSum の文書は非常に長いた め,一度にモデルに入りきらない場合は, 4,096Token ごとに区切って入力を行った. その際，Vig ら [7] の研究を参考に，入力区間は $50 \%$ オーバーラップさ せ，入力の端付近の予測をなるべく使わないように 配慮した. なお，モデルの予測に基づいて文書から ターンを除去する割合は最大でも文書全体の $25 \%$ と し，残すターンがなるべく連続した区間となるよう に実装した．また，割り当てるスパンのターン数自体は，同一の文書内で通常の均等割り当ての場合と 揃えることで，Span-F1 によるスパンの重複度評価 の公平性を保つこととした. このことにより，ター ン・フィルタを有効とした場合は, 通常の場合と異 なり，割り当てたスパン間で区間の重複が発生して いる.

## A. 2 クエリ・要約生成器の学習

割り当てたスパンのテキストから $\operatorname{SegEnc}[7] も$ しくは LED-large[9] でクエリ・要約を生成した. SegEnc は BART-large[12] をバックボーンモデルと し，チャンクサイズを 512 ，最大チャンク数を 32 ，入力のオーバーラップを $50 \%$ とした. LED-large は 入力長上限が 16,384 token のものを使用した。また 生成器は, データセットの正解のクエリ・要約およ び対応する関連スパンからクエリ・要約を予測する ように学習させた。なお，学習率は $5 \mathrm{e}-6$ ，エポック 数は 10 とした.

## B クエリ評価時のスキーマ除去

本稿では，生成したクエリを評価する際，QMSum のスキーマ部分の一致を過剩に評価することを防止するため，事前にルールベースでスキーマ部分 を除去した上で ROUGE を計算した。具体的には， QMSum の論文 [2] に記載がある 13 種類の Specific Query Schema List および，条件を緩めた独自定義の スキーマを，Python の正規表現ライブラリで検出 し，スキーマ部分以外のみを残すように置換した。 スキーマとその置換方法の一例を表 3 に示す.

## C 生成結果のデモサイト

本稿で提案した，クエリ推薦付き要約の自動生成 モデルの出力例を，ブラウザ上で簡単に確認できる Web サイトを制作した. サイトは以下の URL およ

https://qss-demo.vercel.app/

7) https://huggingface.co/

8) https://github.com/huggingface/transformers


# 忠実性向上のために n-gram の抽出性を報酬とする 強化学習を用いる抽象型要約

星野智紀 上垣外英剛 渡辺太郎
奈良先端科学技術大学院大学
\{hoshino.tomoki.ho6, kamigaito.h, taro\}@is.naist.jp

## 概要

抽象型要約生成モデルの出力する要約には、要約元となる原文書に記述される事実とは異なる内容が 出力されることがある。本研究では強化学習の報酬 を要約の原文書に対する抽出性とし、それを向上さ せることで、要約生成モデルが出力する要約の忠実性向上に取り組んだ。抽象型要約のタスクで使用さ れることが多いxsum データセットを用いた実験の 結果、出力された要約の抽出性が向上し、忠実性に 対する自動評価尺度である FEQA のスコアと原文書 に対する含意が改善されることが確認された。

## 1 はじめに

近年、事前学習済み系列変換モデルに対して fine-tune することで、要約生成モデルの出力する抽象型要約の精度は大きく向上し、流暢な要約生成が 可能となった $[1,2]$ 。一方、要約生成モデルの出力 する要約に、要約元となる原文書には存在しない、異なる事実を含んでしまう問題が指摘されている [3]。この問題点は要約生成をアプリケーションとし て使用する上では深刻であり、例えば、ニュース記事の要約が事実とは反する誤りを含む場合、誤情報 を拡散する可能性があり、対処が必要である。この 深刻な問題を解決するために、先行研究では、要約生成モデルの出力する要約の事実性を向上させる 様々な研究がされてきた。

抽象型要約において、事実と異なる要約が生成さ れる原因の一つとして、原文書には存在しない単語 や意味関係が出現する問題 (hallucination) が指摘さ れている [4]。これは、原文書に対して忠実ではな い要約を生成することが事実とは異なる要約を生成 する要因となり得るという考えである。

また、学習を行うデータセット自体に忠実性を低下させる問題があるとの指摘もなされている。主表 1 事実に誤りのある要約例

流な要約タスクのデータセットである xsum デー タセット [5] において、正解となる要約中に多く の hallucination を含むことが指摘されている $[4,6]$ 。従って、このようなデータセットを用いて学習され た要約生成モデルは忠実ではない要約を生成する可能性がある。

上記で指摘されている問題点を考慮すると、抽象型要約における忠実性を向上させるためには、出力 すべき要約をデータセットのみに基づいて学習しな いような方法が求められる。

これらの背景を踏まえ、本研究では強化学習を通 じて要約生成モデルの忠実性を向上させるための手法を提案する。強化学習では報酬に基づいた学習が 行われるため、学習データのみに制約されることな く、与えられた報酬に沿う要約を学習することが可能である。また、強化学習の報酬として、我々は生成された要約の原文書に対する抽出性に着目した。

抽象型要約は、原文書に存在する文や表現を抜き 出す（抽出する）のではなく、系列変換モデルのデ コーダでトークン単位での生成を行うことで要約を 出力している。これにより抽象型要約モデルは流暢 な要約生成が可能である一方、その柔軟な表現力に より原文書に存在しない文字列を出力することで hallucination を引き起こす可能性がある。

図1（左）提案手法の概要（右上）被覆率の計算式（右下）被覆率の計算例

抽出性への着目は、系列変換モデルの出力の抽出性を向上させることで、原文書の内容に沿う要約を 生成しやすくなることで hallucination を低減させ、結果として要約の忠実性が向上するのではないかと いう考えに基づく。またこの方法は、参照要約では なく原文書に対しての抽出性を向上させるため、参照要約に含まれる hallucination の影響を低減させる ことも期待できる。さらに抽出性の計算は後述する ようにモデルでの予測を必要とせず軽量であるた め、強化学習の報酬としても適している。

上記を実現するため、要約生成モデルから出力さ れる要約がどの程度、要約元の原文書と一致して いるかをサブワード単位の n-gram で算出し、その 一致率 (以下、被覆率) [7] を強化学習の手法であ る Self-critical Sequence Training (SCST) [8] の報酬と して fine-tune 済みの要約生成モデルに対して学習を 行った。

抽象型要約タスクで頻繁に使用される xsum デー タセットを用いた実験の結果、提案手法は最尤推定 に基づく損失関数で fine-tune されたべースラインと 比較し、正解の要約との一致を測る要約の評価指標 である ROUGE は低下したものの、忠実性に対する 評価指標である FEQA と原文書に対する含意の向上 が確かめられた。

## 2 提案手法

提案手法は事前学習済み系列変換モデルを要約 データにより fine-tuneしたモデルに対して、SCST に従った重みパラメータの更新を行う。モデルの概略を図 1 （左）に示した。

## 2.1 要約生成に用いる系列変換モデル

本研究では、事前学習済み系列変換モデルの BART [1]を要約生成に用いる。BART は原文書を入力として要約を出力する Transformer エンコー ダ・デコーダモデル [9] である。エンコーダへの入力系列を $\boldsymbol{x}=x_{1} \cdots x_{n}$ 、デコーダからの出力系列を $\boldsymbol{y}=y_{1} \cdots y_{m}$ とするとき、出力系列は次式に従い出力される。

$
\hat{\boldsymbol{y}}=\underset{\boldsymbol{y}}{\arg \max } \prod_{t=1}^{m} p\left(y_{t} \mid \boldsymbol{x}, y_{1} \cdots y_{t-1}\right)
$

## 2.2 目的関数

提案手法の目的関数は最尤推定に基づく損失 $\mathscr{L}_{m l e}$ と、強化学習に基づく損失 $\mathscr{L}_{r l}$ のハイ パーパラメータ $\gamma$ による重み付き和 $\mathscr{L}_{\text {mixed }}=$ $\gamma \mathscr{L}_{r l}+(1-\gamma) \mathscr{L}_{m l e}$ (ただし、 $\left.0 \leq \gamma \leq 1\right)$ で表される。

$\mathscr{L}_{m l e}$ は訓練データ中の参照要約の系列 $\boldsymbol{y}^{*}$ を用い て次のように計算される

$
\mathscr{L}_{m l e}=-\sum_{t=1}^{m} \log p\left(y_{t}^{*} \mid \boldsymbol{x}, y_{1}^{*} \cdots y_{t-1}^{*}\right)
$

SCST に基づく $\mathscr{L}_{r l}$ は、系列変換モデルの出力す るサンプリングされた系列 $\boldsymbol{y}^{\boldsymbol{s}}$ と貪欲法によって得 られる系列 $\hat{\boldsymbol{y}}$ を用いて、次のように計算される。

$
\mathscr{L}_{r l}=-\left(r\left(\boldsymbol{y}^{\boldsymbol{s}}\right)-r(\hat{\boldsymbol{y}})\right) \sum_{t=1}^{m} \log p\left(y_{t}^{s} \mid \boldsymbol{x}, y_{1}^{s} \cdots y_{t-1}^{s}\right)
$

$r(\cdot)$ は与えられた系列に対する報酬を返す関数で あり、次節で説明する。

## 2.3 報酬

提案手法の報酬 $r(\cdot)$ には要約の被覆率を用い た。被覆率は要約に出現する単語のうち、それら の単語がどの程度原文書でも出現しているのかを 示す割合である。これは Grusky らが提案している coverage [7] の算出方法を元にしている。

本提案手法では、図 1 (右下) のように単語単位 ではなくサブワード単位で要約の被覆率を算出す

る。また、被覆率を 1 サブワードごとにだけ算出す るのではなく、サブワードの n-gram に対して、被覆率を計算する。これによって、単語単位より細かい 粒度から複数単語での被覆率までを報酬で考慮する ことができる。

繰り返しなどを含む生成結果に対して不当に高い 被覆率を与えないよう、原文書に出現するあるサブ ワードの n-gram の回数以上に要約にそのサブワー ドの n-gram が出現した場合は、原文書での出現回数までしか被覆率の算出には含めないようにした。

なお、我々は適切な n-gram のサイズを知るため、後述する実験では、n-gram の範囲を変えて複数のモ デルを学習し、それぞれのモデルが生成する要約の 違いについて分析した。

## 3 実験設定

データセット 実験には xsum データセットを用 いた。xsum はニュース記事を原文書とするデータ セットで、一つのニュース記事に対して、一つの要約が対応している。xsum は CNN/DailyMail [10] はど のデータセットにくらべ、抽象性の高い参照要約で ある。そのため、強化学習によって抽出性を高める 本研究の目的に沿うデータセットと判断した。

評価指標 本研究では、提案手法の忠実性と流暢性を評価する。そのため、忠実性と流暢性に関する 自動評価指標を用い、要約生成モデルの出力結果を 評価した。

忠実性の評価には FEQA [11] と Entailment [12]を 用いた。FEQA は要約から質問と回答を生成し、そ の質問に対して、質問応答モデルが原文書から回答 を抽出する。回答があらかじめ生成した回答と一致 していれば、忠実性があるとみなす。Entailment は 自然言語推論タスクのデータセットで fine-tune した 事前学習済言語モデル RoBERTa [13] を用いている。自然言語推論タスクとは、前提文と仮説文とが与え られた時に、その 2 文の関係が含意 (entailment) ・中立 (neutral)・矛盾 (contradiction) のいずれである かを分類するタスクである [14]。前提文・仮説文を それぞれ原文書・要約とし、含意に分類される要約 が増加すれば忠実性が向上したとみなす。流暢性の評価には、事前学習済み言語モデルであ る BERT [15]を用いる、擬似対数尤度スコア（以下、 PLL）[16] を用いた。なお、Salazar らによって提案 された PLL は系列長によってスコアが正規化され ていないが、本稿の実験結果で記載している PLLの値は要約長で正規化された値である。

要約の情報性を測る指標として、ROUGE [17] を 用いた。ROUGE は参照要約との語彙の一致を測る ことで、要約として重要であると考えられる情報を どれだけ含んでいるかを示す。

また、抽出性を報酬とした強化学習によって、要約の被覆率が向上しているかの評価も行なった。

これらの評価には xsum データセットの評価デー タを用いた。

実装・学習 提案手法を実装し、最尤推定に基づ く $\mathscr{L}_{m l e}$ の損失関数のみで fine-tune した BART モデ ルをベースラインとし、比較を行った。

提案手法の実装には huggingface が公開する transformers を用いて実装を行った。細かな実験設定については付録 A に記した。

提案手法であるSCST による学習の前に、BART モデルに対して最尤推定に基づく損失 $\mathscr{L}_{m l e}$ による 学習を 3 エポック行った。これは、SCSTによる学習の際に収束を速めるためである。また、この学習 を行ったモデルを本実験のベースラインとしてい る。SCST に基づく学習は 1 エポック行った。

これらの学習はともに、xsum データセットの訓練データを用いた。

## 4 実験結果と考察

忠実性と流暢性表 2 に忠実性と流暢性に関する 結果を示した。忠実性に関しては報酬なしのべース ラインと比べて、FEQA の場合は 2, 4-gram 報酬の 場合には向上が見られた。また、Entailment に関し ては、全ての n-gram 報酬の場合で向上が見られた。流暢性に関しては PLL の値は 4-gram 報酬で低下が 見られるものの、他の設定では参照要約と同等であ り大きく低下してはいない。この結果から、我々が 提案する n-gram に基づく抽出性を報酬に用いるこ とで参照要約と同等程度に流暢で、かつより高い忠実性を持つ要約が生成可能であることが分かった。

情報性表 3 に情報性に関する結果を示した。報酬を使用しないべースライン手法が最も高い ROUGE-1,2,Lを達成している。また、提案手法に関 しては、3,4-gram 報酬を与えたモデルは指標の値が 低くなった一方、それらより少ない、あるいは、多 い n-gram 報酬を与えたモデルは、指標の値が相対的に高くなった。

これは強化学習ではモデルが参照要約とは異なる 系列を学習しょうとする特性と、ROUGE スコアが
表 $2 \mathrm{FEQA} \cdot$ Entailment $\cdot$ PLL

表 3 情報性

単語単位に基づく表層上の一致のみに限定される ことに起因することが要因の一つであると考えら れる。その一方で、提案手法が抽出性を高める過程 で、要約上重要である、キーワードなどの情報を用 いていないため、抽出対象の重要度を考慮すること は今後の改善点であると考えられる。

抽出性 表 4 亿参照要約、ベースラインと提案モ デルの被覆率の平均値の比較を示した。提案モデル の値は、それぞれ n-gram サブワード被覆率報酬を与 えたモデルの n-gram サブワード被覆率を示してい る。この結果から、提案手法の強化学習によって、実際に n-gram サブワード被覆率は向上することが わかった。

考察 実験結果から本提案手法は参照要約と同等程度に流暢でかつより忠実性が高い要約が生成可能 であることが判明した。その一方で情報性について は低下が見られ、抽出性を考慮する際に対象とする n-gram の重要度も同時に考慮すべきであることを示唆する結果が得られた。

なお、要約性の評価指標である ROUGE は、基本的には参照要約との単語単位の n-gram の一致 を測る指標であるため、強化学習の影響によって ROUGE の値が下がったということは、参照要約表 4 抽出性

に現れない単語が出現するようになったと考える こともできる。この結果は、参照要約に存在する hallucinaiton の影響を低減させることを期待する本提案手法の動機に沿ったものであるといえる。

また、3,4-gram 付近の報酬を与えたモデルの忠実性がベースラインに比べて向上し、流暢性・情報性 は低下した。それらに比べ、1-gram や 6-gram 報酬 を与えたモデルは忠実性の向上が小さく、流暢性・情報性の低下も小さかった。これは、1-gram サブ ワードの被覆率はベースラインモデルの出力自体 が高く、報酬を与えても出力への変化が小さく、ま た、高い n-gram サブワードの被覆率は、ベースライ ンモデルの出力がかなり低く、被覆率を向上させる 学習がうまくできなかったことからと考えられる。

このことから、本実験設定において、数単語程度 にわたる n-gram サブワードを利用できる 3,4-gram を使用することが最も効果的な報酬となることがわ かった。

## 5 まとめ

本研究では、要約生成モデルが出力する要約の忠実性向上を目的として、要約元となる原文書と要約生成モデルが出力した要約との n-gram サブワード 被覆率を報酬としたSCST に基づく強化学習モデル を提案した。

xsum データセットを用いた実験の結果、提案手法 は最尤推定に基づく損失関数で fine-tune されたべー スラインと比較し、参照要約に含まれる情報をどれ だけカバーしたかを示す評価指標である ROUGE は 低下したものの、流暢性に関する評価指標である PLL は参照要約と同等程度の値を維持し、忠実性に 対する評価指標である FEQA と原文書に対する含意 の向上が確かめられた。

## 参考文献

[1] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence pretraining for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[2] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J Liu. PEGASUS: pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning, No. Article 1051 in ICML'20, pp. 11328-11339. JMLR.org, July 2020.

[3] Ziqiang Cao, Furu Wei, Wenjie Li, and Sujian Li. Faithful to the original: fact-aware neural abstractive summarization. In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence and Thirtieth Innovative Applications of Artificial Intelligence Conference and Eighth AAAI Symposium on Educational Advances in Artificial Intelligence, No. Article 586 in AAAI'18/IAAI'18/EAAI'18, pp. 4784-4791. AAAI Press, February 2018.

[4] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919, Online, July 2020. Association for Computational Linguistics.

[5] Shashi Narayan, Shay B Cohen, and Mirella Lapata. Don't give me the details, just the summary! Topic-Aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, 2018. Association for Computational Linguistics.

[6] Feng Nan, Ramesh Nallapati, Zhiguo Wang, Cicero Nogueira dos Santos, Henghui Zhu, Dejiao Zhang, Kathleen McKeown, and Bing Xiang. Entity-level factual consistency of abstractive text summarization. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2727-2733, Online, April 2021. Association for Computational Linguistics.

[7] Max Grusky, Mor Naaman, and Yoav Artzi. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 708-719, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7008-7024. IEEE, July 2017.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, I Guyon R. Garnett, and U, editors, Advances in Neural Information Processing Systems, Vol. 30. proceedings.neurips.cc, June 2017.

[10] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çağlar Gulçehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Esin Durmus, He He, and Mona Diab. FEQA: A question answering evaluation framework for faithfulness assessment in abstractive summarization. In Proceedings of the 58th Annual
Meeting of the Association for Computational Linguistics, pp. 5055-5070, Online, July 2020. Association for Computational Linguistics.

[12] Tobias Falke, Leonardo F R Ribeiro, Prasetya Ajie Utama, Ido Dagan, and Iryna Gurevych. Ranking generated summaries by correctness: An interesting but challenging application for natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2214-2220, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. July 2019.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A BroadCoverage challenge corpus for sentence understanding through inference. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16] Julian Salazar, Davis Liang, Toan Q Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, Online, July 2020. Association for Computational Linguistics.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

## A 実装の詳細

本研究のベースライン・提案手法ともに huggingface にで公開されている事前学習済み系列変換モデ ルのパラメータ "facebook/bart-base“1)を用いた。

ベースラインモデルは、BART に対してxsum データセットを用いて fine-tuneを行った。学習率は $5 \times 10^{-5}$ 、ミニバッチサイズは 8 、Gradient Accumulation Step は 1 とした。

提案手法は、ベースラインモデルに対して、xsum データセットを用いて SCST に基づく強化学習 を行った。学習率は $1 \times 10^{-4}$ 、バッチサイズは 8 、 Gradient Accumulation Step は 8 とした。また、目的関数のハイパーパラメータ $\gamma$ は 0.5 とした。

強化学習のための要約生成時は beam サイズを 4 に設定して生成を行い、最もスコアの高かった出力系列を報酬の計算と学習に用いた。また、強化学習 のためのサンプリングされた要約を生成するため に、Top-K, Top-P サンプリングを用いた。K, P はそ れぞれ $50,0.8$ に設定した。

強化学習は初期値の影響を受けやすいため、提案手法では初期値を変更した 3 つのモデルを学習し、 その中で開発データに対し最も ROUGE-1 の值が高 いものを忠実性と流暢性との評価対象とした。これ は、要約として最も相応しい文書に対して忠実性と 流暢性とを確認するべきと考えたからである。

評価分析に用いる要約生成は、beam サイズを 4 に設定して生成を行い、最もスコアの高かった出力系列を出力結果とした。

1) https://huggingface.co/facebook/bart-base


# InstructSum: 自然言語の指示による要約の生成制御

西田光甫西田京介 斉藤いつみ 齋藤邦子
日本電信電話株式会社 NTT 人間情報研究所
kosuke.nishida.ap@hco.ntt.co.jp

## 概要

GPT-3 などの事前学習済み言語モデルは，訓練 データを使うことなく指示を入力するだけで出力を タスクに適合させることができる。自然言語の指示 による言語モデルの出力制御の従来研究では，複数 のタスクの中の 1 つとして要約タスクへの適合を扱 い，どのような要約を出力するかまで制御する取り 組みがなかった. そこで本研究では, 3309 個の要約タスクを持つ InstructSum データセットを作成し た. さらに，長いソーステキストと指示の関係性を 効率的にモデリングする手法を提案した．評価実験 で InstructSum と提案手法の有効性を確認した。

## 1 はじめに

GPT-3 などの事前学習済み言語モデルは，言語モ デルにタスク定義や入出力例を自然言語で指示する ことで，モデルの Fine-Tuningを行わずに出力を制御することを可能にした [1]. 自然言語の指示によ る出力の制御は，非専門家や訓練データのないサー ビスに AI 開発の門戸を開いたことで，大きな注目 を集めている。近年では，モデルが指示に従う能力 を高めるため，大量のタスクを用意し，タスクごと に異なる指示を与えて教師ありマルチタスク学習を 行う Instruction Tuning が提案された [2]. Instruction Tuning を加えた事前学習済み言語モデルは，指示を 入力するだけで通常の訓練データを用いた教師あり 学習モデルに匹敵する性能を達成することが報告さ れている $[2,3,4]$.

本研究では, Instruction Tuning を要約タスクに導入し，自然言語の指示によって要約を制御すること に取り組む. 第一の貢献として，要約に特化した Instruction Tuning のデータセットとして InstructSum を作成した。このデータセットでは，クラスタリン グによって書き方が共通している要約の集合を得 て，クラウドソーシングによって要約の書き方を自然言語の指示に書き下した. 第二の貢献として，要

図1要約タスクにおける instruction-tuning.

約対象のテキスト（ソーステキスト）のみを先にエ ンコードして内部表現として保持することで，指示 だけを高速にエンコード可能なモデルを実現した. Instruction Tuning の従来研究に比較して要約タスク では入力長が長くなるが，提案モデルは精度を落と さずかつ効率的に指示とソーステキストを処理でき る. 評価実験により, InstructSum と提案手法の有効性を確認した。

## 2 InstructSum

## 2.1 問題定義

学習 ある要約タスクを自然言語で表現する指示 $I$ が与えられる。各タスクの訓練データとして (ソーステキスト $S$ ，ターゲットテキスト $T_{S, I}$ ) のぺ アの集合が与えられる。複数個のタスクから要約モ デルを学習する。

推論 要約モデルは，未知の指示（タスク）I と 未知のソーステキスト $S$ が与えられると，ターゲッ トテキスト $T_{S, I}$ を出力する.

## 2.2 データセットの収集

概要 前節で定義した問題定義に従うデータセッ トを構築するため，まず類似した書き方に基づく ターゲットテキスト（および対応するソーステキス

ト）のクラスタを作成し，クラスタ内のターゲット テキストに共通する指示を作成する。ここで，クラ スタ内のソース・ターゲットテキストの集合がタス クの訓練データに相当する.

ソース・ターゲットテキストの収集 [5] に従い， Wikipedia の概要部分をターゲットテキストとした.彼らは複数文書要約のために外部リンクの情報や Google 検索 API の結果を使ってソーステキストを 収集したが，本研究では同じ記事の概要以外の部分 をソーステキストとして利用した.

## ターゲットテキストのクラスタリング次にター ゲットテキストをクラスタリングし，書き方が類似 した記事のクラスタを得る. 複数の概要部分に共通 する下書きを作成するタスクを提案した [6] の手法 を参考にした。まず記事タイトルを単語分割し，同 じ箇所の 1 単語以外が一致するクラスタを作成す る. 次にターゲットテキストを単語分割し，クラス タ内の他のテキストに対してレーベンシュタイン距離を計算する. 全てのテキストと単語長の 0.7 倍以上離れている場合にクラスタから削除する．クラス タの大きさが 4 以下の場合はクラスタを削除する.

指示文の作成上記の手段で収集したクラスタの うち 900 クラスタ 8993 概要部分に対してアノテー ションを付与した. まず，以下の操作を繰り返しク ラスタに対して 5 つ指示文を作成する. この操作 では，ワーカの負荷軽減のため 1 クラスタ当たり 5 つのターゲットテキストを読む.
- 同一クラスのキーワード (Donald Trump と Joe Biden など）を各ターゲットテキストから抜き 出し, キーワードのクラス名 (President's Name など）を考える。

・クラス名に言及する指示文を書き下す。

・クラスが現れる順番が共通する場合，順序に言及する。

・クラスを含むターゲットテキストが 3 つ以下で ある場合，そのクラスを含む条件に言及する。

## 指示文とターゲットテキストの関係情報の付与次に，ターゲットテキストを文に分割したターゲッ ト文と 5 個の指示文の関係フラグを付与する. 関係 フラグは，ある指示の内容をターゲット文が含んで いるかどうかを $\{0,1\}$ で表現する.

ここで，指示文 1 から指示文 $j$ まで $(j=1, \cdots 5)$ を連結することで，1 つのクラスタから 5 通りの指示 $I$ を作成する。関係フラグを用いて，指示 $I$ の 1 指示文でも関連があるターゲット文を繋げたテキス

図 2 データセットの例. 指示 $I$ とターゲットテキスト $T_{S, I}$ に処理する前の指示文・Wikipedia 記事の例を示す.

表 1 統計值.

トを作成し，改めて指示 $I$ とソーステキスト $S$ に対応するターゲットテキスト $T_{S, I}$ と定義する. ここ で，ターゲットテキストが連続した文でないときは データセットから取り除く.

データの分割 クラスタ内の Wikipedia 記事のカ テゴリ情報を用いて，評価セットに未知の指示が含 まれるように 746/50/104 クラスタを訓練/開発/評価 セットに分割した。詳細は付録に示す.

## 2.3 データ分析

図 2 にデータ例を示す. 表 1 にデータの統計值を 示す. 指示，ソーステキスト，ターゲットテキスト のトークン長を $L_{I}, L_{S}, L_{T}$ と書く.

指示文 作成した 4500 指示文がどのような指示 なのか調査するため, 最初の単語の分布を調べた. If から始まる条件付きの指示が $13.0 \%$ ，順序に言及 する指示が $36.7 \%$ あるため，単純なキーワードクラ スだけを指定するよりも複雑な指示ができる. 残

り，多様な表現の指示が含まれる.

ソース・ターゲットテキスト ソース・ターゲッ トテキスト間の Rouge-L [7] を評価すると，28.1 であった. 外部リンクページと Google 検索結果 に基づきソーステキストを構築した Wikisum [5] は Rouge-Lを 17.0 と報告しており，InstructSum は WikiSum に比べてテキスト間の整合性が高いデー タセットであると言える.ソース・ターゲットテキ ストの長さ 1299.2 と 86.9 は要約データセットとし ては標準的か少し長い程度である。代表的なデータ

図 3 指示の分類と最初の単語の分布.

セットである CNN/DM [8] は 789.9 と 55.6 である.

## 3 モデル

同一のソーステキストに異なる指示を与えて複数回要約を生成する現実的な設定において，ソーステ キストをモデルの内部表現として保持して計算効率を高める手法を提案する. Transformer 構造 [9] の Encoder-Decoder である T5 [10] をべースとする.

入出力形式 モデルの入力は, 'Instructions: \{I \} According to the above instructions, summarize the following article. Title: $\{T i\}$ Article: $\{S\}$, とした. ここ で，波括弧は代入操作，Ti は Wikipedia 記事のタイ トルを示す. 出力はターゲットテキストのみであ る. 入力は最初の 1024 トークンのみを用いた.

内部表現保持モデル まず，Transformer の selfattention について再確認を行う. Query, Key, Valueの 行列 $Q, K, V \in \mathbb{R}^{L \times d}$ を使って隠れ状態

$
H=\operatorname{Attn}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{\top}}{\sqrt{d}}\right) V
$

を得る. $L$ は系列長， $d$ は次元サイズである.この 計算量が Transformer Encoder のボトルネックであ り， $O\left(\left(L_{S}+L_{I}\right)^{2}\right)$ の計算量が必要である.

そこで，提案モデルでは $Q, K, V$ を指示 $I$ の系列 $Q_{I}, K_{I}, V_{I} \in \mathbb{R}^{L_{I} \times d}$ とソーステキスト $S$ の系列 $Q_{S}, K_{S}, V_{S} \in \mathbb{R}^{L_{S} \times d}$ に分割する. ソーステキストを $H_{S}=\operatorname{Attn}\left(Q_{S}, K_{S}, V_{S}\right)$ とエンコードする. $K_{S}, V_{S}$ は ソーステキスト表現としてモデルが保持する.

指示が入力されたときは $H_{I}=\operatorname{Attn}\left(Q_{I}, K, V\right)$ とエ ンコードできる. $K_{I}, V_{I}$ は $K_{S}, V_{S}$ と繋げることで $K, V$ とする. この操作では, 最も大きい $O\left(L_{S}^{2}\right)$ の計算を 2 回目以降の指示入力で省略できる.

学習・推論学習時の損失は Teacher-Forcing と Cross-Entropy によって計算した. 推論時の生成は ビーム幅を 2 とした Beam-Search で行った.表 2 自動評価値. Zero-shot は InstructSumによる学習を 行わない. No Inst. は指示 $I$ を入力しない. Full は通常の Transformer モデル（full self-attention）である.

## 4 評価実験

ベースモデルである T5 に対して Instruction Tuning を実施した FLAN-T5 [4]を初期值として InstructSum で学習した. 評価指標には，要約タスクで一般的な Rouge-L（R-L） [7]，BLEU-4（B-4） [11]を用いた. その他の設定の詳細は付録に示す.

## 4.1 結果と議論

## InstructSum により指示型要約の性能は向上する

か？ 表 2 に結果を示す. InstructSum で訓練を行う ことで，Base, Large モデルであっても Zero-shot の XXL モデルの性能を大きく上回った. InstructSum による訓練は，既に Instruction Tuning 済の FLAN-T5 を初期値とした場合でも指示によって要約を制御 する能力を高める効果があった．また，RTX8000 4GPUs で計算した場合，XXL モデルの評価データ の推論時間が 161 分に対し Large モデルの訓練・推論時間は計 94 分であるから, 時間・空間計算量の 観点からも InstructSum の利用は有用である.

## 内部表現の保持により性能を維持し効率性を高 められるか？ 内部表現保持モデルを用いた場合で も，Large モデルの Rouge-L では 0.63，BLEU-4 では 0.09 ポイントと, 性能が僅かに下がるに留まった.指示を入力した Large モデル Encoder の演算数は提案手法を用いることで Base モデルの 174GigaFLOPS より小さい24GigaFLOPS に抑えられた. 入力 1024 トークンのうち指示は冒頭の平均 41 トークンであ るため，通常の self-attention は計算量が多いにも関 わらずソーステキストと指示の離れた位置間の相互作用のモデリングへの貢献が少なく，提案手法が精

} \\

図 4 提案モデルの生成例. ソース・ターゲットテキスト の全文はhttps://en.wikipedia.org/wiki/Fujifilm_X-T2 にて確認できる。

図 5 指示文数ごとの平均長.

度・計算量の面でバランスが良いと言える。

指示によって生成結果は変化するか？ 表 2 に示 す様に，指示を入力せずに InstructSum で訓練・評価 した場合，性能が下落した. 次に，図 4 に生成例を 示す. 要約の制御を学習する Instruction Tuning によ り，提案手法は指示の内容に従う要約を生成出来て いる. さらに，図 5 ・図 6 に I の指示文数ごとに評価した結果を示す. 提案手法は，正解要約の長さに 合わせて生成要約の長さも変化している. 自動評価值は短い指示・正解要約に対して性能が高い. 特に precision のみで計算する BLEU-4 で短い正解要約に 対して性能が高いことから，指示に対して簡潔に要約を生成していると言える。指示を入力しない場合 はソーステキストのみに依存するため，平均的な長

図 6 指示文数ごとの自動評価值.

さの出力を学習してしまう.

## 5 関連研究

クエリ依存要約 本研究と最も関わりの深いタス クである $[12,13,14,15,16,17]$. しかし， 1 つの指示 （タスク，クエリ）に複数のソース・ターゲットテキ ストのペアがあり，さらに複数タスクの学習ができ るという点で本研究は新しく，指示による要約の制御の研究に適している.

要約の生成制御 自然言語の指示・クエリ以外に もキーワード $[18,19]$ や長さ $[20,21,22]$ に関して要約の生成を制御する研究があるが，InstructSum は自然文で要約の内容や記載順序を指示できる点に新し さがある。一方で，長さは指示数で間接的に制御す るのみであるため，今後の課題と言える。

Instruction Tuning Instruction Tuning のために多 くのタスクを含むデータセットが提案されてお り $[2,23,24,25,26,27,28]$, それらでは要約データ セットも用いられている。しかし，これらの研究で は要約タスク自体への適合を学習する。InstructSum は要約の制御のための Instruction Tuning に取り組ん だ初めての研究である.

## 6 おわりに

本研究では，要約における Instruction Tuning を実現するため，InstructSum の作成と内部表現保持モデ ルの提案を行った. 本研究の貢献を以下に示す.

本研究の独自性. InstructSum は，ターゲットテ キストのクラスタリングと組み合わせることで要約 における Instruction Tuning に初めて取り組んだ。

本研究の重要性. 指示による要約の制御の実現 により, 自動要約の事業領域を広げることができる。 InstructSum 及び内部表現保持モデルは，この実現に 資すると考える. Instruction Tuning は ChatGPT [29] にも利用されており，言語モデル研究における 重要技術として注目されている. InstructSum は Instruction Tuning の高度化・評価に貢献できる。

## 参考文献

[1] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[2] Jason Wei, Maarten Bosma, Vincent Y Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M Dai, and Quoc V Le. Finetuned language models are zero-shot learners. arXiv preprint arXiv:2109.01652, 2021.

[3] Long Ouyang et al. Training language models to follow instructions with human feedback. In NeurIPS, 2022.

[4] Hyung Won Chung et al. Scaling instruction-finetuned language models. arXiv preprint arXiv:2210.11416, 2022.

[5] Peter J. Liu*, Mohammad Saleh*, Etienne Pot, Ben Goodrich, Ryan Sepassi, Lukasz Kaiser, and Noam Shazeer. Generating wikipedia by summarizing long sequences. In ICLR, 2018.

[6] Zeqiu Wu, Michel Galley, Chris Brockett, Yizhe Zhang, and Bill Dolan. Automatic document sketching: Generating drafts from analogous texts. In ACL-IJCNLP (Findings), pp. 2102-2113, 2021.

[7] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[8] Karl Moritz Hermann et al. Teaching machines to read and comprehend. In NIPS, p. 1693-1701, 2015.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008, 2017.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, pp. $1-67,2020$.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[12] Hoa Trang Dang. Overview of duc 2005. In document understanding conference, Vol. 2005, pp. 1-12, 2005.

[13] Hoa Trang Dang. DUC 2005: Evaluation of questionfocused summarization systems. In Task-Focused Summarization and Question Answering, pp. 48-55, 2006.

[14] Preksha Nema et al. Diversity driven attention model for query-based abstractive summarization. In ACL, pp. 10631072, 2017.

[15] Haichao Zhu, Li Dong, Furu Wei, Bing Qin, and Ting Liu. Transforming wikipedia into augmented data for queryfocused summarization. TASLP, Vol. 30, pp. 2357-2367, 2022.

[16] Sayali Kulkarni, Sheide Chammas, Wan Zhu, Fei Sha, and Eugene Ie. AQuaMuSe: Automatically generating datasets for query-based multi-document summarization. arXiv preprint arXiv:2010.12694, 2020.

[17] Ming Zhong, Da Yin, Tao Yu, Ahmad Zaidi, Mutethia Mutuma, Rahul Jha, Ahmed Hassan Awadallah, Asli Ce- likyilmaz, Yang Liu, Xipeng Qiu, and Dragomir R. Radev. Qmsum: A new benchmark for query-based multi-domain meeting summarization. In NAACL-HLT, pp. 5905-5921, 2021.

[18] Itsumi Saito, Kyosuke Nishida, Kosuke Nishida, and Junji Tomita. Abstractive summarization with combination of pre-trained sequence-to-sequence and saliency models. arXiv preprint arXiv:2003.13028, 2020.

[19] Junxian He, Wojciech Kryscinski, Bryan McCann, Nazneen Fatema Rajani, and Caiming Xiong. Ctrlsum: Towards generic controllable text summarization. arXiv preprint arXiv:2012.04281, 2020.

[20] Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling output length in neural encoder-decoders. In EMNLP, pp. 13281338, 2016.

[21] Itsumi Saito, Kyosuke Nishida, Kosuke Nishida, Atsushi Otsuka, Hisako Asano, Junji Tomita, Hiroyuki Shindo, and Yuji Matsumoto. Length-controllable abstractive summarization by guiding with summary prototype. arXiv preprint arXiv:2001.07331, 2020.

[22] Yizhu Liu, Qi Jia, and Kenny Q. Zhu. Length control in abstractive summarization by pretraining information selection. In ACL, pp. 6885-6895, 2022.

[23] Swaroop Mishra, Daniel Khashabi, Chitta Baral, and Hannaneh Hajishirzi. Cross-task generalization via natural language crowdsourcing instructions. arXiv preprint arXiv:2104.08773, 2021.

[24] Yizhong Wang et al. Super-naturalinstructions: Generalization via declarative instructions on $1600+$ tasks. In EMNLP, 2022.

[25] Victor Sanh et al. Multitask prompted training enables zero-shot task generalization. In ICLR, 2022.

[26] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zero-shot learners. In ICLR, 2022.

[27] Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt. Measuring massive multitask language understanding. In ICLR, 2021.

[28] Aarohi Srivastava et al. Beyond the imitation game: Quantifying and extrapolating the capabilities of language models. arXiv preprint arXiv:2003.13028, 2022.

[29] OpenAI. Chatgpt: Optimizing language models for dialogue, 2022. https://openai . com/blog/chatgpt/.

[30] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[31] Adam Paszke et al. Automatic differentiation in pytorch. In Autodiff, 2017.

[32] Thomas Wolf et al. Transformers: State-of-the-art natural language processing. In ACL: System Demonstrations, pp. 38-45, 2020.

## A InstructSum

## A. 1 データ収集

Wikipedia は CirrusSearch の 2021 年 10 月 11 日の dump データを用いた ${ }^{1)}$. CirrusSearch は Wikipedia をテキストに前処理したデータを提供しているた め, 表から自動変換したテキストもソーステキスト に含めることができる.

## A. 2 データ分布とデータスプリット

図 8 にソース・ターゲットテキストで作成した ワードクラウドを示す. 地名違いや年度違いのタイ トルの記事のクラスタが作成されやすいため，特に 地理・政治・スポーツのデータ数が多くなっている。

図 7 ソーステキストのワードクラウド.

図 8 ターゲットテキストのワードクラウド.

データセットが含む Wikipedia ページについて， Cirrus Search が自動分類したカテゴリの分布を表 3 に示す. 1 つのページは複数のカテゴリに属する.本研究では未知の指示に従う能力を評価するた め, Geography カテゴリをクラスタ内に含まない 104 クラスタを評価セットとした。残り796クラスタの表 3 Wikipedia 記事が属するカテゴリ/サブカテゴリの トップ 10.

うちランダムな 50 クラスタを開発セット，残りを 訓練セットとした.

## B 実験

## B. 1 実装

実験には NVIDIA Quadro RTX 8000 (48GB) GPUs 4 枚を用いた。ハイパーパラメータを表 4 に示す. 訓練時は入力長をデフォルトの 512 として学習し，推論時に T5 の relative positional embedding $の$ 最大入力長を 1024 に変更した。最適化手法には Adam [30] を 用いた。実装には PyTorch [31] と Transformers [32]を 用いた。指示を入力しないときの入力は 'Summarize the following article. Title: $\{T i\}$ Article: $\{S\}$ 'とした.図 5 と図 6 の実験では，データ数確保のため，2.2 節 の最後で行ったターゲットテキストが不連続な場合 のデータ削除を評価データでは行わなかった。

1) https://dumps.wikimedia.org/other/cirrussearch/