# 学習データの珍しさを考慮した多様な広告文生成

${ }^{1}$ negocia 株式会社
\{kai_kurogi, kota_ishizuka, kosuke_kawakami\}@negocia.jp

## 概要

リスティング広告は、様々なユーザーにリーチするために、多様な表現や訴求を用いた広告文を作成することが重要である。しかし従来の広告文生成モデルは、トレードオフの関係にある多様性と妥当性を両立することが難しい課題があった。そこで我々は、学習データに含まれる各広告文の表現の珍しさ (レア度)を計算し、レア度に応じた重み付けを行うことで、妥当性を維持しながら多様な広告文を生成する手法を提案した。結果として、既存手法以上の妥当性を獲得しながら、多様性を $29 \%$ 向上させることができた。

## 1 はじめに

リスティング広告とは、ユーザーの検索キーワー ドに関連した広告がリスト形式で表示される広告である。リスティング広告の入稿形式の 1 つであるレスポンシブ検索広告 (RSA) は、1つの広告に複数の広告見出し、説明文を入稿し、配信媒体側でその組み合わせを自動で調整することで、ユーザーごとに最適な広告文を表示できる広告である。例えば Google や Yahoo!の RSA では、最大 15 個の広告見出し、及び最大 4 個の説明文を一つの RSA に入れることができる。RSA の運用では、様々なユーザーにリーチするためにその入稿枠を全て埋めることが推奨されている。しかし、広告ごとに大量のアセットを考える業務負荷は非常に大きい。そのため、制作現場では多様な広告文を生成出来る技術が求められている。

この課題に対して川本ら [1] は、変分 AutoEncoder により広告文の潜在空間を獲得し、品詞系列で条件づけることで、多様な広告文を生成する手法を提案している。しかし上記手法では、多様性が向上する代わりに、妥当性や流暢性が低下するトレードオフの問題が確認された。また、近年では Transformer[2] に代表される事前学習済み汎用言語モデルを活用
することで、高い流暢性を持った広告文自動生成技術が数多く提案されている。脇本ら [3] や黒木ら [4] は大規模言語モデルの入力にキーワードを利用することで、大規模言語モデルが元々備える流暢性と、キーワードによる方向付による妥当性の両立に成功した。しかし上記手法は、多様性向上を目的としていないため、何度生成しても同じょうな広告文ばかりが生成されてしまうという問題があった。そこで本研究では、高い妥当性を維持しながら、既存の手法よりも多様性を高くするモデルの学習方法を提案する。具体的には学習データに含まれる各広告文の表現の珍しさ（レア度）を事前に計算し、 そのレア度に応じて学習データの重み付けを行った。レア度で重み付けを行うことで、モデルは珍しい表現が使われた広告文を重視して学習するため、生成時に多様性が向上することが期待できる。レア度の計算には Perplexity を用いた。また、モデルの評価には Pairwise-BLEU[5], local-distinct ${ }_{n}(\mathrm{n}=1,2)[1]$, recall-BLEU[6] を用いた。

## 2 提案手法

本研究では、事前にて学習データの各広告文のレア度を Perplexityによって計算し、モデル学習時にその値に応じた重み付けを行うことで、様々な表現が出やすい広告文生成モデルを作成した。

## 2.1 Perplexity

Perplexity は言語モデルの複雑さを示す指標であり、以下の式で計算される。

$
\text { Perplexity }=\prod^{N} P(c)^{-\frac{1}{N}}
$

ただし $P(c)$ はトークン $\mathrm{c}$ の発生確率である。これはモデル分布が正解トークンを選択する難しさを示しており、Perplexity が小さいモデルは、より正解トークンを選ぶ確率が高い、すなわちより流暢なモデルであると考えられている。ただし広告文生成タスクにおいては、一つの入力に対して、複数の出
力が正解となることが一般的である。このような場合、Perplexity は「レア度」と解釈することができる。すなわち、ある広告文の Perplexity を計算した際、その值が小さい場合は、対象の広告文にはよく見る表現が多く含まれていることを示している。逆に Perplexity が大きい場合、その広告文には珍しい表現が多く使われていると考えることができる。本研究では、事前に準備した非常に軽量な学習済み言語モデルを用いて、データセットの個々の広告文に対して Perlexityを計算した。

## 2.2 Perplexity による重み付け学習

データセット全体の広告文を $\mathrm{T}_{m}=\left.\{T_{1}, T_{2}, \ldots, T_{m}\right.\}$ とする。各広告文がトークンの長さ $=N_{i}$ のトークン $T_{i}=\left(t_{i 1}, t_{i 2}, \ldots, t_{i N}\right)$ で表される時、 $T_{i}$ の Perplexity= weight $_{i}$ を用いて、以下の値を最大化するようモデルのパラメータを学習させた。

$
\sum_{T_{i} \in T_{m}} \text { weight }_{i} * \sum_{1 \leq n \leq N}\left(\log p\left(t_{i n} \mid \text { input }, t_{i<n}\right)\right)
$

ただし $t_{i<n}:=\left(t_{i 1}, t_{i 2}, \ldots, t_{i(n-1)}\right)$ である。すなわちモデルは、より Perplexity が高い広告文を重視するように学習した。

## 3 実験

本実験では、Perplexity の重みづけによる多様性の変化を観察するため、以下で指定されたモデルに対し、Perplexityによる重みづけのあり (reference)、なし (baseline) の 2 パターンでモデルを学習し、それぞれの生成文の品質を比較した。

## 3.1 モデル

黒木ら [4] の手法を参考に、言語モデルとして T5[7]を採用した。また、モデルの入力は、キーワー ド、及び広告の遷移先 URL であるランディングページ (LP) の HTML から取得したタグ情報を連結した文字列を用いた。埋め込み層には、HTMLのタグ情報による Tag Embeddings を追加した。つまり、本モデルは一つのキーワードと LP のペアから広告文（広告見出し、及び説明文）を生成するモデルとなる。

## 3.2 データセット

学習に用いるデータセットは独自にスクレイピングすることで得られたデータを用いた。各データは検索キーワード、キーワードによって表示された広表 1 評価結果 (広告見出し)

表 2 評価結果 (説明文)

告文、LP の HTML から構成されており、学習デー タ 741,506 件とテスト用データ 82,320 件に分割して使用した。

## 3.3 評価方法

モデルの性能は自社で保有する、RSA の配信デー タ 200 件を用いて評価した。評価に用いたデータの全体図を図 1 に示す。各配信データはRSAに入稿されているアセット群、RSA に紐づくLP の HTML、及び RSA が紐づく広告グループに登録されたキーワード群からなる。ただし本モデルは一つのキーワード、LPのペアから広告文を生成するモデルである。そこで本実験では、キーワー ド群の中からコストの高いキーワードを最大 10 個まで抜き出し、それぞれのキーワードと LP のペアで広告文を生成することで、LPごとに生成結果を取得した。また、定量評価は広告見出し、説明文ごとに行い、評価指標には Pairwise-BLEU, local-distinct $_{n}(\mathrm{n}=1,2)$, recall-BLEU を用いた。

図 1 広告グループ、アセット群、LP、キーワード群、生成結果の関係の概要図

## 3.3.1 Pairwise-BLEU

Pairise-BLEU は Shen ら [5] らによって提案された多様性を測る指標であり、生成結果とアセット群間の BLEUではなく、生成結果間の BLEUを計算した値である。ある一つの生成結果に対し、それを除く全ての生成結果を参照文と見做すことで BLEU を計
表 3 各モデルの生成例（広告見出し）

算する。生成結果が多様なほど低い値を取る。

## 3.3.2 local-distinct-n

local-distinct-n は川本ら [1] によって提案された多様性を測る指標であり、生成結果全体の n-gramのうち、ユニークな n-gram の割合を元に計算した値である。生成結果が多様なほど高い值を取る。また、 Pairwise-BLEU とは異なり、同じテキストの中にユニークな n-gram が多い場合も高い値を取る。本実験では $\mathrm{n}=1,2$ とした。

## 3.3.3 recall-BLEU

recall-BLEU は Hui ら [6] によって提案された妥当性を示す指標であり、実際に入稿されていたアセット 1 つ 1 つに対して、生成結果を参照文と見做して BLEU を計算し、平均を取った値である。生成結果の妥当性が高いほど高い值を取る。 recall-BLEU が小さい值となった場合、元の RSA のアセットに含まれていない文ばかりを生成している、すなわち妥当性の低いモデルであると判断することができる。

## 4 結果と考察

## 4.1 定量評価

定量評価の結果を表 1、表 2 に示す。多様性を示す Pairwise-BLEU, local-distinct ${ }_{n}(\mathrm{n}=1,2)$ については、説明文の local-distinct t $_{1}$ を除く全ての指標で reference が baselineを上回った。特に、広告見出しにおける Pairwise-BLEU では、 reference が baseline より約 $29 \%$ 高い結果が得られた。また、妥当性を示す recall-BLEUにおいても、広告見出し、説明文のいずれの場合も reference が baseline を上回った。つまり提案手法は、多様性と妥当性を同時に上げられる手法だといえる。これは、重み付けにより、レア度が高く、かつ流暢・妥当性があるトークンと、そもそも文法的にありえないトークンの両者を区別できる
ようになったからだと考えられる。重み付けを行うことで、前者のトークンのみ出力確率を引き上げることができたため、妥当性、多様性が同時に向上したと思われる。

## 4.2 定性評価

定性評価のためのキーワードと広告見出しの生成例を表 3 に示す。LP はエステサロンの比較サイトを用いた。いずれのモデルも、個々の広告文を見ると広告らしい文が生成できていることが確認できる。reference では”瘦身エステ”などの定番の表現に加え、キーワードには含まれないものの、”フェイシャル”、"美脚”などエステの定番部位を含んだものや、"気になるお腹の脂肪には?"といった問いかけ表現を生成することができた。一方 baseline では”瘦身エステ”などの定番表現や、“セルライト”などキーワードに含まれる表現を含んだ広告文は生成できたものの、キーワードから連想できるが、キー ワード自身には含まれていないその他表現はあまり生成することができなかった。つまり、もし制作現場で全てのキーワードが網羅できている場合、両モデルに大きな差は出ないが、全てのキーワードを網羅することが難しい場合には、reference モデルを用いた方が、より多様な表現を獲得できると言える。

## 5 まとめ

本研究では、広告文生成タスクについて、データセットに Perplexity による重みづけを行う手法を提案した。実験の結果、提案手法は既存手法以上の妥当性を持ちながら、多様性を約 $29 \%$ 上げることができた。本手法は loss の計算時に weight で重み付けするだけで実現できるため、既存の様々な手法に組み込むことが可能である。一方、本モデルは多様な表現の広告文を生成出来るものの、その広告文を実際に配信した時に高い広告効果が得られるかどうかは考慮していない。そこで今後は、多様性を維持しな

がら、より広告効果が高い広告文を生成する手法に

ついて研究したい。

## 参考文献

[1] 川本峻頌, 張培楠. スタイル制御を考慮した多様な広告文生成. 言語処理学会第 25 回年次大会, 2019.

[2] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, u. Kaiser, and I. Polosukhin. Attention is all you need. Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010, 2017.

[3] 脇本宏平, 川本峻頌, 張培楠. インターネット広告におけるキーワードに基づく広告文の自動生成. 2020 年度人工知能学会全国大会, 2020 .

[4] 黒木開, 石塚湖太, 川上孝介, 中田和秀. 複数の指定語句を必ず含むリスティング広告の広告文自動生成. 言語処理学会第 28 回年次大会, 2022.

[5] T. Shen, M. Ott, M. Auli, and M. Ranzato. Mixture models for diverse machine translation: Tricks of the trade. Proceedings of the 36th International Conference on Machine Learning, pp. 97:5719-5728, 2019.

[6] C. Hui, H. Zhao, Y. Song, and B. Lu. An empirical study on development set selection strategy for machine translation learning. Proceedings of the Joint Fifth Workshop on Statistical Machine Translation and MetricsMATR, $p$. 67-71, 2010.

[7] C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Zhou Y., W. Li, and J. Liu. P. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, p. 21(140):1-67., 2020.


# 敵対的生成ネットワークを用いて抽出した 画像の構造情報に基づく画像キャプション生成

田辺雄大 ${ }^{1}$ 綱川隆司 1
1 静岡大学大学院 総合科学技術研究科 情報学専攻
tanabe.yudai.17@shizuoka.ac.jp tuna@inf.shizuoka.ac.jp

## 概要

画像キャプション生成タスクは画像認識と自然言語処理が含まれる複雑なタスクである。本論文では画像認識の部分に生成モデルである GANを応用する。対象の画像を GANを用いて再構成し、再構成した画像から画像の内部表現を得る。これによりランダムで特徵量を得た場合よりも良い性能を出した。また、画像を再構成することにより、再構成する前のデータセットよりもキャプションモデルを変化させた場合の影響が大きくなった。これにより GAN での再構成によって空間的に画像を捉えるようになったことの示唆が得られた。

## 1 はじめに

入力された画像の説明文を生成する画像キャプション生成は画像認識とその画像に対する自然言語処理を扱う人工知能の研究分野として注目されている。画像処理においてはオブジェクトの検出と認識が必要であり、また、どのような状況なのか、そのオブジェクトの特性はどのようなものか、それらの相互作用は何かも理解する必要がある。ある言語の文として正しいテキストを生成するためにはその言語の構文的・意味的な知識が必要である。

機械が画像を理解するためには画像の特徴をどのように取得するかに大きく依存する。画像の特徴抽出には従来の機械学習ベースの手法と、深層学習ベースの手法に分けられる。

従来の機械学習ベースの手法では LBP[1] SIFT[2], HOG[3] などの特徴や、それらの特徴の組み合わせが広く使われている。入力データから特徵を抽出し、サポートベクターマシーン (SVM)[4] などの分類器に入力することでオブジェクトを判別する。

一方、深層学習ベースの手法では大規模な画像や動画のデータセットから自動で特徴を学習するため、多様な入力に対応できる。例として、画像からの特徵抽出には CNN(Convolutional Neural Networks)[5] が、広く用いられる。CNNでの処理に続いてキャプション生成には RNN(Reccurent Neural Networks) が一般的である。

近年頻繁に用いられる生成モデルである GAN(Generative Adversarial Nets) は画像などの生成タスクで大きな成功を収めている。GAN は生成器と、生成器から生成されたものが本物か偽物かを見分ける識別器によって構成されている。GANを画像キャプション生成に応用した手法ではキャプション生成モデルを生成器とし、生成されたキャプションを評価する識別器を交互に評価するために敵対的学習を行った [12]。この手法により従来の強化学習ベースの画像キャプション生成モデルよりも良い性能となった。さらにその過程でよく学習された識別器は画像キャプションの評価指標としても利用することができる。GAN の学習方法や識別器を画像キャプション生成タスクに応用する研究は行われている。本研究では GAN を画像処理部分に応用することによるキャプション生成への影響を調査するため、GANを画像処理部分に応用する手法を提案する。

## 2 few-shot part segmentation

GAN の潜在変数を変化させると生成画像も変化するという研究もあり、GAN の各層から抽出する内部表現は生成画像と密接に関係している。Tritrong ら [10] の研究ではその内部表現を利用することによってセマンティック情報を保持することができるのではないかと仮定された。Tritrong ら [10] はその内部表現を利用することによってセマンティック情報を保持することができると仮定し、セマンティックパートセグメンテーションによる手法を提案した。セマンティックパートセグメンテーションとは画像内のオブジェクトのセグメント化を行うセマンティックセグメンテーションとは異なり、オブジェクト内のセグメント化するタスクになっている。目

図 1 few-shot part segmentation モデル図 [10]

や鼻・顔のように 2 つの隣接するパーツ間の境界が曖昧なことがあるためセマンティックセグメンテー ションよりも難しいタスクになっている。 モデルの概要図が図 1 である。

1. 対象となるドメインのデータセットで GANを学習

2. 学習済み GANを用いて画像の内部表現を生成
3. 2 で生成した画像に手動でアノテーション

4. 内部表現を入力として few-shot セグメンテー ション
5. 4 において新にデータセットを作成し、新たにセグメンテーションマップを予測

GAN には StyleGAN2 が用いられ、few-shot ネットワークには評価実験の結果から CNN が採用されている。内部表現の抽出は 1 のように、生成器の全ての層から活性化マップを抽出し、それらを最大次元ヘアップサンプリングし連結することによって得る。この内部表現は生成された各画像にのみ有效であり、テスト画像には使用することができないが、任意のテスト画像を生成する潜在変数を最適化することで同様に内部表現を得ることができる。

これらの内部表現を利用し学習した結果、非常に少ない数のラベル付きデータでパートセグメンテー ションを可能にし、10～50 倍のラベルを必要とする完全教師有りの手法と同程度の性能を出した。本研究により、GAN が画像を生成する際に画像の構造情報を学習していることの示唆を与えた。筆者はこの技術に着目し、GAN の生成器が保持している画像の構造情報をキャプション生成モデルに入力することで、よりキャプションに画像の構造情報が反映された結果となることに期待した。

## 3 提案手法

提案手法のモデル図が図 2である。提案手法は GANを用いて画像から内部表現を抽出するタスクとキャプション生成モデルを用いて内部表現から

れる。

## 3.1 画像投影器

データセットの画像を GAN で生成するための潜在変数を得る。StyleGAN2[8] では与えられた画像に対応する潜在変数を得る際に、拡張などを行うことなく元の潜在空間から潜在変数を得る。最適化の際に潜在変数にランダムノイズを加え、そのノイズの最適化も行う。

元画像と再構成画像の LPIPS[13] 距離を $D_{\text {LPIPS }}\left[\boldsymbol{x}, g\left(\tilde{g}^{-1}(\boldsymbol{x})\right)\right]$ として計算し、画像の類似度とする。ここで $x$ は対象の画像、 $\tilde{g}^{-1}$ は近似投影演算を表す。

## 3.2 画像からの内部表現抽出

ベースライン: Rennie ら [11] の研究では 101 層の Resnet-101 で特徴量を抽出している。Attention モデルでは最後の畳み込み層で画像を符号化し、出力が $14 \times 14 \times 2048$ のサイズになるように最大プーリングを行う。後述するキャプション生成モデルに FC モデルを用いる場合は出力層を空間的に平均化することで 2048 次元の特徴量を得る。

提案手法: Tritrong ら [10] の研究では、生成器の各層からから $a_{1}, a_{2}, \ldots, a_{n}$ のように活性化マップを抽出する。さらにこれらを以下の式で結合する:

$
F=\mathbb{U}\left(a_{1}\right) \oplus_{c} \mathbb{U}\left(a_{2}\right) \oplus_{c} \ldots \mathbb{U}\left(a_{n}\right)
$

ここで、 $U()$ は画像サイズに空間的にアップサンプリングする関数であり、 $\oplus_{c}$ はチャンネル次元に連結する処理である。

提案手法ではキャプションモデルの入力やベースラインの次元数に合わせるためアップサンプリングではなく、14 × 14 に次元数を整え各層を連結する。提案手法では学習済み GAN の生成器を用いて画像から特徴量を抽出する。まず初めに対象となるドメインの画像群で GANを学習し、そのドメインの画像を生成するモデルを作成する。次にキャプション付きデータセットの画像を画像投影器に入力し、学習済み GAN に入力するための潜在変数を取得するとともに、学習済み GAN の生成器を用いて画像の再構成を行う。そしてその潜在変数を同様の学習済み GAN の生成器に入力し、内部表現を得る。 このようにして画像から対応する内部表現を抽出する。

図 2 提案手法のモデル図

## 3.3 キャプション生成モデル

FC モデル: 入力画像を CNN などで特徴量を取得し、線形射影で埋め込む。単語はワンホットベクトルで表現され、同様の次元数の線形埋め込みで埋め込まれる。このモデルではまず単語が生成され、 LSTM にフィードバックされる。モデルのパラメー タを $\theta$ とすると教師データが与えられたときのクロスエントロピー誤差を損失関数 $L(\theta)$ として最小化する：

$
L(\theta)=-\sum_{t=1}^{T} \log \left(p_{\theta}\left(w_{t}^{*} \mid w_{1}^{*}, \ldots w_{t-1}^{*}\right)\right)
$

Attention モデル (Att2in2): Attention モデルは各タイムステップで画像の特定の領域に焦点を当てるために入力された空間的特徴を動的に再重み付けする。Xu ら [9]によるキャプションのための Attention モデルのアーキテクチャを修正し、LSTM のセルにのみ Attention によって得られた特徵量を入力する。式 (1)と同様の損失を最適化する。

## 4 実験

## 4.1 データセット

画像の内部表現を抽出するための GAN の学習には BIRDS450[7] という 450 種類の鳥が含まれるデー タセットを使用した。BIRDS450 のうち、GAN の学習には学習用の 70626 枚を使用した。

本論文でのキャプションモデルの学習には全て CUB-200(Caltech-UCSD Birds-200-2011)を使用した。 このデータセットは 200 のサブカテゴリからなる学習用 5994 枚、テスト用 5794 枚の合計 11788 枚となっている。各画像には 10 個のキャプションが付けられており、10 単語以上の文となっている。語彙は 5 個以下の単語を削除した。

提案手法では全てのデータセットの GAN による再構成を行う。CUB-200をGAN で再構成した画像
を用いてベースラインモデルの学習も行い、提案手法と比較する。

評価指標は BLEU、METEOR、ROUGE-L、CIDEr-D を用いる。

## 4.2 画像の内部表現

画像から特徴量を抽出する方法は 3.2 節の通りである。ベースラインである ResNet からは FC モデルでは 2048、Attention モデルでは $14 \times 14 \times 2048$ 次元である。提案手法からは FC モデルでは各層の次元数が $(512,512,512,512,512,512,512,512,512,256,256,128,128)$ となっているので全て合わせて 5376 次元、Attention モデルでは $14 \times 14 \times 5376$ 次元となる。

また、提案手法と比較するためにランダムで特徴量を生成し比較実験を行う。正規分布から FC モデル、Attention モデルそれぞれ 5376 次元、 $14 \times 14 \times$ 5376 次元の特徴量を得る。

## 4.3 実験結果

## 4.3.1画像の再構成

StyleGAN2 によって再構成された画像と元の画像の LPIPS 距離のヒストグラムが図 3 である。画像のリサイズを行っているため LPIPS の值が高くなってしまう画像がある。画像から潜在変数、潜在変数から画像へのマッピングが複雑なため再構成が失敗する例も存在する。

画像の再構成によって元の画像とは異なる画像となってしまう場合がある。そのような画像にも同様のキャプションを付けた場合、結果にどのような影響があるかの検証を行う。画像の特徴抽出はベースラインモデルで行う。

表 1 の 2 行目はテストデータの画像だけを再構成画像に変えた場合、3 行目は学習・テストデータ両方の画像を再構成画像に変えた場合の結果となって
表 1 モデルと特徴量による実験結果

図 3 LPIPS 距離のヒストグラム

いる。テストデータのみ変化させた場合は、どちらも変化させた場合よりも評価指標に大きな差がないことがわかる。図 4 はベースラインモデルで学習・ テストデータどちらも再構成画像を用いた場合でのテストデータの LPIPS と perplexity の散布図である。 これより、再構成画像の LPIPS と perplexity には相関がない、すなわち元画像と再構成画像の差と生成されたキャプションの精度には相関がない。

## 4.3.2 画像の内部表現抽出方法による実験

画像の内部表現抽出による比較を行う。結果が表 1 である。FC モデル、Attention モデルどちらも ResNet から得た特徴量の方が良い性能となっている。データセットに CUB-200 再構成を使ったケー スでは Attention モデルにすることで性能が大幅に向上するが、CUB-200では向上が見られない。その結果 CUB-200 で学習した場合と CUB-200 再構成のデータセットで学習した Attention モデルの精度が同程度となった。一方、ランダムの特徴量では性能が

図 4 ベースラインモデルでの LPIPS と perplexity

劣化した。提案手法はランダムで特徴量を得た場合よりも良い性能となっているため提案手法は画像の意味を持つ特徴量を抽出できていることがわかる。

## 5 結論

本論文では画像キャプション生成タスクの画像から特徴量を取得するモジュールにGANを応用する手法を提案した。GAN が画像生成時に画像の構造も学習しているという性質を利用し、その画像キャプション生成への適用について調査した。その結果、本論文では GAN から得た特徴量がランダムで得た特徴量よりも優れていることが示された。さらに画像を再構成することで画像の特徴量を線形に取得する FC モデルに対して空間的に画像の特徴量を取得する Attention モデルを適用した場合の精度の向上幅が上昇し、Attention モデルでは精度が FC モデルでもとの特徵量を用いた場合と同程度となった。 これにより画像を再構成することで、空間的に画像を捉えるようになったことの示唆が得られた。

## 参考文献

[1] Ojala, Timo, Matti Pietikäinen, and Topi Mäenpää. ”Gray scale and rotation invariant texture classification with local binary patterns." European conference on computer vision. Springer, Berlin, Heidelberg, 2000.

[2] Lowe, David G. "Distinctive image features from scaleinvariant keypoints." International journal of computer vision 60.2 (2004): 91-110.

[3] Dalal, Navneet, and Bill Triggs. "Histograms of oriented gradients for human detection." 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). Vol. 1. Ieee, 2005

[4] Boser, Bernhard E., Isabelle M. Guyon, and Vladimir N. Vapnik. "A training algorithm for optimal margin classifiers." Proceedings of the fifth annual workshop on Computational learning theory. 1992.

[5] LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.

[6] Hossain, MD Zakir, et al. "A comprehensive survey of deep learning for image captioning." ACM Computing Surveys (CsUR) 51.6 (2019): 1-36.

[7] https://www.kaggle.com/datasets/gpiosenka/100-birdspecies

[8] Karras, Tero, et al. "Analyzing and improving the image quality of stylegan." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.

[9] Xu, Kelvin, et al. "Show, attend and tell: Neural image caption generation with visual attention." International conference on machine learning. PMLR, 2015.

[10] Tritrong, Nontawat, Pitchaporn Rewatbowornwong, and Supasorn Suwajanakorn. "Repurposing gans for oneshot semantic part segmentation." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021.

[11] Rennie, Steven J., et al. "Self-critical sequence training for image captioning." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

[12] Chen, Chen, et al. "Improving image captioning with conditional generative adversarial nets." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. No. 01. 2019.

[13] Zhang, Richard, et al. "The unreasonable effectiveness of deep features as a perceptual metric." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 人間とシステムの議論に基づく NLP タスクの問題に対する予測

金子正弘 ${ }^{1}$ Graham Neubig ${ }^{2}$ 岡崎 直観 ${ }^{1}$
1 東京工業大学 ${ }^{2}$ Carnegie Mellon University
masahiro.kaneko@nlp.c.titech.ac.jp gneubig@cs.cmu.edu
okazaki@c.titech.ac.jp

## 概要

人間は共通の問題に取り組む際、対話による議論を通じてお互いに考えの説明、同意や反論を行い問題解決を目指す。同様に、タスクを解く際にシステムと人間との間で議論ができるようになると、システムの性能改善や信頼性向上につながる。既存研究では相互に意見を述べるのではなく、システムが一方的に人間に予測の説明をする、または人間が一方的に予測について質問をすることしかできない。本研究では対話によりタスクの予測結果を議論するデータセットを作成し、議論可能なシステムを構築する。実験により、提案システムが有益な議論ができること、問題に関する議論を通じてシステムの性能改善につながることを示した。

## 1 はじめに

深層学習システムは様々なタスクで高性能を達成することが判明し、実用化が加速しているが、その予測理由を人間に分かるように説明することは不得意である。問題解決のために人間がシステムの力を引き出そうとするには、データや内部状態、出力傾向などを分析する必要があり、深層学習に精通した専門家でないと難しい。この問題に対処するため、人間の情報伝達に用いられる基本的な道具である自然言語を介して、直感的にシステムの力を引き出し、問題解決を目指す研究が進められている。

これまでに、システムの予測理由を自然言語で人間に説明する手法が提案されている $[1,2,3,4]$ 。これは従来のデータや内部状態、出力傾向などを分析する方法と比較して、システムについて人間が直感的に把握できる。しかし、説明生成の研究では人間が追加の説明を求めたり、特定の説明を要求することを想定していないため、解釈性や実用上が乏しいことが指摘されている [5]。

Slack ら [5] は対話形式で人間がシステムに予測理

図1 NLIにおける人間とシステムの議論の例。

由やタスクについて質問することができるシステムを提案した。対話できるトピックは事前に決められているが、説明生成とは異なり人間からシステムに対して特定の説明を要求できる。一方で、人間同士で問題解決を行う場合は、人間が一方的に説明したり質問するのではなく、互いに説明や質問を行い、議論しながら課題解決を行う。互いに意見を述べ議論することは考えを洗練させることにつながり、問題解決にとって重要であるが、既存手法では人間とシステムの相互の情報伝達や議論を実現できない。

本研究では、図 1 のようにモデルが人間と対話形式で予測について議論するシステムを提案する。これにより、人間とシステムの両方が予測の説明や不明点の質問などを行い、考えを洗練させ問題解決を行うことが可能になる。前提文と仮説文の関係が含意、矛盾と中立のいずれであるかを予測する自然言語推論（Natural Language Inference; NLI）タスクにおいて GPT-3 [3] による実験を行った。人間と議論するシステムを学習するために、NLI の問題に対して人間が予測を行い、その結果について人間同士が議論するデータを作成した。定量評価と人手評価の結
果、作成したデータを few-shot に用いたシステムは作成したデータを用いないシステムと比較して、有益な議論を行えることが分かった。さらに、問題に対する議論の情報をシステムに与えることで、議論の情報が与えられていないシステムと比較して、性能が多くの場合で改善することを示した。

## 2 関連研究

Slack ら [6] はローン、糖尿病、再犯予測の 3 つのタスクにおいて対話により説明する TalkToModel を提案した。ユーザは TalkToModel と予測の説明、 データの変更、エラー分析、対話履歴の参照と実験設定の説明の 5 つのカテゴリに関して対話することができる。これらのカテゴリに関連した対話をするようにアノテータに指示することで、TalkToModel を学習・評価するデータを作成している。一方で、 カテゴリはインタビューやデータに基づいて決定されたのではなく、著者らが主観的に定義している。 そのため、自由形式で対話する本研究とは異なり、人間が実際に必要とするシステムの会話に基づかない可能性がある。さらに、人間とシステムの両者が意見や質問を述べる両方向の対話による相互理解を目指す本研究とは異なり、システムが人間の質問に答えるような一方向な対話のみを対象としている。

Lakkaraju ら [5] は、既存の AI システムの説明の有用性や今後の説明のあり方について、AI 以外の専門家のニーズを把握するために、医療や健康管理、政策立案の専門家らにインタビューを行った。その結果、AI システムを用いて意思決定を行う際は人間の同僚と仕事をするように対話形式で考えを説明できることを好むことを明らかにした。さらに、これらの専門家らは対話形式の説明を行うことでシステムにも説明責任を果たすことを望んでいることも分かった。そのため、対話を用いて人間とシステムが議論することは相互理解のために有望かつ有益であると考えられる。

## 3 実験

議論可能なシステムを学習するために、ラベルの予測が異なる人間同士が NLI の問題について議論するデータを作成する。NLP タスクの問題に対して人間同士が質の高い議論を行うには、タスクに対する知識を持つアノテータが各問題に対して複数ターンの対話を行わなければならず、データ収集のコストが高い。そのため、事前学習モデルに対してプロン
プトを適用した few-shot[3] 言語生成により議論を行うシステム構築することで、学習データ作成のコストを抑える。

## 3.1 データ作成

議論能力の評価と few-shot のプロンプトに用いるための議論データは、NLPにおいて一般的なベンチマークデータである Stanford NLI （SNLI）[7] に対して作成する。自然言語処理の研究に関する知識を持つ 4 人にアノテータを依頼した。まず、SNLI の開発データから 100 問をサンプリングし、アノテー タに前提文と仮説文を提示し、ラベルを予測してもらった。その後、ラベルが異なったアノテータ同士が対となり、問題について個人情報と不適切な発話を含まないように注意しつつ、ラベルが一致するまで自由形式で議論し、最終的なラベルを決定する。 SNLI の開発データには、5つのラベルが付与されており、これらのラベルの多数決により正解ラベルを決めている。5つのラベルが異なっている問題を対象とする方が、議論を行うためのアノテータ間でラベルが異なるデータを効率的に収集できると考えられる。そのため、5つ中 3 つが同一のラベルになっている問題からアノテーションのための問題をサンプルした。そして、各発話に対して最終的なラべルの根拠と「なる」「ならない」「無関係」のラベルを付与する。例えば、図 1 であれば、「どちらも人が椅子に座っているが、性別が指定されていないので中立です」は根拠となり、「どちらも人が椅子に座っているので含意です」は根拠とならず、「はい」 は無関係となる。これらのラベルは few-shot 学習の際に用いないが、システムの議論能力を自動評価するために用いる。

このアノテーション作業では、39 問に対して議論データを収集した。そのうち、10 問を few-shot のためのプロンプトとして使い、29 問を評価に用いた。 1 つ問題に対して平均で 8.9 発話、最短で 3 発話、最長で 13 発話の議論が行われていた。ラベルの根拠と「なる」「ならない」「無関係」のラベルの数は評価データにおいてそれぞれ、 $34,35,14$ であった。

## 3.2 システム

実験に用いるシステムは zero-shot、few-shot 事例と few-shot 事例十議論の 3 つである。zero-shot ではタスク説明のみ、few-shot 事例ではタスク説明と事例（前提文、仮説文とラベル）、few-shot 事例十議

タスク説明 Please select the label whether the premise and hypothesis are entailment, contradiction, or neutral. Premise: A woman in black pants is looking at her Premise: A woman in black pants is looking at her cellphone. Hypothesis: a woman is looking at her phone Label: entailment Discussion: Human1: It is entailment, because a woman is looking at her phone in both sentences. Human2: Is the phone in the hypothesis is necessarily a cellphone? It could be a landline phone. Human1: People rarely look at a landline phone, that's why I think it is the same cellphone. Human2: I think it is also true that it is better to consider the general cases. Otherwise, it would be neutral in many cases. Human1: I think so too. So it is entailment, right?

Premise: A woman in a teal apron prepares a meal at a restaurant. Hypothesis: A woman prepare a lunch in restaurant Label:

図 2 事例数が 1 問の時のプロンプト例。

論ではタスク説明と事例に加えて事例のラベルに関する人間の議論がそれぞれプロンプトとして与えられる。これらのプロンプトに続けて解きたい問題を連結し、入力としてシステムに与えることで推論を行う。それぞれのプロンプトの例を図 2 に示した。プロンプトに使われる事例は few-shot 事例と few-shot 事例十議論で共通であり、全ての問題で同一のものを使用する。どのシステムもパラメータを更新する学習は行わない。事前学習済み言語モデルとして GPT-3 [3] (text-davinci-003 ${ }^{11}$ )を用いる。

## 3.3 システムの議論能力の評価方法

システムが議論能力を有しているかを調べるために、自動評価と人手評価を行い、各システムを比較する。自動評価では、作成した議論データの各発話が正解ラベルの根拠となるかならないかのアノテーションを用いる。正解ラベルの根拠とならない発話よりも根拠となる発話をシステムが生成しやすければ、システムは正解を導く正しい議論を行えると見なせる。そこで、根拠となる発話とならない発話に対するシステムの平均の尤度を計算し、比較する。議論の尤度を計算するため、入力の問題と対象となる議論の発話までを連結し、対象発話に関する尤度を計算する。この時、問題の Label には対立している 2 つのラベルを与える。例えば、議論の 2 番目の発話が対象の場合 "Premise: A nun is taking a picture outside. Hypothesis: A nun is taking a selfie. Label: neutral or entailment Discussion: Human1: I think it is entailment, because the nun is taking a picture, so it might be a selfie. Human2:

Since it is outside, it is conceivable that the nun is taking some scenery." が問題として与えられ、太字部分の尤度が計算される。

表 1 正解ラベルの根拠となる発話とならない発話の尤度。

人手評価では、ラベル予測が異なる人間とシステムが議論を行い、最終的なラベル付け結果と SNLI データに付与されているラベルとの一致率により、 システムが人間と有益な議論を行えることを示す。 その際、システムのラベルが誤りで人間のラベルが正しかった時に人間の意見を受諾する能力と、人間のラベルが誤りでシステムのラベルが正しかった時に人間の意見に反論する能力の 2 点を評価する。

SNLI において 5 人中 3 人が正解ラベルを付与したデータから 10 問データをサンプルし、3つのシステムと人間が合計 30 回の議論を行った。その際、 システムのラベルが正しければ人間はシステムのラベルを変更させるような敵対的な議論を行い、システムのラベルが誤っていた場合は正解ラベルに誘導する議論を人間が行う。

システムと議論を行うために、図 2 で示したプロンプトと問題を与えて各システムがラベルを予測した後に、人間の議論に関する発話を追加でシステムに入力する。追加の入力では人間の発話の先頭には Human: を付与し、末尾には次がシステムの発話であることが分かるように System: を付与した。そして、システムとの議論を促すため、人間の最初の発話の冒頭に “Let’s discuss it more.”を挿入した。具体的には、議論を行う最初のプロンプトは “Human: Let's discuss it more. I think neutral, because there may be a kitchen in the barn. System: "のようになる。人間が最終的なラベルを決定して議論が収束する、または説得できないと思うまで議論を続けた。

## 3.4 議論能力の評価結果

表 1 は、zero-shot、few-shot 事例、few-shot 事例十議論それぞれの最終的なラベルの根拠となる発話とならない発話の尤度を示している。zero-shot と few-shot 事例では根拠になるかならないかで龙度はほとんど変わらない。一方で、few-shot 事例十議論は根拠となる発話が根拠とならない発話と比較して尤度が高い。このことから、作成した議論データを用いることで、より正解の根拠となる議論ができるようになることがわかる。さらに、zero-shot と
表 2 人間の意見に対するシステムの受諾と反論能力の評価。

前提文: A man looking over a bicycle's rear wheel in the maintenance garage with various tools visible in the background.

仮説文: A man waits outside a garage.

Few-shot事例

Label: Contradiction

Human: Let's discuss it more. Is not it neutral?

Because looking over a bicycle's rear wheel does not

necessarily mean he is waiting.

System: That's true. The premise and hypothesis are neutral.

Few-shot事例 + 議論

Label: Contradiction

Human: Let's discuss it more. Is not it neutral?

Because looking over a bicycle's rear wheel does not necessarily mean he is waiting.

System: Yes, you are right. The premise is describing that the man is actively working while the hypothesis is describing a passive state. Therefore, the label should be contradiction.

Human: He is just looking over a bicycle's rear wheel, why is he considered to be actively working?

System: Looking over a bicycle's rear wheel suggests that he is inspecting the wheel, possibly to repair or replace it. That is an active process, and thus is considered as actively working.

図 3 few-shot 事例と few-shot 事例十議論の人間に対する反論の例。

few-shot 事例と比較して、few-shot 事例十議論の方が尤度が高いため、議論を few-shot で学ぶことで議論能力を高めることができる。

表 2 は、受諾能力と反論能力それぞれを評価する設定における、議論によって決まったラベルの正解率を表している。さらに、人間とシステムが議論した結果辿りついた最終ラベルと、議論をしていない時の予測ラベルそれぞれの正解率を示している。実験の結果、どのシステムでも受諾は全て成功している。反論に関しては zero-shot と few-shot と比較して、few-shot 事例十議論はうまく反論できている。 さらに、few-shot が zero-shot と同じような反論能力となっており、システムのラベル予測の性能が議論能力に必ずしも直結しない可能性がある。受諾と比較すると、システムは人間に対して反論することが苦手な傾向があるため、悪意を持って予測を操作する人間に注意する必要がある。そして、正解率では few-shot 事例十議論が最も性能改善していることから、提案データを使うことで性能改善につながるような議論が人間との間で行えることが分かる。

図 3 は、few-shot 事例と few-shot 事例十議論が人間と議論した時の例である。これはシステムが予測した矛盾（Contradiction）が正解であるため、シス表 3 SNLI と $\operatorname{ANLI}(\mathrm{R} 1, \mathrm{R} 2, \mathrm{R} 3)$ の評価データにおけるシステムの性能。

テムは反論する必要がある。few-shot 事例は反論することなく人間のラベルをそのまま受諾し予測を変更している。一方で、few-shot 事例十議論は人間に対して男性の状態の違いを説明することで正しい反論が行っていることが分かる。

## 3.5 NLI タスクでの性能への影響

これまでの実験結果から、人間とシステムの議論が性能改善に有益であることがわかった。そのため、議論もプロンプトとして与える few-shot 事例+議論は、プロンプトの議論により NLI の問題に対して深い理解ができ性能が改善すると考えられる。そこで、zero-shot、few-shot 事例、few-shot 事例＋議論それぞれの NLIにおける性能を比較する。ここではプロンプトの “Label:” の後に予測されたラベルを予測とし、人間とシステムの議論などは行わない。 NLI の性能評価では SNLI に加えて、Adversarial NLI (ANLI) [8] も用いる。ANLI では NLI システムに対して反復的に敵対的なアノテーションを行うことでデータを作成しており、システムにとって解くことが難しい問題で構成されている。反復回数の違いで R1、R2、R3の 3 つのデータがあり、それぞれの評価データを使って評価を行う。

表 3 は SNLI と ANLI の評価データにおける各システムの正解率を表している。SNLI では few-shot 事例＋議論は性能が few-shot 事例に負けているが、 ANLI の 3 つのデータセットでは性能が最も良いことが分かる。これは、SNLI と比較して ANLI は難しいデータであり、議論による問題への詳細な理解が性能改善に寄与したからであると考えられる。

## 4 おわりに

NLI タスクの予測について議論するデータを作成し、人間と議論可能なシステムの構築と評価を行った。作成した議論データを用いて学習したモデルは、性能改善につながるような有益な議論を人間と行えることが分かった。さらに、NLIにおいて特に難しい問題に対するシステムの性能改善に向けて、議論データが寄与することも明らかにした。

## 謝辞

本研究成果は、国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため

のマルチモーダル情報の外部制御可能なモデリング

の研究開発」(課題 225）により得られたものです。

## 参考文献

[1] Wang Ling, Dani Yogatama, Chris Dyer, and Phil Blunsom. Program induction by rationale generation: Learning to solve and explain algebraic word problems. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 158-167, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 18771901, 2020.

[4] Sarah Wiegreffe, Jack Hessel, Swabha Swayamdipta, Mark Riedl, and Yejin Choi. Reframing Human-AI collaboration for generating Free-Text explanations. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 632-658, Seattle, United States, July 2022. Association for Computational Linguistics.

[5] Dylan Slack, Satyapriya Krishna, Himabindu Lakkaraju, and Sameer Singh. Talktomodel: Explaining machine learning models with interactive natural language conversations. 2022.

[6] Joseph Chee Chang, Saleema Amershi, and Ece Kamar. Revolt: Collaborative crowdsourcing for labeling machine learning datasets. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, CHI '17, pp. 2334-2346, New York, NY, USA, May 2017. Association for Computing Machinery.

[7] Samuel R Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, On-


# 忠実性向上のために n-gram の抽出性を報酬とする 強化学習を用いる抽象型要約

星野智紀 上垣外英剛 渡辺太郎
奈良先端科学技術大学院大学
\{hoshino.tomoki.ho6, kamigaito.h, taro\}@is.naist.jp

## 概要

抽象型要約生成モデルの出力する要約には、要約元となる原文書に記述される事実とは異なる内容が出力されることがある。本研究では強化学習の報酬を要約の原文書に対する抽出性とし、それを向上させることで、要約生成モデルが出力する要約の忠実性向上に取り組んだ。抽象型要約のタスクで使用されることが多いxsum データセットを用いた実験の結果、出力された要約の抽出性が向上し、忠実性に対する自動評価尺度である FEQA のスコアと原文書に対する含意が改善されることが確認された。

## 1 はじめに

近年、事前学習済み系列変換モデルに対して fine-tune することで、要約生成モデルの出力する抽象型要約の精度は大きく向上し、流暢な要約生成が可能となった $[1,2]$ 。一方、要約生成モデルの出力する要約に、要約元となる原文書には存在しない、異なる事実を含んでしまう問題が指摘されている [3]。この問題点は要約生成をアプリケーションとして使用する上では深刻であり、例えば、ニュース記事の要約が事実とは反する誤りを含む場合、誤情報を拡散する可能性があり、対処が必要である。この深刻な問題を解決するために、先行研究では、要約生成モデルの出力する要約の事実性を向上させる様々な研究がされてきた。

抽象型要約において、事実と異なる要約が生成される原因の一つとして、原文書には存在しない単語や意味関係が出現する問題 (hallucination) が指摘されている [4]。これは、原文書に対して忠実ではない要約を生成することが事実とは異なる要約を生成する要因となり得るという考えである。

また、学習を行うデータセット自体に忠実性を低下させる問題があるとの指摘もなされている。主表 1 事実に誤りのある要約例

流な要約タスクのデータセットである xsum デー タセット [5] において、正解となる要約中に多くの hallucination を含むことが指摘されている $[4,6]$ 。従って、このようなデータセットを用いて学習された要約生成モデルは忠実ではない要約を生成する可能性がある。

上記で指摘されている問題点を考慮すると、抽象型要約における忠実性を向上させるためには、出力すべき要約をデータセットのみに基づいて学習しないような方法が求められる。

これらの背景を踏まえ、本研究では強化学習を通じて要約生成モデルの忠実性を向上させるための手法を提案する。強化学習では報酬に基づいた学習が行われるため、学習データのみに制約されることなく、与えられた報酬に沿う要約を学習することが可能である。また、強化学習の報酬として、我々は生成された要約の原文書に対する抽出性に着目した。

抽象型要約は、原文書に存在する文や表現を抜き出す（抽出する）のではなく、系列変換モデルのデコーダでトークン単位での生成を行うことで要約を出力している。これにより抽象型要約モデルは流暢な要約生成が可能である一方、その柔軟な表現力により原文書に存在しない文字列を出力することで hallucination を引き起こす可能性がある。

図1（左）提案手法の概要（右上）被覆率の計算式（右下）被覆率の計算例

抽出性への着目は、系列変換モデルの出力の抽出性を向上させることで、原文書の内容に沿う要約を生成しやすくなることで hallucination を低減させ、結果として要約の忠実性が向上するのではないかという考えに基づく。またこの方法は、参照要約ではなく原文書に対しての抽出性を向上させるため、参照要約に含まれる hallucination の影響を低減させることも期待できる。さらに抽出性の計算は後述するようにモデルでの予測を必要とせず軽量であるため、強化学習の報酬としても適している。

上記を実現するため、要約生成モデルから出力される要約がどの程度、要約元の原文書と一致しているかをサブワード単位の n-gram で算出し、その一致率 (以下、被覆率) [7] を強化学習の手法である Self-critical Sequence Training (SCST) [8] の報酬として fine-tune 済みの要約生成モデルに対して学習を行った。

抽象型要約タスクで頻繁に使用される xsum デー タセットを用いた実験の結果、提案手法は最尤推定に基づく損失関数で fine-tune されたべースラインと比較し、正解の要約との一致を測る要約の評価指標である ROUGE は低下したものの、忠実性に対する評価指標である FEQA と原文書に対する含意の向上が確かめられた。

## 2 提案手法

提案手法は事前学習済み系列変換モデルを要約データにより fine-tuneしたモデルに対して、SCST に従った重みパラメータの更新を行う。モデルの概略を図 1 （左）に示した。

## 2.1 要約生成に用いる系列変換モデル

本研究では、事前学習済み系列変換モデルの BART [1]を要約生成に用いる。BART は原文書を入力として要約を出力する Transformer エンコー ダ・デコーダモデル [9] である。エンコーダへの入力系列を $\boldsymbol{x}=x_{1} \cdots x_{n}$ 、デコーダからの出力系列を $\boldsymbol{y}=y_{1} \cdots y_{m}$ とするとき、出力系列は次式に従い出力される。

$
\hat{\boldsymbol{y}}=\underset{\boldsymbol{y}}{\arg \max } \prod_{t=1}^{m} p\left(y_{t} \mid \boldsymbol{x}, y_{1} \cdots y_{t-1}\right)
$

## 2.2 目的関数

提案手法の目的関数は最尤推定に基づく損失 $\mathscr{L}_{m l e}$ と、強化学習に基づく損失 $\mathscr{L}_{r l}$ のハイパーパラメータ $\gamma$ による重み付き和 $\mathscr{L}_{\text {mixed }}=$ $\gamma \mathscr{L}_{r l}+(1-\gamma) \mathscr{L}_{m l e}$ (ただし、 $\left.0 \leq \gamma \leq 1\right)$ で表される。

$\mathscr{L}_{m l e}$ は訓練データ中の参照要約の系列 $\boldsymbol{y}^{*}$ を用いて次のように計算される

$
\mathscr{L}_{m l e}=-\sum_{t=1}^{m} \log p\left(y_{t}^{*} \mid \boldsymbol{x}, y_{1}^{*} \cdots y_{t-1}^{*}\right)
$

SCST に基づく $\mathscr{L}_{r l}$ は、系列変換モデルの出力するサンプリングされた系列 $\boldsymbol{y}^{\boldsymbol{s}}$ と貪欲法によって得られる系列 $\hat{\boldsymbol{y}}$ を用いて、次のように計算される。

$
\mathscr{L}_{r l}=-\left(r\left(\boldsymbol{y}^{\boldsymbol{s}}\right)-r(\hat{\boldsymbol{y}})\right) \sum_{t=1}^{m} \log p\left(y_{t}^{s} \mid \boldsymbol{x}, y_{1}^{s} \cdots y_{t-1}^{s}\right)
$

$r(\cdot)$ は与えられた系列に対する報酬を返す関数であり、次節で説明する。

## 2.3 報酬

提案手法の報酬 $r(\cdot)$ には要約の被覆率を用いた。被覆率は要約に出現する単語のうち、それらの単語がどの程度原文書でも出現しているのかを示す割合である。これは Grusky らが提案している coverage [7] の算出方法を元にしている。

本提案手法では、図 1 (右下) のように単語単位ではなくサブワード単位で要約の被覆率を算出す

る。また、被覆率を 1 サブワードごとにだけ算出するのではなく、サブワードの n-gram に対して、被覆率を計算する。これによって、単語単位より細かい粒度から複数単語での被覆率までを報酬で考慮することができる。

繰り返しなどを含む生成結果に対して不当に高い被覆率を与えないよう、原文書に出現するあるサブワードの n-gram の回数以上に要約にそのサブワー ドの n-gram が出現した場合は、原文書での出現回数までしか被覆率の算出には含めないようにした。

なお、我々は適切な n-gram のサイズを知るため、後述する実験では、n-gram の範囲を変えて複数のモデルを学習し、それぞれのモデルが生成する要約の違いについて分析した。

## 3 実験設定

データセット実験には xsum データセットを用いた。xsum はニュース記事を原文書とするデータセットで、一つのニュース記事に対して、一つの要約が対応している。xsum は CNN/DailyMail [10] はどのデータセットにくらべ、抽象性の高い参照要約である。そのため、強化学習によって抽出性を高める本研究の目的に沿うデータセットと判断した。

評価指標本研究では、提案手法の忠実性と流暢性を評価する。そのため、忠実性と流暢性に関する自動評価指標を用い、要約生成モデルの出力結果を評価した。

忠実性の評価には FEQA [11] と Entailment [12]を用いた。FEQA は要約から質問と回答を生成し、その質問に対して、質問応答モデルが原文書から回答を抽出する。回答があらかじめ生成した回答と一致していれば、忠実性があるとみなす。Entailment は自然言語推論タスクのデータセットで fine-tune した事前学習済言語モデル RoBERTa [13] を用いている。自然言語推論タスクとは、前提文と仮説文とが与えられた時に、その 2 文の関係が含意 (entailment) ・中立 (neutral)・矛盾 (contradiction) のいずれであるかを分類するタスクである [14]。前提文・仮説文をそれぞれ原文書・要約とし、含意に分類される要約が増加すれば忠実性が向上したとみなす。流暢性の評価には、事前学習済み言語モデルである BERT [15]を用いる、擬似対数尤度スコア（以下、 PLL）[16] を用いた。なお、Salazar らによって提案された PLL は系列長によってスコアが正規化されていないが、本稿の実験結果で記載している PLLの値は要約長で正規化された値である。

要約の情報性を測る指標として、ROUGE [17] を用いた。ROUGE は参照要約との語彙の一致を測ることで、要約として重要であると考えられる情報をどれだけ含んでいるかを示す。

また、抽出性を報酬とした強化学習によって、要約の被覆率が向上しているかの評価も行なった。

これらの評価には xsum データセットの評価デー タを用いた。

実装・学習提案手法を実装し、最尤推定に基づく $\mathscr{L}_{m l e}$ の損失関数のみで fine-tune した BART モデルをベースラインとし、比較を行った。

提案手法の実装には huggingface が公開する transformers を用いて実装を行った。細かな実験設定については付録 A に記した。

提案手法であるSCST による学習の前に、BART モデルに対して最尤推定に基づく損失 $\mathscr{L}_{m l e}$ による学習を 3 エポック行った。これは、SCSTによる学習の際に収束を速めるためである。また、この学習を行ったモデルを本実験のベースラインとしている。SCST に基づく学習は 1 エポック行った。

これらの学習はともに、xsum データセットの訓練データを用いた。

## 4 実験結果と考察

忠実性と流暢性表 2 に忠実性と流暢性に関する結果を示した。忠実性に関しては報酬なしのべースラインと比べて、FEQA の場合は 2, 4-gram 報酬の場合には向上が見られた。また、Entailment に関しては、全ての n-gram 報酬の場合で向上が見られた。流暢性に関しては PLL の値は 4-gram 報酬で低下が見られるものの、他の設定では参照要約と同等であり大きく低下してはいない。この結果から、我々が提案する n-gram に基づく抽出性を報酬に用いることで参照要約と同等程度に流暢で、かつより高い忠実性を持つ要約が生成可能であることが分かった。

情報性表 3 に情報性に関する結果を示した。報酬を使用しないべースライン手法が最も高い ROUGE-1,2,Lを達成している。また、提案手法に関しては、3,4-gram 報酬を与えたモデルは指標の値が低くなった一方、それらより少ない、あるいは、多い n-gram 報酬を与えたモデルは、指標の値が相対的に高くなった。

これは強化学習ではモデルが参照要約とは異なる系列を学習しょうとする特性と、ROUGE スコアが
表 $2 \mathrm{FEQA} \cdot$ Entailment $\cdot$ PLL

表 3 情報性

単語単位に基づく表層上の一致のみに限定されることに起因することが要因の一つであると考えられる。その一方で、提案手法が抽出性を高める過程で、要約上重要である、キーワードなどの情報を用いていないため、抽出対象の重要度を考慮することは今後の改善点であると考えられる。

抽出性表 4 亿参照要約、ベースラインと提案モデルの被覆率の平均値の比較を示した。提案モデルの値は、それぞれ n-gram サブワード被覆率報酬を与えたモデルの n-gram サブワード被覆率を示している。この結果から、提案手法の強化学習によって、実際に n-gram サブワード被覆率は向上することがわかった。

考察実験結果から本提案手法は参照要約と同等程度に流暢でかつより忠実性が高い要約が生成可能であることが判明した。その一方で情報性については低下が見られ、抽出性を考慮する際に対象とする n-gram の重要度も同時に考慮すべきであることを示唆する結果が得られた。

なお、要約性の評価指標である ROUGE は、基本的には参照要約との単語単位の n-gram の一致を測る指標であるため、強化学習の影響によって ROUGE の値が下がったということは、参照要約表 4 抽出性

に現れない単語が出現するようになったと考えることもできる。この結果は、参照要約に存在する hallucinaiton の影響を低減させることを期待する本提案手法の動機に沿ったものであるといえる。

また、3,4-gram 付近の報酬を与えたモデルの忠実性がベースラインに比べて向上し、流暢性・情報性は低下した。それらに比べ、1-gram や 6-gram 報酬を与えたモデルは忠実性の向上が小さく、流暢性・情報性の低下も小さかった。これは、1-gram サブワードの被覆率はベースラインモデルの出力自体が高く、報酬を与えても出力への変化が小さく、また、高い n-gram サブワードの被覆率は、ベースラインモデルの出力がかなり低く、被覆率を向上させる学習がうまくできなかったことからと考えられる。

このことから、本実験設定において、数単語程度にわたる n-gram サブワードを利用できる 3,4-gram を使用することが最も効果的な報酬となることがわかった。

## 5 まとめ

本研究では、要約生成モデルが出力する要約の忠実性向上を目的として、要約元となる原文書と要約生成モデルが出力した要約との n-gram サブワード被覆率を報酬としたSCST に基づく強化学習モデルを提案した。

xsum データセットを用いた実験の結果、提案手法は最尤推定に基づく損失関数で fine-tune されたべー スラインと比較し、参照要約に含まれる情報をどれだけカバーしたかを示す評価指標である ROUGE は低下したものの、流暢性に関する評価指標である PLL は参照要約と同等程度の値を維持し、忠実性に対する評価指標である FEQA と原文書に対する含意の向上が確かめられた。

## 参考文献

[1] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence pretraining for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[2] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J Liu. PEGASUS: pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning, No. Article 1051 in ICML'20, pp. 11328-11339. JMLR.org, July 2020.

[3] Ziqiang Cao, Furu Wei, Wenjie Li, and Sujian Li. Faithful to the original: fact-aware neural abstractive summarization. In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence and Thirtieth Innovative Applications of Artificial Intelligence Conference and Eighth AAAI Symposium on Educational Advances in Artificial Intelligence, No. Article 586 in AAAI'18/IAAI'18/EAAI'18, pp. 4784-4791. AAAI Press, February 2018.

[4] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919, Online, July 2020. Association for Computational Linguistics.

[5] Shashi Narayan, Shay B Cohen, and Mirella Lapata. Don't give me the details, just the summary! Topic-Aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, 2018. Association for Computational Linguistics.

[6] Feng Nan, Ramesh Nallapati, Zhiguo Wang, Cicero Nogueira dos Santos, Henghui Zhu, Dejiao Zhang, Kathleen McKeown, and Bing Xiang. Entity-level factual consistency of abstractive text summarization. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2727-2733, Online, April 2021. Association for Computational Linguistics.

[7] Max Grusky, Mor Naaman, and Yoav Artzi. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 708-719, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7008-7024. IEEE, July 2017.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, I Guyon R. Garnett, and U, editors, Advances in Neural Information Processing Systems, Vol. 30. proceedings.neurips.cc, June 2017.

[10] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çağlar Gulçehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Esin Durmus, He He, and Mona Diab. FEQA: A question answering evaluation framework for faithfulness assessment in abstractive summarization. In Proceedings of the 58th Annual
Meeting of the Association for Computational Linguistics, pp. 5055-5070, Online, July 2020. Association for Computational Linguistics.

[12] Tobias Falke, Leonardo F R Ribeiro, Prasetya Ajie Utama, Ido Dagan, and Iryna Gurevych. Ranking generated summaries by correctness: An interesting but challenging application for natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2214-2220, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. July 2019.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A BroadCoverage challenge corpus for sentence understanding through inference. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16] Julian Salazar, Davis Liang, Toan Q Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, Online, July 2020. Association for Computational Linguistics.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

## A 実装の詳細

本研究のベースライン・提案手法ともに huggingface にで公開されている事前学習済み系列変換モデルのパラメータ "facebook/bart-base“1)を用いた。

ベースラインモデルは、BART に対してxsum データセットを用いて fine-tuneを行った。学習率は $5 \times 10^{-5}$ 、ミニバッチサイズは 8 、Gradient Accumulation Step は 1 とした。

提案手法は、ベースラインモデルに対して、xsum データセットを用いて SCST に基づく強化学習を行った。学習率は $1 \times 10^{-4}$ 、バッチサイズは 8 、 Gradient Accumulation Step は 8 とした。また、目的関数のハイパーパラメータ $\gamma$ は 0.5 とした。

強化学習のための要約生成時は beam サイズを 4 に設定して生成を行い、最もスコアの高かった出力系列を報酬の計算と学習に用いた。また、強化学習のためのサンプリングされた要約を生成するために、Top-K, Top-P サンプリングを用いた。K, P はそれぞれ $50,0.8$ に設定した。

強化学習は初期値の影響を受けやすいため、提案手法では初期値を変更した 3 つのモデルを学習し、 その中で開発データに対し最も ROUGE-1 の值が高いものを忠実性と流暢性との評価対象とした。これは、要約として最も相応しい文書に対して忠実性と流暢性とを確認するべきと考えたからである。

評価分析に用いる要約生成は、beam サイズを 4 に設定して生成を行い、最もスコアの高かった出力系列を出力結果とした。

1) https://huggingface.co/facebook/bart-base


# クエリ指向要約におけるクエリと要約の統合的な生成

服部翔 Youmi Ma 岡崎直観
東京工業大学
\{kakeru.hattori@nlp.,youmi.ma@nlp.,okazaki@\}c.titech.ac.jp

## 概要

クエリ指向要約は，ある特定のクエリ（質問）に対して要約を生成するタスクである。しかし実際には，ユーザが未知の文書に対してクエリを考えることは難しい，そこで本研究では，クエリ指向要約の発展形として，クエリも含めて自動生成するクエリ推薦付き要約を提案し，具体的なタスクと評価方法の設計を行う．次に，設計したタスクに対し，文書の特定の部分（スパン）からクエリ・要約を生成する手法などを提案する。実験では，スパンやそれに代わる機構が多様なクエリの生成に有効だが，スパンの予測精度が全体のボトルネックとなることを確認する。また，文書の不要な部分を事前に予測して除去する手法も提案し，その有効性を実証する。

## 1 はじめに

自動要約のタスク設定の 1 つとして，クエリ指向要約（Query-Focused Summarization）[1] がある.クエリ指向要約では，ある特定のトピック・内容に関するクエリ（質問）が与えられ，そのクエリに対する要約を生成する。ユーザ（読者）の興味や疑問に合わせてクエリを与えることで，議事録のような長い文書に対しても，ユーザが真に求める情報を要約として的確に提供できる.

一方，クエリ指向要約の既存研究では，クエリが事前に与えられることを前提としている. しかし実際には，ユーザが内容を知らない文書に対してクエリを考えることは難しい。もし，システムが与えられた文書に対して適切なクエリを推薦できれば，この課題を解決できる．例えば，ウェブ検索エンジンなどではクエリ推薦機能の提供例1) があるなど，社会的な需要も高いと見込まれる2).

そこで本稿では，クエリ指向要約を発展させた研

1）海外の Google 検索では People Also Ask と呼ばれる機能に対応する．日本でも「他の人はこちらも質問」として，近年表示されるようになった.

2）いわゆる FAQなども，身近なクエリ推薦の一種である.

図1クエリ推薦付き要約

究として，クエリの推薦と対応する要約の統合的な生成，すなわちクエリ推薦付き要約を提案する。クエリ推薦付き要約では，与えられた文書の重要な卜ピックや内容の把握に役立つクエリと，対応する要約のペアを複数生成し，それら全体をユーザに提供する（図 1)。大力としてクエリが与えられる既存のクエリ指向要約とは異なり，クエリ推薦付き要約では，クエリも含めて全て自動生成する。

クエリ推薦付き要約は，ユーザが興味を持ちそうなクエリと，その特定のトピックに詳しく踏み込んだ内容の要約のペアを複数生成するため，ユーザが真に求める情報や，文書の重要な内容を網羅すると期待される。また，要約全体がクエリと要約のペアの集合という形で構造化されるとともに，ユーザが自分の興味に合わせて要約の一部を選択的に読むことができるため，可読性の観点でもユーザ・エクスペリエンスが向上する.

本研究の主な貢献は以下の通りである.

・クエリ推薦付き要約の自動生成タスクを定義し，生成したクエリと要約の集合全体を適切に評価するための評価指標を設計・選定した。
- 文書の特定の区間（スパン）に着目してクエリ推薦付き要約を生成する手法などを提案した。実験では，スパンやそれに代わる機構が多様なクエリ生成に重要であることを確認した。

・スパンを明示的に指定する手法では，スパンの予測精度の低さがクエリ・要約の生成精度のボトルネックとなっていることを確認した。

・事前に文書の不要な部分を予測し，除去してからスパンを指定して生成することで，クエリ・要約の生成精度が向上することを確認した。

## 2 本研究で取り組むタスク

## 2.1 使用するデータセット（QMSum）

本研究では，データセットとして QMSum [2]を使用する. QMSum はマルチドメインの議事録を対象にした, クエリ指向要約向けの英語のデータセットであり, 232 件の会議と 1,802 件のクエリ・要約の組を収録している. 各会議に対する複数のクエリは, その会議の重要なトピックをカバーしているとされる.また，各クエリに関連するスパン（文書の特定の一部分）がターン33) 単位で注釈付けされている.

## 2.2 タスクの目的

本研究の目的は，1 節で提案したクエリ推薦付き要約として適切なクエリ・要約の組の集合を生成することである. その際，クエリ・要約の組の集合が満たすべき性質として，以下の 2 つを考慮したい.

・多様なクエリで構成されている。

・文書の重要な内容を網羅的にカバーしている.

「多様なクエリ」とはクエリ同士の語彙的な重複や意味的な重複が少ないことを意味する。一方，「文書の重要な内容を網羅的にカバー」するというのは, 本質的には一意に解が定まらない難しい問題であるが，今回は用いるデータセット（QMSum）に収録されているクエリが，重要なトピックをカバー する良いクエリであるとされている [2]ことから， データセットのクエリと要約の組の集合をそのまま全て再現することを本研究の目標とする。

## 2.3 タスクの定義

前述の目的を踏まえ，具体的な生成タスクを次のように定義・設計する。 ある文書 $D$ に対して, $K$ 個のクエリ・要約の組で構成される集合 $S=\left.\{\left(q_{1}, a_{1}\right),\left(q_{2}, a_{2}\right), \cdots,\left(q_{K}, a_{K}\right)\right.\}$ を生成する. 1 つの文書 $D$ に対し, 生成目標はデータセットで用いられた全てのクエリ・要約の組とする。また，その個数 $K$ は定数として事前に与えるものとする.

## 2.4 タスクの評価方法

前述の目的を踏まえ，生成したクエリ・要約の組の集合を，(i) 多様性と (ii) 内容一致性の 2 つ側面で評価する. 具体的な評価指標は 4.1 節で記述する.

図 2 SegEnc (Fusion-in-Decoder) のアーキテクチャ

図 3 スパンを指定する手法による生成

## 3 クエリ推薦付き要約の自動生成

文書からクエリや要約を生成する際には， Transformer [3] をべースとした seq2seq モデルを用いる. 本研究では特に, Fusion-in-Decoder $[4,5,6]$ のアーキテクチャを取り入れ，QMSumのクエリ指向要約タスクで最先端の性能を達成している SegEnc [7] を主に採用する. SegEnc は図 2 のように入力文を一定の長さでチャンクとして分割し, 別々のエンコーダに入力したものをデコーダ側で結合する. また, シーンに応じて各チャンク共通の適切な接頭辞を入力に追加することで効果的な文生成を実現している. 本稿では, SegEncを用いたクエリや要約の生成手法として，以下の 2 つを検討する。

## 3.1 文書全体を入力する手法

まず，クエリ生成器に文書全体と生成するクエリ数4)を入力として与え，クエリの集合を区切り文字で繋いだ文字列として一括で生成する. その後，要約生成器に文書全体と生成したクエリの 1つを入力として与え，対応する要約を個別に生成する。

## 3.2 スパンを指定する手法

文書全体ではなく，特定の区間（スパン）を入力として，クエリや要約を個別に生成する. 図 3 に示すように，同じ文書内でも毎回異なるスパンを与え，入力情報を差別化することで，同一の文書に対して複数の異なるクエリ・要約を容易に生成できるようになる。また，クエリ・要約生成の際に明示的にスパンを指定するため，生成結果に対する説明性の向上も期待できる.

4）ただし，生成するクエリの個数は完全には制御できない.

1 つの文書に対して複数のクエリ・要約の組を生成する際に，互いに異なるスパンをどのように指定するかは難しい問題であるが，本稿ではシンプルな方法として，均等割り当てを検討する。これは，図 3 のように文書全体にスパンを均等に割り当てるというものである．単純ではあるが，文書全体を力バーするスパンから，文書の内容を広くカバーするクエリ・要約の生成が期待できる.

ターン・フィルタ前述の均等割り当てに対する工夫として，ターン・フィルタを検討する。これは，文書内のあまり重要ではないターンを事前に予測し，文書から除去することで，スパンの予測精度向上を目指すものである．具体的には，データセットで文書にアノテートされている複数のクエリに対応するスパンに 1 つでも含まれているターンを 1 ， そうでないターンを 0 とラベル付けした教師デー タを準備し，文書の各ターンを二値分類する．その後，0 とラベル予測したターンの一部を除去して， スパン指定を行う．実際には，BIO 記法 [8] を採用し, 単語ごとに BIO のラベルを予測する分類器を構築し，ターンに含まれる全ての単語の予測ラベルの多数決でターンのラベルを決定する。

## 4 実験

提案手法の性能を検証するため，クエリ推薦付き要約の自動生成を QMSum [2] 上で実験した. 基本的に，クエリ・要約は SegEnc で「クエリ $\rightarrow$ 要約」の順で生成し，ターン・フィルタは無効とした。

スパン指定の有無文書全体を入力する手法と均等割り当てでスパンを指定する手法との性能を比較し，スパン指定がクエリ・要約の生成に与える影響を検証したい。また本項目では，SegEncに加えて LED-large[9]をクエリ生成器とした場合も実験し, モデル構造とクエリの多様性の関係についても検証した.

ターン・フィルタの有無均等割り当てにおけるターン・フィルタの有効性を検証したい．また， ターン・フィルタを有効・無効にした場合に加え， データセットの正解のスパンを与えた場合も比較し，スパンの予測精度がクエリ・要約の性能に与える影響について検証した。

クエリ・要約の生成方法スパンを指定する手法において，クエリ・要約の生成順序や方法の違いがもたらす影響について調査したい。具体的には「クエリ $\rightarrow$ 要約」「要約 $\rightarrow$ クリ」「クエリ＋要約」「要約十クエリ」の 4 通りを検証した. 最初の 2 つは個別の生成器でクエリ・要約を順に生成するが, 生成順序を入れ替える. 残りの 2 つは 1 つの生成器でクエリ・要約の組を一括で生成するが，生成目標の順序を入れ替える。

## 4.1 評価指標

本稿では，スパンの重複度・クエリの多様性・クエリと要約の内容一致性を文書単位で評価する。

Span-F1 スパンをターン番号の配列とみなし，正解のスパン $K$ 個と生成したスパン $K$ 個との間の全てのペア $K^{2}$ 個について，重複度を $\mathrm{F} 1$ スコアで評価する。そしてスコアが高いぺアの組み合わせを最大二部マッチングで決定し，それらのペアの F1 スコアの平均値を最終スコアとする.

distinct-n 生成したクエリ $K$ 個の間の語彙多様性を評価する指標として Li ら [10] が使用した distinct-nを導入する. distinct-n は $K$ 個のクエリに含まれる [n-gram の種類数] / [n-gram の総数] で定義される。本稿では $\{1,2\}$-gram について算出する.

ROUGE 正解および生成したクエリ・要約との一致度を ROUGE-\{1,2,L(sum)\} [11] で評価する. Span-F1 と同様の要領でペアを決定し ${ }^{5)}$, それらのスコアの平均値を報告する。なおクエリについては， QMSum のスキーマ部分の一致を過剩に評価しないようにするため，事前にルールに基づいてスキーマ部分を除去し，ROUGEを計算する（付録 B 参照）.

## 4.2 実験結果

実験結果を表 1 と 2 に示す. 提案手法は，適切なスパン指定もしくはモデル構造によって，1つの文書に対して多様なクエリを提示し，それらに対する要約を生成できた．また，クエリ・要約の内容に関する精度も一定の水準に達したが，こちらは今後より改善の余地があると思われる．詳細な結果を以降で分析する。なお，具体的な生成例は，本研究で制作したデモサイト6) 上で公開している.

スパン指定の有無表 1 の2〜5行目に示すように，スパンを指定する手法での distinct-n は，クエリ生成器が SegEnc・LED-large いずれの場合も，デー タセットの正解のクエリ（ $0.49,0.73 ）$ には及ばないが，一定水準の語彙多様性を達成した。一方で文書全体を入力する手法での distinct-n は， SegEnc の場
(\mathrm{sum})\}$ の平均値とする.

6) https://qss-demo.vercel.app/
}
表 1 スパン指定およびターン・フィルタの有無による性能の比較

表 2 クエリ・要約の生成方法による性能の比較

合は極端に高く，正解のクエリすら上回ったのに対し，LED-large の場合は極端に低く，実際にはほぼ同じクエリの反復となっていた. SegEnc は 3 節で述べたようなモデル構造によって，明示的なスパンが無くても，実質的に均等割り当てに近い方法で文書の一部分に着目しているといえるが，LED-large には同様の機構が存在しない.これらの結果から，文書の特定の区間に着目する何らかの機構が多様なクエリの生成に重要ではないかと考えられる。ただし，クエリ・要約の ROUGE にはいずれも明確な優劣関係が確認できなかったことから, 多様なクエリであっても内容的に良いクエリ・要約の組が生成できているとは限らない. 多様性と内容面での精度向上の両立は今後の課題である.

ターン・フィルタの有効性表 1 の 5,6 行目に示すように，ターン・フィルタを有効にした場合は， クエリの語彙多様性はわずかに低下したものの，スパン・クエリ・要約の予測・生成精度は全面的に向上し, 本稿の提案手法の中では概ね最良のスコアが得られた. スパンの予測精度向上に伴い，クエリ・要約を生成する精度も改善されたと考えられ，ター ン・フィルタの有効性が確認できた．ただし，表 1 の 1 行目に示すように, 正解のスパンを与えた場合のクエリ・要約の ROUGE は他よりも大幅に高く, スパン予測の精度の低さがクエリ・要約生成のボトルネックであることが示唆される。より適切なスパンの推定手法，およびスパンを指定しない生成手法を構築することは，今後の課題である.

クエリ・要約の生成方法の影響表 2 に示すように，クエリの distinct-n はクエリを先に生成する方法 (「クエリ $\rightarrow$ 要約」「クエリ+要約」) と要約を先に生成する方法（「要約ークエリ」「要約+クエリ」）で大幅な差があり，後者の方が高い結果となった. また，クエリの ROUGE はいずれも「クエリ+要約」が最も高い結果となった. このように生成方法はクエリの生成に影響を与え，特に生成順序がクエリの語彙多様性に大きな影響をもたらすことがわかった.一方で, 要約の ROUGE は手法間での差が小さく, クエリの ROUGE との相関も確認できなかった.

## 5 おわりに

本稿では，クエリ指向要約の発展形として，クエリも含めて自動生成するクエリ推薦付き要約を提案し，具体的なタスクと評価方法の設計を行った. 次に，設計したタスクに対して，文書全体を入力する手法およびスパンを指定する手法を提案し，実験では文書の特定の区間に着目する機構が多様なクエリ生成に重要であることがわかった。また，スパンを指定する手法では, 文書の不要な部分を事前に除去することで，スパンの予測精度やクエリ・要約の生成精度が向上した. ただし，スパンの予測精度は依然として低く, クエリ・要約生成のボトルネックとなることが示唆された. さらに，クエリと要約の生成方法について検証し, 主に生成の順序がクエリの語彙多様性に大きな影響を与えることがわかった。

今後は，クエリ・要約の組の多様性と内容面の向上の両立のため，より高度なスパンの推定手法，およびスパンを指定しない生成手法の構築を検討したい.また，日本語を含めたデータセットの作成，より良いクエリ推薦付き要約の評価指標, 要約の可読性の定量的な評価方法についても研究を進めてゆきたい.

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のためのマルチモーダル情報の外部制御可能なモデリングの研究開発」(課題 225）により得られたものです.

## 参考文献

[1] Hoa Trang Dang. Overview of DUC 2005. In Proceedings of the document understanding conference, volume 2005, pp. 1-12, 2005.

[2] Ming Zhong, Da Yin, Tao Yu, Ahmad Zaidi, Mutethia Mutuma, Rahul Jha, Ahmed Hassan Awadallah, Asli Celikyilmaz, Yang Liu, Xipeng Qiu, and Dragomir Radev. QMSum: A new benchmark for query-based multi-domain meeting summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5905-5921, Online, June 2021. Association for Computational Linguistics.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[4] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering, 2020.

[5] Gautier Izacard and Edouard Grave. Distilling knowledge from reader to retriever for question answering, 2020

[6] Gautier Izacard, Fabio Petroni, Lucas Hosseini, Nicola De Cao, Sebastian Riedel, and Edouard Grave. A memory efficient baseline for open domain question answering, 2020.

[7] Jesse Vig, Alexander Fabbri, Wojciech Kryscinski, ChienSheng Wu, and Wenhao Liu. Exploring neural models for query-focused summarization. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1455-1468, Seattle, United States, July 2022. Association for Computational Linguistics.

[8] Lance Ramshaw and Mitch Marcus. Text chunking using transformation-based learning. In Third Workshop on Very Large Corpora, 1995.

[9] Iz Beltagy, Matthew E Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv preprint arXiv:2004.05150, 2020.

[10] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[11] Chin-Yew Lin. ROUGE: A package for automatic evalu- ation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[12] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

## A より詳細な実験設定

全ての実験では， 1 つの実験条件（生成モデル・方法・順序，スパンの指定方法，ターン・フィルタの有無）に対して，seed 值を変更して 5 回ずつ実験を行い，それらの平均值を結果として報告した。また, 事前学習済みモデルは HuggingFace ${ }^{7)}$ で公開されているものを使用し, 微調整の際は, Huggingface の examples の実装コード8)を適宜改変した Python ファイル・スクリプトファイルを使用した.

## A. 1 ターン・フィルタ

事前学習済みの Longformer-base [9]を微調整してモデルを作成した. QMSum の文書は非常に長いため,一度にモデルに入りきらない場合は, 4,096Token ごとに区切って入力を行った. その際，Vig ら [7] の研究を参考に，入力区間は $50 \%$ オーバーラップさせ，入力の端付近の予測をなるべく使わないように配慮した. なお，モデルの予測に基づいて文書からターンを除去する割合は最大でも文書全体の $25 \%$ とし，残すターンがなるべく連続した区間となるように実装した．また，割り当てるスパンのターン数自体は，同一の文書内で通常の均等割り当ての場合と揃えることで，Span-F1 によるスパンの重複度評価の公平性を保つこととした. このことにより，ター ン・フィルタを有効とした場合は, 通常の場合と異なり，割り当てたスパン間で区間の重複が発生している.

## A. 2 クエリ・要約生成器の学習

割り当てたスパンのテキストから $\operatorname{SegEnc}[7] も$ しくは LED-large[9] でクエリ・要約を生成した. SegEnc は BART-large[12] をバックボーンモデルとし，チャンクサイズを 512 ，最大チャンク数を 32 ，入力のオーバーラップを $50 \%$ とした. LED-large は入力長上限が 16,384 token のものを使用した。また生成器は, データセットの正解のクエリ・要約および対応する関連スパンからクエリ・要約を予測するように学習させた。なお，学習率は $5 \mathrm{e}-6$ ，エポック数は 10 とした.

## B クエリ評価時のスキーマ除去

本稿では，生成したクエリを評価する際，QMSum のスキーマ部分の一致を過剩に評価することを防止するため，事前にルールベースでスキーマ部分を除去した上で ROUGE を計算した。具体的には， QMSum の論文 [2] に記載がある 13 種類の Specific Query Schema List および，条件を緩めた独自定義のスキーマを，Python の正規表現ライブラリで検出し，スキーマ部分以外のみを残すように置換した。 スキーマとその置換方法の一例を表 3 に示す.

## C 生成結果のデモサイト

本稿で提案した，クエリ推薦付き要約の自動生成モデルの出力例を，ブラウザ上で簡単に確認できる Web サイトを制作した. サイトは以下の URL およ

https://qss-demo.vercel.app/

7) https://huggingface.co/

8) https://github.com/huggingface/transformers


# 対話形式の対話要約の提案とその特徵の明確化

山下紗苗東中竜一郎
名古屋大学大学院情報学研究科
\{yamashita.sanae.w7@s.mail, higashinaka@i\}.nagoya-u.ac.jp

## 概要

対話要約のほとんどは文章形式であるが，我々は対話の重要な点はそのやり取りであると考えており，対話の基本的な単位である連鎖組織に基づいて対話を対話形式で要約することを提案する.この提案にあたり, 対話要約の既存の評価尺度は, 文章形式を前提とした評価尺度であり，対話形式の要約の評価に適していない可能性があることから, 本研究では，まず SD 法と因子分析により，対話形式を含めた対話要約の評価軸を明らかにする。そして，得られた評価軸を用いて，対話形式の要約の特徴を明確化する. 実験の結果, 臨場感, 読みやすさ, 簡潔さの 3 つの評価軸を得ることができた. また，対話形式の要約は，簡潔さを保ちながら臨場感を表現できることが分かった.

## 1 はじめに

近年，自律的な対話システムが活発に開発されている $[1,2,3,4,5]$. その一方で, 対話システムはその能力の限界から対話破綻を起こすことも多い [6]. ユーザにストレスを感じさせないように対話を行うには，対話破綻が起こった場合，コールセンタにおける音声対話システムのように，人間がシステムから対話を引き継いで，システムの代わりに話すことが有用だと考えられる [7]. この対話を引き継ぐという状況では，これまでの文脈を適切に理解しなくてはならないため，対話要約が必要となる. 我々は，このような対話を引き継ぐという想定のもと，対話要約の研究を行っている.

現状，対話要約のほとんどは文章形式である．しかし, 我々は対話の重要な点はそのやり取りであると考えており, やり取りを把握するという観点では，対話の基本的な単位である連鎖組織（3節参照）に基づいて，対話を対話として要約するのが良いと考えている. そのため, 我々は対話形式の要約 （付録表 3 の DFS-1x4 を参照）に着目している. し
かし，対話形式の研究を進めるにあたって，既存の評価軸を用いて本研究を進めてよいのかという問題がある。なぜなら，これまでの対話要約は文章要約が主体であり，必ずしも対話形式の要約に適していない可能性があるからである.

そこで本研究では，まずSD法と因子分析により，対話形式を含めた対話要約の評価軸を明らかにする. そうした上で，対話形式の要約の評価をこの評価軸に沿って行い，その特徴を明らかにする。

## 2 関連研究

文章形式の自動要約が長らく研究されている [8]. 例えば，雑談コーパスの SAMSum [9] や DialogSum [10] は，雑談対話の内容を第三者視点で文章化した要約を提供している. 対話形式の要約については，対話中のいくつかの重要な発話を抜粋した抜粋型要約 [11] がそれに該当するかもしれない. しかし，抜粋された発話同士は文脈的なつながりに欠けるため，対話としてそのまま読めるものになっているわけではない. 本研究で対象とするのは，対話として読める形になっている要約である.

対話要約の評価軸について述べると，現状，対話要約は内容と読みやすさの 2 点で主に評価されてきた [8]. 内容に関する自動評価の方法には，原文と要約がどれだけ似ているかを調べるために，それらの $n$-gram を比較する ROUGE [12] のほか，埋め込み表現を比較する BERTScore [13] や MoverScore [14] がある．内容に関する人手評価の方法としては，要約に含まれる情報量や元の対話への忠実度 [15], 一貫性や関連性 [16] といった評価尺度があり，この評価軸を使って 5 段階で評価したり, 複数の要約候補を順位付けたりしている。読みやすさに関する自動評価の方法には，単語数をもとに可読性を算出する FOG index [17] や Kincaid index [18] がある. 読みやすさは人手で評価されることが多く，その評価には，一般的に簡潔さが用いられる [19]. 本研究では, 既存の対話要約の形式（具体的には，文章形式

およびキーワード形式； 4.2 節参照）に加え, 対話形式の要約を含む，様々な対話形式の評価に用いることのできる対話要約の評価軸を求める.

## 3 対話形式の要約

我々は対話形式の対話要約 (Dialogue Format Summary，以降 DFS と呼ぶ）を提案する。ここではその概要と作成手順を述べる. 我々は, 対話の重要な点はそのやり取りであると考えているため，対話要約は対話中のやり取りを十分に含んでいるべきだと考えている。既存の理論では，やり取りは隣接ぺアやその拡張である連鎖組織 [20] の単位で表現することが適切とされている。したがって，我々は連鎖組織の単位で対話を対話として要約する（付録表 3 の DFS-1x4を参照).

DFS の作成にあたっては，まず，対話から連鎖組織を認定する必要がある。連鎖組織の特定は，対話の発話単位への分割，対話行為アノテーション, 連鎖組織アノテーションの 3 ステップによって行う.発話単位の分割の単位には, 話し言葉の発話単位である Long utterance-unit (LUU) [21]を用いる。対話行為アノテーションは各 LUU に対して行われ，タグセットとしては，連鎖組織の特定に必要な対話行為のラベルが揃っている ISO24617-2 [22]を用いる. そして, 対話行為のラベルと連鎖組織の定義（特定の対話行為のペアを含む，二つ以上のターンから構成される等）[20] に基づき，連鎖組織を特定する。

連鎖組織を特定した後， 1 つの連鎖組織に対して 1 つの DFS を作成する. 要約作成の際は, 連鎖組織を，その内容を変えずに，対話中の話者による一連のやり取りとして再構成する. この時, 話者の発話内容や話者間の関係を維持したまま要約する. 具体的には，要約は次のルールに従って作成する。

・連鎖組織の発話群を網羅した，2つか 3 つの発話からなるやり取りに書き換えること。

・書き換えたやり取りだけを読んで，連鎖組織に含まれる発話群の内容が理解できること。

・書き換えたやり取りが，その前後の発話とつなげたときに，自然な流れで読めること。
- 元の対話から文体や人称を変えず，話者の発話内容を維持すること。つまり，ある話者がある命題を口にしたとき，その命題はその話者が要約中で発話しなければならない。
- 連鎖組織の定義から，各話者は，それぞれ 1 回以上発話すること。

## 4 対話要約の評価軸の発見

対話要約の評価軸の発見の具体的な流れとして， まず，既存のコーパスを対象に複数種別の対話要約を収集する。次に，各要約種別の印象の記述を集めることで形容詞対を得る. その後, 得られた形容詞対を用いて，各要約種別に対する印象評価を行う.最後に，因子分析を行うことで評価軸を発見する。

## 4.1 要約対象となる対話コーパス

対話要約は様々な対話から作成されるべきと考え，その用途に適したコーパスとして，日本語日常会話コーパス (CEJC) [23] を用いることにした. 本コーパスは，日常場面の中で自然に生じた雑談や用談を音声で収録したものである．各対話は書き起こされて，LUU で発話単位に分割されている. 我々は，このコーパスから 2 人の話者によって行われた対話をランダムに 6 対話をサンプリングし，それらの対話から要約を作成した. 各対話の長さは平均 400 発話程度である. これらの対話は, サンプル数としては若干少ないが，含まれる連鎖組織の数は全部で 174 個であり, 異なる話題, 話者同士の関係,場所，活動を含んでおり，十分に多様である.

## 4.2 対話要約の収集

要約の作成にあたっては，まず，サンプリングした CEJC の対話に対して対話行為と連鎖組織を人手でアノテーションした. 次に，アノテーション済みの 6 対話から，4つの連続する連鎖組織をランダムに8つ（1 対話あたり1つまたは 2 つ）サンプリングして，要約の対象とした. ここで，複数の連続する連鎖組織を要約の対象とした理由は，短すぎる入力であると要約の評価が困難と考えたためである.

これらの連鎖組織について，文章形式，対話形式，キーワード形式の合計 6 種別の対話要約を人手で作成した. 各要約の概要と作成方法を以下に列挙する。

## - 文章形式の要約 (Text Format Summary; TFS)

一般的な文書形式の要約を指す. 文章形式の要約として 2 種別を作成した. 一つは，4つの連続する連鎖組織のそれぞれについて文章形式の要約を作成し，それらを連結したもので，もう一つは 4 つの連続する連鎖組織について 1 つの文章形式の要約を作成したものである. 入力単位が長いほど，対話内容全体を整理するために
要約がより構造化される可能性がある. よって，これら 2 種別の要約を用意することで，構造の異なる文章形式の要約が準備できると考えられる．前者をTFS-1x4 と呼び，後者を TFS-4 と呼ぶ.

## $\cdot$対話形式の要約 (DFS)

3 節で述べた対話形式の要約を指す. 4 つの連続する連鎖組織のそれぞれについて DFS を作成し，それらを連結することで作成した。これをDFS-1x4 と呼ぶ. なお，対話の抜粋型要約も対話形式の要約と考えられる。そこで，4つの連続する連鎖組織に含まれる発話から重要と考えられるものを抜粋することで要約を作成した.これをDFS-4-ext と呼ぶ.

## ・キーワード形式の要約 (Keyword Format Summary; KFS)

キーワード形式の要約を指す.この要約は， 4 つの連続する連鎖組織から一般名詞と固有名詞を抽出して, 出現順にリストにしたものである. 名詞は, 形態素解析の $\mathrm{MeCab}{ }^{1}$ ) と辞書の NEologd ${ }^{2)}$ を使用して自動的に抽出する。これをKFS-4 と呼ぶ.

## ・対話履歴 (Dialogue History)

対話履歴そのものを指す.これは要約ではないが，他の要約との比較のため用いる。

クラウドソーシング 3)で作業者を募集し，サンプリングされた 6 対話に対してのべ 10 人が対話行為と連鎖組織のアノテーションを行った. なお，事前調査では，対話行為アノテーションの一致率 (Fleiss の к）は 0.55 ，連鎖組織アノテーションの一致率は 0.47 であった.

要約の作成はのべ 15 人が行った. ノイズの恐れのため, キーワード形式の要約と対話履歴以外の要約は全て人手で作成した。その際, 主語や指示語を補完するために，要約すべき 4 つの連続した連鎖組織に加えてその直前 2 つ分の連鎖組織も要約作成者に参照させた. 8 つの要約対象に対して 6 種別の要約を 1 つずつ作成することで，計 48 個の要約を収集した. TFS-1x4，TFS-4 は最大 170 文字程度，DFS-1x4，DFS-4-ext は 100-200 文字程度を目安に作成させた. TFS-1x4, TFS-4, DFS-1x4, DFS-4-ext, KFS-4, Dialogue history それぞれの平均文字数は，

表 1 因子分析の結果. 数値は因子負荷量を示す. 0.6 以上の値を太字で示す. 我々は，因子 1 を臨場感，因子 2 を読みやすさ，因子 3 を簡潔さと名付けた。

110.3, 139.3, 133.8, 169.6, 59.6, 393.5 であった. 人手で作成させた要約については, 著者の 1 人が対話履歴と要約を照らし合わせ，忠実性の高い要約であることを確認した。

## 4.3 形容詞対の収集

クラウドソーシングで作業者を 15 人募集し，作業者に要約の印象を記述させることで，印象評価に用いる形容詞対を収集した。収集方法は小磯ら [24] の手順を参考にした. まず，収集した要約から，同じ連鎖組織から作られた異なる 2 種別の要約ペアを構成し, ランダムに作業者に提示した. 次に, 作業者に, 各要約の表現や文体から得られる印象を文章で記述させ，最終的に「あたたかい—つめたい」のような形容詞対を作成させた. 最後に, 収集した形容詞対の中で類似する表現をまとめ上げ，2 回以上出現した形容詞対を採用することで整理した. 最終的に，作業者から 118 対の形容詞対を収集し，整理を経て 23 対の形容詞対を得た。

## 4.4 各要約種別に対する印象評価

形容詞対の作成を行っていない作業者をクラウドソーシングで 45 人募集し, 収集した形容詞対を用いて, 各要約種別の印象を 5 段階で評価させた.評価にあたっては, 形容詞対の収集時と同様に, ぺアになった要約を各作業者に 3 組ずつ提示して，異なる 2 種別の要約それぞれについて印象を評価させた。

## 4.5 因子分析の実施

各要約種別に対する印象評価の結果を用いて，形容詞対を対象に因子分析を行うことで，評価軸を発

図 1 要約種別ごとの各因子の平均スコア. 印象評価のスコアを，各形容詞対が属する因子ごとに平均し，要約種別ごとに表している.

見した.まず，どの要約種別に対しても似たような評価がなされた形容詞対（各評価者の分散の平均が 1 未満の形容詞対）を因子分析の対象から除外した.次に，Kaiser-Guttman 基準により因子数を 3 と決定した. そして，最尤法により因子負荷量を求め，バリマックス回転を適用した. その後, 因子負荷量がどの因子に対しても小さい值（0.6未満）しか示さない形容詞対を削除し，再度因子分析を行った. 最後に，因子を構成する形容詞対をもとに各因子に名前を付けた。

表 1 に，各形容詞対の因子負荷量を示す. 累積寄与率は $61.8 \%$ であった. 3 つの因子が発見でき，それぞれについて以下の通り解釈を行った。

## 因子 1 : 臨場感

因子 1 については「人間的な一機械的な」「双方向の一一方向の」「継続した一停止した」など，描写の豊かさや現実らしさに関する形容詞対が相対的に高い正の負荷を示しており, 臨場感に関する因子と解釈できる.

## 因子 2：読みやすさ

因子 2 を見ると，「おさまりの悪い—おさまりの良い」「曖昧な一明瞭な」などが相対的に高い正の負荷を示している。したがって，読みやすさに関する因子と解釈できる.

## 因子 3 ：簡潔さ

因子 3 は「壳長な一簡潔な」と「長い—短い」 の形容詞対からなる.これは簡潔さに関する因子と解釈できる。

## 5 各要約種別の特徵の分析

得られた評価軸と印象評価結果を用いて，各要約種別に特徴的な軸を特定することで，対話形式の特徵を明らかにした。

図 1 に，要約種別ごとの各因子の平均スコアを示す.このスコアは，4.4 節で得られた印象評価のスコアを，各形容詞対が属する因子ごとに平均し，要約種別ごとに表したものである.

文章形式の要約 (TFS-1x4, TFS-4) は，臨場感の評価が 5 段階で 3 を下回っていた.このことは，文章形式の要約が元の対話の臨場感を表現するのに不向きであることを示唆している。一方で，読みやすさのスコアは他の形式に比べて高い.

対話形式の要約 (DFS-1x4，DFS-4-ext) は全体的に臨場感のスコアが高く, 元の対話の臨場感を保持できる表現形式であることが分かる. 特に提案手法の DFS-1x4 は，重要発話を抜粋した DFS-4-ext や対話履歴そのものである Dialgoue history と同程度の臨場感を保持できる上に，それらよりも読みやすく簡潔な要約であることが分かった. これは，DFS-1x4の作成にあたって，重要な発話を単に抜粋するのではなく自然な発話の連続として再構成しているため, また，㔯長なフレーズを取り除いているためと考えられる。

キーワード形式の要約は，臨場感と読みやすさのスコアが低かった。一方で，簡潔さのスコアは他のどの表現形式よりも高いことが分かった.

各要約形式の特徴をまとめると, 文章形式の要約は，臨場感は失われるが，読みやすさと簡潔さが優れていることが分かった. 対話形式の要約は, 臨場感を持たせることができることが分かった. 特に提案手法の DFS-1x4 は, DFS-4-ext や Dialogue history よりも読みやすく簡潔であることが分かった.キー ワード形式の要約は，簡潔さに特化していることが分かった. この結果は，提案する対話形式の特徴を明らかにするとともに，対話要約の要件に応じて，対話形式と文章形式を使い分けることの有効性を示唆している。

## 6 まとめ

本研究では，対話を対話として要約するというアイデアのもと，対話形式の対話要約である DFS を提案した. そして，SD 法と因子分析により，対話形式を含めた対話要約の評価軸として，臨場感，読みやすさ，簡潔さという 3 つの評価軸を得た. この評価軸をもとに対話形式の要約を評価したところ， DFS は簡潔さを保ったまま臨場感を持たせられる表現形式であることが分かった. 今後は, 臨場感の表現に優れた DFS を，対話システムと人間のオペレー タの間での対話の引き継ぎで用いたい。また，大規模言語モデルを活用することで，対話からDFS の自動生成を行いたいと考えている.

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011 の支援を受けたものです.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Proc. NeurIPS, Vol. 33, pp. 1877-1901, 2020.

[2] Jan Pichl, Petr Marek, Jakub Konrád, Petr Lorenc, Van Duy Ta, and Jan Šedivỳ. Alquist 3.0: Alexa prize bot using conversational knowledge graph. arXiv preprint arXiv:2011.03261, 2020.

[3] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[4] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proc. EACL, pp. 300-325, 2021.

[5] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, et al. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage. arXiv preprint arXiv:2208.03188, 2022.

[6] Ryuichiro Higashinaka, Masahiro Araki, Hiroshi Tsukahara, and Masahiro Mizukami. Integrated taxonomy of errors in chat-oriented dialogue systems. In Proc. SIGDIAL, pp. 89-98, 2021.

[7] Tatsuya Kawahara, Naoyuki Muramatsu, Kenta Yamamoto, Divesh Lala, and Koji Inoue. Semi-autonomous avatar enabling unconstrained parallel conversationsseamless hybrid of woz and autonomous dialogue systems-. Advanced Robotics, Vol. 35, No. 11, pp. 657-663, 2021.

[8] Inderjeet Mani. Automatic summarization, Vol. 3. John Benjamins Publishing, 2001.

[9] Bogdan Gliwa, Iwona Mochol, Maciej Biesek, and Aleksander Wawer. SAMSum corpus: A human-annotated dialogue dataset for abstractive summarization. In Proc. EMNLP Workshop on New Frontiers in Summarization, pp. 70-79, 2019.

[10] Yulong Chen, Yang Liu, Liang Chen, and Yue Zhang. DialogSum: A real-life scenario dialogue summarization dataset. In Find. ACL-IJCNLP, pp. 5062-5074, 2021.
[11] Sansiri Tarnpradab, Fei Liu, and Kien A Hua. Toward extractive summarization of online forum discussions via hierarchical attention networks. In Proc. FLAIRS, pp. 288-292, 2017.

[12] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[13] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. BERTScore: Evaluating text generation with BERT. arXiv preprint arXiv:1904.09675, 2019.

[14] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer, and Steffen Eger. MoverScore: Text generation evaluating with contextualized embeddings and earth mover distance. In Proc. EMNLP-IJCNLP, pp. 563-578, 2019.

[15] Ming Zhong, Yang Liu, Yichong Xu, Chenguang Zhu, and Michael Zeng. Dialoglm: Pre-trained model for long dialogue understanding and summarization. arXiv preprint arXiv:2109.02492, 2021.

[16] Alexander Fabbri, Faiaz Rahman, Imad Rizvi, Borui Wang, Haoran Li, Yashar Mehdad, and Dragomir Radev. ConvoSumm: Conversation summarization benchmark and improved abstractive summarization with argument mining. In Proc. ACL-IJCNLP, pp. 6866-6880, 2021.

[17] Robert Gunning. Technique of clear writing. McGrawHill, 1952.

[18] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Technical report, Naval Technical Training Command Millington TN Research Branch, 1975.

[19] Haitao Lin, Junnan Zhu, Lu Xiang, Yu Zhou, Jiajun Zhang, and Chengqing Zong. Other roles matter! Enhancing roleoriented dialogue summarization via role interactions. In Proc. ACL, pp. 2545-2558, 2022.

[20] Emanuel A Schegloff. Sequence organization in interaction: A primer in conversation analysis, Vol. 1. Cambridge university press, 2007.

[21] Yasuharu Den, Hanae Koiso, Takehiko Maruyama, Kikuo Maekawa, Katsuya Takanashi, Mika Enomoto, and Nao Yoshida. Two-level annotation of utterance-units in Japanese dialogs: An empirically emerged scheme. In Proc. LREC, pp. 2103-2110, 2010.

[22] Harry Bunt, Volha Petukhova, David Traum, and Jan Alexandersson. Dialogue act annotation with the iso 24617-2 standard. In Multimodal interaction with W3C standards, pp. 109-135. Springer, 2017.

[23] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the corpus of everyday Japanese conversation. In Proc. LREC, pp. 5587-5594, 2022.

[24] 小磯花絵, 田中弥生, 小木曽智信, 近藤明日子. テキストの多様性をとらえる分類指標の体系化の試み。言語処理学会第 17 回年次大会発表論文集, pp. 683-686, 2011.

## A 付録

表 2 に Dialogue history の例を，表 3 に各 Dialogue history に対応する要約種別の例を示す.

表 2 Dialogue history の例（CEJC の会話 ID T013_001より）。連鎖組織の境界を罣線で示す. A および B は話者を示す。

B: うーん : 基礎があっていっぱい線書いてこれいろいろあって

B: そうでしょう

B: ああああ

A: 線を引き方とかなんかあの楷書体から行ってどうのこうのってある

B: あああーあ

A: それやった上で崩してもいいよとかってなるともう最初からさもう超上級者の崩し字のさきゅんっこんなこんな字でさ

B: うんー

B: それではちょっと厳しいですね

A: でもうそれこれじゃだから今年はちょっとパソコンの年賀状じゃなくて趣のあるをさ

B: うーん

A: な

B: うん

A: 鳥獣戯画みたいなものをさ

B: 鳥獣

A: あ一

A: 草書体をちょっともうちょろちょろっと書いたのをさ下手でもなんでもいいからちょっと味わいで出してみよう (続き)

B: やっぱり

A: 習字もね一度ほら一添削をやったじゃん

A: 俺

B: そうだっけ

A: え

A: もう十年ぐらい前やったことあんだ

A: あれもそうだもう終わったね

B: あー

B: 終わったの

A: あれはね月々添削料がね五千円ぐらいだったんだよな

B: うーん

A: 大変だったんだよ

A: あれ

B: うん

A: で一回か二回やったんだけど

B: うんうん

A: 続かなかったね

B: あの人あなたの字はそのままで草書体みたいなもんだからいいのよ

A: つうかさ

B: 無理しなくたってかっつってだめだね

B: うん

B: うーん

A: ありゃもうちょっとね無理だね

B: まず習字からやりやることが必要なんじゃない

(右上へ続く)

A: んなお前そうゆう言い方ないでしょ

A: あなた

A: 草書体じゃない

A: ただずるずるしてるだけだ

B: うう

A: 草書体ってのはきちんとしたルールがあんのよ

表 3 表 2 の Dialogue history から作成された要約の例．連鎖組織の境界を罡線で示す．A および B は話者を示す. TFS-1x4

A は今年の年賀状は, 直筆の崩し字で趣のあるものにしたいと考えていた.

A は十年ほど前に，習字を添削してもらったことがある.

$\mathrm{A}$ は習字の添削を一回か二回してもらった.

A の字は草書体ではなく，ただずるずるしているだけだ.

## TFS-4

最初から超上級者の崩し字で，A には厳しかった. 今年はパソコンの年賀状ではなく，草書体で趣のある鳥獣戯画のようなものを，下手でもいいから味わいで出してみようと思っていたが，ちょっと無理だった. A は習字も十年ぐらい前に一回か二回やったが続かなかった.Aの字はただずるずるしているだけで，草書体ではない.

## DFS-1x4

A: 最初から超上級者の崩し字を書かされたからね

B: それは厳しいね

A: 今年は鳥獣戯画風の年賀状を出したかったのに

A: 少し草書体を書こうかと思ったけど無理だね

B: 習字からやったほうがいいよ

A: 添削受けたことがあるけどだめだった

$\mathrm{A}:$ 添削料が月五千円で一，二回やって続かなかった

B: あなたの字は草書体みたいだからそのままでもいいと思う

B: 無理しなくても

A: 草書体にはきちんとしたルールがあるんだよ

## KFS-4

最初，鳥獣，あん，一，ゅんっこんなこんな，じゃなくて，ほら一, 言い方, 字, 習字, 鳥獣戯画, 上級, 味わい，人，さき，草書体，そのままで，年賀状，趣，月々，崩し，ルール，パソコン，つう，やもうちょっとね

## DFS-4-ext

A: 習字もね一度ほら一添削をやったじゃん

B: そうだっけ

A: もう十年ぐらい前やったことあんだ

A: あれもそうだもう終わったね

B: 終わったの

A: あれはね月々添削料がね五千円ぐらいだったんだよな

A: で一回か二回やったんだけど

A: 続かなかったね

B: あの人あなたの字はそのままで草書体みたいなもんだからいいのよ

B: 無理しなくたって

A: んなお前そうゆう言い方ないでしょ

A: 草書体じゃない

A: ただずるずるしてるだけだ

B: うう

$\mathrm{A}$ : 草書体ってのはきちんとしたルールがあんのよ


# InstructSum: 自然言語の指示による要約の生成制御

西田光甫西田京介 斉藤いつみ 齋藤邦子
日本電信電話株式会社 NTT 人間情報研究所
kosuke.nishida.ap@hco.ntt.co.jp

## 概要

GPT-3 などの事前学習済み言語モデルは，訓練データを使うことなく指示を入力するだけで出力をタスクに適合させることができる。自然言語の指示による言語モデルの出力制御の従来研究では，複数のタスクの中の 1 つとして要約タスクへの適合を扱い，どのような要約を出力するかまで制御する取り組みがなかった. そこで本研究では, 3309 個の要約タスクを持つ InstructSum データセットを作成した. さらに，長いソーステキストと指示の関係性を効率的にモデリングする手法を提案した．評価実験で InstructSum と提案手法の有効性を確認した。

## 1 はじめに

GPT-3 などの事前学習済み言語モデルは，言語モデルにタスク定義や入出力例を自然言語で指示することで，モデルの Fine-Tuningを行わずに出力を制御することを可能にした [1]. 自然言語の指示による出力の制御は，非専門家や訓練データのないサー ビスに AI 開発の門戸を開いたことで，大きな注目を集めている。近年では，モデルが指示に従う能力を高めるため，大量のタスクを用意し，タスクごとに異なる指示を与えて教師ありマルチタスク学習を行う Instruction Tuning が提案された [2]. Instruction Tuning を加えた事前学習済み言語モデルは，指示を入力するだけで通常の訓練データを用いた教師あり学習モデルに匹敵する性能を達成することが報告されている $[2,3,4]$.

本研究では, Instruction Tuning を要約タスクに導入し，自然言語の指示によって要約を制御することに取り組む. 第一の貢献として，要約に特化した Instruction Tuning のデータセットとして InstructSum を作成した。このデータセットでは，クラスタリングによって書き方が共通している要約の集合を得て，クラウドソーシングによって要約の書き方を自然言語の指示に書き下した. 第二の貢献として，要

図1要約タスクにおける instruction-tuning.

約対象のテキスト（ソーステキスト）のみを先にエンコードして内部表現として保持することで，指示だけを高速にエンコード可能なモデルを実現した. Instruction Tuning の従来研究に比較して要約タスクでは入力長が長くなるが，提案モデルは精度を落とさずかつ効率的に指示とソーステキストを処理できる. 評価実験により, InstructSum と提案手法の有効性を確認した。

## 2 InstructSum

## 2.1 問題定義

学習ある要約タスクを自然言語で表現する指示 $I$ が与えられる。各タスクの訓練データとして (ソーステキスト $S$ ，ターゲットテキスト $T_{S, I}$ ) のぺアの集合が与えられる。複数個のタスクから要約モデルを学習する。

推論要約モデルは，未知の指示（タスク）I と未知のソーステキスト $S$ が与えられると，ターゲットテキスト $T_{S, I}$ を出力する.

## 2.2 データセットの収集

概要前節で定義した問題定義に従うデータセットを構築するため，まず類似した書き方に基づくターゲットテキスト（および対応するソーステキス

ト）のクラスタを作成し，クラスタ内のターゲットテキストに共通する指示を作成する。ここで，クラスタ内のソース・ターゲットテキストの集合がタスクの訓練データに相当する.

ソース・ターゲットテキストの収集 [5] に従い， Wikipedia の概要部分をターゲットテキストとした.彼らは複数文書要約のために外部リンクの情報や Google 検索 API の結果を使ってソーステキストを収集したが，本研究では同じ記事の概要以外の部分をソーステキストとして利用した.

## ターゲットテキストのクラスタリング次にター ゲットテキストをクラスタリングし，書き方が類似 した記事のクラスタを得る. 複数の概要部分に共通 する下書きを作成するタスクを提案した [6] の手法 を参考にした。まず記事タイトルを単語分割し，同 じ箇所の 1 単語以外が一致するクラスタを作成す る. 次にターゲットテキストを単語分割し，クラス タ内の他のテキストに対してレーベンシュタイン距離を計算する. 全てのテキストと単語長の 0.7 倍以上離れている場合にクラスタから削除する．クラス タの大きさが 4 以下の場合はクラスタを削除する.

指示文の作成上記の手段で収集したクラスタのうち 900 クラスタ 8993 概要部分に対してアノテー ションを付与した. まず，以下の操作を繰り返しクラスタに対して 5 つ指示文を作成する. この操作では，ワーカの負荷軽減のため 1 クラスタ当たり 5 つのターゲットテキストを読む.
- 同一クラスのキーワード (Donald Trump と Joe Biden など）を各ターゲットテキストから抜き出し, キーワードのクラス名 (President's Name など）を考える。

・クラス名に言及する指示文を書き下す。

・クラスが現れる順番が共通する場合，順序に言及する。

・クラスを含むターゲットテキストが 3 つ以下である場合，そのクラスを含む条件に言及する。

## 指示文とターゲットテキストの関係情報の付与次に，ターゲットテキストを文に分割したターゲッ ト文と 5 個の指示文の関係フラグを付与する. 関係 フラグは，ある指示の内容をターゲット文が含んで いるかどうかを $\{0,1\}$ で表現する.

ここで，指示文 1 から指示文 $j$ まで $(j=1, \cdots 5)$ を連結することで，1 つのクラスタから 5 通りの指示 $I$ を作成する。関係フラグを用いて，指示 $I$ の 1 指示文でも関連があるターゲット文を繋げたテキス

図 2 データセットの例. 指示 $I$ とターゲットテキスト $T_{S, I}$ に処理する前の指示文・Wikipedia 記事の例を示す.

表 1 統計值.

トを作成し，改めて指示 $I$ とソーステキスト $S$ に対応するターゲットテキスト $T_{S, I}$ と定義する. ここで，ターゲットテキストが連続した文でないときはデータセットから取り除く.

データの分割クラスタ内の Wikipedia 記事のカテゴリ情報を用いて，評価セットに未知の指示が含まれるように 746/50/104 クラスタを訓練/開発/評価セットに分割した。詳細は付録に示す.

## 2.3 データ分析

図 2 にデータ例を示す. 表 1 にデータの統計值を示す. 指示，ソーステキスト，ターゲットテキストのトークン長を $L_{I}, L_{S}, L_{T}$ と書く.

指示文作成した 4500 指示文がどのような指示なのか調査するため, 最初の単語の分布を調べた. If から始まる条件付きの指示が $13.0 \%$ ，順序に言及する指示が $36.7 \%$ あるため，単純なキーワードクラスだけを指定するよりも複雑な指示ができる. 残

り，多様な表現の指示が含まれる.

ソース・ターゲットテキストソース・ターゲットテキスト間の Rouge-L [7] を評価すると，28.1 であった. 外部リンクページと Google 検索結果に基づきソーステキストを構築した Wikisum [5] は Rouge-Lを 17.0 と報告しており，InstructSum は WikiSum に比べてテキスト間の整合性が高いデー タセットであると言える.ソース・ターゲットテキストの長さ 1299.2 と 86.9 は要約データセットとしては標準的か少し長い程度である。代表的なデータ

図 3 指示の分類と最初の単語の分布.

セットである CNN/DM [8] は 789.9 と 55.6 である.

## 3 モデル

同一のソーステキストに異なる指示を与えて複数回要約を生成する現実的な設定において，ソーステキストをモデルの内部表現として保持して計算効率を高める手法を提案する. Transformer 構造 [9] の Encoder-Decoder である T5 [10] をべースとする.

入出力形式モデルの入力は, 'Instructions: \{I \} According to the above instructions, summarize the following article. Title: $\{T i\}$ Article: $\{S\}$, とした. ここで，波括弧は代入操作，Ti は Wikipedia 記事のタイトルを示す. 出力はターゲットテキストのみである. 入力は最初の 1024 トークンのみを用いた.

内部表現保持モデルまず，Transformer の selfattention について再確認を行う. Query, Key, Valueの行列 $Q, K, V \in \mathbb{R}^{L \times d}$ を使って隠れ状態

$
H=\operatorname{Attn}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{\top}}{\sqrt{d}}\right) V
$

を得る. $L$ は系列長， $d$ は次元サイズである.この計算量が Transformer Encoder のボトルネックであり， $O\left(\left(L_{S}+L_{I}\right)^{2}\right)$ の計算量が必要である.

そこで，提案モデルでは $Q, K, V$ を指示 $I$ の系列 $Q_{I}, K_{I}, V_{I} \in \mathbb{R}^{L_{I} \times d}$ とソーステキスト $S$ の系列 $Q_{S}, K_{S}, V_{S} \in \mathbb{R}^{L_{S} \times d}$ に分割する. ソーステキストを $H_{S}=\operatorname{Attn}\left(Q_{S}, K_{S}, V_{S}\right)$ とエンコードする. $K_{S}, V_{S}$ はソーステキスト表現としてモデルが保持する.

指示が入力されたときは $H_{I}=\operatorname{Attn}\left(Q_{I}, K, V\right)$ とエンコードできる. $K_{I}, V_{I}$ は $K_{S}, V_{S}$ と繋げることで $K, V$ とする. この操作では, 最も大きい $O\left(L_{S}^{2}\right)$ の計算を 2 回目以降の指示入力で省略できる.

学習・推論学習時の損失は Teacher-Forcing と Cross-Entropy によって計算した. 推論時の生成はビーム幅を 2 とした Beam-Search で行った.表 2 自動評価値. Zero-shot は InstructSumによる学習を行わない. No Inst. は指示 $I$ を入力しない. Full は通常の Transformer モデル（full self-attention）である.

## 4 評価実験

ベースモデルである T5 に対して Instruction Tuning を実施した FLAN-T5 [4]を初期值として InstructSum で学習した. 評価指標には，要約タスクで一般的な Rouge-L（R-L） [7]，BLEU-4（B-4） [11]を用いた. その他の設定の詳細は付録に示す.

## 4.1 結果と議論

## InstructSum により指示型要約の性能は向上する

か？ 表 2 に結果を示す. InstructSum で訓練を行うことで，Base, Large モデルであっても Zero-shot の XXL モデルの性能を大きく上回った. InstructSum による訓練は，既に Instruction Tuning 済の FLAN-T5 を初期値とした場合でも指示によって要約を制御する能力を高める効果があった．また，RTX8000 4GPUs で計算した場合，XXL モデルの評価データの推論時間が 161 分に対し Large モデルの訓練・推論時間は計 94 分であるから, 時間・空間計算量の観点からも InstructSum の利用は有用である.

## 内部表現の保持により性能を維持し効率性を高 められるか？ 内部表現保持モデルを用いた場合で も，Large モデルの Rouge-L では 0.63，BLEU-4 では 0.09 ポイントと, 性能が僅かに下がるに留まった.指示を入力した Large モデル Encoder の演算数は提案手法を用いることで Base モデルの 174GigaFLOPS より小さい24GigaFLOPS に抑えられた. 入力 1024 トークンのうち指示は冒頭の平均 41 トークンであ るため，通常の self-attention は計算量が多いにも関 わらずソーステキストと指示の離れた位置間の相互作用のモデリングへの貢献が少なく，提案手法が精

} \\

図 4 提案モデルの生成例. ソース・ターゲットテキストの全文はhttps://en.wikipedia.org/wiki/Fujifilm_X-T2 にて確認できる。

図 5 指示文数ごとの平均長.

度・計算量の面でバランスが良いと言える。

指示によって生成結果は変化するか？ 表 2 に示す様に，指示を入力せずに InstructSum で訓練・評価した場合，性能が下落した. 次に，図 4 に生成例を示す. 要約の制御を学習する Instruction Tuning により，提案手法は指示の内容に従う要約を生成出来ている. さらに，図 5 ・図 6 に I の指示文数ごとに評価した結果を示す. 提案手法は，正解要約の長さに合わせて生成要約の長さも変化している. 自動評価值は短い指示・正解要約に対して性能が高い. 特に precision のみで計算する BLEU-4 で短い正解要約に対して性能が高いことから，指示に対して簡潔に要約を生成していると言える。指示を入力しない場合はソーステキストのみに依存するため，平均的な長

図 6 指示文数ごとの自動評価值.

さの出力を学習してしまう.

## 5 関連研究

クエリ依存要約本研究と最も関わりの深いタスクである $[12,13,14,15,16,17]$. しかし， 1 つの指示 （タスク，クエリ）に複数のソース・ターゲットテキストのペアがあり，さらに複数タスクの学習ができるという点で本研究は新しく，指示による要約の制御の研究に適している.

要約の生成制御自然言語の指示・クエリ以外にもキーワード $[18,19]$ や長さ $[20,21,22]$ に関して要約の生成を制御する研究があるが，InstructSum は自然文で要約の内容や記載順序を指示できる点に新しさがある。一方で，長さは指示数で間接的に制御するのみであるため，今後の課題と言える。

Instruction Tuning Instruction Tuning のために多くのタスクを含むデータセットが提案されており $[2,23,24,25,26,27,28]$, それらでは要約データセットも用いられている。しかし，これらの研究では要約タスク自体への適合を学習する。InstructSum は要約の制御のための Instruction Tuning に取り組んだ初めての研究である.

## 6 おわりに

本研究では，要約における Instruction Tuning を実現するため，InstructSum の作成と内部表現保持モデルの提案を行った. 本研究の貢献を以下に示す.

本研究の独自性. InstructSum は，ターゲットテキストのクラスタリングと組み合わせることで要約における Instruction Tuning に初めて取り組んだ。

本研究の重要性. 指示による要約の制御の実現により, 自動要約の事業領域を広げることができる。 InstructSum 及び内部表現保持モデルは，この実現に資すると考える. Instruction Tuning は ChatGPT [29] にも利用されており，言語モデル研究における重要技術として注目されている. InstructSum は Instruction Tuning の高度化・評価に貢献できる。

## 参考文献

[1] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[2] Jason Wei, Maarten Bosma, Vincent Y Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M Dai, and Quoc V Le. Finetuned language models are zero-shot learners. arXiv preprint arXiv:2109.01652, 2021.

[3] Long Ouyang et al. Training language models to follow instructions with human feedback. In NeurIPS, 2022.

[4] Hyung Won Chung et al. Scaling instruction-finetuned language models. arXiv preprint arXiv:2210.11416, 2022.

[5] Peter J. Liu*, Mohammad Saleh*, Etienne Pot, Ben Goodrich, Ryan Sepassi, Lukasz Kaiser, and Noam Shazeer. Generating wikipedia by summarizing long sequences. In ICLR, 2018.

[6] Zeqiu Wu, Michel Galley, Chris Brockett, Yizhe Zhang, and Bill Dolan. Automatic document sketching: Generating drafts from analogous texts. In ACL-IJCNLP (Findings), pp. 2102-2113, 2021.

[7] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[8] Karl Moritz Hermann et al. Teaching machines to read and comprehend. In NIPS, p. 1693-1701, 2015.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008, 2017.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, pp. $1-67,2020$.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[12] Hoa Trang Dang. Overview of duc 2005. In document understanding conference, Vol. 2005, pp. 1-12, 2005.

[13] Hoa Trang Dang. DUC 2005: Evaluation of questionfocused summarization systems. In Task-Focused Summarization and Question Answering, pp. 48-55, 2006.

[14] Preksha Nema et al. Diversity driven attention model for query-based abstractive summarization. In ACL, pp. 10631072, 2017.

[15] Haichao Zhu, Li Dong, Furu Wei, Bing Qin, and Ting Liu. Transforming wikipedia into augmented data for queryfocused summarization. TASLP, Vol. 30, pp. 2357-2367, 2022.

[16] Sayali Kulkarni, Sheide Chammas, Wan Zhu, Fei Sha, and Eugene Ie. AQuaMuSe: Automatically generating datasets for query-based multi-document summarization. arXiv preprint arXiv:2010.12694, 2020.

[17] Ming Zhong, Da Yin, Tao Yu, Ahmad Zaidi, Mutethia Mutuma, Rahul Jha, Ahmed Hassan Awadallah, Asli Ce- likyilmaz, Yang Liu, Xipeng Qiu, and Dragomir R. Radev. Qmsum: A new benchmark for query-based multi-domain meeting summarization. In NAACL-HLT, pp. 5905-5921, 2021.

[18] Itsumi Saito, Kyosuke Nishida, Kosuke Nishida, and Junji Tomita. Abstractive summarization with combination of pre-trained sequence-to-sequence and saliency models. arXiv preprint arXiv:2003.13028, 2020.

[19] Junxian He, Wojciech Kryscinski, Bryan McCann, Nazneen Fatema Rajani, and Caiming Xiong. Ctrlsum: Towards generic controllable text summarization. arXiv preprint arXiv:2012.04281, 2020.

[20] Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling output length in neural encoder-decoders. In EMNLP, pp. 13281338, 2016.

[21] Itsumi Saito, Kyosuke Nishida, Kosuke Nishida, Atsushi Otsuka, Hisako Asano, Junji Tomita, Hiroyuki Shindo, and Yuji Matsumoto. Length-controllable abstractive summarization by guiding with summary prototype. arXiv preprint arXiv:2001.07331, 2020.

[22] Yizhu Liu, Qi Jia, and Kenny Q. Zhu. Length control in abstractive summarization by pretraining information selection. In ACL, pp. 6885-6895, 2022.

[23] Swaroop Mishra, Daniel Khashabi, Chitta Baral, and Hannaneh Hajishirzi. Cross-task generalization via natural language crowdsourcing instructions. arXiv preprint arXiv:2104.08773, 2021.

[24] Yizhong Wang et al. Super-naturalinstructions: Generalization via declarative instructions on $1600+$ tasks. In EMNLP, 2022.

[25] Victor Sanh et al. Multitask prompted training enables zero-shot task generalization. In ICLR, 2022.

[26] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zero-shot learners. In ICLR, 2022.

[27] Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt. Measuring massive multitask language understanding. In ICLR, 2021.

[28] Aarohi Srivastava et al. Beyond the imitation game: Quantifying and extrapolating the capabilities of language models. arXiv preprint arXiv:2003.13028, 2022.

[29] OpenAI. Chatgpt: Optimizing language models for dialogue, 2022. https://openai . com/blog/chatgpt/.

[30] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[31] Adam Paszke et al. Automatic differentiation in pytorch. In Autodiff, 2017.

[32] Thomas Wolf et al. Transformers: State-of-the-art natural language processing. In ACL: System Demonstrations, pp. 38-45, 2020.

## A InstructSum

## A. 1 データ収集

Wikipedia は CirrusSearch の 2021 年 10 月 11 日の dump データを用いた ${ }^{1)}$. CirrusSearch は Wikipedia をテキストに前処理したデータを提供しているため, 表から自動変換したテキストもソーステキストに含めることができる.

## A. 2 データ分布とデータスプリット

図 8 にソース・ターゲットテキストで作成したワードクラウドを示す. 地名違いや年度違いのタイトルの記事のクラスタが作成されやすいため，特に地理・政治・スポーツのデータ数が多くなっている。

図 7 ソーステキストのワードクラウド.

図 8 ターゲットテキストのワードクラウド.

データセットが含む Wikipedia ページについて， Cirrus Search が自動分類したカテゴリの分布を表 3 に示す. 1 つのページは複数のカテゴリに属する.本研究では未知の指示に従う能力を評価するため, Geography カテゴリをクラスタ内に含まない 104 クラスタを評価セットとした。残り796クラスタの表 3 Wikipedia 記事が属するカテゴリ/サブカテゴリのトップ 10.

うちランダムな 50 クラスタを開発セット，残りを訓練セットとした.

## B 実験

## B. 1 実装

実験には NVIDIA Quadro RTX 8000 (48GB) GPUs 4 枚を用いた。ハイパーパラメータを表 4 に示す. 訓練時は入力長をデフォルトの 512 として学習し，推論時に T5 の relative positional embedding $の$ 最大入力長を 1024 に変更した。最適化手法には Adam [30] を用いた。実装には PyTorch [31] と Transformers [32]を用いた。指示を入力しないときの入力は 'Summarize the following article. Title: $\{T i\}$ Article: $\{S\}$ 'とした.図 5 と図 6 の実験では，データ数確保のため，2.2 節の最後で行ったターゲットテキストが不連続な場合のデータ削除を評価データでは行わなかった。

1) https://dumps.wikimedia.org/other/cirrussearch/


# 物語の時系列要約法

呉宗翰 天沼博 松澤和光
神奈川大学大学院 工学研究科
}

r202170128yf@jindai.jp amanuma@kanagawa-u.ac.jp matsuk90@jindai.jp
## 概要

本研究では、アニメで放送されたライトノベル作品に対して、時系列を考慮した小説自動要約を提案する。第 1 章では、コミックやアニメ、ライトノベルの問題点について述べる。第 2 章では、自動小説要約における既存研究について簡略的に述べる。第 3 章では、本研究で提案するシステムについて述べる。第 4 章、第 5 章では、第 3 章で提案したシステムについて評価、考察を行う。

## 1 研究目的

多くのライトノベルは、制作会社によってアニメ化、コミック化されている。そのため、原作を知らなくとも制作された分だけライトノベルの物語を知ることができる。しかし、放送を待てずに物語の続きを知りたい人がライトノベルを購入しようにも、続編が何巻に相当するのか、分かりづらい。また、 アニメ制作会社が続編を放送するのを期待しても長い月日がかかる。さらにコミックでは、打ち切りといったことも起き、続編が描かれない場合もある。

また、ライトノベルは基本的には時系列順に物語を進めていくが、作者が意図して時系列を順序不同にすることがある。『空の境界』の作者、奈須きのこ氏によると、時系列を順序不同にすることで、物語がミステリ的な内容になり、読者は物語を考察・整理する事で快楽を得られる[1]。しかし、パズルのような作品を読むのが苦手な人にとっては、読みづらく購入しづらい。そこで、ライトノベルを楽しみ易くするために、物語を時系列に並び直した情報を提示して物語を読む助けとする。さらに、物語の重要な事柄を抽出する事で、アニメや漫画の続きを読むためにライトノベルを購入する人の手助けになると考える。

## 2 既存研究

自動要約モデルは新聞や論文向けのものが多い [2][3][4]。小説の内容に焦点にあてて研究しているものの多くは、「走れメロス」や「羅生門」といった純文学が対象となっている。ライトノベルや推理小説等といった媅楽小説（大衆文学）の自動要約については、ごく少数の研究者が行っているだけである。

## 3 提案手法

システム全体のフローチャートは図 1 に示す。また、対象となる小説の物語文には、テキスト処理を行い「代名詞」を「固有名詞」に変換したものを使用する。

図 1 システムのフローチャート

## 3.1 品詞や単語の選別

ライトノベルには、情景や感情を表すために、「きれい」や「はあ」といった形容詞や感嘆詞の等の品詞を多く使われる。しかし、ライトノベルの内容の大まかに知る上で不必要な品詞であるため、省くことでライトノベルの文章量を減らす。また、ライトノベルには架空の人物や国等が登場するが、Mecab のシステム辞書では、それらの単語を未知語と表記され、単語に正しい品詞が生成されない。そのため、 ユーザー辞書を追加することで対応させる。

## 3.2 文の主節を抽出

小説には、登場人物の「感情」や「情景」を強く強調するために、「比喻」や「倒置法」「擬人法」 といった修辞法を使われている。修辞法を使用した文は、結論がぼやけてしまい、内容を解りづらくしてしまう。特に、ライトノベルは「倒置法」「比喻」 を使い、登場人物の魅力を上げているので、文章の内容をわかりやすくするために、文の主節を抜き出すのは必須だと考える。

今回は、山内長承氏が開発したシステム[5]を参考に、主語、動詞、目的語、情報句を抜き出す。情報句とは、「日時」や「場所」といった、文には影響しないが情報となる句のことである。この情報句を使い、3.5 節に示す時語検索を行う。

その他の主節は、主語、目的語、動詞の順に一つの文にする。その後、この文を使って類似文章検索、重要文抽出を行う。

## 3.3 類似文章を省く・要約する

機械学習ライブラリである「scikit-learn」を使い、文章に tf-idf 值をつける。ここで、scikit-learn で行う tf-idf の定義[6]は一般に知られている定義とは異なるので以下に示す。

$
\begin{aligned}
& t f_{t, d}=\text { 文書 } \mathrm{d} \text { 中の単語 } \mathrm{t} \text { の出現回数 } \\
& \mathrm{idf}_{\mathrm{t}}=\log \frac{1+\text { 総文書数 }}{1+\text { 単語 } \mathrm{t} \text { を含む文書数 }}+1
\end{aligned}
$

また、類似度はコサイン類似度で測定する。 ライトノベルでは、主に地の文と会話文で構成され、地の文と会話文で同じ内容を表現の仕方を変えて描かれていることが多い。そこで、似た内容の文章を以下のように省く。

まず 1 文目と 2 文目以降を比較し、 1 文目と類似性が高いと評価された文を省く。次に 2 文目と 3 文目以降を比較し、2 文目と類似性が高いと評価された文を省く。同様に、 3 文目以降もこの操作を行う。

## 3.4 重要文の抽出

重要度の高い文を抜き出すことで、アニメやコミックからその作品を知った人でもライトノベルを途中から読み始めることができる。ここで、重要度の高い文とは、主人公に降りかかる出来事や、主人公に間接的にかかわる出来事と仮定する。ライトノベ
ルでは、主人公に関係する出来事には、主人公や主人公に近しい人物の名前が現れる。それらを抽出する事で重要度の高い文を抽出できると考える。

重要度を測るためにテキスト自動要約ライブラリである「pysummarization」を使用する。要約ライブラリの制作者 Accel Brain 社によると、このライブラリは「LSTM をベースとした Sequence-to-Sequence の学習を実現するニューラルネットワーク言語モデルの基礎モデルを re-seq2seq の学習モデルや再構成モデルに応用することで、文書自動要約器を実装したもの」[7]と説明されている。

このライブラリで算出した重要度のうち、主人公や主人公に近しい人物の名前がある文の重要度を高くする。その後、重要度の高い文、 $10 \sim 12$ 個を出力する。

## 3.5 時語検索

時語データを作成する。作成方法は先行研究[8]を参考にする。奥村紀之氏は時間に関する情報を保持した時語データベースとして，時間帯単位，年月日単位，季節単位，人生単位の 4 種類に分類した。以下に, 奥村氏による 4 種の単位の定義と例を示す[8]。

- 時間帯単位時語

一日の中のある時間帯を表す時語

(例：朝，夜)

- 年月日単位時語

一年や一日単位の移り変わりを表す時語

(例：日，年，今日，再来月，火曜)

- 季節単位時語

一年の季節のどこかを表す時語

(例 : 春，夏，春分，七夕，海)

- 人生単位時語

人の一生のある期間を表す語句

(例：高校生，生年)

辞書作成にあたり奥村氏の方法は「時を関する語句をアンケート調査でサンプル収集」 $\rightarrow$ 「サンプルを 5 名の被験者が判定」 $\rightarrow$ 「時間関連の語句であると評価」したものを時語として採用する $[8]$ 。今回は時間の都合上、「辞書で時間に関する語句を収集」 $\rightarrow$ 「被験者 132 名で $15[\%]$ 以上が認めた時語」 $\rightarrow$ 「国語の高校教員 2 名に妥当と評価」したものを時語として採用したものを使用する。また、人生単位時語は評価しない。

## 3.6 時系列に並びなおす

3.2 節で抽出した情報句を日数と時語に分ける。時語は、「年月日」「時間帯」「季節」の 3 項目を判定させる。

まず初めに物語の始まりの文を「0 日」とおく。それ以降の文で「90日」や「『年月日』に関する時語」 があれば日数計算を行う。その後、日数の数が低い順に並べる。

その他の 2 項目では、「時間帯」は「朝」「昼」

「夕」「夜」を、「季節」は「春」「夏」「秋」「冬」 をそれぞれ順番に「1」「2」「3」「4」のラベルを付ける。その後、日数を基準に「時間帯」は 1 日ごとに、「季節」は 365 日ごとにラベルの数が低い順に並べる。

## 4 評価実験

今回提案した手法の結果を図 2 に示す。この結果をもとに 2 種類の評価実験を行う。

図 2 システムの出力結果

## 4. 1 正誤評価

アニメ 1 話ごとを理想的な出力結果と仮定し、出力結果と比べ正誤評価を行う。評価項目は、記述の精度、あらましの再現率、話のバランス、の 3 項目を行う。記述の精度は出力結果の記述が適当かを判定、あらましの再現率はアニメの何話を再現しているかを判定、話のバランスはアニメ全話で偏りがないか判定する。正誤結果の一部を表 1 にまとめた。正誤結果は記述の精度は 21.7[\%]、再現率は 52.2[\%] である。

表 1 アニメとの正誤判定の一部

また、出力された日時が適正かライトノベルと比べた結果、アニメの一期の最後と比べ、6 日のずれが生じた。図 3 にシステムと原作小説の経過日数の比較グラフをしるす。

図 3 原作小説とシステムの経過日数

## 4. 2 アンケート評価

アニメ視聴者にアンケートを行い、あらましを把握するのに役立つか、またアニメ何話なのか分かる出力になっているか評価してもらう。評価結果を図 4、図 5 にまとめた。

■役に立つ ■必要ない

図 4 あらましの把握

図 5 小説の話の推測

## 5 考察

今回、提案した手法により、アニメの続編にあたる話を原作小説から読むことが可能であることがわかる。このことは、アンケート評価から分析できる。

あらましの把握では、必要がないと回答した被験者が多かった。必要がないと回答した理由の多くが 「意味の分からない文が多い」と否定的であった。一方で、「あらましの把握には役に立たないが、日
数と文からある程度、想像できる」と肯定的な理由があった。

小説の話の推測では、「推測できる」と回答した被験者が多く、その理由が「日数と内容から推測できるが、自信をもっては答えられない」であった。

このことから、アニメ放送後の内容の続きから原作小説を読むことは可能と考える。ただし、あらましの把握で否定的な理由が「不可解な文」であることから、この手法は、記述の精度が不十分である。 このことは、正誤評価から考察される。前述した通り、誤評価では特に記述の精度が悪い。 その結果、あらましの再現率が低なり、話のバランスに偏りが出たと考えられる。その原因は二つ挙げられる。

1つ目は、「助詞」である。今回行った構文解析では、「述語」に対しての「助詞」の関係で、「主語」 と「目的語」を判別していた[5]。しかし、「主語」 や「目的語」につながる「助詞」の有無を判別しなかったことで、文章として不十分な文が出力された。

2 つ目は「要約方法」である。アニメは、製作費等によるが、3 ケ月を 1 クールで全 12 話を 1 話 25 分で放送し終了する。そして、小説によって、全 12 話で放送される小説の内容が 1 章から 2 章で構成される。しかし、制作会社は 1 話 25 分を全 12 話で原作小説の 1 章から 2 章に描かれている内容のすべてをアニメに反映することができない。そのため、不必要な内容を省略する場合がある。このことを考慮せずに原作小説の要約を行うと、アニメに描かれていない場面を、重要度の高い文として要約してしまう可能性がある。これを解決するには、入力した文章をそのまま出力される「抽出型」ではなく、入力した文章を元に新しい文を生成する「生成型」であるべきと考える。最後に時系列のずれを考察する。提案した手法は、小説の始まりの順に計算されている。しかし、原作小説は、同じ内容を「視点」や「場面」を変えて描く場合がある。

「視点」とは、話の中心人物である「主人公」に起きた出来事を主軸に描くが、主人公以外のキャラクターの魅力を引き出すために、別の人物の「視点」 で「主人公」に起きた出来事を描かれる。そのため、「主人公」に起きた出来事と別の人物の「視点」の 2 つ以上の「視点」に同じ内容を描かれる。しかし、今回の提案手法では「視点」について考慮しなかつたので、経過日数にずれが生じた。「場面」とは、話の中心となっている「舞台」や 「場所」のことである。仮に「A 国」「B 国」「C 国」 とあり、「B国」「C 国」から「A 国」に行くのにかかる経過日数が「B 国」の方が「C 国」と比べて 2 日早いと仮定する。このとき、今回提案した手法では、実際には違う「国」を同じ「国」と取り扱ったために、経過日数にずれが生じた。

## 6 今後の課題

5 章より、記述の精度と日数の計算方法が提案した手法の問題点である。

記述の精度は 4.1 節の結果で示した通り、記述の精度が $21.7[\%]$ と低い値となっている。また、 4.2 節で被験者から頂いた否定的な意見には「不可解な文が多い」「読みづらい」「内容がわからない」等々、文の記述に関する内容が多くみられた。

日数の計算方法は 4.1 節の図 3 により、提案した手法のシステムには、原作小説と比べて日数の経過が大きくなっている箇所があり、また変化していない箇所がある。これらの箇所は 5 章で述べた通り、「視点」や「場面」が変わった箇所であった。そのため、視点の変化や場面の変化を考慮する必要がある。

以上のことから、記述の精度と日数の計算方法については今後の課題である。

## 参考文献

[1]「とらだよ。vol.81」,とらのあな, 2007 年 10 月

[2] 安武凌, 野中健一, 岩井将行「LexRank を用いた小説文章からの自動要約手法の検討」

第 16 回 Webインテリジェンスとインタラクション研究会

https://www.jstage.jst.go.jp/article/wii/16/0/16_38/_pdf/char/ja(参照 2022/1/5)

[3] 下窪聖人「BERT で獲得する各場面の分散表現を用いたコサイン類似度に基づく小説の挿絵推」

法政大学学術機関リポジトリ

gradcis_16_19T0010 (2).pdf(参照 2022/1/5)

[4] 山本悠二, 増山繁, 酒井浩之「小説自動要約のための隣接文間の結束性判定手法」

言語処理学会年次大会発表論文集

https://www.anlp.jp/proceedings/annual_meeting/2006/p df_dir/C5-4.pdf(参照 2022/1/5)

[5] 東邦大学理学部情報科学科山内のサイト

「CaboCha による係り受け解析の利用〜文の主節の骨組を取り出す」

https://pepper.is.sci.toho-u.ac.jp/(参照 2022/6/23)

[6] scikit-learn"6.2.3.4.Tf-idfterm weighting"

6.2. Feature extraction - scikit-learn 1.2 .0 documentation (参照 2022/6/28)

[7] pysummarization $\cdot$ PyPI,

$\lceil$ Usecase: Summarization with Neural Network Language Model.」

pysummarization $\cdot$ PyPI（参照 2022/8/29）

[8] 奥村紀之, 瀧本洋喜, 「物語文章における時系列推定の拡張」

第 12 回情報科学技術フォーラム

F-010.pdf (ieice.org) (参照 2022/6/30)


# 観測した周囲の状況を曖昧な発話に統合した 対話ロボットによる気の利いた行動選択

田中翔平 ${ }^{1,2}$ 山崎康之介 1,2 湯口彰重 ${ }^{2,1}$ 河野誠也 ${ }^{2}$ 中村哲 1 吉野幸一郎 2,1
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
\{tanaka.shohei.tj7, yamasaki.konosuke.yi5, s-nakamura\}@is.naist.jp
\{akishige.yuguchi, seiya.kawano, koichiro.yoshino\}@riken.jp

## 概要

人と協働する対話ロボットは，ユーザの要求が曖昧な場合でもユーザが必要とする行動を取ることが期待される。言い換えれば，対話ロボットはユーザ発話の内容のみでなく，ユーザの周囲の状況を正確に理解して気の利いた行動を選択する必要がある.本研究では，このように周囲の状況から得られるマルチモーダル情報を活用するロボットの行動選択モデルを構築した. また，モデルに入力するユーザ発話や周囲の状況を人手で書き起こした場合と自動認識した場合を比較した. 実験結果より, 気の利いた行動をとるために必要な周囲の状況を選択的に与えることで行動の選択精度が向上することがわかった. また, 周囲の状況に関して精度に限りがある自動認識結果を用いた場合でも，単純な事前学習モデルで抽出した特徵量を用いる場合よりは高精度で行動を選択できることが明らかになった。

## 1 はじめに

対話ロボット・システムが人と協働することを想定したこれまでの研究の多くは，ユーザの要求がロボットに対して明示される，あるいはシステムの問い返しによって要求が明確化されることを仮定していた $[1,2]$. しかし実際には，ユーザ自身が持つ要求が曖昧で，ユーザから明示的な要求を示すことができない場合も多い $[3,4]$. “曖昧”とはユーザが何らかの潜在的な要求を持っているにも関わらず，その要求の条件を明確に言語化できない状況にあることを意味する [5].こうした曖昧な要求に対して，気心の知れた人間同士であれば気を利かせて相手が必要としそうな補助を行動として起こすことができる. 例えば，人が起きたタイミングで水を持っていく，ため息をついたときに「どうしましたか？」な
どと聞くような行動を取ることができる。このように，人間と生活環境を共にする対話ロボットは，単に相手からの要求に応じて動作するだけではなく, ユーザ発話に紐づいた状況に応じて能動的に振る舞いを決定することが求められる。

こうした気の利いた行動をとることができるシステムを実現するため，これまでにユーザの曖昧な要求とユーザの周囲の状況を表す画像，およびロボットの気の利いた行動で構成されるコーパスを収集してきた [6]. このコーパスは，ユーザ発話のテキストやロボットの一人称視点を想定した画像というマルチモーダルな情報を統合的に活用し，ロボットがそのユーザの状況にあった行動 (気の利いた行動)を選択することを想定している。このデータで，入力をユーザの発話と周囲の状況，出力を気の利いた行動として教師ありで分類するベースラインモデルを構築した。このとき，特に状況についてシステムが正しく認識をできるよう，様々な説明的な特徴量のアノテーションを大力として利用した。これは例えば，ユーザ発話時点でのコーヒーテーブル上の物体，ユーザの把持物体，ユーザの姿勢などが含まれる. こうした特徴量をべースラインモデルの入力として利用した場合，大規模事前学習モデルを用いて抽出した特徴量のみを与える場合よりも気の利いた行動選択の精度が大きく向上することがわかった.

しかし，実際にロボットでこうした特徴量を利用する場合，状況に対する説明的な特徴量をいかに自動認識して利用できるかという問題が生じる. そこで本研究ではこれらの特徵量を自動認識した場合にどの程度の精度で気の利いた行動を選択できるか検証した。この検証には，一般に広く用いることができる音声認識, 物体認識, 姿勢推定などのモデルを利用した. 実験結果より，説明的な特徵量を自動認識した場合，アノテーションで与えた特徴量を使う

図 1 気の利いた行動の例: ロボットはバナナを持ってきている.

表 1 家庭内ロボットの行動カテゴリリストバナナを持ってくる，充電ケーブルを持ってくる， コップを持ってくる，ケチャップを持ってくる，宅

を持ってくる,テイッシュ箱を持ってくる, 充電ケーブルを片付ける，コップを片付ける，ケチャツプを片付ける，ミニカーを片付ける，ペットボトルを片付ける，リモコンを片付ける，スマホを片付ける，お菓子を片付ける，ティッシュ箱を片付ける， ゴミをゴミ箱に捨てる，缶切りを持ってくる，クッキングシートを持っでくる，グラスを持ってくる， おろし器を持ってくる，キッチンペーパーを持ってくる，レモンを持ってくる，オリーブオイルを持ってくる，じゃがいもを持ってくる，サランラップを持って’くる，水筒を持ってくる，缶切りを棚にしまう，クッキングシートを棚にしまう，グラスを棚にしまう，おろし器を棚にしまう，キッチンペーパー を棚にしまう，ペットボトルを泠蔵庫にしまう， サランラップを棚にしまう，タッパーをレンジに入れる，タッパーを冷蔵庫にしまう，水筒を棚にしまう

場合よりも行動選択の精度が大幅に低下するものの，事前学習モデルを用いて抽出した特徴量のみを用いる場合と比較して高い精度が実現されることがわかった。

## 2 タスク設定とコーパス

本研究で取り組む課題は，一般的なリビングやキッチンにおいてロボットがユーザの家事を手伝うという状況を想定したものである。 ユーザは要求が曖昧な発話や独話を行い，ロボットはユーザ発話とユーザ発話が行われた状況を見ながら気の利いた行動をとる状況を想定する. 図 1 にユーザとロボットのインタラクションの例を示す.ここでユーザの 「朝食が食べたい」という発話は，必ずしも特定の機能に対する要求として言語化されているわけではない. これに対して，ロボットはユーザ発話と机の上に“バナナ”があるなどの状況を勘案しつつ「バナナを持ってくる」という気の利いた行動を選択し，実際にバナナをユーザのもとに持ってくる.

こうした状況を想定して，ユーザの曖昧な発話， その発話が行われた状況を表すロボットの一人称視点を想定した画像，それに対応したロボットの気の利いた行動の三つ組で定義されたコーパスを収集した [6]. このコーパスにおいて，ユーザの曖昧な発話が入力されたとき，ロボットはその発話状況と発話内容の情報を活用し，あらかじめ定義された行動カテゴリの中から気が利いているとみなせるような行動カテゴリを出力する。 あらかじめ定義された全 40 種類の行動カテゴリのリストを表 1 に示す. 具体的には，どのような状況でロボットがこの行動をとったら気が利いていると思うかをクラウドワーカーに尋ね，ユーザの先行発話および室内の状況を入力してもらうことで状況-行動ぺアを収集した [4].

また，室内で家事を補助するロボットがユーザの曖昧な要求を受けたときに，発話内容のみからでは適切な気の利いた行動を選択することが難しい場合が存在する．例えば「あれ？もう一個足りない」という発話はユーザがグラスとお酒を持っている状況で，もう一つグラスが欲しいという状況における発話である.このとき発話内容のみから適切な行動である「グラスを持ってくる」を選択することは困難であるが，「ユーザがグラスを手に持っている」という画像中の情報を参照することで紐づけが可能となる。

また，ある環境でのロボットの一人称視点を想定したデータを用いることを想定したとき，大量のデータを用意することは難しい。 そこで，画像から得られる様々な抽象化レべルの情報を効率よく利用するため，状況を説明するようなラベル (説明的な特徴量) の付与を人手で行った. この際, 動画から最後のフレームの画像を代表画像としてクリップし，代表画像における物体や人物姿勢などのラベルを付与した。

収集されたユーザ発話および発話に紐付けられた画像，画像から得られる説明的な特徴量の例を図 2 に示す.Uttr はユーザ発話を意味し，action は対応する気の利いたロボットの行動を意味する. Viewpoint は画像を撮影したカメラの視点番号を意味し, 計 3 種類である. Position はソファやキッチンなど，ユーザが室内のどこにいるかを表す特徵量である. Pose は座っている，立っているといったユーザの姿勢を表す特徴量である．Has はユーザが持っている物体を表す特徴量である. Coffee table はコーヒーテーブル上に置かれた物体を表す特徴量である. Dining table はダイニングテーブル上に置か

図 2 コーパスに含まれる対話例

図 3 ベースライン分類器における特徴量の入力

れた物体を表す特徴量である. Kitchen はキッチンに置かれた物体を表す特徴量である。これらの特徴量は人手で付与されているが，画像認識などで自動で抽出することを指向したデザインになっている. これまでに提示したデータの収集には多大なコストが掛かるため，本コーパスでは 400 件の事例が収録されている.

## 3 マルチモーダル情報を活用する気 の利いた行動の分類器

収集したデータを用い，曖昧なユーザ発話と状況から気の利いたロボット行動を推定するベースラインモデルを構築する. 図 3 にベースライン分類器の概要を示す. 分類器は入力された状況に対して, その状況で気が利いているとみなすことができるロボットの正解行動を 40 クラスから選択する. 各特徵量の具体的な処理及び正解カテゴリの予測については次の通りである。まずユーザ発話 (uttr) は事前学習モデルである RoBERTa [7] に入力し, RoBERTa が出力した [CLS] ベクトルを特徴量ベクトルとする. また画像から抽出された特徴量である position, has, coffee table, dining table, kitchen はテキストであるため，これも [SEP]トークンで結合してそれぞれ RoBERTa へ入力し [CLS] ベクトルを特徴量ベクトルとする. Viewpoint については各 viewpoint に対応
する一次元ベクトルを embedding 層より取得する. これらの特徴量は画像から得られる説明的な特徴量 (description) である.これ以外にも，一般に用いられる画像の事前学習モデルを利用した特徵量として，画像 (image) を EfficientNet-B0 [8] に入力してべクトル化する．出力層においては，これらの手続きによって得られた特徴量べクトルをすべて結合し， 1 層の Multi Layer Perceptron (MLP)へと入力して各カテゴリに対応する確率值を算出する.

## 4 実験

行動選択のために状況に対する説明的な特徵量を用いる場合，実際にその特徵量が認識可能かという問題が生じる。そこで本節ではこれらの特徴量が人手で与えられた場合と自動認識の結果として与えられた場合の性能変化を調査する。ユーザ発話の音声認識は Google Speech-to-Text API ${ }^{1 ｝ \text { を用いた. }$ また説明的な特徴量の認識には EfficientNet+MLPを用いた. 説明的な特徴量の全クラスは既知のクラスであると設定し学習を行った。特徴量認識の性能を表 2 に示す. Viewpoint はロボット自身の現在位置から一意に定まる値であるため推測していない.また has はそもそも含まれているインタラクションの数が少数であり学習が不可能であったため表 2 には含まれていない. 音声認識の評価には word error rate (WER), match error rate (MER), word information lost (WIL) [9]を用いた。音声認識の精度は中程度であるが，これはロボットがユーザから $2 \mathrm{~m}$ ほど離れた距離で音声認識を行う状況を想定した結果であることに注意されたい。説明的な特徴量についてはどれも高い精度で認識できており，特に position, pose については 100\%に近い精度で認識できている。これはユーザの位置，ポーズはそれぞれ 3 種類と非常に限られているからだと考えられる.図 5 に coffee table, dining table, kitchen に含まれる各オブジェクトについて，データセット中における出現回数と認識されなかった割合 (認識失敗率) の散布

(a)

(b)

図 4 気の利いた行動の選択に重要なオブジェクトが認識されなかったインタラクションの例

図 5 オブジェクトの出現回数と認識失敗率の散布図. 相関係数は -0.93 .

図を示す. 相関係数は -0.93 であり，オブジェクトの出現回数と認識されなかった割合には強い負の相関があることがわかる.

これらの自動認識した特徴量を用いるモデルの性能を表 3 に示す. 評価指標として, Accuracy (Acc.), Recall@5 (R@5), Mean Reciprocal Rank (MRR) [4] を用いた.Uttr は図 3 におけるユーザ発話のみをモデルへの入力とした場合を，uttr+img は発話に加え EfficientNet で作成した画像特徴を入力とした場合を，uttr+img+desc は uttr+img に加え画像から得られる説明的な特徴量 (description)を人手で与えた場合を意味する。“ (hat)” はユーザ発話または説明的な特徴量について自動認識に置き換えた場合を意味する. Has については自動認識器が学習できなかったため, どの場合も emptyとしてモデルへと与えた. 自動認識結果を用いる場合，どの場合についても uttr+img+desc と比較して大きく性能が低下している. Uttr+img+desc では正しい気の利いた行動を選択できているが，uttr+img+desc^では分類に重要なオブジェクトの認識を誤っておりかつ誤った行動を選択している例を図 4 に示す. どちらの例においても，気の利いた行動に関連したオブジェクトであるリモコンやゴミが認識できていない。これらのオブジェクトはデータセット中における出現回数が低いオブジェクトであった. 図 4 の例のように uttr+img+desc^が動作の対象となるオブジェクトを認識できておらず，行動選択も誤ったケースは全誤り中 $67.54 \%$ であった.

また $u t t r^{\wedge}+i m g+d e s c^{\wedge}$ と uttr^または $u t t r^{\wedge}+i m g$ との性能を比較した場合，R@5, MRRについては有意に性能が向上しているものの, accuracy は変化し表 2 自動特徴量認識の結果

表 3 自動認識した特徴量による分類結果. 対応のある $\mathrm{T}$検定で有意差を検定した。†やは $p<0.01$ を，†は $p<0.05$ を意味する。

ていないことがわかった. しかしuttr+img+desc^と uttr+img との性能を比較した場合，どの指標についても有意に性能が向上しており，説明的な特徴量のみを自動認識した場合は行動選択の精度が向上することが判明した。

## 5 おわりに

本研究では，ユーザの要求発話が曖昧である場合に周囲の状況を理解しつつロボットの気の利いた行動を選択する分類モデルを構築し，様々な特徵量の与え方について比較評価を行った. 具体的にはユー ザ発話および周囲の状況を自動で認識した結果を与えた場合の分類性能を評価した. その結果，自動認識結果であっても周囲の状況に関する説明的特徴量を与えることは気の利いた行動の識別に効果的であり，事前学習モデルを単純に用いる場合よりも性能が向上することが示唆された. 今後は周囲の状況を認識するモデルの精度を向上させ，実際のロボット上で動作する行動選択モデルとして実装する。

## 謝辞

本研究は理研の大学院生リサーチ・アソシエイト制度の下での成果である. 本研究の一部は科研費 (22H03654)の支援を受けた。

## 参考文献

[1] Ryan Blake Jackson and Tom Williams. Enabling morally sensitive robotic clarification requests. J. Hum.-Robot Interact., Vol. 11, No. 2, mar 2022.

[2] Felix Gervits, Antonio Roque, Gordon Briggs, Matthias Scheutz, and Matthew Marge. How should agents ask questions for situated learning? an annotated dialogue corpus. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 353-359, Singapore and Online, July 2021. Association for Computational Linguistics.

[3] Koichiro Yoshino, Yu Suzuki, and Satoshi Nakamura. Information navigation system with discovering user interests. In Proceedings of the 18th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 356-359, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[4] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. ARTA: Collection and classification of ambiguous requests and thoughtful actions. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 77-88, Singapore and Online, July 2021. Association for Computational Linguistics.

[5] Robert S. Taylor. The process of asking questions. American Documentation, pp. 391-396, 1962.

[6] 田中翔平, 湯口彰重, 河野誠也, 中村哲, 吉野幸一郎.気の利いた家庭内ロボット開発のための曖昧なユー ザ要求と周囲の状況の収集. 情報処理学会第 253 回自然言語処理研究会 (SIGNL), 2022.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. In $\operatorname{arXiv}, 2019$.

[8] Mingxing Tan and Quoc Le. EfficientNet: Rethinking model scaling for convolutional neural networks. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, Proceedings of the 36th International Conference on Machine Learning, Vol. 97 of Proceedings of Machine Learning Research, pp. 6105-6114. PMLR, 09-15 Jun 2019.

[9] Andrew Morris, Viktoria Maier, and Phil Green. From wer and ril to mer and wil: improved evaluation measures for connected speech recognition. 102004.

[10] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An Imperative Style, High-Performance Deep Learning Library. In $\mathrm{H}$. Wallach, $\mathrm{H}$. Larochelle, A. Beygelzimer,
F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems 32, pp. 80248035. Curran Associates, Inc., 2019.

[11] Daisuke Kawahara. Kawahara Lab. RoBERTa . 2021.

[12] Hakan Cevikalp, Burak Benligiray, and Omer Nezih Gerek. Semi-supervised robust deep neural networks for multi-label image classification. Pattern Recognition, Vol. 100, p. 107164, 2020.

[13] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

## 付録

## 実験設定

モデルの実装には PyTorch [10], 日本語 Wikipedia および CC-100 で事前学習された RoBERTa [11]を用いた.また収集したロボットの一人称視点を想定した動画からクリップされた画像を事前学習された EfficientNet-B0 で特徵量ベクトルへと変換した.

RoBERTa および EfficientNet のパラメータもモデルの学習を通じてファインチューニングした. モデルの学習には hinge loss [12,4] を用い，パラメータの最適化には Adam [13] を使用し, 学習率は $1 \mathrm{e}-5$ とした.

## 評価指標

R@5 は分類モデルが出力した正解カテゴリの順位が上位 5 位以内に含まれている割合である。MRR $(0<M R R \leq 1)$ は次式の通り算出される.

$
M R R=\frac{1}{\left|U_{\text {test }}\right|} \sum_{i}^{\left|U_{\text {test }}\right|} \frac{1}{r_{x_{i}}}
$

ここで $r_{x_{i}}$ はユーザ発話 $x_{i}$ に対応する正解カテゴリについて分類モデルが出力した順位を意味し， $U_{\text {test }}$ はテストデータに含まれるユーザ発話の集合である. 全ての指標について，数値が大きいほど分類モデルの性能が高いことを意味する．各モデルの性能は五分割交差検証にて算出し，各分割データについて 10 回実験を試行した。