# QulC-360： $360^{\circ$ 画像に対する クエリ指向画像説明文生成のためのデータセット構築
}

前田航希 1,3 栗田修平 1 宮西大樹 2,1
1 理化学研究所 AIP, ${ }^{2}$ 国際電気通信基礎技術研究所 (ATR), ${ }^{3}$ 東京工業大学
\{koki.maeda, shuhei.kurita\}@riken.jp, miyanishi@atr.jp

## 概要

$360^{\circ}$ 画像は一般的な画像と比較して，撮影者によ る情報の取捨選択が行われないため，多くのコンテ クストを同時に含む．既存の画像説明文生成では， コンテクストを画像情報のみから読み取るが， $360^{\circ}$画像に対しては，画像に加えて補助的な情報を付加 することで，記述するコンテクストを指定すること が必要になる。本研究では，画像に加えて言語情報 （クエリ）を与えることで説明文生成を制御するク エリ指向説明文生成を提案し，そのためのデータ セットとして 5,800 枚の $360^{\circ}$ 画像と 22,956 文の説明文からなるQuIC-360 を構築した. QuIC-360に よる再学習で， $360^{\circ}$ 画像に対してクエリを用いるこ とで説明文生成の制御性・多様性が高まることが確認された。

## 1 はじめに

画像説明文生成は，画像に含まれる内容を自然言語で自動的に記述する課題である [1]. 近年の画像説明文生成では，Attention 機構を導入するなどコン テクスト，すなわち画像の中で記述されるべき特徴 への注目を行う手法が提案されてきた [2]. Cornia ら [3] は画像の注目すべき領域の集合や順序を補助的な情報として与えることで生成される説明文 を制御することを提案している。これまでの画像説明文生成では，主にモデル作成側の設計により 画像情報からコンテクストへの注目が行われてい る. Microsoft COCO Captions [4] などの既存のデー タセットに含まれる画像では，撮影時に視野角の制約から対象の選択が行われている。撮影された画像 のコンテクストは限定的で，大きく異なるコンテク ストが複数含まれることは想定されてこなかった。

一方で，全方位カメラによって撮影された $360^{\circ}$画像では，通常画像にある視野角の制約がなく，対象物の選択が行われないため撮影された情景（シー ン）全方向への情報を含む． $360^{\circ}$ 画像を利用した シーンからの説明文生成は，ライブカメラや監視カ メラといったシーンカメラを用いたテキスト実況 や，自動運転車や自動配達ロボット等に付属したカ メラが撮影した画像を用いたテキスト伝達 [5] など に応用できる. 画像の説明文生成で $360^{\circ}$ 画像の特性を活かすには，通常画像と比較して注目するコン テクストやユーザの需要に応じて説明文生成を制御 することがより重要になる。

本研究では，画像に加えて単語や短いフレーズと いった言語情報をクエリをとして入力することで説明文生成を制御するクエリ指向画像説明文生成を提案し，データセットとして QuIC-360 (Query-based Image Captioning for multi-context $360^{\circ}$ images) を構築 した. 図 1 に課題の概要を示す. 天気や花壇，周囲 の往来など複数のコンテクストを持つ画像に対し て，注目する対象に応じて異なる画像説明文が記述 されることが期待される。しかし，一般的な説明文生成では，画像全体を言及するが目的に合わせた詳細な記述が行われない。提案課題は「人々」や「風景」といった具体的な記述対象を事前に与え，より 具体的な説明文を作成することを目的としている。

我々は 5,800 枚の $360^{\circ}$ 画像に対して，クエリに基 づいた 22,956 文の説明文を収集した．既存の最先端の画像説明文生成モデルを QuIC-360 を用いて再学習させることで，(i) 説明文生成の制御性が高く なること，また，(ii) 生成された説明文はより多様 であったことが確認された. クエリ指向説明文生成 は、既存手法が抽象的な説明文を生成する問題を解決できる。構築したデータセットは一般に公開され ている1).

図 1 クエリ指向画像説明文生成 (QuIC) の概要.

## 2 関連研究

## 2.1 画像説明文生成の制御

説明文生成も他の多くの言語課題と同じように， Attention 機構の利用によって研究が大きく進展し た [2]. モデルの進歩につれて，ユーザが利用する 用途や文脈によって，同じ画像について異なる説明文が求められるようになった。近年では与えられた 画像に記述される対象の優先順位を付与して説明文生成を制御する研究が行われている. 付与された情報は，生成過程でモデルに補助となる特徴として利用される. 補助的な情報の例として，画像に付与さ れた領域 $[3,6]$ やマウスの軌跡 [7]，抽象シーングラ フ [8] などがある.

QuIC も画像の補助的な情報として言語情報を付与するという点で制御可能な説明文生成手法の一つ である。しかしながら，QuIC は画像に関する情報 ではなく，自然言語を用いた言語情報をシグナルと して与える点で既存の研究と異なる.

## 2.2 視覚的質問応答

視覚的質問応答は，画像と質問を入力として，そ れに対する回答を自動的に生成する課題である [9].画像の局所的な部分に着目し適切な記述を行うとい う点では本研究に類似しており， $360^{\circ}$ 画像を用いた 研究も行われている $[10,11]$. しかしながら，視覚的質問応答は質問に対応する回答の長さが短い傾向 があり [12], 実際に視覚的質問応答は事前に定めら れた限られた回答語彙の中からの選択モデルとして 動作させる事が多い. 本研究は, 視覚的質問応答に おける回答が限られていることを念頭に置き，単語
および数語の自然言語で与えられたクエリに応じて 画像の説明文を制御する手法を提案する。

## $2.3360^{\circ$ 動画像データセット}

全方位カメラで撮影された動画像を収集したデー タセットは数多く構築されてきた $[13,14,15,16]$. しかし, 既存のデータセットは撮影環境が室内に限 られたもの $[17,18]$ や，車載カメラや HMD によっ て撮影されたもの $[19,20,5,21]$ など画像の対象や環境に偏りがみられる. 本研究に近いデータセットと して, 60,000 枚以上の屋内・屋外で撮影された $360^{\circ}$画像からなる SUN360 [22] があるものの，現在では 公開が停止されている 2$)$. 本研究では，新たにイン ターネット上から多様な画像を収集し, 画像の取得方法と付与された説明文を公開することでデータ セットを一般に利用可能な状態とする.

## 3 QulC- $360^{\circ$ データセット}

## $3.1360^{\circ$ 画像の収集}

これまで作成されてきたデータセットは，その シーンや目的に応じて画像のドメインを制限してき た. 一般的に，屋内画像は物体が密集しており，屋外画像は撮影者を中心とした特定の活動を捉えた画像が多く，物体は疎である [23]. しかし，どのシー ンにおいても全方位を撮影した画像について，コン テクストは一つに限られることは少ない。したがっ て，我々は撮影地点を区別せず画像を収集した。ま た画像の可用性を確保するために，これまで開発さ れてきたデータセットに含まれる 360 度画像を利用

2） 後述のように Refer $360^{\circ}$ として公開されている一部の画像以外は公開されておらず，著者はメールに反応しなかった。

することを避け，新たに画像を収集した，画像はイ ンターネット上の画像投稿サイトの Flickr を用いて 12,930 枚の画像を収集した。

データセットの品質を高めるために，以下の手順 で収集した画像をフィルタした. まず，画像の形式 を統一するために正距円筒図法で保存されている画像以外を除去した．次に，同一地点での類似した画像を取り除くことを目的として同一ユーザの投稿時刻の差が 1 時間以内であるものを除去した. さら に，画像の多様性と可用性を最大化するために，同一ユーザの投稿が 100 枚以下となるようランダムに 画像を破棄して，合計で 3,800 枚の画像を取得した.

また，補助的なデータセットとして Refer $360^{\circ}$ [24] に含まれる 2,000 枚の画像を利用した. 画像は現在 では利用不可能となっている SUN360 ${ }^{\circ}$ [22] の一部 である. 本研究ではこれらの画像と付与された説明文は全て追加の訓練データとして扱う.

## 3.2 説明文の付与

収集した画像に付与される説明文は，画像の特徴 を捉えて詳細に記述されていることが望ましい。ク エリは詳細な記述を行うための指針として重要で ある. 既存の画像の分類カテゴリはデータセット によって様々であり, 標準的な分類が存在しない.我々は実際に収集した画像を人手で確認し，画像を 記述するためのクエリを 34 種類作成した.

収集した画像への説明文の付与のために, Amazon Mechanical Turk (MTurk)を用いて評価者を雇用した。評価者は異なる 3 つのクエリを選択し，そのクエリ に関連する説明文を作成する ${ }^{3}$ ．単純な説明文を抑制するため，評価者に 8 語以上での回答を要求し た. 不適切な回答を自動および人手で破棄し，合計 22,956 文の説明文を収集した。

## 3.3 統計量

QuIC-360 は 5,800 枚の画像に，34 個のクエリに 関する 22,956 文の説明文を付与したデータセット である. 画像に対してそれぞれのクエリが選択され た回数は表 1 の通りである. 訓練・検証・評価デー タの分割は表 2 に示すように行った。評価データに ついては画像・クエリの組に対して 4 件以上の説明文が付与されるようにした. 同一クエリに対する説明文数を増やすために，評価データの各画像は初め

3） Appendix Aにアノテーションに用いたページのスクリー ンショットを示す.

表 1 それぞれのクエリが画像に対して選択された回数.

表 2 QuIC-360におけるデータセット分割と統計量

の評価者が選択したクエリを指定して 2 人目以降の 評価者に説明文を付与させた。

## 4 実験

## 4.1 実験設定

クエリ指向説明文生成は，画像に加えて言語情報 としてクエリを入力とする．そのため，通常の説明文生成モデルと入力形式が異なり，全ての手法に対 して即座に利用できない。そこで，検証を行うため の説明文生成モデルとして説明文生成課題で最先端 の性能を持つ OFA [25]を採用した。

OFA は Transformer をもとにしたエンコーダ・デ コーダモデルであり，種々の言語および画像を用い た課題を統合した機構である。 OFA における説明文生成では，生成モデルへの入力として画像情報に 加えて “What does this image describe?”というプロン プトを与える。提案手法ではプロンプトに追加す る形でクエリを補助的な情報として与えた。具体的には，クエリが “location”であれば“What does this image describe on location?” とした. 公開されている 事前学習済みモデルを利用した. ただし，利用し たモデルは $360^{\circ}$ 画像を用いた大規模な事前学習を 行っていないことは留意すべきである.

再学習による効果を検証するために，事前学習済 みモデルに対して QuIC-360による (i) 再学習しな い (None)，(ii) 再学習したがクエリを補助的な情報 として与えない (FT w/o query), (iii) 再学習を行いク

表 3 QuIC-360 の評価データを用いた説明文生成性能の比較.

 \\
 \\
FT(w/ory)

表 4 QuIC-360を用いた再学習による出力結果の変化. 再学習前はクエリによらず同様の出力を行うが，再学習を行う ことでクエリによって説明文生成を制御できる。

エリも与えた (FT w/ query)，の 3 つの条件について 性能を比較した。 3.3 節で構築したデータセットの 訓練/検証/評価データセットの分割を用いて，説明文に含まれる各単語に対する交差エントロピー誤差 を損失関数として学習を行った。ハイパーパラメー タの設定は公開されている実装4)を利用した。

## 4.2 定量的評価

QuIC-360を用いた再学習によって，クエリを用 いて生成される説明文を制御できるか検証した. ま た，比較対象とする 3 つの場合において推論時にク エリを与えるかどうかで性能が変わるか検証した。

評価指標として画像説明文生成で一般的な 指標である BLEU [26], ROUGE [27], METEOR [28], CIDEr [29]，SPICE [30]を用いた. 加えて，多様な説明文生成が行われているかどうかを示す指標とし て，生成した文の平均単語数と語彙数を比較した.

実験結果を表 3 に示す. 全ての評価指標におい て，QuIC-360によるクエリ指向説明文生成課題で の再学習を行った場合が最も高い性能を示した。ま た, 平均単語数や語彙数も増加することが確認され た。一方で，推論時にクエリを与えない場合，提案手法は性能向上に寄与しないことがわかった.

以上から，QuIC-360を用いた再学習によって，説明文生成の制御性・多様性を高められることが確認された. しかしながら，人手で付与された説明文 と比較して生成された説明文の語彙数は少なく，文長も短い. 人間のような説明文を生成することは現

時点では挑戦的な課題であるといえる.

## 4.3 定性的評価

クエリ指向説明文生成は一般的な説明文生成 と異なり，同じ画像が入力されたとしてもクエリ に応じて説明文を制御する必要がある。そこで， QuIC-360での再学習を行った場合とそうでない場合について，出力した説明文を比較した.

表 4 に示すように，一般的な説明文生成課題によ る再学習を行った場合，推論時にどのクエリを与え てもクエリを無視して同じ文を生成した。これは画像説明文生成において，コンテクストを画像情報の みから選択していることの証左である。提案手法で は，クエリに応じて適切に出力が変化したことか ら，言語情報によってコンテクストの選択を行い，説明文の生成を制御できることが確認された。

## 5 おわりに

本研究では，クエリを用いて画像の説明文生成の 制御を行う課題を提案し，360画像を利用したデー タセットとして QuIC-360 を構築した。複数のコン テクストを含む $360^{\circ}$ 画像に対して，ユーザが言語情報を補助として与え，より需要に即した説明文を 生成するよう制御することを目的としている．実験 では，QuIC-360 によって説明文生成モデルを訓練 することで， $360^{\circ}$ 画像の説明文生成の制御性と多様性を高められることを定量的・定性的に確認した。今後の発展として，より大規模なデータセットの構築・ $360^{\circ}$ 画像に最適化した手法の作成などがある.

## 謝辞

本研究はJST さきがけ JPMJPR20C2，JSPS 科研費 22K17983，JSPS 科研費 JP20269633 の助成を受けた ものです。

## 参考文献

[1] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In CVPR, pp. 3156-3164, 2015.

[2] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, pp. 2048-2057, 2015.

[3] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, Control and Tell: A Framework for Generating Controllable and Grounded Captions. In CVPR, 2019.

[4] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO captions: Data collection and evaluation server. arXiv:1504.00325, 2015.

[5] Y. Liao, J. Xie, and A. Geiger. Kitti-360: A novel dataset and benchmarks for urban scene understanding in 2d and $3 \mathrm{~d}$. TPAMI, 2021.

[6] Ali Furkan Biten, Lluís Gómez, Marçal Rusiñol, and Dimosthenis Karatzas. Good news, everyone! context driven entity-aware captioning for news images. In CVPR, pp. 12466-12475, 2019.

[7] Zihang Meng, Licheng Yu, Ning Zhang, Tamara L. Berg, Babak Damavandi, Vikas Singh, and Amy Bearman. Connecting what to say with where to look by modeling human attention traces. In CVPR, pp. 12679-12688, 2021.

[8] Shizhe Chen, Qin Jin, Peng Wang, and Qi Wu. Say as you wish: Fine-grained control of image caption generation with abstract scene graphs. In CVPR, pp. 9962-9971, 2020.

[9] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual Question Answering. In ICCV, 2015.

[10] Shih-Han Chou, Wei-Lun Chao, Wei-Sheng Lai, Min Sun, and Ming-Hsuan Yang. Visual question answering on $360^{\circ}$ images. In WACV, pp. 1596-1605, 2020.

[11] Heeseung Yun, Youngjae Yu, Wonsuk Yang, Kangil Lee, and Gunhee Kim. Pano-avqa: Grounded audio-visual question answering on $360^{\circ}$ videos. In ICCV, 2021.

[12] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A Shamma, et al. Visual genome: Connecting language and vision using crowdsourced dense image annotations. IJCV, Vol. 123, No. 1, pp. 32-73, 2017.

[13] Jianxiong Xiao, Krista A. Ehinger, Aude Oliva, and Antonio Torralba. Recognizing scene viewpoint using panoramic place representation. In CVPR, 2012.

[14] Yu-Chuan Su, Dinesh Jayaraman, and Kristen Grauman. Pano2vid: Automatic cinematography for watching 360 videos. In ACCV, 2016.

[15] Erik Wijmans and Yasutaka Furukawa. Exploiting 2d floorplan for building-scale panorama rgbd alignment. In CVPR, pp. 14271435, 2017.

[16] Hao Yang and Hui Zhang. Efficient 3d room shape recovery from a single panorama. In CVPR, 2016.

[17] Steve Cruz, Will Hutchcroft, Yuguang Li, Naji Khosravan, Ivaylo Boyadzhiev, and Sing Bing Kang. Zillow indoor dataset: Annotated floor plans with $360^{\circ}$ panoramas and $3 \mathrm{~d}$ room layouts. In CVPR, pp. 2133-2143, 2021.
[18] Shih-Han Chou, Cheng Sun, Wen-Yen Chang, Wan Ting Hsu, Min Sun, and Jianlong Fu. 360-indoor: Towards learning real-world objects in $360^{\circ}$ indoor equirectangular images. WACV, pp. 834842, 2019.

[19] Ahmed Rida Sekkat, Yohan Dupuis, Pascal Vasseur, and Paul Honeine. The omniscape dataset. In ICRA, pp. 1603-1608. IEEE, 2020.

[20] Senthil Yogamani, Ciaran Hughes, Jonathan Horgan, Ganesh Sistu, Padraig Varley, Derek O’Dea, Michal Uricar, Stefan Milz, Martin Simon, Karl Amende, Christian Witt, Hazem Rashed, Sumanth Chennupati, Sanjaya Nayak, Saquib Mansoor, Xavier Perrotton, and Patrick Perez. Woodscape: A multi-task, multi-camera fisheye dataset for autonomous driving. In ICCV, 2019.

[21] Stephan Fremerey, Ashutosh Singla, Kay Meseberg, and Alexander Raake. Avtrack360: An open dataset and software recording people's head rotations watching $360^{\circ}$ videos on an $\mathrm{hmd}$. In MMSys. ACM, p. 403-408, 2018.

[22] Jianxiong Xiao, Krista A. Ehinger, Aude Oliva, and Antonio Torralba. Recognizing scene viewpoint using panoramic place representation. In CVPR, pp. 2695-2702, 2012.

[23] Shih-Han Chou, Wei-Lun Chao, Wei-Sheng Lai, Min Sun, and Ming-Hsuan Yang. Visual question answering on $360^{\circ}$ images. In WACV, pp. 1596-1605, 2020.

[24] Volkan Cirik, Taylor Berg-Kirkpatrick, and Louis-Philippe Morency. Refer $360^{\circ}$ : A referring expression recognition dataset in $360^{\circ}$ images. In ACL, pp. 7189-7202, 2020.

[25] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In ICML, pp. 23318-23340, 2022.

[26] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[27] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

[28] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In WMT, pp. 376-380, 2014.

[29] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, pp. 4566-4575, 2015.

[30] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: semantic propositional image caption evaluation. In ECCV, pp. 382-398, 2016.

## A MTurk を用いた説明文の収集

(Optional) When you consider this I mage is in inpproprate for the

図 2 MTurkの作業画面のスクリーンショット。画像をド ラッグすることでそれぞれの方向の歪みの無い画像を見 ることができる.

図 3 作業者が説明文の付与にかかった時間の分布.

MTurk の作業者の雇用は，品質の担保のため，US 在住者のうち直近の課題承認率が $99 \%$ を回る評価者に限定して雇用した. 図 3 は作業者が説明文を付与するためにかかった実際の作業時間の分布を示 す. 3 つの説明文を付与するのにかかった作業時間 が 45 秒未満であるものは不適切とみなして自動的 に除去した. そのうえで計測した作業時間の平均は 182 秒であり，時給が 10\$以上となるように報酬を 支払った。


# Follow-up 質問による矛盾応答収集の提案

佐藤志貴 1 赤間怜奈 1,2 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{shiki.sato.d1, akama, jun. suzuki, kentaro.inui\}@tohoku.ac.jp

## 概要

対話応答生成システムによる矛盾応答の抑制を考 えるうえで，矛盾応答データの不足がボトルネック となっている. データ不足の原因に，矛盾の発生が 入力に依存した低頻度なものであるために効率的な 収集が困難であることが挙げられる。本研究では，矛盾応答を誘発する発話として Follow-up 質問に注目し，自動収集した Follow-up 質問を用いた矛盾応答収集の効率化を試みる。提案法により矛盾応答を 効率的に収集できることを確認したうえで，実際に 矛盾応答を大規模収集する. 収集した矛盾応答デー タの有用性を，矛盾検出器の精度改善を例に示す。

## 1 はじめに

近年のニューラル応答生成システム $[1,2,3]$ (シ ステムと呼ぶ）は流暢性は高いが，意味的に不適切 な応答を生成する場合があることが広く知られて いる [1]. 特に図 1 の $r_{2}$ のように過去の自身の発話 と矛盾する応答（矛盾応答と呼ぶ）の生成は，一度 でも発生すればシステムが内容を理解した対話をし ていないという致命的な悪印象をユーザに与える深刻な問題である [4]. 矛盾応答の抑制は，ユーザと 信頼関係を構築し共生していく対話システムの実現 を目指すうえで中心的な課題の一つといえる.

先行研究で一定の効果が報告されている矛盾応答の抑制手法として, 矛盾検出器による矛盾応答候補の除去 $[5,4]$, 対照学習 $[6,7]$ がある. これらの手法では, 品質の高い矛盾応答データをいかに多く獲得できるかが性能の良し悪しを決める大きな要因 となっている. しかし, 現状は品質の高い矛盾応答 データの効率的な収集方法が確立されているとは 言い難い. 特に，矛盾の発生が直前の相手発話（入力と呼ぶ）に依存することが示唆されている $[4,8]$ ものの，どのような大力に対し矛盾が発生する傾向 にあるか十分研究されていない. 実際に，これまで の矛盾応答データの収集は，人手により作成した矛

図 $1 \mathrm{FQ}$ を用いた矛盾応答収集方法の概要.

盾応答に限られている [4]. 人手による矛盾応答は,実際のシステムの矛盾応答とは性質が異なる可能性 が高く，大規模な作成が難しいなどの弱点もある.本研究では，システムがどのような入力に対し矛盾応答を生成しやすいかを考慮したシステムの矛盾応答の効率的な収集を考える. 具体的な取り組みと して，(1) 先行研究と本研究の分析に基づき，過去の 発話に含まれる情報に関連する質問, Follow-up 質問（Follow-up Question (FQ) と呼ぶ）が矛盾応答を 誘発しやすいという仮説を立てたうえで，FQの自動収集方法を提案する.(2) 自動収集した FQが矛盾 を誘発する傾向にあることを確認した後，(3) FQを 用いて図 1 の方法によりシステムの矛盾応答を大規模収集する. ${ }^{1)}(4)$ さらに，構築したデータセットの 有用性を，矛盾検出器の精度改善を例に示す。

## 2 なぜ $F Q$ に注目するか

本研究では，矛盾を誘発する発話として Follow-up 質問に注目する. FQ は「対話相手が過去の発話で 提示した任意の情報 $i$ に関連する質問」とする. 例 えば，図 1 の橙色の質問は直前の相手発話の情報に 対する $\mathrm{FQ}$ である．FQに注目する理由は二つある。

第一に，システムの矛盾応答は対話中の既出情報 を再度言及する際に生じやすいことが知られてい る $[4,8]$. こうした状況は，既出情報に関連する質問

図 $2 \mathrm{DbRM}$ と IbBRでの $C$ に対する処理. $\mathrm{A}, \mathrm{B}$ は話者.

である $\mathrm{FQ} へ の$ 応答時に生じやすいと考えられる。

第二に，Nie ら [4] が小規模に収集したシステムの 矛盾応答 382 個から無作為抽出した 50 個を分析し たところ， $42 \%$ の矛盾応答が相手の $\mathrm{FQ}$ に対する応答だった. 矛盾応答を誘発した相手発話の種類の分布は $\mathrm{FQ}$ のみに偏ったロングテールとなったため, $\mathrm{FQ}$ は矛盾を引き出す代表的な発話といえる.

システムは $\mathrm{FQ}$ のみに対し矛盾応答を生成するわ

できるわけではない. しかし, 代表的な入力に注目 し知見を蓄えることは第一歩として重要と考える。

## $3 F Q$ の自動収集

本研究では, $\mathrm{FQ}$ に対するシステム応答から矛盾応答を効率的に収集することを考える. 先行研究 [9] では教師あり学習により $\mathrm{FQ}$ を検出する方法 が提案されたが，教師あり学習では検出可能な $\mathrm{FQ}$ が学習データに依存するという問題がある. 本研究 では，学習を要さない $\mathrm{FQ}$ の自動収集方法を考える。

## 3.1 アイデア：応答生成システムの利用

$\mathrm{FQ}$ は過去の発話の情報 $i$ に関する質問であり， $i$ に対し質問 $q$ が $\mathrm{FQ}$ か判定するには, $i$ と $q$ の関連性 を適切に捉える必要がある. ここで，近年の大規模 ニューラル応答生成システムは入力との関連性が高 い応答を生成可能であり [2], 発話間の関連性を適切に捉えることができると考えられる．以上から，大規模ニューラル応答生成システムにより $i$ と $q$ の 関連性が強いと推測された場合， $q$ が $i$ に対する $\mathrm{FQ}$ である可能性は高いと考えられる。

## $3.2 \mathrm{FQ$ 収集のための指標}

ニューラル応答生成システムを用いて $q$ と $i$ の関連性を自動評価する指標を提案し，その値が高い $q$ を FQとして収集する. $q$ と $i$ の関連性を評価す る指標として，異なる考え方に基づき，Decrease in probability by ReMoving information (DbRM) と Increase in probability by BRinging information closer (IbBR) $の$ 2 種類を提案する. 以下， $u_{i}$ のうち情報は疑問文以外に含まれると考え， $i$ は $u_{i}$ の疑問文以外の文， $q$ は $u_{q}$ の疑問文とする.また，隣接発話間距離を 1 とし た $u_{i}$ と $u_{q}$ の発話間距離を $n$ とし, $n$ 発話前の $i$ に対 する $\mathrm{FQ}$ を $\mathrm{FQ}_{-n}, n$ 発話前の $i$ に対する $q$ の DbRM とIbBRをそれぞれ $\mathrm{DbRM}_{-n}, \mathrm{IbBR}_{-n}$ とする.

DbRM． $q$ が $i$ に関連する場合，図 2 (a) のよう に $u_{q}$ 以前の対話の全発話 $C \ni u_{i}$ から $i$ を除去 ${ }^{2}$ した $C-i$ に対する $u_{q}$ の生成確率は, $P\left(u_{q} \mid C\right)$ より低い と考えられる。そのため，ニューラル応答生成シス テムで $P\left(u_{q} \mid C\right)$ と $P\left(u_{q} \mid C-i\right)$ を計算したとき，次の 值は高くなると考えられる:

$
\operatorname{DbRM}(i, q, C)=\log \frac{P\left(u_{q} \mid C\right)}{P\left(u_{q} \mid C-i\right)}
$

IbBR. $q$ が $i$ に関連する場合，図 2 (b)のように $u_{q}$ と $u_{i}$ が挟む発話系列 $C^{\prime}$ を除去した $C-C^{\prime}$ に対 する $u_{q}$ の生成確率は, $P\left(u_{q} \mid C\right)$ より高いと考えられ る.そのため，次の值は高くなると考えられる：

$
\operatorname{IbBR}(i, q, C)=\log \frac{P\left(u_{q} \mid C-C^{\prime}\right)}{P\left(u_{q} \mid C\right)}
$

DbRM と IbBRによる FQ 収集. DbRM と IbBR は算出においてそれぞれ制限がある。DbRM につい $\tau,|C|$ をニューラル応答生成システムに入力可能 なトークン数に抑えるために $C$ の冒頭部分を省略す るとき, $i$ も省略されるほど $n$ が大きいと,$C-i=C$ となり値が計算できない. IbBR について， $C^{\prime} \neq \emptyset$ を前提とした指標であるため $n=1$ の場合は計算 できない. そこで本研究では, $\mathrm{FQ}_{-1}$ は DbRM が, $\mathrm{FQ}_{-n}(n>1)$ は IbBR が高い質問を収集する。

## 3.3 DbRM と IbBR の算出結果の定性分析

表 1 に，4節の検証にて前述の方法により DbRM が計算された質問の例を示す. ${ }^{3)}$ DbRM および IbBR の上位下位の例を観察したところ，同表のように指標の値が高い/低い例では $u_{i}$ 中の情報との関連性が 高い/低い質問が $u_{q}$ に含まれる傾向を確認した．以上から，前述の方法により $\mathrm{FQ}$ を定の精度で自動収集できると考えられる.ここで，本研究の目的は

2）疑問文以外を除去し，空なら $u_{i}$ を “_SILENCE_-”に置換.

3）両指標の分布を付録 A に，IbBR の例を付録 B に示す.
表 $1 \mathrm{DbRM}_{-1}$ 計算例. I の $u_{q}$ 太字部は $u_{i}$ 太字部に関係. I. DbRM $_{-1}$ が高い質問の例 $\left(\mathrm{DbRM}_{-1}=53.6\right)$

 \\

矛盾応答の効率的な収集であり，収集した質問がシ ステムの矛盾を誘発するかが重要となる。そのた め, FQ 自動収集自体の精度算出は行わない.

## 4 矛盾応答収集方法の効果検証

自動収集した $\mathrm{FQ}$ に対し，実際にシステムが矛盾応答を生成しやすい傾向にあるかを検証する．具体的には，まず DbRM や IbBR が高い $\left(i, q, C \ni u_{i}\right)$ の 三つ組（入力対話と呼ぶ）を収集する。次に，入力対話に対するシステムの応答を収集する. 最後に， システム応答が入力対話との矛盾を含むかを確認し ていき，矛盾応答が生成される頻度を求める. 無作為抽出した入力対話についても同様の頻度を求め比較することで，DbRM やIbBR が高い入力対話にお いて矛盾応答の発生頻度が高くなるかを確認する。

## 4.1 検証における設定

入力対話の収集. 対話コーパスから最終発話 が質問（ $q$ とする）を含むような $n$ 発話以上の発話系列を切り出し作成した集合 (入力対話集合と 呼ぶ）のうち，DbRM かIbBRが高いものを収集す る. $n=1, n>1$ 両方の場合の検証をするため, $\mathrm{DbRM}_{-1}, \mathrm{IbBR}_{-3}$ それぞれ上位 100 個の入力対話を 収集する. また，入力対話集合から無作為に 100 個表 2 入力対話と矛盾応答の生成頻度の関係.

取り出したものを比較対象とする. 入力対話集合 は, Multi-Session Chat [10]（MSC と呼ぶ）から作成 する. $\mathrm{FQ}_{-1}, \mathrm{FQ}_{-3}$ 収集のための入力対話集合の対話数はぞれぞれ $59,234 ， 44,041$ となった. DbRM と IbBR は，高性能であり応答生成システムの性能評価 [11] にも使われる Blender-1B [1] により算出する.

システム応答の収集. $u_{q}$ に対する応答生成に は，近年の高性能な大規模ニューラル応答生成シス テムである DialoGPT-Medium [2] (DG), PLATO-2 [12] (P2), Blender-3B (B3), PLATO-XL [13] (PX) を用い る. 各入力対話に対し, 4 個の応答生成用システム により 2 個ずつ ${ }^{4}$ 計 8 個の応答を生成させる.

矛盾頻度の計算. 各入力対話に対する 8 個の応答が入力対話と矛盾するかを人手で確認する．シス テム応答 1 個あたり 5 人のクラウドワーカー5) が矛盾の有無を 5 段階評価し， 3 人以上が矛盾を含むと 判断した場合6)矛盾応答とする. 8 個のシステム応答のうち 1 個以上が矛盾応答と判定された場合，そ の入力対話は矛盾を誘発したとみなす.

## 4.2 検証結果

表 2 に，収集した入力対話のうち，矛盾応答を誘発したものの数を示す. 同表より, $\mathrm{FQ}_{-1}, \mathrm{FQ}_{-3}$ い ずれについても，無作為抽出した入力対話に比べ， DbRM や IbBR が高い入力対話に対して応答を生成 させたときに矛盾応答の生成頻度が高くなった. 入力対話を無作為抽出した場合も一定の割合の質問 が矛盾応答を誘発した理由として，入力対話の収集元のMSC では，一つの話題に対し深堀りした議論 をする傾向にあるため，コーパス中の質問に占める FQ の割合が比較的高いことが考えられる。

## 5 データセットの構築

前節より，DbRM や IbBR が高い入力対話に対し システムが高頻度で矛盾応答を生成することを確認 した.これら入力対話に対しシステムに生成させた

4） $\mathrm{p}=0.5$ の top-p sampling を 100 回実施し，尤度上位 2 候補 を抽出する。

5) https://www.mturk.com/

6）評価基準は 1 が「明らかに矛盾」，5が「明らかに無矛盾」 で，1と2は矛盾，4と 5 は無矛盾とした. コストを考慮し て, $u_{i}$ 以降の発話と応答の矛盾についてのみ評価する。
表 3 構築したデータセットの統計情報.

応答から，人手評価により矛盾応答を検出すること で，システムの矛盾応答を大規模収集する。

## 5.1 収集設定

入力対話集合の作成元となる対話コーパスは 4 節と同様に MSC を用いる. 収集に使う入力対話は $\mathrm{FQ}_{-1}$ および $\mathrm{FQ}_{-3}$ とし, 大力対話集合から $\mathrm{DbRM}_{-1}$, $\mathrm{IbBR}_{-3}$ が高い上位 500 個ずつの入力対話をデータ セット構築に用いる. DbRM，IbBR の計算とシステ ム応答の収集は 4 節と同じ設定を用いる. ${ }^{7)}$ 各シス テム応答に対し 3 人のクラウドワーカーによって 4 節と同様の人手評価を行い, 1 人以上が矛盾, かつ 1 人以下が無矛盾と判断した応答を矛盾応答として 収集する. また， 3 人のクラウドワーカー全員が無矛盾と評価した応答は無矛盾応答として収集する。

## 5.2 収集結果

表 3 に，構築したデータセットの統計情報を示 す. 実際にシステムが生成した矛盾応答を収集した ものとしては最大規模のデータセットとなる. 付録 Cにデータセットの例を示す.

## 6 実験：データセットの活用例

矛盾応答の抑制における本データセットの有用性 を示す. 例として, 本データセットを用いた追加学習による矛盾検出器の精度の改善を試みる。

## 6.1 実験設定

学習する矛盾検出器. Nie ら [4] が構築した矛盾検出器を, 本データセットにより追加学習す る. ${ }^{8)} \mathrm{Nie}$ らは既存の対話コーパス中の対話に続く矛盾応答を人間に書かせ収集したうえで，与えられた 2 つの発話同士が矛盾するかの 2 值分類を行うよう RoBERTa [14]をファインチューニングした. 実際に システムが生成する矛盾応答を検出する際には，本 データセットのようにシステムの矛盾応答も学習に 用いることで性能が向上すると考えられる.

表 4 ターゲットシステムごとの矛盾応答検出の正解率.括弧内の数字は評価におけるシステム応答の数.

データセット分割. 本データセットを入力対話 によって学習データセット，テストデータセットに $8: 2$ で分割する. 本データセットには各入力対話に 対し最大 4 種類のシステムの応答が存在する. そこ で， 4 個のうち 3 個のシステムの学習データセット 中の応答を学習データとしたとき, 残りの 1 個のシ ステム（ターゲットシステムと呼ぶ）のテストデー タセット中の各応答9) が矛盾を含むかどうかの 2 值分類を矛盾検出器に行わせる. ターゲットシステム を変えて，これを 4 回実施する．そのため，矛盾分類器は未知の入力対話に対する未知のシステムの応答に含まれる矛盾を検出する必要がある.

## 6.2 実験結果

表 4 に, 矛盾検出器による 2 值分類の正解率を示 す. 追加学習前の矛盾検出器について, Nie ら [4] は 人間が作成した矛盾応答を 2 値分類させた際の正解率が $93.2 \%$ と報告したが，同表より実際にシステム が生成した矛盾応答については正解率が $60 \%$ に満 たない場合があることがわかる. 一方, 本研究で構築したデータセットを用いた追加学習によって, 未知の入力対話や未知のシステムの応答についても 2 値分類の正解率が向上した.

## 7 おわりに

本研究では，矛盾応答生成の抑制において必要な 矛盾応答の効率的な収集に取り組んだ. 特に， $\mathrm{FQ}$ がシステムの矛盾を引き出す代表的な発話であると いう分析から，自動収集した $\mathrm{FQ}$ を用いた矛盾応答 の収集を提案した. 提案法で効率的に矛盾応答を収集できることを確認したうえで， $\mathrm{FQ}$ に対するシス テムの矛盾応答を大規模収集し, 矛盾検出器の性能向上を例にデータセットの有用性を示した.

今後の課題として, データセットのさらなる大規模化が挙げられる. また, 本研究の分析により $\mathrm{FQ}$ が矛盾応答を引き出す代表的な発話であることがわ かったものの, FQ 以外の多様な発話に対するシス テムの矛盾応答の収集にも取り組む予定である.

## 謝辞

本研究は，JSPS 科研費 JP22K17943, JP21J22383， JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたも のです.また，本研究の遂行にあたり多大なご助言，ご協力を賜りました Tohoku NLP グループの皆様に感謝申し上げます。

## 参考文献

[1] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th conference of the european chapter of the association for computational linguistics: Main volume (EACL), pp. 300-325, 2021.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th annual meeting of the association for computational linguistics (ACL): System demonstrations, pp. 270-278, 2020.

[3] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot. In arXiv preprint arXiv:2001.09977, 2020.

[4] Yixin Nie, Mary Williamson, Mohit Bansal, Douwe Kiela, and Jason Weston. I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling. In Proceedings of the 59th annual meeting of the association for computational linguistics (ACL), pp. 1699-1713, 2020.

[5] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th annual meeting of the association for computational linguistics (ACL), pp. 37313741, 2019.

[6] Margaret Li, Stephen Roller, Ilia Kulikov, Sean Welleck, YLan Boureau, Kyunghyun Cho, and Jason Weston. Don' t say that! Making inconsistent dialogue unlikely with unlikelihood training. In Proceedings of the 58th annual meeting of the association for computational linguistics (ACL), pp. 4715-4728, 2020.

[7] Weizhao Li, Junsheng Kong, Ben Liao, and Yi Cai. Mitigating Contradictions in Dialogue Based on Contrastive Learning. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2781-2788, 2022.

[8] Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, and Jie Zhou. Addressing Inquiries about History: An Efficient and Practical Framework for Evaluating Opendomain Chatbot Consistency. In Findings of the joint conference of the 59th annual meeting of the association for computational linguistics and the 11th in- ternational joint conference on natural language processing (ACL-IJCNLP), pp. 1057-1067, 2021.

[9] Souvik Kundu, Qian Lin, and Hwee Tou Ng. Learning to Identify Follow-Up Questions in Conversational Question Answering. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 959-968, 2020.

[10] Jing Xu, Arthur Szlam, and Jason Weston. Beyond Goldfish Memory: Long-Term Open-Domain Conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, 2022.

[11] Maxime De Bruyn, Ehsan Lotfi, Jeska Buhmann, and Walter Daelemans. Open-Domain Dialog Evaluation Using Follow-Ups Likelihood. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 496-504, 2022.

[12] Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhen Guo, Zhibin Liu, and Xinchao Xu. PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2513-2525, 2021.

[13] Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhihua Wu, Zhen Guo, Hua Lu, Xinxian Huang, Xin Tian, Xinchao Xu, Yingzhan Lin, and Zheng-Yu Niu. PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation. In Findings of the Association for Computational Linguistics: AACLIJCNLP 2022, pp. 107-118, 2022.

[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. In arXiv preprint arXiv:1907.11692, 2019.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

表 $5 \mathrm{IbBR}_{-3}$ が高い質問の例 $\left(\mathrm{IbBR}_{-3}=43.2\right) . u_{i}$ 太字部 に関する質問が $u_{q}$ 太字部でされている.

## A DbRM と IbBR の分布

4 節にて算出した，MSC の入力対話集合に含まれ る $u_{q}$ の $\mathrm{DbRM}_{-1}$ および $\mathrm{IbBR}_{-3}$ の分布を図 3 および 図 4 にそれぞれ示す。

## B 自動収集された $F Q$ の例

表 5 に，4 節の検証にて収集された， $\mathrm{IbBR}_{-3}$ が高 い質問の例を示す。

## C データセットの例

表 6 に，本研究で構築したデータセットの入力対話およびシステムが生成した矛盾応答の例を示す.

図 4 MSC における $\mathrm{IbBR}_{-3}$ の分布.

表 6 データセット中の $\mathrm{FQ}_{-1}, \mathrm{FQ}_{-3}$ およびそれに対する システム矛盾応答の例. $u_{i}$ 太字部への $u_{q}$ 太字部の質問に 対し, システムが応答 $r$ 太字部にて矛盾を生成している.

I. FQ-1 に対する矛盾応答の例.

話者発話

A: My allergies have been acting up like crazy the past couple days. I think there's a cat nearby.

B: How do you know its a cat and not a different animal you are allergic to?

A: I'm not sure. I've never had allergies before.

A: I read an article yesterday on the history of the Premier League that was very interesting. Did you know that it has been around for almost 30 years?

B: I did not. I had no idea it had such a history. I guess if you think about it, 30 years ago is only the 1990's now!

A: Yeah, that's hard to believe! I wonder what the oldest soccer team is.

B: I would have to guess it would be one in Europe, but I'm curious as well. Did the history show get you interested in watching some games?

A: Not really. I just like watching soccer. I like the game. I don't care about the history.

## D 矛盾検出器の学習詳細

6 節の矛盾検出器の学習において, エポック数は 10，学習率は $1.0 \times 10^{-5}$ ，バッチサイズは 64 ，重み 減衰係数は 0.01，他の值は Hugging Face[15] で設定 されている初期値を用いた。


# ペルソナ更新型対話システムにおける 効果的なペルソナ選択手法の分析

吉田快 品川政太朗 須藤 克仁 中村哲
奈良先端科学技術大学院大学
\{yoshida.kai.yf1, sei.shinagawa, sudoh, s-nakamura\}@is.naist.jp

## 概要

ペルソナ対話システムにペルソナの更新を導入す る場合，蓄積されたペルソナを応答生成に活用する ためにペルソナの選択方法が重要となる. 従来の文 ベースの類似度によるペルソナ選択手法は，表層的 に似た表現の文にも高い類似度を与えるため，問題 がある. 本研究では, ペルソナ選択手法の改善のた めに，ペルソナ選択について分析を行い，入力文と ペルソナ文に含まれる名詞語の類似度を用いた選択手法が有望であることを示す．また，名詞べースと 文ベースの選択手法による応答生成文をユーザ評価 により比較することで，両者の比較を行った. その 結果，ペルソナを常に用いた応答をすると，応答の 自然性が低下することが分かった。

## 1 はじめに

ペルソナ対話システム $[1,2,3,4]$ はペルソナと呼 ばれるプロフィール情報を持つ対話システムの一種 である、ペルソナ対話システムは近年の機械学習モ デルの発達により増加している, 生成べースの雑談対話システム [5, 6] における応答の不整合問題 [3] を 解決することを目的としている. 本論文では，ペル ソナ文の更新が可能なペルソナ対話システムに焦点 を当てる. ペルソナ更新は，ペルソナ対話システム にとって重要である.なぜなら，ペルソナ対話シス テムの生成文は, 対話の後で生成されるシステムプ ロファイルとも整合していなければならないからで ある. たとえば，図 1 のように，ユーザがシステム プロファイルを引き出すために「Hello what are you doing today?」という質問をすると，「I am student」と いうペルソナ文が存在しないにもかかわらず，「I am student」を含む応答が生成されることがある.この 現象は，いわゆる Hallucination としてよく知られ ており，大規模な事前学習済みのニューラル言語モ

図 1 ペルソナ更新可能な対話システムの例

デルに基づく対話システムでしばしば発生する.

このような Hallucination に対応するために，ペル ソナ対話システム分野ではペルソナ更新という概念 が新しいタスクとして導入されている $[7,8]$. ペルソ ナ更新とは Hallucination によって得られた，ペルソ ナ文を含む文を新しいぺルソナ文として保存し，シ ステムが応答生成時に利用できることを指す。シス テムが応答生成時に利用できるようにすることで，後の対話で生成された情報と一致する応答を生成す るようにシステムを制約することができる. ペルソ ナ対話システムにペルソナ更新を導入した場合，ぺ ルソナ文は徐々に増加することになる。システムの 応答を継続的に過去のシステム応答におけるペルソ ナ（ペルソナ更新によって蓄積されたペルソナ）に 対して一貫させるには，与えられたユーザ入力に対 して, システムが応答を生成するために蓄積された 大量のペルソナ文から適切なペルソナ文をどのよう に選択するかという問題が生じる。

最近の研究 $[7,8]$ では，ユーザ入力との文同士の 類似度を用いて上位 $\mathrm{N}$ 個のペルソナ文を選択するこ とが提案されている.これにより，ユーザ入力に関連した応答を生成するようにシステムが制約を受 けるが，表面的な類似性で無関係なペルソナ文を選択することが考えられる。しかし，ペルソナの選択方法に着目した研究は少なく，選択戦略も確立され ていない. そこで本研究では, Integrated gradient [9]

を用いて，PERSONA-CHAT データセットのいくつ かの対話を分析し, システムの応答のペルソナ文と ユーザ発話への依存性を検討する.この分析の結果 から名詞の類似度を用いた選択法を提案し, 実際に 文の類似度と名詞の類似度に基づく応答生成の結果 をユーザ評価により評価を行う。

## 2 応答生成における入力の寄与度の 分析

良いペルソナ選択とは，多くの候補の中から応答生成に適したペルソナやそのトークンを選択できる ことである.ここでは，システムがペルソナを用い た応答をするか否かを予測する分類器を構築し，入力であるユーザ発話とペルソナ文において分類に寄与する入力トークンを分析することで，優れたぺル ソナ選択器を検討する. 同様に, システムがペルソ ナを用いて Hallucination を起こすか否かを予測する 分類器も構築し, 寄与する入力トークンを分析する ことで，優れたペルソナ選択器を検討する.

入力の寄与度を計算するために, Integrated Gradients [9] を使用する. また，寄与度の計算のため に必要な分類器の構築のためのデータセットの前処理については，付録 A に記載する。

## 2.1 ペルソナを用いた応答生成における ユーザ発話とペルソナの寄与度

ペルソナを用いた応答生成に対するユーザ発話文 とペルソナ文の寄与度を計算するには, ペルソナ使用予測器が十分な精度を持つ必要がある. このペル ソナ使用予測器を学習データの PERSONA-CHAT(付録 A) によって評価したところ Accuracy は 0.985, F1 は 0.979 (Recall: 0.969, Precision: 0.989) となり，十分 な精度を持つことが確認できた。ここで，既知の入力に対する寄与度を求めるのが目的であるため, 学習データで評価を行った.このペルソナ使用予測器 を用いて, Integrated Gradientsを適用し, 各応答に対 するペルソナ文とユーザ発話の寄与度を算出した.

分析には, 応答への寄与度が最も高い単語を上位 3 つまでカウントした. 図 2 は, 上位 3 語がどの品詞タグに属するかと, 応答がペルソナを含んでいる か（Label 1）と含んでいないか（Label 0）を表し ている.なお, All tokens は, ユーザ発話またはぺ ルソナ文に出現した単語数を表し, 可視化のため に 10 で割っている. その結果, 入力トークン全体 では代名詞 (PRON), 名詞 (NOUN), 特殊トークン

図 2 ペルソナを使用した応答生成に寄与した token の品詞上位 $3 \supset$

(SP_TOKEN) が多いものの, ペルソナを使った応答生成では, 名詞, 特殊トークン, 代名詞の寄与度が 高いことが分かった. そこでさらに, 名詞語の固有表現に着目して, ユーザ発話とペルソナ文の関係を 調べた. 寄与度の高い名詞語に注目し, 図 3 に示す ように，ユーザ発話とペルソナ文の固有表現の出現頻度の相関を可視化した.ここでは， $\mathrm{spaCy}^{11}$ を固有表現抽出のために用いた. その結果，ペルソナ文と

図 3 ペルソナを使用した応答において最も寄与度が高 かった token の固有表現の出現頻度の相関

ユーザ発話が同じ固有表現を持つ場合，固有表現の 出現頻度の相関が高いことが分かった.

## 2.2 Hallucination 発生時のユーザ発話と ペルソナの寄与度

2.1 節と同様に，生成された応答の Hallucination に対するユーザ発話文とペルソナ文の寄与度を 計算するには, Hallucination 予測器が十分な精度 を持つ必要がある.この Hallucination 予測器を学習データの PERSONA-CHAT(付録 A) で評価したと ころ Accuracy 0.988, F1 スコア 0.980 (Recall: 0.989,

1) https://spacy.io/

Precision: 0.971）となり，十分な精度を持つことが 確認できた。ここでも，2.1 節と同様に既知の入力 に対する寄与度を計算するのが目的のため, 学習 データで評価を行った. この Hallucination 予測器を 用いて，システムが生成した応答に対して 2.1 節と 同様に Integrated Gradients を適用し, 各応答に対す るペルソナ文とユーザ発話の寄与度を算出した. 分析には，応答への寄与度が最も高い単語を上位 3 つ までカウントした. 図 4 は, 上位 3 語がどの品詞タ グに属するかと, Hallucination が発生した（Label 1）か，していない（Label 0）かを示している.な お，All tokens は，ユーザ発話またはペルソナ文に 出現した単語数を表し, 可視化のために 10 で割っ ている. 図 4 から分かることは，ラベル０の予測に

図 4 Hallucination が起こる応答生成に寄与した token の 品詞上位 $3 \supset$

は特殊トークンの寄与が大きく, ラベル 1 の予測に は名詞，動詞，代名詞の寄与が大きいことである.特に，特殊トークンは 13 万文中 11 万文とかなり高 い寄与度であった.

図 5 Hallucination が起こる応答において最も寄与度が高 かった token の固有表現

さらに，名詞語の固有表現に着目して，ユーザ発話とペルソナ文の関係を調べた. 寄与度の高い名詞語に注目し，ユーザ発話とペルソナ文の名前付き固有表現の共起の相関を図 5 のように可視化した. そ の結果, 図 3 が示すペルソナ使用の結果と同様に, ペルソナ文とユーザ発話が同じ固有表現を持つ場合，固有表現の出現頻度の相関が高いことが分かっ た. また, Hallucination と非 Hallucination に分類され たサンプルを別々に集計したところ，Hallucination に分類されたサンプルでは，最も寄与度の高い トークンは発話中の 38,868 トークンであり，ペル ソナ文中は 2,958 トークンのみであった. また，非 Hallucination に分類されたサンプルでは, 最も寄与度の高いトークンは，発話中の 36,662 トークンであ り，ペルソナ文中の 52,943 トークンであることがわ かった.これらの結果は, Hallucination がユーザ発話 のみに依存していることを示唆している。

## 3 文ベースと名詞ベースによるペル ソナ選択手法の比較

2 章で得られた知見を基に，名詞べースのぺ ルソナ選択手法が文ベースのペルソナ選択方法 よりも優れているのか比較を行う，具体的には， PERSONA-CHAT で fine-tuning した BERT2BERT を 用いて構築した応答生成モデルを基に, 文同士の類似度と提案する名詞べースの選択法の 2 通りに分け て比較を行う. 文べースの選択では Sentence BERT を用いてペルソナ文と入力文をベクトル化し，それ らのコサイン類似度の一番高いものを選択する。名詞による選択では，ペルソナ文と入力文に含まれ る名詞をそれぞれ word2vec によってエンコードし， それらのコサイン類似度の一番高い名詞を含むペル ソナを選択する。それぞれの選択手法を用いて一つ のペルソナ文を決定し，このペルソナ文に条件づけ られた応答生成を行い，得られたそれぞれの応答文 に対してユーザ評価を実施する。評価者は 5 人で各 40 サンプル，TOEIC650 点以上という条件で実験を 行った (内一人は英語母語話者). 評価データはテス トデータ中から 2 通りの選択方法によって異なるぺ ルソナが選択されたデータ2)からランダムに 40 件選択した。評価者には大力となるペルソナ文，ユー ザ発話，生成された応答の 3 種類の文を提示し，以下の 2 つの項目について 5 段階で評価を行った.

一貫性 生成した応答に含まれるペルソナが与えら れたペルソナに一貫しているか

2） テストデータ 7,793 件中，4,822 件で選択されたペルソナ が異なった

図 6 (A) 文ベースと (B) 名詞ベースの各サンプルの平均值の分布

自然性 文脈に沿ったペルソナを提示できているか

## 3.1 ユーザ評価結果

ユーザ評価の全体の評価項目ごとの平均値は表 1 に示すように，提案手法である名詞ベースの選択手法の方が低い結果となった.

表 1 ユーザ評価の各サンプルの平均値

各サンプルにおける平均値の分布を図 6 に示す.自然性に関しては值にばらつきが見られなかった が，一貫性は提案手法である名詞ベースの選択手法 の方が最大值が大きいことが確認できた.

## 4 考察

2.1 節 の実験結果から名詞がペルソナを用いた 応答生成に大きな影響を与えることが分かった. PERSONA-CHAT の会話には，他の対話者の発話内容に関連した応答が含まれるため，これは妥当な結果である. そのため, 図 3 に示すように，ユーザ発話の名詞語が応答生成において同じ名前の固有表現 を持つ名詞語を誘発させると考えられる. また， 2.2 節の実験結果から名詞トークンが Hallucination の誘発に最も影響力があることがわかった.この結果は， 2.1 節で述べたように，他の対話者の発話内容に関連した応答が含まれる PERSONA-CHAT データセッ トの特徴も反映していると思われる.

名詞語によるペルソナ選択の優位性を示すため に，ユーザの発話とペルソナとのコサイン類似度を 用いた文べースの類似度（赤）と名詞の単語ベース の類似度（青）の比較を図 7 に可視化した. 図 7 よ り，名詞ベースの類似度は文ベースの類似度より広 く分布していることが確認できた. 分布の広さは 2

図 7 発話とペルソナのコサイン類似度の文ベースの類似度（赤）と名詞の単語ベースの類似度（青) の分布

文間の違いを捉えられていると考えることができ，名詞べースの類似度によって効果的な選択が可能 であることが示唆される.このことから判断して， ユーザ発話とペルソナ文の名詞ベースの類似度は,選択手法として有効であると考えることができる。

ユーザ評価において実際に選択されたペルソナを 確認すると, どちらの手法のスコアも低い場合の例 として，入力に対応したペルソナが無い場合があっ た (付録 A). 両方の手法においてぺルソナを開示す るべきでない場面にもペルソナを開示して自然性が 下がるケースが多々見られたため，そのケースへの 対応も必要であると考える。一方で，そのような場合にペルソナが選択されたとしても，モデルは常に ペルソナを含む応答を生成してはいなかった.

以上のことから，PERSONA-CHAT の対話では,開示できる適切なペルソナが無い場合にペルソナを 用いると応答の自然性が低下することが確認でき た. そのため，入力するべきペルソナが無い時は， ペルソナを選択しない工夫が選択には必要である.図 7 では，名詞による選択の方が優れていることが 示唆されたが，ユーザによる評価では文べースの選択より劣っている結果となった. これは評価データ がペルソナを開示できるような入力を多く含んでい なかったため，ペルソナの選択が必要な事例が少な く, 評価が正しくできなかった可能性がある.

## 5 まとめ

本研究では，ペルソナ更新により適したペルソナ 選択のために，PERSONA-CHAT データセットを分析した. 分析の結果, 名詞ベースの選択手法が良い 選択であることが示唆され，適切でない場面でペル ソナの開示を行うと，応答の自然性が下がるという ことが確認された.

## 謝辞

本研究は JSPS 科研費 JP21K17806 の助成を受けた ものである.

## 参考文献

[1] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In ACL (1), 2018.

[2] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, Online, August 2021. Association for Computational Linguistics.

[3] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Pierre-Emmanuel Mazaré, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2775-2779, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[5] Iulian Vlad Serban, Ryan Lowe, Laurent Charlin, and Joelle Pineau. Generative deep neural networks for dialogue: A short review. arXiv preprint arXiv:1611.06216, 2016.

[6] Oriol Vinyals and Quoc Le. A neural conversational model. arXiv preprint arXiv:1506.05869, 2015.

[7] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Hongjin Qian, Zhicheng Dou, Yutao Zhu, Yueyuan Ma, and Ji-Rong Wen. Learning implicit user profile for personalized retrieval-based chatbot. In Proceedings of the 30th ACM International Conference on Information \& Knowledge Management, pp. 1467-1477, 2021.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 33193328. PMLR, 06-11 Aug 2017.
表 2 入力に対応したペルソナが無いと考えられる例入力文：

"that sounds good, i bet you'd be a good teacher ."

ペルソナ文：

1. hey there i'm 23 and i love food

2. i also like to cook but i'm not very good at it

3. i have been trying all types of food everywhere i go

4. i own a yacht and i rent it out when i'm not using it

5. i've been traveling the world for a years

入力文:

"lol . i thought maybe my tv watching had fried my brain for a minute ."

ペルソナ文 :

1.i am single and with two dogs

2.i do not drink alcohol

3.i like to play chess

4.i love taking bubble baths

入力文：

"i don't like it either . love music"

ペルソナ文 :

1.i hate math class

2.i ride the bus to school

3.i'm 13 years old

4.i' $\mathrm{m}$ on the soccer team

5.my brother is older than me

## A 付録

## Integrated Gradients

応答生成モデルがペルソナを強調した応答を生成する場合や Hallucinationを引き起こす場合に，入力のどの部分が応答生成に強く影響するかを Integrated Gradients を用いて調べる. $i^{t h}$ 次元の入力 $x$ とベースライン $x^{\prime}$ に対する Integrated Gradients は,式 (1) のように定義される.ここで， $\frac{\partial F(x)}{\partial x_{i}}$ は $i^{t h}$ 番目の $F(x)$ の勾配である.

Integrated Gradients は，デフォルトで 0 に設定さ れているべースライン $x^{\prime}$ から入力 $x$ までの勾配を 積分し, 入力とべースラインの差と積を取ることで 寄与度を計算する. 文ベクトル $x$ とその各トークン $x_{i}$ に Integrated Gradients を適用することで，各トー クンの寄与度を求めることができる。

$
I G_{i}(x)::=\left(x_{i}-x_{i}^{\prime}\right) \int_{\alpha=0}^{1} \frac{\partial F\left(x^{\prime}+\alpha \times\left(x-x^{\prime}\right)\right)}{\partial x_{i}} d \alpha
$

## 寄与度分析のための分類器構築

Sect. 2 で述べた Integrated Gradient を用いた分析 には分類モデルの構築が必要となる．2つの分析に は，それぞれ 2 つの 2 值分類モデルを用いた. 最初の 分析では，ペルソナ使用予測モデルを用い，システ ムが生成した応答がペルソナ文に強く影響されてい るかを予測した. 2 つ目の分析では, Hallucination 予測モデルを用い，システムが生成した応答が，ユー ザの発話やペルソナ文から判断して, Hallucination を含んでいる可能性があるかどうかを予測した.

これらの 2 つのモデルはユーザの発話と複数のペ ルソナ文からなる 2 種類の入力で学習させた. 学習 のために，入力は分割トークン $<S E P>$ を用いて次 のように結合される。

$
\begin{aligned}
<C L S> & \text { utterance }<S E P>P_{1} \\
& <S E P>\ldots<S E P>P_{N}<S E P>
\end{aligned}
$

ここで $P_{N}$ は $\mathrm{N}$ 番目のペルソナを表す. また，分類器の学習のために, 事前学習された BERTを PERSONA-CHAT を用いてファインチューニングし た. 2 つの分類モデルを学習するためのターゲット ラベルは，自動でアノテーションを行った. 発話文 とペルソナ文のどれかが同じ名詞を含んでいる場合に 1 ，それ以外に 0 をラベル付けした. 例えば， ペルソナ「i like shoot a bow」と発話「i have bow」は 「bow」という名詞を共有しているため，「1」とラべ ル付けした. 結果として，131,431 件中ラベル 0 は 84,440,ラベル 1 は 46,991となった.

Hallucination 分類モデルでは，応答と発話文が次 の 4 つのルールを満たす場合，1 とラベル付けした.

1. 応答文が 4-20 語で構成される

2. 応答文が“'”か “my”を含む

3. 応答文に動詞, 名詞, 代名詞, 形容詞のうち少 なくとも 1 つの単語が含まれている

4. 発話文と応答文が同じ名詞を含んでいない それ以外の場合は 0 とした. 結果として，ラベル 0 が 89,605 件，ラベル 1 が 41,826 となった.

## 入力に対応したペルソナが無いと考えられる例

入力文に対して，応答する文に含められそうなぺ ルソナが無かった例を表 2 に示す.

多くの場合，これらは聞かれたことに対するペル ソナが無い場合 (表 2 一つ目) や，ユーザに関する話題が中心となっているものであった.


# 対話システムにおけるペルソナの自動生成による更新

川本稔已 ${ }^{1,2}$ 山崎 天 ${ }^{2}$ 佐藤 敏紀 2 船越 孝太郎 ${ }^{1}$ 奥村 学 1
1 東京工業大学 ${ }^{2}$ LINE 株式会社
\{kawamoto, funakoshi, oku\}@lr.pi.titech.ac.jp
\{takato.yamazaki, toshinori.sato\}@linecorp.com

## 概要

話者のプロフィールを集めたテキストであるペル ソナを考慮した対話システムでは， ペルソナの変化 を捉え適切に更新する必要がある. 先行研究では， ペルソナを対話履歴から抽出した上で，既存のペル ソナと抽出したペルソナを比較し最新のペルソナの みを残す。しかし，過去のペルソナを削除すること で情報の欠落を引き起こす。そこで本稿では，既存 のペルソナと抽出したペルソナの両方を考慮したぺ ルソナを，大規模汎用言語モデルを用いて生成的に 更新する手法を提案する．その結果，正解のペルソ ナとの一致度と応答生成性能の向上を確認した。

## 1 はじめに

ペルソナは好みや性格，行動といった話者の情報 を集めたテキストであり，ペルソナを考慮すること で，より親和的な応答生成が可能になる [1]. 本稿で はペルソナを構成する情報の単位（多くの場合，文 に相当）をペルソナ要素と呼ぶ. ペルソナを使った 対話データセットの 1 つに PeRsona-ChAT [2] がある が，ペルソナが変化することは考慮されていない. しかし, ペルソナは常に同一ではなく, 時間の経過 で変化・増加する．Xu ら [3] は，対話履歴から新し いペルソナを抽出する機構を提案し，時間経過を考慮した Multi-Session Chat データセット (以降，MSC) を用いてペルソナ要素を追加することの有効性を示 した. しかし，ペルソナ要素を追加するだけでは，含意や言い換えとなるぺルソナ要素が溜まっていく だけでなく，ペルソナ要素の変化に対応できない. そこで Bae ら [4] は既存のペルソナと抽出したペル ソナを比較し，最新のペルソナのみを残す手法を提案した. しかし, 最新のペルソナのみを残し, 過去 のペルソナを削除することは情報の欠落を引き起こ す. 本稿では，既存のペルソナと抽出したペルソナ の両方を考慮し，大規模汎用言語モデルを用いてぺ

図 1 一般的な形式のプロンプト（抜粋）

ルソナを生成的に更新する手法を提案する.

大規模汎用言語モデルは，GPT-3 [5] に代表され る，大量のコーパスで自己教師あり学習された言語 モデルであり，ショットと呼ばれる少数のサンプル を記述したプロンプトを与えることで，さまざまな 言語タスクを解けることが知られている。最近のプ ロンプトの記述方法の 1 つとして, Chain of Thought (以降，CoT) がある [6]. 一般的なプロンプトでは ショットとして問題と解答のペアを記述し，言語モ デルは与えられた問題の解答を生成する．CoT は，解答を得るための推論過程も記述し，言語モデルは 推論過程と解答の両方を生成する手法であり，推論 を伴う複数の言語処理タスクで一般的なプロンプト を上回る性能が確認されている $[7,8]$.

ペルソナの更新は，ペルソナ要素の意味・関係性 を考慮した推論を必要とする．そこで，大規模汎用言語モデルのプロンプトに CoTを利用する手法を提案する。加えて，含意・中立・矛盾に分類する自然言語推論 (以後，NLI) の結果に応じてプロンプトを 使い分けることで性能の向上を図る。その結果，情報の欠落を緩和し，自動評価において正解のペルソ ナとの一致度と応答生成性能の向上を確認した.

## 2 提案手法

複数セッションからなる，ペルソナを考慮した対話は，以下のフローで行われる [9].

1. 事前設定のペルソナで 1 セッション対話する.
表 $1\left(m_{i}, s_{j}\right)$ に対するペルソナ要素の更新の種類とその例. $m_{i} \in$ 既存のペルソナ,$s_{j} \in$ 抽出したペルソナ,$z$ は $m_{i}$ と $s_{j}$ ではないぺルソナ要素， $m_{i}^{\prime}, s_{j}^{\prime}$ は $m_{i}, s_{j}$ の少なくともどちらかを書き換えたペルソナ要素を表す.

Q:You know that he said, "I am 33 years old." Then you
hear that the new information about him is that "I am
34 years old." As a result, how should you store his
information?
A:Let's think step by step. Considering "I am 33 years
old." and "I am 34 years old.", the two pieces of
information are about his age, and the information
suggests that he has aged one year, from 33 to 34 . So,
we don't need information about his previous age.
Thus, by keeping only new information, the answer is
"I am 34 years old."
$===$
Q: You know that he said, "I am signing up the gym later
today." Then you hear that the new information about
him is that "I finished signing up." As a result, how
should you store his information?
A:Let's think step by step. Considering "I am signing up
the gym later today." and "I finished signing up.",
the two pieces of information are about signing up. As
of the previous information, he was going to sign up
for the gym, but he finished signing up for the gym as
of the new information. So, by describing the latest
information, the answer is "I signed up for the gym."
$===$
Q: You know that he said, <mis Then you hear that the new
information about him is that < $s_{j}>$ As a result, how
should you store his information?
A:Let's think step by step.

図 2 Chain of Thought を用いたプロンプト（抜粋）

2. 直前の対話履歴からペルソナを抽出する。

3. 抽出したペルソナと既存のペルソナから，保持 するペルソナを決定する。

4. 保持したペルソナで次のセッションを行う.

5. 最終セッションの対話でないなら 2 に戻る.

上のフローにおけるタスクは，ペルソナを考慮した 応答生成 $(1,4)$, ペルソナの抽出 (2), ペルソナの更新（3）の 3 つに分けられ，本稿はペルソナ更新タス クに着目する. 既存のペルソナを $M=\left.\{m_{1}, \ldots, m_{T}\right.\}$,抽出したぺルソナを $S=\left.\{s_{1}, \ldots, s_{K}\right.\}$ とする. 本稿で は，後述するペルソナ更新アルゴリズムに従いなが ら，ペルソナ要素の組 $\left(m_{i}, s_{j}\right)$ を生成的に更新する ことで，新たなペルソナ要素の集合 $M^{\prime}$ を得る.

ペルソナ要素の更新 Bae ら [4] は, ペルソナ 要素の更新操作として, APPEND, PASS, REPLACE, DELETEの 4 種類を定義した. この 4 種類は， $m_{i}$ と $s_{j}$ をそれぞれ残すか残さないかの二値の組み合わせ
に対応する。しかしこの方法では，過去のペルソナ が削除されてしまい情報の欠落を引き起こす可能性 がある. そこで本稿では，既存のペルソナと抽出し たペルソナの両方を考慮した $m_{i}$ と $s_{j}$ 以外の新し いペルソナ要素を得る操作を新た纪 2 つ導入する。 1 つ目は，Bae らも言及していたものの未導入で あった,$m_{i}$ と $s_{j}$ をまとめた $z$ を保持する FUSION， 2 つ目は, $m_{i}$ と $s_{j}$ の少なくともどちらかを書き 換えた $m_{i}^{\prime}$ と $s_{j}^{\prime}$ を保持するREWRITEである. 6 種類の操作の例を表 1 亿示す. Bae らの 4 分法では, FUSION の事例が PASS または APPEND に分類され るため情報が欠落した，または兄長な状態で保持さ れる. REWRITE の事例は REPLACE 亿分類される ため情報の欠落が発生する場合がある. FUSION と REWRITE はそれらの課題を解消している. 本稿は， FUSION と REWRITEを初めてペルソナ要素の更新记導入し，新しいペルソナ要素を大規模沉用言語モ デルを用いて生成する手法を提案する.

Chain of Thought プロンプト ペルソナ要素を適切に更新するためにはペルソナ要素の意味を理解す る必要がある．例えば， $m_{i}=$ “マンションに住んで いる.”, $s_{j}=$ “一軒家に住んでいる. ”の場合，マン ションから一軒家に引っ越したと考えられるので，更新したペルソナ要素は $m_{i}^{\prime}=$ “以前マンションに住 んでいた. ”と $s_{j}^{\prime}=$ “一軒家に住んでいる. ”とな る. $s_{j}=$ “福岡に住んでいる. ”の場合は，マンショ ンが福岡にあると考えられるので，更新したペルソ ナ要素は $z=$ “福岡でマンションに住んでいる. ”と なる.このようにペルソナ要素の更新には推論を必要とするため，図 1 の形式で記述する一般的なプロ ンプトではなく，段階的に推論を行い解答を得るこ とで性能の向上が確認されている CoTを利用し，図 2 の形式でプロンプトを記述する。

NLI を利用したプロンプトの使い分け ペルソナ 要素ペア $\left(m_{i}, s_{j}\right)$ は含意・中立・矛盾のいずれかの 論理関係を持ちうるが，論理関係の違いによって，
同じ種類のペルソナ要素の更新を行う場合であって も CoT の推論過程が異なる. 異なる推論過程を記述 したプロンプトを使用することは生成時のノイズに なると考えられるので， $\left(m_{i}, s_{j}\right)$ と同じ論理関係の ペルソナ要素ペアを利用したショットのみで構成す るプロンプトを使用する. $\left(m_{i}, s_{j}\right)$ とショットに記述されたペルソナ要素ペアの性質や関係が類似して いることで性能の向上が期待される. 具体的には,図 2 の形式で記述した各ショットを, ペルソナ要素 ペアの NLI [10] の結果に応じて分け 3 種類のプロン プトを用意する. 更新を行うときは， $\left(m_{i}, s_{j}\right)$ の NLI 結果に応じてプロンプトを使い分け生成を行う.

ペルソナ更新アルゴリズム 最終的に保持するぺ ルソナ $M^{\prime}$ を得る処理は， ペルソナ更新アルゴリズ ムによって行う．更新アルゴリズムの詳細は付録 A に示す. Bae らの更新アルゴリズムでは, 要素ぺ ア $\left(m_{i}, s_{j}\right)$ に対して分類器を適用し, その分類結果 に基づいてペルソナの更新処理を行う．これに対し 我々の更新アルゴリズムでは, 元の要素ペアと生成 されたペルソナ要素を照合することで, どの更新操作が生成モデルで選択されたのかを特定し，それに 基づいて実際のペルソナ更新処理を行う.

## 3 実験

## 3.1 実験設定

ペルソナを考慮した応答生成は, MSC で fine-tuning した Transformer [11] ベースのモデル BST2.7B [3] を利用した. ペルソナの抽出には MSC で fine-tuning した BART [12]を利用した. ペルソナ 要素を更新するための大規模汎用言語モデルは，主 に英語で事前学習された 660 億個のパラメータを持 つ公開済みの OPT [13], 日本語と英語で事前学習さ れた 390 億個のパラメータを持つ HyperCLOVA [14] の 2 種類で比較を行う. プロンプトには, 図 2 と同様の形式で 5-ショットを記述した. NLI 分類器に は, Dialogue NLI [10] で fine-tuning した DeBERTa [15] を利用した. Dialogue NLI のテストデータでの正解率は 91.3\%であった. 実装は ParlAI [16] を利用し,特に記載のない設定は ParlAI のデフォルトに従う.応答生成モデルに入力するペルソナ要素の順序は,結果に影響を与える可能性があるため，付録 B に示 す実験を行った結果，最も Perplexity が低いランダ ム順で統一する。

ペルソナの更新を評価するために，MSC のテス
トデータで以下の 2 つの実験を行う.

1. MSC の正解のペルソナと手法ごとのペルソナ の一致度を ROUGE-1, 2 (F1) [17] で評価.

2. 応答生成の性能を評価するため, 手法ごとのぺ ルソナを使い, 応答生成モデルの Perplexityを セッションごとに評価.

数値差の評価の補助とするため, Paired Bootstrap Resampling [18] による有意差検定を行う. 多重比較補正は行わない。

## 3.2 比較手法

以下の手法の間で比較を行う。

Accumulation 抽出したペルソナを既存のペル ソナに単に追加する手法.

Classification ペルソナ要素ペアを分類してぺ ルソナを更新する手法. Bae らの手法 [4] を再現 することを目的としている. データセットがない ため 4 クラス分類器を新たに訓練する NLI transfer (fine-tune) ではなく, 既存の NLI モデルを用いて含意を PASS，中立を APPEND，矛盾を REPLACE に対応づける3クラス分類手法 (NLI zero-shot)を再現す る. ペルソナ要素ペアが DELETE に分類されるこ とはないが，Bae らによれば DELETE の割合は $5 \%$程度であり, 最大で $95 \%$ の精度を持ち得ると考えら れるため，十分比較手法となりうる。

O Generation OPT を用いた提案手法.

H Generation HyperCLOVA を用いた提案手法.

提案手法の切除実験として, 図 1 の形式のプロン プトを使ったw/o CoT と，NLIを行わず 1 種類のプ ロンプトを使用する w/o NLI の実験を行う．また，応答生成については, 性能の上限を確かめるため,正解のペルソナを利用した Gold Persona とも比較 する。

## 3.3 実験結果

正解のペルソナとの一致度を測った実験結果を 表 2 に示す. H Generation は, Accumulation よりも ROUGE-1, 2 ともに高く正解のペルソナとの一致度 が向上した. それ以外の手法は, Accumulation と比較して, ROUGE-1, 2 の少なくともどちらかが低い 値となり, 一致度の向上は確認できなかった. 平均ペルソナ要素数に関しては，更新を行う手法は Accumulation と比較して全て減少しており, 含意や 言い換えとなるペルソナ要素をまとめたり削除して

as of the new information. So, by describing the latest information, the answer is "I got a job."

図 3 提案手法によりペルソナ要素の更新を行ったペルソナの生成例. ”Let's think step by step.”以降を生成している.

表 2 正解のペルソナとの一致度を測った実験結果と平均 ペルソナ要素数.†は Accumulation と比較して検定で有意 ( $p<0.05)$ であることを示す.

表 3 各手法のペルソナを使った応答生成の実験結果. 各 セッションごとの Perplexity で評価.

いると考えられる。しかし，Classification は，Gold Persona よりもペルソナ要素数が少なく，過去のペ ルソナを削除した影響でペルソナ要素が減りすぎて いる可能性がある.

次に，応答生成の実験結果を表 3 に示す. 全ての セッションにおいて, Classification は Accumulation より高い Perplexity となり，ペルソナ要素ペアを分類して更新する手法の効果は確認できなかった. 提案手法では H Generation が最も低い Perplexity であ り, Accumulation と比較すると, セッション 2 以外 では H Generation のほうが低かった. Gold Persona ともセッション 5 での Perplexity の差が 0.012 であ り，対話が長期なら提案手法が有効であることを確認した。OPTを使った手法は，HyperCLOVAを使っ た手法と比較して性能が低下した. モデルサイズ は HyperCLOVA よりOPT のほうが大きく，OPT は 英語诗化しているが，事前学習に使われたデータ の質や量，ハイパーパラメータ等が性能涼響を与 えていると考えられる。切除実験の結果，提案手法 は w/o CoT，w/o NLIよりも優れた結果となり，CoT と，NLI でプロンプトを使い分ける手法の効果を確認した。

## 3.4 ペルソナ要素の更新例

H Generation でペルソナ要素の更新を行った生成例を図 3 に示す. 違和感のない推論過程が生成でき ており，入力に与えたペルソナ要素をそのまま出力 するだけではなく，FUSION のようにペルソナ要素 をまとめ，過去のペルソナ要素の情報も保持してい る例も確認した. しかし, “I am an artist."と”I am a vet.”"比較した場合に，言語モデルの出力ではアー ティストから獣医に転職したと推論しているが， アーティストと獣医を兼ねている可能性もあり，ぺ ルソナ要素ペアだけではどのように更新するべきか 判断することが難しい例もあった.

## 4 おわりに

本稿では，ペルソナを考慮した対話システムにお いて，FUSION と REWRITE の 2 つの更新手法を新 たに導入し，過去の情報も考慮したペルソナ要素を 生成してペルソナを更新する手法を提案した. 情報 の欠落の緩和を目的とした提案手法により先行研究 と比較して正解のペルソナとの一致度，応答生成の 性能の両方を向上することを確認した. 情報の欠落 が防がれていることは事例分析からも確認された.今後人手評価を行い，応答生成がどのような観点で 改善されているか確かめたい。また，ペルソナの更新性能は，ペルソナの抽出や応答生成といった他の 機構の性能に依存するため，これらの機構も含めて 総合的に向上させていきたいと考えている.

## 参考文献

[1] Iulian Vlad Serban, Ryan Lowe, Peter Henderson, Laurent Charlin, and Joelle Pineau. A survey of available corpora for building data-driven dialogue systems. arXiv preprint arXiv:1512.05742, 2015.

[2] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[4] Bae Sanghwan, Kwak Donghyun, Kang Soyoung, Young Lee Min, Kim Sungdong, Jeong Yuin, Kim Hyeri, Lee Sang-Woo, Park Woomyoung, and Sung Nako. Keep me updated! memory management in long-term conversations. In Findings of the Association for Computational Linguistics: EMNLP 2022, p. 3769-3787, Abu Dhabi, United Arab Emirates, 2022. Association for Computational Linguistics.

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[6] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems, Vol. 35. Curran Associates, Inc., 2022.

[7] Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V Le, Ed H Chi, Denny Zhou, et al. Challenging big-bench tasks and whether chain-of-thought can solve them. arXiv preprint arXiv:2210.09261, 2022.

[8] Jason Wei, Yi Tay, and Quoc V Le. Inverse scaling can become u-shaped. arXiv preprint arXiv:2211.02011, 2022.

[9] 川本稔己, 山崎天, 佐藤敏紀, 奥村学. 大規模汎用言語 モデルによるペルソナを考慮した応答生成. 言語処理学会 第 28 回年次大会, 2022.

[10] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3731-3741, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vish- wanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[12] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[13] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. Opt: Open pre-trained transformer language models. arXiv preprint arXiv:2205.01068, 2022.

[14] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, and et al. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[15] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2020.

[16] Alexander Miller, Will Feng, Dhruv Batra, Antoine Bordes, Adam Fisch, Jiasen Lu, Devi Parikh, and Jason Weston. ParlAI: A dialog research software platform. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 79-84, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

[18] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[19] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

## A ペルソナの更新アルゴリズム

提案手法のペルソナの更新アルゴリズムを図 4 に 示す.

## Input:

$M=\left.\{m_{1}, m_{2}, \ldots, m_{T}\right.\}$

$S=\left.\{s_{1}, s_{2}, \ldots, s_{K}\right.\}$

$N L I(m, s) \rightarrow\{$ "含意","中立”,"矛盾"\}

$p \rightarrow\left.\{p_{\text {ent }}, p_{\text {neu }}, p_{\text {con }}\right.\}$

Output: $M^{\prime}=\left.\{m_{1}^{\prime}, m_{2}^{\prime}, \ldots, m_{\left|M^{\prime}\right|}^{\prime}\right.\}$

function UPDATE_PERSONA $(X, Y)$

if $Y=\varnothing$ then

return $X$

end if

for all $y_{j} \in Y$ do

$X^{\prime} \leftarrow \varnothing$

$U \leftarrow \varnothing$

$f_{\text {del }} \leftarrow$ false

for all $x_{i} \in X$ do

if $N L I\left(x_{i}, y_{j}\right)=$ "含意" then

$p \leftarrow p_{\text {ent }}$

else if $N L I\left(x_{i}, y_{j}\right)=$ "中立" then

$p \leftarrow p_{\text {neu }}$

else if $N L I\left(x_{i}, y_{j}\right)=$ "矛盾" then

$p \leftarrow p_{\text {con }}$

end if

if $G\left(x_{i}, y_{j}, p\right)=\varnothing$ then

$f_{\text {del }} \leftarrow$ true

else if $G\left(x_{i}, y_{j}, p\right)=x_{i}$ then

$f_{\text {del }} \leftarrow$ true

$U \leftarrow U \cup x_{i}$

else if the number of $G\left(x_{i}, y_{j}, p\right)$ is $1 \quad \&$

$G\left(x_{i}, y_{j}, p\right) \neq y_{j}$ then

$f_{\text {del }} \leftarrow$ true

else

$U \leftarrow U \cup G\left(x_{i}, y_{j}, p\right)$

$X^{\prime} \leftarrow X^{\prime} \cup G\left(x_{i}, y_{j}, p\right)$

end if

end for

if $f_{\text {del }}=$ true then

$X^{\prime} \leftarrow X^{\prime}-y_{j}$

$X^{\prime} \leftarrow$ UPDATE_PERSONA $\left(X^{\prime}, U\right)$

end if

$X \leftarrow X^{\prime}$

end for

return $X^{\prime}$

end function

$M^{\prime} \leftarrow$ UPDATE_PERSONA $(M, S)$

return $M^{\prime}$

図 4 提案手法のペルソナの更新アルゴリズム. $G\left(x_{i}, y_{j}, p\right)$ は大規模言語モデルでプロンプト $p$ を利用し, $x_{i}$ と $y_{j}$ のペルソナ要素ペアでペルソナ要素の更新を行う ことを表す. $\left.\{p_{\text {ent }}, p_{\text {neu }}, p_{\text {con }}\right.\}$ はそれぞれ含意・中立・矛盾に対応したプロンプトである.

## B ペルソナ要素の順序による影響

## 調査

ペルソナを考慮した対話の実験を行うにあたっ て，応答生成モデルに与えるペルソナ要素の順序が 対話性能に影響があるのか不明であるため調査を 行う. ペルソナ要素の順序は古い順 (Old), 新しい表 4 応答生成モデルに与えるペルソナ要素の順序を変化させた実験結果. †は Sort Old と比較して検定で有意 $(p<0.05)$ であることを示す.

順 (New), 直近の発話との関連度順 (Related), ラン ダム (Random)の 4 種類で比較する. 直近の発話と の関連度順とは，ユーザの直前の発話とペルソナ要素の各埋め込み表現のコサイン類似度が高い順とし た. 埋め込み表現を得るためには SimCSE [19] ${ }^{11}$ を 使い, $[C L S]$ トークンの埋め込み表現を利用した. それ以外の実験設定は，3.1 節の設定に従い，応答生成性能をセッション 2 からセッション 5 の平均の Perplexity で評価する.

結果を表 4 に示す. ペルソナ要素の順序により， Perplexity が変化することから，ペルソナ要素を入力に与える順序は応答生成に影響を与えることが判明した。その上で，ペルソナ要素をランダムに並べ た Sort Random の Perplexity が最も低いことを確認 した.
1) https://huggingface.co/princeton-nlp/ sup-simcse-roberta-large


# インタビュー対話における問い返し文の生成に関する検討

篠山学 ${ }^{1}$ 木内敬太 ${ }^{2}$ 康金 ${ }^{3}$ 西村良太 $^{3}$ 松本和幸 ${ }^{3}$
${ }^{1}$ 香川高等専門学校 ${ }^{2}$ 労働者健康安全機構 ${ }^{3}$ 徳島大学大学院社会産業理工学研究部
sasayama@di. kagawa-nct.ac.jp kiuchi@h. jniosh. johas. go.jp
$\{$ kang-xin, nishimura, matumoto $\}$ is. tokushima-u. ac.jp

## 概要

遠隔勤務をしているとき，遠隔労働者が自分自身 のストレスに気づけないことも多い. 精神面の健康状態が深刻になる前に自分自身で気づくことができ れば, 健康を維持することにつながる. 本研究では,遠隔労働者が健康状態をセルフチェックするための バーチャルエージェント対話システムの構築を目的 としている. 本稿では，対話時に必要となる「問い 返し」の生成手法について考察する。

## 1 はじめに

世界的な環境の変化により遠隔労働者が増加して いる。人材確保を目的に多様な働き方を認めている 企業も多いため, 今後も遠隔労働者が増えていくと 考えられる. 社外で業務を認める場合, 企業にとつ て社員の精神面での健康状態の把握が重要となる.対面であれば気づけるような社員の変化も，カメラ を介した対話 (遠隔対話) では気づけない可能性があ る. また, 遠隔勤務という環境は精神的に悪影響が 出やすいと考えられる. 例えば，対面であれば気軽 に声をかけられるが, 遠隔では用件がなければ対話 することは難しい. また, 自分以外の社員の存在を 感じにくいため孤立感を深めてしまったり, 自分で は気づかないうちに精神面の健康が悪化してしまっ たりする. 遠隔労働者の精神面での健康状態を把握 するには, 産業医や上司, カウンセラーとの遠隔面談などが必要である.また、カメラやマイクを介し た場合, 音声や表情, 動作が把握しづらいため, カ ウンセラーにも負担が大きい，そこで，業務や面談 の遠隔対話時の音声や表情, 動作からストレスを検出できれば，カウンセラーの負担軽減や本人へのフ イードバックに利用できる.

本研究では, 遠隔労働者が健康状態をセルフチェ ックするためのバーチャルエージェント対話システ ムの構築を目的としている. 本稿では, 対話時に必要となる「問い返し」の生成手法について考察する.具体的には, 既存の問い返しの生成手法を実装し， インタビュー対話を用いた評価実験を行った。

## 2 問い返し文の生成

本稿では, 問い返し文の生成に既存手法を用いる.高齢者との傾聴対話を目的にした下岡ら[1]の最終述語の不足格判別に基づく問い返し文生成手法であ る.コーパスから動詞ごとの必須格を決定しておき，発話文内に最終述語の動詞の必須格がなければ，必須格を問い返す問い返し文を生成できる。例えば，「そこで食べたの。」という発話文の動詞「食べる」 の必須格が深層格の source 格であったならば, 発話文内に「Э格」が存在しないため「何を食べた?」 を生成する, 必須格辞書の作成の流れを図 1 に示す.

図 1 必須格辞書の作成の流れ
新聞コーパスは毎日新聞(1995 年版)を用いた。シソ ーラスには, 国立国語研究所の『分類語彙表一増補改訂版一』データベース[2]を用いた. 形態素解析に は JUMAN[2], 構文解析には KNP[3]を用いた. 作成 した必須格辞書に登録された動詞は 460 であった.必須格辞書の一部を表 1 に示す.

表 1 作成した必須格辞書の一部

## 3 評価実験

作成した必須格辞書を用いて問い返し文が生成で きるか確認するために評価実験を行った．評価文は テレビの対談番組から作成したインタビュー対話コ 一パス[4]を用いた. 300 回分(約 500 対話/回)から発話の組(発話文と問い返し文)を作成した. ただし, 発話者が異なる，発話文の文末が疑問形，共通の動詞 を含む，受動態でない，発話文 60 文字以内かつ問い 返し文 30 文字以内をすべて満たす組とした. 実験 に使用した発話の組は 1037 である. 発話の組の一部を表 2 に示す。

表 2 評価に用いた発話の組

実験は，構築した既存手法に発話文を入力し，問 い返し文を生成して「質問形-格助詞-動詞」の出力形 で返す. 次に正解となる発話の組の問い返し文(正し い問い返し文)を「質問形-格助詞-動詞」の出力形に 変換する. 生成された問い返し文の出力形と発話の 組の出力形が一致すれば正解とする。

## 4 結果と考察

実験結果を表 3 に示す. 正解となった出力はなか った。不正解は生成された問い返し文と正しい問い 返し文の出力形が異なっていた場合である.例えば，発話の組（こうやって歩くんです: 体の重心はどこ に置くのですか？）を入力としたとき，生成された 問い返し文の出力形は「どこ， Э，歩く」，正しい 問い返し文の出力形は「重心-どこ，ガ-二，置く」と
なっており不正解となった。また，必須格辞書に登録されていない動詞が多かった. 使用した 1 年分の 新聞コーパスでは不足していた可能性がある．既存手法では新聞コーパス 5 年分を使用している。抽出対象が最終述語のみとしていることからも 5 年分は 必要と考えられる。

表 3 実験結果

正しい問い返し文に助詞がまったくない場合も多 かった，例えば，発話の組（言わないです。：言わ ない?）のような場合である。また，必須格がなけ れば問い返すと考えていたが，必ずしもそうではな い場合が多い，例えば，（ずっと食べてみたいなと：前から食べてみたい？）のように何を食べたいかは この発話までに明らかになっていた。必須格があっ ても問い返す場合も多い，例えば，（ジムに行って ます：ジム、どのくらいの割合？）のように必須格 であっても問い返すことは当然可能である.

## 5 おわりに

遠隔労働者が健康状態をセルフチェックするため のバーチャルエージェント対話システムの構築を目的に，問い返し文の生成について既存手法の実装と 問い返し文の特徴について考察した。インタビュー 対話は必須格の有無で問い返しているのではないた め，動詞別格パタンから問い返し文を生成する.

## 謝辞

本研究は, 国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の助成事業 （JPNP20004）並びに JSPS 科研費 JP22K12213の 助成を受けたものです.

## 参考文献

1. 音声対話ロボットのための傾聴システムの開発. 下岡和也, 德久良子, 吉村貴克, 星野博之, 渡辺生聖. 自然言語処理, 24(1), pp.3-47, 2016.

2. 日本語形態素解析システム JUMAN, .

3. 日本語構文解析システム KNP, .

4. Manabu Sasayama, Kazuyuki Matsumoto, Annotation and Evaluation of Utterance Intention Tag for Interview Dialogue Corpus, NLPIR, 2021.


# 人間同士の雑談における話題遷移モデリング

岸波洋介 ${ }^{1}$ 赤間怜奈 1,2 佐藤志貴 1 徳久良子 ${ }^{1}$ 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
yosuke.kishinami.q8@dc.tohoku.ac.jp
\{akama, shiki.sato.d1, tokuhisa, jun.suzuki,kentaro.inui\}@tohoku.ac.jp

## 概要

対話システムが現在話している話題から別の話題 へ自然に遷移させることは，能動的に対話を主導す る雑談対話システムの実現に重要な要素である.こ れまでの研究では，単語分散表現の類似度や知識グ ラフの概念間の結びつきなど，様々な工学的手法で 話題遷移が表現されている. 本研究ではこれらの工学的手法を「人がおこなう話題遷移のモデルとなっ ているか」という観点で分析する。分析の結果，そ れぞれの工学的手法のみで表現できる話題遷移が存在する可能性が示唆された。

## 1 はじめに

大規模な事前学習済みモデルの利用などにより，雑談対話システムは，人間と同等レベルの自然な応答を生成できるようになってきている $[1,2,3,4]$. しかしながら, 現在のシステムは，与えられた対話文脈に対して適切な応答を返すことだけに着目 し，システム側が能動的に対話を主導する振る舞 いをすることは少ない．そのため，対話システム が能動的に対話を主導する能力を実現することを 目的とした研究が盛んにおこなわれるようになっ た $[5,6,7,8,9,10,11]$. 能動的に対話を主導する能力を実現するうえで，対話システムが自然に話題を 遷移させる行為は重要な要素であると考えられる。先行研究では, ある話題から別の話題に遷移させる 際に，さまざまな手法を用いて遷移先の話題を決定 している。代表的なものとして，ある話題からその 話題を表す単語分散表現とのコサイン類似度が高い 話題へ遷移させる手法 $[5,6]$, ある話題から，その 話題を表現する概念が知識グラフ上で数ホップの エッジで隣接している概念へ話題を遷移させる手法 $[8,9,12,13,14]$ などが存在する.

本研究では，これらの手法と人間が実際の対話の なかでおこなう話題遷移との関係性を明らかにす
るために，これらの工学的手法を「人がおこなう話題遷移のモデルとなっているか」という観点で分析 する．具体的には，与えられた話題遷移が人が実際 に対話でおこなう自然な話題遷移であるか，そうで ないかを判定する二值分類タスクを提案する。さら に，実験では前述の代表的な工学的手法について，提案するタスクを用いて分析をおこない，各手法の 特性について調査する. 分析の結果，それぞれの手法のみで表現できる話題遷移が存在する可能性が示唆された。このような分析により各工学的手法と人 の話題遷移との関係性が明らかになれば，人の話題遷移に関する新たな知見となるだけでなく，対話シ ステムにおいて話題遷移を表現する既存手法の改良 や新規手法の考案にもつながると考えている.

## 2 関連研究

話題遷移の表現 ある話題から別の話題へ遷移さ せる行為は，人同士の対話の中でもしばしばおこな われる重要な対話行為であり，このような振る舞い を対話システムで実現することは対話システムが能動的に対話を主導する能力を実現するうえで重要で ある．Tang らは話題間の繋がりを表現する際，単語分散表現のコサイン類似度を繋がりの自然さの指標 として用いている [5]. 一方，Zhou らは ConceptNet 上の概念間の隣接関係を話題の繋がりを表現する際 に用いている [13]. また，坂田らは Wikipedia の文書内のハイパーリンク情報を話題の繋がりを表現す る際に用いている [11]. その他にも，山内らは Web 検索により取得したヒット件数の情報を用いてい る [12]. このように先行研究ではさまざまな手法で 話題遷移を表現しているが，これらの手法が人間が おこなう話題遷移をモデリングするかという観点で 手法間の比較はなされていない。本研究ではこの観点で手法間の比較をおこなう．特に本論文では一歩目として，主要な手法である単語分散表現と知識グ ラフを用いた手法を比較する。

図 1 分析タスクの概要. 図における○は「遷移可」，×は「遷移不可」を示す.

話題遷移の検出 対話における話題遷移に着目し た研究の一つに，話題遷移の検出に関する研究があ る. 谷津らは日本語の自由対話データに対し, 話題遷移箇所へのラベル付与をおこない，対話における ラベル位置の分析をおこなっている [15]. また, Xie らは対話において話題が遷移している箇所のアノ テーションを付与した TIAGE というデータセット を構築し，話題遷移箇所の検出タスクなどを提案し ている [16]. また Soni らは，話題遷移検出だけでな く, 既存の対話コーパスに基づいて話題の遷移回数 と対話の長さの関係などを分析している [17]. これ らの研究では主に話題が遷移するタイミングに着目 している。一方で本研究では遷移する話題の内容に 着目し，人間が対話のなかでおこなう話題遷移を既存の工学的手法がモデリングするか分析する.

## 3 分析方法

本節では，話題遷移を表現する工学的手法が「人 の話題遷移のモデルとなっているか」を分析するた めの分析方法について述べる.

## 3.1 タスク定義

本研究では，ある手法が人の話題遷移をモデリン グするならば，人間同士の対話において実際に発生 している自然な話題遷移と，人がおこなわないよう な不自然な話題遷移を適切に識別可能であると考 え，この識別をおこなう二値分類タスクを設計す る. 図 1 にタスクの概要を示す. 二つの話題 $a, b$ が 与えられた時, 話題 $a$ から話題 $b$ への話題遷移が自然であるならば「遷移可」, 不自然であるならば「遷移不可」のラベルを付与する。ここで話題は，人間 がおこなった対話における 1 発話に含まれる話題語 の集合と定義する。それらを対話ごとに時系列順に 並べ，隣接する話題ぺアを正例，つまり正解ラベル として「遷移可」を付与する。また，同一対話内で あるかに関わらず無作為に抽出したぺアを負例，つ まり正解ラベルとして「遷移不可」を付与する。こ のような二値分類タスクを各工学的手法で実施する ことで，後述する F1 值などの定量的な評価値を用 いた比較，分析が可能になると考える.

## 3.2 評価方法

評価指標としては，各手法が「遷移可」と判定し た事例のうち実際に「遷移可」のラベルが付与され た事例である割合の適合率，「遷移可」のラベルが 付与された事例のうち，各手法が「遷移可」と判定 できた割合の再現率，その調和平均である $\mathrm{F} 1$ 値を 使用する.

## 4 実験

3節で述べた二値分類タスクを用いて，主要な工学的手法を「人の話題遷移のモデルとなっている か」という観点で分析する。

## 4.1 データセット

ここでは分析で使用する二值分類タスクのデー タセット，つまり話題 $a, b$ の作成方法，および正解 ラベルの付与方法について述べる. 名大会話コーパ ス [18] から無作為に抽出した 50 対話について，各発話を形態素解析器 MeCab [19] を用いて形態素解
表 1 抽出された話題の例. 下線は形態素解析で名詞と判定された単語を表す.

表 2 作成した二値分類タスクデータセットの例.

析し，話題語を抽出する。3 節で述べたように，こ のようにして抽出された話題語の集合を話題と呼 ぶ. 話題語は形態素解析で名詞と判定された単語 のうち, 2 文字以上かつ 2022 年 8 月時点で日本語 Wikipedia の見出し語となっている単語とした. 実際に抽出された話題の例を表 1 に示す. 用意した話題について，3節で述べたような基準に従い「遷移可」，「遷移不可」のラベルを付与した. このような 手続き1)により，最終的に「遷移可」の事例 15,926 個，「遷移不可」の事例 15,723 個を分析用データ セットとして得た. 作成したデータセットの例を 表 2 に示す.

## 4.2 比較手法

本研究では，先行研究において対話における話題遷移を表現するために広く利用されている単語分散表現，知識グラフを用いた手法の二つを比較，分析 する。

単語分散表現 ある話題とそれに続く話題の繋 がりの自然さを話題間の単語分散表現の類似度 で表現する手法である。単語分散表現には日本語 Wikipedia エンティティベクトル [20]を使用した.話題 $a$ に含まれる話題語集合と話題 $b$ に含まれる話題語集合について，全ての組み合わせについて分散表現のコサイン類似度を計算し，そのうち一組でも コサイン類似度が閾値 $n$ 以上である組が存在すれば 「遷移可」，一組も存在しなければ「遷移不可」とラ ベルを付与することとした. 閾値 $n$ として， 0.6,0.4 を用いた。

知識グラフ ある話題とそれに続く話題の繋がり の自然さを話題間が知識グラフ上で何ホップのエッ ジで隣接しているかで表現する手法である. 知識グ ラフには ConceptNet5 [21] を使用した. 話題 $a$ に含 まれる話題語集合と話題 $b$ に含まれる話題語集合に ついて, 全ての組み合わせについて知識グラフ上の 概念間が何ホップのエッジで隣接しているかを計算 し, そのうち一組でも $m$ ホップ以内のエッジで隣接 している組が存在すれば「遷移可」, 一組も存在し なければ「遷移不可」とラベルを付与した．閾値 $m$ として，1,2を用いた。

## 4.3 実験結果

実験結果を表 3 に示す. 表から，単語分散表現の 判定基準「話題語のコサイン類似度 0.4 以上」が最 も F1 値が高いことが確認できる.このことから，単語分散表現を用いた手法は少なくとも名大会話 コーパス上で発生するような話題遷移については,知識グラフを用いた手法よりもより高性能なモデル となっている可能性が示唆された.

また，「遷移可」のラベルを付与した事例 15,926 個の各手法における判定結果を調査したところ，単語分散表現のみで「遷移可」と正しく判定できた事例が $16 \%$ ，知識グラフのみで「遷移可」と正しく判定できた事例が $10 \%$ 存在することがわかった ${ }^{2}$. こ のことから，それぞれの手法のみで表現できるよう な話題遷移が存在する可能性が示唆される。表 4 お よび表 5 に，実際にそれぞれの手法のみで正解でき た事例を示す。このような話題遷移の定性的な特徴 に関する分析は今後の課題としたい。

## 5 タスクの信頼性

実験で作成した二値分類タスクのデータセットを 定性的に確認したところ，本タスクの信頼性をさら に高められる方向性を大きく二つ確認した.

2） 単語分散表現の閾値は 0.4 , 知識グラフの閾値は 2 とした ときの結果について調査したものである。なお，両手法で 「遷移可」と正しく判定できた事例は $40 \%$ ，両手法で誤った 判定をしていた事例は $34 \%$ であった.
表 3 実験結果.

表 4 単語分散表現のみで「遷移可」と正しく判定でき た例。

表 5 知識グラフのみで「遷移可」と正しく判定できた例.

話題の抽出方法 表 1 の 3 の例には，抽出した話題語集合のなかに「とき」という単語が含まれてい る.しかしながら，このような単語が対話における 話題を表すような話題語として適切かどうかは議論 の余地があると考える. 今後の展望として, 言語学的知見も参考に話題語の定義について調査するとと もに，上記のような話題語が抽出されないような方法を検討していく必要があると考える. 方法のひと つとして，TF-IDF などといった情報量的な観点を 導入し，それに基づいた抽出をおこなうなどが考え られる。

負例の作成方法 表 2 の 5 の例は「遷移不可」の ラベルが付与されているが，話題 $a, b$ はどちらも食 べ物に関する話題であり，人間同士の対話のなかで も自然に遷移する可能性があると考えられる. 本研究では「遷移不可」のラベルを付与するデータセッ トを作成する際に無作為に抽出した話題を用いてい るため，この例のように自然な話題遷移も「遷移不可」とラベルが付与されてしまう可能性がある. し
たがって，このような事例を除去する方法や，この ような事例を未然に防ぐようなデータセット作成方法について検討していく必要があると考える．この ような課題は本研究で設計したタスク以外でも発生するものであり, 同様の課題に対処するような研究 [22] の知見が参考になると考えられる.

## 6 おわりに

本研究では，対話における話題遷移を表現する工学的手法を「人がおこなう話題遷移のモデルとなっ ているか」という観点で分析するために，与えられ た話題遷移が人が実際に対話でおこなう自然な話題遷移であるかどうかを判定する二値分類タスクを 設計した. さらに，実験では主要な話題遷移の表現手法である単語分散表現，知識グラフを用いた手法 について，設計したタスクを解くことで分析をおこ なった. 実験の結果，それぞれの手法のみで表現で きる話題遷移が存在する可能性が示唆された.

本研究では主要な話題遷移の表現手法として単語分散表現，知識グラフを用いた手法について分析し たが，話題遷移を表現する手法はこの他にもいくつ か存在する。したがって，こうした手法も追加し網羅的な分析をおこなうことが今後の課題の一つで ある。また，人間同士の対話においては，しばしば 「ところで」や「そういえば」のような話題転換語 を用いた話題遷移も発生する。したがって，これら の話題転換語の使用と絡めた分析をおこなうことも 今後の課題の一つである. さらに，本研究では人間 が実際におこなった自然な話題遷移として名大会話 コーパスを使用したが，より網羅的に人間の話題遷移を扱うため，また，対話コーパスごとの特性と絡 めた分析をおこなうためにその他の対話コーパスを 用いることも今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP22K17943, JP21J22383, JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたも のです.

## 参考文献

[1] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a Human-like Open-Domain Chatbot. In arXiv:2001.09977, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B. Dolan. DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation. In Proceedings of ACL, pp. 270-278, 2020.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for Building an Open-Domain Chatbot. In Proceedings of EACL, pp. 300-325, 2021.

[4] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, Morteza Behrooz, William Ngan, Spencer Poff, Naman Goyal, Arthur Szlam, Y-Lan Boureau, Melanie Kambadur, and Jason Weston. BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage. In arXiv:2208.03188, 2022 .

[5] Jianheng Tang, Tiancheng Zhao, Chenyan Xiong, Xiaodan Liang, Eric Xing, and Zhiting Hu. Target-Guided Open-Domain Conversation. In Proceedings of ACL, pp. 5624-5634, 2019.

[6] Jinghui Qin, Zheng Ye, Jianheng Tang, and Xiaodan Liang. Dynamic Knowledge Routing Network for Target-Guided Open-Domain Conversation. In Proceedings of AAAI, pp. 8657-8664, 2020.

[7] Peixiang Zhong, Yong Liu, Hao Wang, and Chunyan Miao. Keyword-Guided Neural Conversational Model. In Proceedings of AAAI, pp. 14568-14576, 2021.

[8] Yosuke Kishinami, Reina Akama, Shiki Sato, Ryoko Tokuhisa, Jun Suzuki, and Kentaro Inui. Target-Guided Open-Domain Conversation Planning. In Proceedings of COLING, pp. 660-668, 2022.

[9] Zhitong Yang, Bo Wang, Jinfeng Zhou, Yue Tan, Dongming Zhao, Kun Huang, Ruifang He, and Yuexian Hou. TopKG: Target-oriented Dialog via Global Planning on Knowledge Graph. In Proceedings of COLING, pp. 745755, 2022.

[10] Wenquan Wu, Zhen Guo, Xiangyang Zhou, Hua Wu, Xiyuan Zhang, Rongzhong Lian, and Haifeng Wang. Proactive Human-Machine Conversation with Explicit Conversation Goal. In Proceedings of ACL, pp. 37943804, 2019.
[11] 坂田亘, 吉越卓見, 田中リベカ, 黒橋禎夫. Wikipedia のリンク情報に基づく話題遷移シナリオの自動生成. 言語処理学会年次大会発表論文集, pp. 637-641, 2021.

[12] 山内祐輝, Graham Neubig, Sakriani Sakti, 戸田智基, 中村哲. 対話システムにおける用語間の関係性を用 いた話題誘導応答文生成. 人工知能学会論文誌, Vol. 29, No. 1, pp. 80-89, 2014.

[13] Kun Zhou, Yuanhang Zhou, Wayne Xin Zhao, Xiaoke Wang, and Ji-Rong Wen. Towards Topic-Guided Conversational Recommender System. In Proceedings of COLING, pp. 4128-4139, 2020.

[14] Karin Sevegnani, David M. Howcroft, Ioannis Konstas, and Verena Rieser. OTTers: One-turn Topic Transitions for Open-Domain Dialogue. In Proceedings of ACLIJCNLP, pp. 2492-2504, 2021.

[15] 谷津元樹, ジェプカラファウ, 荒木健治. 自由対話か らの話題遷移検出のためのタグ付け調査. 言語処理学会年次大会発表論文集, pp. 236-239, 2014.

[16] Huiyuan Xie, Zhenghao Liu, Chenyan Xiong, Zhiyuan Liu, and Ann Copestake. TIAGE: A Benchmark for TopicShift Aware Dialog Modeling. In Findings of EMNLP, pp. 1684-1690, 2021.

[17] Mayank Soni, Brendan Spillane, Emer Gilmartin, Christian Saam, Benjamin R. Cowan, and Vincent Wade. An Empirical Study of Topic Transition in Dialogue. In arXiv:2111.14188, 2021.

[18] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written Japanese in contrast: exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[19] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of EMNLP, pp. 230237, 2004.

[20] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎 . Wikipedia 記事に対する拡張固有表現ラベルの 多重付与. 言語処理学会年次大会発表論文集, pp. 797-800, 2016.

[21] Robyn Speer, Joshua Chin, and Catherine Havasi. ConceptNet 5.5: An Open Multilingual Graph of General Knowledge. In Proceedings of AAAI, pp. 4444-4451, 2017.

[22] Shiki Sato, Reina Akama, Hiroki Ouchi, Jun Suzuki, and Kentaro Inui. Evaluating Dialogue Generation Systems via Response Selection. In Proceedings of ACL, pp. 593-599, 2020.

## A 両手法で正解・不正解の事例

表 6 に正解ラベルが「遷移可」である事例のうち，単語分散表現, 知識グラフの両手法で「遷移可」と 正しく判定できた例を示す. また，表 7 に正解ラべ ルが「遷移可」である事例のうち，単語分散表現，知識グラフの両手法で「遷移不可」と誤って判定さ れた例を示す.

表 6 単語分散表現，知識グラフの両手法で「遷移可」と 正しく判定できた例.

表 7 単語分散表現, 知識グラフの両手法で「遷移不可」 と誤って判定された例.これらの事例の正解は「遷移可」 である.


# 修辞構造と語彙難易度を制御可能なテキスト生成手法に向けて

横川悠香 1 石垣達也 ${ }^{2}$ 上原由衣 ${ }^{2}$ 宮尾祐介 ${ }^{3,2}$ 高村大也 ${ }^{1}$ 小林一郎 1,2
1 お茶の水女子大学大学院 ${ }^{2}$ 産業技術総合研究所 ${ }^{3}$ 東京大学
\{g1820542,koba\}@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp
\{ishigaki.tatsuya, yui.uehara, takamura.hiroya\}@aist.go.jp

## 概要

言語は，それが用いられる社会的な状況に応じて その形態が変化する。例えば，同じ内容を説明する 際であっても，幼い子供を対象にした発話では，理解が容易な文章構造の下，使用される語彙の難易度 が低くなるといった変化が生じる. 本研究では，特 に発話相手の読解能力レベルに応じた，テキストの 修辞構造と語彙の難易度の変化に着目し，それらを 考慮した制御可能なテキスト生成手法を開発するこ とを目的とする。テキスト生成の実験においては， レベルに応じた生成を行うために，対象者のレベル が異なるニュース記事で構成されるコーパスである Newsela コーパスを用い，異なるレベルに対しても 読解が容易なテキストの生成を行なった.

## 1 はじめに

発話相手の読解能力レベルによって，適切なテキ ストは異なる [1]. 同じ内容を伝える際であっても，発話相手のレベルに応じ，テキスト全体の構造や使用する語彙の難易度を変化させる必要が生じる. 本研究では，レベルに応じた変化のうち，テキストの 構造を捉えるものである修辞構造 [2] と, 使用され る語彙の難易度を，テキスト生成において制御する 手法を提案する.レベルが異なるニュース記事で構成されるコーパス [3] を用い, 記事の内容を端的に 表す文であるニュース記事の表題と，記事本文から 抜き出した重要なフレーズであるキーフレーズを入力として，表題に基づいた内容を持ち，キーフレー ズを使用したテキストの生成に取り組む. その生成 に，レベルに応じた修辞構造と語彙の難易度に基づ く制御を加える. テキスト生成において, 修辞構造 をモデルの訓練において補助として用い，テキスト 全体の一貫性を高める手法 [4] があるが，本研究で は修辞構造に基づいた制御を生成時にも追加する。 また，テキスト平易化における語彙の難易度に着目
した手法 [5] を訓練と生成時に取り入れる. 生成時 には，言語モデルの生成にトピックや感情を導入す る Controlled Text Generation における手法 [6] を，修辞構造と語彙の難易度に基づく制御に適用する。

## 2 関連研究

Controlled Text Generation において, Plug and Play Language Models (PPLM) [6] は，言語モデルに追加の 訓練を必要としないことが特徴である。また，テキ スト生成における制御のうち，テキスト全体が内容についての一貫性を持つように生成する Content Planning の手法として PAIR [7] が挙げられる。 一方 で，テキスト全体の構造を捉えるものとして，修辞構造がある. 修辞構造を学習において利用すること で，テキスト全体が自然な構造を持つようにする手法として FlowNet [4] がある。 また，テキスト平易化 [8] において生成されるテキストが，時に難易度 の高い単語を含むことが知られており，語彙の難易度を考慮して平易化を行う手法 [5] が提案されて いる.

本研究においては，Newsela コーパス [3] をデー タセットとして用い，テキスト生成において修辞構造と語彙の難易度の制御を行う. 生成の基盤として PAIR を用い，そこに PPLM の手法を用いた制御を 取り入れる。

## 3 提案手法

図 1 に提案手法の概要を示す. データセットと して，主にテキスト平易化において広く使用され る Newsela コーパス [3] を用いる. Newsela コーパス は，ニュースの元記事と，それを人手により平易な 英語に書き換えた 4 つのバージョンで構成される. コーパス内の記事には，英語文章の難易度から読者の読解能力を測るために使用される指標である

図 1 提案手法

Lexile readability score ${ }^{1)}$ に基づく 2 から 12 のレベル が付与されている．本研究では，問題を簡単にする ため Newselaコーパスに含まれるニュース記事内の 段落の内，3 文で構成されるものをデータとして用 いる。ニュース記事の表題と，本文中から抜き出し た重要なフレーズであるキーフレーズを入力として 与え，表題に基づいた内容を持ち，キーフレーズを 使用したテキストを生成する. その生成に，レベル に応じた修辞構造と語彙の難易度に基づく制御を加 える。

重要なフレーズであるキーフレーズとして，デー タセットに対して TopicRank アルゴリズム [9] を用 い，キーフレーズを事前に抽出する. 抽出したキー フレーズは平均で 9.57 個であった.

テキスト全体の構造を捉えるため，修辞構造理論（Rhetorical Structure Theory, RST）を用いる. RST では，テキストを意味の最小単位である Elementary Discourse Unit (EDU) で区切り，EDU 同士の関係性を 木構造で考える. 関係は Nuclearity と Relation Label の2つの要素で表現される. Nuclearity は Nucleus と Satelliteの 2 つの値を取る. 木の中で子となる 2 つ の EDU の内，Nucleus である EDU は Satellite であ る EDU より重要であることを表す. Relation Label は [2]による 18 種類のものを採用する. 木の中で子 となる 2 つ EDU が，例えば原因と結果のように， どのような関係になっているかを表す. データセッ トに対し RST の学習済みパーザである DPLP [10] を 用い，修辞構造を得る．問題を簡単にするため，先行研究 [4] に従い，テキスト中で隣り合う EDU 同士 の関係のみ考慮することによって, 図 2 に示すよう に修辞構造の木をリスト化する。 リストに変換する 際，関係が 2 つ連続して現れた場合は，木の中でよ り深い位置にある関係を優先する。また，木の中央 にあるノードが子となるノードより後に現れた場合
 measures/about-lexile-measures-for-reading/
は，そのノードに対応する関係は無視される.

## 3.1 修辞構造と語彙難易度を考慮した訓練

テキスト生成を行う上で基盤となる手法が PAIR [7] である. PAIR では，正解文からキーフレー ズの出現する位置以外をマスクしたテンプレートを 作成する。そのテンプレートを BART [11]を用いて 穴埋めする．穴埋めした結果のトークン列で確率の 低いトークンをマスクしたものを次の生成における テンプレートとし，再び穴埋めすることを繰り返し て最終的なテキストを生成する。本研究では，トー クン列を EDUで区切り，その区切りに特殊トーク ン [EDU] を挿入する.テンプレートを作成する際 に，キーフレーズに加えて [EDU] もマスクしない トークンとする。

修辞構造を訓練において考慮するため，テキスト 生成モデルの訓練時には，修辞構造に基づくラベル を作成する. 正解文のトークン列から，[EDU] に続 くトークンである，各 EDU の先頭トークンに RST における関係を対応させ，それ以外のトークンには null を対応させる. ラベル作成の例を図 3 に示す. RST における関係が対応する，各 EDU の先頭トー クンの隠れ状態に対して分類器を適用し，RST の関係について分類する。 その分類結果とラベルに対し て損失を計算し，訓練時の損失に加える。

語彙の難易度については，先行研究 [5] に従い,語彙の難易度を単語とレベルの正の自己相互情報量（Positive Pointwise Mutual Information, PPMI）に基 づき考え，各レベルに特徴的な単語に対して重みを 加える. 単語 $w$ と, Newsela コーパスで設定された レベル $l$ から，PPMI を求める：

$
\begin{aligned}
\operatorname{PMI}(w, l) & =\log \frac{P(w \mid l)}{P(w)} \\
\operatorname{PPMI}(w, l) & =\max (\operatorname{PMI}(w, l), 0) .
\end{aligned}
$

$P(w \mid l)$ はレベルが $l$ の文書に単語 $w$ が出現する確率 であり，P(w) は文書集合全体で単語 $w$ が出現する 確率である．式 (2) において値を 0 以上としている のは，PMI が負となる単語はレベルによらず広く出現していると考えられ，そのレベル特有の単語とは いえないためである．PPMI を用い，次のように損失を計算する：

$
\begin{aligned}
f(w, l) & =\operatorname{PPMI}(w, l)+1 \\
L(\boldsymbol{o}, \boldsymbol{y}, w, l) & =-f(w, l) \cdot \log o_{c}
\end{aligned}
$

ここで，oはロジットベクトルである．最終的な損

図 2 修辞構造のリスト化

図 3 修辞構造に基づくラベル

失関数は，上記の RST に関する損失とこの語彙難易度に関する損失を足したものになる。

## 3.2 PPLM を用いた生成の制御

PPLM [6] の手法を用いて修辞構造についての制御を追加する. テキストにトピックや感情といった 特定の属性 $a$ を持たせるとき，テキストを $x$ とする と，分布 $p(x \mid a)$ をモデリングすることが目標とな る. このとき PPLM では，ベイズの定理により

$
p(x \mid a) \propto p(x) p(a \mid x)
$

となることから，言語モデルの分布 $p(x)$ に分布 $p(a \mid x)$ を掛け合わせることで $p(x \mid a)$ が得られ ると考える. 分布 $p(a \mid x)$ は，トピックの導入の 場合はトピックに固有の単語を集めた Bag-ofWords $=\left.\{w_{1}, \cdots, w_{k}\right.\}$ を用いて以下のように定義さ れる：

$
p(a \mid x)=\sum_{i}^{k} p_{t+1}\left(w_{i}\right)
$

感情の導入の場合は単層の分類器 $f$ を用いて以下の ように定義される：

$
p(a \mid x)=f\left(o_{t+1}\right) .
$

ここで， $o_{t+1}$ はロジットである. PPLM では，これ らの分布 $p(a \mid x)$ を用いて, 以下の式 (8) に従って言語モデルの内部状態 $H_{t}$ (具体的には, Transformer 各層の Key および Value の值）を更新することで，目的の属性を持ったトークンが出力されやすくなるよ う調整を行う：

$
\Delta H_{t} \leftarrow \Delta H_{t}+\alpha \frac{\nabla_{\Delta H_{t}} \log p\left(a \mid H_{t}+\Delta H_{t}\right)}{\left.\|\nabla_{\Delta H_{t}} \log p\left(a \mid H_{t}+\Delta H_{t}\right)\right.\|^{\gamma}}
$

図 4 修辞構造の導入

更新された $\tilde{H}_{t}=H_{t}+\Delta H_{t}$ を用いて，言語モデルに より現在のトークン $x_{t}$ が与えられたときの $\tilde{x}_{t+1}$ を 求める：

$
\begin{aligned}
\tilde{o}_{t+1}, H_{t+1} & =\operatorname{LM}\left(x_{t}, \tilde{H}_{t}\right), \\
\tilde{x}_{t+1} \sim \tilde{p}_{t+1} & =\operatorname{Softmax}\left(W \tilde{o}_{t+1}\right) .
\end{aligned}
$

修辞構造に基づいた制御では，式 (7) において RST の関係に基づく分類器を用いる. この分類器 は，3.1 節において修辞構造に基づく損失を付与す るために追加で訓練したものを用いる。これにより 言語モデルは, 図 4 に示すように, EDU の区切り を示す特殊トークン [EDU] に続けて各 EDU の先頭 トークンを生成する際に，RST の関係に基づく分類器を用いた PPLM の制御を反映することができる.

また，語彙の難易度については，各難易度レベル に応じた Bag-of-Words を用いた PPLM による制御を 行う. 先行研究 [5] に基づき定義される語彙の難易度から，Newsela コーパスにおける各レベルに対応 する Bag-of-Words を作成する。まず，Newsela コー パスでは，1 つの記事に対して 2 から 12 のレベルの 内いずれかのレベルが設定されているが，同じ記事 に含まれる文は全て同じレベルに属すると仮定し，同じレベルの文を集めたものを 1 文書とする．語彙 の難易度を調べるため，各レベルに対応する文書の 集合に対して TF-IDF を計算する：

$
\operatorname{TFIDF}(w, l)=P(w \mid l) \cdot \log \frac{D}{\mathrm{DF}(w)} .
$

ここで， $D$ は全レベル数であり, Newselaコーパスに おいては $D=11$ である. $\mathrm{DF}(w)$ は単語 $w$ の出現す
表 1 実験設定

るレベルの総数である. TF-IDFを計算することに より, 各レベルに特徴的な単語を求めることができ る. 本研究においては, 各レベルに対応する文書に 対して TF-IDF が高い上位 200 単語をそのレベルの Bag-of-Words とする.こうして求めた Bag-of-Words から式 (6) のように分布 $p(a \mid x)$ を求めて式 (8) の計算に用いる。このようにして，指定したレベルの Bag-of-Words に含まれる単語が生成される確率が高 くなるように制御する.

## 4 実験

## 4.1 実験設定

データとして Newsela コーパスに含まれるニュー ス記事内の段落の内，3文で構成されるものを使用 する. データのサイズは，訓練が 35,502 事例，開発 が 4,438 事例，評価が 4,438 事例である。また，実験 のパラメータは PAIR に従った (表 1).

## 4.2 評価指標

PAIR [7] に従い，まずは通常のテキスト生成の 評価指標である BLEU [12]，ROUGE [13]，METEOR [14]を用いて評価する.

また, 修辞構造の評価指標として, 各 EDU の先頭トークンに対する正解率を用いる. 加えて, 語彙難易度の評価指標として，各レベルの Bag-of-Words に対する再現率を用いる。再現率は，生成されたテ キスト中に正しく出現した Bag-of-Words に含まれる 単語の数を，正解文に出現した Bag-of-Words に含ま れる単語の数で割ったものとして定義する.

## 4.3 実験結果

4.1 節におけるデータセットを対象に，PAIR の手法と, 提案手法である PAIR に修辞構造と語彙の難易度に基づく制御を加えたモデルで実験し，評価を した. 提案手法では, 修辞構造に関する制御のみ加 えたモデルと, 修辞構造と語彙の難易度の両方の制御を加えたモデルで比較を行なった.表 2 評価結果

表 3 EDU の先頭に対する正解率・BoW に対する再現率

## 4.4 考察

PAIR を用いて生成した結果と比較して，PPLMに よる修辞構造の制御を加えた提案手法のモデルで は精度が少し向上した. 精度における大きな上昇と はならなかったが，精度を落とすことなく表 3 の正解率において見られるように，正しく修辞構造を反映した生成が行われた例を見ることができた。一方 で，修辞構造の制御に加え，レベルに基づいた語彙 による制御を加えた生成においては，PAIR と比較 して少し精度が落ちる結果となった. この原因とし て，生成において PPLMを利用すると同じ単語を 繰り返し生成しやすくなることが観察されており, それが提案手法においても生じたことが挙げられ る. 精度の向上には繋がらなかったが，表 3 の再現率において見られるように，指定したレベルの Bag-of-Words 内の単語を用いた生成が確認できた.

## 5 まとめ

発話相手のレベルに応じたテキストの変化の内，特に修辞構造と語彙の難易度に着目してテキスト生成の制御を行い，発話相手のレベルを考慮したテキ ストの生成を目指した. 結果として, 先行研究のモ デルより少し精度を改善しながら同時に修辞構造 を考慮して生成を行えた例も確認できた。その一方 で, 同じ単語が繰り返し生成されるという問題が生 じた例もあり，手法の改善の余地を確認した。

今後の課題としては, まず評価が挙げられる. 特 に修辞構造の制御の評価は，各 EDU の先頭トーク ンを用いた簡易的なものになっているのでより厳密 な評価が必要である．また，本稿では修辞構造の一部についてのみ考慮して生成を行なったが，さらに 複雑な修辞構造を対象とした実験も必要である.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP20006) の結果得られたものである.

## 参考文献

[1] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural crf model for sentence alignment in text simplification. In Proceedings of the Association for Computational Linguistics (ACL), 2020.

[2] WILLIAM C. MANN and SANDRA A. THOMPSON. Rhetorical structure theory: Toward a functional theory of text organization. Text - Interdisciplinary Journal for the Study of Discourse, Vol. 8, No. 3, pp. 243-281, 1988.

[3] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, , 2015.

[4] Dongyeop Kang and Eduard Hovy. Linguistic versus latent relations for modeling coherent flow in paragraphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, November 2019.

[5] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable text simplification with lexical constraint loss. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, Florence, Italy, July 2019.

[6] Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: A simple approach to controlled text generation. In International Conference on Learning Representations, 2019.

[7] Xinyu Hua and Lu Wang. PAIR: Planning and iterative refinement in pre-trained transformers for long text generation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, November 2020.

[8] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating transformer and paraphrase rules for sentence simplification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October-November 2018.

[9] Adrien Bougouin, Florian Boudin, and Béatrice Daille. TopicRank: Graph-based topic ranking for keyphrase extraction. In Proceedings of the Sixth International Joint Conference on Natural Language Processing, Nagoya, Japan, October 2013.

[10] Yangfeng Ji and Jacob Eisenstein. Representation learning for text-level discourse parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Balti- more, Maryland, June 2014.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, July 2020.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, Philadelphia, Pennsylvania, USA, July 2002.

[13] Chin-Yew Lin and Eduard Hovy. Automatic evaluation of summaries using n-gram co-occurrence statistics. In Proceedings of the 2003 Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, pp. 150-157, 2003.

[14] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, Ann Arbor, Michigan, June 2005.


# テキスト生成におけるキーワード位置の制御

笹沢裕一 森下皓文 尾崎太亮 今一修 十河泰弘
日立製作所 研究開発グループ
\{yuichi.sasazawa.bj, terufumi.morishita.wp, hiroaki.ozaki.yu,
osamu.imaichi.xc, yasuhiro.sogawa.tp\}@hitachi.com

## 概要

テキスト生成における課題の 1 つは，ユーザの意図通りに生成を制御することである。既存研究では キーワードを用いた制御が提案されているが，キー ワードのみによる制御ではユーザの意図に沿ったテ キストを生成するには不十分である．例えば，重要 なキーワードをテキストの先頭近くに配置すれば 読者の注意を引きやすくなるが，既存の手法ではそ のような柔軟な制御はできない. 本研究では各キー ワードの位置も制御することで，ユーザの意図を効果的にテキストに反映できるようなテキスト生成 に取り組む. タスクに依存しない汎用的な手法によ り，要約タスクと物語生成タスクにおいてキーワー ドとその位置を制御できることを示す.

## 1 導入

テキスト生成における課題の一つは，ユーザの意図に沿ったテキストを生成することである．多くの 既存研究は，キーワードを利用してテキスト生成を 制御する方法を提案している. テキスト要約では,要約テキストが含むべきキーワードをモデルに与 えることで，原文書の特定の部分に焦点を当てたテ キストを生成することができる $[1,2,3]$. 物語生成 では，キーワードと短いプロンプトを使用して，物語のストーリーを制御する $[4,5,6]$. その他の電子商取引生成，レビュー生成，質問生成などのタス クにおいても，キーワードを用いることでユーザ にとって望ましいテキストを作成することができ る $[7,8,9,10,11]$.

しかし，キーワードのみによる制御ではユーザの 意図に沿ったテキストを生成するには不十分であ る. ユーザの意図をより反映させる方法としてキー ワードの位置を制御する方法がある。例えば，重要 なキーワードは読者の注意を引くためにテキストの 先頭近くに配置し, 一方で比較的重要でないがテキ
ストに入れる必要があるキーワードはテキストの後半に配置することができる。また，複数のキーワー ドの順番を指定できれば話の流れを制御することも できる．既存手法は単にキーワードを指定するのみ であるためこのような柔軟な制御はできず，必ずし もユーザの意図するテキストが生成されるとは限 らない。一部の既存研究はキーワードの順序の制御 に取り組んでいるが [8, 12]，キーワード位置を直接制御する場合と比較して欠点が存在する。 (a) キー ワードの順序を制御するためには必ず複数のキー ワードを指定する必要があり，単一のキーワードの 位置を制御することができない。(b) 順序制御のみ では個々のキーワードの具体的な配置位置を必ずし も制御できない．例えば，指定した全てのキーワー ドがテキストの後半に配置されることがある.

本研究では，キーワードと各キーワードの位置を 制御するテキスト生成に取り組む. 既存研究ではテ キスト生成タスクにおいてテキストスタイル，テキ スト簡易化の種類，テキスト長などのテキスト属性 を制御するために特殊トークンの使用が提案され ている $[13,14,15]$. この手法をキーワード位置の制御に応用し, キーワードと各キーワードの相対位置 を表す特殊トークンをモデルに与えることで，キー ワード位置制御を行う。このシンプルな手法によ り，各キーワードを指定した位置に配置することが 可能となる。また，位置制御の性能を向上させ，よ りユーザの意図に沿ったテキストを生成するため に，ターゲットテキストの長さを示す特殊トークン もモデルに与えて制御を行う.

要約タスクと物語生成タスクで評価を行い，この タスクに依存しない汎用的な手法によってキーワー ドとその位置を制御できることを示す (Section 3.2). また, 本手法が通常手法と比較してターゲット要約に近いテキスト，つまりユーザの意図に近いテ キストを生成できることを示す (Section 3.3). また， キーワードの位置を制御することで特定のキーワー

図 1 提案手法の概要図. モデルにはテキスト生成を制御 するための制御トークン：キーワード，各キーワードの 位置，テキスト長が与えられる。

ドから多様なテキストを生成できることをケースス タディによって示す (Section 3.4).

## 2 手法

## 2.1 概要

要約タスクでは BART モデル [16] を，物語生成タ スクでは GPT モデル [17]を使用する. テキスト生成を制御するために制御トークン：(1) ターゲット テキスト中のキーワード，(2) 各キーワードの位置, (3) ターゲットテキストの長さ，をモデルに与える. これらの制御トークンはターゲットテキストから獲得する. BART モデルを用いる場合は図 1 に示すよ うに制御トークンを原文書と連結してエンコーダに 与える. GPT モデルを用いる場合は制御トークンを デコーダに与える. BART モデルや GPT モデルを用 いる通常のテキスト生成と同様に，モデルはクロス エントロピー損失を用いて条件付き確率 $p\left(y_{i} \mid y_{<i}, x\right)$ を最大化するように学習する。ここで $y$ はターゲッ トテキスト， $x$ はモデルへの入力（制御トークンや 要約タスクの原文書）である.

特殊トークンでテキストの属性を制御する既存の研究 $[13,14,15]$ を応用し, 各キーワードの 位置とテキストの長さを特殊トークンとして モデルに与える. 例えば，キーワード “two dogs” がターゲットテキストの 20-30\%の位置にあり， テキストの長さが 50-54 語の場合，モデルには “[LENGTH50][SEP]two dogs[POSITION20]”を制御トー クンとして与える.

本研究では，学習時と推論時の両方においてター ゲットテキストから獲得されたオラクル情報をモデ ルに与えることに留意されたい. 本研究の目的はモ デルに追加情報を与えることで意図したテキストを 生成することであるため，この実験設定は適切なも のである。キーワードとその位置をモデルが自動的 に決定する（つまり，モデルにオラクル情報を与え
ない）設定も考えられるが，今後の課題としたい.

## 2.2 制御トークンの獲得

以下に記載する方法で，ターゲットテキストから 制御トークンを獲得する。詳細は Appendix B に記載する。

キーワード ターゲットテキストからランダムに キーワードを抽出する．本研究でのキーワードは 重要な単語に限定されず，ターゲットテキスト中 の 1-3 個の連続した単語で構成されるフレーズを 意味する。例えば，“Marcia was looking forward to try hang gliding."というテキストから, “Marsha”, “was”, "looking forward", "to trying", "trying hang gliding" など のフレーズをキーワード候補として抽出する．ただ し, “was” “ "to trying” などの意味の薄い単語はユー ザがキーワードとして与える可能性が低いと考え られるためキーワード候補から除外する．学習時に は，キーワード候補の中からランダムな数のフレー ズをキーワードとしてモデルに与える.

キーワード位置 各キーワードの位置を相対位置 で表現する．具体的には，ターゲットテキストの先頭から数えたときの各キーワードの絶対位置をテキ ストの単語数で割り，10\%単位で量子化した数値を モデルに与える．絶対位置ではなく相対位置を用い る理由は，ユーザがキーワードの具体的な絶対位置 を指定したい場面は少なく，テキストの先頭付近，中央付近，末尾付近のような相対的な位置を指定す る方が実用的だと考えられるためである。

テキストの長さ キーワードの相対位置の指定の みでは，モデルがキーワードの具体的な配置位置を 決定することは難しいと考えられる．キーワードの 相対位置を適切に制御するためにテキストの長さも 同時に制御する。ユーザがキーワードの位置を制御 する際にテキストの長さも同時に制御したいと考え るのは自然だと考えられる，我々はターゲットテキ ストの単語数を 5 語単位で量子化した数値をモデル に与える。

## 3 実験

## 3.1 実験設定

要約タスクと物語生成タスクにおいて評価を行 う。この 2 つのタスクは異なる特徴を持つ. (1) 要約タスクでは，与えられた制御トークンに基づいて 原文書から情報を抽出して短いテキストに圧縮す
表 1 キーワードとその位置の制御の評価. 全てのキー ワードを含むテキストが生成できた割合（包含）と，全て のキーワードをターゲットの位置に配置したテキストが 生成できた割合（位置）を評価する。

る. (2) 物語生成タスクでは，与えられた制御トーク ンのみに基づいてテキストを生成する。要約タスク では CNN/DailyMail [18], XSum [19] データセットと BART $_{\text {LARGE }}$ モデル (400M params) [16] を使用した.物語生成タスクでは ROCStories [20] データセットと GPT2 モデル (120M params) [17] を使用した. 全ての 実験において訓練と生成を 3 回行い, その平均スコ アを報告する.より詳細については Appendix Aを 参照されたい。

## 3.2 キーワードの位置制御の評価

まず，キーワードがターゲットの位置に配置され ているかを確認する。具体的には，全てのターゲッ トのキーワードを含むテキストが生成された割合 と, 全てのキーワードが各ターゲット位置に配置し たテキストが生成された割合を評価する。

表 1 は，特殊トークンを使用する提案手法（+位置，+位置+長さ）が，キーワードをターゲットの位置に含むテキストを生成できることを示している。 また，キーワード位置と共にテキスト長を与える （+位置+長さ）ことで，特にテキストが長いデータ セット (CNN/DM, ROCStories) において位置制御の 精度が向上している. この理由は, 相対位置と長さ の情報を組み合わせることでモデルがキーワード を適切な位置に配置できるようになるためである。 キーワードの位置が与えられると，キーワードの包含の精度も向上する. キーワードを配置すべき位置 をあらかじめモデルに知らせることで，モデルが
キーワードをテキストに配置し忘れることを防いで いるためだと推測される。物語生成タスクでは要約 タスクに比べ制御精度が大幅に低下していることが 分かる. 物語生成タスクでは原文書が与えられず制御トークンのみからテキストを生成するため，キー ワードを含めるのに不適切な文脈を生成しやすいた めと考えられる。

表 2 では，ターゲットのキーワード位置ごとに キーワードが正しい位置にあるテキストが生成され たかどうか，生成されなかった場合はどの程度キー ワードの位置がずれたか，またはキーワードが含ま れなかったかを分析している。全てのターゲット位置において，キーワードのみの制御を行った場合と 比較してキーワード位置制御の精度が向上してお り，提案手法の有効性が示されている。また，テキ ストの先頭に近いほどキーワードの包含精度及び位置制御の精度が高いことが確認できる.

## 3.3 要約内容の制御の評価

テキストを制御することで，要約タスクにおいて ユーザが意図したテキストを生成することが容易 になることを示す. 表 4 に示すように，ターゲット キーワードを与えることで ROUGE スコア [21]が通常の要約に比べて大きく向上していることがわか る. さらに，キーワードの位置とテキストの長さを 制御することでスコアが向上していることがわか る.この結果により, キーワードの位置情報をモデ ルに与えることでユーザの意図する内容に近いテキ ストを生成しやすくなることが分かる.

## 3.4 ケーススタディ

提案手法によって生成された要約例を表 3 亿示 す.キーワードの位置が指定した位置からわずかに ずれる場合も存在するが，提案手法によってキー ワードとその位置を制御できることが確認できる. また，キーワードの位置を変えることで，複数の異 なるテキストを生成されており, 特に各テキストの スタイルが異なることが分かる。例えば，キーワー ド “true miracle dog”を $0 \%$ の位置に配置すると，冒頭の特徴的なキーワードで読者の注意を引くテキス トが生成される。一方，90\%の位置にキーワードを 配置すると時系列で出来事を説明する物語調のテキ ストが生成される. 複数のキーワードを与えた場合 においても，各キーワードの位置を制御することで キーワードの順序を制御できることがわかる.
表 2 CNN/DM データセットにおけるキーワードとその位置の制御の詳細な評価. ターゲットの相対位置ごとに以下の 4 種類に分類する：キーワードがターゲットの位置に正しく配置されたか，ターゲット位置と実際の位置のずれが $10 \%$ 以内か，位置のずれが $10 \%$ 可きいか，もしくはキーワードが含まれていないテキストが生成されたか.生成要約文での ターゲットのキーワードの位置 (相対位置)

表 $3 \mathrm{CNN} / \mathrm{DM}$ データセットにおける生成した要約例

 \\

表 4 ROUGE スコアを用いたテキスト要約の評価. 本研究ではターゲットテキストから獲得したオラクル情報を モデルに与えているため，通常の要約と比較してスコア が大きく向上していることに留意されたい.

さらにエラーケースを示す.テキストの末尾付近 の位置を指定した場合，その指示を無視して全く別 の位置にキーワードが配置されることや，テキスト にキーワードが含まれないことが多い. 表 2 の結果 から確認できるように，提案手法はキーワードをテ キストの後半に配置するのが苦手な傾向がある. 理由の一つとして，テキストの末尾に近いほど指定し たキーワードを含めるのに不適切な文脈になる可能性が高まるためだと考えられる.

## 4 結論

本論文ではキーワードと各キーワードの位置を制御したテキスト生成に取り組んだ。要約タスクと物語生成タスクで実験を行い，タスクに依存しない手法によってキーワードの位置を制御できることを示 した. また, 本手法によってターゲットの要約に近 いテキストが生成することが可能となり，ユーザの 意図に近いテキストが生成できることを示した．今後の課題は，制御精度の向上及び，オラクル情報を 使用せずに適切なキーワードを適切な位置に自動で 配置することである.

## 謝辞

ご助言を頂いた，日立製作所研究開発グループの 山口篤季氏，森尾学氏，是枝祐太氏に感謝を申し上 げる.

## 参考文献

[1] Angela Fan, David Grangier, and Michael Auli. Controllable abstractive summarization. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 45-54, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Junxian He, Wojciech Kryscinski, Bryan McCann, Nazneen Fatema Rajani, and Caiming Xiong. Ctrlsum: Towards generic controllable text summarization. CoRR, Vol. abs/2012.04281, , 2020.

[3] Zi-Yi Dou, Pengfei Liu, Hiroaki Hayashi, Zhengbao Jiang, and Graham Neubig. GSum: A general framework for guided neural abstractive summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4830-4842, Online, June 2021. Association for Computational Linguistics.

[4] Parag Jain, Priyanka Agrawal, Abhijit Mishra, Mohak Sukhwani, Anirban Laha, and Karthik Sankaranarayanan. Story generation from sequence of independent short descriptions. CoRR, Vol. abs/1707.05501, , 2017.

[5] Angela Fan, Mike Lewis, and Yann Dauphin. Strategies for structuring story generation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 26502660, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Lili Yao, Nanyun Peng, Ralph Weischedel, Kevin Knight, Dongyan Zhao, and Rui Yan. Plan-and-write: Towards better automatic storytelling. In Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence and Thirty-First Innovative Applications of Artificial Intelligence Conference and Ninth AAAI Symposium on Educational Advances in Artificial Intelligence, AAAI'19/IAAI'19/EAAI'19. AAAI Press, 2019.

[7] Zhangming Chan, Xiuying Chen, Yongliang Wang, Juntao Li, Zhiqiang Zhang, Kun Gai, Dongyan Zhao, and Rui Yan. Stick to the facts: Learning towards a fidelity-oriented E-commerce product description generation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4959-4968, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Huajie Shao, Jun Wang, Haohong Lin, Xuezhou Zhang, Aston Zhang, Heng Ji, and Tarek Abdelzaher. Controllable and diverse text generation in e-commerce. In Proceedings of the Web Conference 2021, WWW '21, p. 2392-2401, New York, NY, USA, 2021. Association for Computing Machinery.

[9] Jianmo Ni and Julian McAuley. Personalized review generation by expanding phrases and attending on aspect-aware representations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 706-711, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Ying-Hong Chan, Ho-Lam Chung, and Yao-Chung Fan. Improving controllability of educational question generation by keyword provision. CoRR, Vol. abs/2112.01012, , 2021.

[11] Zhiling Zhang and Kenny Zhu. Diverse and specific clarification question generation with keywords. In Proceedings of the Web Conference 2021, WWW '21, p. 3501-3511, New York, NY, USA, 2021. Association for Computing Machinery.

[12] Yixuan Su, David Vandyke, Sihui Wang, Yimai Fang, and Nigel Collier. Plan-then-generate: Controlled data-to-text generation via planning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 895-909, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[13] Kango Iwama and Yoshinobu Kano. Multiple news headlines generation using page metadata. In Proceedings of the 12th International Conference on Natural Language Generation, pp. 101-105, Tokyo, Japan, October-November 2019. Association for Computational Linguistics.

[14] Surafel Melaku Lakew, Mattia Di Gangi, and Marcello Federico. Controlling the output length of neural machine translation. In Proceedings of the 16th International Conference on Spoken Language Translation, Hong Kong, November 2-3 2019. Association for Computational Linguistics.

[15] Louis Martin, Éric de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4689-4698, Marseille, France, May 2020. European Language Resources Association.

[16] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[17] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2018

[18] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 28. Curran Associates, Inc., 2015.

[19] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[20] Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen. A corpus and cloze evaluation for deeper understanding of commonsense stories. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 839-849, San Diego, California, June 2016. Association for Computational Linguistics.

[21] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[22] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[23] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826, 2016.

[24] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR '18, p. 1097-1100, New York, NY, USA, 2018. Association for Computing Machinery.
表 5 データセットの統計

## A 詳細な実験設定

表 5 に各データセットの訓練・開発・検証データ のデータ数と原文書の単語数の平均值，ターゲット テキストの単語数の平均値を示す. オプティマイザ は Adam [22] を使用し, $\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-6}$, L2 正規化係数を 0.01 とした. 学習率は訓練ステッ プの最初の $6 \%$ でウォームアップさせ，その後線形 に減衰させた. ドロップアウト率は 0.1 , バッチサ イズは 32, label smoothing [23] は 0.1 である.

要約タスク 学習率は $2 \times 10^{-5}$ とした. ただし，新たに追加した特殊トークンの重みは初期化状態 から学習させるため，単語埋め込みの重みに対する 学習率は $1 \times 10^{-3}$ と通常より高い値を使用した. エ ポック数は 10 回である. 生成にはビームサーチを 用いた. CNN/DM ではビーム数は 4 , length penalty は 2.0, XSum ではビーム数は 6 , length penalty は 1.0 に設定した. 原文書の最大トークン数を 1024，要約文の最大トークン数を 128 とし，それ以上のトーク ン数のテキストは末尾を切り捨てた。

物語生成タスク 学習率は $2 \times 10^{-5}$, 単語埋め込 みの重みの学習率は $1 \times 10^{-3}$, エポック数は 30 回と した. 生成には $p=0.95$ の top-p サンプリングを使用し, temperature は 0.1 とした. ターゲットテキス トの最大トークン数は 128 とし, それ以上のトーク ン数のテキストは末尾を切り捨てた.

## B 制御トークン

テキスト長，キーワード，キーワード位置を獲得 するための単語分割は NLTK ライブラリを用いる。 モデルの訓練時には，全ての制御トークン（キー ワード，キーワード位置，テキスト長）をそれぞれ 一定確率でモデルに与えて訓練し, この学習済みモ デルを用いて 4 種類の設定（表 1 における「キー ワード」，「+長さ」，「+位置」，「+位置+長さ」）でテ キスト生成を行う.これにより， 1 種類のモデルで 複数の設定での推論を行うことができ，設定ごとに モデルを訓練する場合と比較してコストを抑えて実験を行うことができる. 予備実験の結果, 各推論設表 6 Self-BLEUを用いた生成テキストの多様性の評価

 &  &  \\

キーワード & 96.6 & 92.8 & 71.2 \\
+位置+長さ & $\mathbf{8 5 . 9}$ & $\mathbf{8 3 . 1}$ & $\mathbf{5 6 . 9}$ \\

定に対してモデルを個別に訓練させた場合とほぼ 同じ性能が得られることを確認している. ただし，制御トークンを用いない生成（表 1 における「キー ワード無し」）は上記のモデルとは独立してモデル の訓練と推論を行った。

キーワードの抽出 まず，ターゲットテキストか ら連続した 1-3 個の単語で構成されるフレーズを キーワード候補として抽出する。最初の単語がス トップワードや頻出単語であるフレーズはキーワー ド候補から除外する。訓練時には，0-3 個のフレー ズをキーワード候補からエポック毎にランダムに選択し，キーワードとしてモデルに与える。 推論時に は，表 1 の実験では 1-3 個，表 2 と表 4 の実験では 1 個のキーワードをモデルに与える.

## C 多様なテキストの生成

キーワードの位置を制御することで特定のキー ワードから多様なテキストを生成できることを示 す. 多様なテキストを生成できれば，ユーザーは生成された複数のテキストの中から自分の意図するテ キストを選択することが可能となる。キーワード無 しの通常の生成とキーワードのみを用いた生成の場合，1つの入力からビームサーチもしくは top-p サ ンプリングを用いて 10 種類のテキストを生成する. キーワード位置を用いる場合，1つのキーワードに 対して 10 種類のキーワード位置をモデルに与える ことで 10 種類のテキストを生成する. 生成された テキストに対して Self-BLEU [24] 指標を用いて生成 テキストの多様性を評価する。

表 6 の結果から，複数のキーワード位置を用いて 生成することで生成テキストの多様性が向上する ことが分かる．特に，要約タスクは一般的にビーム サーチを用いてテキストを生成するため，複数テキ ストを生成した場合の多様性が非常に低くなるが，複数の位置を指定してテキストを生成することでこ の多様性の低下が緩和される。表 3 に示した生成例 においても，キーワード位置を制御することで特定 のキーワードから様々なテキストが生成できること が確認できる.