# 深層強化学習モデルの内部挙動の言語化を通じた 制御手法の構築

圓田彩乃 小林一郎
お茶の水女子大学
\{g1720506,koba\}@is.ocha.ac.jp

## 概要

本研究は説明可能 AI のひとつのアプローチとして，入力が画像である制御タスクに対し学習済みモデルの入出力関係から制御規則を生成し，これを言語化することで学習済みモデルの内部挙動を説明することを目指す。言語化された制御規則を用いて対象が制御可能であることを示すとともに，言語で記述された制御モデル内部の振る舞いに対する解釈可能性の向上を実現した. 制御対象として，Space invaders を取り上げ実験を行なった結果，本研究の手法で構築された制御器は, 学習済みモデルと同等のレベルの frame 数までプレイヤーが生存し，報酬は学習済みモデルと比較すると低いものの，複数の敵を倒して報酬の獲得に成功した。

## 1 はじめに

近年，様々な場面で深層学習が用いられている。深層学習は人間よりも高い精度で認識や予測を行うことがある一方で，深層学習モデルの内部挙動はブラックボックスであることから用途によっては使用が制限される。そのため，構築したモデルの内部挙動を捉える手法として，説明可能 AI の研究が盛んになっている. 説明可能 AI は高いレベルの精度を保ちつつ，より説明可能なモデルを作り出す機械学習手法の構築を目指している $[1,2]$. また，機械学習手法に対する説明性の評価なども検討されている [3]. 説明手段のひとつとして，ニューラルネットワークからルールを抽出する DeepRED [4] などもある. そのような説明可能 AI のひとつのアプローチとして, 本研究では深層学習モデルの内部挙動が人間が理解できるように言葉で説明することを目指す. アプローチ方法として，深層学習モデルで得られた入出力関係をファジィモデリング [5] し，その関係をファジィ言語変数からなる規則で表現するこ
とにより，モデルの入出力の振る舞いを人間が把握しやすいようにする.

本研究では入力が画像情報である Atari の Space Invaders ${ }^{1)}$ を制御タスクとして設定し，言語化された規則を用いて制御を行い，その制御精度を確認する.また，制御規則をそのまま出力するのではなく，解釈可能性が向上するように制御規則の要約も併せて行う。

## 2 関連研究

Greydanu らの研究である Visualize Atari [6] は， 6 種類の Atari のゲームを制御タスクとして設定し, Saliency [7] をヒートマップとして入力画像に重ねることでモデルで学習したエージェントの内部挙動を可視化する説明 AI モデルを構築した. Saliency とは，学習済みモデルが画像のどの部分を注視して予測を行っているのかを可視化した手法である. この研究では学習済み深層強化学習モデルとして Baby A3C [8] を使用している。これは Asynchronous Advantage Actor-Critic (A3C) [9] モデルをカスタムしやすいようにコンパクトにしたモデルである.

Saliency Map の可視化を行うことで，モデルがどのような戦略を学習して実行しているのかだけでなく，学習過程でどのように戦略が進化しているか, そして制御を失敗してしまう原因となっている戦略や行動を分析することに成功している。その一方で，説明は入力画像上に注視箇所をヒートマップとして重ねて可視化することにとどまっており，説明文は画像を見ながら人手で作成している。

本研究では，学習済みモデルが制御の際に注視している個所を取り出す手法として Visualize Atari を使用し，制御中の学習済みモデルの内部挙動を自動的に言語で説明することに試みた。

図 1 Saliency Map から Saliency 箇所を取り出した例

## 3 提案手法

学習済み深層学習モデルの内部挙動を入出力情報をもとに獲得し，それを言語化して制御実験に使用する手法を説明する。

## 3.1 制御規則作成方法

入出力関係の獲得 Visualize Atari に用意されている学習済みモデルを使用し, 入出力情報と Saliecny Mapを獲得する。

Saliency 箇所の取り出し Saliency Map をグレー スケール化し, Open CV の輪郭抽出・外接矩形の関数を使用して大力画像の Saliency がかかっている場所を長方形に取り出す. (図 1 参照)

Saliency 内容の分類取り出した Saliency 箇所に写っているものを分類する. 分類モデルは，事前学習済み画像分類モデルを 2 エピソード分の切り取り済み Saliency 画像を用いてファインチューニングして作成する。

分類ラベルはファインチューニングに使用する切り取り済み Saliency 画像に写っているものを元に作成し，それぞれの画像には人手で分類ラベルを付与した. また，図 1 の右上の画像のように写っているものが切れてしまっている場合，それが何であるかを視認できる場合は分類ラベルを付与した。

制御規則生成獲得した学習済みモデルの入出力情報と Saliency Map を用いて制御規則を生成する。

制御規則は以下の前件部・後件部のテンプレートを穴埋めする形で作成する。

ビーム砲が **** (ビーム砲の場所... 左/中央/右) にいて，*** (Saliency の場所...(1) (9) に*** (Saliency の分類ラベル) があるとき，Action **** をとる.

図 2 ビーム砲の場所と Saliency の場所の分割

図 3 制御器の構造概要

エージェントが操作するビーム砲と Saliency の場所は図 2 のようにそれぞれ分割し，ビーム砲は中心の座標, Saliency 箇所は切り出した長方形の中心の座標からどの空間に属するかを算出する。

図 1 のように一つの入力画像に 2 箇所以上 Saliency がかかっていた場合，「ビーム砲が左にいて，(4にインベーダー単数があるかつ ๑にインベー ダー複数があるかつ ... があるとき, Action FIRE をとる.」のようにテンプレートの前件部を ANDで繋いで一つの制御規則とする。

## 3.2 制御器の構造

制御器の構造の概要を図 3 に示す. 制御器には Space Invaders の画面が入力として与えられる. 制御器は 3.1 で獲得したデータのうち, 最も報酬が高いエピソードの Saliency Map からその frame において見るべき場所を判断し，その場所に何が映っているかを 3.1 で作成した分類モデルで分類する．併せて，入力画像を見てビーム砲の場所と Saliency がかかっている箇所を取り出す. それらの情報を組み合わせて該当する制御規則を抽出し，その個数が最も多い Actionを実行する.

## 4 制御規則の言語化

実験では 1 frameごとに Action を決定するのに使用した制御規則を言語化することで，学習済みモデ

ルの内部挙動の説明を行う。

3.1 で生成した制御規則は，学習済みモデルがどのような入力画像が与えられたときにどの Action をとったのかを捉えて表現することができている. しかし， 1 frameごとに使用した制御規則をそのまま言語化して出力すると, 解釈可能性の低い説明文となってしまう。

そこで本研究では，生成された制御規則を要約して言語化することを試みる。具体的には，以下のテンプレートのように，制御規則ではそのまま記述しているビーム砲と Saliency の場所を, それらの位置関係（右上の高いところ，など）で記述することによって制御規則を要約を行う。

ビーム砲の*** (ビーム砲と Saliency の場所の位置関係... 左/右/真上の高い/低い) ところに *** (Saliency の分類ラベル) があるとき, Action *** をとる.

$x$ 軸方向の関係をビーム砲の場所と Saliency の長方形の中心の座標から「左上」「真上」「右上」の 3 通り, $y$ 軸方向は Saliency の長方形の中心の座標から「高い」「低い」の 2 通りで表現し，これらを組み合わせることでビーム砲と Saliency 箇所の位置関係を表す.このように変更することで，変更前はビー ム砲と Saliency 場所がそれぞれの分割数の組み合わせである 27 通りの表現があるのに対し，変更後は 6 通りの表現で制御規則を要約することができる.

制御規則の要約を行うことで解釈可能性が向上するだけでなく，異なる状況においても同じ制御規則が適用されるため，言葉を再利用することができるようになる.

## 5 実験

本研究では 3.1 の手法で生成した制御規則を使用した制御実験（実験 1）と４の手法で要約した制御規則を使用した制御実験（実験 2）を行った。

## 5.1 実験設定

入出力関係と Saliency Map の獲得 Visualize Atari における Space Invaders の control agent を使用し，学習済みモデルの入出力関係と Saliency Map を 50 エピソード・ 56,850 frame 分獲得した. なお今回の実験では，獲得した報酬が Baby A3C モデルの平均報酬である 550 を超えているエピソードのみを抽表 1 分類ラベル

 \\

出して入出力関係などを獲得している.

Saliency 内容の分類モデルの作成学習済みモデルから獲得した 50 エピソード分の入出力データと Saliency Map のうち 2 エピソード分のデータを使用し, 切り出した Saliency がかかっている箇所に写っている内容を分類するモデルを作成する.

2 エピソード分の切り出した画像を目視で確認し，用意した分類ラベルを表 1 に示す.

Saliency 箇所を切り出した画像と分類ラベルを使用して, Torch Vision の ResNet のファインチューニングを行い，分類精度が $90 \%$ 近くになった.

制御規則 3.1 の手法で 9,241 個の制御規則が生成された。これに 4 の手法を用いると，制御規則が 6,853 個に要約された。

## 5.2 実験結果

実験 1 ・2において，制御実験をそれぞれ 100 エピソード行った.

実験 $1 \cdot 2$ と入出力関係などを獲得した学習済みモデルの実験時における獲得した報酬と生存 frame 数の結果をそれぞれ表 2 と表 3 に示す.

実験 $1 \cdot 2$ と学習モデルの制御精度を比較すると，実験 $1 \cdot 2$ のどちらも平均生存 frame 数は学習済みモデルと同等のレベルに達しており, 平均報酬は学習済みモデルと比較すると低いものの, 複数のインベーダーを倒して報酬を獲得することに成功した。

制御規則を要約していない実験 1 と要約している実験 2 の制御精度を比較すると，報酬・生存 frame 数ともに平均值に大きな違いはないが, 実験 1 と比較すると実験 2 は報酬・生存 frame 数の最大値と最小值の差が大きく, 不安定な制御となっていることがわかった。

実験時には， 1 frame ごとに Action を決定するために使用した制御規則の言語化を行い，その Action
表 2 実験結果 - 報酬

表 3 実験結果 - 生存 frame 数

が選択された理由を説明した。例えば実験 2 において，図 4 の入力画像に対し「ビーム砲の左上の低いところにインベーダー単数があるとき，Action LEFTをとる.」の制御規則が言語化された.

実験 2 における言語化された制御規則の他の例を付録で紹介している。

## 5.3 考察

実験 $1 \cdot 2$ と学習済みモデルの比較生存 frame 数は同等のレベルであるのに報酬に差が出てしまっている原因として，実験 1 ・2 は攻撃をしない Action が選択されることが多いことや，インベーダーからの攻撃から逃げるためにインベーダーの真下にいない frameが多いことが考えられる。また，制御規則を生成するにあたり，学習済みモデルがとっていたと思われる，より報酬の高い敵を優先して倒す戦略を踏襲できていないことも原因となっている可能性がある.

制御規則の要約ありなしの比較報酬と生存 frame 数の平均値をみると, 実験 $1 \cdot 2$ は同等の制御精度と言える。一方で，実験 2 において，報酬と生存 frame 数の最小値が実験 1 と比較してとても小さくなっている。これは，制御規則を要約したことによりビームを避けたり安全地帯の下に逃げるような制御規則が減ったことが原因として考えられる. 制御規則は内容と個数が多いほどより多くの状況に対応できるが，一方で説明文としては解釈可能性が低くなってしまう。したがって，制御精度と説明文の解釈可能性のバランスを取ることが重要である.

制御の様子制御の様子を観察したところ，実験 1 ・2で作成した制御器はインベーダーの位置に関係なく画面左側に滞在し，インベーダーがビーム砲の真上に来るのを待ち構えて攻撃していた。一方，学

図 4 入力画像の例

習済みモデルはインベーダーの動きに合わせてビー 么砲を移動しながら攻撃しており，構築した制御器は学習済みモデルの挙動を踏襲しきれていないことがわかった。これは複数の制御規則が該当した際の Action の決定方法や制御規則の作成方法などが原因として考えられる。制御器がより学習済みモデルの挙動を模倣できるよう，手法の改良を行う必要がある.

## 6 おわりに

本研究は，説明可能 $\mathrm{AI}$ のひとつのアプローチとして，学習済み深層強化学習モデルの入出力関係から制御規則を生成し，これを言語化することで学習済みモデルの内部挙動を説明することを試みた。併せて，説明された制御規則を用いて制御実験を行い，その制御精度を確認した．また，説明文の解釈可能性を向上させるため，生成した制御規則の要約も行った。

言語化された制御規則を用いて制御実験を行った結果，提案した手法で構築された制御器は，学習済みモデルと同等のレベルの frame 数まで生存することに成功した。報酬は学習済みモデルと比較すると低いものの，複数のインベーダーを倒して報酬を獲得することができた。また，説明文の解釈可能性を向上させるための要約をした制御規則を用いて制御実験を行った結果，要約する前の規則を使用した制御器と比較すると不安定な制御となるものの，概ね同等の制御精度で制御を行うことができた。

今後の課題として，制御器の制御精度をより向上させることと，ゲームに限らない入力情報が画像である様々な制御対象に対して使用できる制御器の構築手法となるように改良を進める。

## 謝辞

本研究の一部をJSPS 二国間共同研究 （JPJSBP120213504）からの支援を受けました.ここに深謝いたします。

## 参考文献

[1] Sherin Mary Mathews. Explainable artificial intelligence applications in nlp, biomedical, and malware classification: A literature review. pp. 1269-1292, 2019.

[2] A. Adadi and M. Berrada. Peeking inside the black-box: A survey on explainable artificial intelligence (xai). IEEE Access, Vol. 6, pp. 52138-52160, 2018.

[3] Leilani H. Gilpin, David Bau, Ben Z. Yuan, Ayesha Bajwa, Michael A. Specter, and Lalana Kagal. Explaining explanations: An approach to evaluating interpretability of machine learning. CoRR, Vol. abs/1806.00069, , 2018.

[4] Jan Ruben Zilke, Eneldo Loza Mencía, and Frederik Janssen. Deepred-rule extraction from deep neural networks. In International Conference on Discovery Science, pp. 457-473. Springer, 2016.

[5] 姜根澤, 菅野道夫. ファジィモデリング. 計測自動制御学会論文集, Vol. 23, No. 6, pp. 650-652, 1987.

[6] Samuel Greydanus, Anurag Koul, Jonathan Dodge, and Alan Fern. Visualizing and understanding atari agents. In International conference on machine learning, pp. 1792-1801. PMLR, 2018.

[7] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. arXiv preprint arXiv:1312.6034, 2013.

[8] Danijar Hafner, Timothy P Lillicrap, Mohammad Norouzi, and Jimmy Ba. Mastering atari with discrete world models. In International Conference on Learning Representations, 2021.

[9] Volodymyr Mnih, Adria Puigdomenech Badia, Mehdi Mirza, Alex Graves, Timothy Lillicrap, Tim Harley, David Silver, and Koray Kavukcuoglu. Asynchronous methods for deep reinforcement learning. In International conference on machine learning, pp. 1928-1937. PMLR, 2016.

## 付録

ここでは，要約した制御規則を使用した制御実験時の制御の様子を紹介する。具体的には，ある frame における入力画像と，その frame において出力された「入力画像に対してどの Action を決定したのか」を説明する文章を例示する。

例 1 :

入力画像：

言語化された制御規則：

ビーム砲の右上の高いところにインベーダー単数があるとき， Action RIGHT FIRE をとる.

例 2：

入力画像：

例 3 :

入力画像：

言語化された制御規則 :

ビーム砲の右上の高いところのところにインベー ダー複数があるかつ真上の低いのところにビーム砲と安全地帯があるとき，Action RIGHT FIRE をとる.

## 例 4 :

入力画像：

言語化された制御規則 :

ビーム砲の右上の高いのところにインベーダー複数があるかつ右上の低いのところに安全地帯があるとき，Action FIRE をとる.

言語化された制御規則：

ビーム砲の右上の低いのところにインベーダー複

数があるとき，Action RIGHT FIREをとる.


# 構文解析と画像生成の統合による機能語の言語理解

山木良輔 ${ }^{1}$ 谷口忠大 ${ }^{1}$ 持橋大地 ${ }^{2}$
1 立命館大学 2 統計数理研究所
\{yamaki.ryosuke, taniguchi\}@em.ci.ritsumei.ac.jp daichi@ism.ac.jp
}

"A ball next to a box"

図 1: Stable Diffusion が生成した画像の例.
## 概要

近年の大規模言語モデルと拡散モデルに基づくテキスト画像生成モデルは高度な画像生成を実現している一方で，前置詞などの機能語に関しては，それらの意味を正しく捉えられていないことが指摘されている [1]. 本研究ではこの問題に対して，CCGに基づく構文解析モデルとテキスト画像生成モデルを統合することで，テキスト中の物体同士の関係性を明示的に捉えた画像生成を可能にし，機能語のような文法的関係を正しく捉える言語理解を実現する。

## 1 はじめに

自然言語における機能語と実世界情報の対応関係を理解可能な人工知能の実現は，人工知能の実世界応用において重要な課題である. 本研究では，構文解析とテキスト画像生成モデルを統合し，機能語が持つ言語情報を画像情報として表出させることで，実世界情報と紐づいた機能語の言語理解の実現を目指す.

近年の大規模言語モデルと拡散モデルに基づくテキスト画像生成モデルは高度な画像生成を実現している $[2,3,4]$. 一方で言語理解の観点からは，“in” “on”などの文法的機能に関しては，その意味を正しく捉えられていないことが指摘されている [1]. 例えば, 図 1 に示すように, Stable Diffusion [4] は "ball” や“box”といった内容語に関しては，これらの物体が出現する画像を生成している一方で, “in”や“next to” といった異なる前置詞 (機能語) に関しては，どちらも “in” の意味に対応する画像を生成しており， これらの意味を捉えられていない。

実世界上において，自然言語を用いた人間とのコ
ミュニケーションが期待される人工知能は，このような機能語に関してもその意味を理解可能であることが望ましい [5]. 例えば, “Place a ball next to a box." のような指示をロボットに与えたときに，ゴール状態として図 1 の右側の画像をロボットが想起してしまうと，適切な行動を期待することはできない。

そこで，本研究ではこのような機能語の言語理解を実現するための方法として，自然言語の統語的情報をテキスト画像生成モデルに取り入れる手法を提案する。具体的には，組み合わせ範疇文法 (Combinatory Categorial Grammar: CCG) [6] に基づく構文解析モデルである Holographic CCG (Hol-CCG) [7] をテキスト画像生成モデルにおけるテキストエンコーダとして採用し, Hol-CCG が出力する統語的及び意味的情報を含んだ単語・句・文の分散表現を画像生成に活用する。これにより，機能語が示す文中の物体同士の関係性を画像情報と対応付けることが可能となり，結果的に機能語の言語理解が可能になると考える.

実験より，テキストから得られる句の分散表現・統語的情報をテキスト画像生成に活用することの有効性を示唆する結果が得られた．なお，後述の実験では機能語が示す物体同士の位置関係に主眼を置いているため, 生成画像の写実性は本研究の論点から外れていることに注意されたい.

## 2 関連研究

## 2.1 Hol-CCG

本研究では，テキスト画像生成モデルにおけるテキストエンコーダとして筆者らが以前に提案した CCG に基づく構文解析モデルである, Hol-CCG [7] を使用する．Hol-CCG は潜在空間上での単語及び句の分散表現同士の再帰的合成によって，それらの間に存在する階層関係及び依存関係を明示的に考慮した分散表現を計算することが可能であり，機能語が表現する内容語同士の関係性を画像生成に反映す

図 2: Hol-CCG のモデル概要図.

るという本研究の目的に適した特性を有している。 Hol-CCG はテキスト画像生成モデルに与えられた入力文の構文構造を解析し，それに応じた単語・句・文の分散表現を出力する. そして，これらの分散表現を画像生成の際の言語特徴量として用いる.

Hol-CCG のモデル概要を図 2 に示す. Hol-CCG では，まず入力文を RoBERTa [8] などの Masked Language Model に通すことで, 文中の各単語の分散表現を得る。そして，得られた単語分散表現を巡回相関 [9] によって再帰的に合成することによって，句および文の分散表現を計算する. 巡回相関の演算は次式で定義される。

$
[\mathbf{c}]_{k}=[\mathbf{a} \star \mathbf{b}]_{k}=\sum_{i=0}^{d-1} a_{i} b_{(k+i)} \bmod d
$

ここで，太は巡回相関の演算子，a, $\mathbf{b}$ は合成前の分散表現，c は合成後の分散表現である。例えば，図 2 中の例の場合，最終的な文の分散表現 $\mathbf{v}_{0: 5}$ は次のような再帰的な演算によって計算される.

$
\mathbf{v}_{0: 5}=\left(\mathbf{v}_{0: 1} \star \mathbf{v}_{1: 2}\right) \star\left(\mathbf{v}_{2: 3} \star\left(\mathbf{v}_{3: 4} \star \mathbf{v}_{4: 5}\right)\right)
$

また，分散表現を合成する過程において，Spanbased Parsing [10] に基づく句構造解析アルゴリズムによって，入力文が持つ尤もらしい句構造を探索する.これによって，入力文が持つ構文的曖昧性を解消しつつ，文を構成する単語・句・文の意味的・統語的な情報を含んだ分散表現を構成することができる. Hol-CCG では分散表現を再帰的に合成する演算自身には学習が必要となるパラメータが存在しないことが特徴であり, 本モデルは大規模かつ複雑なデータセットに対しても適用可能である.

## 2.2 AttnGAN

本研究では，テキスト画像生成モデルとして Attentional GAN (AttnGAN) [11]を使用する。AttnGAN は Attention 機構によって入力文中の各単語の情報を画像生成に取り込むモデルである。また，Deep
Attentional Multimodal Similarity Model (DAMSM) モジュールにおいて，テキストと画像間での対応関係を評価することで，入力テキストに対して意味的に合致するような画像を生成する。

## 3 提案手法

## 3.1 手法概要:Hol-CCG と AttnGAN の統合

本研究では，AttnGAN のテキストエンコーダとし

て Hol-CCG を用いることで，テキスト画像生成に統語的情報を取り入れる手法を提案する．提案手法の概略を図 3 に示す。

まず，Hol-CCG が入力文を構文解析することによって，単語・句・文の統語的・意味的な情報を含む分散表現を出力する。そして，AttnGAN はこれらの分散表現を言語特徴量として画像を生成する。より具体的には, GAN の隠れ層の状態を更新する際に単語及び句の分散表現との間での Attention の計算を行う。ここで，単語の分散表現のみではなく，句の分散表現も取り入れていることが本手法の重要箇所であり，これによって，複数の単語間に存在する階層的な依存関係の情報を画像生成過程に取り込む. さらに，元々の AttnGAN と同様に，最終的に生成された画像は DAMSM モジュールにおいてテキストとの意味的な対応関係が評価される. この評価過程においても，単語・文の分散表現に加えて句の分散表現が言語特徴量として用いられる。

## 3.2 モデルの学習

本提案手法では, AttnGAN の生成器・識別器の学習に先立って，テキスト及び画像エンコーダの事前学習を行う.この事前学習の方法は基本的には AttnGAN を踏襲しており，統語的情報及び句の分散表現を取り込めるように拡張を行った.まず，元々の AttnGAN における DAMSM モジュールの学習に関する損失関数 $\mathscr{L}_{D A M S M}$ を句の表現が取り込めるものに拡張した方法について説明する。

$
\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {phrase }}+\mathscr{L}_{\text {sentence }}
$

上式における $\mathscr{L}_{\text {phrase }}$ は句の分散表現を DAMSM モジュールに取り込むために，筆者らが新たに導入した項である. ここで， $\mathscr{L}_{D A M S M}$ を構成する各項はそれぞれ，単語・句・文の分散表現と画像の特徴量を用いて，テキストと画像間での対応関係を評価するためのものである．例えば， $M$ 個の画像情報とテキスト情報のペア $\left.\{\left(Q_{i}, D_{i}\right)\right.\}_{i=1}^{M}$ に関して， $\mathscr{L}_{\text {word }}$ は次

図 3: 提案手法概略図 (AttnGAN の元論文 [11] 中のモデル概略図におけるテキストエンコーダ部分を Hol-CCG による構文解析に置換).

の通りに定義される。

$
\mathscr{L}_{\text {word }}=-\sum_{i=1}^{M}\left.\{\log P\left(Q_{i} \mid D_{i}\right)+\log P\left(D_{i} \mid Q_{i}\right)\right.\}
$

なお, $P\left(Q_{i} \mid D_{i}\right), P\left(D_{i} \mid Q_{i}\right)$ を計算する過程に関しては本稿では割愛するが，詳細は AttnGAN の元論文 [11]を参照されたい。また， $\mathscr{L}_{\text {phrase }}, \mathscr{L}_{\text {sentence }}$ の計算過程は $\mathscr{L}_{\text {word }}$ と同様である.

次に，統語的情報を取り入れるために行った拡張に関して説明する. AttnGAN が画像生成に用いる単語・句・文の特徵量に統語的情報を取り入れるにあたり, 本提案手法では CCG カテゴリの情報を利用する. CCG カテゴリは構文解析の結果として文中の単語や句に対して割り当てられるものであり，多くの統語的情報を含んでいる. そのため，テキストエンコーダの事前学習において，テキストエンコー ダが出力する単語・句・文の分散表現から，それらに対応する CCG カテゴリが正しく予測されるような損失関数を定義することで，分散表現中に統語的情報が取り込まれるようにする。具体的には，次のような $\mathscr{L}_{\text {syntax }}$ を定義する。

$
\mathscr{L}_{\text {syntax }}=\mathscr{L}_{\text {word-syn }}+\mathscr{L}_{\text {phrase-syn }}+\mathscr{L}_{\text {span-syn }}
$

ここで， $\mathscr{L}_{\text {word-syn }}, \mathscr{L}_{\text {phrase-syn }}$ はそれぞれ単語・句に対する CCG カテゴリの割り当て誤差, $\mathscr{L}_{\text {span-syn }}$ は特定の区間に含まれる単語列が句を構成するか否かの判別誤差である。詳細に関しては Hol-CCG [7] のモデル学習方法を参照されたい.

上記の $\mathscr{L}_{\text {DAMSM }}$ と $\mathscr{L}_{\text {syntax }}$ の合計をエンコーダの事前学習の損失関数 $\mathscr{L}_{\text {pretrain }}$ とする.

$
\mathscr{L}_{\text {pretrain }}=\mathscr{L}_{\text {DAMSM }}+\mathscr{L}_{\text {syntax }}
$

また, エンコーダの学習完了後に行われる GAN の生成器と識別器の敵対的学習に関しては元々の AttnGAN と同一であるため, 本稿では説明を割愛す
る. 詳細に関しては AttnGAN の元論文 [11]を参照されたい.

## 4 実験

## 4.1 データセット

本研究では，2つの性質の異なるデータセットを用いて実験を行った.

coco テキスト画像生成分野で一般的に用いられている Common Objects in Context (COCO [12])を客観的な評価・比較のために用いた.

CLEVR 本研究では、AttnGANを画像生成モデルとして採用したが、 $\operatorname{COCO}$ (日常生活のあらゆる場面の画像を含む) の画像を高品質に生成することが難しいことから、機能語の言語理解に関する主観的な評価を行うには不適切であると考えた。 そのため、本研究では Compositional Language and Elementary Visual Reasoning (CLEVR [13]) データセッ卜を用い、3 個以下の物体を含む画像についてアノテーション情報から自動的にキャプションを生成し，実験に使用した.

## 4.2 ベースライン手法

ベースライン 1 AttnGAN のテキストエンコーダに RoBERTa [8]を用いたモデルを，提案手法において統語的情報が付与されることの有効性を検証するための比較対象として用いる. このモデルではテキスト入力に対して RoBERTa が出力する [CLS] トークンと各サブワー ドの分散表現を言語特徴量として AttnGAN に与え画像を生成する. 事前学習の損失関数は $\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {sentence }}, \mathscr{L}_{\text {pretrain }}=\mathscr{L}_{\text {DAMSM }}$ となる.
表 1: COCO データセットにおける客観評価の結果.

ベースライン 2 提案手法において句の分散表現を画像生成に用いないモデルを 2 つ目のベースライン手法とする. このモデルとの比較によって，提案手法において句の分散表現を画像生成に取り入れることの有効性を検証する．事前学習の損失関数は $\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {sentence }}, \mathscr{L}_{\text {syntax }}=\mathscr{L}_{\text {word-syn }}$ となる.

## 4.3 評価方法

客観評価 Fréchet Inception Distance (FID ${ }^{1)}$ ) と Rprecision (R-prec ${ }^{2}$ ) を評価指標として用いた。

主観評価 16 名の実験参加者に各手法によって生成された 20 組の画像を提示し，各実験参加者はテキストが示す物体同士の位置関係との合致度が最も高い画像を選択する. そして各手法によって生成された画像が選択された割合を比較した。

## 5 結果・考察

客観評価客観評価の結果・比較を表 1 に示す。 なお，VICTR [14] は AttnGAN のテキストエンコー ダ部分にシーングラフから抽出された物体同士の位置関係の情報を明示的に取り入れている点から，本研究との関連があるため比較手法として取り上げた. 結果より，提案手法は FID においてべースライン手法に比べて高い性能を発揮している. ただし， ベースライン手法 1 は他の 2 つのモデルに比べて著しく高い FID を示しているため, GAN の学習の不安定性のために学習に失敗している可能性があることには注意されたい。また，既存手法との FID における比較に関しては，提案手法は AttnGAN の性能を上回り，VICTR に競合する性能を発揮している。 なお，提案手法では GAN の学習段階における八イパーパラメータの設定を改善することで，さらなる性能向上が見込まれる，以上より，提案手法において句の分散表現及び統語的情報をテキスト画像生成に取り込むことの有効性が示唆される。

図 4: CLEVR における生成画像例 (入力テキス $r$ : "large yellow sphere is to the left front of small blue cylinder, and large yellow sphere is to the left behind of small green sphere”). 提案手法が “yellow sphere” と "blue cylinder” の位置関係 ("to the left front of") を最も正確に反映している.

主観評価各手法によって生成された画像が実験参加者によって選択された割合はそれぞれ，ベースライン $1: 39.1 \%$ ， ベースライン $2: 18.1 \%$ ，提案手法: 42.8\%となった. 実験参加者に提示した画像の一例を図 4 に示す. 図の例の様に，提案手法がベースライン手法に比べて，入力テキストが説明する物体同士の位置関係をより正確に捉えた画像を生成している例が複数見られた。一方で，ベースライン 1 と提案手法の画像が選択された割合が僅差であることを踏まえると，大域的には手法間の差は小さいと考えられ，提案手法の有効性は十分には示されていないと考える。そのため，入力するテキストの複雑度やGAN の学習におけるハイパーパラメータの設定などにさらなる改良が必要であると考えている。なお， ベースライン 2 の画像が選択された割合は他の 2つの手法に比べて著しく低く，この手法においては GAN の学習に失敗している可能性があることには注意されたい。

## 6 おわりに

本研究では構文解析とテキスト画像生成モデルを統合することによって自然言語における機能語の言語理解を実現するための手法を提案した. 入力テキストに対して構文解析モデルが出力する統語的・意味的情報を含んだ単語や句の分散表現を画像生成に活用することで，機能語が示す物体同士の関係性を画像情報と対応付けた画像の生成に取り組んだ。実験より，提案手法の有効性を示唆する客観的な結果が得られた。

今後の展望としては，画像生成部分を Stable Diffusion [4] などの拡散モデルベースのものに置換し，より高品質な画像の生成を可能にすることや，物体同士の位置関係に関する表現以外の前置詞・機能語に関して，より詳細な実験・評価を行うことなどが挙げられる.

## 謝辞

本研究は，JST，ムーンショット型研究開発事業, JPMJMS2033 の支援を受けたものです.

## 参考文献

[1] Colin Conwell and Tomer Ullman. Testing relational understanding in text-guided image generation. arXiv preprint arXiv:2208.00005, 2022.

[2] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi, Rapha Gontijo Lopes, et al. Photorealistic text-to-image diffusion models with deep language understanding. arXiv preprint arXiv:2205.11487, 2022.

[3] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022.

[4] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[5] Amir Aly, Tadahiro Taniguchi, and Daichi Mochihashi. A bayesian approach to phrase understanding through crosssituational learning. In International Workshop on Visually Grounded Interaction and Language (ViGIL), in Conjunction with the 32nd Conference on Neural Information Processing Systems (NeurIPS), 2018., 2018.

[6] Mark Steedman. The Syntactic Process, Vol. 24. MIT press Cambridge, MA, 2000.

[7] 山木良輔, 谷口忠大, 持橋大地. Holographic Embeddings による CCG 構文解析. 言語処理学会第 28 回年次大会 (NLP2022), 2022.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[9] Tony A Plate. Holographic reduced representations. IEEE Transactions on Neural networks, Vol. 6, No. 3, pp. 623641, 1995 .

[10] Mitchell Stern, Jacob Andreas, and Dan Klein. A minimal span-based neural constituency parser. arXiv preprint arXiv:1705.03919, 2017.

[11] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1316-1324, 2018.

[12] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.
[13] Justin Johnson, Bharath Hariharan, Laurens Van Der Maaten, Li Fei-Fei, C Lawrence Zitnick, and Ross Girshick. Clevr: A diagnostic dataset for compositional language and elementary visual reasoning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2901-2910, 2017.

[14] Caren Han, Siqu Long, Siwen Luo, Kunze Wang, and Josiah Poon. Victr: Visual information captured text representation for text-to-vision multimodal tasks. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3107-3117, 2020.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# QulC-360： $360^{\circ$ 画像に対する クエリ指向画像説明文生成のためのデータセット構築
}

前田航希 1,3 栗田修平 1 宮西大樹 2,1
1 理化学研究所 AIP, ${ }^{2}$ 国際電気通信基礎技術研究所 (ATR), ${ }^{3}$ 東京工業大学
\{koki.maeda, shuhei.kurita\}@riken.jp, miyanishi@atr.jp

## 概要

$360^{\circ}$ 画像は一般的な画像と比較して，撮影者による情報の取捨選択が行われないため，多くのコンテクストを同時に含む．既存の画像説明文生成では， コンテクストを画像情報のみから読み取るが， $360^{\circ}$画像に対しては，画像に加えて補助的な情報を付加することで，記述するコンテクストを指定することが必要になる。本研究では，画像に加えて言語情報 （クエリ）を与えることで説明文生成を制御するクエリ指向説明文生成を提案し，そのためのデータセットとして 5,800 枚の $360^{\circ}$ 画像と 22,956 文の説明文からなるQuIC-360 を構築した. QuIC-360による再学習で， $360^{\circ}$ 画像に対してクエリを用いることで説明文生成の制御性・多様性が高まることが確認された。

## 1 はじめに

画像説明文生成は，画像に含まれる内容を自然言語で自動的に記述する課題である [1]. 近年の画像説明文生成では，Attention 機構を導入するなどコンテクスト，すなわち画像の中で記述されるべき特徴への注目を行う手法が提案されてきた [2]. Cornia ら [3] は画像の注目すべき領域の集合や順序を補助的な情報として与えることで生成される説明文を制御することを提案している。これまでの画像説明文生成では，主にモデル作成側の設計により画像情報からコンテクストへの注目が行われている. Microsoft COCO Captions [4] などの既存のデー タセットに含まれる画像では，撮影時に視野角の制約から対象の選択が行われている。撮影された画像のコンテクストは限定的で，大きく異なるコンテクストが複数含まれることは想定されてこなかった。

一方で，全方位カメラによって撮影された $360^{\circ}$画像では，通常画像にある視野角の制約がなく，対象物の選択が行われないため撮影された情景（シー ン）全方向への情報を含む． $360^{\circ}$ 画像を利用したシーンからの説明文生成は，ライブカメラや監視カメラといったシーンカメラを用いたテキスト実況や，自動運転車や自動配達ロボット等に付属したカメラが撮影した画像を用いたテキスト伝達 [5] などに応用できる. 画像の説明文生成で $360^{\circ}$ 画像の特性を活かすには，通常画像と比較して注目するコンテクストやユーザの需要に応じて説明文生成を制御することがより重要になる。

本研究では，画像に加えて単語や短いフレーズといった言語情報をクエリをとして入力することで説明文生成を制御するクエリ指向画像説明文生成を提案し，データセットとして QuIC-360 (Query-based Image Captioning for multi-context $360^{\circ}$ images) を構築した. 図 1 に課題の概要を示す. 天気や花壇，周囲の往来など複数のコンテクストを持つ画像に対して，注目する対象に応じて異なる画像説明文が記述されることが期待される。しかし，一般的な説明文生成では，画像全体を言及するが目的に合わせた詳細な記述が行われない。提案課題は「人々」や「風景」といった具体的な記述対象を事前に与え，より具体的な説明文を作成することを目的としている。

我々は 5,800 枚の $360^{\circ}$ 画像に対して，クエリに基づいた 22,956 文の説明文を収集した．既存の最先端の画像説明文生成モデルを QuIC-360 を用いて再学習させることで，(i) 説明文生成の制御性が高くなること，また，(ii) 生成された説明文はより多様であったことが確認された. クエリ指向説明文生成は、既存手法が抽象的な説明文を生成する問題を解決できる。構築したデータセットは一般に公開されている1).

図 1 クエリ指向画像説明文生成 (QuIC) の概要.

## 2 関連研究

## 2.1 画像説明文生成の制御

説明文生成も他の多くの言語課題と同じように， Attention 機構の利用によって研究が大きく進展した [2]. モデルの進歩につれて，ユーザが利用する用途や文脈によって，同じ画像について異なる説明文が求められるようになった。近年では与えられた画像に記述される対象の優先順位を付与して説明文生成を制御する研究が行われている. 付与された情報は，生成過程でモデルに補助となる特徴として利用される. 補助的な情報の例として，画像に付与された領域 $[3,6]$ やマウスの軌跡 [7]，抽象シーングラフ [8] などがある.

QuIC も画像の補助的な情報として言語情報を付与するという点で制御可能な説明文生成手法の一つである。しかしながら，QuIC は画像に関する情報ではなく，自然言語を用いた言語情報をシグナルとして与える点で既存の研究と異なる.

## 2.2 視覚的質問応答

視覚的質問応答は，画像と質問を入力として，それに対する回答を自動的に生成する課題である [9].画像の局所的な部分に着目し適切な記述を行うという点では本研究に類似しており， $360^{\circ}$ 画像を用いた研究も行われている $[10,11]$. しかしながら，視覚的質問応答は質問に対応する回答の長さが短い傾向があり [12], 実際に視覚的質問応答は事前に定められた限られた回答語彙の中からの選択モデルとして動作させる事が多い. 本研究は, 視覚的質問応答における回答が限られていることを念頭に置き，単語
および数語の自然言語で与えられたクエリに応じて画像の説明文を制御する手法を提案する。

## $2.3360^{\circ$ 動画像データセット}

全方位カメラで撮影された動画像を収集したデー タセットは数多く構築されてきた $[13,14,15,16]$. しかし, 既存のデータセットは撮影環境が室内に限られたもの $[17,18]$ や，車載カメラや HMD によって撮影されたもの $[19,20,5,21]$ など画像の対象や環境に偏りがみられる. 本研究に近いデータセットとして, 60,000 枚以上の屋内・屋外で撮影された $360^{\circ}$画像からなる SUN360 [22] があるものの，現在では公開が停止されている 2$)$. 本研究では，新たにインターネット上から多様な画像を収集し, 画像の取得方法と付与された説明文を公開することでデータセットを一般に利用可能な状態とする.

## 3 QulC- $360^{\circ$ データセット}

## $3.1360^{\circ$ 画像の収集}

これまで作成されてきたデータセットは，そのシーンや目的に応じて画像のドメインを制限してきた. 一般的に，屋内画像は物体が密集しており，屋外画像は撮影者を中心とした特定の活動を捉えた画像が多く，物体は疎である [23]. しかし，どのシー ンにおいても全方位を撮影した画像について，コンテクストは一つに限られることは少ない。したがって，我々は撮影地点を区別せず画像を収集した。また画像の可用性を確保するために，これまで開発されてきたデータセットに含まれる 360 度画像を利用

2） 後述のように Refer $360^{\circ}$ として公開されている一部の画像以外は公開されておらず，著者はメールに反応しなかった。

することを避け，新たに画像を収集した，画像はインターネット上の画像投稿サイトの Flickr を用いて 12,930 枚の画像を収集した。

データセットの品質を高めるために，以下の手順で収集した画像をフィルタした. まず，画像の形式を統一するために正距円筒図法で保存されている画像以外を除去した．次に，同一地点での類似した画像を取り除くことを目的として同一ユーザの投稿時刻の差が 1 時間以内であるものを除去した. さらに，画像の多様性と可用性を最大化するために，同一ユーザの投稿が 100 枚以下となるようランダムに画像を破棄して，合計で 3,800 枚の画像を取得した.

また，補助的なデータセットとして Refer $360^{\circ}$ [24] に含まれる 2,000 枚の画像を利用した. 画像は現在では利用不可能となっている SUN360 ${ }^{\circ}$ [22] の一部である. 本研究ではこれらの画像と付与された説明文は全て追加の訓練データとして扱う.

## 3.2 説明文の付与

収集した画像に付与される説明文は，画像の特徴を捉えて詳細に記述されていることが望ましい。クエリは詳細な記述を行うための指針として重要である. 既存の画像の分類カテゴリはデータセットによって様々であり, 標準的な分類が存在しない.我々は実際に収集した画像を人手で確認し，画像を記述するためのクエリを 34 種類作成した.

収集した画像への説明文の付与のために, Amazon Mechanical Turk (MTurk)を用いて評価者を雇用した。評価者は異なる 3 つのクエリを選択し，そのクエリに関連する説明文を作成する ${ }^{3}$ ．単純な説明文を抑制するため，評価者に 8 語以上での回答を要求した. 不適切な回答を自動および人手で破棄し，合計 22,956 文の説明文を収集した。

## 3.3 統計量

QuIC-360 は 5,800 枚の画像に，34 個のクエリに関する 22,956 文の説明文を付与したデータセットである. 画像に対してそれぞれのクエリが選択された回数は表 1 の通りである. 訓練・検証・評価デー タの分割は表 2 に示すように行った。評価データについては画像・クエリの組に対して 4 件以上の説明文が付与されるようにした. 同一クエリに対する説明文数を増やすために，評価データの各画像は初め

3） Appendix Aにアノテーションに用いたページのスクリー ンショットを示す.

表 1 それぞれのクエリが画像に対して選択された回数.

表 2 QuIC-360におけるデータセット分割と統計量

の評価者が選択したクエリを指定して 2 人目以降の評価者に説明文を付与させた。

## 4 実験

## 4.1 実験設定

クエリ指向説明文生成は，画像に加えて言語情報としてクエリを入力とする．そのため，通常の説明文生成モデルと入力形式が異なり，全ての手法に対して即座に利用できない。そこで，検証を行うための説明文生成モデルとして説明文生成課題で最先端の性能を持つ OFA [25]を採用した。

OFA は Transformer をもとにしたエンコーダ・デコーダモデルであり，種々の言語および画像を用いた課題を統合した機構である。 OFA における説明文生成では，生成モデルへの入力として画像情報に加えて “What does this image describe?”というプロンプトを与える。提案手法ではプロンプトに追加する形でクエリを補助的な情報として与えた。具体的には，クエリが “location”であれば“What does this image describe on location?” とした. 公開されている事前学習済みモデルを利用した. ただし，利用したモデルは $360^{\circ}$ 画像を用いた大規模な事前学習を行っていないことは留意すべきである.

再学習による効果を検証するために，事前学習済みモデルに対して QuIC-360による (i) 再学習しない (None)，(ii) 再学習したがクエリを補助的な情報として与えない (FT w/o query), (iii) 再学習を行いク

表 3 QuIC-360 の評価データを用いた説明文生成性能の比較.

 \\
 \\
FT(w/ory)

表 4 QuIC-360を用いた再学習による出力結果の変化. 再学習前はクエリによらず同様の出力を行うが，再学習を行うことでクエリによって説明文生成を制御できる。

エリも与えた (FT w/ query)，の 3 つの条件について性能を比較した。 3.3 節で構築したデータセットの訓練/検証/評価データセットの分割を用いて，説明文に含まれる各単語に対する交差エントロピー誤差を損失関数として学習を行った。ハイパーパラメー タの設定は公開されている実装4)を利用した。

## 4.2 定量的評価

QuIC-360を用いた再学習によって，クエリを用いて生成される説明文を制御できるか検証した. また，比較対象とする 3 つの場合において推論時にクエリを与えるかどうかで性能が変わるか検証した。

評価指標として画像説明文生成で一般的な指標である BLEU [26], ROUGE [27], METEOR [28], CIDEr [29]，SPICE [30]を用いた. 加えて，多様な説明文生成が行われているかどうかを示す指標として，生成した文の平均単語数と語彙数を比較した.

実験結果を表 3 に示す. 全ての評価指標において，QuIC-360によるクエリ指向説明文生成課題での再学習を行った場合が最も高い性能を示した。また, 平均単語数や語彙数も増加することが確認された。一方で，推論時にクエリを与えない場合，提案手法は性能向上に寄与しないことがわかった.

以上から，QuIC-360を用いた再学習によって，説明文生成の制御性・多様性を高められることが確認された. しかしながら，人手で付与された説明文と比較して生成された説明文の語彙数は少なく，文長も短い. 人間のような説明文を生成することは現

時点では挑戦的な課題であるといえる.

## 4.3 定性的評価

クエリ指向説明文生成は一般的な説明文生成と異なり，同じ画像が入力されたとしてもクエリに応じて説明文を制御する必要がある。そこで， QuIC-360での再学習を行った場合とそうでない場合について，出力した説明文を比較した.

表 4 に示すように，一般的な説明文生成課題による再学習を行った場合，推論時にどのクエリを与えてもクエリを無視して同じ文を生成した。これは画像説明文生成において，コンテクストを画像情報のみから選択していることの証左である。提案手法では，クエリに応じて適切に出力が変化したことから，言語情報によってコンテクストの選択を行い，説明文の生成を制御できることが確認された。

## 5 おわりに

本研究では，クエリを用いて画像の説明文生成の制御を行う課題を提案し，360画像を利用したデー タセットとして QuIC-360 を構築した。複数のコンテクストを含む $360^{\circ}$ 画像に対して，ユーザが言語情報を補助として与え，より需要に即した説明文を生成するよう制御することを目的としている．実験では，QuIC-360 によって説明文生成モデルを訓練することで， $360^{\circ}$ 画像の説明文生成の制御性と多様性を高められることを定量的・定性的に確認した。今後の発展として，より大規模なデータセットの構築・ $360^{\circ}$ 画像に最適化した手法の作成などがある.

## 謝辞

本研究はJST さきがけ JPMJPR20C2，JSPS 科研費 22K17983，JSPS 科研費 JP20269633 の助成を受けたものです。

## 参考文献

[1] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In CVPR, pp. 3156-3164, 2015.

[2] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, pp. 2048-2057, 2015.

[3] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, Control and Tell: A Framework for Generating Controllable and Grounded Captions. In CVPR, 2019.

[4] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO captions: Data collection and evaluation server. arXiv:1504.00325, 2015.

[5] Y. Liao, J. Xie, and A. Geiger. Kitti-360: A novel dataset and benchmarks for urban scene understanding in 2d and $3 \mathrm{~d}$. TPAMI, 2021.

[6] Ali Furkan Biten, Lluís Gómez, Marçal Rusiñol, and Dimosthenis Karatzas. Good news, everyone! context driven entity-aware captioning for news images. In CVPR, pp. 12466-12475, 2019.

[7] Zihang Meng, Licheng Yu, Ning Zhang, Tamara L. Berg, Babak Damavandi, Vikas Singh, and Amy Bearman. Connecting what to say with where to look by modeling human attention traces. In CVPR, pp. 12679-12688, 2021.

[8] Shizhe Chen, Qin Jin, Peng Wang, and Qi Wu. Say as you wish: Fine-grained control of image caption generation with abstract scene graphs. In CVPR, pp. 9962-9971, 2020.

[9] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual Question Answering. In ICCV, 2015.

[10] Shih-Han Chou, Wei-Lun Chao, Wei-Sheng Lai, Min Sun, and Ming-Hsuan Yang. Visual question answering on $360^{\circ}$ images. In WACV, pp. 1596-1605, 2020.

[11] Heeseung Yun, Youngjae Yu, Wonsuk Yang, Kangil Lee, and Gunhee Kim. Pano-avqa: Grounded audio-visual question answering on $360^{\circ}$ videos. In ICCV, 2021.

[12] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A Shamma, et al. Visual genome: Connecting language and vision using crowdsourced dense image annotations. IJCV, Vol. 123, No. 1, pp. 32-73, 2017.

[13] Jianxiong Xiao, Krista A. Ehinger, Aude Oliva, and Antonio Torralba. Recognizing scene viewpoint using panoramic place representation. In CVPR, 2012.

[14] Yu-Chuan Su, Dinesh Jayaraman, and Kristen Grauman. Pano2vid: Automatic cinematography for watching 360 videos. In ACCV, 2016.

[15] Erik Wijmans and Yasutaka Furukawa. Exploiting 2d floorplan for building-scale panorama rgbd alignment. In CVPR, pp. 14271435, 2017.

[16] Hao Yang and Hui Zhang. Efficient 3d room shape recovery from a single panorama. In CVPR, 2016.

[17] Steve Cruz, Will Hutchcroft, Yuguang Li, Naji Khosravan, Ivaylo Boyadzhiev, and Sing Bing Kang. Zillow indoor dataset: Annotated floor plans with $360^{\circ}$ panoramas and $3 \mathrm{~d}$ room layouts. In CVPR, pp. 2133-2143, 2021.
[18] Shih-Han Chou, Cheng Sun, Wen-Yen Chang, Wan Ting Hsu, Min Sun, and Jianlong Fu. 360-indoor: Towards learning real-world objects in $360^{\circ}$ indoor equirectangular images. WACV, pp. 834842, 2019.

[19] Ahmed Rida Sekkat, Yohan Dupuis, Pascal Vasseur, and Paul Honeine. The omniscape dataset. In ICRA, pp. 1603-1608. IEEE, 2020.

[20] Senthil Yogamani, Ciaran Hughes, Jonathan Horgan, Ganesh Sistu, Padraig Varley, Derek O’Dea, Michal Uricar, Stefan Milz, Martin Simon, Karl Amende, Christian Witt, Hazem Rashed, Sumanth Chennupati, Sanjaya Nayak, Saquib Mansoor, Xavier Perrotton, and Patrick Perez. Woodscape: A multi-task, multi-camera fisheye dataset for autonomous driving. In ICCV, 2019.

[21] Stephan Fremerey, Ashutosh Singla, Kay Meseberg, and Alexander Raake. Avtrack360: An open dataset and software recording people's head rotations watching $360^{\circ}$ videos on an $\mathrm{hmd}$. In MMSys. ACM, p. 403-408, 2018.

[22] Jianxiong Xiao, Krista A. Ehinger, Aude Oliva, and Antonio Torralba. Recognizing scene viewpoint using panoramic place representation. In CVPR, pp. 2695-2702, 2012.

[23] Shih-Han Chou, Wei-Lun Chao, Wei-Sheng Lai, Min Sun, and Ming-Hsuan Yang. Visual question answering on $360^{\circ}$ images. In WACV, pp. 1596-1605, 2020.

[24] Volkan Cirik, Taylor Berg-Kirkpatrick, and Louis-Philippe Morency. Refer $360^{\circ}$ : A referring expression recognition dataset in $360^{\circ}$ images. In ACL, pp. 7189-7202, 2020.

[25] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In ICML, pp. 23318-23340, 2022.

[26] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[27] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

[28] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In WMT, pp. 376-380, 2014.

[29] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, pp. 4566-4575, 2015.

[30] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: semantic propositional image caption evaluation. In ECCV, pp. 382-398, 2016.

## A MTurk を用いた説明文の収集

(Optional) When you consider this I mage is in inpproprate for the

図 2 MTurkの作業画面のスクリーンショット。画像をドラッグすることでそれぞれの方向の歪みの無い画像を見ることができる.

図 3 作業者が説明文の付与にかかった時間の分布.

MTurk の作業者の雇用は，品質の担保のため，US 在住者のうち直近の課題承認率が $99 \%$ を回る評価者に限定して雇用した. 図 3 は作業者が説明文を付与するためにかかった実際の作業時間の分布を示す. 3 つの説明文を付与するのにかかった作業時間が 45 秒未満であるものは不適切とみなして自動的に除去した. そのうえで計測した作業時間の平均は 182 秒であり，時給が 10\$以上となるように報酬を支払った。


# Follow-up 質問による矛盾応答収集の提案

佐藤志貴 1 赤間怜奈 1,2 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{shiki.sato.d1, akama, jun. suzuki, kentaro.inui\}@tohoku.ac.jp

## 概要

対話応答生成システムによる矛盾応答の抑制を考えるうえで，矛盾応答データの不足がボトルネックとなっている. データ不足の原因に，矛盾の発生が入力に依存した低頻度なものであるために効率的な収集が困難であることが挙げられる。本研究では，矛盾応答を誘発する発話として Follow-up 質問に注目し，自動収集した Follow-up 質問を用いた矛盾応答収集の効率化を試みる。提案法により矛盾応答を効率的に収集できることを確認したうえで，実際に矛盾応答を大規模収集する. 収集した矛盾応答デー タの有用性を，矛盾検出器の精度改善を例に示す。

## 1 はじめに

近年のニューラル応答生成システム $[1,2,3]$ (システムと呼ぶ）は流暢性は高いが，意味的に不適切な応答を生成する場合があることが広く知られている [1]. 特に図 1 の $r_{2}$ のように過去の自身の発話と矛盾する応答（矛盾応答と呼ぶ）の生成は，一度でも発生すればシステムが内容を理解した対話をしていないという致命的な悪印象をユーザに与える深刻な問題である [4]. 矛盾応答の抑制は，ユーザと信頼関係を構築し共生していく対話システムの実現を目指すうえで中心的な課題の一つといえる.

先行研究で一定の効果が報告されている矛盾応答の抑制手法として, 矛盾検出器による矛盾応答候補の除去 $[5,4]$, 対照学習 $[6,7]$ がある. これらの手法では, 品質の高い矛盾応答データをいかに多く獲得できるかが性能の良し悪しを決める大きな要因となっている. しかし, 現状は品質の高い矛盾応答データの効率的な収集方法が確立されているとは言い難い. 特に，矛盾の発生が直前の相手発話（入力と呼ぶ）に依存することが示唆されている $[4,8]$ ものの，どのような大力に対し矛盾が発生する傾向にあるか十分研究されていない. 実際に，これまでの矛盾応答データの収集は，人手により作成した矛

図 $1 \mathrm{FQ}$ を用いた矛盾応答収集方法の概要.

盾応答に限られている [4]. 人手による矛盾応答は,実際のシステムの矛盾応答とは性質が異なる可能性が高く，大規模な作成が難しいなどの弱点もある.本研究では，システムがどのような入力に対し矛盾応答を生成しやすいかを考慮したシステムの矛盾応答の効率的な収集を考える. 具体的な取り組みとして，(1) 先行研究と本研究の分析に基づき，過去の発話に含まれる情報に関連する質問, Follow-up 質問（Follow-up Question (FQ) と呼ぶ）が矛盾応答を誘発しやすいという仮説を立てたうえで，FQの自動収集方法を提案する.(2) 自動収集した FQが矛盾を誘発する傾向にあることを確認した後，(3) FQを用いて図 1 の方法によりシステムの矛盾応答を大規模収集する. ${ }^{1)}(4)$ さらに，構築したデータセットの有用性を，矛盾検出器の精度改善を例に示す。

## 2 なぜ $F Q$ に注目するか

本研究では，矛盾を誘発する発話として Follow-up 質問に注目する. FQ は「対話相手が過去の発話で提示した任意の情報 $i$ に関連する質問」とする. 例えば，図 1 の橙色の質問は直前の相手発話の情報に対する $\mathrm{FQ}$ である．FQに注目する理由は二つある。

第一に，システムの矛盾応答は対話中の既出情報を再度言及する際に生じやすいことが知られている $[4,8]$. こうした状況は，既出情報に関連する質問

図 $2 \mathrm{DbRM}$ と IbBRでの $C$ に対する処理. $\mathrm{A}, \mathrm{B}$ は話者.

である $\mathrm{FQ} への$ 応答時に生じやすいと考えられる。

第二に，Nie ら [4] が小規模に収集したシステムの矛盾応答 382 個から無作為抽出した 50 個を分析したところ， $42 \%$ の矛盾応答が相手の $\mathrm{FQ}$ に対する応答だった. 矛盾応答を誘発した相手発話の種類の分布は $\mathrm{FQ}$ のみに偏ったロングテールとなったため, $\mathrm{FQ}$ は矛盾を引き出す代表的な発話といえる.

システムは $\mathrm{FQ}$ のみに対し矛盾応答を生成するわ

できるわけではない. しかし, 代表的な入力に注目し知見を蓄えることは第一歩として重要と考える。

## $3 F Q$ の自動収集

本研究では, $\mathrm{FQ}$ に対するシステム応答から矛盾応答を効率的に収集することを考える. 先行研究 [9] では教師あり学習により $\mathrm{FQ}$ を検出する方法が提案されたが，教師あり学習では検出可能な $\mathrm{FQ}$ が学習データに依存するという問題がある. 本研究では，学習を要さない $\mathrm{FQ}$ の自動収集方法を考える。

## 3.1 アイデア：応答生成システムの利用

$\mathrm{FQ}$ は過去の発話の情報 $i$ に関する質問であり， $i$ に対し質問 $q$ が $\mathrm{FQ}$ か判定するには, $i$ と $q$ の関連性を適切に捉える必要がある. ここで，近年の大規模ニューラル応答生成システムは入力との関連性が高い応答を生成可能であり [2], 発話間の関連性を適切に捉えることができると考えられる．以上から，大規模ニューラル応答生成システムにより $i$ と $q$ の関連性が強いと推測された場合， $q$ が $i$ に対する $\mathrm{FQ}$ である可能性は高いと考えられる。

## $3.2 \mathrm{FQ$ 収集のための指標}

ニューラル応答生成システムを用いて $q$ と $i$ の関連性を自動評価する指標を提案し，その値が高い $q$ を FQとして収集する. $q$ と $i$ の関連性を評価する指標として，異なる考え方に基づき，Decrease in probability by ReMoving information (DbRM) と Increase in probability by BRinging information closer (IbBR) $の$ 2 種類を提案する. 以下， $u_{i}$ のうち情報は疑問文以外に含まれると考え， $i$ は $u_{i}$ の疑問文以外の文， $q$ は $u_{q}$ の疑問文とする.また，隣接発話間距離を 1 とした $u_{i}$ と $u_{q}$ の発話間距離を $n$ とし, $n$ 発話前の $i$ に対する $\mathrm{FQ}$ を $\mathrm{FQ}_{-n}, n$ 発話前の $i$ に対する $q$ の DbRM とIbBRをそれぞれ $\mathrm{DbRM}_{-n}, \mathrm{IbBR}_{-n}$ とする.

DbRM． $q$ が $i$ に関連する場合，図 2 (a) のように $u_{q}$ 以前の対話の全発話 $C \ni u_{i}$ から $i$ を除去 ${ }^{2}$ した $C-i$ に対する $u_{q}$ の生成確率は, $P\left(u_{q} \mid C\right)$ より低いと考えられる。そのため，ニューラル応答生成システムで $P\left(u_{q} \mid C\right)$ と $P\left(u_{q} \mid C-i\right)$ を計算したとき，次の值は高くなると考えられる:

$
\operatorname{DbRM}(i, q, C)=\log \frac{P\left(u_{q} \mid C\right)}{P\left(u_{q} \mid C-i\right)}
$

IbBR. $q$ が $i$ に関連する場合，図 2 (b)のように $u_{q}$ と $u_{i}$ が挟む発話系列 $C^{\prime}$ を除去した $C-C^{\prime}$ に対する $u_{q}$ の生成確率は, $P\left(u_{q} \mid C\right)$ より高いと考えられる.そのため，次の值は高くなると考えられる：

$
\operatorname{IbBR}(i, q, C)=\log \frac{P\left(u_{q} \mid C-C^{\prime}\right)}{P\left(u_{q} \mid C\right)}
$

DbRM と IbBRによる FQ 収集. DbRM と IbBR は算出においてそれぞれ制限がある。DbRM につい $\tau,|C|$ をニューラル応答生成システムに入力可能なトークン数に抑えるために $C$ の冒頭部分を省略するとき, $i$ も省略されるほど $n$ が大きいと,$C-i=C$ となり値が計算できない. IbBR について， $C^{\prime} \neq \emptyset$ を前提とした指標であるため $n=1$ の場合は計算できない. そこで本研究では, $\mathrm{FQ}_{-1}$ は DbRM が, $\mathrm{FQ}_{-n}(n>1)$ は IbBR が高い質問を収集する。

## 3.3 DbRM と IbBR の算出結果の定性分析

表 1 に，4節の検証にて前述の方法により DbRM が計算された質問の例を示す. ${ }^{3)}$ DbRM および IbBR の上位下位の例を観察したところ，同表のように指標の値が高い/低い例では $u_{i}$ 中の情報との関連性が高い/低い質問が $u_{q}$ に含まれる傾向を確認した．以上から，前述の方法により $\mathrm{FQ}$ を定の精度で自動収集できると考えられる.ここで，本研究の目的は

2）疑問文以外を除去し，空なら $u_{i}$ を “_SILENCE_-”に置換.

3）両指標の分布を付録 A に，IbBR の例を付録 B に示す.
表 $1 \mathrm{DbRM}_{-1}$ 計算例. I の $u_{q}$ 太字部は $u_{i}$ 太字部に関係. I. DbRM $_{-1}$ が高い質問の例 $\left(\mathrm{DbRM}_{-1}=53.6\right)$

 \\

矛盾応答の効率的な収集であり，収集した質問がシステムの矛盾を誘発するかが重要となる。そのため, FQ 自動収集自体の精度算出は行わない.

## 4 矛盾応答収集方法の効果検証

自動収集した $\mathrm{FQ}$ に対し，実際にシステムが矛盾応答を生成しやすい傾向にあるかを検証する．具体的には，まず DbRM や IbBR が高い $\left(i, q, C \ni u_{i}\right)$ の三つ組（入力対話と呼ぶ）を収集する。次に，入力対話に対するシステムの応答を収集する. 最後に， システム応答が入力対話との矛盾を含むかを確認していき，矛盾応答が生成される頻度を求める. 無作為抽出した入力対話についても同様の頻度を求め比較することで，DbRM やIbBR が高い入力対話において矛盾応答の発生頻度が高くなるかを確認する。

## 4.1 検証における設定

入力対話の収集. 対話コーパスから最終発話が質問（ $q$ とする）を含むような $n$ 発話以上の発話系列を切り出し作成した集合 (入力対話集合と呼ぶ）のうち，DbRM かIbBRが高いものを収集する. $n=1, n>1$ 両方の場合の検証をするため, $\mathrm{DbRM}_{-1}, \mathrm{IbBR}_{-3}$ それぞれ上位 100 個の入力対話を収集する. また，入力対話集合から無作為に 100 個表 2 入力対話と矛盾応答の生成頻度の関係.

取り出したものを比較対象とする. 入力対話集合は, Multi-Session Chat [10]（MSC と呼ぶ）から作成する. $\mathrm{FQ}_{-1}, \mathrm{FQ}_{-3}$ 収集のための入力対話集合の対話数はぞれぞれ $59,234 ， 44,041$ となった. DbRM と IbBR は，高性能であり応答生成システムの性能評価 [11] にも使われる Blender-1B [1] により算出する.

システム応答の収集. $u_{q}$ に対する応答生成には，近年の高性能な大規模ニューラル応答生成システムである DialoGPT-Medium [2] (DG), PLATO-2 [12] (P2), Blender-3B (B3), PLATO-XL [13] (PX) を用いる. 各入力対話に対し, 4 個の応答生成用システムにより 2 個ずつ ${ }^{4}$ 計 8 個の応答を生成させる.

矛盾頻度の計算. 各入力対話に対する 8 個の応答が入力対話と矛盾するかを人手で確認する．システム応答 1 個あたり 5 人のクラウドワーカー5) が矛盾の有無を 5 段階評価し， 3 人以上が矛盾を含むと判断した場合6)矛盾応答とする. 8 個のシステム応答のうち 1 個以上が矛盾応答と判定された場合，その入力対話は矛盾を誘発したとみなす.

## 4.2 検証結果

表 2 に，収集した入力対話のうち，矛盾応答を誘発したものの数を示す. 同表より, $\mathrm{FQ}_{-1}, \mathrm{FQ}_{-3}$ いずれについても，無作為抽出した入力対話に比べ， DbRM や IbBR が高い入力対話に対して応答を生成させたときに矛盾応答の生成頻度が高くなった. 入力対話を無作為抽出した場合も一定の割合の質問が矛盾応答を誘発した理由として，入力対話の収集元のMSC では，一つの話題に対し深堀りした議論をする傾向にあるため，コーパス中の質問に占める FQ の割合が比較的高いことが考えられる。

## 5 データセットの構築

前節より，DbRM や IbBR が高い入力対話に対しシステムが高頻度で矛盾応答を生成することを確認した.これら入力対話に対しシステムに生成させた

4） $\mathrm{p}=0.5$ の top-p sampling を 100 回実施し，尤度上位 2 候補を抽出する。

5) https://www.mturk.com/

6）評価基準は 1 が「明らかに矛盾」，5が「明らかに無矛盾」 で，1と2は矛盾，4と 5 は無矛盾とした. コストを考慮して, $u_{i}$ 以降の発話と応答の矛盾についてのみ評価する。
表 3 構築したデータセットの統計情報.

応答から，人手評価により矛盾応答を検出することで，システムの矛盾応答を大規模収集する。

## 5.1 収集設定

入力対話集合の作成元となる対話コーパスは 4 節と同様に MSC を用いる. 収集に使う入力対話は $\mathrm{FQ}_{-1}$ および $\mathrm{FQ}_{-3}$ とし, 大力対話集合から $\mathrm{DbRM}_{-1}$, $\mathrm{IbBR}_{-3}$ が高い上位 500 個ずつの入力対話をデータセット構築に用いる. DbRM，IbBR の計算とシステム応答の収集は 4 節と同じ設定を用いる. ${ }^{7)}$ 各システム応答に対し 3 人のクラウドワーカーによって 4 節と同様の人手評価を行い, 1 人以上が矛盾, かつ 1 人以下が無矛盾と判断した応答を矛盾応答として収集する. また， 3 人のクラウドワーカー全員が無矛盾と評価した応答は無矛盾応答として収集する。

## 5.2 収集結果

表 3 に，構築したデータセットの統計情報を示す. 実際にシステムが生成した矛盾応答を収集したものとしては最大規模のデータセットとなる. 付録 Cにデータセットの例を示す.

## 6 実験：データセットの活用例

矛盾応答の抑制における本データセットの有用性を示す. 例として, 本データセットを用いた追加学習による矛盾検出器の精度の改善を試みる。

## 6.1 実験設定

学習する矛盾検出器. Nie ら [4] が構築した矛盾検出器を, 本データセットにより追加学習する. ${ }^{8)} \mathrm{Nie}$ らは既存の対話コーパス中の対話に続く矛盾応答を人間に書かせ収集したうえで，与えられた 2 つの発話同士が矛盾するかの 2 值分類を行うよう RoBERTa [14]をファインチューニングした. 実際にシステムが生成する矛盾応答を検出する際には，本データセットのようにシステムの矛盾応答も学習に用いることで性能が向上すると考えられる.

表 4 ターゲットシステムごとの矛盾応答検出の正解率.括弧内の数字は評価におけるシステム応答の数.

データセット分割. 本データセットを入力対話によって学習データセット，テストデータセットに $8: 2$ で分割する. 本データセットには各入力対話に対し最大 4 種類のシステムの応答が存在する. そこで， 4 個のうち 3 個のシステムの学習データセット中の応答を学習データとしたとき, 残りの 1 個のシステム（ターゲットシステムと呼ぶ）のテストデー タセット中の各応答9) が矛盾を含むかどうかの 2 值分類を矛盾検出器に行わせる. ターゲットシステムを変えて，これを 4 回実施する．そのため，矛盾分類器は未知の入力対話に対する未知のシステムの応答に含まれる矛盾を検出する必要がある.

## 6.2 実験結果

表 4 に, 矛盾検出器による 2 值分類の正解率を示す. 追加学習前の矛盾検出器について, Nie ら [4] は人間が作成した矛盾応答を 2 値分類させた際の正解率が $93.2 \%$ と報告したが，同表より実際にシステムが生成した矛盾応答については正解率が $60 \%$ に満たない場合があることがわかる. 一方, 本研究で構築したデータセットを用いた追加学習によって, 未知の入力対話や未知のシステムの応答についても 2 値分類の正解率が向上した.

## 7 おわりに

本研究では，矛盾応答生成の抑制において必要な矛盾応答の効率的な収集に取り組んだ. 特に， $\mathrm{FQ}$ がシステムの矛盾を引き出す代表的な発話であるという分析から，自動収集した $\mathrm{FQ}$ を用いた矛盾応答の収集を提案した. 提案法で効率的に矛盾応答を収集できることを確認したうえで， $\mathrm{FQ}$ に対するシステムの矛盾応答を大規模収集し, 矛盾検出器の性能向上を例にデータセットの有用性を示した.

今後の課題として, データセットのさらなる大規模化が挙げられる. また, 本研究の分析により $\mathrm{FQ}$ が矛盾応答を引き出す代表的な発話であることがわかったものの, FQ 以外の多様な発話に対するシステムの矛盾応答の収集にも取り組む予定である.

## 謝辞

本研究は，JSPS 科研費 JP22K17943, JP21J22383， JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものです.また，本研究の遂行にあたり多大なご助言，ご協力を賜りました Tohoku NLP グループの皆様に感謝申し上げます。

## 参考文献

[1] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th conference of the european chapter of the association for computational linguistics: Main volume (EACL), pp. 300-325, 2021.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th annual meeting of the association for computational linguistics (ACL): System demonstrations, pp. 270-278, 2020.

[3] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot. In arXiv preprint arXiv:2001.09977, 2020.

[4] Yixin Nie, Mary Williamson, Mohit Bansal, Douwe Kiela, and Jason Weston. I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling. In Proceedings of the 59th annual meeting of the association for computational linguistics (ACL), pp. 1699-1713, 2020.

[5] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th annual meeting of the association for computational linguistics (ACL), pp. 37313741, 2019.

[6] Margaret Li, Stephen Roller, Ilia Kulikov, Sean Welleck, YLan Boureau, Kyunghyun Cho, and Jason Weston. Don' t say that! Making inconsistent dialogue unlikely with unlikelihood training. In Proceedings of the 58th annual meeting of the association for computational linguistics (ACL), pp. 4715-4728, 2020.

[7] Weizhao Li, Junsheng Kong, Ben Liao, and Yi Cai. Mitigating Contradictions in Dialogue Based on Contrastive Learning. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2781-2788, 2022.

[8] Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, and Jie Zhou. Addressing Inquiries about History: An Efficient and Practical Framework for Evaluating Opendomain Chatbot Consistency. In Findings of the joint conference of the 59th annual meeting of the association for computational linguistics and the 11th in- ternational joint conference on natural language processing (ACL-IJCNLP), pp. 1057-1067, 2021.

[9] Souvik Kundu, Qian Lin, and Hwee Tou Ng. Learning to Identify Follow-Up Questions in Conversational Question Answering. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 959-968, 2020.

[10] Jing Xu, Arthur Szlam, and Jason Weston. Beyond Goldfish Memory: Long-Term Open-Domain Conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, 2022.

[11] Maxime De Bruyn, Ehsan Lotfi, Jeska Buhmann, and Walter Daelemans. Open-Domain Dialog Evaluation Using Follow-Ups Likelihood. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 496-504, 2022.

[12] Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhen Guo, Zhibin Liu, and Xinchao Xu. PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2513-2525, 2021.

[13] Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhihua Wu, Zhen Guo, Hua Lu, Xinxian Huang, Xin Tian, Xinchao Xu, Yingzhan Lin, and Zheng-Yu Niu. PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation. In Findings of the Association for Computational Linguistics: AACLIJCNLP 2022, pp. 107-118, 2022.

[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. In arXiv preprint arXiv:1907.11692, 2019.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

表 $5 \mathrm{IbBR}_{-3}$ が高い質問の例 $\left(\mathrm{IbBR}_{-3}=43.2\right) . u_{i}$ 太字部に関する質問が $u_{q}$ 太字部でされている.

## A DbRM と IbBR の分布

4 節にて算出した，MSC の入力対話集合に含まれる $u_{q}$ の $\mathrm{DbRM}_{-1}$ および $\mathrm{IbBR}_{-3}$ の分布を図 3 および図 4 にそれぞれ示す。

## B 自動収集された $F Q$ の例

表 5 に，4 節の検証にて収集された， $\mathrm{IbBR}_{-3}$ が高い質問の例を示す。

## C データセットの例

表 6 に，本研究で構築したデータセットの入力対話およびシステムが生成した矛盾応答の例を示す.

図 4 MSC における $\mathrm{IbBR}_{-3}$ の分布.

表 6 データセット中の $\mathrm{FQ}_{-1}, \mathrm{FQ}_{-3}$ およびそれに対するシステム矛盾応答の例. $u_{i}$ 太字部への $u_{q}$ 太字部の質問に対し, システムが応答 $r$ 太字部にて矛盾を生成している.

I. FQ-1 に対する矛盾応答の例.

話者発話

A: My allergies have been acting up like crazy the past couple days. I think there's a cat nearby.

B: How do you know its a cat and not a different animal you are allergic to?

A: I'm not sure. I've never had allergies before.

A: I read an article yesterday on the history of the Premier League that was very interesting. Did you know that it has been around for almost 30 years?

B: I did not. I had no idea it had such a history. I guess if you think about it, 30 years ago is only the 1990's now!

A: Yeah, that's hard to believe! I wonder what the oldest soccer team is.

B: I would have to guess it would be one in Europe, but I'm curious as well. Did the history show get you interested in watching some games?

A: Not really. I just like watching soccer. I like the game. I don't care about the history.

## D 矛盾検出器の学習詳細

6 節の矛盾検出器の学習において, エポック数は 10，学習率は $1.0 \times 10^{-5}$ ，バッチサイズは 64 ，重み減衰係数は 0.01，他の值は Hugging Face[15] で設定されている初期値を用いた。


# ペルソナ更新型対話システムにおける 効果的なペルソナ選択手法の分析

吉田快 品川政太朗 須藤 克仁 中村哲
奈良先端科学技術大学院大学
\{yoshida.kai.yf1, sei.shinagawa, sudoh, s-nakamura\}@is.naist.jp

## 概要

ペルソナ対話システムにペルソナの更新を導入する場合，蓄積されたペルソナを応答生成に活用するためにペルソナの選択方法が重要となる. 従来の文ベースの類似度によるペルソナ選択手法は，表層的に似た表現の文にも高い類似度を与えるため，問題がある. 本研究では, ペルソナ選択手法の改善のために，ペルソナ選択について分析を行い，入力文とペルソナ文に含まれる名詞語の類似度を用いた選択手法が有望であることを示す．また，名詞べースと文ベースの選択手法による応答生成文をユーザ評価により比較することで，両者の比較を行った. その結果，ペルソナを常に用いた応答をすると，応答の自然性が低下することが分かった。

## 1 はじめに

ペルソナ対話システム $[1,2,3,4]$ はペルソナと呼ばれるプロフィール情報を持つ対話システムの一種である、ペルソナ対話システムは近年の機械学習モデルの発達により増加している, 生成べースの雑談対話システム [5, 6] における応答の不整合問題 [3] を解決することを目的としている. 本論文では，ペルソナ文の更新が可能なペルソナ対話システムに焦点を当てる. ペルソナ更新は，ペルソナ対話システムにとって重要である.なぜなら，ペルソナ対話システムの生成文は, 対話の後で生成されるシステムプロファイルとも整合していなければならないからである. たとえば，図 1 のように，ユーザがシステムプロファイルを引き出すために「Hello what are you doing today?」という質問をすると，「I am student」というペルソナ文が存在しないにもかかわらず，「I am student」を含む応答が生成されることがある.この現象は，いわゆる Hallucination としてよく知られており，大規模な事前学習済みのニューラル言語モ

図 1 ペルソナ更新可能な対話システムの例

デルに基づく対話システムでしばしば発生する.

このような Hallucination に対応するために，ペルソナ対話システム分野ではペルソナ更新という概念が新しいタスクとして導入されている $[7,8]$. ペルソナ更新とは Hallucination によって得られた，ペルソナ文を含む文を新しいぺルソナ文として保存し，システムが応答生成時に利用できることを指す。システムが応答生成時に利用できるようにすることで，後の対話で生成された情報と一致する応答を生成するようにシステムを制約することができる. ペルソナ対話システムにペルソナ更新を導入した場合，ぺルソナ文は徐々に増加することになる。システムの応答を継続的に過去のシステム応答におけるペルソナ（ペルソナ更新によって蓄積されたペルソナ）に対して一貫させるには，与えられたユーザ入力に対して, システムが応答を生成するために蓄積された大量のペルソナ文から適切なペルソナ文をどのように選択するかという問題が生じる。

最近の研究 $[7,8]$ では，ユーザ入力との文同士の類似度を用いて上位 $\mathrm{N}$ 個のペルソナ文を選択することが提案されている.これにより，ユーザ入力に関連した応答を生成するようにシステムが制約を受けるが，表面的な類似性で無関係なペルソナ文を選択することが考えられる。しかし，ペルソナの選択方法に着目した研究は少なく，選択戦略も確立されていない. そこで本研究では, Integrated gradient [9]

を用いて，PERSONA-CHAT データセットのいくつかの対話を分析し, システムの応答のペルソナ文とユーザ発話への依存性を検討する.この分析の結果から名詞の類似度を用いた選択法を提案し, 実際に文の類似度と名詞の類似度に基づく応答生成の結果をユーザ評価により評価を行う。

## 2 応答生成における入力の寄与度の 分析

良いペルソナ選択とは，多くの候補の中から応答生成に適したペルソナやそのトークンを選択できることである.ここでは，システムがペルソナを用いた応答をするか否かを予測する分類器を構築し，入力であるユーザ発話とペルソナ文において分類に寄与する入力トークンを分析することで，優れたぺルソナ選択器を検討する. 同様に, システムがペルソナを用いて Hallucination を起こすか否かを予測する分類器も構築し, 寄与する入力トークンを分析することで，優れたペルソナ選択器を検討する.

入力の寄与度を計算するために, Integrated Gradients [9] を使用する. また，寄与度の計算のために必要な分類器の構築のためのデータセットの前処理については，付録 A に記載する。

## 2.1 ペルソナを用いた応答生成における ユーザ発話とペルソナの寄与度

ペルソナを用いた応答生成に対するユーザ発話文とペルソナ文の寄与度を計算するには, ペルソナ使用予測器が十分な精度を持つ必要がある. このペルソナ使用予測器を学習データの PERSONA-CHAT(付録 A) によって評価したところ Accuracy は 0.985, F1 は 0.979 (Recall: 0.969, Precision: 0.989) となり，十分な精度を持つことが確認できた。ここで，既知の入力に対する寄与度を求めるのが目的であるため, 学習データで評価を行った.このペルソナ使用予測器を用いて, Integrated Gradientsを適用し, 各応答に対するペルソナ文とユーザ発話の寄与度を算出した.

分析には, 応答への寄与度が最も高い単語を上位 3 つまでカウントした. 図 2 は, 上位 3 語がどの品詞タグに属するかと, 応答がペルソナを含んでいるか（Label 1）と含んでいないか（Label 0）を表している.なお, All tokens は, ユーザ発話またはぺルソナ文に出現した単語数を表し, 可視化のために 10 で割っている. その結果, 入力トークン全体では代名詞 (PRON), 名詞 (NOUN), 特殊トークン

図 2 ペルソナを使用した応答生成に寄与した token の品詞上位 $3 \supset$

(SP_TOKEN) が多いものの, ペルソナを使った応答生成では, 名詞, 特殊トークン, 代名詞の寄与度が高いことが分かった. そこでさらに, 名詞語の固有表現に着目して, ユーザ発話とペルソナ文の関係を調べた. 寄与度の高い名詞語に注目し, 図 3 に示すように，ユーザ発話とペルソナ文の固有表現の出現頻度の相関を可視化した.ここでは， $\mathrm{spaCy}^{11}$ を固有表現抽出のために用いた. その結果，ペルソナ文と

図 3 ペルソナを使用した応答において最も寄与度が高かった token の固有表現の出現頻度の相関

ユーザ発話が同じ固有表現を持つ場合，固有表現の出現頻度の相関が高いことが分かった.

## 2.2 Hallucination 発生時のユーザ発話と ペルソナの寄与度

2.1 節と同様に，生成された応答の Hallucination に対するユーザ発話文とペルソナ文の寄与度を計算するには, Hallucination 予測器が十分な精度を持つ必要がある.この Hallucination 予測器を学習データの PERSONA-CHAT(付録 A) で評価したところ Accuracy 0.988, F1 スコア 0.980 (Recall: 0.989,

1) https://spacy.io/

Precision: 0.971）となり，十分な精度を持つことが確認できた。ここでも，2.1 節と同様に既知の入力に対する寄与度を計算するのが目的のため, 学習データで評価を行った. この Hallucination 予測器を用いて，システムが生成した応答に対して 2.1 節と同様に Integrated Gradients を適用し, 各応答に対するペルソナ文とユーザ発話の寄与度を算出した. 分析には，応答への寄与度が最も高い単語を上位 3 つまでカウントした. 図 4 は, 上位 3 語がどの品詞タグに属するかと, Hallucination が発生した（Label 1）か，していない（Label 0）かを示している.なお，All tokens は，ユーザ発話またはペルソナ文に出現した単語数を表し, 可視化のために 10 で割っている. 図 4 から分かることは，ラベル０の予測に

図 4 Hallucination が起こる応答生成に寄与した token の品詞上位 $3 \supset$

は特殊トークンの寄与が大きく, ラベル 1 の予測には名詞，動詞，代名詞の寄与が大きいことである.特に，特殊トークンは 13 万文中 11 万文とかなり高い寄与度であった.

図 5 Hallucination が起こる応答において最も寄与度が高かった token の固有表現

さらに，名詞語の固有表現に着目して，ユーザ発話とペルソナ文の関係を調べた. 寄与度の高い名詞語に注目し，ユーザ発話とペルソナ文の名前付き固有表現の共起の相関を図 5 のように可視化した. その結果, 図 3 が示すペルソナ使用の結果と同様に, ペルソナ文とユーザ発話が同じ固有表現を持つ場合，固有表現の出現頻度の相関が高いことが分かった. また, Hallucination と非 Hallucination に分類されたサンプルを別々に集計したところ，Hallucination に分類されたサンプルでは，最も寄与度の高いトークンは発話中の 38,868 トークンであり，ペルソナ文中は 2,958 トークンのみであった. また，非 Hallucination に分類されたサンプルでは, 最も寄与度の高いトークンは，発話中の 36,662 トークンであり，ペルソナ文中の 52,943 トークンであることがわかった.これらの結果は, Hallucination がユーザ発話のみに依存していることを示唆している。

## 3 文ベースと名詞ベースによるペル ソナ選択手法の比較

2 章で得られた知見を基に，名詞べースのぺルソナ選択手法が文ベースのペルソナ選択方法よりも優れているのか比較を行う，具体的には， PERSONA-CHAT で fine-tuning した BERT2BERT を用いて構築した応答生成モデルを基に, 文同士の類似度と提案する名詞べースの選択法の 2 通りに分けて比較を行う. 文べースの選択では Sentence BERT を用いてペルソナ文と入力文をベクトル化し，それらのコサイン類似度の一番高いものを選択する。名詞による選択では，ペルソナ文と入力文に含まれる名詞をそれぞれ word2vec によってエンコードし， それらのコサイン類似度の一番高い名詞を含むペルソナを選択する。それぞれの選択手法を用いて一つのペルソナ文を決定し，このペルソナ文に条件づけられた応答生成を行い，得られたそれぞれの応答文に対してユーザ評価を実施する。評価者は 5 人で各 40 サンプル，TOEIC650 点以上という条件で実験を行った (内一人は英語母語話者). 評価データはテストデータ中から 2 通りの選択方法によって異なるぺルソナが選択されたデータ2)からランダムに 40 件選択した。評価者には大力となるペルソナ文，ユー ザ発話，生成された応答の 3 種類の文を提示し，以下の 2 つの項目について 5 段階で評価を行った.

一貫性生成した応答に含まれるペルソナが与えられたペルソナに一貫しているか

2） テストデータ 7,793 件中，4,822 件で選択されたペルソナが異なった

図 6 (A) 文ベースと (B) 名詞ベースの各サンプルの平均值の分布

自然性文脈に沿ったペルソナを提示できているか

## 3.1 ユーザ評価結果

ユーザ評価の全体の評価項目ごとの平均値は表 1 に示すように，提案手法である名詞ベースの選択手法の方が低い結果となった.

表 1 ユーザ評価の各サンプルの平均値

各サンプルにおける平均値の分布を図 6 に示す.自然性に関しては值にばらつきが見られなかったが，一貫性は提案手法である名詞ベースの選択手法の方が最大值が大きいことが確認できた.

## 4 考察

2.1 節の実験結果から名詞がペルソナを用いた応答生成に大きな影響を与えることが分かった. PERSONA-CHAT の会話には，他の対話者の発話内容に関連した応答が含まれるため，これは妥当な結果である. そのため, 図 3 に示すように，ユーザ発話の名詞語が応答生成において同じ名前の固有表現を持つ名詞語を誘発させると考えられる. また， 2.2 節の実験結果から名詞トークンが Hallucination の誘発に最も影響力があることがわかった.この結果は， 2.1 節で述べたように，他の対話者の発話内容に関連した応答が含まれる PERSONA-CHAT データセットの特徴も反映していると思われる.

名詞語によるペルソナ選択の優位性を示すために，ユーザの発話とペルソナとのコサイン類似度を用いた文べースの類似度（赤）と名詞の単語ベースの類似度（青）の比較を図 7 に可視化した. 図 7 より，名詞ベースの類似度は文ベースの類似度より広く分布していることが確認できた. 分布の広さは 2

図 7 発話とペルソナのコサイン類似度の文ベースの類似度（赤）と名詞の単語ベースの類似度（青) の分布

文間の違いを捉えられていると考えることができ，名詞べースの類似度によって効果的な選択が可能であることが示唆される.このことから判断して， ユーザ発話とペルソナ文の名詞ベースの類似度は,選択手法として有効であると考えることができる。

ユーザ評価において実際に選択されたペルソナを確認すると, どちらの手法のスコアも低い場合の例として，入力に対応したペルソナが無い場合があった (付録 A). 両方の手法においてぺルソナを開示するべきでない場面にもペルソナを開示して自然性が下がるケースが多々見られたため，そのケースへの対応も必要であると考える。一方で，そのような場合にペルソナが選択されたとしても，モデルは常にペルソナを含む応答を生成してはいなかった.

以上のことから，PERSONA-CHAT の対話では,開示できる適切なペルソナが無い場合にペルソナを用いると応答の自然性が低下することが確認できた. そのため，入力するべきペルソナが無い時は， ペルソナを選択しない工夫が選択には必要である.図 7 では，名詞による選択の方が優れていることが示唆されたが，ユーザによる評価では文べースの選択より劣っている結果となった. これは評価データがペルソナを開示できるような入力を多く含んでいなかったため，ペルソナの選択が必要な事例が少なく, 評価が正しくできなかった可能性がある.

## 5 まとめ

本研究では，ペルソナ更新により適したペルソナ選択のために，PERSONA-CHAT データセットを分析した. 分析の結果, 名詞ベースの選択手法が良い選択であることが示唆され，適切でない場面でペルソナの開示を行うと，応答の自然性が下がるということが確認された.

## 謝辞

本研究は JSPS 科研費 JP21K17806 の助成を受けたものである.

## 参考文献

[1] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In ACL (1), 2018.

[2] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, Online, August 2021. Association for Computational Linguistics.

[3] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Pierre-Emmanuel Mazaré, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2775-2779, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[5] Iulian Vlad Serban, Ryan Lowe, Laurent Charlin, and Joelle Pineau. Generative deep neural networks for dialogue: A short review. arXiv preprint arXiv:1611.06216, 2016.

[6] Oriol Vinyals and Quoc Le. A neural conversational model. arXiv preprint arXiv:1506.05869, 2015.

[7] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Hongjin Qian, Zhicheng Dou, Yutao Zhu, Yueyuan Ma, and Ji-Rong Wen. Learning implicit user profile for personalized retrieval-based chatbot. In Proceedings of the 30th ACM International Conference on Information \& Knowledge Management, pp. 1467-1477, 2021.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 33193328. PMLR, 06-11 Aug 2017.
表 2 入力に対応したペルソナが無いと考えられる例入力文：

"that sounds good, i bet you'd be a good teacher ."

ペルソナ文：

1. hey there i'm 23 and i love food

2. i also like to cook but i'm not very good at it

3. i have been trying all types of food everywhere i go

4. i own a yacht and i rent it out when i'm not using it

5. i've been traveling the world for a years

入力文:

"lol . i thought maybe my tv watching had fried my brain for a minute ."

ペルソナ文 :

1.i am single and with two dogs

2.i do not drink alcohol

3.i like to play chess

4.i love taking bubble baths

入力文：

"i don't like it either . love music"

ペルソナ文 :

1.i hate math class

2.i ride the bus to school

3.i'm 13 years old

4.i' $\mathrm{m}$ on the soccer team

5.my brother is older than me

## A 付録

## Integrated Gradients

応答生成モデルがペルソナを強調した応答を生成する場合や Hallucinationを引き起こす場合に，入力のどの部分が応答生成に強く影響するかを Integrated Gradients を用いて調べる. $i^{t h}$ 次元の入力 $x$ とベースライン $x^{\prime}$ に対する Integrated Gradients は,式 (1) のように定義される.ここで， $\frac{\partial F(x)}{\partial x_{i}}$ は $i^{t h}$ 番目の $F(x)$ の勾配である.

Integrated Gradients は，デフォルトで 0 に設定されているべースライン $x^{\prime}$ から入力 $x$ までの勾配を積分し, 入力とべースラインの差と積を取ることで寄与度を計算する. 文ベクトル $x$ とその各トークン $x_{i}$ に Integrated Gradients を適用することで，各トー クンの寄与度を求めることができる。

$
I G_{i}(x)::=\left(x_{i}-x_{i}^{\prime}\right) \int_{\alpha=0}^{1} \frac{\partial F\left(x^{\prime}+\alpha \times\left(x-x^{\prime}\right)\right)}{\partial x_{i}} d \alpha
$

## 寄与度分析のための分類器構築

Sect. 2 で述べた Integrated Gradient を用いた分析には分類モデルの構築が必要となる．2つの分析には，それぞれ 2 つの 2 值分類モデルを用いた. 最初の分析では，ペルソナ使用予測モデルを用い，システムが生成した応答がペルソナ文に強く影響されているかを予測した. 2 つ目の分析では, Hallucination 予測モデルを用い，システムが生成した応答が，ユー ザの発話やペルソナ文から判断して, Hallucination を含んでいる可能性があるかどうかを予測した.

これらの 2 つのモデルはユーザの発話と複数のペルソナ文からなる 2 種類の入力で学習させた. 学習のために，入力は分割トークン $<S E P>$ を用いて次のように結合される。

$
\begin{aligned}
<C L S> & \text { utterance }<S E P>P_{1} \\
& <S E P>\ldots<S E P>P_{N}<S E P>
\end{aligned}
$

ここで $P_{N}$ は $\mathrm{N}$ 番目のペルソナを表す. また，分類器の学習のために, 事前学習された BERTを PERSONA-CHAT を用いてファインチューニングした. 2 つの分類モデルを学習するためのターゲットラベルは，自動でアノテーションを行った. 発話文とペルソナ文のどれかが同じ名詞を含んでいる場合に 1 ，それ以外に 0 をラベル付けした. 例えば， ペルソナ「i like shoot a bow」と発話「i have bow」は 「bow」という名詞を共有しているため，「1」とラべル付けした. 結果として，131,431 件中ラベル 0 は 84,440,ラベル 1 は 46,991となった.

Hallucination 分類モデルでは，応答と発話文が次の 4 つのルールを満たす場合，1 とラベル付けした.

1. 応答文が 4-20 語で構成される

2. 応答文が“'”か “my”を含む

3. 応答文に動詞, 名詞, 代名詞, 形容詞のうち少なくとも 1 つの単語が含まれている

4. 発話文と応答文が同じ名詞を含んでいないそれ以外の場合は 0 とした. 結果として，ラベル 0 が 89,605 件，ラベル 1 が 41,826 となった.

## 入力に対応したペルソナが無いと考えられる例

入力文に対して，応答する文に含められそうなぺルソナが無かった例を表 2 に示す.

多くの場合，これらは聞かれたことに対するペルソナが無い場合 (表 2 一つ目) や，ユーザに関する話題が中心となっているものであった.


# 対話システムにおけるペルソナの自動生成による更新

川本稔已 ${ }^{1,2}$ 山崎 天 ${ }^{2}$ 佐藤 敏紀 2 船越 孝太郎 ${ }^{1}$ 奥村 学 1
1 東京工業大学 ${ }^{2}$ LINE 株式会社
\{kawamoto, funakoshi, oku\}@lr.pi.titech.ac.jp
\{takato.yamazaki, toshinori.sato\}@linecorp.com

## 概要

話者のプロフィールを集めたテキストであるペルソナを考慮した対話システムでは， ペルソナの変化を捉え適切に更新する必要がある. 先行研究では， ペルソナを対話履歴から抽出した上で，既存のペルソナと抽出したペルソナを比較し最新のペルソナのみを残す。しかし，過去のペルソナを削除することで情報の欠落を引き起こす。そこで本稿では，既存のペルソナと抽出したペルソナの両方を考慮したぺルソナを，大規模汎用言語モデルを用いて生成的に更新する手法を提案する．その結果，正解のペルソナとの一致度と応答生成性能の向上を確認した。

## 1 はじめに

ペルソナは好みや性格，行動といった話者の情報を集めたテキストであり，ペルソナを考慮することで，より親和的な応答生成が可能になる [1]. 本稿ではペルソナを構成する情報の単位（多くの場合，文に相当）をペルソナ要素と呼ぶ. ペルソナを使った対話データセットの 1 つに PeRsona-ChAT [2] があるが，ペルソナが変化することは考慮されていない. しかし, ペルソナは常に同一ではなく, 時間の経過で変化・増加する．Xu ら [3] は，対話履歴から新しいペルソナを抽出する機構を提案し，時間経過を考慮した Multi-Session Chat データセット (以降，MSC) を用いてペルソナ要素を追加することの有効性を示した. しかし，ペルソナ要素を追加するだけでは，含意や言い換えとなるぺルソナ要素が溜まっていくだけでなく，ペルソナ要素の変化に対応できない. そこで Bae ら [4] は既存のペルソナと抽出したペルソナを比較し，最新のペルソナのみを残す手法を提案した. しかし, 最新のペルソナのみを残し, 過去のペルソナを削除することは情報の欠落を引き起こす. 本稿では，既存のペルソナと抽出したペルソナの両方を考慮し，大規模汎用言語モデルを用いてぺ

図 1 一般的な形式のプロンプト（抜粋）

ルソナを生成的に更新する手法を提案する.

大規模汎用言語モデルは，GPT-3 [5] に代表される，大量のコーパスで自己教師あり学習された言語モデルであり，ショットと呼ばれる少数のサンプルを記述したプロンプトを与えることで，さまざまな言語タスクを解けることが知られている。最近のプロンプトの記述方法の 1 つとして, Chain of Thought (以降，CoT) がある [6]. 一般的なプロンプトではショットとして問題と解答のペアを記述し，言語モデルは与えられた問題の解答を生成する．CoT は，解答を得るための推論過程も記述し，言語モデルは推論過程と解答の両方を生成する手法であり，推論を伴う複数の言語処理タスクで一般的なプロンプトを上回る性能が確認されている $[7,8]$.

ペルソナの更新は，ペルソナ要素の意味・関係性を考慮した推論を必要とする．そこで，大規模汎用言語モデルのプロンプトに CoTを利用する手法を提案する。加えて，含意・中立・矛盾に分類する自然言語推論 (以後，NLI) の結果に応じてプロンプトを使い分けることで性能の向上を図る。その結果，情報の欠落を緩和し，自動評価において正解のペルソナとの一致度と応答生成性能の向上を確認した.

## 2 提案手法

複数セッションからなる，ペルソナを考慮した対話は，以下のフローで行われる [9].

1. 事前設定のペルソナで 1 セッション対話する.
表 $1\left(m_{i}, s_{j}\right)$ に対するペルソナ要素の更新の種類とその例. $m_{i} \in$ 既存のペルソナ,$s_{j} \in$ 抽出したペルソナ,$z$ は $m_{i}$ と $s_{j}$ ではないぺルソナ要素， $m_{i}^{\prime}, s_{j}^{\prime}$ は $m_{i}, s_{j}$ の少なくともどちらかを書き換えたペルソナ要素を表す.

Q:You know that he said, "I am 33 years old." Then you
hear that the new information about him is that "I am
34 years old." As a result, how should you store his
information?
A:Let's think step by step. Considering "I am 33 years
old." and "I am 34 years old.", the two pieces of
information are about his age, and the information
suggests that he has aged one year, from 33 to 34 . So,
we don't need information about his previous age.
Thus, by keeping only new information, the answer is
"I am 34 years old."
$===$
Q: You know that he said, "I am signing up the gym later
today." Then you hear that the new information about
him is that "I finished signing up." As a result, how
should you store his information?
A:Let's think step by step. Considering "I am signing up
the gym later today." and "I finished signing up.",
the two pieces of information are about signing up. As
of the previous information, he was going to sign up
for the gym, but he finished signing up for the gym as
of the new information. So, by describing the latest
information, the answer is "I signed up for the gym."
$===$
Q: You know that he said, <mis Then you hear that the new
information about him is that < $s_{j}>$ As a result, how
should you store his information?
A:Let's think step by step.

図 2 Chain of Thought を用いたプロンプト（抜粋）

2. 直前の対話履歴からペルソナを抽出する。

3. 抽出したペルソナと既存のペルソナから，保持するペルソナを決定する。

4. 保持したペルソナで次のセッションを行う.

5. 最終セッションの対話でないなら 2 に戻る.

上のフローにおけるタスクは，ペルソナを考慮した応答生成 $(1,4)$, ペルソナの抽出 (2), ペルソナの更新（3）の 3 つに分けられ，本稿はペルソナ更新タスクに着目する. 既存のペルソナを $M=\left.\{m_{1}, \ldots, m_{T}\right.\}$,抽出したぺルソナを $S=\left.\{s_{1}, \ldots, s_{K}\right.\}$ とする. 本稿では，後述するペルソナ更新アルゴリズムに従いながら，ペルソナ要素の組 $\left(m_{i}, s_{j}\right)$ を生成的に更新することで，新たなペルソナ要素の集合 $M^{\prime}$ を得る.

ペルソナ要素の更新 Bae ら [4] は, ペルソナ要素の更新操作として, APPEND, PASS, REPLACE, DELETEの 4 種類を定義した. この 4 種類は， $m_{i}$ と $s_{j}$ をそれぞれ残すか残さないかの二値の組み合わせ
に対応する。しかしこの方法では，過去のペルソナが削除されてしまい情報の欠落を引き起こす可能性がある. そこで本稿では，既存のペルソナと抽出したペルソナの両方を考慮した $m_{i}$ と $s_{j}$ 以外の新しいペルソナ要素を得る操作を新た纪 2 つ導入する。 1 つ目は，Bae らも言及していたものの未導入であった,$m_{i}$ と $s_{j}$ をまとめた $z$ を保持する FUSION， 2 つ目は, $m_{i}$ と $s_{j}$ の少なくともどちらかを書き換えた $m_{i}^{\prime}$ と $s_{j}^{\prime}$ を保持するREWRITEである. 6 種類の操作の例を表 1 亿示す. Bae らの 4 分法では, FUSION の事例が PASS または APPEND に分類されるため情報が欠落した，または兄長な状態で保持される. REWRITE の事例は REPLACE 亿分類されるため情報の欠落が発生する場合がある. FUSION と REWRITE はそれらの課題を解消している. 本稿は， FUSION と REWRITEを初めてペルソナ要素の更新记導入し，新しいペルソナ要素を大規模沉用言語モデルを用いて生成する手法を提案する.

Chain of Thought プロンプトペルソナ要素を適切に更新するためにはペルソナ要素の意味を理解する必要がある．例えば， $m_{i}=$ “マンションに住んでいる.”, $s_{j}=$ “一軒家に住んでいる. ”の場合，マンションから一軒家に引っ越したと考えられるので，更新したペルソナ要素は $m_{i}^{\prime}=$ “以前マンションに住んでいた. ”と $s_{j}^{\prime}=$ “一軒家に住んでいる. ”となる. $s_{j}=$ “福岡に住んでいる. ”の場合は，マンションが福岡にあると考えられるので，更新したペルソナ要素は $z=$ “福岡でマンションに住んでいる. ”となる.このようにペルソナ要素の更新には推論を必要とするため，図 1 の形式で記述する一般的なプロンプトではなく，段階的に推論を行い解答を得ることで性能の向上が確認されている CoTを利用し，図 2 の形式でプロンプトを記述する。

NLI を利用したプロンプトの使い分けペルソナ要素ペア $\left(m_{i}, s_{j}\right)$ は含意・中立・矛盾のいずれかの論理関係を持ちうるが，論理関係の違いによって，
同じ種類のペルソナ要素の更新を行う場合であっても CoT の推論過程が異なる. 異なる推論過程を記述したプロンプトを使用することは生成時のノイズになると考えられるので， $\left(m_{i}, s_{j}\right)$ と同じ論理関係のペルソナ要素ペアを利用したショットのみで構成するプロンプトを使用する. $\left(m_{i}, s_{j}\right)$ とショットに記述されたペルソナ要素ペアの性質や関係が類似していることで性能の向上が期待される. 具体的には,図 2 の形式で記述した各ショットを, ペルソナ要素ペアの NLI [10] の結果に応じて分け 3 種類のプロンプトを用意する. 更新を行うときは， $\left(m_{i}, s_{j}\right)$ の NLI 結果に応じてプロンプトを使い分け生成を行う.

ペルソナ更新アルゴリズム最終的に保持するぺルソナ $M^{\prime}$ を得る処理は， ペルソナ更新アルゴリズムによって行う．更新アルゴリズムの詳細は付録 A に示す. Bae らの更新アルゴリズムでは, 要素ぺア $\left(m_{i}, s_{j}\right)$ に対して分類器を適用し, その分類結果に基づいてペルソナの更新処理を行う．これに対し我々の更新アルゴリズムでは, 元の要素ペアと生成されたペルソナ要素を照合することで, どの更新操作が生成モデルで選択されたのかを特定し，それに基づいて実際のペルソナ更新処理を行う.

## 3 実験

## 3.1 実験設定

ペルソナを考慮した応答生成は, MSC で fine-tuning した Transformer [11] ベースのモデル BST2.7B [3] を利用した. ペルソナの抽出には MSC で fine-tuning した BART [12]を利用した. ペルソナ要素を更新するための大規模汎用言語モデルは，主に英語で事前学習された 660 億個のパラメータを持つ公開済みの OPT [13], 日本語と英語で事前学習された 390 億個のパラメータを持つ HyperCLOVA [14] の 2 種類で比較を行う. プロンプトには, 図 2 と同様の形式で 5-ショットを記述した. NLI 分類器には, Dialogue NLI [10] で fine-tuning した DeBERTa [15] を利用した. Dialogue NLI のテストデータでの正解率は 91.3\%であった. 実装は ParlAI [16] を利用し,特に記載のない設定は ParlAI のデフォルトに従う.応答生成モデルに入力するペルソナ要素の順序は,結果に影響を与える可能性があるため，付録 B に示す実験を行った結果，最も Perplexity が低いランダム順で統一する。

ペルソナの更新を評価するために，MSC のテス
トデータで以下の 2 つの実験を行う.

1. MSC の正解のペルソナと手法ごとのペルソナの一致度を ROUGE-1, 2 (F1) [17] で評価.

2. 応答生成の性能を評価するため, 手法ごとのぺルソナを使い, 応答生成モデルの Perplexityをセッションごとに評価.

数値差の評価の補助とするため, Paired Bootstrap Resampling [18] による有意差検定を行う. 多重比較補正は行わない。

## 3.2 比較手法

以下の手法の間で比較を行う。

Accumulation 抽出したペルソナを既存のペルソナに単に追加する手法.

Classification ペルソナ要素ペアを分類してぺルソナを更新する手法. Bae らの手法 [4] を再現することを目的としている. データセットがないため 4 クラス分類器を新たに訓練する NLI transfer (fine-tune) ではなく, 既存の NLI モデルを用いて含意を PASS，中立を APPEND，矛盾を REPLACE に対応づける3クラス分類手法 (NLI zero-shot)を再現する. ペルソナ要素ペアが DELETE に分類されることはないが，Bae らによれば DELETE の割合は $5 \%$程度であり, 最大で $95 \%$ の精度を持ち得ると考えられるため，十分比較手法となりうる。

O Generation OPT を用いた提案手法.

H Generation HyperCLOVA を用いた提案手法.

提案手法の切除実験として, 図 1 の形式のプロンプトを使ったw/o CoT と，NLIを行わず 1 種類のプロンプトを使用する w/o NLI の実験を行う．また，応答生成については, 性能の上限を確かめるため,正解のペルソナを利用した Gold Persona とも比較する。

## 3.3 実験結果

正解のペルソナとの一致度を測った実験結果を表 2 に示す. H Generation は, Accumulation よりも ROUGE-1, 2 ともに高く正解のペルソナとの一致度が向上した. それ以外の手法は, Accumulation と比較して, ROUGE-1, 2 の少なくともどちらかが低い値となり, 一致度の向上は確認できなかった. 平均ペルソナ要素数に関しては，更新を行う手法は Accumulation と比較して全て減少しており, 含意や言い換えとなるペルソナ要素をまとめたり削除して

as of the new information. So, by describing the latest information, the answer is "I got a job."

図 3 提案手法によりペルソナ要素の更新を行ったペルソナの生成例. ”Let's think step by step.”以降を生成している.

表 2 正解のペルソナとの一致度を測った実験結果と平均ペルソナ要素数.†は Accumulation と比較して検定で有意 ( $p<0.05)$ であることを示す.

表 3 各手法のペルソナを使った応答生成の実験結果. 各セッションごとの Perplexity で評価.

いると考えられる。しかし，Classification は，Gold Persona よりもペルソナ要素数が少なく，過去のペルソナを削除した影響でペルソナ要素が減りすぎている可能性がある.

次に，応答生成の実験結果を表 3 に示す. 全てのセッションにおいて, Classification は Accumulation より高い Perplexity となり，ペルソナ要素ペアを分類して更新する手法の効果は確認できなかった. 提案手法では H Generation が最も低い Perplexity であり, Accumulation と比較すると, セッション 2 以外では H Generation のほうが低かった. Gold Persona ともセッション 5 での Perplexity の差が 0.012 であり，対話が長期なら提案手法が有効であることを確認した。OPTを使った手法は，HyperCLOVAを使った手法と比較して性能が低下した. モデルサイズは HyperCLOVA よりOPT のほうが大きく，OPT は英語诗化しているが，事前学習に使われたデータの質や量，ハイパーパラメータ等が性能涼響を与えていると考えられる。切除実験の結果，提案手法は w/o CoT，w/o NLIよりも優れた結果となり，CoT と，NLI でプロンプトを使い分ける手法の効果を確認した。

## 3.4 ペルソナ要素の更新例

H Generation でペルソナ要素の更新を行った生成例を図 3 に示す. 違和感のない推論過程が生成できており，入力に与えたペルソナ要素をそのまま出力するだけではなく，FUSION のようにペルソナ要素をまとめ，過去のペルソナ要素の情報も保持している例も確認した. しかし, “I am an artist."と”I am a vet.”"比較した場合に，言語モデルの出力ではアー ティストから獣医に転職したと推論しているが， アーティストと獣医を兼ねている可能性もあり，ぺルソナ要素ペアだけではどのように更新するべきか判断することが難しい例もあった.

## 4 おわりに

本稿では，ペルソナを考慮した対話システムにおいて，FUSION と REWRITE の 2 つの更新手法を新たに導入し，過去の情報も考慮したペルソナ要素を生成してペルソナを更新する手法を提案した. 情報の欠落の緩和を目的とした提案手法により先行研究と比較して正解のペルソナとの一致度，応答生成の性能の両方を向上することを確認した. 情報の欠落が防がれていることは事例分析からも確認された.今後人手評価を行い，応答生成がどのような観点で改善されているか確かめたい。また，ペルソナの更新性能は，ペルソナの抽出や応答生成といった他の機構の性能に依存するため，これらの機構も含めて総合的に向上させていきたいと考えている.

## 参考文献

[1] Iulian Vlad Serban, Ryan Lowe, Peter Henderson, Laurent Charlin, and Joelle Pineau. A survey of available corpora for building data-driven dialogue systems. arXiv preprint arXiv:1512.05742, 2015.

[2] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[4] Bae Sanghwan, Kwak Donghyun, Kang Soyoung, Young Lee Min, Kim Sungdong, Jeong Yuin, Kim Hyeri, Lee Sang-Woo, Park Woomyoung, and Sung Nako. Keep me updated! memory management in long-term conversations. In Findings of the Association for Computational Linguistics: EMNLP 2022, p. 3769-3787, Abu Dhabi, United Arab Emirates, 2022. Association for Computational Linguistics.

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[6] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems, Vol. 35. Curran Associates, Inc., 2022.

[7] Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V Le, Ed H Chi, Denny Zhou, et al. Challenging big-bench tasks and whether chain-of-thought can solve them. arXiv preprint arXiv:2210.09261, 2022.

[8] Jason Wei, Yi Tay, and Quoc V Le. Inverse scaling can become u-shaped. arXiv preprint arXiv:2211.02011, 2022.

[9] 川本稔己, 山崎天, 佐藤敏紀, 奥村学. 大規模汎用言語モデルによるペルソナを考慮した応答生成. 言語処理学会第 28 回年次大会, 2022.

[10] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3731-3741, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vish- wanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[12] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[13] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. Opt: Open pre-trained transformer language models. arXiv preprint arXiv:2205.01068, 2022.

[14] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, and et al. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[15] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2020.

[16] Alexander Miller, Will Feng, Dhruv Batra, Antoine Bordes, Adam Fisch, Jiasen Lu, Devi Parikh, and Jason Weston. ParlAI: A dialog research software platform. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 79-84, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

[18] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[19] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

## A ペルソナの更新アルゴリズム

提案手法のペルソナの更新アルゴリズムを図 4 に示す.

## Input:

$M=\left.\{m_{1}, m_{2}, \ldots, m_{T}\right.\}$

$S=\left.\{s_{1}, s_{2}, \ldots, s_{K}\right.\}$

$N L I(m, s) \rightarrow\{$ "含意","中立”,"矛盾"\}

$p \rightarrow\left.\{p_{\text {ent }}, p_{\text {neu }}, p_{\text {con }}\right.\}$

Output: $M^{\prime}=\left.\{m_{1}^{\prime}, m_{2}^{\prime}, \ldots, m_{\left|M^{\prime}\right|}^{\prime}\right.\}$

function UPDATE_PERSONA $(X, Y)$

if $Y=\varnothing$ then

return $X$

end if

for all $y_{j} \in Y$ do

$X^{\prime} \leftarrow \varnothing$

$U \leftarrow \varnothing$

$f_{\text {del }} \leftarrow$ false

for all $x_{i} \in X$ do

if $N L I\left(x_{i}, y_{j}\right)=$ "含意" then

$p \leftarrow p_{\text {ent }}$

else if $N L I\left(x_{i}, y_{j}\right)=$ "中立" then

$p \leftarrow p_{\text {neu }}$

else if $N L I\left(x_{i}, y_{j}\right)=$ "矛盾" then

$p \leftarrow p_{\text {con }}$

end if

if $G\left(x_{i}, y_{j}, p\right)=\varnothing$ then

$f_{\text {del }} \leftarrow$ true

else if $G\left(x_{i}, y_{j}, p\right)=x_{i}$ then

$f_{\text {del }} \leftarrow$ true

$U \leftarrow U \cup x_{i}$

else if the number of $G\left(x_{i}, y_{j}, p\right)$ is $1 \quad \&$

$G\left(x_{i}, y_{j}, p\right) \neq y_{j}$ then

$f_{\text {del }} \leftarrow$ true

else

$U \leftarrow U \cup G\left(x_{i}, y_{j}, p\right)$

$X^{\prime} \leftarrow X^{\prime} \cup G\left(x_{i}, y_{j}, p\right)$

end if

end for

if $f_{\text {del }}=$ true then

$X^{\prime} \leftarrow X^{\prime}-y_{j}$

$X^{\prime} \leftarrow$ UPDATE_PERSONA $\left(X^{\prime}, U\right)$

end if

$X \leftarrow X^{\prime}$

end for

return $X^{\prime}$

end function

$M^{\prime} \leftarrow$ UPDATE_PERSONA $(M, S)$

return $M^{\prime}$

図 4 提案手法のペルソナの更新アルゴリズム. $G\left(x_{i}, y_{j}, p\right)$ は大規模言語モデルでプロンプト $p$ を利用し, $x_{i}$ と $y_{j}$ のペルソナ要素ペアでペルソナ要素の更新を行うことを表す. $\left.\{p_{\text {ent }}, p_{\text {neu }}, p_{\text {con }}\right.\}$ はそれぞれ含意・中立・矛盾に対応したプロンプトである.

## B ペルソナ要素の順序による影響

## 調査

ペルソナを考慮した対話の実験を行うにあたって，応答生成モデルに与えるペルソナ要素の順序が対話性能に影響があるのか不明であるため調査を行う. ペルソナ要素の順序は古い順 (Old), 新しい表 4 応答生成モデルに与えるペルソナ要素の順序を変化させた実験結果. †は Sort Old と比較して検定で有意 $(p<0.05)$ であることを示す.

順 (New), 直近の発話との関連度順 (Related), ランダム (Random)の 4 種類で比較する. 直近の発話との関連度順とは，ユーザの直前の発話とペルソナ要素の各埋め込み表現のコサイン類似度が高い順とした. 埋め込み表現を得るためには SimCSE [19] ${ }^{11}$ を使い, $[C L S]$ トークンの埋め込み表現を利用した. それ以外の実験設定は，3.1 節の設定に従い，応答生成性能をセッション 2 からセッション 5 の平均の Perplexity で評価する.

結果を表 4 に示す. ペルソナ要素の順序により， Perplexity が変化することから，ペルソナ要素を入力に与える順序は応答生成に影響を与えることが判明した。その上で，ペルソナ要素をランダムに並べた Sort Random の Perplexity が最も低いことを確認した.
1) https://huggingface.co/princeton-nlp/ sup-simcse-roberta-large


# インタビュー対話における問い返し文の生成に関する検討

篠山学 ${ }^{1}$ 木内敬太 ${ }^{2}$ 康金 ${ }^{3}$ 西村良太 $^{3}$ 松本和幸 ${ }^{3}$
${ }^{1}$ 香川高等専門学校 ${ }^{2}$ 労働者健康安全機構 ${ }^{3}$ 徳島大学大学院社会産業理工学研究部
sasayama@di. kagawa-nct.ac.jp kiuchi@h. jniosh. johas. go.jp
$\{$ kang-xin, nishimura, matumoto $\}$ is. tokushima-u. ac.jp

## 概要

遠隔勤務をしているとき，遠隔労働者が自分自身のストレスに気づけないことも多い. 精神面の健康状態が深刻になる前に自分自身で気づくことができれば, 健康を維持することにつながる. 本研究では,遠隔労働者が健康状態をセルフチェックするためのバーチャルエージェント対話システムの構築を目的としている. 本稿では，対話時に必要となる「問い返し」の生成手法について考察する。

## 1 はじめに

世界的な環境の変化により遠隔労働者が増加している。人材確保を目的に多様な働き方を認めている企業も多いため, 今後も遠隔労働者が増えていくと考えられる. 社外で業務を認める場合, 企業にとつて社員の精神面での健康状態の把握が重要となる.対面であれば気づけるような社員の変化も，カメラを介した対話 (遠隔対話) では気づけない可能性がある. また, 遠隔勤務という環境は精神的に悪影響が出やすいと考えられる. 例えば，対面であれば気軽に声をかけられるが, 遠隔では用件がなければ対話することは難しい. また, 自分以外の社員の存在を感じにくいため孤立感を深めてしまったり, 自分では気づかないうちに精神面の健康が悪化してしまったりする. 遠隔労働者の精神面での健康状態を把握するには, 産業医や上司, カウンセラーとの遠隔面談などが必要である.また、カメラやマイクを介した場合, 音声や表情, 動作が把握しづらいため, カウンセラーにも負担が大きい，そこで，業務や面談の遠隔対話時の音声や表情, 動作からストレスを検出できれば，カウンセラーの負担軽減や本人へのフイードバックに利用できる.

本研究では, 遠隔労働者が健康状態をセルフチェックするためのバーチャルエージェント対話システムの構築を目的としている. 本稿では, 対話時に必要となる「問い返し」の生成手法について考察する.具体的には, 既存の問い返しの生成手法を実装し， インタビュー対話を用いた評価実験を行った。

## 2 問い返し文の生成

本稿では, 問い返し文の生成に既存手法を用いる.高齢者との傾聴対話を目的にした下岡ら[1]の最終述語の不足格判別に基づく問い返し文生成手法である.コーパスから動詞ごとの必須格を決定しておき，発話文内に最終述語の動詞の必須格がなければ，必須格を問い返す問い返し文を生成できる。例えば，「そこで食べたの。」という発話文の動詞「食べる」 の必須格が深層格の source 格であったならば, 発話文内に「Э格」が存在しないため「何を食べた?」 を生成する, 必須格辞書の作成の流れを図 1 に示す.

図 1 必須格辞書の作成の流れ
新聞コーパスは毎日新聞(1995 年版)を用いた。シソ ーラスには, 国立国語研究所の『分類語彙表一増補改訂版一』データベース[2]を用いた. 形態素解析には JUMAN[2], 構文解析には KNP[3]を用いた. 作成した必須格辞書に登録された動詞は 460 であった.必須格辞書の一部を表 1 に示す.

表 1 作成した必須格辞書の一部

## 3 評価実験

作成した必須格辞書を用いて問い返し文が生成できるか確認するために評価実験を行った．評価文はテレビの対談番組から作成したインタビュー対話コ一パス[4]を用いた. 300 回分(約 500 対話/回)から発話の組(発話文と問い返し文)を作成した. ただし, 発話者が異なる，発話文の文末が疑問形，共通の動詞を含む，受動態でない，発話文 60 文字以内かつ問い返し文 30 文字以内をすべて満たす組とした. 実験に使用した発話の組は 1037 である. 発話の組の一部を表 2 に示す。

表 2 評価に用いた発話の組

実験は，構築した既存手法に発話文を入力し，問い返し文を生成して「質問形-格助詞-動詞」の出力形で返す. 次に正解となる発話の組の問い返し文(正しい問い返し文)を「質問形-格助詞-動詞」の出力形に変換する. 生成された問い返し文の出力形と発話の組の出力形が一致すれば正解とする。

## 4 結果と考察

実験結果を表 3 に示す. 正解となった出力はなかった。不正解は生成された問い返し文と正しい問い返し文の出力形が異なっていた場合である.例えば，発話の組（こうやって歩くんです: 体の重心はどこに置くのですか？）を入力としたとき，生成された問い返し文の出力形は「どこ， Э，歩く」，正しい問い返し文の出力形は「重心-どこ，ガ-二，置く」と
なっており不正解となった。また，必須格辞書に登録されていない動詞が多かった. 使用した 1 年分の新聞コーパスでは不足していた可能性がある．既存手法では新聞コーパス 5 年分を使用している。抽出対象が最終述語のみとしていることからも 5 年分は必要と考えられる。

表 3 実験結果

正しい問い返し文に助詞がまったくない場合も多かった，例えば，発話の組（言わないです。：言わない?）のような場合である。また，必須格がなければ問い返すと考えていたが，必ずしもそうではない場合が多い，例えば，（ずっと食べてみたいなと：前から食べてみたい？）のように何を食べたいかはこの発話までに明らかになっていた。必須格があっても問い返す場合も多い，例えば，（ジムに行ってます：ジム、どのくらいの割合？）のように必須格であっても問い返すことは当然可能である.

## 5 おわりに

遠隔労働者が健康状態をセルフチェックするためのバーチャルエージェント対話システムの構築を目的に，問い返し文の生成について既存手法の実装と問い返し文の特徴について考察した。インタビュー 対話は必須格の有無で問い返しているのではないため，動詞別格パタンから問い返し文を生成する.

## 謝辞

本研究は, 国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の助成事業 （JPNP20004）並びに JSPS 科研費 JP22K12213の助成を受けたものです.

## 参考文献

1. 音声対話ロボットのための傾聴システムの開発. 下岡和也, 德久良子, 吉村貴克, 星野博之, 渡辺生聖. 自然言語処理, 24(1), pp.3-47, 2016.

2. 日本語形態素解析システム JUMAN, .

3. 日本語構文解析システム KNP, .

4. Manabu Sasayama, Kazuyuki Matsumoto, Annotation and Evaluation of Utterance Intention Tag for Interview Dialogue Corpus, NLPIR, 2021.


# 人間同士の雑談における話題遷移モデリング

岸波洋介 ${ }^{1}$ 赤間怜奈 1,2 佐藤志貴 1 徳久良子 ${ }^{1}$ 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
yosuke.kishinami.q8@dc.tohoku.ac.jp
\{akama, shiki.sato.d1, tokuhisa, jun.suzuki,kentaro.inui\}@tohoku.ac.jp

## 概要

対話システムが現在話している話題から別の話題へ自然に遷移させることは，能動的に対話を主導する雑談対話システムの実現に重要な要素である.これまでの研究では，単語分散表現の類似度や知識グラフの概念間の結びつきなど，様々な工学的手法で話題遷移が表現されている. 本研究ではこれらの工学的手法を「人がおこなう話題遷移のモデルとなっているか」という観点で分析する。分析の結果，それぞれの工学的手法のみで表現できる話題遷移が存在する可能性が示唆された。

## 1 はじめに

大規模な事前学習済みモデルの利用などにより，雑談対話システムは，人間と同等レベルの自然な応答を生成できるようになってきている $[1,2,3,4]$. しかしながら, 現在のシステムは，与えられた対話文脈に対して適切な応答を返すことだけに着目し，システム側が能動的に対話を主導する振る舞いをすることは少ない．そのため，対話システムが能動的に対話を主導する能力を実現することを目的とした研究が盛んにおこなわれるようになった $[5,6,7,8,9,10,11]$. 能動的に対話を主導する能力を実現するうえで，対話システムが自然に話題を遷移させる行為は重要な要素であると考えられる。先行研究では, ある話題から別の話題に遷移させる際に，さまざまな手法を用いて遷移先の話題を決定している。代表的なものとして，ある話題からその話題を表す単語分散表現とのコサイン類似度が高い話題へ遷移させる手法 $[5,6]$, ある話題から，その話題を表現する概念が知識グラフ上で数ホップのエッジで隣接している概念へ話題を遷移させる手法 $[8,9,12,13,14]$ などが存在する.

本研究では，これらの手法と人間が実際の対話のなかでおこなう話題遷移との関係性を明らかにす
るために，これらの工学的手法を「人がおこなう話題遷移のモデルとなっているか」という観点で分析する．具体的には，与えられた話題遷移が人が実際に対話でおこなう自然な話題遷移であるか，そうでないかを判定する二值分類タスクを提案する。さらに，実験では前述の代表的な工学的手法について，提案するタスクを用いて分析をおこない，各手法の特性について調査する. 分析の結果，それぞれの手法のみで表現できる話題遷移が存在する可能性が示唆された。このような分析により各工学的手法と人の話題遷移との関係性が明らかになれば，人の話題遷移に関する新たな知見となるだけでなく，対話システムにおいて話題遷移を表現する既存手法の改良や新規手法の考案にもつながると考えている.

## 2 関連研究

話題遷移の表現ある話題から別の話題へ遷移させる行為は，人同士の対話の中でもしばしばおこなわれる重要な対話行為であり，このような振る舞いを対話システムで実現することは対話システムが能動的に対話を主導する能力を実現するうえで重要である．Tang らは話題間の繋がりを表現する際，単語分散表現のコサイン類似度を繋がりの自然さの指標として用いている [5]. 一方，Zhou らは ConceptNet 上の概念間の隣接関係を話題の繋がりを表現する際に用いている [13]. また，坂田らは Wikipedia の文書内のハイパーリンク情報を話題の繋がりを表現する際に用いている [11]. その他にも，山内らは Web 検索により取得したヒット件数の情報を用いている [12]. このように先行研究ではさまざまな手法で話題遷移を表現しているが，これらの手法が人間がおこなう話題遷移をモデリングするかという観点で手法間の比較はなされていない。本研究ではこの観点で手法間の比較をおこなう．特に本論文では一歩目として，主要な手法である単語分散表現と知識グラフを用いた手法を比較する。

図 1 分析タスクの概要. 図における○は「遷移可」，×は「遷移不可」を示す.

話題遷移の検出対話における話題遷移に着目した研究の一つに，話題遷移の検出に関する研究がある. 谷津らは日本語の自由対話データに対し, 話題遷移箇所へのラベル付与をおこない，対話におけるラベル位置の分析をおこなっている [15]. また, Xie らは対話において話題が遷移している箇所のアノテーションを付与した TIAGE というデータセットを構築し，話題遷移箇所の検出タスクなどを提案している [16]. また Soni らは，話題遷移検出だけでなく, 既存の対話コーパスに基づいて話題の遷移回数と対話の長さの関係などを分析している [17]. これらの研究では主に話題が遷移するタイミングに着目している。一方で本研究では遷移する話題の内容に着目し，人間が対話のなかでおこなう話題遷移を既存の工学的手法がモデリングするか分析する.

## 3 分析方法

本節では，話題遷移を表現する工学的手法が「人の話題遷移のモデルとなっているか」を分析するための分析方法について述べる.

## 3.1 タスク定義

本研究では，ある手法が人の話題遷移をモデリングするならば，人間同士の対話において実際に発生している自然な話題遷移と，人がおこなわないような不自然な話題遷移を適切に識別可能であると考え，この識別をおこなう二値分類タスクを設計する. 図 1 にタスクの概要を示す. 二つの話題 $a, b$ が与えられた時, 話題 $a$ から話題 $b$ への話題遷移が自然であるならば「遷移可」, 不自然であるならば「遷移不可」のラベルを付与する。ここで話題は，人間がおこなった対話における 1 発話に含まれる話題語の集合と定義する。それらを対話ごとに時系列順に並べ，隣接する話題ぺアを正例，つまり正解ラベルとして「遷移可」を付与する。また，同一対話内であるかに関わらず無作為に抽出したぺアを負例，つまり正解ラベルとして「遷移不可」を付与する。このような二値分類タスクを各工学的手法で実施することで，後述する F1 值などの定量的な評価値を用いた比較，分析が可能になると考える.

## 3.2 評価方法

評価指標としては，各手法が「遷移可」と判定した事例のうち実際に「遷移可」のラベルが付与された事例である割合の適合率，「遷移可」のラベルが付与された事例のうち，各手法が「遷移可」と判定できた割合の再現率，その調和平均である $\mathrm{F} 1$ 値を使用する.

## 4 実験

3節で述べた二値分類タスクを用いて，主要な工学的手法を「人の話題遷移のモデルとなっているか」という観点で分析する。

## 4.1 データセット

ここでは分析で使用する二值分類タスクのデー タセット，つまり話題 $a, b$ の作成方法，および正解ラベルの付与方法について述べる. 名大会話コーパス [18] から無作為に抽出した 50 対話について，各発話を形態素解析器 MeCab [19] を用いて形態素解
表 1 抽出された話題の例. 下線は形態素解析で名詞と判定された単語を表す.

表 2 作成した二値分類タスクデータセットの例.

析し，話題語を抽出する。3 節で述べたように，このようにして抽出された話題語の集合を話題と呼ぶ. 話題語は形態素解析で名詞と判定された単語のうち, 2 文字以上かつ 2022 年 8 月時点で日本語 Wikipedia の見出し語となっている単語とした. 実際に抽出された話題の例を表 1 に示す. 用意した話題について，3節で述べたような基準に従い「遷移可」，「遷移不可」のラベルを付与した. このような手続き1)により，最終的に「遷移可」の事例 15,926 個，「遷移不可」の事例 15,723 個を分析用データセットとして得た. 作成したデータセットの例を表 2 に示す.

## 4.2 比較手法

本研究では，先行研究において対話における話題遷移を表現するために広く利用されている単語分散表現，知識グラフを用いた手法の二つを比較，分析する。

単語分散表現ある話題とそれに続く話題の繋がりの自然さを話題間の単語分散表現の類似度で表現する手法である。単語分散表現には日本語 Wikipedia エンティティベクトル [20]を使用した.話題 $a$ に含まれる話題語集合と話題 $b$ に含まれる話題語集合について，全ての組み合わせについて分散表現のコサイン類似度を計算し，そのうち一組でもコサイン類似度が閾値 $n$ 以上である組が存在すれば 「遷移可」，一組も存在しなければ「遷移不可」とラベルを付与することとした. 閾値 $n$ として， 0.6,0.4 を用いた。

知識グラフある話題とそれに続く話題の繋がりの自然さを話題間が知識グラフ上で何ホップのエッジで隣接しているかで表現する手法である. 知識グラフには ConceptNet5 [21] を使用した. 話題 $a$ に含まれる話題語集合と話題 $b$ に含まれる話題語集合について, 全ての組み合わせについて知識グラフ上の概念間が何ホップのエッジで隣接しているかを計算し, そのうち一組でも $m$ ホップ以内のエッジで隣接している組が存在すれば「遷移可」, 一組も存在しなければ「遷移不可」とラベルを付与した．閾値 $m$ として，1,2を用いた。

## 4.3 実験結果

実験結果を表 3 に示す. 表から，単語分散表現の判定基準「話題語のコサイン類似度 0.4 以上」が最も F1 値が高いことが確認できる.このことから，単語分散表現を用いた手法は少なくとも名大会話コーパス上で発生するような話題遷移については,知識グラフを用いた手法よりもより高性能なモデルとなっている可能性が示唆された.

また，「遷移可」のラベルを付与した事例 15,926 個の各手法における判定結果を調査したところ，単語分散表現のみで「遷移可」と正しく判定できた事例が $16 \%$ ，知識グラフのみで「遷移可」と正しく判定できた事例が $10 \%$ 存在することがわかった ${ }^{2}$. このことから，それぞれの手法のみで表現できるような話題遷移が存在する可能性が示唆される。表 4 および表 5 に，実際にそれぞれの手法のみで正解できた事例を示す。このような話題遷移の定性的な特徴に関する分析は今後の課題としたい。

## 5 タスクの信頼性

実験で作成した二値分類タスクのデータセットを定性的に確認したところ，本タスクの信頼性をさらに高められる方向性を大きく二つ確認した.

2） 単語分散表現の閾値は 0.4 , 知識グラフの閾値は 2 としたときの結果について調査したものである。なお，両手法で 「遷移可」と正しく判定できた事例は $40 \%$ ，両手法で誤った判定をしていた事例は $34 \%$ であった.
表 3 実験結果.

表 4 単語分散表現のみで「遷移可」と正しく判定できた例。

表 5 知識グラフのみで「遷移可」と正しく判定できた例.

話題の抽出方法表 1 の 3 の例には，抽出した話題語集合のなかに「とき」という単語が含まれている.しかしながら，このような単語が対話における話題を表すような話題語として適切かどうかは議論の余地があると考える. 今後の展望として, 言語学的知見も参考に話題語の定義について調査するとともに，上記のような話題語が抽出されないような方法を検討していく必要があると考える. 方法のひとつとして，TF-IDF などといった情報量的な観点を導入し，それに基づいた抽出をおこなうなどが考えられる。

負例の作成方法表 2 の 5 の例は「遷移不可」のラベルが付与されているが，話題 $a, b$ はどちらも食べ物に関する話題であり，人間同士の対話のなかでも自然に遷移する可能性があると考えられる. 本研究では「遷移不可」のラベルを付与するデータセットを作成する際に無作為に抽出した話題を用いているため，この例のように自然な話題遷移も「遷移不可」とラベルが付与されてしまう可能性がある. し
たがって，このような事例を除去する方法や，このような事例を未然に防ぐようなデータセット作成方法について検討していく必要があると考える．このような課題は本研究で設計したタスク以外でも発生するものであり, 同様の課題に対処するような研究 [22] の知見が参考になると考えられる.

## 6 おわりに

本研究では，対話における話題遷移を表現する工学的手法を「人がおこなう話題遷移のモデルとなっているか」という観点で分析するために，与えられた話題遷移が人が実際に対話でおこなう自然な話題遷移であるかどうかを判定する二値分類タスクを設計した. さらに，実験では主要な話題遷移の表現手法である単語分散表現，知識グラフを用いた手法について，設計したタスクを解くことで分析をおこなった. 実験の結果，それぞれの手法のみで表現できる話題遷移が存在する可能性が示唆された.

本研究では主要な話題遷移の表現手法として単語分散表現，知識グラフを用いた手法について分析したが，話題遷移を表現する手法はこの他にもいくつか存在する。したがって，こうした手法も追加し網羅的な分析をおこなうことが今後の課題の一つである。また，人間同士の対話においては，しばしば 「ところで」や「そういえば」のような話題転換語を用いた話題遷移も発生する。したがって，これらの話題転換語の使用と絡めた分析をおこなうことも今後の課題の一つである. さらに，本研究では人間が実際におこなった自然な話題遷移として名大会話コーパスを使用したが，より網羅的に人間の話題遷移を扱うため，また，対話コーパスごとの特性と絡めた分析をおこなうためにその他の対話コーパスを用いることも今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP22K17943, JP21J22383, JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものです.

## 参考文献

[1] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a Human-like Open-Domain Chatbot. In arXiv:2001.09977, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B. Dolan. DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation. In Proceedings of ACL, pp. 270-278, 2020.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for Building an Open-Domain Chatbot. In Proceedings of EACL, pp. 300-325, 2021.

[4] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, Morteza Behrooz, William Ngan, Spencer Poff, Naman Goyal, Arthur Szlam, Y-Lan Boureau, Melanie Kambadur, and Jason Weston. BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage. In arXiv:2208.03188, 2022 .

[5] Jianheng Tang, Tiancheng Zhao, Chenyan Xiong, Xiaodan Liang, Eric Xing, and Zhiting Hu. Target-Guided Open-Domain Conversation. In Proceedings of ACL, pp. 5624-5634, 2019.

[6] Jinghui Qin, Zheng Ye, Jianheng Tang, and Xiaodan Liang. Dynamic Knowledge Routing Network for Target-Guided Open-Domain Conversation. In Proceedings of AAAI, pp. 8657-8664, 2020.

[7] Peixiang Zhong, Yong Liu, Hao Wang, and Chunyan Miao. Keyword-Guided Neural Conversational Model. In Proceedings of AAAI, pp. 14568-14576, 2021.

[8] Yosuke Kishinami, Reina Akama, Shiki Sato, Ryoko Tokuhisa, Jun Suzuki, and Kentaro Inui. Target-Guided Open-Domain Conversation Planning. In Proceedings of COLING, pp. 660-668, 2022.

[9] Zhitong Yang, Bo Wang, Jinfeng Zhou, Yue Tan, Dongming Zhao, Kun Huang, Ruifang He, and Yuexian Hou. TopKG: Target-oriented Dialog via Global Planning on Knowledge Graph. In Proceedings of COLING, pp. 745755, 2022.

[10] Wenquan Wu, Zhen Guo, Xiangyang Zhou, Hua Wu, Xiyuan Zhang, Rongzhong Lian, and Haifeng Wang. Proactive Human-Machine Conversation with Explicit Conversation Goal. In Proceedings of ACL, pp. 37943804, 2019.
[11] 坂田亘, 吉越卓見, 田中リベカ, 黒橋禎夫. Wikipedia のリンク情報に基づく話題遷移シナリオの自動生成. 言語処理学会年次大会発表論文集, pp. 637-641, 2021.

[12] 山内祐輝, Graham Neubig, Sakriani Sakti, 戸田智基, 中村哲. 対話システムにおける用語間の関係性を用いた話題誘導応答文生成. 人工知能学会論文誌, Vol. 29, No. 1, pp. 80-89, 2014.

[13] Kun Zhou, Yuanhang Zhou, Wayne Xin Zhao, Xiaoke Wang, and Ji-Rong Wen. Towards Topic-Guided Conversational Recommender System. In Proceedings of COLING, pp. 4128-4139, 2020.

[14] Karin Sevegnani, David M. Howcroft, Ioannis Konstas, and Verena Rieser. OTTers: One-turn Topic Transitions for Open-Domain Dialogue. In Proceedings of ACLIJCNLP, pp. 2492-2504, 2021.

[15] 谷津元樹, ジェプカラファウ, 荒木健治. 自由対話からの話題遷移検出のためのタグ付け調査. 言語処理学会年次大会発表論文集, pp. 236-239, 2014.

[16] Huiyuan Xie, Zhenghao Liu, Chenyan Xiong, Zhiyuan Liu, and Ann Copestake. TIAGE: A Benchmark for TopicShift Aware Dialog Modeling. In Findings of EMNLP, pp. 1684-1690, 2021.

[17] Mayank Soni, Brendan Spillane, Emer Gilmartin, Christian Saam, Benjamin R. Cowan, and Vincent Wade. An Empirical Study of Topic Transition in Dialogue. In arXiv:2111.14188, 2021.

[18] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written Japanese in contrast: exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[19] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of EMNLP, pp. 230237, 2004.

[20] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎 . Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会年次大会発表論文集, pp. 797-800, 2016.

[21] Robyn Speer, Joshua Chin, and Catherine Havasi. ConceptNet 5.5: An Open Multilingual Graph of General Knowledge. In Proceedings of AAAI, pp. 4444-4451, 2017.

[22] Shiki Sato, Reina Akama, Hiroki Ouchi, Jun Suzuki, and Kentaro Inui. Evaluating Dialogue Generation Systems via Response Selection. In Proceedings of ACL, pp. 593-599, 2020.

## A 両手法で正解・不正解の事例

表 6 に正解ラベルが「遷移可」である事例のうち，単語分散表現, 知識グラフの両手法で「遷移可」と正しく判定できた例を示す. また，表 7 に正解ラべルが「遷移可」である事例のうち，単語分散表現，知識グラフの両手法で「遷移不可」と誤って判定された例を示す.

表 6 単語分散表現，知識グラフの両手法で「遷移可」と正しく判定できた例.

表 7 単語分散表現, 知識グラフの両手法で「遷移不可」 と誤って判定された例.これらの事例の正解は「遷移可」 である.