# ペルソナ更新型対話システムにおける 効果的なペルソナ選択手法の分析

吉田快 品川政太朗 須藤 克仁 中村哲
奈良先端科学技術大学院大学
\{yoshida.kai.yf1, sei.shinagawa, sudoh, s-nakamura\}@is.naist.jp

## 概要

ペルソナ対話システムにペルソナの更新を導入す る場合，蓄積されたペルソナを応答生成に活用する ためにペルソナの選択方法が重要となる. 従来の文 ベースの類似度によるペルソナ選択手法は，表層的 に似た表現の文にも高い類似度を与えるため，問題 がある. 本研究では, ペルソナ選択手法の改善のた めに，ペルソナ選択について分析を行い，入力文と ペルソナ文に含まれる名詞語の類似度を用いた選択手法が有望であることを示す．また，名詞べースと 文ベースの選択手法による応答生成文をユーザ評価 により比較することで，両者の比較を行った. その 結果，ペルソナを常に用いた応答をすると，応答の 自然性が低下することが分かった。

## 1 はじめに

ペルソナ対話システム $[1,2,3,4]$ はペルソナと呼 ばれるプロフィール情報を持つ対話システムの一種 である、ペルソナ対話システムは近年の機械学習モ デルの発達により増加している, 生成べースの雑談対話システム [5, 6] における応答の不整合問題 [3] を 解決することを目的としている. 本論文では，ペル ソナ文の更新が可能なペルソナ対話システムに焦点 を当てる. ペルソナ更新は，ペルソナ対話システム にとって重要である.なぜなら，ペルソナ対話シス テムの生成文は, 対話の後で生成されるシステムプ ロファイルとも整合していなければならないからで ある. たとえば，図 1 のように，ユーザがシステム プロファイルを引き出すために「Hello what are you doing today?」という質問をすると，「I am student」と いうペルソナ文が存在しないにもかかわらず，「I am student」を含む応答が生成されることがある.この 現象は，いわゆる Hallucination としてよく知られ ており，大規模な事前学習済みのニューラル言語モ

図 1 ペルソナ更新可能な対話システムの例

デルに基づく対話システムでしばしば発生する.

このような Hallucination に対応するために，ペル ソナ対話システム分野ではペルソナ更新という概念 が新しいタスクとして導入されている $[7,8]$. ペルソ ナ更新とは Hallucination によって得られた，ペルソ ナ文を含む文を新しいぺルソナ文として保存し，シ ステムが応答生成時に利用できることを指す。シス テムが応答生成時に利用できるようにすることで，後の対話で生成された情報と一致する応答を生成す るようにシステムを制約することができる. ペルソ ナ対話システムにペルソナ更新を導入した場合，ぺ ルソナ文は徐々に増加することになる。システムの 応答を継続的に過去のシステム応答におけるペルソ ナ（ペルソナ更新によって蓄積されたペルソナ）に 対して一貫させるには，与えられたユーザ入力に対 して, システムが応答を生成するために蓄積された 大量のペルソナ文から適切なペルソナ文をどのよう に選択するかという問題が生じる。

最近の研究 $[7,8]$ では，ユーザ入力との文同士の 類似度を用いて上位 $\mathrm{N}$ 個のペルソナ文を選択するこ とが提案されている.これにより，ユーザ入力に関連した応答を生成するようにシステムが制約を受 けるが，表面的な類似性で無関係なペルソナ文を選択することが考えられる。しかし，ペルソナの選択方法に着目した研究は少なく，選択戦略も確立され ていない. そこで本研究では, Integrated gradient [9]

を用いて，PERSONA-CHAT データセットのいくつ かの対話を分析し, システムの応答のペルソナ文と ユーザ発話への依存性を検討する.この分析の結果 から名詞の類似度を用いた選択法を提案し, 実際に 文の類似度と名詞の類似度に基づく応答生成の結果 をユーザ評価により評価を行う。

## 2 応答生成における入力の寄与度の 分析

良いペルソナ選択とは，多くの候補の中から応答生成に適したペルソナやそのトークンを選択できる ことである.ここでは，システムがペルソナを用い た応答をするか否かを予測する分類器を構築し，入力であるユーザ発話とペルソナ文において分類に寄与する入力トークンを分析することで，優れたぺル ソナ選択器を検討する. 同様に, システムがペルソ ナを用いて Hallucination を起こすか否かを予測する 分類器も構築し, 寄与する入力トークンを分析する ことで，優れたペルソナ選択器を検討する.

入力の寄与度を計算するために, Integrated Gradients [9] を使用する. また，寄与度の計算のため に必要な分類器の構築のためのデータセットの前処理については，付録 A に記載する。

## 2.1 ペルソナを用いた応答生成における ユーザ発話とペルソナの寄与度

ペルソナを用いた応答生成に対するユーザ発話文 とペルソナ文の寄与度を計算するには, ペルソナ使用予測器が十分な精度を持つ必要がある. このペル ソナ使用予測器を学習データの PERSONA-CHAT(付録 A) によって評価したところ Accuracy は 0.985, F1 は 0.979 (Recall: 0.969, Precision: 0.989) となり，十分 な精度を持つことが確認できた。ここで，既知の入力に対する寄与度を求めるのが目的であるため, 学習データで評価を行った.このペルソナ使用予測器 を用いて, Integrated Gradientsを適用し, 各応答に対 するペルソナ文とユーザ発話の寄与度を算出した.

分析には, 応答への寄与度が最も高い単語を上位 3 つまでカウントした. 図 2 は, 上位 3 語がどの品詞タグに属するかと, 応答がペルソナを含んでいる か（Label 1）と含んでいないか（Label 0）を表し ている.なお, All tokens は, ユーザ発話またはぺ ルソナ文に出現した単語数を表し, 可視化のため に 10 で割っている. その結果, 入力トークン全体 では代名詞 (PRON), 名詞 (NOUN), 特殊トークン

図 2 ペルソナを使用した応答生成に寄与した token の品詞上位 $3 \supset$

(SP_TOKEN) が多いものの, ペルソナを使った応答生成では, 名詞, 特殊トークン, 代名詞の寄与度が 高いことが分かった. そこでさらに, 名詞語の固有表現に着目して, ユーザ発話とペルソナ文の関係を 調べた. 寄与度の高い名詞語に注目し, 図 3 に示す ように，ユーザ発話とペルソナ文の固有表現の出現頻度の相関を可視化した.ここでは， $\mathrm{spaCy}^{11}$ を固有表現抽出のために用いた. その結果，ペルソナ文と

図 3 ペルソナを使用した応答において最も寄与度が高 かった token の固有表現の出現頻度の相関

ユーザ発話が同じ固有表現を持つ場合，固有表現の 出現頻度の相関が高いことが分かった.

## 2.2 Hallucination 発生時のユーザ発話と ペルソナの寄与度

2.1 節と同様に，生成された応答の Hallucination に対するユーザ発話文とペルソナ文の寄与度を 計算するには, Hallucination 予測器が十分な精度 を持つ必要がある.この Hallucination 予測器を学習データの PERSONA-CHAT(付録 A) で評価したと ころ Accuracy 0.988, F1 スコア 0.980 (Recall: 0.989,

1) https://spacy.io/

Precision: 0.971）となり，十分な精度を持つことが 確認できた。ここでも，2.1 節と同様に既知の入力 に対する寄与度を計算するのが目的のため, 学習 データで評価を行った. この Hallucination 予測器を 用いて，システムが生成した応答に対して 2.1 節と 同様に Integrated Gradients を適用し, 各応答に対す るペルソナ文とユーザ発話の寄与度を算出した. 分析には，応答への寄与度が最も高い単語を上位 3 つ までカウントした. 図 4 は, 上位 3 語がどの品詞タ グに属するかと, Hallucination が発生した（Label 1）か，していない（Label 0）かを示している.な お，All tokens は，ユーザ発話またはペルソナ文に 出現した単語数を表し, 可視化のために 10 で割っ ている. 図 4 から分かることは，ラベル０の予測に

図 4 Hallucination が起こる応答生成に寄与した token の 品詞上位 $3 \supset$

は特殊トークンの寄与が大きく, ラベル 1 の予測に は名詞，動詞，代名詞の寄与が大きいことである.特に，特殊トークンは 13 万文中 11 万文とかなり高 い寄与度であった.

図 5 Hallucination が起こる応答において最も寄与度が高 かった token の固有表現

さらに，名詞語の固有表現に着目して，ユーザ発話とペルソナ文の関係を調べた. 寄与度の高い名詞語に注目し，ユーザ発話とペルソナ文の名前付き固有表現の共起の相関を図 5 のように可視化した. そ の結果, 図 3 が示すペルソナ使用の結果と同様に, ペルソナ文とユーザ発話が同じ固有表現を持つ場合，固有表現の出現頻度の相関が高いことが分かっ た. また, Hallucination と非 Hallucination に分類され たサンプルを別々に集計したところ，Hallucination に分類されたサンプルでは，最も寄与度の高い トークンは発話中の 38,868 トークンであり，ペル ソナ文中は 2,958 トークンのみであった. また，非 Hallucination に分類されたサンプルでは, 最も寄与度の高いトークンは，発話中の 36,662 トークンであ り，ペルソナ文中の 52,943 トークンであることがわ かった.これらの結果は, Hallucination がユーザ発話 のみに依存していることを示唆している。

## 3 文ベースと名詞ベースによるペル ソナ選択手法の比較

2 章で得られた知見を基に，名詞べースのぺ ルソナ選択手法が文ベースのペルソナ選択方法 よりも優れているのか比較を行う，具体的には， PERSONA-CHAT で fine-tuning した BERT2BERT を 用いて構築した応答生成モデルを基に, 文同士の類似度と提案する名詞べースの選択法の 2 通りに分け て比較を行う. 文べースの選択では Sentence BERT を用いてペルソナ文と入力文をベクトル化し，それ らのコサイン類似度の一番高いものを選択する。名詞による選択では，ペルソナ文と入力文に含まれ る名詞をそれぞれ word2vec によってエンコードし， それらのコサイン類似度の一番高い名詞を含むペル ソナを選択する。それぞれの選択手法を用いて一つ のペルソナ文を決定し，このペルソナ文に条件づけ られた応答生成を行い，得られたそれぞれの応答文 に対してユーザ評価を実施する。評価者は 5 人で各 40 サンプル，TOEIC650 点以上という条件で実験を 行った (内一人は英語母語話者). 評価データはテス トデータ中から 2 通りの選択方法によって異なるぺ ルソナが選択されたデータ2)からランダムに 40 件選択した。評価者には大力となるペルソナ文，ユー ザ発話，生成された応答の 3 種類の文を提示し，以下の 2 つの項目について 5 段階で評価を行った.

一貫性 生成した応答に含まれるペルソナが与えら れたペルソナに一貫しているか

2） テストデータ 7,793 件中，4,822 件で選択されたペルソナ が異なった

図 6 (A) 文ベースと (B) 名詞ベースの各サンプルの平均值の分布

自然性 文脈に沿ったペルソナを提示できているか

## 3.1 ユーザ評価結果

ユーザ評価の全体の評価項目ごとの平均値は表 1 に示すように，提案手法である名詞ベースの選択手法の方が低い結果となった.

表 1 ユーザ評価の各サンプルの平均値

各サンプルにおける平均値の分布を図 6 に示す.自然性に関しては值にばらつきが見られなかった が，一貫性は提案手法である名詞ベースの選択手法 の方が最大值が大きいことが確認できた.

## 4 考察

2.1 節 の実験結果から名詞がペルソナを用いた 応答生成に大きな影響を与えることが分かった. PERSONA-CHAT の会話には，他の対話者の発話内容に関連した応答が含まれるため，これは妥当な結果である. そのため, 図 3 に示すように，ユーザ発話の名詞語が応答生成において同じ名前の固有表現 を持つ名詞語を誘発させると考えられる. また， 2.2 節の実験結果から名詞トークンが Hallucination の誘発に最も影響力があることがわかった.この結果は， 2.1 節で述べたように，他の対話者の発話内容に関連した応答が含まれる PERSONA-CHAT データセッ トの特徴も反映していると思われる.

名詞語によるペルソナ選択の優位性を示すため に，ユーザの発話とペルソナとのコサイン類似度を 用いた文べースの類似度（赤）と名詞の単語ベース の類似度（青）の比較を図 7 に可視化した. 図 7 よ り，名詞ベースの類似度は文ベースの類似度より広 く分布していることが確認できた. 分布の広さは 2

図 7 発話とペルソナのコサイン類似度の文ベースの類似度（赤）と名詞の単語ベースの類似度（青) の分布

文間の違いを捉えられていると考えることができ，名詞べースの類似度によって効果的な選択が可能 であることが示唆される.このことから判断して， ユーザ発話とペルソナ文の名詞ベースの類似度は,選択手法として有効であると考えることができる。

ユーザ評価において実際に選択されたペルソナを 確認すると, どちらの手法のスコアも低い場合の例 として，入力に対応したペルソナが無い場合があっ た (付録 A). 両方の手法においてぺルソナを開示す るべきでない場面にもペルソナを開示して自然性が 下がるケースが多々見られたため，そのケースへの 対応も必要であると考える。一方で，そのような場合にペルソナが選択されたとしても，モデルは常に ペルソナを含む応答を生成してはいなかった.

以上のことから，PERSONA-CHAT の対話では,開示できる適切なペルソナが無い場合にペルソナを 用いると応答の自然性が低下することが確認でき た. そのため，入力するべきペルソナが無い時は， ペルソナを選択しない工夫が選択には必要である.図 7 では，名詞による選択の方が優れていることが 示唆されたが，ユーザによる評価では文べースの選択より劣っている結果となった. これは評価データ がペルソナを開示できるような入力を多く含んでい なかったため，ペルソナの選択が必要な事例が少な く, 評価が正しくできなかった可能性がある.

## 5 まとめ

本研究では，ペルソナ更新により適したペルソナ 選択のために，PERSONA-CHAT データセットを分析した. 分析の結果, 名詞ベースの選択手法が良い 選択であることが示唆され，適切でない場面でペル ソナの開示を行うと，応答の自然性が下がるという ことが確認された.

## 謝辞

本研究は JSPS 科研費 JP21K17806 の助成を受けた ものである.

## 参考文献

[1] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In ACL (1), 2018.

[2] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, Online, August 2021. Association for Computational Linguistics.

[3] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Pierre-Emmanuel Mazaré, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2775-2779, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[5] Iulian Vlad Serban, Ryan Lowe, Laurent Charlin, and Joelle Pineau. Generative deep neural networks for dialogue: A short review. arXiv preprint arXiv:1611.06216, 2016.

[6] Oriol Vinyals and Quoc Le. A neural conversational model. arXiv preprint arXiv:1506.05869, 2015.

[7] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Hongjin Qian, Zhicheng Dou, Yutao Zhu, Yueyuan Ma, and Ji-Rong Wen. Learning implicit user profile for personalized retrieval-based chatbot. In Proceedings of the 30th ACM International Conference on Information \& Knowledge Management, pp. 1467-1477, 2021.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 33193328. PMLR, 06-11 Aug 2017.
表 2 入力に対応したペルソナが無いと考えられる例入力文：

"that sounds good, i bet you'd be a good teacher ."

ペルソナ文：

1. hey there i'm 23 and i love food

2. i also like to cook but i'm not very good at it

3. i have been trying all types of food everywhere i go

4. i own a yacht and i rent it out when i'm not using it

5. i've been traveling the world for a years

入力文:

"lol . i thought maybe my tv watching had fried my brain for a minute ."

ペルソナ文 :

1.i am single and with two dogs

2.i do not drink alcohol

3.i like to play chess

4.i love taking bubble baths

入力文：

"i don't like it either . love music"

ペルソナ文 :

1.i hate math class

2.i ride the bus to school

3.i'm 13 years old

4.i' $\mathrm{m}$ on the soccer team

5.my brother is older than me

## A 付録

## Integrated Gradients

応答生成モデルがペルソナを強調した応答を生成する場合や Hallucinationを引き起こす場合に，入力のどの部分が応答生成に強く影響するかを Integrated Gradients を用いて調べる. $i^{t h}$ 次元の入力 $x$ とベースライン $x^{\prime}$ に対する Integrated Gradients は,式 (1) のように定義される.ここで， $\frac{\partial F(x)}{\partial x_{i}}$ は $i^{t h}$ 番目の $F(x)$ の勾配である.

Integrated Gradients は，デフォルトで 0 に設定さ れているべースライン $x^{\prime}$ から入力 $x$ までの勾配を 積分し, 入力とべースラインの差と積を取ることで 寄与度を計算する. 文ベクトル $x$ とその各トークン $x_{i}$ に Integrated Gradients を適用することで，各トー クンの寄与度を求めることができる。

$
I G_{i}(x)::=\left(x_{i}-x_{i}^{\prime}\right) \int_{\alpha=0}^{1} \frac{\partial F\left(x^{\prime}+\alpha \times\left(x-x^{\prime}\right)\right)}{\partial x_{i}} d \alpha
$

## 寄与度分析のための分類器構築

Sect. 2 で述べた Integrated Gradient を用いた分析 には分類モデルの構築が必要となる．2つの分析に は，それぞれ 2 つの 2 值分類モデルを用いた. 最初の 分析では，ペルソナ使用予測モデルを用い，システ ムが生成した応答がペルソナ文に強く影響されてい るかを予測した. 2 つ目の分析では, Hallucination 予測モデルを用い，システムが生成した応答が，ユー ザの発話やペルソナ文から判断して, Hallucination を含んでいる可能性があるかどうかを予測した.

これらの 2 つのモデルはユーザの発話と複数のペ ルソナ文からなる 2 種類の入力で学習させた. 学習 のために，入力は分割トークン $<S E P>$ を用いて次 のように結合される。

$
\begin{aligned}
<C L S> & \text { utterance }<S E P>P_{1} \\
& <S E P>\ldots<S E P>P_{N}<S E P>
\end{aligned}
$

ここで $P_{N}$ は $\mathrm{N}$ 番目のペルソナを表す. また，分類器の学習のために, 事前学習された BERTを PERSONA-CHAT を用いてファインチューニングし た. 2 つの分類モデルを学習するためのターゲット ラベルは，自動でアノテーションを行った. 発話文 とペルソナ文のどれかが同じ名詞を含んでいる場合に 1 ，それ以外に 0 をラベル付けした. 例えば， ペルソナ「i like shoot a bow」と発話「i have bow」は 「bow」という名詞を共有しているため，「1」とラべ ル付けした. 結果として，131,431 件中ラベル 0 は 84,440,ラベル 1 は 46,991となった.

Hallucination 分類モデルでは，応答と発話文が次 の 4 つのルールを満たす場合，1 とラベル付けした.

1. 応答文が 4-20 語で構成される

2. 応答文が“'”か “my”を含む

3. 応答文に動詞, 名詞, 代名詞, 形容詞のうち少 なくとも 1 つの単語が含まれている

4. 発話文と応答文が同じ名詞を含んでいない それ以外の場合は 0 とした. 結果として，ラベル 0 が 89,605 件，ラベル 1 が 41,826 となった.

## 入力に対応したペルソナが無いと考えられる例

入力文に対して，応答する文に含められそうなぺ ルソナが無かった例を表 2 に示す.

多くの場合，これらは聞かれたことに対するペル ソナが無い場合 (表 2 一つ目) や，ユーザに関する話題が中心となっているものであった.
 吉田快 品川政太朗 須藤 克仁 中村哲 奈良先端科学技術大学院大学 \{yoshida.kai.yf1, sei.shinagawa, sudoh, s-nakamura\}@is.naist.jp  