# エントレインメント尺度および戦略が 対話システムの評価に与える影響の調査

金崎 翔大 ${ }^{1,2}$ 河野誠也 ${ }^{2}$ 湯口 彰重 3,2 桂井 麻里衣 1 吉野 幸一郎 2
1 同志社大学大学院理工学研究科 2 理化学研究所ガーディアンロボットプロジェクト
3 東京理科大学先進工学部
\{kanezaki21,katsurai\}@mm.doshisha.ac.jp
\{seiya.kawano, koichiro.yoshino, akishige.yuguchi\}@riken.jp

## 概要

人間同士の会話では, やりとりを重ねるうちに話者のふるまいが同調するエントレインメント現象がしばしば発生する。こうした現象を扱う対話システムを構築しようとする場合，どのようなエントレインメント尺度を活用するか，どのようなタイミングでどのようなエントレインメント度合いを用いるかの 2 点を明らかにする必要がある. 本研究ではニューラル雑談対話モデルをエントレインメント度合いに応じてリランキングするシステムを用い，複数の語彙的エントレインメント尺度, および複数のエントレインメント戦略を網羅的に組み合わせた主観評価実験を行った。

## 1 はじめに

対話が進行するにつれて, 語彙, 構文構造, 文体,韻律など，様々な要素において話者間のふるまいが類似する現象をエントレインメントとよぶ. エントレインメントは対話タスクの成功率や自然さと相関することが報告されており，その追跡を通じて対話システムの性能を評価しようとする試みがある $[1,2,3,4]$.

我々はこれまでに，対話文脈においてエントレインメントを柔軟に考慮するように応答文を選択する手法を構築してきた [5, 6, 7]. この中で, Word Mover's Distance (WMD) に基づく尺度 [2,3] と, Bidirectional Encoder Representations from Transformers （BERT）に基づく尺度 [4] の二種類のエントレインメント尺度（スコア）を定義して用いてきた. また，どのような対話文脈でどのようなエントレインメント尺度を持つ応答を選択するか決定
するため，人間による対話コーパスを用いてエントレインメント予測モデルを学習し，目標とする同調度合いを決定するエントレインメント戦略を構築してきた. これらの手法に対してコーパス内の対話履歴を正解データとみなした定量評価実験を行ってきたものの，対話システム構築にあたっては実際のユーザによる評価が重要である。 そこで本研究では，各エントレインメント尺度と，エントレインメント予測モデルにその他の戦略を織り込んだ複数のエントレインメント戦略の組み合わせを用い，エントレインメントを行う対話モデルにおける最適な設定を網羅的に探索する，具体的には，各組み合わせによってリランキングされた対話応答に対してクラウドソーシングによる主観評価実験を行う.

## 2 エントレインメントスコア

エントレインメントスコアは, 発話者 $S_{1}$, 応答者 $S_{2}$ による発話ぺア $\left(U_{S_{1}}, U_{S_{2}}\right)$ に関し，ターゲット発話 $U_{S_{2}}$ に与えられる. 言語的エントレインメントを測定するフレームワークとして Local Interpersonal Distance（LID）[2] が提案されており，このスコア計算に異なる 2 つの指標を用いる.

## 2.1 WMD に基づくスコア

二つの文の類似度を計算するために提案された WMD [8] を用いて, 発話 $U_{S_{1}}, U_{S_{2}}$ 間の単語分散表現空間上での意味的距離をスコアとする $[2,3]$.

$
\operatorname{LID}_{\mathrm{WMD}, U_{S_{2}}}=\mathrm{WMD}\left(U_{S_{1}}, U_{S_{2}}\right)
$

WMD は単語埋め込みを用いた手法であるため，文脈埋め込みと比較して単語の構成性を考慮でき，よりスタイルに焦点を置いたスコアになっていることが期待される.

## 2.2 BERT に基づくスコア

BERT 文脈埋め込み空間におけるコサイン類似度により二つの文の類似度を計算する手法として提案された BERTScore [9] を用いて, 発話 $U_{S_{1}}, U_{S_{2}}$ 間の埋め込み空間上での意味的距離をエントレインメントスコアとする。

$
\operatorname{LID}_{\text {BERT }, U_{S_{2}}}=1-\operatorname{BERTScore}\left(U_{S_{1}}, U_{S_{2}}\right)
$

こちらは発話文全体の内容を考慮したエントレインメントスコアとなることが期待される.

## 3 エントレインメント戦略

エントレインメント戦略の一つとして，人間が行っているエントレインメント戦略の模倣を考える.このため, エントレインメントスコアの予測値 $\mathrm{LIID}_{U_{S_{2}}}$ を予測するモデルを構築する (4.2 節)。また，実際に人間が行っているエントレインメント戦略が最適であるかどうかを確認するため，以下の 2 種類の戦略を試行する。

$
\begin{aligned}
\mathrm{LID}_{\text {oracle }} & =\mathrm{LID}_{U_{S_{2}}} \\
\mathrm{LID}_{\text {min }} & =\min _{R_{i} \in \boldsymbol{R}}\left(\operatorname{LID}_{R_{i}}\right)
\end{aligned}
$

ここで $R_{i}$ は応答候補集合 $\boldsymbol{R}$ から選択された応答候補の一つである. LID $_{\text {oracle }}$ は実際に人間同士の対話データに存在するデータから計算したエントレインメントスコアであり，人間のエントレインメント戦略を模倣した場合に相当する。また LID $_{\text {min }}$ は常に最大限ユーザ発話に同調する発話を選択することに相当する。

## 4 エントレインメントを考慮した 応答リランキング

各エントレインメントスコアおよびエントレインメント戦略の効果を検証するため, 著者らが過去に提案したリランキング手法 [6] を適用する。手法の概要を図 1 に示す. 以下で各モジュールを説明する.

図 1 リランキング手法の概要

## 4.1 ニューラル雑談対話モデル

ニューラル雑談対話モデルは，入力として発話文 $U_{S_{1}}$ を受け取り, 出力として入力発話に対する $n$ 個
の $n$-best 応答候補集合 $\boldsymbol{R}=\left.\{R_{1}, R_{2} \ldots, R_{n}\right.\}$ および応答候補の尤度集合 $\boldsymbol{l}_{\boldsymbol{R}}=\left.\{l_{R_{1}}, l_{R_{2}} \ldots, l_{R_{n}}\right.\}$ を出力する. ただし，応答候補集合 $\boldsymbol{R}$ は尤度の降順になっており, $l_{R_{1}} \geq l_{R_{2}} \geq \ldots, \geq l_{R_{n}}$ を満たす.

## 4.2 エントレインメント予測モデル

エントレインメント予測モデルは, 発話文 $U_{S_{1}}$ が入力されたとき，その応答文 $U_{S_{2}}$ が持つべきエントレインメントスコア $\mathrm{LID}_{\mathrm{WMD} / \mathrm{BERT}, U_{S_{2}}}$ を予測するように学習する1). 図 2 に示すように，予測モデルは Gated Reccurent Unit（GRU）[10]を用いた階層的エンコーダモデルとバイアス項を含む全結合層 （Linear）を用いたエントレインメントデコーダモデルで構成される。

図 2 エントレイメント予測モデルの概要

発話文中の各単語 $u_{S_{1}, i} \in U_{S_{1}}$ を, 式 (5) で定義するエンコーダで発話レベルの特徴ベクトル $\boldsymbol{h}_{\boldsymbol{S}_{1}}=\boldsymbol{h}_{\boldsymbol{S}_{1},\left|\boldsymbol{U}_{S_{1}}\right|}$ に変換する ${ }^{2)}$.

$
\boldsymbol{h}_{\boldsymbol{S}_{1}, \boldsymbol{i}}=\operatorname{GRU}_{\text {utter }}\left(\boldsymbol{h}_{\boldsymbol{S}_{\mathbf{1}, i-1}}, \operatorname{Embedding}\left(u_{S_{1}, i}\right)\right)
$

ここで, Embedding($\cdot$) は, $U_{S_{1}}$ における各単語 $u_{S_{1}, i} \in$ $U_{S_{1}}$ を固定長の密ベクトル表現に変換する単語埋め込み層である。

本研究では発話文だけではなく，発話に付随する属性情報を対話エンコーダの追加の入力として用いることでエントレインメントの予測性能の向上を期待する [11,12]. 具体的には，属性情報 $\boldsymbol{M}$ を発話レベルの特徴ベクトル $h_{S_{1}}$ の一部と見なして次式のように結合する.

$
\boldsymbol{h}_{\boldsymbol{S}_{1}}^{\boldsymbol{M}}=\operatorname{Concat}\left(\boldsymbol{h}_{S_{1}, i}, \boldsymbol{M}\right)
$

ここで，属性情報 $\boldsymbol{M}$ は 2 人の話者 $S_{1}, S_{2}$ の社会的関係べクトル $v_{u_{S}} ， v_{u_{T}}$ を用いた。

次に，式（7）で定義される対話エンコーダを用いて，各ターンまでに得られた発話レベルの特徴べクトル $h_{S_{1}}$ の系列を対話レベルの特徴ベクトル $h_{S_{1}}^{\prime}$ に統合する ${ }^{3)}$.

1）“LID ${ }_{W M D / B E R T} ”$ は $L_{\text {IDMD }}$ または $\operatorname{LID}_{\mathrm{BERT}}$ を意味する.これ以降，LID と略す。
2) $\boldsymbol{h}_{S_{1}}$ は発話エンコーダ $\mathrm{GRU}_{\text {utter }}$ に対する最後の単語 $u_{S_{1},\left|U_{S_{1}}\right|}$ の入力に対応する，隠れベクトル $\boldsymbol{h}_{\boldsymbol{S}_{1},\left|\boldsymbol{U}_{S_{1}}\right|}$ である.

3） $\boldsymbol{h}^{\prime}$ は発話 $S_{1}$ の 1 ターン前の対話レベルの特徴ベクトルを

$
\boldsymbol{h}_{\boldsymbol{S}_{1}}^{\prime}=\operatorname{GRU}_{\text {context }}\left(\boldsymbol{h}_{\boldsymbol{S}_{1}}^{\boldsymbol{M}}, \boldsymbol{h}^{\prime}\right)
$

さらに，デコーダ Linear (.)を用いて，各ターンの特徴ベクトル $\boldsymbol{h}_{S_{1}}^{\prime}$ から予測値 $\mathrm{LII}_{U_{S_{2}}}$ を得る.

$
\operatorname{LIO}_{U_{S_{2}}}=\operatorname{Linear}\left(\boldsymbol{h}_{S_{1}}^{\prime}\right)
$

## 4.3 リランキング機構

リランキング機構では，応答候補集合 $\boldsymbol{R}$ からエントレインメント戦略に従った候補を選択して利用する. 各エントレインメント戦略から得られた目標エントレインメントスコア $\mathrm{LID}_{\text {target }} \varepsilon$, 応答候補 $R_{i} \in \boldsymbol{R}$ のエントレインメントスコア $\operatorname{LID}_{R_{i}}$ との差の絶対値を, エントレインメントの実現距離 $d_{R_{i} \text {, target }}$ とする.

$
d_{R_{i}} \text {, target }=\left|\mathrm{LID}_{R_{i}}-\mathrm{LID}_{\text {target }}\right| \text {. }
$

この值が小さくなるように応答を選択する. 具体的には, $R_{i} \in \boldsymbol{R}$ に対し, 正規化した尤度 $l_{R_{i}}$ と正規化した実現距離 $d_{R_{i} \text {, target }}$ の重み付き調和平均を算出し，最大値をとる応答 $R_{\mathrm{F} \text {-beta }}(\beta)$ を選択する。

てはそれぞれの応答候補リストを基準とした MinMax 正規化を表し， $\beta$ は 0 以上の実数となる重み係数である. 本研究では, $\beta=1$ と設定した.

## 5 評価実験

実験では，WMD と BERT に基づく 2 種類のエントレイメントスコア及び各エントレインメント戦略の組み合わせと，クラウドソーシングによる対話システムの主観評価値との関係を調べる. エントレインメント戦略の設定には次の 5 種類がある.
- LID $_{\text {predict }}$ : 予測されたエントレインメントスコアを利用
- $\operatorname{LID}_{\text {predict }} w / v_{S_{2}}$ : 予測されたエントレインメントスコアを利用（当該対話コンテキストにおいてシステム側の発話者が持つ属性情報を追加）
- $\operatorname{LID}_{\text {predict }}^{\cdot} w / v_{S_{1}}, v_{S_{2}}$ : 予測されたエントレインメントスコアを利用（当該対話コンテキストにおいて両方の発話者が持つ属性情報を追加）
- LID $_{\text {oracle }}$ ：対話コーパス上の正解から計算されたエントレインメントスコアを利用（人間のエントレインメント戦略の模倣)

表す. ただし, 本研究では対話履歴は 1 ターンのみであるためゼロベクトルを用いた.
・ LID $_{\text {min }}^{\text {: }}$ : 常に最もユーザ発話に同調した発話候補を利用

## 5.1 データセット

実験には Twitter のデータを使用した [13]. Twitter から，ユーザ間のフォロー・フォロワー（FF）関係，返信ぺア，すべてのユーザとツイートに関連するメタデータを得るために，まず 5 人のシードユー ザを選んだ．シードユーザには， Twitter 上で多くのフォロワーを持ち，情報工学に関する有名な日本人研究者を用いた. 次に, 彼らの友人とフォロワーのリストを取得した。これらのリストに含まれるユー ザから，2 次の $\mathrm{FF}$ 関係であるフォロー及びフォロワー関係のリストを取得する。最初のシードユーザと上記の関係リストを用いて，ユーザーをノード， “フォロー”関係を有向エッジとするソーシャルグラフを構築した. その後, グラフ内のノード・ユー ザーから全てのツイート（2018 年 3 月から 2022 年 3 月まで）を取得した. ツイートデータの分割は, 50,000 ペア（2018 年 3 月から 2022 年 1 月まで）を学習データ，5,000 ペア（2022 年 2 月）を開発デー タ，300 ペア（2022 年 3 月）をテストデータとした.社会的属性情報を表すユーザベクトル $v_{S_{1}}, v_{S_{2}}$ は先行研究 [14] に従い, ユーザのフォロワーネットワー クを node2vec アルゴリズムに入力して計算した.

## 5.2 実験設定

応答候補集合を生成するニューラル雑談対話モデルには，NTT から公開されている Twitter のデータで事前学習済み Transformer Encoder-Decoder モデルを用いた [15]. リランキング対象の応答候補は 40 個とした。

単語分散表現モデルについては, Akama らが提案したスタイルの類似性と統語的・語義的な類似性の両方を考慮した単語分散表現モデル [16]を用いた.単語分散表現モデルの学習には学習データセット内に含まれる発話を用いた. BERT モデルについては，学習済み多言語 BERTScore を用いた [9].

## 5.3 クラウドソーシングにおける主観評価

ワーカに発話文 $U_{S_{1}}$ を提示し, 応答について 5 つの項目に関する 5 段階評価の質問を行った。

・自然性：人間らしい自然な応答ができているか

・楽しさ : 応答文は面白かったか，会話を続けた
表 1 主観評価と自動評価の実験結果

 & 0.86 \\

各項目ごとに $R_{1}$ (baseline) との両側 $\mathrm{t}$ 検定を行い有意差がある場合: * : $p \leq 0.05$, ** : $p \leq 0.01$

いか

-話題追従性：人間の話題に沿っていたか

・共感性：システムは人間と共感・協調できているか

・スタイル類似性：システムは人間と似た口調で応答ができているか

すべての評価項目において「5」が最も良い評価， $「 1 」$ が最も悪い評価であり段階的な評価とした.

## 5.4 自動評価

応答の評価指標としてテストデータ中に存在する参照発話との BLEU[17] を用いた. また，選択された応答の理想的なエントレインメントスコアとの誤差の計算には式（11）で表される symmetric mean absolute percentage error（sMAPE）を用いた. $n$ は評価データの数である.

$
\begin{aligned}
& \operatorname{sMAPE}\left(\mathbf{L I D}_{\mathrm{R}_{\mathrm{F} \text { beta }}}, \mathbf{L I D}_{\text {oracle }}\right) \\
& =\frac{200}{n} \sum_{j=1}^{n} \frac{\left|\mathrm{LID}_{\mathrm{R}_{\mathrm{F}-\text { beta }}, j}-\mathrm{LID}_{\text {oracle }, j}\right|}{\left|\mathrm{LID}_{\mathrm{R}_{\mathrm{F}-\text { beta }}, j}\right|+\left|\mathrm{LID}_{\text {oracle }, j}\right|}
\end{aligned}
$

## 5.5 実験結果

表 1 に主観評価及び自動評価の結果を示す.また，比較として Twitterにおける人間の応答とリランキング前の応答についても評価を行った. SMAPE については，それぞれのリランキング機構に用いたエントレインメントスコアによって計算した.

主観評価について注目すると，oracle 戦略を用いたシステムを比較しても， $\min$ 戦略は各主観評価において高い評価を得られることが示された. また，話題追随性，スタイル類似性については BERT 尺度に基づくリランキングが，共感性については WMD 尺度に基づくリランキングがより大きく作用するこ
とが示唆された。これは我々の，WMD 尺度がよりスタイル類似性に作用し，BERT 尺度はより話題追随性に作用するという予想とは異なる結果となった. また意外なことに，いくつかの主観評価項目においては，人間の応答よりも BERT スコアによるリランキング応答がより高い評価を得ており，これは必ずしも人間のエントレインメント戦略が対話相手にとって最適ではない可能性を示している.

次に，自動評価について注目する。エントレインメント誤差（sMAPE）はベースラインであるリランキング前の応答と比較して， $\mathrm{LID}_{\text {min }}$ を除いて誤差が小さくなった. 一方で，最も同調するようにリランキングをする場合の $\mathrm{LID}_{\text {min }}$ では，エントレインメント尺度にかかわらず，エントレインメント誤差が増加している。これは，人間が対話文脈に合わせて柔軟に同調度合いを調整していることを示唆している.しかし主観評価で示唆されたように，このような人間の対話戦略を模倣することが対話システムにとって常に良い戦略とは限らない.

## 6 おわりに

本研究では，エントレインメント現象を考慮する対話システムを構築し，その評価実験をした. 特に，異なるエントレインメントスコア及びエントレインメント戦略を用いた場合に，各主観評価項目にどのような影響が出るかを調査した.

クラウドソーシングによる主観評価の結果，当初の予想と異なり，話題追随性，スタイル類似性については BERT 尺度に基づくリランキングが，共感性については WMD 尺度に基づくリランキングが大きく作用することが示唆された. また，人からの印象を良くするためには常にエントレインメント度合を最大化するような戦略が望ましいことが示された。

## 謝辞

本研究は JSPS 科研費 22K17958，22H04873， 20H04484 の助成を受けた。

## 参考文献

[1] Ani Nenkova, Agustin Gravano, and Julia Hirschberg. High frequency word entrainment in spoken dialogue. In Proceedings of the 46th annual meeting of the association for computational linguistics on human language technologies: Short papers, pp. 169-172. Association for Computational Linguistics, 2008.

[2] Md. Nasir, Sandeep Nallan Chakravarthula, Brian R.W. Baucom, David C. Atkins, Panayiotis Georgiou, and Shrikanth Narayanan. Modeling Interpersonal Linguistic Coordination in Conversations Using Word Mover' s Distance. In Proc. INTERSPEECH 2019, pp. 1423-1427, 2019.

[3] Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino, and Satoshi Nakamura. Entrainable neural conversation model based on reinforcement learning. IEEE Access, Vol. 8, pp. 178283-178294, 2020.

[4] Yuning Liu, Aijun Li, Jianwu Dang, and Di Zhou. Semantic and acoustic-prosodic entrainment of dialogues in service scenarios. In Companion Publication of the 2021 International Conference on Multimodal Interaction, ICMI '21 Companion, p. 71-74, New York, NY, USA, 2021. Association for Computing Machinery.

[5] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. 対話における後続発話のエントレインメント予測. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 50-55, 2021.

[6] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. エントレインメント予測に基づいたニューラル雑談対話モデルの応答リランキング. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 3Yin248-3Yin248, 2022.

[7] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. エントレインメントスコアを用いた応答リランキングとその自動評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1963-1968, 2023.

[8] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. In International Conference on Machine Learning, pp. 957-966, 2015.

[9] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[10] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. In Proc. of EMNLP, pp. 1724-1734, 2014.

[11] Penelope Brown, Stephen C Levinson, and Stephen C Levinson. Politeness: Some universals in language usage, Vol. 4. Cambridge university press, 1987.
[12] Cindy Gallois, Tania Ogay, and Howard Giles. Communication accommodation theory: A look back and a look ahead. In Theorizing about intercultural communication, pp. 121-148. Thousand Oaks: Sage, 2005.

[13] Seiya Kawano, Shota Kanezaki, Angel Fernando Garcia Contreras, Akishige Yuguchi, Marie Katsurai, and Koichiro Yoshino. Analysis of style-shifting on social media: Using neural language model conditioned by social meanings. In Findings of the Association for Computational Linguistics: EMNLP 2023, 2023.

[14] Aditya Grover and Jure Leskovec. node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 855-864, 2016.

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021 .

[16] Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, and Kentaro Inui. Unsupervised learning of style-sensitive word vectors. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 572-578, 2018.

[17] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.