# Transformer 対話モデルによる未来の展開の予測と 感情の誘導の検証

進藤優柴田千尋
法政大学理工学部
yu.shindo.2h@stu.hosei.ac.jp, chihiro@hosei.ac.jp

## 概要

近年，過去の文脈を考慮する対話システムの研究 が進んでいる。しかし, 対話においては未来の展開 を考慮することも重要である．そのため，本研究で は, 未来の展開を考慮し, 対話 5 ターン以内にユー ザーがポジティブになる先読み対話システムを提案 する.これは，対話システム本体 $T_{1}$ とは別で独立 した対話システム $T_{2}$ を用いて， $T_{1}$ の発話生成時に $T_{2}$ がこれに返答をすることで先読みを行う。これを システムと人間相手に対話させることで，提案シス テムの有効性，対話の自然性を評価する。

## 1 はじめに

近年，深層ニューラルネットワークを用いた自然言語文生成技術の発展と膨大な対話データの存在に 支えられ，対話システムは大きく発展してきた. こ れにより，日本語においても，りんな [1]などの非夕 スク型の対話システムが身近な存在となっている。 これらの対話システムは，発展した技術に加えて，過去の文脈を考慮することで対話の自然性や一貫性 を向上させている。一方で，人間にとってより良い 対話システムを構築するためには，過去の対話履歴 だけでなく，未来の展開を考慮することも重要であ る [2]. しかし, 未来の展開を考慮する対話システ ムの具体的な研究はまだ十分に行われているとは言 えない。そこで本研究では，未来の展開を考慮した 対話システムを提案する。具体的には，未来の展開 を考慮し，対話 5 ターン以内にユーザーがポジティ ブになる先読み対話システムの作成を提案する.

## 2 関連研究

## 2.1 Transformer 対話モデル

本研究では日本語の大規模な対話モデルとして, NTT により公開されている Transformer 対話モデ
ル [3] をベースとして用いる，相手に共感するよう な対話データ [4] 約 20,000 件からファインチューニ ングを行っている. 1 件 4 発話で構成されるため,計 80,000 発話のデータとなっている. このデータを 用い，過去の発話を 4 発話分まで考慮することで対話の自然性を向上させている．発話の生成は，複数 の発話候補を生成し，そこから文章として成り立っ ている確率が最も高いものを選択して返答する。こ の流れを図 1 に示す.

図 1 Transformer 対話モデルの対話の流れ

## 2.2 対話の先読みに関する研究

岸波らは，先読み対話システムの可能性について 検証している [2]. この研究では，人間同士で対話 を行い，タスクの結果から先読み対話システムの可能性を分析する. この研究で提案されたタスクは, パーティーゲームのひとつである NG ワードゲーム を類似したものであり，システムと人間の 1 対 1 で 対話が行われる。システム側は，1ターン目の発話 とターゲット単語が与えられ，対話を続けていく中 で 5 ターン以内に人間からターゲット単語を引き出 すことを目指す.この実験により，対話のターン数 を $N$ として,$N=5$ としたとき最も対話の自然性が 高いということがわかった．また，設定する先読み ゴールの難易度によっては，対話システムで先読み を行うことは可能であるということもわかった.

## 3 提案手法

本研究では，未来の展開を考慮した対話システ ムを提案する．先読みのゴールとしては，システ

図 2 感情分析の流れ

ムに1ターン目の発話及びターゲット感情のペア， （例えば「こんにちは．何かお悩みはありますか？」及び「○」のペア）を与え，対話を続けていく中で ユーザー発話がターゲット感情になることを目指 す. 未来の展開を考慮し，対話 $N$ ターン以内にユー ザーがポジティブになる先読み対話システムを提案 する．本論文では，岸波らの研究結果に従い， $N=5$ とした.

## 3.1 感情分析

ユーザーの発話がターゲット感情になるように先読みを行うが，そのためにはまず，発話がどのよう な感情を含意しているのかを推定する必要がある. ターゲット単語を設定して先読みを行なう手法 [2] では，数多くある単語の中からピンポイントにター ゲット単語を引き出すことは難しい。そこで，本研究では，Twitter の絵文字付きツイートを学習し，文章を 6 つの絵文字（感情）に分類する感情分析用の BERT モデル [5] を用いる。このモデルは，それぞ れの絵文字ごとに別々に予測確率を算出する，いわ ゆるマルチラベルモデルである．例えば，○と分が 共に $90 \%$ 以上となることもあり得る。この流れを 図 2 に示す.これにより，あらかじめ設定された 6 つの絵文字の中からターゲット感情を引き出す先読 みタスクを設定することができ，ターゲット単語よ りも実現可能であると考えられる。

## 3.2 先読み過程

既存の Transformer 対話モデル [3] をベースとし， それに先読み過程を追加する，具体的には，対話シ ステム本体である Transformer 対話モデル $T_{1}$ とは別 で独立した対話モデル $T_{2}$ を用いる． $T_{1}$ のユーザー 発話に対する複数の発話候補それぞれに対して， $T_{2}$ が返答候補を生成する。この返答候補が入力された ユーザー発話のひとつ先の予想ユーザー発話に該当 する. この流れを図 3 に示す. 生成された複数の $T_{2}$ の返答候補を $T_{1}$ の発話候補ごとに区切って評価す る. 最も良い評価の返答候補の集合を引き出した発話候補が $T_{1}$ のユーザー発話への返答として選択さ れる。

図 3 提案システムの対話の流れ

## 3.3 先読みによる評価値の計算

各 $T_{1}$ の発話候補に対して，先読みによって評価值を計算する方法を二つ提案する。一つ目は，各 $T_{1}$ の発話候補に対する $T_{2}$ 返答候補の発話それぞれに 対して，感情分析 [5] を行い，その感情が何個ター ゲット感情「」になっているかを比較をする方法 である。このとき，ターゲット感情になっている数 を，その $T_{1}$ 発話候補の評価値とする。二つ目は， $T_{2}$返答候補のターゲット感情の予測確率を足した合計值で比較をする方法である。この方法では，各 $T_{2}$返答候補において，必ずしもターゲット感情が最も 高い予測確率を持っている必要はない。感情分析の 過程で求められる 6 つの絵文字に対しての確率の中 からターゲット感情「」の確率を使用し，返答候補ごとに合計值を求める. その合計值が最も高いも のを最も良い評価とする。また，一つ目の方法で最 もターゲット感情が多い返答候補が複数出た場合 は，その返答候補の中で二つ目のターゲット感情の 確率で比較する方法を適用する。

一つ目の方法の評価値は，ターゲット感情がそれ 以外の感情と比べて最も強いかどうかの 2 値の合計值となるため，ターゲット感情の BERT モデルによ る分類結果自体に注目することができる。また，二 つ目の評価値では，例えば，ラベル付けされた感情 は「苗」だがラベル付けされた感情とターゲット感情の確率が僅差などの状況を考慮できるため，細か い情報まで考慮できる。

## 4 実験

提案手法の評価のため, 以下の 3 つの実験を行う.

・実験 1 ：Transformer 対話モデルと提案システム との比較

・実験 2 : 提案システムの有効性
- 実験 3 : 提案システムの対話の自然性の評価

## 4.1 前提条件

今回提案する対話システムの本体 $\mathrm{T} 1$ と先読み部分の対話システム $T_{2}$ では, 2 節の Transformer 対話 モデルと同様に Twitter の対話データを EmpatheticDialogues [4] でファインチューンした対話モデルを 使用する.これにより相手の感情に共感するように なり，対話の自然性も向上する. また，感情分析で は町田ら [5] の Twitter から抽出した絵文字付きツ イート360万件を使って，6つの感情に分類する手法を使う。

## 4.2 システムとの対話

2 節の Transformer 対話モデルと提案システムをそ れぞれ対話システム（ユーザー側）と対話させる. このときのユーザー役の対話システムも NTT が公開している対話システム [3] を使用する。 ユーザー 役を対話システムにすることにより，自動で対話さ せることができるので多くの対話データを取得す ることが可能になる. このとき取得する対話データ は，5 ターン分の対話履歴，最後のユーザー発話の 感情ラベル, 最後のユーザー発話のターゲット感情 の確率とする。

実験 1 では，Transformer 対話モデルと提案システ ムをそれぞれ，もう一つの別の対話システムと対話 させ，取得した対話データから Transformer 対話モ デルと提案システムを比較する。

実験 2 では，提案システムのターゲット感情を他 の感情に変えることで提案システムの有効性を検証 する．実際には，先読みした発話のターゲット感情 の確率が最も低いものを選ぶようにする。これによ り，ターゲット感情「」以外の 5 つの感情に注目 するようになる。これをターゲット感情を「○」に したときと比較することで，ターゲット感情が「」のとき，本研究の目的であるユーザーがポジ ティブになる先読み対話システムがより実現できて いるかを確かめる．また，実験 1 と同様に対話シス テムと対話させることで比較をする。

## 4.3 アンケート調査

実験 1 ，実験 2 では主にターゲット感情の数やそ の確率を使って，本研究の目的の達成率を調べてい る. 実験 3では，ユーザー役を人間が行い，システ ムにはわからない Transformer 対話モデルと提案シ ステムの違いや対話の自然性について調査する. 具体的には，人間に Transformer 対話モデル，提案シス テム（ターゲット感情「○」），提案システム（ター ゲット感情「○以外」）の3つのシステムと対話し てもらい各対話終了時にアンケート調査を実践す る. アンケートの項目は，「あなたは悩んでいたが 今ポジティブになったか」「システム側の発言は自然だったか」について，それぞれ 5 を最高点とした 5 段階評価とする. その結果から Transformer 対話モ デルと提案システムの違いや対話の自然性を評価 する。

## 5 実験結果

4 節で述べた実験 1～3 の結果を記述する．実験 1,2 では，比較する対話システムごとに 85 対話の データを取得した. 実験 3 では, 5 人の方に協力し てもらい，15 対話のデータを取得した。

## 5.1 Transformer 対話モデルと提案システ ムとの比較結果

実験 1 の結果を表 1 に示す.このとき， 3 節で述 べた提案手法の二つの評価方法も比較する．表にあ る提案手法 1 は，先読みした発話の感情が何個ター ゲット感情になっているかで評価をする方法で提案手法 2 は，先読みした発話のターゲット感情の確率で評価する方法である。これを最後のユーザー発話が 85 対話中，何個ターゲット感情になったかと ターゲット感情の確率の平均値で比較する.

表 1 Transformer 対話モデル (ベースライン) と提案シス テムとの比較

 &  \\

表 1 より, Transformer 対話モデルよりも提案手法 の方がターゲット感情にさせる数と確率が高いとい うことがわかる. つまり，提案手法の方が本研究の ユーザーをポジティブにするという目的を達成して いると言える。また，提案システム 1 よりも提案シ ステム 2 の方がターゲット感情にさせる数と確率が 高い. そのため, 先読み過程では，ターゲット感情 の確率で評価した方が良いとわかる。

## 5.2 提案システムの有効性の結果

実験 2 の結果を表 2 に示す.このとき，ターゲッ 卜感情を「」とした提案手法を提案システム「」

とし，ターゲット感情の確率が最も低いものを選択 し，ターゲット感情を「○」以外とした提案手法を 提案システム「○以外」とする。また，このとき取得したターゲット感情の数は, 二つともターゲット 感情が「」のときのデータである.

表 2 提案手法によるターゲット感情への誘導の有効性

 &  &  \\

表 2 より，ターゲット感情を「」としたときの 方がターゲット感情にさせる数と確率が高いという ことがわかる．つまり，設定するターゲット感情に 影響して結果が変わることが言える。また，これと 同時に今回提案した手法が有効であることも確認で きる.

## 5.3 提案システムの対話の自然性の評価

実験 3 の結果を表 3 に示す $(n=15)$.また，表 6 に提案システムの実際の対話例を示す.このとき，比較するシステムは Transformer 対話モデルと実験 2 で使用したシステムである.

表 3 対話の自然性の評価 (5 段階評価アンケート平均値)

 &  \\

表 3 より，ターゲット感情を「」としたときの 提案システムが最も自然な対話でユーザー（人間） をポジティブにさせていることがわかる. 最後に，上述の差が有意かどうかを $\mathrm{t}$ 検定を用いて検証す る. 具体的には，有意水準を $5 \%$ としたときの一対 の標本による平均の $\mathrm{t}$ 検定を Transformer 対話モデ ルと提案システム「」に対して行う. 相手がポジ ティブになったかの結果を表 4 に対話が自然であっ たかの結果を表 5 に示す.

表 4 ポジティブになったかの検証結果 (2 標本 $\mathrm{t}$ 検定)

表 4 の $\mathrm{P}(\mathrm{T} \leqq \mathrm{t})$ 両側の項目から $\mathrm{p}$ 値は「0.00464」と なり，0.05（有意水準）より小さいので，Transformer表 5 対話が自然性だったかの検証結果 (2 標本 $\mathrm{t}$ 検定)

表 6 提案システムの対話例

 &  \\

対話モデルと提案システムの平均值には有意差が あると言える。つまり，提案システムの方が相手を ポジティブにするという結果は信用性があるとわ かる。一方で，Transformer 対話モデルと提案システ ムの対話の自然性については，平均値では提案シ ステムのほうが高い評価となっているものの，表 5 から，その差は有意があるとは言えないことがわ かる。

## 6 結論

本研究では，未来の展開を考慮し，対話 $N$ ターン 以内にユーザーがポジティブになる先読み手法を提案し，システムとして実装を行い，評価を行った。 その結果，提案手法は，システムと人間の両方に対 して，先読みを行うことにより，ターゲット感情へ と対話を誘導することができることがわかる. さら に，対人の実験結果からも，今回の提案手法がユー ザーをポジティブにできていることがわかる．今後 の展望としては，感情分析の精度を上げることで， より未来の感情を的確に考慮することが可能か検討 する予定である。

## 7 謝辞

今回の研究でアンケート調査にご協力いただい た法政大学の学生の皆様には, 深く感謝申しげま す. 本研究の一部は JSPS 科研費 JP18K11449 の助成 を受けたものです.

## 参考文献

[1] Katsuya Iida Kazuna Tsuboi Momo Klyen Xianchao Wu, Kazushige Ito.りんな：女子高生人工知能, 2016.

[2] 岸波洋介. 対話システムの先読み能力を分析可能な夕 スクの検討, 2021.

[3] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[4] Qintong Li, Piji Li, Zhaochun Ren, Pengjie Ren, and Zhumin Chen. Knowledge bridging for empathetic dialogue generation. 2022.

[5] 町田秀輔. 絵文字の埋め込み表現を用いたラベル埋め 込み注意機構モデル等による文の感情推定, 2019.
 進藤優柴田千尋 法政大学理工学部 yu.shindo.2h@stu.hosei.ac.jp, chihiro@hosei.ac.jp  