# 関連タスクの予測確率分布を用いる soft-gated BERT による対話印象分類

竹下智章 $\dagger$ 上坦外英剛 \$ 船越孝太郎
}

$\dagger$ 東京工業大学工学院 \
#東京工業大学科学技術創成研究院 §産業技術総合研究所 \{takeshita@lr., kamigaito@lr., funakoshi@lr., takamura@, oku@\}pi.titech.ac.jp

## 1 はじめに

チャットアプリや SNS における発話内容から対話相手が対話内容に抱く印象を推測することは，状況に応じた適切な応答を選択する上で有用である.対話印象とは，人-チャットボットの対話において， システム (チャットボット) がユーザ (人) とできる だけ長く円滑な対話を続けるための指標である. 本研究における対話印象分類とは，対話文を以下の 2 クラスに分類することを目的とするタスクである.

ポジティブ印象 ユーザ発話から，ユーザが対話 に対し良い印象を持っていると判断される状態 ネガティブ印象 ユーザ発話から，ユーザが対話 に対し悪い印象を持っていると判断される状態対話印象分類のように対話文に対する分類を行う タスクでは，発話内容を表した文のべクトル表現を 用いる他に発話内の単語のもつ感情極性 [1] や単語同士の関係性 [2] などの特徴を利用する手法がある. しかし本研究は日本語対話文を対象にしており，こ のような言語的資源を利用することが難しい.

一方，対話破綻検出は対話印象分類と同じく人チャットボット対話のある文脈において，システム の発話が矛盾している，文脈から唐突である，質問 に答えてないなどの対話上の破綻を起こしているこ とを検出する分類タスクである [3]. 対話破綻検出 データセット [4] の対話文に 4.1.1 節で後述する対話印象データセットと同一の基準で対話印象のア ノテーションを付した際の内訳を表 1 に示す. 表 1 にあるように，対話破綻検出タスクでは，破綻なし (O), 判断し難い (T), 破綻 (X) の 3 クラス分類を行 う. 表 1 から, システムの発言により対話破綻が生 じている対話では，ユーザがネガティブな印象を抱 いていることが多い傾向にあることが分かる.

本研究において我々は，対話内容に持つ印象に とって対話破綻の影響が大きいと推測し, 対話破綻

} \\

検出タスクの予測結果を援用した対話印象分類手法 を提案する. 我々の手法では，発話内容を表した文 のベクトル表現を得るにあたり BERT[5] を用いる が，関連タスクの予想確率分布を用いた soft-gated BERT を新たに提案し分類モデルに利用する. 実験 を通して我々は，関連タスクの学習を援用する既存 の手法と比較して本手法が対話印象分類において高 い分類性能を持つことを示した。

## 2 関連研究

目的となるタスクの性能を高めるために関連する タスクの学習を援用する手法にはマルチタスク学習 や転移学習が存在する. 対話文の分類タスクにおい てはマルチタスク学習が用いられ，関連がある事象 についての分類タスク同士でモデルを一部共有す る. Mcload ら [6] はユーザ意図分類とスロット抽出 とのマルチタスク学習で対話行為分類の精度を向上 させた. Cerisara ら [7] は対話感情分類と対話行為分類のマルチタスク学習で相互的に性能を高めようと 試みたが，2 つのタスクは事象としての関連はある ものの，これらの分類タスク同士の学習過程全体に おける関連性が低いためにマルチタスク学習の効果 が期待されるほど高くなかったことが示唆されてい る. 関連するタスク同士で学習を共有することで相互的に補完しあうことを目的としたこれらの手法に 対し, 我々が提案する手法は, 関連タスク同士の学習はそれぞれ独立して行われ，一方のタスクの予測結果をもう一方のタスクの学習および予測に用いる

図 1 ベースラインモデルおよび対話破綻検出モデル

図 2 提案手法の全体図. 対話破綻検出の事前学習済みモデル (DBD-model) には印象予測を行うユーザ発話の直前 4 発話が入力されて対話破綻の予測確率分布が出力される. Soft-gated BERT はこの確率分布に応じた強度でそれぞれのクラ スに対応したベクトル表現を得る. Soft-gated BERT より上層のレイヤの挙動はベースラインモデルと同一である.

という相違点がある.

## 3 提案手法

## 3.1 ベースとなる手法

本研究で提案するモデルは，杉山による BERT を 用いた対話破綻検出モデル [8]をべースとしている.図 1 のように，対話文内の各発話はトークン単位で 分割され，発話同士は時系列順に [SEP] トークンで 区切られて入力される. BERT を通して出力された ベクトルは発話単位で平均化された後結合される.結合されたべクトルは完全結合層に入力されて最終的な分類の確率分布が出力される. このモデルは対話印象分類のベースライン手法となり，4.1.2 節で後述する比較手法もこのモデルがベースとなる.

## 3.2 Soft-gated モデル

本研究では，ユーザが対話内容に抱く印象にとっ て対話破綻の影響は大きいという仮定のもと，対話破綻検出の予測結果を対話印象分類に援用する手法

図3 関連タスクの予測確率分布を援用した Soft-gated BERT

を提案する。この際に留意しなければならないの は，この 2 つのタスクの関連性である。これについ て検討した結果，我々は，対話印象から対話破綻へ の一方的な依存関係があると仮定した。すなわち，対話破綻が起こっていると対話印象が悪く(=ネガ ティブ印象) なりやすいが，ユーザの対話印象が悪 くなる際に必ずしも対話破綻が起こっているとは限 らない。そのため，モデルの学習を共有することで 相互的に補完し合うマルチタスク学習や転移学習の ような既存の手法では過学習が起こる懸念がある.

そこで本研究では，ベースライン手法で用いられ

る BERT を図 3 のようなモデルに置き換えること で，対話破綻検出の予測確率分布に応じたべクトル 表現を得るモデルを提案する. このモデルは事前学習済の BERT の最上層 (12 層目)を複製し， 3 個のレ イヤ (各レイヤは対話破綻検出の各クラスに対応)を 用意する. 11 層目から出力されたべクトルは分岐 したそれぞれのレイヤに入力され，12 層目の出力は それぞれ対話破綻の予測確率分布 $\left(p_{O}, p_{T}, p_{X}\right)$ 倍の 強度で足し合わされる. 対話破綻検出の確率分布の 予測は事前に対話破綻検出を学習したモデル (ベー スラインモデルと同じ物) によって行われる (図 2).

このような機構を導入するすることで，対話破綻検出のクラスに対応する分岐レイヤには逆伝播する際 の強度の違いによって学習に差異が発生することに なる. 通常 BERT 内の multi-head attention がそれぞ れ異なる表現を自動的に学習することで柔軟な表現 に対応しているが，本手法では先験的に関連タスク に対応したレイヤを用意することで，BERT の学習済み表現を大きく壊すことなく，対話の破綻状態に 応じた適応学習が行われることが期待される.

## 4 実験

## 4.1 実験設定

実験に用いたデータセットおよび比較手法，評価方法について説明する.

## 4.1.1 データセット

対話印象分類データセット 本研究で扱う対話印象は，株式会社ホンダ・リサーチ・インスティ チュート・ジャパンによる人-チャットボット対話文コーパスにアノテーションを付したデータセッ ト ${ }^{1)}$ の基準に基づく．対話文コーパスはシステム (チャットボット) とユーザ (人) の一対一の対話で構成される．ユーザの各発話には，第三者のアノテー タによるユーザが対話に対し抱く印象のアノテー ションラベルが付され，ポジティブ印象またはネガ ティブ印象で評価される. 各対話には 10 種類のう ちいずれか 1 つのトピックが設定され，システムか らそのトピックに対応する話題をユーザに提示 ${ }^{2}$ す

}} & \multicolumn{2}{|c|}{} \\

ることで，特定のトピックに関する対話を行う。

対話破綻検出データセット 対話破綻検出チャレ ンジ 1[4]，2[9]，3[10]，4[11] のデータセットを用い る. 対話破綻検出では，対話の状態を 3 クラス $(\mathrm{O}:$破綻なし， T:(破綻しているか) 判断し難い，X:破綻) で分類する.

## 4.1.2 比較手法

提案手法の有効性を示すため，関連タスクの学習を利用する既存の学習手法と比較および考察を 行った.

ベースライン手法: baseline 対話印象分類デー タセットでのみ学習を行い，対話破綻検出の学習に よる援用の有効性を検証する．後述する手法では便宜として当モデルを BERT を用いたエンコーダ部お よび分類器部に分けて呼称する。

転移学習: transfer ベースラインモデルで対話破綻検出を学習した後，エンコーダ部のみを流用した ベースラインモデルで対話印象分類の学習を行う。

マルチタスク学習: multi-task ベースラインモデ ルのエンコーダ部は対話印象分類と対話破綻検出で 共有し，分類器部はそれぞれのタスクでのみ学習さ れる。転移学習とは異なり，バッチごとに対話印象分類タスクと対話破綻検出タスクを切り替えて並行 して学習を行う。

特徵量の結合: feature-in 提案手法では，対話破綻検出モデルによる予測確率分布に応じた注目情報 を得ているが，当比較手法ではこの確率分布を特徴量の 1 つとして，そのまま BERT から出力された後 に平均化されたべクトル表現と結合して利用する.

## 4.1.3 実験方法

BERT は Wikipedia 日本語コーパスで事前学習済 みの BERT モデル [12]を利用する。対話破綻検出の クラスは本来， $\mathrm{T}:$ 中立 (判断し難い) のラベルを含ん だ 3クラス分類であるが，この中立ラベルを X:破綻

1）付録に詳細を記す。

2）例えば，「お土産」のトピックが設定された対話ではシステ ムが「旅先で職場の同僚向けの土産を購入するか」といった 話題をユーザに提供する。

と同一として 2 クラス分類 (O:破綻なし，X: 破綻) と する設定でも同様の方法で実験を行った. この際，提案手法モデルの soft-gated BERT 内の分岐レイヤ数 も 2 個になる.

提案手法と feature-in は, 対話破綻検出モデルが 独立しているため, これら 2 つの手法について はこの部分が対話印象分類の学習時に適応学習 (fine-tuning:FT) を行うか否かの比較実験も行った. これは，関連タスク (対話破綻検出) 用に学習された モデルがより目的のタスク (対話印象分類) に適する ように調整されることを期待したためである. それ ぞれのモデルの学習率は [13] を参考に, 印象分類モ デル:破綻検出モデル $=5 e-5: 1 e-6$ とした.

## 4.1.4 評価方法

各モデルの対話印象分類性能の評価は，対話印象 データセット内のトピックごとに算出されたマク 口 F1 スコアの平均值を比較することで行う. これ は各トピックの対話に特有の単語への過学習を防ぐ ことと，クラス比に偏りのあるデータへの交叉検証 を目的としており， 10 個のトピックで分けられた対話文グループのうち, ある 1 つのグループをテスト データとした際，訓練データには残り 9 トピックの 対話文グループが利用される.

## 4.2 実験結果

提案手法と比較手法について対話印象分類の精度 を比較した結果を表 4 に示す. 対話印象分類学習時 に対話破綻検出モデルを適応学習するか否かで比較 を行った結果を表 5 に示す.

ネガティブ印象クラスの分類について ベースラ インと比較してマルチタスク学習では再現率 (Rec.) が上昇するが，適合率 (Pre.) が大きく減少している ために F1 スコアが低下している。これは仮定にも あった通り, 必ずしも破綻しているから印象が悪い とは限らないので, 注目するべき位置を過学習して しまったために適合率が減少したと考えられる. 同様に特徴量の結合手法 (feature-in) では, 適合率が上昇するが再現率が減少しているため F1 スコアが低 くなった.

一方で提案手法では適合率を大きく下げずに再現率を上昇させているため，ベースラインより F1 ス コアが上昇している. 上述した過学習をしなかった ためか, feature-in よりも性能が良い結果となった. また，対話破綻のクラス数は 2 クラスとした方が性表 4 関連タスクの学習を利用する手法との比較

Positive Negative Macro Ave.

表 5 対話破綻検出モデル適応学習の有無による比較

能が良い結果となった.

対話破綻検出モデルに対する適応学習を行った場合は予想に反して，適応学習を行わなかったものよ りも全体的にスコアが下がるという結果となった.

## 5 おわりに

本研究では，対話印象にとって対話破綻の影響は 大きいという調査に基づいた仮定のもと，対話破綻検出を援用した対話印象分類手法を提案し，既存手法との比較を行った. 転移学習やマルチタスク学習 のような，関連タスクの学習を援用する既存の手法 では分類性能が下がるのに対して本手法では性能が 上昇するという有効性を示し，対話破綻の検出結果 を特徵量として用いる手法よりも性能が良いことを 示した.

また, 本研究において提案した soft-gated BERT は,事前学習済モデルの表現を大きく壊すことなく, 関連タスクの予測確率を援用し目的タスクの予測を補助するという性質上，他のタスクにも適用すること が可能と推察される.

## 謝辞

対話印象分類データセットを貸与いただいた株式会社ホンダ・リサーチ・インスティチュート・ジャ パンに感謝いたします.

## 参考文献

[1] Justine Zhang, Jonathan P. Chang, and Cristian DanescuNiculescu-Mizil. Conversations gone awry:detecting early signs of conversational failure. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Long Papers), pp. 1350-1361. Association for Computational Linguistics, 2018.

[2] Peixiang Zhong, Di Wang, and Chunyan Miao. Knowledge-enriched transformer for emotion detection in textual conversations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 165-176. Association for Computational Linguistics, 2019.

[3] 東中竜一郎, 船越孝太郎, 荒木雅弘, 塚原裕史, 小林優佳, 水上雅博. テキストチャットを用いた雑談対話 コーパスの構築と対話破綻の分析. 自然言語処理, Vol. 23, No. 1, 2016.

[4] 東中竜一郎, 船越孝太郎, 小林優佳, 稲葉通将. 対話破綻検出チャレンジ. 言語・音声理解と対話処理研究会第 75 回研究会 (第 6 回対話システムシンポジウ ム), pp. 27-32. 人工知能学会, 2015.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186. Association for Computational Linguistics, 2019.

[6] Sarah McLeod, Ivana Kruijff-Korbayova, and Bernd Kiefer. Multi-task learning of system dialogue act selection for supervised pretraining of goal-oriented dialogue policies. In Proceedings of the SIGDial 2019 Conference, pp. 411-417. Association for Computational Linguistics, 2019.

[7] Christophe Cerisara, Somayeh Jafaritazehjani, Adedayo Oluokun, and Hoa T. Le. Multi-task dialog act and sentiment recognition on Mastodon. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 745-754, 2018.

[8] Hiroaki Sugiyama. Dialogue breakdown detection using BERT with traditional dialogue features. In DBDC4 WOCHAT workshop, 2019.

[9] 東中竜一郎, 船越孝太郎, 稲葉通将, 荒瀬由紀, 角森唯子. 対話破綻検出チャレンジ 2. 言語・音声理解と対話処理研究会第 78 回研究会 (第 7 回対話システムシ ンポジウム), pp. 64-69. 人工知能学会, 2016.

[10] 角森唯子, 東中竜一郎, 高橋哲朗, 稲葉通将. 対話破綻検出チャレンジ 3 における対話破綻検出の評価尺度の選定. 人工知能学会論文誌 35 巻 1 号 DSI-G, pp. 1-10. 人工知能学会, 2020.

[11] Ryuichiro Higashinaka, Luis F. D'Haro, Abu Shawar Bayan, Rafael Banchs, Kotaro Funakoshi, Michimasa Inaba, Yuiko Tsunomori, Tetsuro Takahashi, and Joao Sedoc. Overview of the Dialogue Breakdown Detection Challenge 4. In DBDC4 WOCHAT workshop, 2019.

[12] 柴田知秀, 河原大輔, 黒橋禎夫. BERTによる日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, pp. 205-208. 言語処理学会, 2019.

[13] Yang Liu and Mirella Lapata. Text Summarization with Pretrained Encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3730-3740. Association for Computational Linguistics, 2019.

[14] 中島圭祐, 駒谷和範, 中野幹生. 雑談対話システム構築フレームワーク pychat に基づく特定シチュエー ション向け対話システム. 第 87 回人工知能学会言語・音声理解と対話処理研究会 (第 10 回対話システ ムシンポジウム). 人工知能学会, 2019.

[15] Mikio Nakano and Kazunori Komatani. A framework for building closed-domain chat dialogue systems. Knowledge-Based Systems, Vol. 204, p. 106212, 2020.

[16] Klaus Krippendorff. Reliability in content analysis. Human Communicatuon Research.

## A 付録

## A. 1 対話印象分類データセットの詳細

本研究で扱う対話印象は，株式会社ホンダ・リサーチ・インスティチュート・ジャパンによる人-チャット ボット対話文コーパスにアノテーションを付したデータセットの基隼に基づく. 対話文コーパスはシステム (チャットボット) とユーザ (人)の一対一の対話で構成される. 本システムは，料理とレストランに関する話題を扱う雑談対話システム [14][15] である. ただし， [15] に記述したバージョンより一つ古いバージョンの システムでのため，知識べースやルールの数が若干異なる.

対話の参加者はクラウドソーシング会社である株式会社クラウドワークス経由で 105 名を募集した. 参加者は, PC やスマートフォンなどの自分の端末の Web ブラウザから対話サーバーにアクセスし, 14 日間で 8 回のセッションに参加した. 参加者には， 14 日間で 8 回のセッションに参加してもらい, 1 日に 2 回以上は 参加しないようにした. 参加者の中には， 8 回以上のセッションに参加した人もいた. また，各セッション で最低 25 回の発話をすることを求めた. 各対話セッションには 10 種類のうちいずれか 1 つのトピックが設定され，システムからそのトピックに対応する話題をユーザに提示することで，特定のトピックに関する対話を行う. 各ユーザの最初のセッションのトピックは「朝食」であった. 残りのセッションでは, セッショ ントピックをランダムに選択したが，10 回以上セッションに参加しない限り，同じセッショントピックでの チャットは重複して行わなかった. 参加者のうち真剣に対話に取り組んだ 96 名 (女性 48 名, 男性 48 名，年齢 19 50 代) の対話についてアノテーションを行った. 96 人のうち 2 人が 5 回, 4 人が 4 回のセッションを 行い，残りの 90 人は 8 回以上のセッションを行ったこととなる.

ユーザの各発話には，第三者のアノテータによってユーザが対話に対し抱く印象のアノテーションが行わ れ，以下の評価基準で 5 段階 (-2:非常に悪い，-1:悪い，0:中立，1:良い，2:非常に良い)のラベルを付した.

・ユーザの発話から，ユーザが対話に対して良い印象を持っており，対話を継続する可能性が高いと推測 され，同じ話題について同じように話を続けることができると判断された場合には，正値のスコアをア ノテーションする.

・ユーザの発話から，ユーザが対話に対して良い印象も悪い印象も持っておらず，このままでは対話を止 める可能性が高いと推測された場合には，0をアノテーションする。

・ユーザの発言から，ユーザが対話に対して悪い印象を持っていること，対話をやめてしまう可能性が高 いことが推測され，話題を変えるか，謝罪する必要があると判断された場合には，負值のスコアをアノ テーションする.

本研究では, 正值 $(1,2)$ のラベルを一律に” ポジティブ” クラスとし, 負值 $(-2,-1)$ のラベルを” ネガティブ” クラスとして利用した.また， 0 :中立のラベルは人手でも前述する 2 クラスとの明確な判別が困難なため今回は利用しなかった.

1 人のアノテータが全対話にアノテーションを行った. アノテーションされたスコアの信頼性を調査する ために， 16 のセッション (無作為に選ばれた 8 人の参加者に対して，少なくとも 25 回のユーザーターンを 含む 2 つのセッションを無作為に選んだ) にもう一人のアノテータがアノテーションを行った. 検証の結果, Krippendorff の $\alpha$ (順序尺度)[16] における 2 人のアノテータ間の一致率は 0.63 であり, 中程度に高い值で あった.
 竹下智章 $\dagger$ 上坦外英剛 \$ 船越孝太郎 }  $\dagger$ 東京工業大学工学院 \ 