# 経験に基づく知識の想起・深化を行う 対話システムの開発に向けたコーパスの構築

渡邊 寛大 ${ }^{1,2}$ 河野誠也 ${ }^{2}$ 湯口 彰重 ${ }^{2,1}$ 吉野 幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学
2 理化学研究所ガーディアンロボットプロジェクト
watanabe.kanta.wm7@is.naist.jp,
\{seiya.kawano, akishige.yuguchi, koichiro.yoshino\}@riken.jp

## 概要

対話システムが人間社会で活用されるには，高い 信頼性と長期的な関係性を築くための記憶・学習能力が必要である. 具体的には，複数回行われる対話 の中で以前の対話を記憶・利用し，またそこに出現 するキーワードなどから自身の知識を深めて次回以降の対話に活用できる機能が必要である. 本研究で はこうした対話モデルを構築することを指向して，過去の対話セッションとそれに紐づけられた外部 データベースを考慮した雑談対話コーパスを収集 し，分析した.

## 1 はじめに

自然言語を用いて人間と対話をする対話システム は，医療や教育，生活支援をはじめとした様々な分野で注目され $[1,2,3]$, 研究開発が活発に行われてい る. 一方で，実際に活用されるために改善すべき課題は依然として存在する。例えば，現在の対話シス テムの多くは，単一セッションで毎回異なる話者と 初対面の対話を行うことを想定している。しかし，医療であれば患者，教育であれば生徒，生活支援で あれば持ち主のように，長期間に渡って特定のユー ザと対話し，過去の対話内容を想起・活用し，そこ から学習する能力が必要となる. こうした場合，対話者が人間であれば，複数回行われる対話（過去の 対話セッション）の中で行われた対話を記憶・利用 し，またそこに出現するキーワードなどから，自身 の知識を深めて次回以降の対話に活用することが できる. 対話システムもこのように，対話履歴（経験）から知識を想起・深化して次回以降の対話で活用することが望まれる. 対話システムがこのような 経験に基づく知識の想起・深化・活用を行うこと

$
\begin{aligned}
& \text { Apprenticeは過去の対話セッションの内容を基に、 } \\
& \text { 外部データベースを用いてさらに学習 }
\end{aligned}
$

図 1 本研究で想定する対話システムの概要

で，信頼関係の構築や，経験や知識の再検討による 自己成長・自己理解・相互理解が可能となる. 長期間に渡って特定のユーザと対話を行う対話システム を構築しょうとする場合，こうした機能は必要不可久である.

本研究では，過去の対話セッションに基づいて知識を想起し，外部データベースを用いて知識の深化 を行い対話に活用する対話システムの開発を目指す (図 1).その第一段階として, 過去の対話セッショ ンとそれに紐づけられた外部データベースを考慮し た雑談対話コーパスを構築し，分析した。結果とし て，考案した設定により目的に沿った対話を収集可能であることが確認できた。

## 2 関連研究

対話システムによる知識の想起やモデルの更新に 関わる研究として，外部知識を対話システムの応答生成に組み込んだ研究 $[4,5,6]$ や特定ユーザとの長期的な対話に焦点を当てた研究 $[7,8,9]$ が存在する.本節では, これらの研究と本研究の違いについて説明する。

## 2.1 外部知識に基づく応答生成

Dinan ら [4] は，応答に必要な外部知識を選択し，選択した外部知識に紐づいた応答を生成する対話応答生成モデルを提案した. また，このモデルを 実際に学習・評価するために, Wikipedia の知識に 基づくオープンドメインの対話の大規模なコー パスである Wizard of Wikipediaを収集してモデル を構築・評価した. Komeili ら [5] は，対話文脈か ら生成したクエリでインターネット検索を行い， その結果を知識として利用して応答を生成する 対話応答生成モデルを提案した. Shuster ら [6] は, neural-retrieval-in-the-loop 構造を知識ベース対話に利用して，会話能力を維持したまま知識を最大化する モデルを構築・評価した. これらの研究では, 過去数ターンの発話から外部知識を検索して応答生成 に使用する.これに対して本研究では, 過去の対話 セッションから知識を想起し, 外部のデータベース から知識の深化を行い，それによってモデルが動的 に変化する対話モデルを構築することを指向する.

## 2.2 長期間の文脈を考慮した応答生成

Xu ら [7] は，過去の対話セッションの要約が注釈されたマルチセッション対話のデータセット Multi-Session Chat を収集し，過去の対話セッション を要約して応答生成に使用するモデルを構築した。 $\mathrm{Xu}$ ら [8] は, ユーザとシステム双方のペルソナ情報（テキストで記述された個人の情報）を過去セッ ションの対話履歴から抽出・更新・参照し, 応答を 生成する対話応答生成モデルを提案した．Bae ら [9] は，ペルソナ同士が矛盾を生まないように情報を動的に更新する手法を提案した. これらの研究では応答生成に過去セッションの対話履歴の一部や要約 を考慮するが，本研究では過去の対話セッションの 考慮に加えて, 過去の対話セッションに基づいて知識を想起し, 外部のデータベースから知識を深化し て対話システムの応答生成に活用することを指向 する.

## 3 知識の想起・深化を伴う対話コーパス

ここまでの説明のように，本研究では過去の対話 セッションが存在する状況で，その対話セッション に基づく知識の想起と外部データベースを用いた知識の深化から対話モデルを更新するような対話シス テムの構築を目的としている。このため，まずは知識の想起・深化を行うシステム役を人間が行った場合の対話を収集して分析する。この節では収集にお ける具体的な対話タスクの設定と，その収集方法の 詳細について述べる。

## 3.1 タスク設定

本研究では, 過去の経験（過去の対話セッション） に基づいて知識を想起して，外部データベースを用 いて深化し，次回の対話に活用した対話コーパスを 構築した. 過去の対話セッションとしては Wizard of Wikipedia データセット [4]を日本語訳したもの，外部データベースには Wikipediaを使用した. Wizard of Wikipedia では知識を伝える Wizard と知識につい て尋ねる Apprentice という役割分担で対話が行わ れ，Wizard 側のシステムを構築することが行われ てきた. 今回は我々の目的である経験に基づく知識 の想起・深化を行う様子を収録するため, Apprentice 側が過去の対話セッションに基づいて自主学習を行 うシステムという想定で対話収集を行った．具体的 には, 過去の対話セッションで Wizard から与えら れた知識を Apprenticeがより深く学習してきたとい う設定で行った. Wizard of Wikipedia の設定と対比 させた本研究での設定は以下の通りである.

## 3.1.1 Wizard of Wikipedia の役割設定

Apprentice 会話の各段階で, Apprentice はWizard に自由に話しかけ，好奇心旺盛な学習者の役を演 じ，おしゃべりに熱中する。目標は，自分自身や相手が興味を持っている選ばれたトピックについて，会話を魅力的で楽しいものにしながら，深く掘り下 げていくことである.

Wizard Wizard は情報検索システムにアクセス し, Wikipedia から会話に関連しそうなパラグラフ を見ることができる．会話の順番が回ってくる前 に，これらのパラグラフを読み，観察された知識に 基づいて次の返答をすることが可能である.

## 3.1.2 本研究の役割設定

本研究では， Wizard of Wikipedia から以下のよう にそれぞれの役割の設定を更新している。

Apprentice 前回教えてもらったことに対して，新たに学んできたことをWizard に提示して, さら に議論を深めるのが目的である. Apprentice は過去 の対話セッションとそれに紐づけされた Wikipedia の記事をもとに知識を深化した発話を行う。
表 1 各コーパスの統計情報と語彙的特徴

表 2 役割ごとの統計情報と語彙的特徴

Wizard Wizard は前回の対話で自身の知識を Apprentice に与えている. 今回は Apprentice が学習 してきたことを深掘りして，さらに議論を深めるこ とがが目的である.

## 3.2 収集方法

収集の方法には，テキストチャットを用いた。対話の収集は，日本語を母国語とする 3 名（Wizard 役 1 名, Apprentice 役 2名）の作業者によって行った.自然な対話を意識すること，過去の対話セッション とつじつまが合うこと，話し方を統一するため丁寧語で会話すること，想起対象である過去の対話セッ ションに紐づけられた Wikipedia の記事の情報をで きるだけ発話に使用することを指示した。

## 3.2.1 実験の手順

1. 二人の作業者に役割 (Apprentice 役と Wizard 役）を与える.

2. 過去の対話セッションをお互い確認する.

3. Apprentice 役は記事を使用して知識を深めた対話の内容を考える. 過去セッションの各単語に Wikipedia の見出し語へのリンクが付与されて おり, Apprentice 役も Wizard 役も自由に記事の 内容を参照できる.

4. Apprentice 役から Wizard 役に「実験開始」の文字列を送信すると，実験が開始される。

5. Wizard 役が最初の発話を送信する。

6. 記事及び Wizard 役からの発話を考慮して, Apprentice 役が応答を送信する.

7. 応答の際に使用した知識が記載されているパラ
グラフのタイトルをスプレッドシートに記入 する.

8. 応答の際に焦点を当てた過去の対話セッション の発話をスプレッドシートに記入する。

9. 5-8 の手順を合計 20 ターン行う.

## 3.3 対話行為ラベルの付与

収集した発話と過去の対話セッションを句点ごと 分割し, 対話行為ラベルを付与した. 対話行為ラベ ルの定義には, ISO 24617-2 に基づいて Informationseeking, Information-providing, Commissives, Directives を使用した [10].これらの対話行為のいずれにも属 さない場合は Others とした.

## Information-seeking（IS）

話し手が聞き手から特定の情報を得ることを目的 とする機能。(例：質問)

## Information-providing (IP)

話し手が聞き手に特定の情報を知らせることを目的とする機能. (例 : 応答，賛成，不賛成）

## Commissives (CM)

話し手が特定の行為を行うために自分自身の行為 を聞き手に委ねることを目的とする機能.（例：依頼，約束，指示機能への承諾）

## Directives (DR)

話し手が聞き手に特定の行為を行わせることを目的とする機能. (例 : 指示，要求，提案）

## 4 分析

知識の想起・深化を伴う対話コーパス（今回の対話セッション）と過去の対話セッションの統計を表

1,2 に，実際の収集データの例を付録 $\mathrm{A}$ に示す. 語彙的特徴については，各コーパスの基本的な統計情報に加えて，表層上の語彙の多様性を Herdan の $C$ [11,12] を用いて算出した. この指標は, 総トーク ン数 $N$ と語彙数 $V$ を用いて次のように表される.

$
C=\frac{\log V}{\log N}
$

## 4.1 語彙多様性

語彙の多様性を表す $C$ の値は，過去の対話セッ ションよりも知識の想起・深化を伴う対話コーパス の方がやや大きかった. このことから, 知識の想起・深化を伴う対話コーパスには過去の対話セッ ションよりも多様な語彙が含まれていることが分か る. また, 役割ごとの分析でも, Apprentice の $C$ の 值は過去の対話セッションと比べて大幅に向上して いる.このことから, 過去の対話セッションから知識を想起し，外部データベースを用いて知識の深化 を行い，次の対話に活用する対話設定は，語彙の多様性の向上に寄与すると考えられる.

## 4.2 対話行為

役割設定を更新したことで，Apprentice と Wizard の対話行為ラベルの分布傾向が逆転した. 知識の想起・深化を伴う対話コーパスの各発話の対話行為と して Apprentice 役からは Information-seeking が高い 割合 $(90.4 \%)$ で使用されたことが分かった。また， Apprentice 役は過去の対話セッションに紐づけられ た Wikipedia の記事の情報を利用した発話を，全体 の $84.0 \%$ 行っていた. この結果から, 過去の経験に 基づく知識の想起・深化を活用した発話を含む対話収録として，おおむね適切な設定ができたと考えら れる. しかし, 今回用いた Wizard 役が知識の深堀 りに特に協力的であったことがこれらのスコアに大 きく影響を与えた可能性も考えられる. 雑談の中で 自然に知識の深堀りを行ってもらうために，今後は Wizard 役をもう少し自由な設定にして収集を行う必要がある.

## 4.3 使用記事

知識の想起を伴う対話コーパスの 1 対話あたりの 平均使用記事数は 2.6, 1 記事による最大持続ターン 平均は 12.2 であった. つまり, 20 ターンの対話に

表 3 各対話行為の割合 [\%] 1)

おいては多くの場合, 複数の話題が現れ, 話題の切 り替わりが生じるような対話データが収集された。

## 4.4 対話パターン

今回は話し始めを Wizard 役で固定していたため,同じような発話が多くなり，話の展開が Wizard 役主導になることが多いという問題があった. 発話の 多様性と Apprentice 役主導の展開の対話を収集する ため，話し始めが Apprentice 役の対話パターンも今後検討する必要がある.

さらに，Wizard 役の個性に関わらず雑談の中で自然に知識の深堀りを行う対話を収録する必要もあ る. そのため, Wizard 役に深堀りを行う設定を与え る場合と与えない場合についても比較の検討の余地 がある.

## 5 おわりに

本研究では，経験に基づいて知識を想起し，外部 データベースを用いて知識の深化を行い対話に活用する対話システムの開発を目的として，知識の想起・深化を伴う対話コーパスを構築した. 構築した コーパスを分析した結果，今回の対話収集設定はお おむね目的に沿った対話が収集可能であることが 確認できた．今後の方針としては，データ規模の拡大，構築した対話コーパスを活用した対話システム の構築に取り組む．具体的には，焦点を当てるべ き過去の対話セッションの発話・知識を検索する モデル, Wikipedia の記事から知識を深化するモデ ル，構築したコーパスで Finetuningを行った言語モ デル，以上を組み合わせた対話システムの構築に取 り組む。

## 謝辞

本研究は JSPS 科研費 JP22H04873 の助成を受 けた.

## 参考文献

[1] Guangtao Zeng, Wenmian Yang, Zeqian Ju, Yue Yang, Sicheng Wang, Ruisi Zhang, Meng Zhou, Jiaqi Zeng, Xiangyu Dong, Ruoyu Zhang, Hongchao Fang, Penghui Zhu, Shu Chen, and Pengtao Xie. MedDialog: Large-scale medical dialogue datasets. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9241-9250, Online, November 2020 .

[2] Diane Litman, Steve Young, Mark Gales, Kate Knill, Karen Ottewell, Rogier van Dalen, and David Vandyke. Towards using conversations with spoken dialogue systems in the automated assessment of non-native speakers of English. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 270-275, Los Angeles, September 2016.

[3] Eugene Agichtein, Yoelle Maarek, and Oleg Rokhlenko. Alexa prize taskbot challenge. In Alexa Prize TaskBot Challenge Proceedings, 2022.

[4] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019 .

[5] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8460-8478, Dublin, Ireland, May 2022.

[6] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 37843803, Punta Cana, Dominican Republic, November 2021.

[7] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022.

[8] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, Dublin, Ireland, May 2022.

[9] Sanghwan Bae, Donghyun Kwak, Soyoung Kang, Min Young Lee, Sungdong Kim, Yuin Jeong, Hyeri Kim, Sang-Woo Lee, Woomyoung Park, and Nako Sung. Keep me updated! memory management in long-term conversations. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022.

[10] Harry Bunt, Jan Alexandersson, Jean Carletta, Jae-Woong Choe, Alex Chengyu Fang, Koiti Hasida, Kiyong Lee, Volha Petukhova, Andrei Popescu-Belis, Laurent Romary, Claudia Soria, and David Traum. Towards an ISO standard for dialogue act annotation. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta, May 2010.

[11] G. Herdan. Type-token Mathematics. Janua linguarum, Studia memoriae Nicolai van Wijk dedicata. Series maior, 4. Mouton, 1960.

[12] G. Herdan. Quantitative Linguistics. Butterworths, 1964.

## A 収集データの例2)

## A. 1 過去の対話セッション

表 4 過去の対話セッションの例

A. 2 知識の想起・深化を伴う対話コーパス

表 6 発話に使用された知識と焦点を当てた過去の対話セッションの発話の例

2) A : Apprentice 役 W: Wizard 役


# 雑談対話における会話継続予測に基づくユーザ適応的応答評価

蔦侑磨 1 吉永直樹 2 佐藤翔悦 * 豊田正史 ${ }^{2}$
1 東京大学大学院 2 東京大学 生産技術研究所
\{tsuta, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp

## 概要

雑談対話システムでは、話し相手となるユーザに 即した応答を生成することが望ましいが，そのよう な応答を適切に評価するには、当該ユーザ自身が評価を行う必要があり、コストが大きい. 本研究は雑談応答生成において，対話システムが応答する話者 の視点を取り入れた自動評価手法を提案する．提案手法は，評価ユーザが会話を継続する応答が良い応答であるという発想から、評価ユーザを考慮した会話の継続性予測タスクを通じて生成応答の主観評価 を行う．大規模な Twitter データセットを用いた実験から，ベースラインより高い精度で会話の継続性 の予測が行えることを確認し、当該ユーザの介入な しで主観評価を行うことが可能となった。

## 1 はじめに

GPT-3 [1] などの大規模事前学習済み生成モデル の出現により, 近年の雑談対話システムは与えられ た発話に対し、ある程度自然な応答ができるように なった $[2,3,4,5]$. 今後、雑談対話システムがスマー トスピーカやスマートフォンに搭載され，日常的に 会話を続けるためには，過去の会話履歴やユーザの 最新のプロフィールなどを参照しながら対象ユーザ に即した応答を返すなど，応答生成モデルの個人適応が求められると考えられる $[5,6,7]$.

では，このように特定のユーザとの会話に特化し た対話システムをどのように評価するのがよいのだ ろうか. ユーザが好む応答は、個別ユーザに依存す る [8] ため、ユーザによる対話的評価 $[3,4,5]$ は理想的ではあるものの，そのようなコストが高く，再現性が担保できず，評価の信頼性が評価者に依存す る [9] という問題もあり，効率的に対話システムを 開発する上で課題が残る，雑談対話システムの自動評価に関する研究 $[10,11,12,13,14]$ は様々あるが, これらの既存の自動評価手法では，対話システムの

図1 システム応答に対して話し手が応答するかどうかを 予測するタスク

話し相手であるユーザの視点は考慮されていない.

このような背景を受けて、我々は対話の継続性予測タスクを通じた生成応答の自動主観評価 [15]（図 1）の研究を進めている。この研究では、Twitter な どから得られる大規模対話ログにおいて、ユーザが 応答した発話は応答しない発話よりそのユーザに とって良い発話であるという仮定に基づき、ユーザ のプロフィールを考慮して会話の継続性予測を行う モデルを用いて自動で主観評価を行うことを実現し た. 予備的な実験を通して、継続性の予測ができる ことを確認したものの、プロフィール文のあるユー ザしか評価に利用できず、対話システムの生成応答 の評価まで行えていなかった。

そこで本稿では、ユーザトークン [16]を用いて会話の継続性予測を個人適応する手法を提案し，これ をプロフィール文を用いて個人適応する手法 [15] と の比較を行う。また，実際に対話システムの生成応答に対して提案手法を適用し，評価ユーザによる人手評価との相関に基づき、提案手法の自動主観評価手法としての有効性を確認する.

実験では，Twitter 上の膨大な会話データセットを 用いた実験により，本稿で提案するユーザトークン を用いた会話の継続性予測手法が既存のプロフィー ル文を用いた会話の継続性予測手法と同程度の精度で会話の継続性を予測できることを確認した。ま た，評価ユーザによる対話システムの生成応答に対

する人手の継続性評価にとの相関については、一部 のユーザに関して，人手の継続性評価と提案手法の 予測結果が相関する結果が得られた。

## 2 関連研究

対話システムの主観評価を自動で行う研究は先行研究 [15] のみである. 本節では, 雑談対話生成にお いて話し相手となるユーザや，対話システム自体の キャラクター性を考慮して応答を生成する研究を説明する (§ 2.1). 続いて, 生成応答に対する自動評価 に関する関連研究 (§ 2.2)を紹介する。

## 2.1 対話システムの個人適応

雑談対話応答生成の研究分野では，対話システム に個性を埋め込むことで，一貫した応答の生成やシ ステムのキャラクター付けを可能にした研究が多く 行われている。例えば， $\mathrm{Li}$ らは，話者に固有の学習可能な埋め込み表現を利用することで話者の性別や 住所などを再現することを可能にした [16]. また， PersonaChat [17] やマルチセッションチャット [5] に は，特定の個性を持った人物を演じる会話が含まれ ており趣味や生活環境などの話者の疑似的な特徴を 含む会話が利用可能である.

これらの研究では，与えられた話者性に合致する 応答を生成する対話システムの開発 $[17,18,19]$ だ けでなく，会話相手の特徴を意識した会話を可能に してエンゲージメント向上を目指した研究 $[20,21]$ も存在する. これらの研究は, キャラクター性の理解・表出により，エンゲージメントの高い回答を生成することが可能となったが，人手評価は応答対象 のユーザではない第三者が行なっており，応答対象 ユーザの観点からの評価はなされていない.

## 2.2 雑談対話システムの自動評価研究

既存の生成応答の自動評価手法は，生成応答 と参照応答との一致度に基づく評価 (例えば, BLEU [22])，あるいは参照文を用いない評価モデル による生成応答の評価 (例えば，RUBER [23]) がある が，現在のところ既存の生成応答の自動評価手法は 不安定であり，機械翻訳における BLEU のような標準的な生成応答の自動評価手法は存在しない. 我々 は，生成応答の評価は評価者に強く依存し，対話シ ステムのユーザと異なる評価者が行った人手評価と の相関を取ることに自動評価の本質的な問題がある と考えて，主観評価を自動化することを考えた。対話システムの評価モデルの学習において，シス テム応答や実応答に対する人手の評価を用いた研究 が存在する $[11,13]$.また，SNS 上のフィードバッ クデータを学習データとして用いる評価手法が提案 されている [12]. しかし, これらの研究は主観的な 自動評価を行うことを目的としていない.

## 3 提案手法

## 3.1 会話継続性予測に基づく評価

雑談対話システムのユーザを意識した評価を可能 するためには，そのユーザに好まれる文を理解する こと，つまり当該ユーザが好む実応答と，好まない 実応答が必要となる. そのデータはどのようにして 得られるのだろうか? 我々は先行研究 [15] におい て，この問いに対話の継続性に関する自然注釈を利用することで答えた。すなわち，与えられた応答に 対し, ユーザが応答し，会話が継続しているかどう かが，ユーザの応答に対する好みを反映していると 考えた. 本研究でもこのアイデアを利用し，与えら れた応答に対して当該ユーザが会話を継続するかを 予測するモデルを学習し, その予測確率を評価値と して，与えられた応答の主観評価を行う。

## 3.2 ユーザを考慮した会話継続性の予測

本研究では，先行研究で提案したプロフィール 文を利用した会話の継続性予測手法に加えて，Li ら [16] が応答生成タスクにおいて提案したユーザ トークンを用いた会話の継続性予測手法を検討す る. 本手法では，各ユーザの発話に対してユーザ特有の特殊トークンを発話の先頭に付加し，ユーザの 会話データから与えられた応答に対する当該ユーザ の会話継続性の予測モデルを学習する。プロフィー ルでなく、ユーザトークンを用いることで、プロ フィール文が利用できない Reddit ${ }^{1}$ ) 2) のような会話 データを用いた対話システムの評価を行うことが できる。また，プロフィール文が利用できる Twitter 上の会話データでも，プロフィール文が存在しない ユーザを対象とした評価を行うことができる.

## 3.3 会話継続性予測タスク

本研究の応答継続性予測タスクは，問いかけ られたユーザが返答を行うかを予測するタス

1) https://www.reddit.com/

2）Reddit ユーザの話者の特徴データの抽出可方法は公開され ているが [24], 抽出データが未公開のため再現が難しい.

クである. 具体的には， $N$ 個の発話を含む会話 $U=\left[u_{0}, u_{1}, \ldots, u_{N-1}\right]$ が 2 人の話者 $s_{i}$ と $s_{j}$ によって 交互に行われている ${ }^{3}$ ) と仮定し（なお， $u_{N-1}$ は $s_{j}$ による発言とする)，予測モデルは会話における $s_{i}$ の応答確率 $P\left(u_{N}=\right.$ exists $\left.\mid U, s_{i}\right)$ を予測する. その ため, モデルは会話文 $U$ と, 返答の有無を予測す るユーザ $s_{i}$ が入力され, 返答予測確率を出力する. ユーザを考慮するために固有のトークンを利用する 際には，対象となるユーザ $s_{i}$ に対して固有トークン （[USER i]）を用意し，ユーザ $s_{i}$ の全ての発言の前 にそのトークンを結合しモデルに入力する. 考慮さ れないユーザは，代わりに汎用のユーザトークンが 用いられる. プロフィールでユーザを考慮する場合 は，ユーザ固有トークン [USER i] の代わりに二人の 話者を区別する目的で汎用トークン（例えば， [SPK $\mathrm{A}]$ と $[\mathrm{SPK} \mathrm{B}]$ )を用い，ユーザ $s_{i}$ のプロフィール文 $\left(p_{i}\right)$ をモデルに入力する会話文の先頭に結合する ([SPK A] $p_{i}\{$ 会話文 $\}$ ). なお, モデルの最大入力長 を超える場合，古い文脈が優先的に無視される。

## 4 実験

本研究は, 話者が識別可能な Twitter から収集し た膨大な実会話ログを用いて応答評価モデル（会話 の継続性予測モデル）の学習，評価を行う．まず，会話データ中の対象ユーザに関して評価モデルを 学習し, 人同士の会話について対象ユーザの応答予測が可能かどうかを確認する（以下，内的評価と呼 ぶ). 次に，雑談対話システムによる生成応答に対 してアノテータによる評価を行い，これを正解ラべ ルとして応答評価モデルを評価した（以下，メタ評価と呼ぶ).

## 4.1 会話データ

本研究では，Twitter 公式 API を用いて収集した Twitter 上の日本語の投稿（ツイート）を用いた. 会話データとして構築するために，2 人のユーザ間の 投稿とその返信からなる一連の投稿のみを利用し た. 2017 年 1 月から 2018 年 3 月の間に 30 回以上会話したユーザ（以下，ターゲットユーザ）をランダ ムに 1 万人抽出し, 1 人あたり最大 400 回の会話,合計約 125 万件の会話データを収集した. 収集した 会話を，モデルの訓練データおよび検証データとし て使用した ${ }^{4)}$.このうち, 各ユーザの $5 \%$ の会話を検

3）本研究では簡単のため二人の間での会話を扱う（§4.1)

4）なお，自分への返信，送信元の URL や名前に「bot」が含 まれる botによる発言， 3 語以下の発言などの会話文として証用データとして確保し，残りを訓練データとして 利用した. 訓練データの統計量などは付録 $\S$ A. 1 に 記載した. また，内的評価のためのテストデータと して，2018 年 3 月から 12 月の間のターゲットユー ザの会話約 200 万件を別途収集した.

雑談対話システムの生成応答を利用して行うメタ 評価には，評価者と対話システムとの会話，および 正解ラベルとして対話システムの生成応答に対す る評価者の評価が必要である. そこで，と研究室の メンバー 2 名がそれぞれ Twitter 上で行った会話を 収集した。これら会話データ，それぞれ（訓練・検証・テスト）の順で $(165 \cdot 43 \cdot 27) \cdot(19 \cdot 6 \cdot 10)$ の 会話を上記のデータセットに追加した.

## 4.2 評価モデルとハイパーパラメタ

実験では，事前学習済みの日本語 BERT [25] ${ }^{5 ｝ を$評価モデルのベースモデルとして採用し，分類モデ ルとして微調整 (fine-tuning) した. ユーザを考慮し て会話の継続性予測を行うことで, 予測精度が上が るか，すなわち，より信頼性のある応答評価が可能 かを確認するため，ユーザを考慮したモデルと考慮 しない（すなわち，ターゲットユーザ独自のトーク ンやプロフィールを用いない）応答評価モデルを 学習した. また，メタ評価にあたって，Gao らの研究 [12] を参考に妥当性検証用のモデルを利用して いるが，すべての学習可能なモデルで同様の利用 を行っているため，モデル間の比較に影響はない （§ A.4）その他の詳細は，付録 § A. 2 に記載する。

## 4.3 メタ評価のための人手評価の収集

対話システムの生成応答での性能を評価するた めに，正解ラベルとなる人手評価データが必要であ る.なお，生成応答までの会話文脈は 4.1 で述べ たアノテータのテストデータから作成し, 生成応答 によってアノテータに問いかける形式にした. Ji ら の研究 [26] を参考に，アノテータ（共著者 1 名，学生 1 名) は, 7 種の対話モデル (§ A.3) による生成応答と 1 つ実応答を 0 から 100 のスコアで評価した.結果，400 件と 192 件の会話データおよび正解ラべ ルを得た。

不適切な文および会話は除外した．また，Twitter APIにより 2021 年 12 月時点で，追加の返信がないことを再確認した.

5) https://huggingface.co/cl-tohoku/bert-base-japanese-v2

## 4.4 評価モデル

ベースラインとしては，ユーザごとに多数ラベル を予測する手法（以下，多数クラス）を用いる. 評価モデルとしては，ユーザを考慮しない手法 (BERT) と，ユーザを考慮する提案手法を追加したものを利用する. § 3.2 で説明したように，ユーザの考慮の 方法は 2 種類 (ユーザトークン，プロフィール) 検討し，それぞれを排他的または同時に考慮する手法 （以下，「全て」と呼称）も比較する。

## 4.5 評価指標

評価モデルの内的評価における評価指標には，実際の返答の有無を正解ラベルとする分類精度 (acc.) を用いる。また, Twitter 上の実際の会話ログでは,一般に問いかけが応答されやすく会話が継続する傾向なため (図 2), この偏りを是正するために会話の 有無の両方のラベルに対する $\mathrm{F}_{1}$ を平均化したマク 口 $\mathrm{F}_{1}$ も計測した. なおメ夕評価では， § 4.3 で述べ たように，正解ラベルが $[0,100]$ の範囲のため，分類問題ではなくモデル出力との相関値 (Pearson’s $r$ )を 記載した ${ }^{6)}$. また, 内的評価の結果との比較のため に，50 以上の評価値の応答を正例とみなした分類問題としての結果も記載した. なお，メタ評価では ユーザごとの会話継続性の割合が異なることを考慮 し，ユーザごとに結果を表記した。

## 4.6 実験結果

表 1 は，Twitter ユーザ間の会話での内的評価での 結果である。この結果から，ユーザを考慮しない BERTによる応答継続性予測は，(ユーザ性を考慮し た）ユーザごとの多数クラスを出力する単純な方法 と差がないことが確認された。一方で，ユーザを考慮した手法は，いずれもより高い予測精度となるこ とが確認できた. 特に，その方法としてプロフィー ルよりもユーザ独自のトークンを用いる方が有効で あることが確認された。

表 2 は，対話システムによる生成応答（および実応答）に対する予測を人手の評価ラベルに基づいて 評価した結果である. アノテータ 1 に関しては，正解率・マクロ $\mathrm{F}_{1}$ ではユーザ独自のトークンにより ユーザを考慮したモデルの予測が最も人手評価と一致しており，人手評価との相関ではプロフィールも表 1 Twitter の会話ログから対象ユーザーが反応したか どうかを予測することに関する内的評価.

表 2 雑談対話システムに対する生成応答への応答の有無 の予測におけるメタ評価。

 \\

考慮すること (+all) で最も人手評価と一致すること が確認できた。一方で，アノテータ 2 ではユーザを 考慮しない方法がすべて人手評価に近いことが確認 できた. 内的評価とは異なり，メタ評価では会話相手が対話システムであるため，アノテータ 1 では対話システムが会話相手でも問題なく受け入れられた が，アノテータ 2 では対話システムに対する返答の 傾向が変化した可能性などが考えられる.

## 5 おわりに

本論文では，対話システムの評価において、シス テムの話し相手であるユーザの視点を取り入れた自動主観評価手法を提案した。提案手法では，与えら れた応答に対してユーザが返答を行う確率を予測 し，これをユーザによる応答評価に転用する。ユー ザの視点を取り入れるために，ユーザトークンを用 いてユーザをモデル化した．Twitter から収集した人同士の膨大な会話ログを用いた評価では，ユーザを 考慮することで会話の継続性予測の性能が改善す ること，すなわち，より信頼性の高い評価が行える ことを確認した. さらに，本手法を複数の雑談対話 システムによる生成応答の評価に適用した場合，提案手法が一部のユーザでは有効であることを確認 した.

6）このため, メタ評価では常に多数クラスを出力する方法は 記載しない.

## 謝辞

この研究は国立情報学研究所（NII）CRIS と LINE 株式会社が推進する NII CRIS 共同研究，および JSPS 科研費 JP21H03494 の助成を受けています。人手評価にご協力くださった研究室の方々に深く感謝致します。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, H. Lin, editors, Advances in Neural information Proce
Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, Online, July 2020 .

[3] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng $\mathrm{Lu}$, and Quoc V. Le. Towards a human-like open-domain chatbot, 2020.

[4] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot, 2020

[5] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Longterm open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, May 2022

[6] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, May 2022.

[7] Sanghwan Bae, Donghyun Kwak, Soyoung Kang, Min Young Lee, Sungdong Kim, Yuin Jeong, Hyeri Kim, Sang-Woo Lee, Woomyoung Park, and Nako Sung. Keep me updated! memory management in long-term conversations. arXiv preprint arXiv:2210.08750, 2022.

[8] Shikib Mehri and Maxine Eskenazi. USR: An unsupervised and reference free evaluation metric for dialog generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. Annual Meeting

[9] Elizabeth Clark, Tal August, Sofia Serrano, Nikita Haduong, Suchin Gururangan, and Noah A. Smith. All that's 'human' is not gold: Evaluating human evaluation of generated text. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 7282-7296, 2021

[10] Michel Galley, Chris Brockett, Alessandro Sordoni, Yangfeng Ji, Michael Auli, Chris Quirk, Margaret Mitchell, Jianfeng Gao, and Bill Dolan. deltaBLEU: A discriminative metric for generation tasks with intrinsically diverse targets. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 445-450, 2015 .

[11] Ryan Lowe, Michael Noseworthy, Iulian Vlad Serban, Nicolas AngelardGontier, Yoshua Bengio, and Joelle Pineau. Towards an automatic Turing test: Learning to evaluate dialogue responses. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1116-1126, 2017

[12] Xiang Gao, Yizhe Zhang, Michel Galley, Chris Brockett, and Bill Dolan. Dialogue response ranking training with large-scale human feedback data. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 386-395, 2020.

[13] Sarik Ghazarian, Ralph Weischedel, Aram Galstyan, and Nanyun Peng. Predictive engagement: An efficient metric for automatic evaluation of opendomain dialogue systems. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7789-7796, Apr. 2020

[14] Yuma Tsuta, Naoki Yoshinaga, and Masashi Toyoda. uBLEU: Uncertaintyaware automatic evaluation method for open-domain dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 199-206, 2020

[15] 蔦侑磨, 吉永直樹, 佐藤翔悦, 豊田正史. パーソナリティを考慮した雑談対話の会話継続可能性評価. 言語処理学会第 28 回年次大会発表論文集, pp. 583-587, 2022

[16] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, 2016.
[17] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 22042213, 2018.

[18] Hyunwoo Kim, Byeongchang Kim, and Gunhee Kim. Will I sound like me? improving persona consistency in dialogues through pragmatic selfconsciousness. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 904-916, 2020

[19] Haoyu Song, Yan Wang, Wei-Nan Zhang, Xiaojiang Liu, and Ting Liu. Generate, delete and rewrite: A three-stage framework for improving persona consistency of dialogue generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 58215831,2020 .

[20] Qian Liu, Yihong Chen, Bei Chen, Jian-Guang Lou, Zixuan Chen, Bin Zhou and Dongmei Zhang. You impress me: Dialogue generation via mutual persona perception. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1417-1427, 2020.

[21] Itsugun Cho, Dongyang Wang, Ryota Takahashi, and Hiroaki Saito. A personalized dialogue generator with implicit user persona detection. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 367-377, 2022.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[23] Chongyang Tao, Lili Mou, Dongyan Zhao, and Rui Yan. RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems. In AAAI Conference on Artificial Intelligence, pp. 722-729, 2018

[24] Pierre-Emmanuel Mazaré, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2775-2779, 2018 .

[25] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[26] Tianbo Ji, Yvette Graham, Gareth Jones, Chenyang Lyu, and Qun Liu. Achieving reliable human assessment of open-domain dialogue systems. In Aroceedings of the 60th Annual Meeting of the Association for Comproceedings of the 60th Annual Meeting of the Association for Com-
putational Linguistics (Volume 1: Long Papers), pp. 6416-6437, May 2022.

[27] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019

[28] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models Are Unsupervised Multitask Learners. 2019.

[29] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[30] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.
表 3 訓練会話におけるターン・文字数に関する統計。

図 2 訓練データのターンごとの応答返答率の分布. ター ンは，問いかけを含んでそれまでに何回発言が行われた かを意味し，正例割合はその中でどの程度問いかけに 返答されたか（つまり，訓練データでの正例の割合）を 示す.

## A 付録 (Appendix)

## A. 1 訓練データの情報

表 3 に訓練データのターン・文字数に関する統計 を，図 2 に訓練データにおけるターンごとの事例数 と，正例の割合を示す.

## A. 2 モデルの学習パラメータ

すべてのモデルのハイパーパラメタは，学習率 $3 e-5$, バッチサイズ 64 , エポック数 5 で学習し, optimizer として AdamW [27], 損失関数には交差エ ントロピー損失を使用した. なおモデルの実装には 全て Hugging Face Transformers 7 )を用いた. 実験に用 いた全てのライブラリのライセンスは, 学術目的で の使用を許可している.

## A. 3 雑談対話システム

メタ評価のためのデータセットには，対話システ ムによる生成応答が必要であるため，§ 4.1 で述べた 訓練データを用いて事前学習済み GPT- $2^{8)}$ [28] の転移学習を行った. 対話システムは, 再学習時に事前学習パラメタを継承するかランダム初期化するか, またユーザトークンを利用するかしないか（§ 3.3 と

7) https://github.com/huggingface/transformers

8) https://huggingface.co/rinna/japanese-gpt2-medium同様の方法)を組み合わせて、4種のモデルを学習し た. さらに，事前学習済み Transformer ${ }^{9}$ [29, 30] の 公開済みの 3 種のモデルも使用した. 上記の合計 7 種の応答生成モデルの生成応答をメ夕評価に利用 した.

## A. 4 妥当性評価モデル

実験における評価モデルは，Twitter 上の人同士の データで学習される。一方で，メタ評価では対話シ ステムの応答の評価がメインであり，対話システム の性能が低い場合，生成された応答が理解できない 非文になっている可能性が考えられる．理解可能な 人同士の文章のみで学習されたモデルの, 非文を含 むデータに対する脆弱性を考慮し, 補強する必要が ある。

Gao らの研究 [12] では，実会話となる問いかけと 応答のペアを正例，ランダムな問いかけと応答のぺ アなどを不例として学習した（従来の評価モデルと 同様の）妥当性評価モデルにより, 応答として不適格な文にペナルティを与えることで，生成応答に 対するエンゲージメント評価の性能向上を行った. そこで，本研究でも同様に，BERT の Next Sentece Prediction タスクにより学習したモデルを妥当性評価モデルとして採用し，生成応答にペナルティを与 えた.なお，このペナルティはすべての生成応答に 同一の条件で与えられ，その後の評価モデルにも依存しないため, 本研究における実験での学習可能な モデルの比較には影響がない。

応答妥当性評価モデルの学習のためのデータセッ トは, § 4.1 の学習データと同じ会話データから作成 した. 正例は, 会話データのうち正例（会話の後に 応答があるもの）約 $1 \mathrm{M}$ の対話データを用いた. 負例には，会話中のすべての応答について，会話文脈 をランダムにサンプリングして組み合わせることで 作成した約 $2 \mathrm{M}$ の会話データを利用した．学習時に は，正例と負例が同数となるように学習した。

9) https://github.com/nttcslab/

japanese-dialog-transformers

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# エントレインメントスコアを用いた 応答リランキングとその自動評価

金崎 翔大 ${ }^{1,2}$ 河野誠也 ${ }^{2}$ 湯口 彰重 2 桂井 麻里衣 3 吉野 幸一郎 ${ }^{2}$
1 同志社大学大学院理工学研究科 2 理化学研究所ガーディアンロボットプロジェクト
3 同志社大学理工学部
\{kanezaki21,katsurai\}@mm.doshisha.ac.jp
\{seiya.kawano, akishige.yuguchi,koichiro.yoshino\}ariken.jp

## 概要

人間と人間の会話では，エントレインメントと呼 ばれる対話の進行に従って話し方が同調する現象 がしばしば発生する．著者らは直近の研究で，対話文脈に対して理想的なエントレインメント度合い を自動決定し，それに基づきニューラル雑談対話 モデルの応答リランキングをする手法を提案した。本研究ではこの枠組みに基づき，新たに BERTScore に基づくエントレイメント尺度を提案する。また，従来研究で提案したエントレインメント尺度と本研究で提案したエントレイメント尺度に基づいて， ニューラル雑談対話モデルの応答リランキングを行 う.また，このリランキング結果に対する自動評価 を行う。

## 1 はじめに

エントレインメントは，収束やアラインメントと も呼ばれ，対話における話者間の話し方が対話の進行に従い類似する現象を指す。この現象は，語彙 [1], 統語構造 [2], 文体 [3], 韻律 [4], ターンテイキ ング [5], 対話行為 [6] など，対話における様々な要素で観測される．エントレインメントは，対話のタ スク成功率や自然性，対話意欲と相関することが報告されており，エントレインメントの分析 $[7,8]$ を 通して対話システムの性能や対話の質を評価する試 みが行われている。また，エントレインメントを考慮して，対話システムの応答選択・応答生成を制御 する試みもある $[9,10,11]$.

著者らは直近の研究で，対話文脈に対する応答の エントレインメント予測モデルを構築し [12], それ に基づきニューラル雑談対話モデルの $n$-best 応答候補をリランキングする手法を提案した [11]. この研究では，システムが対話文脈に対して “どの程度” エントレインメントした応答をするべきかを予測モ デルによって学習し, “理想的” なエントレインメン 卜度合いをもたらすような応答を自動決定する手法 を提案した。提案したリランキング手法が主観評価 を顕著に悪化させることなく応答のエントレインメ ントを制御することが可能であることを示した。一方で，この研究で用いた単語分散表現に基づく尺度 だけではエントレインメント現象を十分に捉えられ ず，対話システムの応答生成に利用するための十分 な情報量を持っていない可能性が示唆された。

言語的なエントレインメント分析における先行研究では，様々なエントレインメント尺度が提案され ている. Nenkova らは対話コーパス内の頻出単語に 着目し，2名の話者によるそれらの利用傾向に基づ くエントレインメント尺度を提案した [7]. しかし，頻出単語のみに着目した尺度では，単語の意味や統語構造などの複数の側面を捉えきれない可能性が あった。 そこで，Nasir らは単語分散表現の類似度に 基づく尺度を新たに提案した [8]. 2 つの対話コーパ スを用いた分析実験の結果，bag-of-words に基づく エントレイメント尺度と比べ，単語分散表現に基づ く尺度が対人行動情報を把握するために有用である ことが示された。なお Nasir らは深層学習による文脈埋め込み表現を用いた尺度の可能性に言及してい た. その方向性の研究として, Bidirectional Encoder Representations from Transformers (BERT) [13] によっ て埋め込まれた文ベクトルの相関に基づくエントレ イメント尺度が Liu らにより提案されている [14].

本研究では，著者らが直近に提案した単語分散表現に基づくエントレイメントスコアを用いたリラン キング手法に対して，新たに BERT の文脈埋め込み に基づくエントレインメントスコアを用いることを
提案する.そして，これらのスコアに基づくリラン キング手法で得られた応答の自動評価を比較する.

## 2 エントレインメントスコアを用い た対話応答のリランキング

本研究では，著者らが直近で提案したリランキン グ手法 [11] を適用する. 手法の概要を図 1 に示す.

図 1 リランキング手法の概要

## 2.1 ニューラル雑談対話モデル

ニューラル雑談対話モデルは，入力に $t$ ターン 目の発話文 $U_{t}$ までの対話履歴 $\boldsymbol{U}=\left.\{U_{1}, U_{2} \ldots, U_{t}\right.\}$ を受け取り ${ }^{1)}$, 出力として $t+1$ ターン目の $n$ 個の $n$-best 応答候補リスト $\boldsymbol{R}=\left[R_{1}, R_{2} \ldots, R_{n}\right]$ および応答候補の尤度リスト $\boldsymbol{l}_{\boldsymbol{R}}=\left[l_{R_{1}}, l_{R_{2}} \ldots, l_{R_{n}}\right]$ を出力す る。ただし，応答候補リスト $\boldsymbol{R}$ は尤度の降順になっ ており, $l_{R_{1}} \geq l_{R_{2}} \geq \ldots, \geq l_{R_{n}}$ を満たす.

## 2.2 エントレインメントスコアの定義

本研究では，局所的な（固定窓幅における対話文脈の）言語的エントレインメントを測定するフレー ムワークである Local Interpersonal Distance (LID) [8] を用いてエントレインメントスコアを算出する．著者らの従来手法 [11] では，ある発話者による発話 $U_{t}$ に関し，その対話相手へのエントレインメント度合い $\mathrm{LID}_{U_{t}}$ を次式により算出した.

ここで, $\boldsymbol{U}^{\text {partner }}$ は $U_{t}$ より過去に観測された発話のう ち，対話相手による過去 2 ターンの発話文集合を表 す.また, $\mathrm{WMD}\left(U^{\text {partner }}, U_{t}\right)$ は Word Mover's Distance (WMD) [16] を用いて計算される発話 $U^{\text {partner }}, U_{t}$ 間 の単語分散表現空間上での意味的距離である. $\operatorname{LID}_{U_{t}}^{(\mathrm{WMD})}$ は 0 以上の值をとる実数であり，値が小 さいほど発話 $U_{t}$ が対話相手の発話集合 $\boldsymbol{U}^{\text {partner }}$ に対 して同調しているとみなせる.

本稿では, 式(1)の代わりに, 新たに BERTScore [17] に基づくエントレインメント度合い $\operatorname{LID}_{U_{t}}^{(\mathrm{BERT})}$ を 用いることを提案する. BERTScore は単語ごとに 独立して埋め込み表現を獲得するのではなく， Self-Attention により文全体の意味を考慮して埋め込
_{t}=\left.\{U_{t-3}, U_{t-2} \ldots, U_{t}\right.\}$ を用いる.
}

み表現を獲得する。この文脈埋め込みを発話文間の 類似度算出に用いることで，発話文全体を考慮した エントレインメントスコアを期待する。

$\operatorname{LID}_{U_{t}}^{(\mathrm{BERT})}$ は 0 以上 1 以下の值をとる実数であり,値が 0 に近いほど発話 $U_{t}$ が対話相手の発話集合

## 2.3 エントレインメント予測モデル

$t$ ターン目までの対話履歴 $\boldsymbol{U}$ が入力されたとき, $t+1$ ターン目の発話文 $U_{t+1}$ が持つべきエントレイン メントスコア $\mathrm{LID}_{U_{t+1}}$ を予測するようモデルを学習 する [12]. 図 2 に示すように, Gated Reccurent Unit (GRU) [18]を用いた階層的エンコーダモデルと線形変換層（Affine）を用いたエントレインメントデ コーダモデルで構成する。

図 2 エントレインメント予測モデルの概要

発話文中の各単語 $u_{t, i} \in U_{t}$ を，式 (3) で定義する エンコーダで発話レベルの特徴ベクトル $h_{t}=h_{t},\left|U_{t}\right|$ に変換する ${ }^{2}$.

$
\boldsymbol{h}_{\boldsymbol{t}, \boldsymbol{i}}=\operatorname{GRU}_{\text {utter }}\left(\boldsymbol{h}_{\boldsymbol{t}, \boldsymbol{i}-\mathbf{1}}, \operatorname{Embedding}\left(u_{t, i}\right)\right)
$

ここで, Embedding($\cdot$) は, $U_{t}$ における各単語 $u_{t, i} \in U_{t}$ を固定長の密べクトル表現に変換する単語埋め込み 層である。

次に，式 (4) で定義される対話エンコーダを用い て，各ターンまでに得られた発話レベルの特徴べク トル $\boldsymbol{h}_{\boldsymbol{t}}$ の系列を対話レベルの特徴ベクトル $\boldsymbol{h}_{\boldsymbol{t}}^{\prime}$ に統合する。

$
\boldsymbol{h}_{\boldsymbol{t}}^{\prime}=\operatorname{GRU}_{\text {context }}\left(\boldsymbol{h}_{\boldsymbol{t}}, \boldsymbol{h}_{\boldsymbol{t}-\mathbf{1}}^{\prime}\right)
$

2） $\boldsymbol{h}_{\boldsymbol{t}}$ は発話エンコーダ $\mathrm{GRU}_{\text {utter }}$ に対する最後の単語 $u_{t,\left|U_{t}\right|}$ の大力に対応する，隠れべクトル $\boldsymbol{h}_{\boldsymbol{t},\left|\boldsymbol{U}_{\boldsymbol{t}}\right|}$ である.

さらに，エントレインメントデコーダ Affine($\cdot$) を 用いて, 各ターンの特徴ベクトル $\boldsymbol{h}_{\boldsymbol{t}}^{\prime}$ からエントレ インメントの予測値 $\mathrm{LIID}_{U_{t+1}}$ を得る.

$
\mathrm{LiO}_{U_{t+1}}=\operatorname{Affine}\left(\boldsymbol{h}_{\boldsymbol{t}}^{\prime}\right)
$

## 2.4 エントレインメントを用いたリランキ ング機構

まず，対話履歴からみて望ましいエントレ インメントスコアを式 (5) で予測し，それを $\mathrm{LID}_{\text {target }}=\mathrm{LII}_{U_{t+1}}$ とおく. そして，ニューラル雑談対話モデルによる応答候補 $R_{i} \in \boldsymbol{R}$ が実際にもたら すエントレインメントスコア $\mathrm{LID}_{R_{i}}$ との差の絶対値 を, エントレインメントの実現度 $d_{R_{i} \text {, target }}$ として定義する。

$
d_{R_{i}, \text { target }}=\left|\mathrm{LID}_{R_{i}}-\mathrm{LID}_{\text {target }}\right|
$

著者らのこれまでの手法 [11] と同様に，実現度 $d_{R_{i} \text {, target }}$ と応答尤度 $l_{R_{i}}$ の両方をバランスよく考慮し て応答候補リスト $\boldsymbol{R}$ 内をリランキングする。具体的には, $R_{i} \in \boldsymbol{R}$ に対し, 正規化した尤度 $l_{R_{i}}$ と正規化した実現度 $d_{R_{i}, \text { target }}$ の F-beta を算出し, 最大值を とる応答 $R_{\text {F-beta }}(\beta)$ を選択する.

上式において，〜はそれぞれの応答候補リストを基準とした Min-Max 正規化を表し， $\beta$ は 0 以上の実数 となる重み係数である。 $\beta$ が 1 より大きいほどエン トレインメントを重視して応答を選択する。本研究 では, $\beta=1$ と設定した.

## 3 評価実験

本章では，ニューラル雑談対話モデルの応答リラ ンキングに提案手法を適用した場合の応答の自然性 を自動評価指標を用いて評価する.

## 3.1 データセット

評価実験では，感情的な状況下での共感的な対話 を収録した雑談対話コーパス JEmpatheticDialogues [15]を用いた. コーパス内の対話数は $20,000 ， 1$対話は 4 ターンである. 文献 [15] の実験に従い， 16,667 対話 ( $83.34 \%$ ）を学習データ，1,667 対話を検証データ $(8.34 \%) ， 1,666$ 対話（ $8.33 \% ） を$ 評価デー タとした.

## 3.2 実験設定

$n$-best 応答候補リストを生成するニューラル雑談対話モデルとして, JEmpatheticDialogues でファイン チューニングされた Transformer Encoder-Decoder モ デル [15] を用いた. $n$-best 応答候補リストのサイズ は $n=80$ に設定した. 本実験では，次に示すべース ライン応答とリランキング応答を自動評価によって 比較する。
- $R_{1}$ (ベースライン，尤度最大の応答）
- $R_{(\mathrm{BERT})}$ (提案手法, $\mathrm{LID}_{U_{t}}^{(\mathrm{BERT})}$ に基づく応答)
- $R_{(\mathrm{WMD})}$ （従来手法， $\mathrm{LID}_{U_{t}}^{(\mathrm{WMD})}$ に基づく応答)

また，エントレインメント予測モデルの教師スコア を用いて，式 (6) について $\mathrm{LID}_{\text {target }}=\mathrm{LID}_{U_{t+1}}$ として 設定した場合のリランキング応答も比較する。これ はテストデータ中の対話履歴に存在する実際の応答発話のエントレインメントスコアを目標とする設定 であり，エントレインメント予測モデルの誤差が無 い場合に相当する。

エントレインメントスコアの計算に使用する単語分散表現モデルについては，Akama らが提案したス タイルの類似性と統語的・語義的な類似性の両方を 考慮した単語分散表現モデル [19] を用いた. 単語分散表現モデルの学習には，学習データセット内に含 まれる発話を用いた。

エントレインメント予測モデルにおけるハイパー パラメータは，単語埋め込み層の次元を 300 ，GRU の中間層の次元を 300 ，層数を 1 に設定した。また，使用する語彙サイズは 8,000 とし，未知語は特殊記号 “UNK” に置き換えた。予測モデルの訓練におい てはバッチサイズを 64 , 学習率を $1 \times 10^{-3}$ として， Optimizer には Adam[20]を使用した。

## 3.3 評価指標

システム応答 $R_{\#}$ と対話履歴に対する実際の応答発話 $U_{t+1}$ とのエントレインメント誤差を評価す るために，次式で表される symmetric mean absolute percentage error (sMAPE)を用いた.

$
\begin{aligned}
& \operatorname{sMAPE}\left(\mathbf{L I D}_{R_{\#}}, \mathbf{L I D}_{U_{t+1}}\right) \\
& =\frac{200}{n} \sum_{j=1}^{n} \frac{\left|\mathrm{LID}_{R_{\#}, j}-\mathrm{LID}_{U_{t+1}, j}\right|}{\left|\mathrm{LID}_{R_{\#}, j}\right|+\left|\mathrm{LID}_{U_{t+1}, j}\right|}
\end{aligned}
$

ここで $n$ は評価データの数である。また LID には $\mathrm{LID}^{(\mathrm{BERT})}$ とID${ }^{(\mathrm{WMD})}$ の 2 種類がありエントレイ メント誤差はそれぞれの尺度について算出する。
表 1 自動評価結果 $\left(\mathrm{LID}_{\text {target }}=\mathrm{LIID}_{U_{t+1}}\right)$

表 2 自動評価結果 $\left(\mathrm{LID}_{\text {target }}=\mathrm{LID}_{U_{t+1}}\right)$

$\operatorname{LID}_{U_{t+1}}$ はテストデータにおける対話履歴に対す る実際の応答発話のエントレインメントスコアで ある. 応答の自動評価指標には BLEU [21], Distinct [22], Embedding Average [23] を用いた.

## 3.4 実験結果

表 1 に予測モデル $\left(\mathrm{LID}_{\text {target }}=\mathrm{LIID}_{U_{t+1}}\right.$ とした場合 $)$ によるリランキング応答の自動評価の結果を示す。 これは提案手法と従来手法による評価実験の結果で ある. BERTScore と WMDのどちらの手法において も, ベースラインに比べてリランキングされた応答 はそれぞれの尺度に対応するエントレイメント誤差 （sMAPE）が減少した. さらに，リランキングで用 いなかった尺度に対応するエントレイメント誤差も 僅かに減少する.これは BERTScore と WMD が埋 め込み表現を獲得する際に，一部は同じ言語特徴量 を捉えている可能性がある。一方で，どちらの尺度 を用いた場合でも自動評価の結果に大きな差はみら れなかった．特に，埋め込み表現を用いたにも関わ らず，Embedding Average は向上しなかった.

次に, 表 2 に教師スコア $\left(\mathrm{LID}_{\text {target }}=\mathrm{LID}_{U_{t+1}}\right.$ とし た場合）によるリランキング応答の自動評価の結果 を示す.これはエントレインメント予測モデルの誤差が無い場合に相当する. 表 1 と比較すると, どち らの手法においてもべースラインに比べてリランキ ングされた応答はそれぞれの尺度に対応するエン トレイメント誤差が大幅に減少した. しかし, リラ ンキングで用いなかった尺度に対応するエントレ イメント誤差はそれほど減少しない。このことから BERTScore と WMD は異なる言語的特徴を捉えてい る可能性がある. 自動評価の結果については大きな 差はみられない. しかし, 表 1 と比較すると全体と して自動評価の結果が僅かに良い傾向にある.この ことから，エントレインメント予測モデルの精度が 向上することで応答の自然性などが向上する可能性 がある．ただし，雑談対話システムに対する BLEU
などの自動評価指標は人間による主観評価とはほと んど相関がないことが報告されており [23], 主観評価は異なる結果が得られる可能性がある.

## 4 おわりに

本研究では，著者らが直近に提案した単語分散表現に基づくエントレイメントスコアを用いたリラ ンキング手法に対して，新たに BERT の文脈埋め込 みに基づくエントレイメントスコアを導入した. ま た，これらのエントレイメントスコアに基づく応答 を自動評価し，性能を比較した。従来手法と提案手法によるリランキングはどちらもべースラインに比 ベてエントレイメント誤差が減少した。一方, 応答 の自動評価の結果は提案手法と従来手法の間でほと んど違いがみられなかった。

今後は，BERTScore に基づくリランキング結果に ついて主観評価を実施する。また，異なるエントレ イメントスコアが捉える言語的側面（語彙，統語構造，文体，ターンテイキング，話者の意図など）を 分析し，それらを網羅的に捉える新たなエントレイ メントスコアの算出方法を検討する。

## 謝辞

本研究は, JSPS 科研費 $22 \mathrm{~K} 17958,22 \mathrm{H} 04873$, 20H04484 の助成を受けた。

## 参考文献

[1] Susan E Brennan and Herbert H Clark. Conceptual pacts and lexical choice in conversation. Journal of Experimental Psychology: Learning, Memory, and Cognition, Vol. 22, No. 6, p. 1482, 1996.

[2] David Reitter and Johanna D Moore. Predicting success in dialogue. 2007.

[3] Kate G Niederhoffer and James W Pennebaker. Linguistic style matching in social interaction. Journal of Language and Social Psychology, Vol. 21, No. 4, pp. 337-360, 2002.

[4] Arthur Ward and Diane Litman. Measuring convergence and priming in tutorial dialog. University of Pittsburgh,

2007.

[5] Nick Campbell and Stefan Scherer. Comparing measures of synchrony and alignment in dialogue speech timing with respect to turn-taking activity. In Eleventh Annual Conference of the International Speech Communication Association, 2010

[6] Masahiro Mizukami, Koichiro Yoshino, Graham Neubig, David Traum, and Satoshi Nakamura. Analyzing the effect of entrainment on dialogue acts. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, September 2016.

[7] Ani Nenkova, Agustin Gravano, and Julia Hirschberg. High frequency word entrainment in spoken dialogue. In Proceedings of the 46th annual meeting of the association for computational linguistics on human language technologies: Short papers, pp. 169-172. Association for Computational Linguistics, 2008.

[8] Md. Nasir, Sandeep Nallan Chakravarthula, Brian R.W. Baucom, David C. Atkins, Panayiotis Georgiou, and Shrikanth Narayanan. Modeling Interpersonal Linguistic Coordination in Conversations Using Word Mover' $s$ Distance. In Proc. INTERSPEECH 2019, pp. 1423-1427, 2019.

[9] 水上雅博, 吉野幸一郎, Graham Neubig, 中村哲. エン トレインメント分析に基づく応答文選択モデルの評価. 言語処理学会第 23 回年次大会 (NLP2017), 茨城, 32017.

[10] Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino, and Satoshi Nakamura. Entrainable neural conversation model based on reinforcement learning. IEEE Access, Vol. 8, pp. 178283-178294, 2020.

[11] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. エントレインメント予測に基づいたニューラル 雑談対話モデルの応答リランキング. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 3Yin248-3Yin248, 2022.

[12]金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. 対話における後続発話のエントレインメント予測. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 50-55, 2021.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[14] Yuning Liu, Aijun Li, Jianwu Dang, and Di Zhou. Semantic and acoustic-prosodic entrainment of dialogues in service scenarios. In Companion Publication of the 2021 International Conference on Multimodal Interaction, ICMI ' 21 Companion, p. 71-74, New York, NY, USA, 2021. Association for Computing Machinery.

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[16] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. In International Conference on Machine Learning, pp. 957-966, 2015.

[17] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[18] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. In Proc. of EMNLP, pp. 1724-1734, 2014.

[19] Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, and Kentaro Inui. Unsupervised learning of style-sensitive word vectors. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 572-578, 2018.

[20] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[21] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[22] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[23] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

## 付録（Appendix）

## A 実際の対話例

本節には，評価実験における実際の対話履歴とリランキング応答について 3 つの具体例を示す. 各表では 対話者 $\mathrm{A} ， \mathrm{~B}$ による対話履歴を示した後に，対話履歷に続く実際の応答， $R_{1}$ (ベースライン応答, 応答尤度最大), $R_{(\mathrm{BERT})}$ (提案手法によるリランキング応答)， $R_{(\mathrm{WMD})}$ (従来手法によるリランキング応答)を順に示す.

## A. 1 対話例 1

$R_{(\mathrm{BERT})}$ には 5 番目の応答候補が選択され， $R_{(\mathrm{WMD})}$ には 7 番目の応答候補が選択された.

表 3 対話例 1

## A. 2 対話例 2

$R_{(\mathrm{BERT})}$ には 1 番目の応答候補が選択された. つまり BERTScore に基づく尺度を用いたリランキング手法 を適用しても，リランキングする前と同じ応答が出力された. $R_{(\mathrm{WMD})}$ には 3 番目の応答候補が選択された.

表 4 対話例 2

## A. 3 対話例 3

$R_{(\mathrm{BERT})}$ には 8 番目の応答候補が選択され， $R_{(\mathrm{WMD})}$ には 2 番目の応答候補が選択された.

表 5 対話例 3


# 生成・分類言語モデルに基づく対話システムの構築

薛 強 $^{1}$ 滝口 哲也 ${ }^{1}$ 有木 康雄 ${ }^{1}$
1 神戸大学システム情報学研究科
xueqiang@stu.kobe-u.ac.jp takigu,ariki@kobe-u.ac.jp

## 概要

生成言語モデルとは，テキストデータから単語単位で学習し，単語生成機能を持つ言語モデルであ る. 近年，生成言語モデルに基づく対話システム が，人間らしい会話を模擬する上で優れた性能を示 している.しかし, 生成言語モデルは生成した単語 を構成する文章が適切かどうかを判定することがで きないため，繰り返しや間違いを含む文章を生成す る傾向がある。そこで，本研究では，単語生成と文章分類両方の機能を持つ生成・分類言語モデルを提案する. 自動評価では，提案する生成・分類言語モ デルに基づく対話システムにより，ベースライン対話システムに比べ良質な応答が生成できることを示 した.

## 1 はじめに

近年, Microsoft の DialoGPT [1] や, Google $の$ Meena [2] など，Transfomer ベースの言語モデルを用いて，人間同士の対話データを応答生成のタスクで学習 し，学習した言語モデルを用いて応答を生成すると いう生成言語モデルに基づく対話システム（以下，生成対話システムと呼ぶ）が主流となっている。こ のような対話システムは入力した対話履歴に基づい て，流暢な応答文を生成できる利点はあるが，「猫 が好き．猫が好き」と言った繰り返される応答，ま たは「分からない」と言った一般化された応答を頻繁に出力してしまい，情報性が低い対話になる傾向 があり，問題となっている.

本研究では，上に述べたような応答を生成しない ことを目的とし, 複数応答を生成した後に応答の適切性を判定できる生成・分類言語モデルに基づく対話システム (以下, 生成・分類対話システムと呼ぶ) を提案する. 図 1 に提案する対話システムの応答生成の流れを示す. 従来手法との比較実験により，提案する対話システムは，多様性と正解性評価指標に

図1 生成・分類言語モデルに基づく対話システムの応答生成の流れ。

おいて最高値を示した.

本稿では，まず生成言語モデルと生成・分類言語 モデルについて述べる. 次に生成対話システムと，提案する生成・分類対話システムについて述べる.最後に提案する対話システムの実験と評価について 報告する。

## 2 関連研究

本章では，ベースラインで用いる生成言語モデル と本研究で用いる生成・分類言語モデルについて述 べる.

## 2.1 生成言語モデル

Transformer ベースの生成言語モデルには，主に Encoder-Decoder と Decoder の二種類の構造がある.一つ目の Encoder-Decoder 構造とは, Encoder 部に対話履歴を入力し, Decoder 部において逐次的な単語選択により応答文を生成する構造である。二つ目の Decoder 構造とは，Decoder 部に対話履歴を入力し，対話履歴の尾部に接続して単語選択により応答文を 生成する構造である。

近年の研究では，応答文の多様性を向上させ，話題の切り替えを可能とするために， <entity, relation， entity >形式で表現された対話に関連する構造化知識

図 2 生成・分類言語モデルの学習タスク. 白色はソース，黄色部分は生成器のターゲット，青色部分は分類器のター ゲット．上部分は Double Heads モデルのタスク，下部分はLM Head モデルのタスク.

（外部知識）と対話履歴を統合して対話背景とし， これを GPT-2 [3] のような生成言語モデルに入力し て応答を生成するという知識ベース生成対話システ ム [4] が提案されている. 本研究では，以上に述べ た生成対話システムをべースラインとする。

## 2.2 生成・分類言語モデル

Encoder 構造を持つ BERT モデルでは，大量のテ キストデータから文単位の学習を行うために，分類トークンの位置からモデル出力を一つの分類器 （Class Head）に入力し，2つの文章が連続している かどうかを判定するという次文予測 (Next Sentence Prediction）タスクを用いている [5]. Decoder 構造を 持つ GPT-2 モデルでは，大量対話データから文単位 の学習を行うために，次文予測方法と同じように，停止トークンの位置からモデル出力を一つの分類器に入力し、応答が正解応答かどうかを判定すると いう応答判定タスクを用いている [6]. 本研究では,複数の応答に対する判定を学習するために，複数分類器を用いた応答判定タスクを提案する。

Arora 等らは, 生成言語モデルの生成器 (LM Head) と同じ数を持つ分類器 (Class Head) を各位置に追加 し, 推論時に生成器が辞書にある各単語の確率を生成すると同時に，分類器が辞書にある各単語が適切 かどうかを判定するという Double Heads モデルを提案した [7]. 本研究では, 単語単位ではなく, 文単位 で判定する Double Heads モデルを提案するものであ り，このモデルを生成・分類言語モデルと呼ぶ.

## 3 生成対話システム

学習データでは，対話履歴を $\left(x_{1}, \cdots, x_{M}\right)$, 目標応答を $\left(x_{M+1}, \cdots, x_{N}\right)$ とすると，学習データの負の対数尤度は以下のように計算される。

$
L_{\mathrm{LM}}=-\sum_{t=M+1}^{N} \log P\left(x_{t} \mid x_{1}, \cdots, x_{t-1}\right)
$

生成言語モデルの学習タスクでは，学習データの負 の対数尤度を最小化する. 生成対話システムは学習 した生成言語モデルを用いて応答を生成する。

## 4 生成・分類対話システム

本節では，提案する二種類の生成・分類対話シス テム (Double Heads: 4.2 節と LM Heads: 4.3 節) につ いて，学習データ，学習段階と推論段階に関して述 べる.

## 4.1 学習データ

生成・分類対話システムが適切な応答を判定でき るために，学習データに対する正例応答（目標応答）を用いて負例応答を作る. 正例応答と負例応答 の例を図 2 に示す。一つの学習データで，生成タス クと分類タスクの学習を同時に行うために，負例応答は，正例応答の冒頭からランダムの長さで抽出し た部分 $\left(x_{M+1}, \cdots, x_{R}, M+1<R<N\right)$ と, 負例部分 $\left(x_{R+1}, \cdots, x_{S}, R+1<S\right)$ を組み合わせて構成する.繰り返し応答の生成を防ぐために，抽出した正例応答部分のコピーを一番目の負例部分とする。間違え た応答の生成を防ぐために，正例応答以外の応答の 任意部分を二番目の負例部分とする。

## 4.2Double Heads モデル

Double Heads モデルの分類器は, 生成言語モデル の出力を <Good>（良い答）と< $<\mathrm{Bad}>（$ 悪い応答) に分類する. 図 3 の左部分に，分類器の構造を示 す. 同じ学習データに対して Double Heads モデルの

図 3 提案する二種類の生成・分類言語モデルの構造. 左は Double Heads モデル，右は LM Heads モデル.

生成器と分類器は同時に学習を行う.

- 正例学習データ : 生成器の学習タスクでは, 学習データの負の対数尤度を式 1 で計算する. 分類器の学習タスクでは，学習データの負の対数尤度 を以下の式で計算する。

$
L_{\text {class }}=-\log P\left(<\operatorname{Good}>\mid x_{1}, \cdots, x_{N}\right)
$

- 負例学習データ : 生成器の学習タスクでは, 学習データの負の対数尤度を以下の式で計算する。

$
L_{\mathrm{LM}}=-\sum_{t=M+1}^{R} \log P\left(x_{t} \mid x_{1}, \cdots, x_{t-1}\right)
$

分類器の学習タスクでは, 学習データの負の対数尤度を以下の式で計算する。

$
L_{\text {class }}=-\sum_{t=R+1}^{S} \log P\left(<\text { Bad }>\mid x_{1}, \cdots, x_{t}\right)
$

モデルの共同学習 Loss を以下の式で計算する。

$
L_{\text {train }}=L_{\mathrm{LM}}+\gamma L_{\text {class }}
$

ここで， $\gamma$ はハイパラメータである.

表 1 ハイパーパラメータ

## 4.3 LM Heads モデル

LM Heads モデルは分類器の代わりに，<Bad>を トークンとして辞書に登録し，生成器を用いて悪い 応答を判定する．辞書にある< $\mathrm{Bad}>$ 以外のトーク ンは良い応答と判定できるため，<Good>を登録す る必要がない. 図 3 の右部分に, 生成器の構造を 示す.
- 正例学習データ : 生成器の学習タスクでは，学習データの負の対数尤度を式 1 で計算する。
- 負例学習データ : 生成器の学習タスクでは，学習データの負の対数尤度を以下の式で計算する。

$
\begin{aligned}
L_{\mathrm{LM}}= & -\sum_{t=M+1}^{R} \log P\left(x_{t} \mid x_{1}, \cdots, x_{t-1}\right) \\
& -\sum_{t=R+1}^{S} \log P\left(<\text { Bad }>\mid x_{1}, \cdots, x_{t}\right)
\end{aligned}
$

## 4.4 推論段階

生成・分類対話システムは，まず生成器を用い て, Beam Search によりビーム幅サイズの応答を複数生成する. 次に生成された応答を分類器に入力し て<Bad>のスコアを計算し，最小値を持つ応答を出力する.

## 5 実験と評価

実験では, 生成対話システム (3 章), Double Heads 構造を持つ生成・分類対話システム 1 (4.2 節)，LM Head 構造を持つ生成・分類対話システム 2 (4.3 節) を実験対象とする．本章では，言語モデルの学習段階と推論段階で用いるデータセット，ハイパーパラ
表 2 各応答生成手法によって生成された応答文の評価結果.

表 3 各応答生成手法による対話例. 赤字は応答中にある問題単語

 \\
\cline { 2 - 3 } & User A & No I have not. Who was in Six Shooter? \\

\cline { 2 - 3 } & User B & I like Bob Peck. Can you tell me some interesting facts on him? \\

メーの設定，及び推論段階の実験評価について述 べる.

## 5.1 データセット

OpenDialKG [8] は，本と映画についての推薦対話 が含まれている雑談対話データセットである．話者 は常に構造化知識中のエンティティを含む発話を行 い，関連知識に基づいた推薦対話が行われている.学習データは 11041 文, 負例学習データは 5520 文で ある. 本研究では，ターゲット応答文に埋め込む知識を用いて実験を行う. 表 1 に言語モデルのハイパ ラメータの設定を示す.

## 5.2 実験評価

実験評価では，応答文の正解性，多様性の二つ の角度から応答文の質を評価する。多様性の評価指標として，応答文に含まれる単語数の平均を表 す Avg Len，応答文に含まれる n-gram の種類数を 表す DIST-n [9] を用いる. 正解性の評価指標として は，応答文と正解文の類似度を表す BLEU-n [10]， NIST-n [11]を用いる.

表 2 亿，各応答生成手法によって生成された応答文の評価結果を示す. 表より，提案した生成・分類対話システム 1 は正解性評価全指標のスコアで最高値に達した。提案した生成・分類対話システム 2
は，多様性評価全指標のスコアで最高値に達した。 これより，提案した対話システムの有効性が確認で きる.

表 3 に，各応答生成手法によって生成された応答文の例を示す. 表の生成例 1 と生成例 2 より，生成・分類対話システムは繰り返し応答と間違え応答 を判定できたため，誤った単語「Michael Caine」と 「Slipperystream」の生成を防ぐことができている.

## 6 おわりに

生成対話システムを単語単位だけではなく，文単位で応答の適切性を学習できるようにするため, Double Heads 構造と LM Head 構造を持つ二種類の生成・分類対話システムを提案した. 従来手法との比較実験により，提案する対話システムは，多様性と 正解性評価指標において最高値を示した。

## 参考文献

[1] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. Dialogpt: Large-scale generative pre-training for conversational response generation. arXiv preprint arXiv:1911.00536, 2019.

[2] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv
preprint arXiv:2001.09977, 2020.

[3] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[4] Shuman Liu, Hongshen Chen, Zhaochun Ren, Yang Feng, Qun Liu, and Dawei Yin. Knowledge diffusion for neural dialogue generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1498, 2018 .

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[6] Thomas Wolf. How to build a state-of-the-art conversational ai with transfer learning, 2019. https://medium. com/huggingface/.

[7] Kushal Arora, Kurt Shuster, Sainbayar Sukhbaatar, and Jason Weston. Director: Generator-classifiers for supervised language modeling. arXiv preprint arXiv:2206.07694, 2022.

[8] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. Opendialkg: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854, 2019

[9] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. arXiv preprint arXiv:1510.03055, 2015

[10] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[11] George Doddington. Automatic evaluation of machine translation quality using n-gram co-occurrence statistics. In Proceedings of the second international conference on Human Language Technology Research, pp. 138-145, 2002.


# 対話システムは疑問符なしで適切な応答生成できる 一音声対話を目的とした，疑問文に対する応答生成の調査一

水本智也 ${ }^{1}$ 山崎天 ${ }^{1}$ 吉川克正 ${ }^{1}$ 大萩雅也 ${ }^{1}$ 川本稔己 ${ }^{1,2}$ 佐藤敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 東京工業大学
\{tomoya.mizumoto, takato.yamazaki, katsumasa.yoshikawa,
masaya.ohagi, toshiki.kawamoto, toshinori.sato\}@linecorp.com

## 概要

人が音声で対話する際，テキストベースの対話と は異なる現象が見られる. テキストベースの場合,疑問文は疑問符“?”を付けることが一般的である が，音声対話では語尾を上げて疑問を表すことがあ る。音声認識エンジンには疑問文に対して“?”が 付与されないものも多くあり，音声対話システムを 作る際に障害となり得る。例えば，音声で「適切な 応答生成できる？」と入力された際に，文末の“?” があるかないかで文意は異なり，システムがすべき 適切な応答も変わる. 本研究では, “?”の有無が対話システムに与える影響を調査し，またどのような 発話がより対話に影響するか実例を元に考察する。

## 1 はじめに

スマートフォンやスマートスピーカーの普及に伴 い，音声によってデバイス操作することが一般的と なってきた. 対話システム研究の分野においても自然言語処理の枠を越えて，ロボットや CG エージェ ントを使って，ユーザとマルチモーダルな音声対話 を行うコンペティションが開催されている $[1,2,3]$ が，コンペティションに参加した多くの対話システ ムは書き言葉コーパスを使って作られている.

音声で対話を行う際は，テキストベースの対話に はない難しさが生じる. その中の一つに音声認識さ れたテキストに句読点や疑問符 (以下，“?”) などの 記号 (約物) が付与されていない問題がある. そのよ うな問題に対処するために約物の自動付与の研究も 行われている $[4,5,6]$.

入力文に約物がないと，入力文が平叙文か疑問文 か区別できない問題が生じる．音声対話では語尾を 上げて疑問を表現することがあり，テキストにする と疑問とわからないことがある．例えば，NLP2023

図 1 疑問文に対する応答の評価の例。疑問に対する応答 のため，二番目三番目は不適当な応答となる。

に参加するか聞く際，「NLP2023 に参加する？」と 語尾を上げて疑問として聞くことができるが，音声認識でテキストに起こされると「NLP2023 に参加 する」となる．疑問であった情報は落ち，テキスト ベース対話を想定した既存の対話システムは平叙文 と認識し，応答生成に失敗する可能性がある.

そこで本研究では，対話コンペティションでも主流のテキストベース対話を想定したシステムが，音声認識で得られた，疑問符のない疑問発話にどれだ け頑健か調査する。“?”の有無が応答生成に影響し なければ，音声対話システムを作る際に既存の対話 システムをそのまま使用できる。一方，“?”が応答生成に影響すれば，入力文に“？”を付与するなど， システムが疑問とわかる工夫をする必要がある.

“?”の影響調査のため，文末が “?” のものとそ うでないものを用意し，それらに対し対話システム で応答を生成し，その応答を人手で評価，分析した (図 1). 評価・分析の結果として, “?”が対話シス テムの応答生成に与える影響は大きいことがわか り，またこの問題の解決のために音声情報などテキ スト以外の情報が必要であることが示唆された.

## 2 調査方法

## 2.1 対象とする現象と比較方法

テキストに付与される約物は疑問符だけでなく，句読点や感嘆符，鉤括弧など多岐にわたる．本研究

では，問題の簡単化のため“?”だけを対象とする. また, 音声対話において, 発話が長くなると一発話中に複数文入ることがあり，句点や疑問符が入る箇所もそれに応じて増えるが，発話内に複数文ある場合でもテキストの最後の“?”のみを対象とする.例えば「沖縄好き NLP 行きます」のような発話が あった際に，本来は「沖縄好き？ NLP 行きます？」 のように“好き” の後ろにも“?” が入るのが適切で ある. 今回は「沖縄好き NLP 行きます？」のように テキスト末尾に入る記号のみを対象とする。

文末の “?" の比較対象として，文末記号を記号 なしにした場合と句点“。”にした 2 種類を用いる.記号なしは音声認識結果のテキストをそのまま使っ た場合を想定している. 句点は，仮に約物の自動付与に失敗した場合に悪影響があるかを調査するため に用いる. 図 1 のように各事例に対して応答を生成 し，疑問に対する応答であるかを評価する。

応答生成のために検証対象のユーザ発話だけでな く, 文脈として過去の発話履歴も入力として使用す る.これは，該当する発話が短いなど，一発話のみ からの応答生成が難しい場合があるためである。ま た，一般的な音声対話においてユーザが疑問から始 める場合は少なく，ある程度の文脈を使って応答を 生成する方が現実的な設定であるため, 本研究では 文脈も使用して応答生成を行う. 本研究では, 対象 のユーザ発話含め 4 発話を入力とする.

## 2.2 使用する対話データ

特徴の異なるタイプの対話での “?” の影響を調査するため，三つのデータを使用する。一つ目は名大会話コーパス [7] 1) (以下， NUCC), 二つ目は対話 システムライブコンペティション 5 の LINE チーム のオープントラック予選の対話履歴 (以下，Open),三つ目は同じく対話システムライブコンペティショ ン 5 の LINE チームのシチュエーショントラック予選の対話履歴 (以下，Situation)である.

NUCC は日本語母語話者の雑談対話を人手で書き 起こしたものである. データの中には, 複数人で対話をしているものもあるが，二人で対話しているも ののみを使用する. 音声対話したものを人手で書き 起こしたデータであるため, 音声認識誤りなどは含 まれていないが，括弧などで場の雾囲気や笑い声な ども情報として付記されている. 本研究では，その ような情報は削除して純粋な発話のみを使用する.

1) https://mmsrv.ninjal.ac.jp/nucc/
Open は，コンペティション評価者と LINE のオー プントラック対話システム [8] との雑談対話の履歴 である. 雑談のトピックはいくつか用意されてお り, アニメ, 観光地, 時事など多岐にわたる. 評価者と対話システムは音声でやり取りし，評価者の発話は音声認識エンジンの Google Speech Recognition を使ってテキスト化される. 評価者の発話には音声認識誤りが含まれている可能性があり, 約物も付与 されていない. 本研究のために，音声認識されたテ キスト末尾に句点，疑問符を人手で付与した.

Situation は，コンペティション評価者と LINE の シチュエーショントラック対話システム [9] との, シチュエーションに沿った対話履歴である. 本を失 くしたことを謝るシチュエーションであり，また敬称無しで呼び合う仲という設定で比較的親しい間柄 に近く, 丁寧語 (です，ますなど) があまり出ない対話となっている ${ }^{2}$. Open 同様に, 音声認識されたテ キスト末尾に句点，疑問符を人手で付与した.

2.1 節で説明したように，ユーザ発話のテキスト 末尾が “?”で終わっているもののみを対象とす る. NUCC は全てが人による発話であるが，今回は “?” がある発話をユーザ発話とみなし, その前に 発話しているユーザを対話システムとみなすこと で調査用データを作成した. 全てのデータセット， 100 対話例ずつ作成した. Open は “?” が含まれる 発話が 100 に満たなかったため, 以下の例のように “ますか”や“ですか”など疑問を表す助詞 “か”で終 わっている発話の “か”を削除することで対話例を 水増しした。

(1) 行きますか？～行きます？

## 2.3 対話システム

本研究では，異なる性質を持つ対話システムで疑問符の有無の影響を調査するため, 以下の二つのシ ステムを用いる。一つ目は, 2022 年に開催されたコ ンペティションにおいて優勝した HyperCLOVA [10] ベース ${ }^{3)}$ の対話システムである。もう一つは， 2020 年に開催されたライブコンペティション [12] のオー プントラックで優勝した Trasformer ベースの対話シ ステム $[13,14]$ を使用する.

HyperCLOVA ベースの対話システムは，プロンプ トプログラミングによって実現されている. NUCC

2）シチュエーションの詳細はホームページ参照.

3）HyperCLOVA は GPT-3 [11] と同様の性質を持つ日本語基盤 モデルを含むシステムである.
表 14 人の評価結果の一致率.

と Open のデータに対して応答を生成する際は， LINE のオープントラック対話システム [8] で使われ た一般的なプロンプトを使用する. Situation のデー タに対して応答を生成する際は，LINE のシチュ エーショントラック対話システム [9] の謝罪フェー ズのプロンプトを使用する。また， HyperCLOVA は 82 Billion パラメータのものを使用する。

Trasformer ベースの対話システムは Twitter のリプ ライデータで Transformer [15] を事前学習しており, そこから対話ログを使って finetune している. 本研究では, JPersonaChat [13] で finetune されたモデルを 使用する ${ }^{4)}$ 、ハイパーパラメータは, 先行研究実験時と同様のものを使用する. HyperCLOVA ベースの 対話システムと同様，生成する直前の 4 発話をシス テムに入力して応答を生成する.

## 2.4 評価方法

“?”が対話システムに与える影響調査のため, システムが生成した応答を人手で評価した. 評価 は著者を含む社内の NLP エンジニア 8 名で行い， NUCC・Open・Situation それぞれ 4 名ずつで評価し た. 評価に際しては，対話システムが良い応答がで きているかという観点ではなく，疑問文に答えた応答になっているかで評価した. 本研究の評価では,計算の簡単化のため “ $\bigcirc$ ” か “ $\times$ ” の二択で評価した.評価者には，対話システムが応答生成する際に使っ た文脈を含めて提示し，疑問文に答えられているか を評価してもらった。評価労力の削減のため，一つ の対話事例ごとに二つのシステムと三つの文末記号 の組み合わせとなる六つの応答結果をまとめて提示した. システムや文末記号による先入観やバイア スが入ることを防ぐため，どのシステム，どの文末記号によるものかは記載せず，各対話例ごとにラン ダムに並び替えた．評価ツールにはエクセルを用い て，Appendix の図 2 に示す形で評価した。

4 人の評価結果の一致率を調べるために Fleiss の カッパ係数を計算した. 一致率を表 1 に示す. Open と Situation については 70 を越えており高い一致率 である. NUCC に関しても Kappa 係数 58 となって おり, 4 人の結果でも比較的一致している.

表 2 文末の記号ごとの，対話システムが質問と認識して 応答を生成できた割合. “Tr.” は Transformer ベース, “HC” は HyperCLOVA ベースの対話システムを表す.

## 3 実験結果

文末記号を変えた際の対話システムの応答を人手評価した結果を表 2 に示す。それぞれ 4 名で評価し ており，その内の 3 名以上が“○”を付けているも のの割合を示している. システムやデータに関わら ず，文末が“?”のものが高い精度を出しており，疑問発話に対する応答を生成する場合は“?”乍付け る必要があることが分かる。

システム間で比較すると Transformer ベースの対話システムは，“？”がある場合とない場合で，およ そ $30 \%$ の精度差があり“?”の果たす役割が大きい ことがわかる. HyperCLOVA ベースの対話システム は“?”がある場合とない場合でおよそ $20 \%$ の精度差で Transformer ベースのものに比べると差は小さ いが，それでも大規模なパラメータを持つ汎用モデ ルによる対話システムにおいても“?”の重要度は 高いことがわかる. Situation に対する HyperCLOVA の結果は差が小さいが，これはシチュエーションが かなり限定されており，プロンプトにもそれが反映 されているからだと考える。 しかし，それでも $10 \%$ の差はあり，プロンプトが作り込まれていても“?" は重要であることが示唆される。

記号なしと“。”とを比較するとシステムやデー タに関わらず大きな差はない。このことから仮に “?”の自動付与に失敗して疑問文に対して“。”を 付与してしまっても，音声認識結果をそのまま使う 場合と同等の質の対話は維持できると言える.

## 4 考察

本節では，実際の対話例を元に分析する。対話シ ステムによって生成された応答例を表 3 に示す. 比較を容易にするため, 最後のユーザ発話以外の文脈は同じで最後のユーザの疑問発話が助詞 “か” で 終わるものとそうでない場合での応答結果を比較 する．疑問を表す助詞 “か” で終わっている場合は， “?"が無くとも疑問系と識別できるため，表中の上 の例のように全て適切な応答が生成できている。一
表 3 対話システムの実際の応答生成例。システムカラムの “HC” は HyperCLOVA ベース, “Tr.” は Trasformer ベースを表 し，“なし”,“。”，“?”は文末記号を表す．右端に、があるものは人手評価で適切な応答とされたものである.

 &  &  & $\checkmark$ \\

表 4 “?”以外の場合で，HyperCLOVA の対話システムは 疑問に答えられたが Transformer では失敗した対話例.

方，“あります”のように平叙文の形で文が終わって いる場合は，現状の対話システムでは疑問文と認識 して応答を生成できずに，“ユーザが行ったことが ある”と捉えて応答生成していることがわかる．表 3 の例にも示すように“?”が無くても疑問に対し て応答生成できるものの多くは，先述した例のよう に疑問を表す助詞で文が終わっているものや $(2 \mathrm{a})$, いわゆる $5 \mathrm{~W} 1 \mathrm{H}$ のような疑問詞がある場合 (2b) で あった. それに対して，“?”がないと応答生成が難 しいものは“?”がないと人間でも平叙文として捉 えてしまう可能性があるもの (2c)である.

(2) a. YouTube は見ますか

b. どんな場所です

c. オランダに行ったことある

議論を深めるために，文末が“?”"でない場合に 疑問に答えられなかった例を中心に分析する。表 4 に HyperCLOVA ベースでは疑問に答えた応答を生成できたが，Transformer ベースでは失敗した例を 示す. 発話単体では疑問と判断するのは難しいが, HyperCLOVA ベースのシステムは文脈から疑問であ
ると判断できたと考える.この例のように文脈から 疑問として判断し応答生成できる例もあるが，“?” がない場合に失敗しているものは $20 \%$ 程度ある。参考に Appendix の表 5 に“?”がない場合に疑問に答 えた応答が生成できない他の発話例を示す.これら の対話例は，疑問符の自動付与もテキストのみから 行うのは難しい，また，日本語対象ではないが，音声入力への約物の自動付与の先行研究でも，その精度は 8 割程度である $[4,5,6]$. この問題を解決して いくには，言語情報だけで応答生成することは難し く，テキスト処理の枠を越えて，音声や顔の表情も 同時に使った応答生成をする必要があると考える。

## 5 おわりに

本研究では、対話システムの応答生成において,文末の “?” が生成結果に与える影響について調査 した. その結果，“?”がある場合とない場合を比較 すると, “?" がある場合に適当な応答を返す割合が 20〜30\%ほど高く，対話の応答生成において“?”が 果たす役割が大きいことがわかった.

疑問符がない場合に失敗する例を見ると，疑問符 がないと疑問とわからないものがほとんどであっ た. 文脈を含めてもテキストのみで疑問と判断する のが難しいものもあり，今回は対象としていないが 音声対話には音声認識誤りの問題もある.これらの 問題を解決するためには，テキスト処理を越えて音声や顔の表情を使った応答生成をする必要がある.

複数文ある際の句点や疑問符，また読点の有無が 応答の質に影響を与えるかは課題として残ってい る. また, 日本語以外での言語で疑問符の有無が応答生成に影響するかの検証も今後の課題としたい。

## 謝辞

本研究の評価を手伝ってくださった LINE NLP チームの内海慶氏，小林滉河氏，馬越雅人氏に感謝 する.

## 参考文献

[1] Ryuichiro Higashinaka, Takashi Minato, Kurima Sakai, Tomo Funayama, Hiromitsu Nishizaki, and Takayuki Nagai. Dialogue robot competition for the development of an android robot with hospitality. In Proc. of 2022 IEEE 11th Global Conference on Consumer Electronics, 2022.

[2] Takashi Minato, Ryuichiro Higashinaka, Kurima Sakai, Tomo Funayama, Hiromitsu Nishizaki, and Takayuki Nagai. Overview of Dialogue Robot Competition 2022. In Proc. of the Dialogue Robot Competition 2022, 2022.

[3] 東中竜一郎, 高橋哲朗, 堀内颯太, 稲葉通将, 佐藤志貴, 船越孝太郎, 小室允人, 西川寛之, 宇佐美まゆみ,港隆史, 境くりま, 船山智. 対話システムライブコン ペティション 5. 第 96 回人工知能学会 言語・音声理解と対話処理研究会, pp. 93-100, 2022.

[4] Jumon Nozaki, Tatsuya Kawahara, Kenkichi Ishizuka, and Taiichi Hashimoto. End-to-end Speech-to-PunctuatedText Recognition. In Proc. of Interspeech, pp. 18111815, 2022.

[5] Yaoming Zhu, Liwei Wu, Shanbo Cheng, and Mingxuan Wang. Unified Multimodal Punctuation Restoration Framework for Mixed-Modality Corpus. In Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 7272-7276, 2022.

[6] Xinxing Li and Edward Lin. A 43 Language Multilingual Punctuation Prediction Neural Network Model. In Proc. of Interspeech, pp. 1067-1071, 2020.

[7] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and Grammatical Features of Spoken and Written Japanese in Contrast: Exploring a lexical profiling approach to comparing spoken and Written corpora. In Proc. of the VIIth GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[8] 山崎天, 川本稔己, 大萩雅也, 水本智也, 小林滉河, 吉川克正, 佐藤敏紀. HyperCLOVA を用いた音声雑談対話システム. 第 96 回人工知能学会 言語・音声理解 と対話処理研究会, pp. 113-118, 2022.

[9] 吉川克正, 川本稔己, 山崎天, 水本智也, 小林滉河, 大萩雅也, 佐藤敏紀. シチュエーションに合わせたシナ リオ誘導と HyperCLOVAを利用した応答生成によ るハイブリッド対話システム. 第 96 回人工知能学会言語・音声理解と対話処理研究会, pp. 124-129, 2022.

[10] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang,
Jung-Woo Ha, Woomyoung Park, and Nako Sung. What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers. In Proc. of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, 2021.

[11] Tom B Brown, Benjamin Mann, et al. Language Models are Few-Shot Learners. In Proc. of Advances in Neural Information Processing Systems, pp. 1877-1901, 2020.

[12] 東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 角森唯子, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博,小室允人, Dolça Tellols. 対話システムライブコンペ ティション 3. 第 90 回人工知能学会 言語・音声理解 と対話処理研究会, pp. 96-103, 2020.

[13] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[14] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥,目黒豊美, 中嶋秀治. Transformer encoder-decoder モデ ルによる趣味雑談システムの構築. 第 90 回人工知能学会 言語・音声理解と対話処理研究会, pp. 104-109, 2020.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proc. of Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

## A 参考情報

図 2 評価に使ったエクセルのサンプル。

表 5 HyperCLOVA ベースの対話システムで，文末“?”の場合は適切な応答ができたもので，“。”と記号なしの場合両方で応答に失敗したユーザ発話の例.

 & 富士山には登ったことあります & 私は電話してないあなたかけてみた \\


# 積極的・消極的な性格を持つ自由対話システムの構築に向けて

吉田宽太白井清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{s2110184,kshirai\}@jaist.ac.jp

## 概要

本論文は，ペルソナを含まない対話コーパスから 積極的あるいは消極的な性格を持つ自由対話システ ムを構築する手法について述べる. Twitterから収集 された擬似的な発話と応答の組からなるコーパスを 用意し，応答の極性を中立，肯定，否定のいずれか に分類し，その分類結果に基づいて発話と応答の組 を 3 つのサブコーパスに分割する。次に，大規模な 中立のサブコーパスを用いて対話モデルを学習後,小規模な肯定または否定のサブコーパスを用いて対話モデルを再学習することで，積極的または消極的 な応答を返す自由対話システムを獲得する。

## 1 はじめに

自由対話システムは，様々な話題についてユーザ と雑談するシステムであり, 自然言語処理研究分野 における重要な研究課題のひとつである。近年で は， ウェブやソーシャルメディアから大量の対話の 例を収集し，それを元にユーザの発話に対してシス テムの応答を返す系列変換モデルを学習する研究が 多い。このようなアプローチは自由対話システムの 品質を飛躍的に向上させた一方, 応答の個性や一貫性が欠けやすいという問題がある [1]. 例えば，自由対話システムと長い時間雑談をすると，システム の性格が変わるような印象を受けたり, 少し前の発話と矛盾するような発言をしたりすることがある. これは, 自動収集された対話デー夕には様々な性格 や個性を持つ不特定多数のユーザの対話が混在し ていること, 多くの先行研究では文脈を考慮せずに ユーザの 1 つの発話に対して応答を生成するシステ ムを学習するために矛盾を生じる発言が生成されや すいことなどが原因として考えられる。

このような問題を解決するために， ゚゚ルソナを用 いて個性や一貫性を持つ自由対話システムを実現し た研究がある $[2,3]$ 、ペルソナとはシステムが想定
する話者のパーソナリティに関する知識である。 あ らかじめ用意したペルソナに沿うようにユーザに対話させたデー夕を用いて対話モデルを学習する研究 が多いが，その作成コストの高さが問題となる。ま た，どのような知識をペルソナとして用意しておく べきかは難しい課題である.

本研究は，ペルソナを参照しない方法で個性を有 する自由対話システムを学習する手法を提案する。個性には様々なものがあるが，本研究では「積極的 な性格」または「消極的な性格」に着目する．積極的な性格を持つ対話システムとは，ユーザの応答に 対してそれを支持したり励ますような発言をするシ ステムを，消極的な性格を持つ対話システムとは，否定したり賛意を示さない発言をするシステムを 想定する。例えば，「沖縄旅行に行きたい」という ユーザの発話に対し, 前者は「いいですね。私も行 きたいです.」と応答し, 後者は「私は出不精なので 行きたくないです.」と応答する. 積極的な対話例 や消極的な対話例を自動収集し，これを訓練データ として系列変換モデルを学習することで，積極的・消極的な性格を持つ対話システムを実現する。

## 2 関連研究

ペルソナを用いて自由対話システムによる応答 に個性や一貫性を与える手法が研究されている。 Li らは, 深層学習に基づく対話システムの応答に一貫性を持たせるためにペルソナを利用する手法を提案した [1]. Long Short-Term Memory (LSTM) による Encoder-Decoder モデルをベースとし, Decoderの入力に一つ前の時刻の単語埋め込みに加えて話者埋め 込みを与えることで，話者に応じて一貫した応答を 生成させた。対話モデルは話者の IDが付与された 対話データから学習した。

Zhang らは, クラウドワーカーにプロフィール文 の集合によって設定された人物を演じながらテキ ストチャットを行わせて収録した PERSONA-CHAT

というデータセットを構築し，それから対話モデ ルを学習することでシステム応答に個性を与える 手法を提案した [2]. 対話モデルとして, Key-value memory network などを利用して複数の発話候補の中 から最適な応答を選択するランキングモデルと，プ ロフィール文を参照する Memory network などを利用して応答文を出力する生成モデルを学習した. 被験者実験の結果, 流暢性, (対話としての) 魅力性,一貫性のいずれにおいても, PERSONA-CHAT から 学習したモデルは Twitter や映画の字幕などの対話 データから学習したモデルょりも優れていることを 示した。

$\mathrm{Xu}$ らはユーザとの長期にわたる雑談においても 対話システムの個性を維持する手法を提案した [3]. ボット役とユーザ役の二人のクラウドワーカーに ボット・ユーザのペルソナを参照しながら対話をす ることを依頼し，その対話を収録した。さらに，対話における応答がペルソナを参照しているか, 参照 しているときはどのペルソナの文を参照しているか をアノテーションした. 次に, 対話履歴からペルソ ナの文を抽出してメモリとして保存するモジュー ル，応答を生成するときにペルソナのメモリから文 の生成に用いるプロフィール文を抽出するモジュー ル, このプロフィール文を参照しつつ系列変換モデ ルによって応答を生成するモジュールから構成され る PLATO-LTM と呼ぶ対話システムを設計し, 収録 した対話コーパスを用いてこれを学習した。被験者実験の結果, ペルソナのメモリ機能を導入すること で会話の一貫性と魅力性の評価が向上したと報告し ている.

先行研究ではペルソナにしたがってユーザに対話 を行わせたコーパスを用いて自由対話システムを学習しているが，そのようなコーパスの作成コストは 高い. 1 節で述べたように, 本研究では, 設定する 性格は積極的，消極的の 2 つに限定するが，ペルソ ナの情報を参照して構築したコーパスを用いずに個性を持つ対話システムを実現することを目指す。

## 3 提案手法

提案手法の概要を図 1 に示す. 図中の用語の正確 な定義は 3.1 項以降で後述する。まず，Twitterにお けるツイートとそれに対するリプライの組を対話に おける発話と応答の組とみなし，これを自動的に収集し, Twitter 対話コーパスとする。 次に, 応答のツ イートの極性判定を行い，「肯定」「否定」「中立」の

図 1 提案手法の概要

いずれかに分類する．応答が「肯定」または「否定」 と判定された発話対を抜粋して性格対話コーパスを 作成する. 同時に, 応答が「中立」と判定された発話対を拔粋して一般対話コーパスを作成する。

自由対話システムのための系列変換モデルを学習する。まず，一般対話コーパスを用いて発話に対 する応答を返す汎用対話モデルを学習する。次に，汎用対話モデルを初期のパラメ夕として，性格対話 コーパスを訓練データとして系列変換モデルを再学習することで，性格対話モデルを得る．肯定的な応答を含む性格対話コーパスからは積極的な性格を 持つ対話システムが，否定的な応答を含む性格対話 コーパスからは消極的な性格を持つ対話システムが 得られる。

## 3.1 Twitter からの対話コーパスの収集

Twitter から収集された対話コーパス [4]を利用す る. 同コーパスは Twitter におけるツイートとリプ ライの連鎖を擬似対話として収集したデータであ り, 簡単なヒューリスティクスによって不適切な 対話を除外している．3つ以上の発話からなる対話 を含むが，本研究ではこれを 2 つの発話の組に分割して使用する、ツイートに対する前処理として, URL, スクリーンネーム, ハッシュタグ, 絵文字,顔文字などを除去する。さらに，形態素数が 3 以下 または記号, 空白, 数字のみからなるツイートを含 む発話対を除去する。最終的に 642,722 の発話対か ら構成されるコーパスを作成した。本論文ではこれ を「Twitter 対話コーパス」と呼ぶ.

## 3.2 応答ツイートの極性判定

発話対は発話とそれに対する応答から構成され るが，応答に相当するツイートの極性を判定する。極性の分類クラスは肯定，否定，中立の 3 つとす る. 本研究では oseti[5] を用いて極性を判定する.同ツールは, 日本語評価極性辞書 (用言編)[6] (名詞編)[7]を使用し, 文中の単語の極性スコアの平均に よって文全体の極性スコア (-1 から 1 までの値)を 算出する。．応答ツイートの極性スコアに応じて対話 コーパスを以下の 3 つのサブコーパスに分割する。

積極的性格対話コーパス 応答の $\operatorname{Score}_{p o}(t)$ が 0 よ り大きい発話対からなるコーパス. 肯定的な単語を含むため, 発話に対する応答は積極的な性格の持ち主によるものであると仮定する。

消極的性格対話コーパス 応答の $\operatorname{Score}_{p o}(t)$ が 0 よ り小さい発話対からなるコーパス. 否定的な単語を含むため, 発話に対する応答は消極的な性格の持ち主によるものであると仮定する。

一般対話コーパス 応答の $\operatorname{Score}_{p o}(t)$ が 0 である発話対からなるコーパス，その応答は，積極的，消極的いずれの性格も感じられないと仮定 する。

以下，積極的性格対話コーパスと消極的性格対話 コーパスをまとめて「性格対話コーパス」と呼ぶ.

## 3.3 対話モデルの学習

前項で述べた対話コーパスを訓練データとし，発話を入力としてそれに対する応答を出力する 系列変換モデルを学習する．学習モデルとして Transformer[8]を利用する。

積極的あるいは消極的な性格を持つ自由対話シス テムを構築するためには，積極的性格対話コーパス あるいは消極的性格対話コーパスを訓練データとし て対話モデルを学習するのが直接的な方法である. しかし，4節で後述するように，Twitter 対話コーパ スにおいて応答が肯定または否定の極性を持つ発話対の数は少なく, 対話モデルを構築するために十分 な訓練デー夕量を確保することは難しい，そこで，以下の二段階で対話モデルを学習する。

Step 1. 一般対話コーパスを用いて対話モデルを学習する。ここでの狙いは, 比較的量の多い一般対話コーパスを用いて強い個性を持たない一般的な自由対話モデルを学習することにある.
Step 2. 前述のモデルを初期パラメ夕として, 性格対話コーパスを用いて Transformerを再学習す る.ここでは積極的または消極的な性格を持つ 対話システムを学習することを狙う。

以下, Step 1 で学習される対話モデルを「汎用対話 モデル」, Step 2 で学習される対話モデルを「積極的性格対話モデル」または「消極的性格対話モデル」 (2つをまとめて「性格対話モデル」) と呼ぶ.

上記に加え，「汎用対話モデル」を学習する前に， JPersonaChat[9] を用いて Transformerを事前学習す る. JPersonaChat は, あらかじめ 5 文程度で定義さ れたペルソナ (プロフィール)を作成し, クラウド ワーカーにそのペルソナに沿ってチャットをするよ うに依頼し，その対話を収録したコーパスである。 JPersonaChat は一般対話コーパスに比べて規模は小 さいが，Twitterから収集した発話対は対話として成立していないことがあるのに対し，JPersonaChat で は自然な対話が収録されている。対話は 3 つ以上の 発話から構成されるが, 本研究では 2 つの発話の組 に分割して使用する。

## 4 予備実験

本節では，提案手法を評価するための準備とし て, 学習した対話モデルの大まかな評価や, 提案手法の問題点を明らかにするための予備実験について 述べる.

## 4.1 実験手順

3 節で述べた手法にしたがい，積極的性格対話モ デルと消極的性格対話モデルを学習する。

学習に用いた対話コーパスの発話対の数を表 1 に 示す. 応答ツイートの極性判定の結果, 全体の対話コーパスのうち，およそ $2.8 \%$ が肯定的と判定さ れ, $5.7 \%$ が否定的と判定された。大部分のツイート (91.5\%) は中立と判定されたため, 性格対話コーパ スの量は一般対話コーパスと比べてかなり少ない. また，消極的な性格を表すツイートは積極的な性格 を表すツイートよりも多く，その比率はおよそ 2 倍 であった。

表 1 に示した JPersonaChat 以外のそれぞれのサブ コーパスをランダムに分割し， $80 \%$ 訓練デー夕， 14\%を開発デー夕，6\%をテストデー夕とした。訓練 データから汎用対話モデル，積極的性格対話モデ ル，消極的性格対話モデルの 3 つを学習した。開発 デー夕は，本実験では，学習した対話モデルが入力
表 1 対話コーパス

文に対してある程度自然な応答を生成できることを 確認するために用いた. 次に, 学習した対話モデル を用いて，テストデータにおける発話対のうち最初 の発話を入力として与え，それに対する応答を生成 した.

## 4.2 生成された応答の例

テストデータにおける発話に対して生成された 応答の例を表 2 に示す. 同じ発話を入力しても, 積極的性格対話モデルでは積極的な個性が，消極的性格対話モデルでは消極的な個性が感じられる応答 が生成された例が確認できた。提案手法による対話 モデルの性格付けがある程度有効であることがわ かった。

一方，不自然あるいは不適切な応答が生成される 事例も多く見られた。2つの性格対話モデルの違い については，「〜しよう」といった何かを提案する発話に対しては応答に違いがあったが，それ以外の発話については応答に明確な差が見られないことが多 かった. 表 2 の例のように積極的または消極的な性格付けに成功している応答は限定的である。また,同じ文字や単語を繰り返すなど，そもそも応答とし て不自然な文が生成される事例も多く見られた。

## 5 今後の課題

本研究の今後の課題について述べる. 現状では訓練データから Transformer を学習しているが，その デー夕量は必ずしも十分ではない可能性がある. そ こで事前学習済みモデルの利用を検討する，具体的 には, 事前学習済み対話モデル [9] や BART 日本語 Pretrained モデル [10] を初期モデルとし, 一般対話 コーパスや性格対話コーパスを用いて再学習するこ とを検討している。 また, Transformer 学習時の損失関数に応答の極性を反映させる．積極的 (消極的) 性格対話モデルを学習する際には応答の極性が高い (低い) ほど小さい損失を与えることで，個性を持つ 対話システムを学習する。 さらに, 現在は積極的性格対話モデルと消極的性格対話モデルを別々に学習表 2 生成された応答の例

U: そこのお兄ちゃんポケモンしようや

R-gold: 1 時までならいいぞい

R-pos: いいよ

R-neg: やりたいけどできない

R-neu: そんなんできるんかいww

$\mathrm{U}: \quad$ 沢山お話しようね!!

R-gold: 今回って事前予約みたいなやつあるのかな...?

R-pos: したい!!

R-neg: 緊張してきたんだけど、、

R-neu: ぜひぜひお願いします

U: バイトしよ!!一緒に!!

R-gold: したみみみみ

R-pos: 今から楽しみよ

R-neg: まあお金はないし

R-neu: まあ、言うてまだ夏休みやけど

U: りえこー!野球しようぜー!

R-gold: いつまでおるん?

R-pos: とても楽しみですね!!!!

R-neg: わたしとつても苦手なんですよね...

R-neu: なにその名前!?

U: 今夜はタコパーです!さあ、準備しようつ!

R-gold: めんどくさいやつ頑張って下さい笑

R-pos: 今日もよろしくねー

R-neg: 頑張る・ ・

R-neu: いつになっちゃうんですか!?

U は元の発話. R-gold はテストデータにおけるUに対 する応答. R-pos, R-neg, R-neu はそれぞれ積極的性格対話モデル，消極的性格対話モデル，汎用対話モデルで 生成された U に対する応答.

しているが，極性を表す潜在変数を導入し，これに よって対話モデルの応答の極性を制御することも検討したい.

次に，被験者による提案手法の評価実験を行い，提案手法の有効性を確認する。人と対話モデルによ る会話を記録し，第三者にその会話を提示して，シ ステムの応答の品質をいくつかの観点から評価して もらう。評価の観点として，文法の正確さ，内容の 妥当性，個人性 (システム応答は積極的もしくは消極的といった個性を感じるか) などを検討している.特に個人性について汎用対話モデルと性格対話モデ ルを比較し, 対話モデルの性格付けが実現できてい るかを評価する。

性格対話コーパスの品質評価も行う. 現在, oseti を用いて極性判定を行い，肯定的な応答や否定的な 応答を抽出して性格対話コーパスを作成している が，狙い通りに積極的・消極的な性格を反映した応答が集められているかは確認していない。したがつ て，性格対話コーパスの文をサンプリングして人手 による評価を行い，必要に応じて性格対話コーパス の構築方法を改良する。

## 参考文献

[1] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 994-1003, 2016.

[2] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 2204-2213, 2018.

[3] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, 2022.

[4] 関田崇宏, 白井清昭. マイクロブログからの対話コー パスの自動構築. 情報処理学会第 82 回全国大会 第 2 分冊, pp. 57-58, 2020.

[5] oseti, (2023-1 閲 覧). https://github.com/ ikegami-yukino/oseti.

[6] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 3, pp. 203-222, 2005.

[7] 東山昌彦, 乾健太郎, 松本裕治. 述語の選択選好性に 着目した名詞評価極性の獲得. 言語処理学会第 14 回年次大会発表論文集, pp. 584-587, 2008.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[9] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based Japanese chit-chat systems, 2021.

[10] 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語 Wikipedia の編集履歴に基づく入力誤りデータセッ 卜と訂正システムの改良. 自然言語処理, Vol. 28, No. 4, pp. 995-1033, 2021


# 共通基盤の構築における名付けの有用性の分析

齋藤結 ${ }^{1}$ 光田航 ${ }^{2}$ 東中竜一郎 ${ }^{2}$ 南泰浩 1
1 電気通信大学情報理工学系研究科 2 日本電信電話株式会社
s2231050@edu.cc.uec.ac.jp
\{koh.mitsuda.td, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp
minami.yasuhiro@is.uec.ac.jp

## 概要

対話研究において，話者が知識や信念を共有する 共通基盤の構築は重要な課題とされてきたが，その 構築過程を分析した研究は少ない. 我々は先行研究 において，二名の作業者が共同で図形を配置する課題を対象に，重要な共通基盤と考えられる図形への 「名付け」に着目してアノテーションを実施した.本研究では，アノテーションされた情報に基づき，共通基盤構築における名付けの有用性の検証，課題 の成否につながる名付けの調査，発話中の名付けの 自動抽出に取り組んだ. その結果, 名付けが有意に 共通基盤構築に貢献すること，目標に関する名付け が課題の成否に関連すること，単純なモデルを用い て適合率 0.57 で名付けの抽出が可能なことが明ら かになった。

## 1 はじめに

対話において，話者が相互理解を行うためには話者間で共有される知識や概念といった共通基盤の存在が必要である $[1,2,3]$. しかし, 共通基盤の構築過程を分析した研究は少ない $[4,5,6]$. 我々は以前 の研究で, 共通基盤の構築過程を分析するために集 められたデータ（共同図形配置コーパス [7]）を調査 し, 名付けが重要な役割を果たしていると考えた。 そして，データから名付けを取り出すための仕様の 作成，および，アノテーションを実施した [8].

図 1 に，2 名の作業者が図形を配置する共同図形配置課題における名付けのアノテーションの例を示 す.「自動車の車輪」や「トラック」という名付け を通じで作業が進んでおり, これらは共通基盤構築 に必須であると考えられる $[9,10]$. しかしながら，我々の先行研究では名付けが共通基盤構築に有用で あるかや, 課題の成否につながる名付けの出現の傾向は調査できていなかった.

図 1 名付けを通じて共通基盤構築が進む対話の例，ID は発話 IDを表し，A，B は話者を表し，作業画面はそれ ぞれの話者が見ている画面を示す.

本稿では，アノテーションされた情報に基づき，共通基盤構築における名付けの有用性の検証，課題 の成否につながる名付けの調査, 発話中の名付けの 自動抽出に取り組んだ結果について報告する。

## 2 共同図形配置コーパス

本コーパスでは作業者 2 名がペアとなり，ツール を通じて図形の配置と対話を行う [7]. 各作業者の 画面には，共通の図形が異なる初期配置で表示され る. 作業者は相手と対話をしながらマウスを使用し て図形を動かし，2 名で共通の図形配置を作る.こ のとき，各作業者は相手の図形配置を見ることはで きない. 図形の数は 5 個または 7 個，種類は重複あ り，大きさはランダムである. 図形の回転，縮小拡大，削除はできず移動のみが可能である．相手と同 じ図形配置を作成すればこの課題は成功となる.

図 2 亿共同図形配置課題で利用される図形を示 す. 1 つ目が上部に示す三角や四角などの単純図形 で，2つ目が下部に示す建物などの前提知識を利用 できる建物図形である。それぞれ 10 種類存在する。

図 2

共同図形配置課題で使用された図形

図 3 共通基盤の構築の程度に関する二次元配置分散分析 (ANOVA) の結果. 縦軸の値が小さいほど共通基盤の構築 の程度が大きいことを示す。

## 3 名付けのアノテーション仕様

名付けのアノテーションデータには 2 つのラベル が存在する. 1 つ目が，個数・配置に関する分類で ある。これは，名付けの対象となる図形の数，およ び，対象となる図形が発話時点で配置されているか についての分類であり,「図形建物 1 つ」,「図形建物複数・目標」,「図形|建物複数・その他」の 3 種類 ある. 2 つ目が，名称に関する分類である。これは， その名付けがどのような事物かを表す分類で，「食 べ物」や「登録名」など 15 種類ある [8].

## 4 名付けと共通基盤構築の関係

名付けが共通基盤の構築に有用かどうかを調べる ために，光田らが考案した図形配置間距離を指標と して利用した [7]. 図形配置間距離は, 図形配置に 含まれる任意の 2 図形間の距離の総和であり, 共通基盤の構築の程度を推定できる。また，共同図形配置課題では，図形配置が完全に一致する場合を「成功」，部分的に一致することを「中間」，それ以外の 場合を「失敗」としている. 得られた名付けのアノ テーション結果を用いて，成功対話と失敗対話の共通基盤の構築過程と名付けの関係を調査した.

図 3 亿, 共通基盤の構築の程度について, 二元配置分散分析（ANOVA）を行った結果を示す。横軸 は発話に名付けが含まれているかどうか，縦軸はそ の発話における図形配置間距離の変化量（共通基盤

図 4 各対話ターンの「目標」と「その他」の名付けのヒ ストグラム. 上段と下段は，成功対話と失敗対話のヒス トグラムになる.

の構築の程度）を表している．縦軸の値が小さいほ ど，共通基盤の構築が進んでいることを意味する。 2 本の線は課題の成否に対応しており，成功は作業者間で図形配置が一致していること，失敗は一致し ていないことを示す. 二元配置分散分析の結果，名付けと共同図形配置課題の結果の主効果は有意で あり，それらの交互作用も有意であることがわかっ た.この結果は，我々が注目している名付けが共通基盤の構築に有意に影響することを示している。ま た，成功対話における名付けが，失敗対話における 名付けよりも共通基盤の構築を有意に進めるという 事実は，これらの対話における名付けの質の違いを 示唆する。

## 5 対話の分析

前節の調査から名付けの有用性が確認できたた め，本節では，課題の成否につながる名付けの出現 の傾向を調査する。

## 5.1 目標とその他の分析

図 4 は，対話の各ターンにおける「目標」と「そ の他」の名付けのヒストグラムを表す。上段/下段 は，成功対話と失敗対話を示している。各対話の ターン数は，線形変換を用いて 50 に正規化した. このグラフから，成功対話と失敗対話で，目標に関 する名付けの傾向に違いがあることが確認できる.成功対話では，およそ 10 ターン目に最も頻繁に出現し，20 ターン目以降には頻度が少なくなってい る. 失敗対話では，目標の名付けは成功対話よりも 遅いおよそ 15 ターン目に最も頻繁に現れ，20 ター ン目以降も $10 \%$ 程度現れている。このことから，初期の段階で目標の名付けについて話し合い，目標と したものを作るための構成要素の名付けをしながら

図 5 名付けに注目した対話の分類結果. 赤は成功対話のほうが失敗対話より多いことを示し，青はその逆を示す。黒は 成功対話と失敗対話の数が等しいことを示す.

対話を行うことの重要性が明らかになった。また，成功対話と失敗対話において，最初の目標の名付け が現れる対話ターンの平均はそれぞれ 5.7 と 8.1 で あり，両者には有意な差が見られた $(\mathrm{p}<0.05)$.こ れは, 成功対話の初期に目標の名付けが現れること を定量的に示しており, 初期段階での適切な目標の 名付けが，共同図形配置課題を成功へと導くことを 示唆している.

## 5.2 対話の流れの分析

ここまで述べた通り，対話の初期における適切な 目標の名付けが共同図形配置課題を成功へと導くこ とがわかった. 次に, 目標の出現回数や出現タイミ ングに注目して，どのような対話の流れが成功につ ながるのかを調べる。このとき，目標の名付けに加 えて，最頻の名付けである「登録名」にも着目する。登録名は共同図形配置課題で使用される図形にあら かじめ付けられている名前であり, 理解が容易なこ とから, 目標の名付けと合わせて共通基盤の構築に 役立つと考えられる。

図 5 に，目標と登録名の名付けの有無やその頻度 に基づいて対話を著者らが人手で分類した結果を示 す。なお，目標の出現位置によって対話の流れが変化すると考えたため，対話の前半，中盤，後半の 3 つに分けて分類した. 目標が出現する対話の平均対話長が 22.5 であったため、前半を 5 発話目まで，中盤を 6 発話目から 17 発話目まで, 後半を 18 発話目以降とした。目標の出現回数については，目標が 2 回しか出現しない対話が全体の約 7 割と多くを占め ていたため, 目標の出現回数が 3 回以上のものはま とめた.

名付けに基づく対話の分類から，(a)のように目標
が出現しなかった場合であっても，多くの対話で課題が成功していることがわかる．このような対話で は，登録名を適切に用いて相手と意思疎通を行って いる過程が見られた。 (b) に示されるように，目標 が出現する場合は対話の前半に目標を提案すること で，成功につながることがわかる。早い段階での方針の決定，つまり，考えの大枠を対話の冒頭で共有 することで，共通基盤の構築が進むと考えられる。 (c) に示されるように，対話の中盤で目標を提案す る場合， 2 回以上提案すると失敗対話のほうが多く なっている。これらについては，対話がかみ合って ないか，様々な考えが共有され，どの話をしている のかがわからない，といった対話が見られた。(d) のように，対話の後半に目標を提案すると，失敗す る可能性が上がることが示唆される．例えば，対話 の後半で考えがまとまるも時間が足りない場合など が考えられる。

なお，どの対話でも登録名が使われていることが わかった。作業者の前提知識が利用でき，図形から 容易に想像できる名付けは作業者間で確実に伝わる 名付けであることから，理解が容易な情報は共通基盤の構築に貢献するということが確認できた。

## 6 名付けの抽出実験

以上の分析から，名付けが共通基盤の構築に有用であるということが確認できた。分析を通じて，我々は今後共通基盤を構築する過程のモデル化に取 り組むため，そのためには名付けを特定し，対応す る図形を同定したり，名付けの意図を理解したりす ることが重要となる. そこで本研究では，モデル化 の初期段階として，対話から名付けを抽出する実験 に取り組んだ。
表 1 対話を入力とした名付けの抽出と分類の評価結果

## 6.1 データセットとモデル

本研究では最も基本的な名付けとして, 図形の 種別が一意に決まる名付けを対象に，Bidirectional Encoder Representations from Transformers (BERT) [11] を用いた名付けの抽出実験を行った. 入出力として は，対話（開始の発話から何らかの名付けが含ま れる発話まで）を入力とし，名付け箇所のスパン， および，図形の種別を出力とする。学習データは 29,055 個，図形の種別は 20 種（図 2）となる. デー タセットは訓練，検証，評価の割合が $6: 2: 2$ とな るように分けた. モデルには東北大学が公開してい る BERT の日本語版事前学習済みモデル1)を使用し た. 入力長は最大で 256 トークンとし, 最大エポッ ク数を 5 に設定して fine-tuning を行った.

## 6.2 評価結果

表 1 に，対話を入力とした名付けの抽出と分類の 評価結果（適合率，再現率， $\mathrm{F}$ 値）を示す. 単純な モデルでもある程度名付けの抽出は可能であり，学習データを増やせば，より高い性能で抽出が可能だ と考えている。

図 6 に，モデルが入力対話から名付けを抽出した 出力例を示す. 登録名の名付けが適切に抽出できて いることに加え，「修飾語＋登録名」のような名付 けも一部分ではあるものの抽出ができている. 正解 の名付けの一部しか抽出できていない場合でも，正解と同じ図形を特定できているため, 図形の特定と いう観点でもある程度の精度が実現できていると考 えている.

モデルが抽出した名付けの内，名付けと対応図形 が正解と一致した 28 件を以下に示す.

空港, 観覧車, 橋, 銀行, 病院, 公園, 警察, バー, ビル,

台形, 大きい橋, 大きな橋, 学校, 警察署, 大きな観覧車, 交番, 小さな観覧車, 大きい銀行, 丸, 大きい観覧車, 小さな橋, 大きい警察, 小さい観覧車, 小さい橋,

大きい公園, 小さいバー, 小さい銀行, 飛行場

抽出された名付けの内，登録名の割合が比較的多 い. 学習データで使用している名付けの 6 割強が登録名の名付けであることから，登録名が多く抽出さ れるということを考慮しても，登録名の名付けが多

図 6 入力される対話と抽出される名付け（一部）の例

い.今回用いた比較的単純な手法では，共通基盤の 構築に必要な名付けを全て抽出するのは難しい可能性がある。

抽出した名付けは正解と一致しているが，特定し た図形が正解と一致していないものを以下に示す.

ビル, バー, 学校, 病院, ベンチ, はし, 街, 公園, 空港,銀行, 飛行機

街に対応する図形は，作業者によって様々な名付 けがされているため, 図形の特定が難しい結果と なった。

現状の方法では，対話から名付けを抽出できたと しても，登録名の名付けが比較的多く抽出されるこ と，また，文脈によっては登録名でも対応する図形 を特定することは困難なことがわかった. 今後，共通基盤の構築に必要な名付けの抽出に関する新たな 手法の検討が必要である.

## 7 おわりに

本稿では，共同図形配置コーパス中の名付けのア ノテーションを用いて，共通基盤構築における名付 けの有用性を明らかにするために，図形配置間距離 を用いて二元配置分散分析を行い，有用性を確認し た.また，名付けに注目して対話の分析を行い，ど のような名付けから共通基盤が構築されるのかを明 らかにした. BERT を用いて対話から名付けを抽出 するモデルの作成も行い，既存の機械学習モデルを 用いた名付けの理解の可能性を調べた. その結果,現状でもある程度名付けの抽出は可能であるが，文脈や作業者の背景知識を必要とする名付けの抽出は 難しいことがわかった. 今後は，文脈から名付けを 適切に抽出する手法や，抽出した名付けを図形と紐付けて理解する手法の確立に取り組んでいく予定で ある。

## 参考文献

[1] Herbert $\mathrm{H}$ Clark. Using language. Cambridge university press, 1996.

[2] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[3] Stefan Kopp and Nicole Kramer. Revisiting human-agent communication: The importance of joint co-construction and understanding mental states. Frontiers in Psychology, Vol. 12, , 2021.

[4] Kris Liu, Jean E Fox Tree, and Marilyn Walker. Coordinating communication in the wild: The Artwalk dialogue corpus of pedestrian navigation and mobile referential communication. In Proc. of LREC, pp. 3159-3166, 2016.

[5] Takuma Udagawa and Akiko Aizawa. An annotated corpus of reference resolution for interpreting common grounding. In Proc. of AAAI, pp. 9081-9089, 2020.

[6] Cristian-Paul Bara, Sky CH-Wang, and Joyce Chai. MindCraft: Theory of mind modeling for situated dialogue in collaborative tasks. In Proc. of EMNLP, pp. 1112-1125, 2021.

[7] Koh Mitsuda, Ryuichiro Higashinaka, Yuhei Oga, and Sen Yoshida. Dialogue collection for recording the process of building common ground in a collaborative task. In Proc. of LREC, pp. 5749-5758, 2022.

[8] 齋藤結, 光田航, 東中竜一郎, 南泰浩. 対話での共通基盤構築過程における名付けの分析. 言語処理学会第 28 回年次大会発表論文集 (NLP2022), pp. 38-42, 2022.

[9] Herbert H Clark and Deanna Wilkes-Gibbs. Referring as a collaborative process. Cognition, Vol. 22, No. 1, pp. 1-39, 1986.

[10] Anya Ji, Noriyuki Kojima, Noah Rush, Alane Suhr, Wai Keen Vong, Robert D. Hawkins, and Yoav Artzi. Abstract visual reasoning with tangram shapes. In Proc. of EMNLP, pp. 582-601, 2022.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.


# Transformer 対話モデルによる未来の展開の予測と 感情の誘導の検証

進藤優柴田千尋
法政大学理工学部
yu.shindo.2h@stu.hosei.ac.jp, chihiro@hosei.ac.jp

## 概要

近年，過去の文脈を考慮する対話システムの研究 が進んでいる。しかし, 対話においては未来の展開 を考慮することも重要である．そのため，本研究で は, 未来の展開を考慮し, 対話 5 ターン以内にユー ザーがポジティブになる先読み対話システムを提案 する.これは，対話システム本体 $T_{1}$ とは別で独立 した対話システム $T_{2}$ を用いて， $T_{1}$ の発話生成時に $T_{2}$ がこれに返答をすることで先読みを行う。これを システムと人間相手に対話させることで，提案シス テムの有効性，対話の自然性を評価する。

## 1 はじめに

近年，深層ニューラルネットワークを用いた自然言語文生成技術の発展と膨大な対話データの存在に 支えられ，対話システムは大きく発展してきた. こ れにより，日本語においても，りんな [1]などの非夕 スク型の対話システムが身近な存在となっている。 これらの対話システムは，発展した技術に加えて，過去の文脈を考慮することで対話の自然性や一貫性 を向上させている。一方で，人間にとってより良い 対話システムを構築するためには，過去の対話履歴 だけでなく，未来の展開を考慮することも重要であ る [2]. しかし, 未来の展開を考慮する対話システ ムの具体的な研究はまだ十分に行われているとは言 えない。そこで本研究では，未来の展開を考慮した 対話システムを提案する。具体的には，未来の展開 を考慮し，対話 5 ターン以内にユーザーがポジティ ブになる先読み対話システムの作成を提案する.

## 2 関連研究

## 2.1 Transformer 対話モデル

本研究では日本語の大規模な対話モデルとして, NTT により公開されている Transformer 対話モデ
ル [3] をベースとして用いる，相手に共感するよう な対話データ [4] 約 20,000 件からファインチューニ ングを行っている. 1 件 4 発話で構成されるため,計 80,000 発話のデータとなっている. このデータを 用い，過去の発話を 4 発話分まで考慮することで対話の自然性を向上させている．発話の生成は，複数 の発話候補を生成し，そこから文章として成り立っ ている確率が最も高いものを選択して返答する。こ の流れを図 1 に示す.

図 1 Transformer 対話モデルの対話の流れ

## 2.2 対話の先読みに関する研究

岸波らは，先読み対話システムの可能性について 検証している [2]. この研究では，人間同士で対話 を行い，タスクの結果から先読み対話システムの可能性を分析する. この研究で提案されたタスクは, パーティーゲームのひとつである NG ワードゲーム を類似したものであり，システムと人間の 1 対 1 で 対話が行われる。システム側は，1ターン目の発話 とターゲット単語が与えられ，対話を続けていく中 で 5 ターン以内に人間からターゲット単語を引き出 すことを目指す.この実験により，対話のターン数 を $N$ として,$N=5$ としたとき最も対話の自然性が 高いということがわかった．また，設定する先読み ゴールの難易度によっては，対話システムで先読み を行うことは可能であるということもわかった.

## 3 提案手法

本研究では，未来の展開を考慮した対話システ ムを提案する．先読みのゴールとしては，システ

図 2 感情分析の流れ

ムに1ターン目の発話及びターゲット感情のペア， （例えば「こんにちは．何かお悩みはありますか？」及び「○」のペア）を与え，対話を続けていく中で ユーザー発話がターゲット感情になることを目指 す. 未来の展開を考慮し，対話 $N$ ターン以内にユー ザーがポジティブになる先読み対話システムを提案 する．本論文では，岸波らの研究結果に従い， $N=5$ とした.

## 3.1 感情分析

ユーザーの発話がターゲット感情になるように先読みを行うが，そのためにはまず，発話がどのよう な感情を含意しているのかを推定する必要がある. ターゲット単語を設定して先読みを行なう手法 [2] では，数多くある単語の中からピンポイントにター ゲット単語を引き出すことは難しい。そこで，本研究では，Twitter の絵文字付きツイートを学習し，文章を 6 つの絵文字（感情）に分類する感情分析用の BERT モデル [5] を用いる。このモデルは，それぞ れの絵文字ごとに別々に予測確率を算出する，いわ ゆるマルチラベルモデルである．例えば，○と分が 共に $90 \%$ 以上となることもあり得る。この流れを 図 2 に示す.これにより，あらかじめ設定された 6 つの絵文字の中からターゲット感情を引き出す先読 みタスクを設定することができ，ターゲット単語よ りも実現可能であると考えられる。

## 3.2 先読み過程

既存の Transformer 対話モデル [3] をベースとし， それに先読み過程を追加する，具体的には，対話シ ステム本体である Transformer 対話モデル $T_{1}$ とは別 で独立した対話モデル $T_{2}$ を用いる． $T_{1}$ のユーザー 発話に対する複数の発話候補それぞれに対して， $T_{2}$ が返答候補を生成する。この返答候補が入力された ユーザー発話のひとつ先の予想ユーザー発話に該当 する. この流れを図 3 に示す. 生成された複数の $T_{2}$ の返答候補を $T_{1}$ の発話候補ごとに区切って評価す る. 最も良い評価の返答候補の集合を引き出した発話候補が $T_{1}$ のユーザー発話への返答として選択さ れる。

図 3 提案システムの対話の流れ

## 3.3 先読みによる評価値の計算

各 $T_{1}$ の発話候補に対して，先読みによって評価值を計算する方法を二つ提案する。一つ目は，各 $T_{1}$ の発話候補に対する $T_{2}$ 返答候補の発話それぞれに 対して，感情分析 [5] を行い，その感情が何個ター ゲット感情「」になっているかを比較をする方法 である。このとき，ターゲット感情になっている数 を，その $T_{1}$ 発話候補の評価値とする。二つ目は， $T_{2}$返答候補のターゲット感情の予測確率を足した合計值で比較をする方法である。この方法では，各 $T_{2}$返答候補において，必ずしもターゲット感情が最も 高い予測確率を持っている必要はない。感情分析の 過程で求められる 6 つの絵文字に対しての確率の中 からターゲット感情「」の確率を使用し，返答候補ごとに合計值を求める. その合計值が最も高いも のを最も良い評価とする。また，一つ目の方法で最 もターゲット感情が多い返答候補が複数出た場合 は，その返答候補の中で二つ目のターゲット感情の 確率で比較する方法を適用する。

一つ目の方法の評価値は，ターゲット感情がそれ 以外の感情と比べて最も強いかどうかの 2 値の合計值となるため，ターゲット感情の BERT モデルによ る分類結果自体に注目することができる。また，二 つ目の評価値では，例えば，ラベル付けされた感情 は「苗」だがラベル付けされた感情とターゲット感情の確率が僅差などの状況を考慮できるため，細か い情報まで考慮できる。

## 4 実験

提案手法の評価のため, 以下の 3 つの実験を行う.

・実験 1 ：Transformer 対話モデルと提案システム との比較

・実験 2 : 提案システムの有効性
- 実験 3 : 提案システムの対話の自然性の評価

## 4.1 前提条件

今回提案する対話システムの本体 $\mathrm{T} 1$ と先読み部分の対話システム $T_{2}$ では, 2 節の Transformer 対話 モデルと同様に Twitter の対話データを EmpatheticDialogues [4] でファインチューンした対話モデルを 使用する.これにより相手の感情に共感するように なり，対話の自然性も向上する. また，感情分析で は町田ら [5] の Twitter から抽出した絵文字付きツ イート360万件を使って，6つの感情に分類する手法を使う。

## 4.2 システムとの対話

2 節の Transformer 対話モデルと提案システムをそ れぞれ対話システム（ユーザー側）と対話させる. このときのユーザー役の対話システムも NTT が公開している対話システム [3] を使用する。 ユーザー 役を対話システムにすることにより，自動で対話さ せることができるので多くの対話データを取得す ることが可能になる. このとき取得する対話データ は，5 ターン分の対話履歴，最後のユーザー発話の 感情ラベル, 最後のユーザー発話のターゲット感情 の確率とする。

実験 1 では，Transformer 対話モデルと提案システ ムをそれぞれ，もう一つの別の対話システムと対話 させ，取得した対話データから Transformer 対話モ デルと提案システムを比較する。

実験 2 では，提案システムのターゲット感情を他 の感情に変えることで提案システムの有効性を検証 する．実際には，先読みした発話のターゲット感情 の確率が最も低いものを選ぶようにする。これによ り，ターゲット感情「」以外の 5 つの感情に注目 するようになる。これをターゲット感情を「○」に したときと比較することで，ターゲット感情が「」のとき，本研究の目的であるユーザーがポジ ティブになる先読み対話システムがより実現できて いるかを確かめる．また，実験 1 と同様に対話シス テムと対話させることで比較をする。

## 4.3 アンケート調査

実験 1 ，実験 2 では主にターゲット感情の数やそ の確率を使って，本研究の目的の達成率を調べてい る. 実験 3では，ユーザー役を人間が行い，システ ムにはわからない Transformer 対話モデルと提案シ ステムの違いや対話の自然性について調査する. 具体的には，人間に Transformer 対話モデル，提案シス テム（ターゲット感情「○」），提案システム（ター ゲット感情「○以外」）の3つのシステムと対話し てもらい各対話終了時にアンケート調査を実践す る. アンケートの項目は，「あなたは悩んでいたが 今ポジティブになったか」「システム側の発言は自然だったか」について，それぞれ 5 を最高点とした 5 段階評価とする. その結果から Transformer 対話モ デルと提案システムの違いや対話の自然性を評価 する。

## 5 実験結果

4 節で述べた実験 1～3 の結果を記述する．実験 1,2 では，比較する対話システムごとに 85 対話の データを取得した. 実験 3 では, 5 人の方に協力し てもらい，15 対話のデータを取得した。

## 5.1 Transformer 対話モデルと提案システ ムとの比較結果

実験 1 の結果を表 1 に示す.このとき， 3 節で述 べた提案手法の二つの評価方法も比較する．表にあ る提案手法 1 は，先読みした発話の感情が何個ター ゲット感情になっているかで評価をする方法で提案手法 2 は，先読みした発話のターゲット感情の確率で評価する方法である。これを最後のユーザー発話が 85 対話中，何個ターゲット感情になったかと ターゲット感情の確率の平均値で比較する.

表 1 Transformer 対話モデル (ベースライン) と提案シス テムとの比較

 &  \\

表 1 より, Transformer 対話モデルよりも提案手法 の方がターゲット感情にさせる数と確率が高いとい うことがわかる. つまり，提案手法の方が本研究の ユーザーをポジティブにするという目的を達成して いると言える。また，提案システム 1 よりも提案シ ステム 2 の方がターゲット感情にさせる数と確率が 高い. そのため, 先読み過程では，ターゲット感情 の確率で評価した方が良いとわかる。

## 5.2 提案システムの有効性の結果

実験 2 の結果を表 2 に示す.このとき，ターゲッ 卜感情を「」とした提案手法を提案システム「」

とし，ターゲット感情の確率が最も低いものを選択 し，ターゲット感情を「○」以外とした提案手法を 提案システム「○以外」とする。また，このとき取得したターゲット感情の数は, 二つともターゲット 感情が「」のときのデータである.

表 2 提案手法によるターゲット感情への誘導の有効性

 &  &  \\

表 2 より，ターゲット感情を「」としたときの 方がターゲット感情にさせる数と確率が高いという ことがわかる．つまり，設定するターゲット感情に 影響して結果が変わることが言える。また，これと 同時に今回提案した手法が有効であることも確認で きる.

## 5.3 提案システムの対話の自然性の評価

実験 3 の結果を表 3 に示す $(n=15)$.また，表 6 に提案システムの実際の対話例を示す.このとき，比較するシステムは Transformer 対話モデルと実験 2 で使用したシステムである.

表 3 対話の自然性の評価 (5 段階評価アンケート平均値)

 &  \\

表 3 より，ターゲット感情を「」としたときの 提案システムが最も自然な対話でユーザー（人間） をポジティブにさせていることがわかる. 最後に，上述の差が有意かどうかを $\mathrm{t}$ 検定を用いて検証す る. 具体的には，有意水準を $5 \%$ としたときの一対 の標本による平均の $\mathrm{t}$ 検定を Transformer 対話モデ ルと提案システム「」に対して行う. 相手がポジ ティブになったかの結果を表 4 に対話が自然であっ たかの結果を表 5 に示す.

表 4 ポジティブになったかの検証結果 (2 標本 $\mathrm{t}$ 検定)

表 4 の $\mathrm{P}(\mathrm{T} \leqq \mathrm{t})$ 両側の項目から $\mathrm{p}$ 値は「0.00464」と なり，0.05（有意水準）より小さいので，Transformer表 5 対話が自然性だったかの検証結果 (2 標本 $\mathrm{t}$ 検定)

表 6 提案システムの対話例

 &  \\

対話モデルと提案システムの平均值には有意差が あると言える。つまり，提案システムの方が相手を ポジティブにするという結果は信用性があるとわ かる。一方で，Transformer 対話モデルと提案システ ムの対話の自然性については，平均値では提案シ ステムのほうが高い評価となっているものの，表 5 から，その差は有意があるとは言えないことがわ かる。

## 6 結論

本研究では，未来の展開を考慮し，対話 $N$ ターン 以内にユーザーがポジティブになる先読み手法を提案し，システムとして実装を行い，評価を行った。 その結果，提案手法は，システムと人間の両方に対 して，先読みを行うことにより，ターゲット感情へ と対話を誘導することができることがわかる. さら に，対人の実験結果からも，今回の提案手法がユー ザーをポジティブにできていることがわかる．今後 の展望としては，感情分析の精度を上げることで， より未来の感情を的確に考慮することが可能か検討 する予定である。

## 7 謝辞

今回の研究でアンケート調査にご協力いただい た法政大学の学生の皆様には, 深く感謝申しげま す. 本研究の一部は JSPS 科研費 JP18K11449 の助成 を受けたものです.

## 参考文献

[1] Katsuya Iida Kazuna Tsuboi Momo Klyen Xianchao Wu, Kazushige Ito.りんな：女子高生人工知能, 2016.

[2] 岸波洋介. 対話システムの先読み能力を分析可能な夕 スクの検討, 2021.

[3] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[4] Qintong Li, Piji Li, Zhaochun Ren, Pengjie Ren, and Zhumin Chen. Knowledge bridging for empathetic dialogue generation. 2022.

[5] 町田秀輔. 絵文字の埋め込み表現を用いたラベル埋め 込み注意機構モデル等による文の感情推定, 2019.


# BCCWJ を対象としたパターンマッチによる End-to-End 発話者分類

銭本友樹 1 古俣慎山 ${ }^{2}$ 宇津呂武仁 ${ }^{1}$
1 筑波大学大学院 システム情報工学研究群 2 筑波大学 理工学群 工学システム学類

## 概要

小説中の発話文の発話者がどの登場人物かを分類 する発話者分類タスクは，小説や登場人物の分析に おいて重要なタスクである. 発話者分類は，発話文 の抽出，発話者の抽出，同一人物のクラスタリング の3つのタスクを行う必要があるが，これらを全て 行った日本語小説を対象とした先行研究は存在しな い. また評価データが共有されていないため, 手法 の比較が困難であった. そこで本研究では，第三者 が利用可能な『現代日本語書き言葉均衡コーパス』 の話者情報アノテーションデータを対象としたパ ターンマッチによる End-to-End 発話者分類を行い， その有用性と限界について分析する。

## 1 はじめに

小説中の発話文の発話者がどの登場人物かを分類する発話者分類タスクは，小説や登場人物の分析 において重要なタスクである．発話者分類は一般的 に，発話文の抽出，発話者の抽出，同一人物のクラ スタリングの 3 つのタスクを行う必要がある.

日本語小説を対象とした発話者分類の先行研究 には，地の文を利用した研究 [1] と口調を利用した 研究 $[2,3]$ が存在する. Du ら [1] の研究では, 青空文庫の小説 4 編を対象として，地の文を利用したパ ターンマッチによる発話者抽出を試みている。この 手法では 0.72 という高い正解率で発話者を抽出で きているが，評価に利用した発話文の数は 161 文と 少なく，同一人物を指す発話者のクラスタリングは 行っていない. 石川ら [2] と Zenimoto ら [3] の研究 では，ライトノベル中の発話文を対象として, 口調 の類似性を利用した発話者分類を試みている。しか しながらこれらの手法は, 分類先となる発話者の口調が事前情報として必要であり，任意の発話者への 分類には対応していない。したがってこれらの日本

表 1: 訓練データ中の発話文の両端記号の統計

語小説を対象とした先行研究では，発話文の抽出，発話者の抽出，同一人物のクラスタリングの 3 つの タスク全てを行っておらず，またそれぞれが独自に 作成した非公開の評価データを利用しているため,手法の比較が難しいという問題がある.

そこで本研究では，第三者が利用可能な『現代日本語書き言葉均衡コーパス』1（以下 BCCWJ）の大規模な話者情報アノテーションデータ [4]を対象と して，発話文の抽出，発話者の抽出，同一人物のク ラスタリングの全てを行う End-to-End 発話者分類を 試みる。本研究で使用したコードは以下の $\mathrm{url}^{2}$ から 利用することができる.

## 2 データセット

BCCWJ 発話者アノテーションデータには，合計 2,845 作品，174,969 文の発話者がアノテーションさ れた発話文が含まれている. この全体の 2,845 作品 のうち，60\%を訓練データ，20\%を検証データ，20\% をテストデータとして扱う．それぞれの小説数と発話文数の統計は付録の表 7 に示す.

## 3 発話文の抽出

日本語小説中の発話文の特徴を捉えるために，訓練データにおける発話文の両端記号の統計と，同じ 記号で囲まれた非発話文の統計を調査した (表 1).

1) https://clrd.ninjal.ac.jp/bccwj/

2) https://github.com/Zeni-Y/speaker-classification
表 2: 発話文抽出の性能比較

この表の結果から，特定の記号で囲まれた文字列を 発話文として抽出する方法では，多くの非発話文を 誤って抽出してしまうことがわかった。またこの方法では，両端が特定の記号で囲まれていない発話文 を抽出することも不可能である。そこで本研究で は，BERT[5]を用いた系列ラベリングによる発話文抽出モデルを構築し, 强調や引用表現などの非発話文を誤抽出しない発話文抽出を試みる。

## 3.1 実験

以下の 2 つの発話文抽出モデルを比較する。

ルールベース 訓練データでの出現頻度の高い 5 種類の両端記号 (「」,(),『』, く>, ””) によって团 まれた文字列を全て発話文として抽出する。

BERT 事前学習済み言語モデルである東北大版の BERT-base $^{3}$ モデルを使用する. 訓練データで 学習を行い，検証データでの損失が最小のモデ ルをテストデータでの評価に用いる。

## 3.2 結果

表 2 に，テストデータを対象とした発話文抽出に おける Precision，Recall，F1値を示す.ここでの両端記号全体での評価スコアにはマイクロ平均を用い た.この表から，全ての記号において BERT モデル はルールベースモデルよりも高い Precision と F1 值 となる一方で，Recall ではルールベースモデルより も低い値となることがわかった.また””“で囲まれた 発話文や，無記号の発話文の抽出性能は BERT モデ ルでも低いことがわかった. 全体の性能としては，「」で囲まれた発話文がほとんどであったために， ルールベースモデルと BERT モデルでの性能に大き な違いはないが，BERT モデルの方がより少ない誤抽出での発話文抽出が可能であることがわかった。

## 4 発話者の抽出

Du ら [1] の手法を参考にし，発話文の周囲の地 の文や前後の発話文を利用する 21 種類のパターン を定義し，これらのパターンを利用して発話者の抽出を行う，表 3 に，適用条件ごとのパターン名とそ の優先順位を示す。これらのパターンが複数適用可能な場合は，表 3 に示す優先順位の最も高いパ ターンを適用する。 パターンマッチを行うための 文章の形態素解析や係り受け解析には GiNZA ${ }^{4)}$ の ja_ginza_electra モデルを利用する.

## 4.1 人名の抽出

まず以下の 2 つの手法を用いて，地の文から人名 の単語及び単語列を抽出する。

## 人を表す固有名詞の抽出

GiNZA による固有表現抽出によって，「Person」， $\lceil$ Position-Vocation $\lrcorner$, 「Nationality $\lrcorner$, 「Name-Other $\rfloor$ タグで検出された単語及び単語列を人名として 抽出する。

## 人を表す普通名詞と代名詞の抽出

人を表す単語が網羅された辞書（以下人名単語辞書) を作成し，この辞書中の単語を人名として抽出する。人名単語辞書は，日本語 wordnet[6] から人を表す単語を自動で大規模に 収集した後に，人手で不足していた単語の追加 と不要な単語の削除を行うことで作成した。

その後，「〜さん」や「〜先生」などの敬称や複合名詞をまとめて人名として扱うために，抽出し た単語との係り受け関係が「compound $\perp, 「$ nmod $」$,「nummod」である連続した単語も含めた全体を，最終的な人名として抽出する。

## 4.2 発現を表す述語の判定

4.1 節で抽出した人名の係り先である述語が，発言を表す述語かどうかを判定する．発言を表す単語 が網羅された辞書（以下発言述語辞書）を作成し， この辞書中の単語ならば発言を表す述語（以下発言述語）それ以外を発言を表さない述語（以下非発言述語）とする。発言述語辞書は，日本語 wordnet[6] から発言を表す単語を自動で大規模に収集した後 に，人手で不足していた単語の追加と不要な単語の 削除を行うことで作成した.

表 3: 適用条件ごとのパターン一覧（パターン名：優先順位）

## 4.3 パターンの適用

4.1 節で抽出した人名の依存関係，4.2 節で判定し た述語の種類，それらの人名と述語を含む地の文の 位置の 3 つの要素から, 表 3 の左の表に示すように 18 種類のパターンを定義する.

例えば図 1 中の発話文「ありがとう」では，同じ 行に人名の主格「太郎」を含み，その係り先には発言述語「言った」が存在することからパターン E-S が適用され，「太郎」が発話文「ありがとう」の発話者として抽出される. また発言述語に係る人名の 目的格「花子」が存在することから次の発話文「ど ういたしまして」にはパターン E-S-O が適用され，「花子」が発話文「どういたしまして」の発話者とし て抽出される。

図 1: 人名の主格と目的格を発話者とする例

また図 2 中の発話文「こんにちは」では，前の行 で人名の主辞が存在することからパターン R-P が適用され，「佐藤」が発話文「こんにちは」の発話者と して抽出される。

図 2: 人名の主辞を発話者とする例

地の文から発話者の抽出を行えない場合には，以下に示す 3 種類のパターンを適用する.

PA1 or PA2 連続した発話文において, N番目の発話者が不明で， $\mathrm{N} \pm 2$ 番目の発話者が判明してい るとき，その $\mathrm{N} \pm 2$ 番目の発話者を $\mathrm{N}$ 番目の発話者とする．N-2 番目が判明していれば PA1, $\mathrm{N}+2$ 番目が判明していれば PA2 を適用する。
PM他のどのパターンも適用できないとき，小説全体で最も抽出回数の多い人名を発話者とする。

## 5 同一人物のクラスタリング

4 節の手法で抽出した人名のうち，同一人物を指 す人名をクラスタリングする。 まず抽出した人名 を「固有名詞」，「接頭辞（例：Mr., Ms.)」,「接尾辞 (例: さん, 君) 」,「その他 (例: 先生, 将軍)」の 4 つの要素に分解する. そして，「固有名詞」か「そ の他」のどちらかが一致している人名同士を，同一人物を指す人名としてクラスタリングする.

## 6 実験

発話者分類はテストデータを対象として行い， クラスタリング評価と人名一致正答率の 2 種類の 評価を行う. クラスタリングの評価指標としては, Cuesta-Lazaro らの研究 [7] と同様に $B^{3}$ の Precision, Recall，F1 値 [8] を利用する. 人名一致正答率では, 5 節の手法によって抽出発話者と正解発話者が同一人物と判定された発話文の割合を評価する.またこ の際，発話者分類の性能のみを評価するために，分類対象となる発話文はオラクルデータとして与えら れているものとする.

## 7 結果

表 4 に，テストデータ中の 3 つの小説作品単体で の発話者分類結果と, 小説全体でのマクロ平均と標準偏差を示す．また，テストデータの小説全体の Precision, Recall のヒストグラムを付録の図 3 に，人名一致正答率のヒストグラムを付録の図 4 に示す.表 4 の全体の F1 値から, クラスタリング結果として は，あるクラスタのうち平均して $58.3 \%$ の発話文が 実際に同じ人物の発話文であり, 実際に同じ人物の 発話文のうち平均して 49.3\%の発話文が同じクラス タに属しているという結果となった. 一方で，人名一致正答率は $37.3 \%$ と低く, 抽出した人名がそのま ま正解発話者であることは少ないことがわかった.続いて小説ごとの分類結果について分析する.
表 4: 発話者分類結果

 &  & Precision & Recall & F1 &  \\

表 5: パターンごとの被覆数（率）

表 6: パターンごとの人名一致正答数（率）

\cline { 2 - 8 } & 主格 & 目的格 & 主格 & 目的格 & 主辞 & 目的格 & \\

表 4 から，サンプル ID が LBj9_00104 の小説では， Precision が高くRecall は低いという結果となった. これは，正解発話者に対して予測発話者の種類が多 くなり，同じ人物の発話文が異なるクラスタに分類 されてしまったからである。一方でサンプル ID が LBf9_00026 の小説では，Recall が高くPrecision は低 いという結果となった. これは，予測発話者のほと んどが一人の人物に分類されてしまったからであ る.また，サンプル ID が LBp9_00033 の小説では， F1 值が高い一方で，人名正答率が著しく低くなっ た.これは抽出された人名が「僕」や「姉さん」な どの代名詞であったために，正解発話者との同一人物判定が失敗してしまうからである。これらの問題 の解決には，小説全体での登場人物の特定や，発話文中の口調や二人称の利用，共参照解析による代名詞と固有名詞の同一人物判定の利用が考えられる.

## 7.1 パターンごとの有用性の分析

パターンごとの有用性について分析する。表 5 に パターンごとの被覆率を示し，表 6 にパターンごと の人名一致正答率を示す. 被覆率に着目すると，地 の文の位置では，後ろの地の文，前の地の文，同じ 行の地の文の順に被覆率が高く, 後ろの地の文が最 も適用されることが多いことがわかった。一方で
PA1 と PA2，PM の被覆率は合計 $38.3 \%$ となり，多く の発話文が他の発話文の分類結果に依存しているこ とがわかった. 人名一致正当率に着目すると，地の 文の位置では，同じ行の地の文，後ろの地の文，前 の地の文の順に人名一致正答率が高く, 同じ行の地 の文が最も信頼性が高いことがわかった．地の文の 構造に着目すると，主格-発言述語，主格-非発言述語，主辞の順に被覆率と人名一致正答率が高く，発言述語の有用性が高いことが示された。一方で，目的格を使ったパターンは全体的に人名一致正答率が 低くあまり有用ではないことがわかった.

## 8 終わりに

本研究では，BCCWJ 中の小説を対象とした Endto-End 発話者分類に取り組んだ. 発話文抽出におい ては，特定の記号で囲まれた文字列を抽出するルー ルベースモデルが不十分であることを示し，多様な 形式の発話文を高い精度で抽出可能な BERTを利用 した系列ラベリングモデルを提案した. 発話者分類 では，周囲の地の文を利用したパターンマッチによ る発話者の抽出により, 同じ発話者の発話文の半数程度を適切に分類できることを明らかにした。また パターンごとの被覆率と人名一致正答率を詳細に分析し，パターンごとの有用性を明らかにした.

## 謝辞

本研究は科研費 21 H00901 の助成を受けたもの である. また本研究では, 国立国語研究所のプロ ジェクト「大規模日常会話コーパスに基づく話し言葉の多角的研究」（プロジェクトリーダー・小磯花絵）および日本学術振興会・科学研究費補助金「会話文への発話者情報の付与によるコーパスの拡張」

（15H03212）の成果データを利用した.

## 参考文献

[1] Du Yulong, 白井清昭. 小説からの自由対話コーパスの 自動構築. 言語処理学会第 25 回年次大会発表論文集, pp. 623-626, 2019.

[2] 石川和樹, 宮田玲, 小川浩平, 佐藤理史. 口調ベクトル を用いた小説発話の話者推定. 研究報告自然言語処理 (NL), pp. 1-8, 2019.

[3] Yuki Zenimoto and Takehito Utsuro. Speaker identification of quotes in Japanese novels based on gender classification model by BERT. In Proceedings of the 36th Pacific Asia Conference on Language, Information and Computation. Association for Computational Lingustics, 2022.

[4] 山崎誠, 宮㟄由美, 柏野和佳子. 小説会話文への話者情報付与. Technical report, 国立国語研究所, 2022.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[6] Francis Bond, Hitoshi Isahara, Sanae Fujita, Kiyotaka Uchimoto, Takayuki Kuribayashi, and Kyoko Kanzaki. Enhancing the Japanese WordNet. In Proceedings of the 7th Workshop on Asian Language Resources (ALR7), pp. 1-8, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[7] Carolina Cuesta-Lazaro, Animesh Prasad, and Trevor Wood. What does the sea say to the shore? a BERT based DST style approach for speaker to dialogue attribution in novels. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5820-5829, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Amigó Enrique, Gonzalo Julio, Artiles Javier, and Verdejo and Felisa. A comparison of extrinsic clustering evaluation metrics based on formal constraints. In Inf. Retr., pp. 12(4):461-486, 2009.
表 7: BCCWJ 中のデータ統計

図 3: テストデータ全体の Precision, Recall のヒストグラム

図 4: テストデータ全体の人名一致正答率のヒストグラム