# 人間同士の雑談における話題遷移モデリング

岸波洋介 ${ }^{1}$ 赤間怜奈 1,2 佐藤志貴 1 徳久良子 ${ }^{1}$ 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
yosuke.kishinami.q8@dc.tohoku.ac.jp
\{akama, shiki.sato.d1, tokuhisa, jun.suzuki,kentaro.inui\}@tohoku.ac.jp

## 概要

対話システムが現在話している話題から別の話題 へ自然に遷移させることは，能動的に対話を主導す る雑談対話システムの実現に重要な要素である.こ れまでの研究では，単語分散表現の類似度や知識グ ラフの概念間の結びつきなど，様々な工学的手法で 話題遷移が表現されている. 本研究ではこれらの工学的手法を「人がおこなう話題遷移のモデルとなっ ているか」という観点で分析する。分析の結果，そ れぞれの工学的手法のみで表現できる話題遷移が存在する可能性が示唆された。

## 1 はじめに

大規模な事前学習済みモデルの利用などにより，雑談対話システムは，人間と同等レベルの自然な応答を生成できるようになってきている $[1,2,3,4]$. しかしながら, 現在のシステムは，与えられた対話文脈に対して適切な応答を返すことだけに着目 し，システム側が能動的に対話を主導する振る舞 いをすることは少ない．そのため，対話システム が能動的に対話を主導する能力を実現することを 目的とした研究が盛んにおこなわれるようになっ た $[5,6,7,8,9,10,11]$. 能動的に対話を主導する能力を実現するうえで，対話システムが自然に話題を 遷移させる行為は重要な要素であると考えられる。先行研究では, ある話題から別の話題に遷移させる 際に，さまざまな手法を用いて遷移先の話題を決定 している。代表的なものとして，ある話題からその 話題を表す単語分散表現とのコサイン類似度が高い 話題へ遷移させる手法 $[5,6]$, ある話題から，その 話題を表現する概念が知識グラフ上で数ホップの エッジで隣接している概念へ話題を遷移させる手法 $[8,9,12,13,14]$ などが存在する.

本研究では，これらの手法と人間が実際の対話の なかでおこなう話題遷移との関係性を明らかにす
るために，これらの工学的手法を「人がおこなう話題遷移のモデルとなっているか」という観点で分析 する．具体的には，与えられた話題遷移が人が実際 に対話でおこなう自然な話題遷移であるか，そうで ないかを判定する二值分類タスクを提案する。さら に，実験では前述の代表的な工学的手法について，提案するタスクを用いて分析をおこない，各手法の 特性について調査する. 分析の結果，それぞれの手法のみで表現できる話題遷移が存在する可能性が示唆された。このような分析により各工学的手法と人 の話題遷移との関係性が明らかになれば，人の話題遷移に関する新たな知見となるだけでなく，対話シ ステムにおいて話題遷移を表現する既存手法の改良 や新規手法の考案にもつながると考えている.

## 2 関連研究

話題遷移の表現 ある話題から別の話題へ遷移さ せる行為は，人同士の対話の中でもしばしばおこな われる重要な対話行為であり，このような振る舞い を対話システムで実現することは対話システムが能動的に対話を主導する能力を実現するうえで重要で ある．Tang らは話題間の繋がりを表現する際，単語分散表現のコサイン類似度を繋がりの自然さの指標 として用いている [5]. 一方，Zhou らは ConceptNet 上の概念間の隣接関係を話題の繋がりを表現する際 に用いている [13]. また，坂田らは Wikipedia の文書内のハイパーリンク情報を話題の繋がりを表現す る際に用いている [11]. その他にも，山内らは Web 検索により取得したヒット件数の情報を用いてい る [12]. このように先行研究ではさまざまな手法で 話題遷移を表現しているが，これらの手法が人間が おこなう話題遷移をモデリングするかという観点で 手法間の比較はなされていない。本研究ではこの観点で手法間の比較をおこなう．特に本論文では一歩目として，主要な手法である単語分散表現と知識グ ラフを用いた手法を比較する。

図 1 分析タスクの概要. 図における○は「遷移可」，×は「遷移不可」を示す.

話題遷移の検出 対話における話題遷移に着目し た研究の一つに，話題遷移の検出に関する研究があ る. 谷津らは日本語の自由対話データに対し, 話題遷移箇所へのラベル付与をおこない，対話における ラベル位置の分析をおこなっている [15]. また, Xie らは対話において話題が遷移している箇所のアノ テーションを付与した TIAGE というデータセット を構築し，話題遷移箇所の検出タスクなどを提案し ている [16]. また Soni らは，話題遷移検出だけでな く, 既存の対話コーパスに基づいて話題の遷移回数 と対話の長さの関係などを分析している [17]. これ らの研究では主に話題が遷移するタイミングに着目 している。一方で本研究では遷移する話題の内容に 着目し，人間が対話のなかでおこなう話題遷移を既存の工学的手法がモデリングするか分析する.

## 3 分析方法

本節では，話題遷移を表現する工学的手法が「人 の話題遷移のモデルとなっているか」を分析するた めの分析方法について述べる.

## 3.1 タスク定義

本研究では，ある手法が人の話題遷移をモデリン グするならば，人間同士の対話において実際に発生 している自然な話題遷移と，人がおこなわないよう な不自然な話題遷移を適切に識別可能であると考 え，この識別をおこなう二値分類タスクを設計す る. 図 1 にタスクの概要を示す. 二つの話題 $a, b$ が 与えられた時, 話題 $a$ から話題 $b$ への話題遷移が自然であるならば「遷移可」, 不自然であるならば「遷移不可」のラベルを付与する。ここで話題は，人間 がおこなった対話における 1 発話に含まれる話題語 の集合と定義する。それらを対話ごとに時系列順に 並べ，隣接する話題ぺアを正例，つまり正解ラベル として「遷移可」を付与する。また，同一対話内で あるかに関わらず無作為に抽出したぺアを負例，つ まり正解ラベルとして「遷移不可」を付与する。こ のような二値分類タスクを各工学的手法で実施する ことで，後述する F1 值などの定量的な評価値を用 いた比較，分析が可能になると考える.

## 3.2 評価方法

評価指標としては，各手法が「遷移可」と判定し た事例のうち実際に「遷移可」のラベルが付与され た事例である割合の適合率，「遷移可」のラベルが 付与された事例のうち，各手法が「遷移可」と判定 できた割合の再現率，その調和平均である $\mathrm{F} 1$ 値を 使用する.

## 4 実験

3節で述べた二値分類タスクを用いて，主要な工学的手法を「人の話題遷移のモデルとなっている か」という観点で分析する。

## 4.1 データセット

ここでは分析で使用する二值分類タスクのデー タセット，つまり話題 $a, b$ の作成方法，および正解 ラベルの付与方法について述べる. 名大会話コーパ ス [18] から無作為に抽出した 50 対話について，各発話を形態素解析器 MeCab [19] を用いて形態素解
表 1 抽出された話題の例. 下線は形態素解析で名詞と判定された単語を表す.

表 2 作成した二値分類タスクデータセットの例.

析し，話題語を抽出する。3 節で述べたように，こ のようにして抽出された話題語の集合を話題と呼 ぶ. 話題語は形態素解析で名詞と判定された単語 のうち, 2 文字以上かつ 2022 年 8 月時点で日本語 Wikipedia の見出し語となっている単語とした. 実際に抽出された話題の例を表 1 に示す. 用意した話題について，3節で述べたような基準に従い「遷移可」，「遷移不可」のラベルを付与した. このような 手続き1)により，最終的に「遷移可」の事例 15,926 個，「遷移不可」の事例 15,723 個を分析用データ セットとして得た. 作成したデータセットの例を 表 2 に示す.

## 4.2 比較手法

本研究では，先行研究において対話における話題遷移を表現するために広く利用されている単語分散表現，知識グラフを用いた手法の二つを比較，分析 する。

単語分散表現 ある話題とそれに続く話題の繋 がりの自然さを話題間の単語分散表現の類似度 で表現する手法である。単語分散表現には日本語 Wikipedia エンティティベクトル [20]を使用した.話題 $a$ に含まれる話題語集合と話題 $b$ に含まれる話題語集合について，全ての組み合わせについて分散表現のコサイン類似度を計算し，そのうち一組でも コサイン類似度が閾値 $n$ 以上である組が存在すれば 「遷移可」，一組も存在しなければ「遷移不可」とラ ベルを付与することとした. 閾値 $n$ として， 0.6,0.4 を用いた。


知識グラフ ある話題とそれに続く話題の繋がり の自然さを話題間が知識グラフ上で何ホップのエッ ジで隣接しているかで表現する手法である. 知識グ ラフには ConceptNet5 [21] を使用した. 話題 $a$ に含 まれる話題語集合と話題 $b$ に含まれる話題語集合に ついて, 全ての組み合わせについて知識グラフ上の 概念間が何ホップのエッジで隣接しているかを計算 し, そのうち一組でも $m$ ホップ以内のエッジで隣接 している組が存在すれば「遷移可」, 一組も存在し なければ「遷移不可」とラベルを付与した．閾値 $m$ として，1,2を用いた。

## 4.3 実験結果

実験結果を表 3 に示す. 表から，単語分散表現の 判定基準「話題語のコサイン類似度 0.4 以上」が最 も F1 値が高いことが確認できる.このことから，単語分散表現を用いた手法は少なくとも名大会話 コーパス上で発生するような話題遷移については,知識グラフを用いた手法よりもより高性能なモデル となっている可能性が示唆された.

また，「遷移可」のラベルを付与した事例 15,926 個の各手法における判定結果を調査したところ，単語分散表現のみで「遷移可」と正しく判定できた事例が $16 \%$ ，知識グラフのみで「遷移可」と正しく判定できた事例が $10 \%$ 存在することがわかった ${ }^{2}$. こ のことから，それぞれの手法のみで表現できるよう な話題遷移が存在する可能性が示唆される。表 4 お よび表 5 に，実際にそれぞれの手法のみで正解でき た事例を示す。このような話題遷移の定性的な特徴 に関する分析は今後の課題としたい。

## 5 タスクの信頼性

実験で作成した二値分類タスクのデータセットを 定性的に確認したところ，本タスクの信頼性をさら に高められる方向性を大きく二つ確認した.

2） 単語分散表現の閾値は 0.4 , 知識グラフの閾値は 2 とした ときの結果について調査したものである。なお，両手法で 「遷移可」と正しく判定できた事例は $40 \%$ ，両手法で誤った 判定をしていた事例は $34 \%$ であった.
表 3 実験結果.

表 4 単語分散表現のみで「遷移可」と正しく判定でき た例。

表 5 知識グラフのみで「遷移可」と正しく判定できた例.

話題の抽出方法 表 1 の 3 の例には，抽出した話題語集合のなかに「とき」という単語が含まれてい る.しかしながら，このような単語が対話における 話題を表すような話題語として適切かどうかは議論 の余地があると考える. 今後の展望として, 言語学的知見も参考に話題語の定義について調査するとと もに，上記のような話題語が抽出されないような方法を検討していく必要があると考える. 方法のひと つとして，TF-IDF などといった情報量的な観点を 導入し，それに基づいた抽出をおこなうなどが考え られる。

負例の作成方法 表 2 の 5 の例は「遷移不可」の ラベルが付与されているが，話題 $a, b$ はどちらも食 べ物に関する話題であり，人間同士の対話のなかで も自然に遷移する可能性があると考えられる. 本研究では「遷移不可」のラベルを付与するデータセッ トを作成する際に無作為に抽出した話題を用いてい るため，この例のように自然な話題遷移も「遷移不可」とラベルが付与されてしまう可能性がある. し
たがって，このような事例を除去する方法や，この ような事例を未然に防ぐようなデータセット作成方法について検討していく必要があると考える．この ような課題は本研究で設計したタスク以外でも発生するものであり, 同様の課題に対処するような研究 [22] の知見が参考になると考えられる.

## 6 おわりに

本研究では，対話における話題遷移を表現する工学的手法を「人がおこなう話題遷移のモデルとなっ ているか」という観点で分析するために，与えられ た話題遷移が人が実際に対話でおこなう自然な話題遷移であるかどうかを判定する二値分類タスクを 設計した. さらに，実験では主要な話題遷移の表現手法である単語分散表現，知識グラフを用いた手法 について，設計したタスクを解くことで分析をおこ なった. 実験の結果，それぞれの手法のみで表現で きる話題遷移が存在する可能性が示唆された.

本研究では主要な話題遷移の表現手法として単語分散表現，知識グラフを用いた手法について分析し たが，話題遷移を表現する手法はこの他にもいくつ か存在する。したがって，こうした手法も追加し網羅的な分析をおこなうことが今後の課題の一つで ある。また，人間同士の対話においては，しばしば 「ところで」や「そういえば」のような話題転換語 を用いた話題遷移も発生する。したがって，これら の話題転換語の使用と絡めた分析をおこなうことも 今後の課題の一つである. さらに，本研究では人間 が実際におこなった自然な話題遷移として名大会話 コーパスを使用したが，より網羅的に人間の話題遷移を扱うため，また，対話コーパスごとの特性と絡 めた分析をおこなうためにその他の対話コーパスを 用いることも今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP22K17943, JP21J22383, JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたも のです.

## 参考文献

[1] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a Human-like Open-Domain Chatbot. In arXiv:2001.09977, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B. Dolan. DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation. In Proceedings of ACL, pp. 270-278, 2020.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for Building an Open-Domain Chatbot. In Proceedings of EACL, pp. 300-325, 2021.

[4] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, Morteza Behrooz, William Ngan, Spencer Poff, Naman Goyal, Arthur Szlam, Y-Lan Boureau, Melanie Kambadur, and Jason Weston. BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage. In arXiv:2208.03188, 2022 .

[5] Jianheng Tang, Tiancheng Zhao, Chenyan Xiong, Xiaodan Liang, Eric Xing, and Zhiting Hu. Target-Guided Open-Domain Conversation. In Proceedings of ACL, pp. 5624-5634, 2019.

[6] Jinghui Qin, Zheng Ye, Jianheng Tang, and Xiaodan Liang. Dynamic Knowledge Routing Network for Target-Guided Open-Domain Conversation. In Proceedings of AAAI, pp. 8657-8664, 2020.

[7] Peixiang Zhong, Yong Liu, Hao Wang, and Chunyan Miao. Keyword-Guided Neural Conversational Model. In Proceedings of AAAI, pp. 14568-14576, 2021.

[8] Yosuke Kishinami, Reina Akama, Shiki Sato, Ryoko Tokuhisa, Jun Suzuki, and Kentaro Inui. Target-Guided Open-Domain Conversation Planning. In Proceedings of COLING, pp. 660-668, 2022.

[9] Zhitong Yang, Bo Wang, Jinfeng Zhou, Yue Tan, Dongming Zhao, Kun Huang, Ruifang He, and Yuexian Hou. TopKG: Target-oriented Dialog via Global Planning on Knowledge Graph. In Proceedings of COLING, pp. 745755, 2022.

[10] Wenquan Wu, Zhen Guo, Xiangyang Zhou, Hua Wu, Xiyuan Zhang, Rongzhong Lian, and Haifeng Wang. Proactive Human-Machine Conversation with Explicit Conversation Goal. In Proceedings of ACL, pp. 37943804, 2019.
[11] 坂田亘, 吉越卓見, 田中リベカ, 黒橋禎夫. Wikipedia のリンク情報に基づく話題遷移シナリオの自動生成. 言語処理学会年次大会発表論文集, pp. 637-641, 2021.

[12] 山内祐輝, Graham Neubig, Sakriani Sakti, 戸田智基, 中村哲. 対話システムにおける用語間の関係性を用 いた話題誘導応答文生成. 人工知能学会論文誌, Vol. 29, No. 1, pp. 80-89, 2014.

[13] Kun Zhou, Yuanhang Zhou, Wayne Xin Zhao, Xiaoke Wang, and Ji-Rong Wen. Towards Topic-Guided Conversational Recommender System. In Proceedings of COLING, pp. 4128-4139, 2020.

[14] Karin Sevegnani, David M. Howcroft, Ioannis Konstas, and Verena Rieser. OTTers: One-turn Topic Transitions for Open-Domain Dialogue. In Proceedings of ACLIJCNLP, pp. 2492-2504, 2021.

[15] 谷津元樹, ジェプカラファウ, 荒木健治. 自由対話か らの話題遷移検出のためのタグ付け調査. 言語処理学会年次大会発表論文集, pp. 236-239, 2014.

[16] Huiyuan Xie, Zhenghao Liu, Chenyan Xiong, Zhiyuan Liu, and Ann Copestake. TIAGE: A Benchmark for TopicShift Aware Dialog Modeling. In Findings of EMNLP, pp. 1684-1690, 2021.

[17] Mayank Soni, Brendan Spillane, Emer Gilmartin, Christian Saam, Benjamin R. Cowan, and Vincent Wade. An Empirical Study of Topic Transition in Dialogue. In arXiv:2111.14188, 2021.

[18] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written Japanese in contrast: exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[19] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of EMNLP, pp. 230237, 2004.

[20] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎 . Wikipedia 記事に対する拡張固有表現ラベルの 多重付与. 言語処理学会年次大会発表論文集, pp. 797-800, 2016.

[21] Robyn Speer, Joshua Chin, and Catherine Havasi. ConceptNet 5.5: An Open Multilingual Graph of General Knowledge. In Proceedings of AAAI, pp. 4444-4451, 2017.

[22] Shiki Sato, Reina Akama, Hiroki Ouchi, Jun Suzuki, and Kentaro Inui. Evaluating Dialogue Generation Systems via Response Selection. In Proceedings of ACL, pp. 593-599, 2020.

## A 両手法で正解・不正解の事例

表 6 に正解ラベルが「遷移可」である事例のうち，単語分散表現, 知識グラフの両手法で「遷移可」と 正しく判定できた例を示す. また，表 7 に正解ラべ ルが「遷移可」である事例のうち，単語分散表現，知識グラフの両手法で「遷移不可」と誤って判定さ れた例を示す.

表 6 単語分散表現，知識グラフの両手法で「遷移可」と 正しく判定できた例.

表 7 単語分散表現, 知識グラフの両手法で「遷移不可」 と誤って判定された例.これらの事例の正解は「遷移可」 である.


 岸波洋介 ${ }^{1}$ 赤間怜奈 1,2 佐藤志貴 1 徳久良子 ${ }^{1}$ 鈴木潤 1,2 乾健太郎 1,2 1 東北大学 2 理化学研究所 yosuke.kishinami.q8@dc.tohoku.ac.jp \{akama, shiki.sato.d1, tokuhisa, jun.suzuki,kentaro.inui\}@tohoku.ac.jp  