# 話題提供雑談システムにおける感情と意見の表出方法の検討

成田風香 ${ }^{1}$ 佐藤志貴 ${ }^{1}$ 徳久良子 ${ }^{1}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
fuka.narita.q1@dc. tohoku.ac.jp

## 概要

本研究では，システムが話題を提供し雑談を主導 する話題提供雑談システムに焦点をあてる. 人と人 との雑談では感情や意見を述べることで対話が盛り 上がるとされるが，感情や意見を持たない対話シス テムがどのようにそれらを表出して話題を提供すべ きかは自明でない. 本稿では，システムがニュース に基づく話題提供を行う対話を対象に，システムの 話題提供発話における感情や意見の表出形態と対話 の盛り上がりの関係を調べる枠組みを提案する。ま た，提案法に沿って小規模に対話を収集・評価し，提案手法の有用性と課題を確認した。

## 1 はじめに

近年，ニューラルネットワークによる応答生成が 盛んに研究され，傾聴対話システム $[1,2,3]$ や QA システム $[4,5,6]$ など，ユーザ発話に対する応答を 生成するシステムの性能は高いものとなってきた。 しかし，システムがイニシアチブを持ち，対話を主導するような雑談システムについてはいまだ萌芽的 な状態にある $[7,8]$. 本研究では，システム自身が 話題を提供しながら雑談を主導する雑談システム （以下，話題提供雑談システム）の実現を目指す。

雑談はタスク指向型対話と異なり，その対話自体 で話者の満足度を上げることが目的であるため，話題提供雑談システムもできるだけ対話を盛り上げて ユーザを満足させることが望まれる。Akasaki らは， システムによるユーザを飽きさせないような話題提供を目的として，ニュース記事の要約とそれを踏ま えた意見や問いかけからなる話題提供発話の生成 に着目した [9]. Akasaki らの提案する枠組みでは， ニュース記事に対するリプライツイートを学習デー タとして，ニュース記事を踏まえた意見や問いかけ の生成をシステムに学習させる．そのため，システ ムが自分自身の意見を有しているような発話を生成 することで話題を提供することになる。人と人との

図 1 ニュース記事を対象とした話題提供雑談システム

雑談では，このように感情や意見を述べる発話が盛 り上がりに寄与することが知られている [10]. しか し，そもそも人とは異なり感情や意見を持たない雑談システムが感情や意見を表出することで，ユーザ が満足する雑談ができるのか，それらを表出する場合はどのように表出すればユーザがより満足する雑談ができるのかは自明でない。

そこで我々は，多様な話題を提供しながら雑談を 盛り上げる話題提供雑談システムのひとつの実現形態である「ニュース記事に関する話題提供雑談シ ステム」を対象に，雑談におけるシステムの効果的な感情や意見の表出形態を調査する枠組みを提案する。提案法では，ニュース記事とそれに対す る感情や意見を含むツイートからなる資料をもと に，Wizard of $\mathrm{Oz}(\mathrm{WOZ})$ 方式で人間同士に対話をさ せる. システム役による資料中のツイート情報の使 い方とユーザ役の対話に対する評価結果の関係から 効果的な感情や意見の表出形態を調査する. 本稿で は，まずニュース記事に関する話題提供雑談システ ムへの，ツイートを活用した感情や意見付与の実現可能性を調査する．そのうえで，提案法に沿って小規模に対話を収集および評価し，提案法の有用性を 確認する。将来的には図 1 に示すような話題提供雑談システムの実現に向け，提案法を用いた大規模実験を行い，感情や意見の表出に関しシステムに望ま れる発話内容・発話形態を明らかにする。

2021年11月11日

図 2 一日あたりの一記事に対するツイート数

## 2 感情・意見付与の実現可能性調査

ニュース記事に関する話題提供雑談システムが感情や意見を表出するためには，システムがニュース 記事の内容を理解して応答を生成する必要がある. しかし，多様なニュース記事に関して適切な感情や 意見を表出することはシステムにとって簡単ではな い.そこで我々は，ニュース記事に対するツイート を活用した感情や意見を伴う応答生成に着目する.図 1 は，ニュース記事とそれに対するツイートを活用した話題提供雑談システムの模式図である. 仮に 対話に利用するツイートを適切に選択できれば，図 1のようにシステムとユーザが互いに意見を交える 対話が実現できると考えられるが，実現にはニュー ス記事に対する感情や意見を表出したツイートが一定数必要となる. そこで, ニュース記事に対する感情や意見を含むツイートがどの程度収集可能かを調査した1).

調査結果を図 2 亿示す. 図 2 から，感情や意見を 含むツイートが数十件以上なされたニュース記事が 毎日安定して得られる見込みがあり，ツイートを活用して感情や意見を表出する発話を生成することは 実現可能と考えられる。

## 3 提案する調査の枠組み

感情や意見をどのように表出すればユーザが満足 する雑談を実現可能かを検討するために，WOZ 方式の対話に基づく調査の枠組みを提案する. 提案す る枠組みは，1. システム役に提示する資料の作成， 2. システム役・ユーザ役による対話，3.ユーザ役に


表 1 システム役の最初の発話の例

よる対話の評価からなる。

## 3.1 システム役に提示する資料の作成

システム役が 3.2 節で述べる条件に従って感情や 意見を含む話題提供を行うため，(ニュース記事，最初の発話，感情や意見を含むツイート）の三つ組 からなる資料を対話収集者が作成する。

ニュース記事の選択 対話において多様な意見 を表出できるようにするため，ツイート数が多い ニュース記事を選択する。

最初の発話の作成 選択したニュース記事に関し てスムーズに話題提供雑談を開始できるように，シ ステム役の最初の発話は 3.2 節に示す 3 条件に合わ せてあらかじめ作成する. 作成例を表 1 に示す.

ツイートの選択選択したニュース記事に対する 感情や意見を述べたツイートから内容が重複しない ものを選択する2).

## 3.2 システム役とユーザ役による対話

二人一組のペアが WOZ 方式により雑談を行う.

システム役に対する教示 システム役は，以下の 3 条件のいずれか一つに従って対話をする。

・事実のみ条件 システムが感情や意見を持たな いことを反映し，感情や意見は表出せずニュー ス記事とそれに関連する事実のみを伝える

・第三者的条件 システムは自我を持たないため 自分の感情や意見として述べるよりは第三者的 に伝える方が自然である可能性を考慮し，ツ イートを用いて「○○と言っている人がいま す」のように第三者的に感情や意見を伝える

・主体的条件 システムは感情や意見を持たない が，人間を模倣してツイートを「私は○○と思

2） 以下のように内容が類似したツイートが 2 つ以上ある場合 はそのうち1つを選択して記載する。

・「うわあ…知多半島で定着か…」

・「うへえ，知多半島にまさかまさかの定着確認か.」

います」のようにシステム自身の意見や感情と して伝える

システム役には 3.1 節の資料を見せ，資料に記載さ れた「最初の発話」の発話後は，指定された条件に 従ってできるだけ自然にユーザと対話させる．対話 を自然に進められるよう，相槌や情報端末を用いた 検索結果の回答は可能だが，ツイートに基づいた発話を生成する枠組みを模倣するため，システム役自身の知識・意見を伴う発言は不可とする。また， ユーザが飽きて対話を終了させるまでの長さを調べ るため，システムから対話を終了させることは不可 とする.

ユーザ役への教示 システム役と自由に雑談する よう指示する。自然な雑談対話を収集するため，一発話目はシステムから発話されることと，対話をや めたくなったら「そろそろ対話を終了します」に類 する発話をすること以外は特に教示はしない。

## 3.3 ユーザ役による対話の評価

ユーザ役は各対話の終了時に対話を評価する。評価指標は [1]を参考に定めたものであり，『システム の発話は人間らしかった』『このシステムは話しや すい』『会話は盛り上がった』などの観点について 5 段階3) で評価する。評価指標は付録 A に記載する。

## 4 提案手法の妥当性の検証

将来的に大規模に対話を収集して分析するため，提案法に沿って小規模に対話を収集および評価し，大規模な対話収集によりどのような分析が可能かを 調べるとともに，実験設定の課題を確認する。

## 4.1 実験設定

対話に用いるニュース記事 ツイート数が 60 件以上であり，雑談に適切と思われるニュース記事4) を 3 件選んだ。ニュース記事の概要を表 2 に示す。

対話者 著者所属研究室の学生 6 人を参加者と し，システム役，ユーザ役のペア 3 組を作成した ${ }^{5)}$. 3 組のニュース記事・条件の割り当てを表 3 に示す。

アンケート 提案法の改善の参考とするため, ユーザ役が 3.3 節で述べた各対話の評価をする際，

3） 1: そう思わない・2: あまりそう思わない・3: どちらでもな い・4: そう思う・5: とてもそう思う

4）事前検討で話しにくかった政治に関する記事，人の思想を 含む記事，不快な印象を与えるツイートが多い記事は除いた。

5）話者同士の人間関係が対話に影響するのを避けるため，対話相手が誰かはわからない状態で対話を収集した。

表 3 ニュース記事・条件の割り当て

『会話は盛り上がった』という評価項目に対する評価結果の理由も記述するよう指示した. また，シス テム役に対しても対話ごとにアンケートを実施し た. アンケート項目は付録 Aに示す.

## 4.2 収集された対話および評価の分析

図 3 にユーザ評価の結果を示す. 同図から主体的条件では安定して『会話は盛り上がった』という観点の評価が高い傾向が得られた. 実際に主体的条件 で収集した対話では，表 4 に示す例のようにシステ ム自身の経験を述べる発話が確認された。同対話後 のユーザへのアンケートでは「経験談を交えていろ いろ説明してくれたから」，『会話は盛り上がった』 の項目で 5 段階中 4 と回答を得た。また，「経験談的なものを交えた会話をしてくれると(たとえそれ が嘘であっても)すごく人間味の感じられる対話に なった気がした」という回答も得られた。

一方，『会話は盛り上がった』『このシステムは話 しやすい』という観点についての評価が特に低い対話があった，事実のみ条件での対話の例を表 5 に 示す. 同対話後のアンケートでは，システム役か ら「事実のみを伝えるため，若干会話としてのつな ぎ目が荒くなりやすいなと感じた」，ユーザ役から 「対話もチグハグだったように感じた」との回答が 得られ，感想や意見を表出しない場合は不自然な対話になる傾向が見られた.ニュース記事に対してツ イートされた意見をシステムが自身の意見として伝 えることで，対話が自然で人間らしいものとなり盛 り上がる可能性がある.

小規模な対話収集による評価ではあるものの，感情や意見の表出条件に応じてユーザーの評価結果に 差が見られたことから，今後大規模に対話を集める ことで適切な感情や意見の表出形態が明らかになる
表 4 ツイートを使用して経験が述べられた対話の一部 U: すごく詳しいですね! 読んだことはあるんですか? $\mathrm{S}$ : 小説はわかりませんが，講演会で貴重なお話を 2 度聞かせていただいたことがあり，私がした質問に丁寧に答えていただきました. それをきっかけに寂聴 さんの連載は読んでいました。

U: そうなんですね! それは良い経験ですね.

図 3 ユーザによる対話評価の一部

見通しを得た。

## 4.3 大規模収集に向けての要検討点

システムのペルソナ情報 収集した対話におい て, システムの「わからない」という旨の発話後に 対話が終了に向かう例を数件確認した. その原因の 一つがペルソナ情報の欠如である．表 6 の対話で は，システムが生まれた時期を問われた直後に対話 が終了した. 本研究では, 感情や意見の表出形態に 関する 3 条件とユーザの飽きの関係の調査を目的と するため，ペルソナ情報の欠如に由来する対話の終了はノイズとなる可能性がある．対策として，シス テムに対するペルソナ情報の付与が考えられる.

話題の転換 システム役に対するアンケートでは 「引用できるツイートがニュースに関するもののみ でだったため，話題が変わった際には事実を伝える ことしかできなくなり少し話しづらさがあった.」 との回答を得た. 話題が変わって適切なツイートが 資料に無い場合はツイートを検索してもよいと教示 することで解決されると考えられる。 大規模収集で は教示を追加したうえでどの程度話題が転換される のかという点についても分析したい.

話題による話しやすさの差 今回の小規模対話収集で得たアンケートから，対話の話題による話しや すさの差が確認された。例として,「大谷選手 MVP」 についての対話では「自分が興味関心がある・普段 もこのような話題について会話する機会があったこ とも話しやすさにつながってしまった」とシステム表 5 事実のみ条件で不自然になった対話の一部

$\mathrm{U}$ : テレビなどでも見かけていた方だったので，残念で すね.

S: 作家としての活動もしており，著作は 400 冊を超え るようでした.

U: そんなに書かれていたんですね. 知りませんでした.

$\mathrm{S}$ : 新潮社同人雑誌賞や，芸術選奨文部大臣賞なども受賞しています。

U: すごいですね. 99 歳というと長生きされたんです ね.

S: 葬儀は近親者で行われるようです.

表 6 ペルソナ情報を問う質問がなされた対話の一部

$\mathrm{S}$ : そうですね，「元気に 100 歳迎えられると思ってたの でとても残念です」と言っている人もいるようです.

U: システムさんは，まだ生まれたばかりなんですか?

S: すみません，それについては分からないです.

U:そろそろ対話を終了します

役から回答があった一方で，「瀬戸内寂聴死去」に ついての対話では「訃報のため，話す内容に気を遣 うから」，『今回の話題は話しやすかった』の項目で 5 段階中 4 と回答を得た. 大規模収集時は，取り扱 う話題による話しやすさの差を考慮した分析を実施 する必要がある.

ニュース記事・ツイートの選択 小規模対話収集 を実施するにあたり，ニュース記事に対するツイー トを人手で確認した結果，記事によっては「おめで とう」など内容を含まないツイートや，拡散を目的 としたテンプレートに従ったツイートが大半を占め ることがあると判明した．そのため，ニュース記事 に対するツイート数を揃えるだけでは，記事によっ て対話に利用可能なツイート情報の量には差が生じ てしまう可能性がある. 大規模収集に向け，これら の点も考慮してニュース記事や使用ツイートを選択 する枠組みを設計する必要がある.

## 5 おわりに

本稿では「ニュース記事に関する話題提供雑談シ ステム」を対象に，雑談におけるシステムの感情や 意見の表出形態とユーザの満足度の関係を調査する 枠組みを提案した。提案法に沿って小規模に対話を 収集および評価したところ，ユーザが満足する話題提供雑談を行うためには，システムが感情や意見を システム自身のものとして組み込みながら話題を提供することが効果的であることが示唆された. 今後 は実験設定を更に改善したうえで大規模対話収集を 実施し，ユーザの満足度を向上させるシステムの感情や意見の表出形態を詳しく分析する予定である.

## 謝辞

本研究の一部は JSPS 科研費 JP19H04425, JP21J22383 の助成を受けたものです. 本研究の ため実施した実験にご協力いただいた東北大学乾研究室の皆様に感謝いたします.

## 参考文献

[1] 井上昂治, ラーラーディベッシュ, 山本賢太, 中村静,高梨克也, 河原達也. アンドロイド ERICA の傾聴対話システムー人間による傾聴との比較評価-. 人工知能学会論文誌, Vol. 36, No. 5, pp. H-L51_1-12, 2021.

[2] Toyomi Meguro, Ryuichiro Higashinaka, Yasuhiro Minami, and Kohji Dohsaka. Controlling listening-oriented dialogue using partially observable Markov decision processes. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling), pp. 761769, 2010.

[3] Toshiaki Nishio, Yuichiro Yoshikawa, Takamasa Iio, Mariko Chiba, Taichi Asami, Yoshinori Isoda, and Hiroshi Ishiguro. Actively listening twin robots for longduration conversation with the elderly. ROBOMECH Journal, Vol. 8, , 2021.

[4] Yoji Kiyota, Sadao Kurohashi, and Fuyuko Kido. "dialog navigator": A question answering system based on large text knowledge base. In Proceedings of the 19th International Conference on Computational Linguistics (COLING), 2002.

[5] Miguel Coronado, Carlos A. Iglesias, and Alberto Mardomingo. A personal agents hybrid architecture for question answering featuring social dialog. In Proceedings of the 2015 International Symposium on Innovations in Intelligent SysTems and Applications (INISTA), pp. 1-8, 2015.

[6] 吉田尚水, 岩田憲治, 渡辺奈夕子, 小林優佳, 藤村浩司. FAQ 集から自動で構築可能な QA 対話システム.人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 87, pp. 113-114, 2019.

[7] Peixiang Zhong, Yong Liu, Hao Wang, and Chunyan Miao. Keyword-guided neural conversational model. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), Vol. 35, pp. 14568-14576, 2021.

[8] 岸波洋介, 赤間怜奈, 佐藤志貴, 徳久良子, 鈴木潤, 乾健太郎. 目標指向対話のためのサブゴール設計に基 づく発話系列生成. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 70-73, 2021.

[9] Satoshi Akasaki and Nobuhiro Kaji. Conversation initiation by diverse news contents introduction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), Volume 1 (Long and Short Papers), pp. 3988-3998, 2019.

[10] 徳久良子, 寺嶌立太. 雑談における発話のやりとり と盛り上がりの関連. 人工知能学会論文誌, Vol. 21, No. 2, pp. 133-142, 2006.

## A 評価指標

ユーザ役が対話終了後に評価する評価指標の一覧を表 7 に，小規模実験実施時にシステム役に対して行っ たアンケート項目の一覧を表 8 に示す.

表 7 ユーザ役がそれぞれの対話後に回答した評価指標

1. システムの反応は人間らしかった

2. システムの反応はあなたの話を適切に促していた

3. このシステムとまた話したい

4. このシステムは話しやすい

5. システムは親身だと感じた

6. システムは真面目に話を聞いていた

7. システムは話を理解していた

8. システムは話に対する関心を示していた

9. システムはあなたに対して共感を示していた

10. システムは積極的に情報提供していた

11. 会話について満足した

12. 会話でのやりとりはスムーズだった

13. 会話は盛り上がった

表 8 システム役がそれぞれの対話後に回答したアンケートの項目

1. 今回の話題は話しやすかった

2.1.のように答えた理由を教えて下さい.

3. 今回の条件は話しやすかった

4. 3. のように答えた理由を教えて下さい.

5. 指定された条件通りに対話できましたか

6. 5. で「できなかった」と答えた方はその理由を教えて下さい

## B システムが積極的に情報提供を行うことの妥当性

4 節の図 3 から，システム役からの情報提供の積極性と対話の盛り上がりの関係は見られなかったが，ア ンケートにおいて積極的な情報提供に関するユーザの感想が得られた. 表 9 の対話後には「大谷選手につい て，「8冠」という情報が印象に残りました.」との理由で『会話は盛り上がった』の項目で 5 段階中 5 と回答 を得た。また，別の対話後のユーザの評価では「一旦会話が終了したような時でも，次の話題を提供してい た」ため『会話は盛り上がった』の項目で同様に 5 と回答を得た. これらの 2 つ評価より，システムがイ ニシアチブを持って話題提供を行うことの有用性が示唆された。

表 9 主体的条件・大谷選手MVP についての対話

U: その通りですね. 大谷選手にはこれからもぜひ活躍して欲しいです.

S: 今回の受賞で「8冠」となるので，これからも頑張ってほしいと思います.

U:「8冠」ですか！他にはどんな賞を取られてるんですか？
 成田風香 ${ }^{1}$ 佐藤志貴 ${ }^{1}$ 徳久良子 ${ }^{1}$ 乾健太郎 1,2 1 東北大学 2 理化学研究所 fuka.narita.q1@dc. tohoku.ac.jp  