# 感想付きニュース雑談対話コーパスの構築

成田風香 1 佐藤志貴 1 徳久良子 1 乾健太郎 1,2
1 東北大学 2 理化学研究所
fuka.narita.q1@dc. tohoku.ac.jp
\{shiki.sato.d1, tokuhisa, kentaro.inui\}@tohoku.ac.jp

## 概要

本研究では, 日々の話題についてユーザと雑談す る対話システムの実現を目指している. 雑談対話 システム構築に向けて, 本稿では（ニュース記事， ニュース記事に対するツイート，ニュース記事につ いての雑談対話）の三つ組からなる感想付きニュー ス雑談コーパスを構築した. 本コーパスの特徵は,話者の雑談に加えて, 雑談の話題となるニュース と，それに対するツイートがセットになっている点 にある。なお，対話収集システムおよび感想付き ニュース雑談コーパスは, githubで公開している1).

## 1 はじめに

人間同士の雑談では，感想を述べる発話が対話の 盛り上がりに寄与することが知られている [1]. ま た近年では，ニューラルネットワークにより流暢な 文の生成が可能になり, 感情を表現する雑談対話 システム [2] や人の感情に共感する傾聴対話システ ム $[3,4,5]$ も提案されている. 一方で, 任意の話題に 適切かつ人間らしい感想を生成できるほど技術が熟 していないため, 適切でない感情応答を生成した場合に倫理面や安全性の観点で問題がおきる可能性が あることも指摘されている $[6,7]$.

上記の問題に配慮しつつ人間らしい感想を表出す るシステムの実現方法の一つとして，対象の話題に 対する第三者の人間の感想の利用が考えられる.つ まり，対話の話題に関する第三者の感想を入力し，状況に応じて適切な第三者の感想を選択して応答生成に利用する，図1のようなシステムが考えられ る.こうしたシステムを学習するためには, 話題に 対する第三者の感想を与えられた話者が，それらを 適宜利用しながら発話する対話コーパスが必要とな る.しかし,このような対話コーパスは現状構築さ れていない.

1) www.github.com/fukanarita/newschat-with-impression表 1 感想付きニュース雑談コーパスの例.

## ニュース記事 : スプリンクラー作動で楽器被害

スプリンクラーが突然作動し、舞台上の楽器が水を かぶる被害が生じた

## 提示したツイート

$\mathrm{T} 1$ : 市が補償した方がいい

T2：さすがにこれはなあ...

T3：一億とかかかる？大丈夫？

T4：ちゃんと原因究明してほしい

対話（S: システム役の発話， $\mathrm{U}$ ：ユーザ役の発話）

S1:[] 「市民文化センター大ホールでスプリンクラー 作動でオーケストラの楽器ずぶぬれ 被害額は数億円か」というニュースです.

U2: すみません. そのニュースは知りませんでした. もう少し詳しく教えて下さい.

S3: [] 9 月 24 日午後 1 時ごろ，楽団が，市民文化セン ター大ホールでスプリンクラーが誤作動し, 楽器 ずぶぬれになりました.

U4: そうなんですね. 被害額が数億円とは驚きです. ところで, スプリンクラー作動の原因は何だった のでしょうか.

（中略）

U6: 被害額の数億円の保証はどうなるのでしょうね.楽団が保険に入っていればいいんですけど. その 辺の情報はありますか.

S7: [T1,T2] 副市長からお見舞いの電話がありました が，市から被害の確認や今後の対応についての説明は受けていないようです.「市が補償した方がい い」や「さすがにこれはなあ...」などの意見が出て いますね.

U8: そうなんですか. まっ，いつものことですが，外野 は言いたいことを言っているようですね. 最近は クラウドファンディングで資金を集めるといった 方法もありますので，検討してみたらいいですね.

S9: [T3]「一億とかかかる？大丈夫？」という意見どお りならクラウドファンディングでも厳しいですね.

本稿では対話システムが人間の感想を適宜利用す ることで自然かつ盛り上がる対話を行う一例とし て, Akasaki ら [8] と同様にニュースを利用し, さら に人間の感想として当該ニュースに対するツイート を用いて対話し，コーパスを収集した（表 1)2)。具

2） ツイートはコーパスではツイート ID のみ記載，便宜上こ

図 1 第三者の感想を利用する雑談対話システム.

体的には，まず，話者がニュースとそれに対するツ イートを参照しながら対話をするための対話収集シ ステムを構築する。そのうえで，構築した対話収集 システムを用いて感想付きニュース雑談コーパスを 構築する. さらに，構築したコーパスを分析するこ とで，話題に対するツイートの利用が対話の盛り上 がりに寄与するかどうかを分析する.

## 2 感想付きニュース雑談コーパス

## 2.1 概要

本研究で構築した感想付きニュース雑談コーパ スは，システム役の話者がニュースに対するツイー 卜を第三者の感想として利用しながら，ニュースに ついてユーザ役の話者と話す対話を収録したもの である。人による自然で理想的な対話を収集するた め，対話システムによる発話生成は行わず，Wizard of Oz（WOZ）方式によって人間に対話をさせコー パスを構築した。

本コーパスは，JSON Lines 形式で一対話一行とし て記述されており，それぞれの対話は，

・対話の話題となったニュース記事の URL

・システム役に提示したツイートのツイート ID

・システム役とユーザ役の二者の発話

からなる。

## 2.2 コーパスの構築

本コーパスの構築手順は次の通りである：

1. 対話収集システムの改変

2. 使用するニュースとツイートの選定

3. 対話収集

## 2.2.1 対話収集システムの改変

対話収集システムは児玉ら [9] のシステムを元に 機能を拡張することで構築した。主な改変点は以下 の通りである:

・システム役が教示（2.2.3 節）を熟読してから ユーザ役とマッチングできるよう，チャット ルームに到達する前にシステム役とユーザ役が 開くページを分離

・システム役の教示のページとチャットルームの ページにはニュースとツイート（ページ上では 「世間のコメント」と記載）を表示

・表示するニュースとツイートは，順にマッチン グするワーカー一組ごとに変更

・それぞれの発話で使用したツイートに，システ ム役がチェックを入れて記録できる機能を追加

## 2.2.2 使用するニュースとツイートの選定

ニュース記事の選択システム役が自然な感想を 選択して発話できるよう，ニュース記事一つに対し て感想や意見を含むツイートが 15 個以上集まって いるニュースを選択した3)．また，話者ができるだ けタイムリーな話題について自然に対話できるよ う，対話収集の直近 4 ヶ月を目安に記事を収集した。 ただし，東中が述べているように [10]，対話システ ムの発言内容には倫理的観点から注意する必要が あり，組織の利益を損ねるような話題や政治などの 議論を呼ぶ話題は避ける方が望ましい。我々は，本 コーパスを将来的に対話システムの構築に利用した いと考えている。そこで，コーパス収集においても 特定の個人や団体が非難されるような話題や政治 の話題は除外した. また，成田ら [11] より訃報は対話者が気を遣うと報告されていたため除外した。こ れらの結果選択したニュースは, 長さ $2 \mathrm{~cm}$ の細菌発見，スプリンクラーの誤作動による楽器の被害，屋根裏から古いノミ発見などの話題の全 16 記事と なった。

提示するツイートの選択 一つの記事を引用する ツイートは多いもので 150 以上あるが，できるだけ スムーズにツイートを対話に利用できるよう，具体的な感想が述べられている 16 文字以上のツイート を 10 から 15 ツイート程度, 記事ごとに選択した。


クラウドソーシングサイト

(5) クラウドンーシングサイトにチャ゙トIDをスカし、クラウドソーシングタスク終了

図 2 対話の収集の流れ。

## 2.2.3 対話収集

対話収集の流れは図 2 の通りである.まず， Yahoo!クラウドソーシング4)にシステム役のタスク とユーザ役のタスクをそれぞれ投稿し，対話参加者 はどちらかのタスクを選択する（図2の（1）．シ ステム役とユーザ役の話者はそれぞれ異なる URL から対話収集システムにアクセスし，教示を熟読 した後（図 2 の（2），1 対 1 で対話を行う（図 2 の (3)). 対話収集の際はシステムから話題を提供する ものとし，システム役にのみ対話開始前にニュース 記事とそのニュース記事を引用したツイートを提示した. また, 児玉ら [9] に倣って，一発話ずっ発話者が交互に変わる形式で対話を進行させた ${ }^{5)}$. 対話中，システム役には与えたツイートを適宜使いな がら発話させた. なお，自然な対話を行わせるた め，ツイート中の表現を自由に変えたうえで発話に 取り入れることを許容した。一方でユーザ役には， Dinan ら [12]に倣い，好奇心旺盛な人という設定で システム役の話に興味を持って対話を進めるよう に教示した. システム役とユーザ役の発話の合計 が 11 発話以上になると終了ボタンが表示され, 任意のタイミングで双方が対話を終了できる. 対話後 には，「チャット ID」を対話収集システムに表示し (図2の(4)), Yahoo!クラウドソーシングタスクに 入力させ（図 2 の (5)），ワーカー自身のIDとその チャット ID が付与された対話を結びつけて対話内容を確認し，ホワイトリストを作成した。


ホワイトリスト作成後は，役割ごとのタスクの所要時間を考慮し，システム役には 300 円，ユーザ役 には 225 円報酬として支払った。

## 2.3 基本統計

本研究で構築したコーパスは，極端に不適切な発話をするワーカーを除いた一般のワーカーに依頼し て収集した感想付きニュース雑談コーパス v1（v1 と呼ぶ）と，v1 の収集で教示に適切に対応したワー カーのみに依頼を絞り収集した感想付きニュース雑談コーパス v2（v2 と呼ぶ）の二つからなる. 感想付きニュース雑談コーパス v1 と v2 の基本統計情報 を表 2 に示す. 表 2 に示す通り，一対話あたりの発話数は平均で 11.3 発話であった. また, 一発話あた りに使用されたツイート数は平均で 2.5 ツイートで あった. 今回の収集では, システム役の話者が発話 に使用したツイートにチェックを入れて記録したた め，ツイートを使用した発話でもチェックをし忘れ ている場合も観察された. 今後，データを整備する 予定である. 今後データを整える必要がある.

## 3 分析：ツイート使用の有効性

本コーパスの特徴の一つは，対話の話題に加えて 関連するツイートをシステム役に与えて対話に利用させたことである. この情報を与えたことや対話 の進め方が，対話の自然さや盛り上がりに寄与する かどうかを分析した. 具体的には, 表 2 の対話収集 のうち一部の対話収集において, 対話終了後にワー カー自身に対話の盛り上がりを評価させた. 結果を 図 3 に示す. 1 は「まったく盛り上がらなかった」,
表 2 対話データの基本統計情報.

 &  &  &  \\

$\mathrm{~V} 2$ & 213 & 2395 & 11.2 & 13.0 & 206 & 2.9 \\

ロシステム役による評価ロユーザ役による評価

図 3 対話参加者による盛り上がりの評価.

7 は「とても盛り上がった」を意味しており，数字 が大きいほど盛り上がりを感じたことを示してい る. 図 3 の結果から，中央の評価である 4 点よりも 高いスコアに回答が集中していることがわかる.こ のことから，今後ツイートを使用しなかった場合と 比較する必要はあるが，ツイートを利用した今回の 対話収集では，話者はある程度の対話の盛り上がり を感じていたことが示唆された。

その一因は表 3 の対話例に表れていると分析し た.この対話においては U2 の発話で対話が終わっ てしまう可能性も十分あったと考えられるが，S3で ツイート内容を伝えることで，その後の対話につな がっている. 具体的には，ツイートでされている問 いかけについてユーザに考えさせることで対話の発展につながった.

このことから，本コーパスを利用して，第三者の 感想を適切に用いて応答を生成可能なシステムを構築することで，より盛り上がる対話を実現できる可能性がある.

## 4 おわりに

発話の安全性や倫理面を考慮しながら，感想を含 めて対話をする雑談対話システムを実現する方法 の一つとして，話題に対する第三者の感想を利用す ることが考えられる。本稿では，こうしたシステム の構築に有用な対話コーパスとして，対話参加者が表 3 ツイートの使用が有効に働いたと見られる例。

ニュース記事 : 国宝の方丈の屋根裏で「ノミ」見
解体工事が行われている国宝の方丈の屋根高
00 年前のものと見られる大工道具の「ノミ」
かった
ツイート
T5 : 意図的な置き忘れだと思う、多分
T6 : こういう話は好き。興味深い
T7 : わざと置いたってこともあるかも
T8: 職人にとって高価で大切なノミをなぜ」

対話（S: システム役の発話，U：ユーザ役の発話）

S1: [] 保存修理が続く国宝の方丈の屋根裏から、約 400 年前のノミが見つかったそうです。

U2: 400 年前のノミですか? それは素晴らしい発見で すね。

S3: [T8] 職人にとって高価で大切なノミを、なぜ、こ の場所に置き忘れたんでしょうね。

U4: 確かに。おっちょこちょいな職人さんだったのか あるいは何か意味があるのでしょうか？

S5: [T5,T7] 大工さんが意図的にノミを置き忘れた可能性もありますね。

U6: 仰るように職人さんにとって相当大切なものだと 思いますので何か意味があるのかもしれないと勘 ぐってしまいました。シンプルに置き忘れの可能性もありますよね。

$
\text { （中略） }
$

U10: 本当に素晴らしいと思います。

S11: [T6] こういう話は好きです。

第三者の感想を組み込んだ対話を行う「感想付き ニュース雑談コーパス」を構築した．具体的には，話題となるニュースに対する第三者の感想として， ニュースを引用したツイートを利用させながら人同士の対話を収集した. 本コーパス中の対話を分析 した結果，ツイートの利用による感想・意見の表出 が，収集した対話の盛り上がりに寄与した可能性が あることが示唆された。

今後は，今回構築したコーパスを用いて，雑談に おいて効果的な第三者の感想の選択方法や応答生成 への利用方法を分析する. その分析結果をもとに，第三者の感想を適宜利用し対話を盛り上げることの できる雑談対話システムの構築を目指す。

## 謝辞

本研究の対話収集では京都大学・児玉貴志氏のグ ループが開発された Chat Collection Framework を改変したものを用いています. 本システムの開発者の 皆様に深謝いたします。また，Yahoo!クラウドソー シングにクラウドワーカーとしてご協力いただいた 皆様へ，深く感謝を申し上げます. 本研究の一部は JSPS 科研費 JP21J22383 の助成を受けたものです.

## 参考文献

[1] 徳久良子, 寺嶌立太. 雑談における発話のやりとり と盛り上がりの関連. 人工知能学会論文誌, Vol. 21, No. 2, pp. 133-142, 2006.

[2] Chenyang Huang, Osmar Zaïane, Amine Trabelsi, and Nouha Dziri. Automatic dialogue generation with expressed emotions. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 49-54, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] 井上昂治, ラーラーディベッシュ, 山本賢太, 中村静,高梨克也, 河原達也. アンドロイド ERICA の傾聴対話システムー人間による傾聴との比較評価-. 人工知能学会論文誌, Vol. 36, No. 5, pp. H-L51_1-12, 2021.

[4] Toyomi Meguro, Ryuichiro Higashinaka, Yasuhiro Minami, and Kohji Dohsaka. Controlling listening-oriented dialogue using partially observable Markov decision processes. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling), pp. 761-769, 2010.

[5] Toshiaki Nishio, Yuichiro Yoshikawa, Takamasa Iio, Mariko Chiba, Taichi Asami, Yoshinori Isoda, and Hiroshi Ishiguro. Actively listening twin robots for long-duration conversation with the elderly. ROBOMECH Journal, Vol. 8, , 2021.

[6] Dian Yu and Kenji Sagae. Automatically exposing problems with neural dialog models. CoRR, Vol. abs/2109.06950, , 2021.

[7] Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, and Emily Dinan. Recipes for safety in open-domain chatbots. CoRR, Vol. abs/2010.07079, , 2020.

[8] Satoshi Akasaki and Nobuhiro Kaji. Conversation initiation by diverse news contents introduction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), Volume 1 (Long and Short Papers), pp. 39883998, 2019.

[9] 児玉貴志, Frederic Bergeron, 新隼人, 田中リべカ, 坂田亘, 黒橋禎夫. クラウドソーシングで利用可能な日本語対話収集基盤. 言語処理学会 第 27 回年次大会, pp. 859-863, 2021.

[10] 東中竜一郎. 対話システムと倫理. 人工知能, Vol. 31,
No. 5, pp. 626-627, 2016.

[11] 成田風香, 佐藤志貴, 徳久良子, 乾健太郎. 話題提供雑談システムにおける感情と意見の表出方法の検討.言語処理学会 第 28 回年次大会, pp. 1078-1083, 2022.

[12] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. CoRR, Vol. abs/1811.01241, , 2018.
 成田風香 1 佐藤志貴 1 徳久良子 1 乾健太郎 1,2 1 東北大学 2 理化学研究所 fuka.narita.q1@dc. tohoku.ac.jp \{shiki.sato.d1, tokuhisa, kentaro.inui\}@tohoku.ac.jp  