# 駄酒落を含む対話における可読性と面白さの相関分析

花房竜馬 ${ }^{1}$ 荒木健治 ${ }^{2}$
${ }^{1}$ 北海道大学大学院情報科学院 ${ }^{2}$ 北海道大学大学院情報科学研究院
(hanabusa, araki)@ist. hokudai. ac. jp

## 概要

スマートスピーカーなどのデバイスに搭載されて いる対話エージェントとの対話は人間同士の対話と 同等の面白さを感じることができない。この問題を 解決するためには，対話中の文脈情報を考慮した高度なユーモア処理を実現する必要がある。これまで 対話の文脈情報を含むユーモアの面白さについて，評価及び分析はなされていない。本稿では対話文脈 を考慮した駄酒落の面白さを評価する標準データべ 一スを構築するために, 駄酒落を含む対話を収集し， 12, 000 件の駄酒落が含まれる対話に対して対話の 面白さを複数人で評価し，さらに，対話の可読性が 面白さに与える影響について，相関係数を用いて分析した結果について述べる。

## 1 はじめに

新型コロナウイルス感染症の蔓延による生活様式 の大きな変化に伴い, 精神的ストレスを感じる人が 急増している[1]. このような社会的問題に対処する ために，新たな生活様式に沿った孤独や不安を緩和 するためのメンタルケアの確立が必要となる.

孤独や不安を緩和するためのメンタルケアとして，友人や家族との対話が挙げられる。しかし, 対話相手の心理状態によって笑いを生むことが困難なこと も少なくない．これらのことから，対話相手を担う 存在として，対話によって面白さや楽しさを与える 対話システムの実現が緊急の課題となっている.

現在，スマートフォンやスマートスピーカーの普及によって，人間と対話エージェントとの対話が日常的に行われている. これらのデバイスに搭載され る対話エージェントは対話によって何らかのタスク を実行することを目的としたシステムである。その ため，対話によって面白さや楽しさを与えることが できない.この点を踏まえ, 対話による面白さや楽
しさを与えることを目的とした非タスク指向型シス テム(雑談システム)の研究が行われている $[2,3]$. かし，これらの研究では人間同士の対話と同等以上 の面白さや楽しさを与えるというレベルに達してい ない。この問題を解決するためには，人間と同等の 応答精度に加えて，対話中の文脈情報からユーモア 表現を理解して笑い，適切なタイミングで対話相手 を飽きさせないようにユーモアを発話するといった 高度なユーモア処理が必要となる。

これまでのユーモアに関する研究として，我々は 67,000 件の駄酒落を収録した大規模なデータベース の構築 $[4,5]$ を行った. 駄酒落の面白さを評価するた めの手法を確立するために，複数人による駄酒落の 面白さの評価及び分析[6]も行った。

しかし, これらの研究において, 文脈情報は 1 文内の文内文脈に限定されている。そのため，対話の 文脈情報を含むユーモアの面白さについて，評価及 び分析はなされていない.

本稿では，対話文脈を考慮した駄酒落の面白さを 評価する標準データベースの構築のために, 駄酒落 を含む対話の収集を行い，複数人によって対話の面白さを評価し，さらに，対話の可読性が面白さに与 える影響について，対話の面白さと表層情報との相関を用いて分析した結果について述べる.

## 2 駄酒落を含む対話の収集

人間同士の雑談対話を収録したコーパスとして，日本語日常会話コーパス[7]や名大会話コーパス[8] が挙げられる，しかし，これらのコーパスは一般的 な会話文章を収録しているため，コーパス中に含ま れる駄酒落は非常に少ないと考えられる.このこと から，既存のコーパスから駄酒落を含む対話を大量 に収集することは困難である。

ユーザ同士の対話が Web 上で公開されたソーシ ヤル・ネットワーキング・サービスとして, Twitter ${ }^{i}$

表 1 収集結果の件数及び割合

が挙げられる. 日本において, Twitter は 2021 年時点で約 5,310 万人が利用している. そのため, 既存 のコーパスと比べて, Twitter には駄酒落を含む対話 が比較的多いと考えられる. このことから, 本稿で は Twitterを用いて，駄酒落を含む対話を収集する。一般的に, Twitter 上に存在する駄酒落を含む対話 の構成は以下の 3 種類が挙げられる.

(1) 最初に駄酒落を含むツイートが出現する対話

(2) 中間に駄酒落を含むツイートが出現する対話

(3) 最後に駄酒落を含むツイートが出現する対話

駄酒落を含む対話の面白さは駄酒落を含むツイー トの前後のツイートによって変化すると考えられる。 また，駄酒落を含むツイートから前後 5 件以上のツ イートは駄酒落とは関連性のない話題が進行すると 考えられる.これらのことから, 駄酒落を含む対話 の範囲は駄酒落を含むツイートを基準とした前後そ れぞれ 0 から 5 つのツイートとする.

本稿において, 駄酒落を含むツイートの前後のツ イートの数が 0 となるものは駄酒落を含むツイート 単体とする.

## 2.1 収集方法

駄酒落を含む対話を収集するために，10,000 件の 駄酒落を用いて, Twitter 上で完全一致検索を行い,検索結果をクローリングする.

駄酒落を含む対話の範囲の基準となるツイートは 完全一致検索に用いた駄酒落を含むツイートとする.完全一致検索に用いる駄酒落は駄酒落データベー スに収録されている番号 $1 \sim 10,000$ の駄酒落を使用 する. 駄酒落データベースは 67,000 件の駄酒落が収録された大規模なデータベースであり, Web サイト 上吕で一般公開されている. 収録された駄酒落には面


白さの度合いを 5 段階で示す面白さのスコアが付与 されている．駄酒落データベースにおける面白さの スコアの評価はクラウドソーシングによって雇用し た3名の評価者によって行われている.

クローリングには Twitter から提供されている学術研究向け API である Twitter API for Academic Researchiiを使用する.

## 2.2 収集結果

表 1 に収集結果の件数及び割合を示す.ここで，本稿における対話は 2 者による言葉の掛け合い, 会話は 3 者以上による言葉の掛け合いとする。表 1 に 示すように, 駄酒落を含む対話は26,739件となった。 また，駄酒落を含むツイート単体の件数は 341,902 件となった。このことから, Twitter 上で行われる駄酒落を含む対話は駄酒落を含むツイート単体よりも 比較的少ないことが確認された。

また, 収集されたものには駄酒落を含む会話が 81,454 件(18.0\%), 1 者による連続発話が 1,758 件 (0.4\%), が含まれている.

完全一致検索に用いた駄酒落 10,000 件のうち, 収集された駄酒落は 1,147 件(11.5\%)となった。

## 3 駄酒落を含む対話の面白さの評価

これまでの研究において，駄酒落を含む対話の面白さの指標は存在しない。このことから，駄酒落を 含む対話に対して, クラウドソーシングで雇用した 16 名の評価者に面白さを評価していただいた。

## 3.1 評価方法

評価対象は駄酒落を含む対話 26,739 件から無作為 に抽出した 12,000 件とする.

駄酒落を含む対話の面白さの評価には 200 件あた り 1 時間前後が必要である. そのため, 12,000 件の 作業には膨大な時間的コストがかかる. それに加え て, 駄酒落単体の面白さの評価[6]において, 膨大な 量の評価を行うと駄酒落に対する飽きが生じ，面白 さが低く評価されることも確認されている。このこ とから，12,000 件の駄酒落を含む対話を 1,000 件単位で分割した. その後, 3 名による評価が付与され るように評価者を割り当てた。

図 1, 表 2 に駄酒落を含む対話の面白さの評価の


図 1 駄酒落を含む対話の面白さの評価の例

表 2 面白さのスコア

 \\

例と面白さのスコアを示す. 図 1 における太字は収集時の完全一致検索に用いた駄酒落の種表現と変形表現を示す. また, 対話番号は $1 \sim 12,000$ 件の駄酒落 を含む対話の番号を示す. U1，U2 はそれぞれ対話中の話者を示す記号である．対話の面白さの評価は 評価者によって表 2 に示す面白さのスコアが付与さ れる. 面白さのスコアは面白さの度合いを示す $1 \sim 5$ の整数値である。

## 3.2 評価結果

図 2 に評価者全員のスコアの分布を示す. 図 2 に 示すように 1 点から 3 点が全体の $91.3 \%$ を占めてい る. 一方, 4 点は $7.2 \%, 5$ 点は $1.5 \%$ と極端に少ない 結果となった. そのため, 評価者全員のスコアの平均は 1.89 ポイントとなった.

1 点から 3 点の割合が $91.3 \%$ と比較的多い要因と して, Twitter 上の対話には第三者から面白さを評価 される前提がないことが挙げられる. Twitter におけ る対話はユーザ同士のコミュニケーションとして行 われる。そのため, 一般的なユーザは第三者から面白いと感じられるような対話をするという意図がな い.このことから, 駄酒落を含む対話に対して第三者が対話の面白さを評価した場合, 面白くないまた は普通と感じるものが比較的多いと考えられる。表 3 平均スコアと表層情報の相関

## 図 2 評価者全員のスコアの分布

## 4 可読性の面白さへの影響

駄酒落を含む対話の面白さを変化させる要因とし て，対話内容の可読性が挙げられる．駄酒落を含む 対話の可読性を表す表層情報として(A)対話の長さ， (B)発話の平均文字数, (C)駄酒落の出現位置の 3 種類が考えられる．この点を踏まえ，本稿では駄酒落 を含む対話の面白さの指標と(A), (B), (C)の表層情報との相関係数を算出する. これにより，対話の可読性が面白さに与える影響を分析する。

## 4.1 可読性と面白さの相関分析

駄酒落を含む対話の面白さの指標として，3 名の 評価者のスコアの平均を用いる. 本稿において, 3 名 の評価者のスコアの平均を平均スコアと呼ぶ.

2 章で述べたように，本稿における対話の範囲は 駄酒落を含むツイートを基準とした前後それぞれ 0 から 5 つのツイートとした. このことから, 駄酒落 を含む対話の長さは 2 から 11 の整数値である.

駄酒落の出現位置は 1 から 3 の整数値で表す. そ のため, 対話の 1 ツイート目に駅酒落が出現したも のは 1 , 対話の最後のツイートに駄酒落が出現した ものは 3，それら以外は 2 となる。

12,000 件の駄酒落を含む対話 1 件ごとの平均スコ アと 3 種類の表層情報の相関をピアソンの相関係数 を用いて算出する。

図 3 評価者全員のスコアが高い対話の例

U1: そうか、北海道はでっかいどう！でした...北海道といえども簡単には手に入らないんですねす 物産展やらないかな一!

図 4 評価者全員のスコアが低い対話の例

表 3 に平均スコアと表層情報の相関係数を示す.表 3 に示すように, 平均スコアと発話の平均文字数,駄酒落の出現位置の相関係数は-0.31, -0.23 となり,弱い負の相関があることが確認された. また, 平均 スコアと対話の長さの相関係数は-0.18 となった.こ のことから, 対話の長さが平均スコアに及ぼす影響 は他 2 つの表層情報と比べて小さいと考えられる。

## 4.2 考察

図 3 に評価者全員のスコアが高い対話の例を示す.図 3 における U1，U2 はそれぞれ対話中の話者を示寸記号である． 3 名の面白さの評価は $5 ， 5 ， 4$ とな っている，そのため，平均スコアは 4.67 となる.

図 3 の例では U1 の「明日は筑波山に行こう」と いう発話に対して，U2 が「筑波山にかみつくばあさ

## ん」という駄酒落を返している.

図 3 のような対話は文章量が少なく，内容を理解 することが容易である。また，この対話は駄酒落に 関する話題によって進行している。 そのため, 第三者から駄酒落をユーモアとして認識することも容易 であると考えられる。

図 4 に評価者全員のスコアが低い対話の例を示す。図 4 においても U1，U2 はそれぞれ対話中の話者を 示寸記号である． 3 名の面白さの評価は 2，1，2 と なっている。 そのため, 平均スコアは 1.67 となる.

図 4 の例では北海道の洋菓子屋に関する話題から U1 が「北海道はでっかいどう」という駄酒落を含む 発話を行うことで，対話が終了している。

図 4 のような対話は発話の平均文字数が 62 文字 であるため, 図 3 のような対話と比べて文章量が多 い. さらに，対話の最後に駄酒落を含む発話が出現 しており, 対話者のリアクションがない, そのため,第三者から駄酒落をユーモアとして認識することが 困難であると考えられる。

これらのことから, 可読性が高い対話は駄酒落を ユーモアとして認識することが容易であり，面白さ が高い傾向があると考えられる.

## 5 おわりに

本稿では，対話文脈を考慮した駄酒落の面白さを 評価する標準データベースを構築するために，はじ めに, Twitter 上に存在する 26,739 件の駄酒落を含む 対話を収集し，12,000 件の対話に対して面白さの評価を行った。評価の結果として, 評価者全員のスコ アの 91.3\%は 1 点から 3 点であることが確認された。

次に，対話の面白さがどのような要因によって変化するのかについて，対話の可読性に着目した分析 を行った。ここで， 12,000 件の駄酒落を含む対話 1 件ごとの面白さのスコアの平均と対話の表層情報の 相関をピアソンの相関係数を用いて算出した．その 結果, 対話の面白さと発話の平均文字数及び駄酒落 の出現位置には弱い負の相関があることが示された。今後の課題として，まず駄酒落データベース中の 10,001 番以降の駄酒落を用いた駄酒落を含む対話の 追加収集を行うことが挙げられる。次に，第三者か ら面白いと感じられる対話をより多く収集するため に，人手で駄酒落を含む対話を作成することが挙げ られる。最後に，収集及び作成した対話を用いて対話文脈を含む駄酒落の面白さを評価する標準データ ベースを構築する予定である.

## 謝辞

本研究は JSPS 科研費 21 K12007 の助成を受けた

ものである.

## 参考文献

[1] 厚生労働省, “新型コロナウイルス感染症に係るメン タルヘルスに関する調查結果の概要について” https://www.mhlw.go.jp/stf/newpage_15766.html, ( 参照 2020-08-01).

[2] Rafal Rzepka, Shinsuke Higuchi, Michal Ptaszynski, Pawel Dybala and Kenji Araki: When Your Users Are Not Serious,人工知能学会論文誌, Vol.25, No. 1, pp.114-121, 2010.

[3] Arnaud Jordan and Kenji Araki, Real-time LanguageIndependent Algorithm for Dialogue Agents, 知能 $と$ 情報 (日本知能情報ファジィ学会誌)， Vol.28, No.1, pp.535-555, 2016.

[4] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹, 駄酒落データベ 一スの構築及び分析, 人工知能学会第 2 種研究会, ことば工学研究会資料, SIG-LSE-B702-3, pp.13-24, 2017.

[5] 荒木健治, 佐山公一, 内田ゆず, 谷津元樹, 駄酒落データベ 一スの拡張及び分析, 人工知能学会第 2 種研究会, ことば工学研究会資料, SIG-LSE-B803-1, pp.1-15, 2018.

[6] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹, 駄酒落データベ 一スを用いた面白さの評価及び分析, 人工知能学会第 2 種研究会 ことば工学研究会資料, SIG-LSE-B902-4, pp.63-76, 2019.

[7] Fujimura,Itsuko, Shoju Chiba and Mieko Ohso, Lexical and Grammatical Features of Spoken and written Japanese in Contrast: Exploring a lexical profiling approach to comparing spoken and Written corpora, Proceedings of the VIIth GSCP International Conference. Speech and Corpora, pp.393-398, 2012.

[8] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yuka Watanabe and Yasuyuki Usuda, Design and Evaluation of the Corpus of Everyday Japanese Conversation, Proceedings of LREC2022, pp.5587-5594, 2022.

## A 面白さの評価の詳細

## A. 1 評価者の属性及び作業件数

本稿では, 評価にかかる時間的コストの高さと評価者の駄酒落を含む対話に対する飽きを考慮し, ク ラウドソーシングを用いて 16 名の評価者を雇用し た.また, 評価者 16 名には 1 件の対話に対して， 3 名の評価が付与されるように $1,000 \sim 3,000$ 件の作業 を割り当てた.ここで, 1,000 件単位の対話に対する 評価者の割り当ては雇用順に沿って行った.

表 4 に評価者の属性及び評価を実施した作業番号を示す. クラウドソーシングの Web サイト上には 業務の依頼者から作業者に対して返信速度・納品実績などを 5 段階で評価した数値が与えられている.今回の評価者は全員評価値が 5.0 であるため, 一定 レベルの能力を満たしているものと考えられる.

## A. 2 駄酒落を含む対話に対する飽き

駄酒落単体の面白さの評価[6]において, 膨大な量 の評価を行うと駄洒落に対する飽きが生じ，面白さ が低く評価されることが確認されている.このこと から, 作業番号 1 から 3,000 の各評価者のスコアと 平均スコアの 500 件ごとの平均值を算出し, 駄酒落 を含む対話に対する飽きを分析する。

図 5 にスコアの平均値の推移を示す. 図 5 に示す ようにいずれの評価者も 500 件ごとにスコアが低下 している. しかし, 500 件時点と 3,000 件時点の平均 スコアの差は-0.2 ポイントとなった.このことから，駄酒落を含む対話に対する飽きの影響は小さいと考 えられる。

## A. 3 評価者間の一致度

面白さの評価における一致度の算出にはコーヘン の $\kappa$ 係数を用いる.ここで, 分析する一致度は駄酒落を含む対話に対して 5 段階の面白さの度合いを付与するという順位尺度に基づいた評価に対する一致度である.

12,000 件の面白さの評価に対する一致度を算出す るために, はじめに 1,000 件ごとの 2 者間の一致度 を算出する. ここで, 1,000 件ごとの評価者の組み合 わせは 3 通りであるため，3つの一致度が算出され る. その後, 36 個の一致度の平均を全体の一致度と して算出する.表 4 評価者の属性及び評価を実施した作業番号

図 5 平均値の推移

12,000 件の面白さの評価に対する一致度は 0.29 と なり，おおむね一致という結果となった. 駄酒落単体の面白さの評価[6]における評価者間の一致度は 0.10 未満となっている. そのため, 駄酒落を含む対話の面白さの評価は駄洒落単体の評価に比べて評価者間で一致する割合が高い結果となった。
 花房竜馬 ${ }^{1}$ 荒木健治 ${ }^{2}$ ${ }^{1}$ 北海道大学大学院情報科学院 ${ }^{2}$ 北海道大学大学院情報科学研究院 (hanabusa, araki)@ist. hokudai. ac. jp  