# ソーシャルメディア上の発話の攻撃性推定と会話補助

藤原知樹 伊藤彰則 能勢隆
東北大学
tomoki.fujihara.p3@dc.tohoku.ac.jp
\{akinori.ito.a2, takashi.nose.b7\}@tohoku.ac.jp

## 概要

本研究の目的は, 読み手や文脈によって攻撃的ともそうでないとも受け取られる可能性がある発言 (グレーゾーンの発言)への自動的な対応によって， ソーシャルメディア上での円滑なコミュニケーションを促進することである。これを実現するために， グレーゾーンの発言を自動的に検出し, その発言に対する補足情報を読み手と書き手の双方に提供する会話補助手法を提案する. 本稿では, グレーゾー ンの発言の自動検出に向けて攻撃性推定モデルを構築する. さらに, 提案手法によって読み手が感じる攻撃性を緩和できるか検証する. 本実験で使用したデータセットおよび構築した攻撃性推定モデルは, https://huggingface.co/TomokiFujihara で公開中である.

## 1 はじめに

近年ソーシャルメディアにおける攻撃的な表現への対策が重要視されており、ヘイトスピーチや誹謗中傷などの攻撃的な発言の自動検出の研究が盛んに進められている [1,2]. 既に主要な Social Networking Service (SNS) では, 攻撃的なコメントを自動検出する機能が試験運用されている. 検出された攻撃的なコメントに対する SNS 運営事業者の主な対応は,コメントの非表示や削除, アカウントの利用制限などである. その他の対応方法として, 先行研究では事前に投稿者に警告文 [3] や過去のトラブル事例 [4] を提示する手法や, 大規模言語モデルを用いて表現を書き換えて攻撃性を緩和する手法 [5,6] などが提案されている.

攻撃的な発言の自動検出や検出後の自動的な対応に関する先行研究は, 攻撃性が明確な発言に注目していることが多い.しかしながら, 実際の SNS の環境では攻撃性が曖昧な発言の方がコミュニケーショントラブルの発端になっている可能性がある [7]. そ

図 1 提案する会話補助手法の概要

こで本研究では, 読み手や文脈によって攻撃的ともそうでないとも受け取られる可能性がある発言 (グレーゾーンの発言)への自動的な対応によって,ソー シャルメディア上での円滑なコミュニケーションの促進を研究目的とする。

ここで, 先行研究 [8] で実施された SNS マナーの必要性に関するアンケート結果を参照する. SNS マナー必要派の意見として，「知らない人が突然会話に入ってくることに『怖い, 変だと思う, 不快に感じる』といったネガティブな印象を持つ」というものが挙げられている。つまり, 知らない人物からのコメントというだけで, そのコメントに対してネガティブな印象を抱く可能性がある。一方で, SNS マナー 必要派の別の意見として，「『FF 外から失礼します』 が書かれていると,この人は『悪い人, 変な人ではない』と思うことができる」というものが挙げられている.そのため, 知らない人物からのコメントであっても書き手の人柄や心情などが推測できる情報が事前に提示されることで, 続くコメントの内容を比較的ポジティブな印象で受け取れるようになる可能性があると考えた。

そこで本研究では, グレーゾーンの発言を自動的に検出し, その発言の補足情報を読み手と書き手の双方に提示する会話補助手法 (図 1)を提案する. 本稿では, グレーゾーンの発言の自動検出に向けて, ソーシャルメディア上のコメントの攻撃性推定モデルを構築し, その性能分析を行う. さらに, 提案手法によってコメントの読み手が感じる攻撃性を緩和できるか検証する。

## 2 提案する会話補助手法

提案手法では, グレーゾーンの発言を検出した際に, チャットボットが会話に参加するような形で検出された発言に関する補足情報を読み手と書き手の双方に提示する. 読み手に対しては, ネガティブな意味に受け取らずに済むようにすることで, 心理的負担を軽減しつつも検出された発言の内容は上手く伝えることを目指す. 同時に, 書き手に対しては, 自身の発言について振り返る機会を提供しつつも,コミュニケーションを取る意欲を損なわないように配慮することを目指す。

提案手法の詳細を説明する. 1 つ目に, 提案手法では読み手と書き手に別々の補足情報を提示するのではなく, 全てのユーザが同じ情報を受け取れるようにチャットボットが会話に参加する方式を採っている. 理由としては, グレーゾーンの発言は攻撃的か否かを明確に判別できるものではないため, 各ユーザの視点で読み手か書き手の片方に偏ってサポートされているように映ることは望ましくないと考えられるためである. 2 つ目に, 自動検出および補足文生成において, 前後の会話などの文脈情報は使用しないこととする.これは, SNS 上の発言は必ずしも前後の文脈や発言の対象が明確ではないためである. 3 つ目に, 自動検出および補足文生成において, 個々のユーザへの適応は行わないこととする。これは,このようなシステムにおけるユーザ適応は, 社会的分断化に繋がることが懸念されるためである.

## 3 発話の攻撃性推定用データセット

使用するデータセットは, X から収集された日本語対話のコーパス Twitter-Triple[9] から発話を抽出し, 大学生 3 名で攻撃性評価を行ったものである [10]. 発話は一文単位であり, 評価の際にその発話が含まれる投稿全文や前後の会話は評価者に提示されていない. 攻撃性評価の指標は攻撃の可能性と, 攻撃的と仮定した時の攻撃の強さの 2 種類で, それぞれ 4 段階で評価されている. 本研究では, 攻撃の可能性は高いが攻撃的だとしても攻撃の強さは弱い, もしくは, 攻撃の可能性は低いが攻撃的だとしたら攻撃の強さは強いものをグレーゾーンの発言と定める.

次に, 正解ラベルの作成方法について説明する. 複数のアノテータの評価結果から単一の正解ラベルを決定する際, 多くの先行研究では多数決や平均値が用いられている. しかしながら, これらの方法では少

## 攻撃への耐性が高い人

図 2 正解ラベルの作成方法

数派の意見が十分に反映されないことが懸念される. また, 最終的な用途となる会話補助手法においては, グレーゾーンの発言への誤分類が多少増加することは許容できる可能性がある. そこで, 次のような仮定に基づいて新しい正解ラベルを作成した.

1. 攻撃への耐性が低い人から見て攻撃的でない発言は, 攻撃的ではない (not offensive; NOT).

2. 攻撃への耐性が高い人から見て攻撃的な発言は, 攻撃的 (offensive; OFF) である.

3. 上記に該当しないもののうち,

(a) 攻撃への耐性が高い人から見てグレーゾー ンの発言は, やや攻撃的なグレーゾーンの発言 (dark gray-area; DarkGRY) である.

(b) 攻撃への耐性が低い人から見てグレーゾー ンの発言は, やや攻撃的でないグレーゾー ンの発言 (light gray-area; LightGRY) である.

(c) 上記のいずれにも該当しない発言はグレー ゾーンの発言 (gray-area; GRY) である.

上記の仮定に基づく新しい正解ラベルの作成方法と, 各クラスのサンプル数を図 2 にまとめる. 将来的に, 細かな攻撃性の違いによって対応方法を切り替えることも検討しているため, 細かな攻撃性の違いをモデル化できるように 5 クラスに分類している. ここで, 新しい正解ラべルの作成方法では攻撃への耐性が高い人と低い人の評価結果が必要となる.ここでは両者について仮想的な評価結果を作成した。具体的には, 各発話の攻撃の可能性と攻撃の強さそれぞれについて, 評価值が高い/低い 2 名分の評価値を平均し, 仮想的な攻撃への耐性が低い/高い人の評価結果を作成する. その後, 本研究におけるグレー ゾーンの発言の定義に従って, 攻撃の可能性と攻撃の強さの評価結果を NOT, GRY, OFF の 3 クラスラベ

ルに変換し, 最後に前述の仮定に基づいて正解ラべルを決定する。

## 4 攻撃性推定モデルの構築

## 4.1 意見の不一致を考慮した攻撃性推定モ デルの学習

攻撃性推定のような主観性の高いタスクはアノテータ間の一致度は低くなりやすい $[11,12]$. しかしながら, 主観的なタスクにおける意見のばらつきは,単なるアノテーションミスだけでなく, 評価対象の多義性に起因している場合があり, 重要な情報の一つである $[13,14]$. そのため, 近年はアノテータ間の意見の不一致を考慮した分類モデルの構築に関する研究が進められている $[15,16]$.

本実験では, 先行研究 [17] を参考に, 不一致の情報をマルチタスク学習によって利用する. 正解ラベルの予測をメインタスクとし, サブタスクは個々のアノテータの評価結果または, 仮想的な攻撃への耐性が高い/低いアノテータの評価結果を予測するように設計する. アノテータの評価結果を予測するタスクは, 攻撃の可能性および強さそれぞれの評価値が高いか低いかという 2 種類の 2 值分類タスクであり， アノテータの人数分サブタスクが追加される.

## 4.2 実験条件

事前学習済み言語モデルを Fine-tuning することで, NOT, GRY, OFF の 3 クラス分類モデルを構築する. 各正解ラベル NOT, LightGRY, GRY, DarkGRY, OFF はそれぞれ $[1,0,0],[0.4,0.6,0],[0,1,0],[0,0.6$, $0.4],[0,0,1]$ という 3 次元のソフトな確率分布に変換し損失の計算に用いる. 事前学習済みモデルは日本語 LUKE[18] の base モデル lite 版を用いる. Fine-tuning 条件の詳細は, 公開中の分類モデルのモデルカードに記載している. 攻撃性推定用データセットは 5 分割交差検証で用いる.

## 4.3 分類モデルの性能評価

メインタスクのみ学習したモデル (Baseline) と,個々のアノテータの評価結果 (with each annotator; w/ Each), 仮想的なアノテータの評価結果 (with virtual annotator; w/ Virt.) をサブタスクに追加して学習したモデルの分類性能を表 1 に示す. 不一致情報を考慮した学習を行うことで分類性能が向上した. またサブタスクの比較としては, 仮想的なアノテータの評表 1 サブタスクの有無による分類性能の比較

価結果を使用する方が分類性能が高くなった. 要因として, 個々のアノテータの評価結果にはアノテー ションミスが含まれている可能性がある [14] が, 仮想的なアノテータの評価結果は 2 名の平均を取っているため,アノテーションミスの影響が軽減されている可能性がある. 分類モデルのより細かな性能評価結果は付録 A に付した。

## 5 補足文挿入による読み手の感じる 攻撃性緩和の検証

提案手法では,コメントの読み手と書き手のそれぞれに向けた補足文を提供する. 本実験では, 提案手法の中の読み手に向けた補足文について, 読み手の感じる攻撃性を緩和できるか検証する。

## 5.1 実験条件

本実験では, 次の 3 つの条件で被験者に発話を読んでいただき, 攻撃性の評価結果を比較することで提案手法の効果を検証する: 攻撃性の評価対象となる発話のみ提示 (only speech; OS); 発話と無関係な文章を提示 (with unrelated text; WUT); 発話とその補足文を提示 (with supplemental text; WST). WST が提案手法の条件である。

評価対象の発話は攻撃性推定用データセットの GRY クラスの発話からランダムに抽出された 30 文を用いる. 被験者は著者が所属する研究室の学生 15 名である. 発話と評価者はそれぞれ 3 つのセットに分けられ, それぞれの評価者セットで文の評価条件が異なるように発話セットを割り当てた. 被験者は各発話について, 攻撃の可能性と攻撃的と仮定した時の攻撃の強さを各 4 段階で評価する. 被験者には著者が攻撃性を評価した発話 10 文を例示する。

発話と無関係な文章は, Twitter-Triple からランダムに抽出する。読み手に向けた補足文は, ChatGPT から GPT3.5 (text-davinci-002-render-sha)を用いて補足情報を生成し, 著者が生成結果の一部を抜粋して語尾などを整え作成した. 補足文の例は付録 B に付した. 完全に自動的な補足文の生成については今後の課題である. 以下に, 補足情報の生成に用いたプロンプトを示す.

図 3 各 2 条件での攻撃の可能性の差

図 4 各 2 条件での攻撃の強さの差

SNS で次のような発言を見かけたときは、どのような気持ちで読めば私は不快に感じずに済むでしょうか？「***ここにグレーゾーンの発言を記述ネ**」

## 5.2 分散分析

被験者グループ毎に攻撃性の評価結果を平均し, 3 条件 OS, WUT, WST の間で攻撃性の評価結果を比較する. 初めに, 各条件における攻撃性の評価值の平均值に有意差があるか検定するために, ウェルチの一元配置分散分析を実施する. 攻撃の可能性および強さのそれぞれについて, 帰無仮説を 3 条件の全てで評価値の母平均が等しいこととし, 有意水準 0.05 で両側検定を行った. その結果, 攻撃の可能性の $p$ 值は 0.066 , 攻撃の強さの $p$ 値は 0.274 となり, 3 条件間で攻撃性の評価値の平均値に有意差はないという結果になった。

## 5.3 各 2 条件での比較

各 2 条件について発話毎に攻撃の可能性と強さのそれぞれで評価値の差を算出した (図 3,4 ). また,評価値の差の平均値 $\bar{x}$ およ゙標準偏差 $\sigma$, 効果量 Cohen's $d$ を算出した (表 2). 比較条件 X - Y の $\bar{x}_{\mathrm{X}-\mathrm{Y}}$, $d_{\mathrm{X}-\mathrm{Y}}$ は, 值が正の時は条件 $\mathrm{Y}$ の方が, 負の時は条件 $\mathrm{X}$ の方が攻撃性が低く評価されていることを表す。

いずれの比較条件でも $\bar{x}, d$ の値が負であるため, OS よりもWUT の方が, WUT よりも WST の方が攻撃性が高く評価される効果があることが示唆される. 提案手法の条件 WST で攻撃性が高く評価された原因としては, 何らかの文章の挿入自体に問題が表 2 各 2 条件での攻撃性の評価結果の比較

ある, 補足文の内容が適切でないなどが考えられる.前者は $d_{\text {OS-WUT }}$ が負の値であることから, 後者は $d_{\text {WUT-WST }}$ に比べて $d_{\text {OS-WST }}$ の方が絶対値が大きいことから示唆される。

また実験後の被験者から，「補足文が書き手を煽っているように見える時があった」という感想が述べられている.この原因として補足文の内容以外で考えられるのは, 本実験の補足文のみではチャットボットの性格や会話上の立ち位置が不明確であるという点である. 背景で述べたように, 性格などをよく知らない人物からの発言はよりネガティブに受け取られる可能性があり, 本実験で用いた補足文は 40 文字程度の一文のみとチャットボットの性格などを推測できる情報が少ない.

対策としては,チャットボットが両者をサポートする中立的な立場であると認識されるような情報を追加することが考えられる. 具体的には, 本来の提案手法のように書き手に向けた補足文も提示する,アイコンやフォント等の視覚的な情報を追加するなどである. また, 本実験では補足文の要件や, 補足情報の生成に用いるプロンプトなどの検討が不十分であったため, 補足文の内容自体の品質向上についても今後の課題である.

## 6 おわりに

本稿では, グレーゾーンの発言の自動検出に向けた発話の攻撃性推定モデルを構築し, そのデータセットおよび攻撃性推定モデルを公開した. さらに，補足文挿入による読み手が感じる攻撃性の緩和について検証した. 実験の結果, 補足文挿入によって読み手の感じる攻撃性はむしろ少し高くなった. 要因として, 本実験で用いた補足文のみではチャットボットの性格などが不明確であることが考えられた. 対策として,チャットボットが両者をサポートする中立的な立場であると認識されるような情報を追加することを検討している。

## 謝辞

本研究の一部は, JSPS 科研費 JP21H00895 および JP19H05589 の支援を受けた。

## 参考文献

[1] M. Zampieri, S. Malmasi, P. Nakov, S. Rosenthal, N. Farra, and R. Kumar. SemEval-2019 task 6: Identifying and categorizing offensive language in social media (offenseval). In Proc. SemEval, pp. 75-86, 2019.

[2] M. Zampieri, P. Nakov, S. Rosenthal, P. Atanasova, G. Karadzhov, H. Mubarak, L. Derczynski, Z. Pitenis, and Ç. Çöltekin. SemEval-2020 task 12: Multilingual offensive language identification in social media (OffensEval 2020). In Proc. SemEval, pp. 1425-1447, Barcelona (online), December 2020. International Committee for Computational Linguistics.

[3] 諸岡誠也, 関和広ほか. マイクロブログ炎上事例の分類と炎上防止アプリへの応用. 第 78 回全国大会講演論文集, Vol. 2016, No. 1, pp. 533-534, 2016.

[4] 島健輔, 阿部匠, 山本舞, 大類莉空, 長嶋浩大, 木村敦, 武川直樹, 青木良輔. 疑似 SNS 環境を用いた SNS 投稿インタフェース設計実践検討-同調投稿時に過去の裁判事例に基づく警告画面の提示を事例に. ヒューマンインタフェース学会論文誌, Vol. 25, No. 2, pp. 89-98, 2023.

[5] T. Hartvigsen, S. Gabriel, H. Palangi, M. Sap, D. Ray, and E. Kamar. ToxiGen: A large-scale machine-generated dataset for adversarial and implicit hate speech detection. In Proc. ACL, pp. 3309-3326, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] 吉田基信, 松本和幸, 吉田稔. 攻撃的文章判定を用いた不適切文章の訂正. 情報科学技術フォーラム講演論文集, 第 2 巻, pp. 265-266, 2023.

[7] 総務省情報流通行政局情報通信政策課情報通信経済室請負先フューチャー株式会社. 「I C T によるインクルージョンの実現に関する調査研究報告書」.

[8] 越智徹. $\mathrm{FF}$ 外から失礼します. 工学系大学生の考える SNS マナー. 情報教育シンポジウム論文集, Vol. 2018, No. 37, pp. 242-247, 2018.

[9] 山崎善啓, 千葉祐弥, 能勢隆, 伊藤彰則. 言語 - fo 特徵量系列を考慮したニューラル音声応答生成の検討.日本音響学会 2021 年春季研究発表会講演論文集, pp. 809-812.

[10] 藤原知樹, 伊藤彰則, 能勢隆. ソーシャルメディアにおける発話の攻撃性推定に向けたデータセット構築. 情報科学技術フォーラム講演論文集, 第 2 巻, pp. 277-280, 2023.

[11] Y. Jeong, J. Oh, J. Lee, J. Ahn, J. Moon, S. Park, and A. Oh. KOLD: Korean offensive language dataset. In Proc. EMNLP, pp. 10818-10833, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[12] B. Mathew, P. Saha, S. M. Yimam, C. Biemann, P. Goyal, and A. Mukherjee. HateXplain: A benchmark dataset for explainable hate speech detection. In Proc. AAAI, Vol. 35, pp. 14867-14875, 2021.

[13] B. Plank. The "problem" of human label variation: On ground truth in data, modeling and evaluation. In Proc. EMNLP, pp. 10671-10682, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[14] M. Sandri, E. Leonardelli, S. Tonelli, and E. Jezek. Why don't you do it right? Analysing annotators' disagreement in subjective tasks. In Proc. EACL, pp. 2428-2441, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[15] A. N Uma, T. Fornaciari, D. Hovy, S. Paun, B. Plank, and M. Poesio. Learning from disagreement: A survey. Journal of Artificial Intelligence Research, Vol. 72, pp. 1385-1470, 2021.

[16] E. Leonardelli, G. Abercrombie, D. Almanea, V. Basile, T. Fornaciari, B. Plank, V. Rieser, A. Uma, and M. Poesio. SemEval-2023 task 11: Learning with disagreements (LeWiDi). In Proc. SemEval), pp. 2304-2318, Toronto, Canada, July 2023. Association for Computational Linguistics.

[17] T. Fornaciari, A. Uma, S. Paun, B. Plank, D. Hovy, and M. Poesio. Beyond black \& white: Leveraging annotator disagreement via soft-label multi-task learning. In Proc. NAACL, pp. 2591-2597, Online, June 2021. Association for Computational Linguistics.

[18] I. Yamada, A. Asai, H. Shindo, H. Takeda, and Y. Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Proc. EMNLP, pp. 6442-6454, Online, November 2020. Association for Computational Linguistics.

[19] T. Kudo, K. Yamamoto, and Y. Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proc. EMNLP, pp. 230-237, 2004.
注意: 本ページには, 不快感を与える可能性のある表現が含まれています.

表 3 グレーゾーンの発言や補足文の例

 \\

表 5 Baseline の混合行列

表 6 w/ Virt. の混合行列

表 4 各攻撃性クラスにおいて出現

頻度の高い単語の傾向

## A 攻撃性推定モデルの分類性能

## A. 1 データセットに対する分類性能

Baseline と w/ Virt. の混合行列を図 5,6 に示す. 正解ラベルが OFF のサンプルを NOT または GRY に誤分類することや, 正解ラベルが NOT または GRY のサンプルを OFF に誤分類することは望ましくない. これらの観点で比較しても， Baseline に比べて w/ Virt. の方が優れた分類性能を示している.

## A. 2 未知の発話に対する分類結果の分析

w/ Virt. の条件で攻撃性推定用データセット全文を用いて分類モデルを学習させ, データセット外の未知の発話を入力した際の分類結果を分析する. 未知の発話として, Twitter-Tripleの 2020 年 8 月 20 日から 2020 年 8 月 22 の期間に収集された対話から 100 万文を抽出した.

各攻撃性クラスで出現頻度の高い単語について分析する. まず, 未知の発話 100 万文を MeCab[19] で形態素解析し, 名詞, 動詞, 形容詞のみ抽出した. 抽出された単語のリストから出現頻度の上位 500 単語をストップワードとして除外し, 各攻撃性クラスのワードクラウドを作成した (図 4) . NOT クラスにおいては，「嬉し」や「楽し」，「うれし」などのポジティブな単語の出現頻度が高い傾向にある. OFFクラスにおいては, 「バカ」や「アホ」といった他者への悪口として利用されやすい単語や，「やめろ」や「うるさい」といった他者に圧力を与える可能性がある単語の出現頻度が高い傾向にある. 最後に, GRY クラスにおいては, 「だめ」や「ヤバイ」といった他者の言動への否定に受け取られる可能性のある単語や，「しんどい」，「我慢」といったネガティブな感情表現で用いられやすい単語の出現頻度が高い傾向にある. これらの結果から, 構築した攻撃性推定モデルは概ね攻撃性の高さに応じた発話の分類ができていることが示唆される.

## B 補足情報生成

グレーゾーンの発言 (GRY) と無関係な発話 (UT), 著者作成した補足文 (ST) の例を表 3 に示す. その他のサンプルの一覧はhttps://huggingface.co/datasets/TomokiFujihara/supplement_for_gray_area_comment にて公開中である.