# ソーシャルメディアにおけるヘイトスピーチ検出に向けた 日本語データセット構築の試案

荒井 ひろみ ${ }^{1,2}$ 和泉 悠 ${ }^{3}$ 朱 喜哲 4 仲宗根 勝仁 1 谷中 瞳 1
1 理化学研究所 2 科学技術振興機構 さきがけ
3 南山大学 4 大阪大学
\{hiromi.arai, katsuhito. nakasone, hitomi .yanaka\}@riken.jp,
yuizumi@nanzan-u.ac.jp, nyarl905@gmai.com

## 1 はじめに

今日のデジタル社会が直面している主要な問題の 1 つに, ソーシャルメディアなどのネット上に蔓延 する攻撃的・暴力的表現の取り扱いがある. 特に社会的弱者を標的としたいわゆる「へイトスピーチ」 は世界的な問題となっており，差別や暴動すらを煽動するこうした表現への対応が求められている.へ イトスピーチには排外主義的なものも多く存在する が，特にコロナ禍において，排外主義に対する懸念 が多くの組織や識者により表明されている ${ }^{1)}$.

ヘイトスピーチをどのように検出すればよいの かといった課題に取り組むため, 現在までに多数の 暴言やへイトスピーチに関するデータセットが多様な言語及びメディア資源を基にして構築されて きた. 例えば，英語だけでなく，ドイツ語，イタリ ア語 [1], ロシア語 [2], タイ語 [3], インドネシア 語 [4] などのデータセットがある. 本研究では, 日本語のヘイトスピーチのデータセットの構築に取り 組んだ。

大規模にへイトスピーチのデータセットを構築 するためには, クラウドソーシングの活用など非専門家によるアノテーションが想定される。しかし,「ヘイト (スピーチ)」という言葉は個々人による見解が一致しないと想定され [5], 厳密な定義は不可能 だという指摘もある [6]. そのため, SNS 上の投稿 のような, 発言の対象が曖昧であり複雑な様相を呈 すデータの分類に際しては, アノテーターの主観的 な判断に委ねる要素を極力減らすことが望ましい。

本研究の貢献は以下の通りである。まず, 日本語 におけるへイトスピーチのデータセット作成に向 けて，発言が話題にしている対象者とその対象者に


対する攻撃性の種類を判断させるような手続き的 な暴言分類のアノテーションガイドラインを設計 した。特に日本独自の歴史・地域性を踏まえたへイ トスピーチ理解と, 人文社会科学におけるへイトス ピーチに関する理論的知見に依拠したアノテーショ ンガイドラインを設計した。さらに SNS 上のへイ トスピーチの候補となるツイートを収集し，クラウ ドソーシングを用いたアノテーションを試験的に実施し, 得られたデータセットの特徴を考察した.

## 2 関連研究

ヘイトスピーチやその他ネット上の有害表現を もとにしたデータセット作成が急速に進められて いる. 言語の種類, データの収集方法, データのア ノテーション手法・ラベルの種類どれも多様であ る2). 他の法的概念と同様，「ヘイトスピーチ」に世界共通の定義があるわけではなく, 各研究者が独自 にラベルを規定して，試行錯誤を通じてアノテー ション手法を検討している段階だと言える。例え ば [8] は社会学における批判的人種理論の枠組みを 利用し, 「人種差別的」(racist) もしくは「性差別的」 (sexist) というラベルをツイートに付与した。「憎悪的」(hateful) や「攻撃的」(offensive) といったラベル を何らかの形で特徴付け, アノテーターに直接的に 判断させる事例も多い $[9,10,11]$. 既存のアノテー ション手法の限界として, 黒人英語をより攻撃的な ものと分類している, という人種差別的バイアスの 存在も指摘されている [5]. 多言語を使用してデー タセットを構築することにより, 南アジアでの女性荗視的傾向の高さを測定したといった [12], 地域性 を考慮した研究も増加している. 本研究も, 日本国内における排外主義（移民や外国人，在日コリアン

2）例えば [7, Table 2]を参照されたい

など「日本人」以外を排斥しようとするもの）に焦点を当てた，地域性を持つものと言える。

より精度の高いアノテーションを目指して，ラベ ル設定の精緻化やタスクの分散化が図られている.攻撃対象, 攻撃内容やその程度などを細分化すると いった手法が採用されている。例えば，ヘイトス ピーチの根拠となる属性として, 人種・性別・障が いといったラベルを付与させるといったものであ る $[4,13,14,15]$. 本研究も, 以下で見るように攻撃対象と攻撃内容を分けて細目化したアノテーション 方法を提案している.

日本語を対象とした類似研究として特にネットい じめ (cyberbullying) の文脈における有害情報検出の 手法を検討したものが多く存在する $[16,17,18,19]$.本研究は, 個人だけでなく特定属性の集団を標的と した排外主義的なへイトスピーチに焦点を当て, 有害な書き込みを別の角度から検討している。

コロナ禍における反アジアのへイトスピーチにつ いて, 英語ツイートのデータセットが作成されてい る. COVID-19 のキーワードが含まれるツイートの うち, 個人またはアジアの人々, 組織, 国, または 政府のグループに向けられたへイトスピーチ, 反へ イト, 中立の 3 種類の分類 $[20]$ 及び敵意や糾弾, 力 ウンタースピーチなどの分類 [21] がアノテーション されている. 本研究も同様にコロナ禍を考慮してい るが，特に日本における排外主義的へイトスピーチ に着目した分類を行っている。

## 3 構築手法

## 3.1 検索語リスト作成

日本語のツイートを対象に, 排外主義的ツイート の収集を目的として検索語を合計 12 件選定した。検索語には, 日本で特に顕著に見られる在日コリア ン及び中国人に関連する差別語（例えば「在日」や 「シナ」）と, 差別語に対応する中立的な語（例えば 「韓国人」や「中国」)，コロナ禍における排外主義的 な言動を収集するために「反日」や「売国」といっ た語を含めた。

## 3.2 データ収集

日本語のツイートを Twitter Search API を用い収集 した。COVID-19関係の暴言ツィート候補について は, 上記の検索語と, 一般的に COVID-19 関係の話題に含まれるキーワードである「コロナ」を AND検索して収集した。また，COVID-19 以外の暴言ツ イート候補については，上記の検索語から「コロ ナ」を除外して検索し収集した。なお，今回収集し た COVID-19 関係の暴言ツイート候補は全て目視で COVID-19関連であることを確認した。検索におい ては URL や画像・動画を含むもの, リツイートを除外した。検索は 2020/12/1-2020/12/9 の期間の日本時間の各日に, 各検索語の組に対して上限 100 ツィー トまでランダム選択で収集した。さらに各検索語か ら期間中に収集されたツイートに対し，それぞれ 5 から 23 件を乱択しデータセットを作成した。

## 3.3 ガイドライン設計

ヘイトスピーチに関する人文社会科学分野の研究蓄積からも「へイト（スピーチ）」概念の定義につい ては一致を見せておらず，なおのこと非専門家アノ テーターに対して同概念の適用に関する判断を求め ることは困難である．そのため, 本研究ではこうし た概念を使用せず，その典型的な特徴である「集団 に対する攻撃」という側面に基づいて，より負荷の 少ない判断を求める方法をとった. 具体的には，ラ ベルを攻撃対象 (A) と攻撃内容 (B) に分け, 各々を 細分化したガイドラインを設計した. ラベル A のカ テゴリはツイートが話題にしている対象者の分類で ある. ラベル B のカテゴリは $\mathrm{A}$ で選択された対象者に対する攻撃の種類の分類である。また，[22] の 分類を参考に，文として成立しておらず意味が取れ ないもの, 広告のみのもの, フィクションについて のツイートなどは分類の対象外となるラベル C とし た。アノテーターには各対象ツイートの本文につい て A，B 各カテゴリから 1 つ以上の該当ラベルを選択するか， $\mathrm{C}$ を選択するよう指示した.ツイート内容に複数の主張が含まれるケースを考慮し, A と B それぞれのラベルについて複数選択可能にした。

ガイドラインには，簡単な説明と短い例文を添え たラベル及び，アノテーションについての補足説明 とラベル付けの具体例を記載した。また，ある表現 が差別語にあたるかどうかの判断は個々の知識に依存するため, 今回は「中国ウイルス」や「在日特権」 などを含む 27 項目の差別語からなるリストを作成 し, アノテーターが参照できるよう配慮した。

表 1 にアノテーションに用いたラベルの概要を 示す. A1 は人種やセクシャリティなどに基づくグ ループ，A2 はそれに限らない職業や思想などで定義されるグループとし， A3 は著名人や知人等であ
表 1 ラベルの概要.

## カテゴリ A 対象

A1容易に変更できないヒトの属性に もとづくグループ

A2 A1には当てはまらない何らかのグ ループ

A3 個人

A4 対象がはっきりしないもの

カテゴリ B 攻撃タイプ

B1コミュニティや地域からの排除を 告知・扇動する

B2 生命を脅かす，精神的・身体的な 危害を加える，名誉を傷つけるな どのことを告知・扇動する

B3 口污くののしる，侮辱する

B4不確かな根拠にもとづいた情報を 言いふらす，拡散させる

B5

B1-B4 のどれにも当てはまらず，攻撃的でない

る. B1 と B2 は，日本のいわゆる「ヘイトスピーチ 解消法」の施行に伴う啓発活動において用いられ たへイトスピーチの例示 ${ }^{3}$ ， 及び川崎市のヘイトス ピーチ禁止条例解釈指針4)を参考に作成した．B3に 該当するのは，例えば「ゴキブリ以下」など侮荗的 なことを言い誰かをおとしめる行為である．B4 に 該当するのは，例えば「○○人が暴動を起こしてい る」など事実関係が不明なことを言いふらす・拡散 させるなどして誰かをおとしめる行為である.

補足説明では, 差別語や「バカ」や「チビ」といっ た不快語がツイートに含まれていることだけを根拠 としてそのツイートを攻撃的だと判断しないよう指示した。また, 「政権太郎は議員を辞めるべきであ る」といった内容を含むツイートはある意味で特定 のコミュニティから個人を排除するよう主張するも のだが，批判・論評の範囲に収まる内容の場合には 攻撃的と判断しないよう指示した. A1 かつ B1，ま たは A1 かつ B2 のツイートが明確なヘイトスピー チの事例と考えられる．A1 かつ B3，または A1 か つ B4 のツイートは保護の対象となるグループに対 する攻撃的な内容を有し，法規制の対象外ではある ものの少なくともその一部には広義のヘイトスピー チに該当するものが含まれていると考えられる.

3) http://www.moj.go.jp/JINKEN/jinken04_00108.html

4) https://www.city.kawasaki.jp/templates/press/cmsfiles/contents /0000115/115983/0316houdou.pdf

## 3.4 アノテーション

本研究ではクラウドソーシングプラットフォー ムであるランサーズ5)を通じてアノテーションを実施した。アノテーターは日本語のネイティブスピー カー 3 名とした. アノテーターは最初にガイドライ ンの読み込み及び 10 問のアノテーションテストを 全問正解するまで繰り返し実施し，ガイドラインを 十分理解するようにした。その後アノテーターはツ イートのアノテーションを実施した。多数決によっ て 2 人以上一致したアノテーションを各ツイートの ラベルとした。

## 4 データセットの概要

キーワード「コロナ」を含むツイート 230 件，含 まないツイート 270 件のデータセットが得られた。 それぞれ CALD (COVID-19-related abusive language dataset), NALD (non-COVID-related abusive language dataset) とする. B1〜B4 の少なくとも一つのラ ベル（攻撃的ラベル）を得たデータは，CALD が

判定される B5 のラベルを得たデータは，CALDが 41.3\%，NALD が 50\%であった. 各データセットに おける各ラベルの総数を表 2 に示す.

クラウドワーカー 3 人のアノテーションの一致度 は, 全体で CALD で 0.83 , NALD で 0.80 であった。 ラベルがつかなかったケースは, CALDで 15 件, NALD で 17 件あった。他の方法はアノテーション の前に候補ツイートのスクリーニング [4] などを利用しているが，本研究ではラベルなしの割合が $10 \%$以下となるため，ワーカーによる判断のゆらぎはあ る程度抑えられたと考えられる。

## 5 分析 $\cdot$ 考察

差別語を含むが無害な事例 3.3 節で述べたよう に，アノテーターには差別語が含まれていることだ けを理由に攻撃的なツイートと判断しないよう指示 した. その結果, 差別語が含まれる発言を引用しそ の発言を非難するといったカウンタースピーチにあ たる事例や，差別語が含まれているが誰かをおとし める目的のない事例が B5 に分類されていた.

CALD と NALD の比較 CALD と NALD との比較 を通じて，以下の仮説を得ることができた。まず，同期間で明らかなへイトスピーチに該当する A1

5) https://www.lancers.jp/
表 2 データセットのラベル数及びアノテーション一致度.

と B1，または A1と B2 の組み合わせの出現率は, CALD で $5.7 \%$, NALD で $2.2 \%$ といずれも低水準で あり, 有意な差はみられなかった. 他方, 罵倒や侮辱などの暴言を指す B3 と $\mathrm{A} 1$ との組み合わせでは, NALD がやや多かった（CALD で 22.6\%，NALD で $24.8 \%$ ）.またフェイクニュースやデマに相当する B4 と A1 との組み合わせでは, CALD が顕著に多 かった（CALDで 30.4\%, NALDで $23.3 \%$ ).これよ り, COVID-19 の流行にかこつけた暴言に関しては,明らかなへイトスピーチや罵倒・侮聋的発言より も, まことしやかなデマ, フェイクニュースの形を とりがちである，という仮説が提出できる。これは 今後の計量的な検証が必要なものの, 今回のアノ テーション方式を通じて可能になった示唆である.

アノテーションが摇れた事例 ラベルがつかな かったツイートについては, 専門家かどうかに関 わらず判断の難しい事例が多数見られた。例えば,「○○人の友人がいますが, 表面的に付き合う分に はいいが社会的に付き合うなら警戒感が欠かせま せん」というツイートは，「黒人の友達がいる」論法 6) の典型的な事例だが，この内容だけでは当のツ イートが暴言かどうかを判断するのは難しい。この ツイートは特定の人種に対する何らかの偏見に基づ いており，ある種の有害さを含んでいると考えられ るが，B1 やB2 に該当しないのはもちろんのこと，明確な侮辱でもなければ, 具体的なデマや偏見を拡散させるものでもない.

個人差がある事例 他国の政権や政党に言及した ものや在日米軍などの他国の組織への言及があるツ イートについて，A2 だけをアノテーションする者 と, A1 と A2 の両方にアノテーションする者に分 かれる場合があった。例えば「中国さん」というフ レーズを含むツイートは中国政府だけでなく中国人 あるいは一般に中国に向けられたものと考えられる が，中国政府だけを標的とした攻撃的ツイートとし て A2 のみアノテーションされた場合があった。

6）被差別者の友人や知人がいることを前置きし，自身が差別主義者でないことを主張ないしは示唆すること. 差別主義者 の常套句として知られる.

## 6 おわりに

本研究のアノテーション設計は，「ヘイトスピー チ」のような高負荷な概念に頼ることなく, 非専門家アノテーターによる一定水準の検出を可能にする ものであった。とりわけガイドラインは，オンライ ン上の暴言・ヘイトスピーチについて，きめ細かな 把握が可能である.これらはへイトスピーチに関す る人文社会科学の知見を生かしつつ，またそれらの 分野から提出される仮説の検証と社会実装につなが るデータセットの構築という学際的研究の進展に貢献するものである.

今後の課題として以下がある.まず，本研究は現段階ではアノテーション済みデータの総数が小さ く, 定量的な判断や仮説検証は難しい。同様に，ア ノテーター数が少ないために, 現段階では偏りやバ イアスの可能性を排除できない。今後，アノテー ター数を増やしガイドラインを改良することによっ て, 5 章で紹介したようなアノテーションの摇れや 個人差の問題を解消できる可能性がある.

さらに，データセット構築の先に望まれる社会実装に向けた分野横断的な課題がある。言語処理の観点では，今回のアノテーションで $\mathrm{C} に$ 分類されたノ イズを事前に除去したり，B5 のような検索語を含 むが非攻撃的なタイプのツイートを識別することな どの自動化を試みることが期待される．他方，人文社会科学の観点では，とりわけ国内法におけるへイ トスピーチ検出に向けて，現ガイドラインでは区別 できないB3（罵倒表現）やB4（フェイクニュース， デマ）の悪さの「程度」について一定の判定を可能 にするための理論的検討や，それに基づいたガイド ライン整備などが求められる.

謝辞. 本研究の一部は JST さきがけ JPMJPR1752, JSPS 科研費 18K12194, JP20K19868, T19K230050, 2020 年度南山大学パッへ研究奨励金 I-A-2 の助成を受けたものである。

## 参考文献

[1] Fabio Del Vigna, Andrea Cimino, Felice Dell'Orletta, Marinella Petrocchi, and Maurizio Tesconi. Hate me, hate me not: Hate speech detection on Facebook. In Proceedings of the First Italian Conference on Cybersecurity (ITASEC17), pp. 86-95, 2017.

[2] Nadezhda Zueva, Madina Kabirova, and Pavel Kalaidin. Reducing unintended identity bias in Russian hate speech detection. In Proceedings of the Fourth Workshop on Online Abuse and Harms, pp. 65-69, 2020.

[3] Suppawong Tuarob and Jarernsri Mitrpanont. Automatic discovery of abusive thai language usages in social networks. In International Conference on Asian Digital Libraries, pp. 267-278, 2017.

[4] Muhammad Okky Ibrohim and Indra Budi. Multi-label hate speech and abusive language detection in Indonesian Twitter. In Proceedings of the Third Workshop on Abusive Language Online, pp. 46-57, 2019.

[5] Thomas Davidson, Debasmita Bhattacharya, and Ingmar Weber. Racial bias in hate speech and abusive language detection datasets. In Proceedings of the Third Workshop on Abusive Language Online, pp. 25-35, 2019.

[6] Alexander Brown. What is hate speech? part 1: The myth of hate. Law and Philosophy, Vol. 36, pp. 419-468, 2017.

[7] Sai Saket Aluru, Binny Mathew, Punyajoy Saha, and Animesh Mukherjee. Deep learning models for multilingual hate speech detection. arXiv:2004.06465, 2020.

[8] Zeerak Waseem and Dirk Hovy. Hateful symbols or hateful people? predictive features for hate speech detection on Twitter. In Proceedings of the NAACL student research workshop, pp. 88-93, 2016.

[9] Chikashi Nobata, Joel Tetreault, Achint Thomas, Yashar Mehdad, and Yi Chang. Abusive language detection in online user content. In Proceedings of the 25th international conference on world wide web, pp. 145-153, 2016.

[10] Thomas Davidson, Dana Warmsley, Michael Macy, and Ingmar Weber. Automated hate speech detection and the problem of offensive language. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11, 2017.

[11] Antigoni Founta, Constantinos Djouvas, Despoina Chatzakou, Ilias Leontiadis, Jeremy Blackburn, Gianluca Stringhini, Athena Vakali, Michael Sirivianos, and Nicolas Kourtellis. Large scale crowdsourcing and characterization of Twitter abusive behavior. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 12, 2018.

[12] Shiladitya Bhattacharya, Siddharth Singh, Ritesh Kumar, Akanksha Bansal, Akash Bhagat, Yogesh Dawer, Bornini Lahiri, and Atul Kr. Ojha. Developing a multilingual annotated corpus of misogyny and aggression. In Proceedings of the Second Workshop on Trolling, Aggression and Cyberbullying, pp. 158-168, 2020.

[13] Paula Fortuna, João Rocha da Silva, Juan Soler-Company, Leo Wanner, and Sérgio Nunes. A hierarchically-labeled Portuguese hate speech dataset. In Proceedings of the Third Workshop on Abusive Language Online, pp. 94-104,
2019.

[14] Binny Mathew, Punyajoy Saha, Seid Muhie Yimam, Chris Biemann, Pawan Goyal, and Animesh Mukherjee. Hatexplain: A benchmark dataset for explainable hate speech detection. arXiv:2012.10289, 2020.

[15] Nedjma Ousidhoum, Zizheng Lin, Hongming Zhang, Yangqiu Song, and Dit-Yan Yeung. Multilingual and multiaspect hate speech analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4675-4684, 2019.

[16] 松葉達明, 桝井文人, 河合敦夫, 井須尚紀. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 言語処理学会第 17 回年次大会発表論文集, pp. 388-391, 2011.

[17]新田大征, 桝井文人, Ptaszynski Michal, 木村泰知, Rzepka Rafal, 荒木健治. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 人工知能学会全国大会論文集, Vol. JSAI2013, pp. 2039-2039, 2013

[18] Michal Ptaszynski, Fumito Masui, Taisei Nitta, Suzuha Hatakeyama, Yasutomo Kimura, Rafal Rzepka, and Kenji Araki. Sustainable cyberbullying detection with categorymaximized relevance of harmful phrases and doublefiltered automatic optimization. International Journal of Child-Computer Interaction, Vol. 8, pp. 15 - 30, 2016.

[19] Michal E Ptaszynski and Fumito Masui. Automatic Cyberbullying Detection: Emerging Research and Opportunities: Emerging Research and Opportunities. IGI Global, 2018.

[20] Caleb Ziems, Bing He, Sandeep Soni, and Srijan Kumar. Racism is a virus: Anti-Asian hate and counterhate in social media during the COVID-19 crisis. arXiv:2005.12423, 2020.

[21] Bertie Vidgen, Scott Hale, Ella Guest, Helen Margetts, David Broniatowski, Zeerak Waseem, Austin Botelho, Matthew Hall, and Rebekah Tromble. Detecting East Asian prejudice on social media. In Proceedings of the Fourth Workshop on Online Abuse and Harms, 2020.

[22] Ona de Gibert, Naiara Perez, Aitor García-Pablos, and Montse Cuadros. Hate speech dataset from a white supremacy forum. In Proceedings of the 2nd Workshop on Abusive Language Online (ALW2), pp. 11-20. Association for Computational Linguistics, 2018.
 荒井 ひろみ ${ }^{1,2}$ 和泉 悠 ${ }^{3}$ 朱 喜哲 4 仲宗根 勝仁 1 谷中 瞳 1 1 理化学研究所 2 科学技術振興機構 さきがけ 3 南山大学 4 大阪大学 \{hiromi.arai, katsuhito. nakasone, hitomi .yanaka\}@riken.jp, yuizumi@nanzan-u.ac.jp, nyarl905@gmai.com  