# 不適切投稿自動検出システムの構築と放送禁止用語による検証

近藤昌也 ${ }^{1}$ 狩野芳伸 ${ }^{2}$
${ }^{1}$ Septeni Japan 株式会社 2 静岡大学
masaya.kondo@septeni.co.jp kano@inf.shizuoka.ac.jp

## 概要

偏見や誹謗中傷といった不適切な表現を検知する モデルの構築には従来アノテーションを必要とし てきたが，本研究はアノテーション無しに半自動的 に訓練データを構成するシステムを提案する。不適切な単語リストを予め用意し，不適切な単語を含む SNS 投稿を頻繁に行うユーザとそうでないユーザを ルールベースで分類し，機械的にアノテーションに 相当する訓練データを用意する. この訓練データで 構築されたモデルは, 特定の不適切表現に基づくア ノテーションデータで学習されたモデルに比べて,背後にある潜在的なユーザ属性を捉え様々な不適切表現をより有効に検知できる可能性を示す.

## 1 はじめに

近年, SNS 上の誹謗中傷書き込みが社会問題と なっている. その背景のひとつには，コロナ禍によ り社会全体が不安に包まれている中，SNS の利用時間が増えネガティブな情報に触れる機会が多くなっ たことが挙げられる [1]. このような状況の下, SNS 上の偏見や誹謗中傷といった不適切な書き込みを検知するシステムの開発は社会的に重要であり, 様々 な研究が行われてきた $[2,3,4,5]$. いずれの先行研究においても SNS 等のインターネット上の文章に 対し不適切かどうかのラベルを人手で付与し， モデ ルの学習を行っており, 人的コストがかかる. 日本語の公開学習済みモデルで関連するものとしては, ネットいじめのデータで学習したモデルがある $[4]^{1)}$ が，いずれの先行研究でも公開アノテーションデー タをみつけることができず，報告されたモデルの再現が難しい. また，学習データが特定ドメインや小規模であり未知語に弱く, 対象の特徴である新出単語の多さや不適切な表現の幅広さに対応し難い.

我々は，不適切な SNS 投稿の検知モデル構築のた

1) https://huggingface.co/ptaszynski/yacis-electra-small-japanesecyberbullying
めに，不適切かどうかの人手アノテーション作業な しに，モデル構築のためのデータを半自動的に収集 するシステムを提案する. 本研究のデータ収集シス テムは最初に不適切な単語のリストを定義する必要 があるが，それ以外は機械的に実行できる。

本研究では，不適切な表現をより高頻度に使用す るユーザは，最初に種として与えた単語リストにな い不適切な表現をも含む投稿が多い，と仮定する。 そのうえで，提案システムではこの不適切な単語の リストを用いて，不適切な投稿をしがちな SNS ユー ザ群（不適切群）とそうでない一般のSNS ユーザ群 （一般群）をルールベースで分類し，それぞれのユー ザ群における投稿を大規模収集することで，不適切群かどうかの二値分類ラベルが付与された投稿デー タセットを構築する．単に半自動的構築ができるの みならず，潜在的なユーザ属性とさまざまな表現の 広がりを捕捉できると期待する。この二値ラベル付 き投稿データを用いて，SNS などの投稿が適切かど うかを分類し, 荒井ら [6] が作成した日本語へイト スピーチコーパスと，自前で作成した偏見アノテー ション付き投稿コーパスとでその性能をそれぞれ検証し，提案システムが有効に動作することを示す。

## 2 関連研究

松葉ら [2] は, 学校非公式サイトに投稿された書 き込みに対し，検知すべき有害情報の定義を行っ た. 有害・無害情報を含む実際の書き込み 500 件に 対し， 6 人のアノテーターで有害（削除），有害（審議), 無害の 3 つのラベルを付与し，アノテーショ ンラベルの一致度を確認し有害情報の定義に問題が ないことを確認した上で 2,998 件の書き込みに対し ても同様のラベル付けを行い，教師データを作成し た.このデータを用い，書き込み文章の品詞の素性 やTF-IDF などのスコアを特徴量として SVM[7] で 有害・無害を分類するモデルを構築した。

石坂ら [3] は，誹謗中傷のような「悪口文」は「悪口単語」の有無で十分に判断可能という仮説のも

図1 不適切群ユーザのデータ収集の流れ

図 2 不適切群ユーザのバイアス単語抽出方法

と, 単語の「悪口度」を用いて素性選択したSVM で，2ちゃんねるの書き込みから誹謗中傷かどうか を分類するモデルを構築した. モデルを構築する際 には2ちゃんねるから悪口文・非悪口文をそれぞれ 1,400 文ずつ収集している.

柴田ら [4] は, 口語的な文章の処理に焦点を当て た ELECTRA[8] による事前学習済み言語モデルを構築し, 応用例として口語の理解が必要なネットいじ め検出を扱っている. 松葉ら [2] の学校非公式サイ トの書き込みデータに加え, Twitter から収集した有害ツイートデータセットを組み合わせてネットいじ め検出データセットを構築している。

松本ら [5]では，BERT[9]を使って Twitter に投稿 されたリプライツイートがリプライ元のツイートを 煽っているかどうかを分類するモデルを構築してい る. リプライツイートとリプライ元ツイートの組を 収集し，ツイートの組に対し，人手で煽り・非煽り のラベルを付与し，煽りッイートの組 2,134 件，非煽りツイートの組 7,786 件を構築している.

いずれの研究においても，人手でラベル付けし たデータを使ってモデルを構築しているが，デー タが公開されておらず再現が難しい. 柴田ら [4] は HuggingFace 上で学習済みモデルを公開している.

## 3 提案手法

本研究では，SNS 投稿が不適切かどうかを分類す るための訓練データを, 人手のアノテーション作業 を行わずに構成するシステムを提案する。提案シス テムはたとえば Twitter のように，投稿を取得する API が公開されており，かつそのプラットフォーム 上のユーザとユーザの投稿内容が紐づく SNS から
のデータ収集を想定している.

最初に「種」として予め不適切な単語のリストを 用意し, 不適切な単語を含む投稿をより高頻度に行 うユーザを不適切群とみなして抽出する（図 1). 全投稿に共通する形態素列が多いユーザや全投稿に URL を含むユーザは，BOT や商品宣伝用のアカウ ントの可能性が高いため除外した。こうして得られ た不適切群の各ユーザについて，投稿を収集する. さらに，不適切群以外から無作為抽出したユーザを 一般ユーザとみなし，ユーザを 2 群に自動分類す る. こうして得られた 2 群の投稿セットを用いて分類を学習し，不適切投稿推測モデルを構築する.

## 4 実験

## 4.1 放送禁止用語を利用した不適切 Twitter ユーザ群とその投稿の収集

Twitter 投稿を対象に，種となる不適切な単語リス トとして放送禁止用語2)を採用し, 不適切群ユーザ のツイートデータを 2022 年 3 月 24 日から 2022 年 7 月 12 日の間で収集した. 5 ツイート以上投稿履歴 があるユーザの中から, 収集期間中に放送禁止用語を含むツイートを 3 回以上行ったユーザを不適切群ユーザとして，1,243人の不適切群ユーザ, 計 1,209,138 件の投稿を集めることができた. mention や hashtag の文字列はツイートテキスト中から削除 した. 文字数が少ないツイートや，放送禁止用語自体を含むツイートも削除した。

実際に収集された不適切群ユーザのツイートを 分析したところ，社会情勢（ロシアとウクライナの 戦争や選挙，新型コロナウイルス関連）に関する時

2）放送禁止用語一覧 http://monoroch.net/kinshi/で紹介されて いる見出し語
事的なツイートが相当数含まれていた. 時事的なト ピックのツイートかどうかで容易に分類ができてし まうと, 必ずしも本研究の目的にそぐわないため, これらのトピックの代表的な特徴語を抽出し（図 2), 抽出された単語を含むツイートを不適切群ユー ザのツイートから除外する処理を準備した. 実際に 抽出された単語は「日本，ロシア，ウクライナ，国民，中国，日本人，ワクチン，戦争，自民党，コロ ナ」であった.

## 4.2 不適切投稿分類の学習

分類モデルは事前学習済みの日本語 BERT モデ ル3)の最終層に全結合線形層を 1 層追加しファイン チューニングを行って構築した。一般群ユーザから 不適切群と同数のユーザをランダムピックアップし た上で，一般群ユーザ，不適切群ユーザそれぞれを 7:1.5:1.5 で三つにランダム分割し, 学習データ，検証データ，テストデータに分けた。

前節で説明した手法により，時事単語を含むツ イートを不適切群ユーザのツイートから除外した データを使って学習したモデル（*notopical）も用意し比較した. notopical がモデル名末尾にないも のはこの時事単語の除外を適用していない.

学習時に与えるデータの単位として，1ツイート (1tweet_*), 5ツイート (5tweet_*), モデルの入力最大長である 512 トークン (maxlength_*) の 3 種類を 比較した. すなわち，学習時のエポック毎に対象 ユーザを割り振り，そのユーザのツイートをランダ ムサンプリングして， 1 件， 5 件ないし最大長に至 るまで結合して入力とした.

学習は HuggingFace の Trainer クラズ)を使って行 い，検証データの ROC-AUC が最大になる時点のモ デルを保存した. 学習に使用した主な設定情報は表 5 の通りである.

## 5 評価

前章で説明した提案モデル 6 種類（1 ツイート単位, 5 ツイート単位, 最大長の 3 種類と, 時事トピッ クを除外するしないの 2 種類の組合せ）に，ベー スラインとしてネットいじめデータで訓練した柴田ら [4] の公開学習済みモデル (yacis-electra-smalljapanese-cyberbullying, 以下 cyberbullying と呼ぶ）を 加えた計 7 種類のモデルを対象に評価を行った.


$\frac{\text { 表 } 1 \text { 検証・テストデータにおける精度 (ROC-AUC) }}{\text { 検証データ テストデータ }}$

評価データとして，前述の半自動的に構築した不適切・一般の二值分類データセットに加え, 荒井ら [6] の日本語へイトスピーチコーパスと，我々が独自に作成した 5 ちゃんねるの偏見アノテーション付 き投稿コーパスとの 3 種類を用いた。

## 5.1 不適切群ユーザ群投稿分類

不適切かどうかの二値分類データにおける ROC-AUC スコアを表 1 に示す. スコアは入力長が 長いほど向上し, 時事単語を除くと全体に数ポイン ト下落したが，maxlength_notopical のテストデータ 評価値は 0.97 であり，提案手法により収集した一般群と不適切群ユーザの投稿は BERT モデルにより高 い精度で分類可能であることがわかった.

## 5.2 日本語ヘイトスピーチコーパス

日本語ヘイトスピーチコーパスでは，キーワード 「コロナ」を含むツイート 230 件，含まないツイー ト 270 件の合計 500 件のツイートに対し，へイトス ピーチの分類を攻撃対象 (A カテゴリ) と攻撃タイ プ (B カテゴリ)の 2 軸で分け，各々を細分化したガ イドラインを設計している。また，3名のアノテー ターが各カテゴリにおけるラベルに投票しており，各カテゴリについて全員が一致した割合を計算した ところ, 平均 $70.2 \%(43.2 \% \sim 97.0 \%)$ であった.

実験の評価値として，A1 から B5 までの各カテ ゴリについて，各ツイートに対する 3 名のアノテー ターの投票数と, 各モデルが不適切群ユーザと予測 した確率の相関係数を算出した（表 2）.

## 5.35 ちゃんねる偏見コーパス

5 ちゃんねるの「私の中の偏見...」「愚痴・悪口】 ネガティブ専用チラシの裏...【誹謗中傷】」スレッ ド5）における書き込みから 1,000 件を抽出し， 3 名

5) http://medaka.5ch.net/test/read.cgi/kankon/1637901301, https://medaka.5ch.net/test/read.cgi/wmotenai/1655780116, https://medaka.5ch.net/test/read.cgi/wmotenai/1626458070
表 2 日本語ヘイトスピーチコーパスの各カテゴリにおける相関係数

表 35 ちゃんねる偏見コーパスにおける評価スコア

のアノテーターにより，5ちゃんねるの書き込みそ れぞれに対し偏見に当てはまるかを 0（当てはまら ない)，1（少し当てはまる），2（概ね当てはまる）， 3（強く当てはまる）の 4 段階でラベル付与を行っ た. Accuracy によるアノテーター間のラベル一致率は，全員一致の場合で $29.8 \% ， 2$ 名一致の場合で $87.2 \%$ あった. ラベルが 0 かそうでないかの二值分類とみなすと，全員一致が $52.5 \%$ であった.

5 ちゃんねる偏見コーパスについても同様に，3 名のアノテーターの評価ラベルの平均值と不適切群 ユーザに属する予測確率値の相関係数を算出した. また，1名でも 1 以上のラベルをつけていた場合は 偏見ラベル，全員が 0 とラベル付していた場合は正常ラベルとする二値分類タスクの ROC-AUC スコア の算出も行った（表 3).

## 6 考察

表 4 不適切群ツイートのイメージ

日本語ヘイトスピーチコーパスの B5 カテゴリは 「誹謗中傷に該当しない」である．B5に着目した二值分類を実行すると，ROC-AUC スコアは 0.7 程度 であった。不適切群ユーザで投稿と予測した確率と は，5tweet_notopical と 1tweet_notopical が負の相関 を示し，いじめ問題で学習された cyberbullying より も負の相関が強い. 提案手法はヘイトスピーチを判別する性能があることが伺える．5ちゃんねる偏見 コーパスの評価スコアも同様の結果となった.

日本語ヘイトスピーチコーパスや 5 ちゃんねる偏見コーパスの評価スコアに比べて，不適切群ユーザ 群投稿の分類ははるかに評価スコアが高かった. 前述のように，それぞれのコーパスのアノテーション 一致率は二值分類タスクで $70 \%$ 程度であり，比較的難易度の高いタスク設計になっている。

また，提案手法により機械的に収集した訓練デー タのほうが，特定の有害情報を元に人手のアノテー ションで作成された訓練データよりも広く一般的な 不適切表現の特徵を多く含んでいた可能性がある.表 4 は実際に提案手法によって収集された不適切群投稿の例（原文の一部を改変）であるが，社会情勢 に関する投稿の他に，偏見や皮肉，誹謗中傷とも取 れる投稿が見受けられた。

## 7 おわりに

本研究では，アノテーション作業なしに半自動的 に不適切な表現に関するデータを収集してモデルを 構築するシステムを提案しその有効性を検証した。今後の課題として，種として用意する放送禁止用語 を別の不適切な単語群に置き換えても同様の結果が 示せるのか調査したい。また今後の応用例として，全く別の観点における単語リスト（例えばポジティ ブな表現の単語リストなど）を用意し，同様のデー タ収集を行うことで，どのような属性のデータが収集できるのか，また収集したデータを使って機械学習モデルを構築したとき，どのようなタスクに応用 できるのか検討したい.

## 謝辞

日本語ヘイトスピーチデータセットを提供いただ いた理化学研究所の荒井先生に感謝いたします.ま た本研究を進めるにあたって, Septeni Japan 株式会社の勢风弘幸氏と勝谷龍一氏から日々助言をいただ き感謝いたします。

## 参考文献

[1] 山口真一. わが国における誹謗中傷・フェイクニュー スの実態と社会的対処. Technical report, プラット フォームサービスに関する研究会, 2021.

[2] 松葉達明, 栘井文人, 河合敦夫, 井須尚紀. 学校非公式 サイトにおける有害情報検出. 言語処理学会 第 16 回年次大会 発表論文集, pp. 383-386, 2010.

[3] 石坂達也, 山本和英. Web 上の誹謗中傷を表す文の自動検出. 言語処理学会 第 17 回年次大会 発表論文集, pp. 131-134, 2011.

[4] 柴田祥伍, プタシンスキミハウ, エロネンユーソ,ノ ヴァコフスキカロル, 栘井文人. 日本語大規模ブログ コーパス yacis に基づいた electra 事前学習済み言語モ デルの作成及び性能評価. 言語処理学会 第 28 回年次大会 発表論文集, pp. 285-289, 2022.

[5] 松本典久, 上野史, 太田学. Bert を利用した煽りッイー ト検出の一手法. データ工学と情報マネジメントに関 するフォーラム, pp. I14-2, 2021.

[6] 荒井ひろみ, 和泉悠, 朱喜哲, 仲宗根勝仁, 谷中瞳. ソー シャルメディアにおけるへイトスピーチ検出に向け た日本語データセット構築の試案. 言語処理学会 第 27 回年次大会 発表論文集, pp. 466-470, 2021.

[7] Vladimir N. Vapnik. The Nature of Statistical Learning Theory. Springer, 1995.

[8] Quoc V Le Kevin Clark, Minh-Thang Luong and Christopher D Manning. Electra: Pre-training text encoders as discriminators rather than generators. arXiv preprint arXiv:2003.10555, 2020.

[9] Kenton Lee Jacob Devlin, Ming-Wei Chang and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprintarXiv:1810.04805, 2018.

## A 付録

## A. 1 学習時の主な設定情報

表 5 学習時に使用した主な設定情報

## A. 2 学習モデルの予測の振る舞い例

提案手法により構築したモデルのうち，日本語ヘイトスピーチコーパスと 5 ちゃねる偏見コーパスの評価スコアが最も良かった 5tweet_notopical モデルについて，不適切群ユーザ群の予測確率の振る舞いを例文 とともに紹介する（表 6）.

誹謗中傷や偏見と考えられる不適切な文章は，不適切群ユーザである予測確率は高めに算出される傾向に ある。また不適切なコピー文と思われる文章についても日常会話などの一般的な文章と比べると不適切群 ユーザである予測確率は大きくなる傾向にあることがわかる.

表 6 モデルの予測例


 近藤昌也 ${ }^{1}$ 狩野芳伸 ${ }^{2}$ ${ }^{1}$ Septeni Japan 株式会社 2 静岡大学 masaya.kondo@septeni.co.jp kano@inf.shizuoka.ac.jp  