# 日本語有害表現スキーマの提案と評価

小林 滉河 ${ }^{1}$ 山崎 天 ${ }^{1}$ 吉川 克正 ${ }^{1}$ 牧田 光晴 1
中町 礼文 ${ }^{1}$ 佐藤 京也 ${ }^{1,2}$ 浅原 正幸 ${ }^{3}$ 佐藤 敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 東京都立大学 ${ }^{3}$ 国立国語研究所
\{koga.kobayashi, takato.yamazaki, katsumasa.yoshikawa, makita.mitsuharu,
akifumi.nakamachi, keiya.sato, toshinori.sato\}@linecorp.com
masayu-a@ninjal.ac.jp

## 概要

本研究では、言語モデルや人が生成した有害表現 の検知を目的としたラベリングスキーマを考案し、日本語有害表現データセットの構築と評価に取り組 んだ。まず、提案したスキーマを用いてデータセッ トを構築し、アノテーションに関する定量的な分析 を行った。次に、構築したデータセットを利用して 有害表現検知器を作成した。作成した有害表現検知器は既存の有害表現検知システムに比べ、少ない データ数で同等の性能を達成し、様々な種類の有害表現を捉えられる可能性を示した。また、対話シス テムが生成した応答に対して、有害表現検知器を適用したところ、有害な発話を高精度で検知できるこ とを確認した。

## 1 はじめに

大規模な Webテキストコーパスによって構築さ れた言語モデルが、有害な文章を生成するリスクが 問題視されている $[1,2]$ 。この問題に対して、言語 モデルによって生成されたテキストをフィルタリン グすることで、有害表現を抑制する取り組みが行わ れている [3]。しかし有害/非有害といった単純なラ ベルで構築したフィルターだけでは、図 1 に示すよ うな対話システムの個性を表現するために差別的な 表現のみを抑制したいといった複雑なユースケース には利用できない。

また、インターネットの普及により、YouTube や Twitterのようなソーシャルプラットフォームは人々 の生活に欠かせない存在になっている。一方で、プ ラットフォーム上でのへイトスピーチや嫌がらせと いった有害表現が急増している [4]。この問題に対処するため、有害表現データセットの構築に関する 研究が英語 [5]、韓国語 [6]、ポルトガル語 [7] などの

図 1 同じ発話でもシステムによって、適切なフィルタリ ングは異なる。例えば、攻撃的な性格を持つ対話システ ムを構築したい場合、暴力的な文章を全てフィルターす ると適切な応答を得られない場合がある。

多様な言語で行われている。しかし、日本語の大規模なデータに対する有害表現ラベルのアノテーショ ンは、限定的にしか行われていない。

本研究では、言語モデルが生成した文章や人が書 いた文章を対象として、有害表現1)を詳細に分類で きる有害表現スキーマを提案する。さらに、提案 したスキーマを元にデータセット2)を構築した。ま た、構築したデータセットを用いて、有害レベル予測モデルと有害カテゴリ予測モデルの 2 つの有害表現検知器を構築し、評価した。実験の結果、作成し た有害レベル予測モデルは公開されている多言語有害表現検知システムと同等の ROC-AUC が得られる ことを日本語において確認した。また有害レベル予測モデルが実運用に耐えうるか確認するため、対話

1）本稿では有害表現について説明するため、気分を害する可能性がある文が含まれています。

2）有害表現スキーマとデータセットの一部は https: //github.com/inspection-ai/japanese-toxic-datasetにて 公開している。

システムに対する性能を測定した。その結果、構築 したモデルは対話システムの有害発話を防ぐのに有効であることを確認した。有害カテゴリ予測モデル では、 4 つのカテゴリについて ROC-AUC が 0.6 を 超え、有害表現をより詳細に分類できる可能性を示 した。

## 2 関連研究

事前学習済みモデルの発展により、言語モデルが 生成する有害表現の制御に関する研究が近年盛んに なっている [1]。ConvAbuse データセット [8]では、対話モデルを対象とした有害表現スキーマを提案 し、 5 段階の有害レベルによるラベリング、 8 種類 の有害タイプ、ターゲットや直接性といった様々な 観点からアノテーションスキーマを定義し、ラベル 付きデータセットを公開した。

ソーシャルプラットフォーム上の有害表現研究として、Twitter[9]、YouTube[10]、Reddit[11]、 Wikipedia[12] で構築された有害表現データセットが 公開されている。このような有害表現に関する研究 では、共通して利用される分類スキーマは存在せ ず、各研究が対象にするカテゴリについて焦点が置 かれた、独自のアノテーションスキーマを利用して いることが多い。

また日本語に対応している有害表現検知器に Perspective API[13] がある。これは 100 万文以上か ら構成される多言語有害表現データセットを学習し たモデルの推論結果を提供するサービスである。こ のモデルの学習に利用したデータセットは公開され ておらず、単一言語で学習したときの性能について 明記されていない。そのため実験結果を再現するた めには多言語での大量のアノテーションが必要とな り、非常に高いコストが要求される。

日本語圏においては、インターネット上のいじ め $[14,15]$ やソーシャルメディアにおけるへイトス ピーチ検出 [16] を対象とした類似研究が存在する。本研究では、いじめやへイトスピーチだけではな く、言語モデルや人による有害表現全体を対象とし た、アノテーションスキーマの提案を行った。

## 3 データセット構築手法

## 3.1 データ収集

5ch、ガールズちゃんねる、Twitter といった日本語圏で利用者数が多いソーシャルプラットフォーム
をデータ収集元とし、アノテーション対象サンプル を 1,000 万件以上収集した。その後、得られたデー タに対して、文が短すぎるものや長すぎるもの、個人情報が含まれる文章を除去する等の前処理を行っ た。データを確認したところ、有害表現は非有害表現に比べ、出現頻度が少ない。そのためランダムサ ンプリングによってアノテーションする文章を選択 するとアノテーション効率が低くなることが想定さ れた。そこで文章の多様性を持たせつつ、アノテー ションの効率を高める方法として、既存研究 [17] を 参考に、ランダムサンプリングの他、日本語有害表現を集めた辞書や能動学習による文章選定をした。 これらの手法によって収集された計 12,647 文に対 して、アノテーションを行った。

## 3.2 スキーマの設計

本研究で提案するアノテーションスキーマは有害 レベルと有害カテゴリの 2 つのアノテーションタス クから構成される。有害レベルには既存データセッ ト3）を参考に、表 1 に示す 4 段階からなる順序尺度 を用いた。有害カテゴリについては MAMA サイク ル [18] を適用し、最終的に表 2 に示す 7 つのメイン カテゴリから構成される 41 のサブカテゴリ、倫理的観点を持つ階層的なラベリングスキーマを構築し た。サブカテゴリを含めた有害カテゴリの詳細は付録の表 7 に追記する。

## 3.3 アノテーション

本研究では、 5 人の自然言語処理に関わる開発者 を含めた計 8 人の日本語母語話者をアノテータとし た。また、全文に対して少なくとも 2 人によるラべ リングが行われるようにアノテータを割り当てた。一貫性のあるアノテーションを実現するために、ア ノテーションスキーマの説明、いくつかの例文を添 えたガイドライン、アノテーション時の注意事項、 パイロットタスクをアノテータに提供した。さら に、アノテーション時に出現した判断が難しい文章 については、定期的に議論を行い、アノテーション の質の向上に努めた。

## 4 構築済みデータセットの分析

各ラベル定義と構築したデータセット 12,647 文 のアノテーション分布を表 1,2 に記す。有害レベル

3) https://www.kaggle.com/c/jigsaw-unintended-bias-intoxicity-classification/data
表 1 有害レベルの定義とアノテーション分布。文章数でないことに注意。

* 四捨五入による端数を調整のため、割合の内訳と計は一致していない。

表 2 有害カテゴリにおけるメインカテゴリの定義とアノテーション分布。正例割合は全アノテーションに対して各力 テゴリが付与された割合であり、マルチクラス分類のため合計は $100 \%$ にならないことに注意。

について、アノテーションの半数以上が Not Toxic であり、様々な方法で文の取捨選択を行ったにも関 わらず、収集された多くのテキストがアノテータに とって非有害であることを確認した。

また有害カテゴリでは多くの正例を得られたカ テゴリとそうでないカテゴリが存在している。例え ば、迷惑行為カテゴリが付与されたアノテーション は全体の $27.8 \%$ に達していた。一方で出会い・プラ イバシー侵害や偏向表現カテゴリが付与されたアノ テーションは全体の $1 \%$ 以下である。これはサンプ リング時にカテゴリが偏った可能性や収集先のプ ラットフォームにて投稿されている文章に偏りが生 じている可能性が考えられる。

アノテータ間の合意について、有害（Toxic・Very Toxic）と非有害（Not Toxic）の二值に丸めた有害/非有害、Not Toxic, Hard to Say, Toxic, Very Toxic の四値分類、各有害カテゴリにおけるクリッペンドルフの $\alpha$ 係数 [19] の算出を行った結果が表 4 になる。有害 レベルについて、有害/非有害の二値で $\alpha$ 係数を算出したところ、 0.78 と高い一致率を確認できた。し かし四値分類での $\alpha$ 係数は 0.40 と二值の $\alpha$ 係数に 比べ、值が低い。つまり、有害/非有害という二值で のアノテーションより遥かに四段階による有害レベ ルのアノテーションはアノテータの間で合意形成が 難しいことが分かる。また有害カテゴリは、カテゴ リによって $\alpha$ 係数に大きなばらつきがある。これは カテゴリごとにアノテーションの難易度が異なると表 3 各ラベルのクリッペンドルフの $\alpha$ 係数

解釈できる。

## 4.1 有害表現検知器の構築

構築した日本語有害表現データセットを用いて、有害レベル予測モデルと有害カテゴリ予測モデルの 2 つ有害表現検知器を作成する。モデルには日本語 $\mathrm{BERT}^{4}$ )を利用した。またファインチューニング の際には、構築したデータを訓練用、検証用、評価用データ $(80 \%: 10 \%: 10 \%)$ に分割し、訓練用データを 学習に、検証用データをハイパーパラメータの探索 に用いた。

自然言語処理における分類タスクでは、アノテー タによって付与されたラベルを多数決や統計的手法を用いて、ゴールドスタンダードを定めることが 一般的である。しかし、有害性のような個人や文化

4) https://huggingface.co/cl-tohoku/bert-basejapanese-v2/
表 4 LINENLP チームのシステムが対話コンペ 4 にて生成した有害文章とそれに対する各モデルの有害スコア

 & .825 & .985 \\

によって感じ方が大きく異なるトピックについて、唯一の正解を定めることは正当ではない。そこで本研究では、文章に対してアノテータが正例と付与し た割合を予測する確率回帰モデルを構築した。この モデルがある文章に対して、出力したスコアが 0.9 だった場合、10人中 9 人がその文章を見たとき有害 とラベリングすると解釈できる。

作成したモデルの評価指標には ROC-AUC、MAE (平均絶対値誤差)、MSE（平均二乗誤差）を利用し た。まずは有害レベル予測モデルと比較対象であ る Perspective API[13] による実験結果を表 5 に示す。我々のモデルは、訓練用データが約 10,000 文と少な い。それにも関わらず、Perspective API と比べ、評価用データにおいて AUC が高く、MAE、MSE は低 い。つまり、同等程度の有害表現検知性能を有して いることを確認できる。

有害カテゴリ予測モデルの結果を表 6 に示す。こ れら有害カテゴリ予測モデルは有害レベル予測モ デルに比べ、全体的に ROC-AUC は低い。しかし、 データが十分に集まった 4 つのカテゴリにおいて ROC-AUC が 0.6 を超えていることが確認できた。

## 4.2 対話システムへの適用

本節では有害レベル予測モデルが言語モデルの 応用タスクにおいて有効であることを対話システ ムを用いて確認する。評価用データとして、対話シ ステムライブコンペティション 4[20]（以降、対話 コンペ 4）にて行われた発話データを使用する。対話コンペ 4 では、任意の話題について話すオープン トラックと定められた状況に合った発話が求めら れるシチュエーショントラックの二種類のトラッ クがある。本研究では、LINENLP チーム $[21,22]$ が表 6 評価用データによる有害カテゴリモデルの評価

*学習データが 300 件以下であるカテゴリについて は、モデル構築をしていない。

開発した対話システムによる両トラックでの発話 1,025 文を人手で確認し、その中から有害だと思わ れる 4 つの文章を抽出した。これらの文章に対す る、Perspective API と我々が構築したモデルによる 有害度スコアを表 4 に示す。対話コンペ 4 で生成 された有害文章において、我々の有害レベル予測 モデルは全て 0.8 以上のスコアを算出し、対話シス テムが生成した有害表現の検知が可能なことを確認した。また、Perspective API と構築したモデルの ROC-AUC は $99.90 \%$ と $99.93 \%$ であり、両者とも非常に高い値を出した。

## 5 結論と今後の課題

本研究では、日本語有害表現検出スキーマの提案 を行った。このスキーマを用いて、計 12,647 文から なる日本語有害表現データセットを構築したとこ ろ、一定水準のアノテータ間の一致率を確認でき た。また、構築したデータを用いて、有害レベルと 有害カテゴリを予測するモデルを作成し、評価を 行った。その結果、提案したスキーマを利用するこ とで、有害レベル予測において既存システムより少 ない訓練データ数で同程度の性能を達成できた。更 に有害カテゴリを用いることで、柔軟なフィルタリ ングシステムを構築できる可能性を示した。

今後は更にアノテーションデータを増やし、有害 カテゴリに関する深い分析や全ての有害カテゴリの 分類器について調査を行いたい。

## 謝辞

本研究のデータセット構築を手伝ってくださった 全ての方に感謝します。

## 参考文献

[1] Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, and Noah A. Smith. RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3356-3369, 2020.

[2] Laura Weidinger, Jonathan Uesato, Maribeth Rauh, Conor Griffin, Po-Sen Huang, John Mellor, Amelia Glaese, Myra Cheng, Borja Balle, Atoosa Kasirzadeh, Courtney Biles, Sasha Brown, Zac Kenton, Will Hawkins, Tom Stepleton, Abeba Birhane, Lisa Anne Hendricks, Laura Rimell, William Isaac, Julia Haas, Sean Legassick, Geoffrey Irving, and Iason Gabriel. Taxonomy of Risks Posed by Language Models. In 2022 ACM Conference on Fairness, Accountability, and Transparency, pp. 214-229, 2022.

[3] Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, and Emily Dinan. Recipes for safety in open-domain chatbots. arXiv preprint arXiv:2010.07079, 2020.

[4] Matthew Williams. Hatred Behind the Screens: A Report on the Rise of Online Hate Speech. 2019.

[5] Ellery Wulczyn, Nithum Thain, and Lucas Dixon. Ex Machina: Personal Attacks Seen at Scale. In Proceedings of the 26th International Conference on World Wide Web, pp. 1391-1399, 2017.

[6] Jihyung Moon, Won Ik Cho, and Junbum Lee. BEEP! Korean Corpus of Online News Comments for Toxic Speech Detection. In Proceedings of the Eighth International Workshop on Natural Language Processing for Social Media, pp. 25-31, 2020.

[7] Paula Fortuna, João Rocha da Silva, Juan Soler-Company, Leo Wanner, and Sérgio Nunes. A Hierarchically-Labeled Portuguese Hate Speech Dataset. In Proceedings of the Third Workshop on Abusive Language Online, pp. 94-104, 2019.

[8] Amanda Cercas Curry, Gavin Abercrombie, and Verena Rieser. ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in Conversational AI. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7388-7403, 2021.

[9] Antigoni Founta, Constantinos Djouvas, Despoina Chatzakou, Ilias Leontiadis, Jeremy Blackburn, Gianluca Stringhini, Athena Vakali, Michael Sirivianos, and Nicolas Kourtellis. Large Scale Crowdsourcing and Characterization of Twitter Abusive Behavior. Proceedings of the International AAAI Conference on Web and Social Media, Vol. 12, No. 1, pp. 491-500, 2018.

[10] Rupak Sarkar and Ashiqur R. KhudaBukhsh. Are Chess Discussions Racist? An Adversarial Hate Speech Data Set (Student Abstract). Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 18, pp. 15881-15882, 2021.
[11] Ioannis Mollas, Zoe Chrysopoulou, Stamatis Karlos, and Grigorios Tsoumakas. ETHOS: A Multi-label Hate Speech Detection Dataset. Complex \& Intelligent Systems, pp. 4663-4678, 2022.

[12] Ellery Wulczyn, Nithum Thain, and Lucas Dixon. Ex Machina: Personal Attacks Seen at Scale. In Proceedings of the 26th International Conference on World Wide Web, pp. 1391-1399, 2017.

[13] Alyssa Lees, Vinh Q. Tran, Yi Tay, Jeffrey Sorensen, Jai Gupta, Donald Metzler, and Lucy Vasserman. A New Generation of Perspective API: Efficient Multilingual Character-Level Transformers. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, pp. 3197-3207, 2022.

[14] 松葉達明, 栘井文人, 河合敦夫, 井須尚紀. 学校非公式 サイトにおける有害情報検出を目的とした極性判定 モデルに関する研究. 言語処理学会第 17 回年次大会発表論文集, pp. 388-391, 2011.

[15] 新田大征, 桝井文人, 木村泰知, 荒木健治. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 人工知能学会全国大会論文集 第 27 回 (2013), pp. 2039-2039, 2013.

[16] 荒井ひろみ, 和泉悠, 朱喜哲, 仲宗根勝仁, 谷中瞳. ソーシャルメディアにおけるへイトスピーチ検出に 向けた日本語データセット構築の試案. 言語処理学会第 27 回年次大会発表論文集, pp. 466-470, 2021.

[17] Nedjma Ousidhoum, Zizheng Lin, Hongming Zhang, Yangqiu Song, and Dit-Yan Yeung. Multilingual and Multi-Aspect Hate Speech Analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4675-4684, 2019.

[18] James Pustejovsky, Harry Bunt, and Annie Zaenen. Designing annotation schemes: From theory to model. In Handbook of Linguistic Annotation, pp. 21-72. 2017.

[19] Klaus Krippendorff. Computing Krippendorff's AlphaReliability. 2011.

[20] 東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 赤間怜奈, 佐藤志貴, 堀内颯太, ドルサテヨルス, 小室允人,西川寛之, 宇佐美まゆみ. 対話システムライブコンペ ティション 4. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 92-100, 2021.

[21] 川本稔己, 山崎天, 坂田亘, 佐藤敏紀. HyperCLOVA を利用したプロンプトプログラミングによるシ チュエーションに適した応答生成. 人工知能学会研究会資料言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 131-136, 2021.

[22] 山崎天, 坂田亘, 川本稔己, 小林滉河, 上村卓史, 中町礼文, 李聖哲, 佐藤敏紀. ペルソナ一貫性の考慮と知識ベースを統合した HyperCLOVA を用いた雑談対話システム. 人工知能学会研究会資料言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 113-118, 2021.

## A 詳細なカテゴリ

表 7 有害カテゴリの詳細

 \\


 小林 滉河 ${ }^{1}$ 山崎 天 ${ }^{1}$ 吉川 克正 ${ }^{1}$ 牧田 光晴 1 中町 礼文 ${ }^{1}$ 佐藤 京也 ${ }^{1,2}$ 浅原 正幸 ${ }^{3}$ 佐藤 敏紀 ${ }^{1}$ ${ }^{1}$ LINE 株式会社 2 東京都立大学 ${ }^{3}$ 国立国語研究所 \{koga.kobayashi, takato.yamazaki, katsumasa.yoshikawa, makita.mitsuharu, akifumi.nakamachi, keiya.sato, toshinori.sato\}@linecorp.com masayu-a@ninjal.ac.jp  