# 「フェイクニュース」の理解に向けて: アノテーションスキームの提案と日本語データセット構築

村山太一* 久田祥平 * 上原誠 若宮翔子荒牧英治
奈良先端科学技術大学院大学
}

\{murayama.taichi.mk1, s-hisada, uehara.makoto.ug2, wakamiya, aramaki\}@is.naist.jp
## 概要

社会問題となっているフェイクニュースに対し て，検出タスクやデータセット構築などの研究が取 り組まれている。これらの既存研究はそのニュース が正しいかどうかの事実性ばかり着目する. しか し，複雑な現象であるフェイクニュースを理解する ためには，事実性の側面だけでなく，発信者の意図 や社会への有害度合い，ニュースの種類など，様々 な観点から捉えることが重要である。本研究では， フェイクニュースの様々な側面を捉える，きめ細か なラベリングを行う新しいアノテーションスキーム を提案する。そして，このアノテーションスキーム に基づいた初めての日本語フェイクニュースデー タセットを構築し, https://hkefka385.github.io/ dataset/fakenews-japanese/で公開している.

## 1 はじめに

ネット上の情報の信頼性を貶める「フェイク ニュース」に対して，研究者はフェイクニュー ス検出タスクに取り組んだり，リソースとして FakeNewsNet [1] や CoAID [2] などのフェイクニュー スデータセットを構築している。これらの既存の研究やデータセット構築では，そのニュースが正しい かどうかといったニュースの事実性の側面に着目し ている。しかし，事実性のラベルだけで，フェイク ニュースやそれによって引き起こされる現象を十分 に理解することは困難である。フェイクニュースを より理解するためには，発信者の意図や社会への有害性などの様々な視点から，フェイクニュースを捉 えることが重要である.

本研究では，「フェイクニュース」の定義や既存 のフェイクニュース検出データセットを調査した結果得られた課題を踏まえ，フェイクニュースを様々


図 1: アノテーション例: 発信源は党首討論の動画を のせたもので，ファクトチェック記事ではこの動画 は討論の一部を切り取ったもので野党党首の印象を 悪くしていると指摘する。

な観点で捉えるためのアノテーションスキームを提案する. 具体的には，ニュースの 1. 事実性，2. 発信者の意図，3. 対象，4. 対象の扱い，5. 目的，6. 社会への有害度，7. 有害性の種類という 7 つの観点 でこのスキームは構成される。この詳細なアノテー ションは，「発信者がそのニュースを嘘だと知って いるかどうかで，返信がどのように変わるのか？」 など，フェイクニュースという複雑な現象の深い理解に繋がる. さらに，提案したアノテーションス キームに従って, 日本語のフェイクニュースデータ セットを構築する（例：図 1）。これは日本語で構築 された初めてのデータセットであり，日本のフェイ クニュースの理解や研究に有用である. 今後, 日本語以外の言語においても，提案したアノテーション スキームに従ってデータセットを構築し，国家間に おけるフェイクニュースの性質の比較などを通し て，フェイクニュースをより多角的な視点で分析し ていく予定である.

## 2 予備的調査

## 2.1 「フェイクニュース」の定義

情報科学の研究において，フェイクニュースに は広義と狭義の定義が用いられる. 広義の定義 は, "fake news is fabricated information that mimics news media content in form but not in organizational process or intent. [3, 4]” である. この定義は，情報の真偽を重視し発信者の意図を考慮しないもので，風刺やパ ロディなどの種類のニュースもカバーするもので ある. しかし，この定義を採用した研究は多くな い $[5,6,7]$. 一方, 狭義の定義は, “a news article that is intentionally and verifiably false. $[8,9]$ ” というもの で，発信者の意図を重視する。この定義を採用する 研究は多い $[10,11,12]$ が，多くのデータセットは， ニュースの真偽に関するファクトチェック機関の判定のみをラベルとして構築されている.

このようなフェイクニュースという言葉の曖昧性に対して批判の声が上がっている. 例えば，イ ギリス政府はフェイクニュースという言葉の曖昧性から公式文書には使用しないことを決定し た [13]. また，ネット上における誤った情報の対抗に向けたプロジェクトである First Draft のリー ダーの Claire Wardle 氏は，フェイクニュースという 言葉は情報の信頼性の問題を十分に説明できない とし, Misinformation, Disinformation, Malinformation の 3 つの観点で説明すべきと述べている [14]. こ のように，フェイクニュースの概念は曖昧である ため，そのニュースはフェイクかどうかではなく，様々な観点から説明していくことが重要である.

## 2.2 フェイクニュース検出データセットの 課題

ニュースの真偽を評価するフェイクニュース検出 タスクのために，数多くのデータセットが構築され ている. 本節では，51のフェイクニュース検出デー タセット1)を検証し，解決すべき 4 つの課題を示す.

意図 2.1 節で説明したように，ほとんどのデータ セットは狭義の定義を採用しているにも関わら ず，各ニュースの事実性に着目したラベルのみ 持って広義の定義に基づいて構築されている. これは，技術開発における定義と言葉の定義の 間に乘離があることを意味する。また，意図を 持って作成されたニュースは社会的影響力が高 く，誤ったニュースが広まる一要因となってい
 fakenews-japanese/\#surveylist に示す.
る [15].このような背景や，説明可能性の高い 検出モデルを構築するためにも，発信者の意図 をアノテーションすることが重要である.

社会への有害性フェイクニュースは社会に悪影響 を与えるが，その規模や種類は様々である．例 えば，パロディなどの明らかに嘘であるニュー スは社会への害は少ないが，選挙に関する誤っ たニュースは人々の意思決定に影響を与え，有害性が大きい，既存のデータセットではこの観点をカバーできていないが，これはファクト チェックの優先度の判断にも有用である.

言語フェイクニュースの言語的特徴や拡散パター ンは国や言語によって異なる可能性があるにも 関わらず，ほとんどのデータセットは米国社会のイベントを対象とし英語で構成されてい る。一方で，COVID-19の世界的な Infodemic の 影響から，英語以外のフェイクニュース検出 データセットが増加してる。具体的には， 51 件中，英語以外の言語を含むものは 11 件で，その うち 8 件が COVID-19 に関するものであった. COVID-19 以外の様々なトピックを対象とした 英語以外のデータセットを構築していくこと は，言語横断的な分析や言語に依存しない特性 の特定が期待できる.

ラベル 機械学習モデルの適用の容易さから, 51 件中 33 件のデータセットには，フェイクかどう かの二値ラベルが付与されている。 その他のも のは，ファクトチェック組織の評価に基づいて 構築されており，データセットごとに分類基準 が異なり，利用しづらい。「意図」と「社会への 有害性」も関連するが，より一般的で頑健な検出モデルを構築するためにも， fine-grained で一貫したアノテーションスキームが必要である.

## 3 アノテーションスキーム

上記の議論や得られた洞察に基づき，7つの質問 からなるフェイクニュースのためのアノテーション スキームを構築した. Q1-Q5 は細かなラベルを付与することを目的とした質問で，「意図」と「ラべ ル」の課題をカバーするものである. Q6 と Q7 で は，COVID-Alam [16] を参考に，社会への有害性の 特定を試みている．我々のアノテーションスキーム は，ファクトチェック組織の評価に依存しないラべ リングが可能となり，解釈性の高い検出モデルの構築が期待できる。ファクトチェック記事や発信源と

なったソーシャルメディアの投稿に基づき，これら 7つの質問にアノテーターが回答する.

Q1: ファクトチェックサイトはニュースに何のラベ ルを付与しているか？

この質問は，ファクトチェックサイトが付与したラ ベルである「正確」や「虚偽」などの情報を記載す る.「正確」または「ほぼ正確」のラベルが付与され た場合，以下全ての質問をスキップする。

Q2-1: 発信者はそのニュースが虽りであることを 知っていたか?

選択肢: 1. はい, 発信者は確実に誤りと知っている, 2. はい，発信者はおそらく誤りと知っている，3.い いえ，発信者はおそらく誤りと知らない，4. いい え, 発信者は確実に誤りと知らない

この質問は, 課題の一つである「意図」に対応す る質問で，4つの選択肢から 1 つ選択する. 1. また は 2. が選択された場合，既存研究 [3] に基づきその ニュースを「Disinformation」とみなす．3．または 4. が選択された場合，発信者は誤ったニュースを流す 意図が無いことを意味するため，「Misinformation」 とみなす.このような意図のラベリングは，「どの ようなニュースを誤りと知らずに拡散しているの か？」など，ニュースの種類によってユーザ行動が どのように異なるかを明らかにする可能性がある. この回答に応じて, 誤りが生じた理由に関する質問 Q2-2A もしくは Q2-2B に回答する.

Q2-2A：「はい」なら，そのニュースはどのように作 られたか？

選択肢: 1. 創作されたコンテンツ, 2. 画像の操作, 3. テキストの操作, 4. 誤ったコンテキスト

この質問は，意図的に発信されたニュースがどのよ うに作成されたかを理解するためのもので，4つの 選択肢を設定した。まず，完全に創作されたニュー スか，何かしらのリソースを改竄したニュースか に分類される．前者を「創作されたコンテンツ」と する．後者は，改窞の対象によって 3 パターンに 分け，画像や動画を加工したものを「画像の操作」, ニュースのテキストやメッセージを加工したもの を「テキストの操作」, コンテンツ自体は本物だが,誤った文脈情報とともに共有するものを「誤ったコ ンテキスト」とする.

Q2-2B：「いいえ」なら，発信者はどのように誤解し たか?

選択肢: 1. 他の情報源の信頼, 2. 不十分な理解, 3 . ミスリーディング
この質問は，どのように意図しない誤ったニュース の拡散を防いでいくかを考える上で重要である．意図しない誤った情報が発信される背景として，3つ の選択肢を設定した. 1 つ目は，他の情報源を信頼 したことによって起こるもの. 英語を母国語としな いユーザが，英語の記事などを誤訳したり，誤った 情報を信用したりすることで起こる. 2 つ目は，発信者がニュースを十分に読み込まないことによっ て，不十分な理解や思い込みによって生じるもの. 3つ目は，発信者がニュースを十分に理解している 可能性はあるが，それを十分に読者に伝えれなかっ たことで起こるもの.

Q3: そのニュースの対象は何/誰か？（複数回答可）誤ったニュースの対象，つまり主に影響を受ける対象は，ニュースのクラスタリングや検索において有用な情報である。このような情報を特定するタスク はまだ行われていないが，今後フェイクニュースの 理解を進める上で重要であると考える.

Q4: そのニュースは対象をどのように扱うか？

選択肢: 1. 持ち上げ，2. 誹謗，3. どちらでもない この質問は，そのニュースで扱っている対象につい て，持ち上げや称賛をしているのか，もしくは誹謗中傷や侮辱をしているのかを選択する．誤った ニュースでも，寄付のような善行か犯罪行為のよう な悪行かでは読者への印象は大きく異なる．そのた め，フェイクニュースが分極化にどのような影響を 与えるかを分析する点で重要である.

Q5: そのニュースの目的は何か？

選択肢: 1. 風刺/パロディ, 2. 党派性, 3. プロパガン ダ, 4. 目的なし/わからない

誤ったニュースの一部は, COVID-19ワクチンが健康被害を引き起こすなどの自説を広める意図を持っ て拡散されている. 目的を推定できないニュースも あるが，3つの選択肢を設定した．1つ目は読者を 楽しませたり，政治を批判したりすることが目的で ある風刺やパロディである [17]. 2 つ目は，政治的 な文脈で一方的に偏った，党派性をもったニュー ス. 偏っていること自体は誤りではないが，誤りの 可能性が高いという報告がある $[18,19] .3$ 目はプ ロパガンダと呼ばれる，イデオロギーや主張を広げ たりするために行われる説得の一形態である [20].

Q6: 社会に与える有害さはどの程度か？

この質問は，社会に悪影響を与える可能性のある ニュースを特定するためのもので， $0-5$ の実数値で 有害の度合いを回答する。0 は社会に害を与えない

パロディなどのニュースを， 5 は社会に大きな害を 与えるニュースであることを示す.

Q7: そのニュースはどのような害を与えるか？

選択肢: 1. 害なし (例: 風刺やパロディ), 2. 社会に対 する不安，3. 人，会社や商品に対する信頼，4. 政治 や社会イベントの正しい理解, 5. 健康, 6. 人種や国 に対する偏見，7. 陰謀論，8.わからない

誤ったニュースが引き起こす可能性のある被害を 7 つの選択肢で設定し，さらに「わからない」という 選択肢を加えて選択する。この質問は，ニュースに よりどのような被害が発生する可能性が高いのかを 把握するのに有用である.

## 4 日本語データセット

## 4.1 データセット構築

日本語フェイクニュースデータセットの構築の ため，ファクトチェック組織の 1 つであるファクト チェック・イニシアティブ (FIJ) [21] で 2019 年 7 月 から 2021 年 10 月の間に掲載された検証記事を収集 した. アノテーション作業は，ファクトチェック記事と発信源となった投稿・ニュース記事を確認しな がら 3 名のアノテーターによって行われた. アノ テーション例を図 1 に示す.

最終的に 307 件のニュースにアノテーションが 行われた。そのうち, 186 件のニュースは拡散の きっかけとなった投稿とコンテキスト情報（Retweet や Reply 情報）を Twitter から収集した。その結果， 471,446 ツイート（1ニュースあたり平均 2,534 ツ イート)，277,106 ユーザ（1ニュースあたり平均 1,489 ユーザ)，17,401 の会話データ（1ニュースあ たり平均 93 会話）が含まれる. ラベルの分布を付録の表 1 に示す.

## 4.2 日本語データセットの分析

誤りのニュースと正確なニュースの比較を行う のが一般的だが，構築したデータには正確なニュー スのサンプルが 5 例しかない. そのため，本研究で は「Q2-1: 発信者はそのニュースが誤りであること を知っていたか？」のはいんいえの回答を元に，つ まり Disinformation/Misinformation の観点でツイート データを分析した。ここでは，特に興味染い結果が 得られたユーザアカウントの年齢と Bot 率について のみ示す。その他の分析は付録 A で示す.

アカウントの年齢: 図 2 にユーザのアカウント作成

図 2: Disinformation と Misinformationを投稿したユー ザのアカウント作成日からの経過時間の分布

日からの経過時間の分布を示す. Misinfromation と Disinformation の分布は類似しているが，米国にお いてフェイクニュースを流すユーザ分布の報告 [1] と比較すると，作成から 1 年未満のアカウントが少 なく，10 年以上 Twitter を利用しているアカウント が多いという傾向がみられた。

Bot の割合: Botometer API [22] を用いてユーザの Bot 割合を調査したところ，Disinformation で約 8\%， Misinformation で約 6\%であった. 米国ではフェイク ニュースを流すユーザの約 $22 \%$ ơ Bot であるという 報告 [1] と比較すると，かなり少ない比率であると いえる。

## 5 おわりに

本研究では様々な観点からフェイクニュースを捉 え直す新しいアノテーションスキームを提案した。事実性だけでなく，意図やターゲット，統一的なラ ベリングを行うことで，フェイクニュースが引き起 こす複雑な現象の深い理解が期待できる. そして， このスキームに基づいて，日本語で初めてのフェイ クニュースデータセットを構築した。

一方で，この日本語データセットは根拠とした ファクトチェック記事の数が少ないため，サンプル 数が小さいという問題がある。この問題を解決する ため，今後もデータセットを拡張していく. さら に，我々のアノテーションスキームに基づき日本語以外の言語のフェイクニュースデータセット構築 にも現在取り組んでいる。これらの取り組みを通し て，1. 既存のフェイクニュース検出モデルは付与し たラベルをどの程度分類できるか，2. 言語や国に よってフェイクニュースの拡散パターンがどのよう に異なるのか，といった点に注目できる。

## 謝辞

本研究の一部は，JSPS 科研費 JP19K20279 および 厚生労働省科学研究費補助金 (課題番号 : H30-新興行政-指定-004）の支援を受けたものである.

## 参考文献

[1] Kai Shu, Deepak Mahudeswaran, Suhang Wang, Dongwon Lee, and Huan Liu. Fakenewsnet: A data repository with news content, social context, and spatiotemporal information for studying fake news on social media. Big data, Vol. 8, No. 3, pp. 171-188, 2020.

[2] Limeng Cui and Dongwon Lee. Coaid: Covid19 healthcare misinformation dataset. arXiv preprint arXiv:2006.00885, 2020.

[3] Xinyi Zhou and Reza Zafarani. A survey of fake news: Fundamental theories, detection methods, and opportunities. ACM Computing Surveys (CSUR), Vol. 53, No. 5, pp. 1-40, 2020.

[4] David MJ Lazer, Matthew A Baum, Yochai Benkler, Adam J Berinsky, Kelly M Greenhill, Filippo Menczer, Miriam J Metzger, Brendan Nyhan, Gordon Pennycook, David Rothschild, et al. The science of fake news. Science, Vol. 359, No. 6380, pp. 1094-1096, 2018.

[5] Soroush Vosoughi, Deb Roy, and Sinan Aral. The spread of true and false news online. Science, Vol. 359, No. 6380, pp. 1146-1151, 2018.

[6] Karishma Sharma, Feng Qian, He Jiang, Natali Ruchansky, Ming Zhang, and Yan Liu. Combating fake news: A survey on identification and mitigation techniques. ACM Transactions on Intelligent Systems and Technology (TIST), Vol. 10, No. 3, pp. 1-42, 2019.

[7] Zhiwei Jin, Juan Cao, Yongdong Zhang, and Jiebo Luo. News verification by exploiting conflicting social viewpoints in microblogs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[8] Kai Shu, Amy Sliva, Suhang Wang, Jiliang Tang, and Huan Liu. Fake news detection on social media: A data mining perspective. ACM SIGKDD explorations newsletter, Vol. 19, No. 1, pp. 22-36, 2017.

[9] Hunt Allcott and Matthew Gentzkow. Social media and fake news in the 2016 election. Journal of economic perspectives, Vol. 31, No. 2, pp. 211-36, 2017.

[10] Eni Mustafaraj and Panagiotis Takis Metaxas. The fake news spreading plague: was it preventable? In Proceedings of the 2017 ACM on web science conference, pp. 235-239, 2017.

[11] Nadia K Conroy, Victoria L Rubin, and Yimin Chen. Automatic deception detection: Methods for finding fake news. Proceedings of the association for information science and technology, Vol. 52, No. 1, pp. 1-4, 2015.

[12] Martin Potthast, Johannes Kiesel, Kevin Reinartz, Janek Bevendorff, and Benno Stein. A stylometric inquiry into hyperpartisan and fake news. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 231240, 2018 .
[13] Newsweek. British government bans the phrase 'fake news'. https://www.newsweek.com/british-governmentbans-phrase-fake-news-1182784, 2018. [accessed on November 9th, 2021].

[14] Francesca Giuliani-Hoffman. 'f*** news' should be replaced by these words, claire wardle says. https://money.cnn.com/2017/11/03/media/claire-wardlefake-news-reliable-sources-podcast/index.html, 2017. [accessed on November 9th, 2021].

[15] Harvey Leibenstein. Bandwagon, snob, and veblen effects in the theory of consumers' demand. The quarterly journal of economics, Vol. 64, No. 2, pp. 183-207, 1950.

[16] Firoj Alam, Fahim Dalvi, Shaden Shaar, Nadir Durrani, Hamdy Mubarak, Alex Nikolov, Giovanni Da San Martino, Ahmed Abdelali, Hassan Sajjad, Kareem Darwish, et al. Fighting the covid-19 infodemic in social media: A holistic perspective and a call to arms. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 15, pp. 913-922, 2021.

[17] John Brummette, Marcia DiStaso, Michail Vafeiadis, and Marcus Messner. Read all about it: The politicization of "fake news" on twitter. Journalism \& Mass Communication Quarterly, Vol. 95, No. 2, pp. 497-517, 2018.

[18] Gabriel Hine, Jeremiah Onaolapo, Emiliano De Cristofaro, Nicolas Kourtellis, Ilias Leontiadis, Riginos Samaras, Gianluca Stringhini, and Jeremy Blackburn. Kek, cucks, and god emperor trump: A measurement study of 4chan' $s$ politically incorrect forum and its effects on the web. Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11, No. 1, pp. 92-101, 2017.

[19] Savvas Zannettou, Barry Bradlyn, Emiliano De Cristofaro, Haewoon Kwak, Michael Sirivianos, Gianluca Stringini, and Jeremy Blackburn. What is gab: A bastion of free speech or an alt-right echo chamber. In Companion Proceedings of the The Web Conference 2018, pp. 10071014, 2018.

[20] Garth S Jowett and Victoria O'donnell. Propaganda \& persuasion. Sage publications, 2018.

[21] Fact Check Initiative Japan. Fact check initiative japan. https://fij.info/. [accessed on November 9th, 2021].

[22] Clayton Allen Davis, Onur Varol, Emilio Ferrara, Alessandro Flammini, and Filippo Menczer. Botornot: A system to evaluate social bots. In Proceedings of the 25th international conference companion on world wide web, pp. 273-274, 2016.

[23] Vahed Qazvinian, Emily Rosengren, Dragomir R. Radev, and Qiaozhu Mei. Rumor has it: Identifying misinformation in microblogs. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1589-1599, 2011.

[24] Amazon Comprehend. Amazon comprehend. https://docs.aws.amazon.com/comprehend. [accessed on November 23th, 2021].

## A 日本語データセットの分析

## 投稿コンテンツ

図 3 に 2 2-1 の ラベル の Disinformation/Misinformation ラベルに関する投稿テキスト に基づいて作成されたワードクラウドを示す. どち らのワードクラウドでも「日本」という単語が大き く表示されている. 特に，Disinformation のワード クラウドである図 3(a) には，COVID-19 に関連する 語が多く見られる。一方で，Misinformation のワー ドクラウドである図 3(b) には，中国やバイデンと いった国名や外国の有名人に関連する語が多く見ら れる。

(a) Disinformation

(b) Misinformation図 3: Q2-1 におけるラベルごとのワードクラウド

## 返信の感情分析

人々はソーシャルメディアの投稿を通して， ニュースに対する感情や意見を表現する。このよう な特徴は，誤ったニュースの重要な信号となる $[23$, 7]. 感情分類 API である Amazon Comprehend [24] を 用いて, Disinformation/Misinformation とラベルが付与されたニュースに対する投稿の返信を，Positive， Neural, Negative と 3 つのカテゴリに感情分類する.

図 4 に，各ニュース記事に対する返信投稿の 感情の比率を示す. Disinformation/Misinformation と もに感情的な反応は少なく, Neutral な返信が多 いことが分かる. 感情的な返信に着目すると, Misinformation とラベルが付与された一部のニュー スには Positive な返信が多いものも見られるが，基本的には Negative な返信が多い. どちらのラベルに 関わらず，誤ったニュースは Negative な感情を引き 起こしやすいことが示唆される.表 1: 日本語フェイクニュースデータセットのラベ ルの分布. 各列に質問とそのラベルが付与された総 ニュース数を示す

 & 21 \\

(a) Disinformation

(b) Misinformation

図 4: Disinformation/Misinformation とラベルが付与さ れたニュースに関する投稿の感情 (Positive，Neural， Negative）三角プロット
 村山太一* 久田祥平 * 上原誠 若宮翔子荒牧英治 奈良先端科学技術大学院大学 }  \{murayama.taichi.mk1, s-hisada, uehara.makoto.ug2, wakamiya, aramaki\}@is.naist.jp 