# フェイクニュース検出データセットにおける通時的バイアス

村山 太一若宮翔子荒牧英治
奈良先端科学技術大学院大学
\{murayama.taichi.mk1, wakamiya, aramaki\}@is.naist.jp

## 1 はじめに

近年，意図的に広められた誤った記事である 「フェイクニュース」が深刻な社会問題の一つと なっている. 例えば，2016 年の米国大統領選挙で は，Twitter に投稿されたニュースの $25 \%$ がフェイク もしくは極端に偏っており，トランプ氏の支持者 の活動がフェイクニュースの拡散に影響を与えて いた [1]. 選挙だけでなく, 2011 年の東日本大震災 などの自然災害 [2,3] や，COVID-19 [4] に関連した フェイクニュースが世界各国でソーシャルメディア などを通じて共有された。これらの問題に対処する ため，ソーシャルメディア投稿やニュースコンテン ツからのフェイクニュース検出モデルの開発や，検出モデル開発のためのデータセット構築が活発に行 われている $[5,6]$.

多くのフェイクニュース検出データセットは，現実のフェイクニュースから構成される. 現実のフェ イクニュースは人々の関心に強く影響される [7] こ とから，時期によって流行するトピックが異なる.具体的には，2013 年にはオバマ大統領 [8],2016 年 には米国大統領選挙 [1], 2020 年には COVID-19 [9] など，異なるトピックのフェイクニュースが頻繁に 拡散された。 そのため, 特定時期のイベントや単一 のドメインを対象とした，データセットが構築され ることが多い. これらのデータセットから学習され るフェイクニュース検出モデルは, 学習データセッ トと同様のニュースに対しては高い検出精度を達成 する。その一方で，異なるドメインや将来のフェイ クニュースに対してはテキストの語彙情報が大き く異なることから十分に対応できない場合が多い. つまり，時期に偏りがあるデータセットで学習され た検出モデルに，特定の人名や組織名を含む文章が 入力されると，その文章の真偽に関わらず判定に誤 りが生じる可能性がある.これは，同一のドメイン データでも生じる問題であり，頑健なモデル構築の 妨げとなる.本研究では，この問題をデータセットの作成時期 に依存することから「通時的バイアス」と定義す る. 本稿では，通時的バイアスがデータセット内の 人名などの固有名詞によるものと考え，これらをマ スキングすることでバイアスの緩和手法を検討す る. はじめに，作成時期の異なるフェイクニュース 検出データセットを対象に，ラベルとフレーズ間の 相関について分析し，データセット内の人名などの 語の偏りを明らかにした。 次に，テキストからの フェイクニュース検出タスクを対象に，通時的バイ アスの原因と考えられる人名に着目した緩和手法の 検討を行った。

## 2 関連研究

学習データセットにおけるバイアスに関する研究 は，攻撃的な言語やへイトスピーチの検知などを主 な目的としており，著者バイアス [10]，アノテータ バイアス [11], ジェンダーバイアス [12,13], 人種バ イアス [14, 15], 政治的バイアス [16] などの様々な バイアスの分析や緩和手法の検討がなされている. Dayanik らの研究 [17] では，データセット内の人名 の頻度バイアスに着目している. 人名に着目した点 は我々と同様であるが，本稿では時間の経過のバイ アスについて考慮している点で大きく異なる. å

フェイクニュース検出に近い分野として，含意認識の一種である与えられた証拠から主張の真偽を判定する Fact Verification タスクではバイアスの分析・軽減が取り組まれてる. Schuster ら [18] は頑健な推論モデル構築のためにテキストの語彙の偏りを緩和する手法を提案した. Suntwal ら [19] はテキスト 中の語彙を NER タグに置き換えることで，ドメイ ン外のデータでも頑健な推論モデルの構築を目指 した. しかしながら，フェイクニュース検出データ セットに対してのバイアス調査や分析は我々の知る 限り行われていない。

## 3

## リソース

## 3.1 データセット

本稿では，フェイクニュース検出に関するドメイ ンや収集時期が異なる以下の４つの英語データセッ 卜を用いて通時的バイアスの分析・検証を行う.こ れらのデータセットでは，記事や投稿などのテキス トデータの内容に対して，フェイクニュースかどう かを示す 2 值ラベル（Fake / Real）が付与されてい る. 各データセットの詳細を以下に, ラベル数など の情報を付録A.1節に示す。

MultiFC [20] : 複数ドメインのフェイクニュース データセットであり， 38 の事実検証サイトの記事 から構成される. 全データ 36534 件のうち, 本稿で は 2015 年以前の truth!， true， mostly true（Real ラべ ルとする）と false, mostly false（Fake ラベルとする） が付与された 7861 件のデータを用いる.

Horne17 [21]：2016 年の米国大統領選挙に関連し たニュース記事を中心に構成される. Buzzfeed News などのサイトに基づいて, Real, Fake, Satireの 3 值 ラベルが付与されており，本稿では Real, Fakeのラ ベルが付与されたデータを用いる.

Celebrity [22]：有名人を対象としたニュースの事実検証サイトである GossipCop によって検証された 記事によって構成される. データセットの記事は 2016，2017 年頃に報道されたものが多く, 有名人同士の喧嘩などセンセーショナルな話題が中心で ある。

Constraint [23] : Constraint@AAAI2021 Shared Task のサブタスクで用いられたデータセットであり， Twitter などのソーシャルメディアの投稿で構成され る. Politifact や Snopes などの事実検証サイトによっ てラベルが付与されており，2020 年に Twitter で拡散された COVID-19に関連した投稿が中心である.

## 3.2 フレーズとラベルの相関

データセットの偏りを検証するために，データ セットのフレーズとラベルの相関について調査 する. 高い出現頻度かつ各ラベルとの相関が高い フレーズ (n-gram) を抽出するために, Local Mutual Information (LMI) [24]を用いる.

$
L M I(w, l)=p(w, l) \cdot \log \left(\frac{p(l \mid w)}{p(l)}\right)
$

$w$ はフレーズ， $l$ はラベルとする. 条件付き確率 $p(l \mid w)$ は $\frac{\operatorname{count}(w, l)}{\operatorname{count}(w)}, p(l)$ は $\frac{\operatorname{count}(l)}{|D|}$ と算出される. $w$ と $l$ の同時確率である $p(w, l)$ は $\frac{\operatorname{count}(w, l)}{|D|}$ として算出される. $|D|$ はデータセット内の全てのフレーズ の出現回数を示す.

MultiFC と Horne17 の bi-gram を対象とした，各 ラベルとの相関が高い上位 10 フレーズの LMI を 表 1に，Celebrity と Constraint の結果は付録 A.2節に 示す. 2015 年以前の記事で構成された MultiFC では “barack obama”といった当時の米国大統領が Fake ラ ベルとの相関が高くなり，2016年大統領選挙の記事 で構成された Horne17 では当時の大統領候補であっ た “hillary clinton” や“donald trump” が Fake ラベルと 高い相関を持つという結果となった. このように， データセットごとに特定の人名とラベルの関係に大 きな偏りの存在が明らかになった. どちらか一方の データセットで学習された検出モデルでは大統領交代などの時代変化に対応できず，もう一方のデータ セットでのフェイクニュース検出が上手くいかない ことが示唆される.

## 4 通時的バイアスの緩和の検討

## 4.1 検討手法

通時的バイアスを緩和し，ドメイン外のデータに 対しても頑健なフェイクニュース検出モデルを構築 するために，データセットに対する複数のマスキン グ手法を検討する．本稿で検討するマスキング手法 の例を表 2に示す. Lexicalized はマスキングされて いない通常の入力とする.

Named Entity (NE) Deletion : Flair [25]の Named Entity Recognition (NER) [26] によって NE とタグ付 けされた語彙を削除する．NEに依存しない検出モ デルの構築を目的とするマスキング手法の一つで ある。

Basic NER : Flair の NER により NE としてタグ 付けされた語彙が対応するラベル (PER, LOC など) に置き換える。

WikiD : Flair の NER により PER とタグ付けさ れた語彙を，Wikidata ${ }^{1)}$ で対応する人物の公的な地位 (P39)，対応がなければ職業 (P106) に置き換える.当時の Wikidataを用いることで，2015 年の記事に登場する “barack obama”と 2020 年の記事に登場する “donald trump”を米国大統領 (Q11696) というラベル に置き換えることができる。.これによって，テキス トを入力としたフェイクニュース検出モデルが時間経過にも頑健になり，通時的バイアスの緩和が期待

表 1 データセットの bi-gram を対象に，各ラベルにおいて LMI が高い上位 10 フレーズと算出された LMI と $p(l \mid w)$ を示 す. LMI は $10^{6}$ を掛けた值を示す. 人名を示すフレーズを太字で記す. Real ラベルは “if you”などの一般的なフレーズ との相関が高い一方で，Fake ラベルでは“donald trump”などの人名と高い相関を示す傾向が見られた.

 & 217 & 0.70 & barack obama & 365 & 0.69 & national security & 106 & 0.88 & hillary clinton & 440 & 0.50 \\

表 2 マスキング手法の適用例．ラベル PERに当たる部分を赤字，そのほかの NE を太字で示す.

## できる.

WikiD+Del : Flairの NERにより PERとタグ付け された語彙を WikiD のルールで置き換え，その他の NEとタグ付けされた語彙を削除する。

WikiD+NER : Flair の NER により PER とタグ付 けされた語彙を WikiD のルールで置き換え，その他 の NE を対応するラベル (LOC など) に置き換える.

## 4.2 実験設定

マスキング手法の有効性について検証するため に，フェイクニュース検出タスクを取り組む． 3 節 で取り上げた各データセットの学習データを用い て，各マスキング手法を適用したフェイクニュース 検出モデルを作成する. そして, 同じドメインや異 なるドメインのデータセットに対して，各検出モデ ルによりどの程度フェイクニュースの検出が可能か を確認する。

モデル 本実験では，Google から公開されている 事前学習 BERT $_{\text {BASE }}$ モデル [27] を用いる. マスキン グ手法によって追加されたラベル（LOC や Q11696 など）は新たなトークンとして追加し， fine-tuning する、マスキングで用いる Wikidata の詳細は付録A.3節に示す.

データと評価学習のために，各データセットを 全体の $80 \%$ を学習データに， $20 \%$ をテストデータに 分割する．検出精度の評価には正解率 (Accuracy) を用いる。

## 4.3 実験結果

各データセットで学習したフェイクニュース検出モデルを，学習したデータセットのテストデータ （ドメイン内）とそれ以外のデータセットのテスト データ（ドメイン外）で評価し，マスキング手法の 有用性について検討する。

## 4.3.1 ドメイン内データ

ドメイン内データに対する各マスキング手法で の正解率を表 3に示す. Constraint 以外のデータセッ トにおいて，マスキング手法を行わない Lexicalized が最も高い精度となった。一方で，Constraint デー タセットにおいて WikiD が最も高い精度を達成し た. また，Lexicalized が最も高い精度となったデー タセットにおいても他のマスキング手法による精度 と比較して数ポイントの差しか存在しないという結果が得られた.このことから，同一ドメインのデー タに対して，各マスキング手法を適用したモデルで フェイクニュース検出を行っても，大きく精度が悪化しないことが示唆される.

## 4.3.2 ドメイン外データ

ドメイン外データをテストデータとした正解率 を表 4に示す. 左の列に学習に用いたデータセット を，精度を記載した列はテストに用いた各データ セットに対応している。ほとんどのドメイン外の データに対して，マスキングを行わない Lexicalized
表 3 各マスキング手法におけるドメイン内での ファイクニュース検出精度.

よりも各マスキング手法が高い精度を達成した.

Lexicalized の精度はドメイン外への適応可能性を 示している. 例えば, Constraintで学習したモデルは Constraint で 0.96 と高い正解率を達成した（表 3）が， ドメイン外データで学習したモデルでは Constraint のテストデータに適用したところ，約 $0.48-0.58$ と 低い正解率となった。このことは，フェイクニュー ス検出モデルの一般化の難しさを示している.

検討手法の一つである NE Deletion は単純なマス キング手法にも関わらず，12 の実験設定のうち9つ で Lexicalized よりも高い精度を達成した。一部の データセットで大幅に精度が向上しており，中でも Horne17 で学習したモデルでは MultiFC と Celebrity の 2 つのテストデータセットで最も高い精度を達成 している. Basic NER は Horne17 で学習したモデル で Constraint のテストデータに対して最も高い精度 を達成したが，NE Deletion ほどの大きな効果は見ら れなかった。

Wikidataを活用したマスキング手法である WikiD と WikiD+Del は，Lexicalized と比較して Celebrity を テストデータとした時以外の 10 の実験設定で高 い精度を達成した. 例えば，MultiFC で学習したモ デルで Constraint のテストデータで評価したとこ ろ，Lexicalized では 0.530 だったものの，WikiDで は 0.689 と大幅な精度向上を達成した. この結果 は，Wikidataを活用したマスキング手法が通時的バ イアスを緩和し，ドメイン外のデータセットにおい ても頑健なモデルを構築できる可能性を明らかにし た. 一方で，芸能系のドメインである Celebrity をテ ストデータとしたとき，Lexicalized と変わらない検出精度であった。これは，学習データが政治系を中心としたものでドメインが大きく異なることから， Wikidata を活用できず大きな効果が見られなかった と考えられる（付録の表7を参照されたい）。また， Wikidata を活用したマスキング手法の WikiD+NER は WikiD+Del と比べ低い精度となっている。つま表 4 各マスキング手法におけるドメイン外での ファイクニュース検出精度.

} & \multirow{2}{*}{ 手法 } & \multicolumn{4}{|c|}{ テストデータ } \\

り，人名以外の Entity，例えば“London”などの地名 を“LOC” というタグに置き換えるよりも，削除す ることで頑健なモデルを構築できることを示す.こ れは余分な Entity 情報を削除することで，モデルが 文体の特徵に着目できることが要因と考えられる。

## 5 おわりに

本稿は，フェイクニュース検出データセットの 作成時期やドメインによって生じる新たなバイア ス「通時的バイアス」を定義した。そして，データ セット内の人名に大きな偏りがあるのに着目し，人名を Wikidata の情報に置き換えるマスキング手法を 提案し，ドメイン外のデータセットに対するフェイ クニュース検出タスクに取り組むことによりマスキ ング手法の有効性について確認した。

今回はマスキングという簡易な手法を検討した が，今後の方向性として，通時的バイアスを緩和す るために知識グラフを活用した検出モデルの構築な どが考えられる。また，フェイクニュース検出デー タセットには通時的バイアス以外にも政治的バイア スや人種バイアスが存在すると考えられるため，こ れらのバイアスを明らかにしていくことも重要な課題の 1 つである.

## 参考文献

[1]Alexandre Bovet and Hernán A Makse. Influence of fake news in twitter during the 2016 us presidential election. $\mathrm{Na}$ ture communications, Vol. 10, No. 1, pp. 1-14, 2019.

[2]Misako Takayasu, Kazuya Sato, Yukie Sano, Kenta Yamada, Wataru Miura, and Hideki Takayasu. Rumor diffusion and convergence during the 3.11 earthquake: a twitter case study. PLoS one, Vol. 10, No. 4, p. e0121443, 2015.

[3]Takako Hashimoto, David Lawrence Shepard, Tetsuji Kuboyama, Kilho Shin, Ryota Kobayashi, and Takeaki Uno. Analyzing temporal patterns of topic diversity using graph clustering. The Journal of Supercomputing, pp. 1-14, 2020.

[4]Gautam Kishore Shahi and Durgesh Nandini. FakeCovid - a multilingual cross-domain fact check news dataset for covid19. In Workshop Proc. of ICWSM, 2020.

[5]Kai Shu, Suhang Wang, Dongwon Lee, and Huan Liu. Mining disinformation and fake news: Concepts, methods, and recent advancements. arXiv:2001.00623, 2020.

[6]Savvas Zannettou, Michael Sirivianos, Jeremy Blackburn, and Nicolas Kourtellis. The web of false information: $\mathrm{Ru}-$ mors, fake news, hoaxes, clickbait, and various other shenanigans. Journal of Data and Information Quality, Vol. 11, No. 3, pp. 1-37, 2019.

[7]Ana Lucía Schmidt, Fabiana Zollo, Michela Del Vicario, Alessandro Bessi, Antonio Scala, Guido Caldarelli, H Eugene Stanley, and Walter Quattrociocchi. Anatomy of news consumption on facebook. Proceedings of the National Academy of Sciences, Vol. 114, No. 12, pp. 3035-3039, 2017.

[8]CNBC News. False rumor of explosion at white house causes stocks to briefly plunge; ap confirms its twitter feed was hacked. https://www.cnbc.com/id/100646197, 2013.

[9]Gautam Kishore Shahi, Anne Dirkson, and Tim A Majchrzak. An exploratory study of covid-19 misinformation on twitter. arXiv preprint arXiv:2005.05710, 2020.

[10]Michael Wiegand, Josef Ruppenhofer, and Thomas Kleinbauer. Detection of Abusive Language: the Problem of Biased Datasets. In Proc. of NAACL, pp. 602-608, 2019.

[11]Björn Ross, Michael Rist, Guillermo Carbonell, Benjamin Cabrera, Nils Kurowsky, and Michael Wojatzki. Measuring the reliability of hate speech annotations: The case of the european refugee crisis. arXiv:1701.08118, 2017.

[12]Reuben Binns, Michael Veale, Max Van Kleek, and Nigel Shadbolt. Like trainer, like bot? inheritance of bias in algorithmic content moderation. In International conference on social informatics, pp. 405-415. Springer, 2017.

[13]Ji Ho Park, Jamin Shin, and Pascale Fung. Reducing gender bias in abusive language detection. In Proc. of EMNLP, pp. 2799-2804, 2018.

[14]Maarten Sap, Dallas Card, Saadia Gabriel, Yejin Choi, and Noah A Smith. The risk of racial bias in hate speech detection. In Proc. of ACL, pp. 1668-1678, 2019.

[15]Thomas Davidson, Debasmita Bhattacharya, and Ingmar Weber. Racial bias in hate speech and abusive language detection datasets. In Proc. of the Third Workshop on Abusive Language Online, pp. 25-35, 2019.

[16]Maximilian Wich, Jan Bauer, and Georg Groh. Impact of politically biased data on hate speech classification. In Proc. of the Fourth Workshop on Online Abuse and Harms, pp. 54-64, 2020

[17]Erenay Dayanik and Sebastian Padó. Masking actor information leads to fairer political claims detection. In Proc. of $A C L$, July 2020.

[18]Tal Schuster, Darsh Shah, Yun Jie Serene Yeo, Daniel Roberto Filizzola Ortiz, Enrico Santus, and Regina Barzilay. Towards debiasing fact verification models. In Proc. of EMNLP-IJCNLP, pp. 3410-3416, 2019.

[19]Sandeep Suntwal, Mithun Paul, Rebecca Sharp, and Mihai Surdeanu. On the importance of delexicalization for fact verification. In Proc. of EMNLP-IJCNLP, pp. 3404-3409, 2019.

[20]Isabelle Augenstein, Christina Lioma, Dongsheng Wang, Lucas Chaves Lima, Casper Hansen, Christian Hansen, and Jakob Grue Simonsen. Multifc: A real-world multi-domain dataset for evidence-based fact checking of claims. In Proc. of EMNLP-IJCNLP, pp. 4677-4691, 2019.

[21]Benjamin Horne and Sibel Adali. This just in: Fake news packs a lot in title, uses simpler, repetitive content in text body, more similar to satire than real news. In Proc. of ICWSM, Vol. 11, 2017.

[22]Verónica Pérez-Rosas, Bennett Kleinberg, Alexandra Lefevre, and Rada Mihalcea. Automatic detection of fake news. In Proc. of COLING, pp. 3391-3401, 2018.

[23]Parth Patwa, Shivam Sharma, Srinivas PYKL, Vineeth Guptha, Gitanjali Kumari, Md Shad Akhtar, Asif Ekbal, Amitava Das, and Tanmoy Chakraborty. Fighting an infodemic: Covid-19 fake news dataset. arXiv:2011.03327, 2020.

[24]Stefan Evert. The statistics of word cooccurrences: word pairs and collocations. 2005.

[25]Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proc. of COLING, pp. 1638-1649, 2018.

[26]Alan Akbik, Tanja Bergmann, and Roland Vollgraf. Pooled contextualized embeddings for named entity recognition. In Proc. of NAACL, pp. 724-728, 2019.

[27]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL, pp. 4171-4186, 2019

## A 付録

## A. 1 データセットの概要

本稿で扱うデータセットのドメインや各ラベルの データ数について表 5に示す.

表 54 つのデータセットの概要.

## A. 2 データセットの LMI

Celebrity と Constraint の 2 つのデータセットに おいて各ラベルと相関の高い上位 10 フレーズの LMI を表 6に示す. 芸能系のニュースで構成され た Celebrity では “brad pitt” や “kate middleton” などの 著名人が，COVID-19 関係の Constraint では “donald trump” “bill gates”などの人名が Fake ラベルと高 い相関を持つという結果となった。一方で，Real ラベルでは人名や固有名詞が少なく, “i had” や “if you"などの一般的な表現と高い相関を持つという傾向が示された. Fake ラベルと人名が高い相関を持 ち, Real ラベルと一般的な表現が高い相関を持つと いう傾向は 4 つのデータセット全体に見られる傾向 である.

## A. 3 マスキング手法における Wikidata

本実験では，テキストのマスキングのためにデー タセットを構成する記事や投稿の時期に対応した Wikidataを用いる。具体的には，MultiFC には 2016 年 1 月 4 日, Horne17と Celebrity には 2018 年 1 月 11 日，Constraint に対しては 2020 年 12 月 28 日に公開された Wikidataを用いる.

## A. 4 各データセットにおける Wikidata ラ ベル

各データセット同士の WikiD による Wikidata ラ ベルの重複を表 7に示す. これは，左列に示した データセットの Wikidata ラベルのうち，他のデー タセットにある Wikidata ラベルによってどの程度 カバーされているかを示したものである. MultiFC と Horne17 データセットは同様の政治トピックで あることからお互い高いカバー率である。一方で，表 6 Celebrity と Constraint データセットの bi-gramを対象に，各ラベルにおいて LMI が高い上位 10 フレーズ.

 & 822 & 0.93 & donald trump & 569 & 0.98 \\

Celebrity データセットは芸能というドメインである ことから，他のデータセットと比べ低いカバー率で ある．各データセットにおいて出現回数が上位 3 つ の Wikidata ラベルを表 8に示す.

表 7 各データセット同士の Wikidata ラベルのカバー率.

表 8 各データセットにおける，出現回数上位 3 の Wikidata ラベル.

 &  & actor &  \\


 村山 太一若宮翔子荒牧英治 奈良先端科学技術大学院大学 \{murayama.taichi.mk1, wakamiya, aramaki\}@is.naist.jp  