# ファクトチェック支援のための含意関係認識システム

栗原健太郎
早稲田大学基幹理工学部
kkurihara@akane.waseda.jp
}

河原大輔
早稲田大学基幹理工学部
dkw@waseda.jp

## 1 はじめに

2016 年アメリカ大統領選挙以降、フェイクニュー スという言葉が世界中に浸透している。フェイク ニュースとは虚偽の情報で作られたニュース、すなわ ちデマ情報を意味する言葉であり、フェイクニュース という言葉の拡大は、政治家の発言や現地メディアの 報道の真実性に関する議論を勃発させていた。しか し、それら発言や報道が、時として大統領選挙の結果 などの重要な局面で大きな影響を与えうる。故に、報道機関では不正のない正当な情報の提供のために、発信する情報の真実性の向上と外部の言説の適切な利用を目的としたファクトチェックの需要が高まって いる。

しかしファクトチェックは、昨今のニュースの情報源の膨大さ故に大変な労力を要する作業である。日本 においても、 $\mathrm{InFact}^{11}$ や毎日新聞などのジャーナルが 積極的なファクトチェックを行っているが、ファクト チェックの自動化が実現していない現状においては、 その作業は人手や時間のかかる作業となっている。本研究では、含意関係認識を活用したファクト チェック支援システムを考える。システムの概略図を 図 1(a) に示す。本システムは以下のフローで構成さ れる。

1. 疑義言説について関連する文書集合を取得

2. 疑義言説とその関連文書の含意関係認識

ここで疑義言説とは、ファクトチェックの対象となる 真実かどうか疑わしい言説である。本研究では疑義言説を 1 文で表せるものとする。

本研究では、上記フローのうち、2の含意関係認識 のステップ (図 1(b)) の実現を目指す。このステップは 疑義言説と関連文書との含意関係認識であるが、既存 の含意関係認識リソースは文ペアを対象にしており、 これらを利用することが難しい。そこで、本研究で は、このステップを実現するための要素技術として、

1) https://infact.press/疑義言説 1 文と関連文書中の 1 文との含意関係認識を 行うシステム (図 1(c))を構築する。このシステムを NLIFC (NLI system for FactCheck) と呼ぶ。

NLIFC の訓練・評価のためにデータセットを構築 した。これを FCSNLI (FactCheck Sentence NLI デー タセット) と呼ぶ。SNLI [1] や MultiNLI [2] などの 既存の含意関係認識データセットでは、文ペアが contradiction (矛盾)", “entailment (含意)”, “neutral (中立)” のいずれかのラベルをもち、2 文間には何らかの 関係性がある。しかし、ファクトチェックにおいて は、疑義言説と関連文書中の 1 文がまったく関係ない ことも多い。そこで、FCSNLI のラベルは、上記 3 ラ ベルに “unrelated (無関係)”を加えた 4 ラベルとする。訓練データは、既存 3 ラベルの識別性能向上を目的と して SNLI の和文翻訳データセットである JSNLI [3] “unrelated” ラベルの識別性能向上を目的としてニュー ス記事のコーパス、数値表現の識別性能向上を目的と した擬似データの 3 種類から構成する。評価データ は、ファクトチェック・イニシアティブ (FIJ) が提供 する疑義言説データベースに掲載されている疑義言説 を基に作成する。

NLIFC のモデルは文脈言語モデル BERT [4]を用い る。実験の結果、FCSNLI の 4 ラベルにおける F1 值 は 0.653、“unrelated”以外の 3 ラベルのみにおける F1 值は 0.538 となった。本研究における提案手法および 構築したデータセットは、含意関係認識システムを活用したファクトチェック支援の第一歩になると考えて いる。

## 2 関連研究

田上ら [5] はファクトチェックすべきニュース記事 (要検証記事) の探索支援に関する研究を行ってい る。具体的には、ファクトチェックをするべきである ニュース記事の選別のための端緒情報の特定、および 特定した端緒情報を利用したニュース記事の検証必要度のランク付けによる要検証記事の探索支援の仕組み を構築している。本稿では、このような仕組みによっ
(a)

図1ファクトチェック支援システムの概略図

て抽出された要検証記事のファクトチェックを図 1 の フローで支援することを想定し、疑義言説と関連文書 の含意関係認識システム構築の前段階として、疑義言説と関連文書中の文との含意関係認識システムを提案 する。

## 3 ファクトチェック支援のための 含意関係認識システム

ファクトチェック支援のための含意関係認識システ ムとして NLI system for FactCheck (NLIFC) を提案す る。本モデルは図 1(c)、すなわち疑義言説と関連文書中の文の 2 文間の含意関係認識を行うシステムであ る。本研究では、疑義言説は 1 文で表されるものを扱 うので疑義言説文、関連文書中の文をリソース文と 呼ぶ。

提案モデルは BERT (Bidirectional Encoder Representations from Transformers) [4] をべースとする。本研究 では BERT 日本語 Pretrained モデル [6] を使用し、ファ クトチェック支援への活用に向けた含意関係認識夕 スクで fine-tuning する。本タスクにおける fine-tuning のために、4 節で述べる FCSNLI 訓練データを用い る。入力はリソース文と疑義言説文の 2 文であり、出力ラベルは "contradiction", "entailment", "neutral", “unrelated”の 4 ラベルのいずれかである。

リソース文と疑義言説文は形態素解析器 Juman $++^{2)}$ で分かち書きを行ったトークン列を入力とし、リソー ス文と疑義言説文の間に [SEP] トークンを追加して いる。

## 4 ファクトチェック支援に向けた 含意関係認識データセットの構築

NLIFC の訓練および評価を行うデータセットとし て、FCSNLIを構築する。本データセットのラベル は 1 節で述べたとおり、“contradiction”, “entailment,

2) http://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\%2B\%2B "neutral", "unrelated”の 4 ラベルとした。

## 4.1 訓練データ

FCSNLI 訓練データは以下の 3 つのデータセットか ら構成する。
- JSNLI (contradiction: 182964, entailment: 182583, neutral: 182467, unrelated: 0 )

・ unrelated データセット (contradiction: 0 , entailment: 0 , neutral: 0 , unrelated: 180000 )

$\cdot$ figure データセット (contradiction: 248556, entailment: 248556, neutral: 30360, unrelated: 0)

unrelated データセットは、JSNLI データに含まれてい ない unrelated ラベルのデータを追加する目的で構築 したデータセットである。データのペアのうち一方 は livedoor ニュースコーパスの文を使用し、他方に は JSNLI データセットの文を使用した。figure データ セットは、NLIFC の数値表現の認識性能向上を目的 として作成した擬似データセットである。リソース 文・疑義言説文の数値を変化させ、対応する正解ラべ ルを与えることで擬似データの生成を行った。figure データセットの例を付録の表 6 に示す。

## 4.2 評価データ

FCSNLI 評価データはファクトチェック・イニシ アティブ (FIJ) が提供する疑義言説データベース ClaimMonitor2 に掲載されている疑義言説のうち、 Infact や毎日新聞などのジャーナルが検証を行った言説を基に構築した。データセットの構築は以下の 2 点 に留意した上で人手で行った。

1. 人には容易に含意関係認識が可能となるような データセット

2. 既存の NLI データセットよりも平均文字数が多 くなるような文のペアのデータセット

これらは、既存の NLI データセットにおける以下の特

 &  \\

表 1 FCSNLI 評価データの例

表 $2 \mathrm{JSNLI} \cdot \mathrm{FCSNLI}$ における文の平均文字数

徴との差別化を図ったものである。

1. ペアに無関係のものがほとんど含まれていない。

2. 文の平均文字数が短い。

FCSNLI 評価データの例を表 1 に示す。データ数は 開発 (dev) データが 305 ペア、テスト (test) データが 200 ペアとなっており、ラベルの比率は unrelated: 既存 3 ラベル $=4: 1$ である。文の平均文字数は表 2 のように JSNLI と比較して多くなった。

## 5 含意関係認識システムの評価実験

## 5.1 実験設定

NLIFC の構築にあたって、BERT の学習の際のハイ パーパラメータを付録の表 7 に示す。また、NLIFC の性能評価のため、figure データセットを除いて fine-tuning したモデル (以下 NLIFC - figure) と、JSNLI データセットのみを用いて fine-tuning したモデル (以下 NLIFC - unrelated - figure) も同様の設定で構築する。

モデルの性能評価には FCSNLI と JSNLI の 2 つの評価データを使用した。このうち JSNLI は unrelated 以外の 3 ラベルで構成されているデータセットであるた め、NLIFC と NLIFC - unrelated - figure の比較を通じ て unrelated の学習が与える既存 3 ラベルの識別性能 への影響の調査が可能となる。精度の測定に関して、 JSNLI データセットについては正答率をスコアとし、 FCSNLI データセットについてはマイクロ平均により 算出した $\mathrm{F}$ 値をスコアとしており、3ラベルデータの スコア算出は unrelated データ以外について行った。

## 5.2 結果・考察

FCSNLI の全てのデータで訓練した結果を表 3 の NLIFC の行に示す。提案手法は JSNLI データセット において、精度 0.922 を達成しており、JSNLI モデル のスコアとわずか $0.5 \%$ 差であることから、unrelated の学習に伴う 3 ラベルの識別性能の低下は生じていな いことを示している。また、FCSNLI - test の 4 ラベル データで評価した結果は 3 ラベルデータで評価した 結果と比較して 11.5 ポイント上回っている。これは NLIFC の unrelated ラベルの識別性能が他の 3 ラベル の識別性能よりも性能が高いことを示している。一方で 3 ラベルデータにおける 0.538 というスコアは、 JSNLI タスクで高精度を達成している BERT も、ファ クトチェック支援などの実応用における含意関係認識 に関しては性能が不十分であることを示している。

NLIFC の予測例を表 4 に示す。(1)のようにリソー ス文の肯定表現と疑義言説の否定表現を正しく認識で きた例が得られた一方で、(2)(3) のように “entailment” と判定してしまう誤り例も得られた。これはリソース 文と疑義言説文とで一致する表現が多いことから否定表現の認識が適切に行われず“entailment” と判定し まったと考えられる。次に (4) のようにリソース文あ るいは疑義言説文が長文である場合の誤り例も多く見 られた。これは長文における文脈の考慮が正確にでき ていないことに起因していると考えられる。(5)はリ ソース文の前半の「新型コロナ〜論文が存在する一方で」と疑義言説文との含意関係は “entailment”、リ ソース文の後半の節「WHO は〜続いている。」と疑義言説文との含意関係は “contradiction” となるという問題であり、このような節ごとに異なる含意関係を持つ データに関しても誤った判定をしていた。

表 3 評価結果

 \\

表 4 NLIFC の予測例

 & リソース文 & 疑義言説文 \\

表 5 NLIFC と NLIFC - figure の予測例

## 5.3 Ablation 実験

NLIFC 構築において fine-tuning に用いた figure デー タセットが与えた影響に関して考える。NLIFC から figure データセットを除いて学習したモデル (NLIFC figure) の評価結果を表 5 に示す。開発データ同士での 比較ではほとんどスコアに差はなかったものの、テ ストデータにおいては NLIFC が NLIFC - figure のス コアを、4 ラベル評価・3 ラベル評価の両方で上回っ た。この結果は figure データセットの有効性を示して いる。各モデルの出力例を表 5 に示す。( I ) の他 3 件 の正解ラベルが “contradiction” の数値表現を含むデー タに関して同様に NLIFC のみが正解できた一方、(II ) の他 2 件の正解ラベルが “neutral” の数値表現を含 むデータに関しては NLIFC - figure のみが正解した。 これは、figure データセットの多くが “contradiction” と “entailment”の 2 つのラベルから構成されるため、 neutral の数値表現に関しての学習が不十分であるこ とが考えられる。

## 6 おわりに

本研究では、疑義言説と関連文書との含意関係認識 システム構築の前段階として、疑義言説と関連文書中 の文との含意関係認識システムとして NLIFC を提案 した。また、ファクトチェックへの応用を想定した含意関係認識システムの評価指標として FCSNLI データ セットを構築した。

実験結果は、FCSNLI タスクが JSNLI タスクと比較 して難易度の高いタスクであることを示している。一方で、提案手法は FCSNLI タスクで $\mathrm{F} 1$ 値 0.653 を達成 しており、今後のファクトチェック支援の第一歩にな ると考えている。今後は、MultiNLIなどのドメインの カバレッジが広い NLI データセットの和文翻訳デー タセットを用いた FCSNLI データセットの拡張によ る含意関係認識システムの性能向上を図るとともに、 データセット拡張の自動化も検討していく。また、図 1(b) のような疑義言説と複数文から成る関連文書の含意関係認識システムの実現が今後の課題である。

## 参考文献

[1]Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[2]Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3]吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 研究報告自然言語処理 (NL), pp. $1-8,2020$.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]田上翼, 朝野広樹, 楊井人文, 山下亮, 小宮篤史, 藤村厚夫, 町野明徳, 乾健太郎.ファクトチェックを必要とする ニュース記事の探索の支援. 言語処理学会 第 24 回年次大会, pp. $404-407,2018$.

[6]柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, pp. 205 208, 2019.

## A 付録

 & "山田君は 3 月 15 日に沖縄に滞在していた。 \\

表 6 figure データセットの例

表 7 ハイパーパラメータの設定値
 栗原健太郎 早稲田大学基幹理工学部 kkurihara@akane.waseda.jp }  河原大輔 早稲田大学基幹理工学部 dkw@waseda.jp  