# QA Lab-Polilnfo-3 における Fact Verification

横手健一

日立製作所

kenichi.yokote.fb@hitachi.com

秋葉友良豊橋技術科学大学木村泰知

小樽商科大学渋木英潔

国立情報学研究所

kimura@res.otaru-uc.ac.jp

小川泰弘

名古屋大学石下円香

国立情報学研究所
## 1 はじめに

国立情報学研究所が主催する NTCIR プロジェ クトの一つとして QA Lab-PoliInfoを開催してきた. QA Lab-PoliInfo は質問応答や自動要約などの自然言語処理のアプローチにより, 政治情報における信恣性問題を解決することを目指す. 本稿では,NTCIR-14 QA Lab-PoliInfo segmentation の後続タスクとなる Fact Verification タスクについて述べる.

## 2 Fact Verification の位置付け

本章では,Fact Verification タスク（以降「本タスク と呼ぶ」）について, 先行タスクとの差異, 本タスク の狙い, および関連研究を述べる。

## 2.1 先行タスク:NTCIR-14 QA Lab-Polilnfo segmentation

NTCIR-14 QA Lab-PoliInfo segmentation[1] では, 原文書とその中の一部を要約したテキストを入力とし て与え,テキストが原文書のどこを要約したかを文 レベルで特定する. 原文書として東京都議会の発言記録を対象とし, 要約テキストとして, 都議会の活動 を発信する広報紙である「都議会だより」を対象と する.いずれも、インターネット上に公開されている [2][3]. 発言を引用, 要約して生成した二次情報は, 発言の一部が欠落することにより, 発言者の本来の意図とは異なった印象を読者に与えてしまう危険性が ある. 二次情報に対応する実際の発言を同時に提示 することで, 誤った解釈で二次情報が流通すること を防止する。

## 2.2 Fact Verification タスクの狙い

NTCIR-14 QA Lab-PoliInfo segmentation が対象とし た広報紙「都議会だより」は, 東京都議会の発言記録 を元に作成している. 従って, 都議会だよりの各記述
に対応する実際の発言は必ず存在し, その必ず存在 する発言情報（要約テキストに対応する原文書中の 開始行と終了行）を特定する問題として扱うことが できた. 一方で, 実際の発言が存在しない架空の二次情報を入力した時, 原文書中に対応する発言が存在 しないことを提示することはできなかった. 本タス クは,NTCIR-14 QA Lab-PoliInfo segmentation が対象 とした「東京都議会の発言記録」，「都議会だより」 に加えて, 実際の発言が存在しない架空の「都議会 だより」を作成し, 評価の対象とする.これによって，誤った解釈で二次情報が流通することだけでなく，根拠が存在しない偽の二次情報が流通することも防 ぐ手段を検討する.

## 2.3 関連研究

本節では,フェイクニュース問題や Fact Checking を扱う関連タスク事例について述べる。

## 2.3.1 SemEval-2017 Task 8: RumourEval

SemEval-2017 Task 8: RumourEval タスク [4] は, ソーシャルメディアに投稿された噂 (Rumour) とそ れに対する返信投稿の各やり取りに対して, 賛成反対などのスタンスに関する 4 種類のラベルに分類す るサブタスク A と,その噂が正しいかどうかの信恣性を 0 から 1 の確信度で出力するサブタスク B を実施した. ラベル付与の正解はクラウドソーシングで 作成し, 信憑性の正解はジャーナリストのような専門家によって作成した. サブタスク A の評価はラべ ル付与の正答率, サブタスク B の評価は確信度の平均平方二乗誤差 (RMS Error) を用いた.

## 2.3.2 The Fact Extraction and VERification (FEVER)

The Fact Extraction and VERification (FEVER) Shared Task[5] は, 人手で作成した主張 (Claim) に対して,
正しい (SUPPORTED), 誤り（REFUTED）, 情報不足 (NotEnoughInfo) の 3 種類のラベルに分類する判定 と,SUPPORTED と REFUTED の場合はその根拠とな るテキストを Wikipedia から抽出するタスクを実施 した.Claim は Wikipedia のテキストから言い換える などの手法で人手で生成し, ラベルと根拠テキスト の付与も人手で行った. 根拠テキストを漏れ無く人手で収集することは困難のため, タスク参加者のシ ステムを用いて収集できた根拠テキストも利用し た. 評価は, ラベル分類の正答率と, 抽出した根拠テ キストの文レベル F-measure によって実施した.

## 3 データセットの説明

本章では, データセットの構成について述べる. 表 1 は, 本タスクの原文書に相当する「東京都議会の発言記録」のカラム名称とサンプルデータである. 発言記録を行で分割したテキストを最小単位とし，「ID」 は各分割テキストに一意な値である。「Line」は何行目の分割テキストであるかを示す.「Prefecture」は本 タスクでは東京都を値に持つ.「Title」は発言がなさ れた会議の名称を示し,「Volume」と「Number」は会議名を識別するための情報を示す.「Year」「Month」「Day」は発言した日時を示し,「Speaker」は発言者,「Utterance」は発言の内容を示す. 表 2 は, 本タスク

表 1 東京都議会会議録のデータ構造

の要約テキストに相当する「都議会だより」のカラ ム名称とサンプルデータである.「架空の都議会だ より」についても同様のデータ構造を持つ. 会議中 の一つの質問とそれに対する回答の組を最小単位 （以降「答弁」と呼ぶ）とし，「ID」によって各答弁 に一意な值を割り当てる.「Prefecture」は東京都を 値に持ち,「Meeting」は答弁がなされた会議の名称，「Date」は答弁がなされた日時を示す.「MainTopic」
と「SubTopic」は答弁を分類するためのカテゴリ情報を示し, 複数の答弁が一つの MainTopic,SubTopic に属する。「QuestionSpeaker」は質問の発言者,「AnswerSpeaker」は回答の発言者,「QuestionSummary」は 質問の要約,「AnswerSummary」は回答の要約を示 す.「QuestionStartingLine」,「QuestionEndingLine」, $\ulcorner$ AnswerStartingLine」,「AnswerEndingLine」は, 要約 テキストが「都議会だより」の場合, 要約の元となっ た「東京都議会の発言記録」データの Line の値を示 す. NTCIR-14 QA Lab-PoliInfo segmentation タスクで は,Lineの値が入力済みの「都議会だより」データを 教師データとして配布し,未大力の「都議会だより」 データに対して Line を推定するタスクとして実施 した. 要約テキストが「架空の都議会だより」の場合, 要約元が存在しないことを示す固有の表記を設 けることを検討している。

表 2 都議会だよりのデータ構造

 \\

強い危機感に立ち、 \\
AnswerSummary & な現場を踏まえて緊急に \\
& 日本再生に向けて \\
& 速やかに行動して、 \\
都民・国民の不安を \\
振り払ってもらいたい。 \\

## 4 評価方法

本章では, 本タスクの評価指標について述べ る. 先行タスクである NTCIR-14 QA Lab-PoliInfo segmentation[1] で実施した Precision,Recall,F-measure に加えて, 要約テキストが「架空の都議会だより」 である時に, 要約元が存在しないことを判定でき たかどうかに関する指標を設ける。例えば, 前記 SemEval-2017 Task 8: RumourEval タスクのように 0

から 1 の確信度を出力することを求め, それらの平均平方二乗誤差 (RMS Error) で評価する方法を検討 している.

## 5 おわりに

本稿では,NTCIR-14 QA Lab-PoliInfo segmentation の 後続タスクとなる Fact Verification タスクについて, タスクの狙い, 関連研究, データセットの構成, 評価指標を紹介した. 本タスクは予備テスト（Dry Run）期間と本テスト（Formal Run）期間を設け,Dry Run 期間中は仮のデータセットと評価指標で実施し, 本 タスクの課題洗い出しを行う. その後に, 正式なデー タセットと指標を決定し,Formal Run を実施する計画である。

## 参考文献

[1] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, et al. Overview of the ntcir-14 qa lab-poliinfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[2] 会議録・速記録 | 東京都議会. https://www.gikai. metro.tokyo.jp/record/.

[3] 都議会だより.https://www.gikai.metro.tokyo.jp/ newsletter/.

[4] Leon Derczynski, Kalina Bontcheva, Maria Liakata, Rob Procter, Geraldine Wong Sak Hoi, and Arkaitz Zubiaga. Semeval-2017 task 8: Rumoureval: Determining rumour veracity and support for rumours. arXiv preprint arXiv:1704.05972, 2017.

[5] James Thorne, Andreas Vlachos, Oana Cocarascu, Christos Christodoulopoulos, and Arpit Mittal. The fact extraction and VERification (FEVER) shared task. In Proceedings of the First Workshop on Fact Extraction and VERification (FEVER), pp. 1-9, Brussels, Belgium, November 2018. Association for Computational Linguistics.
 横手健一  日立製作所  kenichi.yokote.fb@hitachi.com  秋葉友良豊橋技術科学大学木村泰知  小樽商科大学渋木英潔  国立情報学研究所  kimura@res.otaru-uc.ac.jp  小川泰弘  名古屋大学石下円香  国立情報学研究所 