# 事実検証モデルのための
## ラウンドトリップ翻訳を利用した疑似フェイクデータ生成

\author{
小林龍斗秋葉友良 \\ 豊橋技術科学大学 情報・知能工学課程 \\ kobayashi.ryuto.jz@tut.jp akiba@cs.tut.ac.jp
}

## 概要

フェイクニュースの拡散は，誰もが情報を共有で きるソーシャルメディアが普及している昨今におい て重大な問題となっている。この問題に取り組むた め, NTCIR プロジェクトにおける議会議事録を対象 とした評価タスク QA Lab-Poliinfo-3 ${ }^{1}$ では, Fact Verification タスクが実施された。しかし我々は，同 タスクで提供された学習データを使用して構築した 分類器では, 人手で作成されたフェイクデータを上手く検出できないことを実験により確認した. 本研究では，この一つの要因であるフェイク学習データ の不足に着目し，Round-Trip 翻訳を利用した疑似フ エイクデータ拡張手法を提案する.評価実験により，提案手法で自動生成されたフェイクデータを学習に 利用することで，人手フェイクデータに対する検出精度を向上させられることを確認した。

## 1 はじめに

近年，フェイクニュースやデマの拡散が社会問題 になっている、ソーシャルメディア等を通じて拡散 された真偽不明の情報は人々に誤解を与え，混乱を 招く恐れがある。このような問題に取り組むため, NTCIR-16 QA Lab-Poliinfo-3では, Fact Verification タ スクが実施された. Fact Verification タスクでは，与 えられた討論の要約が実際に議会で話し合われてい る内容と即しているかどうかを検証するモデルの精度が競われた.ここで我藤ら[1] は, パッセージ検索 と含意関係認識モデルを組み合わせた手法を提案し，参加チーム中トップの成績を達成した。

しかし我々は，我藤らのモデルが人手で作成され た巧妙なフェイクデータを上手く検出できないこと を実験によって確認した. 本研究では, この一つの要因と考えられるフェイクの学習データの不足に着目し，ラウンドトリップ翻訳を利用した疑似フェイ クデータ生成手法を提案する．実験の結果，提案手法で生成した疑似フェイクデータをモデルの学習に 利用することで，人手フェイクデータの検出精度を 向上させられることが確認できた。

## 2 関連研究

事実検証の方法には様々な手法が提案されている。我藤ら[1]は，主張文中の語句をクエリとして情報源から要約に関連する文を検索し，主張文と検索文 との間に含意関係が成立するかどうかを判定するこ とで，フェイクの検出を試みた。含意関係とは，あ る主張 A が成立するとき，ある主張 B もまた成立す る関係を示し，このとき主張 A は主張 B を含意して いると言う，我藤らは，主張文が正しければ，それ を含意する検索文との間に含意関係が成立すると仮定し，含意関係が成立するかどうかを判定するモデ ルを事前学習言語モデル BERT[2]を利用して構築し た. 本研究は我藤らの研究に基づいている.

また，Jawahar ら[3]は知識べースを利用した事実検証方法を提案した。知識ベースとは，知識をコン ピュータで扱えるよう形式化した特殊なデータベー スを指し, Jawahar らの研究では, 単語と単語が関係 で接続された三連結のデータを集めた YAGO[4]を 利用している. Jawahar らは知識べースに含まれる知識を基に有向グラフを構築し，それをグラフ畳み込 みニューラルネットワークで符号化することで，事実検証モデルに知識ベースを組み込んだ。また，こ こではエンティティ操作によるフェイクデータ生成手法も提案されている. 通常のエンティティ操作は, エンティティを無作為に置き換えることで達成され るが，ここではテキスト生成モデル GPT-2[5]を利用


した手法が提案されており, 置き換え元の語と関連性の高い語を予測して置換することで, 検出難易度 の高いフェイクを作成している.

## 3 提案手法

提案手法では，正しい主張文に特定の操作を自動的に加えることにより,フェイクデータを作成する.

## 3.1 文の操作

提案手法では, 主張文に対して以下の操作を加え ることによって, フェイクデータの生成を試みる.
- 否定の指 ・削除

「A は B が好きだ」ー「A は B が好きでない」
- 対義語への変換

「A は B が好きだ」 $\rightarrow 「 A$ は B が嫌いだ」
- 主語一目的語の交換

「A B が好きだ」 $\rightarrow$ 「Bは A が好きだ」

## 3.2 Direct Manipulation

一つ目の手法として, 主張文に対して何らかの操作を直接的に加える Direct Manipulation (以降, DM) を提案する. 操作の模様を図 1 に示す. 尚, DM で は 3.1 節に示した 3 つの操作の内, 否定の挿入・削除のみを実装する。

この手法は単純であるが，主張文を強引に書き換 えることで不自然な文が生成される恐れがある.

図 1 Direct Manipulation

## 3.3 Round-Trip Manipulation

DM に対して, 主張文を直接操作するのではなく, Round-Trip 翻訳を介して文を操作する手法を提案す る. 本稿では, Round-Trip Manipulation (以降, RTM) と呼ぶ. 操作の模様を図 2 に示す. 尚, RTM では 3.1 節に示した 3 つの操作を全て実装する.

RTM では, はじめに日本語で与えられる主張文を 英語などの言語に翻訳し，機械翻訳によって得られ た英語の翻訳文に対して何らかの操作を加え，それ を再び翻訳することによって日本語のフェイクデー タを生成する。翻訳機を介することにより，違和感 のある文章の改変が緩和され，自然な文章が得られ ることを期待している。

## 4 評価実験

提案手法の有効性を検証するため, 以下の評価実験を行う。

## 4.1 データセット

本実験では，昨年開催された NTCIR-16 QA LabPoliInfo-3 Fact Verification タスクにて配布された Formal Run の学習データ, テストデータを使用して データセットを作成する. 配布データのフォーマッ トを表 1 に示す.

データ数は 1,433 件あり, 本実験ではここから Utterance Type が回答, Document Entailment が True のデータ 411 件を抽出して利用する. さらに，テス トデータ作成に 60 件のデータを確保し, 残りの 351 件を学習データ作成に利用する。

表 1 配布データのフォーマット

図 2 Round-Trip Manipulation

## 4.1.1 テストデータ

テストデータは人手で作成する. 我々は, 4 名の 被験者の協力で人手フェイクデータを収集した。作成にはテストデータ作成用に確保した 60 件のデー 夕を用い, 要約文を何らかの形で書き換えることで フェイクデータを作成するよう被験者らに依頼した。結果, 60 件の True データに対して 60 件の人手作成 False データを収集することができた. テストデータ の例を付録の表 に添付する. テストデータは人手作成フェイクデータ 60 件, その参考となったテス トデータ作成用のデータ 60 件を合わせた 120 件と する.

## 4.1.2 学習データ

学習データは提案手法によって自動的に作成する.作成には学習データ作成用に確保した 351 件のデー タを利用する。

$\mathrm{DM}$ では，否定の挿入・削除操作（NEG）によっ てフェイクデータを生成する。実装には形態素解析 ツール MeCab²を利用し, 解析された動詞と活用の種類に応じて否定の挿入・削除を行う.

RTM では，否定の挿入・削除（NEG）, 対義語へ の変換（ANT）, 主語一目的語の交換操作（SOE） によってフェイクデータを生成する．実装には自然言語処理ツール Stanza 3 利用し, 翻訳機には DeepL $\mathrm{API}^{4}$ を利用する。また，単純な Round-Trip 翻訳によ って True の擬似データも同時に作成する.これは， フェイクデータのみを拡張することによる偏りを抑 えることを目的としている.

以上の手法によって作成されたデータ例と件数を 付録の表 4 に添付する.

## 4.2 実験ベースライン

本実験のベースラインとなるモデルを先行研究 [1]に従って構築する. 先行研究のモデルはパッセー ジ検索と事前学習言語モデルを利用した含意関係認識によって構築されている.

パッセージ検索では，文書ランク付け手法である BM25+[5]を利用する. クエリ $Q$ に対する文書 $D$ の BM25+スコアは次の計算式で表現される. パラメー 夕はそれぞれ $k_{1}=1.2, b=0.75, \sigma=1.0$ とする.


$
\begin{aligned}
& \sum_{i=1}^{n} \operatorname{IDF}\left(q_{i}\right) \cdot\left[\frac{f\left(q_{i}, D\right) \cdot\left(k_{1}+1\right)}{f\left(q_{i}, D\right)+k_{1} \cdot\left(1-b+b \cdot \frac{|D|}{a v g d l}\right)}+\delta\right] \\
& I D F\left(q_{i}\right)=\log \frac{N}{n\left(q_{i}\right)}
\end{aligned}
$

含意関係認識モデルには, 東北大学の乾研究室が 公開している BERT-base ${ }^{5}$ モ゙ルを利用する.このモ デルに対して NTCIR-16 QA Lab-PoliInfo-3 Fact Verification タスクにて配布された Formal Run の学習データ 1023 件を利用し, 含意関係認識モデルの ファインチューニングを行う. 先行研究のモデルの 模式図を付録の図 3 に添付する。

実験ベースラインには，上記ベースラインモデル （以降，Baseline）に加え， 120 件のテストデータで 交差検証を行ったモデル（以降, Supervised）を設定 する. テストデータ数が 120 件と少ないため, 交差検証では, テストデータとして 1 件を残し, 残り 119 件を学習データとして学習と推論を 120 回繰り返す leave-one-out 法を採用する.

## 4.3 評価指標

評価指標はテストデータ 120 件に対する分類精度 である Accuracy, フェイク検出の Precision, Recall, F1 とする。

## 4.4 実験方法

実験では, 4.2 節に従って作成される実験ベースラ インモデルに対して, 提案手法で自動生成された学習データを再学習させることで，テストデータ 120 件に対する分類精度が向上するかどうかを確かめる.

## 4.5 実験結果

次頁の表 2 に実験結果を示す.

## 4.5.1 ベースラインとの比較

Baseline の Recall を見ると, ベースラインのモデ ルが人手で作成されたフェイクデータを殆ど見分け られていないことが分かる.これに対し, 他の殆ど のモデルでは Recall が向上しており, 適切な学習デ ータを利用することは人手作成フェイクデータの判定に効果的だと言える。また，人手作成データを再
^{4}$ https://www.deepl.com/pro-api?cta=header-pro-api

5 https://huggingface.co/cl-tohoku
}
表 2 評価実験の結果

学習に用いた Supervised モデルと提案手法を採用し たモデルでは，提案手法を採用したモデルの方が高 い精度で分類することができた. Supervised モデル に再学習させられたフェイクデータは 60 件と数が 少なかったのに対し, 提案手法のモデルではデータ 拡張によってフェイクデータを 300 件前後学習させ ることができた.この結果から，擬似データであっ ても，多量のデータを自動生成することは効果的だ と言える.

## 4.5.2 提案手法の比較

二つの提案手法 RTM, DM を比較すると, 擬似 フェイクデータの作成手法としては Round-Trip 翻訳を利用した方が効果的だと言える。DM であまり 精度が出なかった要因として, 操作前と操作後の文 の表現が殆ど変わらないことから, 再学習の段階で モデルを混乱させているためだと考察する.

## 4.5.1 学習データの比較

RTM を利用したモデルの中では, F1 の観点にお いて, ORG/NEG と ORG+RTT/NEG+ANT を学習さ せたモデルの精度が高かった。表全体を見ると， NEG, ANT を学習させたモデルの精度が高い傾向に あり, 逆に, SOE は今回のテストデータに対しては あまり効果が無かったことが読み取れる。これはテ ストデータに主語一目的語を交換することによって 生成されたデータが殆どなかったためだと考えられ る（表 3）.これに対し, 否定の挿入・削除および対義語への変換を行ったフェイクは多く,これは NEG および ANT 学習させたモデルの精度が向上した一

つの原因と考えられる。また, ORG/NEG+ANT， ORG/NEG+SOE を学習させたモデルと,これにRTT を加えた ORG+RTT/NEG+ANT, ORG+RTT/NEG+ ANT を学習させたモデルを比較すると, RTTを加え たモデルの方が高い性能を達成した.この結果から， フェイクデータのみを増強するのではなく, True の データも増強していく方が効果的だと考えられる。

## 5 おわりに

本研究では, 先行研究 ${ }^{[2]}$ の事実検証モデルの問題点に着目し，それを解決するための擬似フェイクデ 一タ拡張アプローチを提案した. 評価実験の結果,提案手法を利用して自動生成したフェイクデータを モデルの学習に利用することで，人手で作成された フェイクデータに対する検出精度を大きく向上させ ることができた. 本研究では, 英語をピボット言語 として日本語のデータを生成したが，提案手法は 他言語のデータ拡張にも適用できる、

今後の課題として, 提案手法は True データが存在 することを前提としているため, True データに依存 しないフェイク作成手法も検討したい。

## 謝辞

本研究の遂行に際して，4 名の被験者に協力いた だいた.

## 参考文献

[1] 我藤勇樹, 秋葉友良, パッセージ検索と含意関係認識による議会議事録を対象としたファクトチェック，言語処理学会 第 28 回年次大会 発表論文集, 2022 年 3 月, pages 768-772,

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186.

[3] Ganesh Jawahar, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Automatic Detection of Entity-Manipulated Text Using Factual Knowledge, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, May 2022, pages 86-93.

[4] Thomas Pellissier Tanon, Gerhard Weikum, and Fabian M. Suchanek, YAGO 4: A reasonable knowledge base. In The Semantic Web, volume 12123 of Lecture Notes in Computer Science, May 2020, pages 583-596.

[5] Yuanhua Lv, ChengXiang Zhai, Lower-bounding term frequency normalization, In Proceedings of CIKM'2011, pages 7-16.

## A 付録

表 4 データの作成件数と作成データの例

図 3 我藤らが提案した事実検証モデル