# NTCIR-17 QA Lab-Polilnfo-4 のタスク設計

小川泰弘 ${ }^{1}$ 木村泰知 2,3 渋木 英潔 4 乙武北斗 5 内田ゆず 6
高丸圭一 ${ }^{7}$ 門脇一真 8 秋葉友良 9 佐々木稔 10 小林暁雄 11

\begin{abstract}
1 名古屋大学 2 小樽商科大学 3 理化学研究所 ${ }^{4}$ BESNA 研究所 9 豊橋技術科学大学 10 茨城大学 11 農業・食品産業技術総合研究機構 ${ }^{1}$ yasuhiro@is.nagoya-u.ac.jp $\quad{ }^{2}$ kimura@res.otaru-uc.ac.jp
\end{abstract}
5 福岡大学 6 北海学園大学 7 宇都宮共和大学 8 株式会社日本総合研究所

## 概要

我々は，QA や自動要約などの自然言語処理の アプローチにより政治情報の信憑性の問題を解決 するためのシェアードタスクである NTCIR-17 QA Lab-PoliInfo-4（以下，PoliInfo-4）を開催している. PoliInfo-4 では，議会会議録などを対象として四つ のタスク, Question Answering-2, Answer Verification, Stance Classification-2, Minutes-to-Budget Linking を設計した。本稿では，本タスクの概要について述 べる.

## 1 はじめに

近年，政治に関するフェイクニュースが社会的な 問題になっている. 特に 2016 年のアメリカ大統領選挙においては，信憑性の低い情報がソーシャルメ ディアを介して拡散され，選挙の結果に影響を与え たと言われている. 現在において，そうした情報が 民意の形成に偏りを生じさせることが懸念されてい る.また，政治家の発言自体も信憑性や根拠が曖昧 な場合が多く，近年，政治家の発言に対するファク トチェック $[1,2,3]$ の必要性も高まっている.

そこで我々は，自然言語処理技術を用いて政治に 関するフェイクニュースの検出やファクトチェック に関する問題を解決することを目指している.

近年, EuroParl Corpus [4] や UK Hansard corpus ${ }^{1)}$ な どが，政治に関わる自然言語処理研究のための言語資源として利用されている $[5,6,7,8]$. しかしなが ら現在のところ, 日本語を対象とした研究データが 少ないことに加えて, 議会における議員の発言を対象とした研究や，議会における政策形成のための議論を対象とした研究は進んでいない.

1) https://www.english-corpora.org/hansard/例えば，ソーシャルメディアで拡散されるテキス トと政治家の実際の発言が同一であるか検証する フェイクニュース検出技術や，政治家の発言に適切 な根拠があるかを検証するファクトチェックを実現 するためには，議会における議員の発言から必要な 箇所を抜き出して要約したり，発言文字列と外部の 言語資源とを関連付ける機構が必要不可欠である. そこで，我々は地方政治に関わる言語資源として地方議会会議録コーパスの整備に取り組んできた [9]. さらに，そうして収集・整備した議会会議録コーパ スを活用して，議論の要約や，発言内容と根拠とな る一次情報との結びつけ，発言者の態度（賛否）と いった研究を進めるために，評価型ワークショップ NTCIR においてシェアードタスクQA Lab-PoliInfo を行っている． 2018 年から 2019 年前半にかけて実施された NTCIR-14 QA Lab-PoliInfo [10, 11] において は, Segmentation, Summarization, Classification の三 つのタスクを実施した。その後，NTCIR-15におい て QA Lab-PoliInfo-2 [12] を，NTCIR-16 においてQA Lab-PoliInfo-3 [13] を実施し，現在は NTCIR-17 にお いて，QA Lab-PoliInfo-4 を実施している。 それらで 実施されたタスク間の関係を図 1 に示す.

PoliInfo-4では, 四つのタスク, Question Answering-

図 1 QA Lab-PoliInfo におけるタスクの推移

図 2 QA Lab-PoliInfo-4 の各タスクの関係

2, Answer Verification, Stance Classification-2, Minutesto-Budget Linking を設計した. 図 2 に各タスク間の 関係を示す。本稿では，以下の各節において，それ ぞれのタスクの概要について述べていく。

## 2 Question Answering-2

Question Answering-2 タスク（以下 QA）は NTCIR16 QA Lab-PoliInfo-3 における Question Answering タ スクと同じタスクであり，議会会議録に対する質問 に簡潔な回答を返すことを目的とする.

議会における質問と答弁は会議録として記録さ れ，ウェブ上で公開されている。今回は東京都都議会本会議の会議録を対象とする。

通常の質問応答においては，一問一答，すなわち 質問を 1 件したらそれに対する答弁があり，引き続 き次の質問をする形式が想定される. しかし，都議会本会議においては，一括質問一括答弁という形式 がとられている. これは最初に質問者が複数の質問 をまとめてした後に，答弁者がまとめて答弁すると いう形式である. また，その場合に複数の担当者が 答弁することもあり，質問の順番と答弁の順番が一致しないことが多い. また，質問の背景や答弁の根拠など述べられているため，質問や答弁自体も長 い. そのため，会議録中からユーザが求める質問の 回答を探すのは容易ではない.

東京都議会が発行する『都議会だより』において は，そうした質問と答弁の要約が対応付けられた形
で掲載されており，都民への分かりやすい情報提供 に努めている。『都議会だより』は，議会事務局の 職員が作成していることから，人手による「正解の 要約」とみなすことができる．しかし，『都議会だ より』に掲載されるのは質問の一部にすぎない.

そこで本タスクでは，簡潔な質問を入力した場合，それに対する答弁の要約を返すシステムの構築 を目指す. 具体的には，まずシステムにはあらかじ め都議会会議録のデータが与えられている. そこ に，『都議会だより』に掲載された質問の要約を入力とする．その際には，質問の発言者やそれに対す る答弁者などの情報も与える．それを元に，システ ムは会議録中から質問の答弁となる箇所を発見し， それを要約したものを返す。評価においては，『都議会だより』に掲載された答弁の要約をゴールド データとして ROUGE の值を計算するとともに，人手による判定も実施する.

このタスクは Watson [14] などの質問応答システ ムとは以下の 2 点で異なる. 1 点目は，回答を探索 する際に外部知識にアクセスする必要はなく，あく まで会議録における答弁が正解である点が異なる。 そのため，会議が異なれば同じ質問に対して異なる 答弁が正解となる可能性もある.

2 点目は，特殊なノンファクトイド型の質問応答 になる点である。議会では質問の形式をした要望も 多くあり，その場合の答弁も，その要望をどう応え るかという内容になっている。

 &  \\

要約元の選定失敗

 \\

図3QAにおける誤り例

## 3 Answer Verification

前節で述べた QA の結果は完璧ではない，前回の PoliInfo-3 においては，四つの観点による人手評価の 結果， 800 点満点で 499 点 $(62 \%)$ が最高であった.図 3 に誤りの例を示す. なお，ゴールドデータであ る『都議会だより』を同様に人手で評価した場合が 598 点 $(75 \%)$ であり, 10 ポイント以上の差がある.本研究の目的はフェイクニュースへの対抗であ るが，現状では $\mathrm{QA}$ の出力結果が新たなフェイク ニュースを生み出す原因となっている. そこで我々 は，QA の出力がファクトかフェイクかを判定する Answer Verification タスク（以下，AV）を設計した. $\mathrm{AV}$ においては，与えられた質問と答弁のペアが 会議録の内容に合致しているか否かを判定するが， ここで問題となるのは学習データである. 正例とな るデータは，『都議会だより』の質問・答弁の要約 を利用することが可能である。一方，負例について は, PoliInfo-3の人手評価の結果, 不適切と判定され たものが利用可能である. PoliInfo-3 の QA のフォー マルランでは, 100 個の入力に対してそれぞれ 5 個 のシステムの出力結果を 4 人で評価した. 合計 500 個のうち，半数以上の評価者が不適切と判定したも のは 154 個にすぎない. そのため, 学習データとし て用いる負例の数が不足している.

この問題に対処するため，AVを二つのステージ に分割する。一つは，正例・負例のラベル付きデー タを作成する Fake-Answer Generation であり，もう 一つは, 質問・答弁のぺアの適切性を判定する分類器を構築する Fact-Checking Classification である.

## 3.1 Fake-Answer Generation

Fake-Answer Generation においては，『都議会だよ り』中の質問の要約と会議録を利用し，以下のいず れかの答弁を作成する。

1. 本当はフェイクだが，分類器がファクトと判定

2. 本当はファクトだが, 分類器がフェイクと判定

3. 本当はファクトで，分類器がファクトと判定

4. 本当はフェイクで, 分類器がフェイクと判定

もともとの動機は，1.や2.のような負例の不足で あったが，3.と4.のような正例も作成する.

作成方法は自動でも人手でも構わない. 自動的に 作成する場合, QA のシステム出力を人手で判定す る方法が考えられる。また，一部の単語を別の単語 に置換するルールなどを適用することも考えられ る. 図 3 の上部の例のように, 前回の QA では数値 に関して誤っているものがあった. 数値の誤りは フェイクになりうるため，数値を自動的に置換する ルールにより，負例を作成することが可能である. そうした誤りはニューラルモデルに基づくシステム ではしばしば出現する。また，会議録では「今年度」 となっているが『都議会だより』では「 2 年度」と なっている例があり, 正誤の判定は容易ではない.

また，人手で作成する場合は，多くの参加者を募 るために，ゲーミフィケーションを利用した手法も 考えている [15]. その際には, 参加者の敵役となる 分類器を準備し, その分類器を騙せるかどうかをリ アルタイムで試しながら答弁を作成する枠組も用意 する．後述するように，参加者が敵役を騙せるよう な答弁をある程度作成・投稿した段階で，それを元 に学習し直した分類器を新たな敵役として交代させ ることにより，参加者が継続して答弁を作成するよ うに動機付けを行う。

## 3.2 Fact-Checking Classification

Fact-Checking Classification では，参加者は答弁が ファクトかフェイクかを判定する分類器を構築す る.この判定は，会議録の内容から答弁を導くこと が可能か，という見方もできるため, 自然言語推論 の一種ともいえる.

学習データはタスクオーガナイザから提供する. その際に, Fake-Answer Generation で作成されたデー タも提供する．実際の運用においては，PoliInfo-4 の 実施期間中に何回かのサイクルを用意し，あるサイ

クルの Fake-Answer Generation で作成されたデータ を, 次のサイクルの Fact-Checking Classification の学習用に利用できるようにする．同様に，あるサイク ルの Fact-Checking Classification で作成された分類モ デルを，次のサイクルでの敵役として利用すること も計画している.

## 4 Stance Classification-2

政治家の発言の信憑性を判断するためには，政治家がどのような立場で発言しているのかを知ること が必要である．そのためには，複数の議案に対する 賛成・反対を総合して判断する必要がある. Stance Classification タスク（以下，SC）は，政治家の発言 を元に，議案に賛成か反対かを判定するタスクで ある.

同様のタスクは，PoliInfo-2 でも実施した。その 際には，議案・会議録・議員の所属政党の情報を与 えた。しかし，実際の会議録を見ると，「議案第○ 号 $\times \times \times$ について、賛成の立場で討論いたします。」 といった賛否を表明する発言が冒頭にあることが多 く，この賛否表明を発見するだけで高い精度が得ら れてしまった。

そこで今回の SC-2 では，そうした賛否表明中の 「賛成」もしくは「反対」の部分をマスクした発言 を入力とし，その状態で賛否を判定するタスクとし

一括質問一括答弁形式ではない会議録を対象とす る.そのため, 東京都議会以外の様々な地方自治体 の会議録を収集し，そちらから出題する。

## 5 Minutes-to-Budget Linking

予算編成は，どのような施策をどの程度重視す るかを具体的に表すものといえ，議会での議論お いて重要な位置を占める. PoliInfo-3 においては, Budget Argument Mining として, 議会の会議録と予算を結び付けるタスクを実施した．今回実施する Minutes-to-Budget Linking タスク（以下 MBLink）は， Budget Argument Mining の後継となるタスクである.具体的には，会議録と予算表が与えられたとき，会議録のテキストと予算表の項目を結び付け，議論の 根拠を抽出することを目的とする.

図 4 に MBLink の概要を示す。今回の MBLinkで は，入力となる会議録の HTML ファイルには，文ご と IDを埋め込み，同様に予算表の HTML ファイル にもセルごとに IDを割り当てておく. これらが与

図 4 MBLink の概要

えられたとき，ある文が予算表の特定のセルの金額 に関連するものであれば，そのセルの IDを付与し， さらのその文に予算の主張に関する理由が含まれて いるか否かの判定結果も付加する.

## 6 おわりに

本稿では，NTCIR-17 QA Lab-PoliInfo-4 における四 つのタスク, Question Answering-2, Answer Verification, Stance Classification-2, Minutes-to-Budget Linking について述べた。今回の大会では，それぞれのタス クについて個別の発表 $[16,17,18]$ も実施しているの で，そちらも参照していただきたい。

現在，PoliInfo-4 では広く参加者を募っている．興味を引くタスクがあった場合は，是非とも PoliInfo-4 の Web サイト ${ }^{2}$ を参照いただくか，連絡をいただき たい.

今後は参加者とともに本タスクを実施していく.現在は予備テスト (Dry Run)を実施中であり，2023 年 6 月頃に本テスト (Formal Run)を実施予定であ る. 予備テストの間も新規参加可能である. 2023 年 12 月の NTCIR-17 カンファレンスにおいて各参加者に研究成果を発表していただき，PoliInfo-4 は終了 となる.


## 謝辞

本研究は JSPS 科研費 21H03769，22H03901， 22K12740，20K00576 の助成を受けたものである.

## 参考文献

[1] Preslav Nakov, Alberto Barrón-Cedeño, Tamer Elsayed, Reem Suwaileh, Lluís Màrquez, Wajdi Zaghouani, Pepa Atanasova, Spas Kyuchukov, and Giovanni Da San Martino. Overview of the CLEF-2018 CheckThat! lab on Automatic Identification and Verification of Political Claims. In Proceedings of the Ninth International Conference of the CLEF Association: Experimental IR Meets Multilinguality, Multimodality, and Interaction, Lecture Notes in Computer Science, Avignon, France, 2022. Springer.

[2] Pepa Atanasova, Lluís Màrquez, Alberto Barrón-Cedeño, Tamer Elsayed, Reem Suwaileh, Wajdi Zaghouani, Spas Kyuchukov, Giovanni Da San Martino, and Preslav Nakov. Overview of the CLEF-2018 CheckThat! lab on Automatic Identification and Verification of Political Claims, Task 1: Check-Worthiness. In CLEF 2018 Working Notes. Working Notes of CLEF 2018 - Conference and Labs of the Evaluation Forum, CEUR Workshop Proceedings, Avignon, France, 2018. CEUR-WS.org.

[3] Alberto Barrón-Cedeño, Tamer Elsayed, Reem Suwaileh, Lluís Màrquez, Pepa Atanasova, Wajdi Zaghouani, Spas Kyuchukov, Giovanni Da San Martino, and Preslav Nakov. Overview of the CLEF-2018 CheckThat! lab on Automatic Identification and Verification of Political Claims, Task 2: Factuality. In CLEF 2018 Working Notes. Working Notes of CLEF 2018 - Conference and Labs of the Evaluation Forum, CEUR Workshop Proceedings, Avignon, France, 2018. CEUR-WS.org.

[4] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In Proceedings of Machine Translation Summit X: Papers, pp. 79-86, 2005.

[5] Kenneth Heafield. KenLM: Faster and smaller language model queries. In Proceedings of the Sixth Workshop on Statistical Machine Translation, pp. 187-197, 2011.

[6] Astrid Van Aggelen, Laura Hollink, Max Kemman, Martijn Kleppe, and Henri Beunders. The debates of the European Parliament as linked open data. Semantic Web, Vol. 8, No. 2, pp. 271-281, 2017.

[7] Benjamin E Lauderdale and Alexander Herzog. Measuring political positions from legislative speech. Political Analysis, Vol. 24, No. 3, pp. 374-394, 2016.

[8] Federico Nanni, Stefano Menini, Sara Tonelli, and Simone Paolo Ponzetto. Semantifying the UK Hansard (1918-2018). In 2019 ACM/IEEE Joint Conference on Digital Libraries (JCDL), pp. 412-413. IEEE, 2019.

[9] Yasutomo Kimura, Keiichi Takamaru, Takuma Tanaka, Akio Kobayashi, Hiroki Sakaji, Yuzu Uchida, Hokuto Ototake, and Shigeru Masuyama. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pp. 78-85, Osaka, Japan, 2016. The COLING 2016 Organizing Committee.
[10] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Overview of the NTCIR-14 QA Lab-PoliInfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[11] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Final report of the NTCIR-14 QA Lab-PoliInfo task. In NII Conference on Testbeds and Community for Information Access Research, pp. 122-135. Springer, 2019.

[12] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo2 task. In Proceedings of The 15th NTCIR Conference, 2020.

[13] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Kazuma Kadowaki, Tatsunori Mori, Kenji Araki, Teruko Mitamura, and Satoshi Sekine. Overview of the NTCIR-16 QA Lab-PoliInfo3 task. In Proceedings of The 16th NTCIR Conference, 2022.

[14] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A Kalyanpur, Adam Lally, J William Murdock, Eric Nyberg, John Prager, et al. Building Watson: An overview of the DeepQA project. $A I$ magazine, Vol. 31, No. 3, pp. 59-79, 2010.

[15] 渋木英潔, 内田ゆず, 小川泰弘, 門脇一真, 木村泰知. ゲーミフィケーションに基づく QA データセット拡充手法の提案: QA Lab-PoliInfo-4 Answer Verification タスクに向けて. ARG 第 18 回 Web インテリジェン スとインタラクション研究会予稿集, pp. 9-12, 2022.

[16] 渋木英潔, 内田ゆず, 小川泰弘, 門脇一真, 木村泰知. NTCIR-17 QA Lab-PoliInfo-4 Answer Verification にお けるGDADC の利用に向けての考察. 言語処理学会第 29 回年次大会, 2023 .

[17] 高丸圭一, 内田ゆず, 木村泰知, 秋葉友良. 地方議会に おける議案への賛否に関する発言の分析—NTCIR 17 QA Lab-PoliInfo4 Stance Classification-2 タスクに向け て一. 言語処理学会第 29 回年次大会, 2023 .

[18] 木村泰知, 梶縁, 乙武北斗, 門脇一真, 佐々木稔, 小林暁雄. 議会会議録と予算表を紐づける Minutes-toBudget Linking タスクの提案. 言語処理学会第 29 回年次大会, 2023.
 小川泰弘 ${ }^{1}$ 木村泰知 2,3 渋木 英潔 4 乙武北斗 5 内田ゆず 6 高丸圭一 ${ }^{7}$ 門脇一真 8 秋葉友良 9 佐々木稔 10 小林暁雄 11  \begin{abstract} 1 名古屋大学 2 小樽商科大学 3 理化学研究所 ${ }^{4}$ BESNA 研究所 9 豊橋技術科学大学 10 茨城大学 11 農業・食品産業技術総合研究機構 ${ }^{1}$ yasuhiro@is.nagoya-u.ac.jp $\quad{ }^{2}$ kimura@res.otaru-uc.ac.jp \end{abstract} 5 福岡大学 6 北海学園大学 7 宇都宮共和大学 8 株式会社日本総合研究所  