# QA Lab-Polilnfo-3 における質問と答弁の対応付け

小川泰弘
名古屋大学
yasuhiro@is.nagoya-u.ac.jp
秋葉友良
豊橋技術科学大学
}

木村 泰知

小樽商科大学

渋木 英潔
国立情報学研究所
}

kimura@res.otaru-uc.ac.jp

横手 健一

日立製作所

石下円香
国立情報学研究所

## 1 はじめに

近年，政治にまつわるフェイクニュースが社会的 な問題とされてきている. 2016 年のアメリカ大統領選挙の頃から，信憑性の低い情報がソーシャルメ ディアを介して拡散され，民意の形成に偏りを生じ させることが懸念されている. また，政治家の発言自体も信憑性や根拠に欠ける場合があり，それらの 発言に対するファクトチェックも求められている.

また日本においても，新型コロナウイルスへの対策について，国会や地方議会で検討され，その内容 が報道されるが，取り上げられる内容は限られてい る.そのため,「○○について議論していない」の ような事実に反する批判が起きたりする。

こうした状況を踏まえ，政治に関わる自然言語処理研究が注目されてきており, EuroParl Corpus[1] や UK Hansard Corpus ${ }^{1}$ などが，言語資源として利用さ れている. しかしながら，日本語を対象とした研究 データが少ないことに加えて，議会における議員の 発言を対象とした研究や，議会における政策形成の ための議論を対象とした研究は進んでいない.

これらの問題を解決することを目指して，我々 は評価型ワークショップ $\mathrm{NTCIR}^{2}$ において QA Lab-PoliInfo を実施してきた. 2018 年から 2019 年に は，NTCIR-14 QA Lab-PoliInfoを，2019 年から 2020 年にかけては，NTCIR-15 QA Lab-PoliInfo-2を開催し た. 2021 年から始まる NTCIR-16においても，引き 続き QA Lab-PoliInfo-3 を提案している.

QA Lab-PoliInfo-3 においては, Question Answering, Budget Argument Mining, Fact Verification, QA Alignment の四つのサブタスクをを提案しているが，本稿においては，会議録中の質問と答弁を対応付ける


QA Alignment について紹介する.

本稿では，まず第 2 節で NTCIR における QA Lab タスクの背景について述べた上で，第 3 節で QA Alignment の提案理由を述べる. 第 4 節以降では, QA Alignment のデータフォーマット，参加者のタス ク，正解データの作成方法，評価方法について，そ れぞれ述べる。第 8 節は，本稿のまとめである.

## 2 QA Lab-Polilnfo タスク

QA Lab-PoliInfo は，政治情報を対象としたサブ タスクを質問応答の枠組みで捉えたものとして， NTCIR-14 において開催した。地方議会会議録コー パス [2]を対象に，議会発言における議員の意見や その根拠，立場などを抽出し，議論の構造を明確に して，関係性などを理解しやすいように整理して提示することを最終的な目標としている。

NTCIR-14 においては, Segmentation, Summarization, Classification の三つのサブタスクを実施した. Segmentation は，要約して引用された議会中の発言 に対して，会議録の引用元の範囲を特定することを 目指したサブタスクである. Summarization は，会議録中の特定の範囲から，発言者の意図が誤解され ないように指定された文字数の範囲内で要約文を 生成するサブタスクである. Classification は，議会 における発言に，政治課題に対する意見が含まれる か，意見に対する事実検証可能な根拠が示されてい るかを分類するサブタスクである．QA Lab-PoliInfo タスクには，15 組のチームが参加した [3][4].

NTCIR14 QA Lab-PoliInfo の成果と問題点を踏ま えて，NTCIR-15 においては，QA Lab-PoliInfo-2 とし $\tau$, 当初は Stance Classification, Dialog Summarization, Entity Linking の三つのサブタスクを実施し，追加 で Topic Detection のサブタスクを実施した. Stance Classification は，各議案に対する議員の発言から，

その所属会派の議案への賛否を推定するサブタスク である. Dialog Summarization は，一括質問一括答弁 の形式の会議録の内容を, 質問と答弁の対応を考慮 して要約するサブタスクである. Entity Linking は，会議録中の発言から，表記摇れや瞹昧性の問題を解決しながら，法律名を抽出するサブタスクである。 Topic Detection は，会議録から質疑応答のトピック を抽出するものである. QA Lab-PoliInfo-2 の本テス トには， 14 組のチームが参加した [5].

我々は，これまでの成果と問題点を踏まえ， NTCIR-16 において QA Lab-PoliInfo-3 を提案して いる.これは, Question Answering, Budget Argument Mining, Fact Verification, QA Alignment の四つのサ ブタスクを含んでいる. Question Answering は, 会議録の質問の要約が与えられたとき，対応する答弁の 要約を生成するサブタスクである. Budget Argument Mining は，予算項目や金額が与えられたときに，会議録中からそれについて議論している部分を抽出す るとともに，その内容の議論ラベル（決定事項，例示，事実など）を判定するサブタスクである．Fact Verification は，要約と会議録が与えられたとき，そ の要約の内容が本当に会議録中に存在するかを判定 し，存在する場合はその範囲を特定するサブタスク である. QA Alignment は一括質問一括答弁の形式に おける質問と答弁を対応付けるものであり，本稿に おいて説明する。

## 3 QA Alignment $の$ 提案理由

本節では，QA Alignment の前提となるDialog Summarization と Topic Detection について述べた後, QA Alignment の提案理由を述べる.

## 3.1 Dialog Summarization

政治家の発言の信憑性を判断するためには，政治課題に関する議論がどのように行われているのか 知る必要があり，議論をしている相手の発言や文脈 を考慮しなければならない. 政治課題に関する議論 は議会において行われており, 議会会議録として質問や答弁が残されている. しかしながら，議会会議録は発言を書き起こした文書であり，まとめられて おらず読みづらいという問題がある. 特に，東京都議会をはじめとする多くの地方議会では，一問一答形式ではなく，一括質問一括答弁形式がとられてお り, 質問と答弁が離れた位置に存在する。また, 質問に対して，知事だけでなく，総務部長や教育長の
ような他の出席者が答弁する場合がある.

そうした問題点を解消し，「議員の質問」と「知事側の答弁」という対話構造を考慮しながら要約する ことを目標とした, Dialog Summarization のサブタス クを QA Lab-PoliInfo-2 では実施した.

## 3.2 Topic Detection

議会においては様々なテーマについて議論され るが，そのすべてが報道される訳ではない，そのた め，実際には議会で扱われているのにもかかわら ず，議論されてないといった批判が起きることがあ る. 例えば昨年は，「野党は新型コロナについて議論せず，云々」といったデマが流れたが，これも一種のフェイクニュースと言える。

そうした問題を解決するために，議会においてど のようなトピックが扱われたのかを検出する Topic Detection のサブタスクを，QA Lab-PoliInfo-2 では追加で実施した。このタスクはパイロットタスクとい う位置付けであり，トピックの定義についてはタス クオーガナイザ側で定義せず，参加者それぞれが考 えるものとした. 特にトピックの粒度は大きな課題 である。このタスクでは，令和 2 年度東京都議会会議録からのトピック抽出を実施したが，ほとんどの 質疑応答は，「新型コロナ」に関連するものである. そのため，トピックを単に「新型コロナ」とするだ けでは不充分であり，その中に含まれるサブトピッ クの検出も必要になる. その場合, 最も基本となる サブトピックの粒度は何かという点が問題になる. それに対して，ここでは一つの質疑応答には一つの 基本トピックが含まれると考える。一つの質疑応答 に複数のトピックが含まれる場合は例外とする。

その際に問題となるのは，何をもって一つの質疑応答と定義するかである.ここで注目するのは，会議録の答弁の冒頭において頻出する「○点のご質問 にお答えいたします。」という定型表現である。東京都議会会議録において，知事以外の答弁者が複数 の質問に回答する場合，冒頭でこの発言をすること が多い. すなわち，答弁者が質問の個数を認識した 上で回答していると言える。

## 3.3 QA Alignment

以上のように，Dialog Summarization および Topic Detection のサブタスクにおいては，一括質問一括答弁形式の構造を解析し, 質問と答弁を対応付ける前処理が必要になると考えられる。しかし，実際に
表 1 会議録の形式 (JSON 形式のキー)

は，タスクの参加者は質問と答弁を対応付けをする ことなく，各タスクに取り組んだ。

その理由としては, end-to-end な手法が現在の主流であること，対応付けをしなくてもそれなりの性能が得られたこと, 対応付けの正解が与えられてい ないことが考えられる. しかし最後に関しては，夕 スク参加者からの指摘で，東京都議会の「本会議 ネットリポート3)」の存在が判明した.これは都議会会議録とは別に公開されており，その中で質問と 答弁が対応付けられている．そこで今回は，この ネットリポートを正解とし，質問と答弁を対応付け を自動的に実行するタスクを提案する.

## 4 データ形式

表 1 は，過去の QA Lab-PoliInfo および QA LabPoliInfo-2において，都議会会議録のデータとして提供した JSON 形式のデータの形式である. 今回の正解データは，表 1 のデータに，以下の三つのキーを 追加したものである.

QuestionerID: 質問および答弁が，どの質問者に関 するものかを示す. 一括質問一括答弁形式のた め，ある議員が質問した場合，その議員の発言 とそれに対するすべての答弁で同じ值になる。

QorA：值は $\mathrm{Q}, \mathrm{A}, \mathrm{O}$ であり，発言者が質問者か，答弁者か，それ以外 (議長など) かをそれぞれ示 す. 発言内容は問わない。

QAID: 值は非負整数. 対応する質問と答弁に同じ 值を付与する．なお，0 は特別な值であり，質問でも答弁でもない発言を示す.

QAIDが 0 になるのは，以下のような場合である.

まず，答弁者の冒頭にある「○点のご質問にお答 えいたします。」などの発言. これは，特定の質問 に対応する答弁ではなく，対応する質問がないた め，QAID の值を 0 とする。なお，こうした発言は ネットリポートには掲載されていない。

3) https://www.gikai.metro.tokyo.jp/netreport/次に，質問者の発言に，質問でないものが含まれ る場合．例えば，以下のような発言がある。

なお、売電を目的とする大規模な天然ガス発電所の新規建設に当たっては、… 都は土地の提供程度にとどめておくべきであると、この場で 申し上げておきます。

これは意見を述べているだけであり，対応する答弁 は存在しない。なお，ネットリポートでは，こうし た発言は質問のタグが付かずに掲載されている.

## 5 参加者のタスク

テストデータにおいては，上記のキーのうち， QAID 以外はすべてタスクオーガナイザ側から提供 する。これは，今回新規に追加した QuestionerID お よび QorA の值については，発言者の役職などの情報から容易に特定でき，本タスクの本質ではないた めである．よって，参加者のタスクは一括質問一括答弁を適切に分割し，対応付けをすることである。

タスクとしては，質問数が少なく，答弁者も一人 であれば比較的容易であるが，質問数が多くなり， さらに答弁者の人数も多くなると難易度が上がる.東京都議会では，代表質問と一般質問があり，代表質問は一般質問よりも多くの質問がなされる.

実際の対応付けの例を表 2 に示す.これは，平成 23 年第 2 回定例会での山下太郎議員の代表質問への 対応付けの例である. 山下議員の質問は 42 個あり, それに対応する答弁者は知事を含め全部で 12 人で あった. QAID は，各答弁者がどの質問に回答した のかを示している. 表 2 から分かる通り，答弁は必 ずしも連続する質問に対応する訳ではない．特に知事の答弁は飛び飛びの質問に対応する傾向がある.

## 6 正解データの作成

正解データは，タスクオーガナイザ側で，都議会会議録のデータとネットリポートのデータを突合す ることで作成した. 基本的には，ネットリポートの 内容は会議録の発言を並び替えただけであるため，突合は容易であった．ただし，会議録の答弁の冒頭 に「次に、○○についてでございますが」という発言がある場合，ネットリポートでは「次に、の部分が削除されていた. また，一部に全角半角の相違 がみられた．そのため，単純な完全一致で対応する 発言が見つからない場合，ルーズなマッチにより対
表 2 質問と答弁の対応付け

表 4 表 3 をalignment に変換した結果

表 3 対応付けの正解と出力結果の例

応付けを実施した。なお，第 4 節で述べたように，「○点のご質問にお答えいたします。」といったネッ トリポートで省かれている発言や，対応する答弁が ない質問については，QAIDを 0 とした。

## 7 評価方法

タスクの評価には文献 [6] などで提案される単語

して説明する。

表 3 は 19 文からなる質疑応答がどのように対応 しているかを示した例であり，QAID の值で対応付 けが示されている。ここで，正解データと評価対象 となるシステム出力では，異なる対応付けを行って いる. 正解データでは質問は 4 個であり，例えば文 1, 2, 3 で一つの質問を形成し，それに対応する答弁 が文 $12,13,14$ であることを示している。一方，シ ステム出力では，質問は 5 個であり，正解データ
の最初の質問が二つに分割されている. システム 出力を正解データと比較するために alignment を以下のように考える。例えば，システム出力の文 1,2 の 2 文と文 12,13 の 2 文が対応しているが，この 場合, alignment としては，1-12, 2-12, 1-13, 2-13で,合計 4 個 $(2 \times 2)$ あると考える. 正解データの最初 の質問は， 3 文と 3 文が対応しているので，計 9 個 の alignment ができる. 表 3 の対応付けから変換で きる alignment をすべて示したものが表 4 である. alignment に変換することにより，正解データとシス テム出力で異なる QAID が付与された場合にも対処可能となる．実際，表 3 の例では，正解データの文 10, 19 の QAID が 4 であるのに対して，システム出力では 5 であるが，表 4 に示す alignment では同じ 10-19として検出されている.

この alignment を元に適合率，再現率，F 值を計算 し, 評価に用いる。この例では, 適合率 $78.5 \%(11 / 14)$,再現率 $64.7 \%(11 / 17), \mathrm{F}$ 值 $71.0 \%$ となる.

## 8 おわりに

本稿では，NTCIR-16において提案している QA Lab-PoliInfo-3 におけるQA Alignment タスクの概要及び，データセット，評価方法について述べた.

QA Lab-PoliInfo-3 が採用された場合は，2021 年 7 月にデータのリリースを行い, 予備テスト (Dry Run)，本テスト (Formal Run)を実施後，2022 年 6 月 に本会議を開催する予定である。公式サイトでは， リーダーボードを用いて参加者の結果を随時掲載す るだけでなく，TOチームによる実行プログラムな どを公開していく予定である.

## 参考文献

[1] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In MT summit, Vol. 5, pp. 79-86. Citeseer, 2005.

[2] Yasutomo Kimura, Keiichi Takamaru, Takuma Tanaka, Akio Kobayashi, Hiroki Sakaji, Yuzu Uchida, Hokuto Ototake, and Shigeru Masuyama. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pp. 78-85, 2016.

[3] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Final report of the NTCIR-14 QA Lab-PoliInfo task. In NII Testbeds and Community for Information Access Research - 14th International Conference, NTCIR 2019, Tokyo, Japan, June 10-13, 2019, Revised Selected Papers, pp. 122135,2019

[4] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Overview of the NTCIR-14 QA Lab-PoliInfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[5] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 task. Proceedings of The 15th NTCIR Conference, 2020.

[6] Rada Mihalcea and Ted Pedersen. An evaluation exercise for word alignment. In Proceedings of the HLT-NAACL 2003 Workshop on Building and using parallel texts: data driven machine translation and beyond, pp. 1-10, 2003.
 小川泰弘 名古屋大学 yasuhiro@is.nagoya-u.ac.jp 秋葉友良 豊橋技術科学大学 }  木村 泰知  小樽商科大学  渋木 英潔 国立情報学研究所 }  kimura@res.otaru-uc.ac.jp  横手 健一  日立製作所  石下円香 国立情報学研究所  