# 地方議会議事録を対象としたスタンス分類データセットの自動構築と ベースライン分類器の評価

我藤勇樹 ${ }^{1}$ 秋葉友良 ${ }^{1}$ 内田ゆず ${ }^{2}$ 木村泰知 ${ }^{3}$ 高丸圭一 ${ }^{4}$
${ }^{1}$ 豊橋技術科学大学 ${ }^{2}$ 北海学園大学 ${ }^{3}$ 小樽商科大学 ${ }^{4}$ 宇都宮共和大学
gato.yuki.am@tut.jp akiba@cs. tut.ac.jp yuzu@hgu.jp kimura@res.otaru-uc.ac.jp
takamaru@kyowa-u. ac. jp

## 概要

スタンス分類は、特定のトピックに関して述べら れた意見が賛成なのか反対なのかを分類することを 目的としている。本研究では、複数の地方議会議事録から自動でスタンス分類データセットを構築する 手法を提案する。愛知県の種々の規模の議会を対象 に本手法を適用し、6,254 サンプルのデータセット を構築することができた。構築したデータセットを 人手で評価したところ、抽出漏れは約 $10 \%$ あっも のの賛否ラベルの付け誤りは $0 \%$ であった。また、構築したデータセットを基にベースライン分類器を作成し、分類性能の評価を行った。

## 1 はじめに

スタンス分類は、特定のトピックに関して述べら れた意見が賛成なのか反対なのかを分類することを 目的としている。例えば、「マスク着用」というト ピックに対する意見「周囲の人を守るためにマスク を着用します。」は、賛成のスタンスを表明してい ることになる。スタンス分類が自動で行われること で、ソーシャルメディアに流れる大量のテキストを 分析し、世論の把握やファクトチェックに活用する ことができる。

2019 年後半から 2020 年にかけて開催された NTCIR15 QA Lab-PoliInfo2 では、東京都議会を対象 とした Stance Classification (SC) タスク [1]が実施 された。これは、会議議事録全体を参照し各会派の 議案に対するスタンス(賛成/反対)を推定するタス クであった。議会議事録中には、討論の冒頭に議案 に対する賛否を明示的に表明する発言があり、この 部分から賛否表現を抽出するだけで 90\%以上の精度 を達成することができた。一方、純粋に発言の内容 からスタンスを分類するという本来のスタンス分類
に対する性能は明らかになっていない。

図 1 実際の討論発言（愛知県大府市議会）

本研究では、明示的な賛否表現に頼ることなく発言のスタンス (賛否)を推定する問題に取り組むため に、地方議会議事録から自動的にスタンス分類デー タセットを構築する手法を開発し、データ構築を行 った。PoliInfo-2 の対象であった東京都以外の、県議会、市議会、町議会を含む様々な規模の地方議会 を対象としている点が特徴である。また、英語を対象とした Stance Classification データセットは SNS などの短い発言を対象としたものが多いが、議会議事録を対象とした本データセットは、平均 578 単語と比較的長い発言を対象とすることも特徴であ る。図 1 に実際の議事録の発言を示す。

愛知県の種々の規模の議会を対象に本手法を適用

したところ、6,256 サンプルの賛否ラベル付きデー タを自動構築することができた。構築したデータの 品質を評価するため、人手で構築したデータとの比較を行った。人手データと比べて抽出漏れが約 $10 \%$ あったものの、余計な発言が抽出されることはなく、 また自動ラベル付した結果に誤りは無く、高精度な データを自動構築できることを確認した。また、構築したデータセットを基にベースライン賛否分類器 を作成し、分類性能の評価を行った。

## 2 関連研究

スタンス分類のデータセットを構築する研究に Glandt らの研究[2]がある。この研究では、COVID-19 に関するツイートを収集し、クラウドソーシングを 活用し人手でラベリングすることでデータセットを 構築している。他にも、Allaway と McKeown の研究 [3]では、非常にターゲットの種類が多いVAST とい うデータセットを構築している。この研究でも、ラ ベリングにはクラウドソーシングが活用されている。 クラウドソーシングの問題点として、ラベルのつけ 間違いや個人差、コストがかかることが挙げられる。本研究では、明示的な賛否表現にマスクを施すこと により自動でデータセットを構築した。

## 3 自動データセット構築

データセットを構築する手法について述べる。ま ず、提出議案の討論が主に行われる会議最終日の議事録のみを用いる。地方議会の討論の進行には、議長が個々の議案を一つずつ取り上げて発言者(議員) を指名し発言を認める形式（個別討論）と、議長が 発言者のみを指名した後、指名された議員が複数の 議案について一括で発言を行う形式 (一括討論) の 2 種類があり、議会毎に採用する討論形式が異なる。今回は発言とその対象となる議案の対応関係が明確 である、個別討論形式の議会を対象とした。

愛知県の 33 の県議会、市議会、町議会を対象に調 べたところ、15 の議会が条件を満たしていた。表 1 に個別議案の討論形式を持つ議会とデータセット構築に用いた議事録の対象年度を示す。表 1 データセット構築に用いた議事録

## 3.1 討論の抽出

本研究で構築するスタンス分類データセットは、議事録の討論を対象とする。討論の開始・終了は議長によって指定され、討論は議長に指名された議員 が行う。そのため、討論の開始表現と終了表現の間 の議員の発言を討論候補として抽出する。討論候補 の抽出に使用した正規表現を表 2 に示す。

スタンス分類では、特定のトピック (ターゲット) に対する意見を分類する。そのため、討論候補のう ち、表 2 のトピック表現を含むものをスタンス分類 のテキストとして扱い、トピック表現を含まない候補は破棄する。

得られたテキストは、冒頭や末尾付近に明確にス タンスを表明する文（賛否表明文）が現れることが 多い。実際の分類タスクでは、この賛否表明文を用 いるだけで簡単にスタンスが特定できてしまう。そ のため、表明文は除去することが望ましいが、出現位置や表現は様々であり難しい。そこで本研究では、賛否を表明するために典型的に使用される単語集合 を予め列挙しておき、それらの単語を一つの特殊な トークンに置き換える(マスクする)ことで、発言に 明示的な賛否表現が含まれないようにした。今回は、

「賛成」と「反対」の 2 単語を対象にマスクを行っ た。
表 2 本研究で使用した正規表現

 \\

## 3.2 賛否ラベリング

スタンス分類のデータセットには、サンプル(発言)毎にスタンス(賛成または反対)の教師ラベルを付与する必要がある。しかし、人手でラベル付けする コストは高い。本研究では、マスクした「賛成」「反対」を利用しヒューリスティクスを用いて自動でラ ベル付けを行った。ラベル付け手法は以下の通りで ある。

1. マスクした「賛成」および「反対」が発言を通 してどちらか一方のみであった場合、マスクし た単語が表すスタンスのラベルを付与する。

2.「賛成」「反対」どちらも出現する場合、発言中に表 2 の「賛成表現」または「反対表現」が 出現するかチェックする。出現する場合は、対応するラベルを付与する。

3. 上記に当てはまらない発言は、ラベル付けせず に破棄する。

表 3 に表 1 で示した議事録から構築されたデータ セットの統計情報を示す。表 3 より、賛否ラベルの 割合がほぼ等しいデータセットであるといえる。ま た、図 2 に作成したデータの例を示す。表 3 データセットの統計情報

テキスト：議案第38号「大府市空家等対策の推進に関する条例 の制定について」、自民クラブを代表し、[STANCE]の立場で討論をさせていただきます。近年、人口減少や少子高齢化等を背景に、全国的に空き家等の増加が社会問題となっている中、本市においても、今後、空き家等の増加により、生活環境の保全 に支障が生じるのではないかと懸念されているところであり、本市議会建設消防委員会においても、これまで、空き家、空き 地、空き店舗について調査研究を進めてきた経緯もございます 本市では、平成 30 年 3 月に、大府市空家等対策計画を策定し、本計画に基づき、これまでも積極的に空家等対策を推進してき たところでございますが、法の枠組みだけでは対処できない課題が顕在化している状況がうかがえます。そのような状況の中 で、今回、本条例を制定し、類似空家と特定類似空家等への対応を始め、市、所有者、市民、事業者などに責務又は役割を定 めていること、人の生命、身体又は財産に重大な損害を及ぼす ことを回避するために、緊急安全措置について規定しているこ とは、法律を補完するとともに、空家等対策を総合的かつ計画的に推進し、公共福祉と地域振興につながるものと高く評価す るものでございます。今後、法及び本条例に基づいて、引き続 き空家等対策に継続的に取り組み、市民が安心安全に暮らすこ とができる「健康都市おおぶ」として、持続可能な社会が実現 されることを期待し、[STANCE] 討論とさせていただきます。

ターゲット : 議案第38号「大府市空家等対策の推進に関する条例の制定について」

ラベル : 賛成

図 2 作成したデータの例

## 3.3 データセット構築手法の評価

構築したデータセットについて、人手で評価を行 った。大府市の議事録を対象とし、議員の発言を 100 件抽出し、人手で討論発言かどうか分類した。討論発言である場合は、ターゲットとラベルも人手で付与し、同じ 100 件の発言に対して自動で構築したデ 一タセットと比較した。比較結果を表 4 に示す。

表 4 より、自動抽出では、本来抽出すべき討論の 約 10\%を取りこぼしていることがわかる。しかし、間違えて討論でないものを抽出していないため、デ 一夕の数は少なくなるが質は高いと言える。自動で 抽出した討論に対するターゲットとラベルは人手と 完全に一致し、ミスなく付与できている。
表 4 人手評価の結果

 &  &  \\

## 4 ベースライン分類器の構築と評価

## 4.1 ベースライン分類器

構築したデータセットを学習データに用いて分類器を構築した。分類モデルには、Transformer エンコ ーダベースの事前学習モデルである BERT[4]を用い た。BERT モデルには、東北大学乾研究室が公開し ている学習済みモデルiを使用した。[CLS]トークン を対象に、MLP 層を加えた二值分類器を学習した。入力形式は、対象となる議案名と、発言テキストを、 [SEP]トークンで連携したものとした。ただし、BERT の最大入力長である 512 トークンを超えた場合は、後を切り捨てた。

## 4. 2 分類器の評価実験

構築したデータセットから 3.3 節で人手評価した 67 件を除いた 6,187 件を学習データとして、 4.1 節の モデルを 6 エポック学習し、テストデータ 67 件を評価した。分類結果を表 5 に示す。

表 5 ベースライン分類器での評価結果

## 5 おわりに

議会議事録を活用して、スタンス分類のデータセ ットを自動で構築した。人手評価の結果、取りこぼ しているデータは多少あるが、ラベリングやターゲ ットの付与は非常に高い精度であることがわかった。今後の研究としては、今回対象としなかった、複
^{i}$ https://huggingface.co/cl-tohoku
}

数の議案を含む発言からもデータセットを構築する ことを目標とする。そのためには、発言を議案ごと にセグメンテーションする手法を研究する必要があ る。

本研究で構築したデータセットは、NTCIR-17 QA Lab-PoliInfo-4[5] の サブタスク Stance Classification-2[6] のデータセットとして使用す る予定である。

## 参考文献

1. Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mi- tamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

2. Kyle Glandt, Sarthak Khanal, Yingjie Li, Doina Caragea, and Cornelia Caragea. 2021. Stance Detection in COVID-19 Tweets. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 1596-1611, Online. Association for Computational Linguistics.

3. Emily Allaway and Kathleen McKeown. 2020. Zero-Shot Stance Detection: A Dataset and Model using Generalized Topic Representations. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 8913-8931, Online. Association for Computational Linguistics.

4. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics. 5. 小川泰弘, 木村泰知, 渋木英潔, 乙武北斗, 内田 ゆず，高丸圭一，門脇一真，秋葉友良，佐々木稔，小林暁雄. NTCIR-17 QA Lab-PoliInfo-4 のタスク設計.言語処理学会第 29 回年次大会. 2023.

6. 高丸圭一, 内田ゆず, 木村泰知, 秋葉友良. 地方議会における議案への賛否に関する発言の分析一

NTCIR-17 QA Lab-PoliInfo-4 Stance Classification-2

タスクに向けて一. 言語処理学会第 29 回年次大会.

2023
 我藤勇樹 ${ }^{1}$ 秋葉友良 ${ }^{1}$ 内田ゆず ${ }^{2}$ 木村泰知 ${ }^{3}$ 高丸圭一 ${ }^{4}$ ${ }^{1}$ 豊橋技術科学大学 ${ }^{2}$ 北海学園大学 ${ }^{3}$ 小樽商科大学 ${ }^{4}$ 宇都宮共和大学 gato.yuki.am@tut.jp akiba@cs. tut.ac.jp yuzu@hgu.jp kimura@res.otaru-uc.ac.jp takamaru@kyowa-u. ac. jp  