# 議会における明示的な賛否表現を含まない議員発言を 対象としたスタンス分類データセットの構築と評価

猫本隆哲 1 秋葉友良 ${ }^{1}$ 増山 繁 ${ }^{2}$
1 豊橋技術科学大学 2 東京理科大学
nekomoto.takanori.pf@tut.jp akiba@cs.tut.jp masuyama@rs.tus.ac.jp

## 概要

スタンス分類の目的は, 発信者が特定のトピック に対して賛成なのか反対なのかを識別することであ る. 近年では, SNS において様々なトピックに関す る議論や討論を獲得し, スタンス分類のための教師 データとして用いられている. 本研究では, 議会議事録に収録されている議員発言を対象としたスタンス 分類を提案する. 提案するスタンス分類問題に対し,議会での討論のパターンを考慮することにより,議会議事録から自動的にデータセットを構築した. ま た, 構築したデータセットを用いて分類機を構築し，評価実験を行った.

## 1 はじめに

本研究では, NTCIR15 QA Lab-PoliInfo-2 Stance Classification タスク [1] から派生した文書分類タスクを 提案する. QA Lab-Poliinfo-2 タスクでは, 議会議事録 から議員の意見, その理由・条件の要約, 分類等を 行い, 表示するといった複雑な実世界の質問応答技術を目指している. Stance Classification では, 都議会 における政治家の発言から, 政治家の立場 (スタン ス)を推定することを目的としている.より具体的に は, 議会議事録から, 議会中に議論される各議題に ついて, 各会派の賛否を分類する問題に取り組んだ。日本の議会議事録の記述は, 議員ごとの発言の書き 起こしであり, ほとんどの議員は討論の冒頭で複数 の議案に対して簡単な賛否を述べることから,ここ から一定数の議案に対してのスタンスが判明する. Stance Classification の評価結果では, この冒頭部分の みを用いることで $90 \%$ 以上の正解率で賛否分類でき ることが示されている [2]. しかし, 一部には冒頭部分で賛否表明を行わない, または冒頭のみでは賛否表明されない議案が存在するといった場合があり， そのような場合に対応するには, 冒頭以外の討論部分から賛否分類を行う必要がある.

本研究では, 我々の先行研究 [3] に引き続き, ある 議案に対して明示的な賛否の表現のない討論の発言 から賛否分類を行う問題に焦点を当てた. 議会にお ける議員討論の特性を調査し,トピックとなる議題 に対応した討論の抽出から賛否のラベリングまでを 自動化し, データセットを構築した. また, 構築した データセットを用いて分類器を学習し, 評価実験を 行った.

## 2 スタンス分類

本節では, Stance Classification タスクの対象となっ た東京都議会を例として, 議事録の構造, および本研究の問題設定について詳細を述べる。

## 2.1 会議録データ

都議会の討論の特徴として, 議員は図 1 のように 発言の冒頭で特定議題への一定の賛否を述べてから 詳細な討論に入る。

## 議員の発言

私は、日本共産党都議団を代表して、第百六十八号議
案、再生手続開始申立事件において東京都が有する債権
の取扱い及び株式の消却に反対する立場から討論を行い
ます。
百六十八号議案は、経営破綻に陥った株式会社多摩
ニュータウン開発センターを民事再生手続により救済
し、…以下略】…
第百五十五号議案は、特定都営住宅に期限つき住宅を導
入するための都営住宅条例の一部を改正する条例です。
若年ファミリー世帯に都営住宅の入居枠を拡充すること
は、子育て支援にとっても、また高齢化が進む都営住宅
を活性化させる上でも重要であり、我が党もこれるで主
張してきたものです。…【下略】…

図 1 議員発言例

議員は必ず議長から発言権が与えられた上で, 始 めにいくつか議案への簡単な賛否表明を行った上 で,それぞれの議案についての詳細な討論を行う.こ

こでは, 前者を賛否表明発言, 後者を討論発言と定義 する. 図 1 から切り離した賛否表明発言および討論発言をそれぞれ図 2 , 図 3 に示す。

賛否表明発言

私は、日本共産党都議団を代表して、第百六十八号議案、再生手続開始申立事件において東京都が有する債権 の取扱い及び株式の消却に反対する立場から討論を行い ます。

図 2 賛否表明発言例

賛否表明発言は, 議長から発言権が与えられた議員が始めに述べる形式的な賛否表明である. 多くの 場合, ここから特定議案 (議案番号) の賛否表明が得 られ, Stance Classification タスクの評価結果では, 賛否表明発言のみを参照することで $90 \%$ 以上の正解率 が実現されることが分かっている [2].

## 討論発言

百六十八号議案は、経営破綻に陥った株式会社多摩 ニュータウン開発センターを民事再生手続により救済 し、...【以下略】…

第百五十五号議案は、特定都営住宅に期限つき住宅を導入するための都営住宅条例の一部を改正する条例です。若年ファミリー世帯に都営住宅の入居枠を拡充すること は、子育て支援にとっても、また高齢化が進む都営住宅 を活性化させる上でも重要であり、我が党もこれまで主張してきたものです。…【以下略】…

図 3 討論発言例

討論発言では, 賛否表明を行った議案への詳細な 言及がなされる. 賛否表明発言と比較すると, 同一議案への言及でありながらも, それについての根拠が 明確に述べられている. しかし, 討論発言では賛成や 反対といった単語は必ずしも出現しない. また, 賛否表明発言では言及されず, その後の討論発言のみで 言及される議案も存在する. また, 討論発言では複数 の議案について議案ごとに順番に発言が行われる。 よって, 発言者のある議案に対するスタンスを捉え るためには, 討論発言を議案ごとに分割したテキス ト (セグメント)を獲得する必要がある.

## 2.2 問題設定

前述したように賛否表明発言を用いることで高い 精度で賛否分類を行うことが可能であるが, 陽に言及されない議題には対応できない. そこで本研究で は, 図 3 に示した討論発言から, 議案に対する賛否を 分類する問題に焦点を当てる. そのために, 議事録
の各議員の各議案に対する討論発言のセグメント分割を行い，その議題への賛否を対応付けたペアデー タを構築した.このぺアデータを学習データとして，二値分類器の構築, 評価を行った。

## 3 データ構築手法

本節では, 議会議事録からの教師データの構築方法, それに伴う討論発言のセグメント分割手法につ いて述べる.

## 3.1 セグメント分割

議案に対応する討論発言を獲得するために討論の セグメント分割を行う. セグメント分割には, 議員討論で多用される表現方法, 特に特定の接続詞に注目 して分割を行う. 議事録の場合, 接続詞が出現する箇所は言及する議題に変化を予測しやすいため, 図 4 のような議員の討論発言例では，「次に」という接続詞に注目して分割を行う.また接続詞以外に, 議事録に記載されている議案番号や議案名にも注目し，分割を行う. 注意する点としては, データセットには 議題と関連の無いノイズとなるような発言の混入を 防ぐために, 議案番号と議案名については討論発言 との完全一致を主として分割を行っていく.

しかしながら, 議員が議事録記載の議題名をその まま発言するとは限らない. そこで, 可能な限り議題対応が取れる多くの発言を獲得するために, 別途編集距離を用いる. 手法としては, 図 4 のように討論内 に「〜について」という発言が含まれる場合, それ 以前の発言と議題名との編集距離を測る. その類似度があらかじめ定めたしきい値を超える場合, 議題対応が取れる発言であるとみなし, セグメント分割 を行うものとする. 本研究では, しきい值を 0.9 に設定した. これらのルールベース手法で獲得したセグ メントを総じてセグメント候補として利用する。

## 3.2 ラベリング

次に, 獲得したセグメント候補にラベリングを施 す.セグメント候補に対するラベリングは次の 3 つ の手法を検討した。

議決参照 議事録の議決部から賛否を与える.

賛否表明参照 A 議決参照せず, 賛否表明発言から 賛否を与え, 不明部分には賛成ラベルを与える

賛否表明参照 B 議決参照せず, 賛否表明発言から 賛否を与え, 不明部分は教師データに含めない.

## 議事銢記載の議案番号, 議案名

第百十一号議案:

株式会社新銀行東京に関する特別委員会の継続調査

第百二十七号議案:

東京都築地市場の移転・再整備に関する特別委員会の継続調査

Levenshtein . ratio(seg $1, \operatorname{seg} 2)>0.90$ ?

図 4 討論発言のセグメント分割および編集距離を用いた議題特定

東京都議会の場合, 議事録に収録されている議決 を参照することで各政党ごとに各議案に対する賛否 が分かる.しかし, 地方議会や国会などでは賛否数の みの記載に留まることがあるため, 賛否表明発言か らラベルを与える手法を検討した. 賛否表明参照 A と B の違いは, 賛否表明発言で言及されていないセ グメント候補に賛成ラベルを与えてデータセットに 採用するか, もしくはラベルが与えられないセグメ ント候補はデータセットに含めないかである. よっ $\tau$, 賛否表明参照 B は, 賛否表明参照 A よりも誤ラ ベル率が低い代わりに, サンプル数が少なくなる傾向がある.これが分類実験ではどのような影響を及 ぼすかを検証する。

## 3.3 データセット総括

本手法を 2000～2020 年までの東京都議会に適用 し,データセットの自動構築を行った. 表 1 にラべ リング手法ごとに構築されたデータセット総数を 示す.

表 1 データセット概要

構築できたデータセットは 539 件となり, 推定賛成ラベルを与えたセグメント候補をデータセットに 含めない場合は 500 件となった. また error は議決を 参照せずにラベルを予測したうち, 教師データのセ
グメント候補に対して与えられた誤ラベル数を示し ている.これを学習に用いて人手で構築した 137 件 のテストセットを用いて評価実験を行う。

## 4 評価実験

本節では, 構築したデータの分類に用いる分類器 の概要, 分類器の評価実験, 考察について述べる.

## 4.1 BERT を用いた分類

2.1 節で定義した討論発言を対象に議員のスタン スを 2 值 (賛成 or 反対) に判定する BERT ベースの 分類器を構築した [4]. モデルには, 公開されている 日本語事前学習済みモデルの BASE 通常版を用い た [5]. 本モデルは, JUMAN [6] による単語分割に基 づいて学習されているため, 同じ形態素解析器を使用している. また, 今回は入力が討論発言, 出力を賛成または反対とすることが目的であるため, [CLS] トークンの最後の隠れ状態を入力 768 次元, 出力を 賛成または反対の 2 クラスとする全結合層に通して 予測値を出力する.

## 4.2 入力構成

入力は単一討論発言, または討論発言に議題名を 加えたものの 2 つを検証する. 議題名を追加で与え る試みについては, 獲得したセグメント候補は特定 の接続詞や発言に出現する議題名に注目して分割を 行っている. そのため, セグメント候補には議題とは 関連のないノイズが含まれることがあるため, 議題
名を追加で与えることで分類精度に影響を及ぼすか 検証するために行う。

## 4.3 実験設定

作成した 3 つのラベリング手法との比較対象とし て以下の 3 つのベースラインを設定した.

Majority 討論内容に関わらず全て賛成と分類する.

Baseline1 討論発言に出現する「賛成」「反対」の 単語数をカウントし, 多い方にラベルを与える. ただし同数, または出現しない場合は「賛成」と する。

Baseline2 知事提出議案を一括で賛成, 議員提出議案を一括で反対とする.

ハイパーパラメータの設定は, 入力の最大系列長 を 512, ミニバッチサイズを 24 , 学習係数を $2 \mathrm{e}-5$, エ ポック数を 3 とした.

## 4.4 結果と考察

表 2 に 3 つのラベリング手法それぞれに議題を 与えたものの合計 6 種の精度を示している. まず， majority の時点で分類精度が 7 割を超えており, 構築 されたデータセットでの議員発言はそのほとんどが 賛成のスタンスであることが分かる. その他のべー スラインでは baseline 2 が最も精度が高く, 知事提出議案に対しては賛成, 議員提出議案については反対 のスタンスを表明する議員が多数いることが予想 できる. 提案手法については全手法で baseline を上回っており,また議題を追加で与えることで精度向上に寄与していることが分かった. また, 正解ラベル を議決から与えた議決参照ラベリングが最も精度が 高くなり, 誤ラベルが少ない train セットを用いた方 が次いで正解率が高い. よって, 今回の実験ではデー タセット総数よりも,ラベリング精度を重視する方
が精度向上に好影響を与えることが分かった。

賛成 1 まず最初に、宿泊税についてです。今回、宿泊税 は、法定外目的税として提案されました。私たち生活者 ネットワークは、地方分権一括法が昨年四月に施行さ れ、課税自主権が地方に 付与された条件を生かそうとす る試み自体は高く評価するものです。しかし、具体的提案については、率直にいって使い道の内容やプロセスの 点で、大きな疑問を提起せざるを得ません。日本はこれ まで、黒字を解消するため海外へ出ることを奨励し、観光を政策として進めてきませんでした。これは東京都も 同じで、東京の過密化をさらに進める観光客の誘致をよ しとはしてきませんでした。(以下略)

図 5 誤分類例 (誤って賛成ラベルに分類された例)

図 5 に実際に分類器へ討論発言を入力し, 誤分類 された例を示す.この発言は教師あり分類器に共通 して, 正解ラベルは反対でありながらも誤ラベルで ある賛成に分類されてしまった討論発言である. 誤分類された討論には, 肯定意見と否定意見が混在し ており，また肯定側の討論はよく使われる「評価す る」といった表現が含まれていることから, 賛成と 分類されたと考えられる. また,このような機械が誤分類する討論発言は, 人間が確認を行っても誤分類 してしまう傾向が高いため, 同様の誤分類が他の議会議事録においても発生するか, 今後も検証を続け る必要がある.

## 5 おわりに

本研究では, 議会の議員発言を対象として, その特性を活用したアノテーションを不要とするデータ セットの構築方法を提案した. また, BERT ベースの スタンス 2 值分類器を構築し, 構築したデータセッ トのベースラインを確立した. 今後はより多くの議員討論を獲得するために, 地方議会等を対象として 更なるデータセットを構築し, 提案手法の有効性を 検証する。

## 謝辞

本研究は JSPS 科研費 19K11980 の助成を受けた.

## 参考文献

[1] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[2] Takanori Nekomoto, Ryoto Ohsugi, Tomoyosi Akiba, Shigeru Masuyama, and Daiki Shirato. akbl at the ntcir15 qa lab-poliinfo-2 tasks. The 15th NTCIR Conference, p. 155, 2020.

[3] 猫本隆哲, 秋葉友良, 増山繁. 議題への明示的な賛否表現を含まない議員発言を対象とした議会議事録のス タンス分類. 言語処理学会第 27 回年次大会 発表論文集, pp. 669-673, 2021.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[5] Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. Improving the accuracy of japanese parsing with bert. The Association for Natural Language Processing 25th Annual General Meeting, pp. 205-208, 2019.

[6] Daisuke Kawahara. Japanese morphological analysis system juman version 3.61. http://pine.kuee.kyoto-u.ac.jp/nlresource/juman.html, 1999.

## A 付録

本節に構築したデータセットに収録されている実際の賛成討論, 反対討論をそれぞれ示す.

## 賛成 1

第二百七号議案、東京都情報公開条例の一部 を改正する条例によって、情報公開の実施機関に公安委員会と警視総監が加えられました。今期、全国初の都議会独自の情報公開条例が 実現し、さらに今、警察情報が公開実施機関 に加えられるということは、開かれた政治へ の前進として、心から歓迎するものです。し かしながら、この警察情報の公開が真に実効 あるものとなるためには、開示義務除外とさ れる情報を、犯罪捜査などに支障を及ぼすお それのある刑事法の執行を中心としたものに 限定し、いわゆる行政警察活動や犯罪捜査な どの個別の警察活動に支障を及ぼさない財政支出などは原則開示とするなど、明確な基準 による運用が必要です。都民の期待にこたえ る地方自治体としての積極的な条例運用を求 めるものであります。，小松恭子,2000/7/12, 第二百七号議案, 東京都情報公開条例の一部を改正する条例

## 反対 0

犯罪被害者等基本条例について申し上げます。総務委員会における都議会公明党の質疑で、本条例案の数々の問題点が露見しました。条例の根幹は目的と定義にあります。しかし、本条例の目的と定義は、国の犯罪被害者等基本法の条文の中の国を都に、また、国民を都民にほぼ置きかえただけであり、犯罪等の範囲や犯罪被害者等の対象の解釈についても国 の解釈を踏襲しており、都としての独自性や 必要性がないことが明らかにされました。ま た、条例案第十一条の経済的負担を軽減する 生活資金の給付については、現在、国が具体的に見直しを検討しており、今回の質疑にお いても具体的な給付案及び根拠となる財源は 明示されませんでした。さらに、具体的な給付案については、都知事が設置する犯罪被害者等施策推進会議でもまれるとの答弁があり、都に丸投げする形になっています。また、既 に都が設置している東京都犯罪被害者等支援推進会議との関係からすれば、屋上屋を重ね るだけであることが明らかであります。公明党は四十六年前、凶悪犯罪によってかけがえ のないご子息を失った一人の父親の声を聞き、以来、犯罪被害者等の支援に取り組んでまい りました。今日までの半世紀にわたる取り組 みは、犯罪被害者等が抱える悲しみ、苦しみ に少しでも寄り添い、心を配りながら進めて きました。このたびの条例案は余りにも拙速 かつ不十分な内容であり、形だけの条例案と いわざるを得ず、到底賛成することはできま せん。, 小林健二, $2012 / 10 / 4$, 議員提出議案第十一号, 東京都犯罪被害者等基本条例
 猫本隆哲 1 秋葉友良 ${ }^{1}$ 増山 繁 ${ }^{2}$ 1 豊橋技術科学大学 2 東京理科大学 nekomoto.takanori.pf@tut.jp akiba@cs.tut.jp masuyama@rs.tus.ac.jp  