# 国会会議録を利用した議員の発言特性の抽出

有田智也 松井くにお
金沢工業大学工学研究科情報工学専攻
C6000578@planet.kanzawa-it.ac.jp
}

概要 本論文では Web 上に公開されている国会会議録を利用し, TF-IDF を用いた議員ごとの発言特性の抽出及びTFIDF 値を用いた議員の関係性分析と, 機械学習を用いて議員の発言を評価した結果を述べる. 機械学習では議員の応答文を学習データとして seq2seq で学習させることで応答文を作成し, 生成された応答文を利用し議員の発言の一貫性 の分析を試みた. 議員の発言をトークン分割する際には, Sentence Piece を利用することで，複合語を考慮しつつ特徵語の抽出ができる. また少数のデータを seq2seq で学習する際には， トークン分割に Sentence Piece を用いることで， トークン分割に MeCabを利用した場合に比べて，より自然で文法的に正しい応答文の作成が可能になり，高品質な関係分析が可能になる.
## 1 はじめに

近年, Apple 社の「Siri」や, Google 社の「Google Assistant」などの, 知能的な対話システムの研究が活発化している。また女子高校生を模した，日本マイ クロソフト社の「りんな」や, NTT 先端技術総合研究所が精華町役場と共同で研究している「京町セイ 力」など対話システムに，ある特定の個性を持たせ ようとする研究も活発化している。しかしながら個性的な文章にするために, どの単語が役に立つのか, という研究は積極的になされていない. そこで本研究では個性付与の役に立つ言葉の抽出方法に着目し た.

特徴語を抽出する研究として木村ら[1]は TF-IDF を用いて各地方議員の発言から, 議員が重点を置い ている政策を抽出しているが，抽出対象は名詞のみ であり, 助動詞や助詞などの議員の発言特性を抽出 できそうな品詞を利用していない. また大南ら[2]は 最大エントロピー法を用いて短命議員と長期議員に 特徴的な単語を抽出し, ”っぽい”などの短い個性を 表す語の抽出には成功しているが，”であります”と いった複数の単語から構成される意味を持つ語(複合語)を抽出することは出来ていない. そこで本研究 では複合語での特徴語の抽出, 抽出した特徴語での 関係性の分析, 及び複合語でトークン分割した文章 を学習させたモデルでの応答文生成の評価を試みた。

## 2 利用した技術とデータ

## - TF-IDF

TF-IDF(TermFrequency-InverseDocument Frequency)
とはKaren Sparck Jones(1972)によって提唱された重 みづけ手法であり, 2 種類の重みづけ手法を組み合わ せることで実現されている．TFでは「ある文章中に おいて出現回数の多い語はより重要な単語」という 考え方に基づいて重みづけを試みる. IDFでは「ほか の文章中での出現回数が少ないほど重要な単語」 という考え方に基づいて重みづけを試みる。つまり TF-IDF の値が大きければ大きいほどその文章にと って重要な語である.

- SentencePiece

SentencePiece[3]とは 2018 年に工藤拓らにより提案された入力文章をサブワードにトークン分割する 手法である. SentecePiece では辞書を利用せず，コー パスから教師無し学習で文章をトークン分割するた めのモデルを生成し, 文章のトークン分割を行える. SentencePiece で国会会議録を分割した結果の一部を 表 1 に示す.

表 1. sentencePiece での分割結果

## - Seq2Seq

Seq2Seq(Sequence to Sequence)[4]とは 2014 年に Ilya Sutskever らによって提案された, 入力された系列を別の系列に変換するモデルである. Seq2seq は Encoder と Decoder の二つの RNN から構成され， Encoder では入力系列を読み込み隠れ層の最後の状態を Decoder に渡す. Decoder では Encoder から与え られた隠れ層をもとに，入力出力終了を表す”<eos>” が現れるまで単語を出力する。RNN の部分を LSTM[5]や GRU[6]にすることで離れた語の依存関
係を学習させることが可能になる.
- 国会会議録

話者が明示されている上, 文法的な正しさが保証 されているデータとして国会会議録を使用した. デ 一タの収集には国立国会図書館が公開している API[7]を用いて, 2012 年から 2019 年までの国会会議録を収集した。その後国会会議録から安倍晋三議員, 麻生太郎議員, 稲田朋美議員, 福島哲郎議員,福島みずほ議員, 蓮舫議員の発言を抽出した。また 対話を学習させるためのデータには各議員の発言の 内第一文までを利用した。

## 3 提案手法

図 1 に提案システムの構成を示す. 国会会議録コ ーパスから特定の議員の発言内容を抽出し, 発言デ 一タには発言内容をそのまま保存し，対話データに は発言内容に加えて他の議員の質問内容を保存する. トークン分割には MeCab[8] と Sentence Piece を用い た. 発言データでは TF-IDF の值を用いて議員ごと の特徴語を抽出する. 対話データでは seq 2 seq を用 いて議員ごとの発言内容を学習させる.

図 1 . 提案システムの構成

## 3.1 TF-IDF を用いた特徴抽出と評価

2012 年 1 月 1 日から 2019 年 12 月 31 日までの安倍晋三議員の発言を MeCab[8]+neologd 辞書でトー クン分割した後に TF-IDF の值が 0.1 以上の単語を 抽出した結果を図 2 に示す.

図 2. MeCab で分割したデータでの特徴語
データを MeCab+neologd辞書でトークン分割した 場合”わけであります”や”だと思っております”など の複合語は，"わけ/で/あり/ます”や，"だ/と/思っ/て /おり/ます”のように細かく分割され,意味を持つ複合語から単体では意味の伝わらない単位にまで分割 されてしまう。

この問題を解決するために本研究では SentencePi eceを用いてトークン分割を試みた. SentencePiece を 用いてトークン分割することで，高頻度で現れる語 をそのまま利用することが可能になる.そのため”わ けであります”などの高頻度で文章中に現れる語を SentencePiece でトークン分割した場合, 複合語であ る”わけであります”のまま出力される. SentecePiece を用いて安倍晋三議員の文章を分割した後に TFIDF の值を計算して, TF-IDF の值が 0.1 以上の特徴語を抽出した結果を図 3 に示す.

図 3. SentencePiece で分割したデータでの特徴語

トークン分割に SentencePiece を用いることで議員の発言の複合語も議員の特徴語として抽出するこ とが可能になった. SentencePiece と TF-IDF を用い て 2012 2015 年の議員の発言の特徴語を抽出した結果を表 2 に示す.

表 2.2012 2015 年の特徴語

2016 2019 年の議員の特徴語を抽出した結果を 表 3 に示す. 黄色で示された部分は 2012 2015 年と 2016 2019 年で共通の特徴語である.

表 3.2016 2019 年の特徴語

次に単語の 2012 2015 年と 2016 2019 年での特徴語の一致率を表 4 に示す.

表 4. 特徵語の一致率

2012 2015 年と 2016 年 2019 年の特徴語一致率を比較すると, 与党議員の安倍晋三議員と麻生太郎議員の特徴語一致率は $0.63,0.5$ と高く特徴語が変化していない.これは質問に答える際に深 く言及することを避け, 抽象的な内容で返答した もしくは, 多くの質問に答えているため, 特徴語 として特定の名詞が現れにくかったためである. しかし稲田朋美議員は与党議員にも関わらず, 特徴語の一致率が 0.1 である.これは 2016 年に公務員精度改革を担当する国務大臣の職を退き, 防衛大臣の職に就き，答える質問の内容が変化したた めである。また野党議員の福山哲郎議員, 蓮舫議員, 福島みずほ議員の特徴語一致率は $0.23,0.03$, 0.3 と小さく, 特徵語が大きく変化していた. これ はその時ホットな話題について集中して質問する ことが多く, その質問した事柄が特徵語として現 れためである.

## 3.2 Seq2Seq を用いた応答文生成と評価

2012 年 1 月 1 日から 2019 年 12 月 31 日までの安倍晋三議員の答弁 25,459 件を MeCab+neologd 辞書 で分割した後に他議員からの質問を入力, 安倍晋三議員の応答を出力として Seq2Seq で学習させ, 学習済みモデルを作成した。本研究で用いた Seq2Seq の 中間層は 256 , 単語埋め込み次元は 300 である. 学習させたモデルに対して, 議員の発言からランダム に選んだものを学習済みモデルに入力し, 生成され た応答文を図 4 に示す.

図 4. MeCab で分割したデータを Seq2Seq で学習さ せたモデルから得られた応答文

$\mathrm{MeCab}$ で分割し，先頭の単語をランダムにサン プリングし，以降の単語を貪欲法でサンプリングす ることで生成した応答文の問題は次の 2 つである.

・複合語が細かく分割されるため, 学習することが 難しく, 複合語が出力の途中で崩壊してしまう。

・出力の内容が”これはまさにこれはまさに”のよう

にループし文章として成立しない.

複合語をそのまま利用し, 複合語生成の学習を省略させるため, SentecePiece を用いて対話データを 分割し, Seq2Seq で学習させた結果を図 5 に示す.

図 5. SentencePiece で分割したデータを Seq2Seq で 学習させたモデルから得られた応答文
対話データを SentencePiece でトークン分割し学習させることで, MeCab でトークン分割した場合, $17.7 \%$ で発生していた応答文の崩壊と応答文のルー プを, $6.7 \%$ に減少させることに成功した.

学習させたモデルに, 議員の発言をランダムに 30 件抽出したものを入力し, 生成された応答文に対し て, 文法的に正しい応答が生成される確率，自然な 応答文が生成される確率, 生成された応答文に TFIDF 上位 30 件の単語がマッチ寸る確率を評価した。

2012 2015 年の評価結果を表 5 亿示す.

表 5.2012 2015 年の応答文の評価

2012 年 2015 年の評価の結果, 自然な応答文が生成される確率は, 与党議員に比べて野党議員の方が 平均で $13 \%$ 低かった. これは野党議員の発言内容は 様々な分野への質問が多く, 学習が困難であるのに 対して, 与党議員の発言内容は回答一辺倒であり,内容に一貫性が生まれ学習しやすかったためである. また応答文に TF-IDF 上位 30 件の単語が含まれる確率は与党議員に比べて福島瑞穂議員を除く野党議員 の方が平均で $8 \%$ 低かった. これは与党議員の特徴語に複合語が多く, 複合語の方が名詞に比べて応答文に反映させる余地が多いためである．福島みずほ 議員の応答文に含まれる単語が TF-IDF 上位 30 件に マッチする確率が高いのは” の福島みずほです”と いう応答文が頻繁に生成されたためである.

2016 2019 年の評価結果を表 6 に示す.

表 6.2016 2019 年の応答文の評価

2012 2015 年と 2016 2019 年を比較すると蓮舫議員の応答文の文法的な正しさ, 応答文の自然さ, 応答文が TF-IDF 上位 30 件にマッチ寸る確率が減少 している.これは 2012 2015 年に比べて 2016 2019年の方が，より様々な政治的事柄について質問する ようになったため, 学習が難しくなったためであ る.

## 4 おわりに

本論文では，国会会議録を用いて議員の発言特性 の分析と抽出を TF-IDを用いた手法と対話モデルを 作成する手法で行った. SentencePiece を用いること で複合語の抽出が可能になり, 高品質な個性抽出,応答文生成ができる.

## 参考文献

1. 地方議会会議録コーパスプロジェクト(引用日:2010 年 12 月 20 日)http://local-politics.jp/

2. 大南勝, 掛谷秀紀. 国会会議録に基づく短命大臣 の特徵分析第 2 報. 言語処理学会第 23 回年次大会論文集, pp. 1167-1170，2018

3. Taku Kudo, John Richardson. SentencePiece:A simple and language independent sub word tokenizer and tokenizer for Neural Text Processing.

https://arxiv.org/pdf/180806226.pdf

4. Ilya Sutskever, Oriol Vinyals, Quoc V. Le. Sequence to Sequence Learning with Neural Networks

https://arxiv.org/abs/1409.3215

5. Sepp Hochreiter, Jurgen Schmidhuber. Long Shortterm Memory.

https://www.researchgate.net/publication/13853244_Lon g_Short-term_Memory

6. Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio.

Learning Phrase Representations using RNN Encoder-

Deocder for Statistical Machine Translation.

https://arxiv.org/abs/1406.1078

7. 国会会議録検索システム検索 $\mathrm{API}$ (引用日:2020

年 12 月 20 日)

https://kokkai.ndl.go.jp/api.html

8. 工藤拓, 山本薰, 松本裕治. Conditional Random Fields を用いた日本語形態素解析. Applying Conditional RandomFields to Japanese Morphological Analysis. https://ci.nii.ac.jp/naid/110002911717
 有田智也 松井くにお 金沢工業大学工学研究科情報工学専攻 C6000578@planet.kanzawa-it.ac.jp }  概要 本論文では Web 上に公開されている国会会議録を利用し, TF-IDF を用いた議員ごとの発言特性の抽出及びTFIDF 値を用いた議員の関係性分析と, 機械学習を用いて議員の発言を評価した結果を述べる. 機械学習では議員の応答文を学習データとして seq2seq で学習させることで応答文を作成し, 生成された応答文を利用し議員の発言の一貫性 の分析を試みた. 議員の発言をトークン分割する際には, Sentence Piece を利用することで，複合語を考慮しつつ特徵語の抽出ができる. また少数のデータを seq2seq で学習する際には， トークン分割に Sentence Piece を用いることで， トークン分割に MeCabを利用した場合に比べて，より自然で文法的に正しい応答文の作成が可能になり，高品質な関係分析が可能になる. 