# 議事録の質疑応答の対応関係に基づくクラスタリングによる 議題の抽出

大杉了斗
豊橋技術科学大学
ohsugi.ryoto.dv@tut.jp
}

秋葉友良
豊橋技術科学大学
akiba@cs.tut.jp
}

増山繁
東京理科大学
masuyama@rs.tus.ac.jp

## 1 はじめに

新型コロナウイルス感染症の流行に伴い, 政府や 地方議会の対策をすばやく市民に伝える重要性が高 まっている.しかし, 会議内容を要約して市民に伝え るためには, 長い時間や手間を要する.この問題に対処するため, 2020 年開催のワークショップ NTCIR 15 における QA Lab-PoliInfo タスクのサブタスクとし て, 新たに Topic Detection タスクが設立された.この タスクの目的は, 東京都議会の議事録から議題の一覧を提示することである. [1]

本稿では,このタスクに取り組んだ手法を提案す る. 提案手法は会議の質疑応答の関係に着目し,この 関係を利用しない手法に比べ性能が向上しているこ とを示す.

## 2 タスク概要

Topic Detection タスクの目的は, 議事録 (2.1 節) か ら「議題（トピック）の一覧」を議員ごとに提示す ることである. どのような粒度のトピックを, どのよ うに提示するかについてはタスクで定められておら ず, 出力するトピックの定義は参加者によって異な る. そこで本研究では, 都議会だより (2.2 節) のサブ トピックに着目した. 都議会だよりとは, 議会の活動 を知らせる広報紙のことで, 新聞折り込みや都の施設, 公共機関空口で配布される. そのため, 都議会だ よりのトピックの粒度や提示方法は, タスクの背景 である市民に伝えるということに適していると考え られる.また, 都議会だよりは議会職員により人手で 作成されているため, 信頼性も高い. よって本研究で は, 都議会だよりのサブトピックにできるだけ類似 するトピックのリストを出力するシステムの構築を 目的とする。

コミュニケーションについてのご質問がございました。¥n 都民が誤った情報に惑わされることなく、感染症を正しく恐れ、予防に向けた適切な行動をと るためには、収集した情報に専門家の知見もいただきながら、わかりやすいメ ッセージを発信することが重要です。...

図 1 Topic Detection タスクにおける議事録の例

## 2.1 議事録

Topic Detection タスクにおける議事録1) の例を図 1 に示す. 議事録は会議の発言を書き起こしたもので,会議の日付や会議名に加え, 発話者名と発話内容の ペアのリストが含まれる. 会議は質問者がまとめて 質問をし, 知事や委員会長が各質問に回答するとい う一括質問一括答弁方式がとられている。

## 2.2 都議会だより

都議会だより2) の例を図 2 に示す. 都議会だより は議事録を要約したもので, 内容はメイントピック,議員名, サブトピックと要約の一覧から構成される. サブトピックは図 2 の「新型コロナ対策」と「災害対策」であり,短いフレーズで表現される。

1) https://www.gikai.metro.tokyo.jp/record/proceedings/

2) https://www.gikai.metro.tokyo.jp/newsletter/

## 介護事業者のICT導入支援を 災害時の情報連絡体制の強化を

たきぐち学 (都ファースト)

〔1〕都独自で感染拡大のフェーズに応じた公表基準を定めるべき。〔2〕ウィズコロナの介護のあり方を見据えタブレット等介護事業者の ICT導入の更なる強化を。

福祉保健局長〔1〕第二波に備え都の公表基準を整理。〔2〕補助対象 を全サービス種別に拡大し補助基準額引き上げ等ICT機器導入促進。

図 2 都議会だよりの例

## 3 提案手法

提案手法の処理の流れを図 3 に示す. まずは候補 となるトピックを抽出する (3.1 節). この候補トピッ クは大量に抽出されるため, 似た意味を持つ候補卜 ピックをまとめるためクラスタリングを行う $(3.2$節). クラスタリングは質問からの候補と回答からの 候補を分けて 2 回行う. その後, 互いのクラスタを結合する (3.3 節). 最後に結合したクラスタから最終的 に出力するトピックを選択する (3.4 節).

## 3.1 候補トピック抽出

議事録の質問と回答部分から,候補トピックを抽出する. 図 3 における Step 1 の処理である.トピック は「〜について」という語句の前方に存在する場合 が多いため, 正規表現を使ってこの部分を抽出する。本研究では,以下の正規表現を使用した.

(名詞｜接続助詞以外の助詞 $\mid$ 接頭詞 $\mid$ 自立動詞）+について

正規表現の前半部分は, 品詞にマッチする. 品詞の 特定には $\mathrm{MeCab}$ [2] を用いた. 品詞部分を抽出し, こ のフレーズを候補トピックと定義する. また, 候補を 区別するため, 質問側から抽出された候補は質問候補, 回答側から抽出された候補は回答候補と定義す る. さらに抽出精度を高めるため, 以下のような処理 を行った。
- 抽出位置が文頭以外の場合は不適切なトピック

図 3 提案手法の概略

である可能性が高いため,この候補トピックは 除外する。

・単語の区切りとして「,」が使われる場合があ るため,「,」の前方の単語が名詞の場合は「,」 を「・」に変換して抽出する。

## 3.2 クラスタリング

候補トピックをクラスタリングする，図３にお ける Step 2 の処理である. クラスタリングの際に 候補トピック同士の比較を行う必要があるため, 前処理として候補トピックを事前訓練済み Sentence BERT(SBERT)[3] の埋め込みに変換する. SBERT は, Siamese Network を組み込んだ BERT モデルで, 意味的に近いデータは埋め込み空間での距離が近くなる ように学習されている. そのため, 通常の BERT より も高い精度で埋め込み間の距離を求めることができ る. 本研究では, 事前訓練された日本語用の Sentence BERT モデル [4]を用いた. クラスタリングは質問候

図4 クラスタの結合例

補と回答候補を分けて行う. クラスタリングアルゴ リズムには scikit-learn の階層型クラスタリング [5] を用いた. 結合方法はウォード法, メトリックにはコ サイン距離を用いた. クラスタ数は距離のしきい值 により決定される. 本研究では, 過去の都議会だより のサブトピック数を参考にして, しきい值を 28.0 に 決定した. クラスタ群を区別するため, 質問候補をク ラスタリングしたものを質問クラスタ, 回答候補を 回答クラスタと定義する.

## 3.3 クラスタ結合

質問クラスタと回答クラスタを結合する. 図 3 に おける Step 3 の処理である. 結合の例を図 4 に示す. まず,クラスタ数が少ない側（例では質問側）から，最も類似度が高い反対側のクラスタを参照する. 類似度はクラスタの重心のコサイン類似度を用いる。次に, クラスタ数が多い側（例では回答側）のクラス タと,参照されている反対側のクラスタを結合する. この結合したクラスタは, 結合クラスタと定義する.

## 3.4 候補トピック選択

それぞれの結合クラスタから, 出力トピックを 1 つ選ぶ. 図 3 における Step 4 の処理である. 候補卜 ピックの埋め込みとクラスタの重心とのコサイン類似度を計算し, 類似度が最も高い候補トピックを選択する. 選択した候補トピックは最終的な出力とな りここれを出力トピックと定義する。

## 4 実験方法

## 4.1 評価方法

Topic Detection タスクはオープンタスクであり, 評価は行われない. しかし, 入力データに使用した議事録の都議会だよりは既に発行されているため, 人手 により評価を行った. 各出力トピックに対して, その

図 5 手法の比較

トピックが都議会だよりに含まれていれば正解, 含 まれていなければ不正解を割り当てる. 正解数を力 ウントし, Precision, Recall, F 値を計算する.ここで 正解数をカウントする際, 同じ内容の出力トピック があった場合（具体的には, 複数の出力トピックが 同じ都議会だよりのサブトピックと関連している 場合）は, 1 つとしてカウントする.これはクラスタ リングの目的が重複を除去することであり, 重複を 正解としてカウントすることは適切でないためで ある.

## 4.2 分割なしクラスタリング手法

評価結果の比較のため, 質問, 回答を区別せずにク ラスタリングする手法も実装した. 提案手法との違 いを図 5 に示す. 提案手法では, 候補トピックを質問候補と回答候補に分割して 2 回クラスタリングを実行する. 対してこの手法では, 質問候補と回答候補で 分割せずまとめてからクラスタリングを実行する。

## 5 実験結果

出力例として出力トピックと,それに対応する都議会だよりのサブトピックを表 1 に示す. 出力ト ピックは都議会だよりとの比較のため, 並び替えて いる.

評価結果を表 2 に示す。「分割なし」は 4.2 節の手法で，「分割あり」は 3 節の提案手法を表している.質問と回答を分けてクラスタリングした提案手法で は, 分けずにクラスタリングした手法と比べて $\mathrm{F}$ 值 が 0.44 向上した.
表 1 出力結果の例

 & 大会経費の剩余金 \\

表 2 評価結果

## 6 考察

提案手法による性能向上の理由として考えられ ることは,クラスタの質が向上することが挙げられ る. 分割なしクラスタリングでは, 一度に入力する候補数が増え, 関連性が低い候補トピックまで同一の クラスタに含まれてしまうことがある.このような 候補トピックは重心の値をずらしてしまい, 出力ト ピックの選択に悪影響を与えてしまう. そこで分割 してクラスタリングすることで,このような問題を 避けられていると考えられる。

また, どちらの手法でも $\mathrm{F}$ 値が低くなってしまっ た. Recall に対して Precision が低い值であること から, Precision が F 値を低下させているとわかる. Precision 低下の原因として, 全てのトピックが都議会だよりに掲載されるわけではないということが挙 げられる.これにより正解トピック数が減ることで,正解数も減り, Precision が下がってしまう（Recall は正解数を分母に持つため影響を受けない）. 都議会だよりのトピックに欠けがある点については， Ogawa ら [6] の論文でも言及されている. Precision の 低下は本研究の問題設定によるものであり,これを 解決するためにはネットリポート3)などの別の要約 データを用いる事が必要である.

## 7 関連研究

トピックに関する研究は多く, 例えばトピックモ デルが挙げられる.トピックモデルの実装として LDA[7] が広く使われている. LDA は文書中に存在 する潜在的なトピックを, 単語の確率分布として表現するモデルである.このトピックの表現方法が本研究との大きな違いである. LDA におけるトピック は, 具体的なテキスト表現を持たない. 一方で本研究 のトピックは, 文書中に出現する具体的なテキスト を表現している.このテキストを抽出することが本研究の目的である.

次に, Topic Detection タスクにおける他参加者の研究を紹介する. Ogawa ら [6] は, 本研究と同様に, 都議会だよりのサブトピックのような短いフレーズを 抽出している. 本研究との違いは問題設定で, 議論の 対象となったトピックを全て抽出するという問題設定になっており, 自動的なクラスタリングは行って いない. Hirai ら [8] は, 単語の共起構造と LDAを用 いた手法により，トピックの抽出を行っている。ト ピックの表現は, 本研究と同様に短いフレーズであ る.しかし, 都議会だよりのような具体的なターゲッ トは想定していない. Ibrkチームは, doc2vec による 分散表現と k-means によるクラスタリングにより， トピックを抽出している. 本研究とは, 問題設定とト ピックの定義が大きく異なる. 問題設定は, あらかじ めキーワード（「新型コロナウイルス」など）を設定 しておき, それに関する 20 つの単語集合を求めると いうものである. また,トピックの表現はフレーズで はなく単語集合である。

## 8 おわりに

本研究では, Topic Detection タスクに取り組んだ手法を提案した. 議事録の関係に着目した手法を提案 し, この関係を利用しない手法に比べ性能が向上し ていることも確認した. 今後の課題は, さらに議事録 の特徴に着目し, 議事録上での抽出位置を利用した 手法等を検討したい.

## 謝辞

本研究は JSPS 科研費 $19 K 11980$ の助成を受けた.


## 参考文献

[1]Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, YuzuUchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, YasuhiroOgawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, KenjiAraki, Satoshi Sekine, and Noriko Kando. Overview of thentcir-15 qa lab-poliinfo-2 task. In Proceedings of The 15th NTCIRConference, 122020.

[2]Taku Kudo, Nippon Telegraph, and Telephone. Mecab, 2001. https://taku910.github.io/mecab/.

[3]Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[4]Sentence embeddings with bert \& xlnet, 2019. https:// github.com/sonoisa/sentence-transformers.

[5]Clustering — scikit-learn, 2007. https://scikit-learn. org/stable/modules/clustering.html.

[6]Yasuhiro Ogawa, Yuta Ikari, Takahiro Komamizu, and Katsuhiko Toyama. Nukl at the ntcir-15 qa lab-poliinfo-2 task. In Proceedings of the 15th NTCIR Conference on Evaluation of Information Access Technologies, 2020.

[7]David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. In Journal of Machine Learning Research 3, 2003.

[8]Yuya HIRAI, Yo AMANO, and Kazuhiro TAKEUCHI. Ntcir15 qa lab-poliinfo2 dialog topic detection based on discussion structure graph. In Proceedings of the 15th NTCIR Conference on Evaluation of Information Access Technologies, 2020.
 大杉了斗 豊橋技術科学大学 ohsugi.ryoto.dv@tut.jp }  秋葉友良 豊橋技術科学大学 akiba@cs.tut.jp }  増山繁 東京理科大学 masuyama@rs.tus.ac.jp  