# ソーシャルメディアにおけるヘイトスピーチ検出に向けた 日本語データセット構築の試案

荒井 ひろみ ${ }^{1,2}$ 和泉 悠 ${ }^{3}$ 朱 喜哲 4 仲宗根 勝仁 1 谷中 瞳 1
1 理化学研究所 2 科学技術振興機構 さきがけ
3 南山大学 4 大阪大学
\{hiromi.arai, katsuhito. nakasone, hitomi .yanaka\}@riken.jp,
yuizumi@nanzan-u.ac.jp, nyarl905@gmai.com

## 1 はじめに

今日のデジタル社会が直面している主要な問題の 1 つに, ソーシャルメディアなどのネット上に蔓延 する攻撃的・暴力的表現の取り扱いがある. 特に社会的弱者を標的としたいわゆる「へイトスピーチ」 は世界的な問題となっており，差別や暴動すらを煽動するこうした表現への対応が求められている.へ イトスピーチには排外主義的なものも多く存在する が，特にコロナ禍において，排外主義に対する懸念 が多くの組織や識者により表明されている ${ }^{1)}$.

ヘイトスピーチをどのように検出すればよいの かといった課題に取り組むため, 現在までに多数の 暴言やへイトスピーチに関するデータセットが多様な言語及びメディア資源を基にして構築されて きた. 例えば，英語だけでなく，ドイツ語，イタリ ア語 [1], ロシア語 [2], タイ語 [3], インドネシア 語 [4] などのデータセットがある. 本研究では, 日本語のヘイトスピーチのデータセットの構築に取り 組んだ。

大規模にへイトスピーチのデータセットを構築 するためには, クラウドソーシングの活用など非専門家によるアノテーションが想定される。しかし,「ヘイト (スピーチ)」という言葉は個々人による見解が一致しないと想定され [5], 厳密な定義は不可能 だという指摘もある [6]. そのため, SNS 上の投稿 のような, 発言の対象が曖昧であり複雑な様相を呈 すデータの分類に際しては, アノテーターの主観的 な判断に委ねる要素を極力減らすことが望ましい。

本研究の貢献は以下の通りである。まず, 日本語 におけるへイトスピーチのデータセット作成に向 けて，発言が話題にしている対象者とその対象者に

対する攻撃性の種類を判断させるような手続き的 な暴言分類のアノテーションガイドラインを設計 した。特に日本独自の歴史・地域性を踏まえたへイ トスピーチ理解と, 人文社会科学におけるへイトス ピーチに関する理論的知見に依拠したアノテーショ ンガイドラインを設計した。さらに SNS 上のへイ トスピーチの候補となるツイートを収集し，クラウ ドソーシングを用いたアノテーションを試験的に実施し, 得られたデータセットの特徴を考察した.

## 2 関連研究

ヘイトスピーチやその他ネット上の有害表現を もとにしたデータセット作成が急速に進められて いる. 言語の種類, データの収集方法, データのア ノテーション手法・ラベルの種類どれも多様であ る2). 他の法的概念と同様，「ヘイトスピーチ」に世界共通の定義があるわけではなく, 各研究者が独自 にラベルを規定して，試行錯誤を通じてアノテー ション手法を検討している段階だと言える。例え ば [8] は社会学における批判的人種理論の枠組みを 利用し, 「人種差別的」(racist) もしくは「性差別的」 (sexist) というラベルをツイートに付与した。「憎悪的」(hateful) や「攻撃的」(offensive) といったラベル を何らかの形で特徴付け, アノテーターに直接的に 判断させる事例も多い $[9,10,11]$. 既存のアノテー ション手法の限界として, 黒人英語をより攻撃的な ものと分類している, という人種差別的バイアスの 存在も指摘されている [5]. 多言語を使用してデー タセットを構築することにより, 南アジアでの女性荗視的傾向の高さを測定したといった [12], 地域性 を考慮した研究も増加している. 本研究も, 日本国内における排外主義（移民や外国人，在日コリアン

2）例えば [7, Table 2]を参照されたい

など「日本人」以外を排斥しようとするもの）に焦点を当てた，地域性を持つものと言える。

より精度の高いアノテーションを目指して，ラベ ル設定の精緻化やタスクの分散化が図られている.攻撃対象, 攻撃内容やその程度などを細分化すると いった手法が採用されている。例えば，ヘイトス ピーチの根拠となる属性として, 人種・性別・障が いといったラベルを付与させるといったものであ る $[4,13,14,15]$. 本研究も, 以下で見るように攻撃対象と攻撃内容を分けて細目化したアノテーション 方法を提案している.

日本語を対象とした類似研究として特にネットい じめ (cyberbullying) の文脈における有害情報検出の 手法を検討したものが多く存在する $[16,17,18,19]$.本研究は, 個人だけでなく特定属性の集団を標的と した排外主義的なへイトスピーチに焦点を当て, 有害な書き込みを別の角度から検討している。

コロナ禍における反アジアのへイトスピーチにつ いて, 英語ツイートのデータセットが作成されてい る. COVID-19 のキーワードが含まれるツイートの うち, 個人またはアジアの人々, 組織, 国, または 政府のグループに向けられたへイトスピーチ, 反へ イト, 中立の 3 種類の分類 $[20]$ 及び敵意や糾弾, 力 ウンタースピーチなどの分類 [21] がアノテーション されている. 本研究も同様にコロナ禍を考慮してい るが，特に日本における排外主義的へイトスピーチ に着目した分類を行っている。

## 3 構築手法

## 3.1 検索語リスト作成

日本語のツイートを対象に, 排外主義的ツイート の収集を目的として検索語を合計 12 件選定した。検索語には, 日本で特に顕著に見られる在日コリア ン及び中国人に関連する差別語（例えば「在日」や 「シナ」）と, 差別語に対応する中立的な語（例えば 「韓国人」や「中国」)，コロナ禍における排外主義的 な言動を収集するために「反日」や「売国」といっ た語を含めた。

## 3.2 データ収集

日本語のツイートを Twitter Search API を用い収集 した。COVID-19関係の暴言ツィート候補について は, 上記の検索語と, 一般的に COVID-19 関係の話題に含まれるキーワードである「コロナ」を AND検索して収集した。また，COVID-19 以外の暴言ツ イート候補については，上記の検索語から「コロ ナ」を除外して検索し収集した。なお，今回収集し た COVID-19 関係の暴言ツイート候補は全て目視で COVID-19関連であることを確認した。検索におい ては URL や画像・動画を含むもの, リツイートを除外した。検索は 2020/12/1-2020/12/9 の期間の日本時間の各日に, 各検索語の組に対して上限 100 ツィー トまでランダム選択で収集した。さらに各検索語か ら期間中に収集されたツイートに対し，それぞれ 5 から 23 件を乱択しデータセットを作成した。

## 3.3 ガイドライン設計

ヘイトスピーチに関する人文社会科学分野の研究蓄積からも「へイト（スピーチ）」概念の定義につい ては一致を見せておらず，なおのこと非専門家アノ テーターに対して同概念の適用に関する判断を求め ることは困難である．そのため, 本研究ではこうし た概念を使用せず，その典型的な特徴である「集団 に対する攻撃」という側面に基づいて，より負荷の 少ない判断を求める方法をとった. 具体的には，ラ ベルを攻撃対象 (A) と攻撃内容 (B) に分け, 各々を 細分化したガイドラインを設計した. ラベル A のカ テゴリはツイートが話題にしている対象者の分類で ある. ラベル B のカテゴリは $\mathrm{A}$ で選択された対象者に対する攻撃の種類の分類である。また，[22] の 分類を参考に，文として成立しておらず意味が取れ ないもの, 広告のみのもの, フィクションについて のツイートなどは分類の対象外となるラベル C とし た。アノテーターには各対象ツイートの本文につい て A，B 各カテゴリから 1 つ以上の該当ラベルを選択するか， $\mathrm{C}$ を選択するよう指示した.ツイート内容に複数の主張が含まれるケースを考慮し, A と B それぞれのラベルについて複数選択可能にした。

ガイドラインには，簡単な説明と短い例文を添え たラベル及び，アノテーションについての補足説明 とラベル付けの具体例を記載した。また，ある表現 が差別語にあたるかどうかの判断は個々の知識に依存するため, 今回は「中国ウイルス」や「在日特権」 などを含む 27 項目の差別語からなるリストを作成 し, アノテーターが参照できるよう配慮した。

表 1 にアノテーションに用いたラベルの概要を 示す. A1 は人種やセクシャリティなどに基づくグ ループ，A2 はそれに限らない職業や思想などで定義されるグループとし， A3 は著名人や知人等であ
表 1 ラベルの概要.

## カテゴリ A 対象

A1容易に変更できないヒトの属性に もとづくグループ

A2 A1には当てはまらない何らかのグ ループ

A3 個人

A4 対象がはっきりしないもの

カテゴリ B 攻撃タイプ

B1コミュニティや地域からの排除を 告知・扇動する

B2 生命を脅かす，精神的・身体的な 危害を加える，名誉を傷つけるな どのことを告知・扇動する

B3 口污くののしる，侮辱する

B4不確かな根拠にもとづいた情報を 言いふらす，拡散させる

B5

B1-B4 のどれにも当てはまらず，攻撃的でない

る. B1 と B2 は，日本のいわゆる「ヘイトスピーチ 解消法」の施行に伴う啓発活動において用いられ たへイトスピーチの例示 ${ }^{3}$ ， 及び川崎市のヘイトス ピーチ禁止条例解釈指針4)を参考に作成した．B3に 該当するのは，例えば「ゴキブリ以下」など侮荗的 なことを言い誰かをおとしめる行為である．B4 に 該当するのは，例えば「○○人が暴動を起こしてい る」など事実関係が不明なことを言いふらす・拡散 させるなどして誰かをおとしめる行為である.

補足説明では, 差別語や「バカ」や「チビ」といっ た不快語がツイートに含まれていることだけを根拠 としてそのツイートを攻撃的だと判断しないよう指示した。また, 「政権太郎は議員を辞めるべきであ る」といった内容を含むツイートはある意味で特定 のコミュニティから個人を排除するよう主張するも のだが，批判・論評の範囲に収まる内容の場合には 攻撃的と判断しないよう指示した. A1 かつ B1，ま たは A1 かつ B2 のツイートが明確なヘイトスピー チの事例と考えられる．A1 かつ B3，または A1 か つ B4 のツイートは保護の対象となるグループに対 する攻撃的な内容を有し，法規制の対象外ではある ものの少なくともその一部には広義のヘイトスピー チに該当するものが含まれていると考えられる.

3) http://www.moj.go.jp/JINKEN/jinken04_00108.html

4) https://www.city.kawasaki.jp/templates/press/cmsfiles/contents /0000115/115983/0316houdou.pdf

## 3.4 アノテーション

本研究ではクラウドソーシングプラットフォー ムであるランサーズ5)を通じてアノテーションを実施した。アノテーターは日本語のネイティブスピー カー 3 名とした. アノテーターは最初にガイドライ ンの読み込み及び 10 問のアノテーションテストを 全問正解するまで繰り返し実施し，ガイドラインを 十分理解するようにした。その後アノテーターはツ イートのアノテーションを実施した。多数決によっ て 2 人以上一致したアノテーションを各ツイートの ラベルとした。

## 4 データセットの概要

キーワード「コロナ」を含むツイート 230 件，含 まないツイート 270 件のデータセットが得られた。 それぞれ CALD (COVID-19-related abusive language dataset), NALD (non-COVID-related abusive language dataset) とする. B1〜B4 の少なくとも一つのラ ベル（攻撃的ラベル）を得たデータは，CALD が

判定される B5 のラベルを得たデータは，CALDが 41.3\%，NALD が 50\%であった. 各データセットに おける各ラベルの総数を表 2 に示す.

クラウドワーカー 3 人のアノテーションの一致度 は, 全体で CALD で 0.83 , NALD で 0.80 であった。 ラベルがつかなかったケースは, CALDで 15 件, NALD で 17 件あった。他の方法はアノテーション の前に候補ツイートのスクリーニング [4] などを利用しているが，本研究ではラベルなしの割合が $10 \%$以下となるため，ワーカーによる判断のゆらぎはあ る程度抑えられたと考えられる。

## 5 分析 $\cdot$ 考察

差別語を含むが無害な事例 3.3 節で述べたよう に，アノテーターには差別語が含まれていることだ けを理由に攻撃的なツイートと判断しないよう指示 した. その結果, 差別語が含まれる発言を引用しそ の発言を非難するといったカウンタースピーチにあ たる事例や，差別語が含まれているが誰かをおとし める目的のない事例が B5 に分類されていた.

CALD と NALD の比較 CALD と NALD との比較 を通じて，以下の仮説を得ることができた。まず，同期間で明らかなへイトスピーチに該当する A1

5) https://www.lancers.jp/
表 2 データセットのラベル数及びアノテーション一致度.

と B1，または A1と B2 の組み合わせの出現率は, CALD で $5.7 \%$, NALD で $2.2 \%$ といずれも低水準で あり, 有意な差はみられなかった. 他方, 罵倒や侮辱などの暴言を指す B3 と $\mathrm{A} 1$ との組み合わせでは, NALD がやや多かった（CALD で 22.6\%，NALD で $24.8 \%$ ）.またフェイクニュースやデマに相当する B4 と A1 との組み合わせでは, CALD が顕著に多 かった（CALDで 30.4\%, NALDで $23.3 \%$ ).これよ り, COVID-19 の流行にかこつけた暴言に関しては,明らかなへイトスピーチや罵倒・侮聋的発言より も, まことしやかなデマ, フェイクニュースの形を とりがちである，という仮説が提出できる。これは 今後の計量的な検証が必要なものの, 今回のアノ テーション方式を通じて可能になった示唆である.

アノテーションが摇れた事例 ラベルがつかな かったツイートについては, 専門家かどうかに関 わらず判断の難しい事例が多数見られた。例えば,「○○人の友人がいますが, 表面的に付き合う分に はいいが社会的に付き合うなら警戒感が欠かせま せん」というツイートは，「黒人の友達がいる」論法 6) の典型的な事例だが，この内容だけでは当のツ イートが暴言かどうかを判断するのは難しい。この ツイートは特定の人種に対する何らかの偏見に基づ いており，ある種の有害さを含んでいると考えられ るが，B1 やB2 に該当しないのはもちろんのこと，明確な侮辱でもなければ, 具体的なデマや偏見を拡散させるものでもない.

個人差がある事例 他国の政権や政党に言及した ものや在日米軍などの他国の組織への言及があるツ イートについて，A2 だけをアノテーションする者 と, A1 と A2 の両方にアノテーションする者に分 かれる場合があった。例えば「中国さん」というフ レーズを含むツイートは中国政府だけでなく中国人 あるいは一般に中国に向けられたものと考えられる が，中国政府だけを標的とした攻撃的ツイートとし て A2 のみアノテーションされた場合があった。

6）被差別者の友人や知人がいることを前置きし，自身が差別主義者でないことを主張ないしは示唆すること. 差別主義者 の常套句として知られる.

## 6 おわりに

本研究のアノテーション設計は，「ヘイトスピー チ」のような高負荷な概念に頼ることなく, 非専門家アノテーターによる一定水準の検出を可能にする ものであった。とりわけガイドラインは，オンライ ン上の暴言・ヘイトスピーチについて，きめ細かな 把握が可能である.これらはへイトスピーチに関す る人文社会科学の知見を生かしつつ，またそれらの 分野から提出される仮説の検証と社会実装につなが るデータセットの構築という学際的研究の進展に貢献するものである.

今後の課題として以下がある.まず，本研究は現段階ではアノテーション済みデータの総数が小さ く, 定量的な判断や仮説検証は難しい。同様に，ア ノテーター数が少ないために, 現段階では偏りやバ イアスの可能性を排除できない。今後，アノテー ター数を増やしガイドラインを改良することによっ て, 5 章で紹介したようなアノテーションの摇れや 個人差の問題を解消できる可能性がある.

さらに，データセット構築の先に望まれる社会実装に向けた分野横断的な課題がある。言語処理の観点では，今回のアノテーションで $\mathrm{C} に$ 分類されたノ イズを事前に除去したり，B5 のような検索語を含 むが非攻撃的なタイプのツイートを識別することな どの自動化を試みることが期待される．他方，人文社会科学の観点では，とりわけ国内法におけるへイ トスピーチ検出に向けて，現ガイドラインでは区別 できないB3（罵倒表現）やB4（フェイクニュース， デマ）の悪さの「程度」について一定の判定を可能 にするための理論的検討や，それに基づいたガイド ライン整備などが求められる.

謝辞. 本研究の一部は JST さきがけ JPMJPR1752, JSPS 科研費 18K12194, JP20K19868, T19K230050, 2020 年度南山大学パッへ研究奨励金 I-A-2 の助成を受けたものである。

## 参考文献

[1] Fabio Del Vigna, Andrea Cimino, Felice Dell'Orletta, Marinella Petrocchi, and Maurizio Tesconi. Hate me, hate me not: Hate speech detection on Facebook. In Proceedings of the First Italian Conference on Cybersecurity (ITASEC17), pp. 86-95, 2017.

[2] Nadezhda Zueva, Madina Kabirova, and Pavel Kalaidin. Reducing unintended identity bias in Russian hate speech detection. In Proceedings of the Fourth Workshop on Online Abuse and Harms, pp. 65-69, 2020.

[3] Suppawong Tuarob and Jarernsri Mitrpanont. Automatic discovery of abusive thai language usages in social networks. In International Conference on Asian Digital Libraries, pp. 267-278, 2017.

[4] Muhammad Okky Ibrohim and Indra Budi. Multi-label hate speech and abusive language detection in Indonesian Twitter. In Proceedings of the Third Workshop on Abusive Language Online, pp. 46-57, 2019.

[5] Thomas Davidson, Debasmita Bhattacharya, and Ingmar Weber. Racial bias in hate speech and abusive language detection datasets. In Proceedings of the Third Workshop on Abusive Language Online, pp. 25-35, 2019.

[6] Alexander Brown. What is hate speech? part 1: The myth of hate. Law and Philosophy, Vol. 36, pp. 419-468, 2017.

[7] Sai Saket Aluru, Binny Mathew, Punyajoy Saha, and Animesh Mukherjee. Deep learning models for multilingual hate speech detection. arXiv:2004.06465, 2020.

[8] Zeerak Waseem and Dirk Hovy. Hateful symbols or hateful people? predictive features for hate speech detection on Twitter. In Proceedings of the NAACL student research workshop, pp. 88-93, 2016.

[9] Chikashi Nobata, Joel Tetreault, Achint Thomas, Yashar Mehdad, and Yi Chang. Abusive language detection in online user content. In Proceedings of the 25th international conference on world wide web, pp. 145-153, 2016.

[10] Thomas Davidson, Dana Warmsley, Michael Macy, and Ingmar Weber. Automated hate speech detection and the problem of offensive language. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11, 2017.

[11] Antigoni Founta, Constantinos Djouvas, Despoina Chatzakou, Ilias Leontiadis, Jeremy Blackburn, Gianluca Stringhini, Athena Vakali, Michael Sirivianos, and Nicolas Kourtellis. Large scale crowdsourcing and characterization of Twitter abusive behavior. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 12, 2018.

[12] Shiladitya Bhattacharya, Siddharth Singh, Ritesh Kumar, Akanksha Bansal, Akash Bhagat, Yogesh Dawer, Bornini Lahiri, and Atul Kr. Ojha. Developing a multilingual annotated corpus of misogyny and aggression. In Proceedings of the Second Workshop on Trolling, Aggression and Cyberbullying, pp. 158-168, 2020.

[13] Paula Fortuna, João Rocha da Silva, Juan Soler-Company, Leo Wanner, and Sérgio Nunes. A hierarchically-labeled Portuguese hate speech dataset. In Proceedings of the Third Workshop on Abusive Language Online, pp. 94-104,
2019.

[14] Binny Mathew, Punyajoy Saha, Seid Muhie Yimam, Chris Biemann, Pawan Goyal, and Animesh Mukherjee. Hatexplain: A benchmark dataset for explainable hate speech detection. arXiv:2012.10289, 2020.

[15] Nedjma Ousidhoum, Zizheng Lin, Hongming Zhang, Yangqiu Song, and Dit-Yan Yeung. Multilingual and multiaspect hate speech analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4675-4684, 2019.

[16] 松葉達明, 桝井文人, 河合敦夫, 井須尚紀. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 言語処理学会第 17 回年次大会発表論文集, pp. 388-391, 2011.

[17]新田大征, 桝井文人, Ptaszynski Michal, 木村泰知, Rzepka Rafal, 荒木健治. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 人工知能学会全国大会論文集, Vol. JSAI2013, pp. 2039-2039, 2013

[18] Michal Ptaszynski, Fumito Masui, Taisei Nitta, Suzuha Hatakeyama, Yasutomo Kimura, Rafal Rzepka, and Kenji Araki. Sustainable cyberbullying detection with categorymaximized relevance of harmful phrases and doublefiltered automatic optimization. International Journal of Child-Computer Interaction, Vol. 8, pp. 15 - 30, 2016.

[19] Michal E Ptaszynski and Fumito Masui. Automatic Cyberbullying Detection: Emerging Research and Opportunities: Emerging Research and Opportunities. IGI Global, 2018.

[20] Caleb Ziems, Bing He, Sandeep Soni, and Srijan Kumar. Racism is a virus: Anti-Asian hate and counterhate in social media during the COVID-19 crisis. arXiv:2005.12423, 2020.

[21] Bertie Vidgen, Scott Hale, Ella Guest, Helen Margetts, David Broniatowski, Zeerak Waseem, Austin Botelho, Matthew Hall, and Rebekah Tromble. Detecting East Asian prejudice on social media. In Proceedings of the Fourth Workshop on Online Abuse and Harms, 2020.

[22] Ona de Gibert, Naiara Perez, Aitor García-Pablos, and Montse Cuadros. Hate speech dataset from a white supremacy forum. In Proceedings of the 2nd Workshop on Abusive Language Online (ALW2), pp. 11-20. Association for Computational Linguistics, 2018.


# Wikipedia からの意外な恩恵事例の抽出

尾崎立一 橋本力* 村脇有吾 $\quad$ 黒橋禎夫ま 竬々野学 $\S$
京都大学大学院情報学研究科 *\$ヤフー株式会社
\{ozaki, murawaki,kuro\}@nlp.ist.i.kyoto-u.ac.jp msassano@yahoo-corp.jp

## 1 はじめに

現代社会は地球規模での相互依存性の深化ととも に複雑さが増し続けている. それにともない, リー マンショックや新型コロナウィルスの世界的流行 のような予測困難な事態が発生し，それが社会に 重大な影響を与えることがある。その一方で，そ のようなネガティブな事態によって，意外なポジ ティブな事態が生まれることもある．新型コロナ ウィルスが旧来のシステムの問題点を明らかにし， デジタル化・オンライン化推進の契機になるよう な例である。このような意外な恩恵を含めて俯瞰的に問題を捉えることは重要であり，千載一遇の チャンスを掴む可能性を高めることにもなる.

そこで本研究は，意外な恩恵の事例を大規模テキ ストから自動抽出することを目的とする．大規模テ キストとして Wikipedia 記事群を用いる. Wikipedia は百科事典であり，様々な事物を広範に扱ってい ること，また多くの人々が編集に参加し内容を精査 しているため, 情報の信憑性も高いと考えられるこ とがその理由である. 対象言語は英語である．以下 に本研究で対象とする，意外な恩恵の例を挙げる。

Smoking reduces the risk of Parkinson's disease.

健康にとって有害だと広く知られている喫煙に，実 はパーキンソン病のリスクを減らしうること1) が 述べられている。この例が示す通り, 本研究にお ける意外な恩恵は，専門家を含む一部の人々には 既知でもその他大勢の人々にとっては意外と感じ られる恩恵のことである.

提案手法の基本的なアイデアは次の通りである: ネガティブなものと広く知られているエンティティ を何らかの恩恵をもたらすものとして述べている 文は，その意外な恩恵を述べている可能性が高い.上述の Smoking の例は, 健康にとって有害である点 でネガティブといえる喫煙を，パーキンソン病リ スク低減の恩恵をもたらすものとして述べている。 reduces the risk of Parkinson's disease のような恩恵を

図 1 提案手法の全体像

述べている箇所をポジティブ説明，ネガティブな ものと広く知られているエンティティをネガティ ブエンティティと呼ぶことにすると，上記アイデ アを次のように言い換えることができる: ネガティ ブエンティティについてのポジティブ説明を述べ ている文は，その意外な恩恵を述べている可能性 が高い。このアイデアを実現するには，ネガティ ブエンティティとポジティブ説明を自動認識する 方法が必要である．2 節で詳述する.

英語 Wikipedia 全体からランダムに抽出した 300 文を調べたところ意外な恩恵を述べている文は 1 文 も無かった。これは本タスクの難易度が非常に高い ことを示している。一方, 提案手法は英語 Wikipedia 全体から意外な恩恵の事例を 40 件自動抽出できた.改善の余地は大きいが，意外な恩恵の割合がそも そも非常に低いため，全数チェック等のナイーブ な手法と比べ，はるかに効率的に意外な恩恵の事例を抽出できる．実験については 4 節で述べる.

## 2 提案手法

図 1 に示す通り，提案手法は, Wikipedia からネ ガティブエンティティを抽出し，次に，それが主題となっている文を抽出する。 最後に, 分類器に よって，ネガティブエンティティのポジティブ説明を述べているものだけを残す。

## 2.1 ネガティブエンティティ抽出

本研究におけるネガティブエンティティは, 病気 や災害，事故，不況，テロ，戦争等の不運，不幸な

図 2 Cancer (左) と Flood のセクション群

事物，またはそれらの原因となりうる事物を指す。

英語の Wikipedia 記事として取り上げられてい る（記事タイトルとなっている）エンティティのう ち，記事中に Cause または Causes というセクショ ンが設けられているものは, Cancer, Flood, Traffic collision, Great Depression 等2) ネガティブエンティ ティである場合が多い. これは，何らかの不運，不幸につながりうる，または実際そうなった事物に ついて百科事典に記述する際は，その原因が重要 な記載項目と見なされるからだと推測される. 図 2 亿 Cancer と Flood の記事のセクション群を示す.

以上の観察結果に基づき，提案手法はCause, Causes セクションを持つ記事のタイトルをネガティ ブエンティティとして抽出する.

## 2.2 文抽出

抽出したネガティブエンティティが主題の文を 意外な恩恵事例の候補（2.3 節で述べる分類器への 入力）として Wikipedia から抽出する. ネガティブ エンティティが主題である文に限定するのは，単 に当該エンティティを含む文だと，その説明がポ ジティブであれネガティブであれ，そもそも極性 が当該エンティティに関するものではない可能性 があるからである.

ここで問題になるのはいかにして文の主題を認識するかである．提案手法は，Wikipedia 記事中の 当該記事のタイトルを含む文はそのタイトルを主題とした文である可能性が高い，という仮説のも と，ネガティブエンティティがタイトルである記事から，そのタイトルを含む文を抽出する。例え ば，タイトルが Flood の記事から文字列 Flood/flood を含む文を抽出する。

加えて，意外な恩恵事例抽出の精度を上げるべ く, 文の抽出元を, Benefit, Advantage, Positive のい ずれかの文字列をセクション名に含むセクション のみに限定する。 つまり，提案手法は，ネガティブ エンティティがタイトルである記事の中の, Benefits やAdvantages, Positive Effects といったポジティブな

## Benefits

Floods (in particular more frequent or smaller floods) can also bring many benefits, such as recharging ground water, making soil more fertile and increasing nutrients in some soils. Flood waters provide much needed water resources in arid and semi-arid regions where precipitation can be very unevenly distributed throughout the year and kills pests in the farming land. Freshwater floods particularly play an important role in maintaining ecosystems in river corridor and are a key factor in maintaining floodplain biodiversity. ${ }^{[22]}$ Flooding can spread nutrients to lakes and rivers, which can lead to increased biomass and improved fisheries for a few years. For some fish species, an inundated floodplain may form a highly suitable location for spawning with few predators and enhanced levels of nutrients or food. ${ }^{[23]}$ Fish, such as the weather fish, make use of floods in order to reach new habitats. Bird populations may also profit from the boost in food production caused by flooding. $[24]$

Periodic flooding was essential to the well-being of ancient communities along the TigrisEuphrates Rivers, the Nile River, the Indus River, the Ganges and the Yellow River among others The viability of hydropower, a renewable source of energy, is also higher in flood prone regions.

図 3 Flood の Benefits セクション

内容が書かれている可能性が高いセクションから のみ文を抽出する．ネガティブエンティティに関 する記事の一部でありながらポジティブな内容が 書かれているセクションは少数ながら存在する. 例 えば図 2 右にあるように, Flood はネガティブエン ティティでありながら，その記事には Benefits セク ションが含まれている。図 3 に示す通り，そうし たセクションにはネガティブエンティティのポジ ティブな側面が書かれる傾向がある。一方で，そ うしたセクションにある文全てが意外な恩恵を述 べているわけではない. そこで 2.3 節で述べる分類器により，抽出した文を意外な恩恵を述べている 可能性の高いものとそれ以外に分類する.

## 2.3 分類器

提案手法の分類器は，抽出された 1 文を入力とし て受け取り，そのうちのネガティブエンティティ以外の箇所，つまりネガティブエンティティの説明が ポジティブである可能性を示すスコアを出力する.具体的には，ネガティブエンティティを<ENT>と いう記号に置換した文を受け取り，0から 1 の間の スコアを出力する.

分類器は, BERT $^{3}$ ) と, 1 層の feed-forward network から成る. 大力文はトークン列に分割され，先頭 に [CLS]トークン, 末尾に [SEP] トークンが連結さ れる. BERT の最終層の [CLS] トークンに対応する embedding を feed-forward network に入力しスコアを 得る.

## 3 分類器の学習

分類器の学習データは次の通りに構築した。ま ず，英語 Wikipedia（2019 年 1 月 7 日版）全体か ら，粗いフィルタリングとして，セクション名に Advantage,Benefit などのポジティブなキーワードを 含むセクションの文のみを残す。次に，それらの 中から，何らかの事柄のポジティブな面について 述べている文を人手で見つけ，ポジティブ説明と する. 非ポジティブ説明については，上記以外の

3) https://huggingface.co/bert-base-cased

図 4 提案手法で抽出したネガティブエンティティの例

セクション中から，何らかの事柄のネガティブな 面，またはポジティブでもネガティブでもない面 について述べた文を人手で見つけた。最終的に 585 文からなる学習データができた。 そのうち, 266 文 がポジティブ説明である.

上記データを用いて分類器を学習した. Epoch 数 は 500, Loss 関数は Cross Entropy, 最適化には AdamW を用いた。

## 4 評価実験

提案手法により意外な恩恵候補文抽出し，分類器によりランキングした. その評価結果と抽出で きた事例について述べる。

## 4.1 ネガティブエンティティ・意外な恩恵候補文の抽出

提案手法により，英語 Wikipedia から 6042 件の ネガティブエンティティを抽出した. 50 件をラン ダムに抽出して調査したところ 42 件が実際にネガ ティブエンティティと言えるものだった. 図 4 に 抽出したネガティブエンティティを例示する。 病気 や災害，事故，経済的困難，戦争等幅広いネガティ ブエンティティが抽出できた。

次に。提案手法を用いて実際に英語 Wikipedia か ら意外な恩恵事例の候補文を抽出した. その結果， Wikipedia 全体から 112 文を抽出した.

## 4.2 ベースライン手法

ベースラインとして, Wikipedia 全体からランダ ムに 300 文を抽出する方法を選んだ。これが最も シンプルな手法であること，意外な恩恵事例抽出 の先行研究が著者らの知る限り存在しないこと， Wikipedia 全体に占める意外な恩恵事例の割合を推定したかったことがその理由である4).

## 4.3 評価方法

抽出した事例の適合率と抽出数を評価する。正解判定は著者のうち 2 名が別々に行う. 判定作業

図 5 提案手法のランクごとの適合率

では，Yes（抽出した文は意外な恩恵事例である）， No（そうした事例ではない），？（判断に迷う）の 3 つのラベルのいずれかを付与する形で行う．次の 基準のいずれかで両者の判定をとりまとめ，最終的な判定とする。

1. 両者とも Yes としたものだけを正解とする.

2. 一人でも Yes としたものを正解とする.

3. 両者とも Yes か？としたものを正解とする.

4. 一人でも Yes か? としたものを正解とする.

公正さを担保するため，判定作業に先立ち，提案手法とベースラインの出力を 1 つにまとめ，シャッ フルし，どの文がどの手法の出力かわからないよ うにする。

両者の判定の Cohen's kappa の値は 0.65 (substantial agreement) だった.

## 4.4 評価結果

実験の結果，ベースラインの抽出数と適合率は ともに 0 ，つまりその出力 300 件はいずれも意外 な恩恵事例とは言えないものだった. そのため, Wikipedia 全体に占める意外な恩恵事例の割合は推定できなかった. この点は今後の課題としたい.

提案手法の抽出数（スコア上位 $k$ 件）とその適合率をプロットしたグラフを図 5 に挙げる。凡例の $\mathrm{C} 1$ から C4 は 4.3 節の基準 1 から 4 に対応する. 条件 C4 では適合率 $80 \%$ 以上で 16 件の意外な恩恵事例を抽出した. Wikipedia 全体から抽出した事例候補全 112 件中 40 件が意外な恩恵事例と言えるものだった.

表 1 に提案手法の抽出結果の例を挙げる. 誤りの 要因は (1) ネガティブエンティティ抽出の誤り，つ まり Cause/Causes セクションのある記事のタイトル だがネガティブとは言えないエンティティを誤って 抽出した場合 (表 1 の Rank 79 位)，(2) 文抽出の誤り， つまり, Gram positive bacteremia 等のように, Benefit, Advantage，Positive のいずれかを含むセクションタ イトルのセクションではあるが，当該エンティティ に関するポジティブな内容ではないセクションから 文抽出した場合 (Rank 85 位)，(3) 分類器の誤り，つ まり当該エンティティの説明を誤ってポジティブと

 \\

表 1 提案手法の抽出結果の例: ランク，判定者 2 名の判定，ネガティブエンティティ，抽出された文

判定した場合（87 位）の大きく3つに分類できる.

(1) ネガティブエンティティ抽出は, CauselCauses セクションの有無という非常にナイーブな手がか りのみに基づいているが，そうした手がかりを利用して学習データを効率的に収集し, 教師あり学習を用いることで精度向上が期待できる。(2) 文抽出も同様に，ポジティブな内容が書かれているセ クションのタイトルかどうかの判定に教師あり学習を導入することで改善が期待できる. (3) 現状の 分類器は 585 件のわずかなデータで学習されたも のであり，学習データの拡充による精度向上の余地は大きいと考えられる。

## 5 関連研究

本研究は，不確実な未来に備えるための，あま り知られていない因果関係知識の獲得の研究と見 なすことができ，未来シナリオ予測 $[2,4]$, 因果関係知識獲得 $[3,1]$, トリビア知識獲得 [5] の 3 つが 関連の深い領域となる.

未来シナリオ予測は，将来起こりうる重大な事態をその可能性がいかに低くても事前に把握する， という目的のもと，起こりうる未来のシナリオを 予測，生成する研究である. 因果関係知識獲得は,原因と結果を表すテキストを獲得する研究であり， その獲得結果は未来シナリオを自動生成する際に 用いられることがある. こうした過去の研究と本研究の大きな違いは，意外な結末にフォーカスし， その自動抽出技術を開発したことにある. 従来の未来シナリオ予測でも意外な結末を対象にしてはいた が，それは人手によるところが大きい。一方従来の 因果関係知識獲得は常識的知識を対象としており，意外なものをシステマティックに獲得することは困難だった. トリビア知識獲得は，オバマ元大統領の グラミー賞受賞等, あまり知られていない意外な事実を自動獲得する研究である. しかし，意外な結末 に関する事実を獲得する研究はこれまでなかった。

これまでになかった意外な恩恵事例抽出を可能に したのは，1節で述べた，ネガティブエンティティの ポジティブ説明を述べている文は，その意外な恩恵
を述べている可能性が高い, というアイデアである.

## 6 おわりに

本研究では意外な恩恵の事例を自動抽出する手法を提案した. 精度, 抽出数ともに改善の余地は 大きいが，4.4 節で述べた通り，機械学習の導入や 学習データの拡充で精度向上が大いに期待できる。

今後の方向性として意外な落とし穴事例抽出が 挙げられる．つまり，善意の施策やサービス等が何 らかの不運，不幸な結末につながる事例の抽出であ り，例えば，食糧増産のための政策が逆に大飢饉に つながった毛沢東による大躍進政策が挙げられる。

また，本研究では対象を Wikipedia に限定したが， Wikipedia 以外への拡張も今後の課題である. 具体的には，作成したネガティブエンティティのリス トと説明分類器を新聞記事，ブログ，SNS 等に適応し，意外な恩恵の文を抽出する．その際，提案手法では Wkipedia の記事タイトルとセクション名を 利用したが，そのような Wikipedia 特有の構造が利用できない点が問題となる.

## 参考文献

[1] Chikara Hashimoto. Weakly supervised multilingual causality extraction from Wikipedia. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2988-2999, 2019.

[2] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 987-997, 2014.

[3] Canasai Kruengkrai, Kentaro Torisawa, Chikara Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence (AAAI), pp. 3466-3473, 2017.

[4] Kira Radinsky, Sagie Davidovich, and Shaul Markovitch. Learning causality for news events prediction. In Proceed-
ings of the 2012 World Wide Web Conference (WWW), pp. 909-918, 2012.

[5] David Tsurel, Dan Pelleg, Ido Guy, and Dafna Shahaf. Fun facts: Automatic trivia fact extraction from wikipedia. In Proceedings of the Tenth ACM International Conference on Web Search and Data Mining (WSDM), pp. 345-354, 2017.


# Detection of Lexical Semantic Changes in Twitter Using Character and Word Embeddings

Yihong Liu
Graduate School of Comprehensive
Human Sciences,
University of Tsukuba
s2021716@s.tsukuba.ac.jp
}

Yohei Seki
Faculty of Library, Information
and Media Science,
University of Tsukuba
yohei@slis.tsukuba.ac.jp

## 1 Introduction

The prosperity of social media platforms on the Internet, such as Twitter, allow users from different countries, even different races and languages, to communicate with each other. Such huge diversity has given rise to the semantic changes of words on the Internet, namely, internet slang words. Numerous internet slang words which changed (New Semantic Word) or newly created (New Blend Word) by the users keep flooding into social media platforms which would quickly become popular and widely been used and affect our daily life than ever. However, semantic meaning Internet slang words could not be collected into the dictionary as well as a corpus in time, which is essential for people or machines to understand them.

Considerable progress has been made in English internet slang words. However, only few works focus on processing Japanese internet slang words [9], and word embeddings methods use only the word as the basic unit and learn embeddings according to the external context of the word, which only contains limited word-level contextual information.

Our proposed method is to combine the character and word embeddings using word2 vec and ELMo, respectively. Then we use combination of obtained token representations as the input of the Language Models to detect whether the word in the context is an internet slang word or not.

As there are no public Japanese slang words dataset available, we constructed an internet slang word dataset which contains 40 internet slang words and their meanings as an internet slang word. We separated them into two categories: New Semantic Words and New Blend Words with their characteristics manually. The conducted experiment using this dataset shows that our proposed embedding methods performed better than baseline methods significantly, in processing Japanese internet slang words.

The contributions in this paper are summarized as follows: (1) We proposed a dataset with a novel approach which classifies Japanese internet slang words into two categories, "New Semantic Word", and "New Blend Word"; (2) to obtain token representations for Japanese internet slang words effectively, we also proposed a novel embedding method which combines character and word embeddings utilizing word2vec and ELMo respectively; (3) our experimental results revealed that our proposed encoder which encoded richer syntactic and semantic information about words in-context performed better than baseline methods which used word2vec word embeddings.

This paper is organized as follows. In Section 2, we summarize related works to distinguish Japanese non-standard usages with contextual word embeddings and handling OOV (out-of-vocabulary) words in other Languages by character embeddings. Section 3 describes the Japanese internet slang words dataset we constructed from Twitter. In Section 4, we introduce our proposed model to address the aforementioned problems. In Section 5, the details of the conducted experiments are provided. Finally, the conclusion and our future works are given in Section 6

## 2 Related Work

## 2.1 Internet Slang Words

The emergence of Internet slang words is the result of language evolution. Linguistic variation is a core concept of sociolinguistics [1], a new type of language feature, and a manifestation of the popular culture of social networks. In the information transmitted on social media, some internet slang words have the kind of words with different meanings
from the dictionary, and there are also words that are not listed in the general dictionaries. Therefore, based on this feature, this study divided them into two categories, one is a new semantic word with different meanings from those recorded in dictionaries, and the other is a new blend word that is not recorded in general dictionaries.

Although internet slang words are different from standard words in meaning and usage, they have their own fixed collocations. Therefore, considering these between words in the context, we can extract the words used as internet slang due to the contextual difference. Aoki et al. [9] attempted to distinguish the non-standard usage of common words on social media that are the same as the new semantic words in our research by using contextual word embedding.

## 2.2 Character-based Word Embeddings

Character-based word representations are now a standard part of neural architectures for natural language processing. Lample et al. [4] illustrated that character representation can be used to handle OOV (out-of-vocabulary) words in a supervised tagging task. Chen et al. [2] proposed multipleprototype character embeddings to address the issues of character ambiguity and non-compositional words. With the character and word representation, language models will have a more powerful capability of encoding internal contextual information.

## 3 Internet Slang Corpus

In this section, we describe the construction of our dataset in Section 3.1, and our prepossessing on the dataset by separating extracted Japanese internet slang words into two proposed types are described in Section 3.2 and 3.3.

## 3.1 Corpus Construction

Dataset in our experiment is constructed using crawled tweets in Japanese via Twitter API. First, we defined 40 internet slang words, while 20 words belong to New Semantic Word and 20 words belong to New Blend Word. The details of New Semantic Word and New Blend Word are given in Section 3.2 and 3.3, respectively. Then we extracted 30 sentences that contain the internet slang words, while another 30 sentences also contain the same words but used as not internet slang for a comparison. Thirdly, the collected Japanese texts are segmented in two ways,
Table 1 Annotations of Japanese Internet Slang Words New Semantic Word

-Character-level

初/ O 鯖/B-sem の/O 初/O 心/O 者/O に/O

迷/O 惑/O か/O け/O る/Oな/O ! /O

-Word-level

初/ $\mathrm{O}$ 鯖/sem の/ $\mathrm{O}$ 初心者/O に/O

迷惑/Oかける/Oな/O！/O

New Blend Word

-Character-level

そ/B-bln マ/I-bln ? /O 行/O け/O る/O 時/O

言/O っ/O て/O バ/O イ/O ト/O 無/O け/O れ/O

ば/O ワ/Oイ/Oも/O行/Oく/O わ/O

-Word-level

そマ/bln?/O行ける/O 時/O 言っ/O て/O

バイト $/ \mathrm{O}$ 無けれ/O ば/O ワイ/Oも/O 行く/O わ/O

one is to separate the characters based on the characterlevel, and the other is based on the word unit to segment words by Mecab ${ }^{1)}$. Finally, we explain the annotation tags for tokens. For word-level, sem stand for New Semantic Word, bln means New Blend Word, and O(Others) stand for common words. While in character-level, we also add BIO(B-Begin I-Inside O-Others) tagging style to represent the position information of character-based tokens. Examples are given in Table 1.

## 3.2 New Semantic Word

New Semantic Words are often the vocabulary that is originally recorded in the dictionary and used daily. It, however, has new meanings which used widely because of its similarity in pronunciation to other terms, or some iconic popular events, etc. Although this type of vocabulary can be segmented directly, the meaning of the text will be very different because of the change in meaning and even part of speech. Examples are shown in the Table 2,

Table 2 Examples of New Semantic Word

## New Semantic Word

Internet Slang Word: Meaning/ English Translation

-草: 面白い/interesting

-丸い: 無難/safe

-炎上: 批判のコメントが殺到する状態/internet troll

Table 3 Examples of New Blend Word

## New Blend Word

Internet Slang Word: Meaning/ English Translation

-わかりみ: 分かること/understanding

-秃同: 激しく同意/strongly agree

-ふあぼ: お気に入り/favourite

## 3.3 New Blend Word

New Blend Words often borrow foreign words, dialects, numeric elements, and icons. They often combine definitions, homonyms, abbreviations, repetitions, and other word formation methods as well as unconventional grammars [3]. Internet language has achieved the effect of "novelty" through its unconventional nature and non-standard usage in its defining characteristic. An example is given in the Table 3.

## 4 Proposed Encoder Model

We propose an encoder model which combined the character and word embeddings for each token as the token representation. We take them as the input for two layers of biLSTM network, which will be accumulated to the sum according to their respective weights by referring to [5].

Considering the relationships between the word and its characters, the discriminative characters are crucial for distinguishing the slight semantic differences [7]. In terms of the joint embedding model, word embedding can store textual information among words. Adding character representation also provide the semantic information between characters.

The embedding obtained by word $2 \mathrm{vec}$ is fixed, while the ELMo [6] can change it flexibly according to the context. Therefore, using embeddings from word $2 \mathrm{vec}$ which obtain static standard contextual information and accumulating them into ELMo representation can make the semantic distinction based on the context from the dataset.

Following Rei et al. [8], we also uses CRF as the output layer to predict token's tag. In this architecture, the last hidden layer is used to predict confidence scores for the word with each of the possible labels.

## 4.1 Character and Word Embedding

The general structure of our model is given in Fig. 1.

The parameter $w_{j}$ is the word embedding of token $j, N_{j}$

Figure 1 Structure of Our Proposed Model

is the number of characters in this token, $c_{j}^{k}$ is the embedding of the $k$-th character. $x_{j}$ and $y_{j}^{k}$ are joint embeddings for the Word-level unit annotation and Character-level unit annotation, which equations are given as (1) and (2), respectively:

$
\begin{gathered}
x_{j}=w_{j} \oplus \frac{1}{N_{j}} \sum_{k=1}^{N j} c_{j}^{k} \\
y_{j}^{k}=c_{j}^{k} \oplus \frac{w_{j}}{N_{j}}
\end{gathered}
$

## 4.2 ELMo Representation

We also trained the ELMo model introduced by Peter et al. [6] with the same Japanese Wikipedia Dataset, whereby all of the layers are combined with a weighted average pooling operation.

$
\mathbf{E L M o}_{k}=\gamma \sum_{j=0}^{L} s_{j} \mathbf{h}_{k, j}
$

where $\mathbf{h}_{k, j}$ is the hidden state outputs for each biLSTM layer. The parameters $s$ are softmax-normalized weights and scalar parameter $\gamma$ allows the task model to scale the entire ELMo vector. $\gamma$ means practical importance to aid the optimization process.

## 5 Experiment

## 5.1 Dataset and Setting

We selected the Japanese Wikipedia Dataset ${ }^{2)}$ for character and word embedding learning where the number of words and characters wre about 312 thousands and 10 thousands respectively. We set vector dimension as 200 and context window size as 10 for character based and 5 for word based, and also set other setting as same as in the Japanese Wikipedia Entity Vector ${ }^{3)}$.

## 5.2 Baseline Methods

To verify the superiority of the joint embedding model of words and characters and the ability to distinguish semantics with ELMo embedding, we set two baseline models as follows.

(1) Baseline1 (w): word-only embeddings with LSTM networks (2) Baseline2 (w+c): character and word embeddings with LSTM networks

Meanwhile, we conduct two-sided t-Test for the average value of the precision, recall, and F1 score for 10 words in two annotation levels so as to investigate the statistical significance between our model and two baseline models.

## 5.3 Result

Experimental results on New Semantic Word and New Blend Word are shown in Table 4 and in Table 5.

Our results proved that the joint embedding model has a significant improvement in the results to extract internet slang words compared to the baselines using word embedding only, or using LSTM instead of ELMo. Of course, due to the complexity of the embedding model, in the experiment, the model using joint embedding converges to the same minimum loss, which requires more iterations. In particular, considering that the dimension of ELMo itself is much larger than the basic bidirectional LSTM (200 dimensions vs. 1024 dimensions), the iteration of the ELMo model requires more layers of iteration.

Regardless of whether it is a new semantic word or a new blend word, our model worked effectively, especially for the word level annotation corpus. This may be due to the fact that the semantic information between characters is too rich and complicated in the text annotated in character units, especially for new semantic words. It is obvious

2) https://dumps.wikimedia.org/jawiki/latest/, accessed on Oct 2020

3) http://www.cl.ecei.tohoku.ac.jp/ m-suzuki/jawiki_vector/
Table 4 Results of Detecting New Semantic Words

Table 5 Results of Detecting New Blend Words

${ }^{*}$ Compared to the baselines, our model cases improved at the significance level of $5 \%$.

** Compared to the baselines, our model improved at the significance level of $1 \%$.
- Compared to the baselines, our model improved but with no significance. The left symbol means the significant difference for Baseline1, while the right symbol for Baseline2.

that the results of the new blend words are better under the character unit level annotation.

In addition, because most of the new blend words are innovative words, there is less semantic change, and most of them are accompanied by fixed collocations, or have a fixed place in the sentence. Combining all the experiments and methods, the extraction methods of our model for such words performs better.

## 6 Conclusion

We have shown that the combination of character and word embeddings through the deep bidirectional Language Models can learn the rich information from the context, which not only contain the association between characters and words, but also utilize contextual semantic information of characters effectively. In future work, we will extract the meaning of the internet slang words by joint embedding models.

## Acknowledgement

This work was partially supported by a JSPS Grant-inAid for Scientific Research (B) (\#19H04420).

## References

[1]Jack K Chambers. Sociolinguistic Theory. Wiley-Blackwell, 2008.

[2]Xinxiong Chen, Lei Xu, Zhiyuan Liu, Maosong Sun, and Huanbo Luan. Joint learning of character and word embeddings. In Proceedings of the 24th International Conference on Artificial Intelligence, IJCAI'15, p. 1236-1242, 2015.

[3]Fazal Masud Kundi, Shakeel Ahmad, Aurangzeb Khan, and Muhammad Zubair Asghar. Detection and scoring of internet slangs for sentiment analysis using sentiwordnet. Life Science Journal, Vol. 11, No. 9, pp. 66-72, 2014.

[4]Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California, June 2016.

[5]Matthew Peters, Waleed Ammar, Chandra Bhagavatula, and Russell Power. Semi-supervised sequence tagging with bidirectional language models. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1756-1765, Vancouver, Canada, July 2017.

[6]Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018.

[7]Xue Qiao, Chen Peng, Zhen Liu, and Yanfeng Hu. Wordcharacter attention model for chinese text classification. International Journal of Machine Learning and Cybernetics, Vol. 10, No. 12, pp. 3521-3537, 2019.

[8]Marek Rei, Gamal Crichton, and Sampo Pyysalo. Attending to characters in neural sequence labeling models. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 309-318, Osaka, Japan, December 2016.

[9]青木竜哉, 笹野遼平, 高村大也, 奥村学. ソーシャルメ ディアにおける単語の一般的ではない用法の検出. 自然言語処理, Vol. 26, No. 2, pp. 381-406, 2019.


# NTCIR15 QA Lab-Polilnfo-2 の報告およびデータセット公開

木村泰知

小樽商科大学

kimura@res.otaru-uc.ac.jp

内田ゆず

北海学園大学

yuzu@hgu.jp

三田村照子

カーネギーメロン大学

teruko@andrew.cmu.edu渋木英潔

国立情報学研究所

shib@nii.ac.jp

乙武北斗

福岡大学

ototake@fukuoka-u.ac.jp

吉岡真治

北海道大学

yoshioka@ist.hokudai.ac.jp高丸圭一

宇都宮共和大学

takamaru@kyowa-u.ac.jp

石下円香

国立情報学研究所

ishioroshi@nii.ac.jp

秋葉友良豊橋技術科学大学

akiba@cs.tut.ac.jp
## 小川泰弘

名古屋大学

yasuhiro@is.nagoya-u.ac.jp

横手健一

日立製作所

kenichi.yokote.fb@hitachi.com

荒木健治

北海道大学

araki@ist.hokudai.ac.jp佐々木稔

茨城大学

minoru.sasaki.01@vc.ibaraki.ac.jp

神門典子

国立情報学研究所

kando@nii.ac.jp森辰則

横浜国立大学

mori@forest.eis.ynu.ac.jp関根聡

理化学研究所

satoshi.sekine@riken.jp

## 1 はじめに

QA-Lab PoliInfo-2 は政治情報を対象とした Shared taskである. 我々は，国際評価型ワークショップ NTCIR-15 ${ }^{1)}$ において QA Lab-PoliInfo-2[1]を 2019 年 6 月から 2020 年 12 月にかけて実施した. QA LabPoliInfo-2 では，地方議会会議録コーパス [2] に加え て, 東京都議会会議録, 都議会だより, Wikipediaを 言語資源として，4つのタスクを設計した.

本稿では，NTCIR-15 QA Lab-PoliInfo-2 における下記の 4 つのタスクの報告をするとともに，データ セットの公開方法について述べる.

1. Stance Classification

2. Dialog Summarization

3. Entity Linking

4. Topic Detection

図 1 PoliInfo-2の4つのタスクの関係図

## 2 NTCIR15 QA Lab-Polilnfo-2

図 1 に QA Lab-PoliInfo-2 で目標とする課題の全体像と各タスクの位置づけを示す。NTCIR-15 QA Lab-PoliInfo-2 では，参加者に共通のデータセットを 配布するとともに，公式サイト ${ }^{2} に お い て ，$ 予め定 めた評価手法を用いてスコア順に表示する Leader Board を設置した.

2) https://poliinfo2.net/

## 2.1 参加チーム

NTCIR-15 QA Lab-PoliInfo-2 の Formarl run (本テス ト) に参加した 14 チームを下記に示す.
1. akbl $^{*}$ (Toyohashi University of Technology)

2. Forst* (Yokohama National University)

3. HUHKA* (Hokkaido University)

4. Ibrk* (Ibaraki University)

5. JRIRD (The Japan Research Institute, Limited)

6. knlab (Shizuoka University)

7. LIAT* (RIKEN AIP)

8. nukl* (Nagoya University)

9. selt (Waseda University)

10. SKRA (Hokkaido University)

11. TKLB (Osaka Electric-Communication University)

12. wer99 (Tokyo Institute of technology)

13. wfrnt* (HITACHI)

14. TO* (Task Organizers)

表 1 に Formal runの期間（2020 年 7 月 12 日から 2020 年 7 月 31 日まで）の投稿数を示す.

表 1 QA Lab-PoliInfo-2 の Formal run における投稿数

 &  &  &  \\

## 2.2 Polilnfo-2 データセット

QA Lab-PoliInfo2 の Formal run で，参加者に配布し た公式データセットを下記のウェブサイトで 2021年 3 月に公開する。

https://github.com/poliinfo2

公式データセット以外にも，参加者から，本タス クに関連のあるデータおよびプログラムが提供され た. Dialog summarization では，TO チームから発言 ごとに分割したデータと発言者の役職のデータを 公開した ${ }^{3)}$. Stance Classification では，akblチームか ら，議員名/所属会派辞書4）およびルールベース賛否予測プログラム5) が提供された。

## 3 Stance Classification task

Stance Classification task は「会派」を用いて，政治家の発言から，会派の立場を推定するタスクであ る。具体的には，東京都議会における議員の発言を 対象として，会派の各議案に対する賛成・反対の立場を推定する．下記に入力，出力，評価について記述する。

評価は，各会派の議案数ごとに，賛成・反対の立場があることから，それらの総数を分母として， Accuracy を計算する．都議会だより6)には，議会で 議論された議案ごの採決結果が, 賛成, 反対に分け て，記述されている．その都議会だよりは，議会事務局が作成していることから，議会だよりに記述さ れている「賛成」「反対」を正解としてデータセット を構築した. 東京都議会会議録のファイル数，およ び，ファイルサイズを下記に示す.

また，解答ファイルに含まれる議案数およびサイ ズを下記に示す.

3) https://github.com/yasuhiro-ogawa/ poliinfo2-resources

4) https://github.com/cat415/NTCIR15-Dictionary-python-script

5) https://github.com/cat415/NTCIR15-rulebase-python-script

6) https://www.gikai.metro.tokyo.jp/newsletter/

Listing 1 と Listing2 は Stance Classificationn の会議録，および，解答の Json ファイルの例である.

表 2 に Stance classification の結果 (Accuracy) を示 す.ここでは，各チームの最も高い Accuracy の結果 を示している．詳細は，各チームの論文（wer99[3] Ibrk[4], knlab[5], akbl[6], Forst[7]）に記載されている.

表 2 Stance classification の結果 (Accuracy)

## 4 Dialog Summarization task

Dialog Summarization は地方議会における「議員の 質問」と「知事側の答弁」という対話構造を考慮し
ながら要約するタスクである. 下記に入力, 出力,評価について記述する.

会議録ファイルのデータサイズは下記に示す.

解答ファイルの問題数，サイズを下記に示す.

Dialog Summarization の正解は，都議会だよりを利用している．都議会だよりは，議会で記載された内容が議会事務局の職員により作られていることか ら，人手により作成された「正解の要約」とみなす ことができる.

Listing 3 Dialog summarization の会議録の例 (Json)

"ID":"130001_230617_2",

"Line ":2,

"Prefecture ": 東京都,

"Volume "：平成年23第 2 回_,

"Number": 1

"Year":23,

"Month": 6 ,

"Day":17,

"Title "：平成年23第 2 回定例会_第7号 (),

"Speaker "：和田宗春,

"Utterance"：ただいまから平成二十三年第二回東京都議会定例会を開会いたします。

Listing 4 Dialog summarization の解答例 (Json)

\{

"AnswerEndingLine ": [ 532 ],

"AnswerLength": [ 50 ],

"AnswerSpeaker": [ 知事"" ]

"AnswerStartingLine": [ 528 ],

"AnswerSummary": [全国の先頭に立ち刻苦する被災地を支援す るのは当然。今後も強力に後押しする。

"Date": "2011-06-23",

"Date": "2011-06-23",

"MainTopic "：東京の総合防災力を更に高めよくbr環境に配慮した 都市づくりを〉

"Meeting "：平成年第回定例会232,

"Prefecture ": 東京都

"QuestionEndingLine": 276,

"QuestionLength": 50,

"QuestionSpeaker ": 山下太郎（民主党）

"QuestionStartingLine": 266

"QuestionSummary"：被災地が真に必要とする支援に継続して取 り組むべき。知事の見解は。，

表 3 に Dialog summarization の ROUGE-1-R scores の結果 (Formal run の一部) を示す. 詳細は，各 チームの論文 ( JRIRD[8], nukl[9], Forst[7], wfrnt[10], SKRA[11], LIAT[12]）に記載されている.また，人手評価の詳細については，Overview 論文に記載され ている.

表 3 Dialog summarization の結果 (ROUGE-1-R scores)

※各チームの最も高い Rouge-1-Recall の結果を示す

## 5 Entity Linking task

Entity Linking では，議会会議録に含まれる政治家 の発言を対象として，表記摇れ，曖昧性，根拠の有無を明らかにすることに焦点を絞り，発言内容の根拠をみつけるタスクである．具体的には，会議録に 含まれる法律名を抜き出し，表記摇れや曖昧性を解決しつつ，一次情報（異なる言語資源）と結びつけ る. 下記に入力，出力，評価について述べる.

出力 法律名のメンション抽出 メンションに対応する Wikipedia URLへの連結評価 End-to-End (メンション抽出、曖昧性解消) 評価

Entity linking のファイルサイズを下記に示す.

入力と出力の形式は AIDA CoNLL-YAGO Dataset format を用いる [13]. 表 4 に Entity Linking のデータ フォーマットを示す. Entity Linkig のデータフォー マットは，形態素，IOB2，メンション，正式名称， Wikipediaへの URLがタブで区切られている.

表 5 に Entity Linking の結果 (Formal run の一部)表 4 Entity Linking のデータフォーマット

を示す、詳細は，各チームの論文（HUHKA[14], Forst[7], selt[15], nukl[9]）に記載されている.

表 5 Entity Linking $の$ 結果 (F-measures)

※各チームの最も高い $\mathrm{F}$ 値の結果を示す

## 6 Topic Detection task

Topic Detection では，会議録の速報版から，「適切 な議題の一覧」を議員ごとにまとめて提示するタス クである。下記に入力，出力を示す。

大力 東京都議会の令和 2 年第 1-2 回定例会 (速報版)

出力 議員ごとにまとめられた議題の一覧

評価については参加チームで「適切な議題とは 何か」に関して議論した．詳細は，各チームの論文（TKLB[16], Ibrk[4], akbl[6], nukl[9]）に記載され ている.

## 7 おわりに

本稿では，NTCIR-15 QA Lab-PoliInfo-2 における 4 つのタスク (Stance Classification, Dialog Summarization, Entity Linking, Topic Detection) の報告をすると ともに，データセットの公開方法について述べた.

今後は, QA Lab-PoliInfo-2 のタスクを発展させ, Question Answering, QA Alignment, Fact Verification, Budget Argument Mining のタスクを検討している.

## 謝辞

本研究は JSPS 科研費 18K00632，20K00576, 20H00059,20K01736 およびセコム科学技術振興財団の助成を受けたものである.

## 参考文献

[1]Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo task. Proceedings of The 15th NTCIR Conference, 122020.

[2]Yasutomo Kimura, Keiichi Takamaru, Takuma Tanaka, Akio Kobayashi, Hiroki Sakaji, Yuzu Uchida, Hokuto Ototake, and Shigeru Masuyama. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pages 78-85, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[3]Yuichi Sasazawa and Naoaki Okazaki. Wer99 at the ntcir-15 qa lab-poliinfo-2 classification task. Proceedings of The 15th NTCIR Conference, 122020.

[4]Ryo Kato and Minoru Sasaki. Ibrk at the ntcir-15 qa labpoliinfo-2. Proceedings of The 15th NTCIR Conference, 12 2020.

[5]Kazuhiro Atsumi and Yoshinobu Kano. knlab team: Ntcir-15 qa lab-poliinfo stance classification task. Proceedings of The 15th NTCIR Conference, 122020.

[6]Takanori Nekomoto, Ryoto Ohsugi, Tomoyosi Akiba, Shigeru Masuyama, and Daiki Shirato. akbl at the ntcir15 qa lab-poliinfo-2 tasks. Proceedings of The 15th NTCIR Conference, 122020.

[7]Hiromu Onogi, Kiichi Kondo, Younghun Lim, Xinnan Shen, Madoka Ishioroshi, Hideyuki Shibuki, Tatsunori Mori, and Noriko Kando. Forst: A challenge to the ntcir-15 qa labpoliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[8]Kazuma Kadowaki. Jrird at the ntcir-15 qa lab-poliinfo2 task: An abstractive dialog summarization system for japanese assembly minutes. Proceedings of The 15th NTCIR Conference, 122020.

[9]Yasuhiro Ogawa, Yuta Ikari, Takahiro Komamizu, and Katsuhiko Toyama. Nukl at the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[10]Ken-Ichi Yokote. wfrnt team at the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[11]Daiki Shirafuji, Hiromichi Kameya, Rafal Rzepka, and Kenji Araki. Summarizing utterances from japanese assembly minutes using political sentence-bert-based method for qa labpoliinfo-2 task of ntcir-15. Proceedings of The 15th NTCIR Conference, 122020.

[12]Kouta Nakayama and Satoshi Sekine. Liat team' s extractive summarizer at ntcir-15 qalab poliinfo-2. Proceedings of The 15th NTCIR Conference, 122020.

[13]Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the conll-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003 - Volume 4, CONLL '03, pages 142-147, Stroudsburg, PA, USA, 2003. Association for Computational Linguistics.

[14]Takuma Himori, Yasutomo Kimura, and Kenji Araki. Huhka at the ntcir-15 qa lab-poliinfo-2 entity linking task. Proceedings of The 15th NTCIR Conference, 122020.

[15]Yuji Naraki and Tetsuya Sakai. selt team' s entity linking system at the ntcir-15 qa lab-polinfo2. Proceedings of The 15th NTCIR Conference, 122020.

[16]Yuya Hirai, Yo Amano, and Kazuhiro Takeuchi. Ntcir-15 qa lab-poliinfo2 topic detection based on lda and argument structure graph. Proceedings of The 15th NTCIR Conference, 122020 .


# 定義文を用いた文埋め込み構成法

塚越駿笹野遼平武田浩一
名古屋大学情報学部名古屋大学大学院情報学研究科
tsukagoshi.hayato@e.mbox.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 1 はじめに

近年，自然言語推論 (Natural Language Inference: NLI) データセットを用いて文埋め込みを構成する 手法が成功を収めており，文類似度 (Semantic Textual Similarity: STS) タスクをはじめとする様々なタスク で活用されている [1,2].これらの手法では，NLI データセットの文ぺアに付与されている「含意」「矛盾」「その他」のラベルを正しく分類するというタス クを通して文埋め込みを構成する。しかし，このよ うな手法は，大規模な NLI データセットが整備され ている言語でしか利用できないという問題がある.

本研究ではこの問題を解決するため，辞書に含ま れる単語とその定義文が基本的に同一の意味内容を 表すという関係に着目し，辞書の定義文を用いた文埋め込み構成法を提案する。辞書は NLI データセッ トと比べ，はるかに多くの言語において整備が行わ れており，定義文を用いた文埋め込み構成法は多く の言語に適用可能であると考えられる.

## 2 定義文を用いた文埋め込み構成法

本研究で提案する定義文による文埋め込み構成法は，NLI データセットを用いて文埋め込みを構成するモデルとして代表的な Sentece-BERT [1] と同様，BERT [3] や RoBERTa [4] などの事前学習済み言語モデルをベースとし，これらのモデルの出力から 文埋め込みを構成する (図 1). 本節ではまず BERT と RoBERTa，および，Sentence-BERTを紹介し，続 いて提案する文埋め込み構成法の説明を行う。

## 2.1 BERT と RoBERTa

BERT は複数層の Transformer [5] エンコーダで構成される事前学習済み言語モデルである。 マスク穴埋め問題と次文予測によって，大規模なテキスト データで自己教師あり学習を行うことで言語知識 を獲得し, 文脈に従った単語埋め込みを出力する。 マスク穴埋め問題は，入力文の中のトークンを一定

図 1 Sentence-BERT (左) と提案手法 (右) の概要図

の割合で [MASK] という特殊トークンに置き換えて モデルへ入力し, [MASK] に対応する位置の最終層 の埋め込みを用いて，置き換え前のトークンを予測 するタスクである．次文予測は，文区切りトークン [SEP] で繋がれた 2 文を BERT に入力した際，文頭 に付与された特殊トークン [CLS] の出力をもとにそ れらが元のテキストデータで連続する 2 文であるか どうかを予測するタスクである。

一方，RoBERTa は BERT と同様の構造をしている が，BERT で事前学習時に行われていた次文予測を 排除し，データサイズ，バッチサイズを大きくする ことで BERT の改善を試みたモデルである．次項以降で説明する Sentence-BERT と提案手法はいずれも ベースモデルとして BERT と RoBERTa が利用可能 であるが，本稿におけるモデルの説明では基本的に BERTを用いた場合について説明する。

## 2.2 Sentence-BERT

NLI データセットを用いた文埋め込み構成法は Conneau ら [2]により提案された. Conneau らは, パ ラメータを共有した 2 のモデルの学習を行う Siamese network 構造を用いて，類似した文が意味べ クトル空間上で近い位置に分布するように文埋め込 みを構成する InferSentを提案した. Reimers ら [1] に よって提案された Sentence-BERT は, InferSent と類
似した構造を採用しているが，文ベクトルの構成に fine-tuning した BERTを用いている. Sentence-BERT の概要を図 1 左に示す. Sentence-BERT では，まず 文を BERT に入力し, その出力を pooling すること で文ベクトルを構成する. pooling 手法には以下の 3 種類が用いられる。

CLS BERT の事前学習時に次文予測で用いられる [CLS] トークンの埋め込みを用いる。RoBERTaを 用いる場合は $[\mathrm{CLS}]$ が存在しないため, 代替とし て文頭トークン $<\mathrm{s}>$ の埋め込みを用いる。

Mean 文を構成するすべての語の文脈化単語埋め込 みの平均を用いる。

Max 文を構成するすべての語の文脈化単語埋め込 みの次元ごとの最大値を用いる.

pooling により得られる文ぺアのそれぞれの文埋め 込みを $\boldsymbol{u}, \boldsymbol{v}$ とする. それらを組み合わせたべクト ル $[\boldsymbol{u} ; \boldsymbol{v} ;|\boldsymbol{u}-\boldsymbol{v}|]$ をクラス数と同じ数の出力次元を 持つラベル予測層に入力し, 文ぺアに付与されて いる「含意」などのラベルを正しく予測できるよ うに fine-tuning を行う． fine-tuning には，SNLI デー タセット [6]，および，Multi-Genre NLI データセッ ト [7]を合わせた約 100 万文を用いる。

## 2.3 定義文を用いた文埋め込み

本研究では，単語とその定義文が同一の意味内容 を表すことに着目し, 定義文から単語予測を行うこ とで文埋め込みを構成する。提案手法の概要を図 1 右に示す.ここで，ある定義文 $X_{k}$ に対応する単語 を $w_{k}$ と表し, BERT の事前学習時にマスク穴埋め 問題で用いられる [MASK] の埋め込みから元のトー クンを予測する層を単語予測層と呼ぶ.

まず， $X_{k}$ を BERT に入力し，出力を pooling する ことで $X_{k}$ の文埋め込み $\boldsymbol{u}_{k}$ を構成する. pooling 手法には Sentence-BERT と同様に CLS, Mean, Max の 3 種類を用いる. 次に，構成した文埋め込み $\boldsymbol{u}_{k}$ を単語予測層に入力し， $X_{k}$ を入力としたときの $w_{k}$ の出現確率 $P\left(w_{k} \mid X_{k}\right)$ を得る. 損失関数に交差エントロ ピー誤差を用いて, $P\left(w_{k} \mid X_{k}\right)$ を最大化するように fine-tuning を行う.

この際，単語予測層には事前学習時のパラメータ を固定して用いる. これにより, 追加の分類器など を新たに学習せず fine-tuning を行うことができる. また，事前学習時の単語予測層をそのまま使ってい るため，提案手法で得られる文埋め込みは，その文 が表す意味内容に近い意味で使用されている単語が表 1 データセットの統計値

存在した場合，その文脈化単語埋め込みと類似する という性質が期待できる。

## 3 単語予測実験

提案手法により構成した文の埋め込みが，どの程度，文の意味を埋め込めているか評価するため，定義文の埋め込みを用いた単語予測実験を行った.

## 3.1 使用するデータセット

提案手法は単語と定義文のペアを必要とする．本研究では, 石渡ら [8] が公開しているデータセット の中から, Oxford Dictionary の単語と定義文を利用 した. 各エントリは単語と定義文のペアからなり，一つの単語が複数の定義文を持ち得る. データは 単語ごとに訓練データ/開発データ/テストデータに 8:1:1 の割合で分割した. また，提案手法は単語予測層に BERT または RoBERTa の事前学習時の層を 用いるため, 各モデルの語彙に含まれない単語に関 する予測確率を単語予測層から得ることはできな い.したがって，本実験ではデータセットの中から BERT, RoBERTa それぞれの語彙に含まれる単語と その定義文のみを用いる。利用したデータセットの 統計値を表 1 に示す.

## 3.2 実験設定

事前学習済みモデルとして，Hugging Face ${ }^{1)}$ が公開しているライブラリである Transformers ${ }^{2}$ から， BERT-base (bert-base-uncased), BERT-large (bert-largeuncased), RoBERTa-base (roberta-base), RoBERTa-large (roberta-large) を利用した. fine-tuning の設定として, バッチサイズは 16 , エポック数は 1 , 最適化手法 に Adamを用いた.また, 学習の開始時点では学

表 2 単語予測の性能

習率を 0 とし，全学習ステップのうち $10 \%$ で，設定した値まで線形に学習率を増加させる warm-up を用いた. 学習率は各モデル, pooling 手法ごとに $2^{x} \times 10^{-6}, x \in\{0,0.5,1, \ldots, 7\}$ の範囲で探索し, 開発 データでの平均逆順位 (Mean Reciprocal Rank; MRR) が最も高くなった学習率を使用した. 異なるシード 値で 10 回実験を行い，その平均を評価スコアとし た. 定義文を入力した際に出力される単語の予測確率から MRR と， 1，3，10 位以内に正解が含まれる 割合 (Top- $k$ accuracy) を算出し，評価に用いた。ま た，比較対象として BERT-base モデルを fine-tuning せずに使った場合の性能も算出した。

## 3.3 実験結果

実験の結果を表 2 に示す. fine-tuning しなかった 場合の性能は pooling 手法として Maxを選んだ場合 が最も高かったものの, その Top-1 accuracy は 0.0157 と極めて低い値であり，高い性能を得るためには fine-tuning を行うことが必須であることが確認でき る. 提案手法では, baseを用いたモデルより largeを 用いたモデル，BERTを用いたモデルより RoBERTa を用いたモデルの方が性能が高く，RoBERTa-large と Mean の組み合わせが最も高い性能を示した.ま た, RoBERTa-large 以外のモデルは, pooling 手法に CLS を用いたモデルが最も高い性能を示した.

## 4 応用タスクにおける性能評価

生成された文埋め込みの一般的な有用性を評価 するため Semantic Textual Similarity (STS) タスク，お よび，文埋め込み評価のためのツールキットである SentEval を用いた評価を行った.

## 4.1 実験設定

本節では，Reimers [1] らにより報告されている各 タスクの性能と, 提案手法の性能との比較を行う.評価は，モデルごとに 3 節の実験で開発データの MRR が最も高かった pooling 手法を用いて行った3).既存手法の性能は Reimers ら [1] の結果を引用した.

## 4.2 Semantic Textual Similarity タスク

Semantic Textual Similarity (STS) タスクは，文ペア が与えられた時に，その文ぺアの意味的な類似度 を推定するタスクである. 教師なし設定の場合, STS データセットを用いた学習は行わず，事前に 学習したモデルを用いて文ぺアをそれぞれ文埋 め込みに変換し，それらを用いて算出された文ぺ アの類似度と, 人手評価との順位相関係数によ り評価する。本研究では，提案手法が一般の文に 対して妥当な文埋め込みを構成できているか評価するため, STS12-16 [11-15], STS benchmark [16], SICK-Relatedness [17] の各データセットを用いた教師なしSTS タスクにより評価を行った。これらの データセットには文ぺアとその類似度が含まれてお り，類似度は人手評価によって付与された 0 から 5 の実数である. 文埋め込みの類似度には余弦類似度 を用い，データセットに含まれる人手評価とのスピ アマンの順位相関係数を算出した. 異なるシード值 で 10 回実験を行い，その平均を評価スコアとした。

実験の結果を表 3 に示す. 提案手法で用いる 学習データは, Sentence-BERT の学習に使用され ているデータの $5 \%$ 程度の規模であるにも関わ らず，提案手法の BERT-base, RoBERTa-base モデ ルは Sentence-BERT-base, Sentence-RoBERTa-base と 遜色のない性能を示すことが確認できる. 特に， STS12-16 の集約版である STS benchmark において，提案手法の RoBERTa モデルは高い性能を示した.

## 4.3 SentEval

SentEval [18] は，感情分類などを含む様々なタス クを集約したツールキットである。文埋め込みを入力とする分類器の学習を行い, その性能から文埋め 込みがどのような情報を捉えているかを評価する.本研究では, Reimers ら [1] と同一のタスクについて 実験を行った。各タスクの概要を表 4 に示す. 評価 には，前節の設定で fine-tuning を行ったモデルを使

STS-B は STS benchmarkを，SICK-R は SICK-Relatednessを表す. 各タスクごとに最良の結果を太字で示す.

表 5 SentEval の各タスクにおける正解率 $(\%)$. 各タスクごとに最良の結果を太字で示す.

表 4 SentEval の各タスクの説明

用した. SentEval 内の各タスクについて，提案手法 により生成した文埋め込みを入力とする分類器を 学習し，性能を評価した。文埋め込みを入力とする 分類器の学習には Reimers ら [1] と同じ設定を用い, 10 分割交差検証を行った. 提案手法によるモデル の fine-tuning と性能評価は異なるシード値で 3 回行 い，その平均を評価スコアとした.

実験の結果を表 5 に示す4). 提案手法の中では RoBERTa-large が最も高い性能を示している。ま た， base から large へモデルサイズを増加させる と一貫して性能が向上した。提案手法の BERTlarge，RoBERTa-base，RoBERTa-large における性能

4） Reimers ら [1]により Sentence-RoBERTa の性能は SentenceBERT と同等と報告されているため記載を省略した.
は Sentence-BERT-large を上回っていることから，提案手法による文埋め込みが様々なタスクに応用でき る有用な情報を埋め込んでいることが確認できる.

## 5 おわりに

本研究では辞書の定義文を用いた文埋め込み構成法を提案した。また，単語予測実験，および，STS タスク，SentEvalを用いた実験を通して，提案手法 の有効性，および，大規模な NLI データセットを用 いる既存手法と同等の性能を発揮することを示し た. 提案手法は多くの言語において整備されている 辞書に基づく手法であり，他の言語に応用する場合 であっても新規の言語資源を作成する必要がないと いう特長がある。また，得られる文埋め込みは，そ の文が表す意味内容に近い意味で使用されている単語が存在した場合，その文脈化単語埋め込みと類似 するという性質を持つことが期待できる。

今後は，実際に英語以外の言語に応用した場合の 性能評価や，文書分類タスクなどより広範な下流夕 スクへの応用の評価を行いたい。さらに，提案手法 による定義文の埋め込みと文脈化単語埋め込みの意味ベクトル空間上での関係の解析を行いたい。

## 参考文献

[1] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, 2019.

[2] Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, and Antoine Bordes. Supervised learning of universal sentence representations from natural language inference data. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 670-680, 2017.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019.

[4] Y. Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems (NIPS), pp. 59986008, 2017.

[6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 632-642, 2015.

[7] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 1112-1122, 2018.

[8] Shonosuke Ishiwatari, Hiroaki Hayashi, Naoki Yoshinaga, Graham Neubig, Shoetsu Sato, Masashi Toyoda, and Masaru Kitsuregawa. Learning to describe unknown phrases with local and global contexts. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 3467-3476, 2019.

[9] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 15321543, 2014.

[10] Daniel Matthew Cer, Yinfei Yang, Sheng yi Kong, Nan Hua, Nicole Limtiaco, Rhomni St. John, Noah Constant, Mario Guajardo-Cespedes, Steve Yuan, C. Tar, Yun-Hsuan Sung, B. Strope, and R. Kurzweil. Universal Sentence
Encoder. arXiv:1803.11175, 2018.

[11] Eneko Agirre, Daniel Cer, Mona Diab, and Aitor Gonzalez-Agirre. SemEval-2012 task 6: A pilot on semantic textual similarity. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics Semantic Evaluation (SemEval), pp. 385-393, 2012.

[12] Eneko Agirre, Daniel Cer, Mona Diab, Aitor GonzalezAgirre, and Weiwei Guo. *SEM 2013 shared task: Semantic textual similarity. In Second Joint Conference on Lexical and Computational Semantics (*SEM), pp. 32-43, 2013.

[13] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval2014 task 10: Multilingual semantic textual similarity. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 81-91, 2014.

[14] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval2015 task 2: Semantic textual similarity, English, Spanish and pilot on interpretability. In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval), pp. 252-263, 2015.

[15] Eneko Agirre, Carmen Banea, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2016 task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 497-511, 2016.

[16] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval), pp. 1-14, 2017.

[17] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC), pp. 216-223, 2014.

[18] Alexis Conneau and Douwe Kiela. SentEval: An evaluation toolkit for universal sentence representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC), pp. 16991704, 2018.

## A 付録

表 5 各モデル，pooling 手法ごとの文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数. 表内の数值は，異なるシード値で 10 回評価を行った際の平均と標準偏差に 100 をかけたものである.

表 6 各モデル，pooling 手法ごとの SentEval の各タスクにおける正解率 (\%). 表内の数値は，異なるシード値で 3 回評価を行った際の平均と標準偏差に 100 をかけたものである.


# 議題への明示的な賛否表現を含まない議員発言を対象とした 議会議事録のスタンス分類

猫本隆哲
豊橋技術科学大学
nekomoto.takanori.pf@tut.jp
}

秋葉友良
豊橋技術科学大学
akiba@cs.tut.jp
}

増山繁
東京理科大学
masuyama@rs.tus.ac.jp

## 1 はじめに

NTCIR-15 の QA Lab-PoliInfo-2 タスク1)では, 地方議会議事録から議員の意見やその理由・条件を要約 して表示するといった複雑な実世界の質問応答技術 を目指している [1]. 近年,フェイクニュースが多大 な悪影響を及ぼしていることから, ファクトチェッ クの重要性を再認識されている. 情報獲得のために 幅広く利用されている一般的な Web 検索エンジン では, Eli Pariser が提唱した “filter bubble” [2] と呼ば れる概念によって, ユーザーが自分の視点に合わな い情報から遠ざかることから, ファクトチェックが 困難となっている. ファクトチェックのためには, 議事録などの一次情報源をしっかりと把握しておく必要がある.

QA Lab-PoliInfo-2 Stance Classification タスクでは,東京都議会における政治家の発言から, 政治家の立場 (スタンス) を推定することを目的としている2). より具体的には, 議会議事録から, 議会中に議論され る各議題について, 各会派の賛否を分類する問題に 取り組んだ. 日本の議会議事録の記述は, 議員ごとの 発言の書き起こしであり, ほとんどの議員は討論の 冒頭で複数の議案に対して簡単な賛否を述べること から,ここから一定数の議案に対してのスタンスが 判明する. よって, Stance Classification の評価結果で は,この冒頭部分のみを用いることで $90 \%$ 以上の正解率で賛否分類できることが示されている [3]. しか し,一部には冒頭部分で賛否表明を行わない, また は冒頭のみでは賛否表明されない議案が存在する といった場合があり, そのような場合に対応するに は, 冒頭以外の討論部分から賛否分類を行う必要が ある.

本研究では, ある議案に対して明示的な賛否の表現のない討論の発言から賛否分類を行う問題に焦点

1) https://poliinfo2.net/

2) https://poliinfo2.net/stance-classification-task/
を当てた. 賛成や反対といったターゲット単語のみ に着目する単純なルールベース分類ではなく,これ を除いた議員の発言全体から学習データを作成し， より多くの分野やタスクへの応用を可能とするため に BERT [4] ベースのスタンス分類器を構築した.

## 2 スタンス分類

本節では, QA Lab-PoliInfo-2 Stance Classification タ スクにおけるデータ構造, 分類対象とする議事録の 構造, 本研究の問題設定について詳細を述べる.

## 2.1 デー夕構造

分類器には, 会議録データと表 1 から構成される 出題ファイルを入力として与え, 空欄となる会派の 賛否を埋めた出題ファイルを出力とする.

 \\

議員らの発言は, 出題ファイルの MeetingDate を参照し, 期日が一致する会議録から抽出する. また,こ の他に収録されているフィールドは分類器への付加情報および, 議員の発言をより詳細に検索するため に用いる。

## 2.2 会議録データ

入力として利用可能な会議録データには, 定例会 や臨時会の他に委員会等の速記録があるが, 後者は 賛否が伴う議決を行うものではないため, スタンス 分類に直結するのは前者での議員の発言である. 定例会における議員の実際の発言を図 1 に示す.

"Speaker": "百四番 (村松みえ子君)",

"Utterance": "私は、日本共産党都議団を代表して、第二百二十八号議案、東京都養育院条例を廃止する 条例外六議案に反対の立場から討論を行います。

東京都養育院は、福祉と医療、研究が連携した総合的なサービス提供を最大の特徴としており、世界的にも高い評価を受けております。ところが今回の 提案は、これから迎える本格的な高齢社会に向け、養育院の、この福祉と医療と研究の一体的な運営を 一層強化する必要があるときに、逆にそれを後退さ せるものであり、反対です。...

図 1 討論例

議員は必ず議長から発言権が与えられた上で, 始 めにいくつか議案への簡単な賛否表明を行った上 で,それぞれの議案についての詳細な討論を行う.こ こでは, 前者の発言を賛否表明文, 後者を討論文と定義する. 賛否表明文を図 2 に示す.

"Utterance": "私は、日本共産党都議団を代表して、第二百二十八号議案、東京都養育院条例を廃止する 条例外六議案に反対の立場から討論を行います。

図 2 賛否表明文例

賛否表明文は, 議長から発言権が与えられた議員 が始めに述べる形式的な賛否表明である. 多くの場合, ここから特定議案 (議案番号) の賛否表明が得ら れ, Stance Classification タスクの評価結果では, 賛否表明文のみを参照することで $90 \%$ 以上の正解率が実現されることが分かっている [3].

次に討論文を図 3 に示す.

東京都養育院は、福祉と医療、研究が連携した総合的なサービス提供を最大の特徴としており、世界的にも高い評価を受けております。ところが今回の 提案は、これから迎える本格的な高齢社会に向け、養育院の、この福祉と医療と研究の一体的な運営を 一層強化する必要があるときに、逆にそれを後退さ せるものであり、反対です。...

図 3 討論文例討論文では, 賛否表明を行なった議案への詳細な 言及がなされる. 賛否表明文と比較すると, 同一議案 への言及でありながらも，それについての根拠が明確に述べられている. しかし, 討論文では賛成や反対 といった単語は必ずしも出現しない. また, 実際の発言は非常に長いものとなっている.

## 2.3 問題設定

賛否表明文を用いることで高い精度で賛否分類を 行うことが可能であるが, 陽に言及されない議題に は対応できない. そこで本研究では, 図 3 に示した討論文から, 議案に対する賛否を分類する問題に焦点 を当てる. そのために, 議事録の各議員の各議案に 対する討論文と，その議題への賛否を対応付けたぺ アデータを人手で構築した.このペアデータを学習 データとテストデータに分割し, 二值分類器の構築,評価を行なった。

## 3 手法

本節では, スタンス分類を行うための分類器の構築方法, 学習データへの前処理, および分類器の精度 を検証するための実験方法について述べる。

## 3.1 会派の特定

東京都議会におけるスタンス分類を行うための準備として, 討論を行う議員の所属会派を事前に特定 する必要がある. 表 1 に示したように, 会派と発言者 の対応は SpeakerList から分かるが, 代表質問者以外 の議員は自身で所属政党を名乗らなければ会派との 対応が取れない問題点がある. そこで, 都議会 HP の 検索エンジン3) と BeuatifulSoup4 [5] を用いて定例会等に出席したすべての議員の所属政党を収録した辞書を別途で作成した. また, 議員によっては政党移動 または政党名変更等があるため, それを考慮した都議会議員 322 名のネスト型辞書を構築した。一例を 図 4 に示す.

## 3.2 BERTを用いた分類

2.3 節で定義した討論文を対象に議員のスタンス を 2 值 (賛成 or 反対) に判定する分類器を構築し た. この分類器は, BERT の MRPC タスクに基づき 作成したものであり, 入力を単一の討論文としてい る. モデルには, 公開されている日本語事前学習済み モデルの BASE 通常版を用いた [6]. このモデルは,

図 4 議員/所属会派辞書

JUMAN [7] による単語分割に基づいて学習されてい るため, 同じ形態素解析器を使用している. 学習デー タの作成には, Poliinfo2 から提供されているデータ を参照し, 発言権が与えられた議員の討論文から議案名もしくは議案番号に完全に一致する発言のみを 抽出し, 使用した。

しかし, 東京都議会における討論文には議題に上 がった議案とは直接関連の無い内容が多く含まれて おり, BERT に入力できる単語数の最大値が 512 語で あるため, 何らかの前処理を適用する必要がある. 今回は簡単な前処理として, 討論文に特定の接続詞が 含まれていた場合, それ以降の文は議題案とは無関係であると判断し, 接続詞の後の文を全て削除して いる. 特定の接続詞には, 以下のパターンを想定して いる.

## 特定の接続詞

(次に、*㳊次いで、*|続いて、.*最後に、*、*て、.*) なお, 上記のパターンは, 討論の途中に出現する ものにはマッチせず, 句読点があるもののみを考慮 している. 作成された学習データの総数は 442 件で あり, データの各行には賛否ラベル ( “0”: 反対 or “1”: 賛成) と討論文が収録されている.

## 3.3 編集距離を用いたデータ拡張

3.2 節で述べたように, 学習データとして利用可能 な議員の討論文は, 議案名または議案番号との完全一致で取れるものに限定しているため, 抽出が不十分であると考えられる. そこで, 暫定的なデータ拡張 として編集距離を用いて, 議題に上がった議案名に 関連性のある単語を討論文から抽出し, 学習データ
を 442 件から 485 件へ増強した。

## 3.4 DPを用いたテキストセグメンテー ション

学習データとしての討論文は, 特定議案への言及文のみを収録し, その他の関連の無い議案への言及文は取り除くことが理想となる. 3.2 節では, 特定の 接続詞以降の文を削除しているが,これもまたテキ スト分割としては不十分であると考えられる. そこ で, 議員の発言から議題に関係のない発言を削除す る手法として、Dynamic Programming(DP) を用いて 討論文のセグメンテーションを行った. 前提として， セグメントを考える際の最小単位は文であり, シー ケンスデータでの 1 つのデータポイントは, 今回の 場合は 1 つの文となる [8]. 実装したテキストセグメ ンテーションの手順は以下の通りである.

Step 1. テキストデータクラスを定義し. セグメント 内のスコアを計算する $h(t 1, t 2)$, テキストの長さを返 す GetLength() を定義する.

Step 2. $T$ をテキストの文のリスト, $L$ をテキストの単語リスト (Mecab [9]を使用)とし, 文間の類似語を表 す $L \times T$ スケールの matrix $F$ を定義する.

Step 3. 行列 $F$ は疎行列であり, 各文から単語を抽出 し, $L$ に含まれる単語が $T$ にある場合, リスト $L$ から その単語のインデックスを取り, $F$ のインデックス の行に 1 を代入する.

Step 4. 文章 $i$ と $j$ の類似度を表す matrix $f$ とその転置行列の積を matrix $d$ と定義する. 同一文の類似度 は $0\left(d_{i i}=0\right)$ とし,この matrix $d$ を用いてセグメント 内のスコアを計算する.

Step 5. セグメントに含まれるすべての文の類似度を 足し合わせ, セグメントの長さで割ってスコアを得 る. 評価関数 $J$ は, セグメントの開始点を $t_{1}$, 終了点 を $t_{2}$ と定義する。

$
J=\frac{\sum_{i=t 1}^{t 2-1} \sum_{j=t 1}^{t 2-1} D_{i j}}{(t 2-t 1)}
$

Step 6. DP の再帰関数に討論文と任意の数のセグメ ント数をオブジェクトとして与え, $J$ が最大となる セグメントの分割点をインデックスとして返す.

なお, セグメントの数は DP へ任意に与えなければ ならないため,ここでは討論文の長さに応じて任意 の值でセグメンテーションを行っている.

## 3.5 分類器への付加情報

政治的なイデオロギーは都議会もまた例外ではな く, 保守派やリベラル派といったものがあり, このよ うな政党間では, 議案の種類や提案政党などによっ て賛否に大きなバイアスが生じている. 例として, 保守派とリベラル派は双方の提案に反対することが多 く, また知事が提案する議案には賛成することが多 い.このような政党間や議案の提出元で変化する賛否のバイアスの解消を見込み, 賛否ラベルと討論文 の意味的な等価性を評価する分類器への付加情報 として, 表 1 に示したフィールド名に基づき, 政党名 (party) と議案の提出元 (proponent) を与える実験 を行った. なお, 提出元は知事提出もしくは議員提出 の 2 值である.

## 4 結果$\cdot$考察

分類器の評価実験は, 出題データ全てを賛成と分類する majority ベースラインと, BERT を用いたもの の 2 種類に分けられる. 加えて, BERT については分類器を変えずにいくつかの学習データの構築方法を 提案し, 精度の比較を行った. ハイパーパラメータの 設定は, 入力の最大系列長を 128 , ミニバッチサイズ を 32, 学習係数を $2 \mathrm{e}-5$, エポック数を 5 とし, モデル の評価には $\mathrm{k}$ 交差検証を用いた. 各手法での分類結果を 3 に示す. DA は 4.2 節のデータ拡張手法であり, DP は 4.3 節のものである. 提出元での majority は, 知事提出議案を賛成, 議員提出議案を反対で統一とし,政党ごとの majority は統一化が困難であるため, 無 しとしている.

表 3 評価結果, $\mathrm{k}=5$ 交差検証 avg, train:442, $\operatorname{train}(\mathrm{DA}): 485$

 &  &  \\

BERT & $\mathbf{0 . 8 5 0 7}$ & 0.8509 & 0.8370 \\
BERT+DA & 0.8439 & 0.8419 & $\mathbf{0 . 8 6 8 8}$ \\
BERT+DP & 0.8484 & $\mathbf{0 . 8 6 6 6}$ & 0.8685 \\
BERT+DA+DP & 0.8212 & 0.8637 & 0.8460 \\

結果から, 討論文のみの入力ではデータ拡張等を施さない状態が最も精度が高く, 討論文+提出元では DP 手法, 討論文+政党名ではデータ拡張手法が最も 高い精度となった.これらの提案手法は全てにおい て, majority ベースラインを上回っているが, 付与情報による大幅な精度向上は見込めなかった.

フィールド名である政党名と提出元の付加によ り, 一定の精度向上が見られた要因としては, 3.5 節 で述べた政党間, 提案者によって生じる賛否のバイ アスの解消によるものと考えられる. しかしながら，正解ラベルに分類された討論文が, フィールド情報 を与えたことで誤分類されることがあるため, 精度向上へ寄与する手法としては一長一短であるといえ る. また, 実験データとしては非常にサンプル数が少 なく, BERT での日本語構文解析においてはより大規模なコーパスと,より高い pre-training 時の epoch 数によって, さらなる精度向上が実現することが示唆されていることから [10], さらなる大規模なデー タセットの構築が必要である.

## 5 おわりに

本研究では, 東京都議会における議員のスタンス 分類タスクにおいて, BERT を用いた議員の発言を スタンス分類するための学習データの作成方法, お よび所属政党や提出元などのフィールド情報を付加 し, モデルの評価を行なった. 評価結果から, 提案手法は単純な majority ベースラインを上回る性能が発揮され, また政治的なフィールド情報を付与するこ とで一定の精度向上に寄与することが分かった.

今回は東京都議会に限定して学習を行ったが, データ数が非常に少ないため, 今後は地方議会等に 範囲を広げ,より大規模なデータセットを構築し, 提案手法の有効性を検証する。

## 謝辞

本研究は JSPS 科研費 $19 K 11980$ の助成を受けた.

## 参考文献

[1]Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[2]Eli Pariser. The filter bubble: What the internet is hiding from you. 2011.

[3]Takanori Nekomoto, Ryoto Ohsugi, Tomoyosi Akiba, Shigeru Masuyama, and Daiki Shirato. akbl at the ntcir15 qa lab-poliinfo-2 tasks. The 15th NTCIR Conference, p. $155,2020$.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[5]Gábor László Hajba. Website Scraping with Python: Using BeautifulSoup and Scrapy. Apress, 2018.

[6]Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. Improving the accuracy of japanese parsing with bert. The Association for Natural Language Processing 25th Annual General Meeting, pp. 205-208, 2019.

[7]Daisuke Kawahara. Japanese morphological analysis system juman version 3.61. http://pine.kuee.kyoto-u.ac.jp/nlresource/juman.html, 1999.

[8]V. Petridis A. Kehagias, P. Fragkou. Linear text segmentation using a dynamic programming algorithm. In Proceedings of the EACL, pp. 171-178, 2003.

[9]工藤拓, 山本薫, 松本裕治. Conditional random fields を 用いた日本語形態素解析. 情報処理学会研究報告. NLP,自然言語処理研究会報告, Vol. 161, pp. 89-96, 52004.

[10]柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, pp. 205-208, 2019.


# 熱化学計算問題の段階的解釈に基づく熱化学方程式の立式

経種直之佐藤理史小川浩平宮田玲
名古屋大学大学院工学研究科
idane.naoyuki@c.mbox.nagoya-u.ac.jp

## 1 はじめに

大学入試では、言語運用能力に加え、多岐に渡る 知識や能力が問われる。2011 年から 6 年間に渡って 実施された「ロボットは東大に入れるか」プロジェ クトでは、主要 5 教科 (国語、英語、数学、社会、理科）の大学入試問題の自動解法が研究された [1]。 これらのうち、社会 (歴史)、数学、英語の問題は比較的よく解けたが、理科の問題の自動解法は非常に 難しいことが判明した。

一般に、理科 (物理・化学) の計算問題を解くため には、問題文を専門知識に基づいて解釈し、解釈結果を用いてある種の計算 (推論)を行う必要がある。 それゆえ、歴史の正誤問題の自動解法で通用したよ うな、知識源 (教科書) に対する表層的なテキスト照合では歯が立たない。

我々は、専門知識に基づく解釈と推論が必要な問題の具体例として、化学の熱化学計算問題を取り上 げ、その自動解法に取り組んできた $[2,3]$ 。熱化学計算問題は、熱化学反応を表す方程式を立式して解 く計算問題である。必要な計算能力は、初等代数の 計算スキルであり、この機械的実現は容易である。 つまり、自動解法の中核は、いかにして問題文から 熱化学方程式を立式するかという、問題文の解釈の 機械的実現にある。前回の挑戦 [3] では、開発用の 問題の約半分しか解くことができなかった。今回 は、熱化学方程式の立式を最終ゴールとして、そこ に徐々に近づいていく複数のステップで問題文を解釈する方法を採用し、より多くの問題を解くことを 目指す。

## 2 人間は問題をどう解くか

ここでは、図 1 に示す問題例を用いて、熱化学計算問題を解く標準的な方法を示す。

この問題が要求しているのは「プロパンの生成

水素、炭素 (黒鉛)、プロパン $\mathrm{C}_{3} \mathrm{H}_{8}$ の燃焼熱は、それぞ
れ $286 \mathrm{~kJ} / \mathrm{mol} 394 \mathrm{~kJ} / \mathrm{mol} 、 2119 \mathrm{~kJ} / \mathrm{mol}$ である。
プロパンの生成熱を求めよ。
(出典 :「化学」数件出版, $\mathrm{p} 114$, 一部変更)

図 1 熱化学計算の問題例

熱」である。生成熱の一般式は、以下で与えられる。

$
\text { 構成元素のリスト }=\text { 対象物質 }+Q[\mathrm{~kJ}]
$

プロパンの分子式は $\mathrm{C}_{3} \mathrm{H}_{8}$ であるので、その構成元素である炭素 C と水素 $\mathrm{H}$ の単体の分子式を代入す ると、

$
a \mathrm{C}(\text { 黒鉛 })+b \mathrm{H}_{2}=\mathrm{C}_{3} \mathrm{H}_{8}+Q[\mathrm{~kJ}]
$

という式が得られる。ここで、 $a$ と $b$ は係数である。熱化学方程式では、両辺の元素の数が一致しなけれ ばならない。この制約より $a=3, b=4$ が得られ、最終的に

$
3 \mathrm{C}(\text { 黒鉛 })+4 \mathrm{H}_{2}=\mathrm{C}_{3} \mathrm{H}_{8}+Q[\mathrm{~kJ}]
$

というプロパンの生成熱を表す熱化学方程式が得ら れる。

この式の $Q$ の値を求めるために、問題文で示され ている燃焼熱の情報を使用する。燃焼熱を表す熱化学方程式の一般式は、以下で与えられる。

$
\text { 対象物質 }+a \mathrm{O}_{2}=b \mathrm{CO}_{2}+c \mathrm{H}_{2} \mathrm{O}+Q[\mathrm{~kJ}]
$

水素、炭素 (黒鉛)、プロパンのそれぞれに対して、単体の分子式を代入し、先と同じように係数を決定 すると、以下の 3 つの熱化学方程式が得られる。

$
\begin{gathered}
\mathrm{H}_{2}+\frac{1}{2} \mathrm{O}_{2}=\mathrm{H}_{2} \mathrm{O}+286[\mathrm{~kJ}] \\
\mathrm{C}(\text { 黒鉛 })+\mathrm{O}_{2}=\mathrm{CO}_{2}+394[\mathrm{~kJ}] \\
\mathrm{C}_{3} \mathrm{H}_{8}+5 \mathrm{O}_{2}=3 \mathrm{CO}_{2}+4 \mathrm{H}_{2} \mathrm{O}+2219[\mathrm{~kJ}]
\end{gathered}
$

式 (5)-(7)を用いて式 (3) の $Q$ を求めると、

$
Q=107[\mathrm{~kJ} / \mathrm{mol}]
$

図 2 自動解答システムの構成

という解が得られる。以上が、人間が熱化学計算問題を解く場合の標準的な方法である。

上記の方法を機械化することを前提に、問題を解 くためにどのような知識・スキルが必要かを整理し よう。

物質 (元素・化合物) に関する知識 「水素」、「炭素 (黒鉛)」「プロパン」が物質であるということに 加え、分子式が与えられていない物質に対しては、単体の分子式が必要である。さらに化合物に対して は構成元素の情報が必要であり、中和反応などで は、液性 (酸・アルカリ) の情報、イオン価の情報が 必要となる。

熱化学反応に関する知識「燃焼 (熱)」、「生成 (熱)」が熱化学反応であり、それらが一般に、どの ような熱化学方程式で表現されるかという知識が必要である。

初等代数の計算スキル 反応式の係数を決定した り、複数の式から変数の值を決定するために、連立方程式を解くスキルが必要である。

日本語の理解スキル 当然のことながら、問題文 を読み、どんな情報が与えられ、何を求めることが 要求されているかを理解する必要がある。問題文の 理解のためには、初等代数の計算スキルは不要であ るが、物質 (元素・化合物) に関する知識、および、化学反応に関する知識は必須である。なぜならば、 これらの知識がなければ、問題が何を要求している のか、理解不能である。

## 3 自動解答システム

作成した自動解答システムの構成を、図 2 に示 す。システムは、問題文解釈と連立方程式ソルバー表 1 文のタイプ判定

 \\

という 2 つのモジュールと、化学知識データベー スから構成される。化学知識データベース (リレー ショナルデータベース) は、元素、単体、分子、イ オン、の４つのテーブルから構成され、化学式 (分子式)、液性 (酸・アルカリ)、状態 (気体・液体・固体)、イオン価の情報などが記述されている。

システムの中核をなす問題文解析モジュールは、 5 段階のステップで問題文 (テキスト)から連立方程式 (熱化学方程式)を立式する。問題文は、句点であ らかじめ分割し、 1 文 1 行の形式とする。問題文中 に含まれる熱化学方程式は独立した行として扱い、先頭にタブを挿入して通常の文と区別するものとす る。なお、問題文中に含まれる熱化学方程式は、式 として解釈し、出力する。

## 3.1 文分割

後段の解析を容易にするために、ヒューリス ティックを用いて文を分割する。たとえば、文 (1) は文 (2a), (2b), (2c)のように 3 文に分割する。

(1) 二酸化炭素の生成熱を $394 \mathrm{~kJ} / \mathrm{mol}$ 、水 (液体) の 生成熱を $286 \mathrm{~kJ} / \mathrm{mol}$ とすると、メタノール (液体) の生成熱は何 $\mathrm{kJ} / \mathrm{mol}$ か。

（2） a. 二酸化炭素の生成熱を $394 \mathrm{~kJ} / \mathrm{mol}$ とする。 b. 水 (液体) の生成熱を $286 \mathrm{~kJ} / \mathrm{mol}$ とする。 c. メタノール (液体) の生成熱は何 $\mathrm{kJ} / \mathrm{mol}$ か。

## 3.2 文のタイプ判定

文型パターンを用いて、文を表 1 に示す 5 つのタ イプに分類する。背景記述以外の 4 タイプに対して は、その文の重要情報 (物質名、質量、反応など) が 書かれている範囲を同定する。

## 3.3 熱化学記述の解釈

同定された重要部分を解析し、熱化学問題の記述 として解釈する。具体的には、重要部分に含まれて

図 3 熱化学記述の解釈後の内部表現

いる用語が何 (化学反応、物質名、質量、濃度など) を表しているのかを正規表現パターンにより決定 し、必要な情報を抽出する。このステップにより、表 1 の反応記述と問い記述は、図 3 に示す内部表現 に変換される。

## 3.4 参照先の同定

以下のような参照表現の参照先を同定する。

(3) a. この混合気体を...

b.このとき発生する熱量を...

前者の場合は直前の混合気体を指すものと、後者の 場合は直前の化学反応を指すものと解釈し、内部表現を組み替える。

## 3.5 方程式の立式

以上のステップで文章解析は終了し、得られた内部表現に基づいて、熱化学方程式を立式する。熱化学方程式の一般式は、反応の種別によって定まる (表 2)。立式の過程で、必要に応じて化学知識デー タベースを参照し、以下のことを行う。

1. 物質の分子式、および、構成元素の決定表 2 各反応の一般式 (係数は省略した)

生成 構成元素のリスト $=$ 対象物質 $+\mathrm{Q}[\mathrm{kJ}]$

燃焼 対象物質 $+\mathrm{O}_{2}=\mathrm{CO}_{2}+\mathrm{H}_{2} \mathrm{O}+\mathrm{Q}[\mathrm{kJ}]$

蒸発 物質 $($ 液体 $)=$ 物質 $($ 気体 $)-Q[k J]$

溶解 物質 $($ 個体 $)=$ 物質 $\mathrm{aq}+\mathrm{Q}[\mathrm{kJ}]$

中和 酸性物質 + 塩基性物質

$=$ 中和生成物の水溶液 $+\mathrm{H}_{2} \mathrm{O}+\mathrm{Q}[\mathrm{kJ}]$結合エネルギー

物質の構成元素 1 つの気体リスト $=$ 物質 $($ 気体 $)+$ 結合数 $\times$ 結合エネルギー

図 4 方程式の立式の具体例

2. 物質の標準状態での三体 (液体、気体、固体) の 決定

3. 物質の分子量に基づく、質量の $\mathrm{mol}$ の標準化

4. 酸・塩基の決定

5. 価数の決定

熱化学方程式に物質の分子式等を代入した後、係数が不定の場合は、両辺の元素数比較により係数を 決定する。なお、このステップで立式される式に は、熱化学方程式以外の式 (たとえば、水の温度上昇を表す式)も含まれる。

以上の 5 ステップにより、問題文を連立方程式と 求めるべき変数に変換する。具体例を図 4 に示す。

## 4 解答システムの性能

実装したシステムが、センター試験レベルの熱化学計算問題をどの程度解けるかを調べた。以下に示 す出典から、熱化学計算問題を抜き出し、枝問はそ れぞれ独立した問題として扱った。

開発用セットーシステムの開発に使用

マーク式総合問題集 化学 I (河合塾) [2007, 2009, 2011, 2013, 2015, 2017, 2019]、大学入試センター試験実戦問題集 化学 I (大学入試模試センター) [2008, 2010, 2012, 2014, 2019]

評価用セットーシステムの開発に使用せず センター試験 (本・追試験) [1997, 1999-2002, 2004, 2006, 2008, 2009, 2011-2016]、大学入試センター試験
表 3 システムの性能

表 4 エラー分析

実戦問題集 化学 I (代々木ゼミナール) [2006, 2008, 2010, 2012, 2014, 2016, 2017, 2019]

本システムの解答状況を表 3 に示す。この表に示 すように、開発用セットは 47 問中 38 問 $(81 \%)$ を正 しく解くことができたが、評価用セットは 57 問中 14 問 $(25 \%)$ しか解くことができなかった。

この表で、「与式のみで解答可能 (1)」は、問題文中の熱化学方程式のみから解ける (問題文の解釈が ほぼ不要な) 問題であり、「定義上の反応熱 (2)」は、立式に質量が絡まない問題である。これらの問題 は、ほぼ解けるレベルに達している。

一方、「特定質量の反応 (3)」は立式に質量が絡む 問題、「結合エネルギー (4)」は結合エネルギーが関与する問題、「複数の反応 (5)」は反応熱で水を温 めるような複数の反応を内在する問題、「混合気体 (6)」は混合気体を対象とする問題である。これらの 問題は、開発用セットでは比較的解けていたが、評価用セットでは 1 問しか解けなかった。

表 4 に、解けなかった原因の分析結果を示す。質量や質量の比を求める問題は、開発用セットには 3 問しかなかったため、これらの解法を実装しなかっ たが、評価用セットには混合気体の問題が多く含ま れており、その結果、質量や比を求める問題が全体 で 12 問存在した。これらの問題は、原理的には、現在の連立方程式を立式して解くという枠組みで解く ことができるが、熱化学記述の解釈と方程式の立式 の両ステップを補強する必要がある。

評価用セットで「特定質量の反応 (3)」の問題が 解けなかった理由の大半は、「熱化学記述の解釈の失敗 (i)」である。質量が絡む問題では、問題記述の 表現のバリエーションが多くなるが、今回使用した 開発用セットでは、このバリエーションが十分にカ バーできなかった。未知の問題に対する頑健性を向上させるためには、より広いバリエーションをカ バーする必要がある。

表現のバリエーションには、分野固有のバリエー ションと、日本語一般のバリエーションの 2 種類が ある。開発に使用する問題例を増やせば、このバリ エーションをある程度カバーできるとは考えられる が、両方のバリエーションを実際の問題例のみに求 める方法論には限界がある。理想的には、後者のバ リエーションをカバーする日本語の汎用文解析に分野固有知識を追加すれば、それらが連携して動くよ うなアーキテクチャが望ましい。今後は、そのよう な方向を模索していく必要がある。

## 5 おわりに

本稿では、熱化学計算問題の自動解法を示した。 その中核は、日本語で書かれた問題文を熱化学方程式に変換する処理であり、そのためには、化学知識 の援用が必要となる。開発用セットに対しては、前回の挑戦より多くの問題を解くことができたが、評価用セットに対する正解率は、前回と同程度に留 まった。

本研究は、大学入試問題を対象とした自動解法の 研究であるが、その本質は、テキスト理解にある。我々は、「『テキストを読む』ことは、読み手が持っ ている知識とテキストとの相互作用である」と考え る。そのため、

(4) 水素、炭素 (黒鉛)、プロパン $\mathrm{C} 3 \mathrm{H} 8$ の燃焼熱 は、それぞれ $286 \mathrm{~kJ} / \mathrm{mol}, 394 \mathrm{~kJ} / \mathrm{mol}, 2219 \mathrm{~kJ} / \mathrm{mol}$ である。

というテキストに対して、書かれている情報を直接問う「プロパンの燃焼熱は？」のような問題ではな く、明示的に書かれていない「プロパンの生成熱 は？」のような問題を扱う。このような問題を解く 方法が十分に明らかになったならば、テキストの自動理解に近づいたことになろう。

## 参考文献

[1]新井紀子, 東中竜一郎 (編). 人工知能プロジェクト「ロ ボットは東大に入れるか」. 東京大学出版会, 2018.

[2]吉田達平, 松崎拓也, 佐藤理史. 大学入試化学の計算問題 の自動解答システム. 人工知能学会第 29 回全国大会論
文集, 1K2-1, 2015.

[3]加藤汰一, 松崎拓也, 宮田玲, 佐藤理史. センター試験「化学」計算問題の自動解答システムの作成. 言語処理学会第 25 回年次大会発表論文集, pp. 894-897, 2019.


# 意味役割付与テキストに対する Prolog ベースの探索木による 言語パタンマッチシステム構築

小笠原崇
岡山大学大学院自然科学研究科
p28m4h8q@s.okayama-u.ac.jp

## 1 はじめに

近年，言語教育や言語研究分野の支援ツール開発 と活用について多くの取り組みが為されている。そ れらの中でもコンコーダンスツール1)の開発と発展 によって，言語教育や言語研究分野は大きく進展し てきている [1][2] [3]. 現在では表層的な言語マッチ だけでなく品詞や活用形，係り受けタグなどを用い た検索機能を実現した「HASHI」や「茶器」といっ たコンコーダンサが提案されている [4][5]²). 加え て, FrameNet ${ }^{3}$ や PropBank ${ }^{4}$ といった意味タグ付き コーパスの構築も進んでいると共に, 機械学習の枠組みを利用した意味役割付与システムについての研究も進展が多く見られる [6] [7] [8].

これらのタグを利用した情報抽出システムの実装例として質問応答システム Watson が挙げられる [9][10]. Watson では例えば，「Author_of(X)」といっ たある作品の著者を取り出すための言語パタンを あらかじめ Prolog プログラムとして定義した解答候補抽出モジュールが構築されている。この言語パ タンは，文節が持つタグや形態素が持つタグを用い て著者と作品関係を表す文構造を事前に定義した もので，その文構造に一致する文からの解答抽出を 実現している。このようにコンコーダンサだけでは なく, 質問応答システムの構築にも文中のタグを用 いて言語パタンを定義する手法が提案されている [11]. しかしながら, これらのシステム構築を支援 する自然言語処理ツールとしての言語パタンマッチ システムはほとんど開発されていない.

そこで本研究では，形態素タグや構文タグ，意味

\author{
竹内孔一 \\ 岡山大学大学院自然科学研究科 \\ takeuc-k@okayama-u.ac.jp
}

役割タグを利用した言語パタンに対するパタンマッ チシステムの実装手法を提案する. システムでは,意味役割をタグ付けされたテキストを Prolog 述語の 木構造に変換する。これにより, Prologクエリとし て定義された言語パタン構造とテキスト間の言語パ タンマッチを可能にする.

## 2 システム設計

システムの簡易フローチャートを図 1 に示す. 提案するシステムでは検索対象となるテキストにタグ 付与を行い，タグに基づく検索条件とのマッチ文探索，マッチ結果出力を行う．ここでシステムの設計

図 1 システムの簡易フローチャート

に際して, 意味役割付与モジュールが必要である.実装したシステムでは，当研究室で開発を進めてい る意味役割付与システム ASAを用いてテキストに 対してのタグ付けを行う．ASA はテキストの形態素解析，係り受け解析及び述語項構造シソーラズ が分類する意味役割に基づいて意味役割付与を行う システムである [12]. (図 2) また前述の通り，条件

図 2 ASA の意味役割付与の例

マッチ文探索部では検索条件と検索対象テキストの

5) http://pth.cl.cs.okayama-u.ac.jp

Prolog を用いた解探索を行う．ここで，Prolog を用 いた探索部の概要を図 3 に示す. タグ付きテキスト

図 3 Prolog パタンマッチ部の概要

を Prolog のプログラムに変換し，Prolog のクエリ形式で定義された検索条件によって文構造の一致判定 と解の抽出を行う. Prolog のプログラムはある対象物の間に存在する事実や関係性を述語として定義す ることで論理式として解釈できる. 例えば，「花子 と太郎は兄弟である」という事実は Prolog の述語で

兄弟 (花子, 太郎).

と表すことができる. この論理式に対して変数 Xを 用いて Prolog クエリを「兄弟 (花子, x).」と定義し，論理式を成立させる xが存在するかを Prolog 処理系に質問することができる. これと同様に，文節に 付与される概念タグ，意味役割タグや形態素に付与 される品詞タグを Prolog の述語として定義するこ とで，検索クエリとテキスト間のマッチングを実現 する.

次に，提案するシステムの全体像を図 4 に示す.提案システム全体の実装言語は Pythonを用いた.

図 4 Prolog を用いた言語パタンマッチシステムの全体像各モジュールの処理内容は以下の通りである.

テキスト解析モジュール ASAによる検索対象テキス トの解析を行い，タグが付与されたテキストを生成 する

Prolog 述語生成モジュール タグが付与されたテキス 卜を Prolog の述語に変換し, ファイルとして出力 する.

Prolog パタンマッチモジュール Prolog ファイルと
Prolog クエリを処理する. Python から呼び出す Prolog 処理系がパタンにマッチする解を探索し, 解 を出力する.

マッチ解出カモジュール Prolog 処理系が出力する解 を Python で抽出し，データ整形，出力を行う．

以下の節では，これら各モジュールの具体的な実装手法を説明する。

## 2.1 テキスト解析モジュール

テキスト解析モジュールは検索対象となるテキス 卜を読点区切りの一文ずつ ASA により解析し, 意味役割タグを付与した状態を生成する. ASA は文の 文節単位，形態素単位で解析を行いタグを付与する ため，解析結果はそれらをノードとする木構造で解釈することができる (図 5). システムではこれらの

図 5 ASA による文解析の木構造

ノードの接続関係を維持し，ノード間の関係性を明確にした Prolog 述語を生成することで，タグを用い た言語パタンの定義を可能にする.

## 2.2 Prolog 述語生成モジュール

Prolog 述語生成モジュールではテキスト解析モ ジュールで生成された意味役割タグ付きテキストの 木構造を基に Prolog の述語集合を生成し，ファイ ルに出力する. 木構造のノード間の関係性を Prolog の述語名として，ノードの持つ值を述語引数として Prolog 述語を定義する. ASA の解析結果木構造から 生成される Prolog 述語の一覧を表 1 に示す.ここ

表 1 Prolog の述語一覧

phrase(文, 文から分割された文節). role(文節, 文節に付与された意味役割タグ). semantic(文節, 文節に付与された概念タグ). main(文節, 文節から分割された主形態素). $\operatorname{part}($ 文節, 文節から分割された副形態素). class(形態素, 形態素に付与された品詞タグ).

で，文「生徒が校庭を走った」の文節「生徒が」に 対して生成される Prolog の述語集合を図 6 亿示す.文「生徒が校庭を走った」は文節「生徒が」を持つ
phrase(生徒が校庭を走った, 生徒が)。

role(生徒が, 動作主).

main(生徒が, 生徒).

part(生徒が, が).

class(生徒, 名詞).

$\operatorname{class}$ (が, 格助詞).

図 6 生成される Prolog 述語集合の例

という関係性が述語名 phrase で表現される. 他も 同様に，文節や形態素，付与されたタグ間の関係性 が述語名で表現されることにより, Prolog 述語集合 で木構造が再現される (図 7). この Prolog 述語集合 をファイルに出力し, 検索クエリとともに Prolog 処理系で処理を行う。

図 7 再現される Prolog の木構造

## 2.3Prolog パタンマッチモジュール

Prolog パタンマッチモジュールでは，Prolog 述語生成モジュールで出力した Prolog 述語ファイルと Prolog クエリとして設定された言語パタンを用い て，Prolog によるパタンマッチを実行する．前述の 通り, システム全体は Python で構築しているため,外部の Prolog 処理系を子プロセスとして起動して Prolog 述語ファイルとクエリを渡すことで，パタン マッチ結果を獲得する. 本システムでは Prolog 処理系 SWI-Prolog の Python インターフェイス Pyswip モ ジュールを用いて構築した.

ここで, Prologのクエリ記法について説明する.前述の通り, Prologクエリの述語引数部分を変数で 表すことにより，述語を満たすように変数が単一化6)される. Prolog の変数は大文字のアルファベッ トもしくは「_」(半角アンダーバー) から始まる 文字列を用いて表す。例えば，図 6 に示した Prolog 述語集合から意味役割が【動作主】である文節を抽出するクエリは，

6）二つの項が同一になるような変数の代入を見つけ適用する こと role(_phrase, 動作主).

と表すことができる. 対象となる Prolog 述語集合は, role(生徒が, 動作主).

という述語を含むため，単一化により_phrase に生徒がが代入され，クエリを成立させる_phraseが述語集合内に存在しない場合は false が返される. ま た，変数を用いずにクエリを設定することも可能で ある。例えば，

## role(生徒が, 動作主).

というクエリを入力すると，Prolog 述語集合内にク エリと全く同じ述語が存在するかを問い合わせるこ とができる. 存在すれば true が，存在しなければ false が返される. これらの記法と, 論理和や論理積, 論理否定の記法を合わせることでクエリを設定 できる. クエリで用いることができる論理和，論理積，論理否定の記法を表 2 に示す.

Prolog 処理系により探索された解は処理系で出力 されるが，出力データ構造が特徴的であるためマッ チ解出力モジュールにてデータを整形してシステム の出力とする.

## 2.4 マッチ解出カモジュール

マッチ解出力モジュールでは Prolog 処理系が出力 する解のデータ構造を整形してシステムの出力を 行う. Pyswip モジュールは Prolog 処理系の出力を Python 順序付き辞書に変換して抽出する機能を持つ ため, Python から Prolog 処理系の解にアクセスする ことが可能になる.この解を Python プログラムか ら出力した結果の例は以下の通りである。

・クエリが成立し，変数が単一化される場合の例 [OrderedDict([ ('_phrase1', "生徒が"), ('_phrase2' , "校庭を")

])]

・単一化なしでクエリが成立する場合 [OrderedDict()]

・クエリが成立しない場合

[]
変数が単一化される場合，変数と代入される値の 組が格納された順序付き辞書形式で出力される．変数の単一化なしでクエリが成立する場合，空の順序付き辞書が出力される. クエリが成立しない場合,空のリストが出力される。単一化が起きる場合は, ユーザが定義したクエリへの解として，Pyswip モ ジュールからの出力をそのままシステムの出力と する。一方で後者二つの例は, 本来 Prolog 処理系が true もしくは false と出力するものであり，システ ムでは単にクエリがマッチする解があるか否かを出力としたい. よって, Pyswip モジュールによる出力 の [OrderedDict()]をtrue，[] falseとして変換 することでシステムの出力とする.

## 3 システム動作確認

構築したシステムを動作させる一例を以下に示 す。本確認では，検索対象とするテキストから「著者」と「作品名」のぺアを抽出することとする．検索対象とする例文に以下の 8 文からなるテキストを 用意した.

「有川浩が図書館戦争を書いた。学校で作文を書 く。私は漫画をノートに書いた。彼は半円を書い た。彼は半円を描いた。鳥山明がドラゴンボールを 描いた。母が僕を生んだ。エジソンが電球を発明 した。」

これらのテキストに対し，「著者」と「作品名」を 含む言語パタンを以下の Prolog クエリとして用意 した.

$
\text { author (AUTHOR, WORK) :- }
$

semantic(_phrase1, 生成),

role(Author_phrase, 動作主),

role(Work_phrase, 対象),

main(Author_phrase,_word1),

not(class(_word1, 代名詞)),

main(Work_phrase,_word2),

not(class(_word2, 代名詞)),

not(main(_phrase1, 発明する)),

main(Author_phrase, AUTHOR),

main(Work_phrase, WORK).

検索対象テキストと Prolog クエリをシステムに入力することにより，以下の結果が得られる.

[

[OrderedDict([

( 'AUTHOR' , "有川浩"),
('WORK' , "図書館戦争")

])],

[OrderedDict([

( 'AUTHOR' , "鳥山明"),

('WORK ' , "ドラゴンボール")

])]

]

## 4 今後の課題

今後の課題として，このシステムを日本語にのみ 対応するツールとしてではなく多言語にも対応でき るよう構築を進めたいと考える。また，システムの 出力に関して，言語パタンとテキストがマッチしな い場合に false を出力する仕様である. しかしなが ら，言語パタンが何故マッチしなかったのかを考え ながら言語パタンを調整したい場合，出力が false のみでは調整は容易くない．本システムが保持する Prolog 述語のテキスト木構造も出力可能にするなど の改善の余地が見られる。

## 5 おわりに

本研究では，意味役割付与テキストと Prologを用 いて言語パタンマッチシステムの構築を行った.今後は，多言語対応およびシステムの出力等，改善に 努めたい。

## 謝辞

本研究の遂行にあたって JSPS 科研費 19K00552 お よび国立国語研究所機関拠点型基幹研究プロジェク ト「統語・意味解析コーパスの開発と言語研究」の 支援を受けた。

## 参考文献

[1] 小木曽智信, 中村壮範. 通時コーパス用『中納言』： Web ベースの古典語コンコーダンサー.

[2] 中條清美, アントニ・ローレンス, 内山将夫, 西垣知佳子. フリーウェア WebParaNews オンライン・コン コーダンサーの英語授業における活用. 日本大学生産工学部研究報告 B (文系), Vol. 47, pp. 49-63, 2014.

[3] 藤原康弘. 小学校英語ウェブコンコーダンサーの 構築と利用: 教科化を見据えて (シンポジウム英語教育・研究のための教材コーパスの構築と利用: 実践例と課題). 英語コーパス研究, No. 22, pp. 65-76, 2015.

[4] 田中良ほか. 多言語対応コンコーダンサー『HASHI』:日本語と日本語教育と社会言語学の研究を中心に. 2015.

[5] 松本裕治, 浅原正幸, 岩立将和, 森田敏生ほか. 形態素・係り受け解析済みコーパス管理・検索ツー

ル「茶器」. 研究報告自然言語処理 (NL), Vol. 2010, No. 18, pp. 1-6, 2010.

[6] Richard Johansson and Pierre Nugues. A FrameNet-based semantic role labeler for Swedish. In Proceedings of the COLING/ACL 2006 main conference poster sessions, pp. 436-443, 2006.

[7] Richard Johansson and Pierre Nugues. Dependency-based semantic role labeling of Propbank. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 69-78, 2008.

[8] 竹内孔一, 土山傑, 守屋将人, 森安祐樹. 類似した動作 や状況を検索するための意味役割及び動詞語義付与 システムの構築. 電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション, Vol. 109, No. 390, pp. 1-6, 2010.

[9] Adam Lally and Paul Fodor. Natural language processing with Prolog in the IBM Watson system. The Association for Logic Programming (ALP) Newsletter, 2011.

[10] Adam Lally, John M Prager, Michael C McCord, Branimir K Boguraev, Siddharth Patwardhan, James Fan, Paul Fodor, and Jennifer Chu-Carroll. Question analysis: How Watson reads a clue. IBM Journal of Research and Development, Vol. 56, No. 3.4, pp. 2-1, 2012.

[11] Kohsuke Yanai, Misa Sato, Toshihiko Yanase, Kenzo Kurotsuchi, Yuta Koreeda, and Yoshiki Niwa. Struap: A tool for bundling linguistic trees through structure-based abstract pattern. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 31-36, 2017.

[12] 竹内孔一, 石原靖弘, 竹内奈央. 述語項構造のシソー ラス分類と意味役割の設計について. 人工知能学会全国大会論文集 第 27 回全国大会 (2013). 一般社団法人人工知能学会, 2013.


# 遺伝子二重欠失研究のための関連論文検索手法

平野竧野村航進藤裕之渡辺太郎
奈良先端科学技術大学院大学 先端科学技術研究科
}

hirano.hayate.hc2@is.naist.jp w-nomura@bs.naist.jp

\{shindo, taro\}@is.naist.jp
## 1 はじめに

生物学と情報科学の学際的分野であるバイオイン フォマティクスにおいて，実験から得られた情報か らの知識発見は課題の一つである. 例えば大腸菌に ついて , ゲノム (遺伝情報) の化学合成および最小化を目的とするゲノムデザインを目指し，遺伝子欠失株と呼ばれる特定遺伝子が機能しない細胞を用い て,「どの遺伝子が削れるのか」という観点から研究が進められている [1].しかし遺伝的相互作用の 組み合わせが非常に多く, 生物学的知見がもっとも 大きい生物である大腸菌でさえ，ゲノムデザインの 達成には程遠い現状がある [1] .

本研究では，2 種類の遺伝子を喪失させた遺伝子二重欠失株の生育実験をより効率的に行えるように することを目標とし，クエリとして与えられた 2 種類の遺伝子に対する相補的な関連性の検証に有用 な論文を検索する方法を提案する．具体的には，木構造トピックモデルで得られる文書および単語の トピック分布を応用する . Latent Dirichlet Allocation (LDA [2]) に代表される一般的なトピックモデルと 異なりトピック同士の類似性や粒度の違いを考える ことができるため, 別々のトピックに属する単語や 文書に対しても類似するかどうかを考えることがで きる. 実験により階層構造を持つトピック分布は光 うでないものと比べ, 遺伝子の相互作用をより適切 に捉えられる可能性を示した。

## 2 関連研究

情報検索タスクには文書群からのデータ検索だけ でなく，SQL をはじめとする構造化されたデータか らの知識発見などさまざまな設定が存在する.この うちテキスト検索は，ユーザの入力したクェリに対 してランク付けされたテキスト群を結果として返 すものであり，情報検索における主要な問題である

図 1 クエリ : “b0720 b0002”および“b0928 b0231” の設定 における取得された関連文献上位 3 件

[3] . 情報検索も他の自然言語処理タスク同様, 単語および文書のべクトル表現の学習に重点を置いて おり，BERT やPT-2などの事前学習済みの言語モ デルを文書検索に利用する研究がある $[4,5]$.

また , 情報検索において文書の表現には Latent Semantic Indexing (LSI) をはじめとするべクトル空間 モデルが広く用いられてきた . LDA [2] は LSI を生成モデルに拡張したものであり, 潜在的な意味「卜 ピック」からの単語の生成, および文書からのト ピックの生成を行う際, Dirichlet 分布を事前分布に 仮定する. 代表的なトピックモデルとして様々な久 スクへと応用されている。

ここで，LDA は大量文書に適応が可能な手法で ある一方，トピック同士の関連や粒度の違いを考慮 することができない．トピック同士に階層構造を持 たせる木構造トピックモデルは光れを可能にする が，大量文書への適用が困難であった . Isonuma ら [6] は木構造卜ピックモデルにおいて, 文書からト ピック分布への写像をニューラルネットワークで構成する手法を提案した．これにより大量文書へに対 して木構造トピックモデルの構築, 情報検索をはじ めとする下流タスクへの応用が可能となった .

## 3 提案手法

本研究では , 実験対象の 2 種類の遺伝子をクェリ として与えたときに互いの差異を含むような文献が

図 2 モデルの概略図

検索できるようにすることで，遺伝子欠失研究の仮説検証を補助することを目的とする．关こで生物医学分野の論文を対象に，木構造ニューラルトピック モデル [6] により獲得される文書のトピック分布お よびトピックに紐づく単語分布を文書検索に利用 する。

トピックモデル LDA [2] を情報検索に利用する場合, 例えば文書分類では文書 $d$ のトピック分布 $\theta_{d}$ およびトピック $z$ に紐づく単語分布 $\phi_{z}$ が光れ光れ パラメータ $\alpha, \beta$ である Dirichlet 分布から生成される とした上で, 文書（観測値である単語の集合 $\mathbf{w}$ で表現される) の生成確率

$
\begin{aligned}
p(\mathbf{w} \mid \alpha, \beta)=\int & \int \prod_{z=1}^{X} P\left(\phi_{z} \mid \beta\right) \prod_{d=1}^{N} P\left(\theta_{d} \mid \alpha\right) \\
& \left(\prod_{i=1}^{N_{d}} \sum_{z_{i}=1}^{K} P\left(z_{i} \mid \theta\right) P\left(w_{i} \mid z, \phi\right)\right) d \theta d \phi
\end{aligned}
$

により各文書についてもっとも確率値の高いトピッ クに割り当てることで行うことができる.ここで， トピック数 $K$ は開発データにおける perplexity と呼 ばれる指標により事前に決定する必要がある．

一方 , Isonuma ら [6] が提案するモデルでは事前分布から無限木上のトピック分布への写像をニューラ ルネットワークで構成することにより，トピック数 を動的に学習させることが可能である。

図 2 は提案手法の流れを示している.クェリとし

の対応の強さを推定する．具体的には，Wei ら [7] の手法に従いクェリ $q$ に対して $p(q \mid D)$ を以下の式 (2) で表わされる文書スムージングにより計算する .

$
\begin{aligned}
p(q \mid D)= & \lambda\left(\frac{N_{d}}{N_{d}+\mu} p_{M L}(q \mid D)+\right. \\
& \left.\left(1-\frac{N_{d}}{N_{d}+\mu}\right) p_{M L}(q \mid \text { coll })\right)+ \\
& (1-\lambda) p_{t m}(q \mid D)
\end{aligned}
$

ただし $p_{M L}(q \mid D)$ は文書 $D$ におけるクエリ $q$ の最尤推定量，すなわち文書を構成する単語数 $N_{d}$ に対す る出現語彙数 $c(q, D)$ の割合 $\frac{c(q, D)}{N_{d}}$ を, $p_{M L}(q \mid$ coll $)$ は全文書集合におけるクエリ $q$ の最尤推定量，すな わち $\Sigma_{D \in \text { coll }} \frac{c(q, D)}{N_{d}}$ を表す.また, $p_{t m}(q \mid D)$ は文書 モデルであり，各トピックに紐づく単語分布の推定値 $\hat{\phi}$ おび文書のトピック分布の推定値 $\hat{\theta}$ を用いて 以下のように書ける。

$
\begin{aligned}
p_{t m}(q \mid D) & =\sum_{n=1}^{N} p_{t m}\left(q \mid z_{n}\right) p_{t m}\left(z_{n} \mid D\right) \\
& =\sum_{n=1}^{N} p\left(q \mid z_{n}, \hat{\phi}\right) p\left(z_{n} \mid \hat{\theta}, D\right)
\end{aligned}
$

本研究では , クエリとして与える 2 種類の遺伝子に 相補的な関連を持つ文書集合を獲得したい.クエリ を各々 $q_{1}, q_{2} \in Q$ とした場合に，2つのクエリに対 する文書との関連の強さは

$
p(Q \mid D)=\prod_{i=1}^{2} p\left(q_{i} \mid D\right)
$

と書けることから，式 (2) はクエリを構成する各々 の単語について計算し，積を取ることで求められ る.クェリである遺伝子双方に関連する文書群と，各々の遺伝子について関連する文書群との関連の大 きさの差が大きかった文書を 2 種類の遺伝子に相補的な情報を持つ文書とする。

## 4 実験

## 4.1 データセット

生物医学系の研究論文が広く収集されているデー タベースの一つである PubMed ${ }^{11}$ から論文データを 取得した.ここで，PubMed に収集されている論文 には Medical Subject Headings $(\mathrm{MeSH})^{2)}$ と呼ばれる

1) https://pubmed.ncbi.nlm.nih.gov/

2) https://www.nlm.nih.gov/mesh/meshhome.html
生物医学語彙データベース中の語句がラベルとして 振られており，これにより的確な検索が可能となっ ている.本研究では, 大腸菌 (Escherichia coli) に関 する研究論文のみを対象とするため, MeSH データ ベース中の小分類, Escherichia coliを利用した.下位分類として生物学の研究に主に用いられる大腸菌株 Escherichia coli $\mathrm{K} 12$ が存在するが, ラベルの網羅性の低さからこれは用いないこととした．検索され た論文のうち，本文をプレーンテキストとして取得 できた 16,740 件を実験の対象とした .

前述の論文本文データに加え，大腸菌遺伝子と同義な用語や概念, 例えば遺伝子 gltA は, 各大腸菌遺伝子に一意に振られる b number である b0720 と同義とみなされる. 光れらを同一視するため, 各遺伝子の同義語を生物医学データベース群, EcoCyc ${ }^{3)}$, EcoGene $^{4)}$, KEGG $^{5)}$, RegulonDB ${ }^{6)}$ から収集した

さらに，検索された文書群がどの程度クェリとし て与えた遺伝子の相補的な情報を保持するかを検定 するために，遺伝子二重欠失株生育データを利用す る.これは大腸菌二重遺伝子欠失実験により得られ た 4,000 150 遺伝子対について，遺伝子欠失後の 大腸菌の生育状況を生, 死, 不変にて3 值化したも のである .

## 4.2 実験設定

4.1 節で得られた論文本文のデータには NLTK を 利用してストップワードの除去 , および見出し語へ の変換 (Lemmatization) を行った. 加えて, 遺伝子 を表す単語は収集した遺伝子の同義語群を用いて b number に統一した ${ }^{7)}$. 低頻度語も除去し，遺伝子以外の語は 1,741 種類，遺伝子は 552 種類を利用す る. これら文書群は評価用と光れ以外に 6,652 件， 10, 088 件に分割し，更に評価用でない文書群は訓練用と検証用に 9,031 件，1,057 件に分割した ${ }^{8)}$.

加えて遺伝子二重欠失株生育データに対して，遺伝子を欠失順序ごとに Head 遺伝子, Tail 遺伝子と呼 び，羊れらを入れ替えた場合に生育状況か湾化する もの，変化しないものの二值化を行った．入れ替え

3) https://ecocyc.org

4) http://ecogene.org

5) https://www.kegg.jp

6) http://regulondb.ccg.unam.mx

7) 同義な語であっても一意に b number に置換できない場合が ある. 本研究では収集した同義語群において, 当該の語から b numberへの変換が一意に定まるもののみを対象とした .

8) 分割は [8] が採用し, Isonuma ら [6] も同様にしている 20 News Corpus の分割比, 訓練データ: 検証データ +評価データ $=3: 2$, 検証データ $:$ 評価データ $=1: 9$ にしたがった .

図 3 木構造ニューラルトピックモデルにより学習された トピックの階層構造 : 各トピックの上位 3 語を表示

によって生育状況が変化した遺伝子対は 1,982 組，変化しない，もしくは実験が行われていないものは 214, 990 組得られた . このうち前述の 552 種類の遺伝子に含まれる各 8 組を検定に利用した ?9)

また文書モデルの計算のための木構造ニューラ ルトピックモデルのハイパーパラメータは Isonuma ら [6] の設定に従った．また文書検索については， Wei ら [7] のパラメータに従い $, \mu=1000, \lambda=0.7$ を 用いた。

## 4.3 文書検索の結果

本研究では，式 (2) で計算される文書モデルを利用し，各文書 $D$ に対して $\sum_{i} p\left(q_{i} \mid D\right)-p(Q \mid D)$ の降順に各 10 文献を取得した . 得られた結果に対して Mann-Whitney のU 検定を用いて，遺伝子二重欠失実験において生育状況の変化のあったもの，なかっ たものの各遺伝子組について検索順序の中央值の差 の検定を行った。

また, 大腸菌二重遺伝子欠失実験により得られた 欠失順序の違いにより生育状況に変化のあった遺伝子，および変化のなかった遺伝子，各 8 組について 文書検索を行つた . 5 組について帰無仮説は棄却さ れ，中央値に差があることが示された . 結果の一例 は表 1 に示した．ここから，生育状況に変化のあつ た遺伝子となかった遺伝子の 2 群間で異なる検索分布が提案手法により得られたと言える。

図 1 に取得された文献の一例を示す. 遺伝子 b0720，b0002 は遺伝子生育実験により，欠失順序に よって生育状況が変化すると判断された組，b0928， b0231 は変化しないと判断された組である. 検索さ れた文書順序は実験対象の 8 件での上位 20 文献に ついてはほとんど変化がなかった．これは，トピッ

9) ある Head の欠失遺伝子について，各 Tail 遺伝子すべてにつ いて上位 $5 \%$ を生，下位 $5 \%$ を死とした。生育状況 LB 培地培地上での大腸菌コロニーサイズの増減によって計算される。
表 1 文書検索結果 : b0720,b0002 ゚゚アおよび b0928,b0231 ゚゚ア同士の代表値についての両側検定結果

$
* p<0.05
$

クモデルと文書検索の学習を別々に行ったことが一因と考えられ，一体での学習は今後の課題である。

## 4.4 木構造卜ピックによる効果

フラットなトピックモデルを利用した場合と比較 して木構造トピックが文書検索性能に影響があるか を検証する．図３は木構造ニューラルトピックモデ ルにより獲得されたトピックの階層構造を図示した ものである.上位には “growth”などの概念的な語が 見られるが，下位には“enzyme”や“pcr”など具体的 な語が含まれることがわかる.フラットなトピック モデルの一例として LDA [2]を利用する. 提案手法 との比較のためトピック数は同一の 19 に,訓練に は訓練用文書 9,031 件を用いた。検証用文書 1,057 件での Perplexity が 10 反復連続で変化しなかったと ころでモデルの学習を打ち切った。

結果は表 1 に示した．LDAへと変更したことに より帰無仮説の棄却数は変わらず 5 件であった . し かしながら，実験の対象とした 8 件の遺伝子の組す べてにおいて中央值は木構造ニューラルトピックモ デルの方が大きくなった．このことから実験的にト ピックに階層構造を持たせることが，2 種類の遺伝子に相補的な関連をもつ論文を検索することを目的 とする本研究には役に立つ可能性が示唆される。

## 5 おわりに

本研究では，情報検索技術を背景にゲノムデザイ ン研究の支援を行うことを目的とした . 他の生物と 比較して研究の進んでいる大腸菌においても，いま だ知られていない遺伝子相互作用が人の手に余るほ ど存在することを鑑みると，実験結果に関連のある 情報を取得する技術は遺伝子欠失，ひいてはゲノム デザイン研究の効率化の一助となる。

そこで論文を効率よく検索することを目指し，木構造ニューラルトピックモデルで得られるトピック に紐づく単語分布および文書のトピック分布を後続
のモデルの推論に利用し，実験により階層構造をも たないトピックモデルよりもより効果的に論文を取得できる可能性を示した . 今後は木構造ニューラル トピックモデルの強みの一つである，下流タスクと の一体的な学習を進める。

## 参考文献

[1]浩禎 森. ゲノムデザインに向けて (創立 90 周年記念特別企画: バイオ技術 10 年の軌跡特集 大規模ゲノム改変技術と微生物育種工学: バイオモノづくり技術と合成生物学の発想). 生物工学会誌, 90(6):293-297, 2012.

[2]David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, 3(Jan):993-1022, 2003.

[3]Bhaskar Mitra, Nick Craswell, et al. An introduction to neural information retrieval. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, 13(1):1-126, 2018.

[4]Wei Yang, Haotian Zhang, and Jimmy Lin. Simple applications of bert for ad hoc document retrieval. arXiv preprint arXiv:1903.10972, 2019.

[5]Yosi Mass and Haggai Roitman. Ad-hoc document retrieval using weak-supervision with BERT and GPT2. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4191-4197, Online, November 2020. Association for Computational Linguistics.

[6]Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Tree-Structured Neural Topic Model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 800-806, Online, July 2020. Association for Computational Linguistics.

[7]Xing Wei and W Bruce Croft. Lda-based document models for ad-hoc retrieval. In Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval, pages 178-185, 2006.

[8]Akash Srivastava and Charles Sutton. Autoencoding variational inference for topic models. arXiv preprint arXiv:1703.01488, 2017.