# マイクロブログからの消失エンティティの検知

赤崎 智 1 吉永 直樹 2 豊田 正史 ${ }^{2}$
1 東京大学大学院 情報理工学系研究科 2 東京大学生産技術研究所
\{akasaki, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp

## 概要

人物や作品，イベント等のエンティティに関する 行動や意思決定を補助するため，閉店する施設や終了するサービス等の現実世界から消失するエンティ ティに着目し，それらをマイクロブログから検知す る新しいタスクに取り組む. 我々は消失エンティ ティが特有な文脈を伴うことに着目し，それらを高精度に収集できるように distant supervision の手法を 改良する。また，収集したデータを使ってエンティ ティ認識モデルを学習する際に, 単語分散表現をマ イクロブログ投稿で追加学習し与えることで，大域的な特徴を考慮する. 実験により提案手法が精度良 く消失エンティティを検知できることを確認する。

## 1 はじめに

我々は，人物や作品，イベントといった現実世界 を構成するエンティティの変化を意識して，日々の 行動や意思決定を行っている. これらのエンティ ティの中でも特に重要なのが，その消失1)に関する 情報である。例えば，一般人であれば興味関心のあ る施設や店舗等の閉店情報や近日中に終了するイベ ントをいち早く知る必要があり, 企業であれば終了 するサービス等を網羅することが業界内外のトレ ンド分析等に繋がる．また，エンティティを集積す る知識べースにおいても，消失したというエンティ ティの状態を更新することが必要である.

エンティティの消失を捉える方法として，知識 ベース等のエンティティ辞書を用意し，それらの出現頻度を監視する手法が考えられる。しかし，エン ティティは消失しても言及され続ける場合があった り，逆に長期間言及されていなくてもそれが消失で はない他の要因であったりするため, 何をもってエ ンティティが消失したかを判断するかが難しい.

これを踏まえ，本研究は公式情報やニュース，個

1）本研究では簡便のため、エンティティの存在が実世界から なくなること (例: 人の死没，店の閉店)を，消失とみなす。人の体験に至るあらゆる情報が発信されるマイクロ ブログを対象に，消失エンティティを検知するタス クに取り組む. 我々はユーザがマイクロブログで消失エンティティに言及する際，消失を示唆する特有 の文脈 (表 1)を使うことに着目する。これらの文脈 を効率的に収集するため，知識べースと時系列テキ ストから半教師あり学習でラベル付きデータを生成 する time-sensitive distant supervision (TDS) [1] を改良 して用いる. 具体的には，知識べースに記述された エンティティの消失タイミングを文脈収集時に考慮 し，なるべくノイズが混入しないょうにする。

収集したデータを用いて，NERによる消失エン ティティ認識モデルを構築する。この際，消失エン ティティがマイクロブログ上でバーストして出現し やすいことに着目し，これらの複数投稿を用いて単語分散表現を追加学習し, NER モデルの追加特徵と して与えより頑健なエンティティ認識を行う.

実験ではマイクロブログである Twitter から，改良 した TDS で訓練データを収集し，提案する NER モ デルを学習する. 人手で構築したテストデータに対 しモデルを適用することで消失エンティティの認識 を評価し，提案手法の有効性を確認する。

## 2 消失エンティティ

本節では消失エンティティを，赤崎ら [1] の新エ ンティティの定義を参考に定義する．赤崎らは，現実世界に新しく現れたエンティティは最初に現れて から世間に周知されるまでの過程があり [2], その 過程において特有な表現を伴って言及されることを 報告している. 我々は消失エンティティも同様に消失した時点だけでなくそれまでの過程で，予定や前兆を示す特有な表現が文脈に現れる (表 1)ことに着目し，以下のように消失エンティティを定義した:

消失文脈 読み手がエンティティの消失を認知して いないことを，書き手が仮定している文脈

消失エンティティ 消失文脈で現れるエンティティ

表 1: TDS で Twitter から収集した消失エンティティデータセットの統計 ( 英語)と消失文脈の例

この消失文脈を捉えることで，死没した人物等の 既に消失したエンティティだけでなく，終了前のイ ベントや施設，サービス等の事前にその消失を知る ことが重要なエンティティも早期に認識できる.

## 3 関連研究

我々が定義する消失エンティティを認識する研究 は存在しないが，本節では関連研究を概観する。

エンティティについての知識を抽出するために， テキスト中のエンティティを知識ベースのエントリ と対応付ける Entity Linking [3] タスクがある. 消失 の情報も対応付けた先から抽出できるが，知識べー スの更新は遅いため早期に知識が取り出せず [4], また低頻度なエンティティについては対応付けるエ ントリがそもそも存在しないという問題がある.

テキスト中に出現するエンティティの様々なイベ ント (例: 人物の出生や結婚，死没)を認識するイベ ント抽出 $[5,6,7,8]$ や，その期間 (例: 人物の存命期間)を同定する時間的穴埋めタスク $[9,10]$ がある. しかし，これらが扱うイベントの種類はごく僅かで あり，多様なエンティティの消失に対応できない。

我々とは対照的に，赤崎ら $[1,11]$ は現実世界に新 しく現れる新エンティティを発見するタスクに取り 組んだ。彼らは新エンティティが現れる際に特有の 文脈を伴うことに着目し，それらをマイクロブログ 投稿の時系列を利用し収集する TDS を提案した。

## 4 提案手法

## 4.1 改良 TDS に基づく消失文脈の収集

赤崎ら [1] の TDS はマイクロブログ等の時系列 テキストのタイムスタンプを利用し，知識ベース のエンティティの特定の文脈を収集する手法であ る. 彼らは新エンティティに特有の文脈に着目し, Wikipedia の各エンティティについて，それがマイ クロブログの時系列で最初に現れた投稿を新エン
ティティの文脈とみなし収集した。これを消失エン ティティの収集に当てはめると，エンティティにつ いて時系列で最後の投稿を集めることになるが，消失エンティティは新エンティティと異なり実際に消失した後も言及が続くため，消失とは関係のない文脈が集まってしまう．そこで我々は，消失の大まか なタイミングを考慮し精度良く消失文脈を収集する よう TDS を改良する，具体的な手順は以下である：

Step 1: 消失エンティティ候補の収集まず， Wikipedia の記事タイトルをエンティティとして収集する。この時，実際に消失しているエンティティ のみを集めるため，Wikipedia の「廃止された事物一覧 $\left.{ }^{2}\right.\rfloor$ からエンティティとその廃止年を収集する。 ここから，廃止年と Twitter 上で最初に出現した年 が同一であるエンティティ及び，曖昧さ回避の記事 が存在するエンティティを除去する。これは，訓練 データに新エンティティや同名異義のエンティティ が混ざることで文脈が污染されることを防ぐ。

Step 2: 消失文脈の収集収集した各エンティティに ついて，廃止年の Twitter 上で最も出現頻度が高かっ た日の投稿を上限 100 件まで収集する。これは，廃止年に最も関心を得たタイミングの投稿は消失文脈 を含むという仮定に基づいている。

以上で収集した文脈を正例としそのまま NER モ デルを訓練してしまうと，モデルは訓練事例のエ ンティティ文字列を検出するよう学習してしまい [12]，文脈を識別する能力が欠如する。そのため,赤崎らは各エンティティについて，収集した文脈と は異なる文脈の投稿を負例としてサンプルし，モデ ルが文脈を識別しエンティティを認識できるよう工夫した. 我々も同様に正例として集めた各エンティ ティと消失文脈について，それの廃止年よりも前年 の投稿，すなわち確実に消失していない時点の投稿 を非消失文脈として同数サンプルし負例とする。

2) https://en.wikipedia.org/w/index.php?title=Category: Disestablishments_by_year

図 1: マイクロブログを利用した単語分散表現の追加学習 (右) とそれを用いた消失エンティティの認識 (左)

## 4.2 消失エンティティの検知

収集したデータを用いて消失エンティティを認識 する NER モデルを訓練する。消失エンティティは その数自体が少なく，収集したデータもある程度ノ イズを含むためモデルの学習が不安定になる. そこ で我々はマイクロブログにおいて消失エンティティ が観測される時にバーストしやすい現象に着目し， それらの投稿から得た特徴をモデルに入力し頑健な 学習を行う。以下で単語分散表現を利用した特徵抽出と，それを組み込む提案モデルについて説明する:

## マイクロブログを用いた単語分散表現の追加学習

前述した通り複数投稿から特徴を抽出したいが，モ デルのテスト時に認識対象のエンティティは不明で あるため，関連する投稿を大規模な Twitter 投稿から 選択することは難しい. そこで我々は，多くの深層学習モデルが単語分散表現をモデルに入力すること に着目し，これを消失エンティティを検出する日付 の Twitter 投稿で追加学習することを提案する (図 1 右). 追加学習は投稿群を入力とする教師なし学習 であり関連投稿も抽出する必要がない上，得られる 分散表現は検出日の Twitter 投稿によく現れる単語 や共起を反映しており有用な特徴となっている.

具体的には我々はまず，前節でデータを収集した 期間以前の投稿を用いてべースとなる単語分散表現 $v_{\text {base }}$ の事前学習を行う. 次に，前節で収集した データの正例負例の全投稿の日付を列挙し, 各日付 $d$ の投稿を用いて $v_{\text {base }}$ を追加学習し， $v_{d}$ を得る.

追加学習済単語分散表現を用いた系列ラベリング

我々は, 系列ラベリングで NER を行う Akbik ら [13] の手法を認識モデルとして用いる. このモデルは，入力文の各単語を文字ベース Bi-LSTM 言語モデル でエンコードし, 事前学習済単語分散表現 $v_{\text {base }}$ と 合わせて Bi-LSTM に入力しCRF 層で予測を行う.

我々はもう一つ Bi-LSTMを準備し, 入力投稿の投稿日 $d$ における追加学習済の $v_{d}$ を各単語毎に入力 し, 得られた各時刻の出力を元の Bi-LSTM の出力 と連結し $\mathrm{CRF}$ 層に入力する (図 1 左). これにより, モデルは各単語に関する Twitter 上の大域的な情報 も考慮することができ，頑健な予測が可能となる。

## 5 実験

## 5.1 データ

我々は 4.1 節の手法を研究室で 2011 年から収集 している 50 億投稿規模の Twitter アーカイブに適用 し, 英日の言語のデータセットを構築した. まず, Step 1を実施し, Wikipedia の廃止された事物一覧か ら 2012 年から 2019 年の記事を収集した.この際,廃止ページに記載された記事のカテゴリを人手で 粗いタイプに分類し (英語 6 種, 日本語 5 種), それ らをエンティティに付与した. この時, PeRSON と CREATIVE WORK タイプのエンティティ数が他のタイ プのものより極端に多かったため, それぞれ 1000 件 にダウンサンプルした. 次に Step 2 を実施し, 各エ ンティティについて正例と負例を収集した。我々は この内の 2018 年までのデータを訓練データ, 2019 年のデータを後述のテストデータとして用いた.表 1,4 に構築した訓練データの内訳をタイプ別に示 す. 訓練データの $10 \%$ 開発データとして用いた。

我々は適切な評価を行うため，テストデータを人手で以下の手順で作成した. 英日両言語において,

2019 年の各エンティティの正例からランダムに 3 投稿を抽出し, 主著者を含めた 3 人のアノテータに各投稿が消失文脈を含むか判定させ， 2 人以上が含む と判定した投稿をテストデータの正例として採用し た。また負例を用いて同手順で各投稿が非消失文脈 を含むか判定させ，正例と同数テストデータの負例 として採用した。これにより，英語の消失エンティ ティ 357 件と文脈 1,922 件，日本語の消失エンティ ティ 235 件と文脈 1,326 件を得た (表 5,6). Fleiss's Kappa による判定者内一致は英語が 0.722 , 日本語 が 0.786 で両者ともに十分に高く, 我々の消失エン ティティの定義が適切であることを示している.

## 5.2 モデル

我々は以下の 3 つのモデルを比較に用いる:

改良 TDS + 追加学習: 提案手法で構築したデータを 用いて，提案モデルを訓練した。

改良 TDS: 提案手法で構築したデータを用いて Akbik らのモデルを訓練した. 本モデルは追加学習 した単語分散表現を用いない.

ベースライン: TDSを 4.1 節の改良なしで行いデー タを構築し (手順の詳細は A. 2 参照)，それを用いて Akbik らのモデルを訓練した.

## 5.3 実験設定

我々は構築したデータの各投稿から URL，ハッ シュタグ，ユーザ名を除去し，日本語について は MeCab (ipa 辞書) を，英語については spaCyを 用いてトークナイズした. Akbik らの NER モデル は Keras (ver.2.3.1)を用いて実装し，パラメータは Akbik らが推奨するものと同じとした. 文字べース Bi-LSTM 言語モデルは 2011 年 3 月 11 日から 2011 年 12 月 31 日の英語 20 億投稿, 日本語 8 億投稿を用 いて訓練した. 同様の投稿を用いて，300 次元の単語分散表現 $v_{\text {base }}$ を fastText [14]を用いて訓練した.訓練及びテストデータの投稿の日付 $d$ の投稿 (平均 200 万投稿) を用いて $v_{\text {base }}$ を追加学習し， $v_{d}$ を獲得 した. 我々は開発データで $\mathrm{F}$ 值が最大になるエポッ クの NER モデルをテストデータに適用した.

## 5.4 結果

我々は各モデルを英日のテストデータの各投稿 に適用し，NER の最もシンプルな評価手法であ る CoNLL-2003 [15] のスキーマを用いて評価した.

表 2: 各モデルの評価 (英日)

(a) 英語

(b) 日本語

表 3: 改良 TDS + 追加学習のタイプ別評価 (英日)

表 2 に各モデルの $\mathrm{F}$ 値を示す.これより，英日いず れのデータにおいて二つの提案手法がベースライン の性能を大きく上回っていることがわかる. ベース ラインは文脈を収集する際に消失タイミングを考慮 しない結果，ノイズとなる文脈が訓練データに混入 し性能が大幅に下がったと考えられる。二つの提案手法を比べると，追加学習した単語分散表現を用い た方が数值が向上しており，これは単一の入力投稿 からは判定が難しいエンティティでも，大域的な情報を考慮して検知できていることを示している。

表 2 に，改良 TDS + 追加学習のタイプ別の結果を 示す. 英日ともに PERSON タイプの精度が良く, こ れは人物自体がエンティティ表層から容易に認識可能であるからと考えられる。一方で英語の CREATIVE wORk や Service\&Product, 日本語の Event タイプ は精度が低く，これらのタイプは TDS で構築した 学習データにノイズが多いことを示唆している。

## 6 おわりに

本研究はマイクロブログから消失エンティティを 検知するタスクに取り組んだ. エンティティの消失 のタイミングが不明瞭であることに対応するため, TDS を改良し精度良く消失文脈を収集した。データ 数が少なく認識モデルの学習が安定しないことに対応するため，単語分散表現をマイクロブログ投稿で 追加学習する手法を提案した. 実験の結果，提案手法は高精度に消失エンティティを検知した。

## 謝辞

本研究は JSPS 科研費 JP21H03494 の助成を受けた ものです.

## 参考文献

[1] Satoshi Akasaki, Naoki Yoshinaga, and Masashi Toyoda. Early discovery of emerging entities in microblogs. In Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI), pp. 4882-4889, 2019.

[2] David Graus, Daan Odijk, and Maarten de Rijke. The birth of collective memories: Analyzing emerging entities in text streams. Journal of the Association for Information Science and Technology, Vol. 69, No. 6, pp. 773-786, 2018.

[3] Wei Shen, Jianyong Wang, and Jiawei Han. Entity linking with a knowledge base: Issues, techniques, and solutions. IEEE Transactions on Knowledge and Data Engineering, Vol. 27, No. 2, pp. 443-460, 2014.

[4] Zhaohui Wu, Yang Song, and C Lee Giles. Exploring multiple feature spaces for novel entity discovery. In Proceedings of the 30th AAAI Conference on Artificial Intelligence (AAAI), pp. 3073-3079, 2016.

[5] Alan Ritter, Oren Etzioni, and Sam Clark. Open domain event extraction from twitter. In Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining (KDD), pp. 1104-1112, 2012.

[6] Thien Huu Nguyen and Ralph Grishman. Event detection and domain adaptation with convolutional neural networks. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 365-371, 2015.

[7] Jing Lu and Vincent Ng. Joint learning for event coreference resolution. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 90-101, 2017.

[8] Jian Liu, Yubo Chen, Kang Liu, Wei Bi, and Xiaojiang Liu. Event extraction as machine reading comprehension. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language
Processing (EMNLP), pp. 1641-1651, 2020.

[9] Heng Ji, Ralph Grishman, Hoa Trang Dang, Kira Griffitt, and Joe Ellis. Overview of the tac 2010 knowledge base population track. In Third text analysis conference (TAC 2010), Vol. 3, pp. 3-3, 2010.

[10] David McClosky and Christopher D Manning. Learning constraints for consistent timeline extraction. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 873-882, 2012.

[11] Satoshi Akasaki, Naoki Yoshinaga, and Masashi Toyoda. Fine-grained typing of emerging entities in microblogs. In Findings of the Association for Computational Linguistics: EMNLP, pp. 4667-4679, 2021.

[12] Leon Derczynski, Eric Nichols, Marieke van Erp, and Nut Limsopatham. Results of the WNUT2017 shared task on novel and emerging entity recognition. In Proceedings of the 3rd Workshop on Noisy User-generated Text (WNUT), pp. 140-147, 2017.

[13] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics (COLING), pp. 16381649, 2018.

[14] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135146, 2017.

[15] Erik Tjong Kim Sang and Fien De Meulder. Introduction to the conll-2003 shared task: Languageindependent named entity recognition. In Proceedings of the 7th Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, (NAACLHLT), pp. 142-147, 2003.

表 4: TDS で Twitter から収集した消失エンティティデータセットの統計 ( 日本語) と消失文脈の例

表 5: TDS で Twitter から収集した消失エンティティ データセットのテストデータ統計 (英語)

表 6: TDS で Twitter から収集した消失エンティティ データセットのテストデータ統計 (日本語)

## A 付録

## A. 1 データセット統計

表 4,5,6 に紙面の都合で記載しきれなかったデー タセットの統計情報を示した.

## A. 2 ベースライン (赤崎らの TDS)

紙面の都合で記載しきれなかったベースラインの TDS 手法について説明する. 赤崎らは新エンティ ティのデータセットを作成するため, Wikipedia の 各エンティティについて, Twitter で最初に 10 回以上リツイートされた日の時系列で最初の 100 件の 投稿を正例として収集した. 負例については各エン ティティについて，正例を集めた日から一年後の投稿を新規文脈でないとみなし，負例として正例と同数サンプルした。

我々はこれを消失エンティティに当てはめ，時系列を逆にして収集した. すなわち, Wikipediaの廃止
された事物一覧の各エンティティについて，Twitter で最後に 10 回以上リツイートされた日の時系列で 最後の 100 件の投稿を正例として収集した. 負例に ついては各エンティティについて，正例を集めた日 から一年前の投稿を消失文脈でないとみなし，負例 として正例と同数サンプルした.
 赤崎 智 1 吉永 直樹 2 豊田 正史 ${ }^{2}$ 1 東京大学大学院 情報理工学系研究科 2 東京大学生産技術研究所 \{akasaki, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp  