# Wikipedia からの意外な恩恵事例の抽出

尾崎立一 橋本力* 村脇有吾 $\quad$ 黒橋禎夫ま 竬々野学 $\S$
京都大学大学院情報学研究科 *\$ヤフー株式会社
\{ozaki, murawaki,kuro\}@nlp.ist.i.kyoto-u.ac.jp msassano@yahoo-corp.jp

## 1 はじめに

現代社会は地球規模での相互依存性の深化ととも に複雑さが増し続けている. それにともない, リー マンショックや新型コロナウィルスの世界的流行 のような予測困難な事態が発生し，それが社会に 重大な影響を与えることがある。その一方で，そ のようなネガティブな事態によって，意外なポジ ティブな事態が生まれることもある．新型コロナ ウィルスが旧来のシステムの問題点を明らかにし， デジタル化・オンライン化推進の契機になるよう な例である。このような意外な恩恵を含めて俯瞰的に問題を捉えることは重要であり，千載一遇の チャンスを掴む可能性を高めることにもなる.

そこで本研究は，意外な恩恵の事例を大規模テキ ストから自動抽出することを目的とする．大規模テ キストとして Wikipedia 記事群を用いる. Wikipedia は百科事典であり，様々な事物を広範に扱ってい ること，また多くの人々が編集に参加し内容を精査 しているため, 情報の信憑性も高いと考えられるこ とがその理由である. 対象言語は英語である．以下 に本研究で対象とする，意外な恩恵の例を挙げる。

Smoking reduces the risk of Parkinson's disease.

健康にとって有害だと広く知られている喫煙に，実 はパーキンソン病のリスクを減らしうること1) が 述べられている。この例が示す通り, 本研究にお ける意外な恩恵は，専門家を含む一部の人々には 既知でもその他大勢の人々にとっては意外と感じ られる恩恵のことである.

提案手法の基本的なアイデアは次の通りである: ネガティブなものと広く知られているエンティティ を何らかの恩恵をもたらすものとして述べている 文は，その意外な恩恵を述べている可能性が高い.上述の Smoking の例は, 健康にとって有害である点 でネガティブといえる喫煙を，パーキンソン病リ スク低減の恩恵をもたらすものとして述べている。 reduces the risk of Parkinson's disease のような恩恵を


図 1 提案手法の全体像

述べている箇所をポジティブ説明，ネガティブな ものと広く知られているエンティティをネガティ ブエンティティと呼ぶことにすると，上記アイデ アを次のように言い換えることができる: ネガティ ブエンティティについてのポジティブ説明を述べ ている文は，その意外な恩恵を述べている可能性 が高い。このアイデアを実現するには，ネガティ ブエンティティとポジティブ説明を自動認識する 方法が必要である．2 節で詳述する.

英語 Wikipedia 全体からランダムに抽出した 300 文を調べたところ意外な恩恵を述べている文は 1 文 も無かった。これは本タスクの難易度が非常に高い ことを示している。一方, 提案手法は英語 Wikipedia 全体から意外な恩恵の事例を 40 件自動抽出できた.改善の余地は大きいが，意外な恩恵の割合がそも そも非常に低いため，全数チェック等のナイーブ な手法と比べ，はるかに効率的に意外な恩恵の事例を抽出できる．実験については 4 節で述べる.

## 2 提案手法

図 1 に示す通り，提案手法は, Wikipedia からネ ガティブエンティティを抽出し，次に，それが主題となっている文を抽出する。 最後に, 分類器に よって，ネガティブエンティティのポジティブ説明を述べているものだけを残す。

## 2.1 ネガティブエンティティ抽出

本研究におけるネガティブエンティティは, 病気 や災害，事故，不況，テロ，戦争等の不運，不幸な

図 2 Cancer (左) と Flood のセクション群

事物，またはそれらの原因となりうる事物を指す。

英語の Wikipedia 記事として取り上げられてい る（記事タイトルとなっている）エンティティのう ち，記事中に Cause または Causes というセクショ ンが設けられているものは, Cancer, Flood, Traffic collision, Great Depression 等2) ネガティブエンティ ティである場合が多い. これは，何らかの不運，不幸につながりうる，または実際そうなった事物に ついて百科事典に記述する際は，その原因が重要 な記載項目と見なされるからだと推測される. 図 2 亿 Cancer と Flood の記事のセクション群を示す.

以上の観察結果に基づき，提案手法はCause, Causes セクションを持つ記事のタイトルをネガティ ブエンティティとして抽出する.

## 2.2 文抽出

抽出したネガティブエンティティが主題の文を 意外な恩恵事例の候補（2.3 節で述べる分類器への 入力）として Wikipedia から抽出する. ネガティブ エンティティが主題である文に限定するのは，単 に当該エンティティを含む文だと，その説明がポ ジティブであれネガティブであれ，そもそも極性 が当該エンティティに関するものではない可能性 があるからである.

ここで問題になるのはいかにして文の主題を認識するかである．提案手法は，Wikipedia 記事中の 当該記事のタイトルを含む文はそのタイトルを主題とした文である可能性が高い，という仮説のも と，ネガティブエンティティがタイトルである記事から，そのタイトルを含む文を抽出する。例え ば，タイトルが Flood の記事から文字列 Flood/flood を含む文を抽出する。

加えて，意外な恩恵事例抽出の精度を上げるべ く, 文の抽出元を, Benefit, Advantage, Positive のい ずれかの文字列をセクション名に含むセクション のみに限定する。 つまり，提案手法は，ネガティブ エンティティがタイトルである記事の中の, Benefits やAdvantages, Positive Effects といったポジティブな


## Benefits

Floods (in particular more frequent or smaller floods) can also bring many benefits, such as recharging ground water, making soil more fertile and increasing nutrients in some soils. Flood waters provide much needed water resources in arid and semi-arid regions where precipitation can be very unevenly distributed throughout the year and kills pests in the farming land. Freshwater floods particularly play an important role in maintaining ecosystems in river corridor and are a key factor in maintaining floodplain biodiversity. ${ }^{[22]}$ Flooding can spread nutrients to lakes and rivers, which can lead to increased biomass and improved fisheries for a few years. For some fish species, an inundated floodplain may form a highly suitable location for spawning with few predators and enhanced levels of nutrients or food. ${ }^{[23]}$ Fish, such as the weather fish, make use of floods in order to reach new habitats. Bird populations may also profit from the boost in food production caused by flooding. $[24]$

Periodic flooding was essential to the well-being of ancient communities along the TigrisEuphrates Rivers, the Nile River, the Indus River, the Ganges and the Yellow River among others The viability of hydropower, a renewable source of energy, is also higher in flood prone regions.

図 3 Flood の Benefits セクション

内容が書かれている可能性が高いセクションから のみ文を抽出する．ネガティブエンティティに関 する記事の一部でありながらポジティブな内容が 書かれているセクションは少数ながら存在する. 例 えば図 2 右にあるように, Flood はネガティブエン ティティでありながら，その記事には Benefits セク ションが含まれている。図 3 に示す通り，そうし たセクションにはネガティブエンティティのポジ ティブな側面が書かれる傾向がある。一方で，そ うしたセクションにある文全てが意外な恩恵を述 べているわけではない. そこで 2.3 節で述べる分類器により，抽出した文を意外な恩恵を述べている 可能性の高いものとそれ以外に分類する.

## 2.3 分類器

提案手法の分類器は，抽出された 1 文を入力とし て受け取り，そのうちのネガティブエンティティ以外の箇所，つまりネガティブエンティティの説明が ポジティブである可能性を示すスコアを出力する.具体的には，ネガティブエンティティを<ENT>と いう記号に置換した文を受け取り，0から 1 の間の スコアを出力する.

分類器は, BERT $^{3}$ ) と, 1 層の feed-forward network から成る. 大力文はトークン列に分割され，先頭 に [CLS]トークン, 末尾に [SEP] トークンが連結さ れる. BERT の最終層の [CLS] トークンに対応する embedding を feed-forward network に入力しスコアを 得る.

## 3 分類器の学習

分類器の学習データは次の通りに構築した。ま ず，英語 Wikipedia（2019 年 1 月 7 日版）全体か ら，粗いフィルタリングとして，セクション名に Advantage,Benefit などのポジティブなキーワードを 含むセクションの文のみを残す。次に，それらの 中から，何らかの事柄のポジティブな面について 述べている文を人手で見つけ，ポジティブ説明と する. 非ポジティブ説明については，上記以外の

3) https://huggingface.co/bert-base-cased

図 4 提案手法で抽出したネガティブエンティティの例

セクション中から，何らかの事柄のネガティブな 面，またはポジティブでもネガティブでもない面 について述べた文を人手で見つけた。最終的に 585 文からなる学習データができた。 そのうち, 266 文 がポジティブ説明である.

上記データを用いて分類器を学習した. Epoch 数 は 500, Loss 関数は Cross Entropy, 最適化には AdamW を用いた。

## 4 評価実験

提案手法により意外な恩恵候補文抽出し，分類器によりランキングした. その評価結果と抽出で きた事例について述べる。

## 4.1 ネガティブエンティティ・意外な恩恵候補文の抽出

提案手法により，英語 Wikipedia から 6042 件の ネガティブエンティティを抽出した. 50 件をラン ダムに抽出して調査したところ 42 件が実際にネガ ティブエンティティと言えるものだった. 図 4 に 抽出したネガティブエンティティを例示する。 病気 や災害，事故，経済的困難，戦争等幅広いネガティ ブエンティティが抽出できた。

次に。提案手法を用いて実際に英語 Wikipedia か ら意外な恩恵事例の候補文を抽出した. その結果， Wikipedia 全体から 112 文を抽出した.

## 4.2 ベースライン手法

ベースラインとして, Wikipedia 全体からランダ ムに 300 文を抽出する方法を選んだ。これが最も シンプルな手法であること，意外な恩恵事例抽出 の先行研究が著者らの知る限り存在しないこと， Wikipedia 全体に占める意外な恩恵事例の割合を推定したかったことがその理由である4).

## 4.3 評価方法

抽出した事例の適合率と抽出数を評価する。正解判定は著者のうち 2 名が別々に行う. 判定作業


図 5 提案手法のランクごとの適合率

では，Yes（抽出した文は意外な恩恵事例である）， No（そうした事例ではない），？（判断に迷う）の 3 つのラベルのいずれかを付与する形で行う．次の 基準のいずれかで両者の判定をとりまとめ，最終的な判定とする。

1. 両者とも Yes としたものだけを正解とする.

2. 一人でも Yes としたものを正解とする.

3. 両者とも Yes か？としたものを正解とする.

4. 一人でも Yes か? としたものを正解とする.

公正さを担保するため，判定作業に先立ち，提案手法とベースラインの出力を 1 つにまとめ，シャッ フルし，どの文がどの手法の出力かわからないよ うにする。

両者の判定の Cohen's kappa の値は 0.65 (substantial agreement) だった.

## 4.4 評価結果

実験の結果，ベースラインの抽出数と適合率は ともに 0 ，つまりその出力 300 件はいずれも意外 な恩恵事例とは言えないものだった. そのため, Wikipedia 全体に占める意外な恩恵事例の割合は推定できなかった. この点は今後の課題としたい.

提案手法の抽出数（スコア上位 $k$ 件）とその適合率をプロットしたグラフを図 5 に挙げる。凡例の $\mathrm{C} 1$ から C4 は 4.3 節の基準 1 から 4 に対応する. 条件 C4 では適合率 $80 \%$ 以上で 16 件の意外な恩恵事例を抽出した. Wikipedia 全体から抽出した事例候補全 112 件中 40 件が意外な恩恵事例と言えるものだった.

表 1 に提案手法の抽出結果の例を挙げる. 誤りの 要因は (1) ネガティブエンティティ抽出の誤り，つ まり Cause/Causes セクションのある記事のタイトル だがネガティブとは言えないエンティティを誤って 抽出した場合 (表 1 の Rank 79 位)，(2) 文抽出の誤り， つまり, Gram positive bacteremia 等のように, Benefit, Advantage，Positive のいずれかを含むセクションタ イトルのセクションではあるが，当該エンティティ に関するポジティブな内容ではないセクションから 文抽出した場合 (Rank 85 位)，(3) 分類器の誤り，つ まり当該エンティティの説明を誤ってポジティブと

 \\

表 1 提案手法の抽出結果の例: ランク，判定者 2 名の判定，ネガティブエンティティ，抽出された文

判定した場合（87 位）の大きく3つに分類できる.

(1) ネガティブエンティティ抽出は, CauselCauses セクションの有無という非常にナイーブな手がか りのみに基づいているが，そうした手がかりを利用して学習データを効率的に収集し, 教師あり学習を用いることで精度向上が期待できる。(2) 文抽出も同様に，ポジティブな内容が書かれているセ クションのタイトルかどうかの判定に教師あり学習を導入することで改善が期待できる. (3) 現状の 分類器は 585 件のわずかなデータで学習されたも のであり，学習データの拡充による精度向上の余地は大きいと考えられる。

## 5 関連研究

本研究は，不確実な未来に備えるための，あま り知られていない因果関係知識の獲得の研究と見 なすことができ，未来シナリオ予測 $[2,4]$, 因果関係知識獲得 $[3,1]$, トリビア知識獲得 [5] の 3 つが 関連の深い領域となる.

未来シナリオ予測は，将来起こりうる重大な事態をその可能性がいかに低くても事前に把握する， という目的のもと，起こりうる未来のシナリオを 予測，生成する研究である. 因果関係知識獲得は,原因と結果を表すテキストを獲得する研究であり， その獲得結果は未来シナリオを自動生成する際に 用いられることがある. こうした過去の研究と本研究の大きな違いは，意外な結末にフォーカスし， その自動抽出技術を開発したことにある. 従来の未来シナリオ予測でも意外な結末を対象にしてはいた が，それは人手によるところが大きい。一方従来の 因果関係知識獲得は常識的知識を対象としており，意外なものをシステマティックに獲得することは困難だった. トリビア知識獲得は，オバマ元大統領の グラミー賞受賞等, あまり知られていない意外な事実を自動獲得する研究である. しかし，意外な結末 に関する事実を獲得する研究はこれまでなかった。

これまでになかった意外な恩恵事例抽出を可能に したのは，1節で述べた，ネガティブエンティティの ポジティブ説明を述べている文は，その意外な恩恵
を述べている可能性が高い, というアイデアである.

## 6 おわりに

本研究では意外な恩恵の事例を自動抽出する手法を提案した. 精度, 抽出数ともに改善の余地は 大きいが，4.4 節で述べた通り，機械学習の導入や 学習データの拡充で精度向上が大いに期待できる。

今後の方向性として意外な落とし穴事例抽出が 挙げられる．つまり，善意の施策やサービス等が何 らかの不運，不幸な結末につながる事例の抽出であ り，例えば，食糧増産のための政策が逆に大飢饉に つながった毛沢東による大躍進政策が挙げられる。

また，本研究では対象を Wikipedia に限定したが， Wikipedia 以外への拡張も今後の課題である. 具体的には，作成したネガティブエンティティのリス トと説明分類器を新聞記事，ブログ，SNS 等に適応し，意外な恩恵の文を抽出する．その際，提案手法では Wkipedia の記事タイトルとセクション名を 利用したが，そのような Wikipedia 特有の構造が利用できない点が問題となる.

## 参考文献

[1] Chikara Hashimoto. Weakly supervised multilingual causality extraction from Wikipedia. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2988-2999, 2019.

[2] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 987-997, 2014.

[3] Canasai Kruengkrai, Kentaro Torisawa, Chikara Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence (AAAI), pp. 3466-3473, 2017.

[4] Kira Radinsky, Sagie Davidovich, and Shaul Markovitch. Learning causality for news events prediction. In Proceed-
ings of the 2012 World Wide Web Conference (WWW), pp. 909-918, 2012.

[5] David Tsurel, Dan Pelleg, Ido Guy, and Dafna Shahaf. Fun facts: Automatic trivia fact extraction from wikipedia. In Proceedings of the Tenth ACM International Conference on Web Search and Data Mining (WSDM), pp. 345-354, 2017.
 尾崎立一 橋本力* 村脇有吾 $\quad$ 黒橋禎夫ま 竬々野学 $\S$ 京都大学大学院情報学研究科 *\$ヤフー株式会社 \{ozaki, murawaki,kuro\}@nlp.ist.i.kyoto-u.ac.jp msassano@yahoo-corp.jp  