# SHINRA2020-ML:30 言語の Wikipedia ページの分類

関根聡 ${ }^{1)}$ 野本昌子 ${ }^{1)}$ 中山功太 ${ }^{1)}$ 隅田飛鳥 ${ }^{1)}$ 松田耕史 ${ }^{12}$ ) 安藤まや ${ }^{3}$
}
1) 理化学研究所AIP
2) 東北大学
3) フリー

\{satoshi.sekine, masako.nomoto, kouta.nakayama, asuka.sumida, koji.matsuda\}@riken.jp , maya@kzd.biglobe.ne.jp
## 概要

Wikipedia に書かれている世界知識を計算機が扱え るような形に変換することを目的として、Wikipedia を構造化するプロジェクトを推進している本プロジ ェクトは、「協働による知識構築 (Resource by Collaborative Contribution)」のスキームに基づき、評価型ワークショップを開催し、それに参加したシス テムの結果を統合してより良い知識にまとめ上げ、 それを公開していくことを目指す。SHINRA2020ML タスクでは、30 言語の Wikipedia の項目を拡張固有表現に分類するタスクを実施し、分類データの 構築を目指した。世界 7 カ国から 10 団体が参加し、 17 のシステムによる結果が提出された。この論文で は、本プロジェクトの概要を説明し、森羅/ SHINRA2021 タスクの計画についても紹介する。

## 1 背景と目的

自然言語理解を実現するためには、言語的及び意味的な知識が必要なことは論を待たない。しかしなが ら、大規模な知識の作成は非常に膨大なコストがか かり、メンテナンスも非常に難しい問題である。名前を中心とした知識において、クラウドソーシング によって作成されている Wikipedia はコストの面で もメンテナンスの面でもそれ以前の百科事典の概念 を一新した。しかし、この Wikipedia を自然言語処理 のために活用しようと考えると障壁は高い。 Wikipedia は人が読んで理解できるように書かれて おり、計算機が利用できるような形ではないためで ある。計算機の利用を念頭においた知識ベースには、 CYC[11]、DBpedia[12]、YAGO[13]、Freebase[14]、 Wikidata[15]などがあるが、それぞれに解決すべき課題がある。特に $\mathrm{CYC}$ ではカバレージの問題、他の知識ベースでは、首尾一貫した知識体系に基づいてい ない構造化の問題がある。この課題を解決するため、私たちは、名前のオントロジー「拡張固有表現」 [3][10]に Wikipedia 記事を分類し、属性情報を抽出す
ることで計算機が利用可能な Wikipedia の構造化を 進めている [1][4][5][6][7]。本稿では、30 言語の Wikipedia ページの分類タスクである「SHINRA2020$\mathrm{ML}$ [2]について説明する。

## 2 協働による知識構築

Wikipedia の全データの構造化を人手で行うことは ほぼ不可能に近い。特に、日々更新される Wikipedia を対象にしているため、将来の更新作業を考慮して も現実的ではない。しかし、分類や属性值抽出のよ うな知識構築は様々な機械学習手法によってある程度の精度で自動化できることが分かっている。今回 の分類タスクでも機械学習を活用するが、一つの機械学習システムだけで実現するのではなく、多くの 違った種類のシステムが協力することによってより 良いリソースを作成することを目標としている。現在の自然言語処理では「評価型ワークショップ」が 多数行われている。この形式のワークショップは既存タスクにおける機械学習システムの最適化競争の 側面があるが、これを逆に利用してリソースの作成 を行おうと考えている。つまり、運営者側で訓練デ 一タとテストデータを用意し、多くのシステムに評価型ワークショップに参加していただく。この時に テストデータを参加者には知らせないことで、参加者には訓練データ以外の全項目を対象に結果を出す という仕組みを取り入れ、その結果は共有すること を約束してもらう。この結果を利用しアンサンブル 学習の手法を用いて、より信頼できるリソースを自動的に作る。また、信頼度の低いものを人手で確認訂正して次の学習時の訓練データにするアクティ ブ・ラーニングや、何度も訓練データの作成とシス テムの実行を繰り返すブートストラッピング手法を 取り入れることで、多くの参加者と協力しあって、精度の高いリソース作成を実現していくことを目標 としている。本スキームは Resource by Collaborative Contribution (RbCC:拹働による知識構築) と呼び、森羅プロジェクトの最も重要な骨格である。

## 3 タスクの説明

SHINRA2020-ML タスクは、30 言語の Wikipedia ぺ ージを拡張固有表現のカテゴリーに分類するタスク である。このタスクで使用されている拡張固有表現 と、教師データの作成方法について説明する。

## 3.1 拡張固有表現

「拡張固有表現」とは、[3][10]によって定義された 固有表現に関する定義であり階層構造を持つ。図 1 に全カテゴリーを掲載する。「人名」、「地名」、「組織名」のみならず、「イベント名」、「地位職業名」、「芸術作品名」などを含む。また、例えば「地名」には

「河川名」等の「地形名」や、「星座名」等の「天体名」を含む等、幅広い種類の下位カテゴリが含まれ る。今回のタスクで使用されているバージョン 8.0 は最大 4 階層で、219 種類の「拡張固有表現」が定義されている。Version8 以前の「拡張固有表現定義書」は百科事典、新聞記事を対象とした質問応答シ ステムや WordNet 等のオントロジーを参考に構築さ れてきたが、今回の更新ではより Wikipedia に即し た定義となっている。Wikipedia は情報の更新頻度が 高く、一般的に幅広く利用されているためである。拡張固有表現の旧定義書をもとに Wikipedia の項目 を分類したところ、3つの問題点が発見された。第 1 に、本来定義しきれない語が分類されるはずの「* その他」というカテゴリに多くの項目が分類された こと、第 2 に項目の分類の過程で、判断に迷うカテ ゴリが存在したこと、第 3 に Wikipedia 特有のメタ ページなど拡張固有表現に分類できないページが存在したことである。Wikipedia には、同じような表記 の項目が複数ある場合の「曖昧さ回避」、項目に異表記がある場合等の「転送元」、「1930 年の日本公開映画」のように項目になるような言葉が並ぶ「一覧」 といったぺージが存在する。これらは百科事典とし ての見出しではない項目(IGNORE)となる。詳細につ いては[3]を参照されたい。

## 3.2 教師データと評価用データ

各言語の教師データは、すでに分類されている日本語の Wikipedia データ[8][9]と日本語からの言語間リ ンクによって作成された。例えば、日本語の Wikipedia からドイツ語の Wikipedia には 27 万余の 言語間リンクがあり、それらの日本語 Wikipedia ペ ージに分類されたカテゴリーを対応するドイツ語
Wikipedia ページにつける。これらを教師データーと してドイツ語 Wikipedia の 200 万余のページを分類 するのが今回のタスクである。日本語 Wikipedia の 分類データは 92 万のページに対して、機械学習と 人手によるチェックで構築したものである[3][10]。表 1 に 31 言語の統計データを示す。

 & 割合 \\

表 1.31 言語の統計データ

30 言語に対してリーダーボード用データと評価用 データを作成した。評価用データは $\mathrm{RbCC}$ の目的の ため公開していない。現状のそれらのデータの作成方法についても、今後も継続する予定のタスクの平等性の観点から明らかにしない方針である。

## 4 タスクの実施と評価

## 4.1 スケジュールとリーダーボード

SHINRA2020-ML タスクは以下のスケジュールで NTCIR15 の下で実施した。

$
2020 \text { 年 } 1 \text { 月：データリリース }
$

$
\begin{aligned}
& 2020 \text { 年 } 4 \text { 月 : HP および登録公開 } \\
& 2020 \text { 年 } 8 \text { 月 } 31 \text { 日 : 登録\&結果締め切り } \\
& 2020 \text { 年 } 9 \text { 月 } 16 \text { 日 : 評価結果変換 }
\end{aligned}
$

2020 年 12 月 8-11 日 : 結果報告会(NTCIR15)

また、今回はリーダーボードを作成し、多くの人に 興味を持っていただける仕掛けを行なった。実際に 9 団体がリーダーボードに結果を提出し、この試み は成功であったと考えている。

## 4.2 参加団体

SHINRA2020-ML には 7 カ国から 10 団体が参加し た。参加団体と参加した言語を表 2 に載せる。また、

 \\

Appendix に一部の参加システムの説明を載せる。詳細は NTCIR15に投稿された論文を参照されたい。 [16][17][18][19][20][21][22]

表 2 . 参加団体

## 4.3 評価結果

表 3 に参加システムの評価結果を載せる。(この表 には提出データの一部しか提出しなかった参加者の 結果と締め切り後に提出された結果の一部は載せて いない）また、締め切り後に提出されたシステムに ついては”Late Submission”として表示されている。本タスクは 1 ページに複数のラベルが着くことが許 され、参加システムも複数のラベルを提案すること ができる。システムの評価には精度と再現率から計算される F 值のマイクロ平均を用いた。

## 5 森羅/SHINRA2021のタスク

SHINRA2020-ML は、当初の目的を達成し、過去 の森羅の日本語タスク同様に RbCC の考え方の有効性が実証されたと考えている。森羅/SHINRA2021で は以下の 3 つのタスクを実施しようと考えている。

## $M L: 30$ 言語の分類

基本的に SHINRA2020-ML と同様の Wikiepdia 分類タスク。リーダーボードや評価データを拡充し、出力データ数を限ったタスクを追加する予定である。

## CrowdML:クラウドソーシングによる分類精度向上

SHINRA2020-ML タスクの出力データを元に、ク ラウドソーシングを利用してより精度の高いデータ を作成するタスク。クラウドソーシングにかかる費用は決まった上限まで主催者が負担し、その範囲内 で効率的に精度の高いデータを作成することを評価目標とする予定である。

## LinkJP:属性値をページにリンク

森羅 2020/2019/2018-JP で対象としたカテゴリー の属性值に対して、対応する Wikipedia のページを リンクさせるタスク。

詳細は論文執筆現在検討中であるが、3月上旬に はタスク仕様およびサンプルデータを完成させ、公開する予定である。全てのタスクは春にスタートし、 $9 \sim 10$ 月頃を締め切りにし、11、12 月の報告会の開催というスケジュールを計画している。また、これ まで作成された全ての森羅データは一般公開されて いる[1]。ML タスクのデータは SHINRA-ML のホー ムページ[2]から入手されたい。

## 6 まとめ

Wikipedia の構造化データ「森羅」の作成を目指 したプロジェクトを推進している。前章に記した通 りこのプロジェクトは多くの方の協力なしには進ま ない。これまでの森羅のタスク協力いただいた皆様、特に評価に参加いただいた全ての団体にはここで感謝を述べたい。今後もより深い知識処理を実現する ためにも、本プロジェクトに多くの協力をいただけ るようにお願いしたい。

} \\

## Timex

Timeex
Time / Date / Day_Of_Week / Era / Timeex_Other
Periodx

Periodx Pime / Period_Day / Period_Week / Period_Month / Period_Year / Timex_Other

CONCEPT

IGNORED

図 1. 拡張固有表現カテゴリー

} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{3}{*}{} \\

表 3 ．システムの評価結果

## 参考文献

1. SHINRA project homepage:

https://shinra-project.info

2. SHINRA 2020-ML homepage:

http://shinra-project.info/shinra2020ml/

3. Extended Named Entity homepage:

https://ene-project.info

4. Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. 2019. SHINRA: Structuring Wikipedia by Collaborative Contribution. In Proceedings of the 1st conference on the Automatic Knowledge Base Construction $A K B C-2019$.

5. 関根聡, 小林暁雄, 安藤まや, 馬場雪乃, 乾健太郎. Wikipedia 構造化データ「森羅」構築に向けて.言語処理学会第 24 回年次大会(2018)

6. 小林暁雄, 中山功太, 安藤まや, 関根聡.

Wikipedia 構造化プロジェクト「森羅 2019」. 言語処理学会第 26 回年次大会 (2020)

7. 小林暁雄, 関根聡, 安藤まや. Wikipedia 構造化 プロジェクト「森羅 2018」言語処理学会第 25 回年次大会 (2019)

8. 関根聡,安藤まや,小林暁雄,松田耕史,Duc Nguyen,鈴木正敏,乾健太郎「拡張固有表表現+Wikipedia」 データ（2015 年 11 月版 Wikipedia 分類作業完成

版）.言語処理学会第 24 回年次大会(2018)

9. 鈴木 正敏, 松田 耕史, 関根 聡, 岡崎 直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベル の多重付与. 言語処理学会第 22 回年次大会 (2016)

10. Satoshi Sekine. 2008. Extended Named Entity Ontology with Attribute Information. In Proceedings of the Sixth Internationa Conference on Language Resource and Evaluation (LREC08).

11. Douglas B. Lenat. CYC: a large-scale investment in knowledge infrastructure. ACM 38, pp. 32-38.

12. Lehmann, J., Isele, R., Jakob, M., Jentzch, M., Kontokostas, D., Mendes, P.N., Hellman, S., Morsey M., Kleef, P., Auer, S. and Bizer, C. DBpedia - A Largescale, Multilingual Knowledge Base Extracted from Wikipedia. Semantic Web Journal, 6(2) :167—195 13. Farzaneh Mahdisoltani, Joanna Biega, Fabian M. Suchanek. YAGO3: A Knowledge Base from Multilingual Wikipedias. Proceedings of the Conference on Innovative Data Systems Research (CIDR 2015). 14. Bollacker, K., Evans, C., Paritosh, P., Sturge, T. and
Taylor, J. Freebase: a collaboratively created graph database for structuring human knowledge. Proc. International conference on Management of data (SIGMOD '08). ACM, pp.1247-1250.

15. Vrandečić, D. and Krötzsch, M. Wikidata: a free collaborative knowledgebase. Commun. ACM57, pp. 7885.

16. The Viet Bui and Phuong Le-Hong. Cross-lingual Extended Named Entity Classification of Wikipedia Articles. In Proceedings of NTCIR-15.

17. Rúben Cardoso, Afonso Mendes and Andre Lamurias. Priberam Labs at the NTCIR-15 SHINRA2020-ML: Classification Task. In Proceedings of NTCIR-15.

18. Tushar Abhishek, Ayush Agarwal, Anubhav Sharma, Vasudeva Varma and Manish Gupta. Rehoboam at the NTCIR-15 SHINRA2020-ML Task. In Proceedings of NTCIR-15.

19. Hiyori Yoshikawa, Chunpeng Ma, Aili Shen, Qian Sun, Chenbang Huang, Guillaume Pelat, Akiva Miura, Daniel Beck, Timothy Baldwin and Tomoya Iwakura. UOM-FJ at the NTCIR-15 SHINRA2020-ML Task. In Proceedings of NTCIR-15.

20. Kouta Nakayama and Satoshi Sekine. LIAT Team's Wikipedia Classifier at NTCIR-15 SHINRA2020-ML: Classification Task. In Proceedings of NTCIR-15.

21. Masaharu Yoshioka and Yoshiaki Koitabashi. HUKB at SHINRA2020-ML task. In Proceedings of NTCIR-15. 22. Sosuke Nishikawa and Ikuya Yamada. Studio Ousia at the NTCIR-15 SHINRA2020-ML Task. In Proceedings of NTCIR-15.

## A 付録

参加システムの説明

 &  & Y Y & BERT base multilingual cased \\

Datasets:
(1) Training Data
(2) Wikipedia dump
(3) Wikipedia classification
(4) Language links
(5) ENE definition
 関根聡 ${ }^{1)}$ 野本昌子 ${ }^{1)}$ 中山功太 ${ }^{1)}$ 隅田飛鳥 ${ }^{1)}$ 松田耕史 ${ }^{12}$ ) 安藤まや ${ }^{3}$ } 1) 理化学研究所AIP 2) 東北大学 3) フリー  \{satoshi.sekine, masako.nomoto, kouta.nakayama, asuka.sumida, koji.matsuda\}@riken.jp , maya@kzd.biglobe.ne.jp 