# 森羅タスクと森羅公開データ

関根聡 ${ }^{1}$ 中山功太 ${ }^{1,2}$ 隅田飛鳥 ${ }^{1}$ 渋木英潔 ${ }^{3}$ 門脇一真 ${ }^{4}$ 三浦明波 ${ }^{5}$ 宇佐美佑 ${ }^{6}$ 安藤まや ${ }^{7}$
${ }^{1}$ 理化学研究所AIP ${ }^{2}$ 筑波大学 ${ }^{3}$ 株式会社 BESNA 研究所
${ }^{4}$ 株式会社日本総合研究所 ${ }^{5}$ 株式会社アティード ${ }^{6}$ Usami LCC ${ }^{7}$ フリー
\{satoshi. sekine, kouta. nakayama, asuka. sumida\}@riken. jp

## 概要

Wikipedia に書かれている世界知識を計算機が扱 えるような形に変換することを目的として、2017 年 よりWikipediaを構造化する「森羅」プロジェクト を推進している。本プロジェクトは「協働による知識構築(Resource by Collaborative Contribution)」 のスキームに基づき、評価型ワークショップを開催 し、参加したシステムの結果を統合してより良い知識にまとめ上げ、それを公開していくことを目指し ている。森羅 2022 では、日本語のWikipedia ページ を分類し、ぺージから指定された属性値情報を抽出 し、その情報を該当ページにリンクする 3 つのタス クを行なった。また、本論文ではこれまで森羅プロ ジェクトで構築した全データを概説するとともに、森羅 2023 の計画を紹介する。

## 1 背景と目的

自然言語理解を実現するためには、言語的及び意味的な知識が必要なことは論を待たない。しかし、大規模な知識の作成は非常に膨大なコストがかかり、 メンテナンスも難しい問題である。名前を中心とし た知識において、クラウドソーシングによって作成 されている Wikipedia はコストの面でもメンテナン スの面でもそれ以前の百科事典の概念を一新したが、 Wikipedia を構造化知識として活用しようとすると 障壁は高い。Wikipedia は人が読んで理解できるよう に書かれており、計算機が活用できるような形では ないためである。計算機の利用を念頭においた知識 ベースには、CYC[11]、DBpedia[12]、YAGO[13]、 Freebase[14]、Wikidata[15]などがあるが、それぞれに 解決すべき課題がある。特に CYC ではカバレージ の問題、他の知識べースでは、首尾一貫した知識体系に基づいていない構造化の問題がある。この課題 を解決するため、私たちは、名前のオントロジー「拡張固有表現」[2][8][9]に Wikipedia 記事を分類し、属性情報を抽出しリンクすることで計算機が利用可能 な Wikipedia の構造化を進めている[1][3][4][5][6][7]。

## 2 協働による知識構築

Wikipedia の全データの構造化を人手で行うこと はほぼ不可能に近い。特に、日々更新される Wikipedia を対象にしているため、更新作業を考える と現実的ではない。しかし、記事の分類や属性値抽出のような知識構築は様々な機械学習手法によって ある程度の精度で自動化できている。そこで、森羅 プロジェクトでは多くの機械学習システムが協力し、 より精度の高い構造化知識を半自動的に構築するこ とを目標としている。現在の自然言語処理では「評価型ワークショップ」が数多く行われている。これ らは既成のタスクに対する機械学習システムの最適化競争の側面はあるが、これを逆に利用し、構造化知識の作成を行う。つまり、運営者側で訓練データ とテストデータを用意し、多くのシステムに評価型 ワークショップに参加していただく。この時にテス トデータを参加者には知らせないことで、参加者に は訓練データ以外の全データを対象に結果を出すと いう仕組みを取り入れる。また、その結果は共有す ることを事前に約束してもらう。このようにして出力された結果をアンサンブル学習の手法を用いて、 より信頼できる知識を作る。また、信頼度の低いも のを人手で確認訂正する手法や、出力結果を次の学習時の訓練データにするアクティブ・ラーニング、訓練データの作成とシステムの実行を幾度も繰り返 すブートストラッピング手法を取り入れることで、多くの参加者と協力しあって、精度の高いリソース 作成を実現していくことを目標としている。本スキ 一ムは Resource by Collaborative Contribution (RbCC:協働による知識構築) と名付けられ、森羅プロジェク トの最も重要な骨格となっている。

## 3 森羅タスク

森羅による Wikipedia の構造化のためには、それ ぞれのエンティティーの情報構造を規定する必要が ある。そのために「拡張固有表現」を利用する。

## 3.1 拡張固有表現

「拡張固有表現」とは、[2][8][9]によって発表され た固有表現に関する定義であり、各固有表現のカテ ゴリーを表す階層構造と、その固有表現が持ちうる 属性情報からなる。階層構造は、「人名」、「地名」、「組織名」、「イベント名」、「地位職業名」とい った幅広い種類を含む。また、例えば「地名」には 「河川名」「湖沼名」等の「地形名」や、「星座名」等の「天体名」を含む等、最大 4 階層の下位カテゴ リーが含まれる。一方、属性情報はカテゴリー毎に 定義された固有表現が持つ属性である。例えば「人名」カテゴリーでは異表記、本名、別名・旧称、国籍などの属性が定義される一方で、「空港名」のカ テゴリーでは、国、母都市、年間利用者数、別名、名前の謂れなどが定義される。最新のバージョン 9.0 は森羅タスクのために Wikipedia に即して調整した ものであり、246 種類の末端カテゴリーが定義され、 このうち 178 種類のカテゴリーには特有の属性情報 も定義されている。階層構造の全カテゴリーと属性定義の抜粋を、付録の図 1 および表 1 に掲載する。 すべての定義を含む詳細は[2]を参照されたい。

## 3.2 三種類のタスク

構造化は 3 つのプロセスに分解でき、評価型ワー クショップではそれぞれをタスクとして実施する。

1) 分類

Wikipedia の各ページを拡張固有表現の末端カ テゴリーに分類する。例えば「島崎藤村」は人名、彼の作品の「嵐」は「書籍名」などである。

2) 属性値抽出

分類されたページから拡張固有表現定義で規定 された属性の値を抽出する。例えば「島崎藤村」 の「本名」は「島崎春樹」で、「作品」には上記の「嵐」が含まれる、などである。

3） エンティティーリンキング（リンク）

抽出された属性値に対して、その値を表す Wikipedia のページをリンクする。例えば、上記 の「島崎藤村」の「作品」として抽出された「嵐」 を該当する書籍の「嵐」のページにリンクする。

## 3.32018 から 2022 に行った 9 タスク

森羅の評価型ワークショップは 2018 年に始まり、 2022 年まで 9 タスクを実施してきた。表 2 にタスク の一覧を示す。2018 年から 3 年間は、カテゴリー数 を拡張しながら属性値抽出タスクを行なった。また、 2020 年から 2 年間は構造化知識の多言語化を目指し て、アクティブユーザー数の多い 30 言語の Wikipedia のすべてのぺージを拡張固有表現に分類 するタスクを実施した。 2021 年にはリンクタスクを 実施した。2022 年は日本語 Wikipedia を対象に 3 つ のタスクを同時に実施することにより、Wikipedia の 構造化を End-to-End で行うことを目指した評価型ワ ークショップを実施した。

表 2. 5 年間に行なった 9 タスク

 & 日本語 &  \\

## 4 森羅 2022

森羅 2022 では、日本語の Wikipediaを対象に分類、属性値抽出、エンティティーリンキング（リン ク)タスクの 3 つのタスクを実施した。基本的に Endto-Endのタスクとし、エラーが含まれた前段階の夕 スクの出力を基にしたタスク設定とした。したがっ て、例えば、あるページの分類が「河川名」ではな く「湖沼名」と間違っていたとしても、その属性値抽出において共通の属性、例えば「所在地」の属性 を正しく抽出できれば、その結果は正解とすること にした。この目的のため、拡張固有表現のカテゴリ 一横断の属性定義の共通化を行なった。分類タスク は後述のワークショップを通して多くの参加者を得 たが、属性值抽出とリンクタスクは参加者が非常に 少ないことが事前に分かっていたため、Wikipedia 全体を対象とした評価は実施せずに終了した。

## 4.1 スケジュールとリーダーボード

森羅 2022 は以下のスケジュールで実施した。

2022 年 5 月 12 日 : キックオフミーティング \&

データ公開、リーダーボードオープン

2022 年 8 月 4,10 日：ワークショップ（後述）

2022 年 9 月 30 日, 10 月 27 日：ワークショップ 2

2022 年 11 月 14 日 : 実行結果の提出締切

2023 年 1 月 18 日：ワークショップ (報告会)

なお、 $\mathrm{RbCC}$ によるリソース作成には参加者にシス テムの全出力を提出してもらうことが鍵となるが、

一方で参加者にとっては全ページを予測するのは計算機資源や処理時間の面から負担となる。そこで、一部のみの提出が可能なリーダーボードを作成し、 システムの評価をスムーズに行えるようにした。

図 2.リーダーボードのスナップショット

## 4.2 ワークショップと参加者

森羅プロジェクトの一環として、深層学習を用い た自然言語処理に取り組みたい学生、研究者、社会人を対象として、サンプルプログラムを提供、解説 し、 1 週間から 1 ケ月をおいて参加者が独自に改良 する形のワークショップを開催した。1回目は森羅 の分類タスクを題材とし 8 月に行い、登録者は 381 人と大盛況の会となった。2 回目は「属性値抽出」 を意識した「固有表現抽出」を題材とし 9〜10 月に 行い、登録者は 201 人であった。ワークショップで 使用した資料と当日の録画はホームページにて公開 しているi。森羅 2022 ではこのワークショップに関係した参加者が多く、主催者のシステムを含め、分類タスクでは 59 システム、属性值抽出タスク、リン クタスクではそれぞれ 3 システムの提出があった。

## 5 森羅公開データ

5 年間の森羅プロジェクトで作成した学習データ、参加者の出力データなどの大部分を森羅ホームペー ジ[1]にて公開している。

## 5.1 日本言語分類データ

日本語 Wikipediaを拡張固有表現に分類したデー 夕は表 3 の通り、拡張固有表現のバージョンの違い 3 種類がある。拡張固有表現は属性值抽出タスクの 進展と共に変化しており、今後使われる方は「2022 分類」データを使われることをお勧めする。

表 3. 森羅日本語分類データ

 &  & ページ数 \\

## 5.2 多言語分類データ

2020-ML、2021-ML の多言語分類タスクで利用、作成された 2 種類のデータを公開している。一つは 5.1 で説明した「2020 分類」データとWikipedia の言語間リンクを辿って作った 30 言語分のトレーニング データである。表 4 にその統計情報を記載した。公開データには「日本語からのリンク数」の合計の 502 万 9617 ページが含まれている。二つ目のデータは、 30 言語の 3255 万 5929 ページに対する 12 システム の出力である。

## 5.3 属性值抽出データ

属性值抽出タスクは、森羅 2018、2019、2020-JP、 2022 で実施され、その度にトレーニングデータを 5 、 30、43、100 カテゴリーずつ増やしてきた。それら のカテゴリーに対して拡張固有表現も改良され、デ 一夕も整備された。したがって、2020 年に公開され たデータが最も一貫性があり全てを包含しているデ 一夕となっているため、表 5 にそのデータの概要を 紹介する。公開データにはそれぞれの Wikipedia 記事が付随しているが、作成時期により Wikipedia バ ージョンが異なっていることに注意されたい。

表 4. 30 言語の Wikipedia 統計情報 森羅公開データ（2020 多言語分類）

 & 言語 & 記事数 &  & 言語 & 記事数 &  \\

表 5. 森羅日本語属性値抽出データ (2022 属性)

 & 910,567 \\

システム出力結果として、森羅 2020-JP タスクに 参加した 13 システムの出力結果を公開している。 35 カテゴリーの 470, 772 ページを対象としたデータ であり、336 種類の属性に対して、インスタンス数 として 6, 089, 547 の属性値のデータとなっている。 アンサンブル学習などの実験に利用できる。

## 5.4 リンクデータ

リンクタスクは $2021 、 2022$ で実施し、表 6 にある 教師、開発データの 3 種類のデータを公開している。

## 6 森羅 2023 タスク

森羅 2023 では、2022 と同様に日本語を対象にし た3つのタスクを実施する予定である。ただし、2022 で参加者の少なかった属性値抽出とエンティティー
リンキングの参加のための敷居を低くすることを主 な目的として下記の改良を加えることを考えている。

- 属性値抽出、リンクタスクでは、すべての Wikipedia 記事を対象とするのではなく、特定の カテゴリーなど限定された記事を対象に参加 することを可能とする

- 機械学習がより精度高くなるように学習デー タを拡充する

- 前段階の間違えを含んだデータを対象に Endto-End タスクだけではなく、前段階の正解デー タに基づいて参加できる仕組みを作る

- 多くの開発データを配布し、参加者が詳細な分析をできるようにする

- データの一貫性、前処理の簡易化を検討する

- 森羅データを利用した応用システムのデモタ スクを用意する

## 7 まとめ

Wikipedia の構造化データ「森羅」の作成を目指し たプロジェクトを推進している。前述の通りこのプ ロジェクトは多くの方の協力なくしては進まない。 これまでの森羅のタスクにご協力いただいた皆様、特に評価にご参加いただいた全ての団体にはここで 感謝を申し上げたい。今後もより深い知識処理を実現するためにも、本プロジェクトに多くのご協力を いただけるようにお願い申し上げたい。

表 6. 森羅日本語リンクデータ

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受け たものです。

## 参考文献

1. SHINRA-HP. 森羅プロジェクトホームページ: http://shinra-project.info.

2. ENE-HP. 拡張固有表現ホームページ: http://ene-project.info.

3. 関根聡, 小林暁雄, 安藤まや, 馬場雪乃, 乾健太郎. Wikipedia 構造化データ「森羅」構築に向 けて.言語処理学会第 24 回年次大会(2018)

4. Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. 2019. SHINRA: Structuring Wikipedia by Collaborative Contribution. In Proceedings of the 1 st conference on the Automatic Knowledge Base Construction AKBC-2019.

5. 小林暁雄, 関根聡, 安藤まや. Wikipedia 構造化 プロジェクト「森羅 2018」言語処理学会第 25 回年次大会(2019)

6. 小林暁雄, 中山功太, 安藤まや, 関根聡. Wikipedia 構造化プロジェクト「森羅 2019」.言語処理学会第 26 回年次大会(2020)

7. 関根聡, 安藤まや, 小林暁雄, 松田耕史, Duc Nguyen，鈴木正敏，乾健太郎「拡張固有表表現 +Wikipedia」データ（2015 年 11 月版 Wikipedia 分類作業完成版）.言語処理学会第 24 回年次大会(2018)

8. 関根聡, 竹内康介. 拡張固有表現オントロジー.言語処理学会第13回年次大会ワークショップ 「言語的オントロジーの構築・連携・利用」 (2007)
9. Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata (2002). Extended named entity hierarchy. In the Third International Conference on Language Resources and Evaluation (LREC'02).

10. Satoshi Sekine. 2008. Extended Named Entity Ontology with Attribute Information. In Proceedings of the Sixth Internationa Conference on Language Resource and Evaluation (LREC08).

11. Douglas B. Lenat. CYC: a large-scale investment in knowledge infrastructure. ACM 38, pp. 32-38.

12. Lehmann, J., Isele, R., Jakob, M., Jentzch, M., Kontokostas, D., Mendes, P.N., Hellman, S., Morsey M., Kleef, P., Auer, S. and Bizer, C. DBpedia - A Large-scale, Multilingual Knowledge Base Extracted from Wikipedia. Semantic Web Journal, 6(2) :167-195

13. Farzaneh Mahdisoltani, Joanna Biega, Fabian M. Suchanek. YAGO3: A Knowledge Base from Multilingual Wikipedias. Proceedings of the Conference on Innovative Data Systems Research (CIDR 2015).

14. Bollacker, K., Evans, C., Paritosh, P., Sturge, T. and Taylor, J. Freebase: a collaboratively created graph database for structuring human knowledge. Proc. International conference on Management of data (SIGMOD '08). ACM, pp.1247-1250.

15. Vrandečić, D. and Krötzsch, M. Wikidata: a free collaborative knowledgebase. Commun. ACM57, pp. 78-85

## A 付録

図 1. 拡張固有表現定義（バージョン9.0）における階層定義

表 1. 拡張固有表現定義（バージョン9.0）における属性定義（一部抜粋）

 &  \\


 関根聡 ${ }^{1}$ 中山功太 ${ }^{1,2}$ 隅田飛鳥 ${ }^{1}$ 渋木英潔 ${ }^{3}$ 門脇一真 ${ }^{4}$ 三浦明波 ${ }^{5}$ 宇佐美佑 ${ }^{6}$ 安藤まや ${ }^{7}$ ${ }^{1}$ 理化学研究所AIP ${ }^{2}$ 筑波大学 ${ }^{3}$ 株式会社 BESNA 研究所 ${ }^{4}$ 株式会社日本総合研究所 ${ }^{5}$ 株式会社アティード ${ }^{6}$ Usami LCC ${ }^{7}$ フリー \{satoshi. sekine, kouta. nakayama, asuka. sumida\}@riken. jp  