# 学会記事
## 森羅プロジェクト

関根聡 $\dagger$

## 1 はじめに

「森羅プロジェクト」は, “Resource by Collaborative Contribution （RbCC: 協働による知識構築)” と呼ぶスキームに基づき, Wikipedia 知識の構造化を目標に 2017 年から進めているプロジェクトである ${ }^{1}$ (Sekine, Kobayashi, Nakayama 2019; 関根・小林・安藤・馬場・乾 2018;関根 ・小林 - 安藤 2019; 小林・中山・安藤・関根 2020). 構造化された知識は自然言語処理の基礎技術や応用技術に非常に重要なコンポーネントである。近年の深層学習の発展により様々なタスクの精度は向上しているが，システムがなぜそのような答えを出したのかを提示するには至っていない。人間であれば容易にできる説明を様々な自然言語の応用システムで実現するためには，人間が様々な知識を頭の中に持つように、システムも構造化された知識を持つことが非常に重要だと考えられる、ルールベースの自然言語処理が主流だった時代から，このような構造化知識の構築が目指されており, 日本では $\mathrm{EDR}$, 米国では $\mathrm{CYC}$ などのプロジェクトが実施された。しかしながら，知識を少数の専門家によって構築しようとする上記のプロジェクトは，知識の網羅性及び首尾一貫性の欠如を理由に多くの自然言語処理システムで使われるほど広まってはいない，唯一，WordNet は広く使われているが，いわゆる知識ではなく語彙を対象とした辞書であり，説明できる人工知能を実現するためには部分的なものでしかない．それに対し， 2000 年頃以降はクラウドソーシングにより百科事典的な知識を構築するプロジェクトが行われ，Wikipediaを代表とする大規模な知識が大勢の人の手で作られている。ただ，ここで作られる知識は人間が読むためのものであり，機械が処理するための構造にはなっていない. そこで，部分的に構造化された知識の利用や他の構造化された知識との融合により，Wikipedia の知識の構造化を実現しようというプロジェクトも開始された. DBpedia, YAGO, Freebase, Wikidataが代表的である. 特に後の二つのプロジェクトは, Wikipediaがそうであったようにクラウドへの協力を求め, 大勢の人の手で構造化された知識を作ることも手法の一つとしている. しかしながら，このような構造化の手法には大きく二つの問題がある。一つ目は, Wikipediaの知識の多くは自然文で書かれており，その知識を構造化できていない点である。二つ目は，クラウドを利用してボトムアップに知識を構築する方法では構造化の軸が個々のクラウド参加者
^{1}$ SHINRA project. http://shinra-project.info/
}

に委ねられ，機械が利用するために重要な首尾一貫性が知識のフレーム設計の段階で実現されていないという点である。

これらの問題を解決し, Wikipediaの構造化を低コストで大規模に行おうというのが「森羅プロジェクト」である．鍵となるアイデアは，現在，自然言語処理を含む多くの計算機分野で流行している「評価型プロジェクト」である。「評価型プロジェクト」は，夕スクオーガナイザー が何らかのタスクを設定し，参加システムが競い合う中で技術の向上などを目指すプロジェクトである．技術向上のみならず，共通データセットの構築, 問題意識の共有, 新規研究者の学習の場の提供，技術の進歩には貢献しているものの，参加者とタスク設計が分離され，参加システムによる単なる最適化問題の競争の場になっているという弊害が生じている． RbCC の基本精神は，このような弊害はあるものの，評価型プロジェクトのタスクに参加したシステムの出力を統合し，知識構築につなげられないかというものである，参加者の目的としては，そのタスクでの最高性能を出すことであっても構わないが，多くのシステムが参加すれば，最高性能のシステムが取りこぼしている出力を他のシステムが出力する可能性は高まる．つまり多くのシステムによる出力をうまく集計することにより, 最高のシステムが出力した以上の精度の知識が構築できるのではないかと考えられる。このような考え方はアンサンブル学習と呼ばれる技術で実現でき，実際に森羅プロジェクトの結果を用いて有効性が証明されている． RbCC の考え方は, Wikipedia 知識の構造化だけに有効なスキームではなく, 多くの人工知能や計算機工学などでも利用できる考え方だと信じている.

## 2 森羅タスク

次に，森羅プロジェクトの概要と，過去に実現したタスクと今後計画しているタスクについて紹介する。表 1 に概要をまとめている.

Wikipediaを構造化する場合には先に述べたように知識構造フレーム,つまり，エンティティー のカテゴリーや属性の種類を一貫性のある形で定義する必要がある. Freebaseの問題の一つは, このフレームをクラウドでボトムアップに定義していることにあると考えている．例えば，組織のカテゴリーをどう設計するかを個々のクラウドワーカーに任せると，互換性のないカテゴリーが無秩序に構築されることになり, 首尾一貫した知識の構築は不可能になる。そこで, 我々は，トップダウンに設計した階層構造を持つカテゴリーと，カテゴリーごとに属性情報を持つ 「拡張固有表現」を利用することとした $\left(\right.$ Sekine 2008) ${ }^{2}$.この拡張固有表現には固有表現で一般的にカバーされる「人名」,「地名」「組織名」だけではなく，「イベント名」「地位職業名」，「芸術作品名」などの幅広い固有表現や，例えば，「地名」の下位カテゴリーには「山地名」，「河川名」,「海洋名」などの「地形名」や「恒星名」,「惑星名」,「星座名」などの「天体名」など詳細
^{2}$ Extended Named Entity (ENE). http://ene-project.info/
}

な固有表現が含まれている。拡張固有表現の Version 8.1. では最大 4 階層で定義された全 219 種類の拡張固有表現が定義されている。また，多くのカテゴリーにはWikipedia 項目の記載を参考にして，そのカテゴリーに属する属性が定義されている。例えば「空港名」では，「国」，「母都市」,「年間利用者客数」,「名前の謂れ」など 24 個の属性が定義されている.

実際に Wikipediaの記事を構造化するためには，まず，それぞれの記事を拡張固有表現に分類する必要がある。この作業は, 森羅プロジェクト以前に実現した。機械学習と人手によるチェックを通し, （当時の）Wikipedia で被リンク数が 5 以上の 82 万記事を $98.5 \%$ の精度で分類した. この知識をべースに，例えば，「人名」に分類された記事から，人名に関する属性値を抽出したり，「空港名」に分類された記事から空港に関する属性值を抽出するのが「森羅プロジェクト」 の属性値抽出のタスクである。表 1 にある通り，森羅 2018 では 5 カテゴリー，森羅 2019 では追加で 30 カテゴリー, 森羅 2020-JP タスクではさらに追加で 47 カテゴリーを対象に各カテゴリーに定義された属性に対する值をWikipedia ページから抽出するタスクである.

また, Wikipediaページの分類情報だけでも, 様々な応用に対して有効な情報であることは認められていたが，それを日本語だけではなく多言語にも展開しようと考えている。そこで， 2020 年には SHINRA2020-ML (Multi-Lingual) というタスクを実施した。これは日本語以外の 30 言語 （Wikipedia においてユーザー数が多い順：English, Spanish, French, German, Chinese, Russian, Portuguese, Italian, Arabic, Indonesian, Turkish, Dutch, Polish, Persian, Swedish, Vietnamese, Korean, Hebrew, Romanian, Norwegian, Czech, Ukrainian, Hindi, Finnish, Hungarian, Danish, Thai, Catalan, Greek, Bulgarian）の Wikipediaを対象に拡張固有表現への分類を行うタスクである。このタスクでは, 分類された日本語 Wikipedia から言語間リンクを使って自動的に構築した各言語の Wikipedia ページを学習データとしている.

表 1 森羅タスクの概要

 & 8 団体 \\

表 2 森羅 2018 の日本語属性抽出タスクの結果（F 値）

## 3 結果

過去の森羅プロジェクトの全結果を記載することは不可能なため, ここでは，森羅 2018 で行われた 5 カテゴリーに対する属性値抽出結果とその結果を利用したアンサンブル学習の結果を表 2 に示す。初回の森羅 2018 では人手で作成したルールに基づくシステムや BERT ゙ースのシステム，質問応答システムを応用したシステムなどバラエティーに富んだ 8 システムが参加した。表の数値は属性値抽出の $\mathrm{F}$ 值であり，太字がそれぞれのカテゴリーの最高精度である. ちなみに，森羅 2019 でも，この 5 カテゴリーを再度，評価の対象としているが，全体的に精度が飛躍的に向上している（ただし，実験設定は少し異なっている）。表に記載したアンサンブル学習は，遺伝的アルゴリズムを使いデベロップメントデータの上で参加した全システムの出力の重みを最適化し，その加重投票で出力するアルゴリズムを利用した． $\mathrm{F}$ 値で最高精度のシステムよりも 417 ポイントもの向上が見られる。また, このアンサンブル学習において各システムの貢献度を測ったところ, 比較的精度の低いシステムでもポジティブな貢献をしていることが分かっている。この結果は，数多くのシステムを集約してより良い結果を構築するという RbCCの考え方をサポートする証拠となっている.

## 4 効果

この構造化知識が構築されれば，対話や質問応答等の自然言語処理応用システムで論理的な説明を実現することに貢献すると考えているが，他にも以下のような効果があると考えている．
- Wikidataなどを中心としたLinked Open Data (LOD)に組み込み, 自然言語処理以外のデータベース研究や知識応用研究など様々な応用を実現する.
- 現在も深層学習に Wikidata や DBpedia などの知識を導入した研究はあるが, より整理

された構造化世界知識を深層学習と組み合わせ，新しい研究基盤を作る。

・ 評価型ワークショップをテコとした知識構築という新しいパラダイムを提案し, 評価型ワークショップの利点を見直す機会を提供する.
- ML タスクでは 30 言語を対象とすることにより, 英語偏重の言語処理研究の文化を是正する。言語処理研究は各言語の特性や文化が密接に絡むべきものであり，世界中の研究者が自国語で，様々な固有の環境を考慮に入れた研究をすべきであると考える。その環境を作り上げていくための礎とする。
- 評価型ワークショップで作られたデータ上での最適化問題を解く研究マインドを脱却させ，問題設定を重視し，言語を対象とした研究を行う今後の研究文化を構築する.

## 5 今後

日本語 Wikipedia の構造化は, 森羅 2021-JP で大きなカテゴリーは大部分が終了し, 残りの少しのカテゴリーを対象とした属性値抽出や，これまで実施したタスクの再実験を 2022 に行えることができれば終了する予定である。しかし，いかに多くのシステムを使っても完全な知識を作ることは難しい，誤っている部分を効率よく発見し，クラウドソーシングやゲーミフィケー ションを使うなどして精度の向上に努めたい。最低でも $95 \%$ の精度, できれば $98.5 \%$ 程度の精度を求めている。言語に関しては, Wikidataがそうであるように，言語に依存しないシンボル （例えば，“日本”を表す “Q17”）のリンクが知識の中心にあり，そこから数多くの言語の表現に繋がっているという構造が理想的だと考えている。すでに，そのような知識として Wikidata があるため，そこにいかにつなげていくかが大きな課題である。様々な言語におけるエンティティーリンキング, LODの一部としてのデータ構造などの問題を解決していきたいと考えている.また，RbCCというスキーム自身が研究方法論の実験であり, これが成功するかどうかは後世の判断になると思う. しかし, 現状を概観すると, せっかく行われている様々な研究努力を有効に知識構築に生かすという考え方は大きく間違っていないだ万うと自負している． RbCC というスキームが「森羅プロジェクト」だけではなく, 自然言語処理や人工知能の研究分野において広く活用されていくことを心から願っている。また，単に与えられた問題の最適化技術を競うだけではなく，大きな視野に立って自然言語処理の方向性を考えていく人材が増えることを願っている.

## 謝 辞

本プロジェクトは, $\mathrm{RbCC}$ というスキームが前提としているように，多くの人に支えられて進めている，拡張固有表現の定義を通した知識のフレームの作成や，データの整備，評価やプロ

ジェクトの運営などは理化学研究所の言語情報アクセス技術チームのメンバーらが中心となって行っている. 国内外の多くの研究者にプログラム委員としてご参加いただき，プロジェクトの認知を高めていただいている。それ以外にもこのプロジェクトの推進のために様々な方に協力いただいている。 心から感謝したい。最後に，このプロジェクトのタスクのためにシステムを開発し，データの共有を行っていたたいている多くの参加者にはただたた感謝の言葉を述べるしかない，今後も，参加者のためにもなるタスク設計やプロジェクト運営を，お互いに協力しながら考え，進めていきたいと考えている。

## 参考文献

Sekine, S., Kobayashi, A., Nakayama, K., (2019). "SHINRA: Structuring Wikipedia by Collaborative Contribution". In the Proceedings of the 1st Conference on the Automatic Knowledge Base Construction AKBC-2019.

Sekine, S. (2008). "Extended Named Entity Ontology with Attribute Information". In the Proceedings of the 6th International Conference on Language Resource and Evaluation (LREC08).

関根聡, 小林暁雄, 安藤まや, 馬場雪乃, 乾健太郎 (2018). “Wikipedia 構造化データ「森羅」構築に向けて”. 言語処理学会第 24 回年次大会, pp. 765-768.

関根聡，小林暁雄，安藤まや (2019). "Wikipedia 構造化プロジェクト「森羅 2018」". 言語処理学会第 25 回年次大会, pp. 69-72.

小林暁雄, 中山功太, 安藤まや, 関根聡 (2020). “Wikipedia 構造化プロジェクト「森羅 2019-JP」”.言語処理学会第 26 回年次大会, pp. 1029-1032.

## 略歴

関根聡：理化学研究所革新知能統合研究センター・言語情報アクセス技術チームチームリーダー, 合同会社ランゲージ・クラフト主任研究員. 1992 年英国マンチェスター大学計算言語学部修士号. 1998 年ニューヨーク大学コンピューターサイエンス学部博士号. 松下電業産業株式会社 (現パナソニック), ソニー CSL，マイクロソフト研究所，楽天技術研究所ニューヨークなどでの研究職を歴任．専門は自然言語処理．特に情報抽出，固有表現抽出，質問応答, 情報アクセスの研究に従事. 情報処理学会自然言語処理研究会主査, その他役職多数. 複数の企業の技術顧問なども兼任.