# 拡張固有表現に分類された 31 言語の Wikipedia 知識ベース

関根聡 ${ }^{1}$ 中山功太 ${ }^{1}$ 野本昌子 ${ }^{1}$ 安藤まや $^{2}$
隅田飛鳥 ${ }^{1}$ 松田耕史 ${ }^{1}$
${ }^{1}$ 理化学研究所 革新知能統合研究センター ${ }^{2}$ フリー
\{satoshi. sekine, kouta. nakayama, masako. nomoto, asuka. sumida, koji. matsuda\}@riken.jp
maya@cis. twcu. ac. jp

## 概要

説明可能な AI 構築を目指し、Wikipediaを構造化 することを目標とした「森羅プロジェクト」を推進 している。2020、2021 年には 30 言語の Wikipedia を拡張固有表現に分類するタスクを実施し、2 年間 で 14 チームから 24 の参加システムを得た。その出 カデータを用いてアンサンブル学習を行い、大規模 な固有表現の分類リソースを構築した。日本語と合 わせて 31 言語で約 3340 万ぺージが分類されており、人手チェックも行った日本語の精度は $98.5 \%$ 、人手 チェックのないその他の 30 言語の平均 $\mathrm{F}$ 値は 86.9 である。知識リソースは森羅ホームページで公開し ている。「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」と呼ぶ枠組 みで、構造化知識を構築している「森羅プロジェク ト」では、2022 年も新たなタスクを実施する。

## 1 はじめに

Wikipedia は常時更新されている巨大な知識源で あり、様々な言語処理技術への応用が期待されてい るが、構造化されていないため自然言語処理での利用が難しい。Wikipediaを分類し、構造化して知識グ ラフにすることで、幅広い活用が期待される。同様 の目的で構造化された知識としては、DBpedia、

YAGO、Wikidata などがあるが、分類カテゴリーや 構造フレームは主にクラウドによるボトムアップ方式で構築され、統一されたルールに基づいておらず、非常に多くのノイズが入っている。筆者らは、分類 や構造フレームの設計はトップダウンに画一した形 で行い、内容（コンテンツ）の構築をクラウドで行 うことにより、言語処理にも利用しやすい知識が構築できると考えている。そこで、分類基準と構造フ レームに幅広い固有表現カテゴリーを対象に定義さ
れている「拡張固有表現」を利用し、そこに Wikipedia に記載されている知識をはめ込むことにより、整理 された構造化知識を構築することを目指している。 これが「森羅プロジェクト」の目標である。プロジ エクトでは、共有タスクを実施し、その複数の参加 システムの出力に対してアンサンブル学習などを通 じ精度の高い知識を自動的に構築する枠組みとして 提唱している「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」を用いて知識構築を行っている。本論文では、そのプロジェク トのうち、2020、2021 年に実施した、30 言語の Wikipedia 分類タスクを通して構築したものに、日本語の分類データも含めた 31 言語の Wikipediaを拡張固有表現に分類した知識リソースを紹介する。

## 2 拡張固有表現

拡張固有表現は、幅広い固有表現を対象とした固有表現オントロジーであり、今回利用した Version 8.1 では最大 4 階層で、末端カテゴリー数は 219 ある

(Sekine et al. 2002, ENE-HP）。一般的な固有表現力 テゴリー(Nadeau 2007)とされる組織名や地名の下位概念である企業名、政党名、市区町村名、湖沼名だ けではなく、イベント名、製品名、自然物名などの 新規のカテゴリーもあり、Wikipedia の項目を対象に 拡充している。拡張固有表現のホームページに詳細 の定義があるが、付録に記載した図 2 亿全体像を示 す。また、Wikipedia を対象にしているため、2つの 特異なカテゴリーを設定している。一つは主に一般名詞などを対象にした"CONCEPT”というカテゴリ 一であり、もう一つは「転送ぺージ」「リストペー ジ」「メタ情報ぺージ」など Wikipedia 特有のぺー ジを対象とした”IGNORED”である。拡張固有表現の 多くのカテゴリーには構造化のために属性も定義さ れ、構造化の際に利用する。

## 3 日本語分類データ

日本語 Wikipedia 分類データは 2019 年 1 月の Wikipedia ダンプを対象に作成した。被リンク数が 5 以下の 15 万ページ、シンプルな方法で除外した固有表現ではない 5 万ページを除いた 92 万ページから構成されている。 3 万ページ程度の学習データを元に 機械学習を用いた分類結果を人手ですべてチェック した（Suzuki et al. 2018）。サンプルデータを用いて 分析した結果、精度は 98.5\%程度であると推定され ている。残りの $1.5 \%$ は、人が見ても曖昧なぺージな どであった。表 1 に頻度の高い上位 10 個のカテゴリ 一の情報を載せる。映画化された小説のぺージに両方の記載がある場合などには、1つのページが複数 のカテゴリーに属することとしており、その割合は $3 \%$ 程度である。

表 1. 頻度の高いカテゴリ

## 4 共有タスク

30 言語の2019年 1 月の Wikipedia ダンプを対象に、拡張固有表現に分類するタスクを実施した（関根ら 2021）。30 言語は、言語ごとの “active user” の数 が多いものから選んだ。本タスクの教師データは、 3 節で紹介した日本語の分類データと Wikipedia の言語間リンクから自動的に各言語に対して作成したも のを利用した。したがって、完全なデータではなく、 いわゆる“silver data”である。例えば、226 万ページ あるドイツ語の場合には、日本語からの言語間リン クがあるページは 27 万ページあり、それを教師デー タとして、残りの 199 万ページの分類を行うことが 本タスクとなる。（ただし、参加者にはアンサンブ ル学習での利用を考慮し、教師データ部分の分類も 学習システムを使って実施することを求めている)参加チームは、2021 年は 10 チーム、2022 年は 3 チ 一ムであった。それぞれのシステムに関する論文は、森羅ホームページより閲覧できる（SHINRA-HP）。全ページのデータの提出を促すこと、将来のシステ ム評価との比較が公平にできることを目的として、評価の対象ページがどのページであるかは参加者に は公表していない。評価結果を表 2 に示す。それぞ れの言語での最高のシステムの $\mathrm{F}$ 值、アンサンブル 学習システム $\mathrm{F}$ 値、最低 1 つのシステムに正解が含 まれる割合を示している。

表 2. タスクの評価結果

 &  &  \\

アンサンブル学習はシンプルな Voting により行 なっている。ただし、 1 参加者が 3 システムまで提出することができ、多くの場合にはそれらの出力は 非常に似ているため、参加者ごとの票が 1 になるよ うに Voting を補正している。表 2 の赤字は、アンサ ンブル学習システムが、最高性能のシステムを上回 っていることを示す。多くの言語で上回っているこ とがわかる。また、上限はほとんどの言語で $90 \%$ \%超え、平均は $97 \%$ と非常に高いことがわかる。上限 に近いシステムを開発することは今後の課題である。

## 5 リソースのサンプルと統計情報

図 1 にサンプルデータを載せる。"pageid”と“title” で Wikipedia の該当ページを示し、ENEs でそのペー ジの拡張固有表現カテゴリーを ID と名前で示して いる。言語ごとに 1 ファイルで構成され、 31 言語分 の 31 ファイルがある。

図 1.サンプルデータ（英語）

表 3 に、言語毎の分類結果の頻度を示す。名前(1) の下位カテゴリーは、その次の階層のカテゴリーで まとめている。例えば 1.4 の組織名には、国際組織名(1.4.1)、企業名(1.4.6.2)、政党名(1.4.7.2)などの組織名の下位にあるカテゴリーの頻度の総和が示され ている。頻度の高いカテゴリーは言語共通であり、

名” $(13.52 \%)$, “製品名” $(13.65 \%)$, “施設名” $(6.14 \%)$, “組織名”(5.58\%)が頻度の高いカテゴリーである。

表 2 で示した通り、日本語を除いた 30 言語のリソ 一スの $\mathrm{F}$ 值は 86.76 であり、完璧ではない。どの力 テゴリーがどのカテゴリーに間違っているかを分析 した。付録の表 4 に混同行列の形で、正解とアンサ ンブル学習システムの出力の頻度を示す (30 言語の合計を示している）。この階層レベルで見た時の全体の誤りの $85 \%$ は“CONCEPT”か“IGNORED”に関連 している。特に、正解が“IGNORED”である時に、様々 なカテゴリーが付いている場合と、正解が様々な力 テゴリーである場合に“CONCEPT”のカテゴリーと なっている場合が目立つ。これらの誤り以外では、例えば、“組織名”と“地名”と“施設名”の 3 つのカテ ゴリ一の混同がある。施設名は、公園、学校、空港、道路など、組織名や地名に関係するものが対象とな っており、このような混同はある程度理解できる。 システムは“CONCEPT”と“IGNORED”以外は理解で きる範囲の結果を出力し、信頼できる知識になって いると考えている。“CONCEPT”と“IGNORED”の問題については今後の課題として取り組む考えである。

## 6 関連研究

知識オントロジーは自然言語処理にとって重要な リソースであると考えられてきた。例えば、1980代 の人工知能ブームでは日本では $\operatorname{EDR}$ (日本電子化辞書 1995)、米国では Cyc(Lenat 1995)という大きな国家プロジェクトで知識構築が行われたが、構築コス ト、メンテナンス、カバレージなどの問題 (Knowledge Acquisition Bottleneck) に直面し、当初 の目的を達成したとは言い難い。

不特定多数の協働によって百科事典知識を構築す る Wikipedia プロジェクトによって上記の問題に対 するパラダイムは大きく変化した。ただし、この知識は人間が読むために作られたものであり、計算機利用が容易にできるものではない。そこで、計算機利用な知識構築を目指した取り組みが行われている。 DBpedia は Wikipedia 内の infobox な゙構造化されて いる部分を利用し、構造化知識を構築している (Lehmann et al. 2015)。YAGO は Wikipedia と WordNet を結びつけることにより利用しやすいオントロジー を作ろうというプロジェクトである(Mahdisoltani et al. 2015)。Wikidata は Freebase などの経験を生かし、既に存在する構造化知識とクラウドを活用し、構造化知識を構築していこうというプロジェクトである (Vrande cic and Krotzsch 2014)。ただ、上記のどの知識も、カテゴリーや構造的な知識部分にノイズが多 くある Wikipedia に頼っていたり、カテゴリーや構造フレームの部分もクラウドによるボトムアップな 方法で構築しているため、多くのノイズが存在し、計算機による利用が難しいのが現状である。

## 7 協働による知識構築

本リソースを構築した森羅プロジェクトの大きな 特徵の一つは「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」である (関根 ら 2018)。共有タスクによる言語処理技術の向上が 幅広く行われている。そのおかげで様々な技術が開発され精度向上が達成されてきた。しかし、多くの 場合には、システムの最適化 (Optimization) の競争 に過ぎない形でのプロジェクトとなり、タスクが終了すると開発したシステムも放置され、その結果が 何らかの貢献につながらないことが多い。この状況 は次に挙げる 3 つの改良によって改善すると考えて いる。

1. タスクを知識やリソースの構築などにつな がる形で設計する

2. システムの出力結果は広く公開し、アンサン ブル学習をはじめとした研究につなげる

3. タスクの出力結果をある種の学習データと して用いたシステムを開発できるように、再度タスクに参加できるような枠組みとする「森羅プロジェクト」のタスクは、多言語の分類 タスクに限らず 2018 年から日本語の属性値抽出夕 スク、リンク同定タスクを含め 6 回実施した。2022 年には、日本語で分類、属性値抽出、リンク同定の 3つのタスクを同時に行い、構造化知識を構築する タスクを実施する予定である。これまで作成した全 ての教師データと、構造化した 2019 年の Wikipedia 知識を教師データとして利用し、2021 年の Wikipedia を対象にする予定であり、これまで大き な課題であった知識メンテナンスの問題解決も目指 している。興味ある方の参加を期待している。

## 7 まとめ

協働による知識構築（RbCC）の枠組みで構築した 31 言語のWikipediaを拡張固有表現で分類した知識リ ソースについて報告した。日本語は 92 万ぺージを 98. $5 \%$ の精度で、他の 30 言語は約 3250 万ページを 87 の F 值で分類されている。データは森羅ホームぺ ージで公開している。

表 3. 各言語のカテゴリーごとの頻度

 & Person & God &  &  \\
 & Location & Facility & Product &  & Event &  & Disease & Color & Timex & Numex & IGNORED \\

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたも のです。

## 参考文献

SHINRA-HP. Shinra project homepage:

https://shinra-project.info.

SHINRA2020-ML-HP. Shinra 2020-ml homepage: http://shinra-project.info/shinra2020ml/.

ENE-HP. Extended named entity homepage: https://ene-project.info.

関根聡, 野本昌子, 中山功太, 隅田飛鳥, 松田耕史,安藤まや (2021). SHINRA2020-ML:30 言語の Wikipedia ページの分類, 言語処理学会第27回年次大会発表論文集

関根聡, 小林暁雄, 安藤まや (2019). Wikipedia構造化プロジェクト「森羅2018」,言語処理学会第25回年次大会発表論文集, pp.69-72, 2019.

日本電子化辞書研究所 (1995). EDR電子化辞書シン ポジウム

Tushar Abhishek, Ayush Agarwal, Anubhav Sharma, Vasudeva Varma, and Manish Gupta (2020).

Rehoboam at the ntcir- 15 shinra2020-ml task. In The 15th NTCIR Conference Evaluation of Information Access Technologies (NTCIR-15).
Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N. Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick van Kleef, Soren Auer, and Christian Bizer (2015). Dbpedia - a large-scale, multilingual knowledge base extracted from wikipedia. Semantic Web, 6(2):167-195.

Douglas Lenat (1995). Cyc: A large-scale investment in knowledge infrastructure. Communications of the ACM, 38(11):33-38.

pages 94-100. AAAI Press.

Farzaneh Mahdisoltani, Joanna Biega, and Fabian M Suchanek (2015). Yago3: A knowledge base from multilingual wikipedias. CIDR.

David Nadeau, Satoshi Sekine (2007). A survey of Named Entity Recognition and Classification”. Lingvisticae Investigationes 30 (1), 3-26.

Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata (2002). Extended named entity hierarchy. In the Third International Conference on Language Resources and Evaluation (LREC'02).

Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoki Okazaki, and Kentaro Inui. (2018) A joint neural model for fine-grained named entity classification of Wikipedia articles. IEICE Transactions on Information and Systems, E101.D(1):73-81.

Denny Vrande cic and Markus Krotzsch (2014).

Wikidata: A free collaborative knowledgebase.

Commun. ACM, 57(10):78-85.

## A 付録

乗り物名 乗り物名_その他車名 / 列車名 / 飛行機名食べ物名 食へ物名_その他

芸術作品名、芸桡作品名_Zの他絵画名 / 番組名 / 映画名 /
公演名 / 音樂名

出版物名 出此物名 Zの 新聞名 / 雑読名

規則名 规則名_その他

条約名 / 法令名

称号名 称号名_Zの他

地位膱業名

言語名 言語名_その他

国語名

単位急 戦位名_その他

バーチャルアドレス名

バーチャルアドレス名_その他 チャンネル名 / 電話番号電子メイル/ URL

 \\

時間表現 時間表現_その他

時間 時間_その他時刻表現 / 日付表現 / 曜日表現時代表現

## 期間 期間_その他時刻期間 / 日数期間 / 週数期間月数時間 / 年数期間

IGNORED

図 2. 拡張固有表現階層

表 4. 正解とアンサンブルシステム出力の混同行列

(縌軸が正解カテゴリー、横軸がアンサンブルシステムの出力カテゴリー)

 &  & Location & Facility & Product &  & Event &  & Disease & Timex & Numex &  \\


 関根聡 ${ }^{1}$ 中山功太 ${ }^{1}$ 野本昌子 ${ }^{1}$ 安藤まや $^{2}$ 隅田飛鳥 ${ }^{1}$ 松田耕史 ${ }^{1}$ ${ }^{1}$ 理化学研究所 革新知能統合研究センター ${ }^{2}$ フリー \{satoshi. sekine, kouta. nakayama, masako. nomoto, asuka. sumida, koji. matsuda\}@riken.jp maya@cis. twcu. ac. jp  