# Wikipedia を用いた日本語の固有表現抽出のデータセットの構築

近江崇宏
ストックマーク株式会社
takahiro.omi@stockmark.co.jp

## 1 はじめに

固有表現抽出（認識）は，人名・組織名といった 固有名詞や日付，数値表現を抽出する自然言語処理 の基本的な技術である. 固有表現抽出は文章の構造化や，人名などのプライバシーに関わる部分のマス キングなどの応用が考えられる。

固有表現抽出器の作成には，コーパスに対して固有表現を付与したデータセットが必要になる. 日本語のデータセットに関しては、広く公開されている ものとして（無料であり、利用に登録などが必要の ないもの），京都大学ウェブ文書リードコーパス

[1] や, UD_Japanese-GSD データセット [2]に対し て固有表現情報を付与したもの［3] などがある。我々は最近新たにWikipediaを用いて日本語の固有表現抽出のためのデータセットを構築して、公開を 行った [4]. 本論文の主目的は, まずこのデータセ ットについての詳細な内容を記述することである. また，このデータセットから BERT[5]をファインチ ユーニングした固有表現抽出器を作成し, その性能 の評価も行う。

## 2 データセット

## 2. 1 固有表現の種類

本データセットでは, 応用上重要な固有名詞のみ を扱った. 日付や数値表現については，今後取り入 れていくことを検討している。データセットで扱わ れている固有表現のカテゴリーは「人名」,「法人名」,「政治的組織名」,「その他の組織名」,「地名」,「施設名」,「製品名」,「イベント名」の 8 種類 であり，その概要は表 1 にまとめられている。 それ ぞれのカテゴリーに対応する, 関根の拡張固有表現階層［6]で定義されている固有表現の種類について も，表 1 にまとめられている.

## 2. 2 データセットの作成

本データセットは日本語版の Wikipediaを用いて 作成された。まず，各記事から Wikiextractor [7] を用いて本文を抽出し，本文を文単位に分割し，前処理を行った. 前処理の具体的な内容は, 文字列の 正規化 (NFKC), 括弧の削除である. その後, 効率的 にアノテーションを行うため，ストックマーク社作成の固有表現抽出器（非公開）を用いて, 固有表現抽出を行い，何らかの固有表現が含まれていると判定された文を選び出し，人の手によるアノテーショ ンを行った. また固有表現の各カテゴリーで固有表現が 1000 以上含まれるような調整も行った.

最終的には，4859 文に対してアノテーションを 行い，その中に含まれる各カテゴリーの固有表現数 は表 1 にまとめられている。また, 負例として, 固有表現が含まれていないデータも 484 文加えたた め, データセットに含まれる文の合計は 5343 であ る.

## 2.3 データセットの公開

データセットはまず，バージョン 1 として 2020/12/15に[4]において公開された. その後, デ 一夕の修正及び追加を行い, バージョン 2 が作成さ れた. 今回の論文はこのバージョン 2 について記述 する. バージョン 2 も同一のレポジトリで公開され る予定である.

## 3 BERT を用いた固有表現抽出器の性

## 能評価

この章では，本データセットにより, どの程度の性能の固有表現抽出器が作成できるかを定量的に評価 する。そのために，BERT[5]を用いて実験を行なつ た. ここでは試行毎にデータセットからランダムに 選び出された 8 割のデータを用いて BERT をファイ ンチューニングし，残りの 2 割のデータをテストデ 一夕として用いて, ファインチューニングされた BERT の性能を評価した。表 2 は適合率, 再現率, $\mathrm{F}$

 \\

表 1 : 固有表現のカテゴリー

表 2 : BERTを用いた固有表現抽出の性能評価

値を固有表現のカテゴリー毎と全体で調べた結果で ある(数値は 10 回の試行の平均値である).カテゴ リー全体での $\mathrm{F}$ 值は 86\%程度であった．基本的には データセットに含まれる固有表現の数が多いカテゴ リーほど $\mathrm{F}$ 值が高い傾向がある。概初 2000 以上の 固有表現が含まれるカテゴリー（人名，法人名，地名）では $\mathrm{F}$ 値が約 $90 \%$ であった. それ以外の，約 1000 程度の固有表現が含まれるカテゴリーでは概将，F 值は約 $80 \%$ 程度であったが，製品名のカテゴ リーだけは $\mathrm{F}$ 值が $73 \%$ であった．各カテゴリーの固有表現抽出の難易度により $\mathrm{F}$ 値はばらつくが，デー タセットに固有表現が約 1000 含まれているカテゴ リーでは $\mathrm{F}$ 值は 80\%程度, 2000 以上含まれているカ テゴリーでは $\mathrm{F}$ 值が $90 \%$ 程度になると，この結果か らは類推される。これは目的に応じて, どの程度の 規模のデータセットを作れば良いかということに一 つの目安を与えると考えられる。

## 4 まとめ

本論文では Wikipedia を用いた日本語の固有表現抽出のためのデータセットについて詳細な記述を与え るとともに，本データセットを用いた時に，どの程度の性能の固有表現抽出器が作成できるかについて も，BERTを用いて評価を行った。

## 参考文献

1. 萩行正嗣, 河原大輔, 黑橋禎夫．多様な文書の 書き始めに対する意味関係タグ付きコーパスの構築 とその分析，自然言語処理，Vol. 21，No. 2, pp. 213-248, 2014. http://nlp. ist.i.kyotou. ac. jp/?KWDLC

2. 浅原正幸，金山博，宮尾祐介，田中貴秋，大村舞, 村脇有吾, 松本裕治. Universal Dependencies 日本語コーパス, 自然言語処理, Vol 26, No. 1, pp. 3-36, 2019.

https://universaldependencies. org/treebanks/ja gsd/index. html

3. 松田宽, 若狭絢, 山下華代, 大村舞, 浅原正幸. UD Japanese GSD の再整備と固有表現情報付与, 言語処理学会第 26 回年次大会発表論文集 https://github.com/megagonlabs/UD_Japanese--

GSD/releases/tag/v2. 6-NE

4. https://github.com/stockmarkteam/ner-

wikipedia-dataset
5. Devlin, Jacob, et al., "Bert: Pre-training of deep bidirectional transformers for langua ge understanding." arXiv preprint arXiv:1810. 04805 (2018).

6. Sekine, Satoshi, Kiyoshi Sudo, and Chikashi Nobata. "Extended Named Entity Hierarchy." LR EC. 2002.

7. https://github.com/attardi/wikiextractor
 近江崇宏 ストックマーク株式会社 takahiro.omi@stockmark.co.jp  