# 日本語固有表現抽出における BERT-MRC の検討

橋本航 ${ }^{1}$ 笛木正雄 1,2 黒木裕鷹 1 高橋寛治 1
${ }^{1}$ Sansan 株式会社 2 東工大工学院経営工学系
\{wataru.hashimoto, fueki, kuroki, ka.takahashi\}@sansan.com

## 概要

固有表現抽出は，テキスト中から人名や組織名 などの固有表現を抽出する技術である。近年は， BERT を始めとした事前学習モデルをべースとした アプローチの発展が著しい. 中でも BERTを用いた 機械読解 (Machine Reading Comprehension; MRC) と して固有表現抽出を解くモデルである BERT-MRC は，複数の英語データセットにおいて最高性能を示 している。本稿では，日本語データセットを対象 にして BERT-MRC の精度検証やエラー分析を行い，有効性を検討した. その結果，BERT-MRC は精度と しての有効性は確認されなかったものの, 固有表現抽出と機械読解形式とれぞれの場合で有効性を示す ケースを確認することができた.

## 1 はじめに

固有表現抽出 (Named Entity Recognition; NER) は， テキスト中から人名や組織名など固有表現を抽出す る，自然言語処理において基礎的かつ重要な技術で ある. 固有表現抽出は個人情報のマスキングや文書 からの情報抽出などに用いられ，Sansan 株式会社が 提供する営業 DX サービス「Sansan」1) や名刺アプリ $\lceil\text { Eight }\lrcorner^{2}$ においてもニュース記事中から抽出した企業名をキーとしてニュース配信に用いている.

近年は，事前学習済みの言語モデルである BERT[1]を始めとした様々な言語モデルを固有表現抽出タスク向けにファインチューニングし，優れた 性能を示す例が数多く報告されている。その中で も，2019 年に提案された，固有表現抽出を機械読解形式で解くモデルである BERT-MRC[2] は, 複数の 英語データセットにて当時の最高性能を示したモ デルである. BERT-MRC は 1 つのトークンに複数の ラベルが割り当てられる場合も考慮する nested-NER にも利用可能など，拡張性の高いモデルである．機


械読解形式で固有表現抽出を解く場合，固有表現の 各ラベルは質問文と紐付けられ，対象文から質問文 に対応する固有表現が抽出される。. 例えば，抽出対象の文が「Sansan 株式会社は、Eight を提供する。」 であり，質問文が「会社名や企業名を含む法人を探 せ」の場合，「Sansan 株式会社」が抽出される。機械読解形式で解く利点として，ラベルを構成するトー クン列が持つ意味的な情報を活用できる点がある.

しかし，BERT-MRC は英語では優れた性能を示す ことがわかっているものの，日本語での有効性は明 らかになっていない. 本稿では, 日本語に対する固有表現抽出タスクにおいて精度検証やエラー分析を 行い，日本語での BERT-MRC の有効性を検討する.

## 2 関連研究

本章では固有表現抽出に関連する研究について述 べる. 固有表現抽出では，同じトークンでも文脈に よってラベルが異なる場合があるため，系列におけ る過去と未来の双方向の依存性を考慮したモデルが 主流である. Huang ら [3] は BiLSTM-CRFによる固有表現抽出を行っている．BiLSTM は，過去と未来 の双方向について，それぞれ隠れ表現を得るモデル である. Akbik ら [4] は，BiLSTM-CRF に入力する 表現として，語自身の意味表現だけでなく文脈上の 使われ方を考慮した新しい単語埋め込みを入力する 手法を提案し，高い性能を示している.

近年は事前学習済み言語モデルの導入が進ん でおり，その顕著な例が BERT である. BERT は Transformer[5]をべースとし, Masked Language Model および Next Sentence Prediction による双方向の事前学習を導入した事前学習モデルであり, 固有表現抽出をはじめとした様々な自然言語処理タスクに応用可能である. また，BERT C CRF 層を組み合わせた BERT-CRFにより，BERTを用いた固有表現抽出モ デルと比較して精度向上することが報告されており [6]，日本語における BERT-CRF の有効性も確認され ている [7].

さらに，自然言語処理タスクを機械読解形式で解 く方法も提案されており，Li ら [8] は機械読解形式 で関係抽出を行い，大幅に精度が向上したことを報告している. 本稿では，機械読解形式で日本語固有表現抽出タスクを行った場合の有効性を検討する。

## 3 実験及び評価

## 3.1 モデル

本稿では，比較対象となる通常の固有表現抽出モ デルとして BERT-CRF，機械読解形式で解くモデル として BERT-MRC を用い実験を行った。

## 3.1.1 BERT-CRF

BERT-CRF は，BERTを用いた固有表現抽出の出 カラベルの遷移が正しくなるように制約をかけたモ デルである. 入力系列のトークン数を $n$ ，ラベルの 数を $K$ ， 入力系列を $\mathbf{X}=\left.\{\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{n}\right.\}$, 出力ラベル $を \mathbf{y}=\left.\{y_{1}, y_{2}, \ldots, y_{n}\right.\}$ とすると，遷移を考慮した系列 のスコア $s(\mathbf{X}, \mathbf{y})$ は以下のように書ける.

$
s(\mathbf{X}, \mathbf{y})=\sum_{i=0}^{n} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{n} P_{i, y_{i}}
$

ここで $A \in \mathbb{R}^{(K+2) \times(K+2)}$ はラベル間の遷移行列， $P_{i, y_{i}}$ はトークン $i$ における出力 $y_{i}$ の確率である. 目的関数は式 (1) のスコア関数を用いた対数尤度関数 で表わせ，最大化するように学習を行う。

$
\log p(\mathbf{y} \mid \mathbf{X})=s(\mathbf{X}, \mathbf{y})-\log \left(\sum_{\hat{\mathbf{y}} \in \mathbf{Y}_{\mathbf{X}}} e^{s(\mathbf{X}, \hat{\mathbf{y}})}\right)
$

ここで $\mathbf{Y}_{\mathbf{X}}$ は $\mathbf{y}$ がとりうる全系列の集合である。 $\mathbf{Y}_{\mathbf{X}}$ の要素数は膨大であるため, 式 (2) の最大化には ビタビアルゴリズムを用いる.

## 3.1.2 BERT-MRC

BERT-MRC は，固有表現抽出を質問に対する 回答に該当するスパンを抽出する機械読解形式で解くモデルである. BERT-MRC では，入力 を質問文と抽出対象文を結合したトークン列 $\left.\{[\mathrm{CLS}], q_{1}, q_{2}, \ldots, q_{m},[\mathrm{SEP}], x_{1}, x_{2}, \ldots, x_{n}\right.\}$ を BERT に 入力し, 対象文のトークンのベクトル表現行列 $E \in \mathbb{R}^{n \times d}$ を得る. ここで $m$ は質問文のトークン数, $d$ は BERT の最終層の出力ベクトルの次元である.得られた $E$ を用いて，そのトークン位置がスパンの表 1 固有表現抽出のデータ例 (IOB2 フォーマット)

表 2 機械読解形式のデータ例

 \\

始点か否かを予測する。

$
P_{\text {start }}=\operatorname{softmax}\left(E \cdot T_{\text {start }}\right) \in \mathbb{R}^{n \times 2}
$

ここで $T_{\text {start }} \in \mathbb{R}^{d \times 2}$ は重みパラメータである. ス パンの終点に対しても同様の予測を行う.

また，上記の予測結果を用いるだけでは質問文に 対応する回答のスパンが一意に定まらない可能性が ある．そのため，スパンの始点と終点のマッチング についても予測を行い，これらを統合することで質問文に対するスパンを出力する。

$
P_{i_{\text {start }}, i_{\text {end }}}=\operatorname{sigmoid}\left(W \cdot \operatorname{concat}\left(E_{i_{\text {start }}}, E_{i_{\text {end }}}\right)\right)
$

ここで $W \in \mathbb{R}^{1 \times 2 d}$ は重みパラメータである.

## 3.2 実験設定

データセットとして，ストックマーク株式会社 が提供する Wikipedia の日本語固有表現抽出データ セット [9] を用いた。学習データ，開発データ，テ ストデータの比率が 8:1:1 になるようにデータを分割した。また，当該データセットを固有表現抽出お よび機械読解のタスクへ適用するため，それぞれ表 1，表 2 のように整形を行った. 固有表現抽出のラ ベルのフォーマットとして IOB2 フォーマットを用
表 3 固有表現ラベルに対応する質問文

表 4 BERT-CRF と BERT-MRC の固有表現抽出における固有表現ラベルごとの結果

## BERT-CRF BERT-MRC

いた.また，BERT の事前学習済みモデルとして東北大の日本語 BERT モデルを使用した. ${ }^{3)}$

BERT-CRF については，不正な遷移4)に対応す るパラメータを-100で初期化した状態で学習を 行った.

BERT-MRC については， negative sampling を導入 して学習を行った.ここでいう negative sample と は，質問文に対応する固有表現が対象文中に存在し ないデータのことであり, negative sampleを間引い て学習するのが negative sampling である. 固有表現抽出を機械読解形式で解く場合，1文に対してラべ ルの個数分の質問文を生成する。そのため，文に よっては該当するラベルがない事例が生成される ことになるケースが多い. negative sampleが多い場合，学習が効率的に進まないため, negative sampling が必要である. 本稿では, positive sample (質問文に 対応する固有表現が対象文に存在するデータ) に対 して negative sample の比率が 1.5 倍になるよう学習

3） https://github.com/cl-tohoku/bert-japanese

4）不正な遷移とは，例えば「B-組織名 $\rightarrow$ I-人名」のような， IOB とラベルが一致せず起こりえない遷移を指す.
データからサンプリングし学習を行った. また，各固有表現ラベルに対応する質問文の一覧を表 3 に示 す. 質問文は [9] の各ラベルを参考にして作成した。

## 3.3 評価方法

評価指標として Precision(適合率), Recall(再現率), F1(F-measure)を用いた. トークン列に対して正しい ラベルが付与できたか否かを基にして算出を行っ た.また，固有表現抽出タスクにおいて BERT-MRC と BERT-CRF の性能を同一条件で比較するため, BERT-MRC を固有表現抽出向けの精度評価ができ るように出力結果の後処理を行った. 具体的には, BERT-MRC では各固有表現ラベルごとに独立に推定 が行われるため、flat-NER（1つのトークンに 1 つの ラベルのみを割り当てる固有表現抽出）向けに変換 する後処理が必要となる. 本稿では，人名 >法人名 >政治的組織名 > その他の組織名 > 地名 > 施設名 >製品名 >イベント名の優先順位をつけて各トークン にラベル付けを行った.

## 3.4 結果

BERT-CRF および BERT-MRC の結果を表 4 に示 す. それぞれのラベルにおけるすべての評価指標に おいて，BERT-CRF の方が良い性能を示した. 各評価指標のスコアを比較しても差が大きいものも見 られることから，日本語の固有表現抽出（flat-NER） においては，機械読解形式のモデルよりも通常の固有表現抽出モデルを用いた方が良いことがわかる.

## 3.5 エラー分析

本セクションでは，BERT-MRC および BERT-CRF のエラー事例を示し考察を行う。まず，BERT-MRC において正しく抽出されなかったが BERT-CRF では 正しく抽出された例の抜粋を表 5 に示す.

表 5 では，BERT-CRF においては鉤括弧内の固有表現を抽出できているが，BERT-MRC では抽出でき ていないことを示している. 鉤括弧内に何らかの固有表現が含まれているのは今回しようしたデータ セットにおいて数多く見られ，実際にテストデータ の全 534 件において鉤括弧が含まれるものは 137 件存在する. その中でも鉤括弧内がすべて固有表現で ある 83 件において BERT-MRC は 69 件正解してい たのに対し，BERT-CRF は 77 件正解していた. 本事例において BERT-MRC が BERT-CRF と比較し正 しく抽出できていないことが，日本語固有表現抽出 においては固有表現抽出モデルに劣後している理由 の 1 つであると考えられる。

次に，BERT-CRF において正しく抽出されなかっ たが BERT-MRC では正しく抽出された例の抜粋を 表 6 に示す. こちらは，ラベル名に対応する質問文「政治的組織名、政党名、政府組織名、行政組織名、軍隊名、国際組織名を探せ」と抽出した固有表現「最高裁」が意味的に近い事例であり, 日本語にお いても BERT-MRC が有効である領域であるといえ る. 本結果から，対象としたい固有表現とより対応 するように質問文を改善すれば，精度が向上する可能性があると考えられる。

## 4 おわりに

本稿では固有表現抽出を機械読解形式で解くモデ ルである BERT-MRC を日本語に対する固有表現抽出に適用した. 精度としては通常の固有表現抽出と して解くモデルには劣後し, その原因の一つとして 今回使用した日本語固有表現抽出データセットの文表 5 BERT-MRC のエラー例

表 6 BERT-CRF のエラー例

中に鉤括弧が多いためであることが確認された. 一方で，日本語においても対象文における固有表現と 質問文の意味が近い場合は機械読解形式が機能する ことも確認された. 今後は, nested-NER や zero-shot の問題設定における日本語固有表現抽出の検討が課題である.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Association for Computational Linguistics, 2019.

[2] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified MRC framework for named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2020.

[3] Zhiheng Huang, Wei Xu, and Kai Yu. Bidirectional lstm-crf models for sequence tagging. CoRR, Vol. abs/1508.01991, , 2015.

[4] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics. Association for Computational Linguistics, 2018

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems. Curran Associates, Inc., 2017.

[6] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. arXiv preprint arXiv:1909.10649, 2020

[7] 田川裕輝, 西埜徹, 谷口元樹, 谷口友紀, 大熊智子. 生成された読影所見の自動評価に向けた固有表現認識 とモダリティ推定. 言語処理学会 第 26 回年次大会, 2020.

[8] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2019.

[9] 近江崇宏. Wikipediaを用いた日本語の固有表現抽出 のデータセットの構築. 言語処理学会 第 27 回年次大会, 2021.
 橋本航 ${ }^{1}$ 笛木正雄 1,2 黒木裕鷹 1 高橋寛治 1 ${ }^{1}$ Sansan 株式会社 2 東工大工学院経営工学系 \{wataru.hashimoto, fueki, kuroki, ka.takahashi\}@sansan.com  