# ラベル内容のエンコードとラベル間の制約に基づく 補助コーパスを用いた固有表現抽出

大井拓 三輪誠 佐々木裕
豊田工業大学
\{sd19013, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

自然言語処理分野における教師あり深層学習で は，高い性能を達成するためには大量のラベル付き データを含むコーパスが必要である．ラベル付き データを増やす方法として，補助コーパスとしての 既存のラベル付きコーパスの利用が考えられるが, コーパスごとにアノテーションの基準が異なるた め, 単純に補助コーパスを追加して学習しても性能 が向上するとは限らない。本研究では，固有表現抽出を対象に，コーパス情報や説明文を含むラベルの 情報を埋め込み表現にエンコードし，異なるコーパ スのラベル間の違いを考慮しながら，補助コーパス を対象コーパスに追加して学習を行う新たなスパ ンベースのモデルを提案する. 生物医学分野の 2 つ の固有表現抽出コーパスについて，BC5CDR を対象 コーパス，NCBIを補助コーパスとして，本提案手法を評価した結果，補助コーパスにより対象コーパ スでの性能を向上できることがわかった.

## 1 はじめに

文章の内容を捉えるにはその話題の中心となる固有表現の把握が重要であり，固有表現抽出 (Named Entity Recognition; NER) は重要な基礎タスクとして 古くから取り組まれている.

近年，自然言語処理の分野では，正解がラベル付 けされた訓練データからなるラベル付きコーパスを 用いてモデルを学習する教師あり深層学習を用いた 手法 $[1,2]$ が主流となっている. 教師あり深層学習 においては，大量の訓練データが必要であるが，そ の人手でのラベル付けには高いコストがかかる.

訓練データを増やす方法として，補助コーパスと して既存のラベル付けされたコーパスを利用する ことが考えられる。しかし，NERのコーパスはラ ベルの種類の違い，アノテーションガイドラインに

図 1 BC5CDR と NCBI の両方に含まれる事例でラベル付 けに違いがある例

おけるラベル付け基準の違いによるラベルが付い ている用語の違い，というコーパスごとのラベル付 けの違いがあるため，そのまま同様のデータとして 扱うことが難しい。例えば，生物医学分野のコーパ スである BC5CDR (BioCreative V CDR task corpus) [3] と NCBI (NCBI Disease corpus) [4] における病名に対 するアノテーションの違いを図 1 に示した.この 2 つのコーパスはともに“pain”がテキスト上に現れ ており，BC5CDRでは病名としてラベル付けされて いるが，NCBI ではラベル付けされていない。これ は一般的な用語に対してはラベル付けを行わない NCBI に対して，BC5CDR では一般的な用語の中で も “pain”や“cancer”などにはラベル付けを行うと基準を定めているためである.

本研究では，複数コーパスにおけるラベル付けの 違いによる影響の緩和により，対象コーパスにその コーパス以外のコーパス（補助コーパス）を追加し て学習することで，NER モデルの性能向上を目指 す.そのためにコーパス情報を与えたラベル表現に よる新たなスパンベースの固有表現抽出モデルを提案する．実験では，対象コーパスに補助コーパスを 追加した場合の性能の変化を評価し，提案手法の有効性を検証する. 本研究の貢献は次の通りである.

・補助コーパスを対象コーパスに追加して学習を 行うスパンベースの固有表現抽出手法の提案

・複数コーパスのラベルを区別するラベルの内容 を表すためのラベル表現の有効性の確認

図 2 提案モデルの全体像

・複数コーパスのラベル表現に意味的な近さによ り制約をかけることの有効性の確認

## 2 関連研究

## 2.1 スパン表現による固有表現抽出

文中の一定範囲の領域であるスパンを対象とした スパン表現を用いた NER が近年注目を浴びている [2, 5, 6]. Zhong ら [2]のモデルでは, 文のエンコード の部分で BERT (Bidirectional Encoder Representations from Transformers) [1] における注意機構による文脈 を含んだ表現を用いて，対象スパンの先頭，末尾の 単語の埋め込み，長さの埋め込みを連結し，スパン を表現している。このスパンの表現を全結合層に入力し, 分類ラベルの次元数に落とし各次元をラベル に割り当てることで分類を行う. Zhong らは単純な モデルでありながら, end-to-end で NER と関係抽出 を解くタスクで最高性能を示し，NERでも高い性能 を示すスパン表現によるモデルを提案した。

## 2.2 補助コーパスとラベル表現を用いた 固有表現抽出

分類の対象となるラベル自体の意味内容も分類を 行う上で重要であるという考えから， Ma ら [7] は， トークンベースの固有表現について，BERTによっ て埋め込み表現ベクトルへ変換した分類ラベルを用 いて固有表現抽出を行う手法を提案した. 具体的に は，それぞれのトークンの BERTによる埋め込み表現ベクトルと分類の対象となるすべてのラベル表現 のベクトルで内積を計算し，そのトークンを値の高 いラベルに分類する.この手法によって，似たラべ ルを扱っている補助コーパスで BERTをファイン チューニングすることで対象コーパスの訓練データ を各ラベルの事例数を $1 ， 5 ， 20 ， 50$ 件に制限した条件で高い性能を実現した. 一方で，コーパスごと のラベル付けの違いは考慮しておらず，目的とする コーパスの訓練データの事例数を制限しない場合,性能の向上は見られなかった.

## 3 提案手法

本研究では，補助コーパスを用いた異なるコーパ スのラベルとその意味関係を考慮したスパン表現 による固有表現抽出モデルを提案する。提案モデル の全体像を図 2 に示す. 2.2 節の Ma ら [7] とは異な り，スパン表現のモデルを用いることでトークンレ ベルではなく，固有表現レベルでのラベルの表現を 利用する。まず，異なるコーパスのラベルを区別す るために，コーパス名の情報やラベルの説明文をラ ベルに付加した上で，BERTを用いてラベルを埋め 込み表現ベクトルヘエンコードする。また，学習中にラベルの表現を調整する制約を加えることで， コーパス間の近いラベルと異なるラベルを考慮した ラベルの表現を目指す。

## 3.1 ラベル表現によるスパン分類モデル

2.1 節の Zhong らのモデルと同様に予測対象とな る文を事前学習済みの BERTによってエンコード し，その表現から単語を組み合わせたスパンの表現 を作成する. BERT の出力の表現ベクトルをスパン の先頭と末尾で結合し，そこにスパンの長さの埋め 込み表現を結合したものを全結合ニューラルネット ワークによって 768 次元にしたものをスパンの表現 とする. $x_{1}$ から $x_{n}$ のスパンの表現を以下に示す.

$
\boldsymbol{h}_{\text {span }}=\operatorname{Linear}\left(\operatorname{Concat}\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{n}, \Phi(n)\right)\right)
$

ここで，Linear(.) はスパンの次元から 768 次元にす る全結合層，Concat( $(\cdot)$ はべクトルの結合， $\Phi(n)$ は スパンの長さ $n$ に対する埋め込み表現を表す.

コーパスの違いやラベルの意味内容を含んだ 分類を行うためにラベルに対してもエンコード を行う．文のエンコードと同様に事前学習済みの BERT によってラベル表現を得る ${ }^{1)}$. 具体的には，複数のコーパスとそのそれぞれの分類ラベルの名前を “[CLS] This is the <ラベル名> of <コーパス名 $>$ [SEP] ラベル説明文 [SEP]" のように入力すること でラベルにコーパスの情報を加える．ラベル表現に よって分類を行うため，負例についても，それに対応する “others” ラベルの表現を作る．ラベル表現に は入力のくラベル名>のトークンに対応する BERT の出力を利用する.

作成したスパンの表現とラベル表現によってスパ ンの分類を行う．スパンの表現とラベル表現は同じ 次元数のベクトルであるため，スパンの表現と各ラ ベル表現のコサイン類似度を計算し，そのスパンの 各ラベルに対するスコアとし，スコアが最も高いラ ベルに分類する. さらに，正解ラベル $y$ について， NER の損失 $L_{C E}$ を次のように計算する.

$
\begin{aligned}
& \hat{y}=\operatorname{Softmax}\left(\alpha \cos \left(\boldsymbol{h}_{\text {span }}, \boldsymbol{h}_{\text {label }}\right)\right) \\
& \cos \left(\boldsymbol{h}_{\text {span }}, \boldsymbol{h}_{\text {label }}\right)=\frac{\boldsymbol{h}_{\text {span }} \cdot \boldsymbol{h}_{\text {label }}}{\left.\|\boldsymbol{h}_{\text {span }}\right.\|\left.\|\boldsymbol{h}_{\text {label }}\right.\|} \\
& L_{C E}=-\sum_{\boldsymbol{h}_{\text {span }} \in S} \sum_{i} y_{i} \log \hat{y}_{i}
\end{aligned}
$

ここで， $\alpha$ は学習を進めるためのハイパーパラメー タである.

## 3.2 ラベル表現に対する制約を考慮した学習

学習では，NERの分類の損失に，ラベル間のコサ イン類似度に対する制約としてラベル間の関係を表現した損失を加えて学習を行う。

$
L=L_{C E}+L_{\text {label }}
$

ここで， $L_{\text {label }}$ は意味的に近いラベル表現が近づき，遠いラベル表現が遠くなるように以下のように定義 する.

$
\begin{aligned}
\boldsymbol{L}_{\text {label }}= & \sum_{\mathbb{H}_{\text {near }}} \max \left.\{0, \beta-\cos \left(\boldsymbol{h}_{\text {label }}, \boldsymbol{h}_{\text {label }}^{\prime}\right)\right.\} \\
& +\sum_{\mathbb{H}_{\text {far }}} \max \left.\{0, \cos \left(\boldsymbol{h}_{\text {label }}, \boldsymbol{h}_{\text {label }}^{\prime}\right)-\beta\right.\}
\end{aligned}
$

$\beta$ は，ハイパーパラメータであり，ラベル表現間のコサイン類似度の閾値を表す。また， $\left(\boldsymbol{h}_{\text {label }}, \boldsymbol{h}_{\text {label }}^{\prime}\right) \in \mathbb{H}_{\text {near }}$ は近づけるラベル表現の組

1）2つの BERT はパラメータは共有しない.表 1 コーパスのラベルごとの事例数

表 2 ラベル表現間のユークリッド距離．括弧内はコーパ ス，赤字は表現を近づける組み合わせ $\mathbb{H}_{\text {near }}$ を，黒字は表現を遠ざける組み合わせ $\mathbb{H}_{\text {far }}$ を表す. $-L_{\text {label }}$ は 3.2 節の ラベル表現による損失を利用しないモデル．Dis は病名， Chem は薬物，O は負例を表す。

み合わせの集合， $\left(\boldsymbol{h}_{\text {label }}, \boldsymbol{h}_{\text {label }}^{\prime}\right) \in \mathbb{H}_{\text {far }}$ は遠ざける ラベル表現の組み合わせの集合である.

学習においては，モデルを対象コーパスに特化さ せるために，1 エポック中にまず補助コーパスの訓練データによる学習を行い，次に対象コーパスの訓練データによる学習を行う．学習時には異なるコー パスのラベルへの分類を防ぐため，対象としている 文が属するコーパスのラベルのみでの分類を行う.

## 4 実験設定

複数コーパスでの学習における提案手法の有効性 を検証するために，BC5CDR [3] を対象コーパスと NCBI [4] を補助コーパスとして評価を行った. 各 コーパスのラベルとデータの統計を表 1 に示す.

実験では，生物医学文書による事前学習済みであ る PubMedBERT [8] をエンコーダとして採用する. スパンの表現に用いるエンコーダのパラメータは 1 エポックごとの更新，ラベル表現に用いるエンコー ダのパラメータは 1 エポックおきの更新として訓練 データでのファインチューニングを行う.

## 4.1 比較モデル

提案手法の有効性を検証するためにモデル構造及 び入力を変更した以下の手法を比較する。
表 3 ラベル表現による分類結果. 値は $\mathrm{F}$ 値 [\%]. 最も高 いスコアを太字とした。

表 4 ラベルの入力による影響 [\%]. Abstract はラベルの 入力のラベル説明文を各コーパスの論文の要旨に，Label はラベルのみを入力に変更して学習したモデル. 最も高 いスコアを太字とした。

- Linear Zhong ら [2] の手法. エンコーダには提案手法と同様に PubMedBERT を用い，提案手法と条件を合わせるために全結合層を 2 層と し, 間の隠れ層は 768 次元とした. 学習に 2 つ のコーパスの訓練データを用いる場合は，重複 するラベルを同じラベルとした.

・Cosine ラベルのエンコードを行わずラベル数 のベクトルを学習可能なパラメータとして与 え，全結合層ではなくスパンの表現とのコサイ ン類似度を計算し分類する手法.
- Proposed 提案手法. ラベル入力のラベル説明文としてコーパス発表時の論文中のアノテー ションガイドラインの章を採用した. 3.2 節の $L_{\text {label }}$ における閾値 $\beta$ は 0.6 とした. 制約をか けたラベルの組み合わせについては，表 2 に $\mathbb{H}_{\text {near }}$ に含まれる組み合わせを赤字で， 将 far に 含まれる組み合わせを黒字で示した。

## 5 結果と考察

## 5.1 ベースラインモデルとの比較

まず，ベースラインモデルと提案手法の比較とし て Linear, Cosine, Proposed の BC5CDR テストデー タでの評価結果を表 3 に示す. 各モデルを BC5CDR のみで学習した場合と NCBI を補助コーパスとして 追加して学習した場合のモデルで評価を行った.

Linear と Cosine では BC5CDR の訓練データのみ で学習を行った場合に比べて，NCBIを追加した場合，性能が低くなっている。対して，提案手法であ る Proposed では NCBI を追加した場合に性能が高い 結果となった。このことから，提案手法のラベルの表 5 ラベル間の制約の損失の影響 [\%]. 最も高いスコア を太字とした。

入力とラベルの表現に対する制約が複数のコーパ スにおけるラベルの違いに対して有効であるとわ かった.

## 5.2 ラベル情報による影響

次に，ラベル情報の追加による影響を検証するた めに，ラベルの BERT の入力を変更して評価を行 なった結果を表 4 に示す. ラベルの内容を表す情報を追加することで性能が向上していることがわ かる.

## 5.3 ラベル表現での損失関数による影響

最後に，提案手法の制約の損失 $L_{\text {label }}$ の影響につ いての評価を表 5 に，各ラベル表現間のユークリッ ド距離を表 2 に示す. 3.2 節で定義した $L_{\text {label }}$ に よって，特に BC5CDR の Chemical と NCBI の Others のラベルについて，その距離が大きく変化している ことがわかる.

## 6 おわりに

本研究では対象コーパスからの固有表現抽出に補助コーパスを追加して学習するスパンベースの固有表現抽出手法を提案した. 複数コーパスのラベルの 違いによる影響を緩和するために，ラベルの内容に 関するコーパス情報を含ませてラベルをエンコー ドし，ラベル表現間の制約を損失として導入した。 BC5CDR を対象コーパス，NCBI を補助コーパスと した評価においては，補助コーパスを用いた提案手法により，対象コーパスでの性能を向上できること を確認した。

今後の課題としては，対象コーパスと補助コーパ スを区別せず，コーパスを同時に用いることで両 コーパスでの性能向上が可能なモデルを目指す.ま た，ラベルの入力やラベル表現に対する制約によっ て性能が変化したことから，ラベル表現の関係の改善によるさらなる性能向上を目指す。さらに，学習 に用いるコーパスを増やした場合の影響を検証し たい.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[3] Jiao Li, Yueping Sun, Robin J. Johnson, Daniela Sciaky, Chih-Hsuan Wei, Robert Leaman, Allan Peter Davis, Carolyn J. Mattingly, Thomas C. Wiegers, and Zhiyong Lu. BioCreative V CDR task corpus: a resource for chemical disease relation extraction. Database, Vol. 2016, , 05 2016. baw068.

[4] Rezarta Islamaj Doğan, Robert Leaman, and Zhiyong Lu. Ncbi disease corpus: A resource for disease name recognition and concept normalization. Journal of Biomedical Informatics, Vol. 47, pp. 1-10, 2014.

[5] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 188-197, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Mohammad Golam Sohrab and Makoto Miwa. Deep exhaustive model for nested named entity recognition. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 28432849, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[7] Jie Ma, Miguel Ballesteros, Srikanth Doss, Rishita Anubhai, Sunil Mallya, Yaser Al-Onaizan, and Dan Roth. Label semantics for few shot named entity recognition. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1956-1971, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Healthcare, Vol. 3, No. 1, oct 2021.

[9] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison,
Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[10] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

## A ハイパーパラメータ

本研究における実験で用いたハイパーパラメータ を表 6 に示す. スパンを作成する BERT，ラベルを 作成する BERT，それ以外の全結合ニューラルネッ トワークなどのパラメータで異なる学習率を用いて いる.

表 6 各モデルのハイパーパラメータ

## B 実験環境

実験のためのプログラミング言語は Python 3.7.11, 機械学習ライブラリとして PyTorch [9] の バージョン 1.11.0, 事前学習モデルを使用するため に Transformers [10] のバージョン 3.0.2を用いた. ま た，計算機では CPU Intel(R) Xeon(R) CPU E5-2698 v4 及び Intel(R) Xeon(R) W-3225, GPU に NVIDIA Tesla V100 DGXS 32GB 及び NVIDIA RTX A6000を 用いた.
 大井拓 三輪誠 佐々木裕 豊田工業大学 \{sd19013, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp  