# Teacher-Student 学習を利用したラベル誤りを 含むデータにおける固有表現認識の性能向上

田川裕輝 ${ }^{1}$ 中野騰久 ${ }^{1}$ 尾崎良太 ${ }^{1}$ 谷口友紀 ${ }^{1}$ 大熊智子 ${ }^{1}$ 鈴木裕紀 ${ }^{2}$ 木戸尚治 ${ }^{2}$ 富山憲幸 ${ }^{2}$ 1 富士フイルム株式会社 2 大阪大学大学院医学系研究科 \{yuki.tagawa, norihisa.nakano, ryota.ozaki, tomoki.taniguchi, tomoko.ohkuma\}@fujifilm.com \{y-suzuki,kido, tomiyama\}@radiol.med.osaka-u.ac.jp
## 概要

情報抽出タスクの一つに固有表現認識（NER）が ある。医療などの特定の分野を対象に NER の学習 データを作成する場合，ラベル付け作業には対象分野の専門知識が必要となり，作業者間で解釈の違い や迷いが生じてしまう. その結果, ラベルにノイズ を含むデータが作成され，モデルの性能劣化につな がる. 本研究ではアンサンブルと Teacher-Student 学習（TS 学習）を利用したラベルノイズを含む学習 データにおける NER の学習方法を提案する． 4 種類 のラベルノイズを定義し，疑似的に作成したノイズ を含むデータを用いてその含有率ごとの性能評価実験を行った。その結果，提案手法がノイズの影響を 緩和し性能向上に寄与することが確認できた。

## 1 はじめに

固有表現認識（NER）とはテキストから固有表現 （NE）に当たるスパン（NE の開始，終了位置）とス

近年では深層学習の発展に伴い，学習データを大量に用意し，モデルを学習させる手法 $[1,2]$ が多い. しかし，ラベルにノイズが含まれている場合，深層学習を利用した手法ではノイズに対しても過学習 し，性能劣化につながる問題が指摘されている [3].

図 1 に医療レポートを例として NER におけるラ ベルノイズの例を示す. 図 $1 \mathrm{~b}$ では “ $\mathrm{S} 1$ ” が適切なス パンであるが，実際には “S1に”というスパンに対 してラベルが付いている。このようなノイズを含ん だデータが作成される問題は避けることが難しい.

学習データにノイズが含まれている場合の対策 にモデルのアンサンブルがある. アンサンブルとは 複数の異なるモデルの推論結果を統合し, 最終出力

(a) 正解データ

(b) Span-shift NE に対するスパンがずれているデータ

(c) Entity-missing NE が抜け落ちているデータ

(d) Over-labeling NE でないスパンにラベルが付いたデータ

(e) Label-swapping 異なるラベルが付いているデータ

図 1 NER におけるラベルノイズの例

を得る手法である．単一のモデルを学習させるとノ イズに対して過学習してしまうが，異なるデータや シード值で学習された複数のモデルの出力を統合す ることで，ノイズの影響を緩和できることが知られ ている [4]. しかし，推論時に複数のモデルで推論 するため，最終出力を得るまでに時間がかかるとい う問題がある．特に，即時性の必要なアプリでは推論時に複数のモデルを利用する手法は扱いづらい。

本研究では Teacher-Student 学習 (TS 学習) [5] を 利用したラベルノイズを含む学習データでの NER の学習方法を提案する。提案手法の概要図を図 2 に 示す. 提案手法は訓練セットを複数のサブセットに 分割し，各サブセットで複数の教師モデルを訓練す る. 次に，各教師モデルの出力分布を統合した分布 に近づけるように単一の生徒モデルを訓練する．提案手法によりノイズの影響が緩和された単一のモデ ルが得られ，複数のモデルで推論するアンサンブル と比べて最終出力を得るまでの時間が抑えられる。
本研究の貢献は以下である. i) ラベルノイズを含 む学習データにおける NER の性能向上を目指し， アンサンブルと TS 学習を組み合わせた手法を提案 する. ii) 4 種類のラベルノイズを疑似的に付与した データセットにおいて提案手法は高い性能であり， ノイズの影響を緩和できることを確認する。

## 2 関連研究

$\mathrm{NE}$ のラベル付けは難しく，ラベルノイズが混 ざったデータが作成されてしまう $[6,7]$. NER では 大量のデータで学習する手法が多く提案され, 高い 性能が報告されている $[1,2]$ が，ノイズが含まれた データで学習すると, モデルはノイズに対して過学習し，性能が劣化することも知られている [3].

この問題に対して, Cross-Weigh [6] ではモデルの 予測ラベル系列と正解ラベル系列が一致しない場合，その学習サンプルはノイズを含むと推定し，損失値に低い重みを掛けることで，ノイズを含む学習 サンプルの学習への影響を小さくしている.この手法はサンプル単位で重み付けするため，同一サンプ ル内にノイズを含む $\mathrm{NE}$ ，含まない $\mathrm{NE}$ が混ざって いる場合に区別して扱えない，一方で，提案手法で はサンプル単位ではなく, 複数の教師モデルが予測 した各トークンに対するラベル確率分布を利用する ことで，トークン単位でノイズの影響を抑えながら モデルを学習することができる.

他にもノイズを含む学習データにおける NER の 研究 $[8,9,10]$ があるが，これらは一部の $\mathrm{NE}$ が O ベルとなるノイズのみを対象としている。実際に NER のラベルノイズを調査した結果，スパンの間違 いなども確認された。そこで，本研究では NER の ラベルノイズを 4 種類に分類し，各ノイズを疑似的 に付与した学習データを用意し，性能を比較する。

## 3 提案手法

提案手法では複数の教師モデルを訓練した後，そ れぞれの教師モデルの出力に近づけるように単一の 生徒モデルを訓練し, 最終的な推論に用いるモデル を獲得する.また，モデルには BERT-CRFを用いる。

## 3.1 生徒モデルの学習

図 2(a) は生徒モデルの学習方法を示している. ま ず, 学習データ $D=\left.\{\left(x_{i}, y_{i}\right)\right.\}_{i=0}^{N}$ をランダムに分割し,複数のサブセット $\left.\{d^{k}\right.\}_{k=1}^{K}, d^{k}=\left.\{\left(x_{h}^{k}, y_{h}^{k}\right)\right.\}_{h=0}^{H}, K \geq 2$ を作成する. $d^{k}$ を用いて $k$ 番目の教師モデル $t^{k}$ を

(a) 生徒モデルの学習

（b）MBANを適用した場合の生徒モデルの学習

図 2 提案手法の概要図

訓練する. 訓練には以下の損失関数 $L_{t e a^{k}}$ を用いる.

$
\begin{aligned}
& L_{t e a^{k}}=\sum_{h=0}^{H} L_{n l l}\left(x_{h}^{k}, y_{h}^{k}\right) \\
& L_{n l l}(x, y)=-\log p(y \mid x)
\end{aligned}
$

ここで， $L_{n l l}$ とはトークン系列 $x$ に対するラベル系列 $y$ の負の対数尤度関数である. $x_{h}^{k}$ と $y_{h}^{k}$ はそれぞ れ $k$ 番目のサブセット $d_{k}$ 中の $h$ 番目のトークン系列とそれに対応する $\mathrm{NE}$ ラベル系列である.

次に，訓練した $K$ 個の教師モデル $\left.\{t_{k}\right.\}_{k=1}^{K}$ の出力分布を統合した分布に近づけるように，以下の損失関数 $L_{s t u}$ を用いて生徒モデル $s$ を訓練する.

$
\begin{array}{r}
L_{s t u}=\sum_{i=0}^{N}\left.\{\alpha \cdot L_{n l l}\left(x_{i}, y_{i}\right)+\beta \cdot L_{k d}\left(\tilde{p}_{i}, q_{i}\right)\right.\}, \\
\tilde{p}_{i}=\sum_{k=1}^{K} w_{i}^{k} \cdot p_{i}^{k},
\end{array}
$

ここで， $L_{k d}$ とは $x_{i}$ に対する各教師モデル $t^{k}$ の各 トークンに対する出力分布 $p_{i}^{k} \in \mathbb{R}^{J \times C}$ を統合した分布 $\tilde{p}_{i} \in \mathbb{R}^{J \times C}$ と生徒モデル $s$ の出力分布 $q_{i} \in \mathbb{R}^{J \times C}$ の差異を表す尺度であり，KL-Divergence を利用す る. $J$ とはトークン系列長であり， $C$ とは $\mathrm{NE}$ ラべ ル数である. $p_{i}^{k}$ と $q_{i}$ は Forward-Backward アルゴリ ズムにより算出する。 また, $w_{i}^{k}$ とは $i$ 番目の学習 データ $x_{i}$ を処理する際の $k$ 番目の教師モデル $t^{k}$ に 対応する重みである. $\alpha$ と $\beta$ は $L_{n l l}$ と $L_{k d}$ のバラン スをとるための重みパラメータである.

## 3.2 教師モデルに対する重みの推定

複数の教師モデルの出力分布を統合する際の単純 な方法として平均が挙げられる. 要するに $w_{*}^{k}=\frac{1}{K}$ である。一方で，生徒モデル学習時に学習するサン プルのトークン系列 $x_{i}$ に対して，その系列と類似し たトークン系列を含むサンプルで学習した教師モデ ルは，その他の教師モデルと比べて， $x_{i}$ に対して適切なラベル確率分布を推定できると考えられる。 そ こで,$x_{i}$ と各教師モデル $t^{k}$ の学習データであるサブ

セット $d^{k}$ との類似度を測り，その類似度を重み $w_{i}^{k}$ として用いる。トークン系列間の類似を測る尺度に は BERTScore ${ }^{1)}[11]$ を利用する.

## 3.3 Multiple Born-again Networks の導入

Born-again Networks [12]（BAN）とは教師モデルを 基に訓練された生徒モデルが次の世代では教師モデ ルに入れ替わり，別の生徒モデルを学習する機構で ある. 通常，BANは単一の教師モデルと生徒モデル を交互に入れ替えながら学習を進めていく。本研究 では BANを複数のモデルで学習を進めるように拡張した Multiple Born-again Networks（MBAN）を提案 する、MBANを適用した提案手法の概要図を図 2(b) に示す. MBAN は複数の教師モデルを基に複数の生徒モデルを入れ替えながら訓練し, 最後に単一の生徒モデルを訓練する。事前に定義した世代 $G$ のう ち, $g$ 世代目 $(1 \leq g \leq G)$ の $k$ 番目の生徒モデル $s_{g}^{k}$ は以下の損失関数 $L_{s t u_{g}^{k}}$ を用いて訓練する.

$
L_{s t u_{g}^{k}}=\sum_{h=0}^{H}\left.\{\alpha \cdot L_{n l l}\left(x_{h}^{k}, y_{h}^{k}\right)+\beta \cdot L_{k d}\left(\tilde{p}_{h, g-1}, q_{h, g}^{k}\right)\right.\}
$

ここで， $\tilde{p}_{h, g-1} \in \mathbb{R}^{J \times C}$ とは $g-1$ 世代目の各生徒モデル $s_{g-1}^{*}$ の各トークンに対する出力分布 $p_{h, g-1}^{k} \in \mathbb{R}^{J \times C}$ を統合した分布であり, $q_{h, g} \in \mathbb{R}^{J \times C}$ とは生徒モデル $s_{g}^{k}$ の出力分布である. 次世代 $g+1$ では生徒モデル $\left.\{s_{g}^{k}\right.\}_{k=1}^{K}$ が教師となり, 異なる生徒モデル $\left.\{s_{g+1}^{k}\right.\}_{k=1}^{K}$ を訓練する. 最後に生徒モデル $\left.\{s_{G}^{k}\right.\}_{k=1}^{K}$ を教師として，推論のためのモデルを（3）式を用いて訓練する.

## 4 実験

提案手法の有効性を検証するため，日本語読影レ ポートデータセットを用いる2).まず，このデータ にノイズを疑似的に付与したデータを作成する。次 に，そのデータでモデルを学習し，ラベルノイズを 含まないテストセットに対する性能を比較する.

## 4.1 ラベルノイズの種類

本研究では以下の 4 種類のノイズを定義する。ま た，各ノイズの例を図 $1 \mathrm{~b}, 1 \mathrm{c}, 1 \mathrm{~d}, 1 \mathrm{e}$ に示す.

・Span-shift NE のスパンが正解とは異なる位置に ずれたノイズである. ランダムに $\mathrm{NE}$ を選択
^{1)}$ BERTScore の $\mathrm{F}$ 值を利用した. 利用した事前学習モデルに ついては付録を参照されたい.

2) データセットの詳細に関しては付録を参照されたい.
}

し，その $\mathrm{NE}$ の境界を 1 文字ずらすことにより， ノイズを付与した. ずらす際には $\mathrm{NE}$ の右，ま たは左の境界を，増やす，または減らすかの 4 種類の組み合わせの内，ランダムに選択した。3)
- Entity-missing NE のスパンに対して誤ってOラ ベルが付いたノイズである. ランダムに $\mathrm{NE}$ を 選択し，その $\mathrm{NE}$ のラベルを $\mathrm{O}$ ラベルに置換す ることでノイズを付与した。
- Over-labeling NEでないスパンに対して誤って NE ラベルが付いたノイズである．Ｏラベルが 付いている単語のうち，ランダムに選択された 単語に，ランダムに選択した O ラベル以外のラ ベルを付けることでノイズを付与した.
- Label-swapping NE のスパンに対して正解とは異 なるラベルが付いたノイズである. ランダムに $\mathrm{NE}$ を選択し，その $\mathrm{NE}$ のラベルを正解のラベ ルと Oラベル以外のラベルに置換することでノ イズを付与した.

## 4.2 比較手法

モデル4)の学習方法として以下の手法を比較し，提案手法の有効性を検証する。

1. Single 単一のモデルを学習させる手法.

2. Ensemble 初期パラメータの異なる複数のモデル を学習し，推論時は各モデルの出力結果を多数決で統合したものを最終出力とする手法.

3. CW Wang ら [6] の手法. Encoderには提案手法と 同じ事前学習モデルを利用する.

4. BAN 単一の教師モデルを学習させ，次世代では その教師モデルに近づけるように異なる生徒モ デルを学習させる手法.

5. Ours(Ave) 各サブセットで学習した複数の教師モ デルの平均出力分布に近づくように生徒モデル を学習する手法.

6. Ours(Sim) 教師モデルの平均出力分布ではなく, 3.2 節で説明した教師モデルの加重平均分布に 近づくように生徒モデルを学習する手法.

7. Ours(Ave)+MBAN 手法 5 に MBANを加えた手法. 8. Ours(Sim)+MBAN 手法 6 に MBANを加えた手法. また, Ensemble, $\mathrm{CW}$ ，提案手法の訓練時のモデル数 は2とした。
^{3)} \mathrm{NE}$ のスパンが他の NE と重複することのないように事前に ノイズ付与の対象となる $\mathrm{NE}$ を選別し，ノイズを付与した.

4) 本研究ではベースのモデルとして BERT-CRFを利用する. パラメータ，事前学習モデルについては付録を参照されたい.
}
表 1 Span-shiftを付与したデータでの性能.

表 2 Entity-missing を付与したデータでの性能

## 4.3 実験結果

各データセットで学習したモデルのテストセッ トに対する Micro-F1 値を表 1，2，3，4 に示す.太字は各列で最高性能を意味する. Ours(Ave)+MBAN, Ours(Sim)+MBAN とべースラインである Single, Ensemble を比較すると多くの場合で MBANを導入 した提案手法の性能が高い結果となった. また，全体性能を比較すると全てで MBANを導入した提案手法の性能が最も高いことがわかる.この結果はノ イズを含むデータでの学習において，MBANを導入 した提案手法が効果的であることを示唆している.

一方で，MBANを導入していないOurs(Ave) や Ours(Sim) はベースラインと比べて性能が向上して いない。提案手法は学習データを分割したサブセッ トで教師モデルを学習するため，1 世代目では教師 モデルの学習が進んでおらず，生徒モデルの性能も 向上しなかったと考えられる. 特に，Ours(Sim) は 教師モデルの加重平均分布を基に学習するため, 高 い信頼度が算出された教師モデルの学習が停滯して いる場合, 生徒モデルは正解のラベル分布とは差異 のある分布で学習することとなる. その結果，学習 に悪影響を与え，性能が劣化したと考えられる。

表 5 に表 1，2，3，4 の結果から算出したノイズの 割合を固定し，各ノイズを均等に含む場合の性能を 示す. 提案手法の性能はノイズの割合が 0.4 の場合 を除き，その他手法と比べて有意な差を確認した。 ノイズの割合が 0.4 の場合の性能は $\mathrm{CW}$ が最も高い.表 3 Over-labelingを付与したデータでの性能.

表 4 Label-swapping を付与したデータでの性能.

表 5 ノイズの割合を固定し，各ノイズを均等に含む場合 の性能. †は提案手法とその他手法の間に有意水準 0.05 で差があることを示している。検定方法は笹野ら [13] に 従った.

2 節で説明したように， CW はサンプル単位でノイ ズの影響を緩和する手法である。一方で，提案手法 は教師モデルの各トークンに対する確率分布を利用 して学習するため，トークン単位でノイズの影響を 緩和する手法であり，サンプル単位でノイズの影響 を緩和する機構は備えていない。そのため，両者を 組み合わせることで更なる性能向上が期待できる。

また，表 1，2，3，4 の性能を比較すると，提案手法がその他手法より低い場合もある. 今後の課題と して，各手法がどのようなノイズに対して有効かな ど，手法とノイズ間の関係の分析が挙げられる。

## 5 おわりに

本研究ではラベルノイズを含む学習データにおけ るアンサンブルと TS 学習を組み合わせた NER の学習手法を提案した. また，ラベルノイズを付与した データにおいて，提案手法が高い性能であることを 確認した. 今後の課題は各ノイズと各手法間での性能差の詳細な分析である.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, and Oriol Vinyals. Understanding deep learning requires rethinking generalization. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[4] David Opitz and Richard Maclin. Popular ensemble methods: An empirical study. Journal of Artificial Intelligence Research, 1999.

[5] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[6] Zihan Wang, Jingbo Shang, Liyuan Liu, Lihao Lu, Jiacheng Liu, and Jiawei Han. CrossWeigh: Training named entity tagger from imperfect annotations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5154-5163, Hong Kong, China, 2019. Association for Computational Linguistics.

[7] Frederick Reiss, Hong Xu, Bryan Cutler, Karthik Muthuraman, and Zachary Eichenberger. Identifying incorrect labels in the CoNLL-2003 corpus. In Proceedings of the 24th Conference on Computational Natural Language Learning, pp. 215-226, Online, November 2020. Association for Computational Linguistics.

[8] Kun Liu, Yao Fu, Chuanqi Tan, Mosha Chen, Ningyu Zhang, Songfang Huang, and Sheng Gao. Noisy-labeled NER with confidence estimation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3437-3445, Online, June 2021. Association for Computational Linguistics.

[9] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Stephen Mayhew, Snigdha Chaturvedi, Chen-Tse Tsai, and
Dan Roth. Named entity recognition with partially annotated training data. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 645-655, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[12] Tommaso Furlanello, Zachary Lipton, Michael Tschannen, Laurent Itti, and Anima Anandkumar. Born again neural networks. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 1607-1616, Stockholmsmässan, Stockholm Sweden, 10-15 Jul 2018. PMLR.

[13] 笹野遼平, 黒橋禎夫. 大域的情報を用いた日本語固有表現認識. 情報処理学会論文誌, Vol. 49, No. 11, pp. 3765-3776, nov 2008.
表 6 データセットの統計量

表 7 固有表現ラベルとその定義

## A データセットの詳細

本研究で利用した日本語読影レポートデータセッ トの統計量を表 6 に，ラベルの定義を表 7 に示す.病変，形状変化，変化，性状に関しては実際にそれ が生じている（Positive）のか否か（Negative）の事実性が“認められる”や“なし”などの表現でレポー 卜に記載される。この事実性も固有表現と同時に推定するために，NE ラベルに事実性を表す Positive と Negative を結合したもの (例えば，病変 $\mathrm{P}$, 変化 $\mathrm{N}$ と いったもの)をラベルとして用意し, モデルを学習 させた．また，NER の学習には $\mathrm{NE}$ の開始を意味す る Begin，NE の連続を意味する Inside，NEではない ことを意味するOtherによって NE の境界を識別す る BIO 方式を採用した.

## B モデルのパラメータについて

本研究ではベースモデルとして BERT-CRFを利用 した. BERT-CRF の学習率は $5.0 \times 10^{-5}$, バッチサ イズは $16, \alpha$ は $0.5, \beta$ は 0.5 とした. これらのパラ メータはいくつかの候補に対して開発セットに対
する性能を基にグリッドサーチにより決定した。ま た，MBANを適用した提案手法，Cross-Weigh，BAN の世代数 $G$ は 1 から 5 を試し，最も開発セットに対 して性能が高い世代のモデルを評価のためのモデル として選択した。

## C 事前学習モデルについて

本研究では BERT-base [1]を事前学習モデルとし て利用した。この BERT は約 686 万文からなる日本語読影レポートを用いて Masked Language Model で訓練したモデルである。また，読影レポートを NEologd 辞書 5) を組み込んだ MeCab で単語分割し た後, 文字単位のサブワードに分割することで 3,852 の語彙を構築した。
^{5)}$ https://github.com/neologd/mecab-ipadic-neologd
}
 田川裕輝 ${ }^{1}$ 中野騰久 ${ }^{1}$ 尾崎良太 ${ }^{1}$ 谷口友紀 ${ }^{1}$ 大熊智子 ${ }^{1}$ 鈴木裕紀 ${ }^{2}$ 木戸尚治 ${ }^{2}$ 富山憲幸 ${ }^{2}$ 1 富士フイルム株式会社 2 大阪大学大学院医学系研究科 \{yuki.tagawa, norihisa.nakano, ryota.ozaki, tomoki.taniguchi, tomoko.ohkuma\}@fujifilm.com \{y-suzuki,kido, tomiyama\}@radiol.med.osaka-u.ac.jp 