# CrossWeigh の日本語 NER データセットへの適用と ラベルノイズの調査

西村柾人 1 新納浩幸 ${ }^{2}$
1 茨城大学工学部情報工学科 ${ }^{2}$ 茨城大学大学院理工学研究科情報科学領域
19t4054a@vc.ibaraki.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

通常, 教師あり学習は訓練データに誤りがない という前提で学習が行われるが, 実際には誤りを 含む場合も多い. 特に NER のデータセットはラベ ルの定義に曖昧なものがあるため, タグ付けには 誤りが生じやすい. このような背景から Wang らは 誤ったラベルの付いたデータセットから NER のモ デルを学習する CrossWeigh を提案した. 本論文で は CrossWeigh を日本語 NER データセットに適用し， CrossWeigh の効果を確認する. 同時に, CrossWeigh によって生成される重み付きデータを調査すること でデータセット内にある誤りの発見を試みた.

## 1 はじめに

固有表現認識 (NER) とはテキストから固有表現 (NE; Named Entity) となる単語を特定し, 光の単語 に対する NE のラベルを推定するタスクである.

近年では, 学習データを大量に用意し, モデルを学習させる手法 [1] が多い. しかし, この学習データ内 のラベルにノイズが含まれている場合, 深層学習を 利用した手法では,これらのノイズに対して過学習 してしまい, 性能劣化につながる問題が指摘されて いる [2].

Wang らもこのラベルノイズの影響について指摘 している [3].Wang らによると NER ベンチマーク の 1 つである CoNLL03 データセットにおいて, 約 5.38\%のラベル付けミスが確認されている. さらに， これらのラベルノイズを修正したデータを用いる ことによって, 性能向上が確認されている. Wang ら は同論文内で, ラベルミスを処理するための汎用的 なフレームワークとして CrossWeigh を提案してい る. このフレームワークを利用することで, データ内 の光れ光れの文章に対して再重み付けが行われ, 生成された重み付けデータを利用することによって ラベルノイズの影響を軽減することができる.この ような,より正確なデータを使って学習することで モデルの性能向上を図るアプローチは Data-Centric $\mathrm{AI}(\mathrm{DCAI})$ と呼ばれ,注目を集めている [4][5].

本研究では, CrossWeigh をストックマーク株式会社が提供している, Wikipedia の日本語 NER デー タセット [6] に適用し, 重み付けデータの生成を行 う.さらに，この重み付きデータを用いて, NER モデ ルの Flair[7] を学習することによって, 日本語での CrossWeigh の効果を確認する.

また, 先行研究 [8] では, データセット内のラベル ノイズの調査を, CrossWeigh によって生成された重 み付きデータの中で最も低い重みが付けられたデー タから, 無作為に抽出した 100 件のデータのみ調査 を行った. 本研究では, 最も低い重みが付けられた データ全てに対して調査を行った. 加えて, 発見した ラベルノイズと NER モデルの予測スコアとの関連度に応じてタイプ分類を行い, 光れら 2 つの相関性 についても調査を行った。

## 2 関連研究

CrossWeigh のように, ラベルの誤りを自動的に検出する試みは以前から研究されている [9] が, この研究では品詞の間違いに対して修正を行うため, 今回 のようにNER に対して適用することができない. 他 にも [10][11][12] ではラベルノイズが含まれる学習 データを利用した NER の研究がされているが, これ らでは NE がO ラベルとなる誤りに対してのみを対象としている.

また, CrossWeigh はモデルを改良するのではな く, 使用する学習データに対して処理を行い, モ デルの性能向上を図る手法であるため DCAI の研究 [4] とも関連がある.ただし, 今回の実験では

図 1 ラベルノイズの推定

DeepLearning.AI が行う Data-Centric AI Competition ${ }^{1)}$ に取り組むのではなく, CrossWeigh が日本語 NER データセットにおいても有効であるかについて検証 を行う。

日本語データセットにおけるラベルの誤り問題 に取り組んだ研究として [13] が挙げられる. この研究では, アノテーション漏れを推定し觉のエンティ ティを学習データに追加することによって, 系列ラ ベリングを用いたエンティティ抽出の再現率の向上 を行っている. また, [14] では Teacher-Student 学習を 利用することでラベル誤りを含むデータにおける NER の性能向上について研究を行い, CrossWeigh と 同樣にラベルノイズの影響を緩和し性能向上が確認 されている.

## 3 CrossWeigh

CrossWeigh は 2 つのモジュールから構成されてい る. 1 つ目はラベルノイズの推定, 2 つ目は推定した ラベルノイズが含まれているデータに再重み付けを 行うモジュールである.

1 つ目のラベルノイズの推定は $\mathrm{k}$-分割交差検証を もとにした考えで実装されている. 実行手順を図 1 に示す. まず学習データを $\mathrm{k}$ 個に分割すること で $D_{1}, D_{2}, \ldots, D_{k}$ を作成する. 光して, NER モデル $M_{i}(1 \leq i \leq k)$ を学習データの中から $D_{i}$ を除いた データによって学習させる. 作成した各モデル $M_{i}$ を使って $D_{i}$ の文のラベルに対して予測させ, モデ

1) https://https-deeplearning-ai.github.io/data-centric-comp/
ルの出力と異なるラベルを持つ文は, ラベルノイズ である可能性が高いものとしてマークする. この図 1 の処理を，光れ光れ異なるランダムな分割で行い， $\mathrm{t}$ 回実行する. ここまでを実行することで, データ セットのラベルノイズの推定が行われる. 本実験で は $k=10, t=3$ と設定して行われた.

2 つ目の再重み付けは, ラベルノイズの推定でマー クされた文 $x_{i}$ に対して重み $w_{i}$ を調整することで実装されている. 最初に, 全ての文の重みを $w_{i}=1$ と して設定する. 次に, ラベルノイズとしてマークされ た文の重みを式 (1) で計算する.

$
w_{i}=\epsilon^{c_{i}}
$

式 (1) の $\epsilon$ はパラメータであり, ラベルノイズ推定 モジュールの精度に応じて設定する. 本実験では $\epsilon=0.7$ とした. $c_{i}$ は $\mathrm{t}$ 回実行されたラベルノイズの 推定で, 何回モデルの出力と異なるラベルが推定さ れたかによって決まる.つまり $c_{i}$ の取りうる値は $1 \leq c_{i} \leq t$ のいずれかの整数値である.

CrossWeigh はこれら 2 つのモジュールを使って， ラベルノイズの影響を緩和する重み付きデータを作成する.

## 4 実験

## 4.1 実験設定

本研究では, データセットとして, ストックマーク 株式会社が提供している, Wikipedia の日本語 NER

データセット [6] を用いた. このデータセットに対 して, CrossWeigh および固有表現認識のタスク適用 するために,トークンごとに分割し, ラベル付けを 行った. 固有表現認識のラベルのフォーマットとし てはIOB2フォーマットを利用した. また, 整形した データを学習データ, 検証用データ,テストデータの 比率が 8:1:1 になるように分割した.

NER モデルとしては, Flair を用いた. ここで用い る Flair とは Akbik らの Contextual String Embeddings for Sequence Labeling[7] で提案された NER モデルを，日本語データを用いて事前学習を行ったものであ る. さらに, CrossWeighによって付与された重みを考慮して学習できるようにモデルを調整した.

## 4.2 評価方法

評価指標として F1-score( $\mathrm{F}$ 値)を用いた. CrossWeigh を適用していないデータ (Original data) と CrossWeigh を適用したデータ (Weighed data) 光れぞ れに対して学習を行い, モデルがトークン列に対し て適切なラベルを付与できたか否かをもとに算出を 行った.

## 4.3 結果

Flair の結果を表 1 と付録の図 3 に示す. F1score に関しては micro, macro のどちらにおいても CrossWeigh を適用したものが良い性能を示してい る. 光れ光れのラベルに対する結果では, 最大で 0.1 ポイント程のスコア向上がみられた. これらのこと から日本語においても CrossWeigh の有効性がわか る. しかし, ラベルによってはポイントが減少してい るものもあるため, これらに対しては今後の課題と して分析が必要であると考えられる.

## 5 データセット内のラベルノイズの 検出

ここでは CrossWeigh によって作成された重み付 けデータを利用して,データセット内のラベルノイ ズを発見する手法を試みる.

## 5.1 ラベルノイズ

今回使用した Wikipedia の日本語 NER データセッ 卜におけるラベルノイズの例として図 2 が挙げられ る. (a)では文中の「旭川」と「小樽」に対して地名 のラベルが付与されるべきであるが, ラベルが付与 されていないためＯタグとして処理が行われてしま う.また, (b) では「水夏希は」に人名のラベルが付与されてしまっているが, スパンが正しくないため に「は」もI-人名タグとして処理が行われてしまう. これらのラベルノイズは CrossWeigh の再重み付け の際に,より小さい重みが付与されていると考えら れる.

(b) スパンがずれているデータ

図 2 ラベルノイズ例

## 5.2 手法

CrossWeigh を適用することで重み付きデータが作成される.この重み付きデータは各文ごとにラベル ミスに応じた重みがつけられているため,この重み が最小のものがラベルノイズが含まれている可能性 が高いデータであると考え，光れらの重みが最小の データを全て調査した. また同時に, ラベルノイズと なるトークンは, モデルがとのトークンのラベルを 予測する際に, ラベルごとの分類スコアも小さいも のになると考えたため, ラベルノイズと予測結果に 関係があるかどうかも調査する. ラベルノイズであ るか否かの判定は, Wikipedia の日本語 NER データ セットを構築する際に使われた関根の拡張固有表現階層 [15]を参考にした。

## 5.3 結果

CrossWeighによって生成された重み付きデータを 調査したところ, データセットの全 5343 個のデータ

の内, 1484 個のデータに重みが最小のものが付与さ れていることがわかった. これらの 1484 個のデータ を,トークンごとのラベルの分類スコアに着目して 調査した結果, 大きく分けてのような 4 つのタイプ に分類できた。

1. 分類スコアが最も低いトークンがラベルノイズ であるもの

2. モデルの予測結果が間違っており, 元のデータ があっているもの

3. 分類スコアが最も低いトークン以外のものがラ ベルノイズであるもの

4. 予測結果と元のデータどちらもあっているもの

以上 4 つのタイプは以下の表 2 にまとめたデータ 数であることがわかった.

このタイプ分類からラベルノイズとなるものは Type1, 3 となる. つまり, 最小の重みが付与された 1484 個のデータの内, 73 個のデータがラベル付けに 誤りがあるデータであることがわかった.

## 6 考察

## 6.1 CrossWeigh の日本語 NE データへの 適用

Flair の結果である表 1 から, Original data で学習し た Flairよりも, Weighed data で学習した Flair の方が $\mathrm{NE}$ の識別精度が向上していることがわかる. このこ とから CrossWeigh の手法は日本語 NE データにおい ても有効であることがわかった

しかし, 付録の図 3 に示したラベルごとの結果を 見ると, 全てのラベルに対して識別精度が向上して いるのではなく, 大きく精度が向上しているものか ら減少しているものもあるため, これらを分析, 改善 することによってより良い重み付きデータを生成で きると考えられる。

## 6.2 ラベルノイズの特定

5.3 節より, 使用した Wikipedia の日本語 NER デー タセット内のラベルノイズの探索範囲を狭めること に成功した. CrossWeigh の重み付きデータを利用す
ることで効率的にデータセット内のラベルノイズを 発見することができることがわかった.

ラベルノイズと予測の際の分類スコアの関係とし ては,あまり大きな相関は見られなかった.これに は, 予測に使うモデルがラベルノイズを含むデータ セットを学習に使用してしまっているため, ラベル ノイズとなるトークンに対して実際に正しいラベル を予測させるのが難しいためと考えられる.

今回の実験で発見したラベルノイズが, 元のデー タではどのラベルが付けられていて, 実際にはどの ラベルが付くべきであったかを付録の表 3 にまとめ た.ここから, 調査したWikipedia の日本語 NER デー タセット内のラベルノイズでは, 元のラベルが O ラ ベルであるものが最も多いことがわかった.ここか らラベルノイズの発生原因としては, 固有表現とな る単語を見落としてしまうというものが最も多いこ とがわかった. CrossWeigh の有効性から考えられる ように, ラベルノイズがモデルに与える影響は大き いため, どのようにしてデータセットのラベルノイ ズの発生を抑えることが今後の課題であることがわ かった.

## 7 おわりに

本研究では日本語 NER データセットにおけ る CrossWeigh の有効性について検証を行った. CrossWeigh によって生成された重み付きデータを利用することでNER モデルの性能向上を確認するこ とができた. 今後の課題は精度が下がったラベルに 対しての分析である.

また, データセット内のラベルノイズの調査に関 しては, CrossWeigh が生成する重み付きデータを利用することで, 実際にデータセット内のラベルノイ ズを発見することに成功した. ラベルノイズとなる トークンはモデルの予測結果がよい数値ではないと 考え, 2 つの関係について調べてみたが, 相関性は見 られなかった. ラベルノイズの内訳についても調査 したが, 最も多いラベルノイズの発生原因はラベル の付け忘れであることがわかり, データセットを構築する際に,このようなミスの発生を抑制すること が今後の課題である.

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同研究 (22FC04) の助成を受けています.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805, 2018 .

[2] Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, and Oriol Vinyals. Understanding deep learning requires rethinking generalization, 2016.

[3] Zihan Wang, Jingbo Shang, Liyuan Liu, Lihao Lu, Jiacheng Liu, and Jiawei Han. CrossWeigh: Training named entity tagger from imperfect annotations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5154-5163, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Mark Mazumder, Colby Banbury, Xiaozhe Yao, Bojan Karlaš, William Gaviria Rojas, Sudnya Diamos, Greg Diamos, Lynn He, Douwe Kiela, David Jurado, David Kanter, Rafael Mosquera, Juan Ciro, Lora Aroyo, Bilge Acun, Sabri Eyuboglu, Amirata Ghorbani, Emmett Goodman, Tariq Kane, Christine R. Kirkpatrick, Tzu-Sheng Kuo, Jonas Mueller, Tristan Thrush, Joaquin Vanschoren, Margaret Warren, Adina Williams, Serena Yeung, Newsha Ardalani, Praveen Paritosh, Ce Zhang, James Zou, Carole-Jean Wu, Cody Coleman, Andrew Ng, Peter Mattson, and Vijay Janapa Reddi. Dataperf: Benchmarks for data-centric ai development, 2022.

[5] 古田拓毅. データ中心の視点から捉える深層強化学習. 人工知能, Vol. 37, No. 4, pp. 507-515, 2022.

[6] 近江崇宏. Wikipedia を用いた日本語の固有表現抽出 のデータセットの構築. 言語処理学会第 27 回年次大会発表論文集 (NLP2021), 2021.

[7] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In COLING 2018, 27th International Conference on Computational Linguistics, pp. 1638-1649, 2018.

[8] 西村柾人, 新納浩幸. Crossweigh の日本語 ner データ セットへの適用. Technical Report 21, 茨城大学工学部情報工学科, 茨城大学大学院理工学研究科情報科学領域, sep 2022.

[9] 中川哲司, 松本雄二. サポートベクターマシンを用 いた誤り検出. 言語処理学会年次大会発表論文集, Vol. 8, pp. 563-566, 2002.

[10] Kun Liu, Yao Fu, Chuanqi Tan, Mosha Chen, Ningyu Zhang, Songfang Huang, and Sheng Gao. Noisy-labeled ner with confidence estimation, 2021.

[11] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the As- sociation for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Stephen Mayhew, Snigdha Chaturvedi, Chen-Tse Tsai, and Dan Roth. Named entity recognition with partially annotated training data, 2019.

[13] 伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用い たエンティティ抽出. 言語処理学会第 27 回年次大会発表論文集 (NLP2021), 2021.

[14]田川裕輝, 中野騰久, 尾崎良太, 谷口友紀, 大熊智子,鈴木裕紀, 木戶尚治, 富山憲幸. Teacher-student 学習を 利用したラベル誤りを含むデータにおける固有表現認識の性能向上. 言語処理学会第 28 回年次大会発表論文集 (NLP2022), 2022.

[15] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended named entity hierarchy. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands - Spain, May 2002. European Language Resources Association (ELRA).

## A 付録

## A. 1 ラベルごとの F 值の比較

図 3 ラベルごとの $\mathrm{F}$ 値

## A. 2 発見したラベルノイズの内訳

 & 光の他の組織名 & イベント名 & 人名 & 地名 & 政治的組織名 & 施設名 & 法人名 & 製品名 & $\mathrm{O}$ \\


 西村柾人 1 新納浩幸 ${ }^{2}$ 1 茨城大学工学部情報工学科 ${ }^{2}$ 茨城大学大学院理工学研究科情報科学領域 19t4054a@vc.ibaraki.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp  