# データ拡張による固有表現抽出の不確実性推定

橋本 航 上垣外英剛 渡辺太郎
奈良先端科学技術大学院大学
\{hashimoto.wataru.hq3, kamigaito.h, taro\}@is.naist.jp

## 概要

本研究では，固有表現抽出タスクにおけるデータ拡張が不確実性推定に与える影響について調査する. 医療や金融のような高い安全性が求められる領域では，予測結果が正しいだけではなく，その信頼度が高い必要がある。しかし，事前学習済みモデルを含む深層学習モデルはしばしば実際の正解率と乘離した確信度を出力するため, それらの領域への適用が妨げられている. また，その問題に対応する既存手法は推論コストが高い. 我々は, ジャンル横断および言語横断の設定にて，固有表現抽出におけるデータ拡張が不確実性の推定性能に与える影響を調査した. その結果，データ拡張は多くの場合不確実性の推定性能を向上させ，データ拡張によって生成した文の Perplexity が低い場合はデータ拡張サイズを増やすことで，さらに不確実性の推定性能が改善することが判明した。

## 1 はじめに

固有表現抽出 (Named Entity Recognition; NER) は， テキストから人名や組織名などの固有表現を抽出する，自然言語処理における基礎的なタスクの一つである。自然言語処理タスクは深層学習 (Deep Neural Networks; DNNs）によって大きな成功を得ており，その中でも BERT [1] や DeBERTa [2] を始めとした事前学習済みモデル (Pre-trained Language Models; PLMs) に基づいた手法が，NER も含めて強力なベースラインとなっている.

しかし，一般的に PLMs を含む DNNs は図 1 のように，モデルの出力する確信度が実際の正解率と乘離している傾向にある [3]. この問題により, DNNs は高い確信度での誤った予測の出力をしばしば引き起こすため，医療や金融のような誤りに対するコストが大きい領域での DNNs の適用が制限される. このような問題に対処するため，自然言語処理における様々な領域で不確実性をより正しく推定するた

図 1 分布内および分布外のデータに対する，mDeBER$\mathrm{TaV} 3$ による固有表現抽出の信頼度プロット ${ }^{1)}$. 対角線は,確信度と正解率が完全に一致していることを示す.

めの研究が進んでいる [4,5]. しかし, これらの研究では MC Dropout [6] や Bayesian Neural Networks [7] のような 1 つのデータインスタンスに対して複数回の予測を行う必要がある手法が用いられており，その推論コストは莫大になるため実用的ではないという問題がある.

そこで，我々はデータ拡張に着目する。コンピュータビジョン領域では，データ抎張はモデルを入力に対してロバストにするため，不確実性推定の改善につながることが報告されている $[8,9]$. さらにデータ拡張自体はモデル構造を変えないため，推論時間の増加を伴うことなく不確実性推定が改善されると期待される。データ拡張はNERにも適用されているが $[10,11] ，$ 低資源設定における汎化性能の観点に限定されているものが多い.

本研究では，NERにおけるデータ拡張が不確実性推定に与える影響を，ジャンル横断および言語横断の設定において調査した.その結果，我々の実験からいくつかの知見が得られた。第一に，NERにおけ

1）分布内および分布外のデータは，それぞれ OntoNotes 5.0 の bn および tc である.

るデータ拡張は多くの場合不確実性の推定性能の改善につながる. 特に，文脈に応じてエンティティを新しく生成する Masked Entity Language Modeling (MELM) [11] や，エンティティを学習データ内の同じエンティティタイプのエンティティで置換する Mention Replacement (MR) [10] により不確実性の推定性能が改善した. 第二に, データ拡張によって生成された文の Perplexity が低いほど，データ拡張サイズを増やしたときにさらに不確実性の推定性能が改善することが判明した.

## 2 手法

本節では，実験で用いる既存手法および NER におけるデータ拡張について説明する。

## 2.1 既存手法

Baseline 最終層の Softmax 関数を通した後の最大確率を用いる.

Temperature Scaling (TS) TS は DNNs が出力する確信度を補正するための後処理方法である. Softmax 関数を適用する前に logit を温度パラメータでスケーリングする.

Label Smoothing (LS) LS は機械学習で一般的な正則化手法であり, 確信度を他ラベルにも割り振ることで自信過剩な予測を防ぐ.

Monte-Carlo Dropout (MC Dropout) MC Dropout は DNNs の不確実性推定に利用できる正則化手法であり, 複数の確率的推論を必要とする. 本研究では $M=20$ の確率的推論を行い，その平均を出力する.

## 2.2 固有表現抽出におけるデータ拡張

Label-wise Token Replacement (LwTR) LwTR では，まずトークンを置換するかどうかを決定するために二項分布を用いる. 二項分布により選ばれたトークンは，学習データ上のラベルごとのトークン分布に基づいて，同じラベルを持つ別トークンとランダムに置き換えられる.

Mention Replacement (MR) MR は，トークンの代わりに学習データに存在する同じラベルを持つ別のエンティティで文中のエンティティを置き換える. 学習データ中のエンティティは様々なトークン数から構成されているため, MR はLwTR と異なり元のラベル列を保持するとは限らない.

Synonym Replacement (SR) SR は LwTR と同様に置換するトークンを二項分布で選び，対象のトー
クンを WordNet の同義語で置換する. 同義語は複数のトークンを持つことがあるため，SR は元のラべル列を保持するとは限らない。

Masked Entity Language Modeling (MELM) MELM では，まずエンティティマーカーによってエンティティ部分がマスクされた文に対して，文脈上適切なエンティティを予測するような言語モデルを学習する。その言語モデルを用いて，指定した比率でマスクされたエンティティ部分に対して元エンティティとは異なるエンティティを出力することでデータ拡張を行う。

## 3 実験設定

本研究では, 系列ラベリングの枠組みで NER を行い，事前学習済みモデルの mDeBERTaV3 (microsoft/mdeberta-v3-base) [12] をエンコーダとして採用する. ${ }^{2)}$ 各実験は異なるシードで 10 回試行し, 評価指標は平均值および標準偏差を報告する. また，視認性の向上のため，報告值は 100 倍した.

## 3.1 データセット

本研究では, ジャンル横断および言語横断設定における不確実性推定性能を測るため, OntoNote 5.0 データセット [13] および MultiCoNER データセット [14]を用いる. OntoNote 5.0 データセットは broadcast conversation (bc), broadcast news (bn), magazine (mz), newswire (nw), telephone conversation (tc), および web data (wb) の 6 つのジャンルから構成される. MultiCoNER データセットは 11 の言語から構成される NER データセットであり, 本研究では英語 (EN)，ドイツ語 (DE)，スペイン語 (ES)，およびヒンディ語 (HI)の 4 言語を用いる.

## 3.2 評価尺度

本研究ではエンティティの確信度を評価するため，エンティティを構成するトークンの確信度の積をエンティティの確信度とみなして評価を行う。用いる評価指標を以下に示す。

Expected Calibration Error(ECE) ECE は各ビンごとの正解率と確信度の差を測り，その期待値を取る. 本研究ではビンの個数を 10 とする.

Maximum Calibration Error(ECE) MCE は ECE と類似しており，期待值ではなく最大値をとる.

2） MELM におけるエンティティ予測のための言語モデルにも，同様に mDeBERTaV3を用いる。
表 1 OntoNotes 5.0 を用いたジャンル横断設定における結果. 太字は手法間での最良を示す.

## Area Under the Precision-Recall Curve (AUPRC)

AUPRC は Precision/Recall (PR) 曲線の下の領域の面積である。高いほど，特定の Recall において Precision が高い傾向となる.

## 4 検証

本節では，ジャンル横断および言語横断の設定における不確実性推定の結果を提示する。

## 4.1 ジャンル横断における評価

表 1 に, OntoNotes 5.0でソースジャンルが bc, bn, および tc の場合における，ジャンル横断的な不確実性推定の評価結果を示す。この表から，エンティティごとの不確実性の推定性能の評価において，一般的な分類問題に有効であると考えられてきた TS， LS および MC Dropout よりも，データ拡張の方が性能が高い傾向にあることがわかる. 特に, ソースジャンルが tc の場合，MELM をはじめとするデー 夕補強法は，Baseline と比較して，ECE で最大 6.01 $\%$ ，MCE で最大 $7.94 \%$ 改善し, 優れた校正性能を示す。また，MRとSR もMELMに続いて良好な校正性能を示す。一方で，データ増強法では $w b$ に
おける校正性能は改善されない傾向にある．また， AUPRC を表 4 に示す. データ拡張の中では，MRが優れた性能を示す一方で，MELM は ECE や MCE のような校正エラーに基づく評価指標ほど改善されない.

## 4.2 言語横断における評価

MultiCoNER でソース言語をENとした場合の言語横断設定における不確実性推定の結果を表 2 に示す. ジャンル横断設定の場合と異なり，MRが分布内および分布外において優れた不確実性推定性能を示した. Zhengping ら [15]により，言語的な距離が大きいほど確信度校正性能が低下する傾向にあることがわかっているが，本実験でも同様の傾向が得られた。一方，ジャンル横断的な校正では優れた不確実性推定性能を示す傾向にある MELM は，言語横断的な設定では良い性能を示さない。

また, 本研究で用いた mDeBERTaV3 の事前学習に用いられている CC100 データセット [16] の言語比率を見ると，英語が最も多く次いでドイツ語，スペイン語，ヒンディ語の順に多く，不確実性推定性能の順位と相関している。 さらに，Tomasz らによ
表 2 MultiCoNER を用いた言語横断設定における結果.

 & $47.95 \pm 1.30$ & $82.57 \pm 1.96$ \\

表 3 データ拡張によって生成した文の Perplexity.

OntoNotes $5.0 \mathrm{tc} \rightarrow \mathrm{mz}$ transfer

MultiCoNER EN $\rightarrow$ ES transfer

図 2 データ拡張サイズを増やした場合における各評価指標の推移.

り [17]，トークン化において言語間で語彙の重複が生じやすい場合，NER における言語横断設定においてよい予測性能を示す傾向にあることが示されたが，不確実性推定においても同等の傾向を示す.

## 5 分析

本節では，NER のデータ拡張の不確実性推定性能への理解を深めるため, 生成した文の Perplexity およびデータ拡張サイズの影響を調査する。

まず，データ拡張によって生成した文の不確実性推定性能への影響を調査するため, 我々は GPT2 [18] を用いてデータ拡張による生成文の Perplexityを測った. 表 3 に，各データ拡張手法で生成した文および元の学習データの Perplexity を示す. いずれの場合においても, MR が最も Perplexity が低い一方で，MELM は MR ほど低い Perplexity は示さなかった. MELM において文脈に適合しているが実際には存在しないエンティティが生成されると，文の Perplexity が悪影響を受ける可能性がある.

さらに, 図 2 に, OntoNotes $5.0 \mathrm{tc} \rightarrow \mathrm{mz}$, MultiCoNER $\mathrm{EN} \rightarrow \mathrm{ES}$ のような分布外の横断設定において，デー
タ拡張サイズを増やした場合の評価指標の推移を示す (分布内横断設定の結果は図 3 に示す). 多くの場合，MR がデータ拡張サイズを増やした場合に不確実性推定がさらに改善される．先述の通りMR は複数のデータセットで最も Perplexity が低いため, Perplexity の低さがデータ拡張サイズを大きくした場合の不確実性推定性能にとって重要であることがわかる。

## 6 まとめ

本研究では，NER におけるデータ拡張が不確実性推定性能に与える影響をジャンル横断および言語横断の観点から調査した. その結果，MELM やMRのようなデータ拡張を用いた場合に優れた不確実性推定性能を示すことが判明した。一方で， TS や MC Dropout のような良い不確実性推定性能を示すとされてきた既存手法は，NER の場合においては良い不確実性推定性能を示さない。また，データ拡張により生成した文の Perplexity が低い MR のような手法において，データ拡張サイズを増やすことでさらに不確実性推定性能が改善されることが判明した。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2021.

[3] Chuan Guo, Geoff Pleiss, Yu Sun, and Kilian Q. Weinberger. On calibration of modern neural networks. In Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 1321-1330. PMLR, 2017.

[4] Yijun Xiao and William Yang Wang. Quantifying uncertainties in natural language processing tasks. In Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence and Thirty-First Innovative Applications of Artificial Intelligence Conference and Ninth AAAI Symposium on Educational Advances in Artificial Intelligence, AAAI'19/IAAI'19/EAAI'19. AAAI Press, 2019.

[5] Andrey Malinin and Mark Gales. Uncertainty estimation in autoregressive structured prediction. In International Conference on Learning Representations, 2021.

[6] Yarin Gal and Zoubin Ghahramani. Dropout as a bayesian approximation: Representing model uncertainty in deep learning. In Proceedings of The 33rd International Conference on Machine Learning, Vol. 48 of Proceedings of Machine Learning Research, pp. 1050-1059, 2016.

[7] Charles Blundell, Julien Cornebise, Koray Kavukcuoglu, and Daan Wierstra. Weight uncertainty in neural network. In Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 1613-1622, Lille, France, 2015. PMLR.

[8] Yeming Wen, Ghassen Jerfel, Rafael Muller, Michael W Dusenberry, Jasper Snoek, Balaji Lakshminarayanan, and Dustin Tran. Combining ensembles and data augmentation can harm your calibration. In International Conference on Learning Representations, 2021.

[9] Yang Liu, Shen Yan, Laura Leal-Taixé, James Hays, and Deva Ramanan. Soft augmentation for image classification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 16241-16250, June 2023 .

[10] Xiang Dai and Heike Adel. An analysis of simple data augmentation for named entity recognition. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3861-3867, 2020.

[11] Ran Zhou, Xin Li, Ruidan He, Lidong Bing, Erik Cambria, Luo Si, and Chunyan Miao. MELM: Data augmentation with masked entity language modeling for low-resource
NER. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2251-2262, 2022.

[12] Pengcheng He, Jianfeng Gao, and Weizhu Chen. DeBERTav3: Improving deBERTa using ELECTRA-style pretraining with gradient-disentangled embedding sharing. In The Eleventh International Conference on Learning Representations, 2023.

[13] Sameer Pradhan, Alessandro Moschitti, Nianwen Xue, Hwee Tou Ng, Anders Björkelund, Olga Uryupina, Yuchen Zhang, and Zhi Zhong. Towards robust linguistic analysis using OntoNotes. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning, pp. 143-152, 2013.

[14] Shervin Malmasi, Anjie Fang, Besnik Fetahu, Sudipta Kar, and Oleg Rokhlenko. MultiCoNER: A large-scale multilingual dataset for complex named entity recognition. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 3798-3809, 2022.

[15] Zhengping Jiang, Anqi Liu, and Benjamin Van Durme. Calibrating zero-shot cross-lingual (un-)structured predictions. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 2648-2674, 2022

[16] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, 2020.

[17] Tomasz Limisiewicz, Jiří Balhar, and David Mareček. Tokenization impacts multilingual language modeling: Assessing vocabulary allocation and overlap across languages. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 5661-5681, 2023.

[18] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[19] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[20] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, p. 2623-2631, 2019 .
表 4 OntoNotes 5.0を用いたジャンル横断設定における AUPRC.

 & $93.27 \pm 0.41$ & $92.69 \pm 0.57$ & $93.03 \pm 0.56$ \\

MultiCoNER EN $\rightarrow$ EN transfer

図 3 データ拡張サイズを増やした場合における各評価指標の推移.

## A OntoNotes 5.0 におけるジャンル横断設定の場合の AUPRC

表 4 に，OntoNotes 5.0 におけるジャンル横断設定の場合の AUPRC を示す.

## Ｂ分布内設定におけるデータ拡張サイズを増やした場合の各指標の推移

図 3 に，OntoNotes $5.0 \mathrm{tc} \rightarrow \mathrm{tc} ，$ MultiCoNER EN $\rightarrow$ EN の横断設定においてデータ拡張サイズを増やした場合の評価指標の推移を示す.

## C 詳細な学習設定

損失関数の最適化に linear schedulerつき AdamW [19] を用いた. ミニバッチサイズは 32 であり，初期の学習率を 1e-5 とした. Early Stopping の停止基準に評価セットの F1を用い，5 回連続でスコアが改善されない場合に学習を打ち切った.

TS の温度パラメータを調整するため Optuna [20]を用いた. [0.001, 0.002,..., 5.000] の範囲で探索され，100 回の試行の中で評価セットの損失が最小となる温度パラメータが採用された．LS におけるスムージングパラメータの選択のため， $[0.01,0.05,0.1,0.2,0.3]$ の範囲内でグリッドサーチを行った．LwTR，MR，およびSRにおける二項分布のハイパーパラメータ選択では， $[0.1,0.2, \ldots, 0.8]$ の範囲内でグリッドサーチを行い，最適なものを選択した．MELMにおいては，エンティティ予測モデルの微調整のための学習データマスク率 $\eta$ およびエンティティ予測時におけるマスクパラメータ $\mu$ の選択が必要なため，それぞれ $[0.3,0.5,0.7]$ の範囲でグリッドサーチを行い，最適となる組み合わせを採用した. 4 節におけるデータ拡張では，最終的な学習セットのサイズが元の学習セットのサイズの 1.5 倍になるように学習データを増加させた.