# Majority or Minority: 固有表現抽出における データの不均衡性に着目した損失関数の提案

根本颯汰 ${ }^{1}$ 北田俊輔 ${ }^{2}$ 彌冨仁 ${ }^{1}$
1 法政大学理工学部 2 法政大学大学院 理工学研究科
\{sota.nemoto.5s, shunsuke.kitada.8y\}@stu.hosei.ac.jp iyatomi@hosei.ac.jp

## 概要

多くの自然言語処理タスクはデータの不均衡の問題に直面しており，実用的な応用がなされている固有表現抽出もその一つである. 固有表現抽出は抽出対象の固有表現以外のトークンすべてがのククラス となるため，クラスが大多数を占める不均衡な データとなっている. 本論文では，固有表現抽出に おける不均衡性に着目した新たな損失関数 majority or minority loss (MoM loss) を提案する. 提案手法の 核となるアイディアは多数派のクラスであるのクラ スのトークンのみを計算対象した loss を従来のモデ ルの損失関数に追加するものである. 実験を通じて MoM loss がマルチクラス，2クラス分類問わず，言語非依存で性能向上に寄与することを確認した.

## 1 はじめに

多くの自然言語処理 (natural language processing; NLP) タスクはデータの不均衡性の問題に直面して おり, 固有表現認識 (named entity recognition; NER) もその一つである. 具体的に，非固有表現である 0 クラスのサンプル数は CoNLL2003 データセット [1] においては, それ以外の固有表現クラスのサンプル 数の合計の 4.6 倍, OntoNotes 5.0 データセット [2] に おいては 7.6 倍である. そのため結果として一般的 な機械学習モデルを適用した場合，多数を占める 0 クラスへの適合が優先され，他の少数の固有表現ク ラスの予測性能が低下する恐れがある。したがって この不均衡な問題に対策することは NER の予測性能の向上において普遍的で重要な課題である.

NER は細かく flat-NER [3] と nested-NER [4] に分 けられる. flat-NER はテキスト内の各トークンに 1 つのラベルを割り当てるように訓練する系列ラベリ ングタスクとして定式化され，各トークンの固有表現ラベルを予測するマルチ分類問題に帰着され
る. 一方で nested-NER は固有表現の範囲が入れ子 になっているタスクで，各トークンに対する質問応答タスクとしてみなして学習する機械読解 (machine reading comprehension; MRC) タスクとして定式化さ れている. 例えば「[大谷翔平] はメジャーリーグ で二刀流として活躍している.」に人名を抽出する 場合は「本文中に含まれる人名は誰だ」という質問文に対して「大谷翔平」が抽出される。そのた め，MRC タスクは質問文に対応したテキスト中の 各トークンが抽出対象かどうかの 2 クラス分類問題 に帰着される。系列ラベリングタスクで○クララスが 多数派であったように，MRC タスクでも非固有表現のトークンが非常に多いため，こちらも不均衡な 問題である。

不均衡性に対する手段として深層学習技術の親和性や導入の手軽さから，機械学習モデルの損失関数を設計する cost sensitive learning が現在の主流の 一つである [5, 6, 7]. その中でも focal loss (FL) [5] や dice loss (DL) [7] は既存の有効的な手法として広く 知られている. FL はコンピュータビジョン分野で 効果が確認された損失関数で，物体検出タスクの背景と検出対象の前景との不均衡性に着目して設計さ れた. NLP タスクにも応用され一定の成果を上げて いる [8]. また DL は NLP 分野のいくつかのタスク で効果が確認され，評価指標である F1 スコアに近 いダイス係数を使用することで不均衡性に対処する 損失関数である [7]. しかし 2 クラス分類に基づい て設計された FLやDL は2クラス分類問題として 扱う MRC タスクには適用可能だがマルチクラス分類である系列ラベリングタスクに適用することは困難である．従って NER を系列ラベリングタスクと して解く際にも適用可能な不均衡性に対処できる損失関数が必要である.

本論文では, 圧倒的多数である○クラスおよび,少数の各固有表現クラスの識別精度の両立を実現

する majority or minority loss (MoM loss) を提案する. MoM loss は元の機械学習モデルの損失に追加する シンプルかつ汎用的な手法で，多数派のクラスデー タのみに対する任意の損失関数として定義される。本論文で扱う NER の系列ラベリングタスクにおい て MoM loss は正解ラベルが ○ クラスのトークンに 対する損失として定義される. 少数派クラスから 多数派クラスへの誤識別は，当該少数派クラスの precision の大幅な低下をもたらす。提案する MoM loss は各クラスのデータ数に応じて学習係数や損失関数を調整するような従来の手法と異なり, 多数派 クラスの誤識別に対して直接ペナルティを課してそ れを減らすように学習することで結果として少数派 クラスの予測性能を大きく向上させ，全体の識別率 の向上に繋げる。また提案する MoM loss は任意の 損失関数に適用可能であるため，MRC タスクにお いても適用可能である.

## 2 MoM Loss

我々は表記方法を紹介した後に一般的な cross entropy (CE) について説明し, 次にシンプルであり ながら非常に効果的な提案手法 MoM loss について 説明する。ここでの説明は我々の提案の主である系列ラベリングタスクとして解くことを想定する.

まず，入力テキスト $X$ は $W=\left[W_{1}, W_{2}, \cdots, W_{M}\right]$ の 長さ $M$ のトークンに分割される. トークン $W_{i}$ に 対してラベル $T_{i} \in \mathbb{R}^{|\mathscr{F}|}$ を持つ. これは学習時のラ ベル $T=\left[T_{1}, T_{2}, \cdots, T_{M}\right] \in \mathscr{R}^{M \times|\mathscr{F}|}$ の集合 $\mathcal{T}$ (e.g., B-LOC, I-LOC, B-ORG, ...) として与えられる. 各トーク ンのラベル付けには一般的によく使われる BIO 形式を採用する [9]. この形式を定義する文字はクラス の接頭辞である，先頭の固有表現を表す $(\mathscr{R})$ 、それ 以外の固有表現の $(\mathscr{J})$ 、非固有表現の (O) から成る. モデルは，各トークンについて 予測される確率 $P_{i} \in \mathbb{R}^{|\mathscr{T}|}$ を出力するように学習される.つまり系列 ラベリングタスクは，教師タグの系列 $T \in \mathbb{R}^{M \times|\mathcal{F}|}$ に近い確率の系列 $P \in \mathbb{R}^{M \times|\mathscr{I}|}$ を推定する.

## 2.1 Cross Entropy Loss $\mathscr{L_{\mathrm{CE}}$}

$\mathrm{CE} \ell_{\mathrm{CE}}\left(T_{i j}, P_{i j}\right)=T_{i j} \log \left(P_{i j}\right)$ はトークン $W_{i}$ の one-hot に表現のラベル $T_{i}$ と予測確率 $P_{i}$ 間の損失関数 $\mathscr{L}_{\mathrm{CE}}(\cdot, \cdot)$ であり，以下のように定義される:

$
\mathscr{L}_{\mathrm{CE}}(T, P)=-\frac{1}{M} \sum_{i=1}^{M} \sum_{j=1}^{|\mathscr{F}|} \ell\left(T_{i j}, P_{i j}\right)
$

$T_{i j}$ と $P_{i j}$ は $T_{i}, P_{i}$ ベクトルの $j$ 番目の要素である.

## 2.2 MoM Loss $\mathscr{L_{\text {MoM }}$}

NER では多数派の○クラスのサンプルが学習を 圧迫し, 他の固有表現クラスのサンプルの学習が十分にされず，固有表現クラスの識別精度の低下を招 く. 従来のデータ数に応じた損失関数の重み付けは 一定の成果を上げているが，重みの最適化を正確に 行わないと精度が低下する可能性があるため改善の 余地が残されていた $[5,7]$.

MoM loss の基本的な考え方は，○クラスの正解ラ ベル (i.e., $T_{i j}=0$ ) に対してのみ損失を計算するこ とである。そのため，非固有表現トークンを 0 ク ラスとみなすことで MRC タスクでも導入が可能と なる. 我々の MoM loss を以下のように定義する:

$
\mathscr{L}_{\mathrm{MoM}}(T, P)=-\frac{1}{M} \sum_{i=1}^{M} \sum_{j=1 ; T_{i j}=\mathscr{G}}^{|\mathcal{T}|} \ell\left(T_{i j}, P_{i j}\right)
$

の MoM loss を従来のモデルの損失関数 $\mathscr{L}(\cdot, \cdot)$ に追加する. これによって MoM lossが ○ クラスのみの loss を計算するため, 固有表現クラスとのクラスに 対する疑似的な 2 段階分類を実現させた.

モデルの訓練時には、従来の CE に加えて MoM loss を加えた以下の損失を最小化する:

$
\mathscr{L}_{\text {total }}(T, P)=\lambda \cdot \mathscr{L}(T, P)+(1-\lambda) \cdot \mathscr{L}_{\mathrm{MoM}}(T, P),
$

ここでパラメータ $\lambda$ は $\mathscr{L}(\cdot, \cdot)$ と $\mathscr{L}_{\mathrm{MoM}}(\cdot, \cdot)$ の間の トレードオフを制御するハイパーパラメータであ る. この $\mathscr{L}_{\text {total }}$ は様々な分野でデータの不均衡に対し て有効なマルチタスク学習 [10] の一種として考える ことができる $[11,12]$.

## 3 実験

本節では提案する損失関数である MoM Loss の効果を, flat-NER として系列ラベリングタスクと MRC タスクの 2 通りの方法でモデルを学習した. 系列ラ ベリングタスクでマルチクラス分類における提案手法の有効性を示し，MRC タスクで2 クラス分類に 親和性のある先行研究と比較した.

## 3.1 データセット

我々は日英含む以下の 4 つのデータセットを使用した: CoNLL2003 [1], OntoNotes5.0 [2], 京大ウェブ 文書リードコーパス [13], Stockmark-NER-wiki [14].
表 1 各損失関数の Sequence labeling タスクにおける実験結果

 & 87.62 & 89.15 &  & 71.88 & 74.27 &  & 77.79 & 81.53 &  \\

これらのデータセットの統計量をまとめたものを付録 Aにて議論する。

NER データセットの不均衡性を示すため，Oクラ スのサンプル数 $N_{\odot}$ と固有表現クラスのサンプル数 $N_{\text {nonO }}$ から不均衡率 $\rho$ を以下のように計算する:

$
\rho_{\odot}=N_{\odot} /\left(N_{\odot}+N_{\text {non๑ }}\right) .
$

すべてのデータセットで 0 クラスの占める割合が 8 割を超える非常に不均衡なデータセットであること が確認できる。また，英語のデータセットでは一般的な訓練/開発/評価データの分割を採用し，一方で 日本語のデータセットではランダムに 8:1:1 にデー タを分割した. さらに詳細なデータセットの内容に ついては付録 Aに記載した。

## 3.2 ベースラインモデル

我々は 系列ラベリングタスクには BERT [3] MRC タスクには BERT-MRC [15] を使用した.

BERT [3] は，大規模なテキストコーパスから事前学習された Transformer [16] ベースの言語モデル であり，現在 NLP タスクのベースラインモデルと して幅広く利用されている. テキストを入力するこ とで各トークンに対応したマルチクラスの固有表現 ラベルを出力する. 系列ラベリングタスクを解く際 にこのモデルを使用し, 日英 4 つのデータセットに て FL [5] を適用したモデルと比較した.

BERT-MRC [15] は BERT を元に NER を MRC タ スクとして解くモデルで，当時英語と中国語のベン チマークで当時最先端の記録を更新した. 入力テキ ストから 2 クラスの各固有表現に対応したトーク ンの場所を出力する．英語のデータセットを用いて FL [5] やDL [7] を適用したモデルと比較した.

## 3.3 比較対象の損失関数

Focal loss (FL) [5] は2クラス分類に有効な損失関数であり，物体検出における検出対象の前景と背表 2 各損失関数の MRC タスクにおける実験結果

 \\

景の不均衡性に着目した損失関数である. また，マ ルチクラス分類への拡張も可能であるが，適切なハ イパーパラメータの調整が必須となる.

Dice loss (DL) [7] は偽陽性と偽陰性を等しく重要視する損失関数で，重み付き $\mathrm{F}$ 值に近い損失関数である.しかし、2クラス分類タスクである MRC タスクでの使用を前提としており，系列ラベリング タスクでは使用できない。ここではDL の論文内で 予測性能の向上に最も貢献した dice coefficient (DSC) をDLとして使用した。

今回提案する損失関数をとその他の損失関数であ る CE や FL, DLを用いた場合の予測性能の比較結果 を報告する。

## 4 実験結果

系列ラベリングタスクにおいて 4 つのデータセッ トに対する各損失関数を適用した際の予測性能の結果を表 1 に示す. MoM loss は CoNLL2003, OntoNotes 5.0, KWDLC，そして Stockmark-NER-Wiki の 4 つの データセットに対して 既存の CE によって訓練した BERT より F1 スコアが $0.33 \%, 0.37 \%, 0.91 \% ， 0.70 \%$高い結果となった. 提案手法である ○クラスと固有

表現クラスを学習する MoM loss が CE や先行研究 のFLよりも優れていることを観測した。

上記の結果を受けて，提案手法と CEのF1 スコ アの有意差について，対応ありの $\mathrm{t}$ 検定を実施し た. 各データセットにおける $\mathrm{p}$ 值は CoNLL2003 が $6.36 e^{-6}$, OntoNotes 5.0 が $3.99 e^{-6}$, KWDLC が $1.36 e^{-3}$, Stockmark-NER-wiki が $1.06 e^{-3}$ となった. 有意水準 が 0.01 の時，対立仮説が支持されるため提案手法と CEのF1 スコアの有意差が確認された.

表 2 に，MRC タスクにおける CoNLL2003 デー タセットに対する各モデルの予測性能の結果を示 す. MoM loss は 既存の binary CE (BCE) によって訓練した BERT-MRC より F1 スコアが $0.50 \%$ 高い結果 となった.また， MoM loss は FL と DL より $0.34 \%$, $0.30 \%$ 高い結果となった. 有効性が示されている DL に更に我々のアイディアを追加することで，さ らなる予測性能向上を実現した. 我々は不均衡性に 対処する DL の性質を保ちながら MoM loss が更に 予測性能を向上させたことを観測した.

表 3 に，系列ラベリングタスクにおける CoNLL2003 データセットに対する各固有表現 ごとの予測性能の結果を示す. MoM loss は地名，そ の他の固有表現，組織名，Oクラスにおいて $0.04 \%$ ， $0.67 \%, 0.11 \%, 0.01 \%$ の予測性能の向上が観測され た. 一方，人名クラスにおいては $0.14 \%$ 低下した. この点について以下のセクションで説明する.

## 5 議論

CoNLL2003 データセットにおける全 3,453 件のテ ストケースのうち損失関数を CE から MoM loss に 変更して正解した例は 35 件確認された. そのうち 固有表現クラスと○クラス間の正例は 10 件で，固有表現間での正例は 25 件であった. またその 25 件中，サンプル数の少ない固有表現クラスからサンプ ル数の多い固有表現クラスに予測ラベルが変わった ことで正解となった例は 22 件であった. この 35 件中 22 件もサンプル数の少ない固有表現クラスから サンプル数の多い固有表現クラスに予測ラベルが変 わった理由として，MoM loss が クラスに対する 不均衡性を考慮することで，モデルがＯクラス以外 の固有表現クラスのみの分布に従ったためだと考え られる．従って，表 3 において人名クラスのみ精度 が下がったのはクラスを除いた固有表現クラスの 中で最もサンプル数の多い人名クラスに過学習した ためだと推測する。

## 6 おわりに

我々は固有表現抽出のデータセットの不均衡性に 着目した新しい損失関数 MoM loss を提案した. こ の提案手法は多数派のクラスのトークンのみを計算する loss を従来のモデルの損失関数に追加する 手法で，言語非依存なシンプルかつ系列ラベリング や MRC タスクなどの解き方に左右されない効果的 な損失関数である。評価結果から以下の 2 つが確認 できた. 1) BERT において日英 4 つのデータセット を使用して系列ラベリングタスクとして解いた際 に言語に依存しない予測性能の向上を確認した．2) BERT-MRC において英語のデータセットを使用し て MRC タスクとして解いた際，先行研究の損失関数である FL DLを上回る予測性能の向上を確認 した.

## 参考文献

[1] Erik Tjong Kim Sang and Fien De Meulder. Introduction to the conll-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147, 2003.

[2] Sameer Pradhan, Alessandro Moschitti, Nianwen Xue, Hwee Tou Ng, Anders Björkelund, Olga Uryupina, Yuchen Zhang, and Zhi Zhong. Towards robust linguistic analysis using ontonotes. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning, pp. 143-152, 2013.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[4] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified mrc framework for named entity recognition. arXiv preprint arXiv:1910.11476, 2019.

[5] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pp. 2980-2988, 2017.

[6] Yin Cui, Menglin Jia, Tsung-Yi Lin, Yang Song, and Serge Belongie. Class-balanced loss based on effective number of samples. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, $\mathrm{pp}$. 9268-9277, 2019.

[7] Xiaoya Li, Xiaofei Sun, Yuxian Meng, Junjun Liang, Fei $\mathrm{Wu}$, and Jiwei Li. Dice loss for data-imbalanced NLP tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 465-476, Online, July 2020. Association for Computational Linguistics.

[8] Tu Dinh Tran, Minh Nhat Ha, Long Hong Buu Nguyen, and Dien Dinh. Improving multi-grained named entity recognition with bert and focal loss. ICIC Express Letters, Part B: Applications, Vol. 12, No. 3, pp. 291-299, 2021.

[9] Lance A Ramshaw and Mitchell P Marcus. Text chunking using transformation-based learning. In Natural language processing using very large corpora, pp. 157176. Springer, 1999.

[10] Rich Caruana. Multitask learning. Machine learning, Vol. 28, No. 1, pp. 41-75, 1997.

[11] Yu Zhang, Ying Wei, and Qiang Yang. Learning to multitask. Advances in Neural Information Processing Systems, Vol. 31, , 2018.

[12] Alexander Spangher, Jonathan May, Sz-Rung Shiang, and Lingjia Deng. Multitask semi-supervised learning for class-imbalanced discourse classification. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 498-517, 2021.
[13] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26 th $\mathrm{Pa}-$ cific Asia Conference on Language, Information, and Computation, pp. 535-544, 2012.

[14] Takahiro Omi. stockmarkteam/ner-wikipedia-dataset: Japanese named entity extraction dataset using wikipedia, 2021.

[15] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified MRC framework for named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5849-5859, Online, July 2020. Association for Computational Linguistics.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[17] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ conference on empirical methods in natural language processing: system demonstrations, pp. 38-45, 2020.

[18] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.
表 4 各データセットの統計量. 全てのデータセットを，文書ごとに分割し件数と Eq. 4 で実施した不均衡性を示す 0 ク ラスの割合である $\rho_{0}$ を示す.

## A データセット

English CoNLL2003[1] は1996年 8 月から 1997 年 8 月までのロイター通信のニュース記事からなる データセットである. また，学習データと評価デー タは,1996 年 8 月末のファイルから 10 日分のデータ で，テストデータは1996年 12 月のテキストである.固有表現は人名や地名の他に組織名などがある. さ らに，総トークン数が 302,811 に対し非固有表現の トークンが $82.17 \%$ である.

English OntoNotes5.0 [2]は 18 個の固有表現か らなる，ニュース，電話での会話，ウェブサイト，放送，トークショーなどの様々なソースから構成さ れている大規模コーパスである. 固有表現は人名や 地名の他に日時や金額，法律名などがある. さら に，総トークン数が 1631,995 に対し非固有表現の トークンが $88.34 \%$ である.

京大ウェブ文書リードコーパス [13] はニュー X記事，百科事典記事，ブログ，商用ページなどの ウェブ文書の冒頭 3 文に対してアノテーションし たテキストコーパスである.コーパスの規模は約 5,000 文書で 15,000 文に相当する. 固有表現は人名 や地名の他に組織名や日付，時間，金額などがあ る. さらに，総トークン数が 252,984 に対し非固有

Stockmark-NER-wiki [14] は日本語版 Wikipedia から抜き出した文に対して，アノテーションをし た，全体で約 4,000 件ほどのデータセットである.固有表現は人名や地名の他に施設名や製品名，法人名などがある. さらに，総トークン数が 98,496 に対乙非固有表現のトークンが $82.18 \%$ である.

## B 実装の詳細

BERT は Huggingface の Transformers [17]を使用 した. 事前学習済みモデルにおいて英語は bertbase，日本語は東北大 BERT を使用した. モデルは Adam [18] を用い, 学習率は $2 e^{-5}$, バッチサイズは 64
で各データセット 10 エポックの微調整をした. focal loss [5] と MoM loss の各パラメータは機械学習モデ ルにおけるべイズ最適化のパッケージである optuna により最適化をした. 最適なモデルのチェックポイ ントは評価データでの $\mathrm{F} 1$ スコアに基づく. 我々は、異なるランダムシードを用いた 10 回の実行の F1 ス コアの平均値を報告する.

BERT-MRC は論文 [15] 中で公開されている実装 を使用した. Adam [18]を用い，学習率は $3 e^{-5}$,バッ チサイズは 32 で各データセット 10 エポックの微調整をした. その他の focal loss [5] や dice loss [7] な どの各パラメータは dice loss [7] の実装に従った. 最適なモデルのチェックポイントは評価データでの F1 スコアに基づく. 我々は、異なるランダムシー ドを用いた 5 回の実行の F1 スコアの平均値を報告 する。
 根本颯汰 ${ }^{1}$ 北田俊輔 ${ }^{2}$ 彌冨仁 ${ }^{1}$ 1 法政大学理工学部 2 法政大学大学院 理工学研究科 \{sota.nemoto.5s, shunsuke.kitada.8y\}@stu.hosei.ac.jp iyatomi@hosei.ac.jp  