# マルチラベル分類のための重みつき非対称損失関数

安田有希 宮墒太郎 後藤淳
日本放送協会 放送技術研究所
\{yasuda.y-hk, miyazaki.t-jw, goto-j. fw\}@nhk.or.jp

## 概要

単一のテキストに複数のラベルを付与するマルチ ラベルテキスト分類は、自然言語処理で重要なタス クの一つであるが、大きな課題としてラベルの出現頻度が不均衡であることが挙げられる。学習データ 中にあまり出現しない低頻度ラベルは、ポジティブ サンプル数が極端に少なく、ほとんどの入力がネガ ティブサンプルである。そのため、モデルは低頻度 ラベルをほとんどネガティブサンプル由来の損失 から学習することになる。本研究では、ラベルの共起重みと出現頻度重み、ネガティブサンプル由来の 損失値を抑制する重みを組み合わせる手法を提案 する。実験の結果、Reuters-21578 では、micro-F1 で 0.911 と SOTAを上回る性能を達成した。

## 1 はじめに

マルチラベルテキスト分類 (MLTC) は、自然言語処理の中でも重要な課題の一つであり、今日実世界 の様々な場面で適用されている。たとえば、法律文書の分類 [1]、カルテによる自動診断 [2] が挙げ られる。MLTC では文書 $x_{i} \in X$ に対して、事前に 定義されたラベルから適切なラベルのサブセット $y_{i} \in\{0,1\}^{C}$ を付与するタスクである $[3,4]$ 。なお、 ここで $X$ は文書の集合であり、 $C$ は事前に定義さ れたラベルの総数である。MLTC においてべンチ マークとして広く利用されている Reuters-21578[5] のデータのサンプルを図 1 に示す。

 \\
Labels 1 & cocoa \\

Labels 2 & sorghum, oat, barley, corn, wheat, grain \\

図 1 Reuters-21578 のデータ例

図 2 Reuters-21578 におけるラベル分布

MLTC の特徴として、ラベルの頻度がロングテー ル分布に従う不均衡データセットが挙げられる。一例として、図 2 に Reuters-21578 の各ラベルの頻度分布を示す。図 2 が示すとおり、低頻度ラベルはポ ジティブサンプルから学習することは稀であり、殆 どの場合ネガティブのサンプルから学習する。これ は、Imbalanced learning と呼ばれ、機械学習の分類問題における大きな課題の一つである [6,7]。

この課題を解決するために、画像分類分野では損失値に重み付けを行うような様々な損失関数手法 が提案されている $[8,9,10]$ 。さらに、これらの手法 は自然言語処理分野にも流用され、効果を発揮して いる [11]。本研究では、ラベルの共起情報をもとに した重みとラベルの頻度から構成された重み、ネガ ティブサンプルの影響を軽減する重みを組み合わ せ、不均衡データセットの影響を抑制するような損失関数を提案する。

## 2 関連研究

Class-Balanced Loss (CBL)[8] は、データセット内 の各ラベルの出現数に反比例する重みを構築して損失値に重み付けする手法である。つまり、出現数の 多いラベルの損失值ほど抑制されるような重みを構築するため、各ラベル間での損失值のバランスが調整される。しかしながら、CBLでは同一のラベルに おけるポジティブサンプル由来の損失とネガティブ サンプル由来の損失のバランスは考慮されない。マ

ルチラベル分類では、ラベル空間が大きいタスクを 取り扱うことも多いため、学習サンプルにおいてモ デルが計算する損失值のほとんどが、ネガティブラ ベル由来の損失値である。つまり、ラベル間の重み 調整だけでは偏ったネガティブサンプルの影響を取 り除けず、ポジティブサンプルに対しても意味のあ る学習が難しくなってしまう。

この課題を解決するために Distribution-Balanced Loss (DBL)[9] が提案されている。DBL は、損失值を調整する重みと Negative-Tolerant Regularization (NTR) 手法を統合して構成される。重みはバッチ内 のラベル出現数の逆数とデータ全体のラベル出現数 の逆数の比を求めることで算出される。また、NTR はモデルの出力からその逆数とハイパーパラメータ によって算出される値を引くことによってネガティ ブサンプルの学習を抑制することを実現している。 すなわち、モデルの出力が一定の値を下回ると急激 に損失値を低下させることができる。ただし、DBL では学習のために事前定義しなければならないハイ パーパラメータが非常に多く、データ量が多い傾向 にある MLTC では探索のコストが非常に高い。

学習中のネガティブサンプルの影響を緩和するた めの別の手法として、非対称的な形を持った重みを 損失值に適用する Asymmetric Loss (ASL)[10] が提案 されている。ASL のコンセプトとして、以下の 2 点 が挙げられる。それは Focal Loss (FOC)[12] におけ る減衰率 $\gamma$ を正負のサンプルで分離する Asymmetric Focusing 手法と学習が十分に進んだネガティブ サンプルの損失値を完全に破棄する Asymmetric Probability Shifting 手法である。つまり、ラベルの正負をもとにした損失値への重み付けと意味のあるサ ンプルからの学習の選択を同時に行う。ASLでは、 ネガティブサンプルに適用される $\gamma_{-}$をポジティブ サンプルに適用される $\gamma_{+} よ り も$ 高く設定すること で、ネガティブサンプルに対するモデルの出力が小 さい場合に損失值を抑制する一方で、ポジティブサ ンプルの損失値は不当に抑制されないような学習を 実現している。ただし、ASL はネガティブサンプル の影響の抑制に高い効果を発揮する一方で、データ セット内で多く出現する高頻度ラベルの影響を抑制 できない。

## 3 提案手法

近年の多くの損失関数の提案は MLTC で多大な成果を収めているが、頻度もしくはラベルの正負とい

図 3 本研究における提案手法の概要図

う一面的な観点でしか重みが構築されていない。そ こで、本研究ではラベル間の頻度の差を緩和する重 みとネガティブサンプルの影響を抑制する重み、低頻度ラベルのサンプル数の少なさを緩和する重みを 統合した手法を提案する。データの中で多数派であ る低頻度でネガティブなサンプルに対しては $\gamma$ の値 を上げることで損失値を抑制する。一方で、少数派 である高頻度ラベルでネガティブなサンプルに対し ては $\gamma$ の値を下げることで損失値の抑制を緩和す る。さらに、トレーニングデータから抽出されたラ ベルの共起表現をもとにした Label Smoothing を行 うことによって低頻度ラベルのサンプル数の少なさ を補い、モデルの過学習を抑制することを狙う。本提案手法の概要図を図 3 に示す。

## 3.1 Class Balancing モジュール

Class Balancing モジュールではトレーニングデー タ全体のラベル分布から各ラベルに適用する重みを 計算する。本提案手法では、CBL で提唱されている ラベルの出現数をもとにした重み $r^{c b}$ から重み $\hat{r}^{c b}$ を構築する。 $\hat{r}^{c b}$ は、CBL と同様に損失値全体の重 み付けを行うと同時に、後に説明する Asymmetric Focusing モジュールにおいて $\gamma$ を調整する役割も持

つ。 $\hat{r}^{c b}$ は以下のように定義される。

$
\begin{aligned}
r^{c b} & =\frac{(1-\beta)}{1-\beta^{n_{y}}}, \\
\hat{r}^{c b} & =\frac{r^{c b} n_{y}}{\sum^{i} r^{c b}} .
\end{aligned}
$

ここで、 $n_{y}$ は各ラベルの出現数、 $0 \leq \beta<1$ は重み の強度を調整するハイパーパラメータである。

## 3.2 Asymmetric Focusing モジュール

Asymmetric Focusing モジュールでは ASL と同様 に、ポジティブサンプルとネガティブサンプルの それぞれに適用する重み $(1-p)^{\gamma_{+}},\left(p_{m}\right)^{\gamma_{-}}$を計算 する。このうち、ネガティブラベルに適用される $\gamma_{-}$と Class Balancing モジュールで構築された重み $\hat{r}_{c b}$ を掛け合わせる。提案手法 Asymmetric Loss with Weight Combination (ASLWC) における損失は以下の ように定義される。

$
\begin{aligned}
\text { Loss } & =\hat{r}^{c b}\left[-y L_{+}-(1-y) L_{-}\right] \\
L_{+} & =(1-p)^{\gamma_{+}} \log (p), \\
L_{-} & =\left(p_{m}\right)^{\gamma_{-} r_{-}^{c b}} \log \left(1-p_{m}\right), \\
p_{m} & =\max (p-m, 0) .
\end{aligned}
$

ここで、 $0 \leq \gamma_{+}<\gamma_{-}$はハイパーパラメータである。 また、式 6 は Asymmetric Probability Shifting 手法で あり、モデルの出力確率が非常に低い場合、ネガ ティブサンプルによる影響を完全に破棄するための 処理である。

## 3.3 Label Smoothing モジュール

Class Balancing と Asymmetric Focusing による重み 調整では、低頻度ラベルに対応する入力サンプルの 少なさは本質的に解決されない。本提案手法では Label Smoothing 手法 [13]をもとに、事前確率として ラベルの共起情報を設定した Label Smoothing を行 う。本提案手法における Label Smoothing は以下の ように定義される。

$
\begin{aligned}
y^{\prime} & =(1-\alpha) y+\alpha u(y) \\
u(y) & =\operatorname{norm}\left(\sum_{i=1, y_{i}=1}^{C} P P M I_{i j}\right)
\end{aligned}
$

ここで、 $0<\alpha<1$ は Smoothing の度合いを決定す るハイパーパラメータである。さらに、norm は正規化関数であり、Min-Max Normalization 手法を用い る。また、PPMI はトレーニングデータの各ラベル の共起回数から計算された正の自己相互情報量行列
を示す。通常の Label Smoothing では式 7 の項 $u(y)$ は一様分布 $\frac{1}{C}$ が定義されるが、本提案手法の Label Smoothing では、ポジティブラベルとデータセット 内で共起するラベルを関連ラベルとみなし、関連ラ ベルにのみ Ground Truth Value を分配する。これに よって、本来は正負の判定をするためだけの式 3 内 の項 $y 、(1-y)$ を共起情報が加味された重みとして 扱うことができる。

## 4 実験

提案手法の有効性を検証するために、ベースラ イン手法との比較実験を行った。ベースライン 手法の損失関数として Binary Cross-Entropy (BCE)、 FOC[12]、CBL[8]、CBL-NTR[11]、DBL[9]、ASL[10] を用いた。このうち、CBL-NTR と DBL は Reuters21578 において State-of-the-art である。

## 4.1 データセット

本実験では、ベンチマークとして Reuters-21578[5] と AAPD[14]、20 Newsgroups[15] を用いた。それぞ れのデータセットの統計情報を表 1 に示す。なお、

Reuters-21578 に関して、本実験では modApté 分割 [16]を使用して、トレーニングデータとテストデー タに分割した。また、Reuters-21578、20 Newsgroups はともに検証データが事前に定義されていないた め、学習データを 9:1の比率でランダムに分割し、検証データを構築した。

表 1 データセット概要

Reuters-21578 は、1987 年にロイターのニュースワ イヤーに揭載された経済分野のニュース記事から構成されており、ラベルの分布が非常に不均衡という 特徵がある。AAPD は、科学論文のリポジトリであ る arXiv に公開された論文のアブストラクトから構成されており、実験に利用されたデータセットの中 で中程度の不均衡さを持つ。20 Newsgroups は複数 のドメインから構成されるニュース記事を集めた データセットで、ラベル分布が均衡のとれたデータ セットである。
表 2 実験結果

## 4.2 実験設定

本実験では、分類モデルとしてニューラルネット ワークを用いた。RoBERTa[17] で大力サンプルを文章の特徴量に変換するエンコーダ部分と、文章の特徵量から各ラベルのスコアを出力する 2 層の Feed Forward Networks (FFNN) から構成されるモデルを 使用した。モデルは Pytorch[18] と Transformers[19] を用いて実装し、最適化手法として RoBERTaには AdamW[20]を適用し、FFNNにはRAdam[21]を適用 した。各比較手法で共通のハイパーパラメータの 学習エポックは 50 エポック、ドロップアウト率 は 0.1、RoBERTa の学習率は $2 \times 10^{-5}$ 、FFNN の学習率は $2 \times 10^{-3}$ 、出力閾値は 0.5 であった。また、各手法の固有のハイパーパラメータに、それぞ れ FOC は $\gamma=2 、 \operatorname{CBL}$ は $\beta=0.9 、$ DBL は $\beta=10.0$、map $-\gamma=0.9 、$ ASL $\gamma_{+}=1 、 \gamma_{-}=4 、$ ASLWC は $\alpha=0.3 、 \beta=0.3 、 \gamma_{+}=1 、 \gamma_{-}=4$ と設定した。本実験では、各手法の実験は異なるランダムシードで 5 回評価を行い、表 2、表 3 には評価値の平均を記載 した。

## 4.3 評価指標

本実験では、評価指標として Macro-f1、Micro-F1 を用いた。なお、出現頻度が下位三分の一であるラ ベルを低頻度ラベルとして定義し性能を比較した。

## 4.4 結果

本実験の結果を表 2 に示す。Reuters-21578と AAPD において、すべてのラベルを用いた指標で 本提案手法が比較手法を上回ったことが確認され た。なお、Reuters-21578 においては SOTA である CBL-NTR と DBLを超える精度が確認された。一方 で、20 Newsgroups において提案手法を含む重み調整の手法が BCE の精度を超えなかったことが認め
られた。なお、すべてのデータセットにおける各ラ ベルグループごとの結果は付録 A に記載した。

## 4.5 議論

Reuters-21578 と AAPD はどちらもラベルの頻度 に偏りがあり、その影響をモデルに与えやすいデー タセットである。一方で、20 Newsgroups はラベル の不均衡の度合いが弱く、相対的には低頻度ラベル であっても 1000 件程度のサンプル数が確保されて いる。このことから、表 2 を鑑みると本提案手法は ラベルの不均衡の度合いがある程度強いデータに有効である可能性がある。

表 2 の低頻度ラベルの結果から、Reuters-21578 と AAPD において本提案手法が低頻度ラベルの精度を 向上させている。このことから、本提案手法におい て低頻度ラベルの精度向上が全体のラベルの分類精度の向上につながったのではないかと推察できる。 つまり、本提案手法によってラベルの不均衡による 影響を他の提案手法に比べて緩和できている可能性 がある。

## 5 おわりに

マルチラベルテキスト分類では、ラベルの出現頻度に偏りがあるデータにおいて、低頻度ラベルの精度が低いという課題が存在する。そこで、本研究で はラベルの共起情報をもとにした重みと出現頻度の 重み、ネガティブサンプルの損失を抑制する重みと を組み合わせる手法を提案した。実験結果より、提案手法がラベル分布の偏りが強いデータセットに おいてべースラインを上回ることが確認された。ま た、提案手法が低頻度ラベルの精度を改善している ことから Imbalanced learning の問題を緩和できる可能性がある。今後の展望として、より幅広いベンチ マークデータセットでの検証と既存の大規模モデル への適用による手法の頑健性の検証が挙げられる。

## 参考文献

[1] Ilias Chalkidis, Emmanouil Fergadiotis, Prodromos Malakasiotis, Nikolaos Aletras, and Ion Androutsopoulos. Extreme multi-label legal text classification: A case study in EU legislation. In Proceedings of the Natural Legal Language Processing Workshop 2019, pp. 7887, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Clare Amanda and King D. Ross. Knowledge discovery in multi-label phenotype data. In Principles of Data Mining and Knowledge Discovery, pp. 42-53, Berlin, Heidelberg, 2001. Springer Berlin Heidelberg.

[3] Min-Ling Zhang and Zhi-Hua Zhou. A review on multilabel learning algorithms. IEEE Transactions on Knowledge and Data Engineering, Vol. 26, No. 8, pp. 18191837, 2014.

[4] Tsoumakas Grigorios and Katakis Ioannis. Multi-label classification: An overview. International Journal of Data Warehousing and Mining, Vol. 3, No. 3, pp. 1-13, 2007.

[5] Philip J. Hayes and Steven P. Weinstein. CONSTRUE/TIS: a system for content-based indexing of a database of news stories. In Proceedings of the The Second Conference on Innovative Applications of Artificial Intelligence, IAAI '90, pp. 49-64. AAAI Press, 1990.

[6] Haibo He and Edwardo A. Garcia. Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering, Vol. 21, No. 9, pp. 1263-1284, 2009.

[7] Wang Yaqing, Yao Quanming, Kwok T. James, and Ni M. Lionel. Generalizing from a few examples: A survey on few-shot learning. ACM compututing Ssrveys, Vol. 53, No. 3, pp. 1-34, 2020.

[8] Cui Yin, Jia Menglin, Lin Tsung-Yi, Song Yang, and Belongie Serge. Class-balanced loss based on effective number of samples. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9268-9277, June 2019.

[9] Wu Tong, Huang Qingqiu, Liu Ziwei, Wang Yu, and Lin Dahua. Distribution-balanced loss for multi-label classification in long-tailed datasets. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Proceedings of the European Conference on Computer Vision, pp. 162-178, Cham, 2020. Springer International Publishing.

[10] Ridnik Tal, Ben-Baruch Emanuel, Zamir Nadav, Noy Asaf, Friedman Itamar, Protter Matan, and Zelnik-Manor Lihi. Asymmetric loss for multi-label classification. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 82-91, October 2021.

[11] Yi Huang, Buse Giledereli, Abdullatif Köksal, Arzucan Özgür, and Elif Ozkirimli. Balancing methods for multilabel text classification with long-tailed class distribution. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 8153-8161, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[12] Lin Tsung-Yi, Goyal Priya, Girshick Ross, He Kaiming, and Dollár Piotr. Focal loss for dense object detection. In Proceedings of the IEEE International Conference on Computer Vision, pp. 2999-3007, 2017.

[13] Szegedy Christian, Vanhoucke Vincent, Ioffe Sergey, Shlens Jon, and Wojna Zbigniew. Rethinking the inception architecture for computer vision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818-2826, 2016.

[14] Yang Pengcheng, Sun Xu, Li Wei, Ma Shuming, Wu Wei, and Wang Houfeng. SGM: Sequence generation model for multi-label classification. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 3915-3926, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[15] Ken Lang. Newsweeder: Learning to filter netnews. In Proceedings of the Twelfth International Conference on Machine Learning, pp. 331-339, 1995.

[16] Chidanand Apté, Fred Damerau, and Sholom M. Weiss. Automated learning of decision rules for text categorization. ACM Trans. Inf. Syst., Vol. 12, No. 3, pp. 233-251, July 1994.

[17] Zhuang Liu, Wayne Lin, Ya Shi, and Jun Zhao. A robustly optimized BERT pre-training approach with post-training. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[18] Paszke Adam, Gross Sam, Massa Francisco, Lerer Adam, Bradbury James, Chanan Gregory, Killeen Trevor, Lin Zeming, Gimelshein Natalia, Antiga Luca, Desmaison Alban, Kopf Andreas, Yang Edward, DeVito Zachary, Raison Martin, Tejani Alykhan, Chilamkurthy Sasank, Steiner Benoit, Fang Lu, Bai Junjie, and Chintala Soumith. Pytorch: An imperative style, high-performance deep learning library. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[19] Wolf Thomas, Debut Lysandre, Sanh Victor, Chaumond Julien, Delangue Clement, Moi Anthony, Cistac Pierric, Rault Tim, Louf Remi, Funtowicz Morgan, Davison Joe, Shleifer Sam, von Platen Patrick, Ma Clara, Jernite Yacine, Plu Julien, Xu Canwen, Le Scao Teven, Gugger Sylvain, Drame Mariama, Lhoest Quentin, and Rush Alexander. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[20] Loshchilov Ilya and Hutter Frank. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[21] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In International Conference on Learning Representations, 2020 .

## A ラベル頻度グループ別の結果

実験に使用したデータの頻度グループ別の結果を表 3、表 4、表 5 にそれぞれ示す。データセット中のラベ ルを出現頻度順に並べたときの上位を High、中位を Middle、下位をLow に分割し、性能を比較した。なお、各グループのラベル数は均等になるように分割し、Reuters-21578 と AAPD、20 Newsgroups の各グループはそ れぞれ 30 件、 18 件、 11 件のラベルから構成されている。

表 3 頻度グループごとのラベルにおける実験結果 (Reuters-21578)

表 4 頻度グループごとのラベルにおける実験結果 (AAPD)

表 5 頻度グループごとのラベルにおける実験結果 (20 Newsgroups)

20 Newsgroups


 安田有希 宮墒太郎 後藤淳 日本放送協会 放送技術研究所 \{yasuda.y-hk, miyazaki.t-jw, goto-j. fw\}@nhk.or.jp  