# L2-constrained Focal Lossを導入した BERT による文書の著者推定

落合晃汰青野雅樹
豊橋技術科学大学知能・情報工学課程
ochiai@kde.cs.tut.ac.jp, aono@cs.tut.ac.jp

## 1 はじめに

近年,SNS やネットニュースなどのネットワーク サービスの発達により, 情報をインターネットから 簡単に入手することができる.しかし,このようなイ ンターネット上の情報には著者の情報が含まれて いないことが多い. 著者の情報は情報の信憑性を判断する際に重要であるため, 文章の著者推定問題は 重要なタスクである. 匿名で記述された文章の著者推定, 盗作や転載の検出, 類似性の高い文章の推薦 など, 幅広く応用できる. 本研究では, 50 人の著者に よって書かれた企業や業界に関するニュースからな る C50 データセットと 53 人の著者によって書かれ たツイートからなる PAN 2016 Author Profiling Task の Twitter データセットを用いて,L2-constrained Focal Loss を導入した BERTを用いた文章の著者推定手法 を提案する。

## 2 関連研究

## 2.1 BERT

BERT(Bidirectional Encoder Representationsfrom Transformers) [1] は 2018 年に Google が発表した言語処理モデルである. 複数の双方向 Transformer に基づ くエンコーダーであり, 単語列を入力として各単語 に対応する分散表現を出力する. また,BERT は大規模コーパスを用いて教師なしの事前学習を行うこと で性能を向上させている. 事前学習には MaskedLM (Masked Language Model) と次文予測 (Next Sentence Prediction)の2つのタスクを用いてモデルの学習を 行っている.これら 2 つのタスクによって事前学習 されたモデルに転移学習やファインチューニングを 施すことで高い精度を実現している。

## 2.2 $\quad L_{2$-constrained Softmax Loss}

$L_{2}$-constrained Softmax Loss[2] は2017 年に顔識別の DCNN(Deep Convolutional Neural Network) の精度向上 のために提案された損失関数である. $L_{2}$-constrained Softmax Loss では Softmax Loss にネットワーク出力 の L2ノルムがある定数 aになるように制約を加 える.これによって同一クラスのコサイン類似度が 大きく, 違うクラスのコサイン類似度が小さくなる ように学習されるという特徴がある. L2-constrained Softmax Loss の式は以下のようになる.

$
\begin{aligned}
& \operatorname{minimize}-\frac{1}{M} \sum_{i=1}^{M} \log \frac{e^{W_{y_{i}}^{T} f\left(x_{i}\right)+b_{y_{i}}}}{\sum_{j=1}^{C} e^{W_{j}^{T} f\left(x_{i}\right)+b_{j}}} \\
& \text { subject to }\left.\|f\left(x_{i}\right)\right.\|_{2}=\alpha, \forall i=1,2, \ldots M
\end{aligned}
$

## 2.3 Focal Loss

Focal Loss[3] 2017 年に FAIR(Facebook AI Research) が発表した物体検出モデルである RetinaNet に使われている損失関数である. Focal Loss は物体検出において背景と背景以外のクラス間の不均衡の問題を解決するために提案された. このクラス間の不均衡によって, 学習の殆どが簡単な背景判定に支配 されてしまう.この問題を解決するため Focal Loss では簡単に分類が成功している事例の損失を小さく している.これにより，より難しく注目すべき事例が 学習に強く寄与するようになる. Focal Loss の式は以下のようになる。

$
F L\left(p_{t}\right)=-\left(1-p_{t}\right)^{\gamma} \log \left(p_{t}\right)
$

このとき $\gamma$ はどのくらい簡単に分類が成功している 事例の損失を減衰するかを決定するパラメータで， これによって簡単に分類が成功している事例の損失 への寄与が小さくなる.これによって, より難しく注目すべき事例が学習に強く寄与できるようになる。

図 1 BERT ベースラインモデル

## 3 ベースラインモデルと提案手法

以下では提案する手法及びベースラインモデルに ついて説明する。

## 3.1 LSTM ベースラインモデル

LSTM ベースラインモデルは fastText[4] を Embedding layer として用いた LSTM モデルである.fastText の分散表現は UMBC Webbase コーパス, および statmt.org ニュースデータセットでトレーニングさ れた 100 万語のベクトルとなっている. モデルは 1 層の単方向 LSTM であり,隠れ層の次元は 768 次元 で分散表現の次元数は 300 次元とした.

## 3.2 BERT ベースラインモデル

本研究で使用する BERT は Transformer が 12 層 でトークンの次元数は 768 となっているモデル で,Wikipediaコーパスと BooksCorpus で事前学習さ れたものを使用している [5]. BERT ベースラインモ デルはこの学習済み BERT をファインチューニング したモデルである. 図 1 にモデルの概要を示す.

3.3 L2-constrained Softmax Loss を導入し た BERT モデル

BERT ベースラインモデルに変更を加えたモデル として L2-constrained Softmax Loss を導入したモデ ルを構築する. 出力の L2ノルムが定数 a になるよ うに制約を加えて,Softmax Lossを用いることで実現 する。

図 2 L2-constrained Focal Loss を用いた BERT モデル

## 3.4 Focal Loss 導入した BERT モデル

Focal Loss を導入した BERT モデルでは BERT ベースラインモデルで使用している Softmax Loss を Focal Loss に変更することで実現する.

## 3.5 L2-constrained Focal Loss を導入した BERT モデル

さらに変更を加えたモデルとして,L2-constrained レイヤーと Focal Loss を導入したモデルを構築 する.3.3 節の L2-constrained Softmax Loss を用いた BERT モデルで使用している Softmax Loss を Focal Loss に変更することで実現する. 図 2 にモデルの概要を示す.

## 4 実験

提案した BERT モデルを使用して文書の著者を推定する.

## 4.1 データセット

本研究では,C50 dataset[6] と Twitter データセット [7] の2つのデータセットを使用する.
表 1 各モデルの実験結果

 & - & 64.49 & - & - \\

## 4.1.1C50 データセット

C50 データセットはRCV1(Reuters Corpus Volume 1) の一部からなるロイターニュースの記事のデー タセットである. 企業及び産業について書かれた英語のニュース記事のデータセットであり,50人の著者によって書かれた記事がまとめられている. 訓練 データは著者あたり 50 本の合計 2500 本の記事で構成され, テストデータには訓練データと重複しない 著者あたり 50 本の 2500 本が使用されている. C50 データセットの最大トークン数は BERT の tokenizer で分割した際 1874 語である.BERT で読み込める最大トークン数は 512 語であるため, そのまま読み込 むことができない. そのため本実験では先頭の 512 語のみを使用する。

## 4.1.2 Twitter データセット

Twitter データセットは PAN 2016 Author Profiling Task データセットのツイートからなる. PAN 2016 Author Profiling Task データセットから,53 人のユー ザーを収集し, ユーザーあたり 900 ツイートを使用 する. 訓練データは著者あたり 800 のツイートの合計 42400 のツイートで構成され, テストデータには 訓練データと重複しないユーザーあたり 100 のツ イートの 5300 のツイートが使用されている.

## 4.2 評価指標

データ数は各クラス間で同じであるため, 評価指標には Accuracy のみを用いる.

## 4.3 モデルパラメータ

最適化には AdamW を用い, ミニバッチサイズは 8, ドロップアウト率は 0.1 とした. 20 エポック学習 を行った際のモデルの性能を評価する。

## 4.3.1 パラメータ調整

L2-constrained Softmax Loss を導入した BERT モデ ル,Focal Loss を導入した BERT モデル, L2-constrained Focal Loss を導入した BERT モデルについてはそれ ぞれパラメータ調整を行った. L2-constrained レイ ヤーのパラメータ $\alpha$ は 8 から 32 までを 4 刻みで変更して実験を行い,Focal Loss のパラメータ $\gamma$ は 1 か ら 5 までを 1 刻みで変更して実験を行った。

## 4.4 実験結果

節 3 で示した 5 つの手法について実験を行った. なお L2-constrained Softmax Loss と Focal Loss のパラ メータの値は節 4.3.1 で示した方法で実験し, 各手法で最高性能を示した値を使用する. SVM(support vector machine) を使用した著者推定の先行研究 [8] の結果と本実験の結果をまとめたものを表 1 に示 す. LSTM ベースラインモデルでは SVM を用いた 先行研究の精度を上回ることはできなかった. しか し,BERT ベースラインモデルは両方のデータセット で先行研究を上回った. また, 両方のデータセット にて L2-constrained Softmax Loss を導入した BERT モ デルと Focal Loss を導入した BERT モデルは BERT ベースラインモデルよりも分類精度は向上した. さ らに,L2-constrained Focal Loss を導入した BERT モデ

図 3 Twitter データセットでの BERT モデルの分散表現

ルはより高い精度となった. 図 3, 図 4 に Twitter データセットでの BERT ベースモデルの出力 ([CLS] トークンの 768 次元の分散表現) と L2-constrained Focal Loss を導入した BERT モデルの出力をそれぞ れ t-SNE により次元圧縮したものを示す.

## 4.5 考察

表 1 より,L2-constrained Softmax Loss を導入し た BERT モデルと Focal Loss を導入した BERT モ デルそれぞれについて BERT ベースラインモデル と比較して精度が向上することが確認できた。ま た,L2-constrained Softmax Loss を導入した BERT モ デルと Focal Loss を導入した BERT モデルそれぞ れの精度は C50 データセットについては $69.60 \%$ で 同じであり,Twitter データセットについては $0.18 \%$ の差のみであった. そのため, 最高精度を記録し た L2-constrained Focal Loss を BERT に導入したモ デルでもバランス良く作用して精度の向上につ ながっていると考えられる。また, 図 3 , 図 4 より L2-constrained Focal Loss を BERT に導入することで 分散表現についても BERT ベースラインモデルと比較して各ラベルがよりまとまったクラスタを形成し ていることが確認でき,これにより分類の精度が向上していると考えられる。

## 5 おわりに

本研究では,L2-constrained Softmax と Focal Loss を 導入した BERT を用いた文書の著者推定モデルを提案した. 実験では, ベースラインと比較し精度が向上 した.さらに,BERT の分散表現についても各ラベル

図 4 L2-constrained Focal Loss を導入した BERT モデルの 分散表現

がよりまとまったクラスタを形成するようになって いることが確認できた. 今後の課題としては BERT の複数の層の出力の平均や和を利用したモデルや BERT から発展した Transformer ベースのモデルにつ いても L2-constrained Focal Loss を利用することがで きないかについての検討も行っていきたいと考えて いる.

## 謝辞

本研究の一部は, 科研費基盤（B）(課題番号 17H01746）の支援を受けて遂行した.

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Keton Lee, and Kristina Toutanova. 2018. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805

[2]Rajeev Ranjan, Carlos D. Castillo, and Rama Chellappa. 2017. L2-constrained Softmax Loss for Discriminative Face Verification. arXiv preprint arXiv:1703.09507.

[3]Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. 2018. Focal Loss for Dense Object Detection. arXiv preprint arXiv:1708.02002

[4]English word vectors - fastText. https://fasttext.cc/ docs/en/english-vectors. html. Accessed: 2021-01-05.

[5]bert-base-uncased $\cdot$ Hugging Face. https://huggingface . co/bert-base-uncased. Accessed: 2021-01-05.

[6]C50 dataset. https://archive.ics.uci.edu/ml/ datasets/Reuter_50_50. Accessed: 2021-01-05.

[7]Pan 2016 author profiling task. http://pan.webis.de/ clef16/pan16-web/author-profiling.html. Accessed: 2021-01-05.

[8]Shofi Nur Fathiya. Author Identication Focusing on Semantic and Syntactic Features Extracted from Long and Short Texts. Toyohashi University of Technology, 2017.
 落合晃汰青野雅樹 豊橋技術科学大学知能・情報工学課程 ochiai@kde.cs.tut.ac.jp, aono@cs.tut.ac.jp  