# 文表現の摂動正規化: 事前学習済みモデルの Debias 手法

新妻巧朗渡辺太郎
奈良先端科学技術大学院大学 先端科学技術研究科
\{niitsuma.takuro.nm3, taro\}@is.naist.jp

## 1 はじめに

近年の自然言語処理の応用研究において、 Elmo[13] や BERT[3] が, 自然言語理解タスクや質問応答タスクにおいてめざましい成果を残したことを 受け、事前学習済み言語モデルが一般的に使われる ようになってきている.これらの言語モデルは, 共参照解析 [6] といったタスクにおいても高い成績を 残している一方で, 大規模なコーパスを用いて学習 されているために, Kurita ら [8] や Nangia ら [11] が コーパスに明示的あるいは暗黙的に含まれている Social Bias をも学習していることを報告している. こうした問題は, 学習済みの単語埋め込みにおいて も存在していることが Caliskan ら [2] によって明ら かにされている.これらの単語埋め込みや言語モデ ルは, 自然言語処理の様々なタスクの基礎を成す構成要素として組み込まれるため, 下流のタスクに対 しても Social Bias の影響を与えてしまう可能性があ ることが危惧される.

Bolukbasi ら [1] の研究をはじめとして, 近年には その Biasを取り除く研究が進められてきた. 単語埋 め込みの Debias やトレーニングデータの拡張によっ て, Social Bias を取り除く手法 $[7,17,4]$ が提案され たきた。しかし, 事前学習済み言語モデルから直接 Bias を取り除くことを試みる研究はまだ少ない。

本研究では, BERT をはじめとするマスク言語モ デルのトークンの予測スコアがトークンの出現確率 の分布として表現され, またトークンの有無が周辺 のトークンの分布を摂動させることに着目し, その 摂動を最小化することで事前学習済み言語モデルの Social Biasを取り除くことを目指した. 特定の社会集団を表現する語を構成するトークンを除いた全て のトークンの出現確率の分布が近づくように学習す ることで, 社会集団に関わる語彙の周辺のトークン の出現確率への影響を小さくする. 本稿では, Nangia ら [11] が提案したマスク言語モデルの Bias を計測
する手法によって提案手法の有効性を示し，さらに GLUE[15] の評価セットを用いて自然言語理解の性能が Debiasによって落ちていないことを確認した.

## 2 関連研究

近年の自然言語処理において, 単語埋め込みや言語モデルの Bias の存在を可視化および除去する研究が増えてきている。Caliskan ら [2] は, 認知心理学 において人間の潜在的態度を計測する手法である Implicit Association Test (IAT)[5] をもとに, コサイン 距離を用いて単語埋め込みが持つ潜在的な Bias を 計測する Word Embedding Association Test (WEAT) を 考案した. さらに, WEATを用いて事前学習された Glove[12] の性別や人種のような社会集団を表す単語の表現と, 印象を表す単語の表現との間の距離を 計測し, その表現に社会集団間で印象の偏りが生じ ていることを示した.この WEAT は, 単語埋め込み だけを対象にしたものであるが, Sentence Encoder に 拡張した研究 [10] やマスク言語モデルに拡張した研究 [8] が存在している.

Nangia ら [11] は, Bias を数量化するために stereotype と anti-stereotype な二組の文から構成される データセットである CrowS-Pairs を提案し, 擬似対数尤度マスク言語モデルスコア [14]を用いて擬似的に文の尤度を評価し, stereotype と anti-stereotypeな 文のスコアを比較することでマスク言語モデルの Bias の計測し, BERT などの言語モデルが Bias を持 つことを示した. Bolukbasi ら [1] は, 単語埋め込みが $\overrightarrow{\text { man }}-\overrightarrow{\text { woman }} \approx \overrightarrow{\text { computer programmer }}-\overrightarrow{\text { homemaker }}$ の ようなコーパスに潜む暗黙的な Biasを表現してい るアナロジーが存在することを示し, それらを除去 する手法を提案した. また, Liang ら [9] は, Bolukbasi らの研究を元に主成分分析を用いて Elmo や BERT などの言語モデルの表現から Bias の部分空間を特定し, それを元の表現から取り除くことでDebiasを 実現する手法を提案している。

## 2.1 文表現の摂動正規化損失

## 2.2 擬似対数尤度マスク言語モデルスコア

Nangia ら [11] は, マスク言語モデルの Bias を計測 するために擬似対数尤度マスク言語モデルスコア [14]を用いて, 言語モデルに含まれる Bias を計測す る手法を提案した. 本指標は, 一部のトークンのみが 異なる文のペアが与えられることを前提とし, 二つ の文それぞれが Unmodified トークンと Modified トー クンという部分に分けられる. Unmodified トークン は, 文のペアの間で同じトークンである部分を指し， Modified トークンは文のペアの間で異なるトークン の部分を指す. 以降では, それぞれのトークンの集合 を $U=\left.\{u_{1}, \ldots, u_{k}\right.\}$ と $M=\left.\{m_{1}, \ldots, m_{l}\right.\}$ とおく.

同実験で提案されたデータセットである CrowS-Pairs から具体的な例を示す. 'Native Americans are lazy and get handouts.' $\succ$ 'Whites are lazy and get handouts.‘のペアが与えられると, 'are lazy and get handouts.‘が両方のペアで $U$ に属し, 'Native Americans‘と'Whites“はそれぞれの文で $M$ に属する. $T$ を コーパスより与えられる文に属するトークンの集合 とし, $T=(U \cup M)$ とする. そして, $u_{h}$ を $U$ におる $h$ 番のトークンとすると, 本指標は $M$ とある $u_{h}$ を除 く全ての $U$ が与えられた時の $u_{h}$ の条件付き対数尤度の合計として算出され, 次の式のように表される。

$
\operatorname{score}(T)=\sum_{h=1}^{|U|} \log P\left(u_{h} \in U \mid U \backslash\left.\{u_{h}\right.\}, M, \theta\right)
$

このスコアは, 擬似的な負の対数尤度の合計であ ることから, 与えられたぺアのスコアを比較するこ とで，より高いスコアを持つ文の $M$ の方が言語モデ ル内で尤もらしい文章であると扱われていると判断 できる.

## 2.3 累積 Bias

上記のスコアが擬似的に文の尤もらしさを表現 していると考えると, 文のペアのスコア差を $M$ に 属するトークンの差によって発生している Bias で あるとみなせる. そのため, この差を Bias スコアと し, コーパスの全ペアから計算されるスコアの差の 合計を累積バイアスと名付けた. $T^{S}, T^{A}$ をそれぞれ stereotype, anti-stereotype な文のトークンとしたとき， そのペアの集合を $C=\left.\{\left(T_{1}^{S}, T_{1}^{A}\right), \ldots,\left(T_{n}^{S}, T_{n}^{A}\right)\right.\}$ とおく と,累積バイアスは次の式で表される。 $\operatorname{Accumulate} \operatorname{Bias}(C)=\sum_{i=1}^{|C|}\left|\operatorname{score}\left(T_{i}^{S}\right)-\operatorname{score}\left(T_{i}^{A}\right)\right|$

本研究では,この累積 Bias を用いて言語モデルの Bias の数量化をし, 評価をおこなった.

## 2.4 損失関数

言語モデルが学習に使われたコーパスの語彙の共起頻度による Bias を反映していると考えると, 社会集団間で語彙の共起頻度の差を減らすことで Bias を軽減することができるのではないかと考えた。

そこで, マスク言語モデルの事前学習タスクであ るマスク予測に使われる Head の出力が, 入力トー クンの予測スコアとなっていることに着目し, 文の ペアのスコアのうち Unmodified トークンのスコア が近づくように Fine-tuning をすることで Bias を軽減することを試みた. Unmodified トークンを $U$ と し, $u_{j}$ を $j$ 番目の $U$ のトークンとする. また, マス ク予測タスクの Head の予測スコアを確率分布とみ なし, その集合を $P$ する.二つの文のトークン $T^{X}$, $T^{Y}$ をモデルに入力した結果は $P^{X}=\left.\{p_{1}, \ldots, p_{\left|T^{X}\right|}\right.\}$, $P^{Y}=\left.\{p_{1}, \ldots, p_{\left|T^{Y}\right|}\right.\}$ となる. $f(P, u)$ を $P$ からトーク ン $u$ の確率分布を取り出す関数, $K L$ はカルバック・ ライブラー・情報量とすると, 本手法を以下のよう な損失関数で実現する.

$
L\left(P^{X}, P^{Y}\right)=\frac{1}{|U|} \sum_{j=1}^{|U|} K L\left(f\left(P^{Y}, u_{j}\right)|| f\left(P^{X}, u_{j}\right)\right)
$

式 3 のうち, $f\left(P^{X}, u_{j}\right)$ の項の計算結果を正解デー タとみなし, $f\left(P^{Y}, u_{j}\right)$ の項との誤差を損失とする.

## 3 実験

## 3.1 Bias Fine-tuning

Fine-tuning およびBias の計測には, CrowS-Pairs[11] と WinoBias[17] の 2 つのデータセットを用いた.

CrowS-Pairs はアメリカ合衆国における stereotype と anti-stereotype な文のペアからなるコーパスで, 性別、国籍、人種、信条、身体的特徴などの複数の社会集団をターゲットした文が収録されている.

WinoBias は性別を表す語と職業を表す語の組み 合わせを文のテンプレートに当てはめて生成さ れた共参照解析における Bias を計量するための データセットである. Nangia ら [11] は, WinoBias を

 \\

表 1 学習・評価に利用したデータセット

CrowS-Pairs と同じフォーマットに変換することで， Gender Bias の計測に利用した. 本研究もこの方法を 採用し Bias の計測に利用する. WinoBias は問われる 共参照の性質の違いに従って type-1 と type-2 の文か ら構成されるが, それぞれの命名も Nangia らを踏襲 し WinoBias-Knowledge, WinoBias-Ground とする.ま た, データセットの詳細や例文などは, 表 1 に示した.

Fine-tuning における学習の最適化には Adamを 用いて, それぞれのハイパーパラメータは学習率 $\alpha=2 e^{-6}, \beta_{1}=0.9, \beta_{2}=0.999$ とした. また, エポック 数は 30 , バッチサイズは 16 とした.

CrowS-Pairs のデータ数が少量であるため, ホー ルドアウトデータなどに分割せずに Fine-tuning の 学習と評価に用いて Closed な評価をしている. し かし, この Fine-tuning の結果が汎化していることを 示すために, WinoBias-ground と WinoBias-knowledge でさらに評価をおこなった. ベースラインとして Fine-tuning 前の BERTを用いる.

表 2 に, モデルごとの累積 Bias の計算結果を示す. Bias Fine-tuning をとおして, BERT から計算される累積 Bias が減少していることが確認でき, 文表現の摄動正規化損失による Fine-tuning によって Bias の軽減が達成できたと考えられる。

表 2 Fine-tuning 前後の累積 Bias スコア

## 3.2 言語理解タスクによる性能確認

GLUE データセットのトレーニングセットと評価セットを用いて, Bias Fine-tuning の影響で言語理解タスクの性能が劣化していないかを確認をし た. 評価セットを用いたため, トレーニングセット および評価セットが公開されていない「Diagnostics Main」は評価をしていない. Fine-tuning 前後で BERT
は同じモデル (base, uncased) を使い, また学習に利用するハイパーパラメータも揄えることで性能を 比較した. また, 実装と事前学習済みのモデルには transformers[16] を利用した.

GLUE における Fine-tuning の学習の最適化には Adam を用いており,ハイパーパラメータは Devlin ら [3] の実験をもとに学習率 $\alpha=4 e^{-5}, \beta_{1}=0.9$, $\beta_{2}=0.999$ とした. また, エポック数は 3 で, バッチサ イズは 32 としている.

表 3 に, モデルごとの GLUE タスクのスコアを示 す.このスコアの結果をタスクごとに, Welch の $\mathrm{t}$ 検定を用いて有意水準を 0.01 として検定したところ， RTE を除いて有意差が確認されなかった. そのため, Bias Fine-tuning の前後で GLUE タスクのスコアが大 きく変化しておらず, 性能の劣化が見られないこと を確認できた。

表 3 GLUE タスクの評価セットにおける結果

## 4 議論

表 2 の結果をより詳細に分析するため, CrowSPairs における Bias スコアを合計せずにヒストグラ ムに表したものを図 1 に示す. bin は 5 ずつ刻まれ ており, 0 に近づくほど Bias が少ないと考えられ る. Fine-tuning 前後のヒストグラムを比べると，よ り Bias が小さい方に頻度が増えていることが確認できる.つまり, stereotype と anti-stereotype な文の

図 1 Bias スコアの分布

図 2 擬似対数尤度スコアの分布

トークンの対数尤度が近づいており, 尤度を基準と した Bias 軽減できてると考えられる. また, 個々 の stereotype および anti-stereotype の文それぞれの擬似対数尤度マスク言語モデルスコアをヒストグラ ムにしたものが図 2 である。このヒストグラムの 形が対数正規分布に近かったことから, 負の対数尤度から絶対值を取ることでスコアを正の数に変え て対数変換をしたところ、正規分布のような形と なった.そこで,それぞれのモデルごとに前述の変換後の stereotype と anti-stereotype のスコアが同じ分布であるという仮説のもと, 対応のある $\mathrm{t}$ 検定で確認した. その結果が表 4 である. 有意水準を 0.1 と して,この結果を読み取ると Fine-tuning をする前の BERT では, stereotype と anti-stereotype のスコアが有意に異なる分布をしていると考えられ，一方で Bias Fine-tuning 後では有意差がないため, それぞれの文 のスコアが似た分布に近づいていると考えられる。

## 5 おわりに

本研究では, stereotype と anti-stereotype な文のペア 間のトークンの予測スコアを近づけるように学習す る損失関数と, 事前学習に使われるコーパスの頻度 によって引き起こされている Bias を計量するのに 効果的な指標を提案した. 実験により文表現の摄動正規化損失は言語モデル内の文の尤度の視点でバイ アスを軽減させることに成功していることが確認さ れた.

しかし,この損失関数によって Fine-tuning された 表現が後続のタスクの Bias に対してどのような影響を及ぼしているかの評価や本研究で用いた尤度 ベースのスコアとは異なる視点から Bias を計測す る指標による評価はまだ完了していない. そのため,引き続き議論を深めて言語モデルの Bias を軽減す る手法の検証をしていく必要がある.

表 4 擬似対数尤度スコアの検定結果

## 参考文献

[1] Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Tauman Kalai. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. In NIPS, June 2016.

[2] Aylin Caliskan, Joanna J. Bryson, and Arvind Narayanan. Semantics derived automatically from language corpora contain human-like biases. American Association for the Advancement of Science, 2017.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT (1), pages 4171-4186, 2019.

[4] Lucas Dixon, John Li, Jeffrey Sorensen, Nithum Thain, and Lucy Vasserman. Measuring and mitigating unintended bias in text classification. 2018.

[5] Anthony G. Greenwald, Debbie E. McGhee, and et al. Measuring individual differences in implicit cognition: The implicit association test, 1998.

[6] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics, 8:64-77, 2020.

[7] Masahiro Kaneko and Danushka Bollegala. Genderpreserving debiasing for pre-trained word embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 1641-1650, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Keita Kurita, Nidhi Vyas, Ayush Pareek, Alan W Black, and Yulia Tsvetkov. Measuring bias in contextualized word representations. In Proceedings of the First Workshop on Gender Bias in Natural Language Processing, pages 166-172, Florence, Italy, August 2019. Association for Computational Linguistics.

[9] Paul Pu Liang, Irene Mengze Li, Emily Zheng, Yao Chong Lim, Ruslan Salakhutdinov, and Louis-Philippe Morency. Towards debiasing sentence representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 5502-5515, Online, July 2020. Association for Computational Linguistics.

[10] Chandler May, Alex Wang, Shikha Bordia, Samuel R. Bowman, and Rachel Rudinger. On measuring social biases in sentence encoders. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 622-628, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Nikita Nangia, Clara Vania, Rasika Bhalerao, and Samuel R. Bowman. CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, Online, November 2020. Association for Computational Linguistics.

[12] Jeffrey Pennington, Richard Socher, and Christopher D.
Manning. Glove: Global vectors for word representation. In Empirical Methods in Natural Language Processing (EMNLP), pages 1532-1543, 2014.

[13] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proc. of NAACL, 2018.

[14] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 2699-2712, Online, July 2020. Association for Computational Linguistics.

[15] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multitask benchmark and analysis platform for natural language understanding. In International Conference on Learning Representations, 2019.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 38-45, Online, October 2020. Association for Computational Linguistics.

[17] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, and Kai-Wei Chang. Gender bias in coreference resolution: Evaluation and debiasing methods. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 15-20, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.
 新妻巧朗渡辺太郎 奈良先端科学技術大学院大学 先端科学技術研究科 \{niitsuma.takuro.nm3, taro\}@is.naist.jp  