# 下流タスクでの日本語事前学習モデルの性別バイアスの評価

Panatchakorn Anantaprayoon 金子正弘 岡崎直観
東京工業大学
\{panatchakorn. anantaprayoon@nlp., masahiro.kaneko@nlp., okazaki@\}c.titech.ac.jp

## 概要

事前学習モデルには差別的なバイアスが学習され ている。 バイアスは事前学習時と下流タスク遂行時 で傾向が異なるため，両方で評価する必要がある.一方で，日本語モデルの下流タスクにおけるバイア スは十分に調査されていない，本稿では，自然言語推論を対象に日本語事前学習モデルにおける性別バ イアスの評価を行う。まず，性別バイアスの評価の ための言語データを作成する. そして，モデルが予測する含意，矛盾，中立ラベルの偏りに基づき，バ イアスを評価する手法を提案する. 実験の結果，日本語事前学習モデルにも性別バイアスがあることを 明らかにした. さらに，中立ラベルのみを考慮する 既存の評価手法と比較すると，提案手法の方が優れ ていることも確かめられた。

## 1 はじめに

事前学習モデルを下流タスクのデータでファイン チューニングすることで, 高い性能を達成する方法論が近年の自然言語処理の主流となっている。一方 で，事前学習の訓練データから自然言語処理タスク にとって有益な情報だけではなく，国籍や性別など に関する差別的なバイアスもモデルは学習してしま う $[1,2,3]$. 事前学習モデルのバイアスは, 多くの場合，事前学習時または下流タスク遂行時に評価され る. 事前学習時ではモデルがテキストに対して計算 する尤度などを利用し，下流タスクに依存しないバ イアスを評価する。下流タスク遂行時ではタスクご との予測結果を使い，タスク固有のバイアスを評価 する. 事前学習時と下流タスク時ではそれぞれバイ アスの傾向が異なる [3]. そのため, 事前学習モデ ルのバイアスの影響を把握するには，両方で事前学習モデルのバイアスを評価し分析する必要がある.

事前学習モデルのバイアスの評価は英語での研究が多い. ところが，英語以外の言語のモデルにも バイアスがあり，文法や文化的背景から言語によっ
てバイアスの傾向が異なる $[4,5,6,7]$. 日本語にお ける事前学習モデルに関しては，事前学習時のバイ アスに関する調査が進められ，バイアスがあること が報告されている. 金子ら [4] は，対訳データと女性単語・男性単語のリストのみを使い，日本語を含 む 8 言語で事前学習モデルの性別バイアスを評価し た. 大羽ら ${ }^{11}$ は，テンプレートと単語リストを使い，性別によって不適切な単語やポジティブ・ネガティ ブ単語が偏って生成されることを明らかにした. 一方で，日本語の下流タスクにおけるバイアスを評価 する手法は確立されていない。

本稿では自然言語推論 (Natural Language Inference; $\mathrm{NLI})^{2)}$ を対象とし, 日本語事前学習モデルの性別バ イアスの評価を行う. YJ Captions [8] に含まれる性別単語を職業単語に置換することで, 日本語でバイ アスの評価を行うためのデータを作成する.

英語の NLI では職業単語を含む前提文「運転手が トラックを所有している」と性別単語を含む仮説文「女性がトラックを所有している」が与えられた際 に，NLI データでファインチューニングされた事前学習モデルが中立ラベルを予測する割合により，バ イアスを評価する方法が提案されている [2].この 評価手法は中立だけを対象としているため，含意や 矛盾ラベルに関わるバイアスを捉えることができな い. 例えば，運転手に対して男性に偏るバイアスが あるという仮定のもと，前提文「運転手がトラック を所有している」と仮説文「男性がトラックを所有 している」の含意関係について，中立は正解，含意 はバイアスを含む不正解，矛盾は単なる不正解であ る. 含意や矛盾を考慮しない場合，バイアスを含む 不正解なのか，単なる不正解なのか，区別をつける ことができず，バイアスを評価できない. そのため，3つの全てのラベルを考慮したバイア

1) https://engineering.linecorp.com/ja/blog/ evaluating-fairness-in-language-models/

2） NLI は，前提文と仮説文の文ペアが与えられたときに，前提文が仮説文に対して含意，矛盾，又は中立のいずれである かを判定するタスクである.

スの評価手法を提案する. その実験結果から，日本語事前学習モデルは NLIにおいて性別バイアスを有 することが分かった. さらに， NLIにおける評価手法において，バイアスを含む不正解か単なる不正解 かの判別能力を検証する手法を提案し，既存の評価手法と提案手法を比較した. その結果，提案評価手法の方が既存手法より優れていることが明らかと なった.

## 2 関連研究

日本語における性別バイアスの評価 竹下ら [9] は人名を用いて単語分散表現のバイアスを評価する 手法 Unsupervised Bias Enumeration (UBE) [10] に関し て，英語には適用できるが日本語には適用できない ことを明らかにした.これは日本語の文字にはひら がな・カタカナ・漢字の多様性があり, 日本語の人名の単語分散表現では意味や性別の情報よりも文字 の情報が豊富に表現されているためである. そのた め, 英語で提案された評価手法を日本語に適用する 際は，その手法の英語での有効性を鵜呑みにするの ではなく，慎重に検証することが求められる。

金子ら [4] は，評価データの作成コストの問題を 解決するために, 英日対訳コーパスと英語の性別単語リストのみを用いた日本語言語モデルの事前学習時のバイアス評価手法を提案し, 日本語事前学習モ デルには性別バイアスが学習されていることを示し た. 一方で, 日本語事前学習モデルの下流タスク遂行時のバイアスについては, 評価していない. さら に, この手法は非差別的なバイアスも評価の対象と しており，バイアスを過大評価する傾向がある.

NLI でのバイアス評価手法 Dev ら [2] は NLI タ スクで事前学習モデルのバイアスを評価する手法を提案した.「The accountant ate a bagel」と「The woman ate a bagel」のような「The S V a/an O」のテ ンプレートを使い，主語だけが異なる前提文と仮説文の対から評価データを作成する. 評価データで予測されるべき含意関係ラベルは中立であるが，対象 モデルがバイアスを学習していれば，含意と判定し てしまう．そのため, 対象モデルが中立と判定した 割合や判定時の確率を用いた評価手法を提案した。

しかし，中立のみを考慮した評価手法では，含意 と矛盾の傾向を知ることができないため，バイアス を含む不正解と単なる不正解の区別がつかず，バイ アスの評価として不十分となる場合もある.

## 3 提案手法

本稿では，2 節で述べた NLIでのバイアス評価の 既存手法の問題点を解決するために，バイアスを持 つモデルがそれぞれ含意, 矛盾, 中立を最も多く予測すると期待される 3 つの評価データセットを構築 し, その予測結果に基づくバイアス評価指標を提案 する。

## 3.1 評価データセットの構築

構築した評価データセットの NLI の文ペア事例 は，2節で説明した Dev ら [2]のように，(「看護師が テニスをしています.」，「女性がテニスをしていま す.」）のような文ぺアの事例を作成する．文のテン プレートは JNLI $[11,12]$ データ作成法に倣い，人手 による日本語の画像キャプションデータセット YJ Captions [8] から抽出した文を用いる。職業単語は， Bolukbasi ら [1]が公開した職業単語リストとそれぞ れの単語の性別スコアとステレオタイプスコア ${ }^{3)} に$基づき単語を翻訳し，女性・男性にステレオタイプ がある職業単語と中性の職業単語をグループ分け し，それぞれ，13，87，171 個の単語を得た（付録 A). 各職業単語に対して 10 個の文テンプレートと 仮説文の主語に「女性」又は「男性」の 2 通りによ る置換で， 20 件の事例が生成される.

本稿では，バイアスを持つモデルがそれぞれ含意 のみ，矛盾のみ，含意か矛盾を最も多く予測すると 期待できるように評価事例を 3 つの集合に分割し， それぞれを Pro-stereotypical (PS), Anti-stereotypical (AS)，と Non-stereotypical (NS) セットと呼ぶ. PS セットは, 前提文に性別ステレオタイプがある職業単語，仮説文では職業単語をその性別の単語で置換 した文ぺア事例で構成される．AS セットは，仮説文において PS とは反対の性別の単語で置換した事例で構成される. NS セットは，ステレオタイプの ない職業単語と両方の性別単語からなる事例から構成されるデータセットである.

例えば，看護師が女性であるという性別バイア スがある前提では，文ぺアの（「看護師がテニスを しています.」，「女性がテニスをしています.」）は PS セットに含まれ，(「看護師がテニスをしていま す.」，「男性がテニスをしています.」）は ASセット に含まれる。また，会計士に関する性別バイアスが


図 1 評価データの構築

表 1 バイアス評価データセットの評価結果の変数

無い前提では，(「会計士がテニスをしています.」，「女性がテニスをしています.」）の事例はNS セット に含まれる（図 1).

以上の分割方法により，モデルにバイアスがある ほど，PS と AS セットではそれぞれ，含意と矛盾の 予測割合が高くなり，NS セットでは中立の予測割合が低くなると期待される。 また，データセット間 のラベルの割合を比較することで，バイアスの要因以外によるモデルのラベル予測の不正解を観測でき る.つまり, 評価データセットにおける予測結果が 表 1 のようになったとき, 出力の割合が順序関係式 1 を満たし，バイアスによる不正解がより多いこと 分かる.

$
e_{p}>e_{a}, c_{a}>c_{p}
$

## 3.2 評価指標

以上の評価データの分割方法によって，PS セッ トでの含意, AS セットでの矛盾, かつ $\mathrm{NS}$ セットで の中立の出力割合から，モデルのバイアスを計測で きる. すなわち，評価データセットにおけるモデル の出力結果が表 1 のようになったとき，バイアスス
コア $s$ を

$
s=\frac{e_{p}+c_{a}+\left(1-n_{n}\right)}{3}
$

と定義する。また，この式は PS セットでの矛盾と $\mathrm{AS}$ セットでの含意を考慮しないため，バイアス以外の要因によるモデルの間違った予測による影響を 軽減できる。

## 4 実験

本稿では 2 つの実験結果を報告する．まず，提案 するバイアス評価手法と既存手法の有効性を比較す るための実験を行う. 特に，既存手法が不正解とバ イアスを区別できていないが，提案手法では可能で あることを検証する。まず、バイアスされたデータ と単なる不正解で構成されるデータの 2 つを作成す る.そして，2つのデータの割合が異なる学習デー タを作成し，それぞれのデータに対してモデルを学習する．正しくバイアスを評価できる手法であれ ば，バイアスデータの割合が多いデータで学習され たモデルほどバイアスの評価値が高くなる. バイア スデータの割合と評価手法のバイアススコアのスピ アマンの順位相関係数を計測し，より相関が高い評価手法が適切にバイアスを評価できているとする。

次に，NLI にファインチューニングした日本語事前学習モデルの性別バイアスを提案手法に より評価する実験を行う．評価の対象モデルは Hugging Face [13] で公開される Tohoku BERT BASE, , Tohoku BERT $_{\text {BASE }}$ (char), Bandi DistilBERT BASE , Laboro DistilBERT $_{\text {BASE }}$, Waseda RoBERTa ${ }_{B A S E}$ である（付録 C). 評価データセットで各モデルの予測結果を集 め，バイアススコアを計測し，その結果から各モデ ルのバイアスの度合いを確認する。

## 4.1 評価手法の比較

実験設定 学習データのバイアスの程度を表す指標としてバイアス率 $r$ を定義し，バイアスによって 不正解となった事例とそれ以外の要因で不正解と なった事例の割合を $r: 1-r$ として付録の図 2 のよ うに作成する. ここで $r$ は 0 から 1 の間の値をと り、ハイパーパラメータとして刻みの粒度が決定さ れる。バイアスによる不正解なデータは，PS と AS セットの事例の正解ラベルをそれぞれ含意・矛盾に したものであり，それ以外の不正解な事例は PS と AS セットの事例の正解ラベルをそれぞれ矛盾・含意にしたもので構成される．ただし，双方のデータ
表 2 評価手法のスコアとバイアス率との順位相関係数

で使用される職業単語を別々に選びつつ，含意と矛盾のラベルのバランスを取る. その際，含意や矛盾 だけを出力するモデルが学習されることを防ぐた め, NS セットから中立な事例も追加する（付録 E).

本実験では，NLI にファインチューニングした Tohoku BERT BASE モデルに $r=\{0.0,0.1, \ldots, 0.9,1.0\}$ としたときの学習データで再度学習し, モデルのバ イアススコアとバイアス率との順位相関係数を計測 する。比較評価指標は，既存手法の Dev ら [2]の FN (中立の出力割合）スコアと提案手法のバイアスス コア関数（式2）となる. ただし，バイアスに対す る両方のスコアの方向を統一するために，FN スコ アの逆方向の 1-FNを用い，相関係数を計測する.

実験結果 モデルの学習データのバイアス率と各評価手法のバイアススコアとの順位相関係数の結果 を表 2 に示す.この結果から，提案したバイアスス コアは既存の評価スコアより高い相関係数が得ら れ，バイアスによる不正解な予測とそれ以外の要因 による不正解な予測をより区別でき，正確にバイア スの評価ができることが確認できた. 既存のバイア ススコアは，バイアス率が極端に高いもしくは低い ときにモデルによる中立ラベルの出力が低い傾向と なるため両者を区別しにくく, 相関係数が低くなる と推測される。これに対し, 提案したバイアススコ アでは含意, 矛盾と中立全てのラベルを考慮するた め区別することができている.

## 4.2 日本語事前学習モデルのバイアス評価

実験設定 JSNLI [14] データを用いて 5 つのモデ ルをファインチューニングし，構築した評価データ で含意ラベルを予測し, 各データセットの出力の割合およびバイアス評価スコアを計測する。 ハイパー パラメータなどの学習の詳細は付録 D を参照され たい.

実験結果 各モデルの評価データセットの出力の 割合結果を表 3 に示す. 5 つのモデルでの評価結果 は式 1 を満たすため，バイアスでの不正解な予測は それ以外の要因よりも大きな影響を及ぼすことが 確認できる。 また，表 4 に示される各モデルのバイ アススコアの結果から, 全てのモデルにバイアスが あることが確認できる。 バイアスの最も高いモデ ルと低いモデルは，それぞれ Bandi DistilBERT ${ }_{\text {BASE }}$表 3 モデルの評価結果

表 4 各モデルの提案手法によるバイアススコア. 括弧内 の数字はスコア值の順位を示す (降順).

と Waseda RoBERTa ${ }_{B A S E}$ である. Tohoku BERT BASE と Tohoku BERT BASE (char) とのスコアの比較から, トークン化の違いによってもモデルのバイアスに 差が生じることが分かる．また，事前学習テキスト が異なる教師モデルを持つ Bandi DistilBERT BASE と Laboro DistilBERT ${ }_{\text {BASE }}$ のスコアの比較から, 事前学習テキストがバイアスに与える影響が確認できる.

## 5 おわりに

本稿では，NLI タスクに対する差別的な性別バイ アスの評価手法を提案し, NLIでの日本語事前学習 モデルの性別バイアスの評価を行った. 異なるバイ アスを持つ 3 つの評価セットに対し，モデルの予測結果に基づいて評価指標のバイアススコアを定義し た. 実験により，提案したバイアス評価手法は既存手法よりも優れていることが確認できた. また，公開されている日本語事前学習モデルにはバイアスが あることや，トークン化の単位や学習データによっ てもバイアスへの影響があることを明らかにした。

今後は、提案した評価手法を日本語以外の言語へ 適用し，その有効性を実証したい。また，評価デー タの質を向上させるために，より多様な文テンプ レートやデータの分割方法を検討する予定である.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の委託業務 (JPNP18002)

の結果得られたものです.

## 参考文献

[1] Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Kalai. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. In Proceedings of the 30th International Conference on Neural Information Processing Systems, NIPS'16, p. 4356-4364, Red Hook, NY, USA, 2016. Curran Associates Inc.

[2] Sunipa Dev, Tao Li, Jeff M. Phillips, and Vivek Srikumar. On measuring and mitigating biased inferences of word embeddings. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7659-7666, Apr. 2020.

[3] Masahiro Kaneko, Danushka Bollegala, and Naoaki Okazaki. Debiasing isn't enough! - on the effectiveness of debiasing MLMs and their social biases in downstream tasks. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 12991310, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[4] Masahiro Kaneko, Aizhan Imankulova, Danushka Bollegala, and Naoaki Okazaki. Gender bias in masked language models for multiple languages. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2740-2750, Seattle, United States, July 2022. Association for Computational Linguistics.

[5] Meichun Jiao and Ziyang Luo. Gender bias hidden behind Chinese word embeddings: The case of Chinese adjectives. In Proceedings of the 3rd Workshop on Gender Bias in Natural Language Processing, pp. 8-15, Online, August 2021. Association for Computational Linguistics.

[6] Vijit Malik, Sunipa Dev, Akihiro Nishi, Nanyun Peng, and Kai-Wei Chang. Socially aware bias measurements for Hindi language representations. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1041-1052, Seattle, United States, July 2022. Association for Computational Linguistics.

[7] Aurélie Névéol, Yoann Dupont, Julien Bezançon, and Karën Fort. French CrowS-pairs: Extending a challenge dataset for measuring social bias in masked language models to a language other than English. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8521-8531, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Takashi Miyazaki and Nobuyuki Shimizu. Cross-lingual image caption generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17801790, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Masashi Takeshita, Yuki Katsumata, Rafal Rzepka, and Kenji Araki. Can existing methods debias languages other than English? first attempt to analyze and mitigate Japanese word embeddings. In Proceedings of the Second Workshop on Gender Bias in Natural Language Processing, pp. 44-55, Barcelona, Spain (Online), December 2020. Association for Computational Linguistics.

[10] Nathaniel Swinger, Maria De-Arteaga, Neil Thomas Heffernan IV, Mark DM Leiserson, and Adam Tauman Kalai. What are the biases in my word embedding? In Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society, AIES '19, p. 305-311, New York, NY, USA, 2019. Association for Computing Machinery.

[11] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[12] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[13] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[14] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた 自然言語推論データセットの多言語化. Technical Report 6, 京都大学, 京都大学/現在, 早稲田大学, 京都大学, jun 2020 .

 &  & JA-Wikipedia \\

## A 職業単語について

## A. 1 性別ステレオタイプの判別方法

Bolukbasi ら [1] が職業単語リストと共に公開して いる単語の性別スコアとステレオタイプスコアを 用いる. 各スコアの範囲は $[-1,1]$ で，-1 に近づく值 は女性方向に +1 に近づく值は男性方向となる.職業 $c$ に対して性別スコアを $s_{1}(c)$ ，ステレオタイ プスコアを $s_{2}(c)$ 書くことにすると，本研究では $\left|s_{1}(c)\right|<0.5, s_{2}(c)>0.5$ ならば男性にステレオタイ プが有り， $\left|s_{1}(c)\right|<0.5, s_{2}(c)<-0.5$ ならば女性にス テレオタイプが有り，それ以外の条件ではステレオ タイプのない中性の職業と見なす.

## A. 2 職業単語の例

ページ数の制限により，それぞれのグループの職業単語の一部を例として示す.

## 女性にステレオタイプのある職業単語

美容師，管理人，インテリアデザイナー，ハウス キーパー，看護師，受付係，保育士，司書，秘書，教師

## 男性にステレオタイプのある職業単語

物理学者，暗殺者，牧師，医師，消防士，タクシー 運転手, 大使，ボクサー，アスリート，プログラマー

## ステレオタイプのない職業単語

家庭教師，インストラクター，水泳選手，聖人，研究者，パン屋，グラフィックデザイナー，検査官，講師，小照科医表 6 バイアス評価データセットの情報

図 2 評価手法の比較実験の学習データの構築

## B評価データセット

構築した評価データセットの詳細な情報を表 6 に 示す.

## C 事前学習モデル

実験に用いた事前学習モデルの詳細を表 5 に 示す.

## D ハイパーパラメータの設定

事前学習モデルを NLI タスクへファインチュー ニングするとき, エポック数は 5 , 学習率は $2 e-5$, バッチサイズは 32, max_length は 128 とした.ま た，評価手法の比較の実験においてファインチュー ニング済みモデルを再学習するときは，エポック数 を 3 とする。

## E 評価手法の比較実験のデータ

評価手法の比較実験の学習データは図 2 に示す.
 Panatchakorn Anantaprayoon 金子正弘 岡崎直観 東京工業大学 \{panatchakorn. anantaprayoon@nlp., masahiro.kaneko@nlp., okazaki@\}c.titech.ac.jp  