# 単語埋め込みのバイアス評価における RNSB と WinoBias との 相関関係の分析

加藤大晴 宮尾祐介
東京大学大学院情報理工学系研究科コンピュータ科学専攻
\{kato_taisei, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究では単語埋め込みの直接バイアス評価手法であるRNSB と、間接バイアス評価の WinoBias との相関関係を調査する。単語埋め込みは膨大なテ キストコーパスから単語の意味を実数ベクトルの 形で学習することができるが、同時にバイアスも学習してしまう。バイアスの評価手法としては直接評価と間接評価があるが、両者の関係を調査した研究は少ない。そこで本研究では既存研究に倣って 様々な度合いのバイアスを持つ単語埋め込みを作成し、RNSB、WinoBias 両方でそのバイアスを測定 し、両者の相関係数を計算した。結果として RNSB は WinoBias と負の相関を持つことが分かった。

## 1 はじめに

自然言語処理技術が進歩していく中で、これらの 技術が我々の日常生活に与える影響も拡大してい る。一方でこれらの技術が男女差別や人種差別と いった偏見、バイアスを助長しているという問題点にも注目が集まっている $[1,2]$ 。本研究ではこう いったバイアスに対処する一歩として単語埋め込み のバイアス評価手法に焦点を当てる。

単語埋め込みは膨大なテキストコーパスを用いて 単語の分布的意味を事前に学習することで、様々な 後段の自然言語処理タスクにおいて性能の向上を図 ることができる技術である。有用性が高い反面、テ キストコーパスに含まれているバイアスを学習し、 それが後段の多くの自然言語処理タスクに影響を与 える危険性を孕んでいる。それゆえ単語埋め込みの バイアスを正確に測定し、自然言語処理技術がバイ アスなく動作することを担保することは重要な課題 となる。

単語埋め込みのバイアス評価には大きく分けて直接評価 (Intrinsic bias metric) と間接評価 (Extrinsic bias metric) の二種類がある。直接評価では単語埋め込み 表現そのものに着目し、ある単語とある単語の距離 が適当かどうかなどを以ってしてバイアスを評価す る。それに対し、間接評価では評価対象の単語埋め 込みを用いてある自然言語処理システムを学習さ せ、そのシステムがバイアスのかかった挙動を示す かどうかを以ってして元の単語埋め込みのバイアス の有無を判断する。間接評価では単語埋め込みが実際に自然言語処理システム内で用いられたときの 振る舞いを見るという、より現実に即したシナリオ でバイアスの分析を行なっており、バイアスが社会 に与える影響が分かりやすいという利点がある。一方、直接評価では調べたいバイアスを単語集合を指定することで決められるので、比較的自由に様々な 種類のバイアスを調べることができる。直接評価と 間接評価、それぞれに長所があるため両方の視点を 以ってバイアスの問題に取り組む必要がある。

しかし、両者の関係性はよく分かっているとは言 い難い。Goldfarb-Tarrant et al. (2021) [3] は広く使わ れる直接バイアス評価手法の WEAT [2] と間接バイ アス評価が多くのケースで相関しないことを発見し た。ただ、その他の直接バイアス評価も同じ問題を 持つのかはまだ分かっていない。そこで本研究では 別の直接バイアス評価手法である RNSB [4] と間接 バイアス評価との相関関係を調査する。RNSB は直接バイアス評価の枠組みの中にありながら、間接バ イアス評価と同様に機械学習モデルを学習させてバ イアスを計測するプロービング手法を取っている。 このことから間接バイアス評価との相関が高いこと が予想される。

実験方法としては Goldfarb-Tarrant et al. (2021) に倣 い、様々な度合いのバイアスを持つ単語埋め込みを 作成し、WEAT、RNSB、間接バイアス評価でバイア スを測定する。その結果 RNSB は間接バイアス評価 と負の相関を持つことが示された。一方で相関の強

さは WEAT よりは高く、改良次第で信頼に値する直接バイアス評価になりうることも示唆された。

## 2 関連研究

## 2.1 バイアス評価指標

ここでは本研究で使用した直接バイアス評価・間接バイアス評価指標について概説する。

## 2.1.1 WEAT

WEAT は Caliskan et al. (2017) [2] によって設計さ れた、広く使われる単語埋め込みの直接バイアス評価指標である。WEAT はバイアスの対象となる概念 2つを表す、等しい大きさの単語集合 (ターゲット語集合) $X, Y(|X|=|Y|)$ と、何を基準にそのバイアスを 調べるのかを定める 2 つ単語集合 (アトリビュー 卜語集合) $A, B$ を必要とする。例えば、理系科目・文系科目におけるバイアスをジェンダーの目線か ら調べたいのであれば、理系科目にまつわる単語集合 $X=\{$ science, math, $\ldots\}$ 、文系科目にまつわる単語集合 $Y=\{$ art, history, ... $\}$ をターゲット語集合に、男性にまつわる単語集合 $A=\{$ man, he, brother, ... $\}$ と女性にまつわる単語集合 $B=\{$ woman, she, sister, ... $\}$ を アトリビュート語集合として指定する。このように $X, Y, A, B$ が与えられたとき、WEAT におけるバイア スの評価値は $c(X, A)+c(Y, B)-c(X, B)-c(Y, A)$ と 定義される。ここで $c(T, A)=\sum_{t \in T} \frac{1}{|A|} \sum_{a \in A} \cos (t, a)$ であり、 $\cos$ はコサイン類似度を表している。 $c(T, A)$ はターゲット語集合 $T$ とアトリビュート語集合 $A$ との類似度を表している。前に挙げた例では、もし 理系科目にまつわる単語と男性にまつわる単語の 類似度、文系科目にまつわる単語と女性にまつわる 単語の類似度が、他の組み合わせの類似度よりも高 ければ、WEAT の値も大きくなり、単語埋め込みが バイアスを孕んでいると言える。逆に文系にまつわ る単語と男性にまつわる単語が、理系にまつわる単語と女性にまつわる単語の類似度の方が高ければ、 WEAT は負の値を取る。これもバイアスを孕んでい ると言える。よって WEAT の値が 0 に近ければ近 い程バイアスが少ない単語埋め込みと言える。

## 2.1.2 RNSB

RNSB [4] はプロービングの手法を用いる直接バ イアス評価指標である。RNSB では 2 つのターゲッ 卜語集合 $X, Y$ と任意個のアトリビュート語集合 $A_{1}, \ldots, A_{n}$ を取る。本来の RNSB ではアトリビュー 卜語集合の大きさはどれも 1 だが、後に Badilla et al. (2020) [5] によって任意の大きさのアトリビュー 卜語集合を取れるように拡張された。この拡張版に ついて記す。

まずロジスティック回帰モデル $M$ を、 $X$ を負例 に、 $Y$ を正例として学習させる。学習後、 $M$ に単語 $w \in A:=A_{1} \cup \ldots \cup A_{n}$ を与え、それが正例である確率 $p_{w}$ を計算させる。本来であればアトリビュート 語集合とターゲット語集合の間には関係はないはず なので、 $p_{w}$ はどれも近い值となるはずである。こ の $p_{w}$ の分布と一様分布との差が RNSB でのバイア ス評価値となる。具体的には $\sum_{w \in A} p_{w}=1$ となるよ うに $p_{w}$ を正規化して $p_{w}$ が $A$ における確率分布と 見做せるようにし、それと一様分布 $U$ との KL ダイ バージェンス $D_{\mathrm{KL}}(p, U)$ をバイアスの評価值と定義 する。

## 2.1.3 WinoBias

WinoBias [6] は共参照解析システムのバイアス評価のためのデータセットであり、本研究では間接 バイアス評価を行うために用いられた。WinoBias は Type 1 と Type 2 とに分離されており、各 Type が さらにステレオタイプセット、反ステレオタイプ セットに分離されている。例えば、Type 1 のステレ オタイプセットには “The physician hired the secretary because he was overwhelmed with clients.” のような文 が含まれており、ここでは “The physician”と “he”が 共参照関係にある。これは「医者は男性である」と いうステレオタイプを反映している。一方反ステレ オタイプセットには “he”を“she”で置き換えた文が 含まれており、“she”と “The physician” が共参照関係にある。男女のバイアスを持たない共参照解析シ ステムであれば、ステレオタイプセット・反ステ レオタイプセットでの性能の差は生じないはずな ので、その差がバイアスの評価值となる。Type 2 に は "The secretary called the physician and told him about a new patient.” のように文構造も共参照解析の手がか りとなる文が含まれている。

## 2.2 WEAT と間接バイアス評価の関係

直接バイアス評価と間接バイアス評価の関係性 を調べた研究としては Goldfarb-Tarrant et al. (2021) [3] が挙げられ、本研究でもその手法を踏襲する。 Goldfarb-Tarrant et al. (2021) は様々な度合いのバイア

スを持つ単語埋め込みを作成し、WEAT と間接バイ アスの值を計測し、その散布図から両者の関係性を 調査した。

バイアスの度合いを調節するためにはデータセッ トバランシング [7] と ATTRACT-REPEL アルゴリズ ム[8] が用いられた。データセットバランシングは 機械学習モデルの学習に使うデータセットに含ま れているアンバランスさを解消することで、よりバ イアスの少ないモデルを入手する方法である。ここ ではステレオタイプな文を sub-sampling することで バイアス削減が、反ステレオタイプな文を削除する ことでバイアスの強化が行われた。ある文がステレ オタイプ、反ステレオタイプかどうかは WEAT で も用いられたターゲット語集合 $X, Y$ 、アトリビュー 卜語集合 $A, B$ を用いて判断する。ある文が $X, A$ 両方の単語、もしくは $Y, B$ 両方の単語を含んでいれ ばステレオタイプであり、逆に $X, B$ の単語、 $Y, A$ の単語を含んでいれば逆ステレオタイプである。 ATTRACT-REPEL アルゴリズムは元々は単語埋め込 みを強化するために考案されたアルゴリズムであ る。類義語集合と反義語集合を受け取り、元々の単語埋め込みの形を保ちつつ、類義語同士の埋め込み を近づけ、反義語同士の埋め込みを遠ざける。バイ アス削減にはステレオタイプな単語の組み合わせ を反義語集合に、反ステレオタイプな単語の組み合 わせを類義語集合としてアルゴリズムが実行され た (バイアス強化の際はその逆を行う)。ここでも同様にターゲット語集合 $X, Y$ 、アトリビュート語集合 $A, B$ が必要となる。ステレオタイプな単語の組み合 わせの集合は $X \times A \cup Y \times B$ であり、反ステレオタ イプな単語の組み合わせの集合は $X \times B \cup Y \times A$ と なる。

実験の結果、WAET は多くの場合で間接バイアス 評価と相関しないことが示された。

## 3 実験手法

基本的には Goldfarb-Tarrant et al. (2021) [3] の手法 を踏襲して実験を行う。様々な度合いのバイアス を持つ単語埋め込みをバイアス調整手法を用いて 生成し、WEAT、RNSB でバイアスを評価する。そ の単語埋め込みを元に共参照解析モデルを学習さ せ、WinoBias でバイアスを評価し間接バイアス評価とする。そして直接・間接バイアス評価の相関係数を計算する。単語埋め込みの学習用コーパス には Wikipedia [9]を使用する。Wikipedia データは表 1 WEAT 6, 7, 8 [2] の詳細

NLTK [10] によってトークン分割し、頻度が 10 未満

最終的に 3,121,412,445 個のトークンのコーパスが 得られた。そこから Word2Vec [11]を用いて次元数 300 の単語埋め込みを生成する。共参照解析の学習用コーパスには OntoNotes [12]を用いる。直接バイ アス評価のためのターゲット、アトリビュート語集合には WEAT の元論文 [2] で使われたジェンダーに まつわるバイアスを測定するための単語のセットで ある WEAT 6,7,8 (表 1)を使用する。元々の WEAT 6 の男女を表す単語には人名が用いられているが、 WinoBias のデータセットには人名は現れないため、 WEAT 7 で使用されているのと同じ一般名詞や代名詞で置き換えたものを使用する。バイアス調整のた めに使用するターゲット、アトリビュート語集合と しては WEAT 6, 7, 8 に加えて、それらの単語の和集合をとり Lauscher et al. (2020) [13] の方法を用いて拡張したものを用いる。具体的には spaCy [14] の事前学習済み単語埋め込みを用いて、WEAT の各単語に ついて spaCy 上で最も近い 100 個の単語を追加す る。ただし、その単語が元々の WEAT に含まれて いた場合は無視する。これら 4 個のターゲット、ア トリビュート語集合のペアを用い、バイアス調整手法は 2 通り、各手法でバイアス削減・強化を行うの で、生成される単語埋め込みの数は、バイアス調整 を受けない単語埋め込みを合わせて 17 個となる。

学習した単語埋め込みに ATTRACT-REPELアル ゴリズム [8] 適用してバイアス削減・強化を行う。 また Wikipedia にデータセットバランシング [7]を 適用し、バイアス削減・強化されたテキストコーパ スを作成し、単語埋め込みを学習する。こうして得 られた複数の単語埋め込みについて WEAT、RNSB の計測を行う。

また、これらの単語埋め込みを用いて Lee et al. (2017) [15] の共参照解析モデルを学習させ、 WinoBias でバイアスを計測する。間接バイアス評価には WinoBias のステレオタイプセットの適合率、再現率から反ステレオタイプセットの適合率、再現率を引いたものを用いる。適合率、再現率の算出に は MUC [16], B-CUBED [17], CEAF [18] での尺度の
表 2 WEAT、RNSB と WinoBias との相関係数。行は直接 バイアス評価を、列は間接バイアス評価を表す。第一列 はどのターゲット、アトリビュート語集合のペアを用い たのかを表す。

表 3 WEAT と RNSB の相関係数

平均を取ったものを用いる。

RNSB の計測には WEFE [5] というバイアス評価フレームワークを使用する。共参照解析モデ ルの実装には AllenNLP [19] が用いられる。実験は Wisteria/BDEC-01 スーパーコンピュータシステム上 で行う。

## 4 結果と考察

実験の結果を表 2 に示す。WEAT と WinoBias との 相関係数はどれも正なのに対し、RNSB と WinoBias との相関係数は負の値を取った。一方で相関の強さ (絶対値) に着目してみると、WEAT 7-Type 1 の場合 を除いて RNSB の方が大きく、WEAT 7-Type 1 の場合でも同程度の相関の強さがある。

また、直接バイアス評価同士の相関関係を表 3 に示す。直接バイアス評価同士の相関係数は、 WinoBias との相関係数と比較しても分かるように 非常に小さな値となった。

表 2 では WEAT とRNSB で全く異なる相関関係 が得られたが、原因として両者が取りうる値の範囲 が考えられる。今ターゲット語集合として $X, Y$ が、 アトリビュート語集合として $A, B$ が与えられてい るとして、単語埋め込みに $X$ を $A$ と関連づけ、 $Y$ を $B$ と関連づけるようなバイアスがあれば、WEAT で もRNSB でもバイアス評価値は正となる。ここでバ イアス削減の結果、この関係が反転し $X$ が $B$ に、 $Y$ が $A$ に結びつけられるようになると WEATでは負 の値を取るのに対し、RNSB では KL ダイバージェ ンスを用いるため依然として正の值を取ることにな
る。つまり WEAT ではステレオタイプなバイアス は正の值として、反ステレオタイプなバイアスは負 の値として計測されるが、RNSBでは両者を区別す ることができない。WinoBias の方ではバイアスの 度合いをステレオタイプセットの性能から反ステ レオタイプセットの性能を引いて求めているため、 WEAT と同様に二種類のバイアスを見分けること ができる。そのため RNSB とは上手く相関しなかっ たのではないかと考えられる。実際に単語埋め込み のバイアス評価值を観察すると WinoBias で負の値 が確認されたのは 1 回だけだったが、WEAT にお いては負の値を取っているものが一定数見られた。 RNSB でも WEAT のようにステレオタイプなバイア スと反ステレオタイプなバイアスを区別できるよう になれば正の相関を持つ可能性がある。

表 3 では直接バイアス評価同士で相関がないこと が示されたが、これは Badilla et al. (2020) [5] での結果に反する。Badilla et al. (2020) ではジェンダーバイ アスの評価については WEAT や RNSB などのバイ アス評価手法で相関があることを発見した。この齯踣は相関関係の計測の仕方によるものと推測され る。本研究では相関関係の計測には単純に相関係数 を使用したのに対し、Badilla et al. (2020) では各バイ アス評価手法で単語埋め込みを順位づけし、その順位間の相関を調査した。WEAT は単語埋め込みのコ サイン類似度について線形に変化するが、RNSB で はロジスティック回帰モデルや KL ダイバージェン スが関係するためより複雑に変化する。この両者を 線形な関係を前提とする相関係数で計測しようとし たために䶡軥が生じた可能性がある。

## 5 おわりに

本研究では Goldfarb-Tarrant et al. (2021) [3] に倣っ てRNSB と WinoBias との相関関係を調査した。結果としては負の相関が観測され、RNSB が信頼に值 する直接バイアス評価手法となるような証拠は得 られなかった。一方で、相関の強さのみをみると WEAT よりも大きな相関を示しており、改良によっ ては WEAT を上回る直接バイアス評価ともなり得 る可能性も示唆された。

## 参考文献

[1] Latanya Sweeney. Discrimination in online ad delivery. Communications of the ACM, Vol. 56, No. 5, pp. 4454, 2013.

[2] Aylin Caliskan, Joanna J. Bryson, and Arvind Narayanan. Semantics derived automatically from language corpora contain human-like biases. Science, Vol. 356, No. 6334, pp. 183-186, 2017. Publisher: American Association for the Advancement of Science.

[3] Seraphina Goldfarb-Tarrant, Rebecca Marchant, Ricardo Muñoz Sánchez, Mugdha Pandya, and Adam Lopez. Intrinsic bias metrics do not correlate with application bias. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1926-1940. Association for Computational Linguistics, 2021.

[4] Chris Sweeney and Maryam Najafian. A transparent framework for evaluating unintended demographic bias in word embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1662-1667. Association for Computational Linguistics, 2019.

[5] Pablo Badilla, Felipe Bravo-Marquez, and Jorge Pérez. WEFE: The word embeddings fairness evaluation framework. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, pp. 430-436. International Joint Conferences on Artificial Intelligence Organization, 2020.

[6] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, and Kai-Wei Chang. Gender bias in coreference resolution: Evaluation and debiasing methods. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 15-20. Association for Computational Linguistics, 2018

[7] Lucas Dixon, John Li, Jeffrey Sorensen, Nithum Thain, and Lucy Vasserman. Measuring and mitigating unintended bias in text classification. In Proceedings of the 2018 AAAI/ACM Conference on Al, Ethics, and Society, AIES '18, pp. 67-73. Association for Computing Machinery, 2018.

[8] Nikola Mrkšić, Ivan Vulić, Diarmuid Ó Séaghdha, Ira Leviant, Roi Reichart, Milica Gašić, Anna Korhonen, and Steve Young. Semantic specialization of distributional word vector spaces using monolingual and cross-lingual constraints. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 309-324, 2017.

[9] Wikipedia. https://www.wikipedia.org/.

[10] Steven Bird, Edward Loper, and Ewan Klein. Natural Language Processing with Python. O' Reilly Media Inc., 2009.

[11] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space, 2013.

[12] Ralph M. Weischedel, Eduard H. Hovy, Mitchell P. Mar- cus, and Martha Palmer. Ontonotes : A large training corpus for enhanced processing. 2017.

[13] Anne Lauscher, Goran Glavaš, Simone Paolo Ponzetto, and Ivan Vulić. A general framework for implicit and explicit debiasing of distributional word vector spaces. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 5, pp. 8131-8138, 2020. Number: 05 .

[14] spaCy $\cdot$ industrial-strength natural language processing in python. https://spacy.io/.

[15] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 188-197. Association for Computational Linguistics, 2017.

[16] Marc Vilain, John Burger, John Aberdeen, Dennis Connolly, and Lynette Hirschman. A model-theoretic coreference scoring scheme. In Sixth Message Understanding Conference (MUC-6): Proceedings of a Conference Held in Columbia, Maryland, November 6-8, 1995, 1995.

[17] Amit Bagga and Breck Baldwin. Entity-based crossdocument coreferencing using the vector space model. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Vol. 1, pp. 79-85. Association for Computational Linguistics, 1998.

[18] Xiaoqiang Luo. On coreference resolution performance metrics. In Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing - HLT '05, pp. 25-32. Association for Computational Linguistics, 2005.

[19] Matt Gardner, Joel Grus, Mark Neumann, Oyvind Tafjord, Pradeep Dasigi, Nelson H. S. Liu, Matthew E. Peters, Michael Schmitz, and Luke Zettlemoyer. A deep semantic natural language processing platform. 2017.
 加藤大晴 宮尾祐介 東京大学大学院情報理工学系研究科コンピュータ科学専攻 \{kato_taisei, yusuke\}@is.s.u-tokyo.ac.jp  