# 言語モデルに対するトークンのキャンセルアウト手法の比較

鈴木淳平 1 菅原朔 2 相澤彰子 1,2
1 東京大学 2 国立情報学研究所
junpei0827kouyou@g.ecc.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp

## 概要

言語モデルへの入力文内の特定のトークンの影響 を入力から取り除く手法である「キャンセルアウト (cancel out)」は，モデルの推論解釈や得られた解釈 の良さの評価のために有効な技術である. しかし既存研究では，キャンセルアウト手法の評価方法が確立されておらず，利点や欠点を相互に比較すること が困難であった。本研究ではそれらの性能を直接的 に評価するために，1) キャンセルアウトしたトーク ンの復元可能性, 2) 性別情報のキャンセルアウトに よるジェンダーバイアスの緩和効果について実験を 行う. また，複数のトークンによる置き換えに基づ く既存のキャンセルアウト手法を，置き換えをより 多様にすることで改善できることを示す.

## 1 はじめに

言語モデルへの入力文内の特定のトークンの影響 を取り除く手法である「キャンセルアウト」は，そ れらのトークンがある時とない時のモデルの出力を 比較することで，その部分の重要性を測って解釈に 用いたり [1], モデルの出力に関する解釈が与えら れた時に，その解釈に基づいて文の一部をキャンセ ルアウトしてモデルの出力の変化を見ることで解釈 を評価したりする $[2]$ ことなどに役立つ. 図 1 は,理想的なキャンセルアウトの具体例である．映画の レビューの感情分析を学習したモデルに対し, 元の “This is a good movie.”を入力すると positive に判定 され，“good”をキャンセルアウトした後の入力に対 しては, neutral と判定されている. したがって, こ れらの予測を比較することで “good” が positive のラ ベルに寄与していると解釈できる.

最も単純なキャンセルアウトは，対象のトーク ンを文から取り除くことであるが，自然言語にお いては文法的に不適格な入力を作り得る. そこで 既存研究では, 特殊なトークンで置き換えたり （Zero Vector, Mask token），注意機構 [3] を持つモデ

This is a good movie. $\xrightarrow{\text { model }} \bullet$ positive
This is a $\xi^{\cdots-\gamma}$ movie. $\xrightarrow{\text { model }}$ neutral

図 1 “good”のキャンセルアウト，映画のレビューの感情分析モデルに元の入力を入れると positive と判定され， “good”をキャンセルアウトすると neural と判定されるこ とから，“good”が positive の根拠であると解釈される.

ルに対しては，対象のトークンへの注意を抑制す る（Attention Mask）手法が考えられてきた.また， キャンセルアウト後の入力が，モデルが学習した訓練データに対して分布外にならないように実際にそ の箇所に出現しやすいトークンで置き換える手法も 提案されている（Weighted Marginalize） [1].

キャンセルアウト手法の評価は, キャンセルアウ トを用いた解釈手法の性能が向上することを示して 間接的に行われることがある [1]. しかし，解釈手法の評価自体が，現状確立されたものがなく，何を 評価しているかが明示されないことが多いことも 指摘されている [4]. また, 解釈手法を統一的に評価するためのベンチマークが提案されているが [2], このベンチマークは評価指標の計算にキャセルアウ トを伴うので，キャンセルアウトを含む解釈手法の 評価には使えない可能性がある。他にも，キャンセ ルアウト後の入力がどれくらいタスクの学習データ に対して分布外になってしまうかを測るものもある が [5]，そもそもキャンセルアウトがうまくいって おらず，モデルが周辺文脈から十分に元の情報を復元できている可能性が考慮されていない. 例えば,図 1 において，キャンセルアウト後の文をモデルに 入力した時に，モデルがそこには元々 “good"があっ たと予測できてしまう場合にはキャンセルアウトが 機能していないと考えられる.

そこで本研究では，モデルに対して対象のトーク ンをどれだけキャンセルアウトできているかという 観点から各手法を比較する。まず 3 節で，文脈から 各位置のトークンを予測するように学習されてい

る masked language model （MLM）に対してキャン セルアウト後の入力を与え, キャンセルアウトした はずのトークンをどれくらい予測できるかを比較す る. さらに，対象のトークンの箇所にどれくらい高 い確信度を持っているかも比較する. 次に 4 節で, キャンセルアウトの応用として, BIOS [6] という個人の経歴から職業を予測するデータセットに対し, どれくらいモデルにジェンダーバイアスをかけずに 学習できるかを比較することで，キャンセルアウト 手法の性能を確かめる. 結果として，2 節で提案す る, Weighted Marginalize の周辺化トークンをより多様化した Uniform Marginalize が，3 節と 4 節の実験 で最もキャンセルアウトの効果が高いことを示す.

## 2 キャンセルアウト手法

本研究では， 2.1 節に示す既存の 4 つのキャンセ ルアウト手法 [5]，および新たに提案する Uniform Marginaize と呼ぶ手法（2.2 節）を比較する. ${ }^{1}$ ）

## 2.1 既存のキャンセルアウト手法
- Zero Vector: 対象のトークンの embedding を全要素が 0 のベクトルで置き換える.
- Mask Token: 対象のトークンを MASK トークン で置き換える。
- Attention Mask: 対象のトークンに対する attention maskを 0 にして，他のトークンの中間ベク トルの計算時に参照されないようにする.
- Weighted Marginalize: 以下の式 1 のように，対象のトークンを一旦 MASK トークンで置き換 えて MLM に入力し, 語彙内の各トークンに対 する尤度を得て，上位 $k$ 個のトークンで置き換 えた後の入力に対するモデルの出力をそれぞれ の置き換えトークンの尤度で周辺化する. [1]

$
\begin{aligned}
p\left(y \mid \boldsymbol{x}_{-i}\right) & =\sum_{x^{\prime} \in V} p_{M}\left(y, x^{\prime} \mid \boldsymbol{x}_{-i}\right) \\
& =\sum_{x^{\prime} \in V} p_{M}\left(y \mid x^{\prime}, \boldsymbol{x}_{-i}\right) p_{L}\left(x^{\prime} \mid \boldsymbol{x}_{-i}\right) .
\end{aligned}
$

$y$ は予測候補のラベル， $\boldsymbol{x}_{-i}$ は $i$ 番目のトークンを キャンセルアウトしたい入力文， $V$ は尤度の上位 $k$ トークン, $p_{M}$ はモデルの予測確率, $p_{L}\left(x^{\prime} \mid \boldsymbol{x}_{-i}\right)$ は, $\boldsymbol{x}$ の $i$ 番目を MASKトークンで置き換えて BERT[7]等の言語モデルに入力した時の $x^{\prime}$ の尤度である.

1）以降では，入力文はトークン列に分割され，それぞれ対応する token embedding に変換されることを仮定する。また， MASKトークンを用いた MLM によって事前学習され，注意機構を持つようなモデルを対象にする。 [7].
Mask Token

This is a [MASK] movie.

Marginalize

This is a new movie.

This is a TV movie.

This is a lost movie.

This is a good movie.

This is a bad movie.
Likelihood P(positive /_) Uniform Likelihood

図 2 Weighted Marginalize と Uniform Marginalize の違い. “This is a good movie”の “good”をキャンセルアウトする場合. まず [MASK] で置き換えて，MLM に入力し候補を得 る. Weighted では，各候補の尤度とモデルの出力で周辺化し，Uniformでは一様分布として周辺化する。

表 1 BIOS の例. 下線部は性別を表す代名詞と人物名.経歴/性別/職業

Peter also has substantial experience representing clients in government investigations, including criminal and regulatory investigations, and internal investigations conducted on behalf of clients. / male / attorney

Dianne is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and she is a Medicare Provider . / female / psychologist

## 2.2 提案手法: Uniform Marginalize

Weighted Marginalize では，キャンセルアウト対象 のトークンの MLM による予測確率が 1 に近い時,新しい入力が元の入力と意味的に変わらない可能性 がある。そこで, 式 1 の $p_{L}\left(x^{\prime} \mid \boldsymbol{x}_{-i}\right)$ を， $\frac{1}{N}(N$ は周辺化に使うトークン数） で置き換えることで，候補 トークンを一様に扱う周辺化を提案する（Uniform Marginalize）. 図 2 に両者の違いを示す. Weighted Marginalize では尤度の高いものほど重視されて， Uniform Marginalize では一様に扱われる。

## 3 情報の復元可能性

本節では，キャンセルアウトした情報をモデルが どれくらい復元できてしまうかを尤度を用いて評価 し各手法を比較する．実験では，Stanford Sentiment Treebank v2（SST2） [8] と BIOS [6]を用いる. SST2 は，映画のレビューに対して，positive か negative か のラベルを予測するタスクである．BIOS は，個人 の経歴に関する文が大力として与えられ，27 個の職業から 1 つ予測するタスクである。また，表 1 の例 のように，経歴内で直接的に性別を表す代名詞と人物名の部分もアノテートされている。

## 3.1 元のトークンの予測確率

SST2 と BIOS のテストデータそれぞれから，ラン ダムに 9,000, 5,000 トークンずつ選んで，それぞれの

図 3 SST2 におけるキャンセルアウトしたトークンの尤度の分布. 横軸が尤度, 縦軸が相対度数.

手法でキャンセルアウトし，MLM に入力して元の トークンの尤度を測定する. Weighted Marginalize と Uniform Marginalize に関しては，式 1 の $p_{M}$ を MLM の元のトークンの予測確率として周辺化（計算コ ストの都合上，周辺化候補のトークン数は 10）を 行った. Original Token は，元の入力をそのまま入れ たときのベースラインである.

SST2 に関しての結果が図 3 である. BIOS に対し ての結果は付録 A の図 5 である. 同様の傾向が観察されたため, 以下の考察は SST2, BIOS に共通で ある。まず Original Token は，入れたトークン自身 の尤度の値の分布は高い値に偏っている. Attention Mask も同様の傾向である. Mask Token, Weighted Marginalize は元のトークンを完全に復元できる場合と全くできない場合で左右に割れた. 二つの分布の形が似ているのは以下の理由だと考えられる。 Mask Token において高い尤度で元のトークンが予測 できた例に対しては, Weighted Marginalize において も，周辺化時に元のトークンが高い尤度を持つ. さ らに，その時の式 1 の $p_{M}$ は, MLMに元のトークン をそのまま入れたときの自身の確率であるため，結局元のトークンの確率が高くなるためである. つま り，Mask Token で元のトークンが予測しやすい状況 においては（ヒストグラムの右端）， Mask Token と Weighted Marginalize はほとんど同じ処理をするこ とになる. 対して, Uniform Marginalize, Zero Vector の順で，元のトークンは予測しづらくなっている. このことから，2 節で述べた狙い通り, Weighted Marginalize より周辺化候補を多様化させた Uniform Marginalize の方が，元のトークンをモデルが復元で きてしまう（キャンセルアウトが機能しない）こ とを防ぐことができることがわかった.

図4SST2におけるキャンセルアウト箇所の最大尤度の 分布. 横軸が尤度，縦軸が相対度数.

## 3.2 キャンセルアウト箇所の最大尤度の 分布

キャンセルアウトされた箇所に，モデルがどれ くらい確信を持って推論しているのかを比較する ために， 3.1 節と同様にトークンをそれぞれの手法 でキャンセルアウトして，MLM に入力した時の一番尤度の高いトークンの尤度を測定する．SST2 の 結果が図 4 で BIOS の結果が付録 A の図 6 である. Weighted Marginalize と Uniform Marginalize に関して は，式 1 の $p_{M}\left(y \mid x^{\prime}, \boldsymbol{x}_{-i}\right)$ を， $x^{\prime}$ で置き換えた時の その箇所の一番高い尤度とした ${ }^{2}$. 結果としては, Zero Vector 以外は，かなり高い尤度に偏っており， Mask Token, Attention Mask はキャンセルアウトして も，そこには何らかのトークンであるとモデルが 確信を持って計算していることになる。その高い 尤度を持つトークンが元のトークン自身や，類義語である場合にはキャンセルアウトが機能しない. Marginalize の二手法に関しては，候補トークンで周辺化した結果高い尤度に偏っている. つまり一回の キャンセルアウトを考えると，どの候補に対しても 最も高い尤度が 1 に近く，さらに 3.1 節の Original Token の結果を踏まえると，置き換えた候補のトー クン自身の尤度がそれぞれ一番高くなっていること が多いと考えられる。

3.1 節と 3.2 節の結果をまとめると, Uniform Marginalize は，各置き換え後の文に対しては置き換 えたトークンの情報を強く持たせることができ（モ デルが置き換えられたトークンに高い確信を持つ) ，置き換えの多様性によって元のトークンが容易に 予測できてしまうことを防ぐといえる.

2）図 2 の例であれば，“This is a new movie.”を MLM に大力し た時の new の部分で最も高い尤度，他の候補トークンでも同様に最も高い尤度を計算して，平均を計算する（周辺化す る).

## 4 バイアスのキャンセルアウト

BIOS は web 上で経歴データを集めており，職業 ごとの男女のデータ数の偏りが大きいためモデルが バイアスを学習してしまうことが指摘されている [6]. 3) そこで，BERTを BIOS に fine-tuning する時に，各データで，直接性別を表す代名詞や人物名をキャ ンセルアウトした状態で学習させた時に，どれくら い学習後のモデルがジェンダーバイアスを持ってい るかを比較する．比較方法は，BIOS を提案してい る論文 [6] に従って，テストデータにおいて各職業 ごとに，女性のデータと男性のデータでの真陽性率 の差分（式 2 の $G a p_{f, y}$ ）と, 訓練データにおける女性率（female rate）との相関をみる。この相関が高い ほど訓練データにおける偏りを学習していることに なる。

$
\begin{aligned}
T P R_{g, y} & =P\left(Y^{\prime}=y \mid G=g, Y=y\right) \\
G a p_{f, y} & =T P R_{f, y}-T P R_{m, y}
\end{aligned}
$

$Y^{\prime} ， Y$ は職業で $Y^{\prime}$ が予測ラベル， $Y$ が正解ラベル， $G$ はジェンダーで男 $(m)$ か女 $(f)$ かである.

## 4.1 学習時の Uniform Marginalize

代名詞と人物名の Uniform Mariginalize は次のよ うに行う。まず全ての代名詞と名前を MASK トー クンに置き換える. この状態で MLM に入力して 1 個目の MASK に対応する部分の尤度の高い二つの トークン（A, B）を得る. 次に，最初の MASKトー クンを A で置き換えた状態で MLM に入力して 2 個目の MASK に対応する一番尤度の高いトークンを 得てそれで置き換える。以降全ての MASK トーク ンが埋まるまで繰り返す.さらに，1個目の MASK トークンを B で置き換えたものに対しても同様に最後まで埋める。学習時は，こうして得た二つの置き 換え後の文（s1, s2）をモデルに入れ，それぞれに対 し各ラベルの予測確率を出し，平均したものを最終的な予測確率として勾配の計算に使う. 置き換えの 例は付録 Cに示す。

## 4.2 結果

本実験では, Original Token（元の学習データの まま訓練）, Zero Vector, Mask Token, Attention Mask, Uniform Marginalize を比較対象とした. ここでは, 3 節の実験で Mask Token と作用が似ていること,


表 2 手法ごとの相関係数, $\mathrm{p}$ 値, テストデータの正解率.

Uniform Marginalize の方が置き換えに多様性がある ことから, Weighted Marginalize は含めていない.

各手法について，テストデータにおける各職業の 女性率と男女の真陽性率の差（式 2）の相関係数 の値を比較した結果を表 2 に示す。まず元の学習 データのまま訓練した Original Token は, 相関係数 が 0.838 となり強くバイアスを学習してしまってい る. ${ }^{4)}$ Zero Vector, Attention Mask に関しては相関係数 の値が Original Token の場合と比べてほとんど変化 せず，キャンセルアウトが機能していない. Uniform Marginalize, Mask Token $の$ 順に相関係数が改善でき ており, Uniform Marginalize が最もキャンセルアウ トの効果が高いことがわかる. 両者において，テ ストデータでの正解率が顕著に下がっているのは, BIOS を解くのに性別情報が有用であり，これが使 えなくなると予測難易度が上がるからだと考えられ る. 今後の課題として, 性別情報がないと予測が難 しいタスクを新たに構築することで，詳細な分析が 可能になることが期待される.

Uniform Marginalize においては, 4.1 節における置 き換えを具体的に見てみると（付録 $\mathrm{C}$ 節)，s1，s2 で片方が男性を表す名詞，もう片方が女性を表す名詞になっていることが多く，それによって予測時に 性別を使わないように学習できたと考えられる。 し かしそれでも相関が出てしまう理由としては，BIOS を提案している研究 [6] で指摘されているように，代名詞や名前以外にも “mother” や “husband” 等ジェ ンダーを表す単語が存在することが挙げられる。

## 5 おわりに

本研究では，直接キャンセルアウト手法を比較す る方法を提案するとともに，置き換え候補の多様化 を狙った Uniform Marginalize がキャンセルアウトに 有効であることを示した，今後は，品詞ごとに置き 換え方を適切に変えたり，複数箇所同時にキャンセ ルアウトすることの影響を調べたりして，より正確 なキャンセルアウト手法を追求したい.


## 謝辞

本研究は JSPS 科研費 JP21H03502 および JST さき

がけ JPMJPR20C4 の支援を受けたものです.

## 参考文献

[1] Siwon Kim, Jihun Yi, Eunji Kim, and Sungroh Yoon. Interpretation of NLP models through input marginalization. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 31543167, Online, November 2020. Association for Computational Linguistics.

[2] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C. Wallace. ERASER: A benchmark to evaluate rationalized NLP models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4443-4458, Online, July 2020. Association for Computational Linguistics.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of Advances in Neural Information Processing Systems, Vol. 30, 2017.

[4] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, $\mathrm{pp}$. 4198-4205, Online, July 2020. Association for Computational Linguistics.

[5] Peter Hase, Harry Xie, and Mohit Bansal. The out-ofdistribution problem in explainability and search methods for feature importance explanations. In Proceedings of the Advances in Neural Information Processing Systems, Vol. 35, 2021.

[6] Maria De-Arteaga, Alexey Romanov, Hanna Wallach, Jennifer Chayes, Christian Borgs, Alexandra Chouldechova, Sahin Geyik, Krishnaram Kenthapadi, and Adam Tauman Kalai. Bias in bios: A case study of semantic representation bias in a high-stakes setting. In Proceedings of the Conference on Fairness, Accountability, and Transparency, pp. 120-128, 2019.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

## A BIOS における復元可能性

以下の図 5 が 3.1 節の実験の BIOS に対する結果 である。考察は,3.1 節を参照.

図 5 BIOS におけるキャンセルアウトしたトークンの尤度の分布. 横軸が尤度, 縦軸が相対度数.

以下の図 6 が 3.2 節の実験の BIOS に対する結果 である．考察は,3.2 節を参照.

図 6 BIOS におけるキャンセルアウト箇所の最大尤度の 分布. 横軸が尤度, 縦軸が相対度数.

## B BIOS のジェンダーバイアス

図 7 が 4.1 節で，元の学習データで BERT を訓練 したときの，テストデータにおける各職業の女性率 と男女間の真陽性率の差の関係である。相関係数は 0.838 であり，強くバイアスがかかっている.

## C Uniform Marginalize の置き換え

4.1 節の Uniform Marginalize における置き換えの具体例を表 3 に示す. 元の “Dianne”が “She”と “He”,元の “she”が “she”と “he” に置き換えられた. 大部分の例に対し，このように男性を表す名詞で置き換 えたものと，女性を表す名詞で置き換えたものが一 つずつ作られた。

図 7 Original Token における女性率と性別間の真陽性率 の差の関係

表 3 Uniform Marginalize における置き換えの例. 元の "Dianne" が "She" と "He"，元の "she" が "she”と "he"に置 き換えられた。

経歴

Dianne is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and she is a Medicare Provider .

She is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and she is a Medicare Provider

He is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and he is a Medicare Provider.
 鈴木淳平 1 菅原朔 2 相澤彰子 1,2 1 東京大学 2 国立情報学研究所 junpei0827kouyou@g.ecc.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp  