# 単語埋め込みのバイアス評価における RNSB と WinoBias との 相関関係の分析

加藤大晴 宮尾祐介
東京大学大学院情報理工学系研究科コンピュータ科学専攻
\{kato_taisei, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究では単語埋め込みの直接バイアス評価手法であるRNSB と、間接バイアス評価の WinoBias との相関関係を調査する。単語埋め込みは膨大なテ キストコーパスから単語の意味を実数ベクトルの 形で学習することができるが、同時にバイアスも学習してしまう。バイアスの評価手法としては直接評価と間接評価があるが、両者の関係を調査した研究は少ない。そこで本研究では既存研究に倣って 様々な度合いのバイアスを持つ単語埋め込みを作成し、RNSB、WinoBias 両方でそのバイアスを測定 し、両者の相関係数を計算した。結果として RNSB は WinoBias と負の相関を持つことが分かった。

## 1 はじめに

自然言語処理技術が進歩していく中で、これらの 技術が我々の日常生活に与える影響も拡大してい る。一方でこれらの技術が男女差別や人種差別と いった偏見、バイアスを助長しているという問題点にも注目が集まっている $[1,2]$ 。本研究ではこう いったバイアスに対処する一歩として単語埋め込み のバイアス評価手法に焦点を当てる。

単語埋め込みは膨大なテキストコーパスを用いて 単語の分布的意味を事前に学習することで、様々な 後段の自然言語処理タスクにおいて性能の向上を図 ることができる技術である。有用性が高い反面、テ キストコーパスに含まれているバイアスを学習し、 それが後段の多くの自然言語処理タスクに影響を与 える危険性を孕んでいる。それゆえ単語埋め込みの バイアスを正確に測定し、自然言語処理技術がバイ アスなく動作することを担保することは重要な課題 となる。

単語埋め込みのバイアス評価には大きく分けて直接評価 (Intrinsic bias metric) と間接評価 (Extrinsic bias metric) の二種類がある。直接評価では単語埋め込み 表現そのものに着目し、ある単語とある単語の距離 が適当かどうかなどを以ってしてバイアスを評価す る。それに対し、間接評価では評価対象の単語埋め 込みを用いてある自然言語処理システムを学習さ せ、そのシステムがバイアスのかかった挙動を示す かどうかを以ってして元の単語埋め込みのバイアス の有無を判断する。間接評価では単語埋め込みが実際に自然言語処理システム内で用いられたときの 振る舞いを見るという、より現実に即したシナリオ でバイアスの分析を行なっており、バイアスが社会 に与える影響が分かりやすいという利点がある。一方、直接評価では調べたいバイアスを単語集合を指定することで決められるので、比較的自由に様々な 種類のバイアスを調べることができる。直接評価と 間接評価、それぞれに長所があるため両方の視点を 以ってバイアスの問題に取り組む必要がある。

しかし、両者の関係性はよく分かっているとは言 い難い。Goldfarb-Tarrant et al. (2021) [3] は広く使わ れる直接バイアス評価手法の WEAT [2] と間接バイ アス評価が多くのケースで相関しないことを発見し た。ただ、その他の直接バイアス評価も同じ問題を 持つのかはまだ分かっていない。そこで本研究では 別の直接バイアス評価手法である RNSB [4] と間接 バイアス評価との相関関係を調査する。RNSB は直接バイアス評価の枠組みの中にありながら、間接バ イアス評価と同様に機械学習モデルを学習させてバ イアスを計測するプロービング手法を取っている。 このことから間接バイアス評価との相関が高いこと が予想される。

実験方法としては Goldfarb-Tarrant et al. (2021) に倣 い、様々な度合いのバイアスを持つ単語埋め込みを 作成し、WEAT、RNSB、間接バイアス評価でバイア スを測定する。その結果 RNSB は間接バイアス評価 と負の相関を持つことが示された。一方で相関の強

さは WEAT よりは高く、改良次第で信頼に値する直接バイアス評価になりうることも示唆された。

## 2 関連研究

## 2.1 バイアス評価指標

ここでは本研究で使用した直接バイアス評価・間接バイアス評価指標について概説する。

## 2.1.1 WEAT

WEAT は Caliskan et al. (2017) [2] によって設計さ れた、広く使われる単語埋め込みの直接バイアス評価指標である。WEAT はバイアスの対象となる概念 2つを表す、等しい大きさの単語集合 (ターゲット語集合) $X, Y(|X|=|Y|)$ と、何を基準にそのバイアスを 調べるのかを定める 2 つ単語集合 (アトリビュー 卜語集合) $A, B$ を必要とする。例えば、理系科目・文系科目におけるバイアスをジェンダーの目線か ら調べたいのであれば、理系科目にまつわる単語集合 $X=\{$ science, math, $\ldots\}$ 、文系科目にまつわる単語集合 $Y=\{$ art, history, ... $\}$ をターゲット語集合に、男性にまつわる単語集合 $A=\{$ man, he, brother, ... $\}$ と女性にまつわる単語集合 $B=\{$ woman, she, sister, ... $\}$ を アトリビュート語集合として指定する。このように $X, Y, A, B$ が与えられたとき、WEAT におけるバイア スの評価値は $c(X, A)+c(Y, B)-c(X, B)-c(Y, A)$ と 定義される。ここで $c(T, A)=\sum_{t \in T} \frac{1}{|A|} \sum_{a \in A} \cos (t, a)$ であり、 $\cos$ はコサイン類似度を表している。 $c(T, A)$ はターゲット語集合 $T$ とアトリビュート語集合 $A$ との類似度を表している。前に挙げた例では、もし 理系科目にまつわる単語と男性にまつわる単語の 類似度、文系科目にまつわる単語と女性にまつわる 単語の類似度が、他の組み合わせの類似度よりも高 ければ、WEAT の値も大きくなり、単語埋め込みが バイアスを孕んでいると言える。逆に文系にまつわ る単語と男性にまつわる単語が、理系にまつわる単語と女性にまつわる単語の類似度の方が高ければ、 WEAT は負の値を取る。これもバイアスを孕んでい ると言える。よって WEAT の値が 0 に近ければ近 い程バイアスが少ない単語埋め込みと言える。

## 2.1.2 RNSB

RNSB [4] はプロービングの手法を用いる直接バ イアス評価指標である。RNSB では 2 つのターゲッ 卜語集合 $X, Y$ と任意個のアトリビュート語集合 $A_{1}, \ldots, A_{n}$ を取る。本来の RNSB ではアトリビュー 卜語集合の大きさはどれも 1 だが、後に Badilla et al. (2020) [5] によって任意の大きさのアトリビュー 卜語集合を取れるように拡張された。この拡張版に ついて記す。

まずロジスティック回帰モデル $M$ を、 $X$ を負例 に、 $Y$ を正例として学習させる。学習後、 $M$ に単語 $w \in A:=A_{1} \cup \ldots \cup A_{n}$ を与え、それが正例である確率 $p_{w}$ を計算させる。本来であればアトリビュート 語集合とターゲット語集合の間には関係はないはず なので、 $p_{w}$ はどれも近い值となるはずである。こ の $p_{w}$ の分布と一様分布との差が RNSB でのバイア ス評価値となる。具体的には $\sum_{w \in A} p_{w}=1$ となるよ うに $p_{w}$ を正規化して $p_{w}$ が $A$ における確率分布と 見做せるようにし、それと一様分布 $U$ との KL ダイ バージェンス $D_{\mathrm{KL}}(p, U)$ をバイアスの評価值と定義 する。

## 2.1.3 WinoBias

WinoBias [6] は共参照解析システムのバイアス評価のためのデータセットであり、本研究では間接 バイアス評価を行うために用いられた。WinoBias は Type 1 と Type 2 とに分離されており、各 Type が さらにステレオタイプセット、反ステレオタイプ セットに分離されている。例えば、Type 1 のステレ オタイプセットには “The physician hired the secretary because he was overwhelmed with clients.” のような文 が含まれており、ここでは “The physician”と “he”が 共参照関係にある。これは「医者は男性である」と いうステレオタイプを反映している。一方反ステレ オタイプセットには “he”を“she”で置き換えた文が 含まれており、“she”と “The physician” が共参照関係にある。男女のバイアスを持たない共参照解析シ ステムであれば、ステレオタイプセット・反ステ レオタイプセットでの性能の差は生じないはずな ので、その差がバイアスの評価值となる。Type 2 に は "The secretary called the physician and told him about a new patient.” のように文構造も共参照解析の手がか りとなる文が含まれている。

## 2.2 WEAT と間接バイアス評価の関係

直接バイアス評価と間接バイアス評価の関係性 を調べた研究としては Goldfarb-Tarrant et al. (2021) [3] が挙げられ、本研究でもその手法を踏襲する。 Goldfarb-Tarrant et al. (2021) は様々な度合いのバイア

スを持つ単語埋め込みを作成し、WEAT と間接バイ アスの值を計測し、その散布図から両者の関係性を 調査した。

バイアスの度合いを調節するためにはデータセッ トバランシング [7] と ATTRACT-REPEL アルゴリズ ム[8] が用いられた。データセットバランシングは 機械学習モデルの学習に使うデータセットに含ま れているアンバランスさを解消することで、よりバ イアスの少ないモデルを入手する方法である。ここ ではステレオタイプな文を sub-sampling することで バイアス削減が、反ステレオタイプな文を削除する ことでバイアスの強化が行われた。ある文がステレ オタイプ、反ステレオタイプかどうかは WEAT で も用いられたターゲット語集合 $X, Y$ 、アトリビュー 卜語集合 $A, B$ を用いて判断する。ある文が $X, A$ 両方の単語、もしくは $Y, B$ 両方の単語を含んでいれ ばステレオタイプであり、逆に $X, B$ の単語、 $Y, A$ の単語を含んでいれば逆ステレオタイプである。 ATTRACT-REPEL アルゴリズムは元々は単語埋め込 みを強化するために考案されたアルゴリズムであ る。類義語集合と反義語集合を受け取り、元々の単語埋め込みの形を保ちつつ、類義語同士の埋め込み を近づけ、反義語同士の埋め込みを遠ざける。バイ アス削減にはステレオタイプな単語の組み合わせ を反義語集合に、反ステレオタイプな単語の組み合 わせを類義語集合としてアルゴリズムが実行され た (バイアス強化の際はその逆を行う)。ここでも同様にターゲット語集合 $X, Y$ 、アトリビュート語集合 $A, B$ が必要となる。ステレオタイプな単語の組み合 わせの集合は $X \times A \cup Y \times B$ であり、反ステレオタ イプな単語の組み合わせの集合は $X \times B \cup Y \times A$ と なる。

実験の結果、WAET は多くの場合で間接バイアス 評価と相関しないことが示された。

## 3 実験手法

基本的には Goldfarb-Tarrant et al. (2021) [3] の手法 を踏襲して実験を行う。様々な度合いのバイアス を持つ単語埋め込みをバイアス調整手法を用いて 生成し、WEAT、RNSB でバイアスを評価する。そ の単語埋め込みを元に共参照解析モデルを学習さ せ、WinoBias でバイアスを評価し間接バイアス評価とする。そして直接・間接バイアス評価の相関係数を計算する。単語埋め込みの学習用コーパス には Wikipedia [9]を使用する。Wikipedia データは表 1 WEAT 6, 7, 8 [2] の詳細

NLTK [10] によってトークン分割し、頻度が 10 未満

最終的に 3,121,412,445 個のトークンのコーパスが 得られた。そこから Word2Vec [11]を用いて次元数 300 の単語埋め込みを生成する。共参照解析の学習用コーパスには OntoNotes [12]を用いる。直接バイ アス評価のためのターゲット、アトリビュート語集合には WEAT の元論文 [2] で使われたジェンダーに まつわるバイアスを測定するための単語のセットで ある WEAT 6,7,8 (表 1)を使用する。元々の WEAT 6 の男女を表す単語には人名が用いられているが、 WinoBias のデータセットには人名は現れないため、 WEAT 7 で使用されているのと同じ一般名詞や代名詞で置き換えたものを使用する。バイアス調整のた めに使用するターゲット、アトリビュート語集合と しては WEAT 6, 7, 8 に加えて、それらの単語の和集合をとり Lauscher et al. (2020) [13] の方法を用いて拡張したものを用いる。具体的には spaCy [14] の事前学習済み単語埋め込みを用いて、WEAT の各単語に ついて spaCy 上で最も近い 100 個の単語を追加す る。ただし、その単語が元々の WEAT に含まれて いた場合は無視する。これら 4 個のターゲット、ア トリビュート語集合のペアを用い、バイアス調整手法は 2 通り、各手法でバイアス削減・強化を行うの で、生成される単語埋め込みの数は、バイアス調整 を受けない単語埋め込みを合わせて 17 個となる。

学習した単語埋め込みに ATTRACT-REPELアル ゴリズム [8] 適用してバイアス削減・強化を行う。 また Wikipedia にデータセットバランシング [7]を 適用し、バイアス削減・強化されたテキストコーパ スを作成し、単語埋め込みを学習する。こうして得 られた複数の単語埋め込みについて WEAT、RNSB の計測を行う。

また、これらの単語埋め込みを用いて Lee et al. (2017) [15] の共参照解析モデルを学習させ、 WinoBias でバイアスを計測する。間接バイアス評価には WinoBias のステレオタイプセットの適合率、再現率から反ステレオタイプセットの適合率、再現率を引いたものを用いる。適合率、再現率の算出に は MUC [16], B-CUBED [17], CEAF [18] での尺度の
表 2 WEAT、RNSB と WinoBias との相関係数。行は直接 バイアス評価を、列は間接バイアス評価を表す。第一列 はどのターゲット、アトリビュート語集合のペアを用い たのかを表す。

表 3 WEAT と RNSB の相関係数

平均を取ったものを用いる。

RNSB の計測には WEFE [5] というバイアス評価フレームワークを使用する。共参照解析モデ ルの実装には AllenNLP [19] が用いられる。実験は Wisteria/BDEC-01 スーパーコンピュータシステム上 で行う。

## 4 結果と考察

実験の結果を表 2 に示す。WEAT と WinoBias との 相関係数はどれも正なのに対し、RNSB と WinoBias との相関係数は負の値を取った。一方で相関の強さ (絶対値) に着目してみると、WEAT 7-Type 1 の場合 を除いて RNSB の方が大きく、WEAT 7-Type 1 の場合でも同程度の相関の強さがある。

また、直接バイアス評価同士の相関関係を表 3 に示す。直接バイアス評価同士の相関係数は、 WinoBias との相関係数と比較しても分かるように 非常に小さな値となった。

表 2 では WEAT とRNSB で全く異なる相関関係 が得られたが、原因として両者が取りうる値の範囲 が考えられる。今ターゲット語集合として $X, Y$ が、 アトリビュート語集合として $A, B$ が与えられてい るとして、単語埋め込みに $X$ を $A$ と関連づけ、 $Y$ を $B$ と関連づけるようなバイアスがあれば、WEAT で もRNSB でもバイアス評価値は正となる。ここでバ イアス削減の結果、この関係が反転し $X$ が $B$ に、 $Y$ が $A$ に結びつけられるようになると WEATでは負 の値を取るのに対し、RNSB では KL ダイバージェ ンスを用いるため依然として正の值を取ることにな
る。つまり WEAT ではステレオタイプなバイアス は正の值として、反ステレオタイプなバイアスは負 の値として計測されるが、RNSBでは両者を区別す ることができない。WinoBias の方ではバイアスの 度合いをステレオタイプセットの性能から反ステ レオタイプセットの性能を引いて求めているため、 WEAT と同様に二種類のバイアスを見分けること ができる。そのため RNSB とは上手く相関しなかっ たのではないかと考えられる。実際に単語埋め込み のバイアス評価值を観察すると WinoBias で負の値 が確認されたのは 1 回だけだったが、WEAT にお いては負の値を取っているものが一定数見られた。 RNSB でも WEAT のようにステレオタイプなバイア スと反ステレオタイプなバイアスを区別できるよう になれば正の相関を持つ可能性がある。

表 3 では直接バイアス評価同士で相関がないこと が示されたが、これは Badilla et al. (2020) [5] での結果に反する。Badilla et al. (2020) ではジェンダーバイ アスの評価については WEAT や RNSB などのバイ アス評価手法で相関があることを発見した。この齯踣は相関関係の計測の仕方によるものと推測され る。本研究では相関関係の計測には単純に相関係数 を使用したのに対し、Badilla et al. (2020) では各バイ アス評価手法で単語埋め込みを順位づけし、その順位間の相関を調査した。WEAT は単語埋め込みのコ サイン類似度について線形に変化するが、RNSB で はロジスティック回帰モデルや KL ダイバージェン スが関係するためより複雑に変化する。この両者を 線形な関係を前提とする相関係数で計測しようとし たために䶡軥が生じた可能性がある。

## 5 おわりに

本研究では Goldfarb-Tarrant et al. (2021) [3] に倣っ てRNSB と WinoBias との相関関係を調査した。結果としては負の相関が観測され、RNSB が信頼に值 する直接バイアス評価手法となるような証拠は得 られなかった。一方で、相関の強さのみをみると WEAT よりも大きな相関を示しており、改良によっ ては WEAT を上回る直接バイアス評価ともなり得 る可能性も示唆された。

## 参考文献

[1] Latanya Sweeney. Discrimination in online ad delivery. Communications of the ACM, Vol. 56, No. 5, pp. 4454, 2013.

[2] Aylin Caliskan, Joanna J. Bryson, and Arvind Narayanan. Semantics derived automatically from language corpora contain human-like biases. Science, Vol. 356, No. 6334, pp. 183-186, 2017. Publisher: American Association for the Advancement of Science.

[3] Seraphina Goldfarb-Tarrant, Rebecca Marchant, Ricardo Muñoz Sánchez, Mugdha Pandya, and Adam Lopez. Intrinsic bias metrics do not correlate with application bias. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1926-1940. Association for Computational Linguistics, 2021.

[4] Chris Sweeney and Maryam Najafian. A transparent framework for evaluating unintended demographic bias in word embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1662-1667. Association for Computational Linguistics, 2019.

[5] Pablo Badilla, Felipe Bravo-Marquez, and Jorge Pérez. WEFE: The word embeddings fairness evaluation framework. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, pp. 430-436. International Joint Conferences on Artificial Intelligence Organization, 2020.

[6] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, and Kai-Wei Chang. Gender bias in coreference resolution: Evaluation and debiasing methods. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 15-20. Association for Computational Linguistics, 2018

[7] Lucas Dixon, John Li, Jeffrey Sorensen, Nithum Thain, and Lucy Vasserman. Measuring and mitigating unintended bias in text classification. In Proceedings of the 2018 AAAI/ACM Conference on Al, Ethics, and Society, AIES '18, pp. 67-73. Association for Computing Machinery, 2018.

[8] Nikola Mrkšić, Ivan Vulić, Diarmuid Ó Séaghdha, Ira Leviant, Roi Reichart, Milica Gašić, Anna Korhonen, and Steve Young. Semantic specialization of distributional word vector spaces using monolingual and cross-lingual constraints. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 309-324, 2017.

[9] Wikipedia. https://www.wikipedia.org/.

[10] Steven Bird, Edward Loper, and Ewan Klein. Natural Language Processing with Python. O' Reilly Media Inc., 2009.

[11] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space, 2013.

[12] Ralph M. Weischedel, Eduard H. Hovy, Mitchell P. Mar- cus, and Martha Palmer. Ontonotes : A large training corpus for enhanced processing. 2017.

[13] Anne Lauscher, Goran Glavaš, Simone Paolo Ponzetto, and Ivan Vulić. A general framework for implicit and explicit debiasing of distributional word vector spaces. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 5, pp. 8131-8138, 2020. Number: 05 .

[14] spaCy $\cdot$ industrial-strength natural language processing in python. https://spacy.io/.

[15] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 188-197. Association for Computational Linguistics, 2017.

[16] Marc Vilain, John Burger, John Aberdeen, Dennis Connolly, and Lynette Hirschman. A model-theoretic coreference scoring scheme. In Sixth Message Understanding Conference (MUC-6): Proceedings of a Conference Held in Columbia, Maryland, November 6-8, 1995, 1995.

[17] Amit Bagga and Breck Baldwin. Entity-based crossdocument coreferencing using the vector space model. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Vol. 1, pp. 79-85. Association for Computational Linguistics, 1998.

[18] Xiaoqiang Luo. On coreference resolution performance metrics. In Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing - HLT '05, pp. 25-32. Association for Computational Linguistics, 2005.

[19] Matt Gardner, Joel Grus, Mark Neumann, Oyvind Tafjord, Pradeep Dasigi, Nelson H. S. Liu, Matthew E. Peters, Michael Schmitz, and Luke Zettlemoyer. A deep semantic natural language processing platform. 2017.


# Efficiently Learning Multilingual Sentence Representation for Cross-lingual Sentence Classification

Zhuoyuan Mao Chenhui Chu Sadao Kurohashi
Kyoto University
\{zhuoyuanmao, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
}

\begin{abstract}
Massively multilingual sentence representation models benefit cross-lingual sentence classification tasks. However, multiple training procedures, the use of a large amount of data, or inefficient model architectures result in heavy computation to train a new model for preferred languages and domains. To address this, we introduce an approach to efficiently learn multilingual sentence representation, using cross-lingual sentence reconstruction and sentencelevel contrastive learning as training objectives. Empirical results show that our model yields significantly better or comparable results on two cross-lingual classification benchmarks. We release our model, which supports 62 languages: https://github.com/Mao-KU/EMS.
\end{abstract
## 1 Introduction

Cross-lingual sentence representation (CSR) models [1, $2,3,4,5,6]$ prove to be essential for cross-lingual transfer on sentence classification tasks without the need for initial training and monolingual model. Thus, CSR models benefit low-resource languages without sufficient training data. However, existing multilingual CSR models, LASER [1], SBERT-distill [4], and LaBSE [3], require a considerable amount of data, complicated model architectures, or monolingual/multilingual pre-trained language models, for which the efficient model training has not been explored.

In this study, we present a computationally lite and effective architecture for training CSR without relying on any large-scale pre-trained language model, which makes it computational lite to train a CSR model according to our preferred domains or language groups and may have a promising future for deploying pre-trained CSR models on memory-limited devices. In particular, we propose cross- lingual token-level reconstruction (XTR) and sentencelevel contrastive learning as training objectives. XTR captures the target token distribution information, whereas the contrastive objective serves to recognize translation pairs. We claim that these two objectives lead to effective language-agnostic sentence representation for the encoderonly model without language model pre-training, and the encoder-only model results in highly efficient model training. Compared with previous work, our CSR model can be trained using significantly fewer training data and less GPU consumption.

Despite the small amount of training data and low-cost training, experimental results demonstrate that our model learned a robustly aligned multilingual sentence representation space. We evaluate the language-agnostic representation based on two classification tasks in a zeroshot manner, document genre classification based on MLDoc [7], and sentiment classification based on Amazon Review dataset version-1 [8]. Empirical results show that our model outperforms LASER and SBERT-distill on MLDoc and Amazon Review dataset and yields comparable performance with LaBSE on Amazon Review dataset.

## 2 Proposed Methods

We conduct massive multilingual CSR learning by employing the dual transformer encoder as the backbone of the training framework and jointly optimizes it with generative and contrastive objectives.

## 2.1 Architecture

We introduce the dual transformer sharing parameters to encode parallel sentences along with several linear layers to extract cross-lingual information and compute the generative and contrastive losses (Fig. 1).

Specifically, as shown in Fig. 1, assume that we have

Figure 1 Training architecture of our model. $\mathbf{u}$ and $\mathbf{v}$ are language-agnostic sentence representations for inference, and the model components in the red dashed rectangle are used for inference. $\mathbf{u}_{l a}$ and $\mathbf{u}_{l a}$ are the target language token representations. $\oplus$ denotes the hidden vector concatenation. A batch sample of the training data is given in the blue dashed box. Orange arrows and dashed box denotes the gold token distributions within the generative objective.

a parallel corpus $\mathbf{C}$ that includes multiple languages $\left.\{l_{1}, l_{2}, \ldots, l_{N}\right.\}$, and each sentence pair $S=\left(S_{l}, S_{l^{\prime}}\right)$ contains a sentence in language $l$ and its translation in language $l^{\prime}$, where $l, l^{\prime} \in\left.\{l_{1}, l_{2}, \ldots, l_{N}\right.\}$, as shown in the blue dashed box in Fig. 1. We use the dual transformer encoder $E$ sharing parameters to encode each sentence pair. Assume that the transformer encoder outputs of $S_{l}$ are $\left(\mathbf{h}_{1}^{\mathrm{T}}, \mathbf{h}_{2}^{\mathrm{T}}, \ldots, \mathbf{h}_{\left.\|S_{l}\right.\|}^{\mathrm{T}}\right)$, where $\left.\|S_{l}\right.\|$ indicates the length of $S_{l}$. We use the mean-pooled hidden states as the languageagnostic sentence representation $\mathbf{u}$ :

$
\mathbf{u}=\frac{1}{\left.\|S_{l}\right.\|} \sum_{i} \mathbf{h}_{i}
$

Similarly, we can obtain $\mathbf{v}$ for $S_{l^{\prime}}$.

Using $\mathbf{u}$ and $\mathbf{v}$, two groups of MLPs are employed to construct two training objectives. After completing the model training, given a sentence in any language, we use the transformer encoder to infer the language-agnostic sentence representation. We can implement cross-lingual downstream tasks in a zero-shot manner using $\mathbf{u}$ or $\mathbf{v}$, as they are representations independent of the specific language.

## 2.2 Generative Objective

Generative objective plays an essential role for CSR learning. Inspired by LASER, we include the generative objective for the one-run model training. However, the presence of the transformer decoder in LASER increases the computational overhead. Instead, we propose XTR to improve the training efficiency while retaining the quality of sentence representation, which circumvents using a decoder.

We compute a target language representation for each sentence by employing a language embedding layer $L_{l a}$ to encode the target language token (e.g., $<2$ en $>$ if the target language is English) to notify the model what the target language is. For each sentence pair $S=\left(S_{l}, S_{l^{\prime}}\right)$,

$
\begin{aligned}
\mathbf{u}_{l a} & =\mathbf{W}_{l a} \mathbf{h}_{l^{\prime}} \\
\mathbf{v}_{l a} & =\mathbf{W}_{l a} \mathbf{h}_{l}
\end{aligned}
$

where $\mathbf{W}_{l a} \in \mathbb{R}^{d_{l a} \times d_{v c b}}$ denotes the parameters of $L_{l a}$. $\mathbf{h}_{l}$ and $\mathbf{h}_{l^{\prime}}$ respectively denote the one-hot embedding of $<2 l\rangle$ and $\left.\langle 2 l^{\prime}\right.\rangle . d_{l a}$ and $d_{v c b}$ denote the dimension of
the language embedding and the size of the vocabulary.

Subsequently, we concatenate the language representation with the sentence representation and use a fully connected layer $L_{f c}$ to transform the concatenated representation for extracting the cross-lingual information. Finally, we use another linear embedding layer $L_{e m b}$ followed by Softmax to transform the representation to present two probability distributions, which are formulated as:

$
\begin{aligned}
q_{S_{l}} & =\operatorname{softmax}\left(\mathbf{W}_{e m b} \sigma_{x t r}\left(\mathbf{W}_{f c}\left(\mathbf{u}_{l a} \oplus \mathbf{u}\right)\right)\right) \\
q_{S_{l^{\prime}}} & =\operatorname{softmax}\left(\mathbf{W}_{e m b} \sigma_{x t r}\left(\mathbf{W}_{f c}\left(\mathbf{v}_{l a} \oplus \mathbf{v}\right)\right)\right)
\end{aligned}
$

where $\mathbf{W}_{e m b} \in \mathbb{R}^{d_{v c b} \times\left(d_{l a}+d\right)}, \mathbf{W}_{f c} \in \mathbb{R}^{\left(d_{l a}+d\right) \times\left(d_{l a}+d\right)}$, and $d$ indicates the dimension of $\mathbf{u}$ (or $\mathbf{v}$ ). $\sigma_{x t r}$ is the activation function in $L_{f c} . \oplus$ indicates concatenation.

Assume that $\mathbf{B}_{i}$ is a batch sampled from the training corpus $\mathbf{C}$. Then, the training loss of the XTR objective for the $\mathbf{B}_{i}$ is formulated as follows:

$
\mathscr{L}_{X T R}^{(i)}=\sum_{S \in \mathbf{B}_{i}}\left(\mathscr{D}_{K L}\left(p_{S_{l^{\prime}}}(\mathbb{W}) \| q_{S_{l}}\right)+\mathscr{D}_{K L}\left(p_{S_{l}}(\mathbb{W}) \| q_{S_{l^{\prime}}}\right)\right)
$

where $\mathscr{D}_{K L}$ denotes KL-divergence and $\mathbb{W}$ indicates the vocabulary set. As illustrated in the orange dashed box in Fig. 1, we use discrete uniform distribution for the tokens in $S_{l}$ to define $p_{S_{l}}$. For each $w \in \mathbb{W}, p_{S_{l}}(w)$ is defined as:

$
p_{S_{l}}(w)=\left.\{\begin{array}{rr}
\frac{N_{w}}{\left.\|S_{l}\right.\|}, & w \in S_{l} \\
0, & w \notin S_{l}
\end{array}\right.
$

where $N_{w}$ indicates the number of words $w$ in sentence $S_{l}$, and $N_{w}$ is 1 in most cases. $\left.\|S_{l}\right.\|$ indicates the length of $S_{l}$. Similarly, we can obtain the definition of $p_{S_{l^{\prime}}}(\mathbb{W})$.

Herein, we use the KL-divergence to measure the similarity between the token distribution of the sentence in the target language and the model output of the sentence in the source language, which helps align the language-agnostic representation space.

## 2.3 Contrastive Objective

We employ a sentence-level contrastive objective as an assisting objective to force the model to grasp similar information of sentences across languages. We demonstrate that the sentence-level contrastive objective is a beneficial model component to jointly assist the generative objective.

Specifically, we employ in-batch sentence-level contrastive learning by discriminating between positive and negative samples for each sentence. Given a sentence, its translation (paired sentence in another language) is deemed as a positive sample, whereas other sentences within the batch are used as the negative samples. Assume that $\mathbf{B}_{i}$ is a batch sampled from the training corpus $\mathbf{C}$, and the j-th sentence pair of $\mathbf{B}_{i}$ is $S^{(i j)}=\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i j)}\right)$. Then the sentence-level contrastive objective for $\mathbf{B}_{i}$ is formulated as:

$
\begin{array}{r}
\mathscr{L}_{\text {cntrs }}^{(i)}=-\sum_{S^{(i j)} \in \mathbf{B}_{i}}\left(\log \frac{\exp \left(\operatorname{sim}\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i j)}\right) / T\right)}{\sum_{S^{(i k)} \in \mathbf{B}_{i}} \exp \left(\operatorname{sim}\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i k)}\right) / T\right)}\right. \\
\left.+\log \frac{\exp \left(\operatorname{sim}\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i j)}\right) / T\right)}{\sum_{S^{(i k)} \in \mathbf{B}_{i}} \exp \left(\operatorname{sim}\left(S_{l}^{(i k)}, S_{l^{\prime}}^{(i j)}\right) / T\right)}\right)
\end{array}
$

where $T$ denotes a temperature hyperparameter to scale the cosine similarity. $\operatorname{sim}\left(S_{l}, S_{l^{\prime}}\right)$ is defined as:

$
\begin{gathered}
\operatorname{sim}\left(S_{l}, S_{l^{\prime}}\right)=\cos \left(\mathbf{h}\left(S_{l}\right), \mathbf{h}\left(S_{l^{\prime}}\right)\right) \\
\mathbf{h}\left(S_{l}\right)=\mathbf{W}_{1} \sigma_{\text {cntrs }}\left(\mathbf{W}_{2} \mathbf{u}\right) \\
\mathbf{h}\left(S_{l^{\prime}}\right)=\mathbf{W}_{1} \sigma_{\text {cntrs }}\left(\mathbf{W}_{2} \mathbf{v}\right)
\end{gathered}
$

where $\mathbf{W}_{1} \in \mathbb{R}^{d_{\text {cntrs }} \times d}$ and $\mathbf{W}_{2} \in \mathbb{R}^{d \times d}$ mean the weights of two fully-connected layers. We use ReLU [9] for $\sigma_{\text {cntrs }}$.

## 2.4 Joint Training

We train the model by jointly optimizing the losses of the proposed generative and contrastive objectives. Specifically, we simultaneously train each batch with:

$
\mathscr{L}^{(i)}=\frac{1}{\left.\|\mathbf{B}_{i}\right.\|}\left(\mathscr{L}_{X T R}^{(i)}+\mathscr{L}_{c n t r s}^{(i)}\right)
$

where $\left.\|\mathbf{B}_{i}\right.\|$ denotes the number of sentence pairs within batch $\mathbf{B}_{i}$, namely, the batch size.

## 3 Evaluation

We used 143M parallel sentences to train a multilingual sentence representation model supporting 62 languages with the above training objectives. Refer to Appendix A for training details.

In this section, we evaluate the performance of our model for two cross-lingual sentence classification tasks in a zeroshot manner. Two evaluation tasks include the MLDoc benchmark [7] and cross-lingual sentiment classification on the first version of the multilingual Amazon Review corpora [8]. We compare with LASER [1], SBERT-distill [4], and LaBSE [3]. ${ }^{1)}$

Table 1 MLDoc benchmark results (zero-shot scenario). We report the mean value of 5 runs.

Table 2 Results of the cross-lingual sentiment classification of Amazon Review. We report the mean value of 5 runs.

## 3.1 MLDoc: Multilingual Document Classification

We evaluate the model performance based on the MLDoc classification task. MLDoc ${ }^{2)}$ is a benchmark to evaluate cross-lingual sentence representations, which contain datasets for eight languages [10]. Following [1], we conduct the evaluation in the zero-shot manner using 1,000 sentences in language $l_{1}$ for training, 1,000 sentences in language $l_{1}$ for validation, and 4,000 sentences in language $l_{2}$ for test. Specifically, we train a multilayer perceptron classifier based on source language representations and test the classifier for the target language. We list the average results of 5 runs for 7 language pairs and 14 directions in Table 1. We significantly observe higher accuracies of our model in most directions than those of LASER and SBERT-distill. These results demonstrate the effectiveness of the proposed training method.

## 3.2 CLS: Cross-lingual Sentiment Classification

Moreover, we gauge the quality of language-agnostic sentence representation based on the sentiment classification task. We use Amazon Review version-1 dataset for evaluation. The dataset [8] includes the data for English-German, English-French, and English-Japanese on "books," "dvd," and "music" domains for each language pair. For each language pair and domain, we use 2,000 sentences in language $l_{1}$ for training, 2,000 sentences in language $l_{1}$ for validation, and 2,000 sentences in language $l_{2}$ for test. Same as on MLDoc, we train a multi-layer percep-

tron using the language-agnostic sentence representations in language $l_{1}$ and test the classifier for another language. As listed in Table 2, our model significantly outperforms LASER and SBERT-distill, and performs comparably to LaBSE, which proves the effectiveness of our model.

## 3.3 Training Efficiency

We used 143M parallel data for training, which is much less than competing models. The loss nearly converged after being trained for 0.5 epochs and converged completely after 3 epochs, whereas LASER is trained for 17 epochs till convergence. Concerning the training time, SBERTdistill and LaBSE rely on large-scale pre-trained models; thus, both their pre-training and fine-tuning require heavy computation. LASER is trained with 80 V100 GPU $\times$ days, while our model requires 5 V100 GPUxdays to nearly converge and 20 V100 GPUxdays to converge fully, which indicates 4 16 times speedup compared with LASER.

## 4 Conclusion

This study presents an efficient method to train languageagnostic sentence representation for cross-lingual sentence classification. To improve training efficiency while retaining the quality of sentence representations, we propose a novel framework to jointly train "XTR" generative and sentence-level contrastive objectives. The empirical results based on two cross-lingual sentence classification tasks demonstrate the effectiveness of our model. We plan to further shrink the model architecture based on knowledge distillation for faster inference experience in the future.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 22J13719 and Samsung, SDS.

## References

[1] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Trans. Assoc. Comput. Linguistics, Vol. 7, pp. 597-610, 2019.

[2] Yinfei Yang, Daniel Cer, Amin Ahmad, Mandy Guo, Jax Law, Noah Constant, Gustavo Hernández Ábrego, Steve Yuan, Chris Tar, Yun-Hsuan Sung, Brian Strope, and Ray Kurzweil. Multilingual universal sentence encoder for semantic retrieval. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, ACL 2020, Online, July 5-10, 2020, pp. 87-94. Association for Computational Linguistics, 2020.

[3] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2022, Dublin, Ireland, May 22-27, 2022, pp. 878-891. Association for Computational Linguistics, 2022.

[4] Nils Reimers and Iryna Gurevych. Making monolingual sentence embeddings multilingual using knowledge distillation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 4512-4525. Association for Computational Linguistics, 2020.

[5] Zhuoyuan Mao, Prakhar Gupta, Chenhui Chu, Martin Jaggi, and Sadao Kurohashi. Lightweight crosslingual sentence representation learning. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, ACL/IJCNLP 2021, (Volume 1: Long Papers), Virtual Event, August 1-6, 2021, pp. 2902-2913. Association for Computational Linguistics, 2021

[6] Zhuoyuan Mao, Prakhar Gupta, Chenhui Chu, Martin Jaggi, and Sadao Kurohashi. Learning cross-lingual sentence representations for multilingual document classification with token-level reconstruction. 言語処理学会 第 27 回年次大会, pp. 1049-1053, 2021.

[7] Holger Schwenk and Xian Li. A corpus for multilingual document classification in eight languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, LREC 2018, Miyazaki, Japan, May 7-12, 2018. European Language Resources Association (ELRA), 2018.

[8] Peter Prettenhofer and Benno Stein. Cross-language text classification using structural correspondence learning. In ACL 2010, Proceedings of the 48th Annual Meeting of the Association for Computational Linguis- tics, July 11-16, 2010, Uppsala, Sweden, pp. 11181127. The Association for Computer Linguistics, 2010.

[9] Vinod Nair and Geoffrey E. Hinton. Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th International Conference on Machine Learning (ICML-10), June 21-24, 2010, Haifa, Israel, pp. 807-814. Omnipress, 2010.

[10] David D. Lewis, Yiming Yang, Tony G. Rose, and Fan Li. RCV1: A new benchmark collection for text categorization research. J. Mach. Learn. Res., Vol. 5, pp. 361-397, 2004.

[11] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. Wikimatrix: Mining 135m parallel sentences in 1620 language pairs from wikipedia. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 - 23, 2021, pp. 1351-1361. Association for Computational Linguistics, 2021.

[12] Junjie Hu, Sebastian Ruder, Aditya Siddhant, Graham Neubig, Orhan Firat, and Melvin Johnson. XTREME: A massively multilingual multi-task benchmark for evaluating cross-lingual generalisation. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event, Vol. 119 of Proceedings of Machine Learning Research, pp. 4411-4421. PMLR, 2020.

[13] Zeljko Agic and Ivan Vulic. JW300: A wide-coverage parallel corpus for low-resource languages. In Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 3204-3210. Association for Computational Linguistics, 2019

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[15] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A Training Details

## A. 1 Training Data

We collected parallel corpora for 62 languages from OPUS. ${ }^{3)}$ The 62 languages that we selected cover all the languages in [11] and the languages suggested by the crosslingual generalization benchmark, XTREME [12]. Parallel corpora used for training include Europarl, GlobalVoices, ${ }^{4)}$ NewsCommentary, ${ }^{5)}$ OpenSubtitles, ${ }^{6)}$ Ted, ${ }^{7)}$ UNPC, ${ }^{8)}$ WikiMatrix, ${ }^{9)}$ Tatoeba. ${ }^{10)}$

The aforementioned training data leads to a $143 \mathrm{M}$ parallel corpus, which is much less than LASER. Moreover, we excluded the JW300 [13] corpus and pruned OpenSubtitles and UNPC corpora and included less training data than SBERT-distill. ${ }^{11)}$ In addition, [3] used 6B parallel data to fine-tune the pre-trained mBERT, which leads to enormous computational resource consumption and is impractical to reproduce. However, the proposed model used a limited number of parallel sentences while retaining the sentence representation performance.

## A. 2 Training Details

We employed Transformer [14] encoder as the basic unit of the training architecture (Fig. 1). We conducted a grid search for optimal hyperparameter combinations by observing the validation loss on the WikiMatrix validation datasets (Table 3).

As a result, the dual transformer encoder sharing parameters has 6 layers, 16 attention heads, a hidden size of 1,024 , and a feed-forward size of 4,096. The transformer encoder can be substituted by encoders with other structures. $d, d_{v c b}, d_{l a}$, and $d_{c n t r s}$ are $1,024,60,000,128$, and 128, respectively. We set 0.1 for the temperature $T$ of the contrastive objective.

For the model training, we fed the parallel sentences into the dual transformer encoder and truncated the sentences up to 120 tokens. ${ }^{12)}$ We trained three epochs for the entire

3) https://opus.nlpl.eu/

4) http://casmacat.eu/corpus/global-voices.html

5) https://statmt.org/

6) opensubtitles.org

7) https://opus.nlpl.eu/TED2020.php

8) https://opus.nlpl.eu/UNPC.php

9) https://opus.nlpl.eu/WikiMatrix.php

10) https://tatoeba.org/

11) [11] used JW300 and all of the entire corpora we used.

12) Although LASER and SBERT-distill allowed much longer sen-
Table 3 Values of the hyperparameters tuned by grid search. Bold denotes the best hyperparameter combination.

training corpus with the Adam optimizer [15], the learning rate of 0.0003 with the linear warm-up strategy of 10,000 steps, a weight decay of 0.00001 , and a dropout ${ }^{13)}$ of 0.1 for the transformer encoder. We used four V100 GPUs to conduct the model training with a batch size of 152 parallel sentences.

## A. 3 Model Release

We release our model at https://github.com/ Mao-KU/EMS. Our model supports the encoding of the following 62 languages: af, ar, bg, bn, ca, cs, da, de, el, en, eo, es, et, eu, fa, fi, fr, gl, gu, he, hi, hr, hu, hy, id, it, ja, jv, ka, kk, ko, ku, lt, lv, mk, ml, mn, mr, ms, my, nb, nl, pl, pt, ro, ru, sk, sl, sq, sr, sv, sw, ta, te, th, tl, tr, uk, ur, vi, yo, zh. $^{14)}$

tences during the training phase, we demonstrate that 120 tokens are sufficient for a single sentence with the complete semantics. For the evaluation, documents longer than 120 tokens can be separated into several sentences, which would not limit the usage of our model.

13) the hidden and attention dropouts

14) Refer to https://en.wikipedia.org/wiki/List_of_Iso_ 639-1_codes for language codes.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 白色化が単語埋め込みに及ぼす効果の検証

佐々木翔大 ${ }^{1,2}$ Benjamin Heinzerling 1,2 鈴木潤 ${ }^{2,1}$ 乾健太郎 ${ }^{2,1}$
1 理化学研究所 2 東北大学
\{shota.sasaki.yv, benjamin.heinzerling\}@riken.jp
\{jun.suzuki, kentaro.inui\}@tohoku.ac.jp

## 概要

深層ニューラルネットワークに基づく自然言語処理では必須の要素となる静的あるいは文脈化単語埋 め込みには，空間的な偏り（異方性）が存在し，そ の能力を十分にいかせていないことが実証されてい る.この異方性を緩和する方法として，白色化があ る. 白色化は標準的な線形変換であるが，実験的に 性能が向上することが報告されている。しかし，性能向上の理由は自明ではなく，理論的あるいは実験的な分析が望まれる. 本研究では，白色化が単語埋 め込みに及ぼす意味的な影響を明らかにするための 実験を行う．実験結果から，白色化は，静的単語埋 め込みに対しては単語頻度バイアス除去効果を示 し, 文脈化単語埋め込みに対しては単語頻度バイア ス除去効果以外の効果を持つことが示唆された. ${ }^{1)}$

## 1 はじめに

静的単語埋め込み（Static Word Embeddings, SWE) $[1,2]$ ，および文脈化単語埋め込み (Contextualized Word Embeddings, CWE）[3,4,5] は，現代の自然言語処理システムにおいて必須の基盤技術である. こ のような埋め込みを作成する目的は，単語，フレー ズ，文の “意味”を捉えた表現を計算することであ る.しかしながら，ジェンダーバイアス [6]，ソー シャルバイアス [7] などの学習データに固有のバイ アスも反映してしまうことが報告されている. SWE については，高頻度単語が特定の方向に沿って集中 する単語頻度バイアスが存在することが先行研究に より示されている [8]. このような単語ベクトルの 非一様な角度分布（異方性）は，埋め込み空間の非効率的な利用につながる。また，単語頻度バイアス の介在する埋め込み空間においては，頻度の高い単語は，意味が似ていないにもかかわらず，類似のべ

クトルで表現されることになる.このことから一般 に，単語埋め込み空間の異方性は改善すべきである と考えられている.

単語埋め込み空間の異方性の影響を軽減するため に，いくつかの等方化手法が提案されている. 本研究では，最もシンプルな等方化手法として注目され ている白色化に焦点を当てる. 白色化は空間的に相関のある（異方的な）ベクトル集合を，相関のない （等方的な）ベクトル集合に変換する線形変換であ る. 白色化は標準的なデータ変換技術であるが，特 に CWE などの単語埋め込みへ適用する研究は最近 になって登場した $[9,10]$. これらの先行研究では, CWE を対象とした等法化手法の中で白色化が他の 手法よりも優れていることを報告している。しかし ながら，白色化の欠点は，様々な種類のバイアスや 埋め込みの意味的特性への影響が十分に調査されて いない点である．本論文では，白色化が単語埋め込 みに及ぼす意味的な影響に関する初期分析を行う。

事前分析では，白色化の効果は単語頻度バイアス 除去の効果を含んでいることが示された. そこで，白色化の効果が単語頻度バイアス除去のみであるか どうかを本論文の Research Question とする．白色化 の効果をより明確化するために，単語頻度バイアス 除去のみを行う手法を利用する．具体的には，埋め 込みにおける単語頻度バイアスを除去することのみ に着目した再構築に基づく単語頻度バイアス除去手法 (RFD) を提案し, 白色化と RFD の挙動を比較する. その結果，SWE では単語頻度バイアスが，CWE で は単語頻度バイアスに加え，それ以外のバイアスが 除去されることが示唆された。

## 2 背景

## 2.1 SWE と CWE における異方性

単語埋め込みにおける異方性に関してはこれまで 多くの議論がなされてきた. Mu ら [8] は，SWE の

図 1: GloVe の単語埋め込みに白色化を適用する前（左図）と後（右図）の第 1 ，第 2 主成分 $\left(\alpha_{1} . \alpha_{2}\right)$ の可視化．各点が単語に対応し，点の色が単語の頻度を表す．黒は高頻度，黄色は低頻度であることを表す。

第一主成分と第二主成分に単語の頻度情報が埋め 込まれており，SWEの異方性の原因であると報告 した. Li ら [11] は, BERT [4] の単語埋め込み層の ベクトルに単語頻度のバイアスがあることを実証的に示した. また, Liang ら [12] は, 単語頻度の対数と単語ベクトルのノルム, 平均コサイン類似度の 間に相関があることを報告した。頻度のバイアスに 加え，CWEにおける外れ値の次元も最近注目され ている. Luo ら [13], Kovaleva ら [14] は, BERT と RoBERTa [15] の埋め込みにおいて，他の次元よりも 有意に高い値を持つ次元を特定し，埋め込みにおけ る異方性の原因であることを示唆した。

## 2.2 白色化による等方化

白色化とは，ベクトル集合を，共分散行列が恒等行列であるべクトル集合に変換する線形変換であ る. 共分散行列が恒等行列であるということは，変換によって各次元が無相関化され, 分散が 1 になる ことを意味する．定義から，白色化された単語埋め 込みは，より等方的になるといえる。

一般に機械学習において, 白色化は学習データの バイアスを軽減する目的で，特徴量ベクトルの集合 に適用されている $[16,17]$. バイアスを軽減するこ とで，深層学習モデルが高品質な表現を学習し，モ デルの収束が早まることが報告されている. 白色化 は任意のベクトル集合に適用できる汎用的なアルゴ リズムであるため，CWE で得られた文べクトルに も適用することが可能である. Huang ら [9] は CWE の異方性の問題に対処するために，CWE に白色化 を適用し，CWE の性能を向上したことを報告した。白色化は数学的には明確に定義された変換である
が，SWE や CWE に適用したときに，白色化によっ てどのような情報, どのように変換されるかを明ら かではない. 本研究では, 白色化が SWE と CWE に 及ぼす効果を明らかにすることを目的する。

## 3 事前分析

本節では，白色化の単語埋め込みに及ぼす効果 を探るための予備的な分析を行う. Mu ら [8] は， GloVe [2] とWord2Vec [1] の単語埋め込み行列を対象に主成分分析を行い，その第 1 , 第 2 主成分が単語の頻度と相関があることを観察し，単語頻度バイ アスの存在を示唆した. ここで $\mathrm{Mu}$ らと同様に単語埋め込み行列の主成分分析を, 白色化の適用前/後の 埋め込みを対象に行う. 図 1 にその結果を示す. 白色化適用前は，単語の頻度と主成分方向の成分の値 に相関がある，つまり単語埋め込みに単語の頻度バ イアスが存在することを示唆しており，これは $\mathrm{Mu}$ ら [8] の報告と一致する. しかしながら, 白色化適用後の埋め込みの主成分には，単語の頻度バイアス 観察できなかった.したがって，白色化には単語の 頻度バイアスを軽減する効果がある事がわかった。分析結果を受けて，本論文では白色化の効果をよ り明確化することを目的とする．具体的には，白色化が単語頻度バイアスの除去と等価であるのか，そ れ以外の効果を有するかを確認することが本研究の Research Question である．実験では，白色化と次の 4 節で導入する単語頻度バイアスの除去手法を同時 にモデルに適用する実験を行う，白色化と単語頻度 バイアス除去の両者を同時に適用した時，それぞれ の効果が独立していれば，それぞれの効果による性能向上が期待できるが，両者の効果が重複していれ

## ば，性能向上は限定的となることが予想される。

## 4 再構築に基づく単語頻度バイアス 除去手法

本節では，元の単語埋め込みの品質に影響を与え ず，単語頻度バイアスを除去することのみに焦点を 当てた手法を導入する. 敵対的学習を通してバイア ス除去を達成する基本方針は Gong ら [18] の手法と 同様である，単語埋め込みは，対象の単語が高頻度 クラスに属するか低頻度クラスに属するかを識別 しようとする識別器を欺くためにチューニングさ れる. Gong らが目的タスクに関する損失を定義し た代わりに，本手法では Glove や BERT などの事前学習された単語埋め込みの性質をできるだけ保持 することを目的とした再構築損失を導入する．以降，本手法を単語埋め込みの再構築に基づく単語頻度バイアス除去手法 (Reconstruction-based frequency debiasing, RFD) と呼ぶ.

はじめに SWE に対する学習手順を説明する．語彙中の単語集合を $\mathscr{W}, \boldsymbol{e}(w)$ を事前学習された単語 $w$ の単語埋め込み, $\boldsymbol{v}\left(w ; \theta^{\mathrm{emb}}\right)$ を学習対象の単語埋 め込みとする. ここで $\theta^{\mathrm{emb}} \in \mathbb{R}^{d \times V}$ は単語埋め込み の重み行列である.また， $d$ は単語埋め込みの次元数, $V(=|\mathscr{W}|)$ は語彙サイズである. SWE の再構築損失は以下のように定義される。

$
L_{R_{\text {swe }}}\left(\mathscr{W} ; \theta^{\mathrm{emb}}\right)=\sum_{w \in \mathscr{W}}\left.\|\boldsymbol{e}(w)-\boldsymbol{v}\left(w ; \theta^{\mathrm{emb}}\right)\right.\|_{2}^{2} .
$

次に, [18] らに従って識別器損失を定義する. はじ めに, 語彙 $\mathscr{W}$ を高頻度単語集合 $\mathscr{W}_{\text {pop }}$ と低頻度単語集合 $\mathscr{W}_{\text {rare }}$ に 2 分割する. $\mathscr{W}_{\text {pop }}$ は頻度の上位 $t \%$ の 単語で構成され, $\mathscr{W}_{\text {rare }}=\mathscr{W} \backslash \mathscr{W}_{\text {pop }}$ とする. また $f_{\theta} D$ を単語の頻度クラスを出力する 2 值分類を行う識別器とする。識別器損失は以下のように定義される。

$
\begin{aligned}
L_{D_{\text {swe }}}\left(\mathscr{W} ; \theta^{D}, \theta^{\text {emb }}\right) & =\frac{1}{\left|\mathscr{W}_{\text {pop }}\right|} \sum_{w \in \mathscr{W}_{\text {pop }}} \log A \\
& +\frac{1}{\left|\mathscr{W}_{\text {rare }}\right|} \sum_{w \in \mathscr{W}_{\text {rare }}} \log (1-A)
\end{aligned}
$

ここで $A=f_{\theta^{D}}\left(\boldsymbol{v}\left(w ; \theta^{\mathrm{emb}}\right)\right)$ とした. 最後にパラメー 夕 $\theta^{\mathrm{emb}}$ と $\theta^{D}$ を敵対的学習の手順で最適化する.

$
\underset{\theta^{\text {emb }}}{\arg \min } \underset{\theta^{D}}{\arg \max } L_{R_{\text {swe }}}\left(\mathscr{W} ; \theta^{\text {emb }}\right)-\lambda L_{D_{\text {swe }}}\left(\mathscr{W} ; \theta^{D}, \theta^{\mathrm{emb}}\right),
$

ここでגはハイパーパラメータである. CWEを対象にした際の定式化は付録 A. 1 に記述する。

## 5 実験

データセット 単語埋め込みの品質を評価するた めに，Semantic Textual Similarity (STS) タスクを採用 する。具体的には，公正な比較ための STS の標準的 データセットである STS Benchmark (STS-B) データ セット [19]を使用する2)3)．このデータセットは文 のペアとその間の類似度スコアを人手で付与したも ので構成されている。類似度スコアは 0 から 5 の範囲である.

評価 先行研究 $[9,20]$ に従い，正解類似度スコア とモデルによって算出される文類似度の間のスピア マン順位相関で評価する．モデルが出力する文間の 類似度としては, 文べクトル同士のコサイン類似度 を採用する。

実験設定 SWE として 2 種類の GloVe 埋め 込み ${ }^{4)}$ (Glove840B, Glove6B) と Google News Embeddings $^{5}$ (GNews) を使用する. Glove840B は 8400 億 トークンを含む Common Crawl データセットで， GloVe6B は 60 億トークンを含む Wikipedia と Gigaward データセットで学習されている. GNews は CBOW アルゴリズム [21]を用いて， 1000 億トー クンを含む Google ニュースデータセットで学習 されている. CWEとしては Huggingface Transformer Library [22] の BERT-base [4], DistilBERT-base [23], RoBERTa-base [15] モデルを使用する.

実験では，SWE と CWE それぞれについて，以下 の 4 つの設定を比較する.

1. Vanilla モデル：後処理を適用しない生のモデル

2. 白色化モデル (-wh)：白色化を適用したモデル

3. 単語頻度バイアス除去モデル (-Fdeb) : 単語頻度バイアス除去手法を適用したモデル

## 4. 単語頻度バイアス除去・白色化モデル (-Fdeb-wh)：頻度バイアス除去手法を適用 した後に白色化を適用したモデル

単語頻度バイアス除去手法には，4 節で導入した RFDを用いる。

2）STS タスクを用いて評価する際，シェアドタスクで年ごと に提供されたデータセット（例えばSTS-14 など）が利用さ れる場合がある。これが原因で訓練，開発，評価セットの区分に関して統一的な規範が存在せず，公平な性能比較が難し かった. Cer らは [19] はこうした現状を踏まえて，過去に提供されたデータセットから質の良いデータを選択し，訓練，開発，評価セットの公式区分をSTS-Bとして提供した。

3) https://ixa2.si.ehu.eus/stswiki/index.php/ STSbenchmark

4) https://nlp.stanford.edu/projects/glove/

5) https://code.google.com/archive/p/word2vec/

(a) GloVe840B

(b) BERT

図 2: STS-B の開発セット（Dev）と評価セット（Test）における実験結果. モデル性能は正解スコアとモデル の予測した類似度の間のスピアマン順位相関係数によって評価した。

SWE モデルについては，文中の全単語の単語埋 め込みを平均することで文べクトルを算出する。 CWE モデルについては, Huang ら [9] に従い，第 1 隠れ層と最終隠れ層の単語埋め込みを平均する。そ の他の詳細な実験設定は付録 A. 2 に示す.

実験結果Glove840B と BERT モデルの性能を図 2 に示す. その他のモデルの結果は付録 A の図 4,5 に示す. 実験結果から以下のことが観察された。

（i） SWE，CWE のいずれの実験でも，白色化によ り性能が向上した. 特に, CWE モデルの性能 が大きく向上した.

(ii）GNews を除く全てのモデルにおいて，RFD，つ まり単語頻度バイアス除去の効果による性能向上が確認された. 特に, GloVe840B-Fdeb は 評価セットにおいて Glove840B よりも 7.7 ポ イント性能が向上した.

(iii) SWE の-Fdeb-wh モデルは-Fdeb モデルに対し て大きな改善は見られなかった。

(iv) SWE とは異なり，CWEの-Fdeb-wh モデルで は-Fdeb モデルに対して大きな改善が見ら れた。

観測（i）は，先行研究 [9] の結果と一貫している.観測 (ii)について, GloVe などの SWE モデルに対す る単語頻度バイアス除去による性能向上幅は CWE モデルに対するそれよりも高かった。これは図 3 か ら示唆されるように, GloVe の方が単語頻度バイア スが強いためであると推測される。

観測 (iii)，(iv) に関して，もし，白色化と単語頻度バイアス除去の効果が独立しているのであれば，両者をモデルに適用した際，それぞれの効果による性能向上が期待できるはずである。しかしながら SWE については，-Fdebと-Fdeb-whの間に有意な差 は見られなかった（観測 (iii)）。こことから，SWE に対する白色化の効果は，単語頻度バイアス除去の 効果と概ね等価であるか，両者の間に大きな重複が あることが明らかになった。一方，観測 (iv) から， CWE では，SWE にはない CWE に固有のバイアス の補正など，単語頻度バイアス除去とは別の効果が あることが示唆された. 考えられる効果の一つとし て, Luo ら [13], Kovaleva ら [14] が報告した外れ値問題を補正する効果があると推測しているが，この 点についてはさらなる調査が必要である.

## 6 おわりに

本研究では，等方化手法として昨今注目を集めて いる白色化に焦点を当て，白色化が単語埋め込みに 及ぼす意味的な影響に関する初期分析を行った. 特 に，SWE と CWE に白色化を適用した際の単語頻度 バイアスの変化を分析した.

事前分析では，白色化の効果は部分的に単語頻度 バイアス除去の効果を含んでいることを示した. 次 に，単語頻度バイアスを除去することのみに特化し た単語頻度バイアス除去手法 (RFD) を提案し，白色化と RFD の挙動を比較することで白色化の効果をよ り明確にすることを試みた。実験結果から，白色化 は，静的単語埋め込みに対しては単語頻度バイアス の除去効果を示し，文脈化単語埋め込みに対しては 単語頻度バイアス除去効果以外の効果を持つことが 示唆された。

## 謝辞

本研究は JST CREST JPMJCR20D2，JSPS 科研費 JP21H04901，JP21K17814，JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである.

## 参考文献

[1] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, pp. 3111-3119, 2013.

[2] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global Vectors for Word Representation. In Proceedings of EMNLP, pp. 1532-1543, 2014.

[3] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of NAACL, pp. 2227-2237, 2018.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, pp. 4171-4186, 2019

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020

[6] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Ryan Cotterell, Vicente Ordonez, and Kai-Wei Chang. Gender bias in contextualized word embeddings. In Proceedings of NAACL, pp. 629-634, 2019.

[7] Masahiro Kaneko and Danushka Bollegala. Unmasking the mask - evaluating social biases in masked language models. In Proceedings of AAAI, p. 13, 2022.

[8] Jiaqi Mu and Pramod Viswanath. All-but-the-top: Simple and effective postprocessing for word representations. In Proceedings of ICLR, p. 25, 2018.

[9] Junjie Huang, Duyu Tang, Wanjun Zhong, Shuai Lu, Linjun Shou, Ming Gong, Daxin Jiang, and Nan Duan. WhiteningBERT: An easy unsupervised sentence embedding approach. In Findings of EMNLP, pp. 238-244, 2021.

[10] Jianlin Su, Jiarun Cao, Weijie Liu, and Yangyiwen Ou. Whitening sentence representations for better semantics and faster retrieval. arXiv preprint arXiv:2103.15316, 2021.

[11] Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, and Lei Li. On the sentence embeddings from pre-trained language models. In Proceedings of EMNLP, pp. 9119-9130, 2020.

[12] Yuxin Liang, Rui Cao, Jie Zheng, Jie Ren, and Ling Gao. Learning to remove: Towards isotropic pre-trained bert embedding. In Artificial Neural Networks and Machine Learning - ICANN 2021, pp. 448-459. Springer-Verlag,
2021.

[13] Ziyang Luo, Artur Kulmizev, and Xiaoxi Mao. Positional artefacts propagate through masked language model embeddings. In Proceedings of ACL-IJCNLP, pp. 53125327, 2021.

[14] Olga Kovaleva, Saurabh Kulshreshtha, Anna Rogers, and Anna Rumshisky. BERT busters: Outlier dimensions that disrupt transformers. In Findings of ACL-IJCNLP, pp. 3392-3405, 2021.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[16] Adam Coates, Andrew Ng, and Honglak Lee. An analysis of single-layer networks in unsupervised feature learning. In Geoffrey Gordon, David Dunson, and Miroslav Dudík, editors, Proceedings of International Conference on Artificial Intelligence and Statistics, Vol. 15, pp. 215223. PMLR, 2011.

[17] Marc' AurelioRanzato, Alex Krizhevsky, Geoffrey Hinton. Factored 3-way restricted boltzmann machines for modeling natural images. In Yee Whye Teh and Mike Titterington, editors, Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, Proceedings of Machine Learning Research, pp. 621-628. PMLR, 2010

[18] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. FRAGE: Frequency-agnostic word representation. In Proceedings of NIPS, Vol. 31, p. 12 pages. Curran Associates, Inc., 2018.

[19] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of SemEval, pp. 1-14, 2017.

[20] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of EMNLP-IJCNLP, pp. 3982-3992, 2019.

[21] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of EMNLP, pp. 38-45, 2020.

[23] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

## A 付録

図 3: BERT の単語埋め込みに白色化を適用する前と後の第 1 ,第 2 主成分 $\left(\alpha_{1}, \alpha_{2}\right)$ の可視化.

## A. 1 CWE を対象にした際の RFD

隠れ層を対象に最適化を行う。ここで $\mathscr{W}_{S}$ を文 $s$ 内の単語（も しくはサブワード）の集合とし， $\mathscr{~}$ CWE モデル中の層から 選択されたのターゲット層の集合とする。また $s$ をエンコー ドした際の単語 $w$ の $l$ 番目の層のベクトルを $\boldsymbol{e}^{l}(w, s)$ とする. $\boldsymbol{v}^{l}\left(w, s ; \theta^{\mathrm{emb}}\right)$ は $\boldsymbol{e}^{l}(w, s)$ と同様であるが，学習対象のパラメー 夕 $\theta^{\mathrm{emb}}$ を持つ学習対象の CWE モデルから得る埋め込みべクト ルとする. CWE のための再構築損失と識別器損失は以下のよう に定義される。

$
\begin{gathered}
L_{R_{\text {cwe }}}\left(\mathscr{C} ; \theta^{\mathrm{emb}}\right)=\sum_{s \in \mathscr{C}} \sum_{w \in \mathscr{W}_{s}} \sum_{l \in \mathscr{L}}\left.\|\boldsymbol{e}^{l}(w, s)-\boldsymbol{v}^{l}\left(w, s ; \theta^{\mathrm{emb}}\right)\right.\|_{2}^{2} \\
L_{D_{\text {cwe }}}\left(\mathscr{C} ; \theta^{D}, \theta^{\mathrm{emb}}\right)=\sum_{s \in \mathscr{C}} \sum_{w \in \mathscr{W}_{s}} \sum_{l \in \mathscr{L}} L_{D_{\text {cwe }}^{\prime}}^{\prime}\left(w, l ; \theta^{D}, \theta^{\mathrm{emb}}\right), \\
L_{D_{\text {cwe }}^{\prime}}^{\prime}\left(w, l ; \theta^{D}, \theta^{\mathrm{emb}}\right)=\frac{1}{\left|\mathscr{W}_{s, \text { pop }}\right|} \sum_{w \in \mathscr{W}_{s, \text { pop }}} \log B \\
+\frac{1}{\left|\mathscr{W}_{s, \text { rare }}\right|} \sum_{w \in \mathscr{W}_{s, \text { rare }}} \log (1-B),
\end{gathered}
$

ここで $B=f_{\theta^{D}}\left(\boldsymbol{v}^{l}\left(w, s ; \theta^{\mathrm{emb}}\right)\right)$ とした. ただし $\mathscr{W}_{s, \text { pop }}=\mathscr{W}_{s} \cap \mathscr{W}_{\text {pop }}$ and $\mathscr{W}_{s, \text { rare }}=\mathscr{W}_{S} \backslash \mathscr{W}_{S \text {,pop }}$ である.

目的関数は以下のように定義される.

$
\underset{\theta^{\text {emb }}}{\arg \min } \underset{\theta^{D}}{\arg \max } L_{R_{\text {cwe }}}\left(\mathscr{C} ; \theta^{\text {emb }}\right)-\lambda L_{D_{\text {cwe }}}\left(\mathscr{C} ; \theta^{D}, \theta^{\text {emb }}\right) .
$

図 4: STS-B におけるSWE に関する実験結果（スピアマン順位相関係数 $\rho \times 100)$.

図 5: STS-Bにおける CWE に関する実験結果（スピアマン順位相関係数 $\rho \times 100)$.

## A. 2 実験設定の詳細

式 4，5 のターゲット層集合としては，様々な選択肢がある.例えば，ターゲット層をモデル内部の全ての層とすることも可能 である. 本研究では, 第 1 層と最終層を含むターゲット層集合の 中で最も簡易なもの，つまり，BERT と RoBERTa では $\mathscr{L}=[1,12]$, DistilBERT では $\mathscr{L}=[1,6]$ を選択した. これは, 第 1 層と最終層 の単語埋め込みを平均すると最も良い性能を達すると報告した Huang ら [9] の研究に由来する. 訓練コーパス $\mathscr{C}$ としては，STS データセットの文集合を用いた.

高頻度単語集合の間値としては $t=10$ を用いた. 予備実験 においてバッチサイズに変更を加えても性能に影響がなかっ たため, バッチサイズは 128 に固定した. 式 3 と式 7 の $\lambda$ は $[0.02,0.1]$ から探索した. これは, Gong ら [18] の実装6) におけ るデフォルト推奨設定が $\lambda=0.02$ である一方で，彼らの論文内 では $\lambda=0.1$ を使用した旨が記載されていることに由来する. また，学習率は $[1 e-3,5 e-3,1 e-2]$ から，学習エポック数は $[1,3,5,10,20,30,40,50]$ から探索した. 全ての探索は STS-B の 開発セットで行った。

6) https://github.com/ChengyueGongR/Frequency-Agnostic


# 学術ドメインに特化した日本語事前訓練モデルの構築

山内 洋輝 1 梶原 智之 ${ }^{1}$ 桂井麻里衣 ${ }^{2}$ 大向一輝 3,4 二宮崇 ${ }^{1}$
1 愛媛大学 2 同志社大学 3 東京大学 4 国立情報学研究所
yamauchi@ai.cs.ehime-u.ac.jp \{kajiwara,ninomiya\}@cs.ehime-u.ac.jp
katsurai@mm.doshisha.ac.jp i2k@l.u-tokyo.ac.jp

## 概要

本研究では、日本語の学術文書を用いて RoBERTa および BARTを事前訓練し、公開する。近年の自然言語処理では、事前訓練モデルの転移学習によっ て、様々なタスクの性能が向上している。特に、専門用語の扱いが重要となる医療や学術などのドメイ ンにおいては、目的ドメインに特化した事前訓練の 有効性が報告されている。我々は、学術データベー ス CiNii Articles の論文抄録を用いて、日本語の学術 ドメインにおける事前訓練モデルを構築する。科研費の研究課題名を対象とする評価実験の結果、汎用 モデルに対する提案モデルの有効性を確認した。

## 1 はじめに

様々な分野と言語において、研究成果が学術論文 として日々Web 上に蓄積されている。例えば、自然言語処理の分野の英語論文は ACL Anthology ${ }^{1)}$ 上に 現在およそ 8.1 万件が公開されている。これらの大量の学術論文から人手で漏れなく知識を得るには大 きなコストがかかるため、自然言語処理を用いた情報抽出 $[1]$ および知識獲得 $[2,3]$ が期待されている。現在主流の深層学習に基づく自然言語処理では、高品質なモデルを得るために、大規模なラベル付き コーパスを用いた教師あり学習が有効である。しか し、学術分野などの専門用語の扱いが重要なドメイ ンにおいては、専門知識を持つアノテータが必要で あり、アノテーションのコストが非常に高い。その ため、様々なドメイン・タスク・言語において、大規模なラベル付きコーパスが得られない少資源問題 が大きな課題となっている。

近年の自然言語処理では、少資源問題の対策とし て、BERT [4] や BART [5] のような大規模な生コー パスを用いた事前訓練モデルの転移学習が広く利

1) https://aclanthology.org/用されている。特に、医療 [6] ・学術 [7, 8] ・ SNS [9] などのドメインでは、目的ドメインに特化した事前訓練の有効性が報告されている。日本語では、 Wikipedia ${ }^{2}$ や CC100 [10] を用いて事前訓練された汎用モデル334)5) とともに、医療 [11] や $\mathrm{SNS}^{6}$ の のドメイ ンに特化した事前訓練モデルが公開されている。し かし、SciBERT [7]のような、学術ドメインに特化し た日本語の事前訓練モデルは公開されていない。

本研究では、日本語における学術ドメインの自然言語処理の性能改善のために、学術データベース $\mathrm{CiNii} \mathrm{Articles}^{7)}$ の論文抄録を用いて事前訓練モデル を構築した。我々は、CiNii Articles に所蔵されてい る日本語論文のうち約 127 万件から抽出した約 628 万文の論文抄録テキストを用いて、RoBERTa [12] および BART [5] に相当する事前訓練を行った。前者は、テキスト分類などの利用を想定した事前訓練済みエンコーダモデルであり、以降は Academic $\left.\mathrm{RoBERTa}^{8}\right)$ と呼ぶ。後者は、テキスト生成などの利用を想定した事前訓練済みエンコーダ・デコーダモ デルであり、以降は Academic BART9) と呼ぶ。

学術ドメインにおける日本語の文分類および文対分類の評価実験の結果、汎用モデルである東北大 $\mathrm{BERT}^{3)}$ および早大 $\mathrm{RoBERTa}^{4)}$ と比較して、学術ドメ インに特化した Academic RoBERTa の有効性を確認 できた。また、学術ドメインにおける日本語のへッ ドライン生成の評価実験の結果、汎用モデルである 京大 $\mathrm{BART}^{5}$ )と比較して、学術ドメインに特化した Academic BART の有効性を確認できた。

2) https://ja.wikipedia.org/

3) https://huggingface.co/cl-tohoku/bert-base-japanese

4) https://huggingface.co/nlp-waseda/ roberta-base-japanese

5） https://nlp.ist.i.kyoto-u.ac.jp/?BART 日本語 Pretrained モデル

6) https://github.com/hottolink/hottoSNS-bert

7) https://ci.nii.ac.jp/

8) https://github.com/hirokiyamauch/AcademicRoBERTa

9) https://github.com/hirokiyamauch/AcademicBART

## 2 日本語学術文書を用いた事前訓練

本研究では、日本語における学術ドメインの自然言語処理の性能改善のために、学術ドメインに特化 した日本語事前訓練モデルを構築し、公開する。ま ず 2.1 節において、学術論文情報データベース $\mathrm{CiNii}$ $\mathrm{Articles}^{7)}$ から論文抄録を抽出し、事前訓練用の日本語コーパスを作成する。そして 2.2 節において、本 コーパス上で単語穴埋め $[5,12]$ の事前訓練を行う。

## 2.1 コーパスの作成

国立情報学研究所が運用する学術論文情報データ ベース CiNii Articlesを用いて、学術ドメインに特化 した日本語コーパスを作成した。2022 年 3 月時点 で CiNii Articles に収録されていた学術論文のうち、平仮名または片仮名を含む約 127 万件の論文抄録を 抽出し、以下の 5 段階の前処理を施して約 628 万文 （約 1.8 億語）のコーパスを作成した。

1. 定型表現の削除

2. 文分割

3. 日本語文の抽出

4. 重複文の削除

5. 文字数制限

それぞれの前処理ステップにおけるコーパスサイズ の変化を表 1 に示す。

定型表現の削除 対象とした論文抄録には、「論文タイプ || 研究ノート」や「特集 乱流の数値シミュ レーション（NST）その 3」など、自動的な情報抽出によるノイズが含まれる。これらの定型表現を コーパスから除外するために、同一文書が一定回数以上出現する際に、それらの文書を削除する。な お、論文抄録のテキストとしては適切なものの、ID などの登録ミスの影響で同一文書が $5 \sim 6$ 回出現す るという例が見られたため、定型表現として判定す る際の閾値を 7 回以上と設定した。

文分割上記の前処理によって得られた約 115 万文書に対して、文への分割を行う。ルールベースの 文分割 ${ }^{10)}$ によって、約 730 万文が得られた。

日本語文の抽出 日本語以外の言語で書かれた文 を削除し、日本語文のみを得る。ただし、専門用語 は他言語で表現される場合が少なくないため、文字単位で数えて間値以上の割合が日本語（平仮名また は片仮名または漢字) である文を抽出する。本研究

10) https://github.com/wwwcojp/ja_sentence_segmenter表 1 前処理によるコーパスサイズの変化

では、この閾値を 0.5 に設定することで約 62 万文を 削除し、約 668 万文の日本語文を得た。

重複文の削除高頻度な表現によるバイアスを防 ぐために、「下腹部痛を主訴に来院」などの特定の 分野において頻出する文や「その結果を以下に示 す」などの学術論文における定型文を削除する。文単位での重複がある場合に、その文を 1 回だけコー パスに含めることで約 35 万文を削除し、約 633 万文の重複のない日本語文を得た。

文字数制限 定型表現の検出漏れや文分割のエ ラーを取り除くために、極端な短文および長文を削除する。10 文字未満の文には「(編集委員会作成)」 などの実際の論文抄録には含まれないと考えられる 表現が多く見られた。そこで本研究では、 10 文字以上 200 文字以下の文を抽出することで、最終的に約 628 万文のコーパスを作成した。

## 2.2 事前訓練

Academic RoBERTa 2.1 節のコーパスを用いて、 マスク言語モデリング [12] の事前訓練を行う。前処理として、SentencePiece ${ }^{11)}$ [13] によるサブワー ド分割を実施し、語彙サイズは 32,000 とした。 fairseq ${ }^{12)}[14]$ の実装を用いて、roberta-base と同じ構造（隠れ層が 12 層、次元数が 768 次元、自己注意 のヘッド数が 12 個）の Transformer [15]を訓練した。最大入力トークン数は 512、バッチサイズは 64 文、 Dropout 率は 0.1 とし、最適化には Adam [16] を用い た。学習率スケジューリングには polynomial decay を用い、最大の学習率は 0.0001 、Warmup ステップ は 1 万とした。先行研究4) との公平な比較のため に、訓練ステップ数は 70 万ステップとした。

Academic BART 2.1 節のコーパスを用いて、雑音除去自己符号化 [5] の事前訓練を行う。 fairseq ${ }^{12)}$ [14] の実装を用いて、bart-base と同じ構造

11) https://github.com/google/sentencepiece

12) https://github.com/facebookresearch/fairseq
（encoder-decoder 層が 6 層、次元数が 768 次元、自己注意のヘッド数が 12 個）の Transformer [15] を訓練 した。最大入力トークン数は 512、バッチサイズは 16 文 (8 回の勾配蓄積)、Dropout 率は 0.1 とし、最適化には Adam [16] を用いた。学習率スケジューリ ングには polynomial decay を用い、最大の学習率は 0.0005、Warmup ステップは 1 万とした。先行研究5) との公平な比較のために、訓練ステップ数は 50 万 ステップとした。なお、事前訓練には 4 枚の GPU （RTX A6000 48GB）を使用した。

## 3 評価実験

学術ドメインに特化した我々の事前訓練モデルの 有効性を評価するために、科学研究費補助金 (科研費）の研究課題名を対象とする評価実験を通して、既存の汎用的な日本語事前訓練モデルと比較する。

## 3.1 比較手法

日本語の汎用的な事前訓練済みエンコーダモデ ルである東北大 $\mathrm{BERT}^{3}$ ) および早大 $\mathrm{RoBERTa}^{4}$ ) との 比較によって、学術ドメインに特化した Academic RoBERTa の有効性を評価する。これらの比較手法は、どちらも Academic RoBERTa と同じ構造の Transformer [15] であり、同じサイズの語彙を持って いる。ただし、事前訓練に用いるコーパスやその前処理、訓練時のハイパーパラメータが異なる。

東北大 BERT は、日本語 Wikipedia の約 1,700 万文で事前訓練された BERT [4] である。前処理とし て、MeCab（IPADIC）[17]による形態素解析および WordPiece [18] によるサブワード分割を行っている。最大入力トークン数は 512 、バッチサイズは 256 文 であり、100万ステップの訓練を実施している。

早大 RoBERTa は、日本語 Wikipedia および CC100 [10] の日本語約 40 億文で事前訓練された RoBERTa [12] である。前処理として、Juman++ [19] による形態素解析および SentencePiace [13] によるサ ブワード分割を行っている。最大入力トークン数は 128、バッチサイズは 256 文 ( $\times 8$ GPU $)$ であり、 70 万ステップの訓練を実施している。

Academic BART との比較には、日本語の汎用的 な事前訓練済みエンコーダ・デコーダモデルで ある京大 BART ${ }^{5}$ を用いる。京大 BART は、日本語 Wikipedia の約 1,800万文で事前訓練された BART [5] である。前処理として、Juman++ [19] による形態素解析および SentencePiace [13] によるサブワード分割表 2 評価用データセットの統計

を行っている。最大入力トークン数は 512 、バッチ サイズは 128 文（×4 GPU）であり、50万ステップ の訓練を実施している。

## 3.2 評価タスク

学術ドメインにおける評価実験として、科研費の 研究課題名に関するテキスト分類およびへッドライ ン生成を行う。2013 年から 2017 年までの科研費の 採択課題13)を 7.3 万件収集し、データセットを構築 した。テキスト分類として、研究課題名から研究分野を推定するカテゴリ分類と、研究課題名の対から 研究代表者が同一か否かを推定する著者同定の 2 つ の評価タスクを設計した。両タスクとも、分類正解率で自動評価する。また、概要から研究課題名を生成するへッドライン生成の評価タスクも設計した。本タスクは ROUGE [20] で自動評価する。

著者同定 本タスクは、 2 つの研究課題について、 それらの研究代表者が同一か否かを 2 值分類する文対分類タスクである。本実験では、研究代表者が同一である正例を 5 万組と同一ではない負例を 7 万組 の合計 12 万組を収集し、表 2 のように無作為に分割して使用した。モデルには、[SEP] の特殊トーク ンを挟んで 2 文を同時に入力した。

カテゴリ分類 本タスクは、科研費の研究課題名 から研究分野を推定する文分類タスクである。科研費では、4 段階の階層構造を持つ研究分野の分類を 採用しており、大区分から順に、 $4 \cdot 14 \cdot 77 \cdot 318$ 種類のカテゴリが含まれる。本実験では、区分ごとに 4 種類のカテゴリ分類を実施した。

ヘッドライン生成 本タスクは、科研費における 研究課題の概要から研究課題名を生成する要約タス クである。平均 270 文字で構成される概要を入力と して、平均 31 文字の研究課題名を推定する。

## 3.3 再訓練

テキスト分類 3.2 節のコーパスを用いて、事前訓練済みエンコーダモデルを再訓練した。前処理と して、それぞれ事前訓練と同じ設定でサブワード分

表 3 テキスト分類の評価実験

表 4 ヘッドライン生成の評価実験

割を行った。バッチサイズは 256 文、Dropout 率は 0.1 とし、最適化には Adam [16] を用い、最大の学習率を 5e-5 とした。検証用データの正解率を用いて 10 エポックの early stopping にて再訓練を終了した。

ヘッドライン生成 3.2 節のコーパスを用いて、事前訓練済みエンコーダ・デコーダモデルを再訓練 した。前処理として、モデルごとに事前訓練と同じ 設定でサブワード分割を行った。バッチサイズは 32 文、Dropout 率は 0.1 とし、最適化には Adam を 用い、最大の学習率を $3 \mathrm{e}-5$ とした。検証用データに おける ROUGE-L の評価值を用いて、5エポックの early stopping にて再訓練を終了した。

## 3.4 実験結果

テキスト分類の実験結果を表 3 に示す。RoBERTa は一貫して BERT よりも高い性能を示し、学術ドメ インに特化した Academic RoBERTa は全てのタスク において最高性能を達成した。特に、詳細な専門知識が要求される小区分の分類において、提案手法で は大区分よりも大きな性能の改善が見られた。

ヘッドライン生成の実験結果を表 4 に示す。本タ スクでも、学術ドメインに特化した Academic BART が全ての評価指標において最高性能を示した。

早大 RoBERTa と Academic RoBERTa の間や、京大 BART (Base) と Academic BART の間には、モデル構造や学習ステップ数の相違はない。また、東北大 BERT は約 1,700 万文、早大 RoBERTa は約 40 億文、京大 BART は約 1,800 万文のコーパスを事前訓練に 使用しており、我々の約 628 万文はコーパスサイ ズの点でも優位性を持たない。そのため、Academic RoBERTa および Academic BART の性能改善は、学術ドメインへの特化にのみ起因すると考えられる。表 5 提案モデルの語彙中の特徴的なトークンの例

## 3.5 考察

先行研究 [7] と同様に、語彙について分析する。提案モデルの語彙のうち、49.4\%は既存の事前訓練 モデルの語彙 ${ }^{14)}$ に含まれないことがわかった。提案 モデルにのみ含まれる特徴的なトークンの例を表 5 に示す。「であることが確認された」のような分野 を問わず学術論文に頻出するフレーズや、「ニュー ラルネットワーク」のような特定の分野において頻出する専門用語が、提案モデルの語彙のみに見られ た。このようなドメインに特化したトークンを多く 語彙に含むことで、学術ドメインにおける高性能な 処理を実現できたと考えられる。

## 4 おわりに

本研究では、CiNii Articles の論文抄録から作成 した日本語コーパスを用いて、学術ドメインに特化した事前訓練モデル Academic RoBERTa ${ }^{8}$ および Academic BART ${ }^{9}$ を構築し、公開した。科研費の研究課題名を対象とする著者同定・カテゴリ分類・ ヘッドライン生成の評価実験の結果、学術ドメイン に特化したモデルが既存の汎用モデルを上回る性能 を達成した。分析の結果、学術ドメインに特有の表現を多く語彙に含むことや、詳細な専門知識が要求 される小区分ほどテキスト分類の正解率が大きく向上していることから、ドメインに特化した事前訓練 の有効性を確認できた。

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号： JP20H04484）および 2020 年度国立情報学研究所公募型共同研究 (20S0405) の助成を受けたもので す。本稿の内容の一部は Third Workshop on Scholarly Document Processing [21] において報告したものです。

14）以下の和集合：東北大 BERT の語彙、早大 RoBERTa の語彙、日本語 Wikipedia に対して語彙サイズ 32,000 で SentencePiece のサブワード分割を訓練した際の語彙

## 参考文献

[1] Arman Cohan and Nazli Goharian. Scientific Article Summarization Using Citation-Context and Article's Discourse Structure. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 390-400, 2015.

[2] Mayank Singh, Pradeep Dogga, Sohan Patro, Dhiraj Barnwal, Ritam Dutt, Rajarshi Haldar, Pawan Goyal, and Animesh Mukherjee. CL Scholar: The ACL Anthology Knowledge Graph Miner. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 16-20, 2018.

[3] Saif M. Mohammad. NLP Scholar: A Dataset for Examining the State of NLP Research. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 868-877, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[6] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly Available Clinical BERT Embeddings. In Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp. 72-78, 2019.

[7] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, 2019.

[8] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[9] Dat Quoc Nguyen, Thanh Vu, and Anh Tuan Nguyen. BERTweet: A Pre-trained Language Model for English Tweets. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 9-14, 2020.

[10] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data. In Proceedings of the 12th Language Resources and
Evaluation Conference, pp. 4003-4012, 2020.

[11] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A Clinical Specific BERT Developed Using a Huge Japanese Clinical Text Corpus. PLOS ONE, Vol. 16, No. 11, pp. 1-11, 2021.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[13] Taku Kudo and John Richardson. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

[16] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015.

[17] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[18] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. arXiv:1609.08144, 2016.

[19] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and Structure of The Juman++ Morphological Analyzer Toolkit. Journal of Natural Language Processing, Vol. 27, No. 1, pp. 89-132, 2020.

[20] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[21] Hiroki Yamauchi, Tomoyuki Kajiwara, Marie Katsurai, Ikki Ohmukai, and Takashi Ninomiya. A Japanese Masked Language Model for Academic Domain. In Proceedings of the Third Workshop on Scholarly Document Processing, pp. 152-157, 2022.


# トリプレットの Better Negative Sampling による Text Embedding の学習とテキスト分類

満石風斗 1 安立健人 1 狩野芳伸 2
1 株式会社マネーフォワード 2 静岡大学 情報学部
\{mitsuishi.futo, adachi.kento\}@moneyforward.co.jp
kano@kanolab.net

## 概要

anchor・ positive ・ negative の各テキストからなるト リプレットを用いた text embedding 学習によるテキ スト分類では、1. 対象からのトリプレットのサンプ リング、2.これを用いた text embedding の学習、の 2 ステップで学習を行う手法がある。従来のランダム なサンプリングに対して、本研究では anchor テキス トと positive テキストの識別をより難しくすること で性能向上が見込める Better Negative Sampling を提案する。livedoorニュースデータセットから作成し た均衡・不均衡データセットと、WRIME-ver2 デー タセットからサンプリングしたデータセットを用い て性能を検証した。accuracy を評価指標に用い、ラ ンダムなサンプリングに比べて 0.5-1.3\%の精度向上を達成した。

## 1 はじめに

テキスト分類は言語処理タスクの中でも広く応用されているタスクであり、たとえばレビューの 感情分析や英語文法の正誤判定 [1] などに利用さ れている。近年では BERT[2] などの事前学習モデ ルを Classifier としてファインチューニングする事例が多くみられるが、データセットに応じた text embedding を獲得し、訓練データとテストデータの text embedding の類似度から分類ラベルを予測する 手法も考えられる。 text embedding を用いる手法で は類似度を確信度として使うことができるなど実用上有利な点がある。

テキスト分類のための text embedding の学習には、 anchorテキスト (基準となるテキスト)・positiveテキ スト (anchor との類似度が大きくなることが期待さ れるテキスト)・negative テキスト (anchor との類似度が小さくなることが期待されるテキスト) からな
るトリプレットを分類の付与されたコーパスから構築し、このトリプレットの集合から text embedding 生成モデルの学習を行う手法が考えられる。

本研究ではこのトリプレット集合の構築方法に着目した。具体的には、ランダムなサンプリングを行 うベースラインに対して、negative テキストのサン プリングに工夫を加える Better Negative Sampling を 提案する。

トリプレットを用いた学習では、negative テキス トに anchor テキストとの分類が難しい hard negative なテキストを用いることがファインチューニング の精度を高めるのに有効である可能性が報告され ている [6]。この知見をテキスト分類のための text embedding 学習に適用するために、提案手法であ る Better Negative Sampling では、negative テキストに 「anchor テキストとラベルは異なるが text embedding 間の類似度が最も高いテキスト」を選択する。提案手法を用いることでよりテキスト分類に適した text embedding が得られると期待する。

実験では、ラベルが付与された livedoor ニュース データセット ${ }^{1)}$ から作成した均衡・不均衡データ セットおよび WRIME-ver22) からサンプリングした データセットに対して、ランダムなサンプリングと Better Negative Sampling を用いて text embedding を学習し比較した結果、Better Negative Sampling を用い たモデルは約 $0.5 \%$ の精度向上を達成した。

## 2 関連研究

## 2.1 事前学習モデルを用いたテキスト分類

BERT は大規模なデータセットを用いた事前学習 とタスクに応じたファインチューニングによって高 い精度を示す大規模言語モデルであり [2]、テキス

1) https://www.rondhuit.com/download.html

2) https://github.com/ids-cv/wrime

ト分類を含む多くのタスクに応用されている。

Lewis[7] らはいくつかの事前学習モデルにおい て、データセットに応じた text embedding の学習お よび転移学習を行うことで、直接 Classifier として ファインチューニングした場合に比べて少ないデー タ数で同等の性能でテキスト分類を行えると示唆し ている。他にも text embedding を用いてテキスト分類を行う手法が提案されているが [9][10]、これらは negative テキスト、すなわちトリプレットを利用し ていない。

## 2.2 タスクによらない text embedding の 学習

ファインチューニングをしていない BERT からも text embedding は獲得できるが、そのまま用いても 性能は低いことが示唆されており [3]、トリプレッ トサンプルを使用するなどしてより性能高く類似度 を計算できるような text embedding を獲得する方法 が研究されている [3][4][55]。トリプレットサンプル を用いた学習には negative テキストに hard negative な例を用いることがモデルの停滞を遅らせるのに有効であることが知られており [6]、実際に Ein-Dor ら [11] は Wikipedia のデータセットから同じ記事であ るが別の section の文章を hard negative として使用す ることで、精度の高い text embedding の学習に成功 している。

## 2.3 Multiple Negatives Ranking Loss

トリプレットを使用した学習の際の損失 (Loss) には様々な関数が提案されている [3][4][5]。そのひ とつである Multiple Negatives Ranking Loss ${ }^{3}$ では、ト リプレットをいくつか集めて 1 バッチとする。 バッチサイズを $\mathrm{K}$ とするとバッチ内には、anchor テキスト集合 $\mathrm{A} \ni$ anchori, positive テキスト集合 $\mathrm{P} \ni$ positive $_{\mathrm{i}}$, negative テキスト集合 $\mathrm{N}$ э negative $\mathrm{i}_{\mathrm{i}}(i=$ $\{1,2, \cdots, K\})$ が含まれる。図 1 の例のように、各 anchor $_{\mathrm{i}}$ について、 positive $\mathrm{i}_{\mathrm{i}}$ との類似度を大きく、 $\operatorname{positive}_{\mathrm{j}}\{j \neq i\}$ および全ての negative との類似度が 小さくなるように学習する。そのために anchor r $_{i}$ と バッチ内全ての positive テキストおよび negative テ キストの類似度を計算し、 positive i $_{i}$ との類似度を正解とみなす Categorical Cross Entropy Loss を最適化 する。

すなわち、candidate $\mathrm{j}_{\mathrm{j}}(\mathrm{j}=1 \cdots \mathrm{K})$ は positive $\mathrm{j}_{\mathrm{j}}$ を、 candidate $_{\mathrm{j}}(\mathrm{j}=\mathrm{K}+1 \cdots 2 \mathrm{~K})$ は negative $\mathrm{j}_{\mathrm{j}-\mathrm{K}}$ を表すとし

て positive と negative をまとめて candidate と表した とき、各バッチにおいて以下を最適化する。

$
\begin{aligned}
& -\sum_{i} \sum_{j} l_{i, j} \log \operatorname{Softmax}_{\mathrm{i}, \mathrm{j}}( \\
& \quad \cos \left(\operatorname{model}_{\theta}\left(\text { anchor }_{\mathrm{i}}\right), \operatorname{model}_{\theta}\left(\operatorname{cadidate}_{\mathrm{j}}\right)\right)
\end{aligned}
$

ここで、

$
l_{i, j}=\left.\{\begin{array}{l}
1(i=j) \\
-1(i \neq j)
\end{array}\right.
$

$
\operatorname{Softmax}_{\mathrm{i}, \mathrm{j}}\left(\cos \left(a_{i}, b_{j}\right)\right)=\frac{e^{\cos \left(a_{i}, b_{i}\right)}}{\sum_{j} e^{\cos \left(a_{i}, b_{j}\right)}}
$

であり、 $\cos \left(\right.$ vector $_{1}$, vector $\left._{2}\right)$ は二つのべクトルの コサイン類似度を、 $\operatorname{model}_{\theta}(t)$ はある時点でのモデ ルによるテキスト $\mathrm{t}$ に対応するべクトルを表す。 (vector ${ }_{1}$, vector $_{2}$ ) はそれぞれべクトルを表す。

図 1 Multiple Negatives Ranking Loss の概念図: 添え字 i, $\mathrm{j}$ は同じバッチ内の異なるトリプレットに対応する。

り、 positive $\mathrm{i}_{\mathrm{i}}$ 以外の異なるラベルに属する候補テキストの 類似度は小さくなるようにモデルを更新する。

## 3 提案手法

本研究では、タスクによらない text embedding の 学習で有効とされている hard negative の利用をテキ スト分類のための text embedding の学習に応用する ため、negative テキストの選択に工夫を加えた Better Negative Sampling を提案する。

Better Negative Sampling では negativeテキストの選択において、「anchor テキストとラベルは異なるが text embedding 間の類似度が最も高いテキスト」を選

表 21 ラベル内データ数と 1 ラベルの accuracy の相関 (Pearson の積率相関係数) BERTClassifier Text Embedding(random) Text Embedding (ours)

相関係数 $0.409 \quad 0.155 \quad 0.197$

択することでテキスト分類の精度向上を期待する。 この選択の際の類似度にはファインチューニング前 の事前学習済みモデルから得られる text embedding のコサイン類似度を用いる。

## 3.1 トリプレットデータセットの作成

ベースラインであるランダムなトリプレットデー タセットは元のデータセットから以下のようにサン プリングし作成する。

1. データセット内の全てのサンプルが一度ずつ anchor テキストとなるようにする

2. anchor テキストと同じ分類ラベルのテキストか らランダムに positive テキストを抽出する

3. anchor テキストと異なる分類ラベルのテキスト からランダムに negative テキストを抽出する

## 3.2 Better Negative Sampling

提案手法である Better Negative Sampling では以下 のようにトリプレットデータセットを作成する。 ベースラインのランダムな作成手順 1-2 に加え、

3. 事前学習モデルを用いて、anchorテキストと異 なるラベルのテキストと anchor テキストのコサ イン類似度を計算する
4. 3 で最も類似度が高いテキストを negative テキ ストとする

このようにして抽出された negative テキストは hard negative として機能し、text embedding モデルの 学習能力を高めると考えられる。

## 4 実験

## 4.1 データセット

本研究では、日本語の多クラス分類データセッ トとして、livedoor ニュースデータセットおよび WRIME-ver2[8] データセットからから作成したデー
タを用いた。

livedoor ニュース livedoorニュースデータセッ トはニュース記事が 9 つのメディアにラベリング されているデータであり、本研究ではニュース記事の見出しと、記事に紐づけられた 9 種のメディ アラベルのみを用いた。ラベル数が多く不均衡な データセットに対する提案手法の性能も確認するた め、livedoor ニュースデータセットから不均衡デー タセットと均衡データセットを作成した。これらの データセットの作成方法および統計情報は付録に記 した。

WRIME-ver2 WRIME-ver2 はツイートテキストに 主観および客観的な 5 段階の感情強度と 8 つの感情 の主観および客観的な 4 段階の強さがラベリングさ れたデータであり、本研究ではツイートテキストと 客観的な感情強度を用いて、5 段階の分類タスクと して実験した。計算量を減らすため、WRIME-ver2 からサンプリングしたデータセットを実験に用い た。データセットの作成方法と統計情報を付録に記 した。

## 4.2 モデル

事前学習モデルとして東北大学・乾研究室が公開 している whole-word-masking で学習された BERT を 使用した4）（以下日本語 BERT と表記する）。ベー スラインであるランダムなトリプレットデータ セット、および Better Negative Sampling で作成した トリプレットデータセットに対して、関連研究 2 で説明した Multiple Negatives Ranking Loss を用いた 日本語 BERT のファインチューニングを行い、text embedding モデルを学習した。text embedding モデル を用いたテキスト分類は、テストデータと学習デー タの text embedding のコサイン類似度をデータごと にそれぞれ計算し、最も類似度が高い学習データの ラベルを予測ラベルとした。

表 31 ラベル内データ数が 20 以下および 20 以上のラベルに対する accuracy

## 5 結果

表 1 に、分類評価結果の accuracy スコアを示す。 text embedding を用いた手法は classifier としての学習をおこなった場合に匹敵する精度を示した。

text embedding を用いた手法内で比較すると、 Better Negative Sampling を用いたモデルではべー スラインであるランダムなサンプリングに比べ 0.5-1.3\%の精度向上が見られた。

## 6 考察

Better Negative Sampling を用いたモデルは、実験し た全てのデータセットにおいてランダムなサンプリ ングを用いたベースラインモデルに比べて性能向上 が見られた。この結果から Better Negative Sampling を用いることで text embedding によるテキスト分類 の性能を高めることができることが示唆される。 text embedding によるテキスト分類がサンプル の文構造をどのくらい利用しているのかを調 べるため、MeCab[13] の Python ラッパーである fugashi[14](バージョン 1.2.1 IPAdic 辞書) を用いてサ ンプルから機能語である助詞および句読点などの 記号を削除してからラベルの予測を行った結果を 表 2(表右側にある†のついたカラム) に示す。Better Negative Sampling がランダムなサンプリングに比べ て 3.4-5.1\%の精度改善と、助詞・記号を削除しな い場合に比べて精度の向上が大きくなっていた。 Better Negative Sampling ではランダムなサンプリン グに比べて、文構造をあまり利用しておらず、すな わち内容語を強く学習している可能性がある。

さらに、 text embedding を用いたテキスト分類 は classifier としての学習に比べ livedoor 均衡デー タセットでは精度が大きく変わらないのに対し、 livedoor 不均衡データセットではランダムなサンプ リングで $3.8 \%$ の精度向上が見られた。この結果か ら text embedding を用いたテキスト分類はランダム サンプリング・Better Negative Sampling を問わず不均衡データに対する頑健性を持つ可能性が考えら れる。表 1 の右側にある、livedoor 不均衡データセッ トにおけるラベルごとのデータ数と accuracy との 相関 (Pearson の積率相関係数)を示している。text embedding を用いたテキスト分類では classifier とし てファインチューニングした場合に比べて相関が弱 い。この結果から text embedding を用いたテキスト 分類はデータ数の少ないラベルに対しても高精度で 分類できることがわかる。

さらに、 1 ラベル内データ数が 20 未満の場合と 20 以上の場合とでテストデータを分割し、それぞ れ各手法の accuracy を調べた結果 3 のようになっ た。データ数 20 未満のラベルに対する accuracy は、 classifier では大きく精度が落ちているのに対し、text embedding を用いた手法では精度がほとんど変わら なかった。この結果から、 text embeddingを用いた 手法は classifier と比較してデータ数が少ないラベル にも頑健に対応できることが示唆された。

## 7 おわりに

テキスト分類におけるトリプレットのサンプリ ング手法として、negative テキストを「anchorテキ ストとラベルが異なるが類似度が最も高いテキス ト」とする Better Negative Sampling を提案し、text embedding を用いたテキスト分類の精度が向上する ことを示した。また、Better Negative Sampling を用 いた手法ではランダムなサンプリングに比べ内容語を強く学習している可能性があり、text embedding を用いたテキスト分類は classiffier としてファイン チューニングするよりも不均衡データに対し頑健で ある可能性が示唆された。

今後の展望として、現在の手法では事前学習モデ ルを用いて hard negative なテキストをサンプリング しているが、1epochごとに更新されたモデルを用い てトリプレットをサンプリングし直すなど、サンプ リングの方法に更なる改善を試みたい。

## 参考文献

[1] Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., Bowman, S. R. (2018). GLUE: A multi-task benchmark and analysis platform for natural language understanding. arXiv preprint arXiv:1804.07461.

[2] Devlin, J., Chang, M. W., Lee, K., Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

[3] Reimers, N., Gurevych, I. (2019). Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084.

[4] Zhang, D., Li, S. W., Xiao, W., Zhu, H., Nallapati, R., Arnold, A. O., Xiang, B. (2021). Pairwise supervised contrastive learning of sentence representations. arXiv preprint arXiv:2109.05424.

[5] 山岸駿秀, 鈴木貴文, 稲木誓哉. (2020). Wikipedia 記事間の関係を考慮した Triplet Network に基づく BERT の Fine-tuning. In 人工知能学会全国大会論文集 第 34 回 (2020) (pp. 3Rin476-3Rin476). 一般社団法人 人工知能学会.

[6] Hermans, A., Beyer, L., Leibe, B. (2017). In defense of the triplet loss for person re-identification. arXiv preprint arXiv:1703.07737.

[7] Tunstall, L., Reimers, N., Jo, U. E. S., Bates, L., Korat, D., Wasserblat, M., Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv

[8] 梶原智之. (2021). WRIME: 主観と客観の感情強度を 付与した日本語データセット. 自然言語処理, 28(3), 907-912.

[9] Perone, C. S., Silveira, R., Paula, T. S. (2018). Evaluation of sentence embeddings in downstream and linguistic probing tasks. arXiv preprint arXiv:1806.06259.

[10] Piao, G. (2021, May). Scholarly text classification with sentence BERT and entity embeddings. In Pacific-Asia Conference on Knowledge Discovery and Data Mining (pp. 79-87). Springer, Cham. preprint arXiv:2209.11055.

[11] Ein-Dor, L., Mass, Y., Halfon, A., Venezian, E., Shnayderman, I., Aharonov, R., Slonim, N. (2018, July). Learning thematic similarity metric using triplet networks. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), Melbourne, Australia (pp. 15-20).

[12] Henderson, M., Al-Rfou, R., Strope, B., Sung, Y. H., Lukács, L., Guo, R., ... Kurzweil, R. (2017). Efficient natural language response suggestion for smart reply. arXiv preprint arXiv:1705.00652

[13] Kudo, T. (2005). Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. net/.

[14] McCann, P. (2020). fugashi, a tool for tokenizing Japanese in python. arXiv preprint arXiv:2010.06858.

表 5 データセット統計情報

## A モデルのパラメータ設定

classifier の学習率は encoder では 5e-5, 分類を行う classifier 層では 1e-4 とした。文章抽出器の学習率は 2e-5 とした。classifier の学習では encoder 層の [CLS]トークンの位置の特徴量を用いてファインチューニングを 行った。 text embedding 抽出器では最終層の平均をとる mean pooling を用いてファインチューニングを行っ た。その他のハイパーパラメーターは表 6 に記した。

表 6 学習パラメータ

## Ｂデータセット情報

livedoor 不均衡・均衡データセットは以下のように作成した。各データセットの統計情報は表 5 に記した。

## B. 1 livedoor 不均衡データセットの作成

1. livedoor ニュースデータセットには 9 種類のメディアがラベリングされている。各メディアにおいて表 4 例 1 例 2 のようにすみかっこ等でサブタイトルが付いてるサンプルについて、サブタイトルを新たな夕 イトルとし、タイトルテキストからはサブタイトルを削除した。サブタイトルの付いていないサンプル は media 名-other というラベルとした。

2. 表 4 例 3 のように、メディア・ラベル特有の文言がついているサンプルについて、これらの文言を削除 した。

3. dokujo-other と分類されたものから、手動で恋愛・結婚・美容へと分類した。

4. sports-watch-other と分類されたものから、手動でサッカー・野球・オリンピックへと分類した。

5. 各ラベルでサンプル数 2 以下のものは削除した。またサンプル数が 45 以上のものはランダムに 45 サン プルを抽出した。

## B. 2 livedoor 均衡データセットの作成

livedoor 不均衡データセットのラベルを元の livedoor ニュースデータセットのメディアラベルとした。

## B. 3 WRIME-ver2 データセットからのサンプリング

5 つの感情強度 $(-2,-1,0,1,2)$ からそれぞれ $419,419,419,420,420$ サンプルをランダムに抽出した。


# 単語ベクトルの平行四辺形を特徵づける図形距離

前田晃弘 ${ }^{1}$ 鳥居拓馬 ${ }^{2}$ 日高昇平 1
1 北陸先端科学技術大学院大学 2 東京電機大学
\{akihiro.maeda,shhidaka\}@jaist.ac.jp tak.torii@mail.dendai.ac.jp

## 概要

単語の意味的・統語的関係を表わす単語ベクトル が四項類推課題を解くことはよく知られている．そ のベクトル演算は類推関係にある単語べクトルが平行四辺形をなしていることを示唆している.これに 着目して高次元空間にある単語ベクトルの配置を図形の幾何的性質により特徴づけることを試みる。四 つの単語からなる単語群の平行四辺形らしさを測定 するメトリックとして図形距離を提案し，これを用 いて類推関係にある単語群が平行四辺形に近い配置 にあることを実証する。図形距離は単語群の関係性 を定量的かつ精緻に特徴づける性能を有しており，新たな研究ツールとなるとともに言語構造の解明に 幾何的にアプローチすることを可能にする.

## 1 はじめに

## 1.1 単語ベクトルによる四項類推課題

単語埋め込み（単語ベクトル）は単語間の意味的・統語的関係を表していることが知られ，四項類推課題はその代表的な現象である. 例えば， king:queen::man:woman のような類推関係に対して, それぞれの単語べクトル間に $\boldsymbol{v}_{\text {king }}-\boldsymbol{v}_{\text {queen }}+\boldsymbol{v}_{\text {woman }} \approx$ $v_{\text {man }}$ という演算が成り立つ. Mikolov et al. [1] 等の 先行研究では典型的にコサイン類似度により両辺が 比較されるが, 同時に king:man::queen:woman の語順の平行関係も成り立つことから四項類推関係は平行四辺形の存在を示唆すると考えられる $[2,3]$.

## 1.2 平行四辺形は存在するか？

単語ベクトルは高次元空間の点であるが，その 4 点が平行四辺形のような平面図形をなしているとは どの様な状態であろうか. ユークリッド距離やコサ イン類似度は 2 つの単語ベクトル間の関係性を評価 するものであるが，3 以上の単語間にも関係性や対称性があると考えられる。また構造言語学の立場か
らは単語の意味関係は絶対的なものではなく差異に より特徵づけられるとされる [4]. 図形のもつ幾何的性質を用いて高次元空間に住む単語べクトルの集 まりが持つ関係性を特徴づけたいというのが本研究 の動機である.

## 1.3 単語関係を幾何的に捉える

本研究では類推関係にある単語ベクトルが示唆す る平行四辺形に着目して, まず高次元ベクトル空間 における平行四辺形を数学的に定義する. その上で 四つの単語ベクトルが平行四辺形をなす条件を導出 して, 平行四辺形らしさを表す新しい指標として図形距離を提案する. さらに図形距離を実コーパスか ら生成された単語ベクトルに適用してその幾何的性質を定量的に評価する．単語ベクトル間の関係を 幾何的に捉えることで言語の豊かな対称性を抽出 する。

## 2 図形距離

## 2.1 高次元空間の平行四辺形

ユークリッド幾何における図形とは任意の相似変換によって不変に保たれる幾何学的性質を持つ対象 として定義される [5]. 従って，高次元空間内の図形も相似変換群の全ての変換に対して不変に保たれ る性質によって定義できる。

平面における平行四辺形は複数の性質1)を持つ が，本論文では高次元ベクトル空間における平行四辺形を次のように定義する。

定義 $d$ 次元ベクトル空間における 4 つのべクト ル $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ について,

$
\mathbf{x}_{1}-\mathbf{x}_{2}=\mathbf{x}_{3}-\mathbf{x}_{4}
$

が成り立つ時 4 つのベクトルは平行四辺形をなす.

1） 平行四辺形は (i)2 組の対辺がそれぞれ平行，(ii) 1 組の対辺 が平行かつ同じ長さ，(iii)2 組の対角がそれぞれ等しい，(iv)対角線の中点が一致するという性質を持つ.

## 2.2 頂点の選び方

任意に与えられた 4 つのベクトルを定義の式 (1) にある $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ へ割り当てる選び方は $4 !=24$ 通 りあり, 頂点の置換は 4 次対称群 $S_{4}$ をな. この うち式 (1)を不変とする置換は, ベクトルの添字を置換の対象として表せば $\{(14),(23)$, (12)(34）\}を生成元とする $S_{4}$ の部分群である. 位数は $2 \times 2 \times 2=8$ で あるので，4つの頂点に対して異なる四角形をなす 頂点の選び方は $24 / 8=3$ 通り存在する.

図 1 は， 3 通りの頂点の選び方に対応した平行四辺形を表しており，パタン 1 は $\mathbf{x}_{1}$ と $\mathbf{x}_{4}$ が対角とな る頂点の選び方であり, パタン 2 では $\mathbf{x}_{1}$ と $\mathbf{x}_{3}$ が対角, パタン 3 では $\mathbf{x}_{1}$ と $\mathbf{x}_{2}$ が対角をなす.

図 1 四角形の頂点の選び方

## 2.3 平行四辺形の必要十分条件

4 つの単語 $w_{1}, w_{2}, w_{3}, w_{4}$ を表す単語ベクトルをそ れぞれ $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4} \in \mathbb{R}^{d}$ とし, 行方向に沿って並べ た行列 $X=\left[\begin{array}{llll}\mathbf{x}_{1} & \mathbf{x}_{2} & \mathbf{x}_{3} & \mathbf{x}_{4}\end{array}\right]$ を単語べクトル群と呼ぶ. $X$ は $d$ 行 4 列の行列である. このとき単語ベクトル 群 $X$ が定義 (1)を満たすための必要十分条件は, 3 つの頂点の選び方を考慮して

$
\mathbf{p}_{1}=\left[\begin{array}{c}
1 \\
-1 \\
-1 \\
1
\end{array}\right], \quad \mathbf{p}_{2}=\left[\begin{array}{c}
1 \\
-1 \\
1 \\
-1
\end{array}\right], \quad \mathbf{p}_{3}=\left[\begin{array}{c}
1 \\
1 \\
-1 \\
-1
\end{array}\right]
$

とすると，

$
X \mathbf{p}_{1}=\mathbf{0}_{d}, \quad X \mathbf{p}_{2}=\mathbf{0}_{d}, \quad X \mathbf{p}_{3}=\mathbf{0}_{d}
$

のいずれかが充されることである. $\mathbf{0}_{d}$ は $d$ 次元の ゼロベクトルである ${ }^{2}$.

式 (3) の形より 4 つのベクトルは $d$ 次元空間内の 超平面上にあることが直ちにわかる.

2）単語ベクトル間の関係性を行列により表現することの利点 は, 幾何学・線形代数・群論などの数学的操作を言語構造に 対して行うことが可能となることである [6].

## 2.4 平行四辺形らしさの定量化

次に単語ベクトル群の平行四辺形までの距離を定 める．考え方としては，単語べクトル群 $X$ を $d$ 次元空間 $V$ 上の 4 つのベクトルの集まりではなく, $4 d$次元空間 $W$ 上の 1 点 $\mathbf{x}:=\operatorname{vec}(X) \in W$ とする ${ }^{3)}$. 平行四辺形をなしている単語ベクトル群を表すすべて の点の集まりを $W$ の部分空間 $U$ とすれば，点 $\mathbf{x}$ か ら部分空間 $U$ までの距離（ユークリッド距離）を算出でき，これを平行四辺形までの距離（図形距離） と定義できる.

図形距離がゼロであるとき単語ベクトル群は平行四辺形をなし, 図形距離（正值）が大きくなるほど 平行四辺形から遠くなる. 平行四辺形をなす全ての 単語ベクトル群の集合は， $W$ の部分空間（カーネ ル） $K_{i}$ として次式で表される ${ }^{4)}$.

$
\begin{aligned}
K_{i} & =\left.\{X \in V^{4} \mid X \mathbf{p}_{i}=\mathbf{0}_{d}\right.\} \\
& =\left.\{\mathbf{x} \in W \mid\left(\mathbf{p}_{i}^{t} \otimes I_{d}\right) \mathbf{x}=\mathbf{0}_{d}\right.\} \quad(i=1,2,3)
\end{aligned}
$

点 $\mathbf{x}$ から 3 つのカーネルまでの距離 $d_{i} \quad(i=1,2,3)$ は次の通りである.(導出は AppendixAを参照)

$
\begin{aligned}
& d_{1}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{4}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{3}}{2}\right.\| \\
& d_{2}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{3}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{4}}{2}\right.\| \\
& d_{3}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{2}}{2}-\frac{\mathbf{x}_{3}+\mathbf{x}_{4}}{2}\right.\|
\end{aligned}
$

このうち最短距離を与えるものを平行四辺形までの 距離 $d$ とする．幾何学的には 2 組の対角線の中点の 間の距離を意味しており, 中点が一致するとき距離 はゼロとなり図形は平行四辺形となる.

$
d=\min \left.\{d_{1}, d_{2}, d_{3}\right.\}
$

## 2.5 平行四辺形距離の正規化

合同・相似な図形には同じ平行四辺形距離を付与 したい. 平行移動，拡大（縮小), 回転に対して不変 となるよう正規化するための正規化項 $Z$ は次の通り である ${ }^{5)}$ (AppendixB)

$
Z=\left(\sum_{i=1}^{4}\left.\|\mathbf{x}_{i}-\mathbf{m}\right.\|^{2}\right)^{1 / 2} \quad \text { where } \mathbf{m}:=\frac{1}{4} \sum_{i=1}^{4} \mathbf{x}_{i}
$

3）vecオペレータは行列を列ベクトルに並べ替える作用素.
4) $t$ は転置, $\otimes$ はクロネッカー積, $I_{d}$ は $d$ 次元の単位行列.

5） 幾何学的には，4つのべクトルをその重心が原点となるよ う平行移動して（中心化して） $4 d$ 次元空間におけるノルム を正規化項としている.

## 3 実験手法

## 3.1 目的とアプローチ

実コーパスから生成された単語ベクトルにおいて 類推関係にある単語群を判別できるか平行四辺形距離を用いて評価する. 類推関係にある 4 つ組の単語群を 1 群，無作為に抽出した 4 つ組を 2 群として， それぞれについて算出された正規化済みの平行四辺形距離の分布について $\mathrm{t}$ 検定を行う.

## 3.2 単語ベクトル生成のためのデータ

単語共起カウントによる単語ベクトル 実コーパ スより単語共起頻度をカウントして単語ベクトルを 生成する. English wikipedia dump(20171001 時点)を 使用した. トークン数は約 79 億語，語彙数は約 260 万語，前後 5 語以内に生起した単語を共起単語とし てカウントする. テストセットの語彙との共起頻度上位 10000 語と，テストセットの語彙の和集合にな る計 10072 語の単語共起行列について，その成分 を対数化したものを logfreq10000 とする [7]. さら に, logfreq10000 に対して特異值分解を行い 300 次元へ次元削減したものを svd10000 とする.

logfreq10000 と svd10000 の行ベクトルをそれぞ れの行に対応する単語の単語ベクトルとする

Word2vec また，ニューラルモデルにより生成 された単語ベクトルとして wor2vec[8] の学習済みモ デル (spaCy en-core-web-lg[9]) より logfreq10000 と 同じ語彙の単語ベクトルを抽出してw2v10000 と する.

## 3.3 正解テストセット

類推関係にある単語群として, Google Analogy Test Set[1] を用いる.これには 19,544 組の単語 4 つ 組（例：king-queen-man-woman）が含まれており，14 のカテゴリー（うち9つは統語的な類推関係，5つ は意味的な類推関係）に分類されている。

単語 4 つ組は，2つの単語ペアの組み合わせ (例： king-queen と man-woman)からなっており, ユニーク な単語ペアとしては 573 組を含む. Google Analogy Test Setでは，全ての単語ペアの組み合わせを網羅 していないため，あらためて各カテゴリーごとに全 ての単語ぺアを組み合わせて 15,247 組の4つ組を得 た (「正解テストセット」という).

## 4 実験結果

## 4.12 群間の比較

図 2 に，類推関係を持つ単語群 (“analogy_testset”) と無作為に抽出した 4 単語 (“random_sampling”) につ いて算出された平行四辺形距離の分布を示す.

logfreq10000では類推関係の単語群の図形距離は平均 0.321 であるのに対して，無作為抽出 は平均 0.436 であり,その差は 0.115 で統計的 に有意な違いが見られた $(t(15246)=114.7, p<$ 0.001). 同様に svd10000 では analogy-testset $の$ 平均値 0.322 と random_sampling の平均値 0.435 の差は $0.113(t(15246)=112.1, p<0.001)$ と有意である.

また，w2v10000 においても analogy_testset の平均値 0.391 に対し random_sampling の平均値 0.535 と類推関係にある単語群の距離は 0.144 小さく有意な差 を示した $(t(8576)=145.6, p<0.001)$ が，その分布形状の差は著しい。なお，w2v10000 に欠けている語彙 を含むカテゴリー capital-word を除外したためサン プル数が異なる.

図 2 図形距離の比較

## 4.2 分析

カテゴリーごとに比較すると, 最も平行四辺形に 近いカテゴリーは family (平均 0.257), 次いで gram4superlative(平均 0.277) であった. 反対に平行四辺形 から遠いカテゴリーは gram1-adjective-to-adverb（平均 0.369), 次いで opposite(平均 0.358) であった.

平均図形距離が最小の family についてカテゴリー 内の順位を見ると，最も平行四辺形に近い単語群は “his-her-nephew-niece” の 4 つ組であり，その図形距離 0.095 は全カテゴリーの中でも最小であっ た. 反対に, 最も平行四辺形から遠い単語群は, "policeman-policewoman-stepbrother-stepsister" であり, その平行四辺形距離は 0.549 である. 無作為抽出を 含めて算出した値の中での最大值に近い値である.

$\mathrm{t}$ 検定の結果は平行四辺形距離が類推関係にある 単語群を有意に特徴づけることを示しているが，そ
表 1 頂点の配置パタン占率 (\%)(logfreq10000)

の順位を見ると低頻度の単語を含む場合に特に平行四辺形距離のばらつきが大きく, 識別精度に課題が ある. 本論文では紙面の都合上割愛するが正規化項 を通じてノルムが過大な影響を及ぼしていると思わ れ，今後の研究課題である.

## 5 考察

## 5.1 ベクトルの逆転現象

式 (9) により平行四辺形距離を算出する際に，最小距離を与える頂点配置のパタンを各カテゴリーご とに示したのが表 1 である.

正解テストセットに含まれる単語ぺアは関係の方向を反映した並びとなっており，例えば family カテ ゴリーでは father-mother のように男性・女性の並び である。このような単語ペアを組み合わせて4つ組 を作ると, 単語ベクトル $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ はペア 1 の男性, 女性, ペア 2 の男性, 女性という並びとなる。従って類推関係が成立していれば $\mathbf{x}_{1}-\mathbf{x}_{2} \simeq \mathbf{x}_{3}-\mathbf{x}_{4}$ が成り立って，3つのカーネルまでの距離のうち $d_{1} \simeq 0$ が最短距離となる (パタン 1 に対応).

しかるに, family など 4 つのカテゴリーでパタ ン 2 が 2 割以上を占める. つまり式 (7) が適用され $\mathbf{x}_{1}-\mathbf{x}_{2} \simeq \mathbf{x}_{4}-\mathbf{x}_{3}$ が成り立っていることになる. これ が示唆するのは, 男性単語と女性単語の間の差べク トルの向きが 2 つのぺア間で逆転する現象が起きて いるということである.

表 2 に差ベクトルの方向に対応するペアを例示 する. 順方向のペアを組み合わせた 4 つ組の場合,例えば $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}=\boldsymbol{v}_{\text {father }}-\boldsymbol{v}_{\text {mother }}$ が成り立つので $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {mother }}=\boldsymbol{v}_{\text {father }}$ の演算により左辺の 3 単語から fatherを推定できるが, 逆転が起きているぺア表 2 順方向と逆方向の差分ベクトルを持つ単語ペア事例

 &  \\

の場合 $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}=\boldsymbol{v}_{\text {wife }}-\boldsymbol{v}_{\text {husband }}$ が成立しているの で, 四項類推演算を行う場合には $\boldsymbol{v}_{h e}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {wife }}=$ $v_{\text {husband }}$ ではなく $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {husband }}=\boldsymbol{v}_{\text {wife }}$ の演算が成り立つ.

## 5.2 逆転現象の要因

単語ペアの差ベクトルが反転する原因は，単語ベ クトルのノルムの逆転が起きているからである. 例 えば family カテゴリーの多くのペアでは男性単語べ クトルのノルムは女性単語のそれよりも大きいが,反転しているぺアの場合に女性単語のノルムの方が 大きい。言語現象上の要因としては，コーパス中の 出現頻度において男女バイアスが存在しているか らであり，一般に男性単語の方が頻度が高いが，逆転しているぺアでは，例えば husband よりも wifeが 頻出するのは his wife のように男性の文脈において wife が出現することの方が her husband よりも多い ということが想定される.

同じカテゴリーの中に異なる関係性を持つぺアが 存在してサブカテゴリーをなしていることを示唆し ており, 平行四辺形距離はそのような単語間の関係性を定量的に測定する機能を有している。

## 6 おわりに

本研究では単語群の持つ意味的・統語的関係を幾何的性質として捉え，新たなメトリックとして図形距離を提案した. そして類推関係にある単語群が高次元空間内で平行四辺形に近い配置にあることを実証した. 精度の改善のため正規化手法の見直しが必要であるが，図形距離を用いることで，半自動的な 類推関係の発見や，類推関係の種類の細分化などが 期待される. また図形距離は本稿で対象とした平行四辺形以外の図形にも拡張できる. そのため他の立体図形をなす単語群の研究も進行中である. ${ }^{6)}$.

## 謝辞

本研究は JST さきがけ JPMJPR20C9 の助成を受け

て行われた。

## 参考文献

[1] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeff Dean. Efficient estimation of word representations in vector space. pp. 1310-4546, 2013.

[2] Dawn Chen, Joshua C. Peterson, and Thomas L. Griffiths. Evaluating vector-space models of analogy. CoRR, Vol. abs/1705.04416, , 2017.

[3] Joshua C. Peterson, Dawn Chen, and Thomas L. Griffiths. Parallelograms revisited: Exploring the limitations of vector space models for simple analogies. Cognition, Vol. 205, p. 104440, 2020

[4] 丸山圭三郎. ソシュールを読む. 岩波書店, 1983.

[5] 河田敬義. アフィン幾何・射影幾何. 岩波書店, 1967.

[6] 前田晃弘, 鳥居拓馬, 日高昇平. 単語共起行列の内部構造解明のための構成論的アプローチ. 2022 年度日本認知科学会第 39 回大会, 2022.

[7] Takuma Torii, Akihiro Maeda, and Shohei Hidaka. Embedding parallelepiped in co-occurrence matrix: simulation and empirical evidence. In Joint Conference on Language Evolution (JCoLE2022), 2022.

[8] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. pp. 1310-4546, 2013.

[9] spaCy. Models and language, 2023. https:spacy.io/ usage/models.

## A カーネルまでの距離の導出

平行四辺形の必要十分条件を示す式 (3) は，次の ようにべクトル化することができる.

$
\operatorname{vec}\left(X \mathbf{p}_{i}\right)=\left(\mathbf{p}_{i}^{t} \otimes I_{d}\right) \operatorname{vec}(X)=A_{i} \mathbf{x}
$

ただし, $A_{i}:=\mathbf{p}_{i}^{t} \otimes I_{d}, \operatorname{vec}(X)=\mathbf{x} \in \mathbb{R}^{4 d}$ である.

平行四辺形をなすすべての点の集合は $A_{i}$ のカーネ ル $K_{i}$ として次の通りである.

$
K_{i}=\left.\{\mathbf{x} \in \mathbb{R}^{4 d} \mid A_{i} \mathbf{x}=\mathbf{0}_{d}\right.\}
$

頂点パタン $i$ の平行四辺形までの距離を点 $\mathbf{x}$ から カーネル $K_{i}$ までの距離として求める. $K_{i}$ は行列 $A_{i}$ の行空間 $C\left(A_{i}\right)$ の補空間であることを踏まえ $\left(\mathbb{R}^{4 d}=K_{i} \oplus C\left(A_{i}\right)\right)$, まず $C\left(A_{i}\right)$ への射影行列 $\Pi_{i}$ を 考える. $\mathbf{x}$ を $C\left(A_{i}\right)$ へ直交射影した点を $\mathbf{z}_{i}$ とする. すなわち， $\Pi_{i} \mathbf{x}=\mathbf{z}_{i}$ である. $\mathbf{z}_{i} \in C\left(A_{i}\right)$ であるので， $A_{i}^{t} \mathbf{w}=\mathbf{z}_{i}$ なる $\mathbf{w}$ が存在する.

点 $\mathbf{x}$ と点 $\mathbf{z}_{i}$ を結ぶ直線は部分空間 $C\left(A_{i}\right)$ への垂線 となるので $A_{i}\left(\mathbf{x}-\mathbf{z}_{i}\right)=\mathbf{0}$ が成り立ち，これを展開す ると $\mathbf{w}=\left(A_{i} A_{i}^{t}\right)^{-1} A_{i} \mathbf{x}$ を得て次の式に代入する.

$
\begin{aligned}
\Pi_{i} \mathbf{x} & =\mathbf{z}_{i} \\
& =A_{i}^{t} \mathbf{w} \\
& =A_{i}^{t}\left(A_{i} A_{i}^{t}\right)^{-1} A_{i} \mathbf{x}
\end{aligned}
$

この式は任意の $\mathbf{x}$ について成り立つので $\Pi_{i}=$ $A_{i}^{t}\left(A_{i} A_{i}^{t}\right)^{-1} A_{i}$ である. $A_{i}=\mathbf{p}_{i}^{t} \otimes I_{d}$ を用いて, さらに 式を展開する. $i=1$ の場合，

$
\begin{aligned}
\Pi_{1} \mathbf{x} & =A_{1}^{t}\left(A_{1} A_{1}^{t}\right)^{-1} A_{1} \mathbf{x} \\
& =\left(\frac{1}{4}\left(\mathbf{p}_{1} \mathbf{p}_{1}^{t}\right) \otimes I_{d}\right) \mathbf{x} \\
& =\frac{1}{4}\left[\begin{array}{cccc}
I_{d} & -I_{d} & -I_{d} & I_{d} \\
-I_{d} & I_{d} & I_{d} & -I_{d} \\
-I_{d} & I_{d} & I_{d} & -I_{d} \\
I_{d} & -I_{d} & -I_{d} & I_{d}
\end{array}\right]\left[\begin{array}{l}
\mathbf{x}_{1} \\
\mathbf{x}_{2} \\
\mathbf{x}_{3} \\
\mathbf{x}_{4}
\end{array}\right] \\
& =\frac{1}{4}\left[\begin{array}{c}
\mathbf{x}_{1}-\mathbf{x}_{2}-\mathbf{x}_{3}+\mathbf{x}_{4} \\
-\mathbf{x}_{1}+\mathbf{x}_{2}+\mathbf{x}_{3}-\mathbf{x}_{4} \\
-\mathbf{x}_{1}+\mathbf{x}_{2}+\mathbf{x}_{3}-\mathbf{x}_{4} \\
\mathbf{x}_{1}-\mathbf{x}_{2}-\mathbf{x}_{3}+\mathbf{x}_{4}
\end{array}\right]
\end{aligned}
$

となるので

$
d_{1}=\left.\|\Pi_{1} \mathbf{x}\right.\|=\frac{1}{2}\left.\|X \mathbf{p}_{1}\right.\|=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{4}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{3}}{2}\right.\|
$

である. $i=2,3$ の場合も同様である.

## B 正規化項の導出

点 $\mathbf{x}$ からそれをカーネル $K_{i}$ へ直交射影した点ま での垂線の距離を, 原点 $O$ から点 $\mathbf{x}$ までの斜辺の距離で正規化すれば正弦が得られるが，その方法では 図形の平行移動の影響を受けてしまう。これを避け るために，空間 $V=\mathbb{R}^{d}$ における 4 点を任意のべク トル $\mathbf{b} \in V$ で平行移動したものと同一視する. これ は空間 $W=\mathbb{R}^{4 d}$ においては, $\mathbf{x} \in W と \mathbf{x}+\mathbf{1}_{4} \otimes \mathbf{b} \in W$ を同一視することに等しい.

任意の点 $\mathbf{x}$ に対して，原点と同一視できる点の中 で最短距離を与えるものをその原点して選ぶことと して，平行移動 $b^{\prime}=\mathbf{1}_{4} \otimes b$ を次のように求める.

$
\begin{aligned}
\min _{\mathbf{b}^{\prime}} \delta & =\min _{\mathbf{b}^{\prime}}\left.\|\mathbf{x}-\mathbf{b}^{\prime}\right.\| \\
& =\min _{\mathbf{b}}\left.\|\mathbf{x}-\mathbf{1}_{4} \otimes \mathbf{b}\right.\| \\
& =\min _{\mathbf{b}}\left(\sum_{i=1}^{4}\left(\mathbf{x}_{i}-\mathbf{b}\right)^{2}\right)^{1 / 2}
\end{aligned}
$

$\delta^{2}$ を b で偏微分する.

$
\frac{\partial \delta^{2}}{\partial \mathbf{b}}=-2 \sum_{i=1}^{4} \mathbf{x}_{i}+8 \mathbf{b}=0
$

従って,

$
\mathbf{b}=\frac{1}{4} \sum_{i=1}^{4} \mathbf{x}_{i}:=\mathbf{m}
$

すなわち，空間 $V$ における 4 つの単語ベクトルの 中点を $\mathbf{m}$ とすると，空間 $W$ においてこれに対応す る $\mathbf{1}_{4} \otimes \mathbf{m}$ が $\mathbf{x}$ に最も近い原点 (平行移動により原点 と同一視される点)ということになる.

以上より，図形距離の正規化に用いる正規化項 $Z$ は， $\mathbf{1}_{4} \otimes \mathbf{m}$ までの距離ということになる.

$
\begin{aligned}
Z & =\left.\|\mathbf{x}-\mathbf{1}_{4} \otimes \mathbf{m}\right.\| \\
& =\left(\sum_{i=1}^{4}\left.\|\mathbf{x}_{i}-\mathbf{m}\right.\|^{2}\right)^{1 / 2} \\
& =\left(\sum_{i=1}^{4}\left.\|\overline{\mathbf{x}_{i}}\right.\|^{2}\right)^{1 / 2}
\end{aligned}
$

$\overline{\mathbf{x}_{i}}$ は， 4 点の重心 $\mathbf{m}$ で中心化したべクトルと考える ことができるので，これは結局，4つのベクトルを 重心の分だけマイナスに平行移動していることであ り，合同となる図形を同一視して，その正規化項を 導出していることになる.