# Cross-lingual transfer learning considering word order difference

Haosen Zhan Jin Sakuma
The University of Tokyo
\{hos, jsakuma\}@tkl.iis.u-tokyo.ac.jp
}

Naoki Yoshinaga Masashi Toyoda
Institute of Industrial Science,
The University of Tokyo
\{ynaga, toyoda\}@iis.u-tokyo.ac.jp

## 1 Introduction

Although deep neural networks (DNNs) exhibit a remarkable performance in various natural language processing tasks, we cannot enjoy the true potential of DNNs in most of languages. This is because we do not have a largescale annotated corpora to train the over-parametarized DNNs for the task in the target language.

The cross-lingual transfer learning mitigates this problem by training models on annotated data in the resourcerich (source) language (typically, English) so that the resulting models can be applied to the target language. We will hereafter refer to this setting as "zero-shot." The performance of zero-shot transfer learning has been drastically improved by the pre-trained multilingual models (multilingual-BERT [1]). These models are pre-trained on massive multilingual raw corpora and then fine-tuned to the target task in the source language. The resulting models are then applied in the target language. Meanwhile, it has been reported that the differences in word orders harm the performance of cross-lingual transfer between distant languages. Ahmad el al. [2] observed a substantial gap in performance across different target languages, especially when word orders in the source and target language differ.

To mitigate this challenge in cross-lingual transfer across distant languages, researchers explored two major approaches. Xia et al. [3] proposed to use dependency CNN to improve the performance of a multilingual model based on cross-lingual word embeddings in English and Chinese sentence-level classification. Liu et al. [4] fixed the positional encoding layer of BERT to avoid overfitting to the word order of the source language in fine-tuning. However, the former approach is not compatible with pre-trained multilingual models, and the latter approach is limited to the embedding layer and could not prevent the overfitting happens in transformer layers.

Figure 1 The overview of our framework on cross-lingual transfer learning considering word order difference.

In this study, we introduce methods to explicitly mitigate the problem of order differences in the pre-trained multilingual model for the zero-shot scenario ( $\S 2$ ). Concretely, we propose two approaches to capture word orders in the fine-tuning of multilingual-BERT (mBERT): 1) multitask learning with word permutation detection task and 2) incorporating order-insensitive dependency information (Figure 1).

We evaluate our methods on mutilingual part-of-speech tagging and named entity recognition (§3). Experimental results confirmed that the effectiveness of our methods.

## 2 Proposal

In zero-shot learning, mBERT fine-tuned in the source language can overfit to the word order of the source language and fail to encode target languages with drastic order differences from the source, resulting in the loss in the performance. Figure 1 shows an overview of our framework for zero-shot cross-lingual transfer learning. In the following, we will introduce three methods to mitigate the order difference in zero-shot cross-lingual transfer learning.

## 2.1 Multitasking with permutation detection

To prevent the model from overfitting, we first introduce a self-supervised auxiliary task of detecting word permuta-
tion during fine-tuning in the source language. We expect that this task will identically help the model encode word orders of the source and target languages.

For each mini-batch, we sample raw corpora from both source and target languages. We randomly generate wordlevel permutation within one sentence with a certain probability, ${ }^{1)}$ and the model will learn to distinguish whether each token has been permutated or not. Concretely, a token-level binary classifier is added on the top of the encoder to predict whether each token is permutated. The resulting loss is computed as

$
\mathscr{L}_{\text {total }}=\mathscr{L}_{\text {task }}+\alpha * \mathscr{L}_{\text {perm }}
$

where $\mathscr{L}_{\text {task }}$ and $\mathscr{L}_{\text {perm }}$ are losses of the target task and permutation detection task, respectively, and $\alpha$ is the hyperparameter that represents the weight for the permutation loss, which is whether kept a constant or exponentially increased/decreased across training. We use the first subword unit in each word to calculate the loss.

## 2.2 Injecting dependency information

Although the multitasking with permutation detection can be applicable to any languages as long as raw corpora are available, this auxiliary task is self-supervised and may not convey sufficient supervision. Therefore, assuming a dependency parser for the target language, we next propose to explicitly inject dependency information into the transformer network to prevent the model overfit to the surface orders in the source language.

## 2.2.1 Injecting dependency heads

We first propose to incorporate adapters [5] into the transformer layers that aggregate each token with its dependency head. This injection is meant to promote the model to utilize language-independent information without relying on surface word orders that are specific to the source language (Figure 2).

In what follows, we explain how the output of the adapter module, $x_{i}^{\text {out }}$, is computed given the hidden state of a token $x_{i}$. Firstly, for each subword $i$, we obtain the dependency head word token via a dependency parser. And let head ${ }_{i}$ be the first subword token of the head word token. Then, by the following function, we aggregate the outputs of fead-

Figure 2 Transformer layer with head-adapter

forward network, $x_{i}$ and $x_{i}^{\text {head }}$.

$
x_{i}^{\text {out }}=\operatorname{FFN}_{u p}\left(\operatorname{ReLU}\left(\operatorname{FFN}_{\text {tail }}\left(x_{i}\right)+\operatorname{FFN}_{\text {dep }}\left(x_{i}^{\text {head }}\right)\right)\right)
$

where $\mathrm{FFN}_{u p}, \mathrm{FFN}_{t a i l}$, and $\mathrm{FFN}_{d e p}$ are single-layer feedforward networks.

If we randomly initialize the adapter modules before fine-tuning, they are only exposed to the examples in the source language and could be overfitted. Henceforth, we first trained the adapter modules on the masked language model (MLM) task on multilingual raw corpora. Simply training the entire model on MLM task requires parsed multilingual raw corpora. However, obtaining such corpora costs a significant amount of human labour and time. Therefore, we first exploited the adapter structure proposed by Houslby [5], and then the optimized parameters are copied to our adapter modules. Concretely, we initialize both $\mathrm{FFN}_{\text {dep }}$ and $\mathrm{FFN}_{\text {tail }}$ by the trained parameters of $\mathrm{FFN}_{\text {down }}$, and the rest parts are directly copied. We only inserted adapters in the first two layers of BERT, and during task fine-tuning, both adapter modules and BERT layers are trained.

## 2.2.2 Integrating dependency distance

Despite the high precision of the multilingual parser, the previously introduced approach introduce in $\S 2.2 .1$ can suffer from pipeline error propagation. Furthermore, despite our initialization method, the resulting adapter modules can still overfit to the source language during finetuning. Besides the hard encoding of dependency head information, we propose an alternative adapter module to integrate continuous representation corresponding to to-

Figure 3 Transformer layer with dependency distance based adapters

kens' dependency information obtained by syntactic probing [6]. Concretely, we employ structural probing, which projects hidden states of fixed mBERT obtained by linear projection trained to recreate the distances in the dependency trees.

Here, we let $x_{i}$ be the output of the feed-forward network in a transformer layer corresponding to the $i$ th token. And let $x_{i}^{d e p}$ be the projected representation by structural probing corresponding to the $i$ th token. We aggregate the $h_{i}$ and $h_{i}^{d e p}$ to compute the output of the adapter module $x_{i}^{\text {out }}$ by following

$
\begin{aligned}
g_{i} & =\sigma\left(\operatorname{FFN}_{\text {gate }}\left(x_{i}^{d e p}\right)\right) \\
h_{i}^{d e p} & =g_{i} \otimes \mathrm{FFN}_{\text {dep }}\left(x_{i}^{d e p}\right) \\
h_{i} & =\left(1-g_{i}\right) \otimes \mathrm{FFN}_{\text {down }}\left(x_{i}\right) \\
x_{i}^{\text {out }} & =\mathrm{FFN}_{u p}\left(\operatorname{ReLU}\left(h_{i}^{\text {dep }}+h_{i}\right)\right)
\end{aligned}
$

where $\mathrm{FFN}_{\text {dep }}, \mathrm{FFN}_{\text {down }}$, and $\mathrm{FFN}_{\text {gate }}$ are feed forward layers for transforming hidden states and corresponding dependency features, $g$ is the gate that represents how much the model considers the dependency information for the particular token, and $\otimes$ represents the element-wise multiplication. We expect that the gate module will dynamically decide whether or not to absorb the extracted dependency feature. The combined features are then projected back to the hidden dimension of mBERT by $\mathrm{FFN}_{u p}$.

For initialization of adapters, this approach is different from $\S$ 2.2.1 that it takes raw corpora without parsed ones as input. Hence, we use raw corpora and the MLM task to initialize all the parameters. The rest of the details work the same as $\S 2.2 .1$.

## 3 Experiments

We conduct experiments on the part of speech tagging (POS) task and named entity recognition (NER) task to evaluate the effectiveness of our proposed methods.

## 3.1 Experiment settings

Data pre-processing Injecting dependency information ( $\S$ 2.2.1) requires dependency parsers for the source and target languages. For this purpose, we leveraged Udify [7]. We use $\mathrm{MeCab}^{2)}$ and Jieba ${ }^{3)}$ to tokenize Japanese and Chinese raw corpora for permutation in $\S 2.1$. We followed a sliding window approach [8] to process long sequences.

Models to compare To evaluate the effectiveness of our proposal, we compared the following models:

BASE is a baseline model that fine-tunes the mBERT model on the training set in the source language.

BASE+FIX-POS-EMB fixes the positional embeddings of mBERT during fine-tuning [4].

BASE+FIX-EMB fixes the both positinal and word embeddings of mBERT during fine-tuning.

We applies our methods to the above three models.

+PERM employs the multi-task learning with the auxiliary task of word permutation detection (§2.1).

+HEAD inserts the adapter modules that injects dependency head ( $\$ 2.2$ ).

+DEP-DIS inserts the adapter modules that integrate dependency distance ( $\S$ 2.2.2).

COMPARE Stands for control group for DEP-DIS, but directly taking hidden layers output without projecting to dependency-distance-space

Training All of the models were initialized from weights of "bert-base-multilingual-cased" acquired from huggingface tranformers ${ }^{4}$ [9] and trained on the training set of the source language (English). During the finetuning, the checkpoints are saved every epoch, and one that performed the best on the development set in the target language is used for testing.

For models based on adapters (+HEAD and +DEPDIS), the dimension of the hidden state within the adapters is set to 384 , and we sampled $100 \mathrm{k}$ sentences for the initialization of adapters by the MLM task ( $\S$ 2.2.1). For the syntactic probing (+DEP-DIS), we trained a projection from hidden states of the 7th layer from BERT to dependencies subspace.

2) https://taku910.github.io/mecab/

3) https://github.com/fxsjy/jieba

4) https://github.com/huggingface/transformers

Table 1 Result for POS (accuracy). All settings were reported on 5 different random seeds. $\checkmark$ stands for languages with canonical order of Subject-Verb-Object (SOV) and $\boldsymbol{X}$ stands for non-SOV languages.

Table 2 Entity level F1 score for NER. All settings were averaged on 5 different random seeds

## 3.2 Part Of Speech tagging

In the POS tagging task, we leveraged the "upos" filed from Universal Dependency v2.3 treebanks, ${ }^{5)}$ the treebanks selection follows [2]. Since POS is usually solved as a subtask of dependency parsing, it is impractical to have data for parsing without POS annotated. Therefore, we only test the impact of +PERM in this section.

Table 1 showed the results on POS tagging. As our expectation, multi-tasking with the permutation task (+PERM) yielded solid improvement over BASE in German and Japanese (ja). In contrast, the results in Latin (la) and Chinese (zh) were opposed to our expectations. It worth mention that mBERT leveraged a brutal way of tokenization on Japanese, which could be one reason for the abnormal pattern in our results.

## 3.3 Named Entity Recognition

For the NER task, we used CoNLL 2002 and 2003 NER shared task [10] containing English (en), Spanish (es), Dutch (nl), and German (de). The labels were converted into IOB2 [11] format, and we use token-level classifiers for NER prediction. The hidden state of the first subword unit of each token is used for the prediction.

Table 2 shows the results on NER. We observed that the performance in Dutch benefited from injecting dependencies the most. Among all the languages, Dutch shares the most common features with English. This is opposed to our previous assumption that leveraging dependency helps distance cross-lingual transfer. In German, the multi-task learning with the word permutation detection (+PERM) improved models' performance with robust increment, comparing all the settings with or without +PERM. German is relatively "different" from English among the target languages, showing that permutation detection is profitable for the NER task.

## 4 Conclusions

In this paper, we investigate three methods of mitigating order differences in source and target languages in the mBERT-based cross-lingual transfer. We observed that our proposal yields improvements in token-level classification, yet the gain is limited. In our future research, we plan to 1) leverage fine-grained dependency features and 2) find an auxiliary task that is purely related to word order, baring that current proposal permutation detection is not independent of the understanding of semantic.

## Acknowledgement

This work was supported by JST CREST Grant Number JPMJCR19A4, Japan.

## References

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Minneapolis, Minnesota, June 2019.

[2]Wasi Ahmad, Zhisong Zhang, Xuezhe Ma, Eduard Hovy, Kai-Wei Chang, and Nanyun Peng. On difficulties of crosslingual transfer with order differences: A case study on dependency parsing. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Minneapolis, Minnesota, June 2019.

[3]Yandi Xia, Zhongyu Wei, and Yang Liu. An efficient crosslingual model for sentence classification using convolutional neural network. In Proceedings of the ACL 2016 Student Research Workshop, Berlin, Germany, August 2016.

[4]Zihan Liu, Genta Indra Winata, Samuel Cahyawijaya, Andrea Madotto, Zhaojiang Lin, and Pascale Fung. On the importance of word order information in cross-lingual sequence labeling. In Proceedings of 35th AAAI Conference on Artificial Intelligence (AAAI-2021).

[5]Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. Parameter-efficient transfer learning for nlp. In ICML, pp. 2790-2799, 2019.

[6]Ethan A. Chi, John Hewitt, and Christopher D. Manning. Finding universal grammatical relations in multilingual BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, July 2020.

[7]Dan Kondratyuk and Milan Straka. 75 languages, 1 model: Parsing Universal Dependencies universally. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, November 2019.

[8]Shijie Wu and Mark Dredze. Beto, bentz, becas: The surprising cross-lingual effectiveness of bert. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

[9]Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, Online, October 2020.

[10]Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147, 2003.

[11]Erik F. Tjong Kim Sang and Jorn Veenstra. Representing text chunks. In Ninth Conference of the European Chapter of the Association for Computational Linguistics, Bergen, Norway, June 1999.

## A hyper-parameters

Table 3 hyper-parameters for POS

Table 4 hyper-parameters for NER.


# BERT の Masked Language Model を用いた 教師なし語義曖昧性解消

新納浩幸
茨城大学大学院理工学研究科
情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp
}

馬ブン
茨城大学大学院理工学研究科
社会インフラシステム科学専攻
19nd302h@vc.ibaraki.ac.jp

## 1 はじめに

本論文では BERT[1] の Masked Language Model (以下 MLM と略記)を利用して, 教師なしの語義曖昧性解消を試みる。対象単語をマスクし，マスク位置に 推定された単語と分類語彙表から得られる候補語義 を持つ類義語とを比較することで語義を推定する。

語義曖昧性解消は自然言語処理の重要な要素技術 であり, 古くから研究されている. 近年は事前学習済みモデルの BERTを用いた語義曖昧性解消が行わ れている [2][3][4] [5][6][7][8]. BERT を用いること で対象単語の文脈をある空間に埋め込むことができ るので，語義のラベルを同じ空間に埋め込めれば教師なし学習も可能である.

本研究では語義のラベルを同じ空間に埋め込むの ではなく，BERT の MLMを利用して，対象単語の 位置に現れる単語を推定することで語義曖昧性解消 を行う．MLMにより推定される単語は当然, 対象単語である䇢だが，MLM では全ての単語に対して， その単語がマスク位置に現れる確率を付与できる ため, 対象単語の語義を持つ類義語が現れる確率が 得られる.これによって対象単語の語義を推定でき る. なお本研究では対象単語の語義を持つ類義語は 分類語彙表から予め得ておく。

実験では「言葉」「声」「電話」「国際」「市場」の 5 単語に対して, 本手法を試み, 教師なしの語義曖昧性解消手法として利用できることを確認した。

## 2 関連研究

語義曖昧性解消は典型的な分類問題であるため,通常の教師あり学習を用いて高精度に解決が可能 である．ただし訓練データの構築コストが高いため に，全単語を対象にした all-words 型の語義曖昧性解消あるいは教師なし語義曖昧性解消 [9] が研究の中心となっている.

近年は埋め込み表現を語義曖昧性解消に利用する 研究が活発である. 単語の埋め込み表現自体が語義曖昧性解消の素性として利用できることもあるが，語義曖昧性解消は対象単語の文脈と語義のラベルを 同じ空間に埋め込むことで解決できるからである [10]. そのため word2vec のアルゴリズムを利用して 語義の分散表現を構築する手法 [11][12] が提案され ている。さらに BERT などの事前学習済みモデルで は，入力文の各単語に対して文脈依存の埋め込み表現を精度良く構築できるため，その単語の埋め込み 表現を素性として利用するだけでも語義曖昧性解消の性能はかなり向上する [3]. またその埋め込み 表現の空間に語義のラベルを埋め込めれば，k-NN 程度の学習手法でもかなりの精度が達成できる [4].問題は語義のラベルをどのように同じ空間に埋め込 むかであるが，一つの方法としては語義の用例を辞書の定義文により求め，その用例を BERT に入力す ることで語義のラベルの埋め込み表現が獲得できる [2]. あるいは BERT の中に意味ネットワークや意味表現を組み込むことで語義曖昧性解消が可能である [13] [5][6][7].

本研究では語義のラベルの埋め込み表現を構築 するというアプローチではなく，本質的には，文脈 の埋め込み表現と類似の埋め込み表現をもつ単語 を調べ，その単語の語義から対象単語の語義を推定 する．結局，語義毎の用例を構築するか，語義毎の 類義語を構築するかの違いとも言える，日本語の場合，前者は困難であるが，後者では分類語彙表が利用できるため，容易に実現可能である。

## 3 提案手法

## 3.1 MLM によるマスク単語の推定

BERT の学習には，2 文の接続可否を判定するタ スクとマスク単語を推定するタスクが利用される. マスク単語を推定するネットワーク部分も含めて BERT のモデルを取り出したものが MLM である. MLM ではマスク単語を含む文を入力とし，そのマ スク単語の位置に単語 $w$ が現れる確率 $p(w)$ を出力する. BERT の登録語彙リストを $D$ とした場合, $\arg \max _{w \in D} p(w)$ によりマスク単語を推定できる.

## 3.2 MLM を利用した語義曖昧性解消

ここでは MLM を語義曖昧性解消に利用する。ま ず対象単語 $w$ の語義は $g_{1}, g_{2}, \cdots, g_{K}$ の $K$ 種類とす る. 文 $s$ 内に対象単語 $w$ が現れたときに，文 $s$ 内の 単語 $w$ の語義 $g_{j}$ を識別するのが語義曖昧性解消で ある. ここでは文 $s$ の $w$ をマスク単語 [MASK] に変更し，その変更した文を MLM に入力する. 出力と しては語彙リスト $D$ 内の各単語 $x$ が [MASK] に入る 確率 $p(x)$ が得られる. ここで $p(x)$ の值が高い単語 $x$ は語彙が $g_{j}$ である単語だと考えられる. そこで各語義 $g_{i}$ を持つ単語のリスト $R_{i}$ を予め作成しておき，以下により語義 $g_{\hat{j}}$ を推定する.

$
\hat{j}=\underset{j}{\arg \max }\left(\max _{x \in R_{j}} p(x)\right)
$

## 3.3 分類語彙表による語義別の類義語の 設定

分類語彙表は一種の概念辞書である. 各単語には 10 桁からなる分類番号が与えられている。本研究 ではこの分類番号の上位 5 桁を語義 id と見なして，語義曖昧性解消を行う. 語義 $g_{i}$ が分類語彙表の上位 5 棪の記号である場合，語義 $g_{i}$ を持つ単語のリス ト $R_{i}$ は分類語彙表から得ることができる.

例えば「声」には「笑い声」のような「音」とし ての語義と，「国民の声」のような「意見」として の語義がある. 分類語彙表は「声」には'1.3031' と '1.3061'の 2 つの id が付与されている. '1.3031’が 「音」の語義に対応し，'1.3061' が「意見」の語義に 対応している. '1.3031'および'1.3061' の語義を持 つ単語は「声」の他, 分類語彙表には表 2 のよう単語が登録されている.

## 4.1 実験の設定

語義曖昧性解消の対象単語は「言葉」「声」「電話」「国際」「市場」の 5 単語とする.

利用するデータは国立国語研究所から公開されて いる BCCWJ-WLSP ${ }^{1)}$ である.これは『現代日本語書 き言葉均衡コーパス』に分類語彙表番号が付与され たコーパスである。このコーパスから前記した 5 単語を含む文を取り出し，対象単語の語義をラベルと した評価用データを構築した。表 1 に取り出した文 の数を語義毎に記す。またこの数から MFS の値が 算出される。

表 1 評価用データの語義毎の文数

利用する日本語 BERT のモデルは以下で公開され ている 'bert-base-japanese'とする.

https://github.com/cl-tohoku/bert-japanese

本手法では分類語彙表から得られる類義語が BERT モデルの語彙リストに登録されている必要が ある。そのため各語義に対する類義語は実際に分類語彙表から得られるものの一部である。その一部を 表 2 に示す.

## 4.2 実験結果

本手法により正解率を測った. この結果を表 3 に 示す.

ランダムな解答の正解率と比較すると明らかに正解率は高く, ある程度はこの手法で正解を導けるこ とが分かる.

語義別の正解率も調べた.この結果を表 4 に 示す.

表 2 語義の類義語

 \\

表 3 実験結果

表 4 語義毎の正解率

各語義に対してある程度の正解率を示しており，語義の頻度に影響を受けていないことが確認で きる.

## 5 考察

## 5.1 類義語の調整

類義語のリストを調整することで正解率を改善で きると考えた。「国際」の語義 1.3500 と「言葉」の 語義 1.3101 については極端に正解率が悪い。これ らの語義の判定で誤りに導いた類義語について調べ た.「国際」の語義 1.3500 は 50 個のデータ中 40 個 が間違いであった。この間違いを導いた類義語は以下の通りである。

「国家」16 個，「外国」10 個，「各国」5 個，

「連邦」 4 個，その他 5 個

そこで類義語のリストから「国家」「外国」を除い て，「国際」について再実験を行ったところ， 1.3500 の正解数は 3 つ増えたが， 1.2530 の正解数が 2 つ減 り，総合的には大きな変化はなかった．類義語のリ ストを調整することでの正解率の改善は難しいと考 えられる。

## 5.2 他の BERT モデルの利用

本実験では他の BERT モデルを利用することで，正解率を改善できる可能性がある．ただし BERT 毎 に Tokenizer が異なるために，単純にモデルだけを 交換して実験することはできず，公正な比較は難し い. ただし本実験で用いた 'bert-base-japanese' と同 じサイトで公開されている'bert-base-japanese-wholeword-masking' は同じ Tokenizer を用いているために モデルだけを変更して本実験が行える．実験の結果 を表 5 に示す.

表 5 他の BERT モデルの利用

一般 に 'bert-base-japanese-whole-word-masking' は’bert-base-japanese'よりも少し性能が高いと言 われているが，このタスクに対しては性能は低かっ

た. 本タスクにはどのような BERT モデルが適して いるのかを調べるのは今後の課題である。

## 5.3 BERT の追加学習

本実験で利用した BERT は素の BERT であり，本 タスクに適した形で fine-tuning されたものではな い. 本タスクに適した形で BERTを fine-tuning して おけば，正解率の改善に繋がると考えられる．ただ し本タスクは MLM のタスクそのものであるため, BERT の fine-tuning は BERT の追加学習という形に なる。

ここでは実験的に 2008 年度毎日新聞から約 80 万文を利用して BERT の追加学習を行った. 作成でき たモデルを用いた実験結果を表 6 に示す.

表 6 追加学習した BERT の利用

性能は大幅に下がっている.ランダムの結果 (0.467) よりも悪い. 追加学習に失敗していると思 われるが，原因は不明であり調査中である．BERT の追加学習に関しては何らかの Tips があると思わ れる。

本タスクに対して BERT の追加学習は有効だと予想しているので，この方向で研究を継続したい.

## 6 おわりに

本論文では BERT の MLM を利用して，教師なし の語義曖昧性解消を試みた。対象単語をマスクし， マスク位置に推定された単語と分類語彙表から得ら れる候補語義を持つ類義語とを比較することで語義 を推定する. 実験では語義タグ付きコーパスである BCCWJ-WLSP から 5 単語を選び，評価用データを 作成し，本手法を試みた。性能は低かったが，教師 なしの語義曖昧性解消手法として利用できることを 確認した。また利用する BERTを追加学習すること で，性能は改善できると予想している．その方向で 本研究を継続したい.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2020 年度国立情報学研究所公募型共同研究 (2020-FC03) の助成を受けています。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In $N A A C L-2019$, pp. 4171-4186, 2019

[2]Luyao Huang Chi Sun Xipeng Qiu Xuanjing Huang. GlossBERT: BERT for word sense disambiguation with gloss knowledge. arXiv preprint arXiv:1908.07245, 2019.

[3]Hadiwinoto, Christian Ng, Hwee Tou Gan, Wee Chung. Improved word sense disambiguation using pre-trained contextualized word representations. In EMNLP-IJCNLP-2019, pp. 5300-5309, 2019.

[4]Gregor Wiedemann Steffen Remus Avi Chawla Chris Biemann. Does BERT make any sense? Interpretable word sense disambiguation with contextualized embeddings. arXiv preprint arXiv:1909.10430, 2019

[5]Bianca Scarlini, Tommaso Pasini, and Roberto Navigli. SensEmBERT: Context-Enhanced Sense Embeddings for Multilingual Word Sense Disambiguation. AAAI-2020, pp. 8758-8765, 2020

[6]Zhuosheng Zhang, Yuwei Wu, Hai Zhao, Zuchao Li, Shuailiang Zhang, Xi Zhou, and Xiang Zhou. Semantics-aware BERT for language understanding. In AAAI-2020, pp. 96289635, 2020.

[7]Yoav Levine, Barak Lenz, Or Dagan, Ori Ram, Dan Padnos, Or Sharir, Shai Shalev-Shwartz, Amnon Shashua, and Yoav Shoham. SenseBERT: Driving some sense into BERT. In ACL-2020, pp. 4656-4667, 2020.

[8]Tommaso Pasini, Federico Scozzafava, and Bianca Scarlini. CluBERT: A cluster-based approach for learning sense distributions in multiple languages. In $A C L-2020$, pp. 4008-4018, 2020.

[9]鈴木類, 古宮嘉那子, 浅原正幸, 佐々木稔, 新納浩幸.概念辞書の類義語と分散表現を利用した教師なし all-words wsd. 自然言語処理, Vol. 26, No. 2, pp. 361-379, 2019.

[10]Ignacio Iacobacci, Mohammad Taher Pilehvar, and Roberto Navigli. Embeddings for word sense disambiguation: An evaluation study. In $A C L-2016$, pp. 897-907, 2016.

[11]Xinxiong Chen, Zhiyuan Liu, and Maosong Sun. A unified model for word sense representation and disambiguation. In EMNLP-2014, pp. 1025-1035, 2014.

[12]Arvind Neelakantan, Jeevan Shankar, Alexandre Passos, and Andrew McCallum. Efficient non-parametric estimation of multiple embeddings per word in vector space. arXiv preprint arXiv:1504.06654, 2015.

[13]Yoav Levine, Barak Lenz, Or Dagan, Ori Ram, Dan Padnos, Or Sharir, Shai Shalev-Shwartz, Amnon Shashua, and Yoav Shoham. SenseBERT: Driving some sense into BERT. In ACL-2020, pp. 4656-4667, 2020.


# 単語理め込みによる論理演算

内藤雅博 1,3 横井 祥 2,3 下平 英寿 1,3
1 京都大学 2 東北大学 3 理化学研究所
}

neiteng@sys.i.kyoto-u.ac.jp, yokoi@ecei.tohoku.ac.jp, shimo@i.kyoto-u.ac.jp
## 1 はじめに

自然言語処理の基盤技術である単語埋め込みは， $v_{\text {king }} \approx v_{\text {royal }}+v_{\text {man }}$ のように埋め込みの加法で意味の 合成を近似できるという性質を持つ（加法構成性）.

加法構成性が成立する理由を説明するためにいく つかの理論が提示されてきたが $[2,8,1]$ ，本稿で示 す通り，実際の単語埋め込みでは成立しない仮定が 置かれている。また, 理論が Skip-gram[15] などの特定の手法に依存しており, $\mathrm{GloVe}[18]$ などの他の手法との統一した理解は分野に残された課題である.

加法構成性について次のような疑問も残されてい る：「意味の合成」とひとことで言っても，意味の AND をとりた場合 (例 : king $\approx$ royal $\wedge$ man; 通常 の加法構成性に相当）とORをとりたい場合（例： case $\approx b o x$ (箱) $\vee$ instance (事例)) では異なる演算が 必要だと考えられる. OR の演算は単語埋め込みで どのように計算できるのだろうか?

本稿では，以上の加法構成性に対する疑問に対し て以下の理論的・実験的根拠を与える：

1. 単語埋め込みからその平均を引いた（中心化した）べクトルを考えることで Skip-gram with Negative Sampling (SGNS)[16] と GloVe の性質を 統一して記述できることを示すとともに，既存 の加法構成性の理論の問題点を取り除く(§3).

2. 1. で得た結果を出発点に，表1のような意味の $\mathrm{AND}$ O OR・NOTをとりたい場合の埋め込みの計算方法を示す (§4).

3. 本稿の理論の帰結を利用して加法構成性の精度 を向上させられること，OR・NOT の演算を正し く行えることを実験で確認する (\$5).

## 2 準備：単語埋め込み

単語埋め込み手法の紹介 本稿で扱う SGNS や GloVeのような単語間の共起情報による単語埋め 込み手法は，情報検索・グラフ埋め込み・推薦シ
ステムなど分野をまたいで活躍の幅を広げている $[20,10,9]$. また，近年注目されている BERT[5] など も文脈から単語を予測することで埋め込みを得てお り，これらの手法の拡張ともみなせる。

記号語彙を $V$ ，単語 $w$ の埋め込みを $\boldsymbol{v}_{w}$ ，単語 $c$ の文脈側埋め込みを $\boldsymbol{u}_{c}$ で表す. $p(w, c)$ を単語対 $(w, c)$ が共起する同時確率， $p(c \mid w)$ を単語 $w$ の文脈 が単語 $c$ である確率, $p(w)$ を単語 $w$ の頻度とする.

■単語埋め込みの性質 $[14,21]$ によれば，最適に学習された SGNS の埋め込みは次を満たす：

$
\log \frac{p(w, c)}{p(w) q(c)}-\log k=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c} .
$

ここで $q$ は負例の分布， $k$ は共起単語対 $(w, c) 1$ 個 あたりの負例の個数である. $q=p$ の場合，自己相互情報量 $\operatorname{PMI}(w, c)=\log \frac{p(w, c)}{p(w) p(c)}$ から $\log k$ を引い た行列を分解していると解釈できる。一方 Gloveで は共起行列を直接分解するアプローチをとってお り，最適に学習された埋め込みは次を満たす：

$
\log p(w, c)=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}+a_{w}+b_{c}-\log Z
$

ここで $a_{w}, b_{c}$ はバイアス項， $Z$ は正規化定数であ る.以下では, SGNS・GloVe の各埋め込みは (1), (2)を満たすと仮定する。

## 3 SGNS と GloVe に共通する構造

既存の加法構成性の理論 [1] では

$
\operatorname{PMI}(w, c)=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}
$

という仮定を置いていたが，本稿の実験 (§5.1)が 示す通り実際には成り立っていない。また，(3)は §4以降の OR・NOT の理論でも重要な役割を果たす.本節では, SGNS・GloVeの単語埋め込みを頻度で重 み付けて中心化するだけで，仮定 (3) が成り立つよ うに補正できることを示す．§5.2ではこの補正を行 うことで加法構成性の精度が向上することを確認し ており，各下流タスクへの応用が期待できる。

はじめに, SGNS・GloVeの埋め込みを中心化する ことで (3) が誤差項を含む形で導かれることを示す.
表 1: AND，OR，NOT の演算の説明.

平均を $\overline{\boldsymbol{v}}=\sum_{w} p(w) \boldsymbol{v}_{w}, \overline{\boldsymbol{u}}=\sum_{c} p(c) \boldsymbol{u}_{c}$, 中心化した 単語埋め込みを $\tilde{\boldsymbol{v}}_{w}=\boldsymbol{v}_{w}-\overline{\boldsymbol{v}}, \tilde{\boldsymbol{u}}_{c}=\boldsymbol{u}_{c}-\overline{\boldsymbol{u}}$ とおく.

定理 1. SGNS・GloVe の埋め込みがそれぞれ (1),(2) を満たす時，次の等式を満たす：

$
\operatorname{PMI}(w, c)=\tilde{\boldsymbol{v}}_{w}^{\top} \tilde{\boldsymbol{u}}_{c}+\bar{\epsilon}-\epsilon_{w}-\epsilon_{c} .
$

ただし $\bar{\epsilon}, \epsilon_{w}$ は誤差項で $, \epsilon_{w}=D_{\mathrm{KL}}(p(\cdot) \| p(\cdot \mid w)), \bar{\epsilon}=$ $\sum_{w} p(w) \epsilon_{w}$. (証明: 付録 A.1）

次の命題により，|PMI $(w, c) \mid \ll 1$ である時に誤差項が無視できることが分かる.

命題 2. $\Delta=\max _{w, c}|\operatorname{PMI}(w, c)|$ とおくと, $\epsilon_{w}=$ $O\left(\Delta^{2}\right), \bar{\epsilon}=O\left(\Delta^{2}\right),(\Delta \rightarrow 0)$ である.（証明:付録 A.2）

実際のデータでは $|\operatorname{PMI}(w, c)| \ll 1$ は成り立って いないが，後述の実験により，中心化によって仮説 (3) の誤差が大幅に改善することを確認した (§5.1).

## 4 単語埋め込みによる論理演算

## 4.1 AND の演算

[1] は，§3で近似的に得られた PMI 分解の構造 (3) が厳密に満たされる時, king = royal $\wedge$ man のような AND の意味演算がベクトルの加法

$
\boldsymbol{v}_{\text {king }}=\boldsymbol{v}_{\text {royal }}+\boldsymbol{v}_{\text {man }}
$

に対応することを示した（AND の公式；通常の加法構成性). 証明の概略は次の通りである：各文脈 $c$ で の king の出現確率が $p(k i n g \mid c)=p($ royal $\mid c) p($ man $\mid c)$ のような積で表される考え，PMIの $\log$ をして確率の積を埋め込みの足し算に対応させる.

## 4.2 OR の演算

§1で触れたように，AND の演算の他に「または」 の演算も考えられる。本節では，OR の演算が埋め 込みの頻度重み付き和で実現できることを示す。

DOR の意味を持つ単語のモデリング 語義 $\left.\{w_{i}\right.\}_{i=1}^{s}$ を持つ多義語を $w$ とする. ある単語 $w^{\prime}$ を固定した 時，その文脈として $w$ が出現する確率は $w_{i}$ が出現 する確率の和 $(i=1, \ldots, s)$ であると考えられる：

$
\forall w^{\prime} \in V, \quad p\left(w \mid w^{\prime}\right)=\sum_{i=1}^{s} p\left(w_{i} \mid w^{\prime}\right) .
$

(6) よりただちに $p(w)=\sum_{i=1}^{s} p\left(w_{i}\right)$ を得る.

## OR の公式の導出

定理 3 (OR の公式 [13]). 単語 $w_{1}, \ldots, w_{s}$ と，それら の OR の意味を持つ単語 $w$ の埋め込みが OR のモデ リング (6) と PMI 分解の関係式 (3)を満たすと仮定 する. $|\operatorname{PMI}(w, c)| \ll 1$ であるとき, OR の公式

$
\boldsymbol{v}_{w} \approx \sum_{i=1}^{s} \frac{p\left(w_{i}\right)}{p(w)} \boldsymbol{v}_{w_{i}}
$

が成り立つ.（証明:付録 A.3）

実際のデータでは $|\operatorname{PMI}(w, c)| \ll 1$ は成り立って いないが，後述の実験で OR の公式が良く成り立つ ことを確認した (\$5.3).

## 4.3 条件付き埋め込みと NOT の演算

仮定 (3) を用いると，AND・OR のみならず NOT の演算も実現できる. 本節では，局所的な単語間の 関係を表す単語埋め込みである条件付き埋め込みの 概念を用いて NOT の演算を定式化し，反義語がマ イナスで表現できることを示唆する。

## ■ NOT の意味を持つ単語のモデリング

人間の感覚に反し, 反義語は違っていると同時に 似ているという性質を持つ [4, 22]. たとえばhate と love は反対の意味を持つが，どちらも感情を表すと いう点で同じである. そのため反義語は似た文脈で 出現しやすく，昨今主流である分布仮説 $[12,7]$ に基 づく単語埋め込みでは類似度が高くなる ${ }^{11}$.このよ うに類義語と反義語の区別は難しく，反義語がどの ように埋め込まれているかの理解を困難にしてい る. 本節ではこの反義語の類似性を考慮した定式化 を行うことで，反義語の謎を紐解く。

次のような例を考える：motherの反対は，「親」の くくりの中では father だが，「親子関係」のくくりで は daughter である. このように反義語を考える際は この「くくり」が所与である必要があり，本稿では これを単語の集合 $A$ で表現する ${ }^{2)}$ ，小さな単語集合 $A$ の中で見たとき，反義語 $\neg w$ は単語 $w$ の逆の文脈 で出現するであろうという直感から，NOT の意味を 持つ単語の共起確率は次のように定式化できる：

$
p\left(\neg w \mid \neg w \in A, w^{\prime}\right)=p\left(\neg w \in A \backslash\{w\} \mid \neg w \in A, w^{\prime}\right)
$

1）SGNS での hate と love の $\cos$ 類似度は 0.5 程度である

2）これは反義語の類似性の部分に相当する.

(8) の確率には条件づけに $w \in A$ が登場するため,通常の単語埋め込みではなく, $A$ で出現確率を条件 づけた埋め込みが必要になる。本稿では，この埋め 込みを $A$ 上の条件付き埋め込みと呼ぶ.

## 口条件付き埋め込み

(14) の類推から, 条件付き埋め込み $v_{w \mid A}$ の満た すべき等式は次のように定式化できる：

$
p\left(w \mid w \in A, w^{\prime}\right)=p(w \mid w \in A) \exp \left(\boldsymbol{v}_{w \mid A}^{\top} \boldsymbol{u}_{w^{\prime}}\right)
$

OR の公式 (7) を厳密に認めて左辺を計算すると：

$
\begin{aligned}
p\left(w \mid w \in A, w^{\prime}\right) & =\frac{p\left(w, w \in A \mid w^{\prime}\right)}{p\left(w \in A \mid w^{\prime}\right)}=\frac{p(w) \exp \left(\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{w^{\prime}}\right)}{p(A) \exp \left(\boldsymbol{v}_{A}^{\top} \boldsymbol{u}_{w^{\prime}}\right)} \\
& =p(w \mid w \in A) \exp \left(\left(\boldsymbol{v}_{w}-\boldsymbol{v}_{A}\right)^{\top} \boldsymbol{u}_{w^{\prime}}\right)
\end{aligned}
$

ここで $p(A)=\sum_{w \in A} p(w), \boldsymbol{v}_{A}=\sum_{w \in A} \frac{p(w)}{p(A)} \boldsymbol{v}_{w}$.よっ て条件付き埋め込みは $v_{w \mid A}=v_{w}-v_{A}$ と計算できる ことがわかる。これにより，一般に行われるある単語集合での中心化 (例: 国名-首都の単語埋め込み をPCA で可視化する際の暗黙的な中心化）は，「集合内の単語間の相互関係の精緻化」と説明できる.

補足 : 大まかに言うと, 条件付き埋め込みはコーパ スを $A$ に絞った単語埋め込みと理解できる.

■ NOT の公式の導出 OR の公式を厳密に認めて (8) の右辺をさらに計算すると，次を得る：

$
\begin{gathered}
p\left(\neg w \in A \backslash\{w\} \mid \neg w \in A, w^{\prime}\right)=\frac{p\left(\neg w \in A \backslash\{w\} \mid w^{\prime}\right)}{p\left(\neg w \in A \mid w^{\prime}\right)} \\
=\frac{p(A \backslash\{w\})}{p(A)} \exp \left(\left(\boldsymbol{v}_{A \backslash\{w\}}-\boldsymbol{v}_{A}\right)^{\top} \boldsymbol{u}_{w^{\prime}}\right) .
\end{gathered}
$

よって $\boldsymbol{v}_{\neg w \mid A}=v_{A \backslash\{w\}}-v_{A}$ であり, さらに計算する と次を得る（NOT の公式）。

$
\boldsymbol{v}_{\neg w \mid A}=\boldsymbol{v}_{A \backslash\{w\}}-\boldsymbol{v}_{A}=-\frac{p(w \mid w \in A)}{1-p(w \mid w \in A)} \boldsymbol{v}_{w \mid A}
$

(11)より，条件付けることによって NOT の意味を 持つ単語の埋め込みがマイナスで計算できることが わかる. (8) は厳密には $w$ の反義語というよりは $A$ の中での $w$ の補集合に当たる単語をモデリングして いるが，(11) より反義語の埋め込みがマイナスの方向に存在することが示唆される。

## 5 実験

## 5.1 中心化と PMI 分解

$\mathrm{PMI}$ 分解の関係式 $\operatorname{PMI}(w, c)=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}$ の精度が中心化によって向上することを確かめるために，誤差 $e_{w c}=\operatorname{PMI}(w, c)-\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}$ の分布をプロットした（図 1). orig は元の埋め込み, freq は $\S 3$ で議論された

図 1: 1 回以上共起した単語対 $(w, c)$ に対し誤差 $e_{w c}$ の分布をプロットした. 誤差の大きさの参考に， $\operatorname{PMI}(w, c)$ 自体の分布を紫破線で示してある.

頻度重み中心化 $\boldsymbol{v}_{w} \leftarrow \boldsymbol{v}_{w}-\overline{\boldsymbol{v}}$ を行ったときの結果 である。 さらに比較として，単語埋め込みの後処理 として一般的に行われる [17] $v_{w} \leftarrow v_{w}-\sum_{w^{\prime}} v_{w^{\prime}} /|V|$ （一様中心化）での結果を unif で示している.

結果から，普通の中心化ではなく，特に頻度重 みで中心化することによって PMI 分解の構造が強 くなることがわかる.

## 5.2 AND の公式の精度評価

AND の公式 (5) の確認を行う．公式の精度が PMI 分解の構造 (3) の有無によってどう変わるのかを観察するために， orig, unif, freqの設定を試した.

評価のために，ANDの意味を持つ単語を含むコー パスを次のように作成し，埋め込みを学習した：

複合語のデータセット [6] に含まれる各複合語につ いて，コーパス上の複合語を 1 個の単語に置換す る (例: card game $\rightarrow$ card_game).

評価指標としては，データセット [6] に含まれる 各複合語 word1 word2 について，(5) で計算された ベクトルと $\cos$ 類似度の高い単語を検索した時に word1_word2 が何番目に出てくるか（予測順位）を 計算した. 予測順位の累積度数分布を図 2 に, 要約統計量として平均逆順位を表2に示す.

結果を見ると，特に頻度重みで中心化することで 予測が正確になっているため, PMI 分解の構造が加法構成性の成立において重要であると考えられる。

## 5.3 OR の公式の精度評価

OR の公式 (7) が成り立つことを確かめる.

次の手順で架空の多義語を 500 個作成し，その埋 め込みを学習した：

1. ランダムに選んだ単語対から架空の多義語を作成し (例: apple, car $\rightarrow$ apple_OR_car)，元の単語を全て架空の多義語に置き換えることで新し

図 2: AND の公式による予測順位の累積度数分布.線が左上にあればあるほど良い.

表 2: AND の公式による予測順位の平均逆順位.

いコーパスを作成した。

2. 元のコーパスと 新しいコーパスを結合したコー パスで単語埋め込みを学習した。

§5.2 と同様に予測順位で評価する. 予測順位の平均は SGNS で 1.012, GloVe で 1.000 であった. OR の 公式は近似式であったが，ほぼ 1 番目に予測できる ほど公式の精度が高いことが分かる。

## 5.4 条件付き埋め込みと NOT の実験

-9 から 9 までの数字の埋め込みの可視化を図 3 に 示す. 1 と 9 は正の数 $A=\{1, \ldots, 9\}$ 上の条件付き埋 め込みでは原点 ${ }^{3)}$ 挟んでマイナスの方向に位置し ており, NOTの公式(11)を裏付ける。一方で, 条件 づける集合 $A$ を負の数まで含めた集合に広げると，一転して 1 と 9 は原点から見て似た方向に位置す る. この場合, 正の数と負の数が原点をはさんで反対側の方向にあるという意味で NOT の公式を支持 している.このように, 反義語はどのくくりの中で 反対と考えるのかが重要であり, NOT の公式がこの 事実をうまく定式化できていることが分かる.

## 6 先行研究との関連

加法構成性については次の先行研究がある：

・ $[2,3]$ は文脈に関する潜在変数モデルを考えるこ とで，Analogy と OR の演算を説明した.このモ デルは文脈ベクトルがランダムウォークすると仮定しているが，本稿の理論では必要としない.

3）原点は頻度を一定と考えて計算している. 集合内の単語の 頻度が一定になるように，たとえば頻度の高い単語をコーパ スからランダムに削除しても $\operatorname{PMI}(w, c)=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}$ の左辺は変 わらないため，頻度を一定と考えても本質的に問題はない。

図 3: 数字の埋め込みを PCA を用いて可視化した. $\times$ は $A=\{-9, \ldots, 9\} \backslash\{0\}$ としたときの条件付き埋め 込み $v_{w \mid A}$ の原点， $\nabla, \boldsymbol{\nabla}$ はそれぞれ $A$ を正の数，負 の数に絞ったときの原点である.

$\cdot$[8] は，Skip-gram モデル [15] に仮定 $p(w)=1 /|V|$ を置いて AND の演算を説明した。しかし, 実際 には単語の頻度は非常に偏った分布をしているお り [19], 仮定の妥当性には疑問が残る. 本研究で はこの仮定を必要としていない.

$\cdot$[1] は，仮定 (3) を出発点に AND の演算と Analogy を説明した。しかしながら, 著者も認めている通 り, Gloveではバイアス項が存在するため学習結果に任意性があり仮定は正確には成り立っていな い.また，SGNS では AND の公式に $\log k$ の分だ けずれが入る. 本研究の貢献の 1 つは， §3の議論 によりこの問題を解決したことである.

$\cdot$[13] は SGNS で AND と OR の演算を説明した.本稿は, 考察対象に GloVe を追加し, NOT の演算 の理論を付け加えたものである.

## 7 おわりに

本稿では, 中心化という簡単な操作を介すだけで SGNS と GloVe が共通の構造を持つこと, 加法構成性の正確な成立のために中心化が必要であることを 示した. また, AND に加え OR, NOT の埋め込みを どのように計算すればよいかを示した.

今後の展望としては，BERTなどの文脈を考慮し た単語埋め込みでも同様のことが成り立つかどう か，理論・実験の両面から洞察を深めていきたい.

謝辞 本研究をはじめるにあたってソースコード を提供していただいた Geewook Kim 氏に深く感謝し ます. 本研究は，JST， ACT-X，JPMJAX200S の支援 を受けたものです. 本研究は JSPS 科研費 $20 \mathrm{H} 04148$ の助成を受けたものです.

## 参考文献

[1]Carl Allen and Timothy Hospedales. Analogies explained: Towards understanding word embeddings. In Proceedings of the 36th International Conference on Machine Learning, pp. 223-231, 2019.

[2]Sanjeev Arora, Yuanzhi Li, Yingyu Liang, Tengyu Ma, and Andrej Risteski. A latent variable model approach to PMIbased word embeddings. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 385-399, 2016.

[3]Sanjeev Arora, Yuanzhi Li, Yingyu Liang, Tengyu Ma, and Andrej Risteski. Linear Algebraic Structure of Word Senses, with Applications to Polysemy. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 483-495, 2018.

[4]David A. Cruse. Lexical Semantics. Cambridge University Press, Cambridge, UK, 1986.

[5]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[6]Meghdad Farahmand, Aaron Smith, and Joakim Nivre. A Multiword Expression Data Set: Annotating NonCompositionality and Conventionalization for English Noun Compounds. In Proceedings of the 11th Workshop on Multiword Expressions, pp. 29-33, 2015.

[7]J. R. Firth. A synopsis of linguistic theory 1930-55. Vol. 1952-59, pp. 1-32, 1957.

[8]Alex Gittens, Dimitris Achlioptas, and Michael W. Mahoney. Skip-gram - Zipf + Uniform $=$ Vector Additivity. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 69-76, 2017.

[9]Mihajlo Grbovic, Vladan Radosavljevic, Nemanja Djuric, Narayan Bhamidipati, Jaikit Savla, Varun Bhagwan, and Doug Sharp. E-Commerce in Your Inbox: Product Recommendations at Scale. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, p. 1809-1818, 2015.

[10]Aditya Grover and Jure Leskovec. Node2vec: Scalable Feature Learning for Networks. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, p. 855-864, 2016.

[11]Michael U. Gutmann and Aapo Hyvärinen. Noise-contrastive estimation of unnormalized statistical models, with applications to natural image statistics. The Journal of Machine Learning Research, Vol. 13, pp. 307-361, 2012.

[12]Zellig Harris. Distributional structure. Word, Vol. 10, No. 2-3, pp. 146-162, 1954.

[13]Geewook Kim, Sho Yokoi, and Hidetoshi Shimodaira. 単語埋め込みの二種類の加法構成性. 言語処理学会 第 26 回年次大会 発表論文集, pp. 724-727, 2020

[14]Omer Levy and Yoav Goldberg. Neural Word Embedding as Implicit Matrix Factorization. In Advances in Neural Information Processing Systems, pp. 2177-2185, 2014.

[15]Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space.
In 1 st International Conference on Learning Representations, ICLR, Workshop Track Proceedings, 2013.

[16]Tomás Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems, pp. 3111-3119, 2013.

[17]Jiaqi Mu and Pramod Viswanath. All-but-the-top: Simple and effective postprocessing for word representations. In International Conference on Learning Representations, 2018.

[18]Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543, 2014.

[19]Steven Piantadosi. Zipf's word frequency law in natural language: A critical review and future directions. Psychonomic bulletin and review, Vol. 21, , 2014.

[20]Dwaipayan Roy, Debasis Ganguly, Sumit Bhatia, Srikanta Bedathur, and Mandar Mitra. Using Word Embeddings for Information Retrieval: How Collection and Term Normalization Choices Affect Performance. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, p. 1835-1838, 2018.

[21]Jun Suzuki and Masaaki Nagata. A Unified Learning Framework of Skip-Grams and Global Vectors. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 186-191, 2015.

[22]Caroline Willners. Antonyms in Context : A Corpus-Based Semantic Analysis of Swedish Descriptive Adjectives. $\mathrm{PhD}$ thesis.

## 付録

## A 証明

## A. 1 定理 1の証明

証明 SGNS の場合 $\zeta_{w}=0, \xi_{c}=\log \frac{q(c)}{p(c)}, \gamma=\log k$, GloVe の場合 $\zeta_{w}=a_{w}-\log p(w), \xi_{c}=b_{c}-\log p(c), \gamma=-\log Z$ と 置くと，

$
\operatorname{PMI}(w, c)=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}+\zeta_{w}+\xi_{c}+\gamma
$

を満たす.(12)の両辺に $p(w)$ を掛けて $w \in V$ に関して和 をとると

$
-\epsilon_{c}=\overline{\boldsymbol{v}}^{\top} \boldsymbol{u}_{c}+\bar{\zeta}+\xi_{c}+\gamma
$

ここで $\bar{\zeta}=\sum_{w} p(w) \zeta_{w}$. (12) と (13) より

$
\operatorname{PMI}(w, c)=\tilde{\boldsymbol{v}}_{w}^{\top} \boldsymbol{u}_{c}+\left(\zeta_{w}-\bar{\zeta}\right)-\epsilon_{c} .
$

(14) の両辺に $p(c)$ を掛けて $c \in V$ に関して和をとると

$
-\epsilon_{w}=\tilde{\boldsymbol{v}}_{w}^{\top} \overline{\boldsymbol{u}}+\left(\zeta_{w}-\bar{\zeta}\right)-\bar{\epsilon}
$

(14)と (15)より

$
\operatorname{PMI}(w, c)=\tilde{\boldsymbol{v}}_{w}^{\top} \tilde{\boldsymbol{u}}_{c}+\overline{\boldsymbol{\epsilon}}-\epsilon_{w}-\epsilon_{c} .
$

中心化しないことによる誤差 SGNS の場合，(3) の 誤差は $\xi_{c}+\gamma=\log \frac{k q(c)}{p(c)}$ である. GloVeの場合は誤差が $\zeta_{w}+\xi_{c}+\gamma=a_{w}-\log p(w)+b_{c}-\log p(c)-\log Z$ だけ生じ る. バイアス項 $a_{w}, b_{c}$ の学習には任意性があるため ${ }^{4)}$ 理論的に誤差が大きいことを言うのは難しいが，実験的に 誤差が大きいことを確認している (\$5.1).

【kip-gram についての補足 本定理は Skip-gram $p(c \mid w) \propto$ $\exp \left(\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}\right)$ でも同様に成立する. したがって AND・OR・ NOT の理論は Skip-gram にも適用できるが，計算量の問題から実際には SGNS が利用されるため本文中では言及 しなかった. SGNS は Skip-gram の近似と説明されがち だが, SGNS は Skip-gram に Noise Contrastive Estimation[11] を適用してからさらに式を簡単化しているため，実際に はモデリング自体も異なる. よって，理論の上では両者 は同一視できず，SGNS と Skip-gram を中心化によって同時に議論できることは非自明な結果であることに注意さ れたい。

## A. 2 命題 2の証明

証明 $\Delta$ の定義から $(w, c) \in V^{2}$ に一様に $-1+\frac{p(w, c)}{p(w) p(c)}=$ $-1+\exp (\operatorname{PMI}(w, c))=O(\Delta)$ である.

誤差 $\epsilon_{w}$ のオーダーは， $w \in V$ に一様に

$
\begin{aligned}
& \epsilon_{w}=-\sum_{c} p(c) \log \frac{p(w, c)}{p(w) p(c)} \\
& =-\sum_{c} p(c)\left[\left(-1+\frac{p(w, c)}{p(w) p(c)}\right)+O\left(\left|-1+\frac{p(w, c)}{p(w) p(c)}\right|^{2}\right)\right] \\
& =-\sum_{c} p(c) O\left(\left|-1+\frac{p(w, c)}{p(w) p(c)}\right|^{2}\right)=O\left(\Delta^{2}\right) .
\end{aligned}
$
_{w}^{\top} \boldsymbol{u}_{c}$ で表現可能である
}

ただちに $\bar{\epsilon}=O\left(\Delta^{2}\right)$ も従う.

## A. 3 定理 3の証明

証明 (6) の両辺を計算する：

$
\begin{aligned}
p\left(w \mid w^{\prime}\right) & =p(w) \exp \left(\operatorname{PMI}\left(w, w^{\prime}\right)\right) \\
& \approx p(w)\left(1+\operatorname{PMI}\left(w, w^{\prime}\right)\right) \\
& =p(w)\left(1+\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{w^{\prime}}\right) \\
\sum_{i=1}^{s} p\left(w_{i} \mid w^{\prime}\right) & =\sum_{i=1}^{s} p\left(w_{i}\right) \exp \left(\operatorname{PMI}\left(w_{i}, w^{\prime}\right)\right) \\
& \approx \sum_{i=1}^{s} p\left(w_{i}\right)\left(1+\boldsymbol{v}_{w_{i}}^{\top} \boldsymbol{u}_{w^{\prime}}\right) \\
& =p(w)\left[1+\left(\sum_{i=1}^{s} \frac{p\left(w_{i}\right)}{p(w)} \boldsymbol{v}_{w_{i}}\right)^{\top} \boldsymbol{u}_{w^{\prime}}\right]
\end{aligned}
$

任意の $w^{\prime} \in V$ に対し $(16) \approx(17)$ が成り立つことから (7) が 従う.

## B 実験設定の補足

特筆した事項以外はすべて実装5)のデフォルトパラ メータを用いた。

## B. 1 §5.1の詳細

ロコーパス 低頻度語（出現回数 < 100）を削除した text8 コーパス ${ }^{6}$ を用いた。回単語埋め込みの学習設定 埋め込 みの次元は 300 次元，窓の大きさは左右 5 単語以内（単語間の距離による重み付けなし）として 100 iteration 学習を 行った. SGNS では負例数は $k=15$ とし, 高頻度語の確率的除去は無効にした. GloVeの重み付き最小 2 乗法のパ ラメータは $x_{\max }=100$ を用いた. ■その他 freq, unif は $\boldsymbol{u}_{j}$ 側も中心化を行っている.

## B. 2 §5.2，§5.3の詳細

ロコーパス Wikipedia $\left.^{7}\right)(2.1 \mathrm{G}$ tokens) を用いた。単語埋 め込みの学習設定 埋め込みの次元は 300 次元，窓の大き さは左右 5 単語以内とした. SGNS の負例数は $k=15$, GloVe の重み付き最小 2 乗法のパラメータは $x_{\text {max }}=100$ を用いた。【 §5.2の詳細 複合語のデータセット [6] では 複合語の意味がそれを構成する単語の意味の合成になっ ているかどうかで 5 段階のスコアがついている．スコア が低いと AND の意味を持つといえないため，スコアが 4 か 5 の複合語のみ実験に用いた。【§5.3の詳細 架空の 多義語を作る際，元となる単語は出現回数が 100 回以上 もののみ用いた. ■その他 予測順位の計算では検索の際 word1 と word2 は除いた.

## B. 3 §5.4の詳細

ロ単語埋め込み Common Crawl コーパス (840G tokens) で 訓練済みの GloVeを用いた8)。ロその他 0 は正負が定義 できないため実験からのぞいている.

5) https://github.com/tmikolov/word2vec, https://github. com/stanfordnlp/GloVe

6) http://mattmahoney.net/dc/textdata.html

7) https://dumps.wikimedia.org/

8) https://nlp.stanford.edu/projects/glove/


# Learning Cross-lingual Sentence Representations for Multilingual Document Classification with Token-level Reconstruction

Zhuoyuan $\mathrm{Mao}^{\dagger} \quad$ Prakhar Gupta $^{\ddagger} \quad$ Chenhui Chu $^{\dagger} \quad$ Martin Jaggi $^{\ddagger} \quad$ Sadao Kurohashi ${ }^{\dagger}$
${ }^{\dagger}$ Kyoto University, Japan $\quad$ E EPFL, Switzerland
\{zhuoyuanmao, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
\{prakhar.gupta, martin.jaggi\}@epfl.ch

## 1 Introduction

Fixed-dimensional cross-lingual sentence representations $[1,2,3,4,5,6,7]$ are widely used to initialize another light neural network for cross-lingual sentence understanding downstream tasks. When learning such representations, efficiency and robustness form the core. In this work, we explore different training tasks for learning fixeddimensional cross-lingual sentence representations in a 2layer dual-transformer framework aiming to improve the efficiency and retain the robustness. We observe that current cross-lingual training tasks leave a lot to be desired for this shallow architecture. To ameliorate this, we propose a novel cross-lingual language model, which combines the Single-word Masked Language Model (SMLM) with Token-level Reconstruction (TR) task. Our comparisons with competing models on multilingual document classification verify the effectiveness of the newly proposed training tasks for a shallow model.

## 2 Related Work

Training tasks for cross-lingual sentence representation learning can be classified into 2 groups: generative or contrastive. As our proposed method focuses on improving previous generative methods, we mainly revisit related generative methods in this section. Generative tasks measure a generative probability between predicted tokens and real tokens by training a language model. BERT-style masked language models [8] mask and predict contextualized tokens within a given sentence. For the cross-lingual scenario, cross-lingual supervision is implemented by shared cognates and joint training (mBERT [8]), concatenating source sentences in multiple languages $[9,10]$ or explicitly predicting the translated token [11]. ${ }^{1)}$ [CLS] embedding or pooled embedding of all the tokens is introduced as the classifier embedding which can be used as sentence embedding for sentence-level tasks [12]. Sequence to sequence methods $[1,3,6]$ autoregressively reconstruct the translation of the source sentence. The intermediate state between the encoder and the decoder are extracted as sentence representations. Particularly, the outstanding cross-lingual sentence representation quality of LASER [3] benefits from a massive multilingual machine translation task covering 93 languages. In our work, we revisit the BERT-style training tasks and introduce a novel proper generative loss for the tiny dual-transformer framework.

## 3 Proposed Methods

We perform cross-lingual sentence representation learning by a tiny dual-transformer framework. With regard to the training tasks, we propose a novel cross-lingual language model which combines SMLM and TR.

## 3.1 Architecture

We employ the dual transformer sharing parameters with each other without any decoder as the basic unit to encode parallel sentences respectively and avoid the loss in efficiency caused by decoder. First, in order to design a tiny model, we do not additionally employ any decoder to reconstruct sentences. Second, unlike TLM [9], we utilize dual model architecture rather than a single transformer to encode sentence pairs since it can force the encoder to capture more cross-lingual characteristics [5, 12]. Moreover, to establish a tiny model, we decrease the number of layers and embedding dimension to accelerate the training phase.

Figure 1 Model architecture

The architecture of the proposed method is illustrated in Figure 1. We build sentence representations on the top of 2-layer transformer [13] encoders by a mean-pooling operation from the final states of all the positions within a sentence. Pre-trained sentence representations for downstream tasks are denoted by $u$ and $v$. Moreover, we add a fully-connected layer before computing the loss of the cross-lingual language model. This linear layer can enhance our tiny model by a nontrivial margin for that the hidden state for computing loss for the generative task is far different from the sentence presentation we aim to train. ${ }^{2)}$ Two transformer encoders and linear layers share parameters with each other which has been proved effective and necessary for cross-lingual representation learning [15].

## 3.2 Training Task

Single-word Masked Language Model (SMLM). SMLM is a single-word masked language model proposed by Sabet et al. [16]. Following them, we implement their task by a dual transformer architecture, where the transformer encoder for language $l_{1}$ predicts a masked token in a sentence in $l_{1}$ as the monolingual loss, while language $l_{2}$ encoder sharing all the parameters with $l_{1}$ encoder predicts the same masked token by the corresponding sentence (translation in $l_{2}$ ) as the cross-lingual loss. Specifically, for a parallel corpus $\boldsymbol{C}$ and language $l_{1}$ and $l_{2}$, the loss of SMLM computed from $l_{1}$ encoder $\boldsymbol{E}_{\boldsymbol{l}_{\mathbf{1}}}$ and $l_{2}$ encoder $\boldsymbol{E}_{\boldsymbol{l}_{\mathbf{2}}}$ is formulated

as:

$
\begin{array}{r}
\mathscr{L}_{S M L M}=\sum_{\substack{S \in \boldsymbol{C} \\
l, l^{\prime} \in\left.\{l_{1}, l_{2}\right.\} \\
l \neq l^{\prime}}}\left.\{-\log \left(P\left(w_{t} \mid S_{l \backslash\left.\{w_{t}\right.\}} ; \theta\right)\right)\right. \\
\left.-\log \left(P\left(w_{t} \mid S_{l^{\prime}} ; \theta\right)\right)\right.\}
\end{array}
$

where $w_{t}$ is the word to be predicted, $S_{l_{1} \backslash\left.\{w_{t}\right.\}}$ is a sentence in which $w_{t}$ is corrupted, $S=\left(S_{l_{1}}, S_{l_{2}}\right)$ denotes a parallel sentence pair, $\theta$ represents the parameters to be trained in $\boldsymbol{E}_{\boldsymbol{l}_{\mathbf{1}}}$ and $\boldsymbol{E}_{\boldsymbol{l}_{\mathbf{2}}}$, and the classification probability $P$ is computed by Softmax on the top of the embedding layer.

We employ SMLM which is a variant of the standard Masked Language Model (MLM) in BERT to enforce the monolingual performance since MLM is a quite complicated task for a shallow transformer encoder to learn. A detailed comparison between SMLM and MLM under our tiny model setting is conducted (see Section 5.3).

Token-level Reconstruction (TR). As demonstrated above, MLM suffices not to capture the cross-lingual features for a tiny transformer encoder, which indicates that it is essential to introduce the reconstruction loss like that in LASER for cross-lingual representation learning. However, introducing a decoder to implement the translation loss will increase the training time by a large margin which contradicts with our aiming to design a computationallylite model architecture.

To implement the reconstruction loss with just the encoder, we introduce a TR loss by which we jointly enforce the encoder to reconstruct the word distribution of corresponding target sentence as shown by $q$ in Figure 1. This loss is inspired from BiVec loss formulation [17] in which cross-lingual tokens are reconstructed on the basis of Skip-gram language model pattern [18]. Specifically, we utilize the following KL-Divergence based formulation as the training loss:

$
\begin{aligned}
\mathscr{L}_{X M L M}=\sum_{\substack{l, l^{\prime} \in\left.\{l_{1}, l_{2}\right.\} \\
l \neq l^{\prime}}}\{ & -\mathscr{D}_{K L}\left(p\left(\mathbf{h}_{S_{l}} ; \theta\right) \| q\left(\mathbf{w}_{S_{l^{\prime}}}\right)\right) \\
& \left.-\mathscr{D}_{K L}\left(p\left(\mathbf{h}_{S_{l^{\prime}}} ; \theta\right) \| q\left(\mathbf{w}_{S_{l}}\right)\right)\right.\}
\end{aligned}
$

where $\mathscr{D}_{K L}$ denotes KL-Divergence based loss and $p\left(\mathbf{h}_{S_{l}} ; \theta\right)$ represents the hidden state on the top of encoder $\boldsymbol{E}_{\boldsymbol{l}}$ as shown in Figure 1 under the input $S_{l}$. We utilize discrete uniform distribution for the tokens in target language
to define $q$. Specifically, $q\left(\mathbf{w}_{S_{l}}\right)$ is defined as:

$
q\left(w_{i}\right)=\left.\{\begin{array}{rr}
\frac{N_{w_{i}}}{\left.\|S_{l^{\prime}}\right.\|}, & w_{i} \in S_{l^{\prime}} \\
0, & w_{i} \notin S_{l^{\prime}}
\end{array}\right.
$

where $N_{w_{i}}$ means the number of word $w_{i}$ in sentence $S_{l^{\prime}}$ and $\left.\|S_{l^{\prime}}\right.\|$ means the length of $S_{l^{\prime}}$.

Unified Generative Task. Finally, we unify SMLM (Eq. (1)) and TR (Eq. (2)) by redefine the label distribution $q\left(\mathbf{w}_{S_{l}}\right)$ for KL-Divergence based loss. It is formulated the same as Eq. (3) if the token $w_{t}$ is corrupted from $S_{l^{\prime}}$, else if $w_{t}$ is corrupted within $S_{l}$ :

$
q\left(w_{i}\right)=\left.\{\begin{array}{rr}
\frac{N_{w_{i}}}{2\left.\|S_{l^{\prime}}\right.\|}, & w_{i} \in S_{l^{\prime}} \\
1 / 2, & w_{i}=w_{t} \\
0, & \text { others }
\end{array}\right.
$

## 4 Training Details

We build our PyTorch implementation on the top of HuggingFace's Transformers. ${ }^{3}$ ) Training data is composed of ParaCrawl v5.0 datasets for each language pair. ${ }^{4)}$ We experiment on English-French, English-German, EnglishSpanish and English-Italian. We filter the parallel corpus for each language pair by removing sentences which cover tokens out of 2 languages. Raw and filtered number of the parallel sentences for each pair are shown in Table 1. We tokenize sentences in all the languages by SentencePiece and build a shared vocabulary with the size of 50k for each language pair.5)

Table 1 Training data overview

For each encoder, we use the transformer architecture with 2 hidden layers, 8 attention heads, hidden size of 512 and filter size of 1,024 and the parameters of two encoders are shared with each other. The sentence representations generated are 512 dimensional. For the training phase, it minimizes the loss for our proposed cross-lingual language model (specifically, Unified Generative Task in 3.2). We

3) https://github.com/huggingface/transformers

4) http://opus.nlpl.eu/ParaCrawl-v5.php

5) https://github.com/google/sentencepiece train 12 epochs for each language pair (30 epochs for English-Italian because of nearly half number of parallel sentences) with an Adam optimizer, learning rate of 0.001 with warm-up strategy for 3 epochs (6 epochs for EnglishItalian) and dropout-probability of 0.1 by single TITAN X Pascal GPU with the batch size of 128 paired sentences. Training loss for each language pair can converge within 10 GPU(12GB)×days, which is far more efficient than most cross-lingual sentence representation learning methods.

## 5 Evaluation

We evaluate our cross-lingual sentence representation models by cross-lingual document classification. We select MLDoc [19] to evaluate the classifier transfer ability of the cross-lingual sentence representation model.

## 5.1 MLDoc: Multilingual Document Classification

The MLDoc task, which consists of news documents given in 8 different languages, is a benchmark to evaluate cross-lingual sentence representations. We conduct our evaluations in a zero-shot scenario: we train and validate a new linear classifier on the top of the pre-trained sentence representations in the source language, and then evaluate the classifier on the test set for the target language. We implement the evaluation by facebook's MLDoc library. ${ }^{6 \text { ) }}$

## 5.2 Results

As shown in Table 2, our tiny transformer model obtains the best results for most language pairs compared with MLDoc baseline [19], previous fixed-dimensional word [16] and sentence $[2,3,6]$ representation learning methods. This demonstrates that our proposed method can obtain state-of-the-art results on MLDoc benchmark among fixed-dimensional representation methods with an extremely light and efficient training framework.

On the other hand, our method yield only slightly worse performance even when compared with the state-of-theart pre-training + fine-tuning style methods on this task which are referred as reference in Table 2.7) This is because the entire model will be updated in the fine-tuning phase

Table 2 MLDoc benchmark results (Zero-shot scenario). We compare our models primarily with fixed-dimensional models in which Bi-Sent2vec and LASER are state-of-the-art bag-of-words based and contextual sentence representation models respectively. We also compare with pre-training + fine-tuning style methods here for reference.

while merely an additional dense layer will be trained for fixed-dimensional methods, which leads to their higher efficiency.

## 5.3 Different Generative Tasks

We report the results with different generative tasks in Table 3. We observe that proposed TR outperforms other generative tasks by a significant margin on MLDoc benchmark. TR will yield further improvements if unified with SMLM, which is introduced as Unified Generative Task above in 3.2. This demonstrates the necessity of a welldesigned generative task for the tiny dual-transformer architecture. Moreover, by comparing the en-fr and fr-en results of LASER in Table 1 and *MLM tasks in Table 3, we observe that the reconstruction of the original sentence in other languages does benefit the representation quality. This reveals why our proposed TR can achieve promis- ing results whereas TR does not reconstruct the translation directly.

## 6 Conclusion

In this work, we proposed a novel cross-lingual language model, which combines the SMLM with TR task for cross-lingual sentence representations learning in the light training framework. In spite of the tiny model capacity, we obtained substantial improvements on the MLDoc benchmark compared to fixed-dimensional representation methods. In the future, we plan to verify the performance of the newly proposed losses in large model architectures and extend this bilingual based method to multilingual settings.

## Acknowledgments

This work was supported by Grant-in-Aid for Young Scientists \#19K20343, JSPS.

## References

[1] Holger Schwenk and Matthijs Douze. Learning joint multilingual sentence representations with neural machine translation. In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 157-167, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[2] Katherine Yu, Haoran Li, and Barlas Oguz. Multilingual seq2seq training with similarity loss for cross-lingual document classification. In Proceedings of The Third Workshop on Representation Learning for NLP, pp. 175-179, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 597-610, March 2019.

[4] Yunsu Kim, Hendrik Rosendahl, Nick Rossenbach, Jan Rosendahl, Shahram Khadivi, and Hermann Ney. Learning bilingual sentence embeddings via autoencoding and computing similarities with a multilayer perceptron. In Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019), pp. 61-71, Florence, Italy, August 2019. Association for Computational Linguistics.

[5] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. CoRR, Vol. abs/2007.01852, 2020.

[6] Wei Li and Brian Mak. Transformer based multilingual document embedding model. CoRR, Vol. abs/2008.08567, , 2020.

[7] Muthu Chidambaram, Yinfei Yang, Daniel Cer, Steve Yuan, Yunhsuan Sung, Brian Strope, and Ray Kurzweil. Learning cross-lingual sentence representations via a multi-task dual-encoder model. In Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019), pp. 250-259, Florence, Italy, August 2019. Association for Computational Linguistics.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'Alché-Buc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, 8-14 December 2019, Vancouver, BC, Canada, pp. 7057-7067, 2019.

[10] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[11] Shuo Ren, Yu Wu, Shujie Liu, Ming Zhou, and Shuai Ma. Explicit cross-lingual pre-training for unsupervised machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 770-779, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, 4-9 December 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[14] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event, pp. 15971607, 2020.

[15] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.

[16] Ali Sabet, Prakhar Gupta, Jean-Baptiste Cordonnier, Robert West, and Martin Jaggi. Robust cross-lingual embeddings from parallel sentences. CoRR, Vol. abs/1912.12481, , 2019.

[17] Thang Luong, Hieu Pham, and Christopher D. Manning. Bilingual word representations with monolingual quality in mind. In Proceedings of the 1st Workshop on Vector Space Modeling for Natural Language Processing, pp. 151-159, Denver, Colorado, June 2015. Association for Computational Linguistics.

[18] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1 st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[19] Holger Schwenk and Xian Li. A corpus for multilingual document classification in eight languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC-2018), Miyazaki, Japan, May 2018. European Languages Resources Association (ELRA).

[20] Julian Eisenschlos, Sebastian Ruder, Piotr Czapla, Marcin Kardas, Sylvain Gugger, and Jeremy Howard. Multifit: Efficient multi-lingual language model fine-tuning. CoRR, Vol. abs/1909.04761, , 2019.


# 単語埋め込みの確率的等方化

横井祥 1,2 下平英寿 3,2
1 東北大学 2 理研 AIP 3 京都大学
yokoi@ecei.tohoku.ac.jp shimo@i.kyoto-u.ac.jp

## 1 はじめに

単語埋め込みは現代の自然言語処理の必須ツール である. Gloveなどの静的な単語埋め込み [1] およ び BERT などの文脈付き単語埋め込み [2] は広範な タスクの性能向上に貢献しており，またテキストを 入出力にとるニューラルモデルのほぼすべてがその 出入り口に埋め込み行列を持つ. 埋め込む対象は文字やサブワードの場合もあるが，本稿では簡単のた めこれらを総称して単語埋め込みと呼ぶ.

最近になって，単語埋め込み空間が実は少し「歪 んで」いること $[3,4]$, これを補正すると経験的に 良好なパフォーマンスが得られること $[3,5,6]$ がわ かってきた. 例えば，同じ方向にばかり単語べクト ルたちが固まっているよりも，等方的な方が（向き の意味で一様に分布している方が）埋め込みたちを 「見分け」やすいと考えられる（図 1). 実際，単語埋め込みを等方的に補正することで後段タスクにお ける性能が向上する $[3,7,6]$.

本項では，これらの埋め込み空間の歪みを補正手法の多くが暗黙的に単語頻度を一様だと見なしてい ることを指摘する．実際には単語頻度は経験的にべ き分布に従っており [8], このギャップが歪みを補正しきれない原因となる. この問題点を解決するた め，単語頻度を適切に考慮させるための一貫的な指針を与える. さらに，等方性をはじめとした埋め込 み空間の「歪み」の度合いも測定も同様の指針でお こなえることを示す. 静的埋め込みを用いた実験で は，提案する指針によって歪みをより正確に補正で き後段タスクの性能が向上すること，とりわけ白色化という簡単な処理が著しい性能向上をもたらすこ とを示す。また提案した等方性の尺度が埋め込みの 品質をよく近似できること示す.

【記法 単語集合を $\left.\{w_{1}, \ldots, w_{n}\right.\}$, 単語 $w_{i}$ に対応す る単語埋め込みを太字 $\boldsymbol{w}_{i} \in \mathbb{R}^{d}$, 対応する単語頻度 を $p\left(w_{i}\right) \in[0,1]$ で表す. また，一般のデータと特徴 ベクトルを $x_{i}, \boldsymbol{x}_{i}$ で表す.

図 1 単語埋め込み空間の等方化

## 2 関連研究：埋込空間の歪みと補正

埋め込み空間の幾何的な歪みと補正のための手法群を概観する. いずれのタイプの埋め込みにおいて も大きなトレンドは原点中心性と等方性である.

静的な単語埋め込み [9] は“良い”単語埋め込み が満たすべき理論的仮定として等方性を挙げた. し かし実際の学習済みの単語埋め込みはこの仮定を満 たさない. [3] は, 学習済みの単語埋め込みを中心化 （重心を原点に移動）し上位主成分方向を除去する ことで等方性が近似的に満たされることを示した.

動的な（文脈つきの）単語埋め込み BERT 等の 動的な埋め込みは原点中心から外れており, 等方性 も満たさない [4]. 中心化により文類似度計算にお ける性能が改善することが報告されている [5].

ロニューラルモデル内の埋め込み行列 言語モデル の埋め込み行列もやはり原点中心から外れており，等方性も満たさない [4]. これが学習がうまくいか ない原因のひとつだとされており，埋め込み行列を 等方的に保つ正則化が提案されている [6].

## 3 既存手法の暗黙的な仮定と問題

前節で挙げた単語埋め込みの補正処理の多くは,特徴ベクトルの集合の前処理と似たアプローチが取 られる。中心化を例としてこの一見自然な手続きを 確認し，その問題点を指摘する。

## 3.1 直感的説明：単語頻度が一様と仮定

■特徵ベクトルの前処理 一般的なデータ解析・統計処理では，まず特徴べクトル（観測）の集合が与

図 2 単語埋め込み空間の中心化.

えられる。たとえばある市の疫病の感染状況を分析 したい場合には各市民の特徵量が収集される。つぎ に特徴べクトルの集合に適当な前処理がおこなわ れる. たとえばもっとも基本的な前処理である中心化は，特徵ベクトルの集合の重心が原点と一致する よう特徴べクトル全体を平行移動する（図 2）,

■単語埋め込みの補正 単語埋め込みの場合も中心化による補正が盛んにおこなわれている $[3,5]$.

ロ暗黙の仮定とその問題点この自然なアプローチ のどこが問題なのだろうか? データ解析において各特徴ベクトル（たとえば各市民の特徴量）は平等な 重みをもっていた．いずれの観測（市民）も，興味 を持っている確率的な対象（たとえば市全体）から の無作為なサンプリングと見なせた。一方で単語べ クトルの場合，各単語は，興味を持っている確率的な対象（たとえばコーパス）から平等にサンプ リングされたものではない. 単語は実際には ['the', 'mean', 'of', 'the', 'data', 'matrix', 'is',...] のように偏り を持って出現している. データ解析と同様の処理 は，単語の出現の列を単語集合 \{'the', 'mean', 'of', 'data',...\} だと近似し, 高頻度語も低頻度語も同様の 扱いを与えることになる。

## 3.2 形式的説明：一様分布で期待値計算

既存手法の問題点を一言で述べれば「単語集合に 対して期待値をとる際に一様分布を用いている」と なる。以下これを平均ベクトルの計算を例に挙げて 形式的に記述し, 提案法の説明の準備としたい.

データ解析では，データの平均ベクトル $\boldsymbol{m}_{x}$ を観測たち $\left.\{\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}\right.\}$ の算術平均 $\widehat{\boldsymbol{m}}_{\boldsymbol{x}}$ で推定する.

$
\boldsymbol{m}_{x}=\underset{x \sim p}{\mathbb{E}}[\boldsymbol{x}], \quad \widehat{\boldsymbol{m}}_{x}=\sum_{i} \widehat{p}\left(x_{i}\right) \boldsymbol{x}_{i}=\sum_{i} \frac{1}{n} \boldsymbol{x}_{i}
$

これは， $\widehat{p}\left(x_{i}\right)=1 / n$ と見なしている，つまり同様に 観測された各データ $x_{i}$ を同様に扱っている点で適切である。一方で単語埋め込みの場合，

$
\boldsymbol{m}_{\boldsymbol{w}}=\underset{w \sim p}{\mathbb{E}}[\boldsymbol{w}], \quad \widehat{\boldsymbol{m}}_{\boldsymbol{w}}^{? ?}=\sum_{i} \hat{p}^{?}\left(w_{i}\right) \boldsymbol{w}_{i}=\sum_{i} \frac{1}{n} \boldsymbol{w}_{i}
$

一見自然な算術平均 $\widehat{\boldsymbol{m}}_{\boldsymbol{w}}^{(2)}$ を計算する処理は, 単語頻度を $\hat{p}\left({ }^{(} w_{i}\right)=1 / n$ で見なしている，つまり各単語 の頻度が一様だと仮定していることになる。

## 4 提案手法：単語頻度で期待値計算

以上の問題点を踏まえ，本稿では「単語ベクトル 集合に対して何らかの期待値をとる際は単語頻度分布を用いる」という指針を提案する．以下では，平均ベクトルの計算，中心化に加え，等方性を確保す るための前処理である白色化，および埋め込み空間 の等方性の度合いの推定について，特徴べクトルと 対比させながら具体的な計算方法を述べる. $\hat{p}\left(w_{i}\right)$ は，適当なコーパスにてカウントした $w_{i}$ の頻度，す なわち $p\left(w_{i}\right)$ の自然な推定量とする。

平均ベクトルと中心化 単語埋め込みの平均ベク トルを推定する際は単語頻度で重み付き平均すれば 良い。つまり $p\left(w_{i}\right)$ を頻度 $\widehat{p}\left(w_{i}\right)$ で推定すれば良い

$
\widehat{\boldsymbol{m}}_{\boldsymbol{x}}=\sum_{i} \frac{1}{n} \boldsymbol{x}_{i}, \quad \widehat{\boldsymbol{m}}_{\boldsymbol{w}}=\sum_{i} \widehat{p}_{w}\left(w_{i}\right) \boldsymbol{w}_{i}
$

中心化する場合は各べクトルから平均を差し引けば

$
\overline{\boldsymbol{x}}_{i}=\boldsymbol{x}_{i}-\widehat{\boldsymbol{m}}_{x}, \quad \bar{w}_{i}=\boldsymbol{w}_{i}-\widehat{\boldsymbol{m}}_{w}
$

重心が原点に移動する $\left(\sum_{i} \frac{1}{n} \overline{\boldsymbol{x}}_{i}=\mathbf{0}, \sum_{i} \widehat{p}\left(w_{i}\right) \overline{\boldsymbol{w}}_{i}=\mathbf{0}\right)$.且分散共分散行列の固有値分解 標準化，白色化,主成分分析など多くの前処理・補正処理が，固有值分解された分散共分散行列を利用する. 特徵べクト ルの場合，分散共分散行列 $S_{x} \in \mathbb{R}^{d \times d}$ は

$
S_{x}=\frac{1}{n-1} \bar{X}^{\top} \bar{X}, \quad \bar{X}:=\left(\bar{x}_{1}, \ldots, \bar{x}_{n}\right)^{\top} \in \mathbb{R}^{n \times d}
$

で計算できる。一方単語埋め込み場合は，天下り的 ではあるが，中心化し $\sqrt{\widehat{p}\left(w_{i}\right)}$ で重み付けした単語埋め込み行列 $\widetilde{W}$ を用いれば分散共分散行列が容易 に計算できる

$
S_{w}=\widetilde{W}^{\top} \widetilde{W}, \quad \widetilde{W}:=\left(\sqrt{\widehat{p}\left(w_{1}\right)} \overline{\boldsymbol{w}}_{1}, \ldots\right)^{\top} \in \mathbb{R}^{n \times d}
$

これで各要素 $\left(S_{w}\right)_{j k}=\sum_{i} \widehat{p}_{w}\left(w_{i}\right) \overline{\boldsymbol{w}}_{i}[j] \overline{\boldsymbol{w}}_{i}[k]$ が，単語頻度分布を考慮した（共）分散の推定量となる。

次に分散共分散行列を固有値固有ベクトル分解し

$
S=V \Lambda V^{\top}, \Lambda=\operatorname{diag}\left(\lambda_{1}, \ldots, \lambda_{d}\right), V=\left(v_{1}, \ldots, v_{d}\right)
$

得られた $\Lambda, V \in \mathbb{R}^{d}$ で各種補正処理が実行できる.

口白色化 白色化は球状化とも呼ばれており，近似的にではあるが直接的に等方化を目指す処理であ る.上で求めた $\Lambda$ および $V$ を用いれば，

$
\widetilde{\boldsymbol{x}}_{i}=\Lambda^{-1 / 2} V^{\top} \overline{\boldsymbol{x}}_{i}, \quad \widetilde{\boldsymbol{w}}_{i}=\Lambda^{-1 / 2} V^{\top} \overline{\boldsymbol{w}}_{i}
$

によって適切に期待値をとった白色化 $w \mapsto \widetilde{\boldsymbol{w}}$ が実現する．ただしこの標準的な白色化は分散の計算を 伴い, 結果として埋め込みの長さの影響を受ける.一方で単語埋め込みは，長さではなく向きが意味の 計算に重要な役割を持つ [10]. そこで本稿では，固有値（方向毎の疎密の度合い）を単位超球上で計算 してから白色化することを提案する．以下これを方向白色化と呼ぶ. 具体的な計算方法としては， $\widetilde{W} の$代わりに以下を用いて白色化をおこなえば良い

$
\widetilde{W}^{\prime}:=\left(\sqrt{\widehat{p}\left(w_{1}\right)} \overline{\boldsymbol{w}}_{1} /\left.\|\overline{\boldsymbol{w}}_{1}\right.\|, \ldots, \sqrt{\widehat{p}\left(w_{1}\right)} \overline{\boldsymbol{w}}_{n} /\left.\|\overline{\boldsymbol{w}}_{n}\right.\|\right) .
$

等方性 関連研究の節で述べたように等方性は埋 め込みの歪みの尺度としてとりわけ重視されてい る.ここでは埋め込みの等方性の測定方法を検討す る. まず，特徴べクトル $x$ に対する等方性は標準的 には以下で定義される： $\mathbb{E}\left[\boldsymbol{x}^{\top}\right]=I[11]$. すなわち $\frac{1}{n} \sum_{i} \boldsymbol{x}_{i} \boldsymbol{x}_{i}^{\top}$ と $I$ の間の近さをもって等方性を推定す れば良い。しかしこれを単語埋め込みに適用する際 は，期待値計算における分布の補正した上で，さら に定義が持つ次の問題を解決する必要がある。(1)向きが意味を保つにも関わらず，各埋め込みのノル ムに影響を受ける。(2) 埋め込み全体のスケールに 影響を受ける。そこで本稿では，(1) 各埋め込みを 正規化した上で $\mathbb{E}\left[w^{\top}\right]$ を計算し，(2) その固有値分布がフラットかどうか（固有值分布のエントロピー を正規化したもの）で等方性を測る．以下，この等方性の尺度を正規化エントロピー $H(w)$ と呼ぶ.

## 4.1 サンプリングをおこなう手法との関連

一部の手法は単語頻度に基づくサンプリングを暗 におこなっており，結果，単語頻度による期待値計算が実現している $[12,5]$. 本稿の枠組みはこれらの 手法がうまく動く正当化を与えるものでもある.

## 5 実験

学習済み単語埋め込みを歪みを各手法で補正する ことを試み，歪みは実際にとれるのか，また後段タ スクの性能は向上するのかを確認した.

## 5.1 実験設定

本稿ではもっとも基本的と考えられる静的埋め込 みを用い，また後段タスクとして，今日でも静的埋 め込みが BERT 等の文脈つき埋め込みよりも有用に 使われているタスクを選定した ${ }^{1)}$.データセット等

1）ただし文類似度タスクの Twitter に関しては，文語体中心の STS-B と対比させる口語体のデータセットとして採用した。
は標準的に用いられているものを採用した。

単語埋め込み 英語語彙の静的な単語埋め込み GloVe[1] および word2vec[13] を用いた.

【埋め込み空間の補正手法 中心化，白色化，およ び方向白色化を用いた. さらに，ベースラインとし て all-but-the-top（ABBT）[3]を用いた.

## ■補正の効果の確認のための空間の歪みの測定手法

原点中心性 : $Z(w):=\|\mathbb{E}[w]\| / \mathbb{E}[\|w\|] \geq 0$. 小さいほ ど重心が原点に近い。

等方性 : $H(w) \leq 1$ (§4). 大きいほど等方的.

以下，期待値を一様分布で（算術平均で）とった 際は「見かけの等方性」のように書く.

## ロ補正の効果の確認のための後段タスク

単語類似度タスク：埋め込み間のコサイン類似度と 単語の意味的類似度との順位相関を確かめる. デー タセットとして WordSim[14], MEN[15]を用いた。

教師なし文類似度タスク：単語埋め込みの和で文埋 め込みを作り, 単語類似度尺度と同様の手続きで人手評価とのピアソン相関2)を確かめる. データセッ トとして STS-B[16]，Twitter[17]を用いた。またべー スラインとしてuSIF[12] 用いた。

■単語頻度 期待値計算に必要な単語頻度として, Wikipedia 英語版のカウントデータを用いた $[18]^{3)}$.

## 5.2 実験結果

Glove での実験結果は表 1 の通り. word2vec での 実験結果は付録 Aを参照されたい。まず GloVeの中心化を例に，一様な処理と重み付き処理の違いを概観する.

GloVeを一様に中心化すると, 歪みの度合いが補正前の埋め込みに比べて悪化した。加えてすべての 後段タスクにおける性能が悪化した。これまでの分野の知見を踏まえると驚くべき結果である。 $[9,3]$等によれば，中心化によって等方性が一次近似の意味で満たされ，埋め込みの経験的な性能も向上する はずだからだ4).しかし本稿の視点に立てば，今回 の実験結果は「一様な中心化が見かけの $Z$ や $H$ を 向上させた」「真の $Z$ や $H$ は悪化しており後段タス クの性能も悪化した」と自然に解釈できる.

対照的に，単語頻度を考慮して中心化した場合， $Z ， H$ がともに向上し，またすべての後段タスクの 性能が向上した. ほかの補正処理においても同様の
 る. 中心化単体での経験的な効果は報告されていなかった.
表 1 単語埋め込み空間の補正処理とその効果.

表 2 空間の歪みと後段タスクの性能の相関係数 $\times 100$.

傾向が見られた. 期待値のとりかたを適切に修正す ることで，既存の知見を現実の言語の分布に沿った 形で効果的に運用できるようになったと言える.

ロ歪みの指標と後段タスクの性能の関係 次に，実験で作成したすべての種類の埋め込みを用いて「埋 め込みの歪み度合い $(Z$ および $H) 」$ と「後段タスク における性能」の相関を測ったところ，一貫して強 い“正の”相関を持つことがわかった（表 2 $)^{5}$. こ のことから，適切に計算した歪みの度合いは, 単語埋め込みの今後の研究に次のように役立つと考え られる。 (1) 埋め込み空間の歪み（たとえば $Z$ や $H$ ) を見ることで，後段タスクでの実際の実験を介さず とも，経験的な性能をある程度予測できる可能性が ある。 (2) 埋め込み空間の歪みを補正したい場合は,単語頻度で重み付けした尺度（たとえば $Z$ や $H$ ）を 最適化するという指針で，高性能な補正処理が手に 入る可能性がある.

口白色化に関する考察 文類似度タスク（STS-B） において, 方向白色化が uSIF と呼ばれる強力なべー スラインを上回った. これは驚くべき結果と言わざ るを得ない. 方向白色化は簡単なごく単純な処理に すぎず，一方で USIF は (1) 単語埋め込みの補正 (2)単語の重要度推定 (3) 文埋め込みの補正の 3 手法併 せた手法だからである. 方向白色化は等方性 $(H)$

5） $Z$ は小さい方が空間の歪みが少ない（好ましい）.
を近似的に向上させる提案だったことを踏まえれ ば， $H$ を直接的な最適化する手法の考案は魅力的な 将来の研究と言える.

別名「球状化」と呼ばれる白色化は，等方性 $H$ を 安定して向上させ，また後段タスクの性能を向上さ せた.これは，埋め込みの固有値分布の観点から 見ると驚くべき結果である。単語埋め込み空間の 固有値分布はまったくフラットではなく裾が減衰 することが知られており [3]. 単語埋め込み同士を ほとんど見分けることのできない軸が多数存在す る. 白色化は，これらの「役立たない」軸方向を無理やり引き伸ばしてこれを使わせる処理であり，一般的な次元削減の指針に反する。ただし，自然言語処理の埋め込みの研究では, 上位主成分の除去 $[3,7,19,18,12]$ というやはり一般的な次元削減の指針に反する処理が一定の成果を収めている。これら の知見を総括する理論が待たれる。

## 6 おわりに

単語埋め込み空間の歪みの度合いを測り，また歪 みを補正する際に，単語頻度の一様性が暗に仮定さ れることがある。本研究ではこれを修正する一貫的 な指針「期待値を単語頻度でとる」を示した。また，等方性を測定する尺度として正規化エントロピー $H$ を，等方性を向上させる手法として方向白色化をそ れぞれ提案した. 実験の結果，提案した修正指針に よって既存の補正処理がうまく動くようになり，ま た適切に計算した歪みの尺度は埋め込みの品質の有用な評価指標となることがわかった。

■謝辞 本研究は JST ACT-X JPMJAX200S の支援 を受けたものです。また本研究は JSPS 科研費 20H04148 の助成を受けたものです.

## 参考文献

[1] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. GloVe: Global Vectors for Word Representation. In $E M N L P$, pp. 1532-1543, 2014.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL, pp. 4171-4186, 2019.

[3] Jiaqi Mu and Pramod Viswanath. All-but-the-Top: Simple and Effective Postprocessing for Word Representations. In ICLR, 2018.

[4] Kawin Ethayarajh. How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings. In EMNLP, pp. $55-65,2019$.

[5] Xi Chen, Nan Ding, Tomer Levinboim, and Radu Soricut. Improving Text Generation Evaluation with Batch Centering and Tempered Word Mover Distance. In First Workshop on Evaluation and Comparison of NLP Systems, pp. 51-59, Online, 11 2020. Association for Computational Linguistics.

[6] Lingxiao Wang, Jing Huang, Kevin Huang, Ziniu Hu, Guangtao Wang, and Quanquan Gu. Improving Neural Language Generation with Spectrum Control. In ICLR, 2020.

[7] Tianlin Liu, Lyle Ungar, and João Sedoc. Continual Learning for Sentence Representations Using Conceptors. In NAACL, pp. 3274-3279, 2019.

[8] George K Zipf. Human Behaviour and the Principle of Least Effort. Addison-Wesley, 1949.

[9] Sanjeev Arora, Yuanzhi Li, Yingyu Liang, Tengyu Ma, and Andrej Risteski. A Latent Variable Model Approach to PMI-based Word Embeddings. TACL, Vol. 4, pp. 385399, 122016.

[10] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In EMNLP, pp. 2944-2960, Online, 11 2020. Association for Computational Linguistics.

[11] Mark Rudelson. Random Vectors in the Isotropic Position. Journal of Functional Analysis, Vol. 164, No. 1, pp. 60-72, 1999.

[12] Kawin Ethayarajh. Unsupervised Random Walk Sentence Embeddings: A Strong but Simple Baseline. In Rep4NLP, pp. 91-100, 72018.

[13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In C J C Burges, L Bottou, M Welling, Z Ghahramani, and K Q Weinberger, editors, NIPS, pp. 3111-3119, 2013.

[14] Lev Finkelstein, Evgeniy Gabrilovich, Yossi Matias, Ehud Rivlin, Zach Solan, Gadi Wolfman, and Eytan Ruppin. Placing Search in Context: The Concept Revisited. ACM Transactions on Information Systems, Vol. 20, No. 1, pp. 116-131, 12002.

[15] Elia Bruni, Gemma Boleda, Marco Baroni, and NamKhanh Tran. Distributional Semantics in Technicolor. In ACL, pp. 136-145, 72012.
[16] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In SemEval, pp. 1-14, 82017.

[17] Wei Xu, Chris Callison-Burch, and William B. Dolan. SemEval-2015 Task 1: Paraphrase and Semantic Similarity in Twitter (PIT). In SemEval, pp. 1-11, 62015.

[18] Sanjeev Arora, Yingyu Liang, and Tengyu Ma. A Simple but Tough-to-Beat Baseline for Sentence Embeddings. In ICLR, 2017.

[19] Tianlin Liu, Lyle H. Ungar, and João Sedoc. Unsupervised Post-processing of Word Vectors via Conceptor Negation. In $A A A I$, pp. 6778-6785, 2019.

## A 付録：word2vec での実験結果

表 3 単語埋め込み空間の補正処理とその効果. word2vec.


# Transformer の文脈を混ぜる作用と混ぜない作用

小林悟郎 1 栗林樹生 ${ }^{1,2}$ 横井祥 1,3 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
\{goro.koba, kuribayashi, yokoi, inui\}@ecei.tohoku.ac.jp

## 1 はじめに

近年，Transformerアーキテクチャ [1] は分野内 の基盤技術となりつつあり，成功理由の解明およ び更なる改善に向け，Transformerを基盤としたモ デル（BERT [2] など）の分析や検証が盛んに行わ れている [3]. Transformer は入力系列の情報を混ぜ 合わせる注意機構を積み重ねた構造である. 既存研究の多くは注意機構による「混ぜ合わせ」が成功の鍵であるとみなし，ある単語の表現を計算す る時にどの単語の情報を用いているか，例えば依存関係や意味関係などと比較して分析している [4, 5, 6, 7, 8, 9, 10,11,12].

しかし，Transformerを構成する要素は注意機構だ けではない. 例えば残差結合による「入力をそのま ま残す作用」が存在する。もしこの影響が強けれ ば，既存研究が観察してきた混ぜ合わせに関する観察はモデル全体においては微々たる作用に過ぎな い。また，層正規化はべクトルの正規化と拡大縮小 を行い，外側から注意機構の混ぜる作用と残差結合 の残す作用の強さを改変しうる. Transformer 内部に おいて注意機構による混ぜ合わせがどの程度支配的であるか，Transformer の主たる仕事は「混ぜる」 ことなのだろうか. 本研究では残差結合と層正規化 にも焦点を当ててこれらを調べる。「混ぜ合わせ」 などのモデル内における情報の流れを明らかにする ことは，モデルに対する理解を深めるだけでなく， モデルの予測の説明としても重要である.

実験では Transformer を基盤とした代表的なモデ ルとして BERT を対象に，モデル内部における混ぜ 合わせの強さを調査する. 実験結果から BERT の各層では，周囲のべクトルから混ぜる量よりも自身の ベクトルを残す量の方が遥かに大きく，混ぜる作用 ではなく残す作用が支配的であることを明らかにす る.これにより，モデル内では情報がほんの少しず つ混ぜられていくことが示唆された.このような結

図 1 注意機構，残差結合，層正規化の概要.

果が得られた理由を機構ごとの作用から分析し，注意機構に比べて残差結合が強く働いていること, 層正規化が特定のトークンに対応するベクトルを強く 拡大していることを明らかにした。

本研究の貢献は以下の通りである。
- Transformer に対し，注意機構に加えて残差結合 と層正規化を考慮して「混ぜ合わせの強さ」を 分析する方法を提案した。

・BERT の各層では，文脈を混ぜる作用よりも自信を残す作用が支配的であることを示した。

## 2 準備:Transformer を構成する機構

Transformer は同じ構造を持つ層を積み重ねたアー キテクチャであり，各層は（1）注意機構，（2）残差結合，（3）層正規化，（4）順伝播型ニューラルネッ トワークの四つの機構から構成される. 多くの先行研究はこのうち，注意機構のみを分析対象としてき た. 本研究では注意機構に加えて残差結合と層正規化を考慮し，入力ベクトル $\boldsymbol{x}_{j}$ がこれらの機構を 通過して $y_{j}^{\text {attn+res+ln }}$ へと変化する様子を分析する. Transformer 内における注意機構，残差結合，層正規化の簡単な概要を図 1 に示す. 本稿では自己注意機構を対象として提案手法の説明と実験を行うが，エ ンコーダーとデコーダーの間の注意機構でも同様の
議論が可能である.

## 2.1 注意機構 (attn)

注意機構は Transformerにおいて「混ぜる作用」を 担う. 以下，Transformer 内の各注意機構を慣例にな らってヘッド（h）と呼ぶことにする．各へッド $h$内において, 各入力ベクトル $x_{j} \in \mathbb{R}^{d}$ は周辺の入力 ベクトル全体 $\left.\{\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}\right.\}$ を参照しながら出力べク トル $\boldsymbol{y}_{j}^{(h)} \in \mathbb{R}^{d}$ へ更新される. 具体的には, 周辺の ベクトル $x_{i}$ を参照する度合い $\alpha_{i, j}^{(h)}$ (アテンション 重み）を計算し， $x_{i}$ をアフィン変換したベクトル $f_{j}^{\curvearrowleft}\left(\boldsymbol{x}_{i}\right)$ をこの重みで足し合わせる.

$
\boldsymbol{y}_{j}^{(\boxed{)}}=\sum_{i=1}^{n} \alpha_{i, j}^{(h)} f_{j}^{(h)}\left(\boldsymbol{x}_{i}\right)
$

Transformer ではこのへッドを $H$ 個並列に並べたマ ルチヘッド注意機構（attn）が各層に組み込まれて いる. マルチヘッド注意機構は，以下のように各 ヘッド $h$ の出力ベクトルを足し合わせ，ベクトル $y_{j}^{\text {attn }}$ を出力する.

$
\boldsymbol{y}_{j}^{\boxed{\text { attn }}}=\sum_{h=1}^{H} \boldsymbol{y}_{j}^{(h)}
$

## 2.2 残差結合（res）

残差結合（res）は, 注意機構の出力 $y_{j}^{\text {attn }}$ に, 処理を加えていない入力べクトル $\boldsymbol{x}_{j}$ をそのまま足し 込むことでオリジナルの情報を「残す」作用を担 う. 注意機構と残差結合を合わせた出力 $\boldsymbol{y}_{j}^{\text {attn+res }}$ は 次の通り計算される：

$
y_{j}^{\boxed{\text { attn+res }}}=y_{j}^{\text {attn }}+x_{j} .
$

## 2.3 層正規化（In）

層正規化（In）は入ってきたべクトル $y$ を正規化 しさらに拡大縮小をほどこす：

$
\mathrm{LN}(\boldsymbol{y})=\overline{\boldsymbol{y}} \odot \gamma+\boldsymbol{\beta} \in \mathbb{R}^{d}, \quad \overline{\boldsymbol{y}}:=\frac{\boldsymbol{y}-m(\boldsymbol{y})}{s(\boldsymbol{y})}
$

まず $\boldsymbol{y} \mapsto \overline{\boldsymbol{y}}$ の計算で入力 $\boldsymbol{y}$ の要素全体が平均 0 分散 1 となるよう正規化される. $\boldsymbol{y}^{(k)}$ をべクトル $\boldsymbol{y}$ の $k$ 番目の要素として $, m(\boldsymbol{y}):=\frac{1}{d} \sum_{k} \boldsymbol{y}^{(k)} \in \mathbb{R}$ は要素平均, $s(\boldsymbol{y}):=\sqrt{\frac{1}{d} \sum_{k}\left(\boldsymbol{y}^{(k)}-m(\boldsymbol{y})\right)^{2}+\epsilon} \in \mathbb{R}$ は標準偏差， $\epsilon \in \mathbb{R}$ は数値安定のための小さな定数を表す.引き算および割り算は要素毎におこなう.

次に学習可能なアフィン変換パラメータ $\gamma, \beta \in \mathbb{R}^{d}$ によって $\bar{y}$ の拡大縮小がおこなわれる. $\odot$
は要素積を表す. Transformer では図 1 に示すよう に，注意機構と残差結合が統合された各べクトル $\boldsymbol{y}_{j}^{\text {attn+res }}$ に対して上記の計算が行われ，以下のよう に $\boldsymbol{y}_{j}^{\boxed{\text { atn+res+ln }}}$ へと更新される.

$
y_{j}^{\boxed{\text { attn+res+ln }}}=\mathrm{LN}\left(y_{j}^{\sqrt{\text { attn+res }}}\right)=\overline{y_{j}^{\sqrt{\text { attn+res }}}} \odot \gamma+\beta
$

## 3 提案手法

本稿では Transformer において注意機構による混 ぜ合わせがどの程度支配的であるかを調査するた め, 注意機構に加えて残差結合と層正規化を考慮し た分析を行う．混ぜ具合の検証のため，それらの機構を通過して更新された埋め込みが，更新前の自身 の入力とその他の入力からそれぞれどの程度ずつ集 めて構成されたのかを確認する手法を提案する．具体的には，三つの機構が埋め込みを更新する計算を 自身の入力に由来するべクトルとその他の入力に由来するベクトルの和に変形し，それぞれのべクトル のノルムを測ることで埋め込みの更新において他か らの混ぜ合わせがどの程度行われたかを観察する。

## 3.1 混ぜる強さの分析

注意機構，残差結合，層正規化を通して入力べク トル $x_{j}$ が $y_{j}^{\text {attn+res+ln }}$ へ更新される際に, 自身以外 の入力ベクトル $\left.\{\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{j-1}, \boldsymbol{x}_{j+1}, \ldots \boldsymbol{x}_{n}\right.\}$ から集めた 量（混ぜた量）と自身の入力ベクトル $x_{j}$ から集め た量（残した量）を比較したい， $y_{j}^{\text {attn }}$ おび LN (.) が以下のように分解できる1)ことに注意すると，

$
\begin{aligned}
& \boldsymbol{y}_{j}^{\boxed{\mathrm{attn}}}=\sum_{i=1}^{n} f_{j}^{\boxed{\mathrm{attn}}}\left(\boldsymbol{x}_{i}\right), f_{j}^{\boxed{\text { attn }}}\left(\boldsymbol{x}_{i}\right):=\sum_{h=1}^{H} \alpha_{i, j}^{(h} f_{j}^{\natural}\left(\boldsymbol{x}_{i}\right) \\
& \mathrm{LN}\left(\sum_{i} z_{i}\right)=\sum_{i} \frac{z_{i}-m\left(z_{i}\right)}{s\left(\sum_{i} z_{i}\right)} \odot \gamma+\beta
\end{aligned}
$

$y_{j}^{\text {attn+res+ln }}$

は次の 4 つの項に近似なしで分解できる.

$
\begin{aligned}
& +\frac{f \boxed{\text { attn }}\left(\boldsymbol{x}_{j}\right)-m\left(f^{\boxed{\mathrm{attn}}}\left(\boldsymbol{x}_{j}\right)\right)}{s\left(\boldsymbol{y}_{j}^{\boxed{\mathrm{attn}}}+\boldsymbol{x}_{j}\right)} \odot \gamma \\
& +\frac{\boldsymbol{x}_{j}-m\left(\boldsymbol{x}_{j}\right)}{s\left(\boldsymbol{y}_{j}^{\boxed{\text { attn }}}+\boldsymbol{x}_{j}\right)} \odot \gamma \\
& +\beta
\end{aligned}
$

1） $\mathrm{LN}(\cdot)$ の分解に関する詳細は付録 $\mathrm{A}$ で説明する.

図 2 各層の注意機構・残差結合・層正規化によるべクトル更新 で「混ぜ合わせ」が担う割合.

図3 各層における注意機構が混ぜる量 $\left.\|\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\text {attn }}\left(\boldsymbol{x}_{i}\right)\right.\|$.

図4 各層における注意機構が残す量 $\left.\|f_{j}^{\boxed{\mathrm{attn}}}\left(\boldsymbol{x}_{j}\right)\right.\|$.

図 5 各層における残差結合が残す量 $\left.\|\boldsymbol{x}_{j}\right.\|$.
すなわち出力 $y_{j}^{\boxed{\text { attn+res+ln }}}$ は

・attn 経由で混ぜる作用 $: y_{j \leftarrow \text { others }}^{\text {attn+ln }}:=$ 項 4

・attn 経由で残す作用 : $\boldsymbol{y}_{j \leftarrow j}^{\mathrm{attn}+\mathrm{ln}}:=$ 項 5
- res 経由で残す作用 : $y_{j}^{\text {res+ln }}:=$ 項 6

・バイアス項： $\beta$ (= 項 7)

の和に分解できる。そこで，これらの機構における 「混ぜる作用」と「残す作用」をそれぞれ $\boldsymbol{y}{ }_{j \leftarrow \text { others }}^{\text {attn }}$ お よび $\boldsymbol{y}_{j \leftarrow j}^{\boxed{\mathrm{attn}+\mathrm{ln}}}+\boldsymbol{y}_{j}^{\mathrm{res+ln}}$ で定義する.

注意機構をべクトルノルムで分析した Kobayashi ら [12]に従い，ベクトルの和における各べクトルの 影響の大きさをそのノルムで測る。ここでは，「混 ぜた量」と「残した量」をそれぞれべクトルノルム $\left.\|\boldsymbol{y}_{j \leftarrow \text { other }}^{\mathrm{attn}+\mathrm{ln}}\right.\|$ および $\left.\|\boldsymbol{y}_{j \leftarrow j}^{\mathrm{attn}+\mathrm{ln}}+\boldsymbol{y}_{j}^{\mathrm{res}+\mathrm{ln}}\right.\|$ で測る.これら の大きさを比べることで，モデル内の注意機構・残差結合・層正規化部分においてどの程度の強さで混 ぜ合わせが行われたかを確認する.

## 4 実験

Transformerを基盤とする代表的なモデルである BERT にテキストを入力し，その内部挙動について 分析を行う．4.2節では各層における「混ぜる量」と 「残す量」を比べ，混ぜ合わせの強さを調べる. 4.3 節および 4.4 節では，混ぜ合わせに対する注意機構，残差結合，層正規化の働きを確認した.

## 4.1 実験設定

モデル 事前学習済み BERT-base (uncased) を用い た. BERT-base は 12 層から構成され，その各層に図
1 で示した注意機構，残差結合，層正規化からなる 構造が組み込まれている。また，追加で BERT-large についても実験を行い，結果を付録 Bにまとめた.

データ モデルへ入力するテキストデータとし て, 既存研究 [4] に従い Wikipedia から抽出された 992 系列を用いた. ここで BERT の事前学習の設定 に合わせ，各系列において全体の $12 \%$ 2) のトークン を [MASK]トークンに置換して入力した.

## 4.2 混ぜる強さの分析

BERT に 992 系列を入力し， 3.1 節で述べた方法 でモデル内部における混ぜ合わせの強さを調べる。各層における注意機構・残差結合・層正規化部分で 他の入力から混ぜた量 $\left.\|y_{j \leftarrow \text { others }}^{\text {attn+ln }}\right.\|$ と自身の入力から 残した量 $\left.\|y_{j \leftarrow j}^{\sqrt{\text { attn+ln }}}+y_{j}^{\sqrt{\text { res+ln }}}\right.\|$ を計算し, 両者の合計 に対する混ぜた量の割合を算出した. 各層で全出力 ベクトルの平均をとった結果 (“全体”) に加え，対応するトークンに合わせて（1）[CLS]，（2） [SEP], （3）[MASK]，（4）ピリオド“,”またはカンマ“,”,（5） その他の五種類に分けた結果も報告する.

結果 図 2 より, モデル内部の注意機構・残差結合・層正規化において「混ぜる作用」は “全体”で 11〜24\%と小さく，「残す作用」が支配的であること がわかった。これより, BERT 内部で埋め込みが層 を登って更新される際に，前の層の情報をかなり保持しながら少しずつ情報が混ぜ合わされていくこと が示唆される。これは BERT 内部における中間表現 は，入力トークンを高精度に判別できるほど元の情

2） BERT の事前学習では，入力系列の $20 \%$ 選び，そのうち $80 \%$ （全体の 12\%）を[MASK] トークンに置換する。
報を残しているという Brunner ら [13] の報告と一致 する．また，“全体” の傾向として後半層に比べて前半層の方が混ぜる作用が強いことがわかった.

トークンの種類ごとの結果に着目すると，[CLS] では混ぜる作用が最終層でのみ $39 \%$ と他よりかな り大きい傾向があった. また，[MASK] では，中盤層で 25 30\%と混ぜる作用が比較的大きかった. 以上により, 前半層で全体的に情報を集めて準備を し, 中盤層で BERT の事前学習タスクである穴埋め 予測（Masked Language Modeling）を解き，後半層で もう一つの事前学習タスクである次文予測 (Next Sentence Prediction）を解いていることが示唆され る.また，[CLS] および [SEP] では，それぞれ前半層および中盤層で混ぜる作用が非常に小さかった. それらの層の注意機構では，これらの特殊トークン に対してアテンション重み $\alpha$ を大く割り振る一方で，あまり集めないという現象が報告されており [12]，何らかの繋がりがあると考えられる。

## 4.3 注意機構と残差結合の働き

前節で明らかになった「混ぜる作用ではなく残す 作用が支配的」という挙動のメカニズムを調べるた め, 層正規化を考慮しない状態で (1) 注意機構が 混ぜる量，（2）注意機構が残す量，（3）残差結合が 残す量を調べる. 式 1 より注意機構と残差結合は,注意機構の出力ベクトル $y_{j}^{\text {attn }}$ と, 残差結合が残す ベクトル $\boldsymbol{x}_{j}$ の足し算によって統合される. また式 2 より, 注意機構の出力ベクトル $y_{j}^{\text {attn }}$ は自身の入力 $x_{j}$ から集めたべクトル $f_{j}^{\text {attn }}\left(x_{j}\right)$ とその他の入力か ら集めたべクトル $\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\text {attm }}\left(\boldsymbol{x}_{i}\right)$ に分離で きる. BERT 各層における，(1) 注意機構が混ぜる 量 $\left.\|\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\text {attn }}\left(\boldsymbol{x}_{i}\right)\right.\|$, ，(2) 注意機構が残す量 $\left.\|f_{j}^{\text {attn }}\left(\boldsymbol{x}_{j}\right)\right.\|$, （3）残差結合が残す量 $\left.\|\boldsymbol{x}_{j}\right.\|$ を測った.

結果 図 3, 4, 5より, 残差結合が残す量は注意機構が混ぜる量および残す量に比べて遥かに大き く, BERT の各層において注意機構に比べて残差結合が支配的であることが分かった. また, 注意機構 による残す作用は小さく, 残す作用のほとんどを残差結合に任せていることがわかった.

多くの先行研究で注意機構のみに着目した分析が 行われ, 残差結合を考慮する先行研究でも注意機構 と残差結合の力関係を 1:1 と仮定していた [14]が,実際には残差結合が支配的であった。

図 6 各層の注意機構・残差結合によるべクトル 更新で「混ぜ合わせ」が 担う割合.

図 7 各層における層正規化を考慮した際の残差結合に由来するべクトル

## 4.4 層正規化の作用

層正規化の働きについて理解を深めるため，層正規化によって「混ぜ合わせの強さ」と「残差結合が 残す量」がどう変わるのかを調べた。

結果 図 2 と 6 の比較から, 層正規化は全体的に 混ぜ合わせの割合を下げる働きをしていることが分 かった. 中でも [CLS] と [SEP] に対して割合を強く 下げる傾向があった. また, 図 7 と 5 の比較から,層正規化は残差結合が足すべクトルを全体的に拡大 していることが分かった．混ぜ合わせの割合を強く 下げる [CLS] と [SEP] に対しては，特に強い拡大を 行っていた. 以上のように層正規化は混ぜ合わせの 強さに影響を与えていた。

## 5 おわりに

本稿では，Transformer 内部における混ぜ合わせの 強さを分析する方法を提案した. この方法を用いて BERT を分析し，各層において混ぜる作用ではなく 残す作用が支配的であることを明らかにした.ま た，これまで盛んに分析されてきた注意機構の働き が，各層において支配的ではないことを示した。

今後は, RoBERTa[15] や fine-tuning した BERT な ど，より幅広くモデルを分析する。また, Transformer 内のより多くの作用を考慮に入れ，層全体やモデル 全体での挙動を精緻に分析する方向性も興味深い。

謝辞. 本研究は JSPS 科研費 JP19H04425, JP20J22697 の助成を受けたものです. また本研究は, JST, ACTX，JPMJAX200S の支援を受けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (NAACL-HLT), pp. 4171-4186, 2019.

[3] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A Primer in BERTology: What we know about how BERT works. arXiv preprint arXiv:2002.12327, 2020.

[4] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D Manning. What Does BERT Look At? An Analysis of BERT's Attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, 2019.

[5] Olga Kovaleva, Alexey Romanov, Anna Rogers, and Anna Rumshisky. Revealing the Dark Secrets of BERT. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4364-4373, 2019.

[6] Emily Reif, Ann Yuan, Martin Wattenberg, Fernanda B Viegas, Andy Coenen, Adam Pearce, and Been Kim. Visualizing and Measuring the Geometry of BERT. Advances in Neural Information Processing Systems 32 (NIPS), pp. 8594-8603, 2019.

[7] Yongjie Lin, Yi Chern Tan, and Robert Frank. Open Sesame: Getting Inside BERT's Linguistic Knowledge. Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 241-253, 2019.

[8] David Mareček and Rudolf Rosa. From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions. In Proceedings of the 2019
ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 263-275, 2019.

[9] Phu Mon Htut, Jason Phang, Shikha Bordia, and Samuel R. Bowman. Do Attention Heads in BERT Track Syntactic Dependencies? arXiv preprint arXiv:1911.12246, 2019.

[10] Alessandro Raganato and Jörg Tiedemann. An Analysis of Encoder Representations in Transformer-Based Machine Translation. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, 2018.

[11] Gongbo Tang, Rico Sennrich, and Joakim Nivre. An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation (WMT): Research Papers, pp. 26-35, 2018.

[12] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is not only a weight: Analyzing transformers with vector norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7057-7075, 2020.

[13] Gino Brunner, Yang Liu, Damián Pascual, Oliver Richter, Massimiliano Ciaramita, and Roger Wattenhofer. On Identifiability in Transformers. In 8th International Conference on Learning Representations (ICLR), 2020.

[14] Samira Abnar and Willem Zuidema. Quantifying attention flow in transformers. In Proceedings of the 58th Annual Meeting of the Association for Coтputational Linguistics, pp. 4190-4197, July 2020.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019 .

## 付録

## A 層正規化の分配

複数のベクトル $\left.\{z_{1}, \ldots, z_{n}\right.\} \subseteq \mathbb{R}^{d}$ の和で表される $\sum_{i=1}^{n} z_{i}$ に対して層正規化 $L N(\cdot)$ を計算する際，式 3 のように層正規化の作用を和の中の各ベクトル $z_{i}$ に分配するような 形で，出力を $n$ 個のベクトルに分解できることを文中で 述べた. ここでは，この分解に至る式変形について説明 する。まずは層正規化の計算を以下のように展開する：

$
\begin{aligned}
\mathrm{LN}\left(\sum_{i} z_{i}\right) & =\overline{\sum_{i=1}^{n} z_{i}} \odot \gamma+\beta \\
& =\frac{\sum_{i=1}^{n} z_{i}-m\left(\sum_{i=1}^{n} z_{i}\right)}{s\left(\sum_{i=1}^{n} z_{i}\right)} \odot \gamma+\beta
\end{aligned}
$

ここで，分数部分の分子の第 2 項 $m\left(\sum_{i=1}^{n} z_{i}\right)$ について考え る. $m\left(\sum_{i=1}^{n} z_{i}\right)$ は $\sum_{i=1}^{n} z_{i}$ の要素平均であり, 以下のように変形できる：

$
\begin{aligned}
m\left(\sum_{i=1}^{n} z_{i}\right) & =\frac{1}{d} \sum_{k=1}^{d}\left(\sum_{i=1}^{n} z_{i}\right)^{(k)} \\
& =\frac{1}{d} \sum_{k=1}^{d} \sum_{i=1}^{n} z_{i}^{(k)} \\
& =\sum_{i=1}^{n} \frac{1}{d} \sum_{k=1}^{d} z_{i}^{(k)} \\
& =\sum_{i=1}^{n} m\left(z_{i}\right) .
\end{aligned}
$

これに基づき，式 3 を以下のように導出できる：

$
\begin{aligned}
\mathrm{LN}\left(\sum_{i} z_{i}\right) & =\frac{\sum_{i=1}^{n} z_{i}-\sum_{i=1}^{n} m\left(z_{i}\right)}{s\left(\sum_{i=1}^{n} z_{i}\right)} \odot \gamma+\beta \\
& =\sum_{i=1}^{n} \frac{z_{i}-m\left(z_{i}\right)}{s\left(\sum_{i=1}^{n} z_{i}\right)} \odot \gamma+\beta .
\end{aligned}
$

## B BERT-large における実験結果

4 節で BERT-base に対して行った実験を全く同じ設定で BERT-large でも行った結果を報告する。

## B. 1 混ぜる強さの分析

図 8 より，BERT-large においても「混ぜる作用」は全体 で 11 28\%と小さく, 「残す作用」が支配的であった. ま た, BERT-base の結果（図 2) と比べると, 最初の層と最終層を除いて BERT-large の方が「混ぜる作用」が小さく，層が増えた分だけゆっくりと混ぜ合わせが行われている と考えられる. また，[CLS] に対して強い混ぜ合わせを行

図 8 BERT-large 各層の注意機構・残差結合・層正規化によるべクトル更新で 「混ぜ合わせ」が担う割合.

図 10 BERT-large 各層に おける注意機構が残す量

$
\left.\|f_{j}^{\text {attn }}\left(\boldsymbol{x}_{j}\right)\right.\| .
$

図 9 BERT-large 各層にお ける注意機構が混ぜる量 $\left.\|\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\boxed{\text { attn }}}\left(x_{i}\right)\right.\|$.

図 11 BERT-large 各層に おける残差結合が残す量 $\left.\|x_{j}\right.\|$.

うのが，BERT-base では最終層で，BERT-large では第一層 という違いを確認した。

## B. 2 注意機構と残差結合の働き

図 9，10，11より，BERT-large においても，残差結合が 残す量が注意機構が混ぜる量および残す量に比べてはる かに大きく，各層において注意機構に比べて残差結合が 支配的であることがわかった.

## B. 3 層正規化の作用

スペースの都合で結果の図は割愛するが，BERT-large においても，層正規化は全体的に混ぜ合わせの割合を下 げており，特に [CLS] と [SEP] で強く割合を下げていた. ただし，第一層の [CLS] に対しては混ぜ合わせを強める作用を行っていた。また，層正規化は BERT-large において も残差結合が足すべクトルを全体的に拡大しており，特 に [CLS], [SEP], [MASK] に対して強い拡大を行っていた.