# 単語理め込みによる論理演算

内藤雅博 1,3 横井 祥 2,3 下平 英寿 1,3
1 京都大学 2 東北大学 3 理化学研究所
}

neiteng@sys.i.kyoto-u.ac.jp, yokoi@ecei.tohoku.ac.jp, shimo@i.kyoto-u.ac.jp
## 1 はじめに

自然言語処理の基盤技術である単語埋め込みは， $v_{\text {king }} \approx v_{\text {royal }}+v_{\text {man }}$ のように埋め込みの加法で意味の 合成を近似できるという性質を持つ（加法構成性）.

加法構成性が成立する理由を説明するためにいく つかの理論が提示されてきたが $[2,8,1]$ ，本稿で示 す通り，実際の単語埋め込みでは成立しない仮定が 置かれている。また, 理論が Skip-gram[15] などの特定の手法に依存しており, $\mathrm{GloVe}[18]$ などの他の手法との統一した理解は分野に残された課題である.

加法構成性について次のような疑問も残されてい る：「意味の合成」とひとことで言っても，意味の AND をとりた場合 (例 : king $\approx$ royal $\wedge$ man; 通常 の加法構成性に相当）とORをとりたい場合（例： case $\approx b o x$ (箱) $\vee$ instance (事例)) では異なる演算が 必要だと考えられる. OR の演算は単語埋め込みで どのように計算できるのだろうか?

本稿では，以上の加法構成性に対する疑問に対し て以下の理論的・実験的根拠を与える：

1. 単語埋め込みからその平均を引いた（中心化した）べクトルを考えることで Skip-gram with Negative Sampling (SGNS)[16] と GloVe の性質を 統一して記述できることを示すとともに，既存 の加法構成性の理論の問題点を取り除く(§3).

2. 1. で得た結果を出発点に，表1のような意味の $\mathrm{AND}$ O OR・NOTをとりたい場合の埋め込みの計算方法を示す (§4).

3. 本稿の理論の帰結を利用して加法構成性の精度 を向上させられること，OR・NOT の演算を正し く行えることを実験で確認する (\$5).

## 2 準備：単語埋め込み

単語埋め込み手法の紹介 本稿で扱う SGNS や GloVeのような単語間の共起情報による単語埋め 込み手法は，情報検索・グラフ埋め込み・推薦シ
ステムなど分野をまたいで活躍の幅を広げている $[20,10,9]$. また，近年注目されている BERT[5] など も文脈から単語を予測することで埋め込みを得てお り，これらの手法の拡張ともみなせる。

記号語彙を $V$ ，単語 $w$ の埋め込みを $\boldsymbol{v}_{w}$ ，単語 $c$ の文脈側埋め込みを $\boldsymbol{u}_{c}$ で表す. $p(w, c)$ を単語対 $(w, c)$ が共起する同時確率， $p(c \mid w)$ を単語 $w$ の文脈 が単語 $c$ である確率, $p(w)$ を単語 $w$ の頻度とする.

■単語埋め込みの性質 $[14,21]$ によれば，最適に学習された SGNS の埋め込みは次を満たす：

$
\log \frac{p(w, c)}{p(w) q(c)}-\log k=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c} .
$

ここで $q$ は負例の分布， $k$ は共起単語対 $(w, c) 1$ 個 あたりの負例の個数である. $q=p$ の場合，自己相互情報量 $\operatorname{PMI}(w, c)=\log \frac{p(w, c)}{p(w) p(c)}$ から $\log k$ を引い た行列を分解していると解釈できる。一方 Gloveで は共起行列を直接分解するアプローチをとってお り，最適に学習された埋め込みは次を満たす：

$
\log p(w, c)=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}+a_{w}+b_{c}-\log Z
$

ここで $a_{w}, b_{c}$ はバイアス項， $Z$ は正規化定数であ る.以下では, SGNS・GloVe の各埋め込みは (1), (2)を満たすと仮定する。

## 3 SGNS と GloVe に共通する構造

既存の加法構成性の理論 [1] では

$
\operatorname{PMI}(w, c)=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}
$

という仮定を置いていたが，本稿の実験 (§5.1)が 示す通り実際には成り立っていない。また，(3)は §4以降の OR・NOT の理論でも重要な役割を果たす.本節では, SGNS・GloVeの単語埋め込みを頻度で重 み付けて中心化するだけで，仮定 (3) が成り立つよ うに補正できることを示す．§5.2ではこの補正を行 うことで加法構成性の精度が向上することを確認し ており，各下流タスクへの応用が期待できる。

はじめに, SGNS・GloVeの埋め込みを中心化する ことで (3) が誤差項を含む形で導かれることを示す.
表 1: AND，OR，NOT の演算の説明.

平均を $\overline{\boldsymbol{v}}=\sum_{w} p(w) \boldsymbol{v}_{w}, \overline{\boldsymbol{u}}=\sum_{c} p(c) \boldsymbol{u}_{c}$, 中心化した 単語埋め込みを $\tilde{\boldsymbol{v}}_{w}=\boldsymbol{v}_{w}-\overline{\boldsymbol{v}}, \tilde{\boldsymbol{u}}_{c}=\boldsymbol{u}_{c}-\overline{\boldsymbol{u}}$ とおく.

定理 1. SGNS・GloVe の埋め込みがそれぞれ (1),(2) を満たす時，次の等式を満たす：

$
\operatorname{PMI}(w, c)=\tilde{\boldsymbol{v}}_{w}^{\top} \tilde{\boldsymbol{u}}_{c}+\bar{\epsilon}-\epsilon_{w}-\epsilon_{c} .
$

ただし $\bar{\epsilon}, \epsilon_{w}$ は誤差項で $, \epsilon_{w}=D_{\mathrm{KL}}(p(\cdot) \| p(\cdot \mid w)), \bar{\epsilon}=$ $\sum_{w} p(w) \epsilon_{w}$. (証明: 付録 A.1）

次の命題により，|PMI $(w, c) \mid \ll 1$ である時に誤差項が無視できることが分かる.

命題 2. $\Delta=\max _{w, c}|\operatorname{PMI}(w, c)|$ とおくと, $\epsilon_{w}=$ $O\left(\Delta^{2}\right), \bar{\epsilon}=O\left(\Delta^{2}\right),(\Delta \rightarrow 0)$ である.（証明:付録 A.2）

実際のデータでは $|\operatorname{PMI}(w, c)| \ll 1$ は成り立って いないが，後述の実験により，中心化によって仮説 (3) の誤差が大幅に改善することを確認した (§5.1).

## 4 単語埋め込みによる論理演算

## 4.1 AND の演算

[1] は，§3で近似的に得られた PMI 分解の構造 (3) が厳密に満たされる時, king = royal $\wedge$ man のような AND の意味演算がベクトルの加法

$
\boldsymbol{v}_{\text {king }}=\boldsymbol{v}_{\text {royal }}+\boldsymbol{v}_{\text {man }}
$

に対応することを示した（AND の公式；通常の加法構成性). 証明の概略は次の通りである：各文脈 $c$ で の king の出現確率が $p(k i n g \mid c)=p($ royal $\mid c) p($ man $\mid c)$ のような積で表される考え，PMIの $\log$ をして確率の積を埋め込みの足し算に対応させる.

## 4.2 OR の演算

§1で触れたように，AND の演算の他に「または」 の演算も考えられる。本節では，OR の演算が埋め 込みの頻度重み付き和で実現できることを示す。

DOR の意味を持つ単語のモデリング 語義 $\left.\{w_{i}\right.\}_{i=1}^{s}$ を持つ多義語を $w$ とする. ある単語 $w^{\prime}$ を固定した 時，その文脈として $w$ が出現する確率は $w_{i}$ が出現 する確率の和 $(i=1, \ldots, s)$ であると考えられる：

$
\forall w^{\prime} \in V, \quad p\left(w \mid w^{\prime}\right)=\sum_{i=1}^{s} p\left(w_{i} \mid w^{\prime}\right) .
$

(6) よりただちに $p(w)=\sum_{i=1}^{s} p\left(w_{i}\right)$ を得る.

## OR の公式の導出

定理 3 (OR の公式 [13]). 単語 $w_{1}, \ldots, w_{s}$ と，それら の OR の意味を持つ単語 $w$ の埋め込みが OR のモデ リング (6) と PMI 分解の関係式 (3)を満たすと仮定 する. $|\operatorname{PMI}(w, c)| \ll 1$ であるとき, OR の公式

$
\boldsymbol{v}_{w} \approx \sum_{i=1}^{s} \frac{p\left(w_{i}\right)}{p(w)} \boldsymbol{v}_{w_{i}}
$

が成り立つ.（証明:付録 A.3）

実際のデータでは $|\operatorname{PMI}(w, c)| \ll 1$ は成り立って いないが，後述の実験で OR の公式が良く成り立つ ことを確認した (\$5.3).

## 4.3 条件付き埋め込みと NOT の演算

仮定 (3) を用いると，AND・OR のみならず NOT の演算も実現できる. 本節では，局所的な単語間の 関係を表す単語埋め込みである条件付き埋め込みの 概念を用いて NOT の演算を定式化し，反義語がマ イナスで表現できることを示唆する。

## ■ NOT の意味を持つ単語のモデリング

人間の感覚に反し, 反義語は違っていると同時に 似ているという性質を持つ [4, 22]. たとえばhate と love は反対の意味を持つが，どちらも感情を表すと いう点で同じである. そのため反義語は似た文脈で 出現しやすく，昨今主流である分布仮説 $[12,7]$ に基 づく単語埋め込みでは類似度が高くなる ${ }^{11}$.このよ うに類義語と反義語の区別は難しく，反義語がどの ように埋め込まれているかの理解を困難にしてい る. 本節ではこの反義語の類似性を考慮した定式化 を行うことで，反義語の謎を紐解く。

次のような例を考える：motherの反対は，「親」の くくりの中では father だが，「親子関係」のくくりで は daughter である. このように反義語を考える際は この「くくり」が所与である必要があり，本稿では これを単語の集合 $A$ で表現する ${ }^{2)}$ ，小さな単語集合 $A$ の中で見たとき，反義語 $\neg w$ は単語 $w$ の逆の文脈 で出現するであろうという直感から，NOT の意味を 持つ単語の共起確率は次のように定式化できる：

$
p\left(\neg w \mid \neg w \in A, w^{\prime}\right)=p\left(\neg w \in A \backslash\{w\} \mid \neg w \in A, w^{\prime}\right)
$

1）SGNS での hate と love の $\cos$ 類似度は 0.5 程度である

2）これは反義語の類似性の部分に相当する.

(8) の確率には条件づけに $w \in A$ が登場するため,通常の単語埋め込みではなく, $A$ で出現確率を条件 づけた埋め込みが必要になる。本稿では，この埋め 込みを $A$ 上の条件付き埋め込みと呼ぶ.

## 口条件付き埋め込み

(14) の類推から, 条件付き埋め込み $v_{w \mid A}$ の満た すべき等式は次のように定式化できる：

$
p\left(w \mid w \in A, w^{\prime}\right)=p(w \mid w \in A) \exp \left(\boldsymbol{v}_{w \mid A}^{\top} \boldsymbol{u}_{w^{\prime}}\right)
$

OR の公式 (7) を厳密に認めて左辺を計算すると：

$
\begin{aligned}
p\left(w \mid w \in A, w^{\prime}\right) & =\frac{p\left(w, w \in A \mid w^{\prime}\right)}{p\left(w \in A \mid w^{\prime}\right)}=\frac{p(w) \exp \left(\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{w^{\prime}}\right)}{p(A) \exp \left(\boldsymbol{v}_{A}^{\top} \boldsymbol{u}_{w^{\prime}}\right)} \\
& =p(w \mid w \in A) \exp \left(\left(\boldsymbol{v}_{w}-\boldsymbol{v}_{A}\right)^{\top} \boldsymbol{u}_{w^{\prime}}\right)
\end{aligned}
$

ここで $p(A)=\sum_{w \in A} p(w), \boldsymbol{v}_{A}=\sum_{w \in A} \frac{p(w)}{p(A)} \boldsymbol{v}_{w}$.よっ て条件付き埋め込みは $v_{w \mid A}=v_{w}-v_{A}$ と計算できる ことがわかる。これにより，一般に行われるある単語集合での中心化 (例: 国名-首都の単語埋め込み をPCA で可視化する際の暗黙的な中心化）は，「集合内の単語間の相互関係の精緻化」と説明できる.

補足 : 大まかに言うと, 条件付き埋め込みはコーパ スを $A$ に絞った単語埋め込みと理解できる.

■ NOT の公式の導出 OR の公式を厳密に認めて (8) の右辺をさらに計算すると，次を得る：

$
\begin{gathered}
p\left(\neg w \in A \backslash\{w\} \mid \neg w \in A, w^{\prime}\right)=\frac{p\left(\neg w \in A \backslash\{w\} \mid w^{\prime}\right)}{p\left(\neg w \in A \mid w^{\prime}\right)} \\
=\frac{p(A \backslash\{w\})}{p(A)} \exp \left(\left(\boldsymbol{v}_{A \backslash\{w\}}-\boldsymbol{v}_{A}\right)^{\top} \boldsymbol{u}_{w^{\prime}}\right) .
\end{gathered}
$

よって $\boldsymbol{v}_{\neg w \mid A}=v_{A \backslash\{w\}}-v_{A}$ であり, さらに計算する と次を得る（NOT の公式）。

$
\boldsymbol{v}_{\neg w \mid A}=\boldsymbol{v}_{A \backslash\{w\}}-\boldsymbol{v}_{A}=-\frac{p(w \mid w \in A)}{1-p(w \mid w \in A)} \boldsymbol{v}_{w \mid A}
$

(11)より，条件付けることによって NOT の意味を 持つ単語の埋め込みがマイナスで計算できることが わかる. (8) は厳密には $w$ の反義語というよりは $A$ の中での $w$ の補集合に当たる単語をモデリングして いるが，(11) より反義語の埋め込みがマイナスの方向に存在することが示唆される。

## 5 実験

## 5.1 中心化と PMI 分解

$\mathrm{PMI}$ 分解の関係式 $\operatorname{PMI}(w, c)=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}$ の精度が中心化によって向上することを確かめるために，誤差 $e_{w c}=\operatorname{PMI}(w, c)-\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}$ の分布をプロットした（図 1). orig は元の埋め込み, freq は $\S 3$ で議論された

図 1: 1 回以上共起した単語対 $(w, c)$ に対し誤差 $e_{w c}$ の分布をプロットした. 誤差の大きさの参考に， $\operatorname{PMI}(w, c)$ 自体の分布を紫破線で示してある.

頻度重み中心化 $\boldsymbol{v}_{w} \leftarrow \boldsymbol{v}_{w}-\overline{\boldsymbol{v}}$ を行ったときの結果 である。 さらに比較として，単語埋め込みの後処理 として一般的に行われる [17] $v_{w} \leftarrow v_{w}-\sum_{w^{\prime}} v_{w^{\prime}} /|V|$ （一様中心化）での結果を unif で示している.

結果から，普通の中心化ではなく，特に頻度重 みで中心化することによって PMI 分解の構造が強 くなることがわかる.

## 5.2 AND の公式の精度評価

AND の公式 (5) の確認を行う．公式の精度が PMI 分解の構造 (3) の有無によってどう変わるのかを観察するために， orig, unif, freqの設定を試した.

評価のために，ANDの意味を持つ単語を含むコー パスを次のように作成し，埋め込みを学習した：

複合語のデータセット [6] に含まれる各複合語につ いて，コーパス上の複合語を 1 個の単語に置換す る (例: card game $\rightarrow$ card_game).

評価指標としては，データセット [6] に含まれる 各複合語 word1 word2 について，(5) で計算された ベクトルと $\cos$ 類似度の高い単語を検索した時に word1_word2 が何番目に出てくるか（予測順位）を 計算した. 予測順位の累積度数分布を図 2 に, 要約統計量として平均逆順位を表2に示す.

結果を見ると，特に頻度重みで中心化することで 予測が正確になっているため, PMI 分解の構造が加法構成性の成立において重要であると考えられる。

## 5.3 OR の公式の精度評価

OR の公式 (7) が成り立つことを確かめる.

次の手順で架空の多義語を 500 個作成し，その埋 め込みを学習した：

1. ランダムに選んだ単語対から架空の多義語を作成し (例: apple, car $\rightarrow$ apple_OR_car)，元の単語を全て架空の多義語に置き換えることで新し

図 2: AND の公式による予測順位の累積度数分布.線が左上にあればあるほど良い.

表 2: AND の公式による予測順位の平均逆順位.

いコーパスを作成した。

2. 元のコーパスと 新しいコーパスを結合したコー パスで単語埋め込みを学習した。

§5.2 と同様に予測順位で評価する. 予測順位の平均は SGNS で 1.012, GloVe で 1.000 であった. OR の 公式は近似式であったが，ほぼ 1 番目に予測できる ほど公式の精度が高いことが分かる。

## 5.4 条件付き埋め込みと NOT の実験

-9 から 9 までの数字の埋め込みの可視化を図 3 に 示す. 1 と 9 は正の数 $A=\{1, \ldots, 9\}$ 上の条件付き埋 め込みでは原点 ${ }^{3)}$ 挟んでマイナスの方向に位置し ており, NOTの公式(11)を裏付ける。一方で, 条件 づける集合 $A$ を負の数まで含めた集合に広げると，一転して 1 と 9 は原点から見て似た方向に位置す る. この場合, 正の数と負の数が原点をはさんで反対側の方向にあるという意味で NOT の公式を支持 している.このように, 反義語はどのくくりの中で 反対と考えるのかが重要であり, NOT の公式がこの 事実をうまく定式化できていることが分かる.

## 6 先行研究との関連

加法構成性については次の先行研究がある：

・ $[2,3]$ は文脈に関する潜在変数モデルを考えるこ とで，Analogy と OR の演算を説明した.このモ デルは文脈ベクトルがランダムウォークすると仮定しているが，本稿の理論では必要としない.

3）原点は頻度を一定と考えて計算している. 集合内の単語の 頻度が一定になるように，たとえば頻度の高い単語をコーパ スからランダムに削除しても $\operatorname{PMI}(w, c)=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}$ の左辺は変 わらないため，頻度を一定と考えても本質的に問題はない。

図 3: 数字の埋め込みを PCA を用いて可視化した. $\times$ は $A=\{-9, \ldots, 9\} \backslash\{0\}$ としたときの条件付き埋め 込み $v_{w \mid A}$ の原点， $\nabla, \boldsymbol{\nabla}$ はそれぞれ $A$ を正の数，負 の数に絞ったときの原点である.

$\cdot$[8] は，Skip-gram モデル [15] に仮定 $p(w)=1 /|V|$ を置いて AND の演算を説明した。しかし, 実際 には単語の頻度は非常に偏った分布をしているお り [19], 仮定の妥当性には疑問が残る. 本研究で はこの仮定を必要としていない.

$\cdot$[1] は，仮定 (3) を出発点に AND の演算と Analogy を説明した。しかしながら, 著者も認めている通 り, Gloveではバイアス項が存在するため学習結果に任意性があり仮定は正確には成り立っていな い.また，SGNS では AND の公式に $\log k$ の分だ けずれが入る. 本研究の貢献の 1 つは， §3の議論 によりこの問題を解決したことである.

$\cdot$[13] は SGNS で AND と OR の演算を説明した.本稿は, 考察対象に GloVe を追加し, NOT の演算 の理論を付け加えたものである.

## 7 おわりに

本稿では, 中心化という簡単な操作を介すだけで SGNS と GloVe が共通の構造を持つこと, 加法構成性の正確な成立のために中心化が必要であることを 示した. また, AND に加え OR, NOT の埋め込みを どのように計算すればよいかを示した.

今後の展望としては，BERTなどの文脈を考慮し た単語埋め込みでも同様のことが成り立つかどう か，理論・実験の両面から洞察を深めていきたい.

謝辞 本研究をはじめるにあたってソースコード を提供していただいた Geewook Kim 氏に深く感謝し ます. 本研究は，JST， ACT-X，JPMJAX200S の支援 を受けたものです. 本研究は JSPS 科研費 $20 \mathrm{H} 04148$ の助成を受けたものです.

## 参考文献

[1]Carl Allen and Timothy Hospedales. Analogies explained: Towards understanding word embeddings. In Proceedings of the 36th International Conference on Machine Learning, pp. 223-231, 2019.

[2]Sanjeev Arora, Yuanzhi Li, Yingyu Liang, Tengyu Ma, and Andrej Risteski. A latent variable model approach to PMIbased word embeddings. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 385-399, 2016.

[3]Sanjeev Arora, Yuanzhi Li, Yingyu Liang, Tengyu Ma, and Andrej Risteski. Linear Algebraic Structure of Word Senses, with Applications to Polysemy. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 483-495, 2018.

[4]David A. Cruse. Lexical Semantics. Cambridge University Press, Cambridge, UK, 1986.

[5]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[6]Meghdad Farahmand, Aaron Smith, and Joakim Nivre. A Multiword Expression Data Set: Annotating NonCompositionality and Conventionalization for English Noun Compounds. In Proceedings of the 11th Workshop on Multiword Expressions, pp. 29-33, 2015.

[7]J. R. Firth. A synopsis of linguistic theory 1930-55. Vol. 1952-59, pp. 1-32, 1957.

[8]Alex Gittens, Dimitris Achlioptas, and Michael W. Mahoney. Skip-gram - Zipf + Uniform $=$ Vector Additivity. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 69-76, 2017.

[9]Mihajlo Grbovic, Vladan Radosavljevic, Nemanja Djuric, Narayan Bhamidipati, Jaikit Savla, Varun Bhagwan, and Doug Sharp. E-Commerce in Your Inbox: Product Recommendations at Scale. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, p. 1809-1818, 2015.

[10]Aditya Grover and Jure Leskovec. Node2vec: Scalable Feature Learning for Networks. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, p. 855-864, 2016.

[11]Michael U. Gutmann and Aapo Hyvärinen. Noise-contrastive estimation of unnormalized statistical models, with applications to natural image statistics. The Journal of Machine Learning Research, Vol. 13, pp. 307-361, 2012.

[12]Zellig Harris. Distributional structure. Word, Vol. 10, No. 2-3, pp. 146-162, 1954.

[13]Geewook Kim, Sho Yokoi, and Hidetoshi Shimodaira. 単語埋め込みの二種類の加法構成性. 言語処理学会 第 26 回年次大会 発表論文集, pp. 724-727, 2020

[14]Omer Levy and Yoav Goldberg. Neural Word Embedding as Implicit Matrix Factorization. In Advances in Neural Information Processing Systems, pp. 2177-2185, 2014.

[15]Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space.
In 1 st International Conference on Learning Representations, ICLR, Workshop Track Proceedings, 2013.

[16]Tomás Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems, pp. 3111-3119, 2013.

[17]Jiaqi Mu and Pramod Viswanath. All-but-the-top: Simple and effective postprocessing for word representations. In International Conference on Learning Representations, 2018.

[18]Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543, 2014.

[19]Steven Piantadosi. Zipf's word frequency law in natural language: A critical review and future directions. Psychonomic bulletin and review, Vol. 21, , 2014.

[20]Dwaipayan Roy, Debasis Ganguly, Sumit Bhatia, Srikanta Bedathur, and Mandar Mitra. Using Word Embeddings for Information Retrieval: How Collection and Term Normalization Choices Affect Performance. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, p. 1835-1838, 2018.

[21]Jun Suzuki and Masaaki Nagata. A Unified Learning Framework of Skip-Grams and Global Vectors. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 186-191, 2015.

[22]Caroline Willners. Antonyms in Context : A Corpus-Based Semantic Analysis of Swedish Descriptive Adjectives. $\mathrm{PhD}$ thesis.

## 付録

## A 証明

## A. 1 定理 1の証明

証明 SGNS の場合 $\zeta_{w}=0, \xi_{c}=\log \frac{q(c)}{p(c)}, \gamma=\log k$, GloVe の場合 $\zeta_{w}=a_{w}-\log p(w), \xi_{c}=b_{c}-\log p(c), \gamma=-\log Z$ と 置くと，

$
\operatorname{PMI}(w, c)=\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}+\zeta_{w}+\xi_{c}+\gamma
$

を満たす.(12)の両辺に $p(w)$ を掛けて $w \in V$ に関して和 をとると

$
-\epsilon_{c}=\overline{\boldsymbol{v}}^{\top} \boldsymbol{u}_{c}+\bar{\zeta}+\xi_{c}+\gamma
$

ここで $\bar{\zeta}=\sum_{w} p(w) \zeta_{w}$. (12) と (13) より

$
\operatorname{PMI}(w, c)=\tilde{\boldsymbol{v}}_{w}^{\top} \boldsymbol{u}_{c}+\left(\zeta_{w}-\bar{\zeta}\right)-\epsilon_{c} .
$

(14) の両辺に $p(c)$ を掛けて $c \in V$ に関して和をとると

$
-\epsilon_{w}=\tilde{\boldsymbol{v}}_{w}^{\top} \overline{\boldsymbol{u}}+\left(\zeta_{w}-\bar{\zeta}\right)-\bar{\epsilon}
$

(14)と (15)より

$
\operatorname{PMI}(w, c)=\tilde{\boldsymbol{v}}_{w}^{\top} \tilde{\boldsymbol{u}}_{c}+\overline{\boldsymbol{\epsilon}}-\epsilon_{w}-\epsilon_{c} .
$

中心化しないことによる誤差 SGNS の場合，(3) の 誤差は $\xi_{c}+\gamma=\log \frac{k q(c)}{p(c)}$ である. GloVeの場合は誤差が $\zeta_{w}+\xi_{c}+\gamma=a_{w}-\log p(w)+b_{c}-\log p(c)-\log Z$ だけ生じ る. バイアス項 $a_{w}, b_{c}$ の学習には任意性があるため ${ }^{4)}$ 理論的に誤差が大きいことを言うのは難しいが，実験的に 誤差が大きいことを確認している (\$5.1).

【kip-gram についての補足 本定理は Skip-gram $p(c \mid w) \propto$ $\exp \left(\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{c}\right)$ でも同様に成立する. したがって AND・OR・ NOT の理論は Skip-gram にも適用できるが，計算量の問題から実際には SGNS が利用されるため本文中では言及 しなかった. SGNS は Skip-gram の近似と説明されがち だが, SGNS は Skip-gram に Noise Contrastive Estimation[11] を適用してからさらに式を簡単化しているため，実際に はモデリング自体も異なる. よって，理論の上では両者 は同一視できず，SGNS と Skip-gram を中心化によって同時に議論できることは非自明な結果であることに注意さ れたい。

## A. 2 命題 2の証明

証明 $\Delta$ の定義から $(w, c) \in V^{2}$ に一様に $-1+\frac{p(w, c)}{p(w) p(c)}=$ $-1+\exp (\operatorname{PMI}(w, c))=O(\Delta)$ である.

誤差 $\epsilon_{w}$ のオーダーは， $w \in V$ に一様に

$
\begin{aligned}
& \epsilon_{w}=-\sum_{c} p(c) \log \frac{p(w, c)}{p(w) p(c)} \\
& =-\sum_{c} p(c)\left[\left(-1+\frac{p(w, c)}{p(w) p(c)}\right)+O\left(\left|-1+\frac{p(w, c)}{p(w) p(c)}\right|^{2}\right)\right] \\
& =-\sum_{c} p(c) O\left(\left|-1+\frac{p(w, c)}{p(w) p(c)}\right|^{2}\right)=O\left(\Delta^{2}\right) .
\end{aligned}
$
_{w}^{\top} \boldsymbol{u}_{c}$ で表現可能である
}

ただちに $\bar{\epsilon}=O\left(\Delta^{2}\right)$ も従う.

## A. 3 定理 3の証明

証明 (6) の両辺を計算する：

$
\begin{aligned}
p\left(w \mid w^{\prime}\right) & =p(w) \exp \left(\operatorname{PMI}\left(w, w^{\prime}\right)\right) \\
& \approx p(w)\left(1+\operatorname{PMI}\left(w, w^{\prime}\right)\right) \\
& =p(w)\left(1+\boldsymbol{v}_{w}^{\top} \boldsymbol{u}_{w^{\prime}}\right) \\
\sum_{i=1}^{s} p\left(w_{i} \mid w^{\prime}\right) & =\sum_{i=1}^{s} p\left(w_{i}\right) \exp \left(\operatorname{PMI}\left(w_{i}, w^{\prime}\right)\right) \\
& \approx \sum_{i=1}^{s} p\left(w_{i}\right)\left(1+\boldsymbol{v}_{w_{i}}^{\top} \boldsymbol{u}_{w^{\prime}}\right) \\
& =p(w)\left[1+\left(\sum_{i=1}^{s} \frac{p\left(w_{i}\right)}{p(w)} \boldsymbol{v}_{w_{i}}\right)^{\top} \boldsymbol{u}_{w^{\prime}}\right]
\end{aligned}
$

任意の $w^{\prime} \in V$ に対し $(16) \approx(17)$ が成り立つことから (7) が 従う.

## B 実験設定の補足

特筆した事項以外はすべて実装5)のデフォルトパラ メータを用いた。

## B. 1 §5.1の詳細

ロコーパス 低頻度語（出現回数 < 100）を削除した text8 コーパス ${ }^{6}$ を用いた。回単語埋め込みの学習設定 埋め込 みの次元は 300 次元，窓の大きさは左右 5 単語以内（単語間の距離による重み付けなし）として 100 iteration 学習を 行った. SGNS では負例数は $k=15$ とし, 高頻度語の確率的除去は無効にした. GloVeの重み付き最小 2 乗法のパ ラメータは $x_{\max }=100$ を用いた. ■その他 freq, unif は $\boldsymbol{u}_{j}$ 側も中心化を行っている.

## B. 2 §5.2，§5.3の詳細

ロコーパス Wikipedia $\left.^{7}\right)(2.1 \mathrm{G}$ tokens) を用いた。単語埋 め込みの学習設定 埋め込みの次元は 300 次元，窓の大き さは左右 5 単語以内とした. SGNS の負例数は $k=15$, GloVe の重み付き最小 2 乗法のパラメータは $x_{\text {max }}=100$ を用いた。【 §5.2の詳細 複合語のデータセット [6] では 複合語の意味がそれを構成する単語の意味の合成になっ ているかどうかで 5 段階のスコアがついている．スコア が低いと AND の意味を持つといえないため，スコアが 4 か 5 の複合語のみ実験に用いた。【§5.3の詳細 架空の 多義語を作る際，元となる単語は出現回数が 100 回以上 もののみ用いた. ■その他 予測順位の計算では検索の際 word1 と word2 は除いた.

## B. 3 §5.4の詳細

ロ単語埋め込み Common Crawl コーパス (840G tokens) で 訓練済みの GloVeを用いた8)。ロその他 0 は正負が定義 できないため実験からのぞいている.

5) https://github.com/tmikolov/word2vec, https://github. com/stanfordnlp/GloVe

6) http://mattmahoney.net/dc/textdata.html

7) https://dumps.wikimedia.org/

8) https://nlp.stanford.edu/projects/glove/


# Learning Cross-lingual Sentence Representations for Multilingual Document Classification with Token-level Reconstruction

Zhuoyuan $\mathrm{Mao}^{\dagger} \quad$ Prakhar Gupta $^{\ddagger} \quad$ Chenhui Chu $^{\dagger} \quad$ Martin Jaggi $^{\ddagger} \quad$ Sadao Kurohashi ${ }^{\dagger}$
${ }^{\dagger}$ Kyoto University, Japan $\quad$ E EPFL, Switzerland
\{zhuoyuanmao, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
\{prakhar.gupta, martin.jaggi\}@epfl.ch

## 1 Introduction

Fixed-dimensional cross-lingual sentence representations $[1,2,3,4,5,6,7]$ are widely used to initialize another light neural network for cross-lingual sentence understanding downstream tasks. When learning such representations, efficiency and robustness form the core. In this work, we explore different training tasks for learning fixeddimensional cross-lingual sentence representations in a 2layer dual-transformer framework aiming to improve the efficiency and retain the robustness. We observe that current cross-lingual training tasks leave a lot to be desired for this shallow architecture. To ameliorate this, we propose a novel cross-lingual language model, which combines the Single-word Masked Language Model (SMLM) with Token-level Reconstruction (TR) task. Our comparisons with competing models on multilingual document classification verify the effectiveness of the newly proposed training tasks for a shallow model.

## 2 Related Work

Training tasks for cross-lingual sentence representation learning can be classified into 2 groups: generative or contrastive. As our proposed method focuses on improving previous generative methods, we mainly revisit related generative methods in this section. Generative tasks measure a generative probability between predicted tokens and real tokens by training a language model. BERT-style masked language models [8] mask and predict contextualized tokens within a given sentence. For the cross-lingual scenario, cross-lingual supervision is implemented by shared cognates and joint training (mBERT [8]), concatenating source sentences in multiple languages $[9,10]$ or explicitly predicting the translated token [11]. ${ }^{1)}$ [CLS] embedding or pooled embedding of all the tokens is introduced as the classifier embedding which can be used as sentence embedding for sentence-level tasks [12]. Sequence to sequence methods $[1,3,6]$ autoregressively reconstruct the translation of the source sentence. The intermediate state between the encoder and the decoder are extracted as sentence representations. Particularly, the outstanding cross-lingual sentence representation quality of LASER [3] benefits from a massive multilingual machine translation task covering 93 languages. In our work, we revisit the BERT-style training tasks and introduce a novel proper generative loss for the tiny dual-transformer framework.

## 3 Proposed Methods

We perform cross-lingual sentence representation learning by a tiny dual-transformer framework. With regard to the training tasks, we propose a novel cross-lingual language model which combines SMLM and TR.

## 3.1 Architecture

We employ the dual transformer sharing parameters with each other without any decoder as the basic unit to encode parallel sentences respectively and avoid the loss in efficiency caused by decoder. First, in order to design a tiny model, we do not additionally employ any decoder to reconstruct sentences. Second, unlike TLM [9], we utilize dual model architecture rather than a single transformer to encode sentence pairs since it can force the encoder to capture more cross-lingual characteristics [5, 12]. Moreover, to establish a tiny model, we decrease the number of layers and embedding dimension to accelerate the training phase.

Figure 1 Model architecture

The architecture of the proposed method is illustrated in Figure 1. We build sentence representations on the top of 2-layer transformer [13] encoders by a mean-pooling operation from the final states of all the positions within a sentence. Pre-trained sentence representations for downstream tasks are denoted by $u$ and $v$. Moreover, we add a fully-connected layer before computing the loss of the cross-lingual language model. This linear layer can enhance our tiny model by a nontrivial margin for that the hidden state for computing loss for the generative task is far different from the sentence presentation we aim to train. ${ }^{2)}$ Two transformer encoders and linear layers share parameters with each other which has been proved effective and necessary for cross-lingual representation learning [15].

## 3.2 Training Task

Single-word Masked Language Model (SMLM). SMLM is a single-word masked language model proposed by Sabet et al. [16]. Following them, we implement their task by a dual transformer architecture, where the transformer encoder for language $l_{1}$ predicts a masked token in a sentence in $l_{1}$ as the monolingual loss, while language $l_{2}$ encoder sharing all the parameters with $l_{1}$ encoder predicts the same masked token by the corresponding sentence (translation in $l_{2}$ ) as the cross-lingual loss. Specifically, for a parallel corpus $\boldsymbol{C}$ and language $l_{1}$ and $l_{2}$, the loss of SMLM computed from $l_{1}$ encoder $\boldsymbol{E}_{\boldsymbol{l}_{\mathbf{1}}}$ and $l_{2}$ encoder $\boldsymbol{E}_{\boldsymbol{l}_{\mathbf{2}}}$ is formulated

as:

$
\begin{array}{r}
\mathscr{L}_{S M L M}=\sum_{\substack{S \in \boldsymbol{C} \\
l, l^{\prime} \in\left.\{l_{1}, l_{2}\right.\} \\
l \neq l^{\prime}}}\left.\{-\log \left(P\left(w_{t} \mid S_{l \backslash\left.\{w_{t}\right.\}} ; \theta\right)\right)\right. \\
\left.-\log \left(P\left(w_{t} \mid S_{l^{\prime}} ; \theta\right)\right)\right.\}
\end{array}
$

where $w_{t}$ is the word to be predicted, $S_{l_{1} \backslash\left.\{w_{t}\right.\}}$ is a sentence in which $w_{t}$ is corrupted, $S=\left(S_{l_{1}}, S_{l_{2}}\right)$ denotes a parallel sentence pair, $\theta$ represents the parameters to be trained in $\boldsymbol{E}_{\boldsymbol{l}_{\mathbf{1}}}$ and $\boldsymbol{E}_{\boldsymbol{l}_{\mathbf{2}}}$, and the classification probability $P$ is computed by Softmax on the top of the embedding layer.

We employ SMLM which is a variant of the standard Masked Language Model (MLM) in BERT to enforce the monolingual performance since MLM is a quite complicated task for a shallow transformer encoder to learn. A detailed comparison between SMLM and MLM under our tiny model setting is conducted (see Section 5.3).

Token-level Reconstruction (TR). As demonstrated above, MLM suffices not to capture the cross-lingual features for a tiny transformer encoder, which indicates that it is essential to introduce the reconstruction loss like that in LASER for cross-lingual representation learning. However, introducing a decoder to implement the translation loss will increase the training time by a large margin which contradicts with our aiming to design a computationallylite model architecture.

To implement the reconstruction loss with just the encoder, we introduce a TR loss by which we jointly enforce the encoder to reconstruct the word distribution of corresponding target sentence as shown by $q$ in Figure 1. This loss is inspired from BiVec loss formulation [17] in which cross-lingual tokens are reconstructed on the basis of Skip-gram language model pattern [18]. Specifically, we utilize the following KL-Divergence based formulation as the training loss:

$
\begin{aligned}
\mathscr{L}_{X M L M}=\sum_{\substack{l, l^{\prime} \in\left.\{l_{1}, l_{2}\right.\} \\
l \neq l^{\prime}}}\{ & -\mathscr{D}_{K L}\left(p\left(\mathbf{h}_{S_{l}} ; \theta\right) \| q\left(\mathbf{w}_{S_{l^{\prime}}}\right)\right) \\
& \left.-\mathscr{D}_{K L}\left(p\left(\mathbf{h}_{S_{l^{\prime}}} ; \theta\right) \| q\left(\mathbf{w}_{S_{l}}\right)\right)\right.\}
\end{aligned}
$

where $\mathscr{D}_{K L}$ denotes KL-Divergence based loss and $p\left(\mathbf{h}_{S_{l}} ; \theta\right)$ represents the hidden state on the top of encoder $\boldsymbol{E}_{\boldsymbol{l}}$ as shown in Figure 1 under the input $S_{l}$. We utilize discrete uniform distribution for the tokens in target language
to define $q$. Specifically, $q\left(\mathbf{w}_{S_{l}}\right)$ is defined as:

$
q\left(w_{i}\right)=\left.\{\begin{array}{rr}
\frac{N_{w_{i}}}{\left.\|S_{l^{\prime}}\right.\|}, & w_{i} \in S_{l^{\prime}} \\
0, & w_{i} \notin S_{l^{\prime}}
\end{array}\right.
$

where $N_{w_{i}}$ means the number of word $w_{i}$ in sentence $S_{l^{\prime}}$ and $\left.\|S_{l^{\prime}}\right.\|$ means the length of $S_{l^{\prime}}$.

Unified Generative Task. Finally, we unify SMLM (Eq. (1)) and TR (Eq. (2)) by redefine the label distribution $q\left(\mathbf{w}_{S_{l}}\right)$ for KL-Divergence based loss. It is formulated the same as Eq. (3) if the token $w_{t}$ is corrupted from $S_{l^{\prime}}$, else if $w_{t}$ is corrupted within $S_{l}$ :

$
q\left(w_{i}\right)=\left.\{\begin{array}{rr}
\frac{N_{w_{i}}}{2\left.\|S_{l^{\prime}}\right.\|}, & w_{i} \in S_{l^{\prime}} \\
1 / 2, & w_{i}=w_{t} \\
0, & \text { others }
\end{array}\right.
$

## 4 Training Details

We build our PyTorch implementation on the top of HuggingFace's Transformers. ${ }^{3}$ ) Training data is composed of ParaCrawl v5.0 datasets for each language pair. ${ }^{4)}$ We experiment on English-French, English-German, EnglishSpanish and English-Italian. We filter the parallel corpus for each language pair by removing sentences which cover tokens out of 2 languages. Raw and filtered number of the parallel sentences for each pair are shown in Table 1. We tokenize sentences in all the languages by SentencePiece and build a shared vocabulary with the size of 50k for each language pair.5)

Table 1 Training data overview

For each encoder, we use the transformer architecture with 2 hidden layers, 8 attention heads, hidden size of 512 and filter size of 1,024 and the parameters of two encoders are shared with each other. The sentence representations generated are 512 dimensional. For the training phase, it minimizes the loss for our proposed cross-lingual language model (specifically, Unified Generative Task in 3.2). We

3) https://github.com/huggingface/transformers

4) http://opus.nlpl.eu/ParaCrawl-v5.php

5) https://github.com/google/sentencepiece train 12 epochs for each language pair (30 epochs for English-Italian because of nearly half number of parallel sentences) with an Adam optimizer, learning rate of 0.001 with warm-up strategy for 3 epochs (6 epochs for EnglishItalian) and dropout-probability of 0.1 by single TITAN X Pascal GPU with the batch size of 128 paired sentences. Training loss for each language pair can converge within 10 GPU(12GB)×days, which is far more efficient than most cross-lingual sentence representation learning methods.

## 5 Evaluation

We evaluate our cross-lingual sentence representation models by cross-lingual document classification. We select MLDoc [19] to evaluate the classifier transfer ability of the cross-lingual sentence representation model.

## 5.1 MLDoc: Multilingual Document Classification

The MLDoc task, which consists of news documents given in 8 different languages, is a benchmark to evaluate cross-lingual sentence representations. We conduct our evaluations in a zero-shot scenario: we train and validate a new linear classifier on the top of the pre-trained sentence representations in the source language, and then evaluate the classifier on the test set for the target language. We implement the evaluation by facebook's MLDoc library. ${ }^{6 \text { ) }}$

## 5.2 Results

As shown in Table 2, our tiny transformer model obtains the best results for most language pairs compared with MLDoc baseline [19], previous fixed-dimensional word [16] and sentence $[2,3,6]$ representation learning methods. This demonstrates that our proposed method can obtain state-of-the-art results on MLDoc benchmark among fixed-dimensional representation methods with an extremely light and efficient training framework.

On the other hand, our method yield only slightly worse performance even when compared with the state-of-theart pre-training + fine-tuning style methods on this task which are referred as reference in Table 2.7) This is because the entire model will be updated in the fine-tuning phase

Table 2 MLDoc benchmark results (Zero-shot scenario). We compare our models primarily with fixed-dimensional models in which Bi-Sent2vec and LASER are state-of-the-art bag-of-words based and contextual sentence representation models respectively. We also compare with pre-training + fine-tuning style methods here for reference.

while merely an additional dense layer will be trained for fixed-dimensional methods, which leads to their higher efficiency.

## 5.3 Different Generative Tasks

We report the results with different generative tasks in Table 3. We observe that proposed TR outperforms other generative tasks by a significant margin on MLDoc benchmark. TR will yield further improvements if unified with SMLM, which is introduced as Unified Generative Task above in 3.2. This demonstrates the necessity of a welldesigned generative task for the tiny dual-transformer architecture. Moreover, by comparing the en-fr and fr-en results of LASER in Table 1 and *MLM tasks in Table 3, we observe that the reconstruction of the original sentence in other languages does benefit the representation quality. This reveals why our proposed TR can achieve promis- ing results whereas TR does not reconstruct the translation directly.

## 6 Conclusion

In this work, we proposed a novel cross-lingual language model, which combines the SMLM with TR task for cross-lingual sentence representations learning in the light training framework. In spite of the tiny model capacity, we obtained substantial improvements on the MLDoc benchmark compared to fixed-dimensional representation methods. In the future, we plan to verify the performance of the newly proposed losses in large model architectures and extend this bilingual based method to multilingual settings.

## Acknowledgments

This work was supported by Grant-in-Aid for Young Scientists \#19K20343, JSPS.

## References

[1] Holger Schwenk and Matthijs Douze. Learning joint multilingual sentence representations with neural machine translation. In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 157-167, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[2] Katherine Yu, Haoran Li, and Barlas Oguz. Multilingual seq2seq training with similarity loss for cross-lingual document classification. In Proceedings of The Third Workshop on Representation Learning for NLP, pp. 175-179, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 597-610, March 2019.

[4] Yunsu Kim, Hendrik Rosendahl, Nick Rossenbach, Jan Rosendahl, Shahram Khadivi, and Hermann Ney. Learning bilingual sentence embeddings via autoencoding and computing similarities with a multilayer perceptron. In Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019), pp. 61-71, Florence, Italy, August 2019. Association for Computational Linguistics.

[5] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. CoRR, Vol. abs/2007.01852, 2020.

[6] Wei Li and Brian Mak. Transformer based multilingual document embedding model. CoRR, Vol. abs/2008.08567, , 2020.

[7] Muthu Chidambaram, Yinfei Yang, Daniel Cer, Steve Yuan, Yunhsuan Sung, Brian Strope, and Ray Kurzweil. Learning cross-lingual sentence representations via a multi-task dual-encoder model. In Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019), pp. 250-259, Florence, Italy, August 2019. Association for Computational Linguistics.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'Alché-Buc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, 8-14 December 2019, Vancouver, BC, Canada, pp. 7057-7067, 2019.

[10] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[11] Shuo Ren, Yu Wu, Shujie Liu, Ming Zhou, and Shuai Ma. Explicit cross-lingual pre-training for unsupervised machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 770-779, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, 4-9 December 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[14] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event, pp. 15971607, 2020.

[15] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.

[16] Ali Sabet, Prakhar Gupta, Jean-Baptiste Cordonnier, Robert West, and Martin Jaggi. Robust cross-lingual embeddings from parallel sentences. CoRR, Vol. abs/1912.12481, , 2019.

[17] Thang Luong, Hieu Pham, and Christopher D. Manning. Bilingual word representations with monolingual quality in mind. In Proceedings of the 1st Workshop on Vector Space Modeling for Natural Language Processing, pp. 151-159, Denver, Colorado, June 2015. Association for Computational Linguistics.

[18] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1 st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[19] Holger Schwenk and Xian Li. A corpus for multilingual document classification in eight languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC-2018), Miyazaki, Japan, May 2018. European Languages Resources Association (ELRA).

[20] Julian Eisenschlos, Sebastian Ruder, Piotr Czapla, Marcin Kardas, Sylvain Gugger, and Jeremy Howard. Multifit: Efficient multi-lingual language model fine-tuning. CoRR, Vol. abs/1909.04761, , 2019.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 単語埋め込みの確率的等方化

横井祥 1,2 下平英寿 3,2
1 東北大学 2 理研 AIP 3 京都大学
yokoi@ecei.tohoku.ac.jp shimo@i.kyoto-u.ac.jp

## 1 はじめに

単語埋め込みは現代の自然言語処理の必須ツール である. Gloveなどの静的な単語埋め込み [1] およ び BERT などの文脈付き単語埋め込み [2] は広範な タスクの性能向上に貢献しており，またテキストを 入出力にとるニューラルモデルのほぼすべてがその 出入り口に埋め込み行列を持つ. 埋め込む対象は文字やサブワードの場合もあるが，本稿では簡単のた めこれらを総称して単語埋め込みと呼ぶ.

最近になって，単語埋め込み空間が実は少し「歪 んで」いること $[3,4]$, これを補正すると経験的に 良好なパフォーマンスが得られること $[3,5,6]$ がわ かってきた. 例えば，同じ方向にばかり単語べクト ルたちが固まっているよりも，等方的な方が（向き の意味で一様に分布している方が）埋め込みたちを 「見分け」やすいと考えられる（図 1). 実際，単語埋め込みを等方的に補正することで後段タスクにお ける性能が向上する $[3,7,6]$.

本項では，これらの埋め込み空間の歪みを補正手法の多くが暗黙的に単語頻度を一様だと見なしてい ることを指摘する．実際には単語頻度は経験的にべ き分布に従っており [8], このギャップが歪みを補正しきれない原因となる. この問題点を解決するた め，単語頻度を適切に考慮させるための一貫的な指針を与える. さらに，等方性をはじめとした埋め込 み空間の「歪み」の度合いも測定も同様の指針でお こなえることを示す. 静的埋め込みを用いた実験で は，提案する指針によって歪みをより正確に補正で き後段タスクの性能が向上すること，とりわけ白色化という簡単な処理が著しい性能向上をもたらすこ とを示す。また提案した等方性の尺度が埋め込みの 品質をよく近似できること示す.

【記法 単語集合を $\left.\{w_{1}, \ldots, w_{n}\right.\}$, 単語 $w_{i}$ に対応す る単語埋め込みを太字 $\boldsymbol{w}_{i} \in \mathbb{R}^{d}$, 対応する単語頻度 を $p\left(w_{i}\right) \in[0,1]$ で表す. また，一般のデータと特徴 ベクトルを $x_{i}, \boldsymbol{x}_{i}$ で表す.

図 1 単語埋め込み空間の等方化

## 2 関連研究：埋込空間の歪みと補正

埋め込み空間の幾何的な歪みと補正のための手法群を概観する. いずれのタイプの埋め込みにおいて も大きなトレンドは原点中心性と等方性である.

静的な単語埋め込み [9] は“良い”単語埋め込み が満たすべき理論的仮定として等方性を挙げた. し かし実際の学習済みの単語埋め込みはこの仮定を満 たさない. [3] は, 学習済みの単語埋め込みを中心化 （重心を原点に移動）し上位主成分方向を除去する ことで等方性が近似的に満たされることを示した.

動的な（文脈つきの）単語埋め込み BERT 等の 動的な埋め込みは原点中心から外れており, 等方性 も満たさない [4]. 中心化により文類似度計算にお ける性能が改善することが報告されている [5].

ロニューラルモデル内の埋め込み行列 言語モデル の埋め込み行列もやはり原点中心から外れており，等方性も満たさない [4]. これが学習がうまくいか ない原因のひとつだとされており，埋め込み行列を 等方的に保つ正則化が提案されている [6].

## 3 既存手法の暗黙的な仮定と問題

前節で挙げた単語埋め込みの補正処理の多くは,特徴ベクトルの集合の前処理と似たアプローチが取 られる。中心化を例としてこの一見自然な手続きを 確認し，その問題点を指摘する。

## 3.1 直感的説明：単語頻度が一様と仮定

■特徵ベクトルの前処理 一般的なデータ解析・統計処理では，まず特徴べクトル（観測）の集合が与

図 2 単語埋め込み空間の中心化.

えられる。たとえばある市の疫病の感染状況を分析 したい場合には各市民の特徵量が収集される。つぎ に特徴べクトルの集合に適当な前処理がおこなわ れる. たとえばもっとも基本的な前処理である中心化は，特徵ベクトルの集合の重心が原点と一致する よう特徴べクトル全体を平行移動する（図 2）,

■単語埋め込みの補正 単語埋め込みの場合も中心化による補正が盛んにおこなわれている $[3,5]$.

ロ暗黙の仮定とその問題点この自然なアプローチ のどこが問題なのだろうか? データ解析において各特徴ベクトル（たとえば各市民の特徴量）は平等な 重みをもっていた．いずれの観測（市民）も，興味 を持っている確率的な対象（たとえば市全体）から の無作為なサンプリングと見なせた。一方で単語べ クトルの場合，各単語は，興味を持っている確率的な対象（たとえばコーパス）から平等にサンプ リングされたものではない. 単語は実際には ['the', 'mean', 'of', 'the', 'data', 'matrix', 'is',...] のように偏り を持って出現している. データ解析と同様の処理 は，単語の出現の列を単語集合 \{'the', 'mean', 'of', 'data',...\} だと近似し, 高頻度語も低頻度語も同様の 扱いを与えることになる。

## 3.2 形式的説明：一様分布で期待値計算

既存手法の問題点を一言で述べれば「単語集合に 対して期待値をとる際に一様分布を用いている」と なる。以下これを平均ベクトルの計算を例に挙げて 形式的に記述し, 提案法の説明の準備としたい.

データ解析では，データの平均ベクトル $\boldsymbol{m}_{x}$ を観測たち $\left.\{\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}\right.\}$ の算術平均 $\widehat{\boldsymbol{m}}_{\boldsymbol{x}}$ で推定する.

$
\boldsymbol{m}_{x}=\underset{x \sim p}{\mathbb{E}}[\boldsymbol{x}], \quad \widehat{\boldsymbol{m}}_{x}=\sum_{i} \widehat{p}\left(x_{i}\right) \boldsymbol{x}_{i}=\sum_{i} \frac{1}{n} \boldsymbol{x}_{i}
$

これは， $\widehat{p}\left(x_{i}\right)=1 / n$ と見なしている，つまり同様に 観測された各データ $x_{i}$ を同様に扱っている点で適切である。一方で単語埋め込みの場合，

$
\boldsymbol{m}_{\boldsymbol{w}}=\underset{w \sim p}{\mathbb{E}}[\boldsymbol{w}], \quad \widehat{\boldsymbol{m}}_{\boldsymbol{w}}^{? ?}=\sum_{i} \hat{p}^{?}\left(w_{i}\right) \boldsymbol{w}_{i}=\sum_{i} \frac{1}{n} \boldsymbol{w}_{i}
$

一見自然な算術平均 $\widehat{\boldsymbol{m}}_{\boldsymbol{w}}^{(2)}$ を計算する処理は, 単語頻度を $\hat{p}\left({ }^{(} w_{i}\right)=1 / n$ で見なしている，つまり各単語 の頻度が一様だと仮定していることになる。

## 4 提案手法：単語頻度で期待値計算

以上の問題点を踏まえ，本稿では「単語ベクトル 集合に対して何らかの期待値をとる際は単語頻度分布を用いる」という指針を提案する．以下では，平均ベクトルの計算，中心化に加え，等方性を確保す るための前処理である白色化，および埋め込み空間 の等方性の度合いの推定について，特徴べクトルと 対比させながら具体的な計算方法を述べる. $\hat{p}\left(w_{i}\right)$ は，適当なコーパスにてカウントした $w_{i}$ の頻度，す なわち $p\left(w_{i}\right)$ の自然な推定量とする。

平均ベクトルと中心化 単語埋め込みの平均ベク トルを推定する際は単語頻度で重み付き平均すれば 良い。つまり $p\left(w_{i}\right)$ を頻度 $\widehat{p}\left(w_{i}\right)$ で推定すれば良い

$
\widehat{\boldsymbol{m}}_{\boldsymbol{x}}=\sum_{i} \frac{1}{n} \boldsymbol{x}_{i}, \quad \widehat{\boldsymbol{m}}_{\boldsymbol{w}}=\sum_{i} \widehat{p}_{w}\left(w_{i}\right) \boldsymbol{w}_{i}
$

中心化する場合は各べクトルから平均を差し引けば

$
\overline{\boldsymbol{x}}_{i}=\boldsymbol{x}_{i}-\widehat{\boldsymbol{m}}_{x}, \quad \bar{w}_{i}=\boldsymbol{w}_{i}-\widehat{\boldsymbol{m}}_{w}
$

重心が原点に移動する $\left(\sum_{i} \frac{1}{n} \overline{\boldsymbol{x}}_{i}=\mathbf{0}, \sum_{i} \widehat{p}\left(w_{i}\right) \overline{\boldsymbol{w}}_{i}=\mathbf{0}\right)$.且分散共分散行列の固有値分解 標準化，白色化,主成分分析など多くの前処理・補正処理が，固有值分解された分散共分散行列を利用する. 特徵べクト ルの場合，分散共分散行列 $S_{x} \in \mathbb{R}^{d \times d}$ は

$
S_{x}=\frac{1}{n-1} \bar{X}^{\top} \bar{X}, \quad \bar{X}:=\left(\bar{x}_{1}, \ldots, \bar{x}_{n}\right)^{\top} \in \mathbb{R}^{n \times d}
$

で計算できる。一方単語埋め込み場合は，天下り的 ではあるが，中心化し $\sqrt{\widehat{p}\left(w_{i}\right)}$ で重み付けした単語埋め込み行列 $\widetilde{W}$ を用いれば分散共分散行列が容易 に計算できる

$
S_{w}=\widetilde{W}^{\top} \widetilde{W}, \quad \widetilde{W}:=\left(\sqrt{\widehat{p}\left(w_{1}\right)} \overline{\boldsymbol{w}}_{1}, \ldots\right)^{\top} \in \mathbb{R}^{n \times d}
$

これで各要素 $\left(S_{w}\right)_{j k}=\sum_{i} \widehat{p}_{w}\left(w_{i}\right) \overline{\boldsymbol{w}}_{i}[j] \overline{\boldsymbol{w}}_{i}[k]$ が，単語頻度分布を考慮した（共）分散の推定量となる。

次に分散共分散行列を固有値固有ベクトル分解し

$
S=V \Lambda V^{\top}, \Lambda=\operatorname{diag}\left(\lambda_{1}, \ldots, \lambda_{d}\right), V=\left(v_{1}, \ldots, v_{d}\right)
$

得られた $\Lambda, V \in \mathbb{R}^{d}$ で各種補正処理が実行できる.

口白色化 白色化は球状化とも呼ばれており，近似的にではあるが直接的に等方化を目指す処理であ る.上で求めた $\Lambda$ および $V$ を用いれば，

$
\widetilde{\boldsymbol{x}}_{i}=\Lambda^{-1 / 2} V^{\top} \overline{\boldsymbol{x}}_{i}, \quad \widetilde{\boldsymbol{w}}_{i}=\Lambda^{-1 / 2} V^{\top} \overline{\boldsymbol{w}}_{i}
$

によって適切に期待値をとった白色化 $w \mapsto \widetilde{\boldsymbol{w}}$ が実現する．ただしこの標準的な白色化は分散の計算を 伴い, 結果として埋め込みの長さの影響を受ける.一方で単語埋め込みは，長さではなく向きが意味の 計算に重要な役割を持つ [10]. そこで本稿では，固有値（方向毎の疎密の度合い）を単位超球上で計算 してから白色化することを提案する．以下これを方向白色化と呼ぶ. 具体的な計算方法としては， $\widetilde{W} の$代わりに以下を用いて白色化をおこなえば良い

$
\widetilde{W}^{\prime}:=\left(\sqrt{\widehat{p}\left(w_{1}\right)} \overline{\boldsymbol{w}}_{1} /\left.\|\overline{\boldsymbol{w}}_{1}\right.\|, \ldots, \sqrt{\widehat{p}\left(w_{1}\right)} \overline{\boldsymbol{w}}_{n} /\left.\|\overline{\boldsymbol{w}}_{n}\right.\|\right) .
$

等方性 関連研究の節で述べたように等方性は埋 め込みの歪みの尺度としてとりわけ重視されてい る.ここでは埋め込みの等方性の測定方法を検討す る. まず，特徴べクトル $x$ に対する等方性は標準的 には以下で定義される： $\mathbb{E}\left[\boldsymbol{x}^{\top}\right]=I[11]$. すなわち $\frac{1}{n} \sum_{i} \boldsymbol{x}_{i} \boldsymbol{x}_{i}^{\top}$ と $I$ の間の近さをもって等方性を推定す れば良い。しかしこれを単語埋め込みに適用する際 は，期待値計算における分布の補正した上で，さら に定義が持つ次の問題を解決する必要がある。(1)向きが意味を保つにも関わらず，各埋め込みのノル ムに影響を受ける。(2) 埋め込み全体のスケールに 影響を受ける。そこで本稿では，(1) 各埋め込みを 正規化した上で $\mathbb{E}\left[w^{\top}\right]$ を計算し，(2) その固有値分布がフラットかどうか（固有值分布のエントロピー を正規化したもの）で等方性を測る．以下，この等方性の尺度を正規化エントロピー $H(w)$ と呼ぶ.

## 4.1 サンプリングをおこなう手法との関連

一部の手法は単語頻度に基づくサンプリングを暗 におこなっており，結果，単語頻度による期待値計算が実現している $[12,5]$. 本稿の枠組みはこれらの 手法がうまく動く正当化を与えるものでもある.

## 5 実験

学習済み単語埋め込みを歪みを各手法で補正する ことを試み，歪みは実際にとれるのか，また後段タ スクの性能は向上するのかを確認した.

## 5.1 実験設定

本稿ではもっとも基本的と考えられる静的埋め込 みを用い，また後段タスクとして，今日でも静的埋 め込みが BERT 等の文脈つき埋め込みよりも有用に 使われているタスクを選定した ${ }^{1)}$.データセット等

1）ただし文類似度タスクの Twitter に関しては，文語体中心の STS-B と対比させる口語体のデータセットとして採用した。
は標準的に用いられているものを採用した。

単語埋め込み 英語語彙の静的な単語埋め込み GloVe[1] および word2vec[13] を用いた.

【埋め込み空間の補正手法 中心化，白色化，およ び方向白色化を用いた. さらに，ベースラインとし て all-but-the-top（ABBT）[3]を用いた.

## ■補正の効果の確認のための空間の歪みの測定手法

原点中心性 : $Z(w):=\|\mathbb{E}[w]\| / \mathbb{E}[\|w\|] \geq 0$. 小さいほ ど重心が原点に近い。

等方性 : $H(w) \leq 1$ (§4). 大きいほど等方的.

以下，期待値を一様分布で（算術平均で）とった 際は「見かけの等方性」のように書く.

## ロ補正の効果の確認のための後段タスク

単語類似度タスク：埋め込み間のコサイン類似度と 単語の意味的類似度との順位相関を確かめる. デー タセットとして WordSim[14], MEN[15]を用いた。

教師なし文類似度タスク：単語埋め込みの和で文埋 め込みを作り, 単語類似度尺度と同様の手続きで人手評価とのピアソン相関2)を確かめる. データセッ トとして STS-B[16]，Twitter[17]を用いた。またべー スラインとしてuSIF[12] 用いた。

■単語頻度 期待値計算に必要な単語頻度として, Wikipedia 英語版のカウントデータを用いた $[18]^{3)}$.

## 5.2 実験結果

Glove での実験結果は表 1 の通り. word2vec での 実験結果は付録 Aを参照されたい。まず GloVeの中心化を例に，一様な処理と重み付き処理の違いを概観する.

GloVeを一様に中心化すると, 歪みの度合いが補正前の埋め込みに比べて悪化した。加えてすべての 後段タスクにおける性能が悪化した。これまでの分野の知見を踏まえると驚くべき結果である。 $[9,3]$等によれば，中心化によって等方性が一次近似の意味で満たされ，埋め込みの経験的な性能も向上する はずだからだ4).しかし本稿の視点に立てば，今回 の実験結果は「一様な中心化が見かけの $Z$ や $H$ を 向上させた」「真の $Z$ や $H$ は悪化しており後段タス クの性能も悪化した」と自然に解釈できる.

対照的に，単語頻度を考慮して中心化した場合， $Z ， H$ がともに向上し，またすべての後段タスクの 性能が向上した. ほかの補正処理においても同様の
 る. 中心化単体での経験的な効果は報告されていなかった.
表 1 単語埋め込み空間の補正処理とその効果.

表 2 空間の歪みと後段タスクの性能の相関係数 $\times 100$.

傾向が見られた. 期待値のとりかたを適切に修正す ることで，既存の知見を現実の言語の分布に沿った 形で効果的に運用できるようになったと言える.

ロ歪みの指標と後段タスクの性能の関係 次に，実験で作成したすべての種類の埋め込みを用いて「埋 め込みの歪み度合い $(Z$ および $H) 」$ と「後段タスク における性能」の相関を測ったところ，一貫して強 い“正の”相関を持つことがわかった（表 2 $)^{5}$. こ のことから，適切に計算した歪みの度合いは, 単語埋め込みの今後の研究に次のように役立つと考え られる。 (1) 埋め込み空間の歪み（たとえば $Z$ や $H$ ) を見ることで，後段タスクでの実際の実験を介さず とも，経験的な性能をある程度予測できる可能性が ある。 (2) 埋め込み空間の歪みを補正したい場合は,単語頻度で重み付けした尺度（たとえば $Z$ や $H$ ）を 最適化するという指針で，高性能な補正処理が手に 入る可能性がある.

口白色化に関する考察 文類似度タスク（STS-B） において, 方向白色化が uSIF と呼ばれる強力なべー スラインを上回った. これは驚くべき結果と言わざ るを得ない. 方向白色化は簡単なごく単純な処理に すぎず，一方で USIF は (1) 単語埋め込みの補正 (2)単語の重要度推定 (3) 文埋め込みの補正の 3 手法併 せた手法だからである. 方向白色化は等方性 $(H)$

5） $Z$ は小さい方が空間の歪みが少ない（好ましい）.
を近似的に向上させる提案だったことを踏まえれ ば， $H$ を直接的な最適化する手法の考案は魅力的な 将来の研究と言える.

別名「球状化」と呼ばれる白色化は，等方性 $H$ を 安定して向上させ，また後段タスクの性能を向上さ せた.これは，埋め込みの固有値分布の観点から 見ると驚くべき結果である。単語埋め込み空間の 固有値分布はまったくフラットではなく裾が減衰 することが知られており [3]. 単語埋め込み同士を ほとんど見分けることのできない軸が多数存在す る. 白色化は，これらの「役立たない」軸方向を無理やり引き伸ばしてこれを使わせる処理であり，一般的な次元削減の指針に反する。ただし，自然言語処理の埋め込みの研究では, 上位主成分の除去 $[3,7,19,18,12]$ というやはり一般的な次元削減の指針に反する処理が一定の成果を収めている。これら の知見を総括する理論が待たれる。

## 6 おわりに

単語埋め込み空間の歪みの度合いを測り，また歪 みを補正する際に，単語頻度の一様性が暗に仮定さ れることがある。本研究ではこれを修正する一貫的 な指針「期待値を単語頻度でとる」を示した。また，等方性を測定する尺度として正規化エントロピー $H$ を，等方性を向上させる手法として方向白色化をそ れぞれ提案した. 実験の結果，提案した修正指針に よって既存の補正処理がうまく動くようになり，ま た適切に計算した歪みの尺度は埋め込みの品質の有用な評価指標となることがわかった。

■謝辞 本研究は JST ACT-X JPMJAX200S の支援 を受けたものです。また本研究は JSPS 科研費 20H04148 の助成を受けたものです.

## 参考文献

[1] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. GloVe: Global Vectors for Word Representation. In $E M N L P$, pp. 1532-1543, 2014.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL, pp. 4171-4186, 2019.

[3] Jiaqi Mu and Pramod Viswanath. All-but-the-Top: Simple and Effective Postprocessing for Word Representations. In ICLR, 2018.

[4] Kawin Ethayarajh. How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings. In EMNLP, pp. $55-65,2019$.

[5] Xi Chen, Nan Ding, Tomer Levinboim, and Radu Soricut. Improving Text Generation Evaluation with Batch Centering and Tempered Word Mover Distance. In First Workshop on Evaluation and Comparison of NLP Systems, pp. 51-59, Online, 11 2020. Association for Computational Linguistics.

[6] Lingxiao Wang, Jing Huang, Kevin Huang, Ziniu Hu, Guangtao Wang, and Quanquan Gu. Improving Neural Language Generation with Spectrum Control. In ICLR, 2020.

[7] Tianlin Liu, Lyle Ungar, and João Sedoc. Continual Learning for Sentence Representations Using Conceptors. In NAACL, pp. 3274-3279, 2019.

[8] George K Zipf. Human Behaviour and the Principle of Least Effort. Addison-Wesley, 1949.

[9] Sanjeev Arora, Yuanzhi Li, Yingyu Liang, Tengyu Ma, and Andrej Risteski. A Latent Variable Model Approach to PMI-based Word Embeddings. TACL, Vol. 4, pp. 385399, 122016.

[10] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In EMNLP, pp. 2944-2960, Online, 11 2020. Association for Computational Linguistics.

[11] Mark Rudelson. Random Vectors in the Isotropic Position. Journal of Functional Analysis, Vol. 164, No. 1, pp. 60-72, 1999.

[12] Kawin Ethayarajh. Unsupervised Random Walk Sentence Embeddings: A Strong but Simple Baseline. In Rep4NLP, pp. 91-100, 72018.

[13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In C J C Burges, L Bottou, M Welling, Z Ghahramani, and K Q Weinberger, editors, NIPS, pp. 3111-3119, 2013.

[14] Lev Finkelstein, Evgeniy Gabrilovich, Yossi Matias, Ehud Rivlin, Zach Solan, Gadi Wolfman, and Eytan Ruppin. Placing Search in Context: The Concept Revisited. ACM Transactions on Information Systems, Vol. 20, No. 1, pp. 116-131, 12002.

[15] Elia Bruni, Gemma Boleda, Marco Baroni, and NamKhanh Tran. Distributional Semantics in Technicolor. In ACL, pp. 136-145, 72012.
[16] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In SemEval, pp. 1-14, 82017.

[17] Wei Xu, Chris Callison-Burch, and William B. Dolan. SemEval-2015 Task 1: Paraphrase and Semantic Similarity in Twitter (PIT). In SemEval, pp. 1-11, 62015.

[18] Sanjeev Arora, Yingyu Liang, and Tengyu Ma. A Simple but Tough-to-Beat Baseline for Sentence Embeddings. In ICLR, 2017.

[19] Tianlin Liu, Lyle H. Ungar, and João Sedoc. Unsupervised Post-processing of Word Vectors via Conceptor Negation. In $A A A I$, pp. 6778-6785, 2019.

## A 付録：word2vec での実験結果

表 3 単語埋め込み空間の補正処理とその効果. word2vec.


# Transformer の文脈を混ぜる作用と混ぜない作用

小林悟郎 1 栗林樹生 ${ }^{1,2}$ 横井祥 1,3 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
\{goro.koba, kuribayashi, yokoi, inui\}@ecei.tohoku.ac.jp

## 1 はじめに

近年，Transformerアーキテクチャ [1] は分野内 の基盤技術となりつつあり，成功理由の解明およ び更なる改善に向け，Transformerを基盤としたモ デル（BERT [2] など）の分析や検証が盛んに行わ れている [3]. Transformer は入力系列の情報を混ぜ 合わせる注意機構を積み重ねた構造である. 既存研究の多くは注意機構による「混ぜ合わせ」が成功の鍵であるとみなし，ある単語の表現を計算す る時にどの単語の情報を用いているか，例えば依存関係や意味関係などと比較して分析している [4, 5, 6, 7, 8, 9, 10,11,12].

しかし，Transformerを構成する要素は注意機構だ けではない. 例えば残差結合による「入力をそのま ま残す作用」が存在する。もしこの影響が強けれ ば，既存研究が観察してきた混ぜ合わせに関する観察はモデル全体においては微々たる作用に過ぎな い。また，層正規化はべクトルの正規化と拡大縮小 を行い，外側から注意機構の混ぜる作用と残差結合 の残す作用の強さを改変しうる. Transformer 内部に おいて注意機構による混ぜ合わせがどの程度支配的であるか，Transformer の主たる仕事は「混ぜる」 ことなのだろうか. 本研究では残差結合と層正規化 にも焦点を当ててこれらを調べる。「混ぜ合わせ」 などのモデル内における情報の流れを明らかにする ことは，モデルに対する理解を深めるだけでなく， モデルの予測の説明としても重要である.

実験では Transformer を基盤とした代表的なモデ ルとして BERT を対象に，モデル内部における混ぜ 合わせの強さを調査する. 実験結果から BERT の各層では，周囲のべクトルから混ぜる量よりも自身の ベクトルを残す量の方が遥かに大きく，混ぜる作用 ではなく残す作用が支配的であることを明らかにす る.これにより，モデル内では情報がほんの少しず つ混ぜられていくことが示唆された.このような結

図 1 注意機構，残差結合，層正規化の概要.

果が得られた理由を機構ごとの作用から分析し，注意機構に比べて残差結合が強く働いていること, 層正規化が特定のトークンに対応するベクトルを強く 拡大していることを明らかにした。

本研究の貢献は以下の通りである。
- Transformer に対し，注意機構に加えて残差結合 と層正規化を考慮して「混ぜ合わせの強さ」を 分析する方法を提案した。

・BERT の各層では，文脈を混ぜる作用よりも自信を残す作用が支配的であることを示した。

## 2 準備:Transformer を構成する機構

Transformer は同じ構造を持つ層を積み重ねたアー キテクチャであり，各層は（1）注意機構，（2）残差結合，（3）層正規化，（4）順伝播型ニューラルネッ トワークの四つの機構から構成される. 多くの先行研究はこのうち，注意機構のみを分析対象としてき た. 本研究では注意機構に加えて残差結合と層正規化を考慮し，入力ベクトル $\boldsymbol{x}_{j}$ がこれらの機構を 通過して $y_{j}^{\text {attn+res+ln }}$ へと変化する様子を分析する. Transformer 内における注意機構，残差結合，層正規化の簡単な概要を図 1 に示す. 本稿では自己注意機構を対象として提案手法の説明と実験を行うが，エ ンコーダーとデコーダーの間の注意機構でも同様の
議論が可能である.

## 2.1 注意機構 (attn)

注意機構は Transformerにおいて「混ぜる作用」を 担う. 以下，Transformer 内の各注意機構を慣例にな らってヘッド（h）と呼ぶことにする．各へッド $h$内において, 各入力ベクトル $x_{j} \in \mathbb{R}^{d}$ は周辺の入力 ベクトル全体 $\left.\{\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}\right.\}$ を参照しながら出力べク トル $\boldsymbol{y}_{j}^{(h)} \in \mathbb{R}^{d}$ へ更新される. 具体的には, 周辺の ベクトル $x_{i}$ を参照する度合い $\alpha_{i, j}^{(h)}$ (アテンション 重み）を計算し， $x_{i}$ をアフィン変換したベクトル $f_{j}^{\curvearrowleft}\left(\boldsymbol{x}_{i}\right)$ をこの重みで足し合わせる.

$
\boldsymbol{y}_{j}^{(\boxed{)}}=\sum_{i=1}^{n} \alpha_{i, j}^{(h)} f_{j}^{(h)}\left(\boldsymbol{x}_{i}\right)
$

Transformer ではこのへッドを $H$ 個並列に並べたマ ルチヘッド注意機構（attn）が各層に組み込まれて いる. マルチヘッド注意機構は，以下のように各 ヘッド $h$ の出力ベクトルを足し合わせ，ベクトル $y_{j}^{\text {attn }}$ を出力する.

$
\boldsymbol{y}_{j}^{\boxed{\text { attn }}}=\sum_{h=1}^{H} \boldsymbol{y}_{j}^{(h)}
$

## 2.2 残差結合（res）

残差結合（res）は, 注意機構の出力 $y_{j}^{\text {attn }}$ に, 処理を加えていない入力べクトル $\boldsymbol{x}_{j}$ をそのまま足し 込むことでオリジナルの情報を「残す」作用を担 う. 注意機構と残差結合を合わせた出力 $\boldsymbol{y}_{j}^{\text {attn+res }}$ は 次の通り計算される：

$
y_{j}^{\boxed{\text { attn+res }}}=y_{j}^{\text {attn }}+x_{j} .
$

## 2.3 層正規化（In）

層正規化（In）は入ってきたべクトル $y$ を正規化 しさらに拡大縮小をほどこす：

$
\mathrm{LN}(\boldsymbol{y})=\overline{\boldsymbol{y}} \odot \gamma+\boldsymbol{\beta} \in \mathbb{R}^{d}, \quad \overline{\boldsymbol{y}}:=\frac{\boldsymbol{y}-m(\boldsymbol{y})}{s(\boldsymbol{y})}
$

まず $\boldsymbol{y} \mapsto \overline{\boldsymbol{y}}$ の計算で入力 $\boldsymbol{y}$ の要素全体が平均 0 分散 1 となるよう正規化される. $\boldsymbol{y}^{(k)}$ をべクトル $\boldsymbol{y}$ の $k$ 番目の要素として $, m(\boldsymbol{y}):=\frac{1}{d} \sum_{k} \boldsymbol{y}^{(k)} \in \mathbb{R}$ は要素平均, $s(\boldsymbol{y}):=\sqrt{\frac{1}{d} \sum_{k}\left(\boldsymbol{y}^{(k)}-m(\boldsymbol{y})\right)^{2}+\epsilon} \in \mathbb{R}$ は標準偏差， $\epsilon \in \mathbb{R}$ は数値安定のための小さな定数を表す.引き算および割り算は要素毎におこなう.

次に学習可能なアフィン変換パラメータ $\gamma, \beta \in \mathbb{R}^{d}$ によって $\bar{y}$ の拡大縮小がおこなわれる. $\odot$
は要素積を表す. Transformer では図 1 に示すよう に，注意機構と残差結合が統合された各べクトル $\boldsymbol{y}_{j}^{\text {attn+res }}$ に対して上記の計算が行われ，以下のよう に $\boldsymbol{y}_{j}^{\boxed{\text { atn+res+ln }}}$ へと更新される.

$
y_{j}^{\boxed{\text { attn+res+ln }}}=\mathrm{LN}\left(y_{j}^{\sqrt{\text { attn+res }}}\right)=\overline{y_{j}^{\sqrt{\text { attn+res }}}} \odot \gamma+\beta
$

## 3 提案手法

本稿では Transformer において注意機構による混 ぜ合わせがどの程度支配的であるかを調査するた め, 注意機構に加えて残差結合と層正規化を考慮し た分析を行う．混ぜ具合の検証のため，それらの機構を通過して更新された埋め込みが，更新前の自身 の入力とその他の入力からそれぞれどの程度ずつ集 めて構成されたのかを確認する手法を提案する．具体的には，三つの機構が埋め込みを更新する計算を 自身の入力に由来するべクトルとその他の入力に由来するベクトルの和に変形し，それぞれのべクトル のノルムを測ることで埋め込みの更新において他か らの混ぜ合わせがどの程度行われたかを観察する。

## 3.1 混ぜる強さの分析

注意機構，残差結合，層正規化を通して入力べク トル $x_{j}$ が $y_{j}^{\text {attn+res+ln }}$ へ更新される際に, 自身以外 の入力ベクトル $\left.\{\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{j-1}, \boldsymbol{x}_{j+1}, \ldots \boldsymbol{x}_{n}\right.\}$ から集めた 量（混ぜた量）と自身の入力ベクトル $x_{j}$ から集め た量（残した量）を比較したい， $y_{j}^{\text {attn }}$ おび LN (.) が以下のように分解できる1)ことに注意すると，

$
\begin{aligned}
& \boldsymbol{y}_{j}^{\boxed{\mathrm{attn}}}=\sum_{i=1}^{n} f_{j}^{\boxed{\mathrm{attn}}}\left(\boldsymbol{x}_{i}\right), f_{j}^{\boxed{\text { attn }}}\left(\boldsymbol{x}_{i}\right):=\sum_{h=1}^{H} \alpha_{i, j}^{(h} f_{j}^{\natural}\left(\boldsymbol{x}_{i}\right) \\
& \mathrm{LN}\left(\sum_{i} z_{i}\right)=\sum_{i} \frac{z_{i}-m\left(z_{i}\right)}{s\left(\sum_{i} z_{i}\right)} \odot \gamma+\beta
\end{aligned}
$

$y_{j}^{\text {attn+res+ln }}$

は次の 4 つの項に近似なしで分解できる.

$
\begin{aligned}
& +\frac{f \boxed{\text { attn }}\left(\boldsymbol{x}_{j}\right)-m\left(f^{\boxed{\mathrm{attn}}}\left(\boldsymbol{x}_{j}\right)\right)}{s\left(\boldsymbol{y}_{j}^{\boxed{\mathrm{attn}}}+\boldsymbol{x}_{j}\right)} \odot \gamma \\
& +\frac{\boldsymbol{x}_{j}-m\left(\boldsymbol{x}_{j}\right)}{s\left(\boldsymbol{y}_{j}^{\boxed{\text { attn }}}+\boldsymbol{x}_{j}\right)} \odot \gamma \\
& +\beta
\end{aligned}
$

1） $\mathrm{LN}(\cdot)$ の分解に関する詳細は付録 $\mathrm{A}$ で説明する.

図 2 各層の注意機構・残差結合・層正規化によるべクトル更新 で「混ぜ合わせ」が担う割合.

図3 各層における注意機構が混ぜる量 $\left.\|\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\text {attn }}\left(\boldsymbol{x}_{i}\right)\right.\|$.

図4 各層における注意機構が残す量 $\left.\|f_{j}^{\boxed{\mathrm{attn}}}\left(\boldsymbol{x}_{j}\right)\right.\|$.

図 5 各層における残差結合が残す量 $\left.\|\boldsymbol{x}_{j}\right.\|$.
すなわち出力 $y_{j}^{\boxed{\text { attn+res+ln }}}$ は

・attn 経由で混ぜる作用 $: y_{j \leftarrow \text { others }}^{\text {attn+ln }}:=$ 項 4

・attn 経由で残す作用 : $\boldsymbol{y}_{j \leftarrow j}^{\mathrm{attn}+\mathrm{ln}}:=$ 項 5
- res 経由で残す作用 : $y_{j}^{\text {res+ln }}:=$ 項 6

・バイアス項： $\beta$ (= 項 7)

の和に分解できる。そこで，これらの機構における 「混ぜる作用」と「残す作用」をそれぞれ $\boldsymbol{y}{ }_{j \leftarrow \text { others }}^{\text {attn }}$ お よび $\boldsymbol{y}_{j \leftarrow j}^{\boxed{\mathrm{attn}+\mathrm{ln}}}+\boldsymbol{y}_{j}^{\mathrm{res+ln}}$ で定義する.

注意機構をべクトルノルムで分析した Kobayashi ら [12]に従い，ベクトルの和における各べクトルの 影響の大きさをそのノルムで測る。ここでは，「混 ぜた量」と「残した量」をそれぞれべクトルノルム $\left.\|\boldsymbol{y}_{j \leftarrow \text { other }}^{\mathrm{attn}+\mathrm{ln}}\right.\|$ および $\left.\|\boldsymbol{y}_{j \leftarrow j}^{\mathrm{attn}+\mathrm{ln}}+\boldsymbol{y}_{j}^{\mathrm{res}+\mathrm{ln}}\right.\|$ で測る.これら の大きさを比べることで，モデル内の注意機構・残差結合・層正規化部分においてどの程度の強さで混 ぜ合わせが行われたかを確認する.

## 4 実験

Transformerを基盤とする代表的なモデルである BERT にテキストを入力し，その内部挙動について 分析を行う．4.2節では各層における「混ぜる量」と 「残す量」を比べ，混ぜ合わせの強さを調べる. 4.3 節および 4.4 節では，混ぜ合わせに対する注意機構，残差結合，層正規化の働きを確認した.

## 4.1 実験設定

モデル 事前学習済み BERT-base (uncased) を用い た. BERT-base は 12 層から構成され，その各層に図
1 で示した注意機構，残差結合，層正規化からなる 構造が組み込まれている。また，追加で BERT-large についても実験を行い，結果を付録 Bにまとめた.

データ モデルへ入力するテキストデータとし て, 既存研究 [4] に従い Wikipedia から抽出された 992 系列を用いた. ここで BERT の事前学習の設定 に合わせ，各系列において全体の $12 \%$ 2) のトークン を [MASK]トークンに置換して入力した.

## 4.2 混ぜる強さの分析

BERT に 992 系列を入力し， 3.1 節で述べた方法 でモデル内部における混ぜ合わせの強さを調べる。各層における注意機構・残差結合・層正規化部分で 他の入力から混ぜた量 $\left.\|y_{j \leftarrow \text { others }}^{\text {attn+ln }}\right.\|$ と自身の入力から 残した量 $\left.\|y_{j \leftarrow j}^{\sqrt{\text { attn+ln }}}+y_{j}^{\sqrt{\text { res+ln }}}\right.\|$ を計算し, 両者の合計 に対する混ぜた量の割合を算出した. 各層で全出力 ベクトルの平均をとった結果 (“全体”) に加え，対応するトークンに合わせて（1）[CLS]，（2） [SEP], （3）[MASK]，（4）ピリオド“,”またはカンマ“,”,（5） その他の五種類に分けた結果も報告する.

結果 図 2 より, モデル内部の注意機構・残差結合・層正規化において「混ぜる作用」は “全体”で 11〜24\%と小さく，「残す作用」が支配的であること がわかった。これより, BERT 内部で埋め込みが層 を登って更新される際に，前の層の情報をかなり保持しながら少しずつ情報が混ぜ合わされていくこと が示唆される。これは BERT 内部における中間表現 は，入力トークンを高精度に判別できるほど元の情

2） BERT の事前学習では，入力系列の $20 \%$ 選び，そのうち $80 \%$ （全体の 12\%）を[MASK] トークンに置換する。
報を残しているという Brunner ら [13] の報告と一致 する．また，“全体” の傾向として後半層に比べて前半層の方が混ぜる作用が強いことがわかった.

トークンの種類ごとの結果に着目すると，[CLS] では混ぜる作用が最終層でのみ $39 \%$ と他よりかな り大きい傾向があった. また，[MASK] では，中盤層で 25 30\%と混ぜる作用が比較的大きかった. 以上により, 前半層で全体的に情報を集めて準備を し, 中盤層で BERT の事前学習タスクである穴埋め 予測（Masked Language Modeling）を解き，後半層で もう一つの事前学習タスクである次文予測 (Next Sentence Prediction）を解いていることが示唆され る.また，[CLS] および [SEP] では，それぞれ前半層および中盤層で混ぜる作用が非常に小さかった. それらの層の注意機構では，これらの特殊トークン に対してアテンション重み $\alpha$ を大く割り振る一方で，あまり集めないという現象が報告されており [12]，何らかの繋がりがあると考えられる。

## 4.3 注意機構と残差結合の働き

前節で明らかになった「混ぜる作用ではなく残す 作用が支配的」という挙動のメカニズムを調べるた め, 層正規化を考慮しない状態で (1) 注意機構が 混ぜる量，（2）注意機構が残す量，（3）残差結合が 残す量を調べる. 式 1 より注意機構と残差結合は,注意機構の出力ベクトル $y_{j}^{\text {attn }}$ と, 残差結合が残す ベクトル $\boldsymbol{x}_{j}$ の足し算によって統合される. また式 2 より, 注意機構の出力ベクトル $y_{j}^{\text {attn }}$ は自身の入力 $x_{j}$ から集めたべクトル $f_{j}^{\text {attn }}\left(x_{j}\right)$ とその他の入力か ら集めたべクトル $\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\text {attm }}\left(\boldsymbol{x}_{i}\right)$ に分離で きる. BERT 各層における，(1) 注意機構が混ぜる 量 $\left.\|\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\text {attn }}\left(\boldsymbol{x}_{i}\right)\right.\|$, ，(2) 注意機構が残す量 $\left.\|f_{j}^{\text {attn }}\left(\boldsymbol{x}_{j}\right)\right.\|$, （3）残差結合が残す量 $\left.\|\boldsymbol{x}_{j}\right.\|$ を測った.

結果 図 3, 4, 5より, 残差結合が残す量は注意機構が混ぜる量および残す量に比べて遥かに大き く, BERT の各層において注意機構に比べて残差結合が支配的であることが分かった. また, 注意機構 による残す作用は小さく, 残す作用のほとんどを残差結合に任せていることがわかった.

多くの先行研究で注意機構のみに着目した分析が 行われ, 残差結合を考慮する先行研究でも注意機構 と残差結合の力関係を 1:1 と仮定していた [14]が,実際には残差結合が支配的であった。

図 6 各層の注意機構・残差結合によるべクトル 更新で「混ぜ合わせ」が 担う割合.

図 7 各層における層正規化を考慮した際の残差結合に由来するべクトル

## 4.4 層正規化の作用

層正規化の働きについて理解を深めるため，層正規化によって「混ぜ合わせの強さ」と「残差結合が 残す量」がどう変わるのかを調べた。

結果 図 2 と 6 の比較から, 層正規化は全体的に 混ぜ合わせの割合を下げる働きをしていることが分 かった. 中でも [CLS] と [SEP] に対して割合を強く 下げる傾向があった. また, 図 7 と 5 の比較から,層正規化は残差結合が足すべクトルを全体的に拡大 していることが分かった．混ぜ合わせの割合を強く 下げる [CLS] と [SEP] に対しては，特に強い拡大を 行っていた. 以上のように層正規化は混ぜ合わせの 強さに影響を与えていた。

## 5 おわりに

本稿では，Transformer 内部における混ぜ合わせの 強さを分析する方法を提案した. この方法を用いて BERT を分析し，各層において混ぜる作用ではなく 残す作用が支配的であることを明らかにした.ま た，これまで盛んに分析されてきた注意機構の働き が，各層において支配的ではないことを示した。

今後は, RoBERTa[15] や fine-tuning した BERT な ど，より幅広くモデルを分析する。また, Transformer 内のより多くの作用を考慮に入れ，層全体やモデル 全体での挙動を精緻に分析する方向性も興味深い。

謝辞. 本研究は JSPS 科研費 JP19H04425, JP20J22697 の助成を受けたものです. また本研究は, JST, ACTX，JPMJAX200S の支援を受けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (NAACL-HLT), pp. 4171-4186, 2019.

[3] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A Primer in BERTology: What we know about how BERT works. arXiv preprint arXiv:2002.12327, 2020.

[4] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D Manning. What Does BERT Look At? An Analysis of BERT's Attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, 2019.

[5] Olga Kovaleva, Alexey Romanov, Anna Rogers, and Anna Rumshisky. Revealing the Dark Secrets of BERT. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4364-4373, 2019.

[6] Emily Reif, Ann Yuan, Martin Wattenberg, Fernanda B Viegas, Andy Coenen, Adam Pearce, and Been Kim. Visualizing and Measuring the Geometry of BERT. Advances in Neural Information Processing Systems 32 (NIPS), pp. 8594-8603, 2019.

[7] Yongjie Lin, Yi Chern Tan, and Robert Frank. Open Sesame: Getting Inside BERT's Linguistic Knowledge. Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 241-253, 2019.

[8] David Mareček and Rudolf Rosa. From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions. In Proceedings of the 2019
ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 263-275, 2019.

[9] Phu Mon Htut, Jason Phang, Shikha Bordia, and Samuel R. Bowman. Do Attention Heads in BERT Track Syntactic Dependencies? arXiv preprint arXiv:1911.12246, 2019.

[10] Alessandro Raganato and Jörg Tiedemann. An Analysis of Encoder Representations in Transformer-Based Machine Translation. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, 2018.

[11] Gongbo Tang, Rico Sennrich, and Joakim Nivre. An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation (WMT): Research Papers, pp. 26-35, 2018.

[12] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is not only a weight: Analyzing transformers with vector norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7057-7075, 2020.

[13] Gino Brunner, Yang Liu, Damián Pascual, Oliver Richter, Massimiliano Ciaramita, and Roger Wattenhofer. On Identifiability in Transformers. In 8th International Conference on Learning Representations (ICLR), 2020.

[14] Samira Abnar and Willem Zuidema. Quantifying attention flow in transformers. In Proceedings of the 58th Annual Meeting of the Association for Coтputational Linguistics, pp. 4190-4197, July 2020.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019 .

## 付録

## A 層正規化の分配

複数のベクトル $\left.\{z_{1}, \ldots, z_{n}\right.\} \subseteq \mathbb{R}^{d}$ の和で表される $\sum_{i=1}^{n} z_{i}$ に対して層正規化 $L N(\cdot)$ を計算する際，式 3 のように層正規化の作用を和の中の各ベクトル $z_{i}$ に分配するような 形で，出力を $n$ 個のベクトルに分解できることを文中で 述べた. ここでは，この分解に至る式変形について説明 する。まずは層正規化の計算を以下のように展開する：

$
\begin{aligned}
\mathrm{LN}\left(\sum_{i} z_{i}\right) & =\overline{\sum_{i=1}^{n} z_{i}} \odot \gamma+\beta \\
& =\frac{\sum_{i=1}^{n} z_{i}-m\left(\sum_{i=1}^{n} z_{i}\right)}{s\left(\sum_{i=1}^{n} z_{i}\right)} \odot \gamma+\beta
\end{aligned}
$

ここで，分数部分の分子の第 2 項 $m\left(\sum_{i=1}^{n} z_{i}\right)$ について考え る. $m\left(\sum_{i=1}^{n} z_{i}\right)$ は $\sum_{i=1}^{n} z_{i}$ の要素平均であり, 以下のように変形できる：

$
\begin{aligned}
m\left(\sum_{i=1}^{n} z_{i}\right) & =\frac{1}{d} \sum_{k=1}^{d}\left(\sum_{i=1}^{n} z_{i}\right)^{(k)} \\
& =\frac{1}{d} \sum_{k=1}^{d} \sum_{i=1}^{n} z_{i}^{(k)} \\
& =\sum_{i=1}^{n} \frac{1}{d} \sum_{k=1}^{d} z_{i}^{(k)} \\
& =\sum_{i=1}^{n} m\left(z_{i}\right) .
\end{aligned}
$

これに基づき，式 3 を以下のように導出できる：

$
\begin{aligned}
\mathrm{LN}\left(\sum_{i} z_{i}\right) & =\frac{\sum_{i=1}^{n} z_{i}-\sum_{i=1}^{n} m\left(z_{i}\right)}{s\left(\sum_{i=1}^{n} z_{i}\right)} \odot \gamma+\beta \\
& =\sum_{i=1}^{n} \frac{z_{i}-m\left(z_{i}\right)}{s\left(\sum_{i=1}^{n} z_{i}\right)} \odot \gamma+\beta .
\end{aligned}
$

## B BERT-large における実験結果

4 節で BERT-base に対して行った実験を全く同じ設定で BERT-large でも行った結果を報告する。

## B. 1 混ぜる強さの分析

図 8 より，BERT-large においても「混ぜる作用」は全体 で 11 28\%と小さく, 「残す作用」が支配的であった. ま た, BERT-base の結果（図 2) と比べると, 最初の層と最終層を除いて BERT-large の方が「混ぜる作用」が小さく，層が増えた分だけゆっくりと混ぜ合わせが行われている と考えられる. また，[CLS] に対して強い混ぜ合わせを行

図 8 BERT-large 各層の注意機構・残差結合・層正規化によるべクトル更新で 「混ぜ合わせ」が担う割合.

図 10 BERT-large 各層に おける注意機構が残す量

$
\left.\|f_{j}^{\text {attn }}\left(\boldsymbol{x}_{j}\right)\right.\| .
$

図 9 BERT-large 各層にお ける注意機構が混ぜる量 $\left.\|\sum_{i \in\{1, \ldots, n\} \backslash\{j\}} f_{j}^{\boxed{\text { attn }}}\left(x_{i}\right)\right.\|$.

図 11 BERT-large 各層に おける残差結合が残す量 $\left.\|x_{j}\right.\|$.

うのが，BERT-base では最終層で，BERT-large では第一層 という違いを確認した。

## B. 2 注意機構と残差結合の働き

図 9，10，11より，BERT-large においても，残差結合が 残す量が注意機構が混ぜる量および残す量に比べてはる かに大きく，各層において注意機構に比べて残差結合が 支配的であることがわかった.

## B. 3 層正規化の作用

スペースの都合で結果の図は割愛するが，BERT-large においても，層正規化は全体的に混ぜ合わせの割合を下 げており，特に [CLS] と [SEP] で強く割合を下げていた. ただし，第一層の [CLS] に対しては混ぜ合わせを強める作用を行っていた。また，層正規化は BERT-large において も残差結合が足すべクトルを全体的に拡大しており，特 に [CLS], [SEP], [MASK] に対して強い拡大を行っていた.


# 単語埋め込みの決定的縮約

仲村祐希 1 鈴木潤 1,2 高橋諒 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
yuki.nakamura.r1@dc.tohoku.ac.jp,
\{jun.suzuki, ryo.t, inui\}@ecei.tohoku.ac.jp

## 1 はじめに

自然言語処理分野の多くのタスクで，深層学習に よる方法論が成功を収めている。自然言語処理タス クで主に処理対象となる文章を深層学習により処理 する場合，文字や単語などの離散的な記号を連続的 な数值に変換する必要がある. その橋渡しとして用 いられるのが単語埋め込みの技術である. つまり,深層学習に基づく自然言語処理において単語埋め込 みは，必要不可欠な要素技術に位置付けられる。ま た，それ故に単語埋め込みの機能拡張や性能向上は 様々な方法論に寄与する波及効果の高い研究成果に なることが期待できる。

単語埋め込みの改善の代表的な研究トピックとし て，必要記憶容量の削減に関する研究がこれまで多 く取り組まれてきた $[1,2,3,4,5,6,7]$. これは, 語彙数が大きい場合に，単語埋め込みを保持するため に必要な記憶容量が比較的大きくなるため, 結果と して深層学習のモデルの中でも非常に大きな容量を 占めることがしばしばおこることに起因する．単語埋め込みの必要記憶容量削減には, 似た単語には似 たべクトルが割り当てられているという性質を利用 して，似ている単語間で効果的にパラメータを共有 する方法論が現在主流である $[2,4,5]$. その代表的 な方法論として，単語埋め込みを離散符号とコード ブックに分解し記憶容量を削減する手法が知られて いる. さらに，この離散符号と基底ベクトルを深層学習により同時学習する手法が提案されており, 高 い圧縮率を達成している. これらの方法論は記憶容量の削減の観点では成功しているが, 学習時の最適化関数は局所解があることやサンプリングを必要と することなどの複数の要因により, 完全に同じデー タ, 同じ手順を用いたとしても, 得られる離散符号 が毎回異なるという性質を持つ.

そこで，本研究では離散符号を決定的アルゴリズ ムにより獲得する方法を提案し，その性能を検証す
る. 元の単語埋め込み行列の特徴を保持したまま離散符号を獲得することで，似た単語には似た離散符号が割り当てられるように獲得する。この方法で獲得できる離散符号は乱数によらず決定的に求まり,再現性の面で優れている。また，この方法によって 獲得する離散符号に適した効果的な基底べクトルの 合成方法も合わせて提案する。

## 2 関連研究

単語埋め込み行列を離散符号とコードブックに分解し記憶容量を削減する手法について様々な研究 がされてきている. Shu らは Gumbel-softmax トリッ クを用いることで，離散符号とコードブックを深層学習を用いて同時学習する手法を提案した [2]. ま た, Tissier らは単語埋め込み行列の記憶容量の削減 と演算の高速化を目指し，オートエンコーダで単語埋め込み行列をバイナリベクトルにエンコードする 手法を提案した [4]. さらに，Kim らは下流タスク の各単語の重要度に応じて, 離散符号長を合わせて 学習することで効率よく記憶容量を削減する手法を 提案した [5]. これらの既存研究は, 深層学習べー スで離散符号を獲得するため離散符号は乱数のシー ドによって異なる. 本研究での提案法は，決定的ア ルゴリズムで乱数のシードによらず，一意に定まる 離散符号を獲得するという点でこれらの手法とは異 なる。

## 3 提案手法

提案手法は離散符号の獲得（3.1 節）とコードブッ クの学習（3.2 節）の二つの処理で構成される。離散符号を決定的に獲得するためのアイデアは，1 次元 $K$ 平均法の最適解は一意に定まり，かつ，動的計画法により多項式時間で求まる [8]，という特徴を離散符号の獲得に利用することである. すなわち，(1)単語埋め込み行列をある 1 次元で切り出し, (2) 1 次元 $K$ 平均法により各単語のクラス番号としての離

散符号を獲得する。(1)を異なる次元で $M$ 回繰り返 すことで，各単語に対して $M$ 個の離散符号を得る.

また，単語埋め込みは冗長性が多く，全ての次元 を使うのは記憶容量を削減する上で効率が悪い. そ こで，主成分分析を用いて単語埋め込み行列の次元削減も合わせて活用する. 最終的に，主成分分析で 削減した行列の各列ベクトルに対して 1 次元 $K$ 平均法を繰り返し適用し離散符号を獲得する。主成分分析も決定的な処理であるため， 1 次元 $K$ 平均法と合 わせて一意に定まる離散符号が得られる。

## 3.1 離散符号の獲得：アルゴリズム

離散符号を獲得するアルゴリズムを Algorithm 1 に示す. まず，記憶容量の削減対象の単語埋め込み 行列を $\boldsymbol{E} \in \mathbb{R}^{|V| \times H}$ とする. 前述の通り, まず単語埋め込み行列 $\boldsymbol{E}$ の平均が 0 , 分散が 1 になるように 規格化し (Normalization), $\bar{E}$ を得る. その後， $\bar{E}$ に 対して主成分分析 (PCA) を適用し主成分得点の行列 $\tilde{\boldsymbol{E}} \in \mathbb{R}^{|V| \times M}$ を得る. この行列 $\tilde{\boldsymbol{E}}$ の各列べクトルを 対象に 1 次元 $K$ 平均法 (1dKmeans) を適用し列べク トルに含まれる $|V|$ 個の要素 (スカラー値) のクラス タリングを行う．また，この処理を $M$ 個の列べク トルに対して先頭から順番に実行する。このとき，各 1 次元 $K$ 平均法で得られたクラス番号を単語に 割り振られた離散符号とみなすことができる。よっ $\tau$, 最終的には各 1 次元 $K$ 平均法で $i$ 番目の要素に 割り振られた $M$ 個のクラス番号を並べたものを $i$ 番目の単語に割り振られた離散符号とする。つまり，次元削減後の次元数を $M$ ，クラスタの数を $K$ とする と離散符号は $\boldsymbol{C} \in\{1,2, \ldots, K\}^{|V| \times M}$ と表現できる.

この手法は，各単語埋め込みを順序を保持したま

ま格子点上に埋め込み直していると考えることがで きる。そのため，十分に元の特徵を保持したまま離散符号化することができ，獲得した離散符号には，似たような単語には似たような離散符号が割り当て られていることが期待できる.

## 3.2 コードブックの定義と学習

獲得した離散符号に対して，元の単語埋め込み行列を再現するようにコードブックを学習する．本手法で獲得した離散符号には各次元毎に順序関係 が埋め込まれていると考え，コードブックとして 基底べクトルに離散符号に対応した重みをつけた ものを用いる．具体的には，ある単語 $w$ について 離散符号 $\boldsymbol{C}(w)=\left[C_{1}(w), C_{2}(w), \ldots, C_{M}(w)\right]\left(C_{i}(w) \in\right.$ $\{1,2, \ldots, K\})$ が与えられているとき，単語埋め込み の近似行列 $\boldsymbol{E}^{\prime} \in \mathbb{R}^{|V| \times H}$ を基底ベクトル $\boldsymbol{A} \in \mathbb{R}^{M \times H}$ と離散符号に対応する重み $\alpha \in \mathbb{R}^{M \times K}$ を用いて次の ように計算する。

$
\boldsymbol{E}^{\prime}(w)=\sum_{i=1}^{M} \alpha_{i, c_{i}(w)} \boldsymbol{A}_{\boldsymbol{i}}
$

この単語埋め込み近似行列と記憶容量削減対象の 単語埋め込み行列の誤差が小さくなるように学習を 行う。具体的には，基底ベクトル $\boldsymbol{A}$ と重み $\alpha$ のパラ メータを以下の誤差関数 $L$ が最小となるように学習 する。

$
L=\frac{1}{|V|} \sum_{w \in V}\left.\|\boldsymbol{E}(w)-\boldsymbol{E}^{\prime}(w)\right.\|^{2}
$

## 4 実験

本研究では，単語埋め込みの内的評価にあたる 単語類推タスク (Analogy)，単語類似性判定タスク (Similarity)，文穴埋めタスク (SentComp)の 3 つと，外的評価にあたる機械翻訳タスクを用いて実験を 行った. 実験では各タスクで一般的に用いられる評価指標の值とデータ圧縮比のトレードオフの観点で 提案法を評価した. データ圧縮比は記憶容量削減前 と記憶容量削減後の記憶容量の比である。なお，記

図 1 データ圧縮比に対する単語埋め込み評価タスクの 各評価指標の値の変化. 評価指標は Analogy と SentComp は正答率，Similarity はスピアマンの順位相関係数である。 Code の結果はコサイン類似度で評価しているため中心化 を行った結果を報告する。

憶容量は理論的に計算を行った。また，比較対象の ベースラインには Shu ら [2] の手法を用いた.

## 4.1 離散符号の獲得とコードブックの学習

提案法，および，比較手法である Shu らの方法で は離散符号を獲得するために，あらかじめ単語埋め 込み行列を用意しておく必要がある. 単語埋め込 みの評価タスクでは学習済み単語埋め込みである GloVe，機械翻訳タスクでは学習した深層学習モデ ルの埋め込み層のパラメータを記憶容量削減対象 として用いた. コードブックの学習は, 学習率は 0.0001，バッチ数は 256,1000 エポックで Adam を 用いてパラメータの更新を行った.また，コード ブックの学習の安定性のために基底べクトルの重み の初期値には離散符号を獲得したときのクラスの重心を用いた。

## 4.2 単語埋め込みの評価タスク

このタスクでは単語埋め込み行列から獲得した離散符号が単語埋め込み行列の情報を含んでいるかど うか調べるために, 単語類推タスク, 単語類似性判定タスク，文穴埋めタスクの実験を行った. 実験に は語彙数 400000, 300 次元の学習済み単語埋め込み の GloVe.6B.300d を用いた。

データセット： 単語類似性判定タスクでは 9つ $[9,10,11,12,13,14,15,16]$, 単語類推タスクでは 3 つ [17,18], 文穴埋めタスクでは 1 つ [17] のデータ セットを用いて実験を行った。

実験結果： 実験の結果を図 1 , 表 2 に示す. Code は離散符号のみ，Real はコードブックを使って単語埋め込みを再構築した際の結果を示している。ま表 2 単語埋め込み評価タスクにおける評価指標の値を落 とさずに達成できるデータ圧縮比. acc は正答率， $\rho$ はス ピアマンの順位相関係数，ratio はデータ圧縮比を表す.

た，実際に獲得した離散符号を表 1 に示す.まず，全体の実験結果として提案法の Code がデータ圧縮比を上げたときの評価指標の低下が小さく良い結果 が得られている. 提案法の Code と Realを比較した ときに Code の方が良い結果が得られているのは，離散符号の方がコードブックに対して占めている記憶容量が大きく情報量が大きいためだと考えられ る. 次に，Shu らの Code の Analogy が低い理由は,離散符号がどの基底べクトルを使用するかしか表現しておらず，コードの足し引きに意味がないため である。一方で，提案法の離散符号には順序関係が 存在するため Analogy で良い結果が得られている. これらのことから，提案手法により得られる離散符号には元の単語埋め込み行列の情報が十分に含 まれていることが確認された。また，提案手法が SentComp と Analogy でべースラインよりも高い結果が得られている理由について，似た単語に似た離散符号を割り当てたことにより正則化の効果が得ら れるためだと考えられる.

解の安定性： 既存手法の安定性を調べるため に，Shu らの手法を用いてデータ圧縮比を固定して 複数回単語埋め込み行列の記憶容量の削減を行い 評価を行った. 実験はデータ圧縮比 11 倍でコード ブックを使って単語埋め込み行列を再構築したもの を用いた．Shu らの手法で測定した評価指標の最大値と最小値の差は，Analogy では 1.29, SentComp で は 1.82, Similarity では 0.2 であった. 具体的な測定結果は付録 $\mathrm{A}$ に示す.このように深層学習べースに よる記憶容量の削減は乱数のシードによって結果が 大きく変化してしまう。一方で提案手法の離散符号 を用いた場合，乱数のシード值によらず得られる離散符号は決定的であるため結果の変化はない. よっ て離散符号の個数 $M$ と離散符号の種類数 $K$ を決め てしまえば，離散符号が決定的に獲得できるという 提案手法の特徵は大きな利点である.

図 2 データ圧縮比に対する BLEU スコアの変化.

## 4.3 機械翻訳タスク

ニューラルネットワークの埋め込み層に対して本手法の記憶容量の削減が有効であるかを確認するた めに，機械翻訳モデルの埋め込み層のパラメータに 対して記憶容量の削減を行い, データ圧縮比と翻訳精度の関係を調査した。

データセット： WMT 2016 英独翻訳タスク のデータセットを利用した. 検証データは newstest2013，テストデータは newstest2014を用いた. Byte pair encoding [19] を適用し, 語彙数は英語で 35856 語，独語で 35456 語となった.

実験設定： 機械翻訳モデルとして Transformer に基づくモデル [20] と，LSTM のエンコーダ部分を 双方向にしたモデル [21]を用いた. 基本的な学習設定は Ott ら [22] に従う. 詳細なハイパーパラメタは 付録 $\mathrm{C}$ を参照されたい．ただし，モデルのエンコー ダとデコーダのそれぞれの埋め込み層のパラメータ のデータ圧縮比を測定するため語彙の共有は行わ なかった. 各モデルの学習後に, 提案法および Shu らの手法によって埋め込み層の記憶容量の削減を 行った.

翻訳結果の出力にはビーム幅 10 のビーム探索 を用いた。評価指標としてテストデータに対する sacreBLEU [23] を報告する。

実験結果： 実験の結果を図 2，表 3 に示す。ま ず，LSTM の結果についてエンコーダ，デコーダ共 に提案手法の方がデータ圧縮比を上げても BLEU ス コアの低下が抑えられていることがわかる. 特にデ コーダについては BLEU スコアをほぼ落とさずに $(24.3 \rightarrow 24.1)$ 記憶容量を 199 分の 1 にすることがで きた. 次に, Transformer の結果についても同様に提案手法の方がデータ圧縮比を上げても BLEU スコ表 3 機械翻訳タスクにおけるスコアを落とさずに達成で きる圧縮比

アの低下が抑えられていることがわかる．LSTM と Transformer では LSTM の方がより記憶容量を削減 できることが確認された。

今回用いた LSTM の総パラメータ数は約 2.4 億, Transformer の総パラメータ数は約 2.9 億であり，各埋め込み層のパラメータの占める割合は LSTM では 約 15\%，Transformerでは約 13\% である．そのため，埋め込み層の記憶容量削減後でもモデルの必要記憶容量は依然として大きい．そこで，モデルのさらな る記憶容量の削減手法として 8-bit 量子化などがあ り，併用して適用することでさらにモデル全体の記憶容量を削減することが期待できる。

解の安定性： 提案手法と Shu らの手法を用い て, 複数回データ圧縮比 13 倍で記憶容量を削減し BLEU スコアの変化を測定した. 実験結果としてス コアの最大值と最小値の差は Shu らの手法は 0.7,提案手法は 0.1 であり, 提案手法の方が安定性が高 かった. しかし, データ圧縮比を上げると提案手法 でもスコアが変動し，安定性の低下が見られた。な お，具体的な実験結果は付録 B に示す.

## 5 おわりに

1 次元 $K$ 平均法および主成分分析を組み合わせた 決定的アルゴリズムによる単語埋め込みに対する離散符号の獲得手法を提案した。また，得られた離散符号に適した効果的な基底べクトルの合成方法も合 わせて提案した. 本手法は，既存の手法と比較し離散符号を乱数のシードによらず決定的に獲得するこ とができるため, 再現性に優れている. 実験では本手法で獲得した離散符号には単語埋め込み行列の 情報が十分に含まれていることを実験で明らかに した.

## 謝辞

本研究の一部は，JSPS 科研費 JP19H04162，及び JSPS 科研費 JP18J20936 の助成を受けたものです.

## 参考文献

[1] Jun Suzuki and Masaaki Nagata. Learning compact neural word embeddings by parameter space sharing. In Subbarao Kambhampati, editor, Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence, IJCAI 2016, New York, NY, USA, 9-15 July 2016, pp. 2046-2052. IJCAI/AAAI Press, 2016.

[2] Raphael Shu and Hideki Nakayama. Compressing word embeddings via deep compositional code learning. In International Conference on Learning Representations, 2018.

[3] Shota Sasaki, Jun Suzuki, and Kentaro Inui. Subword-based Compact Reconstruction of Word Embeddings. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3498-3508, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Julien Tissier, Christophe Gravier, and Amaury Habrard. NearLossless Binarization of Word Embeddings. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 7104-7111, jul 2019.

[5] Yeachan Kim, Kang-Min Kim, and SangKeun Lee. Adaptive Compression of Word Embeddings. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3950-3959, Stroudsburg, PA, USA, 2020. Association for Computational Linguistics.

[6] Sho Takase and Sosuke Kobayashi. All word embeddings from one embedding. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[7] Aliakbar Panahi, Seyran Saeedi, and Tom Arodz. word2ket: Spaceefficient word embeddings inspired by quantum entanglement. In International Conference on Learning Representations, 2020.

[8] Allan Grønlund, Kasper Green Larsen, Alexander Mathiasen, Jesper Sindahl Nielsen, Stefan Schneider, and Mingzhou Song. Fast Exact k-Means, k-Medians and Bregman Divergence Clustering in 1D. pp. 1-16, 2017.

[9] G. Miller and W. Charles. Contextual correlates of semantic similarity. Language and Cognitive Processes, Vol. 6, pp. 1-28, 1991.

[10] Herbert Rubenstein and John B. Goodenough. Contextual correlates of synonymy. Communications of the ACM, Vol. 8, pp. 627-633, 1965.

[11] Eneko Agirre, Enrique Alfonseca, Keith Hall, Jana Kravalova, Marius Paşca, and Aitor Soroa. A study on similarity and relatedness using distributional and WordNet-based approaches. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 19-27, Boulder, Colorado, June 2009. Association for Computational Linguistics.

[12] Elia Bruni, Nam-Khanh Tran, and M. Baroni. Multimodal distributional semantics. Journal of Artificial Intelligence Research, Vol. 49, pp. 1-47, 2014.

[13] Kira Radinsky, Eugene Agichtein, Evgeniy Gabrilovich, and Shaul Markovitch. A word at a time: Computing word relatedness using temporal semantic analysis. New York, NY, USA, 2011. Association for Computing Machinery.

[14] Eric Huang, Richard Socher, Christopher Manning, and Andrew $\mathrm{Ng}$. Improving word representations via global context and multiple word prototypes. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 873-882, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[15] Thang Luong, Richard Socher, and Christopher Manning. Better word representations with recursive neural networks for morphology. In Proceedings of the Seventeenth Conference on Computa- tional Natural Language Learning, pp. 104-113, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[16] Felix Hill, Roi Reichart, and Anna Korhonen. SimLex-999: Evaluating semantic models with (genuine) similarity estimation. Computational Linguistics, Vol. 41, No. 4, pp. 665-695, December 2015.

[17] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[18] Tomas Mikolov, Wen-tau Yih, and Geoffrey Zweig. Linguistic regularities in continuous space word representations. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 746-751, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[19] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[21] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[22] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 1-9, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[23] Matt Post. A call for clarity in reporting BLEU scores. In Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno-Yepes, Philipp Koehn, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana L. Neves, Matt Post, Lucia Specia, Marco Turchi, and Karin Verspoor, editors, Proceedings of the Third Conference on Machine Translation: Research Papers, WMT 2018, Belgium, Brussels, October 31 - November 1, 2018, pp. 186-191. Association for Computational Linguistics, 2018.

## A単語埋め込み評価タスクの安定性評価の実験結果

表 4 単語埋め込み評価タスクをランダムシードで複数回実験したときの評価指標の値の変化.

## B機械翻訳タスクの安定性評価の実験結果

## C 機械翻訳タスクの学習設定

学習率は Transformer は 0.0005 , LSTM は 0.001 とした. LSTM と Transformer 両方のモデルにドロップ率 0.3 のドロップアウトを適用した. GPU 4 台で分散学習を行い，GPU 1 台のバッチサイズは Transformer は 64, LSTM は 1 とした.また，パラメータの更新は Transformer は 10000 回，LSTM は 150000 回行った. LSTM に は勾配のクリップを 1.0 に設定した。また，最終的に得られたパラメータの直近 10 エポックのチェックポイ ントの平均をとった值を最終的なパラメータとして用いた。


# 階層コード表現を用いた上位下位関係の識別

水木栄
東京工業大学情報理工学院
sakae.mizuki@nlp.c.titech.ac.jp
}

岡崎直観
東京工業大学情報理工学院
okazaki@c.titech.ac.jp

## 1 はじめに

単語間の上位下位関係を表す語彙知識は，含意関係認識 [1] やテキスト生成 [2] など幅広いタスクで用 いられる。また, 多数の上位下位関係を階層構造に 集約すると，タクソノミを構築できる [3]. こうし た中で上位下位関係識別は, タクソノミの自動構築 を実現する基礎技術として位置付けられている [4].

タクソノミ構築を志向して上位下位識別タスクを 解くうえでは, 識別精度だけでなく, 推論結果が推移性や反対称性を満たすことが重要である [4]. 前者は単語分散表現と語彙知識を併用できる Semantic Specialization が, 後者は順序関係を定義可能な Order Embeddings が有望であるが, 両者を兼ね備えた手法 は提案されていない。

本研究では学習ずみ単語分散表現を階層性のある コード表現に変換して, 単語ぺアの上位下位関係ら しさを計量する方法を提案する. 提案手法により得 られた階層コードの例を, 付録 $\mathrm{A}$ の表 4 に示す.こ れにより, Semantic Specialization の長所である単語分散表現の活用と, Order Embeddings の長所である 推移性 ・ 反対称性の両立を志向する. また WordNet から得られる語彙知識を用いて学習することによ り，上位下位関係識別タスクにおいて既存手法を上回る性能が実現できることを報告する. 本研究の貢献は次の 3 点である. 分散表現を，階層性を備えた コード表現に変換する手法の提案. コード表現を用 いて, 単語ぺアの上位下位関係の程度を計量する手法の提案. 提案手法の上位下位関係識別タスクへの 有効性を，実験的に示したこと。

## 2 既存研究

上位下位関係識別とは, 与えられた単語ぺア, た とえば (animal,dog) が上位下位関係か否かを識別す るタスクである. 本研究の設定は, WordNet のよう な汎用的かつ大規模な語彙資源から得られる知識 を訓練データとする表現学習である. 獲得した表現
を直接用いて上位下位関係を推論する，同様の設定に従う既存研究は, Semantic Specialization, Order Embeddings の 2 つである. また, 本研究の提案手法 と関連性が深いのはコード学習の手法である.

Semantic Specialization とは, 語彙資源から得られ る単語間の意味関係を単語分散表現に反映する手法 の総称である. その長所は, 文脈類似性に基づく意味的類似度と, 語彙資源に基づく詳細な意味関係の 両方を獲得できることである．特に上位下位関係の 場合は, 分散表現のノルム長さにより意味階層を, コサイン類似度により関係の強さを表現する方法が 提案されている [5]. Vulic ら [6] はこの表現方法に 則 り, 上位下位 - 同義 - 対義関係の語彙知識を反映 した単語分散表現を得る手法を提案し，上位下位関係識別タスクで最高精度を報告している。

Order Embeddings[7] とは, 順序関係を定義可能な 表現形式または空間による埋め込み表現の総称であ る. その長所は, 順序集合の定義により推移性 ${ }^{1)}$ お よび反対称性 ${ }^{2}$ という，タクソノミが一般に有する 性質がおのずと満たされることである．既存研究で は確率分布 [8] や超直方体 [9] などを用いる手法が 提案されている.

コード学習とは, 連続空間上のベクトルを $\mathrm{M}$ 進 $\mathrm{N}$桁の離散ベクトルに変換する手法である.この手法 の長所は，連続空間上の類似性を維持したまま離散空間上でコンパクトな表現を得ることである．既存研究では, モデル圧縮 [10] やクラスタリング [11] に 応用されている。一方で, 本研究が目指す階層性を 備えたコードを学習する手法は提案されていない。

## 3 提案手法

## 3.1 階層コードおよび上位下位関係の定義

本論文の階層コードの定義は $\mathrm{M}$ 進 $\mathrm{N}$ 桁, ただし ひとたび 0 が出現したら後続桁はすべて 0 となる離

図 1 変換器のアーキテクチャ. 角丸は変数, 直角は関数, 点線は誤差逆伝搬なしを表す. 記号は数式に準拠

散ベクトルである.たとえば $[3,1,0,0]$ は階層コー ドである. 深さ $\mathrm{N} \cdot$ 最大幅 $\mathrm{M}$ の木構造は, 幅優先符号化により階層コードに変換できる. ここから直感的にわかるように，階層コードを用いて上位下位関係を定義できる. すなわちa) 上位より下位のほう が非ゼロ桁数が多く, かつ b) 非ゼロ桁の值がすべて 一致する関係であると定義すればよい. たとえば $([3,1,0,0],[3,1,7,0])$ は上位下位関係である.

## 3.2 変換器（エンコーダ）

変換器 (エンコーダ) は, 単語分散表現 $\boldsymbol{v}$ を 進 $\mathrm{N}$ 桁の階層コード $\boldsymbol{C}$ の確率分布 $P(\boldsymbol{C})$ に変換 する関数である. LSTM による再帰的計算および Gumbel-Softmax Trick [12] による擬似サンプリング を用いて, 下位桁が上位桁の值に依存するような関数をモデリングする. アーキテクチャの模式図を図 1 に掲載する。

$d$ 桁目の階層コードを表す確率変数を $C_{d}$ とする.階層コードの定義 3.1 より $C_{d}$ の条件付分布は

$
\begin{aligned}
& P\left(C_{d}=a \mid C_{<d}\right) \\
& =1\{a=0\} P\left(C_{d-1}=0 \mid C_{<d-1}\right) \\
& +P\left(C_{d}=a \mid C_{d-1} \neq 0, C_{<d}\right) P\left(C_{d-1} \neq 0 \mid C_{<d-1}\right)
\end{aligned}
$

と表される.つまりゼロを出力する確率は桁が 進むにつれて単調増加する. そこでLSTMを用 いて, $d-1$ 桁目がゼロでない場合の条件付確率 $P\left(C_{d} \mid C_{d-1} \neq 0, C_{<d}\right)$ のカテゴリカル分布パラメータ $\pi_{d}^{\prime}$ をモデリングする.

$
\begin{aligned}
\boldsymbol{\pi}_{d}^{\prime} & =\operatorname{Softmax}\left(\operatorname{Linear}\left(\boldsymbol{h}_{d}\right)\right) \\
\boldsymbol{h}_{d} & =\operatorname{LSTM}\left(\left[\boldsymbol{v} ; \operatorname{Linear}\left(\hat{\boldsymbol{c}}_{d-1}\right)\right], \boldsymbol{h}_{d-1}\right)
\end{aligned}
$

ここで $\boldsymbol{v}$ は単語分散表現, ; はベクトルの連結, Linear は線形変換層を表す.

$\hat{\boldsymbol{c}}_{d-1}$ は, $d-1$ 栓目の值の one-hot vectorを連続近似したものである. 訓練時は Gumbel-Softmax Trick

（式中 GS）による擬似サンプリング（ただし誤差逆伝搬はしない：式中 detach), 推論時はカテゴリカル 分布パラメータをパススルーで与える.

$
\hat{\boldsymbol{c}}_{d-1}= \begin{cases}\operatorname{detach}\left(\mathrm{GS}\left(\boldsymbol{\pi}_{d-1}\right)\right) & \text { 訓練時 } \\ \boldsymbol{\pi}_{d-1} & \text { 推論時 }\end{cases}
$

最後に, 式 1 に従って $\pi_{d}^{\prime}$ を補正し, 条件付確率 $P\left(C_{d} \mid C_{<d}\right)=\pi_{d}$ を求める.

$
\begin{aligned}
\pi_{d, 0} & =\pi_{d-1,0}+\left(1-\pi_{d-1,0}\right) \pi_{d, 0}^{\prime} \\
\pi_{d,>0} & =\frac{\left(1-\pi_{d, 0}\right)}{\left(1-\pi_{d, 0}^{\prime}\right)} \pi_{d,>0}^{\prime}
\end{aligned}
$

## 3.3 上位下位関係の計量

上位下位関係の計量は, 単語分散表現ぺア $\left(v^{s}, v^{t}\right)$ を変換した階層コード $\left(\boldsymbol{C}^{s}, \boldsymbol{C}^{t}\right)$ を用いる。ふたつの 階層コードを比較すると, その結果はかならず, 包含・一致・その他のいずれかになる．上位下位関係 の定義 3.1 より, 判定関数 RELATION は Algortithm 1 として実装できる. したがって上位下位関係にあ る確率 $P(s \prec t)$ は, 判定関数が包含 $(=1)$ を返す期待值となる。同様に，非上位下位関係の確率 $P(s \nprec t)$ は，判定関数がその他 $(=-1)$ を返す期待值となる.

$
\begin{aligned}
& P(s \prec t)=\underset{P\left(\boldsymbol{C}^{s}\right), P\left(\boldsymbol{C}^{t}\right)}{\mathbb{E}}\left[\operatorname{RELATION}\left(\boldsymbol{C}^{s}, \boldsymbol{C}^{t}\right)=1\right] \\
& P(s \nprec t)=\underset{P\left(\boldsymbol{C}^{s}\right), P\left(\boldsymbol{C}^{t}\right)}{\mathbb{E}}\left[\operatorname{RELATION}\left(\boldsymbol{C}^{s}, \boldsymbol{C}^{t}\right)=-1\right]
\end{aligned}
$

ただし実際には全桁の同時分布の期待值は扱えない ため，式 4 の擬似サンプルで近似的に計算する.

## 3.4 目的関数

変換器（エンコーダ）を最適化する際の目的関数 は, 上位下位関係の識別, 再構築損失, 非ゼロ桁数

と分散表現の相互情報量の重み付き和とする. 原理的には上位下位関係の識別のみを最適化すればよい が，再構築損失および相互情報量を補助的に併用す ることで，コードの分散を促す $[10,11]$.

$
L=L_{h}+\alpha L_{\text {reconst }}+\beta L_{\mathrm{mi}}
$

上位下位関係の識別に対する目的関数 $L_{h}$ は，ク ロスエントロピー誤差として定義する。

$
L_{h}=\sum_{s_{i}, t_{i}, y_{i} \in \mathbb{H}^{+} \cup H_{-}^{-}} y_{i} P(s \prec t)+\left(1-y_{i}\right) P(s \nprec t)
$

ただし $\mathbb{H}^{+}=\left(s_{i}, t_{i}, y_{i}=1\right)$ は, 語彙知識に含まれる 上位下位語ぺアである. また $\mathbb{H}^{-}=\left(s_{i}, t_{i}, y_{i}=0\right)$ は, $\mathbb{H}^{+}$から機械的に生成した非上位下位語ペアである (3.5 節で述べる).

再構築損失に対する目的関数 $L_{\text {reconst }}$ は, 階層コー ドから再構築した分散表現と, オリジナルの分散表現との L2 誤差として定義する。

$
\begin{gathered}
L_{\text {reconst }}=\sum_{i \in \mathbb{V}}\left.\|\hat{\boldsymbol{v}}_{i}-\boldsymbol{v}_{i}\right.\| \\
\hat{\boldsymbol{v}}=\frac{\|\boldsymbol{v}\|}{\left.\|\hat{\boldsymbol{v}}^{\prime}\right.\|} \hat{\boldsymbol{v}}^{\prime}, \hat{\boldsymbol{v}}^{\prime}=\sum_{d=0}^{N-1} \sum_{a=0}^{M-1} \hat{c}_{d, a} \boldsymbol{e}_{d, a}
\end{gathered}
$

ただし $\mathbb{V}$ は，単語分散表現の語彙である. また $\boldsymbol{e}_{d, a}$ は, $d$ 桁目の值 $a$ に割り当てた基底ベクトルである.基底ベクトルは他のモデルパラメータと同様に, 訓練時に最適化する.

非ゼロ行数と分散表現の相互情報量に対する目的関数 $L_{\mathrm{mi}}$ は, 階層コードから求まる非ゼロ桁数と,単語分散表現との相互情報量として定義する。

$
L_{\mathrm{mi}}=-\mathrm{I}(S ; V), S=\text { length }(\hat{\boldsymbol{C}})
$

ただし length(.) は, 非ゼロ桁数を返す関数である.

## 3.5 非上位下位語ペア（負例）の生成

語彙知識から得られるのは上位下位語ぺアのみで ある、そこで順序反転および乱択を用いて，個別の 上位下位語ペアから 5 つの非上位下位語ペアを生成 する. 順序反転は単語順序の交換, 乱択は片方の単語をランダムサンプリングした単語と交換する操作である. 乱択は, $30 \%$ の確率で分散表現の最近傍 100 語から, $70 \%$ の確率で全語彙からサンプリング する. 非上位下位語ペアの生成例を表 1 に示す.

## 4 実験

先行研究 $[5,6]$ に倣い, 分類タスク 3 種類: BLESS-hyponymy, WBLESS, BIBLESS および, ラン表 1 非上位下位語ペアの生成

キングタスク 1 種類: HyperLex を用いて提案手法を 評価する。これらの 4 つのタスク詳細および評価方法を付録 $\mathrm{B}$ に掲載した。また，提案手法のモデルの 学習における詳細な実験設定を付録 $\mathrm{C}$ に掲載した。

表 2 に，提案手法の性能および先行研究との比較 を示す. 提案手法は, 分類タスクにおいて高い性能 を示し, 特に BLESS-hyponymy および BIBLESS で は先行研究の最高精度をそれぞれ 1.4 ポイントおよ び 0.6 ポイント上回った. Nguyen ら [5] は本研究と よく似た語彙知識（WordNet から抽出した上位下位関係）を実験に用いているが，彼らの手法をべース ラインとすると，提案手法は 5 から 7 ポイントの性能改善を示している.また Vulic ら [6] の実験は上位下位に加えて同義・対義関係も利用しているが,提案手法は彼らと同程度あるいは 1 から 2 ポイント の性能改善を示している. これらの結果は, 語彙知識の量が同等ならば，提案手法は語彙知識を活用す る効率が高いことを示唆している.

一方，ランキングタスク（HyperLex）では提案手法は先行研究の最高精度を 10 ポイント以上下回っ た. この要因としては, 最適化に用いる目的関数 の影響が考えられる。提案手法は上位下位関係識別のクロスエントロピー誤差を最小化するため,正例は 1 , 負例は 0 に近づけようとする。一方で Athiwaratkun ら [8] やVulic らの手法ではヒンジ損失 を最小化するため, マージン以下の誤差は許容され る.また Vulic らの実験は, 前述のとおり同義・対義関係も用いることに留意が必要である.

## 5 考察

## 5.1 分類タスクの誤り分析

WBLESS およびBIBLESS の負例は，同位・全体—部分など様々な意味関係の単語ぺアから構成され ている。意味関係ごとに評価した性能を，表 3 に示 す. 提案手法は, 全体一部分関係および部分一全体関係の正解率が相対的に低いことがわかる. すなわ ち提案手法は (fox,mouth) や (radio,wire) のような単
表 2 提案手法の性能および先行研究との比較. 提案手法は 5 回の試行による平均および標準偏差（カッコ内の数値）を 報告.太字は先行研究の精度を上回る事例.

 & 0.86 & - & 0.512 \\

図 2 ランキングタスクの意味関係ごとの順位分布. 順位は全サンプル数で正規化. 意味関係のカッコ内の数值は上位語・下位語間のホップ数を表す

表 3 分類タスクの意味関係ごとの性能（正解率）

語ペアを，上位下位関係と誤認しやすいのである. なお WBLESS の部分一全体関係は精度が高いこと から，全体語を部分語よりも意味階層の上位だと捉 える（=非ゼロ桁数を少なくする）ことはできてい るが, 誤って同一のコードを割り当ててていること が示唆される. この要因としては, 非上位下位語ぺ アの生成で全体一部分関係が出現しにくいことが考 えられる. 乱択により生成される単語ぺアは無関係 または意味的類似性が高いかのいずれかだが，全体—部分関係は必ずしもこれらに当てはまらない.

## 5.2 ランキングタスクの誤り分析

HyperLex の単語ペアは（xBLESS と同様に）様々 な意味関係の単語ぺアから構成されている. 意味関係ごとにランキング順位の分布を可視化した結果 を，図 2 に示す. 提案手法は，上位一下位・同義 $\cdot$下位一上位については, 平均的には正しい順序付け
ができているが，しばしば正解よりもばらつきが大 きいことがわかる. また対義関係については，上位下位らしさを過大評価していることがわかる.この 要因としては, 分類タスクの誤り分析と同様に, 非上位下位語ペアの生成で対義関係が出現しにくいこ とが考えられる. Vulic らの実験のように，対義関係を明示的な負例に用いることで，性能改善の余地 があるかもしれない.

## 6 まとめ

本研究では，単語分散表現を階層コード表現に変換して，コードを比較して単語ぺアの上位下位関係 らしさを計量する手法を提案した。また提案手法は 上位下位関係の分類タスクで既存手法を上回る性能 であることを報告した。また誤り分析からは全体—部分関係および対義関係の誤差が大きいことがわ かった。これらは手法そのものよりも, 非上位下位語ペアの与え方が要因になっている可能性がある. したがって, 提案手法をさらに多様なデータセット および語彙知識を用いて評価していきたい.

謝辞 本研究は JSPS 科研費 $19 \mathrm{H} 01118$ の助成を受 けた。

## 参考文献

[1] Ido Dagan, Dan Roth, Mark Sammons, and Fabio Massimo Zanzotto. Recognizing Textual Entailment: Models and

Applications. Synthesis Lectures on Human Language Technologies. Morgan \& Claypool Publishers, 2013.

[2] Or Biran and Kathleen R. McKeown. Classifying taxonomic relations between pairs of wikipedia articles. In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 788-794, 2013.

[3] Georgeta Bordea, Els Lefever, and Paul Buitelaar. Semeval-2016 task 13: Taxonomy extraction evaluation (TExEval-2). In Proceedings of the 10th International Workshop on Semantic Evaluation, pp. 1081-1091, 2016.

[4] José Camacho-Collados. Why we have switched from building full-fledged taxonomies to simply detecting hypernymy relations. CoRR, Vol. abs/1703.04178, , 2017.

[5] Kim Anh Nguyen, Maximilian Köper, Sabine Schulte im Walde, and Ngoc Thang Vu. Hierarchical embeddings for hypernymy detection and directionality. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 233-243, 2017.

[6] Ivan Vulic and Nikola Mrksic. Specialising word vectors for lexical entailment. In Marilyn A. Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1134-1145, 2018.

[7] Ivan Vendrov, Ryan Kiros, Sanja Fidler, and Raquel Urtasun. Order-embeddings of images and language. In Yoshua Bengio and Yann LeCun, editors, 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings, 2016.

[8] Ben Athiwaratkun and Andrew Gordon Wilson. Hierarchical density order embeddings. In Proceedings of the 6th International Conference on Learning Representations, 2018.

[9] Xiang Li, Luke Vilnis, Dongxu Zhang, Michael Boratko, and Andrew McCallum. Smoothing the geometry of probabilistic box embeddings. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[10] Raphael Shu and Hideki Nakayama. Compressing word embeddings via deep compositional code learning. In Proceedings of the 6th International Conference on Learning Representations, 2018.

[11] Weihua Hu, Takeru Miyato, Seiya Tokui, Eiichi Matsumoto, and Masashi Sugiyama. Learning discrete representations via information maximizing self-augmented training. In Proceedings of the 34th International Conference on Machine Learning, pp. 1558-1567, 2017.

[12] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[13] Maximilian Nickel and Douwe Kiela. Poincaré embeddings for learning hierarchical representations. In $A d$ vances in Neural Information Processing Systems 30, pp. 6338-6347, 2017.

[14] Sarthak Dash, Md. Faisal Mahbub Chowdhury, Alfio Gliozzo, Nandana Mihindukulasooriya, and Nicolas Rodolfo Fauceglia. Hypernym detection using strict partial order networks. In Proceedings of the 34th AAAI Conference on Artificial Intelligence, pp. 7626-7633.

[15] Douwe Kiela, Laura Rimell, Ivan Vulic, and Stephen Clark. Exploiting image generality for lexical entailment detection. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, pp. 119-124, 2015.

[16] Julie Weeds, Daoud Clarke, Jeremy Reffin, David J. Weir, and Bill Keller. Learning to distinguish hypernyms and co-hyponyms. In COLING 2014, 25th International Conference on Computational Linguistics, Proceedings of the Conference: Technical Papers, pp. 2249-2259, 2014.

[17] Ivan Vulic, Daniela Gerz, Douwe Kiela, Felix Hill, and Anna Korhonen. Hyperlex: A large-scale evaluation of graded lexical entailment. Computational Linguistics, Vol. 43, No. 4, 2017.

[18] Tomas Mikolov, Edouard Grave, Piotr Bojanowski, Christian Puhrsch, and Armand Joulin. Advances in pre-training distributed word representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[19] Pierre Foret, Ariel Kleiner, Hossein Mobahi, and Behnam Neyshabur. Sharpness-aware minimization for efficiently improving generalization. CoRR, Vol. abs/2010.01412, , 2020 .
表 4 提案手法により得られた階層コード 単語階層コード

## A 階層コードの実例

提案手法により得られた階層コードの一部を，表 4 に示す. 提案手法を用いると，任意の単語分散表現を階層コードに変換して，上位下位関係を推論で きるようになる。実際に単語ぺアの上位下位関係を 推論する際には各枌の条件付確率 $P\left(C_{d} \mid C_{<d}\right)$ を用い る（3.3 節を参照）のだが，ここではわかりやすさ のために $\operatorname{argmax}$ を取って離散化したものを示して いる.

## B 分類タスクおよび評価方法

分類タスクは, BLESS-hyponymy [15], WBLESS [16], BIBLESS の 3 種類を用いる. BLESShyponymy は上位下位語ぺアのうちどちらが上位語 かの 2 值分類, WBLESS は上位下位関係・その他の 2 值分類, BIBLESS は上位下位関係・下位上位関係・ その他の 3 值分類の精度を評価する. 推論は, 式 6 で定義した上位下位関係にある確率 $P(s \prec t)$ を用い て行う. BLESS-hyponymy は $P(s \prec t)$ と $P(t<s)$ の 大きい方を採択, WBLESS は $P(s<t)$ をしきい値と 比較, BIBLESS は最初に $\max \{P(s \prec t), P(t<s)\}$ を しきい值と比較してから, $P(s<t)$ と $P(t<s)$ の大 きい方を採択する。しきい值は validation data に最適化する。また validation/test split は, [5] と同様に, データセットからそれぞれ $2 \%, 98 \%$ を乱択する. 評価指標は test data の accuracy である. validation/test split を 1,000 回実施して平均値を報告する.

ランキングタスクは, HyperLex [17] を用いる. 与 えられた単語ぺアを上位下位関係らしさの高い順に 順序付けして, アノテータが付与した順序との一致度を評価するタスクである. 推論は $P(s<t)$ の値が 大きい順に順序付けする．評価指標はスピアマンの 順位相関である。

## C 提案手法の学習

階層コードへの変換器（エンコーダ）を訓練す るための語彙知識および単語分散表現は, 先行研究 [5] に倣って, WordNet から抽出した上位下位関係および，事前学習ずみ fastText モデルを用いる.

上位下位関係は, WordNet 上で直接・間接の"is-a"関係にあるすべてのレンマのぺアを抽出する。その うえで，評価タスクのデータセット（xBLESS およ び HyperLex）と重複するぺアを削除する.サンプル 数は，名詞ペアが $2,158,824$ 件，動詞ペアが 162,706 件となった。

事前学習ずみ fastText モデルは, Mikolov ら [18] が 配布するサブワード情報付きモデル3)を用いる．次元数は 300 , 語彙数は 100 万である.レンマから単語分散表現への変換は，大文字・小文字を区別す る.また"dog_food"のようにレンマが複数の単語か らなる場合は，全単語の算術平均を取る。

目的関数の最適化は，ミニバッチによる確率勾配法を用いる． $L_{h}$ のミニバッチサンプル数は, 正例 200 件・負例 1,000 件である. $L_{\text {reconst }} L_{\mathrm{mi}}$ のミニバッ チサンプル数は, 1,000 件である. 最適化アルゴ リズムは Sharpness-aware Minimization Optimizer [19] を用いる. 式 7 で示した目的関数の重み付き和は $\alpha=5.0, \beta=0.05$ とする. 階層コードの容量は, 8 進 16 桁とする.