# 極座標を用いた階層構造埋め込み

岩本蘭
慶應義塾大学
r.iwamoto@keio.jp
}

小比田涼介
日本アイ・ビー・エム株式会社 東京基礎研究所
kohi@ibm.com

## 1 はじめに

実世界の階層構造を表現することは自然言語処理 の多くのタスクにとって重要である $[1,2]$. 近年単語の階層構造を埋め込んだ分散表現の研究が活発に 行われ $[3,4]$ ，その中でも双曲空間を用いた分散表現が話題になった $[5,6,7]$. 双曲空間は体積が原点 からの距離に応じて指数関数的に広がるため低次元で階層構造を表現するのに適している. しかし双曲埋め込みを用いる際には応用タスクのモデルも 双曲空間で動作するように変更する必要があり [8], ユークリッド空間で学習された多くの手法を活用 することが難しい [9]. そこで我々は汎用性の高い ユークリッド空間で分散表現を学習する。

本稿では極座標を用いて単語を図 1 のよう に低次元のユークリッド空間に埋め込む Polar Embedding について述べる. Polar Embedding では 単語の抽象度を半径 (原点からの距離) で，類似度を角度で表現する。極座標の特徵を活かしな がら角度を最適化するために Welsch 損失 [10] と Stein Variational Gradient Descent (SVGD) [11]を用い る. WordNet の link prediction タスクで性能評価を行 い, Polar Embedding は低次元ユークリッド空間で学習された既存の分散表現より高精度を達成し, 双曲空間の分散表現と同等の性能を達成した。

## 2 Polar Embedding

Polar Embedding では極座標の半径と角度を用いて 単語を表現する．本節ではまず極座標での単語べク トルの定義について述べ，その後角度の最適化につ いて述べる。

ユークリッドノルムを $\|\cdot\|$, 半径を $r_{\text {max }} \in \mathbb{R}$ とす る. 単語 $w$ は $n$ 次元の開球 $\mathscr{W}^{n}=\left.\{\mathbf{w} \in \mathbb{R}^{n} \mid\|\mathbf{w}\|<\right.$ $\left.r_{\max }\right.\}$ 内の極座標べクトル $\mathbf{w}=\left(r, \theta, \varphi^{1}, \varphi^{2}, \ldots, \varphi^{n-2}\right)$ で表現される. ここで $r \in\left(0, r_{\max }\right), \theta \in[0,2 \pi), \varphi^{k} \in$ $(0, \pi), k=1,2, \ldots, n-2$ である. 例えば， 3 次元極座標での角度は図 2 のように表される。

図 1: Polar Embedding の概要. 半径を用いて単語の 抽象度を，角度を用いて類似度を表現する。

## 2.1 半径

半径 $r$ は単語の抽象度を表す. 一般的には具体的 な単語のほうが抽象的な単語よりも多いため, 具体的な単語を空間の中心から離れた場所に配置する ことで空間を効率的に使う．例えば，“bulldog”や “wooden chair" より “mammal" や“furniture” のほうが 抽象度が高いため $r$ を小さく設定する. 半径 $r$ は頻度情報などを用いて定めることができる. 本論文で は $r$ は学習せず，WordNet 内のエッジや，その単語 と上位下位ぺアとなる単語の多さから求める.

## 2.2 角度

角度 $\left(\theta, \varphi^{k}\right)$ は単語の類似度を表す. 既存の分散表現と同様に，類似した意味を持つ語同士は近く， そうでない語は遠くなるように角度を学習する。極座標は図 3 のように角度の範囲が制限されているた め, $r=1$ とすると, $\theta$ は円周上で， $\varphi^{k}$ は半円上で最適化される。

2 つの単語 $w_{i}, w_{j}$ があるとき, $\theta$ は図 3 の左図のよ うに $[0,2 \pi)$ の円周上を動く. $\theta_{w_{i}}$ と $\theta_{w_{j}}$ の距離は円周上の短いほうの弧とし，以下のように定義する。

$
d\left(\theta_{w_{i}}, \theta_{w_{j}}\right)=\min \left(2 \pi-\left|\theta_{w_{i}}-\theta_{w_{j}}\right|,\left|\theta_{w_{i}}-\theta_{w_{j}}\right|\right)
$

角度 $\varphi^{k} \in(0, \pi)$ は図 3 の右図のように半円上を動 き, $\varphi_{w_{i}}^{k}$ と $\varphi_{w_{j}}^{k}$ の距離は次式で表す.

$
d\left(\varphi_{w_{i}}^{k}, \varphi_{w_{j}}^{k}\right)=\left|\varphi_{w_{i}}^{k}-\varphi_{w_{j}}^{k}\right|, \forall k \in\{1, n-2\}
$

図 2: 3 次元極座標で の角度の定義

意味が似ている単語ぺアの角度はそれぞれの次元 において，上で定義した距離を小さくする方向に最適化される。極座標での角度の最適化には少し工夫 を加える必要がある. 低次元ユークリッド空間の超球面，つまり小さな空間で角度を最適化する場合，単語が空間内の一部分に集中しすぎないよう補正を 加え，限られた空間を効率的に使いたい，それを実現するための最適化手法を紹介する。

## 2.3 角度の最適化

本節では角度の最適化について述べる. デカルト 座標と異なり，極座標の角度は次元ごとに値域が制限されている。一般的に用いられる二乗誤差関数 $y=x^{2}$ は, 図 4 の黒い線で示すように $x$ が大きいほ ど $y$ が大きくなり，すでに距離が十分離れている単語に対しても単語を遠ざける力が強い. そのため, negative sampling の際に単語が互いに遠ざかりすぎ て角度が值域の端にたまってしまう，すなわち単語 が極に集中する現象が生じる. 低次元空間を有効に 使うためには，空間内に単語がばらけて分布するよ うにしたい。単語をばらけたままにしながら最適化 を行うために, 図 4 の青い線で示す Welsch 損失 [10] と，単語の分布を超球面上での一様分布にする Stein Variational Gradient Descent (SVGD [11]) を用いる.

Welsch 損失 Welsch 損失 $\mathscr{L}_{w}(d)$ は図 4 の青線の ように角度の勾配に制限があり， $d$ が大きいと勾配 は小さくなる。そのため単語同士が似ていない，つ まりすでに十分角度の差が大きい時には更新の値が 小さくなる仕組みになっている.

Welsch 損失は次のように定義される.

$
\mathscr{L}_{w}(d)=\frac{c^{2}}{2}\left[1-\exp \left(-\frac{d^{2}}{2 c^{2}}\right)\right]
$

$d$ は式 1 で示した 2 つの単語のある次元の角度の差, $c$ はパラメータである. 勾配は次式で表される.

$
\frac{\partial \mathscr{L}_{w}(d)}{\partial d}=\frac{d}{2} \exp \left(-\frac{d^{2}}{2 c^{2}}\right)
$

図 4: Welsch 損失 (青) と二乗誤差関数 (黒) の概形 (左) と勾配 (右)

SVGD 低次元のユークリッド空間をより効率的 に使う，つまり単語の類似関係を表現しつつ $(r=1$ としたときに) 超球面上に単語をばらつかせるため にSVGDを用いる。

SVGD では再生核ヒルベルト空間 $\mathscr{H}^{d}$ で理想分布 $p$ と現在の分布 $q$ の Kernelized Stein Discrepancy (KSD) $S(\cdot, \cdot)$ を次式のように定義し, KSD を最小化 することによって KL divergence を最小化する。

$
\mathcal{S}(q, p)=\max _{\phi \in \mathscr{\mathscr { H } ^ { d }}}\left.\{\mathbb{E}_{x \sim q}\left[\mathscr{A}_{p} \phi(x)\right]\right.\}
$

ここで $A_{p} \phi(x)=\phi(x) \nabla_{x} \log p(x)+\nabla_{x} \phi(x)$ であり, 式 5 の最適解は次のように得られる。

$
\phi_{p}^{*}\left(x^{\prime}\right)=\mathbb{E}_{x \sim q}\left[\kappa\left(x, x^{\prime}\right) \nabla_{x} \log p\left(x^{\prime}\right)+\nabla_{x} \kappa\left(x, x^{\prime}\right)\right]
$

$\kappa: ~ X \times X \rightarrow \mathbb{R}$ は一定の条件を満たす正定值 カーネルであり, 例えば $\mathrm{RBF}$ カーネル $\kappa\left(x, x^{\prime}\right)=$ $\exp \left(-\gamma\left.\|x-x^{\prime}\right.\|^{2}\right)$ が当てはまる. SVGD は Welsch loss を用いた訓練の試行回数ごとに行われる. 超球面上に単語が一様に分布するときのそれぞれの次元 の角度分布 (理想分布) を数式で表すことは難しいの で, Gaussian Mixture model (GMM) で近似した分布 を理想分布として用いる。

## 3 実験

我々は WordNet の mammal/noun subtree [12]を用 いて分散表現を学習した. Polar Embedding の定性的/定量的評価と，角度の最適化に用いた Welsch 損失と SVGD の効果について検証した。

## 3.1 データセット

mammal/noun subtree は WordNet のツリーから単語 ペアを抽出したデータセットで，単語ペア $\left(w_{i}, w_{j}\right)$ の間にエッジが存在するとき， $w_{i}$ は $w_{j}$ の上位語で ある. mammal subtree には 6540 ペア, noun subtree に は 743300 ペアが含まれる. 双曲空間の分散表現の 定量評価として多く用いられる link prediction [5,13]

図 5: WordNet mammal subtree で学習した Polar embedding表 1: WordNet noun subtree での link prediction タスクの結果. (E) と $(\mathrm{H})$ はユークリッド空間と双曲空間を表す.

は， noun subtree の単語ペアの間にエッジが存在す るかを予測することで，分散表現が単語間の階層構造をどの程度埋め込んでいるかを検証するタスクで ある.

まず mammal subtree で 2 次元の Polar Embedding を学習し定性的評価を行い，その後 noun subtree を 用いて link predictionを行った.

## 3.2 実験設定

ここでは Polar Embedding の実験設定について述 べる. Polar Embedding では半径 (抽象度) と角度 (類似度) は別々のパラメータで表されるため, 半径 $r$ を WordNet のエッジの深さから求め, 角度をエッジ でつながった単語ぺアの集合から学習した。

半径の設定 WordNet $の \mathrm{mammal} /$ noun subtree $の$ データセット全体からエッジの深さを推定する $r^{g}$ と, 訓練データの単語ペアのみからエッジの深さを 推定する $r^{e}$ を作成した. 単語 $w_{i}$ の半径 $r^{e}$ は, エッ ジの数 $e_{i}$ を用いて $r_{i}^{e}=1-z\left(\log \left(e_{i}+1\right)\right)$ と定義し, $r^{g}$ は階層中の子の数 $l_{i}$ とツリ一の最大高さ $h_{i}$ を用 いて $r_{i}^{g}=1-z\left(h_{i}+\log \left(l_{i}+1\right)\right)$ と定義する. $z$ は正規化関数であり $, r^{e}, r^{g}$ とも 0,1 の範囲をとる.

直感的に表現すると, $r^{g}$ のほうがより多くの情報 から半径を作成していて，ツリーの根の近くにあり 多くの子を持つ単語の抽象度が高い. それに対して $r^{e}$ では多くの単語とつながっている単語の抽象度が 高い. 実用的には $r$ は頻度情報など単語の抽象度を 表す他の尺度でも代用することができる。

角度の学習 角度を学習する際にはエッジでつな がった語同士は positive sample, そうでない語のぺア
は negative sample とした. mammal subtree では 2 次元 (角度の次元は 1), noun subtree では既存研究に倣 い 5 次元と 10 次元 (角度の次元は 4 または 9)の分散表現を学習した。

評価関数 ある単語ぺアが上位下位関係にあるか どうかには，単語の抽象度と類似度の両方が関係す ると仮定する．そこで，まず次のように類似度を評価する関数 $s_{a}$ と単語の抽象度 (半径) の差を評価す る関数 $s_{r}$ の 2 つを用意した。

$
\begin{aligned}
s_{a}\left(w_{i}, w_{j}\right) & =\frac{f\left(w_{i}\right) \cdot f\left(w_{j}\right)}{\left.\|f\left(w_{i}\right)\right.\|\left.\|f\left(w_{j}\right)\right.\|} \\
s_{r}\left(w_{i}, w_{j}\right) & =\left|r_{i}-r_{j}\right|
\end{aligned}
$

$f$ は極座標からデカルト座標への変換 [14]を表す. ある単語ペアの間にエッジが存在するとき，2つの 単語 $w_{i}$ と $w_{j}$ のなす角 (類似度) が一定以上小さく, 2 つの単語の半径の差 (抽象度の差) が一定以上大き いと仮定する. エッジが存在するかどうかの分類は $s_{a}$ と $s_{r}$ を組み合わせ， validation データを用いて決定した閾値 $\tau$ を用いて次式のように判定した。

$
s\left(w_{i}, w_{j}\right)= \begin{cases}1 & \text { if } s_{a}\left(w_{i}, w_{j}\right)>1-\tau s_{r}\left(w_{i}, w_{j}\right)^{2} \\ 0 & \text { otherwise }\end{cases}
$

## 4 結果と分析

## 4.1 Mammal Subtree

WordNet mammal subtree で 2 次元の Polar Embedding を学習した結果を図 5 に示す。単語は角度の偏りな く分布し, 様々な階層構造を見つけることができる。例えば, “cat”と “dog”は “carnivore”の下位語であり，

(a) 二乗誤差

(b) Welsch 損失

(c) Welsch 損失 + SVGD

図 6: WordNet noun subtree で学習した 5 次元分散表現の 2 次元部分

“carnivore”から見た扇形の中に存在する.さらに “dog” の下位語である “hunting dog” “terrier” との 階層関係や “lion” と “wildcat” が “cat” の下位語であ ることが読み取れる。種の階層性も埋め込まれてお $り$ ，例えば "aquatic mammal" $\rightarrow$ "cetacean" $\rightarrow$ "seal", “dolphin”という関係性や "primate" $\rightarrow$ "monkey" $\rightarrow$ "gorilla”, “ape”といった関係性が読み取れる. 抽象度の差を考慮せず，類似度のみを考慮したい場合は 既存の分散表現と同様に $\cos$ 類似度で単語間の関係 を評価すればよく，Polar Embedding では用途に応じ て類似度と抽象度を組み合わせることができる。

## 4.2 Noun Subtree

WordNet noun subtree での link prediction の結果を 表 1 に示す. 性能評価として F1 スコアを用い，比較手法としてユークリッド空間の分散表現 (Order, Cone, Disk) とユークリッド距離を最小化する分散表現 (Simple) [13], 双曲空間の分散表現 (Poincaré, Cone, Disk) [4, 5, 13] を用いた.

5 次元の場合では Polar Embedding は $r^{g}, r^{e}$ どちら の場合でも既存手法より優れた性能を発揮してい る. また, 訓練に使用したエッジの割合が小さい時 は，ユークリッド空間よりも双曲空間の分散表現 とも同等の性能である. 10 次元の時には他のユー クリッド空間の分散表現と大きな差はないが同等 の性能を達成している. これらの結果から, Polar Embedding は低次元 (5 次元) のユークリッド空間で の性能は十分高いが，次元が増加した時の性能の伸 び率の改善が今後の課題であることがわかる.

次に Welsch 損失と SVGD が角度の最適化に与え た影響を 5 次元の Polar Embedding を用いて分析し た.まず $r$ と $\theta$ の 2 次元のみを図 6 に示す. 二乗誤表 2: Welsch 損失と SVGD の評価実験.

差 (図 6a)のみで学習した際は単語が左右に寄って いるが, Welsch 損失 (図 6b)を用いると単語の分布が 二乗誤差よりはばらけているのがわかる. Welsch 損失 $+\operatorname{SVGD}$ (図 6c)では円周上に一様に分布している.

定量評価を表 2 に示す. link prediction で訓練エッ ジ $10 \%, r=r^{g}$ の設定で行った実験では, Welsch 損失を用いた場合二乗誤差よりも性能が高く，SVGD と Welsch 損失を両方用いたほうがさらに高い F1 ス コアを達成している。これらの結果から，低次元の ユークリッド空間を有効に使うことが性能の向上に 寄与していると考えられる。

## 5 結論

本論文では単語を極座標で表現する Polar embedding を提案した. 単語の抽象度を半径で，類似度を角度で表現することにより抽象度と類似度 を分けて最適化し，極座標で角度をうまく最適化 するために Welsch 損失と SVGDを用いた。単語が 極周辺に集まりすぎる現象を防ぐことで低次元の ユークリッド空間を有効に活用した提案法は， link prediction タスクで既存手法のユークリッド空間で 作成された分散表現を上回る精度を達成した. 今後 の展望として教師無し学習や高次元への拡張，半径 の学習が挙げられる.

## 参考文献

[1]Oktie Hassanzadeh, Debarun Bhattacharjya, Mark Feblowitz, Kavitha Srinivas, Michael Perrone, Shirin Sohrabi, and Michael Katz. Answering binary causal questions through large-scale text mining: An evaluation using cause-effect pairs from human experts. In IJCAI, 2019.

[2]Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In $A C L$, page 4149-4158.

[3]Luke Vilnis and Andrew McCallum. Word Representations via Gaussian Embedding. In ICLR, 2015.

[4]Ivan Vendrov, Ryan Kiros, Sanja Fidler, and Raquel Urtasun. Order-Embeddings of Images and Language. In ICLR, 2016.

[5]Maximillian Nickel and Douwe Kiela. Poincaré Embeddings for Learning Hierarchical Representations. In NeurIPS, pages 6338-6347. 2017.

[6]Bhuwan Dhingra, Christopher Shallue, Mohammad Norouzi, Andrew Dai, and George Dahl. Embedding Text in Hyperbolic Spaces. In Proceedings of the Workshop on GraphBased Methods for Natural Language Processing, pages 5969, 2018.

[7]Alexandru Tifrea, Gary Becigneul, and Octavian-Eugen Ganea. Poincare Glove: Hyperbolic Word Embeddings. In ICLR, 2019.

[8]Octavian Ganea, Gary Becigneul, and Thomas Hofmann. Hyperbolic neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, NeurIPS, pages 5345-5355. 2018.

[9]Lun Du, Zhicong Lu, Yun Wang, Guojie Song, Yiming Wang, and Wei Chen. Galaxy Network Embedding: A Hierarchical Community Structure Preserving Approach. In IJCAI, pages 2079-2085, 2018.

[10]John E. Dennis and Roy E. Welsch. Techniques for nonlinear least squares and robust regression. Communications in Statistics - Simulation and Computation, 7(4):345-359, 1978.

[11]Qiang Liu, Jason Lee, and Michael Jordan. A kernelized stein discrepancy for goodness-of-fit tests. In ICML, pages 276-284, 2016

[12]George A. Miller. WordNet: A Lexical Database for English. Coтmиn. ACM, 38(11):39-41, 1995.

[13]Octavian.-E. Ganea, Gary. Becigneul, and Thomas. Hofmann. Hyperbolic Entailment Cones for Learning Hierarchical Embeddings. In ICML, pages 1646-1655, 2018.

[14]LE Blumenson. A derivation of n-dimensional spherical coordinates. The American Mathematical Monthly, 67(1):6366, 1960
 岩本蘭 慶應義塾大学 r.iwamoto@keio.jp }  小比田涼介 日本アイ・ビー・エム株式会社 東京基礎研究所 kohi@ibm.com  