# 単語ベクトルの平行四辺形を特徵づける図形距離

前田晃弘 ${ }^{1}$ 鳥居拓馬 ${ }^{2}$ 日高昇平 1
1 北陸先端科学技術大学院大学 2 東京電機大学
\{akihiro.maeda,shhidaka\}@jaist.ac.jp tak.torii@mail.dendai.ac.jp

## 概要

単語の意味的・統語的関係を表わす単語ベクトル が四項類推課題を解くことはよく知られている．そ のベクトル演算は類推関係にある単語べクトルが平行四辺形をなしていることを示唆している.これに 着目して高次元空間にある単語ベクトルの配置を図形の幾何的性質により特徴づけることを試みる。四 つの単語からなる単語群の平行四辺形らしさを測定 するメトリックとして図形距離を提案し，これを用 いて類推関係にある単語群が平行四辺形に近い配置 にあることを実証する。図形距離は単語群の関係性 を定量的かつ精緻に特徴づける性能を有しており，新たな研究ツールとなるとともに言語構造の解明に 幾何的にアプローチすることを可能にする.

## 1 はじめに

## 1.1 単語ベクトルによる四項類推課題

単語埋め込み（単語ベクトル）は単語間の意味的・統語的関係を表していることが知られ，四項類推課題はその代表的な現象である. 例えば， king:queen::man:woman のような類推関係に対して, それぞれの単語べクトル間に $\boldsymbol{v}_{\text {king }}-\boldsymbol{v}_{\text {queen }}+\boldsymbol{v}_{\text {woman }} \approx$ $v_{\text {man }}$ という演算が成り立つ. Mikolov et al. [1] 等の 先行研究では典型的にコサイン類似度により両辺が 比較されるが, 同時に king:man::queen:woman の語順の平行関係も成り立つことから四項類推関係は平行四辺形の存在を示唆すると考えられる $[2,3]$.

## 1.2 平行四辺形は存在するか？

単語ベクトルは高次元空間の点であるが，その 4 点が平行四辺形のような平面図形をなしているとは どの様な状態であろうか. ユークリッド距離やコサ イン類似度は 2 つの単語ベクトル間の関係性を評価 するものであるが，3 以上の単語間にも関係性や対称性があると考えられる。また構造言語学の立場か
らは単語の意味関係は絶対的なものではなく差異に より特徵づけられるとされる [4]. 図形のもつ幾何的性質を用いて高次元空間に住む単語べクトルの集 まりが持つ関係性を特徴づけたいというのが本研究 の動機である.

## 1.3 単語関係を幾何的に捉える

本研究では類推関係にある単語ベクトルが示唆す る平行四辺形に着目して, まず高次元ベクトル空間 における平行四辺形を数学的に定義する. その上で 四つの単語ベクトルが平行四辺形をなす条件を導出 して, 平行四辺形らしさを表す新しい指標として図形距離を提案する. さらに図形距離を実コーパスか ら生成された単語ベクトルに適用してその幾何的性質を定量的に評価する．単語ベクトル間の関係を 幾何的に捉えることで言語の豊かな対称性を抽出 する。

## 2 図形距離

## 2.1 高次元空間の平行四辺形

ユークリッド幾何における図形とは任意の相似変換によって不変に保たれる幾何学的性質を持つ対象 として定義される [5]. 従って，高次元空間内の図形も相似変換群の全ての変換に対して不変に保たれ る性質によって定義できる。

平面における平行四辺形は複数の性質1)を持つ が，本論文では高次元ベクトル空間における平行四辺形を次のように定義する。

定義 $d$ 次元ベクトル空間における 4 つのべクト ル $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ について,

$
\mathbf{x}_{1}-\mathbf{x}_{2}=\mathbf{x}_{3}-\mathbf{x}_{4}
$

が成り立つ時 4 つのベクトルは平行四辺形をなす.

1） 平行四辺形は (i)2 組の対辺がそれぞれ平行，(ii) 1 組の対辺 が平行かつ同じ長さ，(iii)2 組の対角がそれぞれ等しい，(iv)対角線の中点が一致するという性質を持つ.

## 2.2 頂点の選び方

任意に与えられた 4 つのベクトルを定義の式 (1) にある $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ へ割り当てる選び方は $4 !=24$ 通 りあり, 頂点の置換は 4 次対称群 $S_{4}$ をな. この うち式 (1)を不変とする置換は, ベクトルの添字を置換の対象として表せば $\{(14),(23)$, (12)(34）\}を生成元とする $S_{4}$ の部分群である. 位数は $2 \times 2 \times 2=8$ で あるので，4つの頂点に対して異なる四角形をなす 頂点の選び方は $24 / 8=3$ 通り存在する.

図 1 は， 3 通りの頂点の選び方に対応した平行四辺形を表しており，パタン 1 は $\mathbf{x}_{1}$ と $\mathbf{x}_{4}$ が対角とな る頂点の選び方であり, パタン 2 では $\mathbf{x}_{1}$ と $\mathbf{x}_{3}$ が対角, パタン 3 では $\mathbf{x}_{1}$ と $\mathbf{x}_{2}$ が対角をなす.

図 1 四角形の頂点の選び方

## 2.3 平行四辺形の必要十分条件

4 つの単語 $w_{1}, w_{2}, w_{3}, w_{4}$ を表す単語ベクトルをそ れぞれ $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4} \in \mathbb{R}^{d}$ とし, 行方向に沿って並べ た行列 $X=\left[\begin{array}{llll}\mathbf{x}_{1} & \mathbf{x}_{2} & \mathbf{x}_{3} & \mathbf{x}_{4}\end{array}\right]$ を単語べクトル群と呼ぶ. $X$ は $d$ 行 4 列の行列である. このとき単語ベクトル 群 $X$ が定義 (1)を満たすための必要十分条件は, 3 つの頂点の選び方を考慮して

$
\mathbf{p}_{1}=\left[\begin{array}{c}
1 \\
-1 \\
-1 \\
1
\end{array}\right], \quad \mathbf{p}_{2}=\left[\begin{array}{c}
1 \\
-1 \\
1 \\
-1
\end{array}\right], \quad \mathbf{p}_{3}=\left[\begin{array}{c}
1 \\
1 \\
-1 \\
-1
\end{array}\right]
$

とすると，

$
X \mathbf{p}_{1}=\mathbf{0}_{d}, \quad X \mathbf{p}_{2}=\mathbf{0}_{d}, \quad X \mathbf{p}_{3}=\mathbf{0}_{d}
$

のいずれかが充されることである. $\mathbf{0}_{d}$ は $d$ 次元の ゼロベクトルである ${ }^{2}$.

式 (3) の形より 4 つのベクトルは $d$ 次元空間内の 超平面上にあることが直ちにわかる.

2）単語ベクトル間の関係性を行列により表現することの利点 は, 幾何学・線形代数・群論などの数学的操作を言語構造に 対して行うことが可能となることである [6].

## 2.4 平行四辺形らしさの定量化

次に単語ベクトル群の平行四辺形までの距離を定 める．考え方としては，単語べクトル群 $X$ を $d$ 次元空間 $V$ 上の 4 つのベクトルの集まりではなく, $4 d$次元空間 $W$ 上の 1 点 $\mathbf{x}:=\operatorname{vec}(X) \in W$ とする ${ }^{3)}$. 平行四辺形をなしている単語ベクトル群を表すすべて の点の集まりを $W$ の部分空間 $U$ とすれば，点 $\mathbf{x}$ か ら部分空間 $U$ までの距離（ユークリッド距離）を算出でき，これを平行四辺形までの距離（図形距離） と定義できる.

図形距離がゼロであるとき単語ベクトル群は平行四辺形をなし, 図形距離（正值）が大きくなるほど 平行四辺形から遠くなる. 平行四辺形をなす全ての 単語ベクトル群の集合は， $W$ の部分空間（カーネ ル） $K_{i}$ として次式で表される ${ }^{4)}$.

$
\begin{aligned}
K_{i} & =\left.\{X \in V^{4} \mid X \mathbf{p}_{i}=\mathbf{0}_{d}\right.\} \\
& =\left.\{\mathbf{x} \in W \mid\left(\mathbf{p}_{i}^{t} \otimes I_{d}\right) \mathbf{x}=\mathbf{0}_{d}\right.\} \quad(i=1,2,3)
\end{aligned}
$

点 $\mathbf{x}$ から 3 つのカーネルまでの距離 $d_{i} \quad(i=1,2,3)$ は次の通りである.(導出は AppendixAを参照)

$
\begin{aligned}
& d_{1}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{4}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{3}}{2}\right.\| \\
& d_{2}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{3}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{4}}{2}\right.\| \\
& d_{3}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{2}}{2}-\frac{\mathbf{x}_{3}+\mathbf{x}_{4}}{2}\right.\|
\end{aligned}
$

このうち最短距離を与えるものを平行四辺形までの 距離 $d$ とする．幾何学的には 2 組の対角線の中点の 間の距離を意味しており, 中点が一致するとき距離 はゼロとなり図形は平行四辺形となる.

$
d=\min \left.\{d_{1}, d_{2}, d_{3}\right.\}
$

## 2.5 平行四辺形距離の正規化

合同・相似な図形には同じ平行四辺形距離を付与 したい. 平行移動，拡大（縮小), 回転に対して不変 となるよう正規化するための正規化項 $Z$ は次の通り である ${ }^{5)}$ (AppendixB)

$
Z=\left(\sum_{i=1}^{4}\left.\|\mathbf{x}_{i}-\mathbf{m}\right.\|^{2}\right)^{1 / 2} \quad \text { where } \mathbf{m}:=\frac{1}{4} \sum_{i=1}^{4} \mathbf{x}_{i}
$

3）vecオペレータは行列を列ベクトルに並べ替える作用素.
4) $t$ は転置, $\otimes$ はクロネッカー積, $I_{d}$ は $d$ 次元の単位行列.

5） 幾何学的には，4つのべクトルをその重心が原点となるよ う平行移動して（中心化して） $4 d$ 次元空間におけるノルム を正規化項としている.

## 3 実験手法

## 3.1 目的とアプローチ

実コーパスから生成された単語ベクトルにおいて 類推関係にある単語群を判別できるか平行四辺形距離を用いて評価する. 類推関係にある 4 つ組の単語群を 1 群，無作為に抽出した 4 つ組を 2 群として， それぞれについて算出された正規化済みの平行四辺形距離の分布について $\mathrm{t}$ 検定を行う.

## 3.2 単語ベクトル生成のためのデータ

単語共起カウントによる単語ベクトル 実コーパ スより単語共起頻度をカウントして単語ベクトルを 生成する. English wikipedia dump(20171001 時点)を 使用した. トークン数は約 79 億語，語彙数は約 260 万語，前後 5 語以内に生起した単語を共起単語とし てカウントする. テストセットの語彙との共起頻度上位 10000 語と，テストセットの語彙の和集合にな る計 10072 語の単語共起行列について，その成分 を対数化したものを logfreq10000 とする [7]. さら に, logfreq10000 に対して特異值分解を行い 300 次元へ次元削減したものを svd10000 とする.

logfreq10000 と svd10000 の行ベクトルをそれぞ れの行に対応する単語の単語ベクトルとする

Word2vec また，ニューラルモデルにより生成 された単語ベクトルとして wor2vec[8] の学習済みモ デル (spaCy en-core-web-lg[9]) より logfreq10000 と 同じ語彙の単語ベクトルを抽出してw2v10000 と する.

## 3.3 正解テストセット

類推関係にある単語群として, Google Analogy Test Set[1] を用いる.これには 19,544 組の単語 4 つ 組（例：king-queen-man-woman）が含まれており，14 のカテゴリー（うち9つは統語的な類推関係，5つ は意味的な類推関係）に分類されている。

単語 4 つ組は，2つの単語ペアの組み合わせ (例： king-queen と man-woman)からなっており, ユニーク な単語ペアとしては 573 組を含む. Google Analogy Test Setでは，全ての単語ペアの組み合わせを網羅 していないため，あらためて各カテゴリーごとに全 ての単語ぺアを組み合わせて 15,247 組の4つ組を得 た (「正解テストセット」という).

## 4 実験結果

## 4.12 群間の比較

図 2 に，類推関係を持つ単語群 (“analogy_testset”) と無作為に抽出した 4 単語 (“random_sampling”) につ いて算出された平行四辺形距離の分布を示す.

logfreq10000では類推関係の単語群の図形距離は平均 0.321 であるのに対して，無作為抽出 は平均 0.436 であり,その差は 0.115 で統計的 に有意な違いが見られた $(t(15246)=114.7, p<$ 0.001). 同様に svd10000 では analogy-testset $の$ 平均値 0.322 と random_sampling の平均値 0.435 の差は $0.113(t(15246)=112.1, p<0.001)$ と有意である.

また，w2v10000 においても analogy_testset の平均値 0.391 に対し random_sampling の平均値 0.535 と類推関係にある単語群の距離は 0.144 小さく有意な差 を示した $(t(8576)=145.6, p<0.001)$ が，その分布形状の差は著しい。なお，w2v10000 に欠けている語彙 を含むカテゴリー capital-word を除外したためサン プル数が異なる.

図 2 図形距離の比較

## 4.2 分析

カテゴリーごとに比較すると, 最も平行四辺形に 近いカテゴリーは family (平均 0.257), 次いで gram4superlative(平均 0.277) であった. 反対に平行四辺形 から遠いカテゴリーは gram1-adjective-to-adverb（平均 0.369), 次いで opposite(平均 0.358) であった.

平均図形距離が最小の family についてカテゴリー 内の順位を見ると，最も平行四辺形に近い単語群は “his-her-nephew-niece” の 4 つ組であり，その図形距離 0.095 は全カテゴリーの中でも最小であっ た. 反対に, 最も平行四辺形から遠い単語群は, "policeman-policewoman-stepbrother-stepsister" であり, その平行四辺形距離は 0.549 である. 無作為抽出を 含めて算出した値の中での最大值に近い値である.

$\mathrm{t}$ 検定の結果は平行四辺形距離が類推関係にある 単語群を有意に特徴づけることを示しているが，そ
表 1 頂点の配置パタン占率 (\%)(logfreq10000)

の順位を見ると低頻度の単語を含む場合に特に平行四辺形距離のばらつきが大きく, 識別精度に課題が ある. 本論文では紙面の都合上割愛するが正規化項 を通じてノルムが過大な影響を及ぼしていると思わ れ，今後の研究課題である.

## 5 考察

## 5.1 ベクトルの逆転現象

式 (9) により平行四辺形距離を算出する際に，最小距離を与える頂点配置のパタンを各カテゴリーご とに示したのが表 1 である.

正解テストセットに含まれる単語ぺアは関係の方向を反映した並びとなっており，例えば family カテ ゴリーでは father-mother のように男性・女性の並び である。このような単語ペアを組み合わせて4つ組 を作ると, 単語ベクトル $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ はペア 1 の男性, 女性, ペア 2 の男性, 女性という並びとなる。従って類推関係が成立していれば $\mathbf{x}_{1}-\mathbf{x}_{2} \simeq \mathbf{x}_{3}-\mathbf{x}_{4}$ が成り立って，3つのカーネルまでの距離のうち $d_{1} \simeq 0$ が最短距離となる (パタン 1 に対応).

しかるに, family など 4 つのカテゴリーでパタ ン 2 が 2 割以上を占める. つまり式 (7) が適用され $\mathbf{x}_{1}-\mathbf{x}_{2} \simeq \mathbf{x}_{4}-\mathbf{x}_{3}$ が成り立っていることになる. これ が示唆するのは, 男性単語と女性単語の間の差べク トルの向きが 2 つのぺア間で逆転する現象が起きて いるということである.

表 2 に差ベクトルの方向に対応するペアを例示 する. 順方向のペアを組み合わせた 4 つ組の場合,例えば $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}=\boldsymbol{v}_{\text {father }}-\boldsymbol{v}_{\text {mother }}$ が成り立つので $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {mother }}=\boldsymbol{v}_{\text {father }}$ の演算により左辺の 3 単語から fatherを推定できるが, 逆転が起きているぺア表 2 順方向と逆方向の差分ベクトルを持つ単語ペア事例

 &  \\

の場合 $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}=\boldsymbol{v}_{\text {wife }}-\boldsymbol{v}_{\text {husband }}$ が成立しているの で, 四項類推演算を行う場合には $\boldsymbol{v}_{h e}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {wife }}=$ $v_{\text {husband }}$ ではなく $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {husband }}=\boldsymbol{v}_{\text {wife }}$ の演算が成り立つ.

## 5.2 逆転現象の要因

単語ペアの差ベクトルが反転する原因は，単語ベ クトルのノルムの逆転が起きているからである. 例 えば family カテゴリーの多くのペアでは男性単語べ クトルのノルムは女性単語のそれよりも大きいが,反転しているぺアの場合に女性単語のノルムの方が 大きい。言語現象上の要因としては，コーパス中の 出現頻度において男女バイアスが存在しているか らであり，一般に男性単語の方が頻度が高いが，逆転しているぺアでは，例えば husband よりも wifeが 頻出するのは his wife のように男性の文脈において wife が出現することの方が her husband よりも多い ということが想定される.

同じカテゴリーの中に異なる関係性を持つぺアが 存在してサブカテゴリーをなしていることを示唆し ており, 平行四辺形距離はそのような単語間の関係性を定量的に測定する機能を有している。

## 6 おわりに

本研究では単語群の持つ意味的・統語的関係を幾何的性質として捉え，新たなメトリックとして図形距離を提案した. そして類推関係にある単語群が高次元空間内で平行四辺形に近い配置にあることを実証した. 精度の改善のため正規化手法の見直しが必要であるが，図形距離を用いることで，半自動的な 類推関係の発見や，類推関係の種類の細分化などが 期待される. また図形距離は本稿で対象とした平行四辺形以外の図形にも拡張できる. そのため他の立体図形をなす単語群の研究も進行中である. ${ }^{6)}$.


## 謝辞

本研究は JST さきがけ JPMJPR20C9 の助成を受け

て行われた。

## 参考文献

[1] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeff Dean. Efficient estimation of word representations in vector space. pp. 1310-4546, 2013.

[2] Dawn Chen, Joshua C. Peterson, and Thomas L. Griffiths. Evaluating vector-space models of analogy. CoRR, Vol. abs/1705.04416, , 2017.

[3] Joshua C. Peterson, Dawn Chen, and Thomas L. Griffiths. Parallelograms revisited: Exploring the limitations of vector space models for simple analogies. Cognition, Vol. 205, p. 104440, 2020

[4] 丸山圭三郎. ソシュールを読む. 岩波書店, 1983.

[5] 河田敬義. アフィン幾何・射影幾何. 岩波書店, 1967.

[6] 前田晃弘, 鳥居拓馬, 日高昇平. 単語共起行列の内部構造解明のための構成論的アプローチ. 2022 年度日本認知科学会第 39 回大会, 2022.

[7] Takuma Torii, Akihiro Maeda, and Shohei Hidaka. Embedding parallelepiped in co-occurrence matrix: simulation and empirical evidence. In Joint Conference on Language Evolution (JCoLE2022), 2022.

[8] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. pp. 1310-4546, 2013.

[9] spaCy. Models and language, 2023. https:spacy.io/ usage/models.

## A カーネルまでの距離の導出

平行四辺形の必要十分条件を示す式 (3) は，次の ようにべクトル化することができる.

$
\operatorname{vec}\left(X \mathbf{p}_{i}\right)=\left(\mathbf{p}_{i}^{t} \otimes I_{d}\right) \operatorname{vec}(X)=A_{i} \mathbf{x}
$

ただし, $A_{i}:=\mathbf{p}_{i}^{t} \otimes I_{d}, \operatorname{vec}(X)=\mathbf{x} \in \mathbb{R}^{4 d}$ である.

平行四辺形をなすすべての点の集合は $A_{i}$ のカーネ ル $K_{i}$ として次の通りである.

$
K_{i}=\left.\{\mathbf{x} \in \mathbb{R}^{4 d} \mid A_{i} \mathbf{x}=\mathbf{0}_{d}\right.\}
$

頂点パタン $i$ の平行四辺形までの距離を点 $\mathbf{x}$ から カーネル $K_{i}$ までの距離として求める. $K_{i}$ は行列 $A_{i}$ の行空間 $C\left(A_{i}\right)$ の補空間であることを踏まえ $\left(\mathbb{R}^{4 d}=K_{i} \oplus C\left(A_{i}\right)\right)$, まず $C\left(A_{i}\right)$ への射影行列 $\Pi_{i}$ を 考える. $\mathbf{x}$ を $C\left(A_{i}\right)$ へ直交射影した点を $\mathbf{z}_{i}$ とする. すなわち， $\Pi_{i} \mathbf{x}=\mathbf{z}_{i}$ である. $\mathbf{z}_{i} \in C\left(A_{i}\right)$ であるので， $A_{i}^{t} \mathbf{w}=\mathbf{z}_{i}$ なる $\mathbf{w}$ が存在する.

点 $\mathbf{x}$ と点 $\mathbf{z}_{i}$ を結ぶ直線は部分空間 $C\left(A_{i}\right)$ への垂線 となるので $A_{i}\left(\mathbf{x}-\mathbf{z}_{i}\right)=\mathbf{0}$ が成り立ち，これを展開す ると $\mathbf{w}=\left(A_{i} A_{i}^{t}\right)^{-1} A_{i} \mathbf{x}$ を得て次の式に代入する.

$
\begin{aligned}
\Pi_{i} \mathbf{x} & =\mathbf{z}_{i} \\
& =A_{i}^{t} \mathbf{w} \\
& =A_{i}^{t}\left(A_{i} A_{i}^{t}\right)^{-1} A_{i} \mathbf{x}
\end{aligned}
$

この式は任意の $\mathbf{x}$ について成り立つので $\Pi_{i}=$ $A_{i}^{t}\left(A_{i} A_{i}^{t}\right)^{-1} A_{i}$ である. $A_{i}=\mathbf{p}_{i}^{t} \otimes I_{d}$ を用いて, さらに 式を展開する. $i=1$ の場合，

$
\begin{aligned}
\Pi_{1} \mathbf{x} & =A_{1}^{t}\left(A_{1} A_{1}^{t}\right)^{-1} A_{1} \mathbf{x} \\
& =\left(\frac{1}{4}\left(\mathbf{p}_{1} \mathbf{p}_{1}^{t}\right) \otimes I_{d}\right) \mathbf{x} \\
& =\frac{1}{4}\left[\begin{array}{cccc}
I_{d} & -I_{d} & -I_{d} & I_{d} \\
-I_{d} & I_{d} & I_{d} & -I_{d} \\
-I_{d} & I_{d} & I_{d} & -I_{d} \\
I_{d} & -I_{d} & -I_{d} & I_{d}
\end{array}\right]\left[\begin{array}{l}
\mathbf{x}_{1} \\
\mathbf{x}_{2} \\
\mathbf{x}_{3} \\
\mathbf{x}_{4}
\end{array}\right] \\
& =\frac{1}{4}\left[\begin{array}{c}
\mathbf{x}_{1}-\mathbf{x}_{2}-\mathbf{x}_{3}+\mathbf{x}_{4} \\
-\mathbf{x}_{1}+\mathbf{x}_{2}+\mathbf{x}_{3}-\mathbf{x}_{4} \\
-\mathbf{x}_{1}+\mathbf{x}_{2}+\mathbf{x}_{3}-\mathbf{x}_{4} \\
\mathbf{x}_{1}-\mathbf{x}_{2}-\mathbf{x}_{3}+\mathbf{x}_{4}
\end{array}\right]
\end{aligned}
$

となるので

$
d_{1}=\left.\|\Pi_{1} \mathbf{x}\right.\|=\frac{1}{2}\left.\|X \mathbf{p}_{1}\right.\|=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{4}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{3}}{2}\right.\|
$

である. $i=2,3$ の場合も同様である.

## B 正規化項の導出

点 $\mathbf{x}$ からそれをカーネル $K_{i}$ へ直交射影した点ま での垂線の距離を, 原点 $O$ から点 $\mathbf{x}$ までの斜辺の距離で正規化すれば正弦が得られるが，その方法では 図形の平行移動の影響を受けてしまう。これを避け るために，空間 $V=\mathbb{R}^{d}$ における 4 点を任意のべク トル $\mathbf{b} \in V$ で平行移動したものと同一視する. これ は空間 $W=\mathbb{R}^{4 d}$ においては, $\mathbf{x} \in W と \mathbf{x}+\mathbf{1}_{4} \otimes \mathbf{b} \in W$ を同一視することに等しい.

任意の点 $\mathbf{x}$ に対して，原点と同一視できる点の中 で最短距離を与えるものをその原点して選ぶことと して，平行移動 $b^{\prime}=\mathbf{1}_{4} \otimes b$ を次のように求める.

$
\begin{aligned}
\min _{\mathbf{b}^{\prime}} \delta & =\min _{\mathbf{b}^{\prime}}\left.\|\mathbf{x}-\mathbf{b}^{\prime}\right.\| \\
& =\min _{\mathbf{b}}\left.\|\mathbf{x}-\mathbf{1}_{4} \otimes \mathbf{b}\right.\| \\
& =\min _{\mathbf{b}}\left(\sum_{i=1}^{4}\left(\mathbf{x}_{i}-\mathbf{b}\right)^{2}\right)^{1 / 2}
\end{aligned}
$

$\delta^{2}$ を b で偏微分する.

$
\frac{\partial \delta^{2}}{\partial \mathbf{b}}=-2 \sum_{i=1}^{4} \mathbf{x}_{i}+8 \mathbf{b}=0
$

従って,

$
\mathbf{b}=\frac{1}{4} \sum_{i=1}^{4} \mathbf{x}_{i}:=\mathbf{m}
$

すなわち，空間 $V$ における 4 つの単語ベクトルの 中点を $\mathbf{m}$ とすると，空間 $W$ においてこれに対応す る $\mathbf{1}_{4} \otimes \mathbf{m}$ が $\mathbf{x}$ に最も近い原点 (平行移動により原点 と同一視される点)ということになる.

以上より，図形距離の正規化に用いる正規化項 $Z$ は， $\mathbf{1}_{4} \otimes \mathbf{m}$ までの距離ということになる.

$
\begin{aligned}
Z & =\left.\|\mathbf{x}-\mathbf{1}_{4} \otimes \mathbf{m}\right.\| \\
& =\left(\sum_{i=1}^{4}\left.\|\mathbf{x}_{i}-\mathbf{m}\right.\|^{2}\right)^{1 / 2} \\
& =\left(\sum_{i=1}^{4}\left.\|\overline{\mathbf{x}_{i}}\right.\|^{2}\right)^{1 / 2}
\end{aligned}
$

$\overline{\mathbf{x}_{i}}$ は， 4 点の重心 $\mathbf{m}$ で中心化したべクトルと考える ことができるので，これは結局，4つのベクトルを 重心の分だけマイナスに平行移動していることであ り，合同となる図形を同一視して，その正規化項を 導出していることになる.
 前田晃弘 ${ }^{1}$ 鳥居拓馬 ${ }^{2}$ 日高昇平 1 1 北陸先端科学技術大学院大学 2 東京電機大学 \{akihiro.maeda,shhidaka\}@jaist.ac.jp tak.torii@mail.dendai.ac.jp  