# 知識グラフ埋め込みにおける負例サンプリング損失の分析

上垣外 英剛
東京工業大学
kamigaito@lr.pi.titech.ac.jp
}

林克彦
群馬大学
khayashi0201@gmail .com

## 概要

知識グラフ埋め込み (KGE) の学習では扱うエン ティティ数が膨大であるため，負例サンプリング (NS) 損失が重要な役割を果たす。しかし， NS 損失 におけるマージン項，負例サンプル数，サブサンプ リング法などを適切に検討しなければ，KGE の学習性能は著しく悪化してしまうことが知られている. これまでこの問題は経験的なハイパーパラメータ チューニングによって対処されてきたが，本稿では NS 損失を理論的に分析し，KGE 学習における NS 損失の活用に関する理解を深める.

## 1 はじめに

知識グラフは質問応答・対話といった自然言語処理の課題に対処する上で重要な資源である。しか し，全てのエンティティに対する関係を人手で網羅 することは困難であるため，知識グラフ補完 (KGC) に関する研究が進められている．KGCに対するア プローチとしては知識グラフ埋め込み (KGE) がよく 研究されている $[1,2,3,4,5]$.

知識グラフに含まれるエンティティ数は膨大で あるため, 計算効率性の観点から KGE の学習では 負例サンプリング (NS) 損失が広く使用されている。 しかし，NS 損失は本来，単語分散表現の学習のた めに提案された手法である [6]. 本来の $\mathrm{NS}$ 損失に加 えられたいくつかの違いにより, KGE の学習におい てはスコア関数，使用する損失関数，ハイパーパラ メータの組み合わせは多様なものとなる。これらの 組み合わせを適切に選択することで，KGE の性能は 大きく変化することが知られているが $[7,8]$, どの ような組み合わせが適切であるかは理論的に明確で はない，そのため，現状では経験的なハイパーパラ メータチューニングに頼っており，様々な組み合わ せを考慮するために膨大な計算時間を必要とする.

我々はこの問題に対処するために，KGE で用いら れている NS 損失に対しての理論的な検証を行い，
いくつかの理論的な事実を明らかにした。それら の理論的な事実を FB15k-237，WN18RR，YAGO3-10 を用いて実験を通して検証した結果，我々が導いた 理論的な事実は実際のモデルでも観測されることを 示した. さらに，理論的な観点から提案したサブサ ンプリング法を用いることでモデル性能を改善でき ることについても示した.

## 2 KGE における NS 損失

本節では KGE を定式化し，それに基づいて，文献 [6] で提案された元の NS 損失と KGE で使用され ている NS 損失との差異について説明する。

## 2.1 KGE の定式化

本稿ではエンティティ $e_{i}, e_{j}$ とその関係 $r_{k}$ を表 す triplet を $\left(e_{i}, r_{k}, e_{j}\right)$ と表記する。KGCではクエリ $\left(e_{i}, r_{k}, ?\right)$ や $\left(?, r_{k}, e_{j}\right)$ が与えられ, モデルは? に対応するエンティティを予測する。 入力されたクエリ を $x$ ，予測すべきエンティティを $y$ とすると，モデ ルパラメータ $\theta$ に基づくスコア関数 $s_{\theta}(x, y)$ の下， $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ は，Softmax 関数を 用いて次のように定義される:

$
p_{\theta}(y \mid x)=\frac{\exp \left(s_{\theta}(x, y)\right)}{\sum_{y^{\prime} \in Y} \exp \left(s_{\theta}\left(x, y^{\prime}\right)\right)} .
$

本稿では以後，損失関数が 0 となった際の式 (1)を 目的分布と呼ぶ.

## 2.2 NS 損失

Softmax 関数は明示的に確率を表せるが，正規化項によって学習時間が増大してしまう，そのため，学習時に正規化を行うことなくSoftmax 関数を近似 する手法として NS 損失が提案された [6]. $p_{d}(x, y)$ に従う観測データ $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{n}, y_{n}\right)\right.\}$ に対 し, NS 損失は次で定義される。

$-\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)\right)\right)+\sum_{y_{i} \sim p_{n}(y \mid x)} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)\right)\right)\right]$.
$p_{n}(y \mid x)$ はノイズ分布， $\sigma$ はシグモイド関数を表す.

一方，近年は式 (2) と共に，マージン項 $\gamma$ を加え た次のような NS 損失が使用されている [4].

$
\begin{aligned}
& -\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right. \\
& \left.\quad+\frac{1}{v} \sum_{y_{i} \sim p_{n}(y \mid x)} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] .
\end{aligned}
$

次節以降で両損失関数の差異を議論する。

## 3 理論的な分析

## 3.1 マージン項の役割

本節ではマージン項 $\gamma$ が持つ役割について理論的側面から論じる. 式 (2) と式 (3)を比較することで, $\gamma$ の役割に関連する次の命題を示せる.

命題 1 式 (2)と式 (3) は同じ目的分布を持つ. ${ }^{1)}$

命題 1 より, $\gamma$ の存在は損失関数が最適解に到達し た場合には影響を及ぼさない事が分かる。一方，上記の命題が成立するには, 前提となる損失関数が最適解に到達できる必要がある. 特に，スコア関数の 值域が $(-\infty,+\infty)$ ではない場合, 到達不可能な值が 存在することになるため，この点を議論する。

值域に制限のあるスコア関数として，TransE [1], RotatE [4], HAKE [9] 等に代表される距離べースの スコアリング法がある。距離ベースのスコアリン グ法は $p$-ノルムを用いて $-\left.\|f_{\theta}(x, y)\right.\|_{p}$ と表現され る. $f_{\theta}(x, y)$ は $(\mathrm{x}, \mathrm{y})$ に対してべクトル值を返す関数 である. 従って, $f_{\theta}(x, y)$ が任意のベクトルを表現可能な時，距離ベースのスコアリング法の値域は $(-\infty, 0]$ となる. これより次の命題が成立する.

命題 2 距離ベースのスコアリング関数は式 (2) に おいて $v p_{n}(y \mid x)<p_{d}(y \mid x)$ となる $(x, y)$ が存在する 時, 最適解に到達できない。 また, 式 (3) において は, $\exp (\gamma) p_{n}(y \mid x)<p_{d}(y \mid x)$ となる $(x, y)$ が存在す る時, 最適解に到達できない. ${ }^{2)}$

命題 2 より, 距離ベースのスコアリング法を NS 損失で学習する際にはノイズ分布を適切に選択す る必要があることが分かる。 しかし, 式 (2)では, $v p_{n}(y \mid x)>p_{d}(y \mid x)$ となる $v$ 及びノイズ分布を使用

1）証明は付録 A. 1 に記載.

2）証明は付録 A. 2 に記載.
する必要があるが，ノイズ分布の調整のみで全ての (x,y) に対してこの条件を満たすことは困難である. したがって式 (2)では，計算時間を犠牲にサンプル 数 $v$ を増大させる必要がある. その一方で, 式 (3) では, $\exp (\gamma) p_{n}(y \mid x)>p_{d}(y \mid x)$ を満たせば良いこと から，単に $\gamma$ に十分に大きな值を設定すればこの 問題を回避することができる．KGEでは一般的に $p_{n}(y \mid x)$ に一様分布が用いられることから, 確率の 定義より $p_{d}(y \mid x)$ が 1 を超えないことを考慮すると， $\exp (\gamma)$ はラベル数 $|Y|$ よりも大きいことが望ましい.

本節における今までの議論に基づくと，マージン 項に大きな値を設定することで欠点に直面するこ となく，モデルの学習が促進されるように考えられ る. しかし, 次の命題はマージン項を自由に設定で きるわけではないことを示す.

命題 3 マージン項 $\gamma$ は式 (3)の勾配に影響を与え 弓. ${ }^{3)}$

命題 3 より，マージン項を変更した場合，勾配に関係するその他のハイパーパラメータも適切に設定 しなければならないことが分かる. 以上より, 距離 ベースのスコアリング法を用いる際にはマージン項 に十分大きな値を設定した上で，勾配に関係する八 イパーパラメータを適切に調整しなければならな い.その一方で, ComplEx [3] や DistMult [2]のよう な值域に制限が存在しないスコアリング法ではマー ジン項の調整は不要であると考えられる。

## 3.2 負例サンプル数の影響

次に負例サンプル数 $v$ が学習に与える影響につい て理論的側面から議論する。命題 1 より，負例サン プル数はマージン項と同様に, 式 (2)と式 (3)で表さ れる両損失関数の目的分布に対しては影響しない ことが分かる。なお，詳細な議論を付録 B に記載 した.

## 3.3 KGE に適したサブサンプリング法

今までの議論は，NS 損失がモデルを観測データ により定義される分布 $p_{d}(y \mid x)$ に適合させるという 前提に基づいていた. しかし, 実際に NS 損失が行 うべきことは，モデルを観測データの背後に存在す る真の分布 $p_{d}^{\prime}(y \mid x)$ に適合させることである. この ためには，観測結果に基づく $p_{d}(y \mid x)$ と $p_{d}^{\prime}(y \mid x)$ の

3）証明は付録 A. 3 に記載.
隔たりを埋めなければならない。ここでそのような 役割を果たす関数 $A(x, y), B(x)$ が存在すると仮定 する。この両関数を用いて，真の分布への適合を考慮した NS 損失が次のように導かれる。

$
\begin{aligned}
& -\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right] p_{d}^{\prime}(x, y) \\
& +\sum_{\substack{ \\
y_{i} \sim p_{n}(y \mid x)}}\left[p_{n}\left(y_{i} \mid x\right) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] p_{d}^{\prime}(x) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right] A(x, y) p_{d}(x, y) \\
& +\sum_{y_{i} \sim p_{n}(y \mid x)}\left[p_{n}\left(y_{i} \mid x\right) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] B(x) p_{d}(x) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D}\left[A(x, y) \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right. \\
& \left.+\frac{1}{v} \sum_{y_{i} \sim p_{n}(y \mid x)} B(x) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] .
\end{aligned}
$

Mikolov ら [6] は式 (3)の NS 損失と同時に，サブサ ンプリングを提案している. サブサンプリングは学習事例である単語の出現確率を調整するものであ り, $A(x, y), B(x)$ に対応する役割を持つ. 一方で， KGE においてサブサンプリングを NS 損失で使用す ることについて議論している論文は我々の知る限り では存在しない。しかし，実装としては Sun ら $[4]^{4}$ が word2 vec を踏襲する形で頻度に基づいた割引を 行う下記のものを使用している。

$
A(x, y)=B(x, y)=\frac{\frac{1}{\sqrt{\#(x, y)}}}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D \frac{1}{\sqrt{\#\left(x^{\prime}, y^{\prime}\right)}}}} .
$

ここで＃ は頻度を表す記号であり，\# $(x, y)$ は $(x, y)$ の頻度を表す。なお，実際の $(x, y)$ は $\mathrm{KG}$ 上で高々 1 回しか出現しないため, $(x, y)=\left(e_{i}, r_{k}, e_{j}\right)$ とする とき，\# $(x, y)$ のバックオフ [10] を用いて次のように 近似している.

$
\#(x, y)=\#\left(e_{i}, r_{k}\right)+\#\left(r_{k}, e_{j}\right)
$

ここで式 (4)を元に理論的な観点から式 (5) のよ うな頻度による割引を行う KGE に特化したサブ サンプリング法を導出する。この導出は真の分布 $p_{d}^{\prime}(y \mid x)$ に対する仮定をどのように置くかによって 変化する。まず，真の分布において， $(x, y)$ は頻度 を持っているが，観測されたものは高々 1 に過ぎな かったという仮定に基づいた導出を行う. この場合 は式 (5) と同様に実際に $\#(x, y)$ の頻度を計算できな


いため，式 (6) の近似を用いる. ここで式 (4)より， $A(x, y)$ は $(x, y)$ の頻度に対する割引を， $B(x)$ は $x$ の 頻度に対する割引をそれぞれ行うため，次のような サブサンプリング法が導出される.

$
A(x, y)=\frac{\frac{1}{\sqrt{\#(x, y)}}}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} \frac{1}{\sqrt{\#\left(x^{\prime}, y^{\prime}\right)}}}, \quad B(x)=\frac{\frac{1}{\sqrt{\# x}}}{\sum_{x^{\prime} \in D} \frac{1}{\sqrt{\# x^{\prime}}}}
$

一方で，真の分布においても，観測結果と同様に $(x, y)$ は高々頻度 1 であると仮定した場合, $p_{d}^{\prime}(y \mid x)=p_{d}^{\prime}(x, y) / p_{d}^{\prime}(x) \propto 1 / p_{d}^{\prime}(x)$ となり, $p_{d}^{\prime}(y \mid x)$ は同じ $x$ に対しては同じ値となる. 従って，この仮定の下では $p_{d}(x)$ に対してのみ割引を行うことにな り，次のサブサンプリング法が導出される.

$
A(x, y)=B(x)=\frac{\frac{1}{\sqrt{\# x}}}{\sum_{x^{\prime} \in D} \frac{1}{\sqrt{\# x^{\prime}}}} .
$

式 (7) と式 (8) は理論的な側面から導出されている が，実際のタスクにおいては汎化の対象である真の 分布はデータセットによって異なる. 従って理論的側面からのみサブサンプリング法の優劣を論じるこ とは出来ないため，使用に際しては開発データを用 いた検証が必要である.

## 4 経験的な分析

本節では 3 節で論じた理論的な特性が実際のデー タやモデルに対して成立するか検証する。データ セットは FB15k-237，WN18RR，YAGO3-10を用い た [5]. モデルは値域に制限を持たない ComplEx， DistMult と，p-ノルムを使用し値域に制限をもつ RotatE, HAKE [9]を比較した. 特に断りが無い場合, ComplEx, DistMult, RotatEのハイパーパラメータは Sun ら [4]のものを，HAKE のハイパーパラメータ は Zhang ら [9]のものを使用した.

## 4.1 マージン項の影響

マージン項を変更した際のモデルの予測精度の 変化を調査するために， Mean Reciprocal Rank (MRR) を対象に異なる $\gamma$ を用いた際の結果を比較した。

まず初めに， 3.1 節で議論した $p$-ノルムを用いた スコアリング法を適切に学習するためにマージン項 が必要であるという理論的な結論が実用上でも成立 しているのかを検証する。そのためにマージン項の 有無による性能の変化について，一様雑音分布を用 いて $p$-ノルムに基づくRotatE，HAKE と值域に制限

図 1: マージン項 $\gamma$ に 0 を用いた場合と報告値を用いた場合の各設定における MRR.

表 1: 各サブサンプリング法の評価結果. Sub. はサブサンプリングを，Base は式 (5)を，Freq は式 (7)を， Uniq は式 (8)をそれぞれ表す。太字は各設定における最高スコアを表す.

が無い ComplEx，DistMult とで比較した。なお， $\gamma$ を元の值から 0 へと大幅に変更するに際し，モデル が適切に学習されるよう, Adam の初期学習率を最 もよく使用されている 0.001 へ変更した.

図 1 にマージン項に先行研究の値を用いた際 (w/ $/$ ) の結果とマージンを使用しなかった際 (w/o $\gamma)$ の結果を示す.この結果では, ComplEx, DistMult では大きな性能の変化が無く，これらのスコアリン グ法におけるマージン項の調整の不必要性を改めて 確認することが出来る. そして, $p$-ノルムに基づく RotatE，HAKE ではマージン項を用いない場合に大幅な性能低下が確認でき，これらのスコアリング法 においてマージン項を使用することが必要であるこ とが改めて分かる.

## 4.2 サブサンプリング法の比較

3.3 節にて議論したサブサンプリング法の比較を 行う．比較はサブサンプリングを行わない場合，現在使用されているサブサンプリング法である式 (5),提案手法である式 $(7,8)$ との間で行う．比較のため のモデルとしては公開コード中にてサブサンプリ ングを行っている RotatE と HAKEを選択し，学習 では元の論文と同様に自己敵対的負例サンプリン
グ損失 [4] を用いた。評価尺度には MRR，Hits@ 1， Hits@3，Hits@10を使用した. 表 1 に各設定におけ るスコアを示す。この結果より，知識グラフの補完においてサブサンプリングの使用が有効である ことが分かる．また，我々の提案法であるUniq と Freq はRotatE d WN18RR で評価した場合以外は共 に Base よりも高いかあるいは同等の結果を示して おり，理論的側面から導出されたサブサンプリング 法が実用上も適切なものであったと考えられる.

## 5 まとめ

本論文では，KGEで用いられている NS 損失に対 しての理論的な検証を行い，いくつかの理論的な事実を明らかにした。また，その理論的な事実に基づ き，KGE の損失関数に特化したサブサンプリング法 についても提案した. それらの理論的な事実及び提案したサブサンプリング法の性能を検証するため に，我々は FB15k-237，WN18RR，YAGO3-10を用い た実験を実施した. 実験の結果，我々が導いた理論的な事実は実際のモデルでも観測されることを示し た. また，提案したサブサンプリング法が実際にモ デルの知識グラフの補完における性能を改善できる ことについても示した.

## 参考文献

[1] Antoine Bordes, Nicolas Usunier, Alberto García-Durán, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013, pp. 2787-2795, 2013.

[2] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and $\mathrm{Li}$ Deng. Embedding entities and relations for learning and inference in knowledge bases. In Proceddings of the 3rd International Conference on Learning Representations, ICLR 2015, 2015.

[3] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. In Proceedings of the 33nd International Conference on Machine Learning, ICML 2016, Vol. 48 of JMLR Workshop and Conference Proceedings, pp. 2071-2080. JMLR.org, 2016.

[4] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In Proceedings of the 7th International Conference on Learning Representations, ICLR 2019, 2019.

[5] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, (AAAI-18), pp. 1811-1818, 2018

[6] Tomás Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. CoRR, Vol. abs/1310.4546, , 2013.

[7] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You CAN teach an old dog new tricks! on training knowledge graph embeddings. In Proceedings of the 8th International Conference on Learning Representations, ICLR 2020, 2020.

[8] Mehdi Ali, Max Berrendorf, Charles Tapley Hoyt, Laurent Vermue, Mikhail Galkin, Sahand Sharifzadeh, Asja Fischer, Volker Tresp, and Jens Lehmann. Bringing light into the dark: A large-scale evaluation of knowledge graph embedding models under a unified framework. IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 1-1, 2021.

[9] Zhanqiu Zhang, Jianyu Cai, Yongdong Zhang, and Jie Wang. Learning hierarchy-aware knowledge graph embeddings for link prediction. In Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence, (AAAI20), pp. 3065-3072, 2020.

[10] Slava Katz. Estimation of probabilities from sparse data for the language model component of a speech recognizer. IEEE transactions on acoustics, speech, and signal processing, Vol. 35, No. 3, pp. 400-401, 1987.

[11] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Pro- cessing Systems, Vol. 27. Curran Associates, Inc., 2014.

[12] Hidetaka Kamigaito and Katsuhiko Hayashi. Unified interpretation of softmax cross-entropy and negative sampling: With case study for knowledge graph embedding. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, ACL/IJCNLP 2021, pp. 5517-5531, 2021.

[13] 上垣外英剛, 林克彦. Unified interpretation of softmax cross entropy and negative sampling: With case study for knowledge graph embedding. 自然言語処理, Vol. 28, No. 4, pp. 1336-1341, 2021.

[14] Samuel Broscheit, Daniel Ruffinelli, Adrian Kochsiek, Patrick Betz, and Rainer Gemulla. LibKGE - A knowledge graph embedding library for reproducible research. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 165-174, 2020.

## A 証明

## A. 1 命題 1 の証明

先行研究 $[11,12,13]$ より, 式 (2) が 0 となる際に

$
\exp \left(s_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

が成立.ここで式 (3) が 0 となる際を考える. 式 (3) における $v$ の正規化により式 (9) の $v$ は消去され る. さらにマージン項 $\gamma$ の存在により, 式 (3) が 0 となる際に

$
\exp \left(s_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{\exp (\gamma) p_{n}(y \mid x)}
$

が成立. 式(9)を式(1)に代入した結果と，式(10)を 式(1)に代入した結果は共に

$
\frac{p_{d}(y \mid x)}{\left.\sum_{y^{\prime} \in Y} p_{d}\left(y^{\prime} \mid x\right)\right)}
$

となることから命題 1 が示された.

## A. 2 命題 2 の証明

$s_{\theta}(x, y) \leqq 0$ のとき, $\exp \left(s_{\theta}(x, y)\right) \leqq 1$ が成立する. このとき，式 (9) の右辺が同じ值域を持たない場合，式 (2) は到達不可能な点を持つ可能性がある. 従っ て式 (2) が到達不可能な点を持たない条件は次のよ うに導かれる

$
\begin{aligned}
& \frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)} \leqq 1 \\
\Leftrightarrow & p_{d}(y \mid x) \leqq v p_{n}(y \mid x) .
\end{aligned}
$

式 (3) が到達不可能な点を持たない条件も同様に次 のように導かれる

$
\begin{aligned}
& \frac{p_{d}(y \mid x)}{\exp (\gamma) p_{n}(y \mid x)} \leqq 1 \\
\Leftrightarrow & p_{d}(y \mid x) \leqq \exp (\gamma) p_{n}(y \mid x) .
\end{aligned}
$

## A. 3 命題 3 の証明

合成関数の微分の定義より式 (3)を微分した結果 には $\gamma$ が含まれるため自明.

## B 負例サンプル数の影響

本節では 3.2 節で議論した負例サンプル数が学習 に与える影響について調査する。具体的には，様々 な負例サンプル数に基づきモデルを学習し, 学習さ れたモデルの MRRを比較する。式 (2) に基づく NS

図 2: 負例サンプル数が変化した際の各設定におけ る MRR. NS (Sum) は式 (2), NS (Mean) は式 (3) の NS 損失をそれぞれ表している

損失を使用するため，我々は LibKGE $[14]^{5)}$ を使用し た. 負例サンプル数以外のハイパーパラメータにつ いては Kamigaito ら [12] と同じものを使用した.

図 2 に負例サンプル数を変化させた際の各設定 における MRRを示す..ここ結果より，損失関数に よって示す値こそ異なるものの，負例サンプル数の 違いによる MRR の変動幅はどの損失関数において もほぼ同じであることが分かる。また，負例サンプ ル数の影響を強く受けると考えられるSANS におい ても負例サンプル数の違いによるスコアの大きな変動は観測されない.この結果は目的分布の観点から は負例サンプル数による影響はない，という 3.2 節 の内容に沿うものである.

 上垣外 英剛 東京工業大学 kamigaito@lr.pi.titech.ac.jp }  林克彦 群馬大学 khayashi0201@gmail .com  