# 知識グラフ埋め込み学習における損失関数の統一的解釈

上垣外 英剛＊
東京工業大学
kamigaito@lr.pi.titech.ac.jp
}

林克彦*
群馬大学
khayashi0201@gmail.com

## 1 はじめに

知識グラフとはエンティティ間の関係を記述した グラフであり，対話や質問応答などに利用される。 しかし，知識グラフを作成するには，膨大なエン ティティの組み合わせとその関係を考慮する必要が あり，人手・半自動で完全なグラフを構築すること は困難である。そのため，自動でエンティティ間の リンク予測を行うことは重要な課題である.

現在，エンティティ間のリンク予測は主に知識グ ラフの埋め込み表現に基づいたスコアリング法 [1] を用いて行われている。この方法では，各リンクに 対するスコアをエンティティ及び関係の埋め込み表現によって計算するが，埋め込み表現の学習は様々 な損失関数を用いて行われている。特に，表現学習 において一般的に使用されていることもあり，ソフ トマックス関数に対する交差エントロピー（SCE; Softmax Cross Entropy）を用いる方法 [2] や，その近似法の一つである負例サンプリング（NS; Negative Sampling）による方法 [3] が主流である.近年，これらの損失関数と既存のスコアリング方法との組み合わせを適切に選択することにより，リ ンク予測の性能が大きく変化することが文献 [4] で 経験的に示されている. その一方で，SCE 損失と $\mathrm{NS}$ 損失に対する理論的な関係性はあまり探求され ていない。そのため，これらの異なる損失関数を用 いた際の結果を比較することが公平であるのか否 か，またどのような条件であればそれが可能である か，などの議論を困難にしている。 さらに，スコア リング手法と損失関数の関係が明らかでないこと は，予測精度を向上させる上で様々な組み合わせを 試行して, 経験的に良好な組み合わせを導く必要が あり，ハイパーパラメータを探索するための計算量 を膨大なものとしている。

本稿では，これらの問題を解決するために， Bregman 距離（Bregman Divergence）[5]を用いて * 共同責任著者 $\mathrm{SCE}$ 損失と NS 損失の統一的な解釈を試みた。この 解釈の下で，どのような条件において両損失関数で の最適解が同一になり得るかを理論的に確認し，両関数の背後に存在する距離の違いが学習結果にどの ような影響を及ぼすかを実験的に検証した。

## 2 Bregman 距離と SCE 損失

知識グラフにおけるエンティティ $e_{i}$ と $e_{j}$ の関係 $r_{k}$ によるリンクを $\left(e_{i}, r_{k}, e_{j}\right)$ と表記する. 与えられ たクエリ $\left(e_{i}, r_{k}, ?\right)$ や $\left(?, r_{k}, e_{j}\right)$ に対して，リンク予測モデルは?に対応するエンティティを予測する. このようなクエリを入力 $x$ ，予測するべきエンティ ティを $y$ とするとき，モデルパラメータ $\theta$ に基づく スコア関数 $f_{\theta}(x, y)$ の下， $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ は，ソフトマックス関数を用いて次のよ うに定義される:

$
p_{\theta}(y \mid x)=\frac{\exp \left(f_{\theta}(x, y)\right)}{\sum_{y^{\prime} \in Y} \exp \left(f_{\theta}\left(x, y^{\prime}\right)\right)} .
$

$Y$ は予測候補となる全エンティティを表す。

次に Bregman 距離についての説明を行う. 入力 $x$ とその出力ラベル $y$ のペアを $(x, y)$ として書く. 観測データを $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{|D|}, y_{|D|}\right)\right.\}$ とし, これ は分布 $p_{d}(x, y)$ に従うとする. $\Psi(z)$ を微分可能な関数とすると, 分布 $f$ と $g$ の間の Bregman 距離は以下 のように定義される:

$
d_{\Psi(z)}(f, g)=\Psi(f)-\Psi(g)-\Delta \Psi(g)^{T}(f-g) .
$

$\Psi(z)$ を変えることによって，様々な距離を表現す ることが可能となる. 本稿では，文献 [6] と同様に，観測データ全体における距離の最小化を考えるた め， $f$ を固定した上で， $d_{\Psi}(f, g)$ の期待值を

$
\begin{aligned}
& B_{\Psi(z)}(f, g) \\
& =\sum_{(x, y) \in D}\left[-\Psi(g)+\Delta \Psi(g)^{T} g-\Delta \Psi(g)^{T} f\right] p_{d}(x, y)
\end{aligned}
$

として定義する. 文献 [6] より， $\Psi(z)$ が厳密に凸で 微分可能なとき1) に $B_{\Psi(z)}(f, g)=0$ が満たされてい

1）なお，本稿で扱う $\Psi(z)$ は全てこの性質を満たす.

れば， $f$ と $g$ は等価である. 本稿では，分布と損失関数の間における関係性を調べるため，B $B_{\Psi(z)}$ の最小化を考える。

後述する NS との比較のために，式 (3)を用い て，我々はまず SCE 損失関数の導出を行う. 式 (3) において $f$ に $p_{d}(\mathbf{y} \mid x) を^{2)}, g$ に $p_{\theta}(\mathbf{y} \mid x)$ を入力 し, ベクトルの次元数を表す関数 lenを用いて， $\Psi(\mathbf{z})=\sum_{i=1}^{l e n(\mathbf{z})} z_{i} \log z_{i}$ とした際に, SCE 損失関数は 次のように導出される.

$
\begin{aligned}
& B_{\Psi(\mathbf{z})}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right) \\
= & -\sum_{(x, y) \in D}\left[\sum_{i=1}^{|Y|} p_{d}\left(y_{i} \mid x\right) \log p_{\theta}\left(y_{i} \mid x\right)\right] p_{d}(x, y) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D} \log p_{\theta}(y \mid x) .
\end{aligned}
$

この導出から $B_{\Psi(z)}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right)$ が 0 となる最小化を通じて $p_{\theta}(y \mid x)$ が $p_{d}(y \mid x)$ に等しくなること が分かる. 本稿では以降，このように式 (3) が 0 と なる際の $p_{\theta}(y \mid x)$ を目的分布と呼ぶ.

## 3 NS の解釈、SCE との関係性

Bregman 距離を使って NS の性質について議論 する. 分布 $p_{d}(x, y)$ に従う観測データ $D$ の各サ ンプル $(x, y) \in D$ に対して, $\mathrm{NS}$ では既知の雑音分布 $p_{n}$ から $v$ 個の雑音サンプルを抽出し, 分布 $G(y \mid x ; \theta)=\exp \left(-f_{\theta}(x, y)\right)$ に対するモデルパラメー タ $\theta$ の推定を考える。まず， $(x, y)$ が観測データか ら抽出されたサンプルであれば，二値クラスラベル $C=1$ とし, 雑音分布 $p_{n}$ から抽出されたサンプルで あれば， $C=0$ とすると，クラスラベル $C$ に対する 事後確率は以下のように定義できる.

$
\begin{aligned}
& p(C=1, y \mid x ; \theta)=\frac{1}{1+\exp \left(-f_{\theta}(x, y)\right)}=\frac{1}{1+G(y \mid x ; \theta)} \\
& p(C=0, y \mid x ; \theta)=1-p(C=1, y \mid x ; \theta)=\frac{G(y \mid x ; \theta)}{1+G(y \mid x ; \theta)}
\end{aligned}
$

さらに, NS の目的関数 $\ell^{N S}(\theta)$ は以下のように定義 できる.

$
\begin{aligned}
\ell^{N S}(\theta)= & -\frac{1}{|D|} \sum_{(x, y) \in D}[\log (P(C=1, y \mid x ; \theta)) \\
& \left.+\sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right)\right] .
\end{aligned}
$

ここで Bregman 距離を使って目的関数 $\ell^{N S}(\theta)$ につ いて以下の性質を導くことができる。

2）本項では，ラベル $y$ に対する確率を $p(y)$ ，全てのラベル $\mathbf{y}$ に対する確率値のべクトルを $p(\mathbf{y})$ のように記述する。命題 $1 \Psi(z)=z \log (z)-(1+z) \log (1+z)$ とすること で，式(3)から $\ell^{N S}(\theta)$ を導くことができ, $\ell^{N S}(\theta)=0$ のとき，次の式が成立する:

$
G(y \mid x ; \theta)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

命題 $2 P_{\theta}(y \mid x)$ に対して, $e^{N S}(\theta)$ の目的分布は:

$
\frac{p_{d}(y \mid x)}{p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}}
$

証明 命題 1,2 の証明は付録に記す

上記の結果に対して，例えば， $p_{n}(y \mid x)=p_{d}(y)$ とす れば，式 (8) は自己相互情報量から定数 $\log v$ を減じ た形となる.これは文献 [7] の結論と同様であり,我々の結論はその一般化となっている.

## 3.1 様々な雑音分布

$\mathrm{SCE}$ 損失の目的分布とは異なり，式 (9) は雑音分布 $p_{n}(y \mid x)$ の影響を受ける．よって，特定の雑音分布 $p_{n}(y \mid x)$ を考えることで, 式 (9) のより詳細な分析 を行う。また，そこから $\mathrm{SCE}$ との関係性も導く。

## 3.1.1 一様雑音分布

知識グラフ埋め込みの学習において最もよく使 われている離散の一様雑音分布 $u\{1,|Y|\}$ を考える。 $p_{n}(y \mid x)$ が一様のとき，以下の性質を導出できる.

命題 3 式 (9) は $p_{d}(y \mid x)$ となる.

証明 $p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}=\sum_{y_{i} \in Y} p_{d}\left(y_{i} \mid x\right)=1$ であ り，式(9) は $p_{d}(y \mid x)$ となる.

この結論は $P_{n}(y \mid x)$ が一様であるとき, $\ell^{N S}$ の目的分布が SCE 損失と一致することを示している.

## 3.1.2 自己敵対雑音分布

Sun ら [8] は自己敵対負例サンプリング（SANS） を提案している. SANS は $p_{\theta}(y \mid x)$ を雑音分布とし て利用するので，式 (9) は次のように書ける:

$
\frac{p_{d}(y \mid x)}{p_{\hat{\theta}}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{\hat{\theta}}\left(y_{i} \mid x\right)}} .
$

ここで $\hat{\theta}$ は最後に更新された結果に基づくパラメー タである. 式 (10) を解析的に理解することは難し いが， $p_{\theta}(y \mid x)$ の特殊な場合について考えることで
分析を進める. 学習前, パラメータ $\theta$ はランダムに 初期化されるため, $p_{\theta}(y \mid x)$ は $u\{1,|Y|\}$ に従う. そ の際，式 (10) は $p_{d}(y \mid x)$ となる。逆に， $p_{\hat{\theta}}(y \mid x)$ を $p_{d}(y \mid x)$ に設定すると, 式 (10) は $u\{1,|Y|\}$ となる. このように, 式 (10) では, $p_{\hat{\theta}}(y \mid x) \rightarrow u\{1,|Y|\}$ とな るとき, $p_{\theta}(y \mid x) \rightarrow p_{d}(y \mid x), \quad p_{\hat{\theta}}(y \mid x) \rightarrow u\{1,|Y|\}$ と なるとき, $p_{\theta}(y \mid x) \rightarrow p_{d}(y \mid x)$ と収束する.

実際のミニバッチ学習において, $\theta$ は各バッチ データに対して逐次的に更新が行われるため, SANS の目的分布は $p_{d}(y \mid x)$ と $u\{1,|Y|\}$ の間での均衡に基づいて決定されていると考えられる. この考 えに基づいて, $p_{d}(y \mid x)$ と $u\{1,|Y|\}$ の重み付き和を SANS の目的分布と仮定する. SANS では $p_{\hat{\theta}}(y \mid x)$ を 以下のように定式化している:

$
p_{\hat{\theta}}(y \mid x)=\frac{\exp \left(\alpha f_{\theta}(x, y)\right)}{\sum_{y} \exp \left(\alpha f_{\theta}(x, y)\right)}
$

$\alpha$ は温度パラメータであり, これも上記の均衡を調整する役割がある。従って, $p_{\theta}(y \mid x)$ に対する SANS の目的分布を以下として表す:

$
p_{\theta}(y \mid x) \approx(1-\lambda) p_{d}(y \mid x)+\lambda u\{1,|Y|\}
$

$\lambda$ は $p_{\theta}(y \mid x)$ を $p_{d}(y \mid x)$ または $u\{1,|Y|\}$ のどちらに近 づけるかを決定するハイパーパラメータである.

式 (12) の結果を用いて同様の目的分布を持つ SCE 損失を確認する. $q(y \mid x)=(1-\lambda) p_{d}(y \mid x)+\lambda u\{1,|Y|\}$ と $\Psi(\mathbf{z})=\sum_{i=1}^{l e n(\mathbf{z})} z_{i} \log z_{i}$ と置き, 式 (5) から式 (6)へ の変換に基づいて，新しい SCE 損失の形式

$
\begin{aligned}
& B_{\Psi(\mathbf{z})}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right) \\
&=- \sum_{(x, y) \in D}\left[\sum_{i=1}^{|Y|}(1-\lambda) p_{d}\left(y_{i} \mid x_{t}\right) \log p_{\theta}\left(y_{i} \mid x_{t}\right)\right. \\
&\left.+\sum_{i=1}^{|Y|} \lambda u\{1,|Y|\} \log p_{\theta}\left(y_{i} \mid x_{t}\right)\right] p_{d}(x, y) \\
&=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[(1-\lambda) \log p_{\theta}(y \mid x)\right. \\
&\left.+\sum_{i=1}^{|Y|} \frac{\lambda}{|Y|} \log p_{\theta}\left(y_{i} \mid x\right)\right]
\end{aligned}
$

が導出される.この形式は SCE 損失に対するラべ ルスムージング [9] と等価であり, SANS がラベル スムージングと同様の効果を持つことがわかる.

## 4 SCE と NS 損失の統一的解釈

3）なお，w / LS はラベルスムージングを，w/ Uni は雑音とし て離散一様分布を使用したことをそれぞれ表す。表 1 各損失関数間の関係 3 ).

各損失関数の関係を表 1 に示す.この表から読 み取れるように，一様雑音分布の下での NS 損失と $\mathrm{SCE}$ 損失の目的分布が等価なものであることが分か る.また，自己敵対雑音分布を用いた際の NS 損失 とラベルスムージングを用いた際の SCE 損失の目的分布が極めて類似していることも分かる. これら の知見は $\mathrm{NS}$ 損失と SCE 損失に基づく手法を公平に 比較する際に重要である。ななせならば，対象とする データセットに疎なエンティティが含まれている場合，ラベルスムージングを用いた SCE 損失と SANS 損失では，モデルによる性能改善が存在しなくと も，スムージングにより性能が改善する可能性があ るためである.このことから，目的分布の観点に基 づいて NS 損失に基づくモデルと SCE 損失に基づく モデルを公平に比較するためには，NS 損失で一様雑音分布が使用されている場合には，SCE 損失をそ のまま使用し, NS 損失で一様雑音分布が使用され ている場合には，SCE 損失でラベルスムージングを 使用することが必要である.

$\mathrm{NS}$ 損失と SCE 損失における $\Psi(z)$ を比較するこ とは目的分布に着目することと同等以上に重要であ る.これは $\Psi(z)$ が損失における距離を決定し，そ の距離がモデルのデータセットに対する振る舞いを 決定する上で重要な役割を果たすためである.

図 1 に表 1 で示されている NS 損失と SCE 損失 のそれぞれにおける $\Psi$ を用いて式 (2) の距離を計算 し, 確率 $p$ のそれぞれの値と確率 0.5 との距離を示 した。この図から読み取れるように，SCE 損失の方 が NS 損失よりも大きな距離を示すことが分かる.
表 2 それぞれのモデルと損失関数の組み合わせを用いた 場合の FB15k-237 と WN18RR での実験結果.

なお，文献 [10] では，二値ラベルにおける Bregman 距離の上界は $\Psi(z)=z \log (z)$ とした際であることが 示されており，我々の観測はこの結果に沿ってい る. SCE 損失と NS 損失が分布間に与える距離の違 いは，モデルの差異に起因する問題を生じさせる原因となりうる．SCEを用いた場合には，自由度が高 く表現力が高いモデルを訓練データに適合させる ことに寄与する一方，事前分布や制約に基づく表現力が低いモデルでは学習を妨げる可能性がある。ま た，NS を用いた場合に，自由度が高く表現力が高 いモデルでは過少適合を起こす可能性がある一方，事前分布や制約により表現力が制限されるモデルで は, 訓練事例への過度な適合を回避し, 学習の進行 に寄与する可能性がある. これらの問題は対象とす るモデルやデータによって振る舞いが決定されるた め，現在主流となっている設定に基づいて影響を実験的に検証する。

## 5 実験

本節では SCE 損失と NS 損失の性質を検証するた めの実験を行う．データセットには FB15k-237 [11] とWN18RR [12]を使用し，評価には MRR，Hits@3 を用いる。比較対象のモデルとして TuckER [13], RESCAL [1], ComplEx [14], RotatE [8] を選択し，実装は LibKGE $[15]^{4)}$ のものを利用した。これらのモ


デルのハイパーパラメータは RESCAL，ComplEx に ついては先行研究 [4] で最高精度を達成した設定を， TuckER，RotatE については元の論文の設定を使用し た. SANS を適用する際には RotatE 以外のモデルで は LibKGE の初期值である 1.0 を使用し，RotatE で は元の論文で SANS が使用されているため，その 設定に従った．ラベルスムージングを適用する際 には，RotatE 以外のモデルでは LibKGE の初期値で ある 0.3 を使用したが，RotatE では比較対象である SANS の值がチューニングされているため，公平性 のために開発データを用いて $\{0.3,0.1,0.01\}$ から值を 選択した。他の詳細な設定は付録に記載した。

表 2 に実験結果を示す. SCE w/ LS で性能向上す る時に，多くの場合で SANS でも性能が向上してい る.この結果からいずれのデータセットでも疎なエ ンティティが問題となっていることが分かる. また この結果は $\mathrm{SCE}$ w/ LS と SANS が対応しているとい う我々の解釈に沿うものである。なお，RotatEでは この関係が成立していないが，後述するようにこの 結果は SCE が訓練データに適合できていないため であると考えられる。訓練データに適合していない のであれば出力が既に平滑化されており, SCEw/ LS の効果が抑制されるからである.

スコアリング法と損失関数の組み合わせの点から は, TuckER, RESCAL, ComplEx といった表現力が 高い手法では SCE と比較して NS の結果が高くない ことから，SCE の過剰適合ではなく，むしろ NS の 過少適合が問題であると考えられる。さらに，モデ ル上の制約が多い RotatE では NS でより高い性能を 発揮していることから，我々が予想したように自由度が高いモデルでは SCE が有用で，制約に基づくモ デルでは NS が有用であることが分かる.

## 6 まとめ

本稿では Bregman 距離を用いて知識グラフの埋め 込み学習における $\mathrm{SCE}$ 損失と $\mathrm{NS}$ 損失の二つの関数 を統一的に解釈した. その結果, 目的分布の点から は SCE と一様雑音分布に基づくNS が等価であり, またSCE でラベルスムージングを用いた場合と自己敵対的雑音に基づく NS が類似していることを示 した. さらに，SCE はNSよりも大きな距離を持つ ことを明らかにし，実験により SCE は表現力の高い スコアリング法と相性が良く，NS は制約をもつ自由度の低いスコアリング法との相性が良いことを示 した.

## 参考文献

[1] Antoine Bordes, Jason Weston, Ronan Collobert, and Yoshua Bengio. Learning structured embeddings of knowledge bases. In Proceedings of the Twenty-Fifth AAAI Conference on Artificial Intelligence, AAAI'11, p. 301-306. AAAI Press, 2011.

[2] Rudolf Kadlec, Ondrej Bajgar, and Jan Kleindienst. Knowledge base completion: Baselines strike back. In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 69-74, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Antoine Bordes, Nicolas Usunier, Alberto GarciaDuran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multirelational data. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 2787-2795. Curran Associates, Inc., 2013.

[4] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You can teach an old dog new tricks! on training knowledge graph embeddings. In International Conference on Learning Representations, 2020.

[5] L.M. Bregman. The relaxation method of finding the common point of convex sets and its application to the solution of problems in convex programming. USSR Computational Mathematics and Mathematical Physics, Vol. 7, No. 3, pp. 200 - 217, 1967.

[6] Michael U. Gutmann and Jun-ichiro Hirayama. Bregman divergence as general framework to estimate unnormalized statistical models. In Proceedings of the Twenty-Seventh Conference on Uncertainty in Artificial Intelligence, UAI' 11, p. 283-290, Arlington, Virginia, USA, 2011. AUAI Press.

[7] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27, pp. 2177-2185. Curran Associates, Inc., 2014.

[8] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and
Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. CoRR, Vol. abs/1902.10197, , 2019.

[9] Rafael Müller, Simon Kornblith, and Geoffrey E Hinton. When does label smoothing help? In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 4694-4703. Curran Associates, Inc., 2019 .

[10] A. Painsky and G. W. Wornell. Bregman divergence bounds and universality properties of the logarithmic loss. IEEE Transactions on Information Theory, Vol. 66, No. 3, pp. 1658-1673, 2020.

[11] Kristina Toutanova and Danqi Chen. Observed versus latent features for knowledge base and text inference. In Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality, pp. 57-66, Beijing, China, July 2015. Association for Computational Linguistics.

[12] Tim Dettmers, Minervini Pasquale, Stenetorp Pontus, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Proceedings of the 32th AAAI Conference on Artificial Intelligence, pp. 1811-1818, February 2018.

[13] Ivana Balazevic, Carl Allen, and Timothy Hospedales. TuckER: Tensor factorization for knowledge graph completion. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp.5185-5194, Hong Kong, China, November 2019. Association for Computational Linguistics.

[14] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. In ICML, pp. 2071-2080, 2016.

[15] Samuel Broscheit, Daniel Ruffinelli, Adrian Kochsiek, Patrick Betz, and Rainer Gemulla. LibKGE - A knowledge graph embedding library for reproducible research. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 165-174, 2020.

## A 付録

## A. 1 命題 1, 2 の証明

$\ell^{N S}$ は以下のように定式化できる:

$
\begin{aligned}
\ell^{N S}(\theta) & =-\frac{1}{|D|} \sum_{(x, y) \in D}\left(\log (P(C=1, y \mid x ; \theta))+\sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right)\right) \\
& =-\frac{1}{|D|} \sum_{(x, y) \in D} \log (P(C=1, y \mid x ; \theta))-\frac{1}{|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right) \\
& =-\frac{1}{|D|} \sum_{(x, y) \in D} \log \left(\frac{1}{1+G(y \mid x ; \theta)}\right)-\frac{1}{|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(\frac{G\left(y_{i} \mid x_{t} ; \theta\right)}{1+G\left(y_{i} \mid x_{t} ; \theta\right)}\right) \\
& =\frac{1}{|D|} \sum_{(x, y) \in D} \log (1+G(y \mid x ; \theta))+\frac{v}{v|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(1+\frac{1}{G\left(y_{i} \mid x ; \theta\right)}\right) \\
& =\sum_{(x, y) \in D} p_{d}(y \mid x) \log (1+G(y \mid x ; \theta)) p_{d}(x)+\sum_{(x, y) \in D} v p_{n}(y \mid x) \log \left(1+\frac{1}{G(y \mid x ; \theta)}\right) p_{d}(x)
\end{aligned}
$

ここで $u=(x, y), f(u)=\frac{v p_{n}(y \mid x)}{p_{d}(y \mid x)}, g(u)=G(y \mid x ; \theta), \quad p_{d}(x)=\frac{1}{p_{d}(y \mid x)} p_{d}(x, y)$ と置くと, 式 (14) を以下のように書き換えることが できる:

$
\begin{aligned}
\ell^{N C E}(\theta)= & \left(\sum_{(x, y) \in D} p_{d}(y \mid x) \log (1+g(u)) \frac{1}{p_{d}(y \mid x)} p_{d}(x, y)+\sum_{(x, y) \in D} v p_{n}(y \mid x) \log \left(1+\frac{1}{g(u)}\right) \frac{1}{p_{d}(y \mid x)} p_{d}(x, y)\right) \\
= & \sum_{(x, y) \in D}\left[\log (1+g(u))+\log \left(1+\frac{1}{g(u)}\right) f(u)\right] p_{d}(x, y) \\
= & \sum_{(x, y) \in D}[\log (1+g(u))-\log (g(u)) f(u)+\log (1+g(u)) f(u)] p_{d}(x, y) \\
= & \sum_{(x, y) \in D}[-g(u) \log (1+g(u))+(1+g(u)) \log (1+g(u))+\log (g(u)) g(u)+\log (1+g(u)) g(u) \\
& -\log (g(u)) f(u)+\log (1+g(u)) f(u)] p_{d}(x, y)
\end{aligned}
$

$\Psi(g(u))=g(u) \log (g(u))-(1+g(u)) \log (1+g(u))$ と $\Psi^{\prime}(g(u))=\log (g(u))-\log (1+g(u))$ に基づいて，式 (15)をさらに変形できる:

$
\ell^{N C E}(\theta)=\sum_{(x, y) \in D}\left[-\Psi(g(u))+\Psi^{\prime}(g(u)) g(u)-\Psi^{\prime}(g(u)) f(u)\right] p_{d}(x, y)=B_{\Psi}(g(u), f(u)) .
$

式(16) から, $g(u)=f(u)$ で $\ell^{N S}(\theta)$ が最小化されるとき, $G(y \mid x ; \theta)$ は $\frac{v p_{n}(y \mid x)}{p_{d}(y \mid x)}$ となる. そして, $\exp \left(f_{\theta}(x, y)\right)$ は

$
\exp \left(f_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

となる. よって，ソフトマックス関数の定義から， $p_{\theta}(y \mid x)$ の目的分布は以下となる:

$
p_{\theta}(y \mid x)=\frac{p_{d}(y \mid x)}{p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}} .
$

## A. 2 使用したハイパーパラメータ

表 3 に使用したハイパーパラメータの一覧を示す. . Dim はエンティティ埋め込みの次元数を，LS はラベルスムージングを AS は敵対雑音サンプリングの温度パラメータをそれぞれ表す. 各モデルは両方向のクエリに対応できるようエンティティの埋め込みのみを共有した逆側モデルも学習し, 最大エポック数を 800 とした. また, 開発データにて 5 エポック毎に MRRを計算し, その最高値が 10 回更新されなかった際に学習を打ち切った.

表 3 使用したハイパーパラメータの一覧


 上垣外 英剛＊ 東京工業大学 kamigaito@lr.pi.titech.ac.jp }  林克彦* 群馬大学 khayashi0201@gmail.com  