# 静的および動的な埋め込みに基づくエンティティの曖昧性解消

大葉大輔 1,2 山田育矢 ${ }^{2,3}$ 吉永直樹 4 豊田正史 ${ }^{4}$
1 東京大学 ${ }^{2}$ Studio Ousia ${ }^{3}$ RIKEN ${ }^{4}$ 東京大学生産技術研究所
oba@tkl.iis.u-tokyo.ac.jp ikuya@ousia.jp \{ynaga,toyoda\}@iis.u-tokyo.ac.jp

## 概要

エンティティの曖昧性解消タスクでは，各エン ティティを埋め込み表現としてパラメタ化した上 で曖昧性解消モデルの学習を行うことが有効であ る (Yamada et al. 2021) が，パラメタ化対象外のエン ティティの曖昧性解消は行えない。本稿では，エン ティティの説明文やエンティティを含む文からエン ティティの埋め込み表現を動的に推定し，学習済み 曖昧性解消モデルを拡張する手法を提案する．実験 では，評価データに出現する候補エンティティ全て をパラメタ化した上で訓練された既存モデルらと同等またはそれ以上の性能が得られることを示した。

## 1 はじめに

入力テキストに含まれるエンティティのメンショ ンを知識ベース (KB) のエントリに分類する Entity Disambiguation (ED) は，文書分類や質問応答等の言語処理タスクや，テキストからの KB 構築等の情報抽出タスクにおける重要な前処理の一つである [1].近年，ED モデルのパラメタとして分類候補の エンティティ集合に埋め込み表現を与えた上で， Wikipedia のハイパーリンクを正解データとする大量の学習データを用いた訓練を行うことで EDを高精度に解けるようになった $[2,3,4,5,6,7]$. しかし，埋め込み表現は訓練時にパラメタ化の対象となる一部のエンティティに対してのみ学習されるため，そ の他エンティティ (未知エンティティ）のメンショ ンは曖昧性を解消できない，実際，多くの既存シス テムは，評価時の正解候補エンティティすべてをパ ラメタ化した上で訓練および評価を行っている。

対して，エンティティの説明文とエンティティを 言及する文のエンコード結果を近づける学習によ り zero-shot で ED を解く方法 $[8,9]$ は未知エンティ ティの曖昧性解消を可能とする。しかし，埋め込み 表現に基づいた上述の方法より性能が低い上 [10],各メンションについて，その候補エンティティの数

図 1 提案手法の概要. エンティティの説明文 (Description) やエンティティを言及する文 (Sentence with hyperlink) からその埋め込み表現を推定し, ED モデルのエンティ ティ埋め込み表現行列 (Entity Embeddings) を補完する。

だけエンコーダの順伝搬計算を必要とする.

本稿では，訓練時にパラメタ化されたエンティ ティの静的な埋め込み表現と，テキストから推定し た動的な埋め込み表現を相補的に用いることを提案 (§3) し，静的なエンティティ表現に基づくED モ デル [7] (§2)を拡張する（図 1). 具体的には，まず 高頻度エンティティに限定した形で ED モデルを構築し, Wikipediaのハイパーリンクを正解とするデー 夕を用いて訓練を行う (§3.1). 次にエンティティの 埋め込み表現を動的に推定する 2 種類のエンコーダ を訓練する (§ 3.2). そして低頻度エンティティの埋 め込み表現を推定し，ED モデルのパラメタ（エン ティティの埋め込み表現行列）を拡張する (§3.2). これにより学習時にパラメタ化されない未知エン ティティを含む評価データでも，精度の高い静的な エンティティ表現に基づく EDを適用出来る.

代表的な評価データ (AIDA-CoNLL, MSNBC, AQUAINT, ACE2004, WNED-CWEB, WNED-WIKI)用いた実験では，提案手法により，正解候補エン ティティが既知な状態で訓練を行う既存手法と同等 またはそれ以上の性能が得られることを示す (§4).

## 2 事前知識

本節では，我々が基盤とする Yamada ら [7] の Global Model（以降 $\mathbf{Y}_{\mathbf{G}}$ )を説明する． $\mathbf{Y}_{\mathbf{G}}$ は BERT $_{\text {LARGE }}$ [11]を基盤とする現在の最高精度の モデルである. テキストの単語とエンティティの トークン列を入力に取り (§2.1), 各エンティティ トークンに対応する BERT の出力を基に曖昧性解消を行う (§2.2). 以降，単語とエンティティの語彙 セットを $V_{w}, V_{e}$ ，埋め込み表現の次元を $H$ とする.

## 2.1 入力表現

$\mathbf{Y}_{\mathbf{G}}$ では，入力テキストの単語トークン列とそ の内のエンティティに対応するトークン列を結合 し, 単語トークン列の先頭と末尾に特殊トークンの [CLS] と [SEP] を挿入する.この時，各トークンは 以下 3 種の埋め込み表現の和により表現される:

Token embedding： 各単語およびエンティティに 対応. 表現行列は $\mathbf{A} \in \mathbb{R}^{\left|V_{w}\right| \times H}$ および $\mathbf{B} \in \mathbb{R}^{\left|V_{e}\right| \times H}$.

Type embedding: トークンの種類（単語かエン ティティか) に対応. $\mathbf{C}_{w} \in \mathbb{R}^{H}$ および $\mathbf{C}_{e} \in \mathbb{R}^{H}$.

Position embedding: 入力系列中の単語トークン の位置に対応. 位置 $i$ にある単語およびエンティ ティの位置埋め込みは, $\mathbf{D}_{i} \in \mathbb{R}^{H}$ および $\mathbf{E}_{i} \in \mathbb{R}^{H}$ と する. 複数トークンで構成されるエンティティにつ いては対応する位置埋め込みを平均する。

## 2.2 曖昧性解消

$\mathbf{Y}_{\mathrm{G}}$ は Masked Language Model (MLM) [11] の要領で エンティティの曖昧性解消を行う. より具体的に は，メンションに該当する入力エンティティトー クンを [MASK] に置き換え，対応する BERT の出力 $\mathbf{h}_{e} \in \mathbb{R}^{H}$ からエンティティの推定を行う:

$
\begin{aligned}
\mathbf{m}_{e} & =\text { layernorm }\left(\operatorname{gelu}\left(\mathbf{W}_{f} \mathbf{h}_{e}+\mathbf{b}_{f}\right)\right) \\
\hat{\mathbf{y}} & =\operatorname{softmax}\left(\mathbf{B m}_{e}+\mathbf{b}_{o}\right)
\end{aligned}
$

$\mathbf{W}_{f} \in \mathbb{R}^{H \times H}, \mathbf{b}_{o}, \mathbf{b}_{f} \in \mathbb{R}^{H}$ はパラメタであり, gelu は 活性化関数 [12], layernorm は層正則化 [13] を表す.

訓練エンティティトークンを一定確率で [MASK] に置換し，対応する推定結果 $\hat{\mathbf{y}}$ の対数尤度を最大化 させる最適化を行う. Wikipedia のハイパーリンク を正解ラベルと見なした訓練データを使用する。

推論 $\mathbf{Y}_{\mathrm{G}}$ は推論を逐次的に行う．まず全エン ティティトークンをマスクし, 各 [MASK] に対応す るエンティティを推定する (式 2). 次に $\hat{\mathbf{y}}$ の最大確率が最も高い [MASK] を，その推定結果のエンティ ティトークンに置き換えて新しい入力を得る.この 処理を全 [MASK] が曖昧性解消されるまで繰り返す。

## 2.3 問題点

$\mathbf{Y}_{\mathrm{G}}$ は多くの評価データ (§ 4.1) で最高精度を達成 している [7] が， $V_{e}$ 外のエンティティは学習時に埋 め込み表現としてパラメタ化されないため曖昧性解消が行えない. 全てのエンティティを $V_{e}$ に含める 場合，訓練時の計算量が大幅に増加するだけでなく 特に低頻度エンティティに関するデータの過踈性 が問題になる. また，こうした制約から $\mathbf{Y}_{G}$ を含む 先行研究の多く $[2,3,4,5,6,7]$ は訓練の段階で評価 データに出現する全メンションのリンク先候補エ ンティティの集合を $V_{e}$ に定め, エンティティの埋也込み行列 $\mathbf{B} \in \mathbb{R}^{\left|V_{e}\right| \times H}$ を学習し評価に使用してい る. しかし, 訓練の段階で評価データに現れる全メ ンションを知っている設定は非現実的である.

## 3 提案

前節の問題点を踏まえ，訓練時のパラメタ化対象外のエンティティの埋め込み表現を動的に推定す ることを提案する. まず前節で導入した $\mathbf{Y}_{G}$ を基盤に, Wikipedia で頻出する一定数のエンティティ $V_{e}^{\prime}$ にのみ静的な埋め込み表現を与え, その $V_{e}^{\prime}$ に 閉じた ED モデルの訓練を行う (\$ 3.1). 次にその他 エンティティ $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の埋め込み表現を別途推定 し(§ 3.2), 訓練済みモデルの静的な埋め込み表現行列を拡張する (§3.2). これにより, 頻出エンティ ティに関しては高い性能への寄与が報告されてい る静的な埋め込み表現を保証しつつ，他のエンティ ティが出現する評価データについても同じ ED モデ ルで曖昧性解消が行える。

## 3.1 高頻度エンティティに限定した訓練

実装 後に拡張可能な形式で $\mathbf{Y}_{\mathrm{G}}$ の再定義 $\left(\mathbf{Y}_{\mathrm{G}}^{\prime}\right)$ を 行う. エンティティ埋め込み行列 $\mathbf{B}$ のみを補完する ため，項 $\mathbf{b}_{o}$ (式 2)を取り除く.また高頻度エンティ ティ $V_{e}^{\prime}$ のみで表現行列 $\mathbf{B}^{\prime} \in \mathbb{R}^{\left|V_{e}^{\prime}\right| \times H}$ を構成する:

$
\hat{\mathbf{y}}=\operatorname{softmax}\left(\mathbf{B}^{\prime} \mathbf{m}_{e}\right)
$

訓練 $\mathbf{Y}_{\mathrm{G}}$ と同じくWikipediaのハイパーリンクを 正解データとして，エンティティトークンを $30 \%$ の 確率で [MASK] に置換し，[MASK] に対応する推定結果 $\hat{\mathbf{y}}$ (式 3) の対数尤度を最大化させる最適化を行う.

## 3.2 エンティティ表現の推定エンコーダ

異なる言語資源に基づく 2 つのエンコーダを用い てエンティティの埋め込み表現を動的に推定する。 エンコーダは訓練済み $\mathbf{Y}_{\mathrm{G}}^{\prime}$ (§3.1)を基盤とする:

Description-based Encoder エンティティ $e_{i}$ の説明文を § 2.1 と同じ方法で $\mathbf{Y}_{\mathrm{G}}^{\prime}$ の入力表現とし, [CLS] に対応する BERT の出力表現 $\mathbf{h}_{\mathrm{CLS}}$ からエンティティ $e_{i}$ の埋め込み表現を推定する:

$
\hat{\mathbf{e}}_{\mathrm{DESC}_{i}}=\mathbf{W}_{\mathrm{DESC}} \mathbf{h}_{\mathrm{CLS}}+\mathbf{b}_{\mathrm{DESC}}
$

$\mathbf{W}_{\text {DESC }} \in \mathbb{R}^{H \times H}$ および $\mathbf{b}_{\text {DESC }} \in \mathbb{R}^{H}$ は学習パラメタ.

Hyperlink-based Encoder エンティティのハイ パーリンクを含む文集合を用いて埋め込み表現を 推定する。まず， $e_{i}$ のハイパーリンクを含む文を [SEP]を挟んで連結したものを 82.1 における単語 トークン列とする。次に，エンティティトークン 列のうち $e_{i}$ に該当するものを [MASK] に置換し，各 [MASK] に対応する BERT の出力 $\left[\mathbf{h}_{\text {MASK }_{1}} \ldots \mathbf{h}_{\text {MASK }_{\mathrm{N}}}\right]$ の 平均から埋め込み表現を推定する:

$
\begin{aligned}
\overline{\mathbf{h}}_{\mathrm{MASK}} & =\frac{1}{N} \sum_{j}^{N} \mathbf{h}_{\mathrm{MASK}_{j}} \\
\hat{\mathbf{e}}_{\mathrm{HL}_{i}} & =\mathbf{W}_{\mathrm{HL}} \overline{\mathbf{h}}_{\mathrm{MASK}}+\mathbf{b}_{\mathrm{HL}}
\end{aligned}
$

$\mathbf{W}_{\text {HL }} \in \mathbb{R}^{H \times H}$ および $\mathbf{b}_{\mathrm{HL}} \in \mathbb{R}^{H}$ は学習パラメタ.

訓練 訓練済み $\mathbf{Y}_{\mathrm{G}}^{\prime}(\S 3.1)$ におけるエンティティ 埋め込み表現行列 B' を教師信号とし，エンティティ $e_{i}$ に該当するインデックスの埋め込み表現と, エン コーダが推定した埋め込み表現 $\hat{\mathbf{e}}_{i}$ の平均二乗誤差を 最小化する. 埋め込み表現行列 $\mathbf{B}^{\prime}$ のみ固定し, 高頻度エンティティ $V_{e}^{\prime}$ に関する Wikipedia エントリか ら抽出した説明文 (概要) およびそれらのハイパー リンクを含む文を学習データに用いて訓練する。

推定表現のアンサンブル 最終的に，上記の異な るエンコーダから推定された埋め込み表現を平均化 することで一つのエンティティ埋め込み表現とす る.これにより，2つの異なる言語資源に含まれる 情報を利用できるようにする。

エンティティ表現の推定と補完 高頻度エンティ ティ集合に含まれないエンティティ集合 $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の 埋め込み表現を上記エンコーダで推定し, 訓練済 み $\mathbf{Y}_{\mathrm{G}}^{\prime}$ (§ 3.1)の埋め込み表現行列 $\mathbf{B}^{\prime}$ (式 3)を補完す る $\left(\mathbf{B}^{\prime \prime \prime} \in \mathbb{R}^{\left|V_{e}^{\prime}+V_{e}^{\prime \prime}\right| \times H}\right) . \mathbf{Y}_{\mathrm{G}}^{\prime}$ は追加のエンティティ集合 に対しても同様の推論が行える:

$
\hat{\mathbf{y}}=\operatorname{softmax}\left(\mathbf{B}^{\prime \prime \prime} \mathbf{m}_{e}\right)
$

表 1 AIDA-CoNLL における In-KB Mico-F1. 最も性能が 良い $2 つ の$ 数値に太字，下線の順で印をつけた。

## 4 実験

Yamada ら [7] の $\mathbf{Y}_{\mathrm{G}}$ (§2) に提案手法を実装し, 評価データ中の全候補エンティティの埋め込み表現 をパラメタに持った上で訓練された既存システ ム $[3,4,5,6,7]$ と同等の性能が得られるか確認する.

## 4.1 実験設定

実装 まず， BERT $_{\text {BASE }}$ [11]を基に，Wikipedia 上の 頻出エンティティ $\left|V_{e}^{\prime}\right|=1 \mathrm{M}$ に限定した $\mathbf{Y}_{\mathrm{G}}$ の再定義 ( $\mathbf{Y}_{\mathrm{G}^{\prime}}{ }^{\prime}$ および訓練 (§3.1) を行う. 評価データで使用される約 $270 \mathrm{~K}$ 件の正解候補エンティティうち, $V_{e}^{\prime}$ のカバレッジは $55.9 \%$, 既存システムは $100 \%$ である。次に，訓練済み $\mathbf{Y}_{\mathrm{G}^{\prime}}$ と Wikipediaを用いて 提案エンコーダを訓練した後, 未知エンティティ $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の埋め込みを推定し $\mathbf{Y}_{\mathrm{G}^{\prime}}$ を拡張する (§3.2).

評価データ Ganea \& Hofmann (2017) [3] の設定に倣い, AIDA-CoNLL [14], MSNBC, AQUAINT, ACE2004, WNED-CWEB, WNED-WIKI [15] を用い る.また，メンション表層に対する各エンティ ティへの被リンク事前確率 [3] に基づいて, 正解候補エンティティ集合を各メンションに割り当て る(KB+YAGO) [14]. 式 7 における推論の際には，候補エンティティ集合に対応するインデックスの埋め 込み表現行列のみを用いて内積計算および softmax を実行する. AIDA-CoNLLでは異なる候補エンティ ティ集合 PPRforNER [16] を使用した評価も行う.

評価指標 micro-F1 值を報告する。

Fine-Tuning AIDA-CoNLLでは，提案手法により 拡張した $\mathbf{Y}_{\mathrm{G}}^{\prime}$ を付属訓練セットを用いて Fine-tuning した評価も行う. Yamada ら [7] と同様にエンティ ティの埋め込み表現行列を固定，またエンティティ トークンを $90 \%$ の確率でマスクして, 出力 $\hat{\mathbf{y}}$ (式 7) の対数尤度を最大化させる. その他ハイパーパラメ タの探索空間は Devlin ら [11] と同じものを用いた.
表 2 AIDA-CoNLL 以外のデータにおける Micro-F1 值. 最も性能が良い 2 つの数値に太字，下線の順で印をつけた，

表 3 エンティティの動的な埋め込み表現を部分的に用い た時の AIDA-CoNLL における Micro-F1 値の変化.

表 4 未知エンティティメンションに関する Precision. ま た, 未知エンティティの hyperlink-based emb. を推定する際 に使用出来たハイパーリンク文の数 (\# sentences) によって メンションを分類し各々で precisionを算出した. Baseline は被リンク事前確率 [3] 最大のエンティティを選択する。

## 4.2 実験結果

AIDA-CoNLL およびその他評価データにおける実験結果を表 1 , 表 2 に示す. 提案モデルは WIKIおよ び ACE2004において最高性能であり，他の評価デー タでは Yamada ら [7]を除く全システムに優った.総合して，提案モデルの基盤である Yamada ら [7] の モデルが最も優れていたが，提案モデルは MSNBC を除く全評価データで $1 \mathrm{pt}$. 以内に迫った.

比較システム $[3,4,5,6,7]$ と異なり, 提案モデル は評価データの約 $60 \%$ の候補エンティティについて しか訓練を行なえていない。加えて，Yamada ら [7] は，提案モデルが基盤とする $\mathrm{BERT}_{\text {base }}$ よりも大き な $\mathrm{BERT}_{\text {large }}$ を基盤としている (§2). 提案手法がこ れらシステムと同等またはそれ以上の性能を得たこ とは，エンティティの埋め込み表現の推定および補完が一定の水準で達成されていることを示す.

## 4.3 考察

推定表現のアンサンブルの影響 動的な埋め込 み表現の平均化 (§ 3.2) の影響を観るため，いずれ かのエンコーダで推定された埋め込み表現のみを 用いて $\mathbf{Y}_{\mathrm{G}}[7]$ の拡張を行い，AIDA-CoNLL で評価し
た (表 3). 僅かではあるが，いずれの場合も一貫し て性能が低下しており，埋め込み表現の平均化によ り異なる性質を補い合っていることが推測される.

未知エンティティの曖昧性解消性能 訓練対象外 のエンティティをどの程度曖昧性解消できているの か確認するために，全評価データ (§ 4.1)の中で，未知エンティティ $\notin V_{e}^{\prime}$ をラベルに持つメンションに ついて precisionを計算した (表 4). 動的なエンティ ティ埋め込み表現の種類に関わらず約 8 割の未知エ ンティティが正しく曖昧性解消されていた。一方， その中でも Hyperlink-based な埋め込み表現が最も効果的であるという傾向は，既知エンティティを含め た結果の傾向（表 3）に反していることから，同埋 め込み表現は既知エンティティ $V_{e}^{\prime}$ の正しい曖昧性解消を惑わせる影響もあることを示唆している。

エンコードに使用する文の数の影響 Hyperlinkbased emb. の質と，そのエンコードに使用できるエ ンティティを言及する文の数の関係を分析するた め，その文の数に基づいて未知エンティティおよび それらをラベルに持つメンションを大まかに分類 し，それぞれで precision を計算した (表 4)，表より， エンティティを言及する文が 3 文以上利用できる場合はそこからエンコードされた埋め込みは全ての埋 め込みの中で最も質のよい表現であった. 反対に, 2 文以下の場合はエンティティの頻度に依存しない 説明文の利用が最も効果的であった. 今後，エン ティティの頻度に応じて両埋め込み表現に重みをつ けてアンサンブルするといった改善が考えられる。

## 5 おわりに

本稿では，未知エンティティの埋め込み表現を動的に推定し, 静的な埋め込み表現に基づく曖昧性解消モデルを拡張する方法を提案した (§3). 実験 (§4) では，提案手法を用いて拡張したモデルが，評価 データで使用される全エンティティの埋め込みをパ ラメタ化して訓練しているモデルらと同等またはそ れ以上の性能を得られることを示した。また，提案手法による未知エンティティの曖昧性解消への有効性と，動的な埋め込みの品質改善の余地を示した。

## 参考文献

[1] Johannes Welbl, Pontus Stenetorp, and Sebastian Riedel. Constructing datasets for multi-hop reading comprehension across documents. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 287-302, 2018.

[2] Ikuya Yamada, Hiroyuki Shindo, Hideaki Takeda, and Yoshiyasu Takefuji. Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 250-259, 2016.

[3] Octavian-Eugen Ganea and Thomas Hofmann. Deep Joint Entity Disambiguation with Local Neural Attention. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2619-2629, 2017.

[4] Phong Le and Ivan Titov. Improving Entity Linking by Modeling Latent Relations between Mentions. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1595-1604, 2018.

[5] Samuel Broscheit. Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking. In Proceedings of the 23rd Conference on Computational Natural Language Learning, pp. 677-685, 2019.

[6] Thibault Févry, Nicholas FitzGerald, Livio Baldini Soares, and Tom Kwiatkowski. Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking. In Automated Knowledge Base Construction, 2020.

[7] Ikuya Yamada, Koki Washio, Hiroyuki Shindo, and Yuji Matsumoto. Global Entity Disambiguation with Pretrained Contextualized Embeddings of Words and Entities. arXiv preprint arXiv:1909.00426, 2021.

[8] Lajanugen Logeswaran, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Jacob Devlin, and Honglak Lee. Zero-Shot Entity Linking by Reading Entity Descriptions. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3449-3460, 72019.

[9] Ledell Wu, Fabio Petroni, Martin Josifoski, Se- bastian Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6397-6407, 2020.

[10] Nicola De Cao, Gautier Izacard, Sebastian Riedel, and Fabio Petroni. Autoregressive Entity Retrieval. In International Conference on Learning Representations, 2021.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[12] Dan Hendrycks and Kevin Gimpel. Gaussian Error Linear Units (GELUs). arXiv preprint arXiv:1606.08415v3, 2016.

[13] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer Normalization. arXiv preprint arXiv:1607.06450v1, 2016.

[14] Johannes Hoffart, Mohamed Amir Yosef, Ilaria Bordino, Hagen Fürstenau, Manfred Pinkal, Marc Spaniol, Bilyana Taneva, Stefan Thater, and Gerhard Weikum. Robust Disambiguation of Named Entities in Text. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 782-792, 2011.

[15] Zhaochen Guo and Denilson Barbosa. Robust Named Entity Disambiguation with Random Walks. Semantic Web, Vol. 9, No. 4, pp. 459-479, 2018.

[16] Maria Pershina, Yifan He, and Ralph Grishman. Personalized Page Rank for Named Entity Disambiguation. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, p. 238-243, 2015.
 大葉大輔 1,2 山田育矢 ${ }^{2,3}$ 吉永直樹 4 豊田正史 ${ }^{4}$ 1 東京大学 ${ }^{2}$ Studio Ousia ${ }^{3}$ RIKEN ${ }^{4}$ 東京大学生産技術研究所 oba@tkl.iis.u-tokyo.ac.jp ikuya@ousia.jp \{ynaga,toyoda\}@iis.u-tokyo.ac.jp  