# ID レベル関係抽出における不要な文の自動選択

辻村有輝 三輪誠佐々木裕
豊田工業大学
\{sd18602, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

言及を超えた文書に現れるエンティティ間の関係を，エンティティに対応するデータベース上の ID 間の関係として抽出する ID レべル関係抽出が取り組まれ始めている．IDにより文書を超えた利用性の高い関係情報を抽出できる一方で，入力の広域化による不要な入力情報の増大が問題となる. 本研究では，関係抽出対象のエンティティ IDぺアに対する入力文書中の各文の重要性を判断し，不要な文をマスクする ID レベル関係抽出モデルを提案する。 さらに固有表現抽出とエンティティリンキングを組み合わせることでテキストのみから ID レベルの関係を抽出するパイプラインシステムを実現し，その性能を明らかにする。

## 1 はじめに

関係抽出は文書中に出現するエンティティ同士の意味的な関係を抽出するタスクであり，データベー ス拡張や下流タスクでの利用性から広く研究されている $[1,2,3]$. 既存研究では文書中に出現するエンティティの特定の言及スパン同士の間に成立する関係を抽出する言及レベルの関係抽出が広く取り組まれてきた $[1,2]$. 一方で，文書中には同一エンティティを表す言及が複数出現することが多く，文書の意味をよく捉えた関係抽出のためには，文書中の同一エンティティについて情報の統合が必要である。

そこで，近年，エンティティ間の関係性を取り扱う研究が取り組まれ始めている [3]. このような研究では，各エンティティに対する言及を専門家が整備する用語データベース上の ID にリンクすることによって概念的な同一性の粒度を取り扱う，IDレベル関係抽出のタスク設定が一般的である. IDレベル関係抽出における抽出結果は ( $\mathrm{ID}_{\mathrm{Arg} 1}$, relation, $\mathrm{ID}_{\mathrm{Arg} 2}$ ) のトリプルの形で表現される. エンティティ各項がすでにデータベース上の ID とリンクされているため，言及レベルの関係抽出に比べて表記ゆれの問題がなく，文書を超えた利用が可能であり，データベースの参照や拡張に直接利用できたり，他の下流タスクでの利用時に ID による参照できたりするなど，応用上のメリットも大きい.

このようなメリットの一方で，ID レベル関係抽出は言及レベルの関係抽出に比べて，入力として利用する文脈が必然的に長くなり，その結果，入力中に含まれる不要な情報も増えるという問題点がある.関係抽出の性能向上には，関係の判断に必要な情報の取捨選択が重要であることが知られており，例えば単文上の言及レベル関係抽出では，ルールベースでの文の構文木上の最短経路を用いた重要単語の選択手法の有効性が知られている [1]. この手法は,観察によって得られたヒューリスティックに基づいており，重要な単語が選択できないケースが存在するため，著者らはルールの代わりに学習による重要単語の選択手法を提案した [2].

本研究ではこの学習ベースの重要単語の選択手法を ID レベル関係抽出に拡張し，入力文中の不要な文を自動選択する ID レベル関係抽出モデルを提案する。提案モデルは関係抽出対象のエンティティ ID ゚゚アと各文の表現ベクトルから，その文の重要度スコアを計算し，この重要度スコアに基づいて不要な文を離散的にマスクする，マスクの基準はタスク損失から end-to-end に学習する。

実験では生化学分野の論文概要上での ID レベル関係抽出を取り扱う BioRED データセット [3]を用いて，提案モデルの評価を行った. 実験結果から，提案モデルの性能は recall に比べて precision が高くなる傾向が確認された。また本研究では，提案モデルを用いたパイプライン情報抽出システムの構築と評価も行った。このパイプラインシステムは，関係抽出に加えて固有表現抽出とエンティティリンキングを実施することで，テキストのみを入力とした ID レベルの情報抽出を実現した。

本研究の主な貢献は以下の 2 点である.

図 1 関係抽出モデルの外観. 本モデルは文分割された文書と対象のエンティティIDペアに属する全言及スパン位置を入力とし，対象のペアを関係クラスに分類する.

・不要な文の判断をタスク損失から end-to-end に学習する，入力中の不要な文をマスクする ID レベル関係抽出モデルを提案し，BioREDデー タセットで評価した。提案モデルは不要な文をマスクしない場合に比べて，precision が高くなることを確認した.

・テキストのみの入力から ID レベルの関係を抽出するパイプライン情報抽出システムを構築し，BioRED データセットで評価した. 最終的な関係抽出の性能として，システムは $32.2 \%$ のテスト $\mathrm{F}$ 值を記録した。

## 2 関連研究

## 2.1 情報抽出

情報抽出はテキストから構造化された情報を抽出する自然言語処理技術である [1]. 情報抽出によって抽出される情報の多くは文書中に出現するエンティティとその間に成立する関係の形で構成される. 情報抽出のサブタスクとしては，テキストからエンティティの言及スパンを取り出す固有表現抽出，同一概念のクラスタリングを行う共参照解析，各言及スパンについて，それが意味するエンティティに対応する外部 ID を識別するエンティティリンキング，エンティティ間の関係を抽出する関係抽出などがある.

## 2.2 BioRED

BioRED は文書に対する ID レベル関係抽出デー タセットである [3]. 各文書は PubMed ${ }^{11}$ に登録されている生化学分野の論文概要であり，6クラスのエンティティと 8 クラスの関係から構成される. エンティティのラベルは各言及スパンの位置とそのクラス，およびデータベース上の ID である. リンク先となるデータベースはエンティティクラスごとに異


なる。関係は各 ID ペアごとに高々 1 つのラベルがつく，シングルラベル設定であり，負例ぺアも存在する. データセットの分割として公式の訓練 (400 文書)，開発 (100 文書)，テストセット (100 文書) が提供されている。各正例関係にはその関係がその論文中で新たに見つかったものかを表す新規性ラベルが付与されているが，本研究では新規性ラベルは使用しない.

## 2.3 文レベル関係抽出における重要箇所

著者らは，単文からの言及レベル関係抽出において，学習を通じて重要単語を自動で選択する手法を提案した [2]. 選択の基準は Gumbel-Softmax サンプリング [4] を利用することで，離散的な振る舞いを表現し，タスク損失から end-to-end に学習した。

## 3 提案手法

## 3.1 ID レベル関係抽出モデル

文書からの関係抽出の入力中には，抽出対象のエンティティ ID ペアに無関係な記述が多く存在する．また，対象 ID ゚゚アに関連する記述ではあるが，関係については言及していない記述も存在し， そのような不要な情報は関係抽出の性能に悪影響を及ぼすと考えられる。そこで，各文について，その文の対象エンティティ ID ゚アに対する重要度を判断し，不要な文をマスクするマスク処理を備えた ID レベルの関係抽出モデルを提案する. 不要な文の判定はタスク損失から end-to-end に学習され， Gumbel-Softmax サンプリングによって離散的なマスク処理の学習を実現する。提案モデルの外観を図 1 に示す.

提案モデルは，文分割された文書と対象のエンティティIDペアに属する全言及スパン位置を入力とし，そのぺア間の関係クラスを出力する分類モデルである. 初めに各文を BERT [5]によってエ

ンコードし，BERT 最終層の隠れべクトルとして各トークンの表現ベクトルを得る．続いてエンティティの言及スパンごとに，そのスパンに含まれるトークンの表現ベクトルに対して平均プーリングを行うことで，スパン表現ベクトルを計算する.

$
v_{i, j}^{\mathrm{span}}=\frac{1}{\left|\mathrm{M}_{i j}\right|} \sum_{t \in \mathrm{M}_{i j}} v_{i, t}^{\mathrm{token}}
$

ここで $v_{i, j}^{\mathrm{span}}$ は文書中の $i$ 番目の文において $j$ 番目に出現する言及のスパン表現であり， $\mathrm{M}_{i j}$ はスパンに含まれるトークンインデックスの集合， $v_{i, t}^{\text {token }}$ は番目の文の $t$ 番目のトークンに対する BERT の最終層の隠れべクトルである.

次に，対象 ID ペアに対する $i$ 番目の文の重要度スコア $c_{i}^{\text {mask }}$ 計算する。重要度スコアは, 文中のトークンの表現ベクトルの平均から計算される文表現と，対象 ID ゚アアそれぞれのエンティティの言及スパン表現の平均から計算されるエンティティの表現から計算される.

$
\begin{aligned}
\boldsymbol{v}_{i}^{\text {sent }} & =\frac{1}{T_{i}} \sum_{t=1}^{T_{i}}\left(\boldsymbol{v}_{i, t}^{\text {token }}\right) \\
\left.\{\boldsymbol{v}_{1}^{\text {lstm }}, \boldsymbol{v}_{2}^{\text {lstm }}, \ldots, \boldsymbol{v}_{S}^{\text {lstm }}\right.\} & =\operatorname{LSTM}\left(\boldsymbol{v}_{1}^{\text {sent }}, \boldsymbol{v}_{2}^{\text {sent }}, \ldots, \boldsymbol{v}_{S}^{\text {sent }}\right) \\
\boldsymbol{v}_{i}^{\text {csent }} & =\left(\mathrm{W}^{\text {csent }} \boldsymbol{v}_{i}^{\text {lstm }}+\boldsymbol{b}^{\text {csent }}\right)+\boldsymbol{v}_{i}^{\text {sent }} \\
\boldsymbol{v}_{i}^{\text {key }} & =\mathrm{W}^{\text {key }} \boldsymbol{v}_{i}^{\text {csent }} \\
\boldsymbol{v}_{k}^{\mathrm{ID}} & =\frac{1}{\left|\mathrm{E}_{k}\right|} \sum_{(i, j) \in \mathrm{E}_{k}}\left(\boldsymbol{v}_{i, j}^{\text {mention }}\right) \\
\boldsymbol{v}^{\text {query }} & =\mathrm{W}^{\text {query }}\left[\boldsymbol{v}_{\text {Arg } 1}^{\mathrm{ID}} ; \boldsymbol{v}_{\text {Arg } 2}^{\mathrm{ID}}\right] \\
c_{i}^{\text {mask }} & =\sigma\left(\frac{\boldsymbol{v}^{\text {query T }} \boldsymbol{v}_{i}^{\text {key }}}{\sqrt{\operatorname{dim}\left(\boldsymbol{v}^{\text {query }}\right)}}\right),
\end{aligned}
$

ここで $\boldsymbol{v}_{i}^{\text {sent }}$ が $i$ 番目の文に対する文表現であり， $T_{i}$ は $i$ 番目の文の文長を， $S$ は文書中の文数を表す。 LSTM は双方向の出力を結合する双方向 LSTM, $\left[v_{1} ; v_{2}\right]$ はベクトル $v_{1}$ と $v_{2}$ の結合， $\sigma$ はシグモイド関数である. $\operatorname{dim}(\boldsymbol{v})$ はベクトル $\boldsymbol{v}$ の次元数を表す. $\mathrm{E}_{k}$ はエンティティ IDが $k$ であるエンティティに対応する言及スパンが属する文インデックスとスパンインデックスのペア集合， $v_{k}^{\mathrm{ID}}$ はエンティティ IDが $k$ であるエンティティの表現, $\operatorname{Arg} 1$ および $\operatorname{Arg} 2$ が関係抽出対象のエンティティIDペアのそれぞれを

列とバイアスである.

$i$ 番目の文のマスク $m_{i}^{\text {mash }}$ を決定する. 学習時のマ
スクは，Gumbel-Softmax サンプリングを利用することで，離散的な値に近いマスクを得る。

$
m_{i}^{\text {mask }}=\operatorname{Gumbel}_{2}\left(c_{i}^{\text {mask }}\right),
$

ここで Gumbel $2_{2}$ は 2 クラスの Gumbel-Softmax サンプリングである．このサンプリングは微分可能であり，勾配法によって重要度スコアに影響するパラメータを学習する。テスト時のマスクは重要度スコアが 0.5 を超える場合 1 , 超えない場合 0 として決定的に計算する。

最後に，計算されたマスクに基づいてエンティティの表現を計算し，関係を予測する。

$
\begin{aligned}
\boldsymbol{v}_{k}^{\mathrm{mID}} & =\frac{\sum_{(i, j) \in \mathrm{E}_{k}}\left(m_{i}^{\text {mask }} \boldsymbol{v}_{i, j}^{\text {span }}\right)}{\sum_{(i, j) \in \mathrm{E}_{k}} m_{i}^{\text {mask }}} \\
\boldsymbol{v}^{\mathrm{h}} & =\tanh \left(\mathrm{W}^{\mathrm{h}}\left(\left[\boldsymbol{v}_{\text {Arg } 1}^{\mathrm{mID}} ; \boldsymbol{v}_{\text {Arg } 2}^{\mathrm{mID}}\right]+\boldsymbol{v}^{\text {noise }}\right)+\boldsymbol{b}^{\mathrm{h}}\right) \\
\boldsymbol{p} & =\operatorname{softmax}\left(\mathrm{W}^{\mathrm{o}} \boldsymbol{v}^{\mathrm{h}}+\boldsymbol{b}^{\mathrm{o}}\right),
\end{aligned}
$

$v_{k}^{\mathrm{mID}}$ は ID が $k$ であるエンティティの言及のスパン表現をその言及の属する文の重要度を考慮して統合したエンティティの表現であり，関係予測では対象エンティティ ID ペアの各エンティティ表現 $\boldsymbol{v}_{\mathrm{Arg} 1}^{\mathrm{mID}}$ と $v_{\mathrm{Arg} 2}^{\mathrm{mID}}$ を力として分類を行う. tanh と softmax はそれぞれ $\tanh$ 関数とソフトマックス関数を表す。 $\mathrm{W}^{\mathrm{h}}$, $\mathrm{W}^{\mathrm{o}}$ と $\boldsymbol{b}^{\mathrm{h}} ， \boldsymbol{b}^{\mathrm{o}}$ はそれぞれ重み行列とバイアスである. 出力 $\boldsymbol{p}$ は対象エンティティペアに対する関係ラベルの確率分布である.

最終的な予測としては, $\boldsymbol{p}$ において最大の確率となった関係クラスを選ぶ. $v^{\text {noise }}$ はマスクされなかった文数が多いほど分散が大きくなるノイズであり，不要な情報を多く利用するほど入力がノイズに晒されることをモデルしている。この設定により， ノイズの予測への影響を低減させるために使用する文数を減らすよう訓練されることを期待している。 ノイズの計算式は付録 $\mathrm{A}$ に示す. テスト時にはノイズは使用しない.

## 3.2 パイプライン情報抽出システム

本研究では，提案する関係抽出に，固有表現抽出とエンティティリンキングを組み合わせた，パイプライン ID レベル情報抽出システムも構築した. 本システムは，初めに文書に対して固有表現抽出を実行し，言及スパンを抽出する。続いて各スパンにエンティティリンキングを行いIDを識別する．最後に，抽出されたスパンと ID から提案モデルによってIDレベルの関係を抽出する。
表 1 “Chemical” および“Disease”エンティティのみからなる ID ゚゚アを対象とした関係抽出の評価。結果はそれぞれ micro 平均スコアの 5 回の評価の平均値である. Luo らは全エンティティクラスのペアに対して実験を行っており，本研究で対象とする 2 種のみの microF 值は報告されていないため，論文中の ID ペア種別ごとの $\mathrm{F}$ 值のうち対応するものの macro 平均值を参考として記した．また，各スコアにおいて最大の值を太字で示した.

## 4 実験と考察

## 4.1 実験設定

実験では，BioRED データセット [3]を用いて学習と評価を行った. パイプラインシステムの固有表現抽出には著者らのニューラル固有表現抽出モデル [6]を使用し，BioREDで学習と評価を行った。 エンティティリンキングには著者らのニューラルリンキングモデル [7] の，NLM-CHEM データセット [8]で学習された学習済みモデルを用いた。この

行うが，BioRED データセット上のエンティティでは, “Chemical" と “Disease" クラスが MeSH ID とリンクされているため, 固有表現抽出モデルがこの 2 クラスへ分類したエンティティに限ってリンキングを行った. 関係抽出においてもこの2クラスのエンティティのみを対象とした. ベースラインとして，学習によるマスクを用いず常に全文を利用する設定での実験も行った. また，比較として学習によるマスクの代わりに，対象エンティティペアが共起する文のみを利用する設定での実験も行った．学習によるマスクを用いない場合は，学習時も式 (4) 中のノイズは利用しない. 各設定についてそれぞれ 5 回ずつ乱数シードを変更して学習と評価を行った. デー タセットの分割は公式の訓練・開発・テストセットを採用し，100 エポックの学習において最大の開発 $\mathrm{F}$ 值を計測したエポック時のパラメータでテスト評価を行った. より詳細な実験設定は付録 B に示す.

## 4.2 実験結果と考察

関係抽出の評価を表 1 に示す. 提案手法は開発セットではシングルタスク設定においてべースラインよりも $1 \%$ ポイント以上高い $\mathrm{F}$ 値であったが，テ
ストセットにおいては優劣が逆転した，共起のみを用いた場合でも同様の傾向が確認された. なお，エンティティ ID ペア 2 種のみでの設定ではあるが， いずれの手法も先行研究 [3] よりも高い $\mathrm{F}$ 值となった. パイプラインシステムに用いた固有表現抽出とエンティティリンキングの性能は付録 C に示す.

提案手法は比較手法と比べて常に最高の precision となったが，逆に recall は常に最低となった. また， パイプライン設定では，シングルタスク設定同様に提案手法がベースラインよりも $1 \%$ ポイント以上高い開発 $\mathrm{F}$ 值となった一方，テストセットではほとんど差がない結果となっている. パイプライン設定では言及スパンや ID がシングルタスク設定より信頼しにくいため, この点で precision の高い提案モデルが有利であった可能性が示唆されるが，より詳細な分析は今後の課題である.

シングルタスク設定において，学習済みの提案手法が開発セット上でマスクしなかった文数を計測したところ, 1 文書当たりの平均で約 3.0 文であった. これは文書中の文数の約 $25 \%$ にあたる。 もし各対象エンティティID のスパンが別々の文に出現する場合，最低 2 文は入力として利用しなければならないが，提案手法はこれに近い数まで利用する文をマスクしていることが確認された.

## 5 おわりに

本研究では, ID レベル関係抽出における不要な情報の増大に対処するため，不要な文をマスク処理によって自動で選択する ID レベル関係抽出モデルを提案した. さらに提案モデルに固有表現抽出とエンティティリンキングを組み合わせることで，テキストのみから ID レべルの関係を抽出するパイプライン ID レベル情報抽出システムを実現した. 今後の課題として，マスク処理が利用する文についてのより詳細な分析が挙げられる。

2) https://www.nlm.nih.gov/mesh/meshhome.html

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Razvan Bunescu and Raymond Mooney. A shortest path dependency kernel for relation extraction. In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, 2005.

[2] 辻村有輝, 三輪誠, 佐々木裕. 関係分類における依存木上の重要トークンの自動判別. 自然言語処理, Vol. 27, No. 2, pp. 211-235, 2020.

[3] Ling Luo, Po-Ting Lai, Chih-Hsuan Wei, Cecilia N Arighi, and Zhiyong Lu. BioRED: a rich biomedical relation extraction dataset. Briefings in Bioinformatics, Vol. 23, No. 5, p. bbac282, 2022.

[4] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. Computing Research Repository, Vol. arXiv:1611.01144, , 2017. version 5.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, 2019. Association for Computational Linguistics.

[6] Tomoki Tsujimura, Koshi Yamada, Ryuki Ida, Makoto Miwa, and Yutaka Sasaki. Contextualized medication event extraction with striding ner and multi-turn qa. Journal of Biomedical Informatics, p. 104416, 2023.

[7] Tomoki Tsujimura, Makoto Miwa, and Yutaka Sasaki. Large-scale neural biomedical entity linking with layer overwriting. Journal of Biomedical Informatics, p. 104433, 2023

[8] Rezarta Islamaj, Robert Leaman, David Cissel, Meng Cheng, Cathleen Coss, Joseph Denicola, Carol Fisher, Rob Guzman, Preeti Kochar, Nicholas Miliaras, Zoe Punske, Keiko Sekiya, Dorothy Trinh, Deborah Whitman, Susan Schmidt, and Zhiyong Lu. The chemical corpus of the nlm-chem biocreative vii track: Full-text chemical identification and indexing in pubmed articles. In Proceedings of the seventh BioCreative challenge evaluation workshop, 2021.

[9] Mark Neumann, Daniel King, Iz Beltagy, and Waleed Ammar. ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 319327, Florence, Italy, 2019. Association for Computational Linguistics.

[10] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pre- training for biomedical natural language processing. ACM Trans. Comput. Healthcare, Vol. 3, No. 1, 2021.

[11] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, No. 56, pp. 1929-1958, 2014

## A 提案モデルにおけるノイズの計算

学習時の式 (4) 中のノイズ $\boldsymbol{v}^{\text {noise }}$ は以下の式によって計算する.

$
\begin{aligned}
r^{\text {num }} & =\sum_{S} m_{i}^{\text {mask }} \\
r^{\text {penalty }} & =\max \left(0, r^{\text {num }}-1\right) \\
\boldsymbol{p} & \sim \mathcal{N}\left(\mathbf{0}, \alpha^{2} \boldsymbol{I}\right) \\
\boldsymbol{v}^{\text {noise }} & =r^{\text {penalty }} \boldsymbol{p},
\end{aligned}
$

ここで $\alpha$ はハイパーパラメータであり，実験では 0.5 とした.

## B 実験設定の詳細

ここではより詳細な実験設定について説明する.

関係抽出では，前処理として BioRED データセットの各入力文書を scispaCy [9] によって文分割した. scispaCy のモデルには“en_core_sci_scibert”を用いた. 提案モデルの BERT エンコーダーの初期值には PubMedBERT [10] を用いた. PubMedBERT の最終層隠れべクトルの次元数は 768 次元である. 式 (2) 中のパラメータの各次元数は， $\mathrm{W}^{\text {csent }}$ と $\boldsymbol{b}^{\text {csent }}$ はそれぞれ $768 \times 1536$ 次元と 768 次元， $\mathrm{W}^{\text {key }}$ と $\mathrm{W}^{\text {query }}$ はそれぞれ $768 \times 768$ 次元と $768 \times 1536$ 次元とし，双方向 LSTM の各方向の次元数も 768 次元とした. 式 (4) 中のパラメータの各次元数は， $\mathrm{W}^{\mathrm{h}}$ と $\boldsymbol{b}^{\mathrm{h}}$ はそれぞれ $1536 \times 1536$ 次元と 1536 次元， $\mathrm{W}^{\mathrm{o}}$ と $\boldsymbol{b}^{\mathrm{o}}$ はそれぞれ $9 \times 1536$ 次元と 9 次元とした. 式 (5) 中の $\boldsymbol{p}$ の次元数は 1536 次元とした. 汎化性能を向上させるため，隠れ層の出力に対してドロップアウト [11]を用いた. 各入力では入力文書中の 1 つのエンティティ IDペアのみの関係抽出を行うこととし，そのエンティティIDペアに対応する全ての言及スパンの始まりと終わりの位置にマーカー となる特殊トークンを挿入した. 対象エンティティが共起する文のみを利用する設定では，入力文書中に利

用できる文が存在しなくなるエンティティ ID ゚アアも存在するが，その場合は常に関係なしと予測することとした.

## Ｃ固有表現抽出とエンティティリンキングの性能

表 3 “Chemical”および “Disease” クラスのエンティティに対するエンティティリンキングの性能. 文書レベルのスコアは micro 平均によって計算した.

パイプラインシステムに用いた固有表現抽出の性能を表 2 に，エンティティリンキングの性能を表 3 に示す.