# 近傍知識グラフからの埋め込みを統合利用する 文書からの遠距離教師あり関係抽出

松原拓磨 三輪誠 佐々木裕
豊田工業大学
\{sd19082, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

データベースから入力文書に出現する用語の近傍 を含む近傍知識グラフを動的に構築し，その近傍知識グラフから獲得した用語の表現を入力文書に統合 して利用する，新たな文書からの遠距離教師あり関係抽出モデルを提案する。提案手法により，遠距離教師あり関係抽出において作成したラベル付きテキ ストの言語情報のみを用いており，データベースに 登録されている他の用語や関係に関する豊富な情報 を活用できていない，という問題の解消を目指す.実験では薬物・疾患・遺伝子間の文書単位関係抽出 データセットである ChemDisGene データセットに おいて，提案手法における用語の表現の統合による 顕著な性能向上を確認した。

## 1 はじめに

様々な分野において，エンティティ間の新たな関係を報告する文書は日及爆発的に増え続けており，人手での分野データベースへの登録・整備が追いつ いていない. そのため, 文書からの関係の自動抽出 が求められており，その高い性能から機械学習を用 いた手法が主流となっている。 しかし，機械学習で は大量のラベル付きデータを必要とするため，ラべ ル付けにコストがかかる.

このコストの削減のために，Mintz ら [1] は既存 のデータベースを用いてラベルなしコーパスに機械的にラベル付けをした遠距離教師データを利用 する遠距離教師あり関係抽出を提案した. 遠距離教師データは，人手でラベル付けされたコーパスとは 異なり，データベースに登録されている用語間の関係をもとにラベル付けをするため，データベースに 直接結び付けられたラベル付きコーパスである. し かし，既存の遠距離教師あり関係抽出ではコーパス のみを用いており，データベースに登録されている用語の性質などの他の豊富な情報を利用できてい ない.

そこで，本研究では，データベースに登録されて いる情報の関係抽出への活用を目指す。このため に，データベース内の入力文書の全用語近傍の情報 を近傍知識グラフとして動的に構築し，遠距離教師 データに統合利用する新規の文書からの遠距離教師 あり関係抽出モデルを提案する。近傍知識グラフを 動的に構築することで，遠距離教師あり学習におけ る対象用語ペア間の教師ラベルをデータベースの情報から選択的に排除できるとともに，用語ペアごと に参照するデータベース内の情報の量を抑えること ができる．本研究の貢献は次の通りである。

・入力文書の全用語近傍のデータベースの情報を 表現する近傍知識グラフの動的構築に基づく,遠距離教師あり関係抽出のための用語の埋め込 み表現の獲得手法を提案

・近傍知識グラフから獲得した用語の表現を入力文書に統合し，利用する遠距離教師あり関係抽出モデルを提案

・文書単位遠距離教師あり関係抽出データセット である ChemDisGene[2] で，用語の表現を追加 することでの性能向上を確認

## 2 関連研究

## 2.1 遠距離教師あり関係抽出

遠距離教師あり関係抽出は Mintz ら [1] により提案され，人手でラベル付けされた教師データを必要 としない関係抽出モデルの学習方法である。遠距離教師データはデータベースと大量のラベルなしコー パスを用いて作成される。ラベルなしコーパスで共起した 2 つの用語に対して，データベースで 2 つの 用語間に関係が登録されているときに，2つの用語間に関係をラベル付けする。

図 1 提案手法の概要. 具体例として ChemDisGene [2] のデータを利用.

Zhang ら [2] は遠距離教師あり関係抽出データ セットである ChemDisGeneを提案し，テキストベー スの関係抽出モデルの評価を行った. ChemDisGene は生物医学文献データベース Medline [3] に登録 されている文献の題目・要旨に CTD (Comparative Toxicogenomics Database) [4] に登録されている薬物・疾患・遺伝子間の相互作用を割り当てた文書単位で の遠距離教師あり関係抽出データセットである. 評価のために人手でラベル付けされたテストデータ を提供している. CTD は薬物・疾患・遺伝子・突然変異・代謝の相互作用に関する複数のデータベース を統合したデータベースである. PubTator [5] を用 いて文献の題目・要旨に対して, 用語のスパンと概念クラスのラベル付けがされている。また，関係抽出モデルは事前学習済みモデル BERT (Bidirectional Encoder Representations from Transformers) [6] を用い て，BERT，最大値プーリング，全結合層の構成とし ている.

## 2.2 知識グラフの表現学習

知識グラフの各ノードにベクトル表現を与え， ノード間の関係性を学習する手法として，Kipf ら
が提案したグラフ畳み込みネットワーク (Graph Convolutional Network; GCN) [7] が挙げられる. GCN はグラフ構造を表現するグラフニューラルネット ワーク (Graph Neural Network; GNN) の 1 種であり，対象ノードの表現に隣接ノードの表現に重みをかけ たものを畳み込むことでノード表現の更新を行う。

また，知識グラフを対象に対象ノード近傍で抽出 したサブグラフを利用する手法が提案されている.例えば，Zhang らの提案したサブグラフに GNNを 適用する SEAL (learning from Subgraphs, Embeddings and Attributes for Link prediction) [8] はリンク予測タ スクにおいて高い性能を報告している。しかし, 遠距離教師あり学習において用語の近傍のサブグラフ を利用する手法は存在しない。

## 3 提案手法

本節では，本研究で新たに提案する，データベー ス内の入力文書近傍の情報を，入力文書に統合し利用する遠距離教師あり関係抽出手法について説明す る. 3.1 節で入力文書の近傍知識グラフ抽出（図 1(1) について説明し，3.2 節で入力文書と近傍知識 グラフのベクトル表現の統合利用（図 1-(2) につい

て説明する。

## 3.1 入力文書の近傍知識グラフの埋め込み

データベースに登録されている入力文書の全用語 の近傍となるトリプルを抽出する．具体的にはそれ ぞれの用語について，一定ホップ数以内で繋がるト リプルの集合を抽出する. 次に分類対象となる用語 ペアについて, 遠距離教師データの正解ラベルの情報となるぺア間のトリプルを削除した上で，近傍知識グラフとし， GCNで埋め込みを行う。このよう にすることで，データベース内の文書全体の用語の 周辺情報と関係情報を利用できるとともに，トリプ ルの集合を文書ごとに一度事前計算することで関係 ごとの近傍知識グラフの計算を簡略化できる.

## 3.2 言語情報と近傍知識グラフのベクトル 表現の統合利用

GCN で埋め込んだエンティティに対応するノー ドのベクトル表現をテキストと同時に BERT に入力 することで，遠距離教師データの言語表現と近傍知識グラフのベクトル表現を統合利用した関係抽出を 行う. 具体的には, BERT の入力テキストの後ろに “[SEP]”トークンを挟み，それぞれのテキスト内の 用語に対応するノードのベクトル表現を用語の位置 ID と一致させながら追加する [9]. 以降の関係抽出は既存研究 [2] と同様に行う. 具体的には，まず，対象用語ペアの用語のトークンに対応する BERT の 最終層のベクトルを取り出し, 用語ごとに最大值 プーリング層を通してそれぞれの用語の表現を得 る.その後, 用語の表現を結合し, 全結合層を通し て，関係ラベルに分類する. 本手法では文献 [9] と は異なり，用語ペアに対応するエンティティペアの 表現を分類に用いず，文献 [10] と同様，用語ペアの 表現を分類に用いる.

学習においては，最適化手法に Adam [11]を用い，交差エントロピーを目的関数として, GCN と BERT を同時に学習する。

## 4 実験設定

遠距離教師あり関係抽出データセットとして, ChemDisGene [2] の 78,463 件の医学文献をもとに作成された遠距離教師データ (CTD-derived) のうち, 76,942 件・1,521 件をそれぞれ訓練・開発データ, 523 件の人手でラベル付けされたデータ (Curated)をテ ストデータとして学習・評価を行った. 評価指標は マイクロ平均 $\mathrm{F}$ 値を用いた. 予測する関係の種類は
14 種類であり，内訳は薬物と疾患の関係 (Chem-Dis) が 2 種類，薬物と遺伝子の関係 (Chem-Gene) が 10 種類，遺伝子と疾患の関係 (Gene-Dis) が 2 種類であ る. ChemDisGene データセットの統計を付録 A の 表 4 に示す.

また，近傍知識グラフのエンティティには CTD の薬物・疾患・遺伝子を用いた。近傍知識グラフに は，入力文書に出現する用語に対応するエンティ ティからそれぞれ 2 ホップ先のノードを含んだもの を用いた. 100 個以上のエッジを持つノードについ てはランダムに 100 個のエッジに制限した．CTDの データの統計を付録 A の表 5 に示す.

ベースラインモデルは提案モデルから近傍知識グ ラフの情報を除いた既存研究 [2] と同じモデルであ る. 文献 [2] に従い，BERTには，データセットと近 いドメインで事前学習された PubMedBERT [12] を 用いた. PubMedBERT の埋め込み次元は 768 次元, テキストの最大長は 512 である. GCN の入力と出 カのベクトルはともに 768 次元とし, $\mathrm{GCN}$ は 2 層と した．実験環境の詳細は付録 B に示す.

## 5 結果と考察

Curated テストデータを用いて評価した文献から の薬物・疾患・遺伝子間の関係抽出の性能を表 1 に示す. 提案手法により近傍知識グラフの情報を 用いないべースラインから $\mathrm{F}$ 値のマイクロ平均が 全体で $1.04 \%$ ポイント向上し，一番上がり幅の大 きい Chem-Gene: activity-decreases については $\mathrm{F}$ 值が $6.81 \%$ ポイント向上した. この結果より, 近傍知識 グラフを用いることで予測性能が向上しており，背景的な情報を考慮した関係抽出ができていると考え られる。

$
\text { データベースに含まれているトリプル以外の関係 }
$
への影響を調べるために，CTD に登録されていない 事例についての予測を確認したところ，テストデー タにおいて, ベースラインでは CTD に登録されて いない関係は 1 つも抽出できなかったのに対し，提案手法ではこのような関係を 3 件抽出できているこ とがわかった。この結果より，CTDの背景的な情報 を考慮することで，CTDに登録されていない関係も 抽出できるようになったと考えられる．実際に提案手法によって抽出できるようになった表 2 に示す. これらの事例の多くは題目で言及されているものが 多かった.

最後に表 3 に, 既存研究 [2] との比較を示す. 提

ベースライン

PubMedBERT

提案手法

PubMedBERT+近傍知識グラフ

Curated テストデータでの既存研究 [2] との比較

案手法は PubMedBERT+BRAN に比べて平均は若干低い $\mathrm{F}$ 值となったがほぼ同等の性能となっており，本提案手法は PubMedBERT+BRAN にも導入が可能 であることを考えると，良好な結果を得られている と言える。

## 6 おわりに

本研究では，データベースに登録されている豊富 な情報の有効利用を目的として，入力文書周辺の近傍知識グラフの表現を遠距離教師データに統合利用する遠距離教師あり関係抽出モデルを提案した。提案した手法を ChemDisGene データセットで学習・評価を行った結果，近傍知識グラフの表現を追加す ることでマイクロ $\mathrm{F}$ 值が $1.04 \%$ ポイント向上し，最先端モデルとほぼ同等の性能を達成した. また，提案手法ではテキスト情報だけでのモデルでは抽出が できなかった，データベースに登録されていない関係を抽出することができていることを確認した。

今後は，最先端モデルへの本手法の適用を行うと ともに，抽出結果をデータベースからのトリプルに 追加し，再びモデルを学習するなど，文献内の情報 とデータベース内の情報の連携を深め，データベー ス内の情報のさらなる有効利用を目指す。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[2] Dongxu Zhang, Sunil Mohan, Michaela Torkar, and Andrew McCallum. A distant supervision corpus for extracting biomedical relationships between chemicals, diseases and genes. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 1073-1082, Marseille, France, June 2022. European Language Resources Association.

[3] NCBI Resource Coordinators. Database resources of the national center for biotechnology information. Nucleic Acids Res., 12018.

[4] Allan Peter Davis, Cynthia J Grondin, Robin J Johnson, Daniela Sciaky, Jolene Wiegers, Thomas C Wiegers, and Carolyn J Mattingly. Comparative toxicogenomics database (ctd): update 2021. Nucleic acids research, Vol. 49, No. D1, pp. D1138-D1143, 2021.

[5] Chih-Hsuan Wei, Alexis Allot, Robert Leaman, and Zhiyong Lu. PubTator central: automated concept annotation for biomedical full text articles. Nucleic Acids Research, Vol. 47, No. W1, pp. W587-W593, 052019.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019

[7] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. ICLR, 2017.

[8] Muhan Zhang and Yixin Chen. Link prediction based on graph neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31, pp. 5171-5181. Curran Associates, Inc., 2018.

[9] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[10] Masaki Asada, Makoto Miwa, and Yutaka Sasaki. Integrating heterogeneous knowledge graphs into drug-drug interaction extraction from the literature. Bioinformatics, Vol. 39, No. 1, 11 2022. btac754.

[11] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference for Learning Representations,
2015.

[12] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Healthcare, Vol. 3, No. 1, oct 2021.

[13] Guido Van Rossum and Fred L. Drake. Python 3 Reference Manual. CreateSpace, Scotts Valley, CA, 2009.

[14] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc., 2019.

## A データセットの統計

データセットの統計を表 4 と 5 に示す.

表 4 文書単位の遠距離教師あり関係抽出データセット ChemDisGene. テストのみ人手でタグづけされている.

表 5 本実験で使用したデータベース CTD の統計

## B 実験環境

本実験を行った環境について説明する。 Python [13] のバージョン 3.8.10 と深層学習ライ ブラリである PyTorch [14] のバージョン 1.9.0を用 いて実装し，表 6 に示すハードウェア環境で実験 した. 本実験のハイパーパラメータを表 7 に示す. Curated の関係抽出スコア表 1 は遠距離教師データ で学習したモデルを 5 個用意し，それぞれのモデル でテストしたスコアの平均と標準偏差を報告した.

表 6 本実験に用いたハードウェア

表 7 本実験におけるハイパーパラメータ


 松原拓磨 三輪誠 佐々木裕 豊田工業大学 \{sd19082, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp  