# テキスト情報の表現を利用した文献グラフの表現学習

片桐脩那 井田 龍希 三輪誠 佐々木裕
豊田工業大学
\{sd19027, sd22401, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

本研究では，論文の文献情報を表す文献グラフを 対象に，高品質な文献グラフの表現の構築に向け て，大規模事前学習モデルから得られるテキストの 表現とグラフ埋め込み手法・グラフニューラルネッ トワークを用いたリンク予測手法の利用可能性を調査する. 文献グラフでは題目や要旨などのテキスト 情報や著者・掲載雑誌などの情報など様々な情報が 引用関係や共通する著者などで繋がっている．実験 では，ACL Anthology に含まれる文献情報を対象に， リンク予測タスクを用いて評価を行い，大規模事前学習モデルから得られる表現のグラフ埋め込み手法 への有効性を示した。

## 1 はじめに

膨大な論文の中から，探したい・関連のある論文 を見つけ出すには，検索クエリの工夫や著者や引用関係などの様々な視点からの文献調査が必要であ る. 従来のキーワード型の検索システムでは，クエ リに一致する論文しか検索できないため，検索のみ で見つけられる論文は限定的である。特に，近年は 出版される論文が日々爆発的に増大しており，大量 の論文から関連する情報に辿り着くための手段への 需要が増大している.

従来の機械学習では，テキストやメディア情報,人物や属性などの様々な種類の情報を表現し，統一的に扱うことは難しかったが，深層表現学習により に統一的に扱うことが可能となってきている. さら に, BERT (Bidirectional Encoder Representations from Transformers) [1] に代表される自己教師あり学習に より，様々な種類の情報における事前学習モデルが 提案されており，高品質な表現を学習の初期から利用することができる。このような深層表現学習・自己教師あり学習を背景に，へテロな情報をノード， それらの関係をエッジとしたグラフを構築し，グラ フ上での自己教師あり学習により，グラフ上での
ノード間の関係を考慮しながらグラフ情報の埋め込 み表現を獲得するへテロなグラフ埋め込み手法の研究が盛んに行われている [2].

論文の文献情報の中の題目や要旨をノード，引用関係などをエッジとした文献グラフにグラフ埋め込 み手法を適用し，グラフ上のあるノードからそれに 関連するノードを予測するリンク予測を用いるこ とで，様々なへテロな情報を対象とした柔軟な検索 システムを構築する研究が行われている $[3,4]$. こ の研究では，大規模事前学習を用いたモデルは利用 できておらず，このへテロな情報に対する有用性は 評価できていない．また，グラフのノード間の表現 においては，グラフ埋め込みだけではなく，グラ フニューラルネットワーク (Graph Neural Networks; GNNs) [5] を用いたリンク予測手法 [6, 7] など，より 深い構造を利用した表現に関する研究も行われてい るが，このような手法も評価されていない．その他 にも引用関係や共著者などを対象としたグラフ表現学習の研究も盛んに行われている [2] が，文献情報 の限られた要素を対象としているものがほとんどで ある。

このようなことから，本研究では，文献情報に含 まれる様々な要素とその関係をグラフ構造として表現し，グラフの埋め込みを獲得する際の，大規模事前学習モデルによるテキストの表現とグラフ埋め込 み手法・GNN を用いたリンク予測手法の利用可能性について調査を行う，具体的には，文献情報であ る題目や要旨などのテキスト情報に事前学習モデル による表現を利用し，リンク予測における性能向上 を図る。また，グラフ埋め込み手法，GNNを用い たリンク予測手法それぞれを用いて，リンク予測で の性能の評価を行い，それぞれの手法の利点・問題点について調査を行う. 本研究の貢献は次の通りで ある.

・グラフ埋め込み手法, GNNを用いたリンク予測手法の文献グラフでのリンク予測性能の評価.

・文献グラフにおけるテキストノードの大規模事前学習モデルによる初期化によるリンク予測性能の改善.

## 2 関連研究

## 2.1 文献情報のベクトル表現による検索シ ステム

論文の文献情報中の様々な要素を考慮して，埋 め込みを行い，検索に利用する研究が行われてい る $[3,4]$. これらの研究では, 著者・題目・要旨・出版年・引用情報を対象に，LINE (Large-scale Information Network Embedding) [8] 及び TransE [9] に基づいて文献情報のベクトル表現を獲得し, 関連する論文要素 の検索を行う手法を提案している。この手法では， テキスト情報である題目・要旨は独立した句の集合 として表現している.

## 2.2 グラフ埋め込み

グラフ埋め込みでは，グラフ構造を始点ノード $h$,終点ノード $t$ とそれらのノード間のエッジの関係 $r$ を用いたトリプル $(h, r, t)$ の集合で表すのが一般的 であり，それらの関係を表現できるように $h, r, t$ の 埋め込み表現とその関係を表すパラメタを学習す る. グラフ埋め込みの代表的な手法に TransE [9] が ある. TransE は，トリプルの要素 $h, r, t$ の埋め込み 表現のみで，トリプルの関係を表現する手法であ る. 式(1)のように，始点ノード $h$ のベクトルを関係 $r$ のベクトルで平行移動させた表現ベクトル $\boldsymbol{h}+\boldsymbol{r}$ と終点ノードのべクトル $\boldsymbol{t}$ が一致するように $h, r, t$ の埋め込み表現を更新する。

$
h+r \approx t
$

この手法により，ノードや関係の埋め込み表現を獲得できるとともに，あるノードにある関係で関連し た別のノードを予測するリンク予測が可能となる.

## 2.3GNNによるリンク予測

グラフ構造を表現する GNN（[5,10]など）を利用 したリンク予測の研究が盛んに行われている $[6,7]$. ここでは，本研究で採用するリンク予測タスクにお いて高い性能を挙げている Graph Inductive Learning (GraIL) [7] について説明する。 GraIL はトリプルの 2 つのノードとその周辺を含むサブグラフからトリプ ルのスコアを計算する. GraIL はサブグラフの抽出， ノードの対象ペアに対する相対位置のラベル付け，
GNN によるスコア計算の 3 ステップでリンク予測 を行う．まず，トリプルの始点・終点の両方のノー ドと一定以下のホップ数で繋がっているノードのみ を含むサブグラフを抽出する。次に，ノードのラべ ル付けではノードに（始点ノードからの距離，終点 ノードからの距離）というラベルをつける．始点・終点ノードのラベルは $(0,1)$ と $(1,0)$ というラベルに なる. 最後に，ラベル付けをしたサブグラフについ て，ノードをラベル表現で初期化し，GNNによる ノード表現を学習し，スコア計算をする。サブグラ フの全てのノードに対応する GNN のノード表現を 平均したサブグラフ全体の表現 $\boldsymbol{h}_{G_{(h, t, r)}}$, 始点・終点ノードの GNN の表現 $\boldsymbol{h}_{h}, \boldsymbol{h}_{t}$, 関係の埋め込み表現 $\boldsymbol{e}_{r}$ を結合した表現に重みをかけて，式 (2)のよう に，トリプルのスコアを計算し，正解のトリプルが 他のトリプルのスコアよりも高くなるように学習を 行う.

$
\operatorname{score}(h, r, t)=\boldsymbol{W}^{\boldsymbol{T}}\left[\boldsymbol{h}_{G_{(h, t, r)}} \oplus \boldsymbol{h}_{h} \oplus \boldsymbol{h}_{t} \oplus \boldsymbol{e}_{r}\right]
$

GraIL の GNNでは，R-GCN [11] に着想を得て，エッ ジの種類ごとに異なるパラメタを利用し，エッジに 対する注意機構を利用してノード情報を集約して いる.

## 3 文献グラフの表現学習

本研究では，高品質な文献グラフの表現の獲得に 向けて，文献情報を文献グラフとしてトリプルを 用いて表現し，SciBERT [12] を用いた大規模事前学習モデルによるテキスト情報の埋め込みの影響と， TransE と GraIL それぞれの表現学習手法の比較を行 う。本研究の流れを図 1 に示す。

事前学習の影響については，TransEを対象に，初期表現にランダムな表現を用いた場合と題目や要旨などのテキストに大規模事前学習モデル SciBERT を用いた埋め込みを行った場合を比較する。 TransE の初期表現において，題目や要旨などのテキスト ノードについて埋め込みを用いることで，ノードが テキスト情報と論文間の関係の両方を考慮した表現 を獲得できると考えられる。

GraIL については GNN によるスコア計算の際に TransE で学習したノード表現をノードの初期表現と してラベル表現に結合して学習を行う. GraILによ るニューラルネットワークで表現を学習すること で，周囲のノードの情報をより考慮した表現を学習 できると期待される。さらに，ノード表現に TransE

図 1 文献グラフの作成と表現学習の流れ

で学習したノード表現を用いることで，TransE のみ による表現学習に比べて，各ノードにおいてその周囲のノードの情報をより考慮した表現が獲得できる と考えられる。

## 3.1 文献グラフの作成

まず，文献グラフを作成し，題目・要旨ノードを BERT で初期化する (図 1(1)). 文献データの中で用 いる文献情報には，題目，要旨，著者，掲載誌など がある. 文献情報の中には，テキストカテゴリ（題目や要旨など）とそれ以外の非テキストカテゴリが ある。テキストカテゴリに対して，初期表現を用い る際は，SciBERT [12]を用いたテキスト情報の埋め 込みを行う。これにより，テキストカテゴリのノー ドがテキスト情報と論文間の関係の両方を考慮した 表現を獲得できると期待される.

## 3.2 グラフ埋め込み

図 1 の (2) のように 3.1 節で作成したトリプルに 対して TransEを用いてべクトル表現を学習する。 TransE の学習により, 各ノードが意味のある情報を 持つようなノード表現を獲得できる.

## 3.3GNN によるリンク予測

GraILを用いた表現学習の手順は, 図 1 の（3)の通 りである．まず，サブグラフの抽出を行う．各トリ プルの $h$ と $t$ を対象ノードとする. 図 1 で，ノード に $h$ と $t$ と書かれているものが対象ノードである. サブグラフは対象ノードのいずれかから $k$ ホップ以内にあり，かつ，対象ノード間のパス上にあるノー ドとその間のエッジで構成する。次に，サブグラフ
のノードのラベル付けを行う．最後に，TransEで学習したノード表現をラベル表現に追加して，GNN に入力し, 2.3 節のスコア関数に基づいて GNN の学習を行う。

## 4 実験設定

データセットには ACL Anthology [13] に掲載さ れている 71,567 件の論文とその文献情報を使用し た. 引用情報は ACL Anthology に含まれないため, Semantic Scholar Academic Graph API [14]を用いて取得した. APIには，時間による回数制限があるため,制限を超えないように時間を空けながらアクセスし た. また，取得した文献情報は BiBTEX 形式となっ ていたため，JSON形式に変換を行った.

本研究では簡単のため，ワークショップの論文を 除いた過去 5 年の論文とその文献情報 (16,916 件) を 使用して文献グラフを作成した。データの統計を付録 A に示す. 文献 ID ・題目・要旨・著者・年・掲載雑誌のノードを持ち，文献 ID のノードと文献情報 のノード間に辺を張るスター型の文献グラフを作成 した。また，引用関係にある文献 ID のノード間に も辺を張った。

文献 IDのノードと著者の関係にあるノードを予測するリンク予測で評価した。 5 回以上掲載されて いる著者とその著者が執筆した文献 ID のトリプル から開発用データ 10,000 件と評価用データ 5,000 件 を用意した。また，開発用データと評価用データに 存在する全てのノードが訓練データに存在するトラ ンスダクティブな設定とした.

評価指標には，[7] で使用されている Hit@N を用 いた。評価データの各トリプルに対して終点ノード

をランダムにサンプリングした不正解のトリプルを 49 個用意する. そして，正解のトリプルの順位が上位 $\mathrm{N}$ 位以内に正解があれば 1 ，なければ 0 として全評価用データで平均した指標である。ただし，終点 ノードのサンプリングの際のノードタイプは正解の トリプルと同一のもの使用した.

本実験では，提案手法で述べたそれぞれの条件で の結果を得るための， 3 種類のモデルを用意した.各モデルの説明は以下の通りである.
- TransE 初期表現にランダムな表現を用いて， TransE で学習するモデル．学習したノード表現 は 768 次元である.
- TransE+BERT テキストカテゴリ（要旨と題目） について，SciBERTによる埋め込みを初期表現 に用いたものを用いて，TransEで学習するモデ ル. 学習したノード表現は 768 次元である.

・GralL サブグラフを 3 ホップ抽出して，サブグ ラフのノードの表現に TransE+BERT で学習し た表現を追加して学習するモデル. グラフ構造 がスター型となっているため，サブグラフとし て抽出されるノード数を考慮して，3 ホップで サブグラフ抽出を行う．サブグラフ抽出時の， サブグラフの平均ノード数は 4.33 個となった.

## 5 結果

4 節の各モデルの評価を表 1 に示す. 参考として，最も良いリンク予測性能が得られた TransE+BERT のモデルについて，ノード表現の近い文献を表示し た結果を付録 B に示す。

## 5.1 TransE と TransE+BERT の比較

まず，TransE と TransE+BERT のモデルを比較す る. TransE+BERT のモデルでは，TransE のモデルに 比べて，Hit@Nが高い値となった. TransE+BERT の モデルが高い性能を示せた理由として，題目と要旨 の情報をもとにした高品質なノード表現を初期表現 に使えたためであると考えられる。また，学習速度 に関しても TransE+BERT のモデルでは，TransE の モデルに比べて半分以下のエポック数で学習を終え ることが可能であった.

このことから，テキストカテゴリのノードの初期表現に大規模事前学習モデルによる埋め込みを用い ることは性能と学習速度の両方において有効である とわかった。表 1 各モデルの著者の正解率

## 5.2 TransE+BERT と GralL の比較

次に，TransE+BERT と GraIL のモデルを比較す る. GraIL のモデルでは, TransE のモデルに比べて, Hit@Nが低い值となった. GraIL のモデルが低い性能となった理由としてサブグラフの構造が考えら れる。今回はグラフをスター型で構築したため，対象ノード間のパスを構成するのに最低必要なホッ プ数が大きくなってしまったと考えらえる。また. GraIL は対象ノードの間に現れるノードしか対象に しないため，文献の周囲の情報を利用できなかった のではないかと考えられる。さらに，出版年など ノード間に頻出して現れるノードも悪影響を及ぼし ている可能性もある. これらのサブグラフの構築方法の調査は今後の課題である.

## 6 おわりに

本研究では, 文献グラフの高品質な埋め込み表現 の獲得のために，大規模事前学習モデルによるテキ スト情報の埋め込み，グラフの埋め込み手法，グラ フニューラルネットワークを用いたリンク予測手法 の利用可能性について，文献グラフ上でのリンク予測を対象に評価を行った. 実験の結果，グラフの埋 め込み手法の初期表現に大規模事前学習モデルによ るテキスト情報の埋め込みを利用した TransE+BERT のモデルが最も良い性能を示した. これより，グラ フ埋め込みにおける大規模事前学習モデルの有効性 を示した。

今後の課題として, 入力とするサブグラフの構造 やリンク予測手法を変更した場合の性能への影響を 検証する。また，高品質な文献グラフの表現を構築 できた際には，柔軟に検索が可能な検索システムの 構築などに繋げていきたい.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta, and Jure Leskovec. Open graph benchmark: Datasets for machine learning on graphs. Advances in neural information processing systems, Vol. 33, pp. 22118-22133, 2020.

[3] Takuma Yoneda, Koki Mori, Makoto Miwa, and Yutaka Sasaki. Bib2vec: Embedding-based search system for bibliographic information. In Proceedings of the Software Demonstrations of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Association for Computational Linguistics, 2017.

[4] 米田拓真, 三輪誠, 佐々木裕. 文献情報の多様な要素 を考慮したべクトル表現獲得. 言語処理学会第 24 回年次大会 発表論文集, pp. 996-998. 言語処理学会, 2018.

[5] Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus Hagenbuchner, and Gabriele Monfardini. The graph neural network model. IEEE transactions on neural networks, Vol. 20, No. 1, pp. 61-80, 2008.

[6] Muhan Zhang and Yixin Chen. Link prediction based on graph neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31, pp. 5171-5181. Curran Associates, Inc., 2018.

[7] Komal K. Teru, Etienne G. Denis, and William L. Hamilton. Inductive relation prediction by subgraph reasoning. In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org, 2020.

[8] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. LINE: large-scale information network embedding. In WWW, pp. 1067-1077, 2015.

[9] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems, pp. 27872795. Curran Associates, Inc., 2013.

[10] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. ICLR, 2017.

[11] Michael Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Mod- eling relational data with graph convolutional networks. In Aldo Gangemi, Roberto Navigli, Maria-Esther Vidal, Pascal Hitzler, Raphaël Troncy, Laura Hollink, Anna Tordai, and Mehwish Alam, editors, The Semantic Web, pp. 593-607, Cham, 2018. Springer International Publishing.

[12] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Association for Computational Linguistics, 2019.

[13] ACL anthology. https://aclanthology.org/ (2023 年 1 月 11 日アクセス).

[14] Semantic scholar academic graph api. https://www.semanticscholar.org/product/api (2023 年 1 月 11 日アクセス)。

## A データセットの統計

実験に用いたデータ数の統計を表 2 , トリプル数の統計を表 3 に示す. 表 3 の文献 ID と文献 ID 以外のト リプル数は双方向の場合の数である.

表 3 トリプルの統計

文献 ID と要旨 29,542

文献 ID と著者 137,780

文献 ID と年 33,832

文献 ID と掲載誌 33,740

文献 ID と文献 ID 246,801

## Bノード表現の評価の例

TransE+BERT のノード表現について，対象文献 ID に対して近傍の文献 ID 上位 5 件を出した例を表 4 に 示す.

表 4 対象文献 ID の近傍の文献 ID の例 (最初の文献 ID は対象を示す)


 片桐脩那 井田 龍希 三輪誠 佐々木裕 豊田工業大学 \{sd19027, sd22401, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp  