# 文書外の書誌情報と用語情報を組み込んだ文書分類

井田龍希 三輪誠 佐々木裕
豊田工業大学
\{sd22401, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

本論文では，書誌情報に基づく文献グラフを組み 込んだ新しい文書分類手法を提案する。近年，事前学習モデルである BERT の利用により文書分類の 性能は大幅に向上した. さらなる性能向上のために は，書誌情報や引用情報，用語の説明文や上位下位関係などの外部情報など，対象テキスト情報以外の 情報の活用が鍵となると考えられる。本提案手法で は，対象テキスト情報以外の情報を利用する既存の 文書分類手法が考慮できていない，書誌情報や用語 などの文書間に共通する情報を含む文書間の関係を 文献グラフとして利用し，文書間のより詳細な関係 を考慮する．実験では，生化学分野の文書分類デー タセットで既存手法からの性能向上を確認した.

## 1 はじめに

近年提案された，大量のデータで事前学習をし，文脈を考慮した表現が得られる BERT (Bidirectional Encoder Representations from Transformers) [1] を用い た手法は，少ないデータで fine-tuning をすることで タスクに特化したモデルを作成でき，文書分類にお いても高い性能を示している。

さらに文書分類においては，著者や出版ジャーナ ルなどの書誌情報や引用関係にある論文，テキスト 中の用語についての外部情報などの対象テキスト情報以外の情報が活用できる. Yao ら [2] は，文書と 単語を節点とし, 文書節点とその文書に出現する単語節点の間・共起頻度が高い単語節点間それぞれに 辺を張った文書グラフの表現を用いて文書分類を 行っている.この文書グラフにより, 共通した単語 を持つ文書節点がその単語節点を介してつながり，文書間の関係を考慮した文書分類を実現している。 さらに BertGCN [3] では, 文書グラフの節点表現に BERT [1]を用いてテキスト情報を追加している. ま た，Yasunaga ら [4] は引用関係にある文書のテキス 卜情報を同時に入力する事前学習手法を提案し，文書間の関係を考慮した言語モデル LinkBERT を作成 し，従来の BERT より高い性能を達成している.こ のようにテキスト情報以外の情報の有効性は示さ れているものの，これらの手法では単語の共起や引用関係という限られた情報のみしか考慮できてお らず，著者や出版ジャーナルなどの書誌情報，用語 に関する説明文や上位下位関係などの外部情報（以降，用語情報と呼ぶ）などの複数の情報を同時に考慮できていない。

そこで，本研究では複数の情報を同時に利用でき る文書分類の実現を目的に，書誌情報・用語情報な ど多くの対象テキスト以外の情報を含む文献グラフ から文書間の様々な関係を考慮した表現べクトルを 作成し，その表現ベクトルと文書のテキスト情報を 組み込んだ文書分類モデルを提案する．本研究の貢献は以下の通りである.

・書誌情報・用語情報を含む文献グラフからの表現ベクトルを利用して，より複雑な文書間の関係の情報とテキスト情報を組み込んだ文書分類 モデルを提案した。

・生化学分野の文書分類データセットである Ohsumed [5], Hallmarks of Cancer (HoC) [6] にお いて文献グラフの情報を用いることで既存手法 からの性能向上を確認した.

## 2 関連研究

## 2.1 文書分類

文書分類には対象文書のテキスト情報のみを使用 する手法 [1] と対象テキスト情報以外の情報を考慮 する手法 $[2,3,4]$ がある.

対象テキスト情報以外の情報を利用した手法で は，文書グラフを用いた手法があり，Yao らは文書 と単語を節点として，文書節点とその文書に出現 する単語節点の間に TF-IDF 值で重みづけした辺を 張った文書グラフを用いた文書分類を提案した [2].

(1)文献グラフを作成し，

(2) 用語間の関係を追加

Bacterial Infections and Mycoses

Virus Diseases

Eye Diseases

Parasitic Diseases

(4) 文献グラフからの表現を 利用したテキスト分類

BERT

図 1 提案手法の流れ

この文書グラフでは PMI の値によって関連度が高 いとみなした単語節点間にも辺を張っている. 節点に接続する辺を通して周りの節点からの情報を その節点に集約するグラフ畳み込みネットワーク (Graph Convolutional Network; GCN) [7] を用いて, 文書グラフの節点表現をグラフ構造を考慮しながら 更新し，その表現を文書分類に利用している。 さら に，BertGCN [3] では，文書節点の表現に BERTを利用し, 文書グラフに文書のテキスト情報を追加する 手法を提案し，高い性能を達成している.

また, Yasunaga ら [4] は引用関係などでリンクさ れた 2 つの文書を同時に BERT の入力とする事前学習手法により文書間の関係を考慮した事前学習モ デル LinkBERT を提案した. 従来の BERT で用いら れる Masked Language Modeling (MLM) と，2つの文書を入力しそれぞれが引用関係にあるかどうかを 分類する Document Relation Prediction (DRP) という 2 つのタスクで BERT の事前学習をしており，文書間 の依存関係や文書間にまたがる情報を利用してい る. その結果, LinkBERT は GLUE [8] タスクや生化学分野のベンチマークである BLURB [9] タスクにお いて既存手法の性能を上回り, 文書分類においても 従来の BERT より高い性能を達成している.

## 2.2 グラフの表現学習

文献グラフなどのグラフからグラフ構造を考慮し た節点の表現ベクトルを獲得するグラフ表現学習の 研究が盛んに行われている [10]. グラフ表現学習で は，グラフ構造を有向辺の始点節点 $h$, 終点節点 $t$,関係 $r$ を用いて $(h, r, t)$ と表現したトリプルの集合 として表現するのが一般的であり，このトリプルの 節点や関係を表現するように学習を行う TransE [11], DistMult [12] などの手法が提案されている. TransE
のスコア関数は始点節点のベクトル表現を関係のべ クトル表現だけ平行移動したものと終点節点のべク トル表現との距離の大きさを損失とする.

## 3 提案手法

提案手法である書誌情報・用語情報を含む文献グ ラフの表現を組み込んだ文書分類モデルについて説明する. 提案手法の概要を図 1 に示す. 3.1 節で文献グラフの作成と表現学習について説明した後に 3.2 節で書誌情報・用語情報を含む文献グラフのべ クトル表現と文書のテキスト情報のベクトル表現を 組み込んだ文書分類モデルについて説明する。

## 3.1 文献グラフの作成・表現学習

まず，文献グラフを作成し，文書・用語節点を BERT で初期化する（図 1(1)）。文献グラフは文書と 書誌情報を節点とし，文書節点とその書誌情報の節点間，引用関係にある文書節点間に辺を張る．文献 グラフは論文・著者・出版年・出版ジャーナル・用語を節点とし，共有する節点を介して文書節点を繋 げる。題目，要旨，用語の説明文がデータベースか ら取得できる文書・用語節点にはテキスト情報を追加する．BERT の出力の [CLS] トークンは文全体を 表す表現と考えられるので，[CLS]トークンの表現 を初期表現とする。データベースから取得できない 場合は BERT で初期化した節点表現の平均，標準偏差の正規分布に従う乱数でランダム初期化する。書誌情報の節点についてもランダム初期化する。

次に，データベースから取得した上位下位関係，補足概念の関係にある用語節点間に辺を張り，用語間の関係も追加する（図 1(2)）。そして，作成した 文献グラフについて，TransE [11]1)を用いて表現学

1）本研究で扱う文献グラフは大規模であり，GCN [7] などの 計算コストの高い手法は単純には適用できないため，簡単の
習を行い，ベクトル表現を獲得する（図 1(3)）。この ように作成した文献グラフから得られたべクトル表現は対象テキスト情報以外の書誌情報・用語情報か らの文書間の様々な関係を考慮したものとなってい ると期待できる.

## 3.2 文書分類モデル

3.1 節で獲得した書誌情報・用語情報を含む文献 グラフのベクトル表現と分類する文書のテキスト 情報のべクトル表現を組み込んだ文書分類を行う (図 1(4)).このために, BERTの入力として, 対象文書とそれに現れる用語に対応する文献グラフの文書・用語節点のべクトル表現を文書のテキスト情報 と同時に入力し, BERT で統合しながらエンコード して得られた出力の [CLS] トークンの表現を全結合層により文書のカテゴリに分類する. より具体的に は，まず，文書内の用語をデータベースに登録され た用語との文字列一致で抽出する. 次に文献グラフ の文書節点の表現と文書から抽出した用語の節点表現を文書のテキスト情報と結合する．結合の際には 文書のテキスト情報の [SEP] トークンの後ろに文献 グラフからの表現を追加する。この際に，テキスト 内のサブワードと文献グラフの節点表現を対応付け るために，[CLS]トークンと文書節点の表現，テキ スト内の用語のサブワードの先頭と用語節点の表現 に同じ Position ID を割り当てる [13]. テキスト情報 と対応する文献グラフ内の節点のベクトル表現を同時に BERT に入力することで, 文献グラフ内の書誌情報や用語情報を活かした文書分類を目指す。

## 4 実験設定

文献グラフの表現学習で獲得した表現ベクトルの 質を始点節点との関係ぺアになる終点節点を予測す るリンク予測で評価する。また，文書分類における 文献グラフの表現の有効性を確かめるために文献 グラフの表現を利用した文書分類の評価する．どち らの実験も BERTには BioLinkBERT-base [4]を使用 する。

## 4.1 文献グラフの表現学習

医療文献データベース Medline [14] の 2022 年版を 利用して 3.1 節で説明した文献グラフを作成する. Medline には 3,000 万件以上の論文が登録されてお り，文献グラフが巨大になるので他の節点とのつな


表 1 TransEでの表現学習の結果

がりが少ない次数が 5 未満の著者節点は削除した.用語のデータベースには MeSH [15] の 2021 年版を 利用した. 文献グラフは引用関係を表す辺 (cites),文書とその著者 (author) ・出版年 (year)・出版ジャー ナル (journal) ・用語 $(\mathrm{MeSH})$ を表す辺, 用語間の上位下位関係 (hypernym)，補足概念の関係 (supp) を表 す辺を持つ. 付録 A の表 4 と 5 に統計を示す.

文献グラフの表現学習の評価指標には MAP@30, Hit@nを用いた. 訓練・開発・評価用データはトリ プルの関係タイプの比率が同じになるように 98:1:1 の割合で分割した. また，訓練用データに出現する 節点間のトリプルを開発・評価用データに選んだ. リンク予測の評価の際には，訓練用データに含まれ る終点節点は予測結果から削除した.また，始点節点のタイプと関係タイプから決まる終点節点のタイ プの節点のみを予測対象とした。付録 $\mathrm{B}$ に実装に使用したライブラリと学習の設定を示した.

## 4.2 文献グラフの表現を利用した文書分類

評価には，医学文献の要旨の文書分類データセッ トである Ohsumed [5] と Hallmarks of Cancer (HoC) [6] を使用した. Ohsumed は文書に 23 種類の心血管系疾患のカテゴリのうち 1 つ以上のカテゴリが付与さ れている. Ohsumed の分類ラベルは MeSH から作ら れているので, Ohsumedに含まれる文書とその文書 の書誌情報の一つである MeSH との関係が文献グラ フに含まれないようにして評価した. 既存研究 [2] と同様に複数ラベルを持つ文書は除外した.この結果，訓練，評価用データ内の文書はそれぞれ 3,357 件，4,043 件となった. 訓練用データを 7:3 に分割し て開発データを作成した．HoCではそれぞれの文書に 10 種類の癌の特徵のカテゴリが複数付与され ている. 既存研究 [9] に従って訓練, 開発，評価用 データを分割し, それぞれ 1,295 件, 186 件, 371 件
表 2 文献グラフの表現を利用した文書分類の結果 [\%].太字は最高のスコアを表す。

を使用した. 文書内の用語をデータベースに登録さ れた用語との文字列一致で抽出した結果, Ohsumed では文書あたり平均 20.41 語, $\mathrm{HoC}$ では文書あたり 平均 26.56 語の用語を抽出できた.

評価においては，乱数シードを変更した 5 つのモ デルを作成し, その評価の平均を最終的な予測結果 として報告する. Ohsumed の評価には正解率，HoC の評価には $\mathrm{F}$ 値を用いた. ベースラインモデルと しては， 3.2 節の文書分類モデルの入力にテキスト 情報のみを利用するモデル (BioLinkBERT) を用意し た.また，文書分類モデルに文献グラフから追加す る節点情報としては，文書の表現 (+ Paper), 用語の 表現 (+ Entity)，文書・用語の両方の表現 (+ Paper + Entity)の 3 つの組み合わせを比較をした. 付録 B に 実装に使用したライブラリと学習の設定を示した.

## 5 結果と考察

## 5.1 結果

TransE での表現学習の結果を表 1 に示す. 今回使用した文献グラフは節点数が多かったため, MAP@30, Hit@n ともに全体的に低い値となった.特に引用関係，MeSH 間の関係の性能が低いのは，一つの始点節点との関係ぺアになる終点節点が複数 あるため, TransEでは表現できなかったためだと考 えられる。

文献グラフの表現を利用した文書分類の結果を 表 2 に示す. Ohsumed における BioLinkBERT の結果と提案した情報を追加したモデル (BioLinkBERT + Paper, BioLinkBERT + Entity, BioLinkBERT + Paper + Entity) 以外の値は元論文から引用したものである. Ohsumed については，これまでに報告されている分類スコアを大きく上回ることができた．また，論文 の表現のみを使用したときに Ohsumed, HoC ともに ベースライン (BioLinkBERT) からの性能向上が見ら れた。一方で，用語の表現のみを使用したときには表 3 用語をタグで置き換えた文書分類の結果 [\%]

ほとんど性能の違いが見られなかった. 論文・用語 の表現の両方を使用したときには Ohsumed では性能低下, HoCでは僅かな性能向上が見られ，一貫性 のない結果となった.いずれの表現も文献グラフ全体を考慮して学習された表現ではあるものの，使う 表現によって結果に違いがあることがわかった.

## 5.2 考察

文献グラフの表現ベクトルの質を確かめるため に，対象テキスト情報から抽出した用語をマスクし て実験をした. その結果を表 3 に示す. 対象テキス トの用語をマスクしたときべースラインモデルで は, 4.5 ポイント性能が低下した. 一方で，文書の表現のみ，用語の表現のみ，文書・用語の両方の表現 を使用したときはそれぞれ 3.46 ポイント， 3.40 ポイ ント， 3.66 ポイントの性能低下となり, ベースライ ンよりも性能の低下が小さかった. この結果から，提案手法では対象テキスト情報以外の情報を分類に 利用できていることが分かった. 付録 Cにテキスト 情報を利用しない文書分類の結果と考察を示した。

## 6 おわりに

本研究では複数の情報を同時に利用できる文書分類を目的として，書誌情報・用語情報など多くの情報を含む文献グラフから文書間の様々な関係を考慮 した表現ベクトルを作成し，その表現ベクトルと文書のテキスト情報を組み込んだ文書分類モデルを提案した. Ohsumed, $\mathrm{HoC}$ の 2 つのデータセットで実験を行った結果, 文書の表現のみを利用したときに はどちらも性能向上が見られた. 特に, Ohsumed で は従来モデルを上回る性能を達成した. 論文・用語 の表現の双方を利用すると性能が低下することがあ るという現象がみられ, 異種の情報の組み込みが単純ではないことを示すことができた.

今後は，このような問題を解決するために GCN などの手法での大規模文献グラフの表現学習を検討 する. また文献グラフの表現学習手法と文書分類モ デルを同時に学習する方法についても模索する。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Jacob Devlin, et al. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Liang Yao, et al. Graph convolutional networks for text classification. In Proceedings of the AAAI conference on artificial intelligence, Vol. 33, pp. 7370-7377, 2019.

[3] Yuxiao Lin, et al. BertGCN: Transductive text classification by combining GNN and BERT. In Findings of the Association for Computational Linguistics: ACLIJCNLP 2021, pp. 1456-1462, Online, August 2021. Association for Computational Linguistics.

[4] Michihiro Yasunaga, et al. Linkbert: Pretraining language models with document links. In Association for Computational Linguistics (ACL), 2022.

[5] Thorsten Joachims. Text categorization with support vector machines: Learning with many relevant features. In Proceedings of the 10th European Conference on Machine Learning, ECML'98, p. 137-142, Berlin, Heidelberg, 1998. Springer-Verlag.

[6] Simon Baker, et al. Automatic semantic classification of scientific literature according to the hallmarks of cancer. Vol. 32 3, pp. 432-40, 2016.

[7] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations, 2017.

[8] Alex Wang, et al. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] $\mathrm{Yu} \mathrm{Gu}$, et al. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare, Vol. 3, No. 1, oct 2021.

[10] William L Hamilton. Graph representation learning. Synthesis Lectures on Artifical Intelligence and Machine Learning, Vol. 14, No. 3, pp. 1-159, 2020.

[11] Antoine Bordes, et al. Translating embeddings for modeling multi-relational data. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[12] Bishan Yang, et al. Embedding entities and relations for learning and inference in knowledge bases. In International Conference on Learning Representations, 2014.

[13] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[14] Pubmed. https://pubmed.ncbi.nlm.nih.gov/（1月 2 日アクセス）。

[15] Medical subject headings - home page. https://www. nlm.nih.gov/mesh/meshhome.html（1 月 2 日アクセ ス).

[16] Da Zheng, et al. Dgl-ke: Training knowledge graph embeddings at scale. In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '20, p. 739-748, New York, NY, USA, 2020. Association for Computing Machinery.

[17] Thomas Wolf, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[18] Adam Paszke, et al. Pytorch: An imperative style, highperformance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 80268037, 2019.

[19] Masajiro Iwasaki and Daisuke Miyazaki. Optimization of indexing based on k-nearest neighbor graph for proximity search in high-dimensional data. CoRR, Vol. abs/1810.07355, , 2018.

[20] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. The journal of machine learning research, Vol. 15, No. 1, pp. 1929-1958, 2014.

[21] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

## A グラフの統計

文献グラフの統計を表 4 と 5 に示す. テキスト情報を追加した節点数は，文書節点は $33,404,632$ 個，用語節点は 244,373 個である.

表 5 文献グラフのトリプル統計

## B 学習の設定

実装には，Python 3.7.11を使い，TransEには DGLKE 0.1.2 [16], 事前学習モデルを使うために Transformers 4.19 .4 [17], モデルの作成のために Pytorch 1.10.0 [18]を用いた. また, リンク予測の評価は, 近傍探索ライブラリ NGT [19]を用いて近似的に求め た. TransE は 50 エポック学習した. 文献グラフの 文書・用語節点の表現は BERT で初期化するため表現は 768 次元となるので，ランダム初期化する節点 の表現についても 768 次元で初期化した. TransE の 学習ではグラフに含まれるトリプル $(h, r, t)$ の $h$ か $t$ のどちらかをランダムに置き換えるネガティブサン プリングが使用される．始点節点のタイプと関係タ イプから決まる終点節点のタイプのみからネガティ ブサンプリングをした. TransE 学習のための計算機 には CPU に AMD Ryzen Threadripper 3990X 64-Core Processor，GPU に GeForce RTX 3090 を使用した.

文書分類モデルでは，BERT の CLS トークンの表現を一層の線形層で分類している。また，訓練用 データでの過学習を防ぐために線形層の前にドロッ プアウト [20]を加えた. 文書分類学習のための計算機には CPU に Intel(R) Xeon(R) CPU E5-2698 v4 及 び Intel(R) Core(TM) i9-10900K CPU，GPU には Tesla
V100-DGXS-32GB 及び GeForce RTX 3090 を使用し た. 文書分類モデルの最適化手法には AdamW [21] を使用した。学習率は $\{1 \mathrm{e}-5,2 \mathrm{e}-5,3 \mathrm{e}-5,4 \mathrm{e}-5,5 \mathrm{e}-5$, 6e-5\} の範囲でハイパーパラメータチューニングを 行い，表6のように設定した.

表 6 ハイパーパラメータチューニングの結果

## C テキスト情報を除いた文書分類

文献グラフから得られた表現単体での性能を評価するため，対象テキスト情報を使用しない実験を 行った. BERTへの入力を文献グラフからの表現の みにして出力の [CLS] トークンで分類をした結果を 表 7 に示す. 文書・用語の表現の両方を使用したと きに最も高い性能となった．様々な情報を含む文献 グラフからの表現を利用することで対象テキスト情報がなくても分類できたと考えられる.

表 7 テキスト情報を除いた文書分類の結果 [\%]


 井田龍希 三輪誠 佐々木裕 豊田工業大学 \{sd22401, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp  