# 論文の階層構造を活用した被引用数予測

平子潤笹野遼平武田浩一
名古屋大学大学院情報学研究科
hirako.jun.e5@s.mail.nagoya-u.ac.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

日々，大量に発表される論文の中から，重要な論文を自動推薦するため, 論文の将来的な被引用数を 予測する技術の重要性は増している. 被引用数の予測性能の向上に, 論文本文の活用は重要な要素だと 考えられるが，論文本文は一般に記述量の多さから 扱いが難しく, 先行研究においても活用法は十分に 探索されていない. そこで, 本研究では, 被引用数予測において，本文を有効に活用することを目指 し, 論文の階層構造を活用した新たな被引用数予測手法を提案する. さらに, 既存手法を含めた, 複数 の手法との広範囲な比較実験を行い，被引用数予測 における提案手法の有効性を示す.

## 1 はじめに

近年，人工知能分野など様々な分野において論文 の発表数が急激に増加している. これに伴い，重要 な論文を推薦するため，論文の質を予測する技術 の重要性が高まっている. そのため, 本研究では,論文の質を近似する指標として被引用数を採用し $[1,2]$, 論文の将来的な被引用数を予測するタスクに 取り組む。

被引用数を予測する上で，論文本文の活用は重要 な要素であると考えられる. しかしながら, 既存の 被引用数予測の研究 $[3,4]$ では, 論文のテキスト情報としてアブストラクトを用いることが多く，論文 の本文はほとんど活用されていない，その原因は，本文が非常に長く，扱いが難しいことだと考えられ る. 特に，近年盛んに利用されている BERT [5] な どの Transformer [6] ベースのモデルは, 計算量が入力長の 2 乗に比例するため, 非常に長いトークン列 を入力すると，計算量は極めて大きなものとなる。 この問題を解決するため, Transformer の構造自体を 改善するアプローチ $[7,8]$ や，入力文を分割して扱 うアプローチ $[9,10]$ などが提案されているが，被引用数予測における有効性は不明である.
そこで, 本研究では, 被引用数予測において, 本文を有効に活用することを目指し，論文の階層構造 を活用した新たな被引用数予測手法を提案する.こ の手法では，BERTを用いて論文の各節をエンコー ドし，そのセクション表現を集約することで被引用数の予測を行う。また, arXiv と bioRxiv から収集し た論文を用いて，既存手法を含めた複数手法との広範囲な比較実験を行い，提案手法の有効性を示す.

## 2 関連研究

## 2.1 被引用数予測

被引用数予測の既存手法は、テキスト情報を利用 しない手法と利用する手法に大別することができ る.このうちテキスト情報を利用しない手法として は，論文の引用関係をグラフで表現した引用グラフ を用いる手法 $[11,12,13]$ や，RNN を用いて短い期間の被引用数の推移から長い期間の被引用数を予測 する手法 [14] などが挙げられる.

テキスト情報を利用する手法として初期の 研究で提案された手法には，アブストラクトの Bag-of-Words を利用する手法 [3] や頻度べースの重 み付けを利用する手法 [15], LDA より推定されたト ピックを利用する手法 $[16,17]$ などがある. 近年で は，深層学習を用いて論文のテキストの意味的特徵量を捉える手法も研究されており，タイトルとアブ ストラクトをDoc $2 \mathrm{Vec}$ でエンコードして利用する手法 [4] や，事前学習済みモデルを利用して論文の本文全てを活用する手法 [18] も提案されている.

## 2.2 長い系列を扱う手法

Transformer ベースのモデルは，近年の自然言語処理において盛んに利用される一方で，計算コストが 入力長の 2 乗に比例するという問題点があり, 長い 系列を扱うことは難しい。この問題を解決するため に，大きく 2 つのアプローチで研究が行われてい る. 1 つ目は, Transformer の構造自体を改善し，よ

(a) SChuBERT

(b) Longformer (先頭)

(c) 階層構造(先頭)

(d) 階層構造(分割)

図 1 本研究で比較する本文を活用した被引用数予測手法の概要図

り効率的に長い系列を扱うアプローチ $[7,8,19]$ であ る.これらの手法では，主に Self-Attention を改良す ることで，計算量の改善を目指している．2つ目は，入力する長い系列を分割して処理することで，計算量の増加を抑えるアプローチである。これらの手法 には，分割したテキストをBERT でエンコードし， Attention や RNN など比較的単純な手法で集約する 手法 $[9,18]$ や，BERT でエンコードした表現を更に Transformerに入力する階層的な手法 $[10,20]$ がある.

## 3 本文を活用した被引用数予測手法

## 3.1 既存手法: SChuBERT

論文本文から被引用数を予測する手法として， SChuBERT [18] が挙げられる。この手法では, 図 1 の (a) で示すように本文をオーバーラップさせなが らチャンクに分割し，それぞれを BERT でエンコー ドして，GRU [21]を用いて集約することで，被引用数を予測する. SChuBERT は BERT の fine-tuning を 行わないため，比較的小さな計算コストで，全ての 本文を活用することができる．ただし，本文は固定 の文字数で分割しており，節の途中で分割されるこ ともあるため，その場合は論文の構造を捉えること ができない.

## 3.2 本文の先頭部分を利用する手法

長い系列を扱うモデルである Longformer [8] を用 いて，本文の先頭部分から被引用数の予測を行う手法である Longformer (先頭) の概要を図 1 の (b) に示 す.この手法では，Longformer の最大入力長である 4096 に収まるように，論文本文の後半部分を切り捨 て, 残った前半部分の本文から，被引用数の予測を 行う. 入力テキストが長い場合に，一部を切り捨て る手法は一般的に採用される $[8,22]$ 一方で，本文と
いう非常に長いテキストを扱う場合は，多くのテキ ストが切り捨てられてしまい，論文全体をバランス 良く考慮することができない場合が多い. 例えば，本実験で使用するデータセット (4.2 節を参照) にお いて, Longformer (先頭) では，平均で本文の約 $46 \%$ のテキストが切り捨てて入力される.

## 3.3 階層構造を利用する手法

本研究では，新たに本文の階層構造を活用した 2 つの被引用数予測手法を提案する.これらの手法は どちらも，各節をそれぞれパラメータを共有した BERTを用いてエンコードすることでセクション表現を生成し，各セクション表現をプーリングにより 集約することで，被引用数を予測する．ただし， 2 つの手法は，各節の先頭部分のみを活用するか，各節を分割し，より多くのテキストを活用するかで異 なる．各節の先頭部分を活用する手法である階層構造 (先頭) の概要を, 図 1 の (c) に示す. この手法 では，各節の見出しを 1 文目，内容を 2 文目とし て BERT に入力することで，セクション表現を生成 し，そこから被引用数を予測する. ただし， 2 文目 として入力する内容は，BERT の最大大力長である 512 を超えないように，後半を切り捨てる. この手法は，計算コストの増加を抑えることができる一方 で，入力できる内容は限定的である.

次に，各節を分割して活用する手法である階層構造 (分割) の概要を, 図 1 の (d) に示す. この手法 では，まず各節の内容を 50 トークンずつオーバー ラップさせながらチャンクに分割し $[10,18]$, それ ぞれを BERTを用いてエンコードする。そして，そ れらのチャンク表現を Mean プーリングすること で，セクション表現を生成し，そこから被引用数を 予測する。また，各チャンクをエンコードする際 は，全ての場合で 1 文目に見出し， 2 文目にチャン

クを入力する.これは，2つ目以降のチャンクを入力する際に，チャンクのみを入力すると，BERTが パラメータを共有していることから，どの節のチャ ンクかを BERT が捉えることができないためであ る.この手法は, 階層構造 (先頭) と比べ，より多く の内容を扱うことができる一方で，計算コストは増加する. また, 計算コストの都合上, 各セクション の内容は最大で 8 つのチャンクに分割し, 残りのテ キストは切り捨てる.

これらの 2 つの手法では，各セクション表現を プーリングにより集約することで被引用数を予測す る.プーリング手法としては，単純な Mean に加え， Transformer を用いたより表現力が高い手法を採用す る. Transformerによるプーリングでは, 各セクショ ン表現を系列として 1 層の Transformer に入力し，そ の出力の平均を取ることでべクトルを集約する.

## 4 実験

## 4.1 タスク設定

本研究では，論文の本文から，その論文の発表か ら 1 年後の被引用数を予測するタスクに取り組む. ただし, 被引用数 $c$ に対し, $\log (c+1)$ を予測対象と する [18]. さらに本研究では, 先行研究 [23] で提案 された，現実的な被引用数予測の設定を採用する. これは，学習データとして利用する論文の被引用数 の情報を，評価用論文の発表時点に取得できるもの に限定する設定であり，この設定を採用すること で，より現実に即したモデルの評価が可能となる. この設定では，例えば評価用論文の 6 ヶ月前に発表 された学習用論文は，発表から 6 ヶ月後の被引用数 しか取得できない. すなわち, 発表から 1 年未満の 学習用論文は発表から 1 年後の被引用数が取得でき ないため, 先行研究で提案された手法 [23]を用いて 被引用数を補完し，学習データとして利用する.

## 4.2 データセット

本研究では, 計算言語学分野の論文から CLデー タセット, 生物学分野の論文から Bio データセット を構築し，実験を行う。

CL データセットは, 2014 年 6 月から 2020 年 6 月

構築しており, 被引用数を計算するための引用情報

1) https://arxiv.org/
は Semantic Scholar2) から取得する。論文の本文につ いては，論文の HTML 版3)をパースすることで収集 し，HTML 版の収集とパースができない論文につ いては，データセットから除外する。 また, 先行研究 [23] に倣い, 本研究ではデータセットから 13 個 のサブセットを作成し, 学習と評価を行う. 具体的 には, 2019 年 6 月から 2020 年 6 月のうちのある月 を起点として、そこから過去 5 年間に投稿された論文で起点別に 13 個のサブセットを作成し，それぞ れのサブセットの最新月に投稿された論文を評価用論文，残りの論文を学習用論文とする．これらのサ ブセットのうち，2019年 6 月に発表された論文を評価用論文とするサブセットは, 開発セットとして用 い，残りのサブセットは評価値の算出に用いる. ま た, サブセットの平均学習用論文数は 11383 , 平均評価用論文数は 449 であった.

Bio データセットは, 2015 年 4 月から 2021 年 4 月 の間に bioRxiv4) の 3 つのカテゴリ ${ }^{5}$ に投稿された論文で構築し， bioRxivで公開されている HTML 版を パースすることで本文を収集する。また，CL デー タセットと同様に, Bio データセットから 2020 年 4 月から 2021 年 4 月に投稿された論文を評価用論文 とする 13 個のサブセットを作成し，評価用論文が 最も古いサブセットは, 開発セットとして用いる. これらのサブセットの平均学習用論文数は 5737, 平均評価用論文数は 256 であった.

## 4.3 評価方法

評価指標には，スピアマンの順位相関係数 $(\rho)$,平均二乗誤差 (MSE), 実際の上位 $n \%$ 論文が予測値 の上位 $\mathrm{k} \%$ 論文に含まれる割合 $(\mathrm{n} \% @ \mathrm{k} \%)$ を用いる。 また，評価値は，各サブセットでそれぞれモデルの 学習，評価用論文に対する予測を行い，全 12 ヶ月分の予測値を合わせて算出する．全ての設定におい て，異なるランダムシードで 3 回実験を行い，評価値の平均と標準偏差を算出する。

また，実験において一部の手法の予測値の平均 が，正解值の平均と離れてしまい，MSEでの性能評価に悪影響があることが判明したため，開発セット における予測値の平均と正解值の平均の差を補正值 とし, 評価時の予測値から補正値を引いた値に対し MSEを算出する MSE*も評価指標に加える。

2) https://www.semanticscholar.org/

3) https://ar5iv.labs.arxiv.org/

4) https://www.biorxiv.org/

5) Biochemistry, Plant Biology, Pharmacology and Toxicology
表 1 比較実験の結果. 階層構造の括弧内の 2 つ目の要素はプーリング手法を示す. (MSE, MSE*以外の評価値 $\times 100$ )

## 4.4 比較手法

本実験では，3 節で述べた手法に加え，BERT を用いた 2 つの手法を比較する. 1 つ目の BERT (title+abst) は，BERT にタイトルを 1 文目，アブス トラクトを 2 文目として入力し，被引用数を予測す る手法である. 2 つ目の BERT (先頭) は, Longformer (先頭) と同様に，本文の先頭部分を BERT に入力す ることで被引用数を予測する手法である.

## 4.5 実験設定

既存手法である SChuBERT は，ハイパーパラメー 夕の探索範囲を除き, 先行研究 [18] と同様の設定 で実験を行う. その他の全ての手法では，BERT と Longformer の出力として, [CLS]トークンに対応す るベクトル表現を利用し, モデルが最終的に出力し たベクトルを全結合層に入力し, 線形変換を行うこ とで，予測值を出力する. また，予測値と正解值の MSE を損失として学習し, 学習中には, 最終的に出力したべクトルに Dropout [24]を適用する6).

## 4.6 結果

実験結果を表 1 に示す. 既存手法である SChuBERT を除き、論文の本文を活用した手法は，両方 のデータセットにおいて BERT(title+abst)を上回っ ており，被引用数予測において，本文を活用する ことの有用性が確認できた。また，本文を活用す る手法の中では, 本研究で提案した階層構造を利用する手法が最も高い性能を達成した. 提案手法

6）詳細な学習設定は付録 $\mathrm{A}$ を参照.
は，順位相関係数において，その他の全ての比較手法と比べ，CL データセットでは 5.1 ポイント以上, Bio データセットでは 1.8 ポイント以上上回ってい る. MSE や MSE*, $\mathrm{n} \% @ \mathrm{k} \%$ においても，ほとんど の場合で比較手法を上回っており，提案手法が CL と Bio という異なる分野の論文集合に汎用的に有用性を持つことを確認した．次に，提案手法におい $\tau$, 階層構造 (先頭) は, 階層構造 (分割) と同等以上の性能を示しており，各節の先頭部分のみを利用 することで，計算コストの増加を抑えながら，高い 予測性能が達成できることが判明した。また，セ クション表現のプーリング手法においても，Mean より Transformer の方が全体的に高い性能を示すこ とを確認した．既存手法である SChuBERT は，CL データセットに対する MSE，MSE*は向上したもの の, 他の場合では BERT (title+abst) と比べて, 同等以下の結果となった。これは，SChuBERT が本文全文を入力するために，BERT の fine-tuning を行わな いことが原因であると考えられる [10].

## 5 おわりに

本研究では, 論文の階層構造を活用した被引用数予測手法を提案し，既存手法である SChuBERT や Longformer を利用した手法など複数の手法との比較実験を行い，提案手法の有効性を示した. 特に，提案手法において，各節の先頭部分のテキストのみを 利用することで，計算コストの増加を抑えつつ，高 い性能を達成できることを確認した. 今後の展望と しては，引用グラフなど論文のテキスト以外の情報 も同時に扱うモデルの構築をしたいと考えている.

## 謝辞

本研究の一部は, JST ムーンショット型研究開発事業 JPMJMS2033 の支援を受けたものです.

## 参考文献

[1] Daryl E. Chubin and Eugene Garfield. Is citation analysis a legitimate evaluation tool? Scientometrics, Vol. 2, pp. 91-94, 1979.

[2] Dagfinn W. Aksnes. Citation rates and perceptions of scientific contribution. J. Assoc. Inf. Sci. Technol., Vol. 57, pp. 169-185, 2006.

[3] Alfonso Ibáñez, Pedro Larrañaga, and Concha Bielza. Predicting citation count of bioinformatics papers within four years of publication. Bioinformatics, Vol. 25 24, pp. 3303-9, 2009.

[4] Anqi Ma, Yu Liu, Xiujuan Xu, and Tao Dong. A deeplearning based citation count prediction model with paper metadata semantic features. Scientometrics, Vol. 126, pp. 6803 - 6823, 2021

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, Vol. 30, 2017.

[7] Nikita Kitaev, Lukasz Kaiser, and Anselm Levskaya. Reformer: The efficient transformer. In ICLR, 2020.

[8] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv, Vol. abs/2004.05150, , 2020.

[9] Arash Afkanpour, Shabir Adeel, Hansenclever de F. Bassani, Arkady Epshteyn, Hongbo Fan, Isaac Jones, Mahan Malihi, Adrian Nauth, Raj Sinha, Sanjana Woonna, Shiva Zamani, Elli Kanal, Mikhail Fomitchev, and Donny Cheung. Bert for long documents: A case study of automated icd coding. arXiv, Vol. abs/2211.02519, , 2022.

[10] R. Pappagari, Piotr Żelasko, Jesús Villalba, Yishay Carmiel, and Najim Dehak. Hierarchical transformers for long document classification. ASRU, pp. 838-844, 2019.

[11] Carlos Castillo, Debora Donato, and A. Gionis. Estimating number of citations using author reputation. In SPIRE, 2007.

[12] Feruz Davletov, Ali Aydin, and Ali Cakmak. High impact academic paper prediction using temporal and topological features. 112014.

[13] Nataliia Pobiedina and Ryutaro Ichise. Citation count prediction as a link prediction problem. Applied Intelligence, Vol. 44, pp. 252 - 268, 2015.

[14] Alireza Abrishami and Sadegh Aliakbary. Predicting citation counts based on deep neural network learning techniques. J. Informetrics, Vol. 13, pp. 485-499, 2018.

[15] Lawrence D. Fu and Constantin F. Aliferis. Models for predicting and explaining citation count of biomedical ar- ticles. AMIA, pp. 222-6, 2008

[16] Rui Yan, Jie Tang, Xiaobing Liu, Dongdong Shan, and Xiaoming Li. Citation count prediction: learning to estimate future citations for literature. In CIKM, 2011.

[17] Tanmoy Chakraborty, Suhansanu Kumar, Pawan Goyal, Niloy Ganguly, and Animesh Mukherjee. Towards a stratified learning approach to predict future citation counts. IEEE/ACM Joint Conference on Digital Libraries, pp. 351-360, 2014.

[18] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambertus Schomaker. SChuBERT: Scholarly document chunks with bert-encoding boost citation count prediction. In SDP, 2020.

[19] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontañón, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, and Amr Ahmed. Big Bird: Transformers for longer sequences. arXiv, Vol. abs/2007.14062, , 2020.

[20] Jin Xue, Xiaoyi Tang, and Liyan Zheng. A hierarchical bert-based transfer learning approach for multidimensional essay scoring. IEEE Access, Vol. 9, pp. 125403-125415, 2021.

[21] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In EMNLP, pp. 1724-1734, Doha, Qatar, October 2014. Association for Computational Linguistics.

[22] Qizhe Xie, Zihang Dai, Eduard Hovy, Thang Luong, and Quoc Le. Unsupervised data augmentation for consistency training. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, NeurIPS, Vol. 33, pp. 62566268. Curran Associates, Inc., 2020.

[23] 平子潤, 笹野遼平, 武田浩一. 直近 1 年の動向を考慮 した最新論文のインパクト予測. 言語処理学会 第 25 回年次大会 発表論文集, pp. 1262-1267, 2022.

[24] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. JMLR, Vol. 15, No. 56, pp. 1929-1958, 2014.

[25] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In EMNLP: System Demonstrations, pp. 38-45, 2020 .

## A 詳細な学習設定

本研究では，BERT の初期重みとして，Transformers [25] で公開されている bert-base-uncased を, Longformer の初期重みとして, allenai/ longformer-base-4096を利用した．また，Transformer プーリングで用いた 1 層の Transformer は, BERTの最終層の重みを用いて初期化した。

既存手法である SChuBERT 以外の手法の学習で は，バッチサイズは 32，最適化関数は AdamW を用 い，全体の学習ステップの $10 \%$ で warm-up し, 残り のステップで線形に減衰する学習率スケジューリ ングを行った. また，エポック数は $\{3,4\}$, 学習率 は $\{2 \mathrm{e}-5 ， 3 \mathrm{e}-5 ， 5 \mathrm{e}-5\}$ でグリッドサーチを行い，開発セットにおいて最も順位相関係数が高くなった值 を利用した. SChuBERT では，エポック数のみハイ パーパラメータ探索を行い，残りの設定については 先行研究と同様に学習を行った. また，エポック数 の探索範囲は，先行研究の值に基づき $\{20 ， 30 ， 40\}$ とした.
 平子潤笹野遼平武田浩一 名古屋大学大学院情報学研究科 hirako.jun.e5@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp  