# 直近 1 年の動向を考慮した最新論文のインパクト予測

平子潤笹野遼平武田浩一
名古屋大学大学院情報学研究科
hirako.jun.e5@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

発表される論文の増加に伴い，新たに発表された 論文の将来的なインパクトを自動で予測する技術の 重要性は増している. 本研究では，論文のインパク 卜予測を発表から 1 年後の被引用数予測として定式化し，学習データとしてそのまま用いることができ ない，発表から 1 年未満の論文から得られる情報を 活用する手法を提案する。また， arXiv から収集し た約 17,000 の論文を用いた実験を通して，直近 1 年以内の論文を活用することの有効性を示す.

## 1 はじめに

近年，自然言語処理を含む人工知能分野の論文数 は大きく増加しており，興味があるトピックに絞っ たとしても全ての論文に目を通すことは困難になっ ている。このため，同時期に発表された論文の中か ら，将来的なインパクトが大きくなる重要性の高い 論文を選択的に自動提示する技術が求められてい る. 本研究では，このようなインパクトの指標とし て発表から 1 年後の被引用数を採用し, 新たに発表 された論文の 1 年後の被引用数予測に取り組む.

発表から 1 年後の被引用数予測において，学習 データとしてそのまま使用できるのは 1 年後の被引用数が既知の論文，すなわち，発表から 1 年以上経過した論文のみである. しかし，人工知能分野の技術革新の速度は増しており，直近 1 年以内に発表さ れた論文から得られる情報を用い，最新の動向を捉 えることが重要であると考えられる。そこで本研究 では， 1 年後の被引用数予測において，直近 1 年以内に発表された論文を活用する 2 つ手法を提案す る. 1 つ目の被引用数補完では，過去の論文の被引用数の経過月数ごとの推移を利用し, 発表から 1 年未満の論文の 1 年後の被引用数を予測することで，発表から 1 年未満の論文を学習データとして利用す る. 2 つ目の早期導入度の利用では, 被引用数予測対象の論文が，直近 1 年以内に発表された被引用数
の高い論文を引用しているかどうかの情報 (早期導入度) を利用する.これは発表後，短期間で多く引用されている論文は重要な研究成果を報告している 可能性が高く，そのような重要な研究成果をいち早 く取り込んでいる研究も，新規性が高く技術的貢献 が大きい可能性が高いという直観に基づいている.

被引用数予測に取り組んだ研究はすでに多く存在 する. 初期の研究として Fu ら [1] は，被引用数予測を分類と回帰で定式化し，論文のアブストラクト やジャーナルのインパクトファクターなどの被引用数予測において有効な特徴量を調査した. Li ら [2] は，論文に対応した複数の査読テキストを被引用数予測に活用した. Dongen ら [3] は，より大規模 なデータセットを使いつつ，BERTを用いて効率的 に論文の本文をエンコードし，被引用数予測を行っ た.しかし，これらの研究では，予測対象の論文が 発表された時点では利用できない情報，具体的には その論文と近い時期に発表された論文の将来的な被引用数を利用しており，発表されてから間もない論文の将来的な被引用数予測には適用できない設定が 採用されている。これに対し，本研究では被引用数予測の対象論文が発表された時点の情報だけを利用 するという設定を採用し，そのような設定における 直近 1 年以内の論文の活用方法を提案する.

## 2 最新論文を活用した被引用数予測

## 2.1 問題設定

本研究では，論文の著者情報とタイトル，アブス トラクトから，その論文の発表から 1 年後の被引用 スコアを予測するタスクに取り組む。被引用スコ アは, Wenniger ら [4] に倣い, 被引用数の対数, す なわち論文の発表から 1 年後の被引用数 $c$ に対し, $\log (c+1)$ と定義する.

学習に使用できる情報は，被引用数予測の対象論文が発表された時点で入手可能な情報に限定する. すなわち，本研究で予測対象とする 1 年後の被引用
表 $1 \mathrm{n}$ ケ月以内に発表された被引用数が上位 $k_{1} \sim k_{2} \%$ の論文を引用している論文の発表 1 年後の被引用数の平均.「引用なし」は， $\mathrm{n}$ ヶ以以に発表された論文を引用していない論文，括弧内の数字は各グループに属する論文の割合を示す.

数情報が利用できるのは，それより 1 年以上前に発表された論文のみであり，直近 1 年に発表された論文についてはその時点の被引用数のみを利用する。

## 2.2 ベースライン手法

Transformer [5] ベースの事前学習済みモデルであ る BERT [6] を fine-tuning することで，被引用数予測を行う，入力に用いる情報は，著者情報，タイト ル，アブストラクトとし，1文目として著者情報と タイトルを繋げたもの，2 文目としてアブストラク トを入力する．ただし，著者情報には著者名ではな く, 以下の手順で生成する特殊トークンを用いる. まず，論文の各著者がその論文発表時から見て 1 年以上前かつ 5 年以内に発表した論文の発表 1 年後 の被引用数を収集する，続いて，各著者ごとに平均被引用数を算出し, さらにその值を全著者で平均し た値をその論文の著者スコアとする。このような著者スコアを学習用論文すべてに対し算出し，スコ

上位 10\%のグループであれば [著者 $0 \sim 10 \%] ， 50 \% \sim$ 60\%のグループであれば［著者 50 60\%］といった特殊トークンを生成する。

BERT の出力として, 特殊トークンである [CLS] に対応するべクトルを利用し，CLS ベクトルを線形変換することで，被引用スコアの予測值を得る. 学習中には CLS ベクトルにドロップアウト [7]を適用 し, 予測値と被引用スコアの平均二乗誤差 (MSE) が 最小になるように学習を行う.

## 2.3 被引用数補完

予測対象である 1 年後の被引用数情報が利用でき るのは，発表から 1 年以上経過した論文のみである が，最新の動向を反映したモデルを構築するために は，発表から 1 年未満の論文も考慮することが重要 であると考えられる. そこで，過去の論文の被引用数の経過月数ごとの推移を利用し, 発表から 1 年未満の論文の 1 年後の被引用数を予測することで，被引用数の補完を行い, 発表から 1 年未満の論文を学習データとして利用する．被引用数の補完には次の 事例ベースの手法と比率べースの手法を併用する.

事例ベース 学習用論文において，発表から $n$ ヶ月後に被引用数が $c$ の論文の 1 年後の被引用数を 全て抽出し，その中央值を利用

比率ベース 発表から $n$ ケ月後の被引用数の平均と 発表から 1 年後の被引用数の平均の比を計算 し, 被引用数 $c$ に掛けた值を利用

事例ベースの補完は，同じ被引用数をもつ論文が多数存在しうる “被引用が少ない論文” に対しては正確な補完が期待できる一方で，同じ被引用数をもつ 論文がない，または，少ないと考えられる“被引用 が多い論文”には適していないと考えられる。 その ため本研究では，発表から $n$ ヶ月後の被引用数の中 で，被引用数 $c$ が上位 $10 \%$ に属する場合は比率べー スの手法で補完を行い，下位 90\%に属する場合は事例ベースの手法で補完を行う1).

## 2.4 早期導入度

発表から短い期間に多く引用されている論文は重要な研究成果を報告している可能性が高く，そのよ うな重要な研究成果をいち早く取り达んでいる研究 も，新規性が高く技術的貢献が大きい可能性が高い と考えられる。この仮説を検証するため，“ $n$ ケ月以内に発表された被引用数が上位 $k_{1} \sim k_{2} \%$ の論文”を 引用している論文の，発表から 1 年後の被引用数の 平均を調査した。

調査には，3.1 節で述べる学習用の論文集合の 1 つである 2015 年 6 月から 2020 年 5 月に $\operatorname{arXiv}^{2)}$ 上で 発表された 15,962 論文を用い，上位 $k \%$ の計算には，発表から $m$ ヶ月後の論文の場合，論文集合から発表 から $m$ ヶ月後時点の被引用数の分布を作成し，その 分布内での順位を用いた。また， $n$ ヶ月以内に発表 された論文を複数引用している場合，その中でもっ とも被引用数の順位が高い論文の順位を利用した.

調査結果を表 1 に示す. 全体的な傾向として，よ
$ を参照.

2) https://arxiv.org/
}

り被引用数が高い論文を，より早期に引用している ほど，平均的な被引用数が高いことが確認できる。 たとえば，発表から３ ヶ月以内に，被引用数が上位 $1 \%$ 以内の論文を引用している論文の平均被引用数 は 15.5 であり，これは全論文の平均被引用数 6.5 の 約 2.4 倍であった.

以上の調査結果を踏まえ，本研究では，論文が早期に被引用数が高い論文を引用しているという情報 (早期導入度)を被引用数予測に利用する。 入力方法としては，著者情報と同様に，早期導入度を 特殊トークン化して 1 文目の先頭に挿入する. 本研究では, 「上位 $0 \sim 1 \% 」$, 「上位 $1 \sim 2.5 \% 」$, 「上位 2.5 5\%」,「上位 5 10\%」,「上位 10 25\%」,「上位 25 100\%」，「引用なし」をそれぞれ表す 7 つの特殊 トークンを作成し, 予測対象の論文がそれぞれ 3 , 6，9，12 ヶ月以内に引用している論文の中で最も被引用数の順位が高い論文に対応する特殊トークン 4 つを 1 文目の先頭に挿入することにより早期導入度 を考慮する．たとえば，ある論文が 3 ヶ月以内に発表された論文を引用しておらず，6，9ヶ月以内に発表された被引用数が上位 5 10\%の論文を引用してお り，12 ヶ月以内に発表された被引用数が上位 $0 \sim 1 \%$ の論文を引用している場合に入力する特殊トークン 列は，“[引用なし][上位 5 10\%][上位 5 10\%][上位 0 1\%]”となる.

## 3 実験

## 3.1 データセット

被引用数予測において直近 1 年以内の論文を活用 することの有効性を確認するため，arXiv で発表さ れた論文を対象とした評価実験を行った． arXiv の 論文を対象としたのは，大量の論文が発表される一方で，無査読であり品質が保証されていないことか ら，論文の質の自動推定技術の重要性が極めて高い 論文集合であると考えたためである.

本研究では，2019 年 7 月 2020 年 6 月の各月に arXiv 上で cs.CL (計算言語学) カテゴリで発表された 論文集合をそれぞれ評価セットとする 12 個のデー タセットを用いて実験を行った. 各データセットに おいて, 評価対象の論文の発表から過去 5 年間に発表された論文を学習用論文として用いた。たとえ ば，2019 年 7 月に発表された論文集合を評価セット とする場合，2014 年 7 月 2019 年 6 月に発表された 論文が学習用論文となる. 学習用論文数の平均, 学習用論文のうち 1 年以上経過した論文数の平均，評価用論文数の平均はそれぞれ $13,457 ， 8,714 ， 490$ で あった ${ }^{3)}$. 発表時期は月単位で扱い，過去のある時点における被引用数を算出するための引用情報は, Semantic Scholar ${ }^{4}$ から収集した。

## 3.2 比較手法

本研究では以下の 5 つのモデルを比較する.

全 1 年後被引用数使用 過去 5 年間に発表された全論文の発表から 1 年後の被引用数を用いベース ライン手法で学習したモデル

直近 1 年論文不使用 発表から 1 年以内のものを除 く過去 5 年間に発表された論文を用いベースラ イン手法で学習したモデル

+被引用数補完 被引用数補完を行うことで過去 5 年間に発表された全論文を用いべースライン手法で学習したモデル

+早期導入度 直近 1 年論文不使用モデルに早期導入度を追加したモデル

+補完+早期導入度 被引用数補完モデルに早期導入度を追加した提案手法

このうち，全 1 年後被引用数使用モデルは，評価用論文の発表時に取得不可能な情報を用いており，最新論文の被引用数予測には利用できない.

## 3.3 評価方法

評価指標には大きく分けて2つの指標を用いる. まず，全体的な被引用数予測性能を評価するため， スピアマンの順位相関係数 $(\rho)$ を用いる. さらに，将来的にインパクトが大きくなる論文を上位にラン キングできているか評価するため，実際の被引用数 が上位 $\mathrm{n} \%$ となる論文が，予測值の上位 $\mathrm{k} \%$ にどのく らい含まれるかという指標 ( $\mathrm{n} \%$ @ $\mathrm{k} \%$ ) を用いる.

また， 3.1 節で述べた通り，データセットごとの 評価用論文の平均論文数は 490 と小さいことから， データセットごとに評価した場合，スコアが安定し ない可能性が考えられる. そこで，より大規模な論文集合で評価を行えるように，評価値の算出は全 データセットの評価用論文を用いて月横断的に行 う. 具体的には，各データセットで学習を行い，評価用論文の被引用数スコアの予測値を出力し, 全 12 か月分の予測値を合わせて評価値を算出する ${ }^{5)}$.

3）データセットごとの論文数は付録 B を参照

4) https://www.semanticscholar.org/

5）データセットごとの実験結果は付録 C を参照.
表 2 被引用数予測の実験結果 (評価値 $\times 100)$

## 3.4 実験設定

BERT の初期重みには, Transformers [8] で公開 されている, Wikipedia などの一般ドメインの コーパスで事前学習を行なった BERT (bert-baseuncased) と，大規模な論文で構築された科学分野のコーパスで事前学習を行なった SciBERT [9] (allenai/scibert_scivocab_uncased)を用いた. 全ての手法において，エポック数は 3 , バッチサイズは 32 ,最適化関数は AdamW [10] を用い, 全体の学習ス テップの $10 \%$ で warm-up し, 残りのステップで線形 に減衰する学習率スケジューリングを行った. 学習率は，2019 年 6 月に発表された論文を評価用論文と して作成したデータセットを用いて，Devlin ら [6] に倣い，2e-5, 3e-5, 5e-5 で探索を行い，全ての手法 において最も順位相関係数が高くなった 2e-5を使用した.また，各手法でランダムシードで 3 回実験 を行って評価値の平均と標準偏差を算出した.

## 3.5 実験結果

実験結果を表 2 に示す. 全体的に SciBERT の性能 が BERT の性能を上回っており，科学分野のコーパ スでの事前学習が，被引用数予測タスクにおいて有効であることが確認できる。また，被引用数補完，早期導入度をそれぞれ用いることで，性能が向上す る傾向が確認できる. 特に, 被引用数補完と早期導入度を組み合わせた提案手法は，予測対象の論文の 発表時に利用可能な情報しか用いていないにも関わ らず，全 1 年後被引用数使用モデルと同等以上の性能となった. 被引用数補完は, 全 1 年後被引用数使用モデルで使用している情報を近似的に再現してい るに過ぎないことから，性能向上は主に，早期導入度を考慮することで，最新の技術動向をいち早く取 り込んでいる研究を評価できるようになったためで あると考えられる．実際の予測性能に着目すると，被引用数補完と早期導入度の両方を用いた SciBERT ベースのモデルは，5\%@25\%で 78.3 という值であっ た.これは，与えられた論文集合のうち $25 \%$ を読 むことで，将来の被引用数が上位 $5 \%$ となる論文の $78.3 \%$ をバーできるということであり，実用面に おいて有用性の高い手法であるといえる.

## 4 おわりに

本論文では，与えられた論文の発表 1 年後の被引用数予測タスクにおいて，最新の動向を捉えること の重要性に着目し， 1 年後の被引用数が未知である ことからそのままでは学習データとして使用できな い直近 1 年以内に発表された論文の活用法を提案し た. 具体的には，過去の論文の被引用数の推移から 1 年後の被引用数を推定し学習データとして利用す る手法と，より被引用数が高い論文をより早期に引用している論文は平均的な被引用数が高くなるとい う傾向に着目した早期導入度を利用する手法の 2 つ 手法を提案した。 $\operatorname{arXiv}$ から収集した約 17,000 の論文を用いて行った実験の結果，直近 1 年以内に発表 された論文を活用することで，被引用数予測の性能 が向上することが確認できた。特に，早期導入度を 用いて，最新の技術動向をいち早く取り込んでいる 研究を評価することで，論文発表時点では取得不可能な未来の被引用数を利用した手法と同等以上の性能が達成できた．今後の課題としては，自然言語処理以外の人工知能分野の論文を含めた評価や，提案手法では活用していない本文や図，表などを考慮し たモデルの構築が挙げられる.

## 参考文献

[1] Lawrence D. Fu and Constantin F. Aliferis. Models for predicting and explaining citation count of biomedical articles. In AMIA Annual Symposium Proceedings, pp. 222-226, 2008.

[2] Siqing Li, Wayne Xin Zhao, Eddy Jing Yin, and Ji-Rong Wen. A neural citation count prediction model based on peer review text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 49144924, 2019.

[3] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambert Schomaker. SChuBERT: Scholarly document chunks with BERT-encoding boost citation count prediction. In Proceedings of the First Workshop on Scholarly Document Processing (SDP), pp. 148-157, 2020.

[4] Gideon Maillette de Buy Wenniger, Thomas van Dongen, Eleri Aedmaa, Herbert Teun Kruitbosch, Edwin A. Valentijn, and Lambert Schomaker. Structure-tags improve text classification for scholarly document quality prediction. In Proceedings of the First Workshop on Scholarly Document Processing (SDP), pp. 158-167, 2020.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems (NeurIPS), Vol. 30, 2017.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (NAACL), pp. 41714186, 2019.

[7] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research (JMLR), Vol. 15, No. 56, pp. 1929-1958, 2014.

[8] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45, 2020.

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Process- ing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations (ICLR), 2019.

## A 被引用数補完の性能

被引用数補完性能の評価結果を表 3 に示す。評価は，被引用数補完前，被引用数補完後のデータセット ごとに，全論文の 1 年後の被引用数を正解データセットした場合の，被引用数のスピアマンの順位相関係数 $(\rho)$ ，および，正解データにおいて上位 $10 \%$ に含まれる論文がどのくらい上位 $10 \%$ に含まれるかの値 $(10 \% @ 10 \%)$ により行った．評価データには 3.1 節で述べた， 12 個のデータセットを用い，各評価指標の平均値と標準偏差を算出した。

表 3 被引用数補完の評価結果 (評価値 $\times 100$ )

## B 各データセットのサイズ

2019 年 7 月 2020 年 6 月の各月に arXiv 上で cs.CL カテゴリで発表された論文集合をそれぞれ評価セット とする 12 個のデータセットの統計値を表 4 に示す.

表 4 各データセットの論文数

## Ｃ各データセットにおける実験結果

3 節で行った実験の，各データセットごとの実験結果を示す。各評価指標のうち，表 5 にはスピアマンの 順位相関係数，表 6 には $10 \%$ @10\%の結果を示す.

表 5 各データセットにおける実験結果 (スピアマンの順位相関係数 $\times 100$ )

表 6 各データセットにおける実験結果 $(10 \% @ 10 \% \times 100)$


 平子潤笹野遼平武田浩一 名古屋大学大学院情報学研究科 hirako.jun.e5@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp  