# 引用文脈の類似度に基づく局所的引用論文推薦

田中陸斗 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 平博順 3 有田朗人 ${ }^{3}$ 堂坂浩二 ${ }^{1}$
1 秋田県立大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 大阪工業大学
$\{m 24 p 010$, dohsaka\}@akita-pu.ac.jp, h.sugi@ieee.org
\{hirotoshi.taira, m1m21a02\}@oit.ac.jp

## 概要

出版される論文の爆発的な増加により引用論文推薦の需要が高まっている. 本論文では，対象論文の 関連研究の章を執筆する際に，引用を付与すべき個所に対し適切な引用論文を推薦する局所的引用論文推薦のタスクを扱う. 引用を付与すべき個所の周囲 の文は引用文脈と呼ばれる。本研究では，ある特定 の論文を引用する際に書かれる引用文脈同士は似通っていることが多いという仮定のもと，対象論文 の引用文脈と既存論文の引用文脈の類似度を使って 引用論文を推薦する引用文脈参照法を提案する. し かし，この手法には一度も引用されたことがない論文は推薦できないコールドスタート問題が存在す る. 本研究では, 対象論文の引用文脈と既存論文の タイトル・要旨間の類似度を使った従来手法と組み 合わせることによりコールドスタート問題に対処 し，論文推薦の性能が向上することを示す.

## 1 はじめに

学術論文を執筆する際，論文中の主張を裏付ける ために適切な引用を行うことは重要である.しか し, 近年論文数が爆発的に増加し, 研究者が関連す る研究をすべて読み切ることは困難となっており，関連研究に関わる論文執筆支援の必要性が高まって いる.

Narimatsu ら [1] は, 研究者の論文執筆における関連研究の引用および生成に関わる統合的な執筆支援 を目的として，関連研究に関わる様々な既存のタス クを統合した新たなデータセット構築方法および 5 つのタスクを定義した. 本稿では, その中の引用論文推薦タスクに着目する. これは与えられたテキ ストに対して適切な引用論文を推薦するタスクで あり，大域的引用論文推薦と局所的引用論文推薦に 分類される [2]. 大域的引用論文推薦では, 参考文献リストに入るべき論文を推薦するのに対し，局所的引用論文推薦では，引用を付与すべき個所（引用 マーカー）が与えられたときに引用マーカー内に入 る論文を推薦する。本研究では，関連研究の章を執筆する際の局所的引用論文推薦のタスクを扱う．ま た, 用語の定義として, 引用マーカーの前後 50 単語を引用文脈，引用を付与したい引用文脈をもつ論文を対象論文と呼ぶ。

引用論文推薦タスクにおいて，推薦候補となる既存論文のタイトル・要旨を集めたものを論文プール と呼ぶ. 2 節で説明するように, 従来研究として,現在着目する対象論文の引用文脈と, 論文プール内 の既存論文のタイトル・要旨の間の類似度を計算 し, 対象論文の引用文脈と類似したタイトル・要旨 をもつ論文を推薦するという手法が提案されてき た. この手法をタイトル・要旨参照法と呼ぶ.この 手法には論文のタイトル・要旨は容易に収集できる という利点があるが，引用文脈とタイトル・要旨は 別の意図で書かれた文章であるため，適切な引用論文を検索できない場合がありえる．そこで，本研究 では，ある特定の論文の引用文脈同士は似通ってい ることが多いことを仮定し，対象論文の引用文脈と 既存論文が引用された際の引用文脈の類似度を使っ て引用論文を推薦する引用文脈参照法を提案する. この手法では，既存論文の引用文脈を引用文脈プー ルとして収集し, 現在着目している対象論文の引用文脈と類似した引用文脈をもつ論文を引用文脈プー ルから探して推薦する. 局所的引用論文推薦の従来研究では，タイトル・要旨を使った手法は提案され てきているが，知る限りにおいて，既存論文の引用文脈を収集し，それを活用することに着目した研究 はない。しかし，引用文脈参照法には，過去に一度 も引用されたことがない論文は推薦できないという コールドスタート問題が存在する。 そこで，本研究 では，広く用いられてるタイトル・要旨参照法と組 み合わせることで，一度も引用されていない論文も 推薦できるように対処した.

図 1 手法の概要

以下において，2節で関連研究を述べ，3節で提案手法を示す. 4 節で，データセット並びに評価方法を説明し，評価結果について考察する。

## 2 関連研究

局所的引用論文推薦は現在までに様々なアプロー チがとられてきた. 既存研究には, 引用文脈と論文間の関係に焦点を当てる研究が多くあり, Sugimoto ら [3] は，対象論文の引用文脈と推薦する候補の論文のタイトル・要旨の双方を独立に SciBERT[4] で埋 め込み，候補の論文をコサイン類似度でランク付け するモデルを提案している。 また，Ebesu ら [5] は，引用文脈に応じた引用推薦のためのニューラル引用ネットワークを，引用文脈と著者ネットワーク，論文のタイトルを使用することで検討した. Zhang ら [6] は，草稿時の状況を想定しており，引用文脈 と既に自分で引用している被引用論文の情報, 引用文脈を書いている章に着目した推薦手法を提案して いる. Jeong ら [7] は，引用文脈の埋め込み表現を， BERT[8] と GCN[9] を用いて取得し, 引用論文推薦 に取り入れている. しかし, 既存研究には著者が引用したい被引用論文が，他の既存論文ではどのよう な引用文脈で引用されているかに着目した研究は知 る限りでは存在しない. 本稿では, 対象論文の引用文脈と被引用論文の既存論文における引用文脈の比較を行うことが引用論文推薦に有効であることを 示す.

## 3 提案手法

本稿では，与えられた引用文脈に対して，類似し たタイトル・要旨をもつ論文を取得する手法をタイ トル・要旨参照法と呼ぶ。また，新たに提案する，類似した引用文脈で引用された論文を取得する手法 を引用文脈参照法と呼ぶ．さらに，引用文脈参照法亿存在する， 1 度も引用されていない論文は推薦対象にならないというコールドスタート問題に対処す るため, タイトル・要旨参照法と引用文脈参照法を 組み合わせた手法を提案する.

推論の概要図を図 1 に示す.この図は, 論文プー ル内に $\mathrm{A}, \mathrm{B} ， \mathrm{C}$ の 3 件の論文があり， B のみ一度 も引用されていない状況である. よって, 引用文脈 プールに B の引用文脈は存在しない. 引用文脈が存在する A および C は引用文脈参照法を用いてスコ アを計算し，引用文脈が存在しない B はタイトル・要旨参照法を用いてスコアを計算している例を示し ている.

タイトル・要旨参照法 引用文脈と論文プール内 の既存論文のタイトル・要旨の類似度を比較する ために, 文の埋め込み表現に特化した BERT であ る SBERT[10](以下 SBERT)を用いてモデルを作成す

る. アンカーの引用文脈と対応する論文のタイト ル・要旨を正例とし, 論文プール内の正例論文以外 からランダムに選んだ論文のタイトル・要旨を負例 として，以下の式で表される損失関数で埋め込み表現を学習する．また，プーリング層には，BERTの 出力ベクトルの平均値を使用する.

$
\text { Loss }=\max \left.\{\left(\left.\|C-P^{+}\right.\|-\left.\|C-P^{-}\right.\|+\epsilon\right), 0\right.\}
$

ここで， $C$ はアンカーである引用文脈の埋め込み， $P^{+}$は正例の埋め込み, $P^{-}$は, 負例の埋め込みを示 す.また，元論文 [10] に従い，距離にはユークリッ ドを使用し，マージン $\epsilon$ は 1 とした.

推論時は，対象論文の引用文脈と，論文プール内 の論文のタイトル・要旨をそれぞれ上記のモデルに 入力して得られたべクトル間のコサイン類似度を計算し，これをスコアとする。最後に，スコアが高い 順に $\mathrm{k}$ 件の論文を取得する。

引用文脈参照法 引用文脈同士の類似度を比較す るために，タイトル・要旨参照法と同様に SBERT を用いてモデルを作成する。この手法では，アン カーの引用文脈で引用されている論文と同じ論文を 引用している引用文脈を正例とし, 引用文脈プール 内の正例の引用文脈以外からランダムに選んだ引用文脈を負例として，以下の式で表される損失関数で 埋め込み表現を学習する。

$
\text { Loss }=\max \left.\{\left(\left.\|C-C^{+}\right.\|-\left.\|C-C^{-}\right.\|+\epsilon\right), 0\right.\}
$

ここで， $C$ はアンカーである引用文脈の埋め込み， $C^{+}$は正例の埋め込み， $C^{-}$は，負例の埋め込みを示 す. タイトル・要旨参照法と同様に，距離にはユー クリッドを使用し，マージン $\epsilon$ は 1 とした.

推論時は，対象論文の引用文脈と，引用文脈プー ル内の論文の引用文脈の類似度をモデルに入力し,得られたべクトル間のコサイン類似度を計算する。 その際，引用文脈プール内の論文で，引用文脈が複数所持しているときは, 最も大きい類似度をスコア とする。最後に，スコアが高い順に $\mathrm{k}$ 件の論文を取得する.

組み合わせた手法 引用文脈参照法において，1 度も引用されていない論文が推薦対象にならない という問題に対処するため，2つの手法を組み合わ せる. 1 度以上引用されている論文，つまり引用文脈を所持している論文には引用文脈参照法を使用 し, 対象論文の引用論文と引用文脈プール内の論文 の引用文脈とのコサイン類似度を計算する. 未引用 の論文には，論文プール内の論文との類似度をタイ
トル・要旨参照法を使用しコサイン類似度を計算す る. その後, 得られたコサイン類似度をソートし,高い順に $\mathrm{k}$ 件の論文を取得する。

## 4 実験

## 4.1 データセット

研究者の学術論文の執筆支援を目的として, Narimatsu ら [1] によって作成されたデータセットを 使用する。このデータセットには， arXiv から取得 した論文の関連研究の章が約 30000 件と，関連研究 の章で引用されている論文のタイトル，要旨が含ま れている. すべての関連研究の章のうち, 引用論文数が 1 件以上である約 13000 件を使用する. これを 訓練データ，検証データ，テストデータにそれぞれ 約 10400，1300，1300 件ずつに分割する．また，引用文脈の数は訓練データ，検証データ，テストデー タそれぞれで約 70000，10000，7800 件である. テ ストデータの引用文脈のうち，コールドスタート問題が起こり得る数は 692 件であり，約 $9 \% を$ 占めて いる.

## 4.1.1 論文プール

本稿では，論文のタイトル・要旨が得られた論文集合を論文プールと定義する。関連研究の章をもつ 論文と，その章で引用されている論文が論文プール に含まれている．総数は約 38000 件である．

## 4.1.2 引用文脈プール

訓練データ内の関連研究の章で使われた引用文脈を集めたものを引用文脈プールと定義する。 よっ て，総数は約 70000 件である. 引用文脈プール内の 論文は約 10000 件存在し, 最大引用回数は 830 回,最小引用回数は 1 回, 平均引用回数は 7.8 回である.

## 4.2 評価手法

提案した論文推薦システムが既存の論文の引用を どの程度予測できるかを測定する。本稿では，推薦 された候補の上位 5 件と上位 10 件に対して Recall とMRRを計算して評価する. Recall は以下の式で 表される。

$
\text { Recall @k }=\frac{\left|\alpha \cap p_{k}\right|}{|\alpha|}
$

ここで， $\mathrm{k}$ は考慮する上位ランキング件数， $\alpha$ は正解の被引用論文集合, $p_{k}$ は上位 $\mathrm{k}$ 件の推薦リストで

ある. また，MRR は以下の計算で表される.

$
M R R @ k=\frac{1}{|\alpha|} \sum_{u \in \alpha} \frac{1}{\operatorname{rank}_{u}}
$

ここで， $u$ が正解論文の 1 つ, $\operatorname{rank}_{u}$ が論文 $u$ の候補論文のうち，最初に正解論文が出現する順位を示 している.

## 4.3 結果と考察

対象論文の引用文脈と論文プール内の論文のタイ トル・要旨の類似度並びに対象論文の引用文脈と引用文脈プール内の引用文脈との類似度を計算するた めのベースラインとして TF-IDF を使用する. ベー スラインと本手法の評価結果を表 1 に示す. まず， タイトル・要旨法も引用文脈参照法も，SBERTをモ デルとして使った場合がベースラインを上回ってい ることが確認でき，SBERTによる類似度の学習に効果があることが分かる. 次に, 引用文脈参照法はタ イトル・要旨参照法よりも性能が良く，対象論文と 既存論文の引用文脈同士の類似度を活用することに 効果があることが分かる.

さらに，2つの手法を組み合わせることで引用文脈参照法単体の場合よりも性能が向上していること が分かる.このことは，一度も引用されたことがな い論文を推薦する場合に，タイトル・要旨参照法に 組み合わせることによって，引用論文推薦の性能が 向上する可能性があることを示している.

また，コールドスタート問題が起こる 692 件の引用文脈の評価結果を表 2 に示す.これはSBERT モ デルのみでの評価となっている. 引用文脈参照法で の性能が 0 ではないのは，正解の論文が複数ある場合，すべての正解の論文が引用文脈をもたないと は限らないためである.この表から分かるように, コールドスタート問題が起こり得る場合において， タイトル・要旨参照法を組み合わせることで，引用文脈参照単独よりも性能が改善したことが分かる.表 2 コールドスタート問題が起こる引用文脈の評価結果手法 @ 510

## 5 おわりに

本稿では，引用マーカーが与えられたときに，適切な被引用論文を推薦する局所的引用論文推薦の夕 スクに取り組んだ。同じ被引用論文が引用されてい る引用文脈は類似する傾向があるという仮定に基づ き，SBERT を用いて引用文脈同士の類似度を計算 し，適切な論文を推薦するという引用文脈参照法を 提案した。ただし，この手法には一度も引用された ことがない論文は推薦できないというコールドス タート問題が存在するため, 既存研究で広く用いら れているタイトルと要旨を使用する手法と組み合わ せることにより，引用文脈参照法単独よりも論文推薦の性能が向上することを示した. 今後の課題とし ては，どのような意図で引用されているかを考慮し た手法の検討や，引用回数に着目した手法の検討な どが挙げられる.

## 謝辞

本研究の遂行にあたり，ご助言・ご協力をいただ きました，電気通信大学 小山康平氏，NTTコミュ ニケーション科学基礎研究所成松宏美主任研究員,電気通信大学 南泰浩教授, 工学院大学 大和淳司教授，名古屋大学 東中竜一郎教授，国立研究開発法人科学技術振興機構 菊井玄一郎氏に感謝いたします。 また，日頃より丁寧にご指導してくださる秋田県立大学石井雅樹准教授, 伊東嗣功助教に感謝いたし ます。

## 参考文献

[1] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientificdocument writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, 2021.

[2] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, pp. 375-405, 2020.

[3] Kaito Sugimoto and Akiko Aizawa. Context-aware Citation Recommendation Based on BERT-based Bi-Ranker. In 2nd Workshop on Natural Language Processing for Scientific Text at AKBC 2021, 2021.

[4] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[5] Travis Ebesu and Yi Fang. Neural citation network for context-aware citation recommendation. In Proceedings of the 40th international ACM SIGIR conference on research and development in information retrieval, pp. 1093-1096, 2017.

[6] Yang Zhang and Qiang Ma. Dual attention model for citation recommendation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3179-3189, 2020.

[7] Chanwoo Jeong, Sion Jang, Eunjeong Park, and Sungchul Choi. A context-aware citation recommendation model with bert and graph convolutional networks. Scientometrics, Vol. 124, No. 3, pp. 1907-1922, 2020

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[9] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. arXiv preprint arXiv:1609.02907, 2016.

[10] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using siamese BERT-networks. arXiv preprint arXiv:1908.10084, 2019.
 田中陸斗 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 平博順 3 有田朗人 ${ }^{3}$ 堂坂浩二 ${ }^{1}$ 1 秋田県立大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 大阪工業大学 $\{m 24 p 010$, dohsaka\}@akita-pu.ac.jp, h.sugi@ieee.org \{hirotoshi.taira, m1m21a02\}@oit.ac.jp  