# 学術論文における関連研究の執筆支援のための タスク設計およびデータ構築

${ }^{1} \mathrm{NTT}$ コミュニケーション科学基礎研究所 2 電気通信大学
3 秋田県立大学 4 大阪工業大学
\{hiromi.narimatsu.eg, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp
k1710245@edu.cc.uec.ac.jp, dohsaka@akita-pu.ac.jp, e1b17043@st.oit.ac.jp
minami.yasuhiro@is.uec.ac.jp, hirotoshi.taira@oit.ac.jp

## 1 はじめに

学術論文を執筆する際，関連する文献の調査およ び適切な引用は重要である. 新しいテーマの研究を 始めるときや研究課題に対する新しいアプローチに ついて考えるとき，過去の研究に立脚し，また，論文を執筆する際には，記述内容の根拠について，参考文献を正しく示すことが求められる。これらは重要な研究活動の一環ではあるものの, 分野の広がり や対象とすべき論文の増加から，その調査および執筆を支援することを目的とした研究が行われてきた $[1,2]$. 従来は研究者による文献調査の量を減らすと いう観点で, 関連研究の要約を目的とした研究が多 かったが $[1,3]$, 近年では大規模な文献データが手 に入るようになってきたことから，学術論文の執筆 を直接的に支援する引用文献推薦や関連研究の章 に書かれる引用文生成の手法が研究されてきた。た とえば，生命科学や生物医学分野の論文の検索エン ジンである PubMed ${ }^{1}$ から取得した文献を主に用い， キーワードだけでなく内容も踏まえて引用すべき文献を推定する手法を提案するものや [4], 関連研究 を自動生成する手法 [5], 執筆・査読の効率化を目的 として，対象となる文に引用が必要かを判定する手法 [6] が提案されている.

これらの研究は，いずれも論文執筆の効率化とい う同じ目標を目指しているものの，それぞれ独立し て研究が行われてきた。近年では, 論文データベー スの API の公開によって，論文が容易に手に入るよ

1) https://pubmed.ncbi.nlm.nih.gov/
うになり，こうした研究論文を扱うタスクが共有タ スクになりつつある $[7,8,9]$ が，いずれも異なるタ スクを目的としており，統合的な性能評価ができる 状態にはない。一方で，論文執筆支援の実用化とい う観点から考えると, 引用すべき文献の推薦, 引用 すべき文の判定，関連研究の自動生成は連続した研究活動であり, 同じデータを対象とした統合的な性能評価ができることが望ましいと考えられる.

そこで，我々は，関連研究の統合的な執筆支援を 目的として，必要なタスクおよび同じデータを元に タスクデータを構築する手法を提案する．統合的な 執筆支援を目的とすることで，これまでに取り組ま れてこなかったタスクに気づくことができる可能性 がある。また，一つのデータを元にタスクデータの 構築ができれば，タスク間での同一モデルの適用が 検討でき，各タスクの精度の直接比較が可能となる ため, タスクの違いや難しさも評価可能になると考 えられる。本稿では, 関連研究に着目した論文執筆 に関わる目標とそれに必要なタスクを定義し，タス クデータの構築方法について述べる。

## 2 関連研究

論文において関連研究の章は, 自らの研究の位置付けを明確化するために重要である。しかし, 文献 の検索ならびに精読に多くの時間を割かなければな らないことから，その効率化が期待されており，多 くの研究がなされてきた。

論文執筆支援を目的とした研究の初期において，論文全体を読まなくても論文の要旨および主張を把握できるよう, 目的, 課題, 手法の観点での要約 [1]

図 1 関連研究に着目した統合的な論文執筆支援の流れ

や，該当論文に関する引用文を用いた要約手法が提案されてきた [3]. 学術論文の要約は, 一般文書の 要約と異なる難しさが指摘されており, 今も継続し て研究されている [10]. しかし, 論文執筆支援とい う観点では, 研究者は別途読むべき論文を探す必要 があり，支援としては十分でない.

近年では論文データの取得が容易になってきた ことから, 引用すべき論文の推薦を目的とした研究 も行われている. 多くの既存研究は, 他でも引用さ れている権威ある文献を推薦, キーワードの近い文献を推薦する方法が主であったが，近年では他では 引用されていない重要な文献や異なる技術用語を 使用しているが類似している研究も見つけられる よう，大規模なデータを構築して引用関係の意味 ネットワークを考慮した推薦手法も提案されている $[11,4]$. これらは関連研究を推薦するという観点に おいて有益であるものの, さらに細かい, 引用文に 対する引用文献の推薦などは対象とされておらず,本タスクを行うには別途タスクデータの構築が必要 となる.

使用データや方法, 問題点などのカテゴリに分類 して文献を推薦する手法も提案されているが [12],引用文として記述したものの根拠として, 引用すべ き文献を提示するタスクとはなっていない.

執筆・査読の効率化を目的とした研究として, 引用が必要な文かどうかを判定するタスクもある [6]. この引用要否判定タスクは，執筆において引用漏れ を防止する, 論文チェックの観点でも重要なタスク ではあるが, 引用要否判定に続いて, 引用すべき文献を推薦するタスクまでつなげて手法の開発や評価 ができることが望ましい. 従来研究 [6] では, 科学論文の大規模データを使用し公開しているものの,

 \\

## 表 1 タスクの定義

文献の推薦タスクに使用できるデータにはなってお らず，続くフェーズで期待される文献推薦を行うに は別途データ収集および構築が必要となる.

さらに，関連研究の章の一部である引用文を被引用文献から自動生成する手法 [5] も提案されている が，データ数が少なく，同一著者の他の文献や，代表的な引用文の書き方などルールベースの手法にと どまっている.

そこで，我々は，関連研究に関わる論文執筆の支援を目的として, 連続的かつ必要なタスクを設計 し，それらのタスクを統合的に評価できる環境を提供としてタスク用データの構築を行う。

## 3 タスクの定義

我々の目指す統合的な支援の流れを図 1 に示す.研究を始める段階では, “自分なりに調べた従来研究を元に課題とアプローチを検討したが他に類似 する研究があるかもしれない”と思い，関連研究を 探し求める。こうした状況においては, 課題とアプ ローチが記述された研究方針を入力として，関連す る文献が推薦されることが望まれる [13](図の (1)). また, 原稿執筆の段階では, 一通りの草案を書いて みたが，引用すべき箇所に引用がなされていなかっ たり, 適切な引用がなされていないことも起こりう る.したがって, 引用が漏れている文の提示 [6] や (図の (2)), 異なる文献が引用されている箇所の特定 (図の (3)), さらに適切な引用文献の提示 (図の (4)) が期待される。さらには，“一通り研究を終えたも のの引用すべき何かが漏れている可能性がある”と いう状況においては, 引用すべき文献と共に, 該当 する研究に対してどんな観点での引用が望ましいか

図 2 タスクデータの生成

の位置付けを整理した文章が提示される [5] ことが 期待される (図の (5)). そこで, 我々の目標に必要な タスクを表 1 のように定義した．以降，入力として 用いる研究方針や原稿草案のことを, ベース論文と 呼ぶこととする.

## 4 デー夕構築

データの構築方法について，図 2 を用いて説明す る. 論文がたくさん収録されているデータベースを 大規模文献 DB と呼ぶ.

はじめに，ベース論文と大規模文献 DB から，夕 スクデータに用いる素材，すなわちアブストラク 卜, 関連研究の章を除いた論文全体, 関連研究の章 を抽出する。また引用文献については，タイトルと 著者名を用いて大規模文献 DB と照合し, タイト ル，著者， $\operatorname{arXiv}$ の ID およびアブスト/論文本文をぺ アにしておく.

最後に素材を元に，タスクデータを生成する。生成方法の全体像を図に示し，データの詳細を以下に 述べる.

(1) 読むべき文献の推薦

ベース論文のアブストラクトと引用文献のアブス トラクト/論文本文の集合をデータとして作成する.研究方針の状態であるため, アブストラクトのう ち, 実験結果に関する記述をルールベースで省いた アブストラクトを入力として，該当する論文の関連研究の章で引用されている文献のリストを正解とす
る.

(2) 引用要否判定タスク

図には含めていないが，ベース論文のイントロおよ び関連研究の章を対象とする．ベース論文中で引用 されている文は引用が必要な文と見なし，各文に対 して，引用が必要な文かどうかを判定する.

(3) 引用文献割当タスク／引用文・被引用文献ペア 適正判定タスク

ベース論文の関連研究の章を対象とする。ベース論文中で引用されている文は正しく引用していると見 なし, 引用のある各文 (文の長さによって前後の文 を含める）に対して，適切に引用されているかを推定する。

(4) 引用文に対応する文献を推薦

ベース論文の関連研究の章を対象とする. ベース論文中で引用されている文は正しく引用していると 見なし, 引用のある各文 (文の長さによって前後の 文を含める）に対して，ベース論文で引用している 文献リストから，どの文献を引用すべきかを推定す る.

(5) 関連研究の章の自動生成

ベース論文の関連研究の章を対象とする、ベース論文の引用方法は，その論文の観点で適切に引用され ていると見なす。関連研究の章（もしくはそのうち の 1 段落）の抜いた該当論文を入力した時に，その 関連研究の章 (もしくは 1 段落)を自動で生成する.

図 3 関連研究で引用されている文献のうち本文が取得で きる文献の割合（縦軸）と該当する文献の割合（横軸）

## 5 評価

3 節で定義したサブタスクのうち, 従来研究で解 かれていないタスク (3)のうち (3)-2 の引用文献が正 しいかどうかを判定するタスクのについて，ベース ラインの性能を評価する。

タスクデータは, Leaderbord 自動生成を目的とし たタスクデータとして公開されている AxCell[8] を 元に取得した 29,121 件の論文をべース論文として 構築した。大規模文献 DBについては, $\operatorname{arXiv} \mathrm{API}^{22}$ から可能な限り取得した文献を格納した。なお, 関連研究で引用されている文献のうち, 全ての文献の tex のソースもしくは PDF が取得できる論文の割合 は，全体の 6 割程度の 21,351 件であった。図 3 に，関連研究で引用されている文献のうち, tex のソー スもしくは PDF が取得できる文献の割合およびそ れに該当する文献の割合の内訳を示す.

従来のベースとして, Word2Vec[14]と，近年の大規模汎用言語モデルの元となった BERT[15] を用い て性能を評価する。

BERT[15] では, bert-base-uncased のモデル3)を用 い, Document Classification Task のモデルを以下の フォーマットで学習した. 引用文とその引用箇所で 引用されている文献のアブストラクトのペアを正例, 同じ関連研究の章で引用されている他の文献 のアブストラクトをぺアとしたときを負例として 用いた。学習データは, 正例負例ともに 18,000 ず つ, $\operatorname{dev}$ として 3,000 , テストに 3,000 用いた。また Word2Vec [14] は, 文の平均ベクトルの類似度で判定 したときのスコアを比較した。結果を表 2 に示す.評価した性能を表 2 示す.


図 4 BERT に入力したデータのフォーマット

表 2 Word2Vec と BERT の転移学習をした場合のタスク (3)-2 の精度

約 8 割程度の正解率であることから, 判定不可能 ではないタスクであると言える。また, Word2Vec ベースと比較すると約 20 ポイントの伸びがあるこ とから，文脈を踏まえた分散表現により，より高い 精度で解ける可能性があると言える。

なお, 本タスクの詳細な解法については, 文献 [16] に記述している.

## 6 おわりに

本研究では，研究者の研究調査および論文執筆に おける関連研究の引用および生成に関わる統合的な 執筆支援を目的として，関連研究に関わる様々な既存のタスクを統合した新たなデータセット構築方法 および 5 つのタスクを定義した。

定義した 5 つのタスクのうち, 本稿で新たに定義した正しい引用文献かどうかの判定タスクにお いて，近年の言語処理技術のベースとなっている BERTを転移学習した場合の結果を示した．現状の 引用文と引用文献のアブストラクトのペアの正しさ を判定するモデルの性能は 8 割程度であるが，論文全体を用いることでさらに精度向上が期待される。

今後は論文全体を入力とした判定モデルの構築手法を検討し，タスクの精度向上に取り組む。また，未着手のその他のタスクについても取り組み，統合的に論文執筆を支援する仕組みの実現を目指す.

## 参考文献

[1] Simone Teufel and Marc Moens. Summarizing scientific articles: experiments with relevance and rhetorical status. Computational linguistics, Vol. 28, No. 4, pp. 409-445, 2002.

[2] X. Bai, M. Wang, I. Lee, Z. Yang, X. Kong, and F. Xia. Scientific paper recommendation: A survey. IEEE Access, Vol. 7, pp. 9324-9339, 2019.

[3] Vahed Qazvinian and Dragomir R. Radev. Scientific paper summarization using citation summary networks. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 689-696, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[4] Chandra Bhagavatula, Sergey Feldman, Russell Power, and Waleed Ammar. Content-based citation recommendation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 238-251, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[5] Saif Mohammad, Bonnie Dorr, Melissa Egan, Ahmed Hassan, Pradeep Muthukrishan, Vahed Qazvinian, Dragomir Radev, and David Zajic. Using citations to generate surveys of scientific paradigms. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, NAACL'09, p. 584-592, USA, 2009. Association for Computational Linguistics.

[6] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[7] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, p. 375-405, Aug 2020.

[8] Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. Axcell: Automatic extraction of results from machine learning papers. arXiv preprint arXiv:2004.14356, 2020.

[9] Tarek Saier and Michael Färber. unarxive: a large scholarly data set with publications' full-text, annotated in-text citations, and links to metadata. aScientometrics, Vol. 125, No. 3, pp. 3085-3108, 2020.

[10] Michihiro Yasunaga, Jungo Kasai, Rui Zhang, Alexander R Fabbri, Irene Li, Dan Friedman, and Dragomir R Radev. Scisummnet: A large annotated corpus and content-impact models for scientific paper summarization with citation networks. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 7386-7393, 2019.

[11] T. Chakraborty, N. Modani, R. Narayanam, and S. Nagar. Discern: A diversified citation recommendation system for scientific queries. In 2015 IEEE 31st International Conference on Data Engineering, pp. 555-566, 2015.

[12] Pavlos Kefalas Waheed Ahmad Abro Bahadar Ali Zafar Ali, Guilin Qi. A graph-based taxonomy of citation recommendation models. Artificial Intelligence Review, Vol. 53, No. 7, pp. 1573-7462, 2020.

[13] Khalid Haruna, Maizatul Akmar Ismail, Abdullahi Baffa Bichi, Victor Chang, Sutrisna Wibawa, and Tutut Herawan. A citation-based recommender system for scholarly paper recommendation. In International Conference on Computational Science and Its Applications, pp. 514-525. Springer, 2018.

[14] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint
arXiv:1810.04805, 2018.

[16] 小山康平, 南泰浩, 成松宏美, 堂坂浩二, 田盛大悟, 東中竜一郎, 平博順. 学術論文における関連研究の執筆支援のための被引用論文の推定. 言語処理学会第 26 回年次大会, 2021
 ${ }^{1} \mathrm{NTT}$ コミュニケーション科学基礎研究所 2 電気通信大学 3 秋田県立大学 4 大阪工業大学 \{hiromi.narimatsu.eg, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp k1710245@edu.cc.uec.ac.jp, dohsaka@akita-pu.ac.jp, e1b17043@st.oit.ac.jp minami.yasuhiro@is.uec.ac.jp, hirotoshi.taira@oit.ac.jp  