# 引用済み論文の情報を用いた引用論文推薦

田中陸斗 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 平博順 3 有田朗人 ${ }^{3}$ 堂坂浩二 ${ }^{1}$
1 秋田県立大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 大阪工業大学
\{b20p025, dohsaka\}@akita-pu.ac.jp, h.sugi@ieee.org
\{hirotoshi.taira, m1m21a02\}@oit.ac.jp

## 概要

近年の爆発的な学術論文数の増加により，引用論文推薦のニーズが高まっている. 本稿では, 関連研究セクションに着目し，セクション内に既にいくつかの引用が付与されている状況を想定した引用論文推薦手法を提案する. 本手法は，引用を付与すべき箇所 (引用マーカー) が与えられたときに，引用マー カー前後の単語 (引用コンテキスト) と引用済み論文の情報を使って引用すべき論文を推薦する. 手法は2つのフェーズから成る. フェーズ 1 では, 事前に, 引用コンテキストと対応する引用論文の距離が近くなるように SentenceBERT のモデルを学習する. このモデルを使って，与えられた引用コンテキストと距離の近い論文をいくつか候補とする. フェーズ 2 では，事前に，同じ論文内で引用されている論文同士の距離が近くなるように SentenceBERT のモデルを学習しておき，このモデルと引用済み論文の情報を使って，フェーズ 1 の候補論文をさらに適した順位になるようにリランキングする．フェーズ 2 によって，フェーズ 1 に比べて論文推薦の Recall, MRR の値がともに上昇することが示された.

## 1 はじめに

学術論文を執筆する際，論文中の主張を裏付けるために適切な引用を行うことは重要である。しかし, 近年論文数が爆発的に増加し, 引用すべき適切な論文を見つけることは非常に労力のかかる作業となっている．こうした中，研究者の論文執筆支援を目的とした研究が進められてきた。成松ら $[1,2]$ は，研究者の論文執筆における関連研究の引用および生成に関わる統合的な執筆支援を目的として, 関連研究に関わる様々な既存のタスクを統合した新たなデータセット構築方法および 5 つのタスクを定義した. 本稿では，その中の引用論文推薦タスクに着目する。これは与えられたテキストに対して適切な表 1 局所的引用論文推薦の入力と出力の例 This is a good speedup trick because 入力 common words are accessed quickly. This use of binary Huffman code for the hierarchy is the same with $[\mathrm{X}]$.

1. Distributed representations of phrases and their compositionality(2013)

出力

2. Efficient estimation of word representations in vector space(2013)

引用論文を推薦するタスクであり，大域的引用論文推薦と局所的引用論文推薦に分類される [3]. 大域的引用論文推薦では，論文本文全体または要旨を入力するのに対し, 局所的引用論文推薦では, 引用コンテキストと呼ばれる一文，あるいは単語列を入力する。本稿では，局所的引用論文推薦のタスクを扱う. 表 1 に例を示す. 入力は [4]より引用した. [X] は引用を付与すべき場所であり，これを引用マー カーと呼ぶ. この例では，引用コンテキストを $[\mathrm{X}]$ を含む一文と定義し, $[\mathrm{X}]$ に入る引用論文を推薦している.

本稿では，関連研究セクションに着目し，セクション内で既にいくつかの引用が付与されている状況を想定する．セクション内で 1 つの引用マー カーが与えられるとき，その引用マーカーに入るべき引用論文を，引用コンテキストと既に引用されている論文の情報を用いて推薦する手法を提案する.本手法では，引用コンテキストや論文の埋め込み表現を求める際，文の埋め込み表現の構築に特化した BERT である SentenceBERT（以下 SBERT）[5]を用いる.

局所的引用論文推薦の従来研究として, 杉本ら [6] は，引用コンテキストと推薦する候補の論文の文章の双方を独立に BERT[7] で埋め込み，候補の論文をコサイン類似度でランク付けするモデルを提案しているが，この研究では主に引用コンテキスト

に焦点を当てており，いくつか引用が付与されている状況は想定していない。また，候補の論文は BM25[8] を用いて上位 2,048 本の論文としているが，本手法では BM25を用いていないため, 性能の比較は行えない. Zhang ら [9] は, 原稿の一部に適切な引用が付与されている状況を想定した引用論文推薦を行っている. 文書の特徴べクトルを表現できるように Word2Vec[10] を拡張したアルゴリズムである Paragraph Vector[4]を使用して文書の埋め込み表現や，引用済みの論文の埋め込み表現を計算して引用論文推薦に取り入れている.これに対し，提案手法では, 引用コンテキストや論文の埋め込み表現を求める際, 従来研究で用いられた BERT や Paragraph Vectorに代わり，SBERTを用い評価を行った。

以下において，2 節で提案手法を示す. 3 節で， データセット並びに評価方法を説明し, 評価結果について考察する. 最後に，4 節で結果についてまとめる.

## 2 提案手法

本手法は，与えられた引用コンテキストに対して，引用すべき候補論文をいくつか出力するフェー ズ 1 と, 既に引用されている論文の情報を使って,候補論文をさらに適した順位に並び替えるフェーズ 2 から構成される。

## 2.1 フェーズ 1: 候補選択

このフェーズでは，SBERTを使用し，引用コンテキストと対応する引用論文（以下，正例）の距離が， それ以外の論文（以下，負例）の距離よりも近くなるように, 引用テキストと論文の埋め込み表現を学習する。論文の入力は，タイトルとアブストラクトを結合させたものとした. 損失関数には，以下の式で表されるトリプレット損失関数を使用した [11].

$
\text { Loss }=\max \left.\{\left(\left.\|C-P^{+}\right.\|-\left.\|C-p^{-}\right.\|+\epsilon\right), 0\right.\}
$

ここで， $C$ は引用コンテキストの埋め込み,$p^{+}$は正例の埋め込み， $p^{-}$は，負例の埋め込みを示す. 負例はランダムに選択した. また，元論文 [5]に従い， $\|・\|$ はユークリッド距離を使用し，マージン $\epsilon$ は 1 とした.

フェーズ 1 では，このモデルを用いて，引用コンテキストに対応する候補論文を $\mathrm{k}$ 件取得する. 以下の手順にしたがって推論を行う。

1. 引用コンテキストをモデルに入力し，埋め込み
を得る。

2. 論文のタイトルとアブストラクトを結合したものをモデルに入力し，埋め込みを得る。
3. 1 の埋め込みと, 2 の埋め込みのコサイン類似度を計算する。

引用コンテキストと論文プール内の各論文とのコサイン類似度を計算し, 高い順に $\mathrm{k}$ 件の論文を取得し，その引用コンテキストの候補とする。

## 2.2 フェーズ 2: リランキング

このフェーズでは，SBERTを用いて，同じ関連研究セクション内で引用されている論文同士の距離が，それ以外の論文との距離よりも近くなるような埋め込み表現を学習する. フェーズ 1 では引用コンテキストと論文の距離を学習していたが，このフェーズでは論文同士の距離を学習する．論文の入力には，タイトルと要旨を結合させたものを使用する。

学習時の一例として，ある関連研究セクション内に論文 $\mathrm{a}, \mathrm{b}, \mathrm{c}$ が引用されている場合を考える．a に着目すると，a と bおよび a と $\mathrm{c}$ の距離がそれぞれランダムに選んだ論文の距離よりも近くなるように学習を行う. 今回の例では，得られる組み合わせは (a,b), (a,c), (b,c) の三組である.

損失関数にはトリプレット損失関数を使用した. フェーズ 1 と同様に, 距離はユークリッド距離を使用し， $\epsilon$ の値は 1 とした.このモデルを用いて， フェーズ 1 で得られた $\mathrm{k}$ 件の候補論文をリランキングする.

推論の概要を図 1 に示す.この図は, 同じ関連研究セクション内で引用されている論文を $\mathrm{A}, \mathrm{B}$, C とし，マスクした箇所に引用すべき候補論文を， フェーズ 1 で $d_{1}, d_{2}, d_{3}, d_{4}$ の 4 件取得した例である. 以下の手順にしたがって推論を行う.

1. 関連研究セクション内でマスクされてない被引用論文（図では $A, B, C$ ）のタイトルと要旨を結合させたものをそれぞれモデルに入力し，埋め込みを得る。

2. フェーズ 1 で取得した各候補論文（図では $\left.d_{1} \sim d_{4}\right)$ のタイトルと要旨を結合させたものをそれぞれモデルに入力し，埋め込みを得る。
3. 1 の各埋め込みと, 2 の各埋め込みのコサイン類似度を計算し，一番高いスコアをその候補論文のスコアとする.

図 1 フェーズ 2 の概要

最後に，各候補論文を 3 のスコアが高い順に並び替えて，上位 $\mathrm{k}$ 件を推薦する。 図では, $d_{1}, d_{2}, d_{3}$, $d_{4}$ の順位だったが，リランキングを行うことで $d_{3}$, $d_{4}, d_{2}, d_{1}$ の順位に変更されている.

## 3 実験

## 3.1 データセット

研究者の学術論文の執筆支援を目的として，小山ら [12] によって作成されたデータセットを使用する.このデータセットには, ArXivから取得した論文の関連研究セクションが約 3 万件と，セクション内の被引用論文のタイトル，要旨が含まれている.被引用論文数の平均は 2.6 件で，最大值は 43 件である. また，引用コンテキストは引用マーカーから前後 50 単語を結合させたものと定義する.

全関連研究セクションのうち, 引用論文数が 2 件未満のものを削除した約 13000 件を使用する．これを訓練データ，検証データ，テストデータにそれぞれ約 10400，1300，1300 ずつに分割する．また，引用コンテキストの数は訓練データ，検証データ，テストデータそれぞれで約 77000，9800，9500である。 このうち，フェーズ 1 で使用するテストデータの数は，関連研究セクション 1 つにつき 1 件の被引用論文をマスクするため, 関連研究セクション数と同じ約 1300 件となる. 論文プールの総数は約 38000 件である.

## 3.2 評価手法

提案した論文推薦システムが既存の論文の引用をどの程度予測できるかを測定する．本稿では，推薦された候補の上位 5 件と上位 10 件に対して Recall と MRRを計算して評価する． Recall の計算方法を以下に示す.

$
\text { Recall@k }=\frac{\left|\alpha \cap p_{k}\right|}{|\alpha|}
$

ここで， $\mathrm{k}$ は考慮する上位ランキングの数， $\alpha$ は正解の被引用論文集合, $p_{k}$ は上位 $\mathrm{k}$ 件の推薦リストである.

また，MRR の計算方法を以下に示す。

$
M R R=\frac{1}{|U|} \sum_{u \in U} \frac{1}{k_{u}}
$

ここで，uはあるテストデータ，Uはテストデー タ全体， $k_{u}$ はテストデータ $u$ の推薦リストのうち,最初に $u$ の正解の論文が現れた順位である.

## 3.3 結果と考察

フェーズ 1 を使用した場合の結果を表 2 に示す. この結果は，フェーズ 1 において，引用コンテキス卜 1 件に対して負例の数を変化させた場合の性能の比較を行い, Recall@10 で最も性能がよかったものを採用した．負例の変化による性能を比較したものを結果を表 3 に示す。負例を増やすことで性能が上昇していることが確認できるが，負例の数が 7 件を
表 2 フェーズ 1 単体での結果

表 3 フェーズ 1: 負例の数による性能の比較

超えるとほぼ変化が見られない．また，負例の数が 10 件になるとスコアが低下していることから，負例の数は 7 件で学習が十分であり, これ以上の負例の増加は過学習を起こす可能性があると考えられる。

フェーズ 1 の上位 5 件と上位 10 件までの性能が， フェーズ 2 で向上するか否かで，提案手法の有効性を示す.フェーズ 2 を用いて，フェーズ 1 で取得した候補論文をリランキングした結果を表 4 に示す。取得した候補論文数により，性能が変化することが確認できる. 最も性能が良かったのは候補論文数が 80 件のときだが，それ以外でもフェーズ 1 の結果を上回っている. このことから, 既に引用されている論文の情報を使用することが有効に働くことが分かった。

## 4 おわりに

本稿では，関連研究セクション内にいくつか引用が付与されている状況を想定した引用論文推薦手法を提案した. この手法は, 関連研究セクション内で，引用を付与すべき 1 つの引用コンテキストが与えられるとき，引用すべき論文を，2つのフェーズに分けて推薦する。フェーズ 1 では，SBERTを用いて, 引用コンテキストに適切な引用すべき候補論文をいくつか出力した. フェーズ 2 では，候補論文を既に引用されている論文の情報を使って, さらに適した順位に並び替えた. フェーズ 2 のリランキングにより，フェーズ 1 単独の場合と比べて性能が良くなったことから，引用済み論文の情報を用いることにより引用論文推薦の性能が向上することが示された。

今後の課題として，提案手法と同様に，引用済み論文の情報を使用した論文推薦の従来手法 [9] と比較し, 従来手法で使った Paragraph Vector と本手法表 4 フェーズ 2: フェーズ 1 で取得した候補論文数による性能の比較

で使った SBERT の効果の差異を考察することがある. その際，従来手法は本稿で使用したものと異なるデータセットを使っているため，従来研究のデー タセットに揃えて提案手法と比較したい。また，本手法では，論文の情報としてタイトルと要旨のみを使用しているが，著者などの他の情報を取り入れる手法の検討も考えられる.

## 謝辞

本研究の遂行にあたり, ご助言・ご協力をいただきました，電気通信大学小山康平氏，NTTコミュニケーション科学基礎研究所成松宏美氏，電気通信大学南泰浩教授, 工学院大学大和淳司教授, 名古屋大学東中竜一郎教授, 農研機構菊井玄一郎チーム長に感謝いたします。また，日頃より丁寧にご指導してくださった秋田県立大学石井雅樹准教授，伊東嗣功助教に感謝いたします.

## 参考文献

[1] 成松宏美, 小山康平, 堂坂浩二, 田盛大悟, 東中竜一郎, 南泰浩, 平博順. 学術論文における関連研究の執筆支援のためのタスク設計およびデータ構築. 言語処理学会第 26 回年次大会, 2021.

[2] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task Definition and Integration for ScientificDocument Writing Support. In Proceedings of the 1st Workshop on Scholarly Document Processing, 2021.

[3] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, pp. 375-405, 2020.

[4] Q. V. Le and T. Mikolov. Distributed representations of sentences and documents. ICML, 2014.

[5] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using siamese BERT-networks. In Proceedings of Empirical Methods in Natural Language Processing (EMNLP), 2019.

[6] 杉本海人, 相澤彰子. BERT-based Bi-Ranker による文
脈を考慮した引用論文推薦. 言語処理学会第 26 回年次大会, 2021 .

[7] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding,. In Proceedings of NAACL-HLT, 2019.

[8] Stephen Robertson and Hugo Zaragoza. The probabilistic relevance framework: $\mathrm{Bm} 25$ and beyond. Foundations and Trends in Information Retrieval, Vol. 3, No. 4, pp. 333-389, 2009.

[9] Y. Zhang and Q. Ma. Doccit2vec: Citation recommendation via embedding of content and structural contexts. IEEE, 2020.

[10] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[11] J. Wang, Y. Song, T. Leung, C. Rosenberg, J. Wang, J. Philbin, B. Chen, and Y. Wu. Learning Fine-grained Image Similarity with Deep Ranking. In Proceedings of CVPR, 2014.

[12] 小山康平, 南泰治, 成松宏美, 堂坂浩二, 東中竜一郎,田盛大悟, 平博順. 学術論文における関連研究の執筆支援のための被引用論文の推定. 言語処理学会第 26 回年次大会, 2021.


# 変数の記号と定義に関する情報を活用した変数定義抽出手法

沼本真幸 加藤祥太 加納学
京都大学大学院情報学研究科
\{numoto.masaki.32z, katou.shouta.23v\}@st.kyoto-u.ac.jp
manabuQhuman.sys.i.kyoto-u.ac.jp

## 概要

プロセス産業では様々な問題解決にプロセスの物理モデルが活用されている．物理モデルを構築するためには，複数の文献に含まれる数式と変数を把握し，統合する必要があり，多大な労力を要する。我々の目標はこの工程の自動化である。本研究ではその一環として化学プロセス関連文献からの変数定義抽出手法の開発に取り組む. 化学プロセス関連文献では変数の記号と定義の用い方に特徴があるが，従来手法ではこの特徴を活用できない。我々はこの点に注目し，新たな変数定義抽出手法を提案する. 3 つの化学プロセスに関する論文計 28 報を対象に提案手法と従来手法の性能を検証した結果，2つのプロセスで提案手法がより高い正解率を達成した。

## 1 はじめに

プロセス産業では，プロセスの設計や運転に関わる様々な問題の解決にあたって, 物理モデルに基づいて検討を加えるというアプローチが広く利用されている。しかし，現実の現象を正確に表現できる物理モデルの構築は多大な労力を要するため, その効率化が望まれている。我々は，複数の文献から必要な情報を抽出，統合し，物理モデルを自動構築する人工知能 (Automated physical model builder; AutoPMoB) の開発に取り組んでいる. 文献から抽出する重要な情報の一つに数式があるが，複数の文献から抽出した数式を統合するためには，数式中の変数の定義の把握が不可欠である. そこで本研究では，AutoPMoB の要素技術として，変数の定義を文献から自動的に抽出する技術の開発に取り組む.

変数定義抽出に関連する先行研究はいくつか存在する. Kristianto らは，サポートベクトルマシン (SVM) を用いて文献中の数学的表現の説明を抽出する手法を提案した [1]. Pagel と Schubotz は，文献中の数式に含まれる identifier の定義を抽出するランキ
ングベースの手法を提案した [2]. 以上の研究では,抽出対象となる定義あるいは説明の周辺の文章に関する情報の活用が主軸になっている. Stathopoulos らによる研究 [3] では，変数の記号や定義自体に関する情報を活用しているが，定義となる語彙が事前に判明していることが前提とされている.いずれの手法も，問題設定に大きな差異がある，抽出性能が不十分であるなどの理由により, AutoPMoB の要素技術としての採用が難しい。

本研究で対象とする化学プロセス関連文献の間では，変数の記号と定義の用い方に多くの共通点がある。この点に注目し，変数の記号と定義に関する情報を活用した変数定義抽出手法を提案する。また，性能の評価指標を整備し，化学プロセスに関する論文 28 報から作成したデータセットを用いて， Kristianto らによる手法 [1] と提案手法の性能を比較する。

## 2 問題設定

本研究では文献中に単独で存在する変数を扱い,数式中にのみ現れる変数は対象外とする。．例えば，

$
x+y=z \text {, where } x \text { is } X \text { and } y \text { is } \mathrm{Y} \text {. }
$

においては， $x, y$ が定義抽出対象であり，zは対象外である．文献中の記号列から変数を判別する方法を付録 A に示す．単一の文献中では同じ変数が異なる記号で表されることはないと仮定する。

本研究では，文献中に定義が存在する変数に対してはその定義を抽出し，それ以外の変数に対しては何も抽出しない，というタスクに取り組む．ただし，ある変数の定義が単一の文献中に複数存在する場合，そのいずれかを抽出すればよいとする。

データセット 3 つの化学プロセスに関する英語論文計 28 報 (連続槽型反応器 [Continuous Stirred Tank Reactor; CSTR] 10 報，晶析プロセス [Crystallization; CRYST] 11 報，多管式熱交換器 [Shell and Tube Heat Exchanger; STHE] 7 報）を用いて，文献中に定義が
存在する変数に対してその定義をアノテーションしたデータセットを作成した．各プロセスのデー タセットをそれぞれ $\mathscr{D}_{\mathrm{CSTR}}, \mathscr{D}_{\mathrm{CRYST}}, \mathscr{D}_{\mathrm{STHE}}$ と表す. データセットに含まれる変数の数は, $D_{\text {CSTR }}$ ：121 個, $\mathscr{D}_{\mathrm{CRYST}}: 205$ 個, $D_{\mathrm{STHE}}: 215$ 個である. データセットは訓練用とテスト用に分割する．分割方法は 4.2 節で述べる.

## 3 提案手法

本手法では，ある変数 $v$ の定義の候補を抽出したのち，抽出した候補が正しい定義かどうかを判定する. $v$ の定義の候補となるのは， $v$ と同じ文中に存在する全ての名詞句である．ただし， $v$ を含む名詞句には次の処理を施す。
1. $v$ が名詞句の末尾にのみ存在する場合，vを削除した名詞句を定義の候補とする。

2. それ以外の場合，定義の候補としない。

これは，例えば“temperature $T$ ” が $T$ の定義の候補として抽出された時, “temperature”を新たに定義の候補とするための処理である. 本研究では, 文分割には Stanza [4], 名詞句抽出には Stanford Parser [5] を使用する. 次に， $v$ の定義の候補それぞれについて 3 つの特徵量 $x_{1}, x_{2}, x_{3} \in[0,1]$ を生成し, 式 (1)により score $\in[0,1]$ を計算する.

$
\text { score }=\frac{m_{1} x_{1}+m_{2} x_{2}+m_{3} x_{3}}{m_{1}+m_{2}+m_{3}}
$

$m_{1}, m_{2}, m_{3}$ は特徵量の重みを表す. score が最も高く, かつ閾値 $t$ を超えている候補を正しい定義と判定する. ただし，複数の候補が正しい定義と判定された場合, 主辞が一致する別の候補に含まれる候補は除外する. 主辞の抽出方法は付録 B に示す. 以上の処理を文献の本文中に現れる全ての変数に対して行う.

特徵量 1 : 定義らしさ定義の候補の中には定義として自然な名詞句と, 不自然な名詞句が存在する.この「定義らしさ」を特徵量化するため，まずは次の手順で辞書 $D_{1}$ を生成する。

1. 訓練用データセットの正例から変数の定義を取得し，主辞を抽出する。

2. 抽出した全ての主辞を見出し語化する.

3. 得られた見出し語群から重複を取り除いたものを辞書 $D_{1}$ とする。

手順 2 について, 定義の主辞の語形 (単数形か複数形か) の区別は定義らしさの評価に不要であるため，見出し語化する. 見出し語化には Stanza [4]を用いる. 辞書 $D_{1}$ には, “temperature”, “concentration”, “volume”といった見出し語が集められる。 ある変数 $v$ の定義の候補 $c$ に対して, 特徴量 $x_{1}$ を次の手順で生成する.
1. $c$ の主辞を抽出し，その見出し語 $h$ を得る.
2. $h \in D_{1}$ のとき $x_{1}=1$, それ以外は $x_{1}=0$ とする.

## 特徵量 2 : 慣習的な変数記号の選び方か否か 化

学プロセスに関する文献では，変数記号の選び方に， temperature には $T$ を， concentration には $C$ を対応させるといった特定の慣習がある．変数とその定義の候補との間にこのような慣習的な関係が成り立つ場合，その候補が正しい可能性は高いと推測できる. この「慣習的な変数記号の選び方か否か」を特徵量化するため，まずは次の手順で辞書 $D_{2}$ を生成する。

1. 訓練用データセットの正例から，変数の記号と定義の組を取得する。

2. 変数の記号から上付き文字や下付き文字等の修飾的な記号を除去した記号 (主記号)を取得する。

3. 変数の定義の主辞を抽出し, 見出し語化する.
4. 2 で得られる記号と，3で得られる主辞の見出し語の組を作る.

5. 得られた全ての組から重複を取り除いたものを辞書 $D_{2}$ とする.

手順 3 について, 定義の主辞の語形は対応する主記号の選び方に影響しないと仮定し, 見出し語化する.辞書 $D_{2}$ には, “ $T$ : temperature", “ $C$ : concentration”, “ $V$ : volume” など，慣習的な変数記号の選び方を表す組が集められる．以降ではこのような組を「主記号-主辞ペア」と呼ぶ. ある変数 $v$ とその定義の候補 $c$ の組に対して, 特徴量 $x_{2}$ を次の手順で生成する.
1. $v$ と $c$ から主記号-主辞ぺア $p$ を生成する.
2. $p \in D_{2}$ のとき $x_{2}=1$, それ以外は $x_{2}=0$ とする.

特徵量 3 : 変数と定義の位置関係変数とその定義の候補が文献中の近い位置に存在するとき，その組が正しい組である可能性は高いと考えられる。しかし, 変数とその定義の候補の間のトークンの数を特徴量として採用するには問題がある．例えば，変数 $v_{1}, v_{2}$ の定義がそれぞれ $D E F_{1}, D E F_{2}$ であることが以下のように表現されているとする.

$v_{1}$ is $D E F_{1}$ and $v_{2}$ is $D E F_{2}$.

このとき, $v_{2}$ と $D E F_{2}$ の間には 1 つのトークン “is" が存在する。一方， $v_{2}$ と $D E F_{1}$ の間にも 1 つのトー クン “and” が存在する. そのため, トークンの数のみではどちらの組が正しいか判別できない. そこで，パターンマッチングを取り入れてこの問題を緩和する.

まずは次の手順で辞書 $D_{3}$ を生成する.

1. 訓練用データセットの正例から変数とその定義の組を取得し，訓練用データセットの本文からその組の間の文字列を抽出する。

2. 出現頻度の高い文字列上位 $N$ 個を取り出し, 辞書 $D_{3}$ とする.

辞書 $D_{3}$ には， “is”，“represents”といった，変数とその定義の間によく出現する表現が集められる。 ある変数 $v$ とその定義の候補 $c$ の組に対して, 特徴量 $x_{3}$ を次の手順で生成する。
1. $v$ と $c$ の間の文字列 $e$ を取得する.
2. $v$ と $c$ の間のトークンの数を $d$ とする. ただし, $e \in D_{3}$ のとき $d=0$ とする.

3. 特徴量 $x_{3}$ を式 (2) で計算する.

$
x_{3}=f(\Delta)=\exp \left(-\frac{1}{2} \frac{\Delta^{2}-1}{\sigma^{2}}\right) \quad \Delta=d+1
$

式 (2) は $\Delta$ を正規化する式であり，Pagel と Schubotz により提案されたものである [2]. $\sigma$ は関数 $f$ の形を決定するパラメータである.

## 4 実験

## 4.1 評価指標

真陽性 (TP)，偽陽性 (FP)，偽陰性 (FN)，真陰性 (TN) を以下のように定義する．ただし， FP については二種類定義する.

$\mathrm{TP}$ ：文献中に定義が存在する変数に対して，正しい定義のみを抽出した場合

$\mathrm{FP}^{(1)}$ ：文献中に定義が存在する変数に対して，誤った定義を一つでも抽出した場合

$\mathrm{FP}^{(2)}$ ：文献中に定義が存在しない変数に対して，誤った定義を抽出した場合

$\mathrm{FN}$ ：文献中に定義が存在する変数に対して，何も抽出しなかった場合

$\mathrm{TN}$ ：文献中に定義が存在しない変数に対して，何も抽出しなかった場合

定義を抽出した変数のうち正しく定義を抽出した割合 (Pre.)，文献中に定義が存在する変数のうち正し
く定義を抽出した割合 (Rec.)，Pre. とRec. の調和平均 (F1), 正解率 (Acc.) を以下のように定義する.

$
\begin{gathered}
\text { Pre. }=\frac{T P}{T P+F P^{(1)}+F P^{(2)}} \\
\text { Rec. }=\frac{T P}{T P+F P^{(1)}+F N} \\
F 1=2 \times \frac{P r e . \times R e c .}{P r e .+R e c .} \\
\text { Acc. }=\frac{T P+T N}{T P+F P^{(1)}+F P^{(2)}+F N+T N}
\end{gathered}
$

手法の性能の優劣は $A c c$. により判断する.

## 4.2 実験設定

性能比較対象となる従来手法として，Kristianto らによるSVM を用いた手法 [1] を採用する。変数とその定義の候補の組を提案手法と同じ手順で生成し，各組の正誤を SVM で判定する．SVM のパラメータは Kristianto らと同じ值を用いる.

提案手法のパラメータは, $m_{1}=1, m_{2}=1, m_{3}=$ $4, \sigma=2, t=0.6, N=10$ に設定する. これは，予備実験によって定めた組み合わせである.

$\mathscr{D}_{\mathrm{CSTR}}, \mathscr{D}_{\mathrm{CRYST}}, \mathscr{D}_{\text {STHE }}$ をそれぞれ訓練用とテスト用に論文単位で分割する。 $\mathscr{D}_{\mathrm{CSTR}}$ と $\mathscr{D}_{\mathrm{CRYST}}$ からはそれぞれ 3 報，D DSTHE からは 2 報をテスト用とする。 データセットの分割はランダムに 10 通り行い，各評価指標の平均を比較する。

## 4.3 結果と考察

実験結果表 1 に実験結果を示す. 従来手法 (SVM) に比べて提案手法 (Proposed) は Rec. が高い傾向があり，特に $D_{\mathrm{CSTR}}$ では，提案手法が従来手法を $17.5 \%$ 上回った. Pre. に注目すると，D DSTR では

は従来手法の方が $17.3 \%$ 高かった. Acc. に注目すると, D CSTR では提案手法が従来手法を $15.4 \%$ 上回ったが，D DTHE では従来手法の方が $2.8 \%$ 高かった.

名詞句抽出の性能従来手法と提案手法はともに，3節で述べた方法によって抽出した名詞句が定

表 1: 実験結果 (表示は\%)

(a) CSTR

(b) CRYST

(c) STHE

図 1: 訓練に使用した論文数と Acc.の関係

表 2: $c_{\mathrm{TP}}$ と $c_{\mathrm{FP}}$ の数と Acc. $[\%]$ の $X_{0}$ からの変動

義の候補となる. しかし, 名詞句抽出は完璧ではないため, 定義が文献中に存在していても候補として抽出されない場合があった. $\mathscr{D}_{\text {CSTR }}, \mathscr{D}_{\text {CRYST }}, \mathscr{D}_{\text {STHE }}$ のテスト用データセットにおいて，定義が文献中に存在する変数のうち定義を候補に含む変数の割合はそれぞれ $82.5 \%, 76.3 \%, 57.9 \%$ であった. D STHE $に$対して従来手法と提案手法の Rec. が低くなる一因は，名詞句抽出の性能の低さにあると考えられる。

特徵量 1 と 2 の効果提案手法により正しいと判定された定義の候補のうち，実際に正しい候補を $c_{\mathrm{TP}}$ ，実際は誤っている候補を $c_{\mathrm{FP}}$ とする．次の $4 \supset$ の場合について, $c_{\mathrm{TP}}$ と $c_{\mathrm{PP}}$ の数および Acc. を比較することで， $x_{1}$ と $x_{2}$ が抽出性能にもたらす効果を調べた.

$
\begin{aligned}
& X_{0}: x_{3} \text { のみを用いる }\left(x_{1}=x_{2}=0 \text { とする }\right) \text { 場合 } \\
& X_{1}: x_{1} \text { と } x_{3} \text { を用いる }\left(x_{2}=0 \text { とする }\right) \text { 場合 } \\
& X_{2}: x_{2} \text { と } x_{3} \text { を用いる }\left(x_{1}=0 \text { とする }\right) \text { 場合 } \\
& X_{1,2}: x_{1}, x_{2}, x_{3} \text { を用いる場合 }
\end{aligned}
$

$X_{1}, X_{2}, X_{1,2}$ における $c_{\mathrm{TP}}$ と $c_{\mathrm{PP}}$ の数と Acc.の， $X_{0}$ からの変動を表 2 に示す. $X_{1}, X_{2}$ では， $X_{0}$ より $c_{\mathrm{FP}}$ の数が少なく, $x_{1}$ と $x_{2}$ が $c_{\mathrm{FP}}$ を減少させることがわかる．ただし， $x_{1}$ は「定義らしさ」を備えた候補の score を一様に増加させてしまうために，新たに $c_{\mathrm{FP}}$ を発生させる場合もある. $c_{\mathrm{FP}}$ を減少させる効果に比べると， $x_{1}$ と $x_{2}$ の $c_{\mathrm{TP}}$ を増加させる効果は小さ

た，どのデータセットにおいても， $X_{1,2}$ のAcc.は $X_{1}$ と $X_{2}$ の Acc. よりも高く, $x_{1}$ と $x_{2}$ を合わせて用いることが性能向上に有効であることが示された.

## 訓練用データセットのサイズと性能の関係 訓練用データセットに含まれる論文数を変化させて Acc. を算出した結果を図 1 に示す. 従来手法では，訓練に用いる論文数を増やすとAcc. が増加する傾向 があったが，提案手法では，2 報以上を訓練に用い たときのAcc. は論文数によってほとんど変化しな かった. この違いは, 従来手法では正例と負例の両方を訓練に用いるために大きな訓練用データセット が必要となる一方で，提案手法では正例のみを訓練 に用いるために，小さな訓練用データセットで抽出規則を学習できることに起因すると考えられる。

## 5 おわりに

本研究では，変数の記号と定義に関する情報を活用した変数定義抽出手法を提案した. 連続槽型反応器, 晶析プロセス，熱交換器に関する論文計 28 報を用いて従来手法と提案手法の性能を比較した結果，提案手法の正解率が連続槽型反応器に対しては $15.4 \%$ ，晶析プロセスに対しては $3.5 \%$ 従来手法を上回った。一方，熱交換器に対しては従来手法の正解率が提案手法より $2.8 \%$ 高かった. 今後の主な課題を以下に挙げる。

パラメータの最適化今回の実験では，提案手法のパラメータは最適化されていない。 パラメータの自動的な最適化を手法に組み込むことで，性能の改善が見込まれる。

名詞句抽出の改善熱交換器に関する論文中の 4 割程度の変数については, 名詞句抽出の性能が低いために定義抽出に失敗している. Lin らは構文解析を数学的表現が含まれる文章に対応させることが有効であることを示している [6]. 同様に構文解析器を改善し, 名詞句抽出の性能を向上させることで変数定義抽出性能の向上が見込まれる。

## 謝辞

本研究は JSPS 科研費 JP21K18849 および JST 次世

代研究者挑戦的研究プログラム JPMJSP2110の助成

を受けたものです。

## 参考文献

[1] Giovanni Yoko Kristianto, Goran Topic, and Akiko Aizawa. Extracting textual descriptions of mathematical expressions in scientific papers. D-Lib Magazine, Vol. 20, No. 11, p. 9 , 2014.

[2] Robert Pagel and Moritz Schubotz. Mathematical language processing project. In Joint Proceedings of the MathUI, OpenMath and ThEdu Workshops and Work in Progress track at CICM, No. 1186, Aachen, 2014.

[3] Yiannos Stathopoulos, Simon Baker, Marek Rei, and Simone Teufel. Variable typing: Assigning meaning to variables in mathematical text. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 303-312, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[4] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A Python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, 2020.

[5] Dan Klein and Christopher D Manning. Accurate unlexicalized parsing. In Proceedings of the 41st annual meeting of the association for computational linguistics, pp. 423-430, 2003.

[6] Jason Lin, Xing Wang, Zelun Wang, Donald Beyette, and Jyh-Charn Liu. Prediction of mathematical expression declarations based on spatial, semantic, and syntactic analysis. In Sonja Schimmler and Uwe M. Borghoff, editors, Proceedings of the ACM Symposium on Document Engineering 2019, Berlin, Germany, September 23-26, 2019. ACM, 2019.

## A 定義抽出対象となる変数

数学的表現が Mathematical Markup Language (MathML) 形式で記載された HTML 形式の文献から, math タグが付与された要素の一覧 $\varepsilon_{\text {math }}$ を取得する。 $\varepsilon_{\mathrm{math}}$ の各要素のうち, 次のいずれかに該当するものを定義抽出対象となる変数と定義する.

・複数の記号が連続した文字列 (e.g. $\Delta E, \delta t$ )

・1つの記号に上付き文字，下付き文字，上ルビ，下ルビのいずれか，あるいはその組み合わせが付与された文字列

## B 主辞抽出方法

名詞句の主辞は，以下の手順で抽出する。

1. 名詞句に対して係り受け分析を行い，係り受けグラフを生成する.

2. 係り受けグラフの始点となっている単語が名詞であれば，それを主辞とする。

係り受け分析には Stanford Parser [5] を使用する.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 複数文献間の変数の同義性判定に向けた ProcessBERT の構築

金上和毅 加藤祥太 加納 学
京都大学大学院情報学研究科
\{kanegami.kazuki.55z, katou.shouta.23v\}@st.kyoto-u.ac.jp
manabu@human.sys.i.kyoto-u.ac.jp

## 概要

プロセス産業において重要な役割を果たす物理モデルの構築には，膨大な量の文献調査や精度向上のための試行錯誤などの多大な労力が要求される. そこで著者らは，物理モデルを自動で構築するシステムの開発を目指し，複数の要素技術の開発に取り組んでいる. 本研究では，その内の一つである複数文献間における変数の同義性を判定する手法を開発するとともに，その精度向上に向け，化学工学ドメインに特化した言語モデル（ProcessBERT）を構築した. 化学プロセスに関する論文計 28 報を用いて, ProcessBERT と他の言語モデルの同義性判定の性能を比較した結果，ProcessBERTが他モデルを上回る性能を発揮した。

## 1 はじめに

化学や鉄鋼などのプロセス産業では，プロセスの設計や運転に物理モデルに基づくプロセスシミュレータが用いられている. しかし, 物理モデルの構築にはプロセスに関する深い理解と専門知識だけでなく, 精度向上のための試行錯誤的な取り組みが必要とされる. 本研究の最終目的は, 文献デー タベースから必要な文献を収集し，それらからモデル構築に必要な情報（数式，変数，実験データ） を抽出し，所望のモデルを構築するという工程を自動でおこなうシステム (Automated Physical Model Builder; AutoPMoB）を開発することである．著者らは, AutoPMoB の実現に向けて, 複数の要素技術の開発に取り組んでいる [1]. 本研究では, その内の一つである複数文献間における変数の同義性を判定する手法を開発する。

2018 年に Devlin らによって提案された BERT[2] は，様々な自然言語処理タスクにおいて当時最高の精度を達成した. 以降, 精度を維持しつつ大幅なパラメータ削減を実現した ALBERT[3] や，より大規模なコーパスを用いた学習をおこなうことで大幅な精度向上を達成した RoBERTa[4] など，様々な改良型モデルが提案されている。また，ある特定のドメインにおける自然言語処理タスクを解く場合， Wikipedia などの一般的なドメインのテキストを用いて構築された言語モデルよりも，その特定のドメインのテキストを用いて構築された言語モデルの方が優れた精度を達成できることが報告されている $[5,6,7,8]$.

本稿では，化学工学ドメインに特化した言語モデルである ProcessBERT を構築する。そして，言語モデルの埋め込みべクトルを用いる手法とファインチューニング済みモデルを用いる手法で同義性判定をおこない，ProcessBERT の性能を検証する。また， オリジナルの BERT と科学技術関連のテキストで学習した SciBERT[7] と性能を比較する。

## 2 ProcessBERT

## 2.1 コーパス

Elsevier 社が提供する Elsevier Research Product APIs[9] を用いて，化学工学に関連する 17 のジャー ナルから約 13 万報の論文を収集した. 使用したジャーナルとジャーナルごとの論文数を表 1 に示す. 収集した論文から論文の抄録と本文（図表を除く）にあたる部分のテキストを抽出して化学工学ドメインに特化したコーパス (ChemECorpus) を構築した. ChemECorpus にはタイトル，著者情報，キーワード，参考文献，付録は含まれない。 ChemECorpus の総単語数は約 7 億語 (4.0GB) である.

## 2.2 事前学習

事前学習済みの BERT $_{\mathrm{BASE}}[2]$ に対し, ChemECorpus を用いて以下の手順で追加の事前学習をおこなった。
表 1 ChemECorpus 構築に用いたジャーナルと論文数

1. バッチサイズを 64 とし，最大長が 128 のシーケンスを用い，2つの事前学習タスク (Masked Language Model, Next Sentence Prediction）を 900,000 ステップにわたり実行した.

2. バッチサイズを 8 とし，最大長が 512 の長いシーケンスを用い，1. と同じタスクを 100,000 ステップにわたり追加で実行した。

また，学習回数の違いによるモデルの性能差を検証するため，ステップ数のみを 2 倍にして事前学習をおこなったモデル (ProcessBERT double ）も構築した.計算には Google Cloud Platform[10] で利用できる 8 コアの TPU v3を使用した. ProcessBERT の事前学習には約 13 時間を要した。

事前学習には，Devlin らが Github 上で公開しているプログラム [11]（run_pretraining.py）を使用した. また，事前学習時に指定する語彙やハイパーパラメータは，BERT $\mathrm{BASE}_{\mathrm{BAS}}$ と同じものを使用した.

## 3 実験

## 3.1 データセット

晶析プロセス (Crystallization; CRYST), 連続槽型反応器 (Continuous Stirred Tank Reactor; CSTR), 多管式熱交換器（Shell and Tube Heat Exchanger; STHE）に関する論文をそれぞれ 11，10，7 報収集し，本文中から変数定義に相当する名詞句を抽出した. 次に，同一プロセスの異なる 2 つの論文間ですべての変数定義のペアを作成し，ペアごとに同義（1）もしくは非同義（0）のラベルを手動で付与した. プロセスごとの同義と非同義のペアの数を表 2 に示す. いずれのプロセスも，同義のペアの割合が小さい不均衡データであるため，以下のようにして各プロセスのトレーニング用およびテスト用のデータセットを作成した。

トレーニング用 3.2 .2 の検証における学習回数を一定にするため，データの総数が 2,500 になるように非同義のペアをランダムにサンプリングする.

テスト用同義のペアの数が全体の $10 \%$ になるように非同義のペアをランダムにサンプリングする.

表 2 各プロセスの論文数と同義および非同義のペア数

## 3.2 検証方法

ProcessBERT および ProcessBERT double の性能を検証するため， BERT BASE および SciBERT[7]を比較対象とし，以下の 2 通りの検証をおこなう。

## 3.2.1 変数定義の類似度による同義性判定

図 1 に示すように，モデルから得られる単語の埋め込みベクトルを使用して 2 つ変数定義の類似度を計算し，その同義性を判定する。

まず，2つの変数定義を表すべクトルを以下の手順で得る。

1. 変数定義にあたる名詞句をモデルに入力し， モデル内に 12 層ある Transformer Encoder から， ストップワード（冠詞，前置詞，等位接続詞など）に該当しない単語の埋め込みべクトルを抽出する. 抽出した単語の数を $n$ 個， $j$ 層目の Transformer Encoder から出力された $i$ 番目の単語の埋め込みベクトルを $v_{i, j}$ とする。 $(1 \leq i \leq n, 1 \leq j \leq 12)$

2. 変数定義を表すべクトル $\boldsymbol{d}$ を以下の式にしたがって計算する。

$
\boldsymbol{d}=\frac{1}{n} \sum_{i=1}^{n}\left(\frac{1}{12} \sum_{j=1}^{12} \boldsymbol{v}_{i, j}\right)
$

次に，得られた 2 つの変数定義を表すべクトルのコサイン類似度（変数定義の類似度）を算出する。この値が間値を超えた場合，2つの変数が同義であると判定する.

## 3.2.2ファインチューニング済みモデルによる同義性判定

3.1 のトレーニング用データセットのうち 2 プロセス分を用いてモデルのファインチューニングをおこなう。次に，得られたモデルを用いて残り 1 プロセスのテスト用データセットに対する性能を検証する.これを計 3 回おこない，すべてのプロセスで検証する.

なお，ファインチューニングには，Devlin らが提供するプログラム [11]（run_classifier.py）を使用する. 2 つの名詞句が同義であるか否かを分類するというタスクは， Microsoft Research Paraphrase Corpus（MRPC）[12]を用いたタスクとほぼ同様の内容であるため, run_classifier.py 実行時の引数 （TASK_NAME）には"MRPC"を指定する。

MRPC タスクにおける BERT モデルのファイン

図 1 変数定義の類似度による同義性判定

図 2 MRPC タスクにおける BERT モデルのファインチューニング時の処理 [2]

チューニング時の処理を図 2 に示す.まず，2つの変数定義の名詞句を [SEP] トークンで繋ぎ，先頭に [CLS] トークンを付加した単語列をモデルに入力する. その後, [CLS]トークンに対応する最終層の埋め达みべクトル $C\left(\in \mathbb{R}^{768}\right)$ と重み行列 $W\left(\in \mathbb{R}^{2 \times 768}\right)$ から，「同義」および「非同義」の2 クラスの予測値 $\operatorname{softmax}\left(C W^{T}\right)$ を計算する。「同義」のクラスの予測値が「非同義」のクラスの予測値より大きい場合， 2つの変数が同義であると判定する.

## 3.3 結果と考察

## 3.3.1 結果

変数定義の類似度による同義性判定の検証結果として，Youden's Index[13]を閾値とした時の F1 値を表 3 に示す. CRYST のデータセットに対しては，

SciBERT が最高値となったが，他の 2 プロセスおよび全プロセスをまとめたデータセット（All）に対しては, ProcessBERTが最高値を達成した.

ファインチューニング済みモデルによる同義性判定の検証結果として, F1 值を表 4 に示す. いずれのデータセットに対しても，ProcessBERT, ProcessBERT $_{\text {double }}$ ともに, 最高値が他モデルを下回った.

表 3 変数定義の類似度による同義性判定の検証における各モデルの $\mathrm{F} 1$ 值

表 4 ファインチューニング済みモデルによる同義性判定の検証における各モデルの F1 値

## 3.3.2 考察

事前学習用に構築した ChemECorpus のサイズ（7 億語）は，過去に提案された多くのドメイン特化 BERT モデルの事前学習に使われたコーパスと比較して小さい (SciBERT[7]: 32 億語，BioBERT[5]: 45 億語, PubMedBERT[8]: 31 億語). サイズの小さい ChemECorpus では, 化学工学ドメインにおける専門的な知識を十分に学習できていない可能性が考えられる. また, 先行研究 [8] では, 事前学習において一般的なドメインのコーパスで学習された $\mathrm{BERT}_{\mathrm{BASE}}$ を用いずに，一から事前学習をおこなうことで，より性能の高いモデルが得られるとされている.今後，十分なサイズのコーパスを構築し，一から事前学習をおこなうことでより高性能な言語モデルが得られる可能性がある.

ファインチューニング済みモデルによる同義性判定の検証において，CSTR のデータセットに対する $\mathrm{F} 1$ 值が，他の 2 プロセスの結果と比較して明確に小さくなっている．結果を精査したところ，この検証では 2 つの名詞句を構成する単語がほぼ同一であるペアのみを同義と判定する傾向があった. 同義であ
る2つの名詞句を構成する単語が大きく異なるペアが他プロセスと比較して多かったことが，CSTR のデータセットにおける性能が低下した原因であると考えられる。これについては，トレーニング用デー タとテスト用データの分割を各プロセスのデータセットごとにおこない，各プロセスにおける変数定義の表記摇れをモデルが学習することで対応できる可能性がある. その検証をおこなうには，現時点では正例のデータ数が不足しているため, 今後は正例のデータ数が十分に確保されたデータセットの構築を進める必要がある。

ら，学習回数を増やしても ProcessBERT の性能は向上しないことが分かった. この結果は, 先行研究 [6] の内容と符合するものである.

## 4 おわりに

本研究では, 複数文献間における変数の同義性判定に向けた一つのアプローチとして, 約 13 万報の化学工学関連の論文から構築された ChemECorpus を用いて ProcessBERTを構築した. BERT BASE と SciBERT を比較対象として，変数定義の類似度を用いる手法とファインチューニング済みモデルを用いる手法による 2 通りの検証をおこなったところ，前者の手法において，ProcessBERTを用いた場合の同義性判定が最高の精度を達成することが示された.

今後は，正例のデータ数が十分に確保されたデー タセットの構築を進めていく. また, 化学工学関連のテキストを追加で収集して ChemECorpusを拡張した上で, BERT $_{\mathrm{BASE}}$ から追加で学習するのではなく一から事前学習をおこなうことで, ProcessBERT の更なる改良を図る。

## 謝辞

本研究は JSPS 科研費 JP21K18849 および JST 次世代研究者挑戦的研究プログラム JPMJSP2110 の助成を受けたものです.

## 参考文献

[1] S. Kato and M. Kano. Identifier information based variable extraction method from scientific papers for automatic physical model building. PSE Asia Paper No. 210043, 2020.

[2] J. Devlin, M. Chang, K. Lee and K. Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 1, pp.4171-4186, 2019.

[3] Z. Lan, M. Chen, S. Goodman, K. Gimpel, P. Sharma and R. Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. arXiv preprint arXiv:1909.11942, 2019.

[4] Y. Liu, M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer and V. Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[5] J. Lee, W. Yoon, S. Kim, D. Kim, S. Kim, C.H. So and J. Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), pp.1234-1240, 2020.

[6] E. Alsentzer, J. Murphy, W. Boag, W.H. Weng, D. Jindi, T. Naumann and M. McDermott. Publicly Available Clinical BERT Embeddings. Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp.72-78, 2019.

[7] I. Beltagy, K. Lo and A. Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp.36153620, 2019.

[8] Y. Gu, R. Tinn, H. Cheng, M. Lucas, N. Usuyama, X. Liu, T. Naumann, J. Gao and H. Poon. DomainSpecific Language Model Pretraining for Biomedical Natural Language Processing. ACM Transactions on Computing for Healthcare, pp.1-23, 2021.

[9] Elsevier Developer Portal. https://dev. elsevier.com/. (Accessed on 2022/1/12).

[10] Cloud Computing Services | Google Cloud. https: //cloud. google.com/. (Accessed on 2022/1/12).

[11] GitHub-google-research/bert: TensorFlow code and pre-trained models for BERT. https:// github.com/google-research/bert. (Accessed on 2022/1/12).

[12] W.B. Dolan and C. Brockett. Automatically constructing a corpus of sentential paraphrases. In Proceedings of the Third International Workshop on Paraphrasing (IWP2005), 2005.

[13] W.J. Youden. Index for rating diagnostic tests. Cancer, 3(1), pp. 32-35, 1950.


# 被引用論文の表現も利用した引用文生成

有田朗人 ${ }^{1}$ 杉山 弘晃 ${ }^{2}$ 堂坂浩二 ${ }^{3}$ 田中陸斗 ${ }^{3}$ 平博順 ${ }^{1}$
${ }^{1}$ 大阪工業大学大学院 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 秋田県立大学
m21a02@oit.ac.jp h.sugi@ieee.org
\{dohsaka,B20P025\}@akita-pu.ac.jp

## 概要

本研究では，論文執筆者支援に必要な技術の一つとして引用文自動生成の精度向上に取り組んだ。高精度な引用文生成のためには, 引用元と引用先の論文の関係性，引用する際の文脈といった情報や，引用文生成時の適切な文の表現パターンの学習が必要である.しかし，深層学習を利用した引用文生成では，学習時の入力データサイズの制限から引用文直前の 1 文を利用したり，論文のアブストラクトが利用されることが多かった. そのため，本研究では，引用文と類似した被引用論文中の文も引用文生成の学習に使用することで，入力データ量を抑えつつ，高精度な引用文生成モデルの学習を試みた。

## 1 はじめに

出版される科学技術論文数は増加の一途を辿っている. 近年, $\operatorname{arXiv}[1]$ を始めとするプレプリントサーバの利用も進み，論文執筆時に引用すべき文献の量が一段と増加している. しかし, 1 人の研究者が論文調査にかける時間は限られるため, 論文執筆時に，引用すべき論文が抜け落ちてしまう危険が，年々増加している可能性がある. 我々は，これまで論文執筆支援の枠組みについて考察し，論文支援に必要な技術がいくつかのフェーズに分かれることを明らかにしている [2]. 本研究ではそのフェーズの一つである引用文生成技術について取り上げる.

引用文生成技術は，それまでの文脈を与える論文テキストと引用先論文のテキストを入力とし, 文脈にあった適切な引用文を自動生成する技術である. 従来, 深層学習を用いた引用文生成手法がいくつか提案されている. 例えば， Xing らは, sequence to sequence モデルの一種である, Pointer-Generator Networks [3] を利用した手法 [4] を提案している. Pointer-Generator Networks は, デコーダ部分で新たに単語を生成するだけでなく，学習に使用される引用元テキスト中の未知語も利用することで引用文生成精度を向上させようとしている.

また，Jia-Yan らは，引用文中で複数の論文を引用する場合にも対応するため，複数箇所の入力情報をコンパクトに扱うことができる Fusion-in-Decoder [5] を利用している．さらに，引用文生成精度を高めるため，論文引用の際の「引用意図」を自動判定し，引用意図カテゴリ [6] も学習・識別の入力とすることで引用文生成を試みている [7].

高精度な引用文生成のためには，引用元と引用先の論文の関係性，引用する際の文脈といった情報や，引用文生成時の適切な文の表現パターンの学習が必要である．しかし，深層学習を利用した引用文生成では，学習時に入力される1データに対する情報は，それほど大規模なものは使用できないため，従来の研究では, 引用の文脈情報として, 引用文直前の 1 文を利用したり，論文のアブストラクトが利用されることが多かった. また，被引用論文の情報としても，被引用論文の本文全てを利用することは困難で，被引用論文のアブストラクトが利用されることが多かった.

しかし，論文のアブストラクトを学習の入力とした場合，引用文で実際に使用される具体的な表現が情報として含まれにくく，高精度な引用文生成が実現しにくいと考えられる。 そのため, 本研究では,引用文と類似した被引用論文中の文も引用文生成の学習に使用することで，入力データ量を抑えつつ，高精度な引用文生成モデルの学習を試みた。

## 2 提案手法

本研究では，従来の複数論文を引用する場合にも対応した引用文生成モデル [7] をべースとし，より高精度な引用文生成が実現するため, 被引用論文中の文の表現も引用文生成モデルの学習に使用する.本研究の提案手法の概要を図 1 に示す.

提案手法では，引用文の直前の文，引用意図カテ

図 1 提案手法

図 2 本研究で扱う用語について

ゴリ，被引用論文中の，引用文に文類似度が近い文集合を入力とし，正解の引用文を生成させるような学習を Fusion-in-Decoder [5] を用いて行う。

Jia-Yan らの手法 [7] では, 被引用論文の情報として，被引用論文のアブストラクトが用いられていたのに比べ，提案手法では，被引用論文中の文の情報も学習することで，引用文の文の表現がより的確なものになることが期待される.

なお，本研究で使用する「引用文 $\rfloor$, 「引用論文概要」等の用語の関係を図 2 に示す。

## 3 評価実験

## 3.1 評価用データ

評価用データには, Xing らが作成した citation generation データセット [4]を用いた. このデータセットは, ACL Anthology Network(AAN) コーパス [8]中の 1000 件の論文の引用文に対し, 引用文献情報
と引用文正解をアノテーションしたデータセットである. 1000 件の論文のうち， 600 件が訓練データ， 400 件がテストデータである.

ただし，我々が確認したところ，一部のテストデータが訓練データに含まれていることが確認されたため，本研究では，重複した 103 件のデータを訓練データから除外して実験を行った。

## 3.2 実験設定

引用直前文は，引用文直前の 2 文を使用した.

被引用論文の文については，被引用論文の概要を除く論文本文全体のテキストから引用文に類似性の高い文を抽出して使用した. SentenceBERT[9]を用いて得られた文べクトルについて，引用文とコサイン類似度で類似度 0.6 以上の上位 6 文を使用した。類似度 0.6 以上の文が 6 文ない場合は，類似度上位 3 文を学習時に使用した. テスト時は，引用文直前文と類似度の高い上位 6 文を入力に使用した。これらの類似文は，学習時，テスト時ともに文を連結して大力とした.

引用意図カテゴリは，生成する引用文の傾向を引用意図カテゴリで狭めることで，より意図する知識が抽出されること, 引用意図カテゴリごとにおける特徴的な単語がより多く生成され，精度が上がるのではないかと考え利用した．め，あらかじめ引用文に対して Cohan らの引用意図推測モデル [6] を利用し, 引用意図カテゴリを擬似的に付与したものを用いた.

実験では，学習，識別モデルとして Fusion-inDecoder [5] を用い, 引用文生成モデルの事前学習済みモデルに，T5[10]を用いた。

## 3.3 実験結果

実験結果を表 1 に示す.まず，被引用論文の概要と本文どちらが精度に貢献しているかを検証するため，引用側の情報を引用論文概要にして，被引用論文の情報をアブストラクト，論文本文の類似文に変更した場合の実験を行った. ROUGE-1 の評価で 0.15 ポイントとわずかに，被引用論文の内容を入力した時が高かった. しかし, ROUGE-2, ROUGE-L の評価ではそれぞれ 0.06 ポイント， 1.1 ポイント低い結果となった.

このことから，被引用文の内容と被引用論文の概要にはほとんど違いがない，もしくは，引用論文の概要と被引用論文の概要, 引用論文の概要と被引用
表 1 実験結果

図 3 提案手法による引用文生成の例

引用文直前文 (入力):

Such an extraction-based definition of summarization has also been quite common in most existing general summarization work \#OTHEREFR. By definition in order to generate an impact summary of a paper, we must look at how other papers cite the paper, use this information to infer the impact of the paper, and select sentences from the original paper that can reflect the inferred impact.

被引用論文中の類似文 (入力):

We believe that similar improvements can be achieved on other discourse annotation tasks in the scientific literature domain. For such information access and retrieval purposes, the relevance of a citation within a paper is often crucialin particular,we plan to investigate the use of scientific attribution information for the citation function classification task. To demonstrate the use of automatic scientific attribution classification, we studied its util- ity for one well known discourse annotation taskIn bibli- ographic information retrieval, anchor text, i.e., the context of a citation can be used to charac- terise (index) the cited paper using terms out- side of that paperIn particular, we plan to investigate the use of scientific at- tribution information for the citation function classification task.

引用文 (正解):

This is because in citations, the discussion of the paper cited is usually mixed with the content of the paper citing it, and sometimes also with discussion about other papers cited \#REFR.

提案手法による引用文生成の結果:

This paper, use the citation-based approach of \#REFR to select sentences from the original paper that reflect the impact of the paper.

論文の内容それぞれの関係においては大きく違いがないということが考えられる。

次に, 引用論文の直前文を固定し, 被引用論文の概要と内容どちらが精度に貢献しているかを検証した. ROUGE-1, ROUGE-2, ROUGE-L スコアは, 本文を使用した方がそれぞれ 2.64 ポイント， 1.29 ポイント， 2.41 ポイントとすべて向上する結果となった.この結果から，引用文の内容を取り入れることで精度が上がるのではないかと考えられる．ただし, 引用文の本文の情報が加わったから精度が上がったのではなく, 引用文直前文がセットで入力されがことで精度が向上してのではないかと考えている.

図 3 に本提案手法による引用文生成の結果の例を示す. 引用文直前文をキーとし検索をかけたことで，今回の例においては"citation","paper"という共通キーワードが入力データにおいて複数回登場していることから，重要な単語としての引用文の生成で利用されやすくなったことが要因で, 精度が向上したと考えられる。

## 4 おわりに

本研究では，引用論文の引用文直前文と，被引用論文の内容から引用論文の引用文の直前文と類似している文を新たに学習データに含め，組み合わせることで，引用文生成の精度向上を実現した．今後は，ROUGE 以外の人手等の評価，より大規模な引用文データセットによる評価なども行っていきたいと考えている.

## 謝辞

本研究の遂行にあたり，ご助言・ご協力をいただきました，NTTコミュニケーション科学基礎研究所成松宏美氏，電気通信大学南泰浩教授，工学院大学大和淳司教授，名古屋大学東中竜一郎教授，農研機構菊井玄一郎チーム長に感謝いたします。

## 参考文献

[1] Gerry McKiernan. arxiv.org: the los alamos national laboratory e-print server. International Journal on Grey Literature, Vol. 1, pp. 127-138, 2000.

[2] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientific-
document writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, Online, June 2021. Association for Computational Linguistics.

[3] A. See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In ACL, 2017.

[4] Xinyu Xing, Xiaosheng Fan, and Xiaojun Wan. Automatic generation of citation texts in scholarly papers: A pilot study. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 61816190, Online, July 2020. Association for Computational Linguistics.

[5] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In EACL, 2021.

[6] Arman Cohan, Waleed Ammar, Madeleine van Zuylen, and Field Cady. Structural scaffolds for citation intent classification in scientific publications. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3586-3596, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Jia-Yan Wu, Alexander Te-Wei Shieh, Shih Ju Hsu, and Yun-Nung Chen. Towards generating citation sentences for multiple references with intent control. ArXiv, Vol. abs/2112.01332, , 2021.

[8] Dragomir R. Radev, Pradeep Muthukrishnan, Vahed Qazvinian, and Amjad Abu-Jbara. The acl anthology network corpus. Language Resources and Evaluation, pp. 1-26, 2013.

[9] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. ArXiv, Vol. abs/1908.10084, , 2019.

[10] Colin Raffel, Noam M. Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. ArXiv, Vol. abs/1910.10683, , 2020.


# 引用要否判定タスクにおける モデルの性能評価とデータの妥当性分析

小山康平 1 小林恵大 ${ }^{1}$ 成松宏美 ${ }^{2}$ 南泰浩 ${ }^{1}$
1 電気通信大学 ${ }^{2} N T T$ コミュニケーション科学基礎研究所
k2131071@edu.cc.uec.ac.jp k1810249@edu.cc.uec.ac.jp
hiromi.narimatsu.eg@hco.ntt.co.jp minami.yasuhiro@is.uec.ac.jp

## 概要

学術論文の執筆および査読支援を目的として，引用の不足や余分な引用を自動で検出する引用要否判定タスクを課題とした研究が行われている. 引用要否判定は主に，公開された学術論文の引用情報を正解として，その引用情報を自動的に削除することで構築した文がタスクの評価に用いられる。しかしながら，そのように構築されたデータセットは，執筆中の原稿において引用要否を判定する場合よりも，簡単なタスクになっていることが懸念される．例えば，引用があることが前提の記述パタンや引用情報を除いたことにより不完全な文になるなどである。 そこで，本研究では，実用環境におけるモデルの性能を正しく評価することを目的として，タスク評価用データの妥当性分析を行なった. 結果として，自動で構築した引用要否判定タスクの評価用データセットは明確な特徴を持つものも多く含まれていることがわかった。

## 1 はじめに

公開される学術論文の数は年々増加しており [1]研究者はこれまで以上に早いスピードで論文化し公開することが求められている。一方，研究者が学術論文を執筆する際には，多数の関連研究を読み，一文一文に気を配りながら適切に引用することも求められており, 研究者の負担は増している. 論文執筆に慣れた研究者であれば，それらの作業を効率よく行うことができるが，そうでない場合には，執筆に関わる負担は大きい。また執筆した論文をチェックする共著者や査読者への負担の影響も大きい.

こうした背景から，論文執筆支援に関わる様々な研究が行われている。具体的には，既に検索済みの論文の閲読時間削減を目的とした論文要約 $[2,3,4]$
や，未検索の論文の効率的な検索を目的とした参考文献推薦 [5]，論文執筆の効率化を目的とした引用要否判定 [6,7]，被引用文献割り当て [8]，引用文生成 $[9,10]$ などである．本研究では，論文チェックにおいて最初に必要となる引用要否判定に着目し，そのタスクの判定精度向上を目指す。

引用要否判定タスクとは，論文中の任意のある文に対して引用が必要か必要でないかを推論するタスクである. 基本的には根拠が必要な文が引用の必要な文であるため，既存研究の多くは入力された一文に対して引用の要否を判定するタスクを扱ってきた [11]. その精度は9 割程度と非常に高い. 一方, Amjad らは引用の前後の文脈によって， criticizing, basis，comparison などの引用の目的を推定するタスクの精度が変わることを指摘している [12]. 引用要否判定タスクも前後の文脈の入力により，さらなる精度の向上が期待できる.

しかしながら，支援システムを目的とするとき，真にこれらの精度が得られているかは注意深く分析する必要がある．具体的には，引用要否判定タスクが，引用箇所をそのまま取り除いているために，不完全な文かどうかや，引用をする際の明らかなパタンが，判定精度を高めている可能性が示唆される。 そこで本稿では，引用要否判定を正しく評価し，その判定精度を向上させることを目的として，現在の引用要否判定タスクのデータの妥当性分析を行う.実際には，成松らが，論文執筆支援システムの構築を目的として公開したデータセット [13]を用いて， その性能を評価し，正解・不正解となるデータのパタンから，性能の妥当性を検証する。

## 2 関連研究

引用論文推薦の前段階として，引用の要否を判定する研究が行われている [11,14]. 引用要否判定

タスクとは，論文中の各文に対して，引用が必要かどうかを当てるタスクである. 初期の研究では， サポートベクターマシン (SVM) や決定木を使ったモデルで判定器を学習する方法が提案されてきた $[15,16]$. 彼らは，ACLをはじめとする論文デー タベースから構築したデータセットを用いて評価を行なっていた. 近年では, 公開される論文数の増加に伴い，より大規模な論文データベースからデー タを作成できるようになった. ARC [17]などは特に幅広く使われている大規模データセットである. これによりデータ量が必要な深層学習をべースとする手法も提案されてきている [18]. Bonab らは, Word2Vec による単語の分散表現を入力とし, CNN を用いた引用要否判定モデルを提案している [19]. また，Färber らは，Glove による単語分散表現を入力とし, RNN と CNNを組み合わせて引用要否を判定するモデルを提案している [11]. 従来の SVM や決定木を用いる手法と比較し, 高い精度が得られている. さらに，さまざまな自然言語処理のタスクで高い性能を発揮している大規模汎用言語モデルの一つである BERT [20]を用いた研究もある．堂坂らは，BERTを引用要否判定タスクの少量のデータで転移学習することで, Bonab らが公開した Citation Worthiness データセット [19]にて, CNNをベースとする手法よりも高い精度が得られ，F 値で 0.7 に到達することを示している. 成松らは, arXiv の論文を対象にデータセットを構築し, BERTで評価をした結果, $\mathrm{F}$ 値で 0.9 を達成しており, 高い精度で要否の判定が可能であることを示している [13].

しかしながら，いずれの研究においても，そのデータの妥当性については検証されていない. 実際に執筆支援システムとして引用要否判定を用いるには，実用時に近いデータでの性能評価が求められるが，自動で構築したデータには，不完全な文や引用があることを示唆する文字列など，モデルが判定しやすい特徴を含むことが懸念される。そこで，本研究では，統合的な執筆支援システムの実現を目的として構築されたデータセット $[21,13]$ からタスク用データを構築し，大規模汎用言語モデルを用いてその性能を評価するとともに，より実用に近い環境で評価できるタスクデータ設計の指針について議論する.表 1 入力テキストとラベルの例 (引用要の場合)

表 2 引用要否判定データ量

## 3 データセットの構築

文脈の要否による性能の違いも評価するために，統合的な執筆支援を目的として構築されたデータセット [13]をもとに，引用要否判定タスク用のデー タを構築した. 基本的な構築方法は, 過去に著者らが引用文と被引用文のぺア適正を判定するために構築したデータセット [22] と同様である.

Tex のソースが公開されている論文を AxCell [23] のリストから選択し，Tex のファイルに対して以下の手順で加工して構築する。

1. section\{\}タグの情報を用いて関連研究の章の本文を抽出

2. Tex 記号をもとに図表や注釈を本文から除去

3. nltkライブラリでテキストを文単位に分割

5. 引用を含んでいた文を引用要，そうでない文を不要に分類

なお，文脈の有無による精度比較も可能とするため, 判定対象の文の前後もコンテキストとわかる様にデータセットに含めた. 今回作成したデータの量は表 2 となった。

## 4 性能評価

## 4.1 実験設定

引用が必要か不要かの 2 値分類の性能を，3つの大規模汎用言語モデルを用いて評価する。汎用言語モデルとして最初に成功を納めた BERT [20] と，事前学習でより長い文が学習されている RoBERTa [24] に加えて，科学論文の文章を対象に BERTを事前学習した SciBERT [25]を用いる. いずれの手法においても，公開されている事前学習済みのモデルに対して, SentenceClassification の形式で転移学習した.
表 3 引用要否判定タスクの結果

また，引用要否判定の学習に文脈情報が効果的であるかを確かめるために，推論対象の直前の一文・直後の一文をそれぞれ入力に追加し学習をすることで精度を比較する。これらの追加の文脈は，対象の文とセパレータ記号でつなげて入力とする.

## 4.2 実験結果

結果を表 3 に示す. 手法や文脈の有無によらず， 0.9 に近い精度が得られている. モデルとしては,前後の文の入力によらず RoBERTa が最も高い精度を示した。転移学習に用いたデータサイズは手法間で同じであるため，事前学習の効果が大きいと考えられる。

## 5 データの妥当性分析

引用要否判定タスクの精度は，0.9 に近く，システムの性能としては十分に見える。しかしながら，自動で構築したデータには，不完全な文や引用があることを示唆する文字列などモデルが判定しやすい特徴を含んでいる可能性が考えられる。 そこで，(1)引用記号を含む文に特有の単語 N-gram の出現パタンがないかの調査，(2) 正例・負例内の不完全な文の数および不完全な文を除いた時の性能の評価，の 2 点を行う。

## 5.1 正例・負例に特有の文字列調査

モデルが，正例（引用を含む文）・負例（引用を含まない文）の文中に表れる特有のパタンを特徴量として分類をしている可能性がないかを調べる。その目的は，実用において入力されるデータと，タスク評価用データで人工的に作成した入力データとの違いとそれによる影響の調査である。例えば，今回用いたデータには “According to a method to 〜” というような引用があることを明示している文も判定対象に含まれる。しかしながら，実用のシーンで
は，“According to 〜”の部分は入力されることはなく，後半の文節のみが入力されると考えられる。 そこで，このような引用の要が明示的な文に表れる文字列の特徵やそれによる影響を調べる。具体的には，正例，負例ごとに 1-gram，2-gram の出現頻度を調査し，片方のみに突出して表れる語については，明示的なパタンであるとする.

特に出現率が高い 1-gram と 2-gram をプロットした図を (図 1,2 ) に示す。横軸は引用を含む文における出現率，縦軸は引用を含まない文における出現率，を表している。引用を含む文に現れる傾向が強い “For example” などは直後に他者の論文に対する言及が予想されるため，引用が含まれる文であることが明確な文となっている可能性が示唆される.一方，引用が含まれない文では “our work” や"this paper”などのパタンが出現する傾向が強い. 実際に，自分の研究に対する意見を述べる場合に，“our work”を含むことが多く，このような文では引用が不要であることが多い，以上のことから，評価用データには，実用時よりも簡易に判定可能なデータになっている可能性が高いことがわかる．したがって，実用時の判定対象に含まれていないことが想定される文字列のパタンについては，評価用データセットから削除することが必要と考えられる。

## 5.2 不完全な文の調査

引用のスタイルはさまざまで, “According to Devlin et al. 〜 [1]” と書く場合もあれば， “According to [1],〜”のように引用記号を名詞の代わりに使用する場合もある。そのため，引用箇所を取り除くことで，入力される文が不完全になる可能性もある. そこで，不完全な文が推論に与える影響を調査するために，名詞の欠落を判定する推論モデルである非文判定器を作成する. 非文判定器は BERT の事前学習済みモデルを転移学習することで作成する。学習デー タには， $\operatorname{arXiv} の$ APIを使用して取得した 30,846 件の論文のアブストラクトを使用する。これらのアブストラクトを文単位に分割し，そのままの文を正例，名詞となる単語をランダムに消去した文を負例とする。学習した非文判定器 (精度は表 4 に記載) で引用要否判定のテストデータを完全な文・不完全な文に分類し，それぞれの文を用いて引用要否判定夕スクの精度を算出する。

非文判定器によって分類された完全な文と不完全な文ごとの引用要否判定タスクの結果を表 5 に示

図11-gram の出現率

表 4 非文判定器の性能

す. 不完全な文と判定された文の Recall と F 值が完全な文を大きく上回る結果となった. これは，名詞の欠落をヒントにモデルが引用要否判定を行っていることを示唆している.

## 6 考察と今後の展望

本稿では，論文中のある文に対して引用が必要か必要でないかを推論するタスクである引用要否判定タスクを行った. モデルの種類や入力文脈などの条件を変えて精度を比較したところ, RoBERTaが最も良い精度を示し, 入力文脈が長いほうが精度の高いモデルを作成できた.このことから, 適切な事前学習と引用前後の文脈情報は引用要否判定タスクに対して効果的であると考えられる. 入力する文脈長を調整し，適切な入力の形式を調査することが今後の課題である.

データセットを実用時の条件に近づけるために，妥当性分析を行った. 引用が含まれていることが明示的な文はデータセットに適さないため, どのような明示的な引用のパタンが存在するかを N-gram を用いて調査した. 結果, 複数の明示的引用を伴いゃすいパタンが，引用を含む文では出現率が高いことを確認した. これらのパタンで，明示的な引用文を簡単に発見できる可能性がある. 引用の消去による名詞の欠落がモデルの推論に影響を与えるかを確か

図 2 2-gram の出現率

表 5 非文判定後のデータを用いた引用要否判定の結果

めるために，非文判定機を用いてテストデータを完全な文と不完全な文に分けて，引用要否判定タスクを行った. 不完全な文であると推論された文の要否判定の精度が高かったことから，不完全な文は推論に影響を与えることが示唆される. 引用要否判定タスクを実用に近い条件にするためにも，不完全な文や明示的な引用文をデータセットから見つけ出す必要がある. 今後は，より実用を考慮したタスク設計を行い，論文執筆者支援を続けたい。

## 謝辞

研究の遂行にあたり，ご助言をいただきました，秋田県立大学堂坂浩二教授, NTT コミュニケーショ之科学基礎研究所杉山弘晃氏，東中竜一郎氏，大阪工業大学平博順教授, 工学院大学大和淳司教授, 農研機構菊井玄一郎チーム長に感謝いたします。

## 参考文献

[1] 桑原真人. 各国の論文数の推移から見えるもの. 日本物理学会誌, Vol. 72, No. 4, pp. 246-251, 2017.

[2] Simone Teufel and Marc Moens. Articles summarizing scientific articles: Experiments with relevance and rhetorical status. Computational Linguistics, Vol. 28, No. 4, pp. 409-445, 2002.

[3] Michihiro Yasunaga, Jungo Kasai, Rui Zhang, Alexander Fabbri, Irene Li, Dan Friedman, and Dragomir Radev.

ScisummNet: A large annotated corpus and contentimpact models for scientific paper summarization with citation networks. In Proceedings of AAAI 2019, 2019.

[4] Chenxin An, Ming Zhong, Yiran Chen, Danqing Wang, Xipeng Qiu, and Xuanjing Huang. Enhancing scientific papers summarization with citation graph. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 14, pp. 12498-12506, May 2021.

[5] Xiaomei Bai, Mengyang Wang, Ivan Lee, Zhuo Yang, Xiangjie Kong, and Feng Xia. Scientific paper recommendation: A survey. IEEE Access, Vol. 7, pp. 9324-9339, 2019.

[6] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[7] Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, and Haimin Zhang. On the use of context for predicting citation worthiness of sentences in scholarly articles. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4539-4545, Online, June 2021. Association for Computational Linguistics.

[8] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, , 122020.

[9] Xinyu Xing, Xiaosheng Fan, and Xiaojun Wan. Automatic generation of citation texts in scholarly papers: A pilot study. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 61816190, Online, July 2020. Association for Computational Linguistics.

[10] Qingqin Wang, Yun Xiong, Yao Zhang, Jiawei Zhang, and Yangyong Zhu. Autocite: Multi-modal representation fusion for contextual citation generation. In Proceedings of the 14th ACM International Conference on Web Search and Data Mining, WSDM '21, p. 788-796, New York, NY, USA, 2021. Association for Computing Machinery.

[11] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[12] Amjad Abu-Jbara, Jefferson Ezra, and Dragomir Radev. Purpose and polarity of citation: Towards NLP-based bibliometrics. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 596-606, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[13] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientificdocument writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-
26, 2021.

[14] Hamed Bonab, Hamed Zamani, Erik Learned-Miller, and James Allan. Citation worthiness of sentences in scientific reports. 072018.

[15] Kazunari Sugiyama, Tarun Kumar, Min-Yen Kan, and Ramesh C Tripathi. Identifying citing sentences in research papers using supervised learning. In 2010 International Conference on Information Retrieval \& Knowledge Management (CAMP), pp. 67-72. IEEE, 2010.

[16] Qi He, Daniel Kifer, Jian Pei, Prasenjit Mitra, and C Lee Giles. Citation recommendation without author supervision. In Proceedings of the fourth $\mathrm{ACM}$ international conference on Web search and data mining, pp. 755764, 2011.

[17] Steven Bird, Robert Dale, Bonnie Dorr, Bryan Gibson, Mark Joseph, Min-Yen Kan, Dongwon Lee, Brett Powley, Dragomir Radev, and Yee Fan Tan. The ACL Anthology reference corpus: A reference dataset for bibliographic research in computational linguistics. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[18] Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, and Haimin Zhang. On the use of context for predicting citation worthiness of sentences in scholarly articles. CoRR, Vol. abs/2104.08962, , 2021.

[19] Hamed Bonab, Hamed Zamani, Erik Learned-Miller, and James Allan. Citation worthiness of sentences in scientific reports. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, pp. 1061-1064, 2018.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[21] 成松宏美, 小山康平, 堂坂浩二, 田盛大, 東中竜一郎,南泰浩悟, 平博順. 学術論文における関連研究の執筆支援のためのタスク設計およびデータ構築. 言語処理学会第 27 回年次大会発表論文集, pp. C6-4, 2021.

[22] 小山康平, 南泰浩, 成松宏美, 堂坂浩二, 田盛大悟, 東中竜一郎, 平博順. 学術論文における関連研究の執筆支援のための被引用論文の推定. 言語処理学会第 26 回年次大会, 2021.

[23] Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. Axcell: Automatic extraction of results from machine learning papers. arXiv preprint arXiv:2004.14356, 2020.

[24] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[25] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.


# 参考文献分類タスクのデータセット整備とクラスタリングを用いた 分類手法の検討

細川諒真 ${ }^{1}$ 大和淳司 ${ }^{1}$ 東中竜一郎 ${ }^{2}$
${ }^{1}$ 工学院大学 情報学部
2 日本電信電話株式会社
}

j318244@ns. kogakuin. ac.jp, jy@acm. org

ryuichiro. higashinaka. tp@hco.ntt.co.jp
## 概要

科学論文執筆支援を目的として，関連研究をまとまりに分ける手法に取り組んでいる。本研究では，論文の参考文献とパラグラフが対応したデータセットを作成し BERT, BioBERT, SciBERT の各言語モデルを利用して参考文献のクラスタリングを行った。論文のデータセットはオンライン論文アーカイブである PMC から取得した論文を使用して作成した.各 BERT モデルで参考文献の Embedding を行いクラスタリングを行った場合のクラスタリング精度は BioBERT が BERT よりも優位であったが, 2,200 論文分の参考文献のペアのクラスタ異同を学習させると BERT による手法の精度は向上し, モデル間のクラスタリング精度差は減少することを示した。

## 1 はじめに

近年，科学論文の数は急激に増加しており，科学論文執筆の補助を行うことについての研究も盛んに行われている. 成松らの論文では，科学論文執筆支援におけるタスクを定義しており，それぞれの段階で必要なタスクについてまとめられている[1]. 本研究では, 成松らの定義した引用文献分類タスクに取り組む。このタスクは，論文で引用している文献リストを対象に，これらをカテゴリ別に分類するタスクである。これは, 論文執筆支援において, 論文の参考文献群が与えられたときに, それぞれの文献を適切なクラスタに分類し, 関連研究のセクションを書きやすくすることを目的とするタスクである. 本稿では，このタスクの精度向上のために，参考文献のクラスタリングを行うためのデータセットの作成と, データセットを用いてクラスタリング実験を行う。

## 2 提案手法

本研究では，実際の論文データを収集し，その論文の関連研究のパラグラフのそれぞれで引用されている参考文献を列挙することで，参考文献のクラスタの正解データを作成する。また, 参考文献群の論文番号と Abstract をベクトル化したデータとの対応したデータセットを作成する。参考文献群の Abstract のデータをもとにクラスタリングを行い，実際の論文のパラグラフと生成したクラスタとの精度を評価する。本研究では自然言語処理モデルとしてBERT とそれを利用した SciBERT, BioBERT の 3 種類を使用し，文書のベクトル化を行う BERT は， 2018 年に開発された大規模なデータを用いる双方向 Transformer による事前学習モデルである[2]. SciBERT は, Semantic Scholar の科学論文を 114 万件用いて学習を行った BERT モデルである[3]. BioBERT は，オリジナルの BERT と同じ英語版の Wikipedia, BookCorpus, に加えて PubMed に掲載されている論文のアブストラクトから取得した 45 億単語と PMC の論文から取得した 135 億単語を用いて学習を行ったモデルである[4]. 本研究では， PubMed の論文で 100 万ステップ学習した BioBERTv1.1 を利用する。学習に利用しているデー タが SciBERT とは異なり, BioBERT は，より生物医学領域に特化している。

## 3 実験手順

## 3. 1 データセット作成

本研究では, 論文のデータセットとして医学分野のオンライン論文アーカイブである PMC から論文

データを取得した. 対象とする論文は, 著者らが進めている関連テーマの研究領域をモデルケースとした. 具体的には, PMC から Artificial Intelligence, Deep Learning, Image Recognition に関する論文の $x m l$ データを 194,787 件取得した. 取得したデータの中から article-type が research-article であり， Background のセクションで始まる論文を 12,178 件抽出した. PMC の論文では, article-type が case-report となっている症例報告が多数あるためこのような絞り込みを行った。また，抽出した論文に参考文献として登録されている論文の Abstract を PubMed から 122,555 件取得した. 12,178 件の論文デー夕に対して,コンピュータ科学分野における関連研究のセクションに対応していると考えた Background のパラグラフごとに対応した参考文献群のデータを作成した. 作成したパラグラフと参考文献群の対応データの内，参考文献の登録されているパラグラフが 2 件以上であり，参考文献の Abstract が PubMed から取得できていない参考文献が 2 件以下であり, 取得できない参考文献によりパラグラフに対応した参考文献が 0 件になることのないデータを 2,752 件作成した. 参考文献数の平均は 15 件であり, PubMed から取得できていない参考文献が 2 件までならば妥当なクラスタリングができると判断した.

また, 参考文献群の 122,555 件の Abstract に対して BERT, SciBERT, BioBERT を使用して文書の Embedding を行いそれぞれ 768 次元のベクトルに変換したデータセットを作成した.

表 1 参考文献群データの例

表 1 に作成したパラグラフと対応した参考文献群デ一夕の例を示す.

## 3. 2 手法

本研究では, 実験を 3 つ実施した,一つ目は, 参考文献の Abstract のベクトルと用いた手法である. 二つ目は，BertForSequenceClassification を利用して BERT モデルに参考文献 2 つが同じクラスタに所属しているか学習させる方法である. 三つ目は, 参考文献の Abstract ベクトル 2 つに元論文の Abstract ベクトルを連結し多層パーセプトロンに学習させる方法である.

## 3.2.1 Abstract のベクトルを用いた手法

実験 1 では, 3.1 節で作成した論文データセットに対して，クラスタ数を与えて k-means 法を利用して参考文献の Abstract のベクトルを用いてクラスタリングを行う.クラスタリング精度の評価として, 佐藤らの論文[5]でも用いられていた Purityを用いる. Purity の定義式は, $\mathrm{N}$ をクラスタリングの要素数, $\left.\{C_{i}\right.\}$ は生成した各クラスタ, $\left.\{A_{j}\right.\}$ は正解のクラスタとすると以下の式で定義される.

$
\begin{gathered}
\text { Purity }=\sum_{i} \frac{\left|C_{i}\right|}{N} \max _{j} \operatorname{Precision}\left(C_{i}, A_{j}\right) \\
\operatorname{Precision}(C, A)=\frac{|C \cap A|}{|C|}
\end{gathered}
$

本実験では, Abstract のベクトルとして 3.1 節で作成した BERT, BioBERT, SciBERT の 3 種類のベクトルをそれぞれ利用してクラスタリングを行う．比較用に参考文献のクラスタを要素 0 のクラスタが発生しないようにランダムに割り振った Random のクラスタリングを行う. 実験 1 では, データセット全てに対する 2,752 論文のクラスタリングと実験 2,3 と同じテストデータの 276 論文のクラスタリングを行う.

## 3. 2. 2 参考文献間の距離を用いた手法

実験 2 では, BertForSequenceClassificationを利用して, 3 種類の BERT モデルに論文の参考文献 2 つの Abstract とその 2 つの参考文献が同じクラスタに所属しているかどうかを表すラベルとの関係を学習させた. このラベルは 1 ならば同じクラスタに所属していることを表し, 0 ならば同じクラスタに所属していないことを表す. 本実験では, 2,752 件の論文の内 2200 論文から作成した参考文献のペア 360,834 件を学習データ, 276 論文から作成した参考文献のペア 46,570 件をテストデータ, 276 論文から作成した 45,754 件を検証データとした. 学習データの内 $38 \%$ にな 138,083 件がラベル 1 であり, 残りの

図 1 実験 1 の 2752 論文に対するクラスタリング精度の評価

図 3 実験 2 のクラスタリング精度の評価 62\%がラベル 0 であり若干の偏りが見られるため, クラスの重みを付け学習させた. 学習後の BERT モデルに対して，テストデータの論文の参考文献を 2 つ入力することでラベルの予測に使用する logit0, logit1 の値を取得する. logit0 と logit1 の值の高いほうがラベルの值の予測結果となる. logit0 と logit1 の值にソフトマックス関数を適用することで正規化した logit0の値を参考文献間の距離とした. この参考文献間の距離値を用いて, k-means 法と階層的クラスタリングを行う. Purityを用いてクラスタリング精度の評価をする.

## 3.2. 3 多層パーセプトロンを用いた手法

実験 3 では， 3.1 節で作成した BERT による参考文献 2 つの Abstract と元論文の Abstract を新たに BERT で変換して得たベクトルを連結し, 2,304 次元のデータとして 2 つの参考文献が同じクラスタに所属しているかどうかを表すラベルとの関係を学習させる. 本実験では, 実験 2 と同じ 2,200 論文から作成した 360,834 件を学習データとし, 実験 1,2 と同じ 276 論文をテストデータとする. 入力層に 2,304 ノー ド，中間層に 1,000 ノード，出力層に 2 ノード配置したネットワークを構成する. 損失関数には Negative Log Likelihood (NLL) Loss を使用する．中間層の活性化関数にシグモイド関数と ReLU 関数を用いた 2 つのモデルを作成し, 出力はログソフトマックス関数を使用した. 参考文献間の距離を用いて, k-means 法

図 2 実験 1 の 276 論文に対するクラスタリング精度の評価

図 4 実験 3 のクラスタリング精度の評価

と階層的クラスタリングを行う. Purityを用いてクラスタリング精度の評価をする。

## 4 実験結果

表 2 実験 2 のクラスタリング例 1

表 3 実験 2 のクラスタリング例 2

図 1, 2, 3, 4 に各実験のクラスタリング精度を Purity で評価したときの結果を示す. 図 3,4 中の hierarchy は，階層的クラスタリングによってクラスタリングした際の結果を Purity で評価した結果を示す. 表 2 , 3 に，クラスタリング例を示す. Purity と実際の正解のクラスタに対応した，予測のクラスタを右に示す.予測クラスタのオレンジ色は正解クラスタと同一のものを表す。

## 5 考察

図 1,2 の結果より, 3.2.1 節の参考文献の Abstract を BERT モデルごとにベクトルへ変換したクラスタリングの精度は, BioBERT を利用してベクトルに変換したものが最も高いことが確認できる。これは，本実験で用いた論文データが PMC の医療論文であるため, 医療分野の語彙に特化したモデルである BioBERT の方が他の 2 つのモデルより文章の特徴をつかむことができたからだと考えられる. 図 3 より，実験 1 より高い Purity を示したことから, 学習することによりクラスタリングの精度が上昇したことが確認できる. 実験 1 では各 BERT モデル間の Purity の差が大きかったが, 実験 2 では BERT モデル毎の差が小さくなっていることが確認できる. このことから, 実験 2 で 2,200 論文分の 360,834 件の文章のぺアを学習することでモデル間の語彙の差が縮まり， ラベルの予測の差が付きにくくなったと考えられる.図 4 の結果より, 学習データに論文の Abstract を追加して 2,304 次元のデータとして学習させたが, 実験 2 の各モデルより高い精度ではないことを示した. このことから, 実験 3 では適切なモデルを構成できていない可能性があることが考えられる.

また, 本研究のクラスタリングでは, 1 つの参考文献は 1 つのクラスタにしか所属することはないが，実際の論文では, 参考文献が複数のクラスタに所属することもある. 複数クラスタに所属している要素が存在した場合, その要素のクラスタを予測する際には該当するどのクラスタに分類しても正解となってしまう. そのために, Purity の値を高く見積もっている可能性があり, 今後の検証が必要である.

## 6 おわりに

本研究では, 参考文献のクラスタリングを行うためのデータセットを作成し, 3 つのクラスタリング手法を提案した. BERT モデルに参考文献 2 つと同じクラスタに所属しているかどうかのラベルを学習させることで, クラスタリング精度が上昇することを示した. 今後の課題としては, 参考文献の重複を許すクラスタリングを行うことや，人間によるクラスタリング結果との精度の比較などが考えられる。 クラスタリング精度の評価に関しては, 本研究では Purity のみを用いて評価してきたが，他に， Inverse
Purity と F 值が知られている.これらの值を用いて評価することも可能であると考えられる. BERT モデルに関しては, 本研究では 3 種類のモデルを使用した. 他のモデルを用いることでクラスタリング精度の上昇を図ることもできると考えられる。

## 謝辞

ご議論いただいた NTT コミュニケーション科学基礎研究所杉山弘晃氏，成松宏美氏，農研機構菊井立一郎チーム長, 大阪工業大学平博順准教授, 電気通信大学南泰浩教授, 秋田県立大学堂坂浩二教授に感謝します。

## 参考文献

[1] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minam, Hirotoshi Taira, "Task Definition and Integration for Scientific-Document Writing Support", Proceedings of the Second Workshop on Scholarly Document Processing, pp.18-26, June2021. [2] Jacob Devlin, Ming-Wei Chang, Kenton Lee,Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding", Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186. May2019.

[3] Iz Beltagy, Kyle Lo, Arman Cohan, "SciBERT: A Pretrained Language Model for Scientific Text", Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3615 - 3620, Nov2019.

[4] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, Jaewoo Kang," BioBERT: a pre-trained biomedical language representation model for biomedical text mining", arXiv:1901.08746v4, Oct2019.

[5] 佐藤進也, 高橋公海, 松尾真人, “特徴抽出を目的とした文書クラスタからの一貫性阻害要素除去” , 情報処理学会論文誌データベース (TOD) 6(3), 1-12, 2013-06-28.


# 学術論文 PDF からの関連研究章と引用情報の抽出による 論文執筆支援のためのデータセット構築

小林恵大 ${ }^{1}$ 小山康平 1 成松宏美 ${ }^{2}$ 南泰浩 1
1 電気通信大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{k1810249,k2131071\}@edu.cc.uec.ac.jp
hiromi.narimatsu.eg@hco.ntt.co.jp minami.yasuhiro@is.uec.ac.jp

## 概要

我々は論文執筆支援を目的とした研究用データセットの拡充を目指し，PDF 形式の論文から本文および引用に関わる情報を抽出する。従来のデータセットは，本文抽出および引用箇所と引用情報の対応付けが容易な Tex 形式の論文をソースとして構築されていた。しかしながら，一般に公開されている論文の多くは PDF 形式であり，Tex 形式の論文を元に構築されたデータセットは量も分野も限られている. 本課題に対し，PDFを対象として同様のデータを構築することで，データセット拡充を行う. 構築したデータにおいて本文抽出および引用の対応付けを評価した結果，PDF 形式の論文からも Tex 形式をもとにしたときと近い精度となった。これにより，従来より多くの論文を対象としたデータセットの構築ができることを示した。

## 1 はじめに

科学技術の発展に伴い, 学術論文の数が急速に増加している．そのため，研究者が研究方針検討時に既存研究の調査や，論文執筆時に文章の適切な引用を行うことが困難になっている。

上記のような研究者の負担を削減するために，様々な目的でタスクが定義され研究がなされてきた. 論文の閲読時間削減を目的とした論文要約 $[1,2,3]$ や，論文の効率的な検索を目的とした参考文献推薦 [4], 論文執筆の効率化を目的とした引用要否判定 [5, 6], 被引用文献割り当て [7]，引用文生成 $[8,9]$ などである.

一方，執筆支援システムの実用化の観点では，論文執筆を行う研究者が直面する複数の課題に対して統合的に支援できることが期待されている. しかしながら，学術論文執筆支援を目的とした各タスクは独立して研究されており，それぞれのタスクの評価に用いられているデータセットも異なっている。 それゆえに，統合的な論文執筆支援システムとして評価することができない.

本課題に対し, Narimatsu ら [10] は, 同一のデータソースから構築した複数のタスク評価用データセッ卜を構築し，公開している．彼らは，様々なタスクのデータを自動的に作れるよう，Tex ソースが公開されている論文を対象にデータセットを構築している. Tex のソースを対象とすることで，タスクデー タを自動的に構築することが可能であるが，Tex のソースが公開されている論文は数量や分野が限られている．たとえば，Tex のソースを公開している代表的なサイトである arXiv は, 物理学, 計算機科学,数学が主であり ${ }^{1)}$ ，他の分野の論文は少ない.

そこで，本研究では，Tex のソースが公開されておらず PDF のみしかない論文も対象に，論文執筆支援に向けたデータを自動的に構築することを目的とする。具体的には, Narimatsu ら [10] と同様に，関連研究の章に着目し, 統合的な論文執筆支援システムを評価可能なデータセットを PDF から構築する2).

タスクデータ3)の構築には，関連研究の章の本文抽出，本文で引用されている引用文献の情報（タイトルや著者情報）の取得および引用文との対応付け，引用文献情報を用いた論文取得が必要である. しかし，TexのソースではなくPDF から同様のデー タセットを作るためには以下の課題がある.

章タイトルの識別．PDFでは章タイトルを表す記号は特にないため，フォントの種別や大きさなどの

1) arXiv submission rate statistic https://arxiv.org/help/stats/ 2020_by_area/index

2） CC BY 4.0 の下でライセンスされている論文 PDF から構築したデータセット，および任意の論文 PDF を入力としてデー タセットを構築するためのソースコードを以下に公開予定である. https://github.com/citation-minami-lab

3） タスクデータの詳細は付録 Aを参照のこと。
視覚情報で識別する必要がある.

抽出した本文のクリーニング，PDFでは，章の本文として抽出したテキストに，ヘッダ・フッタ・脚注・数式，図表中の文字列が不自然に挿入され，自然言語処理においてノイズとなる.

引用記号と被引用文献の対応付け．Tex では，引用記号（以下「引用アンカ」とする）と被引用文献は，lcite のような引用を表すタグに囲まれた文字列と bibファイルを照合することで容易に取得できる。しかしながら，PDF の場合には，明確なタグはなく簡単に対応付けができない.

本稿では，上記の課題を解決するために，既存の PDF からの本文抽出と, 引用アンカ検出，参考文献抽出において性能が高い複数のツールを組み合わせ，さらにそれらの精度を高める手法を導入する。

## 2 関連研究

論文の PDF から情報抽出を行う既存手法について, 本研究で関連する, 本文抽出と参考文献情報抽出および引用アンカ対応付けに絞って説明する.本文抽出. GROBID [11] は，CRF モデルを用いて，章タイトル，本文の抽出や数式，図表の認識を行うツールとして提案されているがその精度は高くな (4). PDFBoT [12] は pdf2htmlEX5)を使用して PDF 論文を HTML に変換することで得られるテキストの特徴量を用いて，ルールベースにより章タイトル, 脚注, 図表, タイトル, 著者, 所属, ディスプレイモードの数式を除去した本文のみを抽出する。 このツールは章タイトルや参考文献の章を除去するため本研究の目的に直接使用することはできないが，部分的な利用は可能である.

参考文献情報の抽出・引用アンカ対応付け。参考文献情報の抽出ができるツールとして，ParsCit [13], CERMINE [14], GROBID [11] が提案されている. Tkaczyk ら [15] らは，その中でも GROBID が参考文献情報を高い精度で抽出可能なことを示した。これらのツールは引用アンカの検出，引用アンカと引用対象の文献の対応付けも行うが，GROBID ではその精度は高くなく ${ }^{5}$, CERMINE，ParsCit では精度の評価自体がされていない. Ahmad ら [16] は，本文中の引用アンカを, Gosangi ら [6] は, ACL-Anthology Reference Corpus [17] 中の引用アンカを高精度で検出する手法を提案している.

論文執筆支援を目的とした研究においても， PDF から評価用データを構築しているものがある $[18,19]$.これらの研究は, CiteSeerX ${ }^{6}$ を用いて本文および引用アンカの対応付けを行なっているが， CiteSeerX では本文として引用アンカ周辺のテキストしか取得できない。

上記の通り，本文抽出および参考文献情報抽出の両方で高い精度が得られている手法はない。そのため，本研究では本文抽出に PDFBoT [12]，参考文献情報抽出に GROBID [11]，引用アンカーの検出に Ahmad ら [20] および Gosangi ら [6] の手法と，それぞれ高い精度が得られている手法を用いる。

## 3 データセット作成の手法

関連研究の章の本文抽出と, 本文で引用された文献情報の抽出および対応付けについて詳説する.

## 3.1 関連研究の章の本文抽出

関連研究の章の本文を抽出するためには，章タイトルに基づき，本文区間を認識する必要がある。そのため，pdf2htmlEX ${ }^{7}$ を用いて，PDF を HTML 形式に変換し，HTML のタグとして得られたテキストの座標情報，フォントの種類・サイズ情報を用いて章タイトルを抽出する。 その準備として，初めに，本文の抽出に必要のない，，のタグを除去し，本文のフォントサイズや，行の先頭の $\mathrm{x}$ 座標，行間隔などの統計情報を取得する。

続いて，章タイトル “Related Work(Study)” とその次の章タイトルを検出し，その二つの章タイトルの間の関連研究の章の本文範囲のテキストを抽出する. 章番号 (Section Number) は範囲検出の大きな手がかりとなるため，その有無により以下の通り場合分けをして検出する.

章番号が付与されている場合: "Introduction"は多くの論文が 1 番目の章として設置しているため，その行の先頭の文字列のスタイルを論文の章番号のスタイルとして特定する．そのスタイルを持った文字列と “Related Work(Study)” から始まる行を関連研究の章タイトルとして検出する. そして，関連研究の章タイトルと章番号が連続し，フォントの種類が一致する行を次の章タイトルとする.

章番号が付与されていない場合: 本文のフォントサイズよりも大きく，“Related Work(Study)” から始

まる行を関連研究の章タイトルとして取得する。 そして，関連研究の章タイトルとフォントのサイズが等しい行を次の章タイトルとして検出する.

上記手法により，“ shown in Related Work section.” のように参照目的で本文中に含まれる章タイトルを誤って検出するケースを減らす8)。

以上で抽出した本文には，言語処理上問題となるノイズが含まれるため，以下でその除去を行う.

ヘッダ・フッタ・脚注の除去一般にヘッダ・フッタ・脚注は本文のフォントサイズより小さいため, PDFBoT [12] と同様に，本文のフォントサイズより $1 \mathrm{px}$ 以上小さい行を除去する.

キャプションの除去本文の途中に挟まれた図表のキャプションは，誤って本文のテキストとして抽出されることが多い. そこで，図表のキャプションである，「Table」「Figure」「Fig.」から始まる行を除去する。ただし，本文中の上記文字列を誤って除去しないよう，これらの文字列を含む行とその上の行の行間が本文の行間よりも広いものだけ除去する。 また, Ahmed ら [21] と同様に, 複数行のキャプションの場合，1，2 行目の行間よりも大きな間隔をキャプションの切れ目と考え，そこまでを除去する。

の数式ではなく，ディスプレイモードで記述された数式のみを除去する．PDFBoT と同様に，数式や図に含まれる行は本文よりも始点の $\mathrm{x}$ 座標が右に寄っていると仮定し，それらを除去する。

表の除去論文から画像認識モデルにより表の箇所を抽出する手法 [20] を用いて表の除去を行う. 具体的には，論文 PDFを pdf2image ${ }^{9)}$ を使用して画像形式に変換し，モデルへ入力する。そして，モデルが表として検出した範囲にマージン $10 \mathrm{px}$ 加えた範井に存在する行を除去する。

## 3.2 引用アンカの検出

引用アンカの形式は論文によって様々である. そのため，過去に提案された次の 2 つの正規表現による検出手法 $[16,6]$ を組み合わせて引用アンカを検出する．前者 [16] は，引用アンカを高い精度で検出可能である．また，前者では検出対象でないものが後者 [6] では対象とされている。 さらに，検出対象の拡大のため，後者 [6] の正規表現に一部改良を加えた ${ }^{10)}$.

8）上記手法で使用する正規表現は付録 B を参照のこと

9) https://pypi.org/project/pdf2image/

10）これらの正規表現の詳細は付録 $\mathrm{C}$ を参照のこと.

## 3.3 参考文献の章の解析および 引用論文情報の取得

参考文献の章から著者やタイトルの情報を抽出し，それに対応づく引用論文の情報を取得する．章の解析には GROBID [11] を使用する. GROBID は，入力された論文 PDF に対して，参考文献の章を文献毎に分割し，著者，タイトル，年などのタグ付けを行う．ただし，文献が「[1]」のような数字形式の引用アンカを使用している場合，GROBID では文献毎の分割に失敗すると，失敗した文献以降の文献の順番と実際の順番が誤った対応付けになることがある.これを回避するため，引用アンカが数字形式の論文の場合は，HTML から参考文献の章を抽出し，各文献毎に分割した文字列を GROBID に入力することで解析を行った. その後，GROBID により抽出された参考文献のタイトルを外部検索 API へ入力し，一致する文献がヒットした場合に，アブストラクトを取得し引用論文の情報とする。

## 3.4 引用アンカと引用論文の対応付け

数字形式の引用アンカにはその数字と一致する順番の参考文献の項目を対応づける．数字形式以外の引用アンカでは，引用アンカから年を抽出した後 $\lceil$ et al」,「and」，「\&」から後ろの文字列を除去して第一著者名を取得する．その情報と解析した参考文献のタグとを照合し，一致した文献を対応づける。

## 4 評価

提案手法により構築したデータセットの有効性を，関連研究の章テキストの抽出精度および参考文献の解析精度により評価する。

## 4.1 関連研究の章の抽出の性能

先行研究の Narimatsu ら [10], 及び GROBID [11] と比較し，関連研究の章タイトル検出，本文の抽出・ノイズ除去の精度を評価した。評価指標には，本文抽出，ノイズ除去を同時に評価できる Word Error Rate (WER) と Sentence Error Rate (SER) を用いた. Axcell [22] の論文リストから無作為に選択した論文の中から，関連研究の章を含む 113 件を評価データとした. それらの論文から手作業でノイズを除去した関連研究の章の文章を正解データとした。

## 4.1.1 関連研究の章タイトルの検出数の評価

初めに，各手法の関連研究の章タイトルの検出の成功・失敗件数を調べた (表 1).

表 1 各手法での 113 件の論文に対する関連研究の章タイトルの検出成功・失敗件数

Tex のソースでは章タイトルが陽にタグで示されているため, Narimatsu らは全ての関連研究の章タイトルの検出に成功している. また，提案手法の失敗件数は 3 件であり，十分な検出精度を達成できた.

## 4.1.2 本文抽出・ノイズ除去の精度評価

本文抽出・ノイズ除去精度の評価では，GROBID が抽出した本文に含まれる，独自のタグや文字列を全て削除した. また，Narimatsu らの手法が抽出する本文の引用アンカは Tex のタグ形式であるため, PDF から作成した正解データと差異がある. そこで，各手法において抽出した本文から全ての引用アンカを消去し, 条件を揃えた. 正解文中の引用アンカはそのままであるため，3手法ともWER，SER は実際の値より増えるが，同条件での比較ができる。

以上の条件で提案手法・GROBID ・ Narimatsu らの手法全てで関連研究の章タイトルの検出に成功した評価データのみを使用して評価した (表 2).

表 2 引用アンカ除去を行なった条件での本文抽出，ノイズ除去精度の WER，SERによる評価

結果より，提案手法の WER，SER が最も低かった. Narimatsu ら手法の WER，SER が最も高い原因は，Tex形式を扱うことによるものである．Tex の記号で図表や注釈などは除去していたが，著者らが独自に設定したコマンドでコメントアウトされた文字列が完全には除去しきれていなかった. GROBID の主なエラーは，本文に含まれるべき単語・文の欠落や，図表の検出の失敗であった。これらに対し，提案手法の主なエラーは，HTML 形式に変換したこととによるもので，表記を整えるために単語の途中に挿入されたタグが適切に処理できず，単語途中へスペースが挿入されることがあった.

次に，提案手法と GROBID で，引用アンカを消去せずに実際の WER，SER の値を算出した (表 3).

表 3 提案手法と GROBID の本文抽出，ノイズ除去精度の WER，SER による評価

結果より，提案手法の WER が 0.01 程度, SER も 0.05 程度と共に GROBID よりも低いことから, 正確な関連研究章の本文抽出，ノイズ除去が達成できていると言える。

## 4.2 参考文献のタイトル抽出件数の評価

引用文献情報の抽出および引用アンカとの対応付けについて, Narimatsu らと比較する. 評価には, Narimatsu らがデータセットの構築に使用した Axcell の論文リストから，無作為に選択した 2,786 件の論文を使用した，各手法により，これらの論文の本文の引用アンカ検出，引用文献情報抽出，引用アンカ対応付けを行う。そして引用アンカに対応付けられた文献タイトルを， arXiv API にて入力して検索し，一致する文献がヒットした件数で評価した (表 4).

表 4 抽出した参考文献タイトルを，arXiv API に入力して検索し，検索結果の文献が入力と一致した件数

結果より，提案手法の一致件数は Narimatsu らの 87\%ほどであり，彼らと近い精度を示した．PDFからの引用文献情報抽出および引用アンカ対応付けでは，Texソースとは異なり明示的なタグが無いため，提案手法は十分な性能を達成できたと言える。

## 5 おわりに

本稿では，論文執筆支援の複数のタスクを評価可能なデータセットを論文 PDF から作成する手法を提案した. そして，提案手法の各プロセスの評価では, 本文抽出精度では先行研究に対して優れた結果を示した.引用文献抽出および引用アンカとの対応付けの評価では，Texソースを対象とした先行研究に近い精度を示した. 今後は，本手法による新たなデータセットの構築，およびそれを用いて複数の論文執筆支援タスクに取り組みたい。

## 謝辞

研究の遂行にあたり，ご助言・ご協力をいただきました，NTTコミュニケーション科学基礎研究所杉山弘晃氏, 東中竜一郎氏, 秋田県立大学堂坂浩二教授, 大阪工業大学平博順教授, 工学院大学大和淳司教授, 農研機構菊井玄一郎チーム長に感謝いたします。

## 参考文献

[1] Simone Teufel and Marc Moens. Articles summarizing scientific articles: Experiments with relevance and rhetorical status. Computational Linguistics, Vol. 28, No. 4, pp. 409-445, 2002.

[2] Michihiro Yasunaga, Jungo Kasai, Rui Zhang, Alexander Fabbri, Irene Li, Dan Friedman, and Dragomir Radev. ScisummNet: A large annotated corpus and contentimpact models for scientific paper summarization with citation networks. In Proceedings of AAAI 2019, 2019.

[3] Chenxin An, Ming Zhong, Yiran Chen, Danqing Wang, Xipeng Qiu, and Xuanjing Huang. Enhancing scientific papers summarization with citation graph. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 14, pp. 12498-12506, May 2021.

[4] Xiaomei Bai, Mengyang Wang, Ivan Lee, Zhuo Yang, Xiangjie Kong, and Feng Xia. Scientific paper recommendation: A survey. IEEE Access, Vol. 7, pp. 9324-9339, 2019.

[5] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[6] Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, and Haimin Zhang. On the use of context for predicting citation worthiness of sentences in scholarly articles. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4539-4545, Online, June 2021. Association for Computational Linguistics.

[7] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, 122020.

[8] Xinyu Xing, Xiaosheng Fan, and Xiaojun Wan. Automatic generation of citation texts in scholarly papers: A pilot study. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 61816190, Online, July 2020. Association for Computational Linguistics.

[9] Qingqin Wang, Yun Xiong, Yao Zhang, Jiawei Zhang, and Yangyong Zhu. Autocite: Multi-modal representation fusion for contextual citation generation. In Proceedings of the 14th ACM International Conference on Web Search and Data Mining, WSDM '21, p. 788-796, New York, NY,
USA, 2021. Association for Computing Machinery.

[10] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientificdocument writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, Online, June 2021. Association for Computational Linguistics.

[11] Grobid. https://github.com/kermitt2/grobid, 2008-2021.

[12] Changfeng Yu, Cheng Zhang, and Jie Wang. Extracting body text from academic pdf documents for text mining. In KDIR, 2020.

[13] Isaac Councill, C. Lee Giles, and Min-Yen Kan. ParsCit: an open-source CRF reference string parsing package. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[14] Dominika Tkaczyk, Paweł Szostek, Piotr Dendek, Mateusz Fedoryszak, and Łukasz Bolikowski. Cermine - automatic extraction of metadata and references from scientific literature. 042014.

[15] Dominika Tkaczyk, Andrew Collins, Paraic Sheridan, and Joeran Beel. Machine learning vs. rules and out-of-thebox vs. retrained: An evaluation of open-source bibliographic reference and citation parsers. In Proceedings of the 18th ACM/IEEE on Joint Conference on Digital Libraries, JCDL '18, p. 99-108, New York, NY, USA, 2018. Association for Computing Machinery.

[16] Riaz Ahmad and Muhammad Tanvir Afzal. Cad: an algorithm for citation-anchors detection in research papers. Scientometrics, Vol. 117, pp. 1405-1423, 2018.

[17] Steven Bird, Robert Dale, Bonnie Dorr, Bryan Gibson, Mark Joseph, Min-Yen Kan, Dongwon Lee, Brett Powley, Dragomir Radev, and Yee Fan Tan. The ACL Anthology reference corpus: A reference dataset for bibliographic research in computational linguistics. May 2008.

[18] Jian Wu, Athar Sefid, Allen Ge, and C. Giles. A supervised learning approach to entity matching between scholarly big datasets, 122017.

[19] Dwaipayan Roy, Kunal Ray, and Mandar Mitra. From a scholarly big dataset to a test collection for bibliographic citation recommendation, 2016.

[20] Ángela Casado-García, César Domínguez, Jónathan Heras, Eloy J. Mata, and Vico Pascual. The benefits of close-domain fine-tuning for table detection in document images. In DAS, 2020.

[21] Muhammad Waqas Ahmed and Muhammad Tanvir Afzal. Flag-pdfe: Features oriented metadata extraction framework for scientific publications. IEEE Access, Vol. 8, pp. 99458-99469, 2020.

[22] Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. AxCell: Automatic extraction of results from machine learning papers. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8580-8594, Online, November 2020. Association for Computational Linguistics.
表 5 タスクデータの具体例

## 付録 A: タスクデータの形式

本研究で作成する，タスクデータの具体例を表 5 に示す. Narimatsu ら [10] と同様の形式であり，各要素は以下を表す。
- Title... 対象となる論文のタイトル

・Sentences... 関連研究の章本文を文単位に分割したリスト
- AnswersCitationWorthiness... 関連研究の章の各文に引用がつけられている場合は"1"，そうでなければ"0"としたリスト
- CitedNumberList... 各文の引用件数のリスト
- CitationAnchorList... 各文に含まれる引用アンカのリスト
- CitedPaperIndexList... 各文の引用の番号のリストであり,この番号が CitedPaperTitle, CitedPaperArXivID, CitedPaperText のキーと対応する
- CitedPaperTitle... 被引用文献のタイトルの辞書
- CitedPaperArXivId...arXiv API から一致する文献が取得できた被引用文献の arXiv 独自の ID の辞書 (外部検索 API に arXiv API を使用した時のみ)
- CitedPaperText... 外部検索 API から取得できた被引用文献のアブストラクトの辞書

## 付録 B: 章タイトル検出のための正規表現

3.1 章で使用した章タイトルの検出のための正規表現を表 6 に示す. 手法 1 において, Title_Style はその論文の章タイトルのスタイルの文字, RW_Title_Font_Fam は関連研究の章タイトルのフォントの種類，Next_Style は関連研究の章の次の数字または英字である。手法 2 において， Font_Larger_Than_BodyText は本文より大きいフォントサイズ，RW_Title_Font_Size は関連研究の章タイトルのフォントサイズである.

## 付録 C: 引用アンカ検出のための正規表現

3.2 章で使用した引用アンカ検出のための正規表現について説明する．最初に Ahmed ら [16] の手法を用いて作成した正規表現を表 7 に示す.ここで，表 6 章タイトル検出のための正規表現

手法 1.

Related Work(Study) Section (大文字小文字を区別しない)
Title_Style(relatedls*(work|study|studies)(.||s)*) Next Section (大文字小文字を区別しない)
$ Next_Style $\mid$ s*.?(|s)*手法 2.

Related Work(Study) Section (大文字小文字を区別する)

$ $\mathrm{R}[\mathrm{eE}][\mathrm{LL}][\mathrm{aA}][\mathrm{tT}][\mathrm{eE}][\mathrm{dD}] \mathrm{s} *([\mathrm{wW}][\mathrm{oO}][\mathrm{rR}][\mathrm{kK}] \mid$

[sS][[tT][uU][dD][yY][[sS][tT][uU][dD][iI][[eE][sS])(.||s)*

Next Section (大文字小文字を区別しない)

(.||s)*

表 7 Ahmad ら [16] の手法を元に作成した引用アンカ検出のための正規表現

\# 数字形式 (大文字小文字を区別しない)

regexNum1 = ' $[$ ' + Tag_Value + ' $]$ '

regexNum $2=>\left[\mid s^{*}\left([1-9][0-9 \text { lu2013|-]*|s*[,;;|u2013](|s||])* })^{\prime}+1\right.\right.$

[1-9][0-9]*|s*(1-[1-9][09]*)?]]|[[1-9][0-9]*|]?|s** +1

'[--lu2013]।s*|[?[1-9][0-9]*|s*i]

regexNum $=$ regexNum $1+$ ' $\mid$ ' + regexNum 2

\# 数字形式以外 (大文字小文字を区別しない)

regexStr $1=$ ' $\backslash[\mid$ sA-Za-z0-91,\&l..;;+V(1)--]*' + First_Author +1

regexStr $2=$ ' $\backslash\left[[A-Z a-z 0-9|-\& 1, ;::| s \backslash .(1)]^{*}+\right.$ First_Author +1

'[A-Za-Z|-I,|s]*(|sand|s|\&)[A-Za-Z|-I,\&:As|[())]*|s' + Year +1

'|s[I)A-Za-z0-91-\&l,:Иs|(]*|]'

regexStr $3=$ ' $\backslash\left([\mid \text { sA-Za-z0-9〉,\&l..; } ;+\Lambda-]^{*}\right.$ ' + First_Author +1

'[0-9|-\&|+|s|,;;|.A[]*' + Year + ' [|sA-Za-z0-9\&|-I.|,,;|+|_]*|)'

regexStr4 = ' $\backslash\left([\mathrm{A}-\mathrm{Za}-\mathrm{Z} 0-9 \mathrm{l}-\& \mathrm{l}, ;: \mid \mathrm{sl} .]^{*}{ }^{*}+\right.$ First_Author +1

'[A-Za-ZI-I,|s]*(|sand|s|\&)[A-Za-ZI-I,\&:^s|[]*|s' + Year +I

'|s[A-Za-Z0-91-\&1,:Иs]*|)'

regexStr $=$ regexStr $1+{ }^{\prime} \mid$ ' regexStr $2+1$

' $\mid$ ' + regexStr $3+$ ' ' + regexStr 4

表 8 Gosangi ら [6] の手法を元に作成した引用アンカ検出のための正規表現

Tag_Value は参考文献の章から抽出した各文献の数字形式の引用アンカ, First_Author は参考文献の章から抽出した各文献の著者のラストネーム，Year は各文献の出版年である。これらの正規表現を参考文献の件数分生成し，マッチングを行う．次に，Gosangi ら [6] の手法を用いて作成した正規表現を表 8 に示す.この正規表現には，[Kobayashi, 2021],Kobayashi [2021] のような形式の引用アンカが検出できるような変更を新たに加えている．以上の正規表現は Python で動作する。


# 材料科学論文の表の意味解釈データセットの構築

加藤明彦 1 近藤修平 1 進藤裕之 ${ }^{1,2}$ 渡辺太郎 2
1 奈良先端科学技術大学院大学 データ駆動型サイエンス創造センター
2 奈良先端科学技術大学院大学情報科学研究科
\{kato.akihiko.ju6, shuhei-k, shindo, taro\}@is.naist.jp

## 概要

本研究では材料科学論文の表の意味解釈, 即ち，セルに記載されている物性や単位の検出とリンキングを行うタスクに取り組む。そこでモデル構築の基盤となる言語資源として，近年の高分子論文集の論文約 200 本に含まれる全ての表に対して注釈を行った網羅的なデータセットを構築した。また，文字レベルの系列ラベリングと辞書マッチングを組み合わせた解析を行ったので合わせて報告する.

## 1 はじめに

日々多数出版される科学技術論文の全てを人手で読解する事は物理的に不可能であるため，論文から自動で情報抽出を行う技術の研究開発が求められる. 特に, 論文の表には実験に関する情報が整理されているため, 表からの情報抽出は重要な研究課題である. たとえば高分子化学の論文では, 実験によって合成されたポリマー（重合体）の物性値や実験条件が表に記載されているため, これらの情報を表から抽出したいというニーズがある（図 1).ここでポリマ一の例としては，ポリアセチレンやポリエステルが挙げられ, 物性值とは, 融点や引張弾性率など，ポリマーの持つ特性情報を指す。

上記を踏まえ, 本研究では, 材料科学論文の表からの情報抽出において最も重要なタスクの 1 つである, 表中のセルの意味解釈に取り組む. このタスクでは, 主にヘッダ部分のセルに記載されている物性や単位といったエンティティの表層文字列（メンション）を検出した上

図 1 表の意味解釈の例.

で, 材料科学分野に特化したエンティティ辞書への紐付けを行う.たとえば図 1 の表中の枠線で囲ったセルには, エンタルピー変化 (エンティティ名: enthalpy_change）という物性の表層文字列である $\Delta \mathrm{H}_{\mathrm{i}}$ と，その単位の表層文字列である $10^{2} \mathrm{~mJ} \mathrm{~g}^{-1}$ が出現している. 表の意味解釈ではこれらの各表層文字列が物性および単位のメンションであることを予測し，かつ，前者を enthalpy_change エンティティに紐付け，後者を基本単位のべき乗の積に分解する必要がある（図 1).

しかし, 材料科学分野において，表の意味解釈のための言語資源はあまり存在しておらず,一定以上の規模のアノテーションを付与したデータセットの入手は困難である. そこで本研究では, 材料科学分野に現れる単位や物性の辞
書を構築した上で, 近年の高分子論文集 ${ }^{11}$ の論文約 200 本に含まれる全ての表に対して意味解釈アノテーションを行った網羅的なデータセッ卜を構築した。また，文字レベルの系列ラベリングと辞書マッチングを組み合わせた解析を行ったのでその結果も合わせて報告する.

## 2 関連研究

Web ページ中の表の意味解析に取り組んだ研究として [1] が挙げられる．彼らは表の列のタイプ（アルバムのリリース日などの属性名） と, 列のペアの関係を予測するという課題に取り組んでいる．また，予測するラベルの候補としては，知識べースのオントロジーに登録されているものを用いている. 彼らはこの課題に取り組むために，テーブル内およびテーブル間の文脈情報の両方を考慮した新しいテーブル表現の学習手法を提案している. 本研究は, Web ページではなく論文中の表を扱っている点，また, 列ではなく, 表のセル内に出現しているエンティティのリンキングを行っている点において [1] とは異なる.

材料科学論文からの情報抽出に関する研究としては [2] が挙げられる．彼らは XML 形式の論文中の表からルールベースで構造化データを抽出している。一方, 本研究では PDF 形式の論文中の表を解析対象としており，また，エンティティ・メンションの検出を系列ラベリングとして定式化して機械学習ベースのモデルを用いている点において [2] とは異なる.

材料科学分野に限らず，学術文書一般からの情報抽出については，論文間の関係性を予測する研究 [3] や，個々の論文に記載されている知見を抽出する事を目的とした研究がある．後者についてはキーフレーズ抽出とキーフレーズ間の関係抽出に関する Shared task [4] も実施されている. また, PDF や画像など, 非構造化文書中の表の構造解析については，テーブル画像と対応する構造化 HTML 表現を収録したデータセットを [5] が公開している. なお, 本研究で

1) https://main.spsj.or.jp/c5/koron/koron.php取り組んでいる表の意味解釈は, 表の構造解析の下流タスクとして位置づけられる。

## 3 材料科学論文の表のセルの意味解釈

本タスクでは，入力として受け取ったセル文字列中に出現している物性や単位（以下，組立単位）の表層文字列の範囲を予測し（メンション検出), 辞書中の特定のエンティティへの紐付けを行う。ここで組立単位とは，複数の基本単位のべき乗の積で構成される単位のことであり,たとえば図 1 の $10^{2} \mathrm{~mJ}^{-1}$ という組立単位は $10^{2},(\text { milli joule })^{1}, \mathrm{~g}^{-1}$ という 3 つの構成要素の積に分解できる ${ }^{2)}$. 図 1 からも分かるように，単位の意味解釈とは，基数，基本単位，指数などのカテゴリに情報を埋めていくタスクである．特に基本単位については，あらかじめ材料科学分野の辞書に登録してある単位一覧から特定の単位を選択する問題となる。

## 4 データセットの構築

## 4.1 アノテーション仕様の策定

材料科学論文の表には，合成した物質（高分子など）の物性（融点など）や高次構造情報 (数平均分子量など), 基本単位や指数などの各種数量表現の他にも，実験手法や，物質の合成時に用いる溶媒や触媒などがしばしば記載され

料科学論文から収集したセルを整理して，本研究でアノテーション対象とする材料科学分野のエンティティ・タイプの一覧を作成した（表 1).

## 4.2 各タイプのエンティティ辞書の 作成

次に，表から検出したエンティティを紐付けるために，材料科学分野に特化したエンティティの辞書を各タイプについて構築した。辞書の構築にあたっては，まずPoLyInfo から，単位，物性，実験手法等，各タイプに属するエン

表 1 検出対象とするエンティティタイプ一覧と本研究で構築したコーパスにおける出現数.

ティティの一覧を収集した。これだけでは網羅率が十分ではないと考えられるため, 表の意味解釈アノテーション（4.3 節）において, 各タイプの辞書に紐付けることができないエンティティの内, Wikidata ${ }^{4}$ にリリク可能なものを辞書に追加した。辞書中の各エンティティについては, ID, 正式名, 同義語リスト（当該エンティティが取りうる表層文字列のリスト）を収録している。

## 4.3 高分子化学論文の表に対する意味解釈アノテーション

第 3 に，高分子論文集 ${ }^{5)}$ の 2004 年 1 月 2013 年 3 月（Vol.61～Vol.70）の論文約 200 本に含まれる全ての表に対して以下のアノテーションを行った。まず各セルにおいて，検出対象とするいずれかのタイプ（表 1）を有するエンティティが出現している場合, セル文字列中のスパンと, 当該エンティティの辞書 ID を注釈する.単位についてはスパンを注釈した後に, 基本単

位や基数のべき乗の積への分解アノテーション （3 節）を行った。この分解作業の目的は以下の 2 点である. 第 1 の目的は，組立単位間の相互変換を可能にすることによって，各物性に紐づく単位の複数の表記方法の比較・照合を行うことにある. 第 2 の目的は, 構成要素中の接頭辞や基本単位をエンティティ辞書に紐付けることで，組立単位の意味内容を理解することにある.なお，表のセルに対してアノテーションを行う際には, PDFのアノテーションツールである PDFAnno [6] を用いた。

## 5 解析手法

本節では 4 節で構築したデータセットを学習データとして用い、セルの意味解釈を行うモデルの訓練と評価を行う。

セル文字列の解析は，(1) 文字レベルの系列ラベリングと, (2) 辞書マッチングによるエンティティ・リンキングの 2 ステップで行う．まず (1)ではセルの文字系列を入力として，系列ラベリングによってエンティティのスパンを同定する。ただし物性と高次構造情報については全エンティティを単一のラベルに集約したものを用いる。また，単位についても，基本単位に属する全エンティティを単一のラベルに集約する. 次に (2)では，スパンが同定されたエンティティの内, 物性, 高次構造情報, または基本単位であると予測されたものを入力として,辞書マッチングによるエンティティ・リンキングを行う．各エンティティを別々のラベルとして扱えば，文字レベルの系列ラベリングのみで解析を行うことも可能だが，物性または高次構造情報のエンティティ総数は約 140 種類,基本単位のエンティティ総数も約 80 種類と多く，データスパースネスの影響が無視できないことから, 上述の様にパイプライン型のモデルを採用している. また, 系列ラベリングのタグ付けスキームは BIEOS 方式とし，スパンが取りうるラベル集合は，表 1 に示したエンティティ・タイプ一覧に基づいて定めた。ネットワーク構造としては，畳み込みネットワークに
skip-connection [7] を入れたブロックを $\mathrm{N}$ 層 6)，積層したものの上に線形層と CRF 層 [8] を持つアーキテクチャーを採用した。

## 5.1 辞書マッチング

辞書マッチングでは，系列ラベリングで同定したエンティティ・メンションを，各候補エンティティに紐づく同義語辞書とマッチさせることで、エンティティ・リンキングを行う．ただしメンションと同義語の完全一致を必要条件にすると Recall が低下するため，メンションが同義語を部分文字列として含むならば，当該エンティティを候補に加えるものとする．また，辞書のどのエンティティのどの同義語ともマッチしなかった場合はリンキングに失敗したと判定する。

## 6 実験

構築したデータセットを学習データとテストデータが約 4:1 となるように分割を行った結果，学習データが 3,046 事例，テストデータが 762 事例となった. なお, 各表の各セルの（文字列，タグ系列）を 1 事例としている. 確率的勾配降下法を用い，学習率を 0.001 として 30 工ポック学習を行った後にテストデータでの評価を行った結果を表 2 に示す. まず数量表現については，基本単位に属する主要なエンティティや，指数，基数などについて $90 \%$ を超える $\mathrm{F} 1$值が得られた。次に物性や高次構造情報については，エンティティによって $\mathrm{F} 1$ 值にばらつきが見られた。これらのカテゴリでは基本単位に比べて表記摇れの度合いが大きいため, 辞書マッチングが上手く機能しないケースがより多く発生していると考えられる．第 3 に，実験手法や溶媒については F1 值が 50\%前後に留まっており, Precisionに比べて Recall が低い傾向が見られた。ただしこれらのタイプについては， ドメイン知識を活用することである程度，網羅率の高いエンティティ辞書と同義語辞書を編纂可能であると期待されるため，辞書素性の活用
=5$ を採用した。
}

表 2 セルの意味解釈モデルの実験結果. 一部のエンティティ・タイプのみを示している.

} & 指数 & 0.989 & 0.966 & 0.977 \\

等によって性能を向上させることができると考えられる。

## 7 おわりに

本研究では材料科学論文の表から物性や単位を検出し，辞書への紐付けを行うタスクに取り組んだ。まずモデル構築の基盤となる言語資源として，高分子論文集の論文約 200 本に含まれる全ての表に対して意味解釈アノテーションを行った網羅的なデータセットを構築した. 次に，文字レベルの系列ラベリングと辞書マッチングを組み合わせた解析を行った。今後は表の複数のセルを考慮した大域的なモデルの有効性を検討する予定である.

## 謝辞

本研究の一部は, 国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の助成による.

## 参考文献

[1] Daheng Wang, Prashant Shiralkar, Colin Lockard, Binxuan Huang, Xin Luna Dong, and Meng Jiang. Tcn: Table convolutional network for web table interpretation. Proceedings of the Web Conference 2021, Apr 2021.

[2] Hiroyuki Oka, Atsushi Yoshizawa, Hiroyuki Shindo, Yuji Matsumoto, and Masashi Ishii. Machine extraction of polymer data from tables using xml versions of scientific articles. Science and Technology of Advanced Materials: Methods, 1(1):12-23, 2021.

[3] Kelvin Luu, Xinyi Wu, Rik Koncel-Kedziorski, Kyle Lo, Isabel Cachola, and Noah A Smith. Explaining relationships between scientific documents. arXiv preprint arXiv:2002.00317, 2020.

[4] Isabelle Augenstein, Mrinal Das, Sebastian Riedel, Lakshmi Vikraman, and Andrew McCallum. SemEval 2017 task 10: ScienceIE - extracting keyphrases and relations from scientific publications. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pages 546555, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[5] Xu Zhong, Elaheh ShafieiBavani, and Antonio Jimeno Yepes. Image-based table recognition: data, model, and evaluation. In Computer Vision-ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part XXI 16, pages 564-580. Springer, 2020.

[6] Hiroyuki Shindo, Yohei Munesada, and Yuji Matsumoto. Pdfanno: a web-based linguistic annotation tool for pdf documents. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[7] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770-778, 2016.

[8] John Lafferty, Andrew McCallum, and Fernando CN Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. 2001.


# 研究データ利活用の促進に向けた 論文における URL による引用の分類

角掛正弥 1 松原茂樹 1,2
1 名古屋大学大学院情報学研究科 2 名古屋大学情報連携推進本部
tsunokake.masaya.z3@s.mail.nagoya-u.ac.jp matubara@nagoya-u.jp

## 概要

論文における研究データの引用を識別・解析することは，研究データリポジトリの拡充や研究デー タの検索，推薦，評価などに繋がる．論文において URL による引用の多くが研究データを参照している. 本論文ではそのような引用に対し，参照先リソースが研究で果たす役割とその種類，および，引用した理由を求める分類問題に取り組む. 提案する手法では従来手法のフレームワークに，節タイトルや脚注の文を入力素性として追加する。データセットを作成し，提案手法の有効性を検証した。

## 1 はじめに

オープンサイエンスは，論文や研究データ1)など研究資源の共有や利活用を促進する活動である.この方策にリポジトリの整備が挙げられる. 論文についてはリポジトリが整備され，論文検索サービスも普及しアクセス性向上に寄与してきた. 近年, 研究データについてもそれら2)の整備が進んでおり，アクセス性向上や利活用が注目されている.

研究データリポジトリ整備には，研究データの登録やそのメタデータの生成が必要となる. これらの作業を可能な限り自動化することで，リポジトリ整備の効率化や登録される研究データの増加が期待できる.この実現のために，論文における研究データの引用の活用が考えられる. 引用には，研究データの名称や用途など，メタデータとして記載すべき情報が記されることが多い. 加えて，既存のメタデー タには存在しない情報 [4] も得られる可能性がある.

1）研究データの定義は文脈ごとに様々であるが [1], 本研究では研究の過程で生成/使用されるデジタルオブジェクト (e.g.,計測/試験データ，プログラム，ソフトウェア）を想定する。 これは ACM が定める “artifact”[2] に近い。

2）リポジトリの例：Zenodo , Mendeley Data  検索サービスの例 : DataCite Search , Google Dataset Search[3]
しかし，論文等の文献を対象とした引用（文献引用）とは異なり，研究データの引用方法は多様でありその識別が求められる。

本研究では，論文における URLによる引用（URL 引用）に着目し，研究データの引用の識別・解析を目指す. URL 引用の例を図 1 に示す. URL引用では論文以外にも多様なリソース (e.g., データセット，ソフトウェア，ホームページ，記事）が参照される. URL引用の解析は研究データの識別に繋がるうえ, 文献引用に比べ自由度の高い URL引用の実態を解明する効果も期待できる。

本論文では，論文における URL引用について下記を求める分類手法を提案する.

1. URL で参照するリソースが研究で果たす役割

2. URL で参照するリソースの種類

3. 著者がその引用を行った理由/目的

Zhao ら [5] は同様の問題に対しマルチタスク学習による分類手法を提案している. 具体的には, 引用箇所の周囲の単語列 (引用文脈)を BERT[6] に入力し，得られた埋め込み表現を各タスク用の分類層に投入する. 本論文で提案する手法では，新たな分類の素性として節タイトルと URL が記載された脚注を加える。また，参考文献を介した URL引用も新たに分類対象としている。

## 2 関連研究

## 2.1 引用分類

論文における引用は一様ではなく，長年分析の対象であった [7, 8, 9]. Garfield[7] は著者が引用を行う理由を考察し, 15 種類の動機を挙げている. Moravcsik ら [8] は, 確認的・否定的, 概念的・操作的など 2 項対立的な分類を 4 種類定義し, 引用を調査した。また，引用を自動分類する手法が提案されている [10,11,12,13]. Teufel ら [10] は引用機能（著
本文でのURLの記載

parsing tasks in the SPMRL 2013/2014 shared tasks and establishes new state-of-the-art in Basque and Swedish. We will release our code at https://ntunlpsg.github.io/project/parser/ptrconstituency-parser

## 脚注でのURLの記載

dependently. We first collect the raw texts from the MSD website ${ }^{3}$, and obtain 2601 professional and 2487 consumer documents with 1185 internal links among them. We then split each document

${ }^{3}$ https://www.msdmanuals.com/

※傍線部は引用文 second model is a neural network trained using Keras (Chollet et al., 2015). The network passes the attribute vector through two dense layers, one

François Chollet et al. 2015. Keras. https:// keras.io.

図 1 URL引用の例

者が被引用論文を引用した理由）の観点から引用を分類する手法を提案した. Cohan ら [13] は引用を背景情報の提示，手法等の利用などに分類する手法を提案すると共に，大規模なデータセットを作成した. その他に, 引用の意義や引用対象の種類など様々な観点の分類が存在する [14].

Ding ら [15] は，引用をその内容に基づき分析/分類するこれらのアプローチを Content-based Citation Analysis(CCA) として整理した. CCA は論文の要約や推薦，検索等の応用が存在する [15]. また，引用機能は学術動向の分析 $[11,12]$ や引用文の自動生成 [16]，論文の被引用数予測 [12] も寄与している.

## 2.2 研究データの引用

近年，論文における研究データの引用方法について統一的な慣習を定める動きがある。例えば， FORCE11 は "Data Citation Principles”[17] や “Software Citation Principles”[18] を宣言している。一方で，慣行に従わない多くの引用も存在する [19]. そのため, 論文から研究データの参照を自動的に識別する試みがある [20]. 例えば，論文の文章からデータセットの名称やそれに言及する文字列を特定する研究 $[21,22,23]$, ソフトウェアに対して同様のアプローチを採る研究 $[24,25,26]$ が存在する. 明示的な引用から研究データを識別する試みもあり, Ikoma ら [27] は Reference 節から言語資源を指す書誌情報の特定を目指した. URL引用は研究データ参照の手がかりにもなる [24] ことから，研究データを参照する URL の識別も行われている [28].

## 2.3 URL 引用の分類

論文における URL引用の増加を受け，URLで参照されたリソースの活用を目指す研究も存在する.例えば，生医学分野のオンラインリソース検索システム [29] や自然言語処理分野の情報ポータル [30] の構築において, URL が論文から抽出されている. Nanba[31] は論文から URL とそれを表すタグを分散表現を基に抽出する手法を提案している.

各 URL 引用を分類する研究も存在する. Zhao ら [5] は広範な学術リソースの検索/推薦システムや知識グラフの構築に向け, URL引用に対し 2.1 節で述べた CCA を適用した，具体的には，引用文脈から，参照先リソースの引用元論文における役割や引用機能を求める分類手法を提案した.

本研究では研究データのメタデータ生成を見据え, Zhao らの方法を発展させる. Zhao らが定義したリソースの役割のうち, Material と Method が研究データに相当する. この分類タスクを解くことで，研究データの引用の識別に加え, 役割や引用の理由など研究活動におけるその研究データの利用に関した情報を取得できる．URL引用は書誌情報が列挙される文献引用に比べて提供される情報が少なく曖昧性が高い。これを解析可能にすることは学術コミュニティにとっても有意義だと考えられる.

## 3 問題設定

本研究の分類タスクでは，各 URL 引用に対し,参照したリソースが研究で果たす役割 (Resource Role）とその種類（Resource Type）および引用機能（Citation Function）を求める. Zhao ら [5] の設定では，Resource Roleを一般/詳細の 2 階層で定義していたが，本研究では詳細な Resource Roleを Resource Type と捉え再定義している ${ }^{3)}$. 同じ URLであっても著者によって意図している参照先リソースは変わり得るため，いずれのタスクも引用文脈等から判断する必要がある。

分類対象の URL 引用はその実施方法から (1) 本文での URL の記載，(2) 脚注での URL の記載，(3) 参考文献の書誌情報への URL の記載に大別できる.図 1 に例 ${ }^{4}$ を示す. Zhao ら [5] が分類対象としていたのは (1)，(2)のみであった．しかし，Web 上のリ

3）研究データのメタデータ生成等への応用を考慮した場合には，Zhao らの定義した詳細な Resource Role は種類と捉えるのが自然と考えたためである.

4） (2),(3) では本文上の対応する周辺文が引用文脈に相当する.
表 1 Resource Role と Resource Type の一覧

表 2 Citation Function の一覧

ソースを引用する際に，参考文献として引用しその書誌情報へ URL を併記するケースも存在する．参考文献としての提示が推奨される場合もあることから (3) も考慮する必要がある.

Resource Role/Type の分類ラベルの一覧を表 1 に示す.リソースの種類によって果たしうる役割が定まるため, Resource Role と Resource Type の間には対応関係が存在する。なお分類ラベルは，研究データのメタデータ生成を見据え，Zhao ら [5] の設定を基本とし一部を変更している。また，URL引用の中には複数のリソースが同時に参照されている場合がある.この場合，特定のラベルに分類できないため，対応するラベルとして「Mixed」を設けた。「Mixed」 は一部の文献引用分類にも存在するラベルである [32,16]. Citation Function の分類先ラベルの一覧を表 2 に示す.これは Zhao らの設定と同一である.

## 4 提案手法

本節では提案手法について記述する。Zhao ら [5] は同様の分類タスクに対し，SciResCLF という枠組みを提案している．SciResCLFでは引用文脈を事前

図 2 提案手法のアーキテクチャ

学習済み BERT[6] へ入力し, [CLS] の埋め込みを各タスク用の分類層へ投入する。また，各タスクのクロスエントロピーの加重和を用いてモデル全体を学習する。この枠組みに対し，本論文では，グロー バルな文脈情報として引用箇所の節タイトル，および，脚注のテキストを用いた分類を提案する。

Jurgens ら [12] は文献引用において引用が出現する節と引用機能の間に関係性があることを報告している。本タスクにおいても，URL引用が行われた節の情報が分類に寄与すると考え，節タイトルを活用する. ${ }^{5)}$ また，URL引用の中には，本文中では参照先リソースを明示せず脚注にのみ記述する場合がある.そのため，URL引用の分類においては脚注のテキストも重要な素性になると考えられる。

提案手法のアーキテクチャを図 2 に示す. 本手法では，節タイトル，引用文脈，脚注の文 ${ }^{6}$ を [SEP] で連結し入力とする. そして Zhao らと同様にマルチタスク学習の枠組みでモデル全体を学習していく.

## 5 実験

## 5.1 データセットの作成

実験用データセットを作成した。2000～2021 年の ACL, NAACL，EMNLP における本会議論文を ACL Anthology ${ }^{7}$ から収集し，PDFNLT ${ }^{8}$ [33] でテキスト化した。収集論文は 15,761 件であった。論文テキストに対し， $\mathrm{URL}^{9}$ ），脚注を参照する本文上の脚注番号，参考文献の引用アンカーを検出した．検出結果を用いて 3 節で述べた 3 種類の URL 引用に対

5）例えば，引用箇所が導入に当たる節である場合，リソースの役割が Supplement，引用機能が Introduce である可能性が高いと考えられる。

6）脚注を用いないURL引用，および，URLのみを単体で脚注で記載していた場合は, $[\mathrm{SEP}]$ と脚注の文は連結しない.

7) https://aclanthology.org/

8) https://github.com/KMCS-NII/PDFNLT-1.0

9）“http://"，“https://”，“ftp://” のいずれかで始まる文字列

図 3 作成したデータセットにおけるラベルの分布

図 4 データセットの例

 &  &  \\

提案手法 & 0.613 & 0.255 & 0.446 \\

- w/o 脚注の文 & $0.512(\downarrow)$ & $0.279(\uparrow)$ & $0.371(\downarrow)$ \\

し，本文上の対応する段落文を引用文脈として抽出した. ランダムに選択した 65 件の論文を用いて引用箇所の特定精度を評価した結果，適合率が 0.995 (199/200)，再現率が 0.948 (199/210) であった.

抽出した引用文脈を用いて自然言語処理の専門家がアノテーションを行った. データセットは 865 件の URL 引用（論文 287 編）を含む. 図 3 にラベルの分布を示す ${ }^{10)}$. 図 4 にデータセットの例11)を示す.

## 5.2 実験設定

作成したデータセットを用いて。提案手法の分類性能を検証した．データセットはランダムに分割し，学習セットを 519 件，検証セットを 173 件，テストセットを 173 件とした. ベースラインは Zhao ら [5]の SciResCLFである. ベースライン, 提案手法ともに入力のエンコーダとして SciBERT[34]を採用した. 損失関数には各タスクのクロスエントロピーロ

10）記載方法別の内訳は，脚注が 0.79 ，本文が 0.11 ，参考文献の書誌情報が 0.10 であった.

11）Zhao ら [5] と同様に，引用箇所や引用に用いた URL 自体を [CITE] に置き換えている.
スの加重和を用いた。最適化関数は Adam[35] である. 両手法ともに，各ハイパーパラメータの候補について最大で 50 エポック分学習し, 各エポックで検証セットに対する分類性能を算出した ${ }^{12)}$ 。各タスクについて，検証セットでの分類性能が最良であったモデルをテストセットへ適用し，手法を評価した. 分類性能の評価にはマクロ平均 $\mathrm{F} 1$ 值を用いた.

## 5.3 実験結果

実験結果を表 3 に示す. Resource Role/Type の分類において，提案手法はベースラインの性能を上回った. 表 3 における提案手法より下の行では，各素性を除いた場合の結果を示している13). 表 3 より, Resource Role の分類においては節タイトル，脚注ともに有効であることがわかる. Citation Function の分類では，脚注が素性として有効な一方で，節タイトルは分類性能を悪化させている. Resource Type の分類では各素性を抜くことで性能が向上しており，両者とも単体での使用は有効であることがわかる. これらの結果はタスクごとに有効な素性の組み合わせが異なることを示しており，引用文脈以外の素性を加えるアプローチとマルチタスク学習との組み合わせ方法について今後検証していく必要がある.

## 6 おわりに

本論文では，論文における URL引用に対し，(1)参照されたリソースが研究で果たす役割，(2) 参照されたリソースの種類，(3)引用が行われた理由を求める分類問題に取り組んだ. 既存研究ではマルチタスク学習に基づく分類手法が提案されていたが，入力には引用文脈のみを用いていた。本論文では，節タイトルと脚注のテキストを入力素性として用いる分類手法を提案した。実験結果から Resource Role の分類において提案手法の有効性を確認した.

12）詳細は実装とともに付録へ記載

13）数值が提案手法より下回る場合は“ $(\downarrow)$ ”を，上回る場合は “(个)”を付与している.

## 謝辞

本研究は，一部，科学研究費補助金（基盤研究

(B)）（No. 21H03773）により実施したものである.

## 参考文献

[1] The Australian National Data Service. What is research data, 2017 (202201 閲覧）.https://www.ands.org.au/__data/assets/pdf_file/0006/ 731823/Whatis-research-data.pdf.

[2] Association for Computing Machinery. Artifact review and badging - version 2.0, 2021 （2022-01 閲覧）. https://www.acm.org/publications/ policies/artifact-review-badging.

[3] Dan Brickley, Matthew Burgess, and Natasha Noy. Google dataset search: '19: The World Wide Web Conference, pp. 1365-1375, 2019.

[4] Shunsuke Kozawa, Hitomi Tohyama, Kiyotaka Uchimoto, and Shigeki Matsubara. Collection of usage information for language resources from academic articles. In Proceedings of the 7 th International Conference on Language Resources and Evaluation (LREC 2010), pp. 1227-1232, 2010

[5] He Zhao, Zhunchen Luo, Chong Feng, Anqing Zheng, and Xiaopeng Liu. A context-based framework for modeling the role and function of on-line resource citations in scientific literature. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5206-5215, 2019

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[7] Eugene Garfield. Can citation indexing be automated? In Statistical association methods for mechanized documentation, Symposium Proceedings, pp. 189-192, 1964.

[8] Michael J. Moravcsik and Poovanalingam Murugesan. Some results on the function and quality of citations. Social Studies of Science, Vol. 5, No. 1, function and qualit

[9] Ina Spiegel-Rosing. Science studies: Bibliometric and content analysis. Social Studies of Science, Vol. 7, pp. 97-113, 1977

[10] Simone Teufel, Advaith Siddharthan, and Dan Tidhar. Automatic classification of citation function. In Proceedings of the 2006 conference on empirical methods in natural language processing, pp. 103-110, 2006.

[11] Amjad Abu-Jbara, Jefferson Ezra, and Dragomir Radev. Purpose and polarity of citation: Towards nlp-based bibliometrics. In Proceedings of the 2013 conference of the North American chapter of the association for computational linguistics: Human language technologies, pp. 596-606, 2013.

[12] David Jurgens, Srijan Kumar, Raine Hoover, Dan McFarland, and Dan Jurafsky. Measuring the evolution of a scientific field through citation frames. Transactions of the Association for Computational Linguistics, Vol. 6 , pp. 391-406, 2018.

[13] Arman Cohan, Waleed Ammar, Madeleine van Zuylen, and Field Cady. Structural scaffolds for citation intent classification in scientific publications. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Tech nologies, Volume 1 (Long and Short Papers), pp. 3586-3596, 2019

[14] 柴田大輔, 芳鐘冬樹. 学術文献における引用分類の観点. 情報知識学会誌, Vol. 26, No. 3, pp. 277-296, 2016.

[15] Ying Ding, Guo Zhang, Tamy Chambers, Min Song, Xiaolong Wang, and Chengxiang Zhai. Content-based citation analysis: The next generation of citation analysis. Journal of the association for information science and technology, Vol. 65, No. 9, pp. 1820-1833, 2014

[16] Yubin Ge, Ly Dinh, Xiaofeng Liu, Jinsong Su, Ziyao Lu, Ante Wang, and Jana Diesner. BACO: A background knowledge- and content-based framework for citing sentence generation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1466-1478, 2021.

[17] Data Citation Synthesis Group. Joint Declaration of Data Citation Principles. FORCE11, 2014. https://doi.org/10.25490/a97f-egyk.

[18] Arfon M Smith, Daniel S Katz, and Kyle E Niemeyer. Software citation principles. PeerJ Computer Science, Vol. 2, p. e86, 2016.

[19] James Howison and Julia Bullard. Software in the scientific literature: Problems with seeing, finding, and using software mentioned in the biology literature. Journal of the Association for Information Science and Technology Vol. 67, No. 9, pp. 2137-2155, September 2016.

[20] Frank Krüger and David Schindler. A literature review on methods for the extraction of usage statements of software and data. Computing in Science Engineering, Vol. 22, No. 1, pp. 26-38, 2020.

[21] Ayush Singhal and Jaideep Srivastava. Data extract: Mining context from the web for dataset extraction. International Journal of Machine Learning and Computing, Vol. 3, No. 2, pp. 219-223, 2013

[22] Daisuke Ikeda and Yuta Taniguchi. Toward automatic identification of dataset names in scholarly articles. In Proceedings of the 8th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 379-382, 2019.

[23] Animesh Prasad, Chenglei Si, and Min-Yen Kan. Dataset mention extraction and classification. In Proceedings of the Workshop on Extracting Structured Knowledge from Scientific Publications (ESSP), pp. 31-36, 2019.

[24] Caifan Du, Johanna Cohoon, Patrice Lopez, and James Howison. Softcite dataset: A dataset of software mentions in biomedical and economic research publications. Journal of the Association for Information Science and Technology, Vol. 72, No. 7, pp. 870-884, 2021

[25] David Schindler, Benjamin Zapilko, and Frank Krüger. Investigating software usage in the social sciences: A knowledge graph approach. In Proceedings of the 17th European Semantic Web Conference Semantic Web (The Semantic Web), pp. 271-286, 2020.

[26] Kai Li and Erjia Yan. Co-mention network of R packages: Scientific impact and clustering structure. Journal of Informetrics, Vol. 12, No. 1, pp. 87-100, 2018.

[27] Tomoki Ikoma and Shigeki Matsubara. Identification of research data references based on citation contexts. In Proceedings of the 22nd International Conference on Asia-Pacific Digital Libraries (ICADL 2020), pp. 149-156, 2020.

[28] Masaya Tsunokake and Shigeki Matsubara. Classification of URLs citing research artifacts in scholarly documents based on distributed representations In Proceedings of 2nd Workshop on Extraction and Evaluation of Knowledge Entities from Scientific Documents (EEKE2021) at JCDL2021, pp. 20-25, 2021

[29] Yasunori Yamamoto and Toshihisa Takagi. OReFiL: an online resource finder for life sciences. BMC bioinformatics, Vol. 8, No. 1, pp. 1-8, 2007.

[30] Monarch Parmar, Naman Jain, Pranjali Jain, P Jayakrishna Sahit, Soham Pachpande, Shruti Singh, and Mayank Singh. NLPExplorer: Exploring the universe of NLP papers. Advances in Information Retrieval, Vol. 12036, pp. 476-480, 2020.

[31] Hidetsugu Nanba. Construction of an academic resource repository. In Proceedings of Toward Effective Support for Academic Information Search Workshop at ICADL 2018, pp. 8-14, 2018.

[32] John Cullars. Citation characteristics of italian and spanish literary monographs. The Library Quarterly, Vol. 60, No. 4, pp. 337-356, 1990.

[33] Takeshi Abekawa and Akiko Aizawa. SideNoter: Scholarly paper browsing system based on PDF restructuring and text annotation. In Proceedings of the 26th International Conference on Computational Linguistics: System Demonstrations (COLING 2016), pp. 136-140, 2016.

[34] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019

[35] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference for Learning Representations (ICLR), 2015.

[36] Mark Neumann, Daniel King, Iz Beltagy, and Waleed Ammar. ScispaCy: Fast and robust models for biomedical natural language processing. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 319-327, 2019 .

[37] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019), pp. 8024-8035, 2019.

## A 分類ラベルの設定に関する補足

研究データのメタデータ生成を想定する場合，一定の具体性を持ったリソースの種類を定義しその分類可能性を検証したい. しかし，Zhao ら [5] の設定では Material（Resource Roleの 1つ）に対応するリソースの種類が Data のみであった. 500 件の引用を対象とした調査と議論のうえで, Data を Dataset, Knowledge, DataSourceへ分割した.

## B 実験設定の詳細

実験では，両手法ともに下記のハイパーパラメー タの組み合わせを試した。

・バッチサイズ : $16,32,64$

・学習率：1.0e-4, 5.0e-5, 1.0e-5, 5.0e-6

-引用文脈の範囲 ${ }^{14)}$ : 1 文，前後 1 文を含めた 3 文，前後 2 文を含めた 5 文

・ドロップアウト率： $0.0,0.3,0.6$
- 入力の最大系列長 : 256

学習は最大で 50 エポック行うが, 10 回以内に検証セットに対する最小ロスを更新しなかった場合は学習を終了する。また，ロスにおける各タスクの重みは等しく 1.0 としている. 引用文脈の文分割には ScispaCy $^{15)}$ [36] を用いた. なお，入力に加えている脚注は URL が記載されている 1 文としている. 実装には，PyTorch[37]16を用いた。

14）本論文では，前後 2 文を引用文脈に含む場合であっても，同じ段落に含まれる文までに制限した。

15) https://github.com/allenai/scispacy

16) https://pytorch.org/docs/1.8.1/