# Classification of Polysemous and Homograph Word Usages using Semi-Supervised Learning

Sangjun Han ${ }^{1}$ Brian Kenji Iwana ${ }^{2}$ Satoru Uchida ${ }^{3}$
${ }^{1}$ Department of Electrical Engineering and Computer Science, Kyushu University
${ }^{2}$ Department of Advanced Information Technology, Kyushu University
${ }^{3}$ Faculty of Languages and Cultures, Kyushu University
\{sangjun.han, brian\}@human.ait.kyushu-u.ac.jp uchida@flc.kyushu-u.ac.jp
}

\begin{abstract}
Words can have different meanings based on the context of how they are used. Therefore, to help language understanding, it is important to be able to distinguish between the word usages. To do this, we propose to automatically classify word meaning using a Transformer neural network. However, annotating large amounts of word usages for effective machine learning can be time-consuming and expensive. Thus, we propose using unlabeled data for Pseudo Labeling to improve the robustness of the model.
\end{abstract
## 1 Introduction

Words can have different meanings, or usages, depending on the context. For example, the word "see" can have many different meanings, such as, to see something with your eyes, to understand something, to imagine something in a particular way, etc. Polysemous words are words with related origins and homographs are words with different origins.

The study of polysemous words and homographs is important for language learning [1,2]. Language learners often have difficulties knowing the intended meaning of words when using dictionaries [3]. Due to this, it is common for language learners to only use the top definition in dictionaries [4]. Thus, correct identification of word usage can be an important tool.

In order to address this problem, we propose the use of machine learning, namely text classification, to predict the usage of words. Namely, we use a Bidirectional Encoder Representations from Transformer (BERT) [5] neural network to embed words into a word-wise semantic vector and use a classifier to learn the usage based on the vector.
Through this, we show that it is possible to predict the word usage within the context of a sentence.

However, one issue with using neural networks is the requirement for data. Specifically, a large amount of annotated data is required to train accurate models and acquiring the annotations can be a time-consuming and expensive process. Therefore, we propose the use of SemiSupervised Learning (SSL) to make up for the lack of data. SSL combines the use of supervised data, i.e. labeled data, and unsupervised data, i.e. unlabeled data. Specifically, Pseudo Labeling [6] is used. In Pseudo Labeling, the unlabeled data is classified and given Pseudo Labels based on the classifier confidence.

The contributions are as follows:
- We develop a word usage classifier that is able to learn the usage of a word based on the context.
- We demonstrate that SSL, specifically Pseudo Labeling, can help make up for the difficulty of annotating data.
- We show that the word embeddings learned by BERT contain contextual usage information.
- A case study is conducted on specific words with polysemous and homograph definitions to show the effectiveness of our approach.

## 2 Related Work

While word embedding research [7] and text classification research $[8,9]$ are widely studied fields, specific word usage classification is not often explored.

In a related problem set, homograph disambiguation aims to differentiate homographs in text, most often used with text-to-speech generation $[10,11]$. Notably, SSL has been used for homograph disambiguation in text-to-speech
generation Mandarin [12] and Persian [13]. While these methods are similar, they differ in that they only separate homographs by sound and not specifically by meaning. This means that the labels typically follow part of speech, very broad meanings, or labels that have different meanings but the same pronunciations [10]. The aim of our work is to predict the usage of words from a comprehensive set of definitions.

## 3 Bidirectional Encoder Representations from Transformers (BERT)

Transformers [14] are feed forward neural networks that consist of blocks of a Multi-Head Self-Attention (MHSA) layer and a fully-connected layer. The MHSA layer uses parallel self-attention layers to learn pairwise relationships between tokens of the input. After the MHSA, there is a fully-connected layer. The output of a Transformer layer is vector embeddings corresponding to each input token.

Bidirectional Encoder Representations from Transformer (BERT) [5] is an extension to the original Transformer. Some of the improvements include using a bidirectional self-attention, adding segment encodings, and training using BooksCorpus [15], which contains the contents of 11,038 books.

## 3.1 Tokenization

The input representations of BERT are constructed of summing token embeddings, positional encodings, and segment encodings [5]. The token embeddings are WordPiece vectors [16] embedded in vectors using a linear layer.

The WordPiece vectors represent pieces of words, including full words, in a 30,522 word-part token vocabulary. The positional encodings represent the position that the word piece appears in the sentence, and the segment encoding is the sentence number.

## 3.2 Embeddings

BERT is trained in an encoder-decoder structure. The encoder layers create an embedding corresponding to each input token vector. This allows Transformer layers to be stacked and to be used with a decoder Transformer for training. Thus, the output of the encoder layers is a set of token-wise vector embeddings. Due to this, as shown in Fig. 1, we use these word embeddings as representations for our classifier.

Aside from the word embeddings, there is a special clas-

Figure 1 Word Usage Classification Using BERT

Figure 2 Pseudo Labeling

sification embedding (CLS) and sentence separation embeddings (SEP). In traditional text classification, the CLS token is used to classify the entire document. However, in our case, we do not use the CLS embedding because we focus on individual word usage.

## 4 Semi-Supervised Learning

SSL is a problem setup that incorporates supervised data and unsupervised data to train models. The benefit of SSL is that it makes it possible to leverage large amounts of unlabeled data to supplement the labeled data. This is useful because annotating unlabeled data can be costly and time-consuming.

One method of SSL is the use of Pseudo Labeling [6]. Pseudo Labeling is a method of labeling the unlabeled data based on probabilistic confidence to be used alongside the already labeled data. Pseudo Labeling is performed in multiple rounds of training, as shown in Fig. 2. First, the model is trained using the labeled data. Next, the unlabeled data is classified using the trained model. When the unlabeled

Table 1 Details of the datasets

 & 70 & 95 & 64 & 703 \\

data is classified, a confidence score $p$ is determined. For the purpose of Pseudo Labeling, the confidence is defined as the probability of the predicted class. Then, the predicted unlabeled data with a high confidence threshold $\tau$ is labeled, i.e. where $p \geq \tau$, which becomes pseudo labels. The model is then trained again using the combined annotated labels and pseudo labels. Finally, this process is repeated $N$ number of rounds or until satisfied.

## 5 Experimental Results

## 5.1 Dataset

In this study, we use data from two corpora. The first corpus is the English Vocabulary Profile (EVP) Online word list [17]. The corpus includes a list of words with definitions, usages, and example sentences, hereafter referred to as dictionary examples. For this study, the American English definitions are used. In addition, EVP also includes learner examples which are sentences written by varying levels of language learners. The second is a privately gathered book corpus consisting of Common European Framework of Reference (CEFR) graded materials. The EVP corpus is used to create the supervised datasets and the book corpus is used for the unsupervised data.

From the corpora, we created five datasets, as shown in Table 1. Each dataset is used to classify the usage of a single word. Also, it should be noted that each dataset incorporates all tenses of the word. Four of the datasets, "get," "let," "play," and "see (1)" use the usage labels determined by EVP. We use the dictionary examples as the training set and the learner examples as the test set. For each unlabeled set, lines of text that contained the specific word were gathered from the book corpus.

In addition to datasets determined by EVP Online, a second dataset, "see (2)" was annotated manually. This dataset combines all sentences with the word "see" (and its tenses) from the entire EVP corpus. Each sentence was annotated based on the eight high-level definitions by two English speakers. The classes are "see (use eyes)," "see (meet)," "see (on media)," "see (understand)," "see (information)," "see (consider)," "see (happen)," and "see (believe)." The problem with the previous datasets is that there are only a few dictionary examples for each class. This dataset is used to evaluate the proposed method but on a larger dataset. The total number of sentences was 1,113 and a training and test split was created by taking $20 \%$ from each class to be saved for the test data.

## 5.2 Architecture and Training

To acquire the word embeddings, a 12 transformer layer pre-trained BERT is used. The pre-trained BERT is fed word piece sequences created from each sentence and outputs word embeddings. As recommended by Bertas-service [18], the embeddings from the second-to-last transformer layer is used, i.e. the 11th layer. This is done because Bert-as-service found that the last layer embeddings tend to be learned in a way for the Masked Language Model (MLM) [5]. The second-to-last layer contains more contextual information and word meaning.

The word embedding vectors are then classified using a Multi-Layer Perceptron (MLP) neural network. The network consists of two layers, one hidden layer and one output layer. The hidden layer has 512 nodes. The hidden layer uses Rectified Linear Unit (ReLU) activations and Dropout with a probability of 0.5 . The weights were initialized using a Xavier uniform initialization [19]. The word embedding vectors are then classified using a fullyconnected layer with the number of nodes equalling the number of classes and a softmax activation.

The MLP is trained using Adam optimizer [20] for 1,000 epochs. We use a batch size of 10 and an initial learning rate of 0.0001 . For the SSL, rounds of Pseudo Labeling were performed until all of the unlabeled data was labeled or a maximum of 10 rounds has passed. The threshold was set to $\tau=0.99$.

## 5.3 Results

The results are shown in Table 2. In the table, MLP is the classifier using the BERT word embeddings without Pseudo Labeling, and MLP+PL uses Pseudo Labeling. For comparison, we use 1-Nearest Neighbor (1-NN) with the

Table 2 Classification Accuracy $(\%)$

Table 3 Example Test Set Instances with the Same Token Embedding but Different Word Embeddings That Were Correctly Classified

BERT embeddings. For "play," $\tau=0.95$ was used because no unlabeled data had a confidence of 0.99 . The results show that the Pseudo Labeling is able to help improve the accuracy of "see (2)."

Conversely, the datasets with a very high unlabeled to labeled ratio performed worse. Calculated from Table 1, the "get," "let," "play," and "see (1)" datasets have an unlabeled to labeled training data ratio of 7.4:1, 3.1:1, 11.2:1, 15.3:1, respectively. This indicates that Pseudo Labeling is weak in instances where there are not enough training samples compared to the unlabeled samples.

Table 3 shows instances where the target word, "see," had the same input embedding but different output word embeddings. Importantly, the word embedding was able to be used to correctly classify the usage in each sentence. Thus, it can be inferred that the embeddings from BERT contain semantic information and is able to separate homographs.

## 5.4 Ablation

In order to determine the threshold for Pseudo Labeling, we performed a parameter search. The analysis is performed on the larger "see (2)" dataset to increase the reliability of the analysis. The results in Table 4 show that the best $\tau$ is 0.99 for Pseudo Labeling.

## 5.5 Examining the Pseudo Labels

It is important for the unlabeled data to be assigned accurate Pseudo Labels for SSL to work. Therefore, in
Table 4 Affect of the Threshold Accuracy (\%)

Table 5 Example Pseudo Labels and Confidences for "See (2)"

 \\

Table 5, we examine some of the Pseudo Labels assigned by the model. In the examples where the confidence $p$ was higher than $\tau=0.99$, the correct Pseudo Label was assigned.

Furthermore, in the table, (4) and (5) were mislabeled. (4) should be "see (use eyes)" and (5) should be "see (understand)." Due to their low confidence scores, they were correctly not Pseudo Labeled. However, despite example (6) having low confidence, it was labeled correctly, thus, not selected as a Pseudo Label.

## 6 Conclusion

In this research, we verified whether the output word vectors of BERT can represent the usage of words, and made classifiers using the output word vectors. Also, we improved our classifier through the use of Pseudo Labeling. We demonstrate that the use of Pseudo Labeling is useful in helping improve the model. However, there are limitations to Pseudo Labeling and when there are many more unlabeled patterns than there are labeled patterns, then the accuracy is degraded. In the future, we will increase the words and incorporate other information inherent to text to improve Pseudo Labeling.

## Acknowledgments

This work was supported by MEXT-Japan (Grant No. JP21K17808, JP22H00677, JP20H00095).

## References

[1] Marjolijn Verspoor and Wander Lowie. Making sense of polysemous words. Language Learning, Vol. 53, No. 3, pp. 547-586, jul 2003.

[2] Victoria Abou-Khalil, Samar Helou, Brendan Flanagan, Mei-Rong Alice Chen, and Hiroaki Ogata. Learning isolated polysemous words: identifying the intended meaning of language learners in informal ubiquitous language learning environments. Smart Learning Environments, Vol. 6, No. 1, nov 2019.

[3] Alex Boulton and Sylvie De Cock. Dictionaries as aids for language learning. In International Handbook of Modern Lexis and Lexicography, pp. 1-17. Springer, dec 2016.

[4] Li Jin and Elizabeth Deifell. Foreign language learners' use and perception of online dictionaries: A survey study. Journal of Online Learning and Teaching, Vol. 9, No. 4, p. 515, 2013.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[6] Dong-Hyun Lee. Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks. In ICML Workshops, Vol. 3, p. 2, 2013.

[7] S. Selva Birunda and R. Kanniga Devi. A review on word embedding techniques for text classification. In Innovative Data Communication Technologies and Application, pp. 267-281. Springer, 2021.

[8] Andrea Gasparetto, Matteo Marcuzzo, Alessandro Zangari, and Andrea Albarelli. A survey on text classification algorithms: From text to predictions. Information, Vol. 13, No. 2, p. 83, feb 2022.

[9] Qian Li, Hao Peng, Jianxin Li, Congying Xia, Renyu Yang, Lichao Sun, Philip S. Yu, and Lifang He. A survey on text classification: From traditional to deep learning. ACM Transactions on Intelligent Systems and Technology, Vol. 13, No. 2, pp. 1-41, apr 2022.

[10] Kyle Gorman, Gleb Mazovetskiy, and Vitaly Nikolaev. Improving homograph disambiguation with supervised machine learning. In Language Resources and Evaluation, 2018 .

[11] Marco Nicolis and Viacheslav Klimkov. Homograph disambiguation with contextual word embeddings for TTS systems. In ISCA Speech Synthesis Workshop, 2021.

[12] Binbin Shen, Zhiyong Wu, Yongxin Wang, and Lianhong Cai. Combining active and semi-supervised learning for homograph disambiguation in mandarin text-to-speech synthesis. In Interspeech, 2011.

[13] Noushin Riahi and Fatemeh Sedghi. A semi-supervised method for persian homograph disambiguation. In Iranian Conference on Electrical Engineering, 2012.
[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NeurIPS), 2017.

[15] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In International Conference on Computer Vision (ICCV), 2015.

[16] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[17] English Vocabulary Profile. English vocabulary profile online - american english. https://www. englishprofile. org/american-english, 2023.

[18] Han Xiao. Bert-as-service. https://github.com/ hanxiao/bert-as-service, 2018.

[19] Xavier Glorot and Yoshua Bengio. Understanding the difficulty of training deep feedforward neural networks. In International Conference on Artificial Intelligence and Statistics, pp. 249-256, 2010.

[20] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.


# 単語に対して複数の表現を使用した上位概念の発見

盛野晃平 ${ }^{1}$ Tad Gonsalves ${ }^{1}$
${ }^{1}$ 上智大学 理工学研究科 理工学専攻 情報学領域
k-morino-5m6@eagle.sophia. ac.jp t-gonsal@sophia. ac.jp

## 概要

単語同士の関係性を機械学習を用いて見つけるこ とは自然言語処理の分野で重要なタスクである。そ の中でも本研究では上位概念の発見という，単語を より抽象度の高い単語で表すタスクに取り組む. 先行研究では， 1 つの単語に対して 1 つ表現を使用 して学習を行っていたが提案するモデルでは単語に 対して意味を考慮した複数の表現を用いて学習する ことを提案する. SemEval2018 task9 [5] というコンペ ティションで提供されているデータで学習と評価を 行った.

## 1 はじめに

自然言語の上位概念・下位概念の関係は言語の意味的な関係においてとても重要なものである.ある 単語のより抽象的な意味を表す上位語と, ある単語 をより具体的に説明する下位語の関係である. 本研究で取り組むタスクは上位概念の発見である.この タスクは, 単語が与えられたときに上位概念の候補 の単語の中から, その単語の上位概念としてふさわ しい単語にランキングをつけて出力することが目的 である. 本研究では教師あり学習を使用し, CRIM [4] が提案するモデルをもとに，単語に対して意味を考慮した複数の表現を出力できる Adaptive Skip-gram [3] (AdaGram)を使用して学習および精度の検証を行 う.

## 2 関連研究

上位概念の発見にはパターンベースのアプローチ と分散表現を使用したアプローチがある.

パターンベースのアプローチでは Hearst [6]が提案 した文法のパターンを使用して上位語と下位語の関係を見つけ出す，簡単にできる一方で，計算時間の 問題, 言語依存, 上位語と下位語が同じ文章内で現
れる必要があることによる低い再現率といった問題 が挙げられる。

2つ目の方法として分散表現を用いたアプローチは，教師あり学習または教師なし学習を使用し, 単語の 埋め込み表現を使用して関係性を見つけ出すことを 目標にしている. Adapt [8]は上位概念の発見のため に Skip-gram [9]を用いて単語の埋め込み表現を学習 し, 得られた単語の埋め込み表現をもとにコサイン 類似度を用いて上位概念か否かの判定をする教師な し学習のモデルを提案している。より一般的なのは 教師あり学習のモデルである．教師あり学習では単語の埋め込み表現が入力され, 正解のペアデータを 用いてモデルを学習する. CRIM は教師なし学習と 教師あり学習を共に使うことで精度の向上をした.

[2]のモデルでは教師なし学習で上位語の発見の夕 スクに挑戦している，このモデルではコサイン類似度とコーパスにおける単語の出現の回数を基にした ランキング付けを行うメソッドを基に学習を行って いる.

精度を向上させるための別のアプローチとして, 単語の埋め込み表現に工夫を加えるものが挙げられる。 [1]は BoxE という，エンティティをポイントして埋 め込み，基本的な論理的な性質を特徴づけた超長方形のセットに関係性を埋め込む方法を提案した。

[10]は box embedding を上位概念の発見で使用する モデルである HyperBox を提案した。

## 3 提案手法

## 3.1 前処理

まず，単語の表現のモデルを作成するためにラベ ル付けされていない文章の単語の前処理を行う。全 ての単語の文字を小文字にして，複数の単語で成り 立つ言葉の単語間のスペースをアンダースコアに変換し 1 つの単語として学習を行う. さらに, ノイズ になる単語を取り除く。

## 3.2 単語埋め込み表現のモデル

本研究では, Skip-gram を使用して単語の埋め込み 表現を得ている CRIM と異なり, それぞれの単語に 対して複数の表現を用いる. そのために AdaGram を 使用する.この手法は， 1 つの表現で単語のすべて の意味を考慮することは難しいのではないかという 推測のもと提案され, word similarity のタスクで従来 の Skip-gram に比べて良い精度を示した. AdaGram を用いて学習することで意味を考慮した単語埋め込 み表現を得ることができる。また, AdaGram は自動的に単語の意味の数を学習することができる. それ ぞれの単語は意味ごとの表現に従ってインデックス が付与される.

## 3.3 ペアの選択

それぞれの単語に対して複数の表現を用いるため にはトレーニングのペアの選択を慎重に行う必要が ある. 学習で用いるラベル付けされたデータは, 1 つ の下位語と 1 つ以上の上位語で成り立っている. そ れぞれの単語に対してどの単語の表現を使用するか を決める必要があるので, この選択はコサイン類似度をもとに行う. 下位語 $\mathrm{q}$ が $\mathrm{n}$ 個の意味を, 上位語 $\mathrm{h}_{\mathrm{i}}(\mathrm{i}=1,2, \ldots \mathrm{k})$ が $\mathrm{m}_{\mathrm{i}}$ 個の意味を持っていた場合に，す べての下位語と上位語の意味を考慮した表現同士の コサイン類似度を計算するので，

$
P=n \times \sum_{i=1}^{k} m_{i}
$

$\mathrm{P}$ 個の計算結果を比較し, その中でベストな値を示 したぺアをトレーニングデータとして採用する.こ の時に，コサイン類似度が 0 より大きいペアのみ採用する. Algorithm1 に実際の選択方法を示す.

図 1 に上記の計算を行うことで選択されるぺアの 例を示す. Algorithm1 に従って, それぞれの単語に は事前学習済みの単語埋め込み表現モデルが出力す る意味を考慮した表現の数に従ってインデックスが 付与される. インデックスが付与された単語のぺア を使用して学習を行う. 検証, テスト用のペアは意味を考慮したインデックスが付与されていない.コ サイン類似度を用いれば，これらのペアにもインデ ックスを付与することは可能だが正確性に欠けてし まう. 推論の際に出力されるのは意味のインデック スが付与された単語であるので, 検証とテストを行

う際には，それらのインデックスを取り除く必要が ある。学習済みのモデルは, 単語ごとに上位語とし て予測した単語をスコアとともに出力する.このス コアは上位語としてどれだけふさわしいかを表した ものである. このスコアをもとにランキングを作成 し上位 $\mathrm{n}$ 語の単語を取得し評価を行う. 評価手法に 関しては 4.2 で説明する.

図 1 意味に応じてインデックスが付与されたペア

## 3.4 上位概念発見のモデル

上位概念の関係を見つけるためのモデルは CRIM が提案したモデルをもとに作成する。学習は Projection learning [11]という単語の埋め込み表現の 射影ベクトルを使用した方法で行う. 下位概念の単語の埋め込み表現の射影ベクトルと上位語の候補の 単語の埋め込み表現のベクトルの距離を計算しスコ アを出力する．上位語のランキングを作成するとき には, 出力されたこのスコアが高いものから順に上位語としてふさわしいと判断をした. 活性化関数に は sigmoid 関数を使用し, 損失関数は Binary cross entropy を使用した. Negative sampling を用いて学習 を行うので, 出力されたスコアを正解のデータでは 1 に不正解のデータを 0 に近づけるように学習を行 った。学習の際のロスは正例と負例におけるロスを 合計したものを使用した. 最適化には Adam [7]を使用した. 図 2 にモデルの学習手順を示す.

図 2 トレーニング手順

## 4 実験

## 4.1 データセット

本研究では, SemEval2018 task9 で提供されている 英語のデータセット（1A, 2A, 2B）を用いて実験を 行った. それぞれのデータセットはラベル付けをさ れていないテキストデータと上位語・下位語のぺア のデータで構成されている.2Aのデータは医療の領域, 2B のデータは音楽の領域の単語のペアを持つ. $1 \mathrm{~A}$ のデータが 1 番多く,学習とテストデータは 1,500個あり，2Aと 2B は 500 個ある. それぞれ 1 つ以上 の上位概念・下位概念のぺアを持つ. $1 \mathrm{~A}$ のデータの 検証用のデータ数が 50 個あるのに対して $2 \mathrm{~A}$ と $2 \mathrm{~B}$ の検証用のデータの数は 15 語しかないので学習の 精度に影響を及ぼす可能性がある。単語の埋め込み 表現のモデルはそれぞれのデータセットのテキスト データを基に作成した。

## 4. 2 評価指標

提案するモデルは最大で上位 15 語の予測結果を 3 つの指標を用いて評価した. SemEval 2018 task 9 で使われている評価指標と同じものを使用した。 1 つ目は, Mean Average Precision(MAP)である. MAP を提案するモデルの評価の主要な指標として 用いた. Average Precision は, その順位までの正解率を特定のデータにおいて平均を求めたものであ る.この指標の平均が MAP にあたる.

$
\mathrm{MAP}=\frac{1}{|Q|} \sum_{q \in Q} A P(q)
$

2つ目は, Mean Reciprocal Rank(MRR)である. MRR は最初に現れた正解データの順位の逆数の平均をとったものである.

$
\mathrm{MRR}=\frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{\text { rank }_{i}}
$

3 つ目が，P@1である．P@n (n は自然数)は上位 $\mathrm{n}$個における Precision である. HyperBox と精度の比較を行う際には $\mathrm{P} @ 5 を$ 使用した。

## 4. 3 実験手順

まず, 3.1 で説明した前処理を行った. 次に, 単語 をべクトル表現するためのモデル(Emb model)を AdaGram を用いて作成した.このモデルが出力する 単語埋め込み表現の次元は CRIM が用いている単語埋め込み表現の次元に合わせて 300 である. 加えて， Emb model はコーパスで現れる回数が 5 回未満の単語を無視した. さらに，そのモデルにおいて単語が どれくらいの数の意味を持っているかは, AdaGram の論文で採用されている閾値 $10^{-3}$ を用いて定めた。作成された Emb model をもとに 3.3 で説明されてい る手順に従ってトレーニング用の上位概念・下位概念のペアを作成した．学習時に使用する不正解のデ 一夕は, その単語の上位概念の正解データに含まれ ない他のペアの上位語をランダムに取得し使用した.

CRIM のモデルは結果の評価をする際にはデータの 種類に関わらず, $1 \mathrm{~A}$ のデータのみでパラメータのチ ユーニングしたモデルを使用していたので，それに 倣って 1A のデータのみでチューニングしたパラメ 一タを $2 \mathrm{~A} ， 2 \mathrm{~B}$ のデータセットでのトレーニングに も用いた。トレーニング中で最も高い MAP を得る ことができたモデルをテストに用いた。テストでは 先ほど説明した評価指標をもとに CRIM との精度の 比較を行った。

## 5 実験結果

## 5.1 英語のデータにおける実験結果

表 1 に英語のデータにおける実験の結果を示す. CRIM の精度は提案するモデルと公平に評価するた めに, 教師あり学習でパターンを基にしたアプロー チを使用していないものを用いた. CRIMでは Hearst が提案した上位概念・下位概念の関係を見つけるこ とができる文法のパターンを用いて上位語の発見を 行っている. 提案するモデルは CRIM と比べると $2 \mathrm{~A}$ データセットの MAP の結果を除き他の全ての指標 で精度を上回った. 特に, MRR と $\mathrm{P} @ 1$ の指標で大幅に精度を改善することができた。

Algorithm1 で説明をしたコサイン類似度が 0 より大 きいぺアのみ選択する処理を行わないと $1 \mathrm{~A}$ のデー タセットにおいて MAPが 35.96\%, MRRが 18.77\%, P@1が 29.73\%となった.

## 5.2 チューニングを行った際の実験結果

CRIM との結果を比較したが，提案するモデルは 2A, 2B のデータに対してはパラメータのチューニン グを行っていないので，それぞれのデータセットに対してチューニングを行えばより高い結果が得られ ると推測した. 結果の比較の際には，2A と 2B のデ ータセットでCRIM に比べて高い精度を示している HyperBox を使用する. 提案するモデルでは $2 \mathrm{~A}$ に対 してパラメータのチューニングを行ったときには精度の改善が見られたが，2B のデータで行った際に は精度の改善ができなかったので 2B の実験結果に 関しては表 1 と同じ結果を使用する。表 2 に結果の 比較を示す。全ての項目で提案するモデルは HyperBox の精度を上回った. 特に MRR のスコアに 関しては大幅に精度を上回った. 英語のデータでの 実験の際にも同じように MRR の大幅な改善が見ら れた. このことから提案するモデルは，上位語の単語をより高い順位で出力することができたことがわ かった.

表 2 チューニング後の実験結果

## 6 まとめ

本研究では，上位概念の発見のタスクにおいて， 1つの単語に対して意味を考慮した複数の単語の表現を用いることで予測の精度を改善できることを示 した. さらに，モデルを構築するためのトレーニン グペアを選択する方法を説明した。提案するモデル は，意味を考慮した単語の表現を得るために人間が 構築した辞書などを必要としないので，学習用の上位概念・下位概念のぺアがあれば容易に適応するこ とができる.

## 参照文献

1. ABBOUD, Ralph, et al. Boxe: A box embedding model for knowledge base completion. Advances in Neural Information Processing Systems, 2020, 33: 9649-9661.

2. ATZORI, Maurizio; BALLOCCU, Simone. Fullyunsupervised embeddings-based hypernym discovery. Information, 2020, 11.5: 268.

3. BARTUNOV, Sergey, et al. Breaking sticks and ambiguities with adaptive skip-gram. In: artificial intelligence and statistics. PMLR, 2016. p. 130-138.

4. BERNIER-COLBORNE, Gabriel; BARRIERE, Caroline. Crim at semeval-2018 task 9: A hybrid approach to hypernym discovery. Proceedings of the 12 th international workshop on semantic evaluation. 2018. p. 725-731.

5. CAMACHO-COLLADOS, Jose, et al. SemEval2018 task 9: Hypernym discovery. Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval-2018); 2018 Jun 5-6; New Orleans, LA. Stroudsburg (PA): ACL; 2018. p. 71224. ACL (Association for Computational Linguistics), 2018.

6. HEARST, Marti A. Automatic acquisition of hyponyms from large text corpora. COLING 1992 Volume 2: The 14th International Conference on Computational Linguistics. 1992.

7. KINGMA, Diederik P.; BA, Jimmy. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

8. MALDONADO, Alfredo; KLUBIČKA, Filip. Adapt at semeval-2018 task 9: Skip-gram word embeddings for unsupervised hypernym discovery in specialised corpora. Proceedings of The 12th International Workshop on Semantic Evaluation. 2018. p. 924-927.

9. MIKOLOV, Tomas, et al. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, 2013, 26.

10. PARMAR, Maulik, et al. HyperBox: A Supervised Approach for Hypernym Discovery using Box
Embeddings. arXiv preprint arXiv:2204.02058, 2022.

11. YAMANE, Josuke, et al. Distributional hypernym generation by jointly learning clusters and projections. Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers. 2016. p. 1871-1879.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 深層学習を利用した PropBank 形式の 日本語意味役割付与モデル

タロックカラム 1 竹内孔一 2 バトラーアラステア 3
長崎郁 4 パルデシプラシャント 5
1 岡山大学大学院 2 岡山大学学術研究院
3 弘前大学 4 名古屋大学 5 国立国語研究所
poq93z0h@s. okayama-u.ac.jp
takeuc-k@okayama-u.ac.jp

## 概要

本論文では日本語に対して述語項構造シソーラ スの概念フレームを基に PropBank 形式の意味役割 を付与したタグ付きコーパス NPCMJ-PT に対して，複数の深層学習モデルを適用することで，意味役割 ラベルとその範囲 (スパン)を予測する実験を行っ たので報告する. 深層学習で利用するモデルとして BERT の他にスパンを選択するためのモデルを導入 する。また NPCMJ-PT のデータからは意味役割が付与された事例約 53,000 事例 (1 事例 1 述語の意味役割) を利用する. 評価実験において BERT の利用層 の異なりや特徴量を変えることで最も高い精度を出 すモデルについて検討する。

## 1 はじめに

意味役割ラベル付与というタスクは文内の述語と 係り関係にある句に対して意味的な関係を付与す るタスクである。例えば図 1 では「壊す」の述語と 係り関係にある「彼は」「木の扉を」「手で」3つの 句に対して $\operatorname{Arg0}, \mathrm{Arg} 1, \mathrm{Arg}-\mathrm{MNS}$ のラベルを付与 するタスクである.この $\operatorname{Arg0}$ などのラベルはここ では $\operatorname{Arg} 0$ は動作主 (壊す人), $\operatorname{Arg} 1$ は壊される対象, ArgM-MNS は壊す際に使う手段を表しており，これ は述語の概念フレームによって異なる. 図 1 には概念フレームは示していないがここでは壊すは [破壊] という概念 (FID=277) である. これらは述語項構造 シソーラス $(\mathrm{PT})^{1)}$ で公開している.

一方，国立国語研究所では Web 上で公開可能な

1） https://pth.cl.cs.okayama-u.ac.jp/.「壊す」の他の概念フレー ムとして [身体部分の症状 (195)] 「異を壊す」や [消滅 (137)]「計画を壊す」がある。それぞれ概念フレームによって意味役割の意味が異なる.

図 1 「彼は木の扉を手で壊した」の意味役割ラベル

日本語テキストに対して構文木を付与したデータ NPCMJ を作成して公開している2). NPCMJ に対し て述語項構造シソーラスの体系を基に PropBank 形式の意味役割を付与したデータが NPCMJ-PT であり 現在も付与を続けている.

そこで，本論文では NPCMJ-PT に付与されている 意味役割データ (意味役割は 32 種類) に対して，深層学習モデルを適用することで係り関係にある句と その意味役割ラベルを推定する。

## 2 関連研究

意味役割付与の研究は主に英語の PropBank を 利用したデータで研究されており，CoNLL2005 や CoNLL2012 のデータが利用されている $[1,2,3]$. 上述の通り，意味役割は係り関係にある句を取り出す 必要があるため，複数の単語列を文から取り出す必要がある. 文献 [1] にあるように大きく分けて 3 種類の方法がある．1)IOB2 タグで意味役割のラベル と区間をモデル化する手法 (例えば [4])，2) スパン ベースで解く方法 $([2,3]), 3)$ 各フレーズの主辞単語を同定してから解く方法 (例えば [5]) が提案され ている。本論文では 2)のスパンを利用した手法 [3] を参考に日本語意味役割付与モデルについて検討 する。

## 3 スパンに基づく意味役割付与モ デル

2) https://npcmj.ninjal.ac.jp/index.html.

図 2 スパンベクトル「彼は木の扉を手で壊した」の意味役割ラベル

## 3.1 スパン選択モデル

本論文ではスパン選択モデル [3] を基にした深層学習による意味役割付与モデルを構築する. まず入力文である日本語はすべてトークン化された状態で 入力するとし，またどの述語に対する項 (述語と係 り関係にある句) を取り出すか指定することとする。

スパンは文中の対象の述語に対する 1 つの項を 表し, その最初と最後の形態素に対応したトークン 番号を $i, j$ とし, 意味役割のラベルを $l$ としたとき $\langle i, j, l\rangle$ で表す. 各トークンに対する分散表現ベクト ルを $h_{i}, h_{j}$ とすると, 最大のトークン列について全 ての組 $\left[h_{i}, h_{j}\right]$ を作成する. このべクトル組を連結 して1つのべクトルにしたものを本論文ではスパン ベクトルと呼ぶ.

これらのスパンベクトルに対して意味役割が付与 されているものには $\operatorname{Arg} 0$ や $\operatorname{Arg} 1$ など付与し，その 他の部分について $\mathrm{O}$ や述語 $\mathrm{V}$ や $\mathrm{N}(\mathrm{Null})$ タグ, さら に意味役割の句よりも短いものは F(Fragment) など ラベルを設定して，全スパンの組み合わせについて ラベルを用意する ${ }^{3}$. 誤差学習の部分では, 全スパ ンの組に対して正解ラベルとの誤差を計算して，ク ラス分類に基づく誤差でニューラルネットワークの 重みを学習する。

次に，テストデータに対する意味役割付与におい て，各スパンベクトルの意味役割ラベルを推定し た値 (Softmax や Logits を利用)を利用して值が大き いものから順に Greedy で意味役割のスパンとラべ ルを決定する.この処理を Decode と呼ぶ. この際， スパンが重ならないように選択する。また，テスト データに対しては学習中に利用した $\mathrm{F}$ や タグは無

$ は全部で 32 種類，その他 $\mathrm{O}, \mathrm{V}, \mathrm{N}$ と -A, F-Pを含めて学習時は 37 種のタグで学習する.
}

る. 図 2 に最終層の部分の処理について記述する. スパンベクトルには指定する述語を含むかどうかを 知らせる 1 次元のべクトルを連結している.

## 3.2 スパンベクトルの作成

スパンベクトル作成のために様々な深層学習モ デルを利用する。まず文書は BERT を利用してトー クン化を行い，各トークンに対する分散表現べク トルとする. BERT は東北大が作成した Huggin Face の BERT (Small)4)を利用する。この基本モデルを基 に，複数のモデルを作成する．1) Base: BERT の最終出力層のベクトルを利用する。また Decode 時 に softmax の值を利用する. 2) Logits: Decode 時に logits の値を利用する. 3) ExO: Decode 時に O タグ を予測しない. 4) DelO: 学習時に O ラベルを Nに統合. 5) AddF: 学習時に F ラベルを F-A0, F-A1 などよ り詳細に付与する. 6) Enc4: Base モデルの BERT の エンコーダの学習層を最終 4 層に変更. これら 6 種類のモデルを作成して実験を行う。

## 3.3 実験

上記で定義したモデルに対して意味役割付与デー タ (NPCMJ-PT) で学習およびテストを害施する.こ れによりどのモデルが効果的であるか実験的に明ら かにする。

## 3.4 実験設定

NPCMJ-PT から抽出した学習データは 1 述語に対 して関係する意味役割が付与されている形式であ る. そのため同じ文であっても対象とする述語が異 なれば別の 1 件としてデータが作成されている. 1 述語のデータの件数は 5483 件で，これらから意味役割の部分だけ取り出すと全部で 53,867 件である. これを学習，開発，テストデータとして $8: 1: 1$ に分割して利用する。

評価としてスパンと意味役割タグが一致した 部分のみ正解とする。また評価値としては適合率 (Precision), 再現率 (Recall), 調和平均 (F) を利用す る.

## 3.5 実験結果と考察

上記のモデルについてテストデータに対して意味役割付与を行った結果を表 1 に実験結果を記述

表 1 NPCMJ-PT に対する意味役割付与実験

する.

表 1 から，まず Base モデルと比較して softmax で はなくlogitsを利用した場合は $\mathrm{F}$ 値が下がったため softmax を利用した方が良いことが分かる。また副次的に出力している $\mathrm{O}$ タグや $\mathrm{N}$ タグ， $\mathrm{F}$ タグである が, 基本的にはこれらは最終の出力としては利用さ れないタグではあるが，タグそのものは正解の意味役割ラベルから与えられているため, ある種の異な るタスクをモデルに解かせている状態と考えられ る. ExO や DelO などタグを削除する方向では精度 が下がったため, 逆に F タグを細かく設定して学習 させたところ精度の向上が見られた. また，Base に たいして F 値を上回ることができた.

また，一方で BERT から取り出すべクトルを変更 した Enc4 は大きく精度が向上し, 提案したモデル の中で最も高い値をしめした. BERT の最終出力層 だけでなく最終の 4 層部分を利用した方がよいこと がわかる.

また表 1 の結果は英語ので CoNLLを利用した結果より $\mathrm{F}$ 值が低いことが分かる. しかしながら学習データが意味役割の項で約 20 万以上 ${ }^{5 ）}$ ときい ことから，学習データ量による差があると考えら れる。

## 3.6 おわりに

日本語の PropBank 形式の意味役割付与データで ある NPCMJ-PT に対して，スパンに基づく意味役割付与モデルを構築して評価実験を実施した. その結果 $\mathrm{F}$ 值として約 0.62 の精度を得ることができた.意味役割の種類数は 32 である. 英語の結果に比べ て F 值が劣る理由としてデータ量が挙げられるが， NPCMJ-PT も約 5 万例と少なくない意味役割データ 量であるため，より外部知識や深層学習モデルを工夫することにより精度の向上を行う予定である.

## 謝辞

本研究の遂行にあたって JSPS 科研費 JP22k00530 の助成を受けた。

## 参考文献

[1] Zhisong Zhang, Emma Strubell, and Eduard Hovy. Comparing span extraction methods for semantic role labeling. In Proceedings of the 5th Workshop on Structured Prediction for NLP, pp. 67-77, 2021.

[2] Luheng He, Kenton Lee, Omer Levy, and Luke Zettlemoyer. Jointly Predicting Predicates and Arguments in Neural Semantic Role Labeling. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 364-369, 2017.

[3] Hiroki Ouchi, Hiroyuki Shindo, and Yuji Matsumoto. A Span Selection Model for Semantic Role Labeling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1630-1642, 2018.

[4] Luheng He, Kenton Lee, Mike Lewis, and Luke Zettlemoyer. Deep Semantic Role Labeling: What Works and What's Next. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 473-483, 2017.

[5] Zhisong Zhang, Xiang Kong, Zhengzhong Liu, Xuezhe Ma, and Eduard Hovy. A two-step approach for implicit event argument detection. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7479-7485, 2020.

5） https://www.cs.upc.edu/ srlconll/st05/slides/intro.pdf


# 深層距離学習を用いた動詞の意味フレーム推定

山田 康輔 1 笹野遼平 1,2 武田 浩一 1
1 名古屋大学 2 理化学研究所
yamada.kosuke.v1@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

意味フレーム推定において、事前学習済み文脈化単語埋め込みを用いる手法が主流になっている。し かし、汎用的な埋め込み空間は、必ずしもフレーム に関する人間の直観と一致しているわけではない。 そこで、本研究では、コーパス内の一部の述語につ いてのラベル付きデータの存在を仮定し、深層距離学習に基づき文脈化単語埋め込みをファインチュー ニングすることで、高精度な意味フレーム推定を実現する手法を提案する。実験を通し、深層距離学習 を適用することで、 8 ポイント以上スコアが向上す ることを示す。さらに、教師データが極めて少量で ある場合でも、提案手法が有効であることを示す。

## 1 はじめに

動詞の意味フレーム推定は、テキスト中の動詞 を、その動詞が喚起する意味フレームごとにま とめるタスクである。たとえば、表 1 に示される FrameNet [1,2]の 8 つの用例の場合、各動詞が喚起 するフレームごとにグループ化し、4つのクラスタ を形成することが目標となる。

意味フレーム推定において、ELMo [3] や BERT [4] などの文脈化単語埋め込みの有用性が報告されてい る [5, 6, 7]。図 1 (a) は FrameNet に含まれる用例中の 動詞の事前学習済み BERT (Vanilla BERT) による埋 め込みを t-SNE [8] で 2 次元にマッピングした結果 である。動詞「cover」の用例 (1) と (7) は空間上で離 れている一方、同じ TOPIC フレームを喚起する動詞 の用例 (7) と (8) は近くに位置しており、ある程度、意味フレームの違いを反映した埋め込み空間である といえる。しかし、同じフレームを喚起する動詞が 離れた位置に存在するケースも散見される。たとえ ば、同じ Removing フレームを喚起する動詞の用例 (5) と (6) は互いに離れた位置に存在している。これ は Vanilla BERT の埋め込み空間が、意味的に似た事例が近い位置に、異なる事例が離れた位置になると表 1 FrameNet 内のフレームを喚起する動詞の用例

Removing (5) Volunteers removed grass from the marsh.

ToPIC

(7) Each database will cover a specific topic.

(8) Chapter 8 treats the educational advantages. (a) Vanilla BERT

(b) Fine-tuned BERT w/ AdaCos図 1 Vanilla BERT と AdaCos を用いてファインチューニ ングされた BERT による動詞の埋め込みの 2 次元マッ ピング。各色 (形) は Filling ($\cdot$)、Placing ( $\boldsymbol{x}$ )、Removing (ロ)、TopIc (+) フレームを示し、数字は表 1 と対応する。

いう人の直観と常に一致しているわけではないこと を意味している。

本研究では、フレームに関する人の直観をより強 く反映した意味フレーム推定手法を実現するため、 コーパス内の一部の述語に対してアノテートされた データの存在を仮定する教師あり意味フレーム推定 タスクにおいて、深層距離学習に基づき文脈化単語埋め込みをファインチューニングすることで、高精度な意味フレーム推定を実現する手法を提案する。深層距離学習は、同じラベルの事例を埋め込み空間上で近づけ、異なるラベルの事例を遠ざける学習を 行うものであり、教師データに基づく埋め込み空間 の調整が期待できる。図 1 (b) は代表的な深層距離学習手法の 1 つである AdaCos [9]を用いてファイ ンチューニングした BERT による埋め込みの 2 次元マッピングである。Vanilla BERT において同じ意
味フレームを喚起する動詞の用例であるにも関わ らず、距離が離れていた用例 (3) と (4)、用例 (5) と (6) が、AdaCos を用いてファインチューニングした BERT では、互いに近い位置に存在していることが 確認できる。これは、深層距離学習によって、意味 フレームに関する人の直観をより反映させた埋め込 み空間が得られたことを示している。

## 2 教師あり意味フレーム推定

動詞の教師あり意味フレーム推定は、コーパス内 の一部の動詞への教師データの存在を仮定した意味 フレーム推定タスクであり、より性能の高い意味フ レーム推定手法を実現することが目的となる。教師 なし意味フレーム推定では、文脈化単語埋め込みな どの特徴量ベクトルを用いたクラスタリングベース の手法が一般的であるが、教師あり意味フレーム推定においても同様の桿組みが適用できる。異なる点 は、教師データを用いることで特徴量ベクトルを学習できるかどうかである。本稿では、教師データで ある学習セットに存在しない動詞の意味フレーム推定に対応するため、学習セットとクラスタリング対象のテストセット内の動詞が重複しない設定を採用 する。ただし、異なる動詞が同一のフレームを喚起 するケースは存在することから、テストセットに含 まれるフレームの一部は学習セットにも出現する。

## 2.1 ベースライン手法

シンプルなベースライン手法として、文脈化単語埋め込みによる 1 段階クラスタリングを用いる。1 段階クラスタリングでは、ユークリッド距離に基づ く群平均法による階層型クラスタリングを利用す る。また、Yamada ら [10]によるマスクされた単語埋め込みと 2 段階クラスタリングを活用した手法を 導入する。前者に関して、クラスタリングに用いる 埋め込みは動詞の文脈化埋め込み $\left(v_{\text {word }}\right)$ とその動詞を“[MASK]” に置き換えたときの文脈化埋め込み $\left(v_{\text {mask }}\right)$ の加重平均 $\left(v_{w+m}\right)$ とする。これは $\alpha$ を重みと して、式 (1) で定義される。

$
v_{w+m}=(1-\alpha) \cdot v_{\text {word }}+\alpha \cdot v_{\text {mask }}
$

後者の 2 段階クラスタリングは、 1 段階目に動詞 ごとの用例クラスタリング1)、2 段階目に動詞横

断クラスタリングを行う手法である。1 段階目に X-means [11]、2 段階目に群平均法を用いる。その他 の設定は、Yamada ら [10] と同様とする。

## 2.2 深層距離学習の適用

教師あり意味フレーム推定において、文脈化単語埋め込みのファインチューニングとして深層距離学習を適用する。これにより、同じフレームの事例が 近づき、異なるフレームの事例が遠ざかることが期待される。本稿では、距離ベースと分類べースの 2 つのアプローチを採用する。

距離ベースのアプローチ 一般に複数エンコーダ を用いて事例ぺア間の距離を学習するアプローチで ある。事例ぺアはある事例をアンカーとし、同じフ レームの事例を正例、異なるフレームの事例を負例 として作成する。損失には以下の 2 つを導入する。

Contrastive 損失 [12] は、正例ぺアを近づけ、負例 ペアを一定のマージン以上遠ざける学習を実現す る。これは、クラス $i$ の事例の埋め込みを $x_{i}$ 、マー ジンを $m$ 、平方ユークリッド距離に基づく距離関数 を $D$ とした式 (2)で定義される。

$
L_{\mathrm{cont}}= \begin{cases}D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) & i=j \\ \max \left(m-D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right), 0\right) & i \neq j\end{cases}
$

また、Triplet 損失 [13] は、事例の 3 つ組に対して、 アンカー $x_{a}$ と負例 $x_{n}$ の距離を、アンカー $x_{a}$ と正例 $x_{p}$ の距離より一定のマージン以上遠ざける学習 を行うものであり、式 (3) で定義される。

$
L_{\text {tri }}=\max \left(D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{p}\right)-D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{n}\right)+m, 0\right)
$

分類ベースのアプローチ 近年、顔認識タスクを 中心に広く利用されているアプローチである。この アプローチのモデルの多くは、単一エンコーダと線形層を持つネットワークを利用し、式 (4) の softmax 損失がベースとなっている。式 (4) の $\boldsymbol{w}_{i}$ と $b_{i}$ は線形層の重みとバイアス、 $n$ はクラス数を示す。

$
L_{\mathrm{soft}}=-\log \frac{e^{\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}+b_{i}}}{\sum_{j=1}^{n} e^{\boldsymbol{w}_{j}^{\top} \boldsymbol{x}_{i}+b_{j}}}
$

重み $\boldsymbol{w}_{i}$ をクラス $i$ の埋め込みと捉元、事例とクラ スの埋め込みの距離を学習するための損失がいくつ か提案されている $[14,15,16]$ 。その中でも ArcFace 損失 [16] は幾何的な解釈に優れることから広く 利用されている。ArcFace 損失は、式 (5) のように、 softmax 損失をべースとして、 $b_{i}$ を除き、 $\boldsymbol{w}_{i}$ と $\boldsymbol{x}_{i}$ に $l_{2}$ 正規化を適用することで $\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}$ を $\cos \theta_{i}$ と表現し、

3 分割交差検証による教師あり意味フレーム推定実験結果。\# $\mathrm{pLU}$ と $\mathrm{C}$ はそれぞれ $\mathrm{pLU}$ 数とクラスタ数を示す。

} & Vanilla & 0.00 & - & 429 & $53.0 / 57.0 / 54.9$ & $40.8 / 44.6 / 42.6$ \\

クラス内の集約性とクラス間の分散性を強化するた めにマージン $m$ とスケール $s$ を導入している 2$) 。$

$
L_{\mathrm{arc}}=-\log \frac{e^{s \cdot \cos \left(\theta_{i}+m\right)}}{e^{s \cdot \cos \left(\theta_{i}+m\right)}+\sum_{j=1, j \neq i}^{n} e^{s \cdot \cos \theta_{j}}}
$

Zhang ら [9] はこれらの損失の性能がハイパーパ ラメータ依存な点を指摘し、それらの値を調査して いる。結果として、マージンを除き、動的なスケー ル $\tilde{s}$ を用いた式 (6)の AdaCos 損失を提案している。

$
L_{\mathrm{ada}}=-\log \frac{e^{\tilde{s} \cdot \cos \theta_{i}}}{\sum_{j=1}^{n} e^{\tilde{s} \cdot \cos \theta_{j}}}
$

## 3 実験

教師あり意味フレーム推定における深層距離学習 によるファインチューニングの有用性を評価する。 また、少量の学習事例における性能を検証する。

## 3.1 実験設定

データセット FrameNet 1.7 [2] から、フレームを 喚起する動詞の用例を抽出し、データセットを作成 した。 3 分割交差検証を行うため、それらを動詞単位で分割し3）、3つのサブセットを作成した。動詞数、 $\mathrm{LU}$ 数、フレーム数、事例数の平均は、それぞれ 831、1,273、434、27,537 である。学習セットは文脈化単語埋め込みのファインチューニングに使用し、開発セットは埋め込み $v_{w+m}$ の重み $\alpha^{4)}$ 、クラスタ 数、マージン5) の決定に使用する。

2）マージンとスケールの働きが類似すること [9] から、本実験では、スケールを 64 に固定し、マージンのみを探索する。

3）多義動詞の割合は一定とする。

4） 0 から 1 まで 0.1 刻みで探索している。

5） contrastive 損失と triplet 損失では、 $0.1 、 0.2 、 0.5 、 1.0 、$ ArcFace 損失では、 $0.01 、 0.02 、 0.05 、 0.1$ の範囲で探索している。比較手法 文脈化埋め込みモデルとして、事前学習済み BERT (bert-base-uncased) ${ }^{6}$ )を使用する。ファ インチューニングをしないモデル (Vanilla) と 5 つ のファインチューニングされたモデル (Contrastive、 Triplet、Softmax、ArcFace、AdaCos) に対して、1 段階クラスタリングと 2 段階クラスタリングを用いた 全部で 12 の手法を比較する。埋め込みは全て $l_{2}$ 正規化を適用する。また、バッチサイズは 32、学習率 は 1e-5、エポック数は 5 とし、最適化アルゴリズム は AdamW [17]を使用する。

評価指標評価指標として、B-cubed Precision

值 $(\mathrm{BCF})[18]$ と、Purity (PU)、Inverse Purity (IPU)、お よびその調和平均である $\mathrm{F}$ 值 (PIF) [19]を使用する。

## 3.2 実験結果

表 2 に実験結果を示す。Vanilla モデルと比較し て、ファインチューニングされたモデル、特に Triplet、ArcFace、AdaCos モデル、は全体的に高い

できる。一方、Contrastive モデルでは相対的に低い スコアとなった。これは Contrastive モデルのマージ ンが適切な粒度のクラスタ構築との親和性が低いこ とが要因であると考えられる。クラスタリングに関 して、2 段階クラスタリングが 1 段階クラスタリン グに比べて全体的に高いスコアを達成している。し かし、Vanilla モデルの場合では BcF と PIF 共に 12 ポイント以上差があったが、ファインチューニング されたモデルの場合ではその差が縮まっているこ

6) https://huggingface.co/bert-base-uncased
学習事例数を変化させたときの実験結果。各列は学習セット内の各 LU の使用された最大事例数を示す。

Vanilla BERT

Self_motion $*$ EXPerilencer_obJ

A BODY_MOVEMENT

Fine-tuned BERT w/ Triplet

PLACING

太 PATH_SHAPE

図 23 つのモデルにおける $v_{\text {word }}$ の 2 次元マッピング。各色および形状は事例数の多い上位 10 フレームを示す。

とが確認できる。このため、ファインチューニング を行う場合、1 段階クラスタリングも有望な選択肢 になり得る。また、重み $\alpha$ に関して、スコアの高い AdaCos や Triplet モデルを用いた 2 段階クラスタリ ングにおいて值が 0.5 であり、マスクされた単語埋 め込みを用いることの有効性が確認できる。

以上の実験結果から、約 30,000 という大規模な学習事例数が存在する場合については、学習事例に基 づきファインチューニングを行うことで高い性能を 実現できることが確認できた。しかし、FrameNetの ような大規模リソースが存在しない言語への適用を 考えた場合、少量の学習事例に対しても高い性能が 期待できることが重要となる。そこで、LUごとの 最大学習事例数の条件を ' 1 '、 ' 2 '、 ' 5 '、' 10 '、' 'all'と して実験を行った。 3 セットの平均学習事例数はそ れぞれ 1,273、2,445、5,680、10,053、27,537である。表 3 に結果を示す。Triplet モデルは少ない学習事例数においても有用であることが確認できる。特に、 2 段階クラスタリングでは、' 1 ' と 'all' で学習事例数 が 20 倍以上異なるにも関わらず、スコアは 3 ポイ ント程度しか変わらないことから、少量の教師デー タが存在するのであれば、Triplet モデルを用いた 2 段階クラスタリングを適用することで、高精度な意味フレーム推定が実現可能と考えられる。一方、 AdaCos モデルでは学習事例が少ない場合は大きな 性能の改善が確認できない。これは線形層の重みが 十分に学習されないためであると考えられる。

図 2 に Vanilla、Triplet、AdaCos モデルの $v_{\text {word }}$ にお ける t-SNE による 2 次元マッピングを示す。Vanilla モデルでは、フレームごとに事例がまとまる傾向は あるが、SELF_MOTION フレームの事例は大きく $2 \supset$ のクラスタに分かれており、Removing フレームの 事例は散らばっている。一方、Triplet や AdaCos モ デルでは、Vanilla モデルと比較して、より意味フ レームごとにまとまっていることが確認できる。

## 4 おわりに

本稿では、文脈化単語埋め込みを深層距離学習に 基づきファインチューニングすることで高性能な意味フレーム推定手法が可能となることを示した。特 に、Triplet、ArcFace、AdaCos モデルは全体的に高い スコアを獲得しており、その有用性が確認できた。 また、Triplet モデルにおいては、少量の学習事例数 でも有用であることを示した。今後の方針として、多言語の動詞や名詞の意味フレーム推定における提案手法の有用性を検証したいと考えている。

## 謝辞

本研究は、JST 創発的研究支援事業 JPMJFR216N、 および JSPS 科研費 22J14993 の支援を受けたもので ある。

## 参考文献

[1] Collin F Baker, Charles J Fillmore, and John B Lowe. The Berkeley FrameNet project. In ACL-COLING, pp. 86-90, 1998.

[2] Josef Ruppenhofer, Michael Ellsworth, Myriam Schwarzer-Petruck, Christopher R Johnson, and Jan Scheffczyk. FrameNet II: Extended theory and practice. International Computer Science Institute, 2016.

[3] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In NAACL-HLT, pp. 2227-2237, 2018.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[5] Nikolay Arefyev, Boris Sheludko, Adis Davletov, Dmitry Kharchev, Alex Nevidomsky, and Alexander Panchenko. Neural GRANNy at SemEval-2019 task 2: A combined approach for better modeling of semantic relationships in semantic frame induction. In SemEval, pp. 31-38, 2019.

[6] Saba Anwar, Dmitry Ustalov, Nikolay Arefyev, Simone Paolo Ponzetto, Chris Biemann, and Alexander Panchenko. HHMM at SemEval-2019 task 2: Unsupervised frame induction using contextualized word embeddings. In SemEval, pp. 125-129, 2019.

[7] Eugénio Ribeiro, Vânia Mendonça, Ricardo Ribeiro, David Martins de Matos, Alberto Sardinha, Ana Lúcia Santos, and Luísa Coheur. L2F/INESC-ID at SemEval2019 task 2: Unsupervised lexical semantic frame induction using contextualized word representations. In SemEval, pp. 130-136, 2019.

[8] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using $\mathrm{t}$-SNE. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

[9] Xiao Zhang, Rui Zhao, Yu Qiao, Xiaogang Wang, and Hongsheng Li. AdaCos: Adaptively scaling cosine logits for effectively learning deep face representations. In CVPR, pp. 10823-10832, 2019.

[10] Kosuke Yamada, Ryohei Sasano, and Koichi Takeda. Semantic frame induction using masked word embeddings and two-step clustering. In ACL-IJCNLP, pp. 811-816, 2021.

[11] Dan Pelleg and Andrew Moore. X-means: Extending kmeans with efficient estimation of the number of clusters. In ICML, pp. 727-734, 2000.

[12] Raia Hadsell, Sumit Chopra, and Yann LeCun. Dimensionality reduction by learning an invariant mapping. In CVPR, Vol. 2, pp. 1735-1742, 2006.

[13] Kilian Q Weinberger and Lawrence K Saul. Distance metric learning for large margin nearest neighbor classifica- tion. Journal of Machine Learning Research, Vol. 10, No. 2, 2009 .

[14] Weiyang Liu, Yandong Wen, Zhiding Yu, Ming Li, Bhiksha Raj, and Le Song. SphereFace: Deep hypersphere embedding for face recognition. In CVPR, pp. 212-220, 2017.

[15] Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li, and Wei Liu. CosFace: Large margin cosine loss for deep face recognition. In CVPR, pp. 5265-5274, 2018.

[16] Jiankang Deng, Jia Guo, Niannan Xue, and Stefanos Zafeiriou. ArcFace: Additive angular margin loss for deep face recognition. In CVPR, pp. 4690-4699, 2019.

[17] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2017.

[18] Amit Bagga and Breck Baldwin. Entity-based crossdocument coreferencing using the vector space model. In ACL-COLING, pp. 79-85, 1998.

[19] Ying Zhao and George Karypis. Criterion functions for document clustering: Experiments and analysis. Technical report, Retrieved from the University of Minnesota Digital Conservancy, 2001.


# 論文執筆支援を目的とした引用要否判定タスクの ドメイン間比較

小山康平 ${ }^{1}$ 小林恵大 ${ }^{1}$ 成松宏美 ${ }^{2}$ 南泰浩 1
1 電気通信大学情報理工学研究科 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
k2131071@edu.cc.uec.ac.jp k2231042@edu.cc.uec.ac.jp
hiromi.narimatsu.eg@hco.ntt.co.jp minami.yasuhiro@is.uec.ac.jp

## 概要

学術論文の執筆および査読支援を目的として，引用の不足や余分な引用を自動で検出する引用要否判定タスクを課題とした研究が行われている.この 引用要否判定タスクは非常に高い精度の推定が可能であるが，実験に用いるデータセットには実用が 想定される状況よりも簡単な問題が含まれる懸念 がある．そのため，我々は引用要否判定タスクにお けるデータセットの妥当性について検討してきた。本稿では, 論文のドメインの観点から妥当性を検討 した. まず，異なるドメインから作成された複数の データセットを用いて引用要否判定タスクを実施し その精度を比較した. ドメインごとに推定精度に大 きな差があることが分かった．続いて，ドメインの 差による引用要否判定タスク精度差の原因を調査 するために，それぞれのデータセットに出現する単語パタンの比較を実施した. 出現する単語に差があ り, 引用要否判定学習モデルの学習精度にも影響を 与えている可能性があることが分かった.

## 1 はじめに

公開される学術論文の数は年々増加しており [1]研究者はこれまで以上に早いスピードで論文化し 公開することが求められている。この論文化の過程 では，学術論文を執筆する際，多数の関連研究を読 み，一文一文に気を配りながら適切に引用すること が求められ, 研究者の負担は増している. 論文執筆 に慣れた研究者であれば，それらの作業を効率よく 行うことができるが，そうでない場合には，執筆に 関わる負担は大きい。また執筆した論文をチェック する共著者や査読者への負担の影響も大きい。

こうした背景から，論文執筆支援に関わる様々な 研究が行われている。具体的には，既に検索済みの論文の閲読時間削減を目的とした論文要約 $[2,3,4]$ や，未検索の論文の効率的な検索を目的とした参考文献推薦 [5]，論文執筆の効率化を目的とした引用要否判定 $[6,7]$, 被引用文献割り当て [8], 引用文生成 $[9,10]$ などである. 本研究では，論文チェックに おいて最初に必要となる引用要否判定タスクに着目 する。

引用要否判定タスクとは，論文中の任意のある文 に対して引用が必要か必要でないかを推論するタス クである。 その精度は9 割程度と非常に高く [11].前後の文脈の入力や学習モデルの改善により, さら なる精度の向上が期待できる [12]. しかしながら，支援システムを目的とするとき，これらの精度が真 に得られているかは注意深く分析する必要がある.具体的には，引用箇所をそのまま取り除いているた めに発生する不完全文，引用をする際の明らかなパ タン，論文カテゴリの偏りなどが判定精度を高めて いる可能性が示唆される。 そのため, 我々は引用要否判定を正しく評価し，その判定精度を向上を目的 として，引用要否判定タスクのデータの妥当性分析 を行ってきた [12].

従来の引用要否判定タスクに用いられるデータ セットは単一のドメインから作成されている. ドメ インに偏りのあるデータセットを用いて引用要否モ デルの学習を行った場合，ドメイン特有の引用，た とえば固有名詞などを特徴として学び取ることで，高い精度が出ている可能性があり, 文全体から引用 が必要かどうかは判断できていない可能性がある.以上の理由から，本稿では，異なるドメインから作成された複数のデータセットを用いて引用要否判定タスクを実施しその精度を比較する. もし， ドメ インの偏りが引用要否判定タスクに影響を与える なら，どのような情報が引用要否判定タスクに影響 を与えるかを調査する必要がある．影響を与える要
素を特定するために，引用要否判定タスクに用いた データセットをドメインと引用の要否の観点から分類し， N-gram や Tf-idf を用いて分析を行う。

## 2 関連研究

引用論文推薦の前段階として，引用の要否を判定 する研究が行われている $[11,13]$. 引用要否判定夕 スクとは，論文中の各文に対して，引用が必要かど うかを判定するタスクである。初期の研究では，サ ポートベクターマシン (SVM) や決定木を使った判定器を学習する方法が提案されてきた [14, 15]. 彼 らは，ACLをはじめとする論文データベースから構築したデータセットを用いて評価を行なっていた。近年では，公開される論文数の増加に伴い，より 大規模な論文データベースからデータを作成できる ようになった. ARC [16]などは特に幅広く使われ ている大規模データセットである.これによりデー 夕量が必要な深層学習をべースとする手法も提案さ れてきている [17]. さまざまな自然言語処理のタス クで高い性能を発揮している大規模汎用言語モデル の一つである BERT [18] を用いた研究もある．堂坂 らは，BERT を引用要否判定タスクの少量のデータ で転移学習することで, Bonab らが公開した Citation Worthiness データセット [19]にて，CNNをベースと する手法よりも高い精度が得られ, $\mathrm{F}$ 值で 0.7 に到達することを示している. 成松らは, arXiv の論文 を対象にデータセットを構築し，BERT で評価をし た結果, $\mathrm{F}$ 值で 0.9 を達成しており, 高い精度で要否の判定が可能であることを示している [20].

しかしながら，いずれの研究においても，ドメイ ンの違いが引用要否判定タスクに及ぼす影響の分析 は行われていない. 本研究では，異なる引用要否判定研究の結果を比較し, より適切な推定手法やデー タセットを作成するためには異なるドメイン間の引用要否判定を実施する.

## 3 データセット

本稿では 2 種類のデータセットを使用する. 1 種類目のデータセットは AxCell [21] である.この データセットは $\operatorname{arXiv}$ から集めた，コンピュータサ イエンス分野の論文を基に作成されている. 本来は 引用要否判定のために作成されたデータセットで はないが，より汎用的な論文執筆支援タスクに応用 するために加工を行なった [22]. 引用要否判定に用 いた文は 707560 文である. 2 種類目のデータセッ
トは PMOA-CITE である [23]. このデータセットは PubMed から集めた, 医学分野の論文を基に作成さ れている. データ量は 1008060 文である.

## 4 異なるドメインの引用要否判定

異なるドメインから作成された引用要否判定モデ ルの推定精度に差が生じるかを確かめるために，上記の医療分野とコンピュータサイエンス分野のデー タセットを利用し，それぞれに引用要否判定タスク を行う．また，単一ドメインのデータセットを学習基にした引用要否判定モデルを他分野に応用できる か確かめるために，学習データと評価データを異な るドメインにした引用要否判定も実施する.

## 4.1 実験条件

引用が必要か不要かの二値分類の性能を言語モデ ルを用いて評価する。本稿では，汎用言語モデル として最初に成功を納めた BERT [18]を基に，科学論文を事前学習に使用した SciBERT [24]を用いて 引用要否判定を実施する. データセットには上記の AxCell [21],PMOA-CITE [23] を使用し，データ数同数 になるよう，データ量を (train:200,000 文,dev:50,000 文,test:50,000 文) とした. 学習モデルのパラメータ は (学習率:1e-7,Epoch 数:10, batch_size:32)とした.

## 4.2 実験結果

実験結果を表 1 に示す. 学習と評価共に同一ドメ インの結果を見ると, AxCell の方が PMOAよりも 推定精度が高い.このことから，コンピュータサ イエンス分野のデータセットは医療分野のデータ セットよりも推定が容易であることが分かる. ドメ インによって引用要否判定の難易度が異なる場合 があることが予想される. また, 学習用データと評価データで異なるドメインのデータセットを使用 した場合に精度が低下していた. このことから，引用要否判定タスクの精度はドメインごとの固有情報から影響を受ける可能性があり，ある単一分野 から学習した引用要否判定モデルは他分野に転用 できないことが分かる，学習データに AxCell, 評価 データに PMOA-CITE を用いた結果が学習データに PMOA-CITE, 評価データに AxCellを用いた結果を下回ったことから，PMOA-CITE には AxCell よりも幅広い情報が含まれている可能性がある。どのような 固有情報が引用要否判定タスクに影響を与えるか を明らかにするために，次章では PMOA-CITET と
表 1 複数のドメインの引用要否判定

AxCell のデータセットに現れる単語パタンを分析し 比較する。

## 5 異なるドメインの単語パタン比較

PMOA-CITE 及び AxCell の引用要否判定データ セットに含まれる固有情報を明らかにするために， それぞれのデータセットの N-gram 単語頻度の調査 を行う。

まず初めに，ドメインごとに重要度の高い単語 パタンを調査し，データセットの特徴を明らかに する. そのために，データセットの文中から単語 bigram 情報を抽出し, PMOA と AxCell それぞれに おける Tf-idf 值を計算する。

続いて，引用手段の特徴の差を明らかにするため に，片方のドメインでは引用の要否によって単語 bigram パタンの出現頻度が大きく異なるが，もう片方のドメインでは出現頻度が変わらない単語を調査する. 今回は, 引用の要否による出現頻度の偏り (特有度)独自に定義してドメインごとに計算する。

## 5.1 実験条件

特有度の計算は式 (1) に示す. $(x, y$ は対象 bigram が引用の要・否それぞれに出現する割合を表す)調査には (4.1) 節で定義したデータセットと同様の ものを使用する。

$
\text { 特有度 }=\log |x-y|
$

## 5.2 実験結果

ドメインごとの単語 bigram パタンの重要度を図 3 に示す. 縦軸が PMOA-CITE における Tf-idf 値, 横軸が AxCell における Tf-idf 値を表している．PMOA では” associated with" ,"this study”のようなパタン の tf-idf が高い一方で, AxCell では”which is","For example”のようなパタンの tf-idf が高かった. 以上 のことから, ドメインごとの出現単語に大きく差が ある単語 bigram パタンが存在し, 深層学習を用いて 作成した引用要否判定モデルに影響を与える可能性
があることが分かる.

ドメインごとの単語 bigram パタンの特有度を図 4 に示す。縦軸が PMOA-CITE における重要度, 横軸 が AxCell における重要度を表している。この図で は左上, 右下に位置する単語 bigram パタンほど引用の要否及びドメイン間での重要度の差が大きい ことになる.こうした単語 bigram パタンには”deep learning" ,"in patients”をはじめとするを含む表現 や"focus on","effect of"のような言い回し表現も含 まれる。以上のことから引用要否判定データセット にはドメイン特有の単語パタンが含まれていること が分かる.

図 1 引用要否ごとの Tf-idf(AxCell)

図 2 引用要否ごとの Tf-idf(PMOA)

図 3 単語パタンの重要度

図4 単語パタンの特有度

## 6 考察と今後の展望

本稿では，論文中のある文に対して引用が必要か 必要でないかを推論するタスクである引用要否判定タスクにおいて，ドメインの種類が引用要否判定 に影響を与えるかを調査するために，複数のデータ セットで引用要否判定を実施した. コンピュータサ イエンス分野と医学分野のデータセットでこの調査 を行いその精度を比較した結果，コンピュータサイ エンス分野のデータセットを用いた方が精度が高 いことがわかった. このことから，引用要否判定は ドメインごとに難易度に差があることが分かる. ま た，学習と評価で異なるデータセットを使用した場合には精度が大きく低下した.このことから，引用要否データセットにはドメイン固有の表現が含まれ ており，学習モデルの転用には，考慮が必要なこと が分かった。

異なるドメインのデータセット内における単語 の重要度を bigram の td-idf で比較した結果，ドメイ ン間で大きな差があることがわかった．また，単語 bigram パタンに対して引用要否ごとの偏りを表した 特有度を計算した。その結果，様々なパタンでデー タセットごとの特有度に差が見られた. 以上のこと から，カテゴリごとに単語パタンの出現頻度には偏 りがあり，引用要否判定モデルの学習に影響を与え ている可能性があることが分かる.

ドメインごとにデータセットには特徴があり，引用要否判定に与える影響にも大きく差が出る。その ため，より実用的な引用要否データセットを作成す るためには，様々な領域全体をカバーするより大規模なデータを利用する，あるいは，厳密な実験条件 を定義し，ドメインごとの明示的な単語パタンを取 り除いたデータセットを作成することなども必要で ある。

## 謝辞

研究の遂行にあたり，ご助言をいただきました，秋田県立大学堂坂浩二教授，NTTコミュニケーショ ン科学基礎研究所杉山弘晃氏，東中竜一郎氏，大阪工業大学平博順教授, 工学院大学大和淳司教授, 科学技術振興機構菊井玄一郎氏に感謝いたします。

## 参考文献

[1] 桑原真人. 各国の論文数の推移から見えるもの. 日本物理学会誌, Vol. 72, No. 4, pp. 246-251, 2017.

[2] Simone Teufel and Marc Moens. Articles summarizing scientific articles: Experiments with relevance and rhetorical status. Computational Linguistics, Vol. 28, No. 4, pp. 409-445, 2002.

[3] Michihiro Yasunaga, Jungo Kasai, Rui Zhang, Alexander Fabbri, Irene Li, Dan Friedman, and Dragomir Radev. ScisummNet: A large annotated corpus and contentimpact models for scientific paper summarization with citation networks. In Proceedings of AAAI 2019, 2019.

[4] Chenxin An, Ming Zhong, Yiran Chen, Danqing Wang, Xipeng Qiu, and Xuanjing Huang. Enhancing scientific papers summarization with citation graph. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 14, pp. 12498-12506, May 2021.

[5] Xiaomei Bai, Mengyang Wang, Ivan Lee, Zhuo Yang, Xiangjie Kong, and Feng Xia. Scientific paper recommendation: A survey. IEEE Access, Vol. 7, pp. 9324-9339, 2019.

[6] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[7] Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, and Haimin Zhang. On the use of context for predicting citation worthiness of sentences in scholarly articles. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4539-4545, Online, June 2021. Association for Computational Linguistics.

[8] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, , 122020.

[9] Xinyu Xing, Xiaosheng Fan, and Xiaojun Wan. Automatic generation of citation texts in scholarly papers: A pilot study. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6181-6190, Online, July 2020. Association for Computational Linguistics.

[10] Qingqin Wang, Yun Xiong, Yao Zhang, Jiawei Zhang, and Yangyong Zhu. Autocite: Multi-modal representation fusion for contextual citation generation. In Proceedings of the 14th ACM International Conference on Web Search and Data Mining, WSDM '21, p. 788-796, New York, NY, USA, 2021. Association for Computing Machinery.

[11] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[12] 小山康平, 小林恵大, 南泰浩, 成松宏美. 引用要否判定 タスクにおけるモデルの性能評価とデータの妥当性分析. 言語処理学会第 28 回年次大会, 2022.

[13] Hamed Bonab, Hamed Zamani, Erik Learned-Miller, and James Allan. Citation worthiness of sentences in scientific reports. 072018.

[14] Kazunari Sugiyama, Tarun Kumar, Min-Yen Kan, and Ramesh C Tripathi. Identifying citing sentences in research papers using supervised learning. In 2010 International Conference on Information Retrieval \& Knowledge Management (CAMP), pp. 67-72. IEEE, 2010.

[15] Qi He, Daniel Kifer, Jian Pei, Prasenjit Mitra, and C Lee Giles. Citation recommendation without author supervision. In Proceedings of the fourth ACM international conference on Web search and data mining, pp. 755764, 2011.

[16] Steven Bird, Robert Dale, Bonnie Dorr, Bryan Gibson, Mark Joseph, Min-Yen Kan, Dongwon Lee, Brett Powley, Dragomir Radev, and Yee Fan Tan. The ACL Anthology reference corpus: A reference dataset for bibliographic research in computational linguistics. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Mo- rocco, May 2008. European Language Resources Association (ELRA).

[17] Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, and Haimin Zhang. On the use of context for predicting citation worthiness of sentences in scholarly articles. CoRR, Vol. abs/2104.08962, , 2021.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[19] Hamed Bonab, Hamed Zamani, Erik Learned-Miller, and James Allan. Citation worthiness of sentences in scientific reports. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, pp. 1061-1064, 2018.

[20] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientificdocument writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, 2021.

[21] Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. Axcell: Automatic extraction of results from machine learning papers. arXiv preprint arXiv:2004.14356, 2020.

[22] 小山康平, 南泰浩, 成松宏美, 堂坂浩二, 田盛大悟, 東中竜一郎, 平博順. 学術論文における関連研究の執筆支援のための被引用論文の推定. 言語処理学会第 26 回年次大会, 2021.

[23] TONG ZENG. PMOA-CITE dataset. 62020

[24] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.


# 引用文脈の類似度に基づく局所的引用論文推薦

田中陸斗 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 平博順 3 有田朗人 ${ }^{3}$ 堂坂浩二 ${ }^{1}$
1 秋田県立大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 大阪工業大学
$\{m 24 p 010$, dohsaka\}@akita-pu.ac.jp, h.sugi@ieee.org
\{hirotoshi.taira, m1m21a02\}@oit.ac.jp

## 概要

出版される論文の爆発的な増加により引用論文推薦の需要が高まっている. 本論文では，対象論文の 関連研究の章を執筆する際に，引用を付与すべき個所に対し適切な引用論文を推薦する局所的引用論文推薦のタスクを扱う. 引用を付与すべき個所の周囲 の文は引用文脈と呼ばれる。本研究では，ある特定 の論文を引用する際に書かれる引用文脈同士は似通っていることが多いという仮定のもと，対象論文 の引用文脈と既存論文の引用文脈の類似度を使って 引用論文を推薦する引用文脈参照法を提案する. し かし，この手法には一度も引用されたことがない論文は推薦できないコールドスタート問題が存在す る. 本研究では, 対象論文の引用文脈と既存論文の タイトル・要旨間の類似度を使った従来手法と組み 合わせることによりコールドスタート問題に対処 し，論文推薦の性能が向上することを示す.

## 1 はじめに

学術論文を執筆する際，論文中の主張を裏付ける ために適切な引用を行うことは重要である.しか し, 近年論文数が爆発的に増加し, 研究者が関連す る研究をすべて読み切ることは困難となっており，関連研究に関わる論文執筆支援の必要性が高まって いる.

Narimatsu ら [1] は, 研究者の論文執筆における関連研究の引用および生成に関わる統合的な執筆支援 を目的として，関連研究に関わる様々な既存のタス クを統合した新たなデータセット構築方法および 5 つのタスクを定義した. 本稿では, その中の引用論文推薦タスクに着目する. これは与えられたテキ ストに対して適切な引用論文を推薦するタスクで あり，大域的引用論文推薦と局所的引用論文推薦に 分類される [2]. 大域的引用論文推薦では, 参考文献リストに入るべき論文を推薦するのに対し，局所的引用論文推薦では，引用を付与すべき個所（引用 マーカー）が与えられたときに引用マーカー内に入 る論文を推薦する。本研究では，関連研究の章を執筆する際の局所的引用論文推薦のタスクを扱う．ま た, 用語の定義として, 引用マーカーの前後 50 単語を引用文脈，引用を付与したい引用文脈をもつ論文を対象論文と呼ぶ。

引用論文推薦タスクにおいて，推薦候補となる既存論文のタイトル・要旨を集めたものを論文プール と呼ぶ. 2 節で説明するように, 従来研究として,現在着目する対象論文の引用文脈と, 論文プール内 の既存論文のタイトル・要旨の間の類似度を計算 し, 対象論文の引用文脈と類似したタイトル・要旨 をもつ論文を推薦するという手法が提案されてき た. この手法をタイトル・要旨参照法と呼ぶ.この 手法には論文のタイトル・要旨は容易に収集できる という利点があるが，引用文脈とタイトル・要旨は 別の意図で書かれた文章であるため，適切な引用論文を検索できない場合がありえる．そこで，本研究 では，ある特定の論文の引用文脈同士は似通ってい ることが多いことを仮定し，対象論文の引用文脈と 既存論文が引用された際の引用文脈の類似度を使っ て引用論文を推薦する引用文脈参照法を提案する. この手法では，既存論文の引用文脈を引用文脈プー ルとして収集し, 現在着目している対象論文の引用文脈と類似した引用文脈をもつ論文を引用文脈プー ルから探して推薦する. 局所的引用論文推薦の従来研究では，タイトル・要旨を使った手法は提案され てきているが，知る限りにおいて，既存論文の引用文脈を収集し，それを活用することに着目した研究 はない。しかし，引用文脈参照法には，過去に一度 も引用されたことがない論文は推薦できないという コールドスタート問題が存在する。 そこで，本研究 では，広く用いられてるタイトル・要旨参照法と組 み合わせることで，一度も引用されていない論文も 推薦できるように対処した.

図 1 手法の概要

以下において，2節で関連研究を述べ，3節で提案手法を示す. 4 節で，データセット並びに評価方法を説明し，評価結果について考察する。

## 2 関連研究

局所的引用論文推薦は現在までに様々なアプロー チがとられてきた. 既存研究には, 引用文脈と論文間の関係に焦点を当てる研究が多くあり, Sugimoto ら [3] は，対象論文の引用文脈と推薦する候補の論文のタイトル・要旨の双方を独立に SciBERT[4] で埋 め込み，候補の論文をコサイン類似度でランク付け するモデルを提案している。 また，Ebesu ら [5] は，引用文脈に応じた引用推薦のためのニューラル引用ネットワークを，引用文脈と著者ネットワーク，論文のタイトルを使用することで検討した. Zhang ら [6] は，草稿時の状況を想定しており，引用文脈 と既に自分で引用している被引用論文の情報, 引用文脈を書いている章に着目した推薦手法を提案して いる. Jeong ら [7] は，引用文脈の埋め込み表現を， BERT[8] と GCN[9] を用いて取得し, 引用論文推薦 に取り入れている. しかし, 既存研究には著者が引用したい被引用論文が，他の既存論文ではどのよう な引用文脈で引用されているかに着目した研究は知 る限りでは存在しない. 本稿では, 対象論文の引用文脈と被引用論文の既存論文における引用文脈の比較を行うことが引用論文推薦に有効であることを 示す.

## 3 提案手法

本稿では，与えられた引用文脈に対して，類似し たタイトル・要旨をもつ論文を取得する手法をタイ トル・要旨参照法と呼ぶ。また，新たに提案する，類似した引用文脈で引用された論文を取得する手法 を引用文脈参照法と呼ぶ．さらに，引用文脈参照法亿存在する， 1 度も引用されていない論文は推薦対象にならないというコールドスタート問題に対処す るため, タイトル・要旨参照法と引用文脈参照法を 組み合わせた手法を提案する.

推論の概要図を図 1 に示す.この図は, 論文プー ル内に $\mathrm{A}, \mathrm{B} ， \mathrm{C}$ の 3 件の論文があり， B のみ一度 も引用されていない状況である. よって, 引用文脈 プールに B の引用文脈は存在しない. 引用文脈が存在する A および C は引用文脈参照法を用いてスコ アを計算し，引用文脈が存在しない B はタイトル・要旨参照法を用いてスコアを計算している例を示し ている.

タイトル・要旨参照法 引用文脈と論文プール内 の既存論文のタイトル・要旨の類似度を比較する ために, 文の埋め込み表現に特化した BERT であ る SBERT[10](以下 SBERT)を用いてモデルを作成す

る. アンカーの引用文脈と対応する論文のタイト ル・要旨を正例とし, 論文プール内の正例論文以外 からランダムに選んだ論文のタイトル・要旨を負例 として，以下の式で表される損失関数で埋め込み表現を学習する．また，プーリング層には，BERTの 出力ベクトルの平均値を使用する.

$
\text { Loss }=\max \left.\{\left(\left.\|C-P^{+}\right.\|-\left.\|C-P^{-}\right.\|+\epsilon\right), 0\right.\}
$

ここで， $C$ はアンカーである引用文脈の埋め込み， $P^{+}$は正例の埋め込み, $P^{-}$は, 負例の埋め込みを示 す.また，元論文 [10] に従い，距離にはユークリッ ドを使用し，マージン $\epsilon$ は 1 とした.

推論時は，対象論文の引用文脈と，論文プール内 の論文のタイトル・要旨をそれぞれ上記のモデルに 入力して得られたべクトル間のコサイン類似度を計算し，これをスコアとする。最後に，スコアが高い 順に $\mathrm{k}$ 件の論文を取得する。

引用文脈参照法 引用文脈同士の類似度を比較す るために，タイトル・要旨参照法と同様に SBERT を用いてモデルを作成する。この手法では，アン カーの引用文脈で引用されている論文と同じ論文を 引用している引用文脈を正例とし, 引用文脈プール 内の正例の引用文脈以外からランダムに選んだ引用文脈を負例として，以下の式で表される損失関数で 埋め込み表現を学習する。

$
\text { Loss }=\max \left.\{\left(\left.\|C-C^{+}\right.\|-\left.\|C-C^{-}\right.\|+\epsilon\right), 0\right.\}
$

ここで， $C$ はアンカーである引用文脈の埋め込み， $C^{+}$は正例の埋め込み， $C^{-}$は，負例の埋め込みを示 す. タイトル・要旨参照法と同様に，距離にはユー クリッドを使用し，マージン $\epsilon$ は 1 とした.

推論時は，対象論文の引用文脈と，引用文脈プー ル内の論文の引用文脈の類似度をモデルに入力し,得られたべクトル間のコサイン類似度を計算する。 その際，引用文脈プール内の論文で，引用文脈が複数所持しているときは, 最も大きい類似度をスコア とする。最後に，スコアが高い順に $\mathrm{k}$ 件の論文を取得する.

組み合わせた手法 引用文脈参照法において，1 度も引用されていない論文が推薦対象にならない という問題に対処するため，2つの手法を組み合わ せる. 1 度以上引用されている論文，つまり引用文脈を所持している論文には引用文脈参照法を使用 し, 対象論文の引用論文と引用文脈プール内の論文 の引用文脈とのコサイン類似度を計算する. 未引用 の論文には，論文プール内の論文との類似度をタイ
トル・要旨参照法を使用しコサイン類似度を計算す る. その後, 得られたコサイン類似度をソートし,高い順に $\mathrm{k}$ 件の論文を取得する。

## 4 実験

## 4.1 データセット

研究者の学術論文の執筆支援を目的として, Narimatsu ら [1] によって作成されたデータセットを 使用する。このデータセットには， arXiv から取得 した論文の関連研究の章が約 30000 件と，関連研究 の章で引用されている論文のタイトル，要旨が含ま れている. すべての関連研究の章のうち, 引用論文数が 1 件以上である約 13000 件を使用する. これを 訓練データ，検証データ，テストデータにそれぞれ 約 10400，1300，1300 件ずつに分割する．また，引用文脈の数は訓練データ，検証データ，テストデー タそれぞれで約 70000，10000，7800 件である. テ ストデータの引用文脈のうち，コールドスタート問題が起こり得る数は 692 件であり，約 $9 \% を$ 占めて いる.

## 4.1.1 論文プール

本稿では，論文のタイトル・要旨が得られた論文集合を論文プールと定義する。関連研究の章をもつ 論文と，その章で引用されている論文が論文プール に含まれている．総数は約 38000 件である．

## 4.1.2 引用文脈プール

訓練データ内の関連研究の章で使われた引用文脈を集めたものを引用文脈プールと定義する。 よっ て，総数は約 70000 件である. 引用文脈プール内の 論文は約 10000 件存在し, 最大引用回数は 830 回,最小引用回数は 1 回, 平均引用回数は 7.8 回である.

## 4.2 評価手法

提案した論文推薦システムが既存の論文の引用を どの程度予測できるかを測定する。本稿では，推薦 された候補の上位 5 件と上位 10 件に対して Recall とMRRを計算して評価する. Recall は以下の式で 表される。

$
\text { Recall @k }=\frac{\left|\alpha \cap p_{k}\right|}{|\alpha|}
$

ここで， $\mathrm{k}$ は考慮する上位ランキング件数， $\alpha$ は正解の被引用論文集合, $p_{k}$ は上位 $\mathrm{k}$ 件の推薦リストで

ある. また，MRR は以下の計算で表される.

$
M R R @ k=\frac{1}{|\alpha|} \sum_{u \in \alpha} \frac{1}{\operatorname{rank}_{u}}
$

ここで， $u$ が正解論文の 1 つ, $\operatorname{rank}_{u}$ が論文 $u$ の候補論文のうち，最初に正解論文が出現する順位を示 している.

## 4.3 結果と考察

対象論文の引用文脈と論文プール内の論文のタイ トル・要旨の類似度並びに対象論文の引用文脈と引用文脈プール内の引用文脈との類似度を計算するた めのベースラインとして TF-IDF を使用する. ベー スラインと本手法の評価結果を表 1 に示す. まず， タイトル・要旨法も引用文脈参照法も，SBERTをモ デルとして使った場合がベースラインを上回ってい ることが確認でき，SBERTによる類似度の学習に効果があることが分かる. 次に, 引用文脈参照法はタ イトル・要旨参照法よりも性能が良く，対象論文と 既存論文の引用文脈同士の類似度を活用することに 効果があることが分かる.

さらに，2つの手法を組み合わせることで引用文脈参照法単体の場合よりも性能が向上していること が分かる.このことは，一度も引用されたことがな い論文を推薦する場合に，タイトル・要旨参照法に 組み合わせることによって，引用論文推薦の性能が 向上する可能性があることを示している.

また，コールドスタート問題が起こる 692 件の引用文脈の評価結果を表 2 に示す.これはSBERT モ デルのみでの評価となっている. 引用文脈参照法で の性能が 0 ではないのは，正解の論文が複数ある場合，すべての正解の論文が引用文脈をもたないと は限らないためである.この表から分かるように, コールドスタート問題が起こり得る場合において， タイトル・要旨参照法を組み合わせることで，引用文脈参照単独よりも性能が改善したことが分かる.表 2 コールドスタート問題が起こる引用文脈の評価結果手法 @ 510

## 5 おわりに

本稿では，引用マーカーが与えられたときに，適切な被引用論文を推薦する局所的引用論文推薦の夕 スクに取り組んだ。同じ被引用論文が引用されてい る引用文脈は類似する傾向があるという仮定に基づ き，SBERT を用いて引用文脈同士の類似度を計算 し，適切な論文を推薦するという引用文脈参照法を 提案した。ただし，この手法には一度も引用された ことがない論文は推薦できないというコールドス タート問題が存在するため, 既存研究で広く用いら れているタイトルと要旨を使用する手法と組み合わ せることにより，引用文脈参照法単独よりも論文推薦の性能が向上することを示した. 今後の課題とし ては，どのような意図で引用されているかを考慮し た手法の検討や，引用回数に着目した手法の検討な どが挙げられる.

## 謝辞

本研究の遂行にあたり，ご助言・ご協力をいただ きました，電気通信大学 小山康平氏，NTTコミュ ニケーション科学基礎研究所成松宏美主任研究員,電気通信大学 南泰浩教授, 工学院大学 大和淳司教授，名古屋大学 東中竜一郎教授，国立研究開発法人科学技術振興機構 菊井玄一郎氏に感謝いたします。 また，日頃より丁寧にご指導してくださる秋田県立大学石井雅樹准教授, 伊東嗣功助教に感謝いたし ます。

## 参考文献

[1] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientificdocument writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, 2021.

[2] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, pp. 375-405, 2020.

[3] Kaito Sugimoto and Akiko Aizawa. Context-aware Citation Recommendation Based on BERT-based Bi-Ranker. In 2nd Workshop on Natural Language Processing for Scientific Text at AKBC 2021, 2021.

[4] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[5] Travis Ebesu and Yi Fang. Neural citation network for context-aware citation recommendation. In Proceedings of the 40th international ACM SIGIR conference on research and development in information retrieval, pp. 1093-1096, 2017.

[6] Yang Zhang and Qiang Ma. Dual attention model for citation recommendation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3179-3189, 2020.

[7] Chanwoo Jeong, Sion Jang, Eunjeong Park, and Sungchul Choi. A context-aware citation recommendation model with bert and graph convolutional networks. Scientometrics, Vol. 124, No. 3, pp. 1907-1922, 2020

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[9] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. arXiv preprint arXiv:1609.02907, 2016.

[10] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using siamese BERT-networks. arXiv preprint arXiv:1908.10084, 2019.


# 文書外の書誌情報と用語情報を組み込んだ文書分類

井田龍希 三輪誠 佐々木裕
豊田工業大学
\{sd22401, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

本論文では，書誌情報に基づく文献グラフを組み 込んだ新しい文書分類手法を提案する。近年，事前学習モデルである BERT の利用により文書分類の 性能は大幅に向上した. さらなる性能向上のために は，書誌情報や引用情報，用語の説明文や上位下位関係などの外部情報など，対象テキスト情報以外の 情報の活用が鍵となると考えられる。本提案手法で は，対象テキスト情報以外の情報を利用する既存の 文書分類手法が考慮できていない，書誌情報や用語 などの文書間に共通する情報を含む文書間の関係を 文献グラフとして利用し，文書間のより詳細な関係 を考慮する．実験では，生化学分野の文書分類デー タセットで既存手法からの性能向上を確認した.

## 1 はじめに

近年提案された，大量のデータで事前学習をし，文脈を考慮した表現が得られる BERT (Bidirectional Encoder Representations from Transformers) [1] を用い た手法は，少ないデータで fine-tuning をすることで タスクに特化したモデルを作成でき，文書分類にお いても高い性能を示している。

さらに文書分類においては，著者や出版ジャーナ ルなどの書誌情報や引用関係にある論文，テキスト 中の用語についての外部情報などの対象テキスト情報以外の情報が活用できる. Yao ら [2] は，文書と 単語を節点とし, 文書節点とその文書に出現する単語節点の間・共起頻度が高い単語節点間それぞれに 辺を張った文書グラフの表現を用いて文書分類を 行っている.この文書グラフにより, 共通した単語 を持つ文書節点がその単語節点を介してつながり，文書間の関係を考慮した文書分類を実現している。 さらに BertGCN [3] では, 文書グラフの節点表現に BERT [1]を用いてテキスト情報を追加している. ま た，Yasunaga ら [4] は引用関係にある文書のテキス 卜情報を同時に入力する事前学習手法を提案し，文書間の関係を考慮した言語モデル LinkBERT を作成 し，従来の BERT より高い性能を達成している.こ のようにテキスト情報以外の情報の有効性は示さ れているものの，これらの手法では単語の共起や引用関係という限られた情報のみしか考慮できてお らず，著者や出版ジャーナルなどの書誌情報，用語 に関する説明文や上位下位関係などの外部情報（以降，用語情報と呼ぶ）などの複数の情報を同時に考慮できていない。

そこで，本研究では複数の情報を同時に利用でき る文書分類の実現を目的に，書誌情報・用語情報な ど多くの対象テキスト以外の情報を含む文献グラフ から文書間の様々な関係を考慮した表現べクトルを 作成し，その表現ベクトルと文書のテキスト情報を 組み込んだ文書分類モデルを提案する．本研究の貢献は以下の通りである.

・書誌情報・用語情報を含む文献グラフからの表現ベクトルを利用して，より複雑な文書間の関係の情報とテキスト情報を組み込んだ文書分類 モデルを提案した。

・生化学分野の文書分類データセットである Ohsumed [5], Hallmarks of Cancer (HoC) [6] にお いて文献グラフの情報を用いることで既存手法 からの性能向上を確認した.

## 2 関連研究

## 2.1 文書分類

文書分類には対象文書のテキスト情報のみを使用 する手法 [1] と対象テキスト情報以外の情報を考慮 する手法 $[2,3,4]$ がある.

対象テキスト情報以外の情報を利用した手法で は，文書グラフを用いた手法があり，Yao らは文書 と単語を節点として，文書節点とその文書に出現 する単語節点の間に TF-IDF 值で重みづけした辺を 張った文書グラフを用いた文書分類を提案した [2].

(1)文献グラフを作成し，

(2) 用語間の関係を追加

Bacterial Infections and Mycoses

Virus Diseases

Eye Diseases

Parasitic Diseases

(4) 文献グラフからの表現を 利用したテキスト分類

BERT

図 1 提案手法の流れ

この文書グラフでは PMI の値によって関連度が高 いとみなした単語節点間にも辺を張っている. 節点に接続する辺を通して周りの節点からの情報を その節点に集約するグラフ畳み込みネットワーク (Graph Convolutional Network; GCN) [7] を用いて, 文書グラフの節点表現をグラフ構造を考慮しながら 更新し，その表現を文書分類に利用している。 さら に，BertGCN [3] では，文書節点の表現に BERTを利用し, 文書グラフに文書のテキスト情報を追加する 手法を提案し，高い性能を達成している.

また, Yasunaga ら [4] は引用関係などでリンクさ れた 2 つの文書を同時に BERT の入力とする事前学習手法により文書間の関係を考慮した事前学習モ デル LinkBERT を提案した. 従来の BERT で用いら れる Masked Language Modeling (MLM) と，2つの文書を入力しそれぞれが引用関係にあるかどうかを 分類する Document Relation Prediction (DRP) という 2 つのタスクで BERT の事前学習をしており，文書間 の依存関係や文書間にまたがる情報を利用してい る. その結果, LinkBERT は GLUE [8] タスクや生化学分野のベンチマークである BLURB [9] タスクにお いて既存手法の性能を上回り, 文書分類においても 従来の BERT より高い性能を達成している.

## 2.2 グラフの表現学習

文献グラフなどのグラフからグラフ構造を考慮し た節点の表現ベクトルを獲得するグラフ表現学習の 研究が盛んに行われている [10]. グラフ表現学習で は，グラフ構造を有向辺の始点節点 $h$, 終点節点 $t$,関係 $r$ を用いて $(h, r, t)$ と表現したトリプルの集合 として表現するのが一般的であり，このトリプルの 節点や関係を表現するように学習を行う TransE [11], DistMult [12] などの手法が提案されている. TransE
のスコア関数は始点節点のベクトル表現を関係のべ クトル表現だけ平行移動したものと終点節点のべク トル表現との距離の大きさを損失とする.

## 3 提案手法

提案手法である書誌情報・用語情報を含む文献グ ラフの表現を組み込んだ文書分類モデルについて説明する. 提案手法の概要を図 1 に示す. 3.1 節で文献グラフの作成と表現学習について説明した後に 3.2 節で書誌情報・用語情報を含む文献グラフのべ クトル表現と文書のテキスト情報のベクトル表現を 組み込んだ文書分類モデルについて説明する。

## 3.1 文献グラフの作成・表現学習

まず，文献グラフを作成し，文書・用語節点を BERT で初期化する（図 1(1)）。文献グラフは文書と 書誌情報を節点とし，文書節点とその書誌情報の節点間，引用関係にある文書節点間に辺を張る．文献 グラフは論文・著者・出版年・出版ジャーナル・用語を節点とし，共有する節点を介して文書節点を繋 げる。題目，要旨，用語の説明文がデータベースか ら取得できる文書・用語節点にはテキスト情報を追加する．BERT の出力の [CLS] トークンは文全体を 表す表現と考えられるので，[CLS]トークンの表現 を初期表現とする。データベースから取得できない 場合は BERT で初期化した節点表現の平均，標準偏差の正規分布に従う乱数でランダム初期化する。書誌情報の節点についてもランダム初期化する。

次に，データベースから取得した上位下位関係，補足概念の関係にある用語節点間に辺を張り，用語間の関係も追加する（図 1(2)）。そして，作成した 文献グラフについて，TransE [11]1)を用いて表現学

1）本研究で扱う文献グラフは大規模であり，GCN [7] などの 計算コストの高い手法は単純には適用できないため，簡単の
習を行い，ベクトル表現を獲得する（図 1(3)）。この ように作成した文献グラフから得られたべクトル表現は対象テキスト情報以外の書誌情報・用語情報か らの文書間の様々な関係を考慮したものとなってい ると期待できる.

## 3.2 文書分類モデル

3.1 節で獲得した書誌情報・用語情報を含む文献 グラフのベクトル表現と分類する文書のテキスト 情報のべクトル表現を組み込んだ文書分類を行う (図 1(4)).このために, BERTの入力として, 対象文書とそれに現れる用語に対応する文献グラフの文書・用語節点のべクトル表現を文書のテキスト情報 と同時に入力し, BERT で統合しながらエンコード して得られた出力の [CLS] トークンの表現を全結合層により文書のカテゴリに分類する. より具体的に は，まず，文書内の用語をデータベースに登録され た用語との文字列一致で抽出する. 次に文献グラフ の文書節点の表現と文書から抽出した用語の節点表現を文書のテキスト情報と結合する．結合の際には 文書のテキスト情報の [SEP] トークンの後ろに文献 グラフからの表現を追加する。この際に，テキスト 内のサブワードと文献グラフの節点表現を対応付け るために，[CLS]トークンと文書節点の表現，テキ スト内の用語のサブワードの先頭と用語節点の表現 に同じ Position ID を割り当てる [13]. テキスト情報 と対応する文献グラフ内の節点のベクトル表現を同時に BERT に入力することで, 文献グラフ内の書誌情報や用語情報を活かした文書分類を目指す。

## 4 実験設定

文献グラフの表現学習で獲得した表現ベクトルの 質を始点節点との関係ぺアになる終点節点を予測す るリンク予測で評価する。また，文書分類における 文献グラフの表現の有効性を確かめるために文献 グラフの表現を利用した文書分類の評価する．どち らの実験も BERTには BioLinkBERT-base [4]を使用 する。

## 4.1 文献グラフの表現学習

医療文献データベース Medline [14] の 2022 年版を 利用して 3.1 節で説明した文献グラフを作成する. Medline には 3,000 万件以上の論文が登録されてお り，文献グラフが巨大になるので他の節点とのつな

表 1 TransEでの表現学習の結果

がりが少ない次数が 5 未満の著者節点は削除した.用語のデータベースには MeSH [15] の 2021 年版を 利用した. 文献グラフは引用関係を表す辺 (cites),文書とその著者 (author) ・出版年 (year)・出版ジャー ナル (journal) ・用語 $(\mathrm{MeSH})$ を表す辺, 用語間の上位下位関係 (hypernym)，補足概念の関係 (supp) を表 す辺を持つ. 付録 A の表 4 と 5 に統計を示す.

文献グラフの表現学習の評価指標には MAP@30, Hit@nを用いた. 訓練・開発・評価用データはトリ プルの関係タイプの比率が同じになるように 98:1:1 の割合で分割した. また，訓練用データに出現する 節点間のトリプルを開発・評価用データに選んだ. リンク予測の評価の際には，訓練用データに含まれ る終点節点は予測結果から削除した.また，始点節点のタイプと関係タイプから決まる終点節点のタイ プの節点のみを予測対象とした。付録 $\mathrm{B}$ に実装に使用したライブラリと学習の設定を示した.

## 4.2 文献グラフの表現を利用した文書分類

評価には，医学文献の要旨の文書分類データセッ トである Ohsumed [5] と Hallmarks of Cancer (HoC) [6] を使用した. Ohsumed は文書に 23 種類の心血管系疾患のカテゴリのうち 1 つ以上のカテゴリが付与さ れている. Ohsumed の分類ラベルは MeSH から作ら れているので, Ohsumedに含まれる文書とその文書 の書誌情報の一つである MeSH との関係が文献グラ フに含まれないようにして評価した. 既存研究 [2] と同様に複数ラベルを持つ文書は除外した.この結果，訓練，評価用データ内の文書はそれぞれ 3,357 件，4,043 件となった. 訓練用データを 7:3 に分割し て開発データを作成した．HoCではそれぞれの文書に 10 種類の癌の特徵のカテゴリが複数付与され ている. 既存研究 [9] に従って訓練, 開発，評価用 データを分割し, それぞれ 1,295 件, 186 件, 371 件
表 2 文献グラフの表現を利用した文書分類の結果 [\%].太字は最高のスコアを表す。

を使用した. 文書内の用語をデータベースに登録さ れた用語との文字列一致で抽出した結果, Ohsumed では文書あたり平均 20.41 語, $\mathrm{HoC}$ では文書あたり 平均 26.56 語の用語を抽出できた.

評価においては，乱数シードを変更した 5 つのモ デルを作成し, その評価の平均を最終的な予測結果 として報告する. Ohsumed の評価には正解率，HoC の評価には $\mathrm{F}$ 値を用いた. ベースラインモデルと しては， 3.2 節の文書分類モデルの入力にテキスト 情報のみを利用するモデル (BioLinkBERT) を用意し た.また，文書分類モデルに文献グラフから追加す る節点情報としては，文書の表現 (+ Paper), 用語の 表現 (+ Entity)，文書・用語の両方の表現 (+ Paper + Entity)の 3 つの組み合わせを比較をした. 付録 B に 実装に使用したライブラリと学習の設定を示した.

## 5 結果と考察

## 5.1 結果

TransE での表現学習の結果を表 1 に示す. 今回使用した文献グラフは節点数が多かったため, MAP@30, Hit@n ともに全体的に低い値となった.特に引用関係，MeSH 間の関係の性能が低いのは，一つの始点節点との関係ぺアになる終点節点が複数 あるため, TransEでは表現できなかったためだと考 えられる。

文献グラフの表現を利用した文書分類の結果を 表 2 に示す. Ohsumed における BioLinkBERT の結果と提案した情報を追加したモデル (BioLinkBERT + Paper, BioLinkBERT + Entity, BioLinkBERT + Paper + Entity) 以外の値は元論文から引用したものである. Ohsumed については，これまでに報告されている分類スコアを大きく上回ることができた．また，論文 の表現のみを使用したときに Ohsumed, HoC ともに ベースライン (BioLinkBERT) からの性能向上が見ら れた。一方で，用語の表現のみを使用したときには表 3 用語をタグで置き換えた文書分類の結果 [\%]

ほとんど性能の違いが見られなかった. 論文・用語 の表現の両方を使用したときには Ohsumed では性能低下, HoCでは僅かな性能向上が見られ，一貫性 のない結果となった.いずれの表現も文献グラフ全体を考慮して学習された表現ではあるものの，使う 表現によって結果に違いがあることがわかった.

## 5.2 考察

文献グラフの表現ベクトルの質を確かめるため に，対象テキスト情報から抽出した用語をマスクし て実験をした. その結果を表 3 に示す. 対象テキス トの用語をマスクしたときべースラインモデルで は, 4.5 ポイント性能が低下した. 一方で，文書の表現のみ，用語の表現のみ，文書・用語の両方の表現 を使用したときはそれぞれ 3.46 ポイント， 3.40 ポイ ント， 3.66 ポイントの性能低下となり, ベースライ ンよりも性能の低下が小さかった. この結果から，提案手法では対象テキスト情報以外の情報を分類に 利用できていることが分かった. 付録 Cにテキスト 情報を利用しない文書分類の結果と考察を示した。

## 6 おわりに

本研究では複数の情報を同時に利用できる文書分類を目的として，書誌情報・用語情報など多くの情報を含む文献グラフから文書間の様々な関係を考慮 した表現ベクトルを作成し，その表現ベクトルと文書のテキスト情報を組み込んだ文書分類モデルを提案した. Ohsumed, $\mathrm{HoC}$ の 2 つのデータセットで実験を行った結果, 文書の表現のみを利用したときに はどちらも性能向上が見られた. 特に, Ohsumed で は従来モデルを上回る性能を達成した. 論文・用語 の表現の双方を利用すると性能が低下することがあ るという現象がみられ, 異種の情報の組み込みが単純ではないことを示すことができた.

今後は，このような問題を解決するために GCN などの手法での大規模文献グラフの表現学習を検討 する. また文献グラフの表現学習手法と文書分類モ デルを同時に学習する方法についても模索する。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Jacob Devlin, et al. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Liang Yao, et al. Graph convolutional networks for text classification. In Proceedings of the AAAI conference on artificial intelligence, Vol. 33, pp. 7370-7377, 2019.

[3] Yuxiao Lin, et al. BertGCN: Transductive text classification by combining GNN and BERT. In Findings of the Association for Computational Linguistics: ACLIJCNLP 2021, pp. 1456-1462, Online, August 2021. Association for Computational Linguistics.

[4] Michihiro Yasunaga, et al. Linkbert: Pretraining language models with document links. In Association for Computational Linguistics (ACL), 2022.

[5] Thorsten Joachims. Text categorization with support vector machines: Learning with many relevant features. In Proceedings of the 10th European Conference on Machine Learning, ECML'98, p. 137-142, Berlin, Heidelberg, 1998. Springer-Verlag.

[6] Simon Baker, et al. Automatic semantic classification of scientific literature according to the hallmarks of cancer. Vol. 32 3, pp. 432-40, 2016.

[7] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations, 2017.

[8] Alex Wang, et al. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] $\mathrm{Yu} \mathrm{Gu}$, et al. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare, Vol. 3, No. 1, oct 2021.

[10] William L Hamilton. Graph representation learning. Synthesis Lectures on Artifical Intelligence and Machine Learning, Vol. 14, No. 3, pp. 1-159, 2020.

[11] Antoine Bordes, et al. Translating embeddings for modeling multi-relational data. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[12] Bishan Yang, et al. Embedding entities and relations for learning and inference in knowledge bases. In International Conference on Learning Representations, 2014.

[13] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[14] Pubmed. https://pubmed.ncbi.nlm.nih.gov/（1月 2 日アクセス）。

[15] Medical subject headings - home page. https://www. nlm.nih.gov/mesh/meshhome.html（1 月 2 日アクセ ス).

[16] Da Zheng, et al. Dgl-ke: Training knowledge graph embeddings at scale. In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '20, p. 739-748, New York, NY, USA, 2020. Association for Computing Machinery.

[17] Thomas Wolf, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[18] Adam Paszke, et al. Pytorch: An imperative style, highperformance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 80268037, 2019.

[19] Masajiro Iwasaki and Daisuke Miyazaki. Optimization of indexing based on k-nearest neighbor graph for proximity search in high-dimensional data. CoRR, Vol. abs/1810.07355, , 2018.

[20] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. The journal of machine learning research, Vol. 15, No. 1, pp. 1929-1958, 2014.

[21] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

## A グラフの統計

文献グラフの統計を表 4 と 5 に示す. テキスト情報を追加した節点数は，文書節点は $33,404,632$ 個，用語節点は 244,373 個である.

表 5 文献グラフのトリプル統計

## B 学習の設定

実装には，Python 3.7.11を使い，TransEには DGLKE 0.1.2 [16], 事前学習モデルを使うために Transformers 4.19 .4 [17], モデルの作成のために Pytorch 1.10.0 [18]を用いた. また, リンク予測の評価は, 近傍探索ライブラリ NGT [19]を用いて近似的に求め た. TransE は 50 エポック学習した. 文献グラフの 文書・用語節点の表現は BERT で初期化するため表現は 768 次元となるので，ランダム初期化する節点 の表現についても 768 次元で初期化した. TransE の 学習ではグラフに含まれるトリプル $(h, r, t)$ の $h$ か $t$ のどちらかをランダムに置き換えるネガティブサン プリングが使用される．始点節点のタイプと関係タ イプから決まる終点節点のタイプのみからネガティ ブサンプリングをした. TransE 学習のための計算機 には CPU に AMD Ryzen Threadripper 3990X 64-Core Processor，GPU に GeForce RTX 3090 を使用した.

文書分類モデルでは，BERT の CLS トークンの表現を一層の線形層で分類している。また，訓練用 データでの過学習を防ぐために線形層の前にドロッ プアウト [20]を加えた. 文書分類学習のための計算機には CPU に Intel(R) Xeon(R) CPU E5-2698 v4 及 び Intel(R) Core(TM) i9-10900K CPU，GPU には Tesla
V100-DGXS-32GB 及び GeForce RTX 3090 を使用し た. 文書分類モデルの最適化手法には AdamW [21] を使用した。学習率は $\{1 \mathrm{e}-5,2 \mathrm{e}-5,3 \mathrm{e}-5,4 \mathrm{e}-5,5 \mathrm{e}-5$, 6e-5\} の範囲でハイパーパラメータチューニングを 行い，表6のように設定した.

表 6 ハイパーパラメータチューニングの結果

## C テキスト情報を除いた文書分類

文献グラフから得られた表現単体での性能を評価するため，対象テキスト情報を使用しない実験を 行った. BERTへの入力を文献グラフからの表現の みにして出力の [CLS] トークンで分類をした結果を 表 7 に示す. 文書・用語の表現の両方を使用したと きに最も高い性能となった．様々な情報を含む文献 グラフからの表現を利用することで対象テキスト情報がなくても分類できたと考えられる.

表 7 テキスト情報を除いた文書分類の結果 [\%]


# サーベイ論文自動生成に向けた 大規模ベンチマークデータセットの構築

笠西 哲 ${ }^{1}$ 磯沼 大 $^{1}$ 森 純一郎 ${ }^{1,2}$ 坂田 一郎 ${ }^{1}$
1 東京大学大学院 2 理研 AIP
kasanishi@ipr-ctr.t.u-tokyo.ac.jp isonuma@ipr-ctr.t.u-tokyo.ac.jp
mori@mi.u-tokyo.ac.jp isakata@ipr-ctr.t.u-tokyo.ac.jp

## 概要

サーベイ論文の自動生成は、自動文章要約におい て最も挑戦的なタスクの一つである。近年、大規模言語モデルによりサーベイ論文生成が挑まれている ものの、大規模データセットの欠如がその進歩の足枷となっている。本研究では、 1 万本超のサーベイ 論文と 69 万本超の被引用論文で構成されたサーベ イ論文生成データセットを公開する。本データセッ トをもとに、近年の Transformer 要約モデルをサー ベイ論文生成用に改良し、サーベイ論文生成の評価実験を行なった。人手評価により、モデルにより生成された要約の一部は人が作成したサーベイ論文と 遜色ないことが示された一方で、自動サーベイ論文生成の課題が明らかになった。

## 1 はじめに

科学論文ドメインの文書要約において、サーベ イ論文の自動生成は最も重要な課題の一つである。 サーベイ論文は、研究者によって過去の研究成果を 調査するために執筆される、複数の論文の要約であ る [1]。サーベイ論文の自動生成が実現すれば、研究者がこれまでサーベイ論文がなかった分野へ進出する際の大きな一助となる。しかし、これまでに サーベイ論文生成に取り組んだ研究はごく少数であ る。例えば、Taylor ら [2] は科学論文で学習を行っ た大規模言語モデルである GALACTICAを用いて、 サーベイ論文を自動生成するデモンストレーション を公開したが、内容の正確性について批判が寄せら れ、数日中に公開が中止された [3]。サーベイ論文生成タスクに利用可能な大規模データセットの不在 が、教師あり要約モデルの同タスクへの適用を困難 にし、サーベイ論文自動生成の障壁となっている。本研究は、10,269 本の論文からなるサーベイ論文

図 1 サーベイ論文自動生成タスクの概要

自動生成タスクのための大規模データセットを公開 し、サーベイ論文生成の研究を開拓する。図 1 に夕 スクの概要を示す。本研究では、サーベイ論文の章分けと各章で引用される論文が与えられた時に、章 ごとにそれらの論文を要約するタスクに取り組む。実際のサーベイ論文執筆では、引用する論文を選定 し、章構成を決定するというプロセスが必要だが、本研究はそれらのプロセスはスコープ外とし、章ご とに複数の論文を要約するプロセスに焦点を当てて サーベイ論文生成タスクの実験を行った。さらに、既存の Transformer ベースの要約モデルを拡張する ことで、タイトルや章タイトルを要約のクエリとし た複数文書要約としてサーベイ論文を生成するモデ ルを提案する。提案手法の生成文章に対して詳細な 人手評価を行い、サーベイ論文の完全な自動生成に 向けた今後の課題について議論する。

## 2 タスクとデータセット

## 2.1 サーベイ論文生成のタスク定義

出力 本研究ではサーベイ論文を章ごとに生成す るタスクを考える。これは、現在の要約モデルの殆 どが数百単語以下の短い要約文を生成するタスク [4][7] に適合しており、一般に数千単語以上の長さ となるサーベイ論文全文を現在の要約モデルで生成
表 1 Multi-News[4], Multi-XScience[5], MS^2[6] との比較。train/valid/test における参照要約の数、入力文章の合計の長さ (単語数)、参照要約の長さ（単語数)、入力文書の数、novel n-gram の割合を示す。

するのは困難なためである。

入カ 本タスクでは、被引用論文のアブストラク トおよびサーベイ論文のタイトル・章タイトルの情報を入力として用いる。ここで、被引用論文とは サーベイ論文の各章で引用されている論文を指す。被引用論文のアブストラクトは、被引用論文の内容 を表す主要な情報源として利用される。本来であれ ば被引用論文の本文を入力することが望ましいが、構築するデータセットにおいて本文情報が得られな い被引用論文が約 $30 \%$ 存在することを鑑みて、ア ブストラクトのみを入力とする問題設定とした。ま た、タイトル情報は、生成される各章でどのような 内容が記述されるのかを示唆する、いわば要約の方向性を示すクエリとしての機能を持つ。

## 2.2 データセットの構築

我々は、科学論文の大規模コーパスである S2ORC[8]を用いて、10,269 本のサーベイ論文から なるサーベイ論文生成タスクのデータセットを構築 した。構築方法の詳細は Appendix A に記載した。

## 2.3 データセットの統計

構築したデータセットと代表的な複数文書要約 のデータセットを比較した統計を表 1 に示す。ここ で、表中の novel n-gram とは、参照要約中の n-gram のうち入力文書中に含まれないものの割合を示し、 novel n-gram の割合が高いデータセットほど要約の 抽象度が高い [7]。我々のデータセットは他のデー タセットと比較して約 2 倍以上のデータ数を有し、 データドリブンなニューラル要約モデルにより適 したデータセットとなっている。さらに、我々の データセットは Multi-News や MS^2 と比較して novel n-gram の割合が高く、より抽象的要約手法に適した 難易度の高いタスクであることが示唆される。

## 3 実験

我々が提案したサーベイ論文データセットを用い て、文書要約モデルによるサーベイ論文生成の実験

\begin{abstract}
Cited paper 1
Literature review title <s> Chapter title <s> Abstract of paper 1 <s> BIB001 Cited paper 2
\end{abstract}

Literature review title <s> Chapter title <s> Abstract of paper 2 <s> BIB002

図 2 文書要約モデルへの入力データのフォーマット

を行う。本章では実験に使用するモデルについて述 べ、実装詳細については Appendix B に記載した。

## 3.1 ベースライン手法

ベースライン手法として、教師なし抽出型要約手法である LEAD と LexRank[9]、Transformer ベースの抽象型要約手法である Big Bird[10] と Fusion-in-Decoder[11]を使用する。Big Bird は、通常 の Transformer の Self-attention の計算を簡略化し、約 16,000 単語までの長文の入力に対応した Transformer モデルである。今回は、単文書要約タスクによ り arXiv データセット [12] で事前学習したモデル を、サーベイ論文データセットで fine-tuning して実験を行う。Fusion-in-Decoder (FiD) は、元々は Open domain question answering 用の複数文書を入力できる Transformer Encoder-Decoder モデルであるが、多文書要約タスクにも適用されている [6]。FiD は複数の文書を個別にエンコードして、その hidden_states を連結してデコーダーに入力し、一括で出力することで 文書間の関係性も考慮しながら複数文書を一度に処理できる。今回は、エンコーダとデコーダの初期重 みとして CNN/Daily Mail データセットで事前学習を 行った BART-Large モデルの重みを使用し、サーベ イ論文データセットで fine-tuning して実験を行う。 これらの要約モデルに入力するデータのフォーマッ トを図 2 に示す。今回は、サーベイ論文のタイトル と章タイトル、各被引用論文のアブストラクト、お よび異なる被引用論文を識別するための識別記号を 連結して入力する。Big Birdでは全ての被引用論文 の情報を連結してモデルに入力する。FiDでは各被引用論文の情報を Encoder に別々に入力する。

## 3.2 提案手法

本節では、前節で紹介した FiD を改良した我々の サーベイ論文生成モデルについて述べる。 3.1 節で 述べた通り、タイトル・章タイトルはサーベイ論文 の各章でどのような内容が記述されるのかを示唆 する、いわば要約の方向性を示すクエリとしての機能を持つ。これらのクエリとの類似度によって各被引用論文を重みづけし、よりクエリに沿った要約を 出力できるように FiDを改良した。具体的には、ク エリと各被引用論文のアブストラクトをそれぞれ Encoder に入力し、得られた hidden_states を average pooling したそれぞれのべクトルの内積をクエリと 各被引用論文の類似度とする。その類似度で各被引用論文の hidden_statesを重みづけして Decoderに入力することで、モデルにクエリと各被引用論文の類似度の情報を与えている。 $n$ 本の被引用論文の入力トークン列をそれぞれ $R_{1}, R_{2}, \ldots, R_{n}$ とし、それぞれの長さを $l_{1}, l_{2}, \ldots, l_{n}$ と する。タイトル・章タイトルを結合したクエリの トークン列を $Q$ とし、その長さを $l^{q}$ とする。BART Encoder を Enc とすると、 $m$ 番目の被引用論文、ク エリの hidden_statesがそれぞれ以下のように得ら れる。

$
\begin{aligned}
H_{m} \in \mathbb{R}^{M \times l_{m}} & =\operatorname{Enc}\left(R_{m}\right) \\
H^{q} \in \mathbb{R}^{M \times l^{q}} & =\operatorname{Enc}(Q)
\end{aligned}
$

ここで、 $M$ は hidden_states の行数であるが、BART の場合は $M=1024$ である。また、行列の各行の平均をとってべクトルを得る操作を Avgpool とする と、 $m$ 番目の被引用論文、クエリの特徴ベクトルを それぞれ以下のように得られる。

$
\begin{aligned}
\boldsymbol{h}_{m} \in \mathbb{R}^{M} & =\operatorname{Avgpool}\left(H_{m}\right) \\
\boldsymbol{h}^{q} \in \mathbb{R}^{M} & =\operatorname{Avgpool}\left(H^{q}\right)
\end{aligned}
$

そして、クエリと $m$ 番目の被引用論文の類似度 $w_{m}$ をこれらの内積として求め、 $w_{m}$ で重みづけした $H_{m}$ を結合して BART Decoder に入力することで、出力 となるサーベイ論文の章が得られる。

$
\begin{aligned}
w_{m} & =\operatorname{dot}\left(\boldsymbol{h}_{m}, \boldsymbol{h}^{q}\right) \\
\text { output } & =\operatorname{Dec}\left(\operatorname{concat}\left(w_{1} * H_{1} ; \ldots ; w_{n} * H_{n}\right)\right)
\end{aligned}
$

ここで、dot は内積、concat は行方向に行列を結合す る操作、*は行列の各要素にスカラー値をかける操作、Dec は BART Decoderを表す。表 2 ベースライン手法と提案手法の ROUGE スコアによ る自動評価の結果

## 4 結果

本章では、ベースライン手法と提案手法を用いた サーベイ論文生成実験の結果について述べる。

## 4.1 ROUGE スコアによる自動評価

ベースライン手法と提案手法の ROUGE スコアを 表 2 に示す。表 2 より、BigBird のスコアが FiDより も低く、LEAD や LexRank と同程度であることが分 かる。長文の入力に対応した単文書要約モデルであ る BigBird を fine-tuning するのみでは性能が著しく 低いことから、サーベイ論文生成が通常の文書要約 と比較してより難易度の高いタスクであることが示唆される。また、我々の改良手法とべースラインの FiD を比較すると、改良手法のスコアが高いことが わかる。我々の改良手法がタイトル・章タイトルを 要約のクエリとして考慮することで、より適切な文章を生成できていることが確認された。

## 4.2 人手評価

1 年以上の研究経験を有する画像処理研究従事者 3 人に生成文章の人手評価を依頼し、評価対象と して画像処理分野の 5 本のサーベイ論文中の 30 章 を選定した $[13,14,15,16,17]$ 。これらの論文は、学習・検証用データセット中のいずれのサーベイ論文 とも被引用論文の重複が $20 \%$ 未満である。評価項目 として以下の 5 つを定め、各項目について提案手法 によって生成された章と実際のサーベイ論文の章の どちらが優れているか、あるいは同程度であるかの 3 段階で評価するように依頼した。評価者は、提示 された 2 つの章のうちどちらが実際のサーベイ論文 であるかを伏せられた状態で評価した。

・Relevance: 文章がタイトル・章タイトルと関連 しているか
- Coherence: 文章に一貫性があり、情報が構造化 されているか
表 3 提案手法の生成文章と実際のサーベイ論文を比較した人手評価の結果

図 3 Overall score で高い評価が得られた生成章の例

・Informativeness: 一般的な情報だけではなく、引用文献に関する具体的な情報を記述しているか

・ Factuality: 入力アブストラクトと矛盾する情報 や、事実に反する情報がないか

・Overall score: 全体的なサーベイ論文としての完成度

人手評価の結果を表 3 に示す。数値は、各指標について実際のサーベイ論文の章が優れて いる (Human > Machine-Generated)、同程度である (Comparable)、生成された章が優れている（MachineGenerated > Human）と評価された割合を示してい る。Relevance に関しては、生成された章が優れて いる、もしくは同程度であると評価された割合の合計が約 $75 \%$ 達しており、提案手法が要約のクエ リを適切に考慮でき、おおむね実際のサーベイ論文と遜色なくタイトル・章タイトルと関連した文章を生成できていることが明らかとなった。また、 Factuality に関しては、生成された章が優れている、 もしくは同程度であると評価された割合の合計が $60 \%$ に達しており、おおむね半分以上の生成文章で 実際のサーベイ論文と同程度以上に誤りのない記述を生成できていることが明らかとなった。一方、 Informativeness に関しては生成された章が優れてい る、もしくは同程度であると評価された割合の合計 が約 36\%にとどまっており、引用文献に関する具体的な情報を記述できているかという点では、生成文章は実際のサーベイ論文に及んでいないといえる。
そして、Overall score に関しては、生成された章 が優れていると評価された割合が $22.2 \%$ に達してい る。これは、生成された文章のほうが本物のサーべ イ論文よりも「サーベイ論文らしい」という例が一定程度存在することを示しており、非常に興味深 い結果であるといえる。Overall score で 2 人の評価者に優れていると評価された生成章の例を図 3 に 示す。図3より、生成文章は “Progressive Upsampling Super-resolution” について一貫した流暢な説明がで きていることが分かる。

## 4.3 今後の方向性

第 4.2 節の人手評価の結果、生成文章が優れている と評価された割合が特に少ないのは Informativeness と Factuality の項目であった。これは、被引用論文 の情報としてアブストラクトのみを入力している ため、参照要約が大力文書にない情報を含むこと が原因であると考えられる [18]。このため、アブ ストラクトのみならず本文や本データセットで利用可能な引用文などの追加情報を入力することで、 Informativeness と Factualityをともに改善できると考 えられる。

本研究では、人手評価において生成文章が全体的 に優れていると評価された割合が $20 \%$ 以上に達する など、サーベイ論文の自動生成に向けた第一歩とし て有望な結果を示した。一方で、具体的な情報の欠如や誤った情報の出力など、未解決の重要な課題も 明らかになった。現状の性能においては、サーベイ 論文の執筆時に草稿を自動生成するツールなど、人間による修正を前提とした応用が期待される。

## 5 おわりに

本研究では、サーベイ論文自動生成タスクとその ための大規模なデータセットを提案し、さらに同タ スクに適した文書要約手法を提案した。人手評価を 含む詳細な実験により、同タスクの課題と今後の方向性を明らかにした。本研究が、サーベイ論文生成 という挑戦的な課題に取り組む今後の研究の基礎と なることを願う。

## 謝辞

本研究は、NEDO JPNP20006、JST ACT-X JPMJAX1904 及び JST CREST JPMJCR21D1 の支援を受 けたものである。

## 参考文献

[1] Kokil Jaidka, Christopher Khoo, and Jin-Cheon Na. Deconstructing human literature reviews - a framework for multi-document summarization. In Proceedings of the 14th European Workshop on Natural Language Generation, pp. 125-135, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[2] Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, and Robert Stojnic. Galactica: A large language model for science. arXiv preprint arXiv:2211.09085, 2022.

[3] Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, and Robert Stojnic. Galactica demo. https://galactica.org/, 2022. (Accessed on 12/26/2022)

[4] Alexander Fabbri, Irene Li, Tianwei She, Suyi Li, and Dragomir Radev. Multi-news: A large-scale multidocument summarization dataset and abstractive hierarchical model. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1074-1084, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Yao Lu, Yue Dong, and Laurent Charlin. Multi-XScience: A large-scale dataset for extreme multi-document summarization of scientific articles. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8068-8074, Online, November 2020. Association for Computational Linguistics.

[6] Jay DeYoung, Iz Beltagy, Madeleine van Zuylen, Bailey Kuehl, and Lucy Wang. MS^2: Multi-document summarization of medical studies. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7494-7513, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 17971807, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[8] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4969-4983, Online, July 2020. Association for Computational Linguistics.
[9] Günes Erkan and Dragomir R Radev. Lexrank: Graphbased lexical centrality as salience in text summarization. Journal of artificial intelligence research, Vol. 22, pp. 457-479, 2004.

[10] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big bird: Transformers for longer sequences. Advances in Neural Information Processing Systems, Vol. 33, pp. 17283-17297, 2020.

[11] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874880, Online, April 2021. Association for Computational Linguistics.

[12] Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 615-621, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[13] Zhihao Wang, Jian Chen, and Steven CH Hoi. Deep learning for image super-resolution: A survey. IEEE transactions on pattern analysis and machine intelligence, Vol. 43, No. 10, pp. 3365-3387, 2020.

[14] Licheng Jiao and Jin Zhao. A survey on the new generation of deep learning in image processing. IEEE Access, Vol. 7, pp. 172231-172263, 2019.

[15] MD Zakir Hossain, Ferdous Sohel, Mohd Fairuz Shiratuddin, and Hamid Laga. A comprehensive survey of deep learning for image captioning. ACM Computing Surveys, Vol. 51, No. 6, pp. 1-36, 2019.

[16] Hamid Laga. A survey on deep learning architectures for image-based depth reconstruction. arXiv preprint arXiv:1906.06113, 2019.

[17] Chunwei Tian, Lunke Fei, Wenxian Zheng, Yong Xu, Wangmeng Zuo, and Chia-Wen Lin. Deep learning on image denoising: An overview. Neural Networks, Vol. 131, pp. 251-275, 2020.

[18] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan $\mathrm{Su}$, Yan Xu, Etsuko Ishii, Yejin Bang, Andrea Madotto, and Pascale Fung. Survey of hallucination in natural language generation. ACM Computing Surveys, 2022. Just Accepted.

[19] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A データセット構築手法の詳細

我々のデータセットは、タイトル、章タイトル、 アブストラクト、本文情報、さらには引用情報を 含んだ科学論文の大規模コーパス S2ORC[8]を使用 して構築された。まず、サーベイ論文の候補とし て、Computer Science 分野の論文の中から “survey”, “overview", "literature review", “a review” のいずれか をタイトルに含み、かつ本文情報にアクセスできる 論文を抽出した。これによって、13,984 本の論文が サーベイ論文の候補として得られた。

これらの候補の中にはサーベイ論文として適切ではない論文が含まれているため、候補から サーベイ論文として適切な論文を抽出するための SciBERT[19] ベースのサーベイ論文分類器を学習し た。まず、コンピュータサイエンスの研究に従事し ている大学院生に、候補論文のうち 889 本の論文に ついて、サーベイ論文として適切かどうかを以下の 基準でアノテーションするように依頼した。

・複数の科学論文をレビューしていること

一一般的なツールや書籍、記事をレビューし ていないこと
- 特定のプロジェクトや Shared Tasks の解説 を行っていないこと
- 文献レビューのみを行っており、新規手法の提案・先行研究の再実験・アンケート等をしてい ないこと（＝引用文献の情報だけでは原理的に 生成不可能な情報が含まれていないこと）

アノテーターは、候補論文のタイトルとアブスト ラクトを対象として上記の基準でアノテーション を行い、 3 人のアノテーターのうち 2 人以上が一致 した判断を採用することで最終的なアノテーショ ン結果を得た。アノテーションによって、候補論文 889 本のうち 583 本が適切、 306 本が不適切とし て分類され、Fleiss'kappa $=0.65$ となった。このア ノテーション結果を train:valid:test=589:150:150 に分 け、SciBERTを fine-tuning してサーベイ論文分類器 を学習した。その結果、accuracy $=89 \%$, precision $=$ $88 \%$, recall $=97 \%, f 1=92 \%$ の精度を持つサーベイ 論文分類器を学習できた。このサーベイ論文分類器を使用して、候補論文からサーベイ論文として 適切な論文を抽出したところ、698,049 本の被引用論文と 210,049 章を含む 10,269 本のサーベイ論文が 残った。最後に、これらのサーベイ論文の合計 210,049 章 のうち、S2ORC の引用データを利用して被引用論文のアブストラクトを合計 1 本以下しか抽出できな かった章を除外したところ、664,319 本の被引用論文と 94,795 章を含む 9,607 本のサーベイ論文が残っ た。これらの操作によって、被引用論文のアブスト ラクトとサーベイ論文のタイトル・章タイトルを入力とし、サーベイ論文の各章を生成するタスクの データセットを作成した。

## B 実装詳細

モデルは PyTorch ${ }^{1)}$ と HuggingFace Transformers ${ }^{2)}$ を用いて実装された。BigBird の初期重みは google/bigbird-pegasus-large-arxiv) を、FiD の初期重 みは facebook/bart-large-cnn ${ }^{4}$ を使用した。文書要約 モデルはいずれもサーベイ論文データセット で 10epoch 学習を行い、検証時に ROUGE-2 スコ アが最も高くなった epoch のモデルを評価に使用した。なお、今回は実験時間の都合上、検証用 データセットの 8,217 章からランダムに 1,000 章 サンプリングしたデータを使用して評価を行っ た。学習の optimizer は AdamWを使用し、 $\beta_{1}=0.9$, $\beta_{2}=0.999, l r=5 e-05$ とした。モデルの出力は beamsize $=4$ のビームサーチによってデコードされ、 maximumgenerationlength $=256$ とした。なお、FiDで は各被引用論文の入力が最大 1024 単語になるよう に入力を切り詰めている。