# 生化学分野のフルペーパーを対象としたリンキングと索引付け

辻村有輝 井田龍希 三輪誠 佐々木裕
豊田工業大学
\{sd18602,sd18006, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

2021 年 8 月に開催された BioCreative VII Track 2 に 参加した. Track 2 は論文全体からの固有表現抽出, リンキング，Indexing の3つのタスクから構成され，各タスクごとにニューラルモデルと，TF-IDF ベー スの Indexing モデルを構築して臨んだ. リンキング では省略形の解決により性能向上が確認された.ま た，構築したニューラル Indexing モデルは TF-IDF ベースのモデルに比べエラー伝播に弱く，パイプラ イン設定では TF-IDF ベースのモデルより低い識別性能となることが分かった.

## 1 はじめに

医学・生化学分野の大規模文献検索システムであ る PubMed [1] において，最もよく検索に使用され るのが化学用語である. 文献中の化学用語を自動抽出し，主要トピックを見つけて索引付けできるよう になれば，検索システムの利用者にとって大きな助 けとなり，また後続の言語処理システムにおける有用な情報となる。BioCreative VII Track 2 [2] はより 高性能な化学用語の抽出・索引付けアルゴリズムの 研究を目的としたコンペティション形式のワーク ショップトラックであり，参加者はアノテーション 付与された 150 件の論文全体からのエンティティ 抽出，リンキング，および Indexing タスクに取り組 む. 本稿では，BioCreative VII Track 2 における参加結果と，そこで使用したモデルについて述べる。な お，本稿の内容は BioCreative VII workshop にて報告 した結果 [3] を日本語で再構成したものである.

## 2 関連研究

## 2.1 BioCreative VII Track 2

BioCreative VII workshop [4] は生化学分野を対象と した種々の情報抽出タスクを扱うコンペティション 形式のワークショップである. 対象テーマ別に 5 つ
のトラックに分かれており，特に Track 2 [2] では生化学分野の論文全体からの固有表現抽出，リンキン グおよび Indexing を扱う.

## 2.1.1 固有表現抽出

固有表現抽出は，文献中に出現するエンティティ を抽出する問題である。本トラックで扱うエンティ ティは生化学用語である. 本トラックのユニークな 点として，抽出対象が論文全体であることが挙げら れ，図表のキャプションなどに登場するエンティ ティも抽出対象となる。論文はセクションやキャプ ションといった区切りに分割され，出現するエン ティティのスパンがタグ付けされている. 本トラッ クでは各エンティティは必ず連続した 1 つのスパン のみで構成される. 公式の評価指標はエンティティ スパンに対する $\mathrm{F}$ 値である。

## 2.1.2 リンキング

リンキングは文書中に出現するエンティティと データベースに登録されたエントリーの対応をと るタスクである．本トラックでは抽出された生化学用語それぞれに対し MeSH シソーラス [5] 全体から 対応する概念を割り当てる. MeSH シソーラスには 2021 年 8 月当時で 348,240 件の概念が登録されてい る. また，本トラックでは一つのエンティティ表層 が複数の概念の組み合わせとなりうるマルチラベル 分類の設定になっている．該当する概念が存在しな い場合があり，その場合は一致なしを表すラベルを 付与する．公式の評価指標は $\mathrm{F}$ 値であるが，正解数等はエンティティ表層単位ではなく，論文単位でま とめたユニーク概念集合に対して計測される.

## 2.1.3 Indexing

Indexing は文献に対する索引となる特に重要な話題を抽出するタスクである．本トラックでは各論文 ごとに索引となる MeSH シソーラスの概念クラス 集合を予測する形で行う，正解概念は，論文中で直
表 1 BioCreative VII Track 2 Indexing タスクの訓練コーパ スにおける各条件での正解クラスの網羅数

接出現したエンティティのほか，そのエンティティ をより一般化した上位概念となることもある。訓練 コーパスにおける，各区分に分けた時の正解クラ スの網羅数を表 1 に示す.ここで親子関係は MeSH Tree 構造における上位下位関係である。表のとお り，多くの正解クラスは論文中に直接出現し，また 直接出現した概念クラスの親クラスを含めること で，全正解クラスの約 $94 \%$ 網羅できる. 公式の評価指標は $\mathrm{F}$ 値である。

## 2.2 二段階学習を用いたニューラルリンキ ングモデル

我々は医療文書におけるリンキングを扱った N2C2 2019 workshop において，リンキングを分類問題として解くニューラルネットワークベースのリ ンキングモデルを構築した [6]. 入力はリンキング 対象のエンティティ表層であり，大規模事前学習済 み言語モデルである SciBERT [7]を用いて入力エン ティティをベクトル表現へエンコードする. このエ ンティティ表現と各概念の埋め込みベクトルのコ サイン類似度をとることで類似度スコアを計算し，温度付きソフトマックス関数を適用することで，各概念の予測確率を得る. 確率が最大となった概念ク ラスをモデルの最終的な予測として採用する．学習 は, 訓練コーパスに加えて, データベースの登録名 を用いて作成した追加の訓練事例により行う。これ により訓練コーパスに出現しない概念クラスにつ いても学習できるようにする. モデルの学習では, データベースからの訓練事例にのみ出現する概念ク ラスの訓練正解率が向上しないアンダーフィット の問題が発生する.このため，正解率が向上しなく なった段階で，出力層の重みをエンティティ表現か ら得た疑似的な収束值に上書きし, その後さらに追加の学習を行うことでこの問題に対処する.

## 3 提案手法

我々は BioCreative VII Track 2 の各タスクに対し， それぞれニューラルネットワークベースのモデル を構築し取り組んだ。また，Indexing に関しては
TF-IDFベースの手法も構築した.

## 3.1 固有表現抽出

固有表現抽出は, BILOU (Beginning, Inside, Last, Outside, Unit) スキーマによるエンティティ位置の系列ラベリング問題として解いた. 使用したモデルは SciBERT ベースのモデルで, 入力はサブワード分割 されたセクション一つであり, 出力は各サブワード の BILOU タグである. 入力を SciBERT でエンコー ドし, SciBERT の最終層の表現ベクトルを全結合層 による出力層への入力として, この出力にソフト マックス関数を適用することで，BILOU タグの確率分布を得る. 出力層の入力ベクトルにはドロップ率 $20 \%$ のドロップアウトを適用する．学習アルゴリズ ムには Adam を使用する。1 セクションに含まれる サブワード数が SciBERT の最大入力系列長を超え る場合，ストライド幅 128 で最大系列長に収まるよ うに分割する. デコード時には Viterbi アルゴリズ ムを使用し確率が最大となるタグ系列を選ぶ.

## 3.2 リンキング

リンキングでは先行研究 [6] のモデルをベースラ インとして使用した. 元々の訓練コーパスに加え, MeSH シソーラス上の全概念の各登録名について,対応する概念クラスを正解とする訓練事例を作成し 訓練に用いた。また，BC5CDR データセット [8] の 訓練，開発，テストセット全ても訓練事例として追加して利用した。省略形は Ab3P [9] によりあらかじ め正規化し，入力に用いた.

## 3.3 Indexing

Indexing タスクにおいては，TF-IDFベースのモデ ルと, ニューラルネットワークベースのモデルを構築した. どちらのモデルも候補とする概念クラスに 対して，それが索引対象かどうかを二値分類する形 で予測を行う. 候補クラスは論文中に出現した概念 クラスと, その概念の MeSH Tree 構造における親概念の集合である.

## 3.3.1 TF-IDF モデル

このモデルは, 各概念クラスの TF-IDF の值に対 して，設定した間値を超えるかどうかで索引対象 となるかどうかを判断する. TF-IDF の值は各論文中の出現したエンティティ表層の数から計算する.親概念の出現回数は, 子概念の出現回数の合計で

図1 ニューラル Indexing モデルの概観.

あり，親概念自身も直接出現する場合はそれも合算する. 親概念としての出現回数から計算された TF-IDF と, 直接の出現数のみから計算した (子概念 としての）TF-IDFでは，それぞれ別の閾値を使って 索引対象の識別を行う. 親概念が直接出現する場合 は，両種の閾値判定を行い，いずれかでも閾値を超 えた場合は索引対象とする. 閾値は $\mathrm{F}$ 值が最大とな るようにチューニングする.

## 3.3.2 ニューラル Indexing モデル

図 1 に提案するIndexing モデルの概観を示す. 初 めに，論文中に直接出現する各概念とその親概念ク ラスごとに言及集合をまとめ，各概念のバッグを作成する。親概念クラスのバッグは，その概念の子概念の言及と，直接の出現がある場合はそれらを加え た集合となる. 各言及はサブワードに分割し, 前後 4 サブワードまでの文脈を付け加える. エンティ ティの表層と文脈の間には，特殊トークン $[\mathrm{BOM}]$, [EOM] を挿入しスパンの境界を表す. エンティティ の表層が 9 サブワードを超える場合，これに収まる ように中央のトークンを特殊トークン [SHORT] で 置き換える (例: 図 1 中段の言及)．また，言及が バッグにおける子概念のものである場合，それを表 す特殊トークン [CSEP] と，バッグの概念に対応す る辞書登録名を付け加える (例：図 1 最下段の言及)。以上の工程で作成した言及バッグをモデルの入力 とし, そのバッグに対応する概念クラスが索引対象 かどうかの二値分類によって Indexingを行う.

モデルは各言及を SciBERTによりエンコードし， その最終層の表現ベクトルに対してトークンレベル のアテンション機構を適用することで言及表現を得 る.これらにさらに言及レベルのアテンション機構 を適用してバッグ表現を計算し, 全結合層とシグモ イド活性化関数によって索引対象である確率值を得表 2 固有表現抽出の結果.

る. アテンション機構にはマルチヘッドアテンショ ン [10]を用いた. 損失関数には負の対数尤度を使 い，最適化アルゴリズムには Adamを採用した.

## 4 実験

## 4.1 実験設定

BioCreative VII Track 2 で提供される訓練コーパス 150 論文のうち，120 論文を訓練セット，30 論文を 開発セットとして分割し, 開発セットにおける各評価指標が最大になるようにチューニングを行った. チューニングには Optuna [11]を使用した. テスト 用のモデルの学習には 150 論文全てを訓練データと して使用し，固有表現抽出，リンキング，Indexing の順にパイプラインで予測を行った. テスト用のリ ンキングモデル, Indexing モデルの学習時の入力に は，それぞれアノテーションに基づいた正しいスパ ン・概念ラベルを使用した. 各ニューラルモデル は, 同一の設定で 5 回モデルの学習を行い, 各出力確率の平均をとる形でアンサンブルを行った. 実装には PyTorch 1.8.1を利用し，GPU での計算には GeForce RTX 3090 を用いた.

## 4.2 実験結果

## 4.2.1 固有表現抽出

表 2 に固有表現抽出の実験結果を示す. 投稿した モデルはトラック参加者全体の中央値から $0.89 \%$ ポ イント低い $\mathrm{F}$ 値であった. 使用されたモデルの多く
表 3 開発セットにおけるリンキングの結果. “-OW”は 重み上書きとその後の追加学習の不利用を表す. “+Ab3P” および “+BC5CDR” は Ab3P と BC5CDR の利用を表す.

表 4 テストセットにおけるリンキングの結果.

が BERT [13] ベースのモデルであった. 参加チーム は合計 15 チームであり, 11 位のスコアだった.

## 4.2.2 リンキング

表 3 にリンキングタスクにおける各モデルの開発スコアを示す. 本データにおいては重み上書きの 利用による性能向上は, 先行研究 [6] で報告された もの比べあまり大きくない. 特に，BC5CDR データ セットを使用した場合は，重み上書きを使わずとも ほとんど同じ $\mathrm{F}$ 值を得られた。これは, 追加の学習 データによって学習が容易になり，重み上書きの導入の目的であるアンダーフィットが起こりづらかっ たためだと考えられる. Ab3Pによる省略形の解決 では常に性能が向上した. BC5CDR データセットの 利用による性能向上は比較的小さく，Ab3P を利用 する場合はほとんど差が生まれない結果となった.

表 4 にテストセットにおけるリンキングのスコア を示す. 各参加者が採用したシステムには，ニュー ラルベースのものと，ルールベースおよびルールと ニューラルのハイブリットのモデル各種が見受けら れた. 最高位のスコアを獲得したチームは，ルール ベースでリンキングを行ったのち，リンク先を見つ けられなかったエンティティをニューラルベースの モデルで補うシステムであった [14]. 参加チームは 合計 15 チームであり，うち 2 チームは固有表現抽出タスクには参加していない. 提案システムは全体 で 4 位であった.表 5 開発セットにおける Indexing の結果. “スパン・概念”は，モデルの入力がアノテーションに基づくか (“Gold”)，パイプラインにより得られた予測結果であるか (“Pipeline”)を表す.

## 4.2.3 Indexing

表 5 に開発セットにおける Indexing のスコアを示 す. 表のとおり，ニューラルモデルは与えられるエ ンティティのスパンと概念ラベルが正しいのであれ ば TF-IDF よりも高い F 值を得ることができるが， パイプラインの設定の時は大きくスコアを落とし， エラー伝播の影響を受けやすい。これは，ニュー ラルモデルの入力にはスパンの境界情報を利用し ているためにスパンのずれが直接入力に影響を与 える一方，TF-IDF モデルの入力は出現数のみであ り，エラー伝播の影響が小さいためだと考えられ る. 表 6 にテストセットにおける Indexing のスコア を示す。提案モデルのテストセットのスコアは，開発セットにおけるパイプラインの設定と同等のス コアになった. 最高位を記録したチームのモデルは PubMedBERT と特徴量を組み合わせた二値分類モデ ルであった [15]. Indexing タスクは前 2つのタスク を解いたうえで取り組む必要があり，時間的な制約 もあって最終的な参加チームは 4 チームと前 2 の タスクより少ない.また，我々を含めた 3 チームは 公式の提出期限後の追加実験としての提出である.我々は 3 位のスコアであった。

## 5 おわりに

本論文では，BioCreative VII Track 2 を対象に構築 したモデルを評価した. 今後の課題として，ニュー ラル Indexing モデルのエラー伝播の問題を改善する ことが挙げられる.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] National Library of Medicine. PubMed, 1996. https: //pubmed.ncbi.nlm.nih.gov/.

[2] Robert Leaman, Rezarta Islamaj, and Zhiyong Lu. The overview of the NLM-Chem BioCreative VII track. In BioCreative VII Challenge Evaluation Workshop, pp. 108-113, 2021.

[3] Tomoki Tsujimura, Ryuki Ida, Isanori Oiwa, Makoto Miwa, and Yutaka Sasaki. TTI-COIN at BioCreative VII Track 2. In BioCreative VII Challenge Evaluation Workshop, pp. 156-161, 2021.

[4] BioCreative VII, 2021. https:// biocreative.bioinformatics.udel.edu/events/ biocreative-vii/biocreative-vii/.

[5] National Library of Medicine. MeSH. https://www. ncbi.nlm.nih.gov/mesh/.

[6] 茂里憲之, 辻村有輝, 三輪誠, 佐々木裕. 二段階学習と 概念クラスを用いた医療固有表現の正規化. 言語処理学会第 26 回年次大会発表論文集, pp. 1487-1490, 2020.

[7] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[8] BioCreative V, 2015. https://biocreative. bioinformatics.udel.edu/tasks/biocreative-v/ track-3-cdr/.

[9] Sunghwan Sohn, Donald C Comeau, Won Kim, and W John Wilbur. Abbreviation definition identification based on automatic precision estimates. BMC Bioinformatics, Vol. 9, No. 402, 2008.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All You Need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, p. 6000-6010, 2017.

[11] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A Next-generation Hyperparameter Optimization Framework. The 25th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD’ 19), pp. 2623-2631, 2019.

[12] Hyunjae Kim, Mujeen Sung, Wonjin Yoon, Sungjoon Park, and Jaewoo Kang. Improving Tagging Consistency and Entity Coverage for Chemical Identification in Full-text Articles. In BioCreative VII Challenge Evaluation Workshop, pp. 140-143, 2021.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceed- ings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[14] Tiago Almeida, Rui Antunes, João Figueira Silva, João Rafael Almeida, and Sérgio Matos. Chemical detection and indexing in PubMed full text articles using deep learning and rule-based method. In BioCreative VII Challenge Evaluation Workshop, pp. 119-123, 2021.

[15] Arslan Erdengasileng, Keqiao Li, Qing Han, Shubo Tian, Jian Wang, Ting Hu, and Jinfeng Zhang. A BERT-Based Hybrid System for Chemical Identification and Indexing in Full-Text Articles. In BioCreative VII Challenge Evaluation Workshop, pp. 130-134, 2021.
 辻村有輝 井田龍希 三輪誠 佐々木裕 豊田工業大学 \{sd18602,sd18006, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp  