# BiomedCurator：医学・生物学文献からの構造化データ 抽出のためのデータキュレーションシステムの開発

Mohammad Golam Sohrab $^{1}$ Khoa N. A. Duong ${ }^{1}$ 池田修己 ${ }^{1}$ Goran Topić $^{1}$
夏目やよい ${ }^{2}$ 黒田 正孝 ${ }^{2}$ 伊藤 眞里 ${ }^{2}$ 高村 大也 ${ }^{1}$
1 産業技術総合研究所 人工知能研究センター
2 医薬基盤・健康・栄養研究所 $\mathrm{AI}$ 健康・医薬研究センター
}

\{sohrab.mohammad, goran.topic, ikeda-masami, takamura.hiroya\}@aist.go.jp

\{natsume, m-kuroda, mari\}@nibiohn.go.jp
## 概要

医学・生物学分野の論文から，事前に選択した属性（疾患，投与薬剤，投与量，投与期間，被験者の年齢，結果など）に関する情報を，構造化データとし て抽出するキュレーションシテム BiomedCurator の を開発を行なった。本システムは，関係抽出のため のテキスト生成モデル，エンティティ認識，テキス ト分類モデル，知識ベース上のエントリからの情報検索とエンティティ・リンキング，パターンに基づ く複数属性の情報抽出を行う自然言語処理アプロー チによって構成されている. BiomedCurator はウェ ブサイト (https://biomed-text.airc.aist.go.jp/ biomedcurator/）において公開している.

## 1 はじめに

医学・生物学分野の論文や臨床試験の報告書に は，適用された薬，対象疾患，投与量，投与期間，被験者の年齢，結果などの情報が提供されている. これらの情報は, 創薬や医薬品開発のためのデータ マイニングや統計分析に有用であり，通常は専門家 が論文を読んで抽出し, 図 1 に示すような属性と值 が対応づけられた 2 次元のスプレッドシート形式の 構造化データを手作業で作成している. 本稿では, このような構造化データを自動生成（以下，データ キュレーション）するシステムを提案する。

データキュレーションのタスクには，エンティ ティ認識，エンティティ・リンキング，関係抽出， テキスト分類など，さまざまな自然言語処理技術を 用いたアプローチが必要となる．また，このタスク の特徴は，訓練データとなる，人間の専門家によっ てキュレーションされたデータがスプレッドシー 卜形式で提供される一方，抽出すべき情報が論文中
のどこの位置に記述されているかが明示されない. したがって，通常のエンティティ認識の学習データ とは異なり，BIO タグは注釈されていない。また， キュレーションされたデータ中では，元の論文と異 なる用語や表現が使われている可能性がある.

本稿では，これらの技術的課題を 2.2 節で述べる 手法で解決する. さらに，特に肺疾患に関するドメ インについて手法を実装し，ユーザーが指定する PubMed ID あるいは ClinicalTrials.gov ID に該当する 文献から，61 個の属性を自動データキュレーション するシステム BiomedCurator について報告する。

## 2 関連研究

テキストマイニングを使用した医学・生物学情報 の検索をサポートする方法およびウェブツールが いくつか提案されている. 例えば, エンティティ情報の抽出を文書レベルで行う際に，生成的アプロー チを採用したものなどがある [1]. 文のエンコード から文書レベルのグラフを作成し，グラフのエッジ 表現から文書レベルの関係を抽出する方法 [2] や,文書レベルの $n$ 項関係を獲得する手法 [3] などが 提案されている. また, pubmedKB [4] は, バリアン 卜, 遺伝子, 疾患, および化学物質という 4 つの医学・生物学エンティティタイプ間のセマンティッ クな関係を抽出して視覚化するウェブサーバであ り, 多数の PubMed 抄録から意味関係の抽出が可能 である。構造化された関係タプルを抽出するため の文節抽出とメタパターン発見を組み込んだ CPIE (Clause+Pattern-guided Information Extraction) フレー ムワーク [5] や，BERT ベースの言語モデルを使用 した遺伝子-疾患の関係抽出手法 [6], 文献から遺伝子型-表現型の関係抽出のためのパイプライン [7] が 提案されている.

図1スプレッドシート形式の構造化データの例. 1 行目はカテゴリ，2 行目は属性を示す.

図 2 BiomedCurator のワークフロー，入力された PubMed あるいは ClinicalTrials.gov の IDをもとに，(a)から (d) の プロセスを通じて解析し, 各属性の值として出力する. プロセス (c) の結果の一部は再利用され，他の属性を予測 する入力機能として再結合されることを示す.

本稿で対象とするデータキュレーションでは，エ ンティティ抽出，関係抽出，エンティティリンキン グなどに基づくより幅広い情報の抽出を行う.

## 3 提案システム

データ（3.1 節)，キュレーションのための 5 つの 主要な手法 (3.2 節), そのウェブアプリケーション （3.3 節）の順で詳述する.

## 3.1 データセット

ここでは，肺がん，特発性肺線維症（IPF），間質性肺炎（IP）と線維症について過去 5 年間に発表 された無料でアブストラクトと本文が入手可能な PubMed の論文を選択した。抽出する情報を 11 個の カテゴリに分類し，さらにサブカテゴリに分割して 合計 61 個の属性を設けた. これらの属性は創薬の 経験を持つ薬理学者がキュレータの生物学者との 話し合いの中で決定した. 次に，手作業でキュレー ションを行なった. キュレーションには生物学者と 編集者が参加し, 品質保証と品質管理チェックを 行った. 構築した構造化データセットの概要を図 1 に示す 1). 各カテゴリ，サブカテゴリ，属性の詳細 な内容と使用するキュレーション手法は，付録およ びウェブサイト ${ }^{2)}$ に記載した.

1）データセットの公開は検討中.

2) https://github.com/aistairc/BiomedCurator

## 3.2 キュレーション手法

## 3.2.1 関係抽出のための生成的アプローチ

本稿の関係抽出は，抽出すべき情報の論文中の出現位置が訓練データ中で明示されていない，論文中 とは異なる用語や表現が構造化データで使われる 可能性がある，という技術的課題がある. そのた め, 生成問題として $n$ 項関係抽出タスクを定式化す る. 入力テキストに対し，予め定めた構造を表す単語系列を生成する。例えば, eligible patients received up to six cycles of pemetrexed, $500 \mathrm{mg} / \mathrm{m}$ (2) plus cisplatin, $75 \mathrm{mg} / \mathrm{m}(2)$ (day 1) or gemcitabine, $1000 \mathrm{mg} / \mathrm{m}$ (2) (days 1 and 8) plus cisplatin, $75 \mathrm{mg} / \mathrm{m}(2)$ (day 1). os and toxicity were assessed. という入力に対し，次のような系列を 生成する：

[start]

[drug] gemcitabine [/drug] [dose] $1000 \mathrm{mg} / \mathrm{m} 2$ [/dose] [and]

[drug] cisplatin [/drug] [dose] $75 \mathrm{mg} / \mathrm{m} 2$ [/dose] [or]

[drug] pemetrexed [/drug] [dose] $500 \mathrm{mg} / \mathrm{m} 2$ [/dose] [and]

[drug] cisplatin [/drug] [dose] $75 \mathrm{mg} / \mathrm{m} 2$ [/dose] [end]

これは，(gemcitabine, $1000 \mathrm{mg} / \mathrm{m} 2$ ) と (cisplatin, 75 $\mathrm{mg} / \mathrm{m} 2$ )，あるいは (pemetrexed, $500 \mathrm{mg} / \mathrm{m} 2$ ) と (cisplatin, $75 \mathrm{mg} / \mathrm{m} 2$ ) という薬品-投与量の関係を表す.

長い系列に対応できるエンコーダ・デコーダモデ ルとして, BigBirdPegasus [8]を採用し，上記の生成的 アプローチによる関係抽出を行う。このアプローチ を用いるのは, dose, drug, route of administration の 3 個の属性である.

## 3.2.2 エンティティ抽出

エンティティ抽出に帰着できる属性につい ては，SciBERT [9]を用いた. 特に, ethnicityに ついては，同じラベルを持つ OntoNotes 5 [10] を 訓練データとして SciBERT をファインチュー ニングした. Biomarker name については，同様に BioNLP13CG [11] でファインチューニングした. そ れ以外の属性については，擬似訓練データに基づ く distant supervisionを用いた。具体的には，構造化

データのエンティティと表層的に類似している文を 取得し，文字列マッチングにより擬似的にラベル付 けした。

## 3.2.3 テキスト分類

いくつかの属性については，SciBERT により入力テキストをエンコードし分類する方法を用い た.また，他の属性の値が手がかりになる属性に ついては，RandomForest ${ }^{3}$ に基づく分類器を用い た. 例えば, associationについては, marker_type, marker_nature, phenotype の属性値を分散表現で表 し連結したべクトルを入力とし RandomForestを用 いた.

## 3.2.4 正規表現

reference_id, grade, stage, total_sample_number などの属性については, 正規表現により值を抽出し た. 詳細はプロジェクトページに記述した。

## 3.2.5 外部知識ベースからの情報検索

CAS ID, ChEMBL ID, DrugBank ID, Entrez ID, Uniprot ID, HGVS Name, Rs ID, KEGG Pathway Name の 8 個の属性については，外部知識ベーズ ${ }^{4}$ から取得した.

## 3.3 ウェブアプリケーション

BiomedCurator のワークフローを図 2 に示す.ユー ザから入力された PubMed あるいは ClinicalTrials.gov の IDをもとに，（a）オンラインデータベースから 対応する論文を取得し，（b）前処理を経て，（c）さ まざまな種類の情報を抽出するように設計された 5 つの主要なアプローチに適用される. 最後に, 抽出 された情報が返され，（d）各属性の値を表示する.

## 4 実験

## 4.1 データ

PubMed（2,570 論文）と ClinicalTrials.gov (2,371 論文）から構築したキュレーションデータで実験を 行った.データセットの内訳と統計値を表 1 に 示す.

3) https://scikit-learn.org/stable/modules/generated/ sklearn. ensemble. RandomForestClassifier.html

4) https://commonchemistry.cas.org, https://go.drugbank. com, https://www.ncbi.nlm.nih.gov/gene/, https://www. genecards.org, https://www.uniprot.org/uniprot/, https: //www.ncbi.nlm.nih.gov/CBBresearch/Lu/Demo/LitVar/api . html, https://www.ncbi.nlm.nih.gov/CBBresearch/Lu/Demo/ LitVar/api.html, https://www.genome.jp/kegg/pathway.html
データの前処理は 4 つのステップから成る：(1) テキスト正規化，（2）文分割，（3）節分割および段落分割，（4）トークン化.

テキスト正規化 XML タグの削除や，連続する 空白を単一の空白にする作業，特殊記号を空白にす るする作業を行う。その後，ftfy [12]を用いて NFC 形式でユニコード正規化を行う。

文分割 テキスト正規化後に, GENIA 文分割器5) を用いて文分割を行う。

節分割および段落分割 drug と dose の関係な ど，薬品-投与量の関係など，単一文でなく複数文 に渡って記述されている属性があるため，入力テキ ストを節や段落の単位に分割する。まず，XML 形式で与えられている入力テキストのメタデータを 用いる. 分割に利用できるメタデータがない場合 は, Abstract, Introduction, Method, Approach, Results な どのキーワードに基づくルールにより分割を行う.

トークン化 最後に BigBirdPegasus $の$ PegasusTokenizer と SciBERT の BertTokenizer を用いてトークン 化を行う。

## 4.2 計算

すべてのモデルは AdamW [13] を用い学習率 3e-5 で最適化した。関係抽出のための生成モデルは，8 GPU 上で total batch size 32 で 50 エポック訓練した. また，詳細は割愛するが，カリキュラム学習を採用 している. エンティティ抽出モデルは，単一 GPU 上で batch size 32 で 5 エポック訓練した. 計算には, NVIDIA A100 for NVLink 40GiB を用いた。

## 5 結果と考察

表 2 に提案手法による PubMed データセットに含 まれる 17 個の属性へのデータ抽出性能を，適合率 (P)，再現率（R）および $\mathrm{F}$ スコア（F）で示した. $\mathrm{F}$ スコアに基づくほとんどの属性への抽出性能は良好に機能していることを示していた。一方，属性 duration, grade, disease_name, phenotype への性能は他に比べて低かった. disease_name のモデル は, distant supervision による擬似訓練データで学習 されているが，病名には同義語が多いことからこの 擬似訓練データにノイズが多く含まれていることが 再現率低下につながったと考えられる. 対照的に，単一回答のみで構成される PubMed データセットに 含まれる 6 個の属性については，十分に高い結果が 得られた（表 3).

ClinicalTrials.gov データセットへのデータ抽出の

5) http://www.nactem.ac.uk/y-matsu/geniass/
表 1 PubMed と ClinicalTrials.gov から選択収集した各キュレーションデータセットの内訳および統計

表 2 PubMed データセットに含まれる 17 個の属性（複数回答）へのデータ抽出の評価結果

表 3 PubMed データセットに含まれる 6 個の属性（単一回答）へのデータ抽出の評価結果

評価結果を，表 4 および 5 に示す. 属性 duration, disease_sub_category, BNAMIRを除くほとんどの属性に対する抽出性能は良好である。属性 duration への性能の低さは，このゴールドエンティティは 通常，1〜3桁の数字の後に時間の単位を表す単語 が続くことが原因である (例：24 hours，120 days, 2 weeks, 3 months など). 情報の正規化，言い換え，対象の論文以外からの情報の付加が専門家による手動 のキュレーションデータに含まれていた場合，モデ ルによる論文内容からの検索と抽出精度を低下さ せ，評価が困難であった。表 4 ClinicalTrials.gov データセットに含まれる 21 個の属性（複数回答）へのデータ抽出の評価結果. BNAMIR は "biomarker name as modified in reference" の省略表記

表 5 ClinicalTrials.gov データセットに含まれる 3 個の属性（単一回答）へのデータ抽出の評価結果

## 6 おわりに

医学・生物学文献からのデータキュレーションシ ステム BiomedCuration の開発を報告した. 本システ ムは，PubMed および ClinicalTrials.gov に由来する論文から自然言語処理アプローチによる解析を通じて 情報を抽出し，61 個の属性の値として出力する． 2 つのデータセットに対する $\mathrm{F}$ スコアと精度による性能評価から，システムが機能していることを示す結果が得られた。また，本システムはインタラクティ ブなウェブアプリケーションとして公開している.今後は，システムのさらなる改善のために，n 項関係抽出などの新しい機能の実装を計画している。

## 謝辞

本稿で紹介した研究は，官民研究開発投資拡大プ ログラム（PRISM）「新薬創出を加速する症例デー タベースの構築・拡充/創薬ターゲットの推定アル ゴリズムの開発」の助成を受けたものです.

## 参考文献

[1] Kung-Hsiang Huang, Sam Tang, and Nanyun Peng. Document-level entity-based extraction as template generation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5257-5269, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics. https://aclanthology.org/2021 . emnlp-main. 426.

[2] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4925-4936, Hong Kong, China, November 2019. Association for Computational Linguistics. https://aclanthology .org/D19-1498.

[3] Robin Jia, Cliff Wong, and Hoifung Poon. Documentlevel n-ary relation extraction with multiscale representation learning. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3693-3704, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics. https: //aclanthology .org/N19-1370.

[4] Peng-Hsuan Li, Ting-Fu Chen, Jheng-Ying Yu, ShangHung Shih, Chan-Hung Su, Yin-Hung Lin, Huai-Kuang Tsai, Hsueh-Fen Juan, Chien-Yu Chen, and Jia-Hsin Huang. pubmedKB: an interactive web server for exploring biomedical entity relations in the biomedical literature. Nucleic Acids Research, Vol. 50, No. W1, pp. W616-W622, 05 2022. https://doi .org/10.1093/ nar/gkac310.

[5] Xuan Wang, Yu Zhang, Qi Li, Yinyin Chen, and Jiawei Han. Open information extraction with meta-pattern discovery in biomedical literature. Proceedings of the 2018 ACM International Conference on Bioinformatics, Computational Biology, and Health Informatics, 2018.

[6] Chuan Deng, Jiahui Zou, Jingwen Deng, and Mingze Bai. Extraction of gene-disease association from literature using biobert. The 2nd International Conference on Computing and Data Science, 2021.

[7] Wenhui Xing, Junsheng Qi, Xiaohui Yuan, Lin Li, Xiaoyu Zhang, Yuhua Fu, Shengwu Xiong, Lun Hu, and Jing Peng. A gene-phenotype relationship extraction pipeline from the biomedical literature using a representation learning approach. Bioinformatics, Vol. 34, No. 13, pp. i386-i394, 062018. https://doi.org/10.1093/bioinformatics/ bty263.
[8] Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontañón, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, and Amr Ahmed. Big bird: Transformers for longer sequences. CoRR, Vol. abs/2007.14062, , 2020. https://arxiv.org/abs/ 2007.14062 .

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics. https://aclanthology .org/D19-1371.

[10] Sameer S. Pradhan, Eduard Hovy, Mitch Marcus, Martha Palmer, Lance Ramshaw, and Ralph Weischedel. Ontonotes: A unified relational semantic representation. In International Conference on Semantic Computing (ICSC 2007), pp. 517-526, 2007.

[11] Sampo Pyysalo, Tomoko Ohta, Rafal Rak, Andrew Rowley, Hong-Woo Chun, Sung-Jae Jung, Sung-Pil Choi, Jun'ichi Tsujii, and Sophia Ananiadou. Overview of the cancer genetics and pathway curation tasks of BioNLP shared task 2013. BMC bioinformatics, Vol. 16, No. 10, pp. $1-19,2015$.

[12] Robyn Speer. ftfy. Zenodo, 2019. Version 5.5.

[13] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, ICLR 2019, New Orleans, USA, 2019. https://openreview.net/forum? id=Bkg6RiCqY7.

## A 付録

表 6 各カテゴリとそのサブカテゴリである属性（1 列目と 2 列目）の詳細な内容（4 列目）および使用するアプローチ の一覧（3列目．PE：パターンに基づく抽出， $\mathrm{RE}$ ：関係抽出， $\mathrm{EE}$ ：エンティティ抽出， EL：エンティティ・リンキング， TC：テキスト分類）．FV（Fixed Value）はキュレートデータの特定の値，NA は現時点で未対応であることを意味する.

 &  &  &  \\


 Mohammad Golam Sohrab $^{1}$ Khoa N. A. Duong ${ }^{1}$ 池田修己 ${ }^{1}$ Goran Topić $^{1}$ 夏目やよい ${ }^{2}$ 黒田 正孝 ${ }^{2}$ 伊藤 眞里 ${ }^{2}$ 高村 大也 ${ }^{1}$ 1 産業技術総合研究所 人工知能研究センター 2 医薬基盤・健康・栄養研究所 $\mathrm{AI}$ 健康・医薬研究センター }  \{sohrab.mohammad, goran.topic, ikeda-masami, takamura.hiroya\}@aist.go.jp  \{natsume, m-kuroda, mari\}@nibiohn.go.jp 