# 構文情報とラベルなしデータを用いた化学分野の関係抽出

新城大希
東京工業大学情報理工学院
shinjo.t.ab@m.titech.ac.jp
牧野拓哉
株式会社富士通研究所
makino.takuya@fujitsu.com
}

徳永健伸
東京工業大学 情報理工学院
take@c.titech.ac.jp
岩倉友哉
株式会社富士通研究所
iwakura.tomoya@fujitsu.com
}

る場合は実行時間が増加するため，大規模データを 効率的に処理することが難しくなる。

この二点をふまえ，本研究では，Open Information Extraction (Open IE) [6] を利用して補助タスクの学習 データを作成し，関係抽出を行う「主タスク」に加 え，主タスクが対象とするエンティティのペアが Open IE で抽出されるかどうかを判定する「補助タ スク」を導入したマルチタスク学習 [7]を行う。さ らに，ラベルなしデータである PubMed に対してラ ベルを付与し，学習に利用する手法を提案する。提案手法は，ラベルなしデータおよび各タスクの学習 データに対して Open IE が構文パタンに基づいて抽出した関係を学習時に利用する。そのため，目的の 関係抽出に有効な構文情報を暗黙的に学習するこ とが期待される。また，提案手法は構文情報は学習時のラベル作成のために利用し, 抽出時には利用し ないため, 明示的な構文解析結果の利用で生じる抽出速度の低下を避けることができる. CHEMPROT, GAD，EU-ADR で評価した結果，BioBERT より高い 精度が得られ，また，構文解析結果を用いる手法と の比較では，高い精度を維持しつつ，最大 29 倍高速に抽出が行えることが示された。
## 2 関連研究

BERT [3] を分野固有の文書で訓練することによっ て，その分野のタスクが高性能になることが知られ ている $[2,8]$. また，構文解析結果を考慮すること で，一般ドメインの関係抽出において，精度改善が 報告されている [4, 5]. Open IE [6] は，構文情報を 用いて主語・目的語となるエンティティのペアと， エンティティ間の関係を合わせた三つ組を抽出す る. そのため，クラスが定義された教師あり学習と は異なり，種々の関係を抽出できる。
 い。二つ目は，構文的な情報を利用していないとい う点である. 目的の関係抽出タスクでは構文的な情報が手掛かりになると期待できる $[4,5]$. しかしな がら，BERT は単語列からなる文を入力として文に 対する特徵量を抽出するため，構文的な情報を利用 していない。また，単純に構文解析の結果を利用す

図 1 マルチタスク学習の概念図

## 3 提案手法

## 3.1 ベースモデル

本研究では主タスクの関係抽出と後述する補助 タスクを同時に学習するマルチタスク学習をべー スラインモデルとする [7]. まず関係を判定したい 二つのエンティティをタグに変換する．変換後の文 に対して Open IE によって補助タスクのラベルを付与し, 両タスク共通のエンコーダの入力に用いる. エンコーダとして事前学習済みの BioBERTを用い る. BERTにおいて用いられる [CLS]トークンがエ ンコーダの出力から得られるので, 入力文の分散表現としてそれぞれの分類器の入力に用いる. 共通の エンコーダとそれぞれの分類器を学習させ，各タス クの損失の重み付き和を最終的な損失関数とする。以上の手順を図 1 に示す.

主タスクでは関係抽出を行うが，補助タスクでは 入力文に Open IE で抽出できる関係が含まれている かどうかを分類する. 補助タスクのラベルを生成 するため, 入力文に対して Open IE ツール Stanford CoreNLP [9] を用い，(主語，関係，目的語）の三つ 組を抽出する。このとき，主語，目的語にそれぞれ のエンティティを含む三つ組が抽出できた場合，入力文に対する補助タスクのラベルは正例ラベルと なる。 それ以外の場合は負例となる。表 1 に例を示 す.したがって，補助タスクではエンティティのぺ アを含む文を大力とし，入力文が正例か負例かの 2 クラスに分類するタスクを取り扱う．各タスクの損失関数は Cross Entropy Loss を用いる.

## 3.2 ラベルなしデータの活用

本研究では CHEMPROT などのラベル付きデータ に加え，ラベルなしデータである PubMed の活用 を提案する. PubMed は生物医学ドメインのデータ ベースであり，2020 年 9 月時点で約 3,000 万件の文献が収録されている.このうちアブストラクトが取得できる文献をクローリングし，学習に利用する。利用方法は以下の通りである。

1. ラベル付きデータを用いて固有表現抽出器と関係抽出器を学習. 抽出器はいずれも BioBERT で使用していたものを利用.

2. PubMed アブストラクトに対して 1 で学習した モデルで固有表現抽出を行い，関係抽出の判定対象のエンティティを含む文を取得.

3. 2で取得した文に対して関係抽出を行い主タス クのラベルを付与.
4. 2 で取得した文に対して Open IE によって補助 タスクのラベルを付与.

5. 主タスクと補助タスクのラベルが付与された PubMed を元のラベル付きデータと同時に学習.

PubMed の利用時は，関係ラベルの正例・負例の 比率が元のラベル付きデータと同程度になるよう文 を選ぶ。また，関係抽出ラベルを付与した際のスコ アが高いものから順に選択し学習に利用する。

## 4 評価実験

## 4.1 データセット

評価実験では CHEMPROT に加えて GAD [10], EU-ADR [11] をデータセットとして用いる. CHEMPROT は関係の種類が 6 クラス定義され
表 1 補助タスクのラベル付けの例

 & 正例 \\

ているのに対し， GAD と EU-ADR は 2 クラスが 定義されている.いずれのデータセットにおい ても BioBERT で使われていた前処理済みのもの を実験に用いる．実験ではこれらの CHEMPROT， GAD，EU-ADR に加え，CHEMPROT を関係あり・ なしの 2 クラスに変換したデータセットを用い る. 以降，本稿では元の 6 クラスの CHEMPROT を CHEMPROT-6，2 クラスに変換した CHEMPROT を CHEMPROT-2 と記す.

## 4.2 実験設定

CHEMPROT-6, CHEMPROT-2, GAD, EU-ADR $の$ 4 つのデータセットについて，主タスクのみを行 う場合とマルチタスク学習を行う場合のそれぞれ について学習時に PubMed を追加して実験を行う。 PubMed を利用する際には，元データとの関連性の 高い文を利用するために元データに出現するエン ティティを含む文のみを用いる手法でも実験を行 う．また，構文情報を与える方法として BioBERT の入力に構文木上の二つのエンティティを繋ぐ最短経路のトークンを追加した最短経路手法も比較と して実験する．本実験では，各最短経路を BioBERT で encode した結果を結合し，softmax 層にて分類を 行う，そのため，この方法では，その都度，構文解析が必要となる.

エンコーダは事前学習済みの BioBERT-Base v1.12) を用いてそれぞれの学習データで fine-tuning を行っ た. GAD，EU-ADRにおいては開発データが存在し なかったため，学習データの $10 \%$ 開発データとし て分割した. 各データセットにおいて開発データで ハイパーパラメータチューニングを行った. 開発 データで最も $\mathrm{F}$ 值が高くなったハイパーパラメータ を用い，学習データに開発データを含めて再度学習 したモデルによってテストデータの評価を行った。

CHEMPROT については乱数のシード値を変更 した上で 5 回ずつモデルの学習・評価を行い，そ れらの $\mathrm{F}$ 值の平均を評価値として用いる. GAD， EU-ADR については 10 分割交差検証によって F 值 を算出する。


## 4.3 結果と考察

評価実験の結果を表 2 に示す. BioBERT は Lee et al. [2] の論文中の数値を用いた.

表 2 実験結果（F 値）。+common は PubMed 利用時，教師データに出現したエンティティ間に制限.

手法 追加 PubMed データ量

ここでマルチタスク学習における主タスクと補助 タスクの正例・負例の相関を表 3 に示す. 主タスク と補助タスクの相関についてカイ二乗検定を用いて 有意水準 0.05 で検定したところ，CHEMPROT-2 で は有意差が認められたが，GAD，EU-ADR では有意
表 3 主タスクと補助タスクの相関

差は認められなかった. このことから，主タスクと 補助タスクの相関が示されている CHEMPROT-2に おいてはマルチタスク学習単体で，より大きく F 值 が向上したと考えられる.

また，PubMed 追加なしのシングルタスク (Single) とマルチタスク (Multi) の比較から, CHEMPROT-6, CHEMPROT-2，GAD では $\mathrm{F}$ 值が向上していること がわかる.

PubMed 追加の効果については, Single 行の比較で は，すべてのデータセットにおいてデータ追加なし の場合より高い F 值を示している. また，PubMed 利用時に，すべての文を使う場合 (Single, Multi) と 教師データに出現するエンティティ間の関係に制限する場合 (common) の比較では，CHEMPROT で は，制限を加えない場合に最高精度が得られ，GAD， EU-ADR では制限が有効であった. データを追加す ることで $\mathrm{F}$ 值は基本的に上がっているものの，一定量追加したあとは $\mathrm{F}$ 值が下がる傾向にある。これは 学習データを追加する際に関係抽出によってラベル を付与したときのスコアが高いものから順に追加し ていることに起因すると考えられる.

マルチタスク学習と PubMed の追加を組み合わ せた場合については，CHEMPROT-6, CHEMPROT-2 では最も高い $\mathrm{F}$ 值を達成しているが，GADでは シングルタスクでの PubMed 追加手法が，EU-ADR では最短経路手法がそれぞれ最高精度を達成して いる. PubMed に付与した主タスクと補助タスク のラベルについては，追加データ $100 \%$ で使用し た追加 PubMed データのラベルの相関を表 4 に示 す. 主タスクと補助タスクの相関についてカイ二乗検定を用いて有意水準 0.05 で検定したところ，表 4 PubMed における主タスクと補助タスクの相関

CHEMPROT-2，GAD，EU-ADR のいずれのデータ セットにおいても有意差が認められた.このことか ら，PubMed の学習では両タスクに共通する特徴を 学習し，ベースラインよりも高い $\mathrm{F}$ 值を達成してい るのだと考えられる。

EU-ADR では提案手法がいずれも最短経路手法よ り $\mathrm{F}$ 値が下回っているが，最短経路手法は関係抽出 ラベルを付与する際に構文解析の分だけ実行時間 がかかることになる。そこで，最短経路手法とその 他の手法について，学習データに関係ラベルを付与 する際に要する実行時間を計測した ${ }^{3}$ ．構文解析を 用いないべースラインや提案手法では CHEMPROT, GAD，EU-ADR の順に 74，31，15 秒だったのに対 し, 最短経路手法では $1,692,451$, 52 秒だった. こ れらの結果から，提案手法により，構文情報を学習 しつつ，大規模なラベルなしテキストを用いた学習 が行えることがわかる．最短経路を利用しない同じ 計算量となるモデル間での比較では，EU-ADR にお いてはマルチタスク学習と PubMed の追加を組み合 わせた提案手法が最も $\mathrm{F}$ 值が高くなっている.

## 5 おわりに

本研究では Open IE によるラベル拡張とラベルな し大規模コーパスの利用によって関係抽出タスクの 精度の向上を試みた. 実験結果から，マルチタスク 学習とデータ拡張を同時に行うことで，F 值の向上 を確認した. 今後の課題として化学ドメインでの文字情報の追加利用や，化学ドメイン以外への本手法 の適用などが挙げられる。

3）計測には Intel Xeon E5-2680 v4 2.4GHz CPU と NVIDIA TESLA P100 for NVlink-Optimized Servers を用いた.

## 参考文献

[1] Martin Krallinger, Obdulia Rabal, Saber A Akhondi, et al. Overview of the Biocreative VI chemical-protein interaction Track. In Proceedings of the sixth BioCreative challenge evaluation workshop, Vol. 1, pp. 141-146, 2017.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: Pre-trained Biomedical Language Representation Model for Biomedical Text Mining. arXiv preprint arXiv:1901.08746, 2019.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805, 2018.

[4] Yan Xu, Lili Mou, Ge Li, Yunchuan Chen, Hao Peng, and Zhi Jin. Classifying relations via long short term memory networks along shortest dependency paths. In $E M N L P^{\prime} 15$, pp. 1785-1794, 2015.

[5] Makoto Miwa and Mohit Bansal. End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016, August 7-12, 2016, Berlin, Germany, Volume 1: Long Papers, 2016.

[6] Michele Banko, Michael J Cafarella, Stephen Soderland, Matthew Broadhead, and Oren Etzioni. Open Information Extraction from the Web. In Ijcai, Vol. 7, pp. 2670-2676, 2007.

[7] 新城大希, 西川仁, 徳永健伸, 牧野拓哉, 岩倉友哉. 自動生成した学習データを用いたマルチタスク学習に よるタンパク質と化学物質間の関係抽出. 言語処理学会第 26 回年次大会, pp. 1555-1558, 2020.

[8] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP: Natural Language Processing Toolkit. In Proceedings of 52nd annual meeting of the association for computational linguistics: system demonstrations, $\mathrm{pp}$. $55-60,2014$.

[10] Àlex Bravo, Janet Piñero, Núria Queralt-Rosinach, Michael Rautschka, and Laura I Furlong. Extraction of Relations between Genes and Diseases from Text and Large-scale Data Analysis: Implications for Translational Research. BMC Bioinformatics, 012015.

[11] Erik M. van Mulligen, Annie Fourrier-Réglat, David Gurwitz, Mariam Molokhia, Ainhoa Nieto, Gianluca Trifiró, Jan Kors, and Laura I Furlong. The EU-ADR Corpus: Annotated Drugs, Diseases, Targets, and their Relationships. Journal of biomedical informatics, Vol. 45, pp. 879-84, 042012.
 新城大希 東京工業大学情報理工学院 shinjo.t.ab@m.titech.ac.jp 牧野拓哉 株式会社富士通研究所 makino.takuya@fujitsu.com }  徳永健伸 東京工業大学 情報理工学院 take@c.titech.ac.jp 岩倉友哉 株式会社富士通研究所 iwakura.tomoya@fujitsu.com }  る場合は実行時間が増加するため，大規模データを 効率的に処理することが難しくなる。  この二点をふまえ，本研究では，Open Information Extraction (Open IE) [6] を利用して補助タスクの学習 データを作成し，関係抽出を行う「主タスク」に加 え，主タスクが対象とするエンティティのペアが Open IE で抽出されるかどうかを判定する「補助タ スク」を導入したマルチタスク学習 [7]を行う。さ らに，ラベルなしデータである PubMed に対してラ ベルを付与し，学習に利用する手法を提案する。提案手法は，ラベルなしデータおよび各タスクの学習 データに対して Open IE が構文パタンに基づいて抽出した関係を学習時に利用する。そのため，目的の 関係抽出に有効な構文情報を暗黙的に学習するこ とが期待される。また，提案手法は構文情報は学習時のラベル作成のために利用し, 抽出時には利用し ないため, 明示的な構文解析結果の利用で生じる抽出速度の低下を避けることができる. CHEMPROT, GAD，EU-ADR で評価した結果，BioBERT より高い 精度が得られ，また，構文解析結果を用いる手法と の比較では，高い精度を維持しつつ，最大 29 倍高速に抽出が行えることが示された。 