# 複数の質問形式を利用した分類型の 質問応答による薬物タンパク質間関係抽出

山田晃士 三輪誠 佐々木裕
豊田工業大学
\{sd22439, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

近年，質問応答による関係抽出手法が提案され，高い性能を達成している。しかし，質問文は人手で 作った固定のものが使われており，質問文の表現が 抽出結果に与える影響は明らかでない。また，一般分野以外のタスクへの有効性は未知数である。加え て，質問応答モデルは関係抽出を考慮して設計され ていない. 本研究では，質問応答を用いた関係抽出手法の薬物タンパク質間関係抽出への適用を目指 し，有効な質問形式の調査と，関係抽出に合わせた 質問応答モデルの提案を行う. DrugProt データセッ トを用いて評価を行い，質問文の形式の関係抽出の 性能への影響と薬物タンパク質間関係抽出における 質問応答の有効性を確認した。

## 1 はじめに

近年，関係抽出に対して質問応答を用いる手法 $[1,2,3]$ が高い性能を示している. 質問応答を用い た関係抽出手法では，まず，候補となるすべての関係ラベルに対して質問文テンプレートを作成し，そ こに関係抽出の対象とする用語ぺアの片方を当ては めることで質問文を作成する。作成した質問文と用語ペアを含む元の文で質問応答を行い，回答がテン プレートに当てはめていない用語であった場合にテ ンプレートが持つ関係が存在するとして関係抽出を 行う. 質問応答を利用した関係抽出手法は，質問文 の表現を調整することで 1 つ関係を複数の視点か ら抽出することができるという利点がある.

一方で，従来手法は人手で作成した固定したテン プレートを利用しており，質問文の表現の違いが関係抽出の結果にどのような影響を与えるのかは明ら かにされていない．また，質問応答を用いた関係抽出手法は一般ドメインのデータセットを対象として おり，薬学分野などの専門性の高いドメインに対す
る有効性は検証されていない，加えて，質問応答モ デルが関係抽出のために設計されていないという問題点もある.

そこで，本研究では，質問応答による関係抽出手法の薬物タンパク質への適用を目的として，薬物タ ンパク質間関係抽出のデータセットである DrugProt データセット [4] に対して 2 種類の質問文テンプ レートのセットを作成し，質問文の形式の違いが関係抽出の結果に与える影響について調査を行う。ま た，質問応答を用いた関係抽出において，関係の有無を決定づけるテンプレートに含まれていない用語 が回答かどうかを直接二值分類により判定する，関係抽出に特化した分類型の質問応答モデルを提案す る. 本研究の貢献は以下の通りである.

・薬物タンパク質間関係抽出に対して質問応答を 用いた手法を適用し，有効性を確認した。

・質問文の形式が関係抽出の性能へ影響を与える ことを確認した。
- 関係抽出への利用に特化した分類型の質問応答 モデルを提案した.

## 2 関連研究

## 2.1 双方向の質問応答による関係抽出

Cohen らは，関係の始点と終点の用語をそれぞれ 含む 2 つの質問文を用いて，双方向の質問応答を行 うことで関係抽出を行う手法 [1] を提案している. まず，候補となるそれぞれの関係ラベルに対して，関係の始点の用語を当てはめて終点を回答する質問文のテンプレートと，終点の用語を当てはめて始点 を回答するテンプレートの 2 種類を作成する. テン プレートから作成した 2 つの質問文を用いてそれぞ れ質問応答を行い，片方でも回答が質問文に当ては めていない方の用語であった場合にテンプレートが 持つ関係があると判定する。これを全ての関係ラべ

図 12 值分類による質問応答モデル

ルに対して繰り返すことで関係抽出を行っている。

## 2.2 関係抽出に適した質問応答

著者らは，質問応答を用いた関係抽出を行う際 に，関係抽出タスクで与えられる情報を利用して質問応答を行う手法 [5] を提案した。 入力文と質問文 に含まれる用語の前後と，質問文の回答に対応する 疑問詞の前後にデータセットで与えられる用語の情報をマーカーとして挿大することで，関係抽出タス クで与えられる情報を利用した質問応答を行った。 マーカーを用いて挿入する情報として，データセッ トで与えられる関係の項のタイプを利用することで 関係抽出性能が向上することを報告した。

## 3 提案手法

本研究では，質問応答を用いた関係抽出を薬物夕 ンパク質間関係抽出に適用する際の有効な質問形式 の調査と, 関係抽出に適した質問応答モデルの提案 を目的とする． 3.1 節では質問応答を用いた関係抽出を薬物タンパク質間に適用し, 質問文の表現によ る関係抽出の性能への影響について調査する際に必要な質問テンプレートの作成について，3.2 節では 関係抽出に適した質問応答モデルについてそれぞれ 説明する。

## 3.1 質問文テンプレートの作成

質問応答を用いた関係抽出手法を薬物タンパク質間関係抽出に適用するため, 本研究で学習・評価に 用いる DrugProt データセット [4] に含まれるすべて の関係ラベルに対して質問文テンプレートを作成し た. 2.1 節で説明した双方向の質問応答による関係抽出を行うため，それぞれの関係ラベルに対して薬物を当てはめてタンパク質を答える質問とタンパク質を当てはめて薬物を答える質問の 2 種類を作成 した。また，質問文の形式が関係抽出の性能に影響 を与えるかどうかを調査するため，2つ目の質問文 テンプレートセットとして，質問文の形を統一した ものも作成した. 13 種類ある関係ラベルに対して 双方向の質問応答をするため，1つの質問文テンプ レートセットは 26 個の質問文テンプレートを持つ.質問文テンプレートはいずれもデータセットのアノ テーションガイドライン [6] を参考に作成した. 作成した 2 つ質問文テンプレートセットは付録 A に 示した.

## 3.2 分類型の質問応答モデル

従来の質問応答モデルをそのまま用いる関係抽出 では質問の回答と用語の一致を確認するが，関係抽出では質問の回答が関係抽出の対象の用語であるか どうかを判別できればよい，そこで，本研究では，図 1 に示すような質問文に含まれない用語のスパン 表現からその用語が質問の回答であるかどうかを判別する 2 值分類モデルを利用した，分類型の質問応答モデルを提案する。

まず，BERT (Bidirectional Encoder Representations from Transformers) [7] エンコーダを利用して質問文 と入力文の各トークンの表現ベクトルを得る.ここ で，質問文と入力文を入力する際は，2.2 節で説明 した手法を用いて，関係抽出を行う対象の薬物タン パク質の用語ペアの前後と回答に対応する疑問詞 の前後に用語のタイプをマーカーとして挿入する. BERT の SEP トークンを利用して連結した質問文と 入力文 $S=\left.\{w_{1}, w_{2}, \cdots\right.\}$ を BERT エンコーダに入力 し，各トークンの表現 $\mathbf{h}_{i}$ を得る。

$
\left.\{\mathbf{h}_{1}, \mathbf{h}_{2} \cdots\right.\}=\operatorname{BERT}\left(w_{1}, w_{2}, \cdots\right)
$

得られた表現ベクトルのうち，回答候補の用語のス
表 12 種類の質問文セットと比較手法の F 値 $(\%)$

パンに含まれるトークンの表現から，スパンの表現 ベクトルを作成する. ここで， $s$ と $e$ はそれぞれ用語のスパンの開始位置と終了位置を， $\mathbf{h}_{s p a n}$ は用語 のスパンの表現ベクトルを表す.

$
\begin{array}{r}
\mathbf{h}_{m}=\operatorname{mean}\left(\mathbf{h}_{s}, \cdots, \mathbf{h}_{e}\right) \\
\mathbf{h}_{\text {span }}=\operatorname{Concat}\left(\mathbf{h}_{s}, \mathbf{h}_{m}, \mathbf{h}_{e}\right)
\end{array}
$

作成したスパンの表現ベクトルに全結合層と Sigmoid 関数を適用することで，その用語が質問の 回答である確率を得る.

$
p_{\text {span }}=\operatorname{Sigmoid}\left(W_{\text {span }} \mathbf{h}_{\text {span }}+\mathbf{b}_{\text {span }}\right)
$

得られた確率が閾値より大きい時，その用語が回答であるとし, 双方向の質問応答に対して片方でも 回答が対象の用語であれば，テンプレートが持つ関係があると判定する。これをすべての関係に対して 繰り返すことで関係抽出を行う. また，複数の関係 に対して回答が用語である確率が閾値より大きい 時，その用語ペアに複数の関係ラベルがあるとし て，マルチラベルな予測を行う。

## 4 実験設定

## 4.1 データセット

薬物タンパク質間関係抽出のデータセットとし て, DrugProt データセット [4]を用いて学習および 開発データでの評価を行った。このデータセットは 薬物及びタンパク質を含む薬学文献のアブストラク
トで構成され，薬物・タンパク質間には 13 種類の 関係が設定されている。また，関係を持たない薬物 とタンパク質のペアも存在する。評価指標にはマイ クロ $\mathrm{F}$ 値を用いる.

## 4.2 実験環境

実装にはプログラミング言語 Python 3.7.11を用 いた. また, 深層学習ライブラリとして PyTorch 1.10.0 [8] を, 事前学習モデル利用のため Transformers 4.18 .0 [9] を使用した. 計算機には CPU に $\operatorname{Intel}(\mathrm{R})$ Xeon(R) W-3225 及び Intel(R) Xeon(R) CPU E5-2698 v4 を，GPU に NVIDIA RTX A6000 及び NVIDIA Tesla V100-DGXS-32GB を用いた。

## 4.3 比較手法

作成した 2 種類のテンプレートセット（テン プレートセット1（TS1）,テンプレートセット 2 （TS2）を用いて，それぞれモデルの学習を行い $\mathrm{F}$ 値の比較を行った.また，質問文の代わりに関係固有のマーカーと用語を利用した場合（マー カー）との比較を行った. これは，図 1 を例とする と, “What decreases the activity of MAO-A?" という質問文の代わりに，調べたい関係ラベル INHIBITOR 固有のマーカーを用いた “<INHIBTOR> MAO-A?" を使用して学習・評価を行ったものである. 加え て，質問応答を用いたモデルの有効性を調査す るため，BERT の CLS トークンを用いて文分類を 行ったモデル（文分類）をベースラインとして比
表 2 テンプレートセットによって関係抽出の予測結果が異なる事例（文中の太字が薬物，下線がタンパク質）

較を行ういいずれの手法も，事前学習モデルとし て大規模な生物医学文献を用いて事前学習された PubMedBERT-base-uncased-abstract-fulltext [10]を用い た.また，最適化手法として Adam [11]を用いてお り，学習率は 3e-6 に設定した. また, 3.2 節で説明 した質問応答モデルにおける閾値は 0.7 とした.

## 5 結果と考察

## 5.1 関係抽出性能の比較

作成した質問文テンプレートを用いた場合と比較手法それぞれについて， $\mathrm{F}$ 値を比較した結果を表 1 に示す. TS1 と 2 は作成した 2 種類のテンプレート セット 1 と 2 を用いた際の結果，マーカーは質問文 の代わりに関係固有のマーカーを用いた結果，文分類は BERT の CLS トークンを用いて文分類として 関係抽出を行った結果である。

ベースラインである文分類による関係抽出に対 して，質問応答形式で関係抽出を行ったテンプレー トセット 1，2，マーカーの 3 つと比較すると，訓練事例数の少ない関係クラスのうち, AGONISTACTIVATOR と AGONSIT-INHIBITOR において, 予測性能の向上が見られた。また，マイクロ平均につ いても最大で $1.0 \%$ ポイントの向上が見られた.こ のことから，質問応答を利用した関係抽出手法は，薬物タンパク質間関係抽出においても有効であるこ とがわかった。

次に，テンプレートセット $1 ， 2$ とマーカーの質問応答を用いた 3 つの手法で比較すると，各関係 クラスで $\mathrm{F}$ 値が変化していることがわかるため,質問文の表現が関係抽出性能に影響しているこ とがわかる. また, INDIRECT-UPREGULATOR と PRODUCT-OF の 2 つのクラスでは質問文の代わり にマーカーを用いた手法が，テンプレートセットを 用いた他 2 つの手法と比較して, 高い $\mathrm{F}$ 值が見ら れた.

## 5.2 解析

質問文の表現の違いが関係抽出の結果に影響を 与えることを抽出結果が変化した事例で確認する。表 2 は正解ラベルを予測するための 2 種類の質問文テンプレートセットに対して，片方のテンプレー トセットを使用した場合にのみが正しく関係ラべ ルを予測できている事例を示したものである. テン プレートセットはそれぞれ上が薬物を当てはめる 質問，下がタンパク質を当てはめる質問になってお り, DRUG と PROTEIN を文中の薬物とタンパク質 の用語に置き換えて質問文を作成する。

片方のテンプレートセットのみが正解した事例は どちらも，正解したテンプレートセットでは 2 つの 質問の両方で正しく答えられている一方で, 間違っ ている方のテンプレートセットの 2 つ質問の両方に 対して間違った予測をしている.このことから, 同 じ関係クラスを予測するための質問文であっても表現を変えることで大きく抽出結果が変わってしまう ことあることがわかる.

## 6 おわりに

本研究では, 質問応答を用いた関係抽出手法 の薬物タンパク質間関係抽出への適用を目的に, DrugProt データセットに対して 2 種類の質問文テン プレートのセットの作成による有効な質問形式の調査と，質問の回答が用語であるかを判定する 2 值分類モデルによる関係抽出に特化した分類型の質問応答の提案を行った. DrugProt データセットにおける 評価から，質問文の形式が関係抽出の性能に影響す ること，薬物タンパク質間関係抽出においても質問応答を用いた手法が有効であることを示した.

今後は質問応答を用いた関係抽出手法に対して有効な質問形式や組み合わせの調査を行い，1つの関係クラスを複数の視点から抽出可能な手法の実現を 目指す。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Amir DN Cohen, Shachar Rosenman, and Yoav Goldberg. Relation classification as two-way span-prediction. arXiv preprint arXiv:2010.04829v2, 2021.

[2] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1340-1350, Florence, Italy, July 2019. Association for Computational Linguistics.

[3] Omer Levy, Minjoon Seo, Eunsol Choi, and Luke Zettlemoyer. Zero-shot relation extraction via reading comprehension. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 333-342, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[4] Martin Krallinger, Obdulia Rabal, Antonio MirandaEscalada, and Alfonso Valencia. DrugProt corpus: Biocreative VII Track 1 - Text mining drug and chemical-protein interactions, June 2021

[5] 山田晃士, 三輪誠, 佐々木裕. 項の表現に着目した質問応答による関係分類. 言語処理学会第 28 回年次大会, 2022 .

[6] Obdulia Rabal, Jose Antonio López, Astrid Lagreid, and Martin Krallinger. DrugProt corpus relation annotation guidelines [ChemProt - Biocreative VI], June 2021.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 8026-8037, 2019.

[9] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

[10] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare, Vol. 3,
No. 1, p. 1-23, Jan 2022.

[11] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 作成した質問文テンプレート

本研究で作成した 2 つの質問文テンプレートセットを表 3 と 4 にそれぞれ示す.

表 3 作成した質問文テンプレート 1（上が薬物を当てはめる質問，下がタンパク質を当てはめる質問）関係 $\quad$ 質問文

 \\

表 4 作成した質問文テンプレート2（上が薬物を当てはめる質問，下がタンパク質を当てはめる質問）


 山田晃士 三輪誠 佐々木裕 豊田工業大学 \{sd22439, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp  