# 項の表現に着目した質問応答による関係分類

山田晃士 三輪誠 佐々木裕
豊田工業大学
\{sd18086, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

関係分類の新しい手法として，質問応答による関係分類が提案されている．これらの手法では，既存 の質問応答モデルを用いているため，関係分類タス ク特有の情報を利用できていない。また，回答の開始・終了位置のみを予測するため，その間の表現を 利用していない。本研究では、関係に関するマー カーと，スパン表現を用いた質問応答モデルを用い て、タスク特有の情報と間の表現を利用可能な質問応答による関係分類手法を提案する．SemEval-2010 Task 8 データセットを用いた評価の結果，マーカー を用いない場合と比べて，性能は $1.9 \%$ ポイント向上 した.また，解析では，マーカーの追加により，正 しく用語を回答できるようになることを確認した。

## 1 はじめに

構造化されていない文献中から情報を抽出する夕 スクの一つとして，文献中に含まれる用語間に成り 立つ関係を候補となる関係ラベルに分類する関係分類が研究されている.

関係分類手法のうち，高い精度を達成しているも のとして，質問応答を用いた関係分類手法 $[1,2,3]$ がある。例として，「フランスの首都はパリである」 という対象文中で与えられた用語であるフランスと パリの間に首都という関係があるかどうかを判定す る問題を，「フランスの首都はどこですか？」とい う質問文をこの対象文に対して適用して回答を探す 問題に置き換える。パリが回答であると判定されれ ばフランスとパリの間に首都の関係があると判定す る．具体的には，まず，候補となる関係ラベルすべ てに対して用語をスロットとする質問文のテンプ レートを作成して，そこにデータセットで与えられ る用語ペアの片方の用語を当てはめることで質問文 を作成する。作成した質問文と元の文を質問応答モ デルに入力し，得られた回答がもう一つの用語のと きテンプレートがもつ関係があるとして関係分類を

図 1 提案手法の概要

する。質問応答を用いた関係分類手法には，関係ご とに異なる質問文を用意することで，それぞれの関係に注目した処理を行えるという利点がある。一方 で，既存の質問応答を用いた関係分類手法では，多 くの関係分類のデータセット $[4,5]$ が持つ関係分類特有の情報を利用できていないという問題点があ る. 関係分類特有の情報とは，タスクにおいて既知 である用語のタイプや，関係の項それぞれのタイプ などを指す.

そこで，本研究では，関係分類タスク特有の情報 の一つである関係の項のタイプの有効活用による，
質問応答を用いた関係分類手法の性能向上を目的と する. データセットに含まれる項のタイプを，元の 文と質問文に対してマーカーとして追加すること で，質問応答型の関係分類手法の利点である各関係 に注目した大力を保ったまま，モデルの大幅な変更 をすることなく，関係分類に特化させる。

## 2 関連研究

Cohen らは図 2 のように関係の始点と終点をそれ ぞれ予測する 2 つの質問を用いて双方向の質問応答を行い，得られた回答を基に関係を分類する手法 [1] を提案している. 関係ごとに 2 つ用意したテン プレートを用いて，用語と関係からなる質問文を用語ペアそれぞれについて作成して質問応答を行う。 2 つのテンプレートは関係の始点を当てはめて終点 を予測するものと，終点を当てはめて始点を回答す るものになっている. 2 の質問文に対して片方で も質問応答の回答がもう片方の用語であった場合に 関係があると判定して分類する. 質問応答は回答の 開始位置と終了位置をそれぞれ予測するモデルで行 う．BERT[6] に文と質問文を入力し，得られた文の 各トークンの表現から，そのトークンの開始位置の スコアと終了位置のスコアを個別に計算し，それぞ れのスコアが最も高い開始位置と終了位置を持つス パンが質問の回答となる。この方法では，回答の終了位置が開始位置より前に出てしまうという実際に はありえないスパンが回答になってしまう可能性が ある。また，回答の開始位置と終了位置のみを予測 するため, その間の表現を利用できない. さらに， この手法は既存の質問応答をそのまま用いているた め，タスクで与えられている情報を利用していない という問題がある.

## 3 提案手法

本研究では関係分類タスクに質問応答モデルを用 いる際に，関係分類タスク特有の情報を活用する手法を提案する. Cohen らの手法 [1] を拡張し，質問文のテンプレートで与えられる関係の情報に加え て，タスクに与えられる関係の項それぞれのタイプ を示すマーカーを加えることで，関係分類において 事前に与えられる用語の情報を質問応答モデルに与 える。また，質問応答モデルをスパンそのものを回答するようにすることで，回答がありえないスパン になることを防ぐとともに，開始位置と終了位置以外の間のトークンの表現も含む回答全体の情報を利

図 2 双方向の質問応答による関係分類 [3]

用する. 図 1 に提案手法の概要を示す.

## 3.1 入力文の整形

質問応答モデルへの入力の準備として，関係ごと の質問文の作成と関係マーカーの付与を行う. 図 1 のように，関係ごとに，関係分類を行う文とテンプ レートを用いて作成した質問文をそれぞれ関係情報 のマーカーを加えたものに整形する。質問文のテン プレートは Cohen らのもの [1]を利用し, 双方向に 質問を行う。関係マーカーは本稿で対象としている SemEval 2010 Task 8 データセット [4] で与えられる 関係の項のタイプの情報を利用する。使用したテン プレートとマーカーは付録 $\mathrm{A}$ に示した. 関係分類を 行う文に対しては用語を挟むようにマーカーを，質問文には用語の前後と回答に対応する疑問詞に対し てマーカーを追加する。

## 3.2 スパン表現を用いた質問応答

図 3 に質問応答モデルの概要を示す. 質問応答モ デルは BERT[6] を利用したモデルとなっており，文 と質問文を大力とし，文中に質問の回答があればそ の回答となるトークンを，なければ回答なしを表す BERT の CLS トークンを出力する．以降，モデルの 詳細について説明する。

まず，BERT の CLS トークンと SEP トークンを 利用して，質問文と文を連結して BERT に入力し， トークンごとの表現を得る。

## [CLS] 質問文 [SEP] 文 [SEP]

BERTへの入力を $x$ とした時，出力である表現の系列 $\boldsymbol{H}$ を以下のように表す.ここで， $N$ は入力のトー クン数, $\boldsymbol{h}_{i}$ は $i$ 番目のトークンの表現に相当し, $\boldsymbol{h}_{1}$

図 3 スパン表現を用いた質問応答モデル

は文頭である CLS トークンの表現となる.

$
\boldsymbol{H}=\left[\boldsymbol{h}_{1}, \boldsymbol{h}_{2}, \ldots, \boldsymbol{h}_{N}\right]=\operatorname{BERT}(\boldsymbol{x})
$

次に得られた表現 $\boldsymbol{H}$ のうち CLS トークンと文の 表現から，質問文の回答の候補となるスパンの表現 を作成する．CLS トークンの表現は回答なしの候補 として用いる。あるトークン $\boldsymbol{h}_{i}$ から始まり， $\boldsymbol{h}_{j}$ で 終わるスパンの表現 $s$ は以下のように求める.

$
\boldsymbol{s}=\operatorname{Concat}\left(\boldsymbol{h}_{i}, \operatorname{mean}\left(\boldsymbol{h}_{i}, \cdots, \boldsymbol{h}_{j}\right), \boldsymbol{h}_{j}\right)
$

以上により得られたスパン表現のベクトル $s$ をま とめ，以下のようにスパン表現の系列 $S$ を作成す る. $N^{\prime}$ は質問の回答となる可能性のあるスパン候補の数であり， $s_{1}$ は CLS トークンの表現である.

$
\boldsymbol{S}=\left[\boldsymbol{s}_{1}, \boldsymbol{s}_{2}, \cdots, \boldsymbol{s}_{N^{\prime}}\right]
$

生成したスパン表現系列 $S$ に全結合層と Softmax 関数を適用することで確率の形に変換し，最も確率 の高いスパンを質問の回答とする. CLS トークンが 回答として選ばれた場合は，回答なしとする。

## 4 実験と考察

## 4.1 データセット

提案手法の評価を SemEval-2010 Task 8 のデータ セット [4]を用いて行う．このデータセットは一文中の用語間の関係分類を行うデータセットで，訓練 データ 8,000 件とテストデータ 2,717 件で構成され る。訓練データを関係ラベルの割合が均一になるよ うに 4:1 に分割し， 6,400 件を訓練データ，1,600 件 を開発データとして用いる。分類する関係ラベルは表 1 提案手法と各種ベースラインのF 值

表 2 回答の表現とマーカーによる比較

正例 9 種類と負例の Other の 10 種類であるが，関係 には方向があるため，方向を含めると正例 18 種類 と負例 1 種類の計 19 種類の分類となる. 評価指標 には負例を除いた 9 種類の関係ラベルを持つデータ に対するマクロ $\mathrm{F}$ 值を用いる。

## 4.2 実験環境

実装にはプログラミング言語 Python 3.7.11を用い た. また，深層学習モデルを実装するために Pytorch 1.10.0[7]，事前学習済みモデルを利用するために Transformers 4.11.3[8] を使用した。計算機は，CPUに Intel(R) Xeon(R) W-3225，GPU に NVIDIA RTX A6000 をそれぞれ実験に使用した。
表 3 マーカーの有無によって回答が変化した事例（太字が正しい回答）

 \\

## 4.3 実験設定

提案手法を評価するため，関係マーカーを追加し なかった場合のモデルと BERT の CLS トークンを 用いて文分類として関係分類を行うべースラインモ デルとの $\mathrm{F}$ 値の比較を行う．また，関係マーカーの 代わりにデータセットに含まれる用語を表す用語 マーカー<e1>，<e2>を用いた場合と，関係マーカー と用語マーカー両方を用いた場合について開発デー タで実験を行った. さらに，回答の開始位置と終了位置を回答の表現とする質問応答モデルを用いた場合についても開発データで実験を行った. 事前学習済みモデルとして，BERT-base-uncased[6]を使用し た. 現状の SotA な手法である Cohen らのモデル [1] では BERT-large を用いているため, 直接の比較はで きず，この比較は今後の課題である.

## 4.4 実験結果

表 1 の結果から，関係マーカーを入力文に追加す ることで性能が向上していることがわかる. また,表 2 の結果から開始・終了位置を予測するモデルで もマーカーによる精度向上が確認できる。さらに，質問応答にスパン表現を用いることでの性能向上 や，関係ごとに固有のマーカーを用いることの有効性も確認できる.

## 4.5 考察

関係マーカーの有効性を，マーカーを加えたこと によって改善した事例を用いて確認する、マーカー
の有無によって変化した事例のいくつかを表 3 に 示した. マーカーを加えたことで改善した回答とし て，用語以外を回答としていたものや，用語の一部 を回答としていたものがあった．また，マーカーあ りとなしの場合における質問応答の正誤について McNemar 検定を行ったところ，有意に差が見られた ( $\mathrm{p}<0.001)$.これらの結果は関係マーカーを追加す ることの有効性を示している.

## 5 おわりに

本研究では，関係分類タスク特有の情報を有効活用し，質問応答を用いた関係分類の性能向上を目的 に研究を行った. 質問応答型の関係分類に対して， マーカーを用いて関係の項のタイプの情報を有効利用する方法を提案し, SemEval-2010 Task 8 のデータ セットを用いて，提案手法を評価したところ，マー カーを用いないベースラインに対して，1.9\%ポイン トの性能向上が得られ，提案手法の有効性を示すこ とができた. また, 解析の結果, マーカーによって 用語を正しく回答できていることがわかった. 今後 は，1つの用語が複数の関係を持つ場合や，1 組の用語ぺアが複数の関係をもつ場合への拡張を行う。ま た，用語のタイプなどのさらなる追加情報を有効活用する方法を検討する。 さらに，現状の SotA なモ デルとの比較を行い，本手法の有効性を調査する.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Amir DN Cohen, Shachar Rosenman, and Yoav Goldberg. Relation classification as two-way span-prediction. arXiv preprint arXiv:2010.04829v2, 2021.

[2] Omer Levy, Minjoon Seo, Eunsol Choi, and Luke Zettlemoyer. Zero-shot relation extraction via reading comprehension. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 333-342, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1340-1350, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[5] Yuhao Zhang, Victor Zhong, Danqi Chen, Gabor Angeli, and Christopher D. Manning. Position-aware attention and supervised data improve slot filling. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 35-45, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 8026-8037, 2019.

[8] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

## A 質問テンプレートとマーカー

本研究で用いた質問文テンプレートと関係マーカーを表 4 に示す. 質問文テンプレートは Cohen らが用い たもの [1] を利用し，関係マーカーは SemEval-2010 Task 8 のデータセット [4] の関係ラベル名から作成した.

 &  \\


 山田晃士 三輪誠 佐々木裕 豊田工業大学 \{sd18086, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp  