# 文書単位関係抽出における抽出済みの関係候補を辺とした 関係グラフの辺編集

牧野 晃平 $\dagger \cdot$ 三輪 誠 $\dagger$ ・佐々木 裕 $\dagger$
}

本研究では, 文書中の用語間の関係を抽出する文書単位関係抽出において, 既存の 抽出手法に対して関係間の相互作用を考慮するために, 用語を節点, 抽出済みの関係候補を辺とする関係グラフを構築し，その関係グラフの辺を編集する逐次的な辺編集モデルを提案する。近年，文書単位関係抽出の研究では，深層学習モデルが利用されている。しかしながら，複数のモデルを組み合わせる方法は明確ではなく，研究ごとに実装方法も異なるため, 付加的に新たな観点を導入するのは難しい. そ こで，異なる観点として関係間の相互作用を考慮できるように，既存手法で抽出済 みの関係候補を編集するタスクを提案する。材料合成手順コーパスにおいて，関係 がついていない状態から編集すると $\mathrm{F}$ 值 $79.4 \%$ の性能の逐次的な辺編集モデルで， ルールベース抽出器の出力を編集すると, 性能は $80.5 \%$ から $86.6 \%$ に向上した。一方で, 時間関係抽出の標準的なべンチマークである MATRES コーパスで最先端の 深層学習モデルの抽出結果を編集して評価した場合では性能は向上しなかった. こ れらの差を解析したところ, 編集するモデル単体で抽出可能な関係と編集前の関係 が異なることが性能の向上に寄与する大きな要因であることを明らかにした.

キーワード：文書単位関係抽出，関係グラフ，辺編集
## Editing Relation Candidate Edges of Relation Graphs for Document-Level Relation Extraction

\author{
Kohel MaKino $^{\dagger}$, Makoto Miwa $^{\dagger}$ and Yutaka Sasaki ${ }^{\dagger}$
}

This paper proposes a sequential edge-editing model for the document-level relation extraction that edits edges in a relation graph, where nodes are entities and edges are the output relations as candidates, to consider the interaction among relations. Deep learning models have been mainstream in recent document-level relation extraction research. However, adding new features to the model is difficult because there is no straightforward method for combining multiple models, and their implementation is different. To tackle this, we introduce the task of editing the relation candidates extracted by existing methods to take into account the interactions among relations. For the material synthesis procedure corpus, our proposed model revised the output

of the rule-based extractor from $80.5 \%$ to $86.6 \%$ on F-scores, where a sequential edgeediting model performed $79.4 \%$ when extracting from scratch. On the other hand, performance did not improve for the MATRES corpus, the standard benchmark for temporal relation extraction, when the model edited the output of the state-of-the-art deep learning models. Analysis of these differences revealed that the significant factor contributing to the performance improvement is the difference between the extractable relations in the editing model from scratch and the relations before editing.

Key Words: Document-level Relation Extraction, Relation Graph, Edge Editing

## 1 序論

ニュース記事や論文などの自然言語で記述された情報は構造化されていないため，記述された情報を認識しなければ情報として利用できない。これを解決するために，文章中の情報を計算機で扱いやすい形式に構造化する情報抽出の研究が盛んに行われている (Hendrickx et al. 2010; UzZaman et al. 2013; Yamaguchi et al. 2020)。情報抽出の中でも，文章中の用語間の関係性を認識する関係抽出は, 網羅的に情報を扱うことができるため, 盛んに研究されている (Hendrickx et al. 2010; Zhang et al. 2017).

近年の研究では, 深層学習の台頭によって, 今まで文内の用語間の関係性しか扱えなかった状況から，文をまたいだ用語同士の関係性を対象とした文書単位関係抽出への拡張が進んでいる (Li et al. 2016; Yao et al. 2019). 以前の関係抽出の研究の多くでは，一文中に含まれる用語ぺアの間の関係性のみを対象として抽出する文単位関係抽出に焦点が当てられていた (Zeng et al. 2014; Miwa and Bansal 2016). しかし, これらは文をまたいだ用語間の関係である文間の関係が無視されている。そこで，文間の関係も抽出可能とした文書単位関係抽出へ拡張して一般化されている.

文書単位関係抽出の研究は広く行われているが, 深層学習による関係抽出の研究では後発の研究が独立していて, 先行研究のモデルを同時に利用するのが難しい. 例えば, Zhou et al. (2021) は事前学習モデル (Devlin et al. 2019; Liu et al. 2019) による関係抽出をしたが，用語の関係性を潜在的なグラフを作成した Nan et al. (2020)の後発の研究にもかかわらず，用語間の関係性を考慮した構造をモデルに導入していない.このように先行研究の利点が後続の研究で利用しにくい要因の一つは，深層学習モデルの開発において，モデル構造などの変更をする際に方法が明確ではないことである。一般的に, 深層学習モデルを変更するためには, 既存のモデル構造を活かしてモデルに新たな点を追加し，チューニングをする必要があるため，開発のコストが高い，実装も画一的なルールが整備されておらず，それぞれの研究で異なるため，モデルの再実装が必要となり，容易に先行研究の利点を導入できない.

また, 既存の関係抽出の研究では, 関係間の相互作用を明示的に考慮できていないという問題
点がある。文書単位関係抽出では，一つの文書から抽出された複数の関係同士に関連がある場合がある。例えば，材料合成手順の抽出においては，材料に対する操作や条件の関連性が影響し合い，材料に対する条件が操作に対して影響を及ぼしあう (Mysore et al. 2017, 2019; Makino et al. 2022)．また，イベントの時刻歴を時間関係によって表現して抽出する時間関係抽出では，事前の事前のイベントは事前のイベントである，というような時間的な制約が存在する (Pustejovsky et al. 2003; UzZaman et al. 2013; Cassidy et al. 2014; Laokulrat et al. 2015; Ning et al. 2018b).本稿ではこのような関係同士で及ぼしあう影響を関係間の相互作用と呼ぶ。関係間の相互作用を明示的に扱うために, Fu et al. (2019)は文単位の関係抽出において, 複数ステップで関係を抽出し，前ステップで抽出した関係を利用する GraphRel を提案した。しかし， GraphRel では単語を節点としたグラフを構成するため，文書単位に拡張するのは計算コストが大きくなり困難である.

そこで本研究では, 図 1 のように, 文書のみでなく, 既存の関係抽出器で既に抽出された関係を関係候補として利用し，全ての関係を分類し直して編集するタスクとして，関係候補編集タスクを提案し，このタスクのもとで関係間の相互作用を考慮する。関係候補編集タスクでは，既存研究の知見を利用するために, 抽出結果のみを利用して, モデルを統合せずに後発の研究で既存研究の特徴を考慮する。そして，このタスク設定の下で，用語を節点，抽出済みの関係㬋補を辺とした関係グラフを構築して，グラフ畳み込みネットワーク (Graph Convolutional Network; GCN) (Kipf and Welling 2017)を利用することで関係間の相互作用を考慮する，逐次的な辺編集モデルを提案する。具体的には，既存手法によって抽出した関係によって関係グラフを初期化し, 全ての辺に対してヒューリスティクスによって順序をつけ，逐次的に一度ずつ編集する。編集時には文脈表現に加えて関係グラフの表現を導入することで，その編集ステップ時点での関係間の相互作用を考慮する。これらの提案の有効性は, 材料合成手順コーパス (Mysore et al. 2019) と MATRES コーパス (Ning et al. 2018b) に対する抽出性能によって評価する。そして，モデルの挙動を解析して, このタスク設定とモデルで性能を向上させられる条件を明らかにする.

本研究の貢献は以下の点である。

図 1 関係候補編集タスク。文章と用語から既存の関係抽出器で関係候補を作成し，その結果を付加的に利用して関係を編集し, 最終的な関係を決定する。図中の青い矩形は用語, その間の矢印は関係,異なる種類の矢印は異なる関係クラスを示す.
- 文書単位関係抽出において, 抽出済みの関係を再利用し, 編集するタスクとして, 関係候補編集タスクを提案する。
- 既存手法で抽出した関係を利用した関係グラフを構築し，そのグラフの全ての辺を逐次的に編集する逐次的な辺編集モデルによって, 抽出済みの関係に対して関係間の相互作用を考慮する，逐次的な辺編集を提案する。
- 関係候補編集タスクにおいて，編集で性能を向上させるための条件が，編集するモデル単体で抽出できる関係と編集前の関係に差分があることであることを明らかにする。

## 2 関連研究

## 2.1 関係抽出

関係抽出には文内の用語ペア間の関係のみを抽出の対象とした文単位関係抽出と，文をまたいだ用語ぺア間の関係も含めて抽出の対象とした文書単位関係抽出がある。以前の関係抽出では，文単位関係抽出に焦点が当てられていた。これまでに様々な抽出が試みられており，カー ネル法や特徴量ベースの抽出 (Zelenko et al. 2003; Miwa and Sasaki 2014), 文脈に着目するために系列をモデル化した抽出 (Zeng et al. 2014; Wang et al. 2016; Zhang et al. 2017) や，依存構造木などのグラフ構造を導入した抽出 (Miwa and Bansal 2016; Zhang et al. 2018), Transformer ベースのモデルを利用した抽出 (Alt et al. 2019; Baldini Soares et al. 2019) が行われてきた. しかしながら，これらの手法では，用語のぺアを分類することに重きを置いており，複数の関係同士の関係をモデル化できていない.

このような中で Fu et al. (2019)は，関係間の相互作用を考慮するために，節点を用語，辺を関係とした関係グラフを構成して，GCN によって作成したグラフ表現を活用することで，関係間の相互作用を考慮した文単位関係抽出を実現した。たた，この手法では，節点を文内の単語単位で作成しており，文をまたぐことを想定していないため，文書単位関係抽出への拡張は容易ではない.

文単位の関係抽出では文をまたいだ関係が抽出の対象外となってしまうため，近年では文書内の全ての用語が関係を持ちうる条件で抽出をする文書単位の関係抽出の研究が盛んになっている (Li et al. 2016; Verga et al. 2018; Yao et al. 2019). 多くの文書単位の関係抽出では, 文単位の関係抽出と同様の方法だと離れて記述された語の関係性を考慮するのが困難であるため,節点を文書中の単語として，文をまたぐように付与された依存構造などの辺を付与した文書単位のグラフを作成して抽出を試みている。この文書単位のグラフを利用して, 文書全体で単語同士の関係性を考慮する (Quirk and Poon 2017). Christopoulou et al. (2019) はグラフとして,単語節点だけでなく, 用語や文の代表節点など, 複数の段階で節点を作成し, 人手のルールで辺を接続したグラフを利用して文書内の単語同士の関係性を考慮した. Nan et al. (2020)はグ

ラフを潜在変数とすることで，関係抽出に適したグラフを構築して抽出を試みた。具体的には，関係抽出の学習によって End-to-End に学習される潜在的なグラフの表現を GCN で作成し, 実際の関係ではなく潜在的な関係性の相互作用をモデル化した。このように，文書単位のグラフを作成して関係を抽出する研究は盛んに行われているが，関係間の相互作用を明示的に考慮してグラフを作成して分類を試みた研究は少ない (Li et al. 2020a).

## 2.2 グラフ畳み込みネットワーク

GCN はグラフ構造を扱うためのニューラルネットワーク構造で, 辺に沿って隣接節点に節点表現を伝播させてグラフの構造を考慮した節点の表現を作成するモデルである (Kipf and Welling 2017). 節点集合を $\mathcal{V}=\left.\{v_{1}, v_{2}, \ldots, v_{|\mathcal{V}|}\right.\}$ ，辺集合を $\mathcal{E}$ としたグラフ $G(\mathcal{V}, \mathcal{E})$ を入力として， $i$ 番

のように表せる.

$
\boldsymbol{x}_{i}^{\prime}=\sigma\left(\boldsymbol{\Theta}^{\top} \sum_{(i, j) \in \mathcal{E}} \frac{\boldsymbol{x}_{j}}{\sqrt{\hat{d}_{j j} \hat{d}_{i i}}}\right)
$

ただし，辺集合 $\mathcal{E}$ の要素は $v_{i}, v_{j}$ が隣接する場合に $(i, j) \in \mathcal{E}$ となるようにし， $\hat{d}_{i j}$ は自己ルー プを加えた隣接行列に対する次数行列の $i$ 行 $j$ 列要素, $\mathrm{GCN}$ の重みは $\Theta \in \mathbb{R}^{D_{\text {out }} \times D_{\text {in }}}$ である. GCN は一層では隣接節点しか考慮できないが, 複数層積み重ねて繰り返し節点表現を伝播させることで，複数ホップ離れた節点を考慮した表現を獲得することができる.

関係グラフ畳み込みネットワーク (Relational Graph Convlolutional Network; RGCN) は, 複数種類の役割の辺を持つ異種グラフを扱えるように拡張した GCNで，知識グラフのような辺毎に異なる意味を持つグラフを扱うために提案された (Schlichtkrull et al. 2018). RGCN ではパラメタを辺の種類ごとに用意することで，異種グラフとして表現を作成する．まず辺の表記を拡張するために，辺のクラスの集合を $\mathcal{C}$ として，辺の集合の要素は $v_{i}, v_{j}$ 間にクラス $c$ の辺がある場合に $(i, c, j) \in \mathcal{E}$ となるようにして，辺にクラスをつける．それぞれの辺のクラス $c$ 対

$
\boldsymbol{x}_{i}^{\prime}=\sigma\left(\boldsymbol{\Theta}_{\mathrm{self}}^{\top} \boldsymbol{x}_{i}+\sum_{(i, m, j) \in \mathcal{E}} \boldsymbol{\Theta}_{c}^{\top} \boldsymbol{x}_{j}\right)
$

ただし， $\Theta_{\text {self }} \in \mathbb{R}^{D_{\text {out }} \times D_{\text {in }}}$ は自己ループを別の辺の種類として扱うための重みである.このように，RGCN は辺ごとに異なる重みを利用して異種グラフを扱うことができるように拡張された GCN である.

## 3 関係候補編集タスク

本研究では, 既存研究で抽出された情報を後発の研究でモデルの入力として扱う出力編集夕スクの設定を採用することで，少ない実装上の負担で以前の研究の利点を活かせるようにする.関係抽出の研究は以前から様々な方策で行われているが, 近年の研究ではそれぞれの研究で独立して深層学習モデルを作成しており, 後続の研究で以前の研究を利用しにくい現状がある. これは，研究ごとにモデルの実装が異なり，モデルの構造も異なるためで，それらを集約した実装をするのは再実装が必要となって容易ではない，更にそれぞれの方策を組み合わせて性能を向上させるには多大なチューニングコストがかかる. これらの問題を解決するために, 以前の研究を容易に利用可能な方策が必要となる。そこで，抽出済みの関係を関係の候補として入力に利用して再度全ての関係を分類し直すことで, 後続の研究は既存手法で抽出できている部分を前提として，正しい関係は入力をそのまま，誤った関係は修正するように出力するモデルを作成すればよくなる。このタスク設定では，既存手法で導入された部分をモデルに直接導入せずに，既存手法の視点を間接的に導入できる.

文書 doc と文書に含まれる用語集合 $\mathcal{V}$ 受け取り，関係 $R \in \mathcal{C}^{|\mathcal{V}| \times|\mathcal{V}|}$ を返す従来の関係抽出器 $\mathrm{RE}$ は， (3) 式のように表現できる.

$
R=\operatorname{RE}(\operatorname{doc}, \mathcal{V})
$

関係 $R$ の要素 $R_{i j} \in \mathcal{C}$ は $v_{i}$ と $v_{j}$ の用語間の関係, $\mathcal{C}$ は関係なしのクラス $\bar{c}$ を含めた関係クラス集合を示している。出力編集タスクでは, 文章から直接抽出する設定で抽出した関係 $R^{\mathrm{in}}=\mathrm{RE}(\mathrm{doc}, \mathcal{V})$ を入力として受け取って, 出力となる関係 $R^{\text {out }}$ 抽出する編集モデル Edit が開発の対象となる.

$
R^{\text {out }}=\operatorname{Edit}\left(\operatorname{doc}, \mathcal{V}, R^{\text {in }}\right)
$

このように出力編集タスクでは，関係候補を介して，モデルを統合することなく既存手法の知識を間接的に利用した抽出ができる。なお, 関係候補編集タスクは $R^{\text {in }}$ の全ての要素を関係なし $\bar{c}$ とると，関係候補を与えない通常の関係抽出と同様の設定となる.

## 4 逐次的な辺編集モデル

本章では, 文書単位の関係抽出を関係候補編集タスクとして扱い, 既存の関係抽出結果に対して関係間の相互作用を導入する。そのために, 図 2 に示したような, 関係候補編集タスク設定のもとで, 関係間の相互作用を考慮した深層学習モデルによって関係グラフの辺を編集する逐次的な辺編集モデルを提案する．本提案モデルにおける Edit に相当する逐次的な辺編集モデルは, 4.2 節の逐次的な辺編集の手続きで 4.1 節の辺編集器 $\mathrm{EE}\left(\mathrm{doc}, \mathcal{V}, R^{\mathrm{in}}\right)$ を適用したもので

図 2 逐次的な辺編集モデル

ある。辺編集器には, 文章に加えて抽出済みの関係から作成した関係グラフを入力し, 事前学習モデルによる文脈の表現と RGCN によるグラフの表現をもとにして，関係間の相互作用を考慮した辺の分類をする。そして，分類した結果で関係を上書きして編集を行う。その後, 先に編集された関係で作成した関係グラフを再度入力して次の辺を編集することで，分類しにくい関係を分類する際に分類が容易な関係の情報を利用して効果的に編集できるようにする．編集時の順序はヒューリスティクスによって, 編集する辺に分類が簡単な順とする. この手続きで,辺編集器によって全ての節点ぺア間の辺を逐次的に編集して, 最終的に全ての関係を一度ずつ分類して決定する.

## 4.1 辺編集器

まず辺同士の相互関係を考慮して辺を編集する深層学習ベースの辺編集器 $\mathrm{EE}\left(\operatorname{doc}, \mathcal{V}, R^{\mathrm{in}}\right)$ について説明する. 辺編集器は BERT (Devlin et al. 2019) や RoBERTa (Liu et al. 2019)のような

成する。そして，その表現をもとに節点ぺアを分類して，分類結果で辺を上書きして編集後の関係 $R^{\mathrm{EE}}$ を出力する。具体的には, (1) 事前学習モデルによって用語の文脈表現を作成して節点の初期表現とし，(2) GCN を利用して入力グラフの構造情報を埋め达んた節点の表現を作成し, (3) 節点ぺアの表現と編集前の辺の表現から辺を分類して編集後のグラフを作成する，という 3 ステップで行う。なお, 入力された関係候補 $R^{\text {in }}$ は表現を作成するためのみに利用している.

まず，用語の文脈表現は事前学習モデルによって得られるトークンの表現を集約して作成し，
節点の初期表現 $\boldsymbol{V}^{0}=\left[\boldsymbol{v}_{1}^{0}, \boldsymbol{v}_{2}^{0}, \ldots, \boldsymbol{v}_{|\mathcal{V}|}^{0}\right]$ とする. 文長 $T$ の入力文書 doc を事前学習モデルによって埋め达んだトークンの表現 $\boldsymbol{X}=\left[\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \ldots, \boldsymbol{x}_{T}\right]\left(\boldsymbol{x}_{i} \in \mathbb{R}^{D_{\mathrm{BERT}}}\right)$ を，重み $\boldsymbol{W}_{r} \in \mathbb{R}^{D_{\mathrm{BERT}} \times D}$ によって線形変換し, 用語の始点のトークンと終点のトークンとその間の表現を結合して節点の初期表現を作成する。結合した表現は，重み $\boldsymbol{W}_{\mathrm{ent}} \in \mathbb{R}^{3 D \times D}$ をパラメ夕とする結合層に入力する. $i$ 番目の節点の始点と終点をそれぞれ $s_{i}$ と $e_{i}$ として, 節点の初期表現は (6) 式のように作成する。

$
\begin{aligned}
\boldsymbol{X}^{\prime} & =\left[\boldsymbol{W}_{r}^{\top} \boldsymbol{x}_{1}, \boldsymbol{W}_{r}^{\top} \boldsymbol{x}_{2}, \ldots \boldsymbol{W}_{r}^{\top} \boldsymbol{x}_{T}\right] \\
\boldsymbol{v}_{i}^{0} & =\boldsymbol{W}_{\text {ent }}^{\top}\left[\boldsymbol{x}_{s_{i}}^{\prime} ; \text { Average }\left(\left[\boldsymbol{x}_{s_{i}}^{\prime}, \boldsymbol{x}_{s_{i}+1}^{\prime}, \ldots, \boldsymbol{x}_{e_{i}}^{\prime}\right]\right) ; \boldsymbol{x}_{e_{i}}^{\prime}\right]
\end{aligned}
$

次に関係間の相互作用をグラフ全体で考慮するため, RGCNによって節点の表現を作成する.関係ラベルの違いを捉えるために，グラフ表現は 2.2 節で述べた複数種類の辺を持つ異種グラフを扱える RGCN によって作成する．RGCN は $L$ 層積み重ね， $L$ ホップまでの関係間の相互作用を考慮した表現を作成する。 $\boldsymbol{V}^{0}$ と $\mathcal{E}^{\text {in }}=\left.\{\left(i, R_{i j}, j\right) \mid R_{i j} \in \mathcal{C} \backslash \bar{c}\right.\}$ を入力として RGCN を適用し， $L$ 層目の表現を $\boldsymbol{V}^{L}$ として，分類に利用する．また，RGCNの各層をまたぐように残差接続 (He et al. 2016)を追加する。最終的な節点の表現 $\boldsymbol{v}_{i}^{\prime}$ は, 文脈から作成した初期表現を残差接続として足して, $\boldsymbol{v}_{i}^{\prime}=\boldsymbol{v}_{i}^{L}+\boldsymbol{v}_{i}^{0}$ を分類に利用する.

最後に， $i$ 番目と $j$ 番目の節点ぺア間の関係を，その表現 $\boldsymbol{u}_{i j} \in \mathbb{R}^{2 D+D_{a}}$ をとに分類する. $\boldsymbol{u}_{i j}$ は (7) 式のように, RGCNの $L$ 層目の節点ぺアの表現, 編集前の辺のクラスを埋め込んた $\boldsymbol{a}_{i j}=\operatorname{Embed}\left(E_{i j}\right) \in \mathbb{R}^{D_{a}}$ を結合した表現とする. $\boldsymbol{W}_{\text {head }} \in \mathbb{R}^{D \times D}$ と $\boldsymbol{W}_{\text {tail }} \in \mathbb{R}^{D \times D}$ はそれぞれ始点と終点に対する表現を作成するための重みである.

$
\boldsymbol{u}_{i j}=\left[\operatorname{ReLU}\left(\boldsymbol{W}_{\text {head }}^{\top} \boldsymbol{v}_{i}^{\prime}\right) ; \operatorname{ReLU}\left(\boldsymbol{W}_{\text {tail }}^{\top} \boldsymbol{v}_{j}^{\prime}\right) ; \boldsymbol{a}_{i j}\right]
$

節点ペア間の表現 $\boldsymbol{u}_{i j}$ を元に分類するための重みを $\boldsymbol{W}_{\text {class }} \in \mathbb{R}^{\left(2 D+D_{a}\right) \times|C|}$ とすると, $v_{i}, v_{j}$ 間の節点間の辺がクラス $c$ である予測確率 $p_{i j, c}$ とそのロジット $\boldsymbol{z}_{i j} \in \mathbb{R}^{|\mathcal{C}|}$ は (9) 式のように表現できる.

$
\begin{aligned}
\boldsymbol{z}_{i j} & =\boldsymbol{W}_{\text {class }}^{\top} \boldsymbol{u}_{i j} \\
p_{i j, c} & =\frac{\exp \left(z_{i j, c}\right)}{\sum_{c^{\prime} \in C} \exp \left(z_{i j, c^{\prime}}\right)}
\end{aligned}
$

確率が最大となったクラスを選択することで，編集後の関係 $R_{i j}^{\mathrm{EE}}$ を決定する.

$
R_{i j}^{\mathrm{EE}}=\underset{c \in C}{\arg \max } p_{i j, c}
$

このようにして, 辺編集器 $\mathrm{EE}$ は文脈の表現と入力された関係グラフの構造表現を合わせて分類した結果を出力する.

## 4.2 逐次的な辺編集

4.1 節の辺編集器を利用し, ヒューリスティクスに基づいて分類しやすい用語ぺアから順にその間の辺を編集し，逐次的に関係を確定する．分類しやすい順に編集することで，分類が難しいぺア間の分類に，既に編集された近くに記述された辺の情報を利用する (Miwa and Sasaki 2014). 逐次的な辺編集の詳細な手続きはアルゴリズム 1 に示した. このアルゴリズムは関係候補編集タスクにおける編集モデル Edit に相当する。逐次的な辺編集は文書 doc, 用語集合 $\mathcal{V}$,関係候補 $R^{\text {in }}$ 受け取って，そのグラフの全ての節点ぺア間の辺を一度ずつ編集すると完了する. 編集は辺編集器によって行われ, 各編集ステップで編集された辺でグラフの辺を更新し, そのグラフを再度入力して編集を繰り返す。

編集の順序は，用語ぺアが記述された距離が近い順をヒューリスティクスとして採用する (Miwa and Sasaki 2014). 用語ぺア $\left(v_{i}, v_{j}\right)$ 間の距離 $h_{i j}$ は文単位の距離に設定して, 同じ文内に記述されたぺア間の距離を 1 , 隣接文では 2 と離れると可算されるように定義する. 同一距離に記述されたぺアは同時に編集する。また, 最大距離 $h_{\text {max }}$ を超えた距離に記述された用語ペアは同時に編集する。

## 4.3 既存手法との接続

3 章で提案した関係候補編集タスクの下で, 4.2 節の逐次的な辺編集モデルで抽出済みの関係を利用する方法を述べる. 既存手法との接続は, 初期の関係候補 $R^{\text {in }}$ を既存手法で抽出した関係に置き換えて実現する。このように逐次的な辺編集モデルは, 事前に既存手法で予測した結果のみを利用するため, 既存手法と編集モデルの学習は切り離されており, 追加のモデルの実装を必要としない.

## 4.4 訓練

モデルの訓練は, 最終的に出力された関係の予測 $R^{\text {out }}$ に対する対数尤度を最大化するように行う. 逐次的な辺編集では, 辺を持ちうる全節点ぺアを複数ステップに分けて一度ずつ分類し,各ステップの結果を統合したものを最終的な予測としているため, 逐次的な辺編集の出力 $R^{\text {out }}$ が正解に近づくように最適化すればよい. 各ステップの節点 $v_{i}, v_{j}$ 間の辺のクラス $c$ に対する予測確率を $p_{i j, c}^{h}$, 正解の $v_{i}, v_{j}$ 間の関係を $R_{i j}^{g o l d}$ とすると, 損失 $L$ は (11) 式のように表せる.

$
L=-\sum_{h=1}^{h_{\max }} \sum_{(i, j) \in \mathcal{P}_{h}} \sum_{c \in \mathcal{C}} \mathbb{1}\left[R_{i j}^{\text {gold }}=c\right] \log p_{i j, c}^{h}
$

ただし， $\mathbb{1}[\cdot]$ は括弧内の条件を満たせば 1 ，それ以外は 0 を返す関数， $\mathcal{P}_{h}$ はアルゴリズム 1 中で使用した距離 $h$ にある用語ぺアの集合である。この損失をデータ全体で最小化するようにモデルを最適化する.

## 5 評価

逐次的な辺編集モデルの有効性を評価するために，材料合成手順のフローグラフを抽出するタスクと時間関係抽出タスクに対して適用し, その抽出性能を確認する. 5.1 節の設定で材料合成手順コーパスに対する評価（5.2 節）と MATRESコーパスに対する評価（5.3 節）を行う。文書単位関係抽出のベンチマークでは DocRED コーパス (Yao et al. 2019) や BioCreative V CDR コーパス (Li et al. 2016) が一般的であるが, このようなコーパスを用いずにこれらのコーパスを利用する理由は, 一つの用語に複数の関係がついていて, 密に関係が付与されており, 関係グラフにしたときに多くの用語がつながっている状況になるためである。用語が関係でつながらない場合では, 本提案手法で利用している GCNがうまく動作しなくなる.

## 5.1 共通の評価設定

提案した逐次的な辺編集モデルを関係候補編集タスクとして評価するための設定を述べる. モデルの最適化には Adam (Kingma and Ba 2015) を用いた. 提案モデルでは文書単位で事前学習モデルを動かさなければならないため, GPU のメモリに載るように，バッチサイズは 1 とした. モデルで利用する事前学習モデルは, 実験的にラージサイズを利用すると性能が低下したため, ベースサイズの RoBERTa (Liu et al. 2019)を利用する．モデル自体の抽出性能を確認するために, $\forall i, j ; R_{i j}=\bar{c}$ として力のグラフの辺を空とした場合（以下， スクラッチと呼ぶ） に対する抽出性能も同時に確認する．スクラッチでは入力の関係が全て関係なしとなる部分のみが変更点で，その状態から全ての関係を編集する。つまり，最初の編集ステップでは文脈の表現のみで分類が行われ, その後のステップではそのステップの時点で抽出されている関係間

の相互作用を考慮した表現を利用した分類になる．評価には 3 つの異なるシード值で実験したときの関係分類に対する $\mathrm{F}$ 値 [\%] の平均値を利用する。評価にはチューニングで得られたハイパーパラメタで学習した際に，開発デー夕に対して最高の性能が得られた時点のモデルを利用する。モデルの学習時には正則化のためにドロップアウト (Srivastava et al. 2014) を導入する. ドロップアウトは $\boldsymbol{X}$ と出力層の前の $\boldsymbol{u}_{i j}$ のそれぞれに対して適用する.

ハイパーパラメタチューニングは Optuna (Akiba et al. 2019)を用いて，枝刈りされたものも含めて 1,000 回の試行で開発デー夕に対する $\mathrm{F}$ 值が最大となるパラメ夕を探索した. チューニングは材料合成手順コーパスと MATRES コーパス両者それぞれに対して行い，パラメタのサンプリングには木構造 Parzen 推定 (Bergstra et al. 2011), 探索の枝刈りアルゴリズムはパラメ夕を $s=1, \eta=2, r=0.15$ とした Successive Halving アルゴリズムを利用した (Li et al. 2020b). チューニングは複数の計算機で分散して行い, NVIDIA 社の GTX 1080Ti, RTX 3090, Tesla V100, TITAN V の GPUが搭載された計算機を利用した。

探索空間とチューニングによって得られたパラメタは表 1 に示した. チューニングしたパラメタは表の上から, Adamの学習率, RoBERTa に対する学習率, 入力と出力に対するドロップアウト率, RGCN の層の数 $L$, 全体的な隠れ層の次元数 $D$, 編集前の辺の埋め込み $a_{i j}$ の次元数 $D_{a}$ とそのドロップアウト率, 距離 $h$ の定義と最大値 $h_{\max }$ の計 10 種類である. 距離の定義は, 文単位で計算する場合と，出現順序に合わせて， $m$ 番目と $m+x$ 番目に出現した用語間の距離を $x$ とする場合の 2 種類を定義したが，どちらも文単位の距離の方がよいと確認できたため, そちらをモデルに採用した。

表 1 ハイパーパラメタチューニングの探索空間と結果

## 5.2 材料合成手順コーパスによる評価

まず，材料合成手順のフローグラフを抽出するタスクのコーパスである材料合成手順コーパス (Mysore et al. 2019) を使用して, 提案手法の有効性を評価する。このコーパスには, 密に関係が付与されており，直感的には以前の合成手順が以降の合成手順に影響したり，材料に対する条件が操作に影響を及ぼしたりするなど，関係間に関係を及ぼすような夕グ付けがされている. 材料合成手順コーパスには図 3 の抽出事例のように，材料分野の論文中の材料合成手順が記述された段落に対して, 材料や操作, 質量などの数値条件やその他の条件付けとなる用語と, その間の関係がフローグラフのようにタグ付けされている。コーパスの分割は公式に提供されているものと同様に，訓練，開発，評価をそれぞれ $200,15,15$ 件とした. 表 2 には材料合成手順コーパスの関係の統計量と説明を示した.

材料合成手順コーパスに対しては, 我々が作成したルールベース抽出器 (Kuniyoshi et al. 2020; Makino et al. 2022) をべースラインとして, その出力をモデルの入力とする. このコーパスに対する抽出手法は, このルールベース抽出器のみしか公開されている抽出手法がないため, この手法に対してのみ評価をする、ルールは文脈を考慮しない単純なもので, 主に用語間の単語数や出現順序に基づいていて, 一部の関係クラスに対しては辞書との一致をとって関係を抽出する。なお, Wen and Ji (2021)やZhao et al. (2021)といった手法は時間関係抽出に特化した手法で，適用することはできない.

表 2 材料合成手順コーパスの関係ラベルとその統計値

表 3 材料合成手順コーパスでの評価（ $\mathrm{F}$ 値 [\%]）

表 3 に示した材料合成手順コーパスに対する性能の評価では，逐次的な辺編集による性能の向上が確認できた。まず，スクラッチとヒューリスティクスによるルールベース抽出器による抽出結果（以下，ルールと呼ぶ）を比較すると，わずかにスクラッチの方が性能が低く, ルー ルの方が深層学習モデルより高い性能で抽出できた. これは, 文脈を考慮せずとも抽出できる関係が多く存在し, 事前学習モデルを利用した深層学習モデルでも抽出できない関係があることを示している。ルールの抽出結果を編集した場合では, ルールと比べて $6.4 \%$ ル゚゚ント向上しており，編集が効果的に作用している。これは，ルール中のヒューリスティクスを間接的に深層学習モデルに導入できたためで, 逐次的な辺編集モデル単体ではルールベース抽出器より性能が低くても, ルールベース抽出器の出力を合わせて利用することで性能が向上した.

## 5.3MATRES コーパスによる評価

次に, MATRESコーパス (Ning et al. 2018b)を利用して, 他のコーパスに対する評価と最先端のモデルの出力を編集した場合の効果を確認する．材料合成手順コーパスに対する性能評価では, このコーパスのルールベース抽出器の出力に対して, 逐次的な辺編集の有効性が示された. 他のコーパスにおいて, 最先端の深層学習モデルの出力を編集した際の効果を確認するために，MATRESコーパスを使用する．MATRESコーパスは時間関係抽出の標準的なべンチマー クとして利用されており, 抽出するための手法が多く提案されている (Han et al. 2021; Wen and Ji 2021; Zhao et al. 2021; Mathur et al. 2021). MATRESコーパスの時間関係抽出では, 時間関係の制約を導入する有効性が確認されており (Ning et al. 2018a), 時間的制約として関係間の相互作用が重要となる.

MATRESコーパスには, ニュース記事に対してイベントとなる用語と, その間の時間関係がタグ付けされている. MATRESコーパスの時間関係のラベルは, 始点のイベントが終点のイベントの事前であること示す BEFORE, 始点のイベントが終点のイベントの事後であること示す AFTER, 始点のイベントと終点のイベントが同時であること示す EQUAL, 始点のイベントと終点のイベントの時間関係が曖昧であること示すVAGUEの４つのラベルが存在し, これらの関係によってイベントの発生時間が相対的にタグ付けされている. MATRESコーパスでは始点の用語から後方で，文内及び隣接する次の文中に含まれる用語のみが終点の用語となる。そのため, 既存研究 (Ballesteros et al. 2020) と同様に, 時間関係を持つ用語ぺアは与えて, 時間関係

を持ちえない用語ぺアを無視する関係分類の設定として，VAGUEの関係を負例とした。データの分割は Wen and Ji (2021) と同様に，訓練，開発，評価用デー夕をそれぞれ $234 ， 21,20$ 件とした。関係の統計量は表 4 に記述した。

MATRES コーパスに対しては，最先端の手法でソースコードが公開されているもの (Zhao et al. 2021; Wen and Ji 2021) に限定し, 再現実験によって得た出力をモデルの入力として利用した. Zhao et al. (2021)は，明示的に時間関係を言及している文を時間関係抽出の遠距離教師データとして収集して利用した．Wen and Ji (2021)は，時間関係抽出に特化して，イベントの相対的な時間を予測する手法を提案した。これらのモデルの公開されているソースコードを使用し，その出力を逐次的な辺編集モデルの入力として利用した.

表 5 に示した MATRES コーパスに対する性能評価では, 編集前と比べてわずかに $\mathrm{F}$ 値が上昇した場合はあったものの，ほとんど逐次的な辺編集の効果は見られなかった. Zhao et al. (2021) に対する場合では，編集前よりも編集後の方が高い性能で抽出できているが，両者ともスクラッチより低い性能であった。Wen and Ji (2021)に対しては，編集前はスクラッチよりも高い性能で，編集後にはわずかに $\mathrm{F}$ 値が上昇したが，有意な差はなく，ほとんど効果はなかった。このように, MATRES コーパスにおいて最先端の深層学習モデルの出力を編集した場合に対しては,材料合成手順コーパスほどの改善が見られず，わずかに $\mathrm{F}$ 値が上がる場合はあったもののほとんど効果はなかった.

表 4 MATRES コーパスの関係ラベルとその統計値

表 5 MATRES コーパスでの評価（F 値 [\%]）

## 6 解析

材料合成手順コーパスで評価した場合には逐次的な辺編集によって性能が向上した一方で， MATRES コーパスに対する評価ではほとんど性能が向上しなかった. MATRESコーパスの編集前が既存の深層学習モデルで得られている最先端の結果で, 性能を向上させるのが困難なことを考慮しても，ほとんど性能が変化しない要因があると考えられる。そこで，これらの評価の実験の間で異なる点を洗い出し, 関係候補編集タスクの設定で効果が得られる条件を明確にする。

## 6.1 編集事例の確認

まず編集の特徴を確認するために，実際の編集事例を確認する。材料合成手順コーパスにおけるそれぞれのモデルの抽出結果を図 3 に示した。それぞれ個別に特徴を確認すると、ルールベー 入抽出器は用語の出現パターンによって抽出しているため, 用語が離れて記述されていても抽出できている関係がある一方で, $\mathrm{SrCO3} \cdot \mathrm{MoO} 3 \cdot \mathrm{Ni}$ の間の並立の関係が認識できていなかったり，連続していない prepared と mixed の操作の間で関係をつけてしまったりしている，スクラッチでは離れて記述されている用語同士の関係がうまく抽出できておらず, $\mathrm{SrCO} 3 \cdot \mathrm{MoO} 3 \cdot$ $\mathrm{Ni}$ のうち, Appropreate proportions と $\mathrm{Ni}$ の間の関係や操作の順序がうまく抽出できていない. ルール＋逐次的な辺編集では主にルールベース抽出器とスクラッチで抽出できている関係を合算したような抽出結果となっていて，操作の順序が正しく抽出できており，prepared と mixedが連続していない操作であることも認識できている，更に，追加で抽出できている関係も確認できた. 例えば, Appropreate proportions と $\mathrm{SrCO3} \cdot \mathrm{MoO} 3 \cdot \mathrm{Ni}$ の間の関係を確認すると, ル一ルベース抽出器でもスクラッチでも抽出できていない $N i$ との間の関係を抽出できている。これは，関係間の相互作用を表現することで，他の関係を介して並立の関係を認識できていると考えられ，逐次的な辺編集の利点が確認できた。

MATRES コーパスにおいてWen and Ji (2021)の出力を逐次的な辺編集をした事例は図 4 に示した，材料合成手順コーパスの抽出結果と比較すると, MATRESコーパスに対してはあまり編集が行われず，編集された関係に明確な法則は確認できなかった。このことから， MATRES コーパスに対しては，逐次的な辺編集で編集するよりも，抽出済みの関係を保持するようにモデルが学習されていることが確認できた。

## 6.2 アブレーション研究

5 章の抽出性能の評価で得られた結果が，提案のどの部分の寄与によるものかを解析するため, モデルの機能を変更して性能を確認するアブレーション研究を行う. アブレーション研究では，編集前の関係グラフの影響，編集順序の影響，および関係間の相互作用を考慮する影響
入力文章

A series of polycrystalline samples of SrMo1-xNixO4 $(0.02<=\mathrm{x}<=0.08)$ were prepared through the conventional solid-state reaction method in air. Appropriate proportions of high-purity $\mathrm{SrCO3}, \mathrm{MoO} 3$, and $\mathrm{Ni}$ powders were thoroughly mixed according to the desired stoichiometry, and then prefired at 900 [?] C for $24 \mathrm{~h}$. The obtained powders were ground, pelletized, and calcined at 1000, 1100 and 1200 [?]C for $24 \mathrm{~h}$ with intermediate grinding twice. White compounds, SrMo1-xNixO4, were obtained. The compounds were ground and pressed into small pellets about $10 \mathrm{~mm}$ diameter and 2 $\mathrm{mm}$ thickness. These pellets were reduced in a $\mathrm{H} 2 / \mathrm{Ar}(5 \%: 95 \%)$ flow at 920 [?] C for $12 \mathrm{~h}$, and then the deep red colored products of $\mathrm{SrMol}$-xNixO3 were obtained.

calcined compounds

obtained $\rightarrow$ SrMol-xNixO4

ground $\gg$ compounds

diameter

pressed $\Rightarrow$ pellets $\leftarrow \mathrm{mm} \leftarrow 10$

thickness $\rightarrow \mathrm{mm} \leftarrow 2$

pellets

$\mathrm{H} 2 / \mathrm{Ar} \leftarrow \% \leftarrow 5$

reduced $\mathrm{C} \leftarrow 920 \% \leftarrow 95$

obtained $h+12$

SrMol-xNixO4 正解

SrMo1-xNixO4

ルールベース抽出器

prefired C 900 $\mathrm{h} \leftarrow-24$ ground $\rightarrow$ powders 1000 pelletized C 1100 $\mathrm{h} \leftarrow 24 \quad 1200$ calcined compounds obtained $\rightarrow$ SrMol-xNixO4 ground $\stackrel{\text { compounds }}{ }$ diameter pressed $\rightarrow$ pellets $\leftarrow \mathrm{mm} \leftarrow 10$ thickness $\Rightarrow \mathrm{mm} \leftarrow 2$ pellets $\mathrm{H} 2 / \mathrm{Ar} \%>^{5}$ reduced $\mathrm{C} 920 \% 95$ obtained $h+12$

SrMol-xNixO4 スクラッチ

$\mathrm{SrMol}-\mathrm{xNixO} 4$

ルール

十逐次的な辺編集

凡例

 \\

図 3 材料合成手順コーパスの抽出事例

を確認する。材料合成手順コーパスと MATRES コーパスの二つのコーパスに対して，それぞれ最も高い性能が得られたルールベース抽出器の出力と, Wen and Ji (2021) の出力に逐次的な辺編集を適用した場合について実験する。アブレーション研究のために，ランダムな辺で初期化した関係グラフを編集するランダム初期化，文書毎にランダムに定めた順序で編集をするランダム順序，全ての辺を同時に編集する $h_{\max }=1$ ，関係間の相互作用を考慮せずに文脈のみで分類する $L=0$ のモデルを用意した。 ランダム初期化は編集前のグラフと同数の割合の辺となるように，ランダムに用語間に関係をつけて初期化した。

## 入力文章

Elian Gonzalez's father said in a letter published Wednesday that he wants Cuban diplomats based in Washington to meet with his 6-year-old son in Miami and check on his condition. "We are worried not only about his prolonged kidnapping," Juan Miguel Gonzalez wrote in a letter published on the front page of the Communist Party daily Granma. ...

図 4 MATRES コーパスの抽出事例。矢印は編集，括弧内は正解ラベルを表しており，誤って抽出されている部分のみ正解ラベルを記述した。時系列順は時間関係から導き出したもので，数字が少ないほうが先に発生したイベントである.

} & \multicolumn{2}{c}{ MATRES } \\
評価 & 開発 & 評価 \\

ランダム初期化 & $78.4 \pm 1.5$ & $75.4 \pm 1.3$ & $80.2 \pm 0.5$ & $78.8 \pm 0.1$ \\

+ 逐次的な辺編集 & $87.4 \pm 0.3$ & $86.8 \pm 0.5$ & $83.1 \pm 0.4$ & $80.7 \pm 1.1$ \\
ランダム順序 & $87.7 \pm 0.1$ & $87.2 \pm 0.2$ & $83.3 \pm 0.0$ & $80.5 \pm 0.2$ \\
$h_{\max }=1$ & $87.1 \pm 0.6$ & $86.3 \pm 0.3$ & $83.3 \pm 0.1$ & $80.5 \pm 0.1$ \\
$L=0$ & $86.9 \pm 0.3$ & $86.4 \pm 0.3$ & $83.4 \pm 0.1$ & $80.4 \pm 0.1$ \\

表 6 アブレーション研究

アブレーション研究の結果を表 6 に示した. まず，編集前の関係グラフの影響を確認するために，既存手法で初期化した関係グラフを入力とした関係候補 + 逐次的な辺編集，辺がついていない関係グラフを入力としたスクラッチ，ランダムに初期化した辺をもつ関係グラフを入力としたランダム初期化を比較する。両方のコーパスで関係候補 + 逐次的な辺編集が最も高い性能を示したため, 関係候補編集タスクの設定では, 既存手法が出力した関係を入力として利用して，モデルの抽出性能の改善に有効であると言える。また，ランダムな辺の関係グラフを入力しても性能が向上するわけではないことから, 入力のグラフの内容が影響することがわかる.
以上から, 既存手法の出力を関係候補として初期化して編集することは有効であると確認でき,編集前の関係の内容によって向上する性能が変化することが確認できた.

次に，編集順序の影響を確認するために，ヒューリスティクスとして近くに記述された用語ペア間の関係性から順番に分類した提案手法と，順番をつけずに全ての関係を同時に編集する $h_{\max }=1$ ，ランダムな順番で編集するランダム順序を比較する．抽出性能を比較すると，全て同時に編集した場合より逐次的に編集したほうが性能が高く，材料合成手順コーパスでは近い順よりランダムな順序の方が，MATRES コーパスでは近い順の方が性能が高かった。編集前と比較すると，材料合成手順コーパスは性能が下がらなかったが，MATRES コーパスに対しては編集することでわずかながら性能が低下した。これは，適切な編集順序が存在しているが，必ずしも近い順が最適ではないことを示唆している。しかしながら，編集順序による性能の変化は小さく, 性能が向上した要因とはならないことが確認できた.

関係間の相互作用については， $L=0$ として関係間の相互作用を考慮しないようにすると，材料合成手順コーパスに対してはわずかに性能が低下し, MATRES コーパスに対しては性能があまり変わらなかった。このことから，RGCNによる関係間の相互作用の表現は，材料合成手順コーパスには少し効果があるものの，性能に対する寄与は大きくなく，性能向上の最大の要因でないと確認できた。

以上から，入力の関係グラフを変更した場合に最も性能の低下が変化したため, 逐次的な辺編集によって性能向上できるかどうかの条件は入力の関係グラフの辺の内容にあると推測できる. アブレーション研究では性能に寄与する部分しか確認できないため, より詳細に入力の関係グラフの条件を調査する必要がある.

## 6.3 編集前の関係グラフの影響

アブレーション研究の結果から，逐次的な辺編集によって性能の向上に関与する最大の要因は入力される関係グラフの内容にあると確認できたため, 関係グラフの内容について更なる調査が必要である。そこで, 編集前のグラフの質の影響を確認するために, 図 5 に編集前の関係グラフ中の辺を削除したときに抽出性能がどの様に変化するか示した. この時, 編集前のグラフはアブレーション研究の実験と同様に, 材料合成手順コーパスに対してはルールベース抽出器, MATRESコーパスに対しては Wen and Ji (2021)の出力とした. グラフの横軸は辺の維持率で， $0 \%$ ときにはスクラッチ， $50 \%$ の場合は編集前のグラフ中の辺を半分削除した場合， $100 \%$ のきには既存手法によって抽出された関係がそのまま入力される場合となる。辺の削除は，辺の維持率に合わせて, その辺が正解している関係かどうか関係なくランダムに行う。そのため,辺を削除したとしても編集前の $\mathrm{F}$ 値が高くなる場合はあるが，編集前にはそれぞれ $\mathrm{F}$ 值で材料合成コーパスに対しては $80.5 \%$, MATRES コーパスに対しては $80.6 \%$ と高い性能で抽出できているため, 基本的には削除されたグラフの精度は低くなる。この解析ではランダム性があるた

図 5 編集前の関係を削除したときの抽出性能の推移.色が塗られた部分はそれぞれに対する $95 \%$ 信頼区間である。

め, 試行回数を 5 回に増やして実験を行い 1 , その平均と $95 \%$ 信頼区間をグラフに示した.

図 5 から, 入力されるグラフの辺の維持率を上昇させると性能が向上することが確認でき, 編集前のグラフの精度が高い場合には編集後にも高い性能で抽出できるようになると言える。また, 辺を削除したときの性能の低下は, MATRES コーパスの場合よりも材料合成手順コーパスの場合の方が大きかった．材料合成手順コーパスのグラフは，辺維持率が $100 \%$ から $80 \%$ の区間で急激に低下しており，信頼区間から分散が材料合成手順コーパスの方が大きいことも確認できる。このことから，材料合成手順コーパスに対して入力された関係グラフに含まれる辺の中に効果的な辺が含まれており，その辺が削除された場合に性能が低下していることが示唆される.この効果的な辺がどのような辺なのかわかれば，逐次的な辺編集を効果的に利用できる条件がわかる.

そこで, 性能の向上に寄与している関係は逐次的な辺編集モデル単体では抽出できない関係, つまりスクラッチの場合に抽出できない関係が性能に寄与しているという仮説を立てた。これは編集による変化を観察して建てた仮説で，MATRESコーパスにおいて編集された辺の数が少なかったことからこの洞察を得た．仮説の事前の検証のため，開発データの関係をスクラッチで抽出した場合と既存手法で抽出した場合の関係を比べる。編集前とスクラッチでどれだけ異なる関係が抽出されているのか確認するため, 材料合成手順コーパスに対してはルールベー


ス抽出器とスクラッチ, MATRES コーパスに対してはWen and Ji (2021) とスクラッチが予測した関係の混同行列を作成して比較する。材料合成手順コーパスの混同行列は表 7, MATRES コーパスの混同行列は表 8 に示した。材料合成手順コーパスに対しては，ルールとスクラッチで異なる関係を正例として予測しており，クラス間で誤っている場合は少ない特徴がみられた。 MATRES コーパスに対しては，異なる部分の中でも多くが AFTER と BEFORE の間で異なる予

表 7 材料合成手順コーパスの開発データにおけるルールベース抽出器とスクラッチで抽出された関係の混同行列. NONE は関係がないことを示す.

表 8 MATRES コーパスの評価デー夕における Wen and Ji (2021)の抽出器とスクラッチで抽出された関係の混同行列
測をしている。

混同行列のみでは正解との対応が確認できないため, 関係を持ちうる用語ぺアごとに，その用語ぺアの関係予測が正解しているかどうか, それが正例かどうかを数え, スクラッチと編集前で対応付けて関係予測の内訳を確認する。材料合成手順コーパスの予測の内訳は表 9 , MATRES コーパスの予測の内訳は表 10 に示した。スクラッチと比べて編集前の方が正しく抽出できているのが表中の赤く塗られた部分，スクラッチの方が正しく抽出できているのが青く塗られた部分で，これらの数が多いほど異なる関係が抽出できているということである。それらの合計から，材料合成コーパスの方が編集前とスクラッチの間で差分が大きいことがわかる。一つの指標として，どちらか一方のみで抽出できている正例の割合を計算したところ，表 11 のようになり，材料合成手順コーパスに対する抽出の方が差分があることが確認できた．以上の結果は，編集前と編集するモデル単体で抽出できる関係に差があることが条件であるという仮説に矛盾しない.

仮説を実際に検証するため，編集前の関係グラフをスクラッチで正しく抽出できていない関係として，徐々に辺を追加したときの性能の変化を確認した。この実験では, スクラッチで抽出

表 9 材料合成手順コーパスの評価データに対する関係予測の内訳． TP は正しく正例を，TN 負例を，FPは誤って正例を，FN は誤って負例を予測した場合を表す。赤く塗られた部分はスクラッチで誤っていてルールで正しく抽出できている部分, 青く塗られた部分はルールで誤っていてスクラッチで正しく抽出できている部分である．赤く塗られた部分の合計は 554 , 青く塗られた部分の合計は 205 である.

表 10 MATRES コーパスの評価データに対する関係予測の内訳．TP は正しく正例を，TNは正しく負例を，FP は誤って正例を，FN は誤って負例を予測した場合を表す。赤く塗られた部分はスクラッチで誤っていて Wen and Ji (2021) で正しく抽出できている部分, 青く塗られた部分は Wen and Ji (2021) で誤っていてスクラッチで正しく抽出できている部分である. 赤く塗られた部分の合計は 43 , 青く塗られた部分の合計は 35 である.

できなかった関係が重要な役割を持っているのか確認することを目的とする。まず，スクラッチで抽出した場合の関係と正解の関係を比べて，スクラッチで誤って抽出している関係を取り出す。そして，スクラッチで抽出した関係に対して，抽出できなかった関係を割合を変えながら辺に追加して，それを編集前の関係として編集したときの性能の変化を観察する。このとき， スクラッチで正しく抽出できている関係を追加した関係と置き換え，入力するグラフ全体の質は保った状態で検証を行った．つまり，0\%の場合は入力をスクラッチの出力にした編集， $100 \%$ の場合はスクラッチで編集できなかったすべての関係を追加して，その関係の数だけスクラッチの辺を誤るように置き換えたグラフを入力とした編集を表している.

図 6 に示した検証の結果より，効果的に作用している関係はスクラッチで抽出できていない関係であることが確認でき，仮説が正しいと確認できた．関係グラフ全体の質はほとんど変化させずに，スクラッチで抽出できていない関係に置き換えると編集後の性能が向上した。よって，編集するモデル単体で抽出できていない関係が性能向上に寄与していることがわかる．加

表 11 材料合成手順コーパスと MATRES コーパスにおける編集前とスクラッチのどちらか一方のみで抽出できている正例の割合

図 6 スクラッチで抽出できなかった関係を追加した場合の性能の変化. 色が塗られた部分はそれぞれに対する $95 \%$ 信頼区間である.

えて, 辺の導入率 $0 \%$ は逐次的な辺編集モデルを使ってスクラッチの設定で抽出した関係を入力として，逐次的な辺編集モデルを学習しなおして編集している場合を示している．この場合では，スクラッチの場合とほとんど数値の変化はない。これから，編集前の抽出を行ったモデルと同じモデルで編集してもほとんど向上がみられないということが確認できる。また，追加する関係の数に対して完全に線形ではなく, それ以上に性能が向上していることが確認できる. このことから，単純に入力された辺を複製しているだけではなく，その辺を手掛かりに，他の辺の抽出ができるようになっていることがわかる．実際に編集前とスクラッチの両者で抽出できておらず，逐次的な辺編集モデルによって新たに抽出できるようになった関係の数を数えると，材料合成手順コーパスの場合で 40 , MATRES コーパスの場合で 1 の関係が新たに抽出できるようになった。

この検証から，関係候補編集タスクにおいて編集によって性能を向上させるために重要な要素は，入力される関係と編集モデル単体で抽出可能な関係が異なることであると確認できた。つまり，編集によって組み合わせるモデルは異なる観点で作成されていることが重要である，本研究の場合では材料合成手順コーパスにおいて，ヒューリステイクスに基づくルールベース抽出器と深層学習モデルを組み合わせることで性能の向上が確認できたのは，編集前と編集するモデルは異なる観点のモデルで，異なる関係が抽出できていたため，性能が向上した， MATRES コーパスに対しては, 編集前の関係抽出と編集の両者で事前学習モデルをべースとしたモデルを利用していたことから似たような出力をするモデルとなっていて，編集によって性能がほとんど向上しなかった. 既存手法の出力を関係候補編集タスクの設定として再利用して効果があるのは，既存手法と編集するモデルに差分があることであり，関係候補編集タスクに利用する既存手法を決定する際の指標となる。

## 7 結論

本研究では関係抽出において, 関係抽出モデルの作成時に, 既存手法で抽出された結果を再利用して編集する関係候補編集タスクを提案した，更に，そのタスク設定のもとで関係間の相互作用を考慮すべく, 抽出済み関係候補を関係グラフとして構成して, 関係グラフの構造の表現を導入して逐次的に関係を編集するモデルを提案した，実験では材料合成手順コーパスに対してルールベースの抽出器の出力を編集して改善できた。一方で, MATRES コーパスに対しては最先端の深層学習モデルの出力を編集したが有効性が確認できなかった. 解析ではこの要因を解析し，関係候補編集タスクにおいて編集した際に性能が向上する条件は，編集するモデル単体で抽出可能な関係と編集前の関係に差があることであると明らかにした。

今後は過去に提案された手法によって抽出された出力を解析することで，高性能なモデルのほとんどが深層学習となっている近年の状況であっても有用な手段を発見する必要がある. 本研
究によって, 深層学習モデルによる抽出を, 既存手法の出力を利用して向上させるための条件が示された，深層学習以前の研究では，情報抽出は別の手段や手法で行われていたが (McCallum et al. 2000), それらの中には深層学習モデルと合わせて利用するのに有用なものがある可能性がある．例えば，本研究では単純なルールベース抽出器を深層学習モデルと合わせて使うことで抽出性能を向上させた。このような過去の研究から，深層学習と合わせて利用するのに有用な手段を明らかにできれば，さらなる情報抽出の性能向上を見込める.

## 謝 辞

本研究は JSPS 特別研究員奨励費 JP22J14025 の助成を受けたものです.

## 参考文献

Akiba, T., Sano, S., Yanase, T., Ohta, T., and Koyama, M. (2019). "Optuna: A Next-generation Hyperparameter Optimization Framework." In Proceedings of the 25rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 2623-2631.

Alt, C., Hübner, M., and Hennig, L. (2019). "Improving Relation Extraction by Pre-trained Language Representations." In Proceedings of Automated Knowledge Base Construction.

Baldini Soares, L., FitzGerald, N., Ling, J., and Kwiatkowski, T. (2019). "Matching the Blanks: Distributional Similarity for Relation Learning." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2895-2905, Florence, Italy. Association for Computational Linguistics.

Ballesteros, M., Anubhai, R., Wang, S., Pourdamghani, N., Vyas, Y., Ma, J., Bhatia, P., McKeown, K., and Al-Onaizan, Y. (2020). "Severing the Edge Between Before and After: Neural Architectures for Temporal Ordering of Events." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 5412-5417, Online. Association for Computational Linguistics.

Bergstra, J., Bardenet, R., Bengio, Y., and Kégl, B. (2011). "Algorithms for Hyper-Parameter Optimization." In Shawe-Taylor, J., Zemel, R., Bartlett, P., Pereira, F., and Weinberger, K. Q. (Eds.), Proceedings of Advances in Neural Information Processing Systems, Vol. 24, pp. 2546-2554. Curran Associates, Inc.

Cassidy, T., McDowell, B., Chambers, N., and Bethard, S. (2014). "An Annotation Framework for Dense Event Ordering." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 501-506, Baltimore, Maryland.

Association for Computational Linguistics.

Christopoulou, F., Miwa, M., and Ananiadou, S. (2019). "Connecting the Dots: Document-level

Neural Relation Extraction with Edge-oriented Graphs." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 4925-4936, Hong Kong, China. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Fu, T.-J., Li, P.-H., and Ma, W.-Y. (2019). "GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1409-1418, Florence, Italy. Association for Computational Linguistics.

Han, R., Ren, X., and Peng, N. (2021). "ECONET: Effective Continual Pretraining of Language Models for Event Temporal Reasoning." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5367-5380, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778, Los Alamitos, CA, USA. IEEE Computer Society.

Hendrickx, I., Kim, S. N., Kozareva, Z., Nakov, P., Ó Séaghdha, D., Padó, S., Pennacchiotti, M., Romano, L., and Szpakowicz, S. (2010). "SemEval-2010 Task 8: Multi-Way Classification of Semantic Relations between Pairs of Nominals." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of 3rd International Conference on Learning Representations, San Diego, CA, USA.

Kipf, T. N. and Welling, M. (2017). "Semi-Supervised Classification with Graph Convolutional Networks." In Proceedings of International Conference on Learning Representations.

Kuniyoshi, F., Makino, K., Ozawa, J., and Miwa, M. (2020). "Annotating and Extracting Synthesis Process of All-Solid-State Batteries from Scientific Literature." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 1941-1950, Marseille, France.

European Language Resources Association.

Laokulrat, N., Miwa, M., and Tsuruoka, Y. (2015). "Stacking Approach to Temporal Relation Classification with Temporal Inference." Journal of Natural Language Processing, 22 (3), pp. 171-196.

Li, B., Ye, W., Sheng, Z., Xie, R., Xi, X., and Zhang, S. (2020a). "Graph Enhanced Dual Attention Network for Document-Level Relation Extraction." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1551-1560, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Li, J., Sun, Y., Johnson, R., Sciaky, D., Wei, C.-H., Leaman, R., Davis, A. P., Mattingly, C., Wiegers, T., and lu, Z. (2016). "BioCreative V CDR Task Corpus: A Resource for Chemical Disease Relation Extraction." Database, 2016. baw068.

Li, L., Jamieson, K., Rostamizadeh, A., Gonina, E., Ben-tzur, J., Hardt, M., Recht, B., and Talwalkar, A. (2020b). "A System for Massively Parallel Hyperparameter Tuning." In Proceedings of Machine Learning and Systems, Vol. 2, pp. 230-246.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach.", arXiv preprint arXiv:1907.11692.

Makino, K., Kuniyoshi, F., Ozawa, J., and Miwa, M. (2022). "Extracting and Analyzing Inorganic Material Synthesis Procedures in the Literature." IEEE Access, 10, pp. 31524-31537.

Makino, K., Miwa, M., and Sasaki, Y. (2021). "A Neural Edge-Editing Approach for DocumentLevel Relation Graph Extraction." In Findings of the Association for Computational Linguistics, pp. 2653-2662.

牧野晃平, 三輪誠, 佐々木裕 $(2021)$. 辺編集による文書レベルの関係グラフ構築. 言語処理学会第 27 回年次大会 (NLP2021) 発表論文集, pp. 1497-1502. [K. Makino et al. (2019). Hen Henshu niyoru Bunsho Reberu no Kankei Gurafu Kochiku. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 1497-1502.].

Mathur, P., Jain, R., Dernoncourt, F., Morariu, V., Tran, Q. H., and Manocha, D. (2021). "TIMERS: Document-level Temporal Relation Extraction." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 524-533, Online. Association for Computational Linguistics.

McCallum, A., Freitag, D., and Pereira, F. C. N. (2000). "Maximum Entropy Markov Models for Information Extraction and Segmentation." In Proceedings of the 17th International Conference on Machine Learning, pp. 591-598, San Francisco, CA, USA. Morgan Kaufmann

Publishers Inc.

Miwa, M. and Bansal, M. (2016). "End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1105-1116, Berlin, Germany. Association for Computational Linguistics.

Miwa, M. and Sasaki, Y. (2014). "Modeling Joint Entity and Relation Extraction with Table Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1858-1869, Doha, Qatar. Association for Computational Linguistics.

Mysore, S., Jensen, Z., Kim, E., Huang, K., Chang, H.-S., Strubell, E., Flanigan, J., McCallum, A., and Olivetti, E. (2019). "The Materials Science Procedural Text Corpus: Annotating Materials Synthesis Procedures with Shallow Semantic Structures." In Proceedings of the 13th Linguistic Annotation Workshop, pp. 56-64, Florence, Italy. Association for Computational Linguistics.

Mysore, S., Kim, E., Strubell, E., Liu, A., Chang, H.-S., Kompella, S., Huang, K., McCallum, A., and Olivetti, E. (2017). "Automatically Extracting Action Graphs From Materials Science Synthesis Procedures." In Proceedings of NIPS Workshop on Machine Learning for Molecules and Materials, Long Beach, California.

Nan, G., Guo, Z., Sekulic, I., and Lu, W. (2020). "Reasoning with Latent Structure Refinement for Document-Level Relation Extraction." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1546-1557, Online. Association for Computational Linguistics.

Ning, Q., Feng, Z., Wu, H., and Roth, D. (2018a). "Joint Reasoning for Temporal and Causal Relations." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2278-2288, Melbourne, Australia. Association for Computational Linguistics.

Ning, Q., Wu, H., and Roth, D. (2018b). "A Multi-Axis Annotation Scheme for Event Temporal Relations." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1318-1328, Melbourne, Australia. Association for Computational Linguistics.

Pustejovsky, J., Hanks, P., Sauri, R., See, A., Gaizauskas, R., Setzer, A., Radev, D., Sundheim, B., Day, D., Ferro, L., et al. (2003). "The TimeBank Corpus." In Proceedings of Corpus Linguistics, pp. 647-656, Lancaster, UK.

Quirk, C. and Poon, H. (2017). "Distant Supervision for Relation Extraction beyond the Sentence

Boundary." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1171-1182, Valencia, Spain. Association for Computational Linguistics.

Schlichtkrull, M., Kipf, T. N., Bloem, P., van den Berg, R., Titov, I., and Welling, M. (2018). "Modeling Relational Data with Graph Convolutional Networks." In Gangemi, A., Navigli, R., Vidal, M.-E., Hitzler, P., Troncy, R., Hollink, L., Tordai, A., and Alam, M. (Eds.), The Semantic Web, pp. 593-607, Cham. Springer International Publishing.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." The Journal of Machine Learning Research, 15 (1), pp. 1929-1958.

UzZaman, N., Llorens, H., Derczynski, L., Allen, J., Verhagen, M., and Pustejovsky, J. (2013).

"SemEval-2013 Task 1: TempEval-3: Evaluating Time Expressions, Events, and Temporal Relations." In Proceedings of the 7th International Workshop on Semantic Evaluation, pp. 1-9, Atlanta, Georgia, USA. Association for Computational Linguistics.

Verga, P., Strubell, E., and McCallum, A. (2018). "Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 872-884, New Orleans, Louisiana. Association for Computational Linguistics.

Wang, L., Cao, Z., de Melo, G., and Liu, Z. (2016). "Relation Classification via Multi-Level Attention CNNs." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1298-1307, Berlin, Germany. Association for Computational Linguistics.

Wen, H. and Ji, H. (2021). "Utilizing Relative Event Time to Enhance Event-Event Temporal Relation Extraction." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10431-10437, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

Yamaguchi, K., Asahi, R., and Sasaki, Y. (2020). "SC-CoMIcs: A Superconductivity Corpus for Materials Informatics." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6753-6760, Marseille, France. European Language Resources Association.

Yao, Y., Ye, D., Li, P., Han, X., Lin, Y., Liu, Z., Liu, Z., Huang, L., Zhou, J., and Sun, M. (2019). "DocRED: A Large-Scale Document-Level Relation Extraction Dataset." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777, Florence, Italy. Association for Computational Linguistics.

Zelenko, D., Aone, C., and Richardella, A. (2003). "Kernel Methods for Relation Extraction." Journal of Machine Learning Research, 3 (Feb), pp. 1083-1106.

Zeng, D., Liu, K., Lai, S., Zhou, G., and Zhao, J. (2014). "Relation Classification via Convolutional Deep Neural Network." In Proceedings of the 25th International Conference on Computational Linguistics: Technical Papers, pp. 2335-2344, Dublin, Ireland. Dublin City University and Association for Computational Linguistics.

Zhang, Y., Qi, P., and Manning, C. D. (2018). "Graph Convolution over Pruned Dependency Trees Improves Relation Extraction." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2205-2215, Brussels, Belgium. Association for Computational Linguistics.

Zhang, Y., Zhong, V., Chen, D., Angeli, G., and Manning, C. D. (2017). "Position-aware Attention and Supervised Data Improve Slot Filling." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 35-45, Copenhagen, Denmark. Association for Computational Linguistics.

Zhao, X., Lin, S.-T., and Durrett, G. (2021). "Effective Distant Supervision for Temporal Relation Extraction." In Proceedings of the 2nd Workshop on Domain Adaptation for NLP, pp. 195-203, Kyiv, Ukraine. Association for Computational Linguistics.

Zhou, W., Huang, K., Ma, T., and Huang, J. (2021). "Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 14612-14620.

## 略歴

牧野晃平：2019 年豊田工業大学工学部卒業. 2021 年豊田工業大学大学院修士課程修了. 現在, 豊田工業大学大学院工学研究科博士課程に在学中. 言語処理学会, 人工知能学会各会員.

三輪誠：2008 年東京大学大学院博士課程修了. 博士 (科学). 東京大学, マンチェスター大学を経て, 2014 年より豊田工業大学知能数理研究室准教授.

ACL，情報処理学会, 言語処理学会, 人工知能学会各会員.

佐々木裕：1988 年筑波大学修士課程理工学研究科修了. 2000 年同大学より博士 (工学) 授与. NTT 研究所, ATR, マンチェスター大を経て, 現在, 豊田工業大学知能数理研究室教授. 言語処理学会等会員.

