# 関係間の関係性を考慮した時間関係グラフ改善のための グローバル反復辺編集器

牧野晃平 三輪誠 佐々木裕
豊田工業大学
\{sd21505, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

時間関係抽出では，イベント間の相対的な時間を 考慮する際に，時間関係間の関係性が重要となるこ とがある。しかし，既存の手法ではこのような時間関係間の関係性を考慮せず，個別に時間関係を抽出 しているものが多い. そこで，本研究では，既存手法に接続可能な，グローバルに時間関係間の関係性 を考慮したモデルとして，既存手法の出力をもとに 時間関係グラフを反復的に改善するグローバル反復辺編集器 GIEEを提案する. 実験では, 時間関係抽出の評価用データセットである MATRES について 提案手法を評価し, 提案手法が異なる 2 つの既存手法の性能を一貫して向上できることを確認した.

## 1 序論

文書中のイベント間の時間的な関係性を対象と し，文内および文をまたいだイベント間の時間関係 を抽出する時間関係抽出は, 自然言語で記述された 文書中の情報を構造化するのに重要なタスクであ る。時間関係は関係がイベントを共有するフローグ ラフの様に表現されたり, 事前の事前のイベントは 事前のイベントであるというような時間的な制約が 存在したりするなど, 時間関係抽出は一般的な関係抽出 $[1,2]$ とは異なるため，時間関係を抽出するた めの特有な手法が提案されている $[3,4]$.

時間関係抽出ではイベント間の相対的な時間を対象とするため，関係を個別に分類するだけでなく，時間関係間の関係性を考慮することが重要になる。実際に TempEval-3 [5] や MATRES [6] のような既存 の時間関係抽出用コーパスでは，ニュース記事など の文章に記述されたイベントの絶対的な発生時間は 一部しか記述されておらず，イベント同士の相対的 な時間関係によって発生時間を表現している.

一方で，既存の高性能な手法は時間関係同士の関

図 1 反復的な辺編集

係を考慮できていない．Wenと Ji はイベント間の相対的な時間を直接予測している [7]. Mathur らは複数のグラフ表現を組み合わせ，時間とイベント間の 関係性をモデル化したが，時間関係間の関係性は考慮できていない [4]. このような既存手法の利点を 保持したまま，異なる構造・実装のモデルに対して 関係間の関係性を直接導入するのはコストが高いた め，関係間の関係性を既存手法に容易に導入できる 手法が必要である.

以上のことから，本研究では，文書検索のリラン キングのように [8], 既存の関係抽出手法の出力を 全体を見ながら再評価し，関係を編集することで関係間の関連性を考慮するモデルとして，グローバル 反復辺編集器（Global Iterative Edge-Editor; GIEE）を 提案する. 本手法では，入力となる文書と時間関係 グラフを用いて，文書の文脈表現に加え，時間関係 グラフの表現を利用することで，全体の時間関係間 の関係性を考慮した辺の編集を行う. 更に，編集さ れたグラフを繰り返し編集することで，入力された 辺間だけでなく, 編集された辺同士の相互関係を含 めてグラフ全体で考慮する。

本研究の貢献は以下の 3 点である.
- 関係間の関係性を考慮するため，既存手法の出力を編集するという，既存手法に容易に導入可能な問題設定を提案した.

・時間関係グラフの表現を利用する，時間関係間全体の関係性を考慮した時間関係抽出モデルで あるグローバル反復辺編集器 GIEEを提案した。
- 異なる 2 つの既存手法の後続に提案手法を接続 することで，いずれの手法についても，もとの 抽出性能を改善できることを示した。

## 2 提案手法

本研究では，既存の時間関係抽出手法に対して関係間の関係性の観点を導入するため，既存手法で抽出した時間関係グラフを編集するモデルとして，グ ローバル反復辺編集器 GIEE を提案する. 時間関係 グラフはイベントを節点, 時間関係を辺として表現 される。GIEEでは図 1 のように，時間関係全体の 関係間相互関係を考慮した辺編集器 (Edge-Editor; EE）を反復的に利用することで，既存手法で抽出 したグラフの辺間のみならず，編集された辺も含め た，辺間の関係性をグラフ全体で考慮することを目指す.ここでは，このEEとGIEEについてそれぞ れ説明し, その後, それらを使った予測と学習, 既存手法との接続について説明する.

## 2.1 辺編集器

まず辺同士の相互関係を考慮して辺を編集する深層学習ベースの辺編集器 $\mathrm{EE}$ について説明する. $\mathrm{EE}$ では BigBird [9] や Longformer [10] のような文書単位 の事前学習モデルを用いて得られる文脈表現と，グ ラフニューラルネットワーク（GNN）を用いて作成 する入力の時間関係グラフ $G^{i n}=\mathscr{G}\left(N, E^{i n}\right)$ の表現 から対象の辺に接続している節点ペアを分類して辺 を編集することで編集後のグラフ $G^{\text {out }}=\mathscr{G}\left(N, E^{\text {out }}\right)$ を出力する. モデルのパラメタを $\theta$ とすると $\mathrm{EE}$ は 以下のように表現できる.

$
G^{\text {out }}=\operatorname{EE}\left(\operatorname{doc}, G^{\text {in }} ; \theta\right)
$

辺の編集は以下の 3 ステップで行う. (1) 事前学習モデルによって節点の初期表現としてイベントの 文脈表現を作成する。（2）関係間の関係性を考慮す るために GNNを利用して入力グラフの構造情報を 埋め込んだ節点の表現を作成する。（3）節点ペアの 表現と編集前の辺の表現から辺を分類して編集後の グラフを作成する.

イベントの初期表現は，イベントを構成するトー クンの文脈表現を集約して作成する. 文長 $T$ の入力文書 doc を事前学習モデルによって埋め込んだトー

クンの表現 $X=\left[x_{1}, x_{2}, \cdots, x_{T}\right]$ の次元を線形層で減 らしたものに対して, $i$ 番目の節点の初期表現 $\boldsymbol{n}_{i}^{0}$ は 始点のトークンと終点のトークンとその間の表現の 平均を取って表現を作成する。

次に関係間の関係性をグラフ全体で考慮するため に入力グラフの構造表現を GNNによって埋め込む.具体的には関係ラベルの違いを捉えるために，異種 グラフが扱える Relational Graph Convolution Network （RGCN）[11]を $L$ 層積み重ねて $L$-hop の関係性を考慮した表現を作成する. $l$ 番目の層の節点の表現は, $\sigma(\boldsymbol{x})$ をシグモイド関数， $\boldsymbol{W}^{\text {self }}$ を自己ループのため のパラメタ，RGCN の引数を節点の表現と辺する と，以下のように表現できる。

$
\boldsymbol{n}_{i}^{l}=\boldsymbol{n}_{i}^{l-1} \boldsymbol{W}^{\text {self } \top}+\sigma\left(\operatorname{RGCN}\left(\boldsymbol{n}, E^{i n}\right)\right)
$

最後に，それぞれの節点ペア $\left(N_{i}, N_{j}\right)$ 間の辺を， その表現 $v_{i j}$ から同時に分類する. $v_{i j}$ は以下のよう に, $\operatorname{RGCN}$ の $L$ 層目の節点ぺアの表現 $\boldsymbol{n}_{i}^{L} と \boldsymbol{n}_{j}^{L}$, 編集前の辺のクラスを埋め込んだ $\boldsymbol{u}_{i j}=\operatorname{Embed}\left(E_{i j}^{i n}\right)$ を 結合した表現とする.

$
\boldsymbol{v}_{i j}=\left[\boldsymbol{n}_{i}^{L} ; \boldsymbol{n}_{j}^{L} ; \boldsymbol{u}_{i j}\right]
$

関係なしを含むクラス全体 $C$ の内，クラス $c$ に対 して用意した重み $w_{c}^{\text {edit } に よ る ~} \boldsymbol{v}_{i j}$ の重み付き和に よってスコア $z_{i j, c}$ を算出し, スコアが最大となるク ラスを選択することで編集を行う。

$
\begin{aligned}
z_{i j, c} & =\boldsymbol{w}_{c}^{e d i t} \boldsymbol{v}_{i j}^{\top} \\
E_{i j}^{o u t} & =\underset{c \in C}{\arg \max } p_{i j, c}
\end{aligned}
$

## 2.2 反復的な編集

EEにより辺を一度のみ編集した場合には，全て の辺が入力されたグラフの表現のみに基づいて同時 に編集されるため，編集結果の辺を含めた辺間の関係性を考慮出来ていない. そこで GIEEでは, 反復的に EEを利用して編集することで，グラフ全体で

の整合性がとれた辺編集を目指す，具体的には，ア ルゴリズム1のように，EEを繰り返し利用し，同じ 辺を複数回にわたって繰り返し編集することで，以前に編集した辺との関係性も考慮する。このとき， $\mathrm{EE}$ のパラメタを全ての反復で同一のパラメタとす るか $\left(\theta_{1}=\theta_{2}=\cdots=\theta_{I}\right)$, 全ての反復で別のパラメ タを使うかは，チューニングによって決定する。

## 2.3 アンサンブルを用いた予測

GIEE では同一の辺を複数回予測した結果が編集履歴として得られるため，その履歴を有効利用し，予測結果のアンサンブルを行い，抽出性能向上を目指す. それぞれの反復では異なるグラフを入力とし て予測をするため，アンサンブルするのに適してい ると言える. アンサンブルの方法は, 反復ごとの $z_{i j, c}$ の最大値・平均値・投票・アンサンブルなし（最後の反復の出力を使用）の 4 種類の中からチューニ ングで最も高い性能が得られたものを利用する。

## 2.4 学習

モデルの学習は, 各反復で予測されたグラフの 対数尤度を最大化すると同時に，アンサンブルで 得られた予測の対数尤度を最大化するための損失 $L^{\text {ens }}$ に対してもパラメタを最適化する. 反復的な編集に対する損失を $L^{i t r}$ とすると損失関数は $(1-\lambda) L^{i t r}+\lambda L^{\text {ens }}$ として学習する。

## 2.5 既存手法との接続

既存手法と本提案手法を接続し, 時間関係抽出に おいて関係間の関係性を考慮するために，提案手法 の入力 $G^{i n}$ の辺 $E^{i n}$ を既存の手法で抽出した時間関係として，パラメタを最適化する。このようにする ことで, 追加の実装を必要なしに, 既存手法の出力 を活かしつつ，容易に関係間の関係性を導入するこ とが可能になる.

## 3 評価

## 3.1 評価設定

提案手法の評価は時間関係抽出の評価における デファクトスタンダードとなっている MATRES コーパス [6] を用いて評価する. MATRES では時間関係のラベルが BEFORE, AFTER, EQUAL, VAGUE の 4 つのラベルが存在し, 既存研究 [12] と同様に VAGUE は負例として扱い，評価には含めないもの表 1 MATRES に対する既存手法との比較

とする. データは Wen と Ji [7] と同様に分割して，訓練，開発，評価用データはそれぞれ $234 ， 21 ， 20$件で，それぞれ含まれる関係数は $10,884 ， 1,852,818$件である. 評価は関係に対する $\mathrm{F}$ 値で， 3 回実験し たときの平均値を用いる.

評価は既存手法の出力をモデルの入力として最適化したものを既存手法の性能と比較する. 最先端 の手法の内，抽出結果が得られるもの [7,13] に限定し，再現実験によって得られた出力をモデルの入力として利用した. また, 入力のグラフの辺を空と した場合（スクラッチ）に対する抽出性能も確認す る. モデルの最適化には Adam [14]を用いた. モデ ルで利用する事前学習モデルは, 文書単位の事前学習モデルの中でも高い性能である BigBird [9] の重み を固定して利用する。 ハイパーパラメタチューニン グは Optuna [15]を用いて, Wen と Ji[7] の手法の出力に対して行い，その詳細は付録 $\mathrm{A}$ に示した.

## 3.2 結果

表 1 の結果では，スクラッチの場合は他の手法と 比較しても大幅に低い性能しか得られていないに もかかわらず，既存の手法に対して GIEEを適用す ると，編集前と比べて性能が一貫して向上している ことが確認できる。一方で，論文で報告されている スコアや最先端の結果と比較すると劣っているが, これは編集前の時点での性能が低かったことに起因すると考えられる. ベースラインとなるモデルの チューニングおよび選定は今後の課題である。 以上 のことから, GIEE は入力されたグラフ上で辺間の 関係性をグラフ全体で考慮することで，抽出性能を 向上させる効果を持つと言える.

## 4 解析

提案モデルの動作メカニズムを解明するため，八 イパーパラメタチューニングで得られた特徴的な パラメタの考察と, 反復ごとに出力されるグラフの

図 2 反復ごとの抽出性能. 水平線はアンサンブルしたと きの $\mathrm{F}$ 値，反復回数 0 は編集前の $\mathrm{F}$ 値を示している.

抽出性能について議論する。アブレーションの結果 を表 2 に示した. ハイパーパラメタチューニングで 得られたパラメタとして特徴的だったのは，全ての $\theta$ を同一にする点である. これは，全く同じパラメ タのモデルで自己回帰してその出力をアンサンブ ルするのが最も良い性能となる，ということを示し ており，モデルのパラメタ数を増やすことなく性能 を向上させることができる。また，アブレーション によって確認された，モデルに最も寄与していた点 は， $u_{i j}$ による入力されたグラフの情報を保持する 機構であり，これを除くと $3 \%$ ポイント以上性能が 低下した。次に影響があったのは時間関係全体の 相互関係を確認するための RGCN の層の数 $L$ で， RGCN を利用しない場合においては約 $1 \%$性能が低下した. この結果から，既存手法に対して 関係間の関係性を導入することで性能が向上したと いうことが確認でき，関係間の関係性を考慮する重要性が確認できた。アブレーションに関する解析の 詳細は付録 B に示す。

図 2 の Wen と Ji+GIEE における最高性能のモデル の反復ごとの結果を確認すると，どの場合において も編集前に比べて徐々に抽出性能が向上し，その後低下していることが確認できる．アブレーションの 結果から $I<5$ の場合には性能が低下していること から，前半の反復では抽出出来ていない部分を後半 の反復で抽出しようとして反復単体の性能は低下し ているのではないかと考えられる。最終的なアンサ ンブルとそれぞれの反復を比較すると，ほとんどの 反復で下回っているが，同じパラメタのモデルに対 して少し異なるグラフを入力してアンサンブルした ことで性能が向上した. これは性能が低くなってい表 2 Ablation study

る後半の反復も有意義な情報を提供していることを 示している。

## 5 関連研究

文単位の関係抽出では関係グラフ上での表現を利用した手法が提案されているが，文書単位に適用す るのは計算コスト上難しいという問題がある [16].文書単位の関係抽出では文書のグラフを構築して用語間の関係性をモデル化した手法が提案されている $[17,18]$. しかしながら，関係を辺としてグラフを構築していない.このような中で，文書単位の関係抽出において順次的に関係グラフの辺を編集する手法 [19] が提案されたが，編集された辺同士の関係性が 考慮できておらず，時間関係抽出にも適用されてい ない.

## 6 結論

本研究では時間関係抽出において，既存手法に対 して容易に接続可能で時間関係グラフ全体の関係間の関係性を考慮可能なモデルとして，既存手法が 出力した時間関係グラフをグローバル反復辺編集器 GIEE によって編集する方法を提案した. 実験で は2つの既存手法に提案手法を適用し，いずれの手法についても性能を向上させることができ，関係間 の関係性を導入する有効性が確認できた。今後の課題は，本研究で提案した編集する機構がどのように 作用しているのか更なる調査を行い，単一のコーパ スのみでなく，他のコーパスでの調査を進める。ま た，本提案のように，既存の抽出手法に対して接続 するような設定において，更に効果的な方策がない か調査する。

## 参考文献

[1] Yuan Yao, Deming Ye, Peng Li, Xu Han, Yankai Lin, Zhenghao Liu, Zhiyuan Liu, Lixin Huang, Jie Zhou, and Maosong Sun. DocRED: A large-scale document-level relation extraction dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[3] Rujun Han, Xiang Ren, and Nanyun Peng. ECONET: Effective continual pretraining of language models for event temporal reasoning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5367-5380, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[4] Puneet Mathur, Rajiv Jain, Franck Dernoncourt, Vlad Morariu, Quan Hung Tran, and Dinesh Manocha. TIMERS: Document-level temporal relation extraction. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 524-533, Online, August 2021. Association for Computational Linguistics.

[5] Naushad UzZaman, Hector Llorens, Leon Derczynski, James Allen, Marc Verhagen, and James Pustejovsky. SemEval-2013 task 1: TempEval-3: Evaluating time expressions, events, and temporal relations. In Second Joint Conference on Lexical and Computational Semantics ('SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 1-9, Atlanta, Georgia, USA, June 2013. Association for Computational Linguistics.

[6] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Haoyang Wen and Heng Ji. Utilizing relative event time to enhance event-event temporal relation extraction. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10431-10437, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Qiang Sheng, Juan Cao, Xueyao Zhang, Xirong Li, and Lei Zhong. Article reranking by memory-enhanced key sentence matching for detecting previously fact-checked claims. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5468-5481, Online, August 2021. Association for Computational Linguistics.

[9] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big bird: Transformers for longer sequences. Advances in Neural Information Processing Systems, Vol. 33, , 2020.

[10] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[11] Michael Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. In Aldo Gangemi, Roberto Navigli, Maria-Esther Vidal, Pascal Hitzler, Raphaël Troncy, Laura
Hollink, Anna Tordai, and Mehwish Alam, editors, The Semantic Web, pp. 593-607, Cham, 2018. Springer International Publishing.

[12] Miguel Ballesteros, Rishita Anubhai, Shuai Wang, Nima Pourdamghani, Yogarshi Vyas, Jie Ma, Parminder Bhatia, Kathleen McKeown, and Yaser Al-Onaizan. Severing the edge between before and after: Neural architectures for temporal ordering of events. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5412-5417, Online, November 2020. Association for Computational Linguistics.

[13] Xinyu Zhao, Shih-Ting Lin, and Greg Durrett. Effective distant supervision for temporal relation extraction. In Proceedings of the Second Workshop on Domain Adaptation for NLP, pp. 195203, Kyiv, Ukraine, April 2021. Association for Computational Linguistics.

[14] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[15] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2019.

[16] Tsu-Jui Fu, Peng-Hsuan Li, and Wei-Yun Ma. GraphRel: Modeling text as relational graphs for joint entity and relation extraction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1409-1418, Florence, Italy, July 2019. Association for Computational Linguistics.

[17] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4925-4936, Hong Kong, China, November 2019. Association for Computational Linguistics.

[18] Guoshun Nan, Zhijiang Guo, Ivan Sekulic, and Wei Lu. Reasoning with latent structure refinement for document-level relation extraction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1546-1557, Online, July 2020. Association for Computational Linguistics.

[19] Kohei Makino, Makoto Miwa, and Yutaka Sasaki. A neural edgeediting approach for document-level relation graph extraction. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2653-2662, Online, August 2021. Association for Computational Linguistics.

[20] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research, Vol. 15, No. 1, pp. 1929-1958, 2014.

[21] James Bergstra, Rémi Bardenet, Yoshua Bengio, and Balázs Kégl. Algorithms for hyper-parameter optimization. In J. Shawe-Taylor, R. Zemel, P. Bartlett, F. Pereira, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 24, pp. 2546-2554. Curran Associates, Inc., 2011.

[22] Liam Li, Kevin Jamieson, Afshin Rostamizadeh, Ekaterina Gonina, Jonathan Ben-tzur, Moritz Hardt, Benjamin Recht, and Ameet Talwalkar. A system for massively parallel hyperparameter tuning. In I. Dhillon, D. Papailiopoulos, and V. Sze, editors, Proceedings of Machine Learning and Systems, Vol. 2, pp. 230-246, 2020 .

## 付録

## A チューニングの詳細

モデルの学習時には正則化のためにドロップアウ ト [20] を加える. ドロップアウトは入力 $\boldsymbol{X}$, 出力層 の前の $\boldsymbol{v}_{i j}$ に対するもの，それ以外の隠れ層全てに 対するものの 3 種類に分けて，それぞれのドロップ アウト率をハイパーパラメタとする．チューニング 時には提案したモデルに追加して，EE の代わりに 順次的な編集 [19] を反復的に行えるように， $d_{\text {max }}$ というパラメタを追加し,$d_{\text {max }}=1$ の場合には $\mathrm{EE}$ と同一, $d_{\text {max }}>2$ の場合には文内の節点ペア，隣接文の節点ペアと徐々に離れたものを順次的に編集で きるようにした.また，アンサンブルについては， どの反復を重要視して優先的に利用するか重みづけ できるパラメタとして， $\sum_{k=1}^{K} w_{k}$ の条件で $k$ 番目の 反復の重みを $w_{k}$ とした. 重みづけを利用する場合 は，例えば平均でのアンサンブルは学習可能な重み を利用した重み付き平均に変化する。

ハイパーパラメタチューニングは Optuna [15]を用 いて，枝刈りされたものも含めて 1,000 回の試行で 開発データに対する $\mathrm{F}$ 値が最大となるパラメタを探索した。パラメタのサンプリングには木構造 Parzen 推定 [21], 探索の枝刈りアルゴリズムは論文中の パラメタを $s=1, \eta=2, r=0.15$ とした Successive Halving アルゴリズム [22]を利用した. チューニ ングは複数のマシンで分散して行い，NVIDIA 社 の GTX 1080Ti，RTX 3090，Tesla V100，TITAN V の GPU が搭載されたマシンを利用した.

探索空間とチューニングによって得られたパラメ タは表 3 に示した. チューニングしたパラメタは表 の上から, Adam の学習率, 3 種類のドロップアウト 率, $\mathrm{RGCN}$ の層の数 $L, \mathrm{RGCN}$ に逆方向の辺を追加 する双方向 RGCN とするかどうか, 全体的な隠れ層 の次元数, 編集前の辺の埋め込み $u_{i j}$ の次元数, 反復回数 $I$, アンサンブルの種類, アンサンブルの重 み $w_{k}$ の有無，アンサンブルの損失の重み $\lambda, \theta$ およ び順次的な編集の順次毎の $\theta$ をすべて同じものに するかどうか，順次の最大値 $d_{\text {max }}$ の計 15 個であ る. チューニングの結果から，順次的な編集は必要 なく，すべての辺を同時に繰り返し編集する方がよ いということが確認できた.表 3 ハイパーパラメタチューニングの探索空間と結果

 & 平均値 \\

## B Ablation study

性能向上がモデルの何に起因しているのか確認 するために，表 2 に示したようなアブレーションを 行った. アブレーションは最も高い性能を示した Wen と Ji+GIEE に対して行った. また，別途入力に 完全に正解を与えた場合（Gold）についても検証し た. アブレーションにおいても 3 回実験を行った際 の平均の $\mathrm{F}$ 值で評価した.

まず反復回数 $I$ を減らした場合には，全ての場合 に対して開発・評価ともに僅かに性能が低下してい ることが確認できる。編集前の辺の埋め込み $u_{i j}$ を 消去した場合には編集前と比べても性能が大きく 低下しており，編集前の情報を損なわないために重要な役割であると確認できる. アンサンブルの損

にはどちらも評価データに対する性能が低下して おり，この損失の必要性が確認できる. RGCN の層 の数 $L$ については，グラフの構造情報が欠損する $L=0$ のケースにおいては編集前より性能が低下し ている. $L=1$ としたケースでも依然として性能が 低いままである。また， Gold の場合では完全に入力 を再現できており，入力を完全に保持することが可能であると確認できた. 以上の結果から，我々の提案に大きく寄与しているのは，編集前の入力グラフ を保持する機構とグローバルに関係間の関係性を考慮する点で，既存手法に対して関係間の関係性を導入する重要性が確認できる.
 牧野晃平 三輪誠 佐々木裕 豊田工業大学 \{sd21505, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp  