# 関係分類における依存木上の重要トークンの自動判別
## 辻村 有輝 $\dagger \cdot$ 三輪 誠 $\dagger \cdot$ 佐々木 裕 $\dagger$

本稿では関係分類における入力トークンの重要性を学習し, 不要な情報をマスクするマスク機構を提案する。入力文の依存木上における，注目エンティティ間を結ぶ最短経路上には関係分類において重要な情報がよく存在するため, 関係分類の特徴の一つとしてよく利用される。しかし, このヒューリスティックは所有格の $s$ のように, 最短経路外に重要なトークンが存在するような例外に対してはあてはまらない. そこで本研究では重要なトークンの判別規則を学習する機構を導入しそのような事例に対応する。学習はタスク損失から End-to-End に行われ，追加アノテーションは必要ない，実験の結果，提案手法は最短経路のヒューリスティックを上回る識別性能を記録した。また, 提案機構が学習するマスクは最短経路と高い類似度となる一方, 所有格の $s$ など最短経路外の重要なトークンも利用するよう学習された. キーワード：関係分類，依存木，マスク

## Automatic Detection of Important Tokens on Dependency Trees for Relation Classification

\author{
Tomoki Tsujimura ${ }^{\dagger}$, Makoto Miwa $^{\dagger}$ and Yutaka Sasaki ${ }^{\dagger}$
}

This paper proposes a masking mechanism that learns the importance of each input token and masks unnecessary tokens for relation extraction. As a feature of relation classification models, the shortest path between target entities in the dependency tree of an input sentence is often employed since it is known to well capture important information for relation classification. However, this heuristic rule is inapplicable to exceptional relation expressions such as relations that require tokens outside of the path (e.g., the possessive "s"). We handle such inflexibility by employing a novel masking mechanism that learns a masking rule of important tokens. We performed the training in an end-to-end manner by using the loss of the relation classification task without the need for additional annotations. The experimental results show that our proposed method shows better classification performance than the models with the shortest path heuristics. Furthermore, the learned masks highly correspond to the shortest paths, while capturing some important tokens outside the shortest paths such as possessive " $\mathrm{s}$ ".

Key Words: Relation Classification, Dependency Tree, Masking


## 1 はじめに

本稿ではニューラル関係分類モデルの中間表現中の不要な情報の除去に取り組む. 関係分類とは，文書内のエンティティのペア間について，その文書内の言及に基づいた関係を識別する夕スクである。本研究では特に一文中に存在するエンティティペア間の関係分類を扱う。このタスクにおいては, 文の依存構造情報の利用が有用であることが知られている (Culotta and Sorensen 2004). 特に，依存木上のエンティティペア間を繋ぐ最短経路内に存在するトークンのみを関係分類モデルの入力にするヒューリスティックを用いることで, さらなる識別性能の向上が報告されている (Bunescu and Mooney 2005). この手法は, エンティティペア間の関係についての言及は依存構造木上でそのぺア間を繋ぐ最短経路上に大抵の場合存在するという観察結果に基づいている．この手法によって，入力文が非常に長い場合や，エンティティペアの間に多くのトークンが含まれるような場合であっても，そのうち構文的にエンティティペアを直接繋げる比較的少量のトークンのみを抜き出すことができる.

最短経路のヒューリスティックは, 元々 Support Vector Machine (SVM) による特徴量ベー スの関係分類モデルにおいて提案されていたが，ニューラルネットワークによるニューラル関係分類モデルにおいても有効であることが報告されている $(\mathrm{Xu}, \mathrm{Mou}, \mathrm{Li}, \mathrm{Chen}, \mathrm{Peng}$, and Jin 2015; Xu, Jia, Mou, Li, Chen, Lu, and Jin 2016; Miwa and Bansal 2016). しかしながら, 関係についての言及は常に最短経路上にのみ存在するわけではなく，そのような例外のケースでは最短経路上の情報のみを入力とするのは不十分である。例えば図 1 の cable と insulation 間の関係分類を行うときを考えると，所有格の $s$ は最短経路上には含まれず，最短経路上のトークンのみから関係分類を行う場合, 関係の向きが不明瞭になってしまう.

Component-Whole（部品の関係）

入力文 : A portion of the Ethernet $\underset{\text { cable }}{\text { cabs }} \underbrace{\text { s }}_{\mathrm{e} 2}$ outer insulation is connector as well.

依存構造

取り出し

取り出し

図 1 最短経路やその子ノードを含む部分木を取り出すヒューリスティックの例. 注目エンティティペアを e1と e2で示した.

Zhang らは Graph Convolutional Network (GCN) で依存木を用いて計算を行う際，最短経路上のトークンのみではなく, 最短経路上のトークンから数ステップの距離にある子トークンも含めた部分木を利用することで，木全体や最短経路上のトークンのみを利用する場合よりも性能向上を達成できる手法を提案した (Zhang, Qi, and Manning 2018).この手法で距離 1 までのトークンを利用する場合，図 1 における所有格の $s$ を含めることができる。しかし, the や ethernet といった関係分類に不要なトークンも含めてしまうため, さらに良い選択規則が存在することを示唆している.

本研究では, 関係分類の識別性能の向上を目指し, ニューラルネットワークによる重要トー クンの判別を行うマスク機構と，それを用いたニューラル関係分類モデルを提案する。この提案機構では，ヒューリスティックの代わりに，学習を通じて重要トークンの判別規則を獲得する。学習は関係分類のタスク損失から End-to-Endに行われ，追加のアノテーションの必要はない. マスク機構の訓練では Gumbel トリックを用いたサンプリング (Jang, Gu, and Poole 2017) を行うことで，離散的なトークンの選択処理を自然に表現する，加えて，訓練中はマスク機構内にノイズを加えることで，マスクされるトークンの量をコントロールする。 さらに，アテンション機構を用いることでマスクされた入力を元に計算された表現を集約する。提案モデルは再帰型／木構造ニューラルネットワークによる関係分類モデルである LSTM-ER モデル (Miwa and Bansal 2016)をべースに，提案機構を導入する形で構築する，実験では提案モデルと，提案機構を導入せず代わりに依存木全体やヒューリスティックによる部分木を用いたモデルと比較することで，提案手法の有効性を確認した。

本研究の貢献は以下の三つである.

（1）最短経路のヒューリスティックを用いる代わりに，学習から重要なトークンの判別規則を学習するマスク機構を提案した。マスク機構は Gumbel トリックを用いることで訓練可能な離散的なマスクを表現し, 追加のアノテーションなしにタスク損失から End-to-End に学習が可能である.

（2）提案機構を導入した関係分類モデルにより，最短経路のヒューリスティックを上回る性能を得た. また依存木全体を用いるべースラインモデルに対し有意な性能向上を達成した.

(3) 提案機構により学習されたマスクと最短経路のヒューリスティックの類似度について調査した。学習されたマスクは最短経路と高い類似度となった一方, 異なる学習試行ごとのマスク間の類似度はさらに高く, 最短経路と一部異なる判別規則を学習していることを確認した。

## 2 関連研究

## 2.1 関係分類

関係分類とは，文書内のエンティティのぺア間について，その文書内の言及に基づいた関係を分類するタスクである。例えば, “The doctor implanted an injection into three vertical glabellar furrows."という文中の, injection と furrows というエンティティペアに注目したとき, injection を furrowsに注射したとの言及から，この二者間には一方をもう一方の位置に移したという“移動物とその移動先の関係”が成立していると分類する。候補となる関係クラスセットのうちのどれ一つも成立していない場合，負例クラスを割り当てる.

一文内に同時に出現しているエンティティペア間からの関係分類では，依存構造木の利用が有効であることが知られている (Culotta and Sorensen 2004). 特に, この設定においてエンティティペア間の関係について言及している箇所は, 依存構造木におけるエンティティペアを繋ぐ最短経路のパス上に存在することが多いという観察結果がある。この観察結果に基づき, 最短経路上に存在するトークンのみによる情報を関係分類モデルの入力とすることで関係分類に不要な情報を除去し, 識別性能の向上を達成する手法が報告されている (Bunescu and Mooney 2005). この最短経路のヒューリスティックでは, 入力文が非常に長い場合や, エンティティペアの間に多くのトークンが含まれるような場合であっても，そのうち構文的にエンティティペアを直接繋げる比較的少量のトークンのみを抜き出すことができる.

最短経路のみを利用するヒューリスティックは, もともとは特徴量べースのシステムで提案されたものであるが, 近年のニューラル関係分類モデルにおいても有効性が確認されている (Xu et al. 2015, 2016; Miwa and Bansal 2016). Xu らは依存木上の最短経路パスを最近共通祖先ノー ドで分割し，それぞれを系列 Long Short-Term Memory (LSTM) を用いてエンコードすることで構文情報を利用する SDP-LSTM モデルを提案した (Xu et al. 2015)。さらに Xu らは, LSTM の代わりに多層再帰型ニューラルネットワークを用いたDRNNs モデルを提案しており, 関係ラベルの向きを逆転させた事例の利用とあわせることでさらなる性能向上を達成している (Xu et al. 2016). これらの二つのモデルでは, 各単語の WordNet 情報 (Fellbaum 1998)の埋め込みが入力に利用されている。三輪らは系列 LSTM と木構造 LSTM をスタックすることで系列情報と依存木情報を共に利用する LSTM-ER モデルを提案した (Miwa and Bansal 2016). このモデルにおいて，依存木全体ではなく最短経路上のトークンのみからなる部分木を利用することにより性能が向上すると報告している。また, WordNet 埋め込みの利用により，さらなる性能向上が報告されている.

最短経路のヒューリスティックの有効性が報告されている一方で, not やinto, 所有格の $s$ など，一部の関係分類に有用な単語には最短経路外に存在してしまうものがある．Zhang らは最短経路外の重要なトークンを利用しつつ, 不要なトークンは最大限除去するために, 最短経路
上のトークンから特定の距離内の子トークンも利用するヒューリスティックを提案した (Zhang et al. 2018). 実験では, このヒューリスティックの距離 1 , すなわち最短経路上の各トークンとそれらの直接の子トークンを利用する設定を用いることで，GCN ベースの関係分類モデルの識別性能を, 最短経路のヒューリスティックを用いる場合よりもさらに向上できると報告されている。しかしながらこのヒューリスティックでは, 図 1 における the や ethernet など, 最短経路外に存在する不要な情報を入力に含めてしまうという問題がある。また, このヒューリスティックは最短経路上のトークンの子孫のみを追加する手法であり，エンティティペアの最近共通祖先より上の祖先などについては利用しない.

Shen らは畳み込みニューラルネットワークを用いた関係抽出モデルによって, 依存構造木を用いることなく高い識別性能を達成した (Shen and Huang 2016). このモデルはアテンション機構を利用しており，重要な情報を持つ単語への重み付けを自動で学習する。

近年，大規模コーパスによる事前学習済み言語モデルが，様々な自然言語処理タスクにおいて高い転移性能を記録している (Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018; Devlin, Chang, Lee, and Toutanova 2019). そのうちの一つである BERT モデルは, 文中のマスクされたトークンを予測する穴埋め問題と, 隣接文推定によって双方向言語モデルを学習する (Devlin et al. 2019)，事前学習済み BERT モデルを用いた関係分類モデルである $\mathrm{BERT}_{\mathrm{EM}}$ モデルは, 入力文中にエンティティの位置を示す特殊なトークンを挿入することで, 複数の関係分類タスクにおいて既存手法を上回る識別性能を達成した (Baldini Soares, FitzGerald, Ling, and Kwiatkowski 2019).

## 2.2 Gumbel トリック

Jang らは, Gumbel トリックと呼ばれる, 離散的な確率変数の勾配計算のための, 任意のカテゴリカル分布に基づいた確率分布のサンプリング手法を提案した (Jang et al. 2017). この手法によってサンプリングされる確率分布は, その分布中で最大の確率となるクラスの分布が元のカテゴリカル分布と同じになる。 また, サンプリングされる確率值は, 温度パラメータによって 0 か 1 に近付くようにコントロールでき，低い温度に設定することによって（ほとんど）離散的なサンプリングを実現できる。 さらに, このサンプリングされた分布は元のカテゴリカル分布の値について連続であるため, このサンプリング手法をニューラルネットワークモデル内に組み込むことで，カテゴリカル分布の計算に用いたパラメータを勾配法によって学習でき， ネットワーク内で離散的な挙動を行う機構を自然に表現できる.

## 3 提案手法

本稿では不要な箇所の判別法を自動で学習し遮断するマスク機構を備えたニューラル関係分類モデルを提案する。提案モデルの概観を図 2 に示す. マスク機構は注目エンティティペア間の関係分類を行うにあたり不要なトークンの表現ベクトルを 0 ベクトルにマスクし, 続く木構造 LSTM 層にはこのマスク後のベクトル列を入力として計算を行う．木構造 LSTM からの出力はアテンション機構によって集約され, その後の隠れ層へと入力される.

本章では, 初めに本研究におけるべースラインモデルの説明を行う。続いて, 提案手法となるマスク機構と, その機構内でマスク量を増進するために行うノイズの加算について説明する.次に, 木構造 LSTM 層からの出力を集約するアテンション機構の構造について述べる. 最後に,提案機構を導入した関係分類モデルの全体像について述べる.

## 3.1 ベースラインモデル

本研究ではベースラインモデルとして系列 LSTM と木構造 LSTM をスタックしたニューラル関係分類モデルを用いた。このモデルは三輪らの LSTM-ER モデル (Miwa and Bansal 2016) を基としており，単語列とそれぞれの品詞，およびその単語列のうちの注目しているエンティティペアの位置を受け取り，その注目ペア間に成立する関係について，各クラスごとの予測確率を出力する. このモデルは入力層, 系列 LSTM 層, 木構造 LSTM 層, 隠れ層, 出力層の五つの層から構成される。

入力入力層

系列
LSTM層

マスク機構

図 2 提案モデルの概観. 注目エンティティペアを $\mathrm{e} 1$ と $\mathrm{e} 2$ で示した.

## 3.1.1 入力層

入力層では入力系列の各トークンの単語の埋め込みベクトルと品詞の埋め込みベクトルを連結し，それぞれの単語べクトルとする。入力中の $i$ 番目のトークンの単語ベクトル $\boldsymbol{v}_{i}^{\text {in }}$ は, その単語を $w_{i}$, 品詞を $s_{i}$ としたとき以下から得る.

$
\boldsymbol{v}_{i}^{\text {in }}=\left[\operatorname{Lookup}\left(W^{\text {word }}, w_{i}\right) ; \operatorname{Lookup}\left(W^{\mathrm{POS}}, s_{i}\right)\right]
$

ここで $W^{\text {word }} W^{\mathrm{POS}}$ はそれぞれ単語と品詞の埋め込み行列で, 行数はそれぞれ $d^{W}$ 行と $d^{P}$行である. Lookup は行列中の対応する列べクトルを返す関数である. $[\boldsymbol{a} ; \boldsymbol{b}]$ はべクトル $\boldsymbol{a}$ と $\boldsymbol{b}$ の列方向での連結を表す。

## 3.1.2 系列 LSTM 層

系列 LSTM 層では単語ベクトルを双方向系列 LSTM に入力し, 文脈を考慮した単語ベクトルとする.この層で用いる系列 LSTM としては, peephole結合 (Gers, Schraudolph, and Schmidhuber 2002)を備えた構造のものを利用する.

入力文の系列長を $n^{s}$ としたとき, 順方向の系列 LSTM $の$ 出力 $\boldsymbol{v}_{1}^{\rightarrow}, \ldots, \boldsymbol{v}_{n^{s}}^{\rightarrow}$ は以下の式より得る.

$
\begin{aligned}
\boldsymbol{g}_{i} \rightarrow & =\tanh \left(W^{f g}\left[\boldsymbol{v}_{i}^{\text {in }} ; \boldsymbol{v}_{i-1}\right]+\boldsymbol{b}^{f g}\right) \\
\boldsymbol{i}_{i} \rightarrow & =\sigma\left(W^{f i}\left[\boldsymbol{v}_{i}^{\text {in }} ; \boldsymbol{v}_{i-1}\right]+\boldsymbol{w}^{f i} \odot \boldsymbol{c}_{i-1}+\boldsymbol{b}^{f i}\right) \\
\boldsymbol{f}_{i} \rightarrow & =\sigma\left(W^{f f}\left[\boldsymbol{v}_{i}^{\text {in }} ; \boldsymbol{v}_{i-1}\right]+\boldsymbol{w}^{f f} \odot \boldsymbol{c}_{i-1}^{\rightarrow}+\boldsymbol{b}^{f f}\right) \\
\boldsymbol{c}_{i} \rightarrow & =\boldsymbol{i}_{i} \rightarrow \odot \boldsymbol{g}_{i}^{\rightarrow}+\boldsymbol{f}_{i} \rightarrow \odot \boldsymbol{c}_{i-1} \\
\boldsymbol{o}_{i} & =\sigma\left(W^{f o}\left[\boldsymbol{v}_{i}^{\text {in }} ; \boldsymbol{v}_{i-1}\right]+\boldsymbol{w}^{f o} \odot \boldsymbol{c}_{i}+\boldsymbol{b}^{f o}\right) \\
\boldsymbol{v}_{i} \rightarrow & =\boldsymbol{o}_{i} \rightarrow \tanh \left(\boldsymbol{c}_{i}\right)
\end{aligned}
$

出力 $\boldsymbol{v}_{i} \rightarrow$ の次元数を $d^{\mathrm{cseq}}$ とする。 $W^{f g}, W^{f i}, W^{f f}, W^{f o}$ はそれぞれ $d^{\mathrm{cseq}} \times\left(d^{W}+d^{P}+d^{\mathrm{cseq}}\right)$ 次元の重み行列で, $\boldsymbol{w}^{f i}, \boldsymbol{w}^{f f}, \boldsymbol{w}^{f o}$ は $d^{\mathrm{cseq}}$ 次元の重みベクトル, $\boldsymbol{b}^{f g}, \boldsymbol{b}^{f i}, \boldsymbol{b}^{f f}, \boldsymbol{b}^{f o}$ は $d^{\mathrm{cseq}}$ 次元のバイアスである．。はアダマール積で， $\sigma$ はシグモイド関数である。初期状態 $\boldsymbol{c}_{0}^{\rightarrow}, \boldsymbol{v}_{0}^{\rightarrow}$ にはゼロベクトルを用いる。逆方向の系列 LSTM の出力 $\boldsymbol{v}_{1}^{\leftarrow}, \ldots, \boldsymbol{v}_{n^{s}}^{\leftarrow}$ は入力文の末尾から逆順で処理することにより得る. 重みとバイアスは各方向ごとに別個に用意する.

この双方向系列 LSTM の出力に, 入力文の依存木における親トークンへの係り受け $t_{i}$ の埋め达みベクトルと, 注目エンティティペアそれぞれからの相対距離の埋め込みべクトルを連結し, これを系列 LSTM 層の出力 $\boldsymbol{v}_{1}^{\mathrm{seq}}, \ldots, \boldsymbol{v}_{n^{s}}^{\mathrm{seq}}$ とする.

$
\begin{aligned}
\boldsymbol{v}_{i}^{\text {dep }} & =\operatorname{Lookup}\left(W^{\text {dep }}, t_{i}\right) \\
\boldsymbol{v}_{j}^{\text {rpos }} & =\operatorname{Lookup}\left(W^{\text {rpos }}, \operatorname{Clip}(j,-P, P)\right)
\end{aligned}
$

$
\boldsymbol{v}_{i}^{\mathrm{seq}}=\left[\boldsymbol{v}_{i}^{\rightarrow} ; \boldsymbol{v}_{i}^{\leftarrow} ; \boldsymbol{v}_{i}^{\mathrm{dep}} ; \boldsymbol{v}_{i-\mathrm{e} 1}^{\mathrm{rpos}} ; \boldsymbol{v}_{i-\mathrm{e} 2}^{\mathrm{rpos}}\right],
$

相対距離の埋め込み行列であり，各列べクトル $\boldsymbol{v}_{j}^{\mathrm{rpos}}$ の次元数は $d^{R}$ である. $\mathrm{e} 1$ と $\mathrm{e} 2$ は注目工ンティティペアのそれぞれのインデックスを表す. $\operatorname{Clip}(a, b, c)$ は值 $a$ を最小 $b$, 最大 $c$ の範囲に収まるようにクリッピングする関数であり，P は相対距離のウィンドウサイズを表すハイパー パラメータである.

## 3.1.3 木構造 LSTM 層

木構造 LSTM 層では，系列 LSTM 層の出力を入力として，入力文の依存木に基いて木構造 LSTM の計算を行う．この層では上向きと下向きの各方向について依存木を走査する, 双方向木構造 LSTM を用いる，木構造 LSTM の実装には，メモリの追加分 $\boldsymbol{g}_{i}^{\uparrow}$ や入力, 出力ゲート $\boldsymbol{i}_{i}^{\uparrow}, \boldsymbol{o}_{i}^{\uparrow}$ を前状態群の単純な合計から計算する Child-Sum 木構造 LSTM (Tai, Socher, and Manning 2015) を用いる。上向き木構造 LSTM の計算は以下となる.

$
\begin{aligned}
\boldsymbol{g}_{i}^{\uparrow} & =\tanh \left(W^{u g x} \boldsymbol{v}_{i}^{\text {seq }}+\sum_{j \in \operatorname{Child}(i)} W^{u g h} \boldsymbol{v}_{j}^{\uparrow}+\boldsymbol{b}^{u g}\right) \\
\boldsymbol{i}_{i}^{\uparrow} & =\sigma\left(W^{u i x} \boldsymbol{v}_{i}^{\text {seq }}+\sum_{j \in \operatorname{Child}(i)} W^{u i h} \boldsymbol{v}_{j}^{\uparrow}+\boldsymbol{b}^{u i}\right) \\
\boldsymbol{f}_{i j}^{\uparrow} & =\sigma\left(W^{u f x} \boldsymbol{v}_{i}^{\text {seq }}+W^{u f h} \boldsymbol{v}_{j}^{\uparrow}+\boldsymbol{b}^{u f}\right) \quad \text { for } j \in \operatorname{Child}(i) \\
\boldsymbol{c}_{i}^{\uparrow} & =\boldsymbol{i}_{i}^{\uparrow} \odot \boldsymbol{g}_{i}^{\uparrow}+\sum_{j \in \operatorname{Child}(i)} \boldsymbol{f}_{i j}^{\uparrow} \odot \boldsymbol{c}_{j}^{\uparrow} \\
\boldsymbol{o}_{i}^{\uparrow} & =\sigma\left(W^{u o x} \boldsymbol{v}_{i}^{\text {seq }}+\sum_{j \in \operatorname{Child}(i)} W^{u o h} \boldsymbol{v}_{j}^{\uparrow}+\boldsymbol{b}^{u o}\right) \\
\boldsymbol{v}_{i}^{\uparrow} & =\boldsymbol{o}_{i}^{\uparrow} \odot \tanh \left(\boldsymbol{c}_{i}^{\uparrow}\right),
\end{aligned}
$

出力 $\boldsymbol{v}_{i}^{\uparrow}$ の次元数を $d^{\mathrm{ctree}}$ とする. $W^{u g x}, W^{u i x}, W^{u f x}, W^{u o x}$ はそれぞれ $d^{\mathrm{ctree}} \times\left(2 d^{\mathrm{cseq}}+d^{D}+2 d^{R}\right)$次元の重み行列で, $W^{u g h}, W^{u i h}, W^{u f h}, W^{u o h}$ はそれぞれ $d^{\mathrm{ctree}} \times d^{\mathrm{ctree}}$ 次元の重み行列である. $\boldsymbol{b}^{u g}, \boldsymbol{b}^{u i}, \boldsymbol{b}^{u f}, \boldsymbol{b}^{u o}$ は $d^{\mathrm{ctree}}$ 次元のバイアスである. Child $(a)$ はノード $a$ の子ノードの集合を表す関数である. 下向き木構造 LSTM の出力 $v_{1}^{\downarrow}, \ldots, v_{n^{s}}^{\downarrow}$ は別個に重みとバイアスを用意し, 子ノードの代わりに親ノードを前の状態に用いることで計算する。親ノードは常に高々一つしか存在しないので，下向き木構造 LSTM は peepholeのない系列 LSTM とほとんど同様の計算式になる.

木構造 LSTM 層の出力 $\boldsymbol{v}^{\text {tree }}$ は, 上向き木構造 LSTM における, 依存木上で根ノードにあたるトークンの出力ベクトルと, 下向き木構造 LSTM における注目エンティティペアの各出力ベクトルを連結したべクトルであり，これを続く隠れ層へ入力する。

$
\boldsymbol{v}^{\text {tree }}=\left[\boldsymbol{v}_{\text {root }}^{\uparrow} ; \boldsymbol{v}_{\mathrm{e} 1}^{\downarrow} ; \boldsymbol{v}_{\mathrm{e} 2}^{\downarrow}\right]
$

rootは根ノードのトークンのインデックスを表す.

## 3.1.4 隠れ層 - 出力層

隠れ層は全結合層と $\tanh$ 関数による活性化で構成される。この層では木構造 LSTM 層の出力を入力として隠れべクトル $h$ を得る.

$
\boldsymbol{h}=\tanh \left(W^{h} \boldsymbol{v}^{\text {tree }}+\boldsymbol{b}^{h}\right)
$

ここで $W^{h}$ と $\boldsymbol{b}^{h}$ はそれぞれ重み行列とバイアスである. この隠れベクトルは出力層に入力され，ソフトマックス関数を適用することにより最終的な関係クラス $c$ ごとの予測確率 $p_{c}$ を得る.

$
p_{c}=\frac{\exp \left(\boldsymbol{w}_{c}^{o \top} \boldsymbol{h}+b_{c}^{o}\right)}{\sum_{i} \exp \left(\boldsymbol{w}_{i}^{o \top} \boldsymbol{h}+b_{i}^{o}\right)},
$

ここで $\boldsymbol{w}_{c}^{o}$ と $b_{c}^{o}$ はそれぞれ関係クラス $c$ ごとの重みベクトルとバイアスである.

## 3.1.5 LSTM-ER モデルとの相違点

ベースラインモデルは LSTM-ER モデルとほとんど同じ構造であるが, 主に以下の三つの点で異なる。一つ目の相違点は木構造 LSTM の計算である. LSTM-ER モデルでは最短経路かそうでないかによって利用する行列を変え，また各子ノードに対する忘却ゲートの計算に他の兄弟ノードを利用する，SPTree と呼ばれる木構造 LSTM (Miwa and Bansal 2016) を用いるが，本研究のベースラインモデルには Child-Sum 木構造 LSTM (Tai et al. 2015) を用いる. これは,我々の目的が最短経路のヒューリスティックの利用からの脱却を目指しているからである。また, Child-Sum 木構造 LSTM はその計算式の単純さから並列化が容易であるというメリットもある.二つ目に，ベースラインモデルでは全層でドロップアウト (Srivastava, Hinton, Krizhevsky, Sutskever, and Salakhutdinov 2014) を利用するようにする. ドロップアウト率は開発データでチューニングを行い決定する。三つ目の違いとして，LSTM-ER モデルでは木構造 LSTM 層をスキップして系列 LSTM の出力を直接隠れ層へ入力する，Pair と呼ばれるコネクションが存在するが, 本研究ではこれを取り外したモデルを主に用いる. これは, 我々の提案手法が木構造 LSTM 層の計算に影響を及ぼす手法であり，提案手法の影響がより直接出力に現れるようにするためである. Pairコネクションを利用する場合の隠れ層は, 元々の入力 $\boldsymbol{v}^{\text {tree }}$ に加えて, エンティティペアに対応する双方向系列 LSTM の出力を結合したべクトル $\boldsymbol{v}^{\text {pair }}$ を力とする.

$
\boldsymbol{v}^{\text {pair }}=\left[\boldsymbol{v}^{\text {tree }} ; \boldsymbol{v}_{\mathrm{e} 1}^{\rightarrow} ; \boldsymbol{v}_{\mathrm{e} 1}^{\leftarrow} ; \boldsymbol{v}_{\mathrm{e} 2}^{\rightarrow} ; \boldsymbol{v}_{\mathrm{e} 2}^{\leftarrow}\right]
$

## 3.2 マスク機構

関係分類にあたり不要な情報を取り除くマスク機構を提案する。この機構は, ニューラル関係分類モデルの中間層として働き，注目しているエンティティペアの関係について無関係なトー クンを判別し，対応する中間表現を 0 ベクトルにすることで情報を取り除く.

## 3.2.1確信度スコアとマスクの計算

初めに, この機構は各トークンが注目エンティティペアの関係についての言及であるかどうかの確信度スコアを計算する。この確信度は高ければ高いほど関係についての言及であると判断したことを表す。 $i$ 番目のトークンの確信度スコア $c_{i}$ を以下の式で計算する.

$
\begin{aligned}
\boldsymbol{v}^{m q} & =\frac{\boldsymbol{v}_{\mathrm{e} 1}^{\mathrm{seq}}+\boldsymbol{v}_{\mathrm{e} 2}^{\mathrm{seq}}}{2} \\
\boldsymbol{h}^{m q} & =\operatorname{Normalize}\left(W^{m q} \boldsymbol{v}^{m q}\right) \\
\boldsymbol{h}^{m k} & =\operatorname{Normalize}\left(W^{m k} \boldsymbol{v}_{i}^{\mathrm{seq}}\right) \\
c_{i} & =\sigma\left(\frac{\boldsymbol{h}^{m q}{ }^{\top} \boldsymbol{h}^{m k}}{\sqrt{d^{m}}}\right),
\end{aligned}
$

ここで $\boldsymbol{v}_{i}^{\mathrm{seq}}$ は式 (3) の系列 LSTM 層からの $i$ 番目のトークンの出力である. $W^{m q}$ と $W^{m k}$ は $d^{m} \times\left(2 d^{\mathrm{cseq}}+d^{D}+2 d^{R}\right)$ 次元の重み行列で, $d^{m}$ はマスク機構の隠れベクトルの次元数である. Normalize は与えられたべクトルが平均 0 , 分散 1 になるように正規化する関数である.

$
\begin{aligned}
\operatorname{mean}(\boldsymbol{v}) & =\frac{1}{\operatorname{dim}(\boldsymbol{v})} \sum_{i} v_{i} \\
\operatorname{stddev}(\boldsymbol{v}) & =\sqrt{\frac{1}{\operatorname{dim}(\boldsymbol{v})} \sum_{i}\left(v_{i}-\operatorname{mean}(\boldsymbol{v})\right)^{2}} \\
\operatorname{Normalize}(\boldsymbol{v}) & =\frac{\boldsymbol{v}-\operatorname{mean}(\boldsymbol{v})}{\operatorname{stddev}(\boldsymbol{v})}
\end{aligned}
$

$\operatorname{dim}(\boldsymbol{v})$ はべクトル $\boldsymbol{v}$ の次元数である. この確信度スコア $c_{i}$ の, 各トークンの表現ベクトルを用いた内積を, その次元数の正の平方根で除する計算は, Vaswawni らによるアテンション機構 (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, and Polosukhin 2017)の計算式を参考にしている。式 (9) 中の $\boldsymbol{v}^{m q}$ は, エンティティペアの関係を言及するような重要なトークンを判定するためのクエリの役割を果たす。エンティティペアの関係を言及するトークンは， ぺアの順序に依存しないと考えられるので， $\boldsymbol{v}^{m q}$ はぺアの順序に依存しにくくなるようぺアに対応する系列 LSTM 層の出力 $\boldsymbol{v}_{\mathrm{e} 1}^{\mathrm{seq}}, \boldsymbol{v}_{\mathrm{e} 2}^{\mathrm{seq}}$ の平均の形で計算することとした。たたし式 (3) の通り,各 $\boldsymbol{v}_{i}^{\mathrm{seq}}$ 自体に両エンティティからの相対距離の埋め込みべクトルが順序依存で連結されているため, エンティティぺアの順序の入れ替えについて完全なロバストではない.
訓練時は得られた $c_{i}$ に基づき, Gumbelトリック (Jang et al. 2017)を用いてほとんど 0 か 1 に近い值になるマスク $m_{i}$ をサンプリングする.

$
\begin{aligned}
u_{c_{i}}^{(0)}, u_{c_{i}}^{(1)} & \sim \operatorname{Uniform}(0,1) \\
x_{c_{i}}^{(1)} & =c_{i} \\
x_{c_{i}}^{(0)} & =1-c_{i} \\
l_{c_{i}}^{(k)} & =\frac{\log \left(x_{c_{i}}^{(k)}\right)-\log \left(-\log \left(u_{c_{i}}^{(k)}\right)\right)}{\tau} \quad \text { for } \mathrm{k} \in\{0,1\} \\
m_{i} & =\frac{\exp \left(l_{c_{i}}^{(1)}\right)}{\exp \left(l_{c_{i}}^{(0)}\right)+\exp \left(l_{c_{i}}^{(1)}\right)},
\end{aligned}
$

ここで $\tau$ は温度パラメータであり，学習せず訓練の進行に合わせて少しずつ小さくする。これによって得られるマスク $m_{i}$ は, 確信度スコア $c_{i}$ が高いほど 1 に近い值を, 確信度が低いほど 0 に近い値をとる頻度が高くなる。また， $c_{i}$ について連続であるため， $c_{i}$ の計算に用いられた重みを勾配法によって学習すること可能である。このマスクを系列 LSTM の出力に乗じることによってモデルが不要と判断した情報を取り除いたべクトル列を獲得し，それを木構造 LSTM への入力とする.

## 3.2.2 ノイズによるマスク量の増進

系列 LSTM 層の出力へのマスクの乗算により, 不要なトークンに対する確信度が低い値になるように学習されれば，不要な情報の削減は実現される，しかしながら実際にこのまま適用すると，学習される確信度の值はほとんど 1 となり，ほとんどマスクされずに木構造 LSTMへ入力されてしまう，そこで，モデルの訓練時, 入力にマスク量に応じたノイズを加えることによってマスクされるトークン数を増進し, この問題を解決する。

初めに, 文中の各トークンに対する確信度の平均値としてその文のトークンの生存率 $r$ を計算する。

$
r=\frac{\sum_{i=1}^{n^{s}} c_{i}}{n^{s}}
$

次に, 系列 LSTM からの出力と同じ次元の正規分布 $\mathcal{N}(\mathbf{0}, \boldsymbol{I})$ からサンプリングしたべクトル $\boldsymbol{p}_{i}$ に, この生存率 $r$ とノイズの係数パラメータ $\alpha$ を乗じることでノイズを計算する. これは, 各次元の分布が平均 0 , 分散 $\alpha^{2} r^{2}$ であるようなノイズをサンプリングしていると捉えることもできる。そしてこのノイズを系列 LSTM の出力に加えた後にマスクを行うことで最終的なマスク後の出力を得る. 訓練時のマスク機構からの $i$ 番目のトークンの出力 $\boldsymbol{v}_{i}^{m}$ は以下となる.

$
\boldsymbol{v}_{i}^{m}=m_{i}\left(\boldsymbol{v}_{i}^{\mathrm{seq}}+\alpha r \boldsymbol{p}_{i}\right)
$
係数パラメータ $\alpha$ は開発データにおける識別性能からチューニングして決定する．学習ではノイズによる損失の増加を抑えるためにノイズの係数となる生存率を下げるようにパラメータが動き，それによってマスクされるトークン数が増えることを期待する.

このノイズを加えるという処理は次のような考えに基づいいる。 入力文内には注目エンティティペア間の関係について無関係な言及も含まれるが，その無関係な情報の利用は関係分類モデルにとってノイズになる。これを，マスク機構においてマスクされなかったトークンが多いほど大きくなるノイズを加えることで表現し，ノイズを減らすためにマスクされるトークンを増やすという方向に学習が進むことを期待する.

## 3.2.3 テスト時のマスクの適用

テスト時はノイズを加えず，マスク $m_{i}$ についてもサンプリングを行わず閾値 0.5 を超えたかどうかにより決定的に計算する。したがってテスト時のマスク機構からの出力 $\boldsymbol{v}_{i}^{m}$ は以下となる。

$
\begin{aligned}
& m_{i}= \begin{cases}1, & \text { if } c_{i} \geq 0.5 \\
0, & \text { otherwise }\end{cases} \\
& \boldsymbol{v}_{i}^{m}=m_{i} \boldsymbol{v}_{i}^{\text {seq }},
\end{aligned}
$

## 3.3 アテンション機構

ベースラインモデルでは, 上向き木構造 LSTM の出力ベクトル列のうち, 木構造の根トークンのベクトルを隠れ層への入力に使用する。しかしながら， マスク機構を用いた場合は根や最近共通祖先のトークンを含めどのトークンがマスクされるか事前にはわからず，あらかじめ上向き木構造 LSTM の出力のうち利用するトークンを定めることが難しい. そこで，あらかじめ特定のトークンを選ぶ代わりに，アテンション機構を用いて上向き木構造 LSTM の出力べクトル列を集約し, これを木構造 LSTM 層の出力の一部として用いる。この機構は, Vaswawni らによるアテンション機構 (Vaswani et al. 2017) を参考に, 各トークンの表現ベクトルの内積をその次元数の正の平方根で除してアテンションのスコアを計算し, これを異なるパラメータで複数用意して並列させる構造になっている.

初めに，集約対象を指示するクエリベクトル $\boldsymbol{v}^{a q}$ を, 3.1.3 節のエンティティペアの双方向木構造 LSTM の出力の合計と差の連結として構成する. 差については 1 次元目の値が常に非負の值となるように, 必要に応じて全体の符号を反転させる.

$
\begin{aligned}
\boldsymbol{v}_{i}^{\uparrow \downarrow} & =\left[\boldsymbol{v}_{i}^{\uparrow} ; \boldsymbol{v}_{i}^{\downarrow}\right] \\
\boldsymbol{q}^{s} & =\frac{\boldsymbol{v}_{\mathrm{e} 1}^{\uparrow \downarrow}+\boldsymbol{v}_{\mathrm{e} 2}^{\uparrow \downarrow}}{\sqrt{2}}
\end{aligned}
$

$
\begin{aligned}
\boldsymbol{q}^{d} & =\boldsymbol{v}_{\mathrm{e} 1}^{\uparrow \downarrow}-\boldsymbol{v}_{\mathrm{e} 2}^{\uparrow \downarrow} \\
\boldsymbol{v}^{a q} & =\left[\boldsymbol{q}^{s} ; \operatorname{sign}\left(q_{1}^{d}\right) \boldsymbol{q}^{d}\right],
\end{aligned}
$

ここで $\operatorname{sign}(\cdot)$ は符号関数で，次の式により計算する.

$
\operatorname{sign}(x)= \begin{cases}1, & x \geq 0 \\ -1, & \text { otherwise }\end{cases}
$

差のベクトルの符号を反転させる処理は，差のべクトルがエンティティの順序に依存しないようにする目的で行った。これは，各値の絶対値を取ったべクトル $\operatorname{abs}\left(\boldsymbol{q}^{d}\right)$ を利用する場合と似ているが，2 次元目以降の値に負の値が出現しうる点で異なる.

続いて, 各トークンのキーベクトル $\boldsymbol{v}_{1}^{a k}, \ldots, \boldsymbol{v}_{n^{s}}^{a k}$ を, それぞれのエンティティペアからの相対距離の埋め込みべクトルの合計及び差と, 対応する双方向木構造 LSTM の出力から計算する.

$
\begin{aligned}
\boldsymbol{k}_{i}^{s} & =\frac{\boldsymbol{v}_{i-\mathrm{e} 1}^{\mathrm{rpos}}+\boldsymbol{v}_{i-\mathrm{e} 2}^{\mathrm{rpos}}}{\sqrt{2}} \\
\boldsymbol{k}_{i}^{d} & =\boldsymbol{v}_{i-\mathrm{e} 1}^{\mathrm{rpos}}-\boldsymbol{v}_{i-\mathrm{e} 2}^{\mathrm{rpos}} \\
\boldsymbol{v}_{i}^{a k} & =\left[\boldsymbol{v}_{i}^{\uparrow \downarrow} ; \boldsymbol{k}_{i}^{s} ; \operatorname{sign}\left(k_{i 1}^{d}\right) \boldsymbol{k}_{i}^{d}\right]
\end{aligned}
$

ここで $\boldsymbol{v}_{j}^{\mathrm{rpos}}$ は式 (3) 中と同一の相対距離の埋め込みベクトルである.

そして，得られたクエリ，キーベクトルを用いてアテンションのスコアを計算し，上向き木構造 LSTM の出力を集約する。この時計算に用いる重み行列を複数セット用意することで，アテンションを並列させる。 それぞれの独立なアテンション機構をへッドと呼ぶ. 並列数を $H$ とする． $i$ 番目のトークンに対する $j$ 番目のヘッドにおけるアテンションのスコア $a_{j i}$ と, 集約されたべクトル $\boldsymbol{v}_{j}^{a}$ は以下の式より計算する.

$
\begin{aligned}
\boldsymbol{h}_{j}^{a q} & =\operatorname{Normalize}\left(W_{j}^{a q} \boldsymbol{v}^{a q}\right) \\
\boldsymbol{h}_{j i}^{a k} & =\operatorname{Normalize}\left(W_{j}^{a k} \boldsymbol{v}_{i}^{a k}\right) \\
h_{j i}^{a} & =\frac{\boldsymbol{h}_{j}^{a q \top} \boldsymbol{h}_{j i}^{a k}}{\sqrt{d^{a}}} \\
a_{j i} & =\frac{\exp \left(h_{j i}^{a}\right)}{\sum_{i} \exp \left(h_{j i}^{a}\right)} \\
\boldsymbol{v}_{j}^{a} & =\sum_{i} a_{j i} W_{j}^{a v} \boldsymbol{v}_{i}^{\uparrow}
\end{aligned}
$

ここで $W_{j}^{a q}, W_{j}^{a k}, W_{j}^{a v}(j \in[1, H])$ はそれぞれ $d^{a} \times 4 d^{\text {ctree }}$ 次元と $d^{a} \times 2\left(d^{\text {ctree }}+d^{R}\right)$ 次元, $\frac{d^{\mathrm{ctree}}}{H} \times d^{\mathrm{ctree}}$ 次元の重み行列で, $d^{a}$ はアテンション機構の隠れベクトルの次元数である.

アテンション機構の出力 $\boldsymbol{v}^{a}$ は, 各ヘッドの出力を並列させることで得る.

$
\boldsymbol{v}^{a}=\left[\boldsymbol{v}_{1}^{a} ; \ldots ; \boldsymbol{v}_{H}^{a}\right]
$

## 3.4 提案機構を導入した関係分類モデルの全体像

マスク機構とアテンション機構を導入した関係分類モデルは, 図 2 のように, 入力層, 系列 LSTM 層, マスク機構, 木構造 LSTM 層, アテンション機構, 隠れ層, 出力層の七つの構造によって構成される. 入力層, 系列 LSTM 層の計算については, ベースラインモデルと同様である.

マスク機構を導入したモデルは, 木構造 LSTM 層の入力に, 系列 LSTM 層の出力 $\boldsymbol{v}_{1}^{\mathrm{seq}}, \ldots, \boldsymbol{v}_{n^{s}}^{\mathrm{seq}}$ の代わりに，マスク機構によってマスクされた出力 $\boldsymbol{v}_{1}^{m}, \ldots, \boldsymbol{v}_{n^{s}}^{m}$ を用いる. 訓練時は式 (13)を, テスト時は式 (14) を用いる。木構造 LSTM 層ではマスクの値に関わらず常に依存木全体に対して計算を行う。したがって，マスクの値が 0 となったトークンの木構造 LSTM のセルには 0 べクトルが入力される.

アテンション機構を導入したモデルにおける隠れ層への入力は, 式 (5) の上向き木構造 LSTM における根トークンの出力ベクトルを, 式 (19)により計算されたアテンション機構の出力 $\boldsymbol{v}^{a}$ で置き換えたべクトル $\boldsymbol{v}^{\text {att }}$ である.

$
\boldsymbol{v}^{\text {att }}=\left[\boldsymbol{v}^{a} ; \boldsymbol{v}_{\mathrm{e} 1}^{\downarrow} ; \boldsymbol{v}_{\mathrm{e} 2}^{\downarrow}\right]
$

マスク機構のみを導入し, アテンション機構を導入しない場合の隠れ層への入力は, 依存木全

隠れ層と出力層については, ベースラインモデルと同様の計算を行う.

## 4 実験・考察

本章ではベースラインモデルと提案モデルにおける実験と，その結果に対する考察を述べる.実験ではベースラインモデルと，マスク機構およびアテンション機構を導入したモデルについてそれぞれ学習を行い，その識別性能を評価した。また，マスク機構における異なるノイズ強度ごとの生存率の変化を比較し, 学習されるマスクと最短経路のヒューリスティックの類似度と, 生存するトークンの傾向について調査し, 考察を行った.

本章では初めに実験設定について説明する。次に，各モデルにおける識別性能について述べる. 続いて，マスク機構におけるノイズの影響について述べる。最後にマスクされるトークンの傾向について述べる.

特に断りのない限り，実験結果と考察は Pair コネクションを取り除いたモデルに対するものである.

## 4.1 実験設定

ベースラインモデルと, それにマスク機構およびアテンション機構を導入したモデルについてそれぞれ学習と評価を行った。 ベースラインモデルでは, 木構造 LSTM 層で用いる木構造として依存木全体, 最短経路の部分木, および Zhang らによる最短経路から距離 1 のノードも利用する部分木 (Zhang et al. 2018)の三種類についてそれぞれ実験を行った．また，Pairコネクションを付け加えたモデルについても学習と評価を行った。

使用するデータセットとしては，一文内のエンティティペア間の関係分類において代表的なデータセットの一つである SemEval-2010 Task 8 データセット (Hendrickx, Kim, Kozareva, Nakov, Ó Séaghdha, Padó, Pennacchiotti, Romano, and Szpakowicz 2010)を用いた. このデー タセットは 8,000 件の訓練事例と 2,717 件のテスト事例から構成されている. システムには入力文とその文内の二つのエンティティの位置が与えられ，あらかじめ定義された九種類の正例関係クラスおよび負例クラスの中から，そのエンティティペア間に成立している関係を予測する.正例クラスについてはその関係の向きについても予測する必要がある。本研究では分類モデルの出力クラスとして各正例ごとに順方向と逆方向の二種類をそれぞれ用意し, 計 19 クラスの分類モデルとした．このデータセットには同じ文が繰り返し出現することがなく，各文ごとにエンティティ二つの位置と，そのペア間の関係クラスのアノテーションが付与されている。公式の評価指標は Macro-F 値である.

SemEval-2010 Task 8 データセットには公式の開発事例群が存在しないため, 訓練事例のうち全体の $10 \%$ 開発事例として分割し, ハイパーパラメータチューニングに用いた. また, Stanford parser (Chen and Manning 2014) を用いて各事例のそれぞれの単語の品詞夕グと依存木 1 を得た。テスト事例の性能評価は，チューニングしたハイパーパラメータを用いて，開発事例を含めた訓練事例全体で再度学習したモデルで行った，識別性能の比較は Macro-F 值で行い，各モデルについて 5 回ずつ訓練と評価を行ってその平均と標準偏差について評価した．実装には Tensorflow 2 を利用した．Pairコネクションを取り除いたモデルのハイパーパラメータのチュー ニングには RoBO(Klein, Falkner, Mansur, and Hutter 2017)を用いた．RoBOによりチューニングしたハイパーパラメータは, 各層のドロップアウト率, 学習率, ノイズの係数パラメータである．Pairコネクションを取り除いたモデルで用いた各ハイパーパラメータの値を表 1 に示す. Pairコネクションを付け加えたモデルについては，実験時間の短縮のため，Pairコネクションを取り除いたモデルでチューニングしたハイパーパラメータを元に，各層のドロップアウト率を 0 から 0.7 の範囲で 1 パラメータずつ 0.1 刻みで再度チューニングし, 開発事例における識別性能が最も高くなった值を採用した。元のドロップアウト率を利用する場合のほうが性能が高

表 1 Pair コネクションを取り除いたモデルで用いたハイパーパラメータの値

表 2 Pairコネクションを付け加えたモデルで用いたドロップアウト率のうち, Pair コネクションを取り除いたモデルと異なる値を採用した箇所とその値

くなる場合は，そのままの値を用いた．Pairコネクションを付け加えた場合と取り除いた場合で異なるドロップアウト率とした箇所とその値を表 2 に示す.

## 4.2 関係の識別性能

各モデルの Macro-F 值の平均と標準偏差を表 3 に示す。表の通り，Pair コネクションを使わない場合, 提案手法を導入したモデルは, マスク機構・アテンション機構共に単独でベースラインモデルの識別性能を上回り，両者を併せて導入した場合，さらに識別性能は向上する結果となった。マスク機構については，ノイズの係数パラメータ $\alpha$ を 0 にしたノイズを全く利用しないモデルよりも,ノイズを利用するモデルのほうが識別性能が高い結果となった. また, マスク機
表 3 SemEval-2010 Task 8 における各モデルの Macro-F 値の平均と標準偏差

 & 85.4 & 85.5 \\

LSTM-ER モデルと DRNNs モデル，および $\mathrm{BERT}_{\mathrm{EM}}$ モデルのスコアについては論文中から引用した. また, $\mathrm{BERT}_{\mathrm{EM}}$ モデルのみ開発事例の事例数が異なる.

構とアテンション機構を併せて導入したモデルとベースラインモデルにおける, 開発データで中央値を記録したそれぞれのモデル間で Approximate Randomization Test (Noreen 1989)による有意差検定を実施したところ, 有意水準 $p<0.05$ での有意な性能向上を確認した $(p=0.0197)$. また，提案モデルにおいて最短経路や Zhang らによる部分木のヒューリスティックを利用した場合の性能も上回る結果となった, ただし, 本研究で実験したモデル中でテスト事例における最高の Macro-F 値を記録したモデルは, 最短経路のヒューリスティックと Pairコネクションを同時に使うモデルであった. このモデルにおける開発事例での Macro-F 值は, 三輪らが木構造 LSTM に Child-Sum 木構造 LSTM を用いた LSTM-ER モデルにおける Macro-F 值として報告した値よりもわずかに小さいものの，その差は標準偏差以下の値であり，ほぼ同等の識別性能であると考えられる。

各モデルにおける Pairコネクションの有無による識別性能の比較を表 4 に示す. 表の通り, ベースラインモデルや最短経路のヒユーリスティックを用いた場合は, 開発事例, テスト事例ともに識別性能が向上した。一方で，提案手法を用いたモデルは，Pair コネクションを使用することで，開発事例における Macro-F 值がどのモデルも悪化しており，特にマスク機構とアテ

ンション機構を同時に用いた場合で顕著である。この結果となった理由の一つとして，提案手法と Pairコネクションを同時に利用することで，モデルの表現力が過剩に大きくなり，汎化性能が低くなった可能性が予想される.

表 3 の通り, 本研究で用いたモデルの識別性能は, SPTree や WordNet 埋め込みを用いた LSTM-ER モデルや, 同じくWordNet 埋め込みを用いる DRNNs モデルと比較すると低い. さらに, 事前学習済み BERT モデルを用いた, 依存構造を用いない関係分類モデルである $\mathrm{BERT}_{\mathrm{EM}}$ モデルはテスト事例でより高い Macro-F 值を記録している ${ }^{3}$ 。今後の課題として，事前学習済み BERTのようなより性能の高いモデルを用いた場合における，依存構造や最短経路のヒュー リスティック，および提案手法の有効性を検証することが挙げられる。

## 4.3 マスク機構におけるノイズの影響

異なるノイズの係数パラメータ $\alpha$ ごとの生存率 $r$ の平均値の学習曲線を図 3 に示す. 図の通

表 4 Pair コネクションの有無による Macro-F 値の平均と標準偏差の比較

マスク機構の $\alpha$ の値は 0.7447 である. LSTM-ER モデルについては論文 (Miwa and Bansal 2016) 中から引用した。

図 3 ノイズの係数パラメータ $\alpha$ ごとの生存率の平均値の学習曲線.
_{\mathrm{EM}}$ モデルのみ開発事例の割合が異なり, 訓練事例から 1,500 件を取り出して開発事例としている.
}

り， $\alpha$ が小さい場合や， $\alpha=0$ のとき，すなわちノイズを全く利用しないような場合では，最終的な生存率はほぼ 1 となり，ほとんどのトークンがマスクされずそのまま利用される結果となった. そして， $\alpha$ を大きくするに従い，最終的な生存率の平均值が小さくなり，このパラメー タの調整によって利用するトークンの割合をコントロールすることが出来た.

$\alpha$ が小さいときの生存率が最終的にほぼ 1 になるのは, ニューラルネットワークの表現力が高いために，ほとんどどのような入力でも損失を下げる方向に利用することができ，ほとんどのトークンを利用するように学習が進んたことが一つの理由として考えられる。また，この場合でも，学習初期ではある程度生存率を下げる方向に学習が進み，その後逆に生存率が高くなっている。これは，学習初期は系列 LSTM 層からの出力ベクトルの学習がまだ十分に進んでおらず，一部は利用しない方が損失を下げられるために一時的に生存率が下がり，その後学習が進むにつれ損失を下げるようなパラメータにできて, 一転して生存率を上げるように学習が進んだことが理由の一つだと考えられる。一方 $\alpha$ が大きい場合は，学習初期ではほぼすべてのトー クンがマスクされている。これは，学習初期の系列 LSTM からの出力の学習がまだほとんど進んでおらず，その後の層の計算にあまり役に立たないような表現となっているために，ほとんどがマスクされたためだと考えられる.

## 4.4 マスクされるトークンの傾向

最短経路のヒューリスティックは, 先行研究で示されている通り, モデルの識別性能を向上できる良い経験則であり，学習から得た利用すべきマスクも，このヒューリスティックに近いものになる可能性が高い，実際，開発データにおいて最も高い Macro-F 值となったモデルの平均生存率は $20.2 \%$ となり, これは, 最短経路上のトークンが文内で占める割合である $19.3 \%$ と近い値である。そこで学習されたマスクと最短経路の間にどの程度類似度があるかを調べるため，この二者間で残されるトークンについて Jaccard 係数を計算した．結果として Jaccard 係数は, 5 回の試行の平均値が訓練事例で 0.821 , 開発事例では 0.826 と, マスクされないトーク

スティックに非常に近いマスクを学習から自動で獲得したといえる。 さらに，提案モデルの異なる試行ごとで得られたマスク間の Jaccard 係数は平均で 0.926 と, 最短経路との間の Jaccard 係数よりさらに高い値となっており，モデルは最短経路そのものとは少し異なる規則を学習するという結果になった.

表 5 にいくつかの開発事例における最短経路上のトークンとマスク機構によって残されたトー クンの例を示す.この例はマスク機構とアテンション機構を併せて導入したモデルによる結果であり，このモデルに併せてべースラインモデルで最短経路のヒューリスティックを用いたモデルのそれぞれ 5 回の施行において最も多く予測した関係ラベルとその回数も示した. マスク機構により残されたトークンについては， 5 回の施行で 3 回以上残されたトークンのみを表示
表 5 最短経路上のトークンとマスク機構により残されたトークンの例と，対応するそれぞれのモデルの予測

} \\

e1 と e2 は注目エンティティを示し, 予測は 5 回の施行で最も多く選ばれたものとその回数を表示した.関係の向きは常に e1 から e2 へとし, 逆向きの関係ラベルには Reversed のプレフィックスを付けている.

している。表中の上二つの例のように，マスク機構は最短経路上には存在しない所有格の $s$ や intoのような単語を残すよう学習し, 最短経路を用いたモデルでは正しく予測できなかった事例について正解することができたケースが確認された。逆に三番目の例では最短経路上に存在する sent を残さず，最短経路を用いたモデルでは正しく予測できた事例について誤ってしまうケースも確認された。また，四番目の例では注目エンティティペアに無関係な fromを残し，予測も Cause-Effect（原因と結果の関係）を予測してしまうといった，無関係な言及に注目してしまったがために間違えてしまうケースも見つかった。この一方で，下二つの例のように最短経路と同じトークンを残しながら異なる予測を多くするようになった事例もいくつか確認された.
表 6 品詞タグごとのマスク機構が残す単語の数

単語数は各事例に含まれる全単語数を，SP は最短経路上に含まれる単語数を，生存数はマスク機構が残した単語の数を表す。
提案モデルのうちで最高の Macro-F 值を記録したモデルにおける，品詞タグごとのマスク機構によって残される単語の数を表 6 に示す. 表中の単語数が各事例に含まれる単語の総数で, SP はそのうち最短経路上に含まれるもの，生存数はマスク機構が残した単語の数である。表の通り, マスク機構によって残される単語の数は最短経路上に含まれる単語の数とかなり近いが,名詞 (NN, NNS, NNP, NNPS) は僅かに多く, 逆に動詞 (VBN, VBD, VBZ, VBG, VBP, VB) は僅かに少ないなど，細かな違いがみられる。特に，最短経路の外側になってしまう所有格の $s$ など (POS, possessive ending) や, Particle (RP), ヘッドにならなかった what ど (WDT, WRB, $\mathrm{WP}, \mathrm{WP} \$$ が一部生存しており, このことから狙い通りマスク機構が最短経路外の情報を利用していることが確認できる。

マスク機構の処理は中間出力のそれぞれを確信度に基づきマスクするのみであるので，その後の計算に用いられる構造は，異なる依存関係セットを用いる Universal Dependenciesのような別の依存構造の表現形式を用いても適用可能である。その一方で，マスク機構に続く層が入力に期待する構造から外れるようなマスクを行わないように，利用する構造に合わせた，その構造をよく表現する情報をマスク機構に入力するべきであると考えられる。今回は式 (3), (9) の通り，双方向 LSTM の出力，および係り受けと相対距離の埋め込みべクトルを入力に用いたが，よりよい依存構造木を表すような表現や，ほかの構造におけるよい表現について検討する必要があると考えられる。

## 5 おわりに

本稿では，関係分類において重要なトークンの判別規則を学習を通じて獲得するマスク機構を提案した。ベースラインモデルに提案機構を導入した関係分類モデルは, 最短経路のヒューリスティックを用いた場合の識別性能を上回り，依存木全体を用いた場合の識別性能に対しては有意な性能向上を達成した。提案機構により学習されたマスクは最短経路のヒューリスティックに近いものが自ずと学習される一方で, 所有格の $s$ などの最短経路上に存在しないトークンを利用するようになった，さらに，異なる学習試行ごとで得られたマスク間の類似度は，最短経路との間の類似度よりも高く, 最短経路そのものとは一部異なる規則が学習されやすいことが確認された，今後の課題として，BERTのような, より性能の高いモデルにおける最短経路のヒューリスティックの有効性の調查と, そのようなモデルへの提案機構の導入が挙げられる.

## 参考文献

Baldini Soares, L., FitzGerald, N., Ling, J., and Kwiatkowski, T. (2019). "Matching the Blanks: Distributional Similarity for Relation Learning." In Proceedings of the 57th Annual Meeting
of the Association for Computational Linguistics, pp. 2895-2905.

Bunescu, R. and Mooney, R. (2005). "A Shortest Path Dependency Kernel for Relation Extraction." In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, pp. 724-731.

Chen, D. and Manning, C. (2014). "A Fast and Accurate Dependency Parser using Neural Networks." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 740-750.

Culotta, A. and Sorensen, J. (2004). "Dependency Tree Kernels for Relation Extraction." In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04), pp. 423-429.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Fellbaum, C. (1998). WordNet: An Electronic Lexical Database. MIT Press.

Gers, F. A., Schraudolph, N. N., and Schmidhuber, J. (2002). "Learning Precise Timing with LSTM Recurrent Networks." Journal of Machine Learning Research, 3 (Aug), pp. 115-143.

Hendrickx, I., Kim, S. N., Kozareva, Z., Nakov, P., Ó Séaghdha, D., Padó, S., Pennacchiotti, M., Romano, L., and Szpakowicz, S. (2010). "SemEval-2010 Task 8: Multi-Way Classification of Semantic Relations between Pairs of Nominals." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38.

Jang, E., Gu, S., and Poole, B. (2017). "Categorical Reparameterization with Gumbel-Softmax." Computing Research Repository, arXiv:1611.01144. version 5.

Klein, A., Falkner, S., Mansur, N., and Hutter, F. (2017). "RoBO: A Flexible and Robust Bayesian Optimization Framework in Python." In NIPS 2017 Bayesian Optimization Workshop.

Miwa, M. and Bansal, M. (2016). "End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1105-1116.

Noreen, E. W. (1989). Computer-Intensive Methods for Testing Hypotheses. Wiley New York.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237.

Shen, Y. and Huang, X. (2016). "Attention-Based Convolutional Neural Network for Semantic Relation Extraction." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2526-2536.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15, pp. 1929-1958.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1556-1566.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Xu, Y., Jia, R., Mou, L., Li, G., Chen, Y., Lu, Y., and Jin, Z. (2016). "Improved Relation Classification by Deep Recurrent Neural Networks with Dyerata Augmentation." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1461-1470.

Xu, Y., Mou, L., Li, G., Chen, Y., Peng, H., and Jin, Z. (2015). "Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1785-1794.

Zhang, Y., Qi, P., and Manning, C. D. (2018). "Graph Convolution over Pruned Dependency Trees Improves Relation Extraction." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2205-2215.

## 略歴

辻村有輝：2016 年豊田工業大学工学部卒業. 2018 年豊田工業大学大学院修士

課程修了. 現在, 豊田工業大学大学院工学研究科博士課程に在学中.

三輪誠：2008 年東京大学大学院博士課程修了. 博士 (科学)。東京大学, マンチェスター大学を経て, 2014 年より豊田工業大学知能数理研究室准教授.

ACL，情報処理学会, 言語処理学会, 人工知能学会各会員.

佐々木裕：1988 年筑波大学修士課程理工学研究科修了. 2000 年同大学より博士（工学）授与. NTT 研究所, ATR, マンチェスター大を経て, 現在，豊田工業大学教授. 言語処理学会等会員.

(2019 年 11 月 1 日受付)

(2020 年 2 月 8 日再受付)

(2020 年 2 月 25 日採録)