# テキスト平易化における語彙制約に基づく難易度制御

西原 大貴 $^{\dagger}$ ・梶原 智之 ${ }^{\dagger}$ ・荒瀬 由紀 ${ }^{\dagger,+\dagger \dagger}$
}

本稿では，入力される英文を特定の学年に合わせた難易度に平易化する難易度制御 の手法を提案する．提案手法では，文と単語の両方の難易度を考慮することで， 入力文を目標の難易度の文へ書き換える。文の難易度は既存手法と同様，テキスト平易化モデルの入力として目標の文の難易度ラベルを加えることで考慮する。単語の 難易度を考慮するために，本研究では 3 種類の手法を提案する。それぞれ，単語分散表現を拡張して素性として単語難易度を考慮する手法, 難解な単語を出力しない ハードな語彙制約手法, 平易な単語を出力しやすくするソフトな語彙制約手法であ る。評価実験により，ソフトな語彙制約が有効であることを示す。既存手法は文の 難易度のみを考慮しており，省略など構文的な平易化には長けるが，難解な単語を しばしば残す。一方で，提案手法は構文と単語の両方の難易度制御を実現できる。 キーワード：テキスト平易化，テキストの難易度制御
## Controllable Text Simplification with Lexical Constraint

## DaIki Nishihara $^{\dagger$, Tomoyuki Kajiwara ${ }^{\dagger \dagger}$ and Yuki Arase ${ }^{\dagger, \dagger \dagger \dagger}$}

\begin{abstract}
We propose a method for controlling the sentence complexity in text simplification tasks. Our text simplification method is successful in translating an input sentence into a specific grade level by considering the complexities of both sentences and words. Sentence complexities are considered by adding the target grade level to an input. In contrast, a word complexity is considered by following three different methods: (a) by extending word embedding by adding a grade level as a feature, (b) by imposing a hard constraint that prohibits outputting complex words, and (c) by imposing a soft constraint that encourages outputting of simple words. Results from the experiments indicate that a soft constraint improves the performance of a text simplification task. Although the existing model that considers only the sentence complexity may control the syntactic complexity aspects like omission, it tends to generate words beyond the target complexity. Our method achieves the control of both syntactic structures and lexical complexities.
\end{abstract}

Key Words: Text Simplification, Controllable Text Simplification

表 1 学年に合わせたテキスト平易化の例

 \\

## 1 はじめに

テキスト平易化 (Shardlow 2014) は，ユーザの文章読解支援を目的として，難解なテキストから平易なテキストへ意味を保持しつつ書き換えるタスクである。各ユーザの語学レベルや読解力, 認知力, 知識などによって求められるテキストの難易度が異なるため, それぞれのユーザに対応した難易度制御が求められている．特に言語学習に関する教育現場では，教師が多くの時間をかけて各学習者向けに手動で平易なテキストを生成している．インプット仮説 (Krashen 1985)によると，学習者の能力よりわずかに高い難易度の教材を用いることで高い学習効果が得られる。一方, 過度に高い難易度の教材では学習効果が低くなり, 学習意欲の低下を招く要因にもなる. そのため, 教師の負担軽減のために自動的なテキストの難易度制御が求められている (Petersen and Ostendorf 2007).

テキスト平易化の処理は, 主に「省略」と「言い換え」によって実現される。表 1 の例では, 米国の 12 年生（高校 3 年生）向けのテキストでの while serving 〜が 5 年生 (小学 5 年生) 向けのテキストでは省略されている。また， 12 年生向けのテキストにおける According to が 7 年生（中学 1 年生）向けのテキストでは saysに, Pentagon が 5 年生向けのテキストでは military へ言い換えられている。個々のユーザに対応した難易度制御へ向けた第一歩として, 本研究では「学年」を対象とし，目的の学年に適した難易度へ文を自動で変換する課題に取り組む.

テキスト平易化における多くの先行研究 (Specia 2010; Coster and Kauchak 2011; Wubben, van den Bosch, and Krahmer 2012; Xu, Napoles, Pavlick, Chen, and Callison-Burch 2016; Kajiwara and Komachi 2016; Nisioi, Štajner, Ponzetto, and Dinu 2017; Zhang and Lapata 2017; Vu, Hu, Munkhdalai, and Yu 2018; Guo, Pasunuru, and Bansal 2018; Zhao, Meng, He, Andi, and Bambang 2018) では，難解な英文と平易な英文からなるパラレルコーパスに基づく同一言語内の機械翻訳によって単純に「難解」から「平易」への難易度変換を行っており，難易度を細かく制御できない. Scarton and Specia (2018) は，11 段階の難易度付きパラレルコーパス (Xu, Callison-Burch, and Napoles 2015) を用いて細かな難易度制御に初めて取り組んた. この手法では, 出力文の目標難易度を入力文にラベルとして付与することにより, 同じ入力文であっても
目標難易度に応じて書き換え分けるが，単語の難易度については考慮されていない．本研究では，文全体の大域的な難易度に加えて，個々の単語の局所的な難易度も適切に制御するために，文の難易度とともに単語の難易度も考慮する手法を 3 種類提案する。それぞれ，単語分散表現を拡張する手法，難解な単語の出力を制限するハードな語彙制約手法，平易な単語の出力を促すソフトな語彙制約手法である。いずれの手法も，既存手法では言い換えられなかった難解な単語を積極的に平易化することが期待できる.

上述の難易度付きパラレルコーパスを用いて，提案手法の有効性を検証する。テキスト平易化では BLEU (Papineni, Roukos, Ward, and Zhu 2002) および SARI (Xu et al. 2016) が標準的な評価指標として用いられる。BLEU が出力文と正解文の語句の一致率を評価するのに対して, SARI は入力文・出力文・正解文の 3 つを比較することで言い換えるべき語句を正しく言い換えたかを評価する。評価実験の結果，ソフトな語彙制約手法は既存手法と比較して BLEUを 1.04 ポイント，SARIを 0.15 ポイント改善した。さらに詳細な分析の結果，提案手法は文全体の難易度だけでなく単語の難易度も上手く制御でき，積極的な書き換えを促進することが明らかとなった。

## 2 関連研究

## 2.1 テキスト平易化

テキスト平易化は難解な文から平易な文への同一言語内の翻訳問題と考えられる．これまでの研究では English Wikipedia と Simple English Wikipedia のパラレルコーパス (W-SW) (Zhu, Bernhard, and Gurevych 2010; Coster and Kauchak 2011) 上で，2 段階の難易度変換モデルを訓練してきた。 初期の研究では統計的機械翻訳に基づく手法 (Specia 2010; Wubben et al. 2012; Xu et al. 2016; Kajiwara and Komachi 2016) が盛んであったが，近年ではニューラル機械翻訳の成功を受け，注意機構に基づく系列変換モデルを用いる手法 (Nisioi et al. 2017; Zhang and Lapata 2017; Vu et al. 2018; Guo et al. 2018; Zhao et al. 2018) が主流である.しかし, いずれもテキストの難易度を「難解」および「平易」の 2 段階で変換しており，難易度の細かな制御を行っていない.

## 2.2 テキストの難易度制御

テキスト平易化において W-SW と並ぶ代表的なデータセットとして Newsela ${ }^{1}$ (Xu et al. 2015) がある. Newsela は 11 段階の難易度付きパラレルコーパスであるが, Newsela を用いた先行研究の多く (Zhang and Lapata 2017; Vu et al. 2018; Guo et al. 2018; Zhao et al. 2018) は，細か

な難易度の違いを考慮せず 2 段階の難易度変換を行っていた。

Scarton and Specia (2018) は Newsela を用いて，初めてテキスト平易化における難易度制御に取り組んだ。この手法では，出力したい目標の難易度を入力文に付与する．具体的には，文の難易度を示すラベル「<<難易度 $>」$ を入力文の文頭に付加した上で, Nisioi et al. (2017) と同様の標準的な注意機構に基づく系列変換モデルを訓練した，入力文にラベルを付加して出力文を制御する手法は，多言語翻訳 (Johnson, Schuster, Le, Krikun, Wu, Chen, Thorat, Viégas, Wattenberg, Corrado, Hughes, and Dean 2017) やスタイル変換 (Niu, Rao, and Carpuat 2018) などの他の Text-to-Text Generation タスクでも成功している有望なアプローチである. Scarton and Specia (2018)の手法は目標の難易度を考慮しないべースライン (Nisioi et al. 2017) と比べて BLEU (Papineni et al. 2002) およびSARI (Xu et al. 2016)の自動評価を改善し，難易度に応じた平易化を実現できることを示した。しかし，この手法では文全体の難易度のみを考慮しているため，省略の操作には優れる一方で，夕ーゲットユーザにとって難易度の高い単語が言い換えられずに出力文に残る場合が少なくない，そのため本研究では， Scarton and Specia (2018) の手法において, 文の難易度に加えて単語の難易度も考慮することで, より正確なテキストの難易度制御を行う。

## 3 単語の難易度を考慮したテキストの難易度制御

本研究では, Scarton and Specia (2018)の手法において, 目標の難易度に適した単語の出力を促すために，単語の難易度を考慮する 3 種類の手法を提案する． 3.1 節では，各単語の分散表現を拡張することで，素性として単語の難易度を考慮する手法を提案する． 3.2 節では, 目標の難易度に応じて出力可能な単語を制限するハードな語彙制約を提案する． 3.3 節では, 目標の難易度に応じて各単語を重み付けするソフトな語彙制約を提案する.

## 3.1 素性としての単語難易度の考慮

単語の難易度を考慮するために，埋め込み層を拡張する，本手法では，難解な単語は難解な文中で出現しやすく平易な単語は平易な文中で出現しやすいと仮定して, 文の難易度ごとの各単語の出現確率の分布を用いて埋め込み層を拡張する.

まず，大規模な生コーパス上で事前訓練された $k$ 次元の単語分散表現を用意する。この単語分散表現は，単語の意味を表現するべクトルであり，難易度の情報は持たないと仮定する。これに単語の難易度を表現する $n$ 次元べクトル $\boldsymbol{a}=\left(a_{1}, a_{2}, \cdots, a_{n}\right)$ を結合することで拡張した $k+n$ 次元のベクトルを, 符号化器および復号器の埋め込み層として使用する. ここで $n$ は, 訓練データにおける文の難易度の種類数であり, 本研究では 11 である. 拡張するべクトル $\boldsymbol{a}$ の各
要素 $a_{i}(i=1,2, \cdots, n)$ は $n$ 段階の各難易度に対応しており, 次式で定められる.

$
a_{i}=\frac{P\left(w \mid u_{i}\right)}{\sum_{j=1}^{n} P\left(w \mid u_{j}\right)}, \quad(i=1,2, \cdots, n)
$

ここで, $P\left(w \mid u_{i}\right)$ は訓練デー夕の各難易度 $u_{i}$ における単語 $w$ の出現確率を表している。すなわち, べクトル $\boldsymbol{a}$ は，単語の出現確率の分布として単語の難易度を表現する素性である。意味ベクトルおよび難易度べクトルの情報を保持するために，テキスト平易化モデルの訓練時には, これらの埋め达み層は固定する。

類似した手法として，対話応答生成タスクでは，復号器の埋め込み層において話者の分散表現を付加するスタイル変換の手法 (Li, Galley, Brockett, Spithourakis, Gao, and Dolan 2016)が提案されている。この手法はスタイルごとに 1 つの固定された情報を復号器の入力として付加するが, 提案手法では符号化器および復号器の入力として単語ごとに固有の情報を付加する.

## 3.2 ハードな語彙制約による単語難易度の考慮

目標の難易度に合致した単語を出力するために，出力語彙を制限する．本手法では，訓練デー 夕において各単語が出現する文の難易度のうち, 最も平易な難易度をその単語の難易度であると仮定する．例えば，ある単語が 3 年生向けテキストおよび 4 年生向けテキストに出現する場合, その単語の難易度は 3 とし, 3 年生から 12 年生までの文で出現可能として扱う。つまり,目標の難易度が 3 未満の場合にはこの単語を出力しないという制約を復号器に加える。

テキスト平易化の推論では，各タイムステップの復号器出力を $\boldsymbol{o}=\left[o_{1}, \cdots, o_{N}\right] \in \mathbb{R}^{N}(N$ は語彙サイズ）として，最大要素のインデックス $\arg \max _{i} o_{i}$ に対応する単語をモデルが出力する.出力する単語を目標の難易度 $T$ に適した単語のみに制限するために，まず語彙制約マスク

$
\boldsymbol{m}=\left[m_{1}, \cdots, m_{N}\right], \quad m_{i}= \begin{cases}1 & \text { if } b_{i} \leq T \\ 0 & \text { otherwise }\end{cases}
$

を用意する。ここで， $b_{i}$ はインデックス $i$ に対応する単語の難易度を表す。これを用いて，図 1 に示すようにモデルの出力を

$
\boldsymbol{o}^{\prime}=\boldsymbol{o} \odot \boldsymbol{m}
$

と改めることで出力語彙を制限する。はべクトルの要素ごとの積を計算する演算子である.訓練データから単語の難易度を推定する他に, 既存の単語難易度辞書 (English Vocabulary

図 1 ハードな語彙制約により単語難易度を考慮する提案手法

Profile ${ }^{2}$ や Maddela and Xu (2018) の辞書 3 など）を語彙制約のために利用することも考えられる.しかし, Newselaコーパスにおける語彙の網羅率が English Vocabulary Profile では $8.87 \%$, Maddela and Xu (2018)の辞書では $26.18 \%$ と低く, ほとんどの単語に難易度を割り当てられなかったため, 本研究では使用しなかった.

## 3.3 ソフトな語彙制約による単語難易度の考慮

目標の難易度に適した単語の出力を促すために，図 2 のように損失の計算時に各単語を難易度に応じて重み付けする。この重み $f(w, l)$ は, 文の難易度 $l$ に対する単語 $w$ の出現しやすさを表す。本手法では，難解な単語は難解な文中で出現しやすく, 平易な単語は平易な文中で出現しやすいと仮定し, 各文の難易度における単語の出現頻度を手がかりに難易度に適した単語を推定する。ある単語の損失が大きくなると, その単語の出力を漏らさないように学習が促されるため, 損失の重み付けによって目標難易度に適した単語が出力されやすくなると期待できる.

一般に，系列変換モデルの損失はクロスエントロピーを用いて求められる．各タイムステップのモデルの出力を $\boldsymbol{o}=\left[o_{1}, \cdots, o_{N}\right] \in \mathbb{R}^{N}$ とすると, 損失 $L(\boldsymbol{o}, \boldsymbol{y})$ は,

$
L(\boldsymbol{o}, \boldsymbol{y})=-\boldsymbol{y} \log \boldsymbol{o}^{\top}=-\log o_{c}
$

で得られる。ただし, $\boldsymbol{y}=\left[y_{1}, \cdots, y_{N}\right] \in \mathbb{R}^{N}$ は正解単語を指す $c$ 番目の要素が 1 で他の要素が全て0である one-hot ベクトルである。提案手法では, 式 (4)を

$
L\left(\boldsymbol{o}, \boldsymbol{y}, w_{c}, l\right)=-f\left(w_{c}, l\right) \log o_{c}
$

と改めることで，目標難易度に応じて損失を重み付けする。ここで，語彙を $V$ とすると $w_{c} \in V$ は正解単語を表す。重み $f(w, l)$ には, TFIDF (Term Frequency Inverse Document Frequency)
^{3}$ https://github.com/mounicam/lexical_simplification
}

図 2 単語 $w$ と目標難易度 $l$ を用いて損失を重み付けするソフトな語彙制約

または PPMI (Positive Pointwise Mutual Information)を利用する.

TFIDF 難易度ごとの単語の重要度を推定するために，各難易度の文の集合を文書とみなして次式の TFIDF を考える。

$
\operatorname{TFIDF}(w, l)=P(w \mid l) \log \frac{n}{\mathrm{DF}(w)}
$

ただし, $P(w \mid l)$ は特定の難易度 $l$ における単語 $w$ の出現確率， $n$ は難易度の総数 ${ }^{4}$, $\mathrm{DF}(w)$ は単語 $w$ が出現する難易度の種類数を表す。そのため TFIDF は，特定の難易度において特徴的な単語により大きな重みを与える。

PPMI 各文の難易度と単語の共起の強さを推定するために, 次式の自己相互情報量 (PMI, Pointwise Mutual Information)を考える。

$
\operatorname{PMI}(w, l)=\log \frac{P(w, l)}{P(w) P(l)}=\log \frac{P(w \mid l)}{P(w)} .
$

ただし， $P(w)$ はコーパス全体における単語の $w$ の出現確率, $P(w \mid l)$ は式 (6) と同じく特定の難易度 $l$ における単語 $w$ の出現確率を表す. ここで, PMI が負数を取る場合, $l$ と $w$ の関連が低いと言える。すなわち, $\operatorname{PMI}(w, l)$ の值が小さくなる単語 $w$ は，難易度に依存せず広く使用される単語であると考えられる．特定の文の難易度において頻出する単語の出力を促すことが目的であるため, PMI が負となる単語は重み付けの考慮から除外する。そのため，PMIの正のみを利用した次式の PPMI (Positive PMI)を用いる。

$
\operatorname{PPMI}(w, l)=\max (\operatorname{PMI}(w, l), 0)
$

TFIDF および PPMI は，いずれも值域が $[0, \infty)$ である。難易度に対して偏りのない単語の損失の重みを 1 倍にするために,$f(w, l)$ はバイアスとして 1 を加えて

$
f(w, l)=\operatorname{Func}(w, l)+1, \quad \text { Func } \in\{\text { TFIDF }, \text { PPMI }\}
$

とする.

## 4 実験

## 4.1 実験設定

## 4.1.1 データセット

本研究では多段階の難易度制御を行うためのデータセットとして, Scarton and Specia (2018) と同じくNewsela (Xu et al. 2015)を用いる. Newsela の各文書は 1 つのニュース記事に対応し,専門家によって文書単位で平易化されている。各文書には，米国学校制度における学年に対応する難易度が付与されており，2～12の11 段階の難易度を利用できる.

本研究で使用した Newsela は，Xu et al. (2015) によって文アライメントが取られ，Zhang and Lapata (2017) によって訓練用 1,070 文書 $(94,208$ 文対)，検証用 30 文書（1,129 文対），評価用 30 文書（1,077 文対）に分割されたデータセットである．本実験では， Scarton and Specia (2018) と同じく, 各文の難易度をその文が含まれる文書の難易度とする．なお， Scarton and Specia (2018) は一般に公開されている Newsela (Xu et al. 2015)よりも大規模な非公開のコーパスを利用しているため，この論文で報告されている性能と本研究で実施する実験結果は直接比較できない。そこで本研究では Scarton and Specia (2018)の手法を再現した上で比較を行う.

## 4.1.2 評価指標

本実験の評価では，テキスト平易化の先行研究 (Xu et al. 2016; Nisioi et al. 2017; Zhang and Lapata 2017; Scarton and Specia 2018) と同じく, BLEU (Papineni et al. 2002) および次式の SARI (Xu et al. 2016)を用いる.

$
\mathrm{SARI}=\frac{1}{3}\left(F_{\mathrm{add}}+F_{\text {keep }}+P_{\text {del }}\right)
$

ここで, $F_{\mathrm{add}}, F_{\mathrm{keep}}, P_{\mathrm{del}}$ は, 入力文・出力文・正解文の 3 つを比較して計算される. それぞれ, モデルが入力文に対して正しく追加した $n$-gram ${ }^{5}$ の $\mathrm{F}$ 値，入力文から正しく保持した $n$-gram の $\mathrm{F}$ 値，入力文から正しく削除した $n$-gram の適合率である。BLEU は主に意味と文法の観点で人手評価との相関を持ち，SARI は意味と文法に加えて難易度の観点でも人手評価との相関を持 $\supset$ (Xu et al. 2016).

評価指標の特性を理解するために, source および reference-shuffleの 2 つのベースラインを考える. source は入力文を編集せずにそのまま出力するものである． reference-shuffle は，正解文
^{5}$ 1-gram から 4-gram まで考慮する.
}

の語順を無作為に入れ替えるものである． 4.2 節に示すように，入力を書き換えない source は高い BLEU を得られるが, SARI は低い。一方, reference-shuffle は高い SARIを得られるが, BLEU は低い。つまり，BLEU または SARI の一方のみが高いモデルは容易に得られてしまうため，両方のスコアを同時に改善したモデルが優れていると考えられる.

## 4.1.3 比較手法

実験項目は以下の通りである。項目 (1) から (4) が比較手法, (5) から (8) が提案手法である.

(1) $\mathbf{s} \mathbf{s}$ は，注意機構に基づく単純な系列変換モデルである.

（2） s2s+grade は，入力文頭に目標難易度のラベル 6 を付与して出力文の難易度を制御する既存手法 (Scarton and Specia 2018) に基づくモデルである.

(3) s2s (GloVe) は注意機構に基づく系列変換モデルにおいて, 埋め込み層として GloVe (Pennington, Socher, and Manning 2014)の訓練済み単語分散表現を用いるモデルである.

(4) s2s (GloVe)+grade は s2s (GloVe)において (Scarton and Specia 2018)の手法を適用したモデルである.

（5） s2s (GloVe+単語難易度ベクトル)＋grade は， Scarton and Specia (2018)の手法において，埋め込み層に提案手法（3.1 節）を適用したモデルである。本実験では, GloVeの 512 次元の訓練済み単語分散表現に 11 次元の単語難易度ベクトルを追加した 523 次元を埋め込み層として用いた。

（6） s2s+grade+hard は，s2s+grade においてハードな語彙制約を行う提案手法（3.2 節）である.

（7） s2s+grade+TFIDF は，s2s+grade のベースラインモデルに TFIDF に基づく損失の重み付けを適用した提案手法（3.3 節）である。各単語の TFIDF 値は訓練データを用いて計算した。

(8) s2s+grade+PPMI は，s2s+grade のベースラインモデルに PPMI に基づく損失の重み付けを適用した提案手法（3.3 節）である。各単語の PPMI 値は訓練デー夕を用いて計算した.

## 4.1.4 手法の実装

手法 (3) (5) で使用する単語分散表現 GloVe は, 次元数 512 , 空幅 15 として English Wikipedia ${ }^{7}$ および Newsela を用いて訓練した。なお, 文の難易度ラベルに対応する分散表現を得るため, Newsela の全ての文頭に各文の難易度を示すラベルを付与して GloVeの訓練を行った。

本実験では, Marian ${ }^{8}$ (Junczys-Dowmunt, Grundkiewicz, Dwojak, Hoang, Heafield, Neckermann,
>,<\mathbf{3}>, \cdots,<\mathbf{1 2}>$ の 11 種類である.

7 https://dumps.wikimedia.org/enwiki/20191201/enwiki-20191201-pages-articles-multistream.xml.bz2

 }^{8}$ https://github.com/marian-nmt/marian/commit/02f4af4

表 2 実験結果（太字は $\mathrm{s} 2 \mathrm{~s}+$ grade と比較して評価値が優れているもの）

表 3 素性として単語難易度を考慮する提案手法の失敗例

Seide, Germann, Aji, Bogoychev, Martins, and Birch 2018)を使用してテキスト平易化モデルを構築した. 符号化器および復号器には 2 層の Bi-LSTM を用い, 隠れ層は 1,024 次元で dropout 率 0.2 , 埋め込み層は 512 次元で dropout 率 0.1 とした。埋め込み層は符号化器と復号器および出力層で共有した，最適化には Adam (Kingma and Ba 2015) を利用し，検証データにおける perplexity が 8 エポック改善しなくなったところで訓練を終了した. ニューラルネットワークの初期値依存性を考慮し，いずれの実験も初期值を無作為に変更しつつ 3 回ずつ試行し，得られた評価値の平均を報告する。

## 4.2 実験結果

## 4.2.1素性としての単語難易度を考慮する提案手法（3.1 節）の実験結果

実験結果を表 2 に示す。提案手法 (5) s2s (GloVe+単語難易度ベクトル)+grade は，比較手法 (3) s2s (GloVe) および (4) s2s (GloVe)+grade よりもBLEU および SARI が優れており，素性としての単語難易度を考慮する提案手法の有効性が確認された。しかし, 訓練済みの単語分散
表 4 ハードな語彙制約により単語難易度を考慮する提案手法の失敗例

図 3 ハードな語彙制約において各難易度で使用可能な語彙サイズ

表現を用いた手法 (3)，(4)，（5）は，それを用いない手法 (1) s2s および (2) s2s+grade に比べて SARI が低く，入力から正しい書き換えを行っていない。モデル出力の失敗例を示した表 3 によると，失敗例 1 では enhances を buildsに言い換えできていない，失敗例 2 では，crewを worker に言い換えできていない。このように，期待とは異なり難解な単語を残したまま出力する例が見られた。そこで手法 (6)～(8) では，訓練済みの単語分散表現を用いるのではなく，分散表現も同時に学習するアプローチを用いた.

## 4.2.2 ハードな語彙制約により単語難易度を考慮する提案手法（3.2 節）の実験結果

表 2 によると, 提案手法 (6) s2s+grade+hard は既存手法 (2) s2s+grade と比較して SARI を 2.21 ポイント改善しているが, BLEUが著しく低く正しい単語を出力できていない.

表 4 の失敗例 1 では，期待通り難解な単語 wounds の出力を避けることができたが，誤って異なる意味の単語 seas を出力してしまった. 図 3 に示すように, 各難易度で使用可能な語彙サイ
表 5 ソフトな語彙制約により単語難易度を考慮する提案手法の出力例

 &  \\

ズを見ると，難易度 2 では 1,059 語彙 $(2.82 \%)$ の単語に制限されている.このような厳しすぎる制約によって，自然な文を構成する上で必要な単語を利用できず，表 4 の失敗例 2 に示すように入力文とは意味が全く異なる文を出力してしまったと考えられる.

## 4.2.3 ソフトな語彙制約により単語難易度を考慮する提案手法（3.3 節）の実験結果

表 2 によると, 提案手法 (7) s2s+grade+TFIDF および (8) s2s+grade+PPMI は, BLEU と SARI の両方において既存手法である (2) s2s+grade を上回った. 特に (8) s2s+grade+PPMI の BLEU と SARI は (2) s2s+grade と比較してそれぞれ 1.04 ポイント（p值 $0.024 ）, 0.15$ ポイント改善した。ソフトな語彙制約によって単語難易度を考慮することで, 出力文を崩壊させずにより目標難易度に適した単語を出力できたと考えられる。

表 5 にモデルの出力例を示す. (8) s2s+grade+PPMI は incarnationを 7 年生向けに people へ, motivate を 4 年生向けにinspireへ書き換えている.いずれのモデルも and ，on ～の並列構造を省略できているが，(8) s2s+grade+PPMI は 4 年生向けの文をより短い文へ省略できている.

次節では，BLEU と SARI の両方を改善した提案手法 (8) s2s+grade+PPMI に焦点を当てて考察と分析を行う.
表 6 詳細な分析結果

## 5 考察と分析

BLEU およびSARIによる自動評価において最高性能を達成した (8) s2s+grade+PPMI（提案手法）について，本節では (2) s $2 \mathrm{~s}+$ grade（既存手法）と比較しながら 3 つの追加の自動評価指標および人手による分析により詳細な検証を行う，既存のテキスト平易化モデルは， 入力文をあまり書き換えず，難解な表現を出力文に残してしまいやすい(Zhang and Lapata 2017). そこで 5.1 節では，モデルが入力文を積極的に書き換えているかを評価する。また，テキスト平易化の処理は主に省略と言い換えによって実現される。そのため, 5.2 節では省略による難易度制御の評価を， 5.3 節では言い換えによる難易度制御の評価を行う． 5.4 節では，難易度の制御に関する詳細な分析のために, 目標難易度ごとに文および単語の難易度による評価を行う。最後に 5.5 節では, 人手による出力文のエラー分析から今後の改善策を議論する.

## 5.1 書き換えの積極性の評価

書き換えの積極性を評価するために，self-BLEU (Sun and Zhou 2012)を用いる．出力文と正解文の一致度を評価する通常の BLEU とは異なり, self-BLEU は入力文と出力文の一致度を評価する。つまり，self-BLEU の值が低いほど，入力文を積極的に書き換えるモデルであると言える.表 6 に示した結果のうち, source は入力文を編集せずにそのまま出力文とし, reference は正解文を出力文とみなしたときの評価である，表 6 によると, self-BLEU においても s2s+grade+PPMI が最も優れており，目標難易度に適した単語を重視することで入力文に含まれない単語を積極的に出力できていることがわかる． s2s は目標の難易度を考慮しないため，あまり書き換えを行わない（self-BLEU が高い）保守的なモデルになったと考えられる。

## 5.2 省略による難易度制御の評価

省略による難易度制御の品質を評価するために，文長の平均絶対誤差を用いる．文長の平均絶対誤差は, 出力文の単語数に基づいて次式で得られる.

$
\text { (文長の平均絶対誤差) }=\frac{1}{S} \sum_{i}\left|\operatorname{Len}\left(r_{i}\right)-\operatorname{Len}\left(t_{i}\right)\right| \text {. }
$

ここで， $S$ は評価用データセットの文数, $r_{i}(i=1, \cdots, S)$ は正解文, $t_{i}$ は $r_{i}$ に対応する出力文, Len $(s)$ は文 $s$ の単語数を表す. 文長の平均絶対誤差が低いほど, 適切な長さの文を生成するモデルであると言える。表 6 を見ると, $\mathrm{s} 2 \mathrm{~s}+$ grade は $\mathrm{s} 2 \mathrm{~s}$ から文長の平均絶対誤差が 0.61 ポイント改善され，s2s+grade+PPMI は s2s+grade と同程度である。すなわち，文の難易度を考慮することによって出力文の文長が正解文と近くなり, 省略による難易度制御が改善されている.

## 5.3 言い換えによる難易度制御の評価

言い換えによる難易度制御の品質を評価するために，平均 PMI を用いる。平均 PMI は，次式に示す通り出力文に含まれる各単語と目標難易度の一致度に基づいて得られる。

$
(\text { 平均 } \mathrm{PMI})=\frac{1}{W} \sum_{s \in \text { Target }} \sum_{w \in s} \operatorname{PMI}\left(w, l_{s}\right) \text {. }
$

ここで, $W$ は出力文の集合 Target に含まれる単語数, $l_{s}$ は文 $s$ の目標難易度, $w$ は文 $s$ に含まれる単語である。PMI は訓練データを用いて式 (7) によって求めた。平均 PMI が高いほど, 適切な難易度の単語を出力するモデルであると言える。表 6 を見ると, 平均 PMI は s2s+grade+PPMI が最も高い．したがって s 2 s+grade+PPMI は，s2s+gradeの省略による難易度制御の品質を保ちつつ，より目標難易度に適した単語を出力できることが明らかになった。

## 5.4 目標難易度ごとの出力文における文と単語の難易度

難易度の制御についてより詳細な分析を行うために，評価用データセットの各入力文に対して，入力文よりも平易な全ての難易度 9 に向けての平易化を行った. 表 7 に, s 2 s+grade と s2s+grade+PPMI に対する目標難易度ごとの FKGL (Kincaid, Fishburne Jr., Rogers, and Chissom 1975) および平均 PMI を示す. FKGL は，テキストの可読性を評価する自動評価尺度であり,次式で得られる.

$
\mathrm{FKGL}=0.39 \frac{\# \text { words }}{\# \text { sentence }}+11.8 \frac{\# \text { syllables }}{\# \text { words }}-15.59
$

ここで，\#words は単語数，\# Asentence は文数，\# syllables は音節数である．FKGL の評価値は米国学校制度における学年に対応しており, 本実験ではこれを目標難易度と比較することにより各手法の難易度制御の品質を分析する。

FKGLの分析によると, いずれのモデルも過度に平易な文に書き換えてしまっているが，目

表 7 各難易度における $s 2$ s+grade（既存手法）と $s 2$ s+grade+PPMI（提案手法）の FKGL と平均 PMI

標学年に対する平均絶対誤差 (MAE) を比較すると $\mathrm{s} 2 \mathrm{~s}+$ grade+PPMI の方が優れている。表 7 中, FKGLの差分は学年ごとに s2s+grade と s2s+grade+PPMI の FKGL の差を示している.これによると, s2s+grade+PPMI は目標学年が小さい場合はより平易な文を出力し, 目標学年が大きい場合はより難解な文を出力しているため, s2s+grade と比較してより明確に難易度を区別した制御ができている。この結果から，単語の難易度を考慮することで，テキスト平易化の難易度制御に寄与することが分かる。

平均 PMI の評価によると, s2s+grade+PPMI は全ての学年で $\mathrm{s} 2 \mathrm{~s}+$ grade より優れている. したがって，単語の難易度に基づく損失の重み付けを行う提案手法が，我々の期待通りに目標の学年に適した単語を出力することが確認できた.

## 5.5 エラー分析と人手評価

今後の課題を明らかにするために，評価用データセットから無作為抽出した 50 文について, $\mathrm{s} 2 \mathrm{~s}+$ grade（既存手法）および $\mathrm{s} 2 \mathrm{~s}+$ grade+PPMI（提案手法）のエラー分析（5.5.1 節）と人手評価（5.5.2 節）を行った。

## 5.5.1 エラー分析

テキスト平易化における代表的な操作である省略および言い換え（置換）について，それぞれの細分類ごとにエラー数を著者の一人が人手で調べた。まず省略に関するエラー分析のために，入力文・出力文・正解文の三つ組を比較して，入力文中の省略すべき箇所，正しく省略した箇所 (省略成功), 省略すべきだが省略しなかった箇所（省略不足）, 出力すべきだが過剰に省略している箇所（省略過多）を数えた，次に置換に関するエラー分析のために，入力文中の置換すべき箇所，正しく置換した箇所（置換成功），誤った表現に置換した箇所（置換失敗），置換すべきだが置換しなかった箇所（置換不足），置換すべきでないが置換した箇所（置換過多）
表 8 エラー分析の例（出力失敗例）

 \\

を数えた ${ }^{11}$.

表 8 はエラー分析の例であり, 下線は置換すべき箇所および各手法においてそれらに対応する箇所を，太字は省略すべき箇所を示している，例えば，表 8 の上の例では入力文における単語 stressful は toughに置換すべきだが，いずれのモデルもhardへ置換しており，置換失敗としてカウントされる。また, 入力文中の句 immigrant students はいずれのモデル出力にもそのまま残っており，置換不足としてカウントされる，そして，s2s+grade+PPMI は入力文と正解文に共通して出現する単語 especiallyを veryへ置換しており, 置換過多としてカウントされる。また，下の例では in five Turkish citiesを省略すべきだが，s2s+grade では省略できていない.

表 9 の分析結果から, 省略の成功率 $(=$ 省略すべき略成项所 $)$ は $2 \mathrm{~s}+$ gradeが 45 箇所中 13 箇所 $(28.9 \%)$, s2s+grade+PPMI が 45 箇所中 19 箇所 $(42.2 \%)$ であり，また 2 s+grade+PPMI は 2 s +grade に比べて省略過多は多いが省略不足は少なく，より積極的に省略を行っていることがわかる．

表 10 に置換操作に関するエラー分析結果を示す. 本分析では各手法の出力について, 省略不足や省略過多ではなかった (省略が成功した) 部分のみについて置換すべき箇所をカウントしている. そのため置換すべき箇所の個数が手法によって異なっている。置換の再現率 $\left(=\frac{\text { 置換成功 }}{\text { そ筒所 }}\right)$ は s $2 \mathrm{~s}+$ grade+PPMI が 82 箇所中 4 箇所 (4.9\%), s2s+grade が 86 箇所中 5 箇所 $(5.8 \%)$ でありい

72 箇所中 4 箇所 $(5.6 \%), \mathrm{s} 2 \mathrm{~s}+$ grade が 74 箇所中 5 箇所 $(6.8 \%)$ と低く, 書き換えの誤りが多い.

が 86 箇所中 39 箇所 $(45.4 \%)$ であり, いずれも書き換えようとした箇所自体が半数以下である.

表 9 評価用データセットから無作為抽出された 50 文に対する省略のエラー分析

表 10 評価用データセットから無作為抽出された 50 文に対する置換のエラー分析

表 11 評価用データセットから無作為抽出された 50 文に対する人手評価

## 5.5.2 人手評価

先行研究 (Zhang and Lapata 2017) に倣い，流暢性 (Fluency)，意味の等価性 (Adequacy) および平易性 (Simplicity) の 3 項目について人手評価を行った. Zhang and Lapata (2017) と同様に，各項目について流暢性は「Is the output grammatical and well formed?」，意味の等価性は $\lceil$ To what extent is the meaning expressed in the original sentence preserved in the output?」, 平易性は「Is the output simpler than the original sentence?」と説明し，1から5の 5 段階（1が最低性能， 5 が最高性能を表す）の評価 ${ }^{12}$ 依頼した。評価者は英語話者 1 名である.

表 11 に各項目の平均値を示す. さらに我々は, Mallinson and Lapata (2019) と同様に最小値も評価した，最小値は，文ごとに流暢性，意味の等価性および平易性の各評価値の最小値を取り，平均したものである．最小値を用いる理由は，モデルが 3 項目のうちいずれかの項目を無視すれば残りの項目において容易に高いスコアが得られるためである。例えば，入力文をそのまま出力すれば流暢性と意味の等価性は最高スコア 5 が得られるが平易性は 1 となる。また意味の等価性を無視すれば平易かつ流暢な文が容易に得られてしまう。

表11の最小の列を見ると, s2s+grade+PPMI は, s2s+gradeを 0.04 ポイント上回り, s2s+grade と同等以上の性能が確認できた，流暢性および意味の等価性は $2 \mathrm{~s}+$ grade の方が，平易性は s2s+grade+PPMI の方が優れた，入力から積極的な書き換えを行わない（保守的な）モデルは

流暢性および意味の等価性が高く，平易性が低くなると考えられるため，s2s+grade+PPMI は s2s+grade と比較してより積極的な書き換えを行っていることがわかる.

## 5.5.3 今後の課題

エラー分析（5.5.1 節）の結果, 既存手法 $s 2 s+$ grade と提案手法 $s 2 s+$ grade+PPMI の両手法とも積極的な省略を行い，置換がほとんど行われないことがわかった。その中でも，人手評価 （5.5.2 節）の結果，単語の難易度も考慮した $\mathrm{s} 2 \mathrm{~s}+$ grade+PPMI は $2 \mathrm{~s}+$ grade と比較してより積極的な平易化を行うことを確認した.

テキスト平易化では書き換え前後の文で共通した単語が使用される割合が高く，また入力の語句の省略も頻繁に行われる。一方，テキスト平易化と同様に系列変換タスクである機械翻訳では入力と出力の言語が異なることから，入力文の語句のほぼ全てが置換され，かつ入力に現れる語句が大幅に省略されることは稀と考えられる．このようなタスクの特性により，テキスト平易化では複製や省略の操作の学習は容易であるが，置換操作は学習が難しく，モデルにとってリスクが高いため積極的な書き換えを行わない。したがって複製や省略という簡単な操作に甘んじやすいと考えられる。 そのため今後は, 入力文中に出現しない正解単語の出力に大きな報酬を与える工夫が必要であると考えられる。

## 6 おわりに

本研究では，単語の難易度に注目することで高品質な難易度制御を行うテキスト平易化手法を提案した。素性として単語分散表現に単語の難易度を埋め込む手法, ハードな語彙制約手法, ソフトな語彙制約手法の 3 種類のアプローチを試みた結果, ソフトな語彙制約手法が有効であった.ソフトな語彙制約では，文の難易度と単語の共起の強さによって損失を重み付けすることで，BLEU およびSARIによる自動評価が既存手法を上回り，積極的かつ正確な難易度制御に貢献することを確認した。また難易度ごとの分析からも，提案手法が省略および置換の操作に対して有効であることを示した。

本研究では, Scarton and Specia (2018) と同様に, 文書の難易度を各文の難易度とみなした。 しかし，難解な文書中にも平易な文が含まれる場合があるため，実際には文ごとに難易度を推定する必要がある。テキストの可読性や難易度については, これまで文書 (Kincaid et al. 1975) や語句 (Pavlick and Callison-Burch 2016; Maddela and Xu 2018)の単位では研究されてきたが,文単位での難易度推定は今後の課題である.

## 謝 辞

本研究は, Microsoft Research Asia, Microsoft Japan Co., Ltd., JST ACT-I Grant Number JPMJPR18UB, JSPS KAKENHI Grant Number JP18K11435 の支援を受けたものである.

## 参考文献

Coster, W. and Kauchak, D. (2011). "Simple English Wikipedia: A New Text Simplification Task." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp. 665-669.

Guo, H., Pasunuru, R., and Bansal, M. (2018). "Dynamic Multi-Level Multi-Task Learning for Sentence Simplification." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 462-476.

Johnson, M., Schuster, M., Le, Q. V., Krikun, M., Wu, Y., Chen, Z., Thorat, N., Viégas, F., Wattenberg, M., Corrado, G., Hughes, M., and Dean, J. (2017). "Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation." Transactions of the Association for Computational Linguistics, 5, pp. 339-351.

Junczys-Dowmunt, M., Grundkiewicz, R., Dwojak, T., Hoang, H., Heafield, K., Neckermann, T., Seide, F., Germann, U., Aji, A. F., Bogoychev, N., Martins, A. F. T., and Birch, A. (2018). "Marian: Fast Neural Machine Translation in C++." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, System Demonstrations, pp. 116-121.

Kincaid, J. P., Fishburne Jr., R. P., Rogers, R. L., and Chissom, B. S. (1975). "Derivation of New Readability Formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel." Technical report, Defence Technical Information Center Document, pp. 8-75.

Kingma, D. P. and Ba, J. L. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations, pp. 1-15.

Krashen, S. D. (1985). "The Input Hypothesis: Issues and Implications." London: Longman.

Li, J., Galley, M., Brockett, C., Spithourakis, G. P., Gao, J., and Dolan, B. (2016). "A PersonaBased Neural Conversation Model." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 994-1003.

Maddela, M. and Xu, W. (2018). "A Word-Complexity Lexicon and A Neural Readability Ranking Model for Lexical Simplification." In Proceedings of the 2018 Conference on Empirical

Methods in Natural Language Processing, pp. 3749-3760.

Mallinson, J. and Lapata, M. (2019). "Controllable Sentence Simplification: Employing Syntactic and Lexical Constraints." arXiv:1910.04387.

Kajiwara, T. and Komachi, M. (2016). "Building a Monolingual Parallel Corpus for Text Simplification Using Sentence Similarity Based on Alignment between Word Embeddings." In Proceedings of the 26th International Conference on Computational Linguistics, pp. 1147-1158.

Nishihara, D., Kajiwara, T., and Arase, Y. (2019). "Controllable Text Simplification with Lexical Constraint Loss." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 260-266.

西原大貴, 梶原智之, 荒瀬由紀 (2019). ソフトな語彙制約によるテキスト難易度制御の検討. 情報処理学会第 240 回自然言語処理研究会, 2019-NL-24 (8), pp. 1-6.

Nisioi, S., Štajner, S., Ponzetto, S. P., and Dinu, L. P. (2017). "Exploring Neural Text Simplification Models." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 85-91.

Niu, X., Rao, S., and Carpuat, M. (2018). "Multi-Task Neural Models for Translating Between Styles Within and Across Languages." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1008-1021.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Pavlick, E. and Callison-Burch, C. (2016). "Simple PPDB: A Paraphrase Database for Simplification." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 143-148.

Pennington, J., Socher, R., and Manning, C. D. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Petersen, S. E. and Ostendorf, M. (2007). "Text Simplification for Language Learners: A Corpus Analysis." In Proceedings of Workshop on Speech and Language Technology in Education, pp. 69-72.

Scarton, C. and Specia, L. (2018). "Learning Simplifications for Specific Target Audiences." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 712-718.

Shardlow, M. (2014). "A Survey of Automated Text Simplification." International Journal of Advanced Computer Science and Applications, Special Issue on Natural Language Processing

2014, pp. 58-70.

Specia, L. (2010). "Translating from Complex to Simplified Sentences." In Proceedings of the 9th International Conference on Computational Processing of the Portuguese Language, pp. 30-39.

Sun, H. and Zhou, M. (2012). "Joint Learning of a Dual SMT System for Paraphrase Generation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 38-42.

Vu, T., Hu, B., Munkhdalai, T., and Yu, H. (2018). "Sentence Simplification with MemoryAugmented Neural Networks." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 79-85.

Wubben, S., van den Bosch, A., and Krahmer, E. (2012). "Sentence Simplification by Monolingual Machine Translation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 1015-1024.

Xu, W., Callison-Burch, C., and Napoles, C. (2015). "Problems in Current Text Simplification Research: New Data Can Help." Transactions of the Association for Computational Linguistics, 3, pp. 283-297.

Xu, W., Napoles, C., Pavlick, E., Chen, Q., and Callison-Burch, C. (2016). "Optimizing Statistical Machine Translation for Text Simplification." Transactions of the Association for Computational Linguistics, 4, pp. 401-415.

Zhang, X. and Lapata, M. (2017). "Sentence Simplification with Deep Reinforcement Learning." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 584-594.

Zhao, S., Meng, R., He, D., Andi, S., and Bambang, P. (2018). "Integrating Transformer and Paraphrase Rules for Sentence Simplification." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3164-3173.

Zhu, Z., Bernhard, D., and Gurevych, I. (2010). "A Monolingual Tree-based Translation Model for Sentence Simplification." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 1353-1361.

## 略歴

西原大貴：2019 年大阪大学工学部電子情報工学科卒業, 同年大阪大学大学院

情報科学研究科マルチメディア工学専攻に進学. 現在に至る. 自然言語処理の研究に従事.
梶原智之：2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程電気電子情報工学専攻修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域修了。博士 (工学). 同年より大阪大学データビリティフロンティア機構特任助教. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)。同年, 北京の Microsoft Research Asia に入社, 自然言語処理に関する研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現認識と生成，機械翻訳技術，対話システムに興味を持つ。


# 関係分類における依存木上の重要トークンの自動判別
## 辻村 有輝 $\dagger \cdot$ 三輪 誠 $\dagger \cdot$ 佐々木 裕 $\dagger$

本稿では関係分類における入力トークンの重要性を学習し, 不要な情報をマスクするマスク機構を提案する。入力文の依存木上における，注目エンティティ間を結ぶ最短経路上には関係分類において重要な情報がよく存在するため, 関係分類の特徴の一つとしてよく利用される。しかし, このヒューリスティックは所有格の $s$ のように, 最短経路外に重要なトークンが存在するような例外に対してはあてはまらない. そこで本研究では重要なトークンの判別規則を学習する機構を導入しそのような事例に対応する。学習はタスク損失から End-to-End に行われ，追加アノテーションは必要ない，実験の結果，提案手法は最短経路のヒューリスティックを上回る識別性能を記録した。また, 提案機構が学習するマスクは最短経路と高い類似度となる一方, 所有格の $s$ など最短経路外の重要なトークンも利用するよう学習された. キーワード：関係分類，依存木，マスク

## Automatic Detection of Important Tokens on Dependency Trees for Relation Classification

\author{
Tomoki Tsujimura ${ }^{\dagger}$, Makoto Miwa $^{\dagger}$ and Yutaka Sasaki ${ }^{\dagger}$
}

This paper proposes a masking mechanism that learns the importance of each input token and masks unnecessary tokens for relation extraction. As a feature of relation classification models, the shortest path between target entities in the dependency tree of an input sentence is often employed since it is known to well capture important information for relation classification. However, this heuristic rule is inapplicable to exceptional relation expressions such as relations that require tokens outside of the path (e.g., the possessive "s"). We handle such inflexibility by employing a novel masking mechanism that learns a masking rule of important tokens. We performed the training in an end-to-end manner by using the loss of the relation classification task without the need for additional annotations. The experimental results show that our proposed method shows better classification performance than the models with the shortest path heuristics. Furthermore, the learned masks highly correspond to the shortest paths, while capturing some important tokens outside the shortest paths such as possessive " $\mathrm{s}$ ".

Key Words: Relation Classification, Dependency Tree, Masking

## 1 はじめに

本稿ではニューラル関係分類モデルの中間表現中の不要な情報の除去に取り組む. 関係分類とは，文書内のエンティティのペア間について，その文書内の言及に基づいた関係を識別する夕スクである。本研究では特に一文中に存在するエンティティペア間の関係分類を扱う。このタスクにおいては, 文の依存構造情報の利用が有用であることが知られている (Culotta and Sorensen 2004). 特に，依存木上のエンティティペア間を繋ぐ最短経路内に存在するトークンのみを関係分類モデルの入力にするヒューリスティックを用いることで, さらなる識別性能の向上が報告されている (Bunescu and Mooney 2005). この手法は, エンティティペア間の関係についての言及は依存構造木上でそのぺア間を繋ぐ最短経路上に大抵の場合存在するという観察結果に基づいている．この手法によって，入力文が非常に長い場合や，エンティティペアの間に多くのトークンが含まれるような場合であっても，そのうち構文的にエンティティペアを直接繋げる比較的少量のトークンのみを抜き出すことができる.

最短経路のヒューリスティックは, 元々 Support Vector Machine (SVM) による特徴量ベー スの関係分類モデルにおいて提案されていたが，ニューラルネットワークによるニューラル関係分類モデルにおいても有効であることが報告されている $(\mathrm{Xu}, \mathrm{Mou}, \mathrm{Li}, \mathrm{Chen}, \mathrm{Peng}$, and Jin 2015; Xu, Jia, Mou, Li, Chen, Lu, and Jin 2016; Miwa and Bansal 2016). しかしながら, 関係についての言及は常に最短経路上にのみ存在するわけではなく，そのような例外のケースでは最短経路上の情報のみを入力とするのは不十分である。例えば図 1 の cable と insulation 間の関係分類を行うときを考えると，所有格の $s$ は最短経路上には含まれず，最短経路上のトークンのみから関係分類を行う場合, 関係の向きが不明瞭になってしまう.

Component-Whole（部品の関係）

入力文 : A portion of the Ethernet $\underset{\text { cable }}{\text { cabs }} \underbrace{\text { s }}_{\mathrm{e} 2}$ outer insulation is connector as well.

依存構造

取り出し

取り出し

図 1 最短経路やその子ノードを含む部分木を取り出すヒューリスティックの例. 注目エンティティペアを e1と e2で示した.

Zhang らは Graph Convolutional Network (GCN) で依存木を用いて計算を行う際，最短経路上のトークンのみではなく, 最短経路上のトークンから数ステップの距離にある子トークンも含めた部分木を利用することで，木全体や最短経路上のトークンのみを利用する場合よりも性能向上を達成できる手法を提案した (Zhang, Qi, and Manning 2018).この手法で距離 1 までのトークンを利用する場合，図 1 における所有格の $s$ を含めることができる。しかし, the や ethernet といった関係分類に不要なトークンも含めてしまうため, さらに良い選択規則が存在することを示唆している.

本研究では, 関係分類の識別性能の向上を目指し, ニューラルネットワークによる重要トー クンの判別を行うマスク機構と，それを用いたニューラル関係分類モデルを提案する。この提案機構では，ヒューリスティックの代わりに，学習を通じて重要トークンの判別規則を獲得する。学習は関係分類のタスク損失から End-to-Endに行われ，追加のアノテーションの必要はない. マスク機構の訓練では Gumbel トリックを用いたサンプリング (Jang, Gu, and Poole 2017) を行うことで，離散的なトークンの選択処理を自然に表現する，加えて，訓練中はマスク機構内にノイズを加えることで，マスクされるトークンの量をコントロールする。 さらに，アテンション機構を用いることでマスクされた入力を元に計算された表現を集約する。提案モデルは再帰型／木構造ニューラルネットワークによる関係分類モデルである LSTM-ER モデル (Miwa and Bansal 2016)をべースに，提案機構を導入する形で構築する，実験では提案モデルと，提案機構を導入せず代わりに依存木全体やヒューリスティックによる部分木を用いたモデルと比較することで，提案手法の有効性を確認した。

本研究の貢献は以下の三つである.

（1）最短経路のヒューリスティックを用いる代わりに，学習から重要なトークンの判別規則を学習するマスク機構を提案した。マスク機構は Gumbel トリックを用いることで訓練可能な離散的なマスクを表現し, 追加のアノテーションなしにタスク損失から End-to-End に学習が可能である.

（2）提案機構を導入した関係分類モデルにより，最短経路のヒューリスティックを上回る性能を得た. また依存木全体を用いるべースラインモデルに対し有意な性能向上を達成した.

(3) 提案機構により学習されたマスクと最短経路のヒューリスティックの類似度について調査した。学習されたマスクは最短経路と高い類似度となった一方, 異なる学習試行ごとのマスク間の類似度はさらに高く, 最短経路と一部異なる判別規則を学習していることを確認した。

## 2 関連研究

## 2.1 関係分類

関係分類とは，文書内のエンティティのぺア間について，その文書内の言及に基づいた関係を分類するタスクである。例えば, “The doctor implanted an injection into three vertical glabellar furrows."という文中の, injection と furrows というエンティティペアに注目したとき, injection を furrowsに注射したとの言及から，この二者間には一方をもう一方の位置に移したという“移動物とその移動先の関係”が成立していると分類する。候補となる関係クラスセットのうちのどれ一つも成立していない場合，負例クラスを割り当てる.

一文内に同時に出現しているエンティティペア間からの関係分類では，依存構造木の利用が有効であることが知られている (Culotta and Sorensen 2004). 特に, この設定においてエンティティペア間の関係について言及している箇所は, 依存構造木におけるエンティティペアを繋ぐ最短経路のパス上に存在することが多いという観察結果がある。この観察結果に基づき, 最短経路上に存在するトークンのみによる情報を関係分類モデルの入力とすることで関係分類に不要な情報を除去し, 識別性能の向上を達成する手法が報告されている (Bunescu and Mooney 2005). この最短経路のヒューリスティックでは, 入力文が非常に長い場合や, エンティティペアの間に多くのトークンが含まれるような場合であっても，そのうち構文的にエンティティペアを直接繋げる比較的少量のトークンのみを抜き出すことができる.

最短経路のみを利用するヒューリスティックは, もともとは特徴量べースのシステムで提案されたものであるが, 近年のニューラル関係分類モデルにおいても有効性が確認されている (Xu et al. 2015, 2016; Miwa and Bansal 2016). Xu らは依存木上の最短経路パスを最近共通祖先ノー ドで分割し，それぞれを系列 Long Short-Term Memory (LSTM) を用いてエンコードすることで構文情報を利用する SDP-LSTM モデルを提案した (Xu et al. 2015)。さらに Xu らは, LSTM の代わりに多層再帰型ニューラルネットワークを用いたDRNNs モデルを提案しており, 関係ラベルの向きを逆転させた事例の利用とあわせることでさらなる性能向上を達成している (Xu et al. 2016). これらの二つのモデルでは, 各単語の WordNet 情報 (Fellbaum 1998)の埋め込みが入力に利用されている。三輪らは系列 LSTM と木構造 LSTM をスタックすることで系列情報と依存木情報を共に利用する LSTM-ER モデルを提案した (Miwa and Bansal 2016). このモデルにおいて，依存木全体ではなく最短経路上のトークンのみからなる部分木を利用することにより性能が向上すると報告している。また, WordNet 埋め込みの利用により，さらなる性能向上が報告されている.

最短経路のヒューリスティックの有効性が報告されている一方で, not やinto, 所有格の $s$ など，一部の関係分類に有用な単語には最短経路外に存在してしまうものがある．Zhang らは最短経路外の重要なトークンを利用しつつ, 不要なトークンは最大限除去するために, 最短経路
上のトークンから特定の距離内の子トークンも利用するヒューリスティックを提案した (Zhang et al. 2018). 実験では, このヒューリスティックの距離 1 , すなわち最短経路上の各トークンとそれらの直接の子トークンを利用する設定を用いることで，GCN ベースの関係分類モデルの識別性能を, 最短経路のヒューリスティックを用いる場合よりもさらに向上できると報告されている。しかしながらこのヒューリスティックでは, 図 1 における the や ethernet など, 最短経路外に存在する不要な情報を入力に含めてしまうという問題がある。また, このヒューリスティックは最短経路上のトークンの子孫のみを追加する手法であり，エンティティペアの最近共通祖先より上の祖先などについては利用しない.

Shen らは畳み込みニューラルネットワークを用いた関係抽出モデルによって, 依存構造木を用いることなく高い識別性能を達成した (Shen and Huang 2016). このモデルはアテンション機構を利用しており，重要な情報を持つ単語への重み付けを自動で学習する。

近年，大規模コーパスによる事前学習済み言語モデルが，様々な自然言語処理タスクにおいて高い転移性能を記録している (Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018; Devlin, Chang, Lee, and Toutanova 2019). そのうちの一つである BERT モデルは, 文中のマスクされたトークンを予測する穴埋め問題と, 隣接文推定によって双方向言語モデルを学習する (Devlin et al. 2019)，事前学習済み BERT モデルを用いた関係分類モデルである $\mathrm{BERT}_{\mathrm{EM}}$ モデルは, 入力文中にエンティティの位置を示す特殊なトークンを挿入することで, 複数の関係分類タスクにおいて既存手法を上回る識別性能を達成した (Baldini Soares, FitzGerald, Ling, and Kwiatkowski 2019).

## 2.2 Gumbel トリック

Jang らは, Gumbel トリックと呼ばれる, 離散的な確率変数の勾配計算のための, 任意のカテゴリカル分布に基づいた確率分布のサンプリング手法を提案した (Jang et al. 2017). この手法によってサンプリングされる確率分布は, その分布中で最大の確率となるクラスの分布が元のカテゴリカル分布と同じになる。 また, サンプリングされる確率值は, 温度パラメータによって 0 か 1 に近付くようにコントロールでき，低い温度に設定することによって（ほとんど）離散的なサンプリングを実現できる。 さらに, このサンプリングされた分布は元のカテゴリカル分布の値について連続であるため, このサンプリング手法をニューラルネットワークモデル内に組み込むことで，カテゴリカル分布の計算に用いたパラメータを勾配法によって学習でき， ネットワーク内で離散的な挙動を行う機構を自然に表現できる.

## 3 提案手法

本稿では不要な箇所の判別法を自動で学習し遮断するマスク機構を備えたニューラル関係分類モデルを提案する。提案モデルの概観を図 2 に示す. マスク機構は注目エンティティペア間の関係分類を行うにあたり不要なトークンの表現ベクトルを 0 ベクトルにマスクし, 続く木構造 LSTM 層にはこのマスク後のベクトル列を入力として計算を行う．木構造 LSTM からの出力はアテンション機構によって集約され, その後の隠れ層へと入力される.

本章では, 初めに本研究におけるべースラインモデルの説明を行う。続いて, 提案手法となるマスク機構と, その機構内でマスク量を増進するために行うノイズの加算について説明する.次に, 木構造 LSTM 層からの出力を集約するアテンション機構の構造について述べる. 最後に,提案機構を導入した関係分類モデルの全体像について述べる.

## 3.1 ベースラインモデル

本研究ではベースラインモデルとして系列 LSTM と木構造 LSTM をスタックしたニューラル関係分類モデルを用いた。このモデルは三輪らの LSTM-ER モデル (Miwa and Bansal 2016) を基としており，単語列とそれぞれの品詞，およびその単語列のうちの注目しているエンティティペアの位置を受け取り，その注目ペア間に成立する関係について，各クラスごとの予測確率を出力する. このモデルは入力層, 系列 LSTM 層, 木構造 LSTM 層, 隠れ層, 出力層の五つの層から構成される。

入力入力層

系列
LSTM層

マスク機構

図 2 提案モデルの概観. 注目エンティティペアを $\mathrm{e} 1$ と $\mathrm{e} 2$ で示した.

## 3.1.1 入力層

入力層では入力系列の各トークンの単語の埋め込みベクトルと品詞の埋め込みベクトルを連結し，それぞれの単語べクトルとする。入力中の $i$ 番目のトークンの単語ベクトル $\boldsymbol{v}_{i}^{\text {in }}$ は, その単語を $w_{i}$, 品詞を $s_{i}$ としたとき以下から得る.

$
\boldsymbol{v}_{i}^{\text {in }}=\left[\operatorname{Lookup}\left(W^{\text {word }}, w_{i}\right) ; \operatorname{Lookup}\left(W^{\mathrm{POS}}, s_{i}\right)\right]
$

ここで $W^{\text {word }} W^{\mathrm{POS}}$ はそれぞれ単語と品詞の埋め込み行列で, 行数はそれぞれ $d^{W}$ 行と $d^{P}$行である. Lookup は行列中の対応する列べクトルを返す関数である. $[\boldsymbol{a} ; \boldsymbol{b}]$ はべクトル $\boldsymbol{a}$ と $\boldsymbol{b}$ の列方向での連結を表す。

## 3.1.2 系列 LSTM 層

系列 LSTM 層では単語ベクトルを双方向系列 LSTM に入力し, 文脈を考慮した単語ベクトルとする.この層で用いる系列 LSTM としては, peephole結合 (Gers, Schraudolph, and Schmidhuber 2002)を備えた構造のものを利用する.

入力文の系列長を $n^{s}$ としたとき, 順方向の系列 LSTM $の$ 出力 $\boldsymbol{v}_{1}^{\rightarrow}, \ldots, \boldsymbol{v}_{n^{s}}^{\rightarrow}$ は以下の式より得る.

$
\begin{aligned}
\boldsymbol{g}_{i} \rightarrow & =\tanh \left(W^{f g}\left[\boldsymbol{v}_{i}^{\text {in }} ; \boldsymbol{v}_{i-1}\right]+\boldsymbol{b}^{f g}\right) \\
\boldsymbol{i}_{i} \rightarrow & =\sigma\left(W^{f i}\left[\boldsymbol{v}_{i}^{\text {in }} ; \boldsymbol{v}_{i-1}\right]+\boldsymbol{w}^{f i} \odot \boldsymbol{c}_{i-1}+\boldsymbol{b}^{f i}\right) \\
\boldsymbol{f}_{i} \rightarrow & =\sigma\left(W^{f f}\left[\boldsymbol{v}_{i}^{\text {in }} ; \boldsymbol{v}_{i-1}\right]+\boldsymbol{w}^{f f} \odot \boldsymbol{c}_{i-1}^{\rightarrow}+\boldsymbol{b}^{f f}\right) \\
\boldsymbol{c}_{i} \rightarrow & =\boldsymbol{i}_{i} \rightarrow \odot \boldsymbol{g}_{i}^{\rightarrow}+\boldsymbol{f}_{i} \rightarrow \odot \boldsymbol{c}_{i-1} \\
\boldsymbol{o}_{i} & =\sigma\left(W^{f o}\left[\boldsymbol{v}_{i}^{\text {in }} ; \boldsymbol{v}_{i-1}\right]+\boldsymbol{w}^{f o} \odot \boldsymbol{c}_{i}+\boldsymbol{b}^{f o}\right) \\
\boldsymbol{v}_{i} \rightarrow & =\boldsymbol{o}_{i} \rightarrow \tanh \left(\boldsymbol{c}_{i}\right)
\end{aligned}
$

出力 $\boldsymbol{v}_{i} \rightarrow$ の次元数を $d^{\mathrm{cseq}}$ とする。 $W^{f g}, W^{f i}, W^{f f}, W^{f o}$ はそれぞれ $d^{\mathrm{cseq}} \times\left(d^{W}+d^{P}+d^{\mathrm{cseq}}\right)$ 次元の重み行列で, $\boldsymbol{w}^{f i}, \boldsymbol{w}^{f f}, \boldsymbol{w}^{f o}$ は $d^{\mathrm{cseq}}$ 次元の重みベクトル, $\boldsymbol{b}^{f g}, \boldsymbol{b}^{f i}, \boldsymbol{b}^{f f}, \boldsymbol{b}^{f o}$ は $d^{\mathrm{cseq}}$ 次元のバイアスである．。はアダマール積で， $\sigma$ はシグモイド関数である。初期状態 $\boldsymbol{c}_{0}^{\rightarrow}, \boldsymbol{v}_{0}^{\rightarrow}$ にはゼロベクトルを用いる。逆方向の系列 LSTM の出力 $\boldsymbol{v}_{1}^{\leftarrow}, \ldots, \boldsymbol{v}_{n^{s}}^{\leftarrow}$ は入力文の末尾から逆順で処理することにより得る. 重みとバイアスは各方向ごとに別個に用意する.

この双方向系列 LSTM の出力に, 入力文の依存木における親トークンへの係り受け $t_{i}$ の埋め达みベクトルと, 注目エンティティペアそれぞれからの相対距離の埋め込みべクトルを連結し, これを系列 LSTM 層の出力 $\boldsymbol{v}_{1}^{\mathrm{seq}}, \ldots, \boldsymbol{v}_{n^{s}}^{\mathrm{seq}}$ とする.

$
\begin{aligned}
\boldsymbol{v}_{i}^{\text {dep }} & =\operatorname{Lookup}\left(W^{\text {dep }}, t_{i}\right) \\
\boldsymbol{v}_{j}^{\text {rpos }} & =\operatorname{Lookup}\left(W^{\text {rpos }}, \operatorname{Clip}(j,-P, P)\right)
\end{aligned}
$

$
\boldsymbol{v}_{i}^{\mathrm{seq}}=\left[\boldsymbol{v}_{i}^{\rightarrow} ; \boldsymbol{v}_{i}^{\leftarrow} ; \boldsymbol{v}_{i}^{\mathrm{dep}} ; \boldsymbol{v}_{i-\mathrm{e} 1}^{\mathrm{rpos}} ; \boldsymbol{v}_{i-\mathrm{e} 2}^{\mathrm{rpos}}\right],
$

相対距離の埋め込み行列であり，各列べクトル $\boldsymbol{v}_{j}^{\mathrm{rpos}}$ の次元数は $d^{R}$ である. $\mathrm{e} 1$ と $\mathrm{e} 2$ は注目工ンティティペアのそれぞれのインデックスを表す. $\operatorname{Clip}(a, b, c)$ は值 $a$ を最小 $b$, 最大 $c$ の範囲に収まるようにクリッピングする関数であり，P は相対距離のウィンドウサイズを表すハイパー パラメータである.

## 3.1.3 木構造 LSTM 層

木構造 LSTM 層では，系列 LSTM 層の出力を入力として，入力文の依存木に基いて木構造 LSTM の計算を行う．この層では上向きと下向きの各方向について依存木を走査する, 双方向木構造 LSTM を用いる，木構造 LSTM の実装には，メモリの追加分 $\boldsymbol{g}_{i}^{\uparrow}$ や入力, 出力ゲート $\boldsymbol{i}_{i}^{\uparrow}, \boldsymbol{o}_{i}^{\uparrow}$ を前状態群の単純な合計から計算する Child-Sum 木構造 LSTM (Tai, Socher, and Manning 2015) を用いる。上向き木構造 LSTM の計算は以下となる.

$
\begin{aligned}
\boldsymbol{g}_{i}^{\uparrow} & =\tanh \left(W^{u g x} \boldsymbol{v}_{i}^{\text {seq }}+\sum_{j \in \operatorname{Child}(i)} W^{u g h} \boldsymbol{v}_{j}^{\uparrow}+\boldsymbol{b}^{u g}\right) \\
\boldsymbol{i}_{i}^{\uparrow} & =\sigma\left(W^{u i x} \boldsymbol{v}_{i}^{\text {seq }}+\sum_{j \in \operatorname{Child}(i)} W^{u i h} \boldsymbol{v}_{j}^{\uparrow}+\boldsymbol{b}^{u i}\right) \\
\boldsymbol{f}_{i j}^{\uparrow} & =\sigma\left(W^{u f x} \boldsymbol{v}_{i}^{\text {seq }}+W^{u f h} \boldsymbol{v}_{j}^{\uparrow}+\boldsymbol{b}^{u f}\right) \quad \text { for } j \in \operatorname{Child}(i) \\
\boldsymbol{c}_{i}^{\uparrow} & =\boldsymbol{i}_{i}^{\uparrow} \odot \boldsymbol{g}_{i}^{\uparrow}+\sum_{j \in \operatorname{Child}(i)} \boldsymbol{f}_{i j}^{\uparrow} \odot \boldsymbol{c}_{j}^{\uparrow} \\
\boldsymbol{o}_{i}^{\uparrow} & =\sigma\left(W^{u o x} \boldsymbol{v}_{i}^{\text {seq }}+\sum_{j \in \operatorname{Child}(i)} W^{u o h} \boldsymbol{v}_{j}^{\uparrow}+\boldsymbol{b}^{u o}\right) \\
\boldsymbol{v}_{i}^{\uparrow} & =\boldsymbol{o}_{i}^{\uparrow} \odot \tanh \left(\boldsymbol{c}_{i}^{\uparrow}\right),
\end{aligned}
$

出力 $\boldsymbol{v}_{i}^{\uparrow}$ の次元数を $d^{\mathrm{ctree}}$ とする. $W^{u g x}, W^{u i x}, W^{u f x}, W^{u o x}$ はそれぞれ $d^{\mathrm{ctree}} \times\left(2 d^{\mathrm{cseq}}+d^{D}+2 d^{R}\right)$次元の重み行列で, $W^{u g h}, W^{u i h}, W^{u f h}, W^{u o h}$ はそれぞれ $d^{\mathrm{ctree}} \times d^{\mathrm{ctree}}$ 次元の重み行列である. $\boldsymbol{b}^{u g}, \boldsymbol{b}^{u i}, \boldsymbol{b}^{u f}, \boldsymbol{b}^{u o}$ は $d^{\mathrm{ctree}}$ 次元のバイアスである. Child $(a)$ はノード $a$ の子ノードの集合を表す関数である. 下向き木構造 LSTM の出力 $v_{1}^{\downarrow}, \ldots, v_{n^{s}}^{\downarrow}$ は別個に重みとバイアスを用意し, 子ノードの代わりに親ノードを前の状態に用いることで計算する。親ノードは常に高々一つしか存在しないので，下向き木構造 LSTM は peepholeのない系列 LSTM とほとんど同様の計算式になる.

木構造 LSTM 層の出力 $\boldsymbol{v}^{\text {tree }}$ は, 上向き木構造 LSTM における, 依存木上で根ノードにあたるトークンの出力ベクトルと, 下向き木構造 LSTM における注目エンティティペアの各出力ベクトルを連結したべクトルであり，これを続く隠れ層へ入力する。

$
\boldsymbol{v}^{\text {tree }}=\left[\boldsymbol{v}_{\text {root }}^{\uparrow} ; \boldsymbol{v}_{\mathrm{e} 1}^{\downarrow} ; \boldsymbol{v}_{\mathrm{e} 2}^{\downarrow}\right]
$

rootは根ノードのトークンのインデックスを表す.

## 3.1.4 隠れ層 - 出力層

隠れ層は全結合層と $\tanh$ 関数による活性化で構成される。この層では木構造 LSTM 層の出力を入力として隠れべクトル $h$ を得る.

$
\boldsymbol{h}=\tanh \left(W^{h} \boldsymbol{v}^{\text {tree }}+\boldsymbol{b}^{h}\right)
$

ここで $W^{h}$ と $\boldsymbol{b}^{h}$ はそれぞれ重み行列とバイアスである. この隠れベクトルは出力層に入力され，ソフトマックス関数を適用することにより最終的な関係クラス $c$ ごとの予測確率 $p_{c}$ を得る.

$
p_{c}=\frac{\exp \left(\boldsymbol{w}_{c}^{o \top} \boldsymbol{h}+b_{c}^{o}\right)}{\sum_{i} \exp \left(\boldsymbol{w}_{i}^{o \top} \boldsymbol{h}+b_{i}^{o}\right)},
$

ここで $\boldsymbol{w}_{c}^{o}$ と $b_{c}^{o}$ はそれぞれ関係クラス $c$ ごとの重みベクトルとバイアスである.

## 3.1.5 LSTM-ER モデルとの相違点

ベースラインモデルは LSTM-ER モデルとほとんど同じ構造であるが, 主に以下の三つの点で異なる。一つ目の相違点は木構造 LSTM の計算である. LSTM-ER モデルでは最短経路かそうでないかによって利用する行列を変え，また各子ノードに対する忘却ゲートの計算に他の兄弟ノードを利用する，SPTree と呼ばれる木構造 LSTM (Miwa and Bansal 2016) を用いるが，本研究のベースラインモデルには Child-Sum 木構造 LSTM (Tai et al. 2015) を用いる. これは,我々の目的が最短経路のヒューリスティックの利用からの脱却を目指しているからである。また, Child-Sum 木構造 LSTM はその計算式の単純さから並列化が容易であるというメリットもある.二つ目に，ベースラインモデルでは全層でドロップアウト (Srivastava, Hinton, Krizhevsky, Sutskever, and Salakhutdinov 2014) を利用するようにする. ドロップアウト率は開発データでチューニングを行い決定する。三つ目の違いとして，LSTM-ER モデルでは木構造 LSTM 層をスキップして系列 LSTM の出力を直接隠れ層へ入力する，Pair と呼ばれるコネクションが存在するが, 本研究ではこれを取り外したモデルを主に用いる. これは, 我々の提案手法が木構造 LSTM 層の計算に影響を及ぼす手法であり，提案手法の影響がより直接出力に現れるようにするためである. Pairコネクションを利用する場合の隠れ層は, 元々の入力 $\boldsymbol{v}^{\text {tree }}$ に加えて, エンティティペアに対応する双方向系列 LSTM の出力を結合したべクトル $\boldsymbol{v}^{\text {pair }}$ を力とする.

$
\boldsymbol{v}^{\text {pair }}=\left[\boldsymbol{v}^{\text {tree }} ; \boldsymbol{v}_{\mathrm{e} 1}^{\rightarrow} ; \boldsymbol{v}_{\mathrm{e} 1}^{\leftarrow} ; \boldsymbol{v}_{\mathrm{e} 2}^{\rightarrow} ; \boldsymbol{v}_{\mathrm{e} 2}^{\leftarrow}\right]
$

## 3.2 マスク機構

関係分類にあたり不要な情報を取り除くマスク機構を提案する。この機構は, ニューラル関係分類モデルの中間層として働き，注目しているエンティティペアの関係について無関係なトー クンを判別し，対応する中間表現を 0 ベクトルにすることで情報を取り除く.

## 3.2.1確信度スコアとマスクの計算

初めに, この機構は各トークンが注目エンティティペアの関係についての言及であるかどうかの確信度スコアを計算する。この確信度は高ければ高いほど関係についての言及であると判断したことを表す。 $i$ 番目のトークンの確信度スコア $c_{i}$ を以下の式で計算する.

$
\begin{aligned}
\boldsymbol{v}^{m q} & =\frac{\boldsymbol{v}_{\mathrm{e} 1}^{\mathrm{seq}}+\boldsymbol{v}_{\mathrm{e} 2}^{\mathrm{seq}}}{2} \\
\boldsymbol{h}^{m q} & =\operatorname{Normalize}\left(W^{m q} \boldsymbol{v}^{m q}\right) \\
\boldsymbol{h}^{m k} & =\operatorname{Normalize}\left(W^{m k} \boldsymbol{v}_{i}^{\mathrm{seq}}\right) \\
c_{i} & =\sigma\left(\frac{\boldsymbol{h}^{m q}{ }^{\top} \boldsymbol{h}^{m k}}{\sqrt{d^{m}}}\right),
\end{aligned}
$

ここで $\boldsymbol{v}_{i}^{\mathrm{seq}}$ は式 (3) の系列 LSTM 層からの $i$ 番目のトークンの出力である. $W^{m q}$ と $W^{m k}$ は $d^{m} \times\left(2 d^{\mathrm{cseq}}+d^{D}+2 d^{R}\right)$ 次元の重み行列で, $d^{m}$ はマスク機構の隠れベクトルの次元数である. Normalize は与えられたべクトルが平均 0 , 分散 1 になるように正規化する関数である.

$
\begin{aligned}
\operatorname{mean}(\boldsymbol{v}) & =\frac{1}{\operatorname{dim}(\boldsymbol{v})} \sum_{i} v_{i} \\
\operatorname{stddev}(\boldsymbol{v}) & =\sqrt{\frac{1}{\operatorname{dim}(\boldsymbol{v})} \sum_{i}\left(v_{i}-\operatorname{mean}(\boldsymbol{v})\right)^{2}} \\
\operatorname{Normalize}(\boldsymbol{v}) & =\frac{\boldsymbol{v}-\operatorname{mean}(\boldsymbol{v})}{\operatorname{stddev}(\boldsymbol{v})}
\end{aligned}
$

$\operatorname{dim}(\boldsymbol{v})$ はべクトル $\boldsymbol{v}$ の次元数である. この確信度スコア $c_{i}$ の, 各トークンの表現ベクトルを用いた内積を, その次元数の正の平方根で除する計算は, Vaswawni らによるアテンション機構 (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, and Polosukhin 2017)の計算式を参考にしている。式 (9) 中の $\boldsymbol{v}^{m q}$ は, エンティティペアの関係を言及するような重要なトークンを判定するためのクエリの役割を果たす。エンティティペアの関係を言及するトークンは， ぺアの順序に依存しないと考えられるので， $\boldsymbol{v}^{m q}$ はぺアの順序に依存しにくくなるようぺアに対応する系列 LSTM 層の出力 $\boldsymbol{v}_{\mathrm{e} 1}^{\mathrm{seq}}, \boldsymbol{v}_{\mathrm{e} 2}^{\mathrm{seq}}$ の平均の形で計算することとした。たたし式 (3) の通り,各 $\boldsymbol{v}_{i}^{\mathrm{seq}}$ 自体に両エンティティからの相対距離の埋め込みべクトルが順序依存で連結されているため, エンティティぺアの順序の入れ替えについて完全なロバストではない.
訓練時は得られた $c_{i}$ に基づき, Gumbelトリック (Jang et al. 2017)を用いてほとんど 0 か 1 に近い值になるマスク $m_{i}$ をサンプリングする.

$
\begin{aligned}
u_{c_{i}}^{(0)}, u_{c_{i}}^{(1)} & \sim \operatorname{Uniform}(0,1) \\
x_{c_{i}}^{(1)} & =c_{i} \\
x_{c_{i}}^{(0)} & =1-c_{i} \\
l_{c_{i}}^{(k)} & =\frac{\log \left(x_{c_{i}}^{(k)}\right)-\log \left(-\log \left(u_{c_{i}}^{(k)}\right)\right)}{\tau} \quad \text { for } \mathrm{k} \in\{0,1\} \\
m_{i} & =\frac{\exp \left(l_{c_{i}}^{(1)}\right)}{\exp \left(l_{c_{i}}^{(0)}\right)+\exp \left(l_{c_{i}}^{(1)}\right)},
\end{aligned}
$

ここで $\tau$ は温度パラメータであり，学習せず訓練の進行に合わせて少しずつ小さくする。これによって得られるマスク $m_{i}$ は, 確信度スコア $c_{i}$ が高いほど 1 に近い值を, 確信度が低いほど 0 に近い値をとる頻度が高くなる。また， $c_{i}$ について連続であるため， $c_{i}$ の計算に用いられた重みを勾配法によって学習すること可能である。このマスクを系列 LSTM の出力に乗じることによってモデルが不要と判断した情報を取り除いたべクトル列を獲得し，それを木構造 LSTM への入力とする.

## 3.2.2 ノイズによるマスク量の増進

系列 LSTM 層の出力へのマスクの乗算により, 不要なトークンに対する確信度が低い値になるように学習されれば，不要な情報の削減は実現される，しかしながら実際にこのまま適用すると，学習される確信度の值はほとんど 1 となり，ほとんどマスクされずに木構造 LSTMへ入力されてしまう，そこで，モデルの訓練時, 入力にマスク量に応じたノイズを加えることによってマスクされるトークン数を増進し, この問題を解決する。

初めに, 文中の各トークンに対する確信度の平均値としてその文のトークンの生存率 $r$ を計算する。

$
r=\frac{\sum_{i=1}^{n^{s}} c_{i}}{n^{s}}
$

次に, 系列 LSTM からの出力と同じ次元の正規分布 $\mathcal{N}(\mathbf{0}, \boldsymbol{I})$ からサンプリングしたべクトル $\boldsymbol{p}_{i}$ に, この生存率 $r$ とノイズの係数パラメータ $\alpha$ を乗じることでノイズを計算する. これは, 各次元の分布が平均 0 , 分散 $\alpha^{2} r^{2}$ であるようなノイズをサンプリングしていると捉えることもできる。そしてこのノイズを系列 LSTM の出力に加えた後にマスクを行うことで最終的なマスク後の出力を得る. 訓練時のマスク機構からの $i$ 番目のトークンの出力 $\boldsymbol{v}_{i}^{m}$ は以下となる.

$
\boldsymbol{v}_{i}^{m}=m_{i}\left(\boldsymbol{v}_{i}^{\mathrm{seq}}+\alpha r \boldsymbol{p}_{i}\right)
$
係数パラメータ $\alpha$ は開発データにおける識別性能からチューニングして決定する．学習ではノイズによる損失の増加を抑えるためにノイズの係数となる生存率を下げるようにパラメータが動き，それによってマスクされるトークン数が増えることを期待する.

このノイズを加えるという処理は次のような考えに基づいいる。 入力文内には注目エンティティペア間の関係について無関係な言及も含まれるが，その無関係な情報の利用は関係分類モデルにとってノイズになる。これを，マスク機構においてマスクされなかったトークンが多いほど大きくなるノイズを加えることで表現し，ノイズを減らすためにマスクされるトークンを増やすという方向に学習が進むことを期待する.

## 3.2.3 テスト時のマスクの適用

テスト時はノイズを加えず，マスク $m_{i}$ についてもサンプリングを行わず閾値 0.5 を超えたかどうかにより決定的に計算する。したがってテスト時のマスク機構からの出力 $\boldsymbol{v}_{i}^{m}$ は以下となる。

$
\begin{aligned}
& m_{i}= \begin{cases}1, & \text { if } c_{i} \geq 0.5 \\
0, & \text { otherwise }\end{cases} \\
& \boldsymbol{v}_{i}^{m}=m_{i} \boldsymbol{v}_{i}^{\text {seq }},
\end{aligned}
$

## 3.3 アテンション機構

ベースラインモデルでは, 上向き木構造 LSTM の出力ベクトル列のうち, 木構造の根トークンのベクトルを隠れ層への入力に使用する。しかしながら， マスク機構を用いた場合は根や最近共通祖先のトークンを含めどのトークンがマスクされるか事前にはわからず，あらかじめ上向き木構造 LSTM の出力のうち利用するトークンを定めることが難しい. そこで，あらかじめ特定のトークンを選ぶ代わりに，アテンション機構を用いて上向き木構造 LSTM の出力べクトル列を集約し, これを木構造 LSTM 層の出力の一部として用いる。この機構は, Vaswawni らによるアテンション機構 (Vaswani et al. 2017) を参考に, 各トークンの表現ベクトルの内積をその次元数の正の平方根で除してアテンションのスコアを計算し, これを異なるパラメータで複数用意して並列させる構造になっている.

初めに，集約対象を指示するクエリベクトル $\boldsymbol{v}^{a q}$ を, 3.1.3 節のエンティティペアの双方向木構造 LSTM の出力の合計と差の連結として構成する. 差については 1 次元目の値が常に非負の值となるように, 必要に応じて全体の符号を反転させる.

$
\begin{aligned}
\boldsymbol{v}_{i}^{\uparrow \downarrow} & =\left[\boldsymbol{v}_{i}^{\uparrow} ; \boldsymbol{v}_{i}^{\downarrow}\right] \\
\boldsymbol{q}^{s} & =\frac{\boldsymbol{v}_{\mathrm{e} 1}^{\uparrow \downarrow}+\boldsymbol{v}_{\mathrm{e} 2}^{\uparrow \downarrow}}{\sqrt{2}}
\end{aligned}
$

$
\begin{aligned}
\boldsymbol{q}^{d} & =\boldsymbol{v}_{\mathrm{e} 1}^{\uparrow \downarrow}-\boldsymbol{v}_{\mathrm{e} 2}^{\uparrow \downarrow} \\
\boldsymbol{v}^{a q} & =\left[\boldsymbol{q}^{s} ; \operatorname{sign}\left(q_{1}^{d}\right) \boldsymbol{q}^{d}\right],
\end{aligned}
$

ここで $\operatorname{sign}(\cdot)$ は符号関数で，次の式により計算する.

$
\operatorname{sign}(x)= \begin{cases}1, & x \geq 0 \\ -1, & \text { otherwise }\end{cases}
$

差のベクトルの符号を反転させる処理は，差のべクトルがエンティティの順序に依存しないようにする目的で行った。これは，各値の絶対値を取ったべクトル $\operatorname{abs}\left(\boldsymbol{q}^{d}\right)$ を利用する場合と似ているが，2 次元目以降の値に負の値が出現しうる点で異なる.

続いて, 各トークンのキーベクトル $\boldsymbol{v}_{1}^{a k}, \ldots, \boldsymbol{v}_{n^{s}}^{a k}$ を, それぞれのエンティティペアからの相対距離の埋め込みべクトルの合計及び差と, 対応する双方向木構造 LSTM の出力から計算する.

$
\begin{aligned}
\boldsymbol{k}_{i}^{s} & =\frac{\boldsymbol{v}_{i-\mathrm{e} 1}^{\mathrm{rpos}}+\boldsymbol{v}_{i-\mathrm{e} 2}^{\mathrm{rpos}}}{\sqrt{2}} \\
\boldsymbol{k}_{i}^{d} & =\boldsymbol{v}_{i-\mathrm{e} 1}^{\mathrm{rpos}}-\boldsymbol{v}_{i-\mathrm{e} 2}^{\mathrm{rpos}} \\
\boldsymbol{v}_{i}^{a k} & =\left[\boldsymbol{v}_{i}^{\uparrow \downarrow} ; \boldsymbol{k}_{i}^{s} ; \operatorname{sign}\left(k_{i 1}^{d}\right) \boldsymbol{k}_{i}^{d}\right]
\end{aligned}
$

ここで $\boldsymbol{v}_{j}^{\mathrm{rpos}}$ は式 (3) 中と同一の相対距離の埋め込みベクトルである.

そして，得られたクエリ，キーベクトルを用いてアテンションのスコアを計算し，上向き木構造 LSTM の出力を集約する。この時計算に用いる重み行列を複数セット用意することで，アテンションを並列させる。 それぞれの独立なアテンション機構をへッドと呼ぶ. 並列数を $H$ とする． $i$ 番目のトークンに対する $j$ 番目のヘッドにおけるアテンションのスコア $a_{j i}$ と, 集約されたべクトル $\boldsymbol{v}_{j}^{a}$ は以下の式より計算する.

$
\begin{aligned}
\boldsymbol{h}_{j}^{a q} & =\operatorname{Normalize}\left(W_{j}^{a q} \boldsymbol{v}^{a q}\right) \\
\boldsymbol{h}_{j i}^{a k} & =\operatorname{Normalize}\left(W_{j}^{a k} \boldsymbol{v}_{i}^{a k}\right) \\
h_{j i}^{a} & =\frac{\boldsymbol{h}_{j}^{a q \top} \boldsymbol{h}_{j i}^{a k}}{\sqrt{d^{a}}} \\
a_{j i} & =\frac{\exp \left(h_{j i}^{a}\right)}{\sum_{i} \exp \left(h_{j i}^{a}\right)} \\
\boldsymbol{v}_{j}^{a} & =\sum_{i} a_{j i} W_{j}^{a v} \boldsymbol{v}_{i}^{\uparrow}
\end{aligned}
$

ここで $W_{j}^{a q}, W_{j}^{a k}, W_{j}^{a v}(j \in[1, H])$ はそれぞれ $d^{a} \times 4 d^{\text {ctree }}$ 次元と $d^{a} \times 2\left(d^{\text {ctree }}+d^{R}\right)$ 次元, $\frac{d^{\mathrm{ctree}}}{H} \times d^{\mathrm{ctree}}$ 次元の重み行列で, $d^{a}$ はアテンション機構の隠れベクトルの次元数である.

アテンション機構の出力 $\boldsymbol{v}^{a}$ は, 各ヘッドの出力を並列させることで得る.

$
\boldsymbol{v}^{a}=\left[\boldsymbol{v}_{1}^{a} ; \ldots ; \boldsymbol{v}_{H}^{a}\right]
$

## 3.4 提案機構を導入した関係分類モデルの全体像

マスク機構とアテンション機構を導入した関係分類モデルは, 図 2 のように, 入力層, 系列 LSTM 層, マスク機構, 木構造 LSTM 層, アテンション機構, 隠れ層, 出力層の七つの構造によって構成される. 入力層, 系列 LSTM 層の計算については, ベースラインモデルと同様である.

マスク機構を導入したモデルは, 木構造 LSTM 層の入力に, 系列 LSTM 層の出力 $\boldsymbol{v}_{1}^{\mathrm{seq}}, \ldots, \boldsymbol{v}_{n^{s}}^{\mathrm{seq}}$ の代わりに，マスク機構によってマスクされた出力 $\boldsymbol{v}_{1}^{m}, \ldots, \boldsymbol{v}_{n^{s}}^{m}$ を用いる. 訓練時は式 (13)を, テスト時は式 (14) を用いる。木構造 LSTM 層ではマスクの値に関わらず常に依存木全体に対して計算を行う。したがって，マスクの値が 0 となったトークンの木構造 LSTM のセルには 0 べクトルが入力される.

アテンション機構を導入したモデルにおける隠れ層への入力は, 式 (5) の上向き木構造 LSTM における根トークンの出力ベクトルを, 式 (19)により計算されたアテンション機構の出力 $\boldsymbol{v}^{a}$ で置き換えたべクトル $\boldsymbol{v}^{\text {att }}$ である.

$
\boldsymbol{v}^{\text {att }}=\left[\boldsymbol{v}^{a} ; \boldsymbol{v}_{\mathrm{e} 1}^{\downarrow} ; \boldsymbol{v}_{\mathrm{e} 2}^{\downarrow}\right]
$

マスク機構のみを導入し, アテンション機構を導入しない場合の隠れ層への入力は, 依存木全

隠れ層と出力層については, ベースラインモデルと同様の計算を行う.

## 4 実験・考察

本章ではベースラインモデルと提案モデルにおける実験と，その結果に対する考察を述べる.実験ではベースラインモデルと，マスク機構およびアテンション機構を導入したモデルについてそれぞれ学習を行い，その識別性能を評価した。また，マスク機構における異なるノイズ強度ごとの生存率の変化を比較し, 学習されるマスクと最短経路のヒューリスティックの類似度と, 生存するトークンの傾向について調査し, 考察を行った.

本章では初めに実験設定について説明する。次に，各モデルにおける識別性能について述べる. 続いて，マスク機構におけるノイズの影響について述べる。最後にマスクされるトークンの傾向について述べる.

特に断りのない限り，実験結果と考察は Pair コネクションを取り除いたモデルに対するものである.

## 4.1 実験設定

ベースラインモデルと, それにマスク機構およびアテンション機構を導入したモデルについてそれぞれ学習と評価を行った。 ベースラインモデルでは, 木構造 LSTM 層で用いる木構造として依存木全体, 最短経路の部分木, および Zhang らによる最短経路から距離 1 のノードも利用する部分木 (Zhang et al. 2018)の三種類についてそれぞれ実験を行った．また，Pairコネクションを付け加えたモデルについても学習と評価を行った。

使用するデータセットとしては，一文内のエンティティペア間の関係分類において代表的なデータセットの一つである SemEval-2010 Task 8 データセット (Hendrickx, Kim, Kozareva, Nakov, Ó Séaghdha, Padó, Pennacchiotti, Romano, and Szpakowicz 2010)を用いた. このデー タセットは 8,000 件の訓練事例と 2,717 件のテスト事例から構成されている. システムには入力文とその文内の二つのエンティティの位置が与えられ，あらかじめ定義された九種類の正例関係クラスおよび負例クラスの中から，そのエンティティペア間に成立している関係を予測する.正例クラスについてはその関係の向きについても予測する必要がある。本研究では分類モデルの出力クラスとして各正例ごとに順方向と逆方向の二種類をそれぞれ用意し, 計 19 クラスの分類モデルとした．このデータセットには同じ文が繰り返し出現することがなく，各文ごとにエンティティ二つの位置と，そのペア間の関係クラスのアノテーションが付与されている。公式の評価指標は Macro-F 値である.

SemEval-2010 Task 8 データセットには公式の開発事例群が存在しないため, 訓練事例のうち全体の $10 \%$ 開発事例として分割し, ハイパーパラメータチューニングに用いた. また, Stanford parser (Chen and Manning 2014) を用いて各事例のそれぞれの単語の品詞夕グと依存木 1 を得た。テスト事例の性能評価は，チューニングしたハイパーパラメータを用いて，開発事例を含めた訓練事例全体で再度学習したモデルで行った，識別性能の比較は Macro-F 值で行い，各モデルについて 5 回ずつ訓練と評価を行ってその平均と標準偏差について評価した．実装には Tensorflow 2 を利用した．Pairコネクションを取り除いたモデルのハイパーパラメータのチュー ニングには RoBO(Klein, Falkner, Mansur, and Hutter 2017)を用いた．RoBOによりチューニングしたハイパーパラメータは, 各層のドロップアウト率, 学習率, ノイズの係数パラメータである．Pairコネクションを取り除いたモデルで用いた各ハイパーパラメータの値を表 1 に示す. Pairコネクションを付け加えたモデルについては，実験時間の短縮のため，Pairコネクションを取り除いたモデルでチューニングしたハイパーパラメータを元に，各層のドロップアウト率を 0 から 0.7 の範囲で 1 パラメータずつ 0.1 刻みで再度チューニングし, 開発事例における識別性能が最も高くなった值を採用した。元のドロップアウト率を利用する場合のほうが性能が高

表 1 Pair コネクションを取り除いたモデルで用いたハイパーパラメータの値

表 2 Pairコネクションを付け加えたモデルで用いたドロップアウト率のうち, Pair コネクションを取り除いたモデルと異なる値を採用した箇所とその値

くなる場合は，そのままの値を用いた．Pairコネクションを付け加えた場合と取り除いた場合で異なるドロップアウト率とした箇所とその値を表 2 に示す.

## 4.2 関係の識別性能

各モデルの Macro-F 值の平均と標準偏差を表 3 に示す。表の通り，Pair コネクションを使わない場合, 提案手法を導入したモデルは, マスク機構・アテンション機構共に単独でベースラインモデルの識別性能を上回り，両者を併せて導入した場合，さらに識別性能は向上する結果となった。マスク機構については，ノイズの係数パラメータ $\alpha$ を 0 にしたノイズを全く利用しないモデルよりも,ノイズを利用するモデルのほうが識別性能が高い結果となった. また, マスク機
表 3 SemEval-2010 Task 8 における各モデルの Macro-F 値の平均と標準偏差

 & 85.4 & 85.5 \\

LSTM-ER モデルと DRNNs モデル，および $\mathrm{BERT}_{\mathrm{EM}}$ モデルのスコアについては論文中から引用した. また, $\mathrm{BERT}_{\mathrm{EM}}$ モデルのみ開発事例の事例数が異なる.

構とアテンション機構を併せて導入したモデルとベースラインモデルにおける, 開発データで中央値を記録したそれぞれのモデル間で Approximate Randomization Test (Noreen 1989)による有意差検定を実施したところ, 有意水準 $p<0.05$ での有意な性能向上を確認した $(p=0.0197)$. また，提案モデルにおいて最短経路や Zhang らによる部分木のヒューリスティックを利用した場合の性能も上回る結果となった, ただし, 本研究で実験したモデル中でテスト事例における最高の Macro-F 値を記録したモデルは, 最短経路のヒューリスティックと Pairコネクションを同時に使うモデルであった. このモデルにおける開発事例での Macro-F 值は, 三輪らが木構造 LSTM に Child-Sum 木構造 LSTM を用いた LSTM-ER モデルにおける Macro-F 值として報告した値よりもわずかに小さいものの，その差は標準偏差以下の値であり，ほぼ同等の識別性能であると考えられる。

各モデルにおける Pairコネクションの有無による識別性能の比較を表 4 に示す. 表の通り, ベースラインモデルや最短経路のヒユーリスティックを用いた場合は, 開発事例, テスト事例ともに識別性能が向上した。一方で，提案手法を用いたモデルは，Pair コネクションを使用することで，開発事例における Macro-F 值がどのモデルも悪化しており，特にマスク機構とアテ

ンション機構を同時に用いた場合で顕著である。この結果となった理由の一つとして，提案手法と Pairコネクションを同時に利用することで，モデルの表現力が過剩に大きくなり，汎化性能が低くなった可能性が予想される.

表 3 の通り, 本研究で用いたモデルの識別性能は, SPTree や WordNet 埋め込みを用いた LSTM-ER モデルや, 同じくWordNet 埋め込みを用いる DRNNs モデルと比較すると低い. さらに, 事前学習済み BERT モデルを用いた, 依存構造を用いない関係分類モデルである $\mathrm{BERT}_{\mathrm{EM}}$ モデルはテスト事例でより高い Macro-F 值を記録している ${ }^{3}$ 。今後の課題として，事前学習済み BERTのようなより性能の高いモデルを用いた場合における，依存構造や最短経路のヒュー リスティック，および提案手法の有効性を検証することが挙げられる。

## 4.3 マスク機構におけるノイズの影響

異なるノイズの係数パラメータ $\alpha$ ごとの生存率 $r$ の平均値の学習曲線を図 3 に示す. 図の通

表 4 Pair コネクションの有無による Macro-F 値の平均と標準偏差の比較

マスク機構の $\alpha$ の値は 0.7447 である. LSTM-ER モデルについては論文 (Miwa and Bansal 2016) 中から引用した。

図 3 ノイズの係数パラメータ $\alpha$ ごとの生存率の平均値の学習曲線.
_{\mathrm{EM}}$ モデルのみ開発事例の割合が異なり, 訓練事例から 1,500 件を取り出して開発事例としている.
}

り， $\alpha$ が小さい場合や， $\alpha=0$ のとき，すなわちノイズを全く利用しないような場合では，最終的な生存率はほぼ 1 となり，ほとんどのトークンがマスクされずそのまま利用される結果となった. そして， $\alpha$ を大きくするに従い，最終的な生存率の平均值が小さくなり，このパラメー タの調整によって利用するトークンの割合をコントロールすることが出来た.

$\alpha$ が小さいときの生存率が最終的にほぼ 1 になるのは, ニューラルネットワークの表現力が高いために，ほとんどどのような入力でも損失を下げる方向に利用することができ，ほとんどのトークンを利用するように学習が進んたことが一つの理由として考えられる。また，この場合でも，学習初期ではある程度生存率を下げる方向に学習が進み，その後逆に生存率が高くなっている。これは，学習初期は系列 LSTM 層からの出力ベクトルの学習がまだ十分に進んでおらず，一部は利用しない方が損失を下げられるために一時的に生存率が下がり，その後学習が進むにつれ損失を下げるようなパラメータにできて, 一転して生存率を上げるように学習が進んだことが理由の一つだと考えられる。一方 $\alpha$ が大きい場合は，学習初期ではほぼすべてのトー クンがマスクされている。これは，学習初期の系列 LSTM からの出力の学習がまだほとんど進んでおらず，その後の層の計算にあまり役に立たないような表現となっているために，ほとんどがマスクされたためだと考えられる.

## 4.4 マスクされるトークンの傾向

最短経路のヒューリスティックは, 先行研究で示されている通り, モデルの識別性能を向上できる良い経験則であり，学習から得た利用すべきマスクも，このヒューリスティックに近いものになる可能性が高い，実際，開発データにおいて最も高い Macro-F 值となったモデルの平均生存率は $20.2 \%$ となり, これは, 最短経路上のトークンが文内で占める割合である $19.3 \%$ と近い値である。そこで学習されたマスクと最短経路の間にどの程度類似度があるかを調べるため，この二者間で残されるトークンについて Jaccard 係数を計算した．結果として Jaccard 係数は, 5 回の試行の平均値が訓練事例で 0.821 , 開発事例では 0.826 と, マスクされないトーク

スティックに非常に近いマスクを学習から自動で獲得したといえる。 さらに，提案モデルの異なる試行ごとで得られたマスク間の Jaccard 係数は平均で 0.926 と, 最短経路との間の Jaccard 係数よりさらに高い値となっており，モデルは最短経路そのものとは少し異なる規則を学習するという結果になった.

表 5 にいくつかの開発事例における最短経路上のトークンとマスク機構によって残されたトー クンの例を示す.この例はマスク機構とアテンション機構を併せて導入したモデルによる結果であり，このモデルに併せてべースラインモデルで最短経路のヒューリスティックを用いたモデルのそれぞれ 5 回の施行において最も多く予測した関係ラベルとその回数も示した. マスク機構により残されたトークンについては， 5 回の施行で 3 回以上残されたトークンのみを表示
表 5 最短経路上のトークンとマスク機構により残されたトークンの例と，対応するそれぞれのモデルの予測

} \\

e1 と e2 は注目エンティティを示し, 予測は 5 回の施行で最も多く選ばれたものとその回数を表示した.関係の向きは常に e1 から e2 へとし, 逆向きの関係ラベルには Reversed のプレフィックスを付けている.

している。表中の上二つの例のように，マスク機構は最短経路上には存在しない所有格の $s$ や intoのような単語を残すよう学習し, 最短経路を用いたモデルでは正しく予測できなかった事例について正解することができたケースが確認された。逆に三番目の例では最短経路上に存在する sent を残さず，最短経路を用いたモデルでは正しく予測できた事例について誤ってしまうケースも確認された。また，四番目の例では注目エンティティペアに無関係な fromを残し，予測も Cause-Effect（原因と結果の関係）を予測してしまうといった，無関係な言及に注目してしまったがために間違えてしまうケースも見つかった。この一方で，下二つの例のように最短経路と同じトークンを残しながら異なる予測を多くするようになった事例もいくつか確認された.
表 6 品詞タグごとのマスク機構が残す単語の数

単語数は各事例に含まれる全単語数を，SP は最短経路上に含まれる単語数を，生存数はマスク機構が残した単語の数を表す。
提案モデルのうちで最高の Macro-F 值を記録したモデルにおける，品詞タグごとのマスク機構によって残される単語の数を表 6 に示す. 表中の単語数が各事例に含まれる単語の総数で, SP はそのうち最短経路上に含まれるもの，生存数はマスク機構が残した単語の数である。表の通り, マスク機構によって残される単語の数は最短経路上に含まれる単語の数とかなり近いが,名詞 (NN, NNS, NNP, NNPS) は僅かに多く, 逆に動詞 (VBN, VBD, VBZ, VBG, VBP, VB) は僅かに少ないなど，細かな違いがみられる。特に，最短経路の外側になってしまう所有格の $s$ など (POS, possessive ending) や, Particle (RP), ヘッドにならなかった what ど (WDT, WRB, $\mathrm{WP}, \mathrm{WP} \$$ が一部生存しており, このことから狙い通りマスク機構が最短経路外の情報を利用していることが確認できる。

マスク機構の処理は中間出力のそれぞれを確信度に基づきマスクするのみであるので，その後の計算に用いられる構造は，異なる依存関係セットを用いる Universal Dependenciesのような別の依存構造の表現形式を用いても適用可能である。その一方で，マスク機構に続く層が入力に期待する構造から外れるようなマスクを行わないように，利用する構造に合わせた，その構造をよく表現する情報をマスク機構に入力するべきであると考えられる。今回は式 (3), (9) の通り，双方向 LSTM の出力，および係り受けと相対距離の埋め込みべクトルを入力に用いたが，よりよい依存構造木を表すような表現や，ほかの構造におけるよい表現について検討する必要があると考えられる。

## 5 おわりに

本稿では，関係分類において重要なトークンの判別規則を学習を通じて獲得するマスク機構を提案した。ベースラインモデルに提案機構を導入した関係分類モデルは, 最短経路のヒューリスティックを用いた場合の識別性能を上回り，依存木全体を用いた場合の識別性能に対しては有意な性能向上を達成した。提案機構により学習されたマスクは最短経路のヒューリスティックに近いものが自ずと学習される一方で, 所有格の $s$ などの最短経路上に存在しないトークンを利用するようになった，さらに，異なる学習試行ごとで得られたマスク間の類似度は，最短経路との間の類似度よりも高く, 最短経路そのものとは一部異なる規則が学習されやすいことが確認された，今後の課題として，BERTのような, より性能の高いモデルにおける最短経路のヒューリスティックの有効性の調查と, そのようなモデルへの提案機構の導入が挙げられる.

## 参考文献

Baldini Soares, L., FitzGerald, N., Ling, J., and Kwiatkowski, T. (2019). "Matching the Blanks: Distributional Similarity for Relation Learning." In Proceedings of the 57th Annual Meeting
of the Association for Computational Linguistics, pp. 2895-2905.

Bunescu, R. and Mooney, R. (2005). "A Shortest Path Dependency Kernel for Relation Extraction." In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, pp. 724-731.

Chen, D. and Manning, C. (2014). "A Fast and Accurate Dependency Parser using Neural Networks." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 740-750.

Culotta, A. and Sorensen, J. (2004). "Dependency Tree Kernels for Relation Extraction." In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04), pp. 423-429.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Fellbaum, C. (1998). WordNet: An Electronic Lexical Database. MIT Press.

Gers, F. A., Schraudolph, N. N., and Schmidhuber, J. (2002). "Learning Precise Timing with LSTM Recurrent Networks." Journal of Machine Learning Research, 3 (Aug), pp. 115-143.

Hendrickx, I., Kim, S. N., Kozareva, Z., Nakov, P., Ó Séaghdha, D., Padó, S., Pennacchiotti, M., Romano, L., and Szpakowicz, S. (2010). "SemEval-2010 Task 8: Multi-Way Classification of Semantic Relations between Pairs of Nominals." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38.

Jang, E., Gu, S., and Poole, B. (2017). "Categorical Reparameterization with Gumbel-Softmax." Computing Research Repository, arXiv:1611.01144. version 5.

Klein, A., Falkner, S., Mansur, N., and Hutter, F. (2017). "RoBO: A Flexible and Robust Bayesian Optimization Framework in Python." In NIPS 2017 Bayesian Optimization Workshop.

Miwa, M. and Bansal, M. (2016). "End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1105-1116.

Noreen, E. W. (1989). Computer-Intensive Methods for Testing Hypotheses. Wiley New York.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237.

Shen, Y. and Huang, X. (2016). "Attention-Based Convolutional Neural Network for Semantic Relation Extraction." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2526-2536.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15, pp. 1929-1958.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1556-1566.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Xu, Y., Jia, R., Mou, L., Li, G., Chen, Y., Lu, Y., and Jin, Z. (2016). "Improved Relation Classification by Deep Recurrent Neural Networks with Dyerata Augmentation." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1461-1470.

Xu, Y., Mou, L., Li, G., Chen, Y., Peng, H., and Jin, Z. (2015). "Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1785-1794.

Zhang, Y., Qi, P., and Manning, C. D. (2018). "Graph Convolution over Pruned Dependency Trees Improves Relation Extraction." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2205-2215.

## 略歴

辻村有輝：2016 年豊田工業大学工学部卒業. 2018 年豊田工業大学大学院修士

課程修了. 現在, 豊田工業大学大学院工学研究科博士課程に在学中.

三輪誠：2008 年東京大学大学院博士課程修了. 博士 (科学)。東京大学, マンチェスター大学を経て, 2014 年より豊田工業大学知能数理研究室准教授.

ACL，情報処理学会, 言語処理学会, 人工知能学会各会員.

佐々木裕：1988 年筑波大学修士課程理工学研究科修了. 2000 年同大学より博士（工学）授与. NTT 研究所, ATR, マンチェスター大を経て, 現在，豊田工業大学教授. 言語処理学会等会員.

(2019 年 11 月 1 日受付)

(2020 年 2 月 8 日再受付)

(2020 年 2 月 25 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 関係パタンとの共起から学習される単語ペア埋め込みを用いた 名詞間意味関係識別

鷲尾 光樹 $\dagger \cdot$ 加藤 恒昭 $\dagger$
}

単語間の意味関係識別, 特に名詞ぺアの識別は, 言語理解に用いられる WordNet な どの語彙知識べースの自動的な拡充にとって重要である。意味関係識別の効果的な アプローチに，対象の単語ペアとコーパス上で共起した，単語ぺアを文中で結びつ ける単語系列，あるいは依存構造パスなどの関係パタンを用いるものがある。関係 パタンは意味関係を反映しているため, 意味関係識別に重要な特徴である。関係パ タンに基づく手法は, 対象の単語ペアのコーパス上での共起を必要とするが, 単語 の出現頻度分布はジフの法則に従うことが知られており, 大抵の内容語は低頻度で あるため, この要請は大規模コーパスを扱ったとしても必ずしも満たされるわけで はない. 本研究では, この問題を解決するために, 関係パタンの情報を反映した単語ぺアの埋め込み表現を，コーパスから教師なし学習する手法を提案する. 本手法 はニューラルネットワークで単語ペアと関係パタンの共起を汎化することで，コー パス上で十分に共起しなかったぺアに対しても，単語ペア埋め込みを通して関係パ タンの情報を意味関係識別モデルに提供する，実験により，本手法による単語ぺア 埋め込みを最先端の関係パタンに基づく手法に適用すると，4つの意味関係識別デー タセットの名詞ぺアについて性能が向上し, 適切に共起の問題を緩和できているこ とがわかった.

キーワード：語彙意味論，意味関係，知識ベース
## Learning Word-pair Embeddings from Co-occurrences of Word Pairs and Lexico-syntactic Patterns to Recognize Semantic Relations between Nouns

\author{
KoKi Washio ${ }^{\dagger}$ and TsunEaKi $\mathrm{KATO}^{\dagger}$
}

\begin{abstract}
Recognizing lexical semantic relations of word pairs, especially noun pairs, is an important task for automatic completion and expansion of lexical knowledge bases, such as WordNet, which can be used for natural language understanding. One of the promising approaches to this task is the utilization of lexico-syntactic patterns cooccurring with target word pairs, which reflect their lexical semantic relations. These pattern-based methods require co-occurrences of the target word pairs. However, this requirement is hardly satisfied because of Zipf's law that states, which most content
\end{abstract}

words occur very rarely. To solve this problem, we propose a novel unsupervised learning method to obtain word-pair embeddings that reflect co-occurring lexico-syntactic patterns. In recognizing lexical semantic relations, our method provides relational information for word pairs that do not co-occur in a corpus because the neural network generalizes the co-occurrence between word pairs and lexico-syntactic patterns. The experimental results show that our word-pair embeddings improved the performance of the state-of-the-art neural pattern-based method on the noun pairs of four datasets and successfully alleviated the co-occurrence issue.

Key Words: Lexical Semantics, Semantic Relation, Knowledge Base

## 1 はじめに

単語, とくに名詞間の意味関係は, 含意関係認識 (Dagan, Dolan, Magnini, and Roth 2010) や質問応答 (Yang, Zou, Wang, Yan, and Wen 2017) などの高度な意味処理を伴う自然言語処理夕スクにおいて重要である。語の意味関係知識は, WordNet (Fellbaum 1998) などの人手で作成された語彙知識べースに蓄えられており，様々なタスクに利用することができる。しかし，このような人手による語彙知識べースの拡張には大きなコストがかかり，新語や未知語に対応できず，さらにカバーされているドメインも限られている。この問題を解決するために，大規模コーパスから語の意味関係知識を獲得する方法が研究されている.

コーパスからの意味関係知識の獲得には，二語を文中で結びつける単語系列，あるいは依存構造パスなどの関係パタンの利用が有効であることが知られている (Hearst 1992). たとえば， $A$ $\operatorname{dog}$ is a kind of animals.という文において，is a kind of という語の系列から， dog が animal の下位語であることが識別できる。このように，コーパス中で二語を結びつける単語系列や依存構造パスを特徴として教師あり学習を行う手法が，パタンベースの手法として提案されている (Snow, Jurafsky, and Ng 2005; Shwartz, Goldberg, and Dagan 2016; Shwartz and Dagan 2016). また，関係パタンは，知識獲得の手法として，推論規則をコーパスから獲得するためにも用いられている (Schoenmackers, Davis, Etzioni, and Weld 2010; Tsuchida, Torisawa, De Saeger, Oh, Kazama, Hashimoto, and Ohwada 2011).

パタンベースの意味関係識別は，意味関係の分類対象となる単語ぺアについてコーパス上での十分な共起を必要とする。しかし，たとえ大規模コーパスが扱えたとしても，意味関係を持つ単語ぺアが必ずしも十分に共起するとは限らない。文中で共起しなかった単語ぺアや共起回数が少なかった単語ぺアについては，このアプローチでは分類に有用な関係パタンの特徵が得られず，意味関係を適切に予測することができない。

このようなパタンベースの意味関係識別の問題に対処するために，本研究ではニューラルネットワークを用いて, 単語ペア $\left(w_{1}, w_{2}\right)$ と, それらを結びつける関係パタン $p$ の共起から, 単語

ペアの埋め込みを教師なし学習する手法を提案する。大規模コーパスから学習したニューラルネットワークの汎化能力を利用することで，コーパス上で十分に共起が得られなかった単語ぺアについても，関係パタンとの共起を予測できるような，意味関係識別に有用な特徴が埋め込まれた埋め込みを得ることができる。コーパスから推論規則とその適用を学習して, 共起しなかった二つの概念に関する関係性を推論する手法 (Schoenmackers et al. 2010; Tsuchida et al. 2011) も提案されているが, 本研究ではニューラルネットワークの教師なし学習を用いて単語ぺアの意味関係表現を得ることで, 教師あり意味関係識別において, 共起が十分に得られなかった単語ぺアに関する分類性能を向上させることを目的とする。実験により，この単語ぺア埋め达みを，パタンベースの意味関係識別の最先端のモデル (Shwartz and Dagan 2016) に適用することで，4つデータセットにおいて名詞ぺアに対する識別性能が向上することがわかった.

## 2 背景

本節では背景知識となる訓練データを用いる教師あり単語間意味関係識別について説明する. タスクの定義（2.1 節）, 従来手法である出現文脈分布を用いた識別手法（2.2.1 節）とパタンベー スの識別手法 (2.2.2 節), 最先端のニューラルパタンベースの手法（2.2.3 節）を説明した後に, パタンベースの手法の問題であるパタン欠落問題（2.3 節）について説明する.

## 2.1 教師あり単語間意味関係識別

教師あり単語間意味関係識別は，単語ぺアを特徵ベクトルとして表現し，訓練デー夕を用いて，単語ぺアを上位下位関係，部分全体関係などの意味関係クラスに分類するモデルを構築するタスクである。単語ぺアの特徴として, 各語の出現文脈の分布（2.2.1節）や関係パタン（2.2.2 節）の情報を用いることができる.

## 2.2 従来手法

## 2.2.1 出現文脈分布を用いた意味関係識別

各語の出現文脈分布を用いる手法は，各語を単語埋め込み (Mikolov, Sutskever, Chen, Corrado, and Dean 2013; Levy and Goldberg 2014; Pennington, Socher, and Manning 2014)として表現し, 二つの埋め込みに何らかの演算を施すことで, 単語ペアの特徴ベクトルとする. 用いられる演算には, ベクトルの結合 (Baroni, Bernardi, Do, and Shan 2012; Roller and Erk 2016) や差分 (Roller, Erk, and Boleda 2014; Weeds, Clarke, Reffin, Weir, and Keller 2014; Vylomova, Rimell, Cohn, and Baldwin 2016)などがある. 出現文脈分布を用いる手法は関係パタンを用いるパタンベースの手法と異なり, 二語の共起を必要としない. しかし, これらの手法は二語の関係性を学習しているのではなく, 個々の単語がそれぞれどれぐらい対象の関係を持ちやすいかを覚え

ているだけであるという報告がある (Levy, Remus, Biemann, and Dagan 2015).

## 2.2.2 パタンベースの意味関係識別

パタンベースの教師あり意味関係識別では, 単語ぺアと共起した関係パタンを集計して特徴ベクトル化することで単語ぺアを表現し, その上に分類器を構築する (Snow et al. 2005). 関係パタンを用いることで，二語の意味関係を捉えることができるが，関係パタンは単語系列，あるいは依存構造パスのため, 特徴空間が非常にスパースになる. ゆえに, $X$ is a species of $Y$ と $X$ is a kind of $Y$ のような上位下位関係を表す関係パタン同士の類似性を捉えることができなくなってしまう.

## 2.2.3 ニューラルパタンベースの手法

Shwartz らは, 各関係パタンを単一の特徴として用いるのではなく, リカレントニューラルネットワーク (RNN) を用いて関係パタンを低次元で密なべクトルに符号化することで, 特徴空間のスパース性を回避する手法 LexNET を提案した (Shwartz et al. 2016; Shwartz and Dagan 2016).

Shwartz らは依存構造パスを関係パタンとして用いて, 長短期記憶ネットワーク (LSTM) (Hochreiter and Schmidhuber 1997) で符号化した. たとえば, A dog is a mammal.のような文があり, 対象の単語ぺアを $\operatorname{dog}$ と mammal とするとき, 依存構造パスは X/NOUN/nsubj/> be/VERB/ROOT/-Y/NOUN/attr/くとなる.ここで, X は dog, Y は mammalである. 依存構造パスの各エッジは, レンマ, 品詞, 依存関係, 依存方向で構成される。このときエッジは, 各要素の埋め込みの結合として, 以下のように表現される.

$
\boldsymbol{e}=\left[\boldsymbol{v}_{l} ; \boldsymbol{v}_{p o s} ; \boldsymbol{v}_{d e p} ; \boldsymbol{v}_{d i r}\right]
$

ここで，；はべクトルの結合， $\boldsymbol{v}_{l}, \boldsymbol{v}_{p o s}, \boldsymbol{v}_{d e p}, \boldsymbol{v}_{d i r}$ は，それぞれレンマ，品詞，依存関係，依存方向の埋め込みを表す. エッジ埋め込み $\boldsymbol{e}$ は, LSTM の各時点の入力となる. LSTM の時点 $t$ の隠孔状態 $\boldsymbol{h}_{t}$ は以下のように計算される。

$
\boldsymbol{h}_{t}=L S T M\left(\boldsymbol{h}_{t-1}, \boldsymbol{e}_{t}\right)
$

ここで LSTM は LSTM の計算式に沿って, 前の隠れ状態 $\boldsymbol{h}_{t-1}$ と現在の入力 $\boldsymbol{e}_{t}$ から, 現在の隠れ状態を計算する関数である。依存構造パスのすべてのエッジを入力した後の LSTM の最後の隠れ状態 $\boldsymbol{o}_{p}$ が，依存構造パス $p$ の表現となる。単語ペアが共起した依存構造パスの表現をまとめるために，Shwartz らは以下のような平均プーリングを適用している.

$
\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}=\frac{\sum_{p \in P_{\left(w_{1}, w_{2}\right)}} f_{\left(w_{1}, w_{2}, p\right)} \cdot \boldsymbol{o}_{p}}{\sum_{p \in P_{\left(w_{1}, w_{2}\right)}} f_{\left(w_{1}, w_{2}, p\right)}}
$

ただし， $P_{\left(w_{1}, w_{2}\right)}$ は単語ぺア $\left(w_{1}, w_{2}\right)$ がコーパス上で共起した依存構造パスの集合, $f_{\left(w_{1}, w_{2}, p\right)}$ は，依存構造パス $p$ が $\left(w_{1}, w_{2}\right)$ と共起した頻度である.

Shwartz らは, 各語の出現文脈分布の情報も考慮するために, 単語ペア $\left(w_{1}, w_{2}\right)$ の関係パ夕ン表現 $\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}$ に, それぞれの単語埋め込み $\boldsymbol{v}_{w_{1}}, \boldsymbol{v}_{w_{2}}$ を結合して, 最終的な単語ぺアの表現としている.

$
\boldsymbol{v}_{\left(w_{1}, w_{2}\right)}=\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}} ; \boldsymbol{v}_{w_{2}}\right]
$

この単語ぺアの特徴表現 $\boldsymbol{v}_{\left(w_{1}, w_{2}\right)}$ をもとに, 最終的な出力として各意味関係クラスに割り当てられる確率を表現するべクトル $\boldsymbol{y}$ が以下のように計算される.

$
\boldsymbol{y}=\operatorname{softmax}\left(\boldsymbol{W} \boldsymbol{v}_{\left(w_{1}, w_{2}\right)}+\boldsymbol{b}\right)
$

ただし， $\boldsymbol{W}$ は線形変換のパラメータ行列， $\boldsymbol{b}$ はバイアス項を表すべクトルである． softmax はソフトマックス関数である.

各語の単語埋め込みによる出現文脈分布のみでなく, LSTMによりスパース性を解決した関係パタンの表現を用いることで, LexNET は高い汎化性能を持つことが報告されている (Shwartz et al. 2016; Shwartz and Dagan 2016).

## 2.3 パタン久落問題

LexNET を含むパタンベースの手法は関係パタンに基づくため，対象の単語ぺアの共起を必要とする。しかし，たとえ単語ぺアが何らかの意味関係を持っており，大規模コーパスがあったとしても，すべての単語ぺアについて分類に十分な共起を観測することは難しい．単語の出現頻度はジフの法則に従うことが知られており，意味関係識別の対象となる内容語の大抵は低頻度であるためである (Hanks 2009). 本研究では, この問題をパタン久落問題と呼ぶ.

単語ペアの共起が得られなかった場合，パタンベースのモデルはそのぺアについて，関係パタンに関わる有効な手がかりを得ることができない。そのようなぺアについて, LexNET は UNK-lemma/UNK-POS/UNK-dep/UNK-dirのようなダミーパタンでパディングを行う．しかしこの処理では，モデルは単語ペアの間に意味関係がなかったので共起しなかったのか, 意味関係があったがたまたま共起しなかったのかを区別できない.

Necşulescu らはコーパスをグラフで表現することで, パタン久落問題の解決を試みた (Necşulescu， Mendes, Jurgens, Bel, Navigli 2015). コーパスを依存構造解析し，単語をノード，依存関係を有向エッジとして表現して，それらを重ね合わせることでグラフを構築し，対象の二語についてグラフ上のパスをたどることで，共起しなかった単語ぺアについても擬似的な関係パタンが得られる. Necşulescu らは, 二語間のパスの集合を特徴として, 特徴選択を行いつつ分類器を構築した。結果として，Recall が改善されたが，依然として，パタン久落問題があったことを報

## 告している.

本研究では, 単語ぺアと関係パタンの共起をニューラルネットワークによって教師なし学習を行うことで，この問題の解決を試みる。

## 3 提案手法

## 3.1 単語ペア埋め込みの教師なし学習

本節では，コーパスから得られる単語ぺア $\left(w_{1}, w_{2}\right)$ と二語を結びつける関係パ夕ン $p$ の共起データ $D=\left.\{\left(w_{1}, w_{2}, p\right)_{1},\left(w_{1}, w_{2}, p\right)_{2}, \ldots,\left(w_{1}, w_{2}, p\right)_{n}\right.\}$ から，単語ぺアと関係パ夕ンの共起をニューラルネットワークで教師なし学習する手法について述べる。 ニューラルネットワークを用いて汎化することで，コーパス上で共起しなかった単語ぺアについても，関係パタンとの共起情報を捉えた単語ぺア埋め达みが得られる。さらに，パタンベースの意味関係識別では，対象の単語ペアが共起した関係パタンのみを用いるため，コーパスの一部しか学習に使用できないが，コーパス全体からの教師なし学習で獲得された単語ペア埋め达みを適用することで，コー パス全体を意味関係識別に用いることができる.

埋め込みを用いた共起のモデリングは, 主に単語埋め込みの学習法 (Collobert and Weston 2008; Mikolov et al. 2013; Levy and Goldberg 2014; Pennington et al. 2014)として一般的であり, 多くのバリエーションが考えられるが, 本研究では単純で効率的な Skip-gram モデル (Mikolov et al. 2013) と似た方法を採用する.

## 単語ペアと関係パタンの符号化

本手法では，単語ぺアと関係パタンをそれぞれ埋め込みとして符号化し，それらの内積から共起する程度を予測することで学習を行う。

単語ペア $\left(w_{1}, w_{2}\right)$ は以下のように符号化を行う.

$
\begin{aligned}
& \boldsymbol{h}_{(w 1, w 2)}=\tanh \left(\boldsymbol{W}_{1}\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{w_{2}}\right]+\boldsymbol{b}_{1}\right) \\
& \tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}=\tanh \left(\boldsymbol{W}_{2} \boldsymbol{h}_{(w 1, w 2)}+\boldsymbol{b}_{2}\right)
\end{aligned}
$

ただし， $\boldsymbol{W}_{1}, \boldsymbol{b}_{1}, \boldsymbol{W}_{2}, \boldsymbol{b}_{2}$ は，線形変換のためのパラメータ行列とバイアス項ベクトル， $\tanh$ は $\tanh$ 活性化関数である.

関係パタン $p$ の符号化には，ランダムに初期化した埋め込みを $\boldsymbol{v}_{p}$ として，各パタンに割り当てる。ここでは関係パタンの符号化法として単純な方法を用いるが, 2.2 .3 節のように LSTM で関係パタンを符号化することも可能である。その場合，学習時間は増加するが，関係パタン同士の類似性を捉えた学習が見込める。

## 目的関数

目的関数には単語埋め込みの学習に用いられる負例サンプリング目的関数 (Mikolov et al. 2013) を拡張したものを用いた。単語ぺアを表現する $\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}$ と関係パタンを表現する $\boldsymbol{v}_{p}$ が計算できるとき, 本研究では, 実際に共起したトリプル $\left(w_{1}, w_{2}, p\right)$ を共起しなかったトリプル $\left(w_{1}, w_{2}, p^{\prime}\right)$ と区別するように，以下のような目的関数 $L$ で学習を行う.

$
L=\sum_{\left(w_{1}, w_{2}, p\right) \in D} \log \sigma\left(\boldsymbol{v}_{p} \cdot \tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}\right)+\sum_{\left(w_{1}, w_{2}, p^{\prime}\right) \in D^{\prime}} \log \sigma\left(-\boldsymbol{v}_{p^{\prime}} \cdot \tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}\right)
$

ただし， $\sigma$ はシグモイド関数，$\cdot$はベクトルの内積， $D^{\prime}$ は $D$ からランダムに生成された負例サンプルの集合である. 負例サンプル $\left(w_{1}, w_{2}, p^{\prime}\right)$ は, 各 $\left(w_{1}, w_{2}, p\right) \in D$ に対して $k$ 個生成される. $k$ はハイパーパラメータである. $p^{\prime}$ の生成は, 単語埋め达みの学習によく用いられる設定 (Mikolov et al. 2013) にならい, 関係パタンの頻度分布を $3 / 4$ 乗したものから，ランダムに関係パタンをサンプリングすることで行った. この目的関数 $L$ を確率的勾配降下法によって最大化することで学習が行われる.

図 1 に以上の手法の概要を示す.この図では, (dog, animal)の単語ペアについて, それぞれの埋め込み $\boldsymbol{v}_{\text {dog }}, \boldsymbol{v}_{\text {animal }}$ から, 式 6 , 式 7 によって単語ぺアを符号化し, $\tilde{\boldsymbol{h}}_{(\text {dog,animal })}$ を計算している。そして, 式 8 を最大化して, $\tilde{\boldsymbol{h}}_{(\text {dog,animal })}$ と, 実際に共起した関係パタンX/NOUN/nsubj/> be/VERB/ROOT/- Y/NOUN/attr/<の埋め込み $\boldsymbol{v}_{p}$ との内積を大きくし, ランダムサンプリングされた負例の関係パタンX/NOUN/nsubj/> use/VERB/ROOT/- Y/NOUN/dobj/<の埋め达み $\boldsymbol{v}_{p}^{\prime}$ との内積を小さくすることで学習が行われる。

図 1 単語ペア埋め达みの教師なし学習

## 3.2 単語ペア埋め込みの計算と意味関係識別モデルへの適用

ニューラルネットワークの学習後, 単語埋め込みを持つ任意の二語について, 式 6 , 式 7 に基づいて，コーパス上で共起しうる関係パタンの情報を捉えた表現 $\tilde{h}$ を得ることができる. ここから以下のように単語ぺア $\left(w_{1}, w_{2}\right)$ の埋め込み $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ を計算する.

$
\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}=\left[\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)} ; \tilde{\boldsymbol{h}}_{\left(w_{2}, w_{1}\right)}\right]
$

$\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}$ と $\tilde{\boldsymbol{h}}_{\left(w_{2}, w_{1}\right)}$ の両方を考慮することによって, $w_{1}$ is a $w_{2}$ と $w_{2}$ such as $w_{1}$ のような, $w_{1}$ と $w_{2}$ の出現順序が異なる共起関係パタンの情報を捉えることができる．単語ぺアの関係の方向性は $\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}$ と $\tilde{\boldsymbol{h}}_{\left(w_{2}, w_{1}\right)}$ の結合の順序によって表現されているので, 失われることはない.

以上のように得られる単語ペア埋め达みを, 既存の意味関係識別モデル LexNET に適用するために, 本研究では, 図 2 のようにLexNET の単語ぺアの特徴表現（式 $4 ）$ に, $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ を結合する。

$
\boldsymbol{v}_{\left(w_{1}, w_{2}\right)}=\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}} ; \boldsymbol{v}_{w_{2}} ; \boldsymbol{u}_{\left(w_{1}, w_{2}\right)}\right]
$

これにより, 単語ぺアの共起が十分に得られず, 関係パタン表現 $\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}$ が分類に有用な情報を有してない場合でも，共起しうる関係パタンの情報を捉えた単語ぺア埋め込み $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ により，関係パタンの情報を用いた意味関係識別が可能となる.

図 2 単語ペア埋め迄みの LexNETへの適用

## 4 実験

本節では，提案手法の有効性を示すための実験について述べる.

## 4.1 データセット

本実験では，意味関係識別のベンチマークである K\&H+N (Necşulescu et al. 2015), BLESS (Baroni and Lenci 2011), EVALution (Santus, Yung, Lenci, and Huang 2015), ROOT09 (Santus, Lenci, Chiu, Lu, and Huang 2016)の 4 つのデータセットの名詞ペアを用いた. これらのデー タセットは, WordNet や Wikipedia などの知識ベースリソースからの抽出か, クラウドソーシング，もしくはその両方によって作られている。表 1 は各データセットで扱っている名詞の意味関係である. Shwartz らの先行研究 (Shwartz and Dagan 2016) に従い, EVALution からは事例数の少ない含意関係と構成員集団関係は取り除いた。訓練・開発・テストデータの分割は, Shwartz らが用意したものを用いた ${ }^{1}$. 表 2 に各分割の事例数を示す.

## 4.2 コーパスと依存構造解析

パタンベースの手法では, 単語ペアと関係パタンの共起を集める必要があるため, 英語版 Wikipediaを $\mathrm{spaCy}^{2}$ で依存構造解析を行い, 名詞ぺアと依存構造パスの $\left(w_{1}, w_{2}, p\right)$ トリプルを抽出した. このとき $w_{1}, w_{2}$ にはレンマタイズを施した. Shwartz らの実装 3 に従い, 出現頻度が 5 以下の依存構造パスを含むトリプルは扱わないことにした.

表 1 各データセットで扱う名詞の単語間意味関係

表 2 各データセットの訓練・開発・テストデータの事例数

^{1}$ https://github.com/vered1986/LexNET/tree/v2/datasets

2 https://spacy.io

3 https://github.com/vered1986/LexNET
}
表 3 に，各データセットの共起の依存構造パスが得られた単語ペアの事例数の割合を示す. すべてのデータセットで，必ずしもすべての名詞ぺアが共起するわけではないことがわかる.

## 4.3 単語ペア埋め込みの獲得

3.1 節で述べた単語ぺア埋め込みの教師なし学習を行うために, 以下のような処理を行った.関係パタンには，最も頻度の高い 3 万の名詞を結びつける依存構造パスのみを教師なし学習に用いた. 単語埋め込みは配布されている 50 次元の $\mathrm{GloVe}^{4}$ (Pennington et al. 2014) で初期化し, パラメータの更新は行わなかった. 教師なし学習のために， $w_{1}$ と $w_{2}$ が GloVe の語彙に含まれている $\left(w_{1}, w_{2}, p\right)$ トリプルを抽出し，教師なし学習用の訓練データ $D$ を構築した。その他のハイパーパラメータは表 4 のように設定した.

## 4.4 比較手法

提案手法の有効性を示すために，以下のモデルを比較した．なお，各モデルの訓練は，開発セットでの性能が 7 エポック向上しなかったらストップし，もっとも開発セットでの性能が高いモデルを，テストセットで評価した。評価指標は，Shwartzらの先行研究にならい，各クラスの事例数を考慮する scikit-learn ${ }^{5}$ の平均 F1 スコアを用いた。

表 3 共起依存構造パスが得られた事例数の割合

表 4 単語ペア埋め込みの教師なし学習のハイパーパラメータ

^{4}$ http://nlp.stanford.edu/data/glove.6B.zip

 }^{5}$ https://scikit-learn.org/stable/

DS (Shwartz and Dagan 2016) 各単語の出現文脈分布の情報のみを用いる手法として，二語の単語埋め込みを結合した $\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{w_{2}}\right]$ を特徴ベクトルとし，多クラスロジスティック回帰を行う手法を実装した。単語埋め込みには 4.3 節で用いた 50 次元の GloVe で初期化した.

DS_h (Shwartz and Dagan 2016) DS に隠れ層を追加したモデルである．隠れ層の次元数は 60 次元とした.

DS_Pair（提案手法） 二語の単語埋め込みと 3 節で述べた手法により学習される単語ぺア埋め込みを結合した $\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{w_{2}} ; \boldsymbol{u}_{\left(w_{1}, w_{2}\right)}\right]$ を特徴ベクトルとし，多クラスロジスティック回帰を行う手法を実装した。

LexNET (Shwartz and Dagan 2016) 2.2.3 節に沿って, ベースラインとなるLexNET を実装した。ハイパーパラメータを表 5 に示す.レンマ埋め込み $\boldsymbol{v}_{l}$ は 4.3 節で用いた GloVe と同じもので初期化を行った。正則化は，エッジ埋め込み $e$ の各要素をドロップアウトして行った (Iyyer, Manjunatha, Boyd-Graber, and Daumé III 2015; Kiperwasser and Goldberg 2016). ドロップアウト率は開発セットの性能で調整した.

LexNET_h (Shwartz and Dagan 2016) LexNET の拡張で, 各語の単語埋め込み $\boldsymbol{v}_{w_{1}}, \boldsymbol{v}_{w_{2}}$ と関係パタン表現 $\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}$ の相互作用を捉えるために，出力層との間に追加で隠れ層を追加したモデルである。隠れ層の次元数は 60 とした。その他は LexNET と同じである.

LexNET_Pair（提案手法） 3.2 節で述べた教師なし学習で得られる単語ぺア埋め込みで LexNET を拡張した提案手法のモデルである。教師なし学習で獲得された意味関係の特徴を評価するために単語ぺア埋め込みは，教師あり意味関係識別の訓練では更新しない。その他は LexNET と同じである.

表 5 LexNET のハイパーパラメータ

表 6 各データセットにおける分類性能（平均 F1 スコア）

## 4.5 結果

各データセットのテストセットでの平均 $\mathrm{F} 1$ スコアを表 6 に示す。結果として，4つのデータセットすべてで, 3 節で述べた手法で得られる単語ぺア埋め达みを用いたDS_Pair, LexNET_Pair によって，それぞれのベースラインと同等かそれ以上の平均 $\mathrm{F} 1$ スコアが得られた. 単語ぺア埋め达みを用いた場合, 隠れ層を追加する DS_h, LexNEThよりも性能が向上しているため,単語ぺア埋め込みは, 各語の単語埋め込みと LexNET で扱う関係パタン表現以上の情報を符号化していると考えられる。 さらに，ほとんどすべての単語ぺアが関係パタンを持つ EVALution においても, LexNET とLexNET_Pair を比較したときに性能が向上している.このことは, 前述したように教師なし学習によってコーパス全体から得られる単語ぺアと関係パ夕ンの共起に基づく意味関係の知識が，単語ペア埋め込みを通して性能に貢献していると考えられる。この点が, LexNETのように訓練データ内の単語ペアと, それらと共起した関係パタンのみを学習に用いる手法を上回る理由の一つと考えられる。

$\mathrm{K} \& \mathrm{H}+\mathrm{N}$ での性能の向上が他のデータセットと比べてわずかであるが, これはこのデータセットにおいて単語埋め达みの出現文脈分布の情報の貢献が強く, 2.2 .1 節で述べたような, 単語ぺアの各語が各意味関係をどれほど持ちやすいか, という学習のみでほとんどの事例に正解でき，関係パタンの情報があまり性能に貢献しないのが原因だと思われる。実際にDS，DS_hと LexNET の平均 F1 スコアの差はごく僅かである。 このデータセットにおいては, Shwartzらの先行研究においても, LexNET は単語埋め込みのみを用いた手法をごくわずかしか上回っていない (Shwartz and Dagan 2016).

## 5 分析

## 5.1 パタン久落問題の緩和

提案手法がパタン欠落問題をどれほど緩和できているかどうか調べるために，各データセットの開発セットにおいて, 共起が得られなかった単語ぺア（パタン欠落ペア）についての各手法

の平均 F1 スコアを比較した。結果を表 7 に示す。表から，EVALution を除く 3 つデータセットにおいて, LexNET とLexNET_Pair を比較すると, 提案した単語ぺア埋め込みを用いた場合, パタン欠落ペアの性能が適切に向上していることがわかる。なお，EVALution においては，開発セットにパタン欠落ペアが 4 つしか含まれておらず，評価が困難であった.

さらに, 図 3 に, 各データセットの開発セットにおける共起関係パタン数（共起関係パタンのトークン数), 事例数と, LexNET と LexNET_Pair の平均 F1 スコアの関係を示す。この図によると，すべてのデータセットにおいて，共起関係パタン数が 50 以下の，意味関係識別の手がかりが十分に得られない単語ぺアに対しては，提案した単語ぺア埋め込みを用いた場合に，性能が向上することがわかる． EVALution を除く 3 つのデータセットにおいては，このような共起回数が少ない，あるいはまったく共起が得られないぺアがほとんどであり，これらの単語ぺアに対しては単語ぺア埋め込みの教師なし学習の利用が有効であることがわかる.

表 7 共起しなかった単語ぺアに対する性能（平均 F1 スコア）

図 3 各データセットの開発セットにおける共起関係パタン数, 事例数と平均 F1 スコアの関係
一方で，共起関係パタン数が 50 より多い，意味関係識別の手がかりが十分にある単語ぺアに対しては, 単語ぺア埋め込みの貢献は限定的である。これは, 共起関係パタン数が多い単語ペアに対しては, 関係パタンの特徴が十分にLexNET の関係パタンの表現に符号化がされるため, 単語ぺア埋め込みの教師なし学習で得られる情報が冗長になってしまうためであると考えられる。

$\mathrm{K} \& \mathrm{H}+\mathrm{N}, \mathrm{BLESS}, \mathrm{ROOT09}$ において，共起関係パタン数が 0 のペア（パタン久落ペア）に対する LexNET の平均 F1 スコアが共起関係パタンを持つぺアに対する平均 F1 スコアよりも良いケースがある。これは，パタン欠落ペアの多くはランダムペア（無関係なぺア）であり，これらに関しては, 関係パタンに基づかなくとも，適切に分類が行えるのが理由であると考えられる。

## 5.2 関係パタンの共起予測

学習された単語ぺア埋め込みが, どのような情報を符号化しているかを見るために, 教師なし学習した $\left.\tilde{\boldsymbol{h}}_{(} w_{1}, w_{2}\right)$ と $\boldsymbol{v}_{p}$ を用いて, BLESS の訓練セット内のコーパス上で共起しなかった単語ぺアについて, どのような依存構造パスが共起しやすいかの予測を行った.

負例サンプリング目的関数 (Mikolov et al. 2013) の性質により, 内積 $\boldsymbol{v}_{p} \cdot \tilde{\boldsymbol{h}}_{(} w_{1}, w_{2}$ ) は単語ぺア $\left(w_{1}, w_{2}\right)$ と依存構造パス $p$ の共起のしやすさを表すため, 共起しなかった単語ぺアについて,教師なし学習に用いた 3 万の依存構造パスを内積でランキングすることで, どのような依存構造パスと共起しうるかを見ることができる.

各単語ペアについて上位三件までの依存構造パスを予測した例を表 8 に示す. 各単語ぺアの意味関係を示唆すると思われる依存構造パスを太字にしている。予測された依存構造パスについては，不適切なものを含みつつも，各単語ぺアの意味関係を表すものが予測されている．たとえば, (jacket, commodity)や (goose, creature)などの上位下位関係のぺアにおいては， $X$ is $Y$ manufactured や， $X$ is a species of $Y$ のような, 包含関係を表す is-aの関係パタンの依存構造パスが予測されている。また，部分全体関係を持つ (owl, rump) では $X$ has $Y$ のような所有の関係を表すパスが予測されている。同じく部分全体関係を持つ (mug, plastic)に対しては，材料の関係を表す $X$ made from $Y$ が予測されている。いずれも部分全体関係を示唆する関係パ夕ンである．兄弟関係を表すぺアについては単語ぺアのドメインに固有な, 二つの名詞が同じカテゴリに属すことを示唆する依存構造パスが予測されている. ( carrot, beans)のような野菜の単語ぺアでは, $X$ leaf and $Y, \quad($ cello, kazoo)のような楽器の単語ぺアでは, play $X$, guitar, and $Y$ のような，等位接続の関係パタンが予測されており，兄弟関係を示唆している.

これらの例から, 本研究で提案された単語ぺア埋め込みが, 適切に関係パタンの情報を符号化していることがわかる. これにより, 単語ぺア埋め込みが適切にパタン欠落問題を緩和していると考えられる。
表 8 BLESS 内の共起しなかった単語ぺアについて予測された依存構造パス

 \\

## 5.3 単語ペア埋め込みの可視化

単語ぺア埋め込み $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ の性質を調べるために, BLESS 内の単語ぺアに注釈されたドメインごとに, t-SNE (Maaten and Hinton 2008) によるデー夕点の可視化を行った. 各ドメインについて t-SNEによる次元削減を行い上位下位関係，兄弟関係，部分全体のぺアをプロットし

bird

図 4 t-SNEによる単語ぺア表現の可視化（上段は $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$, 下段は $\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{w_{2}}\right]$ )

た. 比較として, LexNET で用いられる二語の単語埋め込みの結合に対しても, 同様に可視化を行った. 結果として, いくつかのドメインに関して, 単語ぺア埋め込み $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ の空間では,各意味関係のクラスタが形成されていることがわかった。鳥 (bird), 建物 (building), 爬虫類 (amphibian_reptile)のドメインの可視化を例として図 4 に示す. 図においては, 上位下位関係 (hyper), 兄弟関係 (coord), 部分全体関係 (mero) のデータ点がプロットされている。単語ペア埋め込みの結合の散布図は，各意味関係のデー夕点が散らばったり，混ざり合ったりしているが， $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ の散布図は，各意味関係ごとにクラス夕を形成しているのがわかる。これは $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ の空間が意味関係の類似性 (Turney 2006) を捉えており, 意味関係識別に有用な性質を有していることを示している.

## 6 結論

本研究では, パタンベースの意味関係識別において問題であったパタン久落問題を解決するために，関係パタンとの共起の情報を捉えた単語ぺア埋め込みの学習法を提案し, 名詞ぺアの意味関係識別に適用した．実験により，4つのデータセットの名詞ぺアにおいて，分類性能が向上することを示した. さらに分析により, 単語ペア埋め込みが適切にパタン欠落問題を緩和し，意味関係識別に有効な情報を持っていることを示した。

今後の課題として，名詞以外の品詞の意味関係識別への適用を行う.

## 謝 辞

查読者の方々の有益なコメントに感謝する.

本論文の内容の一部は, the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies で発表したものである (Washio and Kato 2018).

## 参考文献

Baroni, M., Bernardi, R., Do, N.-Q., and Shan, C.-c. (2012). "Entailment above the Word Level in Distributional Semantics." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 23-32, Avignon, France. Association for Computational Linguistics.

Baroni, M. and Lenci, A. (2011). "How We BLESSed Distributional Semantic Evaluation." In Proceedings of the GEMS 2011 Workshop on GEometrical Models of Natural Language Semantics, pp. 1-10, Edinburgh, UK. Association for Computational Linguistics.

Collobert, R. and Weston, J. (2008). "A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning." In Proceedings of the 25th International Conference on Machine Learning, pp. 160-167. ACM.

Dagan, I., Dolan, B., Magnini, B., and Roth, D. (2010). "Recognizing Textual Entailment: Rational, Evaluation and Approaches-Erratum." Natural Language Engineering, 16 (1), pp. 105-105.

Fellbaum, C. (1998). WordNet: An Electronic Lexical Database. MIT Press.

Hanks, P. (2009). "The Impact of Corpora on Dictionaries." In Baker, P. (Ed.), Contemporary Corpus Linguistics, pp. 214-236. Continuum, London, Great Britain.

Hearst, M. A. (1992). "Automatic Acquisition of Hyponyms from Large Text Corpora." In COLING 1992 Volume 2: The 15th International Conference on Computational Linguistics, pp. 539-545.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Iyyer, M., Manjunatha, V., Boyd-Graber, J., and Daumé III, H. (2015). "Deep Unordered Composition Rivals Syntactic Methods for Text Classification." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1681-1691,

Beijing, China. Association for Computational Linguistics.

Kiperwasser, E. and Goldberg, Y. (2016). "Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations." Transactions of the Association for Computational Linguistics, 4, pp. 313-327.

Levy, O. and Goldberg, Y. (2014). "Dependency-Based Word Embeddings." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 302-308, Baltimore, Maryland. Association for Computational Linguistics.

Levy, O., Remus, S., Biemann, C., and Dagan, I. (2015). "Do Supervised Distributional Methods Really Learn Lexical Inference Relations?" In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 970-976, Denver, Colorado. Association for Computational Linguistics.

Maaten, L. v. d. and Hinton, G. (2008). "Visualizing Data using t-SNE." Journal of Machine Learning Research, 9 (Nov), pp. 2579-2605.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Burges, C. J. C., Bottou, L., Welling, M., Ghahramani, Z., and Weinberger, K. Q. (Eds.), Advances in Neural Information Processing Systems 26, pp. 3111-3119. Curran Associates, Inc.

Neç̧ulescu, S., Mendes, S., Jurgens, D., Bel, N., and Navigli, R. (2015). "Reading Between the Lines: Overcoming Data Sparsity for Accurate Classification of Lexical Relationships." In Proceedings of the 4th Joint Conference on Lexical and Computational Semantics, pp. 182-192, Denver, Colorado. Association for Computational Linguistics.

Pennington, J., Socher, R., and Manning, C. (2014). "Glove: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar. Association for Computational Linguistics.

Roller, S. and Erk, K. (2016). "Relations such as Hypernymy: Identifying and Exploiting Hearst Patterns in Distributional Vectors for Lexical Entailment." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2163-2172, Austin, Texas. Association for Computational Linguistics.

Roller, S., Erk, K., and Boleda, G. (2014). "Inclusive yet Selective: Supervised Distributional Hypernymy Detection." In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 1025-1036, Dublin, Ireland. Dublin City University and Association for Computational Linguistics.

Santus, E., Lenci, A., Chiu, T.-S., Lu, Q., and Huang, C.-R. (2016). "Nine Features in a Random

Forest to Learn Taxonomical Semantic Relations." In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016), pp. 4557-4564, Portorož, Slovenia. European Language Resources Association (ELRA).

Santus, E., Yung, F., Lenci, A., and Huang, C.-R. (2015). "EVALution 1.0: An Evolving Semantic Dataset for Training and Evaluation of Distributional Semantic Models." In Proceedings of the 4th Workshop on Linked Data in Linguistics: Resources and Applications, pp. 64-69, Beijing, China. Association for Computational Linguistics.

Schoenmackers, S., Davis, J., Etzioni, O., and Weld, D. (2010). "Learning First-Order Horn Clauses from Web Text." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 1088-1098, Cambridge, MA. Association for Computational Linguistics.

Shwartz, V. and Dagan, I. (2016). "Path-based vs. Distributional Information in Recognizing Lexical Semantic Relations." In Proceedings of the 5th Workshop on Cognitive Aspects of the Lexicon (CogALex - V), pp. 24-29, Osaka, Japan. The COLING 2016 Organizing Committee.

Shwartz, V., Goldberg, Y., and Dagan, I. (2016). "Improving Hypernymy Detection with an Integrated Path-based and Distributional Method." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2389-2398, Berlin, Germany. Association for Computational Linguistics.

Snow, R., Jurafsky, D., and Ng, A. Y. (2005). "Learning Syntactic Patterns for Automatic Hypernym Discovery." In Saul, L. K., Weiss, Y., and Bottou, L. (Eds.), Advances in Neural Information Processing Systems 17, pp. 1297-1304. MIT Press.

Tsuchida, M., Torisawa, K., De Saeger, S., Oh, J.-H., Kazama, J., Hashimoto, C., and Ohwada, H. (2011). "Toward Finding Semantic Relations not Written in a Single Sentence: An Inference Method using Auto-Discovered Rules." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 902-910, Chiang Mai, Thailand. Asian Federation of Natural Language Processing.

Turney, P. D. (2006). "Similarity of Semantic Relations." Computational Linguistics, 32 (3), pp. 379-416.

Vylomova, E., Rimell, L., Cohn, T., and Baldwin, T. (2016). "Take and Took, Gaggle and Goose, Book and Read: Evaluating the Utility of Vector Differences for Lexical Relation Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1671-1682, Berlin, Germany. Association for Computational Linguistics.

Washio, K. and Kato, T. (2018). "Filling Missing Paths: Modeling Co-occurrences of Word

Pairs and Dependency Paths for Recognizing Lexical Semantic Relations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1123-1133, New Orleans, Louisiana. Association for Computational Linguistics.

Weeds, J., Clarke, D., Reffin, J., Weir, D., and Keller, B. (2014). "Learning to Distinguish Hypernyms and Co-Hyponyms." In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 2249-2259, Dublin, Ireland. Dublin City University and Association for Computational Linguistics.

Yang, S., Zou, L., Wang, Z., Yan, J., and Wen, J.-R. (2017). "Efficiently Answering Technical Questions-A Knowledge Graph Approach." In Proceedings of the 31st AAAI Conference on Artificial Intelligence, pp. 3111-3118.

## 略歴

熟尾光樹：2015 年東京大学教養学部卒業. 2017 年東京大学大学院総合文化研究科言語情報科学専攻修士課程修了. 同年, 同大学院博士課程入学.

加藤恒昭：1983 年東京工業大学大学院総合理工学研究科修士課程終了. 同年,日本電信電話公社（現 NTT）に入社. 2000 年東京大学総合文化研究科言語情報科学専攻准教授，2010 年同教授. 現在に至る. 博士（工学）、マルチモー ダル情報アクセス, 語彙意味論に関する研究に従事.