# 知識グラフエンベディングのためのリレーションパスルールに よるトランスダクティブデータ拡張

廣瀬雄士 ${ }^{1}$ 新保仁 ${ }^{2}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 先端科学技術研究科, 2 千葉工業大学人工知能・ソフト
ウェア技術研究センター
hirose.yushi.hx4@is.naist.jp, shimbo@stair. center, taro@is.naist.jp

## 1 はじめに

実世界の情報をデータ化する手法として知識グ ラフが知られている．知識グラフはエンティティを 頂点とし，リレーションを辺のラベルとする有向 グラフである．辺を表すへッドエンティティ，リ レーション, テールエンティティの三つ組 $\left(e_{h}, r, e_{t}\right)$ は，トリプレットと呼ばれ，知識グラフはトリプ レットの集合ともみなせる. 知識グラフの例とし て, YAGO [1], Freebase [2], WordNet [3]があり, Q \& $\mathrm{A}[4]$ ，エンティティリンキング [5] などの自然言語処理タスクで用いられている。

通常，知識グラフは実世界の全てのトリプレッ トが記述されているわけではない. 久損したトリ プレットを予測するタスクを，知識グラフ補完 と呼び，主要な手法として，エンベディングモデ ル [6], [7], [8] とリレーションパスルールモデル [9] が研究されてきた. エンベディングモデルは既知の 知識グラフからエンティティ, リレーションの特徵 ベクトルを学習し, それらの間の演算により得られ るスコアによって欠損したトリプレットの真理値を 予測する．リレーションパスルールモデルは，知識 グラフ上のエンティティ間のリレーション系列 (リ レーションパス)を一階述語論理的なルールと考え て，欠損トリプレットの真理值を予測するモデルで ある。

両者には長所と短所がある. エンベディングモデ ルは，知識グラフ全体から特徴を学習できるが，知識グラフの経路情報のモデル化が明示的に行われて いない.リレーションパスルールモデルは，ルール を用いているので偽陽性が少ないが，エンティティ 間にリレーション系列が存在しなければそのトリプ レットを予測することはできない.

本研究では両者の長所を活かすように，リレー
ションパスルールによって予測されたトリプレット を訓練データに追加し，その拡張データを用いてエ ンベディングモデルの学習を行う。データの拡張は トランスダクティブ学習 [10] の設定で行う．これに よりクエリの予測に有益なデータを拡張することで 精度の向上が期待できる.

データセットとしてWN18RR，FB15k-237を用い，通常のデータを用いてエンベディングモデルを学習 させた場合と比較すると，拡張データを用いた場合 の方が予測精度が良い結果が得られた。通常の知識 グラフ補完のためにトランスダクティブ学習の設定 を用い，予測精度への効果を調べたのは，私の知る 限り本研究が初めてである。

## 2 背景

知識グラフ補完は, テストクエリ $\left(e_{h}, r, ?\right),\left(?, r, e_{t}\right)$ が与えられた時，?に入る真のエンティティが，エ ンティティ集合 $E$ の中で何番目に真である可能性が 高いかを予測するタスクとしてょく定式化される.本研究も同様なタスクを考える。

## 2.1 エンベディングモデル

エンベディングモデルはエンティティとリレー ションの特徴べクトルを用いた演算によってトリ プレットのスコアが定義されるモデルであり，その 值が大きいトリプレットほど，真である可能性が 高いと考える. 各特徴べクトルは, 通常確率的勾配降下法によって学習される. 初期モデルとして RESCAL [6] が知られており, 近年精度が高いモデ ルとして TuckER [8] が知られている. 各モデルのス コア関数 $f_{\mathrm{RESCAL}}$ および $f_{\text {TuckER }}$ は以下のように表さ れる。

$
\begin{gathered}
f_{\mathrm{RESCAL}}\left(e_{h}, r, e_{t}\right)=\mathbf{e}_{h}^{\top} \mathbf{R} \mathbf{e}_{t} \\
f_{\text {TuckER }}\left(e_{h}, r, e_{t}\right)=\mathbf{W} \times{ }_{1} \mathbf{e}_{h} \times{ }_{2} \mathbf{r} \times{ }_{3} \mathbf{e}_{t}
\end{gathered}
$

ここで $\mathbf{e}_{h}, \mathbf{e}_{t}, \mathbf{r}, \mathbf{R}, \mathbf{W}$ はそれぞれ学習されるパラメー タを示し，順にへッド，テールエンティティ，リ レーションのエンベディングベクトル，リレーショ ン行列, 全トリプレット共通のコアテンソルを表 す. $\times_{n}$ はテンソルの n-mode 積を表す.

## 2.2 リレーションパスルール

リレーションの系列をリレーションパスと呼 ぶ. すなわち $r_{1}, \ldots, r_{n}$ が $n$ 個のリレーションで あるとき, path $h_{i}:=\left(r_{1}, \ldots, r_{n}\right)$ は長さ $n$ のリレー ションパスである. また, $\left(e_{1}, r_{1}, e_{2}\right),\left(e_{2}, r_{2}, e_{3}\right), \ldots$, $\left(e_{n}, r_{n}, e_{n+1}\right)$ が知識グラフ中のトリプレットである とき, $e_{1}$ と $e_{n+1}$ の間に $p a t h_{i}$ が存在する, といい, $\operatorname{path}_{i}\left(e_{1}, e_{n+1}\right)$ と書く.

リレーションパスを用いた予測の例としてクエ リ (Bob, nationality, ?) を考える. (Bob, bornIn, NYC), (NYC, isCityOf, USA) が知識グラフ上で既知なら， Bob,USA の間に (bornIn, isCityOf) というリレーショ ンパスが存在することを用いて，USA がクエリの 真のエンティティに含まれると予測することがで きる.

リレーションパス path $_{i}=\left(r_{1}, r_{2}, \ldots, r_{n}\right)$ を用いて リレーション $r$ を予測するとき，述語論理を用いて 次のようなルールとしてみることもできる.

$
\begin{aligned}
\exists e_{1}, e_{2}, \ldots e_{n+1} & :\left(e_{1}, r_{1}, e_{2}\right) \wedge\left(e_{2}, r_{2}, e_{3}\right) \wedge \ldots \\
& \wedge\left(e_{n}, r_{n}, e_{n+1}\right) \rightarrow\left(e_{1}, r, e_{n+1}\right)
\end{aligned}
$

ルールの尤もらしさは, 先行研究 [11] の Partial Completeness Assumption（PCA）という仮定に基づ くと，式のような確信度スコアで示される. 式はリ レーション $r$ の予測に用いる path $h_{i}$ の確信度スコア を表し,$e_{t}^{\prime}$ は知識グラフ上のいずれかのエンティ ティを表す.

$\operatorname{Conf}_{\mathrm{PCA}}\left(\right.$ path $\left._{i}\right)=\frac{\left|\left.\{\left(e_{h}, e_{t}\right) \mid \operatorname{path}_{i}\left(e_{h}, e_{t}\right) \wedge\left(e_{h}, r, e_{t}\right)\right.\}\right|}{\left|\left.\{\left(e_{h}, e_{t}\right) \mid \operatorname{path}_{i}\left(e_{h}, e_{t}\right) \wedge\left(e_{h}, r, e_{t}^{\prime}\right)\right.\}\right|}$

## 2.3 データ拡張による知識グラフ補完

リレーションパスルールを用いてデータ拡張を行 い，エンベディングモデルの学習に用いるモデルに は UniKER [12] が存在する. この手法により, エン ベディングモデルの精度は大きく向上するが，デー 夕拡張のために様々な手法が必要である. 例えば，拡張するトリプレットをうまく見つけるために， “forward chaining" やパスの補完などがある. またこ の手法ではエンベディングスコアもデータ拡張のた
めの情報として用いている. そしてエンベディング の学習 よるエンベディングの学習，というように繰り返し エンベディングモデルを学習する必要がある.

## 3 トランスダクティブ学習設定によ るデータ拡張

トランスダクティブ学習設定では，テストクエ リ $\left(e_{h}, r\right.$, ? )が学習時に既知であると考える. このた め、テスト時にあらゆるクエリを想定しないといけ ない通常の知識グラフ補完タスクよりは容易な問題設定になっている. しかし, 現実的には予測したい クエリがあらかじめ分かっていて，その予測精度を 向上することの方が求められることも考えられる.

本手法ではテストデータのクエリ $\left(e_{h}, r, ?\right)$ が与え られたとき，テールとして該当しそうなエンティ

トリプレット $\left(e_{h}, r, e_{t}^{\prime}\right)$ を訓練データに追加する. そうすることでクエリの答えであるテールエンティ ティか，それと似た特徴を持つテールエンティティ を訓練データに追加することが期待できる。その 後，拡張データを用いてエンベディングモデルを訓練し，テストの評価に用いる. 拡張データで学習さ れたエンベディングモデルを拡張データモデルと呼 ぶこととする.

## 3.1 リレーションパスルールのマイニング

リレーションパスルールは先行研究 [13] の手法 に倣って双方向ランダムウォークによって取得す る.トリプレット $\left(e_{h}, r, e_{t}\right)$ について考える.この マイニング手法では $, e_{h}, e_{t}$ それぞれを始点とした グラフ上のランダムウォークが行われ，ウォークし たお互いの終点が同じエンティティだった場合に， リレーション $\mathrm{r}$ の予測に用いられるパスが取得さ れる。

各リレーションに対して, マイニングされた パスのうち，確信度スコアがトップ $\mathrm{N}$ 個のパス path $_{i=1 \ldots N}^{r}$ を用いてデータ拡張を行う. テストデー タの各クエリ $\left(e_{h}, r\right.$, ? に対して, 全テールエンティ ティ $e_{t}^{\prime} \in E$ を用いて,$e_{h}$ と $e_{t}^{\prime}$ の間に各 path $_{i=1 \ldots N}^{r}$ が存在するかを調べる. 存在するパスの中で, 式 4 の確信度スコアが最も大きいものを $\left(e_{h}, r, e_{t}^{\prime}\right)$ のパ ススコアとし, 各クエリのパススコアが大きいトリ プレットを訓練データに追加する. このとき top $S$ と confThold という閾値を導入する. 各クエリに 対して，最初の訓練データを含めて多くとも top $S$
表 1 知識グラフの各データセット統計情報

$E, R$ はエンティティ，リレーションの集合を表す.

個までのトリプレットを訓練データに追加する。ま た scoreThold より小さいパススコアを持つトリプ レットは訓練データに追加しないようにする。

## 4 実験

## 4.1 実験設定

データセットには WN18RR [14] と FB15k-237 [15] を用いた。データセットの統計情報は表 1 に示す。

データ拡張には各リレーションで確信度スコア トップ 1000 までのパスを用いる.またハイパーパ ラメータを検証用データで調整するために，テスト データだけでなく検証用データもデータ拡張のた めのクエリとして用いた. エンベディングモデルに は RESCAL,TuckERを用い，そのハイパーパラメー タ等の值は付録に示す。ハイパーパラメータの探索範囲は，ベースモデルと拡張データモデルで等し く，検証用データの MRR が最大になるようグリッ ドサーチする.

また各データ $\left(e_{h}, r, e_{t}\right)$ に対して逆リレーション $r^{-1}$ を用いた $\left(e_{t}, r^{-1}, e_{h}\right)$ を追加する. そして学習と 評価は各トリプレットのテールエンティティを予測 する手法を用いる [16].

## 4.1.1 損失関数

損失関数には KvsAll [17] という負例の取り方と，二値交差エントロピー損失を用いる。このときミニ バッチ内の一つの訓練事例は $\left(e_{h}, r\right)$ となり，このぺ アに対する損失関数は以下のように表される.

$
\begin{aligned}
L= & -\frac{1}{|E|} \sum_{e^{\prime} \in E}^{|E|}\left(\mathbf{y}_{e^{\prime}} \log \sigma\left(f\left(e_{h}, r, e^{\prime}\right)\right)+\right. \\
& \left.\left(1-\mathbf{y}_{e^{\prime}}\right) \log \left(1-\sigma\left(f\left(e_{h}, r, e^{\prime}\right)\right)\right)\right)
\end{aligned}
$

ここで $\mathbf{y}_{e^{\prime}}$ は，トリプレット $\left(e_{h}, r, e^{\prime}\right)$ が訓練デー タに含まれるなら 1 ，それ以外は 0 となるラベルを 表し， $f$ は学習に用いるスコア関数， $\sigma$ は活性化関数であるシグモイド関数を表す。

## 4.2 実験結果

ベースモデルと拡張データモデルによるテスト クエリの予測結果を表 2 に示す. MRR は予測され表 2 拡張データモデルの実験結果

た真のエンティティのランクの逆数の平均を表し， Hits@ $K$ は真のエンティティのランクが $K$ 位内であ るテストクエリの割合を表す。

## 5 分析・考察

## 5.1 予測精度に関する考察

表 2 の実駼結果から，拡張データがエンベディン グモデルの精度を向上させることがわかる. また， FB15k-237 で拡張データモデルがベースモデルに対 してあまり精度の改善が見られなかった原因の一つ に，適切なハイパーパラメータを設定できなかった 可能性が考えられる。拡張データによって訓練デー タの数が変化するので，最適なエンベディングの次元やドロップアウトの值が変化したと思われる.

## 5.2 予測結果の違いに関する分析

一つのテストデータに対して，そのクエリによっ て生成される拡張データを，そのテストデータの拡張データと呼ぶことにする。

拡張データに真またはそれに類似したテールエン ティティを含んだ結果，予測が改善されたのか分析 する. ベースモデル・拡張データモデルによって予測される各検証用データのランクを調べ，それぞれ のモデルで 10 位以内かそれ未満で予測されたデー 夕数と，その内拡張データを持つもの，拡張データ に含まれるものを示したのが，表 3,4 である。 エン ベディングモデルには RESCALを用いた.

まず WN18RR について表 3 のデータをみる。拡張データに含まれる検証用データは全て，拡張デー タモデルで 10 位以内に予測できている。そのうち 93 個はベースモデルでは 10 位以内に予測できな かったもので，拡張データモデルの予測精度が向上 に寄与している。

FB15k-237 も WN18RR と同じような傾向が見られ るが，拡張データモデルによって新たに 10 位内に 予測できるようになったトリプレットの数が，予測 できなくなった数と同じくらい存在する.

両方のデータセットで拡張データを持つ検証用
表 3 各モデルによる検証用データの予測ランク比較（WN18RR）

表 4 各モデルによる検証用データの予測ランク比較（FB15k-237）

表中の “have 拡張データ” は拡張データを持つ検証用データ，“in 拡張データ” は拡張データに含まれる検証用データを 示す.

データのうち，そのデータ自身が拡張データに含ま れなくても精度が上昇したものが存在する. この原因が，拡張データにクエリの真のテールエンティ ティに類似したエンティティを含んだためかどうか 次の節で確かめる。

## 5.3 エンベディングコサイン類似度比較

以下のように検証用データと拡張データのテー ルエンティティのエンベディングコサイン類似度 を分析した．検証用データ $\left(e_{h}, r, e_{t}\right)$ の拡張データ のテールエンティティの集合を $D\left(e_{h}, r\right)$ とする. $D\left(e_{h}, r\right)$ の各テールエンティティ $e_{t}^{\prime}$ 対して,$E$ 中 の全エンティティとのエンベディングのコサイン類似度を求める. 各 $e_{t}^{\prime}$ について $e_{t}^{\prime}$ と $e_{t}$ のコサイン類似度が $E$ 中で何番目か求める. 各 $e_{t}^{\prime}$ と $e_{t}$ のコサイ ン類似度ランクの中で最も小さいものを，D $\left(e_{h}, r\right)$ と $e_{t}$ との最小コサイン類似度ランクとする.

検証用データで拡張データに含まれない，かつ拡張データ持ち検証用データのうち，以下 3 タイプの データを比較のために取り出す.

・タイプ 1：10 位以内の予測精度が向上したデー タ（予測ランクがベースモデルで 10 位未満か つ拡張データモデルで 10 位以内のデータ)

・タイプ 2：10 位以内の予測精度が悪化したデー タ（予測ランクがベースモデルで 10 位以内か つ拡張データモデルで 10 位未満のデータ)

・タイプ 3：10 位以内に変わらず予測できてい ないデータ（予測ランクがベースモデル，拡張 データモデル共に 10 位未満のデータ)

各タイプに含まれる検証用データそれぞれについ て，その拡張データのテールエンティティとの最小 コサイン類似度ランクを求める. その後各タイプご表 53 タイプの検証用データの最小コサイン類似度

とに，検証用データの最小コサイン類似度ランクの MRR を求める. このようにして求められた 3 タイ プの MRRを，各タイプに含まれる検証用データ数 と共に表 5 に示す.

両データセット共にタイプ 1 が最も最小コサイン 類似度 MRR が高く，類似したエンティティの拡張 データの学習が，拡張データモデルの精度向上に寄与したと考えられる。

## 6 おわりに

トランスダクティブ設定の下で，リレーションパ スによるデータ拡張を行い，エンベディングモデル の学習と予測を行った. 予測結果は拡張データなし の場合を上回り，分析の結果，多くの場合トランス ダクティブ学習の設定がより良いデータの拡張に つながることがわかった. また本手法は他のエンベ ディングモデルへの応用も期待できる。

トランスダクティブではなく，通常の設定でのリ レーションパスルールによるデータ拡張は今後の課題とする。

## 参考文献

[1] Fabian M Suchanek, Gjergji Kasneci, and Gerhard Weikum. Yago: a core of semantic knowledge. In Proceedings of the 16th international conference on World Wide Web, pp. 697-706, 2007.

[2] Kurt Bollacker, Colin Evans, Praveen Paritosh, Tim Sturge, and Jamie Taylor. Freebase: a collaboratively created
graph database for structuring human knowledge. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data, pp. 1247-1250, 2008.

[3] George A. Miller. Wordnet: A lexical database for english. Coтmun. ACM, Vol.38, No. 11, p.39-41, November 1995.

[4] Xiao Huang, Jingyuan Zhang, Dingcheng Li, and Ping Li. Knowledge graph embedding based question answering. In Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining, WSDM '19, p. 105-113, New York, NY, USA, 2019. Association for Computing Machinery.

[5] Deep semantic match model for entity linking using knowledge graph and text. Procedia Computer Science, Vol. 129, pp. 110 - 114, 2018.

[6] Maximilian Nickel, Volker Tresp, and Hans-Peter Kriegel. A three-way model for collective learning on multirelational data. In Icml, Vol. 11, pp. 809-816, 2011.

[7] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. International Conference on Machine Learning (ICML), 2016.

[8] Ivana Balažević, Carl Allen, and Timothy M Hospedales. Tucker: Tensor factorization for knowledge graph completion. In Empirical Methods in Natural Language Processing, 2019.

[9] Christian Meilicke, Manuel Fink, Yanjie Wang, Daniel Ruffinelli, Rainer Gemulla, and Heiner Stuckenschmidt. Fine-grained evaluation of rule-and embedding-based systems for knowledge graph completion. In International Semantic Web Conference, pp. 3-20. Springer, 2018.

[10] A. Gammerman, V. Vovk, and V. Vapnik. Learning by transduction. In Proceedings of the Fourteenth Conference on Uncertainty in Artificial Intelligence, UAI'98, p. 148-155, San Francisco, CA, USA, 1998. Morgan Kaufmann Publishers Inc.

[11] Luis Galárraga, Christina Teflioudi, Katja Hose, and Fabian M Suchanek. Fast rule mining in ontological knowledge bases with amie+. The VLDB Journal, Vol. 24, No. 6, pp. 707-730, 2015.

[12] Ke wei Cheng, Ziqing Yang, Ming Zhang, and Y. Sun. Uniker: A unified framework for combining embedding and horn rules for knowledge graph inference. In ICML Workshop on Graph Representation Learning and Beyond, 2020.

[13] Matt Gardner and Tom Mitchell. Efficient and expressive knowledge base completion using subgraph feature extraction. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1488-1498, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[14] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings, 2018.

[15] Kristina Toutanova and Danqi Chen. Observed versus latent features for knowledge base and text inference. In Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality, pp. 57-66, Beijing, China, July 2015. Association for Computational Linguistics.
[16] Timothee Lacroix, Nicolas Usunier, and Guillaume Obozinski. Canonical tensor decomposition for knowledge base completion. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 2863-2872, Stockholmsmässan, Stockholm Sweden, 10-15 Jul 2018. PMLR.

[17] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You CAN teach an old dog new tricks! on training knowledge graph embeddings. In International Conference on Learning Representations, 2020.

[18] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[19] Xavier Glorot and Yoshua Bengio. Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the thirteenth international conference on artificial intelligence and statistics, pp. 249-256, 2010.

## A 付録

## A. 1 マイニングされたパス数

本研究で用いたマイニングされたパスの各リレーションごとの平均数・標準偏差を表に示す.

表 6 マイニングされたパス数

## A. 2 エンベディングモデル実験設定とハイパーパラメータ

エンベディングモデル実験設定とハイパーパラメータの值を表 7 に示す。表中の \{\} 内の值は探索に用いた 值である.

表 7 エンベディングモデルのハイパーパラメータ

## A. 3 データ拡張の域値

データ拡張の域値 topS, scoreThold は, WN18RR で topS $=5$, scoreThold $=0.1, \mathrm{FB} 15 \mathrm{k}-237$ で top $S=$ 5, scoreThold $=0.6$ を用いた.


# 構文情報とラベルなしデータを用いた化学分野の関係抽出

新城大希
東京工業大学情報理工学院
shinjo.t.ab@m.titech.ac.jp
牧野拓哉
株式会社富士通研究所
makino.takuya@fujitsu.com
}

徳永健伸
東京工業大学 情報理工学院
take@c.titech.ac.jp
岩倉友哉
株式会社富士通研究所
iwakura.tomoya@fujitsu.com
}

る場合は実行時間が増加するため，大規模データを 効率的に処理することが難しくなる。

この二点をふまえ，本研究では，Open Information Extraction (Open IE) [6] を利用して補助タスクの学習 データを作成し，関係抽出を行う「主タスク」に加 え，主タスクが対象とするエンティティのペアが Open IE で抽出されるかどうかを判定する「補助タ スク」を導入したマルチタスク学習 [7]を行う。さ らに，ラベルなしデータである PubMed に対してラ ベルを付与し，学習に利用する手法を提案する。提案手法は，ラベルなしデータおよび各タスクの学習 データに対して Open IE が構文パタンに基づいて抽出した関係を学習時に利用する。そのため，目的の 関係抽出に有効な構文情報を暗黙的に学習するこ とが期待される。また，提案手法は構文情報は学習時のラベル作成のために利用し, 抽出時には利用し ないため, 明示的な構文解析結果の利用で生じる抽出速度の低下を避けることができる. CHEMPROT, GAD，EU-ADR で評価した結果，BioBERT より高い 精度が得られ，また，構文解析結果を用いる手法と の比較では，高い精度を維持しつつ，最大 29 倍高速に抽出が行えることが示された。
## 2 関連研究

BERT [3] を分野固有の文書で訓練することによっ て，その分野のタスクが高性能になることが知られ ている $[2,8]$. また，構文解析結果を考慮すること で，一般ドメインの関係抽出において，精度改善が 報告されている [4, 5]. Open IE [6] は，構文情報を 用いて主語・目的語となるエンティティのペアと， エンティティ間の関係を合わせた三つ組を抽出す る. そのため，クラスが定義された教師あり学習と は異なり，種々の関係を抽出できる。
 い。二つ目は，構文的な情報を利用していないとい う点である. 目的の関係抽出タスクでは構文的な情報が手掛かりになると期待できる $[4,5]$. しかしな がら，BERT は単語列からなる文を入力として文に 対する特徵量を抽出するため，構文的な情報を利用 していない。また，単純に構文解析の結果を利用す

図 1 マルチタスク学習の概念図

## 3 提案手法

## 3.1 ベースモデル

本研究では主タスクの関係抽出と後述する補助 タスクを同時に学習するマルチタスク学習をべー スラインモデルとする [7]. まず関係を判定したい 二つのエンティティをタグに変換する．変換後の文 に対して Open IE によって補助タスクのラベルを付与し, 両タスク共通のエンコーダの入力に用いる. エンコーダとして事前学習済みの BioBERTを用い る. BERTにおいて用いられる [CLS]トークンがエ ンコーダの出力から得られるので, 入力文の分散表現としてそれぞれの分類器の入力に用いる. 共通の エンコーダとそれぞれの分類器を学習させ，各タス クの損失の重み付き和を最終的な損失関数とする。以上の手順を図 1 に示す.

主タスクでは関係抽出を行うが，補助タスクでは 入力文に Open IE で抽出できる関係が含まれている かどうかを分類する. 補助タスクのラベルを生成 するため, 入力文に対して Open IE ツール Stanford CoreNLP [9] を用い，(主語，関係，目的語）の三つ 組を抽出する。このとき，主語，目的語にそれぞれ のエンティティを含む三つ組が抽出できた場合，入力文に対する補助タスクのラベルは正例ラベルと なる。 それ以外の場合は負例となる。表 1 に例を示 す.したがって，補助タスクではエンティティのぺ アを含む文を大力とし，入力文が正例か負例かの 2 クラスに分類するタスクを取り扱う．各タスクの損失関数は Cross Entropy Loss を用いる.

## 3.2 ラベルなしデータの活用

本研究では CHEMPROT などのラベル付きデータ に加え，ラベルなしデータである PubMed の活用 を提案する. PubMed は生物医学ドメインのデータ ベースであり，2020 年 9 月時点で約 3,000 万件の文献が収録されている.このうちアブストラクトが取得できる文献をクローリングし，学習に利用する。利用方法は以下の通りである。

1. ラベル付きデータを用いて固有表現抽出器と関係抽出器を学習. 抽出器はいずれも BioBERT で使用していたものを利用.

2. PubMed アブストラクトに対して 1 で学習した モデルで固有表現抽出を行い，関係抽出の判定対象のエンティティを含む文を取得.

3. 2で取得した文に対して関係抽出を行い主タス クのラベルを付与.
4. 2 で取得した文に対して Open IE によって補助 タスクのラベルを付与.

5. 主タスクと補助タスクのラベルが付与された PubMed を元のラベル付きデータと同時に学習.

PubMed の利用時は，関係ラベルの正例・負例の 比率が元のラベル付きデータと同程度になるよう文 を選ぶ。また，関係抽出ラベルを付与した際のスコ アが高いものから順に選択し学習に利用する。

## 4 評価実験

## 4.1 データセット

評価実験では CHEMPROT に加えて GAD [10], EU-ADR [11] をデータセットとして用いる. CHEMPROT は関係の種類が 6 クラス定義され
表 1 補助タスクのラベル付けの例

 & 正例 \\

ているのに対し， GAD と EU-ADR は 2 クラスが 定義されている.いずれのデータセットにおい ても BioBERT で使われていた前処理済みのもの を実験に用いる．実験ではこれらの CHEMPROT， GAD，EU-ADR に加え，CHEMPROT を関係あり・ なしの 2 クラスに変換したデータセットを用い る. 以降，本稿では元の 6 クラスの CHEMPROT を CHEMPROT-6，2 クラスに変換した CHEMPROT を CHEMPROT-2 と記す.

## 4.2 実験設定

CHEMPROT-6, CHEMPROT-2, GAD, EU-ADR $の$ 4 つのデータセットについて，主タスクのみを行 う場合とマルチタスク学習を行う場合のそれぞれ について学習時に PubMed を追加して実験を行う。 PubMed を利用する際には，元データとの関連性の 高い文を利用するために元データに出現するエン ティティを含む文のみを用いる手法でも実験を行 う．また，構文情報を与える方法として BioBERT の入力に構文木上の二つのエンティティを繋ぐ最短経路のトークンを追加した最短経路手法も比較と して実験する．本実験では，各最短経路を BioBERT で encode した結果を結合し，softmax 層にて分類を 行う，そのため，この方法では，その都度，構文解析が必要となる.

エンコーダは事前学習済みの BioBERT-Base v1.12) を用いてそれぞれの学習データで fine-tuning を行っ た. GAD，EU-ADRにおいては開発データが存在し なかったため，学習データの $10 \%$ 開発データとし て分割した. 各データセットにおいて開発データで ハイパーパラメータチューニングを行った. 開発 データで最も $\mathrm{F}$ 值が高くなったハイパーパラメータ を用い，学習データに開発データを含めて再度学習 したモデルによってテストデータの評価を行った。

CHEMPROT については乱数のシード値を変更 した上で 5 回ずつモデルの学習・評価を行い，そ れらの $\mathrm{F}$ 值の平均を評価値として用いる. GAD， EU-ADR については 10 分割交差検証によって F 值 を算出する。

## 4.3 結果と考察

評価実験の結果を表 2 に示す. BioBERT は Lee et al. [2] の論文中の数値を用いた.

表 2 実験結果（F 値）。+common は PubMed 利用時，教師データに出現したエンティティ間に制限.

手法 追加 PubMed データ量

ここでマルチタスク学習における主タスクと補助 タスクの正例・負例の相関を表 3 に示す. 主タスク と補助タスクの相関についてカイ二乗検定を用いて 有意水準 0.05 で検定したところ，CHEMPROT-2 で は有意差が認められたが，GAD，EU-ADR では有意
表 3 主タスクと補助タスクの相関

差は認められなかった. このことから，主タスクと 補助タスクの相関が示されている CHEMPROT-2に おいてはマルチタスク学習単体で，より大きく F 值 が向上したと考えられる.

また，PubMed 追加なしのシングルタスク (Single) とマルチタスク (Multi) の比較から, CHEMPROT-6, CHEMPROT-2，GAD では $\mathrm{F}$ 值が向上していること がわかる.

PubMed 追加の効果については, Single 行の比較で は，すべてのデータセットにおいてデータ追加なし の場合より高い F 值を示している. また，PubMed 利用時に，すべての文を使う場合 (Single, Multi) と 教師データに出現するエンティティ間の関係に制限する場合 (common) の比較では，CHEMPROT で は，制限を加えない場合に最高精度が得られ，GAD， EU-ADR では制限が有効であった. データを追加す ることで $\mathrm{F}$ 值は基本的に上がっているものの，一定量追加したあとは $\mathrm{F}$ 值が下がる傾向にある。これは 学習データを追加する際に関係抽出によってラベル を付与したときのスコアが高いものから順に追加し ていることに起因すると考えられる.

マルチタスク学習と PubMed の追加を組み合わ せた場合については，CHEMPROT-6, CHEMPROT-2 では最も高い $\mathrm{F}$ 值を達成しているが，GADでは シングルタスクでの PubMed 追加手法が，EU-ADR では最短経路手法がそれぞれ最高精度を達成して いる. PubMed に付与した主タスクと補助タスク のラベルについては，追加データ $100 \%$ で使用し た追加 PubMed データのラベルの相関を表 4 に示 す. 主タスクと補助タスクの相関についてカイ二乗検定を用いて有意水準 0.05 で検定したところ，表 4 PubMed における主タスクと補助タスクの相関

CHEMPROT-2，GAD，EU-ADR のいずれのデータ セットにおいても有意差が認められた.このことか ら，PubMed の学習では両タスクに共通する特徴を 学習し，ベースラインよりも高い $\mathrm{F}$ 值を達成してい るのだと考えられる。

EU-ADR では提案手法がいずれも最短経路手法よ り $\mathrm{F}$ 値が下回っているが，最短経路手法は関係抽出 ラベルを付与する際に構文解析の分だけ実行時間 がかかることになる。そこで，最短経路手法とその 他の手法について，学習データに関係ラベルを付与 する際に要する実行時間を計測した ${ }^{3}$ ．構文解析を 用いないべースラインや提案手法では CHEMPROT, GAD，EU-ADR の順に 74，31，15 秒だったのに対 し, 最短経路手法では $1,692,451$, 52 秒だった. こ れらの結果から，提案手法により，構文情報を学習 しつつ，大規模なラベルなしテキストを用いた学習 が行えることがわかる．最短経路を利用しない同じ 計算量となるモデル間での比較では，EU-ADR にお いてはマルチタスク学習と PubMed の追加を組み合 わせた提案手法が最も $\mathrm{F}$ 值が高くなっている.

## 5 おわりに

本研究では Open IE によるラベル拡張とラベルな し大規模コーパスの利用によって関係抽出タスクの 精度の向上を試みた. 実験結果から，マルチタスク 学習とデータ拡張を同時に行うことで，F 值の向上 を確認した. 今後の課題として化学ドメインでの文字情報の追加利用や，化学ドメイン以外への本手法 の適用などが挙げられる。

3）計測には Intel Xeon E5-2680 v4 2.4GHz CPU と NVIDIA TESLA P100 for NVlink-Optimized Servers を用いた.

## 参考文献

[1] Martin Krallinger, Obdulia Rabal, Saber A Akhondi, et al. Overview of the Biocreative VI chemical-protein interaction Track. In Proceedings of the sixth BioCreative challenge evaluation workshop, Vol. 1, pp. 141-146, 2017.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: Pre-trained Biomedical Language Representation Model for Biomedical Text Mining. arXiv preprint arXiv:1901.08746, 2019.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805, 2018.

[4] Yan Xu, Lili Mou, Ge Li, Yunchuan Chen, Hao Peng, and Zhi Jin. Classifying relations via long short term memory networks along shortest dependency paths. In $E M N L P^{\prime} 15$, pp. 1785-1794, 2015.

[5] Makoto Miwa and Mohit Bansal. End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016, August 7-12, 2016, Berlin, Germany, Volume 1: Long Papers, 2016.

[6] Michele Banko, Michael J Cafarella, Stephen Soderland, Matthew Broadhead, and Oren Etzioni. Open Information Extraction from the Web. In Ijcai, Vol. 7, pp. 2670-2676, 2007.

[7] 新城大希, 西川仁, 徳永健伸, 牧野拓哉, 岩倉友哉. 自動生成した学習データを用いたマルチタスク学習に よるタンパク質と化学物質間の関係抽出. 言語処理学会第 26 回年次大会, pp. 1555-1558, 2020.

[8] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP: Natural Language Processing Toolkit. In Proceedings of 52nd annual meeting of the association for computational linguistics: system demonstrations, $\mathrm{pp}$. $55-60,2014$.

[10] Àlex Bravo, Janet Piñero, Núria Queralt-Rosinach, Michael Rautschka, and Laura I Furlong. Extraction of Relations between Genes and Diseases from Text and Large-scale Data Analysis: Implications for Translational Research. BMC Bioinformatics, 012015.

[11] Erik M. van Mulligen, Annie Fourrier-Réglat, David Gurwitz, Mariam Molokhia, Ainhoa Nieto, Gianluca Trifiró, Jan Kors, and Laura I Furlong. The EU-ADR Corpus: Annotated Drugs, Diseases, Targets, and their Relationships. Journal of biomedical informatics, Vol. 45, pp. 879-84, 042012.


# 日本語の難易度に関する特徴分析

前川 絵吏村尾 元
神戸大学 国際文化学研究科
\{eri.maekawa, hajime.murao\}@ mulabo.org

## 1 はじめに

近年，日本で生活する外国人が増加し，やさしい 日本語が注目されている. やさしい日本語を自動生成するため機械翻訳の技術を利用した研究が活発で ある。機械翻訳では翻訳精度を BLEU [1]や SARI [2] で比較することが多い. BLUE や SARI は入力文,参照文との比較でスコアを計算するが，直接的にテ キストの難易度を測定しない。そこで，本研究では テキストの難易度を測るべく日本語の特徴量を分析 し，分類モデルを構築した．将来的には，テキスト 平易化の評価指標とすることを検討している.

キーワード : やさしい日本語, ランダムフォレス ト, Permutation Impmortance

## 2 先行研究

劉ら [3]は語彙レベルと構文の複雑さからテキス トの難易度を判定する手法を提案した。語彙レベル を表す尺度には，読解学習支援システムである「リ 一ディング・チュウ太・語彙チェッカー」 [4] 使用 している. リーディング・チュウ太・語彙チェッカ 一は旧日本語能力試験の出題基準に基づいて語彙レ ベルを判定する Web システムである. 構文の複雑さ を表す尺度には係り受け距離を採用し，これが長い 文は難易度が高いとしている。実験では，日本語能力試験の問題集をコーパスとして利用し，重回帰分析によって難易度算定公式を提案している。

張ら [5]は日本人が定義する難易度ではなく, 外国人の感覚に合った日本語の難易度を自動推定する 手法を提案した。テキストの特徴量を抽出し, 外国人が付与した難易度スコアを利用して, 特徴量が有効かどうかを調查した. 特徴量として, 単語数, 品詞の数, 品詞の割合, 分節数, 係り受けの距離, 係 り受けの回数を抽出した．難易度自動推定では，線形回帰モデルにより難易度スコアを算出する式パラ メータを推定している。これにより，任意の文から 難易度スコアを推定することを可能にした。

本研究では，外国人にとっての難易度に着目して
いる点では先行研究と同様であり特徴量の参考にし た.しかし, 現行の日本語能力試験では出題基準を 公開していないため, 本研究では語彙レベル等を特徴量とはしていない。それに相当する特徴量として 出現頻度を設定した。

## 3 難易度推定のための特徴量の抽出

## 3.1 特徴量の求め方

テキスト 1 文から特徴量を抽出し, 普通の日本語 とやさしい日本語の文で比較する。特徴量として以下の值を用いる。

単語数 テキストに含まれる形態素の数.

漢字率 テキストに含まれる漢字の個数を文字数で割った値.

外来語率 全ての文字がカタカナである形態素 の数.これを単語で割った値.

受身率 接尾語の「れる」もしくは「られる」の 形態素の数. これを単語数で割った値.

サ変接続名詞率品詞が「サ変接続名詞」である 形態素の数. これを単語数で割った値.

副詞率 品詞が副詞である形態素の数. これを単語数で割った値.

読点率 読点の個数. これを単語数で割った值.

否定率 品詞が助動詞の「ない」「ぬ」「ん」の数. これを単語数で割った值。

出現頻度最大値品詞が「名詞」「動詞」「形容動詞」「形容詞」である形態素の数のうちの最大値.

出現頻度平均値品詞が「名詞」「動詞」「形容動詞」「形容詞」である形態素の数のうちの平均値.

係り受け平均距離文節単位での修飾文節と被修飾文節間の分節数を係り受け距離としたとき，1 文内で修飾-被修飾関係にある全ての文節間の係り 受け距離の平均值.

係り受け最大距離 1 文内で修飾-被修飾関係に ある全ての文節間の係り受け距離の最大値.
表 1 特徵量の統計量

 & 38.471 & 285.000 & 3.000 & 17.096 \\

係り受け被修飾数 1 文内における全ての文節に ついての被修飾数の最大值.

## 3.2 実験データ

## 3.2.1 データの取得

実験では，通常の文として NHK NEWS WEB と， やさしい日本語の文として NEWS WEB EASYiiの記事からテキストを抽出した。 2020 年 7 月 9 日から 2020 年 12 月 8 日までに投稿された 329 件の記事を Web スクレイピングで収集した. 収集するテキスト は Web ページのニュース本文のみである. タイトル，記事の投稿日時，注目ワード，別の記事へのリンク テキストやバナーの文字などは含まない.

得られたテキストから, NEWS WEB EASY 2,600 文, NHK NEWS WEB 2,600 文をランダムに選び，合計 5,200 文を教師データとした。このうち学習デー 夕は 5,000 文で, NEWS WEB EASY の文が 2,501, NHK NEWS WEB の文が 2,499 , 検証データは 200 文 で, NEWS WEB EASY の文が 109 , NHK NEWS WEB の文が 91 とした。

## 3.2.2 特徵量の計算

NEWS WEB EASY のテキストから HTML タグと ルビを取り除き, 特徴量を計算した. 求めた特徴量 ベクトルにその文が通常文かやさしい日本語かを示 すラベルを付与し，ラベルを推定するようモデルを 学習した。

特徴量の基本統計量を表 1 に示す. なお, 特徴量 の標準化はしていない。特徴量のうち, 最小値・最

大値・平均値など基本統計量に差が見られるものは,「単語数」「漢字率」「サ変接続名詞」「副詞率」「係 り受け最大距離」「出現頻度最大值」が該当する.

反対に,「外来語率」や「否定率」はほとんど差が ないということがわかる.

## 4 特徴量に基づく分析

## 4.1 分析手法

## 4.1.1 ランダムフォレスト

ランダムフォレストは機械学習の手法のひとつで,分類や回帰問題に適用できる. ランダムフォレスト は複数の決定木で学習する。 その手順は次の通りで ある。まず，全ての学習データからそれぞれの決定木を学習するためのデータをランダムに選択する。 これを用いてそれぞれの決定木を学習する．学習後 のランダムフォレストを分類に利用する場合はそれ ぞれの決定木の出力からもっとも多い出力をランダ ムフォレストの出力とする.

決定木のアルゴリズムは特徴量と閾値を調整して 決める。例えば「単語数は 20 より大きいかどうか」 という条件で分岐した結果が，ラベル 0 と 1 のグル ープにクラス分けできていれば精度がよいと言える。今回の実験のように 2 値に分類する場合，条件によ って分割したデータ群にラベルが混ざり合っている 状態は不純度が高く, 一方のラベルが集まっている 状態を不純度が低いとする．親ノードより子ノード の不純度が低くなるよう学習していく。

ii https://www3.nhk.or.jp/news/easy/

## 4.1.2 Permutation Importance

Permutation Importance は特徴量の重要度を測る方法の一つで，それぞれの特徴量がどれくらいモデル の予測精度に貢献しているかを重要度とする. 重要 な特徴量の場合, その特徴量をランダムに並べ替え て学習すると正解率が低くなる.

計算の手順を示す.

正解率を $s$ とする.

2.特徴量 $j$ ごとに以下を計算する.

2.1 特徴量 $j$ ¡ンダムに並べ替えて, データセット $D_{j}$ を生成する.

2.2 データセット $D_{j}$ を, 学習済モデルで分類したとき の正解率を $\mathrm{s}_{j}$ とする.

3. 特徵量が $K$ 個あるとしたときの特徵量 $j$ の重要度 $P I_{j}$ を次の計算式で定義する.

$
P I_{j}=s-s_{j}(1 \leq j \leq K)
$

## 4.2 分析結果

## 4.2.1 ランダムフォレスト

ランダムフォレストでの学習には Python のパッ ケージである scikit-learniiを使用した. パラメータは,決定木の数を 100 とし, それ以外は scikit-learn のデ フォルトを使用した.

正解率は次の式で求める.

$
\text { Accuracy }=\frac{\mathrm{TP}+\mathrm{TN}}{\mathrm{TP}+\mathrm{FP}+\mathrm{FN}+\mathrm{TN}}
$

TP は真陽性, FP は偽陽性, FN は偽陰性, TN は 真陰性とする．5,000 件のデータを学習させた結果，正解率(Accuracy)の平均は 0.825 , 分散は $6.44 \times 10^{-5}$ であった.

## 4.2.2 PermutationImportance による特徴量の 重要度

次に，どの特徴量がモデルの正解率に影響を与え ているかを調べるために Permutation Importance を測定する. 全ての特徴量について計算した結果を図 1 に示す.

図 1 より, 「サ変接続名詞率」,「単語数」,「漢字率」, 「受身率」,「出現頻度最大値」の 5 つの特徴量 で特に誤差が大きくなった。これ以外の特徴量は, ランダムにシャッフルして学習しても精度は 0.01 以下しか変わらないことから, 学習済モデルの推定精度に大きな影響を与えないと言える。つまり，先に 挙げた 5 つの特徴量が重要であることが分かる.

図 1 Permutation Importance の結果

## 5 分類モデルの実験

## 5.1 実験の目的

本研究では, やさしい日本語と通常の日本語のテ キストデータから特徴量を抽出し, それぞれの特徴量が文の難易度にどれくらい影響を与えているかを 分析した. 分析では特徴量とラベルをランダムフォ レストで学習し, 分類モデルを生成した. 分類モデ ルはテキストの難易度を評価するための判断として 利用できることを期待している。 それを確認するた め, モデルの学習に使用していないコーパスでモデ ルを実験する。

## 5.2 実験に利用するコーパス

4.2.1 で生成したランダムフォレストの学習済モ デルを，他の４つのコーパスから収集したテキスト データに適用し，ラベルを推定した。それぞれのコ ーパスの特徴と文例を示す.

(a)こどもコーパス 甲南大学知能情報学部の研究 チームが集めたコーパス [6]である. 10 歳 11 歳の こどもが本を紹介するブログに書き込んだテキスト を収集したものである。

(b) 青空文庫 青空文庫で公開している作品である。宮沢賢治の「銀河鉄道の夜」を選んだ。

(c)ウェブ文書リードコーパス 京都大学の研究室 で公開しているコーパスの 1 つで, Web 文書の冒頭 3 文を収集したコーパスである.ニュース記事，ブ

ログ，商用ページなどさまざまな文書を含む.

(d) Wikipedia コーパス 共同作業で執筆されるイ ンターネット上の事典である。日本語 Wikipedia の ダンプデータからテキストを抽出した. Wikipedia の 記法であるタグを取り除くため, Wikipedia Extractor を使用し，テキストのみを抽出した．全てのダンプ データを利用すると計算コストが膨大になるため, ファイルの先頭から 10 万行を抽出して使用した.

## 5.3 結果と考察

それぞれのコーパスから 500 文のテキストをラン ダムに選択した。テキストから特徴量を計算し, NHK NEWS WEB と NEWS WEB EASY で学習済の モデルで推定した結果を表 2 に示す.

こどもコーパス, 青空文庫ではやさしい日本語と 分類された文が $80 \%$ を超えていた.こどもコーパス は文が短いことや漢字が少ないことが分類に影響し たと考えられる，青空文庫から選んだのは，宮沢賢治の「銀河鉄道の夜」だが，登場人物の会話で物語 が展開するため, 口語で短い文が連続する部分があ る. 特嘚量のうち, 単語数が少ないことが分類に影響したと考えられる。

ウェブ文書リードコーパスはやさしいと分類した 文が比較的多かったが，500 文中 160 文は通常の日本語であると分類されている. 複数の文書形態を含 むコーパスのため, 分析しにくいが, リード文は短 く明確に伝えるために， 1 文に多くの情報を入れな ければならない，そのため，ひらがなより漢字を使 って文の長さを短縮したことが，分類結果に影響し たと考えられる。

Wikipedia コーパスは, 通常の日本語と分類された 文が最も多かった. 文中の単語にリンクを設定でき，単語を補足する必要ないため文の難易度が高くなっ ていると考えられる。

表 2 コーパスを分類した結果

 &  \\

## 6 おわりに

本研究では, やさしい日本語ニュースである NEWS
WEB EASY と，そのニュースに対応する NHK NEWS WEB からテキストを抽出して，やさしい日本語の特徴量 を分析した. ランダムフォレストで分類器を生成し たところ，80\%を超える正解率で学習できた. またラ ンダムフォレストの木構造と Permutation Importance で特徴量の重要度を計り，「サ変接続名詞率」「単語数」「漢字率」「受身率」「出現頻度最大値」の 5 つが分類に影響を与えるということがわか った.

ランダムフォレストで生成した分類器で他のコー パスを評価したところ，こどもコーパスと青空文庫 はやさしい日本語が $80 \%$ 以上, ウェブ文書リードコ 一パスは約 $70 \%$ 0 やさしい日本語であると分類した。 Wikipedia コーパスは逆に 60\%以上が通常の日本語 であると分類した。得られた特徴量から難易度を判定できる可能性が示された.

謝辞 本研究は JSPS 科研費 19K12247 の助成を受 けて行われました。

## 参考文献

[1] K. Papineni, "BLEU: a Method for Automatic Evaluation of Machine Translation," In Proc. of ACL, pp. 311-318, 2002.

[2] W. Xu, "Optimizing Statistical Ma- chine Translation for Text Simplification.," TACL, Vol. 4, pp. 401-415, 2016.

[3] 劉志宇ほか，“日本語を学習する外国人を対象 とした日本語テキスト難易度推定手法,”研究報告自然言語処理（NL）, Vol. 2012-NL-205， No. 11, pp. 1-5,, January 2012.

[4] 北村達也, “日本語読解学習支援システム「リ ーディング・チュウ太」,” 甲南大学紀要.知能情報学編, Vol. 6,No. 2, pp. 243-253, November 2013.

[5] 張萌ほか，“「やさしい日本語」作成支援のた めの日本語の難易度自動推定の検討.," 研究報告自然言語処理（NL）, Vol. 2012-NL-206, No. 6, pp. 1-6, May 2012.

[6] 永田亮ら，“作 文履歴をトレース可能な子供 コーパスの構築,” 自然言 語処理, Vol. 17, No. 2, pp. 2_51-2_65, 2010.


# 学術論文における関連研究の執筆支援のための 被引用論文の推定

小山康平 ${ }^{1}$ 南泰浩 ${ }^{1}$ 成松宏美 ${ }^{2}$ 堂坂浩二 ${ }^{3}$
東中竜一郎 ${ }^{2}$ 田盛大悟 4 平博順 4
1 電気通信大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
3 秋田県立大学 4 大阪工業大学
k1710245@edu.cc.uec.ac.jp, minami.yasuhiro@is.uec.ac.jp
\{hiromi.narimatsu.eg, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp
dohsaka@akita-pu.ac.jp, elb17043@st.oit.ac.jp, hirotoshi.taira@oit.ac.jp

## 1 はじめに

様々な科学技術研究の発展に伴い，分野を超えた 研究も多数行われるようになってきた. これに伴 い，研究者が学術論文を執筆する際，比較すべき主要アプローチやベース手法を把握するために，関連 する数多くの論文を調査することに大きな労力を払 うことになっている．我々は，このような研究者の 論文執筆を支援するために，論文中の関連研究の章 における論文同士の引用関係に着目した。これは，関連研究の章には，その論文に対する，主要アプ ローチやベース手法の引用がされ，その分野に対す る多くの基本情報が含まれているからである.

論文を執筆する際，自分の主張をより強固にする ため，引用文献を参照することは重要である．しか し，膨大な論文の中から適切な引用文献を用意する ことは特に研究者の労力を必要とする．例えば，研究者が自身の専門分野外の事実に関する主張を書く とき，その主張の根拠となる論文を膨大な論文の中 から検索しなければならない，加えて，検索した論文を間違った形で引用しないよう注意深く，その論文を読み込まなくてはならない。もし，引用対象と して適切ではないと気づいたときには，再度検索か らやり直さなくてはならない.

このように考察すると，引用論文を精査する労力 を軽減できれば，多くの研究者の支援ができると思 われる，本稿では研究者を支援するため，関連研究 の文章及びその引用関係の情報を用いて，どの論文 を引用するべきかを割り当てるタスクを設定した
（引用文献割り当てタスク）。論文に引用を付ける 際，筆者が関連文献の候補を用意するだけで，引用文に適切な引用文献を割り当てることができれば，労力を軽減することができる. 今回の研究では，こ れを実現するデータセットとして 3.1 節に示すデー タセットを使用した。このデータセットには論文の 引用関係や関連研究の情報が含まれており,サーべ イ論文の自動生成タスクなど，複数のタスクで利用 することも考慮されている [1]. このタスクの前段階として引用元論文と被引用論文のペアが適切であ るかどうかの判定を行うタスクも同時に設定した (引用文・被引用文献ペア適正性判定タスク)。論文執筆者が根拠を示す引用文献を仮に付与した場合， その被引用文献が本当に対応するものであるかを確 かめるためには，研究者はその論文を読み込まなく てはならない，その労力を軽減するためにこのタス クを考えた。この引用文・被引用文献ペア適正性判定を最初に行い，その結果を用いて，引用文献割り 当てタスクを実現する。

## 2 関連研究

Michael らは対象の文章に引用を付けるべきかを 推定するモデルの検討をしている [2]. しかし，実際に論文を執筆する研究者を支援するためには，そ れだけでは不十分である。なぜなら，引用が必要な 文であることが分かるだけでは，研究者が引用文献 を調べる労力自体は十分に軽減されないからであ る.今回の実験では対象の文章に，被引用文献のア ブストラクトを用いて，適切な引用文献を割り当て

る.これにより，労力の削減を図ることができる。

飯沼らは，最新の研究情報が反映されていない サーベイ論文に，追加するべき新たな引用文献の推定方法を提案している [3]. 彼らの研究は, 引用文献を推定する点では我々の研究と類似している。 し かし，古いサーベイ論文で引用している文献を入力 としているために，一から論文を作成する場合の支援には適していない. また，使用しているデータ セットの種類が 4 種類の書籍のみであるため，書籍 の筆者の記述の傾向を推定に含んでいる可能性があ る. 我々の研究では，様々な筆者の論文データを使用するとともに，一から論文を作成する研究者に向 けたタスクを検討する。

## 3 タスクの設定

## 3.1 データ作成

図 1 データ作成の概略

実験に使用するデータセットは，研究者支援の 様々なタスクを共通のデータセットで実施できる ことを目標に作成した. 引用元論文のデータとして Axcell[4] のデータを使用した. AxCell は ArXiv か ら約 10 万件の論文データを取得した. このデータ には，論文の Pdf データ，図表データ，Tex ソース， bib, bblソースが含まれている. このうち, Texソー スと bib，bblソースを活用することで論文同士の引用関係を抽出する. 今回は関連研究の章に着目して いるため, Tex ソースから関連研究の章を抽出した.抽出できたデータ数は約 3 万件である. この 3 万件の関連研究の章から，lcite \{\}$を$ 含む文章を取り出 し, bib，bblファイルからタイトルを抽出した. こ の際，bibファイルがない論文が多く存在していた ので，主にbblファイルに正規表現をかけることに
よってタイトルを抽出した. 抽出し終えたタイトル は， arXiv の APIを用いて検索をかけ PDF，Abstract のデータを取り出した. 今回はこの工程を通して， ( Icite\{\}を含む文章，引用論文の Abstract)のデータ を 2 万件作成した。

## 3.2 引用文・被引用文献ペア適正性判定タ スク

引用元論文と被引用論文のペアが適切であるかど うかの判定をするタスクを行う．入力には引用元論文の引用部分の文章と被引用論文のアブストラクト を使用する．入力の負例として、被引用論文として 不適切なアブストラクトを用いたデータを用意す る. 負例は被引用論文のアブストラクトを同じ論文 の関連研究の章で引用されている別の論文のアブス トラクトに置き換えて作成した. 実際に筆者が関連文献の候補を用意する際，引用元論文と被引用論文 のペアは意味合いが近くなっていることが予想され る.このタスクの被引用論文を完全にランダムにし てしまうと，意味合いが全く異なるぺアのみを負例 として学習してしまい，わずかに意味合いが違う負例ペアを区別できない可能性がある。一方，同じ論文で引用されている引用元論文と被引用論文候補の ペアは内容が大きく離れていることは少ない，細か い意味合いの違いを抽出するためにも, 被引用論文 の候補として, 同じ論文で引用されている引用論文 を使用する。これらの正例・負例データを用いて学習を行い，正例である確率を出力とするモデルの作成をする。

<引用元論文の引用部分の文章> <SEP><被引用論文のアブストラクト>

図 2 実験の概略

## 3.3 引用文献割り当てタスク

論文に引用を付ける際，筆者が関連文献の候補を 用意するだけで，引用文に適切な引用を割り当てる ことができるよう，関連文献の候補の中から正しい 被引用論文を推定するタスクに取り組んだ。引用元論文と被引用論文の候補を用意し，被引用論文それ ぞれに 3.2 節と同様の操作をする. この時，最も適
切である確率の高かった論文候補を適切な被引用論文とする。また，引用文・被引用文献ぺア適正性判定タスクで作成したモデルが，細かい意味合いの違 いを抽出できるか確認するために, 被引用論文の候補は同じ引用元論文の関連研究の章で引用されてい る被引用論文を使用した。

図 3 実験の概略

## 4 実験

## 4.1 引用文・被引用文献ペア適正性判定タ スク

## 4.1.1 比較手法

実験に使用したモデルは Random, Word2Vec, BERT, XLNet $の 4$ 種類である.

Random 5 割の確率で正例と判定し，5 割の確率で負例と判定するモデル．この手法を実験のベースライ ン手法とする.

Word2Vec ベクトル化した文章同士の類似度を計算 することで判定をするモデル．類似度が間値よりも 高ければ正例と判定し, 閾値よりも低ければ負例と 判定する。間値は $\operatorname{dev}$ データを用いて設定する．入力は, ベース論文の引用部分の文章と被引用論文の アブストラクトである.

BERT, XLNet huggingface の事前学習モデルをファイ ンチューニングしてモデルを作成した. 入力は，(< ベース論文の引用部分の文章> <SEP> <被引用論文 の Abstract>) とした. 出力は, 被引用論文が適切で ある確率とした. 学習率は 1e-4, epoch 数は 75 とし た. 今回の実験では，モデルが出力した確率が 0.5 以上の時は正例と推定し, 0.5 未満と推定した時は 負例と推定した。

## 4.1.2 共通設定

データセットとして, 3.1 節で作成したものを正例 として使用した.このデータセットを基に (Icite \{\}表 1 引用文・被引用文献ぺア適正性判定タスク

を含む文章，同じ論文内の別の個所で言及された 引用論文のアブストラクト) の形の負例データを正例と同数作成した. 合計データ数は (train/dev/test), $(36,000 / 3,000 / 3,000)$ となった. また，評価指標とし て Accuracy, Precision, Recall, F-measure を計算した.

## 4.1.3 結果

## 4.2 評価

表 1 で示す通り，引用文・被引用文献ペア適正性判定タスクでは，BERT，XLNet は全ての評価指標 でベースラインを大きく上回る結果を出すことがで きた。これにより，引用文献割り当てタスクでは正 しい被引用論文を推定できることが期待できる。一方で，Word2Vecは Recall こそ BERT，XLNetに迫る 結果になったものの, Accuracy, Precision はべースラ インとなる Randomをわずかに上回るだけの結果と なった.

## 4.3 引用文献割り当てタスク

## 4.3.1 比較手法

実験に使用したモデルは，Random，Word2Vec[5]， BERT[6], XLNet[7]の 4 種類である.

Random 被引用論文候補の中からランダムに選ばれ た論文を推定された被引用論文とする。この手法を 実験のベースライン手法とする.

Word2Vec 4.1 節と同様の処理を全ての被引用論文候補に行う.その結果，類似度が閾値を超えたデータ のうち，最も類似度が高い論文を被引用論文と推定 する。

BERT, XLNet 4.1 節と同様の処理を全ての被引用論文候補に行う. その結果，適正である確率が 0.5 を超 えた被引用論文候補のうち，最も適正である確率が 高い論文を被引用論文と推定する。
表 2 引用文献割り当てタスクの結果

## 4.3.2 共通設定

BERT，XLNet モデルは 4.1 で学習させたモデルを 用いた。

被引用の候補となる論文の Abstract に対して，4.1 と同様の計算を行い，最も確率の高い被引用候補と なる論文を推定された被引用論文とした. 被引用の 論文候補は，引用元論文のほかの個所で引用されて いる論文のうち，取得できたデータ全てとした. データセットには 4.1 で使用した Test データのう ち実験に適した 600 件を使用した. 評価指標として Accuracy を計算した.

## 4.3.3 結果

 & We show that even when face images are unconstrained and ... \\

図 4 XLNet の引用文・被引用文献ペア適正性判定タスク 正解例

 \\

図 5 XLNet の引用文・被引用文献ペア適正性判定タスク 不正解例

## 4.4 評価

表 2 で示す通り，引用文・被引用文献ペア適正性判定タスクと同様に，引用文割り当てタスクでも， BERT, XLNet は Random, Word2Vec を大きく上回り，高精度となった. BERT, XLNet はどちらも 7 割を超 える正解率を出すことができ，このデータセットを 用いた被引用論文の推定は十分に可能であるとい える。

実際に引用文の適性判定が行われた結果を確認し てみる。表 (4) は XLNet が正しく被引用論文を識別 できた結果である. 引用元論文の文章では，画像中 の顔を入れ替える技術について述べられていて，被引用論文のアブストラクトでも画像中の顔に関する 言及がされている．どちらも同じ内容であるため，正しく推定できていることが分かる。方，表 (5) は XLNet が正しく被引用論文を識別できなかった結果である. 引用元論文の文章と被引用論文のアブ ストラクトのどちらの文章でも “voting games"につ いて言及されているため，意味合いの近い文章を識別することはできているようである.

## 5 おわりに

本研究では，研究者支援の様々なタスクにも使用 できることを目的にデータセットを作成し，引用文対引用文献適正判定タスクと引用文献割り当て タスクという二つのタスクを設定し，各種の手法 による評価を行った. どちらのタスクでも，BERT， XLNet モデルは高い精度を出すことができた. 一方 で Word2Vec の精度は，高くなかった. すべての手法での誤認識には，引用部分の文章が被引用論文の アブストラクトに比べるとかなり短いことが影響し ていると思われる. この改善点として，入力の文章 に引用部分の文章だけではなく，範囲をさらに広げ て引用部分のパラグラフを使用することがあげられ る. 今後は，入力やモデルを改善による精度の向上 と，共通データセットを用いた更なる論文執筆者支援タスクに取り組みたい。

## 参考文献

[1] 成松宏美, 小山康平, 堂坂浩二, 田盛大悟, 東中竜一郎,南泰浩, 平博順. 学術論文における関連研究の執筆支援のためのタスク設計およびデータ構築. 言語処理学会第 26 回年次大会, 2021.

[2] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[3] 飯沼俊平, 難波英嗣, 竹澤寿幸, 広島市立大学大学院情報科学研究科. サーベイ論文作成支援のための引用論文推薦, 2015.

[4] Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. Axcell: Automatic extraction of results from machine learning papers, 2020.

[5] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[7] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In Advances in neural information processing systems, pp. 5753-5763, 2019.


# L2-constrained Focal Lossを導入した BERT による文書の著者推定

落合晃汰青野雅樹
豊橋技術科学大学知能・情報工学課程
ochiai@kde.cs.tut.ac.jp, aono@cs.tut.ac.jp

## 1 はじめに

近年,SNS やネットニュースなどのネットワーク サービスの発達により, 情報をインターネットから 簡単に入手することができる.しかし,このようなイ ンターネット上の情報には著者の情報が含まれて いないことが多い. 著者の情報は情報の信憑性を判断する際に重要であるため, 文章の著者推定問題は 重要なタスクである. 匿名で記述された文章の著者推定, 盗作や転載の検出, 類似性の高い文章の推薦 など, 幅広く応用できる. 本研究では, 50 人の著者に よって書かれた企業や業界に関するニュースからな る C50 データセットと 53 人の著者によって書かれ たツイートからなる PAN 2016 Author Profiling Task の Twitter データセットを用いて,L2-constrained Focal Loss を導入した BERTを用いた文章の著者推定手法 を提案する。

## 2 関連研究

## 2.1 BERT

BERT(Bidirectional Encoder Representationsfrom Transformers) [1] は 2018 年に Google が発表した言語処理モデルである. 複数の双方向 Transformer に基づ くエンコーダーであり, 単語列を入力として各単語 に対応する分散表現を出力する. また,BERT は大規模コーパスを用いて教師なしの事前学習を行うこと で性能を向上させている. 事前学習には MaskedLM (Masked Language Model) と次文予測 (Next Sentence Prediction)の2つのタスクを用いてモデルの学習を 行っている.これら 2 つのタスクによって事前学習 されたモデルに転移学習やファインチューニングを 施すことで高い精度を実現している。

## 2.2 $\quad L_{2$-constrained Softmax Loss}

$L_{2}$-constrained Softmax Loss[2] は2017 年に顔識別の DCNN(Deep Convolutional Neural Network) の精度向上 のために提案された損失関数である. $L_{2}$-constrained Softmax Loss では Softmax Loss にネットワーク出力 の L2ノルムがある定数 aになるように制約を加 える.これによって同一クラスのコサイン類似度が 大きく, 違うクラスのコサイン類似度が小さくなる ように学習されるという特徴がある. L2-constrained Softmax Loss の式は以下のようになる.

$
\begin{aligned}
& \operatorname{minimize}-\frac{1}{M} \sum_{i=1}^{M} \log \frac{e^{W_{y_{i}}^{T} f\left(x_{i}\right)+b_{y_{i}}}}{\sum_{j=1}^{C} e^{W_{j}^{T} f\left(x_{i}\right)+b_{j}}} \\
& \text { subject to }\left.\|f\left(x_{i}\right)\right.\|_{2}=\alpha, \forall i=1,2, \ldots M
\end{aligned}
$

## 2.3 Focal Loss

Focal Loss[3] 2017 年に FAIR(Facebook AI Research) が発表した物体検出モデルである RetinaNet に使われている損失関数である. Focal Loss は物体検出において背景と背景以外のクラス間の不均衡の問題を解決するために提案された. このクラス間の不均衡によって, 学習の殆どが簡単な背景判定に支配 されてしまう.この問題を解決するため Focal Loss では簡単に分類が成功している事例の損失を小さく している.これにより，より難しく注目すべき事例が 学習に強く寄与するようになる. Focal Loss の式は以下のようになる。

$
F L\left(p_{t}\right)=-\left(1-p_{t}\right)^{\gamma} \log \left(p_{t}\right)
$

このとき $\gamma$ はどのくらい簡単に分類が成功している 事例の損失を減衰するかを決定するパラメータで， これによって簡単に分類が成功している事例の損失 への寄与が小さくなる.これによって, より難しく注目すべき事例が学習に強く寄与できるようになる。

図 1 BERT ベースラインモデル

## 3 ベースラインモデルと提案手法

以下では提案する手法及びベースラインモデルに ついて説明する。

## 3.1 LSTM ベースラインモデル

LSTM ベースラインモデルは fastText[4] を Embedding layer として用いた LSTM モデルである.fastText の分散表現は UMBC Webbase コーパス, および statmt.org ニュースデータセットでトレーニングさ れた 100 万語のベクトルとなっている. モデルは 1 層の単方向 LSTM であり,隠れ層の次元は 768 次元 で分散表現の次元数は 300 次元とした.

## 3.2 BERT ベースラインモデル

本研究で使用する BERT は Transformer が 12 層 でトークンの次元数は 768 となっているモデル で,Wikipediaコーパスと BooksCorpus で事前学習さ れたものを使用している [5]. BERT ベースラインモ デルはこの学習済み BERT をファインチューニング したモデルである. 図 1 にモデルの概要を示す.

3.3 L2-constrained Softmax Loss を導入し た BERT モデル

BERT ベースラインモデルに変更を加えたモデル として L2-constrained Softmax Loss を導入したモデ ルを構築する. 出力の L2ノルムが定数 a になるよ うに制約を加えて,Softmax Lossを用いることで実現 する。

図 2 L2-constrained Focal Loss を用いた BERT モデル

## 3.4 Focal Loss 導入した BERT モデル

Focal Loss を導入した BERT モデルでは BERT ベースラインモデルで使用している Softmax Loss を Focal Loss に変更することで実現する.

## 3.5 L2-constrained Focal Loss を導入した BERT モデル

さらに変更を加えたモデルとして,L2-constrained レイヤーと Focal Loss を導入したモデルを構築 する.3.3 節の L2-constrained Softmax Loss を用いた BERT モデルで使用している Softmax Loss を Focal Loss に変更することで実現する. 図 2 にモデルの概要を示す.

## 4 実験

提案した BERT モデルを使用して文書の著者を推定する.

## 4.1 データセット

本研究では,C50 dataset[6] と Twitter データセット [7] の2つのデータセットを使用する.
表 1 各モデルの実験結果

 & - & 64.49 & - & - \\

## 4.1.1C50 データセット

C50 データセットはRCV1(Reuters Corpus Volume 1) の一部からなるロイターニュースの記事のデー タセットである. 企業及び産業について書かれた英語のニュース記事のデータセットであり,50人の著者によって書かれた記事がまとめられている. 訓練 データは著者あたり 50 本の合計 2500 本の記事で構成され, テストデータには訓練データと重複しない 著者あたり 50 本の 2500 本が使用されている. C50 データセットの最大トークン数は BERT の tokenizer で分割した際 1874 語である.BERT で読み込める最大トークン数は 512 語であるため, そのまま読み込 むことができない. そのため本実験では先頭の 512 語のみを使用する。

## 4.1.2 Twitter データセット

Twitter データセットは PAN 2016 Author Profiling Task データセットのツイートからなる. PAN 2016 Author Profiling Task データセットから,53 人のユー ザーを収集し, ユーザーあたり 900 ツイートを使用 する. 訓練データは著者あたり 800 のツイートの合計 42400 のツイートで構成され, テストデータには 訓練データと重複しないユーザーあたり 100 のツ イートの 5300 のツイートが使用されている.

## 4.2 評価指標

データ数は各クラス間で同じであるため, 評価指標には Accuracy のみを用いる.

## 4.3 モデルパラメータ

最適化には AdamW を用い, ミニバッチサイズは 8, ドロップアウト率は 0.1 とした. 20 エポック学習 を行った際のモデルの性能を評価する。

## 4.3.1 パラメータ調整

L2-constrained Softmax Loss を導入した BERT モデ ル,Focal Loss を導入した BERT モデル, L2-constrained Focal Loss を導入した BERT モデルについてはそれ ぞれパラメータ調整を行った. L2-constrained レイ ヤーのパラメータ $\alpha$ は 8 から 32 までを 4 刻みで変更して実験を行い,Focal Loss のパラメータ $\gamma$ は 1 か ら 5 までを 1 刻みで変更して実験を行った。

## 4.4 実験結果

節 3 で示した 5 つの手法について実験を行った. なお L2-constrained Softmax Loss と Focal Loss のパラ メータの値は節 4.3.1 で示した方法で実験し, 各手法で最高性能を示した値を使用する. SVM(support vector machine) を使用した著者推定の先行研究 [8] の結果と本実験の結果をまとめたものを表 1 に示 す. LSTM ベースラインモデルでは SVM を用いた 先行研究の精度を上回ることはできなかった. しか し,BERT ベースラインモデルは両方のデータセット で先行研究を上回った. また, 両方のデータセット にて L2-constrained Softmax Loss を導入した BERT モ デルと Focal Loss を導入した BERT モデルは BERT ベースラインモデルよりも分類精度は向上した. さ らに,L2-constrained Focal Loss を導入した BERT モデ

図 3 Twitter データセットでの BERT モデルの分散表現

ルはより高い精度となった. 図 3, 図 4 に Twitter データセットでの BERT ベースモデルの出力 ([CLS] トークンの 768 次元の分散表現) と L2-constrained Focal Loss を導入した BERT モデルの出力をそれぞ れ t-SNE により次元圧縮したものを示す.

## 4.5 考察

表 1 より,L2-constrained Softmax Loss を導入し た BERT モデルと Focal Loss を導入した BERT モ デルそれぞれについて BERT ベースラインモデル と比較して精度が向上することが確認できた。ま た,L2-constrained Softmax Loss を導入した BERT モ デルと Focal Loss を導入した BERT モデルそれぞ れの精度は C50 データセットについては $69.60 \%$ で 同じであり,Twitter データセットについては $0.18 \%$ の差のみであった. そのため, 最高精度を記録し た L2-constrained Focal Loss を BERT に導入したモ デルでもバランス良く作用して精度の向上につ ながっていると考えられる。また, 図 3 , 図 4 より L2-constrained Focal Loss を BERT に導入することで 分散表現についても BERT ベースラインモデルと比較して各ラベルがよりまとまったクラスタを形成し ていることが確認でき,これにより分類の精度が向上していると考えられる。

## 5 おわりに

本研究では,L2-constrained Softmax と Focal Loss を 導入した BERT を用いた文書の著者推定モデルを提案した. 実験では, ベースラインと比較し精度が向上 した.さらに,BERT の分散表現についても各ラベル

図 4 L2-constrained Focal Loss を導入した BERT モデルの 分散表現

がよりまとまったクラスタを形成するようになって いることが確認できた. 今後の課題としては BERT の複数の層の出力の平均や和を利用したモデルや BERT から発展した Transformer ベースのモデルにつ いても L2-constrained Focal Loss を利用することがで きないかについての検討も行っていきたいと考えて いる.

## 謝辞

本研究の一部は, 科研費基盤（B）(課題番号 17H01746）の支援を受けて遂行した.

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Keton Lee, and Kristina Toutanova. 2018. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805

[2]Rajeev Ranjan, Carlos D. Castillo, and Rama Chellappa. 2017. L2-constrained Softmax Loss for Discriminative Face Verification. arXiv preprint arXiv:1703.09507.

[3]Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. 2018. Focal Loss for Dense Object Detection. arXiv preprint arXiv:1708.02002

[4]English word vectors - fastText. https://fasttext.cc/ docs/en/english-vectors. html. Accessed: 2021-01-05.

[5]bert-base-uncased $\cdot$ Hugging Face. https://huggingface . co/bert-base-uncased. Accessed: 2021-01-05.

[6]C50 dataset. https://archive.ics.uci.edu/ml/ datasets/Reuter_50_50. Accessed: 2021-01-05.

[7]Pan 2016 author profiling task. http://pan.webis.de/ clef16/pan16-web/author-profiling.html. Accessed: 2021-01-05.

[8]Shofi Nur Fathiya. Author Identication Focusing on Semantic and Syntactic Features Extracted from Long and Short Texts. Toyohashi University of Technology, 2017.


# 学術論文における関連研究の執筆支援のための タスク設計およびデータ構築

${ }^{1} \mathrm{NTT}$ コミュニケーション科学基礎研究所 2 電気通信大学
3 秋田県立大学 4 大阪工業大学
\{hiromi.narimatsu.eg, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp
k1710245@edu.cc.uec.ac.jp, dohsaka@akita-pu.ac.jp, e1b17043@st.oit.ac.jp
minami.yasuhiro@is.uec.ac.jp, hirotoshi.taira@oit.ac.jp

## 1 はじめに

学術論文を執筆する際，関連する文献の調査およ び適切な引用は重要である. 新しいテーマの研究を 始めるときや研究課題に対する新しいアプローチに ついて考えるとき，過去の研究に立脚し，また，論文を執筆する際には，記述内容の根拠について，参考文献を正しく示すことが求められる。これらは重要な研究活動の一環ではあるものの, 分野の広がり や対象とすべき論文の増加から，その調査および執筆を支援することを目的とした研究が行われてきた $[1,2]$. 従来は研究者による文献調査の量を減らすと いう観点で, 関連研究の要約を目的とした研究が多 かったが $[1,3]$, 近年では大規模な文献データが手 に入るようになってきたことから，学術論文の執筆 を直接的に支援する引用文献推薦や関連研究の章 に書かれる引用文生成の手法が研究されてきた。た とえば，生命科学や生物医学分野の論文の検索エン ジンである PubMed ${ }^{1}$ から取得した文献を主に用い， キーワードだけでなく内容も踏まえて引用すべき文献を推定する手法を提案するものや [4], 関連研究 を自動生成する手法 [5], 執筆・査読の効率化を目的 として，対象となる文に引用が必要かを判定する手法 [6] が提案されている.

これらの研究は，いずれも論文執筆の効率化とい う同じ目標を目指しているものの，それぞれ独立し て研究が行われてきた。近年では, 論文データベー スの API の公開によって，論文が容易に手に入るよ

1) https://pubmed.ncbi.nlm.nih.gov/
うになり，こうした研究論文を扱うタスクが共有タ スクになりつつある $[7,8,9]$ が，いずれも異なるタ スクを目的としており，統合的な性能評価ができる 状態にはない。一方で，論文執筆支援の実用化とい う観点から考えると, 引用すべき文献の推薦, 引用 すべき文の判定，関連研究の自動生成は連続した研究活動であり, 同じデータを対象とした統合的な性能評価ができることが望ましいと考えられる.

そこで，我々は，関連研究の統合的な執筆支援を 目的として，必要なタスクおよび同じデータを元に タスクデータを構築する手法を提案する．統合的な 執筆支援を目的とすることで，これまでに取り組ま れてこなかったタスクに気づくことができる可能性 がある。また，一つのデータを元にタスクデータの 構築ができれば，タスク間での同一モデルの適用が 検討でき，各タスクの精度の直接比較が可能となる ため, タスクの違いや難しさも評価可能になると考 えられる。本稿では, 関連研究に着目した論文執筆 に関わる目標とそれに必要なタスクを定義し，タス クデータの構築方法について述べる。

## 2 関連研究

論文において関連研究の章は, 自らの研究の位置付けを明確化するために重要である。しかし, 文献 の検索ならびに精読に多くの時間を割かなければな らないことから，その効率化が期待されており，多 くの研究がなされてきた。

論文執筆支援を目的とした研究の初期において，論文全体を読まなくても論文の要旨および主張を把握できるよう, 目的, 課題, 手法の観点での要約 [1]

図 1 関連研究に着目した統合的な論文執筆支援の流れ

や，該当論文に関する引用文を用いた要約手法が提案されてきた [3]. 学術論文の要約は, 一般文書の 要約と異なる難しさが指摘されており, 今も継続し て研究されている [10]. しかし, 論文執筆支援とい う観点では, 研究者は別途読むべき論文を探す必要 があり，支援としては十分でない.

近年では論文データの取得が容易になってきた ことから, 引用すべき論文の推薦を目的とした研究 も行われている. 多くの既存研究は, 他でも引用さ れている権威ある文献を推薦, キーワードの近い文献を推薦する方法が主であったが，近年では他では 引用されていない重要な文献や異なる技術用語を 使用しているが類似している研究も見つけられる よう，大規模なデータを構築して引用関係の意味 ネットワークを考慮した推薦手法も提案されている $[11,4]$. これらは関連研究を推薦するという観点に おいて有益であるものの, さらに細かい, 引用文に 対する引用文献の推薦などは対象とされておらず,本タスクを行うには別途タスクデータの構築が必要 となる.

使用データや方法, 問題点などのカテゴリに分類 して文献を推薦する手法も提案されているが [12],引用文として記述したものの根拠として, 引用すべ き文献を提示するタスクとはなっていない.

執筆・査読の効率化を目的とした研究として, 引用が必要な文かどうかを判定するタスクもある [6]. この引用要否判定タスクは，執筆において引用漏れ を防止する, 論文チェックの観点でも重要なタスク ではあるが, 引用要否判定に続いて, 引用すべき文献を推薦するタスクまでつなげて手法の開発や評価 ができることが望ましい. 従来研究 [6] では, 科学論文の大規模データを使用し公開しているものの,

 \\

## 表 1 タスクの定義

文献の推薦タスクに使用できるデータにはなってお らず，続くフェーズで期待される文献推薦を行うに は別途データ収集および構築が必要となる.

さらに，関連研究の章の一部である引用文を被引用文献から自動生成する手法 [5] も提案されている が，データ数が少なく，同一著者の他の文献や，代表的な引用文の書き方などルールベースの手法にと どまっている.

そこで，我々は，関連研究に関わる論文執筆の支援を目的として, 連続的かつ必要なタスクを設計 し，それらのタスクを統合的に評価できる環境を提供としてタスク用データの構築を行う。

## 3 タスクの定義

我々の目指す統合的な支援の流れを図 1 に示す.研究を始める段階では, “自分なりに調べた従来研究を元に課題とアプローチを検討したが他に類似 する研究があるかもしれない”と思い，関連研究を 探し求める。こうした状況においては, 課題とアプ ローチが記述された研究方針を入力として，関連す る文献が推薦されることが望まれる [13](図の (1)). また, 原稿執筆の段階では, 一通りの草案を書いて みたが，引用すべき箇所に引用がなされていなかっ たり, 適切な引用がなされていないことも起こりう る.したがって, 引用が漏れている文の提示 [6] や (図の (2)), 異なる文献が引用されている箇所の特定 (図の (3)), さらに適切な引用文献の提示 (図の (4)) が期待される。さらには，“一通り研究を終えたも のの引用すべき何かが漏れている可能性がある”と いう状況においては, 引用すべき文献と共に, 該当 する研究に対してどんな観点での引用が望ましいか

図 2 タスクデータの生成

の位置付けを整理した文章が提示される [5] ことが 期待される (図の (5)). そこで, 我々の目標に必要な タスクを表 1 のように定義した．以降，入力として 用いる研究方針や原稿草案のことを, ベース論文と 呼ぶこととする.

## 4 デー夕構築

データの構築方法について，図 2 を用いて説明す る. 論文がたくさん収録されているデータベースを 大規模文献 DB と呼ぶ.

はじめに，ベース論文と大規模文献 DB から，夕 スクデータに用いる素材，すなわちアブストラク 卜, 関連研究の章を除いた論文全体, 関連研究の章 を抽出する。また引用文献については，タイトルと 著者名を用いて大規模文献 DB と照合し, タイト ル，著者， $\operatorname{arXiv}$ の ID およびアブスト/論文本文をぺ アにしておく.

最後に素材を元に，タスクデータを生成する。生成方法の全体像を図に示し，データの詳細を以下に 述べる.

(1) 読むべき文献の推薦

ベース論文のアブストラクトと引用文献のアブス トラクト/論文本文の集合をデータとして作成する.研究方針の状態であるため, アブストラクトのう ち, 実験結果に関する記述をルールベースで省いた アブストラクトを入力として，該当する論文の関連研究の章で引用されている文献のリストを正解とす
る.

(2) 引用要否判定タスク

図には含めていないが，ベース論文のイントロおよ び関連研究の章を対象とする．ベース論文中で引用 されている文は引用が必要な文と見なし，各文に対 して，引用が必要な文かどうかを判定する.

(3) 引用文献割当タスク／引用文・被引用文献ペア 適正判定タスク

ベース論文の関連研究の章を対象とする。ベース論文中で引用されている文は正しく引用していると見 なし, 引用のある各文 (文の長さによって前後の文 を含める）に対して，適切に引用されているかを推定する。

(4) 引用文に対応する文献を推薦

ベース論文の関連研究の章を対象とする. ベース論文中で引用されている文は正しく引用していると 見なし, 引用のある各文 (文の長さによって前後の 文を含める）に対して，ベース論文で引用している 文献リストから，どの文献を引用すべきかを推定す る.

(5) 関連研究の章の自動生成

ベース論文の関連研究の章を対象とする、ベース論文の引用方法は，その論文の観点で適切に引用され ていると見なす。関連研究の章（もしくはそのうち の 1 段落）の抜いた該当論文を入力した時に，その 関連研究の章 (もしくは 1 段落)を自動で生成する.

図 3 関連研究で引用されている文献のうち本文が取得で きる文献の割合（縦軸）と該当する文献の割合（横軸）

## 5 評価

3 節で定義したサブタスクのうち, 従来研究で解 かれていないタスク (3)のうち (3)-2 の引用文献が正 しいかどうかを判定するタスクのについて，ベース ラインの性能を評価する。

タスクデータは, Leaderbord 自動生成を目的とし たタスクデータとして公開されている AxCell[8] を 元に取得した 29,121 件の論文をべース論文として 構築した。大規模文献 DBについては, $\operatorname{arXiv} \mathrm{API}^{22}$ から可能な限り取得した文献を格納した。なお, 関連研究で引用されている文献のうち, 全ての文献の tex のソースもしくは PDF が取得できる論文の割合 は，全体の 6 割程度の 21,351 件であった。図 3 に，関連研究で引用されている文献のうち, tex のソー スもしくは PDF が取得できる文献の割合およびそ れに該当する文献の割合の内訳を示す.

従来のベースとして, Word2Vec[14]と，近年の大規模汎用言語モデルの元となった BERT[15] を用い て性能を評価する。

BERT[15] では, bert-base-uncased のモデル3)を用 い, Document Classification Task のモデルを以下の フォーマットで学習した. 引用文とその引用箇所で 引用されている文献のアブストラクトのペアを正例, 同じ関連研究の章で引用されている他の文献 のアブストラクトをぺアとしたときを負例として 用いた。学習データは, 正例負例ともに 18,000 ず つ, $\operatorname{dev}$ として 3,000 , テストに 3,000 用いた。また Word2Vec [14] は, 文の平均ベクトルの類似度で判定 したときのスコアを比較した。結果を表 2 に示す.評価した性能を表 2 示す.

図 4 BERT に入力したデータのフォーマット

表 2 Word2Vec と BERT の転移学習をした場合のタスク (3)-2 の精度

約 8 割程度の正解率であることから, 判定不可能 ではないタスクであると言える。また, Word2Vec ベースと比較すると約 20 ポイントの伸びがあるこ とから，文脈を踏まえた分散表現により，より高い 精度で解ける可能性があると言える。

なお, 本タスクの詳細な解法については, 文献 [16] に記述している.

## 6 おわりに

本研究では，研究者の研究調査および論文執筆に おける関連研究の引用および生成に関わる統合的な 執筆支援を目的として，関連研究に関わる様々な既存のタスクを統合した新たなデータセット構築方法 および 5 つのタスクを定義した。

定義した 5 つのタスクのうち, 本稿で新たに定義した正しい引用文献かどうかの判定タスクにお いて，近年の言語処理技術のベースとなっている BERTを転移学習した場合の結果を示した．現状の 引用文と引用文献のアブストラクトのペアの正しさ を判定するモデルの性能は 8 割程度であるが，論文全体を用いることでさらに精度向上が期待される。

今後は論文全体を入力とした判定モデルの構築手法を検討し，タスクの精度向上に取り組む。また，未着手のその他のタスクについても取り組み，統合的に論文執筆を支援する仕組みの実現を目指す.

## 参考文献

[1] Simone Teufel and Marc Moens. Summarizing scientific articles: experiments with relevance and rhetorical status. Computational linguistics, Vol. 28, No. 4, pp. 409-445, 2002.

[2] X. Bai, M. Wang, I. Lee, Z. Yang, X. Kong, and F. Xia. Scientific paper recommendation: A survey. IEEE Access, Vol. 7, pp. 9324-9339, 2019.

[3] Vahed Qazvinian and Dragomir R. Radev. Scientific paper summarization using citation summary networks. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 689-696, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[4] Chandra Bhagavatula, Sergey Feldman, Russell Power, and Waleed Ammar. Content-based citation recommendation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 238-251, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[5] Saif Mohammad, Bonnie Dorr, Melissa Egan, Ahmed Hassan, Pradeep Muthukrishan, Vahed Qazvinian, Dragomir Radev, and David Zajic. Using citations to generate surveys of scientific paradigms. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, NAACL'09, p. 584-592, USA, 2009. Association for Computational Linguistics.

[6] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[7] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, p. 375-405, Aug 2020.

[8] Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. Axcell: Automatic extraction of results from machine learning papers. arXiv preprint arXiv:2004.14356, 2020.

[9] Tarek Saier and Michael Färber. unarxive: a large scholarly data set with publications' full-text, annotated in-text citations, and links to metadata. aScientometrics, Vol. 125, No. 3, pp. 3085-3108, 2020.

[10] Michihiro Yasunaga, Jungo Kasai, Rui Zhang, Alexander R Fabbri, Irene Li, Dan Friedman, and Dragomir R Radev. Scisummnet: A large annotated corpus and content-impact models for scientific paper summarization with citation networks. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 7386-7393, 2019.

[11] T. Chakraborty, N. Modani, R. Narayanam, and S. Nagar. Discern: A diversified citation recommendation system for scientific queries. In 2015 IEEE 31st International Conference on Data Engineering, pp. 555-566, 2015.

[12] Pavlos Kefalas Waheed Ahmad Abro Bahadar Ali Zafar Ali, Guilin Qi. A graph-based taxonomy of citation recommendation models. Artificial Intelligence Review, Vol. 53, No. 7, pp. 1573-7462, 2020.

[13] Khalid Haruna, Maizatul Akmar Ismail, Abdullahi Baffa Bichi, Victor Chang, Sutrisna Wibawa, and Tutut Herawan. A citation-based recommender system for scholarly paper recommendation. In International Conference on Computational Science and Its Applications, pp. 514-525. Springer, 2018.

[14] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint
arXiv:1810.04805, 2018.

[16] 小山康平, 南泰浩, 成松宏美, 堂坂浩二, 田盛大悟, 東中竜一郎, 平博順. 学術論文における関連研究の執筆支援のための被引用論文の推定. 言語処理学会第 26 回年次大会, 2021


# アノテーション漏れ推定を用いたエンティティ抽出

伊藤雅弘山崎智弘
株式会社東芝 研究開発センター
知能化システム研究所 アナリティクスA I ラボラトリー
\{masahiro20.ito, tomohiro2.yamasaki\}@toshiba.co.jp

## 1 はじめに

近年の団塊世代の退職と少子化による労働人口の 減少に伴い，産業界では業務に関するノウハウの喪失や継承が関心事となっている。なぜなら，電力・化学プラントなどの建設・運用・保守には， ベテラ ンの長年の経験が重要となるからである．我々は，過去に発生したトラブルの報告書に記録されている ベテランのノウハウを，現状の業務や新人の教育に 用いる取り組みを進めている。特に，過去の大量の 報告書からトラブルに関係するイベント(「配管に亀裂」「水位が低下」など）を抽出し，因果関係として 構造化することによって,「特定の原因により引き起 こされるリスク」や「トラブルを引き起こした原因」 を分析する技術開発に注力している。

我々の構造化プロセスは，まず報告書からトラブ ルの原因や結果になりうるイベントを系列ラベリン グ [1] にて抽出し, 次に抽出されたイベント間に因果関係があるかを推定する。この 2 段階のプロセス では，前段でイベントの抽出漏れがあると，後段で 正しい因果関係を推定することができない。そのた め，前段のイベント抽出はある程度の正しさは担保 しつつもなるべく多くのイベントを後段に提供でき ること，つまり再現率が高いことが望まれる.

再現率を高めるためには系列ラベリングにおける 「学習時の目的関数を工夫する」「イベントを示すラ ベルかどうかの推定值に対する閾値を変更する」な ども考えられる。これら方法では，学習データ自体 はそのまま用いている。一方で，本研究では学習の 情報源となるアノテーションデータのエンティティ 付与漏れ（アノテーション漏れ）に着目する.ここ でエンティティとは，系列ラベリングでの抽出対象 となるイベントや固有表現などが該当する。一般的 に，学習データに用いることができる規模で完全に 正しいアノテーションデータを作成することは困難 である。既存研究 [2] でも，固有表現抽出のデータ セットである CoNLL2003 [3] におけるアノテーシ
ヨン誤りが指摘されている. 我々もイベント抽出の 再現率低下の要因分析をした結果，トラブル報告書内のイベントにアノテーション漏れが存在すること が分かっている. エンティティに対するアノテーシ ヨン漏れがあると，一部のエンティティの特徴を学習できず抽出漏れの要因になると考えられる.

そこで本研究では，アノテーション漏れを推定し そのエンティティを学習データに追加することによ って，系列ラベリングを用いたエンティティ抽出の 再現率を向上させる方法を提案する.

## 2 関連研究

これまでの因果関係抽出の研究としては $[4,5]$ などがあるが，その中でのイベント抽出手法には，主にルールベースと系列ラベリングによる機械学習 ベースがある．[4] はルールベースの手法で，手が かり表現を含む文節を基点に，係り受け解析を用い て前後の一定の範囲を原因・結果として抽出する.

一方 [5] は系列ラベリングを用いた手法である。文 を形態素などのトークンに分割し， 1 文中に存在す る原因・結果それぞれのイベント範囲の各トークン に対しCause, Effect のラベルを付与した学習データ を用意する。そして，未知の文における原因イベン ト・結果イベント部分のラベルを推定するモデルを 学習する。本研究では，この系列ラベリングを用い てイベントを抽出する。

系列ラベリングの手法としては近年 Bi-LSTM ベ 一スの手法が盛んに提案され，高い性能を達成して いる $[1,6]$. これらの手法は, 文字や単語の埋め込み ベクトルを Bi-LSTM に与え，最終層で CRF を用い てラベルを推定している。一方 [2] は，アノテーシ ョン誤りを含んだ不完全なデータセットにおいて，誤りを含む可能性が高い文を推定し，その文の重み を低くして学習することで，系列ラベリングの性能 を向上させる CrossWeigh という手法を提案してい る. [7] も同様に不完全なデータセットでの学習性能の向上を取り扱っている。しかし，この研究はラ

ベル無しデータに対してルールや辞書に基づき機械的にラベリングしたものを不完全 (ノイジー) なデ 一夕として扱っているため，アノテーションデータ に誤りが含まれるという [2] や本研究の問題設定 とは異なる。

## 3 提案手法

本研究では, 前節で述べた CrossWeigh [2] と同様にアノテーション誤りを含んだ学習データを取り 扱う。先に述べたように，機械学習用のデータセッ トに対してアノテーション作業を実施したとして も, 完全に正しいデータを作成することは困難であ る.これは, 特に定義が明確にできないエンティテ イに対しては顕著であると考えられる。例えば，本研究で取り扱う「トラブル報告書におけるトラブル の原因・結果となるイベント」は, 「人名」に比べ て明確に定義することが困難で系列も長い。その場合, エンティティの過不足やテキスト範囲の摇孔が 大きくなる.

[2] は学習データからアノテーション誤りを含む 可能性があるデータ（文を構成するトークンの系列 とそのラベル）を推定し，文単位で学習時の重みを 低くする。つまり当該文の学習への影響を小さくし ている。 [2] は誤った情報を取り除くため，主に 適合率を向上させる効果が高いと考えられる一方，再現率の向上はあまり見込めない. また予備実験に おいて，エンティティのテキスト範囲（エンティテ イ範囲）の摇れが比較的大きな”イベント”という対象では学習データの多くの文がアノテーション誤り と推定されてしまい, 逆に性能低下を引き起こすこ とが分かっている.

先に述べたように，エンティティ抽出結果を後段 の関係抽出処理で用いる場合は，そもそも正しいエ ンティティが抽出されていなければ正しい関係を生成することができない. そのため, 適合率より再現率を重視した性能向上手法が必要となる. そこで本研究では，アノテーション誤りのうちアノテーショ ン漏れと考えられるエンティティを推定し, そのエ ンティティを学習データに追加するという再現率向上を重視した手法を提案する。これは, 誤った情報 を取り除く [2] とは逆のアプローチである.

学習データにエンティティを追加することで, 当然再現率の向上が想定される. しかし, 追加するエ ンティティを注意深く選定しなければ，ノイズとな るエンティティが増え適合率が大きく下がると考え
られる。提案手法では，以下の 3 つの工夫を導入す ることにより，適合率の低下をなるべく抑制しつ

つ，再現率の向上を目指す.

(A) 学習データの異なるサブセットを用いて学習 した複数モデルによる投票によって，推定エラ 一ではなくアノテーション漏れのみを学習デ 一夕に追加できる確率を高める。これは，ノイ ズとなるエンティティが追加されることを抑制する.

(B) (A)において投票数に応じて追加するエンティ ティを選定する際，範囲が類似するエンティテ イを「エンティティグループ」としてまとめて 扱うことにより，エンティティ範囲の厳密性に こだわらず，追加すべきエンティティ周辺を浮 かび上がらせる.

(C) (A)での投票結果を用いて,エンティティグルー プに属する推定範囲の異なるエンティティか ら，より正しいものを選択できる確率を高める。 これは, 追加されるエンティティ範囲のノイズ 除去として機能することが期待される.

以下に提案手法のアルゴリズムを示す.

(1) 学習に用いるアノテーションデータをランダ ムに並べ替え， $\mathrm{k}$ 分割交差検証にて上記アノテ ーションデータのすべての文からエンティテ イを抽出する.

(2) 抽出されたエンティティのうち, アノテーショ ンされていなかったエンティティを記録する。

(3) (1)〜(2)をt回繰り返す.

例えば， $\mathrm{t}=4$ の場合，下図のように 4 つの異な るモデルがそれぞれエンティティ範囲を推定 する.

## モデル1 発電設備における配管の溶接不良に伴って、

モデル2 発電設備における配管の溶接不良に伴って、

モデル3 発電設備における配管の溶接不良に伴って、

モデル4 発電設備における配管の溶接不良に伴つて、

(4) 推定されたエンティティ範囲が同一のものの 個数を，各エンティティ範囲の「投票数」とし てカウントする.

(5) 範囲が類似するエンティティを「エンティティ グループ」としてまとめ，エンティティグルー プに属するエンティティの投票数を合計する.範囲が類似するエンティティの判定方法は,「1
形態素でも重複する」や「末尾 $\mathrm{n}$ 形態素のいず れかが重複する」などが考えられる。例えば，下図のように類似する範囲をまとめ上げたエ ンティティグループが作成される.

文: 配管の溶接不良に伴つて，接合部付近より...

(6) 投票数が $\mathrm{t} \cdot \alpha(0 \leq \alpha<1)$ 以上のエンティテ イグループを選出する， $\alpha$ は，同じ文を $\mathrm{t}$ 回異 なるモデルで推定したうち, どのぐらいの割合 の投票数があれば追加するエンティティグル ープとして選出するかの基準である。

(7) 選出されたエンティティグループそれぞれに 対し, 属する複数のエンティティの中で最も投票数の多いエンティティを学習データに追加 する.

文: 配管の溶接不良に伴って，接合部付近より...

## 4 評価実験

提案手法の効果を検証のために実施した実験につ いて述べる。 パラメータは以下の通りとした。

k（交差検証における分割数）：10

$\mathrm{t}$ (交差検証の繰り返し回数) : 20

$\alpha$ (エンティティグループの選出基準）：

$0.8, \quad 0.6, \quad 0.4, \quad 0.2, \quad 0.0$

$\alpha$ が 0.0 の時にすべてのエンティティグループが学習データに追加され， $\alpha$ が 1.0 の時にいずれのエン ティティも追加されない.

提案手法における範囲が類似するエンティティの 判定方法は「エンティティ末尾 5 形態素のいずれか が重複する」とした。例えば「発電/設備/の/配管/ に/龟裂」と「配管/に/亀裂」は類似と判定される.表 2 データ数（電力プラントトラブル報告書）

これは，日本語のトラブルに関するイベントにおい て「水漏れ」「亀裂」など主要な現象（動作）が末尾付近に出現することが多いため，その部分の抽出 を重視し，それ以外のトラブルの対象・条件などの 記述の抽出範囲の摇孔を許容するためである。なお この方法では, 5 形態素以下のエンティティ同士で は「1 形態素でも重複する」と等しくなる.

系列ラベリングモデルは Bi-LSTM-CRF [1] をべ 一スとし，学習済み BERT モデル $[8,9]$ から得ら れた単語ベクトルを Bi-LSTMへの入力として与え た. オリジナルの学習データおよび提案手法により エンティティが追加された学習データを用いて 3 回学習し, それぞれの抽出性能の平均値を算出した。

上記設定で実施した以下 2 種類の抽出タスクによ る評価について述べる。

## 4.1 トラブルイベント抽出による評価

電力プラントに関するトラブル報告書（日本語） を用いたトラブルイベント抽出による評価実験を行 った.この報告書には，トラブルに関わるイベント とその因果関係がアノテーションされており，デー 夕数は表 1 の通りである。また，性能値算出時の 「エンティティが抽出できたか」の判定はエンティ ティ範囲の完全一致が通常であるが，本実験では先述したイベントの特性から「エンティティ末尾 5 形態素のいずれかが重複する」とした.

実験結果を表 2 に示す. 提案手法によりエンテ イティが追加された学習データを用いた結果, オリ ジナルのアノテーションデータを用いた場合と比 ベ，再現率が向上した。一方，エンティティを追加 することによって想定通り適合率は下がった。しか

表 1 評価結果（電カプラントトラブル報告書）

表 3 データ数（CoNLL2003）

し，パラメータ $\alpha$ を高くすることによってその程度が緩和される傾向であることから，(A)～(C)の工夫がノイズ除去として機能していることが確認でき た.この再現率向上効果とノイズ除去効果のバラン スは，データセットやモデルにより変化すると考え られる。本実験では $\alpha=0.6$ で最も高い $\mathrm{F}$ 値となって おり，提案手法により $\mathrm{F}$ 值を維持もしくは向上さ せつつ, 再現率を向上できることを確認した.

## 4.2 固有表現抽出による評価

提案手法は, 本研究におけるイベントのようにア ノテーション摇れが大きい対象に特に有効であると 考えられる。一方，一般的な固有表現抽出タスクへ の有効性は明らかでないため, 広く用いられている CoNLL2003 コーパス（英語）による評価を実施し た. 当該コーパスには, 人名, 地名, 組織名, その 他の 4 種の固有表現がタグ付けされており，データ 数は表 3 の通りである. エンティティが抽出でき たかの判定はエンティティ範囲の完全一致とした.

実験において, アノテーション漏れを疑似的に再現するため, 学習データから個々のエンティティを 一定確率 (削除確率) で削除した. 例えば, 削除確率 0.1 だとおおよそ $10 \%$ のエンティティが学習デー タから削除される. 削除確率 $0.1 \sim 0.5$ の学習データ で実験した結果を表 4 に示す. 削除確率の増加に 伴って再現率が低下していることが分かる.

まず，削除確率 0.1 のデータを用いて提案手法を 適用した結果を表 5 に示す. パラメータ $\alpha$ を下げ るに伴って適合率が低下し再現率が向上する傾向 は, 先述のトラブル報告書における評価と同様であ る. そして,$\alpha=0.4$ で $\mathrm{F}$ 值が最大となっており, エ

表 4 エンティティ削除データでの性能

表 5 評価結果（CoNLL2003, 削除確率 0.1）

ンティティを削除していないオリジナルの学習デー タを用いた結果と比べても同等以上となっている.

次に, 削除確率 0.3 のデータを用いて, 提案手法 を適用した結果を表 6 に示す.ここでもパラメー タ $\alpha$ に対する適合率・再現率の傾向は同様である が，適合率低下より再現率の向上効果が高いため,推定されたすべてのエンティティグループを追加対象とする $\alpha=0.0$ で $\mathrm{F}$ 值が最大となった. つまり, 削除確率 0.3 のデータにおいては, 提案手法で述べた エンティティグループを用いたノイズ除去の工夫は 必要ではないことを示している.

## 5 おわりに

本研究では, エンティティのアノテーション漏れ を含む不完全なデータセットにおいて，アノテーシ ョン漏れのエンティティを推定しデータセットに追加して学習させるという, 再現率を重視したエンテ イティ抽出の性能改善手法を提案した. 評価実験に より，提案手法がエンティティ追加によるノイズを 抑えつつ, 再現率の向上を実現できることを示した.

一方，パラメータ $\alpha$ はデータセットの条件により 最適値が異なるため, 今後提案手法が効果を発揮す るようなデータセットの品質とパラメータ $\alpha$ の組み 合わせ条件を調査する。また，アノテーション誤り の可能性のある文の重みを下げる手法 [2] と組み 合わせ, 適合率・再現率の両面から性能向上させる アプローチも検討する.

表 6 評価結果（CoNLL2003, 削除確率 0.3）

## 参考文献

1. Lample, Guillaume, et al. Neural Architectures for Named Entity Recognition. : Proceedings of NAACL 2016, 2016.

2. Wang, Zihan, et al. CrossWeigh: Training Named Entity Tagger from Imperfect Annotations. : Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

3. Tjong Kim Sang, Erik F. and De Meulder, Fien. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition. : Proceedings of CoNLL-2003, 2003.

4. 坂地泰紀, 酒井浩之, 増山繁. 決算短信 PDF か らの原因・結果表現の抽出. : 電子情報通信学会論文誌 D, 2015 .

5. Dasgupta, Tirthankar, et al. Automatic Extraction of Causal Relations from Text using Linguistically Informed Deep Neural Networks. : Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, 2018.

6. Akbik, Alan, Blythe, Duncan and Vollgraf, Roland.

Contextual String Embeddings for Sequence Labeling. : COLING 2018, 27th International Conference on Computational Linguistics, 2018.

7. Hedderich, Michael A. and Klakow, Dietrich.

Training a Neural Network in a Low-Resource Setting on Automatically. : Proceedings of the Workshop on Deep Learning Approaches for Low-Resource NLP, 2018.

8. (オンライン) 2021 年 1 月 14 日.

https://github.com/cl-tohoku/bert-japanese.

9. (オンライン) 2021 年 1 月 14 日.

https://huggingface.co/bert-base-uncased.


# Relation Extraction Task for Inorganic Material Synthesis Procedure

Shanshan Liu
RIKEN, AIP
shanshan. liuQriken.jp

## 1 Introduction

To transform the knowledge existing in natural language text into a structured form, named entity recognition (NER) and relation extraction (RE) technologies are essential. Early methods are mostly pipelined, that is, first identify entities in the text then classify the relationships between entities. End-to-end RE methods that learn entity labels and relation labels together to take the interaction between entities into consideration during training become popular recently (like DyGIE framework [1]). Although the joint learning methods perform well on many standard benchmarks (ACE05, DocRED [2], CDR, SciREC and so on), the research of [3] shows that the pipeline methods can achieve state-of-the-art (SOTA) results over the existing joint learning methods. In addition, although there are many researches on RE, they still have not been verified on more practical issues. This is mainly due to the simple problem background of the current dataset, mostly are for sentence-level relation, with only one pair of entities in a sentence; or for document-level relation, but only one relation instance is annotated in one document (CDR [4]). In addition to the complexity of the relationships, there are also limitations in the knowledge domain - most of datasets are from news (ACE05), computer science (DocRED, SciERC) or biomedical fields (CDR, GDA), datasets from other fields are rarely reported.

In this paper, we give a more challenging task, the RE task in the inorganic material synthesis procedure (abbreviated as "procedure") extraction. The pipeline extraction of procedures consists of three sub-tasks namely, extracting text blocks containing procedure information from the original paper, performing named entity recognition on the text blocks, and classifying the identified entity pairs. [5] has made a good effort on procedure extraction. They made a definition of procedure and researched the models for the block extraction and NER task.

\author{
Yuji Matsumoto \\ RIKEN, AIP \\ yuji.matsumoto@riken.jp
}

We evaluated the performance of the existing documentlevel relation extraction methods in two scenarios. In the first one, the text blocks and entities are all gold annotations. This is also the standard task of most RE researches. The second scenario is to use the result of the text block extractor, and the entities predicted by the named entity recognizer. It is the situation that the relation extractor faces in the pipelined knowledge extraction. We only applied the best method in standard RE task to the pipelined procedure extraction.

The models used in this work include the Bi-LSTM model, which is widely used in various knowledge domains, and the ATLOP [6], which is a SOTA model for extracting document-level relations. In view of that the knowledge of chemical domain is to be extracted, we choose the pre-trained language model SciBERT [7] to generate word representations. The dataset used for evaluation in our work is based on the dataset mentioned in [5], however, the number of papers is increased and each paper has procedure information.

Our contributions can be concluded in threefold:
- We evaluate two models' performance on a specific task that is close to the real need - to capture the relations in inorganic material synthesis procedure.
- We notice that the results of procedure extraction are similar to other tasks that also use named entity recognition and relationship extraction for knowledge extraction. The SOTA result on ACE05 dataset, ACE04 dataset and our procedure dataset are 67.8, 62.2 and 67.92 respectively.
- We introduce two effective techniques for the RE task of procedure extraction. The rule_top component helps to select the best types from several positive types predicted by multi-label binary classification models. The entity typemarker achieved the highest F1 score of 93.7 when the inputs of RE are gold.

Table 1 Statistics of entities in procedure dataset

Dataset statistics about the number of named entities for training (\#Train), development (\#Dev), testing (\#Test) and of all papers (\#All).

Table 2 Statistics of relations in procedure dataset

## 2 Methodology

## 2.1 Task definition

The definition of the procedure follows [5]. A procedure is represented by four types of entities and five types of relations. Four types of entities are "Material", "Condition", "Method", and "Process". Five types of relations are from "Process" to all four types of entities. If the tail entity is "Material", two relation types are possible: "Input_of", "Output_of"; if the tail entity is "Condition" or "Method", the relation type is "Condition_of" or "Method_of" respectively. Two "Process" entities are linked by "Next_of" relationship.

We evaluate the RE methods in two scenarios. One is the standard RE task, meaning that the inputs of RE methods are gold text blocks and only human-annotated entities. The other one is the RE task in a pipelined procedure extraction. In this situation, the inputs of RE methods contains 3 combinations: the gold named entities (NEs) in the predicted blocks, the predicted NEs in the gold blocks, and the predicted NEs in the predicted blocks. The outputs of the RE task are the outputs of the procedure extraction if the inputs of the RE task are predicted NEs in the predicted blocks.

## 2.2 Model

In this section, we give the details of the methods applied in experiments.

Standard Relation Extraction One of our baseline is the rule-based relation extractor in [5] with small changes. We select the longest material entity in each document as output, while other materials are inputs of procedures. We add a candidate condition list, to deal with the situation that a material entity may play a role as a condition of the process. For a material entity in this list, the relationship contains it is labeled as "Condition_of".

Two neural network (NN) methods are applied in standard RE task. Benefit from the capability to process the long input max to 1024 tokens, the combination of the Glove embedding, Bi-LSTM encoder and Bilinear layer decoder (abbreviated as "Bi-LSTM") is used as a baseline in both sentence-level and document-level RE tasks [2]. We apply this method to see the performance of simple $\mathrm{NN}$-based method on complex issues. To research whether the novel techniques perform well in standard benchmarks are effective in other domains, we apply the model ALTOP. ALTOP utilizes the BERT-based pre-trained language model which is better than GloVe in recent works. Two techniques in ALTOP make it achieved SOTA on DocRED datasets: adaptive thresholding loss to reduce decision errors during inference, and localized context pooling to better use of the local context of the entities.

Pipelined procedure extraction As with [5], we use a pipelined approach to extract the procedures which includes three sub-tasks: extracting text blocks containing procedure information from the original chemical paper, performing named entity recognition on the text blocks, and classifying the identified entity-pairs. Our research only focuses on the RE task, so we use the best performing strategy in block extraction and named entity recognition published by [5]. The output of the block extractor is generated based on the classification of a sentence classifier that predicts whether a sentence is in a block that describes a procedure. The classifier is in the architecture of SciBERT, multi-layer perceptrons, and a SoftMax layer. The NER model utilizes SciBERT to generate token vectors, 2layer Bi-LSTM to encode sentence-level information, and a SoftMax layer to predict the token label.

Technique for the procedure extraction To reduce the false positive instances predicted by multi-label binary classification, we provide a rule_top component. In our definition of relations, the head entity of each relation must be "Process", and a tail entity only links to one head entity most of the time. When several head entities are predicted

Table 3 Result of block extraction

positive for a tail entity by the RE model, the rule_top component only outputs the head with the highest score predicted by the model and treats others as negative instances.

Inspiring by the work by [3], we try to import entity typemarker in our method. Two relation models with typemarker are published in [3]. One considers every pair of entities independently by inserting typed entity markers, which means a sentence will be encoded several times if it contains multiple entity pairs. This is time-consuming in our task because we need to process long texts while multiple relations may appear in each input text. They also provide a relation model with batch computations, that typemarker and corresponding entity token (the start marker to the first token of an entity, the end marker to the last token) share the positional embedding. The ALTOP model is designed to utilize the positional information encoded by BERT instead of additional positional feature. There is still a way to insert typemarker, which is simple and practical. After the input text is tokenized by the BERT-based tokenizer, "*" is inserted into the sentence before and after each entity in ALTOP. We change the "*" mark into typemarker. Given an entity, we concatenate "E:" or "/E:" to the first three letters of the entity type as its typemarkers. For example, the typemarker of "Material" will be "<E:Mat>" and "</E:Mat>". The typemarkers are different for the head and tail entities in [3], while we do not design different markers for head and tail entities.

## 3 Experiment

## 3.1 Dataset

The procedure dataset ${ }^{1)}$ we used contains 241 thermoelectric material papers annotated by chemistry experts, including entity and relation labels. Each paper contains at least one procedure. 193 papers are used for training, 24 for development, and the remaining 24 for evaluation, all selected randomly. The dataset statistics are shown in Table 1 and Table 2.

Table 4 Result of named entity recognition

"Pred_g" is the NER model trained on the gold blocks, while "pred_p" is trained on the predicted blocks.

## 3.2 Experiment setting

For the Bi-LSTM RE model, we implement a model same as the one implemented in [2]. For the ALTOP RE model, we select scibert_scivocab_cased as the pre-trained model. The batch sizes for training and testing are 4 and 8 respectively. We set a learning rate of $1 \mathrm{e}-5$ for weights in the pre-trained model, $5 \mathrm{e}-5$ for others, with a linear warmup for the first $6 \%$ steps followed by a linear decay to 0 . For the block extractor, we follow [5] to train a sentence classifier and construct predicted blocks. The performance of the block extractor is shown in Table 3. $98.98 \%$ of the sentences with procedure information are successfully extracted. Two named entity recognizers are trained with different inputs but with the same architecture and setting followed as [5]. The "pred_g" is the NER model trained on the annotated entities in gold blocks, while "pred_p" is trained on the predicted blocks with annotated entity labels. Table 4 presents the results of our NER models. The max sequence length of both NER and RE tasks is 1024.

## 4 Result and Discussion

RE models are compared in the standard RE task that the gold blocks and gold entity labels are given. The best $\mathrm{RE}$ model is applied in the procedure extraction, while the RE model has to face more noise because the blocks are predicted, or the named entities are results of NER models. Standard RE task The experimental results of standard RE task are shown in Table 5. Following previous works, we use Precision, Recall and F1 scores in evaluation.

The first we noticed is the good performance of the rulebased approach. Although the rules we used are intuitive, the rule-based have an accuracy of 90.26. In most of other

Table 6 ALTOP + rule_top

ignoring the missed relations caused by entity missing

ALTOP + rule_top is trained on the gold NEs in gold blocks. "Covered Rel" is the relationships that both its head entity and tail entity are identified by the NER models.

Table 7 ALTOP + rule top in procedure extraction

tasks, NN-based methods can capture positive examples outside the rules and have a higher recall. In our task, there is a difference between the simple Bi-LSTM model and the rule-based method, except that Bi-LSTM performs worse than the rules, especially in the recall. This situation may be caused by the simplicity of the procedure dataset - the text order of a series of processes is the same as the actual processing order, and the description of procedures is in a certain form that matches with our rules.

Even though the simple NN-based model fails to outperform the rule-based method, the pre-trained language model and novel techniques help ATLOP win the game in this round with an F1 score of 89.68. And the rule_top component does reduce the count of false-positive instances, bringing us a high precision of 95.00. Comparing to the performance of the ATLOP, the Bi-LSTM model is not good enough in distinguishing between two head entities given a tail entity. The human-check of error predictions proves that the Bi-LSTM model may link a tail entity to an incorrect head entity close to the correct answer, even if two head entities are not semantically similar.

Pipelined procedure extraction For the RE task in procedure extraction, performances of the models are shown in Tables $6,7,8$. Table 6 shows the results not taken the missed relations caused by missed entities into account. As is shown: 1) The impact brought by the NER models is greater than the block extractor. Performance of gold NEs in the predicted blocks gets 4 points lower than gold NEs in the gold blocks; on the predicted block, passing the pred_g model's output to the RE task decreases $18.5 \%$ of
Table 8 ALTOP + rule_top in procedure extraction with/without typemarker

ALTOP + rule_top model with/without typemarker is trained on the gold NEs in gold blocks.

performance than gold NEs. 2) An NER model trained on the predicted blocks can reduce the false-positive entities appeared in the false sentences in the predicted block. The pred_p model achieves 3.22 points higher than pred_g. 3) Even though the NER model achieved over 80.0 recall, the missed relations caused by entity missing have big effects. Only $77.33 \%$ of real relations can be observed after block extraction and NER.

Taking the missed relations by the errors of NER into consideration, the recall of each combination of inputs reduces (See Table 7). The results on the pred_p NEs in predicted blocks are the final performance of procedure extraction. The pipelined methods taken ALTOP + rule_of model as RE model can capture $66.67 \%$ of relations in procedures, while $77.33 \%$ of the predictions are correct.

Results by the ALTOP model with or without typemarker are shown in Table 8. In the standard RE task, typemarker contributes 1.69 points in the F1 score, while it brings no improvement in the other situations. We think typemarkers help the model better fit into data, losing a degree of generalization ability to unobserved instances during training.

## 5 Conclusion

We experiment with two models that reported good performance in other works on the relation extraction of inorganic material synthesis procedures. We provide simple techniques, the rule_of component and entity typemarker to help existed methods get better performance on a specific task. We find the missed named entities during named entity recognition cause a great effect on the pipelined knowledge extraction. For that, we summarized two potential directions as our future works: improving the accuracy of named entity recognition, and improving the ability of the relation extraction model to distinguish between false-positive entities and real entities.

## References

[1] David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, relation, and event extraction with contextualized span representations. arXiv preprint arXiv:1909.03546, 2019.

[2] Yuan Yao, Deming Ye, Peng Li, Xu Han, Yankai Lin, Zhenghao Liu, Zhiyuan Liu, Lixin Huang, Jie Zhou, and Maosong Sun. Docred: A large-scale document-level relation extraction dataset. arXiv preprint arXiv:1906.06127, 2019.

[3] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for joint entity and relation extraction. arXiv preprint arXiv:2010.12812, 2020.

[4] Jiao Li, Yueping Sun, Robin J Johnson, Daniela Sciaky, Chih-Hsuan Wei, Robert Leaman, Allan Peter Davis, Carolyn J Mattingly, Thomas C Wiegers, and Zhiyong Lu. Biocreative $\mathrm{v}$ cdr task corpus: a resource for chemical disease relation extraction. Database, Vol. 2016, 2016.

[5] Shanshan Liu, Mutsunori Uenuma, Hiroyuki Shindo, and Yuji Matsumoto. Extraction of the material synthesis procedure. Fourth International Workshop on SCIentific DOCument Analysis (SCIDOCA2020), 2020.

[6] Wenxuan Zhou, Kevin Huang, Tengyu Ma, and Jing Huang. Document-level relation extraction with adaptive thresholding and localized context pooling. arXiv preprint arXiv:2010.11304, 2020.

[7] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: A pretrained language model for scientific text. arXiv preprint arXiv:1903.10676, 2019.


# BERT を用いた Table-Filling による固有表現抽出と関係抽出

Youmi Ma 平岡達也 岡崎直観
東京工業大学
\{youmi.ma, tatsuya.hiraoka\}@nlp.c.titech.ac.jp
okazaki@c.titech.ac.jp

## 1 はじめに

固有表現およびその組である関係の抽出は，コン ピュータによる情報抽出や知識獲得において重要な 課題である $[1,2]$. 固有表現と関係を同時に抽出す る手法のひとつとして，Table-Filling を用いたもの がある [3]. Table-Filling を用いた手法では，図 1 の ように，表の対角要素に固有表現のラベルを，非対角要素に関係のラベルを配置することにして，二つ の抽出タスクをひとつの表を埋める問題に帰着さ せる.しかし， Table-Filling を用いた手法で高い精度を達成するためには，固有表現や関係の分類に用 いる特徴量や，表を埋める順序（デコーディング順序）を緻密に設計する必要がある $[3,4,5,6]$.

近年，事前学習済み言語モデルを用いて固有表現と関係を同時に推定するモデルが提案されてい る $[4,7,8]$. 本稿では，文脈を考慮した単語埋め込み を用いることで，特徵量選択とデコーディング順序 の問題を同時に解決する新たな Table-Filling に基づ く固有表現抽出・関係抽出のモデルを提案する。提案手法では特徴量選択の問題を解決するために，事前学習済みの BERT モデル [9] で入力文をエンコー ドし，文脈を考慮した単語埋め込みを得る．単語埋 め込みをスパン単位でプーリングした値を固有表現 の特徴量とし，表の対角要素を埋める. 固有表現の 特徴量で表の対角要素を埋め，これをもとに関係を 表す非対角要素を一挙に埋めることで，デコーディ ングにおいて順序の考慮を不要とする。

CoNLL04 [10] と ACE05ํำデータセトを用いた実験を通して，提案手法はシンプルであるが，最高性能に匹敵することを確認した。また，提案手法にお いてデコーディング順序を考慮したモデル設計とし た場合でも，デコーディング順序が性能に大きな影響を与えないことを確認した。さらに実験と分析を 通して，固有表現抽出器を同時に学習することで埋

1) https://catalog.ldc.upenn.edu/LDC2006T06

図 1 Table-Filling の概要. セル内の数字は表を埋める （デコーディング）順序を示し，」は対応する関係がない ことを示す.

め込み表現の学習が効果的に行われ，関係抽出器の 性能向上に繋がることを確認した2).

## 2 提案手法

本研究の目的は, 長さ $n$ の単語列 $w_{1}, w_{2}, \cdots, w_{n}$ が与えられた時に，関係を $\left(\mathrm{a}_{0}\left.\langle\mathrm{t}_{0}\right.\rangle\right.$, relation, $\left.\mathrm{a}_{1}\left.\langle\mathrm{t}_{1}\right.\rangle\right)$ の 形で抽出することである。ただし， $\mathrm{t}_{0}, \mathrm{t}_{1}$ はそれぞれ 1 つ以上の $w_{n}$ から成る固有表現 $a_{0}, a_{1}$ に対応するラ

Rを関係のラベルの集合とする。

提案手法では図 1 のように，表を用いて固有表現と関係のラベル空間を表現する。具体的に は， $n \times n$ の上三角行列 $\boldsymbol{Y}$ を定義する. 対角成分 $\boldsymbol{Y}_{i, i} \in \mathscr{E}$ は $i$ 番目の単語に対応する固有表現のラ ベルであり, 非対角成分 $\boldsymbol{Y}_{i, j} \in \mathscr{R}$ は $i$ 番目の単語 から $j$ 番目の単語への関係のラベルである. Zhang ら [6] による研究と同様に, 行列の下半分は使用

2）本稿で紹介されたモデルは，https://github.com/YoumiMa/ Enhanced_TFにて公開している.

図 2 固有表現抽出器の概要.

しない。また，固有表現が複数の単語にまたがる 場合は, 固有表現を構成する全ての単語の要素に 対して関係ラベルを付与する。例えば図 1 では,

し，関係 $\overrightarrow{\text { LIVEIN }}$ は「Johanson」に対応する $\boldsymbol{Y}_{1,5}$ と 「Smith」に対応する $\boldsymbol{Y}_{2,5}$ の両方に付与される.

提案手法は固有表現抽出器と関係抽出器を事前学習済みの BERT エンコーダの出力層に積み重ねる。図 2 と図 3 のように，各単語埋め込みをサブワード 埋め込みからプーリングして計算し（\$2.1），固有表現抽出（\$2.2）と関係抽出（\$2.3）を行う。

## 2.1 単語埋め込み

BERT は WordPiece を用いて単語をサブワード化 するため，単語単位のタスクである固有表現抽出を 解くためには，サブワード埋め込みを単語単位に変換する必要がある．本研究では，単語を構成する全 てのサブワード埋め込みの最大プーリングによっ て，単語埋め込みを計算する [9].

$
\boldsymbol{e}_{w_{i}}=f\left(\boldsymbol{e}_{t_{i, 1}}, \boldsymbol{e}_{t_{i, 2}}, \cdots, \boldsymbol{e}_{t_{i, s}}\right) .
$

単語 $w_{i}$ はサブワード $t_{i, 1}, t_{i, 2}, \cdots, t_{i, s}$ から構成され, $\boldsymbol{e}_{w_{i}}$ と $\boldsymbol{e}_{t_{i, k}}$ はそれぞれ単語 $w_{i}$ とサブワード $t_{i, k}$ の埋 め込みを示し， $f(\cdot)$ は最大プーリング関数である.

## 2.2 固有表現抽出

固有表現のラベルを BILOU 方式 [11] で表現する ことで，固有表現抽出を系列ラベリング問題として 扱う。提案手法では, Zhang ら [6] に倣い，固有表現

図 3 関係抽出器の概要.

埋め込みをスパン単位で取り扱う。

具体的に，位置 $i$ の単語 $w_{i}$ に対し，固有表現の予

連結（ $\oplus ）$ である.

$
\boldsymbol{h}_{i}^{(\text {ent })}=\boldsymbol{e}_{w_{i}} \oplus \boldsymbol{l}_{y_{i-1}} \oplus f\left(\boldsymbol{e}_{w_{\text {first }(i-1)}}, \cdots, \boldsymbol{e}_{w_{i-1}}\right) .
$

ただし， $\boldsymbol{l}_{y_{i-1}}$ は直前の位置 $i-1$ の単語 $w_{i-1}$ の固有表現ラベルの埋め込み, $f\left(\boldsymbol{e}_{w_{\text {first }(i-1)}}, \cdots, \boldsymbol{e}_{w_{i-1}}\right)$ は直前のスパンの埋め込み（該当する全ての単語埋め 込みの最大プーリング）を示す。また，first $(i)$ は単語 $w_{i}$ を含むスパンの先頭位置を示す3)。なお，初期位置 $i=1$ については，直前の位置の固有表現ラ ベル $y_{0}$ にはスパンでないことを示すラベルである Outside（0）を用い， $\boldsymbol{e}_{w_{0}}$ には零ベクトルを用いる.

単語 $w_{i}$ の固有表現ラベルを予測するために用い る確率分布 $\hat{\boldsymbol{y}}_{i}$ は，全結合層とソフトマックス関数 $\sigma$ を用いて計算する。

$
\hat{\boldsymbol{y}}_{i}=\sigma\left(\boldsymbol{W}^{(\mathrm{ent})} \boldsymbol{h}_{i}^{(\mathrm{ent})}+\boldsymbol{b}^{(\mathrm{ent})}\right)
$

$\hat{\boldsymbol{y}}_{i}$ から確率が最大となるラベルを選ぶことで，行列の対応する成分 $\boldsymbol{Y}_{i, i}\left(=y_{i}\right)$ を埋める. 提案手法は,行列の対角成分 $\boldsymbol{Y}_{i, i}$ を $i=1$ から $i=n$ まで埋めるこ とによって，固有表現抽出を行う。

## 2.3 関係抽出

関係抽出は $\$ 2.2$ の予測結果に基づいて行う. 関係抽出器は，行列の対角成分に埋められた固有表現 のラベル情報を用いて，非対角成分を同時に予測す る. 各単語対の関係ラベル空間においての確率分布 は，内積を用いて計算する4)。

単語 $w_{i}$ に対し，関係の予測で用いる埋め込み $\boldsymbol{h}_{i}^{(\mathrm{rel})}$ は，固有表現のスパンの埋め込み $z_{i}$ と固有表

3）例えば，図 2 で示した文を処理する際に，「John Smith」は 2 単語から構成されるスパンが固有表現として識別されるため, first $(1)=$ first $(2)=1$ である.

4）Deep Bi-affine Attention [12,13] を用いた計算と比較した結果，内積だけで十分であることを事前の実験からわかった。
現のラベルの埋め込み $l_{y_{i}}$ の連結 $(\oplus)$ である. さら にスパンの埋め込み $z_{i}$ は，単語 $w_{i}$ に対応するスパ ン範囲の全ての単語埋め込みから計算する。

$
\begin{gathered}
\boldsymbol{h}_{i}^{(\mathrm{rel})}=z_{i} \oplus \boldsymbol{l}_{y_{i}} \\
z_{i}=f\left(\boldsymbol{e}_{w_{\text {first }(i)}}, \cdots, \boldsymbol{e}_{w_{i}}, \cdots, \boldsymbol{e}_{w_{\text {last }(i)}}\right)
\end{gathered}
$

ここで last $(i)$ は $\$ 2.2$ で定義された first $(i)$ と同様に，単語 $w_{i}$ を含む固有表現のスパンの末尾位置を示す. つまり， $z_{i}$ は first $(i)$ から last $(i)$ までの単語の埋め込 みの最大プーリングである.

関係の予測を行うために， $\boldsymbol{h}_{i}^{(\text {rel) }}$ に対して，行列 $\boldsymbol{W}_{r}^{(q)}, \boldsymbol{W}_{r}^{(k)} \in \mathbb{R}^{d_{\text {att }} X d_{\text {rel }}}$ とバイアス $\boldsymbol{b}_{r}^{(q)}, \boldsymbol{b}_{r}^{(k)} \in \mathbb{R}^{d_{\text {att }}}$ を 用いた線形変換を行う.

$
\begin{aligned}
& \boldsymbol{q}_{i, r}=\boldsymbol{W}_{r}^{(q)} \boldsymbol{h}_{i}^{(\mathrm{rel})}+\boldsymbol{b}_{r}^{(q)} \\
& \boldsymbol{k}_{i, r}=\boldsymbol{W}_{r}^{(k)} \boldsymbol{h}_{i}^{(\mathrm{rel})}+\boldsymbol{b}_{r}^{(k)}
\end{aligned}
$

ただし， $d_{\mathrm{rel}}$ は $\boldsymbol{h}_{i}^{(\mathrm{rel})}$ の次元数， $d_{\mathrm{att}}$ は変換後の次元数である. 全ての $r \in \mathscr{R}$ と $i \in\{1, \cdots, n\}$ を集めた テンソルを $\mathrm{Q} \in \mathbb{R}^{n \times|\mathscr{R}| \times d_{\text {att }}}$ と $\mathrm{K} \in \mathbb{R}^{n \times|\mathscr{R}| \times d_{\text {att }}}$ とする.

$
\begin{aligned}
& \mathrm{Q}_{i, r,:}=\boldsymbol{q}_{i, r}=\boldsymbol{W}_{r}^{(q)} \boldsymbol{h}_{i}^{(\mathrm{rel})}+\boldsymbol{b}_{r}^{(q)}, \\
& \mathrm{K}_{i, r,:}=\boldsymbol{k}_{i, r}=\boldsymbol{W}_{r}^{(k)} \boldsymbol{h}_{i}^{(\mathrm{rel})}+\boldsymbol{b}_{r}^{(k)} .
\end{aligned}
$

各単語対 $\left(w_{i}, w_{j}\right)(1 \leq i<j \leq n)$ に対する関係空間 $\mathscr{R} て ゙$ 確率分布は，内積とソフトマックス関数によ り計算する ${ }^{5)}$.

$
\hat{\boldsymbol{y}}_{i, j}=\sigma\left(\mathbf{Q K}^{\top}\right)_{i, j,:} \cdot
$

$\hat{y}_{i, j}$ から確率が最大となるラベルを選び，行列で対応する要素 $\boldsymbol{Y}_{i, j}$ に埋めることによって，関係を特定 する。提案手法は式 (10)を用いて，非対角成分を一斉（独立）に埋めるため，関係の予測結果の間に依存関係がない。なお，学習時には式 (5)を以下のよ うに置き換えることで，学習が安定することが経験的にわかっている.

$
z_{i}=\boldsymbol{e}_{w_{i}}
$

これにより，単語単位で誤差逆伝播を行うことが でき，プーリング操作による複雑なパラメータ更新 を避けることでモデルの性能向上に寄与する。

## 2.4 学習と予測

固有表現抽出と関係抽出の交差エントロピーの 総和を損失関数とする。固有表現抽出では Zhang

 & 67.8 \\

表 1 固有表現抽出と関係抽出の実験結果. NER は固有表現抽出の結果，RE は固有表現ラベルを用いない関係抽出の結果，RE+は固有表現ラベルを用いた関係抽出の結果 である。†は BERT-base，‡は BERT-large，。は ALBERT

ら [6] に倣い，学習時は正解のスパンとラベルを使 い，予測時は貪欲法で得られたスパンとラベルを用 いる。関係抽出では，学習時と予測時のいずれも固有表現抽出器が予測したスパンとラベルを用いる。

## 3 実験と考察

## 3.1 実験結果

提案手法の性能を確かめるために, CoNLL04 [10] と ACE05 の 2 つのデータセットで実験し，その性能を表 1 に示した. 実験結果から，提案手法は関係抽出（REと $\mathrm{RE}+$ ）において，両データセットの最高性能モデルに匹敵する性能を持つことを確認した。特に，提案手法と同じくBERT をエンコーダとして 用いる Eberts と Ulges の手法 [7] や Wadden らの手法 [17] の性能を上回ることから，提案手法の構造が 性能向上に寄与することが確かめられた. Wang と Lu [4] の手法は ALBERT [19] をエンコーダとして使 うことで高い性能を達成しているが，エンコーダを BERT に揃えると，提案手法と同等の性能であった.

ところが，ACE05 での固有表現抽出（NER）にお いて，提案手法は比較手法である Wadden らの手法 [17] より低い精度を示している。これは比較手法 が文書単位を入力とし， [SEP] で分割された複数の 文に対して予測を行うため，文単位で予測を行う提案手法と実験設定が異なるからである。提案手法の 固有表現抽出器に文書単位の入力を与えると，性能
表 2 文書単位で固有表現抽出を行う実験の結果（ACE05

表 3 デコーディング順序に関する対照実験の結果 (CoNLL04 テストデータ)．全ての関係を一斉に予測する モデルと，順序を考慮して予測するモデルを比較する。

が比較手法に匹敵することを表 2 に示した.

## 3.2 デコーディング順序による影響

Table-Filling を用いた既存手法は予め定義された 順序に従い，モデルの出力結果を考慮しつつ，表を セルごと埋める $[3,5,6]$. これらの研究は前の予測結果が以後の予測に役立つと仮定しているが，提案手法では内積で表の非対角成分をまとめて予測する ため，各セルの予測は互いに独立である。

提案手法においてデコーディング順序を考慮す る必要がないことを示すために，順序を考慮して デコーディングを行う実験設定での性能を確認す る. 具体的には，単語対 $\left(w_{i}, w_{j}\right)$ の関係を予測する 時に, 左のセル $\left(w_{i}, w_{j-1}\right)$ と下のセル $\left(w_{i+1}, w_{j}\right)$ の 情報を用いる。これにより，表の左下から右上へと 順番にデコーディングを行う手法を用意し，その性能を表 3 に示した.

実験結果より，デコーディング順序を考慮する ことによる性能向上は得られなかった.これは， BERT が長距離の依存関係を考慮して入力文をエン コードするため，前の予測結果を考慮して逐次的に 予測を行う必要が無くなったためと考えられる.

## 3.3 同時学習による影響

既存研究は，固有表現抽出と関係抽出の同時学習 はタスク間の依存関係を暗黙的にモデル化し，全体 の性能に寄与すると報告している $[8,20,21]$. 提案手法において両タスクを同時にモデル化するメリッ トはどのくらいあるのだろうか？そこで，固有表現 の認識結果から，固有表現のセグメント情報やカテ ゴリ情報を隠したとき，関係抽出の性能がどのよう な影響を受けるのかを調査した，具体的には，固有表 4 固有表現抽出器の学習・予測設定を変更することに よる関係抽出器の性能変化 (CoNLL04テストデータ).

「Seg.」はセグメント情報，「Cat.」はカテゴリ情報を示す. また，+は固有表現のラベルをランダムに選んだ結果，

は正解の固有表現のラベルを使った結果である.

表現ラベル（例：B-PER）から，セグメント情報だけ を残したり（例：B），カテゴリ情報（例：PER）だけ を残して，関係抽出器の性能を測定した（表 4).

従来，固有表現抽出の性能が関係抽出の性能に影響を与えると考えられてきたが，提案手法では，カ テゴリを用いずにセグメントだけを利用して関係抽出モデルの学習や予測を行っても，性能に大きな 差は現れないことが分かった.これは BERTをエン コーダとして用いたため, 固有表現のカテゴリは埋 め込みから推測可能な場合が多く，カテゴリ情報を 明示的に与えなくても関係が予測できてしまったた めと考えられる．また，予測時に固有表現のセグメ ントのラベルをランダムに書き換えた場合は，固有表現のスパンの情報が得られなくなり，関係抽出の 性能低下を引き起こす。一方で，正解のスパンを関係抽出器に与えると，大幅な性能向上が見られる. さらに，固有表現抽出器の学習を加えることで，性能が向上した。これは関係抽出器にとって，固有表現の正確なスパン情報が重要であること，固有表現抽出の学習を行うことによる BERT の単語埋め込み の改善が得られることを示唆している.

## 4 おわりに

本研究では，Table-Filling に基づき，固有表現と 関係を同時に抽出するモデルを提案した。文脈を考慮した単語埋め込みの活用により, 従来手法の特徴量選択とデコーディング順序に関する課題を撤廃 できることを示した．実験結果により，提案手法は CoNLL04 [10] と ACE05 の 2 つのデータセットで最高性能に匹敵する性能を示すことを確認した.

謝辞 この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の委託業務 （JPNP18002）の結果得られたものです。

## 参考文献

[1] Dmitry Zelenko, Chinatsu Aone, and Anthony Richardella. Kernel methods for relation extraction. Journal of Machine Learning Research, Vol. 3, p. 1083-1106, 2003.

[2] GuoDong Zhou, Jian Su, Jie Zhang, and Min Zhang. Exploring various knowledge in relation extraction. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 427-434, 2005.

[3] Makoto Miwa and Yutaka Sasaki. Modeling joint entity and relation extraction with table representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1858-1869, 2014.

[4] Jue Wang and Wei Lu. Two are better than one: Joint entity and relation extraction with table-sequence encoders. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1706-1721, 2020.

[5] Pankaj Gupta, Hinrich Schütze, and Bernt Andrassy. Table filling multi-task recurrent neural network for joint entity and relation extraction. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers (COLING), pp. 2537-2547, 2016.

[6] Meishan Zhang, Yue Zhang, and Guohong Fu. End-to-end neural relation extraction with global optimization. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1730-1740, 2017.

[7] Markus Eberts and Adrian Ulges. Span-based joint entity and relation extraction with transformer pre-training. In 24th European Conference on Artificial Intelligence (ECAI), 2020.

[8] Ying Lin, Heng Ji, Fei Huang, and Lingfei Wu. A joint neural model for information extraction with global features. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 7999-8009, 2020.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (NAACL), pp. 4171-4186, 2019.

[10] Dan Roth and Wen-tau Yih. A linear programming formulation for global inference in natural language tasks. In Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004, pp. 1-8, 2004.

[11] Lev Ratinov and Dan Roth. Design challenges and misconceptions in named entity recognition. In Proceedings of the Thirteenth Conference on Computational Natural Language Learning (CoNLL-2009), pp. 147-155, 2009.

[12] Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. In International Conference on Learning Representations (ICLR), 2017.

[13] Dat Quoc Nguyen and Karin Verspoor. End-to-end neural relation extraction using deep biaffine attention. In Proceedings of the 41st European Conference on Information Retrieval (ECIR), 2019.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems (NeurIPS), pp. 5998-6008, 2017.

[15] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1340-1350, 2019.

[16] Kalpit Dixit and Yaser Al-Onaizan. Span-level model for relation extraction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 5308-5314, 2019.
[17] David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, relation, and event extraction with contextualized span representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5784-5789, 2019.

[18] Yijun Wang, Changzhi Sun, Yuanbin Wu, Junchi Yan, Peng Gao, and Guotong Xie. Pre-training entity relation encoder with intraspan and inter-span information. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1692-1705, 2020.

[19] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. In International Conference on Learning Representations (ICLR), 2020.

[20] Makoto Miwa and Mohit Bansal. End-to-end relation extraction using LSTMs on sequences and tree structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1105-1116, 2016.

[21] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics (TACL), Vol. 8, pp. 64-77, 2020.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, and Jamie Brew. Huggingface's transformers: State-of-the-art natural language processing. CoRR, Vol. abs/1910.03771, , 2019.

[23] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations (ICLR), 2019.

[24] Qi Li and Heng Ji. Incremental joint extraction of entity mentions and relations. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 402-412, 2014.

[25] Yi Luan, Dave Wadden, Luheng He, Amy Shah, Mari Ostendorf, and Hannaneh Hajishirzi. A general framework for information extraction using dynamic span graphs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (NAACL), pp. 3036-3046, 2019.

## A 実験設定

提案手法は HuggingFace Transformers [22] 用い て実装し, NVIDIA Tesla V100(16 GiB) で実験を行っ た. 本稿で報告された全ての実験結果は，5つの異 なるランダムシードを用いて学習を行い，その平均値である.

なお，モデルには事前学習済みのパラメータとラ ンダムな初期状態にあるパラメータが両方存在する ため，一様な学習率を設定することはモデルの訓練 において不適切だと考えられる。よって, Wadden ら [17] に倣い, 両抽出器と事前学習済みの BERT モ デルを異なる学習率を用いて訓練する。訓練時のパ ラメータ更新は，AdamW [23]を用いる。

## A. 1 データセット

データセットの分割などの前処理と実験設定は既存研究に従う.

CoNLL04 固有表現が 4 種類，関係が 5 種類定義 されている. Eberts と Ulges [7] と Gupta ら [5] の分割に従い，まずデータセットを訓練・検証・テスト データに分け，訓練データと検証データで八イパー パラメータを選択する。次に訓練データと検証デー タをあわせて訓練を行い，得られたモデルの性能を テストデータを用いて評価する $[3,6,24]$.

ACE05 固有表現が 7 種類, 関係が 6 種類定義さ れている. Wadden ら [17] の前処理スクリプト6)を 用いることにより, 既存研究と同じ分割を作成し

要素として記述された箇所を固有表現のスパンとし て扱う $[8,20,24,25]$.

## A. 2 ハイパーパラメータ

提案手法により導入されたハイパーパラメータ とその値を表 5 に示す。ハイパーパラメータの選択は，それぞれのデータセットの検証データを用 いて行う. ただし, 訓練時に使われたスケジュー ラーは，まず学習率をゼロから表に示した値まで $\{$ ウォームアップ期間 $\} \times\{$ エポック数 $\}$ のエポックを かけて線形に上昇させ，次に余弦関数で減衰させる ものである.表 5 ハイパーパラメータの概要

表 6 アブレーションスタディの結果（CoNLL04 テスト データ).「-ラベル」は式 2 と式 4 からラベルの埋め込み を削ったモデル，「-スパン」は式２からスパンの埋め込み を削ったモデル，「-両方」は両方を削ったモデルを示す.

## B 特徴量による影響

提案手法で特徴量として用いたスパンの埋め込み とラベルの埋め込み（式 2 と式 11）がモデルに与え る影響を調べるために，各埋め込みを削った場合の 実験を行い，結果を表 6 に示す. 式 2 からスパンの 埋め込み $f\left(\boldsymbol{e}_{w_{\text {first }(i-1)}}, \cdots, \boldsymbol{e}_{w_{i-1}}\right)$ を削る目的は，スパ ン単位のパラメータ更新を防止し，スパンの埋め込 み表現を学習させないことである.

スパンの埋め込み表現を学習させないことによ り, 関係抽出器の性能低下が表 6 から見られた. こ れはスパンの埋め込みが提案手法において重要であ ることを示し， 83.3 の結論を裏付ける結果だと考え られる。

6) https://github.com/dwadden/dygiepp