# アノテーション漏れ推定を用いたエンティティ抽出

伊藤雅弘山崎智弘
株式会社東芝 研究開発センター
知能化システム研究所 アナリティクスA I ラボラトリー
\{masahiro20.ito, tomohiro2.yamasaki\}@toshiba.co.jp

## 1 はじめに

近年の団塊世代の退職と少子化による労働人口の 減少に伴い，産業界では業務に関するノウハウの喪失や継承が関心事となっている。なぜなら，電力・化学プラントなどの建設・運用・保守には， ベテラ ンの長年の経験が重要となるからである．我々は，過去に発生したトラブルの報告書に記録されている ベテランのノウハウを，現状の業務や新人の教育に 用いる取り組みを進めている。特に，過去の大量の 報告書からトラブルに関係するイベント(「配管に亀裂」「水位が低下」など）を抽出し，因果関係として 構造化することによって,「特定の原因により引き起 こされるリスク」や「トラブルを引き起こした原因」 を分析する技術開発に注力している。

我々の構造化プロセスは，まず報告書からトラブ ルの原因や結果になりうるイベントを系列ラベリン グ [1] にて抽出し, 次に抽出されたイベント間に因果関係があるかを推定する。この 2 段階のプロセス では，前段でイベントの抽出漏れがあると，後段で 正しい因果関係を推定することができない。そのた め，前段のイベント抽出はある程度の正しさは担保 しつつもなるべく多くのイベントを後段に提供でき ること，つまり再現率が高いことが望まれる.

再現率を高めるためには系列ラベリングにおける 「学習時の目的関数を工夫する」「イベントを示すラ ベルかどうかの推定值に対する閾値を変更する」な ども考えられる。これら方法では，学習データ自体 はそのまま用いている。一方で，本研究では学習の 情報源となるアノテーションデータのエンティティ 付与漏れ（アノテーション漏れ）に着目する.ここ でエンティティとは，系列ラベリングでの抽出対象 となるイベントや固有表現などが該当する。一般的 に，学習データに用いることができる規模で完全に 正しいアノテーションデータを作成することは困難 である。既存研究 [2] でも，固有表現抽出のデータ セットである CoNLL2003 [3] におけるアノテーシ
ヨン誤りが指摘されている. 我々もイベント抽出の 再現率低下の要因分析をした結果，トラブル報告書内のイベントにアノテーション漏れが存在すること が分かっている. エンティティに対するアノテーシ ヨン漏れがあると，一部のエンティティの特徴を学習できず抽出漏れの要因になると考えられる.

そこで本研究では，アノテーション漏れを推定し そのエンティティを学習データに追加することによ って，系列ラベリングを用いたエンティティ抽出の 再現率を向上させる方法を提案する.

## 2 関連研究

これまでの因果関係抽出の研究としては $[4,5]$ などがあるが，その中でのイベント抽出手法には，主にルールベースと系列ラベリングによる機械学習 ベースがある．[4] はルールベースの手法で，手が かり表現を含む文節を基点に，係り受け解析を用い て前後の一定の範囲を原因・結果として抽出する.

一方 [5] は系列ラベリングを用いた手法である。文 を形態素などのトークンに分割し， 1 文中に存在す る原因・結果それぞれのイベント範囲の各トークン に対しCause, Effect のラベルを付与した学習データ を用意する。そして，未知の文における原因イベン ト・結果イベント部分のラベルを推定するモデルを 学習する。本研究では，この系列ラベリングを用い てイベントを抽出する。

系列ラベリングの手法としては近年 Bi-LSTM ベ 一スの手法が盛んに提案され，高い性能を達成して いる $[1,6]$. これらの手法は, 文字や単語の埋め込み ベクトルを Bi-LSTM に与え，最終層で CRF を用い てラベルを推定している。一方 [2] は，アノテーシ ョン誤りを含んだ不完全なデータセットにおいて，誤りを含む可能性が高い文を推定し，その文の重み を低くして学習することで，系列ラベリングの性能 を向上させる CrossWeigh という手法を提案してい る. [7] も同様に不完全なデータセットでの学習性能の向上を取り扱っている。しかし，この研究はラ

ベル無しデータに対してルールや辞書に基づき機械的にラベリングしたものを不完全 (ノイジー) なデ 一夕として扱っているため，アノテーションデータ に誤りが含まれるという [2] や本研究の問題設定 とは異なる。

## 3 提案手法

本研究では, 前節で述べた CrossWeigh [2] と同様にアノテーション誤りを含んだ学習データを取り 扱う。先に述べたように，機械学習用のデータセッ トに対してアノテーション作業を実施したとして も, 完全に正しいデータを作成することは困難であ る.これは, 特に定義が明確にできないエンティテ イに対しては顕著であると考えられる。例えば，本研究で取り扱う「トラブル報告書におけるトラブル の原因・結果となるイベント」は, 「人名」に比べ て明確に定義することが困難で系列も長い。その場合, エンティティの過不足やテキスト範囲の摇孔が 大きくなる.

[2] は学習データからアノテーション誤りを含む 可能性があるデータ（文を構成するトークンの系列 とそのラベル）を推定し，文単位で学習時の重みを 低くする。つまり当該文の学習への影響を小さくし ている。 [2] は誤った情報を取り除くため，主に 適合率を向上させる効果が高いと考えられる一方，再現率の向上はあまり見込めない. また予備実験に おいて，エンティティのテキスト範囲（エンティテ イ範囲）の摇れが比較的大きな”イベント”という対象では学習データの多くの文がアノテーション誤り と推定されてしまい, 逆に性能低下を引き起こすこ とが分かっている.

先に述べたように，エンティティ抽出結果を後段 の関係抽出処理で用いる場合は，そもそも正しいエ ンティティが抽出されていなければ正しい関係を生成することができない. そのため, 適合率より再現率を重視した性能向上手法が必要となる. そこで本研究では，アノテーション誤りのうちアノテーショ ン漏れと考えられるエンティティを推定し, そのエ ンティティを学習データに追加するという再現率向上を重視した手法を提案する。これは, 誤った情報 を取り除く [2] とは逆のアプローチである.

学習データにエンティティを追加することで, 当然再現率の向上が想定される. しかし, 追加するエ ンティティを注意深く選定しなければ，ノイズとな るエンティティが増え適合率が大きく下がると考え
られる。提案手法では，以下の 3 つの工夫を導入す ることにより，適合率の低下をなるべく抑制しつ

つ，再現率の向上を目指す.

(A) 学習データの異なるサブセットを用いて学習 した複数モデルによる投票によって，推定エラ 一ではなくアノテーション漏れのみを学習デ 一夕に追加できる確率を高める。これは，ノイ ズとなるエンティティが追加されることを抑制する.

(B) (A)において投票数に応じて追加するエンティ ティを選定する際，範囲が類似するエンティテ イを「エンティティグループ」としてまとめて 扱うことにより，エンティティ範囲の厳密性に こだわらず，追加すべきエンティティ周辺を浮 かび上がらせる.

(C) (A)での投票結果を用いて,エンティティグルー プに属する推定範囲の異なるエンティティか ら，より正しいものを選択できる確率を高める。 これは, 追加されるエンティティ範囲のノイズ 除去として機能することが期待される.

以下に提案手法のアルゴリズムを示す.

(1) 学習に用いるアノテーションデータをランダ ムに並べ替え， $\mathrm{k}$ 分割交差検証にて上記アノテ ーションデータのすべての文からエンティテ イを抽出する.

(2) 抽出されたエンティティのうち, アノテーショ ンされていなかったエンティティを記録する。

(3) (1)〜(2)をt回繰り返す.

例えば， $\mathrm{t}=4$ の場合，下図のように 4 つの異な るモデルがそれぞれエンティティ範囲を推定 する.

## モデル1 発電設備における配管の溶接不良に伴って、

モデル2 発電設備における配管の溶接不良に伴って、

モデル3 発電設備における配管の溶接不良に伴って、

モデル4 発電設備における配管の溶接不良に伴つて、

(4) 推定されたエンティティ範囲が同一のものの 個数を，各エンティティ範囲の「投票数」とし てカウントする.

(5) 範囲が類似するエンティティを「エンティティ グループ」としてまとめ，エンティティグルー プに属するエンティティの投票数を合計する.範囲が類似するエンティティの判定方法は,「1
形態素でも重複する」や「末尾 $\mathrm{n}$ 形態素のいず れかが重複する」などが考えられる。例えば，下図のように類似する範囲をまとめ上げたエ ンティティグループが作成される.

文: 配管の溶接不良に伴つて，接合部付近より...

(6) 投票数が $\mathrm{t} \cdot \alpha(0 \leq \alpha<1)$ 以上のエンティテ イグループを選出する， $\alpha$ は，同じ文を $\mathrm{t}$ 回異 なるモデルで推定したうち, どのぐらいの割合 の投票数があれば追加するエンティティグル ープとして選出するかの基準である。

(7) 選出されたエンティティグループそれぞれに 対し, 属する複数のエンティティの中で最も投票数の多いエンティティを学習データに追加 する.

文: 配管の溶接不良に伴って，接合部付近より...

## 4 評価実験

提案手法の効果を検証のために実施した実験につ いて述べる。 パラメータは以下の通りとした。

k（交差検証における分割数）：10

$\mathrm{t}$ (交差検証の繰り返し回数) : 20

$\alpha$ (エンティティグループの選出基準）：

$0.8, \quad 0.6, \quad 0.4, \quad 0.2, \quad 0.0$

$\alpha$ が 0.0 の時にすべてのエンティティグループが学習データに追加され， $\alpha$ が 1.0 の時にいずれのエン ティティも追加されない.

提案手法における範囲が類似するエンティティの 判定方法は「エンティティ末尾 5 形態素のいずれか が重複する」とした。例えば「発電/設備/の/配管/ に/龟裂」と「配管/に/亀裂」は類似と判定される.表 2 データ数（電力プラントトラブル報告書）

これは，日本語のトラブルに関するイベントにおい て「水漏れ」「亀裂」など主要な現象（動作）が末尾付近に出現することが多いため，その部分の抽出 を重視し，それ以外のトラブルの対象・条件などの 記述の抽出範囲の摇孔を許容するためである。なお この方法では, 5 形態素以下のエンティティ同士で は「1 形態素でも重複する」と等しくなる.

系列ラベリングモデルは Bi-LSTM-CRF [1] をべ 一スとし，学習済み BERT モデル $[8,9]$ から得ら れた単語ベクトルを Bi-LSTMへの入力として与え た. オリジナルの学習データおよび提案手法により エンティティが追加された学習データを用いて 3 回学習し, それぞれの抽出性能の平均値を算出した。

上記設定で実施した以下 2 種類の抽出タスクによ る評価について述べる。

## 4.1 トラブルイベント抽出による評価

電力プラントに関するトラブル報告書（日本語） を用いたトラブルイベント抽出による評価実験を行 った.この報告書には，トラブルに関わるイベント とその因果関係がアノテーションされており，デー 夕数は表 1 の通りである。また，性能値算出時の 「エンティティが抽出できたか」の判定はエンティ ティ範囲の完全一致が通常であるが，本実験では先述したイベントの特性から「エンティティ末尾 5 形態素のいずれかが重複する」とした.

実験結果を表 2 に示す. 提案手法によりエンテ イティが追加された学習データを用いた結果, オリ ジナルのアノテーションデータを用いた場合と比 ベ，再現率が向上した。一方，エンティティを追加 することによって想定通り適合率は下がった。しか

表 1 評価結果（電カプラントトラブル報告書）

表 3 データ数（CoNLL2003）

し，パラメータ $\alpha$ を高くすることによってその程度が緩和される傾向であることから，(A)～(C)の工夫がノイズ除去として機能していることが確認でき た.この再現率向上効果とノイズ除去効果のバラン スは，データセットやモデルにより変化すると考え られる。本実験では $\alpha=0.6$ で最も高い $\mathrm{F}$ 値となって おり，提案手法により $\mathrm{F}$ 值を維持もしくは向上さ せつつ, 再現率を向上できることを確認した.

## 4.2 固有表現抽出による評価

提案手法は, 本研究におけるイベントのようにア ノテーション摇れが大きい対象に特に有効であると 考えられる。一方，一般的な固有表現抽出タスクへ の有効性は明らかでないため, 広く用いられている CoNLL2003 コーパス（英語）による評価を実施し た. 当該コーパスには, 人名, 地名, 組織名, その 他の 4 種の固有表現がタグ付けされており，データ 数は表 3 の通りである. エンティティが抽出でき たかの判定はエンティティ範囲の完全一致とした.

実験において, アノテーション漏れを疑似的に再現するため, 学習データから個々のエンティティを 一定確率 (削除確率) で削除した. 例えば, 削除確率 0.1 だとおおよそ $10 \%$ のエンティティが学習デー タから削除される. 削除確率 $0.1 \sim 0.5$ の学習データ で実験した結果を表 4 に示す. 削除確率の増加に 伴って再現率が低下していることが分かる.

まず，削除確率 0.1 のデータを用いて提案手法を 適用した結果を表 5 に示す. パラメータ $\alpha$ を下げ るに伴って適合率が低下し再現率が向上する傾向 は, 先述のトラブル報告書における評価と同様であ る. そして,$\alpha=0.4$ で $\mathrm{F}$ 值が最大となっており, エ

表 4 エンティティ削除データでの性能

表 5 評価結果（CoNLL2003, 削除確率 0.1）

ンティティを削除していないオリジナルの学習デー タを用いた結果と比べても同等以上となっている.

次に, 削除確率 0.3 のデータを用いて, 提案手法 を適用した結果を表 6 に示す.ここでもパラメー タ $\alpha$ に対する適合率・再現率の傾向は同様である が，適合率低下より再現率の向上効果が高いため,推定されたすべてのエンティティグループを追加対象とする $\alpha=0.0$ で $\mathrm{F}$ 值が最大となった. つまり, 削除確率 0.3 のデータにおいては, 提案手法で述べた エンティティグループを用いたノイズ除去の工夫は 必要ではないことを示している.

## 5 おわりに

本研究では, エンティティのアノテーション漏れ を含む不完全なデータセットにおいて，アノテーシ ョン漏れのエンティティを推定しデータセットに追加して学習させるという, 再現率を重視したエンテ イティ抽出の性能改善手法を提案した. 評価実験に より，提案手法がエンティティ追加によるノイズを 抑えつつ, 再現率の向上を実現できることを示した.

一方，パラメータ $\alpha$ はデータセットの条件により 最適値が異なるため, 今後提案手法が効果を発揮す るようなデータセットの品質とパラメータ $\alpha$ の組み 合わせ条件を調査する。また，アノテーション誤り の可能性のある文の重みを下げる手法 [2] と組み 合わせ, 適合率・再現率の両面から性能向上させる アプローチも検討する.

表 6 評価結果（CoNLL2003, 削除確率 0.3）

## 参考文献

1. Lample, Guillaume, et al. Neural Architectures for Named Entity Recognition. : Proceedings of NAACL 2016, 2016.

2. Wang, Zihan, et al. CrossWeigh: Training Named Entity Tagger from Imperfect Annotations. : Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

3. Tjong Kim Sang, Erik F. and De Meulder, Fien. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition. : Proceedings of CoNLL-2003, 2003.

4. 坂地泰紀, 酒井浩之, 増山繁. 決算短信 PDF か らの原因・結果表現の抽出. : 電子情報通信学会論文誌 D, 2015 .

5. Dasgupta, Tirthankar, et al. Automatic Extraction of Causal Relations from Text using Linguistically Informed Deep Neural Networks. : Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, 2018.

6. Akbik, Alan, Blythe, Duncan and Vollgraf, Roland.

Contextual String Embeddings for Sequence Labeling. : COLING 2018, 27th International Conference on Computational Linguistics, 2018.

7. Hedderich, Michael A. and Klakow, Dietrich.

Training a Neural Network in a Low-Resource Setting on Automatically. : Proceedings of the Workshop on Deep Learning Approaches for Low-Resource NLP, 2018.

8. (オンライン) 2021 年 1 月 14 日.

https://github.com/cl-tohoku/bert-japanese.

9. (オンライン) 2021 年 1 月 14 日.

https://huggingface.co/bert-base-uncased.
 伊藤雅弘山崎智弘 株式会社東芝 研究開発センター 知能化システム研究所 アナリティクスA I ラボラトリー \{masahiro20.ito, tomohiro2.yamasaki\}@toshiba.co.jp  