# トラブル報告書に特有のフィールド情報を用いた BERT の追加学習

労瑛瑩 山崎智弘 伊藤雅弘
株式会社東芝 研究開発センター
知能化システム研究所 アナリティクス $A I$ ラボラトリー
\{yingying1. lao, tomohiro2. yamasaki, masahiro20. ito\}@toshiba. co. jp

## 概要

本研究では, インフラ分野のトラブル報告書を用 いて BERT の追加学習をするためのフィールド分類 タスクを提案する。トラブル報告書に特有のフィー ルド情報を文脈として活用するので，含まれる文の 数が少ないトラブル報告書でも, フィールドが持つ 文や単語の潜在的な意味(特徴)を文脈として学習す ることができる.

文ベクトル表現の分布を可視化するとともに，マ スクした単語を推測するタスクや報告書からトラブ ル表現を抽出するタスクで評価実験を行い，提案手法によって追加学習された BERT の効果を検証した。

## 1 はじめに

インフラ事業において, 電力・化学プラントなど の運用・保守の作業現場で発生したトラブルを記録 している報告書が大量に蓄積されている. 我々は,過去の大量のトラブル報告書からトラブルに関係す るイベント(「配管に亀裂」「水位が低下」など)の 抽出, 因果関係の推論といった構造化技術の研究開発に注力している[1]. トラブル報告書に記載された 情報を構造化することで, 「トラブルが発生した部品」や「効果のあった対処」を早期に把握すること が可能になり, 保守作業現場の生産性向上に貢献で きる.

しかし, トラブル報告書には機器番号や業務用語 など一般文書には含まれない用語が数多く含まれて いる. そのため, 日本語 Wikipedia で事前学習され た BERT[2]で文や単語の埋め込み表現を取得しても，系列ラベリングによってトラブルに関係するイベン トを抽出する下流タスクで性能を上げにくい課題が ある. そこで，トラブル報告書からなるコーパスを 用いた BERT の追加学習を通して, インフラ分野に 適する文や単語の表現を取得することによって，イ ベント抽出などの下流タスクでの性能を向上させる

 &  & $\ldots$ \\

図 1 トラブル報告書の事例

ことを狙う。

トラブル報告書では含まれる文の数が少ないとい う特徵があるため, 従来の学習手法[2]では BERT の 追加学習が困難である.

一方, トラブル報告書は現象や処置などの複数の 項目から構成され, 各項目にはトラブルに関する詳細情報が文字や記号で記載されている(以下, 既定の 項目および当該項目に書かれたテキストデータをフ イールドと呼ぶ). 図 1 に示すように, トラブル報告書は横方向に沿った複数のフィールドにトラブルに 関する詳細情報が記載されている。縌方向の同じフ イールドには類似表現が記載されている.このため,横や縦方向を考慮するフィールドの関係性が利用で きると考える。

そこで本研究では, トラブル報告書に特有のフィ ールド情報を文脈として活用して BERT の追加学習 をするため，フィールド分類タスク (Field Classification)を提案する。具体的には, 従来の NSP(Next Sentence Prediction)の代わりにフィールド 分類を通して，特徴ベクトル空間上の潜在的なフィ ールドの関係性に従ってテキストデータを分類する ことにより，クラスごとに同じフィールドの関係性 をもつテキストのベクトル表現を近似的に学習する。

提案手法によって追加学習された BERT の効果を 検証するため, 文のベクトル表現の可視化, マスク 単語の推定タスクとトラブルイベント抽出による評価実験を行う。

## 2 関連研究

近年，事前学習された言語モデルを用いて，様々

な NLP タスクに応じてファインチューニングする ことは主流となっている. 特に, BERT は汎用性が 高い言語モデルの代表として, 文書分類や固有表現抽出などの下流タスクで高いパフォーマンスを達成 している。 BERT の事前学習では, ラベルなしテキ ストデータを用いて, MLM と NSP の 2 つの訓練夕 スクで教師なし学習を行う．MLM では，マスクさ れたトークンを文脈を考慮して予測するタスクであ る. 穴埋め問題を解くことを通して, 単語の埋め込 み表現を学習する. NSP では, 2 つの入力センテン ス Aと Bが連続するか否かを分類するタスクである。入力センテンスの接続関係を考慮して文の埋め込み 表現を学習する. ALBERT [3] はBERTよりも軽量 なモデルとして提案されている。 ALBERT の事前学習では, NSP の代わりに, SOP(sentence-order prediction)で入力 2 つの文の順序の予測を行ってい る. 文脈に依存しない Word2Vec [4]や GloVe[5]など の従来手法より, 事前学習された BERT や ALBERT は文脈を考慮した単語の埋め込み表現を取得可能に なる.

Gururangan[6]らは, 適用分野や下流タスクなどの データセットを使って追加で事前学習を行うことを 提案し, 下流タスクの評価でオリジナルの BERT よ り精度向上の効果を示した. しかし, インフラ分野 のトラブル報告書は, 以下の理由から, 事前学習さ れたBERTやALBERTを従来のように追加学習する ことは困難である. トラブル報告書はフィールドに 分けてトラブルに関係する詳細情報を記載している が，フィールドごとに含まれる文数や 1 文書に含ま れる全ての文数がいずれも少ないという特徴がある. これらのトラブル報告書から取得できる学習データ は順序ありの文ぺアが少なく, 順序なしの文ぺアが 多いため, NSP や SOP でモデルの学習に偏りが発生 する恐れがある. それに，ランダムに 2 つの文を取 って作成された文ぺアには異なる情報が混入して，文脈が大きく変わる可能性が考えられ, MLM で学習された単語の埋め込み表現がずれる恐れがある。

## 3 提案手法

本節では, トラブル報告書に特有のフィールド情報を文脈として活用する BERT の追加学習タスクを 提案する. トラブル報告書において, どのようなト ラブルが起こったか(現象), トラブルを解決するた めに何をしたか(処置)などのフィールドが存在して いる(図1). 従って, 既定のフィールドに書かれたテ

図 2 提案のフィールド分類(Field Classification)

キストには当該フィールド情報を持っていると考え られる。例えば，「現象」フィールドに書かれたテ キストには，トラブルの発生状況が詳細に記載され ている.これらのテキストは「現象」というフィー ルド情報を持っている.

そこで，トラブル報告書における潜在特徴を学習 するため，NSP の代わりに，入力テキストのフィー ルド情報の関係性を学習するフィールド分類タスク (Field Classification)を提案する. 図 2 に示すように，提案のフィールド分類はBERTにテキスト AとBを 入力して得られた $h_{[\mathrm{CLS}]}$ を用いて, softmax classifier で 2 文が持つフィールド情報の関係性を分類する.具体的に，フィールドの特性に基づいて入力テキス トのフィールド情報の関係性の 2 値分類を行う。フ イールド特性とは, 入力テキストのフィールド情報 の関係性を次の 2 種類で定義する：

フィールドの従属性(fieldSameDoc) 同一文書に おいて，トラブルの発生原因とそれを解決するため の対処方法のようにお互いに因果関係を持つ情報が 書かれており，異なるフィールドに記載されたテキ ストでも，潜在的に関係する(図 1 の行に基づく).

従って, 入力のテキスト A と B がそれぞれに属する 同一文書に書かれた文か否かというフィールド分類 を行い, 同一文書の異なるフィールドにある関連情報を潜在特徴として学習する。

フィールドの共通性(fieldSameField) 同一フィ 一ルドにおいて，異なる文書で類似するトラブル表現が存在しているため, これらの類似表現は潜在的 に関係する(図 1 の列に基づく). 従って，入力のテ キスト A と B がそれぞれに属する文書を考慮せず，同じフィールドに書かれた文か否かというフィール ド分類を行い，文書をまたがった類似表現の潜在特徵を学習する。

提案のフィールド分類を通して，特徴ベクトル空
間上の潜在的なフィールド特性 (fieldSameDoc, fieldSameField のいずれか)に従ってテキストデータ を分類することにより，クラスごとに同じフィール ド特性をもつテキストのベクトル表現を近似的に学習できる. また，学習のために連続する 2 文をバラ ンスよく取得することが難しいトラブル報告書でも， テキストが属するフィールドの関係性を利用するこ とで 2 文を選択することは容易である。

## 4 実験と評価

本節では, 提案手法の効果を検証するため, 実施 した実験について述べる.

BERT の追加学習では, 電カプラントに関する 3,130 件のトラブル報告書を利用している. 具体的に，「タイトル, 処置の結果, 現象, 原因, 処置」とい う 5 種類のフィールドに書かれた文データから，以下 4 種類のデータセットを作成した：

・Dataset1: 属する文書やフィールドの種類を考慮せず，ランダムに 2 文を取得する．計 $73 \mathrm{k}$ デ 一夕数である.
- Dataset2: 同一文書における同一フィールドか ら連続した 2 文を取得する. 計 $36 \mathrm{k}$ データ数で ある。

・ Dataset3: 属するフィールドの種類を考慮せず，同一文書からランダムに 2 文を取得する. 計 $73 \mathrm{k}$ データ数である.

・Dataset4: 属する文書を考慮せず，同一フィール ドからランダムに 2 文を取得する。計 $73 \mathrm{k}$ デー タ数である.

東北大学 BERT $の$ bert-base-janpanese-v2 $2^{1}$ 利用し て, 2 種類のベースライン手法と 2 種類の提案手法 によるモデルを追加学習し, 性能比較を行う (表 1).各モデルのパラメータ設定は, 最大入力長さを 256 , エポック数を 5 , 学習率を $2 \times 10^{-5}$, バッチサイズを 16 とする. なお, 学習のエポックごとにモデルを保存する.

## 4.1 文のベクトル表現の可視化

学習データセットから 50 件のトラブル文書(計 1,147 文) をサンプリングし, 追加学習されたモデル でサンプル文のベクトル表現の分布を $\mathrm{t}$-SNE[7]で可視化した. Proposal2 モデルによって取得されたサン プル文のベクトル表現([CLS]トークンであり, 768次元となる)を t-SNE で 2 次元に圧縮した可視化結果を図 3 に示す. 図 3 を確認すると，「タイトル」 の文のベクトル表現(青)や「処置の結果」の文のべ クトル表現(オレンジ)がそれぞれに集まっていて，「現象」(緑)の文のベクトル表現と「処置」(紫)の文 のベクトル表現が分離されていることがわかる.

ベースラインの学習手法と比べて, 提案するフィ ールド分類(fieldSameField)を通して, 同じフィール ドに書かれた文のベクトル表現が互いに近づく, 他 のフィールドの文のベクトル表現と離れていること がわかる(A 付録参照).

## 4.2 マスク単語の推定タスク

提案手法で追加学習されたモデルを用いて，マス クした単語を推定する実験を行った．各モデルの推定結果(A 付録参照)から, ベースラインの学習手法 と比べて, 提案するフィールド分類(fieldSameDoc, fieldSameField)を通して, 特徴ベクトル空間上で同じ フィールド特性をもつ文のベクトル表現が互いに近 づいていることがわかった。すなわち，これらの文 に含まれる単語も近似的に学習されていると考えら れる。

## 4.3 トラブルイベント抽出による評価

提案手法で追加学習されたモデルの性能を評価す るため, 電力プラントに関するトラブル報告書(日本語)を用いたトラブルイベント抽出の評価実験を行 った. トラブルイベント抽出とは, トラブル報告書 から「部品 $\mathrm{A}$ が壊れた」や「設備 C を取り替えた」 のようなトラブルの現象や処置になりうる記述表現 をイベントとして抽出するタスクである.

今回利用する報告書には，トラブルに関わるイベ ントとその因果関係がアノテーションされて, デー 夕数を表 2 に示す. 4.1 節で追加学習された BERT モ デルを用いて，系列ラベリングによるイベント抽出 のモデルを構築した. 具体的に, Bi-LSTM-CRF $[8,9]$ をベースとし, BERT モデルから得られた単語ベク トルをBi-LSTM への入力として与えた.

表 2 のデータセットを用いてイベント抽出モデル の学習と評価を行い, 抽出されたイベント範囲が正解と完全に一致するかどうか(完全一致), イベント 範囲の末尾 5 形態素に一致する(主要部一致)の $\mathrm{F}$ 値 で評価した。
^{1} \mathrm{https}$ //huggingface.co/cl-tohoku/bert-base-japanese-v2
}

図 3 Proposal2 モデルによるサンプル文のベクトル表現の可視化結果.「タイトル」(青), 「処置の結果」 (オレンジ)，「現象」(緑)，「処置」(紫)の点線で集まっている同じフィールドの文のベクトル表現を囲む.

表 1 電力プラントのトラブル報告書を用いた BERT の追加学習の比較実験

ベースライン手法と提案手法で追加学習されたモ デルのエポックごとの完全一致の評価結果を表 3 に 示す. 表 3 には, Proposal1 モデルは Epoch1 4 で良 い性能を示している. 特に, Epoch1 の学習結果で Baseline2 モデルより性能評価を 2.3 ポイントで向上 した. 主要部一致の場合, Proposal2 モデルは Epoch1 と Epoch4 で最も高い評価を得て, Epoch1の学習結果で Baseline1 モデルより 0.7 ポイントの性能向上を 示した(A 付録参照).

上述の評価結果から，提案タスクでフィールド特性に基づく文や単語の埋め込み表現を近似的に学習 することにより，インフラ分野の知識を習得でき， イベント抽出という下流タスクで性能向上に有効性 があることが示された.

一方, Baseline1 モデルは, 訓練 Epoch 数を増やす につれて，強い性能を示している。これは，提案手法でフィールド分類 loss と MLM loss の計算スケー ルが不均衡の恐れで, Epoch 数が増えるほどフィー ルド分類 loss が小さくなりすぎてモデルの学習への 効果が弱くなると考えている.表 2 イベント抽出用のデータセット

表 3 イベント抽出による評価結果(完全一致)

## 5 おわりに

本研究では，トラブル報告書に特有のフィールド 情報を文脈として活用し，フィールドが持つ文や単語の潜在的な意味(特徴)を学習するフィールド分類 タスクを提案した。提案のフィールド分類でインフ ラ分野のトラブル報告書を用いた BERT の追加学習 を行ったところ，イベント抽出という下流タスクで ベースラインの学習手法より 2.3 ポイントの性能向上を確認できた。フィールド特性に基づく文や単語 の埋め込み表現を近似的に学習することにより，イ ンフラ分野の知識を習得できたと考えられる.今後 は，提案するフィールド分類 loss と MLM loss の重 み付け計算でモデルの性能を改善し，最適なパラメ ータ探索を実施する予定である。

## 参考文献

[1] 伊藤 雅弘, 山崎 智弘. アノテーション漏れ推定を用いたエンティティ抽出. 言語処理学会 第 27 回年次大会発表論文集(2021 年 3 月). pp1264-1268. 2021.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. Computation and Language, arXiv.1810.04805, 2018.

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. Computation and Language, arXiv.1909.11942, 2019.

[4] Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. Computation and Language, arXiv.1301.3781, 2013.

[5] Jeffrey Pennington, Richard Socher, Christopher Manning. GloVe: Global Vectors for Word Representation. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp1532-1543, 2014.

[6] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, Noah A. Smith. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics(ACL), pp 8342-8360, 2020.

[7] Laurens van der Maaten, Geoffrey Hinton. Visualizing Data using t-SNE. Journal of Machine Learning Research, Vol.9, pp 2579-2605, 2008.

[8] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, Chris Dyer. Neural Architectures for Named Entity Recognition. Proceedings of NAACL 2016, 2016.

[9] Alan Akbik, Duncan Blythe, Roland Vollgraf. Contextual String Embeddings for Sequence Labeling. Proceedings of the 27th International Conference on Computational Linguistics, pp1638-1649, 2018.

## A 付録

## 文のベクトル表現の可視化

フィールド特性が共通性の場合, 50 件のサンプル 文書(計 1,147 文) をランダムに取得して，オリジナ ル BERT(追加学習なし)とベースライン手法で追加学習されたモデルの可視化結果を以下のように示す.

Baseline1(MLM only)

## マスク単語の推定タスク

提案手法で追加学習されたモデルを用いて, マス クした単語を推定するタスクの結果を考察する．以下の表 4 に, 考察事例および各モデルの推定結果 (top10)を示す.「現象」に書かれた例文 1 において， Proposal1 モデルは正解である 故障’と類似する意味 を持つ，“異常’が推定されており，他に‘故障’と含む 文書における頻出単語である‘対応’, ‘基板’, ‘客’, ‘常時', 'CPU'も推定されている.「処置」に書かれた 例文 2 において, Proposal2 モデルは正解である‘交換’が推定されており, 他に「処置」における頻出単語である‘基板’, ‘客(\#\#先)', ‘様子’, ‘見’も推定され ている.

表 4 マスク単語の推定事例

} \\

## 「処置」例文 2 : 基板[MASK]にて処置済み

Masked Token 正解 : ‘交換'

 \\

## トラブルイベント抽出による評価

抽出されたイベント範囲が正解イベント範囲の末尾 5 形態素に一致する(主要部一致)の $\mathrm{F}$ 値で評価し た結果である.

表 5 イベント抽出による評価結果 (主要部一致)


 労瑛瑩 山崎智弘 伊藤雅弘 株式会社東芝 研究開発センター 知能化システム研究所 アナリティクス $A I$ ラボラトリー \{yingying1. lao, tomohiro2. yamasaki, masahiro20. ito\}@toshiba. co. jp  