# 設備保全レポート活用に向けたテキスト構造化の検討

高橋拓誠谷口元樹谷口友紀大熊智子
富士フイルム株式会社
takumi.c.takahashi@fujifilm.com

## 概要

本稿では，設備保全レポートを対象としたテキス ト構造化の検証を行う，具体的には，文分類，固有表現抽出，モダリティ判定，関係抽出の 4 つのタス クを対象に，事前学習済みモデル BERTを用いたテ キスト構造化の評価を実施した. 個別のタスクの評価では，どの構造化タスクでも高精度に構造化可能 であることを確認した. さらに，より実際の活用に 即した検証として，同一の保全レポートに対して複数の構造化タスクを適用した場合の性能評価と分析 を行い，実運用における課題について議論する.

## 1 はじめに

製造現場における日々の生産プロセスでは，設備 にトラブルが発生した際に迅速な対応が求められ る.こうした現場の保全業務は，過去の異常や処置 などについて記録された保全レポートを参考にしな がら対策を検討することも多く，膨大に蓄積された 保全レポートの活用か現場で求められている. 保全 レポートは，一般的に自然文で記述されるため，記載された内容をあらかじめ構造化しておくことで効果的に情報検索やデータ分析に活用することができ る. 保全レポートを対象としたテキストの構造化で は，テキスト分類 $[1,2]$, 固有表現・フレーズ抽出 $[3,4,5]$, 原因推定 [6] などの研究がなされてきた.

一方で，実際の保全レポートの活用を考えると，複数の構造化情報を同時に扱いたい状況が起り得 る。例えば，“異常が発生した部品”を対象に分析を 行いたい場合，あらかじめ異常に関して記載された 文を構造化しておき，それらの文を対象に部品名を 抽出するのが望ましい. したがって，保全レポート を活用するために，同一文書に対して複数の構造化 タスクを検証することは重要であるといえる.

富士フイルムエンジニアリングでは，保全レポー ト，設備情報，日々の稼働記録などを一元管理する

図 1 構造化された保全レポートの例. 4 種類の構造化ラ ベルが付与される.

ためのシステム KARTEMIX を開発している。我々 は，本システムに登録された保全レポートを用い $\tau$ ，文分類，固有表現抽出，モダリティ判定，関係抽出に関する複数のタスクについてアノテーション したデータセットを構築した [7]. 図 1 に構造化さ れた保全レポートの例を示す.

本稿では，保全レポートを対象に複数の構造化夕 スクに対してベースラインを検証した結果について 報告する．具体的には，文分類，固有表現抽出，モ ダリティ判定，関係抽出の各構造化タスクについて アノテーションされた保全レポートを対象に，各構造化タスクに対して個別にベースラインを評価し た. さらに，より実践的な例として，保全レポート 全体に対して同時に複数の構造化タスクを適用した 場合の性能評価とその分析結果について議論する。

## 2 テキスト構造化

本研究では，事前学習済み言語モデルである BERT[8] を各構造化タスクに適用する。図 2 に各夕 スクのモデルの概要を示す．以降，文分類 (2.1 節),固有表現抽出・モダリティ判定 (2.2 節)，関係抽出 (2.3 節)のモデルについて個別に説明する。なお，各 ラベルの詳細は，谷口ら [7] の研究を参照されたい.

## 2.1 文分類

文分類では， $N$ 個の文 $\left.\{x_{1}, \ldots, x_{N}\right.\}$ から構成される 文書を対象に，予測対象の文 $x_{i}$ が症状，原因，対
(c) 関係抽出

(b) 固有表現抽出・モダリテイ判定

(a) 文分類

図 2 各タスクにおける構造化モデルの概要.

策，効果のいずれに該当するかマルチラベル分類す

る. 具体的には, 予測対象のクラス $c \in\{$ 症状, 原因 , 対策,効果 $\}$ の有無を二值判定するモデル $m_{c}$ をあ らかじめ学習しておき，推論時に各モデルを $x_{i}$ に対 して個別に適用する。

学習および推論では, 予測対象 $x_{i}$ およ び $x_{i}$ 以降に記載された文章 $\left.\{x_{i+1}, \ldots, x_{i+j}\right.\}$ を 同時にモデルに入力する. 形式的には, $[\mathrm{CLS}] x_{i}[\mathrm{SEP}] x_{i+1}[\mathrm{SEP}], \ldots, x_{i+j}$ [SEP] をモデル $m_{c} へ$入力して,$d$ 次元の分散表現 $\mathbf{h}_{i}$ を得る. なお， $\mathbf{h}_{i}$ は [CLS] の分散表現に対応する. 最終的に，分散表現 $\mathbf{h}_{i}$ を全結合層 $(\mathrm{FC})$ へ入力し， $x_{i}$ に対するクラス $c$ の有無を表わす文ラベル $y_{i}^{c}$ を判定する.

## 2.2 固有表現抽出・モダリティ判定

固有表現抽出では，文に含まれる各単語に対し $\tau$, 固有表現ラベル $e \in\{$ 部品, 操作, 現象, 值, 日時 $\}$ を付与する。モダリティ判定では，現象と操作をあ らわす固有表現に対して，事実性ラベル $f \in\{$ 事実，否定，その他 $\}$ と時制ラベル $t \in\{$ 現在, 過去，未来 $\}$ をそれぞれ判定する.

本研究では，固有表現抽出およびモダリティ判定 のラベルを統合し，1つのモデルで同時に抽出を行 う. 具体的には, $L$ 個の単語から構成される対象文 $x_{i}=\left.\{w_{1}, \ldots w_{L}\right.\}$ をモデルへ入力し，単語 $w_{k}$ につい て分散表現 $\mathbf{h}_{k}$ を得る. 続いて，分散表現 $\mathbf{h}_{k}$ を全結合層 $(\mathrm{FC})$ へ入力し $\mathbf{h}_{k}^{\prime}$ を得る. 最終的に， $\mathbf{h}_{k}^{\prime}$ を $\mathrm{CRF}$層 [9] へ入力して単語 $w_{k}$ に対する固有表現ラベル $y_{k}^{e}$ ，事実性ラベル $y_{k}^{t}$, 時制ラベル $y_{k}^{f}$ を判定する.

## 2.3 関係抽出

関係抽出では，文 $x_{i}$ に含まれる固有表現 $1(s u b)$ と固有表現 $2(o b j)$ の間に付与される関係 $r \in\{$ 全体 -部分, 操作の対象, 主体の現象, 因果関係 $\}$ を推定す る. 本稿では, Entity Marker に基づく方法 [10] に従 い，以下の 2 種類の入力方式を採用した.

Simple-marker は， sub と obj の 前後に，対象の固有表現の位置を認識するための 特殊トークンを挿入する。具体的には， ..., [E1] sub[/E1],..., [E2]obj[/E2], ... と表記する.

Entity-type は， sub と obj の前後に，対象の 固有表現の位置および固有表現ラベルを認識するための特殊トークンを挿入する. 具体的には，固有表現ラベル e1をもつ subと 固有表現ラベル e2をもつ objに対しては, ..., [E1_e1]sub[/E1_e1],..., [E2_e2]obj[/E2_e2],... と表記しモデルへ入力する.

上記の入力に対して得られた $d$ 次元の分散表現 $\mathbf{h}_{i}$ を全結合層 $(\mathrm{FC})$ に入力して関係ラベル $y_{i}^{r}$ を推定す る. 文分類と同様に， $\mathbf{h}_{i}$ は [CLS] の分散表現に対応 する.なお，subとobj の間にいずれの関係も付与 されない場合は，“関係なし”ラベルを推定する。

## 3 評価実験

本節では，各構造化タスクにおけるべースライン の性能を個別に検証する．まず，個別のタスクの評価を行うことで，保全レポートに対するテキスト構造化の実現性や各タスクの難易度を明らかにする。
表 1 文分類の実験結果 (F 値).

実験では，保全レポートを対象に複数のタスクのア ノテーションを付与したデータセット [7]を 8:1:1 の 割合で訓練・開発・評価に分割して使用した.

## 3.1 文分類タスク

文分類タスクでは，2.1 節のモデルに基づき，2 種類のベースラインを用いた検証を行う．具体的 には，分類対象の文のみ入力するモデル ( BERT $_{\text {base }}$ ) と, 分類対象の文とそのあとに記載された文章も同時に入力するモデル $\left(\mathrm{BERT}_{\text {base }}+\right.$ context) を比較する. モデルの訓練では，学習率を 2e-5 に設定し, Adam による最適化を行った. バッチサイズは 32 , エポッ ク数は 3 ，入力の最大長は 512 に設定した.

表 1 に文分類の実験結果を示す. 対象文のみ入力 した BERT base $と$ 比較して, 対象文より後ろに記載 された文章も同時に入力した $\mathrm{BERT}_{\text {base }}+$ context の方 が性能が高いことが分かる．特に，効果クラスにお いて性能の差が顕著であることが分かった. これ は，対策の効果を判断するための手がかりが，分類対象の文に後続することが多いためである.

## 3.2 固有表現抽出・モダリティ判定タスク

固有表現抽出およびモダリティ判定タスクでは， 2.2 節のモデルに基づき， 2 種類のベースラインを用 いた検証を行う。具体的には，BERT に全結合層を 追加したモデル [8] と, BERT に全結合層と CRF 層 を追加したモデル (図 2)を比較する. どちらのモデ ルにおいても BERT $_{\text {base }}$ を利用し，入力の最大長は 128 , バッチサイズは 32 , エポック数は 3 , 学習率は 3e-5 に設定し, Adam による最適化を行った.

表 2 に固有表現抽出の実験結果を示す.いずれ の固有表現カテゴリにおいても，BERT と比較して BERT+CRF の方がより高い性能を示している.

表 3 に事実性判定の実験結果を示す。事実性判定 では，“事実”と “否定”カテゴリにおいて，固有表現抽出と同等の性能を示した. 一方で，“その他” カテ ゴリでは，性能が著しく低下した．これは，仮定/条件のように，事実性を一意に定められない表現が多 く含まれることや (4.2 節), “その他” カテゴリが訓練データで頻出しないためだと考えられる.表 2 固有表現抽出の実験結果 ( $\mathrm{F}$ 値).

表 3 事実性判定の実験結果 (F 値).

表 4 に時制判定の実験結果を示す. “現在”カテゴ リでは，高い性能を示したものの，“未来”と“過去” カテゴリで性能が著しく低下することが分かった.理由として，上記 2 クラスは訓練データでほとんど 出現しないクラス ${ }^{1)}$ であることが挙げられる。

## 3.3 関係抽出タスク

関係抽出タスクでは，2.3 節に記載した 2 種類の ベースライン (Simple-marker, Entity-type)を比較す る.いずれも $\mathrm{BERT}_{\text {base }}$ を事前学習済みモデルとし て利用した. 訓練では，入力の最大長を 128 , バッ チサイズを 32 ，エポック数を 3 ，学習率を $2 \mathrm{e}-5$ に設定し，Adam による最適化を行った。なお，対象の 固有表現の前後に挿入する特殊トークンの分散表現 も同時に fine-tuning した. さらに，対象の固有表現 ラベルの組み合わせが関係ラベルの条件を満たす事例をすべて正例として扱う Heuristicsを用意した。

表 5 に関係抽出の実験結果を示す. Heuristics よ り, “操作の対象” “主体の現象” は正例の割合が比較的高く識別が易しいクラスである一方，“全体-部分” や“因果関係” は正例の割合が低く, 識別が難し いクラスであることが分かる. Simple-marker および Entity-type は，いずれのクラスにおいても Heuristics の結果を大きく上回る性能を示した. また，BERT を用いたべースラインの識別精度が Heuristics の傾向と一致することから，データセットの正例と負例 のバランスが識別の難しさを表わしていることが分 かる。因果関係のような識別精度が低いクラスにつ いては，データの不均衡性を緩和させる学習方法を 採用するなど，いくつかの改善が必要である.

## 4 複数タスクによる構造化の分析

3 節では，各構造化タスクのベースラインを個別 に評価した。一方で，個別のタスクに対する評価だ

表 4 時制判定の実験結果 ( $\mathrm{F}$ 值).

表 5 関係抽出の実験結果 ( $\mathrm{F}$ 值). $\mathrm{H}$ : 全体-部分， $\mathrm{O}$ : 操作 の対象， $\mathrm{S}$ : 主体の現象， $\mathrm{C}$ : 因果関係を示す.

けでなく，レポート全体の構造化がどの程度可能な のか議論することは，検索や分析に活用するうえで 重要である. 本節では, 保全レポートに対して複数 の構造化タスクを適用した結果について分析する。

## 4.1 レポート全体の構造化の評価

レポート全体に対する複数の構造化タスクの性能を評価する，文分類は $\mathrm{BERT}_{\text {base }}+\operatorname{context}($ 表 1), 固有表現抽出とモダリティ判定は BERT+CRF(表 2-4),関係抽出2) は Simple-marker(表 5)を用いて検証した。

図 3 に各構造化タスクにおいて間値 (F 値) を超え た保全レポートの件数の推移を示す. 各構造化タス クを比較すると, 固有表現抽出・モダリティ判定や 関係抽出は，レポート全体の構造化の精度が比較的高いことが分かる。一方で，文分類は他のタスクと 比較して構造化の精度が低いレポートが多いことが 分かった. これは, 表 1 より, 症状や効果の構造化 の精度が十分でないことや，他の構造化タスクと比較して，レポート中の予測対象の数が少なく推定誤 りによる影響が大きいためである．また，すべての 構造化タスクにおいて，F 值 0.7 を超えたレポート は全体の約 $24 \%$ であった. 一方で，全ての構造化夕 スクで $\mathrm{F}$ 値 0.7 を下回るレポートは全体の約 $7 \%$ で あった. その他のレポート $(69 \%)$ においては，各夕 スクの性能の傾向がレポートごとに異なっていたこ とから，タスク間の知識を共有しながら学習する仕組みを採用するなど，いくつか改善が必要である.

## 4.2 構造化のエラー事例

文分類: 対策効果の文に誤分類される事例が散見 された．具体的には，“検討”や“確認”のように，症状の解決に直接寄与しない対応が対策効果を表わ す文として誤分類される傾向にあった。

固有表現抽出: 固有表現抽出では，現象と操作の


図 3 閾値 (F 值)を超えた保全レポートの件数の推移. 各 タスクの $\mathrm{F}$ 値はレポート中の平均 $\mathrm{F}$ 値, 全構造化タスク の $\mathrm{F}$ 值は各構造化タスクの平均 $\mathrm{F}$ 値の最小値とした。

ラベル間で誤分類が発生していた。例えば，“復旧” や“切替”という単語は，人が設備に対して実行した 動作なのか，部品の状態を表わす単語なのかによっ て固有表現ラベルも異なるため，各単語が文脈上で 持つ機能に関する判断が必要である。

モダリティ判定: 事実性判定では，仮定/条件のよ うに，事実性を一意に定められない記載に対する誤分類が散見された。具体的には，“〜で故障すると 流延停止に至る”のように，一般的な知識や特定の 状況を仮定した場合の記載が該当する。このような 場合は，その他に分類されるべきだが，BERT+CRF の推論では事実に分類されていた.

関係抽出: 全体-部分において逆向きの関係を誤検出する事例が散見された。具体的には，“コント ローラーボックスの基盤”という記載では，コント ローラーボックスの部品として基盤が抽出されるべ きであり，その逆は成立しない。

## 5 おわりに

本研究では，設備保全レポートを対象とした複数 のテキスト構造化タスクに関する性能評価を実施 した. 具体的には，文分類，固有表現抽出，モダリ ティ判定, 関係抽出の 4 つのタスクについて評価し,個別の評価では高精度に構造化可能なことを確認し た. 一方，複数の構造化タスクを保全レポートに同時に適用した評価では，すべてのタスクで高精度に 構造化可能なレポートは多くないことが分かった.

今後の課題として, 保全レポート全体の複数の構造化情報をより高い精度で抽出可能にすることが挙 げられる。 さらに，本稿で検証した構造化情報を検索などに適用し，その効果を検証する予定である。

## 商標

KARTEMIX は富士フイルムエンジニアリング株式会社の登録商標です。

## 参考文献

[1] 勝又智, 小町守, 真鍋章, 谷本恒野. 障害レポートの 分類問題に対するデータ選択を用いた BERT モデ ルの精度向上. 言語処理学会 第 26 回年次大会, pp. 645-648, 2020.

[2] 山下郁海, 小町守, 真鍋章, 谷本恒野. 隠れ層補間によ るデータ拡張を用いた障害レポート分類. 言語処理学会 第 27 回年次大会, pp. 1794-1798, 2021.

[3] 小平知範, 宮崎亮輔, 小町守. 障害情報レポートに対 する同時関連文章圧縮. 言語処理学会 第 23 回年次大会, pp. 186-189, 2017.

[4] 伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用い たエンティティ抽出. 言語処理学会 第 27 回年次大会, pp. 1264-1268, 2021.

[5] 本間広樹, 小町守, 真鍋章, 谷本恒野. BERT モデルを 用いた障害レポートに対する重要箇所抽出. 言語処理学会 第 27 回年次大会, pp. 189-193, 2021.

[6] 勝又智, 小町守, 真鍋章, 大頭威, 嶋崎優子. node2vec を用いた障害レポートにおける故障原因推定. 言語処理学会 第 25 回年次大会, pp. 1045-1048, 2019.

[7] 谷口元樹, 高橋拓誠, 谷口友紀, 大熊智子. 設備保全レ ポートにおける大規模マルチタスク情報抽出データ セットの構築. 言語処理学会第 28 回年次大会, 2022.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[9] John D. Lafferty, Andrew McCallum, and Fernando C. N. Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the Eighteenth International Conference on Machine Learning, p. 282, 2001.

[10] Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, and Tom Kwiatkowski. Matching the blanks: Distributional similarity for relation learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2895-2905, 2019.
 高橋拓誠谷口元樹谷口友紀大熊智子 富士フイルム株式会社 takumi.c.takahashi@fujifilm.com  