# 設備保全レポートにおける 大規模マルチタスク情報抽出データセットの構築

谷口 元樹高橋 拓誠智子
富士フイルム株式会社
motoki.taniguchi@fujifilm.com

## 概要

情報抽出の既存のデータセットの課題は、その規模が小さいこと、アノテーションされているサブ タスクの数が限られていること、対象テキストが フォーマルであるため抽出が比較的容易であること である。本論文では、これらの課題を解決し、より 実応用に近いテストベッドとして工場設備の保全レ ポートを対象にした情報抽出データセットを構築す る。我々のデータセットの特徴は、インフォーマル な書かれ方が比較的多い保全レポートを対象に、文分類・固有表現認識・モダリティ推定・関係抽出の 4 つの情報抽出サブタスクのラベルが約 1500 文書 に付与されていることである。

## 1 はじめに

情報抽出タスクの目的はテキストから固有表現や 固有表現間の関係などの情報を抽出し、構造化する ことである。構造化された情報は情報検索やデータ 分析などの下流のアプリケーションに有用である。

情報抽出タスクは固有表現認識、関係抽出、事実性判定などの複数のサブタスクから構成され ている。固有表現認識では ACE (Automatic Content Extraction) などの評価型ワークショップが古くから 開催されているように、情報抽出は多くの研究がな されてきた。近年にはディープラーニングを用いた 手法の隆盛に加えて、複数のサブタスクを同時に学習・推論する手法も盛んに取り組まれている。

情報抽出の既存データセットにはいくつかの問題 がある。1つ目は、データセットの規模が小さいこ とである。ディープラーニングを用いた手法では、 より高精度に情報を抽出できるモデルを学習するた めには、データセットのサイズが大きいことが望ま しい。2つ目は、多くのデータセットが 1 つしく は 2 つ情報抽出のサブタスクのラベルしか付与さ
れていないことである。抽出した情報を情報検索や データ分析などの下流のアプリケーションで活用す る実応用を考えた際には、一つのサブタスクで定義 できる情報だけでは一面的な情報しか抽出できず、十分ではない。また、ディープラーニングを用いた 手法では複数のタスクを同時に学習するマルチタ スク学習を行うことで、より高精度なモデルを学習 することが知られている。このため、多くのサブタ スクを同一文書にアノテーションしたデータセッ トがあれば、より効率的なモデル開発を行うことが できる。3つ目は、対象となるテキストの書かれ方 である。既存の多くのデータセットにはニュース記事などのフォーマルなテキストが用いられている。 フォーマルなテキストを対象にした情報抽出は高い 精度を達成しやすいが、フォーマルなテキストで学習した情報抽出モデルをインフォーマルなテキスト に適用すると精度が大幅に低下してしまう。このた め、よりロバストな情報抽出モデルを開発するため には、インフォーマルなテキストを対象にした情報抽出のデータセット構築が必要となる。

本論文では、上記 3 つの要請に応えるべく、工場設備の保全レポートを対象に大規模かつ複数のサブ タスクのラベルを付与したデータセットを構築す る。我々のデータセットは約 1500 文書から構成さ れており、大規模であることと、 4 つの情報抽出の サブタスクのラベルが付与されていることが特徴で ある。また、保全レポートはニュース記事と比較し てインフォーマルな書かれ方が多く、情報抽出対象 としてチャレンジングであることも特徴である。

## 2 関連研究

英語のマルチタスク情報抽出の研究でよく用いら れるデータセットである ACE20051) や SciERC[1] に おいては、サブタスクは固有表現認識と関係抽出の


図 1 工場設備の保全レポートに対してアノテーションした例。テキスト中の固有表現の上部に固有表現ラベル、時制ラ ベル、事実性ラベルを示してあり、[現] は現在ラベル、[事] は事実ラベル、[否] は否定ラベルを表す。"症状"、"原因"、"対策"、"効果"の列は症状・原因・対策・効果文ラベルの有無を表す。

2 つのみであり、また規模は約 500 文書と比較的小 さい。日本語に限定すると、将棋の解説文を対象に データセットを構築した研究 [2] があるが、規模は 約 2000 文であり、固有表現認識とモダリティ推定 の2つのサブタスクのアノテーションに留まってい る。情報抽出の対象となるテキストとしてフォーマ ルではなく、よりノイズが多いTwitter を採用した データセット [3] はあるものの、対象タスクは固有表現認識のみである。また、医療レポートを対象に 固有表現認識、事実性判定、関係抽出の 3 つのサブ タスクのラベルを 1156 文書にアノテーションした データセットを構築した研究 [4] がごく最近にあり、 これが前述の 3 つの要請に最も近い既存のデータ セットである。

## 3 データセット

本論文では、工場設備の保全レポートのテキスト をアノテーション対象に採用する。富士フイルムエ ンジニアリングでは保全レポートに加えて設備情報 やマニュアルなどの設備に関する情報を一元管理す るシステムである KARTEMIX を開発している。保全レポートには工場設備に対する点検、メンテンナ ス、トラブル対応の活動がテキストで日々記録され ており、大量のデータが蓄積されているため、大規模なデータセットが構築しやすい。設備やその状態 などの表現が設備保全ドメインにおける固有表現と みなせるようにアノテーションの定義が容易であ る。また、固有表現間の関係や事実性判定など複数
のサブタスクも設定できる。一方で、ニュース記事 と比較すると、専門用語や略語が多く、箇条書きや 名詞句の連続などの一般的な文よりは短い記述が見 られるため抽出対象として難しい。また、下流のア プリケーションを考えた場合に、構造化情報の利活用のユースケースが想定しやすい。例えば、保全レ ポートからトラブルに関する情報を抽出し、構造化 した形でデータベース化しておくことで、トラブル 時に過去の対策や知見の検索や分析に活用すること ができる。本章では、アノテーション対象となるテ キストとアノテーションの定義について説明する。

## 3.1 テキスト

保全レポートには様々な入力のフィールドが存在するが、"状況"、"処置"、"原因・対策"の 3 つの フィールドのテキストを対象とする。工場設備の実 データから 1492 レポートを抽出し、アノテーショ ンする。1レポートあたりの平均文数は 7.92 文で あり、平均文字数は 259 文字であった。

## 3.2 アノテーション

本論文では保全レポートのテキストに対して、図 1 に示すような 4 つのタスクについてアノテーショ ンを実施する。

## 3.2.1 症状・原因・対策・効果文ラベル

前述の通り、保全レポートには"状況"、"処置"、"原因・対策"の 3 つのフィールドが存在している。し

かし、実データを分析してみると、"状況"のフィー ルドにトラブルの原因や対策が記載されるように、必ずしもフィールド名の内容が記載されているわ けではないことがわかった。このため、各文に対し て、以下の４つのラベルをアノテーションする。

症状 : 設備の故障・不具合に関する状況を表した 文(例：図 1 の文 1 、文 3 )。

原因 : 設備の故障・不具合が発生した要因・原因 を表した文（例：図1の文2）。

対策 : 設備の故障・不具合を解決するための措置 を表した文 (例：図 1の文4)。

効果 : 対策ラベルを付与した文のうち、設備の故障・不具合が実際に解決したことを表した文（例：図19文 4)。ただし、対策を実施したが解決できな かったことが明示されている場合のみ対策ラベルを 付与せずに、解決しなかったことが明示的に記載さ れていない文は対策ラベルを付与した。

1 文に対して複数のラベルが該当する場合はマル チラベルをアノテーションする。

## 3.2.2 固有表現

工場設備のトラブルにおいて特徴的な固有表現を 以下の 5 つに分類し、アノテーションする。

部品: 生産設備やその一部、もしくは生産に用い る材料を表す表現。例：送風機、モーター、ネジ

現象: 部品の動作が正常もしくは異常な状態を表 す表現。例：異音、停止、漏れ

操作: 部品に対する操作や動作を表す表現。例：交換、調査、リセット

値: 測定値などの部品の状態を定量的に表す尺度 やその值を表す表現。例：電流値、 $3 \mathrm{~mm}$

日時: 日時・時間を表す表現やタイミングを表す 表現。例 : 先月、交換後、製造中

固有表現のスパンは名詞、数詞、記号の連続の最長範囲をアノテーションする。ただし、操作に関し ては動詞の語幹も対象とした。ネストした固有表現 は対象外とし、最長範囲のラベルのみを付与する。

## 3.2.3 モダリティ

前節で定義した現象・操作が付与された固有表現 に対して、事実性ラベルと時制ラベルの二種類のモ ダリティを付与する。事実性は固有表現が表す事象 が実際に発生したのかどうかを表すモダリティで、実際に発生した事象に対しては事実、発生していな い事象に対しては否定をアノテーションする。確定的ではなく、推定を含むものも含めてアノテーショ ンする。ただし、『これが原因だとすると交換が必要であるが』の"交換"のように仮定や条件など事象 の発生の有無が明確ではない場合、その他を付与す る。時制ラベルは発生した事象の時系列を表すモダ リティでである。単純な時制表現で判断するのでは なく、レポートのメイントピックとなっているトラ ブル・故障などのイベントに関する一連の事象をま とめて現在として、判断する。例えば、図 1 の文 4 における"改造"は過去を表す助動詞"た"が接続して いるが、このレポートのトラブル対応の一連の活動 に含まれる行動であるため、時制は現在となる。一方で、『前回の点検時にモーターを交換した』のよ うに現在のイベントよりも過去に発生した現象や 行った操作に対しては過去をアノテーションする。 また、『ベアリングを交換予定』のように未来に行 われる事象に対しては未来をアノテーションする。

## 3.2.4 関係

2 つの固有表現（固有表現 1 を subject、固有表現 2を object とする）の間に成り立つ関係に対して以下の 4 種類ラベルを付与する。

全体-部分: subject、object いずれも部品であり、 object が subject を構成する一部である関係。

操作の対象: subject が操作、object が部品であり、 object が subject の操作の対象となっている関係。

主体の現象: subject が部品、object が現象であり、 subject が object の現象の主体となっている関係。

因果関係: subjectが操作もしくは現象、objectが現象であり、subjectがある要因・原因を表し、その結果として object の事象を誘発することを表す関係。 ただし、設備保全に関する専門知識がない作業者で も一貫性を持ってアノテーションを実施するため に、"〜による"、"〜のため"のような手がかりとな る表現のパターンを 8 つ定義し、このパターンに合致し、因果が明らかな場合のみを付与対象とする。

## 4 データセットの統計量

本章ではアノテーションした各サブタスクのラベ ルの分布などの統計量を分析する。

## 4.1 文ラベルの分布

表 1 亿症状・原因・対策・効果文ラベルの分布を 示す。文ラベルとしては症状文が最も多く、順に対策文、原因文が多い。一般に不具合発生時にはその
症状を最も多く記載するため、これは直感に合致す る。一方で原因よりも対策が多いことから、原因が 究明できていなくても、対処療法的に行う一時的な 対策を実施することも多いと考えられる。また、対策文のうち効果文である文の割合は約 $67 \%$ であり、実際に効果があった対策が多く記載されていること がわかる。

表 1 症状・原因・対策・効果文ラベルの頻度分布

## 4.2 固有表現ラベルの分布

表 2 に保全レポートの固有表現ラベルの分布を 示す。出現頻度を比較して見ると、部品、現象、操作の順で多く、これは部品を主体として、その状態 や部品に対する操作が保全レポートには多く書か れているという直感に合致する。文字長を見てみる と、部品が最も長いことがわかる。これは部品の固有表現は『PC 電源ファン部』のように複数の部品 で構成されることが多いためであると考えられる。

日本語で最も大規模な固有表現データセットであ る拡張固有表現タグ付きデータセット [5] と比較す ると、1文書あたりの固有表現数は $35.1 \mathrm{vs} 29.4$ であ り、文字長は 259 vs 424 であり、我々のデータセッ トのほうが文書の長さが短いにも関わらず、固有表現の出現頻度が高いため、より多くの情報を構造化 できていることがわかる。

表 2 固有表現ラベルごとの頻度分布

## 4.3 モダリティラベルの分布

表 3 にモダリティラベルの分布を示す。事実性で は事実が、時制では現在が最も多く、これは直感に 合致する。一方で、それ以外のラベルが事実性では 17.2\%、時制では $9.9 \%$ と一定数は存在しており、こ れは検索やデータ分析などの下流のアプリケーショ ンにおいてはノイズになりうる。特に事実性の事実と否定は、『異音が発生』と『異音なし』のように トラブルの事象として大きく異なるものを表してい るため、区別が重要となる。

表 3 モダリティラベルの頻度分布

## 4.4 関係ラベルの分布

表 4 に関係ラベルの分布を示す。"関係あり"は関係ラベルが付与された固有表現ペア数、"関係なし" は固有表現のラベルの組み合わせとしては関係ラべ ルの付与対象であるが、テキストからその関係が認 められなかった固有表現ぺア数を表す。因果関係は 他の関係と比較して、関係ありの頻度が非常に少な く、関係ありと関係なしの比率も最も小さい。これ は今回のアノテーションでは手がかり表現から明示的に関係がわかるもののみを因果関係としてラベル 付けしたためであると推定できる。手がかり表現の パターン数を増やす、もしくは手がかり表現がない 暗黙的な関係も含めて付与対象とすることで、抽出対象を拡大することは今後の課題である。

表 4 関係ラベルの頻度分布

## 5 おわりに

工場設備の保全レポートを対象に、大規模かつ マルチタスクな情報抽出データセットを構築した。我々のデータセットの特徴は、インフォーマルな書 かれ方が比較的多い保全レポートを対象に、文分類・固有表現認識・モダリティ推定・関係抽出の 4 つの情報抽出サブタスクのラベルが約 1500 文書に 付与されていることである。また、データセットの 統計量を分析するとことで、データセットの特徴や 工場設備の保全レポートから情報抽出する価値につ いて議論した。

## 商標

KARTEMIX は富士フイルムエンジニアリング株式会社の登録商標です。

## 参考文献

[1] Yi Luan, Luheng He, Mari Ostendorf, and Hannaneh Hajishirzi. Multi-task identification of entities, relations, and coreference for scientific knowledge graph construction. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3219-3232, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[2] 亀甲博貴, 松吉俊, John Richardson, 牛久敦, 笹田鉄郎,村脇有吾, 鶴岡慶雅, 森信介. 将棋解説文への固有表現・モダリティ情報アノテーション. 自然言語処理, Vol. 28, No. 3, pp. 847-873, 2021.

[3] Benjamin Strauss, Bethany Toma, Alan Ritter, MarieCatherine de Marneffe, and Wei Xu. Results of the WNUT16 named entity recognition shared task. In Proceedings of the 2nd Workshop on Noisy User-generated Text (WNUT), pp. 138-144, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[4] Fei Cheng, Shuntaro Yada, Ribeka Tanaka, Eiji Aramaki, and Sadao Kurohashi. Jamie: A pipeline japanese medical information extraction system, 2021.

[5] 橋本泰一, 中村俊一. 拡張固有表現タグ付きコーパス の構築. 言語処理学会 第 16 回年次大会 発表論文集, 2010.
 谷口 元樹高橋 拓誠智子 富士フイルム株式会社 motoki.taniguchi@fujifilm.com  