# 事故事例文章構造化システムの構築

伊藤拓海 ${ }^{2}$
1 横浜国立大学大学院 ${ }^{2}$ 株式会社 IHI
fukuoka-kodai-hr@ynu.jp tomei-kota-pc@ynu.jp tmori@ynu.ac.jp
ito9762@ihi-g.com

## 概要

製造業の企業では現場からの問い合わせに対し、部署の担当者が過去の事故事例文書を活用し、人手で回答を作成している。しかし、企業に蓄積されているものは構造化されていないプレインテキストであるため活用が難しい。本稿では、現場利用者の情報要求に応じて、事故の流れを可視化して提示することで原因等をわかりやすく示すために、構造化を行うシステムを構築することを目的とし、「抽出」、「分類」、共参照解決」、「並べ替え」といった 4 つのサブタスクを組み合わせて構造化を行う手法を提案する。また、それぞれのサブタスクを扱うサブシステムを構築し、各サブシステムに対する評価実験を行った。評価の結果、各サブシステムの正解率は、「抽出」システムは 0.862、「分類」システムは 0.577 、「共参照解決」システムは 0.676、「並べ替え」システムは 0.833 であった。

## 1 はじめに

製造業の企業では、現場で技術的な問題や事故・装置の不具合が発生した場合、担当部署に対して対処方法について問い合わせが行われ、担当部署が過去の類似事例を参考にして回答を返し問題解決を図る、というプロセスが取られることが多い。しかし、部署の担当者が、(1)問い合わせ文章の読解、(2)過去の事故不具合事例データベースからの前例の検索、(3)回答文章の作成、といった作業を人手で行っており、非効率的だという現状がある。そのため、 (1)事故・不具合問い合わせ文書の解析、データベー スからの類似事例の検索、(3)回答文章の生成、といった作業を自動で行うことのできるシステムに対して需要が大きい。本研究では事故・不具合問い合わせ文書の解析 - 類似事例の検索 - 回答文章の生成といった作業を自動で行うシステムの実現を目標と
している。特に、利用者の情報要求に応じて検索・要約をし、事故の流れを可視化して提示することで原因等をわかりやすく示すことを目指している。しかし、企業に蓄積されているものは構造化されていないプレインテキストであるため、上記システムの実現は難しい。上記システムの実現には、原因を含む事故につながる事象の流れを表すことができるテキストの構造化と構造化テキストに基づく、事故内容の可視化が必要である。本稿では、東明ら [1] が提案する事故事例文章の構造化の枠組みに則った構造化を行うシステムを構築するために、「抽出」、「分類」「共参照解決」、「並べ替え」といった 4 つのサブタスクを組み合わせて構造化を行う手法を提案する。また、この手法の有効性を検証するために、 それぞれのサブタスクを扱うサブシステムを構築し、各サブシステムに対する評価実験を行う。

## 2 関連研究

本稿は、事故・不具合問い合わせ文書の解析・類似事例の検索・回答文章の生成といった作業を自動で行うことのできるシステムの実現を目標としている。その目標の達成に向けて、本稿では、東明ら [1] が提案する事故事例文章の構造化の枠組みに則った、事故事例文章構造化システムを構築する。

## 3 提案手法

## 3.1 事故事例文章の構造化の枠組み

本稿で提案する事故事例文章構造化の自動化の手法で扱う構造化の枠組みは、この研究の目的に対しての有効性が確認できた東明ら [1] が提案した構造化の枠組みを用いる。

東明らの提案した構造化の枠組みでは、事故などの事象の流れの記述は、ある時点での対象物群の有り様を記述した「状態」とその状態を変化させる動
作を記述した「状態変化」の二種類の要素によって記述されているとしている。構造化の際には、「状態」、「状態変化」の記述に対し、対象文章内の事象が起こったと思われる順番に並べ替え、事故の流れを表現できるようにしている。

また、本稿で提案する事故事例文章の自動構造化では、構造化された文章により、利用者が事故事例文章における事故の流れを理解することを目的としており、事故の流れを理解するために必要最低限の構造化の枠組みとして、以下の点を除いた構造化とした。

・「思考・判断」の記述の構造化

・「状態変化」における意思の有無を扱う構造化

・時系列に沿った順序関係を「状態」「状態変化」間の関係として付与する構造化

## 3.2 事故事例文章の構造化の自動化に関す る方針

事故事例文章の構造化の自動化について、本稿では図 1 のように 4 つのサブタスクを組み合わせることで自動的に構造化を行う手法を提案する。また、入力する事故事例文章と得られることが想定される構造化文章の関係を図 1 の右に示す。

図 1 入力する事故事例文章と出力される構造化文章

各サブタスクの具体的な説明を以下に示す。

## 3.2.1「抽出」タスク

「抽出」タスクでは、入力文章から単一の事象を記述する文章の断片 (「状態」「状態変化」のどちらかに当たりそうな部分）を抽出する。

## 3.2.2「分類」タスク

「分類」タスクでは、「抽出」タスクで切り出された各記述が、「状態」「状態変化」のいずれに属する
のかの判別を行う。

## 3.2.3「共参照解決」タスク

「共参照解決」タスクでは、文章内における2つ以上の「状態」「状態変化」などの事象に関する記述が同じことについての記述であるかどうかの判定を行い、同じことについての記述であると判定された場合、それらの事象記述を共参照表現のグループとしてまとめる。

## 3.2.4「並べ替え」タスク

「並べ替え」タスクでは、文章から抽出された「状態」、「状態変化」の記述に対し、対象文章内の事象が起こったと思われる順番に並べ替える。

## 4 システムの構築

## 4.1 システムの設計

各サブタスクを扱うサブシステムをそれぞれ作成し、それらのサブシステムを組み合わせることで、事故事例文章を構造化するシステムを構築する。各サブタスクを扱うサブシステムは GPT-4 の API を用い、それぞれのタスク実行後の想定する出力結果を得るためのプロンプトを設計した。プロンプトは、指示文、各サブタスクによって処理を行う入力文章とタスク実行後の想定する出力結果のペア (Few-shot サンプル)、各サブタスクを扱うサブシステムによって実際に処理を行いたい入力文章などで構成する。プロンプトに含む、各サブタスクによって処理を行う入力文章とタスク実行後の想定する出力結果のペアは、東明ら [1]が作成したコーパスから作成した。各サブシステムに対して与えるプロンプトを以下に示す。

## 4.2 「抽出」システム

「抽出」システムに与えるプロンプトを図 2 に示す。「抽出」システムでは、入力となる事故事例文章から単一の事象を記述する文章の断片の集合を抽出するタスクを解く。「抽出」システムに与えるプロンプトは、このサブシステムによって処理を行いたい入力文章となる事故事例文章と想定する出力である事故事例文章から抽出したい単一の事象を記述する文章の断片集合のペアを 4 例と、実際に「抽出」システムに処理を行わせたい事故事例文章を結合して構成した。プロンプトには，入力文章からの
抽出結果として想定する出力である単一の事象を記述する文章の断片集合を改行区切り記号として並べるように記述した。

このサブシステムにより、実際に「抽出」システ厶に処理を行わせたい事故事例文章から、単一の事象を記述する文章の断片集合が抽出され、改行を区切り記号として並べたような出力が得られると想定される。

図 2 「抽出」システムに与えるプロンプト

## 4.3 「分類」システム

「分類」システムに与えるプロンプトを図 3 に示す。「分類」システムでは、事故事例文章から抽出された単一の事象を記述する文章の断片が「状態」、「状態変化」の記述のどちらであるかを判定する夕スクを解く。「分類」システムに与えるプロンプトは、このサブシステムによって処理を行いたい入力文章となる単一の事象を記述する文章の断片と「状態」「状態変化」の属性のペアを 30 例と、実際に 「分類」システムに処理を行わせたい単一の事象を記述する文章の断片を結合して構成した。

このサブシステムにより、実際に「分類」システムに処理を行わせたい単一の事象を記述する文章の断片が分類され、「状態」、「状態変化」のいずれかの出力が得られると想定される。

図 3 「分類」システムに与えるプロンプト

## 4.4 「共参照解決」システム

「共参照解決」システムに与えるプロンプトを図 4 に示す。「共参照解決」システムでは、単一の事象に関する 2 の記述が同じことについての記述であるかどうかの判定を行うタスクを解く。「共参照解決」 システムに与えるプロンプトは、このサブシステムに行わせるタスクを説明した指示文と、実際に「共参照解決」システムに処理を行わせたい単一の事象を記述する文章の断片のペアを結合して構成した。

このサブシステムにより、実際に「共参照解決」 システムに処理を行わせたい単一の事象を記述する文章の断片のペアが同じことについての記述であるかどうかの判定がされ、○かメのいずれかの出力が得られると想定される。

図 4 「共参照解決」システムに与えるプロンプト

## 4.5 「並べ替え」システム

「並べ替え」システムに与えるプロンプトを図 5 に示す。「並べ替え」システムでは、文章から抽出された単一の事象を記述する文章の断片の集合に対し、対象文章内の事象が起こったと思われる順番に並べ替えるタスクを解く。「並べ替え」システムに与えるプロンプトは、このサブシステムに行わせるタスクを説明した指示文と、実際に「並べ替え」システムに処理を行わせたい単一の事象を記述する文章の断片の集合を結合して構成した。

このサブシステムにより、実際に「並べ替え」システムに処理を行わせたい単一の事象を記述する文章の断片の集合が対象文章内の事象が起こったと思われる順番に並べ替えられ、改行を区切り記号として並べたような出力が得られると想定される。

図 5 「並べ替え」システムに与えるプロンプト

## 5 評価実験

## 5.1 データセット

各サブシステムの評価には、畑村らが作成した 『失敗知識データベース』[2][3] と、東明ら [1]が人手で作成した事故事例構造化コーパスのうち機械力テゴリのデータを用いる。事故事例構造化コーパスは、 3 節 1 項で説明した事故事例文書の構造化の枠組みに則った構造化を人手で行ったデータで構成さ

れている。

## 5.2 評価手法

## 5.2.1「抽出」システムの評価手法

「抽出」システムの評価では、『失敗知識データベース』の機械カテゴリの 210 件のデータに対し、 このサブシステムが抽出した結果と、事故事例構造化コーパスの機械カテゴリの 210 件のデータを見比べて、抽出結果が正解か不正解かを判定し、210 件のデータに対する出力結果の正解率を求める。正解か不正解かの判定には以下の基準を用いる。
- 抽出したい全ての命題が抽出されているか

・抽出した一文が一つ以上の命題を表すことができているか

・人が読む際に理解できるものになっているか

## 5.2.2「分類」システムの評価手法

「分類」システムの評価では、事故事例構造化コー パスの機械カテゴリの 210 件のデータに含まれる分類対象の文章「状態：233 件」「状態変化：1091 件」、合計 1324 件の文章を用いて、分類対象の文章をこのサブシステムが正しく分類できているか判定し、 1324 件の文章に対する出力結果の正解率を求める。

## 5.2.3「共参照解決」システムの評価手法

「共参照解決」システムのでは、事故事例構造化コーパスの機械カテゴリの 210 件のデータを用いて、210 件のデータそれぞれに含まれる共参照解決対象の「状態」、「状態変化」の文章に対するこのサブシステムの出力結果と、事故事例構造化コーパスの機械カテゴリのデータを比較してこのサブシステムが正しく共参照解決できているか判定し、210件のデータに対する出力結果の正解率を求める。

## 5.2.4「並ベ替え」システムの評価手法

「並べ替え」システムの評価では、事故事例構造化コーパスの機械カテゴリの 210 件のデータを用いて、210 件のデータそれぞれに含まれる並べ替え対象の「状態」「状態変化」の文章に対するこのサブシステムの出力結果と、事故事例構造化コーパスの機械カテゴリのデータを比較し、このサブシステムが出力した事象間の順序関係が、事故事例構造化コーパスのデータにおける事象間の順序関係に反し
てないかを人手で判定し、「状態」、「状態変化」の文章に対する出力結果の正解率を求める。

## 5.3 結果

「抽出」システムの評価の結果、正解率は 0.862 であり、「分類」システムの評価の結果、正解率は 0.577 であった。また、「共参照解決」システムの評価の結果、正解率は 0.676 であり、「並べ替え」システムの評価の結果、正解率は 0.833 であった。

## 6 考察

「分類」システム、「共参照解決」システムの評価結果は、十分な精度とは言えない結果となった。「分類」システムにおいて誤った出力をしている処理対象の文章を見てみると、単一の事象についてのみ記述する処理対象の文章の情報のみでは人によって判断し、処理をするのも難しいものが多く見られた。事故事例文章を人手で構造化する際に、このような判断の難しい単一の事象の記述の分類を行う際には、単一の事象の記述部の前後の文脈を読み判断を行う。そのため、このサブシステムに与えるプロンプトに、処理対象の文章とその文章が含まれる文脈の情報を含めることで、精度の改善が図れると考えられる。また、「共参照解決」システムに関して誤った出力をしているものに関しても、処理対象の文章のペアの情報のみでは人によって判断し、処理をするのも難しいものが多く見られたため、このサブシステムに与えるプロンプトに、処理を行いたい文章のペアとその文章が含まれる文脈の情報を含めることで、精度の改善が図れると考えられる。

## 7 まとめ

本稿では、現場利用者の情報要求に応じて、事故の流れを可視化して提示することで原因等をわかりやすく示すために、構造化を行うシステムを構築することを目的とし、「抽出」、「分類」、「共参照解決」、「並べ替え」といった４つのサブタスクを組み合わせて構造化を行う手法を提案した。そして、この手法の有効性を検証するために、それぞれのサブタスクを扱うサブシステムを構築し、それぞれのサブシステムに対する評価実験を行った。「分類」システム、「共参照解決」システムの評価結果は、最終的な自動構造化システムへの実装には十分な精度とは言えない結果となったため、サブシステムの精度の改善が図る必要があると考えられる。

## 参考文献

[1] 東明幸太, 福岡康大, 森辰則, 伊藤拓海. 事故事例構造化コーパスの構築. 言語処理学会第 29 回年次大会発表論文集, pp. 1074-1078, 2023.

[2] 畑村洋太郎, 中尾政之, 飯野謙次ほか. 失敗知識デー タベース構築の試み. 情報処理, Vol. 44, No. 7, pp. 733-739, 2003

[3] 失敗知識データベース,（2022-10 閲覧）.http: //www.shippai.org/fkd/index.php.