# 日本語 T5 モデルを用いた障害レポートからの重要箇所抽出

山下 郁海 ${ }^{1}$ 岡 照晃 ${ }^{1}$ 小町 守 ${ }^{1}$ 真鍋 章 2 谷本 恒野 ${ }^{2}$
1 東京都立大学 2 富士電機株式会社
yamashita-ikumi@ed.tmu.ac.jp, \{teruaki-oka, komachi\}@tmu.ac.jp
\{manabe-akira, tanimoto-kouya\}@fujielectric.com

## 概要

本研究では日本語 T5 モデルを用い、機器の障害情報レポートからの重要箇所抽出を質問応答形式の タスクとして実験を行う．実験の結果，BERTを用 いた先行研究を上回る性能で，障害レポートからの 重要箇所抽出を実現した．また T5 に入力する質問形式を変更することで抽出結果が変わることを確認 し，質問の内容が重要箇所抽出の性能に影響を与え ていることを明らかにした。また適切な質問を用い ることで重要箇所抽出の性能が向上することを示 した.

## 1 はじめに

現代社会は様々な機器に溢れており，そうした機器は時に不具合を起こすこともある. 不具合が発生 すると機器の保全担当者たちは障害情報のレポー トの作成を行う. しかし, 活用の際に蓄えられたレ ポートを人手でくまなく確認し, 重要箇所を探し当 てるのは労力の大きい作業である. 自動で重要箇所 の抽出が可能になれば，例えば，故障箇所の迅速な 特定と対処や，それを踏まえた顧客への早期対応な どの業務改善に役立つと考えられる. 本研究で扱う 障害レポートは，主に障害の状況，原因，そしてそ れに対する措置を示す文と，それらに含まれないそ の他の文によって構成されている。障害レポートの 状況・原因・措置のラベルが付与された文と重要箇所の抽出例を図 1 に示す. 本研究は障害レポートの 各文が上述の 3 種類に分類されている状況下におい て，各文から重要箇所を抽出することを目的として 研究を行う.

本研究で扱う障害レポートはデータが少なく,追加でのデータの確保も権利の関係で難しい. そ のためタスクに合わせた大規模モデルを一から作成することは困難である．そこで本研究では，学習に使用可能なデータが少量である場合でも有効性が確認されている事前学習モデル $[1,2,3]$ を用 いた実験を行う. 本研究と同様に障害レポートか らの重要箇所抽出を行った本間ら [4] の先行研究 では，Transformer [5] の Encoder 部分を用いる事前学習モデル Bidirectional Encoder Representations from Transformers (BERT) [1] により，LSTMを用いた小平らの研究 [6] からの性能向上を達成した. 本研究では本間ら [4] とは異なり, Encoder-Decoder モ デルの事前学習モデルである Text-To-Text Transfer Transformer (T5) [7] を用いて実験を行い，障害レ ポートからの重要箇所抽出への有効性を検証し, BERT を用いた先行研究と比較して大幅な性能の向上を確認した. また，本研究では本間ら [4] によっ て提案された障害レポートからの重要箇所抽出の夕 スクを抽出型の質問応答形式のタスクとして扱う手法にならい， T5 モデルを用いた質問応答タスクと して実験を行った。その際，質問形式の違いによる 重要箇所抽出の性能比較も実施した. 結果として,適切な質問を用いることで重要箇所抽出の性能が向上することを示した.

## 2 関連研究

## 2.1 事前学習モデル T5

近年，大規模なラベルなしデータで学習を行う事前学習モデルの研究が進み，様々なタスクで高い性能を発揮している。事前学習モデルの 1 つである T5 は自然言語処理に関する様々なタスクを全て系列から系列への変換とみなし，大規模な事前学習済 み Transformer モデルを用いてタスクを解くことで 性能向上を実現している. T5 の事前学習時の入力 と出力の例を以下に示す.

入力 今日はいい<X>で<Y>やすいですね。

出力 $<\mathrm{X}>$ 天気 $<\mathrm{Y}>$ 過ごし

ここで<X>と<Y>はマスクのための特殊トークンで

図 1 障害レポートに対するアノテーションの例

ある．T5 の事前学習は Masked Language Model に基 づいており，入力側は文書の一部のトークンがマス クされており, 出力側はマスクされたトークンの予測をすることで学習を行う。

## 2.2 重要箇所抽出タスク

本研究と類似した形式で障害レポートからの重要箇所抽出を行っている研究として，LSTMを用いて 系列ラベリングタスクとして解く小平らの手法 [6] と，BERT モデルを用いて質問応答タスクの形式を 応用して解く本間らの手法 [4] が存在する. これ らの研究は本研究と同様のタスクについて研究を 行っているが，本研究で用いている事前学習済みの Encode-Decoder モデルを用いた実験や，質問応答形式における質問を変更した際の影響に関する分析は 行っていない。

本研究で扱う障害レポートからの重要箇所抽出 タスクは対象とするデータのドメインの違い，抽出すべき箇所が文や文章ではなくその一部である などの違いはみられるものの，抽出型要約タスク や Stanford Question Answering Dataset (SQuAD) [8] に 代表される抽出型の質問応答タスクに類似して いる. 抽出型要約の研究としては，BERTを用い て fine-tuning を行う手法の有効性が報告されてお り [9], 正解の要約と要約候補の BERT から得られる 文書表現がより近くなるように学習を行う手法 [10] も提案されている. 抽出型の質問応答の研究として は，BERTをはじめとした様々な事前学習モデルを fine-tuning する手法 $[1,2,3]$ や，スパン予測に特化 した学習で性能向上を図る SpanBERT [11] が存在す る. また Raffel ら [7] は T5 モデルを用いて抽出型要約や質問応答の実験を行っており，BERT モデルよ りも高い性能を示している. これらの研究は本研究 と類似したタスクであるが，対象は英語であり。一方，本研究ではより小規模な日本語の障害レポート を対象に T5 モデルを用いた重要箇所抽出の有効性
を確認する。

## 2.3 入力形式の変更による性能向上

事前学習モデル GPT-3 を提案した Brown ら [12] はモデルを fine-tuning するのではなく，prompt と呼 ばれる入力形式を変えることで望むタスク出力を得 られることを示し，注目を浴びた。また分類タスク において，入力の形式を適切に変化させ fine-tuning を行うことで性能向上が可能であることが報告され ている $[13,14,15]$. これらはいずれもタスクに合わ せた適切な入力形式での性能向上を示唆している.本研究でも先行研究にならい質問応答の入力となる 質問の形式を複数用意し比較を行った。本研究では 先行研究で扱っていない重要箇所の抽出タスクを行 うだけでなく、Encoder-Decoder モデルに対する入力形式の変化の有効性について，日本語での検証に取 り組んでいる。

## 3 障害レポートからの重要箇所抽出

## 3.1 タスク設定

障害レポートには本研究で着目する状況や原因，措置にあたる文章以外にも，これらに含まれないそ の他の文章も存在する. 本研究では，このような各障害レポートを人手で分類し，その他にあたる文章 を除いた上で取り出された状況・原因・措置それぞ れの文章を入力とし，それらから重要箇所を抽出す ることを目的とする．実際の人手分類後の文章（入力）と抜き出された重要箇所（目的とする出力）の 例を図 1 に示す。

## 3.2 手法

本研究では質問応答形式で重要箇所抽出を行う手法 [4] に基づき，日本語 T5 モデルを用いた質問応答 タスク形式での重要箇所の抽出を行う。本研究で扱 う質問応答形式での重要箇所の抽出タスクの例を
表 1 重要箇所抽出の実験結果．太字はその列内で最もスコアが高いものを示し，下線はその列内で 2 番目にスコアが高 いものを示す. 質問種類がラベル別の BERT のスコアは本間ら [4] のものである.

図 $2 \mathrm{~T} 5$ を用いた質問応答形式での重要箇所抽出の例.

図 2 に示す. 図 2 では，質問として各ラベルごとの 文を用意し，抽出元文章と組み合わせることで質問応答のタスクとしている。抽出元文章の始まりには “文章：”をつけ，質問の始まりには“質問：”をつ けた。また T5 は Encoder-Decoder の構造の生成モデ ルであり，出力は抽出箇所の系列がそのまま出力さ れる. 本研究では質問を 4 種類用いて, 質問形式に よる結果の比較を行った. 以下に，質問の種類とそ の概要を示す.

質問なし質問を一切用いず抽出元文章のみを入力 とする形式

統一 状況・原因・措置のラベルに関わらず統一の “重要箇所はどこ?"という質問を行う形式

ラベル別 ラベルごとに“状況/原因/措置 は何？”と いう質問を行う形式

無意味 タスクとは無関係な “今日は晴れですか？” という質問を行う形式

## 4 実験

## 4.1 実験設定

本研究では、富士電機（株）の保有する設備保全 に関する障害レポートのデータを用いる。障害レ ポートは 194 件存在し，データ中の人名，企業名及 び場所はそれぞれ MAN，COMPANY 及び PLACEへ マスキング処理を施している。また一部データでア ノテーション誤りにより抽出元文章内に正解の重要箇所が含まれていないものがあったためそれらを 除き，状況・原因・措置を合わせて 577 件の抽出元文章と重要箇所のペアを作成した。実験の際はこの データを訓練：開発：評価=3:1:1 として 5 分割交差検証を行う。評価手法は本間ら [4] にならい適合率 に 2 倍の重みを付ける評価尺度 $\mathrm{F}_{2}$ スコアを用いる。本研究で用いる T5 モデルは Hugging Face ${ }^{1)}$ の 自然言語処理ライブラリ Transformers ${ }^{2}$ に基づく, Megagon Labs 公開の事前学習済み日本語 T5（語彙サイズ $32 \mathrm{~K}$ のモデル） 3）を使用した. 実装には Transformers のリポジトリに含まれるスクリプト run_translation.py を本研究に合わせて一部書き換え たものを用いた．学習時のパラメータは学習率 5e-5，バッチサイズ 32, エポック数 100 として最も 性能の高いモデルを開発データで選択した。

## 4.2 実験結果

実験結果を表 1 に示す。結果を見ると $\mathrm{T} 5$ を用い たモデルはどのような質問の形式でも，全てのラべ ルにおいて BERT を用いた先行研究よりも大幅に性能が向上している．T5 の結果内で質問形式を比較

表 2 モデルの出力例.

すると，質問なしのモデルとラベル別またはラベル 間で統一の質問を用いるモデルの結果の比較から，質問を用いることで性能が向上していることがわか る。一方，無意味な質問を用いるモデルは質問なし のモデルとほとんど同程度の性能であり, 単に質問 を追加するだけでは性能は向上せず，質問の内容が 重要であることがわかる。また最もスコアの高いラ ベル別の質問を行うモデルとラベル間で質問を統一 したモデルを比較すると，ラベルごとに質問を分け ることが性能向上に寄与していることもわかる.

## 5 分析

## 5.1 出力例の分析

実際のモデルの出力例を表 2 に示す. 抽出元文章 の赤色で書かれた箇所は重要箇所の参照である. 出力に用いたモデルは, 表 1 (3)の（全モデル中で最 も性能の高かった）ラベル別の質問を文章の後ろに つけて入力を行ったモデルである。例 1 ，例 3 ，例 5 を見ると，それぞれのラベルに対して適切な出力が 行われていることがわかる。また，例 4 を見ると，完全一致ではなく抽出範囲に誤りがあるものの，抽出すべき箇所の判断は正しく行われており正解に近 い出力ができていることもわかる。一方，T5 は抽出モデルではなく生成モデルのため, 抽出モデルで は起こりえない誤りも存在している. 例 2 と例 6 は 生成モデル特有の誤りであり, 例 2 では抽出元の文章には存在しない単語を出力している. 例 6 では抽出箇所は正しいものの，繰り返しが起きてしまって いることがわかる.

## 5.2 人手評価

5.1 節で見た表 2 の例 4 にもあるように $\mathrm{T} 5$ を用 いたモデルの出力は，正解との完全一致ではないが 部分一致であるようなものが多くみられた。 そこで表 3 人手評価の結果.

表 1 の(3) の出力の人手評価を行った. 具体的には,全 577 件のデータのうち，モデルの出力と正解が完全一致であったものを除く 311 件について， 2 人の 評価者が下記の 4 段階での評価を行った.

i. 正解と出力は完全一致ではないが、問題なく出力は受け入れられる

ii. 正解と出力は完全一致ではないが、正解の方に 問題があり出力は受け入れられる

iii. 正解と出力は完全一致ではなく、出力は受け入 れられない

iv. 正解と出力は完全一致ではなく、正解に問題が あるが、出力も受け入れられない

それぞれの評価の具体例を付録 $\mathrm{A}$ に示す. 表 3 に 人手評価の定量評価結果を示す. 出力が受け入れら れると評価されているもの（i と ii）の割合が全体 の $24.9 \%$ となっており，完全一致のものと合わせて $71.0 \%$ モデル出力が受け入れられるものとなった.

## 6 おわりに

本研究では日本語 $\mathrm{T} 5$ モデルを用いた障害レポー トからの質問応答形式での重要箇所抽出の研究に取 り組み，日本語 BERT モデルを用いた先行研究と比較し高い性能が得られることを示した。また質問の 形式を適切なものに変えることで，質問を用いない 場合や適切ではない質問を用いる場合と比較し，性能向上を確認した。今後はより適切な質問形式に関 して詳細な研究を行っていきたい.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach, 2019.

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite bert for self-supervised learning of language representations. In ICLR, 2020.

[4] 本間広樹, 小町守, 真鍋章, 谷本恒野. BERT モデルを 用いた障害レポートに対する重要箇所抽出. 言語処理学会 第 27 回年次大会, pp. 189-193, 2021.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, Vol. 30, pp. 5998-6008, 2017.

[6] 小平知範, 宮崎亮輔, 小町守. 障害情報レポートに対 する同時関連文章圧縮. 言語処理学会 第 23 回年次大会, pp. 189-193, 2017.

[7] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, pp. $1-67,2020$.

[8] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In ACL, pp. 784-789, 2018.

[9] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In EMNLP-IJCNLP, pp. 3730-3740, 2019.

[10] Ming Zhong, Pengfei Liu, Yiran Chen, Danqing Wang, Xipeng Qiu, and Xuanjing Huang. Extractive summarization as text matching. In ACL, pp. 6197-6208, 2020.

[11] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. TACL, Vol. 8, pp. 64-77, 2020.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In NeurIPS, Vol. 33, pp. 1877-1901, 2020.

[13] Timo Schick and Hinrich Schütze. Exploiting clozequestions for few-shot text classification and natural language inference. In EACL, pp. 255-269, 2021.

[14] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. GPT understands, too.
arXiv:2103.10385, 2021.

[15] Timo Schick and Hinrich Schütze. It's not just size that matters: Small language models are also few-shot learners. In NAACL-HLT, pp. 2339-2352, 2021.

## 付録

## A 人手評価の各評価の例

出力の人手評価における各評価の例を表 4 に示す. 評価 1 は，正解の重要箇所が過不足なく必要な情報を 持っており, 重要箇所とモデル出力との差が，モデル出力の方が正解の重要箇所より長い場合は余計な要素 がなく，モデル出力の方が正解の重要箇所より短い場合は差分にあたる箇所の重要度が低いものである. 評価 2 は，正解が必要最低限の情報を持っていないなどの理由で問題がある一方で，モデル出力が必要な情報 を抽出できている場合である。評価 3 は，評価 1 と同様に正解の重要箇所が過不足なく必要な情報を持って いる一方で，モデル出力に余計な要素が存在している，必要な情報まで削ってしまっている，そもそも抽出箇所が異なる，などのものである。評価 4 は，評価 2 と同様に正解が必要最低限の情報を持っていないなど の理由で問題があるもので，かつモデル出力も評価 3 と同様の理由で問題があるものである.

表 4 人手評価における各評価例.

 \\


 山下 郁海 ${ }^{1}$ 岡 照晃 ${ }^{1}$ 小町 守 ${ }^{1}$ 真鍋 章 2 谷本 恒野 ${ }^{2}$ 1 東京都立大学 2 富士電機株式会社 yamashita-ikumi@ed.tmu.ac.jp, \{teruaki-oka, komachi\}@tmu.ac.jp \{manabe-akira, tanimoto-kouya\}@fujielectric.com  