# 隠れ層補間によるデータ拡張を用いた 障害レポート分類

山下 郁海 ${ }^{1}$ 小町 守 1 真鍋 章 2 谷本 恒野 ${ }^{2}$
1 東京都立大学 2 富士電機株式会社
yamashita-ikumi@ed.tmu.ac.jp, komachi@tmu.ac.jp
\{manabe-akira, tanimoto-kouya\}@fujielectric.com

## 1 はじめに

近年，小規模なラベルありデータしか存在しな いテキスト分類に対する研究が盛んに行われてい る $[1,2,3]$. これらの手法では対象となる分野のラ ベルなしデータを用意し, 事前学習やデータ拡張 に用いることで，大きな性能の向上が報告されて いる.

一方，本研究で扱う日本語の障害レポートはラベ ルありデータが少なく，また対象となる分野のラべ ルなしデータの用意も権利の関係で難しいデータ である。また，障害レポートは特定の分野に関して の記述であり，例えば Wikipedia のような大規模な データが入手可能なラベルなしデータとは大きく分野が異なる [4]. そのため，対象となる分野，もしく はそれに近い分野のラベルなしデータが必要になる ような手法を適用することが難しい.

そこで本研究では, Chen ら [5] による隠れ層線形補間を用いたデータ拡張手法 TMix を用いて実験を 行った. TMix は， 入力文の隠れ状態べクトルを線形補間することでデータ拡張を行う，追加のデータ を必要としないデータ拡張手法であり，本研究で扱 う障害レポートの分類問題に対しても適用が比較的容易である。

TMix を用いて障害レポートに対して分類実験を 行った結果，TMix を用いない場合と比較して性能 の向上が確認された．また，分類の対象とは異なる 分野のラベルなしデータを用意し，TMixをもとに した半教師あり学習を行うことで，さらなる性能の 向上を確認し, 対象分野のラベルありデータと, 対象となる分野とは異なる分野のラベルなしデータを 線形補間して学習に用いることで性能向上が可能で あることを示した。

## 2 関連研究

## 2.1 線形補間によるデータ拡張

線形補間によるデータ拡張は，近年画像分類の分野において盛んに研究されている. Zhang ら [6] は 入力画像のベクトルとそのラベルをそれぞれ線形補間した上で学習を行うことで，性能向上を図る手法 mixup を 2017 年に提案している. その後, Berthelot ら [7] は mixup を用いた半教師あり画像分類手法 MixMatch を提案し，Verma ら [8] はこれまで入力の ベクトルのみに行っていた線形補間を，隠れ状態べ クトルに拡張することで性能が向上することを報告 している。

これらの研究はどれも線形補間を用いたデータ拡張の研究ではあるが，本研究とは異なり，全て画像分類の分野の研究であり, 本研究では, これらの研究をもとにChen ら [5] の提案した，テキストデータ のための線形補間を用いたデータ拡張手法を用いて 実験を行う。

## 2.2 小規模なラベルありデータに対するテ キスト分類

小規模なラベルありデータに対するテキスト分類のための手法のうちの 1 つとして，ラベルなし データを用いた事前学習の研究が行われている。 Gururangan ら [3] は, 分類の対象となる分野のラべ ルなしデータを用いて，Variational autoencoderを事前学習し，そこから得られる embedding を入力文の 単語ベクトルと足し合わせて，テキスト分類の入力 として用いることで分類性能の向上を図っている.

また，別の手法として，ラベルなしデータを用 いた半教師あり学習の研究も行われている. Chen ら [1] と，Xie ら [2] は，どちらも対象となる分野の

図 1 TMix [5] の概要図.

ラベルなしデータに対して逆翻訳をすることでデー タ拡張を行い，それらのラベルなしデータを用いた 半教師あり学習の手法を提案している. これらの研究は本研究とは異なり，どれも性能向上のために対象となる分野のラベルなしデータが入手できること を想定している。

## 3 障害レポート分類のためのデータ 拡張

## 3.1 隠れ層の補間：TMix

本研究では，障害レポートの分類問題を解くにあ たって，画像分類の分野におけるデータ拡張手法 mixup [6] をとに，Chen ら [5] がテキストデータ を扱えるように改良したしたデータ拡張手法 TMix を用いている. TMix の概要図を図 1 に示す. TMix は，BERT [9]のような多層モデルを用いる際に，入力文の隠れ状態べクトルを線形補間することでテキ ストデータの拡張を行う手法である. 図 1 では，ま ず 2 の異なる文 $x, x^{\prime}$ を入力とし, 第 $m$ 層まで通常の手順でそれぞれの隠れ状態べクトル $h, h^{\prime}$ の計算を行う. 次に，2つの文の隠れ状態ベクトルを線形補間し，以下の式に示す $\tilde{h}$ を得る。

$
\tilde{h}=\lambda h+(1-\lambda) h^{\prime}
$

ここで補間係数 $\lambda$ はベータ分布 $\operatorname{Beta}(\alpha, \alpha)$ に基づい て選択される。 $\alpha$ は補間係数をコントロールするた めのハイパーパラメータである. その後の層での計算は，この新しく得た隠れ状態べクトル $\tilde{h} を$ 用いて行う。また，ラベルに関しても隠れ状態を線形補間 する際に用いた係数と同じ補間係数 $\lambda$ を用いて補間 を行い，以下の式に示す $\tilde{y}$ 計算する。

$
\tilde{y}=\lambda y+(1-\lambda) y^{\prime}
$

ここで $y, y^{\prime}$ はそれぞれ入力 $x, x^{\prime}$ に対応するラベル である.

学習データ中の入力文の組み合わせは無数に存在 するため，TMix を用いることで，追加のデータを 用いることなく，新しく拡張されたデータを多数作成することが可能である．また，学習文に対して全 てのデータを補間するだけでなく，ランダムで補間 するかどうかを選択することで，一部のデータに対 して元のデータの隠れ状態を用いて学習を行うこと も可能である．そのため本研究では，全てのデータ を補間する設定と，補間するかどうかをランダムに 選択し一部データを補間する設定の 2 つの設定で実験を行なっている.

## 3.2 TMix を用いた半教師あり学習

Chen ら [5] は TMix によるデータ拡張とラベルな しデータを組み合わせたテキスト分類に対する半教師あり学習の手法を提案しており, 本研究でもそれ にならい半教師あり学習を行う1).

この手法ではまず，ラベルなしデータに対してそ の時点での分類器でラベルの予測を行う. その後, ラベルを予測したこれらのデータを追加のラベル ありデータとして，通常のラベルありデータと同様 に TMix を用いて扱う。この際に，ラベルありデー タをもとに補間を行った場合と，新たにラベルを予測したラベルなしデータをもとに補間を行った場合で， loss の計算が異なる. すなわち，ラベルあり データを用いた場合は Cross-entropy が最小となるよ うに，ラベルなしデータを用いた場合は，線形補間 された入力文の隠れ状態ベクトルからモデルの予測 した確率分布と，線形補間されたラベルの間の KL ダイバージェンスが最小となるように学習を行う.

また，モデルがラベルなしデータのラベルを予測 する際に確信度の高いラベルを予測できるように，予測確率のエントロピー最小化を行い，以下のよう な Self-training loss を計算する。

$
L_{\text {self }}=\mathbb{E}_{\mathbf{x} \in \mathbf{X}_{u}} \max \left(0, \gamma-\left.\|\mathbf{y}_{u}\right.\|_{2}^{2}\right)
$
^{1)}$ Chen らの論文 [5] の記述と公開されている実装 （https://github.com/GT-SALT/MixText）には一部異なる部分や論文では言及されていない箇所があり，この節の記述は公開されて いる実装をもとにしている.
}

図 2 半教師あり学習の概要図.

表 1 障害レポートの各文とそれに対応するラベルの例障害レポートの文 状況 原因 措置その他

A 棟 $1 \mathrm{~F}$ の感知器より警 $\checkmark$報発報。

本箇所の感知器が頻繁

に誤作動しているとの

情報あり。

原因は污れだと思われ

るため、復旧及び感知

器の交換実施。

ここで， $\mathbf{X}_{u}$ はラベルなしテキストデータの集合で あり， $\mathbf{y}_{u}$ はラベルなしデータに対して予測されたラ ベルである．また， $\gamma$ は loss を調整するためのハイ パーパラメータである. 最終的な半教師あり学習の

テキストデータの集合であり， $\mathbf{y}_{l}$ はラベルありデー タに対して予測されたラベルである.

また，この手法ではラベルありデータとラベルな しデータを両方用いて補間を行うが，この際の補間 のやり方に関して，ラベルありデータとラベルなし データを混ぜて補間する設定と，別々にそれぞれの データの中で補間する設定の 2 つの設定が考えら れる. 本研究では，この 2 つの設定両方で実験を行 い，比較を行なっている。

## 3.3 障害レポート分類

本研究では障害レポートの各文に対してマルチラ ベル分類を行う．表 1 に実際の障害レポートの文の 例を示す。ラベルには状況，原因，措置，その他の 4 つが存在し，各文に対してそれぞれ付与されてい る. 例えば， 1 行目の文に対しては状況のラベルが， 2 行目の文に対してはその他のラベルが付与されて いる. 一方， 3 行目の文には原因と措置の 2 つのラ ベルが付与されている．このように，本研究で扱う 障害レポートデータはマルチラベルデータである.

本研究では，マルチラベル分類の手法として勝又 ら [4] と同じ，One-vs-Restを用いた。分類モデルに は BERT を用いた。具体的には，BERT の最終層に対して平均プーリングを行い，その後 2 層， 128 次元からなる多層パーセプトロンを通し，その出力を 用いて，各ラベルを付与するかしないかの確率を求 める. この確率を用いて各ラベルごとに 2 值分類を 行い，入力 $x$ に対して各ラベルを付与するかどうか を予測する。

## 4 実験

## 4.1 実験設定

本研究では、設備保全に関する障害レポートの データに対して実験を行う。このデータは今回新 たに人手でアノテーションを行ったデータであり， データ中の障害レポートは 194 件存在し，総文数は 1,365 文である. この障害レポートを分割し，学習 データに 869 文，開発データに 244 文，評価データ に 252 文用いた。

半教師あり学習に用いるラベルなしデータには, Wikipediaを用いた。実際に学習に用いるデータは，元のデータからランダムに 2,500 文を抽出したもの を用いた。このデータは，今回対象となる設備保全 の障害レポートとは分野の異なるラベルなしデー タである。これらのラベルありデータ，ラベルなし データの単語分割には，共に MeCab ${ }^{2)}$ を用い，辞書 として mecab-ipadic-2.7.0-20070801を用いた.

本研究では事前学習済みの BERT を単にラベルあ りデータでファインチューニングし，分類を学習し たものをべースラインとする.

本研究で使用する事前学習済み BERT モデル は Hugging Face ${ }^{3)} に よ る$ 自然言語処理ライブラリ Transformers ${ }^{4}$ において，東北大学の鈴木らが公開し ている事前学習済み $\mathrm{BERT}^{5}$ のモデルを使用した。分類には，Chen ら [5] の実装6)をもとに，マルチラ
^{2)}$ http://taku910.github.io/mecab, v.0.996.

${ }^{3)}$ https://huggingface.co/

${ }^{4)}$ https://github.com/huggingface/transformers

${ }^{5)}$ https://github.com/cl-tohoku/bert-japanese

 }^{6)} \mathrm{https://github.com/GT-SALT/MixText}$

表 2 分類実験の結果. 太字はその列内で最もスコアが高いものを示す.

ベル分類が行えるように修正を行った．TMix を用 いた学習の際の線形補間を行う層については，先行研究の結果をもとに 7, 9, 12 層目からランダムに選択を行った。また，言及していないハイパーパラ メータについては元の実装のものを用いた.

本研究では，マルチラベル分類を各ラベルに対し て付与されるかされないかの 2 值分類として扱い 実験を行っている．そのため，評価は各ラベルごと に行った. 具体的には，各ラベルに対して正しく ラベルが付与できた場合を正解として，Precision, Recall，F-score を計算した. モデルの選択は，開発 データに対して各ラベルに対する F-score の平均が 最も大きいモデルを最も良い分類モデルとして行っ た. また，全ての実験結果はシード値を変更して2 回実験を行い，平均したものである.

## 4.2 実験結果

実験結果を表 2 に示す. rnd と書かれているもの は，学習中にデータに対して補間を行うかどうか をランダムで選択するモデル, sep と書かれている ものは，学習中にラベルありデータとラベルなし データをそれぞれ別々に補間するモデルである。ま た，+Wiki と書かれているものはラベルなしデータ として Wikipedia のデータを用いて半教師あり学習 を行ったものである.

表 2 から，TMixを用いたモデルの平均 $\mathrm{F}$ がべー スラインの BERT の平均 $\mathrm{F}$ を回っており, 隠れ層線形補間によるデータ拡張を用いることで，性能が 向上していることが読み取れる．また，ラベルなし データを用いて半教師あり学習を行ったモデルの全 てがベースラインの BERT よりも平均 $\mathrm{F}$ が高く, 少量かつ対象となる分野とは異なる分野のラベルな
しデータを用いているのみにもかかわらず，性能が 向上していることが確認できる．加えて，その中で も，Wikipedia のデータを用いて半教師あり学習を 行ったモデル（TMix +Wiki）の平均 $\mathrm{F}$ が最も高いこ とが確認できる.

## 5 分析と考察

表 2 の実験結果から，ラベルありデータのみしか 用いない場合 (TMix, TMix (rnd)), 学習中にデータ に対して補間を行うかどうかをランダムで選択する 方が性能が向上していることが確認できる。一方，同様のラベルなしデータを用いたモデルの中では,全ての入力データをまとめて補間するモデル（TMix +Wiki）の平均 $\mathrm{F}$ が最も高いことがわかる. これら の結果から，信頼度の高いラベルありデータのみで 線形補間を行う場合は，全てのデータではなく一部 のデータで補間を行う方が性能向上に役立つのに対 して，信頼度の低いラベルなしデータはそれ単体で 用いるのではなく，常にラベルありデータと補間し て用いることで，より分類モデルの性能を向上させ ることができると考えられる.

## 6 おわりに

本研究では，対象となる分野のラベルありデータ が少ないテキスト分類において，隠れ層線形補間を 用いたデータ拡張を行うことで，追加のデータを用 いることなく性能が向上することを示した．また，隠れ層線形補間をもとにして少量のラベルなしデー タと共に半教師あり学習を行うことで，さらなる性能の向上が図れることを示した。

## 参考文献

[1] Jiaao Chen, Yuwei Wu, and Diyi Yang. Semi-supervised models via data augmentation for classifying interactive affective responses. In AffCon, AAAI, Vol. 2614, pp. 151-160, 2020.

[2] Qizhe Xie, Zihang Dai, Eduard Hovy, Minh-Thang Luong, and Quoc V Le. Unsupervised data augmentation for consistency training. In NeurIPS, p. 14, 2020.

[3] Suchin Gururangan, Tam Dang, Dallas Card, and Noah A. Smith. Variational pretraining for semi-supervised text classification. In $A C L$, pp. 5880-5894, 2019.

[4] 勝又智, 小町守, 真鍋章, 谷本恒野. 障害レポートの 分類問題に対するデータ選択を用いた BERT モデ ルの精度向上. 言語処理学会 第 26 回年次大会, pp. 645-648, 2020.

[5] Jiaao Chen, Zichao Yang, and Diyi Yang. MixText: Linguistically-informed interpolation of hidden space for semi-supervised text classification. In $A C L$, pp. 2147-2157, 2020.

[6] Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. CoRR, Vol. abs/1710.09412, , 2017.

[7] David Berthelot, Nicholas Carlini, Ian Goodfellow, Nicolas Papernot, Avital Oliver, and Colin A Raffel. MixMatch: A holistic approach to semi-supervised learning. In NeurIPS, Vol. 32, pp. 5049-5059, 2019.

[8] Vikas Verma, Alex Lamb, Christopher Beckham, Amir Najafi, Ioannis Mitliagkas, David Lopez-Paz, and Yoshua Bengio. Manifold mixup: Better representations by interpolating hidden states. In ICML, Vol. 97, pp. 6438-6447, 2019.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In $N A A C L$, pp. 41714186, 2019
 山下 郁海 ${ }^{1}$ 小町 守 1 真鍋 章 2 谷本 恒野 ${ }^{2}$ 1 東京都立大学 2 富士電機株式会社 yamashita-ikumi@ed.tmu.ac.jp, komachi@tmu.ac.jp \{manabe-akira, tanimoto-kouya\}@fujielectric.com  