# ツイート感情分析タスクにおける BERT を用いたデータ蒸留によるラベル偏りの改善

山城颯太 ${ }^{1}$ 山下達雄 ${ }^{1,2}$
${ }^{1}$ ヤフー株式会社 ${ }^{2}$ Yahoo! JAPAN 研究所
\{soyamash, tayamash $\}$ @yahoo-corp. jp

## 概要

Yahoo!リアルタイム検索iではユーザによって検索されたツイート群に対して感情の極性判定を行い, その統計結果を示す感情分析機能を提供している.本研究ではこの感情分析機能のシステム刷新に伴っ て発生したアノテーション済み学習データのラベル 偏りの問題と, これに対して行った BERT を用いた データ蒸留によるラベル偏り改善の取り組みについ て報告する。

## 1 はじめに

ユーザによって生成されたコンテンツ（UGC）に 対して感情の極性を判定することによって，すでに 提供されているサービスの内容に新たな付加価値を 提示し，よりユーザにサービスへの興味を持っても らうことができると考えられる。

その具体的な事例の一つとして, Yahoo!リアルタ イム検索がある. 本稿ではこの感情分析機能の刷新 に伴って発生したアノテーション済み学習データの ラベル偏りの問題と, それに対して行った BERT を 用いたデータ蒸留の取り組みについて報告する.

## 1.1 リアルタイム検索と感情分析

Yahoo! リアルタイム検索はインターネットで広く 使われている代表的な SNS である「Twitter」のツ イートを対象として始まった検索サービスである。 2011 年 6 月にサービスが開始され, 現在も継続して 運用されている.

検索以外に, その時々のバズトピックとそれに対 する感情分析情報を提供する機能がある，バズトピ ックは，ツイートに含まれる，一定時間内に急激に 頻度が増大したキーワード（トレンドワード）をべ一スに自動的にまとめられる。バズトピックに含ま れるツイートの感情ラベルを集計した「感情の割合」 も提示される．感情ラベルは検索対象となるツイー トすべてに対し，感情分析機能により自動付与され る（個別ツイートの感情ラベルは現在ユーザには提示されない)。

本稿では，置き換え対象（比較対象）である感情分析機能を「旧モデル」と呼ぶ。旧モデルは文献[1] のものが基本となっているが，正解ラベル付きツイ 一トの使用量や細かなロジックなど若干の変更はあ る.

## 2 データセット

本研究で使用した正解ラベル付きツイートは，リ アルタイム検索でトレンドワードとして選ばれた検索語を含むツイートから抽出し, それらに感情ラべ ル（ポジティブ・ネガティブ・ニュートラル）を 3 人のアノテータが付与したものである。作成時期と ラベル決定方法の異なる 2 つのデータセットがある.
- データセット 1: 約 5 万件. ツイートの時期 は 2013 年ごろ. アノテータ 3 人の付与した ラベルが一致したツイートのみを用いる。主 に学習データとして用いた.
- データセット 2: 約 800 件. ツイートの時期 は 2020 年前半. 主に評価データとして用い た.

データセット 2 には約 50 のトレンドワードが含 まれる。それぞれのトレンドワード（トピック）に 対してアノテータがそのトレンドワードを含むツイ 一トを見て感情ラベルを付与している。
^{i}$ https://search.yahoo.co.jp/realtime
}
判定数の分布

正解旧モデル 新モデル

図 1 モデルごとの出力ラベル比率

## 3 ラベル偏りの問題

データセット 1 を学習データとし, ポジティブ・ ネガティブ・ニュートラルを出力する多クラス分類 モデルを作成した。これを「新モデル」と呼ぶ. こ こでは推論速度とメモリ使用量の観点からシンプル な形態素ベースの線形分類器を採用した。作成され たモデルでデータセット 2 の各ツイートにラベル付与し，精度評価を行ったところ，旧モデルと同等の 精度を達成した. しかしその一方で, Recall 不足が 確認された. この原因についての考察を以下に述べ る.

## 3.1 モデルごとのラベル出カの偏り

図 1 にデータセット 2 のツイート群に対する旧モ デルと新モデルの出力ラベルの比率を示す. 一番左 の棒群は人手で付けられたアノテーションラベル （正解）であり，ここではポジティブ・ニュートラ ル・ネガティブの比率が大体等しくなるようツイー トが収集されたことがわかる.

中央の棒群は, 同じツイート集合に対する旧モデ ルの出力ラベルの比率を示している. 人手ラベルの 分布と比べて少々ネガティブの出力数が多いが，比較的人手ラベルと似たラベル比率である．ただし， ここでは人手ラベルとの一致（正誤）は見ず，あく まで出力されたラベルの比率だけに着目しているこ とに注意されたい。

一番右の棒群が新モデルの出力ラベル比率である.一目でわかるように, ニュートラルの出力数がずば 抜けており，ツイート全体の約 $75 \%$ 占めている

（Recall 不足）。これは明らかに均等な出力とは言 えない.

## 3.2 学習データのラベルの偏り

3.1 節で述べた問題が起きた理由を我々は精査し, その原因が今回使用した学習データにあるという仮説を立てた。

データセット 1 の約 5 万件のツイートに付けられ た人手ラベルを改めて観察したところ, ポジティブ・ ニュートラル・ネガティブの比率が大体 1:5:1 にな ることがわかった. つまりモデルの側からしてみれ ば，与えられたツイートに対して無条件にニュート ラルさえ出力しておけば，ツイート内容を考慮せず とも 5/7（約 71\%）の確率で正解できてしまうとい うことになる.そのためモデルは自身の Accuracy を 上げるために，出力すべきラベルの確信が持てない ツイートに対してはニュートラルを比較的多く出力 するようになる，実際，改めて図 1 を見直すと，新 モデルの出力比率は 1:5:1 に近そうに見える。この 偏りは，学習データ中のラベル出現比率を過学習し てしまった結果だと言える.

## 3.3 アノテーションの難しさ

ではそもそもなぜ，今回の学習データはそのよう な偏りの大きいラベル比率（imbalanced data） にな ってしまっているのか. もちろん, Twitter 中の真の ラベル比率自体が偏りを抱えていることも原因の一 つであると考えられる。 しかし今回使用している学習データは真のラベル比率以上の偏りを抱えている ように見受けられた。 そしてその大元をたどれば， ツイートの印象を推定するというタスクそのものの 難しさに原因があると言える。

たとえば，「今日のお昼はカレーだった。大盛り 無料で嬉しかった。だけど最後まで食べきれず残念 …‥というツイートのラベルは何かを考える。一文目だけなら出来事を報告しているだけなのでニュ ートラル．二文目も含めて読むなら「嬉しかった」 と言明しているのでポジティブ. しかし三文目まで 着目すると「残念」と言明しているのでネガティブ. このように，一つのツイート中にさまざまな印象が 入り乱れている.ここに挙げたツイートは作例だが， これと同様に Twitter には皮肉や自虐など判定の難 しいツイートが多く含まれている。また絵文字や感嘆符など，その包含によってツイートの印象が大き く変わる文字も多く出現する.

この難しさは人手で正解ラベルを付ける場面にも 直接影響している。今回は学習データとしてデータ セット 1 の約 5 万件のツイートを用いていたが，こ れはもともと約 25 万件のツイートそれぞれに 3 人 の人間によって正解ラベルが付けられたのち, 3 人 とも同じラベルを選んだツイートのみを集めたもの である。 つまり残りの約 20 万ツイートについては, 3 人の付けたラベルが完全一致しなかったというこ とである.

その結果, 集められた約 5 万件のツイートについ ては,『複数人の人手ラベルが一致しやすいデータ』 というサンプル選択の偏り（sample selection bias）が 掛かっていると考えられる。その偏りが，このデー 夕を用いて学習させたモデルの予測結果において，出力ラベルの極端な比率として現れたのだと考えら れる。

## 4 対処手法

3 節で述べた問題に対して，我々は BERT を用い たデータ蒸留によるオーバーサンプリングを行うこ とで対処した. BERT とは Transformer ベースの事前学習済み言語モデルであり, 目的タスクに応じて追加で fine-tuning を行う手法である [2]. これを用いた 我々の対処手法の詳細を以下に報告する。

## 4. 1 オーパーサンプリング

偏りの大きいラベル比率（imbalanced data）に対す るシンプルな手法としてはオーバーサンプリングが 考えられる.これは比較的量が少ないラベル (今回 の例で言えばポジティブとネガティブ）のデータを 改めて収集・追加することで，学習データ中のラベ ル比率を調整する手法である.

しかし，ここでデータを追加するということはす なわち, 新たに集めたツイートに対して追加で人手 ラベルを付与する必要があるということである. 数万件のラベル付けとなればその人手コストは無視で きないほど甚大なものになる.

## 4. 2 BERT を用いたデータ蒸留

そこで我々は，BERT を使用することで，このラ ベル付け作業を自動化した. 我々が BERTを用いた 手順は以下のようになる.

（1）まず，手元にある約 5 万件のデータを用いて BERT を学習させる。（2）次に，新たに収集したツ イート約 200 万件に対して BERTによる推論を行い，

図 2 データ追加後の出カラベル比率

ここで付与されたラベルを擬似的な正解ラベルと見 なす.（3）それから，BERTによって付けられたラ ベルがポジティブ・ネガティブであるツイートをそ れぞれ数千 数万件ずつ集め, もともとの約 5 万件 の学習データに追加する。（4）最後に，この新たな 学習データを用いて我々のモデルを学習させる.

この一連の手順（この手法はデータ蒸留[3] と呼ば れている）を踏むことで，我々の新モデルはもとも との学習データに含まれていたラベル偏りの影響を 大幅に軽減することができた.

## 5 比較評価

## 5.1 出カラベルの比率の改善

実際にどれほど出力ラベルの比率が改善されたか を図 2 に示す.

一番左の棒群は，ランダムにサンプリングした 1,000 ツイートに対する置き換え対象のモデル (旧モ デル) の出力ラベルの比率を示している. 左から二番目の棒群は，同じツイート集合に対する何も手を 加えていない今回新たに作成したモデル (新モデル) の出力ラベルの比率を示している. 右から二番目の 棒群は新モデルの学習データにポジティブと判定さ れたツイートを 4,000 件，ネガティブと判定された ツイートを 4,000 件追加した時の出力ラベルの比率 を示している。一番右の棒群は新モデルの学習デー タにポジティブと判定されたツイートを 60,000 件, ネガティブと判定されたツイートを 15,000 件追加 した時の出力ラベルの比率を示している。学習デー タにおけるポジティブ・ネガティブツイートの量を 増やせば増やすほど，よりニュートラルの出力が減 り，代わりにポジティブ・ネガティブの出力が増え ていることがわかる. この出力ラベル比率の改善は 最終的な精度の改善に直結するものと考えられる。

## 5.2 自動評価の限界

では実際のところ，どれほどの擬似ラベル付きデ 一タを追加すればいいのか。一つの案として，学習 データの一部をあらかじめテストデータとして確保 しておき，このデータに対する自動評価スコアが最大になるような追加量を求めることが考えられる. しかし，おそらくこの部分データ自体もラベル偏り を含んでいるため，必ずしも正確な評価ができると は限らない. 理想的には, Twitter 中の真のラベル比率をどうにか観測し，これと一致するように訓練デ 一タの比率を調整したい。しかし，そもそもツイー 卜に対して付けられる人手ラベル自体がほとんど一致しないため, 真のラベル比率はどうしようとも正確に観測できるものではないと考えられる.

## 5.3 人手モデル選択・トピック単位評価

そこで我々は人手での評価に基づいてこのデータ 追加量を決めた. 具体的には $1,000 \sim 5,000$ 件刻みで データ量を変化させたモデルを約 60 種類用意した. このらち最も人間の感覚と近い出力ができていそう なモデルを 5 種類選出し, これらを用いて最終的な 決定のためにトピック単位の比較評価を行った.

各モデル出力の評価にはデータセット 2 のトピッ ク単位の正解ラベルを用いた。これはサービスの利用実態に近い形にするためである. ツイートごとに 自動付与された感情ラベルをトピックごとに集計し，一番頻度が高いものをそのトピックの感情ラベルと し，これをトピックの正解ラベルと比較することで 精度を出した. 表 1 に今回のいくつかのバリエーシ ョンと旧モデルによるトピック単位の Accuracy を 挙げる. 最終的には，ポジティブ (P) 60,000 件, 二 ユートラル (O）2,000 件, ネガティブ（N）45,000 件 のデータ追加を行った新モデルを採用した。

## 6 おわりに

本稿では Yahoo! リアルタイム検索の一機能であ る感情分析機能の刷新に伴って発生したアノテーシ ヨン済み学習データのラベル偏りの問題と, それに 対して行ったオーバーサンプリングの取り組み，そ の評価に際して行った人手でのラベル比率の調整, トピック単位評価について報告した.表 1 トピック単位の評価結果

本稿で示された手法は，BERT を教師モデルとす るデータ蒸留によって, 従来のオーバーサンプリン グに必要とされる人手アノテーションのコストを大幅に下げ，かつ柔軟なラベル比率の調整を可能とし たものである.

今回報告した範囲では，あくまで簡易な比較評価 のみを行っており，より高性能なモデルとの比較や 詳細な評価・分析はまだ十分に行えていない. しか し，実際にサービスに提供した範囲では，旧モデル と比べて遜色ない Precision・Recall・速度を示して おり，もとの目的であったモデル刷新の観点では十分な性能を示している.

## 参考文献

1. ヤフージャパンのリアルタイム検索における感情分析. 野畑 周, 内藤 弘朗, 清水 徹. 第 5 回 テキストマイニング・シンポジウム, 2014.

2. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT, 2019, pp. 4171-4186.

3. Ilija Radosavovic, Piotr Dollár, Ross Girshick, Georgia Gkioxari, and Kaiming He. Data Distillation: Towards Omni-Supervised Learning. In Proceedings of CVPR, 2018, pp. 4119-4128.
 山城颯太 ${ }^{1}$ 山下達雄 ${ }^{1,2}$ ${ }^{1}$ ヤフー株式会社 ${ }^{2}$ Yahoo! JAPAN 研究所 \{soyamash, tayamash $\}$ @yahoo-corp. jp  