# RoBERTa を用いた経済不確実性のテキスト分類

桑名祥平 佐々木稔
茨城大学 工学部 情報工学科
19t4026r@vc.ibaraki.ac.jp minoru.sasaki.01@vc.ibaraki.ac.jp

## 概要

近年，新聞記事や SNS などに含まれる政治や経済 に関連するテキストを対象として様々な分析を行う 研究が盛んにおこなわれている。本論文では経済分野の中で、経済指標について焦点を当てた。GDP や 消費者物価指数といった社会経済を表す指標が多数存在するなかで、テキストデータを用いた指標も注目され始めている。その中で、”経済政策不確実性指数” と呼ばれる現状の社会経済が持つ不確実な要因 を数値化した指標に着目し、入力したテキストデー 夕に対して機械学習手法を用いて不確実性を持つか どうかを分類する手法を提案する。提案手法は RoBERTa を用いて二値分類問題を解くもので、不確実性を持つテキストと持たないテキストにラベル付 けされた訓練データで分類モデルを学習し、得られ た分類モデルにテキストを入力して不確実性を持つ かどうか分類する。ラベル間のテキストの類似度も 考慮したデータセットを用いることで、モデル性能 の向上を確認した。

## 1 はじめに

近年, デバイスの小型化や大容量化、通信の高速化などにより、あらゆる分野においてデータを活用 する動きが活発である。従来は人手で行われていた 活動もデータを用いた自動処理に置き換わることも 多くある。中でも近年着目されている技術が、経済分野を対象としたテキストデータの分析である。日本には国内総生産や景気動向指数、企業物価指数 などの経済指標があり、これらの指標は莫大な時間 とコストをかけて算出されている。そのような指標 の中で、大量の新聞記事のテキストデータを用いた 経済指標のひとつとして” 経済政策不確実性指数” というものが存在する。この指数の算出に用いられ るテキストデータは、経済に関する新聞の中でも、不確実性に言及している記事のみであり、人手で抽出するには専門的な知識と経験が必要である。そこ
で、本稿では、経済政策不確実性の算出に用いられ る新聞記事を抽出するために、入力された記事に対 して不確実性についての記述があるかどうかを自動的に判別する手法を提案する。具体的には、経済に 関する新聞記事のテキストデータの中で、不確実性 に言及されているか否かをラベルで表現し、RoBERTa を用いて二值分類問題として分類モデルを学習し、入力テキストに対してこの分類モデルを用いて不確実性の言及があるかどうかを分類する。実験では、 データセットの各文章をベクトル化し、ラベル間の 類似度によって評価データに対する判別の正解率が どのように変化するのか、また適切なデータセット はどのようなものなのかを調査した。ラベル間の類似度に関する説明は 3 章 2 節を参照されたい。

## 2 関連研究 - 関連手法

テキストデータから経済指標を算出する研究は盛 んにおこなわれている。景気ウォッチャー調査と呼 ばれる日本各地でとられた経済に関する 5 段階の評価と選択理由を学習データ、テストデータに日経新聞を用いたセンチメント分析による指標を構築した 研究[1]や、日本銀行が発行するテキストに対してト ピックモデルやニューラルネットワークを用いて指標を構築した研究[2]、さらに本稿でも扱う、新聞記事に含まれる不確実性について指数化した経済政策不確実性指数 [3]などさまざまである。

本稿の先行研究[4]では、経済政策不確実性指数の 算出に用いられる不確実性を含むテキストの抽出を 行っている。具体的には、経済に関する新聞記事の データセットを用意し、不確実性に言及があるもの はラベル 1、それ以外を 0 として、SVM や Bidirectional RNN、BERT, DistilBERT, RoBERTa など 複数のモデルで学習し、比較を行っている。 $\mathrm{F}$ 值が 最も高かったモデルは RoBERTa であったため、本稿でもこのモデルを採用している。

## 3 提案手法

実性に言及されている文章を抽出する方法を紹介す る。

3 節では, 新聞記事のテキストデータから、不確

図 1 : 提案手法の概略

## 3. 1 概要

図 1 に提案手法の概略図を示す。前段階として、経済に関する英字の新聞記事のデータセットを作成 している。そして前処理を行い、データセットのう ち $80 \%$ 学習データ、20\%をテストデータと検証デ 一タとしている。機械学習では、BERT の派生であ る RoBERTa を採用し、ファインチューニングを行 っている。

## 3.2 データの前処理方法

自然言語処理や画像処理の分野では、ノイズや欠損、エラー值などが存在するため、前処理を行うこ とが一般的である。今回の処理の中でも前処理を行 っている。具体的には、経済に関する新聞記事のデ ータセットを用意し、大文字小文字の処理や省略文字、不必要な記号の削除等を行っている。次に新聞記事に含まれる不確実性のラベリングである。テキ ストの中にキーワードとして "uncertain”, “uncertainty”、または同様の意味である”unclear”, “unpredictable"などの単語が含まれている場合には ラベルを 1 ，それ以外のテキストには 0 をラベル付 けしている。テストデータ、検証データに関して、 ラベルが 1 のテキストに含まれる上記の単語群は省 く処理をしている。

上述のように前処理としてラベリングを行ったが、経済政策不確実性に言及があるテキストは、記事全体のうちおよそ $5 \%$ ほどであった。学習の際にはラ ベル間の比率は $1: 1$ で行うため、学習に使用しない ラベル 0 のデータが大量に余る。そこで、Google News データセットの学習済み単語ベクトル用いて 各文章に対して 300 次元のベクトル化を行った。 1 文の単語の集合を $S=\left.\{w_{1}, w_{2}, \ldots w_{n}\right.\}$ とすると、 1 文章のベクトル $V$ 和は以下の式で表せる。

$
V=\sum_{w_{i} \in S} v_{w_{i}}
$

ここで 1 文のベクトル $V$ は 300 次元のベクトルであ る。 $V=\left.\{x_{1}, x_{2}, \ldots x_{n}\right.\}$ とし、(1)の式を正規化すると 以下の式で表せる。

$
\begin{gathered}
V s=\frac{V}{|V|} \\
|V|=\sqrt{\sum_{k=1}^{300} x_{k}^{2}}
\end{gathered}
$

ラベル 1 のテキストのベクトルの代表值を作り、各 ラベル０のベクトルとコサイン類似度を取る。ラベ ル 1 のテキストのベクトルの集合を $V=$ $\left.\{v_{11}, v_{12}, \ldots v_{1 n}\right.\}$ とする、ラベル 1 のベクトルの総和 $V_{1}$ は

$
V_{1}=\sum_{v_{1 i} \in V} v_{1 i}
$

(2)，(3) 同様に総和を正規化するとラベル 1 のベク トルの代表值が得られる。

$
\begin{gathered}
V=\frac{V_{1}}{\left|V_{1}\right|} \\
\left|V_{1}\right|=\sqrt{\sum_{k=1}^{300} x_{k}^{2}}
\end{gathered}
$

（5）でえられたラベル 1 の代表値 $V$ と、各ラベル 0 の テキストに割り振られた (2) 式の $V_{s}$ のコサイン類似度を取ると、あるラベル 0 のテキストとラベル 1 の 代表値の類似度は以下の式で表せる。

$
\cos _{V_{1} V}=\frac{V_{s} \cdot V}{\left|V_{s}\right||V|}
$

（7）で得られた値がラベル間の類似度である。

## 3.3 エンコード手法

先行研究の結果から、ラベル付きのテキストデー タから分散表現を求めるためのエンコード手法とし て RoBERTaを用いる。事前学習済みモデルは roberta-base を採用している。学習時の各パラメータ を以下の表 1 に示す。

表 1, RoBERTa のパラメータ

## 4 実験

## 4. 1 データセット

本実験で使用するデータセットは、マイクロソ フトが提供するマイクロソフトニュースに関するデ
ータセットである MIND'に加え、ロイター通信の 過去の新聞記事の二つのテキストデータにラベリン グ、類似度の振り分けを行ったものである。2二つ のテキストデータではあらかじめ経済に関するテキ ストのみを抽出しており、約 11000 件のデータセッ トとなっている。データセットの内訳は、ラベル 1 が 476 件、ラベル 0 のデータが 10740 件となってい る。ラベル 0 のデータセットにおける類似度別の内訳を以下の表 2 に示す。本実験では、476 件のラベ ル 1 のデータ 476 件に対して、約 11000 件のラベル 0 のデータから類似度別に 476 件を抽出し学習、評価を行う。具体的には、ラベル 1 との類似度が 0.9 以上のラベル 0 のテキストのみを抽出し学習すると いった流れである。類似度が 0.7 以下のデータセッ トは、ラベル 1 の件数よりも下回るため、対象外と している。

表 2. ラベル 0 の類似度別件数

## 4. 2 評価方法

評価の方法としては、データセットを分割し、複数回実行する K 分割交差検証を行う。特に今回は分割するデータセットのラベルの偏りを無くすために 層化 $\mathrm{K}$ 分割交差検証で評価を行う。今回の実験では 分割数を 5 に設定しているため、データセットを 5 分割し $80 \%$ を学習データ、 $20 \%$ をテストデータとし て 5 回実行し、 $\mathrm{F}$ 值の平均値を取り評価を行う。ラ ベルが 0 のデータに関して、データセットから無作為に抽出したデータセット「類似度高」、「類似度低」、「高低 $5: 5$ 」, 「高低 $3: 7$ 」, 「高低 $7: 3$ 」,「類似度 0.9 以上」, 「類似度 0.8 以上 0.9 未満」,「類似度 0.7 以上 0.8 未満」である。ここで類似度高、類似度低は、データセットを類似度でソートし
^{1}$ MIND データセット https://msnews.github.io/

2 ロイターニュースデータセット

https://archive.ics.uci.edu/ml/datasets/reuters-

21578+text+categorization+collection
}

たときの上位と下位という意味である。

## 5 実験結果

4.2 で紹介した類似度別の 8 パターンについて、 $\mathrm{f}$ 值による評価の実験結果を以下の表 3 に示す。

表 3. 各 $\mathrm{f} 1$ 值

## 5. 1 先行研究との差異

先行研究では、ラベル 1, ラベル 0 の比率が 1:4 で行われており、最も高い $\mathrm{F}$ 值を出した RoBERTa で 0.45 であった。本実験では、ラベル間の類似度 を考慮しない実験で $\mathrm{F}$ 値 0.74、ラベル 0 に関して 類似度の低いデータを抽出し学習した場合には $\mathrm{F}$值は 0.96 と先行研究よりも高いスコアを確認し た。

## 5.2 類似度による影響

今回の実験ではラベル比率を $1: 1$ で固定し、デ ータセットのテキストの類似度に着目して学習を行 った。結果、類似度が低いテキストを多く取り入れ ると $\mathrm{F}$ 值は無作為抽出よりも 0.2 ほど上昇した。反対に、似度が高いテキストを多く取り入れると $\mathrm{f}$ 値
は 0.3 ほど低い值を示した。類似度のパーセンテー ジで見た際に、ラベル 1 とラベル 0 の類似度が $90 \%$ を境に F 值が大幅に変化していることが見て取れる。 この結果は、ラベル間の類似度が高い場合、分類の 際の境界が曖昧になり正しく分類できず、反対に類似度が低い場合には境界が明確であるから正しく分類できると予想できる。

## 6 終わりに

本稿では、経済政策不確実性指数の算出に用いら れる不確害性に言及のあるテキストを RoBERT のフ アインチューニングを用いた二値分類問題での抽出 を行った。実験では先行研究での $\mathrm{F}$ 值を上回る結果 となった。先行研究の $\mathrm{F}$ 値を上回った理由は、ラべ ルの比率を均一にしたこと、データセットを類似度別で作り学習したことなどが考えられる。

## 参考文献

[1] K. Seki et al. (2022). "News-based business sentiment and its properties as an economic index" . SienceDirect.

[2] K. Yono., \& K. Izumi. (2017). "Real time sentiment analysis of Bank of Japan using text of Financial report and macroeconomic index”. The 31st annual Conference of the Japanese Society for Artificial Intelligence.

[3] R. Baker et al. (2016). "Measuring economic policy uncertainty”. The Quartwrly journal of economics. Vol.131. issue 4.

[4] Godbole. S. et al. (2020, 7, February). "Economic uncertainty Identification Using Transformers - Improving Current Methods" . Seminar Information Systems(WS19/20).
 桑名祥平 佐々木稔 茨城大学 工学部 情報工学科 19t4026r@vc.ibaraki.ac.jp minoru.sasaki.01@vc.ibaraki.ac.jp  