# BERT とGATを用いた金融テキストにおける 因果関係を含む文の判定

小林涼太郎 ${ }^{1}$ 坂地泰紀 ${ }^{2}$ 和泉 潔 ${ }^{2}$
1 東京大学工学部 2 東京大学大学院工学系研究科
b2022rkobayashi@socsim.org
\{sakaji, izumi\}@sys.t.u-tokyo.ac.jp

## 概要

金融分野に関わる大量のテキストデータを解析 し，人が認知する原因-結果関係についての記述を 自動的に抽出することで, 経済事象の要因列挙によ る投資判断の支援や，イベントの波及効果分析が可能となる.テキストから因果関係を抽出するタスク においては，因果関係の存在を示す手がかりとなる 表現への注目が有効であることが知られている。し かしながら，手がかり表現が因果関係以外の意味を 持つ場合もあり，それを取り除くために，文に因果関係が含まれているか否かを判定する手法が必要で ある. 本研究では，金融 BERT モデルと，入力文の 依存構造に対して適用される GAT の組み合わせに よる，新しい因果関係判定手法を提案する。

## 1 はじめに

近年, Web 上で入手可能なテキストデータは急速増大しており，自然言語処理技術を用いた，膨大なテキストからの情報抽出に注目が集まってい る [1]. 金融分野においても，決算短信・有価証券報告書・経済新聞記事・アナリストレポートなど投資家が入手可能なテキスト情報は常に溢れており，そ れら構造化されていないテキストデータから価值あ る情報を自動で抽出することのニーズは大きい [2].

金融テキストから情報を抽出し構造化する方法の 1 つとして, 原因-結果の組から構成される因果関係を検出し，表現対として抽出することが考えられ る. 決算短信や経済新聞記事においては, 因果関係 を含む文が頻出する．例えば，「ウクライナ情勢を めぐる地政学的リスクの高まりで, エネルギーや原材料価格が上昇する」といったものだ. こうした因果関係を大量纪収集することができれば，因果関係 ネットワークの構築や因果系列の提示によって，投資判断の支援，ニュースイベントの波及効果の分析 といった応用が可能となる $[3,4]$.

金融テキストからの因果関係抽出记いては，因果関係の存在を示す手がかりとなる表現の利用が有効だ $[5,6]$. 例えば，「レンタカー部門では，外出自粛の影響を受け，減収減益となりました.」という 文の場合，手がかり表現「を受け」を用いて，「外出自粛の影響」という原因表現と「(レンタカー部門 では，）減収減益となりました.」という結果表現を 抽出できる。しかしながら，手がかり表現は因果関係の存在を示すとは限らない。「健康のため，運動 する」という文の場合「「ため,」は原因結果関係の 明示ではなく，「目的や期待の向かうところ」を表 す。決算短信における具体例を表 1 亿示す。

したがって，手がかり表現を含む文に対して，そ の文が因果関係を含むか否かを高い精度で判定す ることが望まれる。本研究では，金融ドメインの 文書で追加で事前学習を行った金融 BERT モデル と，入力文の依存構造木に対して適用される Graph Attention Network (GAT) [7] を用いた判定モデルを提案する。決算短信と新聞記事データから構築した データセットを用いて評価実験を行い，提案手法の 有効性を確認した。

表 1 決算短信における，因果関係を含む文と含まない文 の例. 手がかり表現を太字で示す.

## 因果関係を含む文

-「ウクライナ情勢をめぐる地政学的リスクの高ま りで、エネルギーや原材料価格が上昇するなど、国内経済の先行きは不透明な状況が続きました。」

・「レンタカー部門では、外出自肃の影響を受け、減収減益となりました。」

因果関係を含まない文

・「お客様のニーズに的確に応えるため、ビジネス パートナーとの連携強化を進めてまいりました。」

## 2 関連研究

テキストからの因果関係抽出に関する研究は数多 く存在する. Girju [8] は英語の文書中の因果関係の 存在を示す表現を調査し，それらを手がかりに自動 で因果関係を検出・抽出する手法を提案している。坂地ら [9] は手がかり表現を含む候補文に対して，構文的な素性・意味的な素性を用いた機械学習手法 (SVM) でフィルタリングすることによって，因果関係を含む文を抽出している。

最近の研究では, BERT [10]のような事前学習済み 言語モデルを利用するものが多い. The 4th Financial Narrative Processing Workshop の FinCausal-2020 Shared Task ${ }^{1 ）}$ では，Task1 が英文金融ニュースにおける因果関係を含む文の判定であった. 様々な手法が提案されたが，その多くはBERT に基づくものであ る [11,12,13]. 例えば Ionescu らは，BERT を含む 5 つの事前学習済みの Transformer ベースのモデルを アンサンブルする手法で全体 2 位のパフォーマンス を記録している。

深層学習に基づくモデルの学習では，一般に大規模な教師データセット作成のためのコストがかかる が，事前学習済み言語モデルの利点は, 少数のデー タでファインチューニングして精度の高いモデルを 獲得できることである。一方で，関係抽出タスクに おいて, 文の依存構造情報の利用が有用であること が知られている [14]. 最近では, Graph Convolutional Network (GCN) [15] や GAT のようなグラフベースの モデルで依存木の構造を学習する手法が多く提案さ れている [16,17]. 本研究では, 事前学習済み言語モ デルとグラフベースのモデルの相補的な強みを活用 することで，金融テキストから因果関係を抽出する ための新しい因果関係文の判定モデルを提案する.

## 3 提案モデル

提案するモデルは, 金融ドメインの文書で追加事前学習を行った金融 BERT モデルと, 入力文のトークンの依存構造 (係り受けの構造) に対 して適用されるGATにより構成される. 本節で は, Graph Attention Network (GAT) の入出力につい て以下の表記を用いる. GAT において attention を 実現する graph attention layer は，グラフ構造および ノード特徵集合 $\boldsymbol{h}^{(l)}=\left.\{\boldsymbol{h}_{1}^{(l)}, \boldsymbol{h}_{2}^{(l)} \ldots, \boldsymbol{h}_{|V|}^{(l)}\right.\}, \boldsymbol{h}_{i}^{(l)} \in \mathbb{R}^{F}$ を入力として，新たなノード特徴集合 $\boldsymbol{h}^{(l+1)}=$

1) http://wp.lancs.ac.uk/cfie/fincausal2020/

図1提案モデルの全体図.

$\left.\{\boldsymbol{h}_{1}^{(l+1)}, \boldsymbol{h}_{2}^{(l+1)} \ldots, \boldsymbol{h}_{|V|}^{(l+1)}\right.\}, \quad \boldsymbol{h}_{i}^{(l+1)} \in \mathbb{R}^{F^{\prime}}$ を出力する. ここで $\boldsymbol{h}_{i}^{(l)}$ はノード $i$ の $l$ 層目の潜在表現を表す. また，|V|はノード数， $F, F^{\prime}$ は隠れ層の次元である.提案モデルの概要は図 1 に示す通りである。まず 入力文はトークン分割され，金融 BERT モデルに入力される．金融 BERT の最終層で得られるトークン 毎の埋め込み表現は, GAT のノード特徴集合の初期値 $\boldsymbol{h}^{(0)}$ となる. 各ノード (トークン) の特徴量は, GAT の各層で, 依存構造木上の近傍となるノード $N_{i}$ の特徴を用いて更新される. $L$ 層目の出力のノー ド特徴集合 $\boldsymbol{h}^{(L)}$ は， skip 接続で $\boldsymbol{h}^{(0)}$ が加算された 後に，全体の平均を取ることで読み出される。最後 に，線形層を適用することによって， 入力文が因果関係を含むか否かの予測を行う。

## 3.1 金融 BERT モデル

汎用言語コーパスで作成した事前学習モデルに，別のコーパスで事前学習を追加することを追加事前
学習と呼ぶ. 対象タスクのドメイン周辺のコーパス で追加事前学習を行うことで，タスクでの精度向上 が期待できる [18]. 本研究では, 日本語の汎用言語 コーパスを用いて事前学習された BERT モデルに，金融分野のテキストを用いて追加事前学習を行うこ とで構築される金融 BERT モデルを用いる.

## 3.2 Graph Attention Network

GAT [7] の $l$ 層目におけるノード $i$ の近傍ノード $N_{i}$ についてのメッセージ集約関数 $\boldsymbol{m}_{N_{i}}^{(l)}$ は, 次式で 表せる.

$
\boldsymbol{m}_{N_{i}}^{(l)}=\sum_{j \in N_{i}} \alpha_{i j} \boldsymbol{h}_{j}^{(l)}
$

ここで，attention スコアは以下で計算される.

$
\alpha_{i j}=\frac{e^{\operatorname{LeakyReLU}\left(\boldsymbol{a}^{T}\left[W^{(l)} \boldsymbol{h}_{i}^{(l)} \| W^{(l)} \boldsymbol{h}_{j}^{(l)}\right]\right)}}{\sum_{k \in N_{i}} e^{\operatorname{LeakyReLU}\left(\boldsymbol{a}^{T}\left[W^{(l)} \boldsymbol{h}_{i}^{(l)} \| W^{(l)} \boldsymbol{h}_{k}^{(l)}\right]\right)}}
$

$W^{(l)} \in \mathbb{R}^{F^{\prime} \times F}$ は各ノードの重み行列, $\boldsymbol{a} \in \mathbb{R}^{2 F^{\prime}}$ は重 みべクトルである。. $T$ は転置を，\|は連結を表す。 ノード $i$ の潜在表現は，次式のように更新される.

$
\boldsymbol{h}_{i}^{(l+1)}=\sigma\left(W^{(l)} \boldsymbol{m}_{N_{i}}^{(l)}\right)
$

ただし， $\sigma$ は活性化関数である.

本研究では，文内のトークンをノード，2つの トークン間の依存関係をエッジとするグラフ構造 をGATの入力とする. 各ノード特徴は, 金融 BERT モデルの出力として得られるトークン毎の埋め込 み表現で初期化される. 係り受け構造の解析は, 日本語以外の言語への拡張性を考慮して, Universal Dependencies (UD) [19] に基づいて行う.

(式 3)のように, graph attention layer では距離 1 の 近傍ノード $N_{i}$ のみを考慮して潜在表現を更新する。 したがって，L層に重ねた GATを適用することで，各トークンについて依存構造木上の距離 $L$ 以内の近傍を明示的に考慮した潜在表現を得ることができ る.このように構文情報を明示的に考慮し情報を集約する GAT を接続することによって，より精度高 く因果関係の有無を判定できることが期待される.

## 4 実験

## 4.1 データセットと前処理

データセットを作成して評価実験を行った. 用い たテキストデータは，決算短信・日本経済新聞記事 の 2 種類である。決算短信データは，適時開示情報表 2 因果関係の存在を示す手がかり表現. [6] に基づく.

閲覧サービズ ${ }^{2}$ から PDF 形式で取得した. 2012 年 から 2022 年までに企業が発行した決算短信から無作為に抽出し, PDF 中の「経営成績に関する定性的情報」が記載された部分をテキストデータに変換 して使用した. 日経新聞記事データは 1995 年から 2005 年に発行された記事から無作為に抽出して使用した. 各テキストデータは文単位で分割し, 因果関係の存在を示す手がかり表現を含む文のみを使用 した. 本研究では, Sakaji らの研究 [6] で獲得された 手がかり表現を用いた. それらを表 2 に示す.

抽出された文に対してアノテーションを行った.決算短信データについては， 1 人の評価者が各文に 対して因果関係を含むか否かを示すタグを付与し た. 日経新聞記事データについては, 5 人の評価者 がタグを付与し， 3 人以上が因果関係ありと判断し たものを正例・そうでないものを負例とした．結果 として, 決算短信データでは 1958 件 (うち 1429 件 で因果関係あり)，日経新聞記事データでは 2045 件 (うち 898 件で因果関係あり) の教師データを得た.

## 4.2 実験設定

金融 BERT モデルは，Suzuki ら [20] が公開する金融ドメインの文書で追加事前学習された BERT モデ ル3）を利用した. このモデルでは, 東北大学の乾研究室が公開する BERT モデル (Wikipedia 日本語記事 を学習 $)^{4}$ に対して, 決算短信・有価証券報告書の 2 種類の金融コーパスで追加事前学習を行っている. graph attention layer は 2 層に重ねて適用した。つ まり，依存構造木上の距離 2 以内の近傍を明示的に 考慮してノード特徴が更新される. また, 学習の安定性のため 2 ヘッドの multi-head attention を用いた.

表 3 評価実験の結果. Precision, Recall, F1 の計算方法はマクロである.

入力文の依存構造の解析には，UD に基づいて設計された NLP フレームワークである $\mathrm{spaCy}^{5}$ )を用い た. 2 つのトークン間における，主辞から修飾語へ の方向を持つ依存関係をエッジとするグラフ構造を GATの入力とした.

提案モデルの有効性を示すために，以下の手法を 比較手法として実験を行った.

BERT Wikipedia の日本語記事を用いて学習され た BERT モデル4)の最終層の出力のうち, 最初の トークン [CLS] に対応する出力に対して線形変換を 適用することで予測を行う。

金融 BERT金融 BERT モデル3)の最終層の出力 のうち，最初のトークン [CLS] に対応する出力に対 して線形変換を適用することで予測を行う.

BERT+GAT 提案モデルの金融 $\mathrm{BERT}^{3}$ モ モジュー ルを $\mathrm{BERT}^{4}$ に差し替えたモデルで予測を行う.

各データセットにおいて，64\%を学習データに， $16 \% を$ 検証データに，20\%をテストデータに割り 当てた. 学習データ内で 5fold の交差検証を行い,各 fold で検証スコアが最良の時のテストデータに 対するスコアを記録し，結果はその平均値を用い た. なお，全ての手法において，BERT モデルは Transformer 層の上部一層のみをファインチューニン グの対象とした。

## 4.3 結果と考察

実験結果を表 3 に示す。提案モデルである「金融 BERT+GAT」は，すべての指標・データセットで 3 つの比較手法の性能を上回った. また,「BERT」と $\lceil\mathrm{BERT}+\mathrm{GAT}\lrcorner, 「$ 金融 BERT」と「金融 BERT+GAT」 を比較すると，いずれのデータセットでも，すべて の指標で GAT を用いる手法の方が精度が高かった。 この結果は，GATを用いることで明示的に構文情報 を考慮する提案手法の有効性を示唆する。決算短信データセットにおいて，提案手法を用い ることによる，ベースライン手法 (「BERT」) から の精度向上が顕著であった. また，データセット間 で「金融 BERT」と「BERT+GAT」の結果を比較す ると，決算短信データセットでは，日経新聞記事の 場合よりも，金融 BERTを利用することによる性能 の向上が大きかった. このような結果の理由として は，金融 BERT の追加事前学習で用いる金融テキス トコーパス中に決算短信が含まれていることや，決算短信における記述がニュース記事よりも専門度が 高いものであるために，追加事前学習で金融特有の 専門単語を反映することがとくに有効であったとい うことが考えられる．全ての手法において日経新聞記事データの方が予測精度が高かったことからも，汎用言語コーパスで事前学習を行った BERT モデル の出力をそのまま利用する手法では，決算短信のよ うな比較的専門性の高い文書中から因果関係を抽出 することは難しいと示唆される。 そのような場合で も，金融 BERT とGAT を用いる提案手法によって，抽出精度を大きく向上できることが確認された。

## 5 まとめ

本研究では，事前学習済み言語モデルとグラフ ベースのモデルの相補的な強みを活用することで，金融テキストから因果関係を抽出するための，新し い因果関係文判定モデルを構築した. 金融分野のテ キストから構築したデータセットを用いて評価実験 を行うことで，提案手法の有効性が確認された．提案手法により, 金融分野のテキスト中から，より精度高く因果関係を抽出することが可能となる。

今後の課題としては，英語や中国語において同様 のデータセットを構築し，多言語に対応可能な判定 モデルを構築することなどを考える。


## 謝辞

本研究は JSPS 科研費 JP21K12010, JST未来社会創

造事業 JPMJMI20B1，及び JST さきがけ JPMJPR2267

の助成を受けたものです.

## 参考文献

[1] Jim Cowie and Wendy Lehnert. Information extraction. Commun ACM, Vol. 39, No. 1, pp. 80-91, 1996.

[2] B. Shravan Kumar and Vadlamani Ravi. A survey of the applications of text mining in financial domain. Knowledge-Based Systems, Vol. 114, pp. 128-147, 2016

[3] Kiyoshi Izumi and Hiroki Sakaji. Economic causal-chain search using text mining technology. In Proceedings of the 1st Workshop on Financial Technology and Natural Language Processing, 2020.

[4] Kiyoshi Izumi, Shintaro Suda, and Hiroki Sakaji. Economic news impact analysis using causal-chain search from textual data. In Proceedings of the AAAI-20 Workshop on Knowledge Discovery from Unstructured Data in Financial Services, 2020.

[5] Christopher S.G. Khoo, Jaklin Kornfilt, Robert N. Oddy, and Sung H. Myaeng. Automatic extraction of cause-effect information from newspaper text without knowledge-based inferencing. Literary and Linguistic Computing, Vol. 13, No. 4, pp. 177-186, 1998.

[6] Hiroki Sakaji, Satoshi Sekine, and Shigeru Masuyama. Extracting causal knowledge using clue phrases and syntactic patterns. In Proceedings of the 7th International Conference on Practical Aspects of Knowledge Management, 2008.

[7] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph attention networks. In Proceedings of the 6th International Conference on Learning Representations, 2018.

[8] Roxana Girju. Automatic detection of causal relations for question answering. In Proceedings of the ACL 2003 workshop on Multilingual summarization and question answering, 2003.

[9] 坂地泰紀, 増山繁. 新聞記事からの因果関係を含む文の抽出手法. 電子情報通信学会論文誌, Vol. 94, No. 8, pp. 1496-1506, 2011.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[11] Sarthak Gupta. Finlp at fincausal 2020 task 1: Mixture of berts for causal sentence identification in financial texts. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[12] Denis Gordeev, Adis Davletov, Alexey Rey, and Nikolay Arefiev.
LIORI at the FinCausal 2020 shared task. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[13] Marius Ionescu, Andrei-Marius Avram, George-Andrei Dima, Dumitru-Clementin Cercel, and Mihai Dascalu. UPB at FinCausal2020, tasks 1 \& 2: Causality analysis in financial documents using pretrained language models. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[14] Aron Culotta and Jeffrey Sorensen. Dependency tree kernels for relation extraction. In Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics, 2004.

[15] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[16] Yuhao Zhang, Peng Qi, and Christopher D. Manning. Graph convolution over pruned dependency trees improves relation extraction. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[17] Jie Yang, Soyeon Caren Han, and Josiah Poon. A survey on extraction of causal relations from natural language text. Knowledge and Information Systems, Vol. 64, No. 5, pp. 1161-1186, 2021.

[18] Suchin Gururangan, Ana Marasovic, Swabha Swayamdi-pta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020

[19] Ryan McDonald, Joakim Nivre, Yvonne Quirmbach-Brundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2013.

[20] Masahiro Suzuki, Hiroki Sakaji, Masanori Hirano, and Kiyoshi Izumi. Constructing and analyzing domain-specific language model for financial text mining. Information Processing and Management, Vol. 60, No. 2, p. 103194, 2023.
 小林涼太郎 ${ }^{1}$ 坂地泰紀 ${ }^{2}$ 和泉 潔 ${ }^{2}$ 1 東京大学工学部 2 東京大学大学院工学系研究科 b2022rkobayashi@socsim.org \{sakaji, izumi\}@sys.t.u-tokyo.ac.jp  