# A resource of sentence analogies on the level form extracted from corpora in various languages

Rashel Fam Yves Lepage
早稲田大学大学院 情報生産システム研究科
fam.rashel@fuji.waseda.jp yves.lepage@waseda.jp
}

\begin{abstract}
Word analogy datasets are commonly used to assess the quality of word embeddings. As the NLP tasks are going more and more towards sentences and beyond, vector representation of these units is becoming more and more vital to the performance of the system. However, there are not so many datasets available for sentence analogy. In this paper, we release a resource of analogies between sentences extracted from two corpora: Tatoeba and Multi30K. The analogies are extracted in various European languages.
\end{abstract
## 1 Introduction

I like coffee : I like tea :: I like hot coffee : I like hot tea $\Leftrightarrow$

I like hot coffee : I like hot tea :: I like coffee : I like tea $\Leftrightarrow$

I like coffee : I like hot coffee :: I like tea : I like hot tea

Figure 1 Examples of analogy on sentences with their equivalent analogies derived from properties of analogy mentioned in Section 1: symmetry of conformity and exchange of the means.

Analogy is a relationship between four objects: $A, B$, $C$ and $D$ where $A$ is to $B$ as $C$ is to $D$. It is noted as $A: B:: C: D$. As our work relates to strings, $A, B, C$ and $D$ are all strings (sequence of characters). This notation means that the ratio between $A$ and $B$ is similar to the ratio of $C$ and $D$. In another way, an analogy is a conformity of ratios between the four strings, as shown in Formula (1). Figure 1 gives examples of analogy between sentences.

$
A: B:: C: D \stackrel{\Delta}{\Longleftrightarrow}\left.\{\begin{array}{l}
A: B=C: D \\
A: C=B: D
\end{array}\right.
$

In this paper, we adopt the definition of formal analogies between strings of symbols as found in $[1,2,3]$.

## 2 Number of analogies in a text and analogical density

We address the theoretical problem of counting the total number of analogies in a given text. The following section will introduce two main metrics used in this work.

## 2.1 Analogical density

The analogical density $\left(D_{n l g}\right)$ of a corpus is defined as the ratio of the total number of analogies contained in the corpus $\left(N_{n l g}\right)$ against the total number of permutations of four objects that can be constructed by the number of sentences $\left(N_{s}\right)$.

$
D_{n l g}=\frac{N_{n l g}}{\frac{1}{8} \times N_{s}^{4}}=8 \times \frac{N_{n l g}}{N_{s}^{4}}
$

The factor $1 / 8$ in the denominator comes from the fact that there exist 8 equivalent forms of an analogy due to two main properties of analogy:
- symmetry of conformity: $A: B:: C: D \Leftrightarrow C: D::$ $A: B$, and
- exchange of the means: $A: B:: C: D \Leftrightarrow A: C::$ $B: D$.

## 2.2 Proportion of sentences appearing in analogy

We count the number of sentences appearing in at least one analogy $\left(N_{s \_n l g}\right)$ and take the ratio with the total number of sentences in the corpus $\left(N_{s}\right)$ to get the proportion of sentences appearing in at least one analogy $(P)$.

$
P=\frac{N_{s \_n l g}}{N_{S}}
$

## 3 Original corpora

We consider two corpora to use in this work, Tatoeba and Multi30K. These two corpora are available on the web and
already heavily used by the natural language processing community.
- Tatoeba ${ }^{1)}:$ is a collection of sentences that are translations provided through collaborative works online (crowd-sourcing). It covers hundreds of languages. However, the amount of data between languages is not balanced because it also depends on the number of members who are native speakers of that language. Sentences contained in Tatoeba corpus are usually short. These sentences are mostly about daily life conversations.
- Multi30K ${ }^{2)}[4,5,6]$ : is a collection of image descriptions (captions) provided in several languages. This dataset is mainly used for multilingual image description and multimodal machine translation tasks. It is an extension of Flickr30K [7] and more data is added from time to time, for example, $\mathrm{COCO}$ datase $^{3}$ ).

Table 1 provides the statistics on Tatoeba and Multi30K. As an overview, Multi30K has two times number of tokens in a sentence in comparison to Tatoeba, These two corpora can be characterised based on the diversity of the context of the sentence it contains. Multi30K is a corpus with diverse contexts. In comparison to that, sentences contained in Tatoebaare less diverse. Tatoeba is mostly about daily life conversation. We expect that corpus with less diversity of context will share words between sentences more often. Thus, it will have more analogies and higher analogical density.

Let us now compare the statistics between languages. English has the lowest number of types. Finnish, Polish and Czech always have the highest number of types for around two times higher than English across the corpora. We can observe that language with poor morphology has fewer of types and hapaxes. On the contrary, languages with high morphological richness have less number of tokens due to richer vocabulary. These languages also tend to have longer words (in characters). One can easily understand that with richer morphological features we will have a higher vocabulary size. The consequence of this is that the words will be longer. We also observe that a higher number of types means lesser words to repeat (higher Type-Token-Ratio). Thus, the number of tokens

will be lower.

However, we also see that there are some interesting exceptions. In this case, French and German. French has a higher number of tokens than English despite having a higher vocabulary size. The high number variety of function words (propositions, articles, etc.) in French is probably one of the explanations of this phenomenon. As for German, it has a pretty high average length of type in comparison to other languages. This is maybe caused by words in German are originally already longer. German is known to glue several words as a compound word.

## 4 Newly created sentence analogy dataset

## 4.1 Extraction of analogies

To extract analogies from a corpus, we rely on an already existing tool described in [8]. It relies on the equality of ratios as the definition of analogy.

Each sentence in the corpus is represented as a vector shown in Formula (4). We use the notation $|S|_{c}$ which stands for the number of occurrences of token $c$ in string $S$. The number of dimensions of the vector is the size of the alphabet or the vocabulary, depends on the tokenisation scheme (See Section 4.2).

$
A \triangleq\left(\begin{array}{c}
|A|_{t_{1}} \\
|A|_{t_{2}} \\
\vdots \\
|A|_{t_{N}}
\end{array}\right)
$

The conformity between ratios of strings is defined as the equivalent between the two vectors of ratios. See Formula (5).

$
A: B:: C: D \quad \stackrel{\Delta}{\Longleftrightarrow}\left.\{\begin{array}{l}
A: B=C: D \\
A: C=B: D
\end{array}\right.
$

Pairs of strings representing the same ratio can be grouped as an analogical cluster. Please refer to Formula (6). Notice that the order of string pairs has no importance.

$
\begin{array}{ccc}
A_{1}: B_{1} & & \\
A_{2}: B_{2} \\
\vdots & \stackrel{\Delta}{\Longleftrightarrow} & \forall(i, j) \in\{1, \ldots, n\}^{2}, \\
A_{i}: B_{i}:: A_{j}: B_{j}
\end{array}
$

Table 1 Statistics on Tatoeba and Multi30K.

Table 2 Example sentences (lowercased and tokenised) randomly chosen from corpora used in the experiment. Sentences contained in the same corpus are translations of each other in the other languages.

## Example sentences

 &  \\

## 4.2 Tokenisation schemes

The sentence is tokenised using different tokenisation schemes: character, sub-word and word. For sub-word ${ }^{4)}$, we use two popular sub-word models: unigram language model (unigram) [9] and byte-pair-encoding (BPE) [10].

4) github.com/google/sentencepiece
The delimiter used to separate tokens is the space. Underscores denote spaces in the original sentence. The vocabulary size used here for unigram and BPE is 1,000 (1k).

## 4.3 Statistics on the newly created dataset

Each of the corpora is tokenised using four different tokenisation schemes: character, BPE. unigram and word. On top of that, we performed masking with both methods: the least frequent and most frequent. Ablation experiments are carried out on all corpora in six languages depending on the language availability of the corpus.

In this paper, we decided to carry out the experiment on both Tatoeba and Multi30K as these corpora have a different range on both formal and semantic levels. On the formal level, sentences in Tatoeba are short and similar to one another. Multi30K contains more diverse and longer sentences. On the level of semantics, as mentioned in Section 3, Tatoeba contains sentences that focus on the theme of daily conversation. Multi30K, which contains image captions, has a wider range of topics.

Figure 2 (top-left) shows the number of analogical clusters extracted from the corpora with various tokenisations in English. Tatoeba has the highest number of clusters. This meets our hypothesis. It is also reflected in the num-

Tokenisation

Tokenisation

Figure 2 Number of clusters (top-left) and analogies (top-right) extracted from the corpora in English. Below that, Analogical density (bottom-left) and the proportion of sentences appear in analogy (bottom-right) for the corpora in English. Please notice the logarithmic scale on the ordinate for analogical density ( nano (n): $10^{-9}$, pico (p): $10^{-12}$, femto (f): $10^{-15}$. ). The tokenisation schemes on the abscissae are sorted according to the average length of tokens in ascending order.

ber of analogies (top-right). Tatoeba has about 10 times more analogies than Multi30K.

Figure 2 (bottom-left) shows the results on the analogical density of the corpora with various tokenisations. We can immediately observe that Tatoeba corpus steadily has the highest analogical density in comparison to the other corpora. The difference is also pretty far. For example, the gap is around $10^{3}$ between Tatoeba and Multi30K, even more than $10^{5}$ for Europarl. This shows that Tatoeba corpus is really denser than the other corpora despite having the smallest number of sentences. Remember, we have different numbers of sentences between corpora.

Although it is not visible from the graph, we observed that the density slightly gets lower from tokenisation in character towards words. For subword tokenisation, we found that unigram consistently has higher analogical density than BPE on the same vocabulary size. This is probably caused by the unigram having a shorter token length which allows a higher degree of freedom in commutation between tokens.

Similar trends can also be observed in the proportion of analogical sentences. Tatoeba is ten times higher than Multi30K which proves our hypothesis that a corpus which contains similar sentences will have a higher proportion of analogical sentences. As for the tokenisation scheme, we also found that the proportion decreases toward word tokenisation.

## 5 Conclusion

We produced a resource of analogies between sentences extracted from two different corpora, Tatoeba and Multi30K. Both corpora have different characteristics, the one contains mostly daily life conversations, and the other contains a collection of image captions. We also performed experiments in measuring the analogical density of various corpora in various languages using different tokenisation schemes. Corpora with a higher Type-Token-Ratio tend to have higher analogical densities. We naturally found that the analogical density goes down from character to word. We hope the release of such a resource will allow a better way to evaluate the quality of sentence embeddings.

## Acknowledgment

This work was supported by a JSPS grant, number 18K11447 (Kakenhi Kiban C), entitled "Self-explainable and fast-to-train example-based machine translation".

## References

[1] Yves Lepage. Solving analogies on words: an algorithm. In Proceedings of the 17th international conference on Computational linguistics (COLING 1998), Vol. 1, pp. 728734. Association for Computational Linguistics, 1998.

[2] Nicolas Stroppa and François Yvon. An analogical learner for morphological analysis. In Proceedings of the Ninth Conference on Computational Natural Language Learning (CoNLL-2005), pp. 120-127, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[3] Philippe Langlais and François Yvon. Scaling up analogical learning. In Coling 2008: Companion volume: Posters, pp. 51-54, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[4] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German Image Descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74. Association for Computational Linguistics, 2016.

[5] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the Second Shared Task on Multimodal Machine Translation and Multilingual Image Description. In Proceedings of the Second Conference on Machine Translation, Volume 2: Shared Task Papers, pp. 215-233, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 304-323, 2018.

[7] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. Transactions of the Association for Computational Linguistics, Vol. 2, pp. 67-78, 2014.

[8] Rashel Fam and Yves Lepage. Tools for the production of analogical grids and a resource of n-gram analogical grids in 11 languages. In Proceedings of the 11th edition of the Language Resources and Evaluation Conference (LREC18), pp. 1060-1066, Miyazaki, Japan, May 2018. ELRA.

[9] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Asso- ciation for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.


# 議会会議録と予算表を紐づける Minutes-to-Budget Linking タスクの提案

木村泰知 1 梶縁 1 乙武北斗 2 門脇一真 3 佐々木稔 4 小林暁雄 5
1 小樽商科大学 2 福岡大学 3 株式会社日本総合研究所 4 茨城大学 5 農研機構
kimura@res.otaru-uc.ac.jp

## 概要

予算編成に関する議論の背景・過程・結果を理解するには，複数の文書や表を参照する必要がある。

NTCIR-17 QA-Lab PoliInfo-4 のサブタスクの一つである Minutes-to-Budget Linking (以下 MBLink) では，議会における予算審議に焦点を当て，ある予算に関する発言に対して，関連する予算表のセルを紐づけるタスクを実施する．MBLink は，議会会議録のような非構造化データから, 表形式データの予算表に含まれる特定のセルを紐づけることで，発言の根拠となる数値をみつけ，予算増減の理由をわかりやすく提供することを目指している。本稿では， MBLink のデータ形式，評価方法，アノテーション方法について述べる。

## 1 はじめに

地方自治体の役割のひとつに予算編成がある。予算は，首長により予算案が作成され，議会で審議された後に成立する。しかしながら，審議結果である予算は，どのような背景に基づいて予算案が作成され，どのような議論を経て成立しているのかを把握しづらい。予算作成の議論を理解するには，参照しなければならない文書や表が数多く存在する [1][2].例えば，対象年度の予算は，前年度の予算と比較しながら，説明される [3]. 特に，正確な金額を確認する場合には予算表を参照することになる。

小樽市議会における予算説明の例 (図 1 も参照)

まず，歳入についてでありますが，市税につきましては，個人市民税，法人市民税などで減収が見込まれるものの，固定資産税，都市計画税などで増収が見込まれることから，2.7\%，3 億 5,280 万円増の 135 億 7,350 万円を見込みました.
ここで，小樽市議会における市長の説明を例に，予算に関する金額表現処理の難しさについて説明する。上記の例にあるように，市長は「歳入」となる「市税」「個人市民税」「法人市民税」「固定資産税」「都市計画税」の税収入の説明をしつつ，見込み額を述べている。「市税」「個人市民税」などの額は，文中に記載されていないものの，別の資料に記載されており，予算表を参照することで，正確な金額を確認できる。「135 億 7,350 万円」という金額表現は，前年度の市税の「2.7\%」である「3 億 5,280 万円」の金額が増えることを見込んで計算された対象年度の見積額である。

議会における発言は，予算編成の経緯が述べれることもあるが，予算関連の書類が配布されたことを前提にしているため，詳細な数値や正確な金額が明言されないこともある.このような場合には，予算表を参照することで，金額や数値を確認することが可能である. また，予算の増減額や割合についても，予算表の金額と紐づけて，計算することができる. さらに，予算編成に至る経緯については，提案された予算金額とともに，理由を加えて説明していることが多い [3].

そこで，本研究では，議会における予算審議の発言と予算表の関連項目を紐づける MBLink (Minutesto-Budget Linking) タスクを提案する．MBLink の目的は，予算の根拠となる金額を明らかにするとともに，どのような理由で予算額が決定したのかを確認できるようにすることである．MBLink は， NTCIR-17 QA-Lab PoliInfo-41) のサブタスクのひとつである [4]. NTCIR-17 は，NII が主催する評価型ワー クショップであり，2022 年 7 月から 2023 年 12 月まで開催される ${ }^{2)}$. 本稿では，MBLink のデータ形式,評価方法，アノテーション方法について述べる。

## 2 議会会議録と予算表

## 2.1 予算編成の流れ

自治体の予算は，次年度 (4 月以降) に実現すべき方向性を考えて, 前年度の議会で決定される. 予算編成のおおまかな流れは, 前年度の後半から始まる. 最初に，次年度に実現すべき方向性を考えて，組織内部の意思統一を図りつつ，予算編成方針が決定される. 予算編成方針に基づいて，各部からの予算要求がある. それらの要求に対して, 社会状況や国の動向を踏まえ, 要求内容の追加・変更が行われる. 1 月頃に, 各部から要求された内容について査定が行われ，予算案が公表される. 2 月上旬に開催される第一回定例会に予算案が上程され，議決を受ける. 議会では，首長から予算案の説明された後で，さまざまな観点から審議が行われ，予算案を可決すべきか否かが決定される。

## 2.2 予算の説明箇所

首長による予算の説明箇所は，第一回定例会の 1 日目の冒頭に行われることが多い. 例えば，平成 31 年 (2019 年) の小樽市議会 ${ }^{3}$ ) の第 1 回定例会の議案は「予算」と「条例」に分けられ，第 1 号議案から第 19 号議案までが予算であり，第 20 号議案から第 38 号議案までが条例である. 第 1 回の本会議4) の冒頭は，予算の提案から始まり，市長が予算の説明を行っている. 予算説明されている文は，2ページ程度であり, 35 文であった. 本研究では, 首長が予算を説明している発言に焦点を当て，関連する予算表のセルと紐づける.

## 2.3 予算表の種類

前節で述べた通り，予算の審議は，第一回定例会において行われ，首長による提案から始まる. 首長は，予算関連書類に記載されている金額を根拠としながら，説明することが多い. 例えば，小樽市の予算情報は下記の 8 つの書類が公開されている [3].

1)予算編成方針について

2)予算総括表

3)予算案のポイント

4)主要事業

5)部別要求額・予算額

4) https://www.city.otaru.lg.jp/docs/2020113000634/
6)ふるさと応援寄附金の使い道

7)予算書

8)予算説明書

梶らの調査 [3] によれば，予算情報は「予算総括表」「予算案のポイント」「部別要求額・予算額」「予算書」と対応づけられることが多い，予算総括表は，一般会計，特別会計，企業会計に対する前年度と今年度の予算額が記述されている表である。予算案のポイントは，財政部が予算編成のポイントを図や表を含めて説明した文書である。部別要求額・予算額は，小樽市の総合計画に沿って，各事業に対する予算額をまとめた表である。予算書は，一般会計，特別会計，企業会計に分けて，歳入と歳出が表として記載されており，約 40 ページである.

## 3 Minutes-to-Budget Linking

## 3.1 目的

MBLink の目的は，議会における発言と予算表の数値を紐づけることで，根拠となる金額を明らかにするとともに，どのような理由で予算額が決定したのかを確認できるようにすることである.

## 3.2 データセット

MBLink の入力，出力，評価方法を下記に示す.

入力予算表 (HTML)議会会議録 (HTML)

出力会議録の発言と予算項目の紐付け (JSON)

評価議会会議録から予算表への連結，および，理由の有無についての評価 ( $\mathrm{F}$ 値)

MBLink では，議会会議録中のある文が予算表の特定のセルの金額に関連するものであれば，その文にそのセルの ID を付与し，さらにその文に予算の主張に関する理由が含まれているか否かの判定結果も付加する. 入力は，予算表と議会会議録であり，HTML ファイルとして与えられる．与えられる HTML は，図 1 の例にあるように，IDが付与された HTML である，出力は，予算表に関連するセルがあれば，議会会議録に含まれる文 ID と予算表に含まれるセル ID を紐づけて，JSON ファイルとして返す。また，理由が述べられている場合には “containsReason”を“True”とする。評価は，議会会議録から予算表への連結，および，理由の有無についての性能評価として F 値を用いる。

\{"sentencelD": "011002-2019-doc54321-sent30", "linkedCellIDs": ["011002-2019-doc12345-tab2-r2c1", "011002-2019-doc12345-tab2-r2c3"], "containsReason": true\}

図 1 市税について「対象年度」「前年度」の税収入を参照しつつ説明している箇所に対して，アノテーションする例

## 4 アノテーション

本節では，アノテーションの流れを説明する。

## 4.1 アノテーションの準備

自治体の公開している予算表は，PDFで公開されていることが多い. そのため，アノテーションを行う前に，PDF から HTML へ変換する. HTMLへの変換は, 変換ツールとして ABBYY FineReader PDF ${ }^{5}$ を用いて自動で変換した後で，下記の処理をすることで，人手でデータ整形をしている.

1. 結合されているセルを分割する

2. 必要があれば，セル内で改行する

3. 余計なスペースを削除する

4. 明らかな文字認識の誤りを訂正する

## 4.2 対象データ

対象データは，小樽市，福岡市，茨城県の議会とする予定である．現時点では，小樽市の2019年および 2020 年の第一回定例会の市長の予算説明に関する発言を対象としてアノテーションを進めている.

・2019年第 1 回定例会第 1 日目 ${ }^{6}$

- 2020 年第 1 回定例会第 1 日目 ${ }^{7)}$

予算表は，予算説明で参照されることが多い「予算総括表」「予算案のポイント」「部別要求額・予算額」「予算書」に含まれる表とする。

## 4.3 アノテーションの方法

アノテーションは，図 2 の例にあるような独自で開発したツールを用いて行う．アノテーションツー ルは，左側に会議録，右側に予算表が見える状態になっており，予算に関する発言と関連のある表のセルを紐づけることができる．梶らの調査 [3] と同様に，予算編成の根拠となる「金額」「割合」「増減」「参照」に着目したアノテーションが可能であり，理由の有無も付与できることを確認した.

## 5 関連研究

## 5.1 テキストと表の連結

テキストと表を紐づける研究には, FEVEROUS (Fact Extraction and VERification Over Unstructured and Structured information) [5] がある. FEVEROUS は, Wikipedia に記述された Claim(主張)の真偽を検証するために, Evidence(根拠)を Wikipedia の表から

7) https://www.city.otaru.lg.jp/docs/2020113000634/ file_contents/02-01.pdf

の当初予算と比較して説明申し上げます。

まず、歳入についてでありますが、市税につきましては、個人市民税、法人市民税などで減収が見込まれるものの、固定資産税、都市計画税などで増収が見込まれることから、2.7\%、3 億5,280万円増の 135 億7,350万円を見込みました。

地方交付税につきましては、国の地方財政計画の伸び率などを基本に、本市の特殊事情を勘案しながら積算し、臨時財政対策債を加えた実質的な地方交付税では、1.7\%、2 億 9,500 万円減の170億5,100万円を見込みました。地方消費税交付金につきましては、 $3.2 \% 、 7,800$ 万円増の 25 億 700万円を見込みました。

また、歳出の主なものについて経費別に申し上げますと、いわゆる義務的経費では、人件費が $0.6 \%$ の減、公債費が $4.3 \%$ の減となりましたが、扶助費において、市内幼稚園の新制度幼稚園・認定こども園への移行に伴う教育・保育給付費負担金の堌などにより、2.1\%の増となったことから、合計では0.3\%の増となり、歲出合計に占める義務的経費の割合は、前年度を 1.9 ポイント下回る $56.1 \%$ となりました。

図 2 MBLinkのアノテーション画面の例

みつけるタスクである。例えば，Claim に「Roberto Fico は，総投票数の $57.6 \%$ \% 57,119 票を獲得しました.」と入力文が与えられた場合，表から投票数が「61,819」であることをみつけ，Verdict(評決)としては Refuted(反論) に分類する。

議会会議録と異なる言語資源を連結する研究は, NTCIR-15 QA-Lab PoliInfo-2 の Entity Linking で行われている [6]. Entity Linking は，議会で議論されている法律名，あるいは，条例名に対して，関連する Wikipedia の記事と紐づけるタスクである。例えば，「働き方改革を推進するための関係法律の整備に関する法律」という正式名称が会議録中に出てきた場合，Wikipedia の「働き方改革関連法」という記事と紐づけている.

他にも，NTCIR-16 QA Lab-PoliInfo-3 [7] には，予算を対象にした議論マイニングとして，議会会議録のテキストに含まれる金額表現を予算表と紐づける Budget Argument Mining タスクがある [1][2]²).しかしながら, Budget Argument Mining は, 議論ラベルの分類に対する比重が大きく，会議録と予算表を紐づける点に研究の余地がある. 例えば，紐づける対象が金額表現のみとされていたことや複数存在する予算表のうち一つのみを対象としていたことにより，紐付けることが困難なこともあった。

## 5.2 表の理解

表構造解析に関する shared task には，ICDAR 2013 Table competition $[8]^{9}$ がある. Table competition では,

8) https://github.com/poliinfo3

9) https://iapr.org/archives/icdar2013/
2つの政府機関 (.europa.eu /.gov) の発行した文書 PDF から表を収集したデータセットを作成している。

表の理解に関する研究は現在も注目されており，国際会議 KDD21 では，表の理解に関するチュー トリアルとして "From Tables to Knowledge: Recent Advances in Table Understanding” が開催された ${ }^{10)}$. 表の理解には，表のタイプ分類 [9]，表のエリア抽出 [10], 表の意味構造の解析 [11], セルの表記統一などの課題がある.

NTCIR-17 Understanding of non-Financial Objects in Financial Reports (以下，UFO） ${ }^{11}$ では，有価証券報告書を対象として, 表形式のデータや文書から構造化情報を抽出する技術を開発することを目的としたタスクが提案されている [12]. UFO タスクには $2 \supset$ のサブタスクとして，表データ抽出 (TDE; table data extraction) サブタスク，ならびに，テキストと表の関係抽出 (TTRE; text-to-table relationship extraction) サブタスクがある.

## 6 おわりに

本稿では，議会における予算審議の発言と予算表の関連項目を紐づける MBLink タスクを提案した。 また， MBLink のデータセットの形式，アノテー ションの方法について述べた.

今後は，NTCIR-17 QA-Lab PoliInfo-4 のサブタスクとして，MBLinkを進めるとともに，有価証券報告書を対象にした NTCIR-17 UFO タスクとの連携も考えている。

10) https://usc-isi-i2.github.io/KDD21Tutorial/

11) https://sites.google.com/view/ntcir17-ufo

## 謝辞

本研究は JSPS 科研費 21H03769，22K12740 の助

成を受けたものである.

## 参考文献

[1] Yasutomo Kimura, Hokuto Ototake, and Minoru Sasaki. Budget argument mining dataset using Japanese minutes from the National Diet and local assemblies. LREC 2022, 2022.

[2] 木村泰知, 永㴊景祐, 乙武北斗, 佐々木稔. 予算項目に関連する議論を対応づける Budget Argument Mining のデータセット構築. 情報処理学会第 249 回自然言語処理研究会, 2021 .

[3] 梶縁, 木村泰知. 地方自治体の予算を対象にした金額表現の分析. 第 38 回ファジィシステムシンポジウム (FSS2022), 92022.

[4] 小川泰弘, 木村泰知, 渋木英潔, 乙武北斗, 内田ゆず,高丸圭一, 門脇一真, 秋葉友良, 佐々木稔, 小林暁雄. NTCIR-17 QA Lab-PoliInfo-4 のタスク設計. 言語処理学会第 29 回年次大会, 2023.

[5] Rami Aly, Zhijiang Guo, Michael Sejr Schlichtkrull, James Thorne, Andreas Vlachos, Christos Christodoulopoulos, Oana Cocarascu, and Arpit Mittal. The Fact Extraction and VERification Over Unstructured and Structured information (FEVEROUS) shared task. In Proceedings of the Fourth Workshop on Fact Extraction and VERification (FEVER), pp. 1-13, Dominican Republic, 2021. Association for Computational Linguistics.

[6] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyosi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 task. Proceedings of The 15th NTCIR Conference, 12 2020.

[7] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Kazuma Kadowaki, Tatsunori Mori, Kenji Araki, Teruko Mitamura, and Satoshi Sekine. Overview of the NTCIR-16 QA Lab-PoliInfo-3 task. Proceedings of The 16th NTCIR Conference, 6 2022.

[8] Max Göbel, Tamir Hassan, Ermelinda Oro, and Giorgio Orsi. ICDAR 2013 Table Competition. In 2013 12th International Conference on Document Analysis and Recognition, pp. 1449-1453, 2013.

[9] Kyosuke Nishida, Kugatsu Sadamitsu, Ryuichiro Higashinaka, and Yoshihiro Matsuo. Understanding the semantic structures of tables with a hybrid deep neural network architecture. In Satinder Singh and Shaul Markovitch, editors, Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, February 4-9, 2017, San Francisco, California, USA, pp. 168174. AAAI Press, 2017.
[10] Kexuan Sun, Harsha Rayudu, and Jay Pujara. A hybrid probabilistic approach for table understanding. In Conference on Artificial Intelligence (AAAI), 2021.

[11] Binh Vu, Craig Knoblock, Pedro Szekely, Jay Pujara, and Minh Pham. A graph-based approach for inferring semantic descriptions of Wikipedia tables. In International Semantic Web Conference, 2021.

[12] 木村泰知, 近藤隆史, 門脇一真, 加藤誠. UFO: 有価証券報告書の表を対象とした情報抽出タスクの提案. 人工知能学会第二種研究会資料, Vol. 2022, No. FIN-029, pp. 32-38, 2022.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 金融文書の抽象型要約による投資家向け支援システムの提案

中野凌 ${ }^{1}$ 蓮池隆 $^{2}$
${ }^{1}$ 早稲田大学大学院 ${ }^{2}$ 早稲田大学 創造理工学研究科
ryoku.nkn.18@toki. waseda. jp thasuike@waseda. jp

## 概要

投資家は，決算短信，有価証券報告書，株主招集通知，アナリストレポートといった金融文書を元に投資先を決定するが，金融文書の量は膨大であり， それらの分析には多大は労力と専門的な知識を要する. そこで本研究では, 金融文書に対する自動要約技術の適用に着目し，様々な要約モデルを比較することで，実用性の有無を検証した。

本研究の貢献は以下の 3 つである.

1. Web スクレイピングによる要約タスクのファインチューニング用データセットの収集を行った。

2. 収集したデータセットを様々な条件で抽出，ファインチューニングすることで日本語版 BART モデルの要約タスクにおける精度を定量的に評価した。

3. BART モデルと他の自動要約手法の定量的・定性的な評価によって比較し, 金融文書の抽象型要約による投資家向け支援システムを提案した。

## 1 研究背景 - 目的

## 1.1 自動要約技術について

自動要約は, 入力された文章を短くまとめて自動的に出力する技術である。近年，インターネットの普及や文書の電子化などにより，テキスト媒体におけるデータが大量に蓄積されているが，その中には重要性の低い文章も含まれている。そこで自動要約により重要な箇所のみを抽出することで，人間は文章を読む時間を削減でき, より本質的な内容を吟味することができる. 社会における自動要約の活用場所として, 広告や雑誌, 求人などの文字数制限のある媒体に対する見出し作成や金融文書や法律文書などからの重要箇所の取得などがあげられる。これらの背景から, 文章要約は自然言語処理のタスクの中でも重要度が増している. 本研究では, 金融文書に対する自動要約に着目し, 様々な文章要約モデルを比較することで，実用性の有無を検証することを目的とする.

## 1.2 一億総株主の課題

日本の個人金融資産構成は長年にわたって預貯金に偏っており, 欧米諸国に比べて非効率な運用が常態化している. そこで 2022 年, 政府は資金シフトを促すため, 「一億総株主」といわれるすべての国民が日本企業への投資家となることを目指す施策を講じた。これにより，今後，投資を始める人が増加す
ることが予想される。投資家は，決算短信，有価証券報告書，株主招集通知，アナリストレポートといった金融文書を元に投資先を決定するが，金融文書の量は膨大であり，それらの分析には多大は労力と専門的な知識を要する，そのため，投資初心者が大量の金融情報から投資先を選択することはハードルが高く，「一億総株主」に向けての課題点となっている，そこで，本研究では，企業の金融文書を収集し，自動要約することで，投資初心者にも分かりやすい金融情報を提供する手法を提案することを目的とする.

## 2 関連研究と本研究のアプローチ

## 2. 1 金融文書の要約

文章要約には, 抽出型要約と抽象型要約 $の 2$ 種類がある。抽出型要約は，入力した文章から重要な文章を抜き出して要約文を生成する手法である。抽象型要約は，入力した文章を元に一から文章を生成する手法である。金融文書に対する抽出型要約の活用として, 平野ら[1]は，アノテーションの必要のない別のタスク (銘柄判定，価格変動)を学習させた学習モデルの Attentionを用いることで, 教師なしで金融文書の重要文判定を行う手法を提案している．抽出型要約は, 確実に元の文章内の正しい内容が出力されるというメリットがあるが，デメリットとして，文と文の接続に違和感がある, 要約文の長さを制御しにくいなどの点がある。そこで，本研究では抽象型要約を用いて金融文書を要約することで違和感がなく読みやすい文章を生成する手法を提案する.

## 2. 2 BART

Bidirectional and AutoRegressive Transformers[2](以下, BART)は Bidirectional Encoder Representations from Transformers[3](以下, BERT) と Generative Pretrained Transformer[4](以下，GPT)の両方のアーキテクチャを持ち, BERT を Encoder として入力処理し，エンコーディングされた情報を使用し GPT の Auto-regressive Decoder により文書を生成するモデルである. Katsumata ら[5]は BART を用いて英語の文法誤り訂正タスクを行っており，既存の手法で最もよい結果が得られたと報告している。また，田中ら[6]は, 約 1800 万文の日本語 Wikipedia を用いて学習を行った日本語版 BART の事前学習モデルを構築し, 日本語の入力誤り認識タスクにおいて, 他の校正支援 API と比較して，精度が高いことを確認して

いる.しかしながら，日本語版 BART による要約夕スクの精度を比較した論文はみられない。そこで，本研究では, 田中らの作成した日本語版 BART の事前学習モデルに対して, 文章要約タスクのファインチューニングを行い，要約精度の比較を行う。

## 3 提案手法

本研究の提案手法の全体像を図 1 に示す. 提案手法は 4 つのステップから構成される.

図 1. 提案手法の概要図

## 3.1 要約用データセットの収集

BART の文章要約タスクのファインチューニングのため, 要約前の文章と要約後の文章がぺアになったデータセットを構築する必要がある. 本研究では, wikiHow[7]と livedoor[8]の 2 つのサイトから Web スクレイピングによってデータセットを収集した.

wikiHow はアート・健康・趣味など様々な分野に関するハウツーが記載されたサイトである。 ハウツー は「タイトル」「方法」「ステップ」から構成され,各見出し文を合わせたものを要約後の文章, その他の文章を要約前の文章として Web スクレイピングを行い，データセットを構築した。

livedoor は政治, 経済, IT, スポーツなど様々なジヤンルのニュース記事を掲載するサイトである．記事ごとに「3 行要約ページ」と「記事詳細ページ」が存在するため, それらを用いてデータセットを構築した. ThreeLineSummaryDataset[9]を利用した文章要約データセットの取得により, 2013 年 1 月 2016 年 12 月までに公開された記事を取得した. また, 本研究ではより多くの学習データを収集するため, 2017 年 1 月 022 年 12 月までのデータセットについてもニュース ID を探索することで，新たなデータセットの構築を行った. 結果として, 以下の件数の要約データセットを収集した。

- wikihow : 35,374 件

- livedoor2013 年 2016 年: 101,559 件

- livedoor2017 年 2022 年: 119,741 件

- 上記の全データ合計 : 256,674 件

## 3. 2 BART のファインチューニング

まず, 3.1 節で収集したデータセットの前処理として, 要約前の文字数が 1500 文字以内の条件でデータ
を抽出した。これは, 日本語版 BART の事前学習モデルにおいて, token の長さが 1024 を超えるデータは処理できないためである。次に，抽出後のデータに対して, Juman++[10]による形態素解析とセンテンスピースモデル[11]を適用し，前処理済みデータを作成した. 最後に, 前処理済みデータを train, test, validataion データにおよそ 8:1:1 の割合で分割し，フアインチューニングを行った.

## 3.3 自動要約結果とモデルの定量的評価

3.2 節のファインチューニング済みモデルを用いて, 自動要約を行った. 表 1 に例として, livedoor のニュース記事の文章を日本語 BARTによる自動要約した結果と livedoor $の 3$ 行要約ページの正解の要約文を示す. 要約前の文章は, 約 1500 文字になるため，文字数の都合上省略する。

表 1. 日本語版 BART 抽象型要約の要約例

 &  \\

表 1 より, 抽象型要約で違和感のない文章が生成されていることが分かる.

次に，ファインチューニング済みモデルの評価のため，ファインチューニングに用いなかったテスト用の 108 のデータセットを用いて定量的評価を行った. 評価では, 自動要約によって生成した文章と正解の要約文を比較することで定量的なスコアを算出する. 本研究では, 評価手法として, 以下の 4 種類を用いた。

- BERTScore : 事前学習された BERT から得られるべクトル表現を利用して，文書間の類似度を計算する。

- BLUE : 生成した要約の N-gram 中のどれだけが正解とする要約に登場するかを計算する。

- ROUGE-N : 2 つの文書館の N-gram 単位での一致度を評価する。

- ROUGE-BE : 文法的な要素間の係り受けを考慮し評価する。

## 3.4 ファインチューニング条件の探索

3.2 節で行ったファインチューニングにおいて, 3.3 節の定量的評価が最もよくなるような条件を探索した。条件は以下の 5 つである.

- 事前学習 BART モデル : base, large

- ファインチューニング学習回数 : $3,5,10$ epoch

- 使用データセット : wikiHow, Libedoor, 両方

- 文字数 : $300 \sim 1000,0 \sim 1500,300 \sim 1500$ 文字

- 文字数圧縮率 : $10 \sim 30,5 \sim 50 \%$
表 2. 日本語版 BART 要約タスクのファインチューニングの条件と定量的評価スコア

表 3. 各自動要約モデルの定量的評価スコア

ここで, 文字数圧縮率は, 3.1 節で取得したデータセットから以下の式(1)により計算した。

$
\text { 文字数圧縮率 }=\frac{\text { 要約後文字数 }}{\text { 要約前文字数 }} \times 100
$

上記の 5 つの条件を変化させることで最適なファインチューニング条件を探索した．探索したファインチューニング条件と定量的評価の結果の一部を表 2 に示す. 表 2 より, wikiHow と livedoor を合わせたデータセットを要約前文字数 300 1500 文字, 文字数圧縮率 5 50\%で抽出し, BART large モデルで 5epoch 学習したときに最もスコアが高くなることが分かる.

## 4 他手法との比較

## 4.1 比較要約モデルの概要

4 節では, 3.4 節において最もスコアの高い条件でファインチューニングした BART モデルと他の自動要約手法との比較を行う. 比較の評価指標として, 3.3 節における 4 種類の定量的評価とアンケート調查による定性的評価の 2 通り行った. 比較する要約手法は, 抽象型要約と抽出型要約のそれぞれについて検証した。他手法の抽象型要約モデルとして, 本研究では, 日本語の事前学習済みモデルが公開されている T5[12]との比較を行った．T5 はテキストを入力されるとテキストを出力するという統一的枠組みで様々な自然言語処理タスクを解く深層学習モデルである.また,他手法の抽出型要約モデルとして， LexRank[13] と AutoAbstractor [14] と比較を行った. LexRank は文章からグラフ構造を作り出して重要な文のランキングを作ることで要約する手法である.各文章を TF-IDF を用いて特徴べクトルとして表現し、コサイン類似度を用いて文章間の類似度を計算し, 多くの文章と類似度が高い場合、その文章は重要であると判断し，上位 3 文を抽出する. AutoAbstractor は, NLP ベースの要約手法で，入力文書全体の単語の出現頻度から文の重要度を計算する手法である。 SimilarityFilter 機能を用いて，文章内にある文字列に対し類似性の尺度を使って計算して長な文章を削除したのち, 重要度の高い文を要約として，上位 3 文を出力した。

## 4. 2 定量的評価

表 3 に 4 種類の自動要約モデルの定量的評価スコアの結果を示す. T5 > BART $>$ AutoAbstractor > LexRank の順によいスコアとなった。また, 抽象型要約の方が抽出型要約よりも良い結果となった．T5 が最もスコアがよい理由として, T5 の事前学習済みモデルは, Wikipedia の日本語ダンプデータ，OSCAR の日本語コーパス, CC-100 の日本語コーパス合わせて約 100GB を用いているのに対して，日本語版 BART は約 1800 万分の日本語 Wikipedia の約 3GB を用いた事前学習済みモデルであるため，事前学習済みモデルの大きさが影響した可能性が高い.

## 4. 3 定性的評価

金融文書を取得するため SharedResearch[15]から約 1000 1500 字の 3つのアナリストレポートを引用し, BART, T5, AutoAbstractor の 3 つの手法に対して自動要約を実行した。
次に, 生成された要約文に対して以下の 5 点の定性的評価項目を元にアンケートを作成した.

- 可読性 : 非文法的な繋がりが生じていないか.

- 了解性 : 意味をなさない文となっていないか.

- 忠実性 : 原文とは違う解釈の余地が生じていないか.

- 十分性：原文に含まれていた別の命題内容や、主題・陳述内容が欠落していないか.

- 非壳長性 : 要約文章に重複する内容がないか. アンケートにおいては, 回答者の答えやすさを考慮し, 可読性と了解性については, 「日本語が自然かどらか」，忠実性と十分性と非冗長性について

は，「要約文として適切かどうか」という 2 つ項目について調查した。

以下の図 2 は, 「日本語が自然かどうか」について, 図 3 は「要約文として適切かどうか」についてのアンケート調査結果の棒グラフである. アンケー トの回答者数は 19 人で，3つの手法それぞれで生成された要約文に対して, 日本語が自然だと思う順番に順番を付ける形式で 3 つのアナリストレポート （Q1，Q2，Q3）に対して行った. グラフは，1番目: 3 点, 2 番目: 2 点, 3 番目: 1 点として集計した棒グラフである.

図 2. 定性的評価【文章の自然さ】棒グラフ

図 3. 定性的評価【文章の自然さ】棒グラフ図 2 より，抽象型要約の方が文章の自然さは高くなる傾向があることがわかる。これは，抽象型要約のメリットである文章に違和感がなく, 読みやすいという特性と一致している。

図 3 より, 抽象型要約の方が文章の自然さは高くなる傾向があることがわかる。これは, 抽象型要約のメリットである文章に違和感がなく, 読みやすいという特性と一致している.

## 5 投資家向け支援システムの概要

抽象型文書要約を利用した以下の初心者向け投資先選択支援システムの開発に取り組む.

(1)利用者データの登録・金融文書の要約

利用者は投資にまつわる関心分野などをシステムに登録後，PDF ファイルや HTML 文書を入力することで，文書に含まれる文章を自動で抽出し，その要約文を得ることができる。

(2)金融文書の収取・投資先のレコメンデーション TDnet などのオープンデータを活用し，金融文書を収集し，企業ごとにトピックモデルなどを用いた分析を行う。その結果を(1)の利用者に対して提供し,利用者の嗜好や関心を考慮した投資先を提案する協調フィルタリング手法を開発する。

このシステムにより，投資家は企業の経営状況だけでなく，より幅広い情報によって投資先を選定できる.

## 6 まとめ

本研究の貢献は以下の 3 つである.

1. Web スクレイピングによる要約用大規模データセットの収集を行った。

2. 収集したデータセットを様々な条件で抽出，フアインチューニングすることで日本語版 BART モデルの要約タスクにおける精度を定量的に評価した。 3. 金融文書に対して 4 種類の自動要約手法の定量的評価と定性的評価による比較し，金融文書の抽象型要約による初心者向け投資先選択支援システムを構築することでモデルの有用性を確認した。

今後の展望として, 抽出型要約と抽象型要約を組み合わせたハイブリッド型の要約手法の提案や金融ドメインに特化したデータセットを用いたファインチューニングによる精度の比較を行いたい。また， 5 章の投資家向け意思決定支援システムの構築とシステムの効果検証を行いたい。

## 参考文献

1. 平野正徳, 坂地泰紀, 松島裕康, 和泉綤, “金融文書のための別タスク学習による教師なし重要文判定”，言語処理学会, pp.569-572,(2020).

2. Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, Luke Zettlemoyer: BART: Denoising Sequence-to-Sequence Pretraining for Natural Language Generation, Translation, and Comprehension, In Proc. of ACL, pp.7871-7880,(2020).

3. Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding.” arXiv preprint arXiv:1810.04805,(2018).

4. Brown, T., et al. Language models are few-shot learners.Advances in Neural Information Processing Systems, 33, pp.1877-1901,(2020).

5. Satoru Katsumata, Mamoru Komachi. “Stronger baselines for grammatical error correction using a pretrained encoder-decoder model” . Asia-Pacific Chapter of the Association for Computational Linguistics , pp.827-832,(2020).

6. 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫, “日本語 Wikipedia の編集履歴に基づく入力誤りデータセットと訂正システムの改良” , 言語処理学会論文誌, 28 巻 4 号, pp.995-1033,(2021) 7. wikiHow, “信頼できるハウツーマニュアル”， https://www.wikihow.jp/, 最終アクセス日 2022/9/28 8. livedoor, “ライブドアニュース”， https://news.livedoor.com/，最終閲覧日 2022/10/22 9. ThreeLineSummaryDataset, 3 行要約データセット, https://github.com/KodairaTomonori/ThreeLineSummar yDataset，最終閲覧日 2022/10/22

10. Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proc. of EMNLP, pp. 2292 - 2297.Association for Computational Linguistics,(2015).

11. Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. of EMNLP, pp. 66-71. Association for Computational Linguistics, (2018).
12. Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, (2020).

13. Gunes Erkan, Dragomir R. Radev . LexRank: Graphbased Lexical Centrality as Salience in Text Summarization " J. Artif. Int. Res., vol. 22, no. 1, pp. 457-479, (2004).

14. 自動要約ライブラリ pysummarization, ,

https://code.accel-brain.com/Automatic-Summarization/ ,最終閲覧日: 2022 年 1 月 2 日

15. SharedResearch, https://sharedresearch.jp/ja, 最終閲覧日: 2022 年 1 月 2 日


# 株式市場の出来事の長期的視野での理解を支援する ニュース記事抽出によるストーリー可視化

木下聖 ${ }^{1}$ 西村太一 ${ }^{1}$ 亀甲博貴 ${ }^{2}$ 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
kinoshita.sho.v85@kyoto-u.jp nishimura.taichi.43x@st.kyoto-u.ac.jp
\{kameko,forest\}@i.kyoto-u.ac.jp

## 概要

近年，政府が投資家の裾野の拡大を目指すうえで，個人投資家の金融リテラシー不足を課題にあげている. 本研究では，証券市場特有の株価および市況概況記事を使用し，株式投資家による過去の証券市場の出来事の長期的視野での理解の支援に特化したニュース記事抽出によるストーリー可視化問題を提案する. さらに提案問題を市況概況記事を利用した重要株価材料抽出，類似株価材料抽出および関連記事検索の 3 つの部分問題に分割して解く手法を提案する。実験により提案手法を用いたストーリー可視化が可能である一方で，検索手法に改善の余地が残されていることも示された.

## 1 緒論

近年，政府は投資家の裾野を拡大し，貯蓄から投資へのシフトの実現を目指しており，国民の金融リテラシー不足を課題の 1 つにあげている [1]. 世界的に有名な投資家らは，投資で成功するためには歴史から学ぶ重要性, および，多くの投資家は歴史から学ばずに失敗してきたことを指摘している $[2,3,4]$. 人々が証券市場の歴史を学ぶには, 専門家による解説文献を読むことが最も一般的であるが，以下の 2 つの問題が含まれる. 第一に，証券市場の歴史の解説文献は未来の結末を知る専門家が過去を解説するもので，バイアスを含む可能性が高い. 第二に，個人投資家が現在の情勢を知る情報源としてニュースが一般的であり，歴史の解説文献のような未来を含む長期的視野からの情報は存在せず，現在と過去を比較するために使用することが難しい。一方で，過去のニュース記事は当時の専門家が執筆した情報であり，現在のニュース記事と比較することも可能である. そこで，投資家による証券市場の歴史の学習に過去のニュース記事を利用できれば良いと考えられるが，ニュース記事の数は膨大で，個人投資家がすべてのニュース記事を確認することは非現実的である.

出来事の長期的視野での理解を支援するために，長期間の大量のニュース記事をトピック分類し時系列表示してニュースのストーリーを可視化する技術の研究が行われている [5, 6, 7]. 証券市場でもあるトピックに関するニュースが長期間報道され株価に大きく影響することは珍しくなく，これらの技術を活用することで過去のニュース記事を用いた証券市場の歴史の学習を支援できる。一方で，これらの技術を証券市場の歴史学習の支援に使用する上で，以下の 3 つがさらに求められる.

1. ニュース記事を投資家が認識する粒度のトピックで分類すること.

2. 株価指数に影響するような全投資家に重要な下ピックを抽出すること。

3. 各トピックの大量の関連記事から重要な記事を抽出すること。

そこで本研究では，株式投資家による過去の証券市場の出来事の長期的視野での理解の支援に特化したニュース記事抽出によるストーリー可視化問題を提案する. 提案問題の出力例を表 1 に示す. 提案問題では，指定された期間の大量のニュース記事から重要な株価材料を抽出し，各株価材料の関連記事で重要なものを時系列表示する. そして, 証券市場特有の株価および市況概況記事を利用し，重要株価材料抽出，類似株価材料抽出，および，関連記事検索の 3 つの部分問題に分割して解く手法を提案する.市況概況記事とは，証券市場の毎営業日後に報道される記事で，その日の株価変動および投資家が意識する株価材料を説明する。 さらに，提案手法で使用する系列ラベリングの検証のために，我々が作成し
表 1 株価材料「福島原発事故の深刻化に対する懸念」 (2011 年 3 月 15 日) の関連記事出力例 (一部抜粋)

 \\

たデータセットを用いて評価する．また，モデル出力例を示し提案モデルを評価する。

## 2 関連研究

証券市場の毎営業日後に報道される市況分析記事から因果関係を抽出する研究 [8] や，それらを要約し長期間の市況分析を生成する研究 $[9,10]$ が行われている. 市況分析記事における株価材料の記載は非常に簡潔である. 本研究では，各株価材料の関連記事を検索することで，これから投資を始める人にもわかりやすく詳細な情報の出力を目指す。

## 3 市況概況記事を用いたニュースス トーリー生成手法

## 3.1 手法概要

本研究では，証券市場特有の株価および市況概況記事を使用し, 重要株価材料抽出, 類似株価材料抽出，および，関連記事検索の 3 つの部分問題に分割して解く．各部分問題を解く手法の詳細を以下で説明する。

## 3.2 重要株価材料抽出

指定された期間内の市況概況記事から株式市場における重要度の高い株価材料を抽出する. 本研究では日経平均株価の前日比変動率が大きい日の株価材料の重要度が高いと仮定し, 日経平均株価の前日比変動率が大きい日に出版された市況概況記事の株価材料を抽出する. 日経平均株価の前日比変動率の大
きさは以下の式で求める.

$
r_{d}=\frac{\left|p_{d}-p_{d-1}\right|}{p_{d-1}}
$

$r_{d}:$ 日付 $d$ の前日比株価変動率

$p_{d}:$ 日付 $d$ の株価

本研究では市況概況記事から株価材料を抽出する問題を系列ラベリング問題として定式化して解く. 系列ラベリング問題を解くモデルは，Akbik ら $[11,12]$ が開発する Flair framework を使用して実装し, Flair embeddings の日本語学習済みモデルでべクトル化したものを，LSTM および全結合層に入力する.

## 3.3 類似株価材料抽出

すべてのニュース記事から 3.2 節で抽出された重要株価材料の関連記事を検索する場合，関連記事検索の正解データ作成コストが大きいこと，および，株式市場に影響しない重要度の低い関連記事も多く抽出されてしまうことが問題となる。 そこで， 3.2 節で抽出された株価材料に関連する株価材料が市況概況記事に記載されている日付および株価材料を抽出する。これにより，各株価材料の関連記事検索範囲を高々数日に限定でき，正解データ作成コストを大幅に削減できること，株価材料が市況概況記事に記載されるほど重要であった日の記事のみが抽出されることが期待される. 市況概況記事から株価材料を抽出するモデルは 3.2 節と共通のものを使用する.株価材料が関連するものか判定する手法として，鈴木ら [13] が日本語 Wikipedia および金融文書を事前学習した BERT 言語モデル”"bert-small-japanese-fin”1) に株価材料を入力し, 各 token のべクトルを平均プーリングして得られるべクトル同士の $\cos$ 類似度が閾値以上の場合に関連すると判定する。

## 3.4 関連記事検索

3.2 節で抽出された重要株価材料の関連記事を抽出する. 東京証券取引所における内国株式の売買立会時間は 15 時に終了するため, 東京証券取引所の前営業日 15 時から 3.3 節で抽出された日付の 15 時までに報道されたニュース記事から，3.3 節で抽出された類似株価材料の関連記事を検索することで実現する．正解データセットの数が不十分で教師あり学習をすることは難しいため，記事検索手法とし

表 2 株価材料抽出データサイズ

て，??節と同様に株価材料とニュース記事タイトルをべクトル化し $\cos$ 類似度が上位のものを抽出することで検索を行った. このとき，株価材料に固有名詞が含まれる場合は，その固有名詞が本文に含まれるニュース記事を優先して検索した。

## 4 データセット

## 4.1 ニュースデータ

金融機関が契約する大手情報サービス会社として，Bloomberg，ロイターおよび日経 QUICK が有名である. 本研究では，2007 年から 2017 年のロイター日本語ニュースを使用する。

## 4.2 系列ラベリング問題データセット

市況概況記事から株価材料を抽出する系列ラベリング問題の学習および評価に使用するデータセットについて説明する。ロイター日本語ニュースでは，東京証券取引所の売買立会時間終了後に,「東京マーケット・サマリー」をタイトルに含む市況概況記事が掲載される. 重要な株価材料が掲載される日は株価変動率が比較的大きくなる傾向があるため,日経平均株価の前日比変動率の大きさが $r_{d}=0.02$以上の日の最後に報道された市況概況記事を使用する. 正解ラベルのアノテーションは，テキストアノテーションツール doccano [14]を使用し人手で行った. 東京株式市場の市況概況記事では，株価材料として頻繁に米国株価動向および為替動向について言及されるため，これらの株価材料言及部分には特別なラベルを付与し，それ以外の株価材料には同一のラベルを付与した. ただし，「月末」のように証券市場の前営業日から当日までに関連ニュース記事が報道されないものや，「企業決算」のように関連記事が無数にあるものはラベル付与しない. 各ラベルが付与されたフレーズの例と株価材料だがラベルを付与しない例を以下に示す。表 3 株価材料抽出の実験結果

例 : 米国株価動向言及部分

米株が急落，海外株式市場，世界同時株安

例 : 為替動向言及部分

為替が円高/ドル安，主要通貨，円キャリー取引

例：その他株価材料言及部分

日銀短観，米雇用統計，米サブプライムローン

問題，米国の利下げ，FOMC，参院選，原油安

例：株価材料だがラベル付与されないもの

業績不透明感，ポジション調整，月末，企業決算，9月中間期末

さらに，作成したデータセットのサイズを表 2 に示す。

## 5 評価

## 5.1 系列ラベリング問題

## 5.1.1 実験設定

4.2 節のデータセットを使用する. 2007 年から 2015 年の記事を 10 分割した交差検証によりモデルの学習を行い，2016 年以降の記事の各単語のラベル分類問題の F-score で評価した。

## 5.1.2 実験結果

学習および評価を 5 回行った結果の平均は表 3 の通りになった。米国株価動向および為替動向は，表現の種類が少ないため非常に高い精度で抽出できた. 一方で，その他株価材料の表現の種類は非常に多く精度が少し下がるが，誤り例を確認すると大多数が抽出範囲の長短によるものであった. 以下に誤り例を示す. ただし，下線部分がモデルによる抽出，赤字部分が正解ラベルとする.
抽出範囲の誤り例

…ドル/円が 118 円台を回復したことに加え，輸出・輸入ともにマイナス幅が縮小した12月中国貿易統計も支えとなった. ...

不適切な抽出の誤り例

…昨年来安値を下回り，量的・質的金融緩和 （QQE）第 2弾が決定された 2014 年 10 月 31 日以来，約 1 年 3 カ月ぶりの安値となった. 時間外で 28 ドル割れとなった米原油先物を受けてリスクオフムードが強まり全面安. ...

## 5.2 類似度を用いた関連記事検索

本節では類似度を用いた関連記事検索の出力例を示し考察する。

表 1 は 2011 年 3 月 15 日の重要株価材料「福島原発事故の深刻化に対する懸念」に対する関連記事の出力例で，適切な関連記事を出力している。

一方で，表 4 は 2014 年 3 月 14 日の重要株価材料「ウクライナ情勢に対する警戒感」に対する関連記事の出力例である. こちらでは，タイの政情に関する記事や米国景気に関する記事も出力されている. これは, 3.3 節の類似株価材料抽出で，異なる株価材料を同一と判定してしまったことに起因する． 3.3 節の類似株価材料抽出および 3.4 節の関連記事検索では，BERT の事前学習モデルによるべクトルの類似度を利用しているが，前後に同様の単語が並ぶ単語の類似度が高くなるために誤った判定をしてしまう場合が多くみられ，特に「米国/中国の利下げ」のような国の違いを区別できない例や，「情勢/景気」 のような単語を区別できない例が多かった.

関連記事検索手法の改善が必要であり，教師あり学習をすることが好ましいと考えられるが，ニュー ス記事は 1 日に数百も掲載され，様々な株価材料で学習するには大量のニュース記事を確認してアノテーションする必要がある．また，キーワード検索を行う方法も考えられるが，市況概況記事での株価材料の表現は市況概況記事特有のものも多いという問題がある.キーワード検索および類似度を用いた検索を併用することで，より優れた検索ができると考えられる。表 42014 年 3 月 14 日「ウクライナ情勢に対する警戒感」関連記事出力例（一部抜粋）

## 6 結論および今後の課題

本研究では，株式投資家による過去の出来事の長期的視野での理解の支援に特化したニュース記事抽出によるストーリー可視化問題を提案した. 証券市場特有の株価および市況概況記事を用いれば，重要株価材料抽出，類似株価材料抽出，および，関連記事検索の 3 つの部分問題に分割して解くことで実現できることを示した。一方で，事前学習済み言語モデルを利用したべクトルの類似度に基づく関連記事検索手法には問題があり，検索手法に改善が必要であることが示された.

今後の課題として，米国株市場・為替市場の市況概況記事の利用および重要語によるキーワード検索を併用した記事検索手法の開発に取り組むことなどが残されている.

## 参考文献

[1] 内閣府. 資産所得倍増プラン. 新しい資本主義実現会議（第 13 回）, November 2022.

[2] 桑原晃弥. ウォーレン・バフェット成功の名語録世界が尊敬する実業家、103 の言葉. PHP 研究所, July 2012.

[3] George Soros. Fallibility, reflexivity, and the human uncertainty principle. J. Econ. Methodol., Vol. 20, No. 4, pp. 309-329, December 2013.

[4] Jim Rogers. 危機の時代伝説の投資家が語る経済とマネーの未来. 日経 BP, May 2020.

[5] Marieke van Erp, Gleb Satyukov, Piek Vossen, and Marit Nijsen. Discovering and visualising stories in news. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 3277-3282, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[6] Philippe Laban and Marti Hearst. newslens: building and visualizing long-ranging news stories. Proceedings of the Events and Stories in the, 2017.

[7] Deyu Zhou, Linsen Guo, and Yulan He. Neural storyline extraction model for storyline generation from news articles. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1727-1736, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] 酒井浩之, 坂地泰紀, 和泉潔, 松井藤五郎, 入江圭太郎. 学習データ自動生成による市況分析コメント作成のための要因文と補完情報の抽出.人工知能学会全国大会論文集, Vol. JSAI2020, pp. 1D3GS1303-1D3GS1303, 2020.

[9] 酒井浩之, 坂地泰紀, 和泉潔, 松井藤五郎, 入江圭太郎 . 経済テキストからの市況分析コメントの自動生成.第 20 回人工知能学会金融情報学研究会 (SIG-FIN)予稿集, pp. 44-49, March 2018.

[10] 酒井浩之, 坂地泰紀, 和泉潔, 松井藤五郎, 入江圭太郎 . 関連記事を用いた市況分析コメントの自動生成.第 22 回人工知能学会金融情報学研究会（SIG-FIN）予稿集, pp. 61-66, March 2019.

[11] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. pp. 16381649, August 2018.

[12] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. FLAIR: An Easy-to-Use framework for State-of-the-Art NLP. In Proceedings of the 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] 鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔. 金融文書を用いた事前学習言語モデルの構築と検証. 人工知能学会第二種研究会資料, Vol. 2021, No. FIN-027, p. 05, 2021.

[14] Hiroki Nakayama, Takahiro Kubo, Junya Kamura, Yasu- fumi Taniguchi, and Xu Liang. doccano: Text annotation tool for human, 2018.


# 中央銀行の要人発言に対するタカ・ハト極性付与タスクの検討

高野海斗 1 内藤麻人 ${ }^{1}$ 長谷川直弘 ${ }^{1}$ 中川慧 ${ }^{1}$
1 野村アセットマネジメント株式会社
$\{$ k-takano, a-naito, n-hasegawa, k-nakagawa $\}$ @nomura-am.co.jp

## 概要

金融業界でオルタナティブデータの活用が進む中，金融テキストマイニングにおいて，文に対してセンチメント付与を行うタスクは，重要な研究テー マである．金融分野におけるテキストへのセンチメント付与性能の向上のためには，少なくとも，否定表現，経済状況，時間軸の情報を加味できるモデルが必要であると考える. 本研究では，上記に挙げた 3 つの情報を加味する必要のある困難なタスクとし $\tau$ ，中央銀行の要人発言に対するタカ・ハト極性付与タスクを提案し, その重要性と必要性について述べる.

## 1 はじめに

近年，機械学習などの手法が注目を集め，様々な分野への応用研究が活発に行われている. 金融業界でも人工知能分野の手法や技術を様々な場面に応用することが期待されており，膨大な金融情報を分析し投資判断を支援する金融テキストマイニングに注目が集まっている $[1,2,3]$.

金融業界でオルタナティブデータの活用が進む中，金融テキストマイニングにおいて，文に対してセンチメント付与を行うタスクは，重要な研究テー マである. 特にテキストを用いて景況感を示す指標はセンチメントスコアと呼ばれ実際に活用されている. 例えば野村證券株式会社では, 政府や日本銀行のレポートのセンチメントを指数化する野村 AI 景況感指数を公表し，実際に定量分析などで利用している1).

金融テキストマイニングにおいて，センチメントスコアが注目されているのには，以下に述べる背景が存在する。一般に金融テキストには，結果（事実）と評価が混在している。例えば，「今期の EPS ${ }^{2)}$

は 100 円であり、経営努力が実った。」と「今期の EPS は 100 円であり、経営陣の見通しの甘さが露呈した。」というテキストには，「今期の EPS は 100 円である」という同一の結果を伝えているが，評価は正反対の内容を伝えている. このように，同一の結果に対してどのような評価，すなわち極性を付与するかという点に市場あるいは投資家のセンチメントが含まれる。また結果を表す情報は財務データあるいは経済データが多く，定量的に取得・分析できるのに対して，評価情報はテキストにのみ存在する定性的情報である。そのため，金融テキストの極性付与は投資意思決定において重要なタスクである.

本研究では，大量に存在する金融テキストの中で中央銀行の要人 ${ }^{3}$ ) 発言に極性を付与することに焦点を当てる．中央銀行に関しての詳細は，2 章で述べることとし，ここでは中央銀行の要人発言に注目する理由を簡潔に述べる。

まず，中央銀行の公開情報は注目度が高く，マー ケットに与える影響が大きいことが焦点を当てた最大の理由である，日々運用者は，マーケット情報を参考にし，仮説を立て，投資判断を行っているが， その中でもメディアや公式 HP から発表される中央銀行の金融政策方針や要人発言などの重要性は非常に高く，実際に市場が予想していなかった発言が出た直後には，株価や金利などが大きく変動することがあるのは周知の事実である [4]. そのため，公開されているテキスト情報の定量的な活用を含めると非常に多くの関連研究が存在する。関連研究の詳細に関しては，3 章で取り上げるが，それらの研究のほとんどがトピックの割合や，そのポジティブ単語の割合・ネガティブ単語の割合と，マーケットとの関連を分析したものとなっている。

本研究で焦点を当てている要人発言は，伝統的に，金融引締のスタンスを取っているものは「タカ」派の意見，金融緩和のスタンスを取っているものは「ハト」派の意見に大別される．金融政策の決

3）金融政策方針を決定するメンバー
定権を持つ要人のタカ派あるいはハト派の発言の多萓が今後の金融政策の方向性に重要な影響を与えることが想定される。そのため市場参加者は要人発言が，タカ・ハトのどちら側のスタンスであるかを日々のニュースや公表物から波み取り, 将来の見通しや投資判断の材料にしている. しかし，このタカとハトという観点から極性を付与してマーケットへの影響を分析するような研究は数が少ない. 例えば，Amadeus[5] らは，オリジナルの辞書を用いてタカ・ハトの極性を付与し，分析を行っているが，辞書やデータセットに関する詳細は伏せられており， このような極性が付与されたデータは公開されていない.

そこで，本研究では中央銀行の要人発言に対するタカ・ハト極性付与タスクを提案する。 そもそも文の極性付与というタスク自体が，文の分類問題の中ではトピックの分類などと比較して難しいタスクではあるが，要人発言の分析を通して，このタカ・ハトの極性付与タスクは従来の極性付与タスクよりも難易度が高いことがわかってきた. 本研究では, どのような点においてタカ・ハトの極性付与が他タスクと比較して難しいのかについて取り上げる。また，研究初期の段階であることから定義に関してなど，課題が残っているが，そのような点を解消した暁には，公開データを用いて正解ラベル付きデータの共有を目標としている.このようなデータセットが公開されることで，極性付与モデルのさらなる発展と，これまでテキスト情報であることから定量的に扱うことができなかった多くのテキストが有効活用されることで，より健全な市場の形成に繋がることを期待している.

## 2 中央銀行の重要性

中央銀行は国家や特定の地域の金融機構の中核となる機関である. 各国の中央銀行を取り上げたいところではあるが，市場に与える影響が最も大きい米国の連邦準備制度（Federal Reserve System，以降 Fed と省略して表記）を代表として取り上げる。

連邦準備制度において，金融政策の基本方針決定に中心的な役割を果たす組織が，連邦準備制度理事会 (Board of Governors of the Federal Reserve System) である. Fedの金融政策の目的として，連邦準備法では「最大の雇用」,「物価の安定」,「穏やかな長期金利」が規定されている. 特に，「最大の雇用 $」$,「物価の安定」は非常に重要視されている.
Fed は上記の目標を達成するために，状況に応じていくつかの金融政策手段を実施する．代表的な金融政策手段として，公開市場操作，公定歩合，預金準備率がある ${ }^{4)}$.これらの金融政策手段のうち最も機動的なものが公開市場操作であり, FF 金利5)を誘導目標に沿うように，オペレーションを実施する。 したがって，市場参加者の注目は $\mathrm{FF}$ 金利の誘導目標に集まることから，その基本方針が決定される公開市場委員会（Federal Open Market Committee，以降 FOMC と省略して表記）に対する市場の関心は非常に高いものとなっている. FOMC は日銀の政策委員会に相当する最高意思決定機関であり，年 8 回開催される。投票権を有する参加者は，理事会から理事 7 名, 12 ある地区連銀から総裁 5 名（1 年交代の輪番）の計 12 名であり，投票権のない地区連銀総裁はオブザーバーとして出席する。これらの理由から，FOMC 参加者の日々の発言，スタンスが市場参加者からは非常に重要視されている. 本研究では, オブザーバーを含めた FOMC 参加者を「要人」と定義する.

Fed の金融政策のスタンスを分析するのに有効となるテキストデータは，スペースの関係上, Appendix[A] に記載している。

## 3 関連研究

金融政策に関わるテキストを対象にした分析は，盛んに行われている．その対象は Fed や ECB （欧州中央銀行）はもちろん $[6,7,8,9,10,4], \mathrm{BOJ}$ （日銀）やBOK（韓国）などの分析も行われている $[11,12,13]$. 例えば，Hansen[6] らは，FOMC 声明文を LDA により分析し, Apel[7] らの金融極性辞書を用いて，トピック別にセンチメント付与をした. そして，FAVAR モデルを用いてトピック別にマク口変数や資産価格への影響を分析している。また， Jegadeesh[8] らは, FOMC 議事録をLDA により分析し，Loughran[14] らの金融極性辞書を用いて，卜ピック別にセンチメントを付与した. そして，トピック別にそれらのマクロ変数や資産価格への影響を分析している．ECB の分析では，Schmeling[4] らは, Apel[7] らの金融極性辞書を用いて，ECB の会見に対してセンチメント（ネガティブな単語の比率）を付与し，それが欧州各国の株価指数やイール

4）その他にも，超過準備への付利金利，翌日物リバースレポなどがある.

5） 米国の銀行間で資金を融通し合う際に適用され金利であり，日本の無担保コール翌日物金利に対応する。

ドカーブに影響を与えることを示している.

このように，自然言語処理技術を用いて分析を行っている研究は数多くあるが，それらの研究のほとんどは金融極性辞書を用いた分析やトピックモデルによる議題の変化に着目した分析である. 極性辞書を分析に用いるメリットは，分析が容易であることや，恣意的な要素が入りにくいことが挙げられる。また，極性辞書を用いた分析では，どのような極性辞書を使用するかが非常に重要である. 例えば，広く利用されている一般的な極性辞書 （Harvard-IV-4 TagNeg）に含まれるネガティブ表現は，金融の分野において，約 4 分の 3 も該当しないことを Loughran[14] らは示している. したがって， センチメント分析を行うためには，その目的に特化した極性辞書を使用する必要があり，特化した極性辞書を作成や拡張する研究は，盛んに行われている $[15,16]$. 金融政策の分析を行うのであれば，金融政策の分析に特化した極性辞書が本来望ましい.例えば，重要な経済指標の一つである失業率は，低下がポジティブであり，上昇がネガティブな出来事である.このようなトピックが含まれることから， Ahrens[9] らは，GDP，CPI，失業率という 3つの主要な経済的側面に沿って，金融政策のシグナル分散指数を，教師有り学習を用いた方法を用いて構築している.

しかしながら，次の 4 章で述べる様々な理由から, 仮に特化した辞書を作成したとしても, 辞書ベースでの分析には限界がある. 要人発言に関しては，その文がどのようなニュアンスを含んだ文であるかを推測する必要があり，それを達成するには単語やフレーズによる極性付与では不十分である。これまで辞書ベースのナイーブな分析であっても，有益な効果を示すことができていたことから，センチメント付与を工夫することができれば，より良い分析結果につながることが期待される。

## 4 タカ・ハト極性付与タスクの課題

まず，著者らは，タカ，ハト，その他の 3 つのラベルをテキストに対して人手で付与し，BERT 系モデル [17]をファインチューニングすることで分類モデルを作成したが，期待するような精度は出なかった6). 上記モデルの出力を検証したところ，タカ・ ハト極性付与タスクの困難は，(1) 要人発言のテキストの持つ特徴と (2) ラベル付けの困難にあると考

えている。

## 4.1 要人発言のテキストの特徵

まず上記モデルの出力の中から，誤分類していた要人発言のテキストの特徴を取り上げる.

## 4.1.1 否定・婉曲表現

まず，中央銀行の要人発言では，否定表現や婉曲表現が多発する。これはマーケットへの影響を配慮した結果であると考えられる。遠回しな表現を行い含みを持たせることで，情報を受け取った人が内容を解釈した上で行動を選択できるような発言が多いのが特徴である．実際にロイターニュースの要人発言に関するニュースを対象に分析を行ったところ， not (短縮形含む) , no, never などの否定を意味する単語を含んでいるへッドラインの割合は，全体の $10 \%$ を超える結果であった ${ }^{7)}$. この分析は単純な方法によるものであり，実際に単語やフレーズによる極性付与では難しい文はもっと多く存在する. 例えば， $\lceil$ Fed's Bostic added that it's "really challenging" to slow the pace of policy tightening amid rising core inflation. $\lrcorner$ のように「slow the pace of policy tightening (政策の引締ぺースを遅くする)」という表現が含まれているが，「"really challenging"（難しい)」とのことから，引き続き金融引締めを行っていくというニュアンスの文である．トピック分類などであれば，否定表現の割合が分類精度に与える影響は少ないが，意味を捉える必要のあるセンチメント付与においては大きな課題となる.

## 4.1.2 テキスト外 (経済) 情報の加味

次に問題となるのが，テキスト情報だけでは夕カ・ハトを判定することができない文である．人間は与えられた文だけでなく，非常に多くの情報を加味した上で文を読み，判定を行うのに対して，一般的なモデルは入力として与えられた文のみで判定を行う必要がある. 例えば，「The Committee is strongly committed to returning inflation to its 2 percent objective.」のようなコメントは，現状のインフレ率が高い場合，高いインフレ率を抑制するという意味を持つタカ派的なコメントになるが，現状にインフレ率が低い場合には，低いインフレ率を浮揚させるという意味を持つハト派的なコメントとなる。この

7）別のニュースソースでも検証を行ったが，否定表現の割合は $12 \%$ 超える結果となった.

ように現状のインフレ率がどのくらいの水準であるかに対して，意味合いが異なる．経済指標などを単純にモデルに組み込むことも考えらえるが，それらの数值情報によって過学習する恐れがあるため, どのように組み込み，活用するかに関しても議論の余地が残る.

## 4.1.3 時間軸情報の加味

また，時間的常識を理解できる仕組みも重要となる $[18,19]$. 例えば，「Many Fed officials have said they want to open the door to a possible rate hike in June.」のようなコメントは, 現時点から 6 月がどのくらい先の出来事を指しているかによって，意味合いが大きく異なる、コメントが出たのが 5 月である場合には，早急な利上げが必要であるという意味を持つタカ派的な発言となるが，コメントが出たのが 1 月である場合には, 利上げを急ぐ必要はないという意味を持つハト派的な発言となる. 実際に，2015年 1 月後半から 3 月前半にかけて以下のようなへッドラインのニュースがロイターから出ていたが，1文目から順に，6月，夏または秋，2016 年（来年）からの利上げ開始を支持する内容であり, 議論のポイントは利上げ開始の時期となっている。また，以下のヘッドラインの例からわかる通り, 時期の表現方法も様々である。
- Fed's George sticks with mid-year rate lift-off
- Fed's Williams sees first rate rise in summer or fall
- Fed's Evans wants no rate hikes until early 2016

## 4.2 テキストヘのラベル付け

次にタカ・ハトのラベル付与の課題を述べる.

## 4.2.1 金融政策文以外のテキスト

ここまで金融政策に言及する文を取り上げたが，Fed の目的は「最大の雇用」と「物価の安定」 のため，これらに関して言及している文も多い. また，金融政策の意思決定のために，「consumer spending $\lrcorner,\lceil$ energy $\lrcorner$, $\ulcorner$ agriculture $\lrcorner,\ulcorner$ manufacturing $\lrcorner$, $\lceil$ real estate $\lrcorner,\lceil$ retail trade $\lrcorner,\lceil$ construction $\lrcorner,\lceil$ services $\lrcorner$, $「$ banking $」$ 「finance」など，様々な材料を取り挙げる.これらの文の場合，金融政策に言及している文と比較して, タカ・ハトの判定が難しいものが含まれる. 特に，材料はあくまで結果（事実）に対して言及していることが多く，その結果に対してどのよ
うな評価を行っているかを汲み取ることが重要となり，高い専門性が必要となる.

## 4.2.2 金融政策文

金融政策に言及している文に関しても，どのようにラベル付与するか課題が残る. 例えば, $\lceil$ The Federal Reserve will deliver more interest rate hikes next year even as the economy slips towards a possible recession, Fed Chair Jerome Powell said on Wednesday, arguing that a higher cost would be paid if the U.S. central bank does not get a firmer grip on inflation.」のような 「景気後退が起こったとしてもさらなる利上げを行う」という文は，容易にタカ派の発言と捉えることができる. しかし, 「Jerome Powell supports 25 bp rate hike at March meeting.」, 「Fed's Mester says she doesn't see compelling case to start with 50 bps rate hike.」,「Fed's Powell will slow the pace of interest-rate increases next month.」などの文は，ラベル付けが難しい，なぜならば，タカ派とハト派は相対的なスタンスで議論されることが多いためである. 1 文目は，多くのメンバーが 50bp の利上げを支持している中での発言であれば，ハト派と捉える必要がある. 2 文目は，仮にメスター総裁が $75 \mathrm{bp}$ の利上げを支持しているのであればタカ派の文と捉える必要があり，仮に $25 \mathrm{bp}$ の利上げを支持しているのであれば八ト派の文と捉える必要がある. 3 文目は，金融引締はするが，そのペースは落としていくとのことで八ト派の文と捉えることができる。しかし，金融引締を積極的に行っていく中での相対的なハト派の文と，金融緩和を支持するハト派の文を同じものと捉えるのには問題が残る. したがってラベル付けは複雑にはなるが，より緻密な分析に繋げるためにも，順序尺度によるラベル付けが必要である．後続の分析に使用することも考えながら，現在その定義付けを進めている.

## 5 まとめと今後の展望

本研究では，中央銀行の要人発言に対するタカハト極性付与タスクの重要性・必要性とその難しさに関して述べた. 今後は，ラベル付けの定義を策定し，公開されているデータに対してラベル付けを行ったものを公開する予定である。データセットの公開によって, 否定表現の理解や時間軸の理解に対応可能なモデル開発やその評価に活用され，極性付与モデルの発展に貢献したいと考えている.

## 参考文献

[1] 和泉潔, 坂地泰紀, 伊藤友貴, 伊藤諒. 金融テキストマイニングの最新技術動向 (特集 ai の金融応用 (実践編)). 証券アナリストジャーナル, Vol. 55, No. 10 , pp. 28-36, 2017.

[2] Aaryan Gupta, Vinya Dengre, Hamza Abubakar Kheruwala, and Manan Shah. Comprehensive review of text-mining applications in finance. Financial Innovation, Vol. 6, No. 1, pp. 1-25, 2020.

[3] 鈴木智也, 中川慧, 伊藤友貴, 坂地泰紀. 金融におけるテキストマイニングと機械学習応用. 人工知能, Vol. 36, No. 3, pp. 270-278, 2021.

[4] Maik Schmeling and Christian Wagner. Does central bank tone move asset prices? 2015.

[5] Musa Amadeus, Rajeev Bhargava, Tim Graf, Michael Guidi, Michael Metcalfe, Gideon Ozik, and Ronnie Sadka. Central bank monetary tones and yields. Vol. 31, No. 4, pp. 5-19, 2022.

[6] Stephen Hansen and Michael McMahon. Shocking language: Understanding the macroeconomic effects of central bank communication. Journal of International Economics, Vol. 99, pp. S114-S133, 2016.

[7] Mikael Apel and Marianna Blix Grimaldi. The information content of central bank minutes. Technical Report 261, 2012.

[8] Narasimhan Jegadeesh and Di Wu. Deciphering fedspeak: The information content of fomc meetings. Monetary Economics: Central Banks - Policies \& Impacts eJournal, 2017.

[9] Maximilian Ahrens and Michael McMahon. Extracting economic signals from central bank speeches. In Proceedings of the Third Workshop on Economics and Natural Language Processing, 112021.

[10] Viorel Milea, Nurfadhlina Mohd Sharef, Rui J. Almeida, Uzay Kaymak, and Flavius Frasincer. Prediction of the msci euro index based on fuzzy grammar fragments extracted from european central bank statements.

[11] 和泉潔, 後藤卓, 松井藤五郎. 経済テキスト情報を用いた長期的な市場動向推定. 情報処理学会論文誌, Vol. 52, No. 12, pp. 3309-3315, 2011

[12] 松田安咲子, 岡石一真, 白田由香利, 橋本隆子, 佐倉環. Lda 方式による金融経済月報からのトピック抽出～第 2 次安倍内閣の金融政策と経済動向分析 〜.信学技報, Vol. 114, No. 204, pp. 79-84, 2014.

[13] Ki Young Park, Youngjoon Lee, and Soohyon Kim. eciphering monetary policy board minutes through text mining approach: The case of korea. Technical report, 2019.

[14] Tim Loughran and Bill Mcdonald. When is a liability not a liability? textual analysis, dictionaries, and $10-\mathrm{Ks}$. The Journal of Finance, Vol. 66, No. 1, pp. 35-65, 2011.

[15] Tomoki Ito, Hiroki Sakaji, Kota Tsubouchi, Kiyoshi Izumi, and Tatsuo Yamashita. Text-visualizing neural network model: understanding online financial textual data. In Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 247-259, 2018.

[16] 今井康太, 酒井浩之, 高野海斗, 北島良三, 末廣徹, 稲垣真太郎, 木村柚里. 債券市場における金融極性辞書の自動構築. 第 25 回金融情報学研究会, pp. 38-43, 2020.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[18] Siddharth Vashishtha, Benjamin Van Durme, and Aaron Steven White. Fine-grained temporal relation extraction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 7 2019.

[19] Qiang Ning, Hao Wu, Rujun Han, Nanyun Peng, Matt Gardner, and Dan Roth. TORQUE: A reading comprehension dataset of temporal ordering questions. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 112020.

[20] Dogu Araci. Finbert: Financial sentiment analysis with pre-trained language models, 2019.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

## A テキストデータ

Fed の金融政策を理解するためのテキスト情報を詳述する. Fed が公表するデータは，アーカイブされているため過去の情報を取得できる。しかし，公表される形式が年代によって異なるため，データ収集は困難であり，またデータを分析しやすい形に整える必要がある.

FOMC 声明文: FOMC 開催日に即日公表される。経済，物価に対する評価，金融政策の変更の有無等の基本的な決定事項が簡潔に記載されている. 注目すべきテキスト情報としては，決定に対して反対した人の主張が記載されている。また, 声明文公表の 30 分後に FRB 議長の記者会見が行われる。

ベージュブック（地区連銀経済報告）：各地区連銀の管轄地域の経済状況をまとめたものであり，FOMC の 2 週間前に公開される。 FOMC での議論の材料になることから，次の FOMC の結果を推測する材料の 1 つとなっている.

FOMC 議事録: FOMC での議論と公式見解が記述された資料であり，FOMCの 3 週間後に公開される。したがって情報の即時性はないが，記載内容の半分以上がメンバーの議論となっており，景気見通しの議論や金融政策の是非についての議論などが含まれるため，非常に良質なデータである.

Monetary Policy Report to the Congress: 翌々年までの経済見通しと金融政策の基本方針が記載されている資料であり，年 2 回公表される.この報告書は, 議会に提出される際, FOMC 議長は議会証言を行うが，こちらの内容は文書化され一般に公表される。

その他: 理事や地区連銀総裁は，様々な場で発言を行う。これらの要人発言は，FOMC での決定を予想するのに非常に重要な情報源となる。 ニュースデータなどの活用ができれば理想的であるが，分析可能な公開データは限定的である.また，ブラックアウト期間という金融政策に関して踏み込んだ発言が禁じられる期間が各国で設けられている。その中でも米国は，このブラックアウト期間が長く, 現在は FOMC が開催される前々週の土曜日から FOMC 終了時までがその期間となっている.

図 1 テキストデータの公開されるタイミング

FOMC を中心に，テキストデータの公開されるタイミングを図 1 に示す.FOMC は年 8 回行われるため，年に 8 回このサイクルを繰り返す.

## B 分類モデル作成の実験設定

テキストは 2015 年から 2022 年の期間のデータを使用し，ラベル付けデータを学習 (training), 評価 (validation)，テスト (test)の 3 つに分けて実験を行った. 2021 年以降の 2 年分のデータをテストデー タとし, 評価データは 2020 年 12 月 31 日に近いものを各ラベルの割合が均等になるように各 60 文ずつ抽出したものを使用した. そして，残りのラベル付けしたデータを学習データに使用した. 表 1 に各データのラベルがどの程度であるかを示す. なお， ラベルが均等になるようにバッチデータを作成し， モデルの学習を行った。

ファインチューニングに使用した事前学習済みモデルに関しては, finBERT[20] ${ }^{8}, \operatorname{RoBERTa}[21]^{9)}$ で比較検証を行った．比較した結果，RoBERTa モデルの方が良好な結果が得られた. RoBERTa モデルの学習過程における精度の推移を図 2 に示す。

表 1 各データのラベル

図 2 学習過程における精度の推移

8) https://huggingface.co/ProsusAI/finbert

9) https://huggingface.co/roberta-large


# 監査上の主要な検討事項 (KAM) の前例踏襲の程度に関する 業種別及び監査法人別の傾向分析

土井惟成
株式会社日本取引所グループ
n-doi@jpx.co.jp

## 概要

KAM（Key Audit Matters）とは，監査報告書の記載項目の一つであり，財務諸表の監査において，監査人が職業専門家として特に重要であると判断した事項を指すＫKAMに関する制度的な懸念として，各上場会社の KAM の内容が定型化又は画一化する事象がある. 本研究では, 2021 年 3 月期と 2022 年 3 月期における各上場会社の KAM を対象に, 前例踏襲の程度に関する傾向を分析した. 実験の結果,各上場会社の業種や監査人の所属する監査法人によって，KAM の類似性の傾向の差異が示唆された.

## 1 はじめに

上場会社は，年に一度，有価証券報告書を作成し，金融庁に提出する義務を負っている。また，有価証券報告書中の財務諸表等は，監査人による監査証明が必要とされている. 有価証券報告書及び監査人による監査報告書は，金融庁の EDINET ${ }^{1)}$ を通じて開示されている. 2021 年 3 月期以降の監査報告書では，「監査上の主要な検討事項（Key Audit Matters，以下 $\mathrm{KAM})\lrcorner$ の記載が原則として求められている。 KAM とは，監査報告書の記載項目の一つであり，財務諸表の監査において，監査人が職業専門家として特に重要だと判断した事項を指す.KAM 等の位置付けの概要を図 1 に示す。

KAM に関する制度的な懸念として，各上場会社の KAM の記載内容が定型化又は画一化してしまう現象，いわゆる「ボイラープレート化」が挙げられる. KAM の有益性の確保には，その記載において，「定型化，画一化を避けるべき」であると金融庁の資料で述べられている [2]. KAM のボイラープレー 卜化には，大きく 2 通りの傾向が知られており，各上場会社の記載が経年変化せずに固定化した内容と

図 $1 \mathrm{KAM}$ 等の位置付けの概要 (先行研究 [1] より引用)

なる状態を「縦のボイラープレート化」，各上場会社の記載が横並びで似通った内容となる状態を「横のボイラープレート化」と呼ぶ [3]. 先行研究では,縦のボイラープレート化に関する計量的な分析が行われている $[2,4]$ ほか，監査人が所属する監査法人単位による横のボイラープレート化の傾向に関する分析 [1] が行われている. しかしながら，業種別に見た傾向の分析は限られている.

そこで，本研究では，2021 年 3 月期と 2022 年 3 月期における各上場会社の KAMを対象として，業種別に縦のボイラープレート化の傾向を分析した.具体的には，各上場会社の KAMのテキストから単語頻度に基づくべクトルを 2 年分算出し，これらのコサイン類似度を縦のボイラープレート化の指標として見なした。そして，業種別の類似度の傾向を，統計的な手法を用いて分析した.

また，先行研究 [1] より，横のボイラープレート化について監査法人単位での傾向が確認できたことから，本研究では縦のボイラープレート化に関する監査法人別の傾向を分析した.

## 2 関連研究

本章では，KAM のボイラープレート化に関する計量的な研究について述べる.

先行研究 [1] では, 横のボイラープレート化の傾向を分析し，トピックモデルを用いて，監査人が所属する監査法人単位での KAM の類似性を検証した。監査法人間の類似性を評価した実験では，「大手監査法人同士は，概ね類似度が低い」という示唆が得られた. また，著者推定により KAM の類似性を評価した実験では，「大手監査法人の推定精度は，準大手監査法人の推定精度よりも高い」という示唆が得られた。

金融庁 [2] は, 縦のボイラープレート化の傾向を分析し，2020 年度に KAMを早期適用した後に監査人を変更した 1 社を除く 47 社の上場会社について， 2020 年度と 2021 年度の KAM の類似性を算出した。類似度の指標にはレーベンシュタイン距離を用いた. 分析の結果，類似度が 75\%以上となったのは 9 社（全体の約 18\%）であり，2つの監査法人の KAM の類似度の平均値と最大値は，他の監査法人のそれよりも高い傾向にあった.

あずさ監査法人 [4] もまた，縦のボイラープレー 卜化の傾向を分析し, 非上場会社 231 社を含む 2,552 社について，2021 年 3 月期と 2022 年 3 月期の KAM の類似性を算出した．類似度の指標は，名詞頻度のコサイン類似度である。分析の結果，類似度が $70 \%$未満の会社は約 $17 \%$ に過ぎず，95\%以上の会社は約 $36 \%$ であった．類似度が $95 \%$ 以上の会社群においては，『内容が前年と全く同じか，金額部分など一部が変わっただけであることを示す』と述べられている.

## 3 分析用データセット

本章では，本研究に用いた KAM のデータセット （以下，本データセット）の作成手法や統計情報等について説明する。

## $3.1 \quad K A M$ の概要

有価証券報告書に添付される監査報告書には，「当期連結財務諸表に対する監査報告書」と「当期財務諸表に対する監査報告書」がある．本稿では，「当期連結財務諸表に対する監査報告書」のKAMを 「連結 KAM」，「当期財務諸表に対する監查報告書」 の KAMを「単体 $\mathrm{KAM} \perp$ と呼ぶ. 1 つの KAM は，「タイトル」,「監査上の主要な検討事項の内容及び決定理由（以下，内容及び決定理由）」,「監査上の対応」で構成されており，1 社につき複数の KAM が記載されることもある。

本研究では，KAM の前例踏襲の程度を分析するため,「内容及び決定理由」と「監査上の対応」について，前年度からの類似度の傾向を分析した。

## $3.2 \mathrm{KAM$ の収集}

KAM の前例踏襲の程度に関する傾向を分析するため，連結 KAM のテキストを集約したデータセットを作成した. 本データセットに用いた文書は, 2021 年 3 月期と 2022 年 3 月期の，各上場会社の直近の有価証券報告書における「当期連結財務諸表に対する監査報告書」とした。

なお，監査報告書の収集に当たっては，EDINET APIを利用した.これらの監査報告書を対象に「「内容及び決定理由」と「監査上の対応」のそれぞれに相応する XBRL タグを参照することで，各上場会社の KAM を抽出した. 複数の KAM が含まれている場合は，1つのテキストとして連結した.

また，分析の対象とする上場会社は，以下の条件を全て満たすものとした.
- 2022 年 12 月末日時点で，東京証券取引所のプライム市場，スタンダード市場，グロース市場のいずれかに上場している内国会社
- 2021 年 3 月期と 2022 年 3 月期の有価証券報告書が，2022 年 6 月末日までに提出されている
- 2021 年 3 月期と 2022 年 3 月期の監査報告書において，KAM が 1 件以上記載されている
- 2021 年 3 月期と 2022 年 3 月期の監査報告書において，監査法人が同一である
- 監査法人が次節に示す大手監查法人又は準大手監査法人である

## 3.3 監査法人によるフィルタリング

先行研究 [1] に倣い, 少数の上場会社しか監査していない監査法人を除外するため，大手監査法人又は準大手監查法人の KAM のみを抽出した．大手監査法人とは，「上場国内会社を概礼 100 社以上被監査会社として有し，かつ常勤の監査実施者が 1,000 名以上いる監査法人」を指し，準大手監査法人とは「大手監査法人に準ずる規模の監査法人」を指す [5]. この結果，本データセットに含まれる監査法人

は，下記の 9 監査法人となった. なお，以降では，各監査法人の名称は， A 法人から I 法人のいずれかに匿名化を施し, 大手監査法人は A 法人から D 法人，準大手監査法人は E 法人から I 法人とした.

-大手監査法人
- 有限責任あずさ監査法人
- 有限責任監査法人トーマツ

$-\mathrm{EY}$ 新日本有限責任監査法人
- PwC あらた有限責任監査法人
- 準大手監査法人
- 仰星監査法人

- 三優監査法人
- 太陽有限責任監査法人
- 東陽監査法人

$-\mathrm{PwC}$ 京都監査法人

## 3.4 業種情報の付与

業種別による傾向の差異を分析するため，各上場会社に対して 17 業種区分に基づくラベルを付与した. 17 業種区分とは，証券コード協議会が「業種別分類に関する取扱い要領」[6] に基づいて各上場会社を分類する 33 種類の業種（以下，33 業種区分） を，17 業種に集約したものである [7]. 17 業種の内訳は，4 章の実験結果と併せて付録 $\mathrm{A}$ の表 4 に示す.

なお，上場会社の 33 業種区分は，「業種別分類に関する取扱い要領」に定める所属業種変更基準に該当すると，変更となることがあり，これに応じて 17 業種区分も変更することがある. 本データセットの業種は, 2022 年 12 月末日時点の業種に統一した.

## 3.5 本データセットの統計情報

以上の手順によって，「内容及び決定理由」と「監查上の対応」のそれぞれについて，1,585社分のテキストを収集した。これらのテキストの単語数の分布を表 1 に示す。なお，単語数の算出には， MeCab[8]及び UniDic2 ${ }^{2}$ を使用した。

2) https://clrd.ninjal.ac.jp/unidic/

図 2 本データセット全体の類似度の分布

## 4 実験

## 4.1 実験環境

本実験では，本データセットを利用し，「内容及び決定理由」と「監査上の対応」のそれぞれから， 2021 年 3 月期と 2022 年 3 月期の内容の類似度を算出し，その傾向を分析した．類似度には，あずさ監査法人の調査 [4] に倣い, KAM のテキストにおける単語の出現頻度から作成したべクトルのコサイン類似度を使用した. ただし, 抽出した品詞は, 先行研究 [1] に倣い, 名詞, 動詞, 形容詞, 副詞とした.

また，業種と監査法人による傾向の差異の有無を確認するため,「内容及び決定理由」と「監査上の対応」の各類似度を対象に，業種と監査法人による一次元配置分散分析を行った. 更に，差異がある業種及び監査法人を確認するため, 事後検定を行った.

## 4.2 実験結果及び考察

「内容及び決定理由」と「監査上の対応」のそれぞれの類似度の分布を，図 2 に示す。また，これらの類似度の一覧を，付録 A の表 4 及び表 5 に示す。

「内容及び決定理由」の類似度が 95\%以上の場会社は 638 社（約 $40.3 \%$ ),「監査上の対応」の類似度が $95 \%$ 以上の上場会社は 813 社（約 $51.3 \%$ ）だった. この結果は, あずさ監査法人の調査結果 [4] の傾向とも合致する，なお，「内容及び決定理由」と「監查上の対応」の類似度に対する $\mathrm{t}$ 検定の結果，「監
表 2 事後検定で有意差が確認できた業種

査上の対応」の方が有意に類似度が高かった（ $\mathrm{p}$ 値 <0.001). 従って，「監査上の対応」の方が，縦のボイラープレート化がより生じている。この理由として,「内容及び決定理由」は外的要因により毎年の記載内容が変わりやすいものの，それらに応じた対応には大きな変化は生じにくく，「監査上の対応」 の内容は前例踏襲になりやすいことが考えられる。

以下では，業種別の類似度の傾向と，監査法人別の類似度の傾向について，それぞれ述べる。

## 4.2.1 業種別の類似度の傾向

「内容及び決定理由」の類似度一次元配置分散分析の結果, $\mathrm{p}$ 值は 0.001 未満だった. 従って, 本データセットの「内容及び決定理由」には，業種間の類似度の平均值に有意差があると解釈できる。

そして，事後検定を行い，有意水準 $5 \%$ の下で有意差が確認できた業種の組み合わせを抽出し，表 2 のとおり，類似度の高い業種と低い業種に分類した. 類似度の低い業種群におけるどの業種も，「15 銀行」との有意差が認められており，付録 A の表 4 から「15 銀行」は「内容及び決定理由」の平均值が最も大きい業種であることを踏まえると，業種が $「 15$ 銀行」の上場会社は特に前例踏襲の程度が強いと言える。以上から，「内容及び決定理由」の類似度は，業種による傾向の差異があると言える。

「監査上の対応」の類似度一次元配置分散分析の結果, p 値は 0.001 未満だった. 従って，「監査上の対応」も，業種間の類似度の平均值に有意差があると解釈できる.

しかしながら，事後検定を行い，有意水準 $5 \%$ の下で有意差が確認できた業種の組み合わせを抽出したところ，このような組み合わせは「03 建設・資材」と「10 情報通信・サービスその他」（p 値: 0.006）

しか無かった. 従って，「監査上の対応」における業種別の類似度の差異は，「内容及び決定理由」よりも小さいと言える.

また，特筆すべき点として，「03 建設・資材」は，「内容及び決定理由」では類似度が低い業種群に含まれていたところ，「監査上の対応」では類似度が高い傾向がある．以上から，同一の業種であっても，「内容及び決定理由」と「監査上の対応」では，異なる傾向が示され得るという示唆が得られた。

## 4.2.2 監査法人別の類似度の傾向

「内容及び決定理由」の類似度一次元配置分散分析の結果, $\mathrm{p}$ 值が 0.001 だった. 従って, 本データセットの「内容及び決定理由」には，監査法人間の類似度の平均値に有意差があると解釈できる。

そして，事後検定を行い，有意水準 $5 \%$ の下で有意差が確認できた監査法人の組み合わせを抽出した.これに対して，表 3 に示すとおり，類似度の高い監査法人と類似度の低い監査法人に分類したところ，類似度の低い監査法人は全て準大手監査法人 G 法人となり，大手監査法人は類似度が高い傾向が見受けられた。以上から，「内容及び決定理由」の類似度は，監査法人による傾向の差異があると言える。

「監査上の対応」の類似度一次元配置分散分析の結果， $\mathrm{p}$ 値は 0.087 と，有意水準 $5 \%$ の下で有意差が確認できなかった. 従って，「監査上の対応」には，監査法人による傾向の差異があると言えない。

## 5 おわりに

本研究では，2021 年 3 月期と 2022 年 3 月期における各上場会社の KAMを対象に，前例踏襲の程度に関する傾向を分析した. 実験の結果，上場会社の業種や監査人の所属する監査法人によって，KAM の「内容及び決定理由」と「監査上の対応」のそれぞれについて，類似性の傾向が異なることが示唆された. 今後の課題としては，類似度の傾向差異の要因に関する詳細な分析や，より広範な上場会社又はより長期的な期間を対象とした分析が挙げられる.

## 参考文献

[1] 土井惟成. トピックモデルによる監査上の主要な検討事項（KAM）の類似性の検証. 人間科学とコンピュー タシンポジウム 2022 論文集, pp. 199-206, 122022.

[2] 金融庁. 監査上の主要な検討事項 (KAM) の特徴的な事例と記載のポイント, 2022. https://www.fsa.go. jp/news/r3/sonota/20220304-2/01.pdf.

[3] 公益社団法人日本監査役協会会計委員会. 監査上の主要な検討事項（KAM）の強制適用初年度における検討プロセスに対する監査役等の関与について, 2021. https://www.kansa.or.jp/wp-content/ uploads/2021/12/el001_211220a_2.pdf.

[4] 森国司. 監査の重要項目「KAM」、企業 4 割で前例踏襲. 日本経済新聞社, 2022. https://www.nikkei.com/ article/DGKKZ064673390X20C22A9DTA000/.

[5] 公認会計士・監査審査会. 令和 4 年版モニタリングレポート, 2022. https://www.fsa.go.jp/cpaaob/shinsakensa/ kouhyou/20220715/2022_monitoring_report.pdf.

[6] 証券コード協議会. 業種別分類に関する取扱い要領, 2007. https://www.jpx.co.jp/sicc/sectors/ nlsgeu00000329wk-att/category2.pdf.

[7] 株式会社 JPX 総研. 東証指数算出要領 (東証業種別株価指数・TOPIX-17 シリーズ編),2022.https://www.jpx.co.jp/markets/indices/ line-up/files/cal2_13_sector.pdf.

[8] Taku. Kudo. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/, 2005.

## A 業種別及び監査法人別の類似度の一覧

表 4 業種別の類似度の一覧

表 5 監査法人別の類似度の一覧


# 金融テキストからの類似文の自動収集

吉野綾音酒井浩之永並健吾
成蹊大学 理工学部 情報科学科
us192136@cc.seikei.ac.jp, \{h-sakai, kengo-enami\}@st.seikei.ac.jp

## 概要

本研究では有価証券報告書データから類似文を自動的に収集する手法を提案する. タグと文末表現が一致する文ぺアの中で, 単語の TFIDF 値を要素とした単語ベクトルから求めた $\cos$ 類似度とレーベンシュタイン距離との調和平均を算出し, 類似文を収集する. 収集した類似文を学習データとして Sentence-BERT で学習モデルを作成し, その学習モデルによる決算短信からの業績要因文の抽出により, 収集した類似文を評価した.

## 1. はじめに

近年, ビッグデータの活用やテキストマイニング技術などテキストデータの有効利用が注目されている. テキストマイニングには多くのテキストデータが必要であるが，学習データ等はまだ手動で作成, 収集を行なっていることも多い. 特に類似文のペアは様々な言語処理に活用できる. 例えば, 類似文からは言い換え表現の獲得ができる. また, 高精度な文べクトルを生成する手法である Sentence-BERT[1]において, 類似文のぺアを学習データとして使用している. その一方で, 類似文のペアの作成は人手で行っていることがほとんどであり, 大量のデータを用意できないのが現状である. 類似文を自動的に収集することができれば, データ作成の労力を大きく抑えられる. また，自動収集によって多くの類似文ぺアのデータが入手できるため, 言い換え表現の獲得や Sentence-BERT など類似文を利用する様々な技術で役立つと考える. そこで本研究では, 類似した内容の多い金融テキストから, 類似文のぺアを自動的に収集することを目的とする. 金融テキストは企業から毎年発行されるが, 同じ企業が発行している金融テキストに記載される内容はほぼ同じことが多い. そのため, 類似した文のペアが含まれると考えられる. 本研究では, そ
のような金融テキストの性質を利用して，類似文のぺアを自動的に収集することを目的とする.

これまでに金融テキストからの情報抽出に関してはいくつかの研究が行われている[2][3][4]. 文献[2]では, 決算短信から手がかり表現と企業キーワードを獲得し, 業績要因文を抽出している. 文献[3]では, 手がかり表現を拡張して学習データを自動的に作成し, 深層学習によって有価証券報告書から業績要因文を抽出している。文献[4]では, [3]と同様に学習データを自動的に作成し,深層学習によって決算短信から業績要因文を抽出している.いずれも決算短信や有価証券報告書から業績要因文を抽出する手法を提案している.これらの研究に対して, 本研究では金融テキストとして有価証券報告書を対象とし, 業績要因文に限らず，文書内の類似文をすべて収集する.

言い換え表現の獲得に関する研究は文献[5][6][7]がある. 文献[6]では多言語パラレルコーパスを利用した言い換え表現の判定, 収集であり, 本研究では文全体での類似した文を収集するという点が異なる. 類似した文のペアには表現の言い換えによって類似している文も含まれており, 本研究で収集した類似文から言い換え表現の獲得を行うことも可能である. 文献 [7]では同義語のグラフを構築し，グラフをもとにペアワイズ類似度を計算, 単語単位の類似度を合計して文同士の類似度を測る手法を提案している. 本研究では, $\cos$ 類似度とレ一ベンシュタイン距離を組み合わせて文同士の類似度を算出し，類似文を収集するといら点に違いがある.

日本語の Sentence-BERTに関しては文献[8]がある. この研究ではスタンフォード NLI コーパスを日本語に翻訳し, BLEU のスコアとクラウドソーシングを利用することで類似文を収集している. 本研究では金融テキストから類似文を自動的に収集する点が異なるが，収集した類似文は金融に特化しており，金融テキストを対象とした研究においては精度の向上が望めるという違いがある.

## 2. 提案手法

本提案手法は以下の 4 つの Step で構成される.

Step 1: 有価証券報告書データから, 文末表現が一致する文を抽出

Step 2: Step1 で抽出された文において, 2つの文の類似度を単語の TFIDF 値を要素とする単語ベクトルによる $\cos$ 類似度を算出

Step 3： Step1 で抽出された文において, 2つの文の正規化レーベンシュタイン距離を算出

Step 4: $\cos$ 類似度と正規化レーベンシュタイン距離の調和平均を算出し, 調和平均が閾値より高い 2 つの文を類似文として収集

## 2. 1 金融テキスト

本研究で使用する金融テキストとして, 上場企業が発行している有価証券報告書を使用する. 有価証券報告書は EDINET ${ }^{1}$ から XBRL 形式のファイルで取得した 4593 社の有価証券報告書のテキストデータを使用する.

XBRL 形式のテキストデータには文ごとに文の内容を示すタグが付与されている.タグは全部で 479 種類であった. 例えば「BusinessRisksTextBlock」タグは,「そのような研究開発活動の停滞により、当社グループの業績が悪影響を受ける可能性があります。」のような事業リスクに関する文に付与されている. タグが同じ文は内容が近しいと考えられるため, 同じ企業の同じタグを持つ文を比較する。

## 2. 2 文末表現による類似文候補の取得

文末文節と，その文末文節に係る文節を結合した文字列を文末表現とし, 文末表現が一致する文を抽出する. 文末表現を得るための係り受け解析には Cabocha[9]を利用した. 内容が近い文ぺアは文末表現が一致すると考えられるため, 同一のタグをもち, かつ,文末表現が一致する 2 つ文を類似文候補として抽出する.しかし，これだけでは図1のように類似文として不適切な文ぺアが多く抽出されるため, 文間の類似度を求めることで, 類似文として不適切な文ぺアを除去する.社会全般にわたる重大な品質問題など、当社グル ープの取り組みの範囲を超えた事象が発生した場合には、業績に影響を及ぼす可能性があります。販売量・単価共にこの季節変動及び気候・天候条件に影響を受け易く、その変動が大きい場合は、業績に影響を及ぼす可能性があります。

図 1 類似文として不適切な文ぺアの例

## 2. 3 類似文の判定

抽出された類似文候補の 2 文間の類似度を求め, 類似文として不適切な文ぺアを除去する。ここで，類似度は文に含まれる単語の TF・IDF 值を要素とする単語べタトルの $\cos$ 類似度を用いる. 以下の式を用いてある企業における単語 $a$ の TF・IDF 値を求める.

$
T F(a, x)=\frac{\text { 文 } x \text { における単語 } a \text { の出現頻度 }}{\text { 文 } x \text { における全単語の出現頻度の和 }}
$

$
T F \cdot I D F(a, x)=T F(a, x) \times \log \left(\frac{N}{\text { 単語 } a \text { を含む文の数 }}\right)
$

ここで, $\mathrm{N}$ はある企業が発行している有価証券報告書の集合における文の総数である.

$\mathrm{TF}$ IDF 值で文の単語ベクトルを生成し, 単語ベクトルによる文間の $\cos$ 類似度を求める. $\cos$ 類似度が高い文ぺアを類似文とすることで，不適切な文ぺアを除去する.

本研究では全く同じ文や数字だけが異なる文ではなく, 内容は類似していながら表現の異なる文を類似文として収集したい. しかし, タグと文末表現の一致と $\cos$類似度による収集では, 内容が類似している文ではあるものの, 表現の異なる文の収集ができない. そこで本研究では類似度の判定として, $\cos$ 類似度に加え正規化レーベンシュタイン距離を利用する.レーベンシュタイン距離とは編集距離のことで, 1 文字の挿入・削除・置換で，一方の文字列をもう一方に変形するために必要な手順の最小回数を表す。

本手法では, $\cos$ 類似度と正規化レーベンシュタイン距離の調和平均が大きい文ぺアを類似文として判定する. 本来, レーベンシュタイン距離が小さいとき文同士は類似していることになるが，本手法では大きいものを収集した. なぜなら, 文間類似度を表す $\cos$ 類似度と,編集にかかるコストを表すレーベンシュタイン距離がとも
^{1} \mathrm{https}$ ://disclosure.edinet-fsa.go.jp/
}

に大きい文ぺアを抽出することで，同じ単語を異なる配置で使っている文を類似文として獲得できると考えるためである. $\cos$ 類似度と正規化レーベンシュタイン距離の調和平均の閾値は 0.5 以上とした.

本手法により 401,347 ペアの類似文を収集した. 本手法による類似文として判定された文ぺアの例を以下に示す.

花種子につきましては、トルコギキョウやヒマワリの売上が伸びたことなどから、前期比増収となりました。花種子につきましては、為替の影響で欧州、南米では減収となりましたが、中国ではトルコギキョウ、北米ではヒマワリやトルコギキョウなどが好調に推移したことから、前期比増収となりました。

図 2 本手法による収集した類似文の例

## 3. 評価

本手法で収集した類似文を学習データとして Sentence-BERT でモデルを生成し, 生成されたモデルを使用することで収集した類似文の評価を行う. 適切な類似文が収集できていれば，その類似文を学習データとして用いて作成したモデルは適切な文ベクトルを生成できる.ここで, 評価タスクとして決算短信からの業績要因文の抽出[2][4]を設定する.このモデルを利用して決算短信から業績要因文の抽出を行い, 抽出された業績要因文の精度, 再現率で評価する.

収集した類似文を用い, Sentence-BERT のモデルを生成する. なお, 学習データとして利用する非類似文は, 同じ企業の同じタグの文の中で最も $\cos$ 類似度が低いものを収集した. そして, 文献[4]の手法にて作成した学習用の業績要因文データと, テストデータである決算短信の文との類似度を, Sentence-BERT で学習したモデルを用いて求め, 学習用の業績要因文との類似度が高い文を決算短信から抽出する.

抽出された業績要因文の精度と再現率によって, 収集した類似文の適切性を評価する. 類似度の閾値により, 精度, 再現率, $\mathrm{F}$ 值が変化する. 表 1 に類似度の閾值における, 精度, 再現率, $\mathrm{F}$ 值を示す.表 1 評価結果

比較手法として, 以下の 2 種類の手法で収集した類似文で Sentence-BERT のモデルを学習し，比較した.

1) $\cos$ 類似度と正規化レーベンシュタイン距離の調和平均により抽出した類似文から，同一文字列が含まれる文ぺアを除いた類似文

2) $\cos$ 類似度のみで抽出した類似文

$\cos$ 類似度と正規化レーベンシュタイン距離の調和平均により抽出した類似文のデータには, 同一文字列が含まれる組み合わせが散見される. なるべく異なる表現の類似文を収集したいため，1）では同一文字列を含む文ぺアを除き学習データとした. 2）では， ベースラインとして $\cos$ 類似度のみで類似文の判定を行なった. 閾値は 1）と同様に 0.5 以上とした. 表 2 に比較手法の精度, 再現率, F 值を示す. 表2では, 各手法で $\mathrm{F}$值が最も大きい時の評価値を示した. 閾値は本手法では 0.54 の時, 1)では 0.70 の時, 2)では 0.71 の時の評価値である.

表 2 提案手法との比較

 &  \\

本手法と比較手法において, 閾值を 0.01 ずつ変化させたときの精度, 再現率のグラフを示す.

図 3 提案手法と比較手法の評価結果

## 4. 考察

金融テキストを利用した類似文の収集において，収集した類似文を用いて Sentence-BERT のモデルを学習した. そして, 作成されたモデルによって決算短信からの業績要因文の抽出を行い, その精度と再現率で収集した類似文の評価を行った. 類似度の閾値が 0.54 の時, 精度が $61 \%$, 再現率が $84 \%, \mathrm{~F}$ 値が 70.7 となった. 3 種類の手法によって収集した類似文ぺアで学習モデルを作成したが，本手法が最も良い結果が得られ，同一文字列を除く場合は精度が落ちた. 言い換えや内容の順番の入れ替えによる類似文とは言い難い同一文字列を含む文ぺアを除くことは精度向上につながると考えた。 しかし, 正規化レーベンシュタイン距離の値を考慮しても調和平均の值が大きく, 類似文として完全にノイズであるとはいえない. 類似文の総数が同一文字列を含む場合は約 40 万文, 含まない場合は約 38 万文となり, 同一文字列を含む文ぺアを除いたことによって学習デー タが少なくなり, それにより精度が落ちたと考える. さらに，本研究では類似文を自動的に収集しているため, データ量が膨大となり, すべての文ぺアを手作業で確認ができない，そのことから，同一文字列を含む文ぺアを除いた場合の学習データには, 例えば図 4 のようなノイズが含まれていた. 学習データが少なくなったことで,学習データにおけるノイズの影響が大きくなり, それにより精度が落ちたと考える.服飾資材関連では, スポーツアパレルメーカー向け付属品の売上高が増加しました

生活産業資材関連では, 映像機器向け付属品の売上高が増加しました

図 4 類似文として不適切な例

また, Sentence-BERT のモデルの作成の際に必要となる非類似文は，単純に最も $\cos$ 類似度が低くなる文にしたが，「あります」など極端に短い非類似文があり，そのような非類似文がノイズになったと考える。この非類似文の収集についても，含まれる文字数を考慮したり，レ一ベンシュタイン距離等を組み合わせたりすることで，精度の向上が目指せるのではないかと考える.

類似文の抽出では, 数字だけが異なる文の組み合わせを省くため，「円」や「\%」が含まれる文は類似文として取得しなかった.しかし，「名」「年」「株」「単元」なども単位として頻繁に使われている.これらの単語についてもノイズとして除くことで精度の向上に繋がる可能性がある.しかし, それによって「株式会社」や「当事業年度」などのよく使われる単語も省かれるため，金融テキストに特有の言い回しやよく使われる単語のリストを作成し，省く単語の適切な条件を設定する必要がある.

## 5. むすび

本研究では有価証券報告書データから類似文を収集する手法を提案した. 本手法では $\cos$ 類似度と正規化レーベンシュタイン距離との調和平均を算出し, 類似文を収集した。決算短信からの業績要因文の抽出による評価の結果, 精度が $61 \%$, 再現率が $84 \%$, F 值が 70.7 となり，同一文字列を含む文を除いた場合， $\cos$ 類似度のみの場合と比較して良好な結果を得ることができた。今後の課題として, 単位を含む文の除去, 文末, 文頭表現の一致の条件を適切に設定して精度を向上させたい.

## 参考文献

[1] Nils Reimers, Iryna Gurevych: "Sentence-BERT: Sentence Embeddings using Sia-mese BERTNetworks", Proceedings of the 2019 Conference on

Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pages 3982-3992, November 3-7, 2019.

[2]酒井浩之, 西沢裕子, 松並祥吾, 坂地泰紀: “企業の決算短信 PDF からの業績要因の抽出”,人工知能学会論文誌, Vol. 30, No. 1, pp. 172-182, 2015 .

[3] 高野海斗, 酒井浩之, 北島良三: “有価証券報告書からの事業セグメント付与された業績要因文・業績結果文の抽出”, 人工知能学会論文誌, Vol. 34, No. 5, p.wd-A_1-22, 2019.

[4] 酒井浩之, 松下和暉, 北島良三: “学習デー夕の自動生成による決算短信からの業績要因文の抽出”, 日本知能情報ファジィ学会誌, Vol. 31, No. 2, pp. 653-661, 2019.

[5] 乾健太郎, 藤田篤: “言い換え技術に関する研究動向”, 言語処理学会論文誌, Vol. 11, No. 5, pp. 151-198, 2004.

[6] 柏岡秀紀: “多言語パラレルコーパスを利用した言い換え表現グループの構築と分析”, 言語処理学会論文誌, Vol. 11, No. 5, pp. 3-18, 2004.

[7] Youhyun Shin, Yeonchan Ahn, Hyuntak Kim, Sanggoo Lee: “ Exploiting Synonymy to Measure Semantic Similarity of Sentences”, IMCOM 15: Proceedings of the 9th International Conference on Ubiquitous Information Management and Communication, No. 40, pp. 1-4, 2015.

[8] Naoki Shibayam, Hiroyuki Shinnou: "Construction and Evaluation of Japanese Sentence-BERT Models”, In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 731-738, 2021.

[9] Taku Kudo, Yuji Matsumoto: "Fast Methods for Kernel-Based Text Analysis", Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 24-31, 2003.


# 極性と重要度を考慮した決算短信からの業績要因文の抽出

大村和正 ${ }^{1}$ 白井穂乃 ${ }^{2}$ 石原 祥太郎 ${ }^{2}$ 澤 紀彦 ${ }^{2}$
1 京都大学大学院情報学研究科 2 株式会社日本経済新聞社
omura@nlp.ist.i.kyoto-u.ac.jp
\{hono.shirai, shotaro.ishihara, norihiko.sawa\}@nex.nikkei.com

## 概要

本稿では，極性と重要度を考慮した決算短信からの業績要因文の抽出手法を提案する。提案手法は 2 段階の学習データの自動生成から成り, 重要度を考慮した要因分類器の学習データと極性分類器の学習データを決算短信から生成する.これらの自動生成データにより, 業績要因文の抽出精度の改善と高精度な極性付与ができることを示す. また，中規模な評価データを人手で構築し，この再現ができるように必要な情報を公開する。

## 1 はじめに

ウェブ上には日久膨大なテキストデータが蓄積されており，それらを活用するための技術の需要が高まっている．その中でも，金融ドメインのテキストを対象としたマイニング手法は，投資支援や経済分析への応用が期待されることから近年盛んに研究されている [1]. 本研究では，このような金融テキストマイニングの 1 タスクである「決算短信からの業績要因文の抽出」に取り組む。

決算短信とは，上場企業が決算発表を行う際に開示する，当期の経営成績等をまとめた書類である (表 1 上段). 決算短信は企業動向をいち早く報じるものであるため，投資判断に欠かせない情報源である一方, 文章量が多く要点の把握には労力を要する.このため，投資判断の参考になる「業績変化の要因が記述された文 (業績要因文)」を自動抽出することができれば，投資支援として有用であると考えられる。このような背景のもと, 業績要因文の抽出に向けた手法は複数提案されてきた $[2,3,4,5,6]$.決算短信は原則再配布が認められていないためにオープンデータがなく, 注釈付けも多大な労力を要することから，いかに機械学習モデルの学習データを自動生成するかがひとつの争点となっている。例えば，酒井らは業績要因の手がかりとなる表現と各表 1 ある上場企業の決算短信と，それに対応する業績発表記事の例 (抜粋).

‥ 百貨店業での営業収益は 398,338 百万円 (前年同期比 31.4\%減)、営業損失は 16,863 百万円 (前年同期は営業利益 6,563 百万円) となりました。

国内百貨店におきましては、新型コロナウイル又感染症の拡大伴う緊急事態宣言の発出を受け、全店で食料品フロアを除く臨時休業を実施しました。 5 月末には全店で全館営業を再開いたしましたが、多くのお客様の来店を見込んだ営業施策や販売促進策の中止や開催方法の見直しをしたことに加充、外出を控える動きも依然強く、売上高は大きく減少いたしました。また、渡航制限で…

舞 $\cdots$ が 25 日発表した 2020 年 3 11 月期の連結決算で、最終損益は 243 億円の赤字 (前年同期は 164 億円の黒字)だった。新型コロナウイルスの感染拡大に伴う外出自肅やインバウンド (訪日外国人) 需要の大幅な落ち込みによる販売減少が響いた。…

企業にとって重要なキーワードを自動獲得し，それらをべースに学習データを生成している [5]. この手法は工程が若干複雑である点に難がある. これに対し，大村らは決算短信の要約記事である業績発表記事 (表 1 下段)を利用した，簡素なデータ生成手法を提案している [6]. この手法も決算短信に含まれる業績と無関係な記述 ${ }^{1)}$ が負例であることを十分に学習できないため，精度に改善の余地がある。

本研究では大村らの手法 [6] を拡張し, 学習デー タの生成を 2 段階にすることで，前述の問題に対処する。具体的には，業績発表記事から生成した学習データで分類器を訓練し，それを用いて決算短信に擬似ラベルを付与することで，よりタスクに適応した学習データを生成する。これにより，業績要因文の抽出精度が改善することを示す.

また，この拡張に乗じて，実応用での需要が高い極性 ${ }^{2}$ や重要度の付与が可能となるようにデータ生成を工夫する．具体的には，疑似ラベルを付与する際に重要度を考慮したスコアを付与し，これと並行

1）「〜は以下のとおりとなりました。」といった注記など.

2）その要因による売上高や利益の増減の向きを指す。

して極性分類器の学習データを生成する。これにより, 重要度の予測は改善の余地があるものの, 高精度な極性付与ができることを示す。極性や重要度を考慮する手法はこれまでにも個別に提案されてきた $[7,8,9]$ が，総合的に扱う点が差分である.

本研究のもう一つの貢献として，中規模な評価データを人手で構築し, この再現に必要な情報を公開する ${ }^{3)}$. 評価データはそのまま公開できないため, 注釈と決算短信の取得元の情報から評価データが再現できるように整備を進める.

## 2 タスク設定

本研究の対象を明確にするため，決算短信に含まれる文を以下のように分類定義する。

業績文当期の業績変化のみを述べた文

暗黙的な業績要因文文内で当期の業績変化と紐付いていないが，要因であると判断される文

明示的な業績要因文文内で当期の業績変化とその要因が述べられた文

その他上記のいずれにも該当しない文

例えば，表 1 上段において，1文目は業績文である. また，2 文目は「全店で食料品フロアを除く臨時休業を実施」という要因が述べられているものの，業績変化と紐付いていないため，暗黙的な業績要因文である. さらに，3 文目は「売上高は大きく減少」 という業績変化とその要因が述べられているため,明示的な業績要因文である.

本研究では，決算短信に含まれる各文が「明示的または暗黙的な業績要因文であるか否か」を判定する 2 値分類タスクとして定式化する。なお，財政状態や将来予測に関する記述 $[10,11]$ は対象外とする.以降，この 2 值分類タスクを「要因分類」，明示的または暗黙的な業績要因文を「正例」，そうでない文を「負例」と呼ぶ.

## 3 提案手法

提案手法は図 1 のように 2 段階の学習データの自動生成から成る.

## 3.1 第 1 段階

大村らの手法 [6] に従って業績発表記事から学習データを生成する，具体的には，業績発表記事から数字を含む文を業績文 (負例)，含まない文を暗黙的

図 1 提案手法の概要図.

な業績要因文 (正例) として抽出する。また，記事の第 1 段落から抽出した暗黙的な業績要因文と業績文を適当な接続詞でつなぐことで明示的な業績要因文を生成し，これを正例として加える。

ヒューリスティックの導入決算短信には業績と無関係な記述1) が多く含まれる. そのような記述によく見られる文体の文が負例であると学習させるため，以下のいずれかの条件を満たす文のラベルを 「負例」に上書きする。

・末尾の文節が過去形または体言止めでない

・末尾の節の意志性が強い

1 点目は将来予測に関する記述等を，2 点目は「〜 に努めました。」のような定性的だが業績変化との因果関係が曖昧な文を想定したものである。

最後に，生成したデータを用いて，入力文が正例である確率を予測する要因分類器を訓練する。

## 3.2 第 2 段階

重要度を考慮した要因分類器の学習データと極性分類器の学習データを決算短信から生成する.

重要度を考慮した要因分類器の学習データ第 1 段階で訓練した要因分類器を使用し, 決算短信から抽出した各文に重要度を考慮したスコア $(\in[0,1])$ を付与することで生成する. 手順を以下に示す.

1. 要因分類器の予測確率が 0.8 以上である文を正例， 0.2 以下である文を負例として抽出し，それ以外の文を除外する。

2. 負例の文はスコア 0 をラベルとする.

3. 正例の文は，それが抽出元の決算短信において冒頭から $i$ 番目の正例の文であるというメタ情報をもとに，以下の計算式で算出されるスコアをラベルとする.

$
\operatorname{score}(i)=\max (1.0-0.02 \times i, 0.8)
$

決算短信には「企業全体の概況 $\rightarrow$ 主力事業の概況 $\rightarrow$ その他事業の概況」という談話構造がよく見られ，冒頭に近いほど重要な要因である可能性が高いことを 3 の計算式に反映している.

極性分類器の学習データ Saito らの手法 [12] を参考に以下の手順で生成する.

1.「増収」や「減益」など，業績変化の極性を強く表すシード語彙を人手で策定する.

2. シード語彙を含み，それと「原因・理由」または「逆接」の談話関係を表す談話標識で接続される節の組を取得する。

3. シード語彙を含む節はそれにもとづく極性を， それと接続される節は談話関係にもとづいて伝播される極性をラベルとする。

最後に，生成した 2 つのデータを用いて，入力文のスコア (=重要度) を予測する要因分類器と極性分類器を訓練する．極性と重要度を同時に予測する分類器の構築は今後の課題である.

## 4 実験

提案手法の有効性を検証するために実験を行う. オープンデータは存在しないため，評価データは人手で構築し，学習データは自動生成する。

## 4.1 評価データの構築

まず，株式会社日本経済新聞社が提供するニュー ス配信サービス「日経電子版」)における業界分類5) 亿従って, 各業界 10 企業ずつ計 150 件の決算短信を人手で収集した. 対象期間は 2021 年 4 月から 2022 年 4 月までの 1 年間とした.

続いて，各決算短信 PDF から四半期決算に関する定性的情報が記述されたテキストを抽出し ${ }^{6)}$ ，正規

表 2 評価データの統計.

表 3 学習データの統計. 要因分類器の学習データは負例に偏っていたため, 5 万文ずつに絞っている. また,「正例」は 0.8 以上のスコアが付与された文を指す.

表現ベースの文分割処理7)を適用した.こうして得られた各文に著者らが人手で注釈付けを行い，3人以上の合意があったラベルに集約した。 また，正例と評価された文はその極性と重要度も付与した．極性はポジティブ・ネガティブ・判別不能のいずれかを，重要度は決算短信 1 件につき最大 3 文まで重要文を主観で決め，重要文であるか否かを付与した。

最後に，2:8 に分割して開発データとテストデー タを構築した。評価データの統計を表 2 に示す.この再現に必要な情報は公開する.

## 4.2 学習データの生成

業績発表記事の取得提案手法の第 1 段階で使用する業績発表記事は「日経電子版」4) から取得した。具体的には, 2018 年 1 月から 2021 年 1 月までの 3 年間を対象とし，メタデータのトピック情報に「企業決算」ラベルが付与されているものを取得した.この結果，上場企業 1,023 社の業績発表記事を計 3,322 件取得した。また，総文数は 43,893 文であった。

決算短信の取得ベースラインおよび提案手法の第 2 段階で使用する決算短信はウェブから自動収集した. 業績発表記事の取得時と同様に，2018年 1 月から 2021 年 1 月までの 3 年間を対象とした. この結果, 上場企業 3,653 社の決算短信を計 31,771 件取得した. 取得された PDF に対し， 4.1 節と同様に文を抽出した結果，総文数は 574,000 文であった。

提案手法 3 節の手法に従って学習データを生成した。過去形または体言止めであるか否かの判別と節間の談話関係の認識は，構文解析器 $\mathrm{KNP}^{8}$ [13] が

7) https://github.com/ku-nlp/python-textformatting

8) https://github.com/ku-nlp/knp
表 4 テストデータに対する実験結果. 異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差を記載している.「ヒューリスティックのみ」は，3.1 節の条件を満たさない文を全て「正例」とした時の精度である.

 &  &  &  \\

付与する言語素性をもとに自動で行った. また，意志性の判別は, Kiyomaru \& Kurohashi の手法 [14] に従って構築された意志性分類器を使用し，スコア $(\in[0,1])$ が 0.3 以上のものを意志性が強いとみなした. 生成したデータの統計を表 3 に示す.

ベースライン手がかり表現と企業キーワードによる業績要因文の抽出手法 [5] をべースラインとした. 手法に従って正例 85,241 文, 負例 75,175 文から成る学習データを生成した. また， 3.1 節のヒュー リスティックの有無による精度の変化も調査した.

## 4.3 モデルの訓練・評価

分類器のモデルはいずれも RoBERTa [15] を採用した. 事前学習モデルは早稲田大学が公開している日本語 RoBERTa base モデル)を使用した.

要因分類分類器の性能を $\mathrm{F}$ 値で評価した. ベー スライン・提案手法ともにモデルが過学習する傾向が見られたため，開発データに対する $\mathrm{F}$ 值をステップごとに測り，F 値が最大となるステップのパラメータでテストデータに対する性能を評価した。

重要度の予測精度は重要文の正解率として評価し，以下の手順で算出した。

1. 決算短信ごとに各文の予測値を出す.

2. 各決算短信の重要文の数 $N_{i}$ を既知として，予測值上位 $N_{i}$ 文を取得する.
3. $N_{i}$ 文のうち, 実際に重要文であった数 $M_{i}$ を求め， $\sum_{i} M_{i} / \sum_{i} N_{i}$ を正解率として計算する.

極性分類表 2 の評価データのうち，正例かつポジティブまたはネガティブのラベルが付与されたものに対して, 分類器の性能を $\mathrm{F}$ 值で評価した. 開発データに対する $\mathrm{F}$ 值が最大となるエポックのパラメータでテストデータに対する性能を評価した。

9) https://huggingface.co/nlp-waseda/ roberta-base-japanese

## 4.4 実験結果・定性的分析

テストデータに対する実験結果を表 4 に示す. 誤分類の実例は付録を参照されたい.

要因分類提案手法について，疑似ラベルによる全体的な性能の改善が見られる。 また， ベースライン・提案手法ともにヒューリスティックを導入することで適合率が大きく向上している. 決算短信に含まれる業績と無関係な記述が負例であることを十分に学習させることが重要だと考えられる.

定性的分析では，経済や景気について述べた文を正例だと誤分類する傾向が見られた. 主語の大きさに着目するような工夫が必要だと考えられる。

重要度の予測重要文の正解率は提案手法による改善が見られるが，依然として精度が低い. 文脈を見ないと企業全体・主力事業・その他事業のいずれについて述べているか判別できない文が多いことが原因として挙げられる. 文章単位での解析に拡張すること，疑似ラベルを付与する際に各文が対象とする事業セグメントを解析し [16]，それをもとにスコアを付与することを検討する。

極性分類 $\mathrm{F}$ 値は 95.9, 89.2 と比較的高い精度に達している. 定性的分析では「赤字幅が減少」といった極性が反転する表現も正しく解析できていた一方，数量推論やドメイン知識が必要な文を誤分類する傾向が見られた. シード語彙に「前四半期比〜\%」といった定量表現を加えることを検討する。

## 5 おわりに

本稿では極性と重要度を考慮した決算短信からの業績要因文の抽出手法を提案した. 今後は極性と重要度の同時学習や重要度の予測精度の改善, そして構築した分類器とテキスト生成モデルを組み合わせた決算短信の要約記事の自動生成などを検討する。

## 謝辞

再現実験にご協力いただき，精度改善についてご助言を頂いた中間康文さんに感謝いたします。

## 参考文献

[1] 坂地泰紀, 和泉潔, 酒井浩之. 金融・経済ドメインを対象とした言語処理. 自然言語処理, Vol. 27, No. 4, pp. 951-955, 2020.

[2] 西沢裕子, 酒井浩之. 企業の決算短信 pdf からの業績要因の自動抽出. 電子情報通信学会技術研究報告 $=$ IEICE technical report : 信学技報, 2013 .

[3] 酒井浩之, 西沢裕子, 松並祥吾, 坂地泰紀. 企業の決算短信 pdf からの業績要因の抽出. 人工知能学会論文誌, Vol. 30, No. 1, pp. 172-182, 2015.

[4] 中山祐輝, 津々見誠, 村上浩司. 文間の結束性に基づく決算短信における業績要因文の抽出. 言語処理学会第 25 回年次大会, 2019.

[5] 酒井浩之, 松下和暉, 北島良三. 学習データの自動生成による決算短信からの業績要因文の抽出. 知能と情報, Vol. 31, No. 2, pp. 653-661, 2019.

[6] 大村和正, 白井穂乃, 石原祥太郎, 澤紀彦. 決算短信からの業績要因文の抽出に向けた業績発表記事からの訓練データの生成. 言語処理学会第 28 回年次大会, 2022.

[7] 酒井浩之, 増山繁. 企業の業績発表記事からの重要業績要因の抽出. 電子情報通信学会論文誌 D, Vol. 96, No. 11, pp. 2866-2870, 2013.

[8]磯沼大, 藤野暢, 浮田純平, 村上遥, 浅谷公威, 森純一郎, 坂田一郎. 業績変動を考慮した決算短信からの重要文抽出. 情報処理学会第 227 回自然言語処理研究会, 2016 .

[9] 酒井浩之, 坂地泰紀, 山内浩嗣, 町田亮介, 阿部一也.深層学習と拡張手がかり表現による業績要因文への極性付与. 第 18 回人工知能学会金融情報学研究会, 2017.

[10] 北森詩織, 酒井浩之, 坂地泰紀. 決算短信 pdf からの業績予測文の抽出. 電子情報通信学会論文誌 D, Vol. 100, No. 2, pp. 150-161, 2017.

[11] 河村康平, 高野海斗, 酒井浩之. 決算短信からの業績要因を含む業績予測文の抽出. 2021 年度人工知能学会全国大会 (第 35 回), 2021.

[12] Jun Saito, Yugo Murawaki, and Sadao Kurohashi. Minimally Supervised Learning of Affective Events Using Discourse Relations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, 2019.

[13] Sadao Kurohashi and Makoto Nagao. KN Parser: Japanese Dependency/Case Structure Analyzer. In Proceedings of the International Workshop on Sharable Natural Language Resources, pp. 48-55, 1994.

[14] Hirokazu Kiyomaru and Sadao Kurohashi. MinimallySupervised Joint Learning of Event Volitionality and Subject Animacy Classification. In Proceedings of the AAAI Conference on Artificial Intelligence, 2022.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Man- dar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. CoRR, Vol. abs/1907.11692, , 2019.

[16] 高野海斗, 酒井浩之, 北島良三. 有価証券報告書からの事業セグメント付与された業績要因文・業績結果文の抽出. 人工知能学会論文誌, Vol. 34, No. 5, 2019.
表 5 提案手法に従って構築された要因分類器および極性分類器の誤分類例.

 \\

## A 付録

## A. 1 決算短信 PDF からのテキスト抽出

PDF からのテキスト抽出には pdfminer ${ }^{10)}$ を使用した. 日本語のテキスト抽出に対応しており，ページごとにテキストを抽出できる点などが理由である.

本研究が対象とする業績要因文は通常，本文の冒頭に「当四半期決算に関する定性的情報」などと題したセクションを設けて，その中で記述される.この定性的情報を高精度で抽出する (将来予測に関する記述などのノイズを減らす) ために，以下の手順でテキスト抽出を行った。

1. 文字列「目次」が含まれるぺージを先頭から順に探索し，最初に見つかったページより後のページを取得する。

2. 定性的情報の次に述べられやすい項目を表すフレーズ11)が含まれるページを先頭から順に探索し，最初に見つかったページのフレーズ以前のテキストを抽出する。

要は，目次と定性的情報の次に述べられやすい項目を表すフレーズに挟まれる部分を定性的情報として抽出している. 評価データの生成元の決算短信 150 件は全て，上記の手法で定性的情報が記述されたテキストを抽出できることを確認した。

## A. 2 誤分類の実例

提案手法に従って構築された要因分類器および極性分類器の誤分類例を表 5 に示す.これらを少し考察すると，例えば 1 番目の誤答例は「末尾の文節が過去形または体言止めでないならば負例」というヒューリスティックをモデルが重視していることが原因だと考えられる. 改善案として，確信度の高い

10) https://github.com/pdfminer/pdfminer.six

11）本研究では，「財政状態に関する」，「財政状態の」，「将来予測情報に関する」，「業績予想に関する」，「今後の見通し」 の 5 つとした.表 6 シード語彙の一覧.

表 7 訓練時のパイパーパラメータ.

正例のデータから文末を現在形にした疑似データを生成し，これを混ぜて訓練することが挙げられる。

また，4 番目は本文で言及した数量推論などを要する文の誤答例である．定量表現をもとに費用が全体として増えたことを理解する必要があるため，定性的な極性表現を中心に学習させる現状のアプロー チでは難しいと考えられる. シード語彙の拡張で対応できるか否かを今後調査する。

## A. 3 シード語彙の一覧

極性分類器の学習データの生成時に策定したシー ド語彙の一覧を表 6 に示す.

## A. 4 ハイパーパラメータ

要因分類器および極性分類器の訓練時のハイパー パラメータを表 7 に示す.


# BERT とGATを用いた金融テキストにおける 因果関係を含む文の判定

小林涼太郎 ${ }^{1}$ 坂地泰紀 ${ }^{2}$ 和泉 潔 ${ }^{2}$
1 東京大学工学部 2 東京大学大学院工学系研究科
b2022rkobayashi@socsim.org
\{sakaji, izumi\}@sys.t.u-tokyo.ac.jp

## 概要

金融分野に関わる大量のテキストデータを解析し，人が認知する原因-結果関係についての記述を自動的に抽出することで, 経済事象の要因列挙による投資判断の支援や，イベントの波及効果分析が可能となる.テキストから因果関係を抽出するタスクにおいては，因果関係の存在を示す手がかりとなる表現への注目が有効であることが知られている。しかしながら，手がかり表現が因果関係以外の意味を持つ場合もあり，それを取り除くために，文に因果関係が含まれているか否かを判定する手法が必要である. 本研究では，金融 BERT モデルと，入力文の依存構造に対して適用される GAT の組み合わせによる，新しい因果関係判定手法を提案する。

## 1 はじめに

近年, Web 上で入手可能なテキストデータは急速増大しており，自然言語処理技術を用いた，膨大なテキストからの情報抽出に注目が集まっている [1]. 金融分野においても，決算短信・有価証券報告書・経済新聞記事・アナリストレポートなど投資家が入手可能なテキスト情報は常に溢れており，それら構造化されていないテキストデータから価值ある情報を自動で抽出することのニーズは大きい [2].

金融テキストから情報を抽出し構造化する方法の 1 つとして, 原因-結果の組から構成される因果関係を検出し，表現対として抽出することが考えられる. 決算短信や経済新聞記事においては, 因果関係を含む文が頻出する．例えば，「ウクライナ情勢をめぐる地政学的リスクの高まりで, エネルギーや原材料価格が上昇する」といったものだ. こうした因果関係を大量纪収集することができれば，因果関係ネットワークの構築や因果系列の提示によって，投資判断の支援，ニュースイベントの波及効果の分析といった応用が可能となる $[3,4]$.

金融テキストからの因果関係抽出记いては，因果関係の存在を示す手がかりとなる表現の利用が有効だ $[5,6]$. 例えば，「レンタカー部門では，外出自粛の影響を受け，減収減益となりました.」という文の場合，手がかり表現「を受け」を用いて，「外出自粛の影響」という原因表現と「(レンタカー部門では，）減収減益となりました.」という結果表現を抽出できる。しかしながら，手がかり表現は因果関係の存在を示すとは限らない。「健康のため，運動する」という文の場合「「ため,」は原因結果関係の明示ではなく，「目的や期待の向かうところ」を表す。決算短信における具体例を表 1 亿示す。

したがって，手がかり表現を含む文に対して，その文が因果関係を含むか否かを高い精度で判定することが望まれる。本研究では，金融ドメインの文書で追加で事前学習を行った金融 BERT モデルと，入力文の依存構造木に対して適用される Graph Attention Network (GAT) [7] を用いた判定モデルを提案する。決算短信と新聞記事データから構築したデータセットを用いて評価実験を行い，提案手法の有効性を確認した。

表 1 決算短信における，因果関係を含む文と含まない文の例. 手がかり表現を太字で示す.

## 因果関係を含む文

-「ウクライナ情勢をめぐる地政学的リスクの高まりで、エネルギーや原材料価格が上昇するなど、国内経済の先行きは不透明な状況が続きました。」

・「レンタカー部門では、外出自肃の影響を受け、減収減益となりました。」

因果関係を含まない文

・「お客様のニーズに的確に応えるため、ビジネスパートナーとの連携強化を進めてまいりました。」

## 2 関連研究

テキストからの因果関係抽出に関する研究は数多く存在する. Girju [8] は英語の文書中の因果関係の存在を示す表現を調査し，それらを手がかりに自動で因果関係を検出・抽出する手法を提案している。坂地ら [9] は手がかり表現を含む候補文に対して，構文的な素性・意味的な素性を用いた機械学習手法 (SVM) でフィルタリングすることによって，因果関係を含む文を抽出している。

最近の研究では, BERT [10]のような事前学習済み言語モデルを利用するものが多い. The 4th Financial Narrative Processing Workshop の FinCausal-2020 Shared Task ${ }^{1 ）}$ では，Task1 が英文金融ニュースにおける因果関係を含む文の判定であった. 様々な手法が提案されたが，その多くはBERT に基づくものである [11,12,13]. 例えば Ionescu らは，BERT を含む 5 つの事前学習済みの Transformer ベースのモデルをアンサンブルする手法で全体 2 位のパフォーマンスを記録している。

深層学習に基づくモデルの学習では，一般に大規模な教師データセット作成のためのコストがかかるが，事前学習済み言語モデルの利点は, 少数のデー タでファインチューニングして精度の高いモデルを獲得できることである。一方で，関係抽出タスクにおいて, 文の依存構造情報の利用が有用であることが知られている [14]. 最近では, Graph Convolutional Network (GCN) [15] や GAT のようなグラフベースのモデルで依存木の構造を学習する手法が多く提案されている [16,17]. 本研究では, 事前学習済み言語モデルとグラフベースのモデルの相補的な強みを活用することで，金融テキストから因果関係を抽出するための新しい因果関係文の判定モデルを提案する.

## 3 提案モデル

提案するモデルは, 金融ドメインの文書で追加事前学習を行った金融 BERT モデルと, 入力文のトークンの依存構造 (係り受けの構造) に対して適用されるGATにより構成される. 本節では, Graph Attention Network (GAT) の入出力について以下の表記を用いる. GAT において attention を実現する graph attention layer は，グラフ構造およびノード特徵集合 $\boldsymbol{h}^{(l)}=\left.\{\boldsymbol{h}_{1}^{(l)}, \boldsymbol{h}_{2}^{(l)} \ldots, \boldsymbol{h}_{|V|}^{(l)}\right.\}, \boldsymbol{h}_{i}^{(l)} \in \mathbb{R}^{F}$ を入力として，新たなノード特徴集合 $\boldsymbol{h}^{(l+1)}=$

1) http://wp.lancs.ac.uk/cfie/fincausal2020/

図1提案モデルの全体図.

$\left.\{\boldsymbol{h}_{1}^{(l+1)}, \boldsymbol{h}_{2}^{(l+1)} \ldots, \boldsymbol{h}_{|V|}^{(l+1)}\right.\}, \quad \boldsymbol{h}_{i}^{(l+1)} \in \mathbb{R}^{F^{\prime}}$ を出力する. ここで $\boldsymbol{h}_{i}^{(l)}$ はノード $i$ の $l$ 層目の潜在表現を表す. また，|V|はノード数， $F, F^{\prime}$ は隠れ層の次元である.提案モデルの概要は図 1 に示す通りである。まず入力文はトークン分割され，金融 BERT モデルに入力される．金融 BERT の最終層で得られるトークン毎の埋め込み表現は, GAT のノード特徴集合の初期値 $\boldsymbol{h}^{(0)}$ となる. 各ノード (トークン) の特徴量は, GAT の各層で, 依存構造木上の近傍となるノード $N_{i}$ の特徴を用いて更新される. $L$ 層目の出力のノー ド特徴集合 $\boldsymbol{h}^{(L)}$ は， skip 接続で $\boldsymbol{h}^{(0)}$ が加算された後に，全体の平均を取ることで読み出される。最後に，線形層を適用することによって， 入力文が因果関係を含むか否かの予測を行う。

## 3.1 金融 BERT モデル

汎用言語コーパスで作成した事前学習モデルに，別のコーパスで事前学習を追加することを追加事前
学習と呼ぶ. 対象タスクのドメイン周辺のコーパスで追加事前学習を行うことで，タスクでの精度向上が期待できる [18]. 本研究では, 日本語の汎用言語コーパスを用いて事前学習された BERT モデルに，金融分野のテキストを用いて追加事前学習を行うことで構築される金融 BERT モデルを用いる.

## 3.2 Graph Attention Network

GAT [7] の $l$ 層目におけるノード $i$ の近傍ノード $N_{i}$ についてのメッセージ集約関数 $\boldsymbol{m}_{N_{i}}^{(l)}$ は, 次式で表せる.

$
\boldsymbol{m}_{N_{i}}^{(l)}=\sum_{j \in N_{i}} \alpha_{i j} \boldsymbol{h}_{j}^{(l)}
$

ここで，attention スコアは以下で計算される.

$
\alpha_{i j}=\frac{e^{\operatorname{LeakyReLU}\left(\boldsymbol{a}^{T}\left[W^{(l)} \boldsymbol{h}_{i}^{(l)} \| W^{(l)} \boldsymbol{h}_{j}^{(l)}\right]\right)}}{\sum_{k \in N_{i}} e^{\operatorname{LeakyReLU}\left(\boldsymbol{a}^{T}\left[W^{(l)} \boldsymbol{h}_{i}^{(l)} \| W^{(l)} \boldsymbol{h}_{k}^{(l)}\right]\right)}}
$

$W^{(l)} \in \mathbb{R}^{F^{\prime} \times F}$ は各ノードの重み行列, $\boldsymbol{a} \in \mathbb{R}^{2 F^{\prime}}$ は重みべクトルである。. $T$ は転置を，\|は連結を表す。 ノード $i$ の潜在表現は，次式のように更新される.

$
\boldsymbol{h}_{i}^{(l+1)}=\sigma\left(W^{(l)} \boldsymbol{m}_{N_{i}}^{(l)}\right)
$

ただし， $\sigma$ は活性化関数である.

本研究では，文内のトークンをノード，2つのトークン間の依存関係をエッジとするグラフ構造をGATの入力とする. 各ノード特徴は, 金融 BERT モデルの出力として得られるトークン毎の埋め込み表現で初期化される. 係り受け構造の解析は, 日本語以外の言語への拡張性を考慮して, Universal Dependencies (UD) [19] に基づいて行う.

(式 3)のように, graph attention layer では距離 1 の近傍ノード $N_{i}$ のみを考慮して潜在表現を更新する。 したがって，L層に重ねた GATを適用することで，各トークンについて依存構造木上の距離 $L$ 以内の近傍を明示的に考慮した潜在表現を得ることができる.このように構文情報を明示的に考慮し情報を集約する GAT を接続することによって，より精度高く因果関係の有無を判定できることが期待される.

## 4 実験

## 4.1 データセットと前処理

データセットを作成して評価実験を行った. 用いたテキストデータは，決算短信・日本経済新聞記事の 2 種類である。決算短信データは，適時開示情報表 2 因果関係の存在を示す手がかり表現. [6] に基づく.

閲覧サービズ ${ }^{2}$ から PDF 形式で取得した. 2012 年から 2022 年までに企業が発行した決算短信から無作為に抽出し, PDF 中の「経営成績に関する定性的情報」が記載された部分をテキストデータに変換して使用した. 日経新聞記事データは 1995 年から 2005 年に発行された記事から無作為に抽出して使用した. 各テキストデータは文単位で分割し, 因果関係の存在を示す手がかり表現を含む文のみを使用した. 本研究では, Sakaji らの研究 [6] で獲得された手がかり表現を用いた. それらを表 2 に示す.

抽出された文に対してアノテーションを行った.決算短信データについては， 1 人の評価者が各文に対して因果関係を含むか否かを示すタグを付与した. 日経新聞記事データについては, 5 人の評価者がタグを付与し， 3 人以上が因果関係ありと判断したものを正例・そうでないものを負例とした．結果として, 決算短信データでは 1958 件 (うち 1429 件で因果関係あり)，日経新聞記事データでは 2045 件 (うち 898 件で因果関係あり) の教師データを得た.

## 4.2 実験設定

金融 BERT モデルは，Suzuki ら [20] が公開する金融ドメインの文書で追加事前学習された BERT モデル3）を利用した. このモデルでは, 東北大学の乾研究室が公開する BERT モデル (Wikipedia 日本語記事を学習 $)^{4}$ に対して, 決算短信・有価証券報告書の 2 種類の金融コーパスで追加事前学習を行っている. graph attention layer は 2 層に重ねて適用した。つまり，依存構造木上の距離 2 以内の近傍を明示的に考慮してノード特徴が更新される. また, 学習の安定性のため 2 ヘッドの multi-head attention を用いた.

表 3 評価実験の結果. Precision, Recall, F1 の計算方法はマクロである.

入力文の依存構造の解析には，UD に基づいて設計された NLP フレームワークである $\mathrm{spaCy}^{5}$ )を用いた. 2 つのトークン間における，主辞から修飾語への方向を持つ依存関係をエッジとするグラフ構造を GATの入力とした.

提案モデルの有効性を示すために，以下の手法を比較手法として実験を行った.

BERT Wikipedia の日本語記事を用いて学習された BERT モデル4)の最終層の出力のうち, 最初のトークン [CLS] に対応する出力に対して線形変換を適用することで予測を行う。

金融 BERT金融 BERT モデル3)の最終層の出力のうち，最初のトークン [CLS] に対応する出力に対して線形変換を適用することで予測を行う.

BERT+GAT 提案モデルの金融 $\mathrm{BERT}^{3}$ モモジュー ルを $\mathrm{BERT}^{4}$ に差し替えたモデルで予測を行う.

各データセットにおいて，64\%を学習データに， $16 \% を$ 検証データに，20\%をテストデータに割り当てた. 学習データ内で 5fold の交差検証を行い,各 fold で検証スコアが最良の時のテストデータに対するスコアを記録し，結果はその平均値を用いた. なお，全ての手法において，BERT モデルは Transformer 層の上部一層のみをファインチューニングの対象とした。

## 4.3 結果と考察

実験結果を表 3 に示す。提案モデルである「金融 BERT+GAT」は，すべての指標・データセットで 3 つの比較手法の性能を上回った. また,「BERT」と $\lceil\mathrm{BERT}+\mathrm{GAT}\lrcorner, 「$ 金融 BERT」と「金融 BERT+GAT」 を比較すると，いずれのデータセットでも，すべての指標で GAT を用いる手法の方が精度が高かった。 この結果は，GATを用いることで明示的に構文情報を考慮する提案手法の有効性を示唆する。決算短信データセットにおいて，提案手法を用いることによる，ベースライン手法 (「BERT」) からの精度向上が顕著であった. また，データセット間で「金融 BERT」と「BERT+GAT」の結果を比較すると，決算短信データセットでは，日経新聞記事の場合よりも，金融 BERTを利用することによる性能の向上が大きかった. このような結果の理由としては，金融 BERT の追加事前学習で用いる金融テキストコーパス中に決算短信が含まれていることや，決算短信における記述がニュース記事よりも専門度が高いものであるために，追加事前学習で金融特有の専門単語を反映することがとくに有効であったということが考えられる．全ての手法において日経新聞記事データの方が予測精度が高かったことからも，汎用言語コーパスで事前学習を行った BERT モデルの出力をそのまま利用する手法では，決算短信のような比較的専門性の高い文書中から因果関係を抽出することは難しいと示唆される。 そのような場合でも，金融 BERT とGAT を用いる提案手法によって，抽出精度を大きく向上できることが確認された。

## 5 まとめ

本研究では，事前学習済み言語モデルとグラフベースのモデルの相補的な強みを活用することで，金融テキストから因果関係を抽出するための，新しい因果関係文判定モデルを構築した. 金融分野のテキストから構築したデータセットを用いて評価実験を行うことで，提案手法の有効性が確認された．提案手法により, 金融分野のテキスト中から，より精度高く因果関係を抽出することが可能となる。

今後の課題としては，英語や中国語において同様のデータセットを構築し，多言語に対応可能な判定モデルを構築することなどを考える。

## 謝辞

本研究は JSPS 科研費 JP21K12010, JST未来社会創

造事業 JPMJMI20B1，及び JST さきがけ JPMJPR2267

の助成を受けたものです.

## 参考文献

[1] Jim Cowie and Wendy Lehnert. Information extraction. Commun ACM, Vol. 39, No. 1, pp. 80-91, 1996.

[2] B. Shravan Kumar and Vadlamani Ravi. A survey of the applications of text mining in financial domain. Knowledge-Based Systems, Vol. 114, pp. 128-147, 2016

[3] Kiyoshi Izumi and Hiroki Sakaji. Economic causal-chain search using text mining technology. In Proceedings of the 1st Workshop on Financial Technology and Natural Language Processing, 2020.

[4] Kiyoshi Izumi, Shintaro Suda, and Hiroki Sakaji. Economic news impact analysis using causal-chain search from textual data. In Proceedings of the AAAI-20 Workshop on Knowledge Discovery from Unstructured Data in Financial Services, 2020.

[5] Christopher S.G. Khoo, Jaklin Kornfilt, Robert N. Oddy, and Sung H. Myaeng. Automatic extraction of cause-effect information from newspaper text without knowledge-based inferencing. Literary and Linguistic Computing, Vol. 13, No. 4, pp. 177-186, 1998.

[6] Hiroki Sakaji, Satoshi Sekine, and Shigeru Masuyama. Extracting causal knowledge using clue phrases and syntactic patterns. In Proceedings of the 7th International Conference on Practical Aspects of Knowledge Management, 2008.

[7] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph attention networks. In Proceedings of the 6th International Conference on Learning Representations, 2018.

[8] Roxana Girju. Automatic detection of causal relations for question answering. In Proceedings of the ACL 2003 workshop on Multilingual summarization and question answering, 2003.

[9] 坂地泰紀, 増山繁. 新聞記事からの因果関係を含む文の抽出手法. 電子情報通信学会論文誌, Vol. 94, No. 8, pp. 1496-1506, 2011.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[11] Sarthak Gupta. Finlp at fincausal 2020 task 1: Mixture of berts for causal sentence identification in financial texts. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[12] Denis Gordeev, Adis Davletov, Alexey Rey, and Nikolay Arefiev.
LIORI at the FinCausal 2020 shared task. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[13] Marius Ionescu, Andrei-Marius Avram, George-Andrei Dima, Dumitru-Clementin Cercel, and Mihai Dascalu. UPB at FinCausal2020, tasks 1 \& 2: Causality analysis in financial documents using pretrained language models. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[14] Aron Culotta and Jeffrey Sorensen. Dependency tree kernels for relation extraction. In Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics, 2004.

[15] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[16] Yuhao Zhang, Peng Qi, and Christopher D. Manning. Graph convolution over pruned dependency trees improves relation extraction. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[17] Jie Yang, Soyeon Caren Han, and Josiah Poon. A survey on extraction of causal relations from natural language text. Knowledge and Information Systems, Vol. 64, No. 5, pp. 1161-1186, 2021.

[18] Suchin Gururangan, Ana Marasovic, Swabha Swayamdi-pta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020

[19] Ryan McDonald, Joakim Nivre, Yvonne Quirmbach-Brundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2013.

[20] Masahiro Suzuki, Hiroki Sakaji, Masanori Hirano, and Kiyoshi Izumi. Constructing and analyzing domain-specific language model for financial text mining. Information Processing and Management, Vol. 60, No. 2, p. 103194, 2023.