# 中央銀行の要人発言に対するタカ・ハト極性付与タスクの検討

高野海斗 1 内藤麻人 ${ }^{1}$ 長谷川直弘 ${ }^{1}$ 中川慧 ${ }^{1}$
1 野村アセットマネジメント株式会社
$\{$ k-takano, a-naito, n-hasegawa, k-nakagawa $\}$ @nomura-am.co.jp

## 概要

金融業界でオルタナティブデータの活用が進む 中，金融テキストマイニングにおいて，文に対して センチメント付与を行うタスクは，重要な研究テー マである．金融分野におけるテキストへのセンチメ ント付与性能の向上のためには，少なくとも，否定表現，経済状況，時間軸の情報を加味できるモデル が必要であると考える. 本研究では，上記に挙げた 3 つの情報を加味する必要のある困難なタスクとし $\tau$ ，中央銀行の要人発言に対するタカ・ハト極性付与タスクを提案し, その重要性と必要性について述 べる.

## 1 はじめに

近年，機械学習などの手法が注目を集め，様々な 分野への応用研究が活発に行われている. 金融業界 でも人工知能分野の手法や技術を様々な場面に応用 することが期待されており，膨大な金融情報を分析 し投資判断を支援する金融テキストマイニングに注目が集まっている $[1,2,3]$.

金融業界でオルタナティブデータの活用が進む 中，金融テキストマイニングにおいて，文に対して センチメント付与を行うタスクは，重要な研究テー マである. 特にテキストを用いて景況感を示す指標 はセンチメントスコアと呼ばれ実際に活用されてい る. 例えば野村證券株式会社では, 政府や日本銀行 のレポートのセンチメントを指数化する野村 AI 景況感指数を公表し，実際に定量分析などで利用して いる1).

金融テキストマイニングにおいて，センチメント スコアが注目されているのには，以下に述べる背景が存在する。一般に金融テキストには，結果（事実）と評価が混在している。例えば，「今期の EPS ${ }^{2)}$

は 100 円であり、経営努力が実った。」と「今期の EPS は 100 円であり、経営陣の見通しの甘さが露呈 した。」というテキストには，「今期の EPS は 100 円 である」という同一の結果を伝えているが，評価は 正反対の内容を伝えている. このように，同一の結果に対してどのような評価，すなわち極性を付与す るかという点に市場あるいは投資家のセンチメント が含まれる。また結果を表す情報は財務データある いは経済データが多く，定量的に取得・分析できる のに対して，評価情報はテキストにのみ存在する定性的情報である。そのため，金融テキストの極性付与は投資意思決定において重要なタスクである.

本研究では，大量に存在する金融テキストの中で 中央銀行の要人 ${ }^{3}$ ) 発言に極性を付与することに焦点 を当てる．中央銀行に関しての詳細は，2 章で述べ ることとし，ここでは中央銀行の要人発言に注目す る理由を簡潔に述べる。

まず，中央銀行の公開情報は注目度が高く，マー ケットに与える影響が大きいことが焦点を当てた最大の理由である，日々運用者は，マーケット情報を 参考にし，仮説を立て，投資判断を行っているが， その中でもメディアや公式 HP から発表される中央銀行の金融政策方針や要人発言などの重要性は非常 に高く，実際に市場が予想していなかった発言が出 た直後には，株価や金利などが大きく変動すること があるのは周知の事実である [4]. そのため，公開 されているテキスト情報の定量的な活用を含めると 非常に多くの関連研究が存在する。関連研究の詳細 に関しては，3 章で取り上げるが，それらの研究の ほとんどがトピックの割合や，そのポジティブ単語 の割合・ネガティブ単語の割合と，マーケットとの 関連を分析したものとなっている。

本研究で焦点を当てている要人発言は，伝統的 に，金融引締のスタンスを取っているものは「タ カ」派の意見，金融緩和のスタンスを取っているも のは「ハト」派の意見に大別される．金融政策の決

3）金融政策方針を決定するメンバー
定権を持つ要人のタカ派あるいはハト派の発言の多萓が今後の金融政策の方向性に重要な影響を与え ることが想定される。そのため市場参加者は要人発言が，タカ・ハトのどちら側のスタンスであるかを 日々のニュースや公表物から波み取り, 将来の見通 しや投資判断の材料にしている. しかし，このタカ とハトという観点から極性を付与してマーケット への影響を分析するような研究は数が少ない. 例え ば，Amadeus[5] らは，オリジナルの辞書を用いてタ カ・ハトの極性を付与し，分析を行っているが，辞書やデータセットに関する詳細は伏せられており， このような極性が付与されたデータは公開されてい ない.

そこで，本研究では中央銀行の要人発言に対する タカ・ハト極性付与タスクを提案する。 そもそも文 の極性付与というタスク自体が，文の分類問題の中 ではトピックの分類などと比較して難しいタスクで はあるが，要人発言の分析を通して，このタカ・ハ トの極性付与タスクは従来の極性付与タスクより も難易度が高いことがわかってきた. 本研究では, どのような点においてタカ・ハトの極性付与が他タ スクと比較して難しいのかについて取り上げる。ま た，研究初期の段階であることから定義に関してな ど，課題が残っているが，そのような点を解消した 暁には，公開データを用いて正解ラベル付きデータ の共有を目標としている.このようなデータセット が公開されることで，極性付与モデルのさらなる発展と，これまでテキスト情報であることから定量的 に扱うことができなかった多くのテキストが有効活用されることで，より健全な市場の形成に繋がるこ とを期待している.

## 2 中央銀行の重要性

中央銀行は国家や特定の地域の金融機構の中核と なる機関である. 各国の中央銀行を取り上げたいと ころではあるが，市場に与える影響が最も大きい米国の連邦準備制度（Federal Reserve System，以降 Fed と省略して表記）を代表として取り上げる。

連邦準備制度において，金融政策の基本方針決定 に中心的な役割を果たす組織が，連邦準備制度理事会 (Board of Governors of the Federal Reserve System) である. Fedの金融政策の目的として，連邦準備法 では「最大の雇用」,「物価の安定」,「穏やかな長期金利」が規定されている. 特に，「最大の雇用 $」$,「物価の安定」は非常に重要視されている.
Fed は上記の目標を達成するために，状況に応じ ていくつかの金融政策手段を実施する．代表的な金融政策手段として，公開市場操作，公定歩合，預金準備率がある ${ }^{4)}$.これらの金融政策手段のうち最も 機動的なものが公開市場操作であり, FF 金利5)を誘導目標に沿うように，オペレーションを実施する。 したがって，市場参加者の注目は $\mathrm{FF}$ 金利の誘導目標に集まることから，その基本方針が決定される公開市場委員会（Federal Open Market Committee，以降 FOMC と省略して表記）に対する市場の関心は非常 に高いものとなっている. FOMC は日銀の政策委員会に相当する最高意思決定機関であり，年 8 回開催 される。投票権を有する参加者は，理事会から理事 7 名, 12 ある地区連銀から総裁 5 名（1 年交代の輪番）の計 12 名であり，投票権のない地区連銀総裁 はオブザーバーとして出席する。これらの理由か ら，FOMC 参加者の日々の発言，スタンスが市場参加者からは非常に重要視されている. 本研究では, オブザーバーを含めた FOMC 参加者を「要人」と定義する.

Fed の金融政策のスタンスを分析するのに有効となるテキストデータは，スペースの関係上, Appendix[A] に記載している。

## 3 関連研究

金融政策に関わるテキストを対象にした分析 は，盛んに行われている．その対象は Fed や ECB （欧州中央銀行）はもちろん $[6,7,8,9,10,4], \mathrm{BOJ}$ （日銀）やBOK（韓国）などの分析も行われている $[11,12,13]$. 例えば，Hansen[6] らは，FOMC 声明文 を LDA により分析し, Apel[7] らの金融極性辞書 を用いて，トピック別にセンチメント付与をした. そして，FAVAR モデルを用いてトピック別にマク 口変数や資産価格への影響を分析している。また， Jegadeesh[8] らは, FOMC 議事録をLDA により分析し，Loughran[14] らの金融極性辞書を用いて，卜 ピック別にセンチメントを付与した. そして，ト ピック別にそれらのマクロ変数や資産価格への影響を分析している．ECB の分析では，Schmeling[4] らは, Apel[7] らの金融極性辞書を用いて，ECB の 会見に対してセンチメント（ネガティブな単語の比率）を付与し，それが欧州各国の株価指数やイール

4）その他にも，超過準備への付利金利，翌日物リバースレポ などがある.

5） 米国の銀行間で資金を融通し合う際に適用され金利であ り，日本の無担保コール翌日物金利に対応する。

ドカーブに影響を与えることを示している.

このように，自然言語処理技術を用いて分析を 行っている研究は数多くあるが，それらの研究のほ とんどは金融極性辞書を用いた分析やトピックモ デルによる議題の変化に着目した分析である. 極性辞書を分析に用いるメリットは，分析が容易で あることや，恣意的な要素が入りにくいことが挙 げられる。また，極性辞書を用いた分析では，ど のような極性辞書を使用するかが非常に重要であ る. 例えば，広く利用されている一般的な極性辞書 （Harvard-IV-4 TagNeg）に含まれるネガティブ表現 は，金融の分野において，約 4 分の 3 も該当しない ことを Loughran[14] らは示している. したがって， センチメント分析を行うためには，その目的に特化 した極性辞書を使用する必要があり，特化した極性辞書を作成や拡張する研究は，盛んに行われてい る $[15,16]$. 金融政策の分析を行うのであれば，金融政策の分析に特化した極性辞書が本来望ましい.例えば，重要な経済指標の一つである失業率は，低下がポジティブであり，上昇がネガティブな出来事 である.このようなトピックが含まれることから， Ahrens[9] らは，GDP，CPI，失業率という 3つの主要な経済的側面に沿って，金融政策のシグナル分散指数を，教師有り学習を用いた方法を用いて構築し ている.

しかしながら，次の 4 章で述べる様々な理由か ら, 仮に特化した辞書を作成したとしても, 辞書 ベースでの分析には限界がある. 要人発言に関して は，その文がどのようなニュアンスを含んだ文であ るかを推測する必要があり，それを達成するには単語やフレーズによる極性付与では不十分である。こ れまで辞書ベースのナイーブな分析であっても，有益な効果を示すことができていたことから，センチ メント付与を工夫することができれば，より良い分析結果につながることが期待される。

## 4 タカ・ハト極性付与タスクの課題

まず，著者らは，タカ，ハト，その他の 3 つのラ ベルをテキストに対して人手で付与し，BERT 系モ デル [17]をファインチューニングすることで分類モ デルを作成したが，期待するような精度は出なかっ た6). 上記モデルの出力を検証したところ，タカ・ ハト極性付与タスクの困難は，(1) 要人発言のテキ ストの持つ特徴と (2) ラベル付けの困難にあると考

えている。

## 4.1 要人発言のテキストの特徵

まず上記モデルの出力の中から，誤分類していた 要人発言のテキストの特徴を取り上げる.

## 4.1.1 否定・婉曲表現

まず，中央銀行の要人発言では，否定表現や婉曲表現が多発する。これはマーケットへの影響を配慮 した結果であると考えられる。遠回しな表現を行い 含みを持たせることで，情報を受け取った人が内容 を解釈した上で行動を選択できるような発言が多い のが特徴である．実際にロイターニュースの要人発言に関するニュースを対象に分析を行ったところ， not (短縮形含む) , no, never などの否定を意味する単語を含んでいるへッドラインの割合は，全体の $10 \%$ を超える結果であった ${ }^{7)}$. この分析は単純な方法に よるものであり，実際に単語やフレーズによる極性付与では難しい文はもっと多く存在する. 例えば， $\lceil$ Fed's Bostic added that it's "really challenging" to slow the pace of policy tightening amid rising core inflation. $\lrcorner$ のように「slow the pace of policy tightening (政策の 引締ぺースを遅くする)」という表現が含まれてい るが，「"really challenging"（難しい)」とのことから，引き続き金融引締めを行っていくというニュアンス の文である．トピック分類などであれば，否定表現 の割合が分類精度に与える影響は少ないが，意味を 捉える必要のあるセンチメント付与においては大き な課題となる.

## 4.1.2 テキスト外 (経済) 情報の加味

次に問題となるのが，テキスト情報だけでは夕 カ・ハトを判定することができない文である．人間は与えられた文だけでなく，非常に多くの情報 を加味した上で文を読み，判定を行うのに対して，一般的なモデルは入力として与えられた文のみで 判定を行う必要がある. 例えば，「The Committee is strongly committed to returning inflation to its 2 percent objective.」のようなコメントは，現状のインフレ率 が高い場合，高いインフレ率を抑制するという意味 を持つタカ派的なコメントになるが，現状にインフ レ率が低い場合には，低いインフレ率を浮揚させる という意味を持つハト派的なコメントとなる。この

7）別のニュースソースでも検証を行ったが，否定表現の割合 は $12 \%$ 超える結果となった.

ように現状のインフレ率がどのくらいの水準である かに対して，意味合いが異なる．経済指標などを単純にモデルに組み込むことも考えらえるが，それら の数值情報によって過学習する恐れがあるため, ど のように組み込み，活用するかに関しても議論の余地が残る.

## 4.1.3 時間軸情報の加味

また，時間的常識を理解できる仕組みも重要とな る $[18,19]$. 例えば，「Many Fed officials have said they want to open the door to a possible rate hike in June.」の ようなコメントは, 現時点から 6 月がどのくらい先 の出来事を指しているかによって，意味合いが大き く異なる、コメントが出たのが 5 月である場合に は，早急な利上げが必要であるという意味を持つタ カ派的な発言となるが，コメントが出たのが 1 月で ある場合には, 利上げを急ぐ必要はないという意味 を持つハト派的な発言となる. 実際に，2015年 1 月後半から 3 月前半にかけて以下のようなへッドラ インのニュースがロイターから出ていたが，1文目 から順に，6月，夏または秋，2016 年（来年）から の利上げ開始を支持する内容であり, 議論のポイン トは利上げ開始の時期となっている。また，以下の ヘッドラインの例からわかる通り, 時期の表現方法 も様々である。
- Fed's George sticks with mid-year rate lift-off
- Fed's Williams sees first rate rise in summer or fall
- Fed's Evans wants no rate hikes until early 2016

## 4.2 テキストヘのラベル付け

次にタカ・ハトのラベル付与の課題を述べる.

## 4.2.1 金融政策文以外のテキスト

ここまで金融政策に言及する文を取り上げた が，Fed の目的は「最大の雇用」と「物価の安定」 のため，これらに関して言及している文も多い. また，金融政策の意思決定のために，「consumer spending $\lrcorner,\lceil$ energy $\lrcorner$, $\ulcorner$ agriculture $\lrcorner,\ulcorner$ manufacturing $\lrcorner$, $\lceil$ real estate $\lrcorner,\lceil$ retail trade $\lrcorner,\lceil$ construction $\lrcorner,\lceil$ services $\lrcorner$, $「$ banking $」$ 「finance」など，様々な材料を取り挙げ る.これらの文の場合，金融政策に言及している文 と比較して, タカ・ハトの判定が難しいものが含ま れる. 特に，材料はあくまで結果（事実）に対して 言及していることが多く，その結果に対してどのよ
うな評価を行っているかを汲み取ることが重要とな り，高い専門性が必要となる.

## 4.2.2 金融政策文

金融政策に言及している文に関しても，どの ようにラベル付与するか課題が残る. 例えば, $\lceil$ The Federal Reserve will deliver more interest rate hikes next year even as the economy slips towards a possible recession, Fed Chair Jerome Powell said on Wednesday, arguing that a higher cost would be paid if the U.S. central bank does not get a firmer grip on inflation.」のような 「景気後退が起こったとしてもさらなる利上げを 行う」という文は，容易にタカ派の発言と捉え ることができる. しかし, 「Jerome Powell supports 25 bp rate hike at March meeting.」, 「Fed's Mester says she doesn't see compelling case to start with 50 bps rate hike.」,「Fed's Powell will slow the pace of interest-rate increases next month.」などの文は，ラベル付けが難 しい，なぜならば，タカ派とハト派は相対的なス タンスで議論されることが多いためである. 1 文目 は，多くのメンバーが 50bp の利上げを支持してい る中での発言であれば，ハト派と捉える必要があ る. 2 文目は，仮にメスター総裁が $75 \mathrm{bp}$ の利上げを 支持しているのであればタカ派の文と捉える必要が あり，仮に $25 \mathrm{bp}$ の利上げを支持しているのであれ ば八ト派の文と捉える必要がある. 3 文目は，金融引締はするが，そのペースは落としていくとのこと で八ト派の文と捉えることができる。しかし，金融引締を積極的に行っていく中での相対的なハト派 の文と，金融緩和を支持するハト派の文を同じもの と捉えるのには問題が残る. したがってラベル付け は複雑にはなるが，より緻密な分析に繋げるために も，順序尺度によるラベル付けが必要である．後続 の分析に使用することも考えながら，現在その定義付けを進めている.

## 5 まとめと今後の展望

本研究では，中央銀行の要人発言に対するタカハ ト極性付与タスクの重要性・必要性とその難しさに 関して述べた. 今後は，ラベル付けの定義を策定 し，公開されているデータに対してラベル付けを 行ったものを公開する予定である。データセットの 公開によって, 否定表現の理解や時間軸の理解に対応可能なモデル開発やその評価に活用され，極性付与モデルの発展に貢献したいと考えている.

## 参考文献

[1] 和泉潔, 坂地泰紀, 伊藤友貴, 伊藤諒. 金融テキストマ イニングの最新技術動向 (特集 ai の金融応用 (実践編)). 証券アナリストジャーナル, Vol. 55, No. 10 , pp. 28-36, 2017.

[2] Aaryan Gupta, Vinya Dengre, Hamza Abubakar Kheruwala, and Manan Shah. Comprehensive review of text-mining applications in finance. Financial Innovation, Vol. 6, No. 1, pp. 1-25, 2020.

[3] 鈴木智也, 中川慧, 伊藤友貴, 坂地泰紀. 金融におけ るテキストマイニングと機械学習応用. 人工知能, Vol. 36, No. 3, pp. 270-278, 2021.

[4] Maik Schmeling and Christian Wagner. Does central bank tone move asset prices? 2015.

[5] Musa Amadeus, Rajeev Bhargava, Tim Graf, Michael Guidi, Michael Metcalfe, Gideon Ozik, and Ronnie Sadka. Central bank monetary tones and yields. Vol. 31, No. 4, pp. 5-19, 2022.

[6] Stephen Hansen and Michael McMahon. Shocking language: Understanding the macroeconomic effects of central bank communication. Journal of International Economics, Vol. 99, pp. S114-S133, 2016.

[7] Mikael Apel and Marianna Blix Grimaldi. The information content of central bank minutes. Technical Report 261, 2012.

[8] Narasimhan Jegadeesh and Di Wu. Deciphering fedspeak: The information content of fomc meetings. Monetary Economics: Central Banks - Policies \& Impacts eJournal, 2017.

[9] Maximilian Ahrens and Michael McMahon. Extracting economic signals from central bank speeches. In Proceedings of the Third Workshop on Economics and Natural Language Processing, 112021.

[10] Viorel Milea, Nurfadhlina Mohd Sharef, Rui J. Almeida, Uzay Kaymak, and Flavius Frasincer. Prediction of the msci euro index based on fuzzy grammar fragments extracted from european central bank statements.

[11] 和泉潔, 後藤卓, 松井藤五郎. 経済テキスト情報を用 いた長期的な市場動向推定. 情報処理学会論文誌, Vol. 52, No. 12, pp. 3309-3315, 2011

[12] 松田安咲子, 岡石一真, 白田由香利, 橋本隆子, 佐倉環. Lda 方式による金融経済月報からのトピック抽出～第 2 次安倍内閣の金融政策と経済動向分析 〜.信学技報, Vol. 114, No. 204, pp. 79-84, 2014.

[13] Ki Young Park, Youngjoon Lee, and Soohyon Kim. eciphering monetary policy board minutes through text mining approach: The case of korea. Technical report, 2019.

[14] Tim Loughran and Bill Mcdonald. When is a liability not a liability? textual analysis, dictionaries, and $10-\mathrm{Ks}$. The Journal of Finance, Vol. 66, No. 1, pp. 35-65, 2011.

[15] Tomoki Ito, Hiroki Sakaji, Kota Tsubouchi, Kiyoshi Izumi, and Tatsuo Yamashita. Text-visualizing neural network model: understanding online financial textual data. In Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 247-259, 2018.

[16] 今井康太, 酒井浩之, 高野海斗, 北島良三, 末廣徹, 稲垣真太郎, 木村柚里. 債券市場における金融極性辞書の自動構築. 第 25 回金融情報学研究会, pp. 38-43, 2020.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[18] Siddharth Vashishtha, Benjamin Van Durme, and Aaron Steven White. Fine-grained temporal relation extraction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 7 2019.

[19] Qiang Ning, Hao Wu, Rujun Han, Nanyun Peng, Matt Gardner, and Dan Roth. TORQUE: A reading comprehension dataset of temporal ordering questions. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 112020.

[20] Dogu Araci. Finbert: Financial sentiment analysis with pre-trained language models, 2019.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

## A テキストデータ

Fed の金融政策を理解するためのテキスト情報を 詳述する. Fed が公表するデータは，アーカイブさ れているため過去の情報を取得できる。しかし，公表される形式が年代によって異なるため，データ収集は困難であり，またデータを分析しやすい形に整 える必要がある.

FOMC 声明文: FOMC 開催日に即日公表される。経済，物価に対する評価，金融政策の変更の有無等の基本的な決定事項が簡潔に記載されてい る. 注目すべきテキスト情報としては，決定に 対して反対した人の主張が記載されている。ま た, 声明文公表の 30 分後に FRB 議長の記者会見が行われる。

ベージュブック（地区連銀経済報告）：各地区連銀の管轄地域の経済状況をまとめたもの であり，FOMC の 2 週間前に公開される。 FOMC での議論の材料になることから，次の FOMC の結果を推測する材料の 1 つとなって いる.

FOMC 議事録: FOMC での議論と公式見解が記述 された資料であり，FOMCの 3 週間後に公開さ れる。したがって情報の即時性はないが，記載内容の半分以上がメンバーの議論となってお り，景気見通しの議論や金融政策の是非につい ての議論などが含まれるため，非常に良質な データである.

Monetary Policy Report to the Congress: 翌々年 までの経済見通しと金融政策の基本方針 が記載されている資料であり，年 2 回公表さ れる.この報告書は, 議会に提出される際, FOMC 議長は議会証言を行うが，こちらの内容 は文書化され一般に公表される。

その他: 理事や地区連銀総裁は，様々な場で発言 を行う。これらの要人発言は，FOMC での決定を予想するのに非常に重要な情報源となる。 ニュースデータなどの活用ができれば理想的で あるが，分析可能な公開データは限定的であ る.また，ブラックアウト期間という金融政策 に関して踏み込んだ発言が禁じられる期間が各国で設けられている。その中でも米国は，この ブラックアウト期間が長く, 現在は FOMC が開催される前々週の土曜日から FOMC 終了時ま でがその期間となっている.

図 1 テキストデータの公開されるタイミング

FOMC を中心に，テキストデータの公開されるタ イミングを図 1 に示す.FOMC は年 8 回行われるた め，年に 8 回このサイクルを繰り返す.

## B 分類モデル作成の実験設定

テキストは 2015 年から 2022 年の期間のデータ を使用し，ラベル付けデータを学習 (training), 評価 (validation)，テスト (test)の 3 つに分けて実験を 行った. 2021 年以降の 2 年分のデータをテストデー タとし, 評価データは 2020 年 12 月 31 日に近いも のを各ラベルの割合が均等になるように各 60 文ず つ抽出したものを使用した. そして，残りのラベル 付けしたデータを学習データに使用した. 表 1 に各 データのラベルがどの程度であるかを示す. なお， ラベルが均等になるようにバッチデータを作成し， モデルの学習を行った。

ファインチューニングに使用した事前学習済みモ デルに関しては, finBERT[20] ${ }^{8}, \operatorname{RoBERTa}[21]^{9)}$ で比較検証を行った．比較した結果，RoBERTa モデルの 方が良好な結果が得られた. RoBERTa モデルの学習過程における精度の推移を図 2 に示す。

表 1 各データのラベル

図 2 学習過程における精度の推移

8) https://huggingface.co/ProsusAI/finbert

9) https://huggingface.co/roberta-large


# 監査上の主要な検討事項 (KAM) の前例踏襲の程度に関する 業種別及び監査法人別の傾向分析

土井惟成
株式会社日本取引所グループ
n-doi@jpx.co.jp

## 概要

KAM（Key Audit Matters）とは，監査報告書の記載項目の一つであり，財務諸表の監査において，監査人が職業専門家として特に重要であると判断し た事項を指すＫKAMに関する制度的な懸念として，各上場会社の KAM の内容が定型化又は画一化する 事象がある. 本研究では, 2021 年 3 月期と 2022 年 3 月期における各上場会社の KAM を対象に, 前例踏襲の程度に関する傾向を分析した. 実験の結果,各上場会社の業種や監査人の所属する監査法人に よって，KAM の類似性の傾向の差異が示唆された.

## 1 はじめに

上場会社は，年に一度，有価証券報告書を作成 し，金融庁に提出する義務を負っている。また，有価証券報告書中の財務諸表等は，監査人による監査証明が必要とされている. 有価証券報告書及び監査人による監査報告書は，金融庁の EDINET ${ }^{1)}$ を通じ て開示されている. 2021 年 3 月期以降の監査報告書 では，「監査上の主要な検討事項（Key Audit Matters，以下 $\mathrm{KAM})\lrcorner$ の記載が原則として求められている。 KAM とは，監査報告書の記載項目の一つであり，財務諸表の監査において，監査人が職業専門家とし て特に重要だと判断した事項を指す.KAM 等の位置付けの概要を図 1 に示す。

KAM に関する制度的な懸念として，各上場会社 の KAM の記載内容が定型化又は画一化してしまう 現象，いわゆる「ボイラープレート化」が挙げられ る. KAM の有益性の確保には，その記載において，「定型化，画一化を避けるべき」であると金融庁の 資料で述べられている [2]. KAM のボイラープレー 卜化には，大きく 2 通りの傾向が知られており，各上場会社の記載が経年変化せずに固定化した内容と

図 $1 \mathrm{KAM}$ 等の位置付けの概要 (先行研究 [1] より引用)

なる状態を「縦のボイラープレート化」，各上場会社の記載が横並びで似通った内容となる状態を「横 のボイラープレート化」と呼ぶ [3]. 先行研究では,縦のボイラープレート化に関する計量的な分析が行 われている $[2,4]$ ほか，監査人が所属する監査法人単位による横のボイラープレート化の傾向に関する 分析 [1] が行われている. しかしながら，業種別に 見た傾向の分析は限られている.

そこで，本研究では，2021 年 3 月期と 2022 年 3 月期における各上場会社の KAMを対象として，業種別に縦のボイラープレート化の傾向を分析した.具体的には，各上場会社の KAMのテキストから単語頻度に基づくべクトルを 2 年分算出し，これらの コサイン類似度を縦のボイラープレート化の指標と して見なした。そして，業種別の類似度の傾向を，統計的な手法を用いて分析した.

また，先行研究 [1] より，横のボイラープレート 化について監査法人単位での傾向が確認できたこと から，本研究では縦のボイラープレート化に関する 監査法人別の傾向を分析した.

## 2 関連研究

本章では，KAM のボイラープレート化に関する 計量的な研究について述べる.

先行研究 [1] では, 横のボイラープレート化の傾向を分析し，トピックモデルを用いて，監査人が所属する監査法人単位での KAM の類似性を検証し た。監査法人間の類似性を評価した実験では，「大手監査法人同士は，概ね類似度が低い」という示唆 が得られた. また，著者推定により KAM の類似性 を評価した実験では，「大手監査法人の推定精度は，準大手監査法人の推定精度よりも高い」という示唆 が得られた。

金融庁 [2] は, 縦のボイラープレート化の傾向を 分析し，2020 年度に KAMを早期適用した後に監査人を変更した 1 社を除く 47 社の上場会社について， 2020 年度と 2021 年度の KAM の類似性を算出した。類似度の指標にはレーベンシュタイン距離を用い た. 分析の結果，類似度が 75\%以上となったのは 9 社（全体の約 18\%）であり，2つの監査法人の KAM の類似度の平均値と最大値は，他の監査法人のそれ よりも高い傾向にあった.

あずさ監査法人 [4] もまた，縦のボイラープレー 卜化の傾向を分析し, 非上場会社 231 社を含む 2,552 社について，2021 年 3 月期と 2022 年 3 月期の KAM の類似性を算出した．類似度の指標は，名詞頻度の コサイン類似度である。分析の結果，類似度が $70 \%$未満の会社は約 $17 \%$ に過ぎず，95\%以上の会社は約 $36 \%$ であった．類似度が $95 \%$ 以上の会社群において は，『内容が前年と全く同じか，金額部分など一部 が変わっただけであることを示す』と述べられて いる.

## 3 分析用データセット

本章では，本研究に用いた KAM のデータセット （以下，本データセット）の作成手法や統計情報等 について説明する。

## $3.1 \quad K A M$ の概要

有価証券報告書に添付される監査報告書には，「当期連結財務諸表に対する監査報告書」と「当期財務諸表に対する監査報告書」がある．本稿では，「当期連結財務諸表に対する監査報告書」のKAMを 「連結 KAM」，「当期財務諸表に対する監查報告書」 の KAMを「単体 $\mathrm{KAM} \perp$ と呼ぶ. 1 つの KAM は，「タイトル」,「監査上の主要な検討事項の内容及び 決定理由（以下，内容及び決定理由）」,「監査上の対応」で構成されており，1 社につき複数の KAM が 記載されることもある。

本研究では，KAM の前例踏襲の程度を分析する ため,「内容及び決定理由」と「監査上の対応」につ いて，前年度からの類似度の傾向を分析した。

## $3.2 \mathrm{KAM$ の収集}

KAM の前例踏襲の程度に関する傾向を分析する ため，連結 KAM のテキストを集約したデータセッ トを作成した. 本データセットに用いた文書は, 2021 年 3 月期と 2022 年 3 月期の，各上場会社の直近の有価証券報告書における「当期連結財務諸表に 対する監査報告書」とした。

なお，監査報告書の収集に当たっては，EDINET APIを利用した.これらの監査報告書を対象に「「内容及び決定理由」と「監査上の対応」のそれぞれに 相応する XBRL タグを参照することで，各上場会社 の KAM を抽出した. 複数の KAM が含まれている 場合は，1つのテキストとして連結した.

また，分析の対象とする上場会社は，以下の条件 を全て満たすものとした.
- 2022 年 12 月末日時点で，東京証券取引所のプ ライム市場，スタンダード市場，グロース市場 のいずれかに上場している内国会社
- 2021 年 3 月期と 2022 年 3 月期の有価証券報告書が，2022 年 6 月末日までに提出されている
- 2021 年 3 月期と 2022 年 3 月期の監査報告書に おいて，KAM が 1 件以上記載されている
- 2021 年 3 月期と 2022 年 3 月期の監査報告書に おいて，監査法人が同一である
- 監査法人が次節に示す大手監查法人又は準大手監査法人である

## 3.3 監査法人によるフィルタリング

先行研究 [1] に倣い, 少数の上場会社しか監査し ていない監査法人を除外するため，大手監査法人又 は準大手監查法人の KAM のみを抽出した．大手監査法人とは，「上場国内会社を概礼 100 社以上被監査会社として有し，かつ常勤の監査実施者が 1,000 名以上いる監査法人」を指し，準大手監査法人と は「大手監査法人に準ずる規模の監査法人」を指す [5]. この結果，本データセットに含まれる監査法人

は，下記の 9 監査法人となった. なお，以降では，各監査法人の名称は， A 法人から I 法人のいずれか に匿名化を施し, 大手監査法人は A 法人から D 法人，準大手監査法人は E 法人から I 法人とした.

-大手監査法人
- 有限責任あずさ監査法人
- 有限責任監査法人トーマツ

$-\mathrm{EY}$ 新日本有限責任監査法人
- PwC あらた有限責任監査法人
- 準大手監査法人
- 仰星監査法人

- 三優監査法人
- 太陽有限責任監査法人
- 東陽監査法人

$-\mathrm{PwC}$ 京都監査法人

## 3.4 業種情報の付与

業種別による傾向の差異を分析するため，各上場会社に対して 17 業種区分に基づくラベルを付与し た. 17 業種区分とは，証券コード協議会が「業種別分類に関する取扱い要領」[6] に基づいて各上場会社を分類する 33 種類の業種（以下，33 業種区分） を，17 業種に集約したものである [7]. 17 業種の内訳は，4 章の実験結果と併せて付録 $\mathrm{A}$ の表 4 に示す.

なお，上場会社の 33 業種区分は，「業種別分類に 関する取扱い要領」に定める所属業種変更基準に該当すると，変更となることがあり，これに応じて 17 業種区分も変更することがある. 本データセットの 業種は, 2022 年 12 月末日時点の業種に統一した.

## 3.5 本データセットの統計情報

以上の手順によって，「内容及び決定理由」と「監查上の対応」のそれぞれについて，1,585社分のテキ ストを収集した。これらのテキストの単語数の分布 を表 1 に示す。なお，単語数の算出には， MeCab[8]及び UniDic2 ${ }^{2}$ を使用した。

2) https://clrd.ninjal.ac.jp/unidic/

図 2 本データセット全体の類似度の分布

## 4 実験

## 4.1 実験環境

本実験では，本データセットを利用し，「内容及 び決定理由」と「監査上の対応」のそれぞれから， 2021 年 3 月期と 2022 年 3 月期の内容の類似度を算出し，その傾向を分析した．類似度には，あずさ監査法人の調査 [4] に倣い, KAM のテキストにおける 単語の出現頻度から作成したべクトルのコサイン類似度を使用した. ただし, 抽出した品詞は, 先行研究 [1] に倣い, 名詞, 動詞, 形容詞, 副詞とした.

また，業種と監査法人による傾向の差異の有無を 確認するため,「内容及び決定理由」と「監査上の対応」の各類似度を対象に，業種と監査法人による一次元配置分散分析を行った. 更に，差異がある業種及び監査法人を確認するため, 事後検定を行った.

## 4.2 実験結果及び考察

「内容及び決定理由」と「監査上の対応」のそれぞ れの類似度の分布を，図 2 に示す。また，これらの 類似度の一覧を，付録 A の表 4 及び表 5 に示す。

「内容及び決定理由」の類似度が 95\%以上の場会社は 638 社（約 $40.3 \%$ ),「監査上の対応」の類似度 が $95 \%$ 以上の上場会社は 813 社（約 $51.3 \%$ ）だった. この結果は, あずさ監査法人の調査結果 [4] の傾向 とも合致する，なお，「内容及び決定理由」と「監查上の対応」の類似度に対する $\mathrm{t}$ 検定の結果，「監
表 2 事後検定で有意差が確認できた業種

査上の対応」の方が有意に類似度が高かった（ $\mathrm{p}$ 値 <0.001). 従って，「監査上の対応」の方が，縦のボ イラープレート化がより生じている。この理由とし て,「内容及び決定理由」は外的要因により毎年の 記載内容が変わりやすいものの，それらに応じた対応には大きな変化は生じにくく，「監査上の対応」 の内容は前例踏襲になりやすいことが考えられる。

以下では，業種別の類似度の傾向と，監査法人別 の類似度の傾向について，それぞれ述べる。

## 4.2.1 業種別の類似度の傾向

「内容及び決定理由」の類似度 一次元配置分散分析の結果, $\mathrm{p}$ 值は 0.001 未満だった. 従って, 本 データセットの「内容及び決定理由」には，業種間 の類似度の平均值に有意差があると解釈できる。

そして，事後検定を行い，有意水準 $5 \%$ の下で有意差が確認できた業種の組み合わせを抽出し，表 2 のとおり，類似度の高い業種と低い業種に分類し た. 類似度の低い業種群におけるどの業種も，「15 銀行」との有意差が認められており，付録 A の表 4 から「15 銀行」は「内容及び決定理由」の平均值 が最も大きい業種であることを踏まえると，業種が $「 15$ 銀行」の上場会社は特に前例踏襲の程度が強い と言える。以上から，「内容及び決定理由」の類似度は，業種による傾向の差異があると言える。

「監査上の対応」の類似度 一次元配置分散分析 の結果, p 値は 0.001 未満だった. 従って，「監査上 の対応」も，業種間の類似度の平均值に有意差があ ると解釈できる.

しかしながら，事後検定を行い，有意水準 $5 \%$ の 下で有意差が確認できた業種の組み合わせを抽出 したところ，このような組み合わせは「03 建設・資材」と「10 情報通信・サービスその他」（p 値: 0.006）

しか無かった. 従って，「監査上の対応」における 業種別の類似度の差異は，「内容及び決定理由」よ りも小さいと言える.

また，特筆すべき点として，「03 建設・資材」は，「内容及び決定理由」では類似度が低い業種群に含 まれていたところ，「監査上の対応」では類似度が 高い傾向がある．以上から，同一の業種であって も，「内容及び決定理由」と「監査上の対応」では，異なる傾向が示され得るという示唆が得られた。

## 4.2.2 監査法人別の類似度の傾向

「内容及び決定理由」の類似度 一次元配置分散分析の結果, $\mathrm{p}$ 值が 0.001 だった. 従って, 本データ セットの「内容及び決定理由」には，監査法人間の 類似度の平均値に有意差があると解釈できる。

そして，事後検定を行い，有意水準 $5 \%$ の下で有意差が確認できた監査法人の組み合わせを抽出し た.これに対して，表 3 に示すとおり，類似度の高 い監査法人と類似度の低い監査法人に分類したとこ ろ，類似度の低い監査法人は全て準大手監査法人 G 法人となり，大手監査法人は類似度が高い傾向が見受けられた。以上から，「内容及び決定理由」の類似度は，監査法人による傾向の差異があると言える。

「監査上の対応」の類似度 一次元配置分散分析 の結果， $\mathrm{p}$ 値は 0.087 と，有意水準 $5 \%$ の下で有意差 が確認できなかった. 従って，「監査上の対応」に は，監査法人による傾向の差異があると言えない。

## 5 おわりに

本研究では，2021 年 3 月期と 2022 年 3 月期にお ける各上場会社の KAMを対象に，前例踏襲の程度 に関する傾向を分析した. 実験の結果，上場会社の 業種や監査人の所属する監査法人によって，KAM の「内容及び決定理由」と「監査上の対応」のそれ ぞれについて，類似性の傾向が異なることが示唆さ れた. 今後の課題としては，類似度の傾向差異の要因に関する詳細な分析や，より広範な上場会社又は より長期的な期間を対象とした分析が挙げられる.

## 参考文献

[1] 土井惟成. トピックモデルによる監査上の主要な検討事項（KAM）の類似性の検証. 人間科学とコンピュー タシンポジウム 2022 論文集, pp. 199-206, 122022.

[2] 金融庁. 監査上の主要な検討事項 (KAM) の特徴的 な事例と記載のポイント, 2022. https://www.fsa.go. jp/news/r3/sonota/20220304-2/01.pdf.

[3] 公益社団法人日本監査役協会会計委員会. 監査上の主要な検討事項（KAM）の強制適用初年度に おける検討プロセスに対する監査役等の関与に ついて, 2021. https://www.kansa.or.jp/wp-content/ uploads/2021/12/el001_211220a_2.pdf.

[4] 森国司. 監査の重要項目「KAM」、企業 4 割で前例踏襲. 日本経済新聞社, 2022. https://www.nikkei.com/ article/DGKKZ064673390X20C22A9DTA000/.

[5] 公認会計士・監査審査会. 令和 4 年版モニタリングレポート, 2022. https://www.fsa.go.jp/cpaaob/shinsakensa/ kouhyou/20220715/2022_monitoring_report.pdf.

[6] 証券コード協議会. 業種別分類に関する取扱 い要領, 2007. https://www.jpx.co.jp/sicc/sectors/ nlsgeu00000329wk-att/category2.pdf.

[7] 株式会社 JPX 総研. 東証指数算出要領 (東証業種別株価指数・TOPIX-17 シリーズ 編),2022.https://www.jpx.co.jp/markets/indices/ line-up/files/cal2_13_sector.pdf.

[8] Taku. Kudo. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/, 2005.

## A 業種別及び監査法人別の類似度の一覧

表 4 業種別の類似度の一覧

表 5 監査法人別の類似度の一覧

土井惟成 株式会社日本取引所グループ n-doi@jpx.co.jp


# 金融テキストからの類似文の自動収集

吉野綾音酒井浩之永並健吾
成蹊大学 理工学部 情報科学科
us192136@cc.seikei.ac.jp, \{h-sakai, kengo-enami\}@st.seikei.ac.jp

## 概要

本研究では有価証券報告書データから類似文を自動的に収集する手法を提案する. タグと文末表現が一致する文ぺアの中で, 単語の TFIDF 値を要素とした単語ベクトルから求めた $\cos$ 類似度とレーベンシュタイン 距離との調和平均を算出し, 類似文を収集する. 収集 した類似文を学習データとして Sentence-BERT で学習 モデルを作成し, その学習モデルによる決算短信から の業績要因文の抽出により, 収集した類似文を評価し た.

## 1. はじめに

近年, ビッグデータの活用やテキストマイニング技術 などテキストデータの有効利用が注目されている. テキ ストマイニングには多くのテキストデータが必要であるが，学習データ等はまだ手動で作成, 収集を行なっている ことも多い. 特に類似文のペアは様々な言語処理に活用できる. 例えば, 類似文からは言い換え表現の獲得 ができる. また, 高精度な文べクトルを生成する手法で ある Sentence-BERT[1]において, 類似文のぺアを学習 データとして使用している. その一方で, 類似文のペア の作成は人手で行っていることがほとんどであり, 大量 のデータを用意できないのが現状である. 類似文を自動的に収集することができれば, データ作成の労力を 大きく抑えられる. また，自動収集によって多くの類似文ぺアのデータが入手できるため, 言い換え表現の獲得や Sentence-BERT など類似文を利用する様々な技術で役立つと考える. そこで本研究では, 類似した内容 の多い金融テキストから, 類似文のぺアを自動的に収集することを目的とする. 金融テキストは企業から毎年発行されるが, 同じ企業が発行している金融テキストに 記載される内容はほぼ同じことが多い. そのため, 類似 した文のペアが含まれると考えられる. 本研究では, そ
のような金融テキストの性質を利用して，類似文のぺア を自動的に収集することを目的とする.

これまでに金融テキストからの情報抽出に関してはい くつかの研究が行われている[2][3][4]. 文献[2]では, 決算短信から手がかり表現と企業キーワードを獲得し, 業績要因文を抽出している. 文献[3]では, 手がかり表現 を拡張して学習データを自動的に作成し, 深層学習に よって有価証券報告書から業績要因文を抽出している。文献[4]では, [3]と同様に学習データを自動的に作成し,深層学習によって決算短信から業績要因文を抽出して いる.いずれも決算短信や有価証券報告書から業績要因文を抽出する手法を提案している.これらの研究に対 して, 本研究では金融テキストとして有価証券報告書を 対象とし, 業績要因文に限らず，文書内の類似文をす べて収集する.

言い換え表現の獲得に関する研究は文献[5][6][7]が ある. 文献[6]では多言語パラレルコーパスを利用した 言い換え表現の判定, 収集であり, 本研究では文全体 での類似した文を収集するという点が異なる. 類似した 文のペアには表現の言い換えによって類似している文 も含まれており, 本研究で収集した類似文から言い換え 表現の獲得を行うことも可能である. 文献 [7]では同義語のグラフを構築し，グラフをもとにペアワイズ類似度を 計算, 単語単位の類似度を合計して文同士の類似度を 測る手法を提案している. 本研究では, $\cos$ 類似度とレ 一ベンシュタイン距離を組み合わせて文同士の類似度 を算出し，類似文を収集するといら点に違いがある.

日本語の Sentence-BERTに関しては文献[8]がある. この研究ではスタンフォード NLI コーパスを日本語に翻訳し, BLEU のスコアとクラウドソーシングを利用すること で類似文を収集している. 本研究では金融テキストから 類似文を自動的に収集する点が異なるが，収集した類似文は金融に特化しており，金融テキストを対象とした 研究においては精度の向上が望めるという違いがある.

## 2. 提案手法

本提案手法は以下の 4 つの Step で構成される.

Step 1: 有価証券報告書データから, 文末表現が一致 する文を抽出

Step 2: Step1 で抽出された文において, 2つの文の類似度を単語の TFIDF 値を要素とする単語ベクトル による $\cos$ 類似度を算出

Step 3： Step1 で抽出された文において, 2つの文の正規化レーベンシュタイン距離を算出

Step 4: $\cos$ 類似度と正規化レーベンシュタイン距離の 調和平均を算出し, 調和平均が閾値より高い 2 つ の文を類似文として収集

## 2. 1 金融テキスト

本研究で使用する金融テキストとして, 上場企業が発行している有価証券報告書を使用する. 有価証券報告書は EDINET ${ }^{1}$ から XBRL 形式のファイルで取得した 4593 社の有価証券報告書のテキストデータを使用す る.

XBRL 形式のテキストデータには文ごとに文の内容を 示すタグが付与されている.タグは全部で 479 種類で あった. 例えば「BusinessRisksTextBlock」タグは,「その ような研究開発活動の停滞により、当社グループの業績が悪影響を受ける可能性があります。」のような事業リ スクに関する文に付与されている. タグが同じ文は内容 が近しいと考えられるため, 同じ企業の同じタグを持つ 文を比較する。

## 2. 2 文末表現による類似文候補の取得

文末文節と，その文末文節に係る文節を結合した文字列を文末表現とし, 文末表現が一致する文を抽出す る. 文末表現を得るための係り受け解析には Cabocha[9]を利用した. 内容が近い文ぺアは文末表現 が一致すると考えられるため, 同一のタグをもち, かつ,文末表現が一致する 2 つ文を類似文候補として抽出 する.しかし，これだけでは図1のように類似文として不適切な文ぺアが多く抽出されるため, 文間の類似度を 求めることで, 類似文として不適切な文ぺアを除去す る.社会全般にわたる重大な品質問題など、当社グル ープの取り組みの範囲を超えた事象が発生した場合には、業績に影響を及ぼす可能性があります。販売量・単価共にこの季節変動及び気候・天候条件に影響を受け易く、その変動が大きい場合は、業績に影響を及ぼす可能性があります。

図 1 類似文として不適切な文ぺアの例

## 2. 3 類似文の判定

抽出された類似文候補の 2 文間の類似度を求め, 類似文として不適切な文ぺアを除去する。ここで，類似度 は文に含まれる単語の TF・IDF 值を要素とする単語べ タトルの $\cos$ 類似度を用いる. 以下の式を用いてある企業における単語 $a$ の TF・IDF 値を求める.

$
T F(a, x)=\frac{\text { 文 } x \text { における単語 } a \text { の出現頻度 }}{\text { 文 } x \text { における全単語の出現頻度の和 }}
$

$
T F \cdot I D F(a, x)=T F(a, x) \times \log \left(\frac{N}{\text { 単語 } a \text { を含む文の数 }}\right)
$

ここで, $\mathrm{N}$ はある企業が発行している有価証券報告書の 集合における文の総数である.

$\mathrm{TF}$ IDF 值で文の単語ベクトルを生成し, 単語ベクト ルによる文間の $\cos$ 類似度を求める. $\cos$ 類似度が高 い文ぺアを類似文とすることで，不適切な文ぺアを除去 する.

本研究では全く同じ文や数字だけが異なる文ではな く, 内容は類似していながら表現の異なる文を類似文と して収集したい. しかし, タグと文末表現の一致と $\cos$類似度による収集では, 内容が類似している文ではあ るものの, 表現の異なる文の収集ができない. そこで本研究では類似度の判定として, $\cos$ 類似度に加え正規化レーベンシュタイン距離を利用する.レーベンシュタ イン距離とは編集距離のことで, 1 文字の挿入・削除・置換で，一方の文字列をもう一方に変形するために必要な手順の最小回数を表す。

本手法では, $\cos$ 類似度と正規化レーベンシュタイン 距離の調和平均が大きい文ぺアを類似文として判定す る. 本来, レーベンシュタイン距離が小さいとき文同士 は類似していることになるが，本手法では大きいものを 収集した. なぜなら, 文間類似度を表す $\cos$ 類似度と,編集にかかるコストを表すレーベンシュタイン距離がとも
^{1} \mathrm{https}$ ://disclosure.edinet-fsa.go.jp/
}

に大きい文ぺアを抽出することで，同じ単語を異なる配置で使っている文を類似文として獲得できると考えるた めである. $\cos$ 類似度と正規化レーベンシュタイン距離 の調和平均の閾値は 0.5 以上とした.

本手法により 401,347 ペアの類似文を収集した. 本手法による類似文として判定された文ぺアの例を以下 に示す.

花種子につきましては、トルコギキョウやヒマワリの売上が伸びたことなどから、前期比増収となりました。花種子につきましては、為替の影響で欧州、南米で は減収となりましたが、中国ではトルコギキョウ、北米ではヒマワリやトルコギキョウなどが好調に推移し たことから、前期比増収となりました。

図 2 本手法による収集した類似文の例

## 3. 評価

本手法で収集した類似文を学習データとして Sentence-BERT でモデルを生成し, 生成されたモデル を使用することで収集した類似文の評価を行う. 適切な 類似文が収集できていれば，その類似文を学習データ として用いて作成したモデルは適切な文ベクトルを生成 できる.ここで, 評価タスクとして決算短信からの業績要因文の抽出[2][4]を設定する.このモデルを利用して決算短信から業績要因文の抽出を行い, 抽出された業績要因文の精度, 再現率で評価する.

収集した類似文を用い, Sentence-BERT のモデルを 生成する. なお, 学習データとして利用する非類似文 は, 同じ企業の同じタグの文の中で最も $\cos$ 類似度が 低いものを収集した. そして, 文献[4]の手法にて作成し た学習用の業績要因文データと, テストデータである決算短信の文との類似度を, Sentence-BERT で学習した モデルを用いて求め, 学習用の業績要因文との類似度 が高い文を決算短信から抽出する.

抽出された業績要因文の精度と再現率によって, 収集した類似文の適切性を評価する. 類似度の閾値によ り, 精度, 再現率, $\mathrm{F}$ 值が変化する. 表 1 に類似度の閾值における, 精度, 再現率, $\mathrm{F}$ 值を示す.表 1 評価結果

比較手法として, 以下の 2 種類の手法で収集した類似文で Sentence-BERT のモデルを学習し，比較した.

1) $\cos$ 類似度と正規化レーベンシュタイン距離の調和平均により抽出した類似文から，同一文字列が含まれ る文ぺアを除いた類似文

2) $\cos$ 類似度のみで抽出した類似文

$\cos$ 類似度と正規化レーベンシュタイン距離の調和平均により抽出した類似文のデータには, 同一文字列 が含まれる組み合わせが散見される. なるべく異なる表現の類似文を収集したいため，1）では同一文字列を 含む文ぺアを除き学習データとした. 2）では， ベースラ インとして $\cos$ 類似度のみで類似文の判定を行なっ た. 閾値は 1）と同様に 0.5 以上とした. 表 2 に比較手法の精度, 再現率, F 值を示す. 表2では, 各手法で $\mathrm{F}$值が最も大きい時の評価値を示した. 閾値は本手法で は 0.54 の時, 1)では 0.70 の時, 2)では 0.71 の時の評価値である.

表 2 提案手法との比較

 &  \\

本手法と比較手法において, 閾值を 0.01 ずつ変化さ せたときの精度, 再現率のグラフを示す.

図 3 提案手法と比較手法の評価結果

## 4. 考察

金融テキストを利用した類似文の収集において，収集した類似文を用いて Sentence-BERT のモデルを学習した. そして, 作成されたモデルによって決算短信か らの業績要因文の抽出を行い, その精度と再現率で収集した類似文の評価を行った. 類似度の閾値が 0.54 の 時, 精度が $61 \%$, 再現率が $84 \%, \mathrm{~F}$ 値が 70.7 となった. 3 種類の手法によって収集した類似文ぺアで学習モデル を作成したが，本手法が最も良い結果が得られ，同一文字列を除く場合は精度が落ちた. 言い換えや内容の 順番の入れ替えによる類似文とは言い難い同一文字列 を含む文ぺアを除くことは精度向上につながると考えた。 しかし, 正規化レーベンシュタイン距離の値を考慮して も調和平均の值が大きく, 類似文として完全にノイズで あるとはいえない. 類似文の総数が同一文字列を含む 場合は約 40 万文, 含まない場合は約 38 万文となり, 同一文字列を含む文ぺアを除いたことによって学習デー タが少なくなり, それにより精度が落ちたと考える. さら に，本研究では類似文を自動的に収集しているため, データ量が膨大となり, すべての文ぺアを手作業で確認ができない，そのことから，同一文字列を含む文ぺア を除いた場合の学習データには, 例えば図 4 のようなノ イズが含まれていた. 学習データが少なくなったことで,学習データにおけるノイズの影響が大きくなり, それによ り精度が落ちたと考える.服飾資材関連では, スポーツアパレルメーカー向け 付属品の売上高が増加しました

生活産業資材関連では, 映像機器向け付属品の 売上高が増加しました

図 4 類似文として不適切な例

また, Sentence-BERT のモデルの作成の際に必要と なる非類似文は，単純に最も $\cos$ 類似度が低くなる文に したが，「あります」など極端に短い非類似文があり，そ のような非類似文がノイズになったと考える。この非類似文の収集についても，含まれる文字数を考慮したり，レ 一ベンシュタイン距離等を組み合わせたりすることで，精度の向上が目指せるのではないかと考える.

類似文の抽出では, 数字だけが異なる文の組み合わ せを省くため，「円」や「\%」が含まれる文は類似文として 取得しなかった.しかし，「名」「年」「株」「単元」なども単位として頻繁に使われている.これらの単語についても ノイズとして除くことで精度の向上に繋がる可能性があ る.しかし, それによって「株式会社」や「当事業年度」な どのよく使われる単語も省かれるため，金融テキストに 特有の言い回しやよく使われる単語のリストを作成し，省く単語の適切な条件を設定する必要がある.

## 5. むすび

本研究では有価証券報告書データから類似文を収集する手法を提案した. 本手法では $\cos$ 類似度と正規化レーベンシュタイン距離との調和平均を算出し, 類似文を収集した。決算短信からの業績要因文の抽出によ る評価の結果, 精度が $61 \%$, 再現率が $84 \%$, F 值が 70.7 となり，同一文字列を含む文を除いた場合， $\cos$ 類似度 のみの場合と比較して良好な結果を得ることができた。今後の課題として, 単位を含む文の除去, 文末, 文頭表現の一致の条件を適切に設定して精度を向上させた い.

## 参考文献

[1] Nils Reimers, Iryna Gurevych: "Sentence-BERT: Sentence Embeddings using Sia-mese BERTNetworks", Proceedings of the 2019 Conference on

Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pages 3982-3992, November 3-7, 2019.

[2]酒井浩之, 西沢 裕子, 松並祥吾, 坂地泰紀: “企業の決算短信 PDF からの業績要因の抽出”,人工知能学会論文誌, Vol. 30, No. 1, pp. 172-182, 2015 .

[3] 高野 海斗, 酒井 浩之, 北島良三: “有価証券報告書からの事業セグメント付与された業績要因文・業績結果文の抽出”, 人工知能学会論文誌, Vol. 34, No. 5, p.wd-A_1-22, 2019.

[4] 酒井浩之, 松下 和暉, 北島 良三: “学習デー夕 の自動生成による決算短信からの業績要因文の抽出”, 日本知能情報ファジィ学会誌, Vol. 31, No. 2, pp. 653-661, 2019.

[5] 乾 健太郎, 藤田 篤: “言い換え技術に関する研究動向”, 言語処理学会論文誌, Vol. 11, No. 5, pp. 151-198, 2004.

[6] 柏岡 秀紀: “多言語パラレルコーパスを利用した 言い換え表現グループの構築と分析”, 言語処理学会論文誌, Vol. 11, No. 5, pp. 3-18, 2004.

[7] Youhyun Shin, Yeonchan Ahn, Hyuntak Kim, Sanggoo Lee: “ Exploiting Synonymy to Measure Semantic Similarity of Sentences”, IMCOM 15: Proceedings of the 9th International Conference on Ubiquitous Information Management and Communication, No. 40, pp. 1-4, 2015.

[8] Naoki Shibayam, Hiroyuki Shinnou: "Construction and Evaluation of Japanese Sentence-BERT Models”, In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 731-738, 2021.

[9] Taku Kudo, Yuji Matsumoto: "Fast Methods for Kernel-Based Text Analysis", Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 24-31, 2003.


# 極性と重要度を考慮した決算短信からの業績要因文の抽出

大村和正 ${ }^{1}$ 白井穂乃 ${ }^{2}$ 石原 祥太郎 ${ }^{2}$ 澤 紀彦 ${ }^{2}$
1 京都大学大学院情報学研究科 2 株式会社日本経済新聞社
omura@nlp.ist.i.kyoto-u.ac.jp
\{hono.shirai, shotaro.ishihara, norihiko.sawa\}@nex.nikkei.com

## 概要

本稿では，極性と重要度を考慮した決算短信から の業績要因文の抽出手法を提案する。提案手法は 2 段階の学習データの自動生成から成り, 重要度を考慮した要因分類器の学習データと極性分類器の学習 データを決算短信から生成する.これらの自動生成 データにより, 業績要因文の抽出精度の改善と高精度な極性付与ができることを示す. また，中規模な 評価データを人手で構築し，この再現ができるよう に必要な情報を公開する。

## 1 はじめに

ウェブ上には日久膨大なテキストデータが蓄積さ れており，それらを活用するための技術の需要が高 まっている．その中でも，金融ドメインのテキスト を対象としたマイニング手法は，投資支援や経済分析への応用が期待されることから近年盛んに研究さ れている [1]. 本研究では，このような金融テキス トマイニングの 1 タスクである「決算短信からの業績要因文の抽出」に取り組む。

決算短信とは，上場企業が決算発表を行う際に開示する，当期の経営成績等をまとめた書類である (表 1 上段). 決算短信は企業動向をいち早く報じる ものであるため，投資判断に欠かせない情報源であ る一方, 文章量が多く要点の把握には労力を要す る.このため，投資判断の参考になる「業績変化の 要因が記述された文 (業績要因文)」を自動抽出する ことができれば，投資支援として有用であると考え られる。このような背景のもと, 業績要因文の抽出 に向けた手法は複数提案されてきた $[2,3,4,5,6]$.決算短信は原則再配布が認められていないために オープンデータがなく, 注釈付けも多大な労力を要 することから，いかに機械学習モデルの学習データ を自動生成するかがひとつの争点となっている。例 えば，酒井らは業績要因の手がかりとなる表現と各表 1 ある上場企業の決算短信と，それに対応する業績発表記事の例 (抜粋).

‥ 百貨店業での営業収益は 398,338 百万円 (前年同期比 31.4\%減)、営業損失は 16,863 百万円 (前年同期は営業利益 6,563 百万円) となりました。

国内百貨店におきましては、新型コロナウイル 又感染症の拡大伴う緊急事態宣言の発出を受け、全店で食料品フロアを除く臨時休業を実施しまし た。 5 月末には全店で全館営業を再開いたしまし たが、多くのお客様の来店を見込んだ営業施策や 販売促進策の中止や開催方法の見直しをしたこと に加充、外出を控える動きも依然強く、売上高は 大きく減少いたしました。また、渡航制限で…

舞 $\cdots$ が 25 日発表した 2020 年 3 11 月期の連結決算 で、最終損益は 243 億円の赤字 (前年同期は 164 億円の黒字)だった。新型コロナウイルスの感染拡大に伴う外出自肅やインバウンド (訪日外国人) 需要の大幅な落ち込みによる販売減少が響いた。…

企業にとって重要なキーワードを自動獲得し，それ らをべースに学習データを生成している [5]. この 手法は工程が若干複雑である点に難がある. これに 対し，大村らは決算短信の要約記事である業績発表記事 (表 1 下段)を利用した，簡素なデータ生成手法 を提案している [6]. この手法も決算短信に含まれ る業績と無関係な記述 ${ }^{1)}$ が負例であることを十分に 学習できないため，精度に改善の余地がある。

本研究では大村らの手法 [6] を拡張し, 学習デー タの生成を 2 段階にすることで，前述の問題に対処 する。具体的には，業績発表記事から生成した学習 データで分類器を訓練し，それを用いて決算短信に 擬似ラベルを付与することで，よりタスクに適応し た学習データを生成する。これにより，業績要因文 の抽出精度が改善することを示す.

また，この拡張に乗じて，実応用での需要が高い 極性 ${ }^{2}$ や重要度の付与が可能となるようにデータ生成を工夫する．具体的には，疑似ラベルを付与する 際に重要度を考慮したスコアを付与し，これと並行

1）「〜は以下のとおりとなりました。」といった注記など.

2）その要因による売上高や利益の増減の向きを指す。

して極性分類器の学習データを生成する。これによ り, 重要度の予測は改善の余地があるものの, 高精度な極性付与ができることを示す。極性や重要度を 考慮する手法はこれまでにも個別に提案されてきた $[7,8,9]$ が，総合的に扱う点が差分である.

本研究のもう一つの貢献として，中規模な評価 データを人手で構築し, この再現に必要な情報を 公開する ${ }^{3)}$. 評価データはそのまま公開できないた め, 注釈と決算短信の取得元の情報から評価データ が再現できるように整備を進める.

## 2 タスク設定

本研究の対象を明確にするため，決算短信に含ま れる文を以下のように分類定義する。

業績文当期の業績変化のみを述べた文

暗黙的な業績要因文 文内で当期の業績変化と紐付 いていないが，要因であると判断される文

明示的な業績要因文 文内で当期の業績変化とその 要因が述べられた文

その他上記のいずれにも該当しない文

例えば，表 1 上段において，1文目は業績文である. また，2 文目は「全店で食料品フロアを除く臨時休業を実施」という要因が述べられているものの，業績変化と紐付いていないため，暗黙的な業績要因文 である. さらに，3 文目は「売上高は大きく減少」 という業績変化とその要因が述べられているため,明示的な業績要因文である.

本研究では，決算短信に含まれる各文が「明示的 または暗黙的な業績要因文であるか否か」を判定す る 2 値分類タスクとして定式化する。なお，財政状態や将来予測に関する記述 $[10,11]$ は対象外とする.以降，この 2 值分類タスクを「要因分類」，明示的ま たは暗黙的な業績要因文を「正例」，そうでない文 を「負例」と呼ぶ.

## 3 提案手法

提案手法は図 1 のように 2 段階の学習データの自動生成から成る.

## 3.1 第 1 段階

大村らの手法 [6] に従って業績発表記事から学習 データを生成する，具体的には，業績発表記事から 数字を含む文を業績文 (負例)，含まない文を暗黙的

図 1 提案手法の概要図.

な業績要因文 (正例) として抽出する。また，記事の 第 1 段落から抽出した暗黙的な業績要因文と業績文 を適当な接続詞でつなぐことで明示的な業績要因文 を生成し，これを正例として加える。

ヒューリスティックの導入 決算短信には業績と 無関係な記述1) が多く含まれる. そのような記述に よく見られる文体の文が負例であると学習させる ため，以下のいずれかの条件を満たす文のラベルを 「負例」に上書きする。

・末尾の文節が過去形または体言止めでない

・末尾の節の意志性が強い

1 点目は将来予測に関する記述等を，2 点目は「〜 に努めました。」のような定性的だが業績変化との 因果関係が曖昧な文を想定したものである。

最後に，生成したデータを用いて，入力文が正例 である確率を予測する要因分類器を訓練する。

## 3.2 第 2 段階

重要度を考慮した要因分類器の学習データと極性分類器の学習データを決算短信から生成する.

重要度を考慮した要因分類器の学習データ 第 1 段階で訓練した要因分類器を使用し, 決算短信から 抽出した各文に重要度を考慮したスコア $(\in[0,1])$ を付与することで生成する. 手順を以下に示す.

1. 要因分類器の予測確率が 0.8 以上である文を正例， 0.2 以下である文を負例として抽出し，そ れ以外の文を除外する。

2. 負例の文はスコア 0 をラベルとする.

3. 正例の文は，それが抽出元の決算短信において 冒頭から $i$ 番目の正例の文であるというメタ情報をもとに，以下の計算式で算出されるスコア をラベルとする.

$
\operatorname{score}(i)=\max (1.0-0.02 \times i, 0.8)
$

決算短信には「企業全体の概況 $\rightarrow$ 主力事業の概況 $\rightarrow$ その他事業の概況」という談話構造がよく見ら れ，冒頭に近いほど重要な要因である可能性が高い ことを 3 の計算式に反映している.

極性分類器の学習データ Saito らの手法 [12] を 参考に以下の手順で生成する.

1.「増収」や「減益」など，業績変化の極性を強く 表すシード語彙を人手で策定する.

2. シード語彙を含み，それと「原因・理由」また は「逆接」の談話関係を表す談話標識で接続さ れる節の組を取得する。

3. シード語彙を含む節はそれにもとづく極性を， それと接続される節は談話関係にもとづいて伝播される極性をラベルとする。

最後に，生成した 2 つのデータを用いて，入力文 のスコア (=重要度) を予測する要因分類器と極性分類器を訓練する．極性と重要度を同時に予測する分類器の構築は今後の課題である.

## 4 実験

提案手法の有効性を検証するために実験を行う. オープンデータは存在しないため，評価データは人手で構築し，学習データは自動生成する。

## 4.1 評価データの構築

まず，株式会社日本経済新聞社が提供するニュー ス配信サービス「日経電子版」)における業界分類5) 亿従って, 各業界 10 企業ずつ計 150 件の決算短信を人手で収集した. 対象期間は 2021 年 4 月から 2022 年 4 月までの 1 年間とした.

続いて，各決算短信 PDF から四半期決算に関する 定性的情報が記述されたテキストを抽出し ${ }^{6)}$ ，正規

表 2 評価データの統計.

表 3 学習データの統計. 要因分類器の学習データは負例に偏っていたため, 5 万文ずつに絞っている. また,「正例」は 0.8 以上のスコアが付与された文を指す.

表現ベースの文分割処理7)を適用した.こうして得 られた各文に著者らが人手で注釈付けを行い，3人以上の合意があったラベルに集約した。 また，正例 と評価された文はその極性と重要度も付与した．極性はポジティブ・ネガティブ・判別不能のいずれか を，重要度は決算短信 1 件につき最大 3 文まで重要文を主観で決め，重要文であるか否かを付与した。

最後に，2:8 に分割して開発データとテストデー タを構築した。評価データの統計を表 2 に示す.こ の再現に必要な情報は公開する.

## 4.2 学習データの生成

業績発表記事の取得 提案手法の第 1 段階で使用 する業績発表記事は「日経電子版」4) から取得した。具体的には, 2018 年 1 月から 2021 年 1 月までの 3 年間を対象とし，メタデータのトピック情報に「企業決算」ラベルが付与されているものを取得した.こ の結果，上場企業 1,023 社の業績発表記事を計 3,322 件取得した。また，総文数は 43,893 文であった。

決算短信の取得 ベースラインおよび提案手法の 第 2 段階で使用する決算短信はウェブから自動収集 した. 業績発表記事の取得時と同様に，2018年 1 月 から 2021 年 1 月までの 3 年間を対象とした. この 結果, 上場企業 3,653 社の決算短信を計 31,771 件取得した. 取得された PDF に対し， 4.1 節と同様に文 を抽出した結果，総文数は 574,000 文であった。

提案手法 3 節の手法に従って学習データを生成 した。過去形または体言止めであるか否かの判別と 節間の談話関係の認識は，構文解析器 $\mathrm{KNP}^{8}$ [13] が

7) https://github.com/ku-nlp/python-textformatting

8) https://github.com/ku-nlp/knp
表 4 テストデータに対する実験結果. 異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差を記載している.「ヒューリスティックのみ」は，3.1 節の条件を満たさない文を全て「正例」とした時の精度である.

 &  &  &  \\

付与する言語素性をもとに自動で行った. また，意志性の判別は, Kiyomaru \& Kurohashi の手法 [14] に 従って構築された意志性分類器を使用し，スコア $(\in[0,1])$ が 0.3 以上のものを意志性が強いとみなし た. 生成したデータの統計を表 3 に示す.

ベースライン 手がかり表現と企業キーワードに よる業績要因文の抽出手法 [5] をべースラインとし た. 手法に従って正例 85,241 文, 負例 75,175 文から 成る学習データを生成した. また， 3.1 節のヒュー リスティックの有無による精度の変化も調査した.

## 4.3 モデルの訓練・評価

分類器のモデルはいずれも RoBERTa [15] を採用 した. 事前学習モデルは早稲田大学が公開している 日本語 RoBERTa base モデル)を使用した.

要因分類 分類器の性能を $\mathrm{F}$ 値で評価した. ベー スライン・提案手法ともにモデルが過学習する傾向 が見られたため，開発データに対する $\mathrm{F}$ 值をステッ プごとに測り，F 値が最大となるステップのパラ メータでテストデータに対する性能を評価した。

重要度の予測 精度は重要文の正解率として評価 し，以下の手順で算出した。

1. 決算短信ごとに各文の予測値を出す.

2. 各決算短信の重要文の数 $N_{i}$ を既知として，予測值上位 $N_{i}$ 文を取得する.
3. $N_{i}$ 文のうち, 実際に重要文であった数 $M_{i}$ を求 め， $\sum_{i} M_{i} / \sum_{i} N_{i}$ を正解率として計算する.

極性分類表 2 の評価データのうち，正例かつポ ジティブまたはネガティブのラベルが付与されたも のに対して, 分類器の性能を $\mathrm{F}$ 值で評価した. 開発 データに対する $\mathrm{F}$ 值が最大となるエポックのパラ メータでテストデータに対する性能を評価した。

9) https://huggingface.co/nlp-waseda/ roberta-base-japanese

## 4.4 実験結果・定性的分析

テストデータに対する実験結果を表 4 に示す. 誤分類の実例は付録を参照されたい.

要因分類 提案手法について，疑似ラベルによる 全体的な性能の改善が見られる。 また， ベースライ ン・提案手法ともにヒューリスティックを導入する ことで適合率が大きく向上している. 決算短信に含 まれる業績と無関係な記述が負例であることを十分 に学習させることが重要だと考えられる.

定性的分析では，経済や景気について述べた文を 正例だと誤分類する傾向が見られた. 主語の大きさ に着目するような工夫が必要だと考えられる。

重要度の予測 重要文の正解率は提案手法による 改善が見られるが，依然として精度が低い. 文脈を 見ないと企業全体・主力事業・その他事業のいずれ について述べているか判別できない文が多いことが 原因として挙げられる. 文章単位での解析に拡張す ること，疑似ラベルを付与する際に各文が対象とす る事業セグメントを解析し [16]，それをもとにスコ アを付与することを検討する。

極性分類 $\mathrm{F}$ 値は 95.9, 89.2 と比較的高い精度に 達している. 定性的分析では「赤字幅が減少」と いった極性が反転する表現も正しく解析できてい た一方，数量推論やドメイン知識が必要な文を誤分類する傾向が見られた. シード語彙に「前四半期比〜\%」といった定量表現を加えることを検討する。

## 5 おわりに

本稿では極性と重要度を考慮した決算短信からの 業績要因文の抽出手法を提案した. 今後は極性と重要度の同時学習や重要度の予測精度の改善, そして 構築した分類器とテキスト生成モデルを組み合わせ た決算短信の要約記事の自動生成などを検討する。

## 謝辞

再現実験にご協力いただき，精度改善についてご 助言を頂いた中間康文さんに感謝いたします。

## 参考文献

[1] 坂地泰紀, 和泉潔, 酒井浩之. 金融・経済ドメインを 対象とした言語処理. 自然言語処理, Vol. 27, No. 4, pp. 951-955, 2020.

[2] 西沢裕子, 酒井浩之. 企業の決算短信 pdf からの業績要因の自動抽出. 電子情報通信学会技術研究報告 $=$ IEICE technical report : 信学技報, 2013 .

[3] 酒井浩之, 西沢裕子, 松並祥吾, 坂地泰紀. 企業の決算短信 pdf からの業績要因の抽出. 人工知能学会論文誌, Vol. 30, No. 1, pp. 172-182, 2015.

[4] 中山祐輝, 津々見誠, 村上浩司. 文間の結束性に基づ く決算短信における業績要因文の抽出. 言語処理学会第 25 回年次大会, 2019.

[5] 酒井浩之, 松下和暉, 北島良三. 学習データの自動生成による決算短信からの業績要因文の抽出. 知能と 情報, Vol. 31, No. 2, pp. 653-661, 2019.

[6] 大村和正, 白井穂乃, 石原祥太郎, 澤紀彦. 決算短信か らの業績要因文の抽出に向けた業績発表記事からの 訓練データの生成. 言語処理学会 第 28 回年次大会, 2022.

[7] 酒井浩之, 増山繁. 企業の業績発表記事からの重要業績要因の抽出. 電子情報通信学会論文誌 D, Vol. 96, No. 11, pp. 2866-2870, 2013.

[8]磯沼大, 藤野暢, 浮田純平, 村上遥, 浅谷公威, 森純一郎, 坂田一郎. 業績変動を考慮した決算短信からの重要文抽出. 情報処理学会第 227 回 自然言語処理研究会, 2016 .

[9] 酒井浩之, 坂地泰紀, 山内浩嗣, 町田亮介, 阿部一也.深層学習と拡張手がかり表現による業績要因文への 極性付与. 第 18 回人工知能学会 金融情報学研究会, 2017.

[10] 北森詩織, 酒井浩之, 坂地泰紀. 決算短信 pdf からの 業績予測文の抽出. 電子情報通信学会論文誌 D, Vol. 100, No. 2, pp. 150-161, 2017.

[11] 河村康平, 高野海斗, 酒井浩之. 決算短信からの業績要因を含む業績予測文の抽出. 2021 年度人工知能学会全国大会 (第 35 回), 2021.

[12] Jun Saito, Yugo Murawaki, and Sadao Kurohashi. Minimally Supervised Learning of Affective Events Using Discourse Relations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, 2019.

[13] Sadao Kurohashi and Makoto Nagao. KN Parser: Japanese Dependency/Case Structure Analyzer. In Proceedings of the International Workshop on Sharable Natural Language Resources, pp. 48-55, 1994.

[14] Hirokazu Kiyomaru and Sadao Kurohashi. MinimallySupervised Joint Learning of Event Volitionality and Subject Animacy Classification. In Proceedings of the AAAI Conference on Artificial Intelligence, 2022.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Man- dar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. CoRR, Vol. abs/1907.11692, , 2019.

[16] 高野海斗, 酒井浩之, 北島良三. 有価証券報告書から の事業セグメント付与された業績要因文・業績結果文の抽出. 人工知能学会論文誌, Vol. 34, No. 5, 2019.
表 5 提案手法に従って構築された要因分類器および極性分類器の誤分類例.

 \\

## A 付録

## A. 1 決算短信 PDF からのテキスト抽出

PDF からのテキスト抽出には pdfminer ${ }^{10)}$ を使用し た. 日本語のテキスト抽出に対応しており，ページ ごとにテキストを抽出できる点などが理由である.

本研究が対象とする業績要因文は通常，本文の冒頭に「当四半期決算に関する定性的情報」などと題 したセクションを設けて，その中で記述される.こ の定性的情報を高精度で抽出する (将来予測に関す る記述などのノイズを減らす) ために，以下の手順 でテキスト抽出を行った。

1. 文字列「目次」が含まれるぺージを先頭から順 に探索し，最初に見つかったページより後の ページを取得する。

2. 定性的情報の次に述べられやすい項目を表すフ レーズ11)が含まれるページを先頭から順に探索 し，最初に見つかったページのフレーズ以前の テキストを抽出する。

要は，目次と定性的情報の次に述べられやすい項目 を表すフレーズに挟まれる部分を定性的情報として 抽出している. 評価データの生成元の決算短信 150 件は全て，上記の手法で定性的情報が記述されたテ キストを抽出できることを確認した。

## A. 2 誤分類の実例

提案手法に従って構築された要因分類器および 極性分類器の誤分類例を表 5 に示す.これらを少し 考察すると，例えば 1 番目の誤答例は「末尾の文節 が過去形または体言止めでないならば負例」という ヒューリスティックをモデルが重視していることが 原因だと考えられる. 改善案として，確信度の高い

10) https://github.com/pdfminer/pdfminer.six

11）本研究では，「財政状態に関する」，「財政状態の」，「将来予測情報に関する」，「業績予想に関する」，「今後の見通し」 の 5 つとした.表 6 シード語彙の一覧.

表 7 訓練時のパイパーパラメータ.

正例のデータから文末を現在形にした疑似データを 生成し，これを混ぜて訓練することが挙げられる。

また，4 番目は本文で言及した数量推論などを要 する文の誤答例である．定量表現をもとに費用が全体として増えたことを理解する必要があるため，定性的な極性表現を中心に学習させる現状のアプロー チでは難しいと考えられる. シード語彙の拡張で対応できるか否かを今後調査する。

## A. 3 シード語彙の一覧

極性分類器の学習データの生成時に策定したシー ド語彙の一覧を表 6 に示す.

## A. 4 ハイパーパラメータ

要因分類器および極性分類器の訓練時のハイパー パラメータを表 7 に示す.


# BERT とGATを用いた金融テキストにおける 因果関係を含む文の判定

小林涼太郎 ${ }^{1}$ 坂地泰紀 ${ }^{2}$ 和泉 潔 ${ }^{2}$
1 東京大学工学部 2 東京大学大学院工学系研究科
b2022rkobayashi@socsim.org
\{sakaji, izumi\}@sys.t.u-tokyo.ac.jp

## 概要

金融分野に関わる大量のテキストデータを解析 し，人が認知する原因-結果関係についての記述を 自動的に抽出することで, 経済事象の要因列挙によ る投資判断の支援や，イベントの波及効果分析が可能となる.テキストから因果関係を抽出するタスク においては，因果関係の存在を示す手がかりとなる 表現への注目が有効であることが知られている。し かしながら，手がかり表現が因果関係以外の意味を 持つ場合もあり，それを取り除くために，文に因果関係が含まれているか否かを判定する手法が必要で ある. 本研究では，金融 BERT モデルと，入力文の 依存構造に対して適用される GAT の組み合わせに よる，新しい因果関係判定手法を提案する。

## 1 はじめに

近年, Web 上で入手可能なテキストデータは急速増大しており，自然言語処理技術を用いた，膨大なテキストからの情報抽出に注目が集まってい る [1]. 金融分野においても，決算短信・有価証券報告書・経済新聞記事・アナリストレポートなど投資家が入手可能なテキスト情報は常に溢れており，そ れら構造化されていないテキストデータから価值あ る情報を自動で抽出することのニーズは大きい [2].

金融テキストから情報を抽出し構造化する方法の 1 つとして, 原因-結果の組から構成される因果関係を検出し，表現対として抽出することが考えられ る. 決算短信や経済新聞記事においては, 因果関係 を含む文が頻出する．例えば，「ウクライナ情勢を めぐる地政学的リスクの高まりで, エネルギーや原材料価格が上昇する」といったものだ. こうした因果関係を大量纪収集することができれば，因果関係 ネットワークの構築や因果系列の提示によって，投資判断の支援，ニュースイベントの波及効果の分析 といった応用が可能となる $[3,4]$.

金融テキストからの因果関係抽出记いては，因果関係の存在を示す手がかりとなる表現の利用が有効だ $[5,6]$. 例えば，「レンタカー部門では，外出自粛の影響を受け，減収減益となりました.」という 文の場合，手がかり表現「を受け」を用いて，「外出自粛の影響」という原因表現と「(レンタカー部門 では，）減収減益となりました.」という結果表現を 抽出できる。しかしながら，手がかり表現は因果関係の存在を示すとは限らない。「健康のため，運動 する」という文の場合「「ため,」は原因結果関係の 明示ではなく，「目的や期待の向かうところ」を表 す。決算短信における具体例を表 1 亿示す。

したがって，手がかり表現を含む文に対して，そ の文が因果関係を含むか否かを高い精度で判定す ることが望まれる。本研究では，金融ドメインの 文書で追加で事前学習を行った金融 BERT モデル と，入力文の依存構造木に対して適用される Graph Attention Network (GAT) [7] を用いた判定モデルを提案する。決算短信と新聞記事データから構築した データセットを用いて評価実験を行い，提案手法の 有効性を確認した。

表 1 決算短信における，因果関係を含む文と含まない文 の例. 手がかり表現を太字で示す.

## 因果関係を含む文

-「ウクライナ情勢をめぐる地政学的リスクの高ま りで、エネルギーや原材料価格が上昇するなど、国内経済の先行きは不透明な状況が続きました。」

・「レンタカー部門では、外出自肃の影響を受け、減収減益となりました。」

因果関係を含まない文

・「お客様のニーズに的確に応えるため、ビジネス パートナーとの連携強化を進めてまいりました。」

## 2 関連研究

テキストからの因果関係抽出に関する研究は数多 く存在する. Girju [8] は英語の文書中の因果関係の 存在を示す表現を調査し，それらを手がかりに自動 で因果関係を検出・抽出する手法を提案している。坂地ら [9] は手がかり表現を含む候補文に対して，構文的な素性・意味的な素性を用いた機械学習手法 (SVM) でフィルタリングすることによって，因果関係を含む文を抽出している。

最近の研究では, BERT [10]のような事前学習済み 言語モデルを利用するものが多い. The 4th Financial Narrative Processing Workshop の FinCausal-2020 Shared Task ${ }^{1 ）}$ では，Task1 が英文金融ニュースにおける因果関係を含む文の判定であった. 様々な手法が提案されたが，その多くはBERT に基づくものであ る [11,12,13]. 例えば Ionescu らは，BERT を含む 5 つの事前学習済みの Transformer ベースのモデルを アンサンブルする手法で全体 2 位のパフォーマンス を記録している。

深層学習に基づくモデルの学習では，一般に大規模な教師データセット作成のためのコストがかかる が，事前学習済み言語モデルの利点は, 少数のデー タでファインチューニングして精度の高いモデルを 獲得できることである。一方で，関係抽出タスクに おいて, 文の依存構造情報の利用が有用であること が知られている [14]. 最近では, Graph Convolutional Network (GCN) [15] や GAT のようなグラフベースの モデルで依存木の構造を学習する手法が多く提案さ れている [16,17]. 本研究では, 事前学習済み言語モ デルとグラフベースのモデルの相補的な強みを活用 することで，金融テキストから因果関係を抽出する ための新しい因果関係文の判定モデルを提案する.

## 3 提案モデル

提案するモデルは, 金融ドメインの文書で追加事前学習を行った金融 BERT モデルと, 入力文のトークンの依存構造 (係り受けの構造) に対 して適用されるGATにより構成される. 本節で は, Graph Attention Network (GAT) の入出力につい て以下の表記を用いる. GAT において attention を 実現する graph attention layer は，グラフ構造および ノード特徵集合 $\boldsymbol{h}^{(l)}=\left.\{\boldsymbol{h}_{1}^{(l)}, \boldsymbol{h}_{2}^{(l)} \ldots, \boldsymbol{h}_{|V|}^{(l)}\right.\}, \boldsymbol{h}_{i}^{(l)} \in \mathbb{R}^{F}$ を入力として，新たなノード特徴集合 $\boldsymbol{h}^{(l+1)}=$

1) http://wp.lancs.ac.uk/cfie/fincausal2020/

図1提案モデルの全体図.

$\left.\{\boldsymbol{h}_{1}^{(l+1)}, \boldsymbol{h}_{2}^{(l+1)} \ldots, \boldsymbol{h}_{|V|}^{(l+1)}\right.\}, \quad \boldsymbol{h}_{i}^{(l+1)} \in \mathbb{R}^{F^{\prime}}$ を出力する. ここで $\boldsymbol{h}_{i}^{(l)}$ はノード $i$ の $l$ 層目の潜在表現を表す. また，|V|はノード数， $F, F^{\prime}$ は隠れ層の次元である.提案モデルの概要は図 1 に示す通りである。まず 入力文はトークン分割され，金融 BERT モデルに入力される．金融 BERT の最終層で得られるトークン 毎の埋め込み表現は, GAT のノード特徴集合の初期値 $\boldsymbol{h}^{(0)}$ となる. 各ノード (トークン) の特徴量は, GAT の各層で, 依存構造木上の近傍となるノード $N_{i}$ の特徴を用いて更新される. $L$ 層目の出力のノー ド特徴集合 $\boldsymbol{h}^{(L)}$ は， skip 接続で $\boldsymbol{h}^{(0)}$ が加算された 後に，全体の平均を取ることで読み出される。最後 に，線形層を適用することによって， 入力文が因果関係を含むか否かの予測を行う。

## 3.1 金融 BERT モデル

汎用言語コーパスで作成した事前学習モデルに，別のコーパスで事前学習を追加することを追加事前
学習と呼ぶ. 対象タスクのドメイン周辺のコーパス で追加事前学習を行うことで，タスクでの精度向上 が期待できる [18]. 本研究では, 日本語の汎用言語 コーパスを用いて事前学習された BERT モデルに，金融分野のテキストを用いて追加事前学習を行うこ とで構築される金融 BERT モデルを用いる.

## 3.2 Graph Attention Network

GAT [7] の $l$ 層目におけるノード $i$ の近傍ノード $N_{i}$ についてのメッセージ集約関数 $\boldsymbol{m}_{N_{i}}^{(l)}$ は, 次式で 表せる.

$
\boldsymbol{m}_{N_{i}}^{(l)}=\sum_{j \in N_{i}} \alpha_{i j} \boldsymbol{h}_{j}^{(l)}
$

ここで，attention スコアは以下で計算される.

$
\alpha_{i j}=\frac{e^{\operatorname{LeakyReLU}\left(\boldsymbol{a}^{T}\left[W^{(l)} \boldsymbol{h}_{i}^{(l)} \| W^{(l)} \boldsymbol{h}_{j}^{(l)}\right]\right)}}{\sum_{k \in N_{i}} e^{\operatorname{LeakyReLU}\left(\boldsymbol{a}^{T}\left[W^{(l)} \boldsymbol{h}_{i}^{(l)} \| W^{(l)} \boldsymbol{h}_{k}^{(l)}\right]\right)}}
$

$W^{(l)} \in \mathbb{R}^{F^{\prime} \times F}$ は各ノードの重み行列, $\boldsymbol{a} \in \mathbb{R}^{2 F^{\prime}}$ は重 みべクトルである。. $T$ は転置を，\|は連結を表す。 ノード $i$ の潜在表現は，次式のように更新される.

$
\boldsymbol{h}_{i}^{(l+1)}=\sigma\left(W^{(l)} \boldsymbol{m}_{N_{i}}^{(l)}\right)
$

ただし， $\sigma$ は活性化関数である.

本研究では，文内のトークンをノード，2つの トークン間の依存関係をエッジとするグラフ構造 をGATの入力とする. 各ノード特徴は, 金融 BERT モデルの出力として得られるトークン毎の埋め込 み表現で初期化される. 係り受け構造の解析は, 日本語以外の言語への拡張性を考慮して, Universal Dependencies (UD) [19] に基づいて行う.

(式 3)のように, graph attention layer では距離 1 の 近傍ノード $N_{i}$ のみを考慮して潜在表現を更新する。 したがって，L層に重ねた GATを適用することで，各トークンについて依存構造木上の距離 $L$ 以内の近傍を明示的に考慮した潜在表現を得ることができ る.このように構文情報を明示的に考慮し情報を集約する GAT を接続することによって，より精度高 く因果関係の有無を判定できることが期待される.

## 4 実験

## 4.1 データセットと前処理

データセットを作成して評価実験を行った. 用い たテキストデータは，決算短信・日本経済新聞記事 の 2 種類である。決算短信データは，適時開示情報表 2 因果関係の存在を示す手がかり表現. [6] に基づく.

閲覧サービズ ${ }^{2}$ から PDF 形式で取得した. 2012 年 から 2022 年までに企業が発行した決算短信から無作為に抽出し, PDF 中の「経営成績に関する定性的情報」が記載された部分をテキストデータに変換 して使用した. 日経新聞記事データは 1995 年から 2005 年に発行された記事から無作為に抽出して使用した. 各テキストデータは文単位で分割し, 因果関係の存在を示す手がかり表現を含む文のみを使用 した. 本研究では, Sakaji らの研究 [6] で獲得された 手がかり表現を用いた. それらを表 2 に示す.

抽出された文に対してアノテーションを行った.決算短信データについては， 1 人の評価者が各文に 対して因果関係を含むか否かを示すタグを付与し た. 日経新聞記事データについては, 5 人の評価者 がタグを付与し， 3 人以上が因果関係ありと判断し たものを正例・そうでないものを負例とした．結果 として, 決算短信データでは 1958 件 (うち 1429 件 で因果関係あり)，日経新聞記事データでは 2045 件 (うち 898 件で因果関係あり) の教師データを得た.

## 4.2 実験設定

金融 BERT モデルは，Suzuki ら [20] が公開する金融ドメインの文書で追加事前学習された BERT モデ ル3）を利用した. このモデルでは, 東北大学の乾研究室が公開する BERT モデル (Wikipedia 日本語記事 を学習 $)^{4}$ に対して, 決算短信・有価証券報告書の 2 種類の金融コーパスで追加事前学習を行っている. graph attention layer は 2 層に重ねて適用した。つ まり，依存構造木上の距離 2 以内の近傍を明示的に 考慮してノード特徴が更新される. また, 学習の安定性のため 2 ヘッドの multi-head attention を用いた.

表 3 評価実験の結果. Precision, Recall, F1 の計算方法はマクロである.

入力文の依存構造の解析には，UD に基づいて設計された NLP フレームワークである $\mathrm{spaCy}^{5}$ )を用い た. 2 つのトークン間における，主辞から修飾語へ の方向を持つ依存関係をエッジとするグラフ構造を GATの入力とした.

提案モデルの有効性を示すために，以下の手法を 比較手法として実験を行った.

BERT Wikipedia の日本語記事を用いて学習され た BERT モデル4)の最終層の出力のうち, 最初の トークン [CLS] に対応する出力に対して線形変換を 適用することで予測を行う。

金融 BERT金融 BERT モデル3)の最終層の出力 のうち，最初のトークン [CLS] に対応する出力に対 して線形変換を適用することで予測を行う.

BERT+GAT 提案モデルの金融 $\mathrm{BERT}^{3}$ モ モジュー ルを $\mathrm{BERT}^{4}$ に差し替えたモデルで予測を行う.

各データセットにおいて，64\%を学習データに， $16 \% を$ 検証データに，20\%をテストデータに割り 当てた. 学習データ内で 5fold の交差検証を行い,各 fold で検証スコアが最良の時のテストデータに 対するスコアを記録し，結果はその平均値を用い た. なお，全ての手法において，BERT モデルは Transformer 層の上部一層のみをファインチューニン グの対象とした。

## 4.3 結果と考察

実験結果を表 3 に示す。提案モデルである「金融 BERT+GAT」は，すべての指標・データセットで 3 つの比較手法の性能を上回った. また,「BERT」と $\lceil\mathrm{BERT}+\mathrm{GAT}\lrcorner, 「$ 金融 BERT」と「金融 BERT+GAT」 を比較すると，いずれのデータセットでも，すべて の指標で GAT を用いる手法の方が精度が高かった。 この結果は，GATを用いることで明示的に構文情報 を考慮する提案手法の有効性を示唆する。決算短信データセットにおいて，提案手法を用い ることによる，ベースライン手法 (「BERT」) から の精度向上が顕著であった. また，データセット間 で「金融 BERT」と「BERT+GAT」の結果を比較す ると，決算短信データセットでは，日経新聞記事の 場合よりも，金融 BERTを利用することによる性能 の向上が大きかった. このような結果の理由として は，金融 BERT の追加事前学習で用いる金融テキス トコーパス中に決算短信が含まれていることや，決算短信における記述がニュース記事よりも専門度が 高いものであるために，追加事前学習で金融特有の 専門単語を反映することがとくに有効であったとい うことが考えられる．全ての手法において日経新聞記事データの方が予測精度が高かったことからも，汎用言語コーパスで事前学習を行った BERT モデル の出力をそのまま利用する手法では，決算短信のよ うな比較的専門性の高い文書中から因果関係を抽出 することは難しいと示唆される。 そのような場合で も，金融 BERT とGAT を用いる提案手法によって，抽出精度を大きく向上できることが確認された。

## 5 まとめ

本研究では，事前学習済み言語モデルとグラフ ベースのモデルの相補的な強みを活用することで，金融テキストから因果関係を抽出するための，新し い因果関係文判定モデルを構築した. 金融分野のテ キストから構築したデータセットを用いて評価実験 を行うことで，提案手法の有効性が確認された．提案手法により, 金融分野のテキスト中から，より精度高く因果関係を抽出することが可能となる。

今後の課題としては，英語や中国語において同様 のデータセットを構築し，多言語に対応可能な判定 モデルを構築することなどを考える。

## 謝辞

本研究は JSPS 科研費 JP21K12010, JST未来社会創

造事業 JPMJMI20B1，及び JST さきがけ JPMJPR2267

の助成を受けたものです.

## 参考文献

[1] Jim Cowie and Wendy Lehnert. Information extraction. Commun ACM, Vol. 39, No. 1, pp. 80-91, 1996.

[2] B. Shravan Kumar and Vadlamani Ravi. A survey of the applications of text mining in financial domain. Knowledge-Based Systems, Vol. 114, pp. 128-147, 2016

[3] Kiyoshi Izumi and Hiroki Sakaji. Economic causal-chain search using text mining technology. In Proceedings of the 1st Workshop on Financial Technology and Natural Language Processing, 2020.

[4] Kiyoshi Izumi, Shintaro Suda, and Hiroki Sakaji. Economic news impact analysis using causal-chain search from textual data. In Proceedings of the AAAI-20 Workshop on Knowledge Discovery from Unstructured Data in Financial Services, 2020.

[5] Christopher S.G. Khoo, Jaklin Kornfilt, Robert N. Oddy, and Sung H. Myaeng. Automatic extraction of cause-effect information from newspaper text without knowledge-based inferencing. Literary and Linguistic Computing, Vol. 13, No. 4, pp. 177-186, 1998.

[6] Hiroki Sakaji, Satoshi Sekine, and Shigeru Masuyama. Extracting causal knowledge using clue phrases and syntactic patterns. In Proceedings of the 7th International Conference on Practical Aspects of Knowledge Management, 2008.

[7] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph attention networks. In Proceedings of the 6th International Conference on Learning Representations, 2018.

[8] Roxana Girju. Automatic detection of causal relations for question answering. In Proceedings of the ACL 2003 workshop on Multilingual summarization and question answering, 2003.

[9] 坂地泰紀, 増山繁. 新聞記事からの因果関係を含む文の抽出手法. 電子情報通信学会論文誌, Vol. 94, No. 8, pp. 1496-1506, 2011.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[11] Sarthak Gupta. Finlp at fincausal 2020 task 1: Mixture of berts for causal sentence identification in financial texts. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[12] Denis Gordeev, Adis Davletov, Alexey Rey, and Nikolay Arefiev.
LIORI at the FinCausal 2020 shared task. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[13] Marius Ionescu, Andrei-Marius Avram, George-Andrei Dima, Dumitru-Clementin Cercel, and Mihai Dascalu. UPB at FinCausal2020, tasks 1 \& 2: Causality analysis in financial documents using pretrained language models. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[14] Aron Culotta and Jeffrey Sorensen. Dependency tree kernels for relation extraction. In Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics, 2004.

[15] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[16] Yuhao Zhang, Peng Qi, and Christopher D. Manning. Graph convolution over pruned dependency trees improves relation extraction. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[17] Jie Yang, Soyeon Caren Han, and Josiah Poon. A survey on extraction of causal relations from natural language text. Knowledge and Information Systems, Vol. 64, No. 5, pp. 1161-1186, 2021.

[18] Suchin Gururangan, Ana Marasovic, Swabha Swayamdi-pta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020

[19] Ryan McDonald, Joakim Nivre, Yvonne Quirmbach-Brundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2013.

[20] Masahiro Suzuki, Hiroki Sakaji, Masanori Hirano, and Kiyoshi Izumi. Constructing and analyzing domain-specific language model for financial text mining. Information Processing and Management, Vol. 60, No. 2, p. 103194, 2023.


# BERT と因果抽出を用いた気候変動ナラティブの可視化/指数化

金田規靖 1 坂地 泰紀 ${ }^{2}$
${ }^{1}$ 日本銀行 2 東京大学大学院工学系研究科
noriyasu.kaneda@boj.or.jp
sakaji@sys.t.u-tokyo.ac.jp

## 概要

気候変動問題は，グローバルな課題として国内外 で積極的に議論されており，気候変動がマクロ経済・物価・市場に与える影響に関する経済ファイナ ンス研究が盛んに行われてきている。例えば，自然災害の激甚化や政府の環境規制強化が，企業や金融機関の新たな経営・投資リスクになるとの見方があ る。そこで，我々は新聞記事データを分析し，気候変動に関する因果（原因＝結果のつながりく気候変動ナラティブと呼称 $>)$ の抽出，指数化，可視化を 行う手法を提案する。近年の気候変動ナラティブを みると，企業や金融機関の認識・行動変化が始まっ ていること，気候変動とマクロ経済・市場・金融政策との連関が出現している可能性が示唆された.

## 1 はじめに

気候変動問題は，グローバルな課題として国内外 で積極的に議論されている. たとえば，地球温暖化 に伴う異常気象や自然災害の激甚化は, 企業の経済活動に損失を生じさせ得る（物理的リスク）.また，環境規制強化といった政府の気候変動政策の推進 は，企業や金融機関の経営リスクや投資リスクにな り得る（移行リスク）．企業，金融機関などの様々 な経済主体は，気候変動リスクへの対応を始めてお り，投資行動の変化や業績パフォーマンスへの影響 が生じ始めているとの見方がある。テキスト分析か ら，気候変動ニュースの報道数，主要トピックの移 り変わり，トピック間のつながりを把握すること は，政府，企業，市場などが気候変動をめぐる議論 や環境規制強化をどのように受容し，対応を進めて きたかを理解することにつながる. 本節では，関連研究を紹介し，本研究の位置付けを説明する。

## 1.1 関連研究

近年，気候変動がマクロ経済・物価・市場に与え る影響についての経済ファイナンス研究が盛んに行
われてきている。一つのアプローチとして，気候変動ニュースのテキスト分析が用いられており, 現時点では，伝統的な自然言語処理手法が主流となって いる。例えば，新聞記事データを用いて，コサイン 類似度やLDAを用いて，マクロの気候変動ニュー ス指数を作成し，気候変動に関する報道の増加（市場の気候変動リスクの認識変化）と，米国や日本の 株式リターンとの関係を害証する研究がみられてい る (Engle et al.[1] , Kaneda et al.[2]). また, Fueki et al.[3] は, 気候変動ニュースの増加は, 将来の不確実性の高まりを示しており， $\mathrm{CO} 2$ 排出量の多いブ ラウン企業の設備投資を減少させる可能性を示し た. 足もとでは，BERT といった深層学習べースの 言語モデルの利用がみられ始めており，企業決算や 特許情報といった大容量のテキストデータの分析に 活用されている．BERTを用いて，企業の気候変動 リスクに関する開示文書を分析した研究としては,例えば，Bingler et al.[4] は，企業の気候変動リスク への対応状況を情報抽出し，スコア評価している. Kölbel et al.[5] は, 企業の物理的リスク・移行リスク をそれぞれ指数化し，個社の CDS スプレッドとの 関係を実証している。

## 1.2 本研究の位置付け

本研究は，2000 年 1 月から 2021 年 11 月までの日本経済新聞（朝刊，平日）における気候変動ニュー ス（約 1 万 7 千記事）を用いて，企業関連ほか，国際会議，国内政策，金融機関などの様々な気候変動関連トピックを分析対象としている。本研究の新規性 は，BERT および因果抽出により得られた二つの分析結果を組み合わせることで，異なるトピック間の 因果（原因＝結果のつながり）を抽出している点に ある。テキストに含まれる因果は，人々の将来予想 や認識変化を捉えており, 経済ファイナンスに関す る新たな知見が得られる可能性がある. 本研究は, Shiller[6] の主張（人々の物語が経済を動かす）にお ける経済ナラティブを具体化する一つの手法になり
得ると考えられ, 本稿では, 得られた因果を「経済 ナラティブ」と呼称し, 気候変動に関する経済ナラ ティブ（気候変動ナラティブ）の抽出を試みている。

## 2 気候変動ナラティブの抽出

本節では，本研究で提案する分析ワークフローに ついて説明を行う. 我々の分析ワークフローでは,技術として BERT と因果抽出を利用している. 気候変動ナラティブを抽出するための分析ワークフロー は以下の通りである。

図 1 経済ナラティブ抽出・指数化/可視化の全体図

Step 1 BERT を用いて, 気候変動に関するトピッ クを判定する分類モデルを学習し，新聞記事に 含まれるトピックを判定する（図1の青矢印）.具体的には, (i) 日本経済新聞記事にデフォルト で付与されている分類タグを用いて，各トピッ クの教師データを作成する. 分類タグは，経済，政治，政策，企業，国際，マーケットに関連する 40 トピックを選択した. (ii) 教師データ を用いて，BERTをファイン・チューニングし， 40 個の分類モデルを構築する. (iii) 各トピック 分類モデルを用いて, 各気候変動ニュース記事 の段落が，どのトピックに関連しているかを判定し，判定結果を関連段落 DB に記録する。

Step 2 各新聞記事に因果関係が含まれているか否 かを判定し（BERTにより処理），因果抽出を用 いて，原因＝結果の論理関係を表す表現対を抽出後，因果情報を因果 DB に記録する（図 1 の 橙矢印). 因果抽出は, Sakaji et al.[7] で提案さ れた手法であり，係り受け解析に基づく構文パ ターンを利用し，因果関係が含まれている因果文から原因・結果表現を抽出することがで きる.

Step 3 Step 1 の BERTによる判定結果と, Step 2 の因果情報を組み合わせ，異なる二つのトピック 間の気候変動ナラティブを抽出する（図 1 中央 の紫ボックス). 抽出時には，過去のニュース は将来のニュースに波及するという時間制約を 仮定し，過去の原因テキストと現在の結果テ キストを結合する. 図 2 は，原因因果を環境規制，結果因果を企業戦略とした場合の結合方法 の例を示している。企業戦略における原因テキ ストは，企業戦略の変化を引き起こした背景情報，環境規制における結果のテキストは，環境規制強化を示す情報である.これらのテキスト のコサイン類似度が高い組み合わせを，原因=結果のつながりのある因果とみなして結合し，気候変動ナラティブを得る. 具体的に得られた 事例を図 3 に示す.

Step 4 Step 3 で得られた経済ナラティブを指数化 する。また，特に重要な動きを示す経済ナラ ティブ指数に絞り，ネットワーク関連図として 可視化する (図 1 の紫矢印). 手法の詳細は, 後述する.

図 2 環境規制＝企業戦略の結合方法の例

図 3 環境規制＝企業戦略の気候変動ナラティブの具体例

## 3 評価実験と指数化/可視化手法

本節では，BERTによる分類精度の評価，指数化 および可視化の手法について説明する.

## 3.1 評価実験

数值例として，表 1 にオリンピック関連の文章を 判定するモデルの分類精度を示している. ここで は，日経新聞記事のタグを対象に，BERT の分類性能を確認するため, 従来手法として線形回帰やラ ンダムフォレスト，SVMを用いて分類実験を行っ た. 実験結果より, BERT の判定モデルは, 従来の 機械学習手法を上回る精度を示している。一般的 に，BERT は，トピック分類などで高精度を示すこ とが知られているが，新聞記事のトピック判定につ いても適切に行えるとみられる。

表 1 「オリンピック」判定モデルの分類精度. RF はラ ンダムフォレストを表す.

## 3.2 指数化/可視化の手法

BERT と因果抽出を用いると，トピック別の気候変動に関する因果を含む気候変動ナラティブが時点毎に得られることを示した。これらをトピック別の ニュース指数に変換すれば，経済的解釈が容易にな るほか, 先行研究と同様に, ニュース指標と金融経済データを用いた実証研究にも応用できる.

## 3.2.1 気候変動トピックベース指数

まず，BERT の判定結果のみを用いて，任意のト ピックに関連すると判定された段落数をカウントし た気候変動トピックベース指数を算出する. BERT を用いた先行研究と同様に，あるトピックを含む 文章の出現回数を指数化している. 図 4 によれば, 2008-2010 年頃は, 国際議論, 国内環境規制に関す るトピックが大半である一方, 2018 年以降は, 企業戦略やグリーンファイナンスなどに関するトピック も併せて増加している. 当指数は, 時点毎の主要卜 ピックやトピック間の相関を把握することができる が，トピック別の独立した指数であるため，トピッ
ク間の因果については勘案されていない.

図 4 気候変動トピックベース指数（段落出現数）

## 3.2.2 気候変動ナラティブ指数

気候変動関連トピックの因果チェーンを定量化し た気候変動ナラティブ指数は，以下の通り算出され る. 原因因果ベクトル $\left(\vec{i}_{t-d}\right)<t$ 時点から $d$ 日前の 過去情報 $>$ と結果因果ベクトル $\left(\vec{j}_{t}\right)<t$ 時点の現在情報＞の因果チェーンのコサイン類似度が高い組 み合わせを集計し，式 1 を用いて月次指数を作成す る. 最新のニュースほど過去とのつながりが増える バイアスを除くため，古い因果の重みを時間経過に 伴い減価させている（ロジスティック関数に従い, 5 年で重みが半減). 図 5 は, 原因因果を国際会議と した時の結果トピック別の気候変動ナラティブ指数 を例示している。

index $\_$monthly $\_m=\sum_{j=0}^{M} \sum_{i=0}^{L(j)} \frac{1}{1+a e^{b d}} \cos \left(\vec{i}_{t-d} \cdot \vec{j}_{t}\right)$

ここで， $M$ は $m$ 月に含まれる因果チェーンの集合， $L(j)$ は結果因果 $\vec{j}$ と接続している原因因果 $\vec{i}$ (因果 チェーン)の集合， $\cos \left(\vec{i}_{t-d} \cdot \vec{j}_{t}\right)$ は原因因果 $\vec{i}$ と結果因果 $\vec{j}$ の BERT に基づくコサイン類似度, $t-d$ は結果因果につながる原因因果の観測時点 $(d>0), t$ は $m$ 月に含まれる結果因果の観測時点， $d$ は原因因果 と結果因果の時点差 (日数)をそれぞれ表す. また， ロジスティック関数のパラメーター $a, b$ はニュース の減衰期間に応じて設定している.

## 3.3 ネットワーク関連図としての可視化

ネットワーク関連図とは，気候変動ニュースを構成するトピック同士がどのように接続されている かを可視化するものである．トピック別の気候変動 ナラティブ指数を組み合わせることで，気候変動 ニュースにおけるトピック間の因果や連関（双方向 の因果）の全体像を明らかにしている（詳細は次節

図 5 気候変動ナラティブ指数

や付録を参照）．可視化の結果を解釈する際には，経済ファイナンス理論と整合的な動きをしているか という視点が重要である. 他方, 思わぬ気候変動ナ ラティブが出現した場合, 従来手法では明らかでな かった新たなつながりの発生を示唆している可能性 に留意する必要がある.

## 4 考察

本節では，気候変動トピックベース指数，気候変動ナラティブ指数，ネットワーク関連図を基に，気候変動ニュースの経済的解釈を行った. 主要なポイ ントは以下の通りである。

（1）推計期間を通じて，気候変動関連の国際会議や国際合意といったイベント発生時に指数が上昇する傾向がある. 例えば，2008 年洞爺湖サミッ ト，2010 年コペンハーゲン合意，2015 年パリ協定， 2021 年米国のパリ協定への復帰などがあげられる.国際的な気候変動議論と, 政府による脱炭素・グ リーンエネルギーに関する目標設定は，相互に連動 しつつ，気候変動ニュースの主要トピックであっ た. 同時に，こうした国内外の政策議論は，他の経済主体の行動・認識変化のきっかけになってきたと みられる。

（2） 2015 年に，パリ協定に「 $2{ }^{\circ} \mathrm{C}$ 目標」が合意 されて以降，各国の気候変動政策は，大局的，抽象的な政策議論という段階から，環境規制の強化や政策の検討の段階に移行してきた. こうした動きを踏 まえ，2018 年以降は，国内の環境政策やエネルギー 政策の強化から企業関連（事業戦略の策定や設備投資など）に対する気候変動ナラティブが，顕著に上昇している. これは，将来の環境規制の強化（移行 リスクの高まり）を見据えた企業の認識・行動変化 が始まっていることを示唆している。一方，現時点 では，気候変動と業績パフォーマンスに関する気候変動ナラティブは相対的に小さいが，長期的には，移行リスクへの対応状況が, 企業業績や株価に影響 する可能性を念頭に置く必要がある. また，気候変動政策と市場の気候変動ナラティブに連関がみられ 始めている. 近年の ESG 投資拡大や金融機関の気候変動対応の進捗を捉えていると考えられる。

（3）２018 年以降は，気候変動と金融政策・物価・景況感の間の気候変動ナラティブに連関が出現して いる. 国際的な気候変動政策の進捗や，産業横断的 な気候変動対応が，マクロ経済・物価の変動を引き 起こす新たなチャネルになりつつある可能性があ ると推測することができる．また，気候変動の経済 ファイナンス研究の必要性や, 中央銀行の政策対応 の可能性を議論する動きが話題となり, 関連報道の 増加を示していると考えられる。

（4 ）近年，自然災害の激甚化や頻度増加に関連す る気候変動ナラティブが強まってきている. 自然災害が，経済活動に与える悪影響が認識され，企業経営や規制当局にとっての新たな論点・課題として受 け止められている可能性を示している。同時に，将来，自然災害が激甚化する可能性（物理的リスク） を緩和するための環境規制強化やグリーンエネル ギー政策を推進する動きを映じているとみられる。

## 5 おわりに

本稿では，BERT と因果抽出を用いた気候変動ナ ラティブの抽出，指数化，可視化を行う手法を提案した. 具体的には，「現在のニュースが，過去の ニュースからどの程度影響を受けているか」を定量化し，気候変動ナラティブを指数化する手法を示し た. さらに，主要な気候変動ナラティブをネット ワーク関連図として可視化した. 気候変動ナラティ ブは，気候変動に関する議論が進捗し，環境規制が 具体化される中，企業などの認識・行動変化が始 まっていることを示唆している. また，気候変動と マクロ経済・市場・金融政策との間に連関が出現し ており，気候変動が金融経済に影響を与えている可能性が示唆された。

今後の課題として, 気候変動ナラティブが統計的因果を有するか（グレンジャー因果，構造的因果な ど），金融経済データの実証研究を通じて，気候変動ナラティブ指数に含まれる情報を評価することが 考えられる．また，気候変動以外の金融経済トピッ ク (物価, 景気変動など）の経済ナラティブを作成 し, 有益な示唆が得られるかも検討していきたい.

## 謝辞

本研究は，JSPS 科研費（JP21K12010）と，JST さ

きがけ（JPMJPR2267）の支援を受けたものです.

## 参考文献

[1] Robert F Engle, Stefano Giglio, Bryan Kelly, Heebum Lee, and Johannes Stroebel. Hedging climate change news. The Review of Financial Studies, Vol. 33, No. 3, pp. 11841216, 2020

[2] Kaneda Noriyasu, Kimata Tomonori, Hiraki Kazuhiro, and Matsue Tomohiro. Climate change news indices: Are they reflected in japanese stock prices? IMES Discussion Paper Series, 2023(forthcoming).

[3] Fueki Takuji, Shinohara Takeshi, and Shintani Mototsugu. Climate-change risks and the transmission of monetary policy. the 2022 Annual Meeting of the Central Bank Research Association, 2022.

[4] Julia Anna Bingler, Mathias Kraus, Markus Leippold, and Nicolas Webersinke. Cheap talk and cherry-picking: What climatebert has to say on corporate climate risk disclosures. Finance Research Letters, Vol. 47, p. 102776, 2022.

[5] Julian F Kölbel, Markus Leippold, Jordy Rillaerts, and Qian Wang. Ask bert: How regulatory disclosure of transition and physical climate risks affects the cds term structure. Swiss Finance Institute Research Paper, No. 21-19, 2020.

[6] Robert J. Shiller. Narrative Economics: How Stories Go Viral \& Drive Major Economic Events. Princeton: Princeton University Press, 2019.

[7] Hiroki Sakaji, Satoshi Sekine, and Shigeru Masuyama. Extracting causal knowledge using clue phrases and syntactic patterns. In International Conference on Practical Aspects of Knowledge Management, pp. 111-122. Springer, 2008.

## A 参考情報

本研究の手法は，任意の異なる 2 トピックを選択し，月次の気候変動ナラティブ指数を算出することができる．今回 は，日本経済新聞記事，分類タグから経済，政治，政策，企業，国際，市場に関連する40トピックを選び，全ての組み 合わせを計算した（原因と結果の順序を考慮，40トピック× 39 トピック= 1560 通り). 様々なトピック間の気候変動ナ ラティブ指数が総じて大きな上昇を示している 2018 年から 2021 年までの期間に注目する。気候変動ナラティブ指数の 水準が大きく高まっている組み合わせ（気候変動ニュースにおいて，原因トピック＝結果トピックのつながりが強まっ ている組み合わせ）は，主に国際会議，国内政策，企業関連，金融政策・マクロ経済といったカテゴリーに関連している ことが分かった. 図 6 は，各カテゴリーのネットワーク関連図を示しており，カテゴリー間を繋いでいる矢印の大きさ は，気候変動ナラティブ指数の強さに概ね対応している. 矢印内の数値は，各カテゴリーに属する各トピックの指数を 集約し，算出した平均值である。近年，顕著になっている気候変動ナラティブの特徴は，以下の通りである。

（1）気候変動政策に関する国際議論から環境政策・エネルギー政策に関する国内政策へのつながり，及び，国内政策 から国際議論へのフィードバックがみられる。気候変動対応が進捗するにつれて，国内政策の具体化や強化が行われた， または，国内政策議論が国際会議において検討される動きを映じているとみられる.

原因：国際会議（グローバル） $\Rightarrow$ 結果：国内環境規制・エネルギー政策（マクロ）

原因：国内環境規制・エネルギー政策（マクロ）７結果：国際会議（グローバル）<フィードバック>

（2）気候変動政策に関する国際議論や国内政策から一部の企業関連トピックへのつながりが強まっている．国内の環境政策・エネルギー政策の強化を受け，設備投資や事業戦略などの企業行動の変化が起きており，経営課題として取り込 む動きが始まっている可能性を示唆している．ただし現時点では，気候変動と業績パフォーマンス (業績，財務，賃金な ど) との関連は相対的に小さいことも分かった.

原因：国内環境規制・エネルギー政策（マクロ）７結果：企業の事業戦略，設備投資，サプライチェーン（ミクロ）原因：国内環境規制・エネルギー政策（マクロ） $\Rightarrow$ 結果：企業収益・財務，市場（ミクロ）

（3）国内外の気候変動政策対応や議論と金融政策・物価・景況感の連関が出現している．気候変動が金融・経済・物価に与える影響に関する議論や気候変動に関する調査研究の増加，金融政策による政策対応の可能性や対応策の検討を 反映している可能性が示唆される.

原因：国際会議（グローバル），国内環境規制・エネルギー政策（マクロ） $\Rightarrow$ 結果 : 金融政策，物価，景況感原因 : 金融政策，物価，景況感 $\Rightarrow$ 結果 : 国際会議（グローバル），国内環境規制・エネルギー政策（マクロ）

図 6 気候変動ナラティブの全体像 (2018-2021 年)


# 自己回帰型言語モデルを活用した Sentiment Interpretable Neural Network の構築

伊藤友貴 ${ }^{1}$
1 三井物産株式会社
Tomok.ito@mitsui.com

## 概要

深層学習モデルは強力なモデルである一方，その ブラックボックス性が故に説明責任を伴う場面では 利用できない場合が多い。このような問題を解決 するアプローチの一つとして，解釈可能なニュー ラルネットワークモデルの構築が考えられる.こ のような背景のもと，本研究では「感情分類」の夕 スクを対象に，予測結果を説明可能かつその予測性能も高いニューラルネットワークの構築を目指 す。本目的達成のため，近年提案された，単語レべ ルでのセンチメントに基づき予測結果を説明可能 ななニューラルネットワーク Sentiment Interpretable Neural Network へ自己回帰型学習言語モデルを導入 し，予測性能を解釈性を保ちつつ向上させることを 試みる。景気ウォッチャー調査に関する日本語デー タを用いて本手法の性能を検討した結果，本研究に て提案されたアプローチを取ることで，説明性を担保しつつもべースライン手法に比べ予測性能が高い ニューラルネットワークを構築することができた.

## 1 はじめに

深層学習モデルは強力なモデルである一方，その ブラックボックス性が故に説明責任を伴う場面では 利用できない場合が多い。このような問題を解決す るアプローチの一つとして，解釈可能なニューラル ネットワークモデルの構築が考えられる。このよう な背景のもと, 本研究では「感情分類」のタスクを 対象に，予測結果を説明可能かつその予測性能も高 いニューラルネットワークの構築を目指す.

解釈可能なニューラルネットワークの構築に関 する研究は近年，いくつか提案されているが，そ の中でも最近提案された手法の一つが， Sentiment Interoratable Neural Network (SINN) である。本ニュー ラルネットワークを活用することで，図 1 のよう
に単語レベルでのセンチメントに基づき予測結果 を説明可能となる．SINN を構築するには，専門用語に関する極性辞書をなニューラルネットワー ク Sentiment Interoratable Neural Network Model を構築 する手法 Lexical Initialization Learning (LEXIL) [2] や Joint Sentiment Propagation 学習 [1]. 本手法を利用す ることにより，センチメント分析の結果を各単語の オリジナルセンチメント，極性反転，及び大域的な 重要度に分解する形で説明可能なニューラルネット ワークを構築することが可能となる。

本学習手法は対象タスクが感情分類であれば，一定の汎用性が見込まれる一方で，先行研究では比較的層の浅いネットワークにしか適用できておらず， GPT を始めとする，近年提案されている大規模言語 モデルに適用できるかどうかは不明瞭である。ま た，SINN では LSTM 及び Self Attention を用いた文脈層により，極性反転，及び大域的な重要度をモデ リングしており，結果，Self Attention の層が双方向 の情報を活用しており，極性反転が右側の文脈から 起きるのか左側の文脈から起きるのかを LSTM の層 にて捉えることができても，その強弱が左右どちら の文脈から引き起こすのかについて観測することは 難しい。

このような背景のもと，本研究では，SINNへ 自己回帰型の学習済み大規模言語モデルを組み込 み，Joint Sentiment Propagation 学習を用いて自然な 形で学習させることで，(1) ニューラルネットワー クの予測性能向上，及び (2) 各単語のセンチメント への影響をその前後で分離させ，可視化すること を試みる。学習済み大規模言語モデルを利用する ことで性能の向上が期待され，また，自己回帰型 のモデルを採用することで各単語のセンチメント への影響をその前後で分離させることができるこ とが期待される．提案手法では，まず，学習済み 大規模言語モデルを使えるようにするために SINN

[2]を LSTM ベースから GPT-2[3] ベースへ切り替え る. さらに, Global Word-Level Context 層には GPT-2 の Decoder 層の Attention をそのまま活用し, Global Word-Level Context 層の計算時には前の情報しか利用できない形にする.このようなモデルの構造を採用することで，各単語のセンチメントへの影響をそ の前後で分離されることが期待する. 景気ウォッ チャー調査に関する日本語データを用いて本手法の 性能を検討した結果，本研究にて提案されたアプ ローチを取ることで，説明性をある程度担保しつつ も従来手法に比べ予測性能が高いニューラルネット ワークモデルを構築できることを検証できた. その 一方で，提案手法では極性反転は捉えきれないと いった課題も見えた。

## 2 関連研究

深層学習モデルの ブラックボックス性に関する 取り組みとしていくつかの関連研究が挙げられる.深層学習モデルの予測結果を説明する取り組みとし て「ニューラルネットワークモデルの解釈」に関す る研究いくつかが過去に行われてきた $[5,6,7]$. こ れらの手法を用いると, 出力に対する入力の寄与度を Back Propagation 法に近い形で計算することに よって, 入力要素のうちどこが出力に大きな影響を 与えたかを可視化することができる．また，その他 の有用なアプローチとして「各層の意味が解釈可能 なニューラルネットの構築」も挙げられる。その中 でも近年，提案されたのがセンチメント分析の結果 をオリジナルセンチメント，極性反転，極性反転，大域的な重要度に分解する形で説明可能なニューラ ルネットワーク SINN である．また，本手法ではこ のような解釈可能なニューラルネットワーク実現の ため，極性辞書を用いた初期化 Lexical Initialization を利用した学習手法を提案している. また，[1] で は，その改良版アルゴリズム Joint Sentiment（JSP） Propagation 学習が提案されている.

## 3 自己回帰言語型モデルベース SINN

本節では今回検討する自己回帰型言語モデ ルベース SINNを紹介する．SINN は訓練データ $\left.\{\left(\mathbf{Q}_{n}, d^{\mathbf{Q}_{n}}\right)\right.\}_{n=1}^{N}$ 及び小規模な単語のセンチメント スコア辞書を用いた学習 Joint Sentiment Propagation (JSP) 学習により構築可能である. ここで， $N$ は訓練データのサイズ， $\mathbf{Q}_{n}$ はレビュー,$d^{\mathbf{Q}_{n}}$ はセンチメ ントタグ (1: ポジティブ, 2: ネガティブ)である.

## 3.1 モデル

SINN は Token-level Original Sentiment layer (WOSL), Token-level Contextual layer (WCL), Token level Contextual Sentiment layer (WCSL)，そして出力層から構成 される, レビュー $\mathbf{Q}=\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{n}$ 入力すると，その ポジネガ予測 $y^{\mathbf{Q}} \in\{0$ ( negative), 1 ( positive) $\}$ を出力 する NN である. 本論文ではコーパスに出現する 語彙数 $v$ の語彙集合を $\left.\{w_{i}\right.\}_{i=1}^{v}$, 単語 $w_{i}$ の語彙 ID を $I\left(w_{i}\right), w_{i}^{e m} \in \mathbb{R}^{e}$ を単語 $w_{i}$ の次元 $e$ の用意され たコーパスから計算された分散表現とし，さらに $\boldsymbol{W}^{e m} \in \mathbb{R}^{v \times e}:=\left[\boldsymbol{w}_{1}^{e m T}, \cdots, \boldsymbol{w}_{v}^{e m T}\right]^{T}$ とする.

## 3.1.1 WOSL

この層ではコメント $\mathbf{Q}=\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{n}$ の各単語をその 単語が文脈に左右されずに持つセンチメント値，オ リジナルセンチメント値に変換する。

$
p_{t}^{\mathbf{Q}}:=w_{I\left(w_{t}^{\mathbf{Q}}\right)}^{p}
$

ここで， $\boldsymbol{W}^{p} \in \mathbb{R}^{v}$ は各単語のオリジナルセンチメン 卜值を表す. $w_{i}^{p}$ は $\boldsymbol{W}^{p}$ の $i$ 番目の要素を表し, $w_{i}^{p}$ の值が $w_{i}$ のオリジナルセンチメント值に対応する.

## 3.1.2 WCL

この層は各単語 $w_{t^{\prime}}^{\mathrm{Q}}$ へのセンチメントに関する影響（反転や強弱）を表す. まず，レビュー $\mathbf{Q}$ 内の 単語 $\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ を埋め込み表現 $\left.\{\boldsymbol{e}_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ に変換する. その後順方向及び逆方向の自己回帰型言語モデ ル CLM（本研究における検証では CLM として GPT2[3] を採用）によって順方向からのセンチメン トへの影響 $\vec{s}_{t}^{\mathbf{Q}}$ と逆方向からのセンチメントへの影響 $\overleftarrow{s}_{t}^{\mathbf{Q}}$ を表す値に変換する。

$
\begin{aligned}
& \overleftarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}:=\overleftarrow{\operatorname{CLM}^{D E C}}\left(w_{t}^{\mathbf{Q}}, w_{t+1}^{\mathbf{Q}}, \ldots, w_{n}^{\mathbf{Q}}\right)
\end{aligned}
$

$
\begin{aligned}
& \vec{\alpha}_{t}^{\mathbf{Q}}=\tanh \left(\boldsymbol{v}^{\text {left }}{ }^{T} \cdot \overleftarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}\right), \overleftarrow{\alpha}_{t}^{\mathbf{Q}}=\tanh \left(\boldsymbol{v}^{\text {right }^{T}} \cdot \overrightarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}\right) \\
& \vec{\beta}_{t}^{\mathbf{Q}}=\tanh \left(\overrightarrow{\mathrm{CLM}^{a t t}}\left(w_{1}^{\mathbf{Q}}, w_{2}^{\mathbf{Q}}, \ldots, w_{t}^{\mathbf{Q}}\right)\right), \\
& \overleftarrow{\beta}_{t}^{\mathbf{Q}}:=\tanh \left(\overleftarrow{\operatorname{att}^{D E C}}\left(w_{t}^{\mathbf{Q}}, w_{t+1}^{\mathbf{Q}}, \ldots, w_{n}^{\mathbf{Q}}\right)\right)
\end{aligned}
$

向の CLM のデコーダーによって出力される最終層 への変換，また， $\overrightarrow{\mathrm{CLM}^{a t t}}$ 及び $\overleftrightarrow{\mathrm{CLM}^{a t t}}$ は順方向及

び逆方向の CLM による各単語へのアテンションへ の変換を表す。

$\vec{s}_{t}^{\mathbf{Q}}$ 及び $\overleftarrow{s}_{t}^{\mathbf{Q}}$ はそれぞれ単語 $w_{t}^{\mathbf{Q}}$ がその右側及び 左側の単語群 $w_{t}^{\mathbf{Q}}:\left.\{w_{t^{\prime}}^{\mathbf{Q}}\right.\}_{t^{\prime}=1}^{t-1}$ and $\left.\{w_{t^{\prime}}^{\mathbf{Q}}\right.\}_{t^{\prime}=t+1}^{n}$ によるセ ンチメントに関する影響に関するスコアを表す。次 に, $\vec{s}_{t}^{\mathbf{Q}}$ と $\overleftrightarrow{s}_{t}^{\mathbf{Q}}$ から各単語への両方向からのセンチ メントへの影響値 $\left.\{s_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ へと変換する.

$
s_{t}^{\mathbf{Q}}:=\vec{s}_{t}^{\mathbf{Q}} \cdot \stackrel{\leftrightarrow}{s}_{t}^{\mathbf{Q}}
$

先行研究では CLM $\mathrm{LSTM}, \beta_{t}^{\mathrm{Q}}$ をSTM から出力される隠れ層をべースとするアテンションを利用 しているが，本研究では事前気隔週ズム言語モデル 活用による性能向上，及び左右からの影響を見える ようにするため，CLM には GPT2 を採用する。

## 3.1.3 WCSL

WCSL では WOSL 及び WCL の値を用いて各単語の文脈センチメント $\left.\{c_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ を以下のように表す.

$
c_{i t}^{\mathbf{Q}}:=p_{i t}^{\mathbf{Q}} \cdot s_{i t}^{\mathbf{Q}} \cdot \alpha_{i t}^{\mathbf{Q}} .
$

## 3.1.4 出力

最後に SINN は文の極性を $y^{Q}$ 以下のように出力 する

$
y^{\mathbf{Q}}=\sum_{t=1}^{T} c_{t}^{\mathbf{Q}}
$

ここで， $y^{\mathbf{Q}}>0$ は $\mathbf{Q}$ がポジティブであることを表

表す.

## 3.2 JSP 学習

SINN は JSP 学習によって学習する. JSP 学習は 「単語センチメント辞書を用いた初期化 (Lexicon Initialization)」と「SSLへの制約付き学習」により 構成される。

## Lexicon Initialization

まず，以下のような初期化を学習前に行う。

$
w_{i}^{p} \leftarrow \begin{cases}P S\left(w_{i}\right) & \left(w_{i} \in S^{d}\right) \\ 0 & \text { (otherwise) }\end{cases}
$

ここで， $P S\left(w_{i}\right)$ は単語 $w_{i}$ のセンチメント辞書値で あり， $S^{d}$ はセンチメント辞書内単語の集合である. これは $S^{d}$ が $S^{*}$ の部分集合であり，また，センチメ ント辞書のセンチメント值が正しい，つまり $P S\left(w_{i}\right)$ の符号が $P N^{*}\left(w_{i}\right)$ に一致し，かつ $S^{d}$ が十分に大き く, $S^{*} \subset \Omega\left(S^{d}\right)$ という条件が成り立つ場合には $S^{*}$内の任意の単語について SINN の各層における解釈性が担保されることが期待される.

## SSL への制約付き学習

学習時には次の $L_{\text {joint }}^{\mathbf{Q}}$ を最小化させるよう学習さ せる。

$
\begin{aligned}
& L_{\text {shift }}^{\mathbf{Q}}:=\sum_{t \in\left.\{t \mid w_{t}^{\mathbf{Q}} \in\left(S^{d} \cap \mathbf{Q}\right)\right.\}} \operatorname{SCE}\left(s_{t}^{\mathbf{Q}}, l_{s s l}\left(P S\left(w_{t}^{\mathbf{Q}}\right)\right)\right. \\
& L_{\text {joint }}^{\mathbf{Q}}:=L_{\text {doc }}^{\mathbf{Q}}+\lambda \cdot L_{\text {shift }}^{\mathbf{Q}}
\end{aligned}
$

where $l_{s s l}(a)= \begin{cases}1 & \left(a>0 \wedge d^{\mathbf{Q}}=1\right) \vee\left(a<0 \wedge d^{\mathbf{Q}}=0\right) \\ 0 & \left(a>0 \wedge d^{\mathbf{Q}}=0\right) \vee\left(a<0 \wedge d^{\mathbf{Q}}=1\right)\end{cases}$

ここで， $\lambda$ はハイパーパラメータであり, $L_{\text {shift }}^{\mathbf{Q}}$ は SSLへの制約に関するコスト関数である.

この $L_{\text {shift }}^{\mathbf{Q}}$ の活用によって $R^{*}\left(w_{t}^{\mathbf{Q}}\right)$ と $s_{t}^{\mathbf{Q}}$ の符号 が一致させるような制約が $\Omega\left(S^{d}\right)$ 内の単語について かかることが期待でき，WOSL や SSLへの極性情報 の伝搬が促進されることが期待できる.

## 4 評価実験

## 5 解釈性の評価

本節では実データを用いて本手法の評価を予測性能及び解釈性の二点から評価する.

## 5.1 実験設定

景気ウォッチャー調査の現状に関する日本語コ メントのデータセット [2] を用いて実験を実施し た. 本データセットは訓練データ，検証データ， テストデータから構成され，各データセットにポ ジティブコメント及びネガティブコメントがそれ ぞれ 20,000 件，2,000 件，4,000 件格納されている. Lexicon Initialization においては「”上がる”, ”回復”, "上方”, ”増加”, ”上昇”」及び「["減少”, ”低下”, "損失”, ”遅れ”, ”リスク”]」についてそれぞれ +1 と -1を入れる形で初期化を実施した。また，Tokenizer は rinna/japanese-roberta-baseを利用した。

## 5.2 評価指標

予測性能についてはテストデータに対するポジ ネガ分類制度により評価した。解釈性については， [2] にて提供されている人手で作成された，単語レ ベルでのポジネガリスト及び極性反転に関するデー タセットをもとに (A) WOSL 及び (B) WCSL の評価 を実施した. (A) WOSL の評価では，WOSL の妥当
性をWOSLから得られるリスト内単語の極性（ポジ ティブ 189 件，ネガティブ 198 件）と単語極性リス 卜内の極性の一致度 (macro $F_{1}$ 値) をもとに評価し た.また，(B) WCSL の評価では，まず極性反転に 関するデータセットに記載される各コメントをモデ ルに読み込ませ， CWL 層から各トークンの文脈ス コア $s_{t}^{\mathbf{Q}}$ を抽出する. その後, 単語極性リスト内に 含まれるトークンを対象に， $s_{t}^{\mathbf{Q}}<0$ の場合，また は $\left.\{s_{t}^{\mathbf{Q}}\right.\}$ の平均値よりも小さい場合にはセンチメン トが「反転または軽減されている」とみなし，そう でない場合には「反転または軽減されていない」と みなした. この予測結果とデータセットにつけられ る反転タグが一致するかどうかによって評価した。評価指標には Macro F1 値を利用した. 尚，本評価 データには「反転または軽減されている」のラベル が 660 件,「反転または軽減されていない」のラべ ルが 3,000 件付与されていた.

## 5.3 ベースライン

性能評価のため，解釈性に関しては，SINN[2]加え，SINNにおける WGCL の層に RoBERTa

## 5.4 結果・考察

表 1 が評価結果である.SINN+GPT の結果が提案手法の結果である. SINN に比べ，予測性能をあげ ることには成功した。また，WOSL や WCL に関す る解釈性についてもある程度性能を保っていること が見て取れる。また，図 1 で見て取れるように，本提案手法 (SINN+GPT) センチメントへの影響を後 ろから受けていることが見て取れる。例えば、「イ ベントが何もないので、という記載においてイべ ント（ポジティブワード）が「何もない」によって 後ろから反転させられていることが可視化結果をも とに理解できる。一方, SINN+GPT 内の WCL に 関しては，極性反転されている部分について，マイ ナスの値を取ることができていない様子が見られ， この部分を改善し, SINN (ベースライン) のように 極性反転に対し, WCL 内の値をマイナスに取るこ とができれば，WOSL に関しても更なる性能向上が されることが期待される.

## 6 結論

SINN へ自己回帰型の学習済み大規模言語モデル を組み込み，Joint Sentiment Propagation 学習を用い て自然な形で学習させることで, (1)ニューラルネッ表 1 評価結果

 &  \\

RoBERTA & 0.955 & - & - \\

図 1 Visualzation example by SINNs

トワークの予測性能向上，及び (2) 各単語のセンチ メントへの影響をその前後で分離させ，可視化する ことを試みた。予測性能を解釈性をある程度保ちつ つも向上させることには成功したが，まだ改善の余地があると言える. 今後の展開としてはマルチリン ガルモデルの活用による性能向上や Few Shot 学習手法の提案，あるいはより効率の良い学習手法の提案等が挙げられる。また，より大規模なデータセッ 卜を用いた本手法の評価やもう一歩踏み込んだ可視化結果の評価等も今後の展開としては考えられる.

## 参考文献

[1] Tomoki Ito, Kota Tsubouchi, Hiroki Sakaji, Tatsuo Yamashita and Kiyoshi Izumi, SSNN: Sentiment Shift Neural Network, SDM 2020, 2020.

[2] Tomoki Ito, Kota Tsubouchi, Hiroki Sakaji, Tatsuo Yamashita and Kiyoshi Izumi, Word-level Contextual Sentiment Analysis with Interpretability, AAAI 2020.

[3] Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya, Language Models are Unsupervised Multitask Learners, 2019.

[4] Zhuang et al., A Robustly Optimized BERT Pre-training Approach with Post-training, CCL 2021

[5] S. Bach and A. Binder and G. Montavon and F. Klauschen and K. R. Muller and W. Samek, On pixel-wise explanations for nonlinear classifier decisions by layer-wise relevance propagation, PLOS ONE Vol. 10. No. 7. 2017.

[6] L. Arras and G. Montavon and K. R. Muller and W. Samek,

Explaining Recurrent Neural Network Predictions in Sentiment Analysis, EMNLP Workshop 2017

[7] M. T. Ribeiro and S. Singh and C. Guestrin, Why Should I Trust You?" Explaining the Predictions of Any Classifier, KDD 2016.


# 比較文の意味解析のための「深い」係り受け関係の解析

窪田悠介 ${ }^{1}$ 林則序 ${ }^{2}$ 天本貴之 ${ }^{3}$ 峯島宏次 ${ }^{3}$
1 国立国語研究所 2 東京大学 3 慶應義塾大学
kubota@ninjal.ac.jp hayashi-lin@g.ecc.u-tokyo.ac.jp
amamoto@keio.jp minesima@abelard.flet.keio.ac.jp

## 概要

言語学的に複雑な現象に関する意味解析を行うた めの方法として、「深い係り受け」という概念を提案 し、その有効性を検証したパイロット研究の結果を 報告する。「深い係り受け」とは、一言で言って抽象的な意味関係に関わる情報であり、理論言語学で は統語変換などの複雑な操作によって規定される。 このような情報を、深層学習などの最近の機械学習 の手法でどの程度正確に解析できるかを検証した 研究は未だ存在しない。本研究では、日本語比較文 の分析に関わる「深い係り受け」情報の判定器とし て、深層学習モデルと (言語学的知識に基づく) 規則 ベースモデルの二種を実装し、その比較を行った。

## 1 はじめに

深層学習の手法や大規模言語モデルが手軽に利用可能になったことで、自然言語処理 (NLP) 技術を援用して言語理論の問題に取り組む研究が活発化して いる。しかしながら現在までの研究は、既存の NLP 技術で解ける形に言語理論の問題を規定し直す形の ものが多い。このため、「統語変換の概念を実装し た頑健なパーザは構築可能か？」といった、理論言語学側の核心的問題を立脚点とした研究は、一部の 先駆的試み [1] 除いて端緒にすらついていない。

本研究では、理論言語学研究に動機づけられた概念として、「深い係り受け」という概念を提案する。統語解析から意味解析へのパイプラインの途中に深 い係り受けの解析レイヤを組み込むことで、複雑な 意味解析を機械に実装可能な形で行うための見通し が立つ。具体的には、深い係り受けの解析自体が、多くの場合、既存の機械学習の手法を援用すること で比較的容易に高精度で可能であり、また、句構造解析や含意関係認識などの、この解析レイヤの上下 に接合する他のコンポーネントに関しても既存の高精度な解析器がそのまま利用可能となる。本論文で
は、このような設計の意味解析システムのプロトタ イプとして構築した、日本語の比較文の意味解析の ための深い係り受けの解析器を報告する。

## 2 理論的前提

比較文の意味を正確に解析することは、自然言語 の意味論における重要な課題である $[2,3]$ 。また、比較文は (1) に見られるような含意関係をもたらす 言語表現であるため、NLP の含意関係認識において も重要な課題の一つである $[4]$ 。

(1) P1: 太郎は次郎より背が高い。 P2: 次郎は三郎より背が高い。 $\mathrm{C}$ : 太郎は三郎より背が高い。

比較文の意味解析には、表面的な係り受け関係だけ でなく、以下三種類の情報の判定が必要となる [5]。

（2） a. 何と何が比較されているか

b. 比較の尺度 (スケール) は何か

c. 差分がいくらか

以下、便宜的にこの情報を「深い係り受け」と呼ぶ。理論言語学では、比較文を (3) に示す「寄生ス コープ (parasitic scope)」[6] という複雑な統語変換操作で分析する方法が提案されている $[7,8]$ 。

(3)

(3) の分析図は一見複雑に見えるが、実際には、既存の句構造解析器の出力と ( $2 \mathrm{a}-\mathrm{c})$ に示した深い係り 受けの情報があれば、単純な構文木の変換により一意に復元可能である。つまり「寄生スコープ」とは、深い係り受けと浅い係り受けをどう組み合わせれば 文の意味が得られるか、ということに関する母語話者の直観的知識を言語学者が明示的に規則化したも のにほかならない。この手法により、比較文のよう な複雑な意味現象に関して、比較的単純な方法で高階論理の正確な意味表示を導くことが可能となる。

具体的には、(4)の文に関しては、(2a-c)の情報が あれば、単純な構文木の変換により、それぞれ (5) の論理式を得ることができる (4) で用いたラベルに ついては 3.1 節を参照)。

(4) a. 太郎は花子より prej ポチ cont が 好きだdeg。

b. 警察官cont の初任給は 他の公務員よりprej 少しdiff 高いdeg。

(5)
a. $\max d[$ 好き(花子) $($ 太郎 $)(d)]$ $>\boldsymbol{\operatorname { m a x }} d[$ 好き(ポチ) $($ 太郎 $)(d)]$
b. $\boldsymbol{\operatorname { m a x }} d[$ 多い(初任給(警察官))(d)] $>\boldsymbol{\operatorname { m a x }} d[$ 多い(初任給(他(公務員)))(d)]

文法理論に基づく高階論理解析器 ccg2lambda [9] などで採用されている既存の CCG 構文解析器をそ のまま用いて、(3) の分析図や対応する (5) の高階論理式を得る方法は自明ではない。寄生スコープは、比較文だけでなく、(「同じ/別の」「それぞれ」「平均 して」「合計で」などの）複数名詞句や等位構造と連動して複雑な意味解釈をもたらす一連の言語表現の 分析にも有効であることが知られている [10]。従っ て、寄生スコープ分析に基づく自動解析の方法を模索することは、理論言語学研究への NLP 技術の援用のための道筋をつける目的のみならず、NLP の推論タスクなどへの理論言語学的知見の活用のために も一定の意味があると考えられる。

## 3 深い係り受けの判定器の比較

寄生スコープ分析に基づく比較文の自動解析器を 作り、それを用いてコーパスなどに現れる任意の文 を解析するためには、以下の二つの情報の両方を正確に推定することが必要となる。
- 浅い係り受け: 表面的な依存関係/句構造
- 深い係り受け: (2) の比較文の意味に関わる情報
この二つのうち、浅い係り受けに関しては既存の 句構造文法 (HARUNIWA2 [11] など) や CCG の解析器 (depccg [12] など) を用いることができる。

深い係り受けは (6) の特徴を持つ情報である。

（6） a. 抽象的な意味関係に関わる情報である

b. 部分的に文法的マーキングで表示される

深い係り受けの推定は、(6a) の特徴のため本質的 に困難なタスクだが、(6b) の特徴を持つことから、形態・統語的特徴や意味的類似度などの情報によ り、ある程度の精度で推定できることが予想され る。このため、言語学的知見と NLP 的手法を組み 合わせたアプローチが特に有効と考えられる。し かしながら、我々の知る限り、深い係り受けの推定 （や類似タスク）に関して、異なる特徴を持つ複数 の手法を比較し、それらの性能や利点・欠点を具体的に検討したした研究はいまだ存在しない。

本研究では、深い係り受けの推定に関して、言語学的知見に基づいて規則を手で書いた規則べースの 判定器を用いる手法と、アノテーション・データを 用いた深層学習のラベル認識タスクとして解く手法 を構築し、両者の解析結果を比較した。以下、タス クの定義と、それぞれの判定器の詳細を記述する1)。

## 3.1 タスクの定義

2 つのモデルにおけるトークン化の相違や、係り 受け関係の利用可能性の相違があるため、タスクは 文字列の区間に対するラベル付けタスクとして定義 する。具体的には、日本語の文である任意の文字列 に対し、正解データにおいて付与されているラベル と判定器が予測したラベルの一致率を計算する。

(7) ラベルの種類 prej: 比較句 (例:「花子より」) cont: 比較句と対になる句 (例:「ポチが」) diff: 差分表現 (例: 「少し」「3cm」) deg: 程度述語 （例:「好きだ」「背が高い」）

(8) 正解データの例妻が仕事に精出す一方、[赤沼は] cont [それよ り]prej [もっと]diff [忙しい] deg 。 (BCCWJ LB19_00238, 5950)

1）ソースコードおよびモデルについての情報は https://github.com/ABCTreebank/comparative-nerutils/releases/tag/NLP2023 にて公開中である。

## 3.2 規則ベースの判定器

既存の一般的な言語処理ツール（形態素解析、依存構造解析）を使用して規則べースの判定器を実装 した。まず、入力文を GiNZA [13] によって形態素解析し、依存構造解析を行う。この依存構造は日本語 Universal Dependencies (UD) [14] に基づくもので あり、例えば、(4b) の例には付録図 1 に示したよう な出力（依存構造木）が得られる。

これを用いて、次の順序で特定の条件を満たす構成素に素性を割り振る。構成素の意味的な類似性に ついては、GiNZA が提供する単語埋め込みによるコ サイン類似度を利用した。

1. prej: 依存構造木から「 $\mathrm{N}$ より」「 $\mathrm{N}\{$ と・に $\}$ 比 べ」における名詞 $\mathrm{N}$ を特定し、それを主要部と する部分木を prej とする。(4b) では「公務員」 がNであり、「他の公務員より」が prej となる。

2. deg: $\mathrm{N}$ の親（「高い」）を deg とする。

3. diff: deg の子に副詞（「少し」）があれば、それ を diffとする。

4. cont: 「Xの方」という句がある場合は、 $\mathrm{X}$ を主要部とする部分木を cont とする。「X の方」が ない場合は、prej、deg、diff に含まれていない 要素の中で、 $\mathrm{N}$ ともっとも類似度が高い要素を $\mathrm{X}$ とする。その上で、 $\mathrm{X}$ が名詞であれば、 $\mathrm{X}$ を 主要部とする部分木を cont とし、Xが名詞でな い場合、cont は空とする。(4b) の場合、「警察官」が cont となる。

## 3.3 機械学習に基づく判定器

学習データ BCCWJ [15]から、「より」と「\{と・ に＼$比べ」を含む文で、比較構文に該当する可能性 }$ があるものを 3,460 文抽出した。付録表 1 に内訳を 示したとおり、これらの文は、複文 (連用節、連体節)をなすものを含み、また、比較文でないデータ も含んでいるため、3.1 節で定義した深い係り受け 判定のタスクは一定の複雑さをもつものであると 考えられる。これらの文に対して、アノテーション を上の (8) に示したブラケット形式で、手動で施し た。アノテーションデータのうち、評価用に 350 文 （全体のおよそ 10\%）をランダムに選出し、残りの 3,110 文を学習に用いた。

モデル BERT モデル [16] ${ }^{2)}$ の上に、トークンを

2）日本語 BERT モデルは https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking を用いた。分類する線形ニューラルネットワークを加えたも のをモデルとした。これは、固有表現抽出（Named Entity Recognition, NER）と同じモデルの構成であ る。単語埋め込みベクトルの次元数は 768、入力長 を 256 に設定した。分類ラベルは、空ラベル（O） および (7) に示したラベル (prej, cont, diff, deg) の 5 つで構成した。

モデルの学習上記学習データを用いて学習を 行った。学習時のエポック数は 27 、ミニバッチサイ ズは 16、学習率は $5.0 \times 10^{-5}$ とした。

## 4 結果・考察

## 4.1 評価方法

評価用 350 文について、規則べースモデルと機械学習モデルの 2 種類で予測をし、正解データと照合 した。予測された素性のスパンと正解データのスパ ン同士の可能なマッチングパターンを網羅し、個々 のマッチングペアに、下記の判定に自然に沿うよう なコスト付けを行い、最小コストのマッチングを、線形割当問題ソルバー3)を用いて算出した。マッチ ングペアの判定は次の 4 種類からなる：
- CORRECT（完全一致）
- SPURIOUS（余分な予測）
- MISSING（正解スパンの予測の失敗）

・WRONG_SPAN（スパンが重なるが不一致）

結果の集計のために、MUC-5 評価メトリクス [17] のうち、再現率・精度メトリクス (recall-precision metrics）を用いた。メトリクスには strict と partial の 2 種類を設け、strict における正解は CORRECT のみ、 partial における正解は CORRECT+0.5WRONG_SPAN とした ${ }^{4)}$ 。評価結果は付録表 2 および表 3 の通り。

## 4.2 モデル間の比較

全般的に機械学習モデルのほうがスコアが高い が、素性ごとに 2 つのモデルの差が大きく異なる。 prej はどちらのモデルも F 1 值が 80 以上になった。 prej 「より」「\{と・に\}比べ」を手がかりとして特定できる。機械学習モデルはこの点の学習に成功し ている。一方、規則ベースモデルでは、再現率は機械学習モデルを超えるが、精度が (strict、partial どち

3） scipy.optimize.linear_sum_assignmentを使用した。

4）[18]の partial boundary matching と違い、素性が不一致で範囲が一致するスパンのペアは正解として扱わない。一般的な 固有名認識と違い、我々にとっては素性の不一致は重大な間違いだからである。

らの基準でも) 機械学習モデルに比べ 10 ポイント以上落ちている。その主な原因は、参照している形態素解析、依存構造解析の品詞情報が比較のヨリと起点のヨリ（例：「ロンドンより最近到着した」）を区別していないことにある。起点のヨリに関する過剩 な予測を除外すると、精度 (strict) は素性の単純平均 で 13.1 ポイント上昇する5)。

$\operatorname{deg}$ に関して規則ベースモデルの再現率が機械学習モデルに対して劣る主な要因としては、ヨリ句 と deg の間に他の述語が介在している場合に典型的 に見られる解析エラーが挙げられる（例：「[中央区 に比べ]prej、西区のはずれに位置する平和は空気が [澄ん] deg でいる ${ }^{6}$ )」で「位置（する）」を $\operatorname{deg}$ と予測 する) $)^{7)}$ 。規則べースモデルの diff に関するエラーの 要因としては、prej と同様、品詞情報の不足により、差分表現を特定することが難しい点が挙げられる。 また、規則べースモデルは、 3.2 節で述べたように prej から順に素性を判定するため、上述の prej 誤判定が他の素性の誤判定（精度の低下）の一因になっ ている。これらの点はすべて、規則ベースの手法の 古典的な問題の一種である。本研究が対象とする、一見単純な言語学的知識で解けそうなタスクでも、 アノテーション・データを用いた機械学習が、タス クに特化した教師データなしの規則べースの手法と 比べて実データに対して明らかに頑健であることを 示しており興味深い。

一方で、構造を明示的に参照していないせいで機械学習モデルが判定に失敗している例もある。たと えば、付録 (9a) では cont はブラケットで囲った名詞節全体だが、モデルは名詞節内の非連続な区間を cont と予測する。また、(9b) の「黒人」は従属節の 主語であり、比較構文をなす主節の要素ですらな いが、誤って主節述語に対する cont と予測されて いる。

## 4.3 素性ごとの比較

4 つの素性のうち、判定が最も困難で、かつ意味解析にとって重要なものは、統語的・形態的な手が かりが乏しい cont である。これに関しては、2つの

モデル双方で、予想通り 4 つの素性の中で F1 が最 も低くなった。この主な要因としては、次の 3 つが ある（具体的な例文は付録 (10) を参照）。

意味的類似度の過剩重視 (10a) で比較の対象は 時点だが、言語表現として明示されないので、「cont なし」が正解である。しかし、prej 内の国名「フラ ンス」につられて、「ベトナム民主共和国 (大統領)」 が cont と予測される。(機械学習・規則ベース両方) cont が名詞句の一部であるケース (10b) におい ては、比較の正しい対比は「コウヤマキ cont」と 「他の五樹種 prej」だが、モデルは「コウヤマキ」を 含むより大きな名詞句「...の耐陰性 (...)」全体を cont と予測する。(規則べースのみ)

文脈情報の不足前文脈、および「おっとりした」 から、(10c) の正解は「娘よりも prej」/「花 cont」で あると判断できる。しかし、モデルは一般的に cont になりがちな主語名詞句「おっとりした母」を cont と予測する。（機械学習・規則ベース両方）

## 5 結論

「深い係り受け」の解析を実証的に検証するため、日本語比較文の意味解析を題材に、機械学習と規則 ベースの 2 つのモデルを構成し、性能を比較した。以下簡単に結論をまとめ、今後の方針を述べる。

まず、全般的に機械学習モデルのほうが性能が高 いが、いくつかの弱点に関しては、異なる種類の言語学的情報を明示的に参照することで性能の改善が 見込める。係り受け解析の参照など ( (9) 参照)、規則ベースモデルの要素を何らかの形で取り入れるの が有効と考えられる。また、cont の予測の改善のた めには、(10c) が示唆するように前文脈を考慮する 必要がある。文脈情報の利用で性能向上が見られる かを今後検討する。

「深い係り受け」の解析の先には、これを用い た意味解析が目標としてある。直近の課題は、 ccg2lambda などによる、論理式を介した含意関係判定器への接合である。人間の言語処理が、連結した 複数のコンポーネント間の制約の最適化問題として 規定できることはほぼ疑いの余地がない。深い係り 受けのレイヤを立てた意味解析パイプラインは、こ の設計の機械実装可能な近似と位置づけられる。将来的な課題は、定量的な性能検証が可能な自然言語 の意味処理に関するモデルとして、このような設計 の機械を構築することである。

## 謝辞

本研究は JSPS 科研費 21K00541、国立国語研究所共同研究プロジェクト「計算言語学的手法による 理論言語学の実証的な方法論の開拓」JST CREST JP-MJCR2114 の支援を受けたものである。研究の初期段階において助言を下さった吉川将司氏に感謝 する。

## 参考文献

[1] John Torr, Miloš Stanojević, Mark Steedman, and Shay B. Cohen. Wide-coverage neural A* parsing for Minimalist Grammars. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2486-2505, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Christopher Kennedy. Comparatives, semantics of. In Encyclopedia of Language and Linguistics, pp. 690-694. Elsevier, Oxford, 2 edition, 2005.

[3] 澤田治. 比較構文の語用論. 澤田治美（編）, ひつじ 意昧論講座 2: 構文と意味, pp. 133-155. 2012.

[4] Izumi Haruta, Koji Mineshima, and Daisuke Bekki. Combining event semantics and degree semantics for natural language inference. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1758-1764, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5] Omid Bakhshandeh and James Allen. Semantic framework for comparison structures in natural language. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 993-1002, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[6] Chris Barker. Parasitic scope. Linguistics and Philosophy, Vol. 30, No. 4, pp. 407-444, 2007.

[7] Christopher Kennedy. Modes of comparison. In Proceedings from the Annual Meeting of the Chicago Linguistic Society, Vol. 43, pp. 141-165, 2009.

[8] Ai Matsui and Yusuke Kubota. Comparatives and contrastiveness: Semantics and pragmatics of Japanese hoo comparatives. In Proceedings of Formal Approaches to Japanese Linguistics 5, pp. 126-139, Cambridge, MA, 2010. MITWPL

[9] Koji Mineshima, Ribeka Tanaka, Pascual MartínezGómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference system for a wide-coverage Japanese CCG parser. In Proceedings of EMNLP 2016, pp. 2236-2242, Austin, Texas, 2016. Association for Computational Linguistics.

[10] Yusuke Kubota and Robert Levine. Type-Logical Syntax. MIT Press, Cambridge, MA, 2020. Available Open Access at https://direct.mit.edu/books/book/4931/ Type-Logical-Syntax.

[11] Butler Alastair Horn, Stephen Wright and Kei Yoshimoto. Keyaki treebank segmentation and part-of-speech labelling. 言語処理学会第 23 回年次大会発表論文集, pp. 414-1148, 2017.

[12] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. In Proceedings of ACL 2017, pp. 277-287, 2017.

[13] 松田寛. Ginza - universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[14] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパ ス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[15] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[17] Nancy Chinchor and Beth Sundheim. MUC-5 evaluation metrics. In Fifth Message Understanding Conference (MUC-5): Proceedings of a Conference Held in Baltimore, Maryland, August 25-27, 1993, 1993.

[18] Isabel Segura-Bedmar, Paloma Martínez, and María Herrero-Zazo. SemEval-2013 task 9 : Extraction of drugdrug interactions from biomedical texts (DDIExtraction 2013). In Second Joint Conference on Lexical and Computational Semantics $(* S E M)$, Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 341-350, Atlanta, Georgia, USA, June 2013. Association for Computational Linguistics.

図 1: 依存構造木の例

表 1 : アノテーションデータの内訳

 &  & 再現率 & F1 &  & 再現率 & F1 \\

表 2: 機械学習モデルの結果

 &  & 再現率 & F1 &  & 再現率 & F1 \\

表 3: 規則ベースモデルの結果

(9)（機械学習モデルに特有の失敗、下線eont が誤った予測）

a. しかし [論理よりも経験よりも何よりも]prej [たいせつ] deg なことは、 [子がeent 親から信用されることeent]cont である。(BCCWJ LB11_00024,39960)

b. 黒人cont は出生率は増加しているが、[ニューヨークを去る人] cont が [移住してくる人よりも]prej [多い]deg。 (BCCWJ LB13_00134,8920)

(10) （cont の予測の失敗、下線e@ntが誤った予測）

## a. 意味的類似度の過剰重視

ベトナム民主共和国大統領eont が帰りついた祖国の情勢は、[フランスへ向った時よりも]prej [更 に]diff [悪化]deg していた。 (BCCWJ LBc2_00023, 22980)

## b. cont が名詞句の一部であるケース

このことは、[コウヤマキ] cont の耐陰性（少ない光に耐えて育つ能力）がeont、[他の五樹種にくら べて]prej、[いちじるしく]diff [高い]degことを示している。(BCCWJ LBk6_00008, 23250)

## c. 文脈情報の不足

おっとりした母はeont [娘よりも] prej[花に]cont [関心]deg がむいている。(BCCWJ LBh0_00004, 74220)