# ゼロショットテキスト分類による TCFD 推奨開示項目の自動判定

土井惟成 1,3 小田悠介 2,4 中久保菜穂 4 杉本 淳 4
1 株式会社日本取引所グループ 2 奈良先端科学技術大学院大学 先端科学技術研究科
3 東京大学大学院工学系研究科 4 シェルパ・アンド・カンパニー株式会社
n-doi@jpx.co.jp yusuke.oda@naist.ac.jp
\{naho.nakakubo, jun.sugimoto\}@cierpa.co.jp

## 概要

サステナビリティ情報開示への要請は世界的な潮流として高まっている。この動向を受け，TCFD は，気候変動に関する 11 の推奨開示項目を設定し，実際の開示に対する規範としての活用を求めている。開示情報は多様な形式で記載されるため，推奨開示項目の充足状況の調査には膨大な資料の分析が必要となり，多大なコストを要する。機械的に開示箇所の判定を行う手法により，このコストを一定程度削減できると考えられる．本稿では，TCFD 推奨開示項目の開示箇所判定のために実施した一連の施策を報告する，具体的には，各項目の自動判定のためのより基本的な単位 (TCFD 推奨開示項目クライテリア)への分解と, 各クライテリアに対するゼロショットテキスト分類の性能を検証した。

## 1 はじめに

気候変動への対応をはじめとするサステナビリティ (ESG 要素を含む中長期的な持続可能性) に関する課題は, 中長期的な企業価値の向上を目指す中で，重要な経営課題であるとの意識が高まっている。この中で，金融安定理事会によって気候関連財務情報開示タスクフォース (Task Force on Climate-related Financial Disclosures, TCFD) ${ }^{1)}$ が設立され，投資家に適切な投資判断を促すための効率的な気候関連財務情報開示に関する議論が行われてきた。2017 年に公表された「Recommendations of the Task Force on Climate-related Financial Disclosures」[1] (以下，TCFD 提言) では，気候変動に関する「ガバナンス」「戦略」「リスク管理」「指標と目標」の 4 点からなる構成要素と，これらに連なる 11 の推奨開

1) https://www.fsb-tcfd.org/

図 1 本研究の流れ

示項目 (以下，TCFD 推奨開示項目) が設定された。

日本取引所グループでは上場会社によるサステナビリティ情報に関する開示 (以下，サステナビリティ情報開示) における TCFD 提言の充足状況の把握のため，実態調査を実施している [2]. サステナビリティ情報開示は各社の資料上に自然言語を始めとした多様な形式で記載され，情報が構造化されていないことから，TCFD 推奨開示項目の充足状況の調査には必然的に資料の読解が必要となる．上場会社全ての資料に対して人手での分析を実施する負担は高く，自動的な開示項目の該当箇所の手法が望まれる。しかしながら，従来の機械学習に基づく手法では，学習データの構築に係るコストが大きい。

本研究では，上場会社の有価証券報告書におけるサステナビリティ情報開示を対象に，大規模言語モデル (以下，LLMs) を用いたゼロショットテキスト分類により，TCFD 推奨開示項目の充足状況を機械的に分類する手法を提案する。 また，原文の 11 項目の TCFD 推奨開示項目では，判断基準の曖昧さに起因して，人手の判断に高い専門性を要する。そこで，TCFD 提言で開示が推奨されている 11 項目について，各企業の開示内容がそれぞれの項目に沿った情報開示であるかどうかを検討するための判断基準

として, 合計 27 種類からなる TCFD 推奨開示項目クライテリア (以下，本クライテリア)を作成した。 そして，本クライテリアのそれぞれに対して，人手で作成した 100 件の正解データを元に，提案手法の性能を検証した．本研究の流れを図 1 に示す.

## 2 関連研究

関連研究として，TCFD 推奨開示項目に関する研究と, LLMs を用いたゼロショットテキスト分類に関する研究について述べる。

まず，TCFD 推奨開示項目に関する研究について述べると, Binger ら [3] は, ClimateBERT[4] という学習済みモデルを用いて, 英語の入力文を, Governance, Strategy, Risk, Metrics, Noneの 5 クラスのいずれかに分類するモデルを開発し，このモデルを利用して，TCFD の勧告が世界各国の TCFD 支持企業の開示に大きな影響を与えていないことを報告した. 次に，TCFD は，2023 年の Status Report[5] において，会社の開示資料を対象に，その記載内容が TCFD 推奨開示項目の 11 項目に適合するかどうかを判定する分類モデルを，訓練用データを作成のうえ，RoBERTa[6] の言語モデルをファインチュー ニングすることで開発した. そして，そのモデルを用いて，TCFD 提言に沿った開示害態の調査を行った. また, Friederich ら [7] は, ヨーロッパの企業の年次報告書を対象に，RoBERTa[6] を始めとする複数の機械学習手法を用いて, 5 種類の気候関連リスクに分類するモデルを開発した. これらに対する本研究との相違点として, 入力文を日本語としていること, ゼロショットテキスト分類を利用していること, 分類先が 27 種類のマルチクラスであることが挙げられる.

LLMs を活用したゼロショット学習は, 特にデー タセットの構築やラベル付けに関連するコストを大幅に削減することで注目されている. 具体的には，特定のタスクに対する事前の訓練なしに，未知のテキストに対する分類や分析を可能にする. Kuzman ら [8] は, 英語とスロベニア語のデータセットを対象に，ニュースやプロモーションといった 9 種類の文のゼロショットテキスト分類に OpenAI の ChatGPT $^{2}$ を利用したところ，ファインチューニングされたモデルよりも精度が上回ったことを報告している. Doi ら [9] は, 日本の上場会社が開示する監査報告書の記載事項の一つである，監査上の主要

2) https://chat.openai.com/chat
な検討事項を対象に， 10 種類のトピックへの分類のために複数のモデルを試し，ChatGPT のモデルの一つである GPT-4 が最も精度が優れていることを報告した. これらを踏まえ，本研究においても，ゼロショットテキスト分類のモデルとして LLMs の有用性を示すことを目指す.

## 3 サステナビリティ情報開示

TCFD 提言は，日本において顕著な支持を得ており，2020 年 10 月末時点では 1,500 を超える企業や金融機関，公的機関等が支持を表明している [2]. TCFD 提言以外にも様々なサステナビリティ情報開示を促す試みが実施されている．例えば，東京証券取引所は, 2021 年のコーポレートガバナンス・コー ドの改訂を通じて，上場会社に対してサステナビリティへの取り組みを強く求めている [10].

更に，2023 年 1 月の「企業内容等の開示に関する内閣府令」の改正を迎え，有価証券報告書におけるサステナビリティ関連の開示要件が一層強化された [11].これにより，2023 年 3 月期以降の有価証券報告書より，上場会社はサステナビリティ情報に関する開示が求められている．ただし，「推奨開示項目の中には企業の開示負担が大きいものがある」といった観点から，「ガバナンス」と「リスク管理」は全ての企業が開示するものとしつつも,「戦略」と 「指標と目標」は，各企業が重要性を判断して開示するものとした [12].

サステナビリティ情報開示の増加は，企業の透明性と責任を高め，投資家や利害関係者にとって重要な意思決定の基盤を提供する．しかしながら，情報の開示には一定のばらつきがあり, 特に中小企業や新興市場企業では，開示の範囲や質が大企業と比較して不十分である場合が多い。本研究では，TCFD 推奨開示項目の適切な判定を通じて，このような情報の多様性を踏まえながらも，一貫性のある分析を可能とすることを目指す.

## 4 データセット

サステナビリティ情報開示の媒体として，有価証券報告書，統合報告書，アニュアルレポート， ESG/CSR/環境/サステナビリティレポート, TCFDレポート等が考えられる [2]. 有価証券報告書以外の媒体は，上場会社が任意で開示するものであり，また，これらの多くはPDF形式で開示されている. そのため, 本研究では, 一貫性のある分析の実現とい

う観点から，有価証券報告書を分析の対象とする.

本研究では，上場会社の有価証券報告書から，サステナビリティ情報開示に関連するテキストを集約したデータセットとして，サステナビリティ情報開示データセット (以下，本データセット)を作成した. 本データセットの作成の手順は, 有価証券報告書の収集，有価証券報告書からのテキスト抽出，サステナビリティに関するテキスト欄の抽出，XBRL タグに応じたテキストの抽出から構成される.

有価証券報告書の収集 2023 年 10 月 31 日までに開示された，2023年 3 月期以降の，その時点で日本の証券取引所に上場している, 各上場会社の最新版の有価証券報告書を，EDINET API を通じて収集した。

有価証券報告書からのテキスト抽出有価証券報告書のサステナビリティ情報開示は, 「第 2 事業の状況」の「サステナビリティに関する考え方及び取組」に記載されている。当該闌には，固有の XBRL タグが付与されており，当該タグに囲まれている全ての要素のテキストを抽出した. 当該タグを含まない，あるいは極端に文字列長が少ない有価証券報告書は対象外とした. なお，表は，リスト形式の文字列に変換し，図に関する情報は対象外とした。

XBRL タグに応じたテキスト抽出前述で抽出されたテキストの中には，より細かい粒度の XBRL タグが含まれている. 本研究では, XBRL タグの名称に「Governance」「Strategy」「Risk」「Metrics」のいずれかが含まれているXBRL タグのテキストのみを抽出の対象とした。

この結果, 本データセットは, 全 2,272 社による 13,944 件のテキストが抽出された. そして，13,944 件から，4つの構成要素のそれぞれに該当するテキストを， 100 件ずつ，合計 400 件抽出し，これを評価対象のテキストとした。

## 5 TCFD 推奨開示項目クライテリア

本クライテリア3) ${ }^{3}$ は，TCFD 推奨開示項目のそれぞれの項目が，1 つ以上のクライテリアで構成されると考え，そのクライテリアを集約することで作成した.この結果, TCFD 推奨開示項目の 11 項目に対し, 本クライテリアの総数は 27 となった. 本クライテリアを作成する時, 気候関連財務情報開示に関
 https://github.com/cierpa/tcfd_criteria
するガイダンス 3.0 (以下，TCFD ガイダンス 3.0)[13] を参照することで，各 TCFD 推奨開示項目に必要な条件を過不足なく本クライテリアに記載した。言い換えると，本クライテリアは，TCFD 推奨開示項目と TCFD ガイダンス 3.0 を平易化したものである.更に，あるクライテリアの適合の如何が他のクライテリアの結果に依存しないよう，つまり，互いのクライテリアの判断基準は独立するよう，注意深く設計した. TCFD 推奨開示項目と本クライテリアの関係を，付録 $\mathrm{A}$ の表 3 に記載する。

また，本クライテリアの作成の過程では，本デー タセットを踏まえ，現時点における日本の上場会社の開示実態を反映させるよう，修正を施した.このような修正の例として，TCFD 推奨開示項目では曖昧な用語に対して，開示実態で用いられている用語を例示として付与することが挙げられる。 なお，本データセットに基づく開示実態を踏まえた本クライテリアへの反映の時には，本データセット全体を対象とするのではなく, Latent Semantic Analysis[14] と K-means を組み合わせることで，4つの構成要素ごとに 30 件の代表的なテキストを抽出し，これを対象として分析を行った。

## 6 提案手法

本研究で提案する手法は，LLMsを活用したゼロショットテキスト分類アルゴリズムに基づいている.この手法は，事前にラベル付けされたデータセットを必要とせずに，未知のテキストを分類する. 具体的には, LLMs によって生成されたプロンプトを用いて，各テキストが TCFD 推奨開示項目クライテリアの全 27 種類の各クライテリアに該当するかを判定する。また，各クライテリアを満たす場合は True，満たさない場合は False を出力するようにプロンプトに明記した。

LLMs によるテキスト分類の精度は，プロンプトの設計に大きく依存する. 本研究では，TCFD 推奨開示項目クライテリアをプロンプトに入力し, 補足すべき情報を備考として入力した. プロンプトの例を付録 Bに示す。

## 7 実験

## 7.1 実験環境

本実験では，OpenAIの ChatGPTを利用し，APIを通じてプロンプトを実行する。この時，使用したモ
表 1 クライテリアごとの実験結果

表 2 構成要素ごとの実験結果

デルは GPT-4 の，gpt-4-1106-preview である. 評価対象のデータは，4つの構成要素のそれぞれに該当する各 100 件，合計 400 件のテキストである．1つのテキストごとに，「ガバナンス」については計 7 クライテリア分，「戦略」については計 10 クライテリア分，「リスク管理」については計 4 クライテリア分，「指標と目標」については計 6 クライテリア分のプロンプトを実行する。

本研究の実験結果を評価するため, 各クライテリアと構成要素ごとの正解率 (Accuracy), 適合率 (Precision)，再現率 (Recall) を用いた.

## 7.2 実験結果及び考察

クライテリアごとの実験結果を表 1 ，これを踏まえた構成要素ごとの実験結果を表 2 に示す. 各クライテリアの概要は，付録 $\mathrm{A}$ の表 3 に譲る. 全体的に
は高い正解率が得られているが，適合率と再現率にはばらつきが見られる．以下では，個別の傾向について考察する。

「ガバナンス」と「リスク管理」は，「戦略」と「指標と目標」と比較すると正解率が低い傾向があった. 更に，これらの中には，ID 01-04 (再現率: 0.32) をはじめとして，再現率が顕著に低いクライテリアが複数認められた．再現率が低いということは，実際に「True」と該当するテキストの多くが分類器によって見逃されていることを意味する。これは，該当するテキストに曖昧な表現が多く含まれているか，あるいは表現の多様性が高いために，LLMs がこれらを正しく識別できていない可能性がある．特に，「ガバナンス」の領域は，上場会社によって記載内容のばらつきが大きく，そのために各テキストが特定のクライテリアにどの程度適合しているかを評価する基準が曖昧になることがある。これを解決する方法として，プロンプトに「True」の例を追記するという，Few-shot[15] の手法が考えられる.

「戦略」と「指標と目標」では，概ね，再現率は高いものの，適合率は低い傾向が認められた。これは，プロンプトが特定のクライテリアを過度に広く判定していることを意味している。従って，これを解決する方法として，より厳密なクライテリアやプロンプトの設計が求められる.

以上を踏まえると，提案手法は，特定のクライテリアや構成要素に対して高い効果を発揮しているが，一部のクライテリアでは改善が必要であることが分かった。これらにおいては，クライテリアやプロンプトの設計を再考する必要がある.

## 8 おわりに

本研究では，LLMs を用いたゼロショットテキス卜分類による TCFD 推奨開示項目の分類手法を提案し，その有効性を実証した。このアプローチは， サステナビリティ情報開示の分析において，高い効率性と精度を実現し，持続可能な企業経営と財務報告の透明性向上に貢献する可能性を秘めている.今後の研究では，本クライテリアを含む分類手法の改善と，提案手法のサステナビリティ情報開示データセット全体への適用，有価証券報告書以外の開示媒体への展開が考えられる. これらの研究を通じて,上場企業が気候変動関連情報を開示する際の参考となる情報を提供し，より高い透明性とサステナビリティを目指す企業の取り組みの促進を期待する。

## 謝辞

本稿の作成に当たっては，株式会社日本取引所グループの関係者から有益なコメントを頂いた. ここに深く感謝申し上げる.

## 参考文献

[1] TCFD (Task Force Clim. Relat. Financ. Discl.). Recommendations of the task force on climate-related financial disclosures. 2017.

[2] ESG 情報開示枠組みの紹介一日本取引所グループ,（2024-01 閲覧）. https: //www.jpx.co.jp/corporate/sustainability/ esgknowledgehub/disclosure-framework/02.html.

[3] Julia Anna Bingler, Mathias Kraus, Markus Leippold, and Nicolas Webersinke. Cheap talk and cherry-picking: What climatebert has to say on corporate climate risk disclosures. Finance Research Letters, Vol. 47, p. 102776, 2022 .

[4] Nicolas Webersinke, Mathias Kraus, Julia Anna Bingler, and Markus Leippold. Climatebert: A pretrained language model for climate-related text. CoRR, Vol. abs/2110.12010, , 2021.

[5] Task Force on Climate-related Financial Disclosures. Task force on climate-related financial disclosures 2023 status report,（2024-01 閲覧）. https://www.fsb.org/ wp-content/uploads/P121023-2.pdf.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[7] David Friederich, Lynn H. Kaack, Alexandra Luccioni, and Bjarne Steffen. Automated identification of climate risk disclosures in annual corporate reports. CoRR, Vol. abs/2108.01415, , 2021.

[8] Taja Kuzman, Igor Mozetič, and Nikola Ljubešić. Chatgpt: Beginning of an end of manual linguistic data annotation? use case of automatic genre identification, 2023.

[9] N. Doi, Y. Nobuta, and T. Mizuno. Topic classification of key audit matters in japanese audit reports by zero-shot text classification. In 2023 14th IIAI International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 540545, Los Alamitos, CA, USA, jul 2023. IEEE Computer Society.

[10] 株式会社東京証券取引所. コーポレートガバナンス・コード，(2024-01 閲覧）.https://www.w3.org/ TR/jlreq/.

[11] 金融庁. サステナビリティ情報の記載欄の新設等の改正について（解説資料），（202401 閲覧）.https://www.fsa.go.jp/policy/kaiji/ sustainability01.pdf.

[12] 金融庁. 金融審議会ディスクロージャーワーキング・グループ報告, (2024-01閲覧).https://www.fsa. go.jp/singi/singi_kinyu/tosin/20220613/01.pdf.

[13] TCFD Consortium. 気候関連財務情報開示に関するガイダンス 3.0, （2024-01閲覧）. https://tcfd-consortium.jp/pdf/news/ 22100501/TCFD_Guidance_3.0_J.pdf.

[14] Scott Deerwester, Susan T Dumais, George W Furnas, Thomas K Landauer, and Richard Harshman. Indexing by latent semantic analysis. Journal of the American society for information science, Vol. 41, No. 6 , pp. 391-407, 1990.

[15] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

## A TCFD 推奨開示項目と本クライテリアの関連

 \\

## B LLMsに入カしたプロンプトの例

プロンプトの例

以下は，上場会社の開示資料の一部と，TCFD 推奨開示項目に関するクライテリアです.

\#\# 上場会社の開示資料の一部

(ここに分類対象のテキストを入力)

\#\# クライテリア

取締役会または委員会が，気候関連問題について，報告を受けるプロセスを述べているか.

\#\# 備考

委員会には，監査委員会やリスク委員会等が例として考えられる。

気候関連問題とは，気候関連のリスクや機会のことを言う。

サステナビリティへの取り組みは，気候関連問題に関係していると見なす。

今後の予定に関する内容は考慮しない。

\#\# タスク

入力した上場会社の開示資料の一部が，クライテリアを満たしている場合は True を，そうではない場合は False を出力してください.

\#\# 出力