# ECS-BERT モデルによるステークホルダー評価の定量化

指田 晋吾 1 中川慧 1 黒木 裕鷹 2 真鍋 友則 ${ }^{2}$
1 野村アセットマネジメント株式会社 ${ }^{2}$ Sansan 株式会社
\{s-sashida,k-nakagawa\}@nomura-am.co.jp \{kuroki, manabe\}@sansan.com

## 概要

ステークホルダー資本主義や ESG，SDGsへの関心の高まりから企業の社会的な評価を定量化するこ との重要性は増している。特に，企業からステーク ホルダーに対してのメッセージである統合報告書の 内容を評価することは投資家のみならず様々なス テークホルダーにとって有用である. 本研究では, ステークホルダーからの評価を定量化したスコアで ある ECS を用いてファインチューニングした BERT モデルによって，統合報告書の「良さ」を定量化し たIR スコアを提案する. 実証分析の結果，IR スコ アは ECS ブランドスコアおよび，GPIF の定性評価 との関連性を持つことがわかった。

## 1 はじめに

企業は株主だけでなく，従業員をはじめサプライ ヤー，カスタマーといったビジネス関係者などあら ゆるステークホルダーの利益に配慮すべきである という，ステークホルダー資本主義が関心を高めて いる. 実際，2019 年に米経済団体ビジネス・ラウン ドテーブル（BRT）は，企業の目的に関する声明の 中で「顧客，従業員，サプライヤー，地域社会，株主といった全てのステークホルダーの利益のため に会社を導くことにコミットする」と公表した1). また, 2020 年 1 月の世界経済フォーラム年次総会 （ダボス会議）ではステークホルダー資本主義が重点テーマとして取り上げられ，クラウス・シュワブ 会長は「企業はステークホルダー資本主義を完全に 受け入れなければならない。利益を最大化するだけ でなく，政府や市民社会と協力して能力や資源を活用し, この 10 年間の重要な課題に対処しなければ ならない，企業は，よりまとまりのある持続可能な 世界に積極的に貢献しなければならない」と述べて


いる2)。これらは，株主第一主義から，ステークホ ルダー主義への転換への宣言として受け止められて いる.

以上のようにステークホルダーに対する配慮がま すます重要視されているなかで，ステークホルダー に対する社会的な評価の高い企業は，互酬性による 長期取引の安定化や，リスクの低下などを通して，社会関係資本から様々な利益を得ていることが知ら れている [1]. 例えば，企業の社会的な評判が良い 企業ほど，高い時価総額 [2] や高 ROA[3] を示す傾向が示されている。また，企業の社会関係資本，あ るいはそれと関連した活動や評価と，株価のクラッ シュ・リスクの関係を実証した研究が複数あり，い ずれも，クラッシュ・リスクを緩和することが実証 されている $[4,5]$.

しかしながら，ステークホルダーからの評価を測定あるいは定量化することは非常に困難である.こ れまでの研究はいずれも企業の社会関係資本を直接的に測定したものではなく, CSR 活動のスコアリ ングをその代理変数として用いている $[1,4]$. しか し，企業の CSR 活動はステークホルダーとの信頼的関係必ずしもイコールではない．そこで，ビジネ ス上のなんらかのステークホルダーであることが 想定される名刺所有者から直接，当該企業の評価を 得たデータ (Eight Company Score;ECS) を用いた研究 $[2,3,5]$ が存在する. さらに, ECS は評価スコアと それに関連する自由記述闌のコメントがあり，それ らのデータを supervised LDA[6] を用いて分析するこ とで，企業の社会的な評価がどのような要因から構成されているかを特定 [7] した研究もある。しかし， ECS のようなアンケート調査は，一般に少なくない コストを必要とする。このため, 調査対象社数や調査頻度に限界がある。

一方で，企業の長期的な価値創造は企業単体で創

2) https://www.weforum.org/press/2020/01/ stakeholder-capitalism-a-manifesto-for-acohesivel - and-sustainable-world/
造するものでなく，ほかのステークホルダーとの関係から生み出されるとし，企業の主要なステークホ ルダーからの理にかなった要求や期待を企業がい かに理解し, 対応しているか3)を記述する統合報告書に注目が集まっている。実際に財務報告とは別に 統合報告書を発行する企業数は年々増加している [8]. 企業の業績などの財務面だけでなく, ESG(環境, 社会，ガバナンス) の側面や SDGs(Sustainable Development Goals) を踏まえ，社会的責任を果たし，持続可能な社会に貢献するためにも統合報告書の果 たす役割は非常に大きい [9]. ステークホルダーに 対する配慮が重要視される中で，企業からステーク ホルダーに対してのメッセージである統合報告書の 内容を評価することは投資家のみならず様々なス テークホルダーにとって有用である.

公的に入手できるテキストデータから景気動向や 企業業績，ブランド力などを評価・予測する研究は 数多く存在する $[10,11,12]$. 本研究では，ステーク ホルダーからの評価を定量化したスコアである ECS を用いてファインチューニングした BERT モデルに よって，企業がステークホルダーへ向けての様々な 取組みを記載した統合報告書の「良さ」を定量化し た IR (Integrated Report) スコアを提案する。具体的 には，BERT を事前学習モデルとして，ECS の自由記述欄のコメントと評価スコアを用いてファイン チューニングを行うことで，統合報告書への評価を 付与できるモデルを作成する. そして当該 BERT モ デルを，ECS スコアが再現できるかどうかバリデー ションで確認し，統合報告書のスコアリングを行 う. そしてステークホルダーから企業の評価である ECS と，企業からステークホルダーへの向けて記述 された統合報告書の IR スコアの関係を検証・評価 する.

## 2 分析データ

## 2.1 Eight Company Score データ

Sansan 株式会社の Eight Company Score4）（以下， ECS）は，半年に一回，調査対象企業の名刺を有す る名刺アプリ Eight のユーザーにランダムに調査票 をメール送付し，任意のアンケート結果を回収する ことで作成されている. 企業の名刺所有者を調査母


集団とすることにより，それぞれの企業とのビジネ ス上の関与が期待される母集団からの企業評判収集 を可能にしている.

ECS の調査は 2018 年の 5 月に開始され，以降半年に一度のペースで調査が行われている. 本論文で は 2018 年 5 月から 2021 年 11 月までの計 8 回の調査データを分析対象データとして使用する。調査対象企業数は 1711 社，企業あたりの平均回答者数は 154 人である.

調査は「ブランド」，「サービス」，「ヒト」の 3 項目に関する意識調査と企業についての自由記述闌か ら成り，回答者は，

ブランド: $\ulcorner x$ 社のブランドイメージは魅力的だと 思いますか?」

サービス: 「 $x$ 社の製品・サービスは自社/社会に有用だと思いますか？」

ヒト: 「 $x$ 社の人は好印象だと思いますか？」

の 3 項目の質問に対し，0-10の 11 段階の評点をつ ける。また，自由記述欄に，企業の印象ついてのコ メントを記入する．回答者は，調査会社が選択した 3 企業について回答する。

ECS の自由記述コメント数は調査全期間の累計 で 545,599 であった. ただし，記述文には「知らな い」「特にない」など，企業についての非認知の表明など，企業印象についての有意味な情報を有さ ない文も含まれていた。本研究の分析においては， そのような文を除外した。除外した結果，文の数は 436,308, 企業あたりの平均記述文数は 261 文, 記述文あたりの文字数は平均 21.3 文字，中央値は 15 文字であった。

## 2.2 統合報告書データ

統合報告書とは，企業が財務情報や経営情報に加 えてガバナンス，CSR 情報，中期計画などを統合的 にまとめて公開する報告書である。日本では会社法 で要求される決算書類や金融商品取引法で要求され る有価証券報告書と異なり，統合報告書は作成が任意であるが，発行する企業は大規模なグローバル企業を中心に，日本国内でも年々増加している。

本研究では, 日本の証券取引所に上場している企業の企業 HP から，「統合報告書である」と明記され た 2018,2019年のテキストデータを収集し，スコア リングを行なった．収集，スコアリングしたデータ 数は 2018 年で 284 社, 2019 年で 370 社についての

ものである.

## 3 分析方法

## 3.1 ECS データを用いた BERT モデルの 学習

BERT (Bidirectional Encoder Representations from Transformers)[13] は, Transformer[14]をべースに構成 されたは高性能な事前学習モデルである.

BERT モデルの構築には事前学習済みのモデル5) と ECS の自由記述コメントを利用し，文章のセン チメント評価のためのファインチューニングを行っ た. その際，ECS のデータにてブランド評価が 9 以上のものをポジティブ，4 以下のものをネガティブ とした.また，コメント投稿者の対象企業に対する 認知度について閾値を設け, 信頼性の高いコメント 内容に絞った. その結果として学習に用いたコメ ント数は全体で 303,286 件で，ポジティブに分類さ れる文章は 201,505 件, ネガティブは 101,781 件で ある. また, 対象企業をランダムに分割し, 学習,検証, 評価に用いた. 学習には 1,207 社に対する 180,658 コメントを，検証には 402 社に対する 61,722 回答を，テストには 403 社に対する 60,907 回答をそ れぞれ用いた。

## 3.2 統合報告書のスコアリング

本研究では，企業がステークホルダーへ向けての 様々な取組みを記載した統合報告書の「良さ」を定量化するため，構築した BERT モデルでのスコアリ ングを行なった．統合報告書のテキストデータは， ページ数や目次など，スコアに寄与しないと想定さ れる情報を含んでいるが，これらは前処理で取り 除いた.ここで，統合報告書の平均トークン長は 4,772であり, BERT モデルが受け付ける最大トーク ン長をはるかに超えるものである. そこで本分析で は，ひとつの統合報告書を，最大トークン長が 256 の部分文書に分割し，それぞれのスコアを平均する ことでスコアリングを行なった.

本研究で提案する IR (Integrated Report) スコアの 性質を測るため，一定の実績がある ECS ブランド スコアとの関係，年金積立金管理運用独立行政法人 (GPIF) が公開する統合報告書の定性評価との関係を 分析した.

## 4 分析結果

5) https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese

## 4.1ECS ブランドスコアの予測

テストデータの ECS ブランドスコアを予測し，企業ごとに平均した結果を図 1 に示す. 元のブランド スコアの平均との相関係数は 0.88 であり，アンケー トで得られたステークホルダーからの自由記述コメ ントとであれば，学習データにない企業に対しても 高い精度でブランドカのスコアリングが可能である ことがわかる.

図 1 ECS ブランドスコアの予測結果

## 4.2 ECS ブランドスコアと IR スコアの 相関

BERT モデルによってスコアリングした統合報告書スコアと ECS ブランドスコアの単相関を Appendix の表 3 に示す. ECS 調査は半年に 1 回行わ れているため年に 2 時点のデータが存在する. 2018 年の IR スコアは 2018 年 11 月の ECS および 2019 年 5 月と有意に正の相関がある。一方 2019 年の IR ス コアは 2019 年の ECS と有意に正の相関を示してお り，それぞれ近いデータ取得期間で相関を有してい ることがわかる。この結果は IR 内に記されている 企業のブランド力に関する情報の時間変化を本 IR スコアによってトレースできる可能性を示唆して いる.

上記単相関分析では企業の財務状況や業種が共変量になっている可能性がある。この可能性を考慮 し, 財務指標と業種 (東証 17 業種)を統制項として 変数に含めた以下の重回帰分析を行った. なお ECS ブランドスコアは年での平均値として年次データに 変換した。

ECSbrand $_{i t}=\beta_{1}$ IRscore $_{i t}+\beta_{2} \ln \left(\right.$ Sales $_{i t}$

$
\begin{aligned}
& +\beta_{3} \text { Profitability }_{i t}+\gamma_{1} \text { IndustryDummy }_{i} \\
& +\gamma_{2} \text { YearDummy }_{t}+\epsilon_{i t}
\end{aligned}
$

ここで ECSbrand $_{i t}$ は企業 $i$ の年 $t$ におけるブラ

スコア, $\ln (\text { Sales })_{i t}$ は企業 $i$ の時点 $t$ における売上高の自然対数，Profitability ${ }_{i t}$ は企業 $i$ の時点 $t$ にお ける利益率，IndustryDummy は企業 $i$ の業種ダミ一, YearDummy は年 $t$ のダミー (2019 か否か)を表して いる. $\beta$ と $\gamma$ は各変数に対する係数を表す.

結果を表 1 に示している. 表 1 のカラム (1) は年 ダミーのみ，カラム (2) は業種ダミーと年ダミーを 加えたモデル，カラム (3) は統制項を全て加えたモ デルの推定結果だが，全てのモデルにおいて IR ス コアは有意に正の係数を表しており，ECS ブランド スコアの予測に対して情報量を持っていることを示 した.

表 1 重回帰分析の推定結果

 &  &  \\

## 4.3 IR スコアと GPIF 評価の相関

GPIF は，国内株式の運用を委託している運用機関（以下，運用機関）に対して，「優れた統合報告書」と「改善度の高い統合報告書」の選定を依頼し 選定結果を毎年公表している6).

本論文で算出した IR スコアの意義をさらに探索 するために, IR スコアとこの GPIF の選定結果の関

6) https://www.gpif.go.jp/investment/20210224_ integration_report.pdf連をロジスティック回帰分析を用いて行った．統制項等の変数は前節での重回帰分析と同じ変数を用 いた. 本分析の対象となる企業は 2018 年に 122 社, 2019 年に 261 社だが，そのうち「優れた統合報告書」または「改善度の高い統合報告書」に選定され た企業はそれぞれ 47 社 $(39 \%), 101$ 社 (39\%) 存在し た。この確率に対する IR スコアの効果の推定結果 を表 2 に表す。

表 2 ロジスティック回帰分析結果

IR スコアに対する係数の値は有意に正となって おり，このスコアの高い企業は選対される確率が有意に上昇していることがわかる.

## 5 まとめと今後の課題

企業の社会的な評価を定量化することの重要性は 増しており，企業からステークホルダーに対しての メッセージである統合報告書の内容を評価すること は投資家のみならず様々なステークホルダーにとっ て有用である。本研究では，ステークホルダーか らの評価を定量化したスコアである ECS を用いて ファインチューニングした BERT モデルによって，統合報告書の「良さ」を定量化した IR スコアを計測した. 実証分析の結果，IR スコアは ECS ブラン ドスコアおよび，GPIF の定性評価との関連性を持 つことがわかった. 今後の課題としては，本研究で 定量化した統合報告書の評価スコアと財務指標や株価との関連性を検証することが挙げられる。

## 参考文献

[1] Peter W Roberts and Grahame R Dowling. Corporate reputation and sustained superior financial performance. Strategic management journal, Vol. 23, No. 12, pp. 1077-1093, 2002.

[2] 真鍋友則, 中川慧. B2b 企業ブランド評価と株価の価値関連性の実証研究. 経営情報学会誌, Vol. 29, No. 2 , pp. 87-104, 2020.

[3] 真鍋友則, 中川慧. B2b市場における企業ブランドと roa の関連性. 証券アナリストジャーナル= Securities analysts journal, Vol. 58, No. 6, pp. 73-83, 2020.

[4] Karl V Lins, Henri Servaes, and Ane Tamayo. Social capital, trust, and firm performance: The value of corporate social responsibility during the financial crisis. the Journal of Finance, Vol. 72, No. 4, pp. 1785-1824, 2017.

[5] Tomonori Manabe and Kei Nakagawa. The value of reputation capital during the covid-19 crisis: Evidence from japan. Finance Research Letters, p. 102370, 2021.

[6] David M Blei and Jon D McAuliffe. Supervised topic models. In Proceedings of the 20th International Conference on Neural Information Processing Systems, pp. 121-128, 2007.

[7] Tomonori Manabe, Kei Nakagawa, and Keigo Hidawa. Identification of $\mathrm{b} 2 \mathrm{~b}$ brand components and their performance' $\mathrm{s}$ relevance using a business card exchange network. In Pacific Rim Knowledge Acquisition Workshop, pp. 152-167. Springer, 2021.

[8] Kei Nakagawa, Shingo Sashida, Ryozo Kitajima, and Hiroyuki Sakai. What do good integrated reports tell us?: An empirical study of japanese companies using text-mining. In 2020 9th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 516-521. IEEE, 2020.

[9] 小野塚惠美, 貝沼直之. Esg 開示からみる統合報告書のあり方 (特集 esg 情報開示とその利活用). 証券アナリストジャーナル= Securities analysts journal, Vol. 59, No. 11, pp. 28-39, 2021.

[10] Keiichi Goshima, Hiroshi Ishijima, Mototsugu Shintani, and Hiroki Yamamoto. Forecasting japanese inflation with a news-based leading indicator of economic activities. Studies in Nonlinear Dynamics \& Econometrics, Vol. 25, No. 4, pp. 111-133, 2021.

[11] Roland T Rust, William Rand, Ming-Hui Huang, Andrew T Stephen, Gillian Brooks, and Timur Chabuk. Realtime brand reputation tracking using social media. Journal of Marketing, Vol. 85, No. 4, pp. 21-43, 2021.

[12] 西家宏典, 津田博史. 従業員口コミを用いた企業の 組織文化と業績パフォーマンスとの関係. 証券アナ リストジャーナル= Securities analysts journal, Vol. 56, No. 7, pp. 69-78, 2018.

[13] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186, 2019.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp.

## A 参考情報

表 3 は BERT モデルによってスコアリングした統合報告書スコアと ECS ブランドスコアの単相関表 を示す. 表中の数値は相関係数，カッコ内の数値は サンプルサイズを表している. ECS 調査は半年に 1 回行われているため年に 2 時点のデータが存在す る. 2018 年の IR スコアは 2018 年 11 月の ECS およ び 2019 年 5 月と有意に正の相関がある。一方 2019 年の IR スコアは 2019 年の ECS と有意に正の相関を 示しており，それぞれ近いデータ取得期間で相関を 有している.
表 3 ECS ブランドスコアと IR スコアの相関表

Note:

${ }^{*} \mathrm{p}<0.1 ;{ }^{* *} \mathrm{p}<0.05 ;{ }^{* * *} \mathrm{p}<0.01$
 指田 晋吾 1 中川慧 1 黒木 裕鷹 2 真鍋 友則 ${ }^{2}$ 1 野村アセットマネジメント株式会社 ${ }^{2}$ Sansan 株式会社 \{s-sashida,k-nakagawa\}@nomura-am.co.jp \{kuroki, manabe\}@sansan.com  