# 銘柄特徵と投資家特性を考慮した株式銘柄推薦の個別化

高柳剛弘 ${ }^{1}$ 坂地泰紀 ${ }^{1}$ 和泉潔 ${ }^{1}$
1 東京大学 大学院工学系研究科
m2021ttakayanagi@socsim. org

## 概要

本研究では銘柄特徵と投資家特性を考慮した銘柄推薦モデルを提案する．提案手法では銘柄のテク ニカル指標，ファンダメンタル指標，事業活動の情報を抽出し銘柄ベクトルを作成し，投資家の心理特性，行動特性，属性情報を活用して投資家ベクトル を作成する．最後に協調フィルタリングにより銘柄 の推薦を行う. 個人投資家の取引データを用いて 行った実験により、提案手法の精度が既存手法の精度を上回ることを確認し, 銘柄推薦に対して銘柄特徵と投資家特性を考慮することの有用性を示した。

## 1 はじめに

資産運用を行う個人投資家の増加に伴い銘柄推薦 の必要性が増加している. 個人投資家に銘柄を推薦 する銘柄推薦において，個人投資家がポートフォリ オを構築する目的は個人投資家ごとに異なるため，銘柄推薦をパーソナライズするとが重要である．例 えば，投資家の中には高いリターンのみを求める投資家に加えて，より慣れ親しんだ (familiar) ポート フォリオを求める投資家も存在する。

Personalized された銘柄推薦の研究では個人投資家のリスク許容度と銘柄のリスクリターンに基づい て銘柄推薦をパーソナライズする手法がよく用い られる $[1,2,3]$. 例えば，Robin はユーザーのポート フォリオから投資家のリスク許容度を推定し，株式 のリスクリターンと投資家のリスク許容度との関連性に基づいて，協調フィルタリングを用いて銘柄推薦のパーソナライズを行っている [1]. これらを背景とし, 本研究では personalized された銘柄推薦に 取り組む.

Personalized された銘柄推薦には二つの課題が存在する。一つ目の課題は銘柄の特性の考慮が十分で ないという点である. 先行研究では銘柄の特徴の中 でもリスクリターンのみに焦点を当てることが多 い.しかしながら，個人投資家は銘柄を選択する際
に銘柄のさまざまな側面を考慮して投資の意思決定 を行っている. 特に，個人投資家は主に 3 つの要因 を分析して意思決定を行うと考えられる。

## テクニカル指標

個人投資家は銘柄に対するテクニカル分析を行 い過去のトレンド，パターンを分析する.

## ファンダメンタル指標

個人投資家は経済指標や財務指標などを分析 することで企業の財務状況や経営状況を評価 する。

## 事業活動

個人投資家は決算短信やニュースデータなどの テキストデータから，企業の事業活動を分析す る $[4,5,6]$.

したがって，より良いパーソナライズを行うため には銘柄のテクニカル指標、ファンダメンタル指標、事業活動を考慮することが重要である. テクニ カル指標やファンダメンタル指標は量的な情報であ る一方で，事業活動はテキストデータやネットワー クデータなどの非構造化データにあらわれる。この ことから，銘柄推薦で事業活動を考慮する際には非構造データからの特徴抽出を行う必要がある.

二つ目の課題は個人投資家の特性に対するパーソ ナライズが不十分な点である. 先行研究では個人投資家のリスク許容度に基づきパーソナライズをして いるが，投資家モデリングの実証研究において性格特性や行動バイアスなどの心理特性と投資家行動の 関連性が示されている $[7,8,9,10]$. この中で，個人投資家の複雑な性質をリスク許容度という一つの変数により表すことが適切かどうかは明らかでない. したがって，より良いパーソナライズを行うために はこれらの投資家特性を考慮する必要がある.

本研究では銘柄特徴と投資家特性を考慮した銘柄推薦モデルを提案する.

図 1 提案手法の概要

## 2 提案手法

図 1 に示すよう提案手法は以下の三つのステッ プで構成される. Step1 では銘柄のテクニカル指標, ファンダメンタル指標，事業活動など銘柄の特徴 を抽出し，銘柄のベクトル表現を獲得する．Step2 では投資家の性格特性，行動特性，投資家の属性情報から投資家のベクトル表現を獲得する．Step3 では銘柄と投資家のベクトル表現を利用し Neural Collaborative Filtering Model を構築し, 銘柄推薦を 行う.

## 2.1 銘柄特徵の獲得

時刻 $t$ における銘柄 $i$ のテクニカル指標とファン ダメンタル指標は次のように計算される。

$
\text { technical }_{t, i}=T C\left(v_{t, i} \ldots v_{t+n, i}\right)
$

$
\text { fundamental }_{t, i}=F C\left(w_{t, i}\right)
$

ここで $v_{t, i}$ は時刻 $t$ における銘柄 $i$ の終值, $n$ はテク ニカル指標の計算に必要な期間， $w_{t, i}$ は時刻 $t$ に おける銘柄 $i$ の利益や売上高などの財務情報, $T C$ はボリンジャーボンドなどのテクニカル指標を株価時系列から計算する関数， $F C$ は Earnings Price Share(EPS) などのファンダメンタル指標を財務情報から計算する関数, そして technical ${ }_{t, i} \in \mathbb{R}^{k_{t}}$, と fundamental $_{t, i} \in \mathbb{R}^{k_{f}}$, は時刻 $t$ における銘柄 $i$ のテ
クニカル指標，ファンダメンタル指標を表すべクト ルである. 非構造データから事業活動を抽出する特徴抽出では，Takayanagi etal. で提案されたネット ワークデータとテキストデータから事業活動情報を 抽出する銘柄埋め込み (Stock Embedding) 手法を用い る [11]. Stock embedding は以下のように計算される

$
\begin{aligned}
& h_{\mathrm{BERT}, i}=\operatorname{BERT}\left(x_{i}\right) \\
& h_{\mathrm{GCN}, i}=\operatorname{ReLU}\left(\sum_{j \in N_{i}} \hat{D}^{-\frac{1}{2}} \hat{A} \hat{D}^{-\frac{1}{2}} h_{j} W+b\right) \\
& h_{\operatorname{BERT}, i}=\operatorname{BERT}\left(x_{i}\right) \\
& h_{\mathrm{GCN}, i}=\mathrm{GCN}\left(h_{\mathrm{BERT}, i}\right) \\
& \mathrm{emb}_{i}=h_{\mathrm{BERT}, i}+h_{\mathrm{GCN}, i}
\end{aligned}
$

ここで $x_{i}$ は target stock $i$ のテキストディスクリプ ションで， $h_{\mathrm{BERT}, i} \in \mathbb{R}$ はプールされた BERT の出力, $N_{i}$ は銘柄 $i$ の隣接銘柄で, $\hat{A}=A+I$ は因果 チェーン [12] により構築される企業ネットワークの 隣接行列で, $\hat{D}_{i, i}=\sum_{j=0} \hat{A}_{i j}$ は diagonal degree matrix であり, $h_{i}$ は Graph Convolutional Network(GCN)への 入力， $W$ は重み行列， $b$ はバイアス，そして $S_{\mathrm{emb}, i}$ は銘柄 $i$ の事業活動のべクトル表現である.

そして，提案手法では Multi-layer perceptron(MLP)層を用いる。

$
\begin{gathered}
S_{\text {technical }, t, i}=\operatorname{ReLU}\left(W_{\text {tech }} \text { technical }_{t, i}+b_{\text {tech }}\right) \\
S_{\text {fundamental }, t, i}=\operatorname{ReLU}\left(W_{\text {fund }} \text { fundamental }_{t, i}+b_{\text {fund }}\right)
\end{gathered}
$

$
S_{\mathrm{emb}, i}=\operatorname{ReLU}\left(W_{\mathrm{emb} \mathrm{emb}_{i}}+b_{\mathrm{emb}}\right)
$
ここで $W_{\text {tech }} \in \mathbb{R}^{l \times k_{t}}, \quad W_{\text {fund }} \in \mathbb{R}^{l \times k_{f}}, \quad W_{\text {emb }} \in \mathbb{R}^{l \times k_{e}}$, $b_{\text {tech }}, \quad b_{\text {fund }}, \quad b_{\text {emb }} \in \mathbb{R}^{l}$ であり,$l$ は銘柄のベクト ル表現の次元数である. 銘柄のベクトル表現 $q_{i}$ は 以下のように計算される。

$
q_{i}^{\mathrm{MF}}=S_{\text {technical, } t, i} \odot S_{\text {fundamental }, t i} \odot S_{\text {embi }} \odot p_{i}
$

$
q_{i}^{\mathrm{MLP}}=\left[S_{\text {technical }, t, i} \odot S_{\text {fundamental }, t, i} \odot S_{\mathrm{emb}, i} \| p_{i}\right]
$

ここで $p_{i}$ は銘柄 $i$ のワンホットベクトルであ り，๑は Hadamard productを表し，\|は concatenation operationを表す.ここでは， Hadamard productを先 に計算し次に concatenation operationを行う. $q{ }_{i}^{\text {MLP }}$ は MLP 層の銘柄ベクトルの入力で， $q_{i}^{\mathrm{MF}} \mathrm{i}$ は matrix factorization(MF) 層の銘柄ベクトルの入力である.

## 2.2 投資家特性の獲得

次に投資家の特性を分析する. $u$ を投資家で， $I_{\text {Attributes }, u}, I_{\text {Personality }, u}, \quad I_{\text {Behavioral }, u}$ を投資家 $u$ の属性，性格特性，行動特性とする。投資家特性 $I_{u}$ は以下のように示される.

$
I_{u}=\left[I_{\text {Attributes }, u}\left.\|I_{\text {Personality }, u}\right.\| I_{\text {Behavioral }, u}\right]
$

投資家ベクトル $r_{u}$ は以下のように計算される.

$
\begin{aligned}
r_{u}^{\mathrm{MF}} & =I_{u} \odot p_{u} \\
r_{u}^{\mathrm{MLP}} & =\left[I_{u} \| p_{u}\right]
\end{aligned}
$

ここで $p_{u}$ は投資家 $u$ のワンホットベクトルである. $r_{u}^{\mathrm{MLP}}$ は MLP 層の投資家べクトルの入力で， $r_{u}^{\mathrm{MF}}$ は $\mathrm{MF}$ 層の投資家ベクトルの入力である.

## 2.3 協調フィルタリング

最後に，協調フィルタリングを用いて銘柄の推薦 を行う. He etal. に従い predicted preference $y_{u, i}$ を以下のように計算する.

$
\begin{gathered}
\phi^{\mathrm{GF}}=q_{i}^{M F} \odot r_{u}^{M F} \\
\phi^{\mathrm{MLP}}=a_{L}\left(a_{L-1}\left(\ldots a_{2}\left(W_{2}\left[q_{i}^{M F} \| r_{u}^{M F}\right]+b_{2}\right) \ldots\right)+b_{L}\right) \\
\hat{y}_{u, i}=\sigma\left(W_{F}\left[\phi^{\mathrm{GF}} \| \phi^{\mathrm{MLP}}\right]+b_{F}\right) \\
\text { ここで } \sigma \text { はシグモイド関数, } a_{l} \text { は } \operatorname{ReLU} \text { などの活 } \\
\text { 性化関数, } W_{l} \text { と } W_{F} \text { は重み行列, } b_{l} \text { と } b_{F} \text { はバイ } \\
\text { アスを表している. }
\end{gathered}
$

## 2.4 損失関数

損失関数は以下のように定義される.

$
\begin{aligned}
& p\left(\mathcal{Y}, \mathscr{Y}^{-} \mid \mathbf{Q}, \mathbf{R}, \Theta f\right)=\prod_{(u, i) \in \mathcal{Y}} y_{\hat{u}, i} \prod_{(u, i) \in \mathcal{Y}^{-}}\left(1-y_{\hat{u}, i}\right) \\
& L=-\sum_{(u, i) \in \mathcal{Y}} \log \hat{y}_{\hat{u}, i}-\sum_{(u, i) \in \mathcal{Y}^{-}} \log \left(1-\hat{y_{u}, i}\right) \\
& =-\sum_{(u, i) \in \hat{y} \cup y^{-}} y_{u, i} \log y_{\hat{u}, i}+\left(1-y_{u i}\right) \log \left(1-y_{\hat{u}, i}\right)
\end{aligned}
$

ここで $y$ は正例， $y$ - は負例， $y_{u, i}$ は投資家 $u$ の銘柄 $i$ へ implicit feedback であり, $\mathbf{Q}$ と $\mathbf{R}$ は銘柄と 投資家の latent factor matrix である. 負例 $y^{-}$に関し ては，それぞれの投資家が未だ保有していない銘柄の集合から uniform sampling を行った.

## 3 実験設定

## 3.1 データセット

## 3.1.1 銘柄特性

本研究においてテクニカル指標はボリンジャー バンド，移動平均収束発散法，相対力指数，平均方向性指数，そしてストキャスティクスを用いた. ファンダメンタル指標は一株当たり利益 (earnings per share)，一株当たり純資産 (book value per share),株価収益率 (price-to-earnings ratio), そして 自己資本利益率 (return on equity) を用いた.

## 3.1.2 個人投資家特性

本研究では個人投資家の特性として性格特性，行動特性，属性情報を用いた。性格特性は 10 項目か らならアンケート ten-item personality inventory (TIPI) $[13,14]$ を用いて収集した. 行動特性は危険選好 (risk preference), 時間割引率 (time discount), 自信過剰 (overconfidence), 双曲割引 (hyperbolic discounting), 符号効果 (sign effec)，マグニチュード効果 (magnitude effect)を大阪大学の Japan Household Panel Survey $(\mathrm{JHPS})^{1)}$ を参考にしてアンケートを作成して収集し た. 属性情報は年齢，収入，金融資産の量，投資経験を用いた。

## 3.1.3 取引データ

本研究では証券会社から提供された 969 名の投資家の 2020 年の 7 月から 2022 の 9 月までの取引デー タを用いて研究を行った. 前処理として, 取引デー タを $m$ 投資家と $n$ 銘柄の user-item matrix $U_{f} \in \mathbb{R}^{m \times n}$ を以下のように定義した。

$
\left(U_{f}\right)_{i j}=f(i, j)
$

ここで $q_{i, j, t}$ は投資家 $i$ の時刻 $t$ における銘柄 $\mathrm{j}$ の ポートフォリオである.

$
q_{i, j, t}=\left.\{\begin{array}{ll}
1 & \text { if user } i \text { holds stock } j \text { in time } t \\
0 & \text { otherwise }
\end{array} .\right.
$

本研究では implicit feedback collaborative filtering useritem matrix $R$ を $U_{f_{R}}$ として Equation 21 に定義して いる.

$
f_{R}(i, j)=\left.\{\begin{array}{ll}
1 & \text { if there is } t \in T \text { s. } t . q_{i, j, t} \neq 0 \\
0 & \text { otherwise }
\end{array} .\right.
$

ここで $T \mathrm{i}$ は全体の期間である. ここで $R$ の各列 は，それぞれの投資家 $i$ が銘柄 $j$ を保有したか否か を示している。

## 3.2 タスクと評価指標

本研究では投資家が次に保有する新規銘柄を予測 するタスクである新規銘柄推薦タスクにより評価 をおこなう．データセットから各投資家の最新のト ランザクションをテストデータとして，それ以外の データをトレインデータとして用いる．銘柄推薦の 評価指標として HR@10と NDCG@10を用いる. 評価時には過去に投資家が購買したことのない 99 銘柄をランダムにサンプリングして，テストアイテム と合わせて合計 100 銘柄のランキングを取り，リス トの上位 10 銘柄をもちいて評価を行う。

## 4 結果

表 1 実験結果

図 25 つのシード値を用いた HR の箱ひげ図.ひげは最小値と最大値を示し，箱は第 1 四分位数，中央值，第 3 四分位数を表している.

図 35 つのシード値を用いた NDCG の箱ひげ図。ひげは 最小値と最大値を示し，箱は第 1 四分位数，中央值，第 3 四分位数を表している.

表 1 は実験の結果を示す. 提案手法，ベースラ インモデルに対して五つの異なるシード值で評価 し，スコアの平均を報告した。結果として提案手法が HR，NDCG 双方の評価指標でどちらもべース ラインである Generalized Matrix Factorization(GMF), MLP， Neural Matric Factroziation(NeuMF) [15] をアウ トパフォームしていることが確認できる.

図 2 と図 3 は異なるシードに対するそれぞれ $\mathrm{HR}$ ， NDCG の箱ひげ図である. 図からも提案手法が安定的にベースラインを上回ることが確認できる.

## 5 終わりに

本研究では銘柄特徴と投資家特性の Context を考慮した銘柄推薦モデルの提案を行った. 本研究では 銘柄特性として銘柄のテクニカル指標，ファンダメ ンタル指標，事業活動を，投資家特性として性格特性，行動特性，属性情報を考慮したモデルを提案し た. 実験結果により提案手法はベースラインを超え る性能を示した。

## 謝辞

本研究は大和証券グループ本社とそのグループ会社である株式会社 CONNECT の支援を受けたもの である. 加えて, 本研究は JSPS 科研費 JP21K12010 と JST 未来社会創造事業 JPMJMI20B1 の助成を受けた ものである.

## 参考文献

[1] Robin M. E. Swezey and Bruno Charron. Large-scale recommendation for portfolio optimization. In Proceedings of the 12th ACM Conference on Recommender Systems, pp. 382-386, 2018.

[2] Yang Yujun, Li Jianping, and Yang Yimei. An efficient stock recommendation model based on big order net inflow. Mathematical Problems in Engineering, Vol. 2016, pp. $1-15,2016$.

[3] Kohsuke Kubota, Hiroyuki Sato, Wataru Yamada, Keiichi Ochiai, and Hiroshi Kawakami. Content-based stock recommendation using smartphone data. Journal of Information Processing, Vol. 30, pp. 361-371, 2022.

[4] JOSEPH E. ENGELBERG and CHRISTOPHER A. PARSONS. The causal impact of media in financial markets. The Journal of Finance, Vol. 66, No. 1, pp. 67-97, 2011.

[5] Brad M. Barber and Terrance Odean. All That Glitters: The Effect of Attention and News on the Buying Behavior of Individual and Institutional Investors. The Review of Financial Studies, Vol. 21, No. 2, pp. 785-818, 2007.

[6] Stefano Dellavigna and Joshua M. Pollet. Investor Inattention and Friday Earnings Announcements. Journal of Finance, Vol. 64, No. 2, pp. 709-749, 2009.

[7] Chris Brooks and Louis Williams. The impact of personality traits on attitude to financial risk. Research in International Business and Finance, Vol. 58, p. 101501, 2021 .

[8] Fatima Akhtar, K. Thyagaraj, and Niladri Das. Perceived investment performance of individual investors is related to the big-five and the general factor of personality (gpf). Global Business Review, Vol. 19, p. 097215091771352 , 2017.

[9] Cheng-Po Lai. Personality traits and stock investment of individuals. Sustainability, Vol. 11, No. 19, 2019.

[10] Ummuhan Mutlu and Gökhan Özer. The effects of personality traits on financial behaviour. Pressacademia, Vol. 8, pp. 155-164, 2019.

[11] Takayanagi Takehiro, Sakaji Hiroki, and Izumi Kiyoshi. Setn: Stock embedding enhanced with textual and network information. In 2022 IEEE International Conference on Big Data (Big Data), 2022.

[12] Izumi Kiyoshi and Sakaji Hiroki. Economic causalchain search using text mining technology. In the First Workshop on Financial Technology and Natural Language Processing In conjunction with the 28th International Joint Conference on Artificial Intelligence, pp. 61-65, 2019.

[13] Samuel D Gosling, Peter J Rentfrow, and William B
Swann. A very brief measure of the big-five personality domains. Journal of Research in Personality, Vol. 37, No. 6, pp. 504-528, 2003.

[14] Atsushi Oshio, Atsushi Abe, Shingo Cutrone, and Pino Gosling Samuel. Big Five Content Representation of the Japanese Version of the Ten-Item Personality Inventory. Psychology, Vol. 4, pp. 924-929, 2013.

[15] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, $\mathrm{Xia} \mathrm{Hu}$, and Tat-Seng Chua. Neural collaborative filtering. WWW '17, p. 173-182. International World Wide Web Conferences Steering Committee, 2017.


# 連続時間フラクショナル・トピックモデル

中川慧

野村アセットマネジメント株式会社

kei.nak.0315@gmail.com

林 晃平
東京大学大学院数理科学研究科
kohei@ms.u-tokyo.ac.jp
}

藤本悠吾

野村アセットマネジメント株式会社

yu5fujimoto@gmail.com
## 概要

LDA の時系列性を考慮するため，DTM や，DTM を連続時間に拡張した cDTM が提案されている. し かしながら，これらの生成パラメータの変化量に各時刻での相関を持たせることで，より現実に即した モデル化が可能になると考えられる。 そこで本研究 では，cDTM の一般化を行い，生成パラメータの増分の正相関性 (長時間依存性) または負相関性 (ラフ さ)を考慮にいれた，連続時間フラクショナル・ト ピックモデルを提案する。また提案手法のパラメー タ推定は簡易的には，トピックモデルと同様である ことを示した. そして数值実験によって，提案手法 がトピックの正相関性 (長時間依存性) または負相関性 (ラフさ)を捉えることができることを確認する.

## 1 はじめに

トピックモデルとは文書の確率的生成モデルの 一つである。トピックモデルにおいて文書の生成過程はトピック分布にしたがってトピックを選択し，選んだトピックの持つ単語分布にしたがって単語 を選択していくことで生成される。ここでトピック 分布とは文書中の各話題の比率，単語分布とは各話題を構成する単語の分布を意味する。文書がトピッ クモデルから生成されたと仮定した上で，実際に観測された文書から各トピック分布および単語分布 を統計的に推定することで，文書に含まれるの話題 の比率や，話題を構成する単語の分布を知ること ができる. トピックモデルの中でも，Blei らによっ て提案された Latent Dirichlet Allocation (LDA) [1] や, トピック間に相関を加えるモデル [2]も提案されて いる.

一般にLDA においては時系列性は考慮されない
ため，トピックの時系列的な推移を確認すること はできない. この問題に対応するためにトピック の時系列性を考慮する LDA である Dynamic Topic Model (DTM) が提案された [3]. DTM では，データ セットは指定された時間ごとに均等に分割され，文書のトピック分布のパラメータおよび各トピックの 単語の分布は時間とともに変化する。.さらにDTM が離散的な時間変化をモデリングしているのに対 して，DTM を連続時間に拡張した Continuous Time DTM (cDTM) が提案された [4].

上述の通り，従来の動的トピックモデルは各時刻 における単語生成およびトピック生成のパラメー タが時間変化するモデルであった. そこでは，1 ス テップ前のパラメータに対し独立に正規分布に従う 確率変数を加えることで次の時刻のパラメータを定 めており，生成パラメータの増分は各時点で独立で ある。しかしながら，例えばある時刻で新単語また は新トピックに特有の単語が増加傾向にあるとする と, 次の観測点の時刻でもその増加傾向に応じて単語とトピックの分布が変化すると考えるのが自然で ある. 即ち，生成パラメータの変化量は，各時刻で 正の相関を持つと仮定することで，より現実に即し た文書生成を行えると考えられる $[5,6,7,8]$. また，逆にある時刻で語られていたトピックが次の時刻 では語られなくなり，新しいトピックが急に語られ るような事象，すなわちトピック分布の負の相関性 (ラフさ)を記したいケースも考えられる。そこで本研究では, 生成パラメータの増分の正相関性および 長時間依存性またはラフさを考慮にいれた手法であ る，連続時間フラクショナル・トピックモデルを提案する。提案手法は, 標準 Brown 運動の一般化であ り，増分が正の相関を持ち，かつ長期記憶性をまた はラフさを持つ非整数階 Brown 運動 [9] を生成パラ

メータの増分過程として利用する.したがって，提案手法は cDTM の一般化になっている。そのため， テキストのタイムステップが均一でない場合ある いは久損がある場合でもモデル化可能である. そし て，実際の経済ニュースデータを用いた数値実験に よって，提案手法がトピックの正相関性 (長時間依存性) または負相関性 (ラフさ)を捉えることができ ることを確認する。

## 2 提案手法

## 2.1 非整数階 Brown 運動

ここでは，非整数階 Brown 運動の定義と基本的な性質について概説する [10]. $H \in(0,1)$ を定数 (Hurst 指数) とする. 平均 0 の実数値 Gauss 過程 $B^{H}=\left.\{B_{t}^{H}\right.\}_{t \geq 0}$ が Hurst 指数 $H$ の fractional Brown 運動 $(\mathrm{fBm})$ であるとは, ほとんど確実に $B_{0}^{H}=\mu$ かつ,任意の $s, t \geq 0$ に対して次を満たすときをいう。

$
\operatorname{Cov}\left(B_{s}^{H}, B_{t}^{H}\right)=\frac{1}{2}\left(|t|^{2 H}+|s|^{2 H}-|t-s|^{2 H}\right) .
$

また, $\mathrm{fBm}$ から $\left.\{B_{t+1}^{H}-B_{t}^{H}: t=0,1, \ldots\right.\}$ という新 たな離散確率過程を考えることができ，これを fractional Gauss ノイズ (fGn) という. fBm の増分は $H>1 / 2(H<1 / 2)$ のとき正 (負) の相関をもち, $H=1 / 2$ のとき Brown 運動に一致することは定義 から明らかである. また, $B_{t}^{H}-B_{s}^{H} \sim \mathcal{N}\left(0,|t-s|^{2 H}\right)$ なので, $\mathrm{fBm}$ は定常増分である。次に, 確率過程の長期 (短期) 記憶性を定義する. $X=\left.\{X_{t}\right.\}_{t \geq 0}$ を確率過程とし, その増分を $X_{s, t}=X_{t}-X_{S}$ とす る.このとき, 確率過程 $X$ の増分が長期 (resp. 短期）記憶性を持つとは，任意の $h>0$ に対して， $\sum_{n=1}^{\infty}\left|\operatorname{Cov}\left(X_{0, h}, X_{(n-1) h, n h}\right)\right|$ が発散（resp. 有限）にな ることをいう. (1) 式から，fBm は $H=1 / 2$ のとき，標準 Brown 運動と一致する. また fBm の増分に 対しては $H>1 / 2$ のときのみ長期依存性を持ち, $H<1 / 2$ のときラフさを持つ.

## 2.2 連続時間フラクショナル・トピックモ デル

以下， $\mathbf{K}$ をピック全体の集合， $\mathbf{W}$ を単語全体 の集合とする。連続時間フラクショナル・トピッ クモデルは, 単語分布とトピック分布のパラメー タが時間発展するモデルであり, その時間変動 を $\mathrm{fBm}$ にってモデル化する. $H \in(0,1)$ とし， $\left.\{B_{t}^{H,(k, w)}: t \geq 0\right.\}_{k \in \mathbf{K}, w \in \mathbf{W}}$ 及び $\left.\{B_{t}^{H,(k)}: t \geq 0\right.\}_{k \in \mathbf{K}}$ を初期値を 0 とする独立な $\mathrm{fBm}$ の列とする. タ
イムスタンプの列 $\left.\{0=s_{0}, s_{1}, \ldots, s_{T}=T\right.\}$ における 生成パラメータ $\alpha_{s_{t}}, \beta_{s_{t}}(t=0, \ldots, T)$ を, 初期分布 $\alpha_{0} \in \mathbb{R}^{\mathbf{K}}, \beta_{0} \in \mathbb{R}^{\mathbf{K}} \times \mathbb{R}^{\mathbf{W}}$ と次式によって定めることが できる. 各 $k \in \mathbf{K}$ 及び $w \in \mathbf{W}$ に対し, 次の確率微分方程式を解く。

$
\begin{aligned}
& d \alpha_{s, k}=f_{\theta_{\alpha}}\left(\alpha_{s, k}\right) d s+\sigma_{\alpha} d B_{s}^{H,(k)} \\
& d \beta_{s, k, w}=f_{\theta_{\beta}}\left(\beta_{s, k, w}\right) d s+\sigma_{\beta} d B_{s}^{H,(k, w)}
\end{aligned}
$

ただし， $\sigma_{\alpha}, \sigma_{\beta} \in \mathbb{R} て ゙ あ る . ま た ， f_{\theta_{\alpha}}$ および $f_{\theta_{\beta}}$ は $\theta_{\alpha}$ および $\theta_{\beta}$ をパラメータに持つ関数であり，方程式 (2) が一意的な解 $\left.\{\left(\alpha_{s}, \beta_{s}\right): s \geq 0\right.\}$ が存在し, また それらの解の密度が持つような十分性質のよいも のであると仮定する。これらの関数により，トピッ ク及び単語が生成される傾向を学習することがで き，更に $\mathrm{fBm}$ により与えたノイズから長期記憶性 やラフさを再現することができる. 以下では，方程式 (2) を解いた後に，与えられたタイムスタンプ $s=s_{0}, \ldots, s_{T}$ における値を利用する. ここでは時間 に関して連続な方程式を解くことで生成パラメータ を決定しているため, 不規則サンプリングに対応可能なことに留意されたい. このパラメータ過程を用 いて，各タイムスタンプ $s_{t}$ における総単語数 $N_{s_{t}}$ の 文書 $d_{s_{t}}=\left.\{\left(w_{s_{t}, k_{i}}^{i}\right)_{1 \leq i \leq N_{s_{t}}}: k_{i} \in \mathbf{K}, w_{s_{t}, k_{i}}^{i} \in \mathbf{W}\right.\}$ の生成過程は次のように書ける。

1. 各タイムスタンプ $s_{t}$ における $\alpha_{s_{t+1}, k}$ と $\beta_{s_{t+1}, k, w}$ を (2) 式で生成する

2. 各単語 $w \in \mathbf{W}$ について，まずトピック $z \in \mathbf{K}$ を パラメータ $\phi\left(\alpha_{s_{t}}\right)$ のカテゴリ分布 (トピック分布) から一つ選び，そのトピック $z$ の単語生成 パラメータを $\beta_{s_{t}, z}=\left(\beta_{s_{t}, z, w}\right)_{w \in \mathbf{W}} \in \mathbb{R}^{\mathbf{W}}$ として, パラメータ $\phi\left(\beta_{s_{t}, k}\right)$ のカテゴリ分布 (単語分布) から $w$ を選ぶ：

$
\begin{aligned}
& z \sim \operatorname{Categorical}\left(\phi\left(\alpha_{s_{t}}\right)\right), \\
& w \sim \operatorname{Categorical}\left(\phi\left(\beta_{s_{t}, z}\right)\right) .
\end{aligned}
$

ここで, $V$-次元単体 $\sigma_{V}=\left.\{x \in[0,1]^{V}: x_{1}+\cdots+\right.$ $\left.x_{V}=1\right.\}^{V}$ に対してパラメータ $\phi \in \sigma_{V}$ を持つ, Categorical $(\phi)$ は確率密度関数が

$
p_{\text {Cat }}(x \mid \phi)=\prod_{v=1}^{V} \phi_{v}^{x_{v}}
$

で表される $\{0,1\}^{V}$ 上の分布である. また, $\phi: \mathbb{R}^{V} \rightarrow$ $\sigma_{V}$ は softmax 関数であり次式で定義される.

$
\phi(\beta)_{v}=\frac{\exp \left(\beta_{v}\right)}{\sum_{1 \leq v \leq V} \exp \left(\beta_{v}\right)}
$
図 1 に提案手法である連続時間フラクショナル・ト ピックモデルのグラフィカルモデル表現を示す.こ こで, $\phi_{s}^{z}$ (resp. $\phi_{s}^{w}$ ) は時刻 $s$ におけるトピック (resp.単語) 分布である. ここでは簡単のため, ドリフト 関数のパラメータ $\theta_{\alpha}, \theta_{\beta}$ の寄与は省略した. 連続時間の微分方程式を解くことによりパラメータ生成を 行っているため，サンプリングが不規則であっても 対応できることを図では表現している.

図 1: 連続時間フラクショナル・トピックモデルの グラフィカルモデル表現.

## 2.3 パラメータ推定

以下, $T+1$ 個のタイムスタンプ $\left.\{0=s_{0}, s_{1}, \ldots, s_{T}=\right.$ $T\}$ において観測された文書 $\hat{d}_{s_{t}}=\left.\{\hat{w}_{s_{t}}^{i} \in \mathbf{W}\right.$ : $\left.i=1, \ldots,\left|\hat{d}_{s_{t}}\right|\right.\}(t=0, \ldots, T)$ が与えられている とする.また, 生成パラメータの初期分布を $\alpha_{0} \sim \mathcal{N}\left(\mu_{\alpha}, v_{\alpha} I_{|\mathbf{K}|}\right)$ および $\beta_{0} \sim \mathcal{N}\left(\mu_{\beta}, v_{\beta} I_{|\mathbf{K}| \times|\mathbf{W}|}\right)$ と する.ただし， $\mathcal{N}(\mu, v)$ は平均 $\mu$, 分散共分散行列 $v$ の正規分布を表す.このとき，連続時間フ ラクショナル・トピックモデルのパラメータ は, $\Phi=\left(\Phi_{\alpha}, \Phi_{\beta}\right)$, ただし $\Phi_{\alpha}=\left(\mu_{\alpha}, v_{\alpha}, \sigma_{\alpha}, \theta_{\alpha}\right)$ お よび $\Phi_{\alpha}=\left(\mu_{\beta}, v_{\beta}, \sigma_{\beta}, \theta_{\beta}\right)$, で与えられる. このと き，ドリフト関数 $f_{\theta_{\theta_{\alpha}}}$ (resp. $\mathrm{v} f_{\theta_{\beta}}$ ) のパラメータ 数を $D_{\theta_{\alpha}}$ (resp. $D_{\theta_{\beta}}$ )とすると, パラメータ空間は $\Theta=\Theta_{\alpha} \times \Theta_{\beta}$, ただし,

および

$
\Theta_{\alpha}=\underbrace{\mathbb{R}^{\mathbf{K}}}_{\mu_{\alpha}} \times \underbrace{\mathbb{R}_{+}}_{v_{\alpha}} \times \underbrace{\mathbb{R}}_{\sigma_{\alpha}} \times \underbrace{\mathbb{R}^{D_{\theta_{\alpha}}}}_{\theta_{\alpha}}
$

$
\Theta_{\beta}=\underbrace{\mathbb{R}^{\mathbf{K} \times \mathbf{W}}}_{\mu_{\beta}} \times \underbrace{\mathbb{R}_{+}}_{v_{\beta}} \times \underbrace{\mathbb{R}}_{\sigma_{\beta}} \times \underbrace{\mathbb{R}^{D_{\theta_{\beta}}}}_{\theta_{\beta}}
$

で表される. 以下では, 各時刻 $t=0, \ldots, T$ における 次の対数尤度関数をパラメータ $\Phi \in \Theta$ について最大化する.

$
L_{s_{t}}(\Phi)=\log p\left(\hat{d}_{s_{t}} \mid \Phi\right)=\sum_{\hat{w}_{s_{t}} \in \hat{d}_{s_{t}}} \log p\left(\hat{w}_{s_{t}} \mid \Phi\right)
$

ここで, 各時刻 $s$ について, $\Phi_{\alpha}=\left(\mu_{\alpha}, v_{\alpha}, \sigma_{\alpha}\right)$ およ び $\Phi_{\beta}=\left(\mu_{\beta}, v_{\beta}, \sigma_{\beta}\right)$ としてパラメータ $\Phi=\left(\Phi_{\alpha}, \Phi_{\beta}\right)$ が与えられたときの各単語の確率密度関数は,

$
\begin{aligned}
p\left(w_{s} \mid \Phi\right)= & \sum_{k \in \mathbf{K}} p\left(z_{s}=k \mid \Phi\right) p\left(w_{s, k}=w_{s_{t}} \mid \Phi\right) \\
= & \int_{\mathbb{R}^{\mathbf{K}}} \int_{\mathbb{R}^{\mathbf{K} \times \mathbf{W}}} \sum_{k \in \mathbf{K}} p_{\mathrm{Cat}}\left(z_{s}=k \mid \phi\left(\alpha_{s}\right)\right) \\
& \times p_{\mathrm{Cat}}\left(w_{s, k}=w_{s} \mid \phi\left(\beta_{s, k}\right)\right) \\
& \times p\left(\alpha_{s} \mid \Phi_{\alpha}\right) p\left(\beta_{s} \mid \Phi_{\beta}\right) d \alpha_{s} d \beta_{s}
\end{aligned}
$

で与えられる.ここで, $p\left(\alpha_{s} \mid \Phi_{\alpha}\right)$ および $p\left(\beta_{s} \mid \Phi_{\beta}\right)$ は時刻 $s$ における $\alpha_{s}$ および $\beta_{s}$ の確率密度関数で ある。

本稿では，トピックまたは単語分布の長期記憶性 やラフさを再現することを確認することが目的であ り，簡単のため単純化された設定の下で文章生成を 行う。そのもとで, 提案手法の尤度 (4) の最大化に ついて次が成立する。

命題 1. ドリフト関数が $f_{\alpha}=0$ かつ $f_{\beta}=0$ の場合,尤度 (4) の最適化は古典的な (即ち時間発展のない定常的な) トピックモデルの最適化問題に帰着される.

そのため特に，EMアルゴリズムや変分ベイズ推定などの手法を適用することができる。

## 3 実証分析

## 3.1 データセット

提案モデルによる時系列相関を考慮したトピッ ク抽出を評価するため，本実験では重大イベント (東日本大震災) 前後でのトピック推移について定性的な評価を行う．提案モデルの評価のため，ロイ ターニュース ${ }^{1)}$ から東日本大震災を含む前後 5 日間 (2011/3/8 3/12) のニュース記事 178 件を抽出し，実験を行った。

## 3.2 実験設定

提案モデルの入力には，ニュース記事から名詞を 抽出し計算した Bag of Words 形式の特徴量を利用し た. またモデルの学習には，マルコフ連鎖モンテカ

1) https://jp.reuters.com/

(a) $H=0.1$ (ラフな $\mathrm{fBm})$

(b) $H=0.5(\mathrm{cDTM})$

(c) $H=0.9$ (長期記憶性を持つ $\mathrm{fBm}$ )

図 2: 東日本大震災前後のニュースのトピック分布推移

ルロ法 $(\mathrm{MCMC})$ を利用した。本実験の対象期間は 5 日間と短期であるため，トピック分布は期間中変化 する一方で，トピック内の単語分布の変化は相対的 に小さいことが想定される．よって本実験では，ト ピック分布の生成パラメータ $\alpha$ のみ時間発展する設定で実験を実施した. 提案モデルの評価としては， トピックの時系列相関を制御するパラメータである Hurst 指数を変化させた際に，学習結果として得ら れるトピック推移，および上位トピックに出現する 単語を算出した. 提案モデルにおけるハイパーパラ メータである Hurst 指数 $H$ をそれぞれ 0.1,0.5,0.9 に 設定し，トピック数は 5 に設定し実験を行った. そ れぞれ,$H=0.1$ の場合はラフさを,$H=0.5$ のとき は Brown 運動 (cDTM)， $H=0.9$ の場合は長期記憶性 を持つ。

## 3.3 結果

図 2 は，提案モデルによって得られたトピック分布のパスの推移を示している. Hurst 指数が大きい 設定では，イベント前後でトピックの推移が大きく 変化することはなく, 各トピックの正相関性が保た れてことがわかる。一方で, Hurst 指数を小さくし たケースではイベント後にトピックの発生確率の大幅な変動がみられる。 中間の $\mathrm{H}=0.5$, つまり cDTM のケースは両者の中間の位置付けとなっている.こ のように，Hurst 指数を制御することで，提案モデル が長期依存性を持つトピックや短期依存性を持つト ピックの動向を追跡できている.

$H=0.1$ について，関連するニュースの増加に伴 うトピック分布の変動を捉えられていると考えられ る. 具体的に，5つのトピックはそれぞれ，トピッ ク 1(青線) は国内ニュース，トピック2(オレンジ線) は国内市況，トピック3(緑線) は海外ニュース，ト ピック 4(赤線) は海外市況，トピック 5 (紫線) は中国関連と解釈できるイイベント前はリビア情勢不安や 中国の政府・経済動向といった海外ニュースおよび 海外市況のトピックが多かった. 一方で，イベント 後は震災に関する国内ニュースおよび国内市況のト ピックが大幅に上昇した。

## 4 まとめ

本研究の貢献は次の通りである.

$\cdot$cDTM の一般化を行い，生成パラメータの増分 の正相関性 (長時間依存性) および負相関性 (ラ フさ)を考慮にいれた手法である，連続時間フ ラクショナル・トピックモデルを提案した.
- 提案手法のパラメータ推定は簡易的には，卜 ピックモデルと同様であることを示した.

・実際の経済ニュースデータを用いた数値実験に よって，提案手法がトピックの長時間依存性や ラフさを捉えることができることを確認した.

本研究の限界として, トピックまたは単語分布の 長期記憶性やラフさの再現が主目的のため，ドリフ 卜項を考慮しなかった。加えて，fBm は一般には 独立増分性を持たないため $[3,4]$ と同様に Kalman Filterをもとにトピック分布あるいは単語分布の事後分布を効率的に計算することができない.

今後の発展として，トピック分布あるいは単語分布の事後分布の効率的な計算方法を考察することが 挙げられる。また，本研究では考慮していないドリ フト項を非線形なニューラルネット関数を用いて学習させる ODE-Net (SDE-Net) ベースの拡張 [11] また は本研究と同様に fBm による ODE-Net ベースの拡張 [12] が挙げられる.

## 参考文献

[1]David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[2]David M Blei and John D Lafferty. A correlated topic model of science. The annals of applied statistics, Vol. 1, No. 1, pp. $17-35,2007$.

[3]David M Blei and John D Lafferty. Dynamic topic models. In Proceedings of the 23rd international conference on Machine learning, pp. 113-120, 2006.

[4]Chong Wang, David M Blei, and David Heckerman. Continuous time dynamic topic models. In UAI'08 Proceedings of the Twenty-Fourth Conference on Uncertainty in Artificial Intelligence, 2008.

[5]Liangjie Hong and Brian D Davison. Empirical study of topic modeling in twitter. In Proceedings of the first workshop on social media analytics, pp. 80-88, 2010.

[6]Xuanhui Wang, ChengXiang Zhai, Xiao Hu, and Richard Sproat. Mining correlated bursty topic patterns from coordinated text streams. In Proceedings of the 13th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 784-793, 2007.

[7]Xuerui Wang and Andrew McCallum. Topics over time: a non-markov continuous-time model of topical trends. In Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 424-433, 2006.

[8]Jure Leskovec, Lars Backstrom, and Jon Kleinberg. Memetracking and the dynamics of the news cycle. In Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 497-506, 2009.

[9]Benoit B Mandelbrot and John W Van Ness. Fractional brownian motions, fractional noises and applications. SIAM review, Vol. 10, No. 4, pp. 422-437, 1968.

[10]Francesca Biagini, Yaozhong Hu, Bernt Øksendal, and Tusheng Zhang. Stochastic calculus for fractional Brownian motion and applications. Springer Science \& Business Media, 2008.

[11]Ricky TQ Chen, Yulia Rubanova, Jesse Bettencourt, and David K Duvenaud. Neural ordinary differential equations. Advances in neural information processing systems, Vol. 31, , 2018.

[12]Kohei Hayashi and Kei Nakagawa. Fractional sde-net: Generation of time series data with long-term memory. In 2022 IEEE 9th International Conference on Data Science and Advanced Analytics (DSAA). IEEE, 2022.

## A Appendix: 命題の証明

ドリフト関数が $f_{\alpha}=0$ かつ $f_{\beta}=0$ の場合，式 (2) は次のように解くことができる.

$
\alpha_{s}=\alpha_{0}+\delta B_{s}^{H}, \quad \beta_{s}=\beta_{0}+\sigma B_{s}^{H}
$

よって，時刻 $s$ において $\alpha_{s}$ および $\beta_{s}$ の分布は Gauss 分布を用いて明示的に表すことができる. これは古典的な (即ち時間発展のない定常的な) トピックモデ ルの最適化問題と等しく, そのため尤度 (4) の最適

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 決算説明会のテキスト特徵と株主資本コストの関連性

真鍋友則 ${ }^{1}$ 黒木裕鷹 1 中川慧 2
${ }^{1}$ Sansan 株式会社 ${ }^{2}$ 野村アセットマネジメント株式会社
\{manabe, kuroki\}@sansan. com k-nakagawa@nomura-am.co.jp

## 概要

決算説明会は，企業が決算状況を説明し，参加者 は質疑応答を通して疑問を解消することができるた め，情報開示の主要な手段に位置付けられている。企業による積極的な情報開示は，情報の非対称性を 緩和し資本コストを下げることが理論的に知られて いる。しかし決算説明会の発言内容に由来する特徵 と資本コストがどのように関連するかについては明 らかではない，そこで本研究では，決算説明会のテ キスト特徴が資本コストとどのような関係にあるか を分析する．結果として，質疑応答セクションが長 いという意味で情報開示に積極的な企業の資本コス トが低い傾向が得られた。

## 1 はじめに

株式会社では所有と経営が制度的に分離されて おり, 企業内部の経営者と企業外部のステークホル ダーとの間では情報の非対称性が存在する. そのた め, 金融商品取引法などの各種の規制によって必要最低限の情報開示 (ディスクロージャー)を企業に要求している. しかし, このような規制に基づくディ スクロージャーだけでは情報の非対称性が十分に 緩和されない [1]. そこで, 多くの企業が株式市場 における適正な株価形成，事業内容の理解の促進，投資家とのリレーションの形成, 社会的認知度の向上などを目的として，追加的な情報をステークホ ルダーに対して適時に発信する IR(Investor Relations)活動を行っている.

IR の代表的な手段の一つに決算説明会がある.決算説明会とは, 決算短信が公表された後に速やか に開催される，企業の業績や計画，戦略などについ て説明が行われる場である。決算説明会は，経営者 によるプレゼンテーション（説明）のセクション と, 参加者と経営者との質疑応答のセクションで構成されることが通常である. 参加者は経営者による 業績についての説明あるいは解釈を直接聞くことが
できるほか，質疑応答を通して業績と見通しに関す る疑問を解消することができる。

前述の通り企業内部の経営者と外部の投資家の間 には情報の非対称性があり，IR 活動はそれを緩和す ることを目的とする. 実際に，[2,3] ではより質の高 い情報開示が市場参加者間の情報の非対称性を低下 させ，その結果資本コストは削減されることが示唆 されている．また，実際に開示の量や質が資本コス 卜と関係があることを実証する研究も数多く存在す る $[4,5,6]$. 情報開示の中でも，米国および日本市場においても，決算説明会を対象にした研究が存在 している $[7,8,9,10]$. また，説明会の内容や発話の テキスト特徴にまで踏み込んだ分析事例もいくつか 存在する. [11] はテキストに感情極性を付与し, 質疑応答セクションの極性が肯定的であった企業の株式は，その後に有意な異常リターンを生むことを示 している。また，国内市場においても，[12] は感情極性と将来業績を, [13] は様々な感情極性とその後 の異常リターンをそれぞれ分析している。

しかし, これらの決算説明会についての先行研究 はいずれも決算説明会のもつ情報価値を投資の観点で，すなわち株価リターンや流動性に対する説明力で測るものである. 決算説明会のどのような特徴 (開示) が理論モデルが示すように情報の非対称を緩和し資本コストを低減するかは未だ明らかではな い. また，コーポレートガバナンス・コードの基本原則 5「株主との対話」でも，資本コストを意識し た経営とその情報開示を意識づけられており，資本 コストに関する分析への社会的なニーズは高い，そ こで本研究では, 決算説明会の書き起こしテキスト 情報と企業の財務情報を用いて，決算説明会のテキ スト特徴が，対応する決算の財務的背景や資本コス トとどのような関係にあるかを分析する．資本コス トと関係する特徴が明らかになれば，どのような情報開示が資本コストを低下させるかへの手がかりと なり得る。

## 2 データ分析

本節では，本研究で扱う決算説明会のテキスト データと分析手法について概説する. 分析の目的 は，決算の内容とそれを受けた決算説明会のテキス ト特徴，さらには資本コストの関係を分析すること である。端的には, 決算説明会テキストデータに対 し，極性辞書を用いた感情極性のスコアリングおよ び文章長に対し，対応する決算の財務的内容を踏ま え資本コストとの相関関係を分析した。

米国の年次業績報告書 (10-K) を対象とした研究で は, その単語数が多くまた難読性が高い，すなわち 複雑で読みにくい (情報コストが高い) 報告書を提出 する企業ほど業績が悪く[14]，小口投資家からの投資量が減少し [15], またその後の高いボラテリティ やアナリスト評価のばらつきにも影響すること [16] が報告されている．なお [16] は，金融文書のような 専門性が高い文章の読み易さを評価する上では Fog Index のような一般的な難読性指標は適切ではなく，難読性の代替指標として単純なファイルサイズがよ り有効な指標であることを指摘している.

これらを踏まえ本研究では，感情極性以外の決算説明会のテキストの特徴として，プレゼンテーショ ン (説明) セクションの文章長と質疑応答セクション の文章長をそれぞれ使用した．特に質疑応答は決算説明会固有の重要な機会であるが，その時間配分や 実際に生じた質問量などは企業によって異なる. 質疑応答文章長は質疑応答の時間的長さや活発さの代替指標と考えられ，そこには情報の非対称性の解消 に向けた企業の姿勢や投資家からの関心の高さが反映されていることが予想される。

## 2.1 決算説明会のテキストデータ

本研究では，ログミー株式会社が提供する金融イ ベントの書き起こしメディアであるログミーファ イナンス1)の決算説明会のテキストを対象に分析を 行った. ログミーファイナンスでは, 決算説明会の ほかに個人投資家向けの説明会や株主総会などが文字起こしされ，記事として提供されている。また， テキストはイベントの音声がそのまま文字起こしさ れるのではなく，ライターや校正の手によって，内容や語彙・ニュアンスを変えることなく成立した文章として書き起こされる.

2022 年 12 月末までに公開された記事は約 5,127

1) https://finance.logmi.jp/件あり，そのうち 4,508 件が決算説明会に関する記事, さらに 666 件が質疑応答セクションの内容も含 まれる記事である。本研究ではそのうち, 2018 年か ら 2022 年に公開された本決算についての記事 254 記事を対象とした。

## 2.2 資本コストの計算

資本コストは Fama-French の 3 ファクターモデル [17]を用いて [18] と同様に算出した. 具体的には,企業 $i$ の月次株価リターン $r_{i t}$ を用いて次の回帰式 によって $\hat{\beta}_{i}, \hat{\delta}_{i}, \hat{\gamma}_{i}$ を推計する.

$r_{i t}-r_{f t}=\beta_{i}\left(r_{M t}-r_{f t}\right)+\delta_{i} S M L_{t}+\gamma_{i} H M L_{t}+\varepsilon_{i t}$.

ここで, $r_{f t}, r_{M t}, S M L_{t}, H M L_{t}$ は Kenneth French $の$ Web サイト ${ }^{2}$ から取得した. 係数は月毎に，その前月を最終月とした 60 ヶ月のウインドウデータに基 づいて算出した. 推定した係数を用いて時点 $t$ にお ける企業 $i$ の資本コスト $C P_{i t}$ は

$C P_{i t}=\hat{\beta}_{i t} \mathbb{E}\left[\left(r_{M t}-r_{f t}\right)\right]+\hat{\delta}_{i t} \mathbb{E}\left[S M L_{t}\right]+\hat{\gamma}_{i t} \mathbb{E}\left[H M L_{t}\right]$.

と計算できる.ここで各期待値 $\mathbb{E}[\cdot]$ は， $r_{f t}, r_{M t}, S M L_{t}, H M L_{t}$ それぞれの 1990 年 7 月か ら $t$ 時点までの平均値として計算した。

## 2.3 決算説明会テキストへの感情極性 スコアリング

本研究では，本邦における決算説明会のテキスト 分析が少ないこと，より単純で解釈が容易であるこ とから，金融ドメインに特化した日本語の極性辞書 [19]を用いて感情極性の付与を行う．辞書には 1 文字だけの極性表現や，3 文字以内のひらがな・ カタカナのみから構成される極性表現が含まれる が，これらは除いた上で使用した. 辞書では，トー クンに対し連続的な値を取るスコアが付与されて おり，これを用い式 (2)ように極性を付与した.こ こで, 企業 $i$ の決算説明会のテキストは, 企業から の決算説明のセクションと，それに続く質疑応答の セクションからなり，その構成する文字列の系列を $\boldsymbol{d}_{i}=\left.\{\boldsymbol{d}_{i, P T}, \boldsymbol{d}_{i, Q A}\right.\}$ と表すこととする. $s(w)$ は文字列 $w$ が極性辞書に含まれるときその極性の値を，含 まれないとき 0 を返す関数である.

$
\operatorname{TONE}(\boldsymbol{d})=\frac{\sum_{w \in \boldsymbol{d}} s(w)}{\sum_{w \in \boldsymbol{d}}|s(w)|}
$
 french/data_library.html

また，本分析では次の 2 つの極性を定義し，それ ぞれの決算説明会のテキスト $d_{i}$ に対して付与した.

・説明セクションの感情極性：

$
\text { TONE }\left(\boldsymbol{d}_{i, P T}\right)
$

・質疑セクションの感情極性：

$
\operatorname{TONE}\left(\boldsymbol{d}_{i, Q A}\right)
$

## 2.4 決算データ・資本コストとの関連分析

(1) 式の資本コスト $C P_{j t}$ を従属変数とした重回帰分析を行い，決算発表のテキスト特徴との関連を分析する. ここで, $T O N E_{P T, j t}, T O N E_{Q A, j t}$ はプレゼ ンテーションセクションと質疑応答セクションの感情極性スコア, $L E N_{P T, j t}, L E N_{Q A, j t}$ はそれぞれのテ キスト長， $Y D_{t}$ は年のダミ一変数, $S D_{j}$ は所属セク ター（TOPIX11）のダミー変数である．その他の変数 CONTROL $L_{j t}$ には，対数売上高 $(\log (S A L E S))$ や 時価簿価比 $(B M)$, レバレッジ (LEVERAGE), 売上成長率 $(S G)$ などが含まれる $[20,6]$. コントロール 変数は決算発表で言及されている決算の値を用い た.また， $\beta$ はそれぞれの変数に対する係数，Гは コントロール変数に対する係数べクトルを表す。

$C P_{j t}=\beta_{1} T O N E_{P T, j t}+\beta_{2} T O N E_{Q A, j t}+\beta_{3} L E N_{P T, j t}+$

$C P_{j} t, S G, B M$ について，両側 $1 \%$ のウィンソライ ズ処理により異常値の補正を行った. 各変数の要約統計量を表 1 に示す. 全ての変数について欠損がな く，最終的に分析に用いたサンプル数は 211 であっ

は重回帰分析にあたり対数変換を施した。

## 3 結果

重回帰分析の結果を表 2 に示した.

表 2 より，質疑応答文の文字数が多いと資本コス トが低い傾向があることがわかる。これは，決算説明会において，既に発表されている決算の内容や企業が予め用意したスクリプトよりも，投資家からの 要請である質疑応答により長い時間を用意すること が，より良い情報開示になっていることを示唆する 結果である。このことは，情報の非対称性を緩和す る IR 活動，すなわち情報開示の質が良いと資本コ表 1 各変数の要約統計量

表 2 式 (3)の重回帰分析の結果

ストが低くなるとする一連の既存研究の結果とも整合的である.

また，感情極性スコアの回帰係数は，プレゼン テーションセクションも質疑応答セクションも共に 有意水準 $5 \%$ では棄却されなかった。このことから，他の独立変数を条件付け決算の内容を踏まえたと き，決算説明会において論調を変えることは，資本 コストの高低には影響しないことが示唆される。

## 4 まとめ

本研究では，情報の非対称性という観点から IR 活動の一種である決算の内容を踏まえた決算説明会 のテキスト特徴，さらには資本コストの関係を分析 した. 結果として，質疑応答の長い説明会を開催す る企業は，資本コストも低い傾向にあることを明ら かにした.この結果は，決算説明会の質疑応答ひい ては投資家からの要請で情報を開示することが，情報の非対称性を緩和する質の良い IR の要素になっ ていることを示唆する.

本研究の限界として, 決算説明会の書き起こしを 入手できた企業の数が現在ではごく一部に限られ，上場企業全体から見た場合にはバイアスがあること が挙げられる. また時点も直近の数年に限定されて いる. 企業数及び時点のサンプル数を拡大したとき に同様の事象が観測されるとは限らない. 今後, サ ンプル数の拡充と継続した分析が必要になると考 える.

さらに，本研究では資本コストとテキストの表面的な特徴との関連を分析するに留まったが，より内容に踏み込むアプローチとして，質疑応答で言及さ れているトピックを分類し分析することなどが考え られる。また，先行研究を踏まえた場合，ボラテリ ティやリターンなどとの関連分析も興味深い示唆に つながると考える. 今後の研究課題としたい.

## 参考文献

[1] Jeremy Bertomeu and Robert P Magee. Mandatory disclosure and asymmetry in financial reporting. Journal of Accounting and Economics, Vol. 59, No. 2-3, pp. 284-299, 2015.

[2] Douglas W Diamond. Optimal release of information by firms. The journal of finance, Vol. 40, No. 4, pp. 10711094, 1985.

[3] Douglas W Diamond and Robert E Verrecchia. Disclosure, liquidity, and the cost of capital. The journal of Finance, Vol. 46, No. 4, pp. 1325-1359, 1991.

[4] Christine A Botosan. Disclosure level and the cost of equity capital. Accounting review, pp. 323-349, 1997.
[5] Christine A Botosan and Marlene A Plumlee. A reexamination of disclosure level and the expected cost of equity capital. Journal of accounting research, Vol. 40, No. 1, pp. 21-40, 2002.

[6] 内野里美. 自発的な情報開示が自己資本コストに与 える影響. 現代ディスクロージャー研究, Vol. 6, pp. $15-25,2005$.

[7] Stephen Brown, Stephen A Hillegeist, and Kin Lo. Conference calls and information asymmetry. Journal of Accounting and Economics, Vol. 37, No. 3, pp. 343-366, 2004.

[8] Michael D Kimbrough. The effect of conference calls on analyst and market underreaction to earnings announcements. The Accounting Review, Vol. 80, No. 1, pp. 189-219, 2005.

[9] 張潚月, 金奕群. 決算説明会における質疑応答内容 の開示と情報の非対称性との関係. 証券アナリスト ジャーナル, Vol. 59, No. 8, pp. 86-98, 2021.

[10] 真鍋友則, 黒木裕鷹, 指田晋吾, 中川慧. 決算説明会に 関する情報開示の効果検証. 人工知能学会第二種研究会資料, Vol. 2022, No. FIN-029, pp. 18-22, 2022.

[11] S McKay Price, James S Doran, David R Peterson, and Barbara A Bliss. Earnings conference calls and stock returns: The incremental informativeness of textual tone. Journal of Banking \& Finance, Vol. 36, No. 4, pp. 9921011, 2012.

[12] 橋本英樹. 国内企業の決算説明会の感情分析. 第 55 回 2021 年度夏季ジャフィー大会, 2021.

[13] 黒木裕鷹, 真鍋友則, 指田晋吾, 中川慧. 決算説明会 テキストデータの感情極性と株式リターンの分析.人工知能学会第 29 回金融情報学研究会, pp. 47-53, 2022.

[14] Feng Li. Annual report readability, current earnings, and earnings persistence. Journal of Accounting and economics, Vol. 45, No. 2-3, pp. 221-247, 2008.

[15] Brian P Miller. The effects of reporting complexity on small and large investor trading. The Accounting Review, Vol. 85, No. 6, pp. 2107-2143, 2010.

[16] Tim Loughran and Bill McDonald. Measuring readability in financial disclosures. the Journal of Finance, Vol. 69, No. 4, pp. 1643-1671, 2014.

[17] Eugene F Fama and Kenneth R French. The cross-section of expected stock returns. the Journal of Finance, Vol. 47, No. 2, pp. 427-465, 1992.

[18] 太田浩司, 斉藤哲朗, 吉野貴晶, 川井文哉. Capm, fama-french 3 ファクターモデル, carhart 4 ファクター モデルによる資本コストの推定方法について. 関西大学商学論集, Vol. 57, No. 2, pp. 1-24, 2012.

[19] Tomoki Ito, Hiroki Sakaji, Kota Tsubouchi, Kiyoshi Izumi, and Tatsuo Yamashita. Text-visualizing neural network model: understanding online financial textual data. In Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 247-259. Springer, 2018.

[20] Sabino P Kothari, Xu Li, and James E Short. The effect of disclosures by management, analysts, and business press on cost of capital, return volatility, and analyst forecasts: A study using content analysis. The Accounting Review, Vol. 84, No. 5, pp. 1639-1670, 2009.


# トピックモデルによる市場変動要因の抽出

川原一修 1
${ }^{1}$ Japan Digital Design
\{takanobu.kawahara\}@japan-d2.com

## 概要

本稿では日々大量に生じる金融ニュースから市場 の変動に影響を与えたトピックをトピックモデルを 使用して効率的に抽出する手法を考察した。先行研究と比べてトピックの抽出に文章のコンテキストま で用いる点に新規性があり、比較実験でコンテキス トを使用する手法の優位性を示したあと、実際に市場変動に影響を与えたトピックを抽出し人間の目で 見ても違和感のないことを確かめた。

## 1 はじめに

金融アナリストが市場分析を行う際に、過去に あった、類似した環境での市場動向について調査し 将来を予想する上での参考とすることが多々ある。 しかし、金融市場は様々な要素で変動し、市場の値動きだけから過去の相場がどのような要素によって ドライブされていたのか特定することは難しく、金融アナリストは過去の金融ニュースなど多量の文献調査に時間をさくケースがままある。そこで本稿で は、市場関連ニュースのヘッドラインを使用してど のようなニュースが市場の動向に影響を与えていた のか検出する手法について考察した。日々大量に流 れてくるニュースをトピックモデルによって大別 し、その後シンプルな回帰モデルで市場変動に影響 を与えていたトピックを効率的に検出する手法を提案する。時々の市場をドライブしていたトピックを 明らかにすることで、金融アナリストの文献調查の 補助情報として利用することを考えた。

## 2 先行研究

## 2.1 トピックモデル

文章の集合から、これらの文章の生成過程に潜ん でいる潜在トピックを抽出しようとする研究はト ピックモデルとしてこれまで盛んに研究されてき た。とりわけ、Latent Dirichlet Allocation(LDA)[1] や
Non-Negative Matrix Factorization(NMF) [2] は実務で も広く利用されるようになった。これらの手法は大量の文章の中からトピックを効率的に抽出する上 で有用な手法ではあるが、文章中に各単語が何回登場したかを数え上げて作成した行列 (Bag of Words, BoW) をべースとした手法であるため、単語同士の つながりが形成する文章のコンテキストを必ずしも 活用しきれないことが欠点としてあげられる。

これに対して、特に Bidirectional Encoder Representation from Transformers(BERT) [3] の登場以来、文章 の分散表現を使用してトピックの抽出に文章の コンテキストまで活用しようとする研究が行わ れている。節 3.1 で解説する BERTopic[3] の他に も、Sentence-BERT [4] による分散表現と BoW を同時に活用し、Valuational Auto Encoder を用いて潜在 トピックを抽出する Combined Topic Model(CTM)[5] や,Doc2Vec [6] によって事前学習された分散表現か らクラスターを探知することでトピックを抽出する Top2Vec[7] などでは、従来手法である LDA などと 比べてトランスフォーマーベースの手法のパフォー マンスが優位だったとの報告がなされている。

## 2.2 トピックモデルを使用したマーケット 変動要因の抽出

マーケットの変動を説明するトピックを抽出する 研究としては [8] が挙げられる。[8] では、S\&P500 指数の構成銘柄の価格リターンやボラティリティ を説明するトピックを抽出する手法が研究された。手法としては複数の LDA のアンサンブルによるト ピック抽出と相対的なトピックウェイトによるター ゲット変数の回帰であり、アンサンブルの手法に 様々な工夫が凝らされている。トピックのセンチ メントを株価の将来変動の予想に活用した研究と しては [9] や [10] があるが、これらの研究と異なり [8] では、将来の市場変動を予測することを研究の モチベーションにしているのではなく、変動の要因 となっているトピックを検出することをモチベー ションにしている点が本稿に近しい。[8]、本稿とも

に市場変動とテキスト情報で同時点のデータを使用 して分析を進めていることをここで強調する。本稿 との違いについては [8] では LDA ベースの手法を用 いており、文章のコンテキストまで取り入れて分析 を行うことの効果の検証は本稿で新規の観点だと考 える。

## 3 理論

## 3.1 BERTopic

本節では BERTopic[11] について概観する。 BERTopic ではLDA などの従来手法と異なり、文章の生成に特別なモデルを想定しない。BERTopic のトピック抽出方法は要約すると以下の流れに なる。

1. Sentence-BERT[4] による分散表現の抽出

2. UMAP[12] による次元削減

3. HDBSCAN[13] によるクラスタリングとトピッ クの抽出

4. c-TF-IDFによるトピックの代表単語の抽出

c-TF-IDF は通常ドキュメント単位で計算される TF-IDFをクラスター単位に拡張した手法であり、各単語 $t$ のクラスター $c$ 内でのウェイト $W$ は以下の様 に計算される

$
W_{t, c}=t f_{t, c} \cdot \log \left(1+\frac{A}{t f_{t}}\right)
$

右辺第一項はクラスター内での単語の出現頻度 $t f$ であり、通常の TF-IDFで inverse document freaquancy に相当する第 2 項は全クラスターの平均単語数 $A$ を 各々のクラスターに単語 $t$ が登場する頻度で除した 值となっている。このウェイトが高い単語ほどクラ スター内での重要度が高い単語と解釈される。

## 3.2 トピックの評価指標

本稿ではトピックモデルの精度評価に Topic Coherence(TC) と Topic Diversity(TD) の 2 つの指標 を採用した。TC の計算方法にはいくつかのバリ エーションがあるが、本稿では normalized pointwise mutual information(NPMI) [14] 利用した。具体的に は 2 つの単語 $w_{i}, w_{j}$ の NPMI は以下の式で計算さ れる。

$
\begin{gathered}
\operatorname{NPMI}\left(w_{i}, w_{j}\right)=\left(\ln \frac{p\left(w_{i}, w_{j}\right)}{p\left(w_{i}\right) p\left(w_{j}\right)}\right) /-\ln p\left(w_{i}, w_{j}\right) \\
T C_{t}=\frac{2}{k(k-1)} \sum_{i=1}^{k-1} \sum_{j=i}^{k} N P M I\left(w_{i}, w_{j}\right)
\end{gathered}
$

式1の $p($.$) はコーパスの中での単語の出現確率で、$単語ペアが同時に出現する確率が高いほど NPMI の 値は大きくなり、 -1 から 1 の間の値を取る。 $T C_{t}$ はトピック $t$ で上位 $k$ 単語の NPMI の平均値であり、 $\mathrm{TC}$ は全てのトピックについて $T C_{t}$ の平均をとって 計算される。使用する単語数 $\mathrm{k}$ はハイパーパラメー タであり本稿では 10 を用いた。TC は人間の評価し たトピックの精度との相関が高いとの研究 [15] があ ることから広く利用されるようになった。TDは各 トピックにユニークな単語の割合で、 0 から 1 の値 をとる。広範なトピックを探知できていれば值は 1 に近づき、トピックの重複が多ければ值は 0 に近づ $<[16]$ 。

## 4 データ

金融ヘッドラインデータ 本稿では Bloomberg 社 のイベントドリブンフィードサービスから Textile News のヘッドラインを取得して利用する。本デー タセットにはニュースを識別する ID、ニュースが フィードされた時刻、言語、ヘッドラインなどの情報が提供されている。ニュースのへッドラインのみ を分析の対象とし本文は使用しない、また言語が英語のヘッドラインのみ使用する。ニュースによって は事後的にアップデートされるものがあり、同じ ID を持つニュースの中でフィード時刻が最新のレコー ドのみを使用してニュースの重複を回避した。使用 したデータの期間と件数は以下の通りである。

1. トピックモデルの比較
- 期間: 2022 年 12 月 $5-7$ 日、13、14 日
- 件数: 27,937

2. マーケット変動要因の抽出
- 期間：2018年 1 月 1 日 2022年 6 月 30 日
- 件数 : 7,232,088

本稿では以後このデータセットを金融へッドライン データと呼ぶことにする。

市場データ 代表的な市場指数として S\&P500 指数を利用する。日次で終值を Bloomberg から取得し て利用する。

## 5 実験手法

本稿では 2 つ実験を行った。1つ目の実験は金融ヘッドラインニュースに有効なトピックモデルの 探索を行うための比較実験であり、複数のトピック モデルをデータに当てはめて得られたトピックの 品質を比較する。2つ目の実験はトピックモデルに

よって得られたトピックのセンチメントが市場変動 に対して説明力があるのか検証した上で、実際に検出されたトピックを例示する。

## 5.1 トピックモデルの比較

本節では複数のトピックモデルについて金融へッドラインデータでの性能を比較する。比較したモデルは LDA,NMF,CTM,Top2Vec,BERTopicFinBERT,BERTopic の 6 種類である。BERTopicFinBERT については BERTopic のプロセスのう ち 1 番の分散表現の抽出に、FinBERT [17] の [cls] トークンの出力に相当するべクトルを利用した。6 種類の手法の中で、CTM,Top2Vec, 2 種の BERTopic が文章の分散表現を利用した比較的新規の手法であ る。クラスタリングの品質はトピック毎に抽出した 代表単語の TC と TD で計測した。すべてのモデル でトピック数をハイパーパラメータとして与えるこ とができる。本実験では $10,20,30,40,50$ と 5 種類の トピック数について乱数シードを変えながら 3 回実験を繰り返し、全 15 回の試行の精度指標の平均を 報告している。

## 5.2 市場変動の回帰モデル

前出の BERTopic を使用して抽出したトピックが 市場の変動に対して説明力があるか、シンプルな回帰モデルを構築して検証する。

$
\begin{aligned}
r_{t, t-1} & =\beta_{1} r_{t-1, t-2}+\beta_{2} r_{t-1, t-6}+\beta_{3} r_{t-1, t-11} \\
& +\sum_{i=1}^{K} \beta_{i+3} \text { sentiment }_{i, t}
\end{aligned}
$

$r_{t, t-i}$ は $t-i$ 時点の引け值から $t$ 時点の引け值ま での価格リターンであり、最初の 3 項は前日までの 1 日、 5 日、10 日リターンを説明変数として使用し ており、 sentiment $t_{i, t}$ はトピック $i$ の $t$ 時点でのセン チメントである。使用するトピック数 $K$ を 0 とした 場合と 0 より大きな数としたときにモデルの説明力 に違いがあるかを検証する。回帰は Lasso 回帰とし て行い、制約項の係数はハイパーパラメータとして 5fold のクロスバリデーションにより決定する。精度指標としては $R^{2}$ 値、平均絶対誤差、平均 2 乗誤差 を測定する。モデルはデータを3 个月毎に区分し、 それぞれの期間でトピックの抽出と、回帰モデルの 推定を行う。ヘッドラインの取得時間が UTC21 時以降の場合には翌日のニュースとして取り扱う、本表 1 モデル毎のトピックの品質

稿では市場指数として S\&P500 指数を使用してお り、米国での取引が活発となる時間を意識して時間 を区分した。へッドラインのセンチメントの計測に は FinBERT を利用する。FinBERT では入力文章の 極性が positive,neutral,negative の 3 クラスに判定され る共に、クラスに属する可能性をスコアとして出力 する。得られたセンチメントが positive の場合には スコアをセンチメントスコアとして利用し、neutral の場合には 0 、negative の場合にはスコアに-1を乗 じてへッドラインのセンチメントスコアとした。各 トピック $i$ の日次センチメントスコアは、時点 $t$ で 得られたへッドラインのうち、当該トピックに属す るへッドラインのセンチメントスコアの平均として 計算する。

## 6 実験結果

## 6.1 トピックモデルの比較

各モデルにより抽出されたトピックの精度指標を 表 1 にまとめた。TC については BERTopic の精度が 最も良好で次いで BERTopic-FinBERT が良好であっ た。LDA や NMF の様な BoWをべースとした手法 と比較してトピックの精度が高くなっているのは [11] の報告と傾向が一致しており、文章のコンテキ ストを活用することが得られたトピックの精度に有利に働く可能性があるという点は金融へッドライン データに関しても同様であった。TCでみた精度が 最も低いのは Top2Vec であり、複雑な潜在べクトル の分布に対して、クラスターのセントロイドを使用 したトピックの抽出が [11] の指摘通り有効に機能し ていない可能性がある。最後に BERTopic-FinBERT と BERTopic の比較では、直観的には金融コーパス でのファインチューニングが行われた FinBERT と 使用することで精度が向上することが期待された が、結果としては Sentence-BERT を使用したモデル の精度が比較的良好だった。文全体の分散表現を獲
表 2 回帰モデルの精度指標

表 3 各トピックの回帰係数と代表単語

得するように訓練した Sentence-BERT を利用するこ とがへッドラインのクラスター作成には有利だった 可能性があり、金融コーパスで文章全体の分散表現 を獲得するように事前学習したモデルを使用するこ とでさらなる精度の向上を望めることから今後の課題として記載する。

## 6.2 マーケット変動要因の抽出

## 6.2.1 精度指標

金融ヘッドラインデータを用いて、式 2 のモデル を推定し、モデルの精度指標を表 2 にまとめた。使用するトピック数は $K$ を $0,50,100$ と 3 種類実験して いる。表中の数字は、データ期間を 3 ヶ月毎の区分 に分けた 18 セットでそれぞれモデルを推定した結果の平均値である。 $\mathrm{K}$ を 0 として、過去の価格変動 だけで市場変動をモデリングしたケースではマー ケット変動に対する説明力はほどんどなく $R^{2}$ 值も 0 に近い值になっている、使用するトピックの数を 増やすと $R^{2}$ の値は大きくなり、2つの誤差指標も $K=0$ の場合と比べて低下している。トピックのセ ンチメントがマーケットの変動の少なくとも一部を 説明していると考えられる。

## 6.2.2 抽出されたトピック

次に、実際に推定されたモデルと抽出された単語 の具体例を示す。表 3 に 2022 年 4 月 1 日から 6 月 30 日のデータを使用したモデルについて一部のト ピックセンチメントに対する回帰係数と各トピック の代表単語の上位 10 単語を示す。

推定されたモデルでは 24 個の説明変数の係数が 0 と異なった、うち値が正であったものは 7 個も含 め、全てがトピックセンチメントであった。表 3で は紙面に収めるために 4 つのトピックのみについ て記載する。1 番目のトピックは SP500 や NASDAQ などの単語が並び主に米国の株式市場に関する ニュースと思われる。当日の金融市場の動向をタイ ムリーにニュースとして配信するベンダーが存在 し、これらのニュースがトピックとして抽出されて いる。市場動向ニュースを事後的に抽出すること に実務的な意味があるのかは議論の余地があるが、 その他のトピックにも特徵的な単語が並ぶ。 3 番目 のトピックでは”ukraine"、"russia”などの単語が並び ロシアのウクライナ侵攻の情勢に金融市場が敏感 になっていたことが示される。4 番目のトピックに は”ecb","treasuries","curve"、などの金利市場に関わ る単語が並び、各国中央銀行の動向や金利市場の ニュースが株式市場にも影響を与えていた可能性が 示唆される。

## 7 結論

本稿では金融アナリストが過去の市場変動の要因 となった事象を調べる際に、ニューステキストとト ピックモデルを使用して効率的に市場変動の要因と なったトピックを抽出する手法を提案し実証実験を 行った。実験は 2 段階に分けて行われ、 1 つ目の比較実験では金融ニューステキストに複数のトピック モデルを適用し、トランスフォーマーベースの手法 が LDA などの従来手法と比べてトピック抽出のパ フォーマンスが優位であることを明らかにした。2 つ目の実験では BERTopic を使用して実際にトピッ クを抽出し、回帰分析を通じて市場の変動を説明す るトピックが検出できるか検証した。トピックを説明変数として使用したモデルはそうでないモデルと 比べて $R^{2}$ などでみて精度が向上しており、市場の 変動を説明するトピックが検出できていると考え る。実際に検出されたトピックも人間の直観にあう 内容となっており本稿で提案した手法に一定の有用性があると考える。

## 参考文献

[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. J. Mach. Learn. Res., Vol. 3, No. null, pp. 993-1022, mar 2003.

[2] Cédric Févotte and Jérôme Idier. Algorithms for nonnegative matrix factorization with the $\beta$-divergence. Neural Computation, Vol. 23, No. 9, pp. 2421-2456, 2011.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks, 2019.

[5] Federico Bianchi, Silvia Terragni, and Dirk Hovy. Pretraining is a hot topic: Contextualized document embeddings improve topic coherence. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 759-766, Online, August 2021. Association for Computational Linguistics.

[6] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Eric P. Xing and Tony Jebara, editors, Proceedings of the 31st International Conference on Machine Learning, Vol. 32 of Proceedings of Machine Learning Research, pp. 1188-1196, Bejing, China, 22-24 Jun 2014. PMLR.

[7] Dimo Angelov. Top2vec: Distributed representations of topics. CoRR, Vol. abs/2008.09470, , 2020.

[8] Paul Glasserman, Kriste Krstovski, Paul Laliberte, and Harry Mamaysky. Choosing news topics to explain stock market returns. In Proceedings of the First ACM International Conference on Al in Finance, ICAIF '20, New York, NY, USA, 2021. Association for Computing Machinery.

[9] Thien Hai Nguyen and Kiyoaki Shirai. Topic modeling based sentiment analysis on social media for stock market prediction. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1354-1364, Beijing, China, July 2015. Association for Computational Linguistics.

[10] Jaydeep Soni Ivalio Dimov. Trading esg news using topic codes factors, 2021.

[11] Maarten Grootendorst. Bertopic: Neural topic modeling with a class-based tf-idf procedure. 2022.

[12] Leland McInnes, John Healy, and James Melville. Umap: Uniform manifold approximation and projection for dimension reduction, 2018.

[13] Leland McInnes and John Healy. Accelerated hierarchi- cal density based clustering. In 2017 IEEE International Conference on Data Mining Workshops (ICDMW). IEEE, nov 2017.

[14] Gerlof Bouma. Normalized (pointwise) mutual information in collocation extraction. Proceedings of GSCL, Vol. 30, pp. 31-40, 2009.

[15] Jey Han Lau, David Newman, and Timothy Baldwin. Machine reading tea leaves: Automatically evaluating topic coherence and topic model quality. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 530539, Gothenburg, Sweden, April 2014. Association for Computational Linguistics.

[16] Adji B. Dieng, Francisco J. R. Ruiz, and David M. Blei. Topic modeling in embedding spaces. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 439-453, 2020.

[17] Dogu Araci. Finbert: Financial sentiment analysis with pre-trained language models, 2019.


# 株主提案の要領におけるトピック別の文書特徵量と賛成率

久多里桐子
北九州市立大学経済学部
kirikokudari@kitakyu-u.ac.jp

## 概要

本研究は、株主提案の要領に関する基礎研究を行 うことを目的とする。株主提案の要領である 3 つの テキスト (提案内容、提案理由、取締役会の意見)を 独立した文書とみなし、各文書をトピックモデル (LDA)を用いて分類した上で、各トピックにおける 文書の特徴量 (文字数および文字数に占める数字の 割合) と賛成率の関係を分析した。2011 年〜2019 年 の定時株主総会における株主提案議案 1,350 件を対象に分析を行った結果、提案内容や提案理由のト ピックによって、得られる賛成率が異なることを確認した。本研究の分析結果は、他の株主が株主提案 の要領に基ついいて議決権を行使していることを示唆 する。

## 1 研究の目的と意義

本研究は株主提案の要領に関する基礎研究を行う ことを目的とする。2021 年 3 月に施行された改正会社法では、株主が提出しようとする議案の数は 10 件までに制限された。一方で、株主提案の内容に制限を設けることは見送られた。しかしながら、2019 年に公表された要綱案の段階では、内容に関する制限も含まれていた。

具体的には、提案が「専ら人の名誉を侵害し、人 を侮辱し、若しくは困惑させ、又は自己若しくは第三者の不正な利益を図る」ことを目的としていた場合や、「株主総会の適切な運営が著しく妨げられ、株主の共同の利益が害されるおそれがあると認めら れる場合」には、株主提案権の行使を制限すること が予定されていた ([1]) 1 。

その後、国会における法案審議において上記内容 が削除された理由は、「権利の濫用に該当する株主提案権の類型についてさらに精緻に分析を深めなが

1）株主提案権には議題提案権 (会社法第 303 条)、議案提出権 (同法第 304 条)、議案要領通知請求権 (同法第 305 条第 1 項) が含まれる。目的等による議案の提案に対する制限は、議案提出権および議案要領通知請求権を対象としている。
ら、引き続き検討していくべき」([2], p. 5)である からだ。つまり、2021 年の改正会社法において、株主提案の内容に関する制限が見送られたことは、関連する知見が少ないことに起因する。そこで本研究 は、株主提案権に関する今後の検討材料に資すると いう意義の下、株主提案権の内容に焦点を当てた分析を行う。

つづく第 2 節では、米国および日本の株主提案権 について、提案内容および記述に関する制度上の規定について参照し、関連する先行研究を紹介する。第 3 節では、分析手法とサンプルについて述べる。第 4 節では分類したトピックの概要を確認し、第 5 節で主たる発見事項を提示する。最後に、第 6 節で 本研究の要約を述べる。

## 2 制度の概要と先行研究

## 2.1 制度の概要

米国の株主提案権は制限が強い。例えば、提案内容が取締役の選任に関するものであったり、具体的 な配当金額に関するものであったりした場合、企業側は提案を排除できる ${ }^{2)}$ 。また、記述量も補足説明 を含めて 500 語以内に限られる。

一方で、日本では株主が提案できる内容は多様で あり、記述量に関する法的な制限もない。一般的に は、株主が記述した提案内容や提案理由の原文に加 えて、議案に対する取締役 (取締役会設置会社の場合は取締役会) の意見 (以下、取締役会の意見) が、株主総会招集通知内の株主総会参考書類に記載され る $^{3)}$ 。
2) 17 C.F.R. $\S 240.14 a-8(2003)$

3）ただし、提案の理由が明らかに虚偽である場合または専ら 人の名誉を侵害し、若しくは侮辱する目的によるものと認め られる場合は提案理由を削除されることもある。また、企業側が株主提案を拒否できる事由として明文化されているも のは、法令もしくは定款に違反する場合や、実質的に同一の 議案につき総株主の議決権の 10 の 1 以上の賛成を得られな かった日から 3 年を経過していない場合が該当する (会社法第 304 条ただし書き、第 305 条第 4 項)。

## 2.2 先行研究

本研究に関連した分析として、以下 3 つの研究を 挙げる。[3] は、EDGAR から取得した 2004 年から 2013 年の期間に提出された Form 8-K のうち、所定 の要件を満たす 73,986 件を 20 のトピックに分類し、分類したトピックによって投資家の反応が異なるこ とを確認している4)。

[5] では、2003 年から 2012 年までの新聞記事 77,814 件を 30 のトピックに分類し、日ごとのトピッ クの割合と市場リターン (TOPIX) との間の関係を分析している。分析を通じて、トピックの割合と市場 リターンの間に相関は見られなかった一方で、一部 のトピックの割合と市場ボラティリティの間に相関 があることを発見した。

[6] では 2004 年から 2021 年までの所定の要件を 満たす有価証券報告書 43,289 件をもとに、MD\&A (経営成績等の分析) の記述について分析を行い、近年のディスクロージャー制度改革が MD\&A の開示 に影響を及ぼしていることを報告している。

## 3 分析手法とサンプル

## 3.1 分析の概要

分析の概要は以下の通りである。はじめに、株主提案の要領である 3 つのテキスト (提案内容、提案理由、取締役会の意見) を独立した文書とみなし、各文書の特徴量を取得する。つづいて、各文書をト ピックに分類する。本研究の主たる分析として、分類したトピックごとに、文書の特徴量と賛成率の関係を確認する。

本研究では、文書の特徴量として以下 2 つを採用 した。第 1 に、文字数である。定款で文字数に制限 を設けている企業に対して、当該定款の削除を求め る提案が提出される事例が存在していることからも 明らかなように、記述量は賛成率に影響を与えると 考えられる。第 2 に、文字数に占める数字の割合で ある。特に剩余金の分配に関する提案など、特定の 議案においては具体的な数字を用いた提案の方が説得力が高まると考えられる。

以下は実際の提案理由に基づく特徴量であるが、例 Aよりも例 B の方が賛成率は高いと予想する。

4）米国上場企業は、投資家の意思決定に影響を及ぼす可能性 のある重要な事象 (決算発表、重要な契約の締結、倒産など) が生じた際、 4 営業日以内に Form 8-k (current report)を米国証券取引委員会 (SEC) に提出する必要がある ([4])。例 A:増配できる充分な利益がある。
- 文字数: 14 字

一文字数に占める数字の割合: $0 \%$

例 $\mathrm{B}$ :貴社は、平成 30 年 9 月末の連結貸借対照表に て現預金及び投資有価証券の合計額 350 億円を 有し、(省略) 妥当なものであると考えます。
- 文字数: 278 字

一文字数に占める数字の割合: $6.47 \%$

議案からテキストを抽出する際の留意事項を下記に示す。提案内容が取締役等の役員選任議案の場合、当該候補者の経歴等は提案内容に含めない。ま た、会社注も含めない。さらに、提案内容と提案理由が明確に区別されていなかった場合、提案理由の 記述はないものとみなしている5)。

取締役会の意見が複数の議案に対する集約的なも のであった場合、各議案に同じ記述がなされたもの として扱った。ただし、個別の議案に対する意見に 加えて、別立てで議案全体に対する取締役会の意見 が付されていた場合は、個別の議案に対する意見の みを取締役会の意見として収集している。

## 3.2 前処理と形態素解析

トピックモデルの構築にあたり、下記の通りに前処理および形態素解析を行った。表記の統一を目的 として、全角コロン「,」を読点「、」に、全角ドッ ト「.」を句点「。」に変換した上で、全角の英数字 と記号 (括弧や\%など) を半角に変換した。数値に関 しては桁数区切りのコンマを除いた上で、 0 に置き 換えた。そのため、例えば「 100 万円」は「0万円」 $「 10,000$ 人」は「0人」に置き換わっている。形態素解析にあたっては解析器に MeCab ([7]) を、辞書に mecab-ipadic-neologd ([8]) を利用した。品詞 は名詞、形容詞、動詞を採用し、ストップワードと して SlothLib ([9]) に頻度の高い単語を追加した ${ }^{6)}$ 。

## 3.3 LDA モデルの構築

トピックの分類においては、潜在的ディリクレ配分法 (Latent Dirichlet Allocation; LDA ([10])) によるト ピックモデルを採用した。LDA モデルの構築にお いて、辞書は出現文書数が 13 件 (サンプルの $1 \%$ ) 以下の単語および $20 \%$ 以上の文書に出現する単語は

5）提案内容と混在している場合、可能であれば文章を分割し た。

6）具体的には、平成、昭和、令和、当社、貴社、会社、株主、提案、議案をストップワードとして採用している。また、ひ らがな 1、2 文字の単語も除外した。
表 1 提案内容の各トピックにおける代表的な単語

除いた7)。コーパスの作成においては、TF-IDF によ る重み付けは実施しない。

トピック数に関して、提案内容は 6 、提案理由は 6 (ただし、テキストが取得できなかった議案のみの Topic 7 を設定)、取締役会の意見は 5 に設定した ${ }^{8)}$ 。

## 3.4 サンプルとデータの取得源

分析対象は 2011 年〜2019 年の定時株主総会にお いて提出された株主提案議案 1,388 件である。ただ し、賛成率を含めた分析においては、付議の要件を 満たさなかったなどの理由で決議されなかった議案 を除くため、 1,350 件に減少する。

データの取得源は、以下のとおりである。株主提案の要領に関しては、eol (株式会社アイ・エヌ情報 センター) から取得した株主総会招集通知の PDF か ら手作業でテキストを収集した。賛成率については 日経 NEEDS-Cges 株主総会関連データ (日経メディ アマーケティング株式会社) から取得している。

## 4 トピックの概要

表 1 および表 2 は、提案内容および提案理由の各 トピックについて、頻出上位 5 単語から任意に選定 した代表的な単語を示している9)。また、図 1 は提案内容と提案理由のトピックごとの該当件数を示し ている。図 1 において最も件数が多いのは、提案内容 Topic 6 と提案理由 Topic 5 のセルである。表 $1 \cdot 2$ の単語をもとに解釈するならば、(現金などの)「保有」を理由とする「配当」提案が、比較的多く提出 されていると考えられる。

7）例えば「取締役会の意見」のテキストをもとに作成した辞書からは、「反対」「取締役会」などの定型的な単語が除かれ る。

8）トピック数を 2〜30 の範囲でシミュレーションを行い、 Coherence[11] および Perplexity の值をもとに決定した。ま た、コーパスを TF-IDFによる重み付けを実施した場合と実施しなかった場合の両方でシミュレーションを行った結果、重み付けを実施した場合の方が Perplexity が著しく高い值で あった。そのため、コーパスの作成においては、TF-IDF に よる重み付けは実施しないこととした。

9）取締役会の意見の分類は、実質的に提案内容に基づく分類 となっている。そのため、取締役会の意見については記載を 割愛する。表 2 提案理由の各トピックにおける代表的な単語

(注)Topic 7 は提案理由として明確な記述がなかったもの を分類している。

図 1 提案内容トピックと提案理由トピックの対応関係

## 5 分析結果

はじめに、株主提案議案をトピックに分類する前 の、文字数ないし文字数に占める数字の割合と賛成率の関係について確認する。図 2 はサンプルの 1,350 議案について、文字数と賛成率の散布図と、被説明変数を賛成率、説明変数を文字数の自然対数と した回帰直線を、文書別に示している10)。

図 2 が示すように、取締役会の意見については、記述量と賛成率の間にはプラスの関係がある (回帰係数は 2.098)。つまり、賛成率が高いと予想される 場合に、取締役会の意見の記述量が増える可能性が あると考えられる。

一方で、提案内容および提案理由については、記述量が増えると賛成率は低くなる傾向が見られる (回帰係数はそれぞれ-1.064と-1.749)。他の株主に とっては、記述量が増えるほど提案内容等を吟味す るためのコストが高くなるため、賛成票を投じる可能性が低くなるのかもしれない。

類似した傾向は、図 3 でも確認できる。図 3 は 1,350 議案について、文字数に占める数字の割合と 賛成率の散布図と、被説明変数を賛成率、説明変数 を文字数に占める数字の割合とした回帰直線を、文

10）外れ值を除くため、文字数が 0 字以上 4,000 字未満であ る文書に限定した。

図 2 文書別の文字数と賛成率

図 3 文書別の文字数に占める数字の割合と賛成率

書別に示している11)。回帰係数はそれぞれ、提案内容が 6.566、提案理由は-4.106、取締役会の意見が 62.700 である。

上記の発見事項は、議案を分類していない場合の 株主提案に関する全体的な傾向である。表 3 と表 4 では、提案内容を 6 つのトピックに分類した場合の 文書の特徴量と賛成率の関係を確認できる。具体的 には、表 3 は被説明変数を賛成率、説明変数を文字数の自然対数とした単回帰の係数を示している。ま た、表 4 は被説明変数を賛成率、説明変数を文字数 に占める数字の割合とした単回帰の係数を提示して いる。

表 3・4から、トピックによって文書の特徴量と賛成率の関係は異なることがわかる。注目すべきは、表 4 において、特に Topic 6 の提案理由で記述に占 める数字の割合が高いほど賛成率が高いという点で ある。Topic 6 の代表的な単語が「配当」であること に鑑みると、提案理由として会計数値等を用いた方 が、高い賛成率を得られると考えられる。

最後に、図 4 において、提案内容と提案理由のト ピックごとの、賛成率の中央值を示す。まず、提案理由の Topic 7 で高い賛成率が確認できる。これは、表 3 提案内容トピック別の各文書と文字数の関係

表 4 提案内容トピック別の各文書と文字数に占める数字 の割合の関係

支配株主が可決を見越して十分な説明なしに提案を 行っていることを示している。

つづいて、提案内容 Topic 5 と提案理由 Topic 4 の セルや、提案内容 Topic 1 と提案理由 Topic 1 のセル で高い賛成率 (17.1\% と $15 \%$ ) を確認することができ る。つまり、「利益」を理由とした「報酬」提案など が高い賛成率を得ている。分析結果は、提案内容や 提案理由のトピックによって、得られる賛成率が異 なることを示している。

図 4 提案内容と提案理由のトピック別賛成率 (中央値)

## 6 本研究の結論

本研究では、株主提案の要領に関する基礎研究を 行った。分析の結果、提案内容や提案理由のトピッ クによって、得られる賛成率が異なることを確認し た。本研究で得られた結果は、株主提案の要領が他 の株主の議決権行使に影響を及ぼしている可能性を 示唆する。

11）外れ値を除くため、文字数に占める数字の割合が $20 \%$ 未満である文書に限定した。

## 謝辞

本報告は JSPS 科研費 JP20K13642 の助成を受けた 研究成果の一部である。また、本報告は日本経済会計学会第 3 回秋季大会 (2022 年 12 月 17 日開催) の自由論題報告「自然言語処理を用いた株主提案の要領 に関する分析」に一部修正を施したものである。

## 参考文献

[1] 法務省. 会社法制（企業統治等関係）の見直しに関 する要綱案, 2019. 法制審議会会社法制 (企業統治等関係) 部会 第 19 回会議 (2019年 1 月 16 日開催) http://www.moj.go.jp/content/001279742.pdf.

[2] 竹林俊憲, 邊英基, 坂本佳隆, 藺牟田泰隆, 青野雅朗,若林功晃. 令和元年改正会社法の解説-ii-. 旬刊商事法務, Vol. 2223, pp. 4-10.

[3] Stefan Feuerriegel and Nicolas Pröllochs. Investor reaction to financial disclosures across topics: An application of latent dirichlet allocation. Decision Sciences, Vol. 52, No. 3, pp. 608-628, 2021.

[4] U.S. Securities and Exchange Commission. How to read an 8-k, 2021. https://www.sec.gov/oiea/ investor-alerts-and-bulletins/how-read-an8-k.

[5] 竹澤譲, 伊藤真利子, 大西立顕. Lda で求めた新聞記事のトピック割合と株価指数の関係性. 人工知能学会第二種研究会資料, Vol. 2021, No. FIN-026, pp. 1-8, 2021.

[6] 中野貴之, 五十嵐未来, 湯浅大地. Md\&a 情報におけ る『トピック』の分析. 証券アナリストジャーナル， Vol. 60, No. 10, pp. 27-35, 2022.

[7] 工藤拓. Mecab: Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[8] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会 (NLP2017), pp. NLP2017-B6-1. 言語処理学会, 2017.

[9] Slothlib. http://svn.sourceforge.jp/svnroot/ slothlib/CSharp/Version1/SlothLib/NLP/Filter/ StopWord/word/Japanese. txt.

[10] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[11] David Mimno, Hanna Wallach, Edmund Talley, Miriam Leenders, and Andrew McCallum. Optimizing semantic coherence in topic models. In Proceedings of the 2011 conference on empirical methods in natural language processing, pp. 262-272, 2011.


# 日本語日常対話コーパスの構築

赤間怜奈 1,2 磯部順子 2 鈴木 潤 1,2 乾 健太郎 1,2
1 東北大学 2 理化学研究所
}

\{akama, jun.suzuki, kentaro.inui\}@tohoku.ac.jp, yoriko.isobe@riken.jp
## 概要

規範的な日本語表現で構成される高品質な日本語日常対話コーパスを構築した. 本稿では，構築した コーパスの概要とその構築方法を説明する。既存対話コーパスとの比較分析により構築したコーパスの 特長を明らかにした上で，「規範的」という性質を 持つ言語資源の利点について述べる。

## 1 はじめに

昨今の対話システムは, 出力内容に着目した総合的な主観評価の上で着実な性能が改善がなされてい る $[1,2,3]$. 次におこなうべきは，その性能改善の 要因の理解や依然として残る技術的な課題の把握で あるが，対話で用いられる言語表現は自由度が非常 に高いという性質を持つため（基本語彙以外の語の 出現や，基本語順からの逸脱は常である），一定の 基準や特定の正解を軸にした分析では，性能改善の ための本質的な要因を特定することが困難である.

そこで我々は, 新たに，基本語彙の使用と基本語順の遵守を可能な限り優先した規範的な言語表現で 構成されている対話コーパス日本語日常対話コーパ ス（Japanese Daily Dialogue）を構築した. ${ }^{1)}$ 本コー パスに収録する収録する対話の作成や調整をすべて 人手でおこない，ノイズが非常に少なく計算機上で の処理がしやすい，かつ，品質が十分に保証されて いる信頼できる対話データを獲得した. 規範的な対話は，実際の対話データ（たとえば，音声対話の書 き起こしやSNS）が持つ人間のリアルな言語活動 の表出という特長を失うが，その代わり，ある種形式的で簡潔な問題設定を対話の枠組みで実現して いるといえる. 規範的な対話を対象とした対話の意味的・統語的言語理解に関する分析は，一般的な対話，とりわけリアルな対話を対象とする場合に比べ て，比較的容易に実行できる可能性がある.本稿では，日本語日常対話コーパスの構築手順を

1） 2023 年 3 月公開予定.表 1 対話データの例. トピック「旅行」.

A: おはようございます。高原の朝は冷えますね。

B: おはようございます。本当ですね。羽織るものが欲 しいです。

A: 朝食の前に散歩でもいかがですか？

B: 良いですね。どこを歩きましょうか？

$\mathrm{A}$ : 湖の周りを歩きましょう。林道の先に湖があるそう ですよ。

B: それでは、湖を一周しましょう。

$\mathrm{A}$ : 一周するのにどのくらい時間がかかるでしょうか？

B: ロッジのオーナーに聞いてみましょう。

説明し，データの規模や特長を報告する．その上 で，本コーパスが有する規範的な性質の利点を，具体的な事例とともに紹介する.

## 2 日本語日常対話コーパス

本稿で我々が構築する日本語日常対話コーパス は，規範的な対話を収録した言語資源である.ここ でいう規範的な対話とは，道徳的な内容かつ正しく 丁寧な表現で書き表されている対話のことを指す.直感的には，初等から中等教育レベルの言語学習用教材で用いられる表現に近い。くだけた表現が頻発 する実際の日常会話で使用するには不自然かもしれ ないが，基礎的な語彙かつ基本的な語順を可能な限 り優先した言語表現である。

収録されている対話の例を表 1 に示す. すべての 対話は話者 A，B が交互に発話をする形式であり,基本的には，対話単位でひとまとまりとなるように 対話の始まりと終わりが設計されている。 1 対話は 4 発話以上， 1 発話は 1 文以上で構成されている. 日本語日常対話コーパスの統計情報を表 2 に示す。 ${ }^{2)}$本コーパスには，日本語の日常会話に馴染み深いと 考えられている 5 つのトピックに関する対話が収録 されている. 対話数は，1 トピックあたり 1,000 以

2）トークン分割には，日本語形態素解析機 $\mathrm{MeCab}$ と日本語形態素解析辞書 mecab-ipadic-NEologd を用いた。

} \\

表 3 表現の正規化による各値の変化.

上，コーパス全体で 5,261 である. 発話単位で計数 すると， 41,780 発話である. 1 対話あたりの平均発話長は，旅行トピックが他より若干大きい値だが，全体として 8 前後である.

## 3 構築手順

日本語日常対話コーパスの構築手順は以下の通 りである.これらすべての工程は，人間の作業者に よっておこなわれた. 各工程の詳細は後述する。

1. コーパスに含める対話のトピックの選定

2. 各トピックに関連する対話の作成

3. 倫理的または道徳的に不適切な表現の除去

4. 表記の正規化

トピックの選定 基礎的な日本語対話を広く収録 するためには, 選定するトピックは, 多くの日本語話者が高度な専門知識を必要とせず容易に対話を展開できるものであることが望ましい。本研究では，基本的には英語日常対話コーパス DailyDialog [4] が 採用したトピックを参考にしつつ, 日本語教育学分野の日本語会話における話題の難易度分類 $[5,6]$ を 参照することで，日本語話者にとって馴染み深く日本の文化的特性に調和するトピックを優先的に採用するという方針をとり，最終的には，「日常生活」「学校」「旅行」「健康」「媅楽」の 5 つを採用した.

対話の作成 対話の作成は, 日本語を母国語とす る合計 59 人の作業者によっておこなわれた. 各作業者は，与えられたトピックに関連する対話，すな わち仮想の話者 $A, B$ による一連の発話系列を作成 した. 作業者には, 可能な限り多くの一般的な語を 含めること, 文法的に正しく丁寧な日本語表現を用
いることなどを指示した. 作業の品質を担保するた めに，対話作成者とは異なる 1 人以上の作業者が，作成された対話が与えられた指示を満たしているこ と，および，対話として成立していることを確認し た. 作成された対話は，5,454 対話であった.

不適切な表現の除去 倫理的あるいは道徳的な問題を含む対話や了解性の低い対話は，コーパスの規範性および品質を損なう可能性がある. 本研究で は，国や報道機関が定める言語表現に関するガイド ライン3)を参考に以下を「不適切な表現」と定義し，該当する対話はコーパスに収録しないようにした。

・差別や偏見を含む

・特定の属性を誹謗中傷あるいは攻撃する

・第三者に不利益を与えうる事実誤認がある

・倫理的あるいは道徳的でない話題を扱う

・意味不明な発話内容や会話展開を含む

具体的には，作成されたすべての対話について，上述の項目に該当する可能性があるかを著者らが人手 で確認し，該当する場合は，対話全体あるいは問題 のある一部箇所を削除する，または，問題のある一部箇所を適切な表現に書き改める作業をおこなっ た. 削除された対話の例を付録 $\mathrm{A}$ 表 7,8 に示す.

表記の正規化 対話が規範的であるためには，文法的および意味的に正しく一貫性のある表現で表記 されている必要がある. 不適切な表現を除去し終え たすべての対話について，合計 3 人の校正者が校正作業および校閲作業をおこなった。表記は，原則と して記者ハンドブック [7] に従った. 誤字脱字の修正や用字の統一などの一般的な校正作業に加え, く だけた話し言葉表現（略語や俗語，撥音便化など） を丁寧な書き言葉表現に変換すること, 文法的に適切な文となるよう省略された語（助詞など）を補完

3）「公用文作成の考え方」について（https://www.bunka.go. jp/seisaku/bunkashingikai/kokugo/hokoku/93650001_01. html, 文化庁), NHK 放送ガイドライン 2020 改訂版 (https://www.nhk.or.jp/info/pr/bc-guideline/, 日本放送協会）など.
表 4 各日本語対話コーパスの統計情報と特長.

 &  &  &  &  &  \\

すること，対話内容に矛盾があれば指摘あるいは矛盾を解消するよう修正することなど，本研究特有 の作業も依頼した. 作業例を付録 A の表 9 に示す.表 3 に，校正者が正規化をする前と後の対話データ の統計量を示す. 正規化後は, 用字用語の統一の効果か語彙数が約 $3 \%$ 減少した一方, 省略が補完され たためかトークン数と文字数は約 $6 \%$ 増加した.

## 4 分析：コーパスの特長

既存コーパスとの比較により日本語日常対話コー パスの特長を明らかにする. 以下に設定の概要を示 す. 詳細は著者らの過去論文 [8] を参照されたい.

## 4.1 設定

比較対象 比較対象として次の 5 つのコーパスを 採用した: Business Scene Dialogue [9], JPersonaChat, JEmpatheticDialogues [10], Opensubtitles [11], Twitter (長澤ら [12] の前処理を適用)。これらはすべて，日本語日常対話コーパス同様，人によって書かれた雑談対話を収録したコーパスである。

分析の観点と尺度 語彙的多様性, 語彙親密性,可読性の 3 つの観点で，コーパスの特長を分析し た。語彙的多様性を測定する尺度として，Herdan の $C[13,14]$ 用いる. ${ }^{4} C$ の値は, 総トークン数 $N$ と語彙数 $V$ を用いて以下で算出される:

$
C=\log V / \log N .
$

語彙親密性は，単語親密度データベース $[16,17]$ を用いて，親密性スコア $S_{F}$ を以下の式で算出した:

$
S_{F}=\frac{1}{|\mathscr{D}|} \sum_{v \in \mathscr{D}} \operatorname{fam}(v)
$

ここで， $\operatorname{fam}(\cdot)$ は，データベースに存在する語

4）一般的によく利用される TTR (Type-Token Ratio) [15] は データサイズ $N$ の影響を受けやすい，それを軽減するよう に標準化された尺度が $C$ である。

5） 值の範囲は $1 \leq S_{F} \leq 7$ であり，大きいほど親密性が高い.

図1コーパスサイズと語彙の Herdan's C の関係

可読性の算出には，日本語文章難易度判別システ ム jReadability ${ }^{6)}$ を用いた [18]. コーパスから無作為 に抽出した 100 発話リーダビリティスコアの測定を 5 回繰り返し，平均値を可読性スコア $S_{R}$ とした.

## 4.2 分析結果と考察

表 4 に，各コーパスの基本的な統計情報と，各観点についてそれぞれの尺度で算出した値を示す.

多様性 日本語日常対話コーパスの語彙的多様性 を表す $C$ の値は，Business Scene Dialogue に次いで， 2 番目に大きい値であった. 図 1 の曲線は，各コー パスの $x \%(0 \leq x \leq 100)$ に該当する数の発話で算出 された $C$ の値の変化を表す. 日本語日常対話コーパ スは， $x$ の増加に伴う $C$ の減少が小さいことから，多様な語彙が豊富に含まれていることがわかる.

親密性 日本語日常対話コーパスの親密性スコ ア $S_{F}$ は，Business Scene Dialogue に次いで 2 番目に

JPersonaChat も，ほぼ同程度の值であった. スコア $S_{F}$ の最大値が 7.0 であることから，これらのコーパ スが示した 5.7 8 という值は十分に高いものといえ る. したがって，日本語日常対話コーパスを含むこ れらのコーパスには, 日本語話者にとって馴染み深 い一般的な表現が多数含まれていることがわかる.

可読性 日本語日常対話コーパスの可読性スコ ア $S_{R}$ は，JPersonaChat に次いで 2 番目に大きい値で

6) https://jreadability.net/.

7）付録 B に，語彙親密度の頻度分布を示す.

れも語彙の分割単位が異なること（コーパスは単語単位，言語モデルはサブワード単位）に注意が必要である.

表 6 各コーパスに含まれる差別語・不快語と出現頻度.

あった.これらのコーパスには，多くの人にとって 読解しやすい比較的平易な表現で記述された対話 が，数多く含まれていることがわかる.

総評 以上より，日本語日常対話コーパスは，既存コーパスに匹敵するまたは上回る語彙的多様性,親密性，可読性をバランスよく兼ね備えていること がわかる。一般的で馴染み深い多様な語彙を豊富に 含み，正しい日本語表現で記述された平易で読みや すい対話が収録されていることがわかる.

## 5 議論

## 5.1 規範的であることの利点

既存資源の活用 表 5 は，各コーパスの語彙のう ち, 既存資源（辞書 $[17,19]$, 単語ベクトル [20], 言語モデル ${ }^{899)}$ ）の語彙に登録されている語，つまり，既存資源で分析可能な語彙の割合を示す. ${ }^{10)}$ 日本語日常対話コーパスは，いずれの資源においてもこの 値が比較的大きい，一貫して正しく表記された語彙 を多く含む日本語日常対話コーパスは，その規範的 な性質ゆえに未知語が生じにくく，比較的，既存資源を活用しやすいデータであるといえる.

低攻撃性 表 6 は，記者ハンドブック [7] に「差別語・不快語」として掲載されている 170 語のが,各コーパスにどの程度含まれているかとその出現頻度を示す. ${ }^{11)}$ 日本語日常対話コーパスは，語彙に含 まれている差別語・不快語の種類数，それらのコー パス全体における出現頻度ともに小さい値であっ た. 構築時に非倫理的あるいは非道徳的な表現を積極的に排除していることもあり，日本語日常対話 コーパスには攻撃的な表現がほとんど出現しない。

## 5.2 他言語対話コーパスとの関係

国内外の雑談対話研究において，DailyDialog [4], Persona-Chat[21], EmpatheticDialogues[22]は近年のデ ファクトスタンダードといえるデータセットであ る. 我々が構築した日本語日常対話コーパスは，教材的（規範的）な表現で書かれたマルチターンの高品質な日常対話という特長を持つ DailyDialog の日本語版と見做すこともできる．杉山ら [10] が公開 している JPersona-Chat，JEmpatheticDialogues と合わ せると，日本語日常対話コーパスの公開によってデ ファクトスタンダードの日本語版対話データが揃っ たことになり，日本語を含む言語横断的な対話研研究のため土台が整備されたといえる.

## 6 おわりに

規範的な日本語表現で構成される高品質な日本語日常対話コーパスを構築し，その概要と構築手順を 紹介した. 既存対話コーパスとの比較分析により，構築したコーパスは，既存のものに匹敵するまたは 上回る語彙的多様性，親密性，可読性をバランスよ く兼ね備えていることを確認した，将来的には，基礎解析系アノテーションの追加や対訳データ化など 補完的な新しいデータセットの構築も視野に入れた いが，まずは，高品質な日本語対話データとして公開された日本語日常対話コーパスを多くの方に利用 していただけたらうれしい.

## 謝辞

本研究は JSPS 科研費 JP22K17943，JST ムーン ショット型研究開発事業 JPMJMS2011 の支援を受け たものです.

## 参考文献

[1] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu Quoc, and V Le. Towards a Human-like Open-Domain Chatbot. In aiXiv preprint arXiv:2001.09977, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B. Dolan. DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL): System Demonstrations, pp. 270-278, 72020.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for Building an Open-Domain Chatbot. In Proceedings of 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 300-325, 2021.

[4] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, Shuzi Niu, and Hong Kong. DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset. In Proceedings of the The 8th International Joint Conference on Natural Language Processing (IJCNLP), pp. 986-995, 2017.

[5] 山内博之, 橋本直幸. 教育語彙表への応用. 有里子砂川（編）,コーパスと日本語教育, 第 2 章, pp. 35-64.朝倉書店, 2016.

[6] 山内博之, 橋本直幸, 金庭久美子, 田尻由美子. 言語活動・言語素材と話題. 博之山内（編）, 実践日本語教育スタンダード,第 1 章, pp. 5-525. ひつじ書房, 2013.

[7] 一般社団法人共同通信社. 記者ハンドブック第 14 版 新聞用字用語集. 2022.

[8] 赤間怜奈, 磯部順子, 鈴木潤, 乾健太郎. 規範的な日本語日常対話コーパスの設計. 言語処理学会第 28 回年次大会 発表論文集, pp. 262-267, 2022.

[9] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the Business Conversation Corpus. In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 54-61, 2019.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems. In aiXiv preprint arXiv:2109.05217, 2021.

[11] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical Rescoring of Sentence Alignments in Large, Noisy Parallel Corpora. In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 1742-
1748, 2018.

[12] 長澤春希, 工藤慧音, 宮脇峻平, 有山知希, 成田風香,岸波洋介, 佐藤志貴, 乾健太郎. aoba_v2 bot: 多様な 応答生成モジュールを統合した雑談対話システム.人工知能学会研究会資料 言語・音声理解と対話処理研究会, pp. 101-106, 2021.

[13] Gustav Herdan. Type-token mathematics: A textbook of mathmatical linguistics. Mouton, Vol. 4, p. 448, 1960

[14] Gustav Herdan. Quantitative linguistics. Butterworth, 1964.

[15] Mildred C Templin. Certain language skills in children; their development and interrelationships. University of Minnesota Press, 1957.

[16] 藤田早苗, 小林哲生. 単語親密度の再調査と過去の データとの比較. 言語処理学会第 26 回年次大会発表論文集, pp. 1037-1040, 2020.

[17] 単語親密度 (令和版). NTT 語彙データベース. NTT 印刷, 2021.

[18] Yoichiro Hasebe and Jae-Ho Lee. Introducing a Readability Evaluation System for Japanese Language Education. Proceedings of the 6th International Conference on Computer Assisted Systems for Teaching \& Learning Japanese (CASTEL/J), pp. 19-22, 2015.

[19] Yuriko Sunakawa, Jae-ho Lee, and Mari Takahara. The Construction of a Database to Support the Compilation of Japanese Learners' Dictionaries. Acta Linguistica Asiatica, Vol. 2, No. 2, pp. 97-115, 102012.

[20] Edouard Grave, Piotr Bojanowski, Prakhar Gupta, Armand Joulin, and Tomas Mikolov. Learning Word Vectors for 157 Languages. In Proceedings of the 11th Edition of its Language Resources and Evaluation Conference (LREC), pp. 3483-3487, 2018.

[21] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing Dialogue Agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 2204-2213, 2018 .

[22] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y. Lan Boureau. Towards Empathetic Open-domain Conversation Models: A New Benchmark and Dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 53705381,2019

## A 中間データ

日本語日常対話コーパスを構築する過程で生成さ れたデータの例を示す. 表 7,8 は, 工程 3 「倫理的 または道徳的に不適切な表現の除去」で除去した対話，表 9 は，工程 4 「表記の正規化」で校正者がお こなった修正の例である.

表 7 倫理的あるいは道徳的に不適切な表現を含むとして 削除された対話の例. トピックは「学校」.

$\mathrm{A}$ : 野木先生、昔と今では子供たちも変わってきていますか。

B: そうです。今の子はみんな真面目になっています。

A: 昔の子は不真面目だということですか？

B: 昔は先生の言うことを聞かない子が多かったので、授業は 大変でした。

A: 反抗的な子は確かに今はいません。

B：しかし、静かなだけで何も聞いていない子もいるようです。

A: 昔は話を聞いていない子はすぐわかりましたが、今はその ようなわけにはいきません。

B: 今の方が大変なのかもしれません。

表 8 倫理的あるいは道徳的に不適切な表現を含むとし て，一部が削除された対話の例. 打ち消し線の部分が除外された箇所. トピックは「媅楽」.

A：今日はバレンタインデーです。チョコは何個もらえるで しょうか。

B：100 個はもらえると思います。

A：本当ですか？

B: 冗談です。

A：本当は何個くらいもらえる予定ですか？

B: 2 個くらいだと思います。

A：2 個でももらえれば良いですね。

B: 可愛い子からだと嬉しいです。

表 9 表記の正規化の例. 校正者が削除した表現を打ち消 し線，追加した表現を太字で示す.トピックは「学校」.

A: 今週最後の授業が、やっとようやく終わりました。明日 は、待ちに待った土曜日です。

B: 今週も大変でしたね。中丸さんは何が一番大変でしたか?

A: 私は一昨耳おとといの体育のマラソン授業で行った長距離走がとても大変でした。安藤さんは、ぞうですかいかが でしたか?

B: 私は、今週はそこまで大変ではありませんでした。代わり に来週の小テストが怖いです。ところで、この後、何か食 べに行きませんか?

A: 行きましょう。最近美味しいおいしいスイーツのお店を 知ったので、そのお店に行ってみましょう。

B: 良いですね。とても楽しみです。

【校正者コメント】マラソン $=42.195$ キロメートル。体育の授業でマラソンをすることは実際にはないかと思い、「ジョギン グ」に変更しました。「長距離走」などに変更してもいいかもし れません。

## B 語彙親密度の頻度分布

各コーパスについて，語彙親密度の頻度分布を 図 2 に示す. 值が大きいほど親密度が高い.

図 2 対話データに含まれる語彙親密度の頻度分布.

## C 差別語・不快語の例

本研究で用いた差別語・不快語リストの中 で，各コーパスに含まれていた語を以下に示す. Opensubtitles と Twitter は語数が多いため割愛する.

## - JDailyDialogue:

\{坊主, めくら, 不治の病, 床屋 $\}$

## - Business Scene Dialogue:

\{やばい,あんま \}

## - JEmpatheticDialogues:

\{ジプシー, 肌色, 外人, おし, アル中, 盲目的, 色盲, やばい, 名門, スケバン, あんま, 片親, 連れ子,裸族, 坊主, デカ, 精神病院, 床屋, 浮浪者 $\}$

## - JPersonaChat:

\{町医者, あんま, サツ, ジプシー, 肌色, 片親, ス キンヘッド, 外人, おし, デカ, 坊主, やばい, 床屋,片田舎, 浮浪者 \}


# 知識グラフと Wikipedia を用いた雑談対話モデルの構築

郭 恩孚 ${ }^{1}$ 南泰浩 1
1 電気通信大学情報理工学研究科
enfu.guo@uec.ac.jp minami.yasuhiro@is.uec.ac.jp

## 概要

本研究では，対話モデルがユーザーの提示するエ ンティティを元に対話をより広げられるように、対話履歴から次の話題となるエンティティとその要約を外部から取得し、モデルの入力文脈に追加す る Fine-tune 手法を提案する。学習したモデルを用 いて、発話の自然性、エンティティ応答の妥当性、話題提供の適切性を評価する実験を行った結果、提案手法のモデルがベースラインと比べ、自然性スコ アが 0.66 ポイント、エンティティ応答の妥当性ス コアが 0.52 ポイント、話題提供の適切性スコアが 0.6 ポイントの向上を示し、提案手法の有用性を確認した。

## 1 はじめに

近年、Meta $の$ BlenderBot[1] や Google が発表した Meena[2] など、生成べースの対話システムが盛んに 研究されている。対話システムの研究においては、対話履歴のみを入力とするモデルが多く提案されて いる。しかし、これらのモデルはやや無難な応答を 多く生成することが報告されている。[3]。その原因 として、学習データ内に、「わからない」や「そうで すね」、「いいえ」などの文が多く含まれることが挙 げられる。

この問題を解決するため、対話に外部知識トリプ ルを導入することで、生成べースモデルが学習した 対話データ以外の情報を取り込むことができること が報告されている [4][5]。知識トリプルとは、自然言語処理において、人間の認識や知識を表現するた めに使用される三つの要素（主語、述語、目的語） からなるデータの構造である。例えば「猫は動物で ある」という文章を（猫、分類、動物）で表す。

外部知識トリプルの導入により、知識をモデルの パラメータとして保持する代わりに、知識を利用し た応答生成というプロセスそのものをモデルのパラ メータに保持することができる。その結果、モデル
を再学習する必要がなくなり、学習データに出現し たことがない知識を用いた応答生成が可能になる。 しかし、これらのモデルは、タスク指向型対話や、一問一答のような対話では有効であるが、複数ター ンの雑談対話では、過去の対話履歴を考慮できない 応答の生成や、新たな話題を持ち出せない応答の生成など、知識トリプルの情報をうまく使っていない ことが問題点として挙げられている。

そこで、本研究では、対話履歴から、次の話題 となるエンティティとその要約を知識グラフと Wikipedia から取得し、モデルの入力文脈に追加す る Fine-tune 手法を提案する。実験では、外部知識と して知識トリプルのみ使って Fine-tune したべース ラインモデルと外部知識として知識トリプルとエン ティティの要約を使って Fine-tune した提案モデル の比較を行った。人手による評価を行った結果、提案手法で学習したモデルは知識トリプルのみ使うモ デルよりスコアの向上を確認でき、提案手法の有用性を確認できた。

## 2 データ

## 2.1 対話データ

モデルの学習用対話データとして、[6] の 4 つの コーパスを用いた。各コーパスの構築ソースとデー 夕数を表 1 に示す。モデルの学習では、Wikiコーパ ス、CC-100コーパス、ツイートリプライコーパスを 用いて事前学習を行い、ツイート疑似対話コーパス を用いて Fine-tuneを行う。

 \\

図 1 各コーパスの構築ソースとデータ数

## 2.2 知識グラフとエンティティ要約

知識グラフは Wikidata[7] のダンプデータを用い て構築した。Wikidata は共同編集型の知識ベースで あり、Wikipedia と同じく Wikimedia Project 群の一 つである。Wikidataから（エンティティ1、プロパ ティ、エンティティ2）のような知識トリプルを抽出することができる。

しかし、Wikidata のデータは膨大であり、扱いが 困難であると考えられる。そこで、本研究では、計算量と雑談対話の性質から、知識グラフの構築に以下の制限を付けた。

・エンティティに日本語名が存在するデータ

・雑談対話において、有意義なプロパティを含む データ

ここでは「雑談対話において、有意義なプロパ ティ」とは、以下の項目とする。

・人物関連プロパティ

・人物・組織項目用プロパティ

・人物項目用プロパティ

・組織項目用プロパティ

・私生活関連プロパティ

これらのプロパティの探索には [8] を用いた。結果として、1,991,103 個のエンティティ、224 種類の プロパティ、56,552,434 個のトリプルを用いて知識 グラフを構築した。構築した知識グラフの例を図 2 に示す。

図 2 構築した知識グラフの例

また、各エンティティの要約情報は、Wikipediaを 用いて抽出した。その例を表 1 に示す。表 1 エンティティとその要約例

## 3 提案手法

対話履歴から、直近のユーザー発話やシステム発話の中に含まれるエンティティを抽出する。エン ティティの抽出には Ginza[9] を用いた。抽出したエ ンティティを元に、2.2で構築した知識グラフを用 いて、次の話題となるエンティティが存在するかど うかを確認する。次の話題となるエンティティが複数存在する場合、ランダムに一つを選び、そのエン ティティの要約を取得する。次の話題となるエン ティティが存在しない場合、対話履歴から抽出した エンティティの要約を取得する。取得したエンティ ティの要約を知識情報とし、対話履歴と共にモデル に入力し、知識応答生成を行う。また、対話履歴か らエンティティ抽出できなかった場合、知識情報の 部分を空欄にし、対話履歴のみモデルに入力し、一般応答生成を行う。その一連の処理のフローチャー トを図 3 に示す。

図 3 処理のフローチャート

## 4 実験

## 4.1 実験設定

モデルアーキテクチャには、Transformer EncoderDecoderを用いた。モデルの詳細な設定を表 2 に 示す。

## 4.2 事前学習

事前学習では、2.1の Wiki コーパス、CC-100コー パス、ツイートリプライコーパスを利用した。ま た、[6] と同じく3つの学習：ランダムマスク学習、 シングル応答生成学習、固有名詞マスク学習を行っ た。ランダムマスク学習では、入力トークンの $15 \%$ を [MASK] トークンに置き換え、元の文を復元す る。シングル応答生成学習では、入力からターゲッ 卜応答を生成する。固有名詞マスク学習では、入力文を事前に Sudachi[10] で形態素解析を行い、入力文 にある固有名詞を事前に [MASK] トークンに置き換 えた上で、トークン分割し、元の文を復元する。た だし、[6] では固有名詞を全部置き換えるに対して、本研究では 1 つの固有名詞のみ置き換えるようにし た。各事前学習の入出力形式を表 3 に示す。学習の Optimizer には Adafactor[11]を用い、学習率を 1e-4、 warmup step を 1000 にそれぞれ設定し、目的関数に は label smoothed cross entropy を使用した。

## 4.3 Fine-tune

Fine-tune では、2.1 のツイート疑似対話コーパス を利用した。Encoderへの入力は、話者情報を表す [USER][SYS] トークン、知識情報を表す [KL] トー クンを導入し、先頭に「[SYS] の発話を生成する：」 を付け、過去の全発話を入力する。ユーザーの発話 に該当する部分の先頭に [USER]、末尾に [/USER] トークンをつけた。システムの発話に該当する部分 の先頭に [SYS] トークン、末尾に [/SYS] トークン をつけた。知識情報に該当する部分の先頭に [KL] トークン、末尾に [/KL]トークンをつけた。また、 Feed-Forward Network および Attention の dropout 率を
0.1 に設定し、学習の Optimizer には Adafactor を使用 した。学習率を 1e-4、warmupstep を 2000 にそれぞ れ設定し、目的関数には label smoothed cross entropy を用いた。

## 4.3.1 ベースライン

知識情報の部分に知識トリプルを入れ、Fine-tune し応答文を生成するものを、ベースラインとして用 いる。その入力例を表 4 に示す。

表 4 ベースラインモデルの Fine-tune 時の入力形式のテ ンプレート

[SYS] の 発話を生成 す る:[USER] ユ — ザーの 発話: $U_{1}[/ \mathrm{USER}]$ [SYS] モデルの発話 $S_{1}[/ \mathrm{SYS}] \ldots[/ \mathrm{USER}][\mathrm{KL}]$ 知識トリプル:T[/KL][SYS]

## 4.3.2 提案モデル

知識情報の部分にエンティティの要約を入れ、 Fine-tune し、応答文を生成するものを提案モデルと して用いる。その入力例を表 5 に示す。

表 5 ベースラインモデルの Fine-tune 時の入力形式のテ ンプレート

[SYS] の 発話を生成 する:[USER] ユー ザーの発話: $U_{1}[/ \mathrm{USER}]$ [SYS] モデルの 発話 $S_{1}$ [/SYS]...[/USER][KL] エンティティ要約: $E[/ \mathrm{KL}][\mathrm{SYS}]$

## 4.4 評価時の応答生成設定

モデルの応答は自然性と多様性の両方を満たすこ とが望ましい。そこで、本研究では Beam Searchに よりベースラインモデルと提案モデルから応答を生成し、以下の処理を行う。同じ表現が繰り返し出現 する応答の生成を防ぐため、生成された系列中にす でに出現した N-gram を出現させないようにした。 さらに、「そうですね」といった無難な発話を繰り返 し応答しないように、difflibの SequenceMatcher を用 いて、現在の生成候補と過去のモデル応答と比べ、類似度が 0.7 以上の応答は候補から除外した。残り の候補の中、perplexity が比較的小さな応答を選択す ることで、自然性と多様性を同時に満たす応答を選 んだ。応答生成設定のパラメータを表 6 に示す。

表 3 各事前学習学習の入出力形式の例 (トークナイズ後)

## 4.5 実験結果及び分析

ベースラインモデルと提案モデルを比較するた め、評価者 5 名でそれぞれ 10 対話について評価し た。評価者と異なる実験参加者に 2 つのエンティ ティを提示し、モデルを使った対話システムと、 10 ターン以上継続した対話となるよう指示した。評価 では、下記の軸について 5 段階 (1: とてもそう思わ ない 5: とてもそう思う) 評価をしてもらった。

・自然性: 対話全体が自然かどうか

・エンティティ応答の妥当性: モデルは実験参加者が提示したエンティティをうまく応答でき たか
- 話題提供の適切性: モデルは実験参加者が提示 したエンティティから他の話題を提供できたか その評価結果を図 4 に示す。図 4 より、提案モデ ルはベースラインモデルより自然性スコアが 0.66 ポイント、エンティティ応答スコアが 0.52 ポイン ト、話題提供スコアが 0.6 ポイント向上している。

図4 モデルの評価結果

ベースラインモデルと提案モデルの生成例を表 5 に示す。ユーザーが提示した「ユニバーサル・ス タジオ・ジャパン」というエンティティについて、 ベースラインモデルでは、「ユニバーサル・スタジ オ・ジャパンはいいですね」といった知識トリプル を使わずにやや無難な応答を生成した。一方、提案モデルでは知識要約の情報を含んだ「私はスー パー・ニンテンド・ワールドに行ったことがありま す」という応答を生成しており、より踏み込んだ対話をしている。以上の結果により、実験参加者が提示したエンティティの情報を入力文脈に挿入するこ とで、よりそのエンティティに近い文が生成され、対話全体の自然性も上がったと考えられる。

また、提案モデルの低評価の生成例を図 6 に示 す。対話履歴により、猫と猫砂の話をしているた め、ユーザーの発話に出現した「ライオン」は「ラ
イオン (企業)」というエンティティのことを指し てると考えるのが妥当である。しかし、システムは 知識グラフ上の「ライオン (動物)」というエンティ ティに紐付けた。その結果、誤った知識を使って、唐突に動物のライオンについて発話してしまい、 ユーザーを困惑させている。対話履歴からユーザー 発話の中に含まれているエンティティを理解し、知識グラフのエンティティに正しく紐付くことが今後 の課題である。

図 5 ベースラインモデルと提案モデルの応答文生成例

図 6 低評価の生成例

## 5 おわりに

本研究では、対話履歴から、次の話題となるエン ティティとその情報を知識グラフと Wikipedia から 取得し、モデルの入力文脈に追加する手法を提案し た。人手評価の結果、知識トリプルで学習したモデ ルと比較し、自然性、エンティティ応答の妥当性、話題提供の適切性スコアがともに向上しているこ とが確認できた。一方、対話履歴から抽出したエン ティティを知識グラフの違うエンティティと紐付 け、誤った知識を使った応答が生成されるといった ことも生じた。前後の文脈などからより正確にエン ティティ抽出することが今後の課題である。

## 参考文献

[1] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. Vol. abs/2004.13637, 2020.

[2] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot, 2020.

[3] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[4] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation, 2021.

[5] Debanjan Chaudhuri, Md Rashad Al Hasan Rony, and Jens Lehmann. Grounding dialogue systems via knowledge graph aware decoding with pre-trained transformers, 2021.

[6] 郭恩孚, 南泰浩. 固有名詞に注目した transformer に よる雑談対話モデルの構築. 言語処理学会第 28 回年次大会 発表論文集, pp. 1500-1504, 2022.

[7] Wikimedia Foundation. Wikidata downloads. 2022.

[8] Wikidata prop explorer.

[9] Mai Hiroshi and Masayuki. 短単位品詞の用法曖昧性解決と依存関係ラベリングの同時学習. 言語処理学会第 25 回年次大会, 2019.

[10] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

[11] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. Vol. abs/1804.04235, 2018.


# 情報源のアノテーションによる 外部知識に基づいた応答の魅力度の分析

児玉 貴志 ${ }^{1}$ 清丸 寛一 ${ }^{1}$ Yin-Jou Huang ${ }^{1}$ 岡久太郎 ${ }^{2}$ 黒橋 禎夫 ${ }^{1}$
1 京都大学 2 静岡大学
\{kodama, kiyomaru, huang, kuro\}@nlp.ist. i kyoto-u.ac.jp
okahisa-taro@inf.shizuoka.ac.jp

## 概要

人間は何らかの外部知識を参照しながら話す場合 でも，自身の知識や意見を適度に織り交ぜながら魅力的に発話を行う. 本研究ではそういった人間の振 る舞いを，既存の外部知識に基づいた対話コーパス に追加で情報源のアノテーションをすることで分析 する. 具体的には，発話中の各エンティティに対し て，そのエンティティが外部知識に由来する（外部知識由来）か, 話者の知識や意見に由来する（話者由来）かをアノテーションする. 分析の結果, 話者由来情報を含む発話は応答の魅力度が高いことが分 かった. また，既存の外部知識に基づく対話応答生成モデルが生成する応答は人間の応答より話者由来情報の割合が少ないことを実験的に確認した。

## 1 はじめに

対話システムに情報性の高い応答を生成させ るために外部知識を活用する研究が増加してい る $[1,2,3,4,5]$. そうした研究では与えられた外部知識を正確に応答に反映させる方法に注目すること が多い $[6,7]$.

しかし外部知識に基づく対話において，図 1 に示 すように，人間は単に外部知識による情報を相手に 知らせるだけでなく, 話者自身が持っている知識や 意見を有効に織り交ぜる $[8]$ ことで，発話を魅力的 なものにしている．与えられた外部知識を応答に正確に反映することに特化したモデルが，そのような 魅力的な振る舞いをどの程度実現できるかはこれま で定量的に確認されていない。

そこで本研究ではまず，外部知識に基づいた対話 コーパスの発話に情報源のアノテーションを追加 で施すことで, 人間が話者由来情報をどの程度発話 に取り込んでいるかを分析する。具体的には，発話
いちばんの見どころはどこですか?

製作年度 : 2003年

レビュー : 世界的にヒットした海賊たちの 世界いがテーマの映画の 1 作目見どころですか ? 2003年の古い映画なのですが今見ても 古さを感じず見れるとこですかね。海賊の争いがテーマなんですけど裏切りもあるのですが それを超え絆を深めて行くとこがなんとも大好きです。

図 1 Japanese Movie Recommendation Dialogue [9] の対話例. 推薦者発話中の青字と赤字の箇所がそれぞれ外部知識由来情報と話者由来情報を指す．推薦者発話の上部の 四角部分には推薦者が該当発話で使用している外部知識 を示す.

中の各エンティティに対して，そのエンティティが 外部知識に由来する（外部知識由来）か，話者自身 の知識や意見に由来する（話者由来）かをアノテー ションする. アノテーションされたデータセットを 分析した結果，魅力的な発話は話者由来情報を多く 含むことを確認できた。

次に，パープレキシティを最小化するという一般的な手法で訓練した，BART ベースの応答生成モデ ルが話者由来情報をどの程度使用できているかを調査した。その結果応答生成モデルは人間ほど頻繁に は話者由来情報を使用できていないことが明らかに なった．以上の分析と実験結果より，外部知識に基 づく応答生成における魅力度を高めるにはパープレ キシティを最小化するだけでは不十分であり，学習 フレームワークに改善の余地があることが示唆さ れた.

## 2 情報源のアノテーション

本節では情報源ラベルのアノテーション方法とそ の結果について説明する。

## 2.1 アノテーション方法

外部知識に基づいた対話コーパスである Japanese Movie Recommendation Dialogue (JMRD) [9] に追加で 情報源のアノテーションを行う．JMRD は映画推薦

についての日本語対話コーパスで，推薦者は発話を 行う際に，参照した映画情報にアノテーションを 行っている.この手続きにより推薦者の全ての発話 に, 外部知識として映画情報が紐付けられている。各知識は知識タイプ (タイトル, 製作年度, 監督, キャスト，ジャンル，レビュー，あらすじ，知識な しの8つ）と対応する知識コンテンツから構成され ている. 表 7 に JMRD の対話例を，表 8 に JMRDで 使用されている外部知識の例を示す.

本研究では推薦者の発話中の全ての体言，用言，形容詞をアノテーションの対象とし，これらをエン ティティと呼ぶ. エンティティの抽出には, 形態素解析器 Juman++ [10] を使用する. 抽出の際にはエン ティティの意味を捉えやすくするため，エンティ ティを修飾している形容詞や副詞も含めて抽出す る. アノテータは抽出されたアノテーション対象を 以下に示す情報源のタイプのいずれかに分類する。

外部知識由来：対象のエンティティがその発話で使用されている外部知識に基づいている.

話者由来：対象のエンティティが推薦者が推薦映画について元々持っている知識や意見に基づいて いる.

その他：上記 2 つに該当しない.

以下に分類の実例を示す.

(1) 発話：アクションシーン (外部知識由来) は

見ごたえ (話者由来) 抜群です

使用されている知識：\{ジャンル,アクション\}

アノテーションはプロのアノテータに依頼した. 1 人のアノテータが 1 つの対話を担当し, アノテー ション後に別のアノテータが内容を確認した。アノ テーションにかかった費用は約 140 万円だった.

## 2.2 アノテーション結果

表 1 にアノテーションの統計を示す. 推薦者は外部知識を参照しながら発話をしているため，その性質上外部知識由来のエンティティが多いものの, 話者由来のエンティティも約 6 万個存在した. この結果は，人間は外部知識を伝えるための対話であって も，自身の知識や経験，意見を発話に取り入れてい ることを示している.表 1 情報源のアノテーションの統計

図 2 アンケート結果と各情報源ラベルとの関係

## 3 人間の応答の分析

本節では人間の発話の魅力度と話者由来情報の関係を対話レベルと発話レベルに分けて分析する。

## 3.1 対話レベルの分析

JMRD の一部の対話（4,317 対話）には対話終了後に取った 5 段階評価のアンケート（5 が最良）が 付随している. そのアンケートの中から, 被推薦者側の, 対話魅力度（質問文：「対話を楽しめたか」） と, 推薦成功度（質問文：「推薦された映画を見たく なったか」）の2つのアンケート結果と各情報源ラ ベルの割合との関係について分析する.

図 2 にアンケートのスコア別に各情報源ラベル の割合を示す.この図より対話魅力度，推薦成功度 ともに，評価の低い対話では話者由来情報が少なく （または外部知識由来情報が多く），評価の高い対話 では話者由来情報が多い（または外部知識由来情報 が少ない）傾向が見て取れる．JMRDではクラウド
表 2 人間の応答に対する発話魅力度 ${ }^{11}$ 。括弧内の数値は 応答数を指す.

ワーカーに一定量の外部知識を提示し，その知識を 使いながら対話をするように教示している。ただ，対話相手からの評価が高い推薦者は，与えられた外部知識だけではなく，話者由来の知識をある程度 （統計的には約 $25 \%$ 程度）混ぜながら発話をしてい ることが分かった.

## 3.2 発話レベルの分析

JMRD には発話単位では応答の魅力度が付随して いないため，新たにクラウドソーシングで応答の魅力度 (発話魅力度) について評価を行った. まずテ ストデータの中から 500 個の対話文脈（4 発話）と その文脈に対する応答を抽出し，クラウドワーカー にその応答の発話魅力度（質問文：「この応答をし た人と話してみたい」）を 5 段階評価（5が最良）で 評価してもらう．各応答につき 3 名のクラウドワー カーに評価してもらい，スコアはその平均とする.

表 2 に結果を示す. 話者由来情報を含む応答の平均スコアが 3.31 であるのに対し，含まない応答の平均スコアは 3.07 であった. この結果より, 話者由来情報を含む応答の方がより魅力的であることが発話 レベルでも示された.

## 4 システム応答の分析

本節では一般的な手法で訓練した応答生成モデル が生成した応答中の情報源ラベルの分布を調査す る. まず対話文脈と外部知識から応答を生成する応答生成器（4.1 節）を訓練する. 次に応答と外部知識を入力，情報源ラベルの BIO タグを出力とする 情報源分類器（4.2 節）を訓練する. 最後に応答生成器が生成した応答（システム応答と呼ぶ）に対し て，訓練した情報源分類器によって情報源ラベルを 推測して付与し，その分布を確認する.

## 4.1 応答生成器

応答生成器は日本語 Wikipediaを使用して事前学習された BART large $^{\text {[11] }}$ を fine-tuning して作成す

1）情報源ラベルのない 4 発話についてはこの結果から除外し ている.表 3 情報源分類器による系列ラベリング結果

る2). モデルへの入力は以下のように定める.

$
\begin{aligned}
& {[C L S] u_{t-4}[S E P] u_{t-3}[S E P] u_{t-2}[S E P]} \\
& u_{t-1}[S E P]\left[C L S_{K}\right] k t^{1}[S E P] k c^{1}[S E P] \ldots \\
& {\left[C L S_{K}\right] k t^{M}[S E P] k c^{M}[S E P]}
\end{aligned}
$

$t$ は対話ターン, $u_{t}$ は $t$ 番目の発話, $k t^{i}$ と $k c^{i}$ $(1<=i<=M)$ は応答 $u_{t}$ に紐付けられている知識夕 イプと知識コンテンツである（ $M$ は応答に紐付けら れている知識の最大数). $\left[C L S_{K}\right]$ は特殊トークンで ある．実運用時は知識選択も行う必要があるが，本研究では知識が応答にどのように反映されているか に注目するため，知識選択タスクは行わず，モデル には常に正解の知識を入力する. モデルは応答 $u_{t}$ のパープレキシティ最小化を目的関数として学習 する。

システム応答の評価には SacreBLEU [12] を使用 した. 正解の知識を与えているため，BLEU-1/2/3/4 は 81.1/73.5/71.0/69.9 と非常に高いスコアとなった. 3.2 節で行った，発話魅力度の評価をシステム応答 に対しても同様に行った. 平均スコアは 3.09 であ り，人間と比較するとやや低いスコアとなった.

## 4.2 情報源分類器

情報源分類器は日本語 Wikipedia と CC-100 を使っ て事前学習された RoBERTa large $^{\text {[13] }}$ を fine-tuning し て作成する ${ }^{3}$ ． 情報源分類器は，情報源の BIO ラべ ルを推定する系列ラベリングタスクを解く．モデル への入力は以下のように定める.

$
\begin{array}{r}
{[C L S] u_{t}[S E P]\left[C L S_{K}\right] k t^{1}[S E P] k c^{1}[S E P] \ldots} \\
{\left[C L S_{K}\right] k t^{M}[S E P] k c^{M}[S E P]}
\end{array}
$

表 3 に各ラベルの適合率 (Prec)，再現率 (Rec)，F1 スコア $(\mathrm{F} 1)$ とそれぞれのマイクロ平均スコアを示 す. マイクロ平均 F1 スコアは 90.50 であり，後段の 分析に使用するには十分な精度である.

2) https://nlp.ist.i.kyoto-u.ac.jp/?BART\%E6\% $97 \% A 5 \% E 6 \%$ 9C\%AC\%E8\%AA\%9EPretrained\%E3\%83\%A2\%E3\%83\%87\%E3\%83\%AB

3) https://huggingface.co/nlp-waseda/

roberta-large-japanese-seq512

 & \\

表 5 人間とシステム応答の情報源ラベルの分布. gold はアノテータによって付与されたラベルを，pred は情報源分類器で推定したラベルを指す.

表 6 知識タイプ別の話者由来情報の割合

## 4.3 推定ラベルに対する分析

4.2 節で訓練した情報源分類器を用いて，システ ム応答の情報源ラベルを推定する．表 5 に人間とシ ステム応答の情報源ラベルの分布を示す. 人間の応答にはアノテーション（2 節）ですでに正解ラベル が付与されている（Human (gold)）が，公平な比較 のため人間の応答についても情報源分類器で推定ラ ベルを付与する (Human (pred)). Human (gold) と Human (pred) は似た分布になっており, 分類器の 精度が十分高いことを示している.

推定したラベルが付与されたシステム応答である System (pred) は，Human (pred) と比較すると，外部知識由来の割合が大きく増加 $(66.75 \% \rightarrow 85.48 \%)$ し,話者由来の割合が大きく減少 $(27.49 \% \rightarrow 10.66 \%)$ し た. この結果より，一般的な手法で訓練した応答生成モデルは人間より話者由来情報の使用量が減少し てしまうことが明らかになった.

表 4 に，人間とシステムの応答例を発話魅力度と ともに示す. システムは外部知識を適切に反映し ているものの，人間の応答中の「この二人，歌手も
やってます.」のような，話者由来情報を追加する といった振る舞いはできていない.

さらなる分析として，表 6 に知識タイプ別の話者由来情報の割合を示す. 人間の発話と比較すると， システム発話の話者由来情報の量はすべての知識 タイプで減少した. 特にレビュー $(31.42 \% \rightarrow 6.32 \%)$ やあらすじ $(13.68 \% \rightarrow 2.32 \%)$ では大きな减少が見 られた.レビューやあらすじは誰かの知識や意見を 記述した外部知識であり，システムはこうした外部知識を参照することで，他に話者由来情報を追加す る必要がなかったためであると考えられる。

話者由来情報が応答の魅力度を向上させるという 分析と合わせると，現在の主流のモデルは話者由来情報を効果的に取り込むことができないため，その 魅力度が低下してしまっている可能性がある. こう した能力は応答生成のパープレキシティを最小化す るようにモデルを最適化するだけではほとんど学習 されないため，新たな学習フレームワークが必要で あると考えられる。

## 5 おわりに

本研究では，外部知識に基づいた対話における，人間およびシステム応答に含まれる話者由来情報に ついて分析した. 分析の結果，外部知識だけでなく 話者由来情報を用いることで，より魅力的な応答が 得られることが分かった. また標準的な方法で学習 した応答生成モデルは，人間よりも話者由来情報の 生成量が少ないことを定量的に確認した。

対話に出現する話者由来情報は多種多様であり，単純に応答のパープレキシティを最小化するだけで は話者由来情報をうまく活用することは困難であ る. 今回施したアノテーションは公開予定であり, このアノテーション付きコーパスがこの問題に取り 組む上での良い出発点となることを期待する.

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成, JST，CREST，JPMJCR20D の支援，及び JSPS 科研費 JP22J15317 の助成のもとで行われた。

## 参考文献

[1] Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen-tau Yih, and Michel Galley. A knowledge-grounded neural conversation model. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, April 2018.

[2] Kangyan Zhou, Shrimai Prabhumoye, and Alan W Black. A dataset for document grounded conversations. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 708-713, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Nikita Moghe, Siddhartha Arora, Suman Banerjee, and Mitesh M. Khapra. Towards exploiting background knowledge for building conversation systems. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2322-2332, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[4] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019.

[5] Xueliang Zhao, Wei Wu, Can Xu, Chongyang Tao, Dongyan Zhao, and Rui Yan. Knowledge-grounded dialogue generation with pre-trained language models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 33773390, Online, November 2020. Association for Computational Linguistics.

[6] Byeongchang Kim, Jaewoo Ahn, and Gunhee Kim. Sequential latent knowledge selection for knowledgegrounded dialogue. In International Conference on Learning Representations, 2020.

[7] Haolan Zhan, Hainan Zhang, Hongshen Chen, Zhuoye Ding, Yongjun Bao, and Yanyan Lan. Augmenting knowledge-grounded conversations with sequential knowledge transition. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5621-5630, Online, June 2021. Association for Computational Linguistics.

[8] Hannah Rashkin, David Reitter, Gaurav Singh Tomar, and Dipanjan Das. Increasing faithfulness in knowledgegrounded dialogue with controllable features. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing
(Volume 1: Long Papers), pp. 704-718, Online, August 2021. Association for Computational Linguistics.

[9] Takashi Kodama, Ribeka Tanaka, and Sadao Kurohashi. Construction of hierarchical structured knowledgebased recommendation dialogue dataset and dialogue system. In Proceedings of the Second DialDoc Workshop on Document-grounded Dialogue and Conversational Question Answering, pp. 83-92, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and structure of the Juman++ morphological analyzer toolkit. Journal of Natural Language Processing, Vol. 27, No. 1, pp. 89-132, 2020.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[12] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. Vol. abs/1907.11692, , 2019.

[14] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.
表 7 JMRD の対話例. 話者列の R と S はそれぞれ推薦者と被推薦者を指し，添字の番号は対話のターン数を示す.「知識なし」は推薦者が外部知識を使用しなかったことを示す.

 \\

表 8 JMRD で使用されている外部知識の一例. 監督とキャストには名前と説明がそれぞれ存在する.

 &  \\

表 9 応答生成器と情報源分類器のハイパーパラメータ