# 組合せ範疇文法による ドイツ語文の原因・結果関係の意味表示

高橋直人 一杉裕志 竹内泉
産業技術総合研究所人工知能研究センター
\{naoto.takahashi,y-ichisugi, takeuti.i\}@aist.go.jp

## 概要

自然言語において，原因を表す文と結果を表す文の関係は，様々な統語構造で表現可能である. そのような異なる表現の間では, 異なった統語構造が意味上の細かな差を生じる事はあっても，一方の文が原因を表し，もう一方の文が結果を表すという基本的な原因・結果関係は共通している. 本稿では, ドイツ語で書かれた原因・結果文を組合せ範疇文法に基づいて解析する際に, 統語構造が異なっていても同一の意味表示が合成できるような語彙項目の設定を提案する。またその際, 正書法上必要とされるコンマを積極的に利用して文関係の明示化を試みる.

## 1 はじめに

人間の知性を他の生物の知性から区別する最大の特徴は, 階層構造を持った言語の使用であると言える。

文は語の連続から構成されるが，語の並び方には必然性があり, 語順が変われば一般に意味も変わる.また，たとえ表層の語順が同一であっても，内部の統語構造が異なれば文の意味も異なる場合がある. 反対に, 統語構造の異なる複数の文が (ニュアンスの違いこそあるにせよ）同一の意味を表す場合もある.したがって, 自然言語を人間同様に解釈する人工知能を構築するためには, 文を単なる語の集合（あるいは語の系列）とみなして統計的に処理するだけでは不十分であり, 統語構造に基づいて, 論理的に意味を合成する必要がある.

本稿では, 統語構造に基づいた論理的な意味合成の具体例として, ドイツ語文における原因・結果関係と, 組合せ範疇文法に基づいてそれを解析するための語彙項目設定に関して考察する.

## 2 組合せ範疇文法

組合せ範疇文法 $[1,2,3,4]$ は語彙化文法の一種であり, 古典的範疇文法に関数合成規則を取り入れたものである．組合せ範疇文法の弱生成能力は, 文脈自由文法と文脈依存文法の中間に位置する事が知られており，それゆえ自然言語の文法記述に適していると考えられる。

## 2.1 統語範疇

通常の句構造文法では, 個々の文法範疇に対して固有の非終端記号を割り当てる.たとえば文には $S$ (sentence), 名詞句には $N P$ (noun phrase), 動詞句には $V P$ （verb phrase）等の記号を割り当てる事が多い.これに対し組合せ範疇文法では，ごく少数の基底範疇と，それらを結ぶ演算子を再帰的に用いて多種多様な統語範疇を表現する。

たとえば英語の動詞句は,

自分自身の左側に主語となる名詞句が隣接した

場合, 全体として文となるような統語範疇

と定義できる. したがって動詞句は, $V P$ という固有の記号を使わなくとも， $S$ (文) と $N P$ (名詞句) の組み合わせで $S \backslash N P$ と表現できる.ここで $X \backslash Y$ は,「左側の $Y$ と組み合わされたときに $X$ となる統語範疇」を意味する。

また英語の他動詞は，

自分自身の右側に目的語となる名詞句が隣接し

た場合，全体として動詞句 $(S \backslash N P$; 上記参照) となるような統語範疇

と定義できる。したがって「他動詞」は $(S \backslash N P) / N P$ と表現できる。ここで $X / Y$ は, 「右側の $Y$ と組み合わされたときに $X$ となる統語範疇」を意味する.
順関数適用規則

逆関数適用規則

逆関数交差合成規則 $\quad \frac{Y / Z: g \quad X \backslash Y: f}{X / Z: \lambda x . f(g x)}<\mathrm{Bx}$

図 1 本稿で用いる組合せ規則一覧

## 2.2 組合せ規則

組合せ範疇文法における「組合せ規則」は，統語範疇と意味表示の両者を同時並列的に合成する物として定義される。このため統語構造と意味表示の間には明確な対応関係が存在する。

組合せ範疇文法で用いられる組合せ規則の数は,通常の句構造文法などにおける文法規則に比べるとはるかに少ない。また, 組合せ範疇文法における組合せ規則は，記述対象となる言語には依存せず，原理的にはすべての言語間において共通だとされている1). 言語間に存在する文法上および意味上の差異は, 基本的に語彙項目の設定で吸収する事になっている.

組合せ範疇文法で一般に使用される組合せ規則のうち，本稿に登場する規則の一覧を図 1 に示す. コロンの左側が統語範疇で，コロンの右側がラムダ項による意味表示である。

## 2.3 語彙項目設定の重要性

本稿の目標は,

統語的には様々に異なった構造を持っているが，人間が読んだ場合には同一の意味を持つと理解されるような複数の文に対して，最終的に同一の意味表示を合成する事

である，組合せ範疇文法は，統語構造と意味表示の間に明確な対応関係を持つので, この目標の達成度を評価するにふさわしいと言える.

文全体の最終的な意味表示は,
- 合成対象となる下位の構成素それぞれの意味表示

・それら下位の構成素それぞれの統語範疇

-下位の構成素間に対して適用される組合せ規則という 3 者から機械的に合成されるわけであるが，
これらのうち 3 番目の組合せ規則は汎言語的に共通であるので，望ましい合成結果，すなわち文全体の望ましい意味表示，を得るためには，合成の材料となる各語彙項目の意味表示と統語範疇を慎重に設定する必要がある.

## 3 ドイツ語の文法的特徵

## 3.1 原因・結果表現

本稿で解析対象とする 6 種類の原因・結果表現を, 図 2 に示す. 他の自然言語と同様, ドイツ語においても「Aの結果として Bである」あるいは「B の原因は $\mathrm{A}$ である」のような 2 文の関係は様々な統語構造で表現されうる. いずれの文も基本的な意味は同一であるが，それぞれの統語構造を細かく見ると，
- 原因を示す文は，結果を示す文に先行するか, それとも後続するか

・原因を示す文に標識が付くか，結果を示す文に標識が付くか

・原因あるいは結果を示す標識は，どのような品詞で表現されるか

などの点でバリエーションがある事が分かる.

## 3.2 接続詞 weil

従属接続詞 weil は原因を示し, 従属複合文中で副文の文頭に立つ.このとき副文内の定動詞は文末に置かれる。また weilによって導入される副文が主文に先行する場合は，副文全体が一つの文肢 [5] を形成するので，後続する主文は定動詞が文頭となる (図2 文 1,2 ).

## 3.3 接続詞 denn

並列接続詞 denn は原因を示し, 並列複合文中における後続文を導く.この後続文は平叙文なので，定動詞は平叙文内で第 2 位に位置する（図 2 文 3 ）.

## 3.4 副詞 nämlich

接続的副詞 nämlich は原因を示し, 並列複合文中で用いられる。通常であれば，文全体を修飾する副詞は文頭に立つ事も可能であるが，この用法としての nämlich が文頭に立つ事はない（図2 文4).

1. 従属複合文（結果文が先行）

Ich trinke Bier, weil ich Durst habe.

I drink beer because I thirst have

2. 従属複合文（原因文が先行）

Weil ich Durst habe, trinke ich Bier.

because I thirst have drink I beer

3. 並列複合文（原因文の文頭に並列接続詞）

Ich trinke Bier, denn ich habe Durst.

I drink beer because I have thirst

4. 並列複合文（原因文の文中に接続的副詞）

Ich trinke Bier, ich habe nämlich Durst.

I drink beer I have because thirst

5. 並列複合文（結果文の文頭に接続的副詞）

Ich habe Durst, deshalb trinke ich Bier.

I have thirst therefore drink I beer

6. 並列複合文（結果文の文中に接続的副詞）

Ich habe Durst, ich trinke deshalb Bier.

I have thirst I drink therefore beer

図 2 「喉が渴いたのでビールを飲む」のドイツ語訳 6 種

## 3.5 副詞 deshalb

接続的副詞 deshalb は並列複合文中で用いられるが，上記の他の標識と異なり，原因ではなく結果を示す文に付く. また nämlich と違って, 文頭に立つ事もできる（図2文 $5 ， 6$ ）。

## 4 ドイツ語用組合せ範疇文法

## 4.1 基底範疇と統語素性

本稿で使用するドイツ語用基底範疇は名詞句 $(N P)$ と文 $(S)$ の 2 種類のみであるが，Hockenmaier [6] に準じた統語素性を用いてそれぞれの下位分類を設定している。

## 4.1.1 名詞句の統語素性

ドイツ語の平叙文においては，英語同様の「主格名詞句一定動詞一対格名詞句」という語順に加えて，「対格名詞句一定動詞一主格名詞句」や「副詞一定動詞一主格名詞句一対格名詞句」などの語順も可能である. このため, 名詞句が文中において果たす主格や対格といった統語的役割を，語順とは独立した形式で示す必要がある.

一般にドイツ語文中における名詞句の格は，冠詞や形容詞語尾などによって表現される事が多い.しかし本稿の範囲内では，主格名詞句としては人称代名詞の ich が，対格名詞句としては無冠詞・無変化の名詞 Durst と Bier が登場するのみである。そのため，名詞句（NP）に関する統語素性としては， $n$ （nominative，主格）と $a$ (accusative, 対格）の 2 種類のみを使用する2).

## 4.1.2 文の統語素性

Hockenmaier[6] では,「ドイツ語平叙文の基底語順は定動詞文頭であり，前域に位置する主語は主題化 （topicalization）によるものである」と解釈されている。またこれによって，主格名詞句，対格名詞句，与格名詞句それぞれの統語範疇を同一に保ったままで，前域要素の入れ替えが可能である事が示されている.

これは興味深い解釈であり, 形式主語の es が前域以外では省略可能である理由なども，ここから説明できると思われる.

よって本稿でも [6] 同様, 文 $(S)$ の統語素性とし $\tau, d c l$ (declarative, 定動詞第 2 位), $v l$ (verb initial,定動詞文頭)，vlast（verb final，定動詞文末）, emb （embedded，副文）の 4 種類を使用する。

## 4.2 語彙項目としてのコンマ

現代ドイツ語の正書法には，複合文内の各文をコンマで区切るという規則がある。本稿ではこの規則を利用して，複合文内の 2 文を結合するコンマに統語範疇と意味表示を割り当て，原因・結果関係を見通しよく表現する方策を取った。

なお，原因・結果を示す標識語の統語範疇を工夫すれば，コンマを利用しなくても原因・結果関係が表現可能である事は確認済みであるが，これについての詳細は他の機会に譲る。

## 4.3 標識の位置と意味表示

組合せ範疇文法においては，生成文法で言うところの空範疇は想定されない $[1,7]$. また組合せ規則が適用されるのは，実際に音韻表示を持った上で， かつ表層上で直接隣接する統語範疇間のみである。

そのため図 2 中の文 $1 ， 2 ， 3 ， 5$ のように，原因・結果を示す標識（weil, denn, deshalb など）が文頭に出現する場合には，当該文の意味役割（原因あるいは結果）を容易に標示する事ができる3)が，図 2 中の文 4 における nämlich，および文 6 における deshalb のように，原因・結果を示す標識が文の

2）文法的には，名詞句の格として他に属格および与格が存在するが，本稿には登場しない。

3）原因・結果を示す標識が文頭ではなく文末に出現する場合 （日本語の「〜だから」など）も，その標識を含む文の意味役割は容易に標示できる。
表 1 語彙項目一覧

} & \begin{aligned}$(S[d c l] \backslash N P[n]) / N P[a] & : \lambda y . \lambda x \cdot h a v e^{\prime}(x, y) \\
& : \lambda y . \lambda x \cdot \operatorname{drink}^{\prime}(x, y)\end{aligned}$ \\

& : \lambda y . \lambda x \cdot \operatorname{drink}^{\prime}(x, y)\end{aligned}$ \\

中央部分に埋め込まれている場合は，その標識を含む文の意味役割の標示がやや難しくなる. 本稿では, Steedman[1] および戸次 [3] における英語助動詞 might の意味表示を参考に, 逆関数交差合成規則を用いてこの問題を解決した.

## 4.4 語彙項目の設定と意味表示の導出

以上を踏まえ，本稿では表 1 に示す語彙項目設定を提案する. 複数の統語範疇が与えられている語彙項目に対しては, 状況に応じて適切な統語範疇とそれに対応した意味表示を選択する事とする. その結果, 図 3～図 5 に示したように，全 6 文から

$
\text { because'(have'(I',thirst'),drink'(I',beer')) }
$

という共通の意味表示を得る事ができるようになる。（スペースの都合上， 6 文のうち 3 文の導出のみを掲載している.)

## 5 関連研究

Vancoppenolle[8] らは, 株式市場領域の文生成を目的としたドイツ語文法を発表した。この文法は，組合せ範疇文法の拡張である「マルチモーダル組合せ範疇文法」を用いて記述されており, OpenCCG ${ }^{4)}$ の下で実装されている. OpenCCG は組合せ範疇文法の解析・生成システムであり, 様相論理を拡張した Hybrid Logic Dependency Semantics [9] を意味表示として採用している. 彼らはドイツ語を部分的に語順自由な言語ととらえ, 型変換規則を用いる事でかき混ぜ文や主題化の扱いを工夫している.

4) https://github.com/OpenCCG/openccg
Hockenmaier[6] は, 既存のドイツ語ツリーバンクである Tiger corpus ${ }^{5)}$ を，組合せ範疇文法版のツリー バンクに変換する手順を論じている．またその説明の過程で，ドイツ語用組合せ範疇文法に関する興味深い提案を行っている.ただし，統語範疇に関する記述のみで，意味表示に関しては述べられていない.かき混ぜ文に関しては，各語順に合わせてそれぞれに専用の統語範疇を用意する立場を取っている.

Evang ら [10] は，多言語対応組合せ範疇文法のアノテーションガイドラインと，アノテーション実施のためのツールを公開している. 対象とされている言語は, 英語, ドイツ語, イタリア語, オランダ語の 4 言語である.また参考のために， $4 \times 100$ 文のパラレルコーパスと, $10 \mathrm{~K}$ 文の検証済み単言語コーパス，および $82 \mathrm{~K}$ 文の部分的検証済み単言語コーパスが提供されている．意味表示に関しては述べられていない.

## 6 おわりに

適切な統語範疇と意味表示を持った語彙項目を設定する事で， 6 通りの異なった統語構造を持ったドイツ語の原因・結果文すべてから同一の意味表示を合成する事が可能となった。人間がこの 6 文を読んだ場合も，脳内にはほぼ同一の原因・結果関係が生成されると考えられる。

人間による文理解において興味深いのは，文全体を読み終えてから最適解の探索を開始するのではなく，文頭から順に語を読み進めるに沿って漸進的に解釈を行っていると感じられる点である.

一般の句構造文法では, 主語一動詞一目的語という語順の構造を（主語（動詞目的語））のように解析するので, 文頭からの漸進的な解釈のモデル化が難しいが，組合せ範疇文法では型繰り上げ規則と関数合成規則を利用する事で，（（主語動詞）目的語）という解析が可能である6). その意味で組合せ範疇文法は漸進的解釈のモデル化に向いている.

また, 日本語やドイツ語のように（動詞以外の）語順が比較的自由な言語においては, 異なる入力語順から同一の意味的表現が合成される場合がある. これも広い意味では，異なる統語構造から同一の意味表示を求める問題と言える．今後はこれらの点に注目して研究を進めていきたい.

## 謝辞

本研究は JSPS 科研費 JP22K12188 の助成を受けたものです.

## 参考文献

[1] Mark Steedman. The Syntactic Process. The MIT Press, 2000.

[2] Mark Steedman. Surface Structure and Interpretation. The MIT Press, 1996

[3] 戸次大介. 日本語文法の形式理論. くろしお出版, 2010.

[4] 峯島宏次. 論理と文法. 数学セミナー, Vol. 59, No. 3, pp. $30-35,2020$

[5] 在間進. [改訂版］詳解ドイツ語文法. 大修館書店, 2006.

[6] Julia Hockenmaier. Creating a CCGbank and a widecoverage CCG lexicon for German. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 505-512, Sydney, Australia, July 2006. Association for Computational Linguistics.

[7] M. Steedman. Grammar, interpretation, and processing from the lexicon. In W. Marslen-Wilson, editor, Lexical representation and process, pp. 463-504. The MIT Press, Cambridge, MA, 1989.

[8] Jean Vancoppenolle, Eric Tabbert, Gerlof Bouma, and Manfred Stede. A german grammar for generation in openccg. In H. Hedeland, T. Schmidt, K. Wörner (eds.): Multilingual Resources and Multilingual Applications. Proc. of the Conference of the German Society for Computational Linguistics and Language Technology (GSCL), Hamburg, 2011. Working Papers in Multilingualism, Series B, No. 96, pp. 145-150, 2011.

[9] Jason Baldridge and Geert-Jan Kruijff. Coupling CCG and hybrid logic dependency semantics. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 319-326, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10] Kilian Evang, Lasha Abzianidze, and Johan Bos. CCGweb: a new annotation tool and a first quadrilingual $C C G$ treebank. In Proceedings of the 13th Linguistic Annotation Workshop, pp. 37-42, Florence, Italy, August 2019. Association for Computational Linguistics.

[11] Vera Demberg. Incremental derivations in CCG. In Proceedings of the 11th International Workshop on Tree Adjoining Grammars and Related Formalisms (TAG+11), pp. 198-206, Paris, France, September 2012.

図 3 “Weil ich Durst habe, trinke ich Bier." の導出

図 4 "Ich trinke Bier, ich habe nämlich Durst." の導出

図 5 "Ich habe Durst, deshalb trinke ich Bier." の導出


# 組合せ範疇文法を用いたドイツ語文の漸進的解析

高橋直人 竹内泉 一杉裕志
産業技術総合研究所人工知能研究センター
\{naoto.takahashi, takeuti.i,y-ichisugi\}@aist.go.jp

## 概要

文法的には異なる統語構造を持っているにもかかわらず，人間にとっては同じ意味と理解される複数の文があった場合に，それぞれの文を「漸進的に」解析し, かつ同一の意味表示を得る事が可能か否かを検討する．解析対象としては，接続語のタイプによって語順がさまざまに変化するドイツ語文を用いる.また文法形式としては, 漸進的解析に適しているとされる組合せ範疇文法を用いる.

## 1 はじめに

人間が自然言語を理解する際は，文の終了を待たず，文頭から漸進的に解析を行っていると考えられる. またその推測を支持する心理学的実験結果も存在する $[1,2]$. 更に工学的な応用として同時通訳や字幕生成などの自動化を考慮した場合, 漸進的な解析技術は不可欠であると言える。

一概に文頭からの漸進的解析と言っても, そこにはさまざまなレベルがありうる．比較的制限の緩い方法としては, 語順に従って 1 語ずつ読み進めながら作成した複数の部分木を, それぞれ個別の記憶領域に一時的に保存し, 他の部分木との接続関係が明確になった時点で初めて互いに連結する, という戦略が考えられる. 一方, 厳密な漸進的解析としては, 文頭から順に 1 語読み進むたびに, その語を現在作成中の部分木の一部として即座に埋め込む, という方式がある.

本稿では，人間の文理解モデルに関して考察する. 具体的には, 統語構造的にはさまざまな形を取るが，意味内容的には同一の複数のドイツ語文を，組合せ範疇文法を用いて「厳密な形で」漸進的に解析する際に, どのような語彙項目と導出過程が必要となるか考察する1).

図 1 本稿で使用する組合せ規則一覧

## 2 組合せ範疇文法

組合せ範疇文法 $[3,4,5,6]$ は語彙化文法の一種であり，「マイルドな文脈依存」と言われる弱生成能力を持つ. そのため, 文脈自由文法の範囲に収まらない自然言語現象を記述する事ができる. また理論的にも実際的にも効率のよい解析アルゴリズムが知られている $[7,8]$ ため, 自然言語の文法記述に適しているとされている.

更に, 統語構造から意味表示への直接的なマッピングがあるので，複数の文を統語解析した後，それらの意味表示を比較するのに都合が良い.

組合せ範疇文法では， $S$ （文）や $N P$ (名詞句）のような少数の基底範疇と, それらを結ぶ演算子を再帰的に用いる事で，多様な統語範疇を表現する．演算子には/と\がある. $X$ と $Y$ を統語範疇としたとき，X/Yは「右側に $Y$ が隣接したときに $X$ となる統語範疇」, $X \backslash Y$ は「左側に $Y$ が隣接したときに $X$ となる統語範疇」を意味する.

このように作られる統語範疇の構造は非常に柔軟であり，未完成の統語的構成素を自然に表現することができる．それゆえに組合せ範疇文法は，他の文法形式に比べて漸進的な構文解析に向いているとさ

図 2 "Ich trinke Bier" の通常の（非漸進的）導出. $S$ はすべて $S[d c l]$ すなわち平叙文.

## れている $[1,2,3,9]$.

たとえば“The boy will eat the cake”という文があった時, 厳密な漸進的解析を行うためには “The boy will eat the”に対応する部分にも統語範疇を割り当てる必要がある，一般の文脈自由文法でそのような統語範疇を設定するのは困難であるが，組合せ範疇文法であれば $S / N$, つまり「右に $N$ (名詞) が隣接した場合に $S$ （文）となる範疇」と自然に表現することができる [1].

語彙項目に付与された統語範疇は, 少数かつ言語非依存の組合せ規則によって互いに組み合わされるが，このとき意味表示も同時並列的に合成される. この操作が再帰的に実行される事によって, 語彙項目レベルの意味表示が文レベルの意味表示へと順次成長する.

本稿で使用する組合せ規則の一覧を図 1 に示す. コロンの左側が統語範疇で, 右側がラムダ項による意味表示である.

図 2 にドイツ語文 “Ich trinke Bier”（英訳 “I drink beer”) の通常の非漸進的導出を, 図 3 に同じ文の漸進的導出を示す. 多くの場合は図 3 のように, 型繰り上げ規則と関数合成規則を組み合わせる事で漸進的な導出が可能になるが, 標準的な組合せ規則だけでは漸進的に導出できないパターンも存在する [1].

## 3 漸進的ドイツ語解析

図 3 “Ich trinke Bier” の漸進的導出. $S$ はすべて $S[d c l]$.
1. 従属複合文（原因文の文頭に従属接続詞） Ich trinke Bier, weil ich Durst habe. I drink beer because I thirst have 2. 従属複合文 (1 の変形; 原因文が先行) Weil ich Durst habe, trinke ich Bier. because I thirst have drink I beer 3. 並列複合文（原因文の文頭に並列接続詞） Ich trinke Bier, denn ich habe Durst. I drink beer because I have thirst 4. 並列複合文（原因文の文中に接続的副詞） Ich trinke Bier, ich habe nämlich Durst. I drink beer I have because thirst 5. 並列複合文（結果文の文頭に接続的副詞） Ich habe Durst, deshalb trinke ich Bier. I have thirst therefore drink I beer 6. 並列複合文（結果文の文中に接続的副詞） Ich habe Durst, ich trinke deshalb Bier. I have thirst I drink therefore beer

図 4 「喉が渴いたのでビールを飲む」のドイツ語訳 6 種

## 3.1 原因・結果関係の統語的パターン

他の自然言語同様, ドイツ語の原因・結果関係は,図 4 に示すようにさまざまな統語構造で表現される. たとえば文 $1 ， 3 ， 4$ を比較すると，先行文が全く同一であっても，接続関係を示す語（weil, denn, nämlich）の違いによって，後続文の語順が変化する事が分かる。したがって，接続関係を示すこれらの語には，それぞれ異なった統語範疇を付与する必要がある.

このような統語構造とその意味表示の複雑な関係を漸進的に解決する場合に，どのような語彙項目と導出過程が考えられるかを以下に示す.

## 3.2 語彙項目と導出過程

本稿では, 基底範疇 $N P$ （名詞句）の統語素性に関して $n$ （主格）と $a$ （対格）の 2 種類を区別する.また基底範疇 $S$ (文) の統語素性に関しては, Hockenmaier[10] を踏襲し, $d c l$ (declarative, 定動詞第 2 位),v1（verb initial，定動詞文頭），vlast（verb final, 定動詞文末), $e m b$ (embedded, 副文) の 4 種類を使用する、ドイツ語動詞の統語範疇は，英語動詞同様に基底型ではなく関数型とするが，文頭の定動詞と文頭以外の定動詞で意味表示が異なる点に注意が必要である.

また, weil, denn, nämlich, deshalb 等の接続詞および接続的副詞に関する語彙項目は，一般的な英語の接続詞や副詞と異なる部分が多い。これは原因・結果関係を示すドイツ語固有の統語構造と, 本稿の目

$S[$ dcl $]$ : because ${ }^{\prime}\left(\right.$ have $^{\prime}\left(I^{\prime}\right.$, thirst $\left.^{\prime}\right)$, drink $^{\prime}\left(I^{\prime}\right.$, beer $\left.\left.{ }^{\prime}\right)\right)$

図 5 “Ich trinke Bier, weil ich Durst habe.” の漸進的導出

図 6 "Ich trinke Bier, denn ich habe Durst." の漸進的導出. $S$ はすべて $S[d c l]$.

図 7 "Ich trinke Bier, ich habe nämlich Durst.” の漸進的導出. $S$ はすべて $S[d c l]$.
的である厳密な漸進的解析を実現するためである.以上を踏まえ，厳密な漸進的解析が可能になるように設定した語彙項目と, そのときの各文の導出過程（の一例）を図 5 から図 10 に示す. 最終的にどの文からも同一の意味表示が得られている事が分かる.

## 4 関連研究

Stanojević and Steedman [2] は, 漸進的木回転（Incremental Tree Rotation）と名付けた組合せ範疇文法の解析アルゴリズムを提案している。このアルゴリズムは，右枝分かれの木を左枝分かれに変換すると共に, 右端に出現する可能性を秘めた俒在的な修飾語句に対応した漸進的な処理が可能である．漸進的木回転は純粋に文法的な手法であるが，意味表示やヒューリスティックスを利用する先行研究に比べて, より高い漸進性と精度を示すと報告されている.

Demberg [1] は組合せ範疇文法における厳密な漸進性 (strict incrementality あるいは full connectedness) について議論し, どのような場合に厳密な漸進的解析が可能で，どのような場合に不可能であるかを分析している。また一般の組合せ範疇文法には陽に含まれない「Geach 規則」を導入し, 厳密な漸近的解析が適用できる範囲を拡大する方法を示している.

$
\text { Geach 規則 }: Y / Z \Rightarrow{ }_{\mathrm{B}}(Y / G) /(Z / G)
$

語彙項目としては通常の非漸進的解析に用いられる物をそのまま変更せずに採用しつつ，組合せ規則を追加することで漸近的に解析可能な範囲を拡張している点が本稿との違いである.

ブログ記事 $[11,12]$ は，上記 Demberg [1] を踏まえた上で一般化型繰上げ規則と一般化 Geach 規則を提案し，更に以下のような予想を与えている.

application/composition/type raising のみが許される CCG の任意の導出木を, generalized type raising と generalized Geach rule を使って, (semantics を変えることなく） incremental な導出木に変形できることが示せると思う

興味深い予想であり，今後の展開が期待される.

## 5 おわりに

意味内容的には同一だが，統語構造的にはさまざまな形を取る複数の文を，組合せ範疇文法を用いて厳密な形で漸進的に解析しつつ, 最終的に同一の意味表示を得る事ができるか否かを, ドイツ語の原因・結果関係文を題材として考察した。

本稿の漸進的解析では, 型繰り上げ規則と関数合成規則を使用しているが，これらの規則を多用すると擬似的曖昧性（spurious ambiguity）が急激に増加してしまう，という問題が知られている。そのため正規型（normal form）と呼ばれる導出においては,関数合成と型繰り上げの使用は関係節など統語的に必要な場面に制限されている [9].

また, Hockenmaier and Steedman[13] においても，関数合成と型繰り上げは必要な場合のみ行うとされており, 更に Stanojević and Steedman[2] では, 型繰り上げを適用する範疇は $N P$ や $P P$ などの引数に限られる，とされている。

異なる統語構造に対して厳密な漸進的解析を実行し, 最終的に同一の意味表示を得るという当初の目的は達成されたが, 厳密な漸進性を重要視した結果として逆に探索空間が増加してしまうのでは, 人間の言語理解モデルとして十分ではないと考えている. また図 7 の nämlich や図 10 の deshalb に付与した語彙項目は, 厳密な漸進性を実現するためとは言え，複雑すぎるようにも見える。

今後は漸進性のレベルと探索空間の範囲, それに語彙項目の複雑さのバランスが取れた言語理解モデルの構築に取り組みたい。

## 謝辞

本研究は JSPS 科研費 JP22K12188 の助成を受けたものです.

## 参考文献

[1] Vera Demberg. Incremental derivations in CCG. In Proceedings of the 11th International Workshop on Tree Adjoining Grammars and Related Formalisms (TAG+11), pp. 198-206, Paris, France, September 2012.

[2] Miloš Stanojević and Mark Steedman. CCG parsing algorithm with incremental tree rotation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 228-239, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Mark Steedman. The Syntactic Process. The MIT Press, 2000.

[4] Mark Steedman. Surface Structure and Interpretation. The MIT Press, 1996

[5] 戸次大介. 日本語文法の形式理論. くろしお出版, 2010.

[6] 峯島宏次. 論理と文法. 数学セミナー, Vol. 59, No. 3, pp. $30-35,2020$.

[7] Krishnamurti Vijay-Shanker and David Weir. Polynomial time parsing of combinatory categorial grammars. In 28th Annual Meeting of the Association for Computational Linguistics, pp. 1-8, 1990.

[8] Stephen Clark and James R. Curran. Wide-coverage efficient statistical parsing with CCG and log-linear models. Computational Linguistics, Vol. 33, No. 4, pp. 493-552, 2007.

[9] David Reitter, Julia Hockenmaier, and Frank Keller. Priming effects in Combinatory Categorial Grammar. In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 308-316, Sydney, Australia, July 2006. Association for Computational Linguistics.

[10] Julia Hockenmaier. Creating a CCGbank and a widecoverage CCG lexicon for German. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 505-512, Sydney, Australia, July 2006. Association for Computational Linguistics.

[11] 氏名不詳. 組合せ範疇文法の漸進的構文解析, 2021. https://m-a-o.hatenablog.com/entry/2021/ 05/05/085810.

[12] 氏名不詳. 続・組合せ範疇文法の漸進的構文解析, 2021. https://m-a-o.hatenablog.com/entry/2021/ 11/14/234710.

[13] Julia Hockenmaier and Mark Steedman. CCGbank: User's manual. 052005 .

図 8 “Weil ich Durst habe, trinke ich Bier.” の漸進的導出

図 9 "Ich habe Durst, deshalb trinke ich Bier." の漸進的導出.

先行文の “Ich habe Durst” は, “Ich trinke Bier” と同様の手順で漸進的に導出可能.

図 10 "Ich have Durst, ich trinke deshalb Bier." の漸進的導出. $S$ はすべて $S[\mathrm{dcl}]$.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# RNN はラテン語からロマンス語への活用変化を再現するか？

川崎義史
東京大学
ykawasaki@g.ecc.u-tokyo.ac.jp

## 概要

本稿では，ラテン語からロマンス語への発達における動詞活用の変化を計算機上で再現し，計算歴史言語学の見地から分析を行った。具体的には，系列変換モデルにラテン語の動詞活用を学習させ，その出力形を分析した。その結果，以下のことが判明した：(1）正解率の分布は予測と合致した；（2）正解率は，ラテン語からロマンス語への変化の大きさと負の相関を示した；（3）誤出力の中にはロマンス語を彷彿させる語形が見られた。

## 1 はじめに

ラテン語は, 名詞・形容詞の曲用と動詞の活用を持つ屈折語である [1]。名詞は数・格に応じて $2 \times 6=12$ 変化, 形容詞は性・数・格に応じて $3 \times 2 \times 6=36$ 変化する。動詞は，法・態・時制・人称・数に応じて一層複雑に活用する。能動態では,表 1 のチェックマークの記された法と時制におい $\tau$, 主語の人称 ( 1 人称, 2 人称, 3 人称) と数 (単数，複数）に応じて最大 $3 \times 2=6$ 変化する。受動態でも同様に活用する。つまり，1つの動詞は，能動態・受動態の直説法 6 時制と接続法 4 時制だけで, $2 \times(6+4) \times 6=120$ 変化する。さらに, 命令法・不定詞・分詞の形も存在する。例として, 表 2 は, AMĀRE 「愛する」の直説法・能動態・現在と完了の活用を示している1)。太字は強勢母音を，一は長母音を表す。不規則動詞は除き， 4 種類の動詞活用クラスがあり，それぞれ独自の語尾変化を持つ2)。動詞の正確な活用には, 直説法 $\cdot$ 能動態 $\cdot$ 現在 $\cdot 1$ 人称単数, 不定詞 - 能動態 - 現在，直説法 - 能動態 - 完了 - 1 人称単数，完了受動分詞 - 中性 - 単数の 4 つの語形が必須となる。例えば， AMĀRE の場合は，順に AMŌ, AMĀRE, AMĀVĪ, AMĀTUM となる。これらの語形の間には一定の対応関係が存在するものの，一般的には，

1）本稿では，能動態・現在の不定詞で動詞を代表させる。

2）厳密には，第 3 活用には $\mathrm{a}$ と $\mathrm{b}$ の 2 種類がある。表 1 ラテン語の能動態の動詞活用 : チェックマークは該当する法や時制の活用が存在することを表す。

表 2 AMĀRE「愛する」の直説法・能動態・現在（左）と完了（右）の活用表：太字は強勢母音を，一は長母音を表す。

ある形から他の形を導出することはできない。

ラテン語から派生したイタリア語，スペイン語, フランス語，ポルトガル語，ルーマニア語等の言語はロマンス語と総称される $[2]^{3}$ )。ラテン語の直説法・能動態・未来や受動態の一部の活用などは，ロマンス語に継承されずに消滅した。その代わりに, ロマンス語は，未来や受動を表現するための独自の活用を発達させた [4]。ロマンス語に継承された活用では，類推作用 $[5,6,7]$ により平準化が進み，活用形の不規則性は減少した。活用の消滅や平準化の進展などについて事後的な記述は可能であるが，これらの変化の蓋然性は自明ではない。

そこで，本稿では，「話者により体系が作られる」 という考え [8] に基づき，ラテン語からロマンス語への発達における動詞活用の変化を計算機上で再現し，計算歴史言語学の見地から分析を行う。具体的には，Recurrent Neural Network（RNN）を利用する系列変換モデル [9] を話者に見立て，ラテン語の動詞活用の形態論を学習させる。そして，学習済みモ

3）正確には，ロマンス語は，文語の（古典）ラテン語ではなく口語の俗ラテン語 [3] から発達したものである。しかし，後者の文字資料は存在しない。そのため，本稿では，前者をロマンス語の母体とみなして分析を行う。

デルの出力形の分析を行い，下記の問いに答える：

・学習が困難な動詞や活用は存在するか？
- 各活用の正解率は，ラテン語からロマンス語への発達における変化の大きさを反映するか？

・誤出力に何らかの特徴が見られるか？

本稿の構成は次の通りである。2 節で関連研究を概観する。3 節で手法の解説，4 節で実験設定の説明を行う。 5 節で考察を行い，6 節で結論と今後の課題を述べる。

## 2 関連研究

本稿は, Paradigm Cell Filling Problem (PCFP)[10] と関連している。PCFP とは，名詞や動詞の活用形の一部が与えられた状況で，未知の活用形を予測するタスクである。[11,12] は，系列変換モデルでこのタスクに取り組んだ。複数の言語での実験結果を報告しているが，出力結果の詳細な分析はない。

[13] は，英語の不規則な過去形の通時的な規則化 (-ed の付加) を計量的に分析し, 規則化率 $\propto$ 使用頻度 ${ }^{0.5}$ となることを発見した。[14] は，系列変換モデルで英語の過去形の習得をモデル化し，習得過程で見られるU 字カーブの再現を報告している。

[15] は，系列変換モデルで「言語もどき」の語順の学習と世代間継承をモデル化した。創発するパターンを分析し, 長距離依存を嫌う傾向を発見した。対象は自然言語ではないが，系列変換モデルで言語変化をモデル化した点で特筆に値する。

本稿では，ラテン語の動詞活用全体を系列変換モデルに学習させ， ロマンス語とも対照しつつ，学習済みモデルの振る舞いを詳細に分析する。

## 3 手法

系列変換モデルに，ラテン語の動詞活用の形態論を学習させる。符号化器には Bi-LSTM, 復号器には注意機構付きの LSTM を用いる。不定詞と活用形の形態情報を入力し, 文字単位で活用形を出力させる。形態情報は, 法/態/時制/人称・数を連結したものとする。文字と同様に，不定詞と形態情報も 1 つのトークンとする。図 1 に手法概略図を示す。例えば, ama:re, ind/act/pres/2pl $\mapsto$ ama\#a:tisのような変換を学習させる。形態情報のind/act/pres/2pl は，直説法/能動態/現在 $/ 2$ 人称複数を表す。また，: は長音を，井は直後の音節に強勢があることを表す記号とする。

図 1 手法概略図 : 系列変換モデルにラテン語の動詞活用を学習させる。不定詞と活用形の形態情報を入力し，文字単位で活用形を出力させる。符号化器には Bi-LSTM,復号器には注意機構付きの LSTM を用いる。

本稿の狙いは，正解率の向上ではなく，学習が進んだ時点でのモデルの振る舞いの分析である。そのため，検証データの正解率が一定の值に達するまで訓練データで学習を行う。出力形と正解形が完全に一致する場合のみ，正解とする。その後，モデルが産出するテストデータの出力形を詳細に分析する。

## 4 実験

データセットは 2 万件の入出力ペアとし， $8: 1: 1$ で訓練データ，検証データ，テストデータに分割した。使用する動詞は, [16] 収録の 586 種類とした。母音の長短は [17] に従った。古典語コーパス PhiloLogic44）における使用頻度に基づいて動詞をサンプリングした。ただし，同一データの重複を避けたため，コーパス頻度に比べて滑らかな分布となった。法は, 直説法: 接続法: 命令法: 不定詞: 分詞 $=6: 4: 1: 1: 1$ の割合でサンプリングした。直説法の 6 時制，接続法の 4 時制に対し，命令法・不定詞・分詞の活用は一部の時制や人称・数に限られるため，割合を 1 とした（表 1 参照）。ただし，上記の割合はコーパス頻度を反映しておらず，暫定的なものである。態，時制，人称・数は，いずれのカテゴリも一様分布からサンプリングした。

埋め込み次元は 32 ，隠れ状態の次元は 64 ，エポック数は 100 とした。分析には一定量の誤出力を必要とするため，検証データの正解率は 9 割程度に抑えた。上記のパラメータ設定は，この基準を辛うじて満たすものだった。検証データとテストデータの正解率は，それぞれ，0.889，0.892だった。

## 5 考察

本節では，テストデータの出力に基づき分析を行う。仮説検定の有意水準は 0.05 とする。

形式受動態動詞ラテン語には，意味は能動だが活用は受動態を用いる形式受動態動詞と呼ば

表 4 未完了系・完了系の正解率法/態/系正解率

直説法/能動態/未完了系 $0.865(294 / 340)$
直説法/能動態/完了系 $0.921(268 / 291)$直説法/受動態/未完了系 $0.919(216 / 235)$直説法/受動態/完了系 $\quad 0.982(214 / 218)$接続法/能動態/未完了系 $0.845(131 / 155)$接続法/能動態/完了系 $0.959(163 / 170)$接続法/受動態/未完了系 $0.915(108 / 118)$接続法/受動態/完了系 $0.985(135 / 137)$

れる動詞が存在する $[1]$ 。これらの動詞の態は，意味に基づき能動態とした。形式受動態動詞の正解率は 0.559 (62/111) で，それ以外の動詞の正解率 $0.912(1723 / 1889)$ に比べ，有意に低かった ( $p<0.001)$ 。全体に占める割合の小ささと「意味は能動だが活用は受動態」という特殊性が，学習を困難にしていると考えられる。そのために，形式受動態動詞は, その他の動詞と同様の能動態動詞に変転しロマンス語に継承されたと推定される [4]。これ以降，形式受動態動詞は分析から除外する。

学習困難な活用表 3 に，各形態情報（法/態のレベル）の正解率を示す。法は直説法と接続法に限定した。いずれの態でも, 直説法と接続法の正解率に有意な差は見られなかった。一方，いずれの法でも，能動態の正解率は受動態よりも有意に低かった （直説法では $p<0.001 ，$ 接続法では $p=0.014$ )。能動態の正解率の低さは，学習困難な形式受動態動詞や不規則動詞に起因すると考えられる。

次に，未完了系と完了系の振る舞いを分析する。 ラテン語の動詞活用は, 未完了系 (現在・未完了・未来）と完了系（完了・過去完了・未来完了）に二分される (表 1 参照)。いずれの態でも，未完了系は，活用クラスごとに活用語尾が異なる。一方，完了系は, 活用の仕様が全活用クラスで共通である。 そのため, 未完了系の方が完了系よりも学習が困難だと予想される。表 4 に示す実験結果は, この予想を支持する。直説法/能動態 $(p=0.011)$, 直説法/受動態 $(p=0.001)$, 接続法/能動態 $(p=0.001)$, 接続法/受動態 $(p=0.004)$ の全てで，未完了系の正解率は完了系よりも有意に低かった。表 5 は，各形態情報（法/態/時制のレベル）の正解率を示している。この結果を，ラテン語からロマンス語への発達の過程で生じた形態的変化の大きさと対照してみたい。一つの方策として，[4] で各活用の説明に割かれている紙数を形態的変化の大きさの代理変数とみなすことにする5）。大きな変化を経た活用ほど，割かれる紙数も大きくなると予想される。分析対象は，ロマンス語に継承された以下の活用とした：直説法/能動態/現在，直説法/能動態/未完了，直説法/能動態/完了，直説法/能動態/過去完了，直説法/能動態/未来完了，接続法/能動態/現在，接続法/能動態/完了，接続法/能動態/過去完了,不定詞/能動態/現在，分詞/受動態/完了。ロマンス語に継承されなかった活用（直説法・能動態・未来や一部の受動態など）やラテン語に対応するものがない活用（ロマンス語の直説法・能動態・未来など）は除外した。正解率と紙数の順位相関係数は $\rho=-0.728(p=0.017)$ で，統計的に有意な強い負の相関を示した。これは，学習困難なラテン語の活用ほど，ロマンス語発達の過程で大きな変化を受けたことを示唆する。この変化の実体は，類推作用による活用形の平準化である [4]。モデルの出力が，現実の通時変化の傾向と合致したことは興味深い。

しかしながら，正解率が高い活用が必ずしもロマンス語に継承されるわけではない。例えば，直説法・能動態・未来，接続法・能動態・未完了や受動態の正解率は低くはないが，ロマンス語に継承されなかった。これらの活用の消失は, 形態面の学習困難性では説明できず，言語内外の他の要因の検討が必要となる。

活用クラス表 6 は，各活用クラスの正解率を示している。活用4クラス間の正解率に有意な差は見られなかった。一方，不規則動詞の正解率は，いずれの活用クラスよりも，有意に低かった $(p<0.01)$ 。

訓練データ頻度各動詞の訓練データにおける出現頻度と正解率の順位相関係数は $\rho=0.205(p<$ 0.001 )で，有意な正の相関が見られた。低頻度の動詞ほど学習困難という傾向は直感と合致する。

一方, 訓練データにおける形態情報（法/態/時制のレベル）の頻度と正解率の順位相関係数は $\rho=0.134(p=0.436)$ で, 有意な相関は見られなかった。これは，頻度とは独立に，学習が容易（困難） な形態情報が存在することを示唆する。

5）実際には，音変化により誘発された変化も多く [4]，純䊀に形態的変化のみを定量化することは困難である。

ロマンス語形の出現誤出力の中には, 俗ラテン語やロマンス語を彷彿させる下記の語形が散見された。これらの語形はラテン語としては誤りであるが，ロマンス語としては尤もらしいものである。ラテン語の動詞活用を学習する過程で，モデルは類推作用 $[5,6,7]$ を獲得し, これらの語形を生み出したと言える。つまり，ラテン語内部にロマンス語を生み出す契機が胚胎されていることを示唆している。

・形式受動態動詞の能動動詞化：LOQUī「話す」の直説法/能動態/現在 $/ 2$ 人称単数の出力形 l\#oquis （正解は l\#oqueris）
- 不規則動詞の規則化：POSSE「できる」の直説法/能動態/未完了 $/ 3$ 人称複数の出力形 pot\#e:bant （正解は p\#oterant）
- 第 2 活用と第 $3 \mathrm{a}$ 活用の混同：EXCĒDERE「去る」の直説法/能動態/現在 $/ 2$ 人称複数の出力形 exce:d\#e:tis（正解は exc\#e:ditis）
- 第 $3 \mathrm{a}$ 活用と第 $3 \mathrm{~b}$ 活用の混同：DĒFICERE「不足する」の直説法/能動態/現在 3 人称複数の出力形d\#e:ficunt（正解は de:f\#iciunt）
- 強勢位置の移動：EXCIPERE「除外する」の直説法/能動態/現在 $/ 3$ 人称単数の出力形 exc\#ipit （正解は\#excipit）

## 6 おわりに

本稿では，ラテン語からロマンス語への発達における動詞活用の変化を計算機上で再現し，計算歴史言語学の見地から分析を行った。具体的には, 系列変換モデルにラテン語の動詞活用を学習させ，その出力形を分析した。その結果, 以下のことが判明した：(1) 正解率の分布は予測と合致した；（2）正解率は，ラテン語からロマンス語への変化の大きさと負の相関を示した; (3) 誤出力の中にはロマンス語を彷彿させる語形が見られた。

今後の課題の 1 つは，より現実を模倣した設定下で実験を行うことである。例えば，各形態情報の実際の使用頻度や，母音の長短などの音韻的区別の喪失 [4] を反映させることが考えられる。そのような設定下で実験を行うことで，新たな知見が得られる可能性がある。また，本稿の手法を発展させて，統語的変化や方言分化などの現象を計算歴史言語学の見地から検証することも興味深いと思われる。表 5

各形態情報（法/態/時制のレベル）の正解率

表 6 各活用クラスと不規則動詞の正解率

## 謝辞

本研究は JSPS 科研費 JP18K12361 の助成を受けたものです

## 参考文献

[1] Renato Oniga. Latin: A Linguistic Introduction. Oxford University Press, 2014.

[2] Adam Ledgeway and Martin Maiden, editors. The Oxford Guide to the Romance Languages. Oxford University Press, 2016.

[3] Ralph Penny. A History of the Spanish Language. Cambridge University Press, 2002.

[4] Ti Alkire and Carol Rosen. Romance Languages: A Historical Introduction. Cambridge University Press, 2010.

[5] Javier Elvira. El cambio analógico. Gredos, 1998.

[6] James P. Blevins and Juliette Blevins. Analogy in Grammar: Form and Acquisition. Oxford University Press, 2009

[7] Joan Bybee. Language Change. Cambridge University Press, 2015

[8] Eugenio Coseriu. Sincronía, diacronía e historia: El problema del cambio lingüístico. Gredos, tercera ed edition, 1988.

[9] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. Vol. 27. Curran Associates, Inc., 2014.

[10] Farrell Ackerman, James P. Blevins, and Robert Malouf. Parts and wholes: Implicative patterns in inflectional paradigms, 2009.

[11] Robert Malouf. Abstractive morphological learning with a recurrent neural network. Morphology, Vol. 27, p. 431-458, 112017.

[12] Miikka Silfverberg and Mans Hulden. An encoderdecoder approach to the paradigm cell filling problem. p. 2883-2889. Association for Computational Linguistics, 2018.

[13] Erez Lieberman, Jean Baptiste Michel, Joe Jackson, Tina Tang, and Martin A. Nowak. Quantifying the evolutionary dynamics of language. Nature, Vol. 449, pp. 713-716, 102007 .

[14] Christo Kirov and Ryan Cotterell. Recurrent neural networks in linguistic theory: Revisiting pinker and prince (1988) and the past tense debate. Trans- actions of the Association for Computational

Linguistics, Vol. 6, pp. 651-666, 2018.

[15] Rahma Chaabouni, Eugene Kharitonov, Alessandro Lazaric, Emmanuel Dupoux, and Marco Baroni. Word-order biases in deep-agent emergent communication. p. 5166-5175. Association for Computational Linguistics, 2019

[16] 有田潤. ラテン語基礎 1500 語. 大学書林, 1957.

[17] 水谷智洋（編）. 羅和辞典〈改訂版〉. 研究社, 2009 .


# ルールベース G2P による多言語固有表現の 国際音声記号表記付きデータセットの構築

的川雄飛 1 坂井優介 1 平野颯 1 澤田悠冶 ${ }^{1}$
大内啓樹 1,2 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 理化学研究所
matogawa.yuhi.na2@is.naist.jp
\{sakai.yusuke.sr9, hirano. hayate.hc2, sawada.yuya.sr7\}@is.naist.jp
\{hiroki.ouchi, taro\}@is.naist.jp

## 概要

本研究では，多言語の固有表現（NE）をルールベースの grapheme-to-phoneme（G2P）によって国際音声記号（IPA）に変換した表記の大規模データセットを構築した．多様な文字・音韻体系からなる複数の言語の NE を IPA という一つの体系によって表記したデータセットは，NE を対象とした G2P や通言語の言語モデル構築， $\mathrm{NE}$ 表記のリンキングなどのタスクへの有益な応用を期待できる。本研究は，既存データセットの NE 表記をルールベース G2P のフレームワークを用いて IPA 列に変換し，IPA 表記付きのデータセットを構築した。また，これに伴い日本語から IPAへの変換ルールを作成し，フレームワークに追加した。

## 1 はじめに

ある言語における固有表現（NE）を表すテキストとそれに対応する音声記号表記のデータは，テキストの発音に関する情報が求められる諸タスクに NE を対象として取り組む場合において必要となる。例えば，任意の文字体系で書かれた表記を国際音声記号（IPA）などの発音記号に変換する grapheme-to-phoneme (G2P) に，NEを対象としてニューラルベースの手法で取り組む場合，元の $\mathrm{NE}$表記と発音の関係を学習するためのデータが必要である。また，多様な言語・文字種の NE 表記を全て統一的な IPA に変換したデータが存在すれば，特定の言語に依らない非常に通言語性にすぐれた「IPA 言語モデル」の学習に利用できる.

これらに加え，特定の言語における $\mathrm{NE}$ 表記を正しいID にリンキングさせるタスクにおいても，テ
キストと音声記号表記の対応データが必要な場合がある．例えば，他の言語の NE 表記と ID のペアが明示された情報が存在する場合，NE 表記を IPA 列に変換して，メインの研究対象である言語の $\mathrm{NE}$ 表記から変換された IPA 列と他言語の NE 表記から変換された IPA 列のあいだで音声的類似度を計算し1)，類似度が最も高い他言語の NE 表記と紐付いている ID をメインの研究対象である言語の NE 表記に紐付くIDとする，という手法が考えられる。この場合の音声的類似度の計算にも，やはり $\mathrm{NE}$ 表記と音声記号表記のマッピングのデータが必要となる。

元言語の表記と音声記号表記の対応データを公開した先行研究として，オンライン辞書 “Wiktionary” の記述に基づくデータセットを公開したものが挙げられる [2]. しかし，このデータセットは $\mathrm{NE}$ に特化したものではなく，上に挙げたような $\mathrm{NE}$ 対象とするタスク・研究における利用には適さない。

本研究では，既存の $\mathrm{NE}$ 表記データセットを用い，複数言語の $\mathrm{NE}$ 表記をルールベース G2P のフレームワークを用いて IPA 列に変換することによって，上記のような NE 関連のタスクに必要な IPA 付き NE 表記データセットを構築した。また，日本語については，このフレームワークにおけるサポートが存在しなかったため，言語学・音声学分野の文献を基に G2P ルールを新たに作成した.

この結果，68 言語について，NE 表記と対応する IPA 列の組数が 6,900 万以上にのぼるデータセットが完成した.このデータセットは，NE を対象とした研究における使用に適したものであるのみなら

1）具体的な音声的類似度の計算方法としては，IPA 同士でナイーブな編集距離を計算する手法のほか，IPA の各シンボルを音声学的な素性の有無に基づくべクトルに変換してから類似度を計算する手法 [1] などが挙げられる。
表 1 ParaNames のデータの例

表 2 本研究において作成したデータの例

ず， 1 言語あたりのデータの量についても先行研究の元言語表記-IPA 表記データセットを上回るものとなっている.

## 2 関連研究

既存研究で公開された特定の言語の表記と IPA 表記の対応データセットとして, “WikiPron”が挙げられる2)[2]. WikiPron は, オンラインの多言語辞書 “Wiktionary”から，対象言語の表記とその IPA 表記の組を自動抽出して構築され，251 言語について 3,509,051 組が登録されている. しかし, その抽出元は辞書であるため，普通名詞・固有名詞や動詞，形容詞等に至るまで様々な種類の語が格納されており， 1 章で述べたような特に $\mathrm{NE}$ をターゲットとした研究には適していない。

IPA のの変換は行っていないが複数の言語の $\mathrm{NE}$表記と ID のペアを格納したデータセットとしては， “ParaNames"3) [3], “TRANSLIT",4) [4] が存在する. 両者は，言語のカバレッジや $\mathrm{NE}$ 表記数，ID 数のほか，データセットの作り方，データの形式などの面で違いがある.これらのうち, 本研究は ParaNames を利用し, IPA 付き NE 表記の新たなデータセットを構築する。

468 の言語タグについて 124,343,696 個の NE 表記, 14,017,168 個の IDを持つ ParaNames は, Wikipedia の項目を主に構造化した知識べースである “Wikidata” から全てのデータが作られている. 具体的には, Wikidata において "human”, "geographic region”, “organization”の各タイプのインスタンスとして登録されている NE 表記が, wikipedia でサポートされている各言語について抽出されている. 1 組のデー タは，Wikidataにおいて付与されている IDを表す “wikidata_id”，NE の表記を表す “label”, “label”の表記に紐づく言語タグを表す “language”，NEのタイプを表す“type”によって構成されており，type には

2) https://github.com/CUNY-CL/wikipron

3) https://github.com/bltlab/paranames

4）https://github.com/fbenites/TRANSLIT. ある文字体系を他の文字体系に変換するタスク「翻字（transliteration）」における利用のために作られたデータセットである.
"PER”, "LOC", “ORG”の値が，元の Wikidata におけるタイプ “human”, "geographic region”, "organization" それぞれに対応して割り当てられている（例：表 1).

いっぽう，185 の言語タグについて 2,987,508 個の NE 表記，1,548,752 個の ID を持つ TRANSLIT は，独自に Wikipedia から収集した 1 種と既存の研究で公開されていた 4 種，計 5 つのデータセットが混合されて作られている。1 個の IDがキーとなり，それに対応する値として各言語の表記のリストが格納される形式となっている5)。

## 3 データセットの構築

本研究では，2 章に挙げた 2 つの $\mathrm{NE}$ 表記-ID のデータセットのうち ParaNames を用い，“label”に格納されている $\mathrm{NE}$ 表記をルールベース手法による G2P フレームワーク “Epitran”6)[5] によって IPA 列に変換して元の ParaNames のデータに加えることにより，IPA 付き NE 表記のデータセットを構築した (例: 表 2). 研究開始時には Epitran でサポートされていなかった日本語については言語学・音声学分野の文献に基づいて自作した G2P ルールを，その他の言語については Epitran の既存の G2P ルールを用い，計 68 言語の NE 表記から IPAへの変換作業を行った.

## 3.1 元データの選定

TRANSLIT ではなくParaNames を用いてデータセットを作成した理由は，後者の方が言語タグ数， $\mathrm{NE}$ 表記数，ID 数いずれも前者よりも上回っているからのみならず，Wikidata という単一のソースに由来するデータセットを使用することでデータの質がより確保できる，と考えられるからである．複数のソースに由来する TRANSLIT では，データの質の面において，NE 表記と ID の紐付けが誤っていることがあるなどの問題が存在する。データの量の面で TRANSLIT を上回り，かつ一つのソースに由来する Paranames を基にデータを構築することで，量・質の両面でよりすぐれたデータセットを完成させることができると考えられる.

なお，ParaNamesの “language”に格納されている言語タグの数は，実際の言語の数とは一致しない. 1 つの言語につき，文字種などの違いや話される地

5）簡易的な例を示す. ID 001: [“en_name1", “zh_name2", “]

6) https://github.com/dmort27/epitran
域の違いを反映して複数のタグが存在する場合があるためである7). 言語が同じだが言語タグが異なるデータであり, かつ文字種が同じデータについて, IPA 付きデータセットでは “wikidata_id”が重複しているデータを排除した.

さらに，ParaNamesのうち，IPA に変換して新たなデータセットに組み込む対象は，95 個の言語タグのいずれかが付与されている計 68 言語のデータに絞った，これは，以下の 2 つの理由による。

1. 第一に，「Epitran がサポートする言語，あるいは日本語のいずれか」という制約を設けた. Epitran のサポート言語に絞った理由は，ルールベースの手法により容易に G2P を実行できる言語のデータを優先的に作成することが望ましいと考えられるからである．ただし，日本語のみ，Epitranでは当初サポートされていなかったが本研究において新たにルールを作成し, そのルールを用いて IPA 変換を行った.これは， 1 章で述べた応用先のうち, NE 表記を正しい ID にリンキングさせるタスクを例として想定し， さらにカタカナの NE 表記をリンキング実験の対象とすることを今後の研究の念頭に置いたためである. 作成した日本語 G2P ルールについては， 3.3 節で詳述する。

2. 第一の制約に加え,「TRANSLIT のデータ中で,少なくとも 1 つのカタカナ $\mathrm{NE}$ 表記と同じ ID に紐づいている表記が存在する言語」という制約を与えた。例えば，“ID 002: [“ja_\{ カタカナ表記 \}”, “en_...", “fr_...", ..]”というデータが TRANSLIT に存在する場合，英語（en）とフランス語（fr）はいずれも本研究の対象に含まれる.この制約を課したのは, 第一の制約の説明で述べたカタカナ $\mathrm{NE}$ 表記のリンキング実験の評価用データとして TRANSLIT を用いることを想定したためである。すなわち，任意のカタカナ NE 表記について，実際の TRANSLIT のデータ中で紐付いている IDを「正解 ID」とし， カタカナ $\mathrm{NE}$ 表記から変換された IPA 列と他言語の NE 表記から変換された IPA 列の音声的類似度を計算してリンキングを行う実験を想定している.

表 3 日本語 G2P ルールの “map”, “post”の例

## 3.2 NE 表記から IPA 列への変換

“label”の NE 表記から IPAへの変換は，すべて Epitranを用いて行った. Epitran は，各言語について用意された IPAへの変換ルールに基づいて G2P を実現する，多言語対応のフレームワークであり， 2023 年 1 月現在 97 言語についてサポートされている. 変換ルールは，全言語において存在する“map” と，一部の言語にのみ存在する “pre”, “post”の 3 種類がある. 基本的な変換は，各言語の文字（の組み合わせ）と IPA シンボル（の組み合わせ）が 1 対 1 に対応する mapによって行うが，前後の音の環境により発音が変わる場合などの 1 対 1 対応では処理できない現象に対して，必要に応じ map の適用前に pre, 適用後に postがそれぞれ適用される。

また，表記と IPA の 1 対 1 対応によるマッピングが難しい言語については，外部の発音辞書が利用される. 具体的には，英語については音声合成のためのソフトウェア “flite”[6] が，中国語については “CC-CEDICT”[7] が使用される.

## 3.3 日本語の G2P ルール作成

日本語からの G2P については，日本語の音声・音韻の概要を述べた複数の文献 $[8,9]$ を基に，第一著者が Epitran の記法に準拠してカタカナ・ひらがなからの G2P ルールを作成した。これは，研究を開始した時点で日本語が Epitran でサポートされておらず，また言語学的に正確な G2P ルールを発表した先行研究も存在しなかったためである。 なお，漢字からの G2P は，文脈依存による発音の特定が必要であり対処が困難であるため，取り扱わなかった.

日本語について作成したルールは，3.2 節で挙げた 3 種のルールのうち, map と postである. すなわち, カタカナ・ひらがなの組み合わせ 1 通りと IPA シンボルの組み合わせ 1 通りの各対応を map として，それだけでは処理できない事象に対応するためのルールを postとして作成した．両者の例を，表 3 に示す.

先に述べた日本語の音声・音韻に関する文献に基づくカタカナ・ひらがなからの G2P ルールのほか,英語版ウィキペディアにおける日本語の文字・音韻

関連の記事 $[10,11]$ を基に，簡易的な G2P ルール8) も作成した. 後者についてもカタカナ・ひらがな双方のルールを構築したため，前者と合わせ計 4 種類の G2P ルールを日本語の仮名について作成したこととなる。なお，IPA 付き NE 表記データセットの構築における日本語の G2Pには，日本語の音声 - 音韻に関する文献に基づくルールの方を使用した。

本研究で作成した 4 種類の日本語 G2P ルールは, Epitran に統合された. カタカナ・ひらがなのような音節文字9)を入力とするルールが Epitran に統合されたのは，初めてのことである. 本研究で作成したルールは Epitran のフレームワーク内で現在利用可能であるほか，ルールを用いた IPA 変換のデモンストレーションも作成済みである ${ }^{10)}$.

## 4 データセットの分析

データセットの統計的情報の概要を，表 4 に示す. NE 表記と IPA 表記の組数，および表記の ID の数はそれぞれ 6,900 万以上，1,400 万以上にのぼり， 1 つの ID につき平均 4.964 組の NE 表記-IPA 表記の組が存在している. また，1 つの言語タグあたり， 1 言語あたりの表記の組数はそれぞれ平均 732,357.379 組，1,023,146.338 組であり， 1 言語につき平均して 100 万以上の NE 表記-IPA 表記の組が得られたことになる. 1 言語あたりの表記数が 13,980.283 表記で

8）具体的には，日本語の音声 - 音韻に関する文献に基づく， より正確な方の map のルール数が 150 であるのに対し，簡易的な方の map のルール数は 112 である. post のルール数についても，前者が 46 であるのに対し，後者は 20 である.

9）「音節」は，音韻論における単位の一つ．通常は母音が 「核」となり，その前後に存在しうる子音とともに構成されるが，母音のみ，子音のみで構成される場合もある．ラテン文字，キリル文字などが音素を表記の単位とする「音素文字」であるのに対し，カタカナ・ひらがな等は音節を表記の単位とする「音節文字」である。

10) https://yusuke1997.com/Japanese_G2P/
1 万あまりである WikiPron と比較するとこれは非常に規模の大きいデータである．したがって，本研究で作成したデータセットは，NEに特化しているという点で先行研究における多言語表記と IPA 表記の対応データセットと区別されると同時に，1 言語あたりのデータ量が既存のデータセットを大幅に上回っている，という点でも特徴づけられる。

最も多くのデータを得た NE のタイプは，PERであった。また，データセットに格納されている元言語の NE 表記と IPA 表記の平均系列長はそれぞれ 15.085，15.894であり，ほとんど差がない.

$\mathrm{NE}$ 表記の文字種の数は，計 20 種である ${ }^{11)}$. 表記数が 100 万以上（およそ平均以上）にのぼる言語の数は 15 言語であり，ロシア語，中国語を除き全てラテン文字を使用する言語，またハンガリー語，中国語を除き全て印欧語族に属する言語である。言語タグごとの表記数の統計を，付録 A に付す.

## 5 おわりに

本研究では，NE の G2P や通言語的な言語モデルの構築，NE 表記のリンキングなどへの応用を見据え，複数の言語における $\mathrm{NE}$ 表記の既存データを基に，ルールベース G2P のフレームワークを用いて 68 言語の 6,900 万以上の IPA 表記付き NE からなる大規模データセットを構築した。また，これに伴って，日本語のカタカナ・ひらがなから IPAへの言語学的に正確な G2P ルールを作成し，フレームワークに追加した. 今後の課題として，これまで応用先として述べてきたタスク，すなわち言語モデルにおける事前学習や NE の G2P，NE 表記リンキングなどの実験を，本研究で作成したデータセットを用いて行い，データセットの効果を検証する必要がある.

## 参考文献

[1] David R. Mortensen, Patrick Littell, Akash Bharadwaj, Kartik Goyal, Chris Dyer, and Lori Levin. PanPhon: A resource for mapping IPA segments to articulatory feature vectors. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3475-3484. The COLING 2016 Organizing Committee, December 2016.

[2] Jackson L. Lee, Lucas F.E. Ashby, M. Elizabeth Garza, Yeonju Lee-Sikka, Sean Miller, Alan Wong, Arya D. Mc-

11）ラテン文字，ゲエズ文字，アラビア文字，キリル文字， ベンガル文字，デーヴァナーガリー文字，カタカナ，ひらがな，クメール文字，ラーオ文字，マラヤーラム文字，ビルマ文字，オリヤー文字，グルムキー文字，シンハラ文字，夕ミル文字，テルグ文字，タイ文字，漢字 (簡体字)，漢字 (繁体字).

Carthy, and Kyle Gorman. Massively multilingual pronunciation modeling with WikiPron. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4223-4228. European Language Resources Association, May 2020.

[3] Jonne Sälevä and Constantine Lignos. ParaNames: A massively multilingual entity name corpus. In Proceedings of the 4th Workshop on Research in Computational Linguistic Typology and Multilingual NLP, pp. 103-105. Association for Computational Linguistics, July 2022.

[4] Fernando Benites, Gilbert François Duivesteijn, Pius von Däniken, and Mark Cieliebak. TRANSLIT: A large-scale name transliteration resource. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 3265-3271. European Language Resources Association, May 2020.

[5] David R. Mortensen, Siddharth Dalmia, and Patrick Littell. Epitran: Precision G2P for many languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), May 2018.

[6] flite: A small fast portable speech synthesis system, (202301 閲覧）. https://github.com/festvox/flite.

[7] CC-CEDICT Home [CC-CEDICT WIKI], (2023-01 閲覧）. https://cc-cedict.org/wiki/\#what_is_ cc-cedict.

[8] 斎藤純男. 日本語音声学入門改訂版. 三省堂, 2006.

[9] 日本語教育学会編. 新版日本語教育事典. 大修館書店, 2005.

[10] Katakana - Wikipedia，（2022-08 閲覧）. https://en.wikipedia.org/w/index. php?title= Katakana\&oldid $=1103341275$.

[11] Sokuon - Wikipedia,（2022-08 閲覧）. https://en.wikipedia.org/w/index.php?title= Sokuon\&oldid $=1096454475$.

## A 付録：作成したデータセットの言語タグ別表記数


# 銘柄特徵と投資家特性を考慮した株式銘柄推薦の個別化

高柳剛弘 ${ }^{1}$ 坂地泰紀 ${ }^{1}$ 和泉潔 ${ }^{1}$
1 東京大学 大学院工学系研究科
m2021ttakayanagi@socsim. org

## 概要

本研究では銘柄特徵と投資家特性を考慮した銘柄推薦モデルを提案する．提案手法では銘柄のテクニカル指標，ファンダメンタル指標，事業活動の情報を抽出し銘柄ベクトルを作成し，投資家の心理特性，行動特性，属性情報を活用して投資家ベクトルを作成する．最後に協調フィルタリングにより銘柄の推薦を行う. 個人投資家の取引データを用いて行った実験により、提案手法の精度が既存手法の精度を上回ることを確認し, 銘柄推薦に対して銘柄特徵と投資家特性を考慮することの有用性を示した。

## 1 はじめに

資産運用を行う個人投資家の増加に伴い銘柄推薦の必要性が増加している. 個人投資家に銘柄を推薦する銘柄推薦において，個人投資家がポートフォリオを構築する目的は個人投資家ごとに異なるため，銘柄推薦をパーソナライズするとが重要である．例えば，投資家の中には高いリターンのみを求める投資家に加えて，より慣れ親しんだ (familiar) ポートフォリオを求める投資家も存在する。

Personalized された銘柄推薦の研究では個人投資家のリスク許容度と銘柄のリスクリターンに基づいて銘柄推薦をパーソナライズする手法がよく用いられる $[1,2,3]$. 例えば，Robin はユーザーのポートフォリオから投資家のリスク許容度を推定し，株式のリスクリターンと投資家のリスク許容度との関連性に基づいて，協調フィルタリングを用いて銘柄推薦のパーソナライズを行っている [1]. これらを背景とし, 本研究では personalized された銘柄推薦に取り組む.

Personalized された銘柄推薦には二つの課題が存在する。一つ目の課題は銘柄の特性の考慮が十分でないという点である. 先行研究では銘柄の特徴の中でもリスクリターンのみに焦点を当てることが多い.しかしながら，個人投資家は銘柄を選択する際
に銘柄のさまざまな側面を考慮して投資の意思決定を行っている. 特に，個人投資家は主に 3 つの要因を分析して意思決定を行うと考えられる。

## テクニカル指標

個人投資家は銘柄に対するテクニカル分析を行い過去のトレンド，パターンを分析する.

## ファンダメンタル指標

個人投資家は経済指標や財務指標などを分析することで企業の財務状況や経営状況を評価する。

## 事業活動

個人投資家は決算短信やニュースデータなどのテキストデータから，企業の事業活動を分析する $[4,5,6]$.

したがって，より良いパーソナライズを行うためには銘柄のテクニカル指標、ファンダメンタル指標、事業活動を考慮することが重要である. テクニカル指標やファンダメンタル指標は量的な情報である一方で，事業活動はテキストデータやネットワー クデータなどの非構造化データにあらわれる。このことから，銘柄推薦で事業活動を考慮する際には非構造データからの特徴抽出を行う必要がある.

二つ目の課題は個人投資家の特性に対するパーソナライズが不十分な点である. 先行研究では個人投資家のリスク許容度に基づきパーソナライズをしているが，投資家モデリングの実証研究において性格特性や行動バイアスなどの心理特性と投資家行動の関連性が示されている $[7,8,9,10]$. この中で，個人投資家の複雑な性質をリスク許容度という一つの変数により表すことが適切かどうかは明らかでない. したがって，より良いパーソナライズを行うためにはこれらの投資家特性を考慮する必要がある.

本研究では銘柄特徴と投資家特性を考慮した銘柄推薦モデルを提案する.

図 1 提案手法の概要

## 2 提案手法

図 1 に示すよう提案手法は以下の三つのステップで構成される. Step1 では銘柄のテクニカル指標, ファンダメンタル指標，事業活動など銘柄の特徴を抽出し，銘柄のベクトル表現を獲得する．Step2 では投資家の性格特性，行動特性，投資家の属性情報から投資家のベクトル表現を獲得する．Step3 では銘柄と投資家のベクトル表現を利用し Neural Collaborative Filtering Model を構築し, 銘柄推薦を行う.

## 2.1 銘柄特徵の獲得

時刻 $t$ における銘柄 $i$ のテクニカル指標とファンダメンタル指標は次のように計算される。

$
\text { technical }_{t, i}=T C\left(v_{t, i} \ldots v_{t+n, i}\right)
$

$
\text { fundamental }_{t, i}=F C\left(w_{t, i}\right)
$

ここで $v_{t, i}$ は時刻 $t$ における銘柄 $i$ の終值, $n$ はテクニカル指標の計算に必要な期間， $w_{t, i}$ は時刻 $t$ における銘柄 $i$ の利益や売上高などの財務情報, $T C$ はボリンジャーボンドなどのテクニカル指標を株価時系列から計算する関数， $F C$ は Earnings Price Share(EPS) などのファンダメンタル指標を財務情報から計算する関数, そして technical ${ }_{t, i} \in \mathbb{R}^{k_{t}}$, と fundamental $_{t, i} \in \mathbb{R}^{k_{f}}$, は時刻 $t$ における銘柄 $i$ のテ
クニカル指標，ファンダメンタル指標を表すべクトルである. 非構造データから事業活動を抽出する特徴抽出では，Takayanagi etal. で提案されたネットワークデータとテキストデータから事業活動情報を抽出する銘柄埋め込み (Stock Embedding) 手法を用いる [11]. Stock embedding は以下のように計算される

$
\begin{aligned}
& h_{\mathrm{BERT}, i}=\operatorname{BERT}\left(x_{i}\right) \\
& h_{\mathrm{GCN}, i}=\operatorname{ReLU}\left(\sum_{j \in N_{i}} \hat{D}^{-\frac{1}{2}} \hat{A} \hat{D}^{-\frac{1}{2}} h_{j} W+b\right) \\
& h_{\operatorname{BERT}, i}=\operatorname{BERT}\left(x_{i}\right) \\
& h_{\mathrm{GCN}, i}=\mathrm{GCN}\left(h_{\mathrm{BERT}, i}\right) \\
& \mathrm{emb}_{i}=h_{\mathrm{BERT}, i}+h_{\mathrm{GCN}, i}
\end{aligned}
$

ここで $x_{i}$ は target stock $i$ のテキストディスクリプションで， $h_{\mathrm{BERT}, i} \in \mathbb{R}$ はプールされた BERT の出力, $N_{i}$ は銘柄 $i$ の隣接銘柄で, $\hat{A}=A+I$ は因果チェーン [12] により構築される企業ネットワークの隣接行列で, $\hat{D}_{i, i}=\sum_{j=0} \hat{A}_{i j}$ は diagonal degree matrix であり, $h_{i}$ は Graph Convolutional Network(GCN)への入力， $W$ は重み行列， $b$ はバイアス，そして $S_{\mathrm{emb}, i}$ は銘柄 $i$ の事業活動のべクトル表現である.

そして，提案手法では Multi-layer perceptron(MLP)層を用いる。

$
\begin{gathered}
S_{\text {technical }, t, i}=\operatorname{ReLU}\left(W_{\text {tech }} \text { technical }_{t, i}+b_{\text {tech }}\right) \\
S_{\text {fundamental }, t, i}=\operatorname{ReLU}\left(W_{\text {fund }} \text { fundamental }_{t, i}+b_{\text {fund }}\right)
\end{gathered}
$

$
S_{\mathrm{emb}, i}=\operatorname{ReLU}\left(W_{\mathrm{emb} \mathrm{emb}_{i}}+b_{\mathrm{emb}}\right)
$
ここで $W_{\text {tech }} \in \mathbb{R}^{l \times k_{t}}, \quad W_{\text {fund }} \in \mathbb{R}^{l \times k_{f}}, \quad W_{\text {emb }} \in \mathbb{R}^{l \times k_{e}}$, $b_{\text {tech }}, \quad b_{\text {fund }}, \quad b_{\text {emb }} \in \mathbb{R}^{l}$ であり,$l$ は銘柄のベクトル表現の次元数である. 銘柄のベクトル表現 $q_{i}$ は以下のように計算される。

$
q_{i}^{\mathrm{MF}}=S_{\text {technical, } t, i} \odot S_{\text {fundamental }, t i} \odot S_{\text {embi }} \odot p_{i}
$

$
q_{i}^{\mathrm{MLP}}=\left[S_{\text {technical }, t, i} \odot S_{\text {fundamental }, t, i} \odot S_{\mathrm{emb}, i} \| p_{i}\right]
$

ここで $p_{i}$ は銘柄 $i$ のワンホットベクトルであり，๑は Hadamard productを表し，\|は concatenation operationを表す.ここでは， Hadamard productを先に計算し次に concatenation operationを行う. $q{ }_{i}^{\text {MLP }}$ は MLP 層の銘柄ベクトルの入力で， $q_{i}^{\mathrm{MF}} \mathrm{i}$ は matrix factorization(MF) 層の銘柄ベクトルの入力である.

## 2.2 投資家特性の獲得

次に投資家の特性を分析する. $u$ を投資家で， $I_{\text {Attributes }, u}, I_{\text {Personality }, u}, \quad I_{\text {Behavioral }, u}$ を投資家 $u$ の属性，性格特性，行動特性とする。投資家特性 $I_{u}$ は以下のように示される.

$
I_{u}=\left[I_{\text {Attributes }, u}\left.\|I_{\text {Personality }, u}\right.\| I_{\text {Behavioral }, u}\right]
$

投資家ベクトル $r_{u}$ は以下のように計算される.

$
\begin{aligned}
r_{u}^{\mathrm{MF}} & =I_{u} \odot p_{u} \\
r_{u}^{\mathrm{MLP}} & =\left[I_{u} \| p_{u}\right]
\end{aligned}
$

ここで $p_{u}$ は投資家 $u$ のワンホットベクトルである. $r_{u}^{\mathrm{MLP}}$ は MLP 層の投資家べクトルの入力で， $r_{u}^{\mathrm{MF}}$ は $\mathrm{MF}$ 層の投資家ベクトルの入力である.

## 2.3 協調フィルタリング

最後に，協調フィルタリングを用いて銘柄の推薦を行う. He etal. に従い predicted preference $y_{u, i}$ を以下のように計算する.

$
\begin{gathered}
\phi^{\mathrm{GF}}=q_{i}^{M F} \odot r_{u}^{M F} \\
\phi^{\mathrm{MLP}}=a_{L}\left(a_{L-1}\left(\ldots a_{2}\left(W_{2}\left[q_{i}^{M F} \| r_{u}^{M F}\right]+b_{2}\right) \ldots\right)+b_{L}\right) \\
\hat{y}_{u, i}=\sigma\left(W_{F}\left[\phi^{\mathrm{GF}} \| \phi^{\mathrm{MLP}}\right]+b_{F}\right) \\
\text { ここで } \sigma \text { はシグモイド関数, } a_{l} \text { は } \operatorname{ReLU} \text { などの活 } \\
\text { 性化関数, } W_{l} \text { と } W_{F} \text { は重み行列, } b_{l} \text { と } b_{F} \text { はバイ } \\
\text { アスを表している. }
\end{gathered}
$

## 2.4 損失関数

損失関数は以下のように定義される.

$
\begin{aligned}
& p\left(\mathcal{Y}, \mathscr{Y}^{-} \mid \mathbf{Q}, \mathbf{R}, \Theta f\right)=\prod_{(u, i) \in \mathcal{Y}} y_{\hat{u}, i} \prod_{(u, i) \in \mathcal{Y}^{-}}\left(1-y_{\hat{u}, i}\right) \\
& L=-\sum_{(u, i) \in \mathcal{Y}} \log \hat{y}_{\hat{u}, i}-\sum_{(u, i) \in \mathcal{Y}^{-}} \log \left(1-\hat{y_{u}, i}\right) \\
& =-\sum_{(u, i) \in \hat{y} \cup y^{-}} y_{u, i} \log y_{\hat{u}, i}+\left(1-y_{u i}\right) \log \left(1-y_{\hat{u}, i}\right)
\end{aligned}
$

ここで $y$ は正例， $y$ - は負例， $y_{u, i}$ は投資家 $u$ の銘柄 $i$ へ implicit feedback であり, $\mathbf{Q}$ と $\mathbf{R}$ は銘柄と投資家の latent factor matrix である. 負例 $y^{-}$に関しては，それぞれの投資家が未だ保有していない銘柄の集合から uniform sampling を行った.

## 3 実験設定

## 3.1 データセット

## 3.1.1 銘柄特性

本研究においてテクニカル指標はボリンジャー バンド，移動平均収束発散法，相対力指数，平均方向性指数，そしてストキャスティクスを用いた. ファンダメンタル指標は一株当たり利益 (earnings per share)，一株当たり純資産 (book value per share),株価収益率 (price-to-earnings ratio), そして自己資本利益率 (return on equity) を用いた.

## 3.1.2 個人投資家特性

本研究では個人投資家の特性として性格特性，行動特性，属性情報を用いた。性格特性は 10 項目からならアンケート ten-item personality inventory (TIPI) $[13,14]$ を用いて収集した. 行動特性は危険選好 (risk preference), 時間割引率 (time discount), 自信過剰 (overconfidence), 双曲割引 (hyperbolic discounting), 符号効果 (sign effec)，マグニチュード効果 (magnitude effect)を大阪大学の Japan Household Panel Survey $(\mathrm{JHPS})^{1)}$ を参考にしてアンケートを作成して収集した. 属性情報は年齢，収入，金融資産の量，投資経験を用いた。

## 3.1.3 取引データ

本研究では証券会社から提供された 969 名の投資家の 2020 年の 7 月から 2022 の 9 月までの取引デー タを用いて研究を行った. 前処理として, 取引デー タを $m$ 投資家と $n$ 銘柄の user-item matrix $U_{f} \in \mathbb{R}^{m \times n}$ を以下のように定義した。

$
\left(U_{f}\right)_{i j}=f(i, j)
$

ここで $q_{i, j, t}$ は投資家 $i$ の時刻 $t$ における銘柄 $\mathrm{j}$ のポートフォリオである.

$
q_{i, j, t}=\left.\{\begin{array}{ll}
1 & \text { if user } i \text { holds stock } j \text { in time } t \\
0 & \text { otherwise }
\end{array} .\right.
$

本研究では implicit feedback collaborative filtering useritem matrix $R$ を $U_{f_{R}}$ として Equation 21 に定義している.

$
f_{R}(i, j)=\left.\{\begin{array}{ll}
1 & \text { if there is } t \in T \text { s. } t . q_{i, j, t} \neq 0 \\
0 & \text { otherwise }
\end{array} .\right.
$

ここで $T \mathrm{i}$ は全体の期間である. ここで $R$ の各列は，それぞれの投資家 $i$ が銘柄 $j$ を保有したか否かを示している。

## 3.2 タスクと評価指標

本研究では投資家が次に保有する新規銘柄を予測するタスクである新規銘柄推薦タスクにより評価をおこなう．データセットから各投資家の最新のトランザクションをテストデータとして，それ以外のデータをトレインデータとして用いる．銘柄推薦の評価指標として HR@10と NDCG@10を用いる. 評価時には過去に投資家が購買したことのない 99 銘柄をランダムにサンプリングして，テストアイテムと合わせて合計 100 銘柄のランキングを取り，リストの上位 10 銘柄をもちいて評価を行う。

## 4 結果

表 1 実験結果

図 25 つのシード値を用いた HR の箱ひげ図.ひげは最小値と最大値を示し，箱は第 1 四分位数，中央值，第 3 四分位数を表している.

図 35 つのシード値を用いた NDCG の箱ひげ図。ひげは最小値と最大値を示し，箱は第 1 四分位数，中央值，第 3 四分位数を表している.

表 1 は実験の結果を示す. 提案手法，ベースラインモデルに対して五つの異なるシード值で評価し，スコアの平均を報告した。結果として提案手法が HR，NDCG 双方の評価指標でどちらもべースラインである Generalized Matrix Factorization(GMF), MLP， Neural Matric Factroziation(NeuMF) [15] をアウトパフォームしていることが確認できる.

図 2 と図 3 は異なるシードに対するそれぞれ $\mathrm{HR}$ ， NDCG の箱ひげ図である. 図からも提案手法が安定的にベースラインを上回ることが確認できる.

## 5 終わりに

本研究では銘柄特徴と投資家特性の Context を考慮した銘柄推薦モデルの提案を行った. 本研究では銘柄特性として銘柄のテクニカル指標，ファンダメンタル指標，事業活動を，投資家特性として性格特性，行動特性，属性情報を考慮したモデルを提案した. 実験結果により提案手法はベースラインを超える性能を示した。

## 謝辞

本研究は大和証券グループ本社とそのグループ会社である株式会社 CONNECT の支援を受けたものである. 加えて, 本研究は JSPS 科研費 JP21K12010 と JST 未来社会創造事業 JPMJMI20B1 の助成を受けたものである.

## 参考文献

[1] Robin M. E. Swezey and Bruno Charron. Large-scale recommendation for portfolio optimization. In Proceedings of the 12th ACM Conference on Recommender Systems, pp. 382-386, 2018.

[2] Yang Yujun, Li Jianping, and Yang Yimei. An efficient stock recommendation model based on big order net inflow. Mathematical Problems in Engineering, Vol. 2016, pp. $1-15,2016$.

[3] Kohsuke Kubota, Hiroyuki Sato, Wataru Yamada, Keiichi Ochiai, and Hiroshi Kawakami. Content-based stock recommendation using smartphone data. Journal of Information Processing, Vol. 30, pp. 361-371, 2022.

[4] JOSEPH E. ENGELBERG and CHRISTOPHER A. PARSONS. The causal impact of media in financial markets. The Journal of Finance, Vol. 66, No. 1, pp. 67-97, 2011.

[5] Brad M. Barber and Terrance Odean. All That Glitters: The Effect of Attention and News on the Buying Behavior of Individual and Institutional Investors. The Review of Financial Studies, Vol. 21, No. 2, pp. 785-818, 2007.

[6] Stefano Dellavigna and Joshua M. Pollet. Investor Inattention and Friday Earnings Announcements. Journal of Finance, Vol. 64, No. 2, pp. 709-749, 2009.

[7] Chris Brooks and Louis Williams. The impact of personality traits on attitude to financial risk. Research in International Business and Finance, Vol. 58, p. 101501, 2021 .

[8] Fatima Akhtar, K. Thyagaraj, and Niladri Das. Perceived investment performance of individual investors is related to the big-five and the general factor of personality (gpf). Global Business Review, Vol. 19, p. 097215091771352 , 2017.

[9] Cheng-Po Lai. Personality traits and stock investment of individuals. Sustainability, Vol. 11, No. 19, 2019.

[10] Ummuhan Mutlu and Gökhan Özer. The effects of personality traits on financial behaviour. Pressacademia, Vol. 8, pp. 155-164, 2019.

[11] Takayanagi Takehiro, Sakaji Hiroki, and Izumi Kiyoshi. Setn: Stock embedding enhanced with textual and network information. In 2022 IEEE International Conference on Big Data (Big Data), 2022.

[12] Izumi Kiyoshi and Sakaji Hiroki. Economic causalchain search using text mining technology. In the First Workshop on Financial Technology and Natural Language Processing In conjunction with the 28th International Joint Conference on Artificial Intelligence, pp. 61-65, 2019.

[13] Samuel D Gosling, Peter J Rentfrow, and William B
Swann. A very brief measure of the big-five personality domains. Journal of Research in Personality, Vol. 37, No. 6, pp. 504-528, 2003.

[14] Atsushi Oshio, Atsushi Abe, Shingo Cutrone, and Pino Gosling Samuel. Big Five Content Representation of the Japanese Version of the Ten-Item Personality Inventory. Psychology, Vol. 4, pp. 924-929, 2013.

[15] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, $\mathrm{Xia} \mathrm{Hu}$, and Tat-Seng Chua. Neural collaborative filtering. WWW '17, p. 173-182. International World Wide Web Conferences Steering Committee, 2017.


# 連続時間フラクショナル・トピックモデル

中川慧

野村アセットマネジメント株式会社

kei.nak.0315@gmail.com

林 晃平
東京大学大学院数理科学研究科
kohei@ms.u-tokyo.ac.jp
}

藤本悠吾

野村アセットマネジメント株式会社

yu5fujimoto@gmail.com
## 概要

LDA の時系列性を考慮するため，DTM や，DTM を連続時間に拡張した cDTM が提案されている. しかしながら，これらの生成パラメータの変化量に各時刻での相関を持たせることで，より現実に即したモデル化が可能になると考えられる。 そこで本研究では，cDTM の一般化を行い，生成パラメータの増分の正相関性 (長時間依存性) または負相関性 (ラフさ)を考慮にいれた，連続時間フラクショナル・トピックモデルを提案する。また提案手法のパラメー タ推定は簡易的には，トピックモデルと同様であることを示した. そして数值実験によって，提案手法がトピックの正相関性 (長時間依存性) または負相関性 (ラフさ)を捉えることができることを確認する.

## 1 はじめに

トピックモデルとは文書の確率的生成モデルの一つである。トピックモデルにおいて文書の生成過程はトピック分布にしたがってトピックを選択し，選んだトピックの持つ単語分布にしたがって単語を選択していくことで生成される。ここでトピック分布とは文書中の各話題の比率，単語分布とは各話題を構成する単語の分布を意味する。文書がトピックモデルから生成されたと仮定した上で，実際に観測された文書から各トピック分布および単語分布を統計的に推定することで，文書に含まれるの話題の比率や，話題を構成する単語の分布を知ることができる. トピックモデルの中でも，Blei らによって提案された Latent Dirichlet Allocation (LDA) [1] や, トピック間に相関を加えるモデル [2]も提案されている.

一般にLDA においては時系列性は考慮されない
ため，トピックの時系列的な推移を確認することはできない. この問題に対応するためにトピックの時系列性を考慮する LDA である Dynamic Topic Model (DTM) が提案された [3]. DTM では，データセットは指定された時間ごとに均等に分割され，文書のトピック分布のパラメータおよび各トピックの単語の分布は時間とともに変化する。.さらにDTM が離散的な時間変化をモデリングしているのに対して，DTM を連続時間に拡張した Continuous Time DTM (cDTM) が提案された [4].

上述の通り，従来の動的トピックモデルは各時刻における単語生成およびトピック生成のパラメー タが時間変化するモデルであった. そこでは，1 ステップ前のパラメータに対し独立に正規分布に従う確率変数を加えることで次の時刻のパラメータを定めており，生成パラメータの増分は各時点で独立である。しかしながら，例えばある時刻で新単語または新トピックに特有の単語が増加傾向にあるとすると, 次の観測点の時刻でもその増加傾向に応じて単語とトピックの分布が変化すると考えるのが自然である. 即ち，生成パラメータの変化量は，各時刻で正の相関を持つと仮定することで，より現実に即した文書生成を行えると考えられる $[5,6,7,8]$. また，逆にある時刻で語られていたトピックが次の時刻では語られなくなり，新しいトピックが急に語られるような事象，すなわちトピック分布の負の相関性 (ラフさ)を記したいケースも考えられる。そこで本研究では, 生成パラメータの増分の正相関性および長時間依存性またはラフさを考慮にいれた手法である，連続時間フラクショナル・トピックモデルを提案する。提案手法は, 標準 Brown 運動の一般化であり，増分が正の相関を持ち，かつ長期記憶性をまたはラフさを持つ非整数階 Brown 運動 [9] を生成パラ

メータの増分過程として利用する.したがって，提案手法は cDTM の一般化になっている。そのため， テキストのタイムステップが均一でない場合あるいは久損がある場合でもモデル化可能である. そして，実際の経済ニュースデータを用いた数値実験によって，提案手法がトピックの正相関性 (長時間依存性) または負相関性 (ラフさ)を捉えることができることを確認する。

## 2 提案手法

## 2.1 非整数階 Brown 運動

ここでは，非整数階 Brown 運動の定義と基本的な性質について概説する [10]. $H \in(0,1)$ を定数 (Hurst 指数) とする. 平均 0 の実数値 Gauss 過程 $B^{H}=\left.\{B_{t}^{H}\right.\}_{t \geq 0}$ が Hurst 指数 $H$ の fractional Brown 運動 $(\mathrm{fBm})$ であるとは, ほとんど確実に $B_{0}^{H}=\mu$ かつ,任意の $s, t \geq 0$ に対して次を満たすときをいう。

$
\operatorname{Cov}\left(B_{s}^{H}, B_{t}^{H}\right)=\frac{1}{2}\left(|t|^{2 H}+|s|^{2 H}-|t-s|^{2 H}\right) .
$

また, $\mathrm{fBm}$ から $\left.\{B_{t+1}^{H}-B_{t}^{H}: t=0,1, \ldots\right.\}$ という新たな離散確率過程を考えることができ，これを fractional Gauss ノイズ (fGn) という. fBm の増分は $H>1 / 2(H<1 / 2)$ のとき正 (負) の相関をもち, $H=1 / 2$ のとき Brown 運動に一致することは定義から明らかである. また, $B_{t}^{H}-B_{s}^{H} \sim \mathcal{N}\left(0,|t-s|^{2 H}\right)$ なので, $\mathrm{fBm}$ は定常増分である。次に, 確率過程の長期 (短期) 記憶性を定義する. $X=\left.\{X_{t}\right.\}_{t \geq 0}$ を確率過程とし, その増分を $X_{s, t}=X_{t}-X_{S}$ とする.このとき, 確率過程 $X$ の増分が長期 (resp. 短期）記憶性を持つとは，任意の $h>0$ に対して， $\sum_{n=1}^{\infty}\left|\operatorname{Cov}\left(X_{0, h}, X_{(n-1) h, n h}\right)\right|$ が発散（resp. 有限）になることをいう. (1) 式から，fBm は $H=1 / 2$ のとき，標準 Brown 運動と一致する. また fBm の増分に対しては $H>1 / 2$ のときのみ長期依存性を持ち, $H<1 / 2$ のときラフさを持つ.

## 2.2 連続時間フラクショナル・トピックモ デル

以下， $\mathbf{K}$ をピック全体の集合， $\mathbf{W}$ を単語全体の集合とする。連続時間フラクショナル・トピックモデルは, 単語分布とトピック分布のパラメー タが時間発展するモデルであり, その時間変動を $\mathrm{fBm}$ にってモデル化する. $H \in(0,1)$ とし， $\left.\{B_{t}^{H,(k, w)}: t \geq 0\right.\}_{k \in \mathbf{K}, w \in \mathbf{W}}$ 及び $\left.\{B_{t}^{H,(k)}: t \geq 0\right.\}_{k \in \mathbf{K}}$ を初期値を 0 とする独立な $\mathrm{fBm}$ の列とする. タ
イムスタンプの列 $\left.\{0=s_{0}, s_{1}, \ldots, s_{T}=T\right.\}$ における生成パラメータ $\alpha_{s_{t}}, \beta_{s_{t}}(t=0, \ldots, T)$ を, 初期分布 $\alpha_{0} \in \mathbb{R}^{\mathbf{K}}, \beta_{0} \in \mathbb{R}^{\mathbf{K}} \times \mathbb{R}^{\mathbf{W}}$ と次式によって定めることができる. 各 $k \in \mathbf{K}$ 及び $w \in \mathbf{W}$ に対し, 次の確率微分方程式を解く。

$
\begin{aligned}
& d \alpha_{s, k}=f_{\theta_{\alpha}}\left(\alpha_{s, k}\right) d s+\sigma_{\alpha} d B_{s}^{H,(k)} \\
& d \beta_{s, k, w}=f_{\theta_{\beta}}\left(\beta_{s, k, w}\right) d s+\sigma_{\beta} d B_{s}^{H,(k, w)}
\end{aligned}
$

ただし， $\sigma_{\alpha}, \sigma_{\beta} \in \mathbb{R} て ゙ ある . また ， f_{\theta_{\alpha}}$ および $f_{\theta_{\beta}}$ は $\theta_{\alpha}$ および $\theta_{\beta}$ をパラメータに持つ関数であり，方程式 (2) が一意的な解 $\left.\{\left(\alpha_{s}, \beta_{s}\right): s \geq 0\right.\}$ が存在し, またそれらの解の密度が持つような十分性質のよいものであると仮定する。これらの関数により，トピック及び単語が生成される傾向を学習することができ，更に $\mathrm{fBm}$ により与えたノイズから長期記憶性やラフさを再現することができる. 以下では，方程式 (2) を解いた後に，与えられたタイムスタンプ $s=s_{0}, \ldots, s_{T}$ における値を利用する. ここでは時間に関して連続な方程式を解くことで生成パラメータを決定しているため, 不規則サンプリングに対応可能なことに留意されたい. このパラメータ過程を用いて，各タイムスタンプ $s_{t}$ における総単語数 $N_{s_{t}}$ の文書 $d_{s_{t}}=\left.\{\left(w_{s_{t}, k_{i}}^{i}\right)_{1 \leq i \leq N_{s_{t}}}: k_{i} \in \mathbf{K}, w_{s_{t}, k_{i}}^{i} \in \mathbf{W}\right.\}$ の生成過程は次のように書ける。

1. 各タイムスタンプ $s_{t}$ における $\alpha_{s_{t+1}, k}$ と $\beta_{s_{t+1}, k, w}$ を (2) 式で生成する

2. 各単語 $w \in \mathbf{W}$ について，まずトピック $z \in \mathbf{K}$ をパラメータ $\phi\left(\alpha_{s_{t}}\right)$ のカテゴリ分布 (トピック分布) から一つ選び，そのトピック $z$ の単語生成パラメータを $\beta_{s_{t}, z}=\left(\beta_{s_{t}, z, w}\right)_{w \in \mathbf{W}} \in \mathbb{R}^{\mathbf{W}}$ として, パラメータ $\phi\left(\beta_{s_{t}, k}\right)$ のカテゴリ分布 (単語分布) から $w$ を選ぶ：

$
\begin{aligned}
& z \sim \operatorname{Categorical}\left(\phi\left(\alpha_{s_{t}}\right)\right), \\
& w \sim \operatorname{Categorical}\left(\phi\left(\beta_{s_{t}, z}\right)\right) .
\end{aligned}
$

ここで, $V$-次元単体 $\sigma_{V}=\left.\{x \in[0,1]^{V}: x_{1}+\cdots+\right.$ $\left.x_{V}=1\right.\}^{V}$ に対してパラメータ $\phi \in \sigma_{V}$ を持つ, Categorical $(\phi)$ は確率密度関数が

$
p_{\text {Cat }}(x \mid \phi)=\prod_{v=1}^{V} \phi_{v}^{x_{v}}
$

で表される $\{0,1\}^{V}$ 上の分布である. また, $\phi: \mathbb{R}^{V} \rightarrow$ $\sigma_{V}$ は softmax 関数であり次式で定義される.

$
\phi(\beta)_{v}=\frac{\exp \left(\beta_{v}\right)}{\sum_{1 \leq v \leq V} \exp \left(\beta_{v}\right)}
$
図 1 に提案手法である連続時間フラクショナル・トピックモデルのグラフィカルモデル表現を示す.ここで, $\phi_{s}^{z}$ (resp. $\phi_{s}^{w}$ ) は時刻 $s$ におけるトピック (resp.単語) 分布である. ここでは簡単のため, ドリフト関数のパラメータ $\theta_{\alpha}, \theta_{\beta}$ の寄与は省略した. 連続時間の微分方程式を解くことによりパラメータ生成を行っているため，サンプリングが不規則であっても対応できることを図では表現している.

図 1: 連続時間フラクショナル・トピックモデルのグラフィカルモデル表現.

## 2.3 パラメータ推定

以下, $T+1$ 個のタイムスタンプ $\left.\{0=s_{0}, s_{1}, \ldots, s_{T}=\right.$ $T\}$ において観測された文書 $\hat{d}_{s_{t}}=\left.\{\hat{w}_{s_{t}}^{i} \in \mathbf{W}\right.$ : $\left.i=1, \ldots,\left|\hat{d}_{s_{t}}\right|\right.\}(t=0, \ldots, T)$ が与えられているとする.また, 生成パラメータの初期分布を $\alpha_{0} \sim \mathcal{N}\left(\mu_{\alpha}, v_{\alpha} I_{|\mathbf{K}|}\right)$ および $\beta_{0} \sim \mathcal{N}\left(\mu_{\beta}, v_{\beta} I_{|\mathbf{K}| \times|\mathbf{W}|}\right)$ とする.ただし， $\mathcal{N}(\mu, v)$ は平均 $\mu$, 分散共分散行列 $v$ の正規分布を表す.このとき，連続時間フラクショナル・トピックモデルのパラメータは, $\Phi=\left(\Phi_{\alpha}, \Phi_{\beta}\right)$, ただし $\Phi_{\alpha}=\left(\mu_{\alpha}, v_{\alpha}, \sigma_{\alpha}, \theta_{\alpha}\right)$ および $\Phi_{\alpha}=\left(\mu_{\beta}, v_{\beta}, \sigma_{\beta}, \theta_{\beta}\right)$, で与えられる. このとき，ドリフト関数 $f_{\theta_{\theta_{\alpha}}}$ (resp. $\mathrm{v} f_{\theta_{\beta}}$ ) のパラメータ数を $D_{\theta_{\alpha}}$ (resp. $D_{\theta_{\beta}}$ )とすると, パラメータ空間は $\Theta=\Theta_{\alpha} \times \Theta_{\beta}$, ただし,

および

$
\Theta_{\alpha}=\underbrace{\mathbb{R}^{\mathbf{K}}}_{\mu_{\alpha}} \times \underbrace{\mathbb{R}_{+}}_{v_{\alpha}} \times \underbrace{\mathbb{R}}_{\sigma_{\alpha}} \times \underbrace{\mathbb{R}^{D_{\theta_{\alpha}}}}_{\theta_{\alpha}}
$

$
\Theta_{\beta}=\underbrace{\mathbb{R}^{\mathbf{K} \times \mathbf{W}}}_{\mu_{\beta}} \times \underbrace{\mathbb{R}_{+}}_{v_{\beta}} \times \underbrace{\mathbb{R}}_{\sigma_{\beta}} \times \underbrace{\mathbb{R}^{D_{\theta_{\beta}}}}_{\theta_{\beta}}
$

で表される. 以下では, 各時刻 $t=0, \ldots, T$ における次の対数尤度関数をパラメータ $\Phi \in \Theta$ について最大化する.

$
L_{s_{t}}(\Phi)=\log p\left(\hat{d}_{s_{t}} \mid \Phi\right)=\sum_{\hat{w}_{s_{t}} \in \hat{d}_{s_{t}}} \log p\left(\hat{w}_{s_{t}} \mid \Phi\right)
$

ここで, 各時刻 $s$ について, $\Phi_{\alpha}=\left(\mu_{\alpha}, v_{\alpha}, \sigma_{\alpha}\right)$ および $\Phi_{\beta}=\left(\mu_{\beta}, v_{\beta}, \sigma_{\beta}\right)$ としてパラメータ $\Phi=\left(\Phi_{\alpha}, \Phi_{\beta}\right)$ が与えられたときの各単語の確率密度関数は,

$
\begin{aligned}
p\left(w_{s} \mid \Phi\right)= & \sum_{k \in \mathbf{K}} p\left(z_{s}=k \mid \Phi\right) p\left(w_{s, k}=w_{s_{t}} \mid \Phi\right) \\
= & \int_{\mathbb{R}^{\mathbf{K}}} \int_{\mathbb{R}^{\mathbf{K} \times \mathbf{W}}} \sum_{k \in \mathbf{K}} p_{\mathrm{Cat}}\left(z_{s}=k \mid \phi\left(\alpha_{s}\right)\right) \\
& \times p_{\mathrm{Cat}}\left(w_{s, k}=w_{s} \mid \phi\left(\beta_{s, k}\right)\right) \\
& \times p\left(\alpha_{s} \mid \Phi_{\alpha}\right) p\left(\beta_{s} \mid \Phi_{\beta}\right) d \alpha_{s} d \beta_{s}
\end{aligned}
$

で与えられる.ここで, $p\left(\alpha_{s} \mid \Phi_{\alpha}\right)$ および $p\left(\beta_{s} \mid \Phi_{\beta}\right)$ は時刻 $s$ における $\alpha_{s}$ および $\beta_{s}$ の確率密度関数である。

本稿では，トピックまたは単語分布の長期記憶性やラフさを再現することを確認することが目的であり，簡単のため単純化された設定の下で文章生成を行う。そのもとで, 提案手法の尤度 (4) の最大化について次が成立する。

命題 1. ドリフト関数が $f_{\alpha}=0$ かつ $f_{\beta}=0$ の場合,尤度 (4) の最適化は古典的な (即ち時間発展のない定常的な) トピックモデルの最適化問題に帰着される.

そのため特に，EMアルゴリズムや変分ベイズ推定などの手法を適用することができる。

## 3 実証分析

## 3.1 データセット

提案モデルによる時系列相関を考慮したトピック抽出を評価するため，本実験では重大イベント (東日本大震災) 前後でのトピック推移について定性的な評価を行う．提案モデルの評価のため，ロイターニュース ${ }^{1)}$ から東日本大震災を含む前後 5 日間 (2011/3/8 3/12) のニュース記事 178 件を抽出し，実験を行った。

## 3.2 実験設定

提案モデルの入力には，ニュース記事から名詞を抽出し計算した Bag of Words 形式の特徴量を利用した. またモデルの学習には，マルコフ連鎖モンテカ

1) https://jp.reuters.com/

(a) $H=0.1$ (ラフな $\mathrm{fBm})$

(b) $H=0.5(\mathrm{cDTM})$

(c) $H=0.9$ (長期記憶性を持つ $\mathrm{fBm}$ )

図 2: 東日本大震災前後のニュースのトピック分布推移

ルロ法 $(\mathrm{MCMC})$ を利用した。本実験の対象期間は 5 日間と短期であるため，トピック分布は期間中変化する一方で，トピック内の単語分布の変化は相対的に小さいことが想定される．よって本実験では，トピック分布の生成パラメータ $\alpha$ のみ時間発展する設定で実験を実施した. 提案モデルの評価としては， トピックの時系列相関を制御するパラメータである Hurst 指数を変化させた際に，学習結果として得られるトピック推移，および上位トピックに出現する単語を算出した. 提案モデルにおけるハイパーパラメータである Hurst 指数 $H$ をそれぞれ 0.1,0.5,0.9 に設定し，トピック数は 5 に設定し実験を行った. それぞれ,$H=0.1$ の場合はラフさを,$H=0.5$ のときは Brown 運動 (cDTM)， $H=0.9$ の場合は長期記憶性を持つ。

## 3.3 結果

図 2 は，提案モデルによって得られたトピック分布のパスの推移を示している. Hurst 指数が大きい設定では，イベント前後でトピックの推移が大きく変化することはなく, 各トピックの正相関性が保たれてことがわかる。一方で, Hurst 指数を小さくしたケースではイベント後にトピックの発生確率の大幅な変動がみられる。 中間の $\mathrm{H}=0.5$, つまり cDTM のケースは両者の中間の位置付けとなっている.このように，Hurst 指数を制御することで，提案モデルが長期依存性を持つトピックや短期依存性を持つトピックの動向を追跡できている.

$H=0.1$ について，関連するニュースの増加に伴うトピック分布の変動を捉えられていると考えられる. 具体的に，5つのトピックはそれぞれ，トピック 1(青線) は国内ニュース，トピック2(オレンジ線) は国内市況，トピック3(緑線) は海外ニュース，トピック 4(赤線) は海外市況，トピック 5 (紫線) は中国関連と解釈できるイイベント前はリビア情勢不安や中国の政府・経済動向といった海外ニュースおよび海外市況のトピックが多かった. 一方で，イベント後は震災に関する国内ニュースおよび国内市況のトピックが大幅に上昇した。

## 4 まとめ

本研究の貢献は次の通りである.

$\cdot$cDTM の一般化を行い，生成パラメータの増分の正相関性 (長時間依存性) および負相関性 (ラフさ)を考慮にいれた手法である，連続時間フラクショナル・トピックモデルを提案した.
- 提案手法のパラメータ推定は簡易的には，卜ピックモデルと同様であることを示した.

・実際の経済ニュースデータを用いた数値実験によって，提案手法がトピックの長時間依存性やラフさを捉えることができることを確認した.

本研究の限界として, トピックまたは単語分布の長期記憶性やラフさの再現が主目的のため，ドリフ卜項を考慮しなかった。加えて，fBm は一般には独立増分性を持たないため $[3,4]$ と同様に Kalman Filterをもとにトピック分布あるいは単語分布の事後分布を効率的に計算することができない.

今後の発展として，トピック分布あるいは単語分布の事後分布の効率的な計算方法を考察することが挙げられる。また，本研究では考慮していないドリフト項を非線形なニューラルネット関数を用いて学習させる ODE-Net (SDE-Net) ベースの拡張 [11] または本研究と同様に fBm による ODE-Net ベースの拡張 [12] が挙げられる.

## 参考文献

[1]David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[2]David M Blei and John D Lafferty. A correlated topic model of science. The annals of applied statistics, Vol. 1, No. 1, pp. $17-35,2007$.

[3]David M Blei and John D Lafferty. Dynamic topic models. In Proceedings of the 23rd international conference on Machine learning, pp. 113-120, 2006.

[4]Chong Wang, David M Blei, and David Heckerman. Continuous time dynamic topic models. In UAI'08 Proceedings of the Twenty-Fourth Conference on Uncertainty in Artificial Intelligence, 2008.

[5]Liangjie Hong and Brian D Davison. Empirical study of topic modeling in twitter. In Proceedings of the first workshop on social media analytics, pp. 80-88, 2010.

[6]Xuanhui Wang, ChengXiang Zhai, Xiao Hu, and Richard Sproat. Mining correlated bursty topic patterns from coordinated text streams. In Proceedings of the 13th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 784-793, 2007.

[7]Xuerui Wang and Andrew McCallum. Topics over time: a non-markov continuous-time model of topical trends. In Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 424-433, 2006.

[8]Jure Leskovec, Lars Backstrom, and Jon Kleinberg. Memetracking and the dynamics of the news cycle. In Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 497-506, 2009.

[9]Benoit B Mandelbrot and John W Van Ness. Fractional brownian motions, fractional noises and applications. SIAM review, Vol. 10, No. 4, pp. 422-437, 1968.

[10]Francesca Biagini, Yaozhong Hu, Bernt Øksendal, and Tusheng Zhang. Stochastic calculus for fractional Brownian motion and applications. Springer Science \& Business Media, 2008.

[11]Ricky TQ Chen, Yulia Rubanova, Jesse Bettencourt, and David K Duvenaud. Neural ordinary differential equations. Advances in neural information processing systems, Vol. 31, , 2018.

[12]Kohei Hayashi and Kei Nakagawa. Fractional sde-net: Generation of time series data with long-term memory. In 2022 IEEE 9th International Conference on Data Science and Advanced Analytics (DSAA). IEEE, 2022.

## A Appendix: 命題の証明

ドリフト関数が $f_{\alpha}=0$ かつ $f_{\beta}=0$ の場合，式 (2) は次のように解くことができる.

$
\alpha_{s}=\alpha_{0}+\delta B_{s}^{H}, \quad \beta_{s}=\beta_{0}+\sigma B_{s}^{H}
$

よって，時刻 $s$ において $\alpha_{s}$ および $\beta_{s}$ の分布は Gauss 分布を用いて明示的に表すことができる. これは古典的な (即ち時間発展のない定常的な) トピックモデルの最適化問題と等しく, そのため尤度 (4) の最適


# 決算説明会のテキスト特徵と株主資本コストの関連性

真鍋友則 ${ }^{1}$ 黒木裕鷹 1 中川慧 2
${ }^{1}$ Sansan 株式会社 ${ }^{2}$ 野村アセットマネジメント株式会社
\{manabe, kuroki\}@sansan. com k-nakagawa@nomura-am.co.jp

## 概要

決算説明会は，企業が決算状況を説明し，参加者は質疑応答を通して疑問を解消することができるため，情報開示の主要な手段に位置付けられている。企業による積極的な情報開示は，情報の非対称性を緩和し資本コストを下げることが理論的に知られている。しかし決算説明会の発言内容に由来する特徵と資本コストがどのように関連するかについては明らかではない，そこで本研究では，決算説明会のテキスト特徴が資本コストとどのような関係にあるかを分析する．結果として，質疑応答セクションが長いという意味で情報開示に積極的な企業の資本コストが低い傾向が得られた。

## 1 はじめに

株式会社では所有と経営が制度的に分離されており, 企業内部の経営者と企業外部のステークホルダーとの間では情報の非対称性が存在する. そのため, 金融商品取引法などの各種の規制によって必要最低限の情報開示 (ディスクロージャー)を企業に要求している. しかし, このような規制に基づくディスクロージャーだけでは情報の非対称性が十分に緩和されない [1]. そこで, 多くの企業が株式市場における適正な株価形成，事業内容の理解の促進，投資家とのリレーションの形成, 社会的認知度の向上などを目的として，追加的な情報をステークホルダーに対して適時に発信する IR(Investor Relations)活動を行っている.

IR の代表的な手段の一つに決算説明会がある.決算説明会とは, 決算短信が公表された後に速やかに開催される，企業の業績や計画，戦略などについて説明が行われる場である。決算説明会は，経営者によるプレゼンテーション（説明）のセクションと, 参加者と経営者との質疑応答のセクションで構成されることが通常である. 参加者は経営者による業績についての説明あるいは解釈を直接聞くことが
できるほか，質疑応答を通して業績と見通しに関する疑問を解消することができる。

前述の通り企業内部の経営者と外部の投資家の間には情報の非対称性があり，IR 活動はそれを緩和することを目的とする. 実際に，[2,3] ではより質の高い情報開示が市場参加者間の情報の非対称性を低下させ，その結果資本コストは削減されることが示唆されている．また，実際に開示の量や質が資本コス卜と関係があることを実証する研究も数多く存在する $[4,5,6]$. 情報開示の中でも，米国および日本市場においても，決算説明会を対象にした研究が存在している $[7,8,9,10]$. また，説明会の内容や発話のテキスト特徴にまで踏み込んだ分析事例もいくつか存在する. [11] はテキストに感情極性を付与し, 質疑応答セクションの極性が肯定的であった企業の株式は，その後に有意な異常リターンを生むことを示している。また，国内市場においても，[12] は感情極性と将来業績を, [13] は様々な感情極性とその後の異常リターンをそれぞれ分析している。

しかし, これらの決算説明会についての先行研究はいずれも決算説明会のもつ情報価値を投資の観点で，すなわち株価リターンや流動性に対する説明力で測るものである. 決算説明会のどのような特徴 (開示) が理論モデルが示すように情報の非対称を緩和し資本コストを低減するかは未だ明らかではない. また，コーポレートガバナンス・コードの基本原則 5「株主との対話」でも，資本コストを意識した経営とその情報開示を意識づけられており，資本コストに関する分析への社会的なニーズは高い，そこで本研究では, 決算説明会の書き起こしテキスト情報と企業の財務情報を用いて，決算説明会のテキスト特徴が，対応する決算の財務的背景や資本コストとどのような関係にあるかを分析する．資本コストと関係する特徴が明らかになれば，どのような情報開示が資本コストを低下させるかへの手がかりとなり得る。

## 2 データ分析

本節では，本研究で扱う決算説明会のテキストデータと分析手法について概説する. 分析の目的は，決算の内容とそれを受けた決算説明会のテキスト特徴，さらには資本コストの関係を分析することである。端的には, 決算説明会テキストデータに対し，極性辞書を用いた感情極性のスコアリングおよび文章長に対し，対応する決算の財務的内容を踏まえ資本コストとの相関関係を分析した。

米国の年次業績報告書 (10-K) を対象とした研究では, その単語数が多くまた難読性が高い，すなわち複雑で読みにくい (情報コストが高い) 報告書を提出する企業ほど業績が悪く[14]，小口投資家からの投資量が減少し [15], またその後の高いボラテリティやアナリスト評価のばらつきにも影響すること [16] が報告されている．なお [16] は，金融文書のような専門性が高い文章の読み易さを評価する上では Fog Index のような一般的な難読性指標は適切ではなく，難読性の代替指標として単純なファイルサイズがより有効な指標であることを指摘している.

これらを踏まえ本研究では，感情極性以外の決算説明会のテキストの特徴として，プレゼンテーション (説明) セクションの文章長と質疑応答セクションの文章長をそれぞれ使用した．特に質疑応答は決算説明会固有の重要な機会であるが，その時間配分や実際に生じた質問量などは企業によって異なる. 質疑応答文章長は質疑応答の時間的長さや活発さの代替指標と考えられ，そこには情報の非対称性の解消に向けた企業の姿勢や投資家からの関心の高さが反映されていることが予想される。

## 2.1 決算説明会のテキストデータ

本研究では，ログミー株式会社が提供する金融イベントの書き起こしメディアであるログミーファイナンス1)の決算説明会のテキストを対象に分析を行った. ログミーファイナンスでは, 決算説明会のほかに個人投資家向けの説明会や株主総会などが文字起こしされ，記事として提供されている。また， テキストはイベントの音声がそのまま文字起こしされるのではなく，ライターや校正の手によって，内容や語彙・ニュアンスを変えることなく成立した文章として書き起こされる.

2022 年 12 月末までに公開された記事は約 5,127

1) https://finance.logmi.jp/件あり，そのうち 4,508 件が決算説明会に関する記事, さらに 666 件が質疑応答セクションの内容も含まれる記事である。本研究ではそのうち, 2018 年から 2022 年に公開された本決算についての記事 254 記事を対象とした。

## 2.2 資本コストの計算

資本コストは Fama-French の 3 ファクターモデル [17]を用いて [18] と同様に算出した. 具体的には,企業 $i$ の月次株価リターン $r_{i t}$ を用いて次の回帰式によって $\hat{\beta}_{i}, \hat{\delta}_{i}, \hat{\gamma}_{i}$ を推計する.

$r_{i t}-r_{f t}=\beta_{i}\left(r_{M t}-r_{f t}\right)+\delta_{i} S M L_{t}+\gamma_{i} H M L_{t}+\varepsilon_{i t}$.

ここで, $r_{f t}, r_{M t}, S M L_{t}, H M L_{t}$ は Kenneth French $の$ Web サイト ${ }^{2}$ から取得した. 係数は月毎に，その前月を最終月とした 60 ヶ月のウインドウデータに基づいて算出した. 推定した係数を用いて時点 $t$ における企業 $i$ の資本コスト $C P_{i t}$ は

$C P_{i t}=\hat{\beta}_{i t} \mathbb{E}\left[\left(r_{M t}-r_{f t}\right)\right]+\hat{\delta}_{i t} \mathbb{E}\left[S M L_{t}\right]+\hat{\gamma}_{i t} \mathbb{E}\left[H M L_{t}\right]$.

と計算できる.ここで各期待値 $\mathbb{E}[\cdot]$ は， $r_{f t}, r_{M t}, S M L_{t}, H M L_{t}$ それぞれの 1990 年 7 月から $t$ 時点までの平均値として計算した。

## 2.3 決算説明会テキストへの感情極性 スコアリング

本研究では，本邦における決算説明会のテキスト分析が少ないこと，より単純で解釈が容易であることから，金融ドメインに特化した日本語の極性辞書 [19]を用いて感情極性の付与を行う．辞書には 1 文字だけの極性表現や，3 文字以内のひらがな・ カタカナのみから構成される極性表現が含まれるが，これらは除いた上で使用した. 辞書では，トー クンに対し連続的な値を取るスコアが付与されており，これを用い式 (2)ように極性を付与した.ここで, 企業 $i$ の決算説明会のテキストは, 企業からの決算説明のセクションと，それに続く質疑応答のセクションからなり，その構成する文字列の系列を $\boldsymbol{d}_{i}=\left.\{\boldsymbol{d}_{i, P T}, \boldsymbol{d}_{i, Q A}\right.\}$ と表すこととする. $s(w)$ は文字列 $w$ が極性辞書に含まれるときその極性の値を，含まれないとき 0 を返す関数である.

$
\operatorname{TONE}(\boldsymbol{d})=\frac{\sum_{w \in \boldsymbol{d}} s(w)}{\sum_{w \in \boldsymbol{d}}|s(w)|}
$
 french/data_library.html

また，本分析では次の 2 つの極性を定義し，それぞれの決算説明会のテキスト $d_{i}$ に対して付与した.

・説明セクションの感情極性：

$
\text { TONE }\left(\boldsymbol{d}_{i, P T}\right)
$

・質疑セクションの感情極性：

$
\operatorname{TONE}\left(\boldsymbol{d}_{i, Q A}\right)
$

## 2.4 決算データ・資本コストとの関連分析

(1) 式の資本コスト $C P_{j t}$ を従属変数とした重回帰分析を行い，決算発表のテキスト特徴との関連を分析する. ここで, $T O N E_{P T, j t}, T O N E_{Q A, j t}$ はプレゼンテーションセクションと質疑応答セクションの感情極性スコア, $L E N_{P T, j t}, L E N_{Q A, j t}$ はそれぞれのテキスト長， $Y D_{t}$ は年のダミ一変数, $S D_{j}$ は所属セクター（TOPIX11）のダミー変数である．その他の変数 CONTROL $L_{j t}$ には，対数売上高 $(\log (S A L E S))$ や時価簿価比 $(B M)$, レバレッジ (LEVERAGE), 売上成長率 $(S G)$ などが含まれる $[20,6]$. コントロール変数は決算発表で言及されている決算の値を用いた.また， $\beta$ はそれぞれの変数に対する係数，Гはコントロール変数に対する係数べクトルを表す。

$C P_{j t}=\beta_{1} T O N E_{P T, j t}+\beta_{2} T O N E_{Q A, j t}+\beta_{3} L E N_{P T, j t}+$

$C P_{j} t, S G, B M$ について，両側 $1 \%$ のウィンソライズ処理により異常値の補正を行った. 各変数の要約統計量を表 1 に示す. 全ての変数について欠損がなく，最終的に分析に用いたサンプル数は 211 であっ

は重回帰分析にあたり対数変換を施した。

## 3 結果

重回帰分析の結果を表 2 に示した.

表 2 より，質疑応答文の文字数が多いと資本コストが低い傾向があることがわかる。これは，決算説明会において，既に発表されている決算の内容や企業が予め用意したスクリプトよりも，投資家からの要請である質疑応答により長い時間を用意することが，より良い情報開示になっていることを示唆する結果である。このことは，情報の非対称性を緩和する IR 活動，すなわち情報開示の質が良いと資本コ表 1 各変数の要約統計量

表 2 式 (3)の重回帰分析の結果

ストが低くなるとする一連の既存研究の結果とも整合的である.

また，感情極性スコアの回帰係数は，プレゼンテーションセクションも質疑応答セクションも共に有意水準 $5 \%$ では棄却されなかった。このことから，他の独立変数を条件付け決算の内容を踏まえたとき，決算説明会において論調を変えることは，資本コストの高低には影響しないことが示唆される。

## 4 まとめ

本研究では，情報の非対称性という観点から IR 活動の一種である決算の内容を踏まえた決算説明会のテキスト特徴，さらには資本コストの関係を分析した. 結果として，質疑応答の長い説明会を開催する企業は，資本コストも低い傾向にあることを明らかにした.この結果は，決算説明会の質疑応答ひいては投資家からの要請で情報を開示することが，情報の非対称性を緩和する質の良い IR の要素になっていることを示唆する.

本研究の限界として, 決算説明会の書き起こしを入手できた企業の数が現在ではごく一部に限られ，上場企業全体から見た場合にはバイアスがあることが挙げられる. また時点も直近の数年に限定されている. 企業数及び時点のサンプル数を拡大したときに同様の事象が観測されるとは限らない. 今後, サンプル数の拡充と継続した分析が必要になると考える.

さらに，本研究では資本コストとテキストの表面的な特徴との関連を分析するに留まったが，より内容に踏み込むアプローチとして，質疑応答で言及されているトピックを分類し分析することなどが考えられる。また，先行研究を踏まえた場合，ボラテリティやリターンなどとの関連分析も興味深い示唆につながると考える. 今後の研究課題としたい.

## 参考文献

[1] Jeremy Bertomeu and Robert P Magee. Mandatory disclosure and asymmetry in financial reporting. Journal of Accounting and Economics, Vol. 59, No. 2-3, pp. 284-299, 2015.

[2] Douglas W Diamond. Optimal release of information by firms. The journal of finance, Vol. 40, No. 4, pp. 10711094, 1985.

[3] Douglas W Diamond and Robert E Verrecchia. Disclosure, liquidity, and the cost of capital. The journal of Finance, Vol. 46, No. 4, pp. 1325-1359, 1991.

[4] Christine A Botosan. Disclosure level and the cost of equity capital. Accounting review, pp. 323-349, 1997.
[5] Christine A Botosan and Marlene A Plumlee. A reexamination of disclosure level and the expected cost of equity capital. Journal of accounting research, Vol. 40, No. 1, pp. 21-40, 2002.

[6] 内野里美. 自発的な情報開示が自己資本コストに与える影響. 現代ディスクロージャー研究, Vol. 6, pp. $15-25,2005$.

[7] Stephen Brown, Stephen A Hillegeist, and Kin Lo. Conference calls and information asymmetry. Journal of Accounting and Economics, Vol. 37, No. 3, pp. 343-366, 2004.

[8] Michael D Kimbrough. The effect of conference calls on analyst and market underreaction to earnings announcements. The Accounting Review, Vol. 80, No. 1, pp. 189-219, 2005.

[9] 張潚月, 金奕群. 決算説明会における質疑応答内容の開示と情報の非対称性との関係. 証券アナリストジャーナル, Vol. 59, No. 8, pp. 86-98, 2021.

[10] 真鍋友則, 黒木裕鷹, 指田晋吾, 中川慧. 決算説明会に関する情報開示の効果検証. 人工知能学会第二種研究会資料, Vol. 2022, No. FIN-029, pp. 18-22, 2022.

[11] S McKay Price, James S Doran, David R Peterson, and Barbara A Bliss. Earnings conference calls and stock returns: The incremental informativeness of textual tone. Journal of Banking \& Finance, Vol. 36, No. 4, pp. 9921011, 2012.

[12] 橋本英樹. 国内企業の決算説明会の感情分析. 第 55 回 2021 年度夏季ジャフィー大会, 2021.

[13] 黒木裕鷹, 真鍋友則, 指田晋吾, 中川慧. 決算説明会テキストデータの感情極性と株式リターンの分析.人工知能学会第 29 回金融情報学研究会, pp. 47-53, 2022.

[14] Feng Li. Annual report readability, current earnings, and earnings persistence. Journal of Accounting and economics, Vol. 45, No. 2-3, pp. 221-247, 2008.

[15] Brian P Miller. The effects of reporting complexity on small and large investor trading. The Accounting Review, Vol. 85, No. 6, pp. 2107-2143, 2010.

[16] Tim Loughran and Bill McDonald. Measuring readability in financial disclosures. the Journal of Finance, Vol. 69, No. 4, pp. 1643-1671, 2014.

[17] Eugene F Fama and Kenneth R French. The cross-section of expected stock returns. the Journal of Finance, Vol. 47, No. 2, pp. 427-465, 1992.

[18] 太田浩司, 斉藤哲朗, 吉野貴晶, 川井文哉. Capm, fama-french 3 ファクターモデル, carhart 4 ファクター モデルによる資本コストの推定方法について. 関西大学商学論集, Vol. 57, No. 2, pp. 1-24, 2012.

[19] Tomoki Ito, Hiroki Sakaji, Kota Tsubouchi, Kiyoshi Izumi, and Tatsuo Yamashita. Text-visualizing neural network model: understanding online financial textual data. In Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 247-259. Springer, 2018.

[20] Sabino P Kothari, Xu Li, and James E Short. The effect of disclosures by management, analysts, and business press on cost of capital, return volatility, and analyst forecasts: A study using content analysis. The Accounting Review, Vol. 84, No. 5, pp. 1639-1670, 2009.


# トピックモデルによる市場変動要因の抽出

川原一修 1
${ }^{1}$ Japan Digital Design
\{takanobu.kawahara\}@japan-d2.com

## 概要

本稿では日々大量に生じる金融ニュースから市場の変動に影響を与えたトピックをトピックモデルを使用して効率的に抽出する手法を考察した。先行研究と比べてトピックの抽出に文章のコンテキストまで用いる点に新規性があり、比較実験でコンテキストを使用する手法の優位性を示したあと、実際に市場変動に影響を与えたトピックを抽出し人間の目で見ても違和感のないことを確かめた。

## 1 はじめに

金融アナリストが市場分析を行う際に、過去にあった、類似した環境での市場動向について調査し将来を予想する上での参考とすることが多々ある。 しかし、金融市場は様々な要素で変動し、市場の値動きだけから過去の相場がどのような要素によってドライブされていたのか特定することは難しく、金融アナリストは過去の金融ニュースなど多量の文献調査に時間をさくケースがままある。そこで本稿では、市場関連ニュースのヘッドラインを使用してどのようなニュースが市場の動向に影響を与えていたのか検出する手法について考察した。日々大量に流れてくるニュースをトピックモデルによって大別し、その後シンプルな回帰モデルで市場変動に影響を与えていたトピックを効率的に検出する手法を提案する。時々の市場をドライブしていたトピックを明らかにすることで、金融アナリストの文献調查の補助情報として利用することを考えた。

## 2 先行研究

## 2.1 トピックモデル

文章の集合から、これらの文章の生成過程に潜んでいる潜在トピックを抽出しようとする研究はトピックモデルとしてこれまで盛んに研究されてきた。とりわけ、Latent Dirichlet Allocation(LDA)[1] や
Non-Negative Matrix Factorization(NMF) [2] は実務でも広く利用されるようになった。これらの手法は大量の文章の中からトピックを効率的に抽出する上で有用な手法ではあるが、文章中に各単語が何回登場したかを数え上げて作成した行列 (Bag of Words, BoW) をべースとした手法であるため、単語同士のつながりが形成する文章のコンテキストを必ずしも活用しきれないことが欠点としてあげられる。

これに対して、特に Bidirectional Encoder Representation from Transformers(BERT) [3] の登場以来、文章の分散表現を使用してトピックの抽出に文章のコンテキストまで活用しようとする研究が行われている。節 3.1 で解説する BERTopic[3] の他にも、Sentence-BERT [4] による分散表現と BoW を同時に活用し、Valuational Auto Encoder を用いて潜在トピックを抽出する Combined Topic Model(CTM)[5] や,Doc2Vec [6] によって事前学習された分散表現からクラスターを探知することでトピックを抽出する Top2Vec[7] などでは、従来手法である LDA などと比べてトランスフォーマーベースの手法のパフォー マンスが優位だったとの報告がなされている。

## 2.2 トピックモデルを使用したマーケット 変動要因の抽出

マーケットの変動を説明するトピックを抽出する研究としては [8] が挙げられる。[8] では、S\&P500 指数の構成銘柄の価格リターンやボラティリティを説明するトピックを抽出する手法が研究された。手法としては複数の LDA のアンサンブルによるトピック抽出と相対的なトピックウェイトによるター ゲット変数の回帰であり、アンサンブルの手法に様々な工夫が凝らされている。トピックのセンチメントを株価の将来変動の予想に活用した研究としては [9] や [10] があるが、これらの研究と異なり [8] では、将来の市場変動を予測することを研究のモチベーションにしているのではなく、変動の要因となっているトピックを検出することをモチベー ションにしている点が本稿に近しい。[8]、本稿とも

に市場変動とテキスト情報で同時点のデータを使用して分析を進めていることをここで強調する。本稿との違いについては [8] では LDA ベースの手法を用いており、文章のコンテキストまで取り入れて分析を行うことの効果の検証は本稿で新規の観点だと考える。

## 3 理論

## 3.1 BERTopic

本節では BERTopic[11] について概観する。 BERTopic ではLDA などの従来手法と異なり、文章の生成に特別なモデルを想定しない。BERTopic のトピック抽出方法は要約すると以下の流れになる。

1. Sentence-BERT[4] による分散表現の抽出

2. UMAP[12] による次元削減

3. HDBSCAN[13] によるクラスタリングとトピックの抽出

4. c-TF-IDFによるトピックの代表単語の抽出

c-TF-IDF は通常ドキュメント単位で計算される TF-IDFをクラスター単位に拡張した手法であり、各単語 $t$ のクラスター $c$ 内でのウェイト $W$ は以下の様に計算される

$
W_{t, c}=t f_{t, c} \cdot \log \left(1+\frac{A}{t f_{t}}\right)
$

右辺第一項はクラスター内での単語の出現頻度 $t f$ であり、通常の TF-IDFで inverse document freaquancy に相当する第 2 項は全クラスターの平均単語数 $A$ を各々のクラスターに単語 $t$ が登場する頻度で除した值となっている。このウェイトが高い単語ほどクラスター内での重要度が高い単語と解釈される。

## 3.2 トピックの評価指標

本稿ではトピックモデルの精度評価に Topic Coherence(TC) と Topic Diversity(TD) の 2 つの指標を採用した。TC の計算方法にはいくつかのバリエーションがあるが、本稿では normalized pointwise mutual information(NPMI) [14] 利用した。具体的には 2 つの単語 $w_{i}, w_{j}$ の NPMI は以下の式で計算される。

$
\begin{gathered}
\operatorname{NPMI}\left(w_{i}, w_{j}\right)=\left(\ln \frac{p\left(w_{i}, w_{j}\right)}{p\left(w_{i}\right) p\left(w_{j}\right)}\right) /-\ln p\left(w_{i}, w_{j}\right) \\
T C_{t}=\frac{2}{k(k-1)} \sum_{i=1}^{k-1} \sum_{j=i}^{k} N P M I\left(w_{i}, w_{j}\right)
\end{gathered}
$

式1の $p($.$) はコーパスの中での単語の出現確率で、$単語ペアが同時に出現する確率が高いほど NPMI の値は大きくなり、 -1 から 1 の間の値を取る。 $T C_{t}$ はトピック $t$ で上位 $k$ 単語の NPMI の平均値であり、 $\mathrm{TC}$ は全てのトピックについて $T C_{t}$ の平均をとって計算される。使用する単語数 $\mathrm{k}$ はハイパーパラメー タであり本稿では 10 を用いた。TC は人間の評価したトピックの精度との相関が高いとの研究 [15] があることから広く利用されるようになった。TDは各トピックにユニークな単語の割合で、 0 から 1 の値をとる。広範なトピックを探知できていれば值は 1 に近づき、トピックの重複が多ければ值は 0 に近づ $<[16]$ 。

## 4 データ

金融ヘッドラインデータ本稿では Bloomberg 社のイベントドリブンフィードサービスから Textile News のヘッドラインを取得して利用する。本デー タセットにはニュースを識別する ID、ニュースがフィードされた時刻、言語、ヘッドラインなどの情報が提供されている。ニュースのへッドラインのみを分析の対象とし本文は使用しない、また言語が英語のヘッドラインのみ使用する。ニュースによっては事後的にアップデートされるものがあり、同じ ID を持つニュースの中でフィード時刻が最新のレコー ドのみを使用してニュースの重複を回避した。使用したデータの期間と件数は以下の通りである。

1. トピックモデルの比較
- 期間: 2022 年 12 月 $5-7$ 日、13、14 日
- 件数: 27,937

2. マーケット変動要因の抽出
- 期間：2018年 1 月 1 日 2022年 6 月 30 日
- 件数 : 7,232,088

本稿では以後このデータセットを金融へッドラインデータと呼ぶことにする。

市場データ代表的な市場指数として S\&P500 指数を利用する。日次で終值を Bloomberg から取得して利用する。

## 5 実験手法

本稿では 2 つ実験を行った。1つ目の実験は金融ヘッドラインニュースに有効なトピックモデルの探索を行うための比較実験であり、複数のトピックモデルをデータに当てはめて得られたトピックの品質を比較する。2つ目の実験はトピックモデルに

よって得られたトピックのセンチメントが市場変動に対して説明力があるのか検証した上で、実際に検出されたトピックを例示する。

## 5.1 トピックモデルの比較

本節では複数のトピックモデルについて金融へッドラインデータでの性能を比較する。比較したモデルは LDA,NMF,CTM,Top2Vec,BERTopicFinBERT,BERTopic の 6 種類である。BERTopicFinBERT については BERTopic のプロセスのうち 1 番の分散表現の抽出に、FinBERT [17] の [cls] トークンの出力に相当するべクトルを利用した。6 種類の手法の中で、CTM,Top2Vec, 2 種の BERTopic が文章の分散表現を利用した比較的新規の手法である。クラスタリングの品質はトピック毎に抽出した代表単語の TC と TD で計測した。すべてのモデルでトピック数をハイパーパラメータとして与えることができる。本実験では $10,20,30,40,50$ と 5 種類のトピック数について乱数シードを変えながら 3 回実験を繰り返し、全 15 回の試行の精度指標の平均を報告している。

## 5.2 市場変動の回帰モデル

前出の BERTopic を使用して抽出したトピックが市場の変動に対して説明力があるか、シンプルな回帰モデルを構築して検証する。

$
\begin{aligned}
r_{t, t-1} & =\beta_{1} r_{t-1, t-2}+\beta_{2} r_{t-1, t-6}+\beta_{3} r_{t-1, t-11} \\
& +\sum_{i=1}^{K} \beta_{i+3} \text { sentiment }_{i, t}
\end{aligned}
$

$r_{t, t-i}$ は $t-i$ 時点の引け值から $t$ 時点の引け值までの価格リターンであり、最初の 3 項は前日までの 1 日、 5 日、10 日リターンを説明変数として使用しており、 sentiment $t_{i, t}$ はトピック $i$ の $t$ 時点でのセンチメントである。使用するトピック数 $K$ を 0 とした場合と 0 より大きな数としたときにモデルの説明力に違いがあるかを検証する。回帰は Lasso 回帰として行い、制約項の係数はハイパーパラメータとして 5fold のクロスバリデーションにより決定する。精度指標としては $R^{2}$ 値、平均絶対誤差、平均 2 乗誤差を測定する。モデルはデータを3 个月毎に区分し、 それぞれの期間でトピックの抽出と、回帰モデルの推定を行う。ヘッドラインの取得時間が UTC21 時以降の場合には翌日のニュースとして取り扱う、本表 1 モデル毎のトピックの品質

稿では市場指数として S\&P500 指数を使用しており、米国での取引が活発となる時間を意識して時間を区分した。へッドラインのセンチメントの計測には FinBERT を利用する。FinBERT では入力文章の極性が positive,neutral,negative の 3 クラスに判定される共に、クラスに属する可能性をスコアとして出力する。得られたセンチメントが positive の場合にはスコアをセンチメントスコアとして利用し、neutral の場合には 0 、negative の場合にはスコアに-1を乗じてへッドラインのセンチメントスコアとした。各トピック $i$ の日次センチメントスコアは、時点 $t$ で得られたへッドラインのうち、当該トピックに属するへッドラインのセンチメントスコアの平均として計算する。

## 6 実験結果

## 6.1 トピックモデルの比較

各モデルにより抽出されたトピックの精度指標を表 1 にまとめた。TC については BERTopic の精度が最も良好で次いで BERTopic-FinBERT が良好であった。LDA や NMF の様な BoWをべースとした手法と比較してトピックの精度が高くなっているのは [11] の報告と傾向が一致しており、文章のコンテキストを活用することが得られたトピックの精度に有利に働く可能性があるという点は金融へッドラインデータに関しても同様であった。TCでみた精度が最も低いのは Top2Vec であり、複雑な潜在べクトルの分布に対して、クラスターのセントロイドを使用したトピックの抽出が [11] の指摘通り有効に機能していない可能性がある。最後に BERTopic-FinBERT と BERTopic の比較では、直観的には金融コーパスでのファインチューニングが行われた FinBERT と使用することで精度が向上することが期待されたが、結果としては Sentence-BERT を使用したモデルの精度が比較的良好だった。文全体の分散表現を獲
表 2 回帰モデルの精度指標

表 3 各トピックの回帰係数と代表単語

得するように訓練した Sentence-BERT を利用することがへッドラインのクラスター作成には有利だった可能性があり、金融コーパスで文章全体の分散表現を獲得するように事前学習したモデルを使用することでさらなる精度の向上を望めることから今後の課題として記載する。

## 6.2 マーケット変動要因の抽出

## 6.2.1 精度指標

金融ヘッドラインデータを用いて、式 2 のモデルを推定し、モデルの精度指標を表 2 にまとめた。使用するトピック数は $K$ を $0,50,100$ と 3 種類実験している。表中の数字は、データ期間を 3 ヶ月毎の区分に分けた 18 セットでそれぞれモデルを推定した結果の平均値である。 $\mathrm{K}$ を 0 として、過去の価格変動だけで市場変動をモデリングしたケースではマー ケット変動に対する説明力はほどんどなく $R^{2}$ 值も 0 に近い值になっている、使用するトピックの数を増やすと $R^{2}$ の値は大きくなり、2つの誤差指標も $K=0$ の場合と比べて低下している。トピックのセンチメントがマーケットの変動の少なくとも一部を説明していると考えられる。

## 6.2.2 抽出されたトピック

次に、実際に推定されたモデルと抽出された単語の具体例を示す。表 3 に 2022 年 4 月 1 日から 6 月 30 日のデータを使用したモデルについて一部のトピックセンチメントに対する回帰係数と各トピックの代表単語の上位 10 単語を示す。

推定されたモデルでは 24 個の説明変数の係数が 0 と異なった、うち値が正であったものは 7 個も含め、全てがトピックセンチメントであった。表 3では紙面に収めるために 4 つのトピックのみについて記載する。1 番目のトピックは SP500 や NASDAQ などの単語が並び主に米国の株式市場に関するニュースと思われる。当日の金融市場の動向をタイムリーにニュースとして配信するベンダーが存在し、これらのニュースがトピックとして抽出されている。市場動向ニュースを事後的に抽出することに実務的な意味があるのかは議論の余地があるが、 その他のトピックにも特徵的な単語が並ぶ。 3 番目のトピックでは”ukraine"、"russia”などの単語が並びロシアのウクライナ侵攻の情勢に金融市場が敏感になっていたことが示される。4 番目のトピックには”ecb","treasuries","curve"、などの金利市場に関わる単語が並び、各国中央銀行の動向や金利市場のニュースが株式市場にも影響を与えていた可能性が示唆される。

## 7 結論

本稿では金融アナリストが過去の市場変動の要因となった事象を調べる際に、ニューステキストとトピックモデルを使用して効率的に市場変動の要因となったトピックを抽出する手法を提案し実証実験を行った。実験は 2 段階に分けて行われ、 1 つ目の比較実験では金融ニューステキストに複数のトピックモデルを適用し、トランスフォーマーベースの手法が LDA などの従来手法と比べてトピック抽出のパフォーマンスが優位であることを明らかにした。2 つ目の実験では BERTopic を使用して実際にトピックを抽出し、回帰分析を通じて市場の変動を説明するトピックが検出できるか検証した。トピックを説明変数として使用したモデルはそうでないモデルと比べて $R^{2}$ などでみて精度が向上しており、市場の変動を説明するトピックが検出できていると考える。実際に検出されたトピックも人間の直観にあう内容となっており本稿で提案した手法に一定の有用性があると考える。

## 参考文献

[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. J. Mach. Learn. Res., Vol. 3, No. null, pp. 993-1022, mar 2003.

[2] Cédric Févotte and Jérôme Idier. Algorithms for nonnegative matrix factorization with the $\beta$-divergence. Neural Computation, Vol. 23, No. 9, pp. 2421-2456, 2011.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks, 2019.

[5] Federico Bianchi, Silvia Terragni, and Dirk Hovy. Pretraining is a hot topic: Contextualized document embeddings improve topic coherence. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 759-766, Online, August 2021. Association for Computational Linguistics.

[6] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Eric P. Xing and Tony Jebara, editors, Proceedings of the 31st International Conference on Machine Learning, Vol. 32 of Proceedings of Machine Learning Research, pp. 1188-1196, Bejing, China, 22-24 Jun 2014. PMLR.

[7] Dimo Angelov. Top2vec: Distributed representations of topics. CoRR, Vol. abs/2008.09470, , 2020.

[8] Paul Glasserman, Kriste Krstovski, Paul Laliberte, and Harry Mamaysky. Choosing news topics to explain stock market returns. In Proceedings of the First ACM International Conference on Al in Finance, ICAIF '20, New York, NY, USA, 2021. Association for Computing Machinery.

[9] Thien Hai Nguyen and Kiyoaki Shirai. Topic modeling based sentiment analysis on social media for stock market prediction. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1354-1364, Beijing, China, July 2015. Association for Computational Linguistics.

[10] Jaydeep Soni Ivalio Dimov. Trading esg news using topic codes factors, 2021.

[11] Maarten Grootendorst. Bertopic: Neural topic modeling with a class-based tf-idf procedure. 2022.

[12] Leland McInnes, John Healy, and James Melville. Umap: Uniform manifold approximation and projection for dimension reduction, 2018.

[13] Leland McInnes and John Healy. Accelerated hierarchi- cal density based clustering. In 2017 IEEE International Conference on Data Mining Workshops (ICDMW). IEEE, nov 2017.

[14] Gerlof Bouma. Normalized (pointwise) mutual information in collocation extraction. Proceedings of GSCL, Vol. 30, pp. 31-40, 2009.

[15] Jey Han Lau, David Newman, and Timothy Baldwin. Machine reading tea leaves: Automatically evaluating topic coherence and topic model quality. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 530539, Gothenburg, Sweden, April 2014. Association for Computational Linguistics.

[16] Adji B. Dieng, Francisco J. R. Ruiz, and David M. Blei. Topic modeling in embedding spaces. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 439-453, 2020.

[17] Dogu Araci. Finbert: Financial sentiment analysis with pre-trained language models, 2019.


# 株主提案の要領におけるトピック別の文書特徵量と賛成率

久多里桐子
北九州市立大学経済学部
kirikokudari@kitakyu-u.ac.jp

## 概要

本研究は、株主提案の要領に関する基礎研究を行うことを目的とする。株主提案の要領である 3 つのテキスト (提案内容、提案理由、取締役会の意見)を独立した文書とみなし、各文書をトピックモデル (LDA)を用いて分類した上で、各トピックにおける文書の特徴量 (文字数および文字数に占める数字の割合) と賛成率の関係を分析した。2011 年〜2019 年の定時株主総会における株主提案議案 1,350 件を対象に分析を行った結果、提案内容や提案理由のトピックによって、得られる賛成率が異なることを確認した。本研究の分析結果は、他の株主が株主提案の要領に基ついいて議決権を行使していることを示唆する。

## 1 研究の目的と意義

本研究は株主提案の要領に関する基礎研究を行うことを目的とする。2021 年 3 月に施行された改正会社法では、株主が提出しようとする議案の数は 10 件までに制限された。一方で、株主提案の内容に制限を設けることは見送られた。しかしながら、2019 年に公表された要綱案の段階では、内容に関する制限も含まれていた。

具体的には、提案が「専ら人の名誉を侵害し、人を侮辱し、若しくは困惑させ、又は自己若しくは第三者の不正な利益を図る」ことを目的としていた場合や、「株主総会の適切な運営が著しく妨げられ、株主の共同の利益が害されるおそれがあると認められる場合」には、株主提案権の行使を制限することが予定されていた ([1]) 1 。

その後、国会における法案審議において上記内容が削除された理由は、「権利の濫用に該当する株主提案権の類型についてさらに精緻に分析を深めなが

1）株主提案権には議題提案権 (会社法第 303 条)、議案提出権 (同法第 304 条)、議案要領通知請求権 (同法第 305 条第 1 項) が含まれる。目的等による議案の提案に対する制限は、議案提出権および議案要領通知請求権を対象としている。
ら、引き続き検討していくべき」([2], p. 5)であるからだ。つまり、2021 年の改正会社法において、株主提案の内容に関する制限が見送られたことは、関連する知見が少ないことに起因する。そこで本研究は、株主提案権に関する今後の検討材料に資するという意義の下、株主提案権の内容に焦点を当てた分析を行う。

つづく第 2 節では、米国および日本の株主提案権について、提案内容および記述に関する制度上の規定について参照し、関連する先行研究を紹介する。第 3 節では、分析手法とサンプルについて述べる。第 4 節では分類したトピックの概要を確認し、第 5 節で主たる発見事項を提示する。最後に、第 6 節で本研究の要約を述べる。

## 2 制度の概要と先行研究

## 2.1 制度の概要

米国の株主提案権は制限が強い。例えば、提案内容が取締役の選任に関するものであったり、具体的な配当金額に関するものであったりした場合、企業側は提案を排除できる ${ }^{2)}$ 。また、記述量も補足説明を含めて 500 語以内に限られる。

一方で、日本では株主が提案できる内容は多様であり、記述量に関する法的な制限もない。一般的には、株主が記述した提案内容や提案理由の原文に加えて、議案に対する取締役 (取締役会設置会社の場合は取締役会) の意見 (以下、取締役会の意見) が、株主総会招集通知内の株主総会参考書類に記載される $^{3)}$ 。
2) 17 C.F.R. $\S 240.14 a-8(2003)$

3）ただし、提案の理由が明らかに虚偽である場合または専ら人の名誉を侵害し、若しくは侮辱する目的によるものと認められる場合は提案理由を削除されることもある。また、企業側が株主提案を拒否できる事由として明文化されているものは、法令もしくは定款に違反する場合や、実質的に同一の議案につき総株主の議決権の 10 の 1 以上の賛成を得られなかった日から 3 年を経過していない場合が該当する (会社法第 304 条ただし書き、第 305 条第 4 項)。

## 2.2 先行研究

本研究に関連した分析として、以下 3 つの研究を挙げる。[3] は、EDGAR から取得した 2004 年から 2013 年の期間に提出された Form 8-K のうち、所定の要件を満たす 73,986 件を 20 のトピックに分類し、分類したトピックによって投資家の反応が異なることを確認している4)。

[5] では、2003 年から 2012 年までの新聞記事 77,814 件を 30 のトピックに分類し、日ごとのトピックの割合と市場リターン (TOPIX) との間の関係を分析している。分析を通じて、トピックの割合と市場リターンの間に相関は見られなかった一方で、一部のトピックの割合と市場ボラティリティの間に相関があることを発見した。

[6] では 2004 年から 2021 年までの所定の要件を満たす有価証券報告書 43,289 件をもとに、MD\&A (経営成績等の分析) の記述について分析を行い、近年のディスクロージャー制度改革が MD\&A の開示に影響を及ぼしていることを報告している。

## 3 分析手法とサンプル

## 3.1 分析の概要

分析の概要は以下の通りである。はじめに、株主提案の要領である 3 つのテキスト (提案内容、提案理由、取締役会の意見) を独立した文書とみなし、各文書の特徴量を取得する。つづいて、各文書をトピックに分類する。本研究の主たる分析として、分類したトピックごとに、文書の特徴量と賛成率の関係を確認する。

本研究では、文書の特徴量として以下 2 つを採用した。第 1 に、文字数である。定款で文字数に制限を設けている企業に対して、当該定款の削除を求める提案が提出される事例が存在していることからも明らかなように、記述量は賛成率に影響を与えると考えられる。第 2 に、文字数に占める数字の割合である。特に剩余金の分配に関する提案など、特定の議案においては具体的な数字を用いた提案の方が説得力が高まると考えられる。

以下は実際の提案理由に基づく特徴量であるが、例 Aよりも例 B の方が賛成率は高いと予想する。

4）米国上場企業は、投資家の意思決定に影響を及ぼす可能性のある重要な事象 (決算発表、重要な契約の締結、倒産など) が生じた際、 4 営業日以内に Form 8-k (current report)を米国証券取引委員会 (SEC) に提出する必要がある ([4])。例 A:増配できる充分な利益がある。
- 文字数: 14 字

一文字数に占める数字の割合: $0 \%$

例 $\mathrm{B}$ :貴社は、平成 30 年 9 月末の連結貸借対照表にて現預金及び投資有価証券の合計額 350 億円を有し、(省略) 妥当なものであると考えます。
- 文字数: 278 字

一文字数に占める数字の割合: $6.47 \%$

議案からテキストを抽出する際の留意事項を下記に示す。提案内容が取締役等の役員選任議案の場合、当該候補者の経歴等は提案内容に含めない。また、会社注も含めない。さらに、提案内容と提案理由が明確に区別されていなかった場合、提案理由の記述はないものとみなしている5)。

取締役会の意見が複数の議案に対する集約的なものであった場合、各議案に同じ記述がなされたものとして扱った。ただし、個別の議案に対する意見に加えて、別立てで議案全体に対する取締役会の意見が付されていた場合は、個別の議案に対する意見のみを取締役会の意見として収集している。

## 3.2 前処理と形態素解析

トピックモデルの構築にあたり、下記の通りに前処理および形態素解析を行った。表記の統一を目的として、全角コロン「,」を読点「、」に、全角ドット「.」を句点「。」に変換した上で、全角の英数字と記号 (括弧や\%など) を半角に変換した。数値に関しては桁数区切りのコンマを除いた上で、 0 に置き換えた。そのため、例えば「 100 万円」は「0万円」 $「 10,000$ 人」は「0人」に置き換わっている。形態素解析にあたっては解析器に MeCab ([7]) を、辞書に mecab-ipadic-neologd ([8]) を利用した。品詞は名詞、形容詞、動詞を採用し、ストップワードとして SlothLib ([9]) に頻度の高い単語を追加した ${ }^{6)}$ 。

## 3.3 LDA モデルの構築

トピックの分類においては、潜在的ディリクレ配分法 (Latent Dirichlet Allocation; LDA ([10])) によるトピックモデルを採用した。LDA モデルの構築において、辞書は出現文書数が 13 件 (サンプルの $1 \%$ ) 以下の単語および $20 \%$ 以上の文書に出現する単語は

5）提案内容と混在している場合、可能であれば文章を分割した。

6）具体的には、平成、昭和、令和、当社、貴社、会社、株主、提案、議案をストップワードとして採用している。また、ひらがな 1、2 文字の単語も除外した。
表 1 提案内容の各トピックにおける代表的な単語

除いた7)。コーパスの作成においては、TF-IDF による重み付けは実施しない。

トピック数に関して、提案内容は 6 、提案理由は 6 (ただし、テキストが取得できなかった議案のみの Topic 7 を設定)、取締役会の意見は 5 に設定した ${ }^{8)}$ 。

## 3.4 サンプルとデータの取得源

分析対象は 2011 年〜2019 年の定時株主総会において提出された株主提案議案 1,388 件である。ただし、賛成率を含めた分析においては、付議の要件を満たさなかったなどの理由で決議されなかった議案を除くため、 1,350 件に減少する。

データの取得源は、以下のとおりである。株主提案の要領に関しては、eol (株式会社アイ・エヌ情報センター) から取得した株主総会招集通知の PDF から手作業でテキストを収集した。賛成率については日経 NEEDS-Cges 株主総会関連データ (日経メディアマーケティング株式会社) から取得している。

## 4 トピックの概要

表 1 および表 2 は、提案内容および提案理由の各トピックについて、頻出上位 5 単語から任意に選定した代表的な単語を示している9)。また、図 1 は提案内容と提案理由のトピックごとの該当件数を示している。図 1 において最も件数が多いのは、提案内容 Topic 6 と提案理由 Topic 5 のセルである。表 $1 \cdot 2$ の単語をもとに解釈するならば、(現金などの)「保有」を理由とする「配当」提案が、比較的多く提出されていると考えられる。

7）例えば「取締役会の意見」のテキストをもとに作成した辞書からは、「反対」「取締役会」などの定型的な単語が除かれる。

8）トピック数を 2〜30 の範囲でシミュレーションを行い、 Coherence[11] および Perplexity の值をもとに決定した。また、コーパスを TF-IDFによる重み付けを実施した場合と実施しなかった場合の両方でシミュレーションを行った結果、重み付けを実施した場合の方が Perplexity が著しく高い值であった。そのため、コーパスの作成においては、TF-IDF による重み付けは実施しないこととした。

9）取締役会の意見の分類は、実質的に提案内容に基づく分類となっている。そのため、取締役会の意見については記載を割愛する。表 2 提案理由の各トピックにおける代表的な単語

(注)Topic 7 は提案理由として明確な記述がなかったものを分類している。

図 1 提案内容トピックと提案理由トピックの対応関係

## 5 分析結果

はじめに、株主提案議案をトピックに分類する前の、文字数ないし文字数に占める数字の割合と賛成率の関係について確認する。図 2 はサンプルの 1,350 議案について、文字数と賛成率の散布図と、被説明変数を賛成率、説明変数を文字数の自然対数とした回帰直線を、文書別に示している10)。

図 2 が示すように、取締役会の意見については、記述量と賛成率の間にはプラスの関係がある (回帰係数は 2.098)。つまり、賛成率が高いと予想される場合に、取締役会の意見の記述量が増える可能性があると考えられる。

一方で、提案内容および提案理由については、記述量が増えると賛成率は低くなる傾向が見られる (回帰係数はそれぞれ-1.064と-1.749)。他の株主にとっては、記述量が増えるほど提案内容等を吟味するためのコストが高くなるため、賛成票を投じる可能性が低くなるのかもしれない。

類似した傾向は、図 3 でも確認できる。図 3 は 1,350 議案について、文字数に占める数字の割合と賛成率の散布図と、被説明変数を賛成率、説明変数を文字数に占める数字の割合とした回帰直線を、文

10）外れ值を除くため、文字数が 0 字以上 4,000 字未満である文書に限定した。

図 2 文書別の文字数と賛成率

図 3 文書別の文字数に占める数字の割合と賛成率

書別に示している11)。回帰係数はそれぞれ、提案内容が 6.566、提案理由は-4.106、取締役会の意見が 62.700 である。

上記の発見事項は、議案を分類していない場合の株主提案に関する全体的な傾向である。表 3 と表 4 では、提案内容を 6 つのトピックに分類した場合の文書の特徴量と賛成率の関係を確認できる。具体的には、表 3 は被説明変数を賛成率、説明変数を文字数の自然対数とした単回帰の係数を示している。また、表 4 は被説明変数を賛成率、説明変数を文字数に占める数字の割合とした単回帰の係数を提示している。

表 3・4から、トピックによって文書の特徴量と賛成率の関係は異なることがわかる。注目すべきは、表 4 において、特に Topic 6 の提案理由で記述に占める数字の割合が高いほど賛成率が高いという点である。Topic 6 の代表的な単語が「配当」であることに鑑みると、提案理由として会計数値等を用いた方が、高い賛成率を得られると考えられる。

最後に、図 4 において、提案内容と提案理由のトピックごとの、賛成率の中央值を示す。まず、提案理由の Topic 7 で高い賛成率が確認できる。これは、表 3 提案内容トピック別の各文書と文字数の関係

表 4 提案内容トピック別の各文書と文字数に占める数字の割合の関係

支配株主が可決を見越して十分な説明なしに提案を行っていることを示している。

つづいて、提案内容 Topic 5 と提案理由 Topic 4 のセルや、提案内容 Topic 1 と提案理由 Topic 1 のセルで高い賛成率 (17.1\% と $15 \%$ ) を確認することができる。つまり、「利益」を理由とした「報酬」提案などが高い賛成率を得ている。分析結果は、提案内容や提案理由のトピックによって、得られる賛成率が異なることを示している。

図 4 提案内容と提案理由のトピック別賛成率 (中央値)

## 6 本研究の結論

本研究では、株主提案の要領に関する基礎研究を行った。分析の結果、提案内容や提案理由のトピックによって、得られる賛成率が異なることを確認した。本研究で得られた結果は、株主提案の要領が他の株主の議決権行使に影響を及ぼしている可能性を示唆する。

11）外れ値を除くため、文字数に占める数字の割合が $20 \%$ 未満である文書に限定した。

## 謝辞

本報告は JSPS 科研費 JP20K13642 の助成を受けた研究成果の一部である。また、本報告は日本経済会計学会第 3 回秋季大会 (2022 年 12 月 17 日開催) の自由論題報告「自然言語処理を用いた株主提案の要領に関する分析」に一部修正を施したものである。

## 参考文献

[1] 法務省. 会社法制（企業統治等関係）の見直しに関する要綱案, 2019. 法制審議会会社法制 (企業統治等関係) 部会第 19 回会議 (2019年 1 月 16 日開催) http://www.moj.go.jp/content/001279742.pdf.

[2] 竹林俊憲, 邊英基, 坂本佳隆, 藺牟田泰隆, 青野雅朗,若林功晃. 令和元年改正会社法の解説-ii-. 旬刊商事法務, Vol. 2223, pp. 4-10.

[3] Stefan Feuerriegel and Nicolas Pröllochs. Investor reaction to financial disclosures across topics: An application of latent dirichlet allocation. Decision Sciences, Vol. 52, No. 3, pp. 608-628, 2021.

[4] U.S. Securities and Exchange Commission. How to read an 8-k, 2021. https://www.sec.gov/oiea/ investor-alerts-and-bulletins/how-read-an8-k.

[5] 竹澤譲, 伊藤真利子, 大西立顕. Lda で求めた新聞記事のトピック割合と株価指数の関係性. 人工知能学会第二種研究会資料, Vol. 2021, No. FIN-026, pp. 1-8, 2021.

[6] 中野貴之, 五十嵐未来, 湯浅大地. Md\&a 情報における『トピック』の分析. 証券アナリストジャーナル， Vol. 60, No. 10, pp. 27-35, 2022.

[7] 工藤拓. Mecab: Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[8] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会 (NLP2017), pp. NLP2017-B6-1. 言語処理学会, 2017.

[9] Slothlib. http://svn.sourceforge.jp/svnroot/ slothlib/CSharp/Version1/SlothLib/NLP/Filter/ StopWord/word/Japanese. txt.

[10] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[11] David Mimno, Hanna Wallach, Edmund Talley, Miriam Leenders, and Andrew McCallum. Optimizing semantic coherence in topic models. In Proceedings of the 2011 conference on empirical methods in natural language processing, pp. 262-272, 2011.