# データ拡張手法を用いたスペイン語文法誤り訂正

飯島 与喜 ${ }^{1} \mathrm{Tad}$ Gonsalves ${ }^{1}$
${ }^{1}$ 上智大学 理工学研究科 理工学専攻 情報学領域
t-iijima-2n3@eagle.sophia. ac.jp t-gonsal@sophia. ac.jp

## 概要

スペイン語の文法誤り訂正では，人の手によって 訂正されたコーパスが限られ，英語と比較して使用 できるデータが少ない. データ不足の問題を解決す る方法としてデータ拡張手法がある。既存のデータ 拡張手法ではランダムにデータを生成するため，コ 一パスに収録されているスペイン語学習者から取得 したデータとは全く異なるものになる。そこで，本研究ではコーパスから誤りパターンを抽出し, デー 夕に反映させることで，コーパスに収録されている スペイン語学習者の誤りを再現するデータ拡張手法 を提案する。この手法によって訓練用のデータを生成し, 限られたデータで高性能なモデルを構築する.

## 1 はじめに

文法誤り訂正 (Grammatical Error Correction: GEC) はスペルや句読点, 文法的な誤りを検出して訂正す る自然言語処理のタスクである.このタスクでは誤 りを含む文（誤文）を GEC のモデルに入力し，その 誤文に含まれる誤りを訂正した文（正文）を出力す る. 本研究では，スペイン語の誤りを訂正する.

文法誤り訂正では, 主に誤文と正文をぺアとした 学習者のコーパスを教師データとしてモデルを学習 させる手法が用いられる．スペイン語の学習者コー パスには Lang8[1]と COWSL2H[2]があるが，これら のデータセットだけでは英語のコーパスと比較する とデータ数が少ない，そこで，本研究では文法誤り 訂正固有のデータ拡張手法である人工誤り生成手法 を用いて，より高性能なモデルを構築する. 人工誤 り生成手法は単一言語データから誤文を生成する。生成した誤文と単一言語データの正文を組にして事前学習を行う. 事前学習をした後にファインチュー ニングする手法が有効であると[3]で報告されてい る.

また，人工誤り生成手法で単一言語データに誤り
を注入する際に，ランダムに誤りを注入するよりも 学習者が犯した誤りに近いものを注入した方がより 高性能なモデルを構築できると考えられる。そこで 本研究では, 学習者コーパスから誤りパターンを抽出し，単一言語データに誤りを注入することで，ス ペイン語学習者の誤りを再現するデータ拡張手法を 提案する．学習者コーパスから抽出した誤りパター ンを単一言語データに注入して誤りを生成すること で，学習者コーパスに含まれる特定の品詞誤りや語形変化だけでなく様々な誤りを再現することができ る. 誤りを注入する際にコーパス内の分布に従って 誤りを生成することで，ランダムに誤り生成するよ りも学習者が書いたものに近い文を得ることができ る。また，誤りをコーパスから抽出する手法を用い ることで，誤りの規則を定義する手間を軽減するこ とが可能である.

第 3 章でデータ拡張手法の詳細を説明し, 第 4 章 の実験でその有効性を確認するための実験設定につ いて述べる. 第 5 章の結果では, 提案手法が既存研究[2]や[4]よりも高性能であった結果とデータ拡張手法の 1 文あたりの誤り率を変化させた場合のモデ ルの性能、誤りタグごとのモデル性能を検証した結果を示す。

## 2 関連研究

スペイン語文法誤り訂正の研究として Davidson ら[2]が行なったものがある.この研究では COWSL2H データセットを提案し, GEC モデルを学習させた結果を示している.スペイン語 GEC のベー スラインとして"Bi-directional LSTM encoder + LSTM decoder”のモデルを使用している. COWLS2H には，スペイン語の L2 学習者（第二言語としてス ペイン語を学ぶ者）が書いたエッセイとそれを人間 が訂正したものが含まれる。モデルの訓練に用いる 際には，エッセイを 1 文ごとに分割し，誤文と正文 のペアにしたものが用いられている. さらに， 1 文 ごとに分割しぺアにしたものを訓練用データ，検証
用データ,テストデータの 3 つに分割して使用する.

また, Flachs ら[4]が行なった研究もある. この研究では人工誤り生成手法を用いている. 誤りを生成 する際は[5]で提案された規則べースの生成手法を 用いて挿入, 交換, 置換, 削除の操作を行い, 誤り を生成する. 置換の操作には Aspell Dictionary と Unimorph[6], またはそれら両方を用いた場合のモデ ル性能を比較している。スペイン語においては， Aspell Dictionary のみを使用した場合が最も高精度 であった. さらに, ノイズの多いデータを活用方法 についても言及している. WikiEdit[7], Lang8[1]の 2 つのデータセットを用いた場合で検証し, 事前学習 の後これらのデータをファインチューニングしたモ デルが最も性能が良いという結果が示されている.

WikiEdit は 4,871,833 文, Lang8 は 1,214,781 文が使用されている.

## 3 手法

本研究では提案するデータ拡張手法は, コーパス の誤りの抽出とデータへの誤りの注入の 2 段階に分 かれている.

誤りの抽出には, 正文と誤文から訂正箇所と誤り タイプを取得できる ERRANT[8]というツールを用 いる. ERRANT は英語用に作られたツールであるが， [2]で述べられている通りスペイン語でも問題なく 使用できる. しかし, より正確に使用できるように するために以下の項目について訂正を行った.
- ADJ:FORM を ADJ:INFL に変更
- Determiner-noun agreement に対応する DET:INFL の追加
- NOUN:POS $の$ 削除

ERRANT で誤文の誤り部分 (単語または文の一部の 複数語) に 3 つの誤りタグ $\operatorname{Missing}(\mathrm{M})$, Unnecessary(U), Replacement(R)を付与し, 訂正箇所 とともに誤りパターンとして抽出する. この誤りパ ターンから MUR それぞれの操作対象となる単語 （または文の一部の複数語）をその出現確率ととも にノイズスキームへ格納した．各コーパスの MUR の割合は表 1 の通りである。

誤りの注入では, 抽出操作で獲得した誤りタグ MUR と注入操作 Delete, Add, Replace を対応させ たノイズスキームを用いる. Delete と Replace の操作は操作対象の文中の単語の中でノイズスキームに 格納された単語に対して行われる. Add の操作では ノイズスキームに格納された単語を確率に基づいて選出し, 任意の位置に挿入する.

表 1 各コーパスの MUR の割合

誤りの生成を行う際に 1 文あたりの誤り率と 1 文 あたりの拡張数を設定できる. 1 文あたりの操作回数は 1 文あたりの誤り率と文の長さの積で決定する.

図 1 誤りタグと操作の対応

誤りパターンの抽出と誤りの注入操作は図 1 の通り に行われる。

図 2 データ拡張手法の概略図

ERRANT を用いて抽出した誤りパターンから構築 したノイズスキームを用いて訓練用の誤文と正文の ペアを作成する過程を図 2 に示す.

## 4 実験

## 4. 1 実験内容

まず, 既存研究 [4]で使用されている Aspell Dictionary を用いた手法と既存研究[2]の結果を比較 した. 次に, 1 文あたりの誤り率を変化させた場合 にモデルの性能にどのような影響があるかを検証し，誤りタグごとのモデルの性能についても検証した.

## 4. 2 データセット

事前学習には WMT News Crawl から抽出した $10,000,000$ の正文を用いた. 抽出したデータを拡張 して誤文を生成し，誤文と正文を組にして訓練用デ 一タとし，事前学習を行った。

ファインチューニングには GEC タスク用の誤文 と正文が収録されている Lang8，COWSL2H を用い た. Lang8 にはスペイン語以外の言語が含まれるた め, スペイン語のみを抽出し, Training と Validation に分割した. 本研究では Lang8 で使用可能な部分を 用い，データ数はそれぞれ $189,190 ， 10,611$ とした. COWSL2H は訓練用データ，検証用データ，テスト データに分割した。それぞれデータ数は 10,071 , $1,000,1,000$ とした.

また，それぞれのデータについてデータクリーニ ングを行った。数字とスペイン語に使用される文字 と記号以外の文字を削除し半角に変換した，単語と 記号間を半角スペースで統一した。 さらに，URLな どの文字列を削除し, 連続記号をその記号 1 文字に 変換した。

## 4. 3 データ拡張の設定

各操作の割合は GEC コーパスの Lang8 と COWSL2H から抽出したノイズスキームの各誤りタ グの割合に従う. 1 文あたりの誤り率は[4]との比較 を行うため 0.15 に設定した. 誤りを生成する際の候補の単語はコーパス中で 3 回以上誤っているものを 使用した。

## 4.4 モデル

本研究では GEC を行う Encoder-Decoder モデルと して Transformer を用いた。具体的な設定として Vaswami ら[9]が定義した Transformer bigを使用した.実装は fairseq 0.12.2 で行った. また, 事前学習, フ アインチューニングで設定したハイパーパラメータ
は表 2 と表 3 の通りである. ファインチューニング 時には Early stopping を用いて検証損失が最も小さ いモデルをテストに用いた.

表 2 事前学習時のハイパーパラメータ

表 3 ファインチューニング時の

## 4. 5 評価方法

本研究では, Precision, Recall, F0.5を評価手法と して用いる. 既存研究[4] と [2]の結果と比較を行うた めに F0.5 を MaxMatch(M2) scorer[10]と ERRANT[8] の 2 通りの方法で算出した。

## 5 結果

## 5.1 既存研究との比較

既存研究[4](Aspell_10m)の結果と本研究の提案手法(Errant $10 \mathrm{~m})$ を用いた結果, 既存研究と提案手法を 合わせて用いた結果 $(\mathrm{A}+\mathrm{E}-10 \mathrm{~m})$ について比較を行っ た結果を表 4 に示す. 全てのモデルを COWSL2H で ファインチューニングした. + (L)は Lang8 を追加で ファインチューニングしたことを表す.

また, 既存研究[2](Bi-LSTM+LSTM) との比較を行 なった結果を表 5 に示す.ここでは，F0.5を ERRANT で算出した.

## 表 4 既存研究 [4]との比較

表 5 既存研究[2]との比較

表 4 と表 5 の結果からいずれの既存研究よりも本研究の提案手法を用いた場合の方が Precision, Recall, F0.5 の值が高い. 既存研究[4]ではファインチューニ ング時に本研究の提案手法よりも多くのデータを用 いているが，提案手法はより少ないデータでより高 い性能を実現している. 本研究ではファインチュー ニングに用いるデータと同質の誤りを事前学習用デ 一夕に注入することでより良い結果を得ることがで きた.

## 5.21 文あたりの誤り率とモデル性能

提案手法で 1 文あたりの誤り率を変化させた結果 を表 6 に示す.モデルは Errant_10m+(L)を使用した.

表 61 文あたりの誤り率とモデル性能

誤り率を大きくするほど Precision が低くなり， Recall が高くなった. F0.5は 0.15 の場合に最大にな った.このことから 1 文あたりに注入する誤り数を 増やすと誤りの検出精度は上がるが，検出した誤り を正しく訂正できなくなると考えられる．特に誤り率 0.2 の場合の Precision が比較的大きく低下してい ることから, 誤り率から算出される注入する誤り数 が多くなりすぎることによって精度に悪影響を及ぼ すと考えられる。また、F0.5 が最大となった誤り率 0.15 が提案手法において最適な值であった.

## 5.3 誤りタグごとのモデル性能

誤りタグごとのモデル性能を表 7 に示す. モデル は Errant_10m+(L)を使用した。

Recall に着目すると誤りの注入回数が多いほど誤 りをより多く検出できると考えられる。 また, 誤り の注入回数は $\mathrm{U}$ よ $\mathrm{M}$ の方が多いのにも関わらず， F0.5 の値は M の方が低くなっている。これは Precision の值がUに比べ低いことが原因であるため,検出した誤りを正しく訂正できるよう，Mに対する 操作 Delete を改善する必要がある。また, U に対す る操作 Addについても誤りをより検出できるよう改善することでよりモデルの性能を向上させることが できると考えられる。

## 6 おわりに

本研究では，スペイン語の文法誤り訂正において 学習者の誤りを再現するデータ拡張手法を提案し,事前学習用データを拡張して学習を行うことで既存研究よりも高い性能を実現した。スペイン語のよう なデータが少ない言語の文法誤り訂正においてデー 夕拡張手法の有用性を示すことができた。

本研究ではコーパスの誤りを抽出, 注入すること でモデルの性能を向上させたが，今後はどのような 誤りが性能に寄与するか, スペイン語特有の誤りが モデルの性能にどのように影響するかについて詳し い分析や検証が必要である. より詳細な分析を行う ために本研究で使用しなかったスペイン語 ERRANT の誤りカテゴリ(ADJ, NOUN など)の認識性能を改良する必要がある. モデル性能の向上とと もに今後取り組みたい。

## 参考文献

[1] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata and Yuji Matsumoto. Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners. In Proceedings of the 5th International Joint Conference on Natural Language Processing(IJCNLP), pp.147-155. Chiang Mai, Thailand, November 2011.

[2] Sam Davidson, Aaron Yamada, Paloma Fernández Mira, Agustina Carando, Claudia H. Sánchez Gutiérrez, and Kenji Sagae. Developing NLP Tools with a New Corpus of Learner Spanish. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pages 7238-7243, Marseille, France. European Language Resources Association. 2020.

[3] Jared Litchtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora generation for grammatical error correction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3291-3301, 2019.

[4] Simon Flachs, Felix Stahlberg, and Shankar Kumar. Data Strategies for Low-Resource Grammatical Error Correction. In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Education Applications, pages 117-122, Online. Association for Computational Linguistics. 2021.

[5] Jakub Náplava and Milan Straka. Grammatical Error Correction in Low-Resource Scenarios. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pages 346-356, HongKong, China. Association for Computational Linguistics. 2019.

[6] Christo Kirov, Ryan Cotterell, John Sylak-Glassman, Géraldine Walter, Ekaterina Vylomova, Patrick Xia, Mannal Faruqui, Sebastian Mielke, Arya McCarthy, Sandra Kübler, Davaid Yarowsky, Jason Eisner, and Mans Hulden. UniMorph 2.0: Universal morphology. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki,
Japan. European Language Resources Association (ELRA). 2018.

[7] Adriane Boyd. Using Wikipedia edits in low resource grammatical error correction. In Proceedings of the 2018 EMNLP Workshop W-NUT: The 4th Workshop on Noisy User-generated Text, pages 79-84, Brussels, Belgium. Association for Computational Linguistics. 2018.

[8] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume1: Long Papers), pages 793-805, Vancouver, Canada. Association for Computational Linguistics. 2017.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, pages 5998-6008. Curran Associates, Inc. 2017.

[10] Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 568-572, Montréal, Canada. Association for Computational Linguistics. 2012.


# 日本語 WiC データセットの構築と読みづらさ検出への応用

吉田あいり 河原大輔
早稲田大学理工学術院
yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp

## 概要

本論文では, 日本語文の読みづらさを定量的に評価することを目的とし, 語義曖昧性に基づく手法を 提案する. 2 文に含まれる同じ単語の語義が一致す るかを判定する WiC (Word in Context) データセッ ト [1] の日本語版である JWiC を構築し, このデータ セットを使用した語義曖昧性判定に基づく読みづら さの検出を行う. 評価はクラウドソーシングを活用 し, 約 7 割の精度で読みづらさの検出ができること を確認した。

## 1 はじめに

文章を読む機会は多く,その文章が読みやすいこ とは消費時間と理解力に良い影響となる.そのため,執筆者の意図が誤って伝わる要素の排除が望まれ る. 本研究では執筆支援システムにおいて想定され る読点の挿入や語順整理といった文の読みやすさの 改善の前段階として, 読みづらい文を自動的に検出 することを目的とし, 改善自体は執筆者に委ねる。

読みづらさを扱うにあたり曖昧性に着目する.曖昧性は構造的なものと意味的なものがある. 構造的曖昧性とは構造解釈に複数の選択肢があることであ り, 我々はこれに着目した読みづらさの検出手法 [2] を提案した. 意味的曖昧性の一つに語義曖昧性があ る. 例えば「動きを踏まえた分析」という文が与え られた時に「動き」が傾向を表すのか実際の活動を 表すのかの判別が付かないというようなものであ る. 本研究では語義曖昧性に着目し, まず, 2 文に含 まれる同じ単語の語義が一致するかを判定する WiC (Word in Context) データセット [1] の日本語版であ る JWiC を構築する. JWiC は日本語フレームネット から構築するが, それだけだとデータ数が少ないた め, データ拡張を行う. 最後に, 拡張した JWiC を使用した語義曖昧性判定に基づき読みづらさの検出を 行う.

## 2 関連研究

## 2.1 WiC

言語理解のためのベンチマークとして SuperGLUE [3] が構築されており,8つのタスクのうちの 1 つである語義曖昧性解消タスクが WiC (Word in Context) [1] である. 2 文に含まれる多義語である同一単語が同じ語義で使用されているかを判断する 2 値分類のタスクである. 多言語 $\mathrm{WiC}$ データセットと して XL-WiC [4] が整備されているが, 完全に整備さ れている言語はドイツ語, フランス語, イタリア語に 止まり,その他の言語は $\operatorname{dev}$ と test データのみであ る. 日本語もこれに含まれているが, 1,000 組程度と 数が少なく, 言語資源として活用するのは困難であ る. 従って, 日本語データセットの構築が求められて いるのが現状である.

## 2.2 読みづらさの分析

人間の読みづらさは読み時間を用いて評価されて おり, 読み時間を主軸とした分析がされる. 日本語の 読み時間データは BCCWJ-EyeTrack が整備・分析さ れており [5], 読解時間と統語・意味カテゴリの対比分析 [6] もなされている. また, 文の意味的曖昧性の 高さが構造的曖昧性の解消・保留に影響することが わかっている $[7,8]$. 他にも個別の言語現象が読み時間に与える影響に対して分析が行われている $[9,10]$. また, サプライザル理論に基づいて統一的に解釈で きるかという仮説検証もなされている [11]. 読み時間の様々な傾向がサプライザルでも再現され, 情報量の観点から解釈できることが示されている.

これらは既存の読みづらさの研究であり, 我々は 構造的曖昧性を利用して読みづらさを検出する手法 を提案した [2]. 構造的曖昧性とは構造解釈に複数の 選択肢があることである。

## 3 日本語版 WiC の構築

本研究では, 日本語フレームネット (JFN) [12]を用 いて日本語版 $\mathrm{WiC}(\mathrm{JWiC})$ の構築を行う. オリジナル の WiC は多様性とバランスに注目しており, JWiC においてもこれを重視し収録語彙の汎用性を高める ことを目指す. 以下では, JFN の特徴の確認からはじ め, 構築の流れ, モデルによる評価までを述べる。

## 3.1 日本語フレームネット (JFN) の概要

JFN は日本語における語彙・複合言語資源であり，言語形式とその意味の関係を背景知識 (フレーム) と の関係で捉えている. 対象語句を含む例文にフレー ムがアノテーションされている.例えば「持つ」に 関する以下の例文には次のフレームが付与されて いる.

1. “報告を持ってきた $\cdots$ : Bringing

2. 一在庫の持ち方を変えて $\cdots$ : Storing

3. 一特許権を持っています。：Possession

収録語彙は 5,000 語程度であり, 名詞が半分以上を 占め, 名詞と動詞でほとんどを占めている. また, 単語ごとに定義されているフレーム数にも偏りが大き く, 最大で 11 フレームを持つ. フレームが付与され ている例文の長さは 50 字程度が最も多く, 大抵の 例文は 200 字以内の長さをとっている. また,「雇用再生集中支援事業」のような固有名詞が含まれてい ることから, 対象が汎用語句に留まらないことが問題であり, 活用にあたってフィルタリングが必要と なる。

## $3.2 \mathrm{JWiC$ の構築手法}

JWiC の構築は, JFN 例文のフィルタリング, 例文 のペアリング, 作成したぺアのクラウドソーシング による検証という 3 段階で行う。

JWiC を特定単語に特化したものではなく, 汎用性 を高めるために対象語句を制限する. 適切な汎用性 を保つために, 対象語句の構成単語数とフレーム数 に着目する. 本研究では 4 単語以上で構成されるも のと, 6 フレーム以上定義されている語句を除くこ ととした. 次に, 対象語句の制限に続いてバランスの 調整を行う. 例文は, 文として成立していることと簡潔であることが求められるため, 例文長は 15 字以上 100 字未満とする.

WiC の形式にするために, 対象語句ごとに例文の表 1: JWiC の例

 \\

表 2: クラウドソーシングの結果における正答率の平均と 四分位数

ペアを作成する.ここで, 1 対象語句に対して例文ぺ ア数は 50 ペアまでと制限することで偏りを少なく する.ペアである 2 文が持つフレームが一致するか 否かで $\mathrm{WiC}$ 用のラベル「同じ」「違う」を付与する。例を表 1 に示す。

作成したデータに関して, 付与されたラベルの妥当性を確認するためにクラウドソーシングによる検証を行う.ここで, 人手であらかじめ正解ラベルを付与したチェック設問の正答率を確認することでクラ ウドワーカーの品質を保証する.チェック設問は最 も正答率が低いもので $70 \% を 上$ 回るものを使用し，平均 8 割程度の正答率のものを選択した. クラウド ワーカーには短文によって例を提示し,チェック設問があることを説明している. 文ペアを提示し, 対象語句の語義が「同じ」か「違う」かを選択してもら うが, 適当な回答をできる限り取り除くために「わ からない・判断できない」という選択肢も用意した. クラウドソーシングには Yahoo!クラウドソーシング を使用し, 1 ペアに対して 20 人から回答を回収した.解答の結果は表 2 の通りで, クラウドワーカーの正答率のばらつきを確認するために四分位数を示す.

この結果から極端に精度の悪い文ぺアを除いて JWiC の完成とする. JFN フレーム付けは細かく, 見分けのつかないものも含まれるため正答率がさほど 高くならなかったと考えられる. 3,230ペアに対して 精度が 0.35 以上のものを採用し 2,495 ペアを得た。含まれる対象語句は 259 個である.

## 3.3 モデルによる評価実験

JWiC を用いて, 事前学習モデル BERT [13] をファ インチューニングし, 評価実験を行う. JWiC は, 2 文 における同一語句が同じ語義で使用されているか否 かを判定する 2 値分類タスクである. そのため, 入力文中のどの語句が対象であるかを明示する必要 がある.そこで, BERT の埋め込みに対象語句を示す

図 1: Target Embeddings の導入

Target Embeddings を導入する. 図 1 に概要図を示す. JWiC の データは [train:validation:test] = [0.75:0.1:0.15] の比率で分割し, NICT BERT (BPE

いて, JWiC の行が対象語句を明示しないモデル， $\mathrm{JWiC}_{\text {Target }}$ の行が Target Embeddings を使用したモデ ルを表し, test セット列の $\mathrm{JWiC}$ が分類精度である。 Target Embeddings を用いることでモデルが対象語句 を認識し, $1.1 \%$ の精度向上が見られた。

## 4 JWiC の拡張

前節で構築した JWiC は 259 個の対象語句からな り, 読みづらさ検出に応用するには対象語句が少な い. そのため JWiC のデータ拡張に取り組む.

## 4.1 単語親密度を用いたデータ拡張

データ拡張は, 追加する対象語句の選定, 例文の収集・ペアリング, 作成したペアのアノテーションと いう 3 段階で行う。

追加する対象語句の選定にあたり, 読みづらさ 検出を執筆支援システムに応用することを考慮す る. 筆記において使用される語句による拡大を行 うために単語親密度を用いる.「分類語彙表」増補改訂版データベースに親密度情報が付与された WLSP-familiarity ${ }^{2)}$ を使用する [14]. 対象単語の選別 に単語親密度の「書く」の項目を使用し, ある程度筆記に使われる語句を採用し, かつ解釈に迷わないも のは省くために 0.5 から 1.2 未満 3 ) のものを対象とし 収集した. 特殊文字を含むものやカタカナを含むも の, また, 2 単語以上からなるものを削除した. 対象 をさらに使用頻度が高いものとするために, 品詞を 動詞と形容詞に絞り, 最終的に 700 語句を収集した.

得られた対象語句に対して, 対象語句を 1 つのみ

表 3: 拡張データのラベル分布

を含む例文を「用例.jp ${ }^{4}$ 」から収集する. 収集した例文からぺアを作成する. 同じ対象語句に対する例文 ペア数は 10 ペアまでとし, JWiC にすでに含まれる 対象語句に関しては数を減らすことで追加データに 関してもバランス調整を行う.

得られた例文ぺアに対して, 対象語句における語義が一致するか否かのアノテーションをクラウド ソーシングで行う. 3.2 節と同様に, クラウドワー カーに [同じ, 違う,わからない・判断できない]の 3 択から選択してもらう.チェック設問は 3.2 節と同様のものを使用した. 5,222 ペアに対して 10 人分の 回答を収集した。

得られた回答集合を用いて, 回答比率を考慮した 平均スコアに基づきラベル付けを行う. まず, [同じ，違う, 不明] の各回答を $[1,-1,0]$ の数値と見做して, 10 人の回答の和をスコアとする. 閾値 $m$ を使用し, $[-10,-m),[-m, m],(m, 10]$ の範囲において [違う, 棄却, 同じ]と分類を行う. $m$ の值はラベルの偏りが大 きすぎず, かつ判別のつかない文ぺアが十分に除か れるように選択する. 本研究では閾值 $m=2$ を採用 した. 拡張したデータのラベル分布を表 3 に示す.

## 4.2 モデルの再学習と評価

データ拡張の前後における $\mathrm{JWiC}$ の精度変化を確認する.まず, 拡張したデータを学習データにのみ 追加した場合の精度を表 4 の JWiC+ExTrain および

て, 元の JWiC の対象語句についてはドメイン外の学習データが増えたが, Target Embeddings を用いたモ デルは精度が落ちなかった.

次に, 拡張したデータを JWiC の train, validation, test セットに追加し評価した. この新しい test セッ トによる精度を表 4 の $\mathrm{JWiC}+\mathrm{Ex}$ 列に示す. 新しい train セットで学習したモデルの精度を JWiC+Ex と $\mathrm{JWiC}+\mathrm{Ex}_{\text {Target }}$ の行に示す. 元の $\mathrm{JWiC}, \mathrm{JWiC}_{\text {Target }}$ モデルと比べて精度が向上していることが分かる. また, 各モデルにおいて Target Embeddings はやはり 効果があることを確認した.

次節で述べる語義曖昧性判定による読みづらさ検出と評価においては, 拡張データを含めて学習した

表 4: 各モデルの分類精度

(a) 曖昧でない場合

(b) 曖昧な場合

図 2: 語義曖昧性検出の例

BERT モデル (Target Embeddings あり)を使用する.

## 5 読みづらさの検出

## 5.1 読みづらさの検出方法

読みづらさの検出は, 入力文中の対象語句が語義曖昧性を持つかを判定することによって行う. 語義曖昧性の判定は, 対象語句が持つ語義ごとに例文 1 つと入力文で文ペアを作り, WiC タスクを実施する ことによって行う. 複数の語義の例文と「同じ」と 判定すれば複数の語義の可能性があり曖昧, 1 つの みと同じであれば曖昧でないとする. 図 2a の場合で は，「このいちごは甘い」という入力文は「とても甘 いお菓子」のみと一致しており, 入力文中の「甘い」 において使用されている語義が明白である.一方, 図 $2 \mathrm{~b}$ の場合では, 傾向を示す「動き」と実際の活動を 示す「動き」のどちらとも一致するため, どの語義で 使用されているかが不明となり, 曖昧と判定される.

## 5.2 評価用データセットの作成と評価

$\mathrm{JWiC}$ から評価用データセットを作成する. 対象語句が持つ全ての語義との比較により評価するため,各語義から例文を 1 文ずつ選択する. [A, B] という 2 種類の語義を持つ場合は, $[\mathrm{A}, \mathrm{A}, \mathrm{B}]$ の語義が付与さ れた例文セットを抽出し, 語義 $\mathrm{A}$ を持つ例文 1 文を 評価対象文とする.これにより 184 セットを得た。表 5: 閾値ごとのラベル分布と語義曖昧性の検出精度

次に,各セットにおいて評価対象文が語義曖昧性 を持つか否かのアノテーションを行う.これは, JFN のフレーム情報を用いるのではなく,一般的な人間 による語義曖昧性の判断を得るために行う. 評価対象文に対して, どの例文が同じ語義であるかの複数選択式でクラウドソーシングにより 10 人分の回答 を収集した.この回答をもとに 2 つ基準を設けて，正解ラベルを作成した. 1 つ目は回答が分散してい れば曖昧であり, 2 つ目は複数の語義の例文を選択 していれば曖昧であるという基準である. まず, 最も 回答数が多い選択結果 (セットで扱う) に対して $\mathrm{n}$ 人以上の回答が一致したものは回答が分散していない とみなし, $\mathrm{n}$ 人未満であれば分散しているため曖昧 とみなす. $\mathrm{n}$ は 6 から 8 の値において試行した. 次に， $\mathrm{n}$ 人以上が一致した選択結果において, 複数の例文 が選択された場合は曖昧であり,単一であれば曖昧 でないとする.

各閾値 $\mathrm{n}$ おける曖昧か否かのラベル数と, 曖昧 さ検出の精度を表 5 に示す. $\mathrm{n}=6,7$ においては 7 割程度の精度を達成しており, 語義曖昧性に基づく読 みづらさの検出がある程度できた. $\mathrm{n}=8$ において精度が低下したのは, 閾値が厳しいために, 分散してお らず, 本来曖昧でない回答についても曖昧であると いうラベル付けとなったことが原因と考えられる。

## 6 終わりに

本研究では, JFN を使用した JWiC の構築及びデー 夕拡張を行い,これを応用して語義曖昧性に着目し た読みづらさの検出を行った. 構造的曖昧性に続き 語義曖昧性も絶対評価は難しく, 本研究では $\mathrm{WiC}$ 夕 スクを語義の数だけ行う形で評価を行った.

収集した例文に対して語義の一致という 2 値分類 のタスクに落とし込むことで, 語義ラベルを付与す る必要性を排除した.これにより比較的容易にデー 夕拡張が可能となる. 評価においては語義ラベル自体は必要ないものの, 語義数分の例文収集が必要と なる. 本研究では JWiC に含まれる対象語句を活用し た評価を行ったが，今後，対象語句を拡張した評価を 行うことが望まれる。

## 謝辞

日本語フレームネットを提供いただいた慶應義塾大学の小原京子教授に感謝する. 本研究は JSPS 科研費 JP21H04901 の助成を受けて実施した。

## 参考文献

[1] Mohammad Taher Pilehvar and Jose Camacho-Collados. Wic: the word-in-context dataset for evaluating contextsensitive meaning representations, 2018.

[2] 吉田あいり, 河原大輔. 構造的曖昧性に基づく読みづ らさの検出. 言語処理学会 第 28 回年次大会 発表論文集, pp. 425-429, 2022.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems, 2019.

[4] Alessandro Raganato, Tommaso Pasini, Jose CamachoCollados, and Mohammad Taher Pilehvar. Xl-wic: A multilingual benchmark for evaluating semantic contextualization, 2020.

[5] 浅原正幸, 小野創, 宮本 エジソン正. Bccwj-eyetrack:『現代日本語書き言葉均衡コーパス』に対する読み 時間付与とその分析. 言語研究, No. 156,pp. 67-96, 2019.

[6] 浅原正幸, 加藤祥. 読み時間と統語・意味分類. 認知科学, Vol. 26, No. 2, pp. 219-230, 2019.

[7] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響 (2). 日本認知心理学会発表論文集, Vol. 2011, pp. 74-74, 2011.

[8] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響. 日本認知心理学会発表論文集, Vol. 2010, No. 0, pp. 81-81, 2010.

[9] Masayuki Asahara. Between reading time and clause boundaries in japanese - wrap-up effect in a head-final language一日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. Journal of Natural Language Processing, Vol. 26, pp. 301-327, 062019.

[10] Masayuki Asahara. Between reading time and the information status of noun phrases 名詞句の情報の状態と 読み時間について. Journal of Natural Language Processing, Vol. 25, pp. 527-554, 122018.

[11] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会 第 27 回年次大会発表論文集, pp. 723-728, 2021.

[12] Kyoko Ohara. Relating frames and constructions in Japanese FrameNet. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2474-2477, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA). ACL Anthology Identifier: L14-1103.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] 浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, Vol. 27, No. 1, pp. 133-150, 2020.


# 組合せ範疇文法を用いたドイツ語文の漸進的解析

高橋直人 竹内泉 一杉裕志
産業技術総合研究所人工知能研究センター
\{naoto.takahashi, takeuti.i,y-ichisugi\}@aist.go.jp

## 概要

文法的には異なる統語構造を持っているにもかか わらず，人間にとっては同じ意味と理解される複数 の文があった場合に，それぞれの文を「漸進的に」解析し, かつ同一の意味表示を得る事が可能か否か を検討する．解析対象としては，接続語のタイプに よって語順がさまざまに変化するドイツ語文を用い る.また文法形式としては, 漸進的解析に適してい るとされる組合せ範疇文法を用いる.

## 1 はじめに

人間が自然言語を理解する際は，文の終了を待た ず，文頭から漸進的に解析を行っていると考えられ る. またその推測を支持する心理学的実験結果も存在する $[1,2]$. 更に工学的な応用として同時通訳や 字幕生成などの自動化を考慮した場合, 漸進的な解析技術は不可欠であると言える。

一概に文頭からの漸進的解析と言っても, そこに はさまざまなレベルがありうる．比較的制限の緩い 方法としては, 語順に従って 1 語ずつ読み進めなが ら作成した複数の部分木を, それぞれ個別の記憶領域に一時的に保存し, 他の部分木との接続関係が明確になった時点で初めて互いに連結する, という戦略が考えられる. 一方, 厳密な漸進的解析として は, 文頭から順に 1 語読み進むたびに, その語を現在作成中の部分木の一部として即座に埋め込む, と いう方式がある.

本稿では，人間の文理解モデルに関して考察す る. 具体的には, 統語構造的にはさまざまな形を取 るが，意味内容的には同一の複数のドイツ語文を，組合せ範疇文法を用いて「厳密な形で」漸進的に解析する際に, どのような語彙項目と導出過程が必要 となるか考察する1).

図 1 本稿で使用する組合せ規則一覧

## 2 組合せ範疇文法

組合せ範疇文法 $[3,4,5,6]$ は語彙化文法の一種で あり，「マイルドな文脈依存」と言われる弱生成能力を持つ. そのため, 文脈自由文法の範囲に収まら ない自然言語現象を記述する事ができる. また理論的にも実際的にも効率のよい解析アルゴリズムが知 られている $[7,8]$ ため, 自然言語の文法記述に適し ているとされている.

更に, 統語構造から意味表示への直接的なマッピ ングがあるので，複数の文を統語解析した後，それ らの意味表示を比較するのに都合が良い.

組合せ範疇文法では， $S$ （文）や $N P$ (名詞句）の ような少数の基底範疇と, それらを結ぶ演算子を再帰的に用いる事で，多様な統語範疇を表現する．演算子には/と\がある. $X$ と $Y$ を統語範疇としたと き，X/Yは「右側に $Y$ が隣接したときに $X$ となる統語範疇」, $X \backslash Y$ は「左側に $Y$ が隣接したときに $X$ と なる統語範疇」を意味する.

このように作られる統語範疇の構造は非常に柔軟 であり，未完成の統語的構成素を自然に表現するこ とができる．それゆえに組合せ範疇文法は，他の文法形式に比べて漸進的な構文解析に向いているとさ

図 2 "Ich trinke Bier" の通常の（非漸進的）導出. $S$ はすべて $S[d c l]$ すなわち平叙文.

## れている $[1,2,3,9]$.

たとえば“The boy will eat the cake”という文があっ た時, 厳密な漸進的解析を行うためには “The boy will eat the”に対応する部分にも統語範疇を割り当て る必要がある，一般の文脈自由文法でそのような統語範疇を設定するのは困難であるが，組合せ範疇文法であれば $S / N$, つまり「右に $N$ (名詞) が隣接し た場合に $S$ （文）となる範疇」と自然に表現するこ とができる [1].

語彙項目に付与された統語範疇は, 少数かつ言語非依存の組合せ規則によって互いに組み合わされる が，このとき意味表示も同時並列的に合成される. この操作が再帰的に実行される事によって, 語彙項目レベルの意味表示が文レベルの意味表示へと順次成長する.

本稿で使用する組合せ規則の一覧を図 1 に示す. コロンの左側が統語範疇で, 右側がラムダ項による 意味表示である.

図 2 にドイツ語文 “Ich trinke Bier”（英訳 “I drink beer”) の通常の非漸進的導出を, 図 3 に同じ文の漸進的導出を示す. 多くの場合は図 3 のように, 型繰 り上げ規則と関数合成規則を組み合わせる事で漸進的な導出が可能になるが, 標準的な組合せ規則だけ では漸進的に導出できないパターンも存在する [1].

## 3 漸進的ドイツ語解析

図 3 “Ich trinke Bier” の漸進的導出. $S$ はすべて $S[d c l]$.
1. 従属複合文（原因文の文頭に従属接続詞） Ich trinke Bier, weil ich Durst habe. I drink beer because I thirst have 2. 従属複合文 (1 の変形; 原因文が先行) Weil ich Durst habe, trinke ich Bier. because I thirst have drink I beer 3. 並列複合文（原因文の文頭に並列接続詞） Ich trinke Bier, denn ich habe Durst. I drink beer because I have thirst 4. 並列複合文（原因文の文中に接続的副詞） Ich trinke Bier, ich habe nämlich Durst. I drink beer I have because thirst 5. 並列複合文（結果文の文頭に接続的副詞） Ich habe Durst, deshalb trinke ich Bier. I have thirst therefore drink I beer 6. 並列複合文（結果文の文中に接続的副詞） Ich habe Durst, ich trinke deshalb Bier. I have thirst I drink therefore beer

図 4 「喉が渴いたのでビールを飲む」のドイツ語訳 6 種

## 3.1 原因・結果関係の統語的パターン

他の自然言語同様, ドイツ語の原因・結果関係は,図 4 に示すようにさまざまな統語構造で表現され る. たとえば文 $1 ， 3 ， 4$ を比較すると，先行文が 全く同一であっても，接続関係を示す語（weil, denn, nämlich）の違いによって，後続文の語順が変化する 事が分かる。したがって，接続関係を示すこれらの 語には，それぞれ異なった統語範疇を付与する必要 がある.

このような統語構造とその意味表示の複雑な関係 を漸進的に解決する場合に，どのような語彙項目と 導出過程が考えられるかを以下に示す.

## 3.2 語彙項目と導出過程

本稿では, 基底範疇 $N P$ （名詞句）の統語素性 に関して $n$ （主格）と $a$ （対格）の 2 種類を区別す る.また基底範疇 $S$ (文) の統語素性に関しては, Hockenmaier[10] を踏襲し, $d c l$ (declarative, 定動詞第 2 位),v1（verb initial，定動詞文頭），vlast（verb final, 定動詞文末), $e m b$ (embedded, 副文) の 4 種類を使用する、ドイツ語動詞の統語範疇は，英語動詞同様に基底型ではなく関数型とするが，文頭の定動詞と文頭以外の定動詞で意味表示が異なる点に注意が必要である.

また, weil, denn, nämlich, deshalb 等の接続詞およ び接続的副詞に関する語彙項目は，一般的な英語の 接続詞や副詞と異なる部分が多い。これは原因・結果関係を示すドイツ語固有の統語構造と, 本稿の目

$S[$ dcl $]$ : because ${ }^{\prime}\left(\right.$ have $^{\prime}\left(I^{\prime}\right.$, thirst $\left.^{\prime}\right)$, drink $^{\prime}\left(I^{\prime}\right.$, beer $\left.\left.{ }^{\prime}\right)\right)$

図 5 “Ich trinke Bier, weil ich Durst habe.” の漸進的導出

図 6 "Ich trinke Bier, denn ich habe Durst." の漸進的導出. $S$ はすべて $S[d c l]$.

図 7 "Ich trinke Bier, ich habe nämlich Durst.” の漸進的導出. $S$ はすべて $S[d c l]$.
的である厳密な漸進的解析を実現するためである.以上を踏まえ，厳密な漸進的解析が可能になるよ うに設定した語彙項目と, そのときの各文の導出過程（の一例）を図 5 から図 10 に示す. 最終的にど の文からも同一の意味表示が得られている事が分 かる.

## 4 関連研究

Stanojević and Steedman [2] は, 漸進的木回転（Incremental Tree Rotation）と名付けた組合せ範疇文法 の解析アルゴリズムを提案している。このアルゴリ ズムは，右枝分かれの木を左枝分かれに変換すると 共に, 右端に出現する可能性を秘めた俒在的な修飾語句に対応した漸進的な処理が可能である．漸進的木回転は純粋に文法的な手法であるが，意味表示 やヒューリスティックスを利用する先行研究に比 べて, より高い漸進性と精度を示すと報告されて いる.

Demberg [1] は組合せ範疇文法における厳密な漸進性 (strict incrementality あるいは full connectedness) について議論し, どのような場合に厳密な漸進的解析が可能で，どのような場合に不可能であるかを分析している。また一般の組合せ範疇文法には陽に含 まれない「Geach 規則」を導入し, 厳密な漸近的解析が適用できる範囲を拡大する方法を示している.

$
\text { Geach 規則 }: Y / Z \Rightarrow{ }_{\mathrm{B}}(Y / G) /(Z / G)
$

語彙項目としては通常の非漸進的解析に用いられる 物をそのまま変更せずに採用しつつ，組合せ規則を 追加することで漸近的に解析可能な範囲を拡張して いる点が本稿との違いである.

ブログ記事 $[11,12]$ は，上記 Demberg [1] を踏まえ た上で一般化型繰上げ規則と一般化 Geach 規則を提案し，更に以下のような予想を与えている.

application/composition/type raising のみが許され る CCG の任意の導出木を, generalized type raising と generalized Geach rule を使って, (semantics を変えることなく） incremental な導出木に変形 できることが示せると思う

興味深い予想であり，今後の展開が期待される.

## 5 おわりに

意味内容的には同一だが，統語構造的にはさまざ まな形を取る複数の文を，組合せ範疇文法を用いて 厳密な形で漸進的に解析しつつ, 最終的に同一の意味表示を得る事ができるか否かを, ドイツ語の原因・結果関係文を題材として考察した。

本稿の漸進的解析では, 型繰り上げ規則と関数合成規則を使用しているが，これらの規則を多用する と擬似的曖昧性（spurious ambiguity）が急激に増加 してしまう，という問題が知られている。そのため 正規型（normal form）と呼ばれる導出においては,関数合成と型繰り上げの使用は関係節など統語的に 必要な場面に制限されている [9].

また, Hockenmaier and Steedman[13] においても，関数合成と型繰り上げは必要な場合のみ行うとされ ており, 更に Stanojević and Steedman[2] では, 型繰 り上げを適用する範疇は $N P$ や $P P$ などの引数に限 られる，とされている。

異なる統語構造に対して厳密な漸進的解析を実行 し, 最終的に同一の意味表示を得るという当初の目的は達成されたが, 厳密な漸進性を重要視した結果 として逆に探索空間が増加してしまうのでは, 人間 の言語理解モデルとして十分ではないと考えてい る. また図 7 の nämlich や図 10 の deshalb に付与し た語彙項目は, 厳密な漸進性を実現するためとは言 え，複雑すぎるようにも見える。

今後は漸進性のレベルと探索空間の範囲, それに 語彙項目の複雑さのバランスが取れた言語理解モデ ルの構築に取り組みたい。

## 謝辞

本研究は JSPS 科研費 JP22K12188 の助成を受けた ものです.

## 参考文献

[1] Vera Demberg. Incremental derivations in CCG. In Proceedings of the 11th International Workshop on Tree Adjoining Grammars and Related Formalisms (TAG+11), pp. 198-206, Paris, France, September 2012.

[2] Miloš Stanojević and Mark Steedman. CCG parsing algorithm with incremental tree rotation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 228-239, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Mark Steedman. The Syntactic Process. The MIT Press, 2000.

[4] Mark Steedman. Surface Structure and Interpretation. The MIT Press, 1996

[5] 戸次大介. 日本語文法の形式理論. くろしお出版, 2010.

[6] 峯島宏次. 論理と文法. 数学セミナー, Vol. 59, No. 3, pp. $30-35,2020$.

[7] Krishnamurti Vijay-Shanker and David Weir. Polynomial time parsing of combinatory categorial grammars. In 28th Annual Meeting of the Association for Computational Linguistics, pp. 1-8, 1990.

[8] Stephen Clark and James R. Curran. Wide-coverage efficient statistical parsing with CCG and log-linear models. Computational Linguistics, Vol. 33, No. 4, pp. 493-552, 2007.

[9] David Reitter, Julia Hockenmaier, and Frank Keller. Priming effects in Combinatory Categorial Grammar. In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 308-316, Sydney, Australia, July 2006. Association for Computational Linguistics.

[10] Julia Hockenmaier. Creating a CCGbank and a widecoverage CCG lexicon for German. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 505-512, Sydney, Australia, July 2006. Association for Computational Linguistics.

[11] 氏名不詳. 組合せ範疇文法の漸進的構文解析, 2021. https://m-a-o.hatenablog.com/entry/2021/ 05/05/085810.

[12] 氏名不詳. 続・組合せ範疇文法の漸進的構文解析, 2021. https://m-a-o.hatenablog.com/entry/2021/ 11/14/234710.

[13] Julia Hockenmaier and Mark Steedman. CCGbank: User's manual. 052005 .

図 8 “Weil ich Durst habe, trinke ich Bier.” の漸進的導出

図 9 "Ich habe Durst, deshalb trinke ich Bier." の漸進的導出.

先行文の “Ich habe Durst” は, “Ich trinke Bier” と同様の手順で漸進的に導出可能.

図 10 "Ich have Durst, ich trinke deshalb Bier." の漸進的導出. $S$ はすべて $S[\mathrm{dcl}]$.


# 抽象図形への命名を介したコモングラウンド形成モデルの構想

森田 純哉 ${ }^{1}$ 由井 達也 ${ }^{1}$ 天谷 武琉 ${ }^{1}$
光田 航 2 東中 竜一郎 2 竹内 勇剛 1
1 静岡大学情報学部 2 日本電信電話株式会社
\{j-morita,takeuchi\}@inf.shizuoka.ac.jp
\{yui.tatsuya.20, amaya.takeru.19\}@shizuoka.ac.jp
\{koh.mitsuda.td,ryuichiro.higashinaka.tp\}@hco.ntt.co.jp

## 概要

コミュニケーションにおいて，送り手が発した記号は，受け手の有する認知的な枠組みを介して復元 される。つまりコミュニケーションを効率化するた めには，送り手と受け手の間で認知的な枠組みをす り合わせていくプロセスが必要である. 本稿では, そのような共有された枠組みをコモングラウンドと 呼び，タングラム命名課題を対象としたコモングラ ウンド形成の認知モデルを提案する．特に，本稿で はモデルの背景, 設計, 実装例を示し, 今後の課題 を議論する。

## 1 はじめに

コミュニケーションにおけるコモングラウンドの 必要は様々な研究者によって指摘されている $[1,2]$.送り手が発した記号の意味は，受け手の有する知識 によって復元される. よって，送り手と受け手の間 で共通の認知的枠組みが存在しない場合，意図の伝達に膨大なコストが必要となる. 共通の認知的枠組 みが存在することで，多義的な記号の意味が絞り込 まれ，簡素な表現による素早いコミュニケーション が可能になる。そして，そのようなコモングラウン ドを構成する共有知識や信念は，通常は暗黙的なも のであり，その全てを記号的に表現することは困難 である.

本稿では，コモングラウンドの形成がどのように 計算機上でモデル化できるかを議論する. 近年の言語処理の研究では，Transformer [3]をべースとした Bidirectional Encoder Representations from Transformers (BERT) [4] や Generative Pretrained Transformer (GPT) [5] などの手法が全盛である. 深層学習によって調整された大規模なパラメータは，人間の言語利用の 背後にある暗黙的な知識をよく表現する。しかし，
それらのパラメータは，人間が課題遂行において保持する目標や時間的な文脈を陽には表現しない。ま た，人間が言語で表現する経験は多様なモダリティ から形成されるため，コモングラウンドの形成に は，複数モダリティの経験を統合する必要がある。

こういった複数のモジュールを統合し, 問題解決 に至る一連のプロセスをモデル化するための考え方 として，認知アーキテクチャが存在する．既存の認知アーキテクチャとして，Soar [6] や ACT-R [7] は有名である。これらの認知アーキテクチャは，現状で は記号的な表現に大きく依存しており，スケールの 問題を抱える。実世界のコミュニケーションを説明 するモデルを構築するためには，深層学習などで構築された分散表現をべースにした認知アーキテク チャが必要である．この考えから，本稿は，深層学習で構成されたモジュールを，認知アーキテクチャ へ統合し，コモングラウンド形成のプロセスを明示化することを志向する.

## 2 タングラム命名課題

コモングラウンドの形成過程を検討する課題とし て，タングラムと呼ばれる抽象図形を用いたコミュ ニケーション課題が検討されている [1]. タングラ ムは，“タン” と呼ばれる平面図形を組み合わせるこ とで構築される．タングラムを具体物のシルエット とみなすことで，多様な解釈が生成される。この解釈の生成は，その際の知覚者が有する認知的枠組み によって変化する。 よって，言語表現のみにより，発信者の指示するタングラムを受け手が同定するた めには，コモングラウンドの共有が必要になる.

タングラムを題材とした対話のデータとして，本研究では須藤ら [8] の研究に焦点を当てる. 須藤ら の実験において，セッションに参加した 2 者は， 6 つのタングラムの命名について合意することを目指
一方の実験協力者

図 1 タングラム命名課題における配置の一例.

した. 以降，この実験課題をタングラム命名課題と 呼ぶ. 図 1 は，タングラム命名課題において，実験 の参加者が観察するタングラムセットの例を示して いる. 両者は同一のタングラムセットを提示される ものの, その配置や角度は異なっている. タングラ 么命名課題において，参加者は互いの画面が見え ず，音声のみで課題を遂行することが求められた.

須藤らは，タングラム命名課題における発話を，全体的発話と分析的発話の観点から分析した. 全体的発話は，タングラムの形状を具体物に喻える表現（例: “塔っぽいやつ”, “枝がでている木”, “サボ テンとか”) であり，分析的発話はタングラムを構成する平面図形への言及（例：“小さい三角形が 2 つ”, “左右に四角と三角が出てる”) である. 須藤ら のデータでは，実験全体を通して全体的発話が部分的発話よりも多く，セッションが経過するに従い， その差が拡大していくことを示されている.

## 3 タングラム命名モデル

タングラム命名課題で得られたデータをシミュ レーションするモデルの構想を示す. まず，認知 アーキテクチャとして考えた際に必要なモジュール について議論し，続いて一部の処理に焦点を当てた 詳細なモデルを検討する．最後に現時点で得られて いる予備的な実行の結果を示す.

## 3.1 モジュールの構成

図 2 はタングラム命名課題に関与すると想定され るモジュールを統合したものである。一般的に認知 アーキテクチャは，視覚，聴覚，運動などの入出力 に関するモジュール，ゴールや記憶を保持する内的なモジュール，そしてそれらを結合する中枢モ ジュール（ワーキングメモリやルールエンジン）か ら構成される [9]. 図 2 では上部に内的モジュール，下部に入出力に関するモジュールが配置され，中央 のプロダクションによってそれらが統合される1).

1）ここでの統合は数ある認知アーキテクチャのなかでも ACT-R [7] をべースとしている.

(5) イマジナル

詳細化

c.

(3) 聴覚

羽を広げた白鳥以下，各モジュールの役割を簡単に記載する。

1. 視覚モジュール：外界のタングラムに注意を向 け，タングラムを認識する。

2. 発話モジュール：個々のタングラムを区別する 言語ラベルを生成し他者へ伝達する。

3. 聴覚モジュール：他者が生成した言語ラベルを 聴取する。

4. ゴールモジュール：個々のタングラムに対して 付与された言語ラベルを保持する。また各ラべ ルに対する相手との合意の有無を管理する。

5. イマジナルモジュール：言語ラベルとタングラ ムを結びつけるためのイメージ操作を行う．須藤らのデータに即せば，以下の 2 つの処理が想定できる.
- 部分処理：タングラムを幾何図形に分解 し，対話相手がタングラムを特定できる言語表現を生成する.
- 全体処理：対話相手から聴取した言語ラべ ルをもとにイメージを生成する。

6. 記憶事例: 一般的な言語ラベルと画像の組み合 わせからなるデータを有する。このデータを活用することでモデルはタングラムに対してラべ ルを付与し，イメージからラベルを生成する。

## 3.2 送受信パイプライン

図 2 のアーキテクチャの全体像は大きいものであ り，部分に分割したモデルの構築が有効である．特 に本稿では，須藤らの分類のうち，全体処理に関す る発話の送受を詳細化することを試みる。すなわ ち，送り手がタングラムからイメージを解釈し，そ

のイメージを言語化し，受け手が言語化されたイ メージを復元するまでのプロセスである. 以下に各 プロセスの概要を示す.

## 送り手の処理

1. タングラムの知覚：視覚モジュールを介し，各 タングラムの形状から物体認識を行う。視覚モ ジュールの実装としては, Convolutional Neural Network (CNN) を想定する。しかし，タングラ 么図形は多義性を意図して構成されおり, 通常 の CNN による物体認識に困難が生じる可能性 が存在する. 特に一般物体認識の CNN モデル に対しては，テクスチャバイアス（全体的な形状ではなく画像表面のテクスチャに影響された 認識をおこなうこと）の存在が報告されている [10]. このバイアスは，テクスチャに分類の有効な手がかりが存在しないタングラム命名課題 において，クリティカルな影響を生じさせると 考えられる. よって, 本研究では, テクスチャ バイアスを生じさせないデータセットとして.

ImageNet Sketch [11]を用い，白黒画像から 1000 のラベルを分類する CNNを新規に学習した。

2. イメージ検索 : タングラムの認識から物体の特徵を詳細化する発話を生成するためには，ラべ ルのイメージの具体化が必要である. この処理 のために，本研究では過去に獲得した記憶から のイメージの復元を考える. 本研究のモデルの 場合, 上記の CNN の学習に利用した画像デー タを過去の記憶として想定できる. この画像 データから，CNN が出力したラべルを付与す る画像セットを絞り込む2).そして，絞り込ま れた画像からタングラムの形状と最も類似する 画像を選択する. 画像の類似の計算方法とし て, 本研究では, AKAZE によって抽出される 特徴点マッチング [12]を用いる。これにより， タングラムと形状が最もマッチする画像が検索 され，ラベル付けの根拠がイメージとして具体化されると想定する。

3. 発話生成：イメージ検索によって得られた画像は, 図 2 のアーキテクチャのイマジナルモ ジュールに一旦格納される. そして，イマジナ ルモジュール内の画像に対して，発話モジュー ルがイメージキャプショニングを適用すること で詳細な言語的なラベルを得る. 本研究ではこ

2）ImageNet Sketch は各ラベルに対して 50 枚の画像を用意し ている.
の処理に Vision transformer (ViT) [13]) と GPT-2 [5]をもちいた学習済み Vison Encoder Decoder モデル [14]を利用する.

## 受け手の処理

1. イメージ生成：送り手の生成した言語ラベル は，受け手の聴覚モジュールに格納される. 受 け手モデルは格納された言語ラベルからイメー ジ生成を行う。言語ラベルからのテキスト生成 には， Stable Diffusion [15] を利用する。画像生成モデルにテキストを入力する際，送り手のイ メージ生成 (ImageNet Sketch) の利用に合わせ，受け取った言語ラベルの先頭に, “a monochrome sketch of"という文字列を付与する.

2. タングラムの同定 : AKAZE による特徵点マッ チングを利用することで，生成された画像と類似するタングラム画像を同定し，結果をゴール モジュールに格納する。なお，この際，タング ラムを 45 度単位で回転させ，合計で $48(6 \times 8)$ のタングラムのイメージとの比較を行う.

## 3.3 実行結果

既に述べたように，上記のパイプラインは，タン グラム命名課題における処理の一部である. 実際の 課題においては，上記のパイプラインが他の処理と 組み合わされ, 反復的に適用されることで送り手と 受け手の認知的枠組みがすり合わされていく.

本稿では，そのようなプロセスの初期状態を示す ために， 3.2 のパイプラインの実行結果を検討した.図 3 はその一例である. 送り手が注目したタングラ ムに対し，Black Swan というラベルが出力された. そして, そのラベルと形状の類似している学習事例 （首が右方向に向けられた黒鳥）が検索され，その 画像に対して "a black and white bird standing on top of a white bird"というキャプションが生成された.こ のキャプションに対し，受け手は，黒い鳥の上に白 い鳥が乗ったイメージを生成した（白い鳥と黒い鳥 の関係がキャプションとは逆転している)。この画像に対して同定されたタングラムは，生成されたイ メージに含まれる 2 つの鳥のうち, 上側の鳥と対応付けられるものと見ることができる（右側にくちば しがあり，下部に足が配置される）.

上記のように本研究で提案するパイプラインは,抽象図形から言語的ラベルの生成，言語的ラベルか ら抽象図形の同定に至るまでのプロセスを可視化す

図 3 実行例.

ることに成功している。そして，それら一つ一つの ステップは，既存の画像処理ライブラリや学習済み 深層学習モデルを用いたものであり，一定の妥当性 を有しているとみなせる。ただし，これらの処理に は程度の差はあれノイズが混入し，処理がまとめら れた際には，送り手が観察したタングラムと受け手 が同定したタングラムが食い違うものとなった. す なわち，この事例は，タングラム命名課題における ミスコミュニケーションの一例をモデル化したもの となっている.

上記のようなミスコミュニケーションが，提案し たパイプラインにおいてどの程度の頻度で生じるの かを検討した。この検討において，送り手は，角度 を 8 段階に変更した 6 種類のタングラムを観察し， それぞれに対して言語ラベルを生成した. 生成され た合計 48 の言語ラベルに対し，受け手が同定した タングラムとの対応をカウントした. 図 4 は送り手 が観察したタングラムと受け手が同定したタングラ 么の間での混同行列を示す. 表中の数値から正解率 を計算したところ 0.166 (8/48) となり，6クラス分類 のチャンスレートと等しいものとなった

このように今回の実装は，標準で送り手と受け手 の認識の齯䶣を生じさせるものとなった. もともと タングラム命名課題は，タングラムの多義性を利用 し，コミュニケーションの開始時に十分なコモング ラウンドが存在しない状況を形成することを意図し たものである. その意味で，本研究は，この課題の 前提を，複数の深層学習モデルの統合によってデモ ンストレートしたものとみなせる.

## 4 おわりに

本稿では，コモングラウンド形成の背後にある認知プロセスをシミュレーションする計算機モデルの 構想を示した. なお，タングラム命名課題を深層学習によってモデル化した事例は既に存在する [16]. この先行研究に対して, 本研究は, 認知アーキテク チャに基づくモジュールの仮定に基づくことに特徴

図 4 送り手と受け手の混同行列.

がある．深層学習モデルに埋め込まれたサブシンボ リックな知識構造を利用することで，タングラムの 知覚から言語ラベルの生成，言語ラベルの聴取から タングラムの同定までの処理を試作した。試作した 実行結果を検討することで，タングラム命名課題に おける送り手と受け手のミスコミュニケーションを 表現した。

本稿において示された多義性を解消する手段は複数考えられる. まず，本研究で扱った複数の深層学習モデルは異なるデータセットから構成された。こ れらの整合を図ることで，送り手と受け手の一致率 が向上する可能性がある．また，本研究の受け手モ デルが同定したタングラムは，図 4 に示されるよう に一部（6 列目）に偏っている。このようなタング ラムの同定に関する競合を対話相手とのインタラク ションのなかで解消する仕組みが必要である．こう いったノイズを含む状況でのコモングラウンドの調整は，対話理解を報酬とした強化学習によって解決 できる可能性があり [17]，対話理解の報酬を発生さ せるためには，本研究ではモデルの詳細化ができな かった部分処理などのプロセスも必要になる．全体処理的な発話から受け手が部分処理を返すことで，両者の認識の一致を確かめることができるようにな ると考える. 先述の先行研究 [16] は事前学習された モデルをタングラム課題のデータでファインチュー ニングすること，送り手のメッセージに部分処理の 表現を付与することで，同定率が向上することを示 している.

今後，上記の検討を進めることで，本稿で示した フレームワークの完成を目指す。そして，フレーム ワークに基づくモデルが完成することで，人間のコ モングラウンド形成に対する理解が成し遂げられ，同時に人とコモングラウンドを共有する人工物の構築がなされると考える [18].

## 参考文献

[1] Herbert H Clark and Deanna Wilkes-Gibbs. Referring as a collaborative process. Cognition, Vol. 22, No. 1, pp. 1-39, 1986.

[2] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[5] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[6] John E Laird. The Soar cognitive architecture. MIT press, 2019.

[7] John R Anderson. How can the human mind occur in the physical universe? Oxford University Press, 2007.

[8] 須藤早喜, 浅野恭四郎, 光田航, 東中竜一郎, 竹内勇剛. 推測的かつ暫定的な対話による共通基盤の形成過程. 電子情報通信学会和文論文誌 (D), Vol. 106, 。

[9] John E Laird, Christian Lebiere, and Paul S Rosenbloom. A standard model of the mind: Toward a common computational framework across artificial intelligence, cognitive science, neuroscience, and robotics. Al Magazine, Vol. 38, No. 4, pp. 13-26, 2017.

[10] Robert Geirhos, Patricia Rubisch, Claudio Michaelis, Matthias Bethge, Felix A Wichmann, and Wieland Brendel. Imagenet-trained cnns are biased towards texture; increasing shape bias improves accuracy and robustness. arXiv preprint arXiv:1811.12231, 2018.

[11] Haohan Wang, Songwei Ge, Zachary Lipton, and Eric P Xing. Learning robust global representations by penalizing local predictive power. In Advances in Neural Information Processing Systems, pp. 10506-10518, 2019.

[12] Pablo F Alcantarilla and T Solutions. Fast explicit diffusion for accelerated features in nonlinear scale spaces. IEEE Trans. Patt. Anal. Mach. Intell, Vol. 34, No. 7, pp. 1281-1298, 2011.

[13] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 x 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.

[14] Ankur Kumar. The illustrated image captioning using transformers. ankur3107.github.io, 2022.

[15] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In 2022 IEEE/CVF Conference on Computer Vision and
Pattern Recognition (CVPR), 2022.

[16] Anya Ji, Noriyuki Kojima, Noah Rush, Alane Suhr, Wai Keen Vong, Robert D. Hawkins, and Yoav Artzi. Abstract visual reasoning with tangram shapes. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, 2022.

[17] Atsumoto Ohashi and Ryuichiro Higashinaka. Adaptive natural language generation for task-oriented dialogue via reinforcement learning. Proceedings of the 29th International Conference on Computational Linguistics, p. 242-252, 2022.

[18] Roberto Dessì, Eugene Kharitonov, and Baroni Marco. Interpretable agent communication from scratch (with a generic visual processor emerging on the side). Advances in Neural Information Processing Systems, Vol. 34, pp. 26937-26949, 2021.


# 銘柄特徵と投資家特性を考慮した株式銘柄推薦の個別化

高柳剛弘 ${ }^{1}$ 坂地泰紀 ${ }^{1}$ 和泉潔 ${ }^{1}$
1 東京大学 大学院工学系研究科
m2021ttakayanagi@socsim. org

## 概要

本研究では銘柄特徵と投資家特性を考慮した銘柄推薦モデルを提案する．提案手法では銘柄のテク ニカル指標，ファンダメンタル指標，事業活動の情報を抽出し銘柄ベクトルを作成し，投資家の心理特性，行動特性，属性情報を活用して投資家ベクトル を作成する．最後に協調フィルタリングにより銘柄 の推薦を行う. 個人投資家の取引データを用いて 行った実験により、提案手法の精度が既存手法の精度を上回ることを確認し, 銘柄推薦に対して銘柄特徵と投資家特性を考慮することの有用性を示した。

## 1 はじめに

資産運用を行う個人投資家の増加に伴い銘柄推薦 の必要性が増加している. 個人投資家に銘柄を推薦 する銘柄推薦において，個人投資家がポートフォリ オを構築する目的は個人投資家ごとに異なるため，銘柄推薦をパーソナライズするとが重要である．例 えば，投資家の中には高いリターンのみを求める投資家に加えて，より慣れ親しんだ (familiar) ポート フォリオを求める投資家も存在する。

Personalized された銘柄推薦の研究では個人投資家のリスク許容度と銘柄のリスクリターンに基づい て銘柄推薦をパーソナライズする手法がよく用い られる $[1,2,3]$. 例えば，Robin はユーザーのポート フォリオから投資家のリスク許容度を推定し，株式 のリスクリターンと投資家のリスク許容度との関連性に基づいて，協調フィルタリングを用いて銘柄推薦のパーソナライズを行っている [1]. これらを背景とし, 本研究では personalized された銘柄推薦に 取り組む.

Personalized された銘柄推薦には二つの課題が存在する。一つ目の課題は銘柄の特性の考慮が十分で ないという点である. 先行研究では銘柄の特徴の中 でもリスクリターンのみに焦点を当てることが多 い.しかしながら，個人投資家は銘柄を選択する際
に銘柄のさまざまな側面を考慮して投資の意思決定 を行っている. 特に，個人投資家は主に 3 つの要因 を分析して意思決定を行うと考えられる。

## テクニカル指標

個人投資家は銘柄に対するテクニカル分析を行 い過去のトレンド，パターンを分析する.

## ファンダメンタル指標

個人投資家は経済指標や財務指標などを分析 することで企業の財務状況や経営状況を評価 する。

## 事業活動

個人投資家は決算短信やニュースデータなどの テキストデータから，企業の事業活動を分析す る $[4,5,6]$.

したがって，より良いパーソナライズを行うため には銘柄のテクニカル指標、ファンダメンタル指標、事業活動を考慮することが重要である. テクニ カル指標やファンダメンタル指標は量的な情報であ る一方で，事業活動はテキストデータやネットワー クデータなどの非構造化データにあらわれる。この ことから，銘柄推薦で事業活動を考慮する際には非構造データからの特徴抽出を行う必要がある.

二つ目の課題は個人投資家の特性に対するパーソ ナライズが不十分な点である. 先行研究では個人投資家のリスク許容度に基づきパーソナライズをして いるが，投資家モデリングの実証研究において性格特性や行動バイアスなどの心理特性と投資家行動の 関連性が示されている $[7,8,9,10]$. この中で，個人投資家の複雑な性質をリスク許容度という一つの変数により表すことが適切かどうかは明らかでない. したがって，より良いパーソナライズを行うために はこれらの投資家特性を考慮する必要がある.

本研究では銘柄特徴と投資家特性を考慮した銘柄推薦モデルを提案する.

図 1 提案手法の概要

## 2 提案手法

図 1 に示すよう提案手法は以下の三つのステッ プで構成される. Step1 では銘柄のテクニカル指標, ファンダメンタル指標，事業活動など銘柄の特徴 を抽出し，銘柄のベクトル表現を獲得する．Step2 では投資家の性格特性，行動特性，投資家の属性情報から投資家のベクトル表現を獲得する．Step3 では銘柄と投資家のベクトル表現を利用し Neural Collaborative Filtering Model を構築し, 銘柄推薦を 行う.

## 2.1 銘柄特徵の獲得

時刻 $t$ における銘柄 $i$ のテクニカル指標とファン ダメンタル指標は次のように計算される。

$
\text { technical }_{t, i}=T C\left(v_{t, i} \ldots v_{t+n, i}\right)
$

$
\text { fundamental }_{t, i}=F C\left(w_{t, i}\right)
$

ここで $v_{t, i}$ は時刻 $t$ における銘柄 $i$ の終值, $n$ はテク ニカル指標の計算に必要な期間， $w_{t, i}$ は時刻 $t$ に おける銘柄 $i$ の利益や売上高などの財務情報, $T C$ はボリンジャーボンドなどのテクニカル指標を株価時系列から計算する関数， $F C$ は Earnings Price Share(EPS) などのファンダメンタル指標を財務情報から計算する関数, そして technical ${ }_{t, i} \in \mathbb{R}^{k_{t}}$, と fundamental $_{t, i} \in \mathbb{R}^{k_{f}}$, は時刻 $t$ における銘柄 $i$ のテ
クニカル指標，ファンダメンタル指標を表すべクト ルである. 非構造データから事業活動を抽出する特徴抽出では，Takayanagi etal. で提案されたネット ワークデータとテキストデータから事業活動情報を 抽出する銘柄埋め込み (Stock Embedding) 手法を用い る [11]. Stock embedding は以下のように計算される

$
\begin{aligned}
& h_{\mathrm{BERT}, i}=\operatorname{BERT}\left(x_{i}\right) \\
& h_{\mathrm{GCN}, i}=\operatorname{ReLU}\left(\sum_{j \in N_{i}} \hat{D}^{-\frac{1}{2}} \hat{A} \hat{D}^{-\frac{1}{2}} h_{j} W+b\right) \\
& h_{\operatorname{BERT}, i}=\operatorname{BERT}\left(x_{i}\right) \\
& h_{\mathrm{GCN}, i}=\mathrm{GCN}\left(h_{\mathrm{BERT}, i}\right) \\
& \mathrm{emb}_{i}=h_{\mathrm{BERT}, i}+h_{\mathrm{GCN}, i}
\end{aligned}
$

ここで $x_{i}$ は target stock $i$ のテキストディスクリプ ションで， $h_{\mathrm{BERT}, i} \in \mathbb{R}$ はプールされた BERT の出力, $N_{i}$ は銘柄 $i$ の隣接銘柄で, $\hat{A}=A+I$ は因果 チェーン [12] により構築される企業ネットワークの 隣接行列で, $\hat{D}_{i, i}=\sum_{j=0} \hat{A}_{i j}$ は diagonal degree matrix であり, $h_{i}$ は Graph Convolutional Network(GCN)への 入力， $W$ は重み行列， $b$ はバイアス，そして $S_{\mathrm{emb}, i}$ は銘柄 $i$ の事業活動のべクトル表現である.

そして，提案手法では Multi-layer perceptron(MLP)層を用いる。

$
\begin{gathered}
S_{\text {technical }, t, i}=\operatorname{ReLU}\left(W_{\text {tech }} \text { technical }_{t, i}+b_{\text {tech }}\right) \\
S_{\text {fundamental }, t, i}=\operatorname{ReLU}\left(W_{\text {fund }} \text { fundamental }_{t, i}+b_{\text {fund }}\right)
\end{gathered}
$

$
S_{\mathrm{emb}, i}=\operatorname{ReLU}\left(W_{\mathrm{emb} \mathrm{emb}_{i}}+b_{\mathrm{emb}}\right)
$
ここで $W_{\text {tech }} \in \mathbb{R}^{l \times k_{t}}, \quad W_{\text {fund }} \in \mathbb{R}^{l \times k_{f}}, \quad W_{\text {emb }} \in \mathbb{R}^{l \times k_{e}}$, $b_{\text {tech }}, \quad b_{\text {fund }}, \quad b_{\text {emb }} \in \mathbb{R}^{l}$ であり,$l$ は銘柄のベクト ル表現の次元数である. 銘柄のベクトル表現 $q_{i}$ は 以下のように計算される。

$
q_{i}^{\mathrm{MF}}=S_{\text {technical, } t, i} \odot S_{\text {fundamental }, t i} \odot S_{\text {embi }} \odot p_{i}
$

$
q_{i}^{\mathrm{MLP}}=\left[S_{\text {technical }, t, i} \odot S_{\text {fundamental }, t, i} \odot S_{\mathrm{emb}, i} \| p_{i}\right]
$

ここで $p_{i}$ は銘柄 $i$ のワンホットベクトルであ り，๑は Hadamard productを表し，\|は concatenation operationを表す.ここでは， Hadamard productを先 に計算し次に concatenation operationを行う. $q{ }_{i}^{\text {MLP }}$ は MLP 層の銘柄ベクトルの入力で， $q_{i}^{\mathrm{MF}} \mathrm{i}$ は matrix factorization(MF) 層の銘柄ベクトルの入力である.

## 2.2 投資家特性の獲得

次に投資家の特性を分析する. $u$ を投資家で， $I_{\text {Attributes }, u}, I_{\text {Personality }, u}, \quad I_{\text {Behavioral }, u}$ を投資家 $u$ の属性，性格特性，行動特性とする。投資家特性 $I_{u}$ は以下のように示される.

$
I_{u}=\left[I_{\text {Attributes }, u}\left.\|I_{\text {Personality }, u}\right.\| I_{\text {Behavioral }, u}\right]
$

投資家ベクトル $r_{u}$ は以下のように計算される.

$
\begin{aligned}
r_{u}^{\mathrm{MF}} & =I_{u} \odot p_{u} \\
r_{u}^{\mathrm{MLP}} & =\left[I_{u} \| p_{u}\right]
\end{aligned}
$

ここで $p_{u}$ は投資家 $u$ のワンホットベクトルである. $r_{u}^{\mathrm{MLP}}$ は MLP 層の投資家べクトルの入力で， $r_{u}^{\mathrm{MF}}$ は $\mathrm{MF}$ 層の投資家ベクトルの入力である.

## 2.3 協調フィルタリング

最後に，協調フィルタリングを用いて銘柄の推薦 を行う. He etal. に従い predicted preference $y_{u, i}$ を以下のように計算する.

$
\begin{gathered}
\phi^{\mathrm{GF}}=q_{i}^{M F} \odot r_{u}^{M F} \\
\phi^{\mathrm{MLP}}=a_{L}\left(a_{L-1}\left(\ldots a_{2}\left(W_{2}\left[q_{i}^{M F} \| r_{u}^{M F}\right]+b_{2}\right) \ldots\right)+b_{L}\right) \\
\hat{y}_{u, i}=\sigma\left(W_{F}\left[\phi^{\mathrm{GF}} \| \phi^{\mathrm{MLP}}\right]+b_{F}\right) \\
\text { ここで } \sigma \text { はシグモイド関数, } a_{l} \text { は } \operatorname{ReLU} \text { などの活 } \\
\text { 性化関数, } W_{l} \text { と } W_{F} \text { は重み行列, } b_{l} \text { と } b_{F} \text { はバイ } \\
\text { アスを表している. }
\end{gathered}
$

## 2.4 損失関数

損失関数は以下のように定義される.

$
\begin{aligned}
& p\left(\mathcal{Y}, \mathscr{Y}^{-} \mid \mathbf{Q}, \mathbf{R}, \Theta f\right)=\prod_{(u, i) \in \mathcal{Y}} y_{\hat{u}, i} \prod_{(u, i) \in \mathcal{Y}^{-}}\left(1-y_{\hat{u}, i}\right) \\
& L=-\sum_{(u, i) \in \mathcal{Y}} \log \hat{y}_{\hat{u}, i}-\sum_{(u, i) \in \mathcal{Y}^{-}} \log \left(1-\hat{y_{u}, i}\right) \\
& =-\sum_{(u, i) \in \hat{y} \cup y^{-}} y_{u, i} \log y_{\hat{u}, i}+\left(1-y_{u i}\right) \log \left(1-y_{\hat{u}, i}\right)
\end{aligned}
$

ここで $y$ は正例， $y$ - は負例， $y_{u, i}$ は投資家 $u$ の銘柄 $i$ へ implicit feedback であり, $\mathbf{Q}$ と $\mathbf{R}$ は銘柄と 投資家の latent factor matrix である. 負例 $y^{-}$に関し ては，それぞれの投資家が未だ保有していない銘柄の集合から uniform sampling を行った.

## 3 実験設定

## 3.1 データセット

## 3.1.1 銘柄特性

本研究においてテクニカル指標はボリンジャー バンド，移動平均収束発散法，相対力指数，平均方向性指数，そしてストキャスティクスを用いた. ファンダメンタル指標は一株当たり利益 (earnings per share)，一株当たり純資産 (book value per share),株価収益率 (price-to-earnings ratio), そして 自己資本利益率 (return on equity) を用いた.

## 3.1.2 個人投資家特性

本研究では個人投資家の特性として性格特性，行動特性，属性情報を用いた。性格特性は 10 項目か らならアンケート ten-item personality inventory (TIPI) $[13,14]$ を用いて収集した. 行動特性は危険選好 (risk preference), 時間割引率 (time discount), 自信過剰 (overconfidence), 双曲割引 (hyperbolic discounting), 符号効果 (sign effec)，マグニチュード効果 (magnitude effect)を大阪大学の Japan Household Panel Survey $(\mathrm{JHPS})^{1)}$ を参考にしてアンケートを作成して収集し た. 属性情報は年齢，収入，金融資産の量，投資経験を用いた。

## 3.1.3 取引データ

本研究では証券会社から提供された 969 名の投資家の 2020 年の 7 月から 2022 の 9 月までの取引デー タを用いて研究を行った. 前処理として, 取引デー タを $m$ 投資家と $n$ 銘柄の user-item matrix $U_{f} \in \mathbb{R}^{m \times n}$ を以下のように定義した。

$
\left(U_{f}\right)_{i j}=f(i, j)
$

ここで $q_{i, j, t}$ は投資家 $i$ の時刻 $t$ における銘柄 $\mathrm{j}$ の ポートフォリオである.

$
q_{i, j, t}=\left.\{\begin{array}{ll}
1 & \text { if user } i \text { holds stock } j \text { in time } t \\
0 & \text { otherwise }
\end{array} .\right.
$

本研究では implicit feedback collaborative filtering useritem matrix $R$ を $U_{f_{R}}$ として Equation 21 に定義して いる.

$
f_{R}(i, j)=\left.\{\begin{array}{ll}
1 & \text { if there is } t \in T \text { s. } t . q_{i, j, t} \neq 0 \\
0 & \text { otherwise }
\end{array} .\right.
$

ここで $T \mathrm{i}$ は全体の期間である. ここで $R$ の各列 は，それぞれの投資家 $i$ が銘柄 $j$ を保有したか否か を示している。

## 3.2 タスクと評価指標

本研究では投資家が次に保有する新規銘柄を予測 するタスクである新規銘柄推薦タスクにより評価 をおこなう．データセットから各投資家の最新のト ランザクションをテストデータとして，それ以外の データをトレインデータとして用いる．銘柄推薦の 評価指標として HR@10と NDCG@10を用いる. 評価時には過去に投資家が購買したことのない 99 銘柄をランダムにサンプリングして，テストアイテム と合わせて合計 100 銘柄のランキングを取り，リス トの上位 10 銘柄をもちいて評価を行う。

## 4 結果

表 1 実験結果

図 25 つのシード値を用いた HR の箱ひげ図.ひげは最小値と最大値を示し，箱は第 1 四分位数，中央值，第 3 四分位数を表している.

図 35 つのシード値を用いた NDCG の箱ひげ図。ひげは 最小値と最大値を示し，箱は第 1 四分位数，中央值，第 3 四分位数を表している.

表 1 は実験の結果を示す. 提案手法，ベースラ インモデルに対して五つの異なるシード值で評価 し，スコアの平均を報告した。結果として提案手法が HR，NDCG 双方の評価指標でどちらもべース ラインである Generalized Matrix Factorization(GMF), MLP， Neural Matric Factroziation(NeuMF) [15] をアウ トパフォームしていることが確認できる.

図 2 と図 3 は異なるシードに対するそれぞれ $\mathrm{HR}$ ， NDCG の箱ひげ図である. 図からも提案手法が安定的にベースラインを上回ることが確認できる.

## 5 終わりに

本研究では銘柄特徴と投資家特性の Context を考慮した銘柄推薦モデルの提案を行った. 本研究では 銘柄特性として銘柄のテクニカル指標，ファンダメ ンタル指標，事業活動を，投資家特性として性格特性，行動特性，属性情報を考慮したモデルを提案し た. 実験結果により提案手法はベースラインを超え る性能を示した。

## 謝辞

本研究は大和証券グループ本社とそのグループ会社である株式会社 CONNECT の支援を受けたもの である. 加えて, 本研究は JSPS 科研費 JP21K12010 と JST 未来社会創造事業 JPMJMI20B1 の助成を受けた ものである.

## 参考文献

[1] Robin M. E. Swezey and Bruno Charron. Large-scale recommendation for portfolio optimization. In Proceedings of the 12th ACM Conference on Recommender Systems, pp. 382-386, 2018.

[2] Yang Yujun, Li Jianping, and Yang Yimei. An efficient stock recommendation model based on big order net inflow. Mathematical Problems in Engineering, Vol. 2016, pp. $1-15,2016$.

[3] Kohsuke Kubota, Hiroyuki Sato, Wataru Yamada, Keiichi Ochiai, and Hiroshi Kawakami. Content-based stock recommendation using smartphone data. Journal of Information Processing, Vol. 30, pp. 361-371, 2022.

[4] JOSEPH E. ENGELBERG and CHRISTOPHER A. PARSONS. The causal impact of media in financial markets. The Journal of Finance, Vol. 66, No. 1, pp. 67-97, 2011.

[5] Brad M. Barber and Terrance Odean. All That Glitters: The Effect of Attention and News on the Buying Behavior of Individual and Institutional Investors. The Review of Financial Studies, Vol. 21, No. 2, pp. 785-818, 2007.

[6] Stefano Dellavigna and Joshua M. Pollet. Investor Inattention and Friday Earnings Announcements. Journal of Finance, Vol. 64, No. 2, pp. 709-749, 2009.

[7] Chris Brooks and Louis Williams. The impact of personality traits on attitude to financial risk. Research in International Business and Finance, Vol. 58, p. 101501, 2021 .

[8] Fatima Akhtar, K. Thyagaraj, and Niladri Das. Perceived investment performance of individual investors is related to the big-five and the general factor of personality (gpf). Global Business Review, Vol. 19, p. 097215091771352 , 2017.

[9] Cheng-Po Lai. Personality traits and stock investment of individuals. Sustainability, Vol. 11, No. 19, 2019.

[10] Ummuhan Mutlu and Gökhan Özer. The effects of personality traits on financial behaviour. Pressacademia, Vol. 8, pp. 155-164, 2019.

[11] Takayanagi Takehiro, Sakaji Hiroki, and Izumi Kiyoshi. Setn: Stock embedding enhanced with textual and network information. In 2022 IEEE International Conference on Big Data (Big Data), 2022.

[12] Izumi Kiyoshi and Sakaji Hiroki. Economic causalchain search using text mining technology. In the First Workshop on Financial Technology and Natural Language Processing In conjunction with the 28th International Joint Conference on Artificial Intelligence, pp. 61-65, 2019.

[13] Samuel D Gosling, Peter J Rentfrow, and William B
Swann. A very brief measure of the big-five personality domains. Journal of Research in Personality, Vol. 37, No. 6, pp. 504-528, 2003.

[14] Atsushi Oshio, Atsushi Abe, Shingo Cutrone, and Pino Gosling Samuel. Big Five Content Representation of the Japanese Version of the Ten-Item Personality Inventory. Psychology, Vol. 4, pp. 924-929, 2013.

[15] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, $\mathrm{Xia} \mathrm{Hu}$, and Tat-Seng Chua. Neural collaborative filtering. WWW '17, p. 173-182. International World Wide Web Conferences Steering Committee, 2017.


# RNN はラテン語からロマンス語への活用変化を再現するか？

川崎義史
東京大学
ykawasaki@g.ecc.u-tokyo.ac.jp

## 概要

本稿では，ラテン語からロマンス語への発達にお ける動詞活用の変化を計算機上で再現し，計算歴史言語学の見地から分析を行った。具体的には，系列変換モデルにラテン語の動詞活用を学習させ，その 出力形を分析した。その結果，以下のことが判明し た：(1）正解率の分布は予測と合致した；（2）正解率は，ラテン語からロマンス語への変化の大きさと 負の相関を示した；（3）誤出力の中にはロマンス語 を彷彿させる語形が見られた。

## 1 はじめに

ラテン語は, 名詞・形容詞の曲用と動詞の活用を持つ屈折語である [1]。名詞は数・格に応じ て $2 \times 6=12$ 変化, 形容詞は性・数・格に応じて $3 \times 2 \times 6=36$ 変化する。動詞は，法・態・時制・人称・数に応じて一層複雑に活用する。能動態では,表 1 のチェックマークの記された法と時制におい $\tau$, 主語の人称 ( 1 人称, 2 人称, 3 人称) と数 (単数，複数）に応じて最大 $3 \times 2=6$ 変化する。受動態 でも同様に活用する。つまり，1つの動詞は，能動態・受動態の直説法 6 時制と接続法 4 時制だけで, $2 \times(6+4) \times 6=120$ 変化する。さらに, 命令法・不定詞・分詞の形も存在する。例として, 表 2 は, AMĀRE 「愛する」の直説法・能動態・現在と完了の活用を示 している1)。太字は強勢母音を，一は長母音を表す。不規則動詞は除き， 4 種類の動詞活用クラスがあ り，それぞれ独自の語尾変化を持つ2)。動詞の正確 な活用には, 直説法 $\cdot$ 能動態 $\cdot$ 現在 $\cdot 1$ 人称単数, 不定詞 - 能動態 - 現在，直説法 - 能動態 - 完了 - 1 人称単数，完了受動分詞 - 中性 - 単数の 4 つの語形が 必須となる。例えば， AMĀRE の場合は，順に AMŌ, AMĀRE, AMĀVĪ, AMĀTUM となる。これらの語形の間に は一定の対応関係が存在するものの，一般的には，

1）本稿では，能動態・現在の不定詞で動詞を代表させる。

2）厳密には，第 3 活用には $\mathrm{a}$ と $\mathrm{b}$ の 2 種類がある。表 1 ラテン語の能動態の動詞活用 : チェックマークは該当する法や時制の活用が存在することを表す。

表 2 AMĀRE「愛する」の直説法・能動態・現在（左）と完了（右）の活用表：太字は強勢母音を，一は長母音を表す。

} & \multicolumn{2}{|c|}{ 現在 } & \multicolumn{2}{|c|}{ 完了 } \\

ある形から他の形を導出することはできない。

ラテン語から派生したイタリア語，スペイン語, フランス語，ポルトガル語，ルーマニア語等の言語 はロマンス語と総称される $[2]^{3}$ )。ラテン語の直説法・能動態・未来や受動態の一部の活用などは，ロ マンス語に継承されずに消滅した。その代わりに, ロマンス語は，未来や受動を表現するための独自の 活用を発達させた [4]。ロマンス語に継承された活用では，類推作用 $[5,6,7]$ により平準化が進み，活用形の不規則性は減少した。活用の消滅や平準化の 進展などについて事後的な記述は可能であるが，こ れらの変化の蓋然性は自明ではない。

そこで，本稿では，「話者により体系が作られる」 という考え [8] に基づき，ラテン語からロマンス語 への発達における動詞活用の変化を計算機上で再現 し，計算歴史言語学の見地から分析を行う。具体的 には，Recurrent Neural Network（RNN）を利用する 系列変換モデル [9] を話者に見立て，ラテン語の動詞活用の形態論を学習させる。そして，学習済みモ

3）正確には，ロマンス語は，文語の（古典）ラテン語ではな く口語の俗ラテン語 [3] から発達したものである。しかし，後者の文字資料は存在しない。そのため，本稿では，前者を ロマンス語の母体とみなして分析を行う。

デルの出力形の分析を行い，下記の問いに答える：

・学習が困難な動詞や活用は存在するか？
- 各活用の正解率は，ラテン語からロマンス語へ の発達における変化の大きさを反映するか？

・誤出力に何らかの特徴が見られるか？

本稿の構成は次の通りである。2 節で関連研究を 概観する。3 節で手法の解説，4 節で実験設定の説明を行う。 5 節で考察を行い，6 節で結論と今後の 課題を述べる。

## 2 関連研究

本稿は, Paradigm Cell Filling Problem (PCFP)[10] と 関連している。PCFP とは，名詞や動詞の活用形の 一部が与えられた状況で，未知の活用形を予測する タスクである。[11,12] は，系列変換モデルでこの タスクに取り組んだ。複数の言語での実験結果を報告しているが，出力結果の詳細な分析はない。

[13] は，英語の不規則な過去形の通時的な規則化 (-ed の付加) を計量的に分析し, 規則化率 $\propto$ 使用頻度 ${ }^{0.5}$ となることを発見した。[14] は，系列変換モ デルで英語の過去形の習得をモデル化し，習得過程 で見られるU 字カーブの再現を報告している。

[15] は，系列変換モデルで「言語もどき」の語順 の学習と世代間継承をモデル化した。創発するパ ターンを分析し, 長距離依存を嫌う傾向を発見し た。対象は自然言語ではないが，系列変換モデルで 言語変化をモデル化した点で特筆に値する。

本稿では，ラテン語の動詞活用全体を系列変換モ デルに学習させ， ロマンス語とも対照しつつ，学習済みモデルの振る舞いを詳細に分析する。

## 3 手法

系列変換モデルに，ラテン語の動詞活用の形態論 を学習させる。符号化器には Bi-LSTM, 復号器には 注意機構付きの LSTM を用いる。不定詞と活用形 の形態情報を入力し, 文字単位で活用形を出力させ る。形態情報は, 法/態/時制/人称・数を連結したも のとする。文字と同様に，不定詞と形態情報も 1 つ のトークンとする。図 1 に手法概略図を示す。例え ば, ama:re, ind/act/pres/2pl $\mapsto$ ama\#a:tisのよう な変換を学習させる。形態情報のind/act/pres/2pl は，直説法/能動態/現在 $/ 2$ 人称複数を表す。また，: は長音を，井は直後の音節に強勢があることを表す 記号とする。

図 1 手法概略図 : 系列変換モデルにラテン語の動詞活用 を学習させる。不定詞と活用形の形態情報を入力し，文字単位で活用形を出力させる。符号化器には Bi-LSTM,復号器には注意機構付きの LSTM を用いる。

本稿の狙いは，正解率の向上ではなく，学習が進 んだ時点でのモデルの振る舞いの分析である。その ため，検証データの正解率が一定の值に達するまで 訓練データで学習を行う。出力形と正解形が完全に 一致する場合のみ，正解とする。その後，モデルが 産出するテストデータの出力形を詳細に分析する。

## 4 実験

データセットは 2 万件の入出力ペアとし， $8: 1: 1$ で訓練データ，検証データ，テストデータに分割 した。使用する動詞は, [16] 収録の 586 種類とし た。母音の長短は [17] に従った。古典語コーパス PhiloLogic44）における使用頻度に基づいて動詞を サンプリングした。ただし，同一データの重複を避 けたため，コーパス頻度に比べて滑らかな分布と なった。法は, 直説法: 接続法: 命令法: 不定詞: 分詞 $=6: 4: 1: 1: 1$ の割合でサンプリングした。直説法の 6 時制，接続法の 4 時制に対し，命令法・不定詞・分詞の活用は一部の時制や人称・数に限られ るため，割合を 1 とした（表 1 参照）。ただし，上記 の割合はコーパス頻度を反映しておらず，暫定的な ものである。態，時制，人称・数は，いずれのカテ ゴリも一様分布からサンプリングした。

埋め込み次元は 32 ，隠れ状態の次元は 64 ，エポッ ク数は 100 とした。分析には一定量の誤出力を必要 とするため，検証データの正解率は 9 割程度に抑え た。上記のパラメータ設定は，この基準を辛うじて 満たすものだった。検証データとテストデータの正解率は，それぞれ，0.889，0.892だった。

## 5 考察

本節では，テストデータの出力に基づき分析を行 う。仮説検定の有意水準は 0.05 とする。

形式受動態動詞 ラテン語には，意味は能動だ が活用は受動態を用いる形式受動態動詞と呼ば

表 4 未完了系・完了系の正解率法/態/系 正解率

直説法/能動態/未完了系 $0.865(294 / 340)$
直説法/能動態/完了系 $0.921(268 / 291)$直説法/受動態/未完了系 $0.919(216 / 235)$直説法/受動態/完了系 $\quad 0.982(214 / 218)$接続法/能動態/未完了系 $0.845(131 / 155)$接続法/能動態/完了系 $0.959(163 / 170)$接続法/受動態/未完了系 $0.915(108 / 118)$接続法/受動態/完了系 $0.985(135 / 137)$

れる動詞が存在する $[1]$ 。これらの動詞の態は，意味に基づき能動態とした。形式受動態動詞の 正解率は 0.559 (62/111) で，それ以外の動詞の正解率 $0.912(1723 / 1889)$ に比べ，有意に低かった ( $p<0.001)$ 。全体に占める割合の小ささと「意味は 能動だが活用は受動態」という特殊性が，学習を困難にしていると考えられる。そのために，形式受動態動詞は, その他の動詞と同様の能動態動詞に変転 しロマンス語に継承されたと推定される [4]。これ 以降，形式受動態動詞は分析から除外する。

学習困難な活用 表 3 に，各形態情報（法/態のレ ベル）の正解率を示す。法は直説法と接続法に限定 した。いずれの態でも, 直説法と接続法の正解率に 有意な差は見られなかった。一方，いずれの法で も，能動態の正解率は受動態よりも有意に低かった （直説法では $p<0.001 ，$ 接続法では $p=0.014$ )。能動態の正解率の低さは，学習困難な形式受動態動詞 や不規則動詞に起因すると考えられる。

次に，未完了系と完了系の振る舞いを分析する。 ラテン語の動詞活用は, 未完了系 (現在・未完了・未来）と完了系（完了・過去完了・未来完了）に二分される (表 1 参照)。いずれの態でも，未完了系 は，活用クラスごとに活用語尾が異なる。一方，完了系は, 活用の仕様が全活用クラスで共通である。 そのため, 未完了系の方が完了系よりも学習が困難 だと予想される。表 4 に示す実験結果は, この予想 を支持する。直説法/能動態 $(p=0.011)$, 直説法/受動態 $(p=0.001)$, 接続法/能動態 $(p=0.001)$, 接続法/受動態 $(p=0.004)$ の全てで，未完了系の正解率 は完了系よりも有意に低かった。表 5 は，各形態情報（法/態/時制のレベル）の正解率を示している。この結果を，ラテン語からロマ ンス語への発達の過程で生じた形態的変化の大き さと対照してみたい。一つの方策として，[4] で各活用の説明に割かれている紙数を形態的変化の大 きさの代理変数とみなすことにする5）。大きな変化 を経た活用ほど，割かれる紙数も大きくなると予想 される。分析対象は，ロマンス語に継承された以下の活用とした：直説法/能動態/現在，直説法/能動態/未完了，直説法/能動態/完了，直説法/能動態/過去完了，直説法/能動態/未来完了，接続法/能動態/現在，接続法/能動態/完了，接続法/能動態/過去完了,不定詞/能動態/現在，分詞/受動態/完了。ロマンス語 に継承されなかった活用（直説法・能動態・未来や 一部の受動態など）やラテン語に対応するものが ない活用（ロマンス語の直説法・能動態・未来な ど）は除外した。正解率と紙数の順位相関係数は $\rho=-0.728(p=0.017)$ で，統計的に有意な強い負の 相関を示した。これは，学習困難なラテン語の活用 ほど，ロマンス語発達の過程で大きな変化を受けた ことを示唆する。この変化の実体は，類推作用によ る活用形の平準化である [4]。モデルの出力が，現実の通時変化の傾向と合致したことは興味深い。

しかしながら，正解率が高い活用が必ずしもロマ ンス語に継承されるわけではない。例えば，直説法・能動態・未来，接続法・能動態・未完了や受動態の正解率は低くはないが，ロマンス語に継承され なかった。これらの活用の消失は, 形態面の学習困難性では説明できず，言語内外の他の要因の検討が 必要となる。

活用クラス 表 6 は，各活用クラスの正解率を示 している。活用4クラス間の正解率に有意な差は見 られなかった。一方，不規則動詞の正解率は，いず れの活用クラスよりも，有意に低かった $(p<0.01)$ 。

訓練データ頻度 各動詞の訓練データにおける 出現頻度と正解率の順位相関係数は $\rho=0.205(p<$ 0.001 )で，有意な正の相関が見られた。低頻度の動詞ほど学習困難という傾向は直感と合致する。

一方, 訓練データにおける形態情報（法/態/時制のレベル）の頻度と正解率の順位相関係数は $\rho=0.134(p=0.436)$ で, 有意な相関は見られなかっ た。これは，頻度とは独立に，学習が容易（困難） な形態情報が存在することを示唆する。

5）実際には，音変化により誘発された変化も多く [4]，純䊀 に形態的変化のみを定量化することは困難である。

ロマンス語形の出現 誤出力の中には, 俗ラテン 語やロマンス語を彷彿させる下記の語形が散見さ れた。これらの語形はラテン語としては誤りである が，ロマンス語としては尤もらしいものである。ラ テン語の動詞活用を学習する過程で，モデルは類推作用 $[5,6,7]$ を獲得し, これらの語形を生み出した と言える。つまり，ラテン語内部にロマンス語を生 み出す契機が胚胎されていることを示唆している。

・形式受動態動詞の能動動詞化：LOQUī「話す」の 直説法/能動態/現在 $/ 2$ 人称単数の出力形 l\#oquis （正解は l\#oqueris）
- 不規則動詞の規則化：POSSE「できる」の直説法/能動態/未完了 $/ 3$ 人称複数の出力形 pot\#e:bant （正解は p\#oterant）
- 第 2 活用と第 $3 \mathrm{a}$ 活用の混同：EXCĒDERE「去 る」の直説法/能動態/現在 $/ 2$ 人称複数の出力形 exce:d\#e:tis（正解は exc\#e:ditis）
- 第 $3 \mathrm{a}$ 活用と第 $3 \mathrm{~b}$ 活用の混同：DĒFICERE「不足 する」の直説法/能動態/現在 3 人称複数の出力形d\#e:ficunt（正解は de:f\#iciunt）
- 強勢位置の移動：EXCIPERE「除外する」の直説法/能動態/現在 $/ 3$ 人称単数の出力形 exc\#ipit （正解は\#excipit）

## 6 おわりに

本稿では，ラテン語からロマンス語への発達にお ける動詞活用の変化を計算機上で再現し，計算歴史言語学の見地から分析を行った。具体的には, 系列変換モデルにラテン語の動詞活用を学習させ，その 出力形を分析した。その結果, 以下のことが判明し た：(1) 正解率の分布は予測と合致した；（2）正解率は，ラテン語からロマンス語への変化の大きさと 負の相関を示した; (3) 誤出力の中にはロマンス語 を彷彿させる語形が見られた。

今後の課題の 1 つは，より現実を模倣した設定下 で実験を行うことである。例えば，各形態情報の実際の使用頻度や，母音の長短などの音韻的区別の喪失 [4] を反映させることが考えられる。そのような 設定下で実験を行うことで，新たな知見が得られる 可能性がある。また，本稿の手法を発展させて，統語的変化や方言分化などの現象を計算歴史言語学の 見地から検証することも興味深いと思われる。表 5

各形態情報（法/態/時制のレベル）の正解率

表 6 各活用クラスと不規則動詞の正解率

## 謝辞

本研究は JSPS 科研費 JP18K12361 の助成を受けた ものです

## 参考文献

[1] Renato Oniga. Latin: A Linguistic Introduction. Oxford University Press, 2014.

[2] Adam Ledgeway and Martin Maiden, editors. The Oxford Guide to the Romance Languages. Oxford University Press, 2016.

[3] Ralph Penny. A History of the Spanish Language. Cambridge University Press, 2002.

[4] Ti Alkire and Carol Rosen. Romance Languages: A Historical Introduction. Cambridge University Press, 2010.

[5] Javier Elvira. El cambio analógico. Gredos, 1998.

[6] James P. Blevins and Juliette Blevins. Analogy in Grammar: Form and Acquisition. Oxford University Press, 2009

[7] Joan Bybee. Language Change. Cambridge University Press, 2015

[8] Eugenio Coseriu. Sincronía, diacronía e historia: El problema del cambio lingüístico. Gredos, tercera ed edition, 1988.

[9] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. Vol. 27. Curran Associates, Inc., 2014.

[10] Farrell Ackerman, James P. Blevins, and Robert Malouf. Parts and wholes: Implicative patterns in inflectional paradigms, 2009.

[11] Robert Malouf. Abstractive morphological learning with a recurrent neural network. Morphology, Vol. 27, p. 431-458, 112017.

[12] Miikka Silfverberg and Mans Hulden. An encoderdecoder approach to the paradigm cell filling problem. p. 2883-2889. Association for Computational Linguistics, 2018.

[13] Erez Lieberman, Jean Baptiste Michel, Joe Jackson, Tina Tang, and Martin A. Nowak. Quantifying the evolutionary dynamics of language. Nature, Vol. 449, pp. 713-716, 102007 .

[14] Christo Kirov and Ryan Cotterell. Recurrent neural networks in linguistic theory: Revisiting pinker and prince (1988) and the past tense debate. Trans- actions of the Association for Computational

Linguistics, Vol. 6, pp. 651-666, 2018.

[15] Rahma Chaabouni, Eugene Kharitonov, Alessandro Lazaric, Emmanuel Dupoux, and Marco Baroni. Word-order biases in deep-agent emergent communication. p. 5166-5175. Association for Computational Linguistics, 2019

[16] 有田潤. ラテン語基礎 1500 語. 大学書林, 1957.

[17] 水谷智洋（編）. 羅和辞典〈改訂版〉. 研究社, 2009 .


# ルールベース G2P による多言語固有表現の 国際音声記号表記付きデータセットの構築

的川雄飛 1 坂井優介 1 平野颯 1 澤田悠冶 ${ }^{1}$
大内啓樹 1,2 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 理化学研究所
matogawa.yuhi.na2@is.naist.jp
\{sakai.yusuke.sr9, hirano. hayate.hc2, sawada.yuya.sr7\}@is.naist.jp
\{hiroki.ouchi, taro\}@is.naist.jp

## 概要

本研究では，多言語の固有表現（NE）をルール ベースの grapheme-to-phoneme（G2P）によって国際音声記号（IPA）に変換した表記の大規模データセッ トを構築した．多様な文字・音韻体系からなる複数 の言語の NE を IPA という一つの体系によって表記 したデータセットは，NE を対象とした G2P や通言語の言語モデル構築， $\mathrm{NE}$ 表記のリンキングなどの タスクへの有益な応用を期待できる。本研究は，既存データセットの NE 表記をルールベース G2P の フレームワークを用いて IPA 列に変換し，IPA 表記付きのデータセットを構築した。また，これに伴い 日本語から IPAへの変換ルールを作成し，フレーム ワークに追加した。

## 1 はじめに

ある言語における固有表現（NE）を表すテキス トとそれに対応する音声記号表記のデータは，テ キストの発音に関する情報が求められる諸タス クに NE を対象として取り組む場合において必要 となる。例えば，任意の文字体系で書かれた表記 を国際音声記号（IPA）などの発音記号に変換す る grapheme-to-phoneme (G2P) に，NEを対象として ニューラルベースの手法で取り組む場合，元の $\mathrm{NE}$表記と発音の関係を学習するためのデータが必要で ある。また，多様な言語・文字種の NE 表記を全て 統一的な IPA に変換したデータが存在すれば，特定 の言語に依らない非常に通言語性にすぐれた「IPA 言語モデル」の学習に利用できる.

これらに加え，特定の言語における $\mathrm{NE}$ 表記を正 しいID にリンキングさせるタスクにおいても，テ
キストと音声記号表記の対応データが必要な場合が ある．例えば，他の言語の NE 表記と ID のペアが明示された情報が存在する場合，NE 表記を IPA 列に 変換して，メインの研究対象である言語の $\mathrm{NE}$ 表記 から変換された IPA 列と他言語の NE 表記から変換 された IPA 列のあいだで音声的類似度を計算し1)，類似度が最も高い他言語の NE 表記と紐付いている ID をメインの研究対象である言語の NE 表記に紐付 くIDとする，という手法が考えられる。この場合 の音声的類似度の計算にも，やはり $\mathrm{NE}$ 表記と音声記号表記のマッピングのデータが必要となる。

元言語の表記と音声記号表記の対応データを公開 した先行研究として，オンライン辞書 “Wiktionary” の記述に基づくデータセットを公開したものが挙げ られる [2]. しかし，このデータセットは $\mathrm{NE}$ に特化 したものではなく，上に挙げたような $\mathrm{NE}$ 対象と するタスク・研究における利用には適さない。

本研究では，既存の $\mathrm{NE}$ 表記データセットを用い，複数言語の $\mathrm{NE}$ 表記をルールベース G2P のフレーム ワークを用いて IPA 列に変換することによって，上記のような NE 関連のタスクに必要な IPA 付き NE 表記データセットを構築した。また，日本語につい ては，このフレームワークにおけるサポートが存在 しなかったため，言語学・音声学分野の文献を基に G2P ルールを新たに作成した.

この結果，68 言語について，NE 表記と対応する IPA 列の組数が 6,900 万以上にのぼるデータセット が完成した.このデータセットは，NE を対象とし た研究における使用に適したものであるのみなら

1）具体的な音声的類似度の計算方法としては，IPA 同士でナ イーブな編集距離を計算する手法のほか，IPA の各シンボル を音声学的な素性の有無に基づくべクトルに変換してから類似度を計算する手法 [1] などが挙げられる。
表 1 ParaNames のデータの例

表 2 本研究において作成したデータの例

ず， 1 言語あたりのデータの量についても先行研究 の元言語表記-IPA 表記データセットを上回るものと なっている.

## 2 関連研究

既存研究で公開された特定の言語の表記と IPA 表記の対応データセットとして, “WikiPron”が挙げ られる2)[2]. WikiPron は, オンラインの多言語辞書 “Wiktionary”から，対象言語の表記とその IPA 表記 の組を自動抽出して構築され，251 言語について 3,509,051 組が登録されている. しかし, その抽出元 は辞書であるため，普通名詞・固有名詞や動詞，形容詞等に至るまで様々な種類の語が格納されてお り， 1 章で述べたような特に $\mathrm{NE}$ をターゲットとし た研究には適していない。

IPA のの変換は行っていないが複数の言語の $\mathrm{NE}$表記と ID のペアを格納したデータセットとしては， “ParaNames"3) [3], “TRANSLIT",4) [4] が存在する. 両者は，言語のカバレッジや $\mathrm{NE}$ 表記数，ID 数のほ か，データセットの作り方，データの形式などの面 で違いがある.これらのうち, 本研究は ParaNames を利用し, IPA 付き NE 表記の新たなデータセット を構築する。

468 の言語タグについて 124,343,696 個の NE 表記, 14,017,168 個の IDを持つ ParaNames は, Wikipedia の 項目を主に構造化した知識べースである “Wikidata” から全てのデータが作られている. 具体的に は, Wikidata において "human”, "geographic region”, “organization”の各タイプのインスタンスとして登録 されている NE 表記が, wikipedia でサポートされて いる各言語について抽出されている. 1 組のデー タは，Wikidataにおいて付与されている IDを表す “wikidata_id”，NE の表記を表す “label”, “label”の表記に紐づく言語タグを表す “language”，NEのタイ プを表す“type”によって構成されており，type には

2) https://github.com/CUNY-CL/wikipron

3) https://github.com/bltlab/paranames

4）https://github.com/fbenites/TRANSLIT. ある文字体系を 他の文字体系に変換するタスク「翻字（transliteration）」にお ける利用のために作られたデータセットである.
"PER”, "LOC", “ORG”の値が，元の Wikidata におけ るタイプ “human”, "geographic region”, "organization" それぞれに対応して割り当てられている（例：表 1).

いっぽう，185 の言語タグについて 2,987,508 個 の NE 表記，1,548,752 個の ID を持つ TRANSLIT は，独自に Wikipedia から収集した 1 種と既存の研究で 公開されていた 4 種，計 5 つのデータセットが混合 されて作られている。1 個の IDがキーとなり，それ に対応する値として各言語の表記のリストが格納さ れる形式となっている5)。

## 3 データセットの構築

本研究では，2 章に挙げた 2 つの $\mathrm{NE}$ 表記-ID の データセットのうち ParaNames を用い，“label”に格納されている $\mathrm{NE}$ 表記をルールベース手法による G2P フレームワーク “Epitran”6)[5] によって IPA 列 に変換して元の ParaNames のデータに加えることに より，IPA 付き NE 表記のデータセットを構築した (例: 表 2). 研究開始時には Epitran でサポートされ ていなかった日本語については言語学・音声学分野 の文献に基づいて自作した G2P ルールを，その他 の言語については Epitran の既存の G2P ルールを用 い，計 68 言語の NE 表記から IPAへの変換作業を 行った.

## 3.1 元データの選定

TRANSLIT ではなくParaNames を用いてデータ セットを作成した理由は，後者の方が言語タグ数， $\mathrm{NE}$ 表記数，ID 数いずれも前者よりも上回っている からのみならず，Wikidata という単一のソースに由来するデータセットを使用することでデータの質が より確保できる，と考えられるからである．複数の ソースに由来する TRANSLIT では，データの質の 面において，NE 表記と ID の紐付けが誤っているこ とがあるなどの問題が存在する。データの量の面で TRANSLIT を上回り，かつ一つのソースに由来する Paranames を基にデータを構築することで，量・質 の両面でよりすぐれたデータセットを完成させるこ とができると考えられる.

なお，ParaNamesの “language”に格納されている 言語タグの数は，実際の言語の数とは一致しない. 1 つの言語につき，文字種などの違いや話される地

5）簡易的な例を示す. ID 001: [“en_name1", “zh_name2", “]

6) https://github.com/dmort27/epitran
域の違いを反映して複数のタグが存在する場合があ るためである7). 言語が同じだが言語タグが異なる データであり, かつ文字種が同じデータについて, IPA 付きデータセットでは “wikidata_id”が重複して いるデータを排除した.

さらに，ParaNamesのうち，IPA に変換して新た なデータセットに組み込む対象は，95 個の言語タグ のいずれかが付与されている計 68 言語のデータに 絞った，これは，以下の 2 つの理由による。

1. 第一に，「Epitran がサポートする言語，あるい は日本語のいずれか」という制約を設けた. Epitran のサポート言語に絞った理由は，ルール ベースの手法により容易に G2P を実行できる 言語のデータを優先的に作成することが望まし いと考えられるからである．ただし，日本語の み，Epitranでは当初サポートされていなかった が本研究において新たにルールを作成し, その ルールを用いて IPA 変換を行った.これは， 1 章で述べた応用先のうち, NE 表記を正しい ID にリンキングさせるタスクを例として想定し， さらにカタカナの NE 表記をリンキング実験の 対象とすることを今後の研究の念頭に置いたた めである. 作成した日本語 G2P ルールについ ては， 3.3 節で詳述する。

2. 第一の制約に加え,「TRANSLIT のデータ中で,少なくとも 1 つのカタカナ $\mathrm{NE}$ 表記と同じ ID に紐づいている表記が存在する言語」という 制約を与えた。例えば，“ID 002: [“ja_\{ カタカ ナ表記 \}”, “en_...", “fr_...", ..]”というデータが TRANSLIT に存在する場合，英語（en）とフラ ンス語（fr）はいずれも本研究の対象に含まれ る.この制約を課したのは, 第一の制約の説明 で述べたカタカナ $\mathrm{NE}$ 表記のリンキング実験の 評価用データとして TRANSLIT を用いること を想定したためである。すなわち，任意のカ タカナ NE 表記について，実際の TRANSLIT の データ中で紐付いている IDを「正解 ID」とし， カタカナ $\mathrm{NE}$ 表記から変換された IPA 列と他言語の NE 表記から変換された IPA 列の音声的類似度を計算してリンキングを行う実験を想定し ている.

表 3 日本語 G2P ルールの “map”, “post”の例

## 3.2 NE 表記から IPA 列への変換

“label”の NE 表記から IPAへの変換は，すべて Epitranを用いて行った. Epitran は，各言語につい て用意された IPAへの変換ルールに基づいて G2P を実現する，多言語対応のフレームワークであり， 2023 年 1 月現在 97 言語についてサポートされてい る. 変換ルールは，全言語において存在する“map” と，一部の言語にのみ存在する “pre”, “post”の 3 種類がある. 基本的な変換は，各言語の文字（の組み 合わせ）と IPA シンボル（の組み合わせ）が 1 対 1 に対応する mapによって行うが，前後の音の環境に より発音が変わる場合などの 1 対 1 対応では処理で きない現象に対して，必要に応じ map の適用前に pre, 適用後に postがそれぞれ適用される。

また，表記と IPA の 1 対 1 対応によるマッピング が難しい言語については，外部の発音辞書が利用さ れる. 具体的には，英語については音声合成のた めのソフトウェア “flite”[6] が，中国語については “CC-CEDICT”[7] が使用される.

## 3.3 日本語の G2P ルール作成

日本語からの G2P については，日本語の音声・音韻の概要を述べた複数の文献 $[8,9]$ を基に，第一著者が Epitran の記法に準拠してカタカナ・ひらがな からの G2P ルールを作成した。これは，研究を開始 した時点で日本語が Epitran でサポートされておら ず，また言語学的に正確な G2P ルールを発表した先行研究も存在しなかったためである。 なお，漢字か らの G2P は，文脈依存による発音の特定が必要であ り対処が困難であるため，取り扱わなかった.

日本語について作成したルールは，3.2 節で挙げ た 3 種のルールのうち, map と postである. すなわ ち, カタカナ・ひらがなの組み合わせ 1 通りと IPA シンボルの組み合わせ 1 通りの各対応を map とし て，それだけでは処理できない事象に対応するため のルールを postとして作成した．両者の例を，表 3 に示す.

先に述べた日本語の音声・音韻に関する文献に基 づくカタカナ・ひらがなからの G2P ルールのほか,英語版ウィキペディアにおける日本語の文字・音韻

関連の記事 $[10,11]$ を基に，簡易的な G2P ルール8) も作成した. 後者についてもカタカナ・ひらがな双方のルールを構築したため，前者と合わせ計 4 種類 の G2P ルールを日本語の仮名について作成したこ ととなる。なお，IPA 付き NE 表記データセットの 構築における日本語の G2Pには，日本語の音声 - 音韻に関する文献に基づくルールの方を使用した。

本研究で作成した 4 種類の日本語 G2P ルールは, Epitran に統合された. カタカナ・ひらがなのような 音節文字9)を入力とするルールが Epitran に統合さ れたのは，初めてのことである. 本研究で作成した ルールは Epitran のフレームワーク内で現在利用可能であるほか，ルールを用いた IPA 変換のデモンス トレーションも作成済みである ${ }^{10)}$.

## 4 データセットの分析

データセットの統計的情報の概要を，表 4 に示す. NE 表記と IPA 表記の組数，および表記の ID の数は それぞれ 6,900 万以上，1,400 万以上にのぼり， 1 つ の ID につき平均 4.964 組の NE 表記-IPA 表記の組が 存在している. また，1 つの言語タグあたり， 1 言語あたりの表記の組数はそれぞれ平均 732,357.379 組，1,023,146.338 組であり， 1 言語につき平均して 100 万以上の NE 表記-IPA 表記の組が得られたこと になる. 1 言語あたりの表記数が 13,980.283 表記で

8）具体的には，日本語の音声 - 音韻に関する文献に基づく， より正確な方の map のルール数が 150 であるのに対し，簡易的な方の map のルール数は 112 である. post のルール数に ついても，前者が 46 であるのに対し，後者は 20 である.

9）「音節」は，音韻論における単位の一つ．通常は母音が 「核」となり，その前後に存在しうる子音とともに構成され るが，母音のみ，子音のみで構成される場合もある．ラテン 文字，キリル文字などが音素を表記の単位とする「音素文字」であるのに対し，カタカナ・ひらがな等は音節を表記の 単位とする「音節文字」である。

10) https://yusuke1997.com/Japanese_G2P/
1 万あまりである WikiPron と比較するとこれは非常 に規模の大きいデータである．したがって，本研究 で作成したデータセットは，NEに特化していると いう点で先行研究における多言語表記と IPA 表記の 対応データセットと区別されると同時に，1 言語あ たりのデータ量が既存のデータセットを大幅に上回っている，という点でも特徴づけられる。

最も多くのデータを得た NE のタイプは，PERで あった。また，データセットに格納されている元言語の NE 表記と IPA 表記の平均系列長はそれぞれ 15.085，15.894であり，ほとんど差がない.

$\mathrm{NE}$ 表記の文字種の数は，計 20 種である ${ }^{11)}$. 表記数が 100 万以上（およそ平均以上）にのぼる言語の 数は 15 言語であり，ロシア語，中国語を除き全て ラテン文字を使用する言語，またハンガリー語，中国語を除き全て印欧語族に属する言語である。言語 タグごとの表記数の統計を，付録 A に付す.

## 5 おわりに

本研究では，NE の G2P や通言語的な言語モデル の構築，NE 表記のリンキングなどへの応用を見据 え，複数の言語における $\mathrm{NE}$ 表記の既存データを基 に，ルールベース G2P のフレームワークを用いて 68 言語の 6,900 万以上の IPA 表記付き NE からなる 大規模データセットを構築した。また，これに伴っ て，日本語のカタカナ・ひらがなから IPAへの言語学的に正確な G2P ルールを作成し，フレームワーク に追加した. 今後の課題として，これまで応用先と して述べてきたタスク，すなわち言語モデルにおけ る事前学習や NE の G2P，NE 表記リンキングなど の実験を，本研究で作成したデータセットを用いて 行い，データセットの効果を検証する必要がある.

## 参考文献

[1] David R. Mortensen, Patrick Littell, Akash Bharadwaj, Kartik Goyal, Chris Dyer, and Lori Levin. PanPhon: A resource for mapping IPA segments to articulatory feature vectors. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3475-3484. The COLING 2016 Organizing Committee, December 2016.

[2] Jackson L. Lee, Lucas F.E. Ashby, M. Elizabeth Garza, Yeonju Lee-Sikka, Sean Miller, Alan Wong, Arya D. Mc-

11）ラテン文字，ゲエズ文字，アラビア文字，キリル文字， ベンガル文字，デーヴァナーガリー文字，カタカナ，ひらが な，クメール文字，ラーオ文字，マラヤーラム文字，ビルマ 文字，オリヤー文字，グルムキー文字，シンハラ文字，夕ミ ル文字，テルグ文字，タイ文字，漢字 (簡体字)，漢字 (繁体字).

Carthy, and Kyle Gorman. Massively multilingual pronunciation modeling with WikiPron. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4223-4228. European Language Resources Association, May 2020.

[3] Jonne Sälevä and Constantine Lignos. ParaNames: A massively multilingual entity name corpus. In Proceedings of the 4th Workshop on Research in Computational Linguistic Typology and Multilingual NLP, pp. 103-105. Association for Computational Linguistics, July 2022.

[4] Fernando Benites, Gilbert François Duivesteijn, Pius von Däniken, and Mark Cieliebak. TRANSLIT: A large-scale name transliteration resource. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 3265-3271. European Language Resources Association, May 2020.

[5] David R. Mortensen, Siddharth Dalmia, and Patrick Littell. Epitran: Precision G2P for many languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), May 2018.

[6] flite: A small fast portable speech synthesis system, (202301 閲覧）. https://github.com/festvox/flite.

[7] CC-CEDICT Home [CC-CEDICT WIKI], (2023-01 閲 覧）. https://cc-cedict.org/wiki/\#what_is_ cc-cedict.

[8] 斎藤純男. 日本語音声学入門 改訂版. 三省堂, 2006.

[9] 日本語教育学会編. 新版 日本語教育事典. 大修館書店, 2005.

[10] Katakana - Wikipedia，（2022-08 閲覧）. https://en.wikipedia.org/w/index. php?title= Katakana\&oldid $=1103341275$.

[11] Sokuon - Wikipedia,（2022-08 閲覧）. https://en.wikipedia.org/w/index.php?title= Sokuon\&oldid $=1096454475$.

## A 付録：作成したデータセットの言語タグ別表記数


# 連続時間フラクショナル・トピックモデル

中川慧

野村アセットマネジメント株式会社

kei.nak.0315@gmail.com

林 晃平
東京大学大学院数理科学研究科
kohei@ms.u-tokyo.ac.jp
}

藤本悠吾

野村アセットマネジメント株式会社

yu5fujimoto@gmail.com
## 概要

LDA の時系列性を考慮するため，DTM や，DTM を連続時間に拡張した cDTM が提案されている. し かしながら，これらの生成パラメータの変化量に各時刻での相関を持たせることで，より現実に即した モデル化が可能になると考えられる。 そこで本研究 では，cDTM の一般化を行い，生成パラメータの増分の正相関性 (長時間依存性) または負相関性 (ラフ さ)を考慮にいれた，連続時間フラクショナル・ト ピックモデルを提案する。また提案手法のパラメー タ推定は簡易的には，トピックモデルと同様である ことを示した. そして数值実験によって，提案手法 がトピックの正相関性 (長時間依存性) または負相関性 (ラフさ)を捉えることができることを確認する.

## 1 はじめに

トピックモデルとは文書の確率的生成モデルの 一つである。トピックモデルにおいて文書の生成過程はトピック分布にしたがってトピックを選択し，選んだトピックの持つ単語分布にしたがって単語 を選択していくことで生成される。ここでトピック 分布とは文書中の各話題の比率，単語分布とは各話題を構成する単語の分布を意味する。文書がトピッ クモデルから生成されたと仮定した上で，実際に観測された文書から各トピック分布および単語分布 を統計的に推定することで，文書に含まれるの話題 の比率や，話題を構成する単語の分布を知ること ができる. トピックモデルの中でも，Blei らによっ て提案された Latent Dirichlet Allocation (LDA) [1] や, トピック間に相関を加えるモデル [2]も提案されて いる.

一般にLDA においては時系列性は考慮されない
ため，トピックの時系列的な推移を確認すること はできない. この問題に対応するためにトピック の時系列性を考慮する LDA である Dynamic Topic Model (DTM) が提案された [3]. DTM では，データ セットは指定された時間ごとに均等に分割され，文書のトピック分布のパラメータおよび各トピックの 単語の分布は時間とともに変化する。.さらにDTM が離散的な時間変化をモデリングしているのに対 して，DTM を連続時間に拡張した Continuous Time DTM (cDTM) が提案された [4].

上述の通り，従来の動的トピックモデルは各時刻 における単語生成およびトピック生成のパラメー タが時間変化するモデルであった. そこでは，1 ス テップ前のパラメータに対し独立に正規分布に従う 確率変数を加えることで次の時刻のパラメータを定 めており，生成パラメータの増分は各時点で独立で ある。しかしながら，例えばある時刻で新単語また は新トピックに特有の単語が増加傾向にあるとする と, 次の観測点の時刻でもその増加傾向に応じて単語とトピックの分布が変化すると考えるのが自然で ある. 即ち，生成パラメータの変化量は，各時刻で 正の相関を持つと仮定することで，より現実に即し た文書生成を行えると考えられる $[5,6,7,8]$. また，逆にある時刻で語られていたトピックが次の時刻 では語られなくなり，新しいトピックが急に語られ るような事象，すなわちトピック分布の負の相関性 (ラフさ)を記したいケースも考えられる。そこで本研究では, 生成パラメータの増分の正相関性および 長時間依存性またはラフさを考慮にいれた手法であ る，連続時間フラクショナル・トピックモデルを提案する。提案手法は, 標準 Brown 運動の一般化であ り，増分が正の相関を持ち，かつ長期記憶性をまた はラフさを持つ非整数階 Brown 運動 [9] を生成パラ

メータの増分過程として利用する.したがって，提案手法は cDTM の一般化になっている。そのため， テキストのタイムステップが均一でない場合ある いは久損がある場合でもモデル化可能である. そし て，実際の経済ニュースデータを用いた数値実験に よって，提案手法がトピックの正相関性 (長時間依存性) または負相関性 (ラフさ)を捉えることができ ることを確認する。

## 2 提案手法

## 2.1 非整数階 Brown 運動

ここでは，非整数階 Brown 運動の定義と基本的な性質について概説する [10]. $H \in(0,1)$ を定数 (Hurst 指数) とする. 平均 0 の実数値 Gauss 過程 $B^{H}=\left.\{B_{t}^{H}\right.\}_{t \geq 0}$ が Hurst 指数 $H$ の fractional Brown 運動 $(\mathrm{fBm})$ であるとは, ほとんど確実に $B_{0}^{H}=\mu$ かつ,任意の $s, t \geq 0$ に対して次を満たすときをいう。

$
\operatorname{Cov}\left(B_{s}^{H}, B_{t}^{H}\right)=\frac{1}{2}\left(|t|^{2 H}+|s|^{2 H}-|t-s|^{2 H}\right) .
$

また, $\mathrm{fBm}$ から $\left.\{B_{t+1}^{H}-B_{t}^{H}: t=0,1, \ldots\right.\}$ という新 たな離散確率過程を考えることができ，これを fractional Gauss ノイズ (fGn) という. fBm の増分は $H>1 / 2(H<1 / 2)$ のとき正 (負) の相関をもち, $H=1 / 2$ のとき Brown 運動に一致することは定義 から明らかである. また, $B_{t}^{H}-B_{s}^{H} \sim \mathcal{N}\left(0,|t-s|^{2 H}\right)$ なので, $\mathrm{fBm}$ は定常増分である。次に, 確率過程の長期 (短期) 記憶性を定義する. $X=\left.\{X_{t}\right.\}_{t \geq 0}$ を確率過程とし, その増分を $X_{s, t}=X_{t}-X_{S}$ とす る.このとき, 確率過程 $X$ の増分が長期 (resp. 短期）記憶性を持つとは，任意の $h>0$ に対して， $\sum_{n=1}^{\infty}\left|\operatorname{Cov}\left(X_{0, h}, X_{(n-1) h, n h}\right)\right|$ が発散（resp. 有限）にな ることをいう. (1) 式から，fBm は $H=1 / 2$ のとき，標準 Brown 運動と一致する. また fBm の増分に 対しては $H>1 / 2$ のときのみ長期依存性を持ち, $H<1 / 2$ のときラフさを持つ.

## 2.2 連続時間フラクショナル・トピックモ デル

以下， $\mathbf{K}$ をピック全体の集合， $\mathbf{W}$ を単語全体 の集合とする。連続時間フラクショナル・トピッ クモデルは, 単語分布とトピック分布のパラメー タが時間発展するモデルであり, その時間変動 を $\mathrm{fBm}$ にってモデル化する. $H \in(0,1)$ とし， $\left.\{B_{t}^{H,(k, w)}: t \geq 0\right.\}_{k \in \mathbf{K}, w \in \mathbf{W}}$ 及び $\left.\{B_{t}^{H,(k)}: t \geq 0\right.\}_{k \in \mathbf{K}}$ を初期値を 0 とする独立な $\mathrm{fBm}$ の列とする. タ
イムスタンプの列 $\left.\{0=s_{0}, s_{1}, \ldots, s_{T}=T\right.\}$ における 生成パラメータ $\alpha_{s_{t}}, \beta_{s_{t}}(t=0, \ldots, T)$ を, 初期分布 $\alpha_{0} \in \mathbb{R}^{\mathbf{K}}, \beta_{0} \in \mathbb{R}^{\mathbf{K}} \times \mathbb{R}^{\mathbf{W}}$ と次式によって定めることが できる. 各 $k \in \mathbf{K}$ 及び $w \in \mathbf{W}$ に対し, 次の確率微分方程式を解く。

$
\begin{aligned}
& d \alpha_{s, k}=f_{\theta_{\alpha}}\left(\alpha_{s, k}\right) d s+\sigma_{\alpha} d B_{s}^{H,(k)} \\
& d \beta_{s, k, w}=f_{\theta_{\beta}}\left(\beta_{s, k, w}\right) d s+\sigma_{\beta} d B_{s}^{H,(k, w)}
\end{aligned}
$

ただし， $\sigma_{\alpha}, \sigma_{\beta} \in \mathbb{R} て ゙ あ る . ま た ， f_{\theta_{\alpha}}$ および $f_{\theta_{\beta}}$ は $\theta_{\alpha}$ および $\theta_{\beta}$ をパラメータに持つ関数であり，方程式 (2) が一意的な解 $\left.\{\left(\alpha_{s}, \beta_{s}\right): s \geq 0\right.\}$ が存在し, また それらの解の密度が持つような十分性質のよいも のであると仮定する。これらの関数により，トピッ ク及び単語が生成される傾向を学習することがで き，更に $\mathrm{fBm}$ により与えたノイズから長期記憶性 やラフさを再現することができる. 以下では，方程式 (2) を解いた後に，与えられたタイムスタンプ $s=s_{0}, \ldots, s_{T}$ における値を利用する. ここでは時間 に関して連続な方程式を解くことで生成パラメータ を決定しているため, 不規則サンプリングに対応可能なことに留意されたい. このパラメータ過程を用 いて，各タイムスタンプ $s_{t}$ における総単語数 $N_{s_{t}}$ の 文書 $d_{s_{t}}=\left.\{\left(w_{s_{t}, k_{i}}^{i}\right)_{1 \leq i \leq N_{s_{t}}}: k_{i} \in \mathbf{K}, w_{s_{t}, k_{i}}^{i} \in \mathbf{W}\right.\}$ の生成過程は次のように書ける。

1. 各タイムスタンプ $s_{t}$ における $\alpha_{s_{t+1}, k}$ と $\beta_{s_{t+1}, k, w}$ を (2) 式で生成する

2. 各単語 $w \in \mathbf{W}$ について，まずトピック $z \in \mathbf{K}$ を パラメータ $\phi\left(\alpha_{s_{t}}\right)$ のカテゴリ分布 (トピック分布) から一つ選び，そのトピック $z$ の単語生成 パラメータを $\beta_{s_{t}, z}=\left(\beta_{s_{t}, z, w}\right)_{w \in \mathbf{W}} \in \mathbb{R}^{\mathbf{W}}$ として, パラメータ $\phi\left(\beta_{s_{t}, k}\right)$ のカテゴリ分布 (単語分布) から $w$ を選ぶ：

$
\begin{aligned}
& z \sim \operatorname{Categorical}\left(\phi\left(\alpha_{s_{t}}\right)\right), \\
& w \sim \operatorname{Categorical}\left(\phi\left(\beta_{s_{t}, z}\right)\right) .
\end{aligned}
$

ここで, $V$-次元単体 $\sigma_{V}=\left.\{x \in[0,1]^{V}: x_{1}+\cdots+\right.$ $\left.x_{V}=1\right.\}^{V}$ に対してパラメータ $\phi \in \sigma_{V}$ を持つ, Categorical $(\phi)$ は確率密度関数が

$
p_{\text {Cat }}(x \mid \phi)=\prod_{v=1}^{V} \phi_{v}^{x_{v}}
$

で表される $\{0,1\}^{V}$ 上の分布である. また, $\phi: \mathbb{R}^{V} \rightarrow$ $\sigma_{V}$ は softmax 関数であり次式で定義される.

$
\phi(\beta)_{v}=\frac{\exp \left(\beta_{v}\right)}{\sum_{1 \leq v \leq V} \exp \left(\beta_{v}\right)}
$
図 1 に提案手法である連続時間フラクショナル・ト ピックモデルのグラフィカルモデル表現を示す.こ こで, $\phi_{s}^{z}$ (resp. $\phi_{s}^{w}$ ) は時刻 $s$ におけるトピック (resp.単語) 分布である. ここでは簡単のため, ドリフト 関数のパラメータ $\theta_{\alpha}, \theta_{\beta}$ の寄与は省略した. 連続時間の微分方程式を解くことによりパラメータ生成を 行っているため，サンプリングが不規則であっても 対応できることを図では表現している.

図 1: 連続時間フラクショナル・トピックモデルの グラフィカルモデル表現.

## 2.3 パラメータ推定

以下, $T+1$ 個のタイムスタンプ $\left.\{0=s_{0}, s_{1}, \ldots, s_{T}=\right.$ $T\}$ において観測された文書 $\hat{d}_{s_{t}}=\left.\{\hat{w}_{s_{t}}^{i} \in \mathbf{W}\right.$ : $\left.i=1, \ldots,\left|\hat{d}_{s_{t}}\right|\right.\}(t=0, \ldots, T)$ が与えられている とする.また, 生成パラメータの初期分布を $\alpha_{0} \sim \mathcal{N}\left(\mu_{\alpha}, v_{\alpha} I_{|\mathbf{K}|}\right)$ および $\beta_{0} \sim \mathcal{N}\left(\mu_{\beta}, v_{\beta} I_{|\mathbf{K}| \times|\mathbf{W}|}\right)$ と する.ただし， $\mathcal{N}(\mu, v)$ は平均 $\mu$, 分散共分散行列 $v$ の正規分布を表す.このとき，連続時間フ ラクショナル・トピックモデルのパラメータ は, $\Phi=\left(\Phi_{\alpha}, \Phi_{\beta}\right)$, ただし $\Phi_{\alpha}=\left(\mu_{\alpha}, v_{\alpha}, \sigma_{\alpha}, \theta_{\alpha}\right)$ お よび $\Phi_{\alpha}=\left(\mu_{\beta}, v_{\beta}, \sigma_{\beta}, \theta_{\beta}\right)$, で与えられる. このと き，ドリフト関数 $f_{\theta_{\theta_{\alpha}}}$ (resp. $\mathrm{v} f_{\theta_{\beta}}$ ) のパラメータ 数を $D_{\theta_{\alpha}}$ (resp. $D_{\theta_{\beta}}$ )とすると, パラメータ空間は $\Theta=\Theta_{\alpha} \times \Theta_{\beta}$, ただし,

および

$
\Theta_{\alpha}=\underbrace{\mathbb{R}^{\mathbf{K}}}_{\mu_{\alpha}} \times \underbrace{\mathbb{R}_{+}}_{v_{\alpha}} \times \underbrace{\mathbb{R}}_{\sigma_{\alpha}} \times \underbrace{\mathbb{R}^{D_{\theta_{\alpha}}}}_{\theta_{\alpha}}
$

$
\Theta_{\beta}=\underbrace{\mathbb{R}^{\mathbf{K} \times \mathbf{W}}}_{\mu_{\beta}} \times \underbrace{\mathbb{R}_{+}}_{v_{\beta}} \times \underbrace{\mathbb{R}}_{\sigma_{\beta}} \times \underbrace{\mathbb{R}^{D_{\theta_{\beta}}}}_{\theta_{\beta}}
$

で表される. 以下では, 各時刻 $t=0, \ldots, T$ における 次の対数尤度関数をパラメータ $\Phi \in \Theta$ について最大化する.

$
L_{s_{t}}(\Phi)=\log p\left(\hat{d}_{s_{t}} \mid \Phi\right)=\sum_{\hat{w}_{s_{t}} \in \hat{d}_{s_{t}}} \log p\left(\hat{w}_{s_{t}} \mid \Phi\right)
$

ここで, 各時刻 $s$ について, $\Phi_{\alpha}=\left(\mu_{\alpha}, v_{\alpha}, \sigma_{\alpha}\right)$ およ び $\Phi_{\beta}=\left(\mu_{\beta}, v_{\beta}, \sigma_{\beta}\right)$ としてパラメータ $\Phi=\left(\Phi_{\alpha}, \Phi_{\beta}\right)$ が与えられたときの各単語の確率密度関数は,

$
\begin{aligned}
p\left(w_{s} \mid \Phi\right)= & \sum_{k \in \mathbf{K}} p\left(z_{s}=k \mid \Phi\right) p\left(w_{s, k}=w_{s_{t}} \mid \Phi\right) \\
= & \int_{\mathbb{R}^{\mathbf{K}}} \int_{\mathbb{R}^{\mathbf{K} \times \mathbf{W}}} \sum_{k \in \mathbf{K}} p_{\mathrm{Cat}}\left(z_{s}=k \mid \phi\left(\alpha_{s}\right)\right) \\
& \times p_{\mathrm{Cat}}\left(w_{s, k}=w_{s} \mid \phi\left(\beta_{s, k}\right)\right) \\
& \times p\left(\alpha_{s} \mid \Phi_{\alpha}\right) p\left(\beta_{s} \mid \Phi_{\beta}\right) d \alpha_{s} d \beta_{s}
\end{aligned}
$

で与えられる.ここで, $p\left(\alpha_{s} \mid \Phi_{\alpha}\right)$ および $p\left(\beta_{s} \mid \Phi_{\beta}\right)$ は時刻 $s$ における $\alpha_{s}$ および $\beta_{s}$ の確率密度関数で ある。

本稿では，トピックまたは単語分布の長期記憶性 やラフさを再現することを確認することが目的であ り，簡単のため単純化された設定の下で文章生成を 行う。そのもとで, 提案手法の尤度 (4) の最大化に ついて次が成立する。

命題 1. ドリフト関数が $f_{\alpha}=0$ かつ $f_{\beta}=0$ の場合,尤度 (4) の最適化は古典的な (即ち時間発展のない定常的な) トピックモデルの最適化問題に帰着される.

そのため特に，EMアルゴリズムや変分ベイズ推定などの手法を適用することができる。

## 3 実証分析

## 3.1 データセット

提案モデルによる時系列相関を考慮したトピッ ク抽出を評価するため，本実験では重大イベント (東日本大震災) 前後でのトピック推移について定性的な評価を行う．提案モデルの評価のため，ロイ ターニュース ${ }^{1)}$ から東日本大震災を含む前後 5 日間 (2011/3/8 3/12) のニュース記事 178 件を抽出し，実験を行った。

## 3.2 実験設定

提案モデルの入力には，ニュース記事から名詞を 抽出し計算した Bag of Words 形式の特徴量を利用し た. またモデルの学習には，マルコフ連鎖モンテカ

1) https://jp.reuters.com/

(a) $H=0.1$ (ラフな $\mathrm{fBm})$

(b) $H=0.5(\mathrm{cDTM})$

(c) $H=0.9$ (長期記憶性を持つ $\mathrm{fBm}$ )

図 2: 東日本大震災前後のニュースのトピック分布推移

ルロ法 $(\mathrm{MCMC})$ を利用した。本実験の対象期間は 5 日間と短期であるため，トピック分布は期間中変化 する一方で，トピック内の単語分布の変化は相対的 に小さいことが想定される．よって本実験では，ト ピック分布の生成パラメータ $\alpha$ のみ時間発展する設定で実験を実施した. 提案モデルの評価としては， トピックの時系列相関を制御するパラメータである Hurst 指数を変化させた際に，学習結果として得ら れるトピック推移，および上位トピックに出現する 単語を算出した. 提案モデルにおけるハイパーパラ メータである Hurst 指数 $H$ をそれぞれ 0.1,0.5,0.9 に 設定し，トピック数は 5 に設定し実験を行った. そ れぞれ,$H=0.1$ の場合はラフさを,$H=0.5$ のとき は Brown 運動 (cDTM)， $H=0.9$ の場合は長期記憶性 を持つ。

## 3.3 結果

図 2 は，提案モデルによって得られたトピック分布のパスの推移を示している. Hurst 指数が大きい 設定では，イベント前後でトピックの推移が大きく 変化することはなく, 各トピックの正相関性が保た れてことがわかる。一方で, Hurst 指数を小さくし たケースではイベント後にトピックの発生確率の大幅な変動がみられる。 中間の $\mathrm{H}=0.5$, つまり cDTM のケースは両者の中間の位置付けとなっている.こ のように，Hurst 指数を制御することで，提案モデル が長期依存性を持つトピックや短期依存性を持つト ピックの動向を追跡できている.

$H=0.1$ について，関連するニュースの増加に伴 うトピック分布の変動を捉えられていると考えられ る. 具体的に，5つのトピックはそれぞれ，トピッ ク 1(青線) は国内ニュース，トピック2(オレンジ線) は国内市況，トピック3(緑線) は海外ニュース，ト ピック 4(赤線) は海外市況，トピック 5 (紫線) は中国関連と解釈できるイイベント前はリビア情勢不安や 中国の政府・経済動向といった海外ニュースおよび 海外市況のトピックが多かった. 一方で，イベント 後は震災に関する国内ニュースおよび国内市況のト ピックが大幅に上昇した。

## 4 まとめ

本研究の貢献は次の通りである.

$\cdot$cDTM の一般化を行い，生成パラメータの増分 の正相関性 (長時間依存性) および負相関性 (ラ フさ)を考慮にいれた手法である，連続時間フ ラクショナル・トピックモデルを提案した.
- 提案手法のパラメータ推定は簡易的には，卜 ピックモデルと同様であることを示した.

・実際の経済ニュースデータを用いた数値実験に よって，提案手法がトピックの長時間依存性や ラフさを捉えることができることを確認した.

本研究の限界として, トピックまたは単語分布の 長期記憶性やラフさの再現が主目的のため，ドリフ 卜項を考慮しなかった。加えて，fBm は一般には 独立増分性を持たないため $[3,4]$ と同様に Kalman Filterをもとにトピック分布あるいは単語分布の事後分布を効率的に計算することができない.

今後の発展として，トピック分布あるいは単語分布の事後分布の効率的な計算方法を考察することが 挙げられる。また，本研究では考慮していないドリ フト項を非線形なニューラルネット関数を用いて学習させる ODE-Net (SDE-Net) ベースの拡張 [11] また は本研究と同様に fBm による ODE-Net ベースの拡張 [12] が挙げられる.

## 参考文献

[1]David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[2]David M Blei and John D Lafferty. A correlated topic model of science. The annals of applied statistics, Vol. 1, No. 1, pp. $17-35,2007$.

[3]David M Blei and John D Lafferty. Dynamic topic models. In Proceedings of the 23rd international conference on Machine learning, pp. 113-120, 2006.

[4]Chong Wang, David M Blei, and David Heckerman. Continuous time dynamic topic models. In UAI'08 Proceedings of the Twenty-Fourth Conference on Uncertainty in Artificial Intelligence, 2008.

[5]Liangjie Hong and Brian D Davison. Empirical study of topic modeling in twitter. In Proceedings of the first workshop on social media analytics, pp. 80-88, 2010.

[6]Xuanhui Wang, ChengXiang Zhai, Xiao Hu, and Richard Sproat. Mining correlated bursty topic patterns from coordinated text streams. In Proceedings of the 13th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 784-793, 2007.

[7]Xuerui Wang and Andrew McCallum. Topics over time: a non-markov continuous-time model of topical trends. In Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 424-433, 2006.

[8]Jure Leskovec, Lars Backstrom, and Jon Kleinberg. Memetracking and the dynamics of the news cycle. In Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 497-506, 2009.

[9]Benoit B Mandelbrot and John W Van Ness. Fractional brownian motions, fractional noises and applications. SIAM review, Vol. 10, No. 4, pp. 422-437, 1968.

[10]Francesca Biagini, Yaozhong Hu, Bernt Øksendal, and Tusheng Zhang. Stochastic calculus for fractional Brownian motion and applications. Springer Science \& Business Media, 2008.

[11]Ricky TQ Chen, Yulia Rubanova, Jesse Bettencourt, and David K Duvenaud. Neural ordinary differential equations. Advances in neural information processing systems, Vol. 31, , 2018.

[12]Kohei Hayashi and Kei Nakagawa. Fractional sde-net: Generation of time series data with long-term memory. In 2022 IEEE 9th International Conference on Data Science and Advanced Analytics (DSAA). IEEE, 2022.

## A Appendix: 命題の証明

ドリフト関数が $f_{\alpha}=0$ かつ $f_{\beta}=0$ の場合，式 (2) は次のように解くことができる.

$
\alpha_{s}=\alpha_{0}+\delta B_{s}^{H}, \quad \beta_{s}=\beta_{0}+\sigma B_{s}^{H}
$

よって，時刻 $s$ において $\alpha_{s}$ および $\beta_{s}$ の分布は Gauss 分布を用いて明示的に表すことができる. これは古典的な (即ち時間発展のない定常的な) トピックモデ ルの最適化問題と等しく, そのため尤度 (4) の最適


# 株主提案の要領におけるトピック別の文書特徵量と賛成率

久多里桐子
北九州市立大学経済学部
kirikokudari@kitakyu-u.ac.jp

## 概要

本研究は、株主提案の要領に関する基礎研究を行 うことを目的とする。株主提案の要領である 3 つの テキスト (提案内容、提案理由、取締役会の意見)を 独立した文書とみなし、各文書をトピックモデル (LDA)を用いて分類した上で、各トピックにおける 文書の特徴量 (文字数および文字数に占める数字の 割合) と賛成率の関係を分析した。2011 年〜2019 年 の定時株主総会における株主提案議案 1,350 件を対象に分析を行った結果、提案内容や提案理由のト ピックによって、得られる賛成率が異なることを確認した。本研究の分析結果は、他の株主が株主提案 の要領に基ついいて議決権を行使していることを示唆 する。

## 1 研究の目的と意義

本研究は株主提案の要領に関する基礎研究を行う ことを目的とする。2021 年 3 月に施行された改正会社法では、株主が提出しようとする議案の数は 10 件までに制限された。一方で、株主提案の内容に制限を設けることは見送られた。しかしながら、2019 年に公表された要綱案の段階では、内容に関する制限も含まれていた。

具体的には、提案が「専ら人の名誉を侵害し、人 を侮辱し、若しくは困惑させ、又は自己若しくは第三者の不正な利益を図る」ことを目的としていた場合や、「株主総会の適切な運営が著しく妨げられ、株主の共同の利益が害されるおそれがあると認めら れる場合」には、株主提案権の行使を制限すること が予定されていた ([1]) 1 。

その後、国会における法案審議において上記内容 が削除された理由は、「権利の濫用に該当する株主提案権の類型についてさらに精緻に分析を深めなが

1）株主提案権には議題提案権 (会社法第 303 条)、議案提出権 (同法第 304 条)、議案要領通知請求権 (同法第 305 条第 1 項) が含まれる。目的等による議案の提案に対する制限は、議案提出権および議案要領通知請求権を対象としている。
ら、引き続き検討していくべき」([2], p. 5)である からだ。つまり、2021 年の改正会社法において、株主提案の内容に関する制限が見送られたことは、関連する知見が少ないことに起因する。そこで本研究 は、株主提案権に関する今後の検討材料に資すると いう意義の下、株主提案権の内容に焦点を当てた分析を行う。

つづく第 2 節では、米国および日本の株主提案権 について、提案内容および記述に関する制度上の規定について参照し、関連する先行研究を紹介する。第 3 節では、分析手法とサンプルについて述べる。第 4 節では分類したトピックの概要を確認し、第 5 節で主たる発見事項を提示する。最後に、第 6 節で 本研究の要約を述べる。

## 2 制度の概要と先行研究

## 2.1 制度の概要

米国の株主提案権は制限が強い。例えば、提案内容が取締役の選任に関するものであったり、具体的 な配当金額に関するものであったりした場合、企業側は提案を排除できる ${ }^{2)}$ 。また、記述量も補足説明 を含めて 500 語以内に限られる。

一方で、日本では株主が提案できる内容は多様で あり、記述量に関する法的な制限もない。一般的に は、株主が記述した提案内容や提案理由の原文に加 えて、議案に対する取締役 (取締役会設置会社の場合は取締役会) の意見 (以下、取締役会の意見) が、株主総会招集通知内の株主総会参考書類に記載され る $^{3)}$ 。
2) 17 C.F.R. $\S 240.14 a-8(2003)$

3）ただし、提案の理由が明らかに虚偽である場合または専ら 人の名誉を侵害し、若しくは侮辱する目的によるものと認め られる場合は提案理由を削除されることもある。また、企業側が株主提案を拒否できる事由として明文化されているも のは、法令もしくは定款に違反する場合や、実質的に同一の 議案につき総株主の議決権の 10 の 1 以上の賛成を得られな かった日から 3 年を経過していない場合が該当する (会社法第 304 条ただし書き、第 305 条第 4 項)。

## 2.2 先行研究

本研究に関連した分析として、以下 3 つの研究を 挙げる。[3] は、EDGAR から取得した 2004 年から 2013 年の期間に提出された Form 8-K のうち、所定 の要件を満たす 73,986 件を 20 のトピックに分類し、分類したトピックによって投資家の反応が異なるこ とを確認している4)。

[5] では、2003 年から 2012 年までの新聞記事 77,814 件を 30 のトピックに分類し、日ごとのトピッ クの割合と市場リターン (TOPIX) との間の関係を分析している。分析を通じて、トピックの割合と市場 リターンの間に相関は見られなかった一方で、一部 のトピックの割合と市場ボラティリティの間に相関 があることを発見した。

[6] では 2004 年から 2021 年までの所定の要件を 満たす有価証券報告書 43,289 件をもとに、MD\&A (経営成績等の分析) の記述について分析を行い、近年のディスクロージャー制度改革が MD\&A の開示 に影響を及ぼしていることを報告している。

## 3 分析手法とサンプル

## 3.1 分析の概要

分析の概要は以下の通りである。はじめに、株主提案の要領である 3 つのテキスト (提案内容、提案理由、取締役会の意見) を独立した文書とみなし、各文書の特徴量を取得する。つづいて、各文書をト ピックに分類する。本研究の主たる分析として、分類したトピックごとに、文書の特徴量と賛成率の関係を確認する。

本研究では、文書の特徴量として以下 2 つを採用 した。第 1 に、文字数である。定款で文字数に制限 を設けている企業に対して、当該定款の削除を求め る提案が提出される事例が存在していることからも 明らかなように、記述量は賛成率に影響を与えると 考えられる。第 2 に、文字数に占める数字の割合で ある。特に剩余金の分配に関する提案など、特定の 議案においては具体的な数字を用いた提案の方が説得力が高まると考えられる。

以下は実際の提案理由に基づく特徴量であるが、例 Aよりも例 B の方が賛成率は高いと予想する。

4）米国上場企業は、投資家の意思決定に影響を及ぼす可能性 のある重要な事象 (決算発表、重要な契約の締結、倒産など) が生じた際、 4 営業日以内に Form 8-k (current report)を米国証券取引委員会 (SEC) に提出する必要がある ([4])。例 A:増配できる充分な利益がある。
- 文字数: 14 字

一文字数に占める数字の割合: $0 \%$

例 $\mathrm{B}$ :貴社は、平成 30 年 9 月末の連結貸借対照表に て現預金及び投資有価証券の合計額 350 億円を 有し、(省略) 妥当なものであると考えます。
- 文字数: 278 字

一文字数に占める数字の割合: $6.47 \%$

議案からテキストを抽出する際の留意事項を下記に示す。提案内容が取締役等の役員選任議案の場合、当該候補者の経歴等は提案内容に含めない。ま た、会社注も含めない。さらに、提案内容と提案理由が明確に区別されていなかった場合、提案理由の 記述はないものとみなしている5)。

取締役会の意見が複数の議案に対する集約的なも のであった場合、各議案に同じ記述がなされたもの として扱った。ただし、個別の議案に対する意見に 加えて、別立てで議案全体に対する取締役会の意見 が付されていた場合は、個別の議案に対する意見の みを取締役会の意見として収集している。

## 3.2 前処理と形態素解析

トピックモデルの構築にあたり、下記の通りに前処理および形態素解析を行った。表記の統一を目的 として、全角コロン「,」を読点「、」に、全角ドッ ト「.」を句点「。」に変換した上で、全角の英数字 と記号 (括弧や\%など) を半角に変換した。数値に関 しては桁数区切りのコンマを除いた上で、 0 に置き 換えた。そのため、例えば「 100 万円」は「0万円」 $「 10,000$ 人」は「0人」に置き換わっている。形態素解析にあたっては解析器に MeCab ([7]) を、辞書に mecab-ipadic-neologd ([8]) を利用した。品詞 は名詞、形容詞、動詞を採用し、ストップワードと して SlothLib ([9]) に頻度の高い単語を追加した ${ }^{6)}$ 。

## 3.3 LDA モデルの構築

トピックの分類においては、潜在的ディリクレ配分法 (Latent Dirichlet Allocation; LDA ([10])) によるト ピックモデルを採用した。LDA モデルの構築にお いて、辞書は出現文書数が 13 件 (サンプルの $1 \%$ ) 以下の単語および $20 \%$ 以上の文書に出現する単語は

5）提案内容と混在している場合、可能であれば文章を分割し た。

6）具体的には、平成、昭和、令和、当社、貴社、会社、株主、提案、議案をストップワードとして採用している。また、ひ らがな 1、2 文字の単語も除外した。
表 1 提案内容の各トピックにおける代表的な単語

除いた7)。コーパスの作成においては、TF-IDF によ る重み付けは実施しない。

トピック数に関して、提案内容は 6 、提案理由は 6 (ただし、テキストが取得できなかった議案のみの Topic 7 を設定)、取締役会の意見は 5 に設定した ${ }^{8)}$ 。

## 3.4 サンプルとデータの取得源

分析対象は 2011 年〜2019 年の定時株主総会にお いて提出された株主提案議案 1,388 件である。ただ し、賛成率を含めた分析においては、付議の要件を 満たさなかったなどの理由で決議されなかった議案 を除くため、 1,350 件に減少する。

データの取得源は、以下のとおりである。株主提案の要領に関しては、eol (株式会社アイ・エヌ情報 センター) から取得した株主総会招集通知の PDF か ら手作業でテキストを収集した。賛成率については 日経 NEEDS-Cges 株主総会関連データ (日経メディ アマーケティング株式会社) から取得している。

## 4 トピックの概要

表 1 および表 2 は、提案内容および提案理由の各 トピックについて、頻出上位 5 単語から任意に選定 した代表的な単語を示している9)。また、図 1 は提案内容と提案理由のトピックごとの該当件数を示し ている。図 1 において最も件数が多いのは、提案内容 Topic 6 と提案理由 Topic 5 のセルである。表 $1 \cdot 2$ の単語をもとに解釈するならば、(現金などの)「保有」を理由とする「配当」提案が、比較的多く提出 されていると考えられる。

7）例えば「取締役会の意見」のテキストをもとに作成した辞書からは、「反対」「取締役会」などの定型的な単語が除かれ る。

8）トピック数を 2〜30 の範囲でシミュレーションを行い、 Coherence[11] および Perplexity の值をもとに決定した。ま た、コーパスを TF-IDFによる重み付けを実施した場合と実施しなかった場合の両方でシミュレーションを行った結果、重み付けを実施した場合の方が Perplexity が著しく高い值で あった。そのため、コーパスの作成においては、TF-IDF に よる重み付けは実施しないこととした。

9）取締役会の意見の分類は、実質的に提案内容に基づく分類 となっている。そのため、取締役会の意見については記載を 割愛する。表 2 提案理由の各トピックにおける代表的な単語

(注)Topic 7 は提案理由として明確な記述がなかったもの を分類している。

図 1 提案内容トピックと提案理由トピックの対応関係

## 5 分析結果

はじめに、株主提案議案をトピックに分類する前 の、文字数ないし文字数に占める数字の割合と賛成率の関係について確認する。図 2 はサンプルの 1,350 議案について、文字数と賛成率の散布図と、被説明変数を賛成率、説明変数を文字数の自然対数と した回帰直線を、文書別に示している10)。

図 2 が示すように、取締役会の意見については、記述量と賛成率の間にはプラスの関係がある (回帰係数は 2.098)。つまり、賛成率が高いと予想される 場合に、取締役会の意見の記述量が増える可能性が あると考えられる。

一方で、提案内容および提案理由については、記述量が増えると賛成率は低くなる傾向が見られる (回帰係数はそれぞれ-1.064と-1.749)。他の株主に とっては、記述量が増えるほど提案内容等を吟味す るためのコストが高くなるため、賛成票を投じる可能性が低くなるのかもしれない。

類似した傾向は、図 3 でも確認できる。図 3 は 1,350 議案について、文字数に占める数字の割合と 賛成率の散布図と、被説明変数を賛成率、説明変数 を文字数に占める数字の割合とした回帰直線を、文

10）外れ值を除くため、文字数が 0 字以上 4,000 字未満であ る文書に限定した。

図 2 文書別の文字数と賛成率

図 3 文書別の文字数に占める数字の割合と賛成率

書別に示している11)。回帰係数はそれぞれ、提案内容が 6.566、提案理由は-4.106、取締役会の意見が 62.700 である。

上記の発見事項は、議案を分類していない場合の 株主提案に関する全体的な傾向である。表 3 と表 4 では、提案内容を 6 つのトピックに分類した場合の 文書の特徴量と賛成率の関係を確認できる。具体的 には、表 3 は被説明変数を賛成率、説明変数を文字数の自然対数とした単回帰の係数を示している。ま た、表 4 は被説明変数を賛成率、説明変数を文字数 に占める数字の割合とした単回帰の係数を提示して いる。

表 3・4から、トピックによって文書の特徴量と賛成率の関係は異なることがわかる。注目すべきは、表 4 において、特に Topic 6 の提案理由で記述に占 める数字の割合が高いほど賛成率が高いという点で ある。Topic 6 の代表的な単語が「配当」であること に鑑みると、提案理由として会計数値等を用いた方 が、高い賛成率を得られると考えられる。

最後に、図 4 において、提案内容と提案理由のト ピックごとの、賛成率の中央值を示す。まず、提案理由の Topic 7 で高い賛成率が確認できる。これは、表 3 提案内容トピック別の各文書と文字数の関係

表 4 提案内容トピック別の各文書と文字数に占める数字 の割合の関係

支配株主が可決を見越して十分な説明なしに提案を 行っていることを示している。

つづいて、提案内容 Topic 5 と提案理由 Topic 4 の セルや、提案内容 Topic 1 と提案理由 Topic 1 のセル で高い賛成率 (17.1\% と $15 \%$ ) を確認することができ る。つまり、「利益」を理由とした「報酬」提案など が高い賛成率を得ている。分析結果は、提案内容や 提案理由のトピックによって、得られる賛成率が異 なることを示している。

図 4 提案内容と提案理由のトピック別賛成率 (中央値)

## 6 本研究の結論

本研究では、株主提案の要領に関する基礎研究を 行った。分析の結果、提案内容や提案理由のトピッ クによって、得られる賛成率が異なることを確認し た。本研究で得られた結果は、株主提案の要領が他 の株主の議決権行使に影響を及ぼしている可能性を 示唆する。

11）外れ値を除くため、文字数に占める数字の割合が $20 \%$ 未満である文書に限定した。

## 謝辞

本報告は JSPS 科研費 JP20K13642 の助成を受けた 研究成果の一部である。また、本報告は日本経済会計学会第 3 回秋季大会 (2022 年 12 月 17 日開催) の自由論題報告「自然言語処理を用いた株主提案の要領 に関する分析」に一部修正を施したものである。

## 参考文献

[1] 法務省. 会社法制（企業統治等関係）の見直しに関 する要綱案, 2019. 法制審議会会社法制 (企業統治等関係) 部会 第 19 回会議 (2019年 1 月 16 日開催) http://www.moj.go.jp/content/001279742.pdf.

[2] 竹林俊憲, 邊英基, 坂本佳隆, 藺牟田泰隆, 青野雅朗,若林功晃. 令和元年改正会社法の解説-ii-. 旬刊商事法務, Vol. 2223, pp. 4-10.

[3] Stefan Feuerriegel and Nicolas Pröllochs. Investor reaction to financial disclosures across topics: An application of latent dirichlet allocation. Decision Sciences, Vol. 52, No. 3, pp. 608-628, 2021.

[4] U.S. Securities and Exchange Commission. How to read an 8-k, 2021. https://www.sec.gov/oiea/ investor-alerts-and-bulletins/how-read-an8-k.

[5] 竹澤譲, 伊藤真利子, 大西立顕. Lda で求めた新聞記事のトピック割合と株価指数の関係性. 人工知能学会第二種研究会資料, Vol. 2021, No. FIN-026, pp. 1-8, 2021.

[6] 中野貴之, 五十嵐未来, 湯浅大地. Md\&a 情報におけ る『トピック』の分析. 証券アナリストジャーナル， Vol. 60, No. 10, pp. 27-35, 2022.

[7] 工藤拓. Mecab: Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[8] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会 (NLP2017), pp. NLP2017-B6-1. 言語処理学会, 2017.

[9] Slothlib. http://svn.sourceforge.jp/svnroot/ slothlib/CSharp/Version1/SlothLib/NLP/Filter/ StopWord/word/Japanese. txt.

[10] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[11] David Mimno, Hanna Wallach, Edmund Talley, Miriam Leenders, and Andrew McCallum. Optimizing semantic coherence in topic models. In Proceedings of the 2011 conference on empirical methods in natural language processing, pp. 262-272, 2011.