# 複数の手がかりを利用した小説発話の話者推定

石川和樹 1 佐藤理史 ${ }^{1}$ 宮田玲 ${ }^{1}$ 小川浩平 ${ }^{1}$
1 名古屋大学大学院工学研究科
ishikawa.kazuki.h8@s.mail.nagoya-u.ac.jp

## 概要

人間は，小説中のセリフの話者が誰なのかを苦も なく理解することができる。これは話者を推測する ための様々な手がかりが，テキスト中に存在するた めである. 本論文では, 複数の手がかりを利用した 話者推定システムを提案する．本システムは 2 つの モジュールから構成されており, 前者の話者候補リ スト作成では，セリフの周囲に出現する人物名を抽出して話者候補リストを作成したのち, 直前直後の 文における話者の明記，話者交替，一人称の 3 つの 手がかりを利用して話者候補を絞り込む。後者の口調に基づく話者推定では，セリフの口調を手がかり に話者を推定する。

## 1 はじめに

小説は，脚本とは異なり各セリフの話者が明記さ れない。しかし，我々読者は，話者が誰なのかを苦 もなく理解することができる.

これは，テキスト中に話者を推測するための多く の手がかりが存在するためである。 それらのうち，主要なものに次の 3 種類がある。

1. セリフの直前直後の文で，話者が明示される場合がある.

2. 連続するセリフでは，話者が交替する。

3. セリフの内容や使われている口調から，話者を 推測できる。

英語の小説の場合は，1と2の手がかりのみでほ とんどのセリフの話者を推定することができる.こ れは, “replied Kitty”のように話者が明記される場合 や，“said her father” のようにセリフの直後に代名詞 で話者が記される場合が多いためである。 He ら [1] は，英語小説の “Pride and Prejudice”を対象に調査を 行った結果，前者の割合は約 $25 \%$ ，後者の割合は約 15\%であったと報告している.

一方日本語の小説では，セリフの話者が直前直後
の地の文で明記される割合は全体の数\%程度しかな く, 1 と 2 の手がかりのみで話者を推定できるセリ フは限定される.

我々は昨年，39手がかり，すなわち口調に基づ く話者推定の方法を提案した [2]. この方法ではセ リフを口調ベクトルに変換する変換器を実現し，少数の訓練例 (話者が既知のセリフ集合) から算出した 各話者の代表口調ベクトルとの類似度に基づき，セ リフの話者を決定する。

今回，この方法を小説テキストに適用可能にする ために，各セリフに対して話者候補リストを生成す るモジュールをその前段として追加した.このモ ジュールは，セリフの周囲に出現する人物名を抽出 して候補リストを作成したのち，直前直後の文にお ける話者の提示 (手がかり 1), 話者交替 (手がかり 2)，一人称表現の 3 つの手がかりを用いて候補を絞 り込む.

本論文で提案するような話者の自動推定システム は，セリフに話者を付与したデータベースの作成支援に応用できる. これは，小説のセリフを題材とし た研究 (セリフの話者推定や、話者の性別推定 [3]、性格推定 [4] など) や，キャラクタ性を付与したセリ フ生成 [5] の実現のための基礎データとなる. さら に，音声合成と組み合わせることにより，話者ごと に音声を変えたオーディオブックの自動作成も可能 となる。

## 2 関連研究

英語の小説を対象とした研究では，地の文に提示 されている人名 (手がかり1) や，話者交替のルール (手がかり2）といった表層に現れている手がかりを 使って話者推定を行っている．英語の小説はこれら の手がかりのみで十分な推定が可能であり，例え ば，He らは地の文の情報を特徴量としたSVMを用 いて話者推定を行い，86.5\%の精度を達成した [1].英語小説を対象とした研究には他にも, Muzny ら [6] のルールベースの手法や，遠田ら [7] の教師なし
小説テキスト 主要人物リスト

## (1) 話者候補リスト作成

1. 周辺文脈からの候補抽出

2. 直前直後の文に基づく話者推定

3. 話者交替に基づく候補限定

4. 一人称に基づく候補限定

各セリフの話者候補リスト -

## (2) 口調に基づく話者推定

各セリフの推定話者

図 1 システム構成

機械学習を用いた手法が存在する。どちらも，1 節 で示した手がかり 1 と 2 を主要な手がかりとして 扱ったものであり，手がかり 3 はほとんど使われて いない.

## 3 話者推定システム

## 3.1 問題設定

本システムの入出力は以下の通りである.

・入力 : 小説テキストと主要人物リスト
- 出力 : 各セリフの推定話者

さらに，以下の制約を設けている。
- 推定対象作品：日本語のエンタメ小説およびラ イトノベル

-推定対象のセリフ：主要人物のセリフのみ
- 推定先の候補：主要人物のみ

なお，主要人物とは，発話数の多い人物 5 名程度 を指す。主要人物リストをシステムの入力として与 える設定のため，解くべきタスクは分類問題 (各セ リフに対して主要人物リストから 1 人選択する問題)となる。

## 3.2 システム構成

図 1 亿提案システムの構成を示す. 本システム は，「話者候補リスト作成 (3.3 節)」と「口調に基づ く話者推定 (3.4 節)」の2つのモジュールから構成さ れている.

## 3.3 話者候補リスト作成

話者候補リスト作成は，以下の 4 ステップで構成 されている。

1. 周辺文脈からの候補抽出

2. 直前直後の文に基づく話者推定

3. 話者交替に基づく候補限定

4. 一人称に基づく候補限定

## 3.3.1 ステップ 1: 周辺文脈からの候補抽出

まず，各セリフに対して，そのセリフの周辺に出 てくる人名を抽出することによって話者候補リスト を作成する。具体的な手順を以下に示す。

1. 対象のセリフの $N_{b}$ 文前から $N_{a}$ 文後を候補抽出範囲とする．ただし候補抽出範囲にセリフが 含まれる場合，そのセリフを候補抽出範囲には 含めるが，N のカウントには含めない。

2. 候補抽出範囲に名前が出てくる主要人物を話者候補とする。ただし，一人称小説の場合は，主人公は必ず話者候補に含める.

なお，システムに与える主要人物のリストでは， それぞれの人物に対して姓と名を与えるため，姓ま たは名だけでも，人物を同定できる。

## 3.3.2 ステップ 2: 直前直後の文に基づく話者推定

次に，セリフの直前直後の地の文が，話者名と発話動詞を含む特定パターンにマッチしている場合， そのセリフの話者を一意に定める．その詳細を付録 A に示す.

例えば，以下の例の場合，U1 の話者を $\mathrm{A}$ に決定 する。

$
\begin{aligned}
& N 1 \text { : A は、 } \\
& U 1 \text { : 「こんにちは」 } \\
& N 2 \text { ：と言った。 }
\end{aligned}
$

## 3.3.3 ステップ 3: 話者交替に基づく候補限定

地の文を挟まずに連続するセりフでは，話者が交替するというルールを利用して話者候補を限定す る。具体的には，以下の手続きを適用する。

あるセリフの話者が $S$ で，かつ，その直前また

は直後がセリフだった場合に，それらのセリフ の話者候補から $S$ を除外する。

なお，この手続きにより新たに話者候補が 1 人とな

 &  \\

るセリフが得られた場合は，そのセリフに対しても この手続きを適用する。

例えば，以下の例の場合，直前直後の文に基づく 話者推定 (3.3.2 節) によって U1 の話者候補が $\mathrm{A}$ のみ になるため，U2 の話者候補から A を除外する。

$
\begin{aligned}
& N 1 \text { ：A はお礼を言った。 }
\end{aligned}
$

$
\begin{aligned}
& U 2 \text { :「どういたしまして」 }
\end{aligned}
$

## 3.3.4 ステップ 4: 一人称に基づく候補限定

最後に，各話者が使う一人称を収集し，その情報 を用いて話者候補を限定する．以下に手順を示す。

1. 話者が一意に定まったセリフを用いて，それぞ れの話者が使う一人称を決定する。複数の一人称を使用していた場合は，最も使用頻度が高い 一人称を，その人物の一人称とする。

2. セリフ中に一人称 $X$ が含まれる場合，そのセリ フの話者候補から， $X$ 以外の一人称を使う人物 を除外する。

表 1 に，一人称として認定する語の一覧を示す.

例えば，以下の例の場合，U1の話者候補から A を除外する。

$
\begin{aligned}
& \text { 各人物の一人称：\{A：俺, } \mathrm{B}: \text { 私, } \mathrm{C}: \text { 私 }\} \\
& U 1 ： 「 \text { 私はこれがいいです」 }
\end{aligned}
$

## 3.4 口調に基づく話者推定

各セリフに対して話者候補リストを作成した後，話者候補が複数であるセリフに対して口調に基づく 話者推定を適用する。この時点で，すでに話者が一意に決定されているセリフは，その結果をそのまま 出力すると同時に，以下の手続きの代表ベクトルの 算出に用いる。セリフを口調べクトルに変換する方法には，すでに提案した方法 [2] を用いるが，口調 ベクトルの次元数は 64 を用いる.

1. 代表口調ベクトルの算出

それぞれの主要人物に対し，その人物の既知の セリフを口調ベクトルに変換し，その平均を代表口調ベクトル (話者の口調を表すべクトル)と する。表 2 口調に基づく話者推定の結果

2. 話者推定

各推定対象のセリフ (話者候補が複数のセリフ) に対して，そのセリフの口調ベクトルと各主要人物の代表口調ベクトルとの類似度を計算し， その値が最も高い話者を推定話者とする。

## 4 実験

## 4.1 実験条件

以下の条件で実験を行った。
- 対象作品 : 米澤穂信『氷菓』及び『愚者のエン ドロール』(一人称小説)
- 主要人物 : 5 人

・全セリフのうち，主要人物のセリフが占める割合 : $69.9 \%$
- 周辺文脈からの候補抽出での候補収集範囲 : セ リフの前 10 文 後ろ 3 文 $\left(N_{b}=10, N_{a}=3\right)$

なお，対象作品の『氷菓』と『愚者のエンドロール』 は同一シリーズの作品であり, 主要人物も共通して いる. そのため，これら 2 作品を繋げ， 1 つの作品 とみなし実験を行った。

## 4.2 口調に基づく話者推定の結果

表 2 に, 口調に基づく話者推定の, 主要人物 5 人の 結果 (recall, precision, F1) と, 全体の結果 (macro-F1, micro-F1)を示す.

先の研究 [2] 一各主要人物のセリフの $10 \%$ を代表口調ベクトルの算出に用い，残り $90 \%$ を推定対象 セリフとした場合—の macro-F1 は 61.4, micro-F1 は 68.3 であったが，今回は，それぞれ 72.9 と 75.4 に向上した. さらに，先の研究では各話者の F1 の 值はばらついた $(28.2 \% \sim 77.6 \%)$ が，今回は $64.2 \% \sim$ $85.1 \%$ どらつきも抑えられた。この結果より，口調以外の手がかりを用いて一部のセリフの話者を確定し，それらのセリフを用いて代表口調べクトルを 算出する方法で，口調に基づく話者推定が実行でき
表 3 話者候補リスト作成の各ステップの話者候補数と話者推定結果

 &  &  &  \\

ることが示された。

## 4.3 話者候補リスト作成の詳細

次に，話者候補リスト作成の各ステップで，セリ フの話者候補リストがどのように推移しているかを 調べた。この結果を表 3 に示す。

ステップ 1 (候補抽出) では, 平均 3.14 人の候補 が得られ，その中に正解が含まれる割合は $98.8 \%$ で あった．ただし，話者が一意に決定できるセリフの 数は 19 と少ない.

ステップ 2 (直前直後の文の利用)では，新たに 94 セリフの話者が一意に決定され，この段階で 113 セ リフ(全 1468 セリフ中の 7.7\%)の話者が一意に決定 された。その精度は 102/113=90.3\%である。この時点の結果を (つまり, ステップ 3,4 を省略して) 後段 の話者推定に入力した場合，口調による話者推定の 精度は $76.5 \%$ ，システム全体の精度は $77.6 \%$ となる。 なお, 口調に基づく話者推定では，話者候補が複数存在するセリフのみを対象とするため，対象セリフ の平均候補者数は，話者候補リスト作成時の平均候補者数とは一致しない。

ステップ 3 (話者交替の利用) を追加すると，話者 が一意に決定されるセリフが 12 増加した。このス テップで候補が削減できるのは，セリフが連続し， かつ，それらのいずれかのセリフの話者が確定して いる場合のみである. 加えて，1つのセリフから削減できる候補数も 1 候補である。このため，このス テップの効果は限定的である.

ステップ 4 (一人称の利用)を追加すると, 話者が 一意に決定されるセリフが 148 増加し, 一意に決定されるセリフの精度も $94.9 \%$ に向上した. このス テップで候補が削減できるのは，一人称が含まれる セリフで，かつ，そのセリフから複数の話者候補を 除外することができる．たとえば，実験対象の作品 の主要人物が用いる一人称は，A は「俺 $\mathrm{B}, \mathrm{B}$ と は「わたし」，Cは「僕」，Eは「私」であり，もしある セリフに「俺」が含まれる場合は，そのセリフの話者を $\mathrm{A}$ と確定できる。エンタメ小説では，主要人物 が使う一人称は異なる場合が多いと考えられ，この ステップはエンタメ小説一般に対して高い候補削減効果を持つと考えられる。

## 5 今後の課題

現状のシステムの課題として，以下の 2 点が挙げ られる。

1. 主要人物のみのセリフを推定対象としており, それ以外の話者のセリフを対象外としている。

2. 周辺文脈からの候補抽出での候補収集範囲は,作品によって適切な範囲が異なるが，固定した 値を用いている。

1 つ目の課題に対する解決策として，口調に基づ く話者推定の際に，推定話者だけでなく，各話者候補の確信度を同時に出力することを考えている。も しも全ての候補の確信度が低ければ，その中に正解 の話者はいないと判断し，話者は主要人物以外の人物であると推定することが可能となる．実際にシス テムを使用する際には，各セリフが主要人物のセリ フかどうかは事前には分からないため，全てのセり フを推定対象とする必要がある。そのため，少なく とも話者が「主要人物以外の話者」であると判定す る機能が不可欠である。

2 つ目の課題に対しては，小説の単語数に対する 人名数の割合を元に，収集範囲を自動決定すること を検討している。この割合が小さい場合は収集範囲 を広く取り，割合が大きい場合は収集範囲を狭く取 ることで，候補が集まらないといった問題や過剰に 集めてしまうといった問題を解決できると考えて いる.

## 謝辞

本研究は JSPS 科研費 JP21H03497 の助成を受けた ものです.

## 参考文献

[1] Hua He, Denilson Barbosa, and Grzegorz Kondrak. Identification of speakers in novels. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2013.

[2] 石川和樹, 宮田玲, 小川浩平, 佐藤理史. 口調ベクトル を用いた小説発話の話者推定. Technical report, 情報処理学会第 253 回自然言語処理研究会, 2022.

[3] 中川翔太, 孫昊, 金明哲. 小説会話文における発話者 の性別推定. 日本行動計量学会大会抄録集, Vol. 47, pp. 362-365, 2019.

[4] 津崎誠也, 山本博史. キャラクタの性格推定. 2017 年度 情報処理学会関西支部 支部大会 講演論文集, 2017.

[5] 米田智美, 佐藤理史, 夏目和子, 宮田玲, 小川浩平. 話者の性格を反映した発話文の生成. 言語処理学会第 28 回年次大会発表論文集, 2022.

[6] Grace Muzny, Michael Fang, Angel Chang, and Dan Jurafsky. A two-stage sieve approach for quote attribution. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, 2017.

[7] 遠田哲史, 吉永直樹. 文学作品における教師なし話者同定. 言語処理学会第 25 回年次大会発表論文集, 2019.

[8] 国立国語研究所. 分類語彙表増補改訂版データベー ス (ver.1.0), 2004

[9] Mecab: Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[10] Yuji Matsumoto Taku Kudo. Japanese dependency analysis using cascaded chunking. In CoNLL 2002: Proceedings of the 6th Conference on Natural Language Learning 2002 (COLING 2002 Post-Conference Workshops), pp. 63-69, 2002.

## A 直前直後の文に基づく話者推定

直前直後の文に基づく話者推定では，各セリフに 対して，以下に示す 4 つのパターンにマッチするか どうかを順に確認する。もし，いずれかのパターン にマッチしたならば，そのパターン中の A に対応す る人物をそのセリフの話者だと推定する。

なお，発話動詞とは，「言った・答えた」などの 発話を示唆する動詞である。発話動詞としては，国立国語研究所の「分類語彙表増補改訂版データベー ス」[8] から収集した 940 語を使用する。

## パターン 1

$N 1$ : (任意の地の文)

U1: (推定対象のセリフ)

## パターン 2

N1: $\cdots \mathrm{A} \cdots$

U1: (推定対象のセリフ)

## パターン 3

$N$ 1: (任意の地の文)

$N 2: \cdots \mathrm{A} \cdots$ (発話動詞 $V$ ) $\cdots$

U1: (推定対象のセリフ)

## パターン 4

U1: (推定対象のセリフ)

$N 1$ : (任意の地の文)

いずれのパターンにおいても以下の条件を満たす 必要がある.

## 条件 1

A の係り先に発話動詞 $V$ が存在する.

## 条件 2

発話動詞 $V$ の後ろに否定を表す助動詞が付か ない.

この条件の判定で必要となる形態素解析と係り受 け解析には， MeCab (IPAdic) [9] と CaboCha[10] を用 いる.


# 常識推論を支援するための辞書（あるいはオントロジー）の構築方法

山田隆弘 ${ }^{1}$
${ }^{1}$ CONOCIMISTA
tyamada99@yahoo.co.jp

## 概要

自然言語処理技術を用いて推論を行う際，文章の 中で使われている語や句の意味を判定するために電子的に処理可能な辞書（あるいはオントロジー）が 使用される.ところが，これらの辞書やオントロジ 一には，推論を行うために必要となる情報が十分に 含まれていない場合がある. 本稿では, 推論（特に 矛盾の検出）を支援するための辞書（あるいはオン トロジー）を構築するための方法を提案する。推論 において使用される知識には常識と世界知識とがあ るが，本稿では，常識を使用した矛盾の検出を考察 の対象とする。

## 1 はじめに

自然言語処理技術の用途の一つは, 自然言語で書 かれた文章について推論を行うことである. 推論の 際, 文章の中で使われている語や句の意味を判定す るために，電子的に処理可能な辞書（あるいはオン トロジー）が使用される. 代表的な辞書としては, FrameNet [1]や WordNet [2]が知られている。ところ が，これらの辞書やオントロジーは，必ずしも特定 の推論を支援するために作られたわけではないので，推論を行うために必要となる情報が十分に含まれて いない場合がある（具体例については, 2.1 節で述べ る).

そもそも，辞書にしてもオントロジーにしても，具体的な使用目的を定め, その目的を達成できるよ うに「設計」すべきものである. そこで, 本稿では，推論を支援するための辞書 (あるいはオントロジー) を設計するための方法の一つを具体的に提案する.

自然言語処理技術を利用した推論としては，いく つかの種類が考えられるが, 本稿では, 一つの文書内（あるいは複数の文書間）の矛盾の検出を取り上 げる。 その理由は, 文書内（あるいは文書間）の矛盾の検出は, 実用的に重要な課題であるからである.文書内（あるいは文書間）の矛盾を放置したままに
すると重要な損害がもたらされる場合は多い，例え ば，一つの人工衛星に関する技術文書間の矛盾[3], あるいは，企業が発行する文書と関連する法律の間 の矛盾などがあげられる.

また，推論において使用される知識には，大きく 分けて，常識と世界知識とがある。この両者を厳密 に区別することは困難であるが，本稿では，概念レ ベルの知識を常識と考え, 個々の事物レベルの知識 を世界知識と考えることにする.すなわち, 常識は，記述論理[4]の T-Box に相当し，オブジェクト指向モ デリング[5]のクラスモデルに相当する．また，世界知識は, 記述論理の A-Box に相当し, オブジェクト 指向モデリングのインスタンスモデルに相当する.本稿では，常識を使用した矛盾の検出を考察の対象 とする.

以上をまとめると, 本稿では, 文章中の矛盾の検出を行うための常識（概念レベルの知識）を記述す るための辞書（あるいはオントロジー）の設計方法 の提案を行う．辞書とオントロジーの区別は判然と しないが，以降では，原則として，辞書とオントロ ジーの両者をまとめて「辞書」と呼ぶことにする.

なお, 本稿の内容は, 筆者の過去の研究[6]をさら に発展させたものである.

## 2 関連研究

## 2. 1 矛盾の検出

自然言語処理技術を使用して文書の矛盾を検出す る研究としては[7-10]等がある.これらの研究の大部分において，語の意味に起因する矛盾を検出するた めに WordNet [2]等における反義語の規定が使用さ れている. 例えば，「大きい」と「小さい」は反義語であるから，「X は大きい」と「Xは小さい」は 矛盾しているとして判断される.

しかし，矛盾とは「同時には成立しない」ことで あるから，必ずしも意味が反対でなくても矛盾して いることはあり得る. 例えば，「太郎は歩いている」

と「太郎は走っている」は矛盾している。なぜなら ば，「歩く」と「走る」を同時に行うことは困難で あるからである．また，「太郎は昨日大阪から東京 に戻った」と「太郎は今日は大阪に滞在している」 は矛盾している，矛盾していないとすれば，「太郎 は大阪から東京に戻った後で再び大阪に行った」と いう情報が不足していることになる。

文書中の矛盾を検出するために必要な情報を十分 に含んでいる辞書は(筆者の知る限り) 存在しない.文書中の矛盾を検出するためには，そのために必要 な知識を蓄積した辞書を構築する必要がある。

## 2.2 辞書（あるいはオントロジー）の設計

特定の目的のためにオントロジーを設計した例と して, Event and Situation Ontology (ESO) [11]を取り 上げる。このオントロジーは，様々なニュース記事 より事象を抽出し, 抽出された事象を互いに関連づ けるための道具として開発された。

この目的のために，このオントロジーでは，動的事象 (dynamic state) と静的事象 (static event) を定義する。ただし，この両者は一般的には事象(event) と状態 (state) と言われている概念にそれぞれ相当 するので，以下では事象と状態という用語を使用す ることにする.

このオントロジーでは，変化を伴う事象は，その 変化の内容を事前条件と事後条件によって規定する.事前条件と事後条件は，このオントロジーで定義さ れている状態に対応づけて規定する. 例えば，「Xは A から B に移動する」という事象の事前条件は「X は A に存在している」であり，事後条件は「Xは B に存在している」である。ここで，「XはYに存在 している」は，このオントロジーにおいて状態とし て定義されている。このように事象と状態を関連づ けることにより，このオントロジーで定義されてい る概念の範囲内であれば，複数の事象や状態の間の 関係を統一的な形で表現できる。

このオントロジーは矛盾検出用ではないので当然 であるが，このオントロジーを矛盾検出に利用する には，いくつかの情報が不足している。例えば，複数の事象や状態が同時に成立するかどうかを判定す るための情報が欠けている。

本稿の第 3 節以下では, 矛盾検出のための辞書が 満たすべき条件（あるいは設計原理）を明らかにし ながら，そのような辞書を構築する方法を提示する.

## 3 ドメインモデルの構築

## 3.1 ドメインモデルの概念

本稿で構築する辞書でも ESO [11]と同様に状態 （state）と事象 (event) を定義するが (第 4 節参照)，本稿の方法では, 状態と事象で参照される基本概念 をドメインモデル[6]として定義する. ドメインモデ ルとは，特定の分野で使用される基本概念を一つの モデルとして定義したものである．ESO では，事象 の事前条件と事後条件を状態に準拠させることで全体の整合性を確保しているが，本稿では，事象と状態の双方をドメインモデルに準拠させることによっ て,さらに高いレベルの整合性の確保を狙っている.

## 3.2 ドメインモデルの定義

本稿ではオブジェクト指向モデリング[5]の手法 を用いてドメインモデルを構築する．ドメインモデ ルの主要な構成要素を以下に示す.これらの要素は， Unified Modeling Language (UML) [12]のクラス図を 用いても定義できる. オブジェクト指向モデリング の詳細は[5]や[12]を参照して頂きたい。以下で，オ ブジェクトとは，個々の物を属性値の集合として表現した仮想的な物である.

・クラス（共通の特徵を有するオブジェクトの 集合)

・属性（オブジェクトの特徵を表すパラメータ）
- 属性値(属性の取る値)
- 属性値型（属性の取り得る値の集合）
- 関係（複数のオブジェクト間に成立する関係）
- 属性の多重度（一つの属性がいくつの属性値 を持てるか)
- 関係の多重度（一つのオブジェクトが他のい くつのオブジェクトと同一の関係を持てるか)

属性値型には, 整数, 実数, 文字列, 列挙型など がある. 列挙型とは，いくつかの離散的な値（文字列で表される）の集合として規定され，それらのう ち一つあるいは複数のものを値としてとることを示 すものである.

このドメインモデルを矛盾の検出のために使用す るためには, 属性值型が列挙型の場合, 列挙されて いる個々の值が互いに排他的である必要がある．列挙型の属性が二つ以上の異なる属性値を同時に持つ ことがある場合は，その属性の多重度を 2 以上にす る必要がある. また, 属性と関係の多重度の指定は

従業員 1 ...*

雇用主 $0 . .1$

図 1 ドメインモデルの実例

必須である. これらは, 矛盾検出のための辞書が満 たすべき条件である.

## 3.3 ドメインモデルの実例

簡単なドメインモデルの例をUML のクラス図を 用いて図 1 に示す.この図では, 以下の要素が定義 されている.

・クラス：人間，組織
- 属性 : 氏名, 居住地, 所在地, 組織名, 組織種別
- 属性値型 : 文字列, 場所, 組織種別名
- 関係 : 従業員一雇用主

図 1 で示されている属性値型のうち組織種別名は 列挙型であり,その定義は以下のようになっている.

組織種別名 $=\{$ 会社，役所，任意団体 $\}$ ここでは, 会社, 役所, 任意団体の三者は互いに排他的であるとする.

さらに, この図では, 多重度も示されている. 属性の多重度は, 属性値型の後の[ ]内に示されている が，全ての属性について 1 である。 すなわち, 全て の属性は一つの属性值を常に持っていなければなら ない. 関係の多重度は, 以下のように示されている。

(このドメインでは) 一人の人間は，0または一つ の組織を雇用主として持ち得る。すなわち, 一人の 人間は, 雇用主を持たないか, あるいは, 一つの雇用主を持つかのどちらかである。一方, 一つの組織 は，一つ以上（上限は設定されていない）の人間を 従業員として持ち得る。

## 4 状態と事象の定義

ここでは, 第 3 節で定義したドメインモデルに基 づいて状態(state)と事象(event)を定義する方法を示
す.ここで登場するオブジェクトは，ドメインモデ ルで定義されている何らかのクラスに属しており，属性あるいは関係は，そのクラスで定義されている 属性あるいは関係である.

## 4. 1 状態の定義

本稿の方法では, 各々の状態は以下の要素によっ て定義される。

〈属性に関する状態〉

・オブジェクト
- 属性=属性值

・ [時刻あるいは時間間隔]
- [その他]

〈関係に関する状態〉

・オブジェクト

・関係 [=関係先のオブジェクト $]$
- [時刻あるいは時間間隔]
- [その他 $]$

上記で, [ ] 内の要素はオプションであり, 必要 がなければ示さなくてよい.

例えば，「太郎は大阪に滞在している」という文 は属性に関する状態を表していて，以下の要素によ って表される.これは, FrameNet の Being_located フ レームに概ね相当する.
- 太郎(人間クラス)
- 所在地 $=$ 大阪
- 時刻：現在

また，「太郎は凸凹商会に勤めている」という文 は関係に関する状態を表していて，以下の要素によ って表される.これは, FrameNet $の$ Being_employed フレームに概ね相当する。
- 太郎 (人間クラス)
- 雇用主＝凸凹商会
- 時刻：現在

## 4. 2 事象の定義

本稿の方法では, 各々の事象は以下の要素によっ て定義される。

〈変化を伴う事象〉
- [変化を促すオブジェクト]

・変化するオブジェクト
- 事前条件
- 事後条件

・ [時刻あるいは時間間隔]
- [手段]
- [その他]

〈変化を伴わない事象〉
- [事象を促すオブジェクト]

・事象の主題となるオブジェクト
- 事象の内容

$\cdot$ [時刻あるいは時間間隔
- [手段］
- [その他 $]$

上記で，変化（あるいは事象）を促すオブジェク トとは, 使役を表すためのものであり, 変化する (あ るいは事象の主題となる）オブジェクト以外のオブ ジェクトが事象を引き起こす場合に，事象を引き起 こすオブジェクトを示すものである.

事前条件と事後条件は, ESO [11]でも使用されて いる概念であり，事象の前後で変化する属性や関係 を表現するものである．変化を伴わない事象の内容 については，同時には成立しない事象の集合（例え ば，「歩く」と「走る」等）を規定するものとする.手段等の他の項目についても，同時に使われること のない（すなわち排他的な）值の集合を定めるもの とする.これらは, 矛盾検出のための辞書が満たす べき条件である.

例えば，「太郎は昨日大阪から東京に移動した」 という文は変化を伴う事象を表していて，以下の要素によって表される。これは, FrameNet の Self_motion フレームに概ね相当する.

・変化するオブジェクト：太郎（人間クラス）
- 事前条件 : 所在地 $=$ 大阪
- 事後条件 : 所在地 $=$ 東京
- 時刻：昨日

## 5 矛盾検出の例

ここでは，本稿の方法によって検出できる矛盾の 例を示す.

・「太郎は役所に勤めている」対「太郎は会社に 勤めている」

この矛盾は，（このドメインにおいては）人間ク ラスのオブジェクトが雇用主を一つしか持てないこ とと組織クラスの組織種別名が排他的であることに より検出できる.

-「太郎は大阪に行った」対「太郎は東京にいる」

この矛盾は，（太郎が大阪から東京に戻ったとい う情報がないかぎり）人間クラスの所在地の多重度 が 1 であることにより検出できる。ただし, 厳密に 言えば，この矛盾検出のためには，東京と大阪は排他的な場所であるという世界知識が必要になる。

## 6 考察

## 6. 1 他の辞書やオントロジーとの関係

本稿では，新しい辞書の構築方法を提示したが，既存の様々な辞書との関係も考慮する必要がある.一つの辞書であらゆる分野や用途をカバーできれば 理想的であるが，それは現実的ではないので，以下 のような方法が望ましい.

ドメインモデルで使われるクラス，属性，関係な どの概念は，SUMO [13]等の上位オントロジーで定義されているものを使用するか，これらの上位オン トロジーとの対応関係を示すべきである. 状態と事象については, FrameNet [1]のフレームに概ね対応す るが，厳密な一対一の対応ではないので，両者間の 対応関係を詳しく示すべきである.

## 6. 2 将来の課題

[7]や[9]で指摘されているように，A と B が矛盾 しているかどうかを検出するためには，A と B が共 に同一の事物について言及しているかどうかの確認 が必要である.これは必ずしも容易な問題ではなく,辞書だけで解決できる問題でもないが，何らかの解決策が必要である。また，本稿では常識のみを利用 したが，これに世界知識を組み込むための取り組み も必要である。本稿では，推論の一例として矛盾検出を取り上げたが，他の推論のタイプに適用できる 手法も開発すべきである. さらに，ここで提示した 辞書を機械で処理できる形式で表現する方法も必要 であるが，このためには筆者の別の研究[14]等を利用する予定である.

## 7 おわりに

本稿では，矛盾の検出を支援するための辞書（あ るいはオントロジー）の構築方法の一例を示した.本方式の特徴は，まずドメインモデルを構築し，そ れ以外の概念は全てドメインモデルに準拠して定義 することである．ただし，本稿で示したのは大まか な構想のみであり，詳細は今後詰める必要がある. また，第 6 節で示したように今後解決すべき課題も 多い. 本稿で強調したいことは，辞書やオントロジ 一は使用目的に合致するように「設計」すべきであ ることである．実社会で役に立つような研究が今後 ますます盛んになることを願っている。

## 参考文献

[1] Josef Ruppenhofer, Michael Ellsworth, Miriam R. L. Petruck, Christopher R. Johnson, Collin F. Baker and Jan Scheffczyk, FrameNet II: Extended Theory and Practice, 2016.

[2] Christiane Fellbaum, WordNet: an electronic lexical database, MIT Press, 1998.

[3] 山田隆弘, “バックキャスティングによる技術開発の すすめ”, ISAS ニュース, JAXA 宇宙科学研究所, No. 488 (2021 年 11 月), p. 8, 2021.

[4] Franz Baader, Diego Calvanese, Deborah L. McGuinness, Daniel Nardi and Peter F. PatelSchneider, The Description Logic Handbook: Theory, Implementation and Applications, Second Edition, Cambridge University Press, 2010.

[5] Michael Blaha and James Rumbaugh, ObjectOriented Modeling and Design with UML, Second Edition, Prentice Hall, 2005.

[6] 山田隆弘, “公理としてのドメインモデルに基づ く意味の規定について," 第 31 回人工知能学会全国大会, 2017.

[7] Sanda Harabagiu, Andrew Hickl and Finley Lacatusu, "Negation, Contrast and Contradiction in Text Processing," Proceedings of the Twenty-First National Conference on Artificial Intelligence (AAAI-06), pp. 755-762, 2006.
[8] Marie-Catherine de Marneffe, Anna N. Rafferty and Christopher D. Manning, "Finding Contradictions in Text," Proceedings of ACL-08: HLT, 2008.

[9] Aikaterini-Lida Kalouli, Livy Real and Valeria de Paiva, "Correcting Contradictions," Proceedings of the Computing Natural Language Inference Workshop, 2017.

[10] 外園康智, 長谷川貴博, 渡邊知樹, 馬目華奈, 策有紀子, 谷中瞳, 田中リベカ, Pascual MartínezGómez, 峯島宏次, 戸次大介, “意味解析システ ム ccg2lambda による金融ドキュメント処理,”第 32 回人工知能学会全国大会, 2018 .

[11] Roxane Segers, Piek Vossen, Marco Rospocher, Luciano Serafini, Egoitz Laparra and German Rigau, "ESO: a Frame based Ontology for Events and Implied Situations," Proceedings of MAPLEX 2015, 2015.

[12] Grady Booch, James Rumbaugh and Ivar Jacobson, "The Unified Modeling Language User Guide," Second Edition, Addison-Wesley, 2005.

[13] Ian Niles and Adam Pease, "Towards a Standard Upper Ontology," Proceedings of the 2nd International Conference on Formal Ontology in Information Systems, 2001.

[14] 山田隆弘, “Entity-Relationship モデルに基づいた 知識グラフの構築方法," 第 34 回人工知能学会全国大会, 2020 .


# 議会会議録と予算表を紐づける Minutes-to-Budget Linking タスクの提案

木村泰知 1 梶縁 1 乙武北斗 2 門脇一真 3 佐々木稔 4 小林暁雄 5
1 小樽商科大学 2 福岡大学 3 株式会社日本総合研究所 4 茨城大学 5 農研機構
kimura@res.otaru-uc.ac.jp

## 概要

予算編成に関する議論の背景・過程・結果を理解 するには，複数の文書や表を参照する必要がある。

NTCIR-17 QA-Lab PoliInfo-4 のサブタスクの一つで ある Minutes-to-Budget Linking (以下 MBLink) では，議会における予算審議に焦点を当て，ある予算に関 する発言に対して，関連する予算表のセルを紐づけ るタスクを実施する．MBLink は，議会会議録のよ うな非構造化データから, 表形式データの予算表 に含まれる特定のセルを紐づけることで，発言の 根拠となる数値をみつけ，予算増減の理由をわか りやすく提供することを目指している。本稿では， MBLink のデータ形式，評価方法，アノテーション 方法について述べる。

## 1 はじめに

地方自治体の役割のひとつに予算編成がある。予算は，首長により予算案が作成され，議会で審議さ れた後に成立する。しかしながら，審議結果である 予算は，どのような背景に基づいて予算案が作成さ れ，どのような議論を経て成立しているのかを把握 しづらい。予算作成の議論を理解するには，参照し なければならない文書や表が数多く存在する [1][2].例えば，対象年度の予算は，前年度の予算と比較し ながら，説明される [3]. 特に，正確な金額を確認す る場合には予算表を参照することになる。

小樽市議会における予算説明の例 (図 1 も参照)

まず，歳入についてでありますが，市税につき ましては，個人市民税，法人市民税などで減収 が見込まれるものの，固定資産税，都市計画税などで増収が見込まれることから，2.7\%，3 億 5,280 万円増の 135 億 7,350 万円を見込みま した.
ここで，小樽市議会における市長の説明を例に，予算に関する金額表現処理の難しさについて説明 する。上記の例にあるように，市長は「歳入」とな る「市税」「個人市民税」「法人市民税」「固定資産税」「都市計画税」の税収入の説明をしつつ，見込 み額を述べている。「市税」「個人市民税」などの額 は，文中に記載されていないものの，別の資料に記載されており，予算表を参照することで，正確な金額を確認できる。「135 億 7,350 万円」という金額表現は，前年度の市税の「2.7\%」である「3 億 5,280 万円」の金額が増えることを見込んで計算された対象年度の見積額である。

議会における発言は，予算編成の経緯が述べれる こともあるが，予算関連の書類が配布されたことを 前提にしているため，詳細な数値や正確な金額が明言されないこともある.このような場合には，予算表を参照することで，金額や数値を確認することが 可能である. また，予算の増減額や割合について も，予算表の金額と紐づけて，計算することができ る. さらに，予算編成に至る経緯については，提案 された予算金額とともに，理由を加えて説明してい ることが多い [3].

そこで，本研究では，議会における予算審議の発言と予算表の関連項目を紐づける MBLink (Minutesto-Budget Linking) タスクを提案する．MBLink の目的は，予算の根拠となる金額を明らかにするとと もに，どのような理由で予算額が決定したのか を確認できるようにすることである．MBLink は， NTCIR-17 QA-Lab PoliInfo-41) のサブタスクのひとつ である [4]. NTCIR-17 は，NII が主催する評価型ワー クショップであり，2022 年 7 月から 2023 年 12 月ま で開催される ${ }^{2)}$. 本稿では，MBLink のデータ形式,評価方法，アノテーション方法について述べる。

## 2 議会会議録と予算表

## 2.1 予算編成の流れ

自治体の予算は，次年度 (4 月以降) に実現すべき 方向性を考えて, 前年度の議会で決定される. 予算編成のおおまかな流れは, 前年度の後半から始ま る. 最初に，次年度に実現すべき方向性を考えて，組織内部の意思統一を図りつつ，予算編成方針が決定される. 予算編成方針に基づいて，各部からの予算要求がある. それらの要求に対して, 社会状況や 国の動向を踏まえ, 要求内容の追加・変更が行われ る. 1 月頃に, 各部から要求された内容について査定が行われ，予算案が公表される. 2 月上旬に開催 される第一回定例会に予算案が上程され，議決を受 ける. 議会では，首長から予算案の説明された後 で，さまざまな観点から審議が行われ，予算案を可決すべきか否かが決定される。

## 2.2 予算の説明箇所

首長による予算の説明箇所は，第一回定例会の 1 日目の冒頭に行われることが多い. 例えば，平成 31 年 (2019 年) の小樽市議会 ${ }^{3}$ ) の第 1 回定例会の議案 は「予算」と「条例」に分けられ，第 1 号議案から 第 19 号議案までが予算であり，第 20 号議案から第 38 号議案までが条例である. 第 1 回の本会議4) の冒頭は，予算の提案から始まり，市長が予算の説明を 行っている. 予算説明されている文は，2ページ程度であり, 35 文であった. 本研究では, 首長が予算 を説明している発言に焦点を当て，関連する予算表 のセルと紐づける.

## 2.3 予算表の種類

前節で述べた通り，予算の審議は，第一回定例会 において行われ，首長による提案から始まる. 首長 は，予算関連書類に記載されている金額を根拠とし ながら，説明することが多い. 例えば，小樽市の予算情報は下記の 8 つの書類が公開されている [3].

1)予算編成方針について

2)予算総括表

3)予算案のポイント

4)主要事業

5)部別要求額・予算額

4) https://www.city.otaru.lg.jp/docs/2020113000634/
6)ふるさと応援寄附金の使い道

7)予算書

8)予算説明書

梶らの調査 [3] によれば，予算情報は「予算総括表」「予算案のポイント」「部別要求額・予算額」「予算書」と対応づけられることが多い，予算総括表は，一般会計，特別会計，企業会計に対する前年度と今年度の予算額が記述されている表である。予算案のポイントは，財政部が予算編成のポイントを 図や表を含めて説明した文書である。部別要求額・予算額は，小樽市の総合計画に沿って，各事業に対 する予算額をまとめた表である。予算書は，一般会計，特別会計，企業会計に分けて，歳入と歳出が表 として記載されており，約 40 ページである.

## 3 Minutes-to-Budget Linking

## 3.1 目的

MBLink の目的は，議会における発言と予算表の 数値を紐づけることで，根拠となる金額を明らかに するとともに，どのような理由で予算額が決定した のかを確認できるようにすることである.

## 3.2 データセット

MBLink の入力，出力，評価方法を下記に示す.

入力 予算表 (HTML)議会会議録 (HTML)

出力 会議録の発言と予算項目の紐付け (JSON)

評価 議会会議録から予算表への連結，および，理由の有無についての評価 ( $\mathrm{F}$ 値)

MBLink では，議会会議録中のある文が予算表の特定のセルの金額に関連するものであれば，その文 にそのセルの ID を付与し，さらにその文に予算の 主張に関する理由が含まれているか否かの判定結果も付加する. 入力は，予算表と議会会議録であ り，HTML ファイルとして与えられる．与えられ る HTML は，図 1 の例にあるように，IDが付与さ れた HTML である，出力は，予算表に関連するセ ルがあれば，議会会議録に含まれる文 ID と予算表 に含まれるセル ID を紐づけて，JSON ファイルと して返す。また，理由が述べられている場合には “containsReason”を“True”とする。評価は，議会会議録から予算表への連結，および，理由の有無につ いての性能評価として F 値を用いる。

\{"sentencelD": "011002-2019-doc54321-sent30", "linkedCellIDs": ["011002-2019-doc12345-tab2-r2c1", "011002-2019-doc12345-tab2-r2c3"], "containsReason": true\}

図 1 市税について「対象年度」「前年度」の税収入を参照しつつ説明している箇所に対して，アノテーションする例

## 4 アノテーション

本節では，アノテーションの流れを説明する。

## 4.1 アノテーションの準備

自治体の公開している予算表は，PDFで公開され ていることが多い. そのため，アノテーションを行 う前に，PDF から HTML へ変換する. HTMLへの 変換は, 変換ツールとして ABBYY FineReader PDF ${ }^{5}$ を用いて自動で変換した後で，下記の処理をするこ とで，人手でデータ整形をしている.

1. 結合されているセルを分割する

2. 必要があれば，セル内で改行する

3. 余計なスペースを削除する

4. 明らかな文字認識の誤りを訂正する

## 4.2 対象データ

対象データは，小樽市，福岡市，茨城県の議会と する予定である．現時点では，小樽市の2019年およ び 2020 年の第一回定例会の市長の予算説明に関す る発言を対象としてアノテーションを進めている.

・2019年 第 1 回定例会 第 1 日目 ${ }^{6}$

- 2020 年 第 1 回定例会 第 1 日目 ${ }^{7)}$

予算表は，予算説明で参照されることが多い「予算総括表」「予算案のポイント」「部別要求額・予算額」「予算書」に含まれる表とする。

## 4.3 アノテーションの方法

アノテーションは，図 2 の例にあるような独自で 開発したツールを用いて行う．アノテーションツー ルは，左側に会議録，右側に予算表が見える状態に なっており，予算に関する発言と関連のある表のセ ルを紐づけることができる．梶らの調査 [3] と同様 に，予算編成の根拠となる「金額」「割合」「増減」「参照」に着目したアノテーションが可能であり，理由の有無も付与できることを確認した.

## 5 関連研究

## 5.1 テキストと表の連結

テキストと表を紐づける研究には, FEVEROUS (Fact Extraction and VERification Over Unstructured and Structured information) [5] がある. FEVEROUS は, Wikipedia に記述された Claim(主張)の真偽を検証 するために, Evidence(根拠)を Wikipedia の表から

7) https://www.city.otaru.lg.jp/docs/2020113000634/ file_contents/02-01.pdf

の当初予算と比較して説明申し上げます。

まず、歳入についてでありますが、市税につきましては、個人市民税、法人市民税などで減収が見込まれるものの、固定資産税、都市計画税などで増収が見込まれることから、2.7\%、3 億5,280万円増の 135 億7,350万円を見込みました。

地方交付税につきましては、国の地方財政計画の伸び率などを 基本に、本市の特殊事情を勘案しながら積算し、臨時財政対策債を加えた実質的な地方交付税では、1.7\%、2 億 9,500 万円減 の170億5,100万円を見込みました。地方消費税交付金につきましては、 $3.2 \% 、 7,800$ 万円増の 25 億 700万円を見込みました。

また、歳出の主なものについて経費別に申し上げますと、いわ ゆる義務的経費では、人件費が $0.6 \%$ の減、公債費が $4.3 \%$ の減 となりましたが、扶助費において、市内幼稚園の新制度幼稚園・認定こども園への移行に伴う教育・保育給付費負担金の堌 などにより、2.1\%の増となったことから、合計では0.3\%の増 となり、歲出合計に占める義務的経費の割合は、前年度を 1.9 ポイント下回る $56.1 \%$ となりました。

図 2 MBLinkのアノテーション画面の例

みつけるタスクである。例えば，Claim に「Roberto Fico は，総投票数の $57.6 \%$ \% 57,119 票を獲得しま した.」と入力文が与えられた場合，表から投票数 が「61,819」であることをみつけ，Verdict(評決)とし ては Refuted(反論) に分類する。

議会会議録と異なる言語資源を連結する研究は, NTCIR-15 QA-Lab PoliInfo-2 の Entity Linking で行わ れている [6]. Entity Linking は，議会で議論されて いる法律名，あるいは，条例名に対して，関連する Wikipedia の記事と紐づけるタスクである。例えば，「働き方改革を推進するための関係法律の整備に関 する法律」という正式名称が会議録中に出てきた場合，Wikipedia の「働き方改革関連法」という記事と 紐づけている.

他にも，NTCIR-16 QA Lab-PoliInfo-3 [7] には，予算を対象にした議論マイニングとして，議会会議録 のテキストに含まれる金額表現を予算表と紐づける Budget Argument Mining タスクがある [1][2]²).しか しながら, Budget Argument Mining は, 議論ラベル の分類に対する比重が大きく，会議録と予算表を紐 づける点に研究の余地がある. 例えば，紐づける対象が金額表現のみとされていたことや複数存在する 予算表のうち一つのみを対象としていたことによ り，紐付けることが困難なこともあった。

## 5.2 表の理解

表構造解析に関する shared task には，ICDAR 2013 Table competition $[8]^{9}$ がある. Table competition では,

8) https://github.com/poliinfo3

9) https://iapr.org/archives/icdar2013/
2つの政府機関 (.europa.eu /.gov) の発行した文書 PDF から表を収集したデータセットを作成している。

表の理解に関する研究は現在も注目されており，国際会議 KDD21 では，表の理解に関するチュー トリアルとして "From Tables to Knowledge: Recent Advances in Table Understanding” が開催された ${ }^{10)}$. 表 の理解には，表のタイプ分類 [9]，表のエリア抽出 [10], 表の意味構造の解析 [11], セルの表記統一 などの課題がある.

NTCIR-17 Understanding of non-Financial Objects in Financial Reports (以下，UFO） ${ }^{11}$ では，有価証券報告書を対象として, 表形式のデータや文書から構造化情報を抽出する技術を開発することを目的とした タスクが提案されている [12]. UFO タスクには $2 \supset$ のサブタスクとして，表データ抽出 (TDE; table data extraction) サブタスク，ならびに，テキストと表の 関係抽出 (TTRE; text-to-table relationship extraction) サ ブタスクがある.

## 6 おわりに

本稿では，議会における予算審議の発言と予算表 の関連項目を紐づける MBLink タスクを提案した。 また， MBLink のデータセットの形式，アノテー ションの方法について述べた.

今後は，NTCIR-17 QA-Lab PoliInfo-4 のサブタスク として，MBLinkを進めるとともに，有価証券報告書を対象にした NTCIR-17 UFO タスクとの連携も考 えている。

10) https://usc-isi-i2.github.io/KDD21Tutorial/

11) https://sites.google.com/view/ntcir17-ufo

## 謝辞

本研究は JSPS 科研費 21H03769，22K12740 の助

成を受けたものである.

## 参考文献

[1] Yasutomo Kimura, Hokuto Ototake, and Minoru Sasaki. Budget argument mining dataset using Japanese minutes from the National Diet and local assemblies. LREC 2022, 2022.

[2] 木村泰知, 永㴊景祐, 乙武北斗, 佐々木稔. 予算項目に 関連する議論を対応づける Budget Argument Mining のデータセット構築. 情報処理学会 第 249 回自然言語処理研究会, 2021 .

[3] 梶縁, 木村泰知. 地方自治体の予算を対象にした金額表現の分析. 第 38 回ファジィシステムシンポジウム (FSS2022), 92022.

[4] 小川泰弘, 木村泰知, 渋木英潔, 乙武北斗, 内田ゆず,高丸圭一, 門脇一真, 秋葉友良, 佐々木稔, 小林暁雄. NTCIR-17 QA Lab-PoliInfo-4 のタスク設計. 言語処理学会第 29 回年次大会, 2023.

[5] Rami Aly, Zhijiang Guo, Michael Sejr Schlichtkrull, James Thorne, Andreas Vlachos, Christos Christodoulopoulos, Oana Cocarascu, and Arpit Mittal. The Fact Extraction and VERification Over Unstructured and Structured information (FEVEROUS) shared task. In Proceedings of the Fourth Workshop on Fact Extraction and VERification (FEVER), pp. 1-13, Dominican Republic, 2021. Association for Computational Linguistics.

[6] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyosi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 task. Proceedings of The 15th NTCIR Conference, 12 2020.

[7] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Kazuma Kadowaki, Tatsunori Mori, Kenji Araki, Teruko Mitamura, and Satoshi Sekine. Overview of the NTCIR-16 QA Lab-PoliInfo-3 task. Proceedings of The 16th NTCIR Conference, 6 2022.

[8] Max Göbel, Tamir Hassan, Ermelinda Oro, and Giorgio Orsi. ICDAR 2013 Table Competition. In 2013 12th International Conference on Document Analysis and Recognition, pp. 1449-1453, 2013.

[9] Kyosuke Nishida, Kugatsu Sadamitsu, Ryuichiro Higashinaka, and Yoshihiro Matsuo. Understanding the semantic structures of tables with a hybrid deep neural network architecture. In Satinder Singh and Shaul Markovitch, editors, Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, February 4-9, 2017, San Francisco, California, USA, pp. 168174. AAAI Press, 2017.
[10] Kexuan Sun, Harsha Rayudu, and Jay Pujara. A hybrid probabilistic approach for table understanding. In Conference on Artificial Intelligence (AAAI), 2021.

[11] Binh Vu, Craig Knoblock, Pedro Szekely, Jay Pujara, and Minh Pham. A graph-based approach for inferring semantic descriptions of Wikipedia tables. In International Semantic Web Conference, 2021.

[12] 木村泰知, 近藤隆史, 門脇一真, 加藤誠. UFO: 有価証券報告書の表を対象とした情報抽出タスクの提案. 人工知能学会第二種研究会資料, Vol. 2022, No. FIN-029, pp. 32-38, 2022.


# 株式市場の出来事の長期的視野での理解を支援する ニュース記事抽出によるストーリー可視化

木下聖 ${ }^{1}$ 西村太一 ${ }^{1}$ 亀甲博貴 ${ }^{2}$ 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
kinoshita.sho.v85@kyoto-u.jp nishimura.taichi.43x@st.kyoto-u.ac.jp
\{kameko,forest\}@i.kyoto-u.ac.jp

## 概要

近年，政府が投資家の裾野の拡大を目指すうえ で，個人投資家の金融リテラシー不足を課題にあげ ている. 本研究では，証券市場特有の株価および市況概況記事を使用し，株式投資家による過去の証券市場の出来事の長期的視野での理解の支援に特化し たニュース記事抽出によるストーリー可視化問題を 提案する. さらに提案問題を市況概況記事を利用し た重要株価材料抽出，類似株価材料抽出および関連記事検索の 3 つの部分問題に分割して解く手法を提案する。実験により提案手法を用いたストーリー可視化が可能である一方で，検索手法に改善の余地が 残されていることも示された.

## 1 緒論

近年，政府は投資家の裾野を拡大し，貯蓄から投資へのシフトの実現を目指しており，国民の金融リ テラシー不足を課題の 1 つにあげている [1]. 世界的に有名な投資家らは，投資で成功するためには 歴史から学ぶ重要性, および，多くの投資家は歴史から学ばずに失敗してきたことを指摘している $[2,3,4]$. 人々が証券市場の歴史を学ぶには, 専門家 による解説文献を読むことが最も一般的であるが，以下の 2 つの問題が含まれる. 第一に，証券市場の 歴史の解説文献は未来の結末を知る専門家が過去を 解説するもので，バイアスを含む可能性が高い. 第二に，個人投資家が現在の情勢を知る情報源として ニュースが一般的であり，歴史の解説文献のような 未来を含む長期的視野からの情報は存在せず，現在 と過去を比較するために使用することが難しい。一方で，過去のニュース記事は当時の専門家が執筆し た情報であり，現在のニュース記事と比較すること も可能である. そこで，投資家による証券市場の歴史の学習に過去のニュース記事を利用できれば良い と考えられるが，ニュース記事の数は膨大で，個人投資家がすべてのニュース記事を確認することは非現実的である.

出来事の長期的視野での理解を支援するために，長期間の大量のニュース記事をトピック分類し時系列表示してニュースのストーリーを可視化する技術 の研究が行われている [5, 6, 7]. 証券市場でもある トピックに関するニュースが長期間報道され株価に 大きく影響することは珍しくなく，これらの技術を 活用することで過去のニュース記事を用いた証券市場の歴史の学習を支援できる。一方で，これらの技術を証券市場の歴史学習の支援に使用する上で，以下の 3 つがさらに求められる.

1. ニュース記事を投資家が認識する粒度のトピッ クで分類すること.

2. 株価指数に影響するような全投資家に重要な下 ピックを抽出すること。

3. 各トピックの大量の関連記事から重要な記事を 抽出すること。

そこで本研究では，株式投資家による過去の証券市場の出来事の長期的視野での理解の支援に特化し たニュース記事抽出によるストーリー可視化問題を 提案する. 提案問題の出力例を表 1 に示す. 提案問題では，指定された期間の大量のニュース記事から 重要な株価材料を抽出し，各株価材料の関連記事で 重要なものを時系列表示する. そして, 証券市場特有の株価および市況概況記事を利用し，重要株価材料抽出，類似株価材料抽出，および，関連記事検索 の 3 つの部分問題に分割して解く手法を提案する.市況概況記事とは，証券市場の毎営業日後に報道さ れる記事で，その日の株価変動および投資家が意識 する株価材料を説明する。 さらに，提案手法で使用 する系列ラベリングの検証のために，我々が作成し
表 1 株価材料「福島原発事故の深刻化に対する懸念」 (2011 年 3 月 15 日) の関連記事出力例 (一部抜粋)

 \\

たデータセットを用いて評価する．また，モデル出力例を示し提案モデルを評価する。

## 2 関連研究

証券市場の毎営業日後に報道される市況分析記事 から因果関係を抽出する研究 [8] や，それらを要約 し長期間の市況分析を生成する研究 $[9,10]$ が行われ ている. 市況分析記事における株価材料の記載は非常に簡潔である. 本研究では，各株価材料の関連記事を検索することで，これから投資を始める人にも わかりやすく詳細な情報の出力を目指す。

## 3 市況概況記事を用いたニュースス トーリー生成手法

## 3.1 手法概要

本研究では，証券市場特有の株価および市況概況記事を使用し, 重要株価材料抽出, 類似株価材料抽出，および，関連記事検索の 3 つの部分問題に分割 して解く．各部分問題を解く手法の詳細を以下で説明する。

## 3.2 重要株価材料抽出

指定された期間内の市況概況記事から株式市場に おける重要度の高い株価材料を抽出する. 本研究で は日経平均株価の前日比変動率が大きい日の株価材料の重要度が高いと仮定し, 日経平均株価の前日比変動率が大きい日に出版された市況概況記事の株価材料を抽出する. 日経平均株価の前日比変動率の大
きさは以下の式で求める.

$
r_{d}=\frac{\left|p_{d}-p_{d-1}\right|}{p_{d-1}}
$

$r_{d}:$ 日付 $d$ の前日比株価変動率

$p_{d}:$ 日付 $d$ の株価

本研究では市況概況記事から株価材料を抽出す る問題を系列ラベリング問題として定式化して 解く. 系列ラベリング問題を解くモデルは，Akbik ら $[11,12]$ が開発する Flair framework を使用して実装し, Flair embeddings の日本語学習済みモデルでべ クトル化したものを，LSTM および全結合層に入力 する.

## 3.3 類似株価材料抽出

すべてのニュース記事から 3.2 節で抽出された重要株価材料の関連記事を検索する場合，関連記事検索の正解データ作成コストが大きいこと，および，株式市場に影響しない重要度の低い関連記事も多く 抽出されてしまうことが問題となる。 そこで， 3.2 節で抽出された株価材料に関連する株価材料が市況概況記事に記載されている日付および株価材料を抽出する。これにより，各株価材料の関連記事検索範囲を高々数日に限定でき，正解データ作成コストを 大幅に削減できること，株価材料が市況概況記事に 記載されるほど重要であった日の記事のみが抽出さ れることが期待される. 市況概況記事から株価材料 を抽出するモデルは 3.2 節と共通のものを使用する.株価材料が関連するものか判定する手法として，鈴木ら [13] が日本語 Wikipedia および金融文書を事前学習した BERT 言語モデル”"bert-small-japanese-fin”1) に株価材料を入力し, 各 token のべクトルを平均 プーリングして得られるべクトル同士の $\cos$ 類似度 が閾値以上の場合に関連すると判定する。

## 3.4 関連記事検索

3.2 節で抽出された重要株価材料の関連記事を抽出する. 東京証券取引所における内国株式の売買立会時間は 15 時に終了するため, 東京証券取引所の 前営業日 15 時から 3.3 節で抽出された日付の 15 時 までに報道されたニュース記事から，3.3 節で抽出 された類似株価材料の関連記事を検索することで 実現する．正解データセットの数が不十分で教師あ り学習をすることは難しいため，記事検索手法とし

表 2 株価材料抽出データサイズ

て，??節と同様に株価材料とニュース記事タイトル をべクトル化し $\cos$ 類似度が上位のものを抽出する ことで検索を行った. このとき，株価材料に固有名詞が含まれる場合は，その固有名詞が本文に含まれ るニュース記事を優先して検索した。

## 4 データセット

## 4.1 ニュースデータ

金融機関が契約する大手情報サービス会社とし て，Bloomberg，ロイターおよび日経 QUICK が有名である. 本研究では，2007 年から 2017 年のロイ ター日本語ニュースを使用する。

## 4.2 系列ラベリング問題データセット

市況概況記事から株価材料を抽出する系列ラベリ ング問題の学習および評価に使用するデータセット について説明する。ロイター日本語ニュースでは，東京証券取引所の売買立会時間終了後に,「東京 マーケット・サマリー」をタイトルに含む市況概況記事が掲載される. 重要な株価材料が掲載される日 は株価変動率が比較的大きくなる傾向があるため,日経平均株価の前日比変動率の大きさが $r_{d}=0.02$以上の日の最後に報道された市況概況記事を使用す る. 正解ラベルのアノテーションは，テキストアノ テーションツール doccano [14]を使用し人手で行っ た. 東京株式市場の市況概況記事では，株価材料と して頻繁に米国株価動向および為替動向について言及されるため，これらの株価材料言及部分には特別 なラベルを付与し，それ以外の株価材料には同一の ラベルを付与した. ただし，「月末」のように証券市場の前営業日から当日までに関連ニュース記事が 報道されないものや，「企業決算」のように関連記事が無数にあるものはラベル付与しない. 各ラベル が付与されたフレーズの例と株価材料だがラベルを 付与しない例を以下に示す。表 3 株価材料抽出の実験結果

例 : 米国株価動向言及部分

米株が急落，海外株式市場，世界同時株安

例 : 為替動向言及部分

為替が円高/ドル安，主要通貨，円キャリー取引

例：その他株価材料言及部分

日銀短観，米雇用統計，米サブプライムローン

問題，米国の利下げ，FOMC，参院選，原油安

例：株価材料だがラベル付与されないもの

業績不透明感，ポジション調整，月末，企業決算，9月中間期末

さらに，作成したデータセットのサイズを表 2 に 示す。

## 5 評価

## 5.1 系列ラベリング問題

## 5.1.1 実験設定

4.2 節のデータセットを使用する. 2007 年から 2015 年の記事を 10 分割した交差検証によりモデル の学習を行い，2016 年以降の記事の各単語のラベル 分類問題の F-score で評価した。

## 5.1.2 実験結果

学習および評価を 5 回行った結果の平均は表 3 の 通りになった。米国株価動向および為替動向は，表現の種類が少ないため非常に高い精度で抽出でき た. 一方で，その他株価材料の表現の種類は非常に 多く精度が少し下がるが，誤り例を確認すると大多数が抽出範囲の長短によるものであった. 以下に誤 り例を示す. ただし，下線部分がモデルによる抽出，赤字部分が正解ラベルとする.
抽出範囲の誤り例

…ドル/円が 118 円台を回復したことに加 え，輸出・輸入ともにマイナス幅が縮小し た12月中国貿易統計も支えとなった. ...

不適切な抽出の誤り例

…昨年来安値を下回り，量的・質的金融緩和 （QQE）第 2弾が決定された 2014 年 10 月 31 日以来，約 1 年 3 カ月ぶりの安値となっ た. 時間外で 28 ドル割れとなった米原油先物を受けてリスクオフムードが強まり全面安. ...

## 5.2 類似度を用いた関連記事検索

本節では類似度を用いた関連記事検索の出力例を 示し考察する。

表 1 は 2011 年 3 月 15 日の重要株価材料「福島原発事故の深刻化に対する懸念」に対する関連記事の 出力例で，適切な関連記事を出力している。

一方で，表 4 は 2014 年 3 月 14 日の重要株価材料「ウクライナ情勢に対する警戒感」に対する関連記事の出力例である. こちらでは，タイの政情に関す る記事や米国景気に関する記事も出力されている. これは, 3.3 節の類似株価材料抽出で，異なる株価材料を同一と判定してしまったことに起因する． 3.3 節の類似株価材料抽出および 3.4 節の関連記事検索 では，BERT の事前学習モデルによるべクトルの類似度を利用しているが，前後に同様の単語が並ぶ単語の類似度が高くなるために誤った判定をしてしま う場合が多くみられ，特に「米国/中国の利下げ」の ような国の違いを区別できない例や，「情勢/景気」 のような単語を区別できない例が多かった.

関連記事検索手法の改善が必要であり，教師あり 学習をすることが好ましいと考えられるが，ニュー ス記事は 1 日に数百も掲載され，様々な株価材料で 学習するには大量のニュース記事を確認してアノ テーションする必要がある．また，キーワード検索 を行う方法も考えられるが，市況概況記事での株価材料の表現は市況概況記事特有のものも多いという 問題がある.キーワード検索および類似度を用いた 検索を併用することで，より優れた検索ができると 考えられる。表 42014 年 3 月 14 日「ウクライナ情勢に対する警戒感」関連記事出力例（一部抜粋）

## 6 結論および今後の課題

本研究では，株式投資家による過去の出来事の長期的視野での理解の支援に特化したニュース記事抽出によるストーリー可視化問題を提案した. 証券市場特有の株価および市況概況記事を用いれば，重要株価材料抽出，類似株価材料抽出，および，関連記事検索の 3 つの部分問題に分割して解くことで実現 できることを示した。一方で，事前学習済み言語モ デルを利用したべクトルの類似度に基づく関連記事検索手法には問題があり，検索手法に改善が必要で あることが示された.

今後の課題として，米国株市場・為替市場の市況概況記事の利用および重要語によるキーワード検索 を併用した記事検索手法の開発に取り組むことなど が残されている.

## 参考文献

[1] 内閣府. 資産所得倍増プラン. 新しい資本主義実現会議（第 13 回）, November 2022.

[2] 桑原晃弥. ウォーレン・バフェット成功の名語録世界が尊敬する実業家、103 の言葉. PHP 研究所, July 2012.

[3] George Soros. Fallibility, reflexivity, and the human uncertainty principle. J. Econ. Methodol., Vol. 20, No. 4, pp. 309-329, December 2013.

[4] Jim Rogers. 危機の時代 伝説の投資家が語る経済と マネーの未来. 日経 BP, May 2020.

[5] Marieke van Erp, Gleb Satyukov, Piek Vossen, and Marit Nijsen. Discovering and visualising stories in news. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 3277-3282, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[6] Philippe Laban and Marti Hearst. newslens: building and visualizing long-ranging news stories. Proceedings of the Events and Stories in the, 2017.

[7] Deyu Zhou, Linsen Guo, and Yulan He. Neural storyline extraction model for storyline generation from news articles. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1727-1736, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] 酒井浩之, 坂地泰紀, 和泉潔, 松井藤五郎, 入江圭太郎. 学習データ自動生成による市況分析コ メント作成のための要因文と補完情報の抽出.人工知能学会全国大会論文集, Vol. JSAI2020, pp. 1D3GS1303-1D3GS1303, 2020.

[9] 酒井浩之, 坂地泰紀, 和泉潔, 松井藤五郎, 入江圭太郎 . 経済テキストからの市況分析コメントの自動生成.第 20 回 人工知能学会 金融情報学研究会 (SIG-FIN)予稿集, pp. 44-49, March 2018.

[10] 酒井浩之, 坂地泰紀, 和泉潔, 松井藤五郎, 入江圭太郎 . 関連記事を用いた市況分析コメントの自動生成.第 22 回 人工知能学会 金融情報学研究会（SIG-FIN）予稿集, pp. 61-66, March 2019.

[11] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. pp. 16381649, August 2018.

[12] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. FLAIR: An Easy-to-Use framework for State-of-the-Art NLP. In Proceedings of the 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] 鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔. 金融文書を 用いた事前学習言語モデルの構築と検証. 人工知能学会第二種研究会資料, Vol. 2021, No. FIN-027, p. 05, 2021.

[14] Hiroki Nakayama, Takahiro Kubo, Junya Kamura, Yasu- fumi Taniguchi, and Xu Liang. doccano: Text annotation tool for human, 2018.


# BERT とGATを用いた金融テキストにおける 因果関係を含む文の判定

小林涼太郎 ${ }^{1}$ 坂地泰紀 ${ }^{2}$ 和泉 潔 ${ }^{2}$
1 東京大学工学部 2 東京大学大学院工学系研究科
b2022rkobayashi@socsim.org
\{sakaji, izumi\}@sys.t.u-tokyo.ac.jp

## 概要

金融分野に関わる大量のテキストデータを解析 し，人が認知する原因-結果関係についての記述を 自動的に抽出することで, 経済事象の要因列挙によ る投資判断の支援や，イベントの波及効果分析が可能となる.テキストから因果関係を抽出するタスク においては，因果関係の存在を示す手がかりとなる 表現への注目が有効であることが知られている。し かしながら，手がかり表現が因果関係以外の意味を 持つ場合もあり，それを取り除くために，文に因果関係が含まれているか否かを判定する手法が必要で ある. 本研究では，金融 BERT モデルと，入力文の 依存構造に対して適用される GAT の組み合わせに よる，新しい因果関係判定手法を提案する。

## 1 はじめに

近年, Web 上で入手可能なテキストデータは急速増大しており，自然言語処理技術を用いた，膨大なテキストからの情報抽出に注目が集まってい る [1]. 金融分野においても，決算短信・有価証券報告書・経済新聞記事・アナリストレポートなど投資家が入手可能なテキスト情報は常に溢れており，そ れら構造化されていないテキストデータから価值あ る情報を自動で抽出することのニーズは大きい [2].

金融テキストから情報を抽出し構造化する方法の 1 つとして, 原因-結果の組から構成される因果関係を検出し，表現対として抽出することが考えられ る. 決算短信や経済新聞記事においては, 因果関係 を含む文が頻出する．例えば，「ウクライナ情勢を めぐる地政学的リスクの高まりで, エネルギーや原材料価格が上昇する」といったものだ. こうした因果関係を大量纪収集することができれば，因果関係 ネットワークの構築や因果系列の提示によって，投資判断の支援，ニュースイベントの波及効果の分析 といった応用が可能となる $[3,4]$.

金融テキストからの因果関係抽出记いては，因果関係の存在を示す手がかりとなる表現の利用が有効だ $[5,6]$. 例えば，「レンタカー部門では，外出自粛の影響を受け，減収減益となりました.」という 文の場合，手がかり表現「を受け」を用いて，「外出自粛の影響」という原因表現と「(レンタカー部門 では，）減収減益となりました.」という結果表現を 抽出できる。しかしながら，手がかり表現は因果関係の存在を示すとは限らない。「健康のため，運動 する」という文の場合「「ため,」は原因結果関係の 明示ではなく，「目的や期待の向かうところ」を表 す。決算短信における具体例を表 1 亿示す。

したがって，手がかり表現を含む文に対して，そ の文が因果関係を含むか否かを高い精度で判定す ることが望まれる。本研究では，金融ドメインの 文書で追加で事前学習を行った金融 BERT モデル と，入力文の依存構造木に対して適用される Graph Attention Network (GAT) [7] を用いた判定モデルを提案する。決算短信と新聞記事データから構築した データセットを用いて評価実験を行い，提案手法の 有効性を確認した。

表 1 決算短信における，因果関係を含む文と含まない文 の例. 手がかり表現を太字で示す.

## 因果関係を含む文

-「ウクライナ情勢をめぐる地政学的リスクの高ま りで、エネルギーや原材料価格が上昇するなど、国内経済の先行きは不透明な状況が続きました。」

・「レンタカー部門では、外出自肃の影響を受け、減収減益となりました。」

因果関係を含まない文

・「お客様のニーズに的確に応えるため、ビジネス パートナーとの連携強化を進めてまいりました。」

## 2 関連研究

テキストからの因果関係抽出に関する研究は数多 く存在する. Girju [8] は英語の文書中の因果関係の 存在を示す表現を調査し，それらを手がかりに自動 で因果関係を検出・抽出する手法を提案している。坂地ら [9] は手がかり表現を含む候補文に対して，構文的な素性・意味的な素性を用いた機械学習手法 (SVM) でフィルタリングすることによって，因果関係を含む文を抽出している。

最近の研究では, BERT [10]のような事前学習済み 言語モデルを利用するものが多い. The 4th Financial Narrative Processing Workshop の FinCausal-2020 Shared Task ${ }^{1 ）}$ では，Task1 が英文金融ニュースにおける因果関係を含む文の判定であった. 様々な手法が提案されたが，その多くはBERT に基づくものであ る [11,12,13]. 例えば Ionescu らは，BERT を含む 5 つの事前学習済みの Transformer ベースのモデルを アンサンブルする手法で全体 2 位のパフォーマンス を記録している。

深層学習に基づくモデルの学習では，一般に大規模な教師データセット作成のためのコストがかかる が，事前学習済み言語モデルの利点は, 少数のデー タでファインチューニングして精度の高いモデルを 獲得できることである。一方で，関係抽出タスクに おいて, 文の依存構造情報の利用が有用であること が知られている [14]. 最近では, Graph Convolutional Network (GCN) [15] や GAT のようなグラフベースの モデルで依存木の構造を学習する手法が多く提案さ れている [16,17]. 本研究では, 事前学習済み言語モ デルとグラフベースのモデルの相補的な強みを活用 することで，金融テキストから因果関係を抽出する ための新しい因果関係文の判定モデルを提案する.

## 3 提案モデル

提案するモデルは, 金融ドメインの文書で追加事前学習を行った金融 BERT モデルと, 入力文のトークンの依存構造 (係り受けの構造) に対 して適用されるGATにより構成される. 本節で は, Graph Attention Network (GAT) の入出力につい て以下の表記を用いる. GAT において attention を 実現する graph attention layer は，グラフ構造および ノード特徵集合 $\boldsymbol{h}^{(l)}=\left.\{\boldsymbol{h}_{1}^{(l)}, \boldsymbol{h}_{2}^{(l)} \ldots, \boldsymbol{h}_{|V|}^{(l)}\right.\}, \boldsymbol{h}_{i}^{(l)} \in \mathbb{R}^{F}$ を入力として，新たなノード特徴集合 $\boldsymbol{h}^{(l+1)}=$

1) http://wp.lancs.ac.uk/cfie/fincausal2020/

図1提案モデルの全体図.

$\left.\{\boldsymbol{h}_{1}^{(l+1)}, \boldsymbol{h}_{2}^{(l+1)} \ldots, \boldsymbol{h}_{|V|}^{(l+1)}\right.\}, \quad \boldsymbol{h}_{i}^{(l+1)} \in \mathbb{R}^{F^{\prime}}$ を出力する. ここで $\boldsymbol{h}_{i}^{(l)}$ はノード $i$ の $l$ 層目の潜在表現を表す. また，|V|はノード数， $F, F^{\prime}$ は隠れ層の次元である.提案モデルの概要は図 1 に示す通りである。まず 入力文はトークン分割され，金融 BERT モデルに入力される．金融 BERT の最終層で得られるトークン 毎の埋め込み表現は, GAT のノード特徴集合の初期値 $\boldsymbol{h}^{(0)}$ となる. 各ノード (トークン) の特徴量は, GAT の各層で, 依存構造木上の近傍となるノード $N_{i}$ の特徴を用いて更新される. $L$ 層目の出力のノー ド特徴集合 $\boldsymbol{h}^{(L)}$ は， skip 接続で $\boldsymbol{h}^{(0)}$ が加算された 後に，全体の平均を取ることで読み出される。最後 に，線形層を適用することによって， 入力文が因果関係を含むか否かの予測を行う。

## 3.1 金融 BERT モデル

汎用言語コーパスで作成した事前学習モデルに，別のコーパスで事前学習を追加することを追加事前
学習と呼ぶ. 対象タスクのドメイン周辺のコーパス で追加事前学習を行うことで，タスクでの精度向上 が期待できる [18]. 本研究では, 日本語の汎用言語 コーパスを用いて事前学習された BERT モデルに，金融分野のテキストを用いて追加事前学習を行うこ とで構築される金融 BERT モデルを用いる.

## 3.2 Graph Attention Network

GAT [7] の $l$ 層目におけるノード $i$ の近傍ノード $N_{i}$ についてのメッセージ集約関数 $\boldsymbol{m}_{N_{i}}^{(l)}$ は, 次式で 表せる.

$
\boldsymbol{m}_{N_{i}}^{(l)}=\sum_{j \in N_{i}} \alpha_{i j} \boldsymbol{h}_{j}^{(l)}
$

ここで，attention スコアは以下で計算される.

$
\alpha_{i j}=\frac{e^{\operatorname{LeakyReLU}\left(\boldsymbol{a}^{T}\left[W^{(l)} \boldsymbol{h}_{i}^{(l)} \| W^{(l)} \boldsymbol{h}_{j}^{(l)}\right]\right)}}{\sum_{k \in N_{i}} e^{\operatorname{LeakyReLU}\left(\boldsymbol{a}^{T}\left[W^{(l)} \boldsymbol{h}_{i}^{(l)} \| W^{(l)} \boldsymbol{h}_{k}^{(l)}\right]\right)}}
$

$W^{(l)} \in \mathbb{R}^{F^{\prime} \times F}$ は各ノードの重み行列, $\boldsymbol{a} \in \mathbb{R}^{2 F^{\prime}}$ は重 みべクトルである。. $T$ は転置を，\|は連結を表す。 ノード $i$ の潜在表現は，次式のように更新される.

$
\boldsymbol{h}_{i}^{(l+1)}=\sigma\left(W^{(l)} \boldsymbol{m}_{N_{i}}^{(l)}\right)
$

ただし， $\sigma$ は活性化関数である.

本研究では，文内のトークンをノード，2つの トークン間の依存関係をエッジとするグラフ構造 をGATの入力とする. 各ノード特徴は, 金融 BERT モデルの出力として得られるトークン毎の埋め込 み表現で初期化される. 係り受け構造の解析は, 日本語以外の言語への拡張性を考慮して, Universal Dependencies (UD) [19] に基づいて行う.

(式 3)のように, graph attention layer では距離 1 の 近傍ノード $N_{i}$ のみを考慮して潜在表現を更新する。 したがって，L層に重ねた GATを適用することで，各トークンについて依存構造木上の距離 $L$ 以内の近傍を明示的に考慮した潜在表現を得ることができ る.このように構文情報を明示的に考慮し情報を集約する GAT を接続することによって，より精度高 く因果関係の有無を判定できることが期待される.

## 4 実験

## 4.1 データセットと前処理

データセットを作成して評価実験を行った. 用い たテキストデータは，決算短信・日本経済新聞記事 の 2 種類である。決算短信データは，適時開示情報表 2 因果関係の存在を示す手がかり表現. [6] に基づく.

閲覧サービズ ${ }^{2}$ から PDF 形式で取得した. 2012 年 から 2022 年までに企業が発行した決算短信から無作為に抽出し, PDF 中の「経営成績に関する定性的情報」が記載された部分をテキストデータに変換 して使用した. 日経新聞記事データは 1995 年から 2005 年に発行された記事から無作為に抽出して使用した. 各テキストデータは文単位で分割し, 因果関係の存在を示す手がかり表現を含む文のみを使用 した. 本研究では, Sakaji らの研究 [6] で獲得された 手がかり表現を用いた. それらを表 2 に示す.

抽出された文に対してアノテーションを行った.決算短信データについては， 1 人の評価者が各文に 対して因果関係を含むか否かを示すタグを付与し た. 日経新聞記事データについては, 5 人の評価者 がタグを付与し， 3 人以上が因果関係ありと判断し たものを正例・そうでないものを負例とした．結果 として, 決算短信データでは 1958 件 (うち 1429 件 で因果関係あり)，日経新聞記事データでは 2045 件 (うち 898 件で因果関係あり) の教師データを得た.

## 4.2 実験設定

金融 BERT モデルは，Suzuki ら [20] が公開する金融ドメインの文書で追加事前学習された BERT モデ ル3）を利用した. このモデルでは, 東北大学の乾研究室が公開する BERT モデル (Wikipedia 日本語記事 を学習 $)^{4}$ に対して, 決算短信・有価証券報告書の 2 種類の金融コーパスで追加事前学習を行っている. graph attention layer は 2 層に重ねて適用した。つ まり，依存構造木上の距離 2 以内の近傍を明示的に 考慮してノード特徴が更新される. また, 学習の安定性のため 2 ヘッドの multi-head attention を用いた.

表 3 評価実験の結果. Precision, Recall, F1 の計算方法はマクロである.

入力文の依存構造の解析には，UD に基づいて設計された NLP フレームワークである $\mathrm{spaCy}^{5}$ )を用い た. 2 つのトークン間における，主辞から修飾語へ の方向を持つ依存関係をエッジとするグラフ構造を GATの入力とした.

提案モデルの有効性を示すために，以下の手法を 比較手法として実験を行った.

BERT Wikipedia の日本語記事を用いて学習され た BERT モデル4)の最終層の出力のうち, 最初の トークン [CLS] に対応する出力に対して線形変換を 適用することで予測を行う。

金融 BERT金融 BERT モデル3)の最終層の出力 のうち，最初のトークン [CLS] に対応する出力に対 して線形変換を適用することで予測を行う.

BERT+GAT 提案モデルの金融 $\mathrm{BERT}^{3}$ モ モジュー ルを $\mathrm{BERT}^{4}$ に差し替えたモデルで予測を行う.

各データセットにおいて，64\%を学習データに， $16 \% を$ 検証データに，20\%をテストデータに割り 当てた. 学習データ内で 5fold の交差検証を行い,各 fold で検証スコアが最良の時のテストデータに 対するスコアを記録し，結果はその平均値を用い た. なお，全ての手法において，BERT モデルは Transformer 層の上部一層のみをファインチューニン グの対象とした。

## 4.3 結果と考察

実験結果を表 3 に示す。提案モデルである「金融 BERT+GAT」は，すべての指標・データセットで 3 つの比較手法の性能を上回った. また,「BERT」と $\lceil\mathrm{BERT}+\mathrm{GAT}\lrcorner, 「$ 金融 BERT」と「金融 BERT+GAT」 を比較すると，いずれのデータセットでも，すべて の指標で GAT を用いる手法の方が精度が高かった。 この結果は，GATを用いることで明示的に構文情報 を考慮する提案手法の有効性を示唆する。決算短信データセットにおいて，提案手法を用い ることによる，ベースライン手法 (「BERT」) から の精度向上が顕著であった. また，データセット間 で「金融 BERT」と「BERT+GAT」の結果を比較す ると，決算短信データセットでは，日経新聞記事の 場合よりも，金融 BERTを利用することによる性能 の向上が大きかった. このような結果の理由として は，金融 BERT の追加事前学習で用いる金融テキス トコーパス中に決算短信が含まれていることや，決算短信における記述がニュース記事よりも専門度が 高いものであるために，追加事前学習で金融特有の 専門単語を反映することがとくに有効であったとい うことが考えられる．全ての手法において日経新聞記事データの方が予測精度が高かったことからも，汎用言語コーパスで事前学習を行った BERT モデル の出力をそのまま利用する手法では，決算短信のよ うな比較的専門性の高い文書中から因果関係を抽出 することは難しいと示唆される。 そのような場合で も，金融 BERT とGAT を用いる提案手法によって，抽出精度を大きく向上できることが確認された。

## 5 まとめ

本研究では，事前学習済み言語モデルとグラフ ベースのモデルの相補的な強みを活用することで，金融テキストから因果関係を抽出するための，新し い因果関係文判定モデルを構築した. 金融分野のテ キストから構築したデータセットを用いて評価実験 を行うことで，提案手法の有効性が確認された．提案手法により, 金融分野のテキスト中から，より精度高く因果関係を抽出することが可能となる。

今後の課題としては，英語や中国語において同様 のデータセットを構築し，多言語に対応可能な判定 モデルを構築することなどを考える。

## 謝辞

本研究は JSPS 科研費 JP21K12010, JST未来社会創

造事業 JPMJMI20B1，及び JST さきがけ JPMJPR2267

の助成を受けたものです.

## 参考文献

[1] Jim Cowie and Wendy Lehnert. Information extraction. Commun ACM, Vol. 39, No. 1, pp. 80-91, 1996.

[2] B. Shravan Kumar and Vadlamani Ravi. A survey of the applications of text mining in financial domain. Knowledge-Based Systems, Vol. 114, pp. 128-147, 2016

[3] Kiyoshi Izumi and Hiroki Sakaji. Economic causal-chain search using text mining technology. In Proceedings of the 1st Workshop on Financial Technology and Natural Language Processing, 2020.

[4] Kiyoshi Izumi, Shintaro Suda, and Hiroki Sakaji. Economic news impact analysis using causal-chain search from textual data. In Proceedings of the AAAI-20 Workshop on Knowledge Discovery from Unstructured Data in Financial Services, 2020.

[5] Christopher S.G. Khoo, Jaklin Kornfilt, Robert N. Oddy, and Sung H. Myaeng. Automatic extraction of cause-effect information from newspaper text without knowledge-based inferencing. Literary and Linguistic Computing, Vol. 13, No. 4, pp. 177-186, 1998.

[6] Hiroki Sakaji, Satoshi Sekine, and Shigeru Masuyama. Extracting causal knowledge using clue phrases and syntactic patterns. In Proceedings of the 7th International Conference on Practical Aspects of Knowledge Management, 2008.

[7] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph attention networks. In Proceedings of the 6th International Conference on Learning Representations, 2018.

[8] Roxana Girju. Automatic detection of causal relations for question answering. In Proceedings of the ACL 2003 workshop on Multilingual summarization and question answering, 2003.

[9] 坂地泰紀, 増山繁. 新聞記事からの因果関係を含む文の抽出手法. 電子情報通信学会論文誌, Vol. 94, No. 8, pp. 1496-1506, 2011.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[11] Sarthak Gupta. Finlp at fincausal 2020 task 1: Mixture of berts for causal sentence identification in financial texts. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[12] Denis Gordeev, Adis Davletov, Alexey Rey, and Nikolay Arefiev.
LIORI at the FinCausal 2020 shared task. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[13] Marius Ionescu, Andrei-Marius Avram, George-Andrei Dima, Dumitru-Clementin Cercel, and Mihai Dascalu. UPB at FinCausal2020, tasks 1 \& 2: Causality analysis in financial documents using pretrained language models. In Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation, 2020.

[14] Aron Culotta and Jeffrey Sorensen. Dependency tree kernels for relation extraction. In Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics, 2004.

[15] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[16] Yuhao Zhang, Peng Qi, and Christopher D. Manning. Graph convolution over pruned dependency trees improves relation extraction. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[17] Jie Yang, Soyeon Caren Han, and Josiah Poon. A survey on extraction of causal relations from natural language text. Knowledge and Information Systems, Vol. 64, No. 5, pp. 1161-1186, 2021.

[18] Suchin Gururangan, Ana Marasovic, Swabha Swayamdi-pta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020

[19] Ryan McDonald, Joakim Nivre, Yvonne Quirmbach-Brundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2013.

[20] Masahiro Suzuki, Hiroki Sakaji, Masanori Hirano, and Kiyoshi Izumi. Constructing and analyzing domain-specific language model for financial text mining. Information Processing and Management, Vol. 60, No. 2, p. 103194, 2023.


# 監査上の主要な検討事項 (KAM) の前例踏襲の程度に関する 業種別及び監査法人別の傾向分析

土井惟成
株式会社日本取引所グループ
n-doi@jpx.co.jp

## 概要

KAM（Key Audit Matters）とは，監査報告書の記載項目の一つであり，財務諸表の監査において，監査人が職業専門家として特に重要であると判断し た事項を指すＫKAMに関する制度的な懸念として，各上場会社の KAM の内容が定型化又は画一化する 事象がある. 本研究では, 2021 年 3 月期と 2022 年 3 月期における各上場会社の KAM を対象に, 前例踏襲の程度に関する傾向を分析した. 実験の結果,各上場会社の業種や監査人の所属する監査法人に よって，KAM の類似性の傾向の差異が示唆された.

## 1 はじめに

上場会社は，年に一度，有価証券報告書を作成 し，金融庁に提出する義務を負っている。また，有価証券報告書中の財務諸表等は，監査人による監査証明が必要とされている. 有価証券報告書及び監査人による監査報告書は，金融庁の EDINET ${ }^{1)}$ を通じ て開示されている. 2021 年 3 月期以降の監査報告書 では，「監査上の主要な検討事項（Key Audit Matters，以下 $\mathrm{KAM})\lrcorner$ の記載が原則として求められている。 KAM とは，監査報告書の記載項目の一つであり，財務諸表の監査において，監査人が職業専門家とし て特に重要だと判断した事項を指す.KAM 等の位置付けの概要を図 1 に示す。

KAM に関する制度的な懸念として，各上場会社 の KAM の記載内容が定型化又は画一化してしまう 現象，いわゆる「ボイラープレート化」が挙げられ る. KAM の有益性の確保には，その記載において，「定型化，画一化を避けるべき」であると金融庁の 資料で述べられている [2]. KAM のボイラープレー 卜化には，大きく 2 通りの傾向が知られており，各上場会社の記載が経年変化せずに固定化した内容と

図 $1 \mathrm{KAM}$ 等の位置付けの概要 (先行研究 [1] より引用)

なる状態を「縦のボイラープレート化」，各上場会社の記載が横並びで似通った内容となる状態を「横 のボイラープレート化」と呼ぶ [3]. 先行研究では,縦のボイラープレート化に関する計量的な分析が行 われている $[2,4]$ ほか，監査人が所属する監査法人単位による横のボイラープレート化の傾向に関する 分析 [1] が行われている. しかしながら，業種別に 見た傾向の分析は限られている.

そこで，本研究では，2021 年 3 月期と 2022 年 3 月期における各上場会社の KAMを対象として，業種別に縦のボイラープレート化の傾向を分析した.具体的には，各上場会社の KAMのテキストから単語頻度に基づくべクトルを 2 年分算出し，これらの コサイン類似度を縦のボイラープレート化の指標と して見なした。そして，業種別の類似度の傾向を，統計的な手法を用いて分析した.

また，先行研究 [1] より，横のボイラープレート 化について監査法人単位での傾向が確認できたこと から，本研究では縦のボイラープレート化に関する 監査法人別の傾向を分析した.

## 2 関連研究

本章では，KAM のボイラープレート化に関する 計量的な研究について述べる.

先行研究 [1] では, 横のボイラープレート化の傾向を分析し，トピックモデルを用いて，監査人が所属する監査法人単位での KAM の類似性を検証し た。監査法人間の類似性を評価した実験では，「大手監査法人同士は，概ね類似度が低い」という示唆 が得られた. また，著者推定により KAM の類似性 を評価した実験では，「大手監査法人の推定精度は，準大手監査法人の推定精度よりも高い」という示唆 が得られた。

金融庁 [2] は, 縦のボイラープレート化の傾向を 分析し，2020 年度に KAMを早期適用した後に監査人を変更した 1 社を除く 47 社の上場会社について， 2020 年度と 2021 年度の KAM の類似性を算出した。類似度の指標にはレーベンシュタイン距離を用い た. 分析の結果，類似度が 75\%以上となったのは 9 社（全体の約 18\%）であり，2つの監査法人の KAM の類似度の平均値と最大値は，他の監査法人のそれ よりも高い傾向にあった.

あずさ監査法人 [4] もまた，縦のボイラープレー 卜化の傾向を分析し, 非上場会社 231 社を含む 2,552 社について，2021 年 3 月期と 2022 年 3 月期の KAM の類似性を算出した．類似度の指標は，名詞頻度の コサイン類似度である。分析の結果，類似度が $70 \%$未満の会社は約 $17 \%$ に過ぎず，95\%以上の会社は約 $36 \%$ であった．類似度が $95 \%$ 以上の会社群において は，『内容が前年と全く同じか，金額部分など一部 が変わっただけであることを示す』と述べられて いる.

## 3 分析用データセット

本章では，本研究に用いた KAM のデータセット （以下，本データセット）の作成手法や統計情報等 について説明する。

## $3.1 \quad K A M$ の概要

有価証券報告書に添付される監査報告書には，「当期連結財務諸表に対する監査報告書」と「当期財務諸表に対する監査報告書」がある．本稿では，「当期連結財務諸表に対する監査報告書」のKAMを 「連結 KAM」，「当期財務諸表に対する監查報告書」 の KAMを「単体 $\mathrm{KAM} \perp$ と呼ぶ. 1 つの KAM は，「タイトル」,「監査上の主要な検討事項の内容及び 決定理由（以下，内容及び決定理由）」,「監査上の対応」で構成されており，1 社につき複数の KAM が 記載されることもある。

本研究では，KAM の前例踏襲の程度を分析する ため,「内容及び決定理由」と「監査上の対応」につ いて，前年度からの類似度の傾向を分析した。

## $3.2 \mathrm{KAM$ の収集}

KAM の前例踏襲の程度に関する傾向を分析する ため，連結 KAM のテキストを集約したデータセッ トを作成した. 本データセットに用いた文書は, 2021 年 3 月期と 2022 年 3 月期の，各上場会社の直近の有価証券報告書における「当期連結財務諸表に 対する監査報告書」とした。

なお，監査報告書の収集に当たっては，EDINET APIを利用した.これらの監査報告書を対象に「「内容及び決定理由」と「監査上の対応」のそれぞれに 相応する XBRL タグを参照することで，各上場会社 の KAM を抽出した. 複数の KAM が含まれている 場合は，1つのテキストとして連結した.

また，分析の対象とする上場会社は，以下の条件 を全て満たすものとした.
- 2022 年 12 月末日時点で，東京証券取引所のプ ライム市場，スタンダード市場，グロース市場 のいずれかに上場している内国会社
- 2021 年 3 月期と 2022 年 3 月期の有価証券報告書が，2022 年 6 月末日までに提出されている
- 2021 年 3 月期と 2022 年 3 月期の監査報告書に おいて，KAM が 1 件以上記載されている
- 2021 年 3 月期と 2022 年 3 月期の監査報告書に おいて，監査法人が同一である
- 監査法人が次節に示す大手監查法人又は準大手監査法人である

## 3.3 監査法人によるフィルタリング

先行研究 [1] に倣い, 少数の上場会社しか監査し ていない監査法人を除外するため，大手監査法人又 は準大手監查法人の KAM のみを抽出した．大手監査法人とは，「上場国内会社を概礼 100 社以上被監査会社として有し，かつ常勤の監査実施者が 1,000 名以上いる監査法人」を指し，準大手監査法人と は「大手監査法人に準ずる規模の監査法人」を指す [5]. この結果，本データセットに含まれる監査法人

は，下記の 9 監査法人となった. なお，以降では，各監査法人の名称は， A 法人から I 法人のいずれか に匿名化を施し, 大手監査法人は A 法人から D 法人，準大手監査法人は E 法人から I 法人とした.

-大手監査法人
- 有限責任あずさ監査法人
- 有限責任監査法人トーマツ

$-\mathrm{EY}$ 新日本有限責任監査法人
- PwC あらた有限責任監査法人
- 準大手監査法人
- 仰星監査法人

- 三優監査法人
- 太陽有限責任監査法人
- 東陽監査法人

$-\mathrm{PwC}$ 京都監査法人

## 3.4 業種情報の付与

業種別による傾向の差異を分析するため，各上場会社に対して 17 業種区分に基づくラベルを付与し た. 17 業種区分とは，証券コード協議会が「業種別分類に関する取扱い要領」[6] に基づいて各上場会社を分類する 33 種類の業種（以下，33 業種区分） を，17 業種に集約したものである [7]. 17 業種の内訳は，4 章の実験結果と併せて付録 $\mathrm{A}$ の表 4 に示す.

なお，上場会社の 33 業種区分は，「業種別分類に 関する取扱い要領」に定める所属業種変更基準に該当すると，変更となることがあり，これに応じて 17 業種区分も変更することがある. 本データセットの 業種は, 2022 年 12 月末日時点の業種に統一した.

## 3.5 本データセットの統計情報

以上の手順によって，「内容及び決定理由」と「監查上の対応」のそれぞれについて，1,585社分のテキ ストを収集した。これらのテキストの単語数の分布 を表 1 に示す。なお，単語数の算出には， MeCab[8]及び UniDic2 ${ }^{2}$ を使用した。

2) https://clrd.ninjal.ac.jp/unidic/

図 2 本データセット全体の類似度の分布

## 4 実験

## 4.1 実験環境

本実験では，本データセットを利用し，「内容及 び決定理由」と「監査上の対応」のそれぞれから， 2021 年 3 月期と 2022 年 3 月期の内容の類似度を算出し，その傾向を分析した．類似度には，あずさ監査法人の調査 [4] に倣い, KAM のテキストにおける 単語の出現頻度から作成したべクトルのコサイン類似度を使用した. ただし, 抽出した品詞は, 先行研究 [1] に倣い, 名詞, 動詞, 形容詞, 副詞とした.

また，業種と監査法人による傾向の差異の有無を 確認するため,「内容及び決定理由」と「監査上の対応」の各類似度を対象に，業種と監査法人による一次元配置分散分析を行った. 更に，差異がある業種及び監査法人を確認するため, 事後検定を行った.

## 4.2 実験結果及び考察

「内容及び決定理由」と「監査上の対応」のそれぞ れの類似度の分布を，図 2 に示す。また，これらの 類似度の一覧を，付録 A の表 4 及び表 5 に示す。

「内容及び決定理由」の類似度が 95\%以上の場会社は 638 社（約 $40.3 \%$ ),「監査上の対応」の類似度 が $95 \%$ 以上の上場会社は 813 社（約 $51.3 \%$ ）だった. この結果は, あずさ監査法人の調査結果 [4] の傾向 とも合致する，なお，「内容及び決定理由」と「監查上の対応」の類似度に対する $\mathrm{t}$ 検定の結果，「監
表 2 事後検定で有意差が確認できた業種

査上の対応」の方が有意に類似度が高かった（ $\mathrm{p}$ 値 <0.001). 従って，「監査上の対応」の方が，縦のボ イラープレート化がより生じている。この理由とし て,「内容及び決定理由」は外的要因により毎年の 記載内容が変わりやすいものの，それらに応じた対応には大きな変化は生じにくく，「監査上の対応」 の内容は前例踏襲になりやすいことが考えられる。

以下では，業種別の類似度の傾向と，監査法人別 の類似度の傾向について，それぞれ述べる。

## 4.2.1 業種別の類似度の傾向

「内容及び決定理由」の類似度 一次元配置分散分析の結果, $\mathrm{p}$ 值は 0.001 未満だった. 従って, 本 データセットの「内容及び決定理由」には，業種間 の類似度の平均值に有意差があると解釈できる。

そして，事後検定を行い，有意水準 $5 \%$ の下で有意差が確認できた業種の組み合わせを抽出し，表 2 のとおり，類似度の高い業種と低い業種に分類し た. 類似度の低い業種群におけるどの業種も，「15 銀行」との有意差が認められており，付録 A の表 4 から「15 銀行」は「内容及び決定理由」の平均值 が最も大きい業種であることを踏まえると，業種が $「 15$ 銀行」の上場会社は特に前例踏襲の程度が強い と言える。以上から，「内容及び決定理由」の類似度は，業種による傾向の差異があると言える。

「監査上の対応」の類似度 一次元配置分散分析 の結果, p 値は 0.001 未満だった. 従って，「監査上 の対応」も，業種間の類似度の平均值に有意差があ ると解釈できる.

しかしながら，事後検定を行い，有意水準 $5 \%$ の 下で有意差が確認できた業種の組み合わせを抽出 したところ，このような組み合わせは「03 建設・資材」と「10 情報通信・サービスその他」（p 値: 0.006）

しか無かった. 従って，「監査上の対応」における 業種別の類似度の差異は，「内容及び決定理由」よ りも小さいと言える.

また，特筆すべき点として，「03 建設・資材」は，「内容及び決定理由」では類似度が低い業種群に含 まれていたところ，「監査上の対応」では類似度が 高い傾向がある．以上から，同一の業種であって も，「内容及び決定理由」と「監査上の対応」では，異なる傾向が示され得るという示唆が得られた。

## 4.2.2 監査法人別の類似度の傾向

「内容及び決定理由」の類似度 一次元配置分散分析の結果, $\mathrm{p}$ 值が 0.001 だった. 従って, 本データ セットの「内容及び決定理由」には，監査法人間の 類似度の平均値に有意差があると解釈できる。

そして，事後検定を行い，有意水準 $5 \%$ の下で有意差が確認できた監査法人の組み合わせを抽出し た.これに対して，表 3 に示すとおり，類似度の高 い監査法人と類似度の低い監査法人に分類したとこ ろ，類似度の低い監査法人は全て準大手監査法人 G 法人となり，大手監査法人は類似度が高い傾向が見受けられた。以上から，「内容及び決定理由」の類似度は，監査法人による傾向の差異があると言える。

「監査上の対応」の類似度 一次元配置分散分析 の結果， $\mathrm{p}$ 値は 0.087 と，有意水準 $5 \%$ の下で有意差 が確認できなかった. 従って，「監査上の対応」に は，監査法人による傾向の差異があると言えない。

## 5 おわりに

本研究では，2021 年 3 月期と 2022 年 3 月期にお ける各上場会社の KAMを対象に，前例踏襲の程度 に関する傾向を分析した. 実験の結果，上場会社の 業種や監査人の所属する監査法人によって，KAM の「内容及び決定理由」と「監査上の対応」のそれ ぞれについて，類似性の傾向が異なることが示唆さ れた. 今後の課題としては，類似度の傾向差異の要因に関する詳細な分析や，より広範な上場会社又は より長期的な期間を対象とした分析が挙げられる.

## 参考文献

[1] 土井惟成. トピックモデルによる監査上の主要な検討事項（KAM）の類似性の検証. 人間科学とコンピュー タシンポジウム 2022 論文集, pp. 199-206, 122022.

[2] 金融庁. 監査上の主要な検討事項 (KAM) の特徴的 な事例と記載のポイント, 2022. https://www.fsa.go. jp/news/r3/sonota/20220304-2/01.pdf.

[3] 公益社団法人日本監査役協会会計委員会. 監査上の主要な検討事項（KAM）の強制適用初年度に おける検討プロセスに対する監査役等の関与に ついて, 2021. https://www.kansa.or.jp/wp-content/ uploads/2021/12/el001_211220a_2.pdf.

[4] 森国司. 監査の重要項目「KAM」、企業 4 割で前例踏襲. 日本経済新聞社, 2022. https://www.nikkei.com/ article/DGKKZ064673390X20C22A9DTA000/.

[5] 公認会計士・監査審査会. 令和 4 年版モニタリングレポート, 2022. https://www.fsa.go.jp/cpaaob/shinsakensa/ kouhyou/20220715/2022_monitoring_report.pdf.

[6] 証券コード協議会. 業種別分類に関する取扱 い要領, 2007. https://www.jpx.co.jp/sicc/sectors/ nlsgeu00000329wk-att/category2.pdf.

[7] 株式会社 JPX 総研. 東証指数算出要領 (東証業種別株価指数・TOPIX-17 シリーズ 編),2022.https://www.jpx.co.jp/markets/indices/ line-up/files/cal2_13_sector.pdf.

[8] Taku. Kudo. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/, 2005.

## A 業種別及び監査法人別の類似度の一覧

表 4 業種別の類似度の一覧

表 5 監査法人別の類似度の一覧

土井惟成 株式会社日本取引所グループ n-doi@jpx.co.jp


# 極性と重要度を考慮した決算短信からの業績要因文の抽出

大村和正 ${ }^{1}$ 白井穂乃 ${ }^{2}$ 石原 祥太郎 ${ }^{2}$ 澤 紀彦 ${ }^{2}$
1 京都大学大学院情報学研究科 2 株式会社日本経済新聞社
omura@nlp.ist.i.kyoto-u.ac.jp
\{hono.shirai, shotaro.ishihara, norihiko.sawa\}@nex.nikkei.com

## 概要

本稿では，極性と重要度を考慮した決算短信から の業績要因文の抽出手法を提案する。提案手法は 2 段階の学習データの自動生成から成り, 重要度を考慮した要因分類器の学習データと極性分類器の学習 データを決算短信から生成する.これらの自動生成 データにより, 業績要因文の抽出精度の改善と高精度な極性付与ができることを示す. また，中規模な 評価データを人手で構築し，この再現ができるよう に必要な情報を公開する。

## 1 はじめに

ウェブ上には日久膨大なテキストデータが蓄積さ れており，それらを活用するための技術の需要が高 まっている．その中でも，金融ドメインのテキスト を対象としたマイニング手法は，投資支援や経済分析への応用が期待されることから近年盛んに研究さ れている [1]. 本研究では，このような金融テキス トマイニングの 1 タスクである「決算短信からの業績要因文の抽出」に取り組む。

決算短信とは，上場企業が決算発表を行う際に開示する，当期の経営成績等をまとめた書類である (表 1 上段). 決算短信は企業動向をいち早く報じる ものであるため，投資判断に欠かせない情報源であ る一方, 文章量が多く要点の把握には労力を要す る.このため，投資判断の参考になる「業績変化の 要因が記述された文 (業績要因文)」を自動抽出する ことができれば，投資支援として有用であると考え られる。このような背景のもと, 業績要因文の抽出 に向けた手法は複数提案されてきた $[2,3,4,5,6]$.決算短信は原則再配布が認められていないために オープンデータがなく, 注釈付けも多大な労力を要 することから，いかに機械学習モデルの学習データ を自動生成するかがひとつの争点となっている。例 えば，酒井らは業績要因の手がかりとなる表現と各表 1 ある上場企業の決算短信と，それに対応する業績発表記事の例 (抜粋).

‥ 百貨店業での営業収益は 398,338 百万円 (前年同期比 31.4\%減)、営業損失は 16,863 百万円 (前年同期は営業利益 6,563 百万円) となりました。

国内百貨店におきましては、新型コロナウイル 又感染症の拡大伴う緊急事態宣言の発出を受け、全店で食料品フロアを除く臨時休業を実施しまし た。 5 月末には全店で全館営業を再開いたしまし たが、多くのお客様の来店を見込んだ営業施策や 販売促進策の中止や開催方法の見直しをしたこと に加充、外出を控える動きも依然強く、売上高は 大きく減少いたしました。また、渡航制限で…

舞 $\cdots$ が 25 日発表した 2020 年 3 11 月期の連結決算 で、最終損益は 243 億円の赤字 (前年同期は 164 億円の黒字)だった。新型コロナウイルスの感染拡大に伴う外出自肅やインバウンド (訪日外国人) 需要の大幅な落ち込みによる販売減少が響いた。…

企業にとって重要なキーワードを自動獲得し，それ らをべースに学習データを生成している [5]. この 手法は工程が若干複雑である点に難がある. これに 対し，大村らは決算短信の要約記事である業績発表記事 (表 1 下段)を利用した，簡素なデータ生成手法 を提案している [6]. この手法も決算短信に含まれ る業績と無関係な記述 ${ }^{1)}$ が負例であることを十分に 学習できないため，精度に改善の余地がある。

本研究では大村らの手法 [6] を拡張し, 学習デー タの生成を 2 段階にすることで，前述の問題に対処 する。具体的には，業績発表記事から生成した学習 データで分類器を訓練し，それを用いて決算短信に 擬似ラベルを付与することで，よりタスクに適応し た学習データを生成する。これにより，業績要因文 の抽出精度が改善することを示す.

また，この拡張に乗じて，実応用での需要が高い 極性 ${ }^{2}$ や重要度の付与が可能となるようにデータ生成を工夫する．具体的には，疑似ラベルを付与する 際に重要度を考慮したスコアを付与し，これと並行

1）「〜は以下のとおりとなりました。」といった注記など.

2）その要因による売上高や利益の増減の向きを指す。

して極性分類器の学習データを生成する。これによ り, 重要度の予測は改善の余地があるものの, 高精度な極性付与ができることを示す。極性や重要度を 考慮する手法はこれまでにも個別に提案されてきた $[7,8,9]$ が，総合的に扱う点が差分である.

本研究のもう一つの貢献として，中規模な評価 データを人手で構築し, この再現に必要な情報を 公開する ${ }^{3)}$. 評価データはそのまま公開できないた め, 注釈と決算短信の取得元の情報から評価データ が再現できるように整備を進める.

## 2 タスク設定

本研究の対象を明確にするため，決算短信に含ま れる文を以下のように分類定義する。

業績文当期の業績変化のみを述べた文

暗黙的な業績要因文 文内で当期の業績変化と紐付 いていないが，要因であると判断される文

明示的な業績要因文 文内で当期の業績変化とその 要因が述べられた文

その他上記のいずれにも該当しない文

例えば，表 1 上段において，1文目は業績文である. また，2 文目は「全店で食料品フロアを除く臨時休業を実施」という要因が述べられているものの，業績変化と紐付いていないため，暗黙的な業績要因文 である. さらに，3 文目は「売上高は大きく減少」 という業績変化とその要因が述べられているため,明示的な業績要因文である.

本研究では，決算短信に含まれる各文が「明示的 または暗黙的な業績要因文であるか否か」を判定す る 2 値分類タスクとして定式化する。なお，財政状態や将来予測に関する記述 $[10,11]$ は対象外とする.以降，この 2 值分類タスクを「要因分類」，明示的ま たは暗黙的な業績要因文を「正例」，そうでない文 を「負例」と呼ぶ.

## 3 提案手法

提案手法は図 1 のように 2 段階の学習データの自動生成から成る.

## 3.1 第 1 段階

大村らの手法 [6] に従って業績発表記事から学習 データを生成する，具体的には，業績発表記事から 数字を含む文を業績文 (負例)，含まない文を暗黙的

図 1 提案手法の概要図.

な業績要因文 (正例) として抽出する。また，記事の 第 1 段落から抽出した暗黙的な業績要因文と業績文 を適当な接続詞でつなぐことで明示的な業績要因文 を生成し，これを正例として加える。

ヒューリスティックの導入 決算短信には業績と 無関係な記述1) が多く含まれる. そのような記述に よく見られる文体の文が負例であると学習させる ため，以下のいずれかの条件を満たす文のラベルを 「負例」に上書きする。

・末尾の文節が過去形または体言止めでない

・末尾の節の意志性が強い

1 点目は将来予測に関する記述等を，2 点目は「〜 に努めました。」のような定性的だが業績変化との 因果関係が曖昧な文を想定したものである。

最後に，生成したデータを用いて，入力文が正例 である確率を予測する要因分類器を訓練する。

## 3.2 第 2 段階

重要度を考慮した要因分類器の学習データと極性分類器の学習データを決算短信から生成する.

重要度を考慮した要因分類器の学習データ 第 1 段階で訓練した要因分類器を使用し, 決算短信から 抽出した各文に重要度を考慮したスコア $(\in[0,1])$ を付与することで生成する. 手順を以下に示す.

1. 要因分類器の予測確率が 0.8 以上である文を正例， 0.2 以下である文を負例として抽出し，そ れ以外の文を除外する。

2. 負例の文はスコア 0 をラベルとする.

3. 正例の文は，それが抽出元の決算短信において 冒頭から $i$ 番目の正例の文であるというメタ情報をもとに，以下の計算式で算出されるスコア をラベルとする.

$
\operatorname{score}(i)=\max (1.0-0.02 \times i, 0.8)
$

決算短信には「企業全体の概況 $\rightarrow$ 主力事業の概況 $\rightarrow$ その他事業の概況」という談話構造がよく見ら れ，冒頭に近いほど重要な要因である可能性が高い ことを 3 の計算式に反映している.

極性分類器の学習データ Saito らの手法 [12] を 参考に以下の手順で生成する.

1.「増収」や「減益」など，業績変化の極性を強く 表すシード語彙を人手で策定する.

2. シード語彙を含み，それと「原因・理由」また は「逆接」の談話関係を表す談話標識で接続さ れる節の組を取得する。

3. シード語彙を含む節はそれにもとづく極性を， それと接続される節は談話関係にもとづいて伝播される極性をラベルとする。

最後に，生成した 2 つのデータを用いて，入力文 のスコア (=重要度) を予測する要因分類器と極性分類器を訓練する．極性と重要度を同時に予測する分類器の構築は今後の課題である.

## 4 実験

提案手法の有効性を検証するために実験を行う. オープンデータは存在しないため，評価データは人手で構築し，学習データは自動生成する。

## 4.1 評価データの構築

まず，株式会社日本経済新聞社が提供するニュー ス配信サービス「日経電子版」)における業界分類5) 亿従って, 各業界 10 企業ずつ計 150 件の決算短信を人手で収集した. 対象期間は 2021 年 4 月から 2022 年 4 月までの 1 年間とした.

続いて，各決算短信 PDF から四半期決算に関する 定性的情報が記述されたテキストを抽出し ${ }^{6)}$ ，正規

表 2 評価データの統計.

表 3 学習データの統計. 要因分類器の学習データは負例に偏っていたため, 5 万文ずつに絞っている. また,「正例」は 0.8 以上のスコアが付与された文を指す.

表現ベースの文分割処理7)を適用した.こうして得 られた各文に著者らが人手で注釈付けを行い，3人以上の合意があったラベルに集約した。 また，正例 と評価された文はその極性と重要度も付与した．極性はポジティブ・ネガティブ・判別不能のいずれか を，重要度は決算短信 1 件につき最大 3 文まで重要文を主観で決め，重要文であるか否かを付与した。

最後に，2:8 に分割して開発データとテストデー タを構築した。評価データの統計を表 2 に示す.こ の再現に必要な情報は公開する.

## 4.2 学習データの生成

業績発表記事の取得 提案手法の第 1 段階で使用 する業績発表記事は「日経電子版」4) から取得した。具体的には, 2018 年 1 月から 2021 年 1 月までの 3 年間を対象とし，メタデータのトピック情報に「企業決算」ラベルが付与されているものを取得した.こ の結果，上場企業 1,023 社の業績発表記事を計 3,322 件取得した。また，総文数は 43,893 文であった。

決算短信の取得 ベースラインおよび提案手法の 第 2 段階で使用する決算短信はウェブから自動収集 した. 業績発表記事の取得時と同様に，2018年 1 月 から 2021 年 1 月までの 3 年間を対象とした. この 結果, 上場企業 3,653 社の決算短信を計 31,771 件取得した. 取得された PDF に対し， 4.1 節と同様に文 を抽出した結果，総文数は 574,000 文であった。

提案手法 3 節の手法に従って学習データを生成 した。過去形または体言止めであるか否かの判別と 節間の談話関係の認識は，構文解析器 $\mathrm{KNP}^{8}$ [13] が

7) https://github.com/ku-nlp/python-textformatting

8) https://github.com/ku-nlp/knp
表 4 テストデータに対する実験結果. 異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差を記載している.「ヒューリスティックのみ」は，3.1 節の条件を満たさない文を全て「正例」とした時の精度である.

 &  &  &  \\

付与する言語素性をもとに自動で行った. また，意志性の判別は, Kiyomaru \& Kurohashi の手法 [14] に 従って構築された意志性分類器を使用し，スコア $(\in[0,1])$ が 0.3 以上のものを意志性が強いとみなし た. 生成したデータの統計を表 3 に示す.

ベースライン 手がかり表現と企業キーワードに よる業績要因文の抽出手法 [5] をべースラインとし た. 手法に従って正例 85,241 文, 負例 75,175 文から 成る学習データを生成した. また， 3.1 節のヒュー リスティックの有無による精度の変化も調査した.

## 4.3 モデルの訓練・評価

分類器のモデルはいずれも RoBERTa [15] を採用 した. 事前学習モデルは早稲田大学が公開している 日本語 RoBERTa base モデル)を使用した.

要因分類 分類器の性能を $\mathrm{F}$ 値で評価した. ベー スライン・提案手法ともにモデルが過学習する傾向 が見られたため，開発データに対する $\mathrm{F}$ 值をステッ プごとに測り，F 値が最大となるステップのパラ メータでテストデータに対する性能を評価した。

重要度の予測 精度は重要文の正解率として評価 し，以下の手順で算出した。

1. 決算短信ごとに各文の予測値を出す.

2. 各決算短信の重要文の数 $N_{i}$ を既知として，予測值上位 $N_{i}$ 文を取得する.
3. $N_{i}$ 文のうち, 実際に重要文であった数 $M_{i}$ を求 め， $\sum_{i} M_{i} / \sum_{i} N_{i}$ を正解率として計算する.

極性分類表 2 の評価データのうち，正例かつポ ジティブまたはネガティブのラベルが付与されたも のに対して, 分類器の性能を $\mathrm{F}$ 值で評価した. 開発 データに対する $\mathrm{F}$ 值が最大となるエポックのパラ メータでテストデータに対する性能を評価した。

9) https://huggingface.co/nlp-waseda/ roberta-base-japanese

## 4.4 実験結果・定性的分析

テストデータに対する実験結果を表 4 に示す. 誤分類の実例は付録を参照されたい.

要因分類 提案手法について，疑似ラベルによる 全体的な性能の改善が見られる。 また， ベースライ ン・提案手法ともにヒューリスティックを導入する ことで適合率が大きく向上している. 決算短信に含 まれる業績と無関係な記述が負例であることを十分 に学習させることが重要だと考えられる.

定性的分析では，経済や景気について述べた文を 正例だと誤分類する傾向が見られた. 主語の大きさ に着目するような工夫が必要だと考えられる。

重要度の予測 重要文の正解率は提案手法による 改善が見られるが，依然として精度が低い. 文脈を 見ないと企業全体・主力事業・その他事業のいずれ について述べているか判別できない文が多いことが 原因として挙げられる. 文章単位での解析に拡張す ること，疑似ラベルを付与する際に各文が対象とす る事業セグメントを解析し [16]，それをもとにスコ アを付与することを検討する。

極性分類 $\mathrm{F}$ 値は 95.9, 89.2 と比較的高い精度に 達している. 定性的分析では「赤字幅が減少」と いった極性が反転する表現も正しく解析できてい た一方，数量推論やドメイン知識が必要な文を誤分類する傾向が見られた. シード語彙に「前四半期比〜\%」といった定量表現を加えることを検討する。

## 5 おわりに

本稿では極性と重要度を考慮した決算短信からの 業績要因文の抽出手法を提案した. 今後は極性と重要度の同時学習や重要度の予測精度の改善, そして 構築した分類器とテキスト生成モデルを組み合わせ た決算短信の要約記事の自動生成などを検討する。

## 謝辞

再現実験にご協力いただき，精度改善についてご 助言を頂いた中間康文さんに感謝いたします。

## 参考文献

[1] 坂地泰紀, 和泉潔, 酒井浩之. 金融・経済ドメインを 対象とした言語処理. 自然言語処理, Vol. 27, No. 4, pp. 951-955, 2020.

[2] 西沢裕子, 酒井浩之. 企業の決算短信 pdf からの業績要因の自動抽出. 電子情報通信学会技術研究報告 $=$ IEICE technical report : 信学技報, 2013 .

[3] 酒井浩之, 西沢裕子, 松並祥吾, 坂地泰紀. 企業の決算短信 pdf からの業績要因の抽出. 人工知能学会論文誌, Vol. 30, No. 1, pp. 172-182, 2015.

[4] 中山祐輝, 津々見誠, 村上浩司. 文間の結束性に基づ く決算短信における業績要因文の抽出. 言語処理学会第 25 回年次大会, 2019.

[5] 酒井浩之, 松下和暉, 北島良三. 学習データの自動生成による決算短信からの業績要因文の抽出. 知能と 情報, Vol. 31, No. 2, pp. 653-661, 2019.

[6] 大村和正, 白井穂乃, 石原祥太郎, 澤紀彦. 決算短信か らの業績要因文の抽出に向けた業績発表記事からの 訓練データの生成. 言語処理学会 第 28 回年次大会, 2022.

[7] 酒井浩之, 増山繁. 企業の業績発表記事からの重要業績要因の抽出. 電子情報通信学会論文誌 D, Vol. 96, No. 11, pp. 2866-2870, 2013.

[8]磯沼大, 藤野暢, 浮田純平, 村上遥, 浅谷公威, 森純一郎, 坂田一郎. 業績変動を考慮した決算短信からの重要文抽出. 情報処理学会第 227 回 自然言語処理研究会, 2016 .

[9] 酒井浩之, 坂地泰紀, 山内浩嗣, 町田亮介, 阿部一也.深層学習と拡張手がかり表現による業績要因文への 極性付与. 第 18 回人工知能学会 金融情報学研究会, 2017.

[10] 北森詩織, 酒井浩之, 坂地泰紀. 決算短信 pdf からの 業績予測文の抽出. 電子情報通信学会論文誌 D, Vol. 100, No. 2, pp. 150-161, 2017.

[11] 河村康平, 高野海斗, 酒井浩之. 決算短信からの業績要因を含む業績予測文の抽出. 2021 年度人工知能学会全国大会 (第 35 回), 2021.

[12] Jun Saito, Yugo Murawaki, and Sadao Kurohashi. Minimally Supervised Learning of Affective Events Using Discourse Relations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, 2019.

[13] Sadao Kurohashi and Makoto Nagao. KN Parser: Japanese Dependency/Case Structure Analyzer. In Proceedings of the International Workshop on Sharable Natural Language Resources, pp. 48-55, 1994.

[14] Hirokazu Kiyomaru and Sadao Kurohashi. MinimallySupervised Joint Learning of Event Volitionality and Subject Animacy Classification. In Proceedings of the AAAI Conference on Artificial Intelligence, 2022.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Man- dar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. CoRR, Vol. abs/1907.11692, , 2019.

[16] 高野海斗, 酒井浩之, 北島良三. 有価証券報告書から の事業セグメント付与された業績要因文・業績結果文の抽出. 人工知能学会論文誌, Vol. 34, No. 5, 2019.
表 5 提案手法に従って構築された要因分類器および極性分類器の誤分類例.

 \\

## A 付録

## A. 1 決算短信 PDF からのテキスト抽出

PDF からのテキスト抽出には pdfminer ${ }^{10)}$ を使用し た. 日本語のテキスト抽出に対応しており，ページ ごとにテキストを抽出できる点などが理由である.

本研究が対象とする業績要因文は通常，本文の冒頭に「当四半期決算に関する定性的情報」などと題 したセクションを設けて，その中で記述される.こ の定性的情報を高精度で抽出する (将来予測に関す る記述などのノイズを減らす) ために，以下の手順 でテキスト抽出を行った。

1. 文字列「目次」が含まれるぺージを先頭から順 に探索し，最初に見つかったページより後の ページを取得する。

2. 定性的情報の次に述べられやすい項目を表すフ レーズ11)が含まれるページを先頭から順に探索 し，最初に見つかったページのフレーズ以前の テキストを抽出する。

要は，目次と定性的情報の次に述べられやすい項目 を表すフレーズに挟まれる部分を定性的情報として 抽出している. 評価データの生成元の決算短信 150 件は全て，上記の手法で定性的情報が記述されたテ キストを抽出できることを確認した。

## A. 2 誤分類の実例

提案手法に従って構築された要因分類器および 極性分類器の誤分類例を表 5 に示す.これらを少し 考察すると，例えば 1 番目の誤答例は「末尾の文節 が過去形または体言止めでないならば負例」という ヒューリスティックをモデルが重視していることが 原因だと考えられる. 改善案として，確信度の高い

10) https://github.com/pdfminer/pdfminer.six

11）本研究では，「財政状態に関する」，「財政状態の」，「将来予測情報に関する」，「業績予想に関する」，「今後の見通し」 の 5 つとした.表 6 シード語彙の一覧.

表 7 訓練時のパイパーパラメータ.

正例のデータから文末を現在形にした疑似データを 生成し，これを混ぜて訓練することが挙げられる。

また，4 番目は本文で言及した数量推論などを要 する文の誤答例である．定量表現をもとに費用が全体として増えたことを理解する必要があるため，定性的な極性表現を中心に学習させる現状のアプロー チでは難しいと考えられる. シード語彙の拡張で対応できるか否かを今後調査する。

## A. 3 シード語彙の一覧

極性分類器の学習データの生成時に策定したシー ド語彙の一覧を表 6 に示す.

## A. 4 ハイパーパラメータ

要因分類器および極性分類器の訓練時のハイパー パラメータを表 7 に示す.


# BERT と因果抽出を用いた気候変動ナラティブの可視化/指数化

金田規靖 1 坂地 泰紀 ${ }^{2}$
${ }^{1}$ 日本銀行 2 東京大学大学院工学系研究科
noriyasu.kaneda@boj.or.jp
sakaji@sys.t.u-tokyo.ac.jp

## 概要

気候変動問題は，グローバルな課題として国内外 で積極的に議論されており，気候変動がマクロ経済・物価・市場に与える影響に関する経済ファイナ ンス研究が盛んに行われてきている。例えば，自然災害の激甚化や政府の環境規制強化が，企業や金融機関の新たな経営・投資リスクになるとの見方があ る。そこで，我々は新聞記事データを分析し，気候変動に関する因果（原因＝結果のつながりく気候変動ナラティブと呼称 $>)$ の抽出，指数化，可視化を 行う手法を提案する。近年の気候変動ナラティブを みると，企業や金融機関の認識・行動変化が始まっ ていること，気候変動とマクロ経済・市場・金融政策との連関が出現している可能性が示唆された.

## 1 はじめに

気候変動問題は，グローバルな課題として国内外 で積極的に議論されている. たとえば，地球温暖化 に伴う異常気象や自然災害の激甚化は, 企業の経済活動に損失を生じさせ得る（物理的リスク）.また，環境規制強化といった政府の気候変動政策の推進 は，企業や金融機関の経営リスクや投資リスクにな り得る（移行リスク）．企業，金融機関などの様々 な経済主体は，気候変動リスクへの対応を始めてお り，投資行動の変化や業績パフォーマンスへの影響 が生じ始めているとの見方がある。テキスト分析か ら，気候変動ニュースの報道数，主要トピックの移 り変わり，トピック間のつながりを把握すること は，政府，企業，市場などが気候変動をめぐる議論 や環境規制強化をどのように受容し，対応を進めて きたかを理解することにつながる. 本節では，関連研究を紹介し，本研究の位置付けを説明する。

## 1.1 関連研究

近年，気候変動がマクロ経済・物価・市場に与え る影響についての経済ファイナンス研究が盛んに行
われてきている。一つのアプローチとして，気候変動ニュースのテキスト分析が用いられており, 現時点では，伝統的な自然言語処理手法が主流となって いる。例えば，新聞記事データを用いて，コサイン 類似度やLDAを用いて，マクロの気候変動ニュー ス指数を作成し，気候変動に関する報道の増加（市場の気候変動リスクの認識変化）と，米国や日本の 株式リターンとの関係を害証する研究がみられてい る (Engle et al.[1] , Kaneda et al.[2]). また, Fueki et al.[3] は, 気候変動ニュースの増加は, 将来の不確実性の高まりを示しており， $\mathrm{CO} 2$ 排出量の多いブ ラウン企業の設備投資を減少させる可能性を示し た. 足もとでは，BERT といった深層学習べースの 言語モデルの利用がみられ始めており，企業決算や 特許情報といった大容量のテキストデータの分析に 活用されている．BERTを用いて，企業の気候変動 リスクに関する開示文書を分析した研究としては,例えば，Bingler et al.[4] は，企業の気候変動リスク への対応状況を情報抽出し，スコア評価している. Kölbel et al.[5] は, 企業の物理的リスク・移行リスク をそれぞれ指数化し，個社の CDS スプレッドとの 関係を実証している。

## 1.2 本研究の位置付け

本研究は，2000 年 1 月から 2021 年 11 月までの日本経済新聞（朝刊，平日）における気候変動ニュー ス（約 1 万 7 千記事）を用いて，企業関連ほか，国際会議，国内政策，金融機関などの様々な気候変動関連トピックを分析対象としている。本研究の新規性 は，BERT および因果抽出により得られた二つの分析結果を組み合わせることで，異なるトピック間の 因果（原因＝結果のつながり）を抽出している点に ある。テキストに含まれる因果は，人々の将来予想 や認識変化を捉えており, 経済ファイナンスに関す る新たな知見が得られる可能性がある. 本研究は, Shiller[6] の主張（人々の物語が経済を動かす）にお ける経済ナラティブを具体化する一つの手法になり
得ると考えられ, 本稿では, 得られた因果を「経済 ナラティブ」と呼称し, 気候変動に関する経済ナラ ティブ（気候変動ナラティブ）の抽出を試みている。

## 2 気候変動ナラティブの抽出

本節では，本研究で提案する分析ワークフローに ついて説明を行う. 我々の分析ワークフローでは,技術として BERT と因果抽出を利用している. 気候変動ナラティブを抽出するための分析ワークフロー は以下の通りである。

図 1 経済ナラティブ抽出・指数化/可視化の全体図

Step 1 BERT を用いて, 気候変動に関するトピッ クを判定する分類モデルを学習し，新聞記事に 含まれるトピックを判定する（図1の青矢印）.具体的には, (i) 日本経済新聞記事にデフォルト で付与されている分類タグを用いて，各トピッ クの教師データを作成する. 分類タグは，経済，政治，政策，企業，国際，マーケットに関連する 40 トピックを選択した. (ii) 教師データ を用いて，BERTをファイン・チューニングし， 40 個の分類モデルを構築する. (iii) 各トピック 分類モデルを用いて, 各気候変動ニュース記事 の段落が，どのトピックに関連しているかを判定し，判定結果を関連段落 DB に記録する。

Step 2 各新聞記事に因果関係が含まれているか否 かを判定し（BERTにより処理），因果抽出を用 いて，原因＝結果の論理関係を表す表現対を抽出後，因果情報を因果 DB に記録する（図 1 の 橙矢印). 因果抽出は, Sakaji et al.[7] で提案さ れた手法であり，係り受け解析に基づく構文パ ターンを利用し，因果関係が含まれている因果文から原因・結果表現を抽出することがで きる.

Step 3 Step 1 の BERTによる判定結果と, Step 2 の因果情報を組み合わせ，異なる二つのトピック 間の気候変動ナラティブを抽出する（図 1 中央 の紫ボックス). 抽出時には，過去のニュース は将来のニュースに波及するという時間制約を 仮定し，過去の原因テキストと現在の結果テ キストを結合する. 図 2 は，原因因果を環境規制，結果因果を企業戦略とした場合の結合方法 の例を示している。企業戦略における原因テキ ストは，企業戦略の変化を引き起こした背景情報，環境規制における結果のテキストは，環境規制強化を示す情報である.これらのテキスト のコサイン類似度が高い組み合わせを，原因=結果のつながりのある因果とみなして結合し，気候変動ナラティブを得る. 具体的に得られた 事例を図 3 に示す.

Step 4 Step 3 で得られた経済ナラティブを指数化 する。また，特に重要な動きを示す経済ナラ ティブ指数に絞り，ネットワーク関連図として 可視化する (図 1 の紫矢印). 手法の詳細は, 後述する.

図 2 環境規制＝企業戦略の結合方法の例

図 3 環境規制＝企業戦略の気候変動ナラティブの具体例

## 3 評価実験と指数化/可視化手法

本節では，BERTによる分類精度の評価，指数化 および可視化の手法について説明する.

## 3.1 評価実験

数值例として，表 1 にオリンピック関連の文章を 判定するモデルの分類精度を示している. ここで は，日経新聞記事のタグを対象に，BERT の分類性能を確認するため, 従来手法として線形回帰やラ ンダムフォレスト，SVMを用いて分類実験を行っ た. 実験結果より, BERT の判定モデルは, 従来の 機械学習手法を上回る精度を示している。一般的 に，BERT は，トピック分類などで高精度を示すこ とが知られているが，新聞記事のトピック判定につ いても適切に行えるとみられる。

表 1 「オリンピック」判定モデルの分類精度. RF はラ ンダムフォレストを表す.

## 3.2 指数化/可視化の手法

BERT と因果抽出を用いると，トピック別の気候変動に関する因果を含む気候変動ナラティブが時点毎に得られることを示した。これらをトピック別の ニュース指数に変換すれば，経済的解釈が容易にな るほか, 先行研究と同様に, ニュース指標と金融経済データを用いた実証研究にも応用できる.

## 3.2.1 気候変動トピックベース指数

まず，BERT の判定結果のみを用いて，任意のト ピックに関連すると判定された段落数をカウントし た気候変動トピックベース指数を算出する. BERT を用いた先行研究と同様に，あるトピックを含む 文章の出現回数を指数化している. 図 4 によれば, 2008-2010 年頃は, 国際議論, 国内環境規制に関す るトピックが大半である一方, 2018 年以降は, 企業戦略やグリーンファイナンスなどに関するトピック も併せて増加している. 当指数は, 時点毎の主要卜 ピックやトピック間の相関を把握することができる が，トピック別の独立した指数であるため，トピッ
ク間の因果については勘案されていない.

図 4 気候変動トピックベース指数（段落出現数）

## 3.2.2 気候変動ナラティブ指数

気候変動関連トピックの因果チェーンを定量化し た気候変動ナラティブ指数は，以下の通り算出され る. 原因因果ベクトル $\left(\vec{i}_{t-d}\right)<t$ 時点から $d$ 日前の 過去情報 $>$ と結果因果ベクトル $\left(\vec{j}_{t}\right)<t$ 時点の現在情報＞の因果チェーンのコサイン類似度が高い組 み合わせを集計し，式 1 を用いて月次指数を作成す る. 最新のニュースほど過去とのつながりが増える バイアスを除くため，古い因果の重みを時間経過に 伴い減価させている（ロジスティック関数に従い, 5 年で重みが半減). 図 5 は, 原因因果を国際会議と した時の結果トピック別の気候変動ナラティブ指数 を例示している。

index $\_$monthly $\_m=\sum_{j=0}^{M} \sum_{i=0}^{L(j)} \frac{1}{1+a e^{b d}} \cos \left(\vec{i}_{t-d} \cdot \vec{j}_{t}\right)$

ここで， $M$ は $m$ 月に含まれる因果チェーンの集合， $L(j)$ は結果因果 $\vec{j}$ と接続している原因因果 $\vec{i}$ (因果 チェーン)の集合， $\cos \left(\vec{i}_{t-d} \cdot \vec{j}_{t}\right)$ は原因因果 $\vec{i}$ と結果因果 $\vec{j}$ の BERT に基づくコサイン類似度, $t-d$ は結果因果につながる原因因果の観測時点 $(d>0), t$ は $m$ 月に含まれる結果因果の観測時点， $d$ は原因因果 と結果因果の時点差 (日数)をそれぞれ表す. また， ロジスティック関数のパラメーター $a, b$ はニュース の減衰期間に応じて設定している.

## 3.3 ネットワーク関連図としての可視化

ネットワーク関連図とは，気候変動ニュースを構成するトピック同士がどのように接続されている かを可視化するものである．トピック別の気候変動 ナラティブ指数を組み合わせることで，気候変動 ニュースにおけるトピック間の因果や連関（双方向 の因果）の全体像を明らかにしている（詳細は次節

図 5 気候変動ナラティブ指数

や付録を参照）．可視化の結果を解釈する際には，経済ファイナンス理論と整合的な動きをしているか という視点が重要である. 他方, 思わぬ気候変動ナ ラティブが出現した場合, 従来手法では明らかでな かった新たなつながりの発生を示唆している可能性 に留意する必要がある.

## 4 考察

本節では，気候変動トピックベース指数，気候変動ナラティブ指数，ネットワーク関連図を基に，気候変動ニュースの経済的解釈を行った. 主要なポイ ントは以下の通りである。

（1）推計期間を通じて，気候変動関連の国際会議や国際合意といったイベント発生時に指数が上昇する傾向がある. 例えば，2008 年洞爺湖サミッ ト，2010 年コペンハーゲン合意，2015 年パリ協定， 2021 年米国のパリ協定への復帰などがあげられる.国際的な気候変動議論と, 政府による脱炭素・グ リーンエネルギーに関する目標設定は，相互に連動 しつつ，気候変動ニュースの主要トピックであっ た. 同時に，こうした国内外の政策議論は，他の経済主体の行動・認識変化のきっかけになってきたと みられる。

（2） 2015 年に，パリ協定に「 $2{ }^{\circ} \mathrm{C}$ 目標」が合意 されて以降，各国の気候変動政策は，大局的，抽象的な政策議論という段階から，環境規制の強化や政策の検討の段階に移行してきた. こうした動きを踏 まえ，2018 年以降は，国内の環境政策やエネルギー 政策の強化から企業関連（事業戦略の策定や設備投資など）に対する気候変動ナラティブが，顕著に上昇している. これは，将来の環境規制の強化（移行 リスクの高まり）を見据えた企業の認識・行動変化 が始まっていることを示唆している。一方，現時点 では，気候変動と業績パフォーマンスに関する気候変動ナラティブは相対的に小さいが，長期的には，移行リスクへの対応状況が, 企業業績や株価に影響 する可能性を念頭に置く必要がある. また，気候変動政策と市場の気候変動ナラティブに連関がみられ 始めている. 近年の ESG 投資拡大や金融機関の気候変動対応の進捗を捉えていると考えられる。

（3）２018 年以降は，気候変動と金融政策・物価・景況感の間の気候変動ナラティブに連関が出現して いる. 国際的な気候変動政策の進捗や，産業横断的 な気候変動対応が，マクロ経済・物価の変動を引き 起こす新たなチャネルになりつつある可能性があ ると推測することができる．また，気候変動の経済 ファイナンス研究の必要性や, 中央銀行の政策対応 の可能性を議論する動きが話題となり, 関連報道の 増加を示していると考えられる。

（4 ）近年，自然災害の激甚化や頻度増加に関連す る気候変動ナラティブが強まってきている. 自然災害が，経済活動に与える悪影響が認識され，企業経営や規制当局にとっての新たな論点・課題として受 け止められている可能性を示している。同時に，将来，自然災害が激甚化する可能性（物理的リスク） を緩和するための環境規制強化やグリーンエネル ギー政策を推進する動きを映じているとみられる。

## 5 おわりに

本稿では，BERT と因果抽出を用いた気候変動ナ ラティブの抽出，指数化，可視化を行う手法を提案した. 具体的には，「現在のニュースが，過去の ニュースからどの程度影響を受けているか」を定量化し，気候変動ナラティブを指数化する手法を示し た. さらに，主要な気候変動ナラティブをネット ワーク関連図として可視化した. 気候変動ナラティ ブは，気候変動に関する議論が進捗し，環境規制が 具体化される中，企業などの認識・行動変化が始 まっていることを示唆している. また，気候変動と マクロ経済・市場・金融政策との間に連関が出現し ており，気候変動が金融経済に影響を与えている可能性が示唆された。

今後の課題として, 気候変動ナラティブが統計的因果を有するか（グレンジャー因果，構造的因果な ど），金融経済データの実証研究を通じて，気候変動ナラティブ指数に含まれる情報を評価することが 考えられる．また，気候変動以外の金融経済トピッ ク (物価, 景気変動など）の経済ナラティブを作成 し, 有益な示唆が得られるかも検討していきたい.

## 謝辞

本研究は，JSPS 科研費（JP21K12010）と，JST さ

きがけ（JPMJPR2267）の支援を受けたものです.

## 参考文献

[1] Robert F Engle, Stefano Giglio, Bryan Kelly, Heebum Lee, and Johannes Stroebel. Hedging climate change news. The Review of Financial Studies, Vol. 33, No. 3, pp. 11841216, 2020

[2] Kaneda Noriyasu, Kimata Tomonori, Hiraki Kazuhiro, and Matsue Tomohiro. Climate change news indices: Are they reflected in japanese stock prices? IMES Discussion Paper Series, 2023(forthcoming).

[3] Fueki Takuji, Shinohara Takeshi, and Shintani Mototsugu. Climate-change risks and the transmission of monetary policy. the 2022 Annual Meeting of the Central Bank Research Association, 2022.

[4] Julia Anna Bingler, Mathias Kraus, Markus Leippold, and Nicolas Webersinke. Cheap talk and cherry-picking: What climatebert has to say on corporate climate risk disclosures. Finance Research Letters, Vol. 47, p. 102776, 2022.

[5] Julian F Kölbel, Markus Leippold, Jordy Rillaerts, and Qian Wang. Ask bert: How regulatory disclosure of transition and physical climate risks affects the cds term structure. Swiss Finance Institute Research Paper, No. 21-19, 2020.

[6] Robert J. Shiller. Narrative Economics: How Stories Go Viral \& Drive Major Economic Events. Princeton: Princeton University Press, 2019.

[7] Hiroki Sakaji, Satoshi Sekine, and Shigeru Masuyama. Extracting causal knowledge using clue phrases and syntactic patterns. In International Conference on Practical Aspects of Knowledge Management, pp. 111-122. Springer, 2008.

## A 参考情報

本研究の手法は，任意の異なる 2 トピックを選択し，月次の気候変動ナラティブ指数を算出することができる．今回 は，日本経済新聞記事，分類タグから経済，政治，政策，企業，国際，市場に関連する40トピックを選び，全ての組み 合わせを計算した（原因と結果の順序を考慮，40トピック× 39 トピック= 1560 通り). 様々なトピック間の気候変動ナ ラティブ指数が総じて大きな上昇を示している 2018 年から 2021 年までの期間に注目する。気候変動ナラティブ指数の 水準が大きく高まっている組み合わせ（気候変動ニュースにおいて，原因トピック＝結果トピックのつながりが強まっ ている組み合わせ）は，主に国際会議，国内政策，企業関連，金融政策・マクロ経済といったカテゴリーに関連している ことが分かった. 図 6 は，各カテゴリーのネットワーク関連図を示しており，カテゴリー間を繋いでいる矢印の大きさ は，気候変動ナラティブ指数の強さに概ね対応している. 矢印内の数値は，各カテゴリーに属する各トピックの指数を 集約し，算出した平均值である。近年，顕著になっている気候変動ナラティブの特徴は，以下の通りである。

（1）気候変動政策に関する国際議論から環境政策・エネルギー政策に関する国内政策へのつながり，及び，国内政策 から国際議論へのフィードバックがみられる。気候変動対応が進捗するにつれて，国内政策の具体化や強化が行われた， または，国内政策議論が国際会議において検討される動きを映じているとみられる.

原因：国際会議（グローバル） $\Rightarrow$ 結果：国内環境規制・エネルギー政策（マクロ）

原因：国内環境規制・エネルギー政策（マクロ）７結果：国際会議（グローバル）<フィードバック>

（2）気候変動政策に関する国際議論や国内政策から一部の企業関連トピックへのつながりが強まっている．国内の環境政策・エネルギー政策の強化を受け，設備投資や事業戦略などの企業行動の変化が起きており，経営課題として取り込 む動きが始まっている可能性を示唆している．ただし現時点では，気候変動と業績パフォーマンス (業績，財務，賃金な ど) との関連は相対的に小さいことも分かった.

原因：国内環境規制・エネルギー政策（マクロ）７結果：企業の事業戦略，設備投資，サプライチェーン（ミクロ）原因：国内環境規制・エネルギー政策（マクロ） $\Rightarrow$ 結果：企業収益・財務，市場（ミクロ）

（3）国内外の気候変動政策対応や議論と金融政策・物価・景況感の連関が出現している．気候変動が金融・経済・物価に与える影響に関する議論や気候変動に関する調査研究の増加，金融政策による政策対応の可能性や対応策の検討を 反映している可能性が示唆される.

原因：国際会議（グローバル），国内環境規制・エネルギー政策（マクロ） $\Rightarrow$ 結果 : 金融政策，物価，景況感原因 : 金融政策，物価，景況感 $\Rightarrow$ 結果 : 国際会議（グローバル），国内環境規制・エネルギー政策（マクロ）

図 6 気候変動ナラティブの全体像 (2018-2021 年)


# 比較文の意味解析のための「深い」係り受け関係の解析

窪田悠介 ${ }^{1}$ 林則序 ${ }^{2}$ 天本貴之 ${ }^{3}$ 峯島宏次 ${ }^{3}$
1 国立国語研究所 2 東京大学 3 慶應義塾大学
kubota@ninjal.ac.jp hayashi-lin@g.ecc.u-tokyo.ac.jp
amamoto@keio.jp minesima@abelard.flet.keio.ac.jp

## 概要

言語学的に複雑な現象に関する意味解析を行うた めの方法として、「深い係り受け」という概念を提案 し、その有効性を検証したパイロット研究の結果を 報告する。「深い係り受け」とは、一言で言って抽象的な意味関係に関わる情報であり、理論言語学で は統語変換などの複雑な操作によって規定される。 このような情報を、深層学習などの最近の機械学習 の手法でどの程度正確に解析できるかを検証した 研究は未だ存在しない。本研究では、日本語比較文 の分析に関わる「深い係り受け」情報の判定器とし て、深層学習モデルと (言語学的知識に基づく) 規則 ベースモデルの二種を実装し、その比較を行った。

## 1 はじめに

深層学習の手法や大規模言語モデルが手軽に利用可能になったことで、自然言語処理 (NLP) 技術を援用して言語理論の問題に取り組む研究が活発化して いる。しかしながら現在までの研究は、既存の NLP 技術で解ける形に言語理論の問題を規定し直す形の ものが多い。このため、「統語変換の概念を実装し た頑健なパーザは構築可能か？」といった、理論言語学側の核心的問題を立脚点とした研究は、一部の 先駆的試み [1] 除いて端緒にすらついていない。

本研究では、理論言語学研究に動機づけられた概念として、「深い係り受け」という概念を提案する。統語解析から意味解析へのパイプラインの途中に深 い係り受けの解析レイヤを組み込むことで、複雑な 意味解析を機械に実装可能な形で行うための見通し が立つ。具体的には、深い係り受けの解析自体が、多くの場合、既存の機械学習の手法を援用すること で比較的容易に高精度で可能であり、また、句構造解析や含意関係認識などの、この解析レイヤの上下 に接合する他のコンポーネントに関しても既存の高精度な解析器がそのまま利用可能となる。本論文で
は、このような設計の意味解析システムのプロトタ イプとして構築した、日本語の比較文の意味解析の ための深い係り受けの解析器を報告する。

## 2 理論的前提

比較文の意味を正確に解析することは、自然言語 の意味論における重要な課題である $[2,3]$ 。また、比較文は (1) に見られるような含意関係をもたらす 言語表現であるため、NLP の含意関係認識において も重要な課題の一つである $[4]$ 。

(1) P1: 太郎は次郎より背が高い。 P2: 次郎は三郎より背が高い。 $\mathrm{C}$ : 太郎は三郎より背が高い。

比較文の意味解析には、表面的な係り受け関係だけ でなく、以下三種類の情報の判定が必要となる [5]。

（2） a. 何と何が比較されているか

b. 比較の尺度 (スケール) は何か

c. 差分がいくらか

以下、便宜的にこの情報を「深い係り受け」と呼ぶ。理論言語学では、比較文を (3) に示す「寄生ス コープ (parasitic scope)」[6] という複雑な統語変換操作で分析する方法が提案されている $[7,8]$ 。

(3)

(3) の分析図は一見複雑に見えるが、実際には、既存の句構造解析器の出力と ( $2 \mathrm{a}-\mathrm{c})$ に示した深い係り 受けの情報があれば、単純な構文木の変換により一意に復元可能である。つまり「寄生スコープ」とは、深い係り受けと浅い係り受けをどう組み合わせれば 文の意味が得られるか、ということに関する母語話者の直観的知識を言語学者が明示的に規則化したも のにほかならない。この手法により、比較文のよう な複雑な意味現象に関して、比較的単純な方法で高階論理の正確な意味表示を導くことが可能となる。

具体的には、(4)の文に関しては、(2a-c)の情報が あれば、単純な構文木の変換により、それぞれ (5) の論理式を得ることができる (4) で用いたラベルに ついては 3.1 節を参照)。

(4) a. 太郎は花子より prej ポチ cont が 好きだdeg。

b. 警察官cont の初任給は 他の公務員よりprej 少しdiff 高いdeg。

(5)
a. $\max d[$ 好き(花子) $($ 太郎 $)(d)]$ $>\boldsymbol{\operatorname { m a x }} d[$ 好き(ポチ) $($ 太郎 $)(d)]$
b. $\boldsymbol{\operatorname { m a x }} d[$ 多い(初任給(警察官))(d)] $>\boldsymbol{\operatorname { m a x }} d[$ 多い(初任給(他(公務員)))(d)]

文法理論に基づく高階論理解析器 ccg2lambda [9] などで採用されている既存の CCG 構文解析器をそ のまま用いて、(3) の分析図や対応する (5) の高階論理式を得る方法は自明ではない。寄生スコープは、比較文だけでなく、(「同じ/別の」「それぞれ」「平均 して」「合計で」などの）複数名詞句や等位構造と連動して複雑な意味解釈をもたらす一連の言語表現の 分析にも有効であることが知られている [10]。従っ て、寄生スコープ分析に基づく自動解析の方法を模索することは、理論言語学研究への NLP 技術の援用のための道筋をつける目的のみならず、NLP の推論タスクなどへの理論言語学的知見の活用のために も一定の意味があると考えられる。

## 3 深い係り受けの判定器の比較

寄生スコープ分析に基づく比較文の自動解析器を 作り、それを用いてコーパスなどに現れる任意の文 を解析するためには、以下の二つの情報の両方を正確に推定することが必要となる。
- 浅い係り受け: 表面的な依存関係/句構造
- 深い係り受け: (2) の比較文の意味に関わる情報
この二つのうち、浅い係り受けに関しては既存の 句構造文法 (HARUNIWA2 [11] など) や CCG の解析器 (depccg [12] など) を用いることができる。

深い係り受けは (6) の特徴を持つ情報である。

（6） a. 抽象的な意味関係に関わる情報である

b. 部分的に文法的マーキングで表示される

深い係り受けの推定は、(6a) の特徴のため本質的 に困難なタスクだが、(6b) の特徴を持つことから、形態・統語的特徴や意味的類似度などの情報によ り、ある程度の精度で推定できることが予想され る。このため、言語学的知見と NLP 的手法を組み 合わせたアプローチが特に有効と考えられる。し かしながら、我々の知る限り、深い係り受けの推定 （や類似タスク）に関して、異なる特徴を持つ複数 の手法を比較し、それらの性能や利点・欠点を具体的に検討したした研究はいまだ存在しない。

本研究では、深い係り受けの推定に関して、言語学的知見に基づいて規則を手で書いた規則べースの 判定器を用いる手法と、アノテーション・データを 用いた深層学習のラベル認識タスクとして解く手法 を構築し、両者の解析結果を比較した。以下、タス クの定義と、それぞれの判定器の詳細を記述する1)。

## 3.1 タスクの定義

2 つのモデルにおけるトークン化の相違や、係り 受け関係の利用可能性の相違があるため、タスクは 文字列の区間に対するラベル付けタスクとして定義 する。具体的には、日本語の文である任意の文字列 に対し、正解データにおいて付与されているラベル と判定器が予測したラベルの一致率を計算する。

(7) ラベルの種類 prej: 比較句 (例:「花子より」) cont: 比較句と対になる句 (例:「ポチが」) diff: 差分表現 (例: 「少し」「3cm」) deg: 程度述語 （例:「好きだ」「背が高い」）

(8) 正解データの例妻が仕事に精出す一方、[赤沼は] cont [それよ り]prej [もっと]diff [忙しい] deg 。 (BCCWJ LB19_00238, 5950)

1）ソースコードおよびモデルについての情報は https://github.com/ABCTreebank/comparative-nerutils/releases/tag/NLP2023 にて公開中である。

## 3.2 規則ベースの判定器

既存の一般的な言語処理ツール（形態素解析、依存構造解析）を使用して規則べースの判定器を実装 した。まず、入力文を GiNZA [13] によって形態素解析し、依存構造解析を行う。この依存構造は日本語 Universal Dependencies (UD) [14] に基づくもので あり、例えば、(4b) の例には付録図 1 に示したよう な出力（依存構造木）が得られる。

これを用いて、次の順序で特定の条件を満たす構成素に素性を割り振る。構成素の意味的な類似性に ついては、GiNZA が提供する単語埋め込みによるコ サイン類似度を利用した。

1. prej: 依存構造木から「 $\mathrm{N}$ より」「 $\mathrm{N}\{$ と・に $\}$ 比 べ」における名詞 $\mathrm{N}$ を特定し、それを主要部と する部分木を prej とする。(4b) では「公務員」 がNであり、「他の公務員より」が prej となる。

2. deg: $\mathrm{N}$ の親（「高い」）を deg とする。

3. diff: deg の子に副詞（「少し」）があれば、それ を diffとする。

4. cont: 「Xの方」という句がある場合は、 $\mathrm{X}$ を主要部とする部分木を cont とする。「X の方」が ない場合は、prej、deg、diff に含まれていない 要素の中で、 $\mathrm{N}$ ともっとも類似度が高い要素を $\mathrm{X}$ とする。その上で、 $\mathrm{X}$ が名詞であれば、 $\mathrm{X}$ を 主要部とする部分木を cont とし、Xが名詞でな い場合、cont は空とする。(4b) の場合、「警察官」が cont となる。

## 3.3 機械学習に基づく判定器

学習データ BCCWJ [15]から、「より」と「\{と・ に＼$比べ」を含む文で、比較構文に該当する可能性 }$ があるものを 3,460 文抽出した。付録表 1 に内訳を 示したとおり、これらの文は、複文 (連用節、連体節)をなすものを含み、また、比較文でないデータ も含んでいるため、3.1 節で定義した深い係り受け 判定のタスクは一定の複雑さをもつものであると 考えられる。これらの文に対して、アノテーション を上の (8) に示したブラケット形式で、手動で施し た。アノテーションデータのうち、評価用に 350 文 （全体のおよそ 10\%）をランダムに選出し、残りの 3,110 文を学習に用いた。

モデル BERT モデル [16] ${ }^{2)}$ の上に、トークンを

2）日本語 BERT モデルは https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking を用いた。分類する線形ニューラルネットワークを加えたも のをモデルとした。これは、固有表現抽出（Named Entity Recognition, NER）と同じモデルの構成であ る。単語埋め込みベクトルの次元数は 768、入力長 を 256 に設定した。分類ラベルは、空ラベル（O） および (7) に示したラベル (prej, cont, diff, deg) の 5 つで構成した。

モデルの学習上記学習データを用いて学習を 行った。学習時のエポック数は 27 、ミニバッチサイ ズは 16、学習率は $5.0 \times 10^{-5}$ とした。

## 4 結果・考察

## 4.1 評価方法

評価用 350 文について、規則べースモデルと機械学習モデルの 2 種類で予測をし、正解データと照合 した。予測された素性のスパンと正解データのスパ ン同士の可能なマッチングパターンを網羅し、個々 のマッチングペアに、下記の判定に自然に沿うよう なコスト付けを行い、最小コストのマッチングを、線形割当問題ソルバー3)を用いて算出した。マッチ ングペアの判定は次の 4 種類からなる：
- CORRECT（完全一致）
- SPURIOUS（余分な予測）
- MISSING（正解スパンの予測の失敗）

・WRONG_SPAN（スパンが重なるが不一致）

結果の集計のために、MUC-5 評価メトリクス [17] のうち、再現率・精度メトリクス (recall-precision metrics）を用いた。メトリクスには strict と partial の 2 種類を設け、strict における正解は CORRECT のみ、 partial における正解は CORRECT+0.5WRONG_SPAN とした ${ }^{4)}$ 。評価結果は付録表 2 および表 3 の通り。

## 4.2 モデル間の比較

全般的に機械学習モデルのほうがスコアが高い が、素性ごとに 2 つのモデルの差が大きく異なる。 prej はどちらのモデルも F 1 值が 80 以上になった。 prej 「より」「\{と・に\}比べ」を手がかりとして特定できる。機械学習モデルはこの点の学習に成功し ている。一方、規則ベースモデルでは、再現率は機械学習モデルを超えるが、精度が (strict、partial どち

3） scipy.optimize.linear_sum_assignmentを使用した。

4）[18]の partial boundary matching と違い、素性が不一致で範囲が一致するスパンのペアは正解として扱わない。一般的な 固有名認識と違い、我々にとっては素性の不一致は重大な間違いだからである。

らの基準でも) 機械学習モデルに比べ 10 ポイント以上落ちている。その主な原因は、参照している形態素解析、依存構造解析の品詞情報が比較のヨリと起点のヨリ（例：「ロンドンより最近到着した」）を区別していないことにある。起点のヨリに関する過剩 な予測を除外すると、精度 (strict) は素性の単純平均 で 13.1 ポイント上昇する5)。

$\operatorname{deg}$ に関して規則ベースモデルの再現率が機械学習モデルに対して劣る主な要因としては、ヨリ句 と deg の間に他の述語が介在している場合に典型的 に見られる解析エラーが挙げられる（例：「[中央区 に比べ]prej、西区のはずれに位置する平和は空気が [澄ん] deg でいる ${ }^{6}$ )」で「位置（する）」を $\operatorname{deg}$ と予測 する) $)^{7)}$ 。規則べースモデルの diff に関するエラーの 要因としては、prej と同様、品詞情報の不足により、差分表現を特定することが難しい点が挙げられる。 また、規則べースモデルは、 3.2 節で述べたように prej から順に素性を判定するため、上述の prej 誤判定が他の素性の誤判定（精度の低下）の一因になっ ている。これらの点はすべて、規則ベースの手法の 古典的な問題の一種である。本研究が対象とする、一見単純な言語学的知識で解けそうなタスクでも、 アノテーション・データを用いた機械学習が、タス クに特化した教師データなしの規則べースの手法と 比べて実データに対して明らかに頑健であることを 示しており興味深い。

一方で、構造を明示的に参照していないせいで機械学習モデルが判定に失敗している例もある。たと えば、付録 (9a) では cont はブラケットで囲った名詞節全体だが、モデルは名詞節内の非連続な区間を cont と予測する。また、(9b) の「黒人」は従属節の 主語であり、比較構文をなす主節の要素ですらな いが、誤って主節述語に対する cont と予測されて いる。

## 4.3 素性ごとの比較

4 つの素性のうち、判定が最も困難で、かつ意味解析にとって重要なものは、統語的・形態的な手が かりが乏しい cont である。これに関しては、2つの

モデル双方で、予想通り 4 つの素性の中で F1 が最 も低くなった。この主な要因としては、次の 3 つが ある（具体的な例文は付録 (10) を参照）。

意味的類似度の過剩重視 (10a) で比較の対象は 時点だが、言語表現として明示されないので、「cont なし」が正解である。しかし、prej 内の国名「フラ ンス」につられて、「ベトナム民主共和国 (大統領)」 が cont と予測される。(機械学習・規則ベース両方) cont が名詞句の一部であるケース (10b) におい ては、比較の正しい対比は「コウヤマキ cont」と 「他の五樹種 prej」だが、モデルは「コウヤマキ」を 含むより大きな名詞句「...の耐陰性 (...)」全体を cont と予測する。(規則べースのみ)

文脈情報の不足前文脈、および「おっとりした」 から、(10c) の正解は「娘よりも prej」/「花 cont」で あると判断できる。しかし、モデルは一般的に cont になりがちな主語名詞句「おっとりした母」を cont と予測する。（機械学習・規則ベース両方）

## 5 結論

「深い係り受け」の解析を実証的に検証するため、日本語比較文の意味解析を題材に、機械学習と規則 ベースの 2 つのモデルを構成し、性能を比較した。以下簡単に結論をまとめ、今後の方針を述べる。

まず、全般的に機械学習モデルのほうが性能が高 いが、いくつかの弱点に関しては、異なる種類の言語学的情報を明示的に参照することで性能の改善が 見込める。係り受け解析の参照など ( (9) 参照)、規則ベースモデルの要素を何らかの形で取り入れるの が有効と考えられる。また、cont の予測の改善のた めには、(10c) が示唆するように前文脈を考慮する 必要がある。文脈情報の利用で性能向上が見られる かを今後検討する。

「深い係り受け」の解析の先には、これを用い た意味解析が目標としてある。直近の課題は、 ccg2lambda などによる、論理式を介した含意関係判定器への接合である。人間の言語処理が、連結した 複数のコンポーネント間の制約の最適化問題として 規定できることはほぼ疑いの余地がない。深い係り 受けのレイヤを立てた意味解析パイプラインは、こ の設計の機械実装可能な近似と位置づけられる。将来的な課題は、定量的な性能検証が可能な自然言語 の意味処理に関するモデルとして、このような設計 の機械を構築することである。

## 謝辞

本研究は JSPS 科研費 21K00541、国立国語研究所共同研究プロジェクト「計算言語学的手法による 理論言語学の実証的な方法論の開拓」JST CREST JP-MJCR2114 の支援を受けたものである。研究の初期段階において助言を下さった吉川将司氏に感謝 する。

## 参考文献

[1] John Torr, Miloš Stanojević, Mark Steedman, and Shay B. Cohen. Wide-coverage neural A* parsing for Minimalist Grammars. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2486-2505, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Christopher Kennedy. Comparatives, semantics of. In Encyclopedia of Language and Linguistics, pp. 690-694. Elsevier, Oxford, 2 edition, 2005.

[3] 澤田治. 比較構文の語用論. 澤田治美（編）, ひつじ 意昧論講座 2: 構文と意味, pp. 133-155. 2012.

[4] Izumi Haruta, Koji Mineshima, and Daisuke Bekki. Combining event semantics and degree semantics for natural language inference. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1758-1764, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5] Omid Bakhshandeh and James Allen. Semantic framework for comparison structures in natural language. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 993-1002, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[6] Chris Barker. Parasitic scope. Linguistics and Philosophy, Vol. 30, No. 4, pp. 407-444, 2007.

[7] Christopher Kennedy. Modes of comparison. In Proceedings from the Annual Meeting of the Chicago Linguistic Society, Vol. 43, pp. 141-165, 2009.

[8] Ai Matsui and Yusuke Kubota. Comparatives and contrastiveness: Semantics and pragmatics of Japanese hoo comparatives. In Proceedings of Formal Approaches to Japanese Linguistics 5, pp. 126-139, Cambridge, MA, 2010. MITWPL

[9] Koji Mineshima, Ribeka Tanaka, Pascual MartínezGómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference system for a wide-coverage Japanese CCG parser. In Proceedings of EMNLP 2016, pp. 2236-2242, Austin, Texas, 2016. Association for Computational Linguistics.

[10] Yusuke Kubota and Robert Levine. Type-Logical Syntax. MIT Press, Cambridge, MA, 2020. Available Open Access at https://direct.mit.edu/books/book/4931/ Type-Logical-Syntax.

[11] Butler Alastair Horn, Stephen Wright and Kei Yoshimoto. Keyaki treebank segmentation and part-of-speech labelling. 言語処理学会第 23 回年次大会発表論文集, pp. 414-1148, 2017.

[12] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. In Proceedings of ACL 2017, pp. 277-287, 2017.

[13] 松田寛. Ginza - universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[14] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパ ス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[15] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[17] Nancy Chinchor and Beth Sundheim. MUC-5 evaluation metrics. In Fifth Message Understanding Conference (MUC-5): Proceedings of a Conference Held in Baltimore, Maryland, August 25-27, 1993, 1993.

[18] Isabel Segura-Bedmar, Paloma Martínez, and María Herrero-Zazo. SemEval-2013 task 9 : Extraction of drugdrug interactions from biomedical texts (DDIExtraction 2013). In Second Joint Conference on Lexical and Computational Semantics $(* S E M)$, Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 341-350, Atlanta, Georgia, USA, June 2013. Association for Computational Linguistics.

図 1: 依存構造木の例

表 1 : アノテーションデータの内訳

 &  & 再現率 & F1 &  & 再現率 & F1 \\

表 2: 機械学習モデルの結果

 &  & 再現率 & F1 &  & 再現率 & F1 \\

表 3: 規則ベースモデルの結果

(9)（機械学習モデルに特有の失敗、下線eont が誤った予測）

a. しかし [論理よりも経験よりも何よりも]prej [たいせつ] deg なことは、 [子がeent 親から信用されることeent]cont である。(BCCWJ LB11_00024,39960)

b. 黒人cont は出生率は増加しているが、[ニューヨークを去る人] cont が [移住してくる人よりも]prej [多い]deg。 (BCCWJ LB13_00134,8920)

(10) （cont の予測の失敗、下線e@ntが誤った予測）

## a. 意味的類似度の過剰重視

ベトナム民主共和国大統領eont が帰りついた祖国の情勢は、[フランスへ向った時よりも]prej [更 に]diff [悪化]deg していた。 (BCCWJ LBc2_00023, 22980)

## b. cont が名詞句の一部であるケース

このことは、[コウヤマキ] cont の耐陰性（少ない光に耐えて育つ能力）がeont、[他の五樹種にくら べて]prej、[いちじるしく]diff [高い]degことを示している。(BCCWJ LBk6_00008, 23250)

## c. 文脈情報の不足

おっとりした母はeont [娘よりも] prej[花に]cont [関心]deg がむいている。(BCCWJ LBh0_00004, 74220)