# 子育て支援 QA サイトにおける潜在嗜好変化の時系列推定

住谷祐太 ${ }^{1}$ 富川雄斗 ${ }^{2}$ 伊藤尚紀 ${ }^{2}$ 高橋里司 ${ }^{3}$
1 電気通信大学大学院 情報理工学研究科 情報学専攻 2 電気通信大学 情報理工学域 I 類
3 電気通信大学大学院情報理工学研究科情報・ネットワーク工学専攻
\{sumiya, tomikawa,ito, stakahashi\}@uec.ac.jp

## 概要

ソーシャルメディアを活用した子育て情報の収集が盛んになっている．特に子育てに関する QAコ ミュニティでは，子育て中の母親が質問を気軽に投稿できるため，投稿されるテキストには一般的な情報だけでなく，ユーザが抱える悩みや嗜好が含まれ ていることが多い. それらの特徴量を把握すること はソーシャルメディアマーケティングにおいて重要 な技術課題となる. そこで本研究では，ユーザの潜在嗜好を捉えるための新しいトピックモデルを提案 する. 提案手法では，ユーザの年齢区分や子供の月齢などの補助情報の活用や，嗜好の時間依存性を考慮する．実験では令和 3 年度データ解析コンペティ ションでコネヒト株式会社から提供されたママリの データを使用し，手法の有効性を検証する。

## 1 はじめに

子育て情報の収集・共有を行う QAコミュニティ の一つに，コネヒト株式会社が提供するママリが存在する．ママリでは匿名性を利用して知人には相談 できないような悩みを質問できるため，投稿される 質問はユーザの潜在嗜好を把握する上で有益な情報 だと言える. 子育て特有の事情として，ユーザの嗜好は属性や子供の月齢，時間によって異なると考え られ，従来のユーザ全体を解析の対象とした場合で は十分に嗜好を把握できない問題がある。

関連研究として，ユーザの質問文から潜在嗜好を 推定する手法にトピックモデルが存在し, 自然言語 の潜在的意味解析に広く用いられている. 特に Blei et al. [1] が提案した LDA (Latent Dirichlet Allocation) は，一つの文書に複数の潜在トピックが存在すると 仮定し，そのトピックの分布を離散分布としてモデ ル化する代表的な潜在変数モデルである.

一方で新生児の母親が主なユーザである QAコ ミュニティ上での質問は，文書となる質問文以外に質問者の年齢や居住地域，そして事前に付与される 質問カテゴリタグなどが付与され，それに応じて質問の意図が大きく異なると想定される。また子供を 育てるユーザの場合，月齢に応じて質問内容が変化 していくことも考慮する必要がある．本研究では， ユーザの潜在嗜好を捉えるためにこれらの補助情報 を利用した新しいトピックモデルを提案する.

## 2 提案手法

しいトピックモデルとして，SCTTM (Supervised Correspondence Topic Tracking Model) を提案する. SCTTM では，LDA に対して三つの拡張を行う．は じめに，最初の質問時における子供の月齢を考慮す るようにトピックを学習させるため，連続変数を考慮したトピックを推定できる sLDA [2] を組み込む. SLDA は，学習過程のトピックを説明変数にとり， それらで月齢を線形回帰したときの当てはまりが良 くなるようにトピックと偏回帰係数を逐次的に学習 する.

次に，離散値ラベルの補助情報も考慮してトピッ クを学習させるため, Corr-LDA [3] を取り入れる. Corr-LDA を取り入れることにより，各トピックの 単語分布の推定と同様に，補助情報の分布も推定す る.ここで補助情報の生成に用いられるトピック は，必ず単語を生成したトピックとなるようにモデ ル化するため, 単語と補助情報の対応関係を適切に 学習することができる.

最後に，ユーザの嗜好変化を考慮するための手法 として，TTM [4] を用いたパラメータ推定を行う. TTM は時間情報が付けられた文書集合から，時間変化するトピックを推定する手法であるため，質問文からユーザ個人の潜在嗜好と時間発展を適切に追跡することができる. また TTM はオンライン学習 が可能な点から，日々蓄積されるユーザの質問デー タを効率的に学習できる利点がある. 本研究では,
最初の時刻 $t=1$ で月齢と補助情報に沿ったトピッ クを学習した後, 時刻 $t>1$ 以降はそれらのトピッ クが時間依存して変化するように学習させる.

## 2.1 トピックの生成

全ユーザ数を $U$ ，総時刻を $T$, 全ユーザで観測さ れる総単語の種類を $V$ ，トピック数を $K$ として，あ る時刻 $t$ においてあるユーザ $u$ が生成した文書の単語の組を $\boldsymbol{w}_{t u}=\left(w_{t u 1}, \cdots, w_{t u N_{t u}}\right)$ と表記する. ここ で $N_{t u}$ は時刻 $t$ においてユーザ $u$ が生成した文書に 含まれる単語数である。

トピックモデルでは，ユーザ毎にトピック分布 $\boldsymbol{\theta}_{t u}=\left(\theta_{t u 1}, \cdots, \theta_{t u K}\right)^{\top} \in \mathbb{R}^{K}$ が与えられ, 各要素 $\theta_{t u k}$ は時刻 $t$ でユーザ $u$ の単語にトピック $k$ が 割り当てられる確率を表す. すなわち $\theta_{t u k} \geq 0$, $\sum_{k} \theta_{t u k}=1$ を満たす. 各トピック $k$ には固有の単語分布 $\boldsymbol{\phi}_{t k}=\left(\phi_{t k 1}, \cdots, \phi_{t k V}\right)^{\top} \in \mathbb{R}^{V}$ が存在し, 各要素 $\phi_{t k v}$ は時刻 $t$ のトピック $k$ で単語 $v$ が生成される確率を表す.ここで $\phi_{t k v} \geq 0, \Sigma_{v} \phi_{t k v}=1$ を満たす。

生成過程における各単語 $w_{\text {tun }}$ は, トピック分布 $\boldsymbol{\theta}_{t u}$ にしたがってトピック $z_{t u n}\left(n=1, \cdots, N_{t u}\right)$ が割 り当てられ, その単語分布 $\boldsymbol{\phi}_{t z_{t u n}}$ にしたがって生成 されると仮定する。

## 2.2 トピックの推定

はじめに，ユーザが投稿した質問単語ごとにト ピックをサンプリングする. 本研究では崩壊型ギ ブスサンプリング [6]を用いて，トピック分布，単語分布，補助情報分布のパラメータを周辺化した 周辺同時分布により単語トピックのサンプリング 確率を求める. 時刻 $t=1$ において, ユーザ $u$ の単語 $n$ に割り当てられるトピック $z_{\text {tun }}$ が $k$ となる確率は, 周辺同時分布にベイズの定理を適用するこ とで式 (1)のように求めることができる. 式中の $\backslash t u n$ は, 時刻 $t$ でユーザ $u$ の単語 $n$ に割り当てら れるトピックを除くことを意味する。また $N_{t k n}$ は 時刻 $t$ においてトピック $k$ に単語 $n$ が割り当てら れた個数， $N_{t k}$ はその単語毎の総和を表し, $N_{t u k}$, $M_{t u k}^{i}$ はそれぞれ時刻 $t$ でユーザ $u$ に割り当てられ た単語トピック, 補助情報 $i$ のトピック $k$ の個数 を表す. さらに時刻 $t=1$ では, ユーザ $u$ が持つ連続変数 $y_{u}$ がガウス分布 $\mathcal{N}\left(\boldsymbol{\eta}^{\top} \widetilde{z}_{t u}, \sigma^{2}\right)$ に従い生成さ れると仮定する， $\boldsymbol{\eta} \in \mathbb{R}^{K}$ は線形回帰パラメータ, $\widetilde{z}_{t u}=\left(\frac{N_{t u 1}}{N_{t u}}, \cdots, \frac{N_{t u K}}{N_{t u}}\right)^{\top} \in \mathbb{R}^{K}$ は時刻 $t=1$ における ユーザ $u$ のトピック割合, $\sigma^{2}$ は分散パラメータを表す。

$
\begin{aligned}
& p\left(z_{t u n}=k \mid \mathrm{Z}_{\backslash t u n}, \mathrm{~W}_{t}, \boldsymbol{\alpha}, \beta, \boldsymbol{\eta}, \sigma^{2}\right) \\
& \propto\left(N_{t u k \backslash t u n}+\alpha_{k}\right) \frac{N_{t k w_{t u n} \backslash t u n}+\beta}{N_{t k \backslash t u n}+\beta V} \\
& \times\left(\frac{N_{t u k \backslash t u n}+1}{N_{t u k \backslash t u n}}\right)^{\sum_{i} M_{t u k}^{i}} \\
& \times \exp \left.\{\frac{\eta_{k}}{N_{t u} \sigma^{2}}\left(y_{u}-\boldsymbol{\eta}^{\top} \widetilde{\boldsymbol{z}}_{\backslash t u n}-\frac{\eta_{k}}{2 N_{t u}}\right)\right.\} .
\end{aligned}
$

$\alpha \in \mathbb{R}^{K}, \beta$ はディリクレ分布のパラメータである.便宜上， $\boldsymbol{\theta}_{t u}, \boldsymbol{\phi}_{t k}$ を行列表現したものを $\boldsymbol{\Theta}_{t}, \boldsymbol{\Phi}_{t}$ と 表し， $\boldsymbol{w}_{t u} ， z_{t u}$ をそれぞれ要素毎にまとめた集合を $\mathrm{W}_{t}, \mathrm{Z}_{t}$ と表す. なお式 (1)で条件付き独立となる項 およびその変数については省略している。

時刻 $t>1$ でも同様にトピックのサンプリング 確率を式 (2)のように求めることができる. 式中の $\hat{\boldsymbol{\Theta}}_{t-1}, \hat{\mathbf{\Phi}}_{t-1}$ はそれぞれ $\boldsymbol{\Theta}_{t-1}, \boldsymbol{\Phi}_{t-1}$ の推定値である.

$
\begin{aligned}
& p\left(z_{t u n}=k \mid \mathrm{Z}_{\backslash t u n}, \mathrm{~W}_{t}, \boldsymbol{\alpha}_{t}, \boldsymbol{\beta}_{t}, \hat{\boldsymbol{\Theta}}_{t-1}, \hat{\boldsymbol{\Phi}}_{t-1}\right) \\
& \propto\left(N_{t u k}+\alpha_{t u} \hat{\theta}_{t-1, u k}\right) \\
& \times \frac{N_{t k w_{t u n} \backslash t u n}+\beta_{t k} \hat{\phi}_{t-1, k w_{t u n}}}{N_{t k \backslash t u n}+\beta_{t k}} \\
& \times\left(\frac{N_{t u k \backslash t u n}+1}{N_{t u k \backslash t u n}}\right)^{\sum_{i} M_{t u k}^{i}} .
\end{aligned}
$

$\alpha_{t} \in \mathbb{R}^{U}, \beta_{t} \in \mathbb{R}^{K}$ はディリクレ分布のパラメータを 表し，それ以外に条件付き独立となる項およびその 変数については省略している.

## 3 評価実験

提案手法について実データを用いた検証を行う.検証では子供の月齢を登録している質問数が 5 回， 10 回，20 回のユーザをそれぞれ 250 人ずつ無作為 に抽出し，計 750 人のユーザを用いる．各ユーザが 投稿した質問単語を 9:1 の比率で訓練単語とテスト 単語に分割し，トピック数 $K$ を 5 から 20 まで 5 刻 みに増やした時の各々について, 月齢予測に必要な パラメータとトピック分布 $\boldsymbol{\Theta}_{t}$, 単語分布 $\boldsymbol{\Phi}_{t}$ を学習 する。また，[5]では, Perplexity [1] を用いた最適な トピック数 $K=25$ を求めて，実験を行なっている.

## 3.1 月齢の予測精度の有効性

最初の質問時 $(t=1)$ における, 各ユーザの子供の 月齢をSCTTM による逐次的な線形回帰で予測し， その精度を検証する. モデルはユーザを訓練用とテ スト用に 8:2 で分けて，各トピック数毎に MSEを 用いて 5 分割交差検証で評価し, 表 1 の結果を得
表 1 子供の月齢の予測結果：訓練，テストはそれぞれのデータでの MSE 值を表す.

表 2 平均 Top- $N$-accuracy(\%) による質問単語の予測結果

た. 本研究では月齢予測が有効であることを示すた めに，実験において月齢を考慮しない通常の LDA， RandomForest [7], LightGBM [8] の三つのモデルと比較している。この結果から，訓練ユーザに関して は，LightGBM や RandamForest の MSE の精度が向上しているが，これは過学習を起こしているためで あると考えられる。一方で，テストユーザに関して は SCTTM が他の手法に比べて MSE の精度が向上 していることが確認できる.

## 3.2 質問単語の時系列推定の有効性

各時刻で質問される単語の推定精度を複数のモ デルと比較しながら評価する．比較するモデルは， LDA，TTM，TTM に月齢以外の補助情報を加えた CTTM，提案手法の SCTTM の四つである. 評価指標には次式で定義される Top- $N$-accuracy を採用
する。

$
P\left(w_{t u}=v \mid \hat{\boldsymbol{\Theta}}_{t-1}, \hat{\mathbf{\Phi}}_{t-1}\right)=\sum_{k=1}^{K} \hat{\theta}_{t-1, u k} \hat{\phi}_{t-1, k v}
$

式 (3) は，現時刻 $t$ で観測された単語 $v$ をテスト単語とし，その生成確率を一つ前の時刻 $t-1$ の単語集合から推定されたトピック分布 $\hat{\boldsymbol{\Theta}}_{t-1}$ と単語分布 $\hat{\boldsymbol{\Phi}}_{t-1}$ で予測する. 出力として, 単語 $v$ の生成確率 が上位 $N$ 件に含まれる割合を返す。この值が高い ほど，精度良く単語を予測できていることを意味す る. Top- $N$-accuracy を使い，質問回数が 5 回， 10 回， 20 回のユーザそれぞれについて $N=1,2,3$ 件での平均を，トピック数を変えながら評価した結果を表 2 に示す. この結果から，時間依存性と補助情報，連続変数の月齢を考慮した SCTTM が他のモデルに比 べて高い精度を示していることが確認できる。

## 4 おわりに

ユーザ毎に時間発展して観測される文書と，それ らに対応する補助情報が観測される QA サイトにお けるソーシャルメディアマーケティングにおいて， ユーザの潜在嗜好を推定することは，広告推薦や新 たなユーザコネクションの推薦において重要な技術課題である。本研究では，この技術課題を解決する 新しいトピックモデルである SCTTM を提案した.実験では令和 3 年度データ解析コンペティションに おいてコネヒト株式会社のママリのデータを使い，月齢や補助情報を考慮しつつ，ユーザ毎に時間発展 する嗜好変化を正しく推定できることを示した. ま た，抽出するトピック数を変化させた場合，少ない トピック数に対して時系列推定の精度は良いが，月齢予測の精度が悪いことを確認し，トレードオフの 関係にあることを確認した。両者のバランスがよい トピック数として，20が妥当であることを確認し， [5] での結果と比較すると Perplexy によってトピッ ク数を決定することが最適とは限らないことが分 かった。

本研究で提案した SCTTM は時間発展を考慮でき る他のソーシャルメディアの文書データに対して も適用可能であり，汎用性の高いモデルであると言 える。

## 謝辞

新生児・乳幼児の母親をメインユーザとするポー タルアプリのデータを提供いただいた，コネヒト株式会社様およびデータ解析コンペティション運営の 方々に感謝申し上げます. また，DB サーバの提供 やコンペティション参加の支援をしていただいた電気通信大学情報工学工房および，学術技師の島崎様 に感謝申し上げます。

## 参考文献

[1] D. M. Blei, A. Y. Ng and M. I. Jordan, "Latent dirichlet allocation," Journal of Machine Learning Research, 3, pp. 993-1022, 2003.

[2] J. Mcauliffe and D. Blei, "Supervised topic models," In Proceedings of Advances in Neural Information Processing Systems, 20, pp. 121-128, 2007.

[3] D. M. Blei and M. I. Jordan, "Modeling annotated data," In Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval, pp. 127-134, 2003.

[4] T. Iwata, S. Watanabe, T. Yamada, and N. Ueda, "Topic tracking model for analyzing consumer purchase behavior," In Proceedings of the 21 st International Joint Conference on Artificial Intelligence, 9, pp. 1427-1432, 2009.

[5] 住谷祐太, 富川雄斗, 伊藤尚紀, 高橋里司, “SCTTM によるユーザ属性を考慮した潜在嗜好変化の時系列推定”，オペレーションズ・リサーチ，68(2), 2023.

[6] T. L. Griffiths and M. Steyvers, "Finding scientific topics," In Proceedings of the National Academy of Sciences, 101, pp. 5228-5235.

[7] L. Breiman, "Random forests," Machine Learning, 45, pp. 5-32, 2001.

[8] G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye and T. Y. Liu, "Lightgbm: A highly efficient gradient boosting decision tree," In Proceedings of Advances in Neural Information Processing Systems, 30, pp. 31463154, 2017.


# 複数の手がかりを利用した小説発話の話者推定

石川和樹 1 佐藤理史 ${ }^{1}$ 宮田玲 ${ }^{1}$ 小川浩平 ${ }^{1}$
1 名古屋大学大学院工学研究科
ishikawa.kazuki.h8@s.mail.nagoya-u.ac.jp

## 概要

人間は，小説中のセリフの話者が誰なのかを苦も なく理解することができる。これは話者を推測する ための様々な手がかりが，テキスト中に存在するた めである. 本論文では, 複数の手がかりを利用した 話者推定システムを提案する．本システムは 2 つの モジュールから構成されており, 前者の話者候補リ スト作成では，セリフの周囲に出現する人物名を抽出して話者候補リストを作成したのち, 直前直後の 文における話者の明記，話者交替，一人称の 3 つの 手がかりを利用して話者候補を絞り込む。後者の口調に基づく話者推定では，セリフの口調を手がかり に話者を推定する。

## 1 はじめに

小説は，脚本とは異なり各セリフの話者が明記さ れない。しかし，我々読者は，話者が誰なのかを苦 もなく理解することができる.

これは，テキスト中に話者を推測するための多く の手がかりが存在するためである。 それらのうち，主要なものに次の 3 種類がある。

1. セリフの直前直後の文で，話者が明示される場合がある.

2. 連続するセリフでは，話者が交替する。

3. セリフの内容や使われている口調から，話者を 推測できる。

英語の小説の場合は，1と2の手がかりのみでほ とんどのセリフの話者を推定することができる.こ れは, “replied Kitty”のように話者が明記される場合 や，“said her father” のようにセリフの直後に代名詞 で話者が記される場合が多いためである。 He ら [1] は，英語小説の “Pride and Prejudice”を対象に調査を 行った結果，前者の割合は約 $25 \%$ ，後者の割合は約 15\%であったと報告している.

一方日本語の小説では，セリフの話者が直前直後
の地の文で明記される割合は全体の数\%程度しかな く, 1 と 2 の手がかりのみで話者を推定できるセリ フは限定される.

我々は昨年，39手がかり，すなわち口調に基づ く話者推定の方法を提案した [2]. この方法ではセ リフを口調ベクトルに変換する変換器を実現し，少数の訓練例 (話者が既知のセリフ集合) から算出した 各話者の代表口調ベクトルとの類似度に基づき，セ リフの話者を決定する。

今回，この方法を小説テキストに適用可能にする ために，各セリフに対して話者候補リストを生成す るモジュールをその前段として追加した.このモ ジュールは，セリフの周囲に出現する人物名を抽出 して候補リストを作成したのち，直前直後の文にお ける話者の提示 (手がかり 1), 話者交替 (手がかり 2)，一人称表現の 3 つの手がかりを用いて候補を絞 り込む.

本論文で提案するような話者の自動推定システム は，セリフに話者を付与したデータベースの作成支援に応用できる. これは，小説のセリフを題材とし た研究 (セリフの話者推定や、話者の性別推定 [3]、性格推定 [4] など) や，キャラクタ性を付与したセリ フ生成 [5] の実現のための基礎データとなる. さら に，音声合成と組み合わせることにより，話者ごと に音声を変えたオーディオブックの自動作成も可能 となる。

## 2 関連研究

英語の小説を対象とした研究では，地の文に提示 されている人名 (手がかり1) や，話者交替のルール (手がかり2）といった表層に現れている手がかりを 使って話者推定を行っている．英語の小説はこれら の手がかりのみで十分な推定が可能であり，例え ば，He らは地の文の情報を特徴量としたSVMを用 いて話者推定を行い，86.5\%の精度を達成した [1].英語小説を対象とした研究には他にも, Muzny ら [6] のルールベースの手法や，遠田ら [7] の教師なし
小説テキスト 主要人物リスト

## (1) 話者候補リスト作成

1. 周辺文脈からの候補抽出

2. 直前直後の文に基づく話者推定

3. 話者交替に基づく候補限定

4. 一人称に基づく候補限定

各セリフの話者候補リスト -

## (2) 口調に基づく話者推定

各セリフの推定話者

図 1 システム構成

機械学習を用いた手法が存在する。どちらも，1 節 で示した手がかり 1 と 2 を主要な手がかりとして 扱ったものであり，手がかり 3 はほとんど使われて いない.

## 3 話者推定システム

## 3.1 問題設定

本システムの入出力は以下の通りである.

・入力 : 小説テキストと主要人物リスト
- 出力 : 各セリフの推定話者

さらに，以下の制約を設けている。
- 推定対象作品：日本語のエンタメ小説およびラ イトノベル

-推定対象のセリフ：主要人物のセリフのみ
- 推定先の候補：主要人物のみ

なお，主要人物とは，発話数の多い人物 5 名程度 を指す。主要人物リストをシステムの入力として与 える設定のため，解くべきタスクは分類問題 (各セ リフに対して主要人物リストから 1 人選択する問題)となる。

## 3.2 システム構成

図 1 亿提案システムの構成を示す. 本システム は，「話者候補リスト作成 (3.3 節)」と「口調に基づ く話者推定 (3.4 節)」の2つのモジュールから構成さ れている.

## 3.3 話者候補リスト作成

話者候補リスト作成は，以下の 4 ステップで構成 されている。

1. 周辺文脈からの候補抽出

2. 直前直後の文に基づく話者推定

3. 話者交替に基づく候補限定

4. 一人称に基づく候補限定

## 3.3.1 ステップ 1: 周辺文脈からの候補抽出

まず，各セリフに対して，そのセリフの周辺に出 てくる人名を抽出することによって話者候補リスト を作成する。具体的な手順を以下に示す。

1. 対象のセリフの $N_{b}$ 文前から $N_{a}$ 文後を候補抽出範囲とする．ただし候補抽出範囲にセリフが 含まれる場合，そのセリフを候補抽出範囲には 含めるが，N のカウントには含めない。

2. 候補抽出範囲に名前が出てくる主要人物を話者候補とする。ただし，一人称小説の場合は，主人公は必ず話者候補に含める.

なお，システムに与える主要人物のリストでは， それぞれの人物に対して姓と名を与えるため，姓ま たは名だけでも，人物を同定できる。

## 3.3.2 ステップ 2: 直前直後の文に基づく話者推定

次に，セリフの直前直後の地の文が，話者名と発話動詞を含む特定パターンにマッチしている場合， そのセリフの話者を一意に定める．その詳細を付録 A に示す.

例えば，以下の例の場合，U1 の話者を $\mathrm{A}$ に決定 する。

$
\begin{aligned}
& N 1 \text { : A は、 } \\
& U 1 \text { : 「こんにちは」 } \\
& N 2 \text { ：と言った。 }
\end{aligned}
$

## 3.3.3 ステップ 3: 話者交替に基づく候補限定

地の文を挟まずに連続するセりフでは，話者が交替するというルールを利用して話者候補を限定す る。具体的には，以下の手続きを適用する。

あるセリフの話者が $S$ で，かつ，その直前また

は直後がセリフだった場合に，それらのセリフ の話者候補から $S$ を除外する。

なお，この手続きにより新たに話者候補が 1 人とな

 &  \\

るセリフが得られた場合は，そのセリフに対しても この手続きを適用する。

例えば，以下の例の場合，直前直後の文に基づく 話者推定 (3.3.2 節) によって U1 の話者候補が $\mathrm{A}$ のみ になるため，U2 の話者候補から A を除外する。

$
\begin{aligned}
& N 1 \text { ：A はお礼を言った。 }
\end{aligned}
$

$
\begin{aligned}
& U 2 \text { :「どういたしまして」 }
\end{aligned}
$

## 3.3.4 ステップ 4: 一人称に基づく候補限定

最後に，各話者が使う一人称を収集し，その情報 を用いて話者候補を限定する．以下に手順を示す。

1. 話者が一意に定まったセリフを用いて，それぞ れの話者が使う一人称を決定する。複数の一人称を使用していた場合は，最も使用頻度が高い 一人称を，その人物の一人称とする。

2. セリフ中に一人称 $X$ が含まれる場合，そのセリ フの話者候補から， $X$ 以外の一人称を使う人物 を除外する。

表 1 に，一人称として認定する語の一覧を示す.

例えば，以下の例の場合，U1の話者候補から A を除外する。

$
\begin{aligned}
& \text { 各人物の一人称：\{A：俺, } \mathrm{B}: \text { 私, } \mathrm{C}: \text { 私 }\} \\
& U 1 ： 「 \text { 私はこれがいいです」 }
\end{aligned}
$

## 3.4 口調に基づく話者推定

各セリフに対して話者候補リストを作成した後，話者候補が複数であるセリフに対して口調に基づく 話者推定を適用する。この時点で，すでに話者が一意に決定されているセリフは，その結果をそのまま 出力すると同時に，以下の手続きの代表ベクトルの 算出に用いる。セリフを口調べクトルに変換する方法には，すでに提案した方法 [2] を用いるが，口調 ベクトルの次元数は 64 を用いる.

1. 代表口調ベクトルの算出

それぞれの主要人物に対し，その人物の既知の セリフを口調ベクトルに変換し，その平均を代表口調ベクトル (話者の口調を表すべクトル)と する。表 2 口調に基づく話者推定の結果

2. 話者推定

各推定対象のセリフ (話者候補が複数のセリフ) に対して，そのセリフの口調ベクトルと各主要人物の代表口調ベクトルとの類似度を計算し， その値が最も高い話者を推定話者とする。

## 4 実験

## 4.1 実験条件

以下の条件で実験を行った。
- 対象作品 : 米澤穂信『氷菓』及び『愚者のエン ドロール』(一人称小説)
- 主要人物 : 5 人

・全セリフのうち，主要人物のセリフが占める割合 : $69.9 \%$
- 周辺文脈からの候補抽出での候補収集範囲 : セ リフの前 10 文 後ろ 3 文 $\left(N_{b}=10, N_{a}=3\right)$

なお，対象作品の『氷菓』と『愚者のエンドロール』 は同一シリーズの作品であり, 主要人物も共通して いる. そのため，これら 2 作品を繋げ， 1 つの作品 とみなし実験を行った。

## 4.2 口調に基づく話者推定の結果

表 2 に, 口調に基づく話者推定の, 主要人物 5 人の 結果 (recall, precision, F1) と, 全体の結果 (macro-F1, micro-F1)を示す.

先の研究 [2] 一各主要人物のセリフの $10 \%$ を代表口調ベクトルの算出に用い，残り $90 \%$ を推定対象 セリフとした場合—の macro-F1 は 61.4, micro-F1 は 68.3 であったが，今回は，それぞれ 72.9 と 75.4 に向上した. さらに，先の研究では各話者の F1 の 值はばらついた $(28.2 \% \sim 77.6 \%)$ が，今回は $64.2 \% \sim$ $85.1 \%$ どらつきも抑えられた。この結果より，口調以外の手がかりを用いて一部のセリフの話者を確定し，それらのセリフを用いて代表口調べクトルを 算出する方法で，口調に基づく話者推定が実行でき
表 3 話者候補リスト作成の各ステップの話者候補数と話者推定結果

 &  &  &  \\

ることが示された。

## 4.3 話者候補リスト作成の詳細

次に，話者候補リスト作成の各ステップで，セリ フの話者候補リストがどのように推移しているかを 調べた。この結果を表 3 に示す。

ステップ 1 (候補抽出) では, 平均 3.14 人の候補 が得られ，その中に正解が含まれる割合は $98.8 \%$ で あった．ただし，話者が一意に決定できるセリフの 数は 19 と少ない.

ステップ 2 (直前直後の文の利用)では，新たに 94 セリフの話者が一意に決定され，この段階で 113 セ リフ(全 1468 セリフ中の 7.7\%)の話者が一意に決定 された。その精度は 102/113=90.3\%である。この時点の結果を (つまり, ステップ 3,4 を省略して) 後段 の話者推定に入力した場合，口調による話者推定の 精度は $76.5 \%$ ，システム全体の精度は $77.6 \%$ となる。 なお, 口調に基づく話者推定では，話者候補が複数存在するセリフのみを対象とするため，対象セリフ の平均候補者数は，話者候補リスト作成時の平均候補者数とは一致しない。

ステップ 3 (話者交替の利用) を追加すると，話者 が一意に決定されるセリフが 12 増加した。このス テップで候補が削減できるのは，セリフが連続し， かつ，それらのいずれかのセリフの話者が確定して いる場合のみである. 加えて，1つのセリフから削減できる候補数も 1 候補である。このため，このス テップの効果は限定的である.

ステップ 4 (一人称の利用)を追加すると, 話者が 一意に決定されるセリフが 148 増加し, 一意に決定されるセリフの精度も $94.9 \%$ に向上した. このス テップで候補が削減できるのは，一人称が含まれる セリフで，かつ，そのセリフから複数の話者候補を 除外することができる．たとえば，実験対象の作品 の主要人物が用いる一人称は，A は「俺 $\mathrm{B}, \mathrm{B}$ と は「わたし」，Cは「僕」，Eは「私」であり，もしある セリフに「俺」が含まれる場合は，そのセリフの話者を $\mathrm{A}$ と確定できる。エンタメ小説では，主要人物 が使う一人称は異なる場合が多いと考えられ，この ステップはエンタメ小説一般に対して高い候補削減効果を持つと考えられる。

## 5 今後の課題

現状のシステムの課題として，以下の 2 点が挙げ られる。

1. 主要人物のみのセリフを推定対象としており, それ以外の話者のセリフを対象外としている。

2. 周辺文脈からの候補抽出での候補収集範囲は,作品によって適切な範囲が異なるが，固定した 値を用いている。

1 つ目の課題に対する解決策として，口調に基づ く話者推定の際に，推定話者だけでなく，各話者候補の確信度を同時に出力することを考えている。も しも全ての候補の確信度が低ければ，その中に正解 の話者はいないと判断し，話者は主要人物以外の人物であると推定することが可能となる．実際にシス テムを使用する際には，各セリフが主要人物のセリ フかどうかは事前には分からないため，全てのセり フを推定対象とする必要がある。そのため，少なく とも話者が「主要人物以外の話者」であると判定す る機能が不可欠である。

2 つ目の課題に対しては，小説の単語数に対する 人名数の割合を元に，収集範囲を自動決定すること を検討している。この割合が小さい場合は収集範囲 を広く取り，割合が大きい場合は収集範囲を狭く取 ることで，候補が集まらないといった問題や過剰に 集めてしまうといった問題を解決できると考えて いる.

## 謝辞

本研究は JSPS 科研費 JP21H03497 の助成を受けた ものです.

## 参考文献

[1] Hua He, Denilson Barbosa, and Grzegorz Kondrak. Identification of speakers in novels. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2013.

[2] 石川和樹, 宮田玲, 小川浩平, 佐藤理史. 口調ベクトル を用いた小説発話の話者推定. Technical report, 情報処理学会第 253 回自然言語処理研究会, 2022.

[3] 中川翔太, 孫昊, 金明哲. 小説会話文における発話者 の性別推定. 日本行動計量学会大会抄録集, Vol. 47, pp. 362-365, 2019.

[4] 津崎誠也, 山本博史. キャラクタの性格推定. 2017 年度 情報処理学会関西支部 支部大会 講演論文集, 2017.

[5] 米田智美, 佐藤理史, 夏目和子, 宮田玲, 小川浩平. 話者の性格を反映した発話文の生成. 言語処理学会第 28 回年次大会発表論文集, 2022.

[6] Grace Muzny, Michael Fang, Angel Chang, and Dan Jurafsky. A two-stage sieve approach for quote attribution. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, 2017.

[7] 遠田哲史, 吉永直樹. 文学作品における教師なし話者同定. 言語処理学会第 25 回年次大会発表論文集, 2019.

[8] 国立国語研究所. 分類語彙表増補改訂版データベー ス (ver.1.0), 2004

[9] Mecab: Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[10] Yuji Matsumoto Taku Kudo. Japanese dependency analysis using cascaded chunking. In CoNLL 2002: Proceedings of the 6th Conference on Natural Language Learning 2002 (COLING 2002 Post-Conference Workshops), pp. 63-69, 2002.

## A 直前直後の文に基づく話者推定

直前直後の文に基づく話者推定では，各セリフに 対して，以下に示す 4 つのパターンにマッチするか どうかを順に確認する。もし，いずれかのパターン にマッチしたならば，そのパターン中の A に対応す る人物をそのセリフの話者だと推定する。

なお，発話動詞とは，「言った・答えた」などの 発話を示唆する動詞である。発話動詞としては，国立国語研究所の「分類語彙表増補改訂版データベー ス」[8] から収集した 940 語を使用する。

## パターン 1

$N 1$ : (任意の地の文)

U1: (推定対象のセリフ)

## パターン 2

N1: $\cdots \mathrm{A} \cdots$

U1: (推定対象のセリフ)

## パターン 3

$N$ 1: (任意の地の文)

$N 2: \cdots \mathrm{A} \cdots$ (発話動詞 $V$ ) $\cdots$

U1: (推定対象のセリフ)

## パターン 4

U1: (推定対象のセリフ)

$N 1$ : (任意の地の文)

いずれのパターンにおいても以下の条件を満たす 必要がある.

## 条件 1

A の係り先に発話動詞 $V$ が存在する.

## 条件 2

発話動詞 $V$ の後ろに否定を表す助動詞が付か ない.

この条件の判定で必要となる形態素解析と係り受 け解析には， MeCab (IPAdic) [9] と CaboCha[10] を用 いる.


# 常識推論を支援するための辞書（あるいはオントロジー）の構築方法

山田隆弘 ${ }^{1}$
${ }^{1}$ CONOCIMISTA
tyamada99@yahoo.co.jp

## 概要

自然言語処理技術を用いて推論を行う際，文章の 中で使われている語や句の意味を判定するために電子的に処理可能な辞書（あるいはオントロジー）が 使用される.ところが，これらの辞書やオントロジ 一には，推論を行うために必要となる情報が十分に 含まれていない場合がある. 本稿では, 推論（特に 矛盾の検出）を支援するための辞書（あるいはオン トロジー）を構築するための方法を提案する。推論 において使用される知識には常識と世界知識とがあ るが，本稿では，常識を使用した矛盾の検出を考察 の対象とする。

## 1 はじめに

自然言語処理技術の用途の一つは, 自然言語で書 かれた文章について推論を行うことである. 推論の 際, 文章の中で使われている語や句の意味を判定す るために，電子的に処理可能な辞書（あるいはオン トロジー）が使用される. 代表的な辞書としては, FrameNet [1]や WordNet [2]が知られている。ところ が，これらの辞書やオントロジーは，必ずしも特定 の推論を支援するために作られたわけではないので，推論を行うために必要となる情報が十分に含まれて いない場合がある（具体例については, 2.1 節で述べ る).

そもそも，辞書にしてもオントロジーにしても，具体的な使用目的を定め, その目的を達成できるよ うに「設計」すべきものである. そこで, 本稿では，推論を支援するための辞書 (あるいはオントロジー) を設計するための方法の一つを具体的に提案する.

自然言語処理技術を利用した推論としては，いく つかの種類が考えられるが, 本稿では, 一つの文書内（あるいは複数の文書間）の矛盾の検出を取り上 げる。 その理由は, 文書内（あるいは文書間）の矛盾の検出は, 実用的に重要な課題であるからである.文書内（あるいは文書間）の矛盾を放置したままに
すると重要な損害がもたらされる場合は多い，例え ば，一つの人工衛星に関する技術文書間の矛盾[3], あるいは，企業が発行する文書と関連する法律の間 の矛盾などがあげられる.

また，推論において使用される知識には，大きく 分けて，常識と世界知識とがある。この両者を厳密 に区別することは困難であるが，本稿では，概念レ ベルの知識を常識と考え, 個々の事物レベルの知識 を世界知識と考えることにする.すなわち, 常識は，記述論理[4]の T-Box に相当し，オブジェクト指向モ デリング[5]のクラスモデルに相当する．また，世界知識は, 記述論理の A-Box に相当し, オブジェクト 指向モデリングのインスタンスモデルに相当する.本稿では，常識を使用した矛盾の検出を考察の対象 とする.

以上をまとめると, 本稿では, 文章中の矛盾の検出を行うための常識（概念レベルの知識）を記述す るための辞書（あるいはオントロジー）の設計方法 の提案を行う．辞書とオントロジーの区別は判然と しないが，以降では，原則として，辞書とオントロ ジーの両者をまとめて「辞書」と呼ぶことにする.

なお, 本稿の内容は, 筆者の過去の研究[6]をさら に発展させたものである.

## 2 関連研究

## 2. 1 矛盾の検出

自然言語処理技術を使用して文書の矛盾を検出す る研究としては[7-10]等がある.これらの研究の大部分において，語の意味に起因する矛盾を検出するた めに WordNet [2]等における反義語の規定が使用さ れている. 例えば，「大きい」と「小さい」は反義語であるから，「X は大きい」と「Xは小さい」は 矛盾しているとして判断される.

しかし，矛盾とは「同時には成立しない」ことで あるから，必ずしも意味が反対でなくても矛盾して いることはあり得る. 例えば，「太郎は歩いている」

と「太郎は走っている」は矛盾している。なぜなら ば，「歩く」と「走る」を同時に行うことは困難で あるからである．また，「太郎は昨日大阪から東京 に戻った」と「太郎は今日は大阪に滞在している」 は矛盾している，矛盾していないとすれば，「太郎 は大阪から東京に戻った後で再び大阪に行った」と いう情報が不足していることになる。

文書中の矛盾を検出するために必要な情報を十分 に含んでいる辞書は(筆者の知る限り) 存在しない.文書中の矛盾を検出するためには，そのために必要 な知識を蓄積した辞書を構築する必要がある。

## 2.2 辞書（あるいはオントロジー）の設計

特定の目的のためにオントロジーを設計した例と して, Event and Situation Ontology (ESO) [11]を取り 上げる。このオントロジーは，様々なニュース記事 より事象を抽出し, 抽出された事象を互いに関連づ けるための道具として開発された。

この目的のために，このオントロジーでは，動的事象 (dynamic state) と静的事象 (static event) を定義する。ただし，この両者は一般的には事象(event) と状態 (state) と言われている概念にそれぞれ相当 するので，以下では事象と状態という用語を使用す ることにする.

このオントロジーでは，変化を伴う事象は，その 変化の内容を事前条件と事後条件によって規定する.事前条件と事後条件は，このオントロジーで定義さ れている状態に対応づけて規定する. 例えば，「Xは A から B に移動する」という事象の事前条件は「X は A に存在している」であり，事後条件は「Xは B に存在している」である。ここで，「XはYに存在 している」は，このオントロジーにおいて状態とし て定義されている。このように事象と状態を関連づ けることにより，このオントロジーで定義されてい る概念の範囲内であれば，複数の事象や状態の間の 関係を統一的な形で表現できる。

このオントロジーは矛盾検出用ではないので当然 であるが，このオントロジーを矛盾検出に利用する には，いくつかの情報が不足している。例えば，複数の事象や状態が同時に成立するかどうかを判定す るための情報が欠けている。

本稿の第 3 節以下では, 矛盾検出のための辞書が 満たすべき条件（あるいは設計原理）を明らかにし ながら，そのような辞書を構築する方法を提示する.

## 3 ドメインモデルの構築

## 3.1 ドメインモデルの概念

本稿で構築する辞書でも ESO [11]と同様に状態 （state）と事象 (event) を定義するが (第 4 節参照)，本稿の方法では, 状態と事象で参照される基本概念 をドメインモデル[6]として定義する. ドメインモデ ルとは，特定の分野で使用される基本概念を一つの モデルとして定義したものである．ESO では，事象 の事前条件と事後条件を状態に準拠させることで全体の整合性を確保しているが，本稿では，事象と状態の双方をドメインモデルに準拠させることによっ て,さらに高いレベルの整合性の確保を狙っている.

## 3.2 ドメインモデルの定義

本稿ではオブジェクト指向モデリング[5]の手法 を用いてドメインモデルを構築する．ドメインモデ ルの主要な構成要素を以下に示す.これらの要素は， Unified Modeling Language (UML) [12]のクラス図を 用いても定義できる. オブジェクト指向モデリング の詳細は[5]や[12]を参照して頂きたい。以下で，オ ブジェクトとは，個々の物を属性値の集合として表現した仮想的な物である.

・クラス（共通の特徵を有するオブジェクトの 集合)

・属性（オブジェクトの特徵を表すパラメータ）
- 属性値(属性の取る値)
- 属性値型（属性の取り得る値の集合）
- 関係（複数のオブジェクト間に成立する関係）
- 属性の多重度（一つの属性がいくつの属性値 を持てるか)
- 関係の多重度（一つのオブジェクトが他のい くつのオブジェクトと同一の関係を持てるか)

属性値型には, 整数, 実数, 文字列, 列挙型など がある. 列挙型とは，いくつかの離散的な値（文字列で表される）の集合として規定され，それらのう ち一つあるいは複数のものを値としてとることを示 すものである.

このドメインモデルを矛盾の検出のために使用す るためには, 属性值型が列挙型の場合, 列挙されて いる個々の值が互いに排他的である必要がある．列挙型の属性が二つ以上の異なる属性値を同時に持つ ことがある場合は，その属性の多重度を 2 以上にす る必要がある. また, 属性と関係の多重度の指定は

従業員 1 ...*

雇用主 $0 . .1$

図 1 ドメインモデルの実例

必須である. これらは, 矛盾検出のための辞書が満 たすべき条件である.

## 3.3 ドメインモデルの実例

簡単なドメインモデルの例をUML のクラス図を 用いて図 1 に示す.この図では, 以下の要素が定義 されている.

・クラス：人間，組織
- 属性 : 氏名, 居住地, 所在地, 組織名, 組織種別
- 属性値型 : 文字列, 場所, 組織種別名
- 関係 : 従業員一雇用主

図 1 で示されている属性値型のうち組織種別名は 列挙型であり,その定義は以下のようになっている.

組織種別名 $=\{$ 会社，役所，任意団体 $\}$ ここでは, 会社, 役所, 任意団体の三者は互いに排他的であるとする.

さらに, この図では, 多重度も示されている. 属性の多重度は, 属性値型の後の[ ]内に示されている が，全ての属性について 1 である。 すなわち, 全て の属性は一つの属性值を常に持っていなければなら ない. 関係の多重度は, 以下のように示されている。

(このドメインでは) 一人の人間は，0または一つ の組織を雇用主として持ち得る。すなわち, 一人の 人間は, 雇用主を持たないか, あるいは, 一つの雇用主を持つかのどちらかである。一方, 一つの組織 は，一つ以上（上限は設定されていない）の人間を 従業員として持ち得る。

## 4 状態と事象の定義

ここでは, 第 3 節で定義したドメインモデルに基 づいて状態(state)と事象(event)を定義する方法を示
す.ここで登場するオブジェクトは，ドメインモデ ルで定義されている何らかのクラスに属しており，属性あるいは関係は，そのクラスで定義されている 属性あるいは関係である.

## 4. 1 状態の定義

本稿の方法では, 各々の状態は以下の要素によっ て定義される。

〈属性に関する状態〉

・オブジェクト
- 属性=属性值

・ [時刻あるいは時間間隔]
- [その他]

〈関係に関する状態〉

・オブジェクト

・関係 [=関係先のオブジェクト $]$
- [時刻あるいは時間間隔]
- [その他 $]$

上記で, [ ] 内の要素はオプションであり, 必要 がなければ示さなくてよい.

例えば，「太郎は大阪に滞在している」という文 は属性に関する状態を表していて，以下の要素によ って表される.これは, FrameNet の Being_located フ レームに概ね相当する.
- 太郎(人間クラス)
- 所在地 $=$ 大阪
- 時刻：現在

また，「太郎は凸凹商会に勤めている」という文 は関係に関する状態を表していて，以下の要素によ って表される.これは, FrameNet $の$ Being_employed フレームに概ね相当する。
- 太郎 (人間クラス)
- 雇用主＝凸凹商会
- 時刻：現在

## 4. 2 事象の定義

本稿の方法では, 各々の事象は以下の要素によっ て定義される。

〈変化を伴う事象〉
- [変化を促すオブジェクト]

・変化するオブジェクト
- 事前条件
- 事後条件

・ [時刻あるいは時間間隔]
- [手段]
- [その他]

〈変化を伴わない事象〉
- [事象を促すオブジェクト]

・事象の主題となるオブジェクト
- 事象の内容

$\cdot$ [時刻あるいは時間間隔
- [手段］
- [その他 $]$

上記で，変化（あるいは事象）を促すオブジェク トとは, 使役を表すためのものであり, 変化する (あ るいは事象の主題となる）オブジェクト以外のオブ ジェクトが事象を引き起こす場合に，事象を引き起 こすオブジェクトを示すものである.

事前条件と事後条件は, ESO [11]でも使用されて いる概念であり，事象の前後で変化する属性や関係 を表現するものである．変化を伴わない事象の内容 については，同時には成立しない事象の集合（例え ば，「歩く」と「走る」等）を規定するものとする.手段等の他の項目についても，同時に使われること のない（すなわち排他的な）值の集合を定めるもの とする.これらは, 矛盾検出のための辞書が満たす べき条件である.

例えば，「太郎は昨日大阪から東京に移動した」 という文は変化を伴う事象を表していて，以下の要素によって表される。これは, FrameNet の Self_motion フレームに概ね相当する.

・変化するオブジェクト：太郎（人間クラス）
- 事前条件 : 所在地 $=$ 大阪
- 事後条件 : 所在地 $=$ 東京
- 時刻：昨日

## 5 矛盾検出の例

ここでは，本稿の方法によって検出できる矛盾の 例を示す.

・「太郎は役所に勤めている」対「太郎は会社に 勤めている」

この矛盾は，（このドメインにおいては）人間ク ラスのオブジェクトが雇用主を一つしか持てないこ とと組織クラスの組織種別名が排他的であることに より検出できる.

-「太郎は大阪に行った」対「太郎は東京にいる」

この矛盾は，（太郎が大阪から東京に戻ったとい う情報がないかぎり）人間クラスの所在地の多重度 が 1 であることにより検出できる。ただし, 厳密に 言えば，この矛盾検出のためには，東京と大阪は排他的な場所であるという世界知識が必要になる。

## 6 考察

## 6. 1 他の辞書やオントロジーとの関係

本稿では，新しい辞書の構築方法を提示したが，既存の様々な辞書との関係も考慮する必要がある.一つの辞書であらゆる分野や用途をカバーできれば 理想的であるが，それは現実的ではないので，以下 のような方法が望ましい.

ドメインモデルで使われるクラス，属性，関係な どの概念は，SUMO [13]等の上位オントロジーで定義されているものを使用するか，これらの上位オン トロジーとの対応関係を示すべきである. 状態と事象については, FrameNet [1]のフレームに概ね対応す るが，厳密な一対一の対応ではないので，両者間の 対応関係を詳しく示すべきである.

## 6. 2 将来の課題

[7]や[9]で指摘されているように，A と B が矛盾 しているかどうかを検出するためには，A と B が共 に同一の事物について言及しているかどうかの確認 が必要である.これは必ずしも容易な問題ではなく,辞書だけで解決できる問題でもないが，何らかの解決策が必要である。また，本稿では常識のみを利用 したが，これに世界知識を組み込むための取り組み も必要である。本稿では，推論の一例として矛盾検出を取り上げたが，他の推論のタイプに適用できる 手法も開発すべきである. さらに，ここで提示した 辞書を機械で処理できる形式で表現する方法も必要 であるが，このためには筆者の別の研究[14]等を利用する予定である.

## 7 おわりに

本稿では，矛盾の検出を支援するための辞書（あ るいはオントロジー）の構築方法の一例を示した.本方式の特徴は，まずドメインモデルを構築し，そ れ以外の概念は全てドメインモデルに準拠して定義 することである．ただし，本稿で示したのは大まか な構想のみであり，詳細は今後詰める必要がある. また，第 6 節で示したように今後解決すべき課題も 多い. 本稿で強調したいことは，辞書やオントロジ 一は使用目的に合致するように「設計」すべきであ ることである．実社会で役に立つような研究が今後 ますます盛んになることを願っている。

## 参考文献

[1] Josef Ruppenhofer, Michael Ellsworth, Miriam R. L. Petruck, Christopher R. Johnson, Collin F. Baker and Jan Scheffczyk, FrameNet II: Extended Theory and Practice, 2016.

[2] Christiane Fellbaum, WordNet: an electronic lexical database, MIT Press, 1998.

[3] 山田隆弘, “バックキャスティングによる技術開発の すすめ”, ISAS ニュース, JAXA 宇宙科学研究所, No. 488 (2021 年 11 月), p. 8, 2021.

[4] Franz Baader, Diego Calvanese, Deborah L. McGuinness, Daniel Nardi and Peter F. PatelSchneider, The Description Logic Handbook: Theory, Implementation and Applications, Second Edition, Cambridge University Press, 2010.

[5] Michael Blaha and James Rumbaugh, ObjectOriented Modeling and Design with UML, Second Edition, Prentice Hall, 2005.

[6] 山田隆弘, “公理としてのドメインモデルに基づ く意味の規定について," 第 31 回人工知能学会全国大会, 2017.

[7] Sanda Harabagiu, Andrew Hickl and Finley Lacatusu, "Negation, Contrast and Contradiction in Text Processing," Proceedings of the Twenty-First National Conference on Artificial Intelligence (AAAI-06), pp. 755-762, 2006.
[8] Marie-Catherine de Marneffe, Anna N. Rafferty and Christopher D. Manning, "Finding Contradictions in Text," Proceedings of ACL-08: HLT, 2008.

[9] Aikaterini-Lida Kalouli, Livy Real and Valeria de Paiva, "Correcting Contradictions," Proceedings of the Computing Natural Language Inference Workshop, 2017.

[10] 外園康智, 長谷川貴博, 渡邊知樹, 馬目華奈, 策有紀子, 谷中瞳, 田中リベカ, Pascual MartínezGómez, 峯島宏次, 戸次大介, “意味解析システ ム ccg2lambda による金融ドキュメント処理,”第 32 回人工知能学会全国大会, 2018 .

[11] Roxane Segers, Piek Vossen, Marco Rospocher, Luciano Serafini, Egoitz Laparra and German Rigau, "ESO: a Frame based Ontology for Events and Implied Situations," Proceedings of MAPLEX 2015, 2015.

[12] Grady Booch, James Rumbaugh and Ivar Jacobson, "The Unified Modeling Language User Guide," Second Edition, Addison-Wesley, 2005.

[13] Ian Niles and Adam Pease, "Towards a Standard Upper Ontology," Proceedings of the 2nd International Conference on Formal Ontology in Information Systems, 2001.

[14] 山田隆弘, “Entity-Relationship モデルに基づいた 知識グラフの構築方法," 第 34 回人工知能学会全国大会, 2020 .


# 対訳文を用いた同義語・類義語・対義語の抽出

桝原弘哉 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学大学院 持続性社会創生科学研究科 工学専攻
2 鳥取大学工学部
${ }^{1}$ m22j4052m@edu. tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

従来，同義語・類義語・対義語は，意味に基づい て人の手によって分類される [1]. そのため, 収集 におけるコストが高い. また，自動的なシノニム 抽出の研究 [2][3] は数多く存在する. しかし, 同義語・類義語・対義語が区別されず，総括してシノニ ムと扱われる。 そこで本研究では，コーパス内の同義語・類義語・対義語を区別した形で自動抽出する ことを目的とする．通常，シノニムは意味に基づい て収集されるが，コーパスに「意味」という情報は 存在しない。そこで，「翻訳の対応関係」を「意味」 と仮定し，対訳コーパスからシノニム抽出を行う.

実験の結果，同義語 $94.3 \%$ ，類義語 $78.2 \%$ ，対義語 $60.7 \%$ の精度が得られた. また，提案手法より対義語において辞書に未記載のシノニム抽出にも成功 した.

## 1 はじめに

同義語・類義語・対義語は単語間の関係性を表現 し文意理解において重要である. 対義語も一部類似 した性質を持つことから便宜上，本論文において同義語・類義語・対義語を総合してシノニムと表現す る. 従来，シノニムは意味に基づいた人手による判断で分類 [1] された. シノニム単語を収集したシノ ニム辞書が制作に長い月日を必要とすることから人手分類のコストの高さを示している.

一方で，シノニムを自動抽出する研究 [2][3] は数多くされており手法も様々である. しかし, 同義語・類義語・対義語にそれぞれ区別して抽出してい る研究はあまり見られない. 同義語・類義語と対義語は置き換えることで文意が正反対になるため，区別が特に重要であると考えられる．そのため，本論文では，共通の対訳コーパスからシノニムを区別し た形で自動的に抽出をすることを試みる。

## 2 従来手法

## 2.1 人手による収集

人手収集におけるシノニムは意味を判断基準とし ており，各シノニムの意味は辞書 [1] によって次の ように定義されている.

同義語：語形は異なるが意義はほぼ同じ言葉

類義語 : 意味の類似する単語

対義語：意味の上で互いに反対の関係にある語

## 2.2 自動抽出の研究

## 2.2.1 パターンを用いたシノニム抽出

Chklovski ら [2] は，類似する単語が特定の文法パ ターンで共起する性質に注目した．WordNet から関連性の高い動詞ぺアを収集し, 事前に定義されたパ ターンを使用することで動詞におけるシノニム抽出 を行った。

## 2.2.2 分散表現を用いたシノニム抽出

Li ら [3] は, 類似する単語が単語分散表現の意味空間において近接する性質に注目した．Word2Vec[4] を使用することで単語間の類似性を計算し，スペク トルクラスタリングによって単語をクラスタリング することでシノニム抽出を行った。

## 3 問題点・目的

自動的なシノニム抽出の研究は，人手によるコス トが不要という利点がある。しかし，人手収集とは 異なりシノニム内の明確な区別がないことが多い. その理由として, 本来なら意味基準で分類するシノ ニムを自動抽出においては意味以外の情報を利用し ており，シノニム間の境界の曖昧性を解消できない ためだと考えられる。曖昧性の一つとして, 対義語対はカテゴリーが一部共通する性質から類似性を持 つことが挙げられる。例えば，“白”と“黒”は，色の 明暗から対義語として扱われるが，色という同じカ テゴリーであるため類似する単語とも解釈できる。
以上のことを踏まえて，本研究ではシノニムの自動抽出において同義語・類義語・対義語を区別した 形で抽出することを目的とする。

## 4 提案手法

言葉は「意味」によって単語自体が持つ概念や性質といった知識を他人と共有することができる．知識の共有ができる観点から「翻訳の単語対応」は 「意味」と同等と考えることができる．例えば，“服” という単語は「身につけるもの。きもの.」といっ た意味であるが，日本語を知らない英語話者に対し ては対訳単語である“clothes”を伝えることで，“服” という単語が持つ概念を共有することができる.こ の性質から，共通する翻訳を持つ単語同士は意味が 同じと仮定することで，類似する単語の抽出に対訳単語を利用できると考えられる。

一方，類似単語の一部とみなせる対義語は，同一文において置き換えることで正反対の内容を表現で きる．例えば，“右”と “左”の対義語対において「交差点を右に曲がる.」は “右”を“左”に置き換えるこ とで正反対の文になる。つまり，文脈 (周囲の単語) によって類似性を求められる分布仮説において，対義語が最も類似すると考えられる。

## 4.1 再定義

本研究では，「翻訳における単語対応」を「意味」 とみなすため， 2 言語の翻訳対応を利用したシノニ ムの再定義を行う． 2 言語は日本語-英語である.

## 4.1.1 同義語

・単一カテゴリー内に存在する単語対
- 日本語単語の対が英語訳において完全に共通

例) “病気”と “病”

病気 $=$ disease $=$ 病，病気 $=$ illness $=$ 病

## 4.1.2 類義語

・単一カテゴリー内に存在する単語対

-日本語単語の対が英語訳において一部共通

例）“青”と “緑”

青 $=$ green $=$ 緑，青 $=$ blue $\neq$ 緑

## 4.1.3 対義語

・単一のカテゴリー内に存在する単語対
- 日本語単語の対が英語訳において共通しない

・共通する文脈で置き換え可能

例) “右” と “左”

右 $=$ right $\neq$ 左， 左 $=$ left $\neq$ 右

右に曲がる。，左に曲がる。

## 4.2 変換テーブル

4.1 節の 2 言語を利用した再定義を踏まえると, シノニムの関係に有る単語対それぞれには対訳単語 が存在する。つまり，シノニム抽出には日本語単語 2 対，英語単語語 2 対の計 4 対が必要である. そこ で，変換テーブル [5]を利用する。

図 1 変換テーブル

変換テーブル [5] は単語 4 組の関係性を定義する テーブルである．パターンが共通する 2 組の対訳文 において，パターンの変数に対応する単語が抽出さ れることで生成される。各単語の相対性により「A

例では，「猫が catならば犬は $\operatorname{dog}$ 」である.

## 4.3 Word2Vec

Word2Vec[4] は文脈 (周囲の単語) を用いて単語を 数值化することでベクトル表現を可能にするニュー ラルネットワークの手法である．対義語同士が類似 する文脈で使用される性質から，Word2Vec[4] にお いて対義語同士の類似度は最も高いと考えられる。

## 5 実験方法

## 5.1 実験手順

## 5.1.1 同義語

単語対が翻訳において完全に共通する組み合わせ を抽出する。(表 3 参照)

1. 変換テーブル $\mathrm{ABCD}$ で英語 $\mathrm{B}, \mathrm{D}$ が同一単語,且つ日本語 $A, C$ が別単語の組み合わせを選択

2. 翻訳が複数存在することを考慮して，1. で得ら れた日本語単語 $\mathrm{A}$ につい変換テーブルを利用 し，対応する英単語をすべて収集 $\Rightarrow$ 集合 $A^{\prime}$

3. 2. と同様の処理を 1. で得られた日本語単語 $\mathrm{C}$ についても行う $\Rightarrow$ 集合 $C^{\prime}$

4. 2. と3. で得られた集合 $A^{\prime}$ と集合 $C^{\prime}$ を比較し,完全に一致する組み合わせを同義語として出力

## 5.1.2 類義語

単語対が翻訳において一部共通する組み合わせを 抽出する. (表 4 参照)

1. 変換テーブル $\mathrm{ABCD}$ で英語 $\mathrm{B}, \mathrm{D}$ が同一単語,且つ日本語 $A ， C$ が別単語の組み合わせを選択

2. 翻訳が複数存在することを考慮して，1. で得ら

し，対応する英単語をすべて収集 $\Rightarrow$ 集合 $A^{\prime}$

3. 2. と同様の処理を 1. で得られた日本語単語 $\mathrm{C}$ についても行う $\Rightarrow$ 集合 $C^{\prime}$

4. 2. と 3. で得られた集合 $A^{\prime}$ と集合 $C^{\prime}$ を比較し,共通しない部分がある組み合わせを類義語とし て出力

## 5.1.3 対義語

日本語・英語同士が最も類似する組み合わせを Word2Vec を利用して抽出する。(表 5 参照)

1. 変換テーブル $\mathrm{ABCD}$ で英単語 $\mathrm{B}, \mathrm{D}$ が別単語で あり，日本語単語 $\mathrm{A}, \mathrm{C}$ も別単語である組み合 わせを選択 (Aと B は対訳単語である)

2. Word2Vecを利用し，1. で得られた日本語単語 $\mathrm{A}$ に最も類似する単語を抽出 $\Rightarrow \mathrm{A}^{\prime}$

3. Word2Vec を利用し，1. で得られた英語単語 B に最も類似する単語を抽出 $\Rightarrow \mathrm{B}$ ，

4. 変換テーブル中から $\mathrm{ABA}^{\prime} \mathrm{B}^{\prime}$ となる組み合わせ を検索

5. 1. 4. の処理を $\mathrm{CDC}^{\prime} \mathrm{D}^{\prime}$ の組み合わせでも行う

## 5.2 実験データ・条件

## 5.2.1 変換テーブル

森本 [5] が作成した変換テーブルを使用する. 森本は，電子辞書などの例文から抽出された 163,188 文の単文対訳コーパス [6] を利用して変換テーブル を作成した. 生成された変換テーブルは 701,828 組 である.

## 5.2.2 Word2Vec

Python の gensim[7] を使用する. データの統一を 取るために，変換テーブルと同じ 163,188 文の単文対訳コーパス [6] で学習を行う。各パラメータは, window $=5$, size $=10,000$ とし，英語モデル，日本語モ デルをそれぞれ作成した。

## 6 実験結果

同義語・類義語 ・対義語の各抽出数と人手評価に よる精度を表 2 に示す. ただし，漢字や片仮名を含 む表記ゆれや数字などのノイズは評価に考慮しな い. 評価者は著者 1 人である.

表 2 抽出結果

出力例の一部を表 3 5 に示し，変換テーブルが参照した対訳文を例文として示す.

## 6.1 同義語

 & 值段 &  & $\circ$ \\

例文）

1).価格と値段

野菜の価格が急騰している。

The price of vegetables is soaring.

野菜の值段が下がる.

The price of vegetables drops.

2).秩序と順序

それは新たな秩序の到来を告げた。

That ushered in a new order.

逆の順序におく. Place in the reversed order.

## 6.2 類義語

表 4 類義語

 & ○ \\

例文）

1).お昼と正午

お昼までには，まだ少し間がある。

There's still a little time left until noon.

正午に汽笛が鳴る. The whistle blows at noon.

2).板と委員会

板が歪む. The board is distorted .

委員会は明日開かれる予定だ。

The board is meeting tomorrow .

## 6.3 対義語

表 5 対義語

例文)

1).東と西

風は東へ吹いている. The wind is blowing east.風が西へ吹く. The wind blows west

2).雪と雨

雪がやんだ. The snow has stopped.

雨がやんだ. The rain has stopped.

## 7 考察

## 7.1 不正解の調査

実験結果における不正解対の原因調査により，方式の限界による要因と変換テーブル作成時のパター ンの誤りによる要因に大別された. 同義語は方式限界のみであった。 各要因の割合を表 6 に示す.

表 6 不正解の割合

## 方式限界による要因

同義語・類義語では，英単語は共通するが類似し ない日本語対が抽出された. この問題の原因は単語 の持つ多義性である. 言語間の概念の差異や文脈に より単語の用途が変化するため, 方式限界であると 考えられる。(表 3，表 4 の不正解例を参照)

対義語では，反対の意味が存在しない日本語対が 抽出された. この問題の原因は単語に反対が存在す るかの区別が困難なことである．変換テーブル自体 はパターンが共通する組み合わせを出力しており，組み合わせ自体に類似性は存在しないため，方式限界であると考えられる。(表 5 の不正解を参照)

## パターンの誤りによる要因

森本 [5] の変換テーブルはパターンを利用して作成されており，パターンの誤りが単語対応の誤りに影響を与えている。つまり，パターンの精度を上げ ることで類義語・対義語については抽出精度が向上 すると考えられる。

## 7.2 辞書による評価 (対義語)

実験結果より同義語・類義語と比較し，対義語の 正解率が低い. 原因として，7.1 節で述べた反対の 存在しない単語を抽出していることが考えられる。 そこで，対義語辞典において対義語と定義される単語対に限定して再度精度を調査した。対義語辞書に は， weblio 対義語反対語辞典 $[8]$ を利用した.

表 7 明確に対義語である単語の調査

調査の結果，対義語辞書 [8] において不正解だが，人手評価において正解と判断された対が得られた. また，調査の過程で，実験結果における表 7 に含ま れない対義語が得られた。つまり，対義語辞書にお いて定義されないが，人手評価において正解と判断 される対義語である。それぞれの一部を表 8 ，表 9 に示す。

表 8 辞書で不正解となった対義語

表 9 辞書で定義されない対義語

この結果から, 本研究の提案手法は辞書に記載さ れていない対義語を抽出できたことを示している。

## 8 まとめと今後の課題

従来の研究では，意味基準によって区別されるシ ノニムの曖昧性が解消されない問題があった. そこ で，本研究では，「翻訳の単語対応」を「意味」と 仮定することでシノニムを自動抽出・分類する方法を提案した. 実験の結果，同義語 $94.3 \%$ ，類義語 $78.2 \%$ ，対義語 $60.7 \%$ の精度が得られた。また，対義語において辞書に未記載の単語抽出といった有効性を得られた。

今回，提案した手法では抽出数が不十分であると 考えられる。そのため，精度を損なわずに抽出数を 増加させることを今後の課題とする。

## 参考文献

[1] 新村出, 新村出記念財団. 広辞苑. 岩波書店, 第 6 版, 2008.

[2] Timothy Chklovski and Patrick Pantel. VerbOcean: Mining the web for fine-grained semantic verb relations. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 33-40, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[3] Li Zhang, Jun Li, and Chao Wang. Automatic synonym extraction using word2vec and spectral clustering. In 2017 36th Chinese Control Conference (CCC), pp. 56295632, 2017.

[4] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In International Conference on Learning Representations, 2013.

[5] 森本世人. 類似度を利用した変換テーブルの精度向上. 言語処理学会 第 27 回年次大会, 2021 .

[6] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と 著作権の考察. 第一回コーパス日本語学ワークショッ プ, 2012.

[7] Radim Rehurek and Petr Sojka. Gensim-python framework for vector space modelling. NLP Centre, Faculty of Informatics, Masaryk University, Brno, Czech Republic, Vol. 3, No. 2, 2011.

[8] GRAS グループ株式会社. weblio 対義語反対語辞典,（2023-01 閲覧）. https://thesaurus.weblio.jp/ antonym/.


# 日本語話者の項省略判断に関するアノテーションとモデリング

石月由紀子 1,4 栗林樹生 1,2 松林優一郎 1,4 笹野遼平 3,4 乾健太郎 1,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 3 名古屋大学 4 理化学研究所
yukiko.ishizuki.p7@dc.tohoku.ac.jp
\{kuribayashi,y.m,kentaro.inui\}@tohoku.ac.jp sasano@i.nagoya-u.ac.jp

## 概要

日本語ではしばしば主格や目的格などの項が省略 される．項の省略の可否は構文の妥当性といった制約や母語話者の選好によって判断される場合があ り，母語話者は省略の容認度を潜在的に規定してい ることが想定される. しかしながら，そのような母語話者の判断のモデリングは，既存の省略解析の枠組みには含まれてこなかった. 本研究では，読み手 の省略判断に関するデータの収集と，そのデータを 用いた省略判断モデルの構築を行い，母語話者と自然言語処理モデルの省略判断についてその傾向を 調査した. 収集したデータは BCCWJに対する差分 データとして公開予定 ${ }^{1)}$ である.

## 1 はじめに

日本語は項省略がしばしば発生する言語である。例えば（1a）では，「マックが」を省略した方が自然 であり，一方（1b）では「小塚原の刑場に」を省略 しないほうが自然である2).

(1a) マックは椅子をつかみ、前後逆に置いた。そこ にマックがまたがり、無言で画像に見入った。

(1b) 一六六 $\bigcirc$ 年頃 (万治年間)、幕府は、牢死者や刑死者を弓うため、本所に回向院を立てさせた。 さらに一六六七年（寛文七）、その別院として、小塚原の刑場に建てられたのが、この回向院だ そうな。

本研究ではこのような項の省略判断について，（i） ある項が表出・省略されているべきかという人間の 読み手が下す判断のデータ収集・分析と，（ii）自然言語処理モデルを用いた省略判断予測モデルの構築を行う. 項の省略の可否に関しては統語的な制

図 1 アノテーション作業の外観

約などについて少数の事例のもと議論されてきた $[2,3,4,5]$ が，本研究ではそれらの研究と相補的に，実際に人間の読み手が文章を読んだ際に判断する省略の容認度について比較的大規模なコーパスにアノ テーションする．計算モデルによる省略判断の予測 については，日本語の読みやすさの自動判定・文章執筆支援（項を省略・表出すべきかの自動推薦）と いった応用的出口を見据えるとともに，既存の言語 モデルが談話的な現象である省略判断を行えるのか という学術的な分析として位置づける。

日本人大学生 5 名を対象にしたデータ収集の結果，人間の作業者間での省略判断は概ね一致し，個人差が生じる事例は限定的であることが分かった. また，省略の是非の判断根拠もあわせて追跡する方式で作業を行い，分析の結果，統語的容認性や省略要素の復元可能性といった言語の制約的な部分では 人間の省略判断が比較的一致し，それらでは説明で きない選好の部分では判断が摇れる傾向があった.

言語モデルによる省略判断の予測に関する実験で は，日本語 BERTを用いたモデルを作成し，その性能を調査した。言語の制約的な要因で決まる事例に ついては，モデルは概ね正しい判断を下し，一方で 文の自然さといった選好によって省略の可否が決定 する事例については，言語モデルの予測性能が人間
表 1 省略の程度を説明するものとして想定される因子

 &  \\

の作業者間に対して劣るという結果が得られた.

## 2 省略判断アノテーション

## 2.1 タスク設定とアノテーション基準

日本語母語話者の項省略の容認度とその一致の程度を調査することを目的とし，省略判断のデータを 収集した. 図 1 にアノテーションタスクの外観を示 す. 作業者には文章内のある述語と，それと同一文内にある述語の項が 1 つ示される. 作業者は，指定 された述語の項の表現が省略可能かを判断する。な おこの項は (i) 元の文章でも表出している場合と (ii)元の文章では省略されているが特定の位置に復元さ れている場合の 2 通りがあり，作業者は判断時にど ちらの事例かを知ることはできない. アノテーショ ン対象の述語-項の収集方法は 2.3 節で説明する.

アノテーション基準は，省略に関する言語の制約的性質を予備的に調査した結果を踏まえ，実際に著者らで予備アノテーション作業を行いながら設計し た. まず，判断の程度を定義するにあたり，省略判断を，言語の制約的な性質に基づく強い判断と，作業者のある種の選好に基づくものとに分け，これに 「省略」「表出」の方向を示した 4 值を省略の程度と して定めた. 最終的な人間の判断が制約的な要因に よって説明される場合は「省略（制約）」及び「表出 (制約)」と定義し，選好に基づく要因によってのみ 説明される場合を「省略（選好）」及び「表出（選好)」と定義した. さらに，制約的な要因としてど のような因子があるかについて，省略の潜在的な判断要因を著者内で議論し, 少なくとも制約的な因子 については著者間での判断に摇れがないことを基準 として，表 1 のとおり因子を定めた。ただし，ここ で例外的に因子 3 については，項が表出した文と省略された文のどちらを選ぶかが書き手の表現したい文意によってのみ定まる，読み手には判断不可能な 例の存在が判明したため，新たに「判断不可」とい うラベルを追加し, 最終的に 5 つの程度について作業者に判断させた.

実際の作業では，作業者は 5 つの段階を直接判断 するのではなく，表 1 の各因子に対しての判断を下 すことによって間接的に 5 つの段階を判断する.こ れによって，作業者がどの判断要因を用いて判断し ているのかを分析できるようにした。例えば，1 節 で挙げた例 (1a) については省略するのが自然であ ると判断されるが，判断の根拠は表 1 の 5 つの因子 への判断として次のように記述できる: (因子 1) 項 が省略された場合にも補われるべき情報が定まる， (因子 2) 項の有無は構文的正しさに影響しない，(因子 3) 省略に伴う助詞機能の喪失によって文意が変化しない，(因子 4) 慣習的に省略される項ではない， (因子 5) 文章の流暢さから省略するのが自然. 最終的なラベルはこれらの因子への回答の組み合わせに よって選択される.この場合は，制約に関する因子 (1-4) の組み合わせからは制約としての判断は下さ れず，選好に関する因子（5）で項を省略すべきと 判断したため, 最終的に付与される省略の容認度は 「省略（選好）」となる。

実際の作業時には，その項がどのような潜在的要因を持ち，最終的にどの容認度のラベルが付与され るべきかを質問フローチャートに答えていく形で回答する.このフローチャートが因子に対する回答の 組み合わせから 5 値の容認度ラベルへの対応を定め ている. フローチャートの詳細は付録 $\mathrm{A}$ に示す.

## 2.2 作業手順とインターフェース

作業の具体的手順を説明する．回答には専用の ツールを用いた（付録 B に記載）。作業画面上には，図 1 に概略したように，特定の述語・項が強調され

た文とその前方文脈が提示される．作業者は画面の 上から順に文章を読解し，対象となる項がどの程度省略されるべきかを，その文を読んだ時点までの情報と事前に与えたアノテーション基準に沿って判断 する. 回答後に画面上の「次の問題」ボタンを押す と, 次の対象述語-項までの文章が表示される. 作業者は直前に読んだ文の続きから読み進め, 対象述語 まで読み進めたら問いに回答する作業を繰り返す。 2.1 節で説明した通り，コーパス上での実際の文は 省略判断時に提示されていないが，読み誤ったまま 回答し続ける状況を防ぐため, 判断終了後, 次の事例に進む時点でコーパス上に本来記述されていた文 が提示される. 文内に問うべき項が複数存在する場合は，無作為に1つを作業対象とした. また，既に 回答した事例を遡って回答し直すことは禁止した.

この作業を日本語母語話者 5 名により実施した.本研究では, 作業者数が 5 名と少数のため, 読解力 の水準を揃える目的で同一大学の学生を選出した.事前にアノテーション対象外の文章を用いて訓練作業を実施し，アノテーション基準や作業内容に対す る理解度を確認した後，本実施を行った。

## 2.3 アノテーション対象データ

述語項構造情報が付与されたコーパス，BCCWJDePParaPas [1] の書籍ドメイン 32 文章をアノテー ション対象とした. 対象となる述語-項ぺアのサン プリング手法は付録 C に示す. 同コーパスには文章中で省略されている項に照応関係及び格関係が付与 されているため，省略された項が何かを特定可能で ある.このデータを用いて，項を文中に強制的に表出させた状態でその項の省略可能性を作業者に問 う.この際，項が省略されていた場合は，文中のい ずれかの位置に表出させて作業者に提示する必要が ある. 項をどこへ復元すべきかの情報はコーパスに 付与されていないため, 事前準備として省略された 項をなるべく自然な位置に補った. 作業手順は付録 Dに記載する. 最終的に 1,054 事例の述語-項ぺアを 収集し，これにコーパス上で既に項が表出している ものを加えた 2,392 事例を今回の対象とした.

## 3 アノテーション結果

作業者間の判断の一致度 作業者の省略判断の一致度について, Krippendorff の alpha $^{3}$ ) の値が 0.84 と

3） 3 名以上かつ順序尺度に対応する一致度の尺度で，一般的 には alpha が 0.677 以上であれば高い一致度であるとされる。表 2 データセット内の判断ラベル分布

高く，判断が概ね一致することが確認された [6].

作業結果の集約とラベル分布の分析 得られた 5 名分の判断ラベルについて，省略判断の予測モデル を構築するため 1 つの代表ラベルに集約し，訓練・開発・評価データを作成した ${ }^{4)}$. 集約の際は，省略 （制約）<省略（選好）<判断不可 <表出（選好）<表出（制約）というラベル間の順序を仮定し，5 名 の回答の中央値を判断の代表値とした. 結果とし て，回答の集約時に中央値が「判断不可」に分類さ れる事例は 1 事例のみであったため, 今回の分析で はこの事例を除外し，以降は省略の程度を省略（制約），省略（選好），表出（選好），表出（制約）の 4 値として分析を行う.

集約後のデータセット内のラベル分布を表 2 に 示す. ラベルの割合は表出 (制約) が最も多く（約 45\%），制約と選好の間では制約の事例が全体の約 $75 \%$ を占め，選好の事例は $25 \%$ 程度となった. 加 えて，この集約後のラベルと各作業者のラベルの間 での混同行列を確認したところ (図 2 左), 作業者間の判断の摇れは主に隣接するラベルで見られ，離 れたラベルで摇れることは稀であることが分かっ た. また，表出と省略の間をまたぐ摇れは主に選好 に基づく判断で起こっていることが分かった.

コーパスと作業者判断の比較 読み手と書き手の 判断に差違があるかを分析するため，コーパス中で の表出・省略を正解とした場合に，作業者の判断の 中央値がこれと一致するかを確かめた. 結果とし て，作業者の結果を表出・省略の 2 値予測とみなし た場合のコーパスに対する正解率は 97.0\%であり，例外的な事例はあるにせよ，読み手である作業者と 書き手の省略選択は概ね一致することが示された。

## 4 実験：省略判断モデル

人間の省略判断を現行のニューラル言語モデルが どの程度予測可能か調査する.

図 2 開発データにおける作業者と言語モデルの混同行列. 左図は作業者 5 名の回答とその中央値の混同行列で,值は事例数の平均值. 右図は BERT-large の混同行列.

表 3 作業者間と言語モデルの判断性能 ( $F_{1}$ 値). 作業者間の値は，中央値を正解として各作業者の $F_{1}$ 値を求め, 5 人の値の平均を取ったもので，性能の上限値とみなせる.

## 4.1 実験設定

モデル言語モデルとして日本語 Wikipediaで事前学習済みの Transformer 言語モデル (BERT-basejapanese,BERT-large-japanese ${ }^{5)}$ )を用いた. 対象の述語-項ぺアを含む 1 文と，その前方文脈をモデルの入力とし, 省略判断の 4 カテゴリ \{省略（制約），省略 (選好)，表出（選好），表出（制約）\}の多値分類モ デルを訓練した. モデルの入力と訓練時のハイパー パラメータと詳細は付録 $\mathrm{E} と \mathrm{~F}$ に示す.

評価尺度上記 4 値を名義尺度として $F_{1}$ 值を計算した。順序を考慮した評価は今後の課題とする。

## 4.2 結果

作業者と言語モデルの比較作業者の判断を予測 するモデルを学習した結果を表 3 に示す. 制約によ り可否が定まる事例では相対的に性能が高く，一方 で選好により可否が定まる事例では, 人間の作業者間の $F_{1}$ 值と比べると，モデルの予測性能は劣るこ とが示された。

また，言語モデルの予測に関する混同行列を観察 したところ (図 2 右), 言語モデルでは離れたラべ ル間で選択を誤る事例が人間より多くなる傾向が見 られ, 特に人間が「表出（選好）」を選んでいる事例

に対して「表出 (制約)」のラベルを予測するケース が多く見られた。

要因ごとの分析人間の回答の判断根拠とモデル の正解事例との関連を分析し，言語モデルが予測可能な事例の性質を調査した。 (i) 省略されると補わ れるべき情報が定まらず（因子 1)，その場合に書き 手の意図が伝わらない（因子4）項と，（ii）省略され ても項が一意に定まる事例のうち（因子 1），表出ま たは省略により構文的妥当性が損なわれる（因子 2)項で正答率が高かった. 前者は新情報の項, 後者は 構文の容認性判断で判定される項であり，これらの 項への判断は概ね達成できていると示唆される.

## 5 関連研究

人間と計算モデルの対照 人間と計算モデル間 の判断の比較は, 文の容認性判断のモデリング $[7,8,9,10,11]$ などに始まり, 自然言語処理分野にお いて盛んに行われてきた. 本研究では言語モデルの 追学習で省略判断予測をしており, 言語学的な仮説 に直接答えるものではないが，作成したデータは計算モデルから得られる統計量 (情報量など) との対照 といった言語学的検証にも活用できる.

省略解析 典型的な省略解析 $[12,13,14]$ は，与え られた文の項省略を検知し，省略されている情報を 復元するという問題設定である. 本研究は, 文章中 のある項を省略・表出させるべきかという，実際の 言語運用に焦点を当てた問題設定を導入している。

## 6 おわりに

本研究では，日本語母語話者の項省略判断につい て，コーパスの事例を元に 2,392 事例のデータを収集した.また，このデータを元に項省略判断モデル を構築し, 現行のニューラル言語モデルが人間の判断を予測できるかを分析した.

今回収集したデータは作業者数が 5 名であり，作業者間の判断の差違をより詳細に分析するには至ら なかったが，今後データ規模を拡大し，選好に基づ く判断の摇れについてその因子を分析することや，個人の読解力の差違による判断の摇れの分析，書き 手の文章記述力の差による書き手と読み手の判断 のずれ等の分析も検討していきたい. また，モデル の予測性能を向上させることで，省略判断の予測に 基づく文章の可読性評価や，日本語文章執筆支援と いった技術の開発を目指したい.

## 謝辞

本研究は科研費 JP19K12112 の助成を受けたもの です.

## 参考文献

[1] 浅原正幸, 大村舞. Bccwj-depparapas: 『現代日本語書 き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会第 22 回年次大会発表論文集, pp. 489-492, 2016.

[2] Satoshi Oku. A theory of selection and reconstruction in the minimalist perspective. University of Connecticut, 1998.

[3] Mamoru Saito. Notes on east asian argument ellipsis. LANGUAGE RESEARCH, Vol. 43, pp. 203-227, 2007.

[4] Serkan Sener and Takahashi Daiko. Argument ellipsis in japanese and turkish. MIT Working Papers in Linguistics 61 : Proceedings of the 6th Workshop on Altaic Formal Linguistics : Department of Linguistics and Philosophy. MIT, pp. 325-339, 2010.

[5] Yuta Sakamoto. Phases and argument ellipsis in japanese. Journal of East Asian Linguistics 2016 25:3, Vol. 25, pp. 243-274, 72016.

[6] Klaus Krippendorff. Computing krippendorff's alphareliability. 2011.

[7] Sebastian Schuster and Tal Linzen. When a sentence does not introduce a discourse entity, transformer-based models still sometimes refer to it. In North American Chapter of the Association for Computational Linguistics, 2022.

[8] James A. Michaelov and Benjamin K. Bergen. Do language models make human-like predictions about the coreferents of italian anaphoric zero pronouns? In International Conference on Computational Linguistics, 2022.

[9] Allyson Ettinger. What bert is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 12020.

[10] Shiva Upadhye, Leon Bergen, and Andrew Kehler. Predicting reference: What do language models learn about discourse models? In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 977-982, Online, November 2020. Association for Computational Linguistics.

[11] Riki Fujihara, Tatsuki Kuribayashi, Kaori Abe, Ryoko Tokuhisa, and Kentaro Inui. Topicalization in language models: A case study on Japanese. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 851-862, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[12] Ryuto Konno, Yuichiroh Matsubayashi, Shun Kiyono, Hiroki Ouchi, Ryo Takahashi, and Kentaro Inui. An empirical study of contextual data augmentation for Japanese zero anaphora resolution. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4956-4968, Barcelona, Spain (Online), Decem- ber 2020. International Committee on Computational Linguistics.

[13] Nobuhiro Ueda, Daisuke Kawahara, and Sadao Kurohashi. BERT-based cohesion analysis of Japanese texts. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1323-1333, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[14] Ryuto Konno, Shun Kiyono, Yuichiroh Matsubayashi, Hiroki Ouchi, and Kentaro Inui. Pseudo zero pronoun resolution improves zero anaphora resolution. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3790-3806, 2021.

## A フローチャート

図 3 アノテーション時に使用したフローチャート

2.1 節で説明する因子に基づいた判断アノテーションを 実現するにあたり，各因子に対応する質問項目への回答 の組み合わせから最終的な省略の程度ラベルを決定する 質問フローチャートを作成した (図 3).フローチャート内 のノードは各因子に対応した質問であり，その回答結果 により次の質問項目が定まるという形式で因子間の依存関係が表現される。最終的に辿り着く終端記号は 5 つの 省略の程度ラベルのいずれかに対応する. フローチャー 卜上の終端記号は，各質問項目への回答の履歴を弁別出来るように便宜上それぞれ異なるアルファベットを割り 当てている．例えば，「項が省略された場合に補われるべ き情報が定まり (解釈可能性)，かつ，項を表出すると構文的に不適切である（構文的妥当性）から，省略の程度は 『省略（制約）』」という判断となる事例は，実際の作業時 にはフローチャートの上から $\mathrm{Q} 1 \rightarrow \mathrm{YES} \rightarrow \mathrm{Q} 2 \rightarrow \mathrm{YES} \rightarrow$ A というパスを辿り，結果として「省略（制約）」のラべ ルが割り当てられる。

## B 作業ツール

図 4 に作業者が利用する作業ツールの実際の画面を示 す. 画面上部には記事 ID，事例 ID，対象となる述語-項ぺ アの情報が示され，画面下部には特定の述語・項が強調 された文とその前方文脈が提示される．作業者は，現在 の事例への判断を終えた後，画面右上にある「 $\rightarrow$ ボタン を押すことで次の対象述語-項に進む. 事例を遡るための ボタンはタスクの制約上存在しない。

図 4 実際の作業画面の例

## C アノテーション対象

本研究ではコーパス上に出現する項のうち，ガ格，ニ 格，ヨ格の項を対象とし，述語については和語の用言を対象とした (「サ変名詞+する」は対象に含まない)。また，機能性の強い述語（ある，なる，やる）を予め除外してい る. 元コーパスでは 1 文の中に複数の述語が含まれる場合があるが，2.1 節や 2.2 節で記したように，作業者に元 コーパスの文と，省略された項を補った文の双方を見せ る可能性が存在する都合上，アノテーション対象の項が 1 文に対して 1 つとなるようにサンプル数を制限した. 1 文 に複数の述語が存在する場合には無作為に対象となる述語と項のペアを決定した。

## D 省略されている項の補填作業

コーパス上で省略されている項を文中に補填する作業 は，省略判断を行う作業者と異なる言語学専攻の大学生 2 名で行い，作業者間の合意のもと挿入位置・表出形を一意に定めた. さらに，別の作業者 1 名によって，この項 の挿入によって不自然な文章となった事例を取り除いた。

## E＼cjkstart言語モデルへの入力系列

使用した 2 つのモデルの入力最大系列長にあわせ，対象述語-項を含む 1 文を入力の最終文とし，この文の文末 から遡って系列長がサブワード 512 トークンとなるよう に前方文脈の単語系列を定めた. 入力系列中では，対象述語と項のトークン列の前後を，それぞれ特殊トークン <unused0>,<unused1> で囲むことで，判断対象となる述語 と項の位置を表した。

## F ハイパーパラメータ

追学習には 4 つの GPU（NVIDIA RTX A6000）を用 いた. BERT-base モデルのバッチサイズは 16 , 学習率は $3 \mathrm{e}-05$, BERT-large モデルのバッチサイズは 8 , 学習率は $5 \mathrm{e}-05$ とした. エポック数については，開発データに対 する損失関数の値が 3 エポック連続で改善しない場合 には早期終了するよう設定した。その他のハイパーパラ メータは Hugging Face Transgformers $の$ TrainingArguments クラズ のデフォルト值に従う.

6) https://huggingface.co/docs/transformers/ main_classes/trainer


# 汎用言語モデルは日本語の助数辞を理解しているか

小谷野華那 ${ }^{1}$ 谷中瞳 ${ }^{2}$ 峯島宏次 ${ }^{3}$ 戸次大介 ${ }^{1}$
1 お茶の水女子大学 2 東京大学 3 慶應義塾大学
\{koyano.kana, bekki\}@is.ocha.ac.jp hyanaka@is.s.u-tokyo.ac.jp
minesima@abelard.flet.keio.ac.jp

## 概要

日本語には，様々な数量表現の出現形式や助数辞 があり，言語学の理論的研究の対象となっている.英語や日本語で，言語学の分析に基づいた数量表現 コーパス，推論データセットが構築され，汎用言語 モデルが数量表現の理解を必要とする推論をどの程度扱えるかの分析が進められている。しかし，現在 の汎用言語モデルには, 数量表現の推論の扱いに課題がある可能性が示唆されている. 本研究では，そ の原因の一つとして，汎用言語モデルの事前学習時 に，数量表現の振る舞いが正しく学習されないとい う仮説を立て，助数辞がマスクされたテストセット を構築し, 汎用言語モデルが助数辞を正しく予測す るかを調査する．実験の結果，予測結果はテスト文 に含まれる他の数量表現の影響を受けており, 汎用言語モデルは，数量表現の意味を正しく捉えられて いない可能性があることを示した.

## 1 はじめに

日本語には様々な数量表現の出現形式や助数辞があり, 言語学の理論的な研究が進んでい る $[1,2,3,4,5]$. さらに, 日本語の助数辞の違いは,推論に影響を与える。次の例の (1)と (2)は，それ ぞれ「人」「名」という助数辞を含んでいるが，この 2 つの助数辞はどちらも人数を表す助数辞であるた め，(1)と（2）の間には含意関係が成立する。一方， （3）は，「箱」という助数辞を含んでおり，この助数辞は人数を表す助数辞ではないため，（1）と（3）の 間では含意関係が成立しない。

(1) ペットボトルが 3 人分ある.

(2) ペットボトルが 3 名分ある.

(3) ペットボトルが 3 箱分ある.

Koyano et al. [6] では，言語学における日本語の数量表現に関する理論を整理し，日本語の実テキストに 含まれる数量表現にアノテーションを行い，数量表現コーパスを構築した。さらに，数量表現コーパス から数量表現に関する自然言語推論データセットを 構築し, 汎用言語モデルが数量表現の理解を必要と する推論をどの程度予測できるかを調査する実験と 分析を行い，現在の汎用言語モデルは数量表現の推論に課題を残していることを示唆した.

本研究では, 汎用言語モデルにおけて数量表現を 含む推論に課題がある原因として，事前学習時に数量表現の振る舞いが正しく学習されていないという 仮説を立てる。この仮説を検証するために，Koyano et al. [6] の数量表現コーパスを用いて，助数辞をマ スクしたテストセットを構築する。このテストセッ トを用いて，マスクした箇所に入る助数辞を正しく 予測しているかどうかを調査する．汎用言語モデル が正しい助数辞を予測できていれば，助数辞の前後 の文脈は正しく捉えられていると考えられる. そし て, 実験結果から, 汎用言語モデルが日本語の数量表現の助数辞をどの程度捉えられているかを分析 する。

## 2 日本語の数量表現コーパス

Koyano et al. [6] では, NPCMJ [7] から数量表現を 含む文を抽出し，126 文に含まれる 278 件の数量表現にアノテーションを行うことで数量表現コーパス を構築した。この数量表現コーパスでは，数量表現 を 2 つ以上含む文，否定表現または条件節を含む数量表現を 1 つ以上含む文に対して，助数辞，出現形式，用法のアノテーションを行なっている.

助数辞の分類 Koyano et al. [6] では, 飯田 [1,2] による分類辞，単位形成辞，計量辞と，奥津 [3] に よる順序数辞の 4 分類を採用している. 各助数辞の 例と数量表現コーパスに含まれる件数を付録表 8 に 示す.

分類辞には，助数辞単体では使用されないもの (「人」「頭」), 複数の人やものに対して使用される もの (「組」), 汎用的な助数辞（「個」「つ」）が含ま

れる. 単位形成辞は, 何らかの容器を表す普通名詞 (「箱」「セット」) であり, 助数辞としてではなく単独で用いることが可能である。また，より大きなも のの一部を表す助数辞（「切れ」）も含まれる．計量辞は, 重さや距離を表す単位 (「キロ」), 長さを表す 単位 (「メートル」) など，測定のための単位を表す 助数辞である. 順序数辞は, 時間 (「日」「分」) や順序 (「番」「位」)を表す助数辞である. 順序数辞を含 む数量表現は，修飾する名詞が文中に現れないこと が多く, むしろ数量表現自体が名詞としての役割を 果たすといった特徵がある。

数量表現の出現形式 数量表現の出現形式は, 名詞を修飾する数量表現，動詞を修飾する数量表現に よって文中に現れる位置が異なる。また，名詞を修飾する数量表現は，同じ状況を表す文でも，文脈に よって名詞の前に位置する場合（「3人の学生」）や 後ろに位置する場合（「学生 3 人」）などがあり, 出現形式は多様である. Koyano et al. [6] では, 岩田 [5] が用いた 6 タイプと，動詞を修飾する数量表現，イ ベント名詞句を修飾する数量表現, 修飾する名詞が 文中に現れない数量表現, 数量表現を修飾する数量表現，()内の数量表現，イディオム的な数量表現に ついて，6タイプの出現形式を作成し，計 12 タイプ に分類している.

数量表現の用法 数量表現の用法は, 名詞を修飾 する数量表現について, 岩田 [5] が研究対象として いた 1 タイプに 3 タイプを追加した 4 タイプを作成 し，動詞を修飾する数量表現については 4 タイプを 作成している. さらにイベント名詞句を修飾する数量表現, 数量表現を修飾する数量表現, イディオム 的な用法についてのタイプを作成し，計 11 タイプ に分類している。

## 3 実験

## 3.1 テストセット

Koyano et al. [6] の数量表現コーパスの 151 件の数量表現の助数辞をマスクし, テストセットを作成す る. (4) は数量表現コーパス内に含まれる文の例で あり，(5) は構築したテスト文の例である. 数量表現コーパスは，(4)のように<num>タグで囲まれてい る数量表現に対して, 助数辞, 出現形式, 用法がア ノテーションされている. (4) の助数辞は「人」であ るため，この部分を (5)のように [MASK] に置き換 え，<num>タグが無い形式の文を作成する.
(4) 施設の周辺に滞在する外国人研究者や職員は 常時約<num> 3000 人</num>，その家族も 含めると約 1 万人規模の人口増加となる.

(5) 施設の周辺に滞在する外国人研究者や職員は 常時約 $3000[\mathrm{MASK}]$, その家族も含める と約 1 万人規模の人口増加となる.

さらに，各テスト文に対して，正解の助数辞と正解とは異なる助数辞（誤りの助数辞）のペアを作成する. (5) の正解の助数辞は, (4) の助数辞である 「人」とし, 誤りの助数辞は, 同じ分類であるが (5) の [MASK] に入れると意味的に不自然となる助数辞 とする.この例では，「本」を誤りの助数辞とする.誤りの助数辞は, $[\mathrm{MASK}]$ に入れると意味的に不自然になる助数辞を全て人手で選び，テストセットを 構築する。

## 3.2 実験設定

3.1 項で構築したテストセットを用いて，汎用言語モデルが助数辞を正しく予測することができるか を分析する．マスクされた箇所に対する正解の助数辞と誤りの助数辞のそれぞれの予測確率を計算す る. そして，誤りの助数辞よりも正解の助数辞に対 して高い確率で予測した数の割合を正答率として算出して分析する. マスクされた箇所に入る助数辞を 正しく予測しているかという実験は，自然言語推論 タスクとは異なりファインチューニングを行わない で実験を行うため，より直接的に事前学習で何を学習しているのか評価できる手法である.

現在の標準的な汎用言語モデルが助数辞を正しく 予測することができるかを評価するために，東北大 BERT $^{1)}$ と早大 RoBERTa $^{21}$ の評価実験を実施した.

## 3.3 実験結果と考察

東北大 BERT と早大 RoBERTa を用いた評価実験 の助数辞ごとの正答率を表 9 , 数量表現の出現ごと の正答率を表 4, 用法ごとの正答率を表 5 に示す. (テストセットに含まれる各タイプの統計情報は付録表 8 を参照)

助数辞ごとの正答率では, 東北大 BERT と早大 RoBERTa のどちらも単位形成辞の正答率がやや低 いものの，全体としては東北大 BERT は $89.00 \%$, 早大 RoBERTa は $94.04 \%$ と高い正答率だった. 数量表

東北大 BERT が正しい助数辞よりも誤りの助数時を高い確率で予測した例。（）内はモデルの予測確率を示す. テスト文正しい助数辞 誤りの助数辞

(a) これは何を意味するかというと，ある一 [MASK] の産業分野は 必ず一社独占化の道を進む，つまり学問に基づいた本物の技術を作った企業つ(13.72) 社（14.82） （多くの場合，得意技術の異なる複数の連合体）が勝つということである.

(b) 帝国データバンク仙台支店が昨年 12 月下旬に公表した景気見通し調査では, 14 [MASK]を「回復局面」とする企業は $18.4 \%$.

(c) チリは $2[\mathrm{MASK}]$ 連続の再選が禁止され，4年ごとに大統領が代わる.年 $(12.49) \%(12.92)$ チリは 2 期連続の再選が禁止され，4 [MASK] ごとに大統領が代わる.期（17.82）年 (19.28)

(d) 国道38号では赤信号で 1 [MASK] ほど足止めを余儀なくされた.

年（15.60）期（17.17）

分（13.28） ヶ月（17.17）

表 2 早大 RoBERTa が正しい助数辞よりも誤りの助数時を高い確率で予測した例

現の出現形式，用法ごとの正答率は，東北大 BERT はイディオムのみ正答率が低く，その他のタイプで は 8 割以上の正答率だった. 早大 RoBERTa の出現形式，用法ごとの正答率は，どのタイプも高かった.

東北大 BERT が正しい助数辞よりも誤りの助数辞 を高い確率で予測した例を表 1 に示す。（a)は，数量表現の出現形式，用法がイディオムの例である. こ の文の [MASK] の箇所は「ある一つ」というイディ オム的な数量表現であるため,「つ」が正解の助数辞である。この文の「一つ」という数量表現は，数詞を変更すると非文（「ある二つ」は非文）となる ため，イディオムというタイプが付与されている. (a)では，マスクされている箇所の他に「一社」と いう同じ数詞「一」を持つ数量表現が含まれている ため，マスクされている箇所の助数辞として「社」 を高い確率で予測した可能性がある。(b) も同様に，誤りの助数辞「\%」が文内のマスクされた箇所より 後に現れる数量表現「18.4\%」に含まれており，そ の助数辞を正しい助数辞よりも高い確率で予測して いることから，テスト文に含まれる別の数量表現か ら助数辞を予測している可能性がある.

(c)の 1 つ目の例は, $[\mathrm{MASK}]$ に誤りの助数辞「年」 が入った場合「2 年連続の再選が禁止され」となり， この節においては自然な文に見えるが，後続の節を 含めた文では，意味が通らない文になってしまう ((c)の 2 つ目の例も同様). このことから, 東北大 BERT は長い文の意味（節の間の意味関係）を正し く捉えられていない可能性がある.

(d) は，正解の助数辞, 誤りの助数辞ともに時間 （期間）に関する助数辞であるが，人間なら「赤信号 で 1 ヶ月も足止めされることはない」と容易に推測表 3 助数辞ごとの評価実験の結果（正答率）

することができ，「赤信号で 1[MASK] ほど足止めを 余儀なくされた」の助数辞は「分」もしくは長時間 でも「時間」であると推測することができる。しか し，東北大 BERT は「ヶ月」を高い確率で予測して いることから，文脈から時間に関する数量表現だと いうことは予測できても，時間的な常識である時間 の尺度まで考慮して推測することは難しいと考えら れる。

早大 RoBERTa が正しい助数辞よりも誤りの助数辞を高い確率で予測した例を表 2 に示す。（e) は 表 1(c)の 1 つ目の例と同じテスト文である．早大 RoBERTa でも東北大 BERT と同じょうに，誤りの助数辞が文内のマスクされた箇所と異なる数量表現に 含まれているとき，その助数辞を正しい助数辞より も高い確率で予測することがあった。

(f) は，正解の助数辞より誤りの助数辞のほうが高 い確率で予想されているが，どちらも予測確率が低 かった.このテスト文では「です」「ます」といった 助動詞や「が」「の」などの助詞の確率が高かった. このテスト文にはマスクされている箇所以外に数量表現がなく，別の数量表現から予測することができ ないため，助数辞が予測結果の上位にならない可能性がある。
表 4 出現形式ごとの評価実験の結果（正答率）

表 5 用法ごとの評価実験の結果（正答率）

## 4 関連研究

英語における数量表現の研究として，言語モデル の数量表現の扱いに関する調査 [8]がある. Cui et al. [8] は, 多言語で事前学習された言語モデルが, 英語 における様々な数量表現を含む一般化量化子の振る 舞いをどの程度捉えることができるかについて，一般化量化子の理解に特化したベンチマーク GQNLI を構築し，調査を行った．GQNLI で言語モデルを 評価した結果, 言語モデルの最高精度は $48 \%$ であっ た. NLI モデルや質問応答モデルの性能改善におい て，一般化量化子を捉えられないことが課題の一つ となっていることを示した. 日本語における数量表現を扱った研究として, Narisawa et al. [9] による数量表現を含む自然言語推論を解くための実装と評価 がある. Narisawa et al. [9] は，日本語の含意関係認識において数量表現が問題になる事例に焦点を当て 分析を行い，数量表現の規格化のための実装と評価 を行った. Narisawa et al. は，数量表現が出現する文 ペアを 7 つのカテゴリに分類し，正しく含意関係を 判定するために必要な処理について述べている.
マスク穴埋めタスクで汎用言語モデルの分析を 行った先行研究として, 英語では, 事前学習済み言語モデルが否定表現と偽のプライミング（ひっか け）の扱いに課題があることを示した研究 [10] が ある. Kassner et al. [10] は，事前学習済み言語モデ ルが否定表現を理解しているかを分析するために， Birds can [MASK], Birds cannot [MASK] といった, 否定表現を含まない文と含む文を用いて，マスクされ た箇所の上位 3 件の予測単語を調査した. その結果，どちらの文でも同じ単語（上記の例では $f y$ ）が 上位となることから，言語モデルは否定表現を理解 できていないことを示唆した。また，事前学習済み 言語モデルがひっかけの影響を受けるかを分析する ために, Lexus is owned by [MASK], Microsoft? Lexus is owned by [MASK] といった，ひっかけを含めた文 を作成し，マスクされた箇所の上位 3 件の予測単語を調査した. その結果，ひっかけを含む文では， ひっかけ自体やひっかけに関連する単語 (Microsoft, Google) が正解の単語 (Toyota) よりも高い確率で予測されている傾向があることから，言語モデルの単語の予測結果は，ひっかけの影響を受けていること を示した。

## 5 おわりに

本研究では，汎用言語モデルにおいて数量表現を 含む推論の扱いに課題がある原因として，事前学習時に数量表現の振る舞いを正しく学習できていない という仮説を立てた.この仮説を検証するために， Koyano et al. [6] の数量表現コーパスを用いて，助数辞をマスクした文のテストセットを構築し，汎用言語モデルの評価実験を行なった．その結果，汎用言語モデルは 8 割以上の助数辞を正しく予測した。一方で，節の間の意味関係を考慮した単語の予測に は，まだ課題があることを確認した．また，言語モ デルの単語の予測結果は, 文中に現れる他の数量表現や単語の影響を受けており，英語での研究におい て指摘のあった，事前学習済み言語モデルがひっか けの影響を受けるという現象が，日本語数量表現に おいても存在することを確認した。

今後，汎用言語モデルにおける数量表現の扱いの 課題についてさらに調査し, 言語学の理論に基づく 数量表現の分類と推論の関係性や，推論における数量表現のひっかけの影響について分析を進める.

## 謝辞

本研究は JST CREST JPMJCR20D2，JST さきがけ

JPMJPR21C8 の助成を受けたものである.

## 参考文献

[1] 飯田隆. 日本語と論理. NHK 出版, 2019.

[2] Takashi Iida. Japanese semantics and the mass/count distinction. Chungmin Lee, Young-Wha Kim and ByeongUk Yi (eds.), Numerals Classifiers and Classifier Languages (Routledge), pp. 72-97, 22021.

[3] 奥津敬一郎. 拾遺日本文法論. ひつじ書房, 1996.

[4] 矢澤真人. 数量の表現. 金田一春彦, 林大, 柴田武 （編）, 日本語百科事典. 大修館書店, 1988.

[5] 岩田一成. 日本語数量詞の諸相. くろしお出版, 2013.

[6] Kana Koyano, Hitomi Yanaka, Koji Mineshima, and Daisuke Bekki. Annotating Japanese numeral expressions for a logical and pragmatic inference dataset. In Proceedings of the 18th Joint ACL - ISO Workshop on Interoperable Semantic Annotation, 2022.

[7] NINJAL. NINJAL Parsed Corpus of Modern Japanese. (Version 1.0). 2016. https://npcmj.ninjal.ac.jp/.

[8] Ruixiang Cui, Daniel Hershcovich, and Anders Søgaard. Generalized quantifiers as a source of error in multilingual NLU benchmarks. In Proc. of NAACL, 2022.

[9] Katsuma Narisawa, Yotaro Watanabe, Junta Mizuno, Naoaki Okazaki, and Kentaro Inui. Is a $204 \mathrm{~cm}$ man tall or small? acquisition of numerical common sense from the web. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 382-391, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[10] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7811-7818, Online, July 2020. Association for Computational Linguistics.
表 6 早大 RoBERTa の予測結果の上位 10 件に正解の助数辞が含まれない例

表 7 東北大 BERT の予測結果の上位 10 件に正解の助数辞が含まれない例

 \\

表 8 各助数辞の例と数量表現コーパスに含まれる件数

## A 付録：上位 $\mathrm{N$ 件の予測結果}

汎用言語モデルの予測結果の上位 1 件，上位 3 件，上位 5 件，上位 10 件に正解の助数辞が含まれる 確率を表 10 に示す.どの結果も早大 RoBERTa が東北大 BERT よりも正答率が高かった. 東北大 BERT の予測結果では，上位 10 件で予測結果に正解の助数辞が含まれる確率が $90 \%$ を超えるのに対し，早大 RoBERTa の予測結果では, 上位 3 件で予測結果に正解の助数辞が含まれる確率が $90 \%$ を超えるという結果となった.表 9 助数辞, 出現形式, 用法ごとの統計情報

表 10 上位 $\mathrm{N}$ 件に正解の助数辞が含まれる確率


# A resource of sentence analogies on the level form extracted from corpora in various languages

Rashel Fam Yves Lepage
早稲田大学大学院 情報生産システム研究科
fam.rashel@fuji.waseda.jp yves.lepage@waseda.jp
}

\begin{abstract}
Word analogy datasets are commonly used to assess the quality of word embeddings. As the NLP tasks are going more and more towards sentences and beyond, vector representation of these units is becoming more and more vital to the performance of the system. However, there are not so many datasets available for sentence analogy. In this paper, we release a resource of analogies between sentences extracted from two corpora: Tatoeba and Multi30K. The analogies are extracted in various European languages.
\end{abstract
## 1 Introduction

I like coffee : I like tea :: I like hot coffee : I like hot tea $\Leftrightarrow$

I like hot coffee : I like hot tea :: I like coffee : I like tea $\Leftrightarrow$

I like coffee : I like hot coffee :: I like tea : I like hot tea

Figure 1 Examples of analogy on sentences with their equivalent analogies derived from properties of analogy mentioned in Section 1: symmetry of conformity and exchange of the means.

Analogy is a relationship between four objects: $A, B$, $C$ and $D$ where $A$ is to $B$ as $C$ is to $D$. It is noted as $A: B:: C: D$. As our work relates to strings, $A, B, C$ and $D$ are all strings (sequence of characters). This notation means that the ratio between $A$ and $B$ is similar to the ratio of $C$ and $D$. In another way, an analogy is a conformity of ratios between the four strings, as shown in Formula (1). Figure 1 gives examples of analogy between sentences.

$
A: B:: C: D \stackrel{\Delta}{\Longleftrightarrow}\left.\{\begin{array}{l}
A: B=C: D \\
A: C=B: D
\end{array}\right.
$

In this paper, we adopt the definition of formal analogies between strings of symbols as found in $[1,2,3]$.

## 2 Number of analogies in a text and analogical density

We address the theoretical problem of counting the total number of analogies in a given text. The following section will introduce two main metrics used in this work.

## 2.1 Analogical density

The analogical density $\left(D_{n l g}\right)$ of a corpus is defined as the ratio of the total number of analogies contained in the corpus $\left(N_{n l g}\right)$ against the total number of permutations of four objects that can be constructed by the number of sentences $\left(N_{s}\right)$.

$
D_{n l g}=\frac{N_{n l g}}{\frac{1}{8} \times N_{s}^{4}}=8 \times \frac{N_{n l g}}{N_{s}^{4}}
$

The factor $1 / 8$ in the denominator comes from the fact that there exist 8 equivalent forms of an analogy due to two main properties of analogy:
- symmetry of conformity: $A: B:: C: D \Leftrightarrow C: D::$ $A: B$, and
- exchange of the means: $A: B:: C: D \Leftrightarrow A: C::$ $B: D$.

## 2.2 Proportion of sentences appearing in analogy

We count the number of sentences appearing in at least one analogy $\left(N_{s \_n l g}\right)$ and take the ratio with the total number of sentences in the corpus $\left(N_{s}\right)$ to get the proportion of sentences appearing in at least one analogy $(P)$.

$
P=\frac{N_{s \_n l g}}{N_{S}}
$

## 3 Original corpora

We consider two corpora to use in this work, Tatoeba and Multi30K. These two corpora are available on the web and
already heavily used by the natural language processing community.
- Tatoeba ${ }^{1)}:$ is a collection of sentences that are translations provided through collaborative works online (crowd-sourcing). It covers hundreds of languages. However, the amount of data between languages is not balanced because it also depends on the number of members who are native speakers of that language. Sentences contained in Tatoeba corpus are usually short. These sentences are mostly about daily life conversations.
- Multi30K ${ }^{2)}[4,5,6]$ : is a collection of image descriptions (captions) provided in several languages. This dataset is mainly used for multilingual image description and multimodal machine translation tasks. It is an extension of Flickr30K [7] and more data is added from time to time, for example, $\mathrm{COCO}$ datase $^{3}$ ).

Table 1 provides the statistics on Tatoeba and Multi30K. As an overview, Multi30K has two times number of tokens in a sentence in comparison to Tatoeba, These two corpora can be characterised based on the diversity of the context of the sentence it contains. Multi30K is a corpus with diverse contexts. In comparison to that, sentences contained in Tatoebaare less diverse. Tatoeba is mostly about daily life conversation. We expect that corpus with less diversity of context will share words between sentences more often. Thus, it will have more analogies and higher analogical density.

Let us now compare the statistics between languages. English has the lowest number of types. Finnish, Polish and Czech always have the highest number of types for around two times higher than English across the corpora. We can observe that language with poor morphology has fewer of types and hapaxes. On the contrary, languages with high morphological richness have less number of tokens due to richer vocabulary. These languages also tend to have longer words (in characters). One can easily understand that with richer morphological features we will have a higher vocabulary size. The consequence of this is that the words will be longer. We also observe that a higher number of types means lesser words to repeat (higher Type-Token-Ratio). Thus, the number of tokens

will be lower.

However, we also see that there are some interesting exceptions. In this case, French and German. French has a higher number of tokens than English despite having a higher vocabulary size. The high number variety of function words (propositions, articles, etc.) in French is probably one of the explanations of this phenomenon. As for German, it has a pretty high average length of type in comparison to other languages. This is maybe caused by words in German are originally already longer. German is known to glue several words as a compound word.

## 4 Newly created sentence analogy dataset

## 4.1 Extraction of analogies

To extract analogies from a corpus, we rely on an already existing tool described in [8]. It relies on the equality of ratios as the definition of analogy.

Each sentence in the corpus is represented as a vector shown in Formula (4). We use the notation $|S|_{c}$ which stands for the number of occurrences of token $c$ in string $S$. The number of dimensions of the vector is the size of the alphabet or the vocabulary, depends on the tokenisation scheme (See Section 4.2).

$
A \triangleq\left(\begin{array}{c}
|A|_{t_{1}} \\
|A|_{t_{2}} \\
\vdots \\
|A|_{t_{N}}
\end{array}\right)
$

The conformity between ratios of strings is defined as the equivalent between the two vectors of ratios. See Formula (5).

$
A: B:: C: D \quad \stackrel{\Delta}{\Longleftrightarrow}\left.\{\begin{array}{l}
A: B=C: D \\
A: C=B: D
\end{array}\right.
$

Pairs of strings representing the same ratio can be grouped as an analogical cluster. Please refer to Formula (6). Notice that the order of string pairs has no importance.

$
\begin{array}{ccc}
A_{1}: B_{1} & & \\
A_{2}: B_{2} \\
\vdots & \stackrel{\Delta}{\Longleftrightarrow} & \forall(i, j) \in\{1, \ldots, n\}^{2}, \\
A_{i}: B_{i}:: A_{j}: B_{j}
\end{array}
$

Table 1 Statistics on Tatoeba and Multi30K.

Table 2 Example sentences (lowercased and tokenised) randomly chosen from corpora used in the experiment. Sentences contained in the same corpus are translations of each other in the other languages.

## Example sentences

 &  \\

## 4.2 Tokenisation schemes

The sentence is tokenised using different tokenisation schemes: character, sub-word and word. For sub-word ${ }^{4)}$, we use two popular sub-word models: unigram language model (unigram) [9] and byte-pair-encoding (BPE) [10].

4) github.com/google/sentencepiece
The delimiter used to separate tokens is the space. Underscores denote spaces in the original sentence. The vocabulary size used here for unigram and BPE is 1,000 (1k).

## 4.3 Statistics on the newly created dataset

Each of the corpora is tokenised using four different tokenisation schemes: character, BPE. unigram and word. On top of that, we performed masking with both methods: the least frequent and most frequent. Ablation experiments are carried out on all corpora in six languages depending on the language availability of the corpus.

In this paper, we decided to carry out the experiment on both Tatoeba and Multi30K as these corpora have a different range on both formal and semantic levels. On the formal level, sentences in Tatoeba are short and similar to one another. Multi30K contains more diverse and longer sentences. On the level of semantics, as mentioned in Section 3, Tatoeba contains sentences that focus on the theme of daily conversation. Multi30K, which contains image captions, has a wider range of topics.

Figure 2 (top-left) shows the number of analogical clusters extracted from the corpora with various tokenisations in English. Tatoeba has the highest number of clusters. This meets our hypothesis. It is also reflected in the num-

Tokenisation

Tokenisation

Figure 2 Number of clusters (top-left) and analogies (top-right) extracted from the corpora in English. Below that, Analogical density (bottom-left) and the proportion of sentences appear in analogy (bottom-right) for the corpora in English. Please notice the logarithmic scale on the ordinate for analogical density ( nano (n): $10^{-9}$, pico (p): $10^{-12}$, femto (f): $10^{-15}$. ). The tokenisation schemes on the abscissae are sorted according to the average length of tokens in ascending order.

ber of analogies (top-right). Tatoeba has about 10 times more analogies than Multi30K.

Figure 2 (bottom-left) shows the results on the analogical density of the corpora with various tokenisations. We can immediately observe that Tatoeba corpus steadily has the highest analogical density in comparison to the other corpora. The difference is also pretty far. For example, the gap is around $10^{3}$ between Tatoeba and Multi30K, even more than $10^{5}$ for Europarl. This shows that Tatoeba corpus is really denser than the other corpora despite having the smallest number of sentences. Remember, we have different numbers of sentences between corpora.

Although it is not visible from the graph, we observed that the density slightly gets lower from tokenisation in character towards words. For subword tokenisation, we found that unigram consistently has higher analogical density than BPE on the same vocabulary size. This is probably caused by the unigram having a shorter token length which allows a higher degree of freedom in commutation between tokens.

Similar trends can also be observed in the proportion of analogical sentences. Tatoeba is ten times higher than Multi30K which proves our hypothesis that a corpus which contains similar sentences will have a higher proportion of analogical sentences. As for the tokenisation scheme, we also found that the proportion decreases toward word tokenisation.

## 5 Conclusion

We produced a resource of analogies between sentences extracted from two different corpora, Tatoeba and Multi30K. Both corpora have different characteristics, the one contains mostly daily life conversations, and the other contains a collection of image captions. We also performed experiments in measuring the analogical density of various corpora in various languages using different tokenisation schemes. Corpora with a higher Type-Token-Ratio tend to have higher analogical densities. We naturally found that the analogical density goes down from character to word. We hope the release of such a resource will allow a better way to evaluate the quality of sentence embeddings.

## Acknowledgment

This work was supported by a JSPS grant, number 18K11447 (Kakenhi Kiban C), entitled "Self-explainable and fast-to-train example-based machine translation".

## References

[1] Yves Lepage. Solving analogies on words: an algorithm. In Proceedings of the 17th international conference on Computational linguistics (COLING 1998), Vol. 1, pp. 728734. Association for Computational Linguistics, 1998.

[2] Nicolas Stroppa and François Yvon. An analogical learner for morphological analysis. In Proceedings of the Ninth Conference on Computational Natural Language Learning (CoNLL-2005), pp. 120-127, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[3] Philippe Langlais and François Yvon. Scaling up analogical learning. In Coling 2008: Companion volume: Posters, pp. 51-54, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[4] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German Image Descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74. Association for Computational Linguistics, 2016.

[5] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the Second Shared Task on Multimodal Machine Translation and Multilingual Image Description. In Proceedings of the Second Conference on Machine Translation, Volume 2: Shared Task Papers, pp. 215-233, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 304-323, 2018.

[7] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. Transactions of the Association for Computational Linguistics, Vol. 2, pp. 67-78, 2014.

[8] Rashel Fam and Yves Lepage. Tools for the production of analogical grids and a resource of n-gram analogical grids in 11 languages. In Proceedings of the 11th edition of the Language Resources and Evaluation Conference (LREC18), pp. 1060-1066, Miyazaki, Japan, May 2018. ELRA.

[9] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Asso- ciation for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.


# 議会会議録と予算表を紐づける Minutes-to-Budget Linking タスクの提案

木村泰知 1 梶縁 1 乙武北斗 2 門脇一真 3 佐々木稔 4 小林暁雄 5
1 小樽商科大学 2 福岡大学 3 株式会社日本総合研究所 4 茨城大学 5 農研機構
kimura@res.otaru-uc.ac.jp

## 概要

予算編成に関する議論の背景・過程・結果を理解 するには，複数の文書や表を参照する必要がある。

NTCIR-17 QA-Lab PoliInfo-4 のサブタスクの一つで ある Minutes-to-Budget Linking (以下 MBLink) では，議会における予算審議に焦点を当て，ある予算に関 する発言に対して，関連する予算表のセルを紐づけ るタスクを実施する．MBLink は，議会会議録のよ うな非構造化データから, 表形式データの予算表 に含まれる特定のセルを紐づけることで，発言の 根拠となる数値をみつけ，予算増減の理由をわか りやすく提供することを目指している。本稿では， MBLink のデータ形式，評価方法，アノテーション 方法について述べる。

## 1 はじめに

地方自治体の役割のひとつに予算編成がある。予算は，首長により予算案が作成され，議会で審議さ れた後に成立する。しかしながら，審議結果である 予算は，どのような背景に基づいて予算案が作成さ れ，どのような議論を経て成立しているのかを把握 しづらい。予算作成の議論を理解するには，参照し なければならない文書や表が数多く存在する [1][2].例えば，対象年度の予算は，前年度の予算と比較し ながら，説明される [3]. 特に，正確な金額を確認す る場合には予算表を参照することになる。

小樽市議会における予算説明の例 (図 1 も参照)

まず，歳入についてでありますが，市税につき ましては，個人市民税，法人市民税などで減収 が見込まれるものの，固定資産税，都市計画税などで増収が見込まれることから，2.7\%，3 億 5,280 万円増の 135 億 7,350 万円を見込みま した.
ここで，小樽市議会における市長の説明を例に，予算に関する金額表現処理の難しさについて説明 する。上記の例にあるように，市長は「歳入」とな る「市税」「個人市民税」「法人市民税」「固定資産税」「都市計画税」の税収入の説明をしつつ，見込 み額を述べている。「市税」「個人市民税」などの額 は，文中に記載されていないものの，別の資料に記載されており，予算表を参照することで，正確な金額を確認できる。「135 億 7,350 万円」という金額表現は，前年度の市税の「2.7\%」である「3 億 5,280 万円」の金額が増えることを見込んで計算された対象年度の見積額である。

議会における発言は，予算編成の経緯が述べれる こともあるが，予算関連の書類が配布されたことを 前提にしているため，詳細な数値や正確な金額が明言されないこともある.このような場合には，予算表を参照することで，金額や数値を確認することが 可能である. また，予算の増減額や割合について も，予算表の金額と紐づけて，計算することができ る. さらに，予算編成に至る経緯については，提案 された予算金額とともに，理由を加えて説明してい ることが多い [3].

そこで，本研究では，議会における予算審議の発言と予算表の関連項目を紐づける MBLink (Minutesto-Budget Linking) タスクを提案する．MBLink の目的は，予算の根拠となる金額を明らかにするとと もに，どのような理由で予算額が決定したのか を確認できるようにすることである．MBLink は， NTCIR-17 QA-Lab PoliInfo-41) のサブタスクのひとつ である [4]. NTCIR-17 は，NII が主催する評価型ワー クショップであり，2022 年 7 月から 2023 年 12 月ま で開催される ${ }^{2)}$. 本稿では，MBLink のデータ形式,評価方法，アノテーション方法について述べる。

## 2 議会会議録と予算表

## 2.1 予算編成の流れ

自治体の予算は，次年度 (4 月以降) に実現すべき 方向性を考えて, 前年度の議会で決定される. 予算編成のおおまかな流れは, 前年度の後半から始ま る. 最初に，次年度に実現すべき方向性を考えて，組織内部の意思統一を図りつつ，予算編成方針が決定される. 予算編成方針に基づいて，各部からの予算要求がある. それらの要求に対して, 社会状況や 国の動向を踏まえ, 要求内容の追加・変更が行われ る. 1 月頃に, 各部から要求された内容について査定が行われ，予算案が公表される. 2 月上旬に開催 される第一回定例会に予算案が上程され，議決を受 ける. 議会では，首長から予算案の説明された後 で，さまざまな観点から審議が行われ，予算案を可決すべきか否かが決定される。

## 2.2 予算の説明箇所

首長による予算の説明箇所は，第一回定例会の 1 日目の冒頭に行われることが多い. 例えば，平成 31 年 (2019 年) の小樽市議会 ${ }^{3}$ ) の第 1 回定例会の議案 は「予算」と「条例」に分けられ，第 1 号議案から 第 19 号議案までが予算であり，第 20 号議案から第 38 号議案までが条例である. 第 1 回の本会議4) の冒頭は，予算の提案から始まり，市長が予算の説明を 行っている. 予算説明されている文は，2ページ程度であり, 35 文であった. 本研究では, 首長が予算 を説明している発言に焦点を当て，関連する予算表 のセルと紐づける.

## 2.3 予算表の種類

前節で述べた通り，予算の審議は，第一回定例会 において行われ，首長による提案から始まる. 首長 は，予算関連書類に記載されている金額を根拠とし ながら，説明することが多い. 例えば，小樽市の予算情報は下記の 8 つの書類が公開されている [3].

1)予算編成方針について

2)予算総括表

3)予算案のポイント

4)主要事業

5)部別要求額・予算額

4) https://www.city.otaru.lg.jp/docs/2020113000634/
6)ふるさと応援寄附金の使い道

7)予算書

8)予算説明書

梶らの調査 [3] によれば，予算情報は「予算総括表」「予算案のポイント」「部別要求額・予算額」「予算書」と対応づけられることが多い，予算総括表は，一般会計，特別会計，企業会計に対する前年度と今年度の予算額が記述されている表である。予算案のポイントは，財政部が予算編成のポイントを 図や表を含めて説明した文書である。部別要求額・予算額は，小樽市の総合計画に沿って，各事業に対 する予算額をまとめた表である。予算書は，一般会計，特別会計，企業会計に分けて，歳入と歳出が表 として記載されており，約 40 ページである.

## 3 Minutes-to-Budget Linking

## 3.1 目的

MBLink の目的は，議会における発言と予算表の 数値を紐づけることで，根拠となる金額を明らかに するとともに，どのような理由で予算額が決定した のかを確認できるようにすることである.

## 3.2 データセット

MBLink の入力，出力，評価方法を下記に示す.

入力 予算表 (HTML)議会会議録 (HTML)

出力 会議録の発言と予算項目の紐付け (JSON)

評価 議会会議録から予算表への連結，および，理由の有無についての評価 ( $\mathrm{F}$ 値)

MBLink では，議会会議録中のある文が予算表の特定のセルの金額に関連するものであれば，その文 にそのセルの ID を付与し，さらにその文に予算の 主張に関する理由が含まれているか否かの判定結果も付加する. 入力は，予算表と議会会議録であ り，HTML ファイルとして与えられる．与えられ る HTML は，図 1 の例にあるように，IDが付与さ れた HTML である，出力は，予算表に関連するセ ルがあれば，議会会議録に含まれる文 ID と予算表 に含まれるセル ID を紐づけて，JSON ファイルと して返す。また，理由が述べられている場合には “containsReason”を“True”とする。評価は，議会会議録から予算表への連結，および，理由の有無につ いての性能評価として F 値を用いる。

\{"sentencelD": "011002-2019-doc54321-sent30", "linkedCellIDs": ["011002-2019-doc12345-tab2-r2c1", "011002-2019-doc12345-tab2-r2c3"], "containsReason": true\}

図 1 市税について「対象年度」「前年度」の税収入を参照しつつ説明している箇所に対して，アノテーションする例

## 4 アノテーション

本節では，アノテーションの流れを説明する。

## 4.1 アノテーションの準備

自治体の公開している予算表は，PDFで公開され ていることが多い. そのため，アノテーションを行 う前に，PDF から HTML へ変換する. HTMLへの 変換は, 変換ツールとして ABBYY FineReader PDF ${ }^{5}$ を用いて自動で変換した後で，下記の処理をするこ とで，人手でデータ整形をしている.

1. 結合されているセルを分割する

2. 必要があれば，セル内で改行する

3. 余計なスペースを削除する

4. 明らかな文字認識の誤りを訂正する

## 4.2 対象データ

対象データは，小樽市，福岡市，茨城県の議会と する予定である．現時点では，小樽市の2019年およ び 2020 年の第一回定例会の市長の予算説明に関す る発言を対象としてアノテーションを進めている.

・2019年 第 1 回定例会 第 1 日目 ${ }^{6}$

- 2020 年 第 1 回定例会 第 1 日目 ${ }^{7)}$

予算表は，予算説明で参照されることが多い「予算総括表」「予算案のポイント」「部別要求額・予算額」「予算書」に含まれる表とする。

## 4.3 アノテーションの方法

アノテーションは，図 2 の例にあるような独自で 開発したツールを用いて行う．アノテーションツー ルは，左側に会議録，右側に予算表が見える状態に なっており，予算に関する発言と関連のある表のセ ルを紐づけることができる．梶らの調査 [3] と同様 に，予算編成の根拠となる「金額」「割合」「増減」「参照」に着目したアノテーションが可能であり，理由の有無も付与できることを確認した.

## 5 関連研究

## 5.1 テキストと表の連結

テキストと表を紐づける研究には, FEVEROUS (Fact Extraction and VERification Over Unstructured and Structured information) [5] がある. FEVEROUS は, Wikipedia に記述された Claim(主張)の真偽を検証 するために, Evidence(根拠)を Wikipedia の表から

7) https://www.city.otaru.lg.jp/docs/2020113000634/ file_contents/02-01.pdf

の当初予算と比較して説明申し上げます。

まず、歳入についてでありますが、市税につきましては、個人市民税、法人市民税などで減収が見込まれるものの、固定資産税、都市計画税などで増収が見込まれることから、2.7\%、3 億5,280万円増の 135 億7,350万円を見込みました。

地方交付税につきましては、国の地方財政計画の伸び率などを 基本に、本市の特殊事情を勘案しながら積算し、臨時財政対策債を加えた実質的な地方交付税では、1.7\%、2 億 9,500 万円減 の170億5,100万円を見込みました。地方消費税交付金につきましては、 $3.2 \% 、 7,800$ 万円増の 25 億 700万円を見込みました。

また、歳出の主なものについて経費別に申し上げますと、いわ ゆる義務的経費では、人件費が $0.6 \%$ の減、公債費が $4.3 \%$ の減 となりましたが、扶助費において、市内幼稚園の新制度幼稚園・認定こども園への移行に伴う教育・保育給付費負担金の堌 などにより、2.1\%の増となったことから、合計では0.3\%の増 となり、歲出合計に占める義務的経費の割合は、前年度を 1.9 ポイント下回る $56.1 \%$ となりました。

図 2 MBLinkのアノテーション画面の例

みつけるタスクである。例えば，Claim に「Roberto Fico は，総投票数の $57.6 \%$ \% 57,119 票を獲得しま した.」と入力文が与えられた場合，表から投票数 が「61,819」であることをみつけ，Verdict(評決)とし ては Refuted(反論) に分類する。

議会会議録と異なる言語資源を連結する研究は, NTCIR-15 QA-Lab PoliInfo-2 の Entity Linking で行わ れている [6]. Entity Linking は，議会で議論されて いる法律名，あるいは，条例名に対して，関連する Wikipedia の記事と紐づけるタスクである。例えば，「働き方改革を推進するための関係法律の整備に関 する法律」という正式名称が会議録中に出てきた場合，Wikipedia の「働き方改革関連法」という記事と 紐づけている.

他にも，NTCIR-16 QA Lab-PoliInfo-3 [7] には，予算を対象にした議論マイニングとして，議会会議録 のテキストに含まれる金額表現を予算表と紐づける Budget Argument Mining タスクがある [1][2]²).しか しながら, Budget Argument Mining は, 議論ラベル の分類に対する比重が大きく，会議録と予算表を紐 づける点に研究の余地がある. 例えば，紐づける対象が金額表現のみとされていたことや複数存在する 予算表のうち一つのみを対象としていたことによ り，紐付けることが困難なこともあった。

## 5.2 表の理解

表構造解析に関する shared task には，ICDAR 2013 Table competition $[8]^{9}$ がある. Table competition では,

8) https://github.com/poliinfo3

9) https://iapr.org/archives/icdar2013/
2つの政府機関 (.europa.eu /.gov) の発行した文書 PDF から表を収集したデータセットを作成している。

表の理解に関する研究は現在も注目されており，国際会議 KDD21 では，表の理解に関するチュー トリアルとして "From Tables to Knowledge: Recent Advances in Table Understanding” が開催された ${ }^{10)}$. 表 の理解には，表のタイプ分類 [9]，表のエリア抽出 [10], 表の意味構造の解析 [11], セルの表記統一 などの課題がある.

NTCIR-17 Understanding of non-Financial Objects in Financial Reports (以下，UFO） ${ }^{11}$ では，有価証券報告書を対象として, 表形式のデータや文書から構造化情報を抽出する技術を開発することを目的とした タスクが提案されている [12]. UFO タスクには $2 \supset$ のサブタスクとして，表データ抽出 (TDE; table data extraction) サブタスク，ならびに，テキストと表の 関係抽出 (TTRE; text-to-table relationship extraction) サ ブタスクがある.

## 6 おわりに

本稿では，議会における予算審議の発言と予算表 の関連項目を紐づける MBLink タスクを提案した。 また， MBLink のデータセットの形式，アノテー ションの方法について述べた.

今後は，NTCIR-17 QA-Lab PoliInfo-4 のサブタスク として，MBLinkを進めるとともに，有価証券報告書を対象にした NTCIR-17 UFO タスクとの連携も考 えている。

10) https://usc-isi-i2.github.io/KDD21Tutorial/

11) https://sites.google.com/view/ntcir17-ufo

## 謝辞

本研究は JSPS 科研費 21H03769，22K12740 の助

成を受けたものである.

## 参考文献

[1] Yasutomo Kimura, Hokuto Ototake, and Minoru Sasaki. Budget argument mining dataset using Japanese minutes from the National Diet and local assemblies. LREC 2022, 2022.

[2] 木村泰知, 永㴊景祐, 乙武北斗, 佐々木稔. 予算項目に 関連する議論を対応づける Budget Argument Mining のデータセット構築. 情報処理学会 第 249 回自然言語処理研究会, 2021 .

[3] 梶縁, 木村泰知. 地方自治体の予算を対象にした金額表現の分析. 第 38 回ファジィシステムシンポジウム (FSS2022), 92022.

[4] 小川泰弘, 木村泰知, 渋木英潔, 乙武北斗, 内田ゆず,高丸圭一, 門脇一真, 秋葉友良, 佐々木稔, 小林暁雄. NTCIR-17 QA Lab-PoliInfo-4 のタスク設計. 言語処理学会第 29 回年次大会, 2023.

[5] Rami Aly, Zhijiang Guo, Michael Sejr Schlichtkrull, James Thorne, Andreas Vlachos, Christos Christodoulopoulos, Oana Cocarascu, and Arpit Mittal. The Fact Extraction and VERification Over Unstructured and Structured information (FEVEROUS) shared task. In Proceedings of the Fourth Workshop on Fact Extraction and VERification (FEVER), pp. 1-13, Dominican Republic, 2021. Association for Computational Linguistics.

[6] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyosi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 task. Proceedings of The 15th NTCIR Conference, 12 2020.

[7] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Kazuma Kadowaki, Tatsunori Mori, Kenji Araki, Teruko Mitamura, and Satoshi Sekine. Overview of the NTCIR-16 QA Lab-PoliInfo-3 task. Proceedings of The 16th NTCIR Conference, 6 2022.

[8] Max Göbel, Tamir Hassan, Ermelinda Oro, and Giorgio Orsi. ICDAR 2013 Table Competition. In 2013 12th International Conference on Document Analysis and Recognition, pp. 1449-1453, 2013.

[9] Kyosuke Nishida, Kugatsu Sadamitsu, Ryuichiro Higashinaka, and Yoshihiro Matsuo. Understanding the semantic structures of tables with a hybrid deep neural network architecture. In Satinder Singh and Shaul Markovitch, editors, Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, February 4-9, 2017, San Francisco, California, USA, pp. 168174. AAAI Press, 2017.
[10] Kexuan Sun, Harsha Rayudu, and Jay Pujara. A hybrid probabilistic approach for table understanding. In Conference on Artificial Intelligence (AAAI), 2021.

[11] Binh Vu, Craig Knoblock, Pedro Szekely, Jay Pujara, and Minh Pham. A graph-based approach for inferring semantic descriptions of Wikipedia tables. In International Semantic Web Conference, 2021.

[12] 木村泰知, 近藤隆史, 門脇一真, 加藤誠. UFO: 有価証券報告書の表を対象とした情報抽出タスクの提案. 人工知能学会第二種研究会資料, Vol. 2022, No. FIN-029, pp. 32-38, 2022.


# 金融文書の抽象型要約による投資家向け支援システムの提案

中野凌 ${ }^{1}$ 蓮池隆 $^{2}$
${ }^{1}$ 早稲田大学大学院 ${ }^{2}$ 早稲田大学 創造理工学研究科
ryoku.nkn.18@toki. waseda. jp thasuike@waseda. jp

## 概要

投資家は，決算短信，有価証券報告書，株主招集通知，アナリストレポートといった金融文書を元に 投資先を決定するが，金融文書の量は膨大であり， それらの分析には多大は労力と専門的な知識を要す る. そこで本研究では, 金融文書に対する自動要約技術の適用に着目し，様々な要約モデルを比較する ことで，実用性の有無を検証した。

本研究の貢献は以下の 3 つである.

1. Web スクレイピングによる要約タスクのファイン チューニング用データセットの収集を行った。

2. 収集したデータセットを様々な条件で抽出，ファ インチューニングすることで日本語版 BART モデル の要約タスクにおける精度を定量的に評価した。

3. BART モデルと他の自動要約手法の定量的・定性的な評価によって比較し, 金融文書の抽象型要約に よる投資家向け支援システムを提案した。

## 1 研究背景 - 目的

## 1.1 自動要約技術について

自動要約は, 入力された文章を短くまとめて自動的に出力する技術である。近年，インターネットの 普及や文書の電子化などにより，テキスト媒体にお けるデータが大量に蓄積されているが，その中には 重要性の低い文章も含まれている。そこで自動要約 により重要な箇所のみを抽出することで，人間は文章を読む時間を削減でき, より本質的な内容を吟味 することができる. 社会における自動要約の活用場所として, 広告や雑誌, 求人などの文字数制限のあ る媒体に対する見出し作成や金融文書や法律文書な どからの重要箇所の取得などがあげられる。これら の背景から, 文章要約は自然言語処理のタスクの中 でも重要度が増している. 本研究では, 金融文書に 対する自動要約に着目し, 様々な文章要約モデルを 比較することで，実用性の有無を検証することを目的とする.

## 1.2 一億総株主の課題

日本の個人金融資産構成は長年にわたって預貯金 に偏っており, 欧米諸国に比べて非効率な運用が常態化している. そこで 2022 年, 政府は資金シフトを 促すため, 「一億総株主」といわれるすべての国民 が日本企業への投資家となることを目指す施策を講 じた。これにより，今後，投資を始める人が増加す
ることが予想される。投資家は，決算短信，有価証券報告書，株主招集通知，アナリストレポートとい った金融文書を元に投資先を決定するが，金融文書 の量は膨大であり，それらの分析には多大は労力と 専門的な知識を要する，そのため，投資初心者が大量の金融情報から投資先を選択することはハードル が高く，「一億総株主」に向けての課題点となって いる，そこで，本研究では，企業の金融文書を収集 し，自動要約することで，投資初心者にも分かりや すい金融情報を提供する手法を提案することを目的 とする.

## 2 関連研究と本研究のアプローチ

## 2. 1 金融文書の要約

文章要約には, 抽出型要約と抽象型要約 $の 2$ 種類 がある。抽出型要約は，入力した文章から重要な文章を抜き出して要約文を生成する手法である。抽象型要約は，入力した文章を元に一から文章を生成す る手法である。金融文書に対する抽出型要約の活用 として, 平野ら[1]は，アノテーションの必要のない 別のタスク (銘柄判定，価格変動)を学習させた学習 モデルの Attentionを用いることで, 教師なしで金融文書の重要文判定を行う手法を提案している．抽出型要約は, 確実に元の文章内の正しい内容が出力さ れるというメリットがあるが，デメリットとして，文と文の接続に違和感がある, 要約文の長さを制御 しにくいなどの点がある。そこで，本研究では抽象型要約を用いて金融文書を要約することで違和感が なく読みやすい文章を生成する手法を提案する.

## 2. 2 BART

Bidirectional and AutoRegressive Transformers[2](以下, BART)は Bidirectional Encoder Representations from Transformers[3](以下, BERT) と Generative Pretrained Transformer[4](以下，GPT)の両方のアーキ テクチャを持ち, BERT を Encoder として入力処理 し，エンコーディングされた情報を使用し GPT の Auto-regressive Decoder により文書を生成するモデ ルである. Katsumata ら[5]は BART を用いて英語の 文法誤り訂正タスクを行っており，既存の手法で最 もよい結果が得られたと報告している。また，田中 ら[6]は, 約 1800 万文の日本語 Wikipedia を用いて学習を行った日本語版 BART の事前学習モデルを構築 し, 日本語の入力誤り認識タスクにおいて, 他の校正支援 API と比較して，精度が高いことを確認して

いる.しかしながら，日本語版 BART による要約夕 スクの精度を比較した論文はみられない。そこで，本研究では, 田中らの作成した日本語版 BART の事前学習モデルに対して, 文章要約タスクのファイン チューニングを行い，要約精度の比較を行う。

## 3 提案手法

本研究の提案手法の全体像を図 1 に示す. 提案手法は 4 つのステップから構成される.

図 1. 提案手法の概要図

## 3.1 要約用データセットの収集

BART の文章要約タスクのファインチューニングの ため, 要約前の文章と要約後の文章がぺアになった データセットを構築する必要がある. 本研究では, wikiHow[7]と livedoor[8]の 2 つのサイトから Web ス クレイピングによってデータセットを収集した.

wikiHow はアート・健康・趣味など様々な分野に関 するハウツーが記載されたサイトである。 ハウツー は「タイトル」「方法」「ステップ」から構成され,各見出し文を合わせたものを要約後の文章, その他 の文章を要約前の文章として Web スクレイピング を行い，データセットを構築した。

livedoor は政治, 経済, IT, スポーツなど様々なジ ヤンルのニュース記事を掲載するサイトである．記事ごとに「3 行要約ページ」と「記事詳細ページ」が 存在するため, それらを用いてデータセットを構築 した. ThreeLineSummaryDataset[9]を利用した文章要約データセットの取得により, 2013 年 1 月 2016 年 12 月までに公開された記事を取得した. また, 本研究ではより多くの学習データを収集するため, 2017 年 1 月 022 年 12 月までのデータセットについても ニュース ID を探索することで，新たなデータセッ トの構築を行った. 結果として, 以下の件数の要約 データセットを収集した。

- wikihow : 35,374 件

- livedoor2013 年 2016 年: 101,559 件

- livedoor2017 年 2022 年: 119,741 件

- 上記の全データ合計 : 256,674 件

## 3. 2 BART のファインチューニング

まず, 3.1 節で収集したデータセットの前処理とし て, 要約前の文字数が 1500 文字以内の条件でデータ
を抽出した。これは, 日本語版 BART の事前学習モ デルにおいて, token の長さが 1024 を超えるデータ は処理できないためである。次に，抽出後のデータ に対して, Juman++[10]による形態素解析とセンテン スピースモデル[11]を適用し，前処理済みデータを 作成した. 最後に, 前処理済みデータを train, test, validataion データにおよそ 8:1:1 の割合で分割し，フ アインチューニングを行った.

## 3.3 自動要約結果とモデルの定量的評価

3.2 節のファインチューニング済みモデルを用い て, 自動要約を行った. 表 1 に例として, livedoor のニュース記事の文章を日本語 BARTによる自動要約した結果と livedoor $の 3$ 行要約ページの正解の 要約文を示す. 要約前の文章は, 約 1500 文字にな るため，文字数の都合上省略する。

表 1. 日本語版 BART 抽象型要約の要約例

 &  \\

表 1 より, 抽象型要約で違和感のない文章が生成 されていることが分かる.

次に，ファインチューニング済みモデルの評価のた め，ファインチューニングに用いなかったテスト用 の 108 のデータセットを用いて定量的評価を行っ た. 評価では, 自動要約によって生成した文章と正解の要約文を比較することで定量的なスコアを算出 する. 本研究では, 評価手法として, 以下の 4 種類 を用いた。

- BERTScore : 事前学習された BERT から得られ るべクトル表現を利用して，文書間の類似度 を計算する。

- BLUE : 生成した要約の N-gram 中のどれだけが 正解とする要約に登場するかを計算する。

- ROUGE-N : 2 つの文書館の N-gram 単位での一致度を評価する。

- ROUGE-BE : 文法的な要素間の係り受けを考慮し評価する。

## 3.4 ファインチューニング条件の探索

3.2 節で行ったファインチューニングにおいて, 3.3 節の定量的評価が最もよくなるような条件を探索した。条件は以下の 5 つである.

- 事前学習 BART モデル : base, large

- ファインチューニング学習回数 : $3,5,10$ epoch

- 使用データセット : wikiHow, Libedoor, 両方

- 文字数 : $300 \sim 1000,0 \sim 1500,300 \sim 1500$ 文字

- 文字数圧縮率 : $10 \sim 30,5 \sim 50 \%$
表 2. 日本語版 BART 要約タスクのファインチューニングの条件と定量的評価スコア

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{} & \multicolumn{8}{|c|}{ スコア } \\

表 3. 各自動要約モデルの定量的評価スコア

ここで, 文字数圧縮率は, 3.1 節で取得したデータセ ットから以下の式(1)により計算した。

$
\text { 文字数圧縮率 }=\frac{\text { 要約後文字数 }}{\text { 要約前文字数 }} \times 100
$

上記の 5 つの条件を変化させることで最適なファ インチューニング条件を探索した．探索したファイ ンチューニング条件と定量的評価の結果の一部を表 2 に示す. 表 2 より, wikiHow と livedoor を合わせ たデータセットを要約前文字数 300 1500 文字, 文字数圧縮率 5 50\%で抽出し, BART large モデルで 5epoch 学習したときに最もスコアが高くなること が分かる.

## 4 他手法との比較

## 4.1 比較要約モデルの概要

4 節では, 3.4 節において最もスコアの高い条件 でファインチューニングした BART モデルと他の自動要約手法との比較を行う. 比較の評価指標として, 3.3 節における 4 種類の定量的評価とアンケート調查による定性的評価の 2 通り行った. 比較する要約手法は, 抽象型要約と抽出型要約のそれぞれについ て検証した。他手法の抽象型要約モデルとして, 本研究では, 日本語の事前学習済みモデルが公開され ている T5[12]との比較を行った．T5 はテキストを 入力されるとテキストを出力するという統一的枠組 みで様々な自然言語処理タスクを解く深層学習モデ ルである.また,他手法の抽出型要約モデルとして， LexRank[13] と AutoAbstractor [14] と比較を行った. LexRank は文章からグラフ構造を作り出して重要な文のランキングを作ることで要約する手法である.各文章を TF-IDF を用いて特徴べクトルとして表現 し、コサイン類似度を用いて文章間の類似度を計算 し, 多くの文章と類似度が高い場合、その文章は重要であると判断し，上位 3 文を抽出する. AutoAbstractor は, NLP ベースの要約手法で，入力文書全体の単語の出現頻度から文の重要度を計算す る手法である。 SimilarityFilter 機能を用いて，文章内にある文字列に対し類似性の尺度を使って計算して長な文章を削除したのち, 重要度の高い文を 要約として，上位 3 文を出力した。

## 4. 2 定量的評価

表 3 に 4 種類の自動要約モデルの定量的評価スコ アの結果を示す. T5 > BART $>$ AutoAbstractor > LexRank の順によいスコアとなった。また, 抽象型要約の方が抽出型要約よりも良い結果となった．T5 が最もスコアがよい理由として, T5 の事前学習済み モデルは, Wikipedia の日本語ダンプデータ，OSCAR の日本語コーパス, CC-100 の日本語コーパス合わせ て約 100GB を用いているのに対して，日本語版 BART は約 1800 万分の日本語 Wikipedia の約 3GB を用い た事前学習済みモデルであるため，事前学習済みモ デルの大きさが影響した可能性が高い.

## 4. 3 定性的評価

金融文書を取得するため SharedResearch[15]から 約 1000 1500 字の 3つのアナリストレポートを引用し, BART, T5, AutoAbstractor の 3 つの手法に 対して自動要約を実行した。
次に, 生成された要約文に対して以下の 5 点の定性的評価項目を元にアンケートを作成した.

- 可読性 : 非文法的な繋がりが生じていないか.

- 了解性 : 意味をなさない文となっていないか.

- 忠実性 : 原文とは違う解釈の余地が生じていな いか.

- 十分性：原文に含まれていた別の命題内容や、主題・陳述内容が欠落していないか.

- 非壳長性 : 要約文章に重複する内容がないか. アンケートにおいては, 回答者の答えやすさを考慮し, 可読性と了解性については, 「日本語が自然 かどらか」，忠実性と十分性と非冗長性について

は，「要約文として適切かどうか」という 2 つ項目について調查した。

以下の図 2 は, 「日本語が自然かどうか」につい て, 図 3 は「要約文として適切かどうか」について のアンケート調査結果の棒グラフである. アンケー トの回答者数は 19 人で，3つの手法それぞれで生成された要約文に対して, 日本語が自然だと思う順番に順番を付ける形式で 3 つのアナリストレポート （Q1，Q2，Q3）に対して行った. グラフは，1番目: 3 点, 2 番目: 2 点, 3 番目: 1 点として集計 した棒グラフである.

図 2. 定性的評価【文章の自然さ】棒グラフ

図 3. 定性的評価【文章の自然さ】棒グラフ図 2 より，抽象型要約の方が文章の自然さは高く なる傾向があることがわかる。これは，抽象型要約 のメリットである文章に違和感がなく, 読みやすい という特性と一致している。

図 3 より, 抽象型要約の方が文章の自然さは高く なる傾向があることがわかる。これは, 抽象型要約 のメリットである文章に違和感がなく, 読みやすい という特性と一致している.

## 5 投資家向け支援システムの概要

抽象型文書要約を利用した以下の初心者向け投資先選択支援システムの開発に取り組む.

(1)利用者データの登録・金融文書の要約

利用者は投資にまつわる関心分野などをシステムに 登録後，PDF ファイルや HTML 文書を入力するこ とで，文書に含まれる文章を自動で抽出し，その要約文を得ることができる。

(2)金融文書の収取・投資先のレコメンデーション TDnet などのオープンデータを活用し，金融文書を 収集し，企業ごとにトピックモデルなどを用いた分析を行う。その結果を(1)の利用者に対して提供し,利用者の嗜好や関心を考慮した投資先を提案する協調フィルタリング手法を開発する。

このシステムにより，投資家は企業の経営状況だ けでなく，より幅広い情報によって投資先を選定で きる.

## 6 まとめ

本研究の貢献は以下の 3 つである.

1. Web スクレイピングによる要約用大規模データ セットの収集を行った。

2. 収集したデータセットを様々な条件で抽出，フ アインチューニングすることで日本語版 BART モデ ルの要約タスクにおける精度を定量的に評価した。 3. 金融文書に対して 4 種類の自動要約手法の定量的評価と定性的評価による比較し，金融文書の抽象型要約による初心者向け投資先選択支援システムを 構築することでモデルの有用性を確認した。

今後の展望として, 抽出型要約と抽象型要約を組み 合わせたハイブリッド型の要約手法の提案や金融ド メインに特化したデータセットを用いたファインチ ューニングによる精度の比較を行いたい。また， 5 章の投資家向け意思決定支援システムの構築とシス テムの効果検証を行いたい。

## 参考文献

1. 平野 正徳, 坂地 泰紀, 松島 裕康, 和泉綤, “金融文書のための別タスク学習による教師なし重要文判定”，言語処理学会, pp.569-572,(2020).

2. Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, Luke Zettlemoyer: BART: Denoising Sequence-to-Sequence Pretraining for Natural Language Generation, Translation, and Comprehension, In Proc. of ACL, pp.7871-7880,(2020).

3. Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding.” arXiv preprint arXiv:1810.04805,(2018).

4. Brown, T., et al. Language models are few-shot learners.Advances in Neural Information Processing Systems, 33, pp.1877-1901,(2020).

5. Satoru Katsumata, Mamoru Komachi. “Stronger baselines for grammatical error correction using a pretrained encoder-decoder model” . Asia-Pacific Chapter of the Association for Computational Linguistics , pp.827-832,(2020).

6. 田中 佑, 村脇 有吾, 河原 大輔, 黒橋 禎夫, “日本語 Wikipedia の編集履歴に基づく入力誤りデータ セットと訂正システムの改良” , 言語処理学会論文誌, 28 巻 4 号, pp.995-1033,(2021) 7. wikiHow, “信頼できるハウツーマニュアル”， https://www.wikihow.jp/, 最終アクセス日 2022/9/28 8. livedoor, “ライブドアニュース”， https://news.livedoor.com/，最終閲覧日 2022/10/22 9. ThreeLineSummaryDataset, 3 行要約データセット, https://github.com/KodairaTomonori/ThreeLineSummar yDataset，最終閲覧日 2022/10/22

10. Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proc. of EMNLP, pp. 2292 - 2297.Association for Computational Linguistics,(2015).

11. Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. of EMNLP, pp. 66-71. Association for Computational Linguistics, (2018).
12. Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, (2020).

13. Gunes Erkan, Dragomir R. Radev . LexRank: Graphbased Lexical Centrality as Salience in Text Summarization " J. Artif. Int. Res., vol. 22, no. 1, pp. 457-479, (2004).

14. 自動要約ライブラリ pysummarization, ,

https://code.accel-brain.com/Automatic-Summarization/ ,最終閲覧日: 2022 年 1 月 2 日

15. SharedResearch, https://sharedresearch.jp/ja, 最終閲覧日: 2022 年 1 月 2 日


# 株式市場の出来事の長期的視野での理解を支援する ニュース記事抽出によるストーリー可視化

木下聖 ${ }^{1}$ 西村太一 ${ }^{1}$ 亀甲博貴 ${ }^{2}$ 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
kinoshita.sho.v85@kyoto-u.jp nishimura.taichi.43x@st.kyoto-u.ac.jp
\{kameko,forest\}@i.kyoto-u.ac.jp

## 概要

近年，政府が投資家の裾野の拡大を目指すうえ で，個人投資家の金融リテラシー不足を課題にあげ ている. 本研究では，証券市場特有の株価および市況概況記事を使用し，株式投資家による過去の証券市場の出来事の長期的視野での理解の支援に特化し たニュース記事抽出によるストーリー可視化問題を 提案する. さらに提案問題を市況概況記事を利用し た重要株価材料抽出，類似株価材料抽出および関連記事検索の 3 つの部分問題に分割して解く手法を提案する。実験により提案手法を用いたストーリー可視化が可能である一方で，検索手法に改善の余地が 残されていることも示された.

## 1 緒論

近年，政府は投資家の裾野を拡大し，貯蓄から投資へのシフトの実現を目指しており，国民の金融リ テラシー不足を課題の 1 つにあげている [1]. 世界的に有名な投資家らは，投資で成功するためには 歴史から学ぶ重要性, および，多くの投資家は歴史から学ばずに失敗してきたことを指摘している $[2,3,4]$. 人々が証券市場の歴史を学ぶには, 専門家 による解説文献を読むことが最も一般的であるが，以下の 2 つの問題が含まれる. 第一に，証券市場の 歴史の解説文献は未来の結末を知る専門家が過去を 解説するもので，バイアスを含む可能性が高い. 第二に，個人投資家が現在の情勢を知る情報源として ニュースが一般的であり，歴史の解説文献のような 未来を含む長期的視野からの情報は存在せず，現在 と過去を比較するために使用することが難しい。一方で，過去のニュース記事は当時の専門家が執筆し た情報であり，現在のニュース記事と比較すること も可能である. そこで，投資家による証券市場の歴史の学習に過去のニュース記事を利用できれば良い と考えられるが，ニュース記事の数は膨大で，個人投資家がすべてのニュース記事を確認することは非現実的である.

出来事の長期的視野での理解を支援するために，長期間の大量のニュース記事をトピック分類し時系列表示してニュースのストーリーを可視化する技術 の研究が行われている [5, 6, 7]. 証券市場でもある トピックに関するニュースが長期間報道され株価に 大きく影響することは珍しくなく，これらの技術を 活用することで過去のニュース記事を用いた証券市場の歴史の学習を支援できる。一方で，これらの技術を証券市場の歴史学習の支援に使用する上で，以下の 3 つがさらに求められる.

1. ニュース記事を投資家が認識する粒度のトピッ クで分類すること.

2. 株価指数に影響するような全投資家に重要な下 ピックを抽出すること。

3. 各トピックの大量の関連記事から重要な記事を 抽出すること。

そこで本研究では，株式投資家による過去の証券市場の出来事の長期的視野での理解の支援に特化し たニュース記事抽出によるストーリー可視化問題を 提案する. 提案問題の出力例を表 1 に示す. 提案問題では，指定された期間の大量のニュース記事から 重要な株価材料を抽出し，各株価材料の関連記事で 重要なものを時系列表示する. そして, 証券市場特有の株価および市況概況記事を利用し，重要株価材料抽出，類似株価材料抽出，および，関連記事検索 の 3 つの部分問題に分割して解く手法を提案する.市況概況記事とは，証券市場の毎営業日後に報道さ れる記事で，その日の株価変動および投資家が意識 する株価材料を説明する。 さらに，提案手法で使用 する系列ラベリングの検証のために，我々が作成し
表 1 株価材料「福島原発事故の深刻化に対する懸念」 (2011 年 3 月 15 日) の関連記事出力例 (一部抜粋)

 \\

たデータセットを用いて評価する．また，モデル出力例を示し提案モデルを評価する。

## 2 関連研究

証券市場の毎営業日後に報道される市況分析記事 から因果関係を抽出する研究 [8] や，それらを要約 し長期間の市況分析を生成する研究 $[9,10]$ が行われ ている. 市況分析記事における株価材料の記載は非常に簡潔である. 本研究では，各株価材料の関連記事を検索することで，これから投資を始める人にも わかりやすく詳細な情報の出力を目指す。

## 3 市況概況記事を用いたニュースス トーリー生成手法

## 3.1 手法概要

本研究では，証券市場特有の株価および市況概況記事を使用し, 重要株価材料抽出, 類似株価材料抽出，および，関連記事検索の 3 つの部分問題に分割 して解く．各部分問題を解く手法の詳細を以下で説明する。

## 3.2 重要株価材料抽出

指定された期間内の市況概況記事から株式市場に おける重要度の高い株価材料を抽出する. 本研究で は日経平均株価の前日比変動率が大きい日の株価材料の重要度が高いと仮定し, 日経平均株価の前日比変動率が大きい日に出版された市況概況記事の株価材料を抽出する. 日経平均株価の前日比変動率の大
きさは以下の式で求める.

$
r_{d}=\frac{\left|p_{d}-p_{d-1}\right|}{p_{d-1}}
$

$r_{d}:$ 日付 $d$ の前日比株価変動率

$p_{d}:$ 日付 $d$ の株価

本研究では市況概況記事から株価材料を抽出す る問題を系列ラベリング問題として定式化して 解く. 系列ラベリング問題を解くモデルは，Akbik ら $[11,12]$ が開発する Flair framework を使用して実装し, Flair embeddings の日本語学習済みモデルでべ クトル化したものを，LSTM および全結合層に入力 する.

## 3.3 類似株価材料抽出

すべてのニュース記事から 3.2 節で抽出された重要株価材料の関連記事を検索する場合，関連記事検索の正解データ作成コストが大きいこと，および，株式市場に影響しない重要度の低い関連記事も多く 抽出されてしまうことが問題となる。 そこで， 3.2 節で抽出された株価材料に関連する株価材料が市況概況記事に記載されている日付および株価材料を抽出する。これにより，各株価材料の関連記事検索範囲を高々数日に限定でき，正解データ作成コストを 大幅に削減できること，株価材料が市況概況記事に 記載されるほど重要であった日の記事のみが抽出さ れることが期待される. 市況概況記事から株価材料 を抽出するモデルは 3.2 節と共通のものを使用する.株価材料が関連するものか判定する手法として，鈴木ら [13] が日本語 Wikipedia および金融文書を事前学習した BERT 言語モデル”"bert-small-japanese-fin”1) に株価材料を入力し, 各 token のべクトルを平均 プーリングして得られるべクトル同士の $\cos$ 類似度 が閾値以上の場合に関連すると判定する。

## 3.4 関連記事検索

3.2 節で抽出された重要株価材料の関連記事を抽出する. 東京証券取引所における内国株式の売買立会時間は 15 時に終了するため, 東京証券取引所の 前営業日 15 時から 3.3 節で抽出された日付の 15 時 までに報道されたニュース記事から，3.3 節で抽出 された類似株価材料の関連記事を検索することで 実現する．正解データセットの数が不十分で教師あ り学習をすることは難しいため，記事検索手法とし

表 2 株価材料抽出データサイズ

て，??節と同様に株価材料とニュース記事タイトル をべクトル化し $\cos$ 類似度が上位のものを抽出する ことで検索を行った. このとき，株価材料に固有名詞が含まれる場合は，その固有名詞が本文に含まれ るニュース記事を優先して検索した。

## 4 データセット

## 4.1 ニュースデータ

金融機関が契約する大手情報サービス会社とし て，Bloomberg，ロイターおよび日経 QUICK が有名である. 本研究では，2007 年から 2017 年のロイ ター日本語ニュースを使用する。

## 4.2 系列ラベリング問題データセット

市況概況記事から株価材料を抽出する系列ラベリ ング問題の学習および評価に使用するデータセット について説明する。ロイター日本語ニュースでは，東京証券取引所の売買立会時間終了後に,「東京 マーケット・サマリー」をタイトルに含む市況概況記事が掲載される. 重要な株価材料が掲載される日 は株価変動率が比較的大きくなる傾向があるため,日経平均株価の前日比変動率の大きさが $r_{d}=0.02$以上の日の最後に報道された市況概況記事を使用す る. 正解ラベルのアノテーションは，テキストアノ テーションツール doccano [14]を使用し人手で行っ た. 東京株式市場の市況概況記事では，株価材料と して頻繁に米国株価動向および為替動向について言及されるため，これらの株価材料言及部分には特別 なラベルを付与し，それ以外の株価材料には同一の ラベルを付与した. ただし，「月末」のように証券市場の前営業日から当日までに関連ニュース記事が 報道されないものや，「企業決算」のように関連記事が無数にあるものはラベル付与しない. 各ラベル が付与されたフレーズの例と株価材料だがラベルを 付与しない例を以下に示す。表 3 株価材料抽出の実験結果

例 : 米国株価動向言及部分

米株が急落，海外株式市場，世界同時株安

例 : 為替動向言及部分

為替が円高/ドル安，主要通貨，円キャリー取引

例：その他株価材料言及部分

日銀短観，米雇用統計，米サブプライムローン

問題，米国の利下げ，FOMC，参院選，原油安

例：株価材料だがラベル付与されないもの

業績不透明感，ポジション調整，月末，企業決算，9月中間期末

さらに，作成したデータセットのサイズを表 2 に 示す。

## 5 評価

## 5.1 系列ラベリング問題

## 5.1.1 実験設定

4.2 節のデータセットを使用する. 2007 年から 2015 年の記事を 10 分割した交差検証によりモデル の学習を行い，2016 年以降の記事の各単語のラベル 分類問題の F-score で評価した。

## 5.1.2 実験結果

学習および評価を 5 回行った結果の平均は表 3 の 通りになった。米国株価動向および為替動向は，表現の種類が少ないため非常に高い精度で抽出でき た. 一方で，その他株価材料の表現の種類は非常に 多く精度が少し下がるが，誤り例を確認すると大多数が抽出範囲の長短によるものであった. 以下に誤 り例を示す. ただし，下線部分がモデルによる抽出，赤字部分が正解ラベルとする.
抽出範囲の誤り例

…ドル/円が 118 円台を回復したことに加 え，輸出・輸入ともにマイナス幅が縮小し た12月中国貿易統計も支えとなった. ...

不適切な抽出の誤り例

…昨年来安値を下回り，量的・質的金融緩和 （QQE）第 2弾が決定された 2014 年 10 月 31 日以来，約 1 年 3 カ月ぶりの安値となっ た. 時間外で 28 ドル割れとなった米原油先物を受けてリスクオフムードが強まり全面安. ...

## 5.2 類似度を用いた関連記事検索

本節では類似度を用いた関連記事検索の出力例を 示し考察する。

表 1 は 2011 年 3 月 15 日の重要株価材料「福島原発事故の深刻化に対する懸念」に対する関連記事の 出力例で，適切な関連記事を出力している。

一方で，表 4 は 2014 年 3 月 14 日の重要株価材料「ウクライナ情勢に対する警戒感」に対する関連記事の出力例である. こちらでは，タイの政情に関す る記事や米国景気に関する記事も出力されている. これは, 3.3 節の類似株価材料抽出で，異なる株価材料を同一と判定してしまったことに起因する． 3.3 節の類似株価材料抽出および 3.4 節の関連記事検索 では，BERT の事前学習モデルによるべクトルの類似度を利用しているが，前後に同様の単語が並ぶ単語の類似度が高くなるために誤った判定をしてしま う場合が多くみられ，特に「米国/中国の利下げ」の ような国の違いを区別できない例や，「情勢/景気」 のような単語を区別できない例が多かった.

関連記事検索手法の改善が必要であり，教師あり 学習をすることが好ましいと考えられるが，ニュー ス記事は 1 日に数百も掲載され，様々な株価材料で 学習するには大量のニュース記事を確認してアノ テーションする必要がある．また，キーワード検索 を行う方法も考えられるが，市況概況記事での株価材料の表現は市況概況記事特有のものも多いという 問題がある.キーワード検索および類似度を用いた 検索を併用することで，より優れた検索ができると 考えられる。表 42014 年 3 月 14 日「ウクライナ情勢に対する警戒感」関連記事出力例（一部抜粋）

## 6 結論および今後の課題

本研究では，株式投資家による過去の出来事の長期的視野での理解の支援に特化したニュース記事抽出によるストーリー可視化問題を提案した. 証券市場特有の株価および市況概況記事を用いれば，重要株価材料抽出，類似株価材料抽出，および，関連記事検索の 3 つの部分問題に分割して解くことで実現 できることを示した。一方で，事前学習済み言語モ デルを利用したべクトルの類似度に基づく関連記事検索手法には問題があり，検索手法に改善が必要で あることが示された.

今後の課題として，米国株市場・為替市場の市況概況記事の利用および重要語によるキーワード検索 を併用した記事検索手法の開発に取り組むことなど が残されている.

## 参考文献

[1] 内閣府. 資産所得倍増プラン. 新しい資本主義実現会議（第 13 回）, November 2022.

[2] 桑原晃弥. ウォーレン・バフェット成功の名語録世界が尊敬する実業家、103 の言葉. PHP 研究所, July 2012.

[3] George Soros. Fallibility, reflexivity, and the human uncertainty principle. J. Econ. Methodol., Vol. 20, No. 4, pp. 309-329, December 2013.

[4] Jim Rogers. 危機の時代 伝説の投資家が語る経済と マネーの未来. 日経 BP, May 2020.

[5] Marieke van Erp, Gleb Satyukov, Piek Vossen, and Marit Nijsen. Discovering and visualising stories in news. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 3277-3282, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[6] Philippe Laban and Marti Hearst. newslens: building and visualizing long-ranging news stories. Proceedings of the Events and Stories in the, 2017.

[7] Deyu Zhou, Linsen Guo, and Yulan He. Neural storyline extraction model for storyline generation from news articles. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1727-1736, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] 酒井浩之, 坂地泰紀, 和泉潔, 松井藤五郎, 入江圭太郎. 学習データ自動生成による市況分析コ メント作成のための要因文と補完情報の抽出.人工知能学会全国大会論文集, Vol. JSAI2020, pp. 1D3GS1303-1D3GS1303, 2020.

[9] 酒井浩之, 坂地泰紀, 和泉潔, 松井藤五郎, 入江圭太郎 . 経済テキストからの市況分析コメントの自動生成.第 20 回 人工知能学会 金融情報学研究会 (SIG-FIN)予稿集, pp. 44-49, March 2018.

[10] 酒井浩之, 坂地泰紀, 和泉潔, 松井藤五郎, 入江圭太郎 . 関連記事を用いた市況分析コメントの自動生成.第 22 回 人工知能学会 金融情報学研究会（SIG-FIN）予稿集, pp. 61-66, March 2019.

[11] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. pp. 16381649, August 2018.

[12] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. FLAIR: An Easy-to-Use framework for State-of-the-Art NLP. In Proceedings of the 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] 鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔. 金融文書を 用いた事前学習言語モデルの構築と検証. 人工知能学会第二種研究会資料, Vol. 2021, No. FIN-027, p. 05, 2021.

[14] Hiroki Nakayama, Takahiro Kubo, Junya Kamura, Yasu- fumi Taniguchi, and Xu Liang. doccano: Text annotation tool for human, 2018.