# 小説あらすじを用いて学習した系列ラベリングモデルによる 小説本文からの人物情報抽出の性能検証

岡裕二
香川大学大学院工学研究科
s20g460@stu.kagawa-u.ac.jp
}

安藤一秋
香川大学創造工学部
ando.kazuaki@kagawa-u.ac.jp

## 1 はじめに

近年，電子書籍や小説投稿サイトの発展により,小説を読む際の場所や時間の制限が緩和されると共 に，小説の数も増加し続けている。小説の数が増え ることで個人の埕好にあった小説も増える可能性が あるが，膨大な数の小説の中から個人の嗜好にあっ た作品を発見する労力は増大していると考えられ る. 書籍を取り扱う $\mathrm{EC}$ サイトや小説投稿サイトに は，作者やジャンルなど，特定の情報に基づく検索機能が実装されてはいるが，小説の内容に踏み込ん だ検索機能は実装されていない.

個人の嗜好は，「ハッピーエンド」や「敵が仲間に なる」などの展開に関する埕好と，「銀髪赤目の少年」や「長身のメイド」などの登場人物に関する嗜好に分けることができる. 本研究では，小説内の登場人物情報を体系的に抽出することで，登場人物情報による小説検索，登場人物情報を豊富に取り入れ た小説のあらすじ生成, 人物関係図の自動生成など を目指している。

筆者らの先行研究 [1] では，商業小説のあらすじ テキストにタグ付けしてデータセットを構築し, 深層学習モデルと CRF（Conditional Random Fields）を 組み合わせた系列ラベリングモデルにより，あらす じテキストから人名，性別，容姿性格，職業などの 登場人物情報を自動抽出する手法を提案した. 本稿 では，あらすじテキストで学習した系列ラベリング モデルを Web 小説の本文に適用し, 訓練データおよ び提案モデルの小説本文に対する抽出性能について 検証する。

## 2 小説本文に基づくテストデータの 構築

小説本文を収集して，テストデータを構築する方法について述べる.

## 2.1 小説本文の収集

筆者らの先行研究 [1] で構築したデータセットは,商業小説のあらましを利用しているため，本文デー タを利用することができない，そこで，「小説家に なろう」サイトから本文データを収集する。

小説本文の収集には，「小説家になろう」を運営 している株式会社ヒナプロジェクトが提供する Web API（なろう小説 API）を用いる。なろう小説 API は，ジャンル別や人気の高い順などの条件により，「小説家になろう」に投稿されている小説の各種 データを抽出できるが，本文データを抽出すること はできない. そこで，APIを使用して小説のジャン ル，ID，タイトル，著者名，あらすじを収集し，収集した小説の IDを基に，クローリングによって本文データを収集する，収集対象は，長編小説の本文 とする.

## 2.2 テストデータの構築方法

本稿での評価に用いるテストデータは, 次の手順 で構築する。なお，タグおよびタグ付け方法につい ては，先行研究 [1] と同様である.

1.「小説家になろう」から収集した長編小説の本文のうち，三話までのテキストを 1 文ずつ形態素解析する.

2. 各形態素に対して，以下のルールでタグ付けす る.タグの形式には IOB 2 タグ形式を用いる.

・名前に名前タグ（NAME）を付与例 : 西尾，信長，シャルル・マーニュ

・性別表現に性別タグ（MF）を付与例：男，美男子，美女，乙女，女の子

・年齢表現に年齢タグ（AGE）を付与例：16歳，少年，お婆さん，幼い，高校生

・容姿や特性表現に状態タグ（STATE）を付与
例 : 白い髪, 元気, 高飛車, 天才, 職人気質

・職業や立場表現に能力タグ（PRO）を付与例：竜飼い，仙女，最高権限者，メンバー, 国王

・組織・種族名に所属タグ（AFF）を付与例: 鳳凰学園杖術部, 日本政府, 討伐軍, エルフ

・以上に当てはまらない人物情報にその他タグ （OTHER）を付与

例：異星人，神，元凶，気鋭，ペンギン

・地名や建物名に場所タグ（PLACE）を付与例: ムー大陸, 日本, パリ, 礼拝堂, 魔法学校

・人物関係表現に関係タグ（REL）を付与例: 兄, 親, 敵, 相棒, 結婚

・それ以外のものに O タグを付与

先行研究 [1] と同様, 直接的な人物情報ではない が，地名や建物名，人物関係表現についても，今後 の応用を考慮してタグ付けする。

## 3 検証に用いる深層学習モデル

性能評価に用いるモデルについて説明する。

## 3.1 検証モデル

検証モデルには, 先行研究 [1] と同様, Huang ら が提案したモデル (BiLSTM-CRF) [2], Ma らが提案 したモデル (BiLSTM-CNN-CRF) [3], Lample らが 提案したモデル (BiLSTM-CRF-L) [4], Misawa らが 提案したモデル (Char-BiLSTM-CRF) [5]の4つの深層学習モデルを採用する。

Huang らの BiLSTM-CRF は，文中の単語に対す る word embeddings を Bidirectional LSTM (BiLSTM) に入力し, 得られた単語べクトルを素性の代わ りに CRF に入力することで固有表現抽出するモ デルである. Ma らの BiLSTM-CNN-CRF と Lample らの BiLSTM-CRF-Lは，BiLSTM-CRFに対して，注目単語に含まれる文字情報を利用することで性能向上を図ったモデルである．BiLSTM-CNN-CRF は，注目単語に含まれる文字を CNN に入力して得 られた単語ベクトルを word embeddings に結合し， BiLSTM-CRFに入力することで固有表現抽出する. BiLSTM-CRF-L は，BiLSTM-CNN-CRF の CNN の代 わりに，注目単語に含まれる文字を Char-BiLSTM に 入力して得られた単語ベクトルを word embeddings に結合し，BiLSTM-CRFに入力することで固有表現抽出する. Misawa らの Char-BiLSTM-CRF は，文字単位でラベリングするモデルであり，文字のベクト ルと文字を含む単語のべクトルを BiLSTM に入力す ることで固有表現抽出するモデルである.

表 1 に深層学習モデルで用いたパラメータを示 す. Dropout は，BiLSTMへの入力の前と後に適用 した. 表 1 の下部に Ma らの BiLSTM-CNN-CRF と Lample らの BiLSTM-CRF-L で用いたパラメータを 示す. 単語ベクトルとして用いる分散表現には，日本語 Wikipedia の本文全文で事前学習されたもの [6] を用意した。事前学習に用いたパラメータは表 2 に 示すものが使われている. 単語ベクトルおよび文字 ベクトルはモデルの学習とともに値を更新する.

表 1 深層学習モデルのハイパーパラメータ

表 2 事前学習した単語分散表現のハイパーパラメータ

## 3.2 品詞・品詞細分類情報の活用

Aguilar らの研究 [7] により, 深層学習モデルに品詞情報を追加することで，ソーシャルメディア中の テキストから構築された WNUT2017 データセット に対する抽出性能が向上したと述べられている. 先行研究 [1] と同様, 本稿でも, 品詞と品詞細分類で

それぞれランダムに初期化した品詞べクトルを利用 し, 有効性を検証する，単語ベクトルや文字べクト ルを BiLSTM に入力する際に同時に入力し, モデル の学習とともに品詞べクトルの値を更新する. 次元数は, 品詞および品詞細分類でそれぞれ 5 と 10 で 実験する.

## 4 評価実験

## 4.1 評価方法

小説本文で構築したテストデータに対して，4つ の深層学習モデルと, それぞれのモデルに品詞・品詞細分類の情報を付与したモデルの抽出性能を比較 する. 抽出性能は, 適合率, 再現率, $\mathrm{F}$ 値を評価尺度に利用する. 人手でタグ付けした結果と機械学習 モデルがラベリングした結果を比較し, 完全一致し た場合のみを正解と判断する.

## 4.2 データセット

訓練データと開発データは, 先行研究 [1] で構築した，3,679 文で構成される商業小説のあらすじ データセットを 9:1 に分割して利用した。

テストデータを構築するため，まず，なろう小説 APIを用いて，ジャンルがハイファンタジー，また はローファンタジーであり，ランキング上位 2,500 件に入るという条件で収集した長編小説の中からラ ンダムに 8 作品を選出した. そして, 各小説の三話 までのテキストを MeCab[8] で単語分割し, 人手で タグ付けすることにより，3,127 文で構成されるテ ストデータを構築した。

## 4.3 実験結果

実験結果を表 3 に示す. 表 3 に示すモデルは，品詞・品詞細分類の情報を付与していない 4 つの深層学習モデルと, 品詞・品詞細分類の情報を付与 したモデルの中で最高性能のモデル（BiLSTM-CRF-

の次元数を示す. 品詞と品詞細分類それぞれに次元 が割り当てられるので，実際に付与される次元数は @の 2 倍となる. 太字部分は各ラベルでの最良 $\mathrm{F}$ 值 である.

表 3 より，PLACE（地名・建物名）と REL（関係表現）を除く全てのラベルでBiLSTM-CRF-pos10が 最良 $\mathrm{F}$ 値，または最良に近い $\mathrm{F}$ 値であることが確認 できる.また， MF（性別表現）と AGE（年齢表現）
については, どのモデルでも 9 割近い $\mathrm{F}$ 值となった. しかし, 他のラベルでは， 7 割以下の $\mathrm{F}$ 値となって おり，特にSTATE（容姿・特性表現）, AFF（組織・種族名）と PLACE（地名・建物名）は，最良 $\mathrm{F}$ 值で あっても 5 割以下と非常に低い.

次に，小説本文に対する抽出性能と比較するた め, 先行研究 [1] であらすじデータセットに対し て全体の最良性能を得た BiLSTM-CRF の抽出性能 を表 4 に示す。表 4 は，あらすじデータの 8 割を 訓練データ，1 割ずつを開発データとテストデー タに分割し，十分割交差検証を行った結果の平均 を算出している. 本稿での最良性能を確認した BiLSTM-CRF-pos10 の抽出性能と比較すると, MF （性別表現）とOTHER（その他の人物情報）以外の ラベルにおいて，抽出性能が低下している．AGE （年齢表現）については軽微であるが，それ以外の ラベルは大幅な性能の低下となった。

## 5 考察

あらすじと本文において抽出性能差が生じる要因 について考察する. 抽出性能が高い MF（性別表現） と AGE（年齢表現）は，他の人物情報と比べて，表現自体に多様性が少ないことから，高い抽出性能が 維持されていると考えられる. OTHER（その他の人物情報）に関しては，あらすじに出現する表現が多様であったため, 本文に出現する表現を包含でき，結果として，あらすじに対する性能より高くなった と考えられる. STATE（容姿・特性表現）に関して は, 容姿に関する記述法が複数あったり, 色が異な るだけで別の形態素として認識されることもあるた め，抽出性能が低下したと考えられる．NAME（人名), AFF (組織・種族名), PLACE (地名・建物名) に関しては, 固有の表現が多く, 基本的に同作品や 同じ世界を共有しない限り, 同じ名前が使われるこ とがないため, 抽出性能が低下したと考えられる。 また人名に限定すれば「姫」や「友」など他のラべ ルに付与される可能性の高い形態素も出現すること もあるため，性能が低下していると考えられる。

次に，抽出エラーについて分析する。 抽出エラー を以下の 5 種類に分類し，各割合を算出する。

・人物情報に O タグを振る間違い (ne2oMiss)

・人物情報ではない部分に人物情報タグを振って しまう間違い (o2neMiss)

・抽出範囲は正確だが，人物情報タグの種類を間違えている (classMiss)
表 3 実験結果

表 4 あらすじデータに対する最良モデル

(BiLSTM-CRF) の抽出性能

$\begin{array}{llll}\text { MF } \quad 96.06 & 96.03 \quad 95.95\end{array}$

AGE $\quad 92.56 \quad 92.83 \quad 92.62$

$\begin{array}{llll}\text { STATE } \quad 58.85 & 57.72 \quad 57.98\end{array}$

$\begin{array}{llll}\text { PRO } & 80.39 & 79.92 & 80.14\end{array}$

AFF $\quad 72.45 \quad 71.51 \quad 71.86$

OTHER $\quad 63.62 \quad 62.58 \quad 63.02$

$\begin{array}{llll}\text { PLACE } & 73.30 & 78.78 & 75.89\end{array}$

・人物情報タグの種類は正確だが，抽出範囲を間違えている (rangeMiss)

・人物情報を一部含んでいるが，人物情報タグの 種類と抽出範囲を間違えている (r\&cMiss)

最良性能モデルによる，あらすじデータに対する 抽出ミスの割合と，本文データに対する抽出ミスの 割合を図 1 に示す. 図 1 より，あらすじに対する抽出ミスと比べて，本文に対する抽出ミスは，人物情報ではない部分に人物情報タグを振ってしまう o2neMiss が多いことが確認できる。これは，「〜学校」などのような固有名詞として出てくる系列には タグを付与しているが，単なる「学校」などの特定 できない一般的な場所名にはタグを付与していない という訓練データに対するタグ付けの問題が影響し ていると考えられる。また，「主」という文字に対 して「あるじ」と読むか「おも」と読むかでタグ付 け対象か否かが変わることなども影響していると 考えられる．また，ビクリやゴロリ，ガッなどの擬音が NAME（人名）として抽出されるミスが散見さ れた．あらすじでは，短く端的に小説の内容を紹介 する必要があるため, 副詞的用法が少なく, 結果と して，本文にしか現れない用法にうまく対応できな かったと考えられる。

bilstm-crf

bilstm-crf-pos10(main_text)図 1 あらすじと本文での最良性能モデルの 抽出ミス割合の比較

## 6 おわりに

本稿では，あらすじテキストで学習した系列ラ ベリングモデルを Web 小説の本文に適用し，訓練 データおよび提案モデルの小説本文に対する抽出性能を検証した。性能評価の結果，BiLSTM-CRF に品詞・品詞細分類ベクトルを 10 次元ずつ付与したモ デル（BiLSTM-CRF-pos10）が最良性能を得ること を確認した。また，あらすじを対象とした人物情報抽出の最良性能と比較した結果, MF (性別表現) と OTHER（その他の人物情報）については，本文を対象とした場合の抽出性能の方が高くなることを確認した. 他のラベルにおいては，AGE（年齢表現） の場合は軽微に，その他のラベルについては大幅に 抽出性能が低下した. エラー分析の結果，本文を対象にした場合の抽出ミスは，人物情報ではない系列 に，人物情報タグを付与するというミスが多いこと を確認した。

あらすじデータを訓練データに利用する点につい ては，あらすじには登場しない表現や構文が本文に 出現する可能性があるため，すべてに対応できると はいえない. しかし，一作品あたりの文数が本文よ りも圧倒的に少なく，様々な作品を包含することで 未知単語を減らすことができる可能性がある。本文 データを訓練データに用いたモデルの性能が確認で きていない現状，有用性を結論づけることは難しい ため，今後検証を継続する必要がある。

## 参考文献

[1] Yuji Oka and Kazuaki Ando. Extraction of novel character information from synopses of fantasy novels in japanese using sequence labeling. In Proceedings of the 34th Pacific Asia Conference on Language, Information and Computation, 2020.

[2] Zhiheng Huang, Wei Xu, and Kai Yu. Bidirectional lstm-crf models for sequence tagging. In arXiv: 1508.01991, 2015.

[3] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional lstm-cnns-crf. In Proceedings of the Annual Meeting of the Association for Computational Linguistics, 2016.

[4] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Dyer Chris. Neural architectures for named entity recognition. In Proceedings of the North American Chapter of the Association for Computational Linguistics, 2016.

[5] Shotaro Misawa, Motoki Taniguchi, Yasuhide Miura, and Tomoko Ohkuma. Character-based bidirectional lstm-crf with words and characters for japanese named entity recognition. In Proceedings of the First Workshop on Subword and Character Level Models in NLP, 2017.

[6] 日本語Wikipedia エンティティベクトル, 2007. http://www.cl.ecei.tohoku.ac.jp/ m-suzuki/ jawiki_vector/.

[7] Gustavo Aguilar, A. Pastor López-Monroy, Fabio A. González, and Thamar Solorio. Modeling noisiness to recognize named entities using multitask neural networks on social media. In Proceedings of the North American Chapter of the Association for Computational Linguistics, 2018.

[8] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the Empirical Methods in Natural Language Processing, 2004.
 岡裕二 香川大学大学院工学研究科 s20g460@stu.kagawa-u.ac.jp }  安藤一秋 香川大学創造工学部 ando.kazuaki@kagawa-u.ac.jp  