# 単語と文書の関係によるグラフを用いた文書分類

中嶋宽武 ${ }^{1}$ 佐々木稔 ${ }^{1}$
1 茨城大学工学部情報工学科
\{18t40641, minoru. sasaki. 01\}@vc. ibaraki. ac. jp

## 概要

グラフ構造を利用した文書分類の手法の一つに RoBERTaGCNがある。RoBERTaGCNは、20NG、R8、 Ohsumed、MR の 4 つのデータセットによる文書分類において、既存手法の中で最高の性能を誇ってい る。しかし、RoBERTaGCN は、文書-単語ノード間 の関係と単語ノード間の関係は各ノード間の重みと して表現し考慮しているが、文書ノード間の関係は 考慮できていない。そこで、文書の分散表現のコサ イン類似度を文書ノード間の重みとしてグラフに追加することで、RoBERTaGCN の精度向上を試みた。実験の結果、RoBERTaGCN に対して、20NG で $0.67 \%$ 、 Ohsumed で $1.19 \%$ の分類性能の向上を確認できた。

## 1 はじめに

自然言語処理のタスクに文書分類がある。文書分類とは、与えられた文書に対して、事前に定義され たラベル群から適切なラベルを推定するタスクのこ とであり、その技術は、人間が文書を分類する作業 を自動化するための技術として実社会でも応用され ている。

文書分類の手法に RoBERTaGCN がある。 RoBERTaGCN は BERT の大量ラベルなしデータを 活用した大規模事前学習によって得られた知識と、 GCN のトランスダクティブ学習の利点を組み合わ せた手法である。この手法は、20NG、R8、Ohsumed、 MR の 4 つのデータセットによる文書分類において、既存手法の中で最高の性能を誇っている。

しかし、RoBERTaGCN は、文書ノードと単語ノー ド間の関係と単語ノード間の関係は各ノード間の重 みとして表現し考慮しているが、文書ノード間の関係は考慮できていない。そこで、文書ノード間の関係をノード間の重みとしてグラフに追加することで
RoBERTaGCN の精度向上を試みた。具体的には、各文書を BERT モデルに入力し、その最終の隠れ層に おける CLS ベクトルを得る。そして各文書の CLS ベクトルのコサイン類似度を計算し、それらを文書 ノード間の重みとして追加した。これにより、文書 ノード間の関係を考慮したグラフが作成でき、 RoBERTaGCN の各データセットにおける正答率を 上回ることを期待した。

コサイン類似度の閾値を 0.5 と $0.95 \sim 0.995$ まで の間 0.005 刻夕で設定して実験を行うことで、提案手法の性能を評価するとともに、各データセットに おける最適なコサイン類似度の閾値についても検討 を行った。

## 2 関連研究

Kipf ら[1]は、置み込み操作によって局所的に特徴量を抽出する畳み込みニューラルネットワーク (CNN）を、グラフデータに応用できるようにした GCN を提案した。Kipf らの GCN による文書分類は 2017 年当時、最高の精度で分類することができてい た。

Yao ら[2]は、文書分類のタスクに、GCNを適用し た手法である TextGCN を提案した。TextGCN は文書ノードと単語ノードを同一のグラフ(異種グラフ)上に表現し、それを $\mathrm{GCN}$ へ入力としている。 TextGCN は 2018 年当時、文書分類タスクにおいて state-of-the-art を達成した。

Yuxiao ら[3]は、BERT の大量ラベルなしデータを 活用した大規模事前学習によって得られた知識と、 GCN のトランスダクティブ学習の利点を組み合わ せた手法である BertGCN ${ }^{i}$ を提案した。BertGCN では、各文書を BERT に入力して、その出力から文書べク トルを抽出し、それを文書ノードの初期表現として 文書と単語の異種グラフとともに GCNへ入力する。

BertGCN は現在、文書分類タスクにおいて state-ofthe-art を達成している。

## 3 提案手法

提案手法の動作概要図を図 1 に示す。まず、文書 を入力として単語と文書の異種グラフを構築する。次に、そのグラフ情報（重み行列と初期ノード特徴行列）をBERT と RoBERTaGCN に入力し、それぞ れにおける予測結果を得る。最後に、それぞれの予測結果の線形補間を計算し、その結果を最終的な予測として採用する。尚、 3.1 節の内容が本研究におけ る RoBERTaGCN の改良点であり、3.2 節と 3.3 節の 処理は RoBERTaGCN に準拠している。

図 1 : 提案手法の動作概要図

## 3.1 異種グラフ構築

単語ノードと文書ノードを含む異種グラフを構築する。まず、ノード $i, j$ 間のエッジの重みを以下式 (1)のように定義する。単語ノード間のエッジの重み には自己相互情報量（PPMI）を使用する。単語ノー ドと文書ノード間のエッジの重みにはtfidf値を使用 する。RoBERTaGCN では、文書ノード間のエッジの 重みは定義していなかったが、本研究では、各文書 ベクトルの類似度を文書ノード間の重みとして定義 する。具体的には、各文書を BERT に入力し、その 最終の隠れ層から各文書の先頭に追加した特殊トー クンである[CLS]における重みである CLS ベクトル を得る。そして各文書の CLS ゙゙クトルのコサイン類似度を計算し、予め設定した閾値を超える類似度を 文書ノード間の重みとして付加する。

$A_{i, j}=\left.\{\begin{array}{cc}\text { COS_SIM }(i, j), & i, j \text { are documents }(i \neq j) \\ P P M I(i, j), & i, j \text { are words }(i \neq j) \\ T F-I D F(i, j), & \text { is document } j \text { is word } \\ 1, & i=j \\ 0, & \text { otherwise }\end{array}\right.$

次に、GCN に入力する初期ノード特徴行列を作成 する。BERT を用いて文書埋め込み表現を取得し、
それらを文書ノードの入力表現として扱う。文書ノ 一ドの埋め込み表現 $X_{d o c}$ は、文書数 $n_{d o c}$ と埋め込み 次元数dを用いて $X_{d o c} \in \mathbb{R}^{n_{d o c} \times d}$ で表される。総じて、初期ノード特徴行列は以下式(2)で与えられる。

$
X=\left(\begin{array}{c}
X_{\text {doc }} \\
0
\end{array}\right)_{\left(n_{d o c}+n_{\text {word }}\right) \times d}
$

## 3.2 GCN への入カと学習

式(1)と(2)で示したノード間のエッジの重みと初期ノード特徵行列を GCN に入力し、学習を行う。第 $i$ 層の出力特徴行列 $L^{(i)}$ は式(3)で計算される。

$
L^{(i)}=\rho\left(\tilde{A} L^{(i-1)} W^{(i)}\right)
$

$\rho$ は活性化関数であり、 $\tilde{A}$ は正規化された隣接行列 である。 $W^{i} \in \mathbb{R}^{d_{i-1} \times d_{i}}$ は第 $i$ 層における重み行列で ある。 $L^{(0)}$ は $X$ であり、モデルの入力特嘚行列にな っている。GCN の出力は文書ノードの最終表現と して扱われ、分類のためにその出力は Softmax 関数 に入力される。 $\mathrm{GCN}$ の出力による予測は以下式(4) で与えられる。

$
Z_{G C N}=\operatorname{softmax}(g(X, A))
$

## 3. 3 BERT と RoBERTaGCN による予測の補間

BERT 埋め込み表現を直接扱う補助分類器で RoBERTaGCN を最適化することにより、より高速な 収束と性能向上につなげている。具体的には、文書埋め込み表現 $X$ と重み行列 $W$ を softmax に直接送り 込むことで BERT による補助分類器を作成する。補助分類器による予測は以下式(5)で与えられる。

$
Z_{B E R T}=\operatorname{softmax}(W X)
$

そして、RoBERTaGCN からの予測である $Z_{G C N}$ と BERT (補助分類器) からの予測である $Z_{B E R T}$ で線形補間を行い、その線形補間の結果を最終的な予測と して採用する。線形補間の結果は以下式(6)で与えら れる。

$
Z=\lambda Z_{G C N}+(1-\lambda) Z_{B E R T}
$

$\lambda$ はつの予測の間のトレードオフを制御し、 $\lambda=1$ の場合は完全な RoBERTaGCN モデルを使い、 $\lambda=0$ の場合は BERT モジュールのみを使用することを意味する。 $\lambda \in(0,1)$ の場合、両方のモデルから予測の バランスを取ることができ、RoBERTaGCN のモデル をより最適化することができる。 $\lambda=0.7$ が $\lambda$ 最適值であることが Yuxiao らの実験によって明らかに されている。

## 4 実験

コサイン類似度の閾値を 0.5 と $0.95 \sim 0.995$ までの 間 0.005 刻みで設定して実験を行うことで、提案手法の分類性能を評価するとともに、各データセット における最適なコサイン類似度の閾値についても検討を行った。

## 4. 1 データセットについて

文書分類の実験において、よく用いられる英文コ ーパスである 20NG、R52、R8、Ohsumed、MR の 5 つをデータセットとして採用した。以下表 1 に各デ ータセットの文書数や平均単語数、訓練データ数と テストデータ数を示す。

表 1 : 各データセットの情報

 &  &  \\

各データセットについて以下 2 の項目の前処理 を施し実験を行った。

・ストップワードの除去

・記号の除去

各文書を特徴づける単語のみを残すこと、また、単語数を減らしメモリを節約することの両方を目的 として、ストップワードと記号を除去した。

## 4.2 実験結果

コサイン類似度の閾値ごとの実験結果を、もとの RoBERTaGCN での正答率と合わせて表 2 に示す。 ×とした項目は、メモリ不足によって実験が完了で きなかった項目である。また、Ohsumedについては、閾值 0.99 以上と 0.995 以上、閾値 0.975 以上と 0.98 以上の実験で、追加される CLS ベクトルのコサイン 類似度のエッジの数が同じであったため、まとめて 表記した。各データセットにおける CLS ベクトルの コサイン類似度の值の分布については付録に表形式 で示した。どのデータセットにおいても特定の閾値 において、元の RoBERTaGCN の分類性能を上回る ことが確認できたが、R8、R52、MR については元の RoBERTaGCN の性能を上回っている閾值が 1 つか
ら2つ程度となっており、安定的な分類性能の向上 が見られなかった。一方、20NG では、 0.95 から 0.995 までのどの閾値においても元の RoBERTaGCN の分類性能を上回っており、Ohsumed でも、大方の閾値 において元の RoBERTaGCN の分類性能を上回った。際立った結果としては、閾值 0.975 において $20 \mathrm{NG}$ で $0.67 \%$ 、閾值 0.965 において Ohsumed で $1.19 \%$ 、元の RoBERTaGCN の分類性能を上回ることが確認 できた。

表 2 : コサイン類似度の閾値ごとの実験結果

 & MR \\

\cline { 1 - 4 } 0.98 & 89.60 & 98.54 & 93.96 & 88.29 \\

\cline { 1 - 4 } 0.995 & 89.51 & $\mathbf{9 8 . 8 1}$ & 93.26 & 88.31 \\

## 5 考察

以下表 3 に、各データセットにおいて追加された 各種エッジの数とコサイン類似度の平均値を示す。

表 3 : エッジの数とコサイン類似度の平均值

 &  &  \\

×とした 20NG のコサイン類似度のエッジはコサ イン類似度を計算している途中でメモリ不足となり、
重みを付加し終えることができなかった。閾値を 0.5 に設定した実験では、20NG と R52、MR のデータセ ットにおいてメモリ不足により、実験が完了できな かった。また、実験が完了できた R8、Ohsumed にお いても、元の RoBERTaGCN の分類性能を大きく下回る結果となった。いずれの理由も追加する文書ノ ード間のエッジの重みの数が膨大になってしまった ことが原因と考えられる。どのデータセットにおい ても CLS ベクトルのコサイン類似度のエッジの数 が、pmi エッジや tf-idf エッジの 2 倍以上となってい る。また、CLS ベクトルのコサイン類似度の平均値 がいずれのデータセットにおいても 0.8 0.85 の間に あることから、同じジャンルではない文書ノード間 のエッジの重みも相当数追加され、それがノイズに なってしまっていると考えられる。

表 1 の各データセットの平均単語数と表 2 の実験結果を分析すると、提案手法は元の RoBERTaGCN と比較して、平均単語数が多いデータセットほどよ り高い分類性能を得やすいことが分かる。これは、平均単語数が多いほど、文書の CLS ベクトルにそれ らの文書の特徴がよく反映され、同じジャンルの文書ノード間により多くコサイン類似度の重みが追加 されたためと考える。反対に、平均単語数が少ない ほど、文書の CLS ベクトルに差が表れにくくなり、違うジャンルの文書の CLS ベクトルのコサイン類似度が高く出てしまい、違うジャンルの文書のノー ド間の重みにコサイン類似度の重みが追加されてし まったことが、分類性能が思うように上がらなかっ た要因であると考えられる。

表 2 において、分類性能の最高値を示している CLS ベクトルのコサイン類似度の間值における、追加されたエッジの数の割合を計算した。以下表 4 に 計算結果を示す。

表 $4:$ 追加されたエッジの数の割合

 &  &  \\

追加されたエッジの数の割合と分類性能に関係性 は見えてこないため、今後は、文書ノード間に追加 する重みを CLS ベクトルのコサイン類似度の閾値 で決定するのではなく、コサイン類似度の値の上位 ○といった基準での実験を行い、文書ノード間の エッジの数と分類性能の関係を明らかにする必要が ある。

## 6 おわりに

本論文では、文書ノード間のエッジの重みとして 文書の CLS ベクトルのコサイン類似度を付加する ことで RoBERTaGCN を改良でき、元の RoBERTaGCN の分類性能を上回ることを確認した。特に、提案手法は長い（平均単語数の多い）文書に 対して特に有効であることが実験によって示された。

今後は、提案手法と BertGCN の相性や、GCN で はなく代わりに GAT を用いた場合の分類性能につ いても、実験を行って確認していきたい。

## 参考文献

1. Kipf, T. N., and Welling, M. 2017. Semi-supervised classification with graph convolutional networks. In ICLR. 2. Liang Yao, Chengsheng Mao, and Yuan Luo. 2019. Graph Convolutional Networks for Text Classification. In AAAI-19.

3. Yuxiao Lin, Yuxian Meng, Xiaofei Sun, Qinghong Han, Kun Kuang, Jiwei Li and Fei Wu. 2021. BertGCN: Transductive Text Classification by Combining GCN and BERT.

## A 付録


# テレビ字幕データを用いた感情分析による 「ある日の日本の気分」推定に関する研究

イーフエイチー1 ${ }^{1}$ 望月 源 $^{2}$
${ }^{1}$ 東京外国語大学 言語文化学部 ${ }^{2}$ 東京外国語大学 大学院総合国際学研究院
\{yee. hueichi.s0, motizuki\}@tufs. ac. jp

## 概要

本研究は感情分析を用いて，とある日の日本社会全体がその日の出来事からどのような情緒的な雾囲気になっていたのか，いわば「日本の気分」を推定 することを目的とする. テレビ字幕データの中から 日々のニュース字幕を取り出し, 日本語感情分析ラ イブラリ oseti により計測した各文の感情スコアを 集計することで, ある日の感情を推測する. 2019 年 10 月から 2020 年 12 月 31 日までの期間を対象に実際に日付ごとの感情分析によるスコアがどのように 変化したのかを考察する。

## 1 はじめに

本研究は感情分析を用いて，とある日の日本社会全体がその日の出来事からどのような情緒的な雾囲気になっていたのか, いわば「日本の気分」を推定 することを目的とする。過去の一連のニュースに関 するテキストを分析することによって，過去の，と ある期間の日本社会がどんな雰囲気なのか, あるい は現在の社会の雰囲気がどんななのか, 具体的に世間の「雰囲気」を数值化する. 数值化した結果から， とある期間の「日本の気分」を可視化する [1].

この目的を達成するため, 本研究では, テレビの ニュース番組の字幕データを利用し， 1 日単位での 感情分析によるスコアを抽出する. 1 年 2 ケ月とい う比較的長い期間のデータを分析することによって，時間と共に日付ごとの感情分析によるスコアがどの ように変化したのかを考察する.

## 2 調査方法

## 2.1 使用データについて

本研究では, 東京外国語大学計算言語学研究室で 収集整備している「日本語テレビ字幕コーパス」を用いる[2]. このコーパスは, 東京都の地上波デジタ ルテレビ放送に付与されたクローズドキャプション (字幕)データを収集し, 不要な情報を除去した後に,字幕表示のために断片化した文を 1 文にまとめたう えで字幕表示のタイミング情報を付与したものであ り, 以下の特徴がある.
- 2012年 12 月から 2021 年 9 月の時点で 518,960 番組, 179,268,965 文, $1,945,899,573$ 形態素.
- 各テキスト(番組)はテレビ局の番組情報に基 づいて, アニメ/特撮, スポーツ, ドキュメ ンタリー／教養, ドラマ, ニュース／報道, バラエティ, 映画, 音楽, 劇場 $/$ 公演, 趣味 ／教育, 情報／ワイドショー, 福祉, および, その他の 13 種類に分類されている.

本研究ではこのコーパスの中から，2019 年 10 月 1 日から 2020 年 12 月 31 日までの「ニュース/報道」 の 16,362 テキストを字幕データとして使用する.

## 2.2 データ分析の方法

## 2. 2.1 感情分析ツール

感情分析では，単語や用語ごとに「ポジティブ」「ネガティブ」の極性を定めた「感情極性辞書」を 用いることが多い. 代表的な日本語の感情極性辞書 として「日本語評価極性辞書」がある.この日本語評洒極性辞書は,「日本語評価極性辞書(用語編)」[3] と「日本語評価極性辞書(名詞編)」[4]に分類されて いる. 用言編と名詞編の全表現には「ポジティブ」「ネガティブ」の評価極性が振り分けられており，用言編にはさらに「客観的」「主観的」の振り分け もある. 本研究では, この日本語評価極性辞書をデ ータとして用いた日本語感情分析ライブラリ「oseti v.0.2」[5]を用いる. oseti は 1 文ごとの感情スコアを 計算するツールとして GitHubにて公開されている. 1 文を入力すると, 文内の表現のスコアの平均值を
計算し, 文全体としての感情スコアを-1から 1 の範囲で出力する.ポジティブなスコアは肯定的な感情, ネガティブなスコアは否定的な感情, 丁度ゼロとな るスコアはどちらでもないということを指す.

また, oseti は否定的な文脈が現れるとネガティブ な極性を付ける。例えば，「お金」と「希望」は単独ではポジティブな極性である表現だが「お金も希望もない」という文ではポジティブな極性が取り消 され, ネガティブな極性になるため, 文全体のスコ アはネガティブな値となる. 本研究ではコーパス内 の各文の感情スコア計算に oseti を用いる。

## 2. 2.2 感情分析方法

とある日の「日本の気分」を表す数値の計算に当 たって，まずは式 1 の「合計スコア」を導入する.

合計スコア $s c r_{\text {total }}$ はその日のポジティブな文のス コア $s c r_{p}$ の総計とネガティブな文のスコア $s c r_{n}$ の総計を足し合わせたものであり，その日に放送された 全部の文のスコアを足し合わせたものである.

$
s c r_{\text {total }}=\sum_{p \in \text { positive }} s c r_{p}+\sum_{n \in \text { negative }} s c r_{n}
$

ここで positive はポジティブな文の集合, negative はネガティブな文の集合をそれぞれ表す.

式 1 では，肯定的な感情を持つ文と否定的な感情 を持つ文はスコアが打ち消し合う関係にある。

一方, 肯定的な感情と否定的な感情がお互いに打 ち消し合う関係にあるのかについては，疑問も生じ る. 例えば，ある日に， 1 件の非常に悲しいニュー ス(スコアを 5.0 とする)と, 5 つの少しだけ嬉しいニ ユース(各スコアを-1.0 とする)があったとする. 合計 スコアの考え方では, 5.0-(1.0x5)=0.0 となり, その日 の感情は全体として「どちらでもない」ということ になる。しかし, 実際にその日に重大な出来事が発生しており, 人々は起きた物事に強い感情を持って いたはずなので尺度としてしっくりこない部分もあ る. そこで，極性によらず社会の感情の強さを図る 「感情の強度(1)」scr $r_{e s 1}$ を導入する(式 2).

$
s c r_{e s 1}=\sum_{p \in \text { positive }} s c r_{p}+\sum_{n \in \text { negative }}\left|s c r_{n}\right|
$

感情の強度(1)とは，その日のネガティブスコアを 絶対値にし，ポジティブスコアに足し合わせたもの
である. 両方のスコアが同等に高い日があった場合，合計スコアではゼロに近くなるが，感情の強度(1)で は反対に高くなる。評価極性に関係なく，その日の 感情の動きの強さが分かる尺度となっている。

ただし, 感情の強度(1はデータの量に強く左右さ れる。一般に，ニュースが多い日にはスコアを計算 する文数も多くなるため，値が大きくなり，少ない 日には值が小さくなる。そこで，データの量の影響 を軽減する「感情の強度(2)」scr $e_{e s 2}$ を導入する(式 3).

$s c r_{e s 2}=\frac{\sum_{p \in \text { positive }} s c r_{p}+\sum_{n \in \text { negative }}\left|s c r_{n}\right|}{N}$

感情の強度(2)とは, 感情の強度(1を総文数 $\mathrm{N}$ で割 ったものである. 1 日のニュースの量に応じて感情 の強度が調整されるため, 感情の強度(1)に比べてデ 一夕量の影響が少ない尺度となっている。

本研究では, 1 日ごとのテレビ字幕データを以上 の 3 つの計算方法で計算し，比較する。

## 3 感情データの可視化と分析

## 3.1 合計スコアのグラフ化

2019 年 10 月から 2020 年 12 月のデータについて, 1 日ごとの感情を合計スコアで計算した結果を図 1 に示す. 図 1 で，横軸は日付を示し，縦軸は合計ス コアを示す.

## 図 1 合計スコアの推移

期間全体の合計スコアの平均は 89.3 だった. 合計 スコアが最も高かった日は 2020 年 11 月 4 日で 2,161.8 だったが特に大きなニュースはなかった. 一方, 最も低かった日は 2019 年 10 月 12 日で $-2,471.0$ だった.この日は, 過去最高クラスの台風 19 号が伊豆半島に上陸した. より詳細に，期間中に多くの人 に影響を与える出来事が起きた日と合計スコアの対
応を比較する。

2019 年 10 月 1 日には消費税率が引き上げられた が合計スコアは 578.3 であり, その後の日付のスコ アと大きく変わらなかった. 同月 12 日，25 日には 台風が日本に上陸し, スコアが急減した. 12 日は期間中最低の-2,471.0で, 25 日も前日までのポジティ ブスコアとは異なり急減して-1,083.3 だった. 合計 スコアからは，消費税率の話題は社会の感情を大き く左右することはなかったが, 台風の話題は非常に 強いネガティブな影響を及ぼしたと考えられる。

2020 年 2 月 3 日にクルーズ船ダイヤモンドプリン セスが日本に停泊し, 13 日に新型コロナウィルスに よる初めての死亡者が確認され, 19 日にはクルーズ 船からの下船が開始した. 2 月 3 日と 19 日の合計ス コアはそれぞれ 188.8 と 124.7 だった. 新型ウイル ス感染拡大のニュースに対し, 社会は否定的な感情 を抱くと予想されたものの，この両日の合計スコア はポジティブだった. しかし, 合計スコアの全体的 な傾向から見ると, その後の 2 月下旬ごろから数ヶ 月ネガティブな期間が続く. 2 月初頭の時点では,新型ウイルスに関する報道は他の話題と比べてまだ 少なかったか, 言葉の使い方が楽観的だったか, 社会の新型ウイルスに対する印象が悪い方向に根付い てはいなかったのではないかと推測される。

2020 年 4 月 7 日に新型コロナウイルスの感染拡大 により, 第一回目の緊急事態宣言が発表された. 5 月 4 日に緊急事態宣言の約 1 か月間の延長が発表され, 5 月 25 日に全国で解除された. 4 月 7 日の合計スコ アは-549.057, 5 月 4 日は $18.734,5$ 月 25 日は 116.262 だった. 緊急事態宣言が発表された当初, 合計スコ アは全体的に低く, 図 1 ではネガティブなスコアが 連続した期間が多く, 緊急事態宣言が発表された当日の合計スコアもネガティブだった. しかし, 時間 が経つにつれて合計スコアが上がり，5月 4 日には 合計スコアはややポジティブで緊急事態宣言が全面解除した 5 月 25 日になると合計スコアがさらにポ ジティブになった.

合計スコアでは, 同じ評価極性の日が長い期間連続する傾向にある. 2019 年 11 月 13 日から 2019 年 12 月 27 日までの 45 日間連続でポジティブスコアが 続いた. その他, 39 日間ポジティブスコアが続いた 2020 年 10 月 11 日から 2020 年 11 月 18 日までの期間と, 33 日間連続でネガティブスコアが続いた 2020 年 3 月 26 日から 2020 年 4 月 27 日までの期間など が見られた. より大きな傾向としては, 2019 年 10 月終わりから 2020 年 2 月までと, 2020 年 9 月から 12 月はポジティブな傾向, 2020 年 3 月から 6 月と 2020 年 7 月から 8 月にネガティブな傾向が見られた.

## 3.2 感情の強度(1)のグラフ化

同一期間の感情の強度(1)で計算した結果を図 2 に 示す. 図 3 に期間中の文の数を示す.

図 2 感情の強度(1)の推移

図 3 文の数

期間内で, 感情の強度(1)は平均で 3,864.1 だった.値が最も高かった日は 2020 年 4 月 7 日で $7,220.5$ だ った. 最も低かった日は 2020 年 1 月 3 日で 701.6 だ った. 同じ期間で文の数は平均で 8,407 文だった.文の数が最も高かった日は 2020 年 4 月 7 日で 15,167 文だった. 文の数が最も低かった日は 2020 年 1 月 3 日で 1,561 文だった. どちらの場合も, 值の最大,最小の日とニュース量の多少が完全に一致する．感情の強度(1)ははュースの量が強く影響しているこ とがわかる. 図 2 と図 3 では, 形が一致するところ が大きい. 図 3 では文の数が非常に多かった日が 5 日のうち, 4 日は感情の強度(1)も多かった. その 4 日 は, 緊急事態宣言が初めて宣言された 2020 年 4 月 7 日, 豪雨により避難指示が出た 2020 年 7 月 7 日, 台風 10 号が沖縄県に上陸した 2020 年 9 月 7 日と, ア メリカ大統領選挙の結果が日本で発表された 2020
年 11 月 4 日である. どの日も報道されたニュース の量も多く，感情の強度(1)も文の数も多かった。大きな傾向としては, 感情の強度(1)はニュースの量 に影響され易い。しかし，とある日に「ニュースの 量が多かった」ということは, 評価極性に関係なく,報道する価値があるニュースが多かったとも言える。 そうなると, 感情の強度(1)はどの日に重大出来事が 起きたかの特定に役立つと考えられる.

## 3.3 感情の強度(2)のグラフ化

同一期間の感情の強度(2)で計算した結果を図 4 に 示す.

図 4 感情の強度(2)の推移

感情の強度(2は平均で 0.459 だった. 値が最も高 かった日は 2020 年 4 月 7 日で, 0.508 だった. 最も 低かった日は 2020 年 1 月 3 日で， 0.291 だった. 全数値の中で, 感情の動きが弱かった下位 $5 \%$ は 0.417 より低く, 強かった上位 $5 \%$ は 0.488 より高かった.感情が強かった日で, 合計スコアがポジティブな日 が 3 日, ネガティブな日は 23 日あった. 一方, 感情 が弱かった日で, 合計スコアがポジティブな日は 17 日, ネガティブな日は 7 日だった. 感情の強度(2)が 高く感情が強かった日は合計スコアがネガティブな 傾向にあった. 反対に, 感情の強度(2)が低く感情が 弱かった日は合計スコアがポジティブな傾向にあっ た. 分析期間のデータを参考にする限り, 否定的な 感情は肯定的な感情よりも強い感情を呼び起こすと 考えられる。

重大な出来事の発生と感情の強度(2)照らし合わ せると, 感情が強かった日もあれば, 弱かった日も ある. 新型ウイルスの初めての死亡者が発表された 日の 2020 年 2 月 13 日の直後に感情が強く, 14 日, 16 日, 17 日の感情の強度(2)が強かった. また, 台風 19 号が上陸した 2019 年 10 月 12 日の辺りに 10 月 9 日，12 日，13 日と 14 日にも感情の強度(2)が強かつ た.しかし, 台風 21 号が上陸した 2019 年 10 月 25日は当日の感情の強度(2)が 0.478 でごく平均的な数值だった．同じ台風に関するニュースであっても、感情の強度(2に必ず反映するとは限らない。

## 4 おわりに

本研究では, テレビのニュース番組の字幕データ を利用し, 1 日単位での感情分析によるスコアを抽出し, とある日の「日本の気分」の数値化を試みた.

3 つの数值化のうち, 合計スコアでは, とある日 に重大出来事が起きたかを特定するより，数日，数 ケ月などある程度長い期間での社会の雾囲気を調べ ることに向いていた. 2020 年の新型コロナウイルス 感染状況における報道の変容について, 岸本らの分析がある[6]. 岸本らの考察と図 1 の値が次のように 非常に良く符号する.

「未知のウイルスが海外から日本へと徐々に身近 に迫る様子が報道され, 視聴者の関心は上昇傾向し ていた（図 1 で感染が始まった初期 : 2020 年 1 月 4 $\sim 3$ 月 18 日が該当）. 第一波に入ると, 緊急事態宣言により生活環境は一変し, コロナ報道は活発化し た. 初の感染拡大や活発なコロナ報道により、視聴者の関心はピークに達していた（図 1 で第一波 : 3 月 19 日〜6 月 21 日が該当）」（第一波が収束する と）「コロナ報道はやや落ち着き始めていた」「第二波に入ると, 東京の感染者数報道が中心となるが、視聴者の関心は変化しなかった (図 1 で第二波: 8 月 8 日 11月 3 日が該当）」

感情の強度(1はデータの量に左右されることが多 いが，何らかの重大なできごとが発生した日を示す 指標としての可能性がみられた. 感情の強度(2)はデ 一夕量の影響は受けにくいが, 感情が強くかつ肯定的な日と，感情が弱くかつ否定的な日を検知する性能が限られており, 重大な出来事の発生した日は特定しにくい.

とある日に重大出来事が起きたとして, その出来事についての報道が当日だけに限られることは少な く, その後も報道が続く. そのため, 出来事が起き た当日以降でも感情の強さがピークアウトすること もある.今後より正確に，とある日の感情を掴むた めに, 強い感情が連続する期間内で共通する単語を 重大な出来事を表す話題として, 話題ごとにニュー スをまとめ, 最初に報道された日を探し出すような システムの実現が考えられる。これにより, 特定の 日の重大な出来事とその時の「日本の気分」をより 正確に検知できる可能性がある.

## 謝辞

本研究は JSPS 科研費 JP19H04224, JP20H00096 の

助成を受けたものです.

## 参考文献

[1] イーフエイチー, テレビ字幕データを用いた感情分析による「ある日の日本の気分」推定に関する 研究, 卒業論文, 東京外国語大学,3. 2022.

[2] Hajime Mochizuki and Kohji Shibano, Building Very Large Corpus Containing Useful Rich Materials for Language Learning from Closed Caption TV, World

Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, Volume 2014, No. 1, pp. 1381-1389, Association for the Advancement of Computing in Education (AACE), 10. 2014.

[3] 小林のぞみ、乾健太郎、松本裕治、立石健二、福島俊一、意見抽出のための評価表現の収集、自然言語処理、Vol.12、No.3、pp.203-222、2005.

[4] 東山昌彦、乾健太郎、松本裕治、述語の選択選好性に着目した名詞評価極性の獲得、言語処理学会第 14 回年次大会論文集、pp.584-587、2008.

[5] 池上 有希乃、oseti v.0.2、2019、 https://github.com/ikegami-yukino/oseti（最終アクセ ス 2022.1.5)

[6] 岸本大輝、井原史渡、栗原聡、新型コロナウイ ルスの感染状況に対するテレビ報道の特徴と報道変容の分析、人工知能学会全国大会（第 35 回）, pp.1-4, 2021.

## A 付録

図 1 合計スコアの推移

図 4 感情の強度(2)の推移


# タスク指向対話システムの外部表知識の参照能力向上

深谷 竜暉 三輪誠 佐々木裕
豊田工業大学
\{sd18071, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

既存の深層学習を用いた End-to-End のタスク指向対話システムは，応答の生成と外部知識の参照を同時に行うため，応答全体を通じて外部知識を適切に 参照できない場合がある。本稿では，外部知識とし て表を用いるタスク指向対話システムを対象に，応答全体に適した表知識の参照が可能な End-to-End の 対話システムを目指して，応答の概形を生成した上 で，必要な表知識を参照する手法を提案する。 タス ク指向対話データセットにおける評価の結果，提案手法は応答全体を利用しないべースラインよりも BLEU スコア・Entity $F_{1}$ を向上でき，より正確に表知識を参照できることを明らかにした。

## 1 はじめに

タスク指向対話システムは，レストランの予約・天気予報の照会・飛行機のフライトの予約など様々 な場面での活用が期待されており，産業的に注目を 集めている. 対話システムの伝統的なパイプライン モデルは言語理解・対話状態追跡・言語生成のモ ジュールによって構築される [1]が，各モジュール の構築には追加のアノテーションが必要となる場合 が多い。この問題に対して，深層学習を用いて，外部知識を学習フレームワークに組み込み，明示的な 対話状態や行動などのアノテーションを必要とせず に応答を生成できる End-to-End の対話システム [2] が提案されている。外部知識は表形式で表現できる ことが多いため，外部知識が表形式で表現された表知識を参照する対話システムは多く提案されてお り，本研究でも表知識を参照した対話システムを対象とする。

これまでに提案された End-to-End の対話システム の出力では表知識の参照を誤る場合が多くみられ る. 図 1 に示す例は，本研究でベースラインとする 最先端の手法の 1 つである DF-Net が表知識を誤っ て参照した例である。この例では，応答の文脈から

ユーザ : Find me the nearest gas station .
システム: The nearest gas station is Valero, 200 Alester Ave away

図1 表知識を誤って参照した例：正しい応答は“The nearest gas station is Valero, 5miles away."

すると，距離を表す 5 miles を参照するのが適切だ が，実際には誤って住所の情報を参照して応答して しまっている。

本稿では，このような応答の文脈と参照する表知識の内容の不整合を減らすことで，表知識の参照を より正確に行う End-to-End の対話システムの構築に 取り組む。

## 2 関連研究

これまで，表知識を End-to-End の対話システムに 取り込むための様々な手法が提案されている．Yang ら [3] は表知識をグラフ形式で取り込むモデルを提案したが，解析の結果，表知識を適切に参照できて いないことを報告している．Qin ら [4] は表知識を トリプル形式で取り込んだが，生成した応答の文脈 に対して参照している表知識が間違っている問題が あったことを報告している。

## 3 DF-Net

ここでは，ベースラインとして用いるモデルであ る DF-Net [4] の応答生成と表知識の参照について説明を行う。

## 3.1 応答生成

注意機構を用いた Seq2Seq モデル [5] を基にして 入力の対話 $X$ と表知識 $B$ から応答 $Y$ を生成する. BiLSTM [6] によりエンコードを行い，長さ $I$ の入力 に対して中間表現 $\boldsymbol{H}=\left(\boldsymbol{h}_{\mathrm{enc}, 1}, \boldsymbol{h}_{\mathrm{enc}, 2}, \ldots, \boldsymbol{h}_{\mathrm{enc}, I}\right)$ を求

 \\
: I Valero is 4miles away . \\
: Valero is at 200 Alester Ave .

図 2 表知識を参照する対話例

める.

$
\boldsymbol{h}_{\mathrm{enc}, i}=\operatorname{BiLSTM}_{\mathrm{enc}}\left(x_{i}, \boldsymbol{h}_{i-1}\right)
$

デコードは GRU にて行い，デコーダの中間表現 $\left(\boldsymbol{h}_{\mathrm{dec}, 1}, \boldsymbol{h}_{\mathrm{dec}, 2}, \ldots, \boldsymbol{h}_{\mathrm{dec}, T}\right)$ により出力 $\left(y_{1}, y_{2}, \ldots, y_{T-1}\right)$ を生成する. エンコーダの最終時点の中間表現を デコーダのはじめの時点の中間表現 $\boldsymbol{h}_{\mathrm{dec}, 0}$ に利用 する。

$
\boldsymbol{h}_{\mathrm{dec}, t}=\operatorname{GRU}_{\mathrm{dec}}\left(y_{t-1}, \boldsymbol{h}_{\mathrm{dec}, t-1}\right)
$

モデルは時点 $t$ の応答 $y_{t}$ を生成するために，注意表現 $\boldsymbol{h}_{\mathrm{dec}, t}^{\prime}$ を計算する. $\boldsymbol{h}_{\mathrm{dec}, t}^{\prime}$ にはエンコード時の中間表現 $\boldsymbol{H}$ の注意を用いる. $\boldsymbol{h}_{\mathrm{dec}, t}$ と $\boldsymbol{h}_{\mathrm{dec}, t}^{\prime}$ から学習 される重み $U$ を用いて次の語の生成確率の分布 $\boldsymbol{y}_{t}$ を計算する。ここで生成する語は，語の属性名を表現するスケッチタグ（@を用いた語）を含む. 図 2 に示す対話の場合，システムはスケッチタグを用い て,「@Poi is at @ Address.」といった応答の概形を生成するように学習する. スケッチタグは同じ時点 $t$ でデコーダにて表知識の要素に置き換えられる。

$
\begin{gathered}
\boldsymbol{o}_{t}=\boldsymbol{U}\left[\boldsymbol{h}_{\mathrm{dec}, t}, \boldsymbol{h}_{\mathrm{dec}, t}^{\prime}\right] \\
p\left(y_{t} \mid y_{1}, \ldots, y_{t-1}, X, B\right)=\operatorname{Softmax}\left(\boldsymbol{o}_{t}\right)
\end{gathered}
$

## 3.2 エンコーダでの表知識の参照

表知識を参照する際の精度は，表知識を参照 するためのクエリに大きく依存する．Memory Networks [7] を適用して表知識 $B$ と入力の対話 $X$ に関する専用メモリ $M$ を用意する. ここでは $k$ ホップの Memory Networks を適用する. Memory Networks では，表知識と入力の対話を表現する訓練 される埋め込みべクトル $\boldsymbol{C}=\left(\boldsymbol{C}^{1}, \ldots, \boldsymbol{C}^{k+1}\right)$ を各ホッ プで使用する。これにより情報を持つためのメモリ が拡張され，適切な情報を保持したクエリを作成す ることができる. $M$ は $M=[B ; X]=m_{1}, \ldots, m_{b+T}$ で 表され， $m_{i}$ が語に関するメモリを表し，bと $T$ はそ
れぞれ表知識に含まれる語の数と入力の対話に含ま れる語の数である。エンコーダでは最後の中間表現 をクエリとする。

$
\boldsymbol{q}_{\text {enc }}^{1}=\boldsymbol{h}_{T}
$

ホップ $\mathrm{k}$けるる注意の重みは以下のように計算さ れる。

$
\boldsymbol{p}_{i}^{k}=\operatorname{Softmax}\left(\left(\boldsymbol{q}_{\mathrm{enc}}^{k}\right)^{\top} \boldsymbol{c}_{i}^{k}\right)
$

$\boldsymbol{c}_{i}^{k}$ はベクトル $\boldsymbol{C}^{k}$ を用いた $i$ 番目のメモリ位置の埋 め込み表現である。ここでデコード時に用いるグ ローバルメモリポインタ $G=\left(g_{1}, \ldots, g_{b+T}\right)$ を式 (7) によって作成する。

$
\boldsymbol{g}_{i}^{k}=\operatorname{Sigmoid}\left(\left(\boldsymbol{q}_{\mathrm{enc}}^{k}\right)^{\top} \boldsymbol{c}_{i}^{k}\right)
$

グローバルメモリポインタの正解ラベル $G^{\text {label }}=$ $\left(\hat{g}_{1}, \ldots, \hat{g}_{b+T}\right)$ は以下のように定義する.

$
\hat{g}_{i}= \begin{cases}1 & \text { if Object }\left(m_{i}\right) \in Y \\ 0 & \text { otherwise }\end{cases}
$

これによりグローバルメモリポインタ $G$ は，正解の 応答に出現した語の生成確率が高くなるように訓練される. 最後に $\boldsymbol{c}^{k+1}$ に対する注意の重みの和に よってメモリ $o^{k}$ を読み出し，クエリベクトル $\boldsymbol{q}_{\text {enc }}^{k+1}$ を更新する。

$
\boldsymbol{o}_{\mathrm{enc}}^{k}=\sum_{i} \boldsymbol{p}_{i}^{k} \boldsymbol{c}_{i}^{k+1}, \quad \boldsymbol{q}_{\mathrm{enc}}^{k+1}=\boldsymbol{q}_{\mathrm{enc}}^{k}+\boldsymbol{o}_{\mathrm{enc}}^{k}
$

$\boldsymbol{q}_{\text {enc }}^{k+1}$ はエンコードされた表知識であり，デコーダで 用いられる。

## 3.3 デコーダでの表知識の参照

各時点では Copy Net にならいデータセット内の 語彙と表知識の語彙のどちらから語を生成するか を決めるためのモードを選択する。スケッチタグが 生成された時点は複製モードで，そうでなければ生成モードとなる。各時点で中間表現 $\boldsymbol{h}_{d e c, t}$ と注意表現 $\boldsymbol{h}_{d e c, t}^{\prime}$ を連結してクエリ $\boldsymbol{q}_{\mathrm{dec}}^{1}$ を作り表知識を参照 する。

$
\begin{gathered}
\boldsymbol{q}_{\mathrm{dec}}^{1}=\left[\boldsymbol{h}_{\mathrm{dec}, t}, \boldsymbol{h}_{\mathrm{dec}, t}^{\prime}\right] \\
p_{i}^{k}=\operatorname{Softmax}\left(\left(\boldsymbol{q}_{\mathrm{dec}}^{k}\right)^{\top} \boldsymbol{c}_{i}^{k} g_{i}^{k}\right)
\end{gathered}
$

$P_{t}=\left(p_{1}^{k}, \ldots, p_{b+T}^{k}\right)$ は表知識の各語の生成確率であ り, 式 (4) によってスケッチタグが生成された時点 $t$ では，最も高い確率を持つ語を選択してスケッチタ グと置き換える。

図 3 提案手法の概要

## 4 提案手法

応答の文脈と参照する知識の内容の不整合を減ら すために，生成する応答の概形の文脈表現を利用し て知識の参照を行う手法を提案する。提案手法の概要を図 3 に示す. 既存手法の中でも比較的高い応答性能を持つ DF-Net [4] をべースラインとして用い,応答生成とエンコーダでの表知識の参照については それぞれ 3.1 節, 3.2 節と同様に行う．提案手法では 式 (4) でスケッチタグが生成された場合，同じ時点 で表知識の要素に置き換えることはせず，応答の概形を最後まで生成し終えた後に，デコーダにて表知識の参照を行う．提案手法のデコーダでの表知識の 参照について以下で述べる.

デコーダでの各時点で中間表現 $\boldsymbol{h}_{\mathrm{dec}, t}$ と注意表現 $\boldsymbol{h}_{\mathrm{dec}, t}^{\prime}$ を連結して $q 0$ を作る.

$
\boldsymbol{q} \mathbf{0}_{\mathrm{dec}}=\left[\boldsymbol{h}_{\mathrm{dec}, t}, \boldsymbol{h}_{\mathrm{dec}, t}^{\prime}\right]
$

表知識参照用のクエリ $\boldsymbol{q}_{\mathrm{dec}}^{1}$ は $q 0$ とスケッチ応答を 生成し終えた時点 $T$ での中間表現 $h_{\mathrm{dec}, T}$ を用いて作成する.

$
\boldsymbol{q}_{\mathrm{dec}}^{1}=\boldsymbol{W}\left[\boldsymbol{q} \mathbf{0}_{\mathrm{dec}}, \boldsymbol{h}_{\mathrm{dec}, T}\right]
$

$W$ は重みである．表知識の参照は式 (14)にて行う.

$
p_{i}^{k}=\operatorname{Softmax}\left(\left(\boldsymbol{q}_{\mathrm{dec}}^{k}\right)^{\top} \boldsymbol{c}_{i}^{k} g_{i}^{k}\right)
$

$P_{t}=\left(p_{1}^{k}, \ldots, p_{b+T}^{k}\right)$ は表知識の各語の生成確率であ り，式 (4) によってスケッチタグが生成された時点 では，スケッチタグを最も生成確率が高い語と置き 換える。

## 5 実験と考察

## 5.1 実験に用いたデータセット

データセットは表知識を参照するタスク指向対話 を集録した KVRET [2]を使用した．KVRET はカー表 1 データセット（KVRET）の統計

表 2 BLEU スコアおよび Entity $\mathrm{F}_{1}$

提案手法 $\quad 14.4( \pm 0.6) \quad 61.1( \pm 1.4)$

アシスタントシステムとユーザとの複数回に渡る 対話を扱い，対話の内容は道案内と予定管理，天気予報の三つのドメインに渡る。図 2 に示した対話は KVRET に収録されている対話の例である.

データセットの詳細を表 1 に記す. 本実験では,全 3,031 対話のうち 2,425 対話を訓練用データに, 302 対話を検証用データ，残りの 304 対話をテスト 用データとした。

## 5.2 評価手法

提案モデルの出力として得られる応答がどれだけ 正解の応答と関連しているかを BLEU [8] によって 評価する。そして出力される応答がどれだけ対話の 内容に沿って適切に表知識を参照できているかを Entity $F_{1}$ で評価する. Entity $F_{1}$ は，規定の語を応答 で使用した割合を全対話で平均することで算出す る. 本実験では正解の応答で使用している表知識の 要素を規定の語とする。

## 5.3 結果

提案モデルの応答性能を KVRET を用いて BLEU スコアと Entity $\mathrm{F}_{1}$ で評価する. テストデータにお ける各スコアを表 2 に示す。比較のため，基準と なる DF-Net の各スコアも示す. Entity $\mathrm{F}_{1}$ は $0.4 \%$ ポ イント向上し，上がり幅は $0.7 \%$ となった。このこ
表 3 提案手法と DF-Net の応答例:[] 内は表知識から抜き出した要素であり，。 と ${ }_{\mathrm{x}}$ はそれぞれ表知識を適切に参照でき たかどうかを表す.

対話

目標: [hotel_keen, 578_arbol_dr, rest_stop, car_collision_nearby, 3_miles]

直前の発話: what is the rest_stop with the quickest route nearby?

正解の応答: hotel_keen is a rest_stop located 3_miles away there is a car_collision_nearby but should delay you to long.

DF-Net: [hotel_keen $]_{0}$ is $\left[5 \_m i l e s\right]_{\mathrm{x}}$ way.

提案手法: the closest rest_stop is [hotel_keen $]_{0}$, [3_miles $]_{o}$ away.

目標: [Valero, gas_station, road_bloack_nearby, 5_miles]

直前の発話: find me the nearest gas_station.

正解の応答: the nearest gas_station is located 5_miles away need more info?

DF-Net: the nearest gas_station is [valero $]_{0},\left[200 \_ \text {alester_ave }\right]_{x}$ away.

提案手法: the nearest gas_station is [valero] $]_{0}\left[5 \_m i l e s\right]_{o}$ away.

目標: [panda_express, 3_miles, pizza_hut, 5_miles]

直前の発話: i need directions to a local fast food restaurant please.

正解の応答: there is a panda _express 3 _miles from you as well as a pizza _hut 5 _miles from you.

DF-Net: [round_table $]_{\mathrm{x}}$ is [5_miles $]_{\mathrm{o}}$ away.

提案手法: the nearest pizza_restaurant is [pizza_hut $]_{\mathrm{o}}$, it is $\left[5 \_m i l e s\right]_{\mathrm{o}}$ away.

とから，今回作成したモデルは DF-Net よりも表知識を適切に参照できていることが分かった.また, BLEU も 0.4 ポイント向上し，上がり幅は $2.9 \%$ と なった。これにより，生成する応答全体に適した表知識を参照することで，より正解に近い応答を生成 できることが分かった.

## 5.4 解析

提案手法と DF-Net が生成した応答の例を表 3 に 示す. 1 つ目の例では, DF-Net が距離を表す表知識 の要素の参照を誤ったが，提案手法では正しい要素 を参照できていることが分かる．2つ目の例では， DF-Net が応答の文脈に適さない表知識の要素を参照しているが，提案手法は文脈に適した要素を参照 できていることが分かる. これにより，提案手法は 応答全体に適した表知識を参照できており，ベース ラインより適切に表知識を参照できていることが分 かる. しかし，3つ目の例では，提案手法は誤った 知識の参照はしていないが，応答に使用すべき情報 が欠けており，応答そのものの生成能力に不十分な 点があることが分かる. この問題を解決するには，応答生成時にも表知識を参照し，モデルが出力する 応答に含まれるべき表知識を適切に応答に使用する ようモデルに学習させる，といったような改善が必要だと考えられる。

## 6 おわりに

本稿では，応答全体に適した表知識の参照が可能 な End-to-End の対話システムの実現を目指して，応答の概形を生成した上で，必要な表知識を参照する 手法を提案した。タスク指向対話データセットにお ける評価の結果，提案手法は応答全体を利用しない ベースラインよりも BLEU スコア・Entity $\mathrm{F}_{1}$ を向上 でき，より正確に表知識を参照できることが明らか になった. 今後はモデルのさらなる改善を目指す， また，生成した応答を解析した結果，提案手法が応答を生成する際に応答に十分な情報が含まれない場合があるという課題が見つかったため，この改善も 行う予定である.

## 参考文献

[1] Steve Young, Milica Gašić, Blaise Thomson, and Jason D Williams. Pomdp-based statistical spoken dialog systems: A review. Proceedings of the IEEE, Vol. 101, No. 5, pp. 1160-1179, 2013.

[2] Mihail Eric, Lakshmi Krishnan, Francois Charette, and Christopher D. Manning. Key-value retrieval networks for task-oriented dialogue. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 37-49, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[3] Shiquan Yang, Rui Zhang, and Sarah Erfani. GraphDialog: Integrating graph knowledge into end-to-end task-oriented dialogue systems. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing

(EMNLP), pp. 1878-1888, Online, November 2020. Association for Computational Linguistics.

[4] Libo Qin, Xiao Xu, Wanxiang Che, Yue Zhang, and Ting Liu. Dynamic fusion network for multi-domain end-to-end task-oriented dialog. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6344-6354, Online, July 2020. Association for Computational Linguistics.

[5] Mihail Eric and Christopher Manning. A copy-augmented sequence-to-sequence architecture gives good performance on task-oriented dialogue. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 468-473, Valencia, Spain, April 2017. Association for Computational Linguistics.

[6] Mike Schuster and Kuldip K Paliwal. Bidirectional recurrent neural networks. IEEE transactions on Signal Processing, Vol. 45, No. 11, pp. 2673-2681, 1997.

[7] Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, and Rob Fergus. End-to-end memory networks. arXiv preprint arXiv:1503.08895, 2015.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311318, 2002.


# 大規模マスク言語モデルの文法誤り認識能力

木村 学 1 永田 亮 $^{2}$ 塙 一晃 ${ }^{3,4}$
${ }^{1}$ GRAS グループ株式会社 2 甲南大学 ${ }^{3}$ 理研 AIP 4 東北大学
manabu.kimura @ gras-group.co.jp nagata-nlp2022 @ ml.hyogo-u.ac.jp.
kazuaki. hanawa @ riken.jp

## 概要

本稿では，マスク言語モデルベースの文法誤り検出手法についてその誤り検出能力を調査する. 実 データ及び設計された人工データの実験から，仮説 (i)「言語モデルは，母語話者コーパスからの事前学習の際に，ある種類の文法誤りを認識するために必要な文法の知識を得ている.」，仮説 (ii)「言語モデ ルは，ごく少数の訓練データで finetune するだけで，事前学習時に獲得する文法知識を誤り検出ルールに 変換し，文法誤り検出に対する高い汎化能力を獲得 している.」が示唆されることを示す.

## 1 はじめに

近年，BERT [1]のような，大規模なコーパスで事前学習されたマスク言語モデルが，自然言語処理の 幅広いタスクにおいて，性能を飛躍的に向上させる ことが示されてきた.これらの結果は「文法誤り検出」でも効果的であることを示唆している. しかし ながら，文法誤り検出の見地での研究は他のタスク よりも圧倒的に少ない. 実際，言語モデルは母語話者によって生成された言語データ（本稿は英語に特化する）から学習されているので，言語学習者に よって生成された言語データには能力を発揮しない のではないか，文法誤りについての知識が存在しな いのではないかという疑問が生じる。

実際のところは，文法誤りの検出と訂正のタスク で言語モデルの性能は，少数ではあるが報告されて いる $[2,3,4,5]$. これらの研究は文法誤りの検出と 訂正のタスクで言語モデルの効果を検証している が，言語モデルが誤り検出/訂正に何故有効であるの かという疑問は解決されないままである.

本稿では，リサーチクエスチョン「母語話者コー パスから事前学習された言語モデルは fintune によっ て誤り検出タスクに何故効果を発揮するのか？」へ の答えを計算機実験や結果の詳細な分析から経験

図1訓練データ量と性能の関係（訓練/評価データ: FCE）

的に探る。具体的には，図 1 で示すように，finetune の訓練データ量の変化と検出性能 $F_{1.0}$ の関係を非言語モデルベースの手法と比較することで調査する.同図では，非言語モデルベースの手法が全ての訓練 データで達成する $F_{1.0}$ を，5-10\%の訓練データ量で BERT ベースの手法は達成する結果を得ている（詳細は 5 節に記述する)。さらに，BERT ベースの手法 は 500 文程度で $F_{1.0}$ の上昇が飽和し始めている.こ れは，BERT ベースの手法に，概要で述べた仮説 (i) (ii) が成り立つことを示唆する．実際の学習者の誤 りを含む実データ，設計された誤りを含む人工デー タの両者で実験を行い，この仮説を支持する結果や 分析を報告する。

## 2 関連研究

マスク言語モデルは文法誤り検出/訂正に適用さ れてきた. 文献 $[2,3]$ は誤り検出の手法が言語モデ ルの利用で再現率と適合率が高まることを示してい る. 文献 [6] は文法誤り検出に BERT ベースの文脈埋め込みを使用し，他の埋め込み手法と比較してい る. 彼らは，BERT ベースの文脈埋め込みが効果的 であることを示しているが，本研究のように BERT の finetune は行っていない. 文献 $[4,5]$ は文法誤り
訂正で性能を同様に改善している. 本稿はこれまで の研究で報告されてきた誤り検出の能力が，何故そ してどういう場合に獲得するのかを，実験や結果の 詳細な分析から経験的に探る。

言語モデルの言語知識を調査する研究は様々なも のが存在する $[7,8,9]$. 一般的なアプローチは，文脈が与えられたときに，言語モデルが不適切な単語 よりも適切な単語に高い確率を与えるかを評価する ものである. 調査対象の言語知識は，構文的/意味的知識から一般常識に及ぶ. 本稿はこれら従来研究と は異なり，学習者コーパスに実際に出現する誤りを 対象にし，マスク言語モデルの汎化性能を調査する （例えば，主語に前置詞が付随する文法誤りや自動詞/他動詞の使用に関する文法誤りなどを扱う).

## 3 文法誤りデータ

本稿では，検証に実データと人エデータを使用 する.

実データは，英語学習コーパス，FCE [11] と解説文付き ICNALE [10] 使用する．FCE は，学習者の 文とその誤りを訂正した文が含まれている。誤りタ グについては，ERRANT [13]を用いて取得した. 解説文付き ICNALE は，トピック「アルバイト」及び 「喫煙」についての英語学習者のエッセイ文が集め られた ICNALE [12] に，誤りの解説文が付与された ものである ${ }^{1)}$. ICNALE では，解説文付き ICNALE に収録されている前置詞誤りを検出対象とした。な お，これらのコーパスは誤りがない文も含んでいる ことに注意されたい.

人工データは AQUAINT Corpus に含まれる 19982000 年の New York Times [14]を使用し，次の誤りを 加えることで生成する。

前置詞置換不定詞 to 不定詞の to が for に置き換 わっている誤り (例：to read $\rightarrow$ * for read)

動詞句主語 主語として使用された動詞句 (例：To learn English is easy. $\rightarrow *$ Lean English is easy.)

前置詞十主語 前置詞を伴う主語 (例: The cafe serves good coffee. $\rightarrow *$ In the cafe serves good coffe.)

他動詞十前置詞 前置詞を伴う他動詞 (例：We discussed it. $\rightarrow *$ We discussed about it.)

自動詞十目的語 目的語を伴う自動詞 (例:We agree with it. $\rightarrow$ *We agree it.)

以上は構文解析の結果から自動生成できる。一文あ

1）説明の簡略化のため，解説文付き ICNALE も以後 ICNALE と呼ぶ.
たりは一つの誤りとし，前処理として $\mathrm{spaCy}^{2}$ をか けることで，構文解析の結果を得る ${ }^{3}$ ．ただし，誤 り文を生成する際には次のように制限を設けてい る.ランダムに加える前置詞は, at, about, to, in, with の 5 種類とした.ただし，前置詞置換不定詞のみ，常に to を forに置き換えた. 他動詞十前置詞で誤 りを加える他動詞は，訓練/開発データでは answer, attend, discuss, inhabit, mention, oppose, resemble のみ を，評価データは approach, consider, enter, marry, obey, reach, visit のみとした. 同様に，自動詞十目的語で 誤りを加える自動詞は，訓練データと開発データで は agree, belong, disagree, relateのみを，評価データで は apply, graduate, listen, specialize, worry のみとした. したがって，対象とする自動詞と他動詞は，訓練/開発データと評価データとの間で重複しない.

実験では，訓練データの文数と検出性能との関係 を調べるためにランダムに文をサンプリングする.実データの FCE と ICNALE については，その数を 100，300，500，1,000，3,000，5,000，10,000，全文と 変化させている。開発データと評価データは，訓練データの変化に関わらず別の固定した文を用い る（開発データと評価データの具体的な統計量は付録 B に示す)。なお，訓練，開発，評価データには，学習者の誤りがない文も含まれている.

人工データの訓練データは，誤りの種類毎に $2^{k}(1 \leq k \leq 10)$ 文をランダムにサンプリングするこ とで，10 個の訓練データのセットを用意する．開発 データについては誤りの種類毎に 200 文をランダム に選択する。評価データについては同様に誤りの種類毎に 200 文をランダムに選択し，さらに，誤りを 加えていない他の 200 文を追加した。実データと同様に，開発データと評価データは訓練データの変化 に関わらず固定されている。

## 4 文法誤り検出手法

本稿で扱う文法誤り検出の問題を次のように定

それぞれ表記する。 さらに対応するラベルの系列を $\left.\{l_{i}\right.\}_{i=1}^{N}$ と定義する. ここで， $l_{i}$ は $w_{i}$ に対応するラべ ルである. ラベルは，データによって次の (i)，(ii) のいずれかを仮定する。(i) 実データの場合：文法誤 りが有るか無いかのみを扱い，ラベルをそれぞれ $\mathrm{E}$及び C と定義する. (ii) 人工データの場合 : 文法誤

2) https://spacy.io/

3）信頼できる構文解析結果を得るため，文は長さが 3 トーク ン以上かつ 26 トークン以下のものだけ選ぶ.

図 2 訓練データ量と $F_{1.0}$ の関係（訓練データ：ICNALE 喫煙，評価データ：ICNALE アルバイト）

りについての 5 種類と誤りの無いことを扱い，6種類のラベルを定義する. このとき，文法誤り検出を $\left.\{w_{i}\right.\}_{i=1}^{N}$ が与えられた時に最適なラベルの系列 $\left.\{l_{i}\right.\}_{i=1}^{N}$ を予測する問題とする.

本稿で調査する BERT ベースの手法は，以下の流 れで処理する。

(1) サブワード化: 全ての $w_{i}$ をサブワード $\left.\{s_{j}\right.\}_{j=1}^{M}$ に変換する. 一般にサブワードの総数 $M$ は，入力の単語の系列の総数 $N$ と異なる.

(2) エンコード： $\left.\{s_{j}\right.\}_{j=1}^{M}$ を BERT により，埋め込み ベクトル $\left.\{\boldsymbol{b}_{j}\right.\}_{j=1}^{M}$ にエンコードする.

(3)トークン分類: 最適なラベルを以下で計算する.

$
l_{i}=\arg \max \operatorname{softmax}\left(\boldsymbol{W} \boldsymbol{b}_{j}\right)
$

ここで， $\boldsymbol{W}$ は $k \times h$ の行列で， $k$ は 2 か 6 (5 種類の誤りと正しいラベルの数）のどちらかであ る. 入力の単語の系列と対応するサブワードの 系列の長さは異なる. 各予測 $l_{i}$ に対し, 対応す る単語 $w_{i}$ の先頭のサブワードをエンコードし た $\boldsymbol{b}_{j}$ のみ考慮する4).

比較手法の一つとして，BiLSTM ベースの誤り検出手法を選ぶ. 処理は BERT ベース手法と基本的 に同じであるが，次の点が異なる。ステップ (2) で BERT の代わりのエンコーダとして BiLSTM を使用 する. ステップ (1) で $\left.\{w_{i}\right.\}_{i=1}^{N}$ を, 各単語 $w_{i}$ に対応 する埋め込みべクトルの系列 $\left.\{\boldsymbol{e}_{i}\right.\}_{i=1}^{N}$ に変換する. ここで，各埋め込みベクトル $e_{i}$ は通常の単語埋め 込みと文字べースの埋め込みを結合したべクトル である．文字べースの埋め込みは [15] に従い，別の BiLSTM を用意し各単語の文字を変換することで行

4）他に末尾を考慮するなどできるが，素朴に先頭を選ぶ.
う. 以後，この手法を BiLSTM ベース手法と呼ぶ.

また，BERTの finetuneの効果がどの程度あるかも 調査する。すなわち，BERT ベースの手法の BERT 部分を finetune 時に固定し, 出力層のみを訓練デー タで調整するといったことも比較のため行う. 以上 の手続きの手法を BERT 固定手法と呼ぶ.

各モデルの訓練は異なるランダムのシードによっ て 5 回行う. 次節で報告する性能の値 $\left(F_{1.0}\right.$, 再現率) は 5 回の結果の平均値である. 評価に使用する モデルは，開発データで $F_{1.0}$ が一番高いエポックの モデルを採用する．最大エポック数などの主要なハ イパーパラメタは付録 A. 2 に掲載する.

## 5 性能評価

## 5.1 実データの場合

まず，実データ FCE についての訓練データ量と $F_{1.0}$ との間の関係を本稿 1 ページ目の図 1 に示す5). BERT ベース手法は 500 文程度の訓練データ量で $F_{1.0}$ の上昇が飽和し始めている。一方，BiLSTM ベース手法は，全訓練データでも BERT ゙ース手法 が 300-500 文で達成できる $F_{1.0}$ の値に留まってい る. 以上の結果は, BERT ベース手法の高い汎化能力を示している. また, BERT 固定手法の性能は高 くない.これは深層学習モデルで自由に学習できる パラメータ数が制限され，データから誤り検出する ルールを上手く獲得できていないためと考えられ る. 言い換えると，BERT は全体のパラメータを少量の訓練データで fintune することで，誤りの検出 ルールの多くを獲得できている可能性がある.

同様のことが ICNALE でも確認できる. なお,図 2 では訓練データが「喫煙」，評価データ「アル バイト」とアウトドメイン設定にも関わらず BERT ベース手法は高い汎化能力を示していることは注目 に值する（他の ICNALE の結果は付録 B に示す. ）.

さらに, 図 1 の検出結果を誤りの種類毎に分け て，再現率についてプロットし直した ${ }^{6)}$. その結果 を図 3 に示し考察する. SPELL 以外の全ての誤りに おいて，BiLSTM ベース手法はほぼ線形に改善して いる一方で BERT ベース手法は早い段階で性能が

5）ここで，図を描くための詳細な設定は付録 A に示す. 各 プロット点の訓練データ数は 3 節で述べたとおりである.

6）誤りの種類毎の再現率は，モデルの検出結果を ERRANT を使って分類し計算している。誤りの種類のうち PUNCT 及 び OTHER，そして発生頻度が 150 以下の誤りの種類は，紙面の関係で取り除いている.

図 3 誤り種別の訓練データ量と再現率の関係 (左：BERT ベース手法, 右：BiLSTM ベース手法, 訓練/評価データ: FCE)

図 4 誤りの種類毎の訓練データ量と $F_{1.0}$ の関係 (BERT ベース手法，訓練\&評価データ：人工データ）

限界に近づいている。さらに，BERT ベース手法の 500 文のときの再現值は，BiLSTM ベース手法が全訓練データで達成する値をほとんどの誤りの種類で 上回っている. この結果は，BERT に様々な文法知識が内在することを示唆する.

## 5.2 人エデータの場合

実データで示した BERT ベースの誤り検出手法の 汎化能力を人工データで精査する. 図 4 に，人工 データでの訓練データ量と $F_{1.0}$ との関係を誤りの 種類毎に示す. 自動詞 $十$ 目的語を除いて，16 文程度の少数のデータで性能が十分に高くなっている。例えば，前置詞十主語は 16 文の訓練データだけで $F_{1.0}$ が 0.8 を超えている. 一般的に，任意の名詞が 主語になりえ，その出現位置も多岐にわたるため，動詞のような品詞，主語のような文の構造の概念が 無いと検出が難しいタスクである. 従って, BERT が品詞や文の構造といった言語知識を保持している こと，それを少数の訓練データの fintune によって文法誤りの検出ルールに変換していることを示唆し ている。他動詞十前置詞でも 16 文の訓練データだ けで $F_{1.0}$ が 0.8 を超えており，同様の議論が繰り返 される．今回の問題設定では，訓練データに現れな い動詞の誤りを検出しなければならない（対象の自動詞/他動詞について訓練データと評価データの間 で重複がない）ため，前述の言語知識に加え，各動詞の属性（自動詞，他動詞）を保持していないとこ の種類の誤りを検出することは難しい. それにも関 わらず BERT ベース手法は，他動詞十前置詞の誤り （例：*mention in）を訓練データで見ただけで，同じ 種類の誤り（例：*visited in Atlanta）を認識できてい る. 以上の観測から，BERT が言語的知識を持つこ と， finteune によって誤り検出のルールに変換でき るという概要で述べた仮説が示唆される。

## 6 おわりに

本稿では，文法誤りを認識する大規模マスク言語 モデルの能力を調査した. 本稿の知見は次の 2 点に 要約される。 (1) BERT ベースの誤り検出手法は汎化性能が非言語モデルよりも高いことを実データで の実験で示し，500 文程度の訓練データで性能が飽和し始めることを示した。(2) 人工データと実デー タの実験を通じて，仮説 (i)「言語モデルは，母語話者コーパスからの事前学習の際に，ある種類の文法誤りを認識するために必要な文法の知識を得て いる.」，仮説 (ii)「言語モデルは，ごく少数の訓練 データで finetune するだけで，事前学習時に獲得す る文法知識を大量の誤り検出ルールに変換し，文法誤り検出に対する高い汎化能力を獲得している.」 を支持する結果を示した。

## 謝辞

本研究の一部は，JST，さきがけ，JPMJPR1758 の 支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Yong Cheng and Mofan Duan. Chinese grammatical error detection based on BERT model. In Proceedings of the 6th Workshop on Natural Language Processing Techniques for Educational Applications, pp. 108-113, Suzhou, China, December 2020. Association for Computational Linguistics.

[3] Masahiro Kaneko and Mamoru Komachi. Multi-head multi-layer attention to deep language representations for grammatical error detection, 2019.

[4] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-decoder models can benefit from pre-trained masked language models in grammatical error correction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4248-4254, Online, July 2020. Association for Computational Linguistics.

[5] Bohdan Didenko and Julia Shaptala. Multi-headed architecture based on BERT for grammatical errors correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 246-251, Florence, Italy, August 2019. Association for Computational Linguistics.

[6] Samuel Bell, Helen Yannakoudakis, and Marek Rei. Context is key: Grammatical error detection with contextual word representations. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 103-115, Florence, Italy, August 2019. Association for Computational Linguistics.

[7] Bai Li, Zining Zhu, Guillaume Thomas, Yang Xu, and Frank Rudzicz. How is BERT surprised? layerwise detection of linguistic anomalies. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4215-4228, Online, August 2021. Association for Computational Linguistics.

[8] Allyson Ettinger. What BERT is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 2020.

[9] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. BLiMP: The benchmark of linguistic minimal pairs for English. Transactions of the Association for Com- putational Linguistics, Vol. 8, pp. 377-392, 2020

[10] Ryo Nagata, Kentaro Inui, and Shin'ichiro Ishikawa. Creating Corpora for Research in Feedback Comment Generation. In Proc. of the 12th Language Resources and Evaluation Conference, pp. 340-345, 2020.

[11] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[12] Shinichiro Ishikawa. A new horizon in learner corpus studies: The aim of the ICNALE project, pp. 3-11. University of Strathclyde Publishing, Glasgow, 2011.

[13] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017.

[14] David Graff. The aquaint corpus of english news text, 2002.

[15] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[16] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. FLAIR: An easy-to-use framework for state-of-the-art NLP. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.
表 2 実データセットの統計

## A 他の実験設定

## A. 1 実験で使用するモデル/ツール

BERT ベース手法で使用する BERT モデルは huggingface が提供する bert-base-uncased を用いる. BiLSTM ベース手法で使用する BiLSTM の実装及び埋め込みべクトルは, FLAIR [16] が提供 するものを使用する. 埋め込みべクトルのう ち，単語の埋め込みはコード上で“WordEmbeddings('en')”と実装する学習済みべクトル，文字列埋め込みは “FlairEmbeddings('news-forward')” 及び “FlairEmbeddings('news-backward')”を使用する.

## A. 2 ハイパーパラメタ設定

 \\

表 1 に実験の主要なハイパーパラメタを示す. 留意すべき点は，訓練に人工データを使用するとき，文の数は最小で 10 文程度なのでバッチサイズはさ らに小さい 5 を使用することである.

## B 実データや実験結果の補足

表 2 に，実験で使用した実データのコーパスの統計量を示す.

本文で報告できなかった，ICNALE についての 実験結果を示す.トピック「アルバイト」,「喫煙」 についての訓練データ量と $F_{1.0}$ の関係をそれぞれ 図 5，6 に示す.トピック「アルバイト」で訓練し 「喫煙」で評価したアウトドメイン設定の結果を図 7 に示す. 全ての図が 5.1 節で実験/考察した FCE と 同様の傾向を示している.

図 5 訓練データ量と性能の関係（訓練/評価データ： ICNALE アルバイト)

図 6 訓練データ量と $F_{1.0}$ の関係（訓練/評価データ： ICNALE 喫煙)

図 7 訓練データ量と性能の関係（訓練データ：ICNALE アルバイト，評価データ：ICNALE 喫煙）


# 議会における明示的な賛否表現を含まない議員発言を 対象としたスタンス分類データセットの構築と評価

猫本隆哲 1 秋葉友良 ${ }^{1}$ 増山 繁 ${ }^{2}$
1 豊橋技術科学大学 2 東京理科大学
nekomoto.takanori.pf@tut.jp akiba@cs.tut.jp masuyama@rs.tus.ac.jp

## 概要

スタンス分類の目的は, 発信者が特定のトピック に対して賛成なのか反対なのかを識別することであ る. 近年では, SNS において様々なトピックに関す る議論や討論を獲得し, スタンス分類のための教師 データとして用いられている. 本研究では, 議会議事録に収録されている議員発言を対象としたスタンス 分類を提案する. 提案するスタンス分類問題に対し,議会での討論のパターンを考慮することにより,議会議事録から自動的にデータセットを構築した. ま た, 構築したデータセットを用いて分類機を構築し，評価実験を行った.

## 1 はじめに

本研究では, NTCIR15 QA Lab-PoliInfo-2 Stance Classification タスク [1] から派生した文書分類タスクを 提案する. QA Lab-Poliinfo-2 タスクでは, 議会議事録 から議員の意見, その理由・条件の要約, 分類等を 行い, 表示するといった複雑な実世界の質問応答技術を目指している. Stance Classification では, 都議会 における政治家の発言から, 政治家の立場 (スタン ス)を推定することを目的としている.より具体的に は, 議会議事録から, 議会中に議論される各議題に ついて, 各会派の賛否を分類する問題に取り組んだ。日本の議会議事録の記述は, 議員ごとの発言の書き 起こしであり, ほとんどの議員は討論の冒頭で複数 の議案に対して簡単な賛否を述べることから,ここ から一定数の議案に対してのスタンスが判明する. Stance Classification の評価結果では, この冒頭部分の みを用いることで $90 \%$ 以上の正解率で賛否分類でき ることが示されている [2]. しかし, 一部には冒頭部分で賛否表明を行わない, または冒頭のみでは賛否表明されない議案が存在するといった場合があり， そのような場合に対応するには, 冒頭以外の討論部分から賛否分類を行う必要がある.

本研究では, 我々の先行研究 [3] に引き続き, ある 議案に対して明示的な賛否の表現のない討論の発言 から賛否分類を行う問題に焦点を当てた. 議会にお ける議員討論の特性を調査し,トピックとなる議題 に対応した討論の抽出から賛否のラベリングまでを 自動化し, データセットを構築した. また, 構築した データセットを用いて分類器を学習し, 評価実験を 行った.

## 2 スタンス分類

本節では, Stance Classification タスクの対象となっ た東京都議会を例として, 議事録の構造, および本研究の問題設定について詳細を述べる。

## 2.1 会議録データ

都議会の討論の特徴として, 議員は図 1 のように 発言の冒頭で特定議題への一定の賛否を述べてから 詳細な討論に入る。

## 議員の発言

私は、日本共産党都議団を代表して、第百六十八号議
案、再生手続開始申立事件において東京都が有する債権
の取扱い及び株式の消却に反対する立場から討論を行い
ます。
百六十八号議案は、経営破綻に陥った株式会社多摩
ニュータウン開発センターを民事再生手続により救済
し、…以下略】…
第百五十五号議案は、特定都営住宅に期限つき住宅を導
入するための都営住宅条例の一部を改正する条例です。
若年ファミリー世帯に都営住宅の入居枠を拡充すること
は、子育て支援にとっても、また高齢化が進む都営住宅
を活性化させる上でも重要であり、我が党もこれるで主
張してきたものです。…【下略】…

図 1 議員発言例

議員は必ず議長から発言権が与えられた上で, 始 めにいくつか議案への簡単な賛否表明を行った上 で,それぞれの議案についての詳細な討論を行う.こ

こでは, 前者を賛否表明発言, 後者を討論発言と定義 する. 図 1 から切り離した賛否表明発言および討論発言をそれぞれ図 2 , 図 3 に示す。

賛否表明発言

私は、日本共産党都議団を代表して、第百六十八号議案、再生手続開始申立事件において東京都が有する債権 の取扱い及び株式の消却に反対する立場から討論を行い ます。

図 2 賛否表明発言例

賛否表明発言は, 議長から発言権が与えられた議員が始めに述べる形式的な賛否表明である. 多くの 場合, ここから特定議案 (議案番号) の賛否表明が得 られ, Stance Classification タスクの評価結果では, 賛否表明発言のみを参照することで $90 \%$ 以上の正解率 が実現されることが分かっている [2].

## 討論発言

百六十八号議案は、経営破綻に陥った株式会社多摩 ニュータウン開発センターを民事再生手続により救済 し、...【以下略】…

第百五十五号議案は、特定都営住宅に期限つき住宅を導入するための都営住宅条例の一部を改正する条例です。若年ファミリー世帯に都営住宅の入居枠を拡充すること は、子育て支援にとっても、また高齢化が進む都営住宅 を活性化させる上でも重要であり、我が党もこれまで主張してきたものです。…【以下略】…

図 3 討論発言例

討論発言では, 賛否表明を行った議案への詳細な 言及がなされる. 賛否表明発言と比較すると, 同一議案への言及でありながらも, それについての根拠が 明確に述べられている. しかし, 討論発言では賛成や 反対といった単語は必ずしも出現しない. また, 賛否表明発言では言及されず, その後の討論発言のみで 言及される議案も存在する. また, 討論発言では複数 の議案について議案ごとに順番に発言が行われる。 よって, 発言者のある議案に対するスタンスを捉え るためには, 討論発言を議案ごとに分割したテキス ト (セグメント)を獲得する必要がある.

## 2.2 問題設定

前述したように賛否表明発言を用いることで高い 精度で賛否分類を行うことが可能であるが, 陽に言及されない議題には対応できない. そこで本研究で は, 図 3 に示した討論発言から, 議案に対する賛否を 分類する問題に焦点を当てる. そのために, 議事録
の各議員の各議案に対する討論発言のセグメント分割を行い，その議題への賛否を対応付けたペアデー タを構築した.このぺアデータを学習データとして，二値分類器の構築, 評価を行った。

## 3 データ構築手法

本節では, 議会議事録からの教師データの構築方法, それに伴う討論発言のセグメント分割手法につ いて述べる.

## 3.1 セグメント分割

議案に対応する討論発言を獲得するために討論の セグメント分割を行う. セグメント分割には, 議員討論で多用される表現方法, 特に特定の接続詞に注目 して分割を行う. 議事録の場合, 接続詞が出現する箇所は言及する議題に変化を予測しやすいため, 図 4 のような議員の討論発言例では，「次に」という接続詞に注目して分割を行う.また接続詞以外に, 議事録に記載されている議案番号や議案名にも注目し，分割を行う. 注意する点としては, データセットには 議題と関連の無いノイズとなるような発言の混入を 防ぐために, 議案番号と議案名については討論発言 との完全一致を主として分割を行っていく.

しかしながら, 議員が議事録記載の議題名をその まま発言するとは限らない. そこで, 可能な限り議題対応が取れる多くの発言を獲得するために, 別途編集距離を用いる. 手法としては, 図 4 のように討論内 に「〜について」という発言が含まれる場合, それ 以前の発言と議題名との編集距離を測る. その類似度があらかじめ定めたしきい値を超える場合, 議題対応が取れる発言であるとみなし, セグメント分割 を行うものとする. 本研究では, しきい值を 0.9 に設定した. これらのルールベース手法で獲得したセグ メントを総じてセグメント候補として利用する。

## 3.2 ラベリング

次に, 獲得したセグメント候補にラベリングを施 す.セグメント候補に対するラベリングは次の 3 つ の手法を検討した。

議決参照 議事録の議決部から賛否を与える.

賛否表明参照 A 議決参照せず, 賛否表明発言から 賛否を与え, 不明部分には賛成ラベルを与える

賛否表明参照 B 議決参照せず, 賛否表明発言から 賛否を与え, 不明部分は教師データに含めない.

## 議事銢記載の議案番号, 議案名

第百十一号議案:

株式会社新銀行東京に関する特別委員会の継続調査

第百二十七号議案:

東京都築地市場の移転・再整備に関する特別委員会の継続調査

Levenshtein . ratio(seg $1, \operatorname{seg} 2)>0.90$ ?

図 4 討論発言のセグメント分割および編集距離を用いた議題特定

東京都議会の場合, 議事録に収録されている議決 を参照することで各政党ごとに各議案に対する賛否 が分かる.しかし, 地方議会や国会などでは賛否数の みの記載に留まることがあるため, 賛否表明発言か らラベルを与える手法を検討した. 賛否表明参照 A と B の違いは, 賛否表明発言で言及されていないセ グメント候補に賛成ラベルを与えてデータセットに 採用するか, もしくはラベルが与えられないセグメ ント候補はデータセットに含めないかである. よっ $\tau$, 賛否表明参照 B は, 賛否表明参照 A よりも誤ラ ベル率が低い代わりに, サンプル数が少なくなる傾向がある.これが分類実験ではどのような影響を及 ぼすかを検証する。

## 3.3 データセット総括

本手法を 2000～2020 年までの東京都議会に適用 し,データセットの自動構築を行った. 表 1 にラべ リング手法ごとに構築されたデータセット総数を 示す.

表 1 データセット概要

構築できたデータセットは 539 件となり, 推定賛成ラベルを与えたセグメント候補をデータセットに 含めない場合は 500 件となった. また error は議決を 参照せずにラベルを予測したうち, 教師データのセ
グメント候補に対して与えられた誤ラベル数を示し ている.これを学習に用いて人手で構築した 137 件 のテストセットを用いて評価実験を行う。

## 4 評価実験

本節では, 構築したデータの分類に用いる分類器 の概要, 分類器の評価実験, 考察について述べる.

## 4.1 BERT を用いた分類

2.1 節で定義した討論発言を対象に議員のスタン スを 2 值 (賛成 or 反対) に判定する BERT ベースの 分類器を構築した [4]. モデルには, 公開されている 日本語事前学習済みモデルの BASE 通常版を用い た [5]. 本モデルは, JUMAN [6] による単語分割に基 づいて学習されているため, 同じ形態素解析器を使用している. また, 今回は入力が討論発言, 出力を賛成または反対とすることが目的であるため, [CLS] トークンの最後の隠れ状態を入力 768 次元, 出力を 賛成または反対の 2 クラスとする全結合層に通して 予測値を出力する.

## 4.2 入力構成

入力は単一討論発言, または討論発言に議題名を 加えたものの 2 つを検証する. 議題名を追加で与え る試みについては, 獲得したセグメント候補は特定 の接続詞や発言に出現する議題名に注目して分割を 行っている. そのため, セグメント候補には議題とは 関連のないノイズが含まれることがあるため, 議題
名を追加で与えることで分類精度に影響を及ぼすか 検証するために行う。

## 4.3 実験設定

作成した 3 つのラベリング手法との比較対象とし て以下の 3 つのベースラインを設定した.

Majority 討論内容に関わらず全て賛成と分類する.

Baseline1 討論発言に出現する「賛成」「反対」の 単語数をカウントし, 多い方にラベルを与える. ただし同数, または出現しない場合は「賛成」と する。

Baseline2 知事提出議案を一括で賛成, 議員提出議案を一括で反対とする.

ハイパーパラメータの設定は, 入力の最大系列長 を 512, ミニバッチサイズを 24 , 学習係数を $2 \mathrm{e}-5$, エ ポック数を 3 とした.

## 4.4 結果と考察

表 2 に 3 つのラベリング手法それぞれに議題を 与えたものの合計 6 種の精度を示している. まず， majority の時点で分類精度が 7 割を超えており, 構築 されたデータセットでの議員発言はそのほとんどが 賛成のスタンスであることが分かる. その他のべー スラインでは baseline 2 が最も精度が高く, 知事提出議案に対しては賛成, 議員提出議案については反対 のスタンスを表明する議員が多数いることが予想 できる. 提案手法については全手法で baseline を上回っており,また議題を追加で与えることで精度向上に寄与していることが分かった. また, 正解ラベル を議決から与えた議決参照ラベリングが最も精度が 高くなり, 誤ラベルが少ない train セットを用いた方 が次いで正解率が高い. よって, 今回の実験ではデー タセット総数よりも,ラベリング精度を重視する方
が精度向上に好影響を与えることが分かった。

賛成 1 まず最初に、宿泊税についてです。今回、宿泊税 は、法定外目的税として提案されました。私たち生活者 ネットワークは、地方分権一括法が昨年四月に施行さ れ、課税自主権が地方に 付与された条件を生かそうとす る試み自体は高く評価するものです。しかし、具体的提案については、率直にいって使い道の内容やプロセスの 点で、大きな疑問を提起せざるを得ません。日本はこれ まで、黒字を解消するため海外へ出ることを奨励し、観光を政策として進めてきませんでした。これは東京都も 同じで、東京の過密化をさらに進める観光客の誘致をよ しとはしてきませんでした。(以下略)

図 5 誤分類例 (誤って賛成ラベルに分類された例)

図 5 に実際に分類器へ討論発言を入力し, 誤分類 された例を示す.この発言は教師あり分類器に共通 して, 正解ラベルは反対でありながらも誤ラベルで ある賛成に分類されてしまった討論発言である. 誤分類された討論には, 肯定意見と否定意見が混在し ており，また肯定側の討論はよく使われる「評価す る」といった表現が含まれていることから, 賛成と 分類されたと考えられる. また,このような機械が誤分類する討論発言は, 人間が確認を行っても誤分類 してしまう傾向が高いため, 同様の誤分類が他の議会議事録においても発生するか, 今後も検証を続け る必要がある.

## 5 おわりに

本研究では, 議会の議員発言を対象として, その特性を活用したアノテーションを不要とするデータ セットの構築方法を提案した. また, BERT ベースの スタンス 2 值分類器を構築し, 構築したデータセッ トのベースラインを確立した. 今後はより多くの議員討論を獲得するために, 地方議会等を対象として 更なるデータセットを構築し, 提案手法の有効性を 検証する。

## 謝辞

本研究は JSPS 科研費 19K11980 の助成を受けた.

## 参考文献

[1] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[2] Takanori Nekomoto, Ryoto Ohsugi, Tomoyosi Akiba, Shigeru Masuyama, and Daiki Shirato. akbl at the ntcir15 qa lab-poliinfo-2 tasks. The 15th NTCIR Conference, p. 155, 2020.

[3] 猫本隆哲, 秋葉友良, 増山繁. 議題への明示的な賛否表現を含まない議員発言を対象とした議会議事録のス タンス分類. 言語処理学会第 27 回年次大会 発表論文集, pp. 669-673, 2021.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[5] Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. Improving the accuracy of japanese parsing with bert. The Association for Natural Language Processing 25th Annual General Meeting, pp. 205-208, 2019.

[6] Daisuke Kawahara. Japanese morphological analysis system juman version 3.61. http://pine.kuee.kyoto-u.ac.jp/nlresource/juman.html, 1999.

## A 付録

本節に構築したデータセットに収録されている実際の賛成討論, 反対討論をそれぞれ示す.

## 賛成 1

第二百七号議案、東京都情報公開条例の一部 を改正する条例によって、情報公開の実施機関に公安委員会と警視総監が加えられました。今期、全国初の都議会独自の情報公開条例が 実現し、さらに今、警察情報が公開実施機関 に加えられるということは、開かれた政治へ の前進として、心から歓迎するものです。し かしながら、この警察情報の公開が真に実効 あるものとなるためには、開示義務除外とさ れる情報を、犯罪捜査などに支障を及ぼすお それのある刑事法の執行を中心としたものに 限定し、いわゆる行政警察活動や犯罪捜査な どの個別の警察活動に支障を及ぼさない財政支出などは原則開示とするなど、明確な基準 による運用が必要です。都民の期待にこたえ る地方自治体としての積極的な条例運用を求 めるものであります。，小松恭子,2000/7/12, 第二百七号議案, 東京都情報公開条例の一部を改正する条例

## 反対 0

犯罪被害者等基本条例について申し上げます。総務委員会における都議会公明党の質疑で、本条例案の数々の問題点が露見しました。条例の根幹は目的と定義にあります。しかし、本条例の目的と定義は、国の犯罪被害者等基本法の条文の中の国を都に、また、国民を都民にほぼ置きかえただけであり、犯罪等の範囲や犯罪被害者等の対象の解釈についても国 の解釈を踏襲しており、都としての独自性や 必要性がないことが明らかにされました。ま た、条例案第十一条の経済的負担を軽減する 生活資金の給付については、現在、国が具体的に見直しを検討しており、今回の質疑にお いても具体的な給付案及び根拠となる財源は 明示されませんでした。さらに、具体的な給付案については、都知事が設置する犯罪被害者等施策推進会議でもまれるとの答弁があり、都に丸投げする形になっています。また、既 に都が設置している東京都犯罪被害者等支援推進会議との関係からすれば、屋上屋を重ね るだけであることが明らかであります。公明党は四十六年前、凶悪犯罪によってかけがえ のないご子息を失った一人の父親の声を聞き、以来、犯罪被害者等の支援に取り組んでまい りました。今日までの半世紀にわたる取り組 みは、犯罪被害者等が抱える悲しみ、苦しみ に少しでも寄り添い、心を配りながら進めて きました。このたびの条例案は余りにも拙速 かつ不十分な内容であり、形だけの条例案と いわざるを得ず、到底賛成することはできま せん。, 小林健二, $2012 / 10 / 4$, 議員提出議案第十一号, 東京都犯罪被害者等基本条例


# 辞書の階層構造埋め込み学習における 日本語辞書定義文の効果的な利用

石井佑樹 佐々木稔
茨城大学工学部情報工学科
\{18t4005h, minoru. sasaki. 01$\} @ v$ c. ibaraki. ac.jp

## 概要

語義曖昧性解消における, 既存の知識グラフベー スの学習手法は, 単語間関係を用いてモデル学習が 行われるが, 1 単語における語義の階層関係を用い た学習は行われていない. また, 日本語辞書の定義文を適用しても語義の階層関係の判定精度が悪く,知識グラフ埋め込み学習による効果を十分に得られ ないことが課題となっている. 本研究では, 日本語辞書における語義の階層関係を判定するモデルの判定精度を向上させるための辞書記述の編集方法を分析する. 分析の結果, 無編集の辞書を学習させた場合の精度は $60.9 \%$ であるが, 編集を施した場合は精度が $83.3 \%$ となりモデルの性能向上が確認できた. このモデルから知識グラフ埋め込みシステムの性能向上が期待できる.

## 1 はじめに

語義曖昧性解消は, 文中の多義語に対して, 文中 でどの語義が使われているのかを識別するタスクで ある. 現在までに語義ラベル付けのコストを必要と しない知識グラフベースによるアプローチが数多く 研究されている.これに関連する研究として, GlossBERT[1], BEM[2]といった語義定義文と教師 あり学習を組み合わせた手法, EWISE[3]， EWISER [4]といった知識データの単語間関係を用 いた手法が存在する。しかし，これらの手法におい て, 単語における語義の階層関係を用いたモデル学習は行われていない。また, EWISE システムにおい て日本語辞書定義文を原文のまま用いて語義の階層関係を学習させると、生成されたモデルの関係判定精度が低く知識情報を十分に学習できていないこと が判明した. 岩波国語辞典では「《名詞に付けて》」

「((形))」といった用法表現, 品詞表現のみ記述され
た定義文が存在する。このような定義文は辞書内で 複数存在し尚且つ内容が重複してしまうため, 語義 の階層関係の学習を阻害してしまうと考えられる。 この課題に対して, 既存の単語間関係に加えて語義 の階層関係を学習することと, 語義の階層関係判定 モデルの精度を向上させる日本語辞書内容の編集・変更方法を分析することで，知識グラフ埋め込みシ ステムの性能向上に繋がることを目的とする.

本研究では, 知識グラフの情報をどれ程埋め込む ことができるのか調査するため，知識データにおけ る 3つ組データの関係判定の精度を求めることので きる EWISE システムの知識グラフ埋め込み学習を 利用する. 段階的に編集・変更した日本語定義にお ける関係判定精度の比較を行う。

## 2 語義の階層関係判定システム

日本語辞書における語義の階層関係を判定するの に EWISE システムの知識グラフ埋め込みシステム を用いる．語義の階層関係判定システムを図 1 に示 す.

図 1 語義の階層関係判定システム

## 2.1 定義文エンコーダ

定義文エンコーダでは，BiLSTM Max エンコー ダ[5]が採用されている，定義文を BiLSTM に入力 し, 出力を Max Pooling して得られた固定長の表現 が定義文エンコーダの出力となる.

## 2.2 語義間関係判定モデル

語義間関係判定モデルは，2つの日本語定義文の 分散表現を入力として受け取り定義文間の階層関係 を判定するモデルである.この語義間関係判定モデ ル ConvE[6]が用いられる. ConvE のスコアリング 関数 $\psi_{l}\left(e_{h}, e_{t}\right)$ は式(1)で表される. 通常知識グラフ は， 2 つの実体 $(h, t)$ と 1 つの関係 $(l)$ からなる $N$ 個の 3 つ組 $(h, l, t)$ の集合 $K$ から構成される. $h$ はへッドエ ンティティ $t$ はテールエンティティである. 式(1) は 3 つ組 $(h, l, t)$ に対するスコアリング関数である.

$
\psi_{l}\left(e_{h}, e_{t}\right)=f\left(\operatorname{vec}\left(f\left(\left[\overline{e_{h}} ; \overline{e_{l}}\right] * w\right)\right) W\right) e_{t}
$

式(1)において， $e_{h}$ 及び $e_{t}$ は実体のパラメータ， $e_{l}$ は 関係のパラメータ, $\bar{x}$ は $x$ の 2 次元変形, $w$ は 2 次元畳み込みフィルタ, $\operatorname{vec}(x)$ は $x$ のベクトル化， $W$ は 線形変換， $f$ は正規化線形ユニットである. 対象の ヘッドエンティティhに対して，グラフ内の各実体 をテールエンティティとしてスコア $\psi_{l}\left(e_{h}, e_{t}\right)$ を計算する。式(2)に示すように，スコアにシグモイド 関数を適用することで 3 つ組 $(h, l, t)$ の適正性を示す 推定値 $p$ を得る.

$
p=\sigma\left(\psi_{l}\left(e_{h}, e_{t}\right)\right)
$

## 2. 3 モデルの学習

定義文エンコーダ及び語義間関係判定モデルの学習の流れを図 2 に示す。学習データは語義の階層関係を記述した知識データと語義定義文 ID に紐づけ られた語義定義文を用いる。語義定義文は形態素に 分解され, 各形態素の分散表現が定義文エンコーダ に入力される。形態素の分散表現は fastText[7]や GloVe[8]を用いて事前学習された表現を利用する。語義間関係は語義間関係判定モデル内の埋め込み層 によって埋め込みベクトルに変換される. 語義間関係判定モデルのパラメータは語義の階層関係の 3 つ 組 $(h, l, t)$ のを学習させた初期モデルのパラメータ を初期値とする。また，定義文エンコーダを学習す るため式(1)を式(3)に修正する。

$
\psi_{l}\left(e_{h}, e_{t}\right)=f\left(\operatorname{vec}\left(f\left(\left[\overline{q(h)} ; \bar{e}_{l}\right] * w\right)\right) W\right) e_{t}
$

$q($.$) は定義文エンコーダであり，ヘッドエンティテ$ イはその実体の定義をエンコードしたものである.

式(3)から出力された推定值 $p$ とラベルを元にモデル のパラメータを更新する．損失関数には式(4)に示 すバイナリ交差エントロピーを用いる. $L_{C}=-\frac{1}{N} \sum_{i}\left(t_{i} \cdot \log \left(p_{i}\right)+\left(1-t_{i}\right) \cdot \log \left(1-p_{i}\right)\right)$

$t_{i}$ は 3 つ組 $(h, l, t)$ が適正の場合 1 , それ以外の場合 は 0 となる. $p_{i}$ は式(3)で示したスコアの推定値で ある.

4.1 節に学習データ, 形態素の分散表現, 4.3 節に モデルの評価方法の詳細を示す.

図 2 モデル学習の流れ

## 3 定義文の編集及び変更

## 3.1 定義文の編集

EWISE で利用される WordNet[9]の 3 つ組データ に対応させるため岩波国語辞典の編集を行う。

## 3.1. 1 定義文の ID 付け及び語義の階層関係

岩波国語辞典の定義文 IDを，複合語番号を除い て見出し語番号 $(1 \sim 5$ 桁 $) \cdot$ 大分類番号 $(1$ 桁 $) \cdot$ 中分類番号 $(1$ 桁 $) \cdot$ 小分類番号 $(1 \sim 2$ 桁 $)$ をこの順で結合 した番号として ID 付けをする。

語義の階層関係は，岩波国語辞典の分類方法から 上位概念，下位概念の 2 つの関係を学習させること にする。語義同士の関係は図 3 に示すような木構造 の関係にある。木構造の親は子の上位概念となり，子は親の下位概念となる．3つ組データを記録する 際は，辺でつながれているノード同士の関係のみを 記録する。

図 3 語義の階層関係の具体例 (ノード内数字は辞書 ID の右三桁と対応する)

## 3.2 定義文の変更

3 つ組の知識データの関係判定精度を高めるため に，以下の設定 A・B・(1)（5)を提案する.

## 3. 2.1 語義説明の無い定義文の削除 $A \cdot B$

定義文が 2 重括弧「(( ))」,2 重山括弧「《》」,亀甲括弧「〔]」の表現のみで記述される単語定義があり，これらは単語語義を説明しないため定義文そのものを削除する．削除した場合，以降の節の 変更と異なって 3 つ組の知識データの総数に影響を 与える. 岩波国語辞典を編集しないA, 単語語義を 説明しない定義文を削除した設定 Bについて実験を 行い, 精度の高い設定を以降の節の変更に引き継ぐ。具体例として, 設定 B においては図 5 に示した赤字 の部分を削除することになる.

## 3. 2.2 辞書内表現 - 記号の削除・置換, 全角英字を半角英字に置換，用例文内のハイフン 「一」の置換 (ひらがな置換) (1)・(1)*

2 重括弧「(( ))」表現， 2 重山括弧「《》」表現, 山括弧「<>」, これら3 種類の表現は見出 し語の属性, 用法, 分類を示すものであり定義文か ら削除した。亀甲括弧「〔〕」」表現については， WordNet の定義文に同様の表現が存在するが，カテ ゴリ名が必要かどうかを確認するため削除した設定 (1)*設ける．定義文の分散表現を得る際に記号は 余分な単語表現となってしまうため削除, 置換し

で，置換した記号は「マ」を「。」，「【】」を 「『』」の 2 種類である. また, 辞書内の全角英字 を半角にした。辞書内では用例文を記述している が，用例文に含まれている見出し語の部分がハイフ ン「一」で置き換えられている.このハイフン

「一」を見出し語(ひらがな)で置換した。

## 3. 2.3 用例文内のハイフン「一」の置換 (一対一置換) (2)

ひらがなの場合は同音意義の単語が存在するため,正確な分散表現を得るには漢字に変換して記述する のが好ましい. 見出し語は同訓異字が多く, 対応す る漢字が複数存在するため, 一対一で置換できる単語のみを漢字に置換した。

## 3. 2.4 追記情報の削除(3)

定義文内では，定義文の追記情報は単語の直接の 語義になりえない表現が多く存在する．以下に削除 した内容を示す.
- 「マ」から続く文は, 対象単語の語義を超えた範井での説明がなされる.

・派生｜から続く文は送り仮名の派生を示す.

・読み仮名を削除するため, 全角括弧「（）」で囲 まれた内容がひらがなのみの場合削除する.
- 半角括弧「( )」で囲まれた内容は, 辞書内の図番号及び注釈番号を示す.

## 3.2.5 全角括弧「（）」表現を削除(4)

(4)では，内容に構わず全角括弧「（）」で囲まれ た内容を削除する。

## 3.2.6 部分的な用例文の削除(5)

岩波国語辞典における鍵括弧「「」」で囲まれた 用例文は，見出し語が取り除かれた文章となってい る場合が存在する。取り除かれている場合は，文を 補完することが難しく不完全な用例文が残ってしま う．不完全な用例文を削除するため，定義文を句点 で区切った一文が鍵括弧「「」」で囲まれている場合，その用例文を全て削除する.

## 4 実験

## 4. 1 実験データ

・語義の階層関係を記述した知識データ 岩波国語辞典より，定義文の $\operatorname{ID}(h, t)$ 及び語義の 階層関係 $(l)$ を $h, l, t$ の順で記録した 3 つ組の学習デ 一夕を利用する。岩波国語辞典から階層関係を記録 した 3 つ組は無編集の設定 A の場合 24040 組, 単語語義説明の無い定義文を削除した設定 B の場合 10842 組得られた. それぞれ得られた 3 つ組学習デ ータを $8: 1: 1$ の割合で, 訓練, 開発, テストデー タに分けている.

・語義定義文

知識データの定義文 ID に紐づけた語義の定義文 を実験データとして利用している. 定義文の分かち 書きは MeCab と mecab-ipadic-NEologd を用いた. ま た，定義文における形態素の分散表現は 2021 年 10 月 10 日に更新された日本語 Wikipedia の全ページ記事のダンプデータをコーパスに fastText, GloVe を用 いて事前学習された表現を利用する.
表 1 実験結果

} & \multicolumn{4}{|c|}{ fastText } & \multicolumn{4}{|c|}{ GloVe } \\

全語彙(定義文に含まれる語彙の総数), 単語ベクトル数(分散表現が得られた単語数), 割合(語彙ベクトル数/全語彙)

## 4.2 各学習のハイパーパラメータ

以下各学習のハイパーパラメータよりデフォルト 値から変更したものを示す.

定義文エンコーダ及び語義間関係判定モデル学習時 は，バッチサイズを 64 に変更，学習回数は 160 回 に設定. 初期モデルの学習回数は 300 回に設定, GloVe の事前学習は学習を考慮する周辺単語数を 10 , 分散表現の次元数を 300 に設定した.

## 4. 3 評価方法

語義間関係判定モデルの評価方法には MRR （Mean Reciprocal Rank）を用いている。MRR はラ ンキング評価指標の一つであり，語義間関係判定モ デルから出力された関係推定値を対象としてモデル を評価する。今回の場合 MRR は式(5)で求められ る.

$
M R R=\frac{1}{|U|} \sum_{u \in U} \frac{1}{k_{u}}
$

$u$ 対象となる 3 つ組, Uは全 3 つ組, $k_{u}$ は対象と なる 3 つ組に対して関係が正しく判定された実体が 出現した順位を表す.

## 5 実験結果

実験結果を表 1 に示す. 単語語義を説明しない定義文の削除が効果的であり, 辞書内表現の削除, 追記情報の削除, 等の変更を加えた場合にも僅かに判定精度が向上した.単語語義を説明しない定義文を削除した場合に精度向上が大きく向上した. このような定義文は活用形を示す内容が大半で，一字一句内容が同じ定義文 が複数存在することになる。定義文の重複を避ける ことで精度が向上したと考えられる。

定義文を変更することで，定義文全体に含まれる 語彙数及び単語分散表現の初期值を得られる単語数 に影響があるが，単語ベクトル数や語彙数の多さに かかわらず対象の語義の説明に不必要だと判断でき る表現は取り除いても構わないと考えられる.

特に精度が下がった設定(5)では, 補完不可な用例文の削除が難しく精度が下がってしまったと考えら れ，完全な辞書の定義文を利用するには人為的な修正が必要になる.

また, fastText の単語分散表現で学習させるこ とで, GloVe と比べ僅かに精度が向上したことか ら，サブワード情報を用いて学習された単語表現が 大域的な共起情報を用いて学習した単語表現より判定精度を上げることが分かった。

## 6 おわりに

実験の結果，定義文の語義に対して説明の役割を 持たない表現を削除・変更し学習することで，階層関係判定モデルの性能向上に有益であることが明ら かになった. 今後は, 本研究で得られた階層関係判定モデルから知識グラフ埋め込みシステムの性能向上が期待できるため，知識グラフ埋め込みシステム を利用した語義曖昧性解消の実験を行うことで，こ の手法がどれほど有効か研究を行う予定である.

## 参考文献

1. Huang, L., Sun, C., Qiu, X. and Huang, X. "GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge.” In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3509-3514, 2019.

2. Blevins, T. and Zettlemoyer, L. "Moving Down the Long Tail of Word Sense Disambiguation with Gloss Informed Bi-encoders", In Proceedings of the 58th Association for Computational Linguistics (ACL2020), pp. 1006-1017, 2020.

3. Sawan, K. Sharmistha. J. Karan, S. and Partha T."Zeroshot word sense disambiguation using sense definition embeddings." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5670-5681, 2019.

4. Bevilacqua M. and Navigli R. "Breaking Through the (80\%) Glass Ceiling: Raising the State of the Art in Word Sense Disambiguation by Incorporating Knowledge Graph Information." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), pp. 2854-2864, 2020.

5. Alexis, C. Douwe, K. Holger S. Loïc, B. and Antoine, B. "Supervised learning of universal sentence representations from natural language inference data." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 670 680, Copenhagen, Denmark. Association for Computational Linguistics, 2017.

6. Tim, D. Pasquale, M. Pontus, S. and Sebastian, R.

"Convolutional 2d knowledge graph embeddings." In

Thirty-Second AAAI Conference on Artificial

Intelligence, 2018.

7. Piotr, B. Edouard, G. Armand, J. and Tomas, M. "Enriching Word Vectors with Subword Information." In Transactions of the Association for Computational Linguistics, Volume 5, pp. 135-146, 2016.

8. Jeffrey, P. Richard, S. and Christopher, M. "GloVe: Global Vectors for Word Representation.” In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014.

9. George, M. "Wordnet: a lexical database for english." Communications of the ACM, 38(11):39-41, 1995.

## 付録

本文 3.2 節で示した設定の具体例を以下に示す. これらの語義定義文は岩波国語辞典第五版から引用 した.

図 A 設定 $B$ の具体的な変更例(赤字を削除する)

図 B 設定(1)の具体的な変更例

図 C 設定(2)の具体的な変更例

図 D 設定(3)の具体的な変更例(赤字を削除する)

図 E (4)の具体的な変更例(赤字を削除する)

図Ｆ（5)の具体的な変更例 (赤字を削除する)

単語分散表現の事前学習に利用したWikipedia コ 一パスは以下から入手した。

https://ja.wikipedia. org/wiki/Wikipedia:\%E3\%83 $\% 87 \% \mathrm{E} 3 \% 83 \%$ ВС\%Е3\%82\%BF\%Е3\%83\%99\%Е3\%83\%BC\%Е3\%82\% В9\%ЕЗ\%83\%80\%Е3\%82\%A6\%ЕЗ3\%3\%В3\%Е3\%83\%AD\%Е3\%83\%В C\%E3\%83\%89


# 宿トピックの整理と自動分類の試み

林部祐太IIstván Varga
株式会社リクルート Megagon Labs, Tokyo, Japan
\{hayashibe, istvan\}@megagon.ai

## 概要

宿探し対話の自動応答に用いる知識整備として， ツリー構造での宿に関するトピックの整理に取り組 んだ.トピック数（ノード数）は 791 個で，平均約 8 個のトピック例文をアノテーションした.また，発話の解釈結果をツリーにマッピングして自動応答 に活用することを想定し，ツリーへの自動分類にも 取り組んだ. 自動分類には，トピック数が非常に多 いが学習事例が非常に少ないという制約においても 頑健に動くよう，類似度に基づく手法を用いた。

## 1 はじめに

宿を探しているカスタマーへの接客にて，オぺ レータは宿トピックに関する知識を用いて応対す る。例えば次のような応対である。

・要望が抽象的であれば，具体的な要件を例示し て提案する（詳細化）:

カスタマー「自然豊かな所に止まりたい」

すか？」

・要望に該当する候補が多すぎれば，絞り込むた めに関連した追加の要望を聞く（要望追加）:

カスタマー「マグロを夕食に食べたい」

オオペレータ「お食事はバイキングがお好 みですか？それとも部屋食がよろしいでしょ うか？」

・要望に該当する候補がなければ，関連した代替 となる要件を例示して提案する（代替提案）：

カスタマー「マグロとか食べられる宿はありま すかね」

オペレータ「そのエリアでは，マグロをお出 している宿はありませんが，サーモンの有名な 宿があります.いかがでしょうか？」

これらは

・「自然」に関するトピックには「海」や「山」な

## どがある

・食事に関係するトピックには「バイキング」や 「部屋食」といった食事の形式に関するトピッ クがある

・「マグロ」の兄弟トピックに「サーモン」がある などといったような，宿トピックに関する知識に基 づいて行われる.

我々はこのような応対ができる対話システムの 構築を目指しており，本研究では宿トピックに関す る知識の整理と，発話のトピック自動分類に取り 組む.

## 2 関連研究

特定ドメインのトピックの整理を半自動で行った 研究として，レストランレビューサイト Yelp に投稿されている和食，イタリアンなどといったレスト ランのカテゴリのレビューごとに, Latent Dirichlet Allocation (LDA)[1] を適用し, 単語クラスタリング を行った研究 [2] がある. Reschke らは得られたク ラスタをサブカテゴリとみなし，人手でクラスタト ピックをアノテーションした. 我々は経験による分類を反映させるため，自動クラスタリングは用いず 完全に人手で整理する。

宿ドメインでは，次のようなトピックの分類で 研究が行われている. Pontik らは SemEval-2016 Task 5 の宿のレビューの感情分析で 7 つのアスペクト (hotel, rooms, room amenities, facilities, service, location, food\&drinks)を用いた [3]. Fukumoto らは7つのア スペクト（サービス，風呂，部屋，食事，立地，設備・アメニティ, 総合) で宿のレビューを分類した [4]. 安藤らは「商品の絶対的事実」「売り手の要望」「買い手の購入理由」など 23 項目で宿のレビューを 分類した [5]. 我々はこれらの分類を参考にしつつ,詳細化などの応対に使えるように，複数階層をもつ 体系でトピックを整理する。
表 1 宿トピックとトピック例文の例

## 3 宿トピックツリーとトピック自動分類モデルの試作

## 3.1 宿トピックツリーの設計

先行研究の分類を参考にしつつ，旅行情報サイト じゃらん net ${ }^{1)}$ に掲載されている宿レビューを観察 しながら，宿に関するトピックを手作業にてッリー 構造で整理することにした，以下そのツリーを「宿 トピックツリー」または単に「ツリー」とよぶ. そ して，根の子を Level 1，その子を Level 2，...といっ たようによび，“Level 1> Level 2” といった表記でト ピックを表す.

また, Level 1 と Level 2 はトピックの大分類・中分類を表すこととし, 具体的なトピックは Level 3 以下で表すこととする．例えば「そばアレルギー」 に関するトピックは，「食事>アレルギー>そば」と いう表記で表す。

Level 1 のトピックは，「立地，景色，宿タイプ，ス タッフ，設備・サービス，インターネット，駐車場，風呂, 食事, セキュリティ, 備品, ベッド，部屋， ユニバーサルデザイン，值段，子ども，雾囲気，リ ゾート」の計 18 個とする.ツリー全体でトピック は計 791 個あり，節トピックは 166 個，葉トピック は 625 個である. トピックの例を表 1 に，分布を表 2 に示す。

## 3.2 学習用トピック例文の作成

自動分類器の学習のため，トピックに該当する発話文やレビュー文の例（以下，トピック例文とよ ぶ）を作成した。例を表 1 に示す. トピック例文は 計 6,198 文で，平均約 8 文作成した.

## 3.3 トピック自動分類モデルの設計

宿トピック数は 791 と非常に多いが，学習事例数 はトピックあたり平均約 8 個と非常に少ない. そ のため，事前学習モデルに Softmax 層を追加して fine-tune する一般的な方法ではうまく動かない. そ こで，類似度に基づく分類手法を用いる。

まず，トピック例文と入力を SentenceTransform$\mathrm{ers}^{2)}$ [6] でベクトル化し，各トピック例文と入力の コサイン類似度を求める. 次に，トピックごとにコ サイン類似度の平均値を求め，それを入力に対する トピックのスコアとする。そして，閾値 $t$ を超える トピックのうち最も高いスコアをもつトピックを入力に対する予測トピックとする．ただし，間値を超 えるトピックが無ければどのトピックにも該当しな いとする。

## 4 トピック自動分類実験

## 4.1 実験準備

## 事前学習モデルの準備

事前学習モデルにはじゃらん net に掲載されて いる宿レビューを使って学習した $\mathrm{BERT}^{3}$ を用い る. BERT のトークナイザーは語彙サイズを 8,000 となるようして学習した SentencePiece ${ }^{4)}$ [7]を用い る. BERT のパラメータは公式サイトで公開され ているモデル BERT-Base と同じように，バッチサ イズは 512, Attention heads の数は 12, レイヤ数は 12，隠れレイヤ数は 12 とした。TPUを用いて 150 万ステップ学習し, Masked token prediction の精度は 66.5, Next sentence prediction の精度は 94.8 となった.

## Sentence Transformers の学習とスコア計算の高速化

Sentence Transformers の学習は事前学習モデルと トピック例文を fine-tune することで行う．損失関数 は同じトピックをもつ事例は近く，異なるトピック をもつ事例は遠くなるようなべクトルを得られる BatchAllTripletLoss[8]を用いる。学習は，バッチ サイズ 128 , エポック数 5 で行った.

処理の高速化のために，事前にトピック例文はべ クトル化しておく．また，スコア計算は簡略化し，

2) https://www.sbert.net/

3) https://github.com/google-research/bert

4) https://github.com/google/sentencepiece
表 3 テスト事例の予測結果. 予測トピックで括弧書きのものはスコアが閾値未満のため，該当トピックなしとする.

 &  & 食事>食材>海鮮 & 0.706 \\

表 4 自動分類実験の精度

表 5 自動分類実験の予測トピックごとの精度

高速近傍探索ソフトウェア $\mathrm{NGT}^{5}$ を使って 50 個の 近傍トピック例文とのコサイン類似度のみを利用し て求める.

5) https://github.com/yahoojapan/NGT

## 4.2 開発データと評価データ

現在開発している対話システムでは，カスタマー の発話から省略されている言葉を補い，発話文を要望ごとに簡潔に解釈した解釈文を生成し，それを 使って検索や返答を生成する。例えば，「それがい いですが，海鮮は出ますか？」といった発話文に対 して「朝食はバイキングを希望する。朝食バイキン グに海鮮が出るか知りたい。」といったような解釈文を作成する。そこで，解釈文に作成したトピック を自動分類して活用することを想定して実験する.宿探しの対話にそのような解釈文がアノテーション されたコーパス [9] のうち 1,443 文の解釈文 ${ }^{6)}$ に対し てトピックをアノテーションした. このうち 688 文 を自動分類器のパラメータ開発に， 755 文を評価に 用いる.

開発用データにおいて，予測が正解であるとき7） と不正解であるときのスコアの平均はそれぞれ 0.746 と 0.580 であった. そこで，閾値 $t$ は平均の 0.663 とする.

## 4.3 自動分類実験結果

途中の Level まで一致していれば正解としたとき の精度を表 4 に示した ${ }^{8)}$. Level 1 のみの一致で評価 した場合の F1 は 49.1 である. 閾値未満はすべてト

6）論文中では「要約文」とよんでいる

7）1つの文に複数のトピックがアノテーションされている場合は，1つでも該当する場合「正解」とする

8）本論文では TP, TN, FP, FN はそれぞれ True Positive，True Negative，False Positive，False Negative の略とする

ピック無しとしているため FN が多くなり，Recall が 36.9 と低くなったと考えられる. Level 2 のみの 一致で評価した場合の F1 は44.9である. Level 1 の それと比較すると 4.2 ポイント低く，より詳細なト ピックを予測するのは難しいことが分かる．予測ト ピックが完全に一致している場合のみ正解としたと きの F1 は44.0であった。

表 5 には予測のトピックごとの精度を示した.「総数」はそのトピックが正解にある事例の総数を 示す9). FN は「立地」，「値段」，「部屋」で比較的多 いことが分かる.

予測の例を表 3 に示す。まず，\#1 から\#3 は TP の 事例である.「海鮮」や「海の景色」の表現は学習事例に存在するが，「海産物」や「オーシャン」といっ た表現は学習事例には存在しない.しかしながら， ベクトルの類似度に基づくスコアにより適切に類似度を計算し，正しくトピックを予測できている。\#4 は TN の事例で，どの学習事例とも類似しないこと から，正しく該当トピックなしと予測できている。

\#5 と\#6 は FP の事例である. \#5 は食事の値段と いう点では正しいが，高めの值段で良いという入力 に対して逆のトピックを予測していため間違ってい る. \#6 も食事の酒という点では正しいが，ビールに 関する入力ではないので間違っている.

\#7 から\#9 は FN の事例である。７と＃8 は最もス コアが高い予測トピックであっても間違っている事例である。９９は閾値の設定によっては TP となった 事例である。

## 5 考察・今後の課題

本論文での実験をもとに考察し，トピックッリー の改善すべき点と自動分類手法の改善すべき点につ いて述べる.

## 5.1 トピックッリーの改善

今回の試作では，1つのトピックの親は必ず 1 つ となるようなツリー構造でトピックを整理したが，複数の親が考えられるトピックは存在する. 例え ば，「沖縄そば」は「麺類」の子としたが，「郷土料理」の子とも考えられる. このようなトピックが存在するので，複数の親をもつことを許すなど，異な る構造を検討する必要がある。

また，トピックの網羅性を上げるため，実際の対

9）1つの文に複数のトピックが付与されうるので「総数」の 和は文の総数とは一致しない。話に適用し，実用上問題となるトピックが不足して いないかを確認する必要もある.

## 5.2 自動分類の改善

自動分類の精度向上には，まず学習用データを改善することが必要である．学習に用いた例文は実際 の発話をもとに作ってはいないため, 学習と評価に 用いたデータの種類が異なる.これを揃えることで 精度の改善が見込める．ただし，すべてのトピック に対してアノテーションするのはコストが高いた め，間違いやすいトピックに対してに集中して事例 を追加するのが効果的だと考える.

次に，抜本的な精度改善のためにはモデルのアー キテクチャを改良することも必要である．現在のモ デルでは「食事」トピックと「食事>値段」トピック のように親子関係があっても, BatchAllTripletLoss を用いているのでそれぞれに属すトピックは距離を とるように学習されている。これが\# 5 や\#6 のよう な途中の Level までは正解しているが FP となって いる事例の誤りの原因と考える。そこで，これを考慮に入れた損失関数へ置き換えることで改良できる と考える。

また，ベクトルの分布の偏りが小さくなるような 粒度の粗いトピックの分類には類似度に基づくス コアではうまく働かないのも問題であると考える.「立地」や「部屋」でFNが多かったのはそれらの粒度が他のトピックと比べて粗いためだと考えられ る.そのため，類似度に基づくスコアとは別のスコ アも用いることで FNを減らし，精度の改善ができ ると考える。

## 6 おわりに

本研究では宿探しの対話システム構築のために,宿トピックに関する知識の整理と，発話のトピック 自動分類に取り組んだ。トピック数は非常に多い一方で学習事例は非常に少ない中，類似度に基づいた 分類手法を用いた。

今後は作成したトピックツリーや自動分類器自体 の改善はもちろん，対話システムに組み込んだ応用 にも取り組んでいきたい。

謝辞アノテーションを行っていただき，多くの示唆に富んだご意見をくださった山下華代氏に感謝し ます。また，有益な助言していただいた大阪大学の 荒瀬由紀准教授に感謝します。

## 参考文献

[1] David M Blei, Andrew Y Ng, et al. Latent Dirichlet Allocation. The Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

[2] Kevin Reschke, Adam Vogel, et al. Generating Recommendation Dialogs by Extracting Information from User Reviews. In $A C L$, pp. 499-504, 2013.

[3] Maria Pontiki, Dimitris Galanis, et al. SemEval-2016 Task 5: Aspect Based Sentiment Analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation, pp. 19-30, 2016.

[4] Fumiyo Fukumoto, Hiroki Sugiyama, et al. Incorporating Guest Preferences into Collaborative Filtering for Hotel Recommendation. In Proceedings of 6th International Joint Conference on Knowledge Discovery, Knowledge Enginnering and Knowledge Management, pp. 22-30, 2014.

[5] 安藤まや, 関根聡. レビューには何が書かれていて、読み手は何を読んでいるのか? 言語処理学会年次大会, pp. 884-887, 2014

[6] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-Networks. In EMNLP, pp. 3982-3992, 2019.

[7] Taku Kudo. Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. In $A C L$, pp. 66-75, 2018.

[8] Alexander Hermans, Lucas Beyer, et al. In defense of the triplet loss for person re-identification. CoRR, Vol. abs/1703.07737, , 2017.

[9] 林部祐太. 要約付き宿検索対話コーパス. 言語処理学会年次大会, pp. 340-344, 2021.


# クラウドソーシングによる単語親密度データの構築 (2021 年版)

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

2018 年〜2021 年にかけて、継続して単語親密度調査を進めている。調査においては『分類語彙表』 に出現する見出し語に対して「知っている」「書く」「読む」「話す」「聞く」の利用の程度をクラウドソー シングにより質問紙調査を行った。今回、4年間の 累積データに対して、ベイジアン線形混合モデルを 見出し語に基づき実施したので報告する。また同 データベースの検索ツールについても紹介する。

## 1 はじめに

我々は 2018 年にクラウドソーシングによる単語親密度調査を開始した。最初の公開データ [1]には データ量が少なく、その後毎年継続調査を行いデー タを増補してきた。また従前のモデル構築方法にも 問題があった。本研究では増補したデータとともに 新たに単語親密度データベースを再構築したので報告する。改変点では以下のとおりである：

-欠損していたデータについても補完し、全見出 しに単語親密度を付与した。
- 同一見出しについて、単一の単語親密度を付与 するように変更した。

・回答数が少ない実験協力者データを排除した。

・ベイズ主義的分析においては、単語親密度・実験協力者の語彙力をともに標準正規分布により モデリングを行った。

また、分類語彙表を検索するツール CradleExpress 上 に、単語親密度情報を格納した。分類語彙表番号に 基づく語義階層ごとの単語親密度順ソートが可能に なった。

以下ではデータの構築方法とともに検索ツールに ついて紹介する。

## 2 評定値の収集・モデリング

## 2.1 評定値の収集

図 1 評定値収集画面

表 1 収集評定値の統計

分類語彙表に登録されている「見出し」を刺激 として、「知っている」 (KNOW) ・書く」(WRITE) ・「読む」(READ)・「話す」(SPEAK)・「聞く」(LISTEN) の 5 観点について Yahoo! クラウドソーシングを用 いてアンケート調査を実施した。図 1 に調査に用い た評定值収集画面の例を示す。2018 年に初回の調
査を行ったのち、欠損値を補完するために 2019 年 に未収集もしくは評定值の分散が高い見出しを中心 に評定值の収集を行った。2020 年はクラウドソー シングによる読み時間データ収集 [2] において、実験協力者の語彙力を評定する事前調査として実施し た。2021 年は区切り文字を除いた全見出しに対し て調査を行った。表 1 に調查時期と実験協力者数・回答数を示す。

## 2.2 モデリング

表 2 分析対象データ

モデリングに際して、データの整理を行った。 まず、実験協力者に呈示した見出しごと (84114 見出し) に KNOW, WRITE, READ, SPEAK, LISTEN $の 5$観点に対して一意の ID (WID: 1 420570)を付与し、 そのランダム効果を単語親密度とする。従前のモデ ル [1]では、見出しが同じである異なる分類語彙表番号を持つ語（多義語）は、分類語彙表番号ごとに 推定を行っていたが、今回は見出しごとに推定を 行う。

収束性を担保するために 150 回答以上の実験協力者である異なり 6732 人分のデータのみを利用する。実験協力者に対して一意の ID (SID: 1～6732)を付与 し、このランダム効果も「実験協力者の語彙力」と して用いる。また 1 実験協力者が 2 回以上回答し た見出しについては排除した。結果 15691265 件の データポイントを得た（表 2 ）。

図 2 統計モデルの概要

得られたデータをベイジアン線形混合モデルのラ ンダム効果によりモデル化する。グラフィカルモデ ルを図 2 に示す。 $N_{\text {word }}$ は見出し $\times 5$ 観点 WID の 定義域、 $N_{\text {subj }}$ は実験協力者 SID の定義域である。 それぞれ単語・観点のインデックス $i: 1 \ldots N_{\text {word }}$実験協力者のインデックス $j: 1 \ldots N_{s u b j}$ とする。 $y^{(i)(j)}$ は見出し $\times 5$ 観点の評定值 (RATE) で、アン ケート結果を 1（全く知らない／出現しない） 5 （よく知っている／出現する）に数值化したものを 利用する。 $y$ は平均 $\mu^{(i)(j)}$ 標準偏差 $\sigma$ によって定義 される正規分布とする：

$
y^{(i)(j)} \sim \operatorname{Normal}\left(\mu^{(i)(j)}, \sigma\right) .
$

$\sigma$ は標準偏差としてのハイパーパラメータで、 $\mu^{(i)(j)}$ は、切片 $\alpha$ と見出し $\times 5$ 観点のランダム効果 $\gamma_{\text {word }}^{(i)}$ と実験協力者のランダム効果 $\gamma_{s u b j}^{(j)}$ の線形式 で定義する：

$
\mu^{(i)(j)}=\alpha+\gamma_{\text {word }}^{(i)}+\gamma_{\text {subj }}^{(j)}
$

見出し $\times 5$ 観点のランダム効果 $\gamma_{w o r d}^{(i)}$ と実験協力者のランダム効果 $\gamma_{\text {subj }}^{(j)}$ は、それぞれハイパーパ ラメータ平均 $\mu_{\text {word }}:=0.0, \mu_{\text {subj }}:=0.0$ 、標準偏差 $\sigma_{\text {word }}:=1.0, \sigma_{\text {subj }}:=1.0$ によって定義される正規分布によりモデル化した。

$
\gamma_{\text {word }}^{(i)} \sim \operatorname{Normal}\left(\mu_{\text {word }}:=0.0, \sigma_{\text {word }}:=1.0\right),
$

$
\gamma_{\text {subj }}^{(j)} \sim \operatorname{Normal}\left(\mu_{\text {subj }}:=0.0, \sigma_{\text {subj }}:=0.5\right) .
$

このうち単語親密度は見出し語 $\times 5$ 観点のランダ 么効果 $\gamma_{w o r d}^{(i)}$ の推定値である。一方、実験協力者の 個体差はランダム効果 $\gamma_{s u b j}^{(j)}$ の推定値であるが、結果的に実験協力者の語彙力の評価値となる。

推定には R と Stan を用いた。warm-up 30 iteration のあと、 300 iteration $\times 3$ chains 並列でシミュレー ションし、すべてのモデルは収束した $(\hat{R}<1)$ 。

## 3 データの分布

図 3 に得られた語彙力および単語親密度の分布 を示す。語彙力は標準正規分布としてモデル化した ためにこのような分布になっている。この語彙力の データは匿名化したうえで読み時間評価実験 [2]参加した方の属性値として利用する。

単語親密度の分布は、「知っている」>「読む」「聞 く」>「書く」「話す」の順に大きい。「生産」は「書 く」+「話す」「受容」は「読む」+「聞く」、「書記」 は「書く」+「読む」、「音声」は「話す」「聞く」の値 である。「受容」が「生産」より大きい傾向があるほ か、「書記」が「音声」より大きい傾向がみられる。

図 3 語彙力および単語親密度の分布

また、「生産-受容」は「書く」+「話す」－「読む」－「聞く」の値である。一般的に多くの語が「受容」>「生産」であるために負の値になるが、マスコミな どで利用される語で個人ではあまり利用しない語が 「生産」>「受容」となり正の値を持つ場合がある。

最後に、「書記-音声」は「書く」-「話す」+「読 む」-「聞く」の値である。正の值であれば書き言葉特有の語、負の値であれば話し言葉特有の語である ことがわかる。

## 4 検索ツール: CradleExpress

次に分類語彙表の検索ツール CradleExpress ${ }^{1)}$ につ いて紹介する。図 4 に検索画面を示す。

「詳細条件」で分類語彙表に基づく情報で絞り込 み検索ができるほか、「親密度」でも絞り込み・並べ 替えができる。以下では、分類番号 1.5501 「体-自然-動物-哺乳類」の親密度について確認する。図 5 に「知っている」上位 5 件の見出し語を示す。「知っ ている」列で並び替えを行うと、動物園などで観ら れる「ゴリラ」・「コアラ」・「やぎ」・「ライオン」が 上位を占めた。また、分類学上の「哺乳類」が 3 位 であった。

次に「生産」(「書く」「話す」を足したもの)・「受容」（「読む」・「聞く」）列で並び替えを行うと、図 6,7 のようになった。身近な動物である「猫」「犬」「野良猫」や、食肉としての「牛」「豚」が上位を占 めた。また、分類学上の「動物」が 2 位（受容) 3 位（生産）であった。

基本語彙の観点からは、「理解語彙」（知っている） と「利用語彙」（書く・読む・話す・聞く）の 2 つの 観点で大きな差があることがわかる。「生産」と「受容」に大きな差がある語としては、「盲導犬」「猛虎」 など特定の媒体の頻出する表現が確認された。

また、書き言葉で用いられるか、話し言葉で用い られるかを判別するために、「書記-音声」(「書く」+「読む」－「話す」－「聞く」）の評定値により、降順 （書記優位）・昇順（音声優位）したものを、図 8,9 に示す。前者が特定の小説・書籍・新聞などの書き 言葉で頻出する語である一方、後者が対話などの話 し言葉で頻出する語である。

このような評定値は認知言語学における基本レべ ルカテゴリとなりうる典型例を示すことができる。 しかしながら、認知的に基本的なものとして、「理解語彙」（知っている）を指し示すか、「利用語彙」 （書く・読む・話す・聞く）を指し示すかにより、語

図 4 CradleExpress 検索要求指定画面

彙の分布が著しく異なる。さらに、「書記」（書く・読む）か「音声」（話す・聞く）かにより評定値差の 大きなものがあることから、プロトタイプ性の認定 にあたっては、そのレジスタ（書き言葉か話し言葉 か）も含めて検討すべきことが示唆された。

## 5 おわりに

本稿では、継続的に調査を行っている単語親密度 データの 2021 年時点の累積データに基づいて、見出し語単位で統計処理を行ったデータについて示し た。また、同データを検索するツールについても紹介した。

本調査では、単語単位での評定を行ったために、多義語においては、その語義ごとの利用実態を明ら かにすることができない。例えば、上の例の「なま けもの」は字義通りの「哺乳類」の評定値か「㤐惰」 の評定値かがわからない。そこで、コーパスの出現 ごとの印象評定調査を行った [3]。今後、コーパス 上の用例と本データとを対照し、ヒトの語彙のとら え方を明らかにしていきたい。

## 謝辞

本研究は国立国語研究所コーパス開発センター共同研究プロジェクトの成果物です。また、科研費 17H00917，18K18519,19K00591，19K00655 の支援を 受けました。

 &  &  \\

コアラ & 2.16988931425696 & 0.27520523348496 & 1.115538591867071 \\
哺乳類 & 2.16628019642134 & 0.649779029443949 & 0.975175398158484 \\
やぎ & 2.13665095336729 & 0.06419158274259999 & 0.2032152535215712 \\
ライオン & 2.1223051693044 & 0.3590675971468735 & 0.680990317360433

図 5 分類番号 1.5501 「知っている」上位

 &  &  \\

図 6 分類番号 1.5501 「生産」上位

 &  &  &  \\

図 7 分類番号 1.5501 「受容」上位

 &  \\

やまあらし & 1.17036381793061 & 0.7979713163135049 \\
赤馬 & 0.308798738053768 & 0.7354525701993202 \\
霊長類 & 1.2689718203082 & 0.666646635471029 \\
土佐犬 & 1.58893703003315 & 0.6509951531038392 \\

図 8 分類番号 1.5501 「書記-音声」上位（書記優位）

 &  \\

図 9 分類番号 1.5501 「書記-音声」下位（音声優位）

## 参考文献

[1]浅原 正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[2]浅原 正幸. クラウドソーシングによる大規模読み時間 データ収集. In 言語処理学会第 27 回年次大会発表論文集, pages 1156-1161, 2021.

[3]加藤 祥 and 浅原 正幸. 『現代日本語書き言葉均衡コー パス』に対する印象評定情報付与. In 言語処理学会第 28 回年次大会発表論文集, 2022.

## A 単語親密度の検索手法

以下では、CradleExpressによる単語親密度の検索手法について示す。CradleExpress は UniDic と分類語彙表 が格納されており、このうち分類語彙表が格納されているhttps://cradle.ninjal.ac.jp/wlsp/を用いる。

## CradleExpress

 & & ms per Page: 10 &  & 200 & 500 & Downlo & Short & $\checkmark$ & 設定 & & & & \\

図 10 CradleExpress 検索結果：分類番号 1.5501 デフォルト画面

図 4 に示す検索要求指定画面に対して、検索したい「分類」を指定する。例えば、1.5501を指定すると、図 10 のような画面を得る。

る。または、検索要求画面下部にある「並べ替え」の「キー：」（図 11）により、調べたい単語親密度情報を 指定する。

図 10 の表示結果は、右側にも「生産」「受容」などの評定値があり、横スクロールで右に移動して表示で きる。または、図 12 のように「設定」をクリックし、カラム幅を調整することで、必要な列のみを表示でき る。表示しない列は「0」に設定し、表示したい列は「auto」もしくは適切な値を設定する。

図 11 単語親密度による並び換えの指定

図 12 表示列幅の指定


# セミマルコフ CRF 自己符号化器による教師なし単語分割

和田有輝也 村脇有吾 黑橋禎夫
京都大学大学院情報学研究科
\{wada, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

従来のニューラル教師なし単語分割手法には, (1) 少量のテキストしか参照しない，(2) 言語モデル に基づくため，単語分割モデルとしては不必要な制限を課しているという 2 つの課題がある. そこで，我々は事前学習済み文字レベル BERT を用いること で大規模テキストを活用する。さらに，入力文全体 を見て分割を予測するセミマルコフ CRF 自己符号化器モデルを提案する。日本語を対象とした実験の 結果，提案手法によって概ね妥当な単語分割が得ら れることが確認された。

## 1 はじめに

日本語や中国語等の明示的な単語の境界をもたな い言語における自然言語処理では，前処理として単語分割が重要な技術となっている．単語分割の訓練手法としては教師あり学習が広く用いられている。 しかし, その学習には大量のアノテーションデータ が必要であり，言語リソースの少ない言語やドメイ ンに適用することが難しい。そこで，アノテーショ ンデータセットのない言語やドメインにも適用可能 な教師なし学習による単語分割手法が求められて いる.

教師なし単語分割は，かつてはベイズ推定に基 づく手法 $[1,2]$ が盛んに研究されていた。近年では ニューラルネットワークに基づく手法 $[3,4,5,6]$ が 研究されているが，その課題として次の 2 点が挙げ られる。第 1 に，モデルが参照するテキストが少量 である。従来手法では，訓練データセットが 1-2万文程度と小さく，かつ，事前学習済みモデルも採用 しておらず，ニューラルネットワークを用いた複雑 なモデルの学習には不十分であると考えられる。第 2 に，いずれのモデルも単語分割モデルであると同時に言語モデルでもあるため，分割の予測をする際 に入力文の一部を適宜隠す必要がある。この制約は 言語モデルでは必要だが，単語分割モデルでは不要
である。本研究では 1 つ目の課題を解決するため に，事前学習済み文字レベル BERT による入力文の 埋め込みを行う．また，2つ目の課題を解決する教師なしニューラル単語分割モデルとして，セミマル コフ CRF 自己符号化器を提案する。

## 2 関連研究

ニューラルネットワークに基づく教師なし単語分割手法としては，Segmental Language Model (SLM) [3] がある．SLM は入力文をエンコードする文脈エ ンコーダと単語の生成確率を計算するセグメントデ コーダの 2 つの LSTM からなるモデルである. 入力文における全ての部分文字列の生成確率を計算 し，それらから最適な分割を求める。他の教師なし ニューラル単語分割の手法としては，SLMに語彙 メモリモジュールや単語長さについての正則化項を 追加した手法 [4] や LSTM を双方向に拡張した手法 [5]，エンコーダとして LSTM の代わりに Transformer を用いた Masked Segmental Language Model (MSLM) [6] が提案されている. しかし，従来手法はいずれ も 1 章で述べた 2 つの課題を有している. 本研究で はそれらの課題を解決する教師なし単語分割手法を 提案する。

## 3 提案手法

本研究では事前学習済み文字レベル BERT による 入力文の埋め込みを行い，入力文全体を見て分割を 予測するセミマルコフ CRF 自己符号化器モデルを 用いる教師なし単語分割手法を提案する．提案手法 の概要を図 1 に示す.

## 3.1 文字レベル BERT による埋め込み

大規模なデータセットで事前学習した文字レベル 言語モデルは潜在的に単語についての情報を有し ていると考えられる．実際に Wang らは中国語を対象とした文字レベル BERT が潜在的に単語につい ての情報を有していることを示している [7]. そこ

図 1 提案手法の概要

で， 大力文 $\mathbf{x}=c_{1}, \cdots, c_{n}$ を事前学習済み文字レベ ル BERT を用いて埋め込み表現 $\mathbf{h}=h_{1}, \cdots, h_{n}$ に変換する.ここで， $c_{i}$ は単一の文字, $h_{i}$ は文字 $c_{i}$ に対応する埋め込み表現であり,$n$ は文 $\mathbf{x}$ の文字数であ る.この埋め込み表現を用いてモデルを学習するこ とで，文字レベル BERT が潜在的に有している単語 についての情報が単語分割の学習に活用されること が期待される。

## 3.2 セミマルコフ CRF 自己符号化器

セミマルコフ CRF 自己符号化器は CRF 自己符号化器モデル [8] における CRF をセミマルコフ CRF に拡張することで，単語分割タスクに適用し たものである. 訓練時には， 入力文 $\mathbf{x}$ から可能な 全ての分割 $\mathbf{y}=\mathbf{w}_{1}, \cdots, \mathbf{w}_{m}$ について分割の生成確率 $p(\mathbf{y} \mid \mathbf{x})$ を計算し，各 $\mathbf{y}$ から元の文 $\hat{\mathbf{x}}$ が生成され る確率 $p(\hat{\mathbf{x}} \mid \mathbf{y})$ を計算する. 予測時には, 復元確率 $p(\hat{\mathbf{x}}, \mathbf{y} \mid \mathbf{x})=p(\mathbf{y} \mid \mathbf{x}) p(\hat{\mathbf{x}} \mid \mathbf{y})$ が最も高くなる $\mathbf{y}$ を選択す る. ただし， $m$ は分割 $\mathbf{y}$ における単語数である.

セミマルコフ CRF 自己符号化器は連続する 2 単語間の遷移スコアを計算する遷移ネットワークと単語の生成確率を計算する単語ネットワークの 2 つの モジュールによって構成される. ある分割 $\mathbf{y}$ の遷移 スコア $\phi(\mathbf{x}, \mathbf{y})$ を $\mathbf{y}$ における全ての連続する 2 単語間 の遷移スコアの総和

$
\phi(\mathbf{x}, \mathbf{y})=\sum_{i=0}^{m} \tilde{\phi}\left(\mathbf{w}_{i}, \mathbf{w}_{i+1}\right)
$

で定義し，分割生成確率 $p(\mathbf{y} \mid \mathbf{x})$ は

$
p(\mathbf{y} \mid \mathbf{x})=\frac{\exp (\phi(\mathbf{x}, \mathbf{y}))}{Z}
$

とする.ただし， $\mathbf{w}_{0}, \mathbf{w}_{m+1}$ はそれぞれ文の始端，終端を表すシンボル [BOS], [EOS], $Z$ は正規化定数 である. また，y から元の文 $\hat{\mathbf{x}}$ が生成される確率 $p(\hat{\mathbf{x}} \mid \mathbf{y})$ を分割 $\mathbf{y}$ に含まれる単語の生成確率 $p_{\mathrm{w}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)$ を用いて，

$
p(\hat{\mathbf{x}} \mid \mathbf{y})=\prod_{i=1}^{m} p_{\mathrm{w}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)
$

で定義する.

遷移ネットワークは 3 層の MLP，単語ネットワー クは前向きLSTM と後ろ向きLSTM の 2 つからなる ネットワークでそれぞれ構成する.

## 3.2.1 遷移スコア

連続する 2 単語間の遷移スコア $\tilde{\phi}\left(\mathbf{w}_{i}, \mathbf{w}_{i+1}\right)$ は $\mathbf{w}_{i}, \mathbf{w}_{i+1}$ のそれぞれの先頭の文字に対応する埋め込 みべクトル $h_{i, 1}, h_{i+1,1}$ を結合したべクトルを遷移 ネットワークに入力して得られる値であるとする。 なお，シンボル [BOS], [EOS] に対応する埋め込みは それぞれモデルパラメータとして学習する.この遷移スコアの定義は, 学習の結果として, 真の単語に ついて BERT のもつ潜在的情報がその先頭の文字に 対応する埋め込みべクトルに現れるようになること を期待するものである.

## 3.2.2 単語生成確率

分割 $\mathbf{y}$ における単語 $\mathbf{w}_{i}=c_{i, 1}, \cdots, c_{i, k}$ の生成確率 $p_{\mathrm{w}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)$ を

$
p_{\mathrm{w}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)=\frac{p_{\mathrm{f}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)+p_{\mathrm{b}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)}{2}
$

とする.ここで $p_{\mathrm{f}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)$ は $[\mathrm{BOW}], c_{i, 1}, \cdots, c_{i, k-1}$ を 入力, 先頭の文字 $c_{i, 1}$ に対応する埋め込みである $h_{i, 1}$ を初期隠れ状態としたときの前向き LSTM の $\mathbf{w}_{i}$ の 生成確率であり, $p_{\mathrm{b}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)$ は $[\mathrm{BOW}], c_{i, k-1}, \cdots, c_{i, 1}$ を入力，末尾の文字 $c_{i, k-1}$ に対応する埋め込みで ある $h_{i, k-1}$ を初期隠れ状態としたときの後ろ向き LSTM の $\overleftarrow{\mathrm{w}_{\mathrm{i}}}$ の生成確率である. なお，[BOW] は単語の始端を表すシンボルであり， $\overleftarrow{\mathbf{w}_{\mathrm{i}}}$ は単語 $\mathbf{w}_{i}$ を反転させた文字列である.

## 3.2.3 目的関数

学習では入力文 $\mathbf{x}$ について可能な全ての分割に対 する復元確率の和

$
\begin{aligned}
p(\hat{\mathbf{x}} \mid \mathbf{x}) & =\sum_{\mathbf{y}} p(\mathbf{y} \mid \mathbf{x}) p(\hat{\mathbf{x}} \mid \mathbf{y}) \\
& =\frac{\sum_{\mathbf{y}} \exp \left.\{\phi(\mathbf{x}, \mathbf{y})+\sum_{i=1}^{m} \log p_{\mathrm{w}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)\right.\}}{\sum_{\mathbf{y}} \exp \{\phi(\mathbf{x}, \mathbf{y})\}}
\end{aligned}
$

の負の対数尤度 $-\log p(\hat{\mathbf{x}} \mid \mathbf{x})$ を目的関数とし，これ を最小化する.この目的関数の最小化は $\mathbf{x}$ の可能な 全ての分割について，尤度を向上させるようにモデ ルパラメータを変化させることに相当する. この過程で単語ではない部分文字列に対する単語生成確率 や遷移確率も向上する. しかし，単語である部分文字列はそうでない部分文字列に比べて頻出すると考 えられるため, 最終的には単語である部分文字列に 対する単語生成確率や遷移確率が大きい状態で収束 することが期待される. その結果として，正しい分割が予測できるようになると考えられる。

## 3.2.4 動的計画法による学習・推論の高速化

長さ $n$ の文字列 $\mathbf{x}$ において可能な分割 $\mathbf{y}$ は $2^{n-1}$通りだけ存在する。そのため，全ての $\mathbf{y}$ について $p(\mathbf{y} \mid \mathbf{x})$ を求めてから $p(\hat{\mathbf{x}} \mid \mathbf{x})$ を計算する方法では，学習に指数時間を要する．そこで，動的計画法を用い ることで多項式時間での学習を実現する．具体的に は次のように $p(\hat{\mathbf{x}} \mid \mathbf{x})$ を求める. まず，文 $\mathbf{x}$ の $i$ 文字目から $j$ 文字目までの部分文字列を $\mathbf{x}_{i: j}$, 文 $\mathbf{x}_{i: j}$ に ついて可能な分割のうち，末尾の単語の長さが $k$ の ものを $\mathbf{y}_{i: j}^{k}$ とする. ここで, $n$ 以下の自然数 $t$ と末尾の単語の長さ $k$ について次の関数を定義する.

$
\begin{aligned}
& f_{D}(t, k)=\sum_{\mathbf{y}_{1: t}^{k}} \exp \left.\{\phi\left(\mathbf{x}_{1: t}, \mathbf{y}_{1: t}^{k}\right)+\sum_{\mathbf{w} \in \mathbf{y}_{1: t}^{k}} \log p_{\mathrm{w}}\left(\mathbf{w} \mid \mathbf{y}_{1: t}^{k}\right)\right.\}(7) \\
& f_{N}(t, k)=\sum_{\mathbf{y}_{1: t}^{k}} \exp \left.\{\phi\left(\mathbf{x}_{1: t}, \mathbf{y}_{1: t}^{k}\right)\right.\}
\end{aligned}
$

関数 $f_{D}, f_{N}$ は文 $\mathbf{x}$ の始めの $t$ 文字である $\mathbf{x}_{1: t}$ につい ての可能な分割のうち, 末尾の単語の長さが $k$ であ る分割のみを対象とした場合の式 (6) の分子・分母 に相当する。すなわち，

$
p(\hat{\mathbf{x}} \mid \mathbf{x})=\frac{\sum_{k} f_{D}(n, k)}{\sum_{k} f_{N}(n, k)}
$

である。関数 $f_{D}, f_{N}$ についての更新式をそれぞれ

$
\begin{aligned}
f_{D}(t, k)=\sum_{l} \exp \left.\{\log f_{D}(t-k, l)+\right. & \tilde{\phi}\left(\mathbf{w}_{t-k, l}^{\text {last }}, \mathbf{w}_{t, k}^{\text {last }}\right) \\
& \left.+\log p_{\mathrm{w}}\left(\mathbf{w}_{t, k} \mid \mathbf{y}_{1: t}^{k}\right)\right.\}(10) \\
f_{N}(t, k)=\sum_{l} \exp \left.\{\log f_{N}(t-k, l)+\right. & \left.\tilde{\phi}\left(\mathbf{w}_{t-k, l}^{\text {last }}, \mathbf{w}_{t, k}^{\text {last }}\right)\right.\}
\end{aligned}
$

とする. ただし， $\mathbf{w}_{t, k}^{\text {last }}$ は文 $\mathbf{x}_{1: t}$ における長さ $k$ の 末尾の単語であり, $f_{D}(0,0)=1, f_{N}(0,0)=1$ とする. これらの更新式に従って $f_{D}(n, k), f_{N}(n, k)$ を求め, $p(\hat{\mathbf{x}} \mid \mathbf{x})$ を計算することで多項式時間での学習を実現 する. 推論において $p(\hat{\mathbf{x}} \mid \mathbf{x})$ を最大化する $\mathbf{y}$ を求める 際も以上の更新式で総和を取るところを最大値を取
るように変更することで，同様に多項式時間で計算 する。

## 3.2.5 モデルの学習

モデル全体を学習する前に，事前学習として BERT 部分を固定して 1 エポックだけ学習する.こ れは事前学習済み BERT のもつ情報が，事前学習さ れていない遷移ネットワーク及び単語ネットワーク を含むモデル全体の最適化によって忘却されるのを 抑止するための工夫である.

また，予測する単語の長さを最大 $K$ 文字とする制限を設ける。これは任意の長さの単語を認めた場合 に考えられる，訓練データセットに現れる文の一つ 一つが単語であると学習するような局所解に陥るこ とを避けるためのものである。

## 4 評価実験

提案手法による単語分割の精度を評価するために 日本語を対象として実験を行った.ここでは，実験設定について述べた後，実験結果及びそれに対する 考察を述べる.

## 4.1 実験設定

データセットは京都大学ウェブ文書リードコー パス $(\mathrm{KWDLC}){ }^{1}$ を用いた．KWDLC は日本語ウェ ブ文書を対象としたコーパスであり，その訓練デー タ，検証データ，テストデータはそれぞれ 12,271 件，1,585 件，2,195 件である。事前学習済み文字 レベル BERT は日本語 Wilipedia 全体で学習した BERT-base-Japanese-char ${ }^{2}$ を用いた. 予測する単語 の長さの最大値 $K$ は 5 とした. KWDLC のテスト データにおける単語の約 $99 \%$ が 5 文字以下である ことを踏まえると，この制約のために分割精度が 大きく損なわれる可能性は小さいと考えられる。

表 1 提案手法による単語分割の定量的評価. モデル全体 の学習についてのエポック数を $5,10,15,20$ としたそれぞれ の場合における結果を示す。

1) https://github.com/ku-nlp/KWDLC

2) https://huggingface.co/cl-tohoku/ bert-base-japanese-char
表 2 提案手法（エポック数を 10 とした場合）で得られた予測の例

学習のための最適化アルゴリズムは AdamWを用 いた.また, AdamW のハイパーパラメータとして $\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-8}, \lambda=0.01$ を用い，学習率 は $2 \times 10^{-5}$ とした. モデル全体の学習についてのエ ポック数を $5,10,15,20$ としたそれぞれの場合につい て実験を行った。なお，いずれの場合においても， BERT 部分を固定した事前学習を 1 エポックだけ実施した。また，学習全体を通して BERT の入力側 8 層は固定した。

## 4.2 実験結果

表 1 にモデル全体の学習についてのエポック数 を 5,10,15,20としたそれぞれの場合におけるテスト データに対する分割結果の $\mathrm{F}$ 値， $\mathrm{P}$ 值， $\mathrm{R}$ 值を示す. エポック数が 10 の場合において $\mathrm{F}$ 值が最大 (63.5) となった。表 2 にエポック数 10 の場合のモデルで 得られた予測の例を示す。いずれの例も，いくつか エラーが見られるものの概ね妥当な分割であるとい える. エラーの例としては読点（“、”）を直前の単語と結合しており，一つの単語として判別できてい ないことが挙げられる. 後処理でモデルの予測に関 わらず読点を一つの単語として見なすようにする と，テストデータに対する $\mathrm{F}$ 値は 68.6 に増加した。 このことから，このモデルによる予測の多くで読点 についてのエラーが生じていることがわかる.

エポック数を 15,20 とした場合では，エポック数 を 10 とした場合に比べて $\mathrm{F}$ 値が減少している. そ れぞれの場合において予測された単語の長さの分布 （図 2）から，学習が進むにつれて分割が細かくなっ ていくことが確認された.これがエポック数 15,20 の場合に分割精度が低下した大きな原因であると考 えられる.ここで，妥当な分割が得られる状態で学習が収束せずに分割が過剩に細かくなっていく要因について考察する. 提案手法では分割 $\mathbf{y}$ をボトル ネックとすることで，BERT の埋め込みべクトル $h_{i}$ が単語についての抽象的な表現を獲得することを期待している. しかし, 実際にはモデルが十分に柔軟 であるために $h_{i}$ が入力文字についての具体的な表現を獲得，すなわち対応する文字 $c_{i}$ の情報をそのま

図 2 エポック数と予測単語長さの分布の関係. 左から順 にエポック数 $5,10,15,20$ の場合のモデルが予測した単語の 長さの分布であり，右端はテストデータの真の単語の長 さの分布である．なお，6文字以上の単語については省略 した. 学習が進むほど長さ 1 の単語が占める割合が増加 し，分割が過剰に細かくなっていることが確認できる.

ま有するように学習が進んでいる可能性がある. べ クトル $h_{i}$ が $c_{i}$ の情報をそのまま有していると, $h_{i}$ を初期隠れ状態として与えられる前向き・後ろ向き 単語ネットワークにとって，予測対象の文字列の先頭・末尾の文字である $c_{i}$ の予測は他の文字の予測に 比べて非常に容易であるというバイアスが生じる. この結果として，学習が進むにつれて長さ 1 の単語 の生成確率が過大に評価されるようになり，分割が 過剩に細かくなっていくのだと考えられる。

## 5 おわりに

本研究ではモデルが参照するテキストの量を増加させるために事前学習モデルとして文字レベル BERTを導入し，また，入力文全体を見て分割を予測するためにセミマルコフ CRF 自己符号化器を設計した. 提案手法により $\mathrm{F}$ 値 63.5 の概ね妥当な単語分割が得られた。

今後の課題としては, 中国語等の他言語への適用，さらなる分割精度向上のための訓練データセッ トの大規模化がある．また，実験で明らかになった 読点についてのエラーや分割が過剩になっていく問題について調査し, 改善を図りたい. さらに，単語分割だけでなく品詞クラスタリングも同時に行うモ デルの設計も検討したい.

## 参考文献

[1] Sharon Goldwater, Thomas L. Griffiths, and Mark Johnson. A bayesian framework for word segmentation: Exploring the effects of context. Cognition, Vol. 112, No. 1, pp. 2154, 2009.

[2] Daichi Mochihashi, Takeshi Yamada, and Naonori Ueda. Bayesian unsupervised word segmentation with nested Pitman-Yor language modeling. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 100-108, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[3] Zhiqing Sun and Zhi-Hong Deng. Unsupervised neural word segmentation for Chinese via segmental language modeling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, October-November 2018

[4] Kazuya Kawakami, Chris Dyer, and Phil Blunsom. Learning to discover, ground and use words with segmental neural language models. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6429-6441, July 2019.

[5] Lihao Wang, Zongyi Li, and Xiaoqing Zheng. Unsupervised word segmentation with bi-directional neural language model. arXiv preprint arXiv:2103.01421, 2021.

[6] CM Downey, Fei Xia, Gina-Anne Levow, and Shane Steinert-Threlkeld. A masked segmental language model for unsupervised natural language segmentation. arXiv preprint arXiv:2104.07829, 2021.

[7] Yile Wang, Leyang Cui, and Yue Zhang. Does Chinese BERT encode word structure? In Proceedings of the 28th International Conference on Computational Linguistics, December 2020.

[8] Waleed Ammar, Chris Dyer, and Noah A Smith. Conditional random field autoencoders for unsupervised structured prediction. In Advances in Neural Information Processing Systems, Vol. 27. Curran Associates, Inc., 2014.


# 小説本文から抽出した人物情報の関係抽出

岡 裕二 ${ }^{1}$ 安藤 一秋 ${ }^{2}$
1 香川大学大学院工学研究科 2 香川大学創造工学部
s20g460@stu.kagawa-u.ac.jp ando.kazuaki@kagawa-u.ac.jp

## 概要

本稿では，小説の本文テキストから抽出される人物情報を体系化することを目的に，同一文に出現 する人名と人物情報のみを関係抽出の対象に設定 し，ルールベースモデルと深層学習モデルの 2 つの 関係抽出モデルの性能を検証する．性能評価の結果，ルールベースモデルと深層学習モデルは共に precision が recall より高い結果となった. micro-F1 については，ルールベースモデルが深層学習モデル を約 9.7 ポイント上回った. ルールベースモデルで は，近距離で頻出する関係しか抽出できないが，深層学習モデルでは遠距離の関係も抽出できることを 確認した。

## 1 はじめに

電子書籍の普及や小説投稿サイトの増加などに伴 い，膨大な数の小説が出版・投稿されるようになっ た.これは読みたい小説が増えることを意味する反面，膨大な小説の中から個人の埕好に適した小説を 見つけることが難しくなったともいえる．書籍を取 り扱う $\mathrm{EC}$ サイトや小説投稿サイトでは，作者や各種タグなど，特定の情報に基づく検索機能を利用で きるが，小説それぞれの内容に基づいた検索機能は 実装されていない．また，携帯端末を利用して隙間時間に小説を楽しむ，複数の小説を同時に読むな ど，個人毎の読書スタイルが多様化してきた. 読書 スタイルの多様化により，まとまった時間に 1 つの 小説を読む場合と比べて，登場人物の特徴や関係な どを失念したり，読書再開時に内容を思い出すため に，一部を読み直す機会なども増えている。

個人の嗜好は，「メリーバッドエンド」や「仲間が 敵になる」など，展開に関する嗜好と，「角が生えた ちびっ子」や「金髪の用心棒」などの登場人物に関 する嗜好に分けられる. 小説テキストから登場人物 に関する情報を抽出して利用できるようになれば，人物に関する嗜好に基づいて小説を検索できるよう
になる。また，読書スタイルの多様化に対しては，登場人物情報を利用して，読んだところまでのあら すじや人物相関図を生成・提示することで読書支援 が可能になる．そこで本研究では，小説内の人物情報を抽出して体系化することで，人物情報を用いた 小説検索，あらすじ生成，人物関係図生成などの実現を目指している。

著者らの先行研究 [1] では，商業小説のあらすじ テキストで学習した系列ラベリングモデルを Web 小説の本文テキストに適用し，訓練データおよび提案モデルの小説本文に対する人物情報の抽出性能を 検証した。本稿では，小説の本文テキストから抽出 される人物情報を体系化することを目的に，同一文 に出現する人名と人物情報のみを関係抽出の対象に 設定し，ルールベースモデルと深層学習モデルの 2 つの関係抽出モデルの性能を検証する。

## 2 実験用データセットの構築

関係抽出手法の性能評価に利用する実験用データ セットの構築法について述べる。

## 2.1 対象データ

本稿では，著者らの先行研究 [1] で収集した「小説家になろう」サイトに掲載されているファンタ ジー小説の人気上位 250 件から無作為に選んだ 2 作品と，馬場らの研究 [2] で使用された「青空文庫」に 収録されている 4 作品，計 6 作品の本文を用いる.

「青空文庫」にて公開されている作品にはそれぞ れ図書カードという Web ページが紐づいているた め, 図書カードページからルビつきのテキストファ イルをダウンロードし，ルビや注釈など本文以外の 要素を排除した. その後，我々の先行研究 [1] と同様の手順で固有表現タグを付与する．その後，人名 と人物情報の正解関係を示す情報として，各タグに 対して本文テキスト内の人名の中で最長のものを付与する。以下に手順と例を示す。

1.「青空文庫」から収集した小説の本文を 1 文ず つ形態素解析する.

2. 各形態素に対して，以下のルールでタグ付けす る. タグの形式には IOB 2タグ形式を用いる.
- NAME: 名前

例：西尾，信長，シャルル・マーニュ
- MF: 性別

例：男，美男子，美女，乙女，女の子
- AGE: 年齢

例：16 歳，少年，お婆さん，幼い，高校生
- STATE: 容姿や特性

例: 白い髮, 元気, 高飛車, 天才, 職人気質
- PRO: 職業や立場

例：竜飼い，仙女，最高権限者，メンバー
- AFF: 組織や種族名

例：鳳凰学園杖術部，討伐軍，エルフ

-OTHER: 以上に当てはまらない人物情報例：異星人，神，元凶，気鋭，ペンギン
- PLACE: 地名や建物名

例：ム一大陸, 日本，礼拝堂，魔法学校
- REL: 人物関係表現

例: 兄, 親, 敵, 相棒, 結婚
- O: それ以外

3. IOB2 タグ形式で B タグが付与されているもの について，当該人物情報に紐づく本文テキスト 内の人名の中で，最長のものを付与する．紐づ く人名が本文テキスト内に存在しない人物情報 には「不明」を付与する。

「小説家になろう」から選択した 2 作品について は，我々の先行研究 [1] で上記の固有表現タグを付与したデータに上記の処理 3 で紐づく人名を付与し たものを利用する. 各作品の総文数と各タグの出現数, 関係文数 (人名とほか人物情報が同一文内に出現する文の数）を表 1 に示す.

## 2.2 データセットの構築

関係抽出モデルの性能評価に用いるデータセット の構築法を以下に示す.

1. 小説本文を 1 文ずつ形態素解析および係り受 け解析する．係り受け解析には，後で述べる 深層学習モデルの関係から安岡らの論文 [3] の Universal Dependencies(UD) に基づく係り受け解析器 [4]を利用する。なお，固有表現タグに関
する情報は，上記の結果に準拠させる。

2. 深層学習モデルの訓練及び性能評価のため，1 文内に人物情報が 2 つ以上存在する文に対して は，人名と人物情報が同一人物に紐づく場合「exist」，紐づかない場合「no_relation」タグを追加し，人名と対象人物情報タグの最初と最後の 形態素の位置を記録する．上記は， 1 文内の人名と人物情報の組み合わせの数だけ作成する.

上記手順により作成されたデータ例を表 2 に示す.

## 3 関係抽出モデル

本稿では， $n$-gram によるルールベースモデル と, GCNs (Graph Convolutional Networks) の一種で ある AGGCNs (Attention Guided Graph Convolutional Networks）モデルを用いて，人名・人物情報間の関係を抽出する手法を検討する。なお，対象となる人物情報は, MF (性別), AGE (年齢)，STATE（容姿 や特性), PRO (職業や立場), AFF (種族や所属), OTHER（その他の人物情報）とする。

## 3.1 ルールベースモデル

人名と人名に紐づく人物情報が近距離に出現する 事例から関係抽出するルールを検討するため，人名 とそれに紐づく人物情報およびそれらの間に出現す る形態素のパターンを $n$-gram で調査する. 調査対象は，表 1 に示す関係文数の総計 290 文とする.

まず，データセット中に，人名とその人名に紐づ く人物情報の間に形態素が存在しない事例 (2-gram) を調査した結果， 83 件存在することを確認した. 次 に，人名とその人名に紐づく人物情報の間に 1 形態素以上含む， $n=3 \sim 5$ までの $n$-gram の頻度を調査 した. その結果を表 3 に示す. 表 3 より，3-gram の 「の」，「、」，「な」以外は頻度が 1 件となり，極端に 少ないことがわかる．以上の結果より，本稿では，人名に形態素を挟まず隣接する，または「の」，「、」，「な」が間に存在する人物情報を人名に関係のある 情報として紐づけることにする。

## 3.2 深層学習モデル

ルールベースモデルでは，人名の近距離に出現す る人物情報を抽出できるが，人名と人物情報が離れ て出現する場合は，その関係を抽出できない．そこ で，深層学習モデルでは，AGGCNs[5]を用いて，距離にかかわらず 1 文内に出現する 2 つ人物情報間 に関係があるか否かを推定することを目指す。
表 1 各作品の文数と各タグの出現数

 & 382 & 15 & 101 & 18 & 16 & 37 & 12 & 5 & 2 \\

表 2 作成したデータセットの例

表 3 人名・人物情報間の単語群の出現数

 & を着た (1) & の名は (1) & であった (1) & & \\

AGGCNs は，文中の単語同士で構築される完全な 依存木構造から, 関係抽出に有用な関連部分構造 に注目する方法を学習するソフトプルーニング手法である. AGGCNs のモデル図 [5] を図 1 に示す. AGGCNs はグラフを表現するノード埋め込みと隣接行列を入力とする $\mathrm{M}$ 個の三層ブロックから構成さ れている. Attention Guided 層では単語同士の依存関係から Multi-Head Attentionを用いて Attention Guided 隣接行列を $\mathrm{N}$ 個生成する. Densely Connected 層では 前層で得られた $\mathrm{N}$ 個の行列を別々の密結合層に入力 し，最終層で線形結合する。

図 1 AGGCNs のモデル図（[5] より引用）

AGGCNs は，その手法を提案した著者が GitHub でコードを公開 [6] しているので，そのコードおよ びパラメータを変更し，関係抽出モデルを実装し た. ハイパーパラメータのうち，RNN 2 層，バッ
チサイズは 4，各種隠れ層は 200 次元に変更し，他 の設定はデフォルト設定を採用する。また，最適モ デルを選ぶ指標は，「開発データに対する F 值が一番大きくなった場合」から「開発データに対する偽陽性と偽陰性の和が一番小さくなった場合」に変更し，品詞や依存関係表現の ID は日本語 Universal Dependencies に合わせたものに変更する。単語べク トルとして用いる分散表現には，日本語 Wikipedia の本文全文で事前学習されたもの [7] を利用する。事前学習に用いたパラメータを表 4 に示す.

表 4 事前学習した単語分散表現のハイパーパラメータ

## 4 評価実験

## 4.1 評価方法

ルールベースモデルの抽出性能は，2.1 節で付与 した，各種人物情報に紐づく人名から正解辞書を作成し，ルールベースモデルでの抽出結果と正解辞書 との一致率で評価する。深層学習モデルの抽出性能 は，2.2 節で構築したデータセットの「exist」タグ を正例，「no_relation」タグを負例として評価する。 precision, recall, F 值（micro-F1）を評価尺度とし，深層学習モデルについては 10 分割交差検証で評価

する. データセットには，表 1 の関係文数の総計 290 文を対象に，2.2 節に基づいて構築した 542 文 を，訓練データ：開発データ：テストデータ $=7: 2: 1$ の割合で用いる。

## 4.2 実験結果と考察

実験結果を表 5 に示す。表 5 より，ルールベース モデルと深層学習モデルは共に precision が高いこと が確認できる．また，micro-F1 は，ルールベースモ デルが深層学習モデルを約 9.7 ポイント上回った.

表 56 作品に対する各手法の性能

本稿では，近距離の関係のみを抽出対象に設定 し，データセット中に頻出するパターンをもとに 関係抽出ルールを作成した. 実験の結果， $83.1 \%$ の precison が得られたことから, 近距離で頻出する関係を正しく抽出できたといえる。しかし，ルールの 網羅性の問題から recall は， $54.1 \%$ に留まった。ルー ルベースモデルの抽出エラーを分析した結果，人名 の近距離に人物情報が出現する場合でも，「ニコル ズ博士、エピキュロス」のように一文内に二つ以上 の人名が隣接する場合，「ニコルズ」，「エピキュロ ス」両名に「博士」が紐づくといったミスが確認さ れた. これに関しては，人物情報と人名の物理的な 距離を指標にすることで改善できる可能性がある。 また，「ミニョー父子銀行 (AFF) の行員 (PRO)、ア ドルフ (NAME)」のように，人物情報が連続して出現する場合，ルールベースモデルでは，人名に近い 人物情報しか紐付けられない。人物名と人物情報の 記述スタイルには多様性があり，単純なルールベー スでの限界も見えた。

深層学習モデルに関しては，ルールベースモデル では抽出できない 4-gram 以上の距離がある人物情報に対して関係を抽出できることを確認できた。し かし，ルールベースモデルよりも recall が約 2.7 ポ イント低いことから，近距離に対する抽出性能につ いては，ルールベースモデルが深層学習モデルの性能を上回っていると考えられる。 よって，3-gram 以内の近距離はルールベース主体，4-gram 以上の遠距離は深層学習モデルというハイブリッドモデルを 構築することで，抽出性能を向上できる可能性があ る．また，本稿での実験では，深層学習モデルに対表 6 人名と紐づく人物情報が出現する場所と割合

 & 22.52 & 77.48 \\

して 542 文という少量のデータセットによる実験と なったため，今後はデータセットを拡充した実験が 必要である.

本実験では，同一文に出現する人名と人物情報の みを関係抽出の対象に絞ったが，人名と人物情報が 異なる文に存在する場合もある。 そこで，人名と紐 づく人物情報が同一文内に存在するのか，または別文に存在するのかの割合を調査した。その結果を表 6 に示す. 表 6 より，人名と人物情報がそれぞれ別文に存在する場合が少なくとも約 4 割から約 8 割存在することがわかる．今後は，「彼」や「彼女」と いった代名詞を手掛かりに，人名が出現しない文に 出現する人物情報に対して，関係を抽出する手法や ゼロ代名詞への対応について検討する必要がある.

## 5 おわりに

本稿では，小説の本文テキストから抽出される人物情報を体系化するため，同一文に出現する人名と 人物情報のみを関係抽出の対象に設定し，ルール ベースモデルと機械学習モデルの 2 つの関係抽出 モデルの性能を検証した. 性能評価の結果，ルール ベースモデルと深層学習モデルは共に precision が recall より高い結果となった. micro-F1 については, ルールベースモデルが深層学習モデルを約 9.7 ポイ ント上回った.ルールベースモデルでは，近距離で 頻出する関係しか抽出できないが，深層学習モデル では遠距離の関係も抽出できることを確認した。

今後の課題として，まずデータセットを拡充する 必要がある。また，人名ではなく代名詞が利用され る文やゼロ代名詞の文などから関係を抽出する手法 や，複数文にまたがる人名・人物情報の関係を抽出 する手法について検討する。

## 参考文献

[1] 岡裕二, 安藤一秋. 小説あらすじを用いて学習した系列ラベリングモデルによる小説本文からの人物情報抽出の性能検証. 言語処理学会第 27 回年次大会発表論文集, 2021.

[2] 馬場こづえ, 藤井敦. 小説テキストを対象とした人物情報の抽出と体系化. 言語処理学会第 13 回年次大会発表論文集, 2007 .

[3] 安岡孝一. 世界の universal dependencies と係り受け解析ツール群. 第 3 回 Universal Dependencies 公開研究会, 2021 .

[4] UD 係り受け解析器, 2021. https://colab. research. google.com/github/KoichiYasuoka/deplacy/blob/ master/demo/2021-06-22/supar-ja.ipynb.

[5] Zhijiang Guo, Yan Zhang, and Wei Lu. Attention guided graph convolutional networks for relation extraction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[6] AGGCN の github リポジトリ, 2019. https://github. com/Cartus/AGGCN.

[7] 日本語 Wikipedia エンティティベクトル, 2007. http://www.cl.ecei.tohoku.ac.jp/ m-suzuki/ jawiki_vector/.