# 入れ子型固有表現に対する変分情報ボトルネック法の適用

原田宥都 渡辺太郎
奈良先端科学技術大学院大学
\{harada.yuto.hq4, taro\}@is.naist.jp

## 概要

大規模に事前学習された言語モデルは豊富な意味情報や構文情報を学習しているが，個々のタスクで それらの全ての情報が必要であるとは限らない. 本研究では，言語モデルの持つ情報のうち，特定の夕 スクで重要な情報を取り出す手法として「変分情報 ボトルネック法」を用い，これを特に「入れ子型固有表現認識タスク」に適用するための手法を提案す る. 実験を通して，提案モデルでは入力特徴の次元 を削減することで予測精度が向上することを確認 した. また分析の結果，入れ子レベルの深さに応じ て，固有表現の予測に重要な情報が異なることを示 した.

## 1 はじめに

ELMo [1] や BERT [2] など，巨大な言語資源を用 いて訓練された大規模な言語モデルは，特定のタス クに依存しない方法で学習が行われているが，それ らは言語に関する汎用的な表現を獲得しているた め，近年では様々なタスクにおける最先端の性能に 貢献している。

汎用的な埋め込み表現は様々なタスクに役立つ一方で，次元数の大きいものが多く，特定のタスクに おいてはそのような大きな次元数は必要がない可能性もある。タスクを解く上で重要な情報のみを取り 出し，適切な次元数へ圧縮することができれば，モ デルが入力特徴にフィットしやすくなり，性能が向上することが期待される。また，残された情報を分析することで，そのタスクにおいてどのような情報 が重要なのか，という知見を得ることができ，更な る性能向上に役立てることができる。

本研究では，自然言語処理タスクの一つである入 れ子型固有表現認識を対象として, 事前学習済み言語モデルに含まれる情報についての調査を行う.

入れ子型固有表現とは，一つの固有表現が，内部 に複数の固有表現を含んでいるものを指す. 図 1 に

図13層に入れ子になった固有表現の例

示した例のように，それぞれの固有表現が階層的な 構造となっているため，より内側の入れ子レベルの 固有表現はスパンが短く，より外側の入れ子レベル の固有表現はスパンが長いという特徴を持つ. 本研究では，異なる入れ子レベルにおいて予測に必要な 情報はそれぞれ異なるのではないか，という仮定を 置き，各入れ子のレベルにおいて，予測に必要な情報を単語埋め込みから保存する手法を提案する。提案手法では，単語埋め込みから特定の情報のみを 保存するために，変分情報ボトルネック法 [3] を用 いる.

変分情報ボトルネック法とは，情報ボトルネック の原理に基づくアイデアであり，ニューラルネット ワークの入力表現を，予測精度を保ちながら次元圧縮することのできる手法である。

本研究では，この変分情報ボトルネック法をエン コーダとして利用し，入れ子型固有表現認識に適用 した. 3 種類の提案モデルについて実験による性能評価を行い，2つの提案モデルがベースラインの性能を上回った. また学習したエンコーダの分析を通 して，各入れ子レベルにおいて予測に重要な情報が どのように異なるかを可視化することができた.

## 2 関連研究

## 2.1 入れ子型固有表現認識

入れ子型固有表現認識 (Nested Named Entity Recognition, Nested-NER）は，情報抽出のタスクの一 つであり，[4]によって提案され，近年盛んに研究 されている。例えば既存のアプローチとして，入れ
子構造を明示的に捉えるようなモデル設計をした 特徴べースのアプローチが存在している $[5,6,7,8]$. また，レイヤードモデルを用いたアプローチ $[9,10]$ も有効であることが分かっている.これらの研究で は，入れ子を扱わない一般的な NER モデルを積み 重ねることで，段階的に大きな固有表現を抽出する ことにより，入れ子になった固有表現を扱うことが できる. [11]ではさらにレイヤードモデルにおける 誤差の伝搬などの問題にも対処し, 最先端の性能を 達成している.

## 2.2 情報ボトルネック法

情報ボトルネック法（Information Bottleneck）と は，情報理論の分野に起源を持つ手法であり，近年 では機械学習において利用されている。 ある信号 $x \in X$ から別の信号 $y \in Y$ を予測する際に，予測に 無関係である冗長な情報を取り除いた $X$ の圧縮表現 $T$ を見つけることが目的であり, 次のように記述 できる.

$
\mathscr{L}_{I B}=\beta I(X, T)-I(T, Y)
$

$I(-,-)$ は相互情報量を示している.これは， $I(X, T)$ をなるべく最小化しながら $I(Y, T)$ を最大化 すること，つまり, 圧縮表現 $T$ が $X$ についての情報 を最大限破棄しつつも，T が $Y$ を予測するために必要な情報は最大限保持するということを意味して いる.

## 2.3 変分情報ボトルネック法

[3] において (1) の効率的な変分推定が提案されて おり，以下のように導出されている。

$\mathscr{L}_{V I B}=\beta \underset{x}{\mathbb{E}}\left[\operatorname{KL}\left[p_{\theta}(t \mid x), r(t)\right]\right]+\underset{t \sim p_{\theta}(t \mid x)}{\mathbb{E}}\left[-\log q_{\phi}(y \mid t)\right]$

ここで $r(t)$ は $p(t)$ の変分近似、 $q_{\phi}(y \mid t)$ は $p(y \mid t)$ の変分近似である。 $p_{\theta}(t \mid x)$ と $q_{\phi}(y \mid t)$ は独自のパラ メータセットを持つニューラルネット，つまりエン コーダとデコーダであることを意味している.

## 2.4 情報ボトルネック法の自然言語処理へ の応用例

情報ボトルネック法は，近年，自然言語処理の分野においても様々な問題解決やモデルの分析の手法 として利用されている。構文解析 [12], 要約 [13],低資源の状況における言語モデルの正則化 [14], Transformer モデルの各層の間でトークンの表現がど のように変化しているかの分析 [15]，といった事例 がある．特に，変分情報ボトルネック法を構文解析 タスクに適用した [12] は，特定のタスクのために単語埋め込み表現を専門化させるという汎用性の高い 手法であり, 本研究ではこれを参照し，変分情報ボ トルネック法を入れ子型固有表現認識タスクに適用 する.

## 3 提案手法

## 3.1 ベースライン

我々の入れ子型固有表現認識モデルは，基本的な ニューラル・レイヤード・アーキテクチャである Layered-BiLSTM-CRF モデル [10] を参考にしている.図 2 に概要を示したが，それぞれの入れ子レベルに 対応して系列ラベリングモデルを学習させ，それら をパイプライン的に積み重ねることで，入れ子型の 固有表現を認識する。

ベースラインモデルにおいては，文中の単語は BERT によって単語埋め込み表現へマッピングさ れ，1層目の入力として用いられる． 2 層目以降に おいては，下の層の BiLSTM の出力を受け取り，入力として用いる.

## 3.2 変分情報ボトルネック法の適用

本研究では，テキスト $x$ が，事前学習済み言語モ デルによって得られた $M$ 次元のべクトル表現とし て人力されるものとする $\left(x \in \mathbb{R}^{M}\right)$. また，圧縮表現 $t$ も $N$ 次元のベクトルであるとする $\left(t \in \mathbb{R}^{N}\right) . x$ から圧縮表現 $t$ へマッピングする VIB エンコーダ $p_{\theta}(t \mid x)$ は, [3] と同じく, 平均 $\mu(x, \theta)$ 分散 $\sigma^{2}(x, \theta)$ を持つ $\mathrm{N}$ 次元の正規分布で与えられるとし，デコー ダ $q_{\phi}(y \mid t)$ は softmax 関数を通して得られるカテゴリ カル分布として,$f(t, \phi)$ とおく. $r(t)$ はデフォルト で正規分布 $\mathcal{N}(0,1)$ とする. この時，式 2 の右辺の 第一項は $\mathcal{N}\left(\mu, \sigma^{2}\right)$ と $\mathcal{N}(0,1)$ との KL ダイバージェ ンスなので

$
\beta \mathrm{KL}[p, r]=-\frac{\beta}{2}\left(|\mu|^{2}+N\left(\sigma^{2}-\log \sigma^{2}-1\right)\right)
$

となり, 式 2 の右辺の第二項は， $x, y$ をデータから， $t$ を再パラメータ化トリック [16] によってサンプル することで，

$
\operatorname{CrossEnt}(f(\mu(x, \theta)+\sigma(x, \theta) \epsilon, \phi), y)
$

## Model 2

## Model 3

Baseline

図 2 提案モデルのアーキテクチャの概要

となる.ここで $\epsilon \sim \mathcal{N}(0,1)$ である.

## 3.3 提案モデル

モデル 1 : 低層モデル 低層モデルでは，VIB エ ンコーダによる埋め込み表現 $r_{1}$ を 1 層目にのみ入力するため, 1 層目の BiLSTM の出力 $h_{1}$ と 2 層目以降の出力 $h_{i}$ は

$
\begin{array}{r}
h_{1}=\operatorname{BiLSTM}\left(r_{1}\right) \\
h_{i}=\operatorname{BiLSTM}\left(h_{i-1}\right)
\end{array}
$

となる. この場合，VIB エンコーダは， 1 層目の固有表現を予測するために必要な情報をなるべく残す ように学習する．そのため，上の層になるほど VIB エンコーダの影響は薄れる。

モデル 2 : 独立モデル 独立モデルでは, 全ての 層で VIB エンコーダによる埋め込み表現のみを用い

$
h_{i}=\operatorname{BiLSTM}\left(r_{i}\right)
$

となる。この場合，各層で異なる VIB エンコーダを 学習するため, VIB エンコーダはその層において必要な情報のみを保存するように学習する。
モデル 3 : 独立十伝搬モデル 独立十伝搬モデル では，VIB エンコーダによる圧縮表現を全ての層に 入力し，2 層目以降は下の層 BiLSTM の出力を用い るため， 1 層目の BiLSTM の出力 $h_{1}$ と 2 層目以降 の出力 $h_{i}$ は

$
\begin{array}{r}
h_{1}=\operatorname{BiLSTM}\left(r_{1}\right) \\
h_{i}=\operatorname{BiLSTM}\left(h_{i-1}, r_{i}\right)
\end{array}
$

となる.この場合， 2 層目以降の VIB エンコーダ は，下の層から伝搬してくる情報と，本当にその層 で必要な情報の差分を保存するように学習する。

## 4 実験

## 4.1 実験設定

データセット 提案モデルを ACE2005コーパス [17] 上で評価した.

入れ子型固有表現認識のデータセットとして用い られるコーパスとしては他にも GENIA コーパスな どが知られるが，深い入れ子レベルを持つ固有表現 が多く存在しているため，ACEコーパスを採用して いる。また，学習用データとして用いるには数が少 ないため，入れ子レベル 4 以上の固有表現は今回は

図 3 Integrated Gradients による VIB エンコーダにおける単語重要度の可視化の例

表 1 提案モデルの性能比較（F1-score）

用いなかった. コーパスの統計についての詳細は，表 A（付録）に示した.

パラメータ設定 BiLSTM-CRF のハイパーパラ メータとして，バッチサイズを $100 ，$ 隠れユニット の数を 200，学習率を 0.0045 とした。また VIB エン コーダについて，圧縮比率 $\beta$ を 0.00001 ，学習率を 0.0001 とした. 圧縮次元数 $d$ は $384,192,96,12$ を試 した.

## 4.2 結果と考察

各提案モデルの F1 スコアによる性能の比較を表 4.1 に示す. 提案モデルは全て 192 次元に圧縮した 場合の結果である. それぞれのベースラインと比較すると，モデル 1 （低層モデル）とモデル 3（独立十伝搬モデル）が，いずれもベースラインの性能 を上回っている. 特にモデル 1 において性能が改善 されているのは，大きな次元数を持つ入力特徵適切 な次元数へ圧縮することが，性能の改善に有用であ るからだと考えられる. モデル2（独立モデル）は 他のモデルに性能が劣るが，下の層から受け渡され る情報がなくともある程度の精度は維持できるとい うことがわかった. レイヤー 2 , レイヤー 3 におい ては，いずれもモデル 3 のスコアが最も高く, ベー スラインを大幅に改善している。これは，それぞれ の層において，下の層からの情報だけでは不足して いる部分を VIB エンコーダによる入力が補った影響 であると考えられる。

Integrated Gradients[18] を用いて，モデル 2 で学習済みの VIB エンコーダの挙動を可視化した結果の一例を図 3 に示している。 それぞれの VIB エンコーダ
は各層のラベルを予測するために必要な情報のみを 残すように学習しており，テキストへのハイライト は入力単語の重要度を算出したものである. モデル 1 では特に名詞一単語，またそれを導くような冠詞 に強く着目すること，モデル 2 では長めのスパンを 持つ名詞句や，それらを導くような単語に強く着目 すること, モデル 3 ではモデル 2 の特徴に加えて,助動詞や動詞などの文構造に関わる情報を捉え，そ れらの重要度を低く付けること，といったそれぞれ の傾向があることを確認した.

また，Conductance[19]を計算することにより， VIB エンコーダが BERT の情報から破棄した部分と 残した部分をヒートマップとして可視化した例を，図 B(付録)として示している. それぞれの列は約 50 例の単語を, 行は VIB エンコーダに BERT 出力層が 入力された直後の 768 のニューロンにおける特徴の 重要度を表している。 それぞれのレイヤーにおいて のみ着目される特徴がある，とする仮定は，このよ うなヒートマップを通して定量的に評価することが 可能であり，これについては現在調査中である.

## 5 おわりに

本研究では，変分情報ボトルネック法を入れ子型固有表現認識に適用するための手法を提案した. 提案モデルは，大規模な言語モデルによる埋め込み表現を適切に次元圧縮することで，ベースラインの性能を改善することができた。また，残された情報を Integrated Gradients や Conductance といった手法よっ て分析・可視化することで，タスクにとって必要な 情報はどのようなものであるかについての知見を得 ることができ，解釈性の向上に寄与した.

## 謝辞

本研究は JSPS 科研費 JP20K23325 の助成を受けた ものである.

## 参考文献

[1] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237. Association for Computational Linguistics, June 2018.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019.

[3] Alex Alemi, Ian Fischer, Josh Dillon, and Kevin Murphy. Deep variational information bottleneck. In Proceedings of the International Conference on Learning Representations, 2016.

[4] Jenny Rose Finkel and Christopher D. Manning. Nested named entity recognition. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 141-150. Association for Computational Linguistics, August 2009.

[5] Bailin Wang, Wei Lu, Yu Wang, and Hongxia Jin. A neural transition-based model for nested mention recognition. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 10111017. Association for Computational Linguistics, OctoberNovember 2018.

[6] Wei Lu and Dan Roth. Joint mention extraction and classification with mention hypergraphs. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 857-867. Association for Computational Linguistics, September 2015.

[7] Aldrian Obaja Muis and Wei Lu. Labeling gaps between words: Recognizing overlapping mentions with mention separators. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2608-2618. Association for Computational Linguistics, September 2017.

[8] Bailin Wang and Wei Lu. Neural segmental hypergraphs for overlapping mention recognition. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 204-214. Association for Computational Linguistics, October-November 2018.

[9] Beatrice Alex, Barry Haddow, and Claire Grover. Recognising nested named entities in biomedical text. In Biological, translational, and clinical language processing, pp. 65-72. Association for Computational Linguistics, June 2007.

[10] Meizhi Ju, Makoto Miwa, and Sophia Ananiadou. A neural layered model for nested named entity recognition. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Compu- tational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1446-1459. Association for Computational Linguistics, 2018.

[11] Jue Wang, Lidan Shou, Ke Chen, and Gang Chen. Pyramid: A layered model for nested named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5918-5928. Association for Computational Linguistics, 2020.

[12] Xiang Lisa Li and Jason Eisner. Specializing word embeddings (for parsing) by information bottleneck. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2744-2754, Hong Kong, China, 2019. Association for Computational Linguistics.

[13] Peter West, Ari Holtzman, Jan Buys, and Yejin Choi. BottleSum: Unsupervised and self-supervised sentence summarization using the information bottleneck principle. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3752-3761. Association for Computational Linguistics, 2019.

[14] Rabeeh Karimi Mahabadi, Yonatan Belinkov, and James Henderson. Variational information bottleneck for effective low-resource fine-tuning. In International Conference on Learning Representations, 2021.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[16] Diederik P. Kingma and Max Welling. Auto-Encoding Variational Bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[17] Christopher Walker, Stephanie Strassel, Julie Medero, and Kazuaki Maeda. Ace 2005 multilingual training corpus. In Linguistic Data Consortium, Philadelphia 57., 2006.

[18] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning, Vol. $\mathbf{7 0}$ of Proceedings of Machine Learning Research, pp. 3319-3328, 2017.

[19] Kedar Dhamdhere, Mukund Sundararajan, and Qiqi Yan. How important is a neuron? In ICML, 2019.

## A 付録: ACE2005 コーパスの統計的

詳細

## B 付録：VIB エンコーダにおける ニューロンの重要度の可視化


 原田宥都 渡辺太郎 奈良先端科学技術大学院大学 \{harada.yuto.hq4, taro\}@is.naist.jp  