# 情報ボトルネック法を用いた視線・脳情報デコード手法の提案

原田宥都 大関洋平
東京大学大学院 総合文化研究科言語情報科学専攻
\{harada-yuto, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

人間がテキストを読む際の視線や脳活動の記録 は，これまで主に人間の認知機能の理解のために用 いられてきたが，近年ではこのような人間の認知 データが自然言語処理タスクにおいても有益である ことが分かってきた．しかし，認知データは特定の 言語処理タスクにとって多くの無関係な情報を含む ため，効率的に用いるのが難しく，また，なぜタス クの改善に寄与するのかについてもほとんど議論が なされていない. 本稿では, 視線や脳情報から特定 のタスクに有益な情報のみを取り出す認知情報ボト ルネック法を提案し，その性能を検証する。

## 1 はじめに

眼球運動や脳活動の記録は，人間の持つ言語能力 がどのように機能するのかを理解する上で，重要な 役割を担ってきた $[1,2]$. 近年の研究では，アイト ラッキングデータや EEG により記録された脳波を 用いて自然言語処理タスクを改善することができ ると報告されており [3]. この効果は固有表現認識 や関係抽出，センチメント分析など，複数のタスク において一貫して確認されている。これらの結果か ら, 視線や脳波などの情報が統語的情報, 語彙的情報，あるいは言語処理の際の認知負荷など様々な情報を含んでおり，それらが自然言語処理タスクにお いて有益な特徴となっていることが予想される. し かしながら，それぞれの認知データは言語処理の全 ての過程を反映した情報であり，特定のタスクに とって無関係な情報を含んでいる. 特に脳波は一般的に高次元なデータであり, 特定のタスクでどの脳領域の情報が有用か，あるいはどの周波数帯域の脳波が有用か，などを事前に知ることは困難である.

そこで，本研究では，認知データから特定のタス クにとって有益な情報のみを取り出すための手法と して，認知情報ボトルネック法を提案する. 具体的 には，一般的な情報ボトルネック法 [4]を継承し，
それを同時に記録された視線と脳波に適用するこ とで，マルチモーダル設定での学習に用いることの できる単一の埋め込み表現へ変換する．情報ボトル ネック法の目的関数はタスクの精度を最大化しつつ 入力情報をなるべく圧縮するものであり，視線や脳波の持つ様々な情報からタスクにとって必要な情報 のみを取り出すことができる．またその際には次元数を削減することができるため, 次元数に大きく差 のある視線と脳波を同時に学習に用いることが容易 になる.

実験では，提案手法を用いて圧縮した認知データ を用いることで，圧縮を行わなかった認知データを 用いた時よりもタスクの精度が改善されることを検証した. その結果，圧縮した認知データは，行わな かったものやその他の単純な圧縮手法に比べて精度 を改善することが分かった。

## 2 関連研究

## 2.1 人間の認知データを用いた言語情報の デコーディング

視線や脳波などの人間の認知データには，言語処理の過程など豊富な情報がエンコードされることが 知られている。例えば，自然言語処理分野における 脳情報デコーディングの研究には, 脳情報のみから 発話内容を推定するスピーチデコーディング [5] や,脳情報から認識している単語の品詞を推定するもの [6] , 脳情報から読んでいる物語文の内容について 推定するもの [7] など，様々な研究が存在する。 近年では自然言語処理タスクの改善を目的とした脳情報デコーディングも行われており，特に Hollenstein ら [8] は視線と脳波を同時に記録したデータセット [9]を作成し, マルチモーダル設定での実験を行っ ている. 彼らの実験では，周波数帯域を絞って脳波 の一部を用いることで，脳波をそのまま用いるより も精度が向上することが報告されている. タスクに 対する認知データのノイズを除去するための手法は 現在も検討されている途中であり，標準的な手法は

いまだ定まっていない.

## 2.2 情報ボトルネック法

情報ボトルネック法（Information Bottleneck, IB） [4] とは，情報理論の分野に起源を持つ手法であり，近年では機械学習において利用されている. ある信号 $x \in X$ から別の信号 $y \in Y$ を予測する際に, 予測 に無関係である冗長な情報を取り除いた $X$ の圧縮表現 $T$ を見つけることが目的であり，次のように記述できる.

$
\mathscr{L}_{I B}=\beta I(X, T)-I(T, Y)
$

これは，相互情報量 $I(X, T)$ をなるべく最小化しな がら $I(Y, T)$ を最大化すること, つまり, 圧縮表現 $T$ が $X$ についての情報を最大限破棄しつつも， $T$ が $Y$ を予測するために必要な情報は最大限保持するとい うことを意味している。

実際に機械学習で用いる際は, [10] において (1) の効率的な変分推定が提案されており，以下のよう に導出された目的関数を用いる..

$\mathscr{L}_{V I B}=\beta \underset{x}{\mathbb{E}}\left[\operatorname{KL}\left[p_{\theta}(t \mid x), r(t)\right]\right]+\underset{t \sim p_{\theta}(t \mid x)}{\mathbb{E}}\left[-\log q_{\phi}(y \mid t)\right]$

ここで $r(t)$ は $p(t)$ の変分近似、 $q_{\phi}(y \mid t)$ は $p(y \mid t)$ の 変分近似である。 $p_{\theta}(t \mid x)$ と $q_{\phi}(y \mid t)$ は独自のパラ メータセットを持つニューラルネット，つまりエン コーダとデコーダであることを意味している.

## 3 実験

## 3.1 認知情報ボトルネック法

本研究で用いるモデルの概要図を図 1 に示す. 実験では固有表現認識タスクを行う。

## 3.1.1 入力特徵

視線特徵 視線特徴は固視回数, 第一固視時間,総読み時間，注視時間，視線通過時間の 5 つからな る. 1 単語あたり 5 つの数値を用いた 5 次元のべク トルとして扱った. 視線情報を用いて固有認識表現 の精度を改善した先行研究 [11] ではより細かく特徴 を整理し，1 単語あたり全 17 の特徵から視線特徴を 構成しているため, 本実験の視線特徴はより基礎的 な構成であり，そのままの値ではタスクに有益には なりづらいと予想される。

脳波特徵 本実験では，105 個の電極から記録さ れた EEGデータを脳波特徴として用いた. 視線特徵との対応を取るため, 脳波特徴は総読み時間に対応する数値を取り出している。また，周波数帯域 ごとにそれぞれ $\theta(4-8 \mathrm{~Hz}), \alpha(8.5-13 \mathrm{~Hz}), \beta(13.5-30$ $\mathrm{Hz}), \gamma(30.5-49.5 \mathrm{~Hz})$ とデータを 4 つに分割してい る. そのため, 1 単語あたり 420 次元のベクトルと して脳波特徴を扱っている。

単語の埋め込み表現 視線特徵, 脳波特徵と共 に，言語モデルによる単語の埋め込み表現を用い る. 視線情報を用いて固有認識表現の精度を改善し た先行研究 [11] では Glove[12] を用いているため,比較のために本実験では Glove を用いて実装した. そのため, 1 単語あたり 100 次元のベクトルとして 単語の埋め込み表現を扱っている。

ノイズと認知データの比較 認知データを入力特徵として用いた際にタスク精度が改善された場合, それが本当に認知データの影響であるかどうかを確認するために，同じ次元数のノイズベクトルを用い て比較実験を行う. 視線特徵に対しては 5 次元の,脳波特徴に対しては 420 次元のランダムノイズを用意する.

## 3.1.2 モデル内部のアーキテクチャ

情報ボトルネック法による圧縮 認知データであ る視線特徵と脳波特徵については，情報ボトルネッ ク法を用いた圧縮を行う，最適化は固有表現認識の デコーダの出力精度を改善するように行われる．視線特徴については 5 次元から 3 次元へ圧縮し, 脳波特徵については 420 次元から 50 次元へ圧縮する. これにより，情報ボトルネック法で圧縮された表現 は固有表現認識のために必要な情報は残しつつ，そ れ以外の冗長な情報を捨てるように学習する。ま た，情報ボトルネック法を用いた結果と比較するた めに，単純な主成分分析を用いた次元削減も行う.

BiLSTM-CRF デコーダ 視線特徴, 脳波特徴, 単語の埋め込み表現は結合し，1つの入力特徵として 扱う.モデルの後段では，視線情報を用いて固有認識表現の精度を改善した先行研究 [11] との比較を行 うために，同様のモデルである BiLSTM-CRF[13]を 用いている.

## 3.2 データセット

本実験では，データセットとして Zurich Cognitive Language Processing Corpus (以下 ZuCo)[9]を用いた. このコーパスはアイトラッキングと EEG の記録を 同時に行ったデータセットであり, 12 人の被験者に

図 1 提案手法の概要

よって読まれた約 1100 文を含む. 先行研究 [11] に 合わせてこのうち 700 文を使用した. 固有表現のラ ベリングデータも提供されており，これは PERSON, ORGANIZATION, LOCATION の 3 種類のラベルに よってタグづけされている.

## 3.3 実験設定

BiLSTM-CRF のハイパーパラメータとして，バッ チサイズを 32 ，隠れユニットの数を 100 ，学習率を 0.007 とした. また情報ボトルネックエンコーダに ついて, 圧縮比率 $\beta$ を 0.0001 , 学習率を 0.007 とし た. 圧縮次元数は視線特徵で 3 次元, 脳波特徴で 50 次元へ圧縮した. データセットは 8:1:1 に分割し, それぞれ訓練データ，開発データ，テストデータと して用いた. 実験は 3 種類のシード値を用いてい て, 結果は全て 3 回平均の値である. 評価指標には 適合率，再現率，調和平均を用いる。

## 3.4 実験結果

視線特徵を用いた実験の結果を表 1 に示す. Glove に視線特徴を追加したときと, 同じ次元数の ノイズを追加したときでは，ほとんどスコアに差が なかった. このことから, 5 次元の視線特徴を Glove ベクトルに追加するだけでは, タスクの精度を改善 するのに十分でないと考えられる. それに対して，情報ボトルネック法により圧縮した視線特徵を用い た場合 $(\mathrm{IB}(\mathrm{Gaze}))$ は, 次元数は 5 から 3 へやや減っ

表 1 視線特徴を用いた固有表現認識の結果

ているにも関わらず，精度がやや向上している. 改善幅は僅かであるが，情報ボトルネック法により データが正則化された可能性がある. 主成分分析に より压縮した視線特徴を用いた場合 (PCA(Gaze)) で は, Gloveのみの結果より僅かに改善された。

また, 先行研究 [11] と比較すると, 全体的に精度 がやや劣る. 先行研究では単語の埋め込み表現とし て Glove のみではなく文字レベル RNNを用いてい るので，このことが影響していると考えられる.ま た, 先行研究では視線特徴を追加した際に精度が改善されているが，ここで先行研究では本研究とは異 なり視線特徴をより細かい 17 次元の特徴で扱って いることに注意されたい. 17 次元の視線特徴によ る改善幅は, 本研究における 5 次元の視線特徴によ る改善幅とあまり差がなく，認知データからの人手による特徴の抽出は容易ではないことが示唆さ

れる。

表 2 脳波特徴を用いた固有表現認識の結果

次に，脳波特徴を用いた実験の結果を表 2 に示 す.この実験では, 脳波特徴とノイズの次元数が 共に 420 次元であり, Glove ベクトルの 100 次元と 比べても大きい. 次元数の大きいノイズを含む入力特徴に大きく影響を受けたためか， Glove + EEG, Glove + Noise の設定ではどちらも精度が大きく下 がっている. 420 次元の脳波特徴 (EEG) を扱うには モデルのサイズが十分でなかったと考えられる. し かし，こちらの実験設定においても情報ボトルネッ ク法を用いて脳は特徴を圧縮した結果が一番精度が 高くなった. また, 視線特徴を用いた際の結果と比 べても改善幅はより大きかった. 主成分分析による 圧縮と比べても精度が高く, 情報ボトルネック法を 用いたモデルの方が，ノイズの多い脳波の特徴から タスクに有用な情報を取り出すのに適しているので はないかと考えられる。

表 3 視線特徴と脳波特徴の両方を用いた固有表現認識の 結果

最後に，視線特徴と脳波特徴の両方を用いた実験 の結果を表 3 に示す. この実験では, 脳波特徴の みを用いた時の結果と同様に，次元数の大きいノ イズを含む入力特徴に大きく影響を受けたためか, Glove + Gaze + EEG, Glove + Noise の設定ではどちら も大きく精度が下がっている。また，情報ボトル ネック法によって視線特徴と脳波特徴の両方を圧縮している Glove + IB(Gaze) + IB(EEG) の設定では， Glove + IB(EEG) よりもやや精度が低くなった. 用 いている特徵としては後者の方が少ないので，情報 ボトルネック法を用いた学習はあまり精度が安定し ていない可能性がある.

## 3.5 考察

実験全体を通して言えることとして，今回用いた モデルでは，入力特徵を全て単純に結合しているだ けであるため，特徴の次元数の差が大きく影響して しまうということが挙げられる. モデルアーキテク チャの改善方法として，認知データを用いたマルチ モーダル設定での学習であると捉え，それぞれの入力特徴の重要性を次元数に左右されない形で扱うこ とが望ましいかもしれない。また，認知データをそ のまま用いても精度が改善されるとは限らないとい うことも分かった. それと同時に，情報ボトルネッ ク法による圧縮や，単純な主成分分析など，必要に 応じた次元削減はこのような認知データを扱う際に は重要な要素であった. 今回の情報ボトルネック法 のハイパーパラメータ設定については，より詳しく 探索することで，さらに性能を向上させることがで きるかもしれない.

今後は, Glove ベクトルよりもより高性能な BERT[14] 等の単語埋め込み表現を用いた際にも，今回のような認知データによる改善が見られるの か，といったことや，BiLSTM-CRF デコーダをさら に最先端の固有表現認識デコーダに変更した場合に どのような影響があるのか，といった，実験設定に よる結果への影響を調べる必要がある。それに加え て，情報ボトルネック法によって認知データから取 り出された情報はどのような内容であるのかを分析 によって調べることで，なぜ認知データが自然言語処理タスクの改善に寄与することがあるのかを調べ ていく.

## 4 結論

本稿では，視線情報や脳活動情報といった人間の 認知データを，自然言語処理タスクの改善により効率的に用いるための手法である認知情報ボトルネッ ク法を提案した. 視線特徴や脳波特徴と単語埋め込 み表現を単一の入力特徴として扱えるように変換 し，認知データのノイズを除きつつ次元数を調整す ることができる本手法は，実験の結果，人間の認知 データを用いて固有表現認識タスクの精度を改善す ることに成功した. 今後はより詳細な実験設定を検証しつつ，圧縮された認知データの内容を分析する ことで，人間の認知データがどのようにして言語処理タスクの改善に役立つのかを調べていく.

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受 けたものです。

## 参考文献

[1] Brian Murphy, Leila Wehbe, and Alona Fyshe. Decoding language from the brain. Language, cognition, and computational models, pp. 53-80, 2018.

[2] Shouyu Ling, Andy CH Lee, Blair C Armstrong, and Adrian Nestor. How are visual words represented? insights from eeg-based visual word decoding, feature derivation and image reconstruction. Human brain mapping, Vol. 40, No. 17, pp. 5056-5068, 2019.

[3] Nora Hollenstein, Maria Barrett, Marius Troendle, Francesco Bigiolli, Nicolas Langer, and Ce Zhang. Advancing nlp with cognitive language processing signals. arXiv preprint arXiv:1904.02682, 2019.

[4] Naftali Tishby, Fernando C Pereira, and William Bialek. The information bottleneck method. arXiv preprint physics/0004057, 2000.

[5] David A Moses, Sean L Metzger, Jessie R Liu, Gopala K Anumanchipalli, Joseph G Makin, Pengfei F Sun, Josh Chartier, Maximilian E Dougherty, Patricia M Liu, Gary M Abrams, et al. Neuroprosthesis for decoding speech in a paralyzed person with anarthria. New England Journal of Medicine, Vol. 385, No. 3, pp. 217-227, 2021.

[6] Alex Murphy, Bernd Bohnet, Ryan McDonald, and Uta Noppeney. Decoding part-of-speech from human eeg signals. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2201-2210, 2022.

[7] Leila Wehbe, Brian Murphy, Partha Talukdar, Alona Fyshe, Aaditya Ramdas, and Tom Mitchell. Simultaneously uncovering the patterns of brain regions involved in different story reading subprocesses. PloS one, Vol. 9, No. 11, p. e112575, 2014.

[8] Nora Hollenstein, Cedric Renggli, Benjamin Glaus, Maria Barrett, Marius Troendle, Nicolas Langer, and Ce Zhang. Decoding eeg brain activity for multi-modal natural language processing. Frontiers in Human Neuroscience, p. 378, 2021 .

[9] Nora Hollenstein, Jonathan Rotsztejn, Marius Troendle, Andreas Pedroni, Ce Zhang, and Nicolas Langer. Zuco, a simultaneous eeg and eye-tracking resource for natural sentence reading. Scientific data, Vol. 5, No. 1, pp. 1-13, 2018.

[10] Alex Alemi, Ian Fischer, Josh Dillon, and Kevin Murphy. Deep variational information bottleneck. In Proceedings of the International Conference on Learning Representations, 2016.

[11] Nora Hollenstein and Ce Zhang. Entity recognition at first sight: Improving ner with eye movement information. arXiv preprint arXiv:1902.10068, 2019.

[12] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 1532-1543, 2014.

[13] Meizhi Ju, Makoto Miwa, and Sophia Ananiadou. A neural layered model for nested named entity recognition. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1446-1459. Association for Computational Linguistics, 2018.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019.
 原田宥都 大関洋平 東京大学大学院 総合文化研究科言語情報科学専攻 \{harada-yuto, oseki\}@g.ecc.u-tokyo.ac.jp  