# 脳内状態推定のための汎用言語モデル構築への取り組み

羅 桜 小林一郎
お茶の水女子大学
\{luo.ying, koba\}@is.ocha.ac.jp

## 概要

先行研究 [1] において，言語刺激下の脳内状態推定精度の向上を目的として，BERT で表現された言語特徴量と fMRI で観測された脳活動データとの対応関係をマルチモーダル深層学習の枠組みにより捉 えた BrainBERT が提案されている. BrainBERT は，言語刺激と脳活動データの対応関係を捉えた被験者 に依存しない汎用言語モデルであることが確認され ている.しかし, BrainBERT を用いて脳活動を推定 することにおいて，推定精度向上の課題がいくつか 残っている. 本研究では，それらの課題を克服する ためモデルの改良を行い, 得られた結果を客観的に 検証するための実験を行った. 実験結果から, 新た に構築したモデルである BrainBERT 2.0 の推定精度 が従来のモデルより向上したことを確認した.

## 1 はじめに

近年，深層学習を作業モデルとして用いること でヒト脳内の情報処理機構の解明を目指す研究が 盛んになってきており, 脳神経科学の分野におい て多くの新しい知見が得られている. また，言語モ デルを用いた研究では，脳内の意味情報表現と実際の意味知覚の間に有意な相関があること [2] や Transformer [3] ベースの汎用言語モデルを用いて言語の特徴量を表現することで推定精度の向上が見ら れることが確認されている [4]. このように，言語刺激に対する脳内状態を予測することにより，様々な 脳内情報処理機構が解明されてきている. そのよう な背景を受けて，言語刺激と脑活動状態との対応関係を捉える汎用言語モデル BrainBERT [1] が提案さ れている.

本研究では, 言語刺激下のヒト脳内状態を予測 する際に，より精度良く予測が可能になるように BrainBERT を改良し，その性能を検証することを目的とする.

## 2 BrainBERT

図 1 BrainBERT : 脳活動データとテキストの対応関係を 捉えた汎用言語モデル

BrainBERT [1] は，マルチモーダル深層学習モデ ルである UNITER [5] や SpeechBERT [6] を参考に，脳活動データとテキストの対応関係を捉えた汎用言語モデルとして構築された. 図 1 に示すように, BrainBERT のアーキテクチュアは, 24 層の双方向 Transformer [3] を持つエンコーダブロックから構成 される. 脳活動データとして Alice Dataset [7]を用い, またプレーンテキストとして, Book コーパスと Wiki コーパスを用いて事前学習を行った. 事前学習課題 は，モデル学習のためにマスク言語タスク（以下， MLM タスクと略す）と脳活動データに対する対応文章の一致を捉える 2 値のマッチング自然言語処理 タスク（以下，BTM タスクと略す）を用いた。

また, モデルの訓練と有効性の検証のために, [1] では 4 つの実験を段階的に実施している.

1. L1 損失による脳特徴量抽出効果検証実験：

Autoencoderを使い, 脳の特徴量を抽出.

2. BrainBERT 訓練での NLP タスク実験：

BrainBERT の事前学習として fine-tuning の実施.

3. MLM タスク下でのアテンションの変化観察： アテンションを可視化し, 言語モデルにおける 脳特徴量の役割調査.

4. リッジ回帰を用いた脳活動信号予測における汎用言語モデルの比較実験：

テキストによる脳内状態推定実験を行った.
実駼結果から，事前学習済み BrainBERT モデルの 精度は大規模汎用言語モデルには及ばずとも，脳活動状態の予測には他の言語モデルよりも優位性があ ることがわかった. とくに，BrainBERT のべースと なった bert-large-uncased における予測精度よりも対象としたすべての関心領域（ROI）に対して精度が 向上されていることから, 脳活動データとテキスト データの対応関係が取れた汎用言語モデルが構築さ れたこと (以下, BrainBERT1.0 と略する) を確認した。

## 3 BrainBERT 2.0 へ向けて

マルチモーダル深層学習モデルの学習手続きを詳細に分析し, BrainBERT の 3 つの改善策を提案する.

## 3.1 改善策 1 : 潜在表現の意味性

BrainBERTを学習する際, 入力には 'two people sitting on a bench watching a sailboat’などの文と，それ に対応する磁気共鳴機能画像法（fMRI）による脳活動データを使用した. モデルの学習条件の整合性 を考慮し，ボクセルの次元がおよそ $50,000 \sim 75,000$ くらいの大脳皮質データを直接入力の次元とはせ ず, 脳活動データを 1024 または 768 次元の特徴量に AutoEncoder を用いて変更した. AutoEncoder モデル の損失関数は SpeechBERT [6] を参考にし，式 1 を 採用した.

$
L_{\text {recon }+M A E}=\frac{1}{N} \sum_{n=1}^{N}\left.\|x_{n}-x_{n}^{\prime}\right.\|^{2}+\frac{1}{N} \sum_{n=1}^{N}\left.\|z_{n}-y_{t n}\right.\|
$

式 1 中， L2 損失は入力と出力間の再構築損失, L1 損失は潜在表現ベクトルとテキストベクトル間 の類似度損失である. テキストのベクトル化に は, huggingface で提供されている事前学習済み bert-large-uncased モデル1)を用いている. この学習 において， L1+L2 から得られる損失の合計が小 さいほど良いということであるが，学習済みの bert-large-uncased モデルから得られるテキストベク トルをファィンチューニングなど無しにそのまま該当テキストのベクトルであると仮定している点に問題がある. さらには, bert-large-uncased モデルから得 られる CLS トークンは，エンコーダを通していな いため実際にはランダムな埋め込みべクトルにな り, 文脈の関係性など, 文の特徴をうまく表現するこ とができないと考えられる．また，SimCSE モデル [8] は，単純な対比学習によって文の埋め込みを行

1) https://huggingface.co/bert-base-uncased
い，より質の高い文べクトルを生成することができ る. また, SentenceBERT[9] は, 転移学習を用いて BERT モデルが CLS トークンを文の埋め込み表現と して使うことの問題を改善している. このことか ら, SentenceBERT と SimCSE の拡張モデルから 6 つ の派生バージョン（モデル名は表 1 の行に記載）を 選択し, 新たな比較実験を行った. 単一変数規則を用 いて, BrainBERT モデルを AutoEncoderで，上記実験 の 1 段階目から再訓練した. 学習結果を比較し, 6 つ のモデルの中からテキストのベクトル化において脳活動データと対応させるための最適モデルを見出 した.

## 3.2 改善策 2 : 単変量実験の制御

BrainBERT 構築の実験 4 段階目において, リッジ 回帰モデルを用いて BrainBERT によるテキストの特徵量から脳活動状態を予測した際の精度を，他の 20 の汎用言語モデルを用いた際の予測精度と比較し，単一変数規則における BrainBERT の性能の検証を行 なった. 実験の評価データには, 訓練で用いていな い全く新しい脳データセットである BOLD5000 [10] を使用した．このデータセットの収集実験では，3 つの大規模画像データセットの画像を用いた画像刺激を用い，脳活動の酸素飽和濃度（BOLD）信号を 収集しており，視覚に関連する 5 つの脳部位のデー タが公開されている. 大規模画像データセットの 1 つである MSCoCo2014 には，画像のキャプションが 付属しており, 実験では脳活動データとのペアデー タとして使用した.しかし，これまで BrainBERTへ の入力は他のモデルと異なり, 脳特徴量も入力され てしまっていた. 脳のデータをモデル計算の入力と して誤って取り込んでいたため, 客観性に欠ける結果となった. これは, 単一変数の原則に沿わないもの になっており, 改善対象となった.このことから， 4 段階目の実験を再度実施した. 予測モデルとなる リッジ回帰モデル構築の際には, 4-folds クロスバリ デーションを使用し, 20 のモデルが同じ入力変数に 基づき, 同じ正則化項を使用して比較された.

## 3.3 改善策 3 : 公知に反する結論の妥当性検証

また, 先行研究 [1] における実験 4 段階目において も, 改善策 2 の 1 点を除き, もう一つの問題として,脳状態予測の結果から, roberta-large モデルの結果 が roberta-base モデルの結果よりも推定精度が悪く，多くの先行研究における殆どの自然言語処理タスク

において, 通常は roberta-large モデルが roberta-base モデルを上回った ${ }^{2)}$ という実験結果と矛盾している ことが挙げられる.この点において，結果の客観性・独立性を証明するために再度実験結果を精査をする 必要があり，順列検定実験を行う.

図 22 VS. 2 検定手法流れ

この順列検定実験では，Foster ら [11] の論文で紹介されている 2 VS. 2 検定手法を用いた.

図 2 のように, 2 VS. 2 検定は, ベクトルの比較を 2 值分類タスクに還元する相関テストである. このテ ストは，2つのデータペアが相関していることを証明するツールとして使用することができる. 2 VS. 2 検定では，正しいペアの距離の和（図 2 の青い矢印）と，正しくないぺアの距離の和（図 2 の赤い矢印）の比較を，以下の式で評価することにより行う.

$
d\left(y_{i}, \hat{y}_{i}\right)+d\left(y_{j}, \hat{y}_{j}\right)<d\left(y_{i}, \hat{y}_{j}\right)+d\left(y_{j}, \hat{y}_{i}\right)
$

式（2）が成り立つ場合, 比較は成功したとみなされ る. 2 VS. 2 検定の精度は, 2 VS. 2 の比較成功の割合 となる.roberta-large モデルと roberta-base モデルにつ いて別々に計算を行い，二つのモデルのうちどちら が正しいかを検証した.

## 4 実験

前章では，[1] における 3 つの問題点を説明し，そ れぞれの改善策を提案した. この章では，改善策に 取り組む実験と，実験の具体的なパラメータについ て説明する。

## 4.1 潜在表現の意味性検証実験

テキストの意味と脳活動データとのより良い対応関係を捉えるために，テキスト（文）の意味を sentenceBERT モデルおよび SimCSE モデルなどの 合計 6 つのモデルを用い, 実験を通じてそれらのモ


デルを比較し，良い対応関係がとれるモデルを検証した. 検証のための学習過程は以下の通りであ る. 脳特徵量の抽出に AutoEncoder モデルを採用し， Pereira データセット [12] を学習データセットとし て利用する. AutoEncoder の構造は, エンコーダ部が 2 つの Linear 層と 2 つの Batch Normalization 層から なり,エンコーダとデコーダは対称構造となる.ま た，ドロップアウト率は 0.2 とし，モデルの学習率 は 1e-5, 勾配法として AdamWを用い, バッチサイズ は32，エポック数は 75 とした.

モデルの学習を容易にするため, 異なる被験者に 対して共通したボクセルサイズの 46,840 次元とし て大脳皮質のデータを抽出し,さらに中間変数の サイズを調整した. 例えば，bert-large-uncased モデ ルの出力ベクトルの次元が 1024 の場合, 中間変数の次元も 1024 に設定する. 表 1 の 1 行目と 2 行目から見ると,今回の新たに条件を変更して再学習された BrainBERT の事前学習結果では, 先行研究 [1] から訓練した精度 $15.7 \%$ の BrainBERT1.0 から $258 \%$ 向上し，最大 $55.56 \%$ の精度を達成した. その 結果から，潜在表現の意味が最も優れているのは， bert-large-uncased モデルであることが確認された.

表 1 改善策 1 に対する訓練結果

} & \multicolumn{2}{|c|}{ Autoencoder } & \multicolumn{2}{|c|}{ BrainBERT } \\

## 4.2 単制御変量実験

24 の汎用言語モデルをテキストの特徴量表現に 用い，リッジ回帰を使って脳活動状態を予測した。予測精度には Pearson 相関係数を使用した. 本実験 で使用する BrainBERT は, 先行研究 [1] での実験設定を一部踏襲しつつ新しく改善された設定の元，再学習されたモデルであり, 以降, それを BrainBERT 2.0 と呼ぶ. 比較対象となる他の単語埋め込みで は GloVe [13], word2vec [14] の 2 つのモデルを採用 し, 汎用言語モデルでは， BERT [15], RoBERTa [16], ALBERT [17], GPT [18] などを採用し, 合計 24 の事前学習済み汎用言語モデルを使用した. 符号化モデル を構築するためのデータセットとして，BOLD5000 の一部とそれに対応する MSCoCo2014 データセッ トを使用した. 脳活動データは 4 人の被験者のも
表 2 各相関脳領域の Pearson 相関係数の計算結果 (略表)

} \\

のが使用され，合計 7,677 の画像刺激が与えられた 際の脳活動データ (train, test, validation の 3 グルー プに分け，8:1:1 の割合) が用いられた。提供され ている脳活動データは, PPA（Parahippocampal Place Area）など視覚に関連する 5 つの脳領域が対象と なり, 合計 3,566 のボリュームが処理された. 比較 のための予測精度として, 多重補正検定に基づく Pearson 相関係数（ $\mathrm{p}<0.05 ）$ を計算した. 表 $\left.2^{3}\right)$ より, BrainBERT 1.0，BrainBERT2.0ともにテキストから 脳活動を予測するタスクにおいて，他の汎用言語モ デルと比べて良好な結果を示し，バージョン 2.0 は 1.0 より $5.58 \%$ 向上し，全モデルの中で最も良い精度 を示した。

## 4.3RoBERTa サイズ妥当性検証実験

RoBERTa のサイズにおける予測精度結果の客観性については, 直接的に結論を導き出す術がない ため, 検定による実験を実施した. 実験の詳細を 以下に示す. MSCoCo2014 データセットを用いて RoBERTaへの入力テキストとした. "leave 2 out"手法に基づき， 770 文章のデータからランダムに 2 ペ アを抽出し, 合計 296,065 訓練データを構成した. 予測脳データと実際脳データの Pearson 相関係数を計算し精度を求めた. RoBERTa-base の精度は $32.09 \%$, RoBERTa-large の精度は $34.24 \%$ となった. この結果 は，表中の各脳機能領域下でも一貫性を示し，先行


研究 [1] の結果を是正する結果となった.これによ り，RoBERTa-large が RoBERTa-base モデルよりも，脳内状態を予測する上で優れていることが確認さ れた。

## 5 考察

実験で取り上げた汎用言語モデルの内，albertxlarge 群は, albert モデルだけでなく, 全体のモデ ルの中でも優れていた. 本研究において採用した BERT を albert-xlarge に変更し，新たに学習しなお した脳特徴量を反映する汎用言語モデルによって， BrainBERT 2.0 より良い結果を得られるかどうか， さらに検証する価値があると考える。

## 6 おわりに

本研究は, 先行研究 [1] での取り組みについて 3 つの大きな改善点を示し, 実験を通じて改善点 の効果を検証した. 2 VS. 2 検定手法を導入し，テ キストの意味と脳活動データの対応関係を捉える 上で bert-large-uncased が有利であることを確認し た.また，先行研究の結果において未解明であった RoBERTa のサイズによる精度の問題も検証実験を 通じて疑問を解消することができた。さらに，改良 されたモデルである BrainBERT2.0 は，事前学習結果の精度を向上させ，脳内状態予測において他のモ デルを上回る優位性を実現したことを確認した。

今後の課題として，albertを含む様々な汎用言語 モデルを用いて再度実験を行うつもりである。

## 謝辞

本研究は，科研費（18H05521）の支援を受けた。 ここに謝意を表す.

## 参考文献

[1] 羅桜, 小林一郎. Brainbert: 脳活動とテキストの対応関係を捉えた言語モデル構築への取り組み. 日本知能情報ファジィ学会 ファジィシステム シンポジウ ム 講演論文集, Vol. 37, pp. 376-381, 2021.

[2] Alexander G. Huth, Wendy A. de Heer, Thomas L. Griffiths, Frédéric E. Theunissen, and Jack L. Gallant. Natural speech reveals the semantic maps that tile human cerebral cortex. Nat., Vol. 532, No. 7600, pp. 453-458, 2016.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS'17, p. 6000-6010, Red Hook, NY, USA, 2017. Curran Associates Inc.

[4] Satoshi Nishida, Antoine Blanc, Naoya Maeda, Masataka Kado, and Shinji Nishimoto. Behavioral correlates of cortical semantic representations modeled by word vectors. PLoS Computational Biology, Vol. 17, No. 6, p. e1009138, 2021

[5] Yen-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng, and Jingjing Liu. Uniter: Universal image-text representation learning. In Computer Vision - ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part XXX, p. 104-120, Berlin, Heidelberg, 2020. Springer-Verlag,

[6] Yung-Sung Chuang, Chi-Liang Liu, Hung-yi Lee, and LinShan Lee. Speechbert: An audio-and-text jointly learned language model for end-to-end spoken question answering. In Helen Meng, Bo Xu, and Thomas Fang Zheng, editors, Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event, Shanghai, China, 25-29 October 2020, pp. 4168-4172. ISCA, 2020.

[7] Shohini Bhattasali, Jonathan Brennan, Wen-Ming Luh, Berta Franzluebbers, and John Hale. The alice datasets: fMRI \& EEG observations of natural language comprehension. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 120-125, Marseille, France, May 2020. European Language Resources Association.

[8] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Iryna Gurevych Nils Reimers. Sentence-bert: Sentence embeddings using siamese bert-networks. https://arxiv.org/abs/1908.10084, 2019

[10] Nadine Chang, John A. Pyles, Austin Marcus, Abhinav Gupta, Michael J. Tarr, and Elissa M. Aminoff. Bold5000, a public fmri dataset while viewing 5000 visual images. Scientific Data, Vol. 6, No. 1, May 2019.

[11] Chris Foster, Dhanush Dharmaretnam, Haoyan Xu, Alona Fyshe, and George Tzanetakis. Decoding music in the human brain using eeg data. In 2018 IEEE 20th International Workshop on Multimedia Signal Processing (MMSP), pp. 1-6, 2018.

[12] Francisco Pereira, Bin Lou, Brianna Pritchett, Samuel Ritter, Samuel Gershman, Nancy Kanwisher, Matthew Botvinick, and Evelina Fedorenko. Toward a universal decoder of linguistic meaning from brain activation. Nature Communications, Vol. 9, , 032018.

[13] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.

[14] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space, 2013.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[17] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations, 2020.

[18] Xianrui Zheng, Chao Zhang, and Philip C. Woodland. Adapting gpt, gpt-2 and bert language models for speech recognition, 2021

## 付録 (Appendix)

表 3 各相関脳領域の Pearson 相関係数の計算結果 (全表)

} \\


 羅 桜 小林一郎 お茶の水女子大学 \{luo.ying, koba\}@is.ocha.ac.jp  