# 短歌を読む際の情動に関する脳活動の解析

佐藤 杏奈 1 近添 淳一 ${ }^{2}$ 船井 正太郎 ${ }^{2}$
持橋 大地 ${ }^{3}$ 鹿野 豊 4 浅原 正幸 5 磯 暁 6 小林一郎 ${ }^{1}$
1 お茶の水女子大学 理学部 情報科学科 2 株式会社アラヤ
3 統計数理研究所 4 群馬大学 5 国立国語研究所 6 高エネルギー加速器研究機構
\{g1920519, koba\}@is.ocha.ac.jp \{chikazoe_junichi, funai_shotaro\}@araya.org
daichi@ism.ac.jp yshikano@gunma-u.ac.jp masayu-a@ninjal.ac.jp iso@post.kek.jp

## 概要

本研究では，詩や短歌といった言語芸術が誘起す る情動がヒト脳内においてどのように表現されるの かを調査する. とくに本研究では短歌を取り上げ， fMRI 内で提示した短歌を読んだ際の被験者の脳活動を観測し，BERT や GPT などの汎用言語モデルを 通じて抽出された言語特徴量を入力として脳内状態 を推定する符号化モデルを構築し脳内状態を推定し た. 被験者が「詩的である」,「詩的でない」と感じ るのはヒト脳内でどのような処理が行われている ことに起因しているのかについて調査を行った結果，GPT を用いた際に，情動と深く関係していると される大脳辺縁系の一部である島皮質，中層では帯状回，高層では眼窩前頭皮質のハブ性が詩的と感じ ているとき強くなることが確認できた.

## 1 はじめに

近年では, 磁気共鳴装置 (fMRI) や脳磁図 (MEG) などの非侵襲的な脳機能計測技術の発展と, 深層学習に代表される機械学習技術の高度化により, ヒト 脳内の情報処理プロセスの解明や定量的理解を行う 研究が盛んになっている [1]. 論理的な情報処理能力と共に，情動に関する情報処理能力はヒトの知能 を解明する上で重要であり, 本研究ではヒト脳内の 情動に関する処理プロセスの解明を目的とし，統計 モデルを通じた調査を行う。

## 2 関連研究

近年，脳神経科学において脳内に生起する意味表象が知覚カテゴリとしてどのように大脳皮質上 に構成されるかについても明らかにされてきてい る $[2,3]$. とくに自然言語の単語の意味をべクトル として表現する word2vec [4] が出現して以来，ヒト脳に与えられる言語刺激の特徴量が自然言語処理技術の汎用言語モデルを用いて表現され，脳内状態の推定に利用されるようになっている $[5,6,7]$. Schrimpf ら [5,6] は, 43 個の様々な汎用言語モデル を用いて言語刺激を特徴量として表現し，ヒト脳活動との対応関係を調査した. Caucheteux ら [7] は脳内状態を表現する特徴量として性能が良いとされる GPT-2 [8] について詳細な調査をしている.

ヒト脳活動における情動を対象に解析したもの として，Kim ら [9] は音楽刺激下の被験者の脳活動 を fMRI で観測したデータから感情反応を推定し，人間の感情処理に関連する特定部位の反応が優位 になったことを確認している. Koide-Majima ら [10] は，動画視聴時の脳活動を fMRIを用いて計測し， その刺激となった動画クリップに対して注釈づけさ れた 80 個の感情表現との相関をとり, 脳内における 感情の分布を調べている。また，Satpute ら [11] は，言語が情動にどのような役割を担っているかについ て神経科学の文献をレビューすることによって調査 をしており，言葉の意味処理に関わる脳領域は，と くに情動に関する表現内容を保持するという考えを 示唆する証拠が得られたことを報告している.

このようなアプローチに対して, 本研究では, 自然言語を処理する深層学習モデルを作業モデルとし て利用し，様々な刺激下のヒト脳内に直接の反応と して表出される感情を扱うのではなく，言語芸術で ある短歌によって誘起される感性や感覚に近いヒト 脳内情動活動を対象に調査を行う。

## 3 言語刺激下の脳活動解析

## 3.1 実験概要

本研究の概要を図 1 に示す. 言語モデルの中間層から抽出した表現べクトルを特徴量として使用

図 1: 詩的と感じるまたは感じないときの脳の振る舞いの調査の流れ.

し，符号化モデル (3.3 節参照) を用いて脳活動を推定する。深層学習モデルの各階層が表現できる情報 がどのように遷移するかを調べるため，各階層から 符号化モデルを構築し. 予測された脳活動を用いて RSA(3.4 節参照)を行い，関心領域 (ROI) の振る舞い を表す，ROI $\times$ ROI の $\operatorname{RDM}($ 図 $1(※), 3.4$ 節にて後述) を作成する.

## 3.2 被験者実験

本研究の被検者は 18 歳から 34 歳までの日本人 32 名で，脳画像データは fMRIにより取得した. 実験 では,『現代日本語書き言葉均衡コーパス』(BCCWJ) に含まれる短歌と, 同じ 31 文字の平文各 150 文を fMRI 内で提示し, それが詩的と感じるかどうかを 手元のボタンで解答させた. 短歌または平文は 3 行 に分けて，それぞれ 3 秒間提示された後，「詩的で あると感じますか？」と記載された質問スライドが 3 秒間提示される (図 1 参照). 1 試行の所要時間は 12 秒であり， 50 試行を 1 セッションとし，6セッ ションを行った. 文は各セッション内で参加者ごと にランダムな順に提示され, 各セッションは短歌 25 首，平文 25 文で構成される。脳画像データは, FreeSurfer ${ }^{1}$ を用いて解析を行い，それにより抽出さ れた大脳皮質のボクセルのみを分析に用いた。ま た，脳領域区分アトラスには FreeSurfer で提供され る Destrieux Atlas [12]を用いた。

## 3.3 符号化モデル

本研究における符号化モデル (Encoding model) の 構築手法は，Naselaris ら [13] によるものを採用し た. 符号化モデルの構築方法として, ヒト脳への刺激となるデータから抽出した特徴量と刺激下の脳活動状態を線形回帰し, 計測脳活動パターンと予測脳活動パターンが近づくように重みを学習する。一般的に線形回帰にはリッジ回帰が適用され, 回帰係数 を観察することでボクセルに対する振る舞いを観察 することなどが可能となる.

## 3.4 表象類似解析 (RSA)

表象類似解析 (Representational Similarity Analysis, RSA) は, Kriegeskorte ら $[14,15]$ によって提案され た手法である．RSAを用いることにより，比較対象となる二つのパターンの非類似性は，それらの 距離に対応するものとして表現される. 全てのぺ アの表現距離 (または非類似度)を測定すること で, Representational Dissimilarity Matrix(RDM) を作成 でき，また，RDM 同士の相関を計算し様々な表現 を比較することが可能になる。本研究では非類似度 として相関距離 (1-ピアソン相関係数) の值を使用 する。

## 4 実験

## 4.1 符号化モデル作成

ヒト脳に与えられた刺激の特徴量から脳内状態を 推定するために，符号化モデルを構築する． 1 枚の スライドが提示されている間，そこに表示されてい る文で埋めて言語データを構築し, 脳データと対応 づけた。質問スライドが表示されている間は，直前 に表示されていた短歌もしくは平文に，「詩的であ ると感じますか？」という文を加え，言語データと した.

言語モデルの中間層から抽出した言語特徴量を説

1) https://surfer.nmr.mgh.harvard.edu/
明変数として脳活動データを予測する符号化モデ ルには，線形リッジ回帰を適用した．その際，神経活動に伴う血流の増加の反応時間を考慮し, fMRI で観測された脳活動データをその 3 9TR2) 前の該当区間全ての言語特徴量から予測する形で回帰を 行う. 全 6 セッションのうち, 1 セッションをテス トデータ，残り 5 セッションを訓練データとし，各 セッションの脳活動データを予測した. また, 訓練 データについて 5 分割交差検証を行い，平均の相関係数が最も良くなる正則化項 $\alpha$ を $\left[10^{1}, 10^{6}\right]$ におけ る 15 個の値の中から採用した。

## 4.2 実験設定

本研究では，言語特徴量を表現する言語モデルと して BERT [16] と GPT [17]を使用する. 事前学習モ デルとして, $\mathrm{BERT}_{\text {large }}{ }^{3}$ ) と $\mathrm{GPT}_{1 b}{ }^{4}$ (共に 24 層) を 採用し，以下の 2 ステップで Multi-step fine-tuning を 行った.

短歌の学習 それぞれ，BCCWJに含まれる実験 で使用していない短歌 3571 首 (訓練データ $90 \%$ ) で fine-tuning を行った. 学習タスクはそれぞれ事前学習として採用されている, BERT は Masked Language Modeling(15\%), GPT は Causal Language Modeling を 使用した.

詩的感覚の有無の分類 被験者毎に, 実験に使用した短歌平文 300 文を, 被験者が fMRI 実験で 詩的と感じる・感じないと回答した結果に合わせ てラベル付けをし, huggingface $の$ transformers ${ }^{5}$ )で提供されている, BertForSequenceClassification と GPT2ForSequenceClassification を使用し fine-tuning を行った. この時, 符号化モデル構築時に訓練デー タとなる 5 セッションで提示された 250 文を訓練 データとした.

また，解析では被験者間で平均をとるため，符号化モデルの精度が低い被験者のデータがノイズ になってしまうことを鑑み，(1) 短歌もしくは平文, 詩的と感じる・感じないでラベル付けをした とき，マクロ $F_{1}$ スコア >0.85であり，(2) 事前実験 (fine-tuning をしていない事前学習モデルから抽出し た特徵量を使用)での予測脑活動が，実験で計測さ れた脳活動に有意な正の相関がある $(p<0.01)$ 被験
=0.75$ 秒

3) https://huggingface.co/cl-tohoku/ bert-large-japanese

4) https://huggingface.co/rinna/japanese-gpt-1b

5) https://github.com/huggingface/transformers
}

BERT

GPT

図 2: 中間層 $\times$ 中間層の RDM.

者 7 名のみを解析の対象とした。

## 4.3 実験結果

言語モデル各階層の予測脳活動を詩的と感じる (Poetic)もしくは感じない (Unpoetic) に分け，それぞ れで，ROI 毎に時間×時間の RDM を作成する. 本研究では. 実測脳活動と予測脳活動に相関がないと いう帰無仮説のもと. False discovery rate $(\mathrm{q}<0.05)$ 補正を適用する. 帰無仮説が棄却され. かつ. 実測脳活動との相関が正となったボクセルのみを使用して RSAを行う。

ROI 毎に作成された RDM を比較することで ROI $\times \operatorname{ROI}$ の $\operatorname{RDM}($ (図 $1(※))$ を作成する。その RDM を 被験者間で平均をとったのち，各階層で詩的と感じ るもしくは感じないで作成された (階層数 $\times 2$ ) 個の RDM を比較することで，層×層の RDM を作成した (図 2).

さらに上記 2 つの RDM を 1 つにしたRDMを UMAP [18] を用いて 3 次元に次元圧縮をし, 可視化 する (図 3).

次に，他の様々な ROI と類似した情報表現を持 つ，脳内情報のハブとなっている ROIを見つけるた め, PageRank アルゴリズム [19]を用いて解析を行 う。ROI 間の非類似度を表している RDM(図 $1(※))$ を， (1- 非類似度) とすることで相関行列を作成し， この相関行列を遷移確率行列として PageRankアル

図 3: RDM の次元圧縮結果.
(a) 7 層目

(c) 23 層目

図 4: GPT 各階層における PageRank 値の差分 (詩的と感じる (赤) vs. 詩的と感じない (青)).

ゴリズムを適用する。具体的に， $B_{P_{i}}$ は相関行列 $P_{j}$ から遷移する可能性のある相関行列の集合とし，相関行列 $P_{i}$ における PageRank である $r\left(P_{i}\right)$ をべき乗法で以下のように求める.

$
r_{k+1}\left(P_{i}\right)=\sum_{P_{j} \in B_{P_{i}}} \frac{r_{k}\left(P_{j}\right)}{\left|P_{j}\right|}
$

各階層, 詩的と感じる・感じないの各 RDM に 対して上記 PageRank アルゴリズムを適用し, $\left(r\left(P_{\text {poetic }_{i}}\right)-r\left(P_{\text {unpoeti }_{i}}\right)\right)$ として差分を取ったもの を図 4 に示す.ここでは，詩的と感じる・感じない の非類似性が高かった GPT の結果のみを示す.赤 い部分が，減算後値が大きくなった,つまり詩的と 感じる時により PageRank 値が高かった脳領域であ り. 青い部分が詩的と感じない時により PageRank 値が高かった脳領域である。

## 4.4 考察

図 2 において, BERT では各階層同士で Poetic に 対する Unpoetic の非類似度が他層に比べ低くなって いる一方で，GPTではその値の低下は小さい. よっ て，GPT は詩的と感じているときと感じていないと きでは. 各階層でより異なる情報表現を持っている と言える.

図 3 において, BERT と GPT どちらも徐々に情報 が遷移していることから, 深層学習モデルの各階層 が説明できる脳活動は階層が進むに従って変化して いることがわかる.

図 4 では，低層，中層，高層として GPT の 7，16， 23 層目での PageRank 值の差分を可視化している.他の階層や BERT での結果については一部付録 6.3 節で示している。ほとんどの層において，後頭葉 (図 $4 \mathrm{a}$ 参照) で差分後の値が正，つまり，詩的と感 じているときの方がより，後頭葉周辺のハブ性が強 くなっていることがわかった。この値は低層の方が大きく，10 層目あたりをピークに層が進むにつれ て小さくなっていった。また，殆どの層において左島皮質，左中心前溝 (図 $4 \mathrm{a}, 4 \mathrm{c}$ 参照) 周辺の值が大き くなった．島皮質は情動と密接な関係があるとされ る大脳辺縁系の一部であり，BERT の高層でも同様 にハブ性が強くなることが確認できた (付録 6.3 節参照).

中層では，帯状回周辺で值が大きくなる様子が見 られた。帯状回は，大脳辺縁系の各部位を結びつけ る役割があり，感情の形成と処理に関わりを持つ領域と言われている。詩と散文を読んだときの脳活動 を調査した先行研究 [20] では，文の情動性が上がる につれて活性化した脳領域として，帯状回が挙げら れている。また，高層では，情動の処理に重要な役割を果たしているとされている [21], 左眼窩前頭皮質 (OFC) が赤くなる様子が見られた.

## 5 おわりに

本研究では，詩的であるという情動がヒト脳内に おいてどのように表現されるのかを言語モデルの中間層から予測した脳活動に対して，RSAを用いて調査を行った. PageRankを用いて ROI のハブ性を調 べた結果，GPT において情動と深く関係していると される大脳辺縁系の一部である島皮質，中層では帯状回，高層では眼窩前頭皮質のハブ性が詩的と感じ ているとき強くなることが確認できた。一方で，後頭葉や中心前溝など，情動と関係しているとされて いない領域でもハブ性が見られた。

今後は，解析対象の被験者を増やした時の結果の 考察を行うつもりである。また，短歌を読んだとき のヒト脳内と深層学習モデルでの階層処理について の調査，考察も進めていきたい。

## 参考文献

[1] Daniel L. K. Yamins, Ha Hong, Charles F. Cadieu, Ethan A. Solomon, and James J. Seibert, Darren an d DiCarlo. Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences, Vol. 111, No. 23, pp. 8619-8624, 2014.

[2] Alexander G Huth, Shinji Nishimoto, An T Vu, and Jack L Gallant. A continuous semantic space describes the representation of thousands of object and action categories across the human brain. Neuron, Vol. 76, No. 6, pp. 12101224, Dec 2012

[3] Alexander G Huth, Wendy A de Heer, Thomas L Griffiths, and Jack L Theunissen, Frédéric E andG̃allant. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature, Vol. 532, No. 7600, pp. 453-458, Apr 2016.

[4] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Vol. 26, , 2013.

[5] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. Artificial neural networks accurately predict language processing in the brain. bioRxiv, 2020

[6] Martin Schrimpf, Idan A Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy G Kanwisher, Joshua B Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative modeling converges on predictive processing. Proceedings of the National Academy of Sciences (PNAS), 2021.

[7] Charlotte Caucheteux, Alexandre Gramfort, and JeanRémi King. Gpt-2's activations predict the degree of semantic comprehension in the human brain. bioRxiv, 2021.

[8] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2018.

[9] Hyun-Chul Kim, Peter A. Bandettini, and Jong-Hwan Lee. Deep neural network predicts emotional responses of the human brain from functional magnetic resonance imaging. NeuroImage, Vol. 186, pp. 607-627, 2019.

[10] Naoko Koide-Majima, Tomoya Nakai, and Shinji Nishimoto. Distinct dimensions of emotion in the human brain and their representation on the cortical surface. NeuroImage, Vol. 222, p. 117258, 2020

[11] Ajay B. Satpute and Kristen A. Lindquist. At the neural intersection between language and emotion. Affective Science, Vol. 2, No. 2, pp. 207-220, 2021.

[12] Christophe Destrieux, Bruce Fischl, Anders M. Dale, and Eric Halgren. Automatic parcellation of human cortical gyri and sulci using standard anatomical nomenclature. NeuroImage, Vol. 53, No. 1, pp. 1-15, 2010.

[13] Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto, and Jack L. Gallant. Encoding and decoding in fmri. Neurolmage, Vol. 56, No. 2, pp. 400-410, May 2011.

[14] Nikolaus Kriegeskorte, Marieke Mur, and Peter Bandettini. Representational similarity analysis - connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience, Vol. 2, p. 4, 2008

[15] Nikolaus Kriegeskorte and Rogier A Kievit. Representational geometry: integrating cognition, computation, and the brain. Trends Cogn Sci, Vol. 17, No. 8, pp. 401-412, Aug 2013 .

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. cite arxiv: 1810.04805 Comment: 13 pages.

[17] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[18] Leland McInnes, John Healy, and James Melville. Umap: Uniform manifold approximation and projection for dimension reduction, 2018.

[19] Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry Winograd. The PageRank Citation Ranking: Bringing Order to the Web. Technical report, Stanford Digital Library Technologies Project, 1998.

[20] Adam Zeman, Fraser Milton, Alicia Smith, and Rick Rylance. By heart an fmri study of brain activation by poetry and prose. Journal of Consciousness Studies, Vol. 20, No. 9-10, pp. 9-10, 2013.

[21] Junichi Chikazoe, Daniel H Lee, Nikolaus Kriegeskorte, and Adam K Anderson. Population coding of affect across stimuli, modalities and individuals. Nature Neuroscience, Vol. 17, No. 8, pp. 1114-1122, 2014.

## 6 付録 (Appendix)

## 6.1 実験データ

3.2 節にて述べた対象被験者は，男性 15 名，女性 17 名の合計 32 名である. 脳画像データの撮像は,生理学研究所に設置された 3.0 テスラの $\mathrm{MRI}$ (シー メンス社製) を用いて取得された. 解剖学的スキャ ンの撮像条件は，TR0.75 秒，ボクセルサイズ $2.0 \mathrm{~mm}$ $\times 2.0 \mathrm{~mm} \times 2.0 \mathrm{~mm}$ である.

## 6.2 非類似度の可視化

図 2 では, BERT とGPTにおいて, 詩的と感じ る・感じないときの各階層の非類似性を RDM で示 した.このときの Poetic に対する Unpoetic の非類似度を示す (図 5).

layer

図 5: Poetic-Unpoetic 間の各階層における非類似度.
BERT と GPT2 どちらでも，8 層目あたりで非類似度があがり，その後は BERT は徐々に上がり, GPT では下がる様子が見られた。

図3の異なる角度からの可視化結果を示す。

図 6: RDM の次元圧縮結果 (図 3 別角度).

## 6.3 PageRank の差分結果

4.3 節で述べられているように, PageRank アルゴ リズムを用いてハブ性を調査した。本文に掲載でき なかった BERT と GPT の一部階層について，(詩的 と感じる-詩的と感じない)の差分結果を示す.

3 層目

6 層目

9 層目

12 層目

15 層目

18 層目

24 層目

図 7: BERT 各階層における PageRank 値の差分.

3 層目

6 層目

9 層目

12 層目

15 層目

18 層目

21 層目

24 層目

図 8: GPT 各階層における PageRank 値の差分.
 佐藤 杏奈 1 近添 淳一 ${ }^{2}$ 船井 正太郎 ${ }^{2}$ 持橋 大地 ${ }^{3}$ 鹿野 豊 4 浅原 正幸 5 磯 暁 6 小林一郎 ${ }^{1}$ 1 お茶の水女子大学 理学部 情報科学科 2 株式会社アラヤ 3 統計数理研究所 4 群馬大学 5 国立国語研究所 6 高エネルギー加速器研究機構 \{g1920519, koba\}@is.ocha.ac.jp \{chikazoe_junichi, funai_shotaro\}@araya.org daichi@ism.ac.jp yshikano@gunma-u.ac.jp masayu-a@ninjal.ac.jp iso@post.kek.jp  