# 短歌固有の属性に対応する脳内情報表現

佐藤杏奈 ${ }^{1}$ 近添淳一 ${ }^{2}$ 船井正太郎 ${ }^{2}$ 持橋 大地 ${ }^{3}$ 小林一郎 1
1 お茶の水女子大学大学院 人間文化創成科学研究科 理学専攻
2 株式会社アラヤ 3 統計数理研究所
\{g1920519,koba\}@is.ocha.ac.jp \{chikazoe_junichi,funai_shotaro\}@araya.org
daichi@ism.ac.jp

## 概要

ヒト脳内における情動活動の理解は，脳神経科学における中心的な課題である. 本研究では，情動理解の探究として言語芸術である短歌を取り上げ，文から誘起される詩的な情動が，脳内でどう表現されるのか，詩的感覚は文のどのような要素から構成されうるのかを，短歌を読んだ際の fMRI データを用いて調査する。サーチライト解析を行い脳内状態を調査した結果, 文の詩的さと関連する情報は, 後頭葉，ブローカ野をはじめとした大脳皮質上で広く表現され，また，詩的感覚はその文の珍しさや構造などに細分化される可能性が示唆された。

## 1 はじめに

近年，様々な課題を通じてヒト脳内における言語処理過程の解明に大規模言語モデルの有用性が示されている $[1,2,3,4,5]$. 言語による刺激はヒト脳内において意味表象となり，情動にも大きな影響を与える. とくに詩, 俳句, 短歌といった言語芸術は，言語表現の中により繊細な価値を捉える芸術であり, 通常の喜怒哀楽といった直接的な感情とは異なる。

本研究では，そのような言語芸術を刺激として与えられた際のヒト脳内の状態に着目し, 文を読んだ際にヒトが感じる，詩的という情動について調査を行う．1）詩的という情動そのものが脳内でどのように表現されるのか，2) 文に含まれるどのような特徴がヒトの詩的感覚を構成するのかについて解明を目指す.

## 2 関連研究

情動が神経系活動の中でどのように表現されているかを理解することは, 脳神経科学における中心的かつ未解決の問題である. 情動に関する研究のなか
でも言語芸術を刺激とするヒト脳活動を調査した研究として, Zeman ら [6] はfMRIを用いて, 散文と詩の文章を読む被験者の脳活動を調べた. その結果，文学性と関連する領域は主に左脳に見られ，情動性と関連する領域は，音楽に対する感情に共通していると確認された。また，作詩時の脳活動を調査した $\mathrm{He}$ ら [7] は，専門家と初心者を対象に，作詩テーマの馴染みの有無で機能的接続パターンがどのように変化するのかを報告している，船井ら [8] は，言語刺激の特徴量を BERT [9] によって表現し，BERT の各層と短歌を読んだ際の被験者の脳活動との対応を調査しており，BERT の低層では統語論的な情報を捉え，高層では文の意味的な情報を捉えているという BERT の性質と脳内での情報処理部位の対応関係を確認している．佐藤ら [10] は短歌を読んだ際のヒト脳活動の階層的な処理と関心領域 (ROI) のハブ性について調査を行なっており, BERT, GPT [11] それぞれの高層から符号化モデルによって予測した脳内状態において，情動を司る部位がハブとなっていることを確認している。

本研究では，短歌特有の言語的刺激に対応するヒト脳内状態を調査し，情動と脳活動の解明を目指す.

## 3 実験

## 3.1 被験者実験

脳画像データの撮像は, 生理学研究所に設置された 3.0 テスラの MRI(シーメンス社製)を用いて取得された. 撮像パラメータは, $\mathrm{TR}=750 \mathrm{~ms}, \mathrm{TE}=$ $31 \mathrm{~ms}$, flip angle $=55^{\circ}$, voxel size $=2.0 \mathrm{~mm} \times 2.0 \mathrm{~mm} \times$ $2.0 \mathrm{~mm}$ である.

被験者本実験には 18 歳から 34 歳までの日本語母語話者 32 名 (平均年齢 23.0 歳, うち男性 15 名) が参加した．全被験者が右利きであり，短歌の経験は
不問. 解析には，ログの取得が困難であった 2 名を除く30名の被験者のデータを用いる.

実験タスク被験者には fMRI スキャナー内で文を呈示し, その文が詩的と感じるか否かを右手に持つボタン押しで回答させた (図 1). 1 試行の所要時間は約 12 秒であり，50 試行を 1 セッションとし，休想を挟み全 6 セッションを行った。

実験刺激刺激には，『現代日本語書き言葉均衡コーパス』 $(\mathrm{BCCWJ})^{1)}$,『桜前線開架宣言』[12],『塔』 [13] から抽出された短歌 150 首と, BCCWJに含まれる，短歌と同じ 31 文字程度の普通の文 (平文) 150 文を用いた. 短歌/平文は 3 行に分け，1 行目のみ，2 行目まで，3行全てとそれぞれ約 3 秒ずつ呈示された後，「詩的であると感じますか？」と記載された質問スライドが 3 秒間呈示される。文はセッション内で被験者ごとにランダムな順に呈示され，各セッションは短歌 25 首，平文 25 文で構成される.

## 3.2 MRI データ処理

脳画像前処理には，fMRIPrep[14] の標準パイプラインを用いた. 動き補正，MNI152 標準脳への変換等をした後, 被験者毎に一般線形モデル (GLM)を適用し，各刺激に対するボクセル毎のパラメータを推定した. GLMには nilearn.glm.first_level.FirstLevelModel()を使用し, 各刺激に対応する回帰係数の Z-スコアが応答パラメータとして取得された。

## 3.3 マルチボクセルパターン分析

本研究では，詩的感覚と関係のある領域を調査するため，全脳を対象としたサーチライト解析 [15]を用いる.この手法は，事前に決められた半径の球状サーチライトに含まれるボクセルを用いたデコー ディング分析手法で，サーチライトを対象領域内で動かしデコーディング精度を測ることで，刺激と関係した情報を持つ脳領域を得ることができる．各

図 1: 実験タスク設定.
サーチライトのデコーディング精度は中心のボクセルに挿入される.

## 4 特徵量の設定

本研究の目的である，1) 詩的感覚が脳内でどう表現されるかの調查，2) 詩的感覚を構成する要素の解明を目指し，サーチライト解析で用いられる被説明変数を設定する。

## 4.1 文の詩的さ

感情には個人差があるとされるが，ここでは被験者実験 (3.1 節) のタスク結果を用いて，どの程度の人が詩的と感じると回答したか，もしくは詩的と感じないと回答したかを文章の詩的さとして定義する. 詩的と感じるを +1 , 詩的と感じないを -1 , 無回答を 0 とし, 全 32 名の被験者の回答をもとにスコア化を行った結果を図 2 に示す.

## 4.2 詩的感覚の構成要素

次に，文を詩的と感じさせるいくつかの要素を考え，それぞれについてスコア化を目指す。

一般には，文に含まれる比喻表現，リズム，韻， また，読み手個人の経験などが様々な感情を呼び起こすことにつながると考えられているが [16], どの要素も簡単に定量化できるものではない. 例えば, どのような比喻が使われているかは，文を詩的にさせる重要な要因であると考える一方で，比喻の理解を定量的に示すことは容易ではなく，そのようなことが可能な十分な精度をもった日本語モデルは著者らの知る限り未だ存在しない。また，個人の様々な経験についても，どのような刺激がどのような経験ともに詩的感情を引き起こすかを個々人で定量化することは困難である。

上記を踏まえ本研究では，スコア化する個人のバイアスを防ぎつつ定量化が可能であると考えた，以下の三点について特徴量の設定を行った。

(a) 文の珍しさ以下のように，我々が日常であまり用いないであろう語彙や言い回しを含んだ文には，文学的な趣を感じることがある。

手相の不幸買う男あり}

ここでは，言語モデルを用いてスコア化を行う.本研究では 3.6B GPT-NeoX モデル ${ }^{2)}$ を採用した. 大

2) rinna/japanese-gpt-neox-3.6b

1) https://clrd.ninjal.ac.jp/bccwj/
文の詩的さ

(a) 文の珍しさ

(b) 繰り返しと韻

(c) 文法的違い

表 $1:$ 詩的さと各要素の相関.

要素 $\quad r$

(a) 0.464

(b) 0.173

(c) 0.444

図 2: 文の詩的さと, 詩的感覚の構成要素のスコアの分布.

量のテキストデータで学習された言語モデルによる予測誤差が大きい文は，日常的に使われない文であるとし，文に含まれる全てのトークンのクロスエントロピー誤差の平均を求めることで，それぞれの文の珍しさとした (図 2a).

(b) 繰り返しと韻繰り返し表現や韻を用いることは，詩的な文を構築するためによく使われる技法の一つである.

## きれいな言葉を使って \\ きれいにしたような街で \\ きれいにぼくは育った

ここでは，GINZA[17] を用いて構文解析した後に人手で調節することで，実験に用いた短歌と平文， 300 文の仮名振りを行なった. 本研究では撥音，促音は省略，長音記号は直前と同じ音を続けるよう前処理をし，全てを母音に変換したときに 3 字以上で韻が踏まれている文字数を加算することでスコアリングした (図 2b).

(c) 文法的違い詩, 俳句, 短歌といった言語芸術は，字数制限のための語の調節や，体言止め，倒置法などの表現技法より，特徴的な文法を持つ場合があると考える．以下の文章では，体言止めの他にも，日常会話であまり用いない代名詞「君」が使われていることも文法的特徴として挙げられると考える。

$
\begin{aligned}
& \text { いつか君が歌ったこんな夕暮れの } \\
& \text { ハートブレイクホテルの灯り }
\end{aligned}
$

ここでは初めに，BCCWJ，『桜前線開架宣言』，『塔』から抽出された実験に使われていない短歌 6542 首と平文 5061 文を使用し，短歌特有の文法的特徴を調査する. GINZAを用いて形態素解析を行い, i) 各品詞の出現回数と, ii) 品詞から品詞への全通りの接続確立を求めた後，短歌と平文の 2 群に有意差がある項目を $t$ 検定で調査する $(p<1 e-10)$.有意差が見られた 42 個の項目について，実験で使われた 300 文についても同様に i), ii)を求め，短歌に多く見られた特徴に 1 ，その他に 0 を入れた基準ベクトルとの cosine 類似度を測ることで，文法的な短歌らしさをスコアリングした（図 2c）.

これら上記 3 つのスコアと， 4.1 節で述べた詩的さスコアの相関を表 1 に示す.

## 5 実験結果

## 5.1 サーチライト設定

本研究では半径 $4 \mathrm{~mm}$ のサーチライト (33 個のボクセル)を採用し，デコーディングには線形サポー トベクター回帰 (SVR)を用いた。ここでは簡単のため、事前実験で決めたパラメータ $(C=0.001, \epsilon=0.9)$ を全被験者，全設定で採用した。サーチライト解析の入力は 3.2 節で構築した各刺激に対する脳応答パラメータ, 出力は 4 章で求めた, 詩的さ, 珍しさ,繰り返し，文法の特徴を表す値の Z-スコアのいずれかである. 同一セッション内の脳データがSVR モデルの訓練と評価どちらにも含まれることのないよう，6-fold 交差検証でデコーディングを行う.

## 5.2 デコーディング結果

スコア化したそれぞれの要素へのデコーディング精度を図 3 に示す. 評価には予測值と実測値のピアソン相関係数を計算した。値は被験者毎に FDR 補正 $(q<0.01)$ され，30 名の被験者で平均された後,閾値 0 で可視化されている. 図 $3 \mathrm{~d}$ では 4 つの異なる領域に在るサーチライトのそれぞれの値に対する
図 3: サーチライト解析結果 $(z=-20,-4,11,37,59)$,文の詩的さ.

(a) 文の珍しさ.

(b) 繰り返しと韻.

(c) 文法的特徴.

(d) 各サーチライトにおけるデコード精度.

V1: pericalcarine cortex, LOC: lateral occipital cortex, PT: pars triangularis, MFC: middle frontal cortex

デコーディングの精度を示す (青 : 詩的さ，橙：珍しさ，緑：韻，赤：文法). グレーの各点が被験者,棒グラフが平均を示している。

## 5.3 考察

文の詩的さのデコーディングでは，後頭葉とブローカ野の辺りで高い精度が確認できた. 視覚情報として与えた言語刺激が，初期の視覚処理を行う視覚野から, 前頭葉等の高次の処理領域まで表されていることがわかる. 他の 3 つの要素のデコーディング精度と比べて優れていることから，文が誘発する詩的感情は，皮質全体のあらゆる領域と関係があり，大規模なネットワークで表現されているとい
える。

文の珍しさ，文法的特徴のスコアのデコーディング (図 3a，3c) では，両側後頭葉の精度が同等程度に高くなった. 詩的さと比較すると精度は劣るが，文の詩的さと共通した箇所に幾つかのクラスター（赤い囲いで表示）が確認できる。いずれも似た領域がそれぞれのスコアを優位に予測できたと考えられる一方，その精度を比較すると必ずしも同じ位置付けなわけではなく，役割が異なるようにも捉えられる (図3d).

繰り返し韻スコアのデコーディング精度はさらに劣り, 全脳に散らばっている (図 3b)). 仮説として, i) 繰り返し表現や文に含まれる韻は，文の詩的さを評価するヒトに与える影響が少ない，もしくは，ii)繰り返し表現や韻を適切に表現できるスコアリングでなかったことが考えられる。しかし，やはり文のリズムが詩的表現に与える影響は無視できず，文の詩的さとの相関があまり見られていない $(r=0.173$,表 1)ことを踏まえると，ii）の可能性が高く，韻の特徴を適切に表現するスコア化方法において改善の余地があるだろうと結論づける.

## 6 おわりに

本研究では，1) 文が誘起する詩的という情動がヒ卜脳内でどのように表現されているのか，2) 我々が持つ詩的感覚は文のどのような要素から構成されているのか，を探究した. とくに，機械的にスコア化をした文の特徴を表す指標を用いてマルチボクセルパターン分析を行うことで，それら特徴と関係のある脳領域の調査を行なった。まず，刺激として与えている文の詩的さを予測できる脳領域は大脳皮質上に広く散布していること，なかでも後頭葉，ブロー 力野の精度が優れていることがわかった. 次に，本研究でスコア化した文の珍しさ，繰り返しと韻，文法的特徴へのデコーディングでは，文の珍しさ，文法的特徵は, 文の詩的さとは独立して優位に予測され，機能的局在している可能性を示唆した。一方でどのスコアにおいてもデコーディングの精度が優れているとは言えないことから，詩的感覚の構成要素そのもの，また，そのスコアリング方法は引き続き議論する必要があると考える.

## 謝辞

本研究は JSPS 科研費 21 H05061 の助成を受けたものです.

## 参考文献

[1] Alexander G Huth, Wendy A de Heer, Thomas L Griffiths, and Jack L Theunissen, Frédéric E andG̃allant. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature, Vol. 532, No. 7600, pp. 453-458, Apr 2016.

[2] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. Artificial neural networks accurately predict language processing in the brain. bioRxiv, 2020.

[3] Martin Schrimpf, Idan A Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy G Kanwisher, Joshua B Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative modeling converges on predictive processing. Proceedings of the National Academy of Sciences (PNAS), 2021.

[4] Charlotte Caucheteux, Alexandre Gramfort, and JeanRémi King. Gpt-2's activations predict the degree of semantic comprehension in the human brain. bioRxiv, 2021.

[5] Jerry Tang, Amanda LeBel, Shailee Jain, and Alexander G. Huth. Semantic reconstruction of continuous language from non-invasive brain recordings. Nature Neuroscience, Vol. 26, No. 5, pp. 858-866, 2023.

[6] Adam Zeman, Fraser Milton, Alicia Smith, and Rick Rylance. By heart an fmri study of brain activation by poetry and prose. Journal of Consciousness Studies, Vol. 20, No. 9-10, pp. 9-10, 2013.

[7] Ruizhi He, Kaixiang Zhuang, Lijun Liu, Ke Ding, Xi Wang, Lei Fu, Jiang Qiu, and Qunlin Chen. The impact of knowledge on poetry composition: An fmri investigation. Brain and Language, Vol. 235, p. 105202, 2022.

[8] 船井正太郎, 近添淳一, 持橋大地, 浅原正幸, 松井鉄平, 川島寛乃, 磯暁. 人間の脳と人工知能における短歌の鑑賞に関する神経活動の比較. 言語処理学会年次大会発表論文集, 2023 .

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] 佐藤杏奈, 近添淳一, 船井正太郎, 持橋大地, 鹿野豊,浅原正幸, 磯暁, 小林一郎. 短歌を読む際の情動に関する脳活動の解析. 言語処理学会年次大会発表論文集, 2023.

[11] Alec Radford, Jeff Wu, Rewon Child, D. Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019.

[12] 山田航. 桜前線開架宣言. 左右社, 2015.

[13] 塔. 第 63 巻第 4 号. 一般社団法人塔短歌会, 2016.

[14] Oscar Esteban, Christopher J. Markiewicz, Ross W. Blair,
Craig A. Moodie, A. Ilkay Isik, Asier Erramuzpe, James D. Kent, Mathias Goncalves, Elizabeth DuPre, Madeleine Snyder, Hiroyuki Oya, Satrajit S. Ghosh, Jessey Wright, Joke Durnez, Russell A. Poldrack, and Krzysztof J. Gorgolewski. Fmriprep: a robust preprocessing pipeline for functional mri. bioRxiv, 2018.

[15] Nikolaus Kriegeskorte, Rainer Goebel, and Peter Bandettini. Information-based functional brain mapping. Proceedings of the National Academy of Sciences, Vol. 103, No. 10, pp. 3863-3868, 2006.

[16] Philip N. Johnson-Laird and Keith Oatley. How poetry evokes emotions. Acta Psychologica, Vol. 224, p. 103506, 2022.

[17] 松田寛. Ginza - universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020 .