# 文頭・文末予測の組み合わせによる文特定

宇田川拓真金山博吉田一星
日本アイ・ビー・エム株式会社東京基礎研究所
Takuma.Udagawa@ibm.com $\{$ hkana,issei\}@jp.ibm.com

## 概要

文分割とはテキストを連続する文の単位に分割 する前処理を指す. 本稿ではこれを拡張し,テキス ト中の文でないノイズを除去しつつ, 解析対象とす べき文のみを抽出する文特定タスクの定式化を行 う. また, 文頭・文末予測を組み合わせることで文特定を行う新たな手法を提案する. 最後に, Universal Dependencies (UD) のアノテーションに基づく言語横断的なベンチマーク手法を設計し, UD の英語コーパ ス English Web Treebank (EWT) を用いた実験により 提案手法の精度・有用性を検証する。

## 1 はじめに

自然言語処理において文は重要な処理単位の一つ である $[1,2,5]$. 一般的に, テキストはまず文末予測 に基づく文分割という前処理によって連続する文の 単位 (文単位と呼ぶ) に分割される $[4,3,11]$. しかし，実際のテキストデータは必ずしも綺麗な文単位のみ を含むとは限らない. 例えば, ウェブデータはメタ情報・文断片・非言語的記号など文と見なせないノィ ズ（非文単位と呼ぶ）を含み得る. 従来の文分割で は非文単位もいずれかの文単位に属すると仮定され るが,これらのノイズは構文解析など下流の処理や その評価において障害となることがある [12].

そこで本稿では文分割の代替として,テキストを 連続する文単位と非文単位に分割する文特定タスク の定式化を行う. それと同時に, 文頭と文末予測を組 み合わせることで文特定を行う新たな手法を提案す る. 表 1 に示すように, 提案手法では文頭・文末予測 によって文単位を特定しつつ, それ以外を非文単位 と見なして区別・除去することができる.

次に, 文特定タスクにそのまま適用可能なベン チマークが存在しないため, Universal Dependencies (UD) [8] のアノテーションを基に文特定のベンチ マークを設計する. 具体的には, UD が提供する文境界と述語項構造を活用して, 任意のUDコーパスか
ら文特定の正解データを作成する手法を紹介する。文単位・非文単位の分類基準を目的に応じて柔軟に 調整可能であることもこの手法の特長である.

最後に, UD の英語コーパスとして広く使われてい る English Web Treebank (EWT) [10]を用いて実験を 行う.これにより,提案手法は高い精度で文単位を特定できること, また正確な文単位の特定が構文解析等の下流タスクにおいて有用であることを示す.

## 2 タスク設計・手法

本節ではまず, 文分割のタスク設計と手法を再定義する. 次に, 文分割の考えを拡張することで文特定 のタスク設計と手法を導出できることを示す.

## 2.1 文分割

入力テキストを $\boldsymbol{W}=\left(w_{0}, w_{1}, \ldots, w_{N-1}\right)$ とし, 各 $w_{i}$ は単語とする（文字・サブワードでも可）.また, テ キストのスパン $\boldsymbol{W}[i: j]=\left(w_{i}, \ldots, w_{j-1}\right)$ およびその 連結 $\boldsymbol{W}[i: j] \oplus \boldsymbol{W}[j: k]=\boldsymbol{W}[i: k]$ を定義する.

文分割では入力テキストを連続する $M$ 個の文単位に分割する. ${ }^{1)}$ つまり, 文単位の境界のインデック スを $\boldsymbol{B}=\left(b_{0}, b_{1}, \ldots, b_{M}\right) \quad\left(\right.$ ただし $\left.b_{0}=0, b_{M}=N\right)$ と すると, $\bigoplus_{i=1}^{M} \boldsymbol{W}\left[b_{i-1}: b_{i}\right]=\boldsymbol{W}$ となる.ここで, スパ ン $\boldsymbol{W}[i: j]$ が一つの文単位となる確率を $p_{\mathrm{SU}}(\boldsymbol{W}[i: j])$ とおくと, 最適な文分割は以下の解 $\boldsymbol{B}$ を求めるタス クとして定式化できる：

$
\underset{\boldsymbol{B}}{\arg \max } \prod_{i=1}^{M} p_{\mathrm{SU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)
$

次に, $w_{i}$ が文末となる確率のモデル $p_{\text {EOS }}\left(w_{i} \mid \boldsymbol{W} ; \theta\right)$ を導入する. ${ }^{2}$ 通常, モデルのパラメーター $\theta$ は文末 （文境界）の正解データを用いて事前学習され [11], このモデルを用いて文単位の確率 $p_{\mathrm{SU}}(\boldsymbol{W}[i: j])$ を以下のように定義できる：

$
p_{\mathrm{SU}}(\boldsymbol{W}[i: j])=p_{\mathrm{EOS}}\left(w_{j-1}\right) \prod_{i \leq k<j-1}\left(1-p_{\mathrm{EOS}}\left(w_{k}\right)\right)
$

1） $M$ は変数であることに注意.

2）以降 $\boldsymbol{W}, \theta$ を省略して $p_{\text {EOS }}\left(w_{i}\right)$ のように表記する.
表 1 文分割と文特定の比較. 文分割では文末予測 (E)によってテキストを連続する文単位 (青いスパン) に分割する. 文特定では文頭予測 (B) と文末予測 (E) の間のスパンを文単位として特定し, それ以外のスパンを非文単位と見なす.入力テキスト Thank you. - TEXT.htm 《 File: TEXT.htm 》 I was thinking of converting it to a hover vehicle. (EWTの例) I might just sell the car and get you to drive me around all winter.

つまり $\boldsymbol{W}[i: j]$ が文単位となる確率は, そこに含ま れる単語のうち最後の単語 $w_{j-1}$ のみが文末となる 確率に等しい. この式 (2)を式 (1)に代入すると,

$
\begin{aligned}
(1) & =\underset{\boldsymbol{B}}{\arg \max } \sum_{i=1}^{M}\left.\{\log p_{\mathrm{EOS}}\left(w_{b_{i}-1}\right)+\sum_{b_{i-1} \leq j<b_{i}-1} \log \left(1-p_{\mathrm{EOS}}\left(w_{j}\right)\right)\right.\} \\
& =\underset{\boldsymbol{B}}{\arg \max } \sum_{i \in \boldsymbol{B}_{\mathrm{EOS}}} \log p_{\mathrm{EOS}}\left(w_{i}\right)+\sum_{i \notin \boldsymbol{B}_{\mathrm{EOS}}} \log \left(1-p_{\mathrm{EOS}}\left(w_{i}\right)\right)
\end{aligned}
$

ここで $\boldsymbol{B}_{\mathrm{EOS}}=\left.\{b_{i}-1 \mid i \in(1,2, \ldots, M)\right.\}$ は $\boldsymbol{B}$ が定義 する文末のインデックスを指す. 式 (3) は自明な最適化問題であり, $\boldsymbol{B}_{\mathrm{EOS}}=\left.\{i \in(0,1, \ldots, N-1) \mid p_{\mathrm{EOS}}\left(w_{i}\right) \geq\right.$ $0.5\}$ となる $\boldsymbol{B}$ が最適解となる.

## 2.2 文特定

文特定では入力テキストを連続する文単位または 非文単位に分割する. そのため, $a_{i}$ を $\boldsymbol{W}\left[b_{i-1}: b_{i}\right]$ が 文単位の場合 1 , 非文単位の場合 0 を取る変数とする と, 最適な文特定は以下の解 $\boldsymbol{A}=\left(a_{1}, a_{2}, \ldots, a_{M}\right)$ およ び $\boldsymbol{B}$ を求めるタスクとして定式化できる：

$\underset{\boldsymbol{B}, \boldsymbol{A}}{\arg \max } \prod_{i=1}^{M} p_{\mathrm{SU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)^{a_{i}} p_{\mathrm{NSU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)^{1-a_{i}}$

ここで $p_{\mathrm{SU}}(\boldsymbol{W}[i: j]), p_{\mathrm{NSU}}(\boldsymbol{W}[i: j])$ はそれぞれ $\boldsymbol{W}[i: j]$ が一つの文単位, 非文単位となる確率を指す.前項の考えを拡張すると,これらの確率は事前学習 された文頭確率のモデル $p_{\mathrm{BOS}}\left(w_{i}\right)$ と文末確率のモデ ル $p_{\mathrm{EOS}}\left(w_{i}\right)$ を用いて以下のように定義できる：

$
\begin{aligned}
p_{\mathrm{SU}}(\boldsymbol{W}[i: j])= & p_{\mathrm{BOS}}\left(w_{i}\right) \prod_{i<k \leq j-1}\left(1-p_{\mathrm{BOS}}\left(w_{k}\right)\right) \\
& \times p_{\mathrm{EOS}}\left(w_{j-1}\right) \prod_{i \leq k<j-1}\left(1-p_{\mathrm{EOS}}\left(w_{k}\right)\right) \\
p_{\mathrm{NSU}}(\boldsymbol{W}[i: j])= & \prod_{i \leq k \leq j-1}\left(1-p_{\mathrm{BOS}}\left(w_{k}\right)\right) \times \prod_{i \leq k \leq j-1}\left(1-p_{\mathrm{EOS}}\left(w_{k}\right)\right)
\end{aligned}
$

つまり $\boldsymbol{W}[i: j]$ が文単位となる確率は, 最初の単語 $w_{i}$ のみが文頭となり, 最後の単語 $w_{j-1}$ のみが文末と なる確率に等しい. また, $\boldsymbol{W}[i: j]$ が非文単位となる 確率は文頭および文末が一切含まれない確率に等し い.3) これらの式 (5) を式 (4) に代入すると,

(4) $=\underset{\boldsymbol{B}, \boldsymbol{A}}{\arg \max } \sum_{i=1}^{M}\left.\{a_{i} \log p_{\mathrm{sU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)\right.$ $\left.+\left(1-a_{i}\right) \log p_{\mathrm{NSU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)\right.\}$

$
\begin{aligned}
=\underset{\boldsymbol{B}, \boldsymbol{A}}{\arg \max } & \sum_{i \in \boldsymbol{B}_{\mathrm{BOS}}^{\boldsymbol{A}}} \log p_{\mathrm{BOS}}\left(w_{i}\right)+\sum_{i \notin \boldsymbol{B}_{\mathrm{BOS}}^{\boldsymbol{A}}} \log \left(1-p_{\mathrm{BOS}}\left(w_{i}\right)\right) \\
& +\sum_{i \in \boldsymbol{B}_{\mathrm{EOS}}^{\boldsymbol{A}}} \log p_{\mathrm{EOS}}\left(w_{i}\right)+\sum_{i \notin \boldsymbol{B}_{\mathrm{EOS}}^{\boldsymbol{A}}} \log \left(1-p_{\mathrm{EOS}}\left(w_{i}\right)\right)
\end{aligned}
$

ここで $\boldsymbol{B}_{\mathrm{BOS}}^{\boldsymbol{A}}=\left.\{b_{i-1} \mid i \in(1,2, \ldots, M), a_{i}=1\right.\}$ は文頭 のインデックス, $\boldsymbol{B}_{\mathrm{EOS}}^{\boldsymbol{A}}=\left.\{b_{i}-1 \mid i \in(1,2, \ldots, M), a_{i}=1\right.\}$ は文末のインデックスを指す. 付録 A に示すように，式 (6) の最適解 $\boldsymbol{B}, \boldsymbol{A}$ は動的計画法を用いて厳密かつ 効率的に求めることができる.

## 3 評価

本節では, 任意の言語のUDコーパスから文特定 のベンチマークを構築する手法について説明する.具体的にはUD のアノテーションを基に, まず (1) 文単位・非文単位の境界を決定し，次に (2) 各区分を文単位または非文単位に分類する.

まず手順 (1) では, UDにおける文境界4）を文単位・非文単位の境界として採用する. 手順 (2) において は, 言語学における Lexical Sentence [9] の考え方を採用し, 単語間の依存関係を基に文単位を定義する. 具
[i: j] \oplus \boldsymbol{W}[j: k]=\boldsymbol{W}[i: k]$ に対して $p_{\mathrm{NSU}}(\boldsymbol{W}[i: k])=p_{\mathrm{NSU}}(\boldsymbol{W}[i: j]) \times p_{\mathrm{NSU}}(\boldsymbol{W}[j: k])$ が成立する.つまり,連続する非文単位の区別は行われない.

4）UDにおいて, 文境界における「文」とは表 2 のような非文単位を含む広義の意味で使われている。
}
表 2 English Web Treebank (EWT) に含まれる非文単位の 代表例. 各行は一つの非文単位に対応する.

$* \sim * \sim * \sim * \sim * \sim * \sim * \sim * \sim * \sim *$
$* * * * * * * * * * \mathrm{NOTE} * * * * * * * * * * *$
By video conference from
Excerpt:
02/13/2001 08:02 PM
5:00 PT ** 6:00 MT ** 7:00 CT ** 8:00 ET
Time: 11:30am / 1:30pm Central / 2:30pm Eastern
Sunshine Coast, British Columbia, Canada
- UnleadedStocks.pdf
t r t h o u t - Perspective
( Answered, 2 Comments )
The federal sites of Washington, DC.

体的には, 節を文単位を構成する重要な要素と考え,節を成す述語とそれに係る依存関係 (core argument または non-core dependent）が少なくとも一つ含まれ る区分を文単位として分類する.5)

本稿では実験のため, English Web Treebank (EWT) [10] を用いて実際にベンチマークを構築する. EWT

の様々なジャンルのテキストデータから成り立ち,解析対象とすべき文単位（表 6）だけでなく多様な 非文単位（表 2）が含まれる. なお, 本稿の基準では 独立した名詞句等も非文単位に分類されるが, 目的 に応じてこの基準は柔軟に調整可能である.

また, EWT ベンチマークの統計値を表 3 に示す.本稿の基準では, 約 17 28\% と多くの区分が非文単位として分類されることが分かる. 一方で, 文単位を 単語レベルの BIO ラベル6)を用いてアノテーション した場合, 約 4 8\%の単語のみが $\mathrm{O}$ ラベルを付与さ れる.これは表 2 に示すように, 非文単位が比較的少 ない単語数で構成されることに起因する。

## 4 実験

最後に, EWT ベンチマークを用いた実験により文特定の精度と有用性を検証する。

5）UD の依存関係の詳細については以下を参照されたい： https://universaldependencies.org/u/dep/.

6） $\mathrm{B}$ は文単位の先頭, $\mathrm{I}$ は文単位の途中, $\mathrm{O}$ は文単位の外（つま り非文単位）であることを示す.

## 4.1 実験設定

2 節で述べたように, 文特定を行うには事前学習 された文頭確率と文末確率のモデルが必要である. そのため, 本稿では RoBERTa [6] をべースに文頭と 文末を予測する分類モデルを構築する.

モデルの訓練・検証時には, 入力テキストとして 連続する $L$ 個の文単位・非文単位を連結する。ここ で $L$ は成功確率 $p_{C C}=0.5$ の幾何分布からサンプリ ングする.7) ただし, 入力長が RoBERTa の上限を超 える場合，上限を超えない最大の $L^{\prime}<L$ を代用する. この手順により, 様々な長さの入力テキストに対応 するモデルが構築できると期待される.

テスト時には, より多様な入力テキストを考慮し て以下の設定を考える. 第一に, 訓練・検証時と同様 に連続する文単位・非文単位を連結する方法が考え られる. 本稿では $p_{C C}=0.5$ と, 可能な限り長い入力 を想定した $p_{C C}=0$ を用いて評価を行う.

第二に, 文分割の結果の後処理として文特定を行 う設定を考える. 具体的には, 高性能な文分割モデル [11]を用いて EWT の生データを分割し，その結果に 対して文特定を行う. なお, 文分割の段階で文単位が 誤って分割されてしまった場合は, 分割された部分 を非文単位と見なして正解を修正する。

最後に, 文特定の精度を文単位の抽出タスクとし て評価する. 具体的には, 文単位の単語レベルの BIO ラベル (3 節参照)の $\mathrm{F} 1$ スコアと, スパンレベルの 完全一致の F1 スコアを用いる. また, ベースライン として文末確率のモデルのみを用いた文分割手法 （2.1 項）との比較を行う. 文末確率のモデルは文特定と同様に訓練し, 入力の最後の単語を強制的に文末とする場合・しない場合の両方で評価する.8)

## 4.2 実験結果

表 4 に文単位の抽出タスクの実験結果を示す.

第一に, 提案手法（文特定）は全ての評価指標 において文分割を大きく上回ることが確認でき る. 特にスパンレベルの完全一致でも, 提案手法は 84 89\% と高い精度を達成している. また, 長い入力 $（ p_{C C}=0 ）$ に対しては文分割では大きな性能劣化が
7) $p_{C C} \in(0,1]$ の時, 幾何分布の確率質量関数は $l \in \mathbb{N}$ におい $\tau p(L=l)=\left(1-p_{C C}\right)^{l-1} p_{C C}$ となり, $p_{C C}$ が小さくなるほど $L$ は大きくなりやすい. $p_{C C}=0$ の時, $p(L=\infty)=1$ とみなす.

8）最後の単語を強制的に文末とする場合, 非文単位は一切予測 されない.これを強制しない場合, 予測された最後の文末以降 のスパンを（存在すれば）非文単位と見なす。

表 5 下流タスク (単語区切り/Words・品詞タグ付け/UPOS・依存構造解析/LAS) の評価結果.

見られる9)一方で, 文特定の手法ではこれらに対し ても高い性能を維持していることが分かる.

以上の結果より, 非文単位を除いて文単位を特定 するには文末の予測のみ（=文分割）では不十分で あり, 文頭・文末の予測を組み合わせること（=文特定）が重要であると言える.

## 4.3 下流タスクの評価

最後に, 文特定の下流タスクにおける有用性につ いて, 単語区切り・品詞タグ付け・依存構造解析の 3 つに焦点を当てて検証する.

まず背景として, EWT は非文単位のようなノイズ を含むため, 解析器の訓練・評価の両面で支障があ ることが知られている [12]. そこで本稿では, 理想的 な文単位・非文単位の区分10)に基づいて解析器を訓練・評価することの利点について調査する.

下流タスクの解析器には Trankit [7] を用いる. 手順としては UD-EWT v2.6の全体 (文単位と非文単位) を用いて単語区切りを訓練し ${ }^{11)}$, 続いて UD-EWT v2.10の全体・文単位のみ・非文単位のみのそれぞ れで品詞タグ付けと依存構造解析を訓練する. 最後 に, UD-EWT v2.10の全体・文単位のみ・非文単位の みのそれぞれで各解析器を評価する。

表 5 に下流タスクの評価結果を示す.まずEWT 全体で解析器を訓練した場合, 全ての下流タスクにお いて文単位のみで評価したスコアが高く, 非文単位

9）文分割では予測できる非文単位 (O ラベル) の割合が入力が 長くなるほど小さくなり, 結果的に性能が大幅に劣化する.

10）つまり 3 節で示した基準で分類した正解の区分を用いる.現実的には文特定の予測の段階で誤りが生じる可能性がある が, その点まで考慮した分析は今後の課題とする.

11）複数語トークンによるエラーを回避するため, それを持た ない旧バージョンで訓練した単語区切りモデルで固定した。
のみで評価したスコアが顕著に低くなっている.こ のことから, 文単位は予測に適した綺麗なデータが 多く, 逆に非文単位は予測しづらいイレギュラーな データが多いことが分かる.これらを同一視せずに 区別して評価を行うことは, 解析器の特徵を正しく 理解するために重要と考えられる.

また, 文単位のみで解析器を訓練した場合, 学習 データは少なくなるにもかかわらず, 全体で訓練し た場合と近い性能が出ることが分かる. ${ }^{12)}$ 例えば文単位に対する品詞タグ付けでは, 全体で訓練した場合と同等の性能が出ている. 逆に非文単位のみで訓練した場合の性能は全体的に低く, 訓練データとし ても有用でないノイズが多いと考えられる.13) 今後 の応用として, 例えば文単位・非文単位の分類基準 （3 節）を調整することで訓練に最適なデータのフィ ルタリングを行えると考えられる。

以上の結果より, 正確な文特定は解析器の訓練・評価の両面で有用であると考えられる.

## 5 まとめ

本稿では文分割の考え方を拡張し, 非文単位を除 きつつ文単位を特定する文特定のタスクと手法を提案した.また, EWT を用いた実験により文特定の精度と有用性を確認した. 今後の課題として, 文特定の さらなる精度向上, 異なる言語・ドメインにおける 有効性の検証, 実際の（誤りを含む）予測に基づく 下流タスクの評価・分析などが挙げられる。

12）ただし非文単位のみで評価した結果は異なる傾向を持ち, やはりイレギュラーなデータを多く含むことを示唆している.

13）フェアな比較のためには訓練に使うデータ量を揃える必要 があるが, 付録 C に示すようにこの設定でも同様の傾向が確認された。

## 参考文献

[1] Timothy Dozat and Christopher D Manning. Deep biaffine attention for neural dependency parsing. In Proc. of ICLR, 2017.

[2] Timothy Dozat and Christopher D. Manning. Simpler but more accurate semantic dependency parsing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 484-490, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Dan Gillick. Sentence boundary detection and the problem with the U.S. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Companion Volume: Short Papers, pp. 241-244, Boulder, Colorado, June 2009. Association for Computational Linguistics.

[4] Tibor Kiss and Jan Strunk. Unsupervised multilingual sentence boundary detection. Computational Linguistics, Vol. 32, No. 4, pp. 485-525, 2006.

[5] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pretraining for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[7] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A light-weight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 80-90, Online, April 2021. Association for Computational Linguistics.

[8] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and
Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, Marseille, France, May 2020. European Language Resources Association.

[9] Geoffrey Nunberg. The linguistics of punctuation. No. 18. Center for the Study of Language (CSLI), 1990.

[10] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Chris Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2897-2904, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[11] Rachel Wicks and Matt Post. A unified approach to sentence segmentation of punctuated text in many languages. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3995-4007, Online, August 2021. Association for Computational Linguistics.

[12] 金山博, 大湖卓也. UD_English-EWT との付き 合い方. 言語処理学会第 28 回年次大会予稿集, March 2022.
表 6 English Web Treebank (EWT) に含まれる文単位の代表例. 各行は一つの文単位に対応する.

President Bush on Tuesday nominated two individuals to replace retiring jurists on federal courts in the Washington area.

Unfortunately, Mr. Lay will be in San Jose, CA participating in a conference, where he is a speaker, on June 14.

"In 1972, there was an enormous glut of pilots," Campenni says.

PS - There is a happy hour tonight at Scudeiros on Dallas Street (just west of the Met Garage) beginning around 5:00.

2) Your vet would not prescribe them if they didn't think it would be helpful.

BUT EVERYONE HAS THERE OWN WAY!!!!!!

The motel is very well maintained, and the managers are so accomodating, it's kind of like visiting family each year! ;-) where can I find the best tours to the Mekong Delta at reasonable prices?

表 7 訓練データ量を揃えた場合の下流タスク (単語区切り・品詞タグ付け・依存構造解析) の評価結果.

## A 動的計画法

2.2 項の式 (6) の最適解は動的計画法を用いて求め ることができる. 具体的には, 任意の $k \leq N-1$ に対 して $\boldsymbol{W}^{\leq k}=\left(w_{0}, \ldots, w_{k}\right)$ までの最適な文頭・文末予測を考える。つまり, 式 (6) における $\boldsymbol{W}$ を $\boldsymbol{W} \leq k$ に置 き換えた最適化問題・目的関数を考える.

$\boldsymbol{W} \leq k$ までの予測は不完全であるため, 文単位の途中で終わる（=最後の予測が文頭である）場合と,文単位の外で終わる (=最後の予測が文頭でない)場合の 2 通りが考えられる. $\log p_{\text {IS }}(k+1)$ を前者の 場合の目的関数の最大值, $\log p_{\mathrm{OS}}(k+1)$ を後者の場合の目的関数の最大值と置く. すると, 予測は必ず 文単位の外から始まるので $\log p_{\text {IS }}(0)=\log 0=-\infty$, $\log p_{\text {os }}(0)=\log 1=0$ と初期化でき,これらの值を以下のように更新して求めることができる.

$
\begin{array}{r}
\log p_{\mathrm{IS}}^{\prime}(i)=\max \left.\{\log p_{\mathrm{IS}}(i)+\log \left(1-p_{\mathrm{BOS}}\left(w_{i}\right)\right),\right. \\
\left.\log p_{\mathrm{OS}}(i)+\log p_{\mathrm{BOS}}\left(w_{i}\right)\right.\}
\end{array}
$

$\log p_{\mathrm{OS}}^{\prime}(i)=\log p_{\mathrm{OS}}(i)+\log \left(1-p_{\mathrm{BOS}}\left(w_{i}\right)\right)$

$\log p_{\mathrm{IS}}(i+1)=\log p_{\mathrm{IS}}^{\prime}(i)+\log \left(1-p_{\text {EOS }}\left(w_{i}\right)\right)$

$\log p_{\text {OS }}(i+1)=\max \left.\{\log p_{\text {IS }}^{\prime}(i)+\log p_{\text {EOS }}\left(w_{i}\right)\right.$,

$
\left.\log p_{\mathrm{OS}}^{\prime}(i)+\log \left(1-p_{\mathrm{EOS}}\left(w_{i}\right)\right)\right.\}
$

この更新式ではまず, 文頭確率 $p_{\text {BOS }}\left(w_{i}\right)$ に基づい て $p_{\mathrm{IS}}(i) \rightarrow p_{\mathrm{IS}}^{\prime}(i), p_{\mathrm{oS}}(i) \rightarrow p_{\mathrm{OS}}^{\prime}(i)$ の更新を行う. 次 に, 文末確率 $p_{\text {EOS }}\left(w_{i}\right)$ に基づいて $p_{\text {IS }}^{\prime}(i) \rightarrow p_{\text {IS }}(i+1)$, $p_{\text {oS }}^{\prime}(i) \rightarrow p_{\text {os }}(i+1)$ の更新を行う.

最終的に予測は文単位の外で終わる必要があるた
め, $\log p_{\mathrm{OS}}(N)$ が式 (6) の目的関数の最大值となる.式 (6) の最適解 $B, A$ は, 更新式 (7) をバックトラック することで簡単に求めることができる.

## B 文単位の例

表 6 にWTに含まれる文単位の代表例を示す.こ れらの例に示されるように, 本稿の基準では節を成 す述語項構造を持つ区分のみが解析対象とすべき文単位として判定される.

## C 下流タスク評価の追加結果

表 7 に訓練データ量を揃えた場合の下流タスクの 評価結果を示す. 手順としては, 非文単位のデータ量 が最も少ないため, 訓練データに含まれる単語数を 非文単位におおよそ合わせて訓練を行った. ${ }^{14)}$

この結果から, やはり文単位のみで解析器を訓練 した場合, 全体で訓練した場合と同等の性能が出る ことが分かる. また, データ量を揃えた場合でも非文単位のみで訓練した場合の性能は全体として低いこ とが分かる.このことから,下流タスクの学習には文単位が最も有用であり,非文単位の貢献は非常に小 さいことが分かる.ただし非文単位のみで評価した 場合の結果は異なる傾向を示しており, 非文単位に 含まれるデータは（アノテーションが一貫していな いなど）イレギュラーであることが示唆される.

14）訓練データの単語数をおおよそ合わせるために, 全体で訓練する場合はランダムに 622 例, 文単位のみで訓練する場合は ランダムに 518 例, 非文単位のみで訓練する場合は 2,187 例 （全ての例）を使用した。


# 深層学習を用いた階層的テキストセグメンテーションモデル

久島務嗣 1 吉田尚水 ${ }^{1}$ 小林優佳 ${ }^{1}$
永江尚義 1 岩田憲治 1
1 株式会社 東芝 研究開発センター
tsuyoshi2.kushima@toshiba.co.jp

## 概要

近年では, 大規模コーパスと深層学習を用いた高性能なテキストセグメンテーションモデルが提案さ れている. 既存モデルは 1 つの階層でのみセグメン テーションを行うが, 文章は章立てや段落といった 階層構造を持つ. この構造情報を活用することで, 推定時に考慮できる情報が増え, モデルのドメイン汎化性能が向上すると期待される. そこで, 構造情報を 持った大規模コーパスを構築し, 深層学習を用いた 階層的テキストセグメンテーションモデルを提案す る. 学習コーパスとドメインの異なるコーパスで評価した結果, 提案モデルは既存モデルの性能を上回 り, 構造情報の有効性を確認した。

## 1 はじめに

書籍や文書といった人によって作られた文章は,章立てや段落などの構造を持つ.この構造情報は, 高度なテキスト分析において有用である. しかし, 音声認識の様な自動化技術の発達によって構造を持たな いテキストが大量に存在するようになった. 構造を 持たないテキストの分析は容易でないため, 高性能 なテキスト構造化技術が求められている.

テキスト構造化技術の 1 つにテキストセグメン テーション (Text Segmentation: TS) がある.これは, テキストを意味的に関連性がある複数の文のまと まり (セグメント) に分割し, 構造化する技術である. TS には大きく2つのタイプがある. 1 つは,テキスト からセグメント終端となる文を検出し，テキストを セグメント系列に変換する線形的 TS(Linear TS: LTS,図 1 下) である.もう一つは階層的な構造化を行う階層的 TS(Hierarchical TS: HTS, 図 1 上) である. 古典的 な LTS・HTS モデルは文の類似度や単語の一貫性に 基づいた教師なし学習モデルで, 人工的に生成した データでは高い性能を発揮していたが，自然なデー タでは性能が低いことが課題であった $[1,2,3,4]$.

図 1 LTS と HTS の概要

近年では，大規模コーパスを用いた深層学習 LTS モデルがいくつか提案されており $[5,6,7,8]$, 自然な データでも高性能なテキスト構造化が可能となって きた。一般に文章の持つ構造は階層構造であるため， セグメントに含まれる文の数 (大きさ) は構造化され る階層によって異なる. 例えば, 節の下にいくつかの 段落がある場合, 下の階層で構造化すれば 1 つのセ グメントが段落になり, 上の階層で構造化すれば 1 つのセグメントが節になる。適切なセグメントの大 きさは構造化後の分析に依って異なるため, 汎用的 に利用するには階層的な構造化が必要となる。 しか し, LTS モデルは階層的な構造化が出来ず, 対応した 階層別にモデルを用意するのはコストが高い.

深層学習を用いた HTS モデルが提案されていな い原因として, 構造情報を持った十分大きい学習 コーパスが構築されていないことが挙げられる。大規模コーパスを用いて HTS モデルを深層学習する ことで, 様々な分析に汎用的に利用できる高性能な HTS モデルが学習できる. さらに, テキストが持つ階層構造を活用することで，推定時に考慮できる情報 が増え, LTS モデルよりもテキストのドメインに対 する汎化性能が向上することも期待される。そこで，章・節・段落の 3 つの階層の構造情報を持った大規模な学習コーパスを構築し, 深層学習を用いた 3 層 の HTS モデルを提案する.

まず, 2 章で関連研究を挙げ, 3 章で構築したコー

パスと提案モデルについて説明する. 4 章では実験設定と評価方法, 5 章では結果と考察, 6 章では最後 に本稿のまとめと今後の課題について述べる.

## 2 関連手法

深層学習を用いた LTS モデルは文特徴ベクトル 生成部 (encoder) とセグメント終端推定部 (predictor) から成る.いずれの部分も入力は系列となるの で, LSTM や Transformer Encoder(TFE) が用いられる. TFE を用いた LTS モデルには Glavǎs ら [8] と Lukasik ら [7] のモデルがある. Glavǎs らは, 再帰的なモデル (LSTM など) よりもTFE の方が自然言語タスク全般 で性能が良く収束が早いために, TFE をモデルに採用した. また, Lukasik らは encoder $\cdot$ predictor の両方 に学習済み BERTを用いた HierBERT を提案した。

HTS モデルには Kazantseva ら [3] と Bayomi ら [4] のモデルがある. いずれのモデルも文の類似度に基 いた階層クラスタリング手法を用いた教師なし学習 モデルで, 小さいセグメントから推定をはじめ, その 結果を用いてだんだん大きいセグメントを推定す る, ボトムアップ方式の構造化を行った.

## 3 提案手法

## 3.1 コーパス

深層学習を用いて HTS モデルを学習するため には, 2 つ以上の階層を持つ大規模なコーパスが 必要となる. しかし, その様なコーパスは存在しな いため, Section[9] と Wiki-40B[10] を用いて新たな コーパスを構築した. Section は LTS の学習に広く 用いられているコーパスで, Wikipedia の都市と疾病に関する記事を収集することによって構築され た. 記事は SPARQL を使用して対応するトピック の WikiData の QID を検索する事によって収集され た. また, Wiki-40B は Wikipedia を前処理したコーパ スで, 節と段落の 2 つの構造情報と WikiData の QID が付与されている. Section と同じ記事のデータを Wiki-40B から抽出することで, 構造情報を持った Section(Hier.Section)を構築した.

さらに, Wiki-40B は 1 つのデータに複数の節を含 むため, 1 つのデータを章とみなすことができる. そ こで, 1 つのデータのテキスト全体を章のセグメン トとし, その終端に章のセグメント終端の正解ラべ ルを付与した. したがって, Hier.Section は章・節・段落の 3 つの構造情報を持つ.

図 2 Predictor モデル概要図

データの抽出は, Section の各データに付与された WikiData の URL から特定した QID を用いて行った.抽出したデータの前処理として, 複数の文が連結さ れていた場合には分割し, 節のセグメント数が 2 つ 以下のデータと 3 文以下のデータはコーパスから削除した. 文の分割には Python のオープンソースライ ブラリ $\mathrm{nltk}^{1)}$ を使用した. 学習・検証・評価データへ の分割は Section の学習・検証・評価データと同じ データが含まれるように行った。

また, LTS の評価に良く用いられるコーパスに Elements[11] がある. Elements は複数の文が連結さ れているデータが多く, また, 記号が削除されてい るために元の文に分解することが難しいことから， Wiki-40B から新たに構築した Hier.Elements を評価 データとして使用した. Hier.Elements は化学元素に 関する記事の QID をSPARQL を使用して収集し, 対応するデータを Wiki-40B から抽出することによっ て構築した. 前処理は Hier.Section と同様に行った.

## 3.2 提案モデル

HTS では階層ごとに関連性を考慮する範囲が異な るため, 局所的・大域的な関連性がどちらも重要で ある。TFE は系列全体の関連性を見ながら特徴を抽出するため, HTS モデルの predictor には TFE が適切 である。さらに, encoder に事前学習済み BERT を用 いることで, predictor では学習コーパスに依存しな い汎用的な文特徴べクトルが利用できる. また, 小さ

1) https://www.nltk.org/

いセグメントはテキストを構成する意味の最小単位 となるため, ボトムアップで構造化することで, その 後のセグメントの統合を精度よく行うことができる [4]. したがって, 本稿は encoder には BERT, predictor には TFE を用い, ボトムアップで推定する HTS モデ ルを提案する。

encoder は BERT が出力した sub-word 単位の特徴 ベクトルを平均し, 文特徴べクトル $f^{i}$ として出力す る. predictor のモデル概要図を図 2 に示す. predictor は 2 層の TFEを 3 つの持ち, それぞれのパラメータ は独立している. bottom ・ middle・top は段落・節・章の階層にそれぞれ対応し, ボトムアップに bottom から順にセグメント終端を推定する。

bottom では, まず, encoder から受取った文特徴 ベクトル系列 $f_{1: L}$ を TFE に入力し, 階層特徴べ クトル系列 $h_{1: L}^{b}$ を得る (式 1). 計算した $h_{1: L}^{b}$ から Feed Forward Network(FFN) と softmax 関数によって bottom のセグメント終端確率 $p_{1: L}^{b}$ を算出する (式 2).

$
\begin{aligned}
h_{1: L}^{b} & =T F E^{b}\left(f_{1: L}\right) \in \mathbb{R}^{L \times d} \\
p_{i}^{b} & =\frac{\exp \left(g_{i}^{b}\right)}{\sum_{j=1}^{L} \exp \left(g_{j}^{b}\right)} \in \mathbb{R}^{2} \\
g_{1: L}^{b} & =F F N_{p}^{b}\left(h_{1: L}^{b}\right)
\end{aligned}
$

式中の $d$ は BERT の特徵ベクトル次元, $\mathrm{L}$ は入力テキストの文の数をそれぞれ表し, $F F N_{p}^{b}(\cdot)=$ $W_{p}^{b} \cdot \operatorname{relu}(\cdot)+b_{p}^{b}$ である.

次に, $p_{1: L}^{b}$ を閾値処理しセグメント終端位置を特定する. ただし, 学習時には正解ラベルをセグメン 卜終端位置として用いた. 特定したセグメント終端位置からセグメント系列 $\mathrm{Seg}^{b}$ を得る. セグメント $S e g_{i}^{b}$ は i 番目のセグメントに含まれる文の添え字集合を表す. 例えば, 3 文目と 6 文目がセグメント 終端の場合, $\operatorname{Seg}_{1}^{b}=\{1,2,3\}, S e g_{2}^{b}=\{4,5,6\}$ となり, $\left|S e g_{1}^{b}\right|=\left|S e g_{2}^{b}\right|=3$ である. 統合べクトル $e_{i}^{b}$ は, コン テキストベクトル $C^{b}$ を用いた注意機構 [12] によっ て計算する (式 3).

$
\begin{aligned}
e_{i}^{b} & =\frac{1}{\left|\operatorname{Seg}_{i}^{b}\right|} \sum_{j \in \operatorname{Seg}_{i}^{b}} a_{j}^{b} \cdot h_{j}^{b} \\
a_{i}^{b} & =\frac{\exp \left(z_{i}^{b}\right)}{\sum_{k \in \operatorname{Seg}_{j}^{b}} \exp \left(z_{k}^{b}\right)} \text { s.t. } i \in \operatorname{Seg}_{j}^{b} \\
z_{1: L}^{b} & =C^{b} \cdot \tanh \left(F F N_{z}^{b}\left(h_{1: L}^{b}\right)\right) \in \mathbb{R}^{L}
\end{aligned}
$

bottom で特定したセグメント系列が $\left|\operatorname{Seg}^{b}\right|=M$
であるとき, middle では bottom の計算した統合べク トル系列 $e_{1: M}^{b}$ を大力として受け取る. 同様に, middle で特定したセグメント系列が $\left|\mathrm{Seg}^{m}\right|=N$ であると き, top は middle の統合ベクトル系列 $e_{1: N}^{m}$ を受け取 る. 入力ベクトル以外は bottom と同様の手続きで middle・top のセグメント終端確率を推定する. 目的関数は各階層における Cross-Entropy Loss(CEL) の総和としてモデルを更新した.

$
\begin{aligned}
\text { loss }=\frac{1}{L} C E L\left(y_{1: L}^{b}, p_{1: L}^{b}\right) & +\frac{1}{M} C E L\left(y_{1: M}^{m}, p_{1: M}^{m}\right) \\
& +\frac{1}{N} C E L\left(y_{1: N}^{t}, p_{1: N}^{t}\right)
\end{aligned}
$

式中の $y$ はそれぞれの階層の正解ラベル, $p_{1: N}^{m} \cdot$ $p_{1: N}^{t}$ は middle・top で計算されたセグメント終端確率をそれぞれ表す. 提案モデルでは各階層のセグメ ント単位で特徴ベクトルを統合しながら推定を進め るため, 階層ごとに系列長が異なる。そのため, 階層 ごとのロスのバランスを取るために系列長でスケー リングを行った. また, FFNに入力される特徴べクト ルは, 入力される直前に一定の割合で要素を 0 に置換する dropoutを適用した [13].

## 4 実験

## 4.1 実験設定

実験に使用するコーパスとその統計量を表 1 に示 す. 学習コーパスとトピックが異なるコーパスをド メイン外 (Out-Of-Domain: $\mathrm{OOD}^{\dagger}$ ) とする。学習コー パスには Hier.Sectionを用いた. 学習・評価データの 作成の詳細は付録を参照されたい. 最適化関数には AdamW を用い, 学習率は $10 \mathrm{e}-4$, 学習エポック数は 50, dropout 割合は 0.1 とした. 評価時のセグメント 終端位置の特定に使用する閾値は, 検証データにお いて最も良い F1 となった間値を使用した. 実装に は Pytorch ${ }^{2}$ と hugingface ${ }^{3)} の$ Transformers, encoder の BERT には”bert-base-cased”を使用した。また, BERT はパラメータを固定して実験を行った。

ベースラインは, LSTM を積層した HierLSTM[5] と, BERTを積層した HierBERT[7] の 2 つの LTS モ デルとした. HierLSTM と HierBERT はそれぞれの論文にしたがって実装し，提案モデルと同様の学習・評価を行った。また, HierBERT の BERT には提案モ デルと同様に”bert-base-cased”を使用した.

表 2 評価コーパスの評価結果 $(\mathrm{F} 1 \uparrow / \mathrm{PK} \downarrow)$

## 4.2 評価

評価には $\mathrm{F} 1 ・ \mathrm{Pk}[15]$ の 2 つの指標を用いた. $\mathrm{Pk}$ は窓幅 $\mathrm{k}$ 内のセグメント終端数の一致を測ることで セグメントのエラー率を計算する. F1・Pk は 1 つの コーパスのすべてのデータの推定結果を連結した系列に対して計算した. Pk は Python のオープンソース ライブラリ segeval ${ }^{4)}$ を用いて計算した.

評価コーパスには表 1 に示した 4 つのコーパスを 用いた. 複数階層の正解ラベルを持たないコーパス に対する提案モデルの評価は, 節の階層の推定結果 を用いて行った. また, 各データの末尾は必ずセグメ ント終端となるため, 節と段落の階層では既知のも のとして評価を行った.

## 5 結果と考察

表 2 に評価コーパスにおける結果を示す。表中の 太字は最も良いモデルの結果を表し, OOD-Ave には OODコーパスの結果の平均を示す.

個々の OOD コーパスの結果を見ると, Hier.Elements と Choi では F1・Pk 共に提案手法が最も良い 結果となった。また, Wiki-50においては, F1 では既存モデルと差があるが, $\mathrm{Pk}$ ではその差は小さい. さ らに, OOD-Ave の結果をみると, F1 と Pk 共に提案モ デルが最も良い結果となった. したがって, 構造情報 を用いることでモデルのドメイン汎化性能が向上す ることが確認された。

表 3 に Hier.Section の評価データ (Hier.Section-test) における結果を示す. Hier.Section-test における提案 モデルの結果を見ると，いずれの階層においても高 い性能で推定出来ている. したがって, 深層学習を用 いることで学習コーパスにおいては高性能な HTS モデルを学習出来ることが確認された.表 3 Hier.Section-test の評価結果 $(\mathrm{F} 1 \uparrow / \mathrm{PK} \downarrow)$

一方で, 階層ごとの性能を比較すると, 章の性能が 他の階層よりも高く, 階層ごとの性能差が大きい. さ らに,Hier.Section-test と Cities では既存モデルの性能 の方が高く, 提案モデルの学習コーパスと同じドメ インのコーパスでの性能は低下していることが分か る. これは, 推定の難易度が階層ごとに異なることを 示唆している. また, 提案モデルはボトムアップ方式 で推定を進めるため，段落の階層の推定精度が他の 階層に影響を与える. したがって, モデル全体の性能 に重要な階層よりも他の階層が先に学習されたこと によって，不適切な局所解に収束した可能性がある。適切な順序で階層の学習が進むような工夫をするこ とでモデルの性能が向上することが期待される.

以上のことから，学習コーパスにおいては高性能 な HTS モデルを学習可能であり, 提案モデルはドメ イン汎化性能が高いことが確認されたが，更なる性能改善の余地があることがわかった.

## 6 おわりに

本稿では，構造情報を持った大規模な学習コーパ スを構築し, 深層学習を用いた階層的なテキストセ グメンテーションモデル (HTS モデル) を提案した.評価の結果, 学習コーパスにおいては高性能な HTS モデルが学習可能であり, 提案モデルは既存モデル よりもドメイン汎化性能が高いことから, 構築した コーパスと多くの構造情報を推定に用いることの有効性が確認された．学習の工夫によってモデルの性能を更に向上させることが今後の課題である.

4) https://segeval.readthedocs.io/en/latest/

## 参考文献

[1] Marti A. Hearst. Text tiling: Segmenting text into multiparagraph subtopic passages. Computational Linguistics, Vol. 23, No. 1, pp. 33-64, 1997.

[2] Goran Glavǎs, Federico Nanni, and Simone Paolo Ponzetto. Unsupervised text segmentation using semantic relatedness graphs. In Proceedings of the Fifth Joint Conference on Lexical and Computational Semantics, Association for Computational Linguistics, pp. 125-130.

[3] Anna Kazantseva and Stan Szpakowicz. Hierarchical topical segmentation with affinity propagation. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics, pp. 37-47, 2014.

[4] Mostafa Bayomi and Sěamus Lawless. C-hts: A conceptbased hierarchical text segmentation approach. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[5] Omri Koshorek, Adir Cohen, Noam Mor, Michael Rotman, and Jonathan Berant. Text segmentation as a supervised learning task. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 469-473.

[6] Linzi Xing, Brad Hackinenz, Giuseppe Carenini, and Francesco Trebbi. Improving context modeling in neural topic segmentation. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 626-636, 2020.

[7] Michal Lukasik, Boris Dadachev, Kishore Papineni, and Gonçalo Simões. Text segmentation by cross segment attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 4707-4716, 2020.

[8] Goran Glavǎs and Swapna Somasundaran. Two-level transformer and auxiliary coherence modeling for improved text segmentation. In Proceedings of the 34th Association for the Advancement of Artificial Intelligence, 2020.

[9] Sebastian Arnold, Rudolf Schneider, Philippe CudréMauroux, Felix A. Gers, and Alexander Löser. Sector: A neural model for coherent topic segmentation and classification. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 169-184, 2019.

[10] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami AlRfou. Wiki-40b: Multilingual language model dataset. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 2440-2452, 2020.

[11] Harr Chen, S.R.K. Branavan, Regina Barzilay, and David R. Karger. Global models of document structure using latent permutations. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 371-379, 2009.
[12] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alex Smola, and Eduard Hovy. Hierarchical attention networks for document classification. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489.

[13] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, No. 56, pp. 1929-1958, 2014.

[14] Freddy Y. Y. Choi. Advances in domain independent linear text segmentation. In 1st Meeting of the North American Chapter of the Association for Computational Linguistics, pp. 26-33, 2000.

[15] Doug Beeferman, Adam Berger, and John Lafferty. Statistical models for text segmentation. Machine Learning, Vol. 34, No. 1, pp. 177-210, 1999.

[16] Eisenstein Jacob and Regina Barzilay. Bayesian unsupervised topic segmentation. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 334-343, 2008.

## A 付録

## A. 1 学習・評価データ作成

学習データはランダムにサンプリングした $2 \sim 6$ 個のデータを連結することによって作成した. 計算量の都合で, 連結し たデータの文長と文数はそれぞれで sub-word 単位で 64 単語・ 128 文を上限に制限した. 上限を超える場合は, 文は上限位置で切り捨て,データは上限位置で分割した. また, 節・段落の順序は $1 / 2$ の割合でランダムな順序にシャッフルした.

評価データは, コーパス中のすべてのデータを連結し, 128 文を窓として 64 文ずつスライドしてデータの半分が重複す るように分割し作成した. 重複する部分は推定したセグメント終端確率を平均することで統合し, 最終的な推定結果とし て評価を行った. 評価時には, 節・段落の順序のシャッフルは行わず, 文字数の制限のみ学習時と同様に行った.

## A. 2 実験結果詳細

表 4 にはベースラインとした 2 つの既存モデルの結果, 表 5 には提案モデルの結果をそれぞれ示す. 段落の正解ラベル を持たないコーパスでは,節の正解ラベルを使って段落階層の推定結果を評価した (表 5 下線).

Section-test は Section の評価コーパスで, Hier.Section-test と結果に乘離がないことを確認するために評価を行った. Clinical は医学書からいくつかの章を抽出し, 節をセグメントとして構築したコーパスである [16]. 形式の異なるコーパス に対する汎化性能を検証するために Clinical でも実験を行った. 以下に Clinical の統計量を示す.

・データ (長さ/数): 140.4 / 227, 節 (長さ / 数): 34.8 / 4.0, 段落 (長さ / 数): - / -

Clinical は 1 つのデータが長く節のセグメントも大きい. Clinical の 1 つのセグメントは, Hier.Section の 1 つのデータと 同程度の大きさであるため, 提案モデルにおいては章の階層で推定されるセグメントに相当すると考えられる. そこで, Clinical ではデータの連結は行わず, データを 1 つずつ入力し推定を行った. さらに, 提案モデルの章・段落の階層の推定結果は, 節の正解ラベルを使って評価を行った.

## A. 3 階層数を固定した HTS における課題

Clinical における提案モデルの結果をみると, 章の階層での F1・Pk が最も良い結果となった. 既存モデルの結果と比較 すると, F1 では HierBERT が最も良いが, Pk では提案モデルが最も良い結果となっている. Clinical における提案モデルの 章の階層の推定結果を分析すると, 湧き出し誤りは極端に少なく, 見落とし誤りが失敗のほとんどを占めており, 正しく検出されたセグメント終端のほとんどはテキストの末尾の既知としたセグメント終端であった. その結果, セグメント数が 少ない Clinical では Pk が高くなったことが分かった (表 1). さらに, 節の階層では高い Recall でセグメント終端が検知で きていることから, 章の階層ではそのほとんどが棄却されていることが分かる (表 5). これは, Clinical のセグメントは学習 コーパスにおける章と節の中間の階層にあたることを示唆している. また, Hier.Elements の章の階層においても, 節の階層 で推定されたセグメントの終端をほとんど棄却しており, Clinical と同様の傾向が確認された.

HTS においては,この様な対応できない階層が正解として求められる場合があるが, 階層数を固定した HTS モデルでは,原理上対応が難しい. 汎用的に利用可能なモデルには,この様な課題に対応することも必要となるため, 対応可能なモデル の検討も今後の課題である.

 &  &  & 0.425 & 0.547 & 0.347 & 0.327 & $\underline{0.421}$ & $\underline{0.301}$ & $\underline{0.698}$ & $\underline{0.397}$ \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Sequence-to-sequence モデルを用いた 一対多関係知識の記憶とその取り出し

長澤春希 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 穀田一真 ${ }^{1}$ 乾健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
\{haruki.nagasawa.s8, kokuta.kazuma.r3\}@dc.tohoku.ac.jp
benjamin.heinzerling@riken.jp kentaro.inui@tohoku.ac.jp

## 概要

ニューラル言語モデル (LM) による一対多関係

知識の記憶と取り出しの能力について, sequence to sequence モデルを用いた実験的な検証を行う．本研究では一対多関係知識の扱いを「個別の要素の記憶」と「記憶した要素の取り出し」に切り分け，そ れぞれにおける LM の振る舞いを調査する。そして 実験により，LMに一対多関係知識を記憶させるこ とは一定程度可能であるが，「記憶した要素の取り 出し」については, 単純な設定では達成されないと いう結果が得られたことを報告する。

## 1 はじめに

近年，大規模なコーパスで事前学習を行った ニューラル言語モデル (LM) が様々なタスクにおい て高い水準の性能を発揮している．LM はこの事前学習において，単語の使われ方や文法などの言語に 関する基本的な知識を獲得しているとされる。

またこれと同時に，LM は事前学習で用いたコー パスから，エンティティやイベントなどの世界に関 する知識もそのパラメータ内部に暗に獲得している ことが明らかとなっている $[1,2]$. 世界知識のうち, ある人物 (親)とその子どもや，映画監督とその作品 など，特定の関係で結ばれたエンティティについて の知識を関係知識と呼ぶ.ニューラル言語モデルは 事前学習の過程でかなり広範な関係知識をテキスト 集合から獲得している可能性があることが指摘され ている.

こうした背景から LMを知識べースと見なして その能力を調べる研究や LM と既存知識ベースを 統合する研究が広がっている (Language Models as Knowledge Bases) $[1,3,4,5,6]$. また, 事前学習済みの LM から知識を引き出すためのプロンプトについて例）集合の取得

図 1: 一対多関係知識の記憶と操作のイメージ

の研究も盛んに行われている $[7,8]$. しかしながら， これまでの先行研究における主な関心の対象は，一対一対応の関係知識に留まっており，多対多関係の 知識については扱いが簡単でないということ以外明 らかにされていない $[1,3]$. 一対一関係知識は，例 えば「国と首都」のようなもので，ある主語と関係 が与えられた時に，対応する目的語が一意に定まる ものを指しており，多対多関係知識は「映画と出演者」のように，ある関係を考えたときに，互いに 対応する主語と目的語が複数個存在するものを指 す。そして世界に関する知識には，上述の多対多関係の知識も多く存在することが指摘されている [3].従って，LM を知識べースとして扱える可能性をよ り緻密に調査するために，LM が多対多関係知識を どの程度正確に記憶 (パラメータの内部に格納) でき るのか，また記憶した知識の操作 (例えば，多対多関係のインスタンスに属する集合の間の演算) がど の程度可能か，といった基本的な能力を明らかにす る必要があると考えられる. 本研究ではその第一歩 として，一対多関係の知識を人工的に生成したデー タセットを構築し，これに対する LM の記憶と操作 の能力を調べた。

本研究で調査するのは図 1 に示すような記憶と操作の能力である．「記憶」の能力とは，LMに〈親子〉関係ような一対多関係のインスタンスを個別に 教示した場合に，教示したインスタンスの情報が LM の内部に格納されているかを指す。「操作」の能
力としては，例えば図 1 の「出力」にあるように，あ る人物の〈子ども〉をそれぞれ個別に教示した LM から，その集合 (〈子ども〉の集合)を取り出すこと ができるか，言い換えれば個別に記憶した要素を列挙して出力することが可能かといった能力を指す.

本研究では，統制したデータで LM の能力を調べ ることがまずは重要だと考えたため，Wikidata [9] か ら子どもが複数に存在する親とその子どもの名前を 収集し，一対多関係知識のデータセットを人工的に 作成した．本稿ではこのデータセットに対する LM の振る舞いを報告する。

## 2 関連研究

## 2.1 関係知識の記憶

Heinzerling と Inui は，言語モデルを知識ベースと して扱うための基本的な要件として次の 2 つを定義 している。 (i) 多数のエンティティを含む大量の世界知識を格納できること。(ii) 格納した世界知識を参照できること。

この要件を元に，LM が一対一関係知識をどれく らいの精度でどれほどの量格納することができるの かという点について, 様々なエンティティ表現を検討しながら精緻に検証している. しかしながら一対多関係知識についての LM の振る舞いは依然として 明らかにされていない。

## 2.2 集合の扱い

本研究では複数の目的語を扱うことを考えて いるが，これは目的語の「集合」を扱うことと置 き換えることが可能である. この集合の扱いを深層学習，ないしは Transformer [10] で取り組んでい る代表的な先行研究として, Deep Sets [11] や Set Transformer [12] が存在する. 両者とも入力としての 集合に主眼を置いたものになっており，順序普遍性 や，任意の大きさの集合の扱いについての言及がな されている。本研究では出力としての集合に主眼 を置いているが，順序普遍性などの性質は共通して 重要な側面であると考えられる。

## 3 調査手法について

## 3.1 用語定義

本研究で登場する用語と意味を定義する。

(b) 実験 4.4 の概要図

図 2: 実験における学習データおよび評価についてのイメージ図

一対多関係知識 1 つの主語に対し，特定の関係 を満足する目的語が複数存在するような世界知識.

例: John Lennon has children named Sean Lennon and Julian Lennon.

個別要素 一対多関係知識において，主語と目的語を一対一対応の形式で結んだ個別の関係知識.

例: John Lennon has a child named Sean Lennon.

個別教示 一対多関係知識を構成するそれぞれの 要素について，一対一対応の形式で個別に言語モデ ルに学習させること。

例 (入力文)：Who is the child of John Lennon?

例 (ターゲット文): Sean Lennon.

集合教示 一対多関係知識全体を言語モデルに学習させること。

例 (大力文): Who are the children named John Lennon?例 (ターゲット文): Sean Lennon, Julian Lennon.

## 3.2 生成モデルによる一対多関係知識の 扱い

本研究では，事前学習済み LM に対し，一対多関係知識を明示的に学習させた際の振る舞いを調査 する。具体的な調査方法については，言語モデルを 用いた穴埋め形式と，生成モデルを用いた回答文生成形式の 2 つが考えられる (本研究では前者を分類問題，後者を生成問題と呼ぶこことする). 分類問題については，LM が出力する予測確率分布の上位 $\mathrm{N}$ 個の目的語を，一対多関係知識に対するモデルの 回答として扱う．分類問題では，モデルに対し個別教示を実施することで複数ある目的語をほぼ全て 正しく予測できることを明らかにし，言語処理学会第 28 回年次大会にて報告している [13]. 本稿では, sequence-to-sequence[14] モデルを用いた生成手法に よるアプローチ (生成問題) についての実験結果を報告する. 生成問題では，個別教示を施した LM が個
別要素を正しく記憶できているかという点と，記憶 した複数の個別要素を過不足なく列挙して出力する ことができるかという点について調査を行う。

## 4 実験

## 4.1 実験データ

本実験では LM の記憶精度を正確に測定すること を目的に，学習データを独自に用意した. 具体的に は，Wikidata[9] から親とその子ども (2-4 人) の名前 を取得し，使用する人物名について，次の条件を満 たすような調整を行った。
- 主語・目的語の両方に渡り, 同姓同名のエン ティティが存在しない.
- 単語生成長による記憶の難易度を調整するた め, 空白もしくはハイフン区切りで 4 単語以下 で構成されるエンティティのみを使用.

なお本研究では, 明示的に学習させた関係インス タンスの記憶と操作のみを考えることとする。従っ て，学習データとして登場していない関係インスタ ンスに対する汎化能力などの測定は行わない。

## 4.2 実験設定

本実験では， sequence-to-sequence モデルとして事前学習済みの BART-base [15] および T5-base [16] を 用いた. 後述の 2 つの実験 ( 4.3 節， 4.4 節) におい て，訓練データに対して overfitするまで学習を継続 した. 具体的には，各主語についての入力に対し,目的語を 1 つ生成させ，それが正しい目的語のいず れかであれば正解，そうでない場合は不正解とし， この正解率が 5 エポック以上改善しなくなるまで 学習を継続した. また最適化アルゴリズムとして AdamW [17]を採用した。

## 4.3 実験: 個別教示のみ実施

ここでは個別教示による学習のみを行い，LM が 1 つの主語に紐づく複数の目的語を正しく記憶できるかについての検証を行った. 具体的には “\{Subject \} has a child named 〈mask〉.“に対し, 目的語 を 1つ生成させるという学習を全ての目的語につい て実施した. つまり, 図 2aのように 1 つの入力文 に対し, その主語に紐づく目的語数分のターゲット 文が存在する学習設定となっている.

そして，個別教示を実施した LM が複数の目的語
をどの程度記憶できているかについて, beam search を用いて複数の系列を生成することにより確認し た. 具体的には 1 つの入力に対して， beam 幅をそ の主語の目的語数分に設定し，それぞれの生成系列群の中に正しい目的語がいくつ含まれているかを調査した ${ }^{1)}$. また，モデルに記憶させるエンティティ 数を変化させ，記憶できる目的語数が変化するかも 併せて検証した。

図 3 はそれぞれ目的語数が $2 ， 3 ， 4$ 個の主語につ いて，全ての目的語を漏れなく記憶できた主語数を 示した結果である.

表 1: 1 対 4 関係知識について目的語を 3 つ以上記憶できている 主語の割合 $(\%)$

実験より，BART・T5 の両モデルに関し，目的語数が少ないほど取りこぼし少なく記憶することが可能であることが明らかとなった. 一方で 1 対 4 関係知識 (図 3 の赤線) に注目すると，4つの目的語全て を記憶できている主語の割合は BART で概ね 5 割, $\mathrm{T} 5$ で概ね 7 割程度に留まることが分かった.これ について，各主語について 4 つ存在する目的語のう ち3つ以上記憶できているものを含めた場合の記憶率を掲載したのが表 1 である. 表より，両モデルと も9割以上の記憶率となっていることが分かる. 上述の傾向はデータサイズ，すなわち記憶させるエン ティティの総数に依存しない結果となった.

## 4.4 実験: 個別教示と集合教示

この実験では，「記憶した要素の取り出し」につ いての能力を獲得することを目的とし，個別教示に 加えて集合教示を実施した. 集合教示について具体的には “\{Subject\} has children named $\langle$ mask $\rangle$.“の入力

文に対し，“\{Object1\}, \{Object2\}，..“をターゲット 文として設定し, 複数の目的語を列挙して出力する 学習を行った。これにより，入力文に“children“が 含まれる場合は, 記憶した正しい目的語を全て列挙 する振る舞いをモデルに獲得させることを狙った。 この集合教示を一部の主語について実施し, 明示的 に集合教示を行っていない主語についても同様の出力が可能になるかといった汎化能力を検証した (本実験の概要を図 $2 \mathrm{~b}$ に示す).

学習方法については，(i) 個別教示を行った後に 集合教示を行う方法と，(ii) 個別教示と集合教示を 同時に実施する 2 通りが考えられる．前者について は，集合教示が行われるにつれて個別教示に対する 正解率が急激に下がってしまう事象 (破局的忘却) が 確認された。一方で後者については，訓練データに 集合教示のデータを含めても，LM の個別要素の記憶に対する振る舞いはほとんど影響受けないことが 確認された. 従って本節では, 個別教示と集合教示 を同時に行った場合についての結果を報告する。

ここでは 1 対 2-4 関係知識について，それぞれ 3000 件の主語を対象に学習を行った. 個別教示に ついては全ての目的語に対して実施しながら, 集合教示の割合を変化させて集合出力に関するモデル の振る舞いを検証した．具体的には全体の 30，60， 90\%の主語について集合教示を行った. 表 2 および 表 3 はそれぞれ BART，T5 についての実験結果で ある. 正しい目的語を不足なく全て出力できている 場合を正解, 出力漏れや誤った目的語が出力されて いる場合を不正解とし, 全主語に対する正答率を計算した. また表の下段の値は，それぞれ出力系列に 含まれるエンティティ単位での recall・precision の 平均値となっている.2)

表 2: BART: 集合教示割合と出力集合の正解率

実験より BART と T5 のそれぞれで異なる振る舞 いが観察された. BART については，30\%集合教示 における 1 対 2 関係知識の正答率を除き，明示的に 学習を行った主語についても複数の目的を正しく列
 ては Appendix B に記載.表 3: T5: 集合教示割合と出力集合の正解率

挙することが難しいという結果となった. 学習率や バッチサイズ等のハイパーパラメータの探索を行っ たがいずれの場合においても同様の結果となった. T5 では基本的に明示的に集合教示を行った割合以上の正解率となっており,「記憶した要素の取り出 し」についての能力が多少汎化していると考えられ るが，本質的な能力が獲得されたとは考えにくい結果となった。

## 5 おわりに

本稿では sequence-to-sequence モデルを用いた生成 アプローチによる一対多関係知識の扱いについて，「個別の要素の記憶」と「記憶した要素の取り出し」 に切り分けて調査を行った。

前者については beam search により複数系列を生成し，その中にいくつ正しい目的語が含まれている かという観点で検証を行った. 今回の学習方法で は，個別教示を行った LM が複数の目的語全てを漏 れなく格納するのは困難である結果となった。 $\mathrm{N}$ 個 ある目的語を全て記憶できているエンティティと， 1つしか記憶できないエンティティについてどのよ うな差があるのかや，より良い学習方法の模索とい う点について今後緻密に検証する必要があると考え られる。

後者については，個別教示と同時に集合教示を施 すことで，LM に格納されている複数の目的語をま とめて出力する能力の獲得を図った. こちらについ ては同じ学習設定においてもモデルにより顕著に異 なる振る舞いが確認された. しかしながら比較的学習がうまくいったと考えられる T5においても「記憶した要素の取り出し」についての汎化能力は低い 水準で留まる結果となった. 以上より, 各モデルに 対するより適切な学習データの構築や学習方法の工夫の必要性が示唆された.

今回の実験結果を踏まえ，より正確に複数の目的語を LM に記憶させる方法と，記憶した要素の引き 出しについてどのような施策が必要になるかを引き 続き調査していく所存である.

## 謝辞

本研究は JSPS 科研費 21 K17814 および JST, CREST，JPMJCR20D2 の助成を受けたものです.

## 参考文献

[1] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick S. H. Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander $\mathrm{H}$. Miller. Language models as knowledge bases? In Kentaro Inui, Jing Jiang, Vincent $\mathrm{Ng}$, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 24632473. Association for Computational Linguistics, 2019.

[2] Chenguang Wang, Xiao Liu, and Dawn Song. Language models are open knowledge graphs. CoRR, Vol. abs/2010.11967, , 2020.

[3] Benjamin Heinzerling and Kentaro Inui. Language models as knowledge bases: On entity representations, storage capacity, and paraphrased queries. In Paola Merlo, Jörg Tiedemann, and Reut Tsarfaty, editors, Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 - 23, 2021, pp. 1772-1791. Association for Computational Linguistics, 2021.

[4] Gerhard Weikum, Xin Luna Dong, Simon Razniewski, and Fabian M. Suchanek. Machine knowledge: Creation and curation of comprehensive knowledge bases. Found. Trends Databases, Vol. 10, No. 2-4, pp. 108-490, 2021.

[5] Tara Safavi and Danai Koutra. Relational world knowledge representation in contextual language models: A review. CoRR, Vol. abs/2104.05837, , 2021.

[6] Simon Razniewski, Andrew Yates, Nora Kassner, and Gerhard Weikum. Language models as or for knowledge bases. CoRR, Vol. abs/2110.04888, , 2021.

[7] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How can we know what language models know. Trans. Assoc. Comput. Linguistics, Vol. 8, pp. 423438, 2020.

[8] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, MariaFlorina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[9] Denny Vrandečić and Markus Krötzsch. Wikidata: a free collaborative knowledgebase. Communications of the ACM, Vol. 57, No. 10, pp. 78-85, 2014.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 49, 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[11] Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabás Póczos, Ruslan Salakhutdinov, and Alexander J. Smola. Deep sets. CoRR, Vol. abs/1703.06114, , 2017.

[12] Juho Lee, Yoonho Lee, Jungtaek Kim, Adam R. Kosiorek, Seungjin Choi, and Yee Whye Teh. Set transformer: A framework for attention-based permutation-invariant neural networks. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA, Vol. 97 of Proceedings of Machine Learning Research, pp. 3744-3753. PMLR, 2019.

[13] 長澤春希, Benjamin Heinzerling, 乾健太郎. ニューラ ル言語モデルによる一対多関係知識の記憶と操作. 言語処理学会 第 28 回年次大会 発表論文集, pp. 1203-1208, 2022.

[14] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Zoubin Ghahramani, Max Welling, Corinna Cortes, Neil D. Lawrence, and Kilian Q. Weinberger, editors, Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014, December 8-13 2014, Montreal, Quebec, Canada, pp. 3104-3112, 2014.

[15] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 7871-7880. Association for Computational Linguistics, 2020.

[16] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. CoRR, Vol. abs/1910.10683, , 2019.

[17] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

## A 個別教示を実施したモデルの実際の beam search 出力例

個別教示を実施した BART，T5 の両モデルについて， beam searchを用いた実際の出力系列を以下の表に 掲載する。 BART に対する入力文は 1 対 2 関係知識に関するものであるため，正解となる目的語は 2 つ存在 する。一方で $\mathrm{T} 5$ に対する入力文は 1 対 4 関係知識となっているため，正解の目的語は 4 つ存在する.

それぞれについて，目的語数分の系列を beam searchにより生成し，正しい目的語が重複なく生成されてい るかを確認したものが実験 4.3 となっている.

表 4: 個別教示後の実際のモデル出力例 (上位 4 系列)

BART

 &  & 成否 \\

Maya Widmaier-Picasso or Paulo Picasso) & \\

## B 集合生成における recall・ precision の算出

ここでは，表 2,3 における recall・ precision の算出方法について説明する．ある主語について，正解の目的語集合を gold_entities, モデルが出力した目的語集合をpred_entities とし，num $(X)$ を集合の要素数を表す ものとする. recall・precision はそれぞれ式 (1) および式 (2) で算出した. これを全ての出力について計算し, その平均を表 2,3 に掲載している。

$
\begin{gathered}
\text { recall }=\frac{\text { num }(\text { pred_entities } \cap \text { gold_entities })}{n u m\left(g o l d \_e n t i t i e s\right)} \\
\text { presicion }=\frac{\text { num }(\text { pred_entities } \cap \text { gold_entities })}{n u m\left(p r e d \_e n t i t i e s\right)}
\end{gathered}
$


# 異なる単語分割システムによる 日本語事前学習言語モデルの性能評価

鈴木 雅弘 ${ }^{1}$ 坂地 泰紀 ${ }^{1}$ 和泉 潔 $^{1}$
1 東京大学
msuzuki@g.ecc.u-tokyo.ac.jp \{sakaji,izumi\}@sys.t.u-tokyo.ac.jp

## 概要

日本語で構築された事前学習言語モデルでは,入力文を形態素解析器などを用いて単語に分割し てからトークン分割を行うことが多い.しかし， End-to-End で学習を行う近年の事前学習言語モデル において，人為性の高い単語分割を行うことはモデ ルの効率性を下げる可能性がある. 本研究では，異 なる単語分割システムから構築した日本語の事前学習言語モデルが，下流の評価タスクの性能に及ぼす 影響について検証する. JGLUE ベンチマークによ る評価の結果, 単語分割システムを用いず構築した 言語モデルが，単語分割システムを用いて構築した 言語モデルより高い精度を示した。

## 1 はじめに

近年の自然言語処理では，Transformer [1]をべー スとした大規模事前学習言語モデルが盛んに用いら れる. BERT [2]を筆頭に，Transformerをべースとし た多くのモデルが提案されている $[3,4,5]$. これら のモデルは Wikipedia や Common Crawl など主に英語のコーパスを用いて構築される。言語タスクで高 い性能を示すこれらのモデルは，日本語でも構築・公開されるようになってきた. その一方で，英語で 提案・構築されたモデルをそのまま日本語に適用す る際には，トークン分割での処理を変更することが 多い. 例えば，BERT や ELECTRA [3] では，入力文 を半角スペースで単語に分割し，その後それぞれの 単語をトークン (サブワード) に分割する。しかし一般的な日本語の文章では半角スペースで単語が分か れていない。そのため日本語の大規模事前学習言語 モデルの構築時には，外部の形態素解析器などを用 いて単語分割を行うことが多い.

日本語の大規模事前学習言語モデルの構築例と
して，東北大学が公開している BERT モデル1)では MeCab [6] を，早稲田大学が公開している RoBERTa モデル2)では Juman++ [7,8]を，リクルートが公開し ている ELECTRA モデル3)では Sudachi [9] を用いて いる。このように，単語分割に用いられるシステム は多岐に渡っている。 また, rinna 社の RoBERTa ${ }^{4}$ で は，RoBERTa [5] で提案・公開されているモデルと 同様に，入力文に単語分割を行わずサブワード分割 を行う。日本語で構築されたこれらのモデルを比較 する際には，モデルのアーキテクチャだけでなく，用いられている単語分割の手法についても留意する 必要がある. この事象は日本語の言語モデル間の比較を困難にしている。

さらに，日本語の言語モデルで用いられている単語分割のシステムは，事前学習言語モデルにおける 単語分割が目的ではなく, 文の意味処理や情報抽出 など，それぞれ目的を異にしている。言語モデルに 対して人為性の高い分割を加えることで，モデルの 効率が落ちている可能性がある．実際にニューラル 機械翻訳では，単語分割をせずに，統計的に一貫性 のある分割手法を用いることで精度が向上すること が示されている [10]. 近年主流の事前学習言語モデ ルによる言語処理においても，目的に適したトーク ン分割手法を選ぶ必要があり，従来の単語分割手法 に依らずにトークン分割を行うことが下流タスクで の精度の向上につながる可能性がある.

本研究では, 日本語において単語分割の手法が事前学習言語モデルに与える影響について検証を行 う。具体的には，異なる単語分割の手法を用い，同 じコーパスから異なるトークナイザーを構築する。

1) https://huggingface.co/cl-tohoku/ bert-base-japanese-v2

2) https://huggingface.co/nlp-waseda/ roberta-base-japanese

3) https://huggingface.co/megagonlabs/ electra-base-japanese-discriminator

4) https://huggingface.co/rinna/japanese-roberta-base

これらのトークナイザーから構築した事前学習言語 モデルについて，下流タスクにおける性能の比較を 行う. 事前学習言語モデルにおいて, 単語分割の手法による下流タスクでの性能やサブワードを含めた トークン分割の傾向の違いが明らかになることで,日本語ドメインにおけるより活発な言語モデルの構築が期待できる.

## 2 関連研究

本研究と同様に，サブワードを含めたトークン分割システム (トークナイザー) が日本語 BERT モデル に及ぼす影響を評価する取り組みが既になされてい る [11].この論文では，IPA辞書と MeCabを用いて 学習した BERT モデルとサブワードの語彙を固定 する. サブワードの語彙の再構築や事前学習は行わ ず，単語分割の手法のみを入れ替え，下流タスクに おける性能の比較を行っている. サブワードの語彙 やモデルの重みに変化がない環境では，単語分割手法の違いによって下流タスクでの大きな性能の変化 はないことを示している.

汎用言語ドメインとは異なる専門用語が出現する 法律や医療，金融のドメインでは，各ドメインの文書を用いて事前学習を行うことでそのドメインのタ スクにおいてより高い性能を示す $[12,13,14]$. その 際，事前学習のコーパスだけでなくトークナイザー を構築するコーパスもドメイン適合を行うことで， より自然なトークン分割が可能になりモデルの性能 の向上にも寄与する [14] など，語彙のドメイン適合 も性能に影響を与える [15] ことが示されている. こ のように，モデルのアーキテクチャだけでなくトー クナイザーの構築方法も重要であることから，トー クナイザーの構成要素の 1 つである単語分割も重要 な要素と捉えることができる.

## 3 トークナイザーの構築

近年の事前学習言語モデルのトークン分割(トー クナイザーの適用) は次の手順で行う. まず単語分割を行う場合には入力文を単語に分割する。その 後，それぞれの単語をトークン (サブワード) に分割 を行う. 本節では，実験で適用するサブワード分割 と単語分割の手法についてそれぞれ述べる。

## 3.1 サブワード分割

Transformer をべースとした事前学習言語モデ ルのトークン分割の手法としては, WordPiece [16]表 1 比較を行う単語分割器. モデル名は，単語分割器ご とに構築した言語モデルの呼称に用いる. Sudachi の辞書 は Core を用いる. Unsegmented は，単語分割をせずに入力文に直接 SentencePieceを適用することを指す。

と SentencePiece [10] の 2 種類に大きく分けるこ とができる. 本研究ではサブワード分割の実装 に，実装が公開されている SentencePiece を用いる. SentencePiece ではスペースも他の文字と同様に扱 い，スペースを含めた一文に対してサブワードに分割する. WordPiece と異なり, 単語分割の前処理が 必要ないため, 日本語でも単語分割器を用いずに トークナイザーを構築できる. 本研究では，単語分割の手法の比較に加え, 単語分割をせずに入力文に 直接 SentencePiece を適用する場合についても比較 を行う。

## 3.2 単語分割

単語分割を行うために, 本研究では以下の 4 種類 の手法を用いる.

## - MeCab
- JUMAN++
- Sudachi
- UD Japanese GSD LUW ${ }^{5)}$ [17]

これらはそれぞれ本来の役割や目的が異なるも のの, 本研究では以降「単語分割器」として統一し た呼称にて扱うこととする. UD Japanese GSD LUW は，Universal Dependencies (UD) Japanese に基づいて 国語研長単位 (Long Unit Word, LUW) [18] の解析を 行うモデルである. UD Japanese GSD LUW の当該 バージョンはプレリリースであることに留意され たい.

単語分割器によっては手法や辞書ごとに異なる単語分割が行われる場合があるため，これについても 比較を行う．MeCabでは，システム辞書として IPA

表 2 構築したトークナイザーを用いたトークン分割の例. トークン分割の際，サブワード分割のために単語間に挿入さ

 &  \\

辞書と UniDic が利用可能である. また，Sudachi で は 3 つの異なる分割モード (A:UniDic 短単位相当, $\mathrm{C}$ :固有表現相当, B:A と C の中間的な単位)を利用 できる6). 本研究では辞書や分割モードが異なるこ れらの場合についても比較を行う. 本研究で構築す るトークナイザーの一覧を表 1 に示す. 上述した単語分割器のバリエーションに加え， 3.1 節で述べた,単語分割をせず入力文に SentencePieceをそのまま適用するものについても表 1 の最下部に Unsegmented として記載している.

## 3.3 トークナイザーの振る舞いの比較

構築したトークナイザーを用い，同じ文について 単語分割を行った例を表 2 に示す. この例では，単語分割を行わない Unsegmented でも他の単語分割器 と比べて大きく異なることなくトークン分割が行わ れている. 1 文から生成されたトークン数は 11 と最 も少なく，次に少なかったのは GSDLUW の 13 トー クンであった. 入力文に直接 SentencePiece を適用 することで，単語分割器を適用した場合に比べてよ り少ないトークン数で分割が行われていると考えら れる。トークン数が多かったのは MeCab-Unidic (18 トークン) と Sudachi-A (17 トークン)であった. こ れらの単語分割器による分割では, MeCab-Unidic で 15 単語, Sudachi-A で 16 単語と単語分割の時点から 語数が多い.これはどちらも短単位 [19]にもとづい ているために比較的短い語ごとに分割される事によ ると考えられる。

6) https://github.com/WorksApplications/Sudachi/blob/v0. 7.0/README.md\#分割モード

## 4 事前学習言語モデルの構築

事前学習モデルのアーキテクチャとして, 本研究 では RoBERTa [5] を用いる. 学習率は 1e-4，バッチ サイズは 4,024 ，学習ステップ数は 12,000 , Warm up ステップ数は 640 とする. 学習速度向上のため, 計算精度は bfloat16とし，実装には DeepSpeed [20]を 活用する。その他のハイパーパラメータは文献 [5] に記載されている base モデルを参考とする。

学習を行うコーパスには日本語 Wikipedia ${ }^{7)}$ の 2022 年 6 月 1 日の版から抽出した約 3,400 万文を用 いる. モデルの最長入力長は 128 とする. 文献 [5] と異なり，データセットには予めマスキングを 行う.

## 5 評価実験

前節で構築した事前学習 RoBERTa モデルに対し， ファインチューニングによる評価実験を行い性能 を評価する。本研究では，JGLUE $[21,22]$ に含まれ るJSTS，JNLI，JCommonsenseQAを用いて評価を行 う. JGLUEで公開されているデータとしては，これ らの他に MARC-ja と JSQuAD が存在するが，これ らのタスクの入力長の最大值が 128 を超えているこ とから，上記の 3 タスクに限定する。 2023 年 1 月現在，JGLUE では学習データと評価データのみが公開 されており，テストデータが公開されていない。 そ のため，JGLUE における評価データを本研究ではテ ストデータとし，JGLUEにおける学習データを本研

表 3 評価実験のハイパーパラメータ

究では学習データと評価データに分ける. 本研究で 使用する評価データのサンプル数は，テストデータ (JGLUE における評価データ) と同数 ${ }^{8)}$ とする.

評価実験で使用するハイパーパラメータを表 3 に 示す. 各エポックごとに評価を行い，最も精度が高 かったエポックを採用する。構築したそれぞれのモ デルについて，異なる 10 個のシード值を用いて実験を行い，算出された 10 個の結果について平均し たものを報告する。

## 6 結果と考察

評価実験の結果を表 4 に示す. 評価実験を行った 3つのタスクの全てで評価指標は同じではないもの の, 比較のために 3 つのタスクの結果の平均をとり,右列に記載している. 3 つのタスクの平均精度が最 も高かったのは, 入力文に直接 SentencePiece を適用 した Unsegmented のモデルとなった. Unsegmented モデルでは JSTS や JNLI は他のモデルと精度は 大きく変わらなかったものの, JCommonsenseQA (JCQA) において他のモデルより高い精度を示した. JCommonsenseQA で精度の差が見られた理由とし ては，学習データの数とタスクの難易度が考えら れる. JCommonsenseQA は JSTS と JNLI に比べ学習 データ数が少なく，また常識 (Common Sense)を問 う問題であり，学習データのファインチューニング のみによって適合することは他の 2 つのタスクに比 べ困難である. そのため, 事前学習を効率的に行う ことができたモデルがより高い精度を示した可能性 がある.

単語分割を行ったモデルでは，3つのタスクごと に性能差は存在したものの，平均して大きく性能差 が見られたモデルはなかった. 大きな性能差が見ら れなかった理由として，本研究で扱った下流タスク が分類や類似度判定タスクのみであったことが考え られる。単語の認識がより重要になると考えられる

8）各サンプル数はhttps://github.com/yahoojapan/JGLUE/ tree/v1.1.0\#tasksdatasetsを参照されたい表 4 評価実験の結果. JCQA は JCommonsenseQA を表 す. 評価指標は，JSTS では Pearson，JNLI・JCQA では Accuracy を用いる.

固有表現抽出や構文解析のタスクでは，単語分割器 によって異なる傾向が見られる可能性がある.

本研究ではサブワード分割手法として SentencePiece のみを用いたが，BERT や ELECTRA では WordPiece が用いられている．異なるサブワード分割手法を用いた際の下流タスクでの性能についての 検証は今後の課題である. また, 本研究では入力長 の制限から評価を行うタスクが 3 種類であった. よ り精緻な比較を行うためには，評価タスクの種類を 増やすことも重要であると考えられる。

## 7 おわりに

本研究では, 日本語の大規模事前学習言語モデル において様々な単語分割器が用いられていること を念頭に，単語分割器が下流タスクの性能に与え る影響の比較を行った. 単語分割器ごとに異なる トークン分割の挙動を示すトークナイザーを構築 した. これらのトークナイザーを用いて事前学習言語モデルを構築し，JGLUE ベンチマークを用いた 評価実験を行った. その結果，単語分割器を用いず SentencePiece のみでトークナイザーを構築した言語 モデルが他の単語分割器を用いた言語モデルに比べ て高い精度を示した. 単語分割器を用いた言語モデ ルの間で大きな精度の差は見られなかった。

単語分割器を用いずにトークン分割を行うこと で，人間の直感とは異なる分割が行われる可能性が ある。しかし, AlphaGo Zero [23] が人間を越え新し い定石を生み出してきたように，言語処理において も今までの単語分割を用いない分割手法が性能向上 をもたらすことが示唆された. 本研究が日本語にお ける最先端の事前学習言語モデルのさらなる活用に つながることを期待する。

## 謝辞

本研究はJSPS 科研費 JP21K12010, JST 未来社会創

造事業 JPMJMI20B1，及び JST さきがけ JPMJPR2267

の助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NeurIPS), Vol. 30, pp. 5999-6009, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[3] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators. In 8th International Conference on Learning Representations (ICLR), 2020.

[4] Radford, Alec and Narasimhan, Karthik and Salimans, Tim and Sutskever, Ilya. Improving Language Understanding by Generative Pre-Training, 2018.

[5] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov, and Paul G Allen. RoBERTa: A Robustly Optimized BERT Pretraining Approach, 2019.

[6] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP 2004), pp. 230-237, 2004.

[7] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological Analysis for Unsegmented Languages using Recurrent Neural Network Language Model. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, 2015

[8] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A Morphological Analysis Toolkit for Scriptio Continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, 2018 .

[9] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese Tokenizer for Business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[10] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[11] 築地俊平, 新納浩幸. Tokenizer の違いによる日本語 BERT モ デルの性能評価. 言語処理学会第 27 回年次大会, 2021.

[12] Keisuke Miyazaki, Hiroaki Yamada, and Takenobu Tokunaga. Cross-domain analysis on Japanese legal pretrained language models. In Findings of the Association for Computational Linguistics: AACL-IJCNLP 2022, pp. 274-281, 2022.

[13] Kexin Huang, Jaan Altosaar, and Rajesh Ranganath. Clinicalbert: Modeling clinical notes and predicting hospital readmission. In Conference on Health, Inference, and Learning (CHIL) Work- shop Track, 2020.

[14] Masahiro Suzuki, Hiroki Sakaji, Masanori Hirano, and Kiyoshi Izumi. Constructing and analyzing domain-specific language model for financial text mining. Information Processing \& Management, Vol. 60, No. 2, p. 103194, 2023.

[15] Shoetsu Sato, Jin Sakuma, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Vocabulary Adaptation for Domain Adaptation in Neural Machine Translation. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4269-4279, November 2020.

[16] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, 2016.

[17] 松田寛, 大村舞, 浅原正幸. Ud japanese に基づく国語研長単位解析系の構築. 言語処理学会第 28 回年次大会, 2022.

[18] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕.『現代日本語書き言葉均衡コーパス』形態論情報規程集 第 4 版（上）, 2011 .

[19] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕.『現代日本語書き言葉均衡コーパス』形態論情報規程集 第 4 版（下）, 2011.

[20] Jeff Rasley, Samyam Rajbhandari, Olatunji Ruwase, and Yuxiong He. DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 35053506, 2020.

[21] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, 2022.

[22] 栗原健太郎, 河原大輔, 柴田知秀. JGLUE: 日本語言語理解べ ンチマーク. 言語処理学会第 28 回年次大会, 2022.

[23] David Silver, Julian Schrittwieser, Karen Simonyan, Ioannis Antonoglou, Aja Huang, Arthur Guez, Thomas Hubert, Lucas Baker, Matthew Lai, Adrian Bolton, et al. Mastering the game of Go without human knowledge. Nature, Vol. 550, No. 7676, pp. 354-359, 2017.


# Decoding single-trial EEGs during silent Japanese words by the Transformer-like model

山﨑敏正 ${ }^{1}$ 赤迫健太 ${ }^{2}$ 森田寛伸 ${ }^{2}$ 德永由布子 ${ }^{2}$
上村旺生 ${ }^{2}$ 柳橋圭 $^{2}$ 柏田倫孝 ${ }^{2}$
${ }^{1}$ 九州工業大学大学院情報工学研究院生命化学情報工学研究系 ${ }^{2}$ 九州工業大学情報工学部生命化学情報工学
科
tymzk@bio. kyutech. ac.jp
}

\{akasako. kenta289, morita. hironobu375, yuko. tokunaga124, uemura. ousei722, yanagibashi. kei127, kashiw ada. mititaka602\}@mai1.kyutech.jp
## 概要

Silent speech interface 研究において、日本語単語を silent speech した時に頭皮上で記録される single-trial EEGs を解読して日本語で表現する方法を提案する。この方法は、日本語単語がすべて拍 で表現可能である事、加算平均の考え方を参考に single-trial EEGから average ERPs を推定する方法を応用した事、Transformer の Attention 機能を 活用した事、から構成される. その結果、5 個の相異なる拍の加算平均後の脳波を使って、サイレント 「いえ (家)」と「いいえ」の single-trial EEG 解読の可能性を示せた.

## 1 はじめに

Silent speech interface（SSIs）とは、音声生成やそ うしようとした時に生成される非音響的な生体信号 からその音声を解読することにより、口頭会話を復元するための補助的手段である[1,2]. 音声に関連し た生体信号の様々なセンシングモダリティーの中 で、音声生成に関連する脳領域における神経活動を 直接的におよび間接的に捉えられるのが脳波であ る.

脳波を利用した silent-speech-to-text アプローチ は、初めて Suppes, Lu \& Hau[3]により 7 つのサイレ ント英単語で調べられ、後に音素[4,5]、音節[6]進んでいった。近年ではサイレント日本語 2-mora 単語をサイレントスピーチ（silent speech、SS）し た時の頭皮脳波の解読[7]、2-mora 以上の単語を SS した時の脳波 (加算平均後) の解読[8]が試みられ ている.より最近では、ヒアリングや発話時に記録
された electrocorticography（ECoG）の解読が行わ れている[ $9,10,11]$.

本研究では、[8]の発展として、日本語単語をSS した時の脳波（single-trial EEGs）の解読を試みる.本手法の neural network 構造は近年自然言語処理分野で多用されている Transformer [12]に類似してい る.

## 2 材料と方法

## 2.1 実験方法

被験者は 21 歳右利き男性学生ボランティア 3 名 （被験者 A、B、C）である．尚、実験手順は「九州工業大学大学院情報工学研究院等における人を対象とする研究審査委員会」で承認されている.

図1 本実験方法の全体像

最初に、被験者から $77 \mathrm{~cm}$ 前方に位置するディスプ レイ上に注視点”+"が $2 \mathrm{~s}$ 間提示される. 次に、SS すべき日本語単語がひらがなで $2 \mathrm{~s}$ 間提示される.単語が提示されたら、被験者は出来る限り早くSS する.この計 4 秒間を 1 trial とする（図 1）。日本語は拍（mora）で数える言語であり[13]、mora は 日本語単語生成の音韻的な単位である[14]. 即ち、
日本語単語はすべてこの拍で表現することが出来 る. 図 2 は日本語拍すべてを示している[15]. 同図 の第 1 列目が日本語母音を示しており、最後の列 “ん”、“っ”、“一”は、それぞれ、撥音、促音、長音と呼ばれ、最後の 2 拍は単独では発音が出来ない.

図2 日本語の拍.（）内の拍は外国語と感嘆詞。*はが列の鼻音

1つのアクティブ電極 (AP-C151-015, ミユキ技研,日本)が国際 10-20 システムに従い F7 に設置され た. 2 つの耳架電極の平均を参照とした。これらの 電極で記録された脳波はワイヤレス生体信号アンプ (Polymate Mini AP108, ミユキ技研，日本) へ送ら れ、 $60 \mathrm{~Hz} の$ notch filter をかけ 10,000 倍に増幅され た. サンプリング周波数は $500 \mathrm{~Hz}$ とした. エポッ ク区間は単語提示の前後 $2 \mathrm{~s}$ とした. オンラインで $\mathrm{A} / \mathrm{D}$ 変換された脳波データは Bluetooth を介してす ぐにパソコンに転送され、パソコン内のハードディ スクに格納された (図1を見よ).

## 2.2 脳波データ解析方法

本研究の脳波解析モデルは以下のように encoderdecoder 型に類似している. 加算平均の原理は single-trial EEG=信号十ノイズ（平均 0 ）を前提と する.このノイズ下で記憶すべきパターンを復元で きる RNN（recurrent neural network）が知られてい る[16]（詳しくは付録参照）。上記信号および記憶 すべきパターンを、各拍をSS した時の加算平均後 の ERPs (event-related potentials) として RNNに入力すると、RNN の出力はノイズ下で各サイレント 拍脳波の復元となる（拍が 106 個であれば 106 個の 波形が得られる）.これが encoder の出力となる.

Decoder は single-trial EEG を入力として attention 機能が作用する. Scoring は encoder で得られた各 サイレント拍脳波と single-trial EEG の内積として 求まる. 正規化された内積値から成る、拍数次元べ クトル $\boldsymbol{a}$ が得られる（各サイレント拍脳波がどの 程度復元されるかを定量化する）。更に、decoder への入力である single-trial EEG を 時間的に重なり合うブロックに分割し、各ブロック に上記の処理を施せば、ブロック数分のベクトル $\boldsymbol{a}$ が得られる. 尚、隣り合うブロック間の違いは 2 $\mathrm{ms}$ であり、ブロック数（N）は 50 とした。また、教師信号を取り込むために、Attention 層から context vector $\boldsymbol{c}$ 算出し、"Affine"と"Softmax with Loss"層を加えて backpropagation で学習させた.こ こまでの本モデルの構造とデータ解析の流れを図 3 にまとめた.

図3 本研究のneural network構造とデータ解析の流れ

## 3 結果

サイレント「いえ (家)」と「いいえ」の singletrial EEGsに本手法を適用した。結果をそれぞれ図 4 と図 5 に示した.

图4 Single-trial 「いえ(家)」譄波を入カとした結果。横軸はプロック数、絶軸は正規化された内積値

図 4 では、35 番目のブロック辺りで「い」の内積
値が最大となり、120 番目のブロック辺りで「え」 の内積值が最大となった. 図 5 では、90 番目のブ ロック辺りで「い」が最大となり、140 番目のブロ ック辺りで「え」の内積値が最大となった. ブロ ック数の違いに注目すれば、「いえ」と「いいえ」 を検出して識別できると推察される。

## 4 おわりに

本研究の日本語単語をSS した時の single-trial EEG を解読する方法の特徴は、日本語単語がすべて 拍で表現可能である事、加算平均の考え方を参考に single-trial EEG から average ERPs を推定する方法を適用した事、Transformer の Attention 機能を 活用した事、である. 今回例示した日本語単語が 2 つのみ、加算平均後の拍脑波が 5 つのみだったの で、今後より多くの拍脳波を使って大多数の日本語単語で調べなければならない. また、解読のために vector $a$ やcontext vector $c$ をどう利用するか、本モデルの学習機能 (図 3 の「Affine」と「Softmax with Loss」）の利用も今後の検討課題である.

## 参考文献

1. B. Denby, T. Schultz, K. Honda, T. Hueber, J. M. Gilbert, and J. S. Brumberg, Silent speech interfaces, Speech Commun., vol.52, no.4, pp.270-287, April 2010.

2. J. A. Gonzalez-Lopez, A. Gomez-Alanis, J. M. Martín Doñas, J. L. Pérez-Córdoba, and A. M. Gomez, Silent speech interfaces for speech restoration: A review, IEEE Access, vol.8, pp.177995-178021, 2020.

3. P. Suppes, Z.-L. Lu, and B. Han, Brain wave recognition of words, Proc. Natl. Acad. Sci., vol.94, pp.14965-14969, $1997 .$.

4. C. S. DaSalla, H. Kambara, M. Sato, and Y. Koike, Singletrial classification of vowel speech imagery using common spatial patterns, Neural Networks, vol.22, pp.1334-1339, 2009.

5. M. Matsumoto, and J. Hori, Classification of silent speech using support vector machine and relevance vector machine, Applied Soft Computing, vol.20, pp.95-102, 2014.

6. M. D'Zmura, S. Deng, T. Lappas, S. Thorpe, and S. Srinivasan, Toward EEG sensing of imagined speech, in Human-Computer Interaction, Part I, HCII 2009, LNCS 5610, ed. J. A. Jacko, pp.40-48, Springer-Verlag Berlin Heidelberg.

7. H. Yamaguchi, T. Yamazaki, K. Yamamoto, S. Ueno, A. Yamaguchi, T. Ito, S. Hirose, K. Kamijo, H. Takayanagi, T. Yamanoi, and S.Fukuzumi, Decoding silent speech in Japanese from single trial EEGs: Preliminary results, Journal of Computer Science Systems Biology, vol.8, no.5, pp.285-292, 2015.

8. 山﨑敏正、德永由布子、伊藤智恵子、Attention-based
RNN with encoder-decoder によるサイレント日本語単語脳波の解読、電子情報通信学会 HCS 研究会、2023 年 1 月 22 日（発表予定）。

9. C. Herff, D. Heger, A. de Pesters, D. Telaar, P. Brunner, G. Schalk, and T. Schultz, Brain-to-text: decoding spoken phrases from phone representation in the brain, Frontier in Neuroscience, vol.9, pp.217-, 2015.

10. D. A. Moses, M. K. Leonard, J. G. Makin, E. F. Chang, Real-time decoding of question-and-answer speech dialogue using human cortical activity, Nature Communication, vol.10, pp.3096-, 2019.

11. J. G. Makin, D. A. Moses, and E. F. Chang, Machine translation of cortical activity to text with an encoderdecoder framework, Nature Neuroscience, vol.23, pp.575$582,2020$.

12. A. Vaswani, N. Shazeer, N. Parmer, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, and I. Polosukhin, Attetion is all you need, arXiv preprint arXiv: $1706.03762 \mathrm{v5}, 6$ Dec 2017.

13. N. S. Trubetzkoy, Grundzüge der Phonologie (Principles of Phonology), Los Angeles: University of California Press, 1958/69.

14. B. G. Verdonschot, S. Tokimoto, and Y. Miyaoka, The fundamental phonological unit Japanese word production: An EEG study using the picture-word interference paradigm, Journal of Neurolinguistics, vol.51, pp.184-193, 2019.

15. 金田一春彦、日本語 新版(上)、岩波書店、第 53 刷、 2017.

16. R. Laje, and D. V. Buonomano, Robust timing and motor patterns by taming chaos in recurrent networks, Nat. Neurosci., vol.16, no.7, pp.925-933, 2013

17. H. Lee, and S. Choi, PCA+HMM+SVM for EEG pattern classification. Proceedings of Seventh International Symposium on Signal Processing and Its Applications, 2003.

18. B. Khalighinejad, G. C. da Silva, and N. Mesgarani, Dynamic encoding of acoustic features in neural responses to continuous speech, Journal of Neuroscience, vol.37, no.8, pp.2176-2185, 2017.

19. R. C. Pratap, The speech evoked potential in normal subjects and patients with cerebral hemispheric lesions, Clinical Neurology and Neurosurgery, vol.89, no.9, pp.237-242, 1987.

20. S. Tsukiyama, and T. Yamazaki, Discriminability among Japanese vowels using early components in silent-speechrelated potentials, IEICE Technical Report, SP2019-31, WIT2019-30 (2019-10), pp.81-86, 2019.

21. M.-T. Luong, H. Pham, and C. D. Manning, Effective approaches to attention-based neural machine translation, ArXiv preprint arXiv: 1508.04025, 2015.

22. K. Cho, B. van Merriënboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, and Y. Bengio, Learning phrase representations using RNN encoder-decoder for statistical machine translation, arXiv preprint arXiv: 1406.1078, 2014.

23. I. Sutskever, O. Vinyals, and Q. V. V. Le, "Sequence to sequence learning with neural networks," Advances in Neural information Processing Systems, vol.27, pp.31043112, 2014.

24. G. K. Anumanchipalli, J. Chartier, and E. F. Chang, Speech synthesis from neural decoding of spoken sentences,

Nature, vol.568, pp.493-498, 2019.

25. L. Pratt, J. Mostow, and C. Kamm, "Direct transfer of learned information among neural networks," Proc. the Ninth National Conference on Artificial Intelligence, vol.2, pp.584-589, AAAI Press, 1991.

## 付録

本研究で利用した RNN[16]の詳細は下図の通りである.

$
\begin{aligned}
& \tau \frac{d x_{i}}{d t}=-x_{i}+\sum_{j=1}^{N} W_{i j}^{R e c} r_{j}+\sum_{j=1}^{2} W_{i j}^{I n} y_{j}+I_{i}^{\text {noise }} \text { (1) } r_{i}=\tanh \left(x_{i}\right), y_{j}(j=1,2): \text { イカユニット } \\
& \mathrm{z}=\sum_{j=1}^{N} w_{j}^{\text {out }} r_{j} \\
& W_{i j}^{R e c}(t)=W_{i j}^{R e c}(t-\Delta t)-e_{i}(t) \sum_{k \in B(i)} P_{j k}^{i}(t) r_{k}(t) \\
& e_{i}(t)=r_{i}(t)-R_{i}(t) \quad R_{i}: \text { innate pattern } \\
& P_{j k}^{i}(t)=P_{j k}^{i}(\mathrm{t}-\Delta \mathrm{t})-\frac{\sum_{m \in B(i)} \sum_{n \in B(i)} P_{j m}^{i}(t-\Delta t) r_{m}(t) r_{n}(t) P_{n k}^{i}(t-\Delta t)}{1+\sum_{m \in B(i)} \sum_{n \in B(i)} r_{m}(t) P_{m n}^{i}(t-\Delta t) r_{n}(t)} .
\end{aligned}
$

図 ノイズ下で記憶すべきパターン (innate pattern)を復元できるRNN[16]


# 主題化における人間と言語モデルの対照

藤原吏生 ${ }^{1}$ 栗林樹生 ${ }^{1,2}$ 徳久良子 1 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
riki.fujihara.s4@dc. tohoku.ac.jp
\{kuribayashi, tokuhisa, kentaro.inui\}@tohoku.ac.jp

## 概要

人間は文脈から自明な内容を省略したり，先行 する文脈に関連する情報を文頭に配置したりする ことで，文章を滑らかに繋ぐ，本研究では，このよ うな文章生成における談話レベルの選好について， ニューラル言語モデルが人間らしい振る舞いをして いるかを調査する. 特に日本語における項の主題化 の選好に焦点を当て，クラウドソーシングを用いて 大規模に人間の選好データを収集し，人間と言語モ デルの選好を対照する. 本実験の範囲では，主題化 について言語モデルが人間とは異なる選好を示し，談話レベルの現象について言語モデルが人間と異な る汎化を行なっている可能性が示された。

## 1 はじめに

ニューラルモデルはデータのみから人間らしい言語の汎化を達成するのかという認知科学的な関心の もと, 近年進展を遂げたニューラル言語モデルの有 する言語知識が分析されてきた $[1,2,3,4,5,6]$. 文章の産出といった言語活動において文を超えた談話的な側面は無視できない一方, 言語モデルの分析で は統語的知識などが関心の的となり $[7,8]$, 談話的知識については文の並び替え能力など粗いレベルで の分析にとどまることが多い.

本研究では談話の一側面である主題構造 [9] に焦点を当て，言語モデルが有する談話レベルの選好に ついて，人間と対照しながら統制的に調査する. 主題は，「心理的主語：話者が伝えたいことの算出に とりかかる時にまず心の中にもつもの」と定義さ れ [10], ある要素を主題にするか（主題化するか） という判断は，センタリング理論 [11,12] や情報の 新旧 [13] などと関わりがあり, 文脈を考慮する必要 があることが知られている。

例えば以下の 2 文は「花瓶」が主題化されている かという観点で異なり，「花瓶を昨日割った。」とい

図 1 主題化判断における人間と言語モデルの比較. 特定 の文脈において，ある項が主題化された文 $s^{\text {TOP }}$ と，主題化されていない文 $s^{\text {NOT }}$ のどちらが続くのが自然かを判断 させる

う文の続きとしては，文 (1a)よりも文 (1b)を用いる ことが考えられる.

(1) a.花瓶が部屋にあった。 There was a vase in the room.

b.花瓶は部屋にあった。

The vase was in the room.

このような文脈依存な判断について，言語モデルの 選好を分析する。また，主題化の選択は日本語学習者にとって容易でなく [14], 主題化のモデリングは 日本語の主題選択に関する自動判定や, 文章執筆支援といった応用的出口にも繋がる.

具体的には，文の主題がとりたて助詞で明示され る日本語を用い，統制的に文ぺアを作成することで 主題構造の観点を切り分けてモデルを分析する．人間の文脈依存な選好に関してクラウドソーシングを 用いて大規模にデータを収集した後，主題化に関す る選好を言語モデルと人間とで比較した（図 1).人間の判断が文脈依存で変化する事例において，言語 モデルは文脈非依存な振る舞いを示し，日本語の主
題化について人間とは異なる汎化をしていることが 示唆された. 本研究で作成したデータセットは公開 する1).

## 2 データセット作成

本研究では, 述語の項のうち, 特に主格, 与格,対格の主題化を対象とする. 以下に，ある項が主題化された文とされていない文のぺアを例示する.

## 主格の主題化の例

(2) a.花瓶が部屋にあった。 b.花瓶は部屋にあった。

## 与格の主題化の例

(3) a.飛行機で沖縄に向かった。 b.沖縄には飛行機で向かった。

## 対格の主題化の例

(4) a.沖縄で会議を開催した。

b.会議は沖縄で開催した。

実験では，特定の文脈のもと，続く文として項を 主題化した儿ない文のどちらが自然かを人間と言語モデルに問い，選好を比較する。

## 2.1 データ収集

NAIST Text Corpus（NTC）[15] に主題化に関する 判断のアノテーションを行う. 述語項構造アノテー ションを利用し，以下の条件を全て満たす項（主格・与格・対格）を対象とした.2)
- 文内で最も後方に出現する能動態の動詞の項で ある

・項がとりたて助詞「は」を伴うか，各格に対応 する格助詞（が・に・を）を伴って表出している

-与格対格を対象とする場合は, 対応する述語が 対格/与格の項を持たない
- 文中で対象の項以外が主題化されていない
- 項が各文章の先頭から 2 文目以降に出現する

上の条件を満たしたある項 $a_{i}$ を含む文 $s_{i}$ につい て，2 節で示したような主題構造の観点でのみ異な る文ペアを作成した. 文 $s_{i}$ で対象とする項 $a_{i}$ が主題化されていた場合（とりたて助詞「は」を伴う場合）は，とりたて助詞を格助詞に変え，項を基本語

順位置 ${ }^{3}$ に移動させることで，主題化が生じていな い無標の文を作成した. 逆に, 項が主題化されてい なかった場合は，とりたて助詞「は」を付与して文頭に移動することで，主題化が生じている有標の文 を作成した. 結果としてある項 $a_{i}$ について，(文脈 $c_{i}$, 項が主題化された文 $s_{i}^{\mathrm{TOP}}$, 項が主題化されてい ない文 $s_{i}^{\text {NOT }}$ )の 3 つ組が収集された. データの例を 表 1 に示す.

## 2.2 クラウドソーシング

各項 $a_{i}$ が主題化される尤もらしさを定量化し, さ らに主題化の判断における文脈 $c_{i}$ の影響を測るた めに，(i) 文脈 $c_{i}$ を見せない場合4) と (ii) 文脈 $c_{i}$ を見 せる場合5) の 2 つの設定で，文 $s_{i}^{\text {TOP }}$ と文 $s_{i}^{\text {NOT }}$ のどち らが自然かを判断させた.「どちらでも良い」とい う選択肢も提示し，どうしても判断がつかない場合 のみ選択するよう指示した. また両設定では異なる 作業者がアノテーションを行った. また 2.1 節で施 した機械的な文ペアの生成により，非文が生成され る可能性があるため, どちらの文も日本語の文とし て明らかな違和感がないことも作業者に確認し, 非文だと判断された文が含まれる事例はデータから除外した。

$
\text { アノテーションには Yahoo!クラウドソーシング6) }
$
を用いた. 事前に同様のタスクをトライアルとし て複数回実施して優秀な作業者を選別し, さらに チェック設問を用いて不適切なラベルを付与する作業者を適宜除外した．この時点で，各格 $\times$ 各設定 （文脈を見せる場合と見せない場合）に対して 8 人 ずつのラベルを収集した. その後，MACE [16]を用 いて各作業者の信頼度を計算し, 信頼度下位 $30 \%$ の 作業者を除外したのち, 3 人以下のラベルしか付与 されていないデータポイントも除外した. 最終的に 得られたデータセットの統計量を表 2 に示す. 最終的に，主格のアノテーションでは 164 名の，与格・対格のアノテーションでは 247 名の作業者の作業結果を採用した ${ }^{7)}$ 。なお，主格のデータ収集について の詳細は，Fujihara ら [17]を参考にされたい.

3）脱主題化時に，主格の場合は位置は変えず，与格・対格に ついては述語の直前に移動した. なお，与格と対格が同時に 出現する文は省いているため，基本語順において与格と対格 のどちらが先かという議論は生じない.

4）特定の文脈を想定しないよう作業者に指示した.

5）作業者の負担を軽減するために, 文脈 $c$ が 4 文以上からな る場合は，後ろから 3 文目までを見せた

6) https://crowdsourcing.yahoo.co.jp/

7）トライアルも含め，チェック設問に正解した作業者に対し て1 タスク (約 10 分) あたり 160 円を報酬として支払った
表 1 データセットの例（機械的に作成した文の文頭には*を付与した）

 &  &  \\

表 2 データセットの統計量

## 2.3 文脈依存セットの作成

2.2 節で収集したデータの中には，文脈の影響が 見られない，すなわち文脈を見せた場合と見せない 場合とで作業者の選好がほとんど変化しないインス タンスが確認された.また，「は」と「が」の使い分 けは，談話レべルの主題構造以外の観点の作用が無視できないという調査もある $[18,19]$. そこで，言語モデルの文脈（非）依存な振る舞いを精緻に分析 するために，以下の条件のいずれかを満たすインス タンスを文脈依存セットとして抽出した.

・NTC 上と文脈を見せた場合のアノテーション で主題化された文が選ばれた，かつ文脈の有無 による選好の変化の大きさが上位 $25 \%$ に属する （文脈を見ることで主題化された文への選好が 強まった)

・NTC 上と文脈を見せた場合のアノテーション で主題化されていない文が選ばれた，かつ文脈 の有無による選好の変化の大きさが下位 $25 \%$ に 属する（文脈を見ることで主題化されていない 文への選好が強まった)実験では，文脈依存セットを用いる。

## 3 実験設定

3 種類の単方向言語モデルを用いて, 人間と言語 モデルの主題化に関する選好を比較する。

## 3.1 言語モデル

2 つの Transformer 言語モデル TRANS-L (400M パラ メータ), Trans-s (55M パラメータ) と, LSTM 言語 モデル（55M パラメータ）を実験に用いた $[20,21]$.言語モデルは新聞記事と Wikipedia からなる 300 万文章で学習した ${ }^{8)}$. 言語モデルへの入力は, JUMAN [22] で形態素に分割したのち，Unigram モデ ル [23] でサブワードに分割した"9.

## 3.2 評価指標

2 節で作成した各インスタンス $\left(c_{i}, s_{i}^{\text {TOP }}, s_{i}^{\text {NOT }}\right)$ につ いて，人間と言語モデルの主題化率 $r_{i}$ を以下のよう に計算する。

$
r_{i}=\frac{n\left(s_{i}^{\mathrm{TOP}}\right)}{n\left(s_{i}^{\mathrm{TOP}}\right)+n\left(s_{i}^{\mathrm{NOT}}\right)} .
$

人間の選好については, $n(\cdot)$ としてクラウドソーシ ングで得られたどちらの文が自然かに関する票数を

8） データサイズはトークナイズ前で $3.4 \mathrm{~GB}$ である. また学習データは，2 節で作成したデータと重複しない

9） sentencepiece [24] を用いた（character coverage $=0.9995$, vocab size $=100000$ )
表 3 文脈依存セットでの人間と言語モデルの選択の傾向

用いる ${ }^{10)}$. 言語モデルの場合は，各文に対するパー プレキシティを $n(\cdot)$ として用いる. $r_{i}$ が大きいほど 主題化された文が強く選好されることを意味する。文脈を提示した下で，人間と言語モデルの主題化率 $r_{i}$ の相関 $\rho_{r}$ を求め, 人間が強く主題化を選好する 事例において言語モデルも強く主題化を選好するか 調査する。なお，言語的な規則・制約において判断 が完全に定まる問題ではないため，2 值には要約せ ず，主題化率という連続値のまま扱う。

また, 文脈 $c_{i}$ のもとで得られた主題化率を $r_{i}^{\mathrm{C}}$, 文脈を考慮せずに得られた主題化率を $r_{i}$ と区別し，各事例において，文脈が主題化の選択をどれほど促す か $\Delta=r_{i}^{\mathrm{C}}-r_{i}$ を計算した. $\Delta$ が大きいほど，文脈 $c$ が，項の主題化を強く促したことを意味する. ${ }^{11}$ 主題化の選択における先行文脈の影響の度合いが人間 と言語モデルで近いかを調べるために，人間と言語 モデルから求まる文脈の影響度 $\Delta$ の順位相関係数 $\rho_{\Delta}$ も報告する. また参考として， NTC 上での主題化の選択を正解と見做し, 主題化する儿ないの 2 值分類として扱った際の F1 値も報告する ${ }^{12)}$.

## 4 文脈依存セットでの結果

2.3 節で作成した文脈依存セットにおける，人間と言語モデルの選択の傾向を表 3 に示す. 文脈 ありの設定では，人間と言語モデルの判断につい て，主格，与格，対格とも正の相関が観察された

10）「どちらでも良い」という票については， $s^{\text {TOP }}, s^{\text {NOT }} 0.5$票ずつ分配した.

11）なお一連の計算において確率の足し算・引き算が発生し ており，確率的な意味づけは困難になるが，比率などを用い た場合には今回の目的と反する性質を持つ値となり（例えば $\Delta=r_{i}^{\mathrm{C}} / r_{i}$ とした場合, 1 票から 2 票への変化が 2 となり, 7 票から 8 票の変化が 1.1 程度となるのは今回の文脈では不自然), この定式化に至っている.

12）人間・言語モデル共に，主題化率 $r_{i}$ が 0.5 を上回る場合 には $s^{\text {TOP }}$ を選択したとみなし，そうでない場合は $s^{\text {NOT を選 }}$択したとみなした。 $\left(\rho_{r} \geq 0.48\right)$. 一方，文脈の影響度の相関 $\rho_{\Delta}$ は，主格，与格，対格のいずれにおいても非常に弱く，主題化に対する文脈の影響について，人間と言語モデ ルで乘離があることが示唆された。

また，人間の $\mathrm{F} 1$ 值は文脈の有無によって大きく 変化しているのに対し，言語モデルの F1 值はほと んど変わらず，言語モデルが不当に文脈非依存な選択を行っていることが示唆された. 特に与格や対格 などコーパスと比較して人間の選択が著しく変わる 設定において，なぜ言語モデルが文脈なしにコーパ スと一貫した選択が行えているのかは興味深い。な お，文脈依存セットの作成では，人間とコーパスの 判断が一致することを条件に課したため，文脈あり の設定で人間の $\mathrm{F} 1$ 値は 100 となる. また文脈の有無で主題化における選好が大きく変わるデータを収集したため，文脈がないときに人間は積極的にコー パスと逆の選択をとる可能性があり，F1 值がチャ ンスレートを下回ることは不自然でない，なおデー タセット全体で評価した場合でも，文脈の影響度の 相関 $\rho_{\Delta}$ は依然として非常に弱く，一貫して言語モ デルの人間と乘離した振る舞いが確認された（付録 A；表 4).

## 5 おわりに

本研究では, 談話の一側面である主題構造に焦点 を当て，主題化の判断における人間と言語モデルの 選好の比較を行った. 実験では，人間が文脈に依存 して判断を行う事例に対しても言語モデルは文脈非依存な判断を行うこと，主題化に対する文脈の影響 について人間と言語モデルで乘離があることを示し た.この結果は，人間と同様の談話レベルの言語的知識を言語モデルに獲得させるためには，モデルの アーキテクチャや学習において更なる帰納バイアス が必要であることを示唆している.

## 謝辞

本研究は JST CREST JPMJCR20D2 の助成を受け

たものです. また，データセットの作成にあたり毎日新聞記事データ集 1995 年版のクラウドソーシン グでの使用を許可してくださった毎日新聞社に感謝致します。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of 1stms to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[2] Jey Han Lau, Alexander Clark, and Shalom Lappin. Grammaticality, acceptability, and probability: A probabilistic view of linguistic knowledge. Cognitive Science, Vol. 41, No. 5, pp. 1202-1241, 2017.

[3] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of EMNLP, pp. 1192-1202, 2018.

[4] Yoav Goldberg. Assessing bert's syntactic abilities. arXiv preprint arXiv:1901.05287, 2019.

[5] Alex Warstadt, Amanpreet Singh, and Samuel R. Bowman. Neural network acceptability judgments. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 625-641, 2019.

[6] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. Blimp: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, 2020.

[7] Jiwei Li and Dan Jurafsky. Neural net models of opendomain discourse coherence. In Proceedings of EMNLP, pp. 198-209, September 2017.

[8] Abigail See, Aneesh Pappu, Rohun Saxena, Akhila Yerukola, and Christopher D Manning. Do massively pretrained language models make better storytellers? In Proceedings of CoNLL, pp. 843-861, 2019.

[9] Michael Alexander Kirkwood Halliday and Ruqaiya Hasan. Cohesion in english. Longman, 1976.

[10] Michael Halliday, Christian MIM Matthiessen, and Christian Matthiessen. An Introduction to Functional Grammar. Routledge, 2014.

[11] Barbara J Grosz, Aravind K Joshi, and Scott Weinstein. Centering: A framework for modelling the local coherence of discourse. Computational Linguistics, Vol. 21, No. 2 , pp. 203-225, 1995.

[12] Marilyn Walker, Masayo Iida, and Sharon Cote. Japanese discourse and the process of centering. Computational Linguistics, Vol. 20, No. 2, pp. 193-231, 1994.

[13] 松下大三郎. 標準日本口語法. 中文館書店, 1930.

[14] 孟玲秀. 『日本語教育における「は」と「が」の教授法』一一中国人学習者に対する日本語教育の場合一一. 2004.

[15] Ryu Iida, Mamoru Komachi, Kentaro Inui, and Yuji Matsumoto. Annotating a japanese text corpus with predicate- argument and coreference relations. In Proceedings of the linguistic annotation workshop, pp. 132-139, 2007.

[16] Dirk Hovy, Taylor Berg-Kirkpatrick, Ashish Vaswani, and Eduard Hovy. Learning whom to trust with mace. In Proceedings of NAACL-HLT, pp. 1120-1130, 2013.

[17] Riki Fujihara, Tatsuki Kuribayashi, Kaori Abe, Ryoko Tokuhisa, and Kentaro Inui. Topicalization in language models: A case study on Japanese. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 851-862, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[18]野田尚史.「は」と「が」.くろしお出版, 1996.

[19] 日本語記述文法研究会. 現代日本語文法 5 とりた て・主題. くろしお出版, 2009.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of NeurIPS, pp. 5998-6008, 2017.

[21] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[22] Daisuke Kawahara and Sadao Kurohashi. Case frame compilation from the web using high-performance computing. In Proceedings of LREC, pp. 1344-1347, 2006.

[23] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of ACL, pp. 66-75, 2018.

[24] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of EMNLP, pp. 66-71, 2018.
表 4 データセット全体での人間と言語モデルの選択の傾向

## A データセット全体での結果

表 4 に 2 節で作成したデータセット全体での人間と言語モデルの選択の傾向を示す. データセット全体に おいても主格，与格，対格いずれの文脈の影響度合いの相関 $\rho_{\Delta}$ はほとんどなく， 4 節の結果と一貫して，人間と言語モデルの文脈の考慮の仕方には乘離があることが確認された。

F1 值については，主格における主題化の判断では，人間も言語モデルも 90 ポイント前後と高い值を示し た.また，データセット全体では人間も言語モデルも文脈の有無による $\mathrm{F} 1$ 值の変化が小さく，主格における 主題化の判断，すなわち「は」と「が」の選択は文内の情報のみで十分可能であることが示唆された。一方 で，与格と対格における主題化の判断では，言語モデルは 80 から 90 ポイント前後の値となっているのに対 し，人間は 50 から 60 ポイント前後の值となっていた. この值は 2 值分類のチャンスレートに近いことから，人間にとって与格と対格における主題化判断は一方に選好が偏るものではないことが考えられる. しかしな がら，文脈を見ることでコーパスと一貫した判断がわずかではあるができるようになるという点で，人間は 与格や対格における主題化の判断を文脈に依存して行っていることが改めて確認された. 人間と比べて言語 モデルは F1 值で高いスコアとなっているが，依然として文脈に依存した判断を行っていないことから，過剩 にコーパスにフィットしていたり，N-gram レベルの情報で判断していたりする可能性が考えられる。人間 にとっては困難な判断を言語モデルがどんな情報を頼りに行っているのかということについては今後さらに 調査したい.


# 人間の脳と人工知能における短歌の鑑賞に関する神経活動の比較

船井 正太郎 ${ }^{1}$ 近添 淳一 $^{1}$ 持橋 大地 ${ }^{2}$ 浅原 正幸 ${ }^{3}$
松井 鉄平 $^{4}$ 鹿野 豊 $^{5}$ 川島 寛乃 ${ }^{6}$ 磯 暁 ${ }^{7}$
${ }^{1}$ 株式会社アラヤ ${ }^{2}$ 統計数理研究所 ${ }^{3}$ 国立国語研究所
${ }^{4}$ 岡山大学 ${ }^{5}$ 群馬大学 ${ }^{6}$ 慶應義塾大学 ${ }^{7}$ 高エネルギー加速器研究機構
\{funai_shotaro, chikazoe_junichi\}@araya.org, daichi@ism.ac.jp, masayu-a@ninjal.ac.jp,
tematsui@kayama-u. ac.jp, yshikano@gunma-u. ac.jp, hirono@ht.sfc.keio.ac. jp, iso@post.kek. jp

## 概要

短歌を自然言語処理の人工知能（機械学習）に入力したときの振る舞いについて、短歌を読むときの 人間の脳神経活動と比較することにより、解析を行 った。具体的には、機械学習のモデルとして BERT,脳神経活動の測定手法として fMRI（機能的 MRI） を用いて、BERT の各層が出力する分散表現と脳の 各 voxel における fMRI データとの対応を議論した。 その結果、BERT の深い層の振る舞いは、文が詩的 であるかを判定する脳部位や、抽象的な情報の認知 を行う脳部位と対応していることが示せた。

## 1 はじめに

近年、人工知能（機械学習）を用いた自然言語処理は急速に発展してきており、文章の生成や要約、多言語間の翻訳など、幅広いタスクをこなせるよう になってきた。これは機械学習が言語をより深く理解できるようになってきたことを意味しており、 BERT [1]や GPT [2]などの機械学習モデルを中心に、数多くの研究開発がなされている。

そうした研究の多くは Wikipedia などの日常的な 文を扱うものである。そこで本研究では、詩的な文 を扱い、機械学習の振る舞いを解析する。詩的な文 は一般的に、文字通りの意味を超えた内容を持ち、人間を感情的にさせることができる。そうした文に 対して、機械学習がどのように言語処理を行うかを 議論するのである。

詩的な文として、本研究では短歌を扱う。散文詩 のように長い詩だと、様々な形式があって比較が難 しい。逆に、俳句のように短い詩だと、読み解くの に前提となる知識が必要とされることが多く、いず れも機械学習には向かないと判断したからである。 また、短歌との比較対象として、一般的な文（本研究では平文と呼ぶ）も扱う。文の長さは短歌と同 じく 31 音程度のものに限る。これらの短歌や平文を 入力したときの機械学習モデルの振る舞いを調べ、 さらに短歌・平文を読むときの人間の脳神経活動と どのくらい共通しているのか解析を行う。

機械学習モデルとしては BERT (base)を用いて、人間の脳神経活動を測定するのには fMRI（機能的 MRI）の手法を用いる。そして、BERT の分散表現 から fMRI データへの回帰解析を行うことにより、人工知能と人間の胼神経活動の振る舞いにどのよう な対応関係があるのかを明らかにする。

特に、BERT の深い層は文の意味的な性質を捉え ると考えられている[3]。また、脳科学ではより抽象的な情報を捉える脳の部位がわかってきている[4]。自然言語処理と胼科学、両方の知見に基づいて短歌 を扱うことにより、自然言語処理の人工知能が持つ 能力をより深く理解できると考えられる。

## 2 人エ知能の振る舞い

## 2.1 短歌と平文の選定

本研究に用いる短歌と平文は、国立国語研究所の 『現代日本語書き言葉均衡コーパス』(BCCWJ)に収録されたものを用いた。このコーパスには短歌が 3603 首、平文（31 音程度の一般的な文）が 5624 文 ある。ただ、口語調の短歌が少ないため、現代短歌集である『桜前線開架宣言』[5] と短歌の月刊誌『塔』 [6]から著者 (持橋・川島) が選んだ 101 首を加えて、本研究で用いる短歌のデータベースとした。

これら合計 9328 文を、BERT の学習済みモデル (cl-tohoku/bert-base-japanese-whole-word-masking,東北大学モデル) に入力し、最深層の[CLS]分散表現 を取り出して、2 次元に PCA（主成分分析）を行う と、図1のように描画できる。

図 1 短歌・平文の BERT 分散表現

この BERT モデルは日本語版 Wikipedia の文を訓練データとしているため、短歌などの詩的な文はほ とんど学習していない。それにも関わらず、図 1 は 短歌と平文の違いが明確に認識できていることを示 しており、興味深い結果だと言える。

これら短歌・平文の中から、人間の脳神経活動を 測定する際に用いる文を、以下の方法で選定した。 まず、最深層の[CLS]分散表現（768 次元）を入力す ると、短歌であれば 0 、平文であれば 1 を出力する ように教師あり学習を行って、短歌らしさ・平文ら しさを予測する機械学習モデルを作成した。隠れ層 は 1 層で、すべて全結合層である。この予測モデル を用いて、平文らしい短歌 300 首と短歌らしい平文 300 文を選んだ。その上で、文の読みやすさを考慮 して著者（船井・持橋）が短歌 150 首と平文 150 文 を選び出した。一目見ただけで短歌か平文か、見分 けがついてしまうと、本研究で期待している脳神経活動データが十分に取れない可能性があるため、こ のような方法で短歌と平文を選定した。

これら 300 文について、先ほどと同様に BERT の 分散表現を 2 次元 PCA すると、図 2 のようになる。短歌と平文の分布は重なっているものの、明確にず れており、多くの文は短歌・平文の判別が可能であ るように見える。従って、我々が期待したような短歌と平文が選べていることがわかる。

図 2 選定した短歌・平文の BERT 分散表現

## 3 人間の脳神経活動

## 3.1 脳神経活動データの測定

2.1 節で選び出した短歌と平文について、人間が読 むときの脳神経活動データは、生理学研究所に設置 された 3.0 テスラの MRI（シーメンス社製）を用い て測定した。被験者は、生理学研究所の近辺に住む 大学生を中心とした、18 歳から 34 歳までの 32 名の 健常な日本語母語話者である。そのうち 15 名が男性 であり、全員が右利きである。被験者を選ぶ際に、短歌に慣れ親しんでいるかは問わなかった。

この測定実験では、短歌 150 首と平文 150 文が、被験者ごとに異なるランダムな順番で提示される。各々の短歌・平文を 3 行に分けて、最初の 3 秒間は 1 行目のみ、次の 3 秒間は 2 行目まで、次の 3 秒間 は 3 行すべてが表示される。最後の 3 秒間は「詩的 であると感じますか？」と表示することで被験者に 問いかけ、「はい」または「いいえ」をボタンで回答してもらった。このように、1つの文を 12 秒かけ て読み、詩的か否かを判定してもらった。

この作業を短歌 25 首と平文 25 文で 1 セクション として、セクションが終わるごとに数分間の休想を はさみながら、全部で 6 セクション行った。

## 3.2 脳神経活動データの解析

この測定では fMRI の手法を用いて、血流が活発 になる脳の部位を時系列データとして取得した。空間の解像度（各 voxel のサイズ）は $2.0 \mathrm{~mm}$ 立方で、時間の解像度は数秒程度である。この測定で得られ た脳活動データを概観したものを、図 3 に示そう。赤色の領域は、短歌・平文を提示したときに強く

図 3 fMRI 脳活動データの概観
反応した部位を示している。言語野や視覚野に反応 が見られ、これは期待通りの結果である。

黄色の領域は、被験者が詩的だと答えたときと詩的ではないと答えたときに、脳活動が大きく異なる 部位を示している。被験者が読んだのが短歌か平文 かは関係なく、詩的に感じたかどうかを問うている ことに注意されたい。特に差異が目立つのは、腹内側前頭前皮質(ventromedial prefrontal cortex), 楔前部 (precuneus), 左側の側頭頭頂接合部(temporoparietal junction)である。いずれも認知や感情と関係の深い 部位であり、短歌と平文で感情の生じ方に違いがあ る様子を捉えていると考えられる。特に、腹内側前頭前皮質は、神経美学において中心的な役割を持つ 内側眼窩前頭皮質(medial orbitofrontal cortex)を含む 領域であり[7]、短歌に美しさなどの価値を見出す様子を捉えていると考えることができる。

## 4 人工知能と脳神経活動の対応

## 4. 1 機械学習の追加訓練

人間の脳活動データとの対応を見るため、機械学習モデルに以下のような追加訓練を施した。

BERT の最深層に 2 層の全結合層を追加して、ま ずは被験者全員分の判定データ（詩的か否か）をラ ベルとして転移学習を行った。次に、同じラベルで BERT 最深層まで訓練し、その次はもう 1 つ浅い層 まで訓練し…このように訓練する層を 1 つずつ増 やしながら BERT の全 12 層の追加訓練を行った。 その上で、各被験者の判定データのみを使って、同様に訓練する層を 1 つずつ増やしながら、BERT の 全 12 層の追加訓練を行った。最初から各被験者の判定データのみを使うと訓練データの量が少ないため、 このような方法で追加訓練を行った。

この訓練においては、 6 セッションの判定データ のうち、4つを訓練データ(training data), 1 つを検証 データ(validation data)として訓練する際のハイパー パラメータを調整するために用いて、5-fold 交差検証(cross validation)を行った。残り 1 つは試験データ (test data)として訓練には用いなかった。

以上により、各被験者の、各セッションを試験デ 一タとする、合計 192 個の BERT 追加訓練モデルが 得られた。

## 4. 2 脳神経活動データへの回帰モデル

追加訓練を施した BERT モデルを用いて、fMRI (脳活動) データとの対応を議論しよう。

まずは、すべての短歌・平文について、BERT 各層の[CLS]分散表現を計算する。また、各文を 3 行に 分けたときの 1 行目まで、 2 行目までの分散表現も 同様に計算する。その際、各文が試験データに含ま れた追加訓練モデルを用いた。

次に、BERT 分散表現と fMRI データの対応関係 を解析するために、これらの BERT 分散表現から fMRI データへの回帰モデルを生成する。この回帰モ デルの基底となる関数(regressor)は、以下のように定義した。その概略を図 4 に示そう。

図 4 回帰モデルの regressor となる関数

各被験者が測定実験で提示された短歌・平文の順番（さらに 1 行目まで、2行目まで、3行すべての順番）にBERT 分散表現を並べて、各成分の時系列デ 一夕と見做す。そして、文が提示された瞬間に各成分の値を持つ boxcar 関数を考える(図 4、青色の柱)。詩的か否かを尋ねるときの值はすべて 0 とする。こ の boxcar 関数に、血流動態応答関数(hemodynamic response function, HRF)を畳み込むと、fMRI データと 似た形の関数が得られる（図 4、茶色の線）。この 時間の関数を regressor と定義した。

実際の解析では、BERT 分散表現は次元が大きく （768 次元）、overfittingを避ける目的で 100 次元べ クトルに PCA したものを用いた。そのため、被験者 ごとに 100 個の regressor が得られ、これらを線形結合することで、各被験者・各 voxel の fMRI 時系列デ ータへの回帰解析を行った。

この解析結果を見ると、BERT のどの層の分散表現が、どの voxelの脳活動とよく対応しているのか、明らかにすることができる。特に、 3.2 節で注目した 腹内側前頭前皮質(vmPFC) と楔前部(precuneus)付近 の結果を図 5 に示そう。これらの脳部位の付近は赤 く塗られており、BERT の出力に近い層（深い層） から精度よく回帰ができることがわかる。すなわち、

図 $5 \mathrm{vmPFC}$ と precuneus 付近の解析結果

BERT の深い層と強く相関している。これらの脳部位は「詩的か否か」の判定と強く関係している部位 であった。一方で、BERT は深い層ほど文の意味的 な性質を捉えると考えられている[3]。詩的か否かの 判定は、意味的な性質を捉えるものであるから、我々 の解析結果はこうした主張を支持しているものと考 えられる。

## 4. 3 抽象的な認知を行う脳部位との対応

4.2 節で行った回帰解析によって、脳の各 voxel が 最も強く相関する BERTの層を同定することができ る。一方、脳の各部位が認知する情報がどのくらい 抽象的・具体的なものであるかを計算できる手法が 提案されている[4]。これは、脳部位間の機能的結合 (functional connectivity)のデータを圧縮することによ って得られ、認知機能の抽象度を principal gradient score として数値化することができる。

従って、最後に BERT の各層と、その層に強く相関する脳部位の認知機能の抽象度との関係を議論し よう。各部位の principal gradient score を平均して得 られた計算結果を図6に示す。(被験者 32 名のらち、先に測定を終えた 21 名のみの結果も示した。)

図 6 BERT の各層と認知機能の抽象度の関係全体的に見れば、BERT の深い層（出力に近い層） はより抽象的、浅い層（入力に近い層）はより具体的な情報を認知する傾向にあることがわかる。 BERT は深い層ほど文の意味的な性質を捉え、浅い 層ほど統語論（文法的）な性質を捉えると考えられ ており[3]、それと整合する結果が得られたと言える だろう。

ただし、BERT の深い層から浅い層へと抽象度が 単調に減少しているのではなく、中間層では大きく 上下していることにも触れておきたい。この現象は 4.1 節で行った追加訓練が影響して起こっている可能性が考えられる。このような追加訓練を行った BERT モデルでは、中間より浅い層で文の特徴を捉 えて、中間より深い層は正しい結果を出力すること に重きを置く傾向があるなど、中間層を境に振る舞 いが異なるケースが指摘されている。こうした現象 は BERT の言語認識能力に密接に関わるものであり、今後の研究で明らかにしていきたいと考えている。

## 5 おわりに

自然言語処理の人工知能の振る舞いについて理解 を深めるために、本研究では詩的な文である短歌を 入力データとして扱った。そして、普通の文 (平文) を入力したときの人工知能の振る舞いや、短歌・平文を人間が読むときの脳神経活動と比較することに より、自然言語処理と脳科学、両者の知見を活かし た解析を行った。

その結果、文が詩的であるか否かを判定する脳部位の神経活動は、BERT の深い層と強く相関してい ることがわかった。BERT は深い層ほど文全体の特徵を見て、意味的な性質を捉えると考えられている が、我々の結果もそれを支持するものであった。

また、BERT の深い層は、より抽象的な情報の認知を行う脳部位とも強く相関していることがわかつ た。特に、BERT の深い層と強く相関する脳部位に は、美しさなどの価値を捉える、腹内側前頭前皮質 が含まれている。

以上のことが本研究にて確認できたことを踏まえ、今後は短歌に慣れ親しんでいる人々に被験者となっ てもらいより詳しく鑑賞するときの脳神経活動と、人工知能の振る舞いを比較することで、人工知能が 持つ自然言語処理能力をより深く理解していきたい と考えている。

## 謝辞

本研究は「機構間連携・異分野連携研究プロジェ クト」と生理学研究所の共同利用研究からの助成を 受けています。

## 参考文献

1. J. Devlin, M.-W. Chang, K. Lee, K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," arXiv: 1810.04805 [cs.CL], 2018.

2. A. Radford, K. Narasimhan, T. Salimans, I. Sutskever, "Improving language understanding by generative pre-training,"

https://www.cs.ubc.ca/ amuham01/LING530/papers/rad ford2018improving.pdf, 2018.
3. 例えば、I. Tenney, D. Das, E. Pavlick, "BERT rediscovers the classical NLP pipeline," arXiv: 1905.05950 [cs.CL], 2019.

4. D. S. Margulies, S. S. Ghosh, A. Goulas, M. Falkiewicz, J. M. Huntenburg, G. Langs, ..., J. Smallwood, "Situating the default-mode network along a principal gradient of macroscale cortical organization," Proceedings of the National Academy of Sciences, 113(44), 12574-12579, 2016.

5. 桜前線開架宣言、山田航、左右社、2015 年。

6. 塔、一般社団法人塔短歌会、第 63 巻第 4 号 (2016 年 4 月発行）に掲載された短歌から選んだ。

7. H. Kawabata, S. Zeki, "Neural correlates of beauty," Journal of neurophysiology 91(4), 1699-1705, 2004.


# 脳内状態推定のための汎用言語モデル構築への取り組み

羅 桜 小林一郎
お茶の水女子大学
\{luo.ying, koba\}@is.ocha.ac.jp

## 概要

先行研究 [1] において，言語刺激下の脳内状態推定精度の向上を目的として，BERT で表現された言語特徴量と fMRI で観測された脳活動データとの対応関係をマルチモーダル深層学習の枠組みにより捉 えた BrainBERT が提案されている. BrainBERT は，言語刺激と脳活動データの対応関係を捉えた被験者 に依存しない汎用言語モデルであることが確認され ている.しかし, BrainBERT を用いて脳活動を推定 することにおいて，推定精度向上の課題がいくつか 残っている. 本研究では，それらの課題を克服する ためモデルの改良を行い, 得られた結果を客観的に 検証するための実験を行った. 実験結果から, 新た に構築したモデルである BrainBERT 2.0 の推定精度 が従来のモデルより向上したことを確認した.

## 1 はじめに

近年，深層学習を作業モデルとして用いること でヒト脳内の情報処理機構の解明を目指す研究が 盛んになってきており, 脳神経科学の分野におい て多くの新しい知見が得られている. また，言語モ デルを用いた研究では，脳内の意味情報表現と実際の意味知覚の間に有意な相関があること [2] や Transformer [3] ベースの汎用言語モデルを用いて言語の特徴量を表現することで推定精度の向上が見ら れることが確認されている [4]. このように，言語刺激に対する脳内状態を予測することにより，様々な 脳内情報処理機構が解明されてきている. そのよう な背景を受けて，言語刺激と脑活動状態との対応関係を捉える汎用言語モデル BrainBERT [1] が提案さ れている.

本研究では, 言語刺激下のヒト脳内状態を予測 する際に，より精度良く予測が可能になるように BrainBERT を改良し，その性能を検証することを目的とする.

## 2 BrainBERT

図 1 BrainBERT : 脳活動データとテキストの対応関係を 捉えた汎用言語モデル

BrainBERT [1] は，マルチモーダル深層学習モデ ルである UNITER [5] や SpeechBERT [6] を参考に，脳活動データとテキストの対応関係を捉えた汎用言語モデルとして構築された. 図 1 に示すように, BrainBERT のアーキテクチュアは, 24 層の双方向 Transformer [3] を持つエンコーダブロックから構成 される. 脳活動データとして Alice Dataset [7]を用い, またプレーンテキストとして, Book コーパスと Wiki コーパスを用いて事前学習を行った. 事前学習課題 は，モデル学習のためにマスク言語タスク（以下， MLM タスクと略す）と脳活動データに対する対応文章の一致を捉える 2 値のマッチング自然言語処理 タスク（以下，BTM タスクと略す）を用いた。

また, モデルの訓練と有効性の検証のために, [1] では 4 つの実験を段階的に実施している.

1. L1 損失による脳特徴量抽出効果検証実験：

Autoencoderを使い, 脳の特徴量を抽出.

2. BrainBERT 訓練での NLP タスク実験：

BrainBERT の事前学習として fine-tuning の実施.

3. MLM タスク下でのアテンションの変化観察： アテンションを可視化し, 言語モデルにおける 脳特徴量の役割調査.

4. リッジ回帰を用いた脳活動信号予測における汎用言語モデルの比較実験：

テキストによる脳内状態推定実験を行った.
実駼結果から，事前学習済み BrainBERT モデルの 精度は大規模汎用言語モデルには及ばずとも，脳活動状態の予測には他の言語モデルよりも優位性があ ることがわかった. とくに，BrainBERT のべースと なった bert-large-uncased における予測精度よりも対象としたすべての関心領域（ROI）に対して精度が 向上されていることから, 脳活動データとテキスト データの対応関係が取れた汎用言語モデルが構築さ れたこと (以下, BrainBERT1.0 と略する) を確認した。

## 3 BrainBERT 2.0 へ向けて

マルチモーダル深層学習モデルの学習手続きを詳細に分析し, BrainBERT の 3 つの改善策を提案する.

## 3.1 改善策 1 : 潜在表現の意味性

BrainBERTを学習する際, 入力には 'two people sitting on a bench watching a sailboat’などの文と，それ に対応する磁気共鳴機能画像法（fMRI）による脳活動データを使用した. モデルの学習条件の整合性 を考慮し，ボクセルの次元がおよそ $50,000 \sim 75,000$ くらいの大脳皮質データを直接入力の次元とはせ ず, 脳活動データを 1024 または 768 次元の特徴量に AutoEncoder を用いて変更した. AutoEncoder モデル の損失関数は SpeechBERT [6] を参考にし，式 1 を 採用した.

$
L_{\text {recon }+M A E}=\frac{1}{N} \sum_{n=1}^{N}\left.\|x_{n}-x_{n}^{\prime}\right.\|^{2}+\frac{1}{N} \sum_{n=1}^{N}\left.\|z_{n}-y_{t n}\right.\|
$

式 1 中， L2 損失は入力と出力間の再構築損失, L1 損失は潜在表現ベクトルとテキストベクトル間 の類似度損失である. テキストのベクトル化に は, huggingface で提供されている事前学習済み bert-large-uncased モデル1)を用いている. この学習 において， L1+L2 から得られる損失の合計が小 さいほど良いということであるが，学習済みの bert-large-uncased モデルから得られるテキストベク トルをファィンチューニングなど無しにそのまま該当テキストのベクトルであると仮定している点に問題がある. さらには, bert-large-uncased モデルから得 られる CLS トークンは，エンコーダを通していな いため実際にはランダムな埋め込みべクトルにな り, 文脈の関係性など, 文の特徴をうまく表現するこ とができないと考えられる．また，SimCSE モデル [8] は，単純な対比学習によって文の埋め込みを行

1) https://huggingface.co/bert-base-uncased
い，より質の高い文べクトルを生成することができ る. また, SentenceBERT[9] は, 転移学習を用いて BERT モデルが CLS トークンを文の埋め込み表現と して使うことの問題を改善している. このことか ら, SentenceBERT と SimCSE の拡張モデルから 6 つ の派生バージョン（モデル名は表 1 の行に記載）を 選択し, 新たな比較実験を行った. 単一変数規則を用 いて, BrainBERT モデルを AutoEncoderで，上記実験 の 1 段階目から再訓練した. 学習結果を比較し, 6 つ のモデルの中からテキストのベクトル化において脳活動データと対応させるための最適モデルを見出 した.

## 3.2 改善策 2 : 単変量実験の制御

BrainBERT 構築の実験 4 段階目において, リッジ 回帰モデルを用いて BrainBERT によるテキストの特徵量から脳活動状態を予測した際の精度を，他の 20 の汎用言語モデルを用いた際の予測精度と比較し，単一変数規則における BrainBERT の性能の検証を行 なった. 実験の評価データには, 訓練で用いていな い全く新しい脳データセットである BOLD5000 [10] を使用した．このデータセットの収集実験では，3 つの大規模画像データセットの画像を用いた画像刺激を用い，脳活動の酸素飽和濃度（BOLD）信号を 収集しており，視覚に関連する 5 つの脳部位のデー タが公開されている. 大規模画像データセットの 1 つである MSCoCo2014 には，画像のキャプションが 付属しており, 実験では脳活動データとのペアデー タとして使用した.しかし，これまで BrainBERTへ の入力は他のモデルと異なり, 脳特徴量も入力され てしまっていた. 脳のデータをモデル計算の入力と して誤って取り込んでいたため, 客観性に欠ける結果となった. これは, 単一変数の原則に沿わないもの になっており, 改善対象となった.このことから， 4 段階目の実験を再度実施した. 予測モデルとなる リッジ回帰モデル構築の際には, 4-folds クロスバリ デーションを使用し, 20 のモデルが同じ入力変数に 基づき, 同じ正則化項を使用して比較された.

## 3.3 改善策 3 : 公知に反する結論の妥当性検証

また, 先行研究 [1] における実験 4 段階目において も, 改善策 2 の 1 点を除き, もう一つの問題として,脳状態予測の結果から, roberta-large モデルの結果 が roberta-base モデルの結果よりも推定精度が悪く，多くの先行研究における殆どの自然言語処理タスク

において, 通常は roberta-large モデルが roberta-base モデルを上回った ${ }^{2)}$ という実験結果と矛盾している ことが挙げられる.この点において，結果の客観性・独立性を証明するために再度実験結果を精査をする 必要があり，順列検定実験を行う.

図 22 VS. 2 検定手法流れ

この順列検定実験では，Foster ら [11] の論文で紹介されている 2 VS. 2 検定手法を用いた.

図 2 のように, 2 VS. 2 検定は, ベクトルの比較を 2 值分類タスクに還元する相関テストである. このテ ストは，2つのデータペアが相関していることを証明するツールとして使用することができる. 2 VS. 2 検定では，正しいペアの距離の和（図 2 の青い矢印）と，正しくないぺアの距離の和（図 2 の赤い矢印）の比較を，以下の式で評価することにより行う.

$
d\left(y_{i}, \hat{y}_{i}\right)+d\left(y_{j}, \hat{y}_{j}\right)<d\left(y_{i}, \hat{y}_{j}\right)+d\left(y_{j}, \hat{y}_{i}\right)
$

式（2）が成り立つ場合, 比較は成功したとみなされ る. 2 VS. 2 検定の精度は, 2 VS. 2 の比較成功の割合 となる.roberta-large モデルと roberta-base モデルにつ いて別々に計算を行い，二つのモデルのうちどちら が正しいかを検証した.

## 4 実験

前章では，[1] における 3 つの問題点を説明し，そ れぞれの改善策を提案した. この章では，改善策に 取り組む実験と，実験の具体的なパラメータについ て説明する。

## 4.1 潜在表現の意味性検証実験

テキストの意味と脳活動データとのより良い対応関係を捉えるために，テキスト（文）の意味を sentenceBERT モデルおよび SimCSE モデルなどの 合計 6 つのモデルを用い, 実験を通じてそれらのモ

デルを比較し，良い対応関係がとれるモデルを検証した. 検証のための学習過程は以下の通りであ る. 脳特徵量の抽出に AutoEncoder モデルを採用し， Pereira データセット [12] を学習データセットとし て利用する. AutoEncoder の構造は, エンコーダ部が 2 つの Linear 層と 2 つの Batch Normalization 層から なり,エンコーダとデコーダは対称構造となる.ま た，ドロップアウト率は 0.2 とし，モデルの学習率 は 1e-5, 勾配法として AdamWを用い, バッチサイズ は32，エポック数は 75 とした.

モデルの学習を容易にするため, 異なる被験者に 対して共通したボクセルサイズの 46,840 次元とし て大脳皮質のデータを抽出し,さらに中間変数の サイズを調整した. 例えば，bert-large-uncased モデ ルの出力ベクトルの次元が 1024 の場合, 中間変数の次元も 1024 に設定する. 表 1 の 1 行目と 2 行目から見ると,今回の新たに条件を変更して再学習された BrainBERT の事前学習結果では, 先行研究 [1] から訓練した精度 $15.7 \%$ の BrainBERT1.0 から $258 \%$ 向上し，最大 $55.56 \%$ の精度を達成した. その 結果から，潜在表現の意味が最も優れているのは， bert-large-uncased モデルであることが確認された.

表 1 改善策 1 に対する訓練結果

## 4.2 単制御変量実験

24 の汎用言語モデルをテキストの特徴量表現に 用い，リッジ回帰を使って脳活動状態を予測した。予測精度には Pearson 相関係数を使用した. 本実験 で使用する BrainBERT は, 先行研究 [1] での実験設定を一部踏襲しつつ新しく改善された設定の元，再学習されたモデルであり, 以降, それを BrainBERT 2.0 と呼ぶ. 比較対象となる他の単語埋め込みで は GloVe [13], word2vec [14] の 2 つのモデルを採用 し, 汎用言語モデルでは， BERT [15], RoBERTa [16], ALBERT [17], GPT [18] などを採用し, 合計 24 の事前学習済み汎用言語モデルを使用した. 符号化モデル を構築するためのデータセットとして，BOLD5000 の一部とそれに対応する MSCoCo2014 データセッ トを使用した. 脳活動データは 4 人の被験者のも
表 2 各相関脳領域の Pearson 相関係数の計算結果 (略表)

} \\

のが使用され，合計 7,677 の画像刺激が与えられた 際の脳活動データ (train, test, validation の 3 グルー プに分け，8:1:1 の割合) が用いられた。提供され ている脳活動データは, PPA（Parahippocampal Place Area）など視覚に関連する 5 つの脳領域が対象と なり, 合計 3,566 のボリュームが処理された. 比較 のための予測精度として, 多重補正検定に基づく Pearson 相関係数（ $\mathrm{p}<0.05 ）$ を計算した. 表 $\left.2^{3}\right)$ より, BrainBERT 1.0，BrainBERT2.0ともにテキストから 脳活動を予測するタスクにおいて，他の汎用言語モ デルと比べて良好な結果を示し，バージョン 2.0 は 1.0 より $5.58 \%$ 向上し，全モデルの中で最も良い精度 を示した。

## 4.3RoBERTa サイズ妥当性検証実験

RoBERTa のサイズにおける予測精度結果の客観性については, 直接的に結論を導き出す術がない ため, 検定による実験を実施した. 実験の詳細を 以下に示す. MSCoCo2014 データセットを用いて RoBERTaへの入力テキストとした. "leave 2 out"手法に基づき， 770 文章のデータからランダムに 2 ペ アを抽出し, 合計 296,065 訓練データを構成した. 予測脳データと実際脳データの Pearson 相関係数を計算し精度を求めた. RoBERTa-base の精度は $32.09 \%$, RoBERTa-large の精度は $34.24 \%$ となった. この結果 は，表中の各脳機能領域下でも一貫性を示し，先行

研究 [1] の結果を是正する結果となった.これによ り，RoBERTa-large が RoBERTa-base モデルよりも，脳内状態を予測する上で優れていることが確認さ れた。

## 5 考察

実験で取り上げた汎用言語モデルの内，albertxlarge 群は, albert モデルだけでなく, 全体のモデ ルの中でも優れていた. 本研究において採用した BERT を albert-xlarge に変更し，新たに学習しなお した脳特徴量を反映する汎用言語モデルによって， BrainBERT 2.0 より良い結果を得られるかどうか， さらに検証する価値があると考える。

## 6 おわりに

本研究は, 先行研究 [1] での取り組みについて 3 つの大きな改善点を示し, 実験を通じて改善点 の効果を検証した. 2 VS. 2 検定手法を導入し，テ キストの意味と脳活動データの対応関係を捉える 上で bert-large-uncased が有利であることを確認し た.また，先行研究の結果において未解明であった RoBERTa のサイズによる精度の問題も検証実験を 通じて疑問を解消することができた。さらに，改良 されたモデルである BrainBERT2.0 は，事前学習結果の精度を向上させ，脳内状態予測において他のモ デルを上回る優位性を実現したことを確認した。

今後の課題として，albertを含む様々な汎用言語 モデルを用いて再度実験を行うつもりである。

## 謝辞

本研究は，科研費（18H05521）の支援を受けた。 ここに謝意を表す.

## 参考文献

[1] 羅桜, 小林一郎. Brainbert: 脳活動とテキストの対応関係を捉えた言語モデル構築への取り組み. 日本知能情報ファジィ学会 ファジィシステム シンポジウ ム 講演論文集, Vol. 37, pp. 376-381, 2021.

[2] Alexander G. Huth, Wendy A. de Heer, Thomas L. Griffiths, Frédéric E. Theunissen, and Jack L. Gallant. Natural speech reveals the semantic maps that tile human cerebral cortex. Nat., Vol. 532, No. 7600, pp. 453-458, 2016.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS'17, p. 6000-6010, Red Hook, NY, USA, 2017. Curran Associates Inc.

[4] Satoshi Nishida, Antoine Blanc, Naoya Maeda, Masataka Kado, and Shinji Nishimoto. Behavioral correlates of cortical semantic representations modeled by word vectors. PLoS Computational Biology, Vol. 17, No. 6, p. e1009138, 2021

[5] Yen-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng, and Jingjing Liu. Uniter: Universal image-text representation learning. In Computer Vision - ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part XXX, p. 104-120, Berlin, Heidelberg, 2020. Springer-Verlag,

[6] Yung-Sung Chuang, Chi-Liang Liu, Hung-yi Lee, and LinShan Lee. Speechbert: An audio-and-text jointly learned language model for end-to-end spoken question answering. In Helen Meng, Bo Xu, and Thomas Fang Zheng, editors, Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event, Shanghai, China, 25-29 October 2020, pp. 4168-4172. ISCA, 2020.

[7] Shohini Bhattasali, Jonathan Brennan, Wen-Ming Luh, Berta Franzluebbers, and John Hale. The alice datasets: fMRI \& EEG observations of natural language comprehension. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 120-125, Marseille, France, May 2020. European Language Resources Association.

[8] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Iryna Gurevych Nils Reimers. Sentence-bert: Sentence embeddings using siamese bert-networks. https://arxiv.org/abs/1908.10084, 2019

[10] Nadine Chang, John A. Pyles, Austin Marcus, Abhinav Gupta, Michael J. Tarr, and Elissa M. Aminoff. Bold5000, a public fmri dataset while viewing 5000 visual images. Scientific Data, Vol. 6, No. 1, May 2019.

[11] Chris Foster, Dhanush Dharmaretnam, Haoyan Xu, Alona Fyshe, and George Tzanetakis. Decoding music in the human brain using eeg data. In 2018 IEEE 20th International Workshop on Multimedia Signal Processing (MMSP), pp. 1-6, 2018.

[12] Francisco Pereira, Bin Lou, Brianna Pritchett, Samuel Ritter, Samuel Gershman, Nancy Kanwisher, Matthew Botvinick, and Evelina Fedorenko. Toward a universal decoder of linguistic meaning from brain activation. Nature Communications, Vol. 9, , 032018.

[13] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.

[14] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space, 2013.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[17] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations, 2020.

[18] Xianrui Zheng, Chao Zhang, and Philip C. Woodland. Adapting gpt, gpt-2 and bert language models for speech recognition, 2021

## 付録 (Appendix)

表 3 各相関脳領域の Pearson 相関係数の計算結果 (全表)

} \\