# 段落構造を利用した BERT に基づく事前学習

湯浅 亮也 谷和樹 田村晃裕 加藤恒夫
同志社大学 理工学部
}

\{cguc0095@mail4, cguc1070@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp
## 概要

本研究では，文書の段落構造を利用した BERT に 基づく事前学習手法を提案する. 従来の BERT ベー スの事前学習手法では，通常，文単位の連続性を学習する。また，文書における各文の位置づけは考慮 しない。一方，Wikipedia 文書などの文書では，文は 段落単位でまとめられ，各段落は見出しによって整理されている。そこで本研究では，段落単位のまと まりとつながり及び見出し情報を考慮した事前学習手法を提案する. livedoorニュースコーパスを用い た文書分類タスクで評価した結果，従来の BERT と 比較して，統計的に有意な性能改善（ $\mathrm{F}$ 值のマクロ 平均が $+0.77(\%) ）$ を確認した。

## 1 はじめに

近年，NLP の分野では，大規模コーパスから単語 や文などのテキストの汎用的な分散表現を事前に 学習する事前学習手法が数多く提案されている. 特 に，BERT をべースとした事前学習手法を活用する ことで，様々な NLP タスクにおいて最高精度が更新されている.

従来の BERT ベースの事前学習では，通常，文単位でトークンのまとまりを捉え，文間の接続関係や 文脈を考慮した単語や文の分散表現を事前学習す る $[1,3,4,8]$. 一方，Wikipedia 文書を筆頭に，事前学習で使われる文書の中には，文が段落単位でまと められ，各段落が見出しによって整理されている文書が多い. Wikipedia の記事「機械学習」の概略を図 1 に示す. 図 1 の文書では，記事の内容が「 1 概要」 や「1.1 定義」といった見出しで整理されており，各内容は「段落 $\mathrm{A}\lrcorner$ や「段落 $\mathrm{B}\lrcorner$ のような段落単位の まとまりで記述されている。しかし，従来の BERT ベースの事前学習ではこのような段落単位の情報や 見出し情報を活用できない.

そこで本研究では，段落単位のまとまりとつなが り及び見出し情報を考慮する，文書の段落構造に基
1 概要

1.1 定義

【段落 A】

【段落 B】

1.2 変数の種類

2 教師あり学習

2.1 概要

2.1.1 訓練フェーズと汎化フェーズ

【段落 C】

図 1 Wikipedia 文書の例（機械学習）

づく BERT による事前学習手法を提案する。具体的 には，BERTへの入力を段落単位にし，2つの段落 が連続するかを判定する事前学習を行うことで，段落単位のまとまりとつながりを反映した分散表現 を学習する．また，段落が見出しに属するかを判定 する事前学習を行うことで，各段落の見出しを反映 した分散表現を学習する．段落同士の連続判定及び 段落の見出しへの所属判定は，Sentence-BERT[5] の Classification Objective Function を用いて分類問題を 解くことで実現する.

livedoor ニュースコーパスを用いた文書分類夕 スクで提案の事前学習手法を評価した結果，従来 の BERT を用いた場合よりも $\mathrm{F}$ 値のマクロ平均が $0.77 \%$ \%) 高くなり，統計的に有意な性能改善を確認 した.

## 2 従来手法

## 2.1 BERT

BERT[1] は Transformer Encoder[6] に基づくモデル であり，様々な NLP タスクにファインチューニン グ可能で汎用的な分散表現を獲得するための事前学習モデルである。大量のラベルなしテキストから 事前学習された分散表現を用いて，目的のタスクに

図 2 Sentence-BERT (Classification Objective Function) モデ ルの概要図

ファインチューニングすることにより，学習時間の 短縮や目的タスクの教師データが少量であっても高精度を達成することが可能である.

事前学習では，ラベルなしテキストデータを用い $\tau$, Next Sentence Prediction (NSP) と Masked Language Model（MLM）の 2 つの教師なし学習を行う. NSP では，同時に 2 つの文を入力し，入力された 2 文 が連続するか否かの分類問題を解くことで，文の 接続関係を考慮した分散表現を得る．MLMでは，入力トークンをランダムにマスクし，マスク前の トークンを推定する問題を解くことで，文脈を考慮 した分散表現を学習する。これらの事前学習では，入力の先頭に [CLS]トークン，各文の最後に [SEP] トークンを付与し，[MASK] トークンを用いてマス クした入力系列を使用する (例：[CLS] the man went to [MASK] store [SEP] he bought a gallon [MASK] milk [SEP] ）. NSP では [CLS] トークンの分散表現に基づ き 2 值分類を行う。

この事前学習では，Wikipedia や BookCorpus [9] の 文書を学習データとして用いている。これらの文書 は，本来，段落単位でまとめられ，各段落が見出し によって整理されている. しかし, 従来の事前学習 では，見出し情報は陽に利用しておらず，また，文 より大きい単位（段落など）のまとまりやつながり を捉えることが困難である。

## 2.2 Sentence-BERT

Sentence-BERT [5] は事前学習済み BERTを Siamese Network で用いてファインチューニングすることで，文の埋め込み表現を獲得する手法である. 事前学習済み BERT モデルの出力側に文の分散表現を取 り出すための pooling 層を加えたモデルを Siamese Network 内の共有モデルとして使う．先行研究では pooling 層の演算として，CLS，MEAN，MAXの 3 種類が提案されている. CLS は [CLS] トークンの分散表現，MEAN は全トークンの分散表現の平均ベク トル，MAX は全トークンの分散表現に対して各特徵量の最大のものを取る max-over-time 演算を行っ たべクトルを文の分散表現とする。この Siamese Network モデルを文間の類似性に基づき学習する.使用する学習データに応じて, 分類問題, 回帰問題, Triplet Loss で学習する方法が提案されている.

後述の提案手法では, Classification Objective Functionを用いた分類問題で学習する Sentence-BERT を利用する。モデルの概要を図 2 に示す.この Sentence-BERT は， 2 文 A, B を BERT に個別に入力 し, pooling 層で各文の分散表現を取り出す。その 後, 求めた 2 つの分散表現と要素ごとの差の絶対值ベクトルを結合し，結合したべクトルに基づき softmax classifier で 2つの入力文が連続するか否かの 2 値分類を行う（式 (1)）.

$
\operatorname{softmax}\left(W_{t}(\mathbf{u}, \mathbf{v},|\mathbf{u}-\mathbf{v}|)\right)
$

ここで $\mathbf{u}$ と $\mathbf{v}$ ，それぞれ，文 $\mathrm{A} と \mathrm{~B}$ の分散表現で あり,$W_{t}$ は学習される重み行列である.

## 2.3 その他の事前学習手法

BERT の派生モデルとして, XLNet [8] や RoBERTa [4], ALBERT [3] などの多くの事前学習モデルが提案されている. XLNet の事前学習で は，NSPを廃止し，[MASK] トークンは使用せず にトークンの予測順序を入れ替える permutation language modeling を学習している. RoBERTa $の$ 事前学習でも NSP が廃止されている。また, ALBERT の 事前学習では，NSP の代わりに，文章の順序を予測 する sentence-order prediction を行っている.

これらの従来モデルにおいても，段落単位での連続性は学習されておらず，また，見出し情報が活用 されていない.

図 3 段落構造を利用した事前学習モデルの概要図

## 3 段落構造を利用した事前学習

本節では文書の段落構造を利用した BERT による 事前学習手法を提案する. 事前学習で用いる文書の 多くは，文が段落単位でまとめられ，各段落が見出しによって整理されている. そこで提案手法で は，段落単位のまとまりとつながり及び見出し情報 を反映した分散表現を事前学習する．具体的には， BERTへの入力を段落単位にし， 2 つの段落が連続 するか否かを推定する連続判定と, 段落が見出しに 所属するか否かを推定する所属判定を行う.

提案手法の概要を図 3 に示す. モデル構造は 2.2 節で説明した Classification Objective Function を用い た Sentence-BERTを利用する. 図 3 の全ての BERT の重みは共有されており，pooling 層は MEANを用 いる. そして, 段落同士の連続判定及び段落の見出 しへの所属判定は Classification Objective Function を 用いて 2 値分類問題として解く.

段落同士の連続判定は, 図 3 の中央の softmax classifier で行う. 2 つの段落 A と B に対して，BERT と pooling 層で各段落の分散表現を抽出する. その 後, 式 (1)を用いて，段落 A の次に段落 B が繋がる か否かの 2 值分類を行う. 式 (1)における $\mathbf{u}$ と $\mathbf{v}$ は， それぞれ，前方段落（段落 A）と後方段落（段落 B） の分散表現となる. この事前学習では, 本来の文書内で連続する 2 つの段落の後方段落を，50\%の確率 で，異なる文書から無作為に取り出した段落に置き 換えたデータを学習データとする。

段落同士の連続性を 2.1 節で説明した BERT の NSP ではなくSentence-BERT の構造で学習した理由は，各段落を個別に BERT の入力にすることで， [CLS]トークンを段落同士の接続関係を表すべクト ルではなく，各段落の分散表現として事前学習する ためである.

段落の見出しへの所属判定は, 図 3 の左右の softmax classifier で行う. 2 つの段落 A，B と 2 つの 見出し A，B に対して，BERT と pooling 層で分散表現を抽出する。その後，式 (1)を用いて，段落 A が 見出し A に，段落 B が見出し B に所属するか否か をそれぞれ 2 值分類する。式 (1)における $\mathbf{u} と \mathbf{v}$ は，

分散表現となる。この事前学習では, 本来の文書内 に存在する見出しと段落の対に対して，見出しを， $50 \%$ の確率で，異なる文書にある異なる見出しに置 き換えたデータを学習データとする。

ここで，Wikipedia 文書の見出しは予め決められ ておらず，文書作成者が任意の名前を付けられるこ とに注意されたい，任意の見出しが出現する可能性 があるため，提案手法では，予めクラスを仮定した 多クラス分類ではなく，段落が見出しに属するか否 かの 2 クラス分類で見出し情報を取り込む.

## 4 実験

従来の BERT モデルと提案手法により事前学習 された BERT モデルを，それぞれ， livedoorニュー スコーパス1)を用いた文書分類タスクでファイン チューニングし，その文書分類性能を比較すること により，提案の事前学習手法の有効性を検証する。

## 4.1 実験設定

事前学習 本実験では，段落間の連続判定と段落 の見出しへの所属判定の両方を導入した提案の事前学習モデルに加えて，段落間の連続性判定のみ導入 した事前学習モデル，段落の見出しへの所属判定の みを導入した事前学習モデル，従来の BERT モデル を事前学習モデルとして用いた場合の性能を評価 する。

従来の BERT モデルは, 東北大学 BERT の bertbase-japanese-whole-word-masking ${ }^{2}$ を使用した. そ の他の提案手法の事前学習モデルは，従来の BERT モデルを初期値として，Wikipedia $の$ jawiki-latestpages-articles.xml.bz2 ${ }^{3)}$ を用いて 3 節で提案した方法 で学習した. 見出しへの所属判定で用いる見出し

1) https://www.rondhuit.com/download.html\#ldcc

2) https://huggingface.co/cl-tohoku

3) https://dumps.wikimedia.org/jawiki/latest/
表 1 livedoorニュースコーパス

は，段落が属する最上位の見出しを用いた。例え ば，図 1 においては，段落 A と段落 B の見出しは 「概要」, 段落 C の見出しは「教師あり学習」とした. sentence-transformers ${ }^{4}$ のライブラリを用いて実装し， BERTへの最大入力長は 512 とした. その他のパラ メータは, Sentence-BERT[5] の実験設定に倣い, エ ポック数を 1 , 学習率を $2 \mathrm{e}-5$ とし, 最適化手法には Adam [2] を用いて, 学習データ全体の $10 \%$ に対して warm-upを行った.

ファインチューニング 本実験の評価は, livedoor ニュースから収集されたニュースコーパスを用い た多クラス文書分類で行う.このデータセットは 7,367 件の記事で構成されている. 従来研究 [10] に 倣い，各記事の収集元である記事サイトをクラスと する. クラス数は 9 である. 表 1 に各クラスの記事数を示す. また，各記事はURL，日付，タイトル，本文で構成されているが，本研究では，タイトルと 本文を結合したテキストからクラスを分類する。

文書分類モデルは，事前学習した BERT の出力側に, [CLS]トークンの分散表現に基づき softmax classifier でクラスを決める出力層を加えたモデルで ある. この文書分類モデルを，多クラス文書分類 タスクでファインチューニングする。 なお，提案手法の事前学習モデルにおいては, Sentence-BERT の構成要素のうち, 事前学習した BERT 部分を使 う. simple-transformers ${ }^{5}$ のライブラリを用いて実装 した. 最大入力長さは 256 とし, エポック数, 学習率，バッチサイズは，それぞれ，100，2e-5，32とし た.その他のパラメータは, simple-transformers ライ ブラリのデフォルトの値を用いた.

4) https://github.com/UKPLab/sentence-transformers

5) https://github.com/ThilinaRajapakse/simpletransformers表 2 実験結果

## 4.2 実験結果

評価は 5 分割交差検証で行った. 交差検証では, 1 fold をテストデータとし, 残りの 4 fold の内, $80 \%$ を学習データ，20\%を開発データとした。評価指標 には $\mathrm{F}$ 值のマクロ平均を用いた。

表 2 に実験結果を示す. 表 2 より, 従来の BERT モデルと比較して，提案の 3 つの事前学習モデル は，いずれも高い分類性能を達成できることが確認 できた. また，3つの提案のモデルの中で，段落同士の連続判定と見出しへの所属判定の両方を導入し たモデルが最も高い性能を達成した. 最高性能を達成した提案モデルと従来の BERT モデルを用いた場合の文書分類結果の差に対して符号検定を行った 結果，有意水準 $1 \%$ で有意であった. このことから，段落同士の連続性や見出し情報を考慮して分散表現 を事前学習することは，文書分類タスクで有効であ ることが確認できた. また，段落の連続性の情報と 見出し情報のそれぞれを考慮するよりも，両方を考慮した方が結果が良いことから, 段落同士のまとま りと見出し情報の両方が，文書の特徴を求める際の 重要な手がかりになることが実験的に確認できた。

## 5 おわりに

本研究では，事前学習に用いる文書は段落でまと められており，各段落は見出しによって整理されて いることに着目し, これら 2 つの特徴を利用した BERT に基づく事前学習手法を提案した. 提案手法 では, BERTに段落単位で大力し, 2 つの段落の連続判定と段落の見出しへの所属判定による事前学習を 行うことで，段落情報をテキストの分散表現の事前学習に取り入れた. 提案の事前学習手法を, livedoor ニュースコーパスを用いた文書分類タスクで評価し た結果, 従来の BERT と比較して, 統計的に有意に 高い性能が実現できることを確認した。

今後は，NLPのベンチマーク評価である GLEU [7] など，文書分類タスク以外で，提案の事前学習モデ ルの有効性を確認したい。

## 謝辞

本研究の一部はトランスコスモス株式会社との共同研究により得られたものである. 本研究を支援し てくださった，トランスコスモス株式会社の伊藤和真氏，及川秀俊氏，濱田充男氏，大林弘明氏に感謝申し上げます。また，本研究を進めるにあたり貴重 な助言をしてくださった，愛媛大学の二宮崇先生，梶原智之先生，秋山和輝氏に感謝を申し上げます.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[5] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[7] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. Glue: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, 2018.

[8] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, Vol. 32, , 2019.
[9] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In Proceedings of the IEEE international conference on computer vision, pp. 19-27, 2015.

[10] 菊田尚樹, 新納浩幸. Bertを用いた文書分類タスクへ の mix-up 手法の適用. 第 27 回言語処理学会年次大会, pp. 599-602, 2021.
 湯浅 亮也 谷和樹 田村晃裕 加藤恒夫 同志社大学 理工学部 }  \{cguc0095@mail4, cguc1070@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp 