# CSJを用いた日本語話し言葉 BERT の作成

勝又智
株式会社レトリバ
satoru.katsumata@retrieva.jp

## 1 はじめに

現在，大規模なテキストデータを元に学習され た事前学習モデルが多く公開されている. 特に近年では BERT [1]を用いた研究が盛んに行われて いる. BERT とは， Transformer [2] の Encoder に対し $\tau$, Masked Language Model (MLM) と Next Sentence Prediction（NSP）と呼ばれる事前学習を行ったもの である。日本語については，Wikipedia やSNS デー タなどの書き言葉1)を用いて事前学習した BERT が いくつか公開されている.

しかしながら，発話の書き起こしといった，話し 言葉に注目した日本語事前学習モデルは著者の知 る限り存在していない。そこで，本研究では，発話の書き起こしデータである日本語話し言葉コー パス (Corpus of Spontaneous Japanese; CSJ) [3] を用 いて話し言葉 BERT の作成を行った. 具体的には, Wikipedia で学習された書き言葉 BERTを元に, 次 の 2 つの手法を用いて話し言葉 BERTを作成した.

## 1. 一部の層のみを話し言葉データで追加学習

2. 分野適応の手法を用いて追加学習

1 つめの手法は，書き言葉と話し言葉の差は主に統語的な側面にあるという仮説のもと, BERT の学習 を行う. BERT における統語情報の学習がどの層で 行われてるのかに関して, 複数の観点から研究が行 われている $[4,5,6]$. 彼らの主張に基づいて，一部の 統語的な面を学習していると考えられる層のみを追加学習することで，BERT の層の全てを学習するよ り話し言葉の統語情報をうまく学習できるのか検証 した. 2 つめの手法は, 話し言葉 BERTを作成する ために，書き言葉で学習した BERT に対して話し言葉データで分野適応を行う．具体的には Gururangan ら [7] の手法を参考に, CSJ 以外の発話の書き起こ


\author{
坂田大直 \\ 株式会社レトリバ \\ hiromasa.sakata@retrieva.jp
}

しデータを用意し，それらを用いて BERTを分野適応した。

また，作成した話し言葉 BERTを評価するため，本研究では評価タスクを作成した. CSJには様々な アノテーションがされており，その中から本研究は 係り受け解析と文境界推定，重要文抽出の 3 つの評価タスクを作成した。係り受け解析は，作成したモ デルが統語的な情報を捉えられているか，文境界推定と重要文抽出は応用的なタスクに転用可能かどう か調べるために行う。

実験結果から，BERT の一部の層のみを学習する 手法は統語的な面が強いタスクに有効であることが わかった. また, 分野適応の手法を用いて追加学習 することにより，書き言葉 BERT は話し言葉 BERT に分野適応可能なことがわかった. 本研究で作成し た話し言葉 BERT は公開予定である.

## 2 関連研究

BERT は単言語コーパスに対して MLM とNSP と 呼ばれる 2 つの目的関数を用いて事前学習を行って いる. Devlin ら [1] は事前学習した BERT に対して,最終的に解きたいタスクで fine-tuning を行うことで 高い精度が得られることを報告している．入力のあ る単語 $w_{i}$ に対して，いくつかの Transformer Encoder 層を重ね, 最終的に得られた $h_{w_{i}}$ を BERT の単語単位の出力として使用している。また，文頭に [CLS] を入れ, 対応する出力 $h_{[C L S]}$ を文単位の出力とし て使用している。私たちの知る限り，日本語では Wikipedia で事前学習したモデル²), SNS で学習した モデル3)，ビジネス記事で学習したモデル ${ }^{4)}$, 様々な Webテキストで学習したモデル5) が存在している.本研究は，これらの書き言葉データではなく, 発話

表 1 CSJ 5-gram LM に対する PPL

の書き起こしデータで BERT の事前学習を行った.

Tenney ら [4] は BERT の前半の層，つまり 12 層 の場合は 1-6 層が統語的な構造を，後半の層が意味的な情報を扱っていることを報告している。一方 で, Jawahar ら [5] や Hewitt and Manning [6] は BERT 12 層の内，それぞれ 8-9 層と 6-9 層が統語的な特徴 を捉えていると報告している. 本研究では，書き言葉と話し言葉の差は統語的な側面に存在すると考え た. 上記の先行研究を踏まえ，統語的な特徴を捉え ている層のみを追加学習することで話し言葉に向け たBERT の作成を試みた.

Gururangan ら [7] は BERT の派生モデルであ る RoBERTa [8] の分野適応のため, domain-adaptive pretraining (DAPT) と task-adaptive pretraining (TAPT) を提案した. DAPT は事前学習された RoBERTaに 対して，解きたいタスクが属している分野のラべ ルなしデータを用いて追加で事前学習を行う手法 である. TAPT は事前学習された RoBERTa に対し て，解きたいタスクのラベルは使用せず，テキスト データのみを用いて追加で事前学習を行う手法であ る. 本研究は, 話し言葉 BERT 作成に向けて TAPT とDAPTを用いた。

## 3 話し言葉 BERT の学習

## 3.1 Layer-wise Pretraining

本研究では書き言葉と話し言葉の差が統語に存在するという仮説のもと，BERT の学習を行った.具体的には，BERT の一部の層が統語的な学習を 行っていることを踏まえて, 既存の 12 層の書き言葉 BERT の一部の層のみに対して，CSJを用いた MLM と NSP の追加学習 (layer-wise) を行った. 先行研究 $[4,5,6]$ を参考に, 本研究では 1-6 層のみを 学習した場合 (layer-wise ${ }_{[1-6]}$ ) と 8-9 層のみを学習 した場合 (layer-wise ${ }_{[8-9]}$ ) と 6-9 層のみを学習した 場合（layer-wise ${ }_{[6-9]}$ ）を実験している.

## 3.2 DAPT/TAPT Pretraining

本研究では TAPT と DAPTを用いて，書き言葉 で学習された BERTを話し言葉に分野適応する。表 2 データサイズ

TAPT については，CSJを用いて評価を行うことか ら，CSJ のラベルなしデータを用いた MLM と NSP の追加学習を書き言葉 BERT に対して行っている.

本研究は DAPT に向けて，CSJ 以外の発話の書き 起こしデータとして国会議事録6)を用意し，MLM と NSP の追加学習を行っている. 事前実験として，国会議事録は本当に CSJ に近しい分野なのかを確認 した. 具体的には CSJ データから 5-gram 言語モデ ル（LM）を作成，この LM を元に国会議事録のパー プレキシティ（PPL）を計測した。また比較として CSJ LM に対する Wikipedia の PPL も計測している. この比較の際，国会議事録と Wikipedia のデータサ イズはほとんど同じになるように調整している．表 1 が Out-of-Vocabulary（OOV）を含んだ場合，含まな い場合の PPLである.この結果から，少なくとも Wikipedia と比べると国会議事録の方が CSJ に LM の観点では近しいことがわかる。

## 4 実験

本研究では，書き言葉 BERT に対して layer-wise または DAPT/TAPT を用いた話し言葉への分野適応 を行った後に，話し言葉検証タスクを行った.

## 4.1 実験設定

本研究では書き言葉 BERT として Wikipedia で学習された BERT ${ }^{7}$ （Wikipedia BERT）を使用した。ま た，CSJコアデータを評価タスクに，コアデータと 非コアデータ全てを BERT の追加学習に使用した. データサイズを表 2 に示す。単語分割は $\left.\mathrm{MeCab}^{8}\right)$ と WordPiece ${ }^{9 ）}$ [9]を用いている.

layer-wise の学習は，CSJ 全てを用い，バッチサイ ズ 8 で $90 \mathrm{~K}$ ステップ行っている. この時の最大文長 は 512 としている. 詳細は付録 A. 1 に記載した。

DAPT には国会議事録を使用している。DAPT は


DAPT/TAPT については，TAPT512 が最も高い精度だった. TAPT512 に比べると DAPT512 の学習は 精度が低いが, Wikipedia BERT と比べると高い結果 であることがわかる.

重要文抽出 話し言葉の応用的なタスクの 1 つと して，重要文抽出を行う．CSJには各文ごとに重要文かどうかの 2 值のアノテーションが振られてい る. 入力 $x$ が 1 講演で， $x$ 内の各文頭に [CLS]トー クンを付与し, $h_{[C L S]}$ に対して重要文かどうかの 2 值分類を推定する。本研究では Liu and Lapata [13] の BERTを利用した抽出型要約モデルを重要文分類 に利用している。この検証タスクは 5 分割交差検証 を用いており，評価は重要文かどうかについての 2 値分類について，重要文ラベルに対する Precision, Recall，F-measure を用いている.

実験結果を表 3 に示す。係り受け解析や文境界推定の結果と違い, 重要文抽出においては全ての手法 が Wikipedia BERT より高い結果とはならなかった.

layer-wise については layer-wise $_{[\text {all] }}$ と layer-wise ${ }_{[6-9]}$ は Wikipedia BERT より高い結果になっているが，他 の一部の層のみを学習したモデルは低い結果となっ ている。また, layer-wise ${ }_{[a l l]}$ が layer-wise 内で最も高 い精度であることから，重要文抽出では一部の層の みを学習する手法は効果が薄いことがわかる.

DAPT/TAPT については，係り受け解析や文境界推定の結果と異なり，DAPT512 は TAPT512 よ り精度が高い結果となった. また, 最も精度が 高かったのは DAPT128-TAPT512だった. 一方で， DAPT512-TAPT512 は, Wikipedia BERT よりも低い 結果となっている. これらの結果から, 重要文抽出 においてはDAPT と TAPTを組み合わせる手法は有効ではあるが，最大文長のパラメータによって結果 が大きく変わることがわかる.

また，TAPT512 については，学習量が足らないと 考え，TAPT の学習ステップを $20 K$ ではなく, $80 \mathrm{~K} ま$ で $20 \mathrm{~K}$ 刻みで行った。詳細な結果は付録 Bに示し，表 3 では最も高かった TAPT 60K ステップの結果を 記載している。この結果から分かる通り，TAPT512 について，学習量を増やすことでWikipedia BERT よ り高い結果となっている.

## 5 考察

文境界推定は単語の活用，特に終止形を当てる必要があると考えられ，統語を捉える必要があるタス クであると考えられる。この文境界推定や係り受け解析に対しては一部の層のみを学習することの有効性が確認できた. 特に, 前半の層のみを学習した場合は全ての層を学習するより高い精度を出してい る。一方で，文の意味を捉える必要があるタスクで ある，重要文抽出では一部の層のみを学習するアプ ローチは効果が薄い。これは，一部の層のみを学習 するアプローチは統語的な情報は捉えることができ るが，意味的な面ではうまく捉えることができてい ないからだと考えられる．仮に，Teeny ら [4] の主張 の通り，前半の層が統語を，後半の層が意味的な情報を扱っていると考えた場合，後半の層をうまく学習することができれば重要文抽出でも精度が向上す ると考えられる。

係り受け解析や文境界推定ではDAPTよりは TAPT の方が効果があったが，重要文抽出では DAPT の方が有効であり，TAPT は学習量を増やすことで DAPT と TAPT を組み合わせたものと同じくらいの 結果となった. これらの結果から，統語を捉える 必要があるタスクは TAPT だけでも十分ではある が，意味を捉える必要があるタスクだと TAPT はよ り多く学習を行わなければいけないことがわかる.一方で，DAPT と TAPTを組み合わせることでどの タスクでも精度向上が見込める。これは，DAPT と TAPT を連続して行うことで話し言葉分野の様々な データを学習に使用し，タスクに対して頑健なモデ ルができるからではないかと考える。

## 6 おわりに

本研究では，話し言葉 BERT 作成に向けて，一部 の層のみの学習と分野適応の 2 つの手法を用いた. また，CSJ から係り受け解析，文境界推定，重要文抽出といった BERT を用いた 3 つの評価タスクを設計した．実験の結果，BERT の一部の層のみを学習 する手法は統語的なタスクに有効であることがわか り，簡単な分野適応手法で話し言葉モデルを作成で きることがわかった。作成したモデルはそれぞれ日本語話し言葉部分学習 BERT, 日本語話し言葉分野適応 BERT として公開予定である。

## 謝辞

この研究は, 国立国語研究所との共同研究で行っ たものです. 国立国語研究所の浅原正幸様，前川喜久雄様，小磯花絵様には有益な助言をいただき，岡照晃様には研究環境管理などのご支援賜りました。 この場を借りて深く御礼申し上げます。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, $¥$ L ukaszKaiser, Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, 第 30巻, pp. 5998-6008. Curran Associates, Inc., 2017.

[3]Kikuo Maekawa. Corpus of spontaneous japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.

[4]Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[5]Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[6]John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7]Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online, July 2020. Association for Computational Linguistics.

[8]Y. Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019.

[9]Mike Schuster and Kaisuke Nakajima. Japanese and korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5149-5152. IEEE, 2012.

[10]Zhiyong Wu, Yun Chen, Ben Kao, and Qun Liu. Perturbed masking: Parameter-free probing for analyzing and interpreting BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4166-4176, Online, July 2020. Association for Computational Linguistics.
[11]Dan Klein and Christopher Manning. Corpus-based induction of syntactic structure: Models of dependency and constituency. In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04), pp. 478-485, Barcelona, Spain, July 2004.

[12]Roy Schwartz, Omri Abend, Roi Reichart, and Ari Rappoport. Neutralizing linguistically problematic annotations in unsupervised dependency parsing evaluation. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 663-672, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[13]Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 詳細な実験設定

## A. 1 layer-wise の詳細な実験設定

layer-wise のハイパーパラメータを表 4 に示す.

## A. 2 DAPT/TAPT の詳細な実験設定

DAPT/TAPT のハイパーパラメータを表 5 に示す.

## B TAPT の学習量を増やした際の重要文抽出の結果

TAPT のみの学習ステップ数が $\{20 \mathrm{~K}, 40 \mathrm{~K}, 60 \mathrm{~K}, 80 \mathrm{~K}\}$ の時のモデルを重要文抽出に使用した結果を表 6 に 示す.

表 6 TAPT の学習量を蓋した際の重要文抽出結果


 勝又智 株式会社レトリバ satoru.katsumata@retrieva.jp  