# 異なる単語分割システムによる 日本語事前学習言語モデルの性能評価

鈴木 雅弘 ${ }^{1}$ 坂地 泰紀 ${ }^{1}$ 和泉 潔 $^{1}$
1 東京大学
msuzuki@g.ecc.u-tokyo.ac.jp \{sakaji,izumi\}@sys.t.u-tokyo.ac.jp

## 概要

日本語で構築された事前学習言語モデルでは,入力文を形態素解析器などを用いて単語に分割し てからトークン分割を行うことが多い.しかし， End-to-End で学習を行う近年の事前学習言語モデル において，人為性の高い単語分割を行うことはモデ ルの効率性を下げる可能性がある. 本研究では，異 なる単語分割システムから構築した日本語の事前学習言語モデルが，下流の評価タスクの性能に及ぼす 影響について検証する. JGLUE ベンチマークによ る評価の結果, 単語分割システムを用いず構築した 言語モデルが，単語分割システムを用いて構築した 言語モデルより高い精度を示した。

## 1 はじめに

近年の自然言語処理では，Transformer [1]をべー スとした大規模事前学習言語モデルが盛んに用いら れる. BERT [2]を筆頭に，Transformerをべースとし た多くのモデルが提案されている $[3,4,5]$. これら のモデルは Wikipedia や Common Crawl など主に英語のコーパスを用いて構築される。言語タスクで高 い性能を示すこれらのモデルは，日本語でも構築・公開されるようになってきた. その一方で，英語で 提案・構築されたモデルをそのまま日本語に適用す る際には，トークン分割での処理を変更することが 多い. 例えば，BERT や ELECTRA [3] では，入力文 を半角スペースで単語に分割し，その後それぞれの 単語をトークン (サブワード) に分割する。しかし一般的な日本語の文章では半角スペースで単語が分か れていない。そのため日本語の大規模事前学習言語 モデルの構築時には，外部の形態素解析器などを用 いて単語分割を行うことが多い.

日本語の大規模事前学習言語モデルの構築例と
して，東北大学が公開している BERT モデル1)では MeCab [6] を，早稲田大学が公開している RoBERTa モデル2)では Juman++ [7,8]を，リクルートが公開し ている ELECTRA モデル3)では Sudachi [9] を用いて いる。このように，単語分割に用いられるシステム は多岐に渡っている。 また, rinna 社の RoBERTa ${ }^{4}$ で は，RoBERTa [5] で提案・公開されているモデルと 同様に，入力文に単語分割を行わずサブワード分割 を行う。日本語で構築されたこれらのモデルを比較 する際には，モデルのアーキテクチャだけでなく，用いられている単語分割の手法についても留意する 必要がある. この事象は日本語の言語モデル間の比較を困難にしている。

さらに，日本語の言語モデルで用いられている単語分割のシステムは，事前学習言語モデルにおける 単語分割が目的ではなく, 文の意味処理や情報抽出 など，それぞれ目的を異にしている。言語モデルに 対して人為性の高い分割を加えることで，モデルの 効率が落ちている可能性がある．実際にニューラル 機械翻訳では，単語分割をせずに，統計的に一貫性 のある分割手法を用いることで精度が向上すること が示されている [10]. 近年主流の事前学習言語モデ ルによる言語処理においても，目的に適したトーク ン分割手法を選ぶ必要があり，従来の単語分割手法 に依らずにトークン分割を行うことが下流タスクで の精度の向上につながる可能性がある.

本研究では, 日本語において単語分割の手法が事前学習言語モデルに与える影響について検証を行 う。具体的には，異なる単語分割の手法を用い，同 じコーパスから異なるトークナイザーを構築する。

1) https://huggingface.co/cl-tohoku/ bert-base-japanese-v2

2) https://huggingface.co/nlp-waseda/ roberta-base-japanese

3) https://huggingface.co/megagonlabs/ electra-base-japanese-discriminator

4) https://huggingface.co/rinna/japanese-roberta-base

これらのトークナイザーから構築した事前学習言語 モデルについて，下流タスクにおける性能の比較を 行う. 事前学習言語モデルにおいて, 単語分割の手法による下流タスクでの性能やサブワードを含めた トークン分割の傾向の違いが明らかになることで,日本語ドメインにおけるより活発な言語モデルの構築が期待できる.

## 2 関連研究

本研究と同様に，サブワードを含めたトークン分割システム (トークナイザー) が日本語 BERT モデル に及ぼす影響を評価する取り組みが既になされてい る [11].この論文では，IPA辞書と MeCabを用いて 学習した BERT モデルとサブワードの語彙を固定 する. サブワードの語彙の再構築や事前学習は行わ ず，単語分割の手法のみを入れ替え，下流タスクに おける性能の比較を行っている. サブワードの語彙 やモデルの重みに変化がない環境では，単語分割手法の違いによって下流タスクでの大きな性能の変化 はないことを示している.

汎用言語ドメインとは異なる専門用語が出現する 法律や医療，金融のドメインでは，各ドメインの文書を用いて事前学習を行うことでそのドメインのタ スクにおいてより高い性能を示す $[12,13,14]$. その 際，事前学習のコーパスだけでなくトークナイザー を構築するコーパスもドメイン適合を行うことで， より自然なトークン分割が可能になりモデルの性能 の向上にも寄与する [14] など，語彙のドメイン適合 も性能に影響を与える [15] ことが示されている. こ のように，モデルのアーキテクチャだけでなくトー クナイザーの構築方法も重要であることから，トー クナイザーの構成要素の 1 つである単語分割も重要 な要素と捉えることができる.

## 3 トークナイザーの構築

近年の事前学習言語モデルのトークン分割(トー クナイザーの適用) は次の手順で行う. まず単語分割を行う場合には入力文を単語に分割する。その 後，それぞれの単語をトークン (サブワード) に分割 を行う. 本節では，実験で適用するサブワード分割 と単語分割の手法についてそれぞれ述べる。

## 3.1 サブワード分割

Transformer をべースとした事前学習言語モデ ルのトークン分割の手法としては, WordPiece [16]表 1 比較を行う単語分割器. モデル名は，単語分割器ご とに構築した言語モデルの呼称に用いる. Sudachi の辞書 は Core を用いる. Unsegmented は，単語分割をせずに入力文に直接 SentencePieceを適用することを指す。

と SentencePiece [10] の 2 種類に大きく分けるこ とができる. 本研究ではサブワード分割の実装 に，実装が公開されている SentencePiece を用いる. SentencePiece ではスペースも他の文字と同様に扱 い，スペースを含めた一文に対してサブワードに分割する. WordPiece と異なり, 単語分割の前処理が 必要ないため, 日本語でも単語分割器を用いずに トークナイザーを構築できる. 本研究では，単語分割の手法の比較に加え, 単語分割をせずに入力文に 直接 SentencePiece を適用する場合についても比較 を行う。

## 3.2 単語分割

単語分割を行うために, 本研究では以下の 4 種類 の手法を用いる.

## - MeCab
- JUMAN++
- Sudachi
- UD Japanese GSD LUW ${ }^{5)}$ [17]

これらはそれぞれ本来の役割や目的が異なるも のの, 本研究では以降「単語分割器」として統一し た呼称にて扱うこととする. UD Japanese GSD LUW は，Universal Dependencies (UD) Japanese に基づいて 国語研長単位 (Long Unit Word, LUW) [18] の解析を 行うモデルである. UD Japanese GSD LUW の当該 バージョンはプレリリースであることに留意され たい.

単語分割器によっては手法や辞書ごとに異なる単語分割が行われる場合があるため，これについても 比較を行う．MeCabでは，システム辞書として IPA

表 2 構築したトークナイザーを用いたトークン分割の例. トークン分割の際，サブワード分割のために単語間に挿入さ

 &  \\

辞書と UniDic が利用可能である. また，Sudachi で は 3 つの異なる分割モード (A:UniDic 短単位相当, $\mathrm{C}$ :固有表現相当, B:A と C の中間的な単位)を利用 できる6). 本研究では辞書や分割モードが異なるこ れらの場合についても比較を行う. 本研究で構築す るトークナイザーの一覧を表 1 に示す. 上述した単語分割器のバリエーションに加え， 3.1 節で述べた,単語分割をせず入力文に SentencePieceをそのまま適用するものについても表 1 の最下部に Unsegmented として記載している.

## 3.3 トークナイザーの振る舞いの比較

構築したトークナイザーを用い，同じ文について 単語分割を行った例を表 2 に示す. この例では，単語分割を行わない Unsegmented でも他の単語分割器 と比べて大きく異なることなくトークン分割が行わ れている. 1 文から生成されたトークン数は 11 と最 も少なく，次に少なかったのは GSDLUW の 13 トー クンであった. 入力文に直接 SentencePiece を適用 することで，単語分割器を適用した場合に比べてよ り少ないトークン数で分割が行われていると考えら れる。トークン数が多かったのは MeCab-Unidic (18 トークン) と Sudachi-A (17 トークン)であった. こ れらの単語分割器による分割では, MeCab-Unidic で 15 単語, Sudachi-A で 16 単語と単語分割の時点から 語数が多い.これはどちらも短単位 [19]にもとづい ているために比較的短い語ごとに分割される事によ ると考えられる。

6) https://github.com/WorksApplications/Sudachi/blob/v0. 7.0/README.md\#分割モード

## 4 事前学習言語モデルの構築

事前学習モデルのアーキテクチャとして, 本研究 では RoBERTa [5] を用いる. 学習率は 1e-4，バッチ サイズは 4,024 ，学習ステップ数は 12,000 , Warm up ステップ数は 640 とする. 学習速度向上のため, 計算精度は bfloat16とし，実装には DeepSpeed [20]を 活用する。その他のハイパーパラメータは文献 [5] に記載されている base モデルを参考とする。

学習を行うコーパスには日本語 Wikipedia ${ }^{7)}$ の 2022 年 6 月 1 日の版から抽出した約 3,400 万文を用 いる. モデルの最長入力長は 128 とする. 文献 [5] と異なり，データセットには予めマスキングを 行う.

## 5 評価実験

前節で構築した事前学習 RoBERTa モデルに対し， ファインチューニングによる評価実験を行い性能 を評価する。本研究では，JGLUE $[21,22]$ に含まれ るJSTS，JNLI，JCommonsenseQAを用いて評価を行 う. JGLUEで公開されているデータとしては，これ らの他に MARC-ja と JSQuAD が存在するが，これ らのタスクの入力長の最大值が 128 を超えているこ とから，上記の 3 タスクに限定する。 2023 年 1 月現在，JGLUE では学習データと評価データのみが公開 されており，テストデータが公開されていない。 そ のため，JGLUE における評価データを本研究ではテ ストデータとし，JGLUEにおける学習データを本研

表 3 評価実験のハイパーパラメータ

究では学習データと評価データに分ける. 本研究で 使用する評価データのサンプル数は，テストデータ (JGLUE における評価データ) と同数 ${ }^{8)}$ とする.

評価実験で使用するハイパーパラメータを表 3 に 示す. 各エポックごとに評価を行い，最も精度が高 かったエポックを採用する。構築したそれぞれのモ デルについて，異なる 10 個のシード值を用いて実験を行い，算出された 10 個の結果について平均し たものを報告する。

## 6 結果と考察

評価実験の結果を表 4 に示す. 評価実験を行った 3つのタスクの全てで評価指標は同じではないもの の, 比較のために 3 つのタスクの結果の平均をとり,右列に記載している. 3 つのタスクの平均精度が最 も高かったのは, 入力文に直接 SentencePiece を適用 した Unsegmented のモデルとなった. Unsegmented モデルでは JSTS や JNLI は他のモデルと精度は 大きく変わらなかったものの, JCommonsenseQA (JCQA) において他のモデルより高い精度を示した. JCommonsenseQA で精度の差が見られた理由とし ては，学習データの数とタスクの難易度が考えら れる. JCommonsenseQA は JSTS と JNLI に比べ学習 データ数が少なく，また常識 (Common Sense)を問 う問題であり，学習データのファインチューニング のみによって適合することは他の 2 つのタスクに比 べ困難である. そのため, 事前学習を効率的に行う ことができたモデルがより高い精度を示した可能性 がある.

単語分割を行ったモデルでは，3つのタスクごと に性能差は存在したものの，平均して大きく性能差 が見られたモデルはなかった. 大きな性能差が見ら れなかった理由として，本研究で扱った下流タスク が分類や類似度判定タスクのみであったことが考え られる。単語の認識がより重要になると考えられる

8）各サンプル数はhttps://github.com/yahoojapan/JGLUE/ tree/v1.1.0\#tasksdatasetsを参照されたい表 4 評価実験の結果. JCQA は JCommonsenseQA を表 す. 評価指標は，JSTS では Pearson，JNLI・JCQA では Accuracy を用いる.

固有表現抽出や構文解析のタスクでは，単語分割器 によって異なる傾向が見られる可能性がある.

本研究ではサブワード分割手法として SentencePiece のみを用いたが，BERT や ELECTRA では WordPiece が用いられている．異なるサブワード分割手法を用いた際の下流タスクでの性能についての 検証は今後の課題である. また, 本研究では入力長 の制限から評価を行うタスクが 3 種類であった. よ り精緻な比較を行うためには，評価タスクの種類を 増やすことも重要であると考えられる。

## 7 おわりに

本研究では, 日本語の大規模事前学習言語モデル において様々な単語分割器が用いられていること を念頭に，単語分割器が下流タスクの性能に与え る影響の比較を行った. 単語分割器ごとに異なる トークン分割の挙動を示すトークナイザーを構築 した. これらのトークナイザーを用いて事前学習言語モデルを構築し，JGLUE ベンチマークを用いた 評価実験を行った. その結果，単語分割器を用いず SentencePiece のみでトークナイザーを構築した言語 モデルが他の単語分割器を用いた言語モデルに比べ て高い精度を示した. 単語分割器を用いた言語モデ ルの間で大きな精度の差は見られなかった。

単語分割器を用いずにトークン分割を行うこと で，人間の直感とは異なる分割が行われる可能性が ある。しかし, AlphaGo Zero [23] が人間を越え新し い定石を生み出してきたように，言語処理において も今までの単語分割を用いない分割手法が性能向上 をもたらすことが示唆された. 本研究が日本語にお ける最先端の事前学習言語モデルのさらなる活用に つながることを期待する。

## 謝辞

本研究はJSPS 科研費 JP21K12010, JST 未来社会創

造事業 JPMJMI20B1，及び JST さきがけ JPMJPR2267

の助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NeurIPS), Vol. 30, pp. 5999-6009, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[3] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators. In 8th International Conference on Learning Representations (ICLR), 2020.

[4] Radford, Alec and Narasimhan, Karthik and Salimans, Tim and Sutskever, Ilya. Improving Language Understanding by Generative Pre-Training, 2018.

[5] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov, and Paul G Allen. RoBERTa: A Robustly Optimized BERT Pretraining Approach, 2019.

[6] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP 2004), pp. 230-237, 2004.

[7] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological Analysis for Unsegmented Languages using Recurrent Neural Network Language Model. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, 2015

[8] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A Morphological Analysis Toolkit for Scriptio Continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, 2018 .

[9] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese Tokenizer for Business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[10] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[11] 築地俊平, 新納浩幸. Tokenizer の違いによる日本語 BERT モ デルの性能評価. 言語処理学会第 27 回年次大会, 2021.

[12] Keisuke Miyazaki, Hiroaki Yamada, and Takenobu Tokunaga. Cross-domain analysis on Japanese legal pretrained language models. In Findings of the Association for Computational Linguistics: AACL-IJCNLP 2022, pp. 274-281, 2022.

[13] Kexin Huang, Jaan Altosaar, and Rajesh Ranganath. Clinicalbert: Modeling clinical notes and predicting hospital readmission. In Conference on Health, Inference, and Learning (CHIL) Work- shop Track, 2020.

[14] Masahiro Suzuki, Hiroki Sakaji, Masanori Hirano, and Kiyoshi Izumi. Constructing and analyzing domain-specific language model for financial text mining. Information Processing \& Management, Vol. 60, No. 2, p. 103194, 2023.

[15] Shoetsu Sato, Jin Sakuma, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Vocabulary Adaptation for Domain Adaptation in Neural Machine Translation. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4269-4279, November 2020.

[16] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, 2016.

[17] 松田寛, 大村舞, 浅原正幸. Ud japanese に基づく国語研長単位解析系の構築. 言語処理学会第 28 回年次大会, 2022.

[18] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕.『現代日本語書き言葉均衡コーパス』形態論情報規程集 第 4 版（上）, 2011 .

[19] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕.『現代日本語書き言葉均衡コーパス』形態論情報規程集 第 4 版（下）, 2011.

[20] Jeff Rasley, Samyam Rajbhandari, Olatunji Ruwase, and Yuxiong He. DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 35053506, 2020.

[21] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, 2022.

[22] 栗原健太郎, 河原大輔, 柴田知秀. JGLUE: 日本語言語理解べ ンチマーク. 言語処理学会第 28 回年次大会, 2022.

[23] David Silver, Julian Schrittwieser, Karen Simonyan, Ioannis Antonoglou, Aja Huang, Arthur Guez, Thomas Hubert, Lucas Baker, Matthew Lai, Adrian Bolton, et al. Mastering the game of Go without human knowledge. Nature, Vol. 550, No. 7676, pp. 354-359, 2017.
 鈴木 雅弘 ${ }^{1}$ 坂地 泰紀 ${ }^{1}$ 和泉 潔 $^{1}$ 1 東京大学 msuzuki@g.ecc.u-tokyo.ac.jp \{sakaji,izumi\}@sys.t.u-tokyo.ac.jp  