# 平仮名 BERT を用いた平仮名文の分割

井筒順 1 古宮嘉那子 2 新納浩幸 3
1 茨城大学大学院理工学研究科情報工学専攻 2 東京農工大学工学研究院
3 茨城大学大学院理工学研究科情報科学領域
21nm707h@vc.ibaraki.ac.jp kkomiya@go.tuat.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

既存の日本語の形態素解析システムの性能は非常 に高いが、これらシステムは漢字仮名混じりの文を 対象にしているため、平仮名で書かれた文を単語分割することは難しい。本論文では漢字以外の文字、 つまり平仮名、数字、記号からなる文字べースの unigram BERT と bigram BERT を作成し、これらを利用して二種類の平仮名文の単語分割システムを構築 した。これらを KyTeaを利用した平仮名分割システ ムと比較したところ、unigram BERTによる平仮名分割システムの性能が最も高くなったことを示す。

## 1 はじめに

日本語には $\mathrm{MeCab}^{1)}$ や Chasen ${ }^{2}$ 等の形態素解析シ ステムが存在している。これらのシステムの性能は 非常に高いが、漢字仮名混じりの文を対象にしてい るため、ほとんど全てが平仮名で書かれた文3)を単語分割することは難しい。

日本語初学者が最初に習得するのは平仮名であり 平仮名で構成された文章を読む機会が多い。しかし 平仮名で構成された文章を滞ることなく読むことは 日本語の母語話者であっても難しい。

本稿では BERT を利用した 2 種類の平仮名文の分割システムを作成しその性能評価を行う。さらに、 $\mathrm{KyTea}^{4)}$ を用いた平仮名文 KeyTea 単語分割システム を作成し、作成した 2 種類の BERT による平仮名文 の単語分割システムと比較する。

## 2 関連研究

工藤ら [1] は，平仮名交じり文が生成される過程 を生成モデルを用いてモデル化した。そして、その

1) https://taku910.github.io/mecab/

2) https://chasen-legacy.osdn.jp

3）数字や記号は含まれている。

4) http://www. phontron.com/kytea/
パラメータを大規模 Webコーパスと EM アルゴリズ ムで推定することで、平仮名交じり文の解析性能を 向上させる手法を提案している。また、林ら [2] は 平仮名語の単語を辞書に追加することで形態素解析 の精度が向上することを報告している。井筒ら [3] は $\mathrm{MeCab}$ の ipadic 辞書を平仮名に変換し、平仮名 のみで構成されたコーパスを用いることで平仮名の みの文での形態素解析を行っている。さらに、井筒 ら [4] は Bi-LSTM CRF モデルを用いた平仮名文の形態素解析を行い、複数のジャンルの文に対して複数回、学習とファインチューニングを行うことで形態素解析の性能にどのように変化を与えられるかを報告している。また、森山ら [5] は RNNLMを用いた べた書きかな文の形態素解析を行ない、その性能が 単語分割と単語素性の全てを正解とする最も厳しい 基準において従来手法を有意に上回ることを報告し ている。さらに、森山ら [6] は RNN とロジスティッ ク回帰を用いた平仮名文の逐次的な形態素解析手法 を提案し、平仮名文における形態素解析の性能向上 とシステムの高速化を報告している。

分野に特化した BERTを作成する研究として代表的なものには鈴木ら [7] の研究がある。これは、金融文書を用い金融に関する文に特化した BERTを作成したことを報告する論文である。鈴木らは、汎用言語コーパスを用いて事前学習を行った BERT モデ ルに対して、金融コーパスを用いてファインチュー ニングを行うことが有効であるかの検証を行なって いる。

本論文は井筒 $[8]$ を再実験し、追加実験と考察を 加えたものである。

## 3 提案手法

本稿では平仮名文に特化した 2 種類の平仮名 BERT モデルを生成し、それぞれを利用して平仮名文の単語分割システムを作成した。平仮名 BERT モ

デルのうち、1つ目のモデルは unigram BERT モデ ルである。これは平仮名の文字 unigram で構成され た文集合を事前学習に利用して生成した BERT モデ ルである。2つ目のモデルは bigram BERT モデルで ある。これは平仮名の文字 bigram で構成された文集合を事前学習に利用して生成した BERT モデルで ある。我々は上記 2 つのモデルを平仮名文の単語分割のデータを使ってファインチューニングすること で、平仮名の文の単語分割システムを作成した。本研究では、これら 2 つの平仮名文の単語分割システ ムの $\mathrm{F}$ 值を比較する。さらに、KyTeaによる平仮名文の単語分割のモデルを作成し、上記 2 つの平仮名文の単語分割システムの $\mathrm{F}$ 値と比較する。

## 3.1 unigram BERT 単語分割システム

unigram BERT は、事前学習用データとして平仮名 の文字 unigram で構成された文を利用した BERT モ デルである。Wikipedia の漢字仮名交じり文を平仮名に変換し、さらに文字 unigram に分かち書きした データを事前学習用のデータとして使用した。この unigram BERT に対し、平仮名文の単語分割のデー タを使ってファインチューニングすることで、平仮名文の単語分割システムを作成した。これを以降、 unigram BERT 単語分割システムと呼ぶ。

## 3.2 bigram BERT 単語分割システム

bigram BERT は、事前学習用データとして、平仮名の文字 bigram で構成された文を利用した BERT モデルである。Wikipedia の漢字仮名交じり文を平仮名に変換し、さらに文字 bigram に分かち書きし たデータを事前学習用のデータとして使用した。こ の bigram BERT に対し、平仮名文の単語分割のデー 夕を使用してファインチューニングをすることで、平仮名文の単語分割システムを作成した。これを以降、bigram BERT 単語分割システムと呼ぶ。

4

## データ

## 4.1 Wikipedia による事前学習用データ

2 種類の平仮名 BERT を作成するための事前学習

本データの作成方法は以下である。まず、 Wikipedia の漢字仮名交じり文を MeCabを利用して

5) https://dumps.wikimedia.org/jawiki/latest/

6) jawiki-latest-pages-articles.xml.bz2形態素解析し、形態素解析結果における読み部分を 利用することで平仮名のみで構成された文を得る。 MeCab の辞書には Unidic を利用した。MeCab の読 みデータから作成しているため、出力される平仮名文は、正確な平仮名文ではなく、疑似的な平仮名文である。次に、平仮名のみで構成された文を文字 unigram の形と文字 bigram の形に変換した。ただ し、bigram の終端における文字列は、unigram との 文字数を揃えるために、句点に文字種「*」を追加し た「。*」としている。最後に、文の行頭と行末に対 してそれぞれ [CLS] タグと $[\mathrm{SEP}]$ タグを付与した。

上記の操作により 300 万文の Wikipedia による事前学習用データを得た。

## 4.2 Wikipedia による平仮名文の単語分か ち書きデータ

unigram BERT と bigram BERT におけるファイン チューニングに利用するデータとして、Wikipedia による平仮名文の単語分かち書きデータを作成し た。本データは、 $\mathrm{MeCab}$ の単語分割結果を信じ、そ の平仮名表記を利用して作成した。また、単語分割 を二値分類として処理するため、分割対象位置の文字を 1、それ以外の文字を 0 とするタグデータを作成した。

上記の操作により 100 万文の Wikipedia による平仮名文の単語分かち書きデータを得た。

## 4.3 日本語書き言葉コーパスによる平仮名文の単語分かち書きデータ

日本語書き言葉コーパス (以下 BCCWJ[9] と記す) のコアデータは人手により単語に分けられたデー タであるので、これを利用することにより正確な平仮名文を作成することが可能となる。BCCWJコア データを平仮名の分かち書きに変換したデータを平仮名文の単語分割システムのファインチューニング 用のデータおよびテストデータとして利用する。

本データの作成方法は以下である。まず BCCWJ のコアデータの読み情報を利用し、ほぼ平仮名で 構成された文に変換した。次にそれらの文を文字 unigram の形と文字 bigram の形に変換した。文字 unigram の形に変換したデータは unigram BERT の ファインチューニング用のデータとして利用し、文字 biram の形に変換したデータは bigram BERT の ファインチューニング用のデータとして利用する。 また BCCWJ のコアデータの単語区切りを利用し単語分割を二値分類として処理するための、分割対象位置の文字を 1 、それ以外の文字を 0 とするタグ

データを作成した。上記の操作により 40928 文の BCCWJによる平仮名の分かち書きデータを得た。 unigram BERT 作成及び bigram BERT 作成におい て使用した語彙の総数はそれぞれ 300 と 80956 であ る。語彙には平仮名、片仮名、アルファベット、数字、複数の記号が含まれている。

## 5 実験

作成した 2 種類の BERT における平仮名文の単語分割の $\mathrm{F}$ 值がファインチューニング時のデータ量と データの種類によりどのように変化するのかを検証 するために 2 つの実験を行った。

また二つの提案手法と比較するために、KyТeа を 用いて平仮名文の単語分割システムを作成した。こ れを以降、平仮名 KyTea 単語分割システムと呼ぶ。 KyTea は単語分割および読み推定の機能を持つシス テムである。部分的アノテーションから学習をする ことが可能であり、点予測を利用して文の解析を行 う。学習には、二つの提案手法による単語分割シス テムのファインチューニングに利用したデータと 同内容のものを用いた。ただし、フォーマットは KyTea に合うように変形した。

作成した単語分割システムは、テストデータに対 する正解率、適合率、再現率、 $\mathrm{F}$ 値を評価した。

## 5.1 実験 1：BCCWJによるファインチュー ニングの実験

この実験では、正確な平仮名文の単語分割情報の データを利用して、2 種類の BERT 単語分割システ ムの $\mathrm{F}$ 値を平仮名 KyTea 単語分割システムの $\mathrm{F}$ 値 と比較する。300万文の Wikipedia による事前学習用データを利用して平仮名 BERT を作成し、 40928 文の BCCWJによる平仮名文の単語分かち書きデー 夕を用いて単語分割システムの 5 分割交差検定を 行った。また平仮名 KyTea 単語分割システムにつ いても、 2 種類の BERT 単語分割システムと同様の データを用いて、 5 分割交差検定を行った。ただし、平仮名 KyTea 単語分割システムには、事前学習した BERTを用いていない。

次に、本実験において BERT の事前学習で使用し たパラメータを表 1 に、ファインチューニングで使用したパラメータを表 2 に示す。

表 2 ファインチューニングにおけるパラメータ

 &  & エポック数 & 50 \\

## 5.2 実験 2: Wikipedia によるファイン チューニングの実験

この実験では、疑似データである Wikipedia の単語分割情報を大量に利用した、3つの単語分割シス テムの F 值を比較する。300 万文の Wikipedia によ る事前学習用データを利用して平仮名 BERTを作成し、ファイチューニングのデータとして 100 万文 の Wikipedia による平仮名文の単語分かち書きデー タを利用して単語分割システムのファインチューニ ングを行った。なお、事前学習用のデータとファイ ンチューニング用のデータの重複はない。一方で、実験 1 における事前学習データと実験 2 における事前学習データは同一のものを利用している。また、 unigram BERT 単語分割システムおよび bigram BERT 単語分割システムに利用した 100 万文の Wikipedia による平仮名文の単語分かち書きデータを利用し、平仮名 KyTea 単語分割システムを作成し、評価し た。テストデータには 40 万文の Wikipedia のデータ と 40928 文の BCCWJによる平仮名文の単語分かち 書きデータをそれぞれ利用した。

実験 2 において BERT の事前学習で使用したパラ メータおよびファインチューニングで使用したパラ メータはどちらも epoch 数以外は実験 1 で利用した パラメータと同一である。実験 2 における epoch 数 は 24 とした。

## 6 実験結果

実験 1 : BCCWJによるファインチューニングの実験における各システムに対する 5 分割交差検定の正解率、適合率、再現率、 $\mathrm{F}$ 値を表 3 に示す。

表 3 実験 1 における各システムの結果

 &  &  \\

適合率 & $\mathbf{9 4 . 3 6}$ & 92.56 & 90.93 \\
再現率 & $\mathbf{9 4 . 2 4}$ & 92.60 & 88.56 \\
F 値 & $\mathbf{9 4 . 3 0}$ & 92.58 & 89.66 \\

表 3 から、unigram BERT 単語分割システムは平仮名 KyTea 単語分割システムと比較し、 $\mathrm{F}$ 值が 4.64 point 向上していることが分かる。また bigram BERT 単語分割システムは平仮名 KyTea 単語分割システム と比較して F 值が 2.92 point 向上している。さらに
unigram BERT 単語分割システムは bigram BERT 単語分割システムよりも $\mathrm{F}$ 値が 1.72 point 高い。

次に、実験 2 : Wikipediaによるファインチューニ ングの実験の結果を表 4 に示す。

表 4 実験 2 : Wikipediaによるファインチューニングの実験における各システムの結果

 &  &  \\

表 4 から unigram BERT 単語分割システムは、平仮名 KyTea 単語分割システムと比較し、Wikipedia をテストデータとした場合は $\mathrm{F}$ 値が 5.69point 向上

し、BCCWJ のコアデータをテストデータとして利用した場合は $\mathrm{F}$ 値が 4.59point 向上していることが 分かる。また bigram BERT 単語分割システムは、平仮名 KyTea 単語分割システムと比較し、Wikipedia をテストデータとした場合は $\mathrm{F}$ 值が 4.99point 向上 し、BCCWJをテストデータとして利用した場合 には F 値が 3.77point 向上していることが分かる。 さらに、unigram BERT 単語分割システムは bigram BERT 単語分割システムより高い $\mathrm{F}$ 値となった。 $\mathrm{F}$値の差は、Wikipediaをテストデータとした場合は 0.70point であり、BCCWJをテストデータとした場合は 0.82 point であった。

## 7 考察

表 3 と表 4 より、実験 1 と実験 2 でそれぞれ作成 した 2 つの平仮名 BERT 単語分割システムの $\mathrm{F}$ 值 は、平仮名 KyTea 単語分割システムの $\mathrm{F}$ 值よりも高 いことが確認できる。これにより、unigram BERT 単語分割システムと bigram BERT 単語分割システムが 有効であるといえる。

次に、実験 1 と実験 2 の結果を比較する。BCCWJ をテストデータにした実験結果同士（表 3 と表 4 の BCCWJ の結果）を比較すると、実験 1 における 2種類の平仮名 BERT 単語分割システムの $\mathrm{F}$ 値の方 が高い。これは、実験 1 のファインチューニング のデータはテストデータと同じ BCCWJであるが、実験 2 では Wikipeda のデータを利用しているため であると考えられる。特に、BCCWJでは正確な読 みと単語分割の区切りの情報を利用しているが、 Wikipedia は疑似データゆえに、Wikipedia データの 質は BCCWJ よりも低いと考えられる。実験 1 で利用した BCCWJ は約 4.5 万件であるのに対して実験 2 で利用した Wikipedia のデータは 100 万文であるこ とを考えると、ファインチューニングにおける疑似 データの量を増やしても、テストデータと同ドメイ ンの正確なデータには及ばないことが分かる。

一方で、大量の Wikipedia の疑似データを与えた 際、同 Wikipedia のテストデータに対する正解率は 99\%を超える（表 4)。そのため、テストデータと同 じドメインで、なおかつテストデータと整合性のあ る単語分割の情報をもつ大量のデータを利用して ファインチューニングした場合には、かなり単語分割の評価値が高くなることが分かる。

## 8 おわりに

本研究では、平仮名文に特化して学習した 2 種類 の BERTを利用した文単語分割システム、unigram BERT 単語分割システムと bigram BERT 単語分割シ ステムを作成した。このシステムは BERT の事前学習として、MeCabを利用して Wikipedia の平仮名文のデータから作成した文字 unigram または文字 bigram のデータを利用し、平仮名文の単語分かち書 きのデータでファインチューニングを行うことで 作成したものである。BCCWJ のコアデータを利用 した五分割交差実験と、Wikipedia のデータを利用 したファインチューニングによる実験において、平仮名文の単語分割の $\mathrm{F}$ 值は共に KyTea を用いた平仮名文単語分割システムの $\mathrm{F}$ 値を上回った。また、 unigram BERT 単語分割システムと bigram BERT 単語分割システムの $\mathrm{F}$ 値を比較すると、unigram BERT 単語分割システムの方が $\mathrm{F}$ 值が向上した。これには モデルの大きさに対する事前学習のデータ数が影響 したと考えられる。

また、実験により、ファインチューニングに利用するデータは、大量のドメインの異なった疑似 データよりも、少量のドメインの等しい、テスト データと整合性の取れたデータの方がよいことが分 かった。

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同研究（22FC04）と JSPS 科研費 $18 \mathrm{~K} 11421$ の助成を受 けています。

## 参考文献

[1] 工藤拓, 市川宙, David Talbot, 賀沢秀人. Web 上 のひらがな交じり文に頑健な形態素解析. 言語処理学会第 18 回年次大会発表論文集, pp. 1272-1275, 2012.

[2] 林聖人, 山村毅. ひらがな語の追加と形態素解析の精度についての考察析. 愛知県立大学情報科学部平成 28 年度卒業論文要旨, 2017.

[3] 井筒順, 明石陸, 加藤涼, 岸野望叶, 小林汰一郎,金野佑太, 古宮嘉那子. Mecabによる平仮名のみ の形態素解析. 言語処理学会第 26 回年次大会発表論文集, pp. 65-69, 2020.

[4] Jun Izutsu and Kanako Komiya. Morphological analysis of japanese hiragana sentences using the bi-lstm crf model,. 10th International Conference on Natural Language Processing (NLP 2021), 2021.

[5] 森山柊平, 大野誠寛, 増田英孝, 絹川博之ほか. Recurrent neural network language model を用いた べた書きかな文の形態素解析. 情報処理学会論文誌, Vol. 59, No. 10, pp. 1911-1921, 2018.

[6] 森山柊平, 大野誠寛. Rnn とロジスティック回帰 を用いた平仮名文の逐次的な形態素解析. 自然言語処理, Vol. 29, No. 2, pp. 367-394, 2022.

[7] 鈴木雅弘, 坂地泰紀, 和泉潔, 石川康. 金融文書を 用いた追加事前学習言語モデルの構築と検証.言語処理学会 第 28 回年次大会発表論文集, pp. 588-592, 2020.

[8] 井筒順, 古宮嘉那子, 新納浩幸. 平仮名 bert に よる平仮名文の分割. 研究報告自然言語処理 (NL), Vol. 2022-NL-253, No. 1, pp. 1-7, 2022.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

## A 追加実験

実験 1 と実験 2 の結果において、2 種類の平仮名 BERT 単語分割システムの $\mathrm{F}$ 値を比較すると、 unigram BERT 単語分割システムの $\mathrm{F}$ 值がより良い結果であることが確認できる。bigram の方が unigram より情報量が多くなるため、我々は bigram BERT 単語分割システムの方が、unigram BERT 単語分割シ ステムを上回ることを予想していたが、結果は逆 であった。この理由としては、モデルの大きさに 対応して必要になる学習データの差が考えられる。本研究において使用した平仮名 BERT の語彙数は unigram BERT 作成では 300 であり、bigram BERT 作成では 80956 であった。つまり語彙数に約 270 倍の 差が存在する。その分、モデルは大きくなるため、必要な学習データも多くなると考えられる。ところ が、 2 種類の平仮名 BERT 単語分割システムにおけ る事前学習で利用したデータ数はどちらも 300 万文であった。つまり、モデルの大きさに必要な学習 データ量に対して bigram BERT には十分な学習デー タではなかった可能性があり、それが unigram BERT 単語分割システムの $\mathrm{F}$ 值が bigram BERT の $\mathrm{F}$ 値を上回った要因であると考えられる。

語彙数に大幅な差があることに着目し、我々は、実験 1 のテストデータから記号等の文字種を除い たデータを利用し、各システムの評価を再度算出し た。実験 1 のテストデータから取り除かなかった文字種は、平仮名・片仮名・句点・読点・長音・符空白である。実験 1 のテストデータの各文に対して上記以外の文字種が含まれる文は評価せず、上記のみ の文字種で構成された文を各システムに入力し、評価した。本追加実験における結果を表 5 に示す。

表 5 実験 1 においてテストデータから記号を除いた場合 の各システムの結果

 &  &  \\

適合率 & $\mathbf{9 5 . 0 4}$ & 93.38 & 92.15 \\
再現率 & $\mathbf{9 4 . 9 3}$ & 93.50 & 89.81 \\
F 値 & $\mathbf{9 4 . 9 9}$ & 93.44 & 90.91 \\

表 5 より文字種を制限することにより全体的に F 值が向上していることが確認できる。特に、unigram BERT 単語分割システムと bigram BERT 単語分割シ ステムにおける F 值の差は 1.55pointである。表3に おける 2 つの単語分割システムの $\mathrm{F}$ 値の差が 1.72
であったことから、テストデータにおける文字種を 制限することで $\mathrm{F}$ 値の差が縮まっていることがわ かる。

## B 実験の可視化

実験 1 におけるシステム構築を可視化した図を図 1 に示す。また、実験 2 におけるシステム構築を可視化した図を図 2 に示す。

図1 実験 1 : BCCWJによるファインチューニングの実験

図 2 実験 2: Wikipedia によるファインチューニングの 実験
 井筒順 1 古宮嘉那子 2 新納浩幸 3 1 茨城大学大学院理工学研究科情報工学専攻 2 東京農工大学工学研究院 3 茨城大学大学院理工学研究科情報科学領域 21nm707h@vc.ibaraki.ac.jp kkomiya@go.tuat.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp  