# 人間と機械学習のモデルそれぞれに扱いやすい トークン分割に関する実験と考察

平岡達也岩倉友哉
富士通株式会社
\{hiraoka.tatsuya, iwakura.tomoya\}@fujitsu.com

## 概要

本稿では，NLP における機械学習のモデルの性能が向上するようなトークン分割と，人間に読みや すいトークン分割の関係について議論する．JGLUE に含まれる JCommonsenseQA データセットに対して 複数のトークン分割を行い，機械学習のモデルによ る正解率と，人間のアノテータによる正解率と回答速度を比較する。分析より，人間に読みやすいトー クン分割と機械学習モデルの正解率が高くなるトー クン分割は必ずしも一致しないことが示唆された.

## 1 はじめに

トークン分割（Tokenization）は，NLP のシステ ムの性能や結果に影響を与える重要な前処理であ る $[1,2,3]$. 近年では後段のタスクに応じて，モデ ルの性能が高くなるようなトークン分割を自動で 選択する手法が提案されている $[4,5,6]$. このよう なトークン分割は，性能向上という観点から機械学習のモデルに扱いやすいものであると言える。一方 で，このトークン分割は必ずしも人間にとって読み やすいものであるとは限らない $[5,6]$. 人間に読み やすいトークン分割から逸脱したものは，メンテナ ンスやチューニングの難しさに繋がりうる. 例え ば，区切りの不一致のために辞書情報が使えなかっ たり，目視でのエラー分析における解釈の難しさに 繋がったりすると考えられる．また，自然言語処理 に詳しくないユーザーにとっては，不自然なトーク ン分割そのものが信頼性低下の原因になりうる。

本研究では，人間と機械のそれぞれに扱いやすい トークン分割について調査を行う。本稿では研究の 第一段階として，日本語 $\mathrm{QA}$ タスクにおいて異なる トークン分割がもたらす，機械学習のモデルの正解率への影響と，人間にとっての読みやすさへの影響 の関係を調査・分析した内容を報告する。

表 1 各トークナイゼーション手法による分割例

## 2 実験設定

## 2.1 データセット

本研究では, JGLUE [7] に含まれる JCommonsenseQA データセットを用いて実験を行う．本研究実施時点では JGLUE のテストデータが公開されて いないため，学習データと検証データのみを使用 する。また，QA モデルに用いる文字分散表現の学習と，トークン分割器の学習には日本語 Wikipedia データを用いた1).

## 2.2 比較するトークン分割の手法

本研究では，トークン分割の手法として辞書を用 いた手法（MeCab），教師無しで語彙を構築する手法 (Unigram, BPE，MaxMatch)，タスクに応じて トークン分割を最適化する手法 (OpTok)，ランダ ムなトークン分割（Random）の6つを比較する.

教師なしの手法におけるトークン分割器は，それ ぞれ語彙の大きさを 64,000 とし，日本語 Wikipedia のタイトルと概要データを用いて学習した. 各手法 でトークン分割を行ったテキストの例を表 1 に示し た。また，実際に JCommonsenseQA の学習データと 検証データに対してトークン分割の処理を行い，出現したトークンの種類数を表 2 にまとめた。それぞ れの手法について，以下に説明する。


表 2 トークナイゼーション手法ごとの語彙の規模

MeCab: 辞書を用いたトークン分割（単語分割）手法として， MeCab [8] を用いた. 単語辞書には, UniDic [9]を用いた. 人手で整備された辞書を用い ている本手法は，比較する手法間で最も人間に読み やすいトークン分割であると考えられる。

Unigram: ユニグラム言語モデルを用いたトーク ン分割の手法として, SentencePiece [10] のユニグラ ムモードを使用した。

BPE: Byte Pair Encoding を用いたトークン分割手法 [11]には，SentencePieceの BPE モードを用いた.

MaxMatch: 最長一致法を用いたトークン分割手法 [12] として，BertTokenizer (WordPiece) を用いた.

OpTok: データセットとモデルに対して正解率 が向上するようなトークン分割を自動的に獲得する 手法として, OpTok [6] を利用した. ユニグラム言語モデルでのトークン分割を用いて学習した $\mathrm{QA}$ モ デル（後述する BiLSTMを用いたもの）に対して，後処理としてトークン分割を最適化した. そのた め，語彙はユニグラム言語モデルと一致する。

Random: 単語の長さをサンプリングし，テキス 卜を前から順にランダムに分割した. 単語の長さは Wikipediaを MeCabで分割した際の分布に従った.

## 2.3 QA モデル

機械学習のモデルを用いた実験には，Bag-ofWords [13] と BiLSTM [14, 15] の 2 種類の単純な QA の手法を用いる. $N$ 個のトークンからなる問題文 $q=w_{1}, \ldots, w_{N}$ について, 選択肢の単語 $a$ が解答とな る確率 $p(a \mid q)$ を次のように計算する（図 1).

$
\begin{aligned}
\mathbf{v}_{q} & =g\left(f\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)\right), \\
p(a \mid q) & \sim \mathbf{v}_{q}^{\top} \mathbf{v}_{a} .
\end{aligned}
$

ただし, $f(\cdot)$ はエンコーダー, $g(\cdot)$ はエンコーダーの 出力をトークンベクトルの次元数に変換する MLP である. また, $\mathbf{v}_{w_{n}}$ と $\mathbf{v}_{a}$ はいずれもトークンベクト ルである. エンコーダー $f(\cdot)$ の処理は Bag-of-Words を用いる場合 $\left(f_{\text {Bow }}\right)$ と, BiLSTM $\left(f_{\text {BiLSTM }}\right)$ を用い

図 $1 \mathrm{QA}$ モデルの概要

る場合でそれぞれ以下のように異なる。

$
f_{\mathrm{BoW}}\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)=\frac{\sum_{w \in s} \mathbf{v}_{w}}{N}
$

$f_{\mathrm{BiLSTM}}\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)=h\left(\operatorname{BiLSTM}_{\mathrm{QA}}\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)\right)$,

ここで $h(\cdot)$ は各出力への最大プーリングである.

トークン分割の差以外の要素による影響を減らす ため，トークンベクトルは文字ベクトルから計算す る $[16,17] . M$ 文字のトークン $w=c_{1}, \ldots, c_{M}$ のべク トル $\mathbf{v}_{w}$ は，次のように計算する。

$
\mathbf{v}_{w}=h\left(\operatorname{BiLSTM}_{\mathrm{emb}}\left(\mathbf{v}_{c_{1}}, \ldots, \mathbf{v}_{c_{M}}\right)\right)
$

ここで $\mathbf{v}_{c_{m}}$ は $c_{m}$ の文字分散表現である. $\mathbf{v}_{c_{m}}$ と BiLSTM $_{\text {emb }}$ は, 日本語 Wikipedia の全文を言語モデ ルとして学習し [18], QA の学習時には固定した. $g$ と $f_{\mathrm{BoW}}, f_{\mathrm{BiLSTM}}$ は, QA の学習データで学習した. ハイパーパラメータについて，文字分散表現 $\mathbf{v}_{\mathbf{c}}$ のサイズは 256, BiLSTM $_{\mathrm{emb}}$ と $\mathrm{BiLSTM}_{\mathrm{QA}}$ の隠れべ クトル， $\mathbf{v}_{w}$ のサイズは 1,024 , 各 BiLSTM のレイ ヤ数は 1 とした. 交差エントロピー誤差を用いて Adam [19] で更新を行い，30 エポックの学習のうち 検証データでの性能が最も高いモデルを採用した。

## 2.4 人間による読みやすさの収集

## 2.4.1読みやすさの順位付け

異なるトークン分割に対する読みやすさの最も単純なアノテーション方法として，人間による順位付 けを行った。実際のアノテーション画面を図 2 に示 した. アノテータは，ランダムに並べられた最大 6 つのトークン分割について，区切り方が適切だと思 うものから順に並び変えるよう指示される. 本作業 は1名のアノテータが担当した。

図 2 読みやすさの順位付けアノテーション画面

晴れて いる時 雨の

降る弱い ことをな 突然

う? に んとい

図 3 Bag-of-Words によるアノテーション画面

## 2.4.2 Bag-of-Words での回答収集

2.4.1 節のアノテーション方法では, 適切な区切り 方の基準がアノテータの知識に強く依存する. 本研究では，タスクを解くうえで各トークン分割がどの 程度読みやすいかの情報を収集したい。そのため， この方法では目的が達成できるとは言えない.

そこで，異なるトークン分割を用いたときの QA タスクへの回答時間及び正解率を収集することで，人間に読みやすいトークン分割を分析する ${ }^{2)}$. 具体的には，人間に読みやすいトークン分割は，語順が ランダムであっても元の意味を復元しやすいと仮定し, 図 3 のようなアノテーション画面を用いて, Bag-of-worrds形式での回答を行った.

アノテーション時には, 各設問画面の表示から最後に選択肢のボタンを押下するまでの時間を記録す る.トークン分割が読みやすいものである場合，こ の時間が短くなる傾向が見られると期待される。 な お，クラウドワーカーによるアノテーションを行っ ているため，作業中の行動のすべてを監視すること は出来ない，そのため，回答時間が 30 秒を超える もの3)については，画面を開いた状態で放置した可能性が高いとものとし，集計の対象から除外した.

本作業では，1名のアノテータが問題ごとにすべ

2）画像とテキストを用いた既存調査 [20] に倣った.

3）図 3 の例から分かる通り，平均的な回答時間は 5 秒程度,設問が長いものでも 15 秒程度で回答可能である。

表 3 JCommonsenseQA での正解率 (検証データ). 列内 の最大値を太字，最小値を下線でハイライトした。

てのトークン分割の種類について回答する。そのた め，異なるトークン分割で問題文を提示していると はいえ，過去に解いたことのある問題に対して何度 か回答を行うことになる。そこで，問題の丸暗記を 防ぐために，同じ問題の間隔をある程度あけて（平均 1591.8 件）提示するようにした．また，回答内容 の記憶を防ぐために，アノテータへの正答の提示も 行わない. 本作業には 6 名のアノテータが参加して おり，現時点で全サンプル 10,058 件について各 1 名 の回答結果が収集できている。

## 3 結果と分析

## 3.1 読みやすさと機械学習モデルの正解率

QA モデルを用いたときの，各トークン分割手法 ごとの正解率を表 3 に示した ${ }^{4)}$. Bag-of-Words を用 いたモデルでは BPE，Unigram の順に正解率が高く， BiLSTM を用いたモデルでは Unigram, MaxMatch の順に正解率が高い。また，どちらもモデルも Random, MeCab の順に正解率が低くなっている.表 4 の「読みやすさ」の列には，2.4.1 節の方法で 収集した読みやすさの順位付けについて，各トーク ン分割手法が 1 位となった割合を示した。なお，予稿投稿時点では全サンプルのうち，学習データの 3,302 件のみアノテーションが完了している. 結果 より，人手で整備した辞書を用いている MeCab が 最も読みやすいことが分かる。一方で，MeCabによ るトークン分割は，機械においては Random の次に 正解率が低いものである。ここから，人間に読みや すいトークン分割は，必ずしも機械の正解率が高い ものとは一致しないと言える。

4） 3 回試行の平均値を報告. OpTokについては，ある学習済 みのモデルに対して最適化したトークン分割を，初期化が異 なる別の QA モデルの学習に再利用し, 3 回試行を行った. そのため, OpTok を用いた場合の正解率は必ずしも Unigram よりも高い值にならない.

} & \multirow[b]{2}{*}{ 学習 } & \multicolumn{2}{|c|}{ 正解率 } & \multicolumn{3}{|c|}{ 平均回答時間 } & \multicolumn{3}{|c|}{ 平均トークン数 } \\

表 4 各トークン分割手法で問題文を区切って提示した際の，読みやすさ 1 位の割合（\%，学習データの 3,302 件）と正解率 (\%)，平均回答時間（単位は秒，正答・回答時間が 30 秒以内のサンプルのみを集計），各サンプルの問題文の平均 トークン数. 列内の最大値を太字，最小値を下線でハイライトした.

## 3.2 機械学習モデルと人間の正解率

表 4 の「正解率」の列には，2.4.2 節で説明した方法で収集した人間による正解率をまとめた. データ 全体での人間の正解率は MeCab，BPE の順に高い. また，正解率は Random，OpTokの順に低い.

これらの内容から，ランダムなトークン分割は人間にも機械にも扱いにくいと言える。また，人間と 機械でトークン分割による正解率の大小関係が異な ることから，人間と機械の正解率が高いトークン分割が必ずしも一致しないと言える.

## 3.3 分割と回答時間の関係

表 4 の「平均回答時間」からは，OpTok，Unigram の順に回答時間が短いことが分かる. OpTok は Unigramをベースとして最適化を行ったトークン分割であるため，人間は言語モデルを用いて語彙の構築とトークン分割を行ったテキストを効率的に読 むことができると言える. OpTok は Unigram による トークン分割のうち, 助詞などの高頻度語を更に切 り離す傾向がある [6]（表 1）ため, 今回の提示形式 において語順の推測がしやすくなり回答時間が短く なっていると考えられる。一方で Randomなトーク ン分割を用いたときの回答時間は顕著に長く, 読み づらいトークン分割と言うことができる.

MeCab を用いたときの回答時間は，Random の 次に長い。これは， MeCabによるトークン分割が Unigram などに比べて細かく, 問題文を表すための トークン数が多いことに起因すると考えられる（表 4 「平均トークン数」).トークン数が多い場合, 内容 を把握するために時間がかかることから，回答時間 も長くなると考えられる。実際に全アノテーション 内容についての，問題文に含まれるトークン数と回答時間との相関係数は 0.22 であり，弱い正の相関が
ある. 一方で, 平均トークン数が比較的多い OpTok の回答時間が最も短いことから，トークン数以外の 要素が回答時間の長さに影響を与えていると考えら れる。例えば， MeCabを用いる場合は単語の意味が 理解できることから，より内容について長考する傾向にある，などの原因があると考えられる.

## 4 おわりに

本稿では，人間と機械学習のモデルのそれぞれに 扱いやすいトークン分割について, 調査と実験の結果を報告した．QA のデータを用いた実験では異な るトークン分割手法を用いて問題文を分割し，機械 による正解率を収集した。また，問題文の語順を シャッフルした上で人手でのアノテーションを行 い，人間による回答の精度と回答時間を収集した。収集した結果より，機械学習のモデルの正解率が高 くなるようなトークン分割は，必ずしも人間による 正解率が高くなるものや，人間に読みやすいものに 一致するとは限らないことが示唆された。

本研究では引き続きアノテーション作業を進め,人間による正解率や回答時間に関する情報を収集 する。また，トークン分割の差が人間の回答に及ぼ す影響の調査方法については, 現在の方法では差が 大きく表れていないことから，方法の改善が必要で ある。例えば，問題文に含まれるトークンをフラッ シュカード形式で提示した場合の正解率や，アノ テータの視線情報を用いたデータ収集などが考えら れる. 機械学習のモデル側についても, 実験設定の 改善の余地は大いにある．例えば，より現代的な比較を行うためには，大規模言語モデル [21] の事前学習から異なるトークン分割手法を用い，その影響を 調査する必要がある. 今後も実験内容の再検討を重 ね，人間と機械学習のモデルに扱いやすいトークン 分割の差について調査を行う.

## 謝辞

本研究は，JST，ACT-X，JPMJAX21AM の支援を

受けたものです. また，アノテーションの設計では 熊野康孝氏と六条範俊氏にご助言いただきました.

## 参考文献

[1] Tatsuya Hiraoka, Hiroyuki Shindo, and Yuji Matsumoto. Stochastic tokenization with a language model for neural text classification. In Proceedings of the 57th Annual Meeting of ACL, pp. 1620-1629, 2019.

[2] Kaj Bostrom and Greg Durrett. Byte pair encoding is suboptimal for language model pretraining. In Findings of ACL: EMNLP 2020, pp. 4617-4624, 2020.

[3] Hoo-Chang Shin, Yang Zhang, Evelina Bakhturina, Raul Puri, Mostofa Patwary, Mohammad Shoeybi, and Raghav Mani. BioMegatron: Larger biomedical domain language model. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on EMNLP, pp. 4700-4706, Online, November 2020. Association for Computational Linguistics.

[4] Xuanli He, Gholamreza Haffari, and Mohammad Norouzi. Dynamic programming encoding for subword segmentation in neural machine translation. In Proceedings of the 58th Annual Meeting of ACL, pp. 3042-3051, Online, July 2020. Association for Computational Linguistics.

[5] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of ACL: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[6] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of ACL: ACL-IJCNLP 2021, pp. 244-255, 2021.

[7] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth LREC, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[8] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/, 2006

[9] 康晴伝, 智信小木曽, 秀樹小椋, 篤山田, 信明峯松, 清貴内元, 花絵小磯. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 102007.

[10] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on EMNLP: System Demonstrations, pp. 66-71, 2018.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of ACL, Vol. 1, pp. P1715-1725, 2016.

[12] Xinying Song, Alex Salcianu, Yang Song, Dave Dopson, and Denny Zhou. Fast wordpiece tokenization. In
Proceedings of the 2021 Conference on EMNLP, pp. 2089-2103, 2021

[13] Jordan Boyd-Graber, Brianna Satinoff, He He, and Hal Daumé III. Besting the quiz master: Crowdsourcing incremental classification games. In Proceedings of the 2012 Joint Conference on EMNLP and CoNLL, pp. 1290-1301, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[14] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997

[15] Alex Graves and Jürgen Schmidhuber. Framewise phoneme classification with bidirectional lstm networks. In Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., Vol. 4, pp. 20472052. IEEE, 2005.

[16] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of NAACL: HLT, pp. 260-270, 2016.

[17] Chunqi Wang and Bo Xu. Convolutional neural network with word embeddings for chinese word segmentation. In Proceedings of the Eighth IJCNLP, pp. 163-172, 2017.

[18] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of NAACL: HLT, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[19] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[20] Chunpeng Ma, Aili Shen, Hiyori Yoshikawa, Tomoya Iwakura, Daniel Beck, and Timothy Baldwin. On the effectiveness of images in multi-modal text classification: An annotation study. ACM Trans. Asian Low-Resour. Lang. Inf. Process., oct 2022. Just Accepted.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.
 平岡達也岩倉友哉 富士通株式会社 \{hiraoka.tatsuya, iwakura.tomoya\}@fujitsu.com  